CN105102607A - 图像处理装置、程序、存储介质和图像处理方法 - Google Patents

图像处理装置、程序、存储介质和图像处理方法 Download PDF

Info

Publication number
CN105102607A
CN105102607A CN201380074821.3A CN201380074821A CN105102607A CN 105102607 A CN105102607 A CN 105102607A CN 201380074821 A CN201380074821 A CN 201380074821A CN 105102607 A CN105102607 A CN 105102607A
Authority
CN
China
Prior art keywords
image
candidate area
subject areas
target cell
core
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380074821.3A
Other languages
English (en)
Inventor
尾崎良太
加藤典司
织田英人
熊泽幸夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd filed Critical Fuji Xerox Co Ltd
Publication of CN105102607A publication Critical patent/CN105102607A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Dispersion Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

本发明的目的是针对用于在通过捕获包含具有核的目标细胞的样本的图像获得的捕获图像中显示的区中示出的图像是目标细胞的图像的确定程度来提高计算精度。核备选区提取单元(10)从通过捕获包含具有核的目标细胞的样本的图像获得的捕获图像中提取对应于所述核的核备选区。可靠性计算单元(16)基于用于确定的区的图像的特征数量，针对基于核备选区确定的用于确定的多个区中的每一个，获取显示用于确定的区中示出的图像是目标细胞的图像的确定程度的可靠性。显示区设置单元(20)基于针对基于备选区确定的用于确定的各个区获取的可靠性，计算显示针对核备选区用于显示的区中示出的图像是目标细胞的图像的确定程度的总可靠性。

Description

图像处理装置、程序、存储介质和图像处理方法
技术领域
本发明涉及图像处理装置、程序、存储介质和图像处理方法。
背景技术
PTL1公开了一种从对包括有核红血细胞(下文中，称作“目标细胞”)的样本进行图像捕获而获得的捕获图像中检测目标细胞的设备。也就是说，所述设备指明了对应于捕获图像中的核的核备选区，并且获取关于核备选区的确定主题区的图像的特征量。另外，该设备通过将获取的特征量输入至通过学习算法产生的标识符来确定目标细胞是否被包括在确定主题区中。
引文列表
专利文献
PTL1：日本未经审查的专利申请公开No.2012-254042
发明内容
技术问题
本发明的目的是提高通过对包括具有核的目标细胞的样本进行图像捕获而获得的捕获图像中的显示主题区中的图像是目标细胞的图像的概率的计算精度。
技术方案
为了解决上述问题，根据权利要求1所述的本发明是一种图像处理装置，该图像处理装置包括：核备选区提取装置，其用于从通过对包括具有核的目标细胞的样本进行图像捕获而获得的捕获图像中提取对应于核的核备选区；基本概率信息获取装置，其用于基于确定主题区的图像的特征量，针对基于由核备选区提取装置提取的核备选区确定的多个确定主题区中的每一个，获取指示该确定主题区中的图像是目标细胞的图像的概率的基本概率信息；以及概率信息计算装置，其用于基于针对所述多个确定主题区中的每一个获取的基本概率信息，计算指示对应于核备选区的显示主题区中的图像是目标细胞的图像的概率的概率信息。
另外，在根据权利要求2所述的图像处理装置中，基于权利要求1所述的图像处理装置，概率信息计算装置可计算使用针对所述多个确定区中的每一个获取的基本概率信息作为变量的递增函数值、或者使用针对所述多个确定区中的任一个获取的基本概率信息和所述多个确定主题区的数量作为变量的递增函数值，作为指示对应于核备选区的显示主题区中的图像是目标细胞的图像的概率的概率信息。
另外，在根据权利要求3所述的图像处理装置中，基于权利要求1或2所述的图像处理装置，基本概率信息获取装置可针对由核备选区提取装置提取的各个核备选区来获取针对基于核备选区确定的所述多个确定主题区中的每一个的基本概率信息。概率信息计算装置可针对由核备选区提取单元提取的各个核备选区计算指示对应于核备选区的显示主题区中的图像是目标细胞的图像的概率的概率信息。另外，图像处理装置还可包括显示装置，其用于按照由概率信息指示的概率的降序显示各个显示主题区的图像。
另外，在根据权利要求4所述的图像处理装置中，基于权利要求1至3中的任一项所述的图像处理装置，基本概率信息获取装置可获取通过将确定主题区的图像的特征量输入至通过学习算法产生的标识符而获得的值，作为指示该确定主题区中的图像是目标细胞的图像的概率的基本概率信息。
另外，在根据权利要求5所述的图像处理装置中，基于权利要求1至4中的任一项所述的图像处理装置，还可包括设置装置，其用于基于根据核备选区确定的多个确定主题区设置对应于核备选区的显示目标区。
另外，在根据权利要求6所述的图像处理装置中，基于权利要求5所述的图像处理装置，设置装置可将基于核备选区确定的所述多个确定主题区中的基本概率信息具有最大概率的确定主题区设为对应于核备选区的显示目标区。
在根据权利要求7所述的图像处理装置中，基于权利要求2所述的图像处理装置，概率信息计算装置可计算针对所述多个确定主题区中的每一个获取的基本概率信息之和，作为指示对应于核备选区的显示主题区中的图像是目标细胞的图像的概率的概率信息。
另外，为了解决上述问题，根据权利要求8所述的本发明是一种使得计算机用作如下装置的程序，所述装置包括：核备选区提取装置，其用于从通过对包括具有核的目标细胞的样本进行图像捕获而获得的捕获图像中提取对应于核的核备选区；基本概率信息获取装置，其用于基于确定主题区的图像的特征量，针对基于由核备选区提取装置提取的核备选区确定的多个确定主题区中的每一个，获取指示该确定主题区中的图像是目标细胞的图像的概率的基本概率信息；以及概率信息计算装置，其用于基于针对所述多个确定主题区中的每一个获取的基本概率信息，计算指示对应于核备选区的显示主题区中的图像是目标细胞的图像的概率的概率信息。
一种根据权利要求9所述的计算机可读存储介质，其存储使得计算机作为如下装置来执行功能的程序，所述装置包括：核备选区提取装置，其用于从通过对包括具有核的目标细胞的样本进行图像捕获而获得的捕获图像中提取对应于核的核备选区；基本概率信息获取装置，其用于基于确定主题区的图像的特征量，针对基于由核备选区提取装置提取的核备选区确定的多个确定主题区中的每一个，获取指示该确定主题区中的图像是目标细胞的图像的概率的基本概率信息；以及概率信息计算装置，其用于基于针对所述多个确定主题区中的每一个获取的基本概率信息，计算指示对应于核备选区的显示主题区中的图像是目标细胞的图像的概率的概率信息。
一种根据权利要求10所述的图像处理方法，包括以下步骤：从通过对包括具有核的目标细胞的样本进行图像捕获而获得的捕获图像中提取对应于核的核备选区；基于确定主题区的图像的特征量，针对基于提取的核备选区确定的多个确定主题区中的每一个，获取指示该确定主题区中的图像是目标细胞的图像的概率的基本概率信息；以及基于针对所述多个确定主题区中的每一个获取的基本概率信息，计算指示对应于核备选区的显示主题区中的图像是目标细胞的图像的概率的概率信息。
有益效果
根据如权利要求1、和权利要求8至10中的任一项所述的本发明，可提高通过对包括目标细胞的样本进行图像捕获而获得的捕获图像中的显示主题区中的图像是目标细胞的图像的概率的计算精度。
根据如权利要求3所述的本发明，例如，必须用户视觉检查以找出期望数量的目标细胞的显示目标区的图像数量可减少。
根据如权利要求2、权利要求4和权利要求7中的任一项所述的本发明，与不具有这种构造的情况相比，概率的计算精度可增大。
根据如权利要求5或6所述的本发明，例如，可调整对象的显示位置，以允许用户容易地识别显示主题区的图像中的对象。
附图说明
图1是根据该示例性实施例的图像处理系统的系统构造图。
图2是示出由光学显微镜捕获的测试图像的示例的示图。
图3是示出显示在显示器上的显示主题区的图像列表的示图。
图4是示出通过图像处理装置提供的功能组的功能性框图。
图5是示出从测试图像提取的像素块和核备选区的示例的示图。
图6是示出确定主题区的示例的示图。
图7是用于描述显示主题区的设置方法的示图。
图8是示出通过图像处理装置执行的处理的示例的流程图。
图9是示出图像特征量提取单元的构造示例的示图。
图10是示出其中产生了色分离图像的状态的示图。
具体实施方式
以下参照附图详细描述本发明的示例性实施例。
图1示出了根据该示例性实施例的图像处理系统1的系统构造图。如图1所示，图像处理系统1包括光学显微镜2、图像处理装置4和显示器6。图像处理装置4与光学显微镜2和显示器6连接，从而可进行数据通信。
光学显微镜2利用CCD相机通过诸如物镜的光学系统对排列在样本台上的载片上的样本进行图像捕获。在该示例性实施例中，使用其中母血涂布至载片并用迈-吉姆萨染色液(May-Giemsastain)处理的样本。因此，母血中的源于胎儿的有核红血细胞被染色为蓝紫色。有核红血细胞被称作目标细胞。
图像处理装置4获取通过光学显微镜2进行图像捕获所获得的捕获图像(下文中，称作测试图像)。图2示出了测试图像的示例。如图2所示，测试图像包括包含在母体红血细胞中的各种细胞的图像。具有深色的核的细胞是目标细胞。应该注意，目标细胞(有核红血细胞)的核通过迈-吉姆萨染色液被染成比其它细胞的核的颜色稍深的颜色。
另外，图像处理装置4在捕获图像中设置各自可能包括目标细胞的多个显示主题区。设置的显示主题区的图像的列表显示在显示器6上。
显示器6基于图像处理装置4的处理结果显示画面。在该示例性实施例中，显示器6显示对应的显示主题区的图像的列表。图3示出了显示在显示器6上的显示主题区的图像的列表的示例。用户(例如，医生)参考每个图像，并且搜索例如产前诊断所需的多个目标细胞。
该图像处理系统1采取手段以减少待参考的图像数量，以找出所需数量的目标细胞。也就是说，针对各个显示主题区，计算图像是目标细胞的图像的概率。计算的概率较高的图像显示在上侧。另外，概率的计算精度增大，从而随着图像具有该图像为目标细胞的图像的较高概率，概率被更高度评价。
下面描述了在增大概率的计算精度的同时、减少待参考的图像的数量以找出所需数量的目标细胞的技术。
图4是示出通过图像处理装置4提供的功能组的功能性框图。在图像处理装置4中设置有测试图像获取单元8、核备选区提取单元10、确定主题区设置单元12、图像特征提取单元14、可靠性计算单元16、有核红血细胞备选区设置单元18、显示主题区设置单元20和显示主题区显示单元22。当包括诸如微处理器的控制装置、诸如存储器的存储装置、用于将数据发送至外部装置/从外部装置接收数据的输入/输出装置等的计算机读和执行存储在计算机可读信息存储介质(例如，光盘、磁盘、磁带、磁光盘、闪速存储器等)中的程序时，提供这些功能。作为另外一种选择，可通过诸如互联网的数据通信网络将程序供应至为计算机的图像处理装置4。
下面描述各功能。测试图像获取单元8从光学显微镜2获取通过光学显微镜2捕获的测试图像的数据(见图2)。
核备选区提取单元10提取各自被包括在测试图像中并且对应于目标细胞的核的核备选区。例如，核备选区提取单元10提取包括在测试图像中的重要像素的像素块24。在这种情况下，重要像素是密度值等于或大于阈值的像素。然后，核备选区提取单元10指明各个像素块24的限定的矩形区作为核备选区26，并且获取指示被指明的核备选区26的坐标数据。图5示出了从测试图像提取的像素块24和核备选区26的示例。黑色实心部分指示像素块24。
确定主题区设置单元12将以包括在各个核备选区26中的像素中的各个单个像素为中心的矩形区设为确定主题区28。可针对单个像素设置单个确定主题区28，或者可针对单个像素设置具有不同大小的多个确定主题区28。在该示例性实施例中，确定主题区28的大小至少与核备选区26的相同。图6示出了确定主题区28的示例。图6示出了以左上核备选区26中的像素为中心的确定主题区28。
图像特征提取单元14针对各个确定主题区28提取确定主题区28的图像的图像特征量。例如，图像特征提取单元16计算各个确定主题区28的图像的HOG(方向梯度直方图)特征量。
在这种情况下，图像特征提取单元14针对确定主题区28中的各个像素获得像素的亮度梯度向量。亮度梯度向量包括指示取向(亮度梯度取向)的角度和幅度(亮度梯度强度)。另外，图像特征提取单元14在确定主题区28中设置数量为Y的块区，各个块区包括数量为X的细胞区，并且针对形成各个块区的各个细胞区获得亮度梯度取向直方图。亮度梯度取向直方图具有通过将0至180度的角度范围划分为9个区段(下文中，称作堆栈(bin))形成的9个角度范围，并且将细胞中的各个像素的亮度梯度向量分类至对应于该向量的取向的堆栈中。另外，计算分类至堆栈中的亮度梯度向量的幅度的总和，作为堆栈的度。
然后，基于块区执行标准化，从而针对各个细胞区获得的亮度梯度取向直方图的均方变为1。计算通过关联块区中的标准化的亮度梯度取向直方图生成的值“9×X”作为块区的特征量，并且计算通过关联所有块区生成的值“9×X×Y”作为确定主题区28的HOG特征量。
作为另外一种选择，图像特征提取单元14可计算稍后描述的Cell-HOG(细胞-方向梯度直方图)特征量。在这种情况下，与HOG特征量不同，获得具有通过将0至360度的角度范围划分为18个区段获得的18个堆栈的亮度梯度取向直方图。另外，在不进行针对各个细胞区获得的亮度梯度取向直方图的标准化的情况下，计算通过关联块区中的亮度梯度取向直方图生成的值“18×X”，作为块区的特征量。另外，计算通过关联所有块区生成的值“18×X×Y”，作为确定主题区的Cell-HOG特征量。
可靠性计算单元16针对各个确定主题区28基于确定主题区28的图像的图像特征量获取指示确定主题区28中的图像是目标细胞的图像的概率(下文中，称作可靠性)的数值。可靠性对应于基本概率信息。
具体地说，当将确定主题区28的图像的图像特征量输入至通过学习算法先前产生的标识符时，可靠性计算单元16获取输出值作为可靠性。随着可靠性的值变大，确定主题区28中的图像是目标细胞的图像的概率增大。在这种情况下，使用根据AdaBoost算法通过学习数量为N的样本图像中的每一个的各个图像特征量产生的标识符。在该示例性实施例中，使用GentleAdaBoost作为AdaBoost算法。然而，不限于此。例如，AdaBoost算法可使用离散AdaBoost算法。作为另外一种选择，可使用通过另一学习算法而非AdaBoost算法产生的标识符。
简单描述了AdaBoost算法。在这种情况下，采用了这样的示例，其中通过利用GentleAdaBoost算法从数量为N块的数据中学习产生标识符，同时特征量为xi，并且分类标签为yi(yi∈{-1,1})。在GentleAdaBoost算法中，在赋予各个数据的权重wi的初始值为“1/N”并且标识符F(x)的初始值为“0”时，最佳弱标识符fm(x)选自各个回归树，并且利用如下的表达式(1)和表达式(2)更新标识符F(x)和权重wi。另外，在更新wi之后，执行标准化以使得wi的总和变为“1”。
F(x)←F(x)+fm(x)...表达式(1)
wi←wi·exp(-yi·fm(xi))...表达式(2)
在这种情况下，当选择最佳弱标识符时，选择具有标识符F(x)的加权误差最小的期望值E[exp(-y·F(x))]的树fm(x)。弱标识符fm(x)由以下表达式(3)表达。
fm(x)＝Pw(y＝1|x)-Pw(y＝-1|x)...表达式(3)
在这种情况下，Pw(y＝1|x)和Pw(y＝-1|x)是用w加权的概率值。通过将x所属的叶节点中的正数据的权重w的总值除以该叶节点中的所有数据的权重w的总值获得Pw(y＝1|x)。另外，通过将x所属的叶节点中的负数据的权重w的总值除以该叶节点中的所有数据的权重w的总值获得Pw(y＝-1|x)。
然后，基于表达式(1)至表达式(3)将标识符F(x)和权重wi的更新执行数量M次，因此获得表达式(4)指示的标识符F(x)。
F(x)＝Σm＝1至Mfm(x)...表达式(4)
有核红血细胞备选区设置单元18设置包括目标细胞的概率为预定水平或更高的有核红血细胞备选区。也就是说，有核红血细胞备选区设置单元18将可靠性为阈值或更高的确定主题区28设为有核红血细胞备选区。作为另外一种选择，所有确定主题区28均可被设为有核红血细胞备选区。
显示主题区设置单元20设置对应于各个核备选区26的显示主题区。也就是说，显示主题区设置单元20基于与核备选区26至少部分地重叠的多个有核红血细胞备选区设置对应于核备选区26的显示主题区。具体地说，显示主题区设置单元20设置对应于核备选区26的显示主题区，以将与核备选区26至少部分地重叠的多个有核红血细胞备选区中的具有最大可靠性的有核红血细胞备选区设为显示主题区。图7是用于描述显示主题区的设置方法的示图。在图7中，针对核备选区26，设置可靠性为“10”的有核红血细胞备选区30、可靠性为“20”的有核红血细胞备选区30、以及可靠性为“30”的有核红血细胞备选区30。在这种情况下，可靠性为“30”的有核红血细胞备选区30被设为显示主题区32。作为另外一种选择，可将包括与核备选区26至少部分地重叠的多个有核红血细胞备选区30的区设为对应于核备选区26的显示主题区32。
如果不存在与核备选区26至少部分地重叠的有核红血细胞备选区30，则不设置对应于核备选区26的显示主题区32。
另外，显示主题区设置单元20不仅设置显示主题区32，还计算指示显示主题区32中的图像是目标细胞的图像的概率(下文中，称作综合可靠性)的数值。综合可靠性对应于概率信息。具体地说，显示主题区设置单元20基于与核备选区26至少部分地重叠的多个有核红血细胞备选区30的可靠性计算对应于核备选区26的显示主题区32的综合可靠性。例如，显示主题区设置单元26计算与核备选区26至少部分地重叠的多个有核红血细胞区30的可靠性中的最大可靠性，作为对应于核备选区26的显示主题区32的综合可靠性。作为另外一种选择，例如，显示主题区设置单元20计算使用与核备选区26至少部分地重叠的多个有核红血细胞区30的可靠性作为变量的递增函数值(例如，各个变量的总和或各个变量的平均值)、或者使用多个有核红血细胞备选区30的可靠性中的最大可靠性和多个有核红血细胞备选区30的数量作为变量的递增函数值(例如，各个变量的积、或者将一个变量用作指数的另一变量的幂)，作为对应于核备选区26的显示主题区32的综合可靠性。在图7中，计算三个有核红血细胞备选区30的可靠性的总和，作为综合可靠性。
作为另外一种选择，显示主题区设置单元20可针对单个核备选区26设置多个显示主题区32。例如，期望出现这样的情况，其中与核备选区26至少部分地重叠的多个有核红血细胞备选区30的一部分用作独立的有核红血细胞备选区30(不与任何其它有核红血细胞备选区30重叠的有核红血细胞备选区30)，并且其余部分是非独立的有核红血细胞备选区30。在这种情况下，独立有核红血细胞备选区30和非独立有核红血细胞备选区30中的具有最大可靠性的有核红血细胞备选区30可分别被设为显示主题区32。在这种情况下，独立有核红血细胞备选区30的可靠性可用作一个显示主题区32的综合可靠性。另外，可基于对应的非独立有核红血细胞备选区30的可靠性计算另一显示主题区32的综合可靠性。例如，非独立有核红血细胞备选区30的可靠性中的最大可靠性、使用对应的可靠性作为变量的递增函数值、或者使用对应的可靠性中的最大可靠性和非独立红血细胞备选区30的数量作为变量的递增函数值可用作另一显示主题区32的综合可靠性。
显示主题区显示单元22从测试图像切下对应的显示主题区中的图像，并且使得显示器6显示对应的显示主题区的图像的列表。此时，显示主题区显示单元22按照综合可靠性的降序显示对应的显示主题区的图像。换句话说，具有更高的综合可靠性的图像被显示为具有更高的优先级。
在该图像处理装置4中，获取使用与核备选区26至少部分地重叠的多个有核红血细胞备选区30的可靠性作为变量的递增函数值或者使用多个有核红血细胞备选区30的可靠性中的任一个和有核红血细胞备选区30的数量作为变量的递增函数值，作为对应于核备选区26的显示主题区32的综合可靠性。因此，显示主题区32中的图像是目标细胞的图像的概率的计算精度增大。实际上，与其中对应的有核红血细胞备选区30的可靠性中的最大可靠性被用作综合可靠性的情况相比，获得了其中不是目标细胞的图像但是被包括在以更高等级显示的图像中的图像的数量减少的结果。
图8是示出通过图像处理装置4执行的处理的示例的流程图。首先，图像处理装置4从光学显微镜2获取测试图像(见图2)(S101)。然后，图像处理装置4提取包括在测试图像中的重要像素的像素块24，并且提取各个像素块24的限定的矩形区作为核备选区26(S102)。另外，图像处理装置4使得存储装置存储指示各个核备选区26的范围的坐标数据。
然后，图像处理装置4一个接一个地按次序选择对应的核备选区26作为核备选区(i)，并且针对各个核备选区(i)执行步骤S103至S107。也就是说，图像处理装置4设置以核备选区26(i)中的像素为中心的多个确定主题区28，并且使得存储装置存储指示设置的确定主题区28的范围的坐标数据(S103)。然后，图像处理装置4一个接一个地按次序选择在S103中设置的确定主题区28作为确定主题区(k)，并且针对各个确定主题区(k)执行步骤S104至S107。
也就是说，图像处理装置4从测试图像中切下确定主题区(k)的图像，并且提取确定主题区(k)的图像的图像特征量(例如，HOG特征量)(S104)。然后，图像处理装置4将在S104中提取的图像特征量输入至标识符，并且获取标识符的输出值作为确定主题区(k)的可靠性(S105)。另外，图像处理装置4使得存储装置将确定主题区(k)的可靠性与确定主题区(k)的坐标数据关联地存储。然后，图像处理装置4确定确定主题区(k)的可靠性是否为阈值或更大(S106)。如果确定主题区(k)的可靠性小于阈值(S106中的否)，则图像处理装置4选择下一确定主题区28作为确定主题区(k)，并且再次执行S104及以后的步骤。相反，如果确定主题区(k)的可靠性为阈值或更大(S106中的是)，则图像处理装置4将确定主题区(k)设为有核红血细胞备选区30(S107)。例如，在S107中，图像处理装置4使得存储装置将标记值“0”与确定主题区(k)的坐标数据关联地存储。然后，图像处理装置4选择下一确定主题区28作为确定主题区(k)，并且再次执行S104及以后的步骤。
通过至S107的处理，指明了有核红血细胞备选区30。
然后，图像处理装置4设置显示主题区32，并且计算显示主题区32的综合可靠性(S108)。具体地说，在S108中，图像处理装置4针对各个核备选区26执行以下处理。也就是说，图像处理装置4基于存储装置中存储的内容指明与核备选区26至少部分地重叠的有核红血细胞备选区30(以核备选区26中的像素为中心的有核红血细胞备选区30)，并且将指明的有核红血细胞备选区30中的具有最大可靠性的有核红血细胞备选区30设为显示主题区32。例如，在S108中，图像处理装置4将与设为显示主题区32的有核红血细胞区30的坐标数据关联的标记值更新为“1”。另外，图像处理装置4计算指明的有核红血细胞备选区30的可靠性的总和作为综合可靠性，并且使得存储装置将计算的综合可靠性与显示主题区32的坐标数据关联地存储。
图像处理装置4在预定时刻(例如，在其中用户执行预定操作的时刻)从测试图像切下各个显示主题区32的图像，并且使得显示器6按照综合可靠性的降序显示对应的显示主题区32的图像的列表(S109)。
本发明的示例性实施例不限于上述示例性实施例。例如，上面已经描述了其中有核红血细胞是目标细胞的情况；然而，除有核红血细胞以外的细胞可为目标细胞。也就是说，即使有核红血细胞以外的细胞也是目标细胞，也可应用本发明。
另外，例如，图像特征提取单元14可从确定主题区28的图像的对应的色分离图像中提取Cell-HOG特征量，并且总共可从提取自各个色分离图像的Cell-HOG特征量的分量中选择数量为L的分量，作为确定主题区28的图像的图像特征量。例如，如图9所示，图像特征提取单元14可包括色分离图像产生单元14a、Cell-HOG特征量提取单元14b和特征选择单元14c。
在这种情况下，色分离图像产生单元14a产生确定主题区28的图像的色分离图像。图10示出了其中产生了确定主题区28的图像(RGB图像)的色分离图像(R图像、G图像、B图像)的状态。在这种情况下，在RGB色空间中执行色分离；然而，可在其它色空间(例如，Lab、HSV)中执行色分离。另外，Cell-HOG特征量提取单元14b从各个色分离图像中提取Cell-HOG特征量。
然后，特征选择单元14c从提取自各个色分离图像的Cell-HOG特征量中选择总数量为L的分量作为确定主题图像28的图像的图像特征量。例如，针对各个色分量，特征选择单元14c可将由从色分量的正示例图像获得的Cell-HOG特征量表达的直方图与由从色分量的负示例图像获得的Cell-HOG特征量表达的直方图进行比较，并且可选择对应于低程度重叠的堆栈的数量为L的分量。作为另外一种选择，例如，特征选择单元14c可根据学习算法选择数量为L的分量。
参考标号列表
1：图像处理装置
2：光学显微镜
4：图像处理装置
6：显示器
8：测试图像获取单元
10：核备选区提取单元
12：确定主题区设置单元
14：图像特征提取单元
14a：色分离图像产生单元
14b：Cell-HOG特征量提取单元
14c：特征选择单元
16：可靠性计算单元
18：有核红血细胞备选区设置单元
20：显示主题区设置单元
22：显示主题区显示单元
24：像素块
26：核备选区
28：确定主题区
30：有核红血细胞备选区
32：显示主题区

Claims (10)

1.一种图像处理装置，包括：
核备选区提取装置，其用于从通过对包括具有核的目标细胞的样本进行图像捕获而获得的捕获图像中提取对应于所述核的核备选区；
基本概率信息获取装置，其用于基于确定主题区的图像的特征量，针对基于由所述核备选区提取装置提取的核备选区确定的多个确定主题区中的每一个，获取指示该确定主题区中的图像是所述目标细胞的图像的概率的基本概率信息；以及
概率信息计算装置，其用于基于针对所述多个确定主题区中的每一个获取的基本概率信息，来计算指示对应于所述核备选区的显示主题区中的图像是所述目标细胞的图像的概率的概率信息。
2.根据权利要求2所述的图像处理装置，
其中，所述概率信息计算装置计算使用针对所述多个确定区中的每一个获取的基本概率信息作为变量的递增函数值、或者使用针对所述多个确定区中的任一个获取的基本概率信息和所述多个确定主题区的数量作为变量的递增函数值，作为指示对应于所述核备选区的显示主题区中的图像是所述目标细胞的图像的概率的概率信息。
3.根据权利要求1或2所述的图像处理装置，
其中，所述基本概率信息获取装置针对由所述核备选区提取装置提取的各个核备选区来获取针对基于所述核备选区确定的所述多个确定主题区中的每一个的基本概率信息，
其中，所述概率信息计算装置针对由核备选区提取单元提取的各个核备选区来计算指示对应于所述核备选区的显示主题区中的图像是所述目标细胞的图像的概率的概率信息，并且
其中，所述图像处理装置还包括：
显示装置，其用于按照由所述概率信息指示的概率的降序显示各个显示主题区的图像。
4.根据权利要求1至3中的任一项所述的图像处理装置，
其中，所述基本概率信息获取装置获取通过将确定主题区的图像的特征量输入至通过学习算法产生的标识符而获得的值，作为指示该确定主题区中的图像是所述目标细胞的图像的概率的基本概率信息。
5.根据权利要求1至4中的任一项所述的图像处理装置，还包括：
设置装置，其用于基于根据所述核备选区确定的多个确定主题区来设置对应于所述核备选区的显示目标区。
6.根据权利要求5所述的图像处理装置，
其中，所述设置装置将基于所述核备选区确定的所述多个确定主题区中的基本概率信息具有最大概率的确定主题区设为对应于所述核备选区的显示目标区。
7.根据权利要求2所述的图像处理装置，
其中，所述概率信息计算装置计算针对所述多个确定主题区中的每一个获取的基本概率信息之和，作为指示对应于所述核备选区的显示主题区中的图像是所述目标细胞的图像的概率的概率信息。
8.一种使得计算机用作如下装置的程序，所述装置包括：
核备选区提取装置，其用于从通过对包括具有核的目标细胞的样本进行图像捕获而获得的捕获图像中提取对应于所述核的核备选区；
基本概率信息获取装置，其用于基于确定主题区的图像的特征量，针对基于由所述核备选区提取装置提取的核备选区确定的多个确定主题区中的每一个，获取指示该确定主题区中的图像是所述目标细胞的图像的概率的基本概率信息；以及
概率信息计算装置，其用于基于针对所述多个确定主题区中的每一个获取的基本概率信息，来计算指示对应于所述核备选区的显示主题区中的图像是所述目标细胞的图像的概率的概率信息。
9.一种计算机可读存储介质，其存储使得计算机作为如下装置来执行功能的程序，所述装置包括：
核备选区提取装置，其用于从通过对包括具有核的目标细胞的样本进行图像捕获而获得的捕获图像中提取对应于所述核的核备选区；
基本概率信息获取装置，其用于基于确定主题区的图像的特征量，针对基于由所述核备选区提取装置提取的核备选区确定的多个确定主题区中的每一个，获取指示该确定主题区中的图像是所述目标细胞的图像的概率的基本概率信息；以及
概率信息计算装置，其用于基于针对所述多个确定主题区中的每一个获取的基本概率信息，来计算指示对应于所述核备选区的显示主题区中的图像是所述目标细胞的图像的概率的概率信息。
10.一种图像处理方法，包括以下步骤：
从通过对包括具有核的目标细胞的样本进行图像捕获而获得的捕获图像中提取对应于所述核的核备选区；
基于确定主题区的图像的特征量，针对基于提取的核备选区确定的多个确定主题区中的每一个，获取指示该确定主题区中的图像是所述目标细胞的图像的概率的基本概率信息；以及
基于针对所述多个确定主题区中的每一个获取的基本概率信息，来计算指示对应于所述核备选区的显示主题区中的图像是所述目标细胞的图像的概率的概率信息。
CN201380074821.3A 2013-05-31 2013-11-06 图像处理装置、程序、存储介质和图像处理方法 Pending CN105102607A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-115423 2013-05-31
JP2013115423A JP6070420B2 (ja) 2013-05-31 2013-05-31 画像処理装置及びプログラム
PCT/JP2013/080050 WO2014192182A1 (ja) 2013-05-31 2013-11-06 画像処理装置、プログラム、記憶媒体及び画像処理方法

Publications (1)

Publication Number Publication Date
CN105102607A true CN105102607A (zh) 2015-11-25

Family

ID=51988242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380074821.3A Pending CN105102607A (zh) 2013-05-31 2013-11-06 图像处理装置、程序、存储介质和图像处理方法

Country Status (5)

Country Link
US (1) US9858662B2 (zh)
EP (1) EP3006550B1 (zh)
JP (1) JP6070420B2 (zh)
CN (1) CN105102607A (zh)
WO (1) WO2014192182A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111656247A (zh) * 2018-07-13 2020-09-11 深圳迈瑞生物医疗电子股份有限公司 一种细胞图像处理系统、方法、自动读片装置与存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6635108B2 (ja) * 2015-02-23 2020-01-22 コニカミノルタ株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2017057077A1 (ja) 2015-09-29 2017-04-06 富士フイルム株式会社 標的細胞の識別方法、及び標的細胞識別装置
JP6753622B2 (ja) * 2018-06-27 2020-09-09 株式会社Ｃｙｂｏ 表示制御装置、表示制御方法及び表示制御プログラム
US10481379B1 (en) 2018-10-19 2019-11-19 Nanotronics Imaging, Inc. Method and system for automatically mapping fluid objects on a substrate

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100303608B1 (ko) * 1997-05-22 2001-11-22 박호군 혈구세포자동인식방법및장치
JP2003209683A (ja) * 2001-09-27 2003-07-25 Fuji Photo Film Co Ltd 画像処理装置および画像処理方法
US7324246B2 (en) 2001-09-27 2008-01-29 Fujifilm Corporation Apparatus and method for image processing
JP4346923B2 (ja) * 2003-02-21 2009-10-21 晴夫 高林 標的細胞自動探索システム
US7415148B2 (en) * 2003-08-04 2008-08-19 Raytheon Company System and method for detecting anomalous targets including cancerous cells
US7907769B2 (en) * 2004-05-13 2011-03-15 The Charles Stark Draper Laboratory, Inc. Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation
US8280139B2 (en) * 2007-02-13 2012-10-02 Nec Corporation Cell feature amount calculating apparatus and cell feature amount calculating method
US8326014B2 (en) * 2007-09-28 2012-12-04 Cytyc Corporation Methods and systems for processing biological specimens utilizing multiple wavelengths
JP2009110486A (ja) * 2007-11-01 2009-05-21 Sony Corp 画像処理装置、画像処理方法および画像処理プログラム、並びに、撮像装置および撮像装置の制御方法
CN101226155A (zh) 2007-12-21 2008-07-23 中国人民解放军第八一医院 智能化肺癌早期细胞病理图像识别处理方法
JP5438962B2 (ja) 2008-12-25 2014-03-12 シスメックス株式会社 細胞画像表示装置
JP5321145B2 (ja) 2009-03-04 2013-10-23 日本電気株式会社 画像診断支援装置、画像診断支援方法、画像診断支援プログラム、及びその記憶媒体
CN101719278B (zh) 2009-12-21 2012-01-04 西安电子科技大学 基于khm算法的视频显微图像细胞自动跟踪方法
US8774488B2 (en) * 2010-03-11 2014-07-08 Cellscape Corporation Method and device for identification of nucleated red blood cells from a maternal blood sample
US9064301B2 (en) * 2011-04-14 2015-06-23 Abbott Point Of Care, Inc. Method and apparatus for compressing imaging data of whole blood sample analyses
JP5413408B2 (ja) 2011-06-09 2014-02-12 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
JP5333570B2 (ja) * 2011-12-21 2013-11-06 富士ゼロックス株式会社 画像処理装置、プログラム及び画像処理システム
KR20140120321A (ko) * 2012-02-01 2014-10-13 벤타나 메디컬 시스템즈, 인코포레이티드 조직 샘플들에 있어서의 유전자들을 검출하는 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111656247A (zh) * 2018-07-13 2020-09-11 深圳迈瑞生物医疗电子股份有限公司 一种细胞图像处理系统、方法、自动读片装置与存储介质

Also Published As

Publication number Publication date
JP6070420B2 (ja) 2017-02-01
US20150356731A1 (en) 2015-12-10
EP3006550A1 (en) 2016-04-13
EP3006550B1 (en) 2019-03-13
US9858662B2 (en) 2018-01-02
WO2014192182A1 (ja) 2014-12-04
JP2014235033A (ja) 2014-12-15
EP3006550A4 (en) 2017-03-29

Similar Documents

Publication Publication Date Title
US10169861B2 (en) Image processing apparatus, non-transitory computer readable medium, and image processing method
US9934571B2 (en) Image processing device, program, image processing method, computer-readable medium, and image processing system
US20160196464A1 (en) Detection control device, detection system, non-transitory storage medium, and detection control method
US20150254848A1 (en) Image processing device, image processing system, and non-transitory computer readable medium
CN110162462A (zh) 基于场景的人脸识别系统的测试方法、系统和计算机设备
CN110736748A (zh) 免疫组化核浆染色切片诊断方法及系统
CN109858547A (zh) 一种基于bssd的目标检测方法与装置
CN105102607A (zh) 图像处理装置、程序、存储介质和图像处理方法
CN109472193A (zh) 人脸检测方法及装置
CN111931751A (zh) 深度学习训练方法、目标物识别方法、系统和存储介质
CN112734747B (zh) 一种目标检测方法、装置、电子设备和存储介质
CN107808126A (zh) 车辆检索方法及装置
CN108710893A (zh) 一种基于特征融合的数字图像相机源模型分类方法
CN112215217B (zh) 模拟医师阅片的数字图像识别方法及装置
CN105096293B (zh) 用于处理尿液沉渣图像的待处理区块的方法和装置
CN111340124A (zh) 图像中实体类别的识别方法和装置
CN112802027A (zh) 一种目标对象的分析方法、存储介质及电子装置
CN113450297A (zh) 红外图像和可见光图像的融合模型构建方法及系统
Guo et al. Pathological detection of micro and fuzzy gastric cancer cells based on deep learning
CN116664867A (zh) 一种基于多证据融合选取训练样本的特征提取方法及装置
US10146042B2 (en) Image processing apparatus, storage medium, and image processing method
Shashidhara et al. Sequence information channel concatenation for improving camera trap image burst classification
CN113706449B (zh) 基于病理图像的细胞分析方法、装置、设备及存储介质
CN114266736A (zh) 眩光检测方法、装置、电子设备和计算机可读存储介质
CN116543145A (zh) 一种图像处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20151125

RJ01 Rejection of invention patent application after publication