CN102687006A - 图像诊断方法、图像诊断装置及图像诊断程序 - Google Patents
图像诊断方法、图像诊断装置及图像诊断程序 Download PDFInfo
- Publication number
- CN102687006A CN102687006A CN2010800605945A CN201080060594A CN102687006A CN 102687006 A CN102687006 A CN 102687006A CN 2010800605945 A CN2010800605945 A CN 2010800605945A CN 201080060594 A CN201080060594 A CN 201080060594A CN 102687006 A CN102687006 A CN 102687006A
- Authority
- CN
- China
- Prior art keywords
- image
- resolution
- roi
- conversion
- characteristic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000003745 diagnosis Methods 0.000 title claims abstract description 35
- 238000006243 chemical reaction Methods 0.000 claims abstract description 45
- 238000000605 extraction Methods 0.000 claims abstract description 27
- 239000000284 extract Substances 0.000 claims abstract description 24
- 230000007170 pathology Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 8
- 230000001575 pathological effect Effects 0.000 description 103
- 239000000523 sample Substances 0.000 description 24
- 230000006870 function Effects 0.000 description 10
- 238000010827 pathological analysis Methods 0.000 description 8
- 239000011521 glass Substances 0.000 description 7
- 230000036285 pathological change Effects 0.000 description 7
- 231100000915 pathological change Toxicity 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 206010028980 Neoplasm Diseases 0.000 description 5
- 201000011510 cancer Diseases 0.000 description 5
- 244000225942 Viola tricolor Species 0.000 description 3
- 235000004031 Viola x wittrockiana Nutrition 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000004043 dyeing Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000007789 sealing Methods 0.000 description 3
- 230000000762 glandular Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000012472 biological sample Substances 0.000 description 1
- 238000001574 biopsy Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001086 cytosolic effect Effects 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004907 gland Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Processing Or Creating Images (AREA)
Abstract
提供了一种新图像诊断方法,能够根据诊断对象以一定的放大率创建具有实用图像尺寸的输出图像,其中所述放大率适于诊断要作为诊断基准的特征部分。图像诊断装置包括:获取装置11,用于获取与具有第一分辨率的图像相关的数据,其中,通过对诊断对象进行成像来产生所述图像;转换装置12,用于将所述图像的分辨率转换为比第一分辨率小的第二分辨率;提取装置13,用于对分辨率被转换为第二分辨率的所述图像加以分析,并提取诊断对象的ROI;确定装置14,用于确定由提取装置13所提取的ROI中是否存在对预定图像特征加以指示的特征区;以及创建装置15,用于当存在特征区时,通过转换分辨率来创建输出图像,使得特征区被限制为要输出的图像尺寸并且以预定比率或比预定比率大的比率占据图像。
Description
技术领域
本发明涉及一种图像诊断方法、图像诊断装置及图像诊断程序。
背景技术
已经使用的病人诊断方法的一个示例是病理诊断,在病理诊断中,将从病人的身体提取的病理改变组织和细胞的样本(病理样本)附着于玻璃载片上,并使用显微镜对所述样本进行诊断。例如,在病理诊断中观察到的病理改变区域的特征包括在低放大率下能够容易地检查的特征(如,腺)以及在高放大率下能够检查的特征(如,细胞核内的区域)。在使用显微镜的常规病理诊断中,首先将显微镜的放大率被设置为低并执行对样本的粗略搜索,然后逐步将放大率设置为更高并缩小要作为诊断基准(ROI)的特定区。
近来,除了使用显微镜的病理诊断之外,还执行使用图像扫描仪的病理诊断(图像诊断),所述扫描仪断捕获载片上的样本的图像,作为电子图像。在图像诊断的情况下,通过对整个载片上的包括以高放大率捕获的样本在内的电子图像(病理图像)进行下采样,以一定的放大率来创建图像,其中所述一定的放大率不大于用于成像的放大率。
在图像诊断中,如以下专利文献1中描述的,通常将整个病理图像分为预定尺寸的块并在每个块中分析ROI,在图像的分辨率也逐步改变的多分辨率分析中,整个区域通常被分为4块、16块或其他整数个块。一般来说,要成为图像处理的目标的块的尺寸受限于诸如CPU和存储器之类的硬件的处理能力和诸如监视器之类的显示设备的分辨率。
现有技术文献
专利文献1:专利公开JP-A-2009-009290
发明内容
本发明要解决的技术问题
然而,在使用以固定放大率获得的图像来执行图像诊断的情况下,问题在于,如果使用上述基于预定块尺寸的处理,则难以按照适于诊断的放大率将与病理图像中的病理改变相对应的区域限制在实用图像尺寸之内。换句话说,如果所述固定放大率小于适于诊断的放大率,则在一些情况下,可能无法将与病理图像中的病理改变相对应的整个区域限制在图像尺寸或者单块尺寸之内。另一方面,如果所述固定放大率大于适于诊断的放大率,则可能会将与病理图像中的病理改变相对应的整个区域仅限制为在图像尺寸或单块尺寸之内的小区域。
鉴于前述观点,本发明的示例性目的在于解决上述问题,并提供一种新图像诊断装置、图像诊断方法和图像诊断程序,其能够以适于对要作为诊断基准的特征部分进行诊断的放大率,创建具有实用图像尺寸的输出图像。
解决问题的技术手段
根据本发明示例性方面的图像诊断装置包括:获取装置,用于获取与具有第一分辨率的图像相关的数据,其中,通过对诊断对象进行成像来产生所述图像;转换装置,用于将所述图像的分辨率转换为比第一分辨率小的第二分辨率;提取装置,用于对分辨率被转换为第二分辨率的所述图像加以分析,并提取诊断对象的ROI;确定装置,用于确定在提取装置所提取的ROI中是否存在对预定图像特征加以指示的特征区;以及创建装置,用于当存在特征区时,通过转换分辨率来创建输出图像,使得特征区被限制为要输出的图像尺寸并且以预定比率或比预定比率大的比率占据图像。
根据本发明示例性方面的图像诊断方法包括:获取步骤,获取与具有第一分辨率的图像相关的数据,其中,通过对诊断对象进行成像来产生所述图像;转换步骤,将图像的分辨率转换为比第一分辨率小的第二分辨率;提取步骤,对分辨率被转换为第二分辨率的图像加以分析,并提取诊断对象的ROI;确定步骤,确定在提取步骤所提取的ROI中是否存在对预定图像特征加以指示的特征区;以及创建步骤,当存在特征区时,通过转换分辨率来创建输出图像,使得特征区被限制为要输出的图像尺寸并且以预定比率或比预定比率大的比率占据图像。
根据本发明示例性实施例的图像诊断程序包括:获取与具有第一分辨率的图像相关的数据的步骤,其中,通过对诊断对象进行成像来产生所述图像;将图像的分辨率转换为比第一分辨率小的第二分辨率的步骤;对分辨率被转换为第二分辨率的图像加以分析并提取诊断对象的ROI的步骤;确定在提取的ROI中是否存在对预定图像特征加以指示的特征区的步骤;以及当存在特征区时,通过转换分辨率来创建输出图像,使得特征区被限制为要输出的图像尺寸并且以预定比率或比预定比率大的比率占据图像的步骤。
本发明的技术效果
根据具有上述配置的本发明,可以以适于对要作为诊断基准的特征部分进行诊断的放大率,来创建具有实用图像尺寸的输出图像。
附图说明
图1是描述了根据第一实施例的图像诊断装置10的硬件配置的框图;
图2是描述了根据第一实施例的图像诊断装置10的一般配置的示例的图;
图3是描述了使用插值函数对图像信号进行下采样的图;
图4是描述了如何创建相邻病理特征的封闭矩形的图;
图5是描述了根据第一实施例的图像诊断方法的处理内容的流程图;
图6是描述了根据第二实施例的图像诊断装置10的一般配置的示例的图;
图7是描述了在网页上以不同的放大率来布置和显示不同病理特征的图;以及
图8是描述了根据第二实施例的图像诊断方法的处理内容的流程图。
具体实施方式
现在,将参考附图描述本发明的优选示例性实施例。在每个实施例中,从人体提取的病理样本将被描述为诊断对象的示例。例如,病理样本是通过对块样本进行切片而制备的样本,或者是通过几微米厚度的穿刺活检而获得的样本,其中所述块样本是通过对体内器官进行提取来获得的。
<第一实施例>
图1是描述了根据本发明第一实施例的图像诊断装置10的硬件配置的框图,图2是描述了根据本发明第一实施例的图像诊断装置10的一般配置的示例的图。
如图1所示,作为硬件,图像诊断装置10包括:CPU(中央处理单元)以及经由总线与CPU相连的ROM、RAM、存储单元、输入单元、显示单元、输入/输出接口等,即,与标准计算机设备相类似的硬件。图像诊断装置10物理上可以是专用系统或通用信息处理器。例如,在使用具有一般配置的信息处理器的情况下,可以通过启动软件来实现图像诊断装置10,其中在所述软件中编程了本发明的图像诊断方法的每个处理。
如图2所示,图像诊断装置10包括:图像数据获取装置11;分辨率转换装置12;目标区提取装置13;病理特征确定装置14;输出图像创建装置15和输出图像显示装置16。主要通过CPU执行ROM和RAM中存储的程序并控制每个硬件部件,来实现每个装置。
图像数据获取装置(获取装置)11获取与具有第一分辨率的最高放大率图像(图像)有关的数据,其中所述最高放大率图像是通过对病理样本进行成像而产生的。最高放大率图像是例如通过将染色的病理样本附着于载片上并使用图像扫描仪按照最高放大率对整个载片进行成像而产生的图像,可以从图像扫描仪获得该图像。第一分辨率是与图像扫描仪的最高放大率相对应的分辨率。
分辨率转换装置(转换装置)12将图像的分辨率转换为比第一分辨率小的分辨率。换句话说,通过数字信号处理来产生缩小图像,其中通过转换分辨率,根据最高放大率图像来创建具有较小分辨率的缩小图像。在具体条件下,分辨率转换装置12将图像的分辨率转换为比第一分辨率小的第二分辨率。第二分辨率是在目标区提取装置13(稍后将对其进行描述)提取病理样本的ROI时最初指定的初始放大率相对应的分辨率,并且可以根据在样本中检测到的病理改变来设置第二分辨率。优选地,初始放大率被设置为例如略微低于:当使用显微镜执行病理诊断时针对显微观察而设置的低放大率。分辨率转换装置12还将图像的分辨率转换为第三分辨率,并根据病理特征区的尺寸来设置该分辨率,其中第三分辨率小于等于第一分辨率并且大于第二分辨率。
在本文中,在第一分辨率是第二分辨率的整数倍的情况下,可以例如通过在具有第一分辨率的图像中以预定的间隔确定平均值或中心值,来实现将第一分辨率转换为第二分辨率的方法。如果创建任意放大率的缩小图像,则可以通过下采样来产生缩小图像,其中所述下采样用于信号处理技术。在下采样中,例如如图3所示,通过插值函数(例如,B-spline函数、Lanczos函数)对原始图像(高放大率图像)的采样信号之间的值建模,使得以用于缩小图像的间隔来提供必要的值。对于分辨率转换方法,可以使用已知的各种普通方法,包括上述方法。
目标区提取装置(提取装置)13对分辨率被转换为第二分辨率的图像(缩小图像)加以分析,并提取病理样本的感兴趣的区域(ROI)。例如,如果癌细胞的细胞核是病理改变的特征(病理特征),该特征将是病理样本的诊断基准,则可以提取怀疑这些细胞核以高密度存在的区域,作为感兴趣的区域,原因在于:与正常细胞相比,癌细胞通常以更高的密度生长。如果利用苏木精-伊红(HE)对病理样本染色,则细胞核的部分将变成紫罗兰色,而细胞质的部分将变成红紫色。因此,可以提取图像中紫罗兰色像素密度高的部分,即单位面积内紫罗兰色像素的数目是预定值或大于预定值的区域,作为ROI。对于ROI提取方法,可以使用常规ROI确定方法的技术,包括上述方法。
病理特征确定装置(确定装置)14确定在提取的ROI中是否存在对预定图像特征加以指示的特征区(病理特征区)。可以根据是否能够从ROI检测到颜色和形状与预定病理特征的颜色和形状相对应的病理特征,来确定是否存在病理特征区。例如,可以使用识别单元,其中所述识别单元使用神经网络和支持向量机形式的机器学习系统来学习病理特征的颜色、形状等作为特征量向量。对于病理特征确定方法,可以使用常规病理特征确定方法,包括上述方法。
如果检测到病理特征区,则病理特征确定装置14向输出图像创建装置15发送缩小图像的放大率、缩小图像中的病理特征的尺寸和位置信息及其在最高放大率图像中的转换值。如果没有检测到病理特征区,则病理特征确定装置14向分辨率转换装置12发送指令信息,以将图像的分辨率转换为第三分辨率,其中第三分辨率小于等于第一分辨率并且大于第二分辨率。因此,在以经过分辨率转换装置12转换后的新分辨率显示的缩小图像中,目标区提取装置13和病理特征确定装置14再次提取ROI,并确定是否存在病理特征区。在第二次ROI提取或后续的ROI提取中,可以使用针对之前的辨率而设置的信息,以节省处理时间。分辨率转换装置12、目标区提取装置13和病理特征确定装置14执行相应处理,直到检测到病理特征,或者直到分辨率达到第一分辨率(最高放大率)。如果即使在最高放大率下也没有检测到病理特征区,则向输出图像创建装置15发送病理特征区不存在信息。
如果存在病理特征区,则输出图像创建装置(创建装置)15计算病理特征区中的适当放大率,并且输出图像创建装置15基于该放大率和与最高放大率图像中的病理特征区相对应的位置,通过转换分辨率来创建输出图像,使得与最高放大率图像中的病理特征区相对应的区域被限制为输出图像尺寸的预定范围。换句话说,如果接收到与缩小图像的分辨率(放大率)有关的信息、与缩小图像中的病理特征的尺寸和位置有关的信息以及与最高放大率图像中的转换值有关的信息,则输出图像创建装置15基于该信息来创建输出图像,其中输出图像的尺寸是根据硬件(包括CPU和存储器)的处理能力而预先确定的。同时,调整输出图像的分辨率,使得病理特征区被限制为输出图像的尺寸并且以预定比率或比预定比率大的比率占据输出图像。例如,假设分辨率被调整为使得输出图像的尺寸是2048×2048像素并且病理特征区占据输出图像的50%。在这种情况下,可以通过P×x计算输出图像的分辨率,其中,P是(2097152/A),即,缩小图像中的病理特征区中的像素总数(由A表示)与输出图像尺寸之比,x表示缩小图像的放大率。输出图像中的病理特征区的比率不限于上述的50%,而是可以根据病理特征自由地设置的小于100%的值。
在计算出分辨率之后,输出图像创建装置15使用计算得到的分辨率将最高放大率图像转换为缩小图像,然后通过基于与病理特征区有关的位置信息提取缩小图像中的相应病理特征区,来产生输出图像。在长宽比过大或过小的情况下,可以设置最小长宽比,如,在垂直方向上50%或更大,而在水平方向上50%或更大。如果处于相同放大率的病理特征区在预定距离内彼此靠近(相邻),则例如如图4所示,可以创建封闭矩形(边界框),使得通过以封闭矩形作为一个病理特征区来产生上述输出图像,其中封闭矩形封闭了彼此靠近的病理特征区。
例如,输出图像显示装置16是显示所创建的输出图像的监视器。如果不存在病理特征区,即,如果接收到病理特征区不存在消息,则显示装置16可以在显示单元上显示例如消息“没有发现病理特征”,或者可以持续地显示空屏。
现在,将参考图5所示的流程图描述在图像诊断装置10中执行的根据本实施例的图像诊断方法。可以按照任意顺序或者并行地执行图5中的流程图所示的每个处理,只要不会造成处理内容的不一致。
首先,图像数据获取装置11获取与具有第一分辨率的最高放大率图像相关的数据(步骤S100)。最高放大率图像是例如通过以下操作而产生的图像:将染色的病理样本附着到载片上,并使用图像扫描仪以最高放大率对整个载片进行成像。
然后,分辨率转换装置12设置最高放大率图像的分辨率要被转换到的分辨率(步骤S101)。对于初始设置,设置比第一分辨率小的第二分辨率。第二分辨率是与提取病理样本的特征区时最初指定的初始放大率相对应的分辨率。
然后,通过使用数字信号处理,分辨率转换装置12通过转换分辨率来从最高放大率图像中创建具有较低分辨率的缩小图像(步骤S102)。如上所述,多种方法可以用于产生缩小图像,例如下采样。
然后,目标区提取装置13对转换了分辨率的缩小图像加以分析,并提取病理样本的ROI(步骤S103)。例如,如果癌细胞的细胞核是要作为病理样本诊断基准的特征(病理特征),则可以提取怀疑细胞核以高密度存在的区域作为感兴趣的区域(ROI),原因在于与正常细胞相比,癌细胞通常以更高密度在生长。
如果提取了ROI(步骤S104:是),则病理特征确定装置14确定在ROI中是否存在病理特征区(步骤S105)。可以根据是否从ROI提取到了与病理特征的颜色和形状相对应的特征,来确定是否存在病理特征区。
如果存在病理特征区(步骤S106:是),则输出图像创建装置15通过转换分辨率来创建输出图像,使得最高放大率图像中的病理特征区被限制为输出图像的尺寸并且以预定比率或比预定比率大的比率来占图像(步骤S107)。如上所述,当存在病理特征区时,基于从病理特征确定装置14发送的缩小图像的放大率、缩小图像中的病理特征的尺寸和位置信息及其最高放大率图像中的转换值来产生输出图像。由显示装置16显示来所创建的输出图像,在必要时医生可以通过对显示图像进行图像处理来执行图像诊断。
如果没有提取到ROI(步骤S104:否)或者如果不存在病理特征区(步骤S106:否),则确定当前设置的分辨率是否是与最高放大率相对应的分辨率(第一分辨率)(步骤S 108)。
如果当前设置的分辨率是与最高放大率相对应的分辨率(步骤S108:是),则该处理进入到结束。如果当前设置的分辨率不是与最高放大率相对应的分辨率(步骤S108:否),则处理返回步骤S101,分辨率转换装置12以预定比率增大当前设置的分辨率,将该分辨率设置为用于转换最高放大率图像的分辨率,并重复步骤S101至S108的处理。
可以通过以下步骤提供根据本实施例的图像诊断程序:将根据第一实施例的图像诊断方法构建为能够在计算机上执行的程序,将该程序存储在计算机能够自由读取的信息存储介质(存储器)中,以及在计算机上执行上述处理流中所示的处理。
根据本实施例,可以以一定的放大率来创建具有实用图像尺寸的输出图像,所述放大率适于对要作为诊断基准的特征部分进行诊断。例如,在癌症的病理诊断中,可以以与镜头的放大率不相同的多种放大率来清楚地显示要作为诊断基准的病理特征。
此外,通过对病理图像重复执行ROI提取处理并通过在图像上执行下采样处理来创建缩小图像,可以将病理特征限制为在适于诊断的放大率下具有实用图像尺寸的图像。
此外,当计算机化病理图像用于诊断时,可以在一定的图像尺寸内显示最明显病理特征,其中所述图像尺寸受限于诸如CPU和存储器之类的硬件的处理能力及诸如监视器之类的显示设备的分辨率。
通过保存与能够清楚地显示病理图像特征的放大率和图像尺寸相对应的电子数据,可以积累用于病理图像诊断的训练材料。
<第二实施例>
现在将描述根据本发明第二实施例的图像诊断装置20。
根据第二实施例,针对多个病理特征以适当的放大率来创建输出图像,并对这些输出图像进行关联和输出。在本实施例中,作为示例,将描述具有能够以不同放大率来检查的两个病理特征(第一病理特征和第二病理特征)的情况,但是本发明不限于这种情况,而是例如可以具有三个或更多个病理特征。
图6是描述了根据本发明第二实施例的图像诊断装置20的一般配置的示例的图。
如图6所示,图像诊断装置20包括:图像数据获取装置11;分辨率转换装置12;第一目标区提取装置13A;第二目标区提取装置13B;第一病理特征确定装置14A;第二病理特征确定装置14B;输出图像显示装置16;以及输出图像整合装置17。主要通过CPU执行ROM和RAM中存储的程序从而控制每个硬件部件,来实现每种装置。对于根本上与第一实施例的每种装置相同的每个装置,省略了对其的详细描述。
第一目标区提取装置13A对分辨率被转换为第二分辨率的图像(缩小图像)加以分析并提取第一病理特征的ROI,第二目标区提取装置13B对分辨率被转换为第二分辨率的图像(缩小图像)加以分析并提取第二病理特征的ROI。在此省略了对第一目标区提取装置13A和第二目标区提取装置13B中与第一实施例的目标区提取装置13的功能相同的功能的详细描述。
第一病理特征确定装置14A确定在提取的ROI中是否存在第一病理特征,第二病理特征确定装置14B确定在提取的ROI中是否存在第二病理特征。此处省略了对第一病理特征确定装置14A和第二病理特征确定装置14B中与第一实施例的病理特征确定装置14的功能相同的功能的详细描述。
除了第一实施例的输出图像创建装置15的功能之外,输出图像整合装置17还具有将针对每个病理特征创建的输出图像相关联的功能。例如,如果第一病理特征的区和第二病理特征的区以不同的放大率处于相同的位置,则输出图像整合装置17将这些输出图像相关联,对其进行整合,并允许显示装置16显示所创建的输出图像。可能的关联方法是:在每个输出图像的图像首部上显示相互图像信息,或者将每个输出图像布置并显示在网页上。在将每个输出图像置于网页上的情况下,可以设置例如图7所示的信息链接。
现在,将参考图8所示的流程图描述在图像诊断装置20中执行的根据本实施例的图像诊断方法。将使用能够以不同放大率来检查的两个病理特征(具有腺结构方面的特征的第一病理特征,以及具有细胞核结构方面的特征的第二病理特征)来描述本实施例。可以以任意顺序或者并行地执行图8中的流程图所示的每个处理,只要不造成处理内容的不一致。
首先,图像数据获取装置11获取与具有第一分辨率的最高放大率图像相关的数据(步骤200)。
然后,设置要生成其输出图像的病理特征(步骤S201)。例如,设置第一病理特征(假定首先产生具有腺结构方面的特征的第一病理特征的输出图像)。
然后,执行步骤S202至S209中的每个处理。此处,省略了对步骤S202至S209中与第一实施例的步骤S101至S108中的每个处理相同的每个处理的详细描述。
在步骤S208中的处理之后或者在步骤S209中的处理之后,确定是否存在下一个病理特征(步骤S210)。
如果存在下一个病理特征(步骤S210:是),则处理返回步骤S201,设置作为下一个病理特征的第二病理特征(假设接下来产生具有细胞核结构方面的特征的第二病理特征的输出图像),并重复步骤S202至S209中的处理。
如果不存在下一个病理特征(步骤S210:否),则输出图像整合装置16将针对每个病理特征而创建的输出图像相关联并进行显示(步骤S211)。例如,如果第一病理特征和第二病理特征以不同的放大率处于相同的位置,则输出图像整合装置16将这些输出图像相关联,并如图7所示整合和显示这些图像。
可以通过以下步骤提供根据本实施例的图像诊断程序:将根据第二实施例的图像诊断方法构建为能够在计算机上执行的程序,将该程序存储在计算机能够自由读取的信息存储介质(存储器)中,并在计算机上执行上述处理流中所示的处理。
根据本实施例,可以分别针对每个病理特征,以适于诊断病理特征区的放大率来创建具有实用图像尺寸的输出图像。此外,将不同病理特征相关联并进行显示,从而可以向执行病理诊断的医生提供有用信息,并且可以提高诊断的效率。
<变型示例>
尽管描述了本发明的优选实施例,但是本发明不限于所述实施例,本领域技术人员在不背离权利要求书表达的精神和范围的前提下可以进行多种修改、添加和省略。
例如,在每个上述实施例中,作为示例描述了在诸如监视器之类的显示单元上显示输出图像的情况,但是本发明不限于这种情况,是可以使用与图像诊断装置10和20相连的打印设备(如,打印机)来打印输出图像。
使用病理样本作为诊断对象的示例描述了每个上述实施例,但是本发明不限于这种情况,可以使用其它生物学样本。
在每个实施例中,图像诊断装置10或20根据应用而具有每一个装置,但是可以集成图像诊断装置10或20中的一些装置,或者可以将图像诊断装置10或20中一个装置分为多个装置。
本申请要求2010年1月4日提交的日本专利申请No.2010-149的优先权,其全部公开被合并于此。
尽管已经参考实施例描述了本发明,但是本发明不限于所述实施例。本领域技术人员可以在本发明的范围内对本发明的配置和细节进行多种修改。
工业应用
本发明可以用于支持基于病理图像的诊断。
符号的说明
10,20图像诊断装置
11图像数据获取装置
12分辨率转换装置
13目标区提取装置
14病理特征确定装置
15输出图像创建装置
16输出图像显示装置
Claims (6)
1.一种图像诊断装置,包括:
获取装置,用于获取与具有第一分辨率的图像相关的数据,所述图像是通过对诊断对象进行成像来产生的;
转换装置,用于将所述图像的分辨率转换为比第一分辨率小的第二分辨率;
提取装置,用于对分辨率被转换为第二分辨率的所述图像加以分析,并提取诊断对象的ROI;
确定装置,用于确定在提取装置所提取的ROI中是否存在对预定图像特征加以指示的特征区;以及
创建装置,用于当存在特征区时,通过转换分辨率来创建输出图像,使得特征区被限制为要输出的图像尺寸并且以预定比率或比预定比率大的比率占据图像。
2.根据权利要求1所述的图像诊断装置,其中,
当提取装置没有提取到ROI时,
转换装置将图像的分辨率转换为第三分辨率,其中第三分辨率小于等于第一分辨率并且大于第二分辨率,以及
提取装置对转换为第三分辨率的图像加以分析,并提取诊断对象的ROI。
3.根据权利要求3所述的图像诊断装置,其中,创建装置针对多个预定图像特征中的每一个创建输出图像,
图像诊断装置还包括显示装置,用于当在图像中的相同位置存在不同图像特征时,将不同图像特征的每个输出图像相关联,并显示相关联的输出图像。
4.根据权利要求1至3中任一项所述的图像诊断装置,其中,诊断对象是病理样本。
5.一种图像诊断方法,包括:
获取步骤,获取与具有第一分辨率的图像相关的数据,所述图像是通过对诊断对象进行成像来产生的;
转换步骤,将图像的分辨率转换为比第一分辨率小的第二分辨率;
提取步骤,对分辨率被转换为第二分辨率的图像加以分析,并提取诊断对象的ROI;
确定步骤,确定在提取步骤所提取的ROI中是否存在对预定图像特征加以指示的特征区;以及
创建步骤,当存在特征区时,通过转换分辨率来创建输出图像,使得特征区被限制为要输出的图像尺寸并且以预定比率或比预定比率大的比率占据图像。
6.一种图像诊断程序,包括:
获取与具有第一分辨率的图像相关的数据的步骤,其中,所述图像是通过对诊断对象进行成像来产生的;
将图像的分辨率转换为比第一分辨率小的第二分辨率的步骤;
对分辨率被转换为第二分辨率的图像加以分析并提取诊断对象的ROI的步骤;
确定在提取的ROI中是否存在对预定图像特征加以指示的特征区的步骤;以及
当存在特征区时,通过转换分辨率来创建输出图像,使得特征区被限制为要输出的图像尺寸并且以预定比率或比预定比率大的比率占据图像的步骤。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010-000149 | 2010-01-04 | ||
JP2010000149A JP5660273B2 (ja) | 2010-01-04 | 2010-01-04 | 画像診断方法、画像診断装置および画像診断プログラム |
PCT/JP2010/073014 WO2011081060A1 (ja) | 2010-01-04 | 2010-12-21 | 画像診断方法、画像診断装置および画像診断プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102687006A true CN102687006A (zh) | 2012-09-19 |
CN102687006B CN102687006B (zh) | 2014-12-31 |
Family
ID=44226467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201080060594.5A Active CN102687006B (zh) | 2010-01-04 | 2010-12-21 | 图像诊断方法、图像诊断装置 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9014443B2 (zh) |
EP (1) | EP2522998A4 (zh) |
JP (1) | JP5660273B2 (zh) |
CN (1) | CN102687006B (zh) |
WO (1) | WO2011081060A1 (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106483338A (zh) * | 2015-08-28 | 2017-03-08 | 松下知识产权经营株式会社 | 图像输出装置、图像发送装置、图像接收装置、图像输出方法 |
CN108513711A (zh) * | 2016-12-28 | 2018-09-07 | 索尼半导体解决方案公司 | 图像处理装置、图像处理方法和图像处理系统 |
CN109905717A (zh) * | 2017-12-11 | 2019-06-18 | 四川大学 | 一种基于空时域下采样与重建的h.264/avc编码优化方法 |
CN110346568A (zh) * | 2012-07-18 | 2019-10-18 | 赛拉诺斯知识产权有限责任公司 | 探察并测定凝集反应的方法 |
CN112561852A (zh) * | 2019-09-26 | 2021-03-26 | 佳能株式会社 | 图像判断装置和图像判断方法 |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013118436A1 (ja) * | 2012-02-09 | 2013-08-15 | 日本電気株式会社 | 生体画像解析システム、生体画像解析方法および生体画像解析プログラム |
US8755633B2 (en) * | 2012-03-14 | 2014-06-17 | Sony Corporation | Automated synchronized navigation system for digital pathology imaging |
JP2014137262A (ja) | 2013-01-16 | 2014-07-28 | Sony Corp | 画像取得装置、画像取得方法、および情報処理プログラム |
JP2014140335A (ja) * | 2013-01-24 | 2014-08-07 | Dainippon Printing Co Ltd | 培地画像解析装置、培地情報登録システム、プログラム及び衛生管理システム |
KR101534089B1 (ko) * | 2013-06-25 | 2015-07-06 | 삼성메디슨 주식회사 | 초음파 진단 장치 및 그 동작방법 |
KR102125525B1 (ko) * | 2013-11-20 | 2020-06-23 | 삼성전자주식회사 | 이미지 처리 방법 및 그 전자 장치 |
WO2016120418A1 (en) * | 2015-01-31 | 2016-08-04 | Ventana Medical Systems, Inc. | Quality control of automated whole-slide analysis |
US20180039853A1 (en) * | 2016-08-02 | 2018-02-08 | Mitsubishi Electric Research Laboratories, Inc. | Object Detection System and Object Detection Method |
JP6915349B2 (ja) * | 2017-04-04 | 2021-08-04 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、及び画像処理プログラム |
KR102044525B1 (ko) * | 2017-12-07 | 2019-11-14 | 울산대학교 산학협력단 | 이식 거부반응 판별 모델 생성 방법 및 장치 |
KR102064957B1 (ko) * | 2018-04-10 | 2020-01-10 | 가톨릭대학교 산학협력단 | 염증성 피부질환 중증도 진단을 위한 표준영상 정보 서비스 방법 및 서비스 시스템 |
JP7161948B2 (ja) * | 2018-09-07 | 2022-10-27 | 株式会社フジクラ | 機械学習装置、機械学習方法、機械学習プログラム、及び検査装置 |
KR20210106024A (ko) | 2019-01-22 | 2021-08-27 | 어플라이드 머티어리얼스, 인코포레이티드 | 확대된 이미지들의 캡처 및 저장 |
JP6908806B1 (ja) * | 2020-09-16 | 2021-07-28 | BonBon株式会社 | プログラム、情報処理装置、方法 |
KR102218255B1 (ko) * | 2020-09-25 | 2021-02-19 | 정안수 | 갱신 영역 학습을 통한 인공지능 기반의 영상 분석 시스템 및 방법과, 이를 위한 컴퓨터 프로그램 |
US11798165B2 (en) * | 2020-10-28 | 2023-10-24 | Sony Group Corporation | Tumor detection and segmentation for DPI AI platform routes |
WO2023195405A1 (ja) * | 2022-04-04 | 2023-10-12 | 京セラコミュニケーションシステム株式会社 | 細胞検出装置、細胞診断支援装置、細胞検出方法、及び細胞検出プログラム |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1075022A (zh) * | 1992-01-29 | 1993-08-04 | 佳能株式会社 | 图象处理装置及其方法 |
US6226396B1 (en) * | 1997-07-31 | 2001-05-01 | Nec Corporation | Object extraction method and system |
CN1307313A (zh) * | 2000-01-31 | 2001-08-08 | 佳能株式会社 | 图象处理系统 |
CN1339912A (zh) * | 2000-06-27 | 2002-03-13 | 佳能株式会社 | 图象处理设备及其处理方法 |
EP1517134A1 (en) * | 2003-09-22 | 2005-03-23 | Yokogawa Electric Corporation | Drug screening method and device using a Nipkow confocal scanner |
CN1775171A (zh) * | 2004-08-30 | 2006-05-24 | 株式会社东芝 | 医用图像显示装置 |
US20070135999A1 (en) * | 2005-12-13 | 2007-06-14 | Applied Spectral Imaging Ltd. | Method, apparatus and system for characterizing pathological specimen |
CN1988850A (zh) * | 2004-07-30 | 2007-06-27 | 株式会社日立医药 | 医用图像诊断辅助方法、装置和图像处理程序 |
EP2085019A1 (en) * | 2006-10-11 | 2009-08-05 | Olympus Corporation | Image processing device, image processing method, and image processing program |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6711283B1 (en) * | 2000-05-03 | 2004-03-23 | Aperio Technologies, Inc. | Fully automatic rapid microscope slide scanner |
US20040202357A1 (en) * | 2003-04-11 | 2004-10-14 | Perz Cynthia B. | Silhouette image acquisition |
JP2005010884A (ja) * | 2003-06-17 | 2005-01-13 | Canon Inc | 遠隔診断システム |
US20060159325A1 (en) | 2005-01-18 | 2006-07-20 | Trestle Corporation | System and method for review in studies including toxicity and risk assessment studies |
CA2595248A1 (en) * | 2005-01-18 | 2006-07-27 | Trestle Corporation | System and method for creating variable quality images of a slide |
JP2006301965A (ja) * | 2005-04-20 | 2006-11-02 | Canon Inc | 情報処理装置、画像処理装置、画像処理システム及び方法、並びに記憶媒体 |
US20070031043A1 (en) * | 2005-08-02 | 2007-02-08 | Perz Cynthia B | System for and method of intelligently directed segmentation analysis for automated microscope systems |
EP2034349B2 (en) * | 2006-06-08 | 2023-07-19 | Nikon Corporation | Observing apparatus and observing method |
JP4947589B2 (ja) | 2007-06-27 | 2012-06-06 | Kddi株式会社 | 類似画像検索装置 |
JP5200607B2 (ja) * | 2008-03-21 | 2013-06-05 | 日本電気株式会社 | 病理画像診断装置、病理画像診断方法及びプログラム |
JP5503119B2 (ja) | 2008-06-18 | 2014-05-28 | 株式会社三共 | 遊技機 |
-
2010
- 2010-01-04 JP JP2010000149A patent/JP5660273B2/ja active Active
- 2010-12-21 WO PCT/JP2010/073014 patent/WO2011081060A1/ja active Application Filing
- 2010-12-21 CN CN201080060594.5A patent/CN102687006B/zh active Active
- 2010-12-21 EP EP10840917.8A patent/EP2522998A4/en not_active Withdrawn
- 2010-12-21 US US13/520,490 patent/US9014443B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1075022A (zh) * | 1992-01-29 | 1993-08-04 | 佳能株式会社 | 图象处理装置及其方法 |
US6226396B1 (en) * | 1997-07-31 | 2001-05-01 | Nec Corporation | Object extraction method and system |
CN1307313A (zh) * | 2000-01-31 | 2001-08-08 | 佳能株式会社 | 图象处理系统 |
CN1339912A (zh) * | 2000-06-27 | 2002-03-13 | 佳能株式会社 | 图象处理设备及其处理方法 |
EP1517134A1 (en) * | 2003-09-22 | 2005-03-23 | Yokogawa Electric Corporation | Drug screening method and device using a Nipkow confocal scanner |
CN1988850A (zh) * | 2004-07-30 | 2007-06-27 | 株式会社日立医药 | 医用图像诊断辅助方法、装置和图像处理程序 |
CN1775171A (zh) * | 2004-08-30 | 2006-05-24 | 株式会社东芝 | 医用图像显示装置 |
US20070135999A1 (en) * | 2005-12-13 | 2007-06-14 | Applied Spectral Imaging Ltd. | Method, apparatus and system for characterizing pathological specimen |
EP2085019A1 (en) * | 2006-10-11 | 2009-08-05 | Olympus Corporation | Image processing device, image processing method, and image processing program |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110346568A (zh) * | 2012-07-18 | 2019-10-18 | 赛拉诺斯知识产权有限责任公司 | 探察并测定凝集反应的方法 |
CN106483338A (zh) * | 2015-08-28 | 2017-03-08 | 松下知识产权经营株式会社 | 图像输出装置、图像发送装置、图像接收装置、图像输出方法 |
CN108513711A (zh) * | 2016-12-28 | 2018-09-07 | 索尼半导体解决方案公司 | 图像处理装置、图像处理方法和图像处理系统 |
US11606516B2 (en) | 2016-12-28 | 2023-03-14 | Sony Semiconductor Solutions Corporation | Image processing device, image processing method, and image processing system |
CN109905717A (zh) * | 2017-12-11 | 2019-06-18 | 四川大学 | 一种基于空时域下采样与重建的h.264/avc编码优化方法 |
CN112561852A (zh) * | 2019-09-26 | 2021-03-26 | 佳能株式会社 | 图像判断装置和图像判断方法 |
Also Published As
Publication number | Publication date |
---|---|
CN102687006B (zh) | 2014-12-31 |
EP2522998A1 (en) | 2012-11-14 |
JP2011137780A (ja) | 2011-07-14 |
WO2011081060A1 (ja) | 2011-07-07 |
EP2522998A4 (en) | 2013-08-14 |
US9014443B2 (en) | 2015-04-21 |
JP5660273B2 (ja) | 2015-01-28 |
US20130011028A1 (en) | 2013-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102687006B (zh) | 图像诊断方法、图像诊断装置 | |
CN110232719B (zh) | 一种医学图像的分类方法、模型训练方法和服务器 | |
EP2803015B1 (en) | Two stage categorization of objects in images | |
WO2013099124A1 (en) | Image processing apparatus, image processing system, image processing method, and program | |
JP6670222B2 (ja) | 画像診断支援装置及びシステム、画像診断支援方法 | |
CN107392189B (zh) | 用于确定无人车的驾驶行为的方法和装置 | |
US11676268B2 (en) | Image diagnosis assisting apparatus, image diagnosis assisting system and image diagnosis assisting method | |
CN110176002B (zh) | 一种x射线图像的病灶检测方法及终端设备 | |
JP2009542369A (ja) | Dicomを介した大画像保存および取得方法 | |
JP2006049964A (ja) | 画像表示システム、画像提供装置、画像表示装置、およびコンピュータプログラム | |
US11694331B2 (en) | Capture and storage of magnified images | |
EP2249307B1 (en) | Method for image reframing | |
CN110349654A (zh) | 图像处理方法、装置、存储介质及计算机设备 | |
Zhao et al. | Automatic glomerulus extraction in whole slide images towards computer aided diagnosis | |
US11449991B2 (en) | Image processing method, image processing apparatus, and storage medium | |
JP2004054347A (ja) | 画像処理方法、画像処理プログラムおよび画像処理装置 | |
CN115410693A (zh) | 一种数字病理切片的存储系统、浏览系统及方法 | |
Dwivedi et al. | The advent of digital pathology: a depth review | |
EP4174764A1 (en) | Information processing device, information processing method, program, and information processing system | |
Hipp et al. | Image microarrays (IMA): digital pathology’s missing tool | |
WO2018131723A1 (ja) | 画像処理装置及び画像処理方法 | |
Ashman et al. | A Camera-Assisted Pathology Microscope to Capture the Lost Data in Clinical Glass Slide Diagnosis | |
Senavongse et al. | THE DESIGNING OF A BIOINFORMATICS MICROSCOPE TO OBSERVE BIOPSY CANCER CELLS USING AN IMAGING PROCESSING SYSTEM VIA MEDICAL WEB SERVICES | |
Fischer et al. | DICOM Whole Slide Imaging for Computational Pathology Research in Kaapana and the Joint Imaging Platform | |
Sucaet et al. | Digital Pathology’s Past to Present |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |