CN107850545A - 图像处理方法以及图像处理装置 - Google Patents

Abstract

本发明的图像处理方法是在观察图像中提取表示检测对象物的亮点作为检测亮点的图像处理方法，在该图像处理方法中，针对亮点定义包含亮点的亮点区域，在亮点区域的周围定义参考像素，通过评价参考像素的亮度值来判定亮点区域是否包含在感兴趣区域中，在判定为亮点区域包含在感兴趣区域中的情况下，提取亮点区域中包含的亮点作为检测亮点。

Description

图像处理方法以及图像处理装置

技术领域

本发明涉及提取观察图像内的检测对象物的图像处理方法以及图像处理装置。

背景技术

检测感染上病原菌的细胞或具有给定的蛋白质等的细胞在食品、医疗等领域中很重要。例如，通过调查病原菌的感染率等，从而能够知道动植物的健康状态。病原菌的感染率使用所提取出的病原菌的数量以及细胞的数量来计算。因此，为了调查病原菌的感染率，需要提取观察图像内的细胞的数量和细胞内的病原菌的数量。

以往，细胞内的病原菌的数量通过对由荧光色素进行了标识的病原菌的荧光观察图像进行图像解析来提取。

另一方面，细胞的数量，例如，通过对由与标识病原菌的荧光色素不同的荧光色素染色的细胞的荧光观察图像进行图像解析来提取。此外，作为其他方法，细胞的数量通过对细胞的明场观察图像进行图像解析来提取。

另外，与本发明关联的在先技术文献，例如，已知专利文献1以及专利文献2。

在先技术文献

专利文献

专利文献1：JP特开2013-57631号公报

专利文献2：JP特开2004-54956号公报

发明内容

本发明的图像处理方法是在包含亮点的观察图像中提取表示检测对象物的亮点作为检测亮点的图像处理方法，在该图像处理方法中，针对亮点定义包含亮点的亮点区域，在亮点区域的周围定义参考像素，通过评价参考像素的亮度值，来判定亮点区域是否包含在感兴趣区域中，在亮点区域包含在感兴趣区域中的情况下，提取所述亮点区域中包含的亮点作为检测亮点。

此外，本发明的图像处理装置具备存储观察图像的存储部、和对观察图像执行图像处理方法的处理部，处理部执行如下的图像处理方法，即，针对亮点定义包含亮点的观察图像，在亮点区域的周围定义参考像素，通过评价参考像素的亮度值，来判定亮点区域是否包含在感兴趣区域中，在亮点区域包含在感兴趣区域中的情况下，提取所述亮点区域中包含的亮点作为检测亮点。

本发明的图像处理方法以及图像处理装置能够高精度地提取观察图像中的检测亮点。

附图说明

图1是本实施方式中的荧光观察图像的示意图。

图2是示出本实施方式中的图像处理装置的框图。

图3是示出本实施方式中的图像处理方法的流程的图。

图4是示出本实施方式中的图像处理方法的示意图。

图5是示出本实施方式中的亮点区域的提取的一例的图。

图6A是示出本实施方式中的亮点区域的一例的图。

图6B是示出本实施方式中的亮点区域的另一例的图。

图6C是示出本实施方式中的亮点区域的另一例的图。

图7是示出本实施方式中的荧光观察图像的亮度值的频率分布的一例的曲线图。

具体实施方式

在上述的图像处理方法中，对病原菌等检测对象物进行标识的荧光试剂优选与检测对象物进行特异性结合。但是，在荧光观察中，荧光试剂存在与检测对象物以外的物质进行非特异性结合的情况。与检测对象物以外的物质结合的荧光试剂发出的荧光在荧光观察图像上成为噪声。噪声成为检测对象物的误提取的原因。因此，为了准确地提取检测对象物，判别观察图像内的荧光亮点是位于表示细胞内的感兴趣区域(Region Of Interest)、还是位于表示细胞外的非感兴趣区域(Non Region Of Interest)是很重要的。

但是，在现有的方法中，难以准确地判别荧光亮点的位置。因此，现有的方法不能高精度地提取表示观察图像中的检测对象物的检测亮点。

以下，参考附图对本发明的实施方式所涉及的图像处理方法进行说明。另外，本发明在基于本说明书记载的基本特征的范围内，并不限定于以下记载的内容。

(实施方式)

[概要]

本实施方式中的图像处理方法，例如，用于对试样和试样中包含的检测对象物进行拍摄而得到的荧光观察图像的解析。

试样是细胞、组织等来自生物体的采集物。细胞例如是红血球、IPS细胞(InducedPluripotent Stem Cells，诱导性多功能干细胞)等。此外，所谓检测对象物，可举出存在于试样内部的寄生虫、病毒、蛋白质或异物等。

在本实施方式中，对试样是红血球、检测对象物是寄生虫的例子进行说明。另外，寄生虫存在于红血球的内部。

图1是本发明的图像处理方法中使用的荧光观察图像10的示意图。

荧光观察图像10是由荧光检测装置对用荧光试剂进行了染色的包含检测对象物的试样进行拍摄而得到的图像。

试样与荧光试剂进行了特异性结合。荧光试剂包含与试样结合并且在给定波长的激励光下发出荧光的荧光色素。荧光试剂，例如，包含与试样中特有的蛋白质选择性地进行结合的抗原等。由此，荧光检测装置能够仅对试样进行拍摄。

同样地，检测对象物与荧光试剂进行了特异性结合。荧光试剂包含与检测对象物结合并且在给定波长的激励光下发出荧光的荧光色素。另外，用于使和试样结合的荧光试剂产生荧光的激励光的波长，与用于使与检测对象物结合的荧光试剂产生荧光的激励光的波长不同。由此，荧光检测装置能够仅对检测对象物进行拍摄。荧光检测装置具备照射两种波长的激励光的光学系统。荧光观察图像10使用两种波长的激励光来拍摄。

荧光观察图像10是使按每种激励光单独拍摄到的图像重合而得到的图像。另外，重合的图像的一张也可以是使用了相位差等的透射光观察图像。透射光观察图像，例如，是对试样拍摄而得到的图像。在该情况下，荧光观察图像10仅利用一种波长的激励光来拍摄。

荧光观察图像10具有感兴趣区域11和非感兴趣区域12。感兴趣区域11是红血球等试样存在的区域。非感兴趣区域12是荧光观察图像10中的感兴趣区域11以外的区域。即，非感兴趣区域12是不存在试样的背景的区域。

荧光观察图像10具有由从荧光试剂发出的荧光产生的亮点13。亮点13包含表示检测对象物的检测亮点14和表示非检测对象物的非检测亮点15。非检测亮点15，例如由来自吸附在放置试样的检测板上的荧光试剂的残留物的荧光产生。

一般地，荧光试剂优选仅与检测对象物进行特异性结合而发出荧光。但是，实际上，荧光试剂会非特异性吸附在检测对象物以外的场所。非特异性吸附所引起的亮点13不是表示检测对象物的检测亮点14。因此，非检测亮点15在观察中成为噪声。因此，非检测亮点15需要使用图像处理从荧光观察图像10中进行排除。

在本实施方式中，作为检测对象物的寄生虫存在于红血球内。因此，检测亮点14是存在于感兴趣区域11内的亮点13。此外，作为检测噪声的非检测亮点15是存在于非感兴趣区域12内的亮点13。

本发明中的图像处理方法为了从荧光观察图像10包含的多个亮点13中提取检测亮点14而执行。

[图像处理装置的结构]

本发明的图像处理方法，例如，由图2所示的图像处理装置30执行。

图像处理装置30具备：存储荧光观察图像10的存储部31和对荧光观察图像10执行图像处理方法的处理部32。

处理部32是基于程序来执行图像处理方法的CPU等。程序例如存储在处理部32的存储器等中。另外，程序也可以存储在存储部31或外部的存储装置等中。

另外，图像处理装置30也可以具备对所提取出的检测亮点14的数量、试样的数量以及计算出的感染率等进行显示的显示部33。显示部33例如是显示器等。

[图像处理方法]

接下来，对处理部32执行的图像处理方法进行说明。图3是示出图像处理方法的流程的图。图4是示意性地示出图像处理方法的处理的图像的图。另外，在以下的说明中，作为一例，图像处理方法设为由图像处理装置30来执行。

在步骤S01中，处理部32从存储部31中取得应用图像处理的荧光观察图像10。

构成荧光观察图像10的多个像素具有与各像素对应的亮度值的数据。例如，荧光观察图像10的像素的亮度值按照检测对象物的位置处的像素的亮度值、背景的位置处的像素的亮度值、试样的位置处的像素的亮度值的顺序变小。

在步骤S02中，处理部32提取荧光观察图像10中包含的全部亮点13。然后，处理部32根据所提取出的亮点13来定义亮点区域16。

亮点13是由荧光观察图像10中具有给定阈值以上的亮度值的多个像素构成的像素群。亮点13的提取，例如，通过将荧光观察图像10以给定的亮度值进行二值化来进行。给定阈值例如是预先设定的值，设定为表示非感兴趣区域12的像素的亮度值与表示亮点13的像素的亮度值之间的值。在所提取出的亮点13中，包含检测亮点14和非检测亮点15这两者。

所提取出的亮点13由于是多个像素的集合体，因此大多情况成为复杂的形状。复杂的形状的亮点13有时会使后述的步骤S03中定义参考像素17的处理变得复杂。因此，为了简化步骤S03的处理，处理部32根据所提取出的亮点13来定义亮点区域16。

亮点区域16是包含亮点13的区域。图5是示出亮点区域16的提取的一例的图。亮点区域16，例如，如图5的虚线所示，是对应于亮点13的像素群外接的四边形的区域。

另外，亮点区域16也可以定义为与亮点13外接的圆形、多边形等具有确定的形状的区域。

像这样，处理部32通过以具有确定的形状的区域定义亮点区域16，从而能够不使用复杂的算法地执行步骤S03以后的处理。

在步骤S03中，处理部32将亮点区域16的周围的像素定义为参考像素17。

图6A～图6C是示出了对亮点区域16配置了参考像素17的例子的图。由虚线18包围的区域是试样存在的感兴趣区域11的外形。关于配置了亮点区域16的状态在后面叙述。

参考像素17用于对亮点区域16存在的场所进行判定。因此，参考像素17是位于亮点区域16的附近的像素。参考像素17与亮点区域16相邻。

例如，如图6A～图6C所示，参考像素17是与亮点区域16相邻的8个像素。8个参考像素17设置于亮点区域16的四角和四边各自的正中间。这样，参考像素17在一个亮点区域16的周围被定义多处。

另外，参考像素17的位置、数量能够根据要观察的试样、检测对象物来适当设定。

此外，参考像素17也能够将相邻的多个像素作为一块像素群而定义为参考像素。

接着，处理部32通过步骤S04中评价参考像素17的亮度值，从而在步骤S05中判定亮点区域16是否包含在感兴趣区域11中。参考像素17的亮度值的评价使用决定表示感兴趣区域11的亮度值的范围的感兴趣区域判定基准来进行。

在参考像素17的亮度值符合感兴趣区域判定基准的情况下，处理部32判定为参考像素17包含在感兴趣区域11中。即，处理部32判定为亮点区域16包含在感兴趣区域11中。另一方面，在参考像素17的亮度值不符合感兴趣区域判定基准的情况下，处理部32判定为参考像素17包含在非感兴趣区域12中。即，处理部32判定为亮点区域16包含在非感兴趣区域12中。

在此，感兴趣区域判定基准决定了荧光观察图像10中表示感兴趣区域11的像素的亮度值的范围。以下，对感兴趣区域判定基准进行说明。

图7是示出荧光观察图像10的亮度值的频率分布的一例的曲线图。曲线图的横轴表示亮度值。曲线图的纵轴表示亮度值的像素数。但是，在图7中，并未图示表示亮点13的亮度值。

图7所示的表示亮度值的频率分布的曲线图在亮度值a和亮度值b分别具有极大值。此外，在亮度值a与亮度值b之间，存在取极小值的亮度值c。

此时，作为范围A与范围B的边界的亮度值c是将荧光观察图像10划分为感兴趣区域11和非感兴趣区域12的阈值。

另外，在荧光观察图像10中，在背景的亮度值小于试样的亮度值的情况下，包含亮度值a的范围A意味着感兴趣区域11。此外，包含亮度值b的范围B意味着非感兴趣区域12。在背景的亮度值大于试样的亮度值的情况下，包含亮度值a的范围A意味着非感兴趣区域12。此外，包含亮度值b的范围B意味着感兴趣区域11。

即，表示感兴趣区域11与非感兴趣区域12的边界的亮度值，例如，是作为位于亮度值a与亮度值b之间的极小值的亮度值c。

在背景的亮度值小于试样的亮度值的情况下，感兴趣区域判定基准将亮度值大于亮度值c的范围决定为表示感兴趣区域11的亮度值的范围。即，亮度值c示出感兴趣区域判定基准中表示感兴趣区域11的亮度值的下限。在该情况下，非感兴趣区域判定基准将亮度值成为亮度值c以下的范围决定为表示非感兴趣区域12的亮度值的范围。即，亮度值c示出非感兴趣区域判定基准中表示非感兴趣区域12的亮度值的上限。此外，在背景的亮度值大于试样的亮度值的情况下，感兴趣区域判定基准将亮度值小于亮度值c的范围决定为表示感兴趣区域11的亮度值的范围。即，亮度值c示出感兴趣区域判定基准中表示感兴趣区域11的亮度值的上限。在该情况下，非感兴趣区域判定基准将亮度值成为亮度值c以上的范围决定为表示非感兴趣区域12的亮度值的范围。即，亮度值c是非感兴趣区域判定基准中非感兴趣区域12的像素的亮度值的下限。即，将上述极小值决定为感兴趣区域11中的亮度值的范围与非感兴趣区域12中的亮度值的范围的边界。

因此，将参考像素17的亮度值与感兴趣区域判定基准进行比较，在参考像素17的亮度值符合感兴趣区域判定基准的情况下，处理部32判定为亮点区域16(参考像素17)存在于感兴趣区域11。此外，将参考像素17的亮度值与非感兴趣区域判定基准进行比较，在参考像素17的亮度值与非感兴趣区域判定基准一致的情况下，处理部32判定为亮点区域16(参考像素17)存在于非感兴趣区域12。但是，也可以不使用非感兴趣区域判定基准。例如，若参考像素17的亮度值与感兴趣区域判定基准不一致，则能够判定为参考像素17存在于非感兴趣区域12。

另外，范围A也可以设定上限值。上限值成为表示亮点13的亮度值与亮度值c之间的值。通过设定上限值，从而能够排除不必要的噪声的影响。因此，能够更高精度地确定感兴趣区域11。

同样地，范围B也可以设定下限值。通过设定下限值，从而能够排除不必要的噪声的影响。因此，能够更高精度地确定非感兴趣区域12。

此外，划分感兴趣区域11和非感兴趣区域12的亮度值的阈值，例如，也可以是亮度值a与亮度值b的正中间的亮度值。此外，也可以使用其他的方法来设定亮度值的阈值。例如，在预先已知表示感兴趣区域11的亮度值的范围的情况下，感兴趣区域判定基准也可以将该亮度值的范围设为表示感兴趣区域11的亮度值的范围。

进而，范围A，例如，也可以设为从成为极大值的亮度值a起的一定的范围。例如，感兴趣区域判定基准也可以将图7所示的频率分布中以亮度值a的极大值为中心值而偏离了标准偏差的亮度值的范围，设为表示感兴趣区域11的亮度值的范围。关于范围B也是同样。

另外，针对一个亮点区域16定义了一个参考像素17时，处理部32在一个参考像素17的亮度值满足感兴趣区域判定基准的情况下，判定为该一个亮点区域16包含在感兴趣区域11中。

此外，针对一个亮点区域16定义了多个参考像素17时，若多个参考像素17中存在于感兴趣区域11的多个参考像素17所占的比例满足给定条件，则处理部32判定为该一个亮点区域16包含在感兴趣区域11中。

在此，所谓给定条件，例如，是多个参考像素17中一半以上的参考像素17存在于感兴趣区域11。另外，给定条件并不限定于此。给定条件只要在能够判断为亮点13包含在感兴趣区域11中的范围内决定即可。例如，也可以将所定义的多个参考像素17中的四分之一以上的参考像素17存在于感兴趣区域11设为给定条件。

若在步骤S05中判定为亮点区域16包含在感兴趣区域11中，则在步骤S06中，处理部32将亮点区域16中包含的亮点13提取为荧光观察图像10中包含的表示检测对象物的检测亮点14。若在步骤S05中判定为亮点区域16并未包含在感兴趣区域11中，则处理部32不将亮点区域16中包含的亮点13提取为检测亮点14。即，这样的亮点被判定为荧光观察图像10中包含的荧光试剂的残留物等所形成的非检测亮点15。

[图像处理方法的详情]

以下，使用图6A～图6C来详细说明图像处理方法。另外，在图6A～图6C中，在亮点区域16的周围，定义了8个参考像素17。判定亮点区域16是否包含在感兴趣区域11中的给定条件为：针对亮点区域16定义的参考像素17的一半以上是否存在于感兴趣区域11。

图6A是示出亮点区域16存在于感兴趣区域11的中心附近的情况的放大观察图像。在图6A所示的例子中，8个参考像素17全部存在于由虚线包围的感兴趣区域11内。即，一半以上的参考像素17存在于感兴趣区域11。

因此，定义了参考像素17的亮点区域16中包含的亮点13被判定为是检测亮点14。

图6B是示出亮点区域16存在于感兴趣区域11的周边部的情况的放大观察图像。亮点区域16存在于感兴趣区域11以及非感兴趣区域12这两者。

在图6B所示的例子中，8个参考像素17中的6个参考像素17存在于由虚线包围的感兴趣区域11。另一方面，剩余的2个参考像素17存在于非感兴趣区域12。即，一半以上的参考像素17存在于感兴趣区域11。

因此，定义了参考像素17的亮点区域16中包含的亮点13被判定为是检测亮点14。

图6C是示出亮点区域16并未存在于感兴趣区域11内的情况的放大观察图像。

在图6C所示的例子中，8个参考像素17全部存在于非感兴趣区域12。即，一半以上的参考像素17存在于感兴趣区域11。

因此，定义了参考像素17的亮点区域16中包含的亮点13被判定为是非检测亮点15。

通过以上的处理，从而能够从荧光观察图像10包含的多个亮点13中，提取表示试样中的检测对象物的检测亮点14。

另外，处理部32也可以在图3的步骤S02之前或计算亮度值的分布之前，针对荧光观察图像10进行将图像整体进行平滑化的处理。在进行平滑化的处理中，例如，使用高斯掩模、双边掩模(bilateral mask)。

基于高斯掩模的处理是如下处理，即，对于一个像素的亮度值，使用该像素的亮度值、和根据距该像素的距离以高斯分布进行了加权的周围的像素的亮度值，将图像整体的亮度值进行平滑化的处理。

此外，基于双边掩模的处理是如下处理，即，对于一个像素的亮度值，使用该像素的亮度值、和考虑距该像素的距离以及亮度值之差通过高斯分布进行了加权的周围的像素的亮度值，将图像整体的亮度值进行平滑化的处理。

通过进行平滑化的处理，从而能够去除荧光观察图像10中包含的随机噪声。

[总结]

如上所述，本发明的图像处理方法以及图像处理装置能够高精度地提取观察图像中的检测亮点14，并能够准确地对检测对象物进行检测。

另外，本实施方式设为荧光观察图像10中的亮度值按照检测对象物、试样、背景的顺序从大到小来进行了说明，但是并不限定于此。亮度值的大小的顺序根据荧光观察图像的取得方法来决定。

例如，荧光观察图像10中的亮度值也可以按照检测对象物、背景、试样的顺序从大到小。

在荧光观察图像10中，在背景的亮度值大于试样的亮度值的情况下，图7所示的范围A意味着非感兴趣区域。此外，范围B意味着感兴趣区域。因此，感兴趣区域判定基准使用范围B的亮度值。

此外，由确定的形状的区域来定义亮点区域16的处理也可以不必进行。

例如，也可以将表示亮点13的像素群定义为亮点区域16。即，与亮点13对应的像素群以及亮点区域16也可以设为同一范围的区域。在该情况下，参考像素17能够与上述同样，例如，从与对应于亮点13的像素群相邻的像素中进行选择。

此外，用于判定亮点区域16是否包含在感兴趣区域11中的给定条件，也可以是亮点区域16的周围的参考像素17中相邻的三个以上的参考像素17存在于感兴趣区域11。在此，所谓相邻的参考像素17，是指沿着亮点区域16依次排列的参考像素17中连续的像素。

本实施方式将感兴趣区域11设定为试样存在的区域，对表示存在于试样内的检测对象物的检测亮点14进行了提取，但是并不限定于此。感兴趣区域11能够根据检测对象物存在的区域来设定。例如，也可以通过将感兴趣区域11设定为试样外，从而提取表示存在于试样外的检测对象物的亮点。此外，观察图像并不限于荧光观察图像。观察图像例如也可以是不包含荧光的观察图像。

此外，在本实施方式中，荧光观察图像10中包含的检测亮点14作为与检测对象物结合的荧光试样所引起的亮点来进行了说明，但是并不限定于此。例如，观察图像中包含的检测亮点14也可以是检测对象物发出的自发光所引起的亮点。

如上所述，作为本发明中的技术的例示，对实施方式进行了说明。为此，提供了附图以及详细的说明。因此，在附图以及详细的说明所记载的构成要素中，不仅包含为了解决课题所必需的构成要素，为了例示上述技术，还包含并非为了解决课题所必需的构成要素。不应当根据这些并非必需的构成要素记载于附图、详细的说明中，便直接认定这些并非必需的构成要素是必需的。

此外，上述的实施方式用于例示本发明中的技术，能够在权利要求书或其等同的范围内进行各种变更、置换、追加、省略等。

产业上的可利用性

本发明的图像处理方法在细胞、组织等荧光观察图像的处理中特别有用。

附图标记说明

10：荧光观察图像

11：感兴趣区域

12：非感兴趣区域

13：亮点

14：检测亮点

15：非检测亮点

16：亮点区域

17：参考像素

18：虚线

30：图像处理装置

31：存储部

32：处理部

33：显示部。

Claims (8)

1.一种图像处理方法，在观察图像中提取表示检测对象物的亮点作为检测亮点，在所述图像处理方法中，

在所述观察图像中，定义包含亮点的亮点区域，

在所述观察图像中，在所定义的所述亮点区域的周围定义参考像素，

通过评价所述参考像素的亮度值来判定所述亮点区域是否包含在给定的感兴趣区域(Region Of Interest)中，

在判定为所述亮点区域包含在所述感兴趣区域中的情况下，提取所述亮点区域中包含的所述亮点作为所述检测亮点。

2.根据权利要求1所述的图像处理方法，使用感兴趣区域判定基准来进行所述参考像素的亮度值的评价，所述感兴趣区域判定基准决定了表示所述感兴趣区域的亮度值的范围。

3.根据权利要求2所述的图像处理方法，在所述判定中，在所述参考像素的亮度值符合所述感兴趣区域判定基准的情况下，判定为所述亮点区域包含在所述感兴趣区域中。

4.根据权利要求2所述的图像处理方法，在所述参考像素的定义中，在所述亮点区域的周围定义多个参考像素，

在所述判定中，在所述多个参考像素之中符合所述感兴趣区域判定基准的亮度值的参考像素所占的比例满足给定条件的情况下，判定为所述亮点区域包含在所述感兴趣区域中。

5.根据权利要求2所述的图像处理方法，所述感兴趣区域判定基准，基于所述观察图像中的亮度值的频率分布来决定表示所述感兴趣区域的亮度值的范围。

6.根据权利要求5所述的图像处理方法，所述亮度值的频率分布具有：

第一极大值，其表示所述感兴趣区域；

第二极大值，其表示非感兴趣区域(non-Region OfInterest)；和

极小值，其位于所述第一极大值与所述第二极大值之间，

将所述极小值决定为所述感兴趣区域中的亮度值的范围与所述非感兴趣区域中的亮度值的范围的边界。

7.根据权利要求1所述的图像处理方法，所述亮点区域是对应于所述亮点的像素群外接的四边形的区域。

8.一种图像处理装置，在观察图像中提取表示检测对象物的亮点作为检测亮点，所述图像处理装置具备：

存储部，其存储所述观察图像；和

处理部，

所述处理部，

在存储于所述存储部的所述观察图像中，定义包含亮点的亮点区域，

在存储于所述存储部的所述观察图像中，在所定义的所述亮点区域的周围定义参考像素，

通过评价所述参考像素的亮度值来判定所述亮点区域是否包含在给定的感兴趣区域(Region Of Interest)中，

在判定为所述亮点区域包含在所述感兴趣区域中的情况下，提取所述亮点区域中包含的所述亮点作为所述检测亮点。