CN102393959A - 图像处理设备、图像处理方法和图像处理程序 - Google Patents

图像处理设备、图像处理方法和图像处理程序 Download PDF

Info

Publication number
CN102393959A
CN102393959A CN2011101680348A CN201110168034A CN102393959A CN 102393959 A CN102393959 A CN 102393959A CN 2011101680348 A CN2011101680348 A CN 2011101680348A CN 201110168034 A CN201110168034 A CN 201110168034A CN 102393959 A CN102393959 A CN 102393959A
Authority
CN
China
Prior art keywords
image
edge
detection process
zone
edge detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011101680348A
Other languages
English (en)
Other versions
CN102393959B (zh
Inventor
福士岳步
木岛公一朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN102393959A publication Critical patent/CN102393959A/zh
Application granted granted Critical
Publication of CN102393959B publication Critical patent/CN102393959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695Preprocessing, e.g. image segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明提供了图像处理设备、图像处理方法和图像处理程序。该图像处理设备包括:边缘检测处理部,被配置成通过对检测对象图像进行边缘检测处理来产生边缘图像,其中要从该检测对象图像中检测对象物体;细分区域设定部,被配置成将边缘图像分割成多个细分区域;指标值计算部,被配置成为多个细分区域中的每个计算边缘成分指标值,该边缘成分指标值表示包括在每个细分区域中的边缘成分的量;以及对象物体判定部,被配置成根据边缘成分指标值判定在每个细分区域中是否存在对象物体的图像。

Description

图像处理设备、图像处理方法和图像处理程序
技术领域
本发明涉及用于从部分地包括对象物体的图像的图像中检测对象物体的图像处理设备、图像处理方法和图像处理程序。
背景技术
近年来,正在研究用于从包括背景和对象物体的图像(例如,通过拍摄在制备的载玻片上的样本获得的图像)检测包括对象物体的区域的技术。如果可以从图像没有疏漏地检测包括对象物体的区域,可以仅在检测的图像区域上进行图像处理,这在减少操作量、处理时间等方面是有利的。
例如,日本专利申请公开第2008-93172号(第[0066]段,图3;在下文中,被称为专利文件1)公开了使用在区域检测中的相邻像素中的像素值的改变量的“图像处理设备”。在专利文件1中公开的图像处理设备计算在同一图像内的特定像素和周围像素的像素值改变量并且计算在该周围像素中是否存在偏差。然后,该图像处理设备根据考虑周围像素的偏差的周围像素的像素值改变量,检测相比于周围的像素存在像素值改变的区域。
发明内容
然而,通过如专利文件1中所公开的检测方法,在对象物体的亮度与背景的亮度接近,即,对象物体的图像是模糊的情形中,设备通过提取对象物体的亮度与背景的亮度之间的差检测对象物体可能是困难的。在这种情形中,可能需要用户微细地调节检测参数。此外,在整个图像的亮度均匀的情形中,能够有利于检测对象物体的参数可能集中在很小的范围内,使得用户难以调节该参数。
对于上述情况,需要能够准确地从背景中检测出对象物体的图像处理设备、图像处理方法和图像处理程序。
根据本发明的实施方式,提供了一种图像处理设备,其包括边缘检测处理部、细分区域设定部、指标值计算部和对象物体判定部。
该边缘检测处理部被配置成对检测对象图像进行边缘检测处理来生成边缘图像,其中要从该检测对象图像中检测对象物体。
该细分区域设定部被配置成将边缘图像分割成多个细分区域。
该指标值计算部被配置成为所述多个细分区域中的每个计算表示包括在每个细分区域中的边缘成分的量的边缘成分指标值。
该对象物体判定部被配置成根据边缘成分指标值判定在每个细分区域中是否存在对象物体的图像。
通过边缘检测处理部对检测对象图像进行边缘检测处理,包括在检测对象图像中的像素之间的亮度梯度被强调,并且像素被二值化为边缘像素和非边缘像素。因此,即使在细分区域中存在微小的亮度梯度,该亮度也被反应在由指标值计算部计算的边缘成分指标值上,因此对象物体判定部可将细分区域判定为对象物体存在的细分区域。因此,即使在对象物体和背景之间具有小亮度差的图像的情况下,包括对象物体的细分区域也可被精确地检测。
该边缘检测处理部可以在边缘检测处理中使用检测对象图像的亮度梯度。
在标准图像处理中的边缘检测处理中,不检测作为边缘的微小亮度梯度的检测参数被用于调节。然而,在本发明中,由于边缘检测处理部检测微小亮度梯度作为边缘,所以即使具有与背景相比小的亮度差的对象物体影响边缘成分指标值,使得对象物体可通过对象物体检测部检测。
该边缘检测处理部可根据定义被检测为边缘的亮度梯度水平的检测参数进行边缘检测处理,该检测参数由用户指示。
根据本发明,通过用户指示边缘检测处理部使用将即使微小的亮度梯度检测为边缘的检测参数,对象物体检测部检测可检测与背景相比具有较小亮度差的对象物体。
该边缘检测处理部可使用坎尼算法(Canny algorithm)作为边缘检测处理的算法。
该坎尼算法是根据相邻像素上的信息将难以确定的像素确定为边缘像素和非边缘像素中的一个的算法,并且使用该算法比使用其他算法可更明确地提取边缘像素。换言之,通过边缘检测处理部在边缘检测处理中使用坎尼算法,对象可被精确地检测。
根据本发明的另一实施方式,提供了一种图像处理方法,包括由边缘检测处理部对检测对象图像进行边缘检测处理来生成边缘图像,其中要从该检测图像中检测对象物体。
该细分区域设定部将边缘图像分割成多个细分区域。
该指标值计算部为该多个细分区域中的每个计算表示包括在每个细分区域中的边缘成分的量的边缘成分指标值。
该对象物体判定部根据边缘成分指标值判定在每个细分区域中是否存在对象物体的图像。
根据本发明的另一个实施方式,提供一种图像处理程序,该图像处理程序使得计算机具有边缘检测处理部、细分区域设定部、指标值计算部和对象物体判定部的功能。
该边缘检测处理部被配置成对检测对象图像进行边缘检测处理来生成边缘图像,其中要从该检测对象图像中检测对象物体。
该细分区域设定部被配置成将边缘图像分割成多个细分区域。
该指标值计算部被配置成为该多个细分区域中的每个计算表示包括在每个细分区域中的边缘成分的量的边缘成分指标值。
该对象物体判定部被配置成根据边缘成分指标值判定在每个细分区域中是否存在对象物体的图像。
根据本发明的实施方式,可提供可从背景中准确检测出对象物体的图像处理设备、图像处理方法和图像处理程序。
本发明的这些和其他目标,特征和优点将通过本发明的最佳模式实施方式的以下详细描述变得更显而易见,如附图所示。
附图说明
图1是示出根据本发明的实施方式的图像处理设备的结构的框图;
图2是示出根据本发明的实施方式的图像处理设备的操作的流程图;
图3是根据本发明的实施方式的图像处理设备的原始图像采集部采集的原始图像的实例;
图4是根据本发明的实施方式的图像处理设备的检测对象图像选择部选择的检测对象图像的实例;
图5是根据本发明的实施方式的图像处理设备的边缘检测处理部生成的边缘图像的实例;
图6是根据本发明的实施方式的图像处理设备的细分区域设定部在其中设定细分区域的边缘图像的实例;
图7是在其中显示根据本发明的实施方式的图像处理设备的对象物体判定部判定的检测区域的边缘图像的实例;
图8是在其中显示根据本发明的实施方式的图像处理设备的对象物体判定部判定的检测区域的检测对象图像的实例;
图9是根据本发明的实施方式的图像处理设备的检测结果输出部输出的检测区域存在分布图的实例;
图10是示出根据本发明的实施方式的图像处理设备的边缘检测处理的细节的流程图;
图11是用于说明根据本发明的实施方式的图像处理设备的边缘检测处理的梯度计算的示图;
图12是用于说明在根据本发明的实施方式的图像处理设备的边缘检测处理中的边缘细化(thinning)处理的示图;
图13A至图13D是示出使用边缘参数的边缘图像的影响的概念图;
图14是示出图13A至图13D中所示的每个图像的边缘参数的表;
图15是示出实施方式和比较例之间的处理差异的示图;
图16A和图16B是示出实施方式和比较例的检测结果的实例的示图;
图17A和图17B是示出根据实施方式和比较例的每个细分区域的标准差的实例的示图;
图18A至图18C是示出根据比较例调节判定参数的结果的示图;
图19A至图19C是示出根据该实施方式调节判定参数的结果的示图;
图20A至图20C是示出根据该实施方式调节判定参数的结果的示图;
图21A至图21C是示出根据该实施方式调节判定参数的结果的示图;
图22是用于比较基于根据该实施方式和比较例的判定参数的检测区域的变化的示图;
图23A和图23B是根据该实施方式拍摄通过荧光染色法染色的样本得到的原始图像和通过改变该原始图像的颜色得到的图像的实例;
图24A和图24B是根据该实施方式拍摄通过荧光染色法染色的样本得到的原始图像和通过改变该原始图像的颜色得到的图像的实例;
图25A和图25B是根据该实施方式拍摄通过荧光染色法染色的样本得到的原始图像和通过改变该原始图像的颜色得到的图像的实例;
图26A和图26B是根据该实施方式拍摄通过荧光染色法染色的样本得到的原始图像和通过改变该原始图像的颜色得到的图像的实例;以及
图27A和图27B是根据该实施方式拍摄通过荧光染色法染色的样本得到的原始图像和通过改变该原始图像的颜色得到的图像的实例。
具体实施方式
在下文中,将参照附图描述本发明的实施方式。
(图像处理设备的结构)
图1是示出根据本发明的实施方式的图像处理设备1的结构的框图。
如图所示,图像处理设备1包括运算处理部2、用户接口(在下文中称为用户IF)3、内存4、网络接口(在下文中称为网络IF)6和存储器17,这些经由内部总线5相互连接。
用户IF 3连接内部总线5和外部设备。诸如键盘和鼠标的输入操作部7和用于显示图像的显示部8连接至用户IF 3。内存4例如是ROM(只读存储器)和RAM(随机存取存储器)并且存储要处理的图像数据、程序等。网络IF 6连接外部网络和内部总线5。能够拍摄图像的图像拍摄系统9连接至网络IF 6。在该实施方式中,通过图像拍摄系统9获取图像,并且经由网络IF 6和内部总线5将获取的图像存储在存储器17中。
运算处理部2是例如微处理器并且执行稍后描述的运算处理。运算处理部2在功能上包括原始图像采集部10、检测对象图像选择部11、边缘检测处理部12、细分区域设定部13、指标值计算部14、对象物体判定部15和检测结果输出部16的模块。通过存储在运算处理部2内部或外部的程序实现这些模块。
(关于模块)
原始图像采集部10采集存储在存储器17中的“原始图像”并将它存储在内存4中。检测对象图像选择部11从原始图像中选择将成为检测对象的“检测对象图像”。边缘检测处理部12对检测对象图像进行“边缘检测处理”并且生成边缘图像。细分区域设定部13在边缘图像中设定“细分区域”。指标值计算部14计算表示包括在每个细分区域中的边缘成分的量的“边缘成分指标值”。对象物体判定部15根据边缘成分指标值判定每个细分区域是否包括对象物体的图像。判定结果输出部16例如以文本图的形式输出对象物体判定部15的判定结果。
(图像处理设备的操作)
将描述图像处理设备1的操作。
该实施方式的图像处理设备1在已经通过图像拍摄系统9获得并且存储在存储器17中的“原始图像”上进行图像处理以检测存在对象物体的图像的区域。示意地,原始图像采集部10从存储器17采集原始图像,并且检测对象图像选择部11一旦接收用户指令的输入就选择“检测对象图像”。接着,边缘检测处理部12对检测对象图像进行边缘检测处理并且生成“边缘图像”。接着,细分区域设定部13在边缘图像中设定“细分区域”,并且指标值计算部14为每个细分区域计算边缘成分指标值(在该情况中为亮度值的标准差)。对象物体判定部15根据边缘成分指标值判定每个细分区域是否包括对象物体的图像,并且判定结果输出部16输出判定结果。
图2是示出图像处理设备1的操作的流程图。图2逐步示出图像处理设备1的操作(在下文中,标记为St)。
当用户输入开始处理的指令时,原始图像采集部10经由用户IF 3采集原始图像(St 101)。图3示出了原始图像的实例。这里,将通过拍摄放置在制备的载玻片上的病理组织(对象物体)获得的图像用作原始图像。应当注意,尽管图3中所示的照片是黑白图像,但该图像可以是彩色图像。例如,可将通过拍摄已经过苏木精-伊红染色(HE染色)的样本得到的图像用作原始图像。此外,原始图像采集部10可采集已经经过稍后描述的“颜色变换处理”的图像作为原始图像。
接着,对象图像选择部11从原始图像中选择“检测对象图像”(在下文中称为“剪裁图像”)(St 102)。如图3所示,当在原始图像中存在明显不存在对象物体的区域时(在图3中的制备的载玻片外部的区域),图像处理设备1对除该区域之外的检测对象图像进行检测处理。图4示出了从原始图像选择的剪裁图像。
作为具体的选择操作,当用户指定点p(坐标lx,ly)、宽度w和高度h时,检测对象图像选择部11选择4个坐标(lx,ly)、(lx+w,ly)、(lx,ly+h)和(lw+w,ly+h)包围的区域选择为剪裁图像。此外,当在原始图像中不存在要排除的区域时,图像处理设备1选择整个原始图像作为剪裁图像。应当注意,图像处理设备1可以生成不同于原始图像的图像作为剪裁图像,或处理原始图像中假想指定的区域作为剪裁图像。
再参照图2,边缘检测处理部12对剪裁图像进行边缘检测处理并且生成边缘图像(St 103)。图5示出了从图4中所示的剪裁图像生成的边缘图像的实例。如图5所示,边缘图像是像素被二值化成与剪裁图像的边缘对应的像素(这里,边缘指亮度值的边界并且没有必要指物体的轮廓)(用白色示出)和除此之外的像素(用黑色示出)的图像。稍后将给出边缘检测处理的细节。
接下来,细分区域设定部13在边缘图像中设定“细分区域”(St 104)。图6示出了在其中设定细分区域的边缘图像的实例。在图中被白线分割的区域是细分区域。如图所示,细分区域是通过在纵向和横向方向上将边缘图像分割成多个区域获得的区域。细分区域的尺寸都是相同的,并且用户可根据分辨率指定尺寸。
再参照图2,指标值计算部14为每个细分区域计算“边缘成分指标值”(St 105)。边缘成分指标值是表示多少个与边缘对应的像素包括在每个细分区域中的指标值。作为指标值,可使用像素值(亮度)的标准差,在细分区域中与边缘对应的像素的含有率等。应当注意,在该实施方式中,将给出关于像素值(亮度)的标准差用作指标值的情况的描述。
接着,对象物体判定部15判定对象物体存在/不存在(St 106)。对象物体判定部15将每个细分区域的边缘成分指标值与用户指定的用于判定的参数(在下文中,称为判定参数)比较。边缘成分指标值等于或大于判定参数的细分区域被判定为存在对象物体的细分区域(在下文中称为检测区域),并且边缘成分指标值小于判定参数的细分区域被判定为不存在对象物体的细分区域(在下文中称为非检测区域)。尽管稍后将给出细节,但此时,通过用户调节判定参数,对象物体被判定为存在的区域变动。图7示出了显示检测区域的边缘图像。在图中,只有检测区域被示为被白线分割的区域。图8示出了显示检测区域的剪裁图像。如图所示,在剪裁图像中,存在对象物体的区域被判定为检测区域,并且不存在对象物体的区域被判定为非检测区域。
再参照图2,判定结果输出部16输出步骤106的检测结果(St 107)。如图9所示,判定结果输出部16制作将检测区域表示为1并且将非检测区域表示为0的存在分布图,并且输出该分布图。如上所述,存在对象物体的区域和不存在对象物体的区域在剪裁图中都被检测到。通过使用检测结果,可将区域缩小至存在对象物体的区域,使得在那些区域上可进行更具体的图像分析等。
(边缘检测处理的细节)
将描述边缘检测处理的细节(上述步骤103)。图10是具体示出边缘检测处理的流程图。在该实施方式的边缘检测处理中使用坎尼算法(Cannyalgorithm)。应当注意,可使用其他的算法进行边缘检测处理。
首先,边缘检测处理部12将剪裁图像变换成灰度图像(St 201)。在图4所示的剪裁图像本来为彩色图像但被变换成灰度图像,这是必要的步骤。可通过下面的表达式进行灰度变换。
Y=-0.299R+0.587G+0.114B  (表达式1)
Y:像素值,R:红色成分,G:绿色成分,B:蓝色成分
接着,边缘检测处理部12对灰度图像进行图像平滑处理(St 202)。边缘检测处理部12为平滑化将滤波器(具体地,高斯滤波器)应用至灰度裁剪图像并且生成噪声抑制图像。结果,可抑制在稍后描述的梯度计算中产生的“混乱”。
接下来,边缘检测处理部12进行“梯度计算”(St 203)。梯度计算用于计算在特定的像素和相邻像素之间的亮度值的程度差。在下面的描述中,将描述在梯度计算中的具体计算方法。当在步骤202中平滑化的剪裁图像的特定像素(坐标(a,b))的亮度值表示为f(a,b)时,使用下面所示的表达式[公式1]计算所有像素的梯度矢量。边缘检测处理部12将梯度矢量存储作为与像素坐标有关的梯度图(gradient map)。
[公式1]
▿ f ( a , b ) = ( ∂ f ( a , b ) ∂ x , ∂ f ( a , b ) ∂ y )
梯度矢量是表示在特定像素和相邻像素之间亮度值的程度差的物理量。基于[公式2]中所示的梯度矢量的x成分的值和[公式3]中所示的梯度矢量的y成分的值,通过[公式4]中所示的表达式可计算梯度矢量的方向θ。
[公式2]
▿ f x ( a , b ) ( = ∂ f ( a , b ) ∂ x )
[公式3]
▿ f y ( a , b ) ( = ∂ f ( a , b ) ∂ y )
[公式4]
θ ( a , b ) = tan - 1 ( ▿ f y ( a , b ) / ▿ f x ( a , b ) ) = tan - 1 ∂ f ( a , b ) ∂ y ∂ f ( a , b ) ∂ x
此外,通过使用[公式5]中所示的表达式可计算梯度矢量的水平作为标准。边缘检测处理部12也将标准信息存储在梯度图中。
[公式5]
| | ▿ f ( a , b ) | | = ( ∂ f ( a , b ) ∂ x ) 2 + ( ∂ f ( a , b ) ∂ y ) 2
可通过图像数据的离散化计算标准图像处理中的梯度计算,并且可使用如[公式6]和[公式7]中所示的表达式中的微分计算相邻像素之间的梯度。
[公式6]
▿ f x ( a , b ) ≈ f ( a + 1 , b ) - f ( a , b )
[公式7]
▿ f y ( a , b ) ≈ f ( a , b + 1 ) - f ( a , b )
在该实施方式中,通过将Sobel滤波器扩展至3*3的区域使用Sobel滤波器计算Δfx和Δfy的值。应当注意,可使用Prewitt滤波器、Laplacian滤波器等替换Sobel滤波器。图11是用于说明该实施方式的梯度计算的示图。在该实施方式中,为了高速化,通过用图11中所示的tanθ的值代替通过实际tan的反函数运算计算准确的θ,在轴A至D的四个方向上进行分类。结果,关注的像素被认为是只要具有梯度(标准不为0),就关于任何相邻像素具有梯度方向。边缘检测处理部12也将梯度方向存储在梯度图中。
接下来,边缘检测处理部12进行边缘细化处理(St 204)。图12是用于说明边缘细化处理的示图。由于在步骤203已经关于关注像素确定梯度方向,所以边缘检测处理部12比较总共3个像素(即,沿梯度方向的关注像素和夹入关注像素的两个像素)的梯度矢量的大小。仅当关注像素形成峰值时,边缘检测处理部12进行用于保持关注像素的梯度矢量的大小的处理。
具体地,当建立由
Figure BDA0000070027430000133
Figure BDA0000070027430000134
Figure BDA0000070027430000135
表示的3个像素的梯度矢量的大小时,边缘检测处理部12将处理的梯度矢量的大小设定成
Figure BDA0000070027430000141
此外,当没有建立这些时,边缘检测处理部12将大小设定为
Figure BDA0000070027430000142
边缘检测处理部12还将上述确定的
Figure BDA0000070027430000143
存储在梯度图中。
因此,通过在梯度方向上仅提取形成峰值的部分,可将具有特定厚度的线段用作细线段。具体地,值是0以外的像素是边缘候选像素。实际上,在关于关注像素的任意梯度方向(图11中的方向(1)至(4))上进行该处理。
接下来,边缘检测处理部12进行迟滞阈值处理(St 205)。如上所述,在梯度图中,其中
Figure BDA0000070027430000144
不是0的像素是边缘候选像素。边缘检测处理部12根据两个参数确定是否将该像素最后确定为边缘像素。在下文中,该参数将被称为边缘参数。具体地,通过canny_min和canny_max两个边缘参数,边缘检测处理部12确定当
Figure BDA0000070027430000145
时x是边缘像素并且确定当
Figure BDA0000070027430000146
时x是非边缘像素。否则,边缘检测处理部12确定x为保留像素。应当注意,稍后将给出canny_min和canny_max的值的细节。这里,边缘像素是确定为构成边缘的像素,并且非边缘像素是确定为不构成边缘的像素。如果该保留像素被直接或通过保留像素连接至任何边缘像素,边缘检测处理部12确定该保留像素是边缘像素,并且确定在其他情况中的保留像素是非边缘像素。结果,边缘检测处理部12为所有像素确定像素是边缘像素还是非边缘像素。如上所述,该边缘检测处理部12比使用单参数进行确定的情形可更确定地提取边缘部分。
如上所述,坎尼算法是根据相邻像素上的信息将难以确定的像素确定为边缘像素和非边缘像素中的一个的算法,并且使用该算法比使用其他算法可更确定地提取边缘像素。换言之,通过边缘检测处理部12在边缘检测处理中使用坎尼算法,对象物体可被精确地检测。
接着,边缘检测处理部12生成边缘图像(St 206)。由于在步骤205中已经对所有像素进行了关于像素是边缘像素还是非边缘像素的确定,边缘检测处理部12生成边缘像素是1并且非边缘像素是0的二值图像。如上所述,边缘检测处理结束。
(边缘参数的调节)
如上所述,根据边缘参数(canny_min和canny_max)的值确定某个像素对应于边缘像素、非边缘像素和保留像素中的哪个。换言之,通过用户调节canny_min和canny_max的值,可改变检测作为边缘的像素的水平。图13是示出边缘参数对边缘图像的影响的示图。图14是示出图13中所示的图像的参数的表。
图13A是样本图像,图13B、图13C和图13D是通过使用图14中所示的边缘参数对图13A中所示的样本图像进行边缘检测处理所生成的边缘图像。如图所示,不同的边缘参数导致不同的亮度差被检测为边缘,结果边缘图像不同。具体地,如图13B所示,使用大的canny_min和canny_max,只有具有大亮度差的部分被检测为边缘。另一方面,如图13D所示,使用小的canny_min和canny_max,只有具有小亮度差的部分也被检测成边缘。
在图像处理等领域,在图13B中所示的提取物体的轮廓和图案的图像是合格的,在图13D中所示的提取微小亮度差的图像是不合格的。然而,在该实施方式中,对于没有疏漏地提取浅色对象物体的微小亮度差,优选使用如图13B中所示的提取微小亮度差的边缘参数。
(实施方式的效果)
将描述使用该实施方式的方法的对象物体的检测同时将它与比较例相比较。图15是示出该实施方式和比较例之间的处理差异的示图。如图15所示,如同比较例,将讨论在将检测对象图像变换成灰度图像后设定细分区域、计算细分区域的亮度值的标准差、和使用标准差判定在每个片段中对象物体的存在/不存在的方法。
图16是示出根据该实施方式和比较例的检测结果的实例的示图。图16A示出了根据比较例的检测结果,并且16B示出了根据该实施方式的检测结果。图16A和图16B均示出了其中对象物体被判定为存在的细分区域。如图所示,在根据图16A所示的比较例的检测结果中,具有淡色对象物体的细分区域,即,具有小亮度差的细分区域没有被判定为包括对象物体。另一方面,在根据图16B所示的该实施方式的检测结果中,在比较例中没有被判定为包括对象物体的细分区域被判定为包括对象物体。换言之,根据该实施方式,能够不疏漏检测对象物体。
此外,在该实施方式中,基于判定参数调节的检测灵敏度调节是简单的。图17示出了根据比较例和该实施方式的每个细分区域的标准差的实例。图17A是根据比较例的实例,并且图17B是根据该实施方式的实例。在图中所示的标准差的值被四舍五入。如图所示,在该实施方式中,在细分区域的标准差与比较例相比存在更大的差。原因如下。尽管在比较例中直接从像素的亮度值得到标准差,而在该实施方式中通过边缘检测处理在二值化之后得到标准差,结果强调了亮度值中的差。
图18是示出在比较例中用户调节判定参数的结果的示图。图18示出具有等于或大于判定参数的标准差的细分区域,即,在判定参数被设定为“1”(图18A),判定参数被设定为“2”(图18B),和判定参数被设定为“3”(图18C)的情况下的检测区域。如图所示,当判定参数相差1时,检测区域的范围很大不同。
图19到图21是示出根据该实施方式用户调节判定参数的结果的示图。图19示出了在判定参数被设定为“1”(图19A),判定参数被设定为“2”(图19B),和判定参数被设定为“3”(图19C)的情况下的检测区域。图20示出了在判定参数被设定为“10”(图20A),判定参数被设定为“20”(图20B),和判定参数被设定为“30”(图20C)的情况下的检测区域。图21示出了在判定参数被设定为“40”(图21A),判定参数被设定为“50”(图21B),和判定参数被设定为“60”(图21C)的情况下的检测区域。如图所示,即使当判定参数或多或少不同时,检测区域的范围几乎没有变动。
图22是比较基于根据比较例和该实施方式的判定参数的检测区域的变换的示图。如图所示,在比较例的情况中,可仅通过3步调节判定参数,并且每步的检测区域的变化较大。相反,在该实施方式中,可通过多步调节判定参数,并且每步的检测区域的变化较小。换言之,根据该实施方式,用户可灵活地调节检测灵敏度。
(关于原始图像的颜色变换)
如上所述,图像处理设备1对选自由原始图像采集部10采集的原始图像的检测对象图像进行检测处理。这里,原始图像采集部10可对采集的原始图像进行颜色变换。例如,通过拍摄由荧光染色法染色的样本得到的图像的颜色变换,通过上述方法可进行检测处理。
图23A是通过拍摄由荧光染色法染色的样本得到的原始图像的实例。应当注意,图中所示的图像是在具有365nm的波长的紫外线照射下取得的并且本来是青色的。原始图像采集部10对图像进行颜色变换并且生成图23B中所示的颜色变换的原始图像(在下文中,称为颜色变换图像)。
具体地说,原始图像采集部10使用下面的(表达式2),(表达式3),和(表达式4)在原始图像的像素上进行颜色变换。
Rout=300-1.5*Bin...(表达式2)
Gout=300-2*Bin...(表达式3)
Bout=300-1.3*Bin...(表达式4)
在表达式中,Bin是原始图像的像素中“蓝色”的亮度。Rout是颜色变换图像的像素中“红色”的亮度,Gout是颜色变换图像的像素中“绿色”的亮度,并且Bout是颜色变换图像的像素中“蓝色”的亮度。换言之,通过(表达式2)、(表达式3)和(表达式4),从原始图像的像素中“蓝色”的亮度计算出颜色变换图像的RGB亮度。此外,此时,通过从预定值(300以上)减去通过将预定的系数乘以原始图像的像素中“蓝色”的亮度得到的值,颜色被反转。应当注意,可适当地改变该预定值和预定系数。
图24至图27另外示出了颜色变换的实例。如图23、图24A、图25A、图26A和图27A示出了通过拍摄由荧光染色法染色的样本获得的原始图像,并且图24B、图25B、图26B和图27B示出了颜色变换的图像。通过该颜色变换处理,由荧光染色法染色的样本的图像的颜色变得接近于HE染色的样本的图像的颜色,因此图像处理设备1能够进行检测处理。
如上所述,在该实施方式中,通过边缘检测处理部12对检测对象图像进行边缘检测处理,在包括在检测对象图像中的像素之间的亮度梯度被强调,并且像素被二值化为边缘像素和非边缘像素。因此,即使在细分区域中存在微小的亮度梯度,该亮度也被反应在由指标值计算部计算的边缘成分指标值上,使得对象物体判定部可将细分区域判定成对象物体存在的细分区域。因此,即使在对象物体和背景之间具有小亮度差的图像,包括对象物体的细分区域也可被精确地检测。
本申请包含于2010年6月28日向日本专利局提交的日本在先专利申请JP 2010-146664中所公开的主题,其全部内容结合于此作为参考。
本领域的技术人员应当理解,根据设计需求和其他因素,可以进行各种修改、组合、子组合和变形,均应包含在所附权利要求或其等同物的范围之内。

Claims (7)

1.一种图像处理设备,所述图像处理设备包括:
边缘检测处理部,被配置成通过对检测对象图像进行边缘检测处理来生成边缘图像,其中要从所述检测对象图像中检测对象物体;
细分区域设定部,被配置成将所述边缘图像分割成多个细分区域;
指标值计算部,被配置成为所述多个细分区域中的每个计算边缘成分指标值,所述边缘成分指标值表示包括在每个细分区域中的边缘成分的量;以及
对象物体判定部,被配置成根据所述边缘成分指标值判定在每个细分区域中是否存在所述对象物体的图像。
2.根据权利要求1所述的图像处理设备,
其中,所述边缘检测处理部在所述边缘检测处理中使用所述检测对象图像的亮度梯度。
3.根据权利要求2所述的图像处理设备,
其中,所述边缘检测处理部根据定义作为边缘而检测出的亮度梯度水平的检测参数进行所述边缘检测处理,所述检测参数由用户指示。
4.根据权利要求3所述的图像处理设备,
其中,所述边缘成分指标值是包括在每个细分区域中的像素的亮度的标准差。
5.根据权利要求4所述的图像处理设备,
其中,所述边缘检测处理部使用坎尼算法作为所述边缘检测处理的算法。
6.一种图像处理方法,包括:
由边缘检测处理部通过对检测对象图像进行边缘检测处理来生成边缘图像,其中要从所述检测对象图像中检测对象物体;
由细分区域设定部将所述边缘图像分割成多个细分区域;
由指标值计算部为所述多个细分区域中的每个计算表示包括在每个细分区域中的边缘成分的量的边缘成分指标值;以及由对象物体判定部根据所述边缘成分指标值判定在每个细分区域中是否存在所述对象物体的图像。
7.一种图像处理程序,使得计算机具有以下功能:
边缘检测处理部,被配置成通过对检测对象图像进行边缘检测处理来生成边缘图像,其中要从所述检测对象图像中检测对象物体;细分区域设定部,被配置成将所述边缘图像分割成多个细分区域;
指标值计算部,被配置成为所述多个细分区域中的每个计算表示包括在每个细分区域中的边缘成分的量的边缘成分指标值;以及
对象物体判定部,被配置成根据所述边缘成分指标值判定在每个细分区域中是否存在所述对象物体的图像。
CN201110168034.8A 2010-06-28 2011-06-21 图像处理设备、图像处理方法和图像处理程序 Active CN102393959B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010146664A JP5781743B2 (ja) 2010-06-28 2010-06-28 画像処理装置、画像処理方法及び画像処理プログラム
JP2010-146664 2010-06-28

Publications (2)

Publication Number Publication Date
CN102393959A true CN102393959A (zh) 2012-03-28
CN102393959B CN102393959B (zh) 2015-11-18

Family

ID=45352615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110168034.8A Active CN102393959B (zh) 2010-06-28 2011-06-21 图像处理设备、图像处理方法和图像处理程序

Country Status (3)

Country Link
US (1) US8675970B2 (zh)
JP (1) JP5781743B2 (zh)
CN (1) CN102393959B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544691A (zh) * 2012-07-19 2014-01-29 苏州比特速浪电子科技有限公司 图像处理方法及设备
CN103678837A (zh) * 2012-08-31 2014-03-26 西门子公司 一种确定目标区域处理余量的方法和装置
CN104866794A (zh) * 2014-12-30 2015-08-26 余俊池 基于图像特征信息统计的条形码解码方法
WO2016026238A1 (zh) * 2014-08-21 2016-02-25 京东方科技集团股份有限公司 图像的边界判别方法、装置和显示面板
WO2017054651A1 (zh) * 2015-09-29 2017-04-06 阿里巴巴集团控股有限公司 一种确定融合系数的方法和装置
CN107240268A (zh) * 2017-07-28 2017-10-10 西安因诺航空科技有限公司 一种面向无人机的高速应急车道违章车辆的检测方法
CN107909570A (zh) * 2017-11-10 2018-04-13 南开大学 一种测量细胞内应变的方法
CN108174183A (zh) * 2018-01-11 2018-06-15 鲁东大学 一种基于物联网的vr影像数据控制系统
CN108305226A (zh) * 2018-01-19 2018-07-20 河南城建学院 一种无人机航摄立体成像设置的处理方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5781743B2 (ja) * 2010-06-28 2015-09-24 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP5957357B2 (ja) * 2012-10-15 2016-07-27 株式会社日立ハイテクノロジーズ パターン検査・計測装置及びプログラム
TW201421423A (zh) * 2012-11-26 2014-06-01 Pixart Imaging Inc 影像感測器及其運作方法
JP2014137262A (ja) 2013-01-16 2014-07-28 Sony Corp 画像取得装置、画像取得方法、および情報処理プログラム
JP5442912B1 (ja) 2013-03-13 2014-03-19 楽天株式会社 画像処理装置、画像処理方法、および画像処理プログラム
US9480860B2 (en) 2013-09-27 2016-11-01 Varian Medical Systems, Inc. System and methods for processing images to measure multi-leaf collimator, collimator jaw, and collimator performance utilizing pre-entered characteristics
CN108090511B (zh) * 2017-12-15 2020-09-01 泰康保险集团股份有限公司 图像分类方法、装置、电子设备及可读存储介质
JP2019121187A (ja) * 2018-01-05 2019-07-22 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
WO2020061369A1 (en) * 2018-09-20 2020-03-26 Siemens Healthcare Diagnostics Inc. Methods and apparatus for hiln determination with a deep adaptation network for both serum and plasma samples
KR102362318B1 (ko) * 2018-11-26 2022-02-15 한국전자기술연구원 움직임 객체 gt 생성 방법 및 시스템
CN113545185B (zh) * 2019-03-14 2022-11-25 株式会社富士 对象体判定方法、对象体判定装置
CN112287731B (zh) * 2019-07-25 2023-02-17 毫末智行科技有限公司 目标的三元图像构建方法和装置及检测方法和装置
CN114529715B (zh) * 2022-04-22 2022-07-19 中科南京智能技术研究院 一种基于边缘提取的图像识别方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006011545A1 (ja) * 2004-07-30 2006-02-02 Hitachi Medical Corporation 医用画像診断支援方法、装置及び画像処理プログラム
JP2007157063A (ja) * 2005-12-08 2007-06-21 Sony Corp 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
JP2009236728A (ja) * 2008-03-27 2009-10-15 Nec Corp 画像解析装置、その方法、プログラムおよび記録媒体
CN101726357A (zh) * 2008-10-14 2010-06-09 能美防灾株式会社 烟检测装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6453069B1 (en) * 1996-11-20 2002-09-17 Canon Kabushiki Kaisha Method of extracting image from input image using reference image
US6335985B1 (en) * 1998-01-07 2002-01-01 Kabushiki Kaisha Toshiba Object extraction apparatus
US6807286B1 (en) * 2000-04-13 2004-10-19 Microsoft Corporation Object recognition using binary image quantization and hough kernels
US7062093B2 (en) * 2000-09-27 2006-06-13 Mvtech Software Gmbh System and method for object recognition
JP2003216953A (ja) * 2002-01-22 2003-07-31 Kitakyushu Foundation For The Advancement Of Industry Science & Technology 画像から対象物を抽出する方法およびその装置
US7146057B2 (en) * 2002-07-10 2006-12-05 Northrop Grumman Corporation System and method for image analysis using a chaincode
US7110602B2 (en) * 2002-08-21 2006-09-19 Raytheon Company System and method for detection of image edges using a polar algorithm process
US7697792B2 (en) * 2003-11-26 2010-04-13 Yesvideo, Inc. Process-response statistical modeling of a visual image for use in determining similarity between visual images
US7796815B2 (en) * 2005-06-10 2010-09-14 The Cleveland Clinic Foundation Image analysis of biological objects
WO2007023715A1 (en) * 2005-08-25 2007-03-01 Ricoh Company, Ltd. Image processing method and apparatus, digital camera, and recording medium recording image processing program
KR101266168B1 (ko) * 2006-08-16 2013-05-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
JP5121204B2 (ja) 2006-10-11 2013-01-16 オリンパス株式会社 画像処理装置、画像処理方法、および画像処理プログラム
WO2009008174A1 (ja) * 2007-07-12 2009-01-15 Panasonic Corporation 画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体、および、画像処理プロセッサ
JP4931240B2 (ja) * 2007-09-13 2012-05-16 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像の認識を支援するシステム
US8160366B2 (en) * 2008-06-20 2012-04-17 Sony Corporation Object recognition device, object recognition method, program for object recognition method, and recording medium having recorded thereon program for object recognition method
JP4653207B2 (ja) * 2008-10-16 2011-03-16 能美防災株式会社 煙検出装置
TWI393984B (zh) * 2009-09-09 2013-04-21 Altek Corp Fast focus method for digital cameras
JP5781743B2 (ja) * 2010-06-28 2015-09-24 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US9147260B2 (en) * 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006011545A1 (ja) * 2004-07-30 2006-02-02 Hitachi Medical Corporation 医用画像診断支援方法、装置及び画像処理プログラム
JP2007157063A (ja) * 2005-12-08 2007-06-21 Sony Corp 画像処理装置及び画像処理方法、並びにコンピュータ・プログラム
JP2009236728A (ja) * 2008-03-27 2009-10-15 Nec Corp 画像解析装置、その方法、プログラムおよび記録媒体
CN101726357A (zh) * 2008-10-14 2010-06-09 能美防灾株式会社 烟检测装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544691B (zh) * 2012-07-19 2018-07-06 苏州比特速浪电子科技有限公司 图像处理方法及设备
CN103544691A (zh) * 2012-07-19 2014-01-29 苏州比特速浪电子科技有限公司 图像处理方法及设备
CN103678837A (zh) * 2012-08-31 2014-03-26 西门子公司 一种确定目标区域处理余量的方法和装置
US9936930B2 (en) 2012-08-31 2018-04-10 Siemens Aktiengesellschaft Method and apparatus for determining treatment margin of target area
WO2016026238A1 (zh) * 2014-08-21 2016-02-25 京东方科技集团股份有限公司 图像的边界判别方法、装置和显示面板
US9607396B2 (en) 2014-08-21 2017-03-28 Boe Technology Group Co., Ltd. Method and device for discriminating a boundary of image, and display panel
CN104866794A (zh) * 2014-12-30 2015-08-26 余俊池 基于图像特征信息统计的条形码解码方法
CN104866794B (zh) * 2014-12-30 2018-02-23 余俊池 基于图像特征信息统计的条形码解码方法
WO2017054651A1 (zh) * 2015-09-29 2017-04-06 阿里巴巴集团控股有限公司 一种确定融合系数的方法和装置
CN107240268A (zh) * 2017-07-28 2017-10-10 西安因诺航空科技有限公司 一种面向无人机的高速应急车道违章车辆的检测方法
CN107909570A (zh) * 2017-11-10 2018-04-13 南开大学 一种测量细胞内应变的方法
CN108174183A (zh) * 2018-01-11 2018-06-15 鲁东大学 一种基于物联网的vr影像数据控制系统
CN108305226A (zh) * 2018-01-19 2018-07-20 河南城建学院 一种无人机航摄立体成像设置的处理方法

Also Published As

Publication number Publication date
JP2012008100A (ja) 2012-01-12
US8675970B2 (en) 2014-03-18
US20110317924A1 (en) 2011-12-29
CN102393959B (zh) 2015-11-18
JP5781743B2 (ja) 2015-09-24

Similar Documents

Publication Publication Date Title
CN102393959A (zh) 图像处理设备、图像处理方法和图像处理程序
EP3343440A1 (en) Identifying and excluding blurred areas of images of stained tissue to improve cancer scoring
EP3063289B1 (en) Method and system for classifying and identifying individual cells in a microscopy image
US20070110319A1 (en) Image processor, method, and program
US20100061618A1 (en) Methods of chromogen separation-based image analysis
US8594411B2 (en) Pathologic tissue image analyzing apparatus, pathologic tissue image analyzing method, and pathologic tissue image analyzing program
US11538261B2 (en) Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy
CN101246593B (zh) 一种彩色图像边缘检测方法及设备
Mahmoodi et al. Automated advanced image processing for micromodel flow experiments; an application using labVIEW
US20120207379A1 (en) Image Inspection Apparatus, Image Inspection Method, And Computer Program
CN106033535A (zh) 电子阅卷方法
US8559714B2 (en) Post processing for improved generation of intrinsic images
Hashimoto et al. Referenceless image quality evaluation for whole slide imaging
CN106033534A (zh) 基于直线检测的电子阅卷方法
US8913829B2 (en) Automatic processing scale estimation for use in an image process
CN106600615A (zh) 一种图像边缘检测算法评价系统及方法
US20230206416A1 (en) Computer-implemented method for quality control of a digital image of a sample
Pollatou An automated method for removal of striping artifacts in fluorescent whole-slide microscopy
JP7393769B2 (ja) 生物学的サンプルの画像に対するコンピュータ実装プロセス
US8428352B1 (en) Post processing for improved generation of intrinsic images
EP2776979B1 (en) Post processing for improved generation of intrinsic images
EP2697737A1 (en) Method for optimization of quantitative video-microscopy and associated system
US20170116746A1 (en) Method for segmenting a color image and digital microscope
WO2020107196A1 (zh) 一种对拍摄装置的拍摄质量评测方法、装置及终端设备
TWI382359B (zh) 影像處理裝置及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant