CN105122306B - 区域分割方法以及检查装置 - Google Patents

区域分割方法以及检查装置 Download PDF

Info

Publication number
CN105122306B
CN105122306B CN201480018765.6A CN201480018765A CN105122306B CN 105122306 B CN105122306 B CN 105122306B CN 201480018765 A CN201480018765 A CN 201480018765A CN 105122306 B CN105122306 B CN 105122306B
Authority
CN
China
Prior art keywords
prospect
color
cluster
pixel
distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480018765.6A
Other languages
English (en)
Other versions
CN105122306A (zh
Inventor
凑善久
柳川由纪子
池田泰之
木内丰
加藤丰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Publication of CN105122306A publication Critical patent/CN105122306A/zh
Application granted granted Critical
Publication of CN105122306B publication Critical patent/CN105122306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20101—Interactive definition of point of interest, landmark or seed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Abstract

使用户指定应该作为前景的区域内的一部分像素作为前景指定像素，根据前景指定像素的颜色来估计前景的颜色分布和背景的颜色分布。估计处理包含以下的步骤：将图像的颜色分布分为多个聚类；以及选择所述多个聚类中的、与用户指定的前景指定像素的关联性大的一个以上的聚类，作为前景的颜色分布，选择与前景指定像素的关联性小的一个以上的聚类，作为背景的颜色分布。

Description

区域分割方法以及检查装置
技术领域
本发明涉及用于从图像中提取期望的区域的技术。
背景技术
已知有如下被称为区域分割(segmentation)的技术：利用计算机的数字图像处理将提供的图像分离成前景(希望提取的部分)和背景(其以外的部分)。虽然目前为止对区域分割的算法提出了各种各样的方案，但大致分为以下两种方法：针对每个像素判别前景或背景的基于像素(pixel-based)的方法以及搜索前景与背景的边界的基于轮廓的方法。作为前者，有单纯的二进制化、颜色区域提取或基于聚集(clustering)的颜色分割等。另外，在专利文献1中，提出了通过进一步聚集由颜色区域提取获得的像素组来细致地识别对象颜色(人的肌肤颜色等)的像素和其以外的颜色的像素的方法。作为后者的方法，已知蛇形(Snakes)、水平集(Level Sets)、图分割(Graph Cuts)等(例如参照非专利文献1)。这些方法是将前景区域的轮廓(前景与背景的边界)的最优解作为能量最小化问题来解开的方法。
在区域分割中，为了算法的简单化和分割精度的提高，大多采用用户示教前景与背景各自的代表性颜色的方法(称为交替分割(Interactive segmentation))。例如在非专利文献1中公开了以下这样的方法，当用户针对显示图像在前景的一部分和背景的一部分上分别描绘线时，从该线上对前景与背景的代表颜色进行采样。
交替分割在前景或背景的颜色未知、图像中含有多个颜色或图案或者前景与背景的颜色相似等难以自动划分前景与背景的情况下是非常有效的。但是，用户有可能对于指定前景与背景双方的作业感到麻烦或者为了搜索适当的背景而耗费时间。另外，作为人的一般感觉，指定关心的对象物(前景)的一部分是直观的，但指定不关心的区域(背景)的操作是非直观的，从而大多用户感到有不协调感。
作为使用户的指定作业简化的方法，在专利文献2中提出了以下这样的方法，作为预备知识预先设定对象物的大小(可存在的范围)，当用户指定对象物(前景)的1点时，根据该点的坐标和对象物的大小来估计存在于对象物外侧的点(背景)，并提取前景与背景各自的颜色。但是，该方法存在当对象物大小未知的情况下无法应用、缺乏通用性这样的课题。
另外，在装载于Adobe公司的Photoshop中的“自动选择工具”以及“快速选择工具”中，当用户指定图像的一部分时，自动地选择位于该指定处的周围的相似颜色的像素。即，仅仅指定前景的一部分就能够进行区域提取，节省了指定背景的时间。但是，在该软件中仅评价与指定处的颜色(前景的代表颜色)的相似性，因此提取结果的精度不太高。例如，在前景与背景的颜色近似的情况或前景部分的颜色流畅地持续进行变化等的情况下，用户无法选择想要的范围，从而需要范围的追加或削除这样的修整作业。
现有技术文献
专利文献
专利文献1：日本特开2007-193553号公报
专利文献2：日本特开2008-245719号公报
非专利文献
非专利文献1：Y.Boykov and M.-P.Jolly："Interactive Graph Cuts forOptimal Boundary&Region Segmentation of Objects in N-D images”，ICCV2001，01，p.105(2001).
发明内容
发明所要解决的课题
本发明鉴于上述情况而作出，其目的在于，提供一种用户通过仅示教前景的一部分就能够将图像高精度地分割成前景和背景的技术。
解决问题的手段
为了达成上述目的，本发明的主旨是，根据由用户指定的前景指定像素的颜色来估计前景的颜色分布与背景的颜色分布，将这些颜色分布用作条件进行区域分割。
具体地说，本发明是将图像分割为前景和背景的区域分割方法，该区域分割方法包含以下的步骤：
前景指定步骤，计算机使用户指定所述图像中的应该作为前景的区域内的一部分像素，作为前景指定像素；估计步骤，计算机根据由用户指定的所述前景指定像素的颜色，来估计前景的颜色分布和背景的颜色分布；以及区域分割步骤，计算机将所估计的所述前景的颜色分布与所述背景的颜色分布用作条件，将所述图像分割为前景区域和背景区域，
所述估计步骤包含以下的步骤：将所述图像的颜色分布分为多个聚类；评价步骤，关于所述多个聚类，分别根据对聚类中包含的所述前景指定像素进行计数的结果来评价与所述前景指定像素的关联性的大小；选择步骤，选择所述多个聚类中的、与由用户指定的所述前景指定像素的关联性大的一个以上的聚类，作为所述前景的颜色分布，选择与所述前景指定像素的关联性小的一个以上的聚类，作为所述背景的颜色分布，在所述区域分割步骤中，针对作为前景区域的候选解的多个候选区域，评价候选区域的内侧的各像素的颜色相对于所述前景的颜色分布的前景似然度和候选区域的外侧的各像素的颜色相对于所述背景的颜色分布的背景似然度，由此从所述多个候选区域中求出前景区域的最优解。
根据此结构，用户仅指定前景的一部分既可(不需要指定背景)，因此用户的操作变得直观且简易。并且，因为根据由用户指定的前景指定像素的颜色来估计前景的颜色分布和背景的颜色分布，并将前景与背景双方的颜色分布用作条件进行区域分割，所以与仅采用前景的条件的方法相比，可进行精度高的区域分割。另外，因为不需要提供对象物(前景)的大小等预备知识，所以还具有通用性良好这样的优点。
在所述区域分割步骤中优选，针对作为前景区域的候选解的多个候选区域，评价候选区域的内侧的各像素的颜色相对于所述前景的颜色分布的前景似然度和候选区域的外侧的各像素的颜色相对于所述背景的颜色分布的背景似然度，由此从所述多个候选区域中求出前景区域的最优解。根据这样的最优解搜索，可进行精度良好的区域分割。
在所述区域分割步骤中优选，按照包含由用户指定的所述前景指定像素的方式设定所述多个候选区域。这样，不仅仅是由用户指定的前景指定像素的颜色的信息，还将位置的信息也作为初始条件进行利用，由此能够缩小搜索范围，因此可期待最优解搜索的精度提高和处理时间的缩短。
在所述估计步骤中优选，关于所述多个聚类，分别根据对聚类中包含的所述前景指定像素进行计数的结果来评价与所述前景指定像素的关联性的大小。在对聚类所包含的前景指定像素进行计数时，可直接对前景指定像素进行计数，或者可赋予与前景指定像素的位置对应的权重而进行计数。
在所述估计步骤中，选择与所述前景指定像素的关联性是阈值以上的聚类作为所述前景的颜色分布。在所述估计步骤中，从与所述前景指定像素的关联性大的聚类中依次选择预定数量的聚类作为所述前景的颜色分布。另外，在所述估计步骤中，选择不包含所述前景指定像素的聚类作为所述背景的颜色分布。在所述估计步骤中，选择与所述前景指定像素的关联性小于阈值的聚类作为所述背景的颜色分布。在所述估计步骤中，从与所述前景指定像素的关联性小的聚类中依次选择预定数量的聚类作为所述背景的颜色分布。这里，阈值或预定数量可采用1个以上的任意值，可由用户进行变更，或可由计算机动态地进行变更。
在所述前景步骤中优选，通过在显示装置所显示的所述图像上描绘图形的操作，进行所述前景指定像素的指定。通过采用这样的用户接口，可直观且简易地指定前景指定像素。这里，描绘的图形的形式可以是任意的。例如，上述图形可以是直线、曲线、圆、椭圆、或多边形，上述图形可以是封闭图形。
此外，本发明可捕捉为包含上述处理的至少任意一个的区域分割方法，或者还可以捕捉为具有上述处理(功能)的至少任意一个的区域分割装置或图像处理装置。另外，本发明还可以捕捉为通过将经由上述处理提取的前景区域设定为检查区域并分析该检查区域内的图像来进行检查对象物的检查的检查装置或检查方法。此外，本发明还可以捕捉为用于使计算机执行上述区域分割方法或检查方法的各步骤的程序或者记录该程序的存储介质。上述处理以及功能只要没有技术上的矛盾，就可以任意组合后构成本发明。
发明效果
根据本发明，用户通过仅示教前景的一部分，就能够将图像高精度地分割成前景与背景。
附图说明
图1是示意性示出图像检查装置的结构的图。
图2是示出检查处理的流程的流程图。
图3是用于说明检查处理中的检查区域的提取过程的图。
图4是示出采用设定工具103来设定检查区域的处理的流程的流程图。
图5是示出检查区域设定画面的一例的图。
图6是示出前景指定图形的描绘的一例的图。
图7是用于说明前景的颜色分布与背景的颜色分布的估计处理的图。
具体实施方式
本发明是在需要用户示教的交替分割中，用户通过仅指定前景的一部分来估计前景与背景双方的颜色分布，并将这些颜色分布用作条件，由此实现高精度的区域分割。本发明的区域分割方法可用作各种数字图像处理、计算机视觉(computer vision)、机器视觉(machine vision)的要素技术。列举一例，可以考虑在图像检查装置中从源图像提取应该作为检查对象的区域的处理、从静态图像或动态图像中检测面部/人体/手指(手势)的区域或轮廓的处理、从车载照相机的影像中检测道路的白线、标识或预定的物体的处理、设定在构建图像处理用的学习用数据库时成为输入对象的区域的处理、每当利用图像编辑进行背景合成时从源图像中仅修整前景部分的处理、从医用图像中仅提取诊断对象的脏器或部位的处理等各种各样的应用例。在以下记述的实施方式中，作为一个应用例说明以下这样的例子：在图像检查装置中的检查区域设定功能(设定工具)内安装本发明的区域分割方法。
(图像检查装置)
图1示意性示出图像检查装置的结构。该图像检查装置1是对在输送路径上输送的检查对象物2进行外观检查的系统。
如图1所示，图像检查装置1由装置主体10、图像传感器11、显示装置12、存储装置13、输入装置14等硬件构成。图像传感器11是用于在装置主体10中取入彩色或单色的静态图像或动态图像的设备，例如可适当地使用数字照相机。但是，当在检查中利用可视光像以外的特殊图像(X线图像、热图像等)时，只要采用与该图像匹配的传感器既可。显示装置12是用于显示与由图像传感器11取入的图像、检查结果、检查处理或设定处理相关的GUI画面的设备，例如可采用液晶显示器等。存储装置13是存储图像检查装置1在检查处理中参照的各种设定信息(检查区域定义信息、检查逻辑等)或检查结果等的设备，例如可利用HDD、SSD、闪速存储器、网络存储器等。输入装置14是用户为了对装置主体10输入指示而操作的设备，例如可利用鼠标、键盘、触摸面板、专用控制台等。
装置主体10作为硬件可由具备CPU(中央运算处理装置)、主存储装置(RAM)、辅助存储装置(ROM、HDD、SSD等)的计算机构成，作为其功能，具有检查处理部101、检查区域提取部102、设定工具103。检查处理部101和检查区域提取部102是关于检查处理的功能，设定工具103是辅助检查处理所需的设定信息的由用户进行的设定作业的功能。通过在主存储装置中加载辅助存储装置或存储装置13中存储的计算机程序并由CPU执行，来实现这些功能。此外，图1仅仅是示出装置结构的一例，也可以使图像传感器11、显示装置12、存储装置13、输入装置14的全部或一部分在装置主体10中一体化。此外，装置主体10可由个人计算机或平板型终端这样的计算机构成，或者还可以由专用芯片或机载计算机等构成。
(检查处理)
参照图2以及图3来说明关于图像检查装置1的检查处理的动作。图2是示出检查处理的流程的流程图，图3是用于说明检查处理中的检查区域的提取过程的图。这里，为了便于说明，以移动电话的壳体部件的面板表面的检查(伤痕、颜色不均匀的检测)为例来说明检查处理的流程。
在步骤S20中，由图像传感器11拍摄检查对象物2，图像数据被取入装置主体10中。这里取入的图像(源图像)根据需要显示在显示装置12上。图3的上段表示源图像的一例。在源图像的中央拍摄作为检查对象的壳体部件2，在其左右拍摄了处于输送路径上的相邻部分的壳体部件的一部分。
在步骤S21中，检查区域提取部102从存储装置13读入需要的设定信息。在设定信息中至少含有检查区域定义信息和检查逻辑。所谓检查区域定义信息就是定义应该从源图像中提取的检查区域的位置、形状的信息。检查区域定义信息的形式是任意的，例如可采用在检查区域的内侧和外侧改变了标签(label)的位掩码(bit mask)或者以贝塞尔曲线或样条曲线来表现检查区域的轮廓的矢量数据等。所谓检查逻辑就是定义检查处理的内容的信息，例如，适合在用于检查的特征量的种类、判定方法、特征量提取或判定处理中采用的参数或阈值等。
在步骤S22中，检查区域提取部102根据检查区域定义信息，从源图像中提取作为检查区域的部分。图3的中段示出使由检查区域定义信息定义的检查区域(用交叉阴影表示)30与源图像重叠的情况。可知检查区域30正好重叠在壳体部件2的面板表面上。图3的下段示出从源图像中提取出检查区域30的部分图像(检查区域图像31)的情况。在检查区域图像31中，删除了围绕壳体部件2拍摄的输送路径或相邻的部件。另外，还删除除了表面检查的对象部位之外的铰链部分20或按钮部分21。将这样获得的检查区域图像31提交到检查处理部101。
在步骤S23中，检查处理部101根据检查逻辑分析检查区域图像31，提取需要的特征量。在本例中，作为用于进行表面的伤痕/颜色不均匀的检查的特征量，提取检查区域图像31的各像素的颜色及其平均值。
在步骤S24中，检查处理部101根据检查逻辑来判定有无伤痕/颜色不均匀。例如，当检测到与在步骤S23中获得的平均值相对的颜色差超过阈值的像素组时，可将该像素组判定为伤痕或者颜色不均匀。
在步骤S25中，检查处理部101在显示装置12上显示检查结果，并记录到存储装置13内。以上，对1个检查对象物2的检查处理结束。在生产线中，与检查对象物2输送到图像传感器11的视场角内的时刻同步地反复图2的步骤S20～S25的处理。
在外观检查中，期望仅将应该作为检查对象的像素恰当地截取为检查区域图像31。这是因为，当在检查区域图像31中包含背景部分或多余的部分(在图3的例子中为铰链部分20或按钮部分21)时，有可能该像素成为噪声而使检查精度降低，相反，当检查区域图像31小于应该作为检查对象的范围时，有可能产生检查的遗漏。因此，在本实施方式的图像检查装置1中，准备了用于简单地生成用于截取正确的检查区域图像的检查区域定义信息的设定工具103。
(检查区域的设定处理)
按照图4的流程图来说明设定工具103的功能以及动作。图4是示出采用设定工具103来设定检查区域的处理的流程的流程图。另外，还适当地参照图5的检查区域设定画面例。
当启动设定工具103时，在显示装置12上显示图5的设定画面。在该设定画面上设置有图像窗口50、图像取入按钮51、工具按钮52、区域分割按钮53、确定按钮54、设定变更按钮55。按钮的选择、对图像窗口50所显示的图像的图形描绘(前景指定)等可通过使用了输入装置14的预定操作(例如鼠标的点击或拖曳、预定键的按下等)来进行。此外，该设定画面仅为一例，只要能够进行以下叙述的输入操作或图像的确认等，则可以采用任意的UI。
当由用户按下图像取入按钮51时，设定工具103利用图像传感器11拍摄检查对象物的采样(步骤S40)。作为采样，可采用合格品的检查对象物，在与实际检查处理的情况相同的状态(图像传感器11与采样的相对位置、照明等)下进行摄影。在装置主体10中取入所获得的采样图像数据。此外，当事先拍摄的采样图像存在于装置主体10的辅助存储装置或存储装置13中时，设定工具103可从辅助存储装置或存储装置13中读入采样图像的数据。
如图5所示，在步骤S40中取入的采样图像显示在设定画面的图像窗口50上(步骤S41)。如图5所示，在对象物是具有复杂形状的物体或者前景(应该作为检查区域提取的部分)与背景(其以外的部分)的颜色或亮度差不太大时，计算机难以自动地解释或决定应该将检查区域设定在哪里。因此，在本实施方式中，用户向计算机示教应该作为采样图像中的前景的区域内的一部分作为初始值。
(前景的指定)
在本实施方式中，通过在采样图像上的任意位置处描绘图形的操作，进行前景的指定(以下，将该图形称为前景指定图形)。关于设定工具103，准备了直线描绘工具、曲线描绘工具、圆描绘工具、矩形描绘工具、封闭图形描绘工具、橡皮工具，作为用于描绘前景指定图形的工具。通过选择工具按钮52中相应的图标，可进行工具的切换。
当利用直线描绘工具时，如图6(a)所示，可在图像窗口50所显示的采样图像上描绘直线段或连续直线(折线)。线的粗细可任意进行变更。关于直线的输入操作，只要利用在CAD或绘制软件等中采用的操作(例如，起始点与终点的点击、起始点的点击和拖曳的组合等)既可，因此这里省略说明。关于其它的图形输入也是同样的。当利用曲线描绘工具时，如图6(b)所示，可在图像上描绘自由曲线、贝塞尔曲线或样条曲线。当利用圆描绘工具时，如图6(c)所示可描绘圆或椭圆。当利用矩形描绘工具时，如图6(d)所示，可描绘正方形或长方形。当利用封闭图形描绘工具时，如图6(e)所示，可描绘以自由曲线定义的任意的封闭图形。在图6(a)～(e)中仅示出1个图形，但也可以描绘多个图形。在圆描绘工具、矩形描绘工具、封闭图形描绘工具的情况下，可将圆、矩形或封闭图形的内侧的区域作为前景指定图形，或者可与直线描绘工具或曲线描绘工具同样地将图形的轮廓部分作为前景指定图形。橡皮工具是用于删除所描绘的图形的工具。此外，这些工具仅为一例，只要能够利用线或多边形之外的封闭图形来指定图像上的一部分区域，就可以采用任意的工具。
当采用任意的工具在图像上描绘前景指定图形时(步骤S42)，能够选择区域分割按钮53。然后，当由用户按下区域分割按钮53时，设定工具103从采样图像中取得重叠了前景指定图形的部分的像素(将其称为前景指定像素)的数据(步骤S43)。并且，设定工具103根据这些前景指定像素的颜色利用以下记述的方法来估计前景与背景各自的代表颜色的颜色分布。
(前景与背景的颜色分布的估计)
首先，设定工具103将采样图像的各像素的值(颜色)映射到预定的颜色空间(步骤S44)。作为颜色空间，可以是与采样图像的色彩通道(color channel)相同的颜色空间(例如是RGB颜色空间)，或者可采用L*a*b*或XYZ这样的其它颜色空间。另外为了简化计算，还可以采用2维或1维的颜色空间。图7(a)示意性地示出映射结果的一例(为了便于图示，示出2维颜色空间的例子)。表示映射了×标识的像素。在实际的图像中存在几十万至几百万左右的像素，但在图7(a)中进行简化后示出。
接着，设定工具103将映射到颜色空间的像素组(即采样图像的颜色分布)根据颜色的相似性分割为多个聚类(cluster)(步骤S45)。作为聚集算法(clusteringalgorithm)，可采用GMM(Gaussian Mixture Model：高斯混合模型)聚集、K-means法、mean-shift法、无限混合狄利克雷分布等各种算法，但在本实施方式的情况下优选采用GMM聚集。其理由是，因为后段的最优解搜索中的似然计算中采用GMM，所以具有可将GMM聚集的计算结果直接挪用到最优解搜索中的优点。此外，可动态地决定聚类的数量(分割数)、或者还可以由用户来设定。图7(b)示意性地示出已分割为6个聚类71～76的例子，作为聚集结果的一例。
接着，设定工具103针对6个聚类71～76分别评价与在步骤S43中取得的前景指定像素的关联性的大小(步骤S46)。具体地说，设定工具103对各个聚类所包含的前景指定像素进行计数，并根据其计数结果来计算表示与前景指定像素的关联性的大小的评分。在图7(c)中，用○标记表示的是前景指定像素。可知在聚类71、72、73中包含前景指定像素，在剩余的聚类74、75、76中没有包含前景指定像素。在本实施方式中，将针对前景指定像素逐个进行计数的结果(即，聚类内的前景指定像素的总数)用作评分。在此情况下，聚类73的评分为“5”，聚类71和72的评分为“2”，聚类74、75、76的评分为“0”，获得了与前景指定像素的关联性聚类73最大、聚类74、75、76最小的评价结果。
此外，表示关联性的大小的指标(评分)的计算方法不仅限于上述的例子。例如，设定工具103可赋予与前景指定像素的位置对应的权重来进行前景指定像素的计数。例如，只要使处于由用户描绘的前景指定图形的中心部的像素的权重大于处于周边部的像素的权重既可。这是因为用户将认为是典型的前景部分的位置作为中心来描绘图形的可能性高。还具有以下这样的优点，如果使得周边部的像素的权重较小，则即使图形的端部从前景露出到背景部分，也能够减少对评分造成的影响。作为其它方法，还可以在描绘多个前景指定图形时针对每个图形来改变像素的权重。例如，考虑越位于中心的图形越增大权重、面积越小的图形越增大权重或者使用户指定每个图形的权重等。另外，虽然到目前为止都是与前景指定像素的图像内的位置相对应的权重控制，但也可以进行与前景指定像素的颜色空间内(聚类内)的位置相对应的权重控制。例如，只要处于聚类的中心部的像素的权重大于处于聚类的周边部的像素的权重既可。这是因为可以说，前景指定像素越集中于聚类的中心，该聚类表示前景颜色的可能性越高。
接着，设定工具103从6个聚类71～76中选择与前景指定像素的关联性大的一个以上的聚类，对于将它们合成后的GMM决定为前景的颜色分布(步骤S47)。在本实施方式中，评分是1以上的聚类(即，包含一个以上的前景指定像素的聚类)被全部选择。在图7(c)的例子中，由3个聚类71、72、73构成的GMM为前景的颜色分布。
此外，步骤S47中的聚类的选择方法不仅限于上述的例子。例如，可将判定与前景指定像素的关联性(评分)是否大的阈值设定为大于1的值，或者可由用户变更阈值。还优选根据前景指定像素的总数或前景指定像素的分布等动态地变更阈值。或者也可以不是通过评分与阈值的比较来决定，而是按照与前景指定像素的关联性(评分)从大到小的顺序对聚类进行排序，从与前景指定像素的关联性大的聚类中依次选择预定数的聚类作为前景的颜色分布。预定数可设定为1以上的任意值，可以由用户进行变更。还优选根据前景指定像素的总数或聚类的分割数等来动态地变更选择为前景的颜色分布的聚类的数量。
接着，设定工具103从6个聚类71～76中，选择与前景指定像素的关联性小的一个以上的聚类，对于将它们合成后的GMM决定为背景的颜色分布(步骤S48)。在本实施方式中，评分小于1(即，前景指定像素一个也不包含)的聚类全部被选择。在图7(c)的例子中，由3个聚类74、75、76构成的GMM成为背景的颜色分布。
关于步骤S48中的聚类的选择方法也考虑了各种变化。例如，可将判定与前景指定像素的关联性(评分)是否小的阈值设定为大于1的值，或者可由用户来变更阈值。还优选根据前景指定像素的总数或前景指定像素的分布等动态地变更阈值。或者，可以不是利用评分与阈值的比较来决定，而是按照与前景指定像素的关联性(评分)从小到大的顺序对聚类进行排序，从与前景指定像素的关联性小的聚类中依次选择预定数量的聚类作为背景的颜色分布。预定数可设定为1以上的任意值，也可以由用户进行变更。还可以优选根据前景指定像素的总数或聚类的分割数等来动态地变更选择为背景的颜色分布的聚类的数。
此外，不需要将全部的聚类选择为前景的颜色分布或背景的颜色分布。相反，即使容许将相同的聚类选择为前景的颜色分布和背景的颜色分布两者也不要紧。这是因为存在前景与背景中包含相似颜色的情况。此外，在步骤S47、S48中，不仅是与前景指定像素的关联性，还优选考虑聚类间的距离(颜色空间的距离)。例如，在预先知晓前景与背景的色差明显、且存在多个背景的聚类的候选时，只要将与选择为前景的颜色分布的聚类隔开距离的聚类优先选择为背景的聚类既可。或者为了网罗地对背景颜色进行采样，可按照使得聚类间的距离尽量大的方式来选择背景的聚类。前景的聚类的情况也是同样的。
(区域分割)
接着，设定工具103将在步骤S44～S48中估计的前景的颜色分布和背景的颜色分布用作初始条件，对采样图像执行区域分割(segmentation)(步骤S49)。虽然针对区域分割可利用任何的算法，但优选采用对前景与背景的最优边界进行搜索的基于轮廓的算法。例如，可适当利用图分割(graph cut)和水平集(level set)等的算法。在这些算法中，关于前景区域的候选解(候选区域)，通过对候选区域内侧的像素颜色的前景似然度(前景似然)和候选区域外侧的像素颜色的背景似然度(背景似然)进行评价，来从多个候选区域中搜索前景区域的最优解。这里，关于各像素的颜色的前景似然度(前景似然)，可将在步骤S47中获得的前景的颜色分布即GMM用作概率密度函数而进行计算。另外，关于各像素的颜色的背景似然度(背景似然)，可将在步骤S48中获得的背景的颜色分布即GMM用作概率密度函数而进行计算。例如，在采用图分割算法的情况下，只要将评价候选区域内侧的各像素的前景似然与候选区域外侧的各像素的背景似然的合计值的式子用作目的函数的数据项既可。关于这种情况下的平滑化项中，例如可采用对各像素的4附近的边缘权重进行评价的式子等。因为图分割算法是公知的方法(参照非专利文献1等)，所以这里省去详细的说明。
此外，在步骤S49的最优解搜索中，只要按照使用户指定的前景指定像素全部包含的方式进行前景区域的候选区域的设定既可。这是因为，通过这样将前景指定像素的位置信息用作初始条件，可缩小搜索范围，可期待最优解搜索的精度提高和处理时间的缩短。
设定工具103在采样图像上覆盖显示作为步骤S49的区域分割的结果而提取的前景区域(或前景区域与背景区域的边界)(步骤S50)。用户通过观看此显示，可确认是否将期望的区域提取为前景。之后，当用户按下确定按钮54时，设定工具103将前景区域确定为检查区域，生成检查区域定义信息并存储到存储装置13中(步骤S51)。
此外，当在步骤S49中提取出的前景区域不适合时，只要根据图像的取入(步骤S40)或前景指定(步骤S42)重做既可。或者，还可以通过按下设定变更按钮55来显示设定变更对话，并调整关于前景指定或区域分割的设定参数。作为设定参数，例如只要能够调整描绘前景指定图形时的线(brush，刷子)的粗细、聚类的分割数、前景与背景各自的颜色分布的决定方法或阈值等既可。
(本实施方式的优点)
根据以上所述的设定工具103，用户仅指定前景的一部分既可(不需要指定背景)，因此用户的操作变得直观且简易。并且，因为根据用户指定的前景指定像素的颜色来估计前景的颜色分布和背景的颜色分布，并将前景与背景双方的颜色分布用作条件进行区域分割，所以与仅采用前景的条件的方法相比，可进行精度高的区域分割。另外，因为不需要提供对象物(前景)的大小等预备知识，所以还具有通用性良好这样的优点。尤其在本实施方式中，利用图分割或水平集等的区域分割算法来求出前景区域的最优解，因此能够高精度地决定前景与背景的边界。而且，因为按照包含用户指定的前景指定像素的方式来设定搜索范围，所以能够使搜索精度提高与处理时间缩短同时成立。
上述实施方式示出了本发明的一个具体例，但本发明的范围并不限定为这些具体例。例如，在上述实施方式中，假定彩色图像作为采样图像，因此虽然利用了图像的颜色信息，但在采用单色图像的情况下，可取代颜色信息采用亮度(浓度)的信息。另外，如上所述，本发明的区域分割方法不限于外观检查装置，还可以广泛地用作各种数字图像处理、计算机视觉、机器视觉的要素技术。
标号说明
1：图像检查装置
2：检查对象物
10：装置主体，11：图像传感器，12：显示装置，13：存储装置，14：输入装置101：检查处理部，102：检查区域提取部，103：设定工具
20：铰链部分，21：按钮部分
30：检查区域，31：检查区域图像
50：图像窗口，51：图像取入按钮，52：工具按钮，53：区域分割按钮，54：确定按钮，55：设定变更按钮
71-76：聚类

Claims (15)

1.一种将图像分割为前景和背景的区域分割方法，其特征在于，所述区域分割方法包含以下的步骤：
前景指定步骤，计算机使用户指定所述图像中的应该作为前景的区域内的一部分像素，作为前景指定像素；
估计步骤，计算机根据由用户指定的所述前景指定像素的颜色，来估计前景的颜色分布和背景的颜色分布；以及
区域分割步骤，计算机将所估计的所述前景的颜色分布与所述背景的颜色分布用作条件，将所述图像分割为前景区域和背景区域，
所述估计步骤包含以下的步骤：
将所述图像的颜色分布分为多个聚类；
评价步骤，关于所述多个聚类，分别根据对聚类中包含的所述前景指定像素进行计数的结果来评价与所述前景指定像素的关联性的大小；
选择步骤，选择所述多个聚类中的、与由用户指定的所述前景指定像素的关联性大的一个以上的聚类，作为所述前景的颜色分布，选择与所述前景指定像素的关联性小的一个以上的聚类，作为所述背景的颜色分布，
在所述区域分割步骤中，针对作为前景区域的候选解的多个候选区域，评价候选区域的内侧的各像素的颜色相对于所述前景的颜色分布的前景似然度和候选区域的外侧的各像素的颜色相对于所述背景的颜色分布的背景似然度，由此从所述多个候选区域中求出前景区域的最优解。
2.根据权利要求1所述的区域分割方法，其特征在于，
在所述区域分割步骤中，按照包含由用户指定的所述前景指定像素的方式设定所述多个候选区域。
3.根据权利要求1所述的区域分割方法，其特征在于，
在所述评价步骤中，当对聚类中包含的所述前景指定像素进行计数时，赋予与所述前景指定像素的位置对应的权重而进行计数。
4.根据权利要求3所述的区域分割方法，其特征在于，
在所述前景指定步骤中，通过在显示装置所显示的所述图像上描绘图形的操作，进行所述前景指定像素的指定，
在所述评价步骤中，使处于所描绘的所述图形的中心部的像素的权重大于处于所述图形的周边部的像素的权重。
5.根据权利要求3所述的区域分割方法，其特征在于，
在所述评价步骤中，赋予与聚类内的位置对应的权重来对所述前景指定像素进行计数。
6.根据权利要求3所述的区域分割方法，其特征在于，
在所述评价步骤中，使处于所述聚类的中心部的像素的权重大于处于所述聚类的周边部的像素的权重。
7.根据权利要求1所述的区域分割方法，其特征在于，
在所述估计步骤中，选择与所述前景指定像素的关联性是阈值以上的聚类作为所述前景的颜色分布。
8.根据权利要求1所述的区域分割方法，其特征在于，
在所述估计步骤中，从与所述前景指定像素的关联性大的聚类中依次选择预定数量的聚类作为所述前景的颜色分布。
9.根据权利要求1所述的区域分割方法，其特征在于，
在所述估计步骤中，选择不包含所述前景指定像素的聚类作为所述背景的颜色分布。
10.根据权利要求1所述的区域分割方法，其特征在于，
在所述估计步骤中，选择与所述前景指定像素的关联性小于阈值的聚类作为所述背景的颜色分布。
11.根据权利要求1所述的区域分割方法，其特征在于，
在所述估计步骤中，从与所述前景指定像素的关联性小的聚类中依次选择预定数量的聚类作为所述背景的颜色分布。
12.根据权利要求1～3、5～11中任意一项所述的区域分割方法，其特征在于，
在所述前景指定步骤中，通过在显示装置所显示的所述图像上描绘图形的操作，进行所述前景指定像素的指定。
13.根据权利要求12所述的区域分割方法，其特征在于，
所述图形是直线、曲线、圆、椭圆、或多边形。
14.根据权利要求12所述的区域分割方法，其特征在于，
所述图形是封闭图形。
15.一种检查装置，其在拍摄检查对象物而获得的源图像的一部分中设定检查区域，并分析所述检查区域内的图像，由此进行所述检查对象物的检查，该检查装置的特征在于，
采用权利要求1～14中任意一项所述的区域分割方法，将所述源图像分割为前景区域和背景区域，并将所述前景区域设定为所述检查区域。
CN201480018765.6A 2013-03-29 2014-02-25 区域分割方法以及检查装置 Active CN105122306B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-073545 2013-03-29
JP2013073545A JP6089886B2 (ja) 2013-03-29 2013-03-29 領域分割方法および検査装置
PCT/JP2014/054462 WO2014156425A1 (ja) 2013-03-29 2014-02-25 領域分割方法および検査装置

Publications (2)

Publication Number Publication Date
CN105122306A CN105122306A (zh) 2015-12-02
CN105122306B true CN105122306B (zh) 2018-04-17

Family

ID=51623422

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480018765.6A Active CN105122306B (zh) 2013-03-29 2014-02-25 区域分割方法以及检查装置

Country Status (7)

Country Link
US (1) US9672628B2 (zh)
EP (1) EP2980755B1 (zh)
JP (1) JP6089886B2 (zh)
KR (1) KR101719088B1 (zh)
CN (1) CN105122306B (zh)
TW (1) TWI526982B (zh)
WO (1) WO2014156425A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101766740B1 (ko) * 2015-03-19 2017-08-09 한국전자통신연구원 영역 기반 그래프 컷을 이용한 객체 분할 장치 및 방법
JP6919982B2 (ja) * 2017-05-09 2021-08-18 株式会社キーエンス 画像検査装置
CN107358614B (zh) * 2017-06-14 2020-07-28 南京邮电大学 从k边缘特性x射线图像中分离图像信息的方法
TWI658430B (zh) * 2017-12-12 2019-05-01 緯創資通股份有限公司 熱影像處理系統及方法
KR102064367B1 (ko) * 2018-05-04 2020-02-11 주식회사 셀바스에이아이 이미지 태깅 장치 및 이를 이용한 이미지 태깅 방법
TWI674558B (zh) 2018-06-12 2019-10-11 財團法人工業技術研究院 數值陣列資料影像處理裝置、數值陣列資料影像處理方法及色碼表產生方法
WO2020216808A1 (en) 2019-04-23 2020-10-29 L'oréal Sa Machine image colour extraction and machine image construction using an extracted colour
TWI726525B (zh) * 2019-12-09 2021-05-01 新唐科技股份有限公司 影像二值化方法與電子裝置
CN113434715A (zh) * 2020-03-23 2021-09-24 瑞昱半导体股份有限公司 用于针对图像进行搜索的方法以及图像处理电路
TWI751571B (zh) * 2020-06-02 2022-01-01 仁寶電腦工業股份有限公司 環境氛圍調整系統及環境氛圍調整方法
US20220327710A1 (en) * 2020-09-11 2022-10-13 Beijing Boe Optoelectronics Technology Co., Ltd. Image Segmentation Method and Apparatus and Image Three-Dimensional Reconstruction Method and Apparatus
US20220226720A1 (en) * 2021-01-15 2022-07-21 Christian Michael FROELICH Method, System, and Device for Inspection of Scratch-Off Lottery Tickets
TWI797923B (zh) * 2021-12-28 2023-04-01 國家中山科學研究院 遮罩係數空間之線上多物件分割與追蹤系統

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5883971A (en) 1996-10-23 1999-03-16 International Business Machines Corporation System and method for determining if a fingerprint image contains an image portion representing a smudged fingerprint impression
JP2007052466A (ja) * 2003-11-17 2007-03-01 Nec Corp 画像処理方法、画像処理システム、および画像処理プログラム
JP2007193553A (ja) 2006-01-19 2007-08-02 Fuji Xerox Co Ltd 画像処理方法、画像処理装置および画像処理プログラム
CA2653815C (en) * 2006-06-23 2016-10-04 Imax Corporation Methods and systems for converting 2d motion pictures for stereoscopic 3d exhibition
JP4493679B2 (ja) 2007-03-29 2010-06-30 富士フイルム株式会社 対象領域抽出方法および装置ならびにプログラム
US7999861B2 (en) * 2008-03-14 2011-08-16 Omron Corporation Image processing apparatus for generating composite image with luminance range optimized for a designated area
JP2010028608A (ja) * 2008-07-23 2010-02-04 Sanyo Electric Co Ltd 画像処理装置、撮像装置、再生装置及び画像処理方法
JP4963492B2 (ja) * 2008-08-08 2012-06-27 トヨタ自動車株式会社 画像セグメンテーション方法、プログラムおよび装置
JP4963306B2 (ja) * 2008-09-25 2012-06-27 楽天株式会社 前景領域抽出プログラム、前景領域抽出装置、及び前景領域抽出方法
JP5865078B2 (ja) * 2011-12-28 2016-02-17 キヤノン株式会社 画像処理装置および画像処理方法
US8873887B2 (en) * 2013-01-24 2014-10-28 Google Inc. Systems and methods for resizing an image

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Improved GrabCut Segmentation via GMM Optimisation;Daniel Chen 等;《Digital Image Computing: Techniques and Applications》;20081201;第39-45页 *
纹理建模与图切分优化方法研究;韩守东 等;《中国博士学位论文全文数据库 信息科技辑》;20110815;正文第42-44页 *

Also Published As

Publication number Publication date
US9672628B2 (en) 2017-06-06
EP2980755A1 (en) 2016-02-03
EP2980755B1 (en) 2019-05-01
KR101719088B1 (ko) 2017-03-22
WO2014156425A1 (ja) 2014-10-02
CN105122306A (zh) 2015-12-02
US20160300358A1 (en) 2016-10-13
TWI526982B (zh) 2016-03-21
TW201447811A (zh) 2014-12-16
JP6089886B2 (ja) 2017-03-08
KR20150121164A (ko) 2015-10-28
JP2014197358A (ja) 2014-10-16
EP2980755A4 (en) 2016-11-30

Similar Documents

Publication Publication Date Title
CN105122306B (zh) 区域分割方法以及检查装置
CN109791693B (zh) 用于提供可视化全切片图像分析的数字病理学系统及相关工作流程
US9524028B2 (en) Visual language for human computer interfaces
US8508546B2 (en) Image mask generation
CN105893925A (zh) 基于肤色的人手检测方法及装置
US8542917B2 (en) System and method for identifying complex tokens in an image
CN104636726A (zh) 一种图像色彩识别方法、装置及终端
Dong et al. A novel method for extracting information on pores from cast thin-section images
CN104053984A (zh) 图像检查方法和图像检查装置
JP5914688B2 (ja) デジタル画像に関する色解析
CN108629761A (zh) 一种乳腺癌图像识别方法、装置和用户终端
CN109948450A (zh) 一种基于图像的用户行为检测方法、装置和存储介质
US20130114911A1 (en) Post processing for improved generation of intrinsic images
CN109920018A (zh) 基于神经网络的黑白照片色彩恢复方法、装置及存储介质
CN109064525A (zh) 一种图片格式转换方法、装置、设备和存储介质
Montenegro et al. A comparative study of color spaces in skin-based face segmentation
US11461880B2 (en) Generating image masks from digital images utilizing color density estimation and deep learning models
CN112419470A (zh) 目标区域的颜色渲染方法、装置、设备和介质
US8428352B1 (en) Post processing for improved generation of intrinsic images
JP5860970B2 (ja) 固有画像の生成を改良するための後処理
JP2006053692A (ja) 動画像における画像処理装置、画像処理方法、画像処理プログラム、および該プログラムを記録した記録媒体
CN111226437A (zh) 一种对拍摄装置的拍摄质量评测方法、装置及终端设备
Kim et al. Depth guided selection of adaptive region of interest for GrabCut-based image segmentation
WO2021129213A1 (zh) 主题图标的生成方法及其装置、计算机设备
Audet et al. Salient Object Detection in Images by Combining Objectness Clues in the RGBD Space

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant