CN104424482B - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN104424482B
CN104424482B CN201410409160.1A CN201410409160A CN104424482B CN 104424482 B CN104424482 B CN 104424482B CN 201410409160 A CN201410409160 A CN 201410409160A CN 104424482 B CN104424482 B CN 104424482B
Authority
CN
China
Prior art keywords
binary
area
image
closed area
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410409160.1A
Other languages
English (en)
Other versions
CN104424482A (zh
Inventor
石原正树
杉村昌彦
远藤进
马场孝之
上原祐介
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN104424482A publication Critical patent/CN104424482A/zh
Application granted granted Critical
Publication of CN104424482B publication Critical patent/CN104424482B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30128—Food products
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

二值化处理单元通过将输入图像的每个像素的视觉特征与预定的二值化阈值进行比较并且基于比较结果对输入图像的每个像素的值进行二值化来生成二进制图像。二值化处理单元在改变二值化阈值时执行该处理，从而生成多个二进制图像。轮廓检测单元计算在多个二进制图像之间具有重叠部分的封闭区域的面积，并且基于通过改变二值化阈值所引起的相应封闭区域的面积变化率来确定待用于检测相应封闭区域的边界作为对象的轮廓的二值化阈值。

Description

图像处理设备和图像处理方法
技术领域
在本文中讨论的实施方式涉及图像处理设备和图像处理方法。
背景技术
农业生产者在早期阶段预测农产品的收获时间和产量，以实现在与农产品的购买商的合同中提前指定的交付时间和交付量是理想的。进行这样的收获预测的一种方式是定期检查农产品在其生长期间的重量分布。重量分布是如下频数分布：其是通过测量每个农产品的重量而获得的，并以通过横轴表示重量和纵轴表示农产品的数量的曲线图来表示。然而，为了进行这样的收获预测，需要单独测量大量农产品的重量。
鉴于该问题，已经提出了如下方法：基于由数码相机捕获的收获的土豆的图像来计算每个土豆的面积，以及基于计算出的面积来估计每个土豆的重量。可以基于在图像中捕获的每个土豆的轮廓来计算每个土豆的面积。
另外，关于从被捕获图像中提取对象例如农产品等的轮廓的方法，存在如下方法：通过将基于被捕获图像的每个像素的视觉特征与阈值进行比较来对图像进行二值化。该视觉特征可以是例如通过对在被捕获图像中的像素值的直方图进行反向投影而获得的直方图图像的数据。
另外，关于与轮廓检测相关的技术，存在如下技术：其从输入图像提取椭圆的轮廓点，估计针对每个轮廓点的椭圆的参数，以及重复用于将参数更新为在轮廓点之间一致的值的处理。然后，将重叠的椭圆分开，计算参数。
在以下文献中公开了相关技术的示例：日本特开平7-200774号公报；日本特开2001-344607号公报；Bruce Marshall和Mark W.Yong的“Automated on-farm assessmentof tuber size distribution”，Decision Support Systems in Potato Production:Bringing Models to Practice，Wageningen Pers,2004年6月30日，101-117页；以及GaryBradski和Adrian Kaehler的“Learning OpenCV”，日本O’Reilly公司，2009年8月24日，561-562页。
为了基于表示大量农产品例如土豆等的图像来计算每个农产品的面积、从而基于面积估计每个农产品的重量，需要检测每个农产品的轮廓。假设针对该轮廓检测使用上述方法，即通过将基于被捕获图像的每个像素的视觉特征与阈值进行比较来对图像进行二值化。
通过该方法，在具有相似外表的多个对象例如农产品在图像中彼此相邻的情况下，根据阈值的值，可能存在相邻对象的轮廓相连的问题，或可能存在在实际的轮廓内检测到轮廓、导致轮廓向内移动的问题。难以同时解决这两个问题。例如，如果使用单个阈值，则相邻对象的轮廓可能在一个位置相连，而可能在另一个位置存在轮廓的向内移动。
发明内容
根据一个方面，本发明旨在提供能够准确检测多个对象中的每一个的轮廓的图像处理设备和图像处理方法。
根据一个实施方式，提供了一种图像处理设备，该图像处理设备包括处理器，该处理器被配置成执行包括以下步骤的程序：通过在改变预定的二值化阈值时执行二进制图像生成处理来生成多个二进制图像，该二进制图像生成处理为通过将表示多个对象的图像的每个像素的视觉特征与二值化阈值进行比较并且基于该比较的结果对图像的每个像素的值进行二值化来生成二进制图像的处理；计算相应封闭区域的面积，该相应封闭区域为在多个二进制图像的每一个中表示的封闭区域，并且在多个二进制图像之间具有重叠部分；以及基于通过改变二值化阈值所引起的相应封闭区域的面积变化率，来确定待用于检测相应封闭区域的边界作为对象的轮廓的二值化阈值。
附图说明
图1示出了根据第一实施方式的图像处理设备的示例性配置以及示例性处理；
图2示出了根据第二实施方式的图像处理设备的示例性硬件配置；
图3示出了表示多个对象的被捕获图像的示例；
图4示出了用于通过对直方图进行反向投影而生成灰度图像的示例性处理；
图5示出了用于对灰度图像进行二值化的示例性处理；
图6示出了根据第二实施方式的图像处理设备的示例性功能配置；
图7示出了提取参考点的示例；
图8示出了响应于阈值的改变、封闭区域的面积的变化的示例；
图9是示出了由根据第二实施方式的图像处理设备执行的示例性处理的流程图；
图10示出了根据第三实施方式的图像处理设备的示例性功能配置；
图11示出了设置子区域的方法的示例；
图12示出了响应于阈值的改变而改变每个部分封闭区域的面积的示例；
图13示出了在照射光从前面入射到对象上的情况下的封闭区域的示例；
图14示出了在照射光倾斜地入射到对象上的情况下的封闭区域的示例；以及
图15是示出了由根据第三实施方式的图像处理设备执行的示例性处理的流程图。
具体实施方式
以下将参照附图来描述若干个实施方式，在附图中相同的附图标记指相同的元件。
(a)第一实施方式
图1示出了根据第一实施方式的图像处理设备1的示例性配置以及示例性处理。图像处理设备1执行用于从表示多个对象的输入图像来检测对象中的每一个的轮廓的处理。特别地，图像处理设备1能够准确地检测对象的轮廓，即使该对象与附近的另外的对象接触。
图像处理设备1包括二值化处理单元2和轮廓检测单元3。当例如图像处理设备1的处理器(未示出)执行预定程序时实现由二值化处理单元2和轮廓检测单元3进行的操作。
二值化处理单元2通过将输入图像的每个像素的视觉特征与预定的二值化阈值进行比较、并基于比较结果对输入图像的每个像素的值进行二值化来生成二进制图像。另外，二值化处理单元2在改变二值化阈值时执行该二进制图像生成处理，从而生成多个二进制图像。
可以将基于输入图像的像素值的亮度信息或颜色信息用作视觉特征。在另一个示例中，可以使用以下方法。二值化处理单元2计算在输入图像中的基于像素值的亮度信息、颜色信息等的频数密度，并将计算出的频数密度反向投影到输入图像的相应像素上。因此，二值化处理单元2生成视觉特征图像。还可以将这样的视觉特征图像的像素值(频数密度)用作上述视觉特征。
轮廓检测单元3计算如下相应封闭区域的面积：该封闭区域是在多个二进制图像的每一个中表示、且在多个二进制图像之间具有重叠部分的封闭区域。然后，轮廓检测单元3基于通过改变二值化阈值所引起的相应封闭区域的面积变化率来确定要用于检测相应封闭区域的边界作为对象的轮廓的二值化阈值。
通过检测使用所确定的二值化阈值而形成的相应封闭区域的边界作为对象的轮廓，准确地检测出对象的轮廓。另外，以上处理是针对表示在每个二进制图像中的多个相应封闭区域中的每一个来执行的，使得准确地检测出输入图像中表示的多个对象中的每一个的边界。
以下描述用于检测对象的轮廓的处理的示例。在该示例性处理中，在输入图像中存在彼此相邻并接触的对象11和12。然后，如下所述检测对象11的轮廓。
二值化处理单元2分别使用二值化阈值TH1、TH2和TH3来生成二进制图像P1、P2和P3(步骤S1)。应当注意，在图1的二进制图像P1至P3中，阴影区域是具有一个像素值(例如值“1”)的区域，而除了阴影区域之外的区域是具有另一个像素值(例如值“0”)的区域。
在该示例性处理中，当使用二值化阈值TH1时，在二进制图像P1中出现了封闭区域21和22。在二进制图像P1中，封闭区域21位于对象11的轮廓内，封闭区域22位于对象12的轮廓内。
另外，当二值化阈值从TH1变为TH2并然后变为TH3时，封闭区域21逐渐扩大。在二进制图像P2中，封闭区域21的轮廓基本上与对象11的轮廓相匹配。在二进制图像P3中，封闭区域21与封闭区域22相连，从而扩展至包括通过对象12的轮廓限定的区域。
应当注意，在二进制图像P1至P3中的封闭区域21是以上提及的具有重叠部分的“相应封闭区域”。
轮廓检测单元3计算二进制图像P1至P3的每一个中的封闭区域21的面积(步骤S2)。然后，轮廓检测单元3基于封闭区域21的面积变化率来确定要用于检测封闭区域21的边界作为对象11的轮廓的二值化阈值的最优值。
当二值化阈值从TH1变为TH2时，封闭区域21在对象11的轮廓内扩展。另一方面，当二值化阈值从TH2变为TH3时，封闭区域21与另一个封闭区域22相连。因此，当二值化阈值从TH2变为TH3时，封闭区域21的面积变化率急剧增加。
在这种情况下，将紧接在二值化阈值改变为TH3之前生成的二进制图像P2中的封闭区域21的轮廓估计为最接近相应对象11的轮廓。相应地，当检测到封闭区域21的面积变化率的急剧增加时，轮廓检测单元3将用于紧接在封闭区域21急剧扩展之前生成二进制图像P2的二值化阈值TH2确定为二值化阈值的最优值。
将使用二值化阈值TH2生成的二进制图像P2中的封闭区域21的边界输出作为相应对象11的轮廓。因此，能够准确地检测对象11的轮廓。
另外，图像处理设备1可以使用与上述程序相同的程序，基于封闭区域22的面积变化率来确定用于封闭区域22的二值化阈值的最优值。因此，也能够准确地检测对象12的轮廓。
(b)第二实施方式
图2示出了根据第二实施方式的图像处理设备100的示例性硬件配置。如图2所示，将图像处理设备100实施为例如计算机。
由处理器101控制图像处理设备100的整个操作。处理器101可以是多处理器。处理器101的示例包括中央处理单元(CPU)、微处理单元(MPU)、数字信号处理器(DSP)、专用集成电路(ASIC)和可编程逻辑设备(PLD)。可替代地，处理器101可以为选自CPU、MPU、DSP、ASIC和PLD中的设备的两项或更多项的组合。
将随机存取存储器(RAM)102和多个外围设备经由总线108连接至处理器101。
将RAM 102用作图像处理设备100的主存储设备。RAM 102暂时地存储由处理器101执行的操作系统(OS)程序和应用程序的至少一部分。RAM 102还存储用于由处理器101执行的处理的各种数据。
连接至总线108的外围设备包括硬盘驱动器(HDD)103、图形处理器104、输入接口105、读取设备106以及通信接口107。
将HDD 103用作图像处理设备100的辅助存储设备。HDD 103存储OS程序、应用程序和各种数据。应当注意，可以将其它类型的非易失性存储设备例如SSD(固态驱动器)等用作辅助存储设备。
显示设备104a连接至图形处理器104。图形处理器104根据来自处理器101的命令将图像显示在显示设备104a的屏幕上。显示设备104a的示例包括使用阴极射线管(CRT)的显示设备、液晶显示设备等。
输入设备105a连接至输入接口105。输入接口105接收来自输入设备105a的信号，并将接收的信号发送至处理器101。输入设备105a的示例包括键盘、指针设备等。指针设备的示例包括鼠标、触摸屏、平板计算机、触摸板、跟踪球等。
将便携式存储介质106a插入读取设备106或从读取设备106移除。读取设备106读取存储在便携式存储介质106a中的数据并将读出的数据发送至处理器101。便携式存储介质106a的示例包括光盘、磁光盘、半导体存储设备等。
通信接口107经由网络与其它设备交换数据。
使用上述硬件配置，可以实现图像处理设备100的处理功能。
上述图像处理设备100接收由外部成像设备捕获、且表示多个对象的被捕获图像的图像数据的输入，并对图像数据执行处理。成像设备可以为例如任何商业可获得的数字静止相机。从网络上的另外的设备例如经由便携式存储介质106a或经由通信接口107将图像数据输入至图像处理设备100。将输入图像数据存储在例如HDD 103中。
在该实施方式中，假设在捕获的图像中表示的对象为相同类型的农产品例如土豆等。然而，在用于检测以下描述的各个对象的轮廓的处理中，作为检测目标的各个对象实际上并不限于农产品。对象可以为例如在根据表示对象的图像的图像数据确定的视觉特征方面具有特定共性程度的任何对象。这样的视觉特征可以为颜色信息。另外，关于对象的形状，在待成像侧的表面优选地具有弯曲的形状。
在一个示例中，将图像处理设备100实施为由农业生产者操作的终端计算机(例如个人计算机等)。在另一个示例中，可以将图像处理设备100实施为连接至广域网例如因特网等的服务器设备。在后一个示例中，农业生产者从终端设备经由网络向云服务器发送表示农产品的被捕获图像的数据，并请求执行以下描述的处理例如检测农产品的轮廓和重量估计。
图3示出了表示多个对象201的被捕获图像的示例。在图3的被捕获图像中表示的对象201为例如土豆。将对象201布置成平坦的以不在竖直方向(即，从成像设备观看时的前后方向)上重叠。该图像可以通过例如从篮子的上侧捕获放置在篮子底部的大量农产品的图像而获得。
图像处理设备100从图3的被捕获图像提取每个对象201的轮廓。另外，图像处理设备100基于所提取的轮廓来计算所捕获的图像中的每个对象201的面积。如果对象201是农产品，则可以基于使用在以上提及的参考文献“Automated on-farm assessment of tubersize distribution”等中公开的技术计算出的每个对象201的面积来估计每个对象201的重量。
例如，农业生产者在农产品生长期间收获大量的农产品，并以图3所示的方式来捕获农产品的图像。如果可以使用图像处理设备100根据被捕获图像估计农产品中的每一个的重量并计算农产品的重量分布，则农业生产者变得能够容易地预测农产品的收获时间和产量。
在本实施方式中，图像处理设备100使用以下方法作为检测每个对象201的轮廓的方法：通过将基于被捕获图像的每个像素的视觉特征与阈值进行比较来对图像进行二值化，并将对象201的每一个的区域与其背景区域分离开。另外，将通过对基于被捕获图像的每个像素的视觉特征的直方图进行反向投影而获得的灰度图像的像素值(即频数)用作视觉特征。
使用直方图的反向投影的轮廓检测方法作为如下方法已知：与例如使用检测目标对象的模型的模型拟合方法相比较，能够更准确地检测具有相似视觉特征——例如外部形状、颜色、图案等——但不均匀并具有不规则形状的对象例如农产品的轮廓。
以下概述使用直方图的反向投影的轮廓检测处理并描述其问题。
图4示出了用于通过对直方图进行反向投影来生成灰度图像的示例性处理。如图4所示，例如通过对被捕获图像211执行颜色采样、计算直方图并对直方图进行反向投影来生成灰度图像。
在颜色采样中，在待处理的被捕获图像211中，在存在检测目标对象的区域中指定采样区域212。可以例如通过来自观看在显示设备104a上的被捕获图像211的操作者的输入来设置采样区域212。可替代地，图像处理设备100可以从被捕获图像211中自动检测如下连续区域：该连续区域的颜色信息的值位于用于识别检测目标对象的特定阈值范围内。
在图4的示例中，在包括在被捕获图像211中的两个对象213a和213b的区域之一中设置采样区域212。然而，可以在两个或更多个对象的区域的每一个中来设置采样区域212。
在颜色采样中，对在设置的采样区域212中的像素值进行采样，并基于经采样的像素值计算直方图。在图4的示例中，计算色调(H)、饱和度(S)和纯度(V)的直方图(以下被称为“HSV直方图”)。应当注意，尽管在图4中以二维绘制HSV直方图214，但是HSV直方图214实际上为具有H、S、V和频数(像素的数目)四个轴的图。
应当注意，直方图并不限于HSV直方图，并且可以是其它类型的直方图例如H和S的直方图、亮度的直方图等。
然后，通过将计算出的HSV直方图214反向投影在被捕获图像211上来生成具有频数作为像素值的灰度图像215。在该处理中，图像处理设备100针对被捕获图像211的每个像素确定与基于来自HSV直方图214的原像素值的H值和S值对应的频数，并将频数分配到被捕获图像211的相应像素的位置作为像素值。在所生成的灰度图像215中，像素值越大，则像素属于检测目标对象的概率越大。另外，像素值越小，则像素属于除了检测目标对象之外的背景区域的概率越大。
然后，通过将灰度图像215的每个像素的像素值与阈值进行比较来对灰度图像215进行二值化。在二值化处理中，将值“1”分配给具有等于或大于阈值的像素值(频数)的像素，而将值“0”分配给具有小于阈值的像素值(频数)的像素。以这种方式，将灰度图像215转换为二进制图像。在二进制图像中，假设具有值“1”的区域为检测目标对象的区域。然后，提取具有值“1”的区域与具有值“0”的区域之间的边界作为对象的轮廓。
图5示出了用于对灰度图像215进行二值化的示例性处理。图5中的曲线图221表示灰度图像215的像素值(频数)沿连接图4的灰度图像215中的在左上角的点X1与在右下角的点Y1的线X1-Y1的分布。在图5中，还示出了使用不同阈值T1和T2生成的两个二进制图像222和223。应当注意，阈值T1大于阈值T2。
如在图4的被捕获图像211中那样，如果多个检测目标对象彼此相邻，则难以设置实现准确提取每个对象的轮廓的阈值。例如，在二进制图像222是使用具有相对大的值的阈值T1生成的情况下，在对象的实际轮廓内检测轮廓，从而会存在由图5中的阴影指示的损失区域222a。另一方面，在二进制图像223是使用具有相对小的值的阈值T2生成的情况下，两个相邻对象的轮廓可能在区域223a相连。
由于因素例如每个对象的形状、关于与相邻对象的接触位置的位置关系、来自光源的光入射的方式等，灰度图像215中的每个对象的区域中的像素值不相等。另外，这些因素从一个对象到另一个对象而变化，因此在每个对象的区域中的像素值的分布从一个对象到另一个对象而变化。因此，在灰度图像215是使用单个阈值进行二值化的情况下，即使准确地检测到一个对象的轮廓，也可能存在其轮廓可能向内移动的对象，并且可能存在其轮廓与相邻对象的轮廓相连的对象。
为了解决该问题，该实施方式的图像处理设备100在改变阈值的同时根据灰度图像215生成多个二进制图像，计算与每个对象的区域对应的封闭区域的面积。然后，图像处理设备100基于通过改变阈值所引起的封闭区域的面积变化率来确定不同阈值中的最优的一个。例如，通过搜索如下阈值来确定最优阈值：通过该阈值封闭区域的面积急剧改变。
图6示出了根据第二实施方式的图像处理设备100的示例性功能配置。图像处理设备100包括图像转换单元111、参考点提取单元112、二值化处理单元113、阈值搜索单元114以及轮廓提取单元115。例如当图像处理设备100的处理器101执行预定程序时实现由这些单元进行的操作。
图像转换单元111将表示多个对象的被捕获图像转换为具有HSV直方图的频数作为像素值的灰度图像。更具体地，图像转换单元111根据基于被捕获图像的像素值的H值和S值来计算HSV直方图，并通过将HSV直方图反向投影到被捕获图像上来生成灰度图像。
参考点提取单元112从灰度图像提取与每个对象对应的参考点。更具体地，参考点提取单元112通过对灰度图像执行距离转换来生成经距离转换的图像，提取在经距离转换的图像中的多个最大点，并将相应最大点的位置指定为参考点。
二值化处理单元113通过将像素与阈值进行比较来对由图像转换单元111转换后的灰度图像的每个像素进行二值化，从而生成二进制图像。由阈值搜索单元114指定要经受二值化处理单元113的二值化处理的区域和用于二值化的阈值。
阈值搜索单元114针对由参考点提取单元112提取的每个参考点搜索用于提取与参考点对应的对象的轮廓的最优阈值。更具体地，阈值搜索单元114在逐渐改变阈值时使二值化处理单元113生成二进制图像，并在所生成的二进制图像的每一个中计算包括参考点的封闭区域的面积。阈值搜索单元114基于通过改变阈值所引起的封闭区域的面积变化率来确定用于每个参考点的最优阈值。
轮廓提取单元115提取在使用由阈值搜索单元114确定的阈值生成的二进制图像中的封闭区域的轮廓。针对单个参考点提取的轮廓与在被捕获图像中表示的单个对象的轮廓对应。
以下详细描述由图像处理设备100执行的处理。
(转换为灰度图像)
图像转换单元111将表示多个对象的被捕获图像转换为具有HSV直方图的频数作为像素值的灰度图像。以上参照图4描述了生成灰度图像的处理。也就是说，图像转换单元111基于被捕获图像的像素值计算HSV直方图，并通过将HSV直方图反向投影到被捕获图像上来生成灰度图像。
(提取参考点)
参考点提取单元112通过对灰度图像执行距离转换来生成经距离转换的图像，提取在经距离转换的图像中的多个最大点。将相应最大点的位置指定为参考点。
距离转换是用于将包括检测目标对象的图像的每个像素的值转换为从像素到背景图像(除了检测目标对象之外的像素)的最短距离的处理。因此，在表示对象的区域的每个像素中，写入从对象的轮廓到像素的距离。距离转换处理包括例如初始化处理、使用光栅扫描的距离转换以及使用逆光栅扫描的距离转换。
首先，参考点提取单元112执行初始化处理以使用预定阈值对灰度图像进行二值化。该阈值是相对不严格的阈值(具有相对小的值的阈值)。然后，参考点提取单元112将所获得的二进制图像转换为第一经距离转换的图像。将在二进制图像和第一经距离转换的图像中的像素(i,j)的像素值分别表示为p(i，j)和d1(i，j)。参考点提取单元112在像素值p(i，j)为1时针对每个像素(i,j)将任意最大值(任意最大值大于1)设置为像素值d1(i，j)，且在像素值p(i，j)为0时将0设置为像素值d1(i，j)。
然后，参考点提取单元112使用光栅扫描来执行距离转换。参考点提取单元112通过在对所述生成的第一经距离转换的图像从左上角到右下角执行光栅扫描时计算以下表达式(1)，来将第一经距离转换的图像转换为第二经距离转换的图像。将在第二经距离转换的图像中的像素(i，j)的像素值表示为d2(i，j)。另外，“min{…}”表示在{…}中的值的最小值。
d2(i,j)＝min{d1(i,j),d2(i-1,j)+1,d2(i,j-1)+1}... (1)
然后，参考点提取单元112使用逆光栅扫描来执行距离转换。参考点提取单元112通过在对所生成的第二经距离转换的图像从右下角到左上角执行逆光栅扫描时计算以下方程(2)，来将第二经距离转换的图像转换为最终的第三经距离转换的图像。将在第三经距离转换的图像中的像素(i，j)的像素值表示为d(i，j)。
d(i,j)＝min{d2(i,j),d(i+1,j)+1,d(i,j+1)+1}...(2)
然后，参考点提取单元112针对所生成的经距离转换的图像的每个像素来计算在邻近像素中具有最大值的像素的位置。例如，参考点提取单元112针对像素(i，j)从中心在像素(i，j)处的7像素×7像素的区域搜索具有最大像素值的位置(最大点)，并存储该位置的像素值(最大值)。参考点提取单元112当对经距离转换的图像从经距离转换的图像的左上角到右下角执行光栅扫描时执行所述处理。另外，如果更新了最大值，则参考点提取单元112添加具有更新后的最大值的像素作为新的最大点，并更新存储的最大值。
参考点提取单元112对所检测到的多个最大点、不包括具有小于预定阈值的像素值的点执行滤波。另外，参考点提取单元112从剩余的最大点提取若干对最大点，其中在所述若干对最大点的每一对中两个最大点之间的距离小于预定阈值，并从所提取的若干对的每一对中排除掉两个最大点中的具有较小像素值的一个来执行聚类。参考点提取单元112确定所选择的最大点作为参考点。
图7示出了提取参考点的示例。在图7的灰度图像231中，虚线指示在灰度图像中表示的对象的轮廓。使用以上处理，所提取的参考点的大多数位于相应对象的轮廓内。
应当注意，上述计算参考点的方法仅是一个示例，可以使用例如均值漂移方法来计算参考点。
(搜索最优阈值和轮廓提取)
二值化处理单元113通过将由图像转换单元111转换后的灰度图像的每个像素与阈值进行比较来执行二值化，从而生成二进制图像。阈值搜索单元114在逐渐改变阈值时使二值化处理单元113生成二进制图像。
如以上提及的，将由参考点提取单元112提取的每个参考点估计为位于检测目标对象的内部区域。因此，在所生成的二进制图像中，出现各自包括参考点的封闭区域。每个封闭区域与和参考点对应的对象的轮廓对应。应当注意，术语“封闭区域”指具有相同像素值作为参考点的相邻区域。在该实施方式中，封闭区域是包括参考点并具有像素值“1”的区域。阈值搜索单元114在改变阈值时针对每个参考点计算包括参考点的封闭区域的面积。
图8示出了响应于阈值的改变、封闭区域的面积变化的示例。在图8中所示的对象241a和241b是在灰度图像中实际表示的对象。对象241a与241b彼此相邻且接触。以下，要检测对象241a的轮廓。应当注意，在对象241a的区域内提取参考点242。尽管未在本文中示出，可以在对象241b的区域内提取另外的参考点。
当通过将灰度图像的每个像素的像素值与阈值进行比较来执行二值化时，包括参考点242的封闭区域243出现在参考点242的周围。另外，当用于二值化的阈值改变时，包括相同参考点242的封闭区域243的形状改变，且其面积也改变。
曲线图244示出了阈值的改变与包括参考点242的封闭区域243的面积的改变之间的关系的示例。在该示例中，阈值搜索单元114逐渐改变阈值。在图8中，T(j-1)、Tj和T(j+1)指示第(j-1)、第j和第(j+1)阈值，这些阈值按照该顺序设置。应当注意，阈值是等距间隔的。因此，可以将使用两个相邻阈值提取的封闭区域的面积之差视为面积变化率。
以下，如图8所示，阈值从严格的值变为不严格的值，即从大值变为小值。曲线图245a至245c中的每一个表示灰度图像的像素值(频数)沿图8中连接点X2与点Y2的线X2-Y2的分布。
如曲线图244所示，封闭区域243的面积随着阈值的减小而增加。当阈值为例如T(j-1)时，封闭区域243表示在对象241a的实际轮廓内。也就是说，如果将该封闭区域243的边界提取作为轮廓，则轮廓向内移动。
当阈值减小为例如Tj时，封闭区域243扩大，从而其面积增加。在这种情况下，封闭区域243与对象241a的实际轮廓相匹配。
当阈值进一步减小为例如T(j+1)时，封闭区域243进一步扩大，使得其面积增加。在这种情况下，封闭区域243扩展到在其中对象241a的实际轮廓与相邻对象241b的实际轮廓相连的区域。
在阈值逐渐减小为Tj的时间段期间，封闭区域243仅在对象241a的实际轮廓内逐渐扩展。因此，封闭区域243的面积的变化率dS1并不很大。另一方面，当阈值变成小于Tj时，封闭区域243扩展到在其中对象241a和对象241b的实际轮廓相连的区域。因此，封闭区域243的变化率dS2急剧增加。
相应地，当检测到包括参考点242的封闭区域243的面积变化率急剧增加时，阈值搜索单元114将紧接在变化率急剧增加之前设置的阈值确定为与参考点242对应的最优阈值。
在图8的示例中，阈值搜索单元114根据使用阈值T(j+1)生成的二进制图像来计算封闭区域243的面积，并确定面积急剧增加。然后，阈值搜索单元114将紧接在前的阈值Tj确定为与参考点242对应的最优阈值。
阈值搜索单元114使二值化处理单元113向轮廓提取单元115输出通过设置阈值Tj而获得的二进制图像，并使轮廓提取单元115基于在该二进制图像中的封闭区域243来执行轮廓提取。轮廓提取单元115提取封闭区域243的边界并输出所提取的边界作为与参考点242对应的轮廓。因此，能够准确地检测与附近的另外的对象接触的对象的轮廓。
另外，由于针对每个参考点执行由二值化处理单元113、阈值搜索单元114和轮廓提取单元115进行的上述处理，所以提取与各个参考点对应的对象的轮廓。
尽管未示出，在要经受轮廓提取的对象不与附近的任何其它对象接触的情况下，以如下方式提取对象的轮廓。当在对象的区域内提取参考点时，阈值搜索单元114以与上述方式相同的方式，在逐渐减小阈值时使二值化处理单元113生成二进制图像。然后，包括参考点的封闭区域被生成并随着阈值减小而逐渐扩展。然而，由于对象不与任何其它对象接触，所以当封闭区域与对象的实际轮廓相匹配时区域饱和。因此，封闭区域的面积改变率变为极其小。
相应地，当检测到包括参考点的封闭区域的面积变化率变得极其小时，阈值搜索单元114将紧接在面积变化率变得极其小之前设置的阈值确定为与参考点对应的最优阈值。因此，能够准确地检测不与附近的任何其它对象接触的对象的轮廓。
图9是示出了根据第二实施方式的由图像处理设备100执行的示例性处理的流程图。
(步骤S11)图像转换单元111基于被捕获图像的像素值来计算HSV直方图。
(步骤S12)图像转换单元111通过将HSV直方图反向投影到被捕获图像上来生成灰度图像。
(步骤S13)参考点提取单元112通过对灰度图像执行距离转换来生成经距离转换的图像，并提取在经距离转换的图像中的多个最大点。参考点提取单元112输出所提取的最大点中的每一个作为与对象对应的参考点。在该步骤中，参考点提取单元112将灰度图像中的每个参考点的坐标存储在例如RAM 102中。
(步骤S14)阈值搜索单元114选择参考点之一。
(步骤S15)阈值搜索单元114对二值化处理单元113设置用于二值化处理的阈值。
将预定数目个逐渐增加或减小的值提前确定为在步骤S15中设置的阈值。因此，步骤S15至S17的处理重复与所确定的阈值的数目相等数目次。当在执行步骤S14之后第一次设置阈值(即当第一次设置与参考点对应的阈值)时，针对二值化处理单元113来设置所确定的阈值中具有最大值的阈值。然后，每当在步骤S17中被确定为“否”，处理返回步骤S15。在步骤S15中，设置下一个更小的阈值。
应当注意，确定执行步骤S14之后第一次设置的阈值，使得在二进制图像中的相应封闭区域变得小于表示相应对象的区域。阈值的这样的初始值可以为例如使用经验确定的值。可替代地，当图9中的处理开始时，操作者可以输入阈值以生成采样二进制图像，并通过观看所生成的采样二进制图像来确定阈值的初始值。然后可以连续使用所确定的阈值，只要成像条件例如待成像的对象的照明环境、成像角度、距离、图像尺寸和类型不改变即可。
(步骤S16)二值化处理单元113使用在步骤S15中设置的阈值对在步骤S12中生成的灰度图像进行二值化。更具体地，二值化处理单元113通过将值“1”分配给具有等于或大于阈值的像素值(频数)的像素并且将值“0”分配给具有小于阈值的像素值(频数)的像素来生成二进制图像。
阈值搜索单元114计算在所生成的二进制图像中包括参考点的封闭区域的面积。封闭区域是包括参考点并具有等于参考点的像素值“1”的像素值的相邻区域。
(步骤S17)阈值搜索单元114确定是否设置了所有的所确定的阈值。如果存在未设置的阈值，则处理返回步骤S15。如果已经设置了所有的阈值，则处理继续至步骤S18。
应当注意，在步骤S16中，灰度图像的整个区域不需要二值化，至少从其提取包括参考点的封闭区域的区域需要二值化。
例如，在表示在灰度图像中的对象的尺寸的最大值可预测的情况下，提前确定具有比容置期望的最大对象的尺寸略微大的尺寸的矩形区域。然后，阈值搜索单元114对二值化处理单元113指定中心在参考点处的矩形区域，并使二值化处理单元113对矩形区域执行二值化处理。
在另一个示例中，当针对单个参考点重复步骤S15至S17时，在第一次执行步骤S16时阈值搜索单元114使二值化处理单元113对整个灰度图像执行二值化处理。在这种情况下，阈值搜索单元114提取包括参考点的封闭区域。然后，阈值搜索单元114基于所提取的封闭区域的尺寸来确定足够大的二值化区域以提取封闭区域，并当执行随后的步骤S16时指定所确定的二值化区域。可替代地，由于每当执行步骤S16时封闭区域的面积增加，所以可以每当执行步骤S16时逐渐增加二值化区域。
(步骤S18)当以时间顺序来布置在步骤S16中计算出的封闭区域的面积时，阈值搜索单元114指定如下的第一对面积：其使得面积变化率等于或大于预定最大阈值dSmax或使得面积变化率等于或小于预定最小阈值dSmin(dSmin<dSmax)。
在确定了使得面积变化率等于或大于最大阈值dSmax的一对面积的情况下，阈值搜索单元114将当计算所指定的一对面积中的第一个(按照时间顺序的面积的第一个)时在二值化处理单元113中设置的阈值确定为用于检测与参考点对应的对象的轮廓的最优阈值。应当注意，如以上提及的，确定使得面积变化率等于或大于最大阈值dSmax的一对面积的情况是如下情况：封闭区域扩展至相应对象的实际轮廓的区域与相邻对象的实际轮廓的区域相连的区域。
另外，在确定使得面积变化率等于或小于最小阈值dSmin的一对面积的情况下，阈值搜索单元114将当计算所指定的一对面积中的一个(例如面积中的第二个)时在二值化处理单元113中设置的阈值确定为用于检测与参考点对应的对象的轮廓的最优阈值。应当注意，如以上提及的，确定使得面积变化率等于或小于最小阈值dSmin的一对阈值的情况是如下情况：相应对象不与附近的任何其它对象接触并且封闭区域的尺寸饱和。
(步骤S19)阈值搜索单元114使二值化处理单元113输出使用在步骤S18中确定的最优阈值生成的二进制图像。该二进制图像可以是在步骤S16中生成、且仅表示包括相应封闭区域的二值化目标区域的二进制图像。
轮廓提取单元115检测从二值化处理单元113输出的二进制图像中的相应封闭区域的边界，并输出所检测的边界作为与在步骤S14中选择的参考点对应的对象的轮廓。
(步骤S20)阈值搜索单元114确定是否选择了在步骤S13中提取的所有参考点。如果存在任何未选择的参考点，则处理返回步骤S14。另一方面，如果选择了所有参考点，则处理结束。应当注意，在后一种情况下，图像处理设备100可以基于提取的每个对象的轮廓来计算在被捕获图像中的每个对象的面积。另外，图像处理设备100可以基于所计算的每个对象的面积来计算每个对象的估计重量。
根据上述第二实施方式，即使在被捕获图像中要经受轮廓检测的对象与附近的另外的对象接触，也能够准确地检测对象的轮廓。另外，即使在被捕获图像中存在不与附近任何其他对象接触的对象，也能够准确地检测对象的轮廓。
应当注意，在上述第二实施方式中，首先提取与各个对象对应的参考点，针对每个参考点来计算封闭区域的面积变化率。然而，可以通过针对在改变阈值时生成的二进制图像之间的每组相应封闭区域来评估面积变化率、而不使用参考点来计算最优阈值。在本文中使用的术语“相应封闭区域”指例如具有重叠部分的封闭区域。
然而，封闭区域随着阈值改变而改变的方式根据条件例如光入射到每个对象上的方式等而变化。因此，可能难以确定二进制图像之间的相应封闭区域。鉴于此，如上所述，提取与相应对象对应的参考点(最大点)，针对参考点中的每一个来计算封闭区域的面积变化率。因此，能够准确地估计与每个对象对应的封闭区域。因此，能够增加轮廓检测的准确度。
另外，当在步骤S19中提取封闭区域的轮廓时，轮廓提取单元115可以计算轮廓的圆度和高宽比中的任一个(或圆度和高宽比二者)，并且确定计算出的值是否在预定阈值范围内。如果计算出的值不在预定阈值范围内，则可能不能准确地检测目标对象的轮廓。因此，图像处理设备100针对相应的参考点执行步骤S15至S19的处理。在这种情况下，例如，可以减小在步骤S15中设置的阈值之间的间隔，或可以改变设置的阈值的范围。因此，能够准确地检测目标对象，并增加目标对象的轮廓的检测准确度。
(c)第三实施方式
在上述第二实施方式中，针对每个参考点计算封闭区域的面积变化率，针对每个参考点确定最优阈值。以下的第三实施方式是第二实施方式的变形。更具体地，在第三实施方式中，针对沿通过参考点的多个划分线划分的子区域中的每一个来计算封闭区域的面积变化率。使用该方法，即使光照入射到被捕获图像中表示的对象上的方式存在变化也能够准确地检测每个对象的轮廓，。
图10示出了根据第三实施方式的图像处理设备100a的示例性功能配置。应当注意，在图10中，通过相同的附图标记表示执行与图6中的操作相同的操作的处理块，将省略相同操作的描述。
如第二实施方式的情况中一样，第三实施方式的图像处理设备100a包括图像转换单元111、参考点提取单元112、二值化处理单元113以及轮廓提取单元115。另外，图像处理设备100a包括代替第二实施方式中的阈值搜索单元114的阈值搜索单元114a、区域划分单元121以及区域融合单元122。当例如图像处理设备100a的处理器101执行预定程序时实现这些单元进行的操作。
区域划分单元121针对由参考点提取单元112提取的每个参考点将每个参考点的周围区域划分成多个子区域。
如在第二示例性实施方式的情况中那样，阈值搜索单元114a在逐渐改变阈值时使二值化处理单元113生成二进制图像。然而，阈值搜索单元114a不是针对每个参考点而是针对每个子区域来确定如下最优阈值：该最优阈值要用于进行二值化以检测与参考点对应的封闭区域的轮廓。
因此，针对在单个参考点周围生成的子区域中的每一个，使用最优阈值来生成封闭区域。区域融合单元122融合这些封闭区域以将封闭区域转换成与单个参考点对应的封闭区域。然后，由轮廓提取单元115基于经转换的封闭区域来检测与对象对应的轮廓。
图11示出了设置子区域的方法的示例。区域划分单元121沿通过参考点的多个划分线来划分每个参考点的周围区域。因此，子区域是在参考点周围径向形成的。然后，阈值搜索单元114a在改变用于二值化的阈值时针对每个子区域来计算封闭区域的面积变化率，并确定用于每个子区域的最优阈值。
在图11的示例中，将参考点251的周围区域划分成沿通过参考点251的两个划分线252a和252b的四个子区域。相应地，将二进制图像中包括参考点251的封闭区域也沿划分线252a和252b划分为四个区域。
以下将通过沿划分线划分封闭区域而获得的区域中的每一个称为部分封闭区域。每个部分封闭区域是如下的相邻区域：其与两个划分线和位于两个划分线的交点处的参考点接触，并具有相同像素值“1”作为参考点。在图11的示例中，通过沿划分线252a和252b进行划分，在参考点251的左上处形成部分封闭区域253a；在右上处形成部分封闭区域253b；在右下处形成部分封闭区域253c；以及在左下处形成部分封闭区域253d。
应当注意，图11的二值化区域254是与参考点251对应的二值化目标区域。也就是说，二值化区域254与在图9的步骤S16中被二值化的区域对应。阈值搜索单元114a将二值化区域254划分为与子区域对应的部分二值化区域255a至255d，并使二值化处理单元113例如针对部分二值化区域255a至255d中的每一个来执行二值化处理。
应当注意，每当用于二值化的阈值改变时，可以根据其中表示的部分封闭区域的尺寸来改变部分二值化区域255a至255d中的每一个。也就是说，可以针对每个子区域将部分二值化区域的尺寸设置得足够大以容置相应的部分封闭区域。
以下参照图12至图14来描述针对每个子区域确定最优阈值的重要性。
图12示出了响应于阈值的改变而改变每个部分封闭区域的面积的示例。在图12中，假设部分封闭区域253a至253d是通过二值化处理分别根据部分二值化区域255a至255d形成的。曲线261a至曲线261d分别表示当针对部分二值化区域255a至255d中的每一个分别改变阈值时、部分封闭区域253a至253d的面积的改变。
分别通过Ta至Td来指示部分二值化区域255a至255d的最优阈值。通过针对部分封闭区域253a至253d中的每一个来执行与在图9的步骤S18中执行的确定相同的确定来获得这些最优阈值Ta至Td。
如在这些曲线图261a至261d中所示的，针对部分二值化区域确定的、用于优化在其中出现的部分封闭区域的最优阈值通常彼此不同。例如，用于部分二值化区域255b的最优阈值Tb小于用于部分二值化区域255a的阈值Ta。因此，例如，如果部分二值化区域255b是使用部分二值化区域255a的阈值Ta进行二值化的，轮廓可能向内移动。另外，在部分二值化区域255b至255d中的每一个中，检测目标对象不与任何其它对象接触。然而，与各个部分二值化区域255b至255d对应的最优阈值Tb至Td彼此不同。
关于部分二值化区域之间的阈值之不同的主要因素是光照入射到所表示的对象上的方式在部分二值化区域之间不同。例如，假设当如图3所示捕获大量对象的图像时照射光源基本上位于与成像设备相同的位置。在这种情况下，照射光从前面入射到在被捕获图像的中心中表示的对象上。另一方面，对象位置越靠近被捕获图像的角，则照射光的照射角度的倾斜越大。
以下描述根据照射光入射的方式的封闭区域的示例。图13示出了在照射光从前面入射到对象上的情况下的封闭区域的示例。图14示出了在照射光倾斜地入射到对象上的情况下的封闭区域的示例。
在图13和图14二者中，将参考点的周围区域沿通过参考点的四个划分线271a至271d划分为八个子区域D1至D8。另外，图13的曲线图272a表示在改变阈值的同时执行二值化时形成的部分封闭区域中的每一个的面积的改变。针对通过对在对象273a内提取的参考点274a的周围区域进行划分而获得的子区域D1至D8中的每一个来执行二值化。相似地，图14的曲线图272b表示在改变阈值的同时执行二值化时形成的部分封闭区域中的每一个的面积的改变。二值化是针对通过对在对象273b内提取的参考点274b的周围区域进行划分而获得的子区域D1至D8中的每一个来执行的。
在图13的示例中，照射光基本上从前面入射到对象273a上。因此，照射光的反射光在从参考点274a到轮廓273a的每个角度处均匀地衰减。在这种情况下，如在图13的曲线272a中表示的，针对相应的子区域D1至D8确定的最优阈值具有基本上相同的值(Tp)。
在图13的下侧所示的轮廓275a是通过使用第二实施方式的方法、使用阈值Tp对灰度图像进行二值化而获得的封闭区域的轮廓。轮廓275a略微向内移动，但是基本上沿对象273a的实际轮廓而提取。在图13的该示例中，由于照射光从前面入射，所以在使用针对相应的子区域计算的最优阈值的情况与使用针对参考点274a的整个周围区域计算的单个最优阈值的情况之间关于轮廓检测准确度不存在大的差别。
另一方面，在图14的示例中，照射光是从例如左上方入射到对象273b上的。因此，照射光的反射光从参考点274b到对象273a的轮廓衰减的方式根据角度而变化。例如，在从参考点274b到左上方的方向上，光首先逐渐衰减，然后朝向对象273b的轮廓大幅衰减。另一方面，在从参考点274b到右下方的方向上，光立即大幅衰减。
在这种情况下，如在图14的曲线图272b中表示的，针对各个子区域D1至D8确定的最优阈值中的一些可以具有基本上相同的值(Tq)。然而，并不是所有的最优阈值具有相同的值。
在图14的下侧所示的轮廓275b是通过使用第二实施方式的方法、使用阈值Tq对灰度图像进行二值化而获得的封闭区域的轮廓。轮廓275b在参考点274b的上侧和左侧基本上沿对象273b的实际轮廓。然而，轮廓275b在参考点274b的右下侧从对象273b的实际轮廓向内位移，导致了轮廓较大的向内移动。
如图13和图14中的示例中那样，在使用针对参考点的整个周围区域的单个最优阈值来检测轮廓的情况下，根据被捕获对象的位置，由于照射条件例如照射光的入射角度等的不同，可能不能准确地检测到轮廓。另一方面，该实施方式的图像处理设备100a使用针对各个子区域计算的最优阈值来执行二值化，并输出最优的部分封闭区域。然后，图像处理设备100a针对每个参考点融合输出的多个部分封闭区域以形成单个封闭区域，并提取所形成的封闭区域的轮廓。因此，提高了轮廓检测准确度。
图15是示出了由根据第三实施方式的图像处理设备100a执行的示例性处理的流程图。
(步骤S21)执行与图9中的步骤S11至S13的处理相同的处理。更具体地，图像转换单元111基于被捕获图像的像素值来计算HSV直方图，并通过将HSV直方图反向投影到被捕获图像上来生成灰度图像。参考点提取单元112通过对灰度图像执行距离转换来生成经距离转换的图像，提取在经距离转换的图像中的多个最大点作为参考点。
(步骤S22)阈值搜索单元114a选择参考点之一。区域划分单元121沿预定的两个或更多个划分线将所选择的参考点的周围区域划分成子区域。
(步骤S23)阈值搜索单元114a选择由区域划分单元121划分的子区域之一。
(步骤S24)阈值搜索单元114针对二值化处理单元113设置用于二值化处理的阈值。
步骤S24至S26的处理重复与所确定的阈值的数目相同的数目次。当在执行步骤S23后第一次设置阈值(即当第一次设置与子区域对应的阈值)时，针对二值化处理单元113来设置所确定的阈值中的具有最大值的阈值。然后，每当在步骤S26中确定“否”，处理返回步骤S24。在步骤S24中，设置下一个更小的阈值。
(步骤S25)二值化处理单元113使用在步骤S24中设置的阈值来对在步骤S21中生成的灰度图像进行二值化。更具体地，二值化处理单元113通过将值“1”分配给具有等于或大于阈值的像素值(频数)的像素并且将值“0”分配给具有小于阈值的像素值(频数)的像素来生成二进制图像。
阈值搜索单元114a计算在所生成的二进制图像中的、包括参考点的部分封闭区域的面积。
应当注意，在步骤S25中设置的二值化目标区域可以是例如参照图11描述的部分二值化区域。由阈值搜索单元114a针对二值化处理单元113来设置该二进制目标区域。
(步骤S26)阈值搜索单元114a确定是否设置了所有的所确定的阈值。如果存在未设置的阈值，则处理返回步骤S24。如果设置了所有阈值，则处理继续至步骤S27。
(步骤S27)当在步骤S25中计算的部分封闭区域的面积按照时间顺序布置时，阈值搜索单元114a指定如下第一对面积：其使得面积变化率等于或大于预定最大阈值dSmax或使得面积变化率等于或小于预定最小阈值dSmin(dSmin<dSmax)。然后，阈值搜索单元114a基于所确定的一对面积来确定最优阈值。
在步骤S27中用于确定最优阈值的操作除了计算部分封闭区域的面积而不是整个封闭区域的面积之外，与在图9中的步骤S18的操作相同。
(步骤S28)阈值搜索单元114a使二值化处理单元113输出使用在步骤S27中确定的最优阈值生成的二进制图像。该二进制图像可以是在步骤S25中生成、且仅表示包括相应的部分封闭区域的二值化目标区域的二进制图像。
(步骤S29)阈值搜索单元114a确定是否选择了在步骤S23中划分的所有子区域。如果存在任何未选择的子区域，则处理返回步骤S23。如果选择了所有的阈值，则处理返回步骤S30。
(步骤S30)将与单个参考点对应且由二值化处理单元113进行二值化的各个子区域的二进制图像输入至区域融合单元122。区域融合单元122在阈值搜索单元114a的控制下融合这些二进制图像以生成包括相应参考点的周围区域的二进制图像。因此，将与各个子区域对应、二进制图像中生成的部分封闭区域融合为单个封闭区域。
轮廓提取单元115检测融合后的封闭区域的边界，并输出检测的边界作为与在步骤S22中选择的参考点对应的对象的轮廓。
(步骤S31)阈值搜索单元114a确定是否选择了在步骤S21中提取的所有参考点。如果存在任何未选择的参考点，则处理返回步骤S22。另一方面，如果选择了所有的参考点，则处理结束。应当注意，在后一种情况下，图像处理设备100a可以基于提取的每个对象的轮廓来计算在被捕获图像中的每个对象的面积。另外，图像处理设备100a可以基于每个对象的计算出的面积来计算每个对象的估计重量。
根据上述第三实施方式，即使照射光未均匀入射到表示在被捕获图像中的对象上，也能够准确地检测对象中的每一个的轮廓。
另外，如在第二实施方式的情况中那样，当在步骤S30中提取封闭区域的轮廓时，轮廓提取单元115可以计算轮廓的圆度和高宽比中的任一个(或圆度和高宽比二者)，并确定计算出的值是否在预定阈值范围内。如果计算出的值在预定阈值范围外，则可能不能准确地检测目标对象的轮廓。相应地，图像处理设备100a针对相应的参考点来执行步骤S23至S30的处理。在这种情况下，例如，可以减小在步骤S24中设置的阈值的间隔或可以改变设置的阈值的范围。因此，能够准确地检测目标对象，并且增加目标对象的轮廓的检测准确度。
应当注意，上述实施方式的设备(图像处理设备1、100和100a)的处理功能可以在计算机上实现。在这种情况下，提供描述每个设备的功能的操作的程序。当由计算机执行程序时，在计算机上实现上述处理功能。可以将描述功能的操作的程序存储在计算机可读存储介质中。计算机可读存储介质的示例包括磁性存储设备、光盘、磁光存储介质、半导体存储设备等。磁性存储设备的示例包括硬盘驱动器(HDD)、软盘(FD)、磁带等。光盘的示例包括数字多功能盘(DVD)、DVD-RAM、光盘只读存储器(CD-ROM)、可记录CD(CD-R)、可重写CD(CD-RW)等。磁光存储介质的示例包括磁光盘(MO)等。
为了分发程序，程序可以被存储在便携式存储介质例如DVD、CD-ROM等中且以上述便携式存储介质的形式销售。另外，程序可以存储在服务器计算机的存储设备中，以经由网络从服务器计算机发送至其它计算机。
为了在计算机上执行程序，计算机将记录在便携式存储介质上的程序或从服务器计算机发送的程序记录在其存储设备中。然后，计算机从其存储设备读取程序，并根据程序执行处理。计算机可以直接从便携式存储介质读取程序，并根据程序执行处理。另外，计算机可以从通过网络连接的服务器计算机按顺序接收程序，并根据所接收的程序执行处理。
根据一个方面，能够准确地检测多个对象中的每一个的轮廓。

Claims (12)

1.一种图像处理设备，包括：
二值化处理装置，所述二值化处理装置用于通过在改变预定的二值化阈值使得相应封闭区域逐渐扩大的同时执行二进制图像生成处理、来生成多个二进制图像，所述二进制图像生成处理是通过将表示多个对象的图像的每个像素的视觉特征与二值化阈值进行比较并且基于比较的结果对所述图像的每个像素的值进行二值化来生成二进制图像的处理，所述相应封闭区域是在所述多个二进制图像的每一个二进制图像中表示的、并且在所述多个二进制图像之间具有重叠部分的封闭区域；以及
轮廓检测装置，所述轮廓检测装置用于：计算所述相应封闭区域的面积；以及当通过改变所述二值化阈值所引起的相应封闭区域的面积变化率变得等于或大于在改变所述二值化阈值时连续生成的两个二进制图像之间的预定最大阈值时，检测在所述两个二进制图像中的在先一个二进制图像中的相应封闭区域的边界作为所述对象的轮廓。
2.根据权利要求1所述的图像处理设备，其中，当相应封闭区域的面积变化率变得小于所述两个二进制图像之间的预定最小阈值时，所述轮廓检测装置检测在所述两个二进制图像中的任一个中的相应封闭区域的边界作为所述对象的轮廓，其中所述最小阈值小于所述最大阈值。
3.根据权利要求1或2所述的图像处理设备，所述二值化处理装置通过将基于所述图像的每个像素的像素值的值的频数反向投影到所述图像的像素上来生成视觉特征图像，并且通过将所述视觉特征图像的每个像素的值与所述二值化阈值进行比较来生成所述二进制图像。
4.根据权利要求3所述的图像处理设备，其中，所述轮廓检测装置对所述视觉特征图像执行距离转换，提取在通过所述距离转换获得的图像中的最大点作为各个对象的参考点，并且计算在多个二进制图像各自中表示、且包括所述参考点中的同一个参考点的封闭区域的面积作为相应封闭区域的面积。
5.根据权利要求1或2所述的图像处理设备，其中，所述轮廓检测装置基于所述图像中的每个像素的所述视觉特征来提取各个对象的参考点，并且计算在多个二进制图像各自中表示的、且包括所述参考点中的同一个参考点的封闭区域的面积作为相应封闭区域的面积。
6.根据权利要求5所述的图像处理设备，其中，所述轮廓检测装置将所述参考点的周围区域划分成多个子区域，并且所述轮廓检测装置计算部分封闭区域的面积，所述部分封闭区域被表示在所述子区域的每一个中并且形成相应封闭区域的一部分，以及所述轮廓检测装置基于通过改变所述二值化阈值所引起的所述部分封闭区域的面积变化率、针对每个子区域确定要用于将所述部分封闭区域的边界检测为所述对象的轮廓的一部分的二值化阈值。
7.一种图像处理方法，包括：
通过在改变预定的二值化阈值使得相应封闭区域逐渐扩大的同时执行二进制图像生成处理来生成多个二进制图像，所述二进制图像生成处理是通过将表示多个对象的图像的每个像素的视觉特征与所述二值化阈值进行比较并且基于比较的结果对所述图像的每个像素的值进行二值化来生成二进制图像的处理，所述相应封闭区域是在所述多个二进制图像的每一个二进制图像中表示的、并且在所述多个二进制图像之间具有重叠部分的封闭区域；
计算所述相应封闭区域的面积；以及
当通过改变所述二值化阈值所引起的相应封闭区域的面积变化率变得等于或大于在改变所述二值化阈值时连续生成的两个二进制图像之间的预定最大阈值时，检测在所述两个二进制图像中的在前一个二进制图像中的所述相应封闭区域的边界作为所述对象的轮廓。
8.根据权利要求7所述的图像处理方法，还包括：
当所述相应封闭区域的面积变化率变得小于所述两个二进制图像之间的预定最小阈值时，检测所述两个二进制图像中的任一个中的所述相应封闭区域的边界作为所述对象的轮廓，其中所述最小阈值小于所述最大阈值。
9.根据权利要求7或8所述的图像处理方法，还包括：
通过将基于所述图像的每个像素的像素值的值的频数反向投影到所述图像的像素上来生成视觉特征图像；
其中，生成多个二进制图像包括通过将所述视觉特征图像的每个像素的值与所述二值化阈值进行比较来生成所述二进制图像。
10.根据权利要求9所述的图像处理方法，还包括：
对所述视觉特征图像执行距离转换，并且提取通过所述距离转换获得的图像中的最大点作为各个对象的参考点；
其中，所述计算包括计算在多个二进制图像各自中表示的、并包括所述参考点中的同一个参考点的封闭区域的面积作为相应封闭区域的面积。
11.根据权利要求7或8所述的图像处理方法，还包括：
基于所述图像中的每个像素的视觉特征来提取各个对象的参考点；
其中，所述计算包括计算在多个二进制图像各自中表示、并包括所述参考点中的同一个参考点的封闭区域的面积作为相应封闭区域的面积。
12.根据权利要求11所述的图像处理方法，其中，所述计算包括：
将所述参考点的周围区域划分成多个子区域；以及
计算部分封闭区域的面积，部分封闭区域被表示在所述子区域的每一个中并且形成所述相应封闭区域的一部分；以及
所述检测包括：基于通过改变所述二值化阈值所引起的部分封闭区域的面积变化率，针对每个子区域确定要用于将部分封闭区域的边界检测为所述对象的轮廓的一部分的二值化阈值。
CN201410409160.1A 2013-08-28 2014-08-19 图像处理设备和图像处理方法 Expired - Fee Related CN104424482B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-176217 2013-08-28
JP2013176217A JP6303332B2 (ja) 2013-08-28 2013-08-28 画像処理装置、画像処理方法および画像処理プログラム

Publications (2)

Publication Number Publication Date
CN104424482A CN104424482A (zh) 2015-03-18
CN104424482B true CN104424482B (zh) 2018-07-03

Family

ID=52583336

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410409160.1A Expired - Fee Related CN104424482B (zh) 2013-08-28 2014-08-19 图像处理设备和图像处理方法

Country Status (3)

Country Link
US (1) US9514382B2 (zh)
JP (1) JP6303332B2 (zh)
CN (1) CN104424482B (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016123525A1 (en) * 2015-01-30 2016-08-04 Raytheon Company Apparatus and methods for classifying and counting corn kernels
US10614291B2 (en) * 2015-06-08 2020-04-07 Beijing Kuangshi Technology Co., Ltd. Living body detection method, living body detection system and computer program product
CN106097345B (zh) * 2016-06-14 2020-04-14 三亚深海科学与工程研究所 一种线状目标分割方法及分割系统
TWI618916B (zh) * 2016-09-23 2018-03-21 啟碁科技股份有限公司 貨架庫存估測方法與系統
JP6670787B2 (ja) * 2017-03-23 2020-03-25 日本電信電話株式会社 繰り返しパターン発見装置、方法、及びプログラム
US10553091B2 (en) * 2017-03-31 2020-02-04 Qualcomm Incorporated Methods and systems for shape adaptation for merged objects in video analytics
CN107221001A (zh) * 2017-05-18 2017-09-29 苏州恩巨网络有限公司 一种区域信息获取方法及装置
US10922801B2 (en) * 2017-07-19 2021-02-16 Lockheed Martin Corporation Channel-based binarization of color
CN107993224B (zh) * 2017-11-28 2021-06-11 沈阳建筑大学 一种基于圆形标志物的物体检测定位方法
CN109961487A (zh) * 2017-12-14 2019-07-02 通用电气公司 放疗定位图像识别方法、计算机程序及计算机存储介质
JP6813004B2 (ja) * 2018-06-28 2021-01-13 Ｊｆｅスチール株式会社 鋼材非圧下部幅検出装置及びその検出方法
JP7277116B2 (ja) * 2018-11-29 2023-05-18 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR20200084164A (ko) * 2019-01-02 2020-07-10 엘지이노텍 주식회사 사육장 환경 관리 장치
CN110930358B (zh) * 2019-10-17 2023-04-21 广州丰石科技有限公司 一种基于自适应算法的太阳能面板图像处理方法
CN111325760B (zh) * 2020-01-26 2023-07-04 四川大学 仿真植被阻水面积的确定方法
CN111401552B (zh) * 2020-03-11 2023-04-07 浙江大学 基于调整批量大小与梯度压缩率的联邦学习方法和系统
CN111402301B (zh) * 2020-03-17 2023-06-13 浙江大华技术股份有限公司 积水检测方法及装置、存储介质及电子装置
CN111950422B (zh) * 2020-08-05 2024-06-28 万翼科技有限公司 图纸识别方法及相关装置
CN112183554B (zh) * 2020-09-01 2024-06-07 国交空间信息技术（北京）有限公司 一种自动化道路边界轮廓提取方法
CN112700463A (zh) * 2020-12-30 2021-04-23 上海幻维数码创意科技股份有限公司 基于图像检测的多媒体展厅交互方法、装置及存储介质
CN112762940A (zh) * 2020-12-30 2021-05-07 浙江德源智能科技股份有限公司 机器人行走路线规划方法、程序及存储介质
CN113762235A (zh) * 2021-02-01 2021-12-07 北京沃东天骏信息技术有限公司 检测页面叠加区域的方法和装置
CN113033400B (zh) * 2021-03-25 2024-01-19 新东方教育科技集团有限公司 识别数学式子的方法、装置、存储介质及电子设备
CN113469980B (zh) * 2021-07-09 2023-11-21 连云港远洋流体装卸设备有限公司 一种基于图像处理的法兰识别方法
CN113763266B (zh) * 2021-08-11 2023-11-17 浙江大学 一种基于图像处理的蜜柚纵剖与横剖皮厚测量方法
CN113763397B (zh) * 2021-09-03 2024-03-29 国网山东省电力公司电力科学研究院 复合绝缘子故障检测方法及系统
CN115100192B (zh) * 2022-08-22 2023-01-17 歌尔光学科技有限公司 拖影检测方法、装置及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0731599A2 (en) * 1995-02-10 1996-09-11 Canon Kabushiki Kaisha Image processing apparatus and method therefor
CN101621615A (zh) * 2009-07-24 2010-01-06 南京邮电大学 一种自适应背景建模及运动目标检测方法
CN103077529A (zh) * 2013-02-27 2013-05-01 电子科技大学 基于图像扫描的植物叶片特征分析系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02199586A (ja) * 1989-01-30 1990-08-07 Hitachi Ltd 形状情報を保存する画像２値化処理方法
JP2856229B2 (ja) * 1991-09-18 1999-02-10 財団法人ニューメディア開発協会 画像切り出し箇所検出方法
US5689575A (en) 1993-11-22 1997-11-18 Hitachi, Ltd. Method and apparatus for processing images of facial expressions
US5768412A (en) * 1994-09-19 1998-06-16 Hitachi, Ltd. Region segmentation method for particle images and apparatus thereof
JP2000097929A (ja) * 1998-09-25 2000-04-07 Yoshiyuki Sasaki 食肉の肉質判別方法
JP3383844B2 (ja) 2000-06-01 2003-03-10 独立行政法人産業技術総合研究所 楕円形の検出方法、検出プログラムを記録したコンピュータ読み取り可能な記録媒体および検出装置
US8160296B2 (en) * 2005-04-15 2012-04-17 Mississippi State University Research And Technology Corporation Change analyst
US8345976B2 (en) * 2010-08-06 2013-01-01 Sony Corporation Systems and methods for segmenting digital images
JP6183038B2 (ja) * 2012-11-15 2017-08-23 株式会社リコー 領域抽出装置、領域抽出方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0731599A2 (en) * 1995-02-10 1996-09-11 Canon Kabushiki Kaisha Image processing apparatus and method therefor
CN101621615A (zh) * 2009-07-24 2010-01-06 南京邮电大学 一种自适应背景建模及运动目标检测方法
CN103077529A (zh) * 2013-02-27 2013-05-01 电子科技大学 基于图像扫描的植物叶片特征分析系统

Also Published As

Publication number Publication date
JP2015045966A (ja) 2015-03-12
CN104424482A (zh) 2015-03-18
US20150063651A1 (en) 2015-03-05
JP6303332B2 (ja) 2018-04-04
US9514382B2 (en) 2016-12-06

Similar Documents

Publication Publication Date Title
CN104424482B (zh) 图像处理设备和图像处理方法
Zhang et al. Self-produced guidance for weakly-supervised object localization
Tan et al. Efficient and robust segmentation of noisy iris images for non-cooperative iris recognition
CN110033471B (zh) 一种基于连通域分析和形态学操作的框线检测方法
CN103578116B (zh) 用于跟踪对象的设备和方法
JP5726125B2 (ja) 奥行き画像内の物体を検出する方法およびシステム
CN104123529B (zh) 人手检测方法及系统
CN108121997A (zh) 使用机器学习模型的图像数据中的对象分类
US20140037159A1 (en) Apparatus and method for analyzing lesions in medical image
Türkyılmaz et al. License plate recognition system using artificial neural networks
KR101130963B1 (ko) 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법
JP2013030104A (ja) 特徴量抽出装置及び特徴量抽出方法
Liu et al. Fine-grained multilevel fusion for anti-occlusion monocular 3d object detection
CN115908988A (zh) 一种缺陷检测模型生成方法、装置、设备以及存储介质
Liang et al. High-throughput instance segmentation and shape restoration of overlapping vegetable seeds based on sim2real method
JP5780791B2 (ja) 細胞の追跡処理方法
Zhang et al. Tobacco leaf segmentation based on improved mask RCNN algorithm and SAM model
JP5201184B2 (ja) 画像処理装置及びプログラム
CN116884036A (zh) 基于YOLOv5DA的生猪姿态检测方法、装置、设备及介质
Qiu et al. A methodology review on multi-view pedestrian detection
CN112926500B (zh) 一种结合头部和整体信息的行人检测方法
JP7144384B2 (ja) オブジェクト検出装置、方法及びプログラム
Singh et al. An OMR based automatic music player
CN111291756A (zh) 图像中文本区域的检测方法、装置、计算机设备及计算机存储介质
JPWO2015093231A1 (ja) 画像処理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180703