CN102254179A - 图像处理设备、图像处理方法以及计算机程序 - Google Patents
图像处理设备、图像处理方法以及计算机程序 Download PDFInfo
- Publication number
- CN102254179A CN102254179A CN2011101318268A CN201110131826A CN102254179A CN 102254179 A CN102254179 A CN 102254179A CN 2011101318268 A CN2011101318268 A CN 2011101318268A CN 201110131826 A CN201110131826 A CN 201110131826A CN 102254179 A CN102254179 A CN 102254179A
- Authority
- CN
- China
- Prior art keywords
- image
- edge strength
- multivalue
- pixel
- distributed areas
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004590 computer program Methods 0.000 title claims description 15
- 238000003672 processing method Methods 0.000 title claims description 7
- 238000004364 calculation method Methods 0.000 claims description 81
- 230000005484 gravity Effects 0.000 claims description 33
- 238000010606 normalization Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 2
- 230000002950 deficient Effects 0.000 abstract description 15
- 230000007547 defect Effects 0.000 abstract 1
- 239000000047 product Substances 0.000 description 129
- 230000005055 memory storage Effects 0.000 description 22
- 239000013598 vector Substances 0.000 description 22
- 238000000034 method Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 8
- 238000001514 detection method Methods 0.000 description 5
- 239000012467 final product Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
本发明提供了图像处理设备、图像处理方法以及计算机程序。该图像处理设备能够以高精度检测甚至存在于轮廓线附近的缺陷,并且能以高精度判定非次品。针对所获取的第一多值图像中的每个像素计算两个不同方向上的边缘强度,并且针对第一多值图像中的每个像素计算边缘强度的均值。以所计算出的均值作为中心来针对第一多值图像中的每个像素计算各边缘强度的互相关分布区域。针对判定目标对象的第二多值图像中的每个像素计算边缘强度,并且判定针对第二多值图像中的每个像素所计算出的边缘强度是否包含在针对第一多值图像中的每个像素所计算出的边缘强度的互相关分布区域中。
Description
技术领域
本发明涉及图像处理设备、图像处理方法以及计算机程序,用于对通过拍摄判定目标对象的图像而获取的多值图像与参考多值图像组进行比较。
背景技术
传统上,已经开发出这样一种方法,其通过简单地将通过拍摄判定目标对象的图像而获得的多值图像与参考多值图像相比较来判定判定目标对象是否为非次品。然而,在所述图像之间的简单比较中,不可能考虑到由非次品本身的形状差异、计算误差、噪声等所导致的像素值中的改变,并且存在不可能正确判定非次品的问题。例如,即使是非次品也可能被错误地判定为次品。
为了解决这种问题,例如,日本未审查专利公开No.2005-265661公开了一种技术,其中针对多个非次品准备多值图像,并且获得其均值图像和标准差图像。在该技术中,可以稳定地作出一个对象是否有缺陷的判定。更具体地,将针对多个非次品的多值图像进行对准,之后针对每个坐标处的像素的像素值来计算均值和标准差。将判定目标对象的多值图像与非次品的多值图像对准。之后,针对每个坐标处的像素计算与均值的差值,并且根据标准差将其与针对每个像素定义的阈值图像来进行比较,从而判定该对象是否为非次品。
在该方法中,根据每个像素的像素值的差异程度可以有效地消除由非次品本身的形状差异、计算误差、噪声等所导致的像素值中的差异,并且,由于对象被判定为非次品的范围在每个像素中是不同的,因此可以对每个部分定义用于判定非次品的适当阈值。因此,能够以高准确度来判定非次品。
然而,在日本未审查专利公开No.2005-265661中公开的所述图像处理方法中,当轮廓线附近存在缺陷时,由于像素值的标准差大而难以识别出该缺陷。因此,存在检测缺陷的敏感度减小的问题。像素值的标准差在轮廓线附近较大的原因在于对准过程中的小差别、成像位置中的小差别、各个非次品的差异等。
在黑白图像中难以检测到颜色的差别。另外还存在这样的问题,即,当在所有灰度级中存在大的差异时,很难检测到亮度部分地不同的部分,例如表面凹下去的部分。
发明内容
鉴于上述情况而做出本发明,并且本发明的一个目的是提供图像处理设备、图像处理方法以及计算机程序,其能够以高精度检测甚至存在于轮廓线附近的缺陷,并且能够以高精度判定非次品。
为了实现上述目标,根据本发明的一个实施例,提供了一种图像处理设备,用于通过对通过拍摄判定目标对象的图像而获取的多值图像与非次品的多值图像组进行比较来判定非次品,所述图像处理设备包括:非次品图像获取装置,用于获取由图像拍摄装置所拍摄的非次品的多个第一多值图像;边缘强度计算装置,用于计算所获取的第一多值图像中的每个像素两个不同方向上的边缘强度;均值计算装置,用于根据所计算的边缘强度来计算第一多值图像中的每个像素两个不同方向上的边缘强度的均值;分布区域计算装置,用于以所计算的均值作为中心来计算第一多值图像中的每个像素两个不同方向上的边缘强度的互相关分布区域;多值图像获取装置,用于获取由图像拍摄装置所拍摄的判定目标对象的第二多值图像;图像边缘强度计算装置,用于计算所获取的第二多值图像中的每个像素两个不同方向上的边缘强度;以及判定装置,用于判定计算出的第二多值图像中的每个像素的边缘强度是否包含在计算出的第一多值图像中每个像素的边缘强度的互相关分布区域中。
根据本发明的另一个实施例,在根据第一方面的图像处理设备中,边缘强度计算装置被配置为计算相互垂直的两个方向上的边缘强度。
根据本发明的另一个实施例,在根据第二方面的图像处理设备中,边缘强度计算装置被配置为计算作为二维图像的行方向和列方向的两个方向上的边缘强度。
根据本发明的另一个实施例,根据第一至第三方面中的任意一个的图像处理设备进一步包括位置调整装置,用于对准第一多值图像和第二多值图像。
根据本发明的另一个实施例,在根据第一至第四方面中的任意一个的图像处理设备中,分布区域计算装置被配置为将互相关分布区域计算为虚拟椭圆区域。
根据本发明的另一个实施例,在根据第五方面的图像处理设备中,判定装置包括距离计算装置,用于计算马氏距离,所述马氏距离是通过利用虚拟椭圆区域的重心与虚拟椭圆区域的边界之间在从所述重心到边缘点的方向上的距离对从虚拟椭圆区域的重心到第二多值图像的每个像素的边缘点的距离进行归一化而获得的;以及对边缘强度是否包含在互相关分布区域中的判定被配置为通过判定所计算的马氏距离是否小于预定值来做出。
根据本发明的另一个实施例,在根据第五方面的图像处理设备中,距离计算装置被配置为计算欧氏距离,欧氏距离是从虚拟椭圆区域的重心到第二多值图像的每个像素的边缘点的距离;以及判定装置被配置为:根据虚拟椭圆区域的重心与边界之间在从虚拟椭圆区域的所述重心到第二多值图像的每个像素的边缘点的方向上的距离,通过判定所计算的欧氏距离是否小于预定值来判定边缘强度是否包含在互相关分布区域中。
根据本发明的另一个实施例,根据第五方面的图像处理设备进一步包括:坐标转换装置,用于将坐标值转换至虚拟椭圆区域的长轴和短轴被采用为坐标轴的坐标系,其中所述短轴通过虚拟椭圆区域的中心并且与所述长轴垂直;以及重算装置,用于在所转换的坐标系的长轴和短轴的方向上,针对所获取的第一多值图像中的每个像素,重算边缘强度、边缘强度的均值、以及边缘强度的互相关分布区域;其中图像边缘强度计算装置被配置成在所转换的坐标系的长轴和短轴的方向上,针对所获取的第二多值图像中的每个像素,计算边缘强度;以及判定装置被配置成判定针对第二多值图像中每个像素的边缘强度是否包含在所重算出的第一多值图像中每个像素的边缘强度的每个元素的互相关分布区域中。
根据本发明的另一个实施例,在根据第一至第八方面中的任意一个的图像处理设备中,所获取的第一多值图像和第二多值图像是彩色图像;并且针对每个颜色分量计算边缘强度、边缘强度的均值、以及边缘强度的互相关分布区域。
根据本发明的另一个实施例,根据第九方面的图像处理设备进一步包括近似分布区域计算装置,用于计算近似分布区域,所述近似分布区域包括针对每个颜色分量计算的边缘强度的互相关分布区域;其中判定装置利用所计算的近似分布区域作为互相关分布区域以判定针对第二多值图像中的每个像素所计算的边缘强度是否包含在近似分布区域中。
其次,为了实现上述目标,根据本发明的另一个实施例,提供了一种由图像处理设备执行的图像处理方法,所述图像处理设备用于通过对通过拍摄判定目标对象的图像而获取的多值图像与非次品的多值图像组进行比较来判定非次品,其中所述图像处理设备执行步骤:获取由图像拍摄装置所拍摄的非次品的多个第一多值图像;计算所获取的第一多值图像中的每个像素两个不同方向上的边缘强度;根据所计算的边缘强度来计算第一多值图像中的每个像素两个不同方向上的边缘强度的均值;以所计算的均值作为中心来计算第一多值图像中的每个像素两个不同方向上的边缘强度的互相关分布区域;获取由图像拍摄装置所拍摄的判定目标对象的第二多值图像;针对所获取的第二多值图像中的每个像素计算两个不同方向上的边缘强度;以及判定针对第二多值图像中的每个像素所计算的边缘强度是否包含在针对第一多值图像中的每个像素所计算的边缘强度的互相关分布区域中。
并且,为了实现上述目标,根据本发明的另一个实施例,提供了一种由图像处理设备执行的计算机程序,所述图像处理设备用于通过对通过拍摄判定目标对象的图像而获取的多值图像与非次品的多值图像组进行比较来判定非次品,其中所述计算机程序使所述图像处理设备起到如下功能:非次品图像获取装置,用于获取由图像拍摄装置所拍摄的非次品的多个第一多值图像;边缘强度计算装置,用于针对所获取的第一多值图像中的每个像素计算两个不同方向上的边缘强度;均值计算装置,用于根据所计算的边缘强度来计算第一多值图像中的每个像素两个不同方向上的边缘强度的均值;分布区域计算装置,用于以所计算的均值作为中心计算第一多值图像中的每个像素两个不同方向上的边缘强度的互相关分布区域;多值图像获取装置,用于获取由图像拍摄装置所拍摄的判定目标对象的第二多值图像;图像边缘强度计算装置,用于计算所获取的第二多值图像中每个像素两个不同方向上的边缘强度;以及判定装置,用于判定针对第二多值图像中的每个像素所计算的边缘强度是否包含在计算出的第一多值图像中每个像素的边缘强度的互相关分布区域中。
根据实施例的第一、第十一、和第十二方面,获取了由图像拍摄装置所拍摄的非次品的多个第一多值图像,并且针对所获取的第一多值图像中的每个像素计算两个不同方向上的边缘强度。根据所计算的边缘强度针对第一多值图像中的每个像素计算两个不同方向上的边缘强度的均值,并且以所计算的均值作为中心来针对第一多值图像中的每个像素计算两个不同方向上的边缘强度的互相关分布区域。获取由图像拍摄装置所拍摄的判定目标对象的第二多值图像,并且针对所获取的第二多值图像中的每个像素计算两个不同方向上的边缘强度。判定针对第二多值图像中的每个像素所计算的边缘强度是否包含在针对第一多值图像中的每个像素所计算的边缘强度的互相关分布区域中。在该配置中,根据两个方向上的边缘强度来针对每个像素进行对边缘强度是否包含在互相关分布区域中的判定。因此,即使轮廓线附近存在缺陷(仅仅通过像素值很难检测该缺陷),也能够根据边缘强度是否由于边缘强度的方向上的改变而处于互相关分布区域之外来敏锐地检测出来,这就实现了对缺陷存在等的可靠检测。
根据实施例的第二方面,在彼此垂直的两个方向上计算边缘强度。因此,可以容易地计算出互相关分布区域,并且减轻了算术处理的负担。
根据实施例的第三方面,在二维图像中的行方向和列方向的两个方向上计算边缘强度。因此,计算互相关分布区域变得更容易,并且进一步减轻了算术处理的负担。
根据实施例的第四方面,对准了第一多值图像和第二多值图像。可以精确地判定针对第二多值图像中的每个像素所计算的两个不同方向上的边缘强度是否包含在互相关分布区域中。
根据实施例的第五方面,互相关分布区域被计算为虚拟椭圆区域。这使得判定针对第二多值图像中的每个像素所计算的两个不同方向上的边缘强度是否包含在互相关分布区域中变得更容易。
根据实施例的第六方面,通过利用虚拟椭圆区域的重心与虚拟椭圆区域的边界之间在从所述重心到针对第二多值图像的每个像素而从第二多值图像提取的边缘点的方向上的距离来对从虚拟椭圆区域的重心到该边缘点的距离进行归一化来计算马氏距离。通过判定所计算的马氏距离是否小于预定值来做出对边缘强度是否包含在互相关分布区域中的判定。因此,由于采用了马氏距离,因此从重心到边缘强度的距离可表示为相对于互相关分布区域的重心与边界线之间的距离的比值。由此,能够以取决于非次品的分布扩展的灵敏度做出对边缘强度是否包含在互相关分布区域中的判定。
根据实施例的第七方面,计算欧氏距离,欧氏距离是从虚拟椭圆区域的重心到第二多值图像的每个像素的边缘点的距离;并且,根据所述重心与虚拟椭圆区域的边界之间在从虚拟椭圆区域的所述重心到第二多值图像的每个像素的边缘点的方向上的距离,通过判定所计算的欧氏距离是否小于预定值来判定边缘强度是否包含在互相关分布区域中。在该配置中,通过利用欧氏距离,可以在灵敏度没有以分布扩展幅度大幅改变的同时,计算对互相关分布区域(其中的对象被判定为非次品)的偏离程度。
根据实施例的第八方面,将坐标值转换至虚拟椭圆区域的长轴和短轴被采用为坐标轴的坐标系,其中所述短轴通过虚拟椭圆区域的中心并且与所述长轴垂直;以及在所转换的坐标系的长轴和短轴的方向上,针对所获取的第一多值图像中的每个像素,重算边缘强度、边缘强度的均值、以及边缘强度的互相关分布区域。在所转换的坐标系的长轴和短轴的方向上,针对所获取的第二多值图像中的每个像素,计算边缘强度;以及判定针对第二多值图像中的每个像素所计算的两个不同方向上的边缘强度是否包含在针对第一多值图像中的每个像素两个不同方向上的边缘强度中每个元素所重算出的互相关分布区域中。在该配置中,检测精度没怎么下降,而算术处理负担大大降低。
根据实施例的第九方面,所获取的第一多值图像和第二多值图像是彩色图像;并且针对每个颜色分量计算边缘强度、边缘强度的均值、以及边缘强度的互相关分布区域。在该配置中,即使从彩色图像(它的单色图像没有清楚地示出轮廓线)也能清楚地检测出轮廓线,并且可以更精确地判定边缘强度是否包含在互相关分布区域中。
根据实施例的第十方面,计算了近似分布区域,所述近似分布区域包括针对每个颜色分量计算的边缘强度的互相关分布区域;并且通过利用所计算的近似分布区域作为互相关分布区域,判定了针对第二多值图像中的每个像素所计算的边缘强度是否包含在近似分布区域中。例如,当针对作为颜色分量的R分量、G分量、B分量的每一个计算互相关分布区域时,通常形成三个互相关分布区域。包括这些互相关分布区域的区域被采用为虚拟近似分布区域,这消除了存储与每个颜色分量的互相关分布区域相关的信息的必要,并且存储与近似分布区域相关的信息就足够了。因此,节省了存储量。
根据本发明,根据两个不同方向上的边缘强度针对每个像素进行边缘强度是否包含在互相关分布区域中的判定。因此,即使轮廓线附近存在缺陷(仅仅通过像素值很难检测该缺陷),也能够根据边缘强度是否由于边缘强度的方向上的改变而处于互相关分布区域之外来敏锐地检测出来,这就实现了对缺陷存在的可靠检测等。
附图说明
图1是示意性示出根据本发明第一实施例的图像处理设备的配置的框图;
图2是示出根据本发明第一实施例的图像处理设备的配置的一个示例的功能框图;
图3是示出针对根据本发明第一实施例的图像处理设备的每个预定像素在两个不同方向上的边缘强度的互相关分布区域的示例的示图;
图4是示出由根据本发明第一实施例的图像处理设备的主控制单元所执行的用于计算互相关分布区域的计算处理步骤的流程图;
图5是示出由根据本发明第一实施例的图像处理设备的主控制单元所执行的非次品判定处理的步骤的流程图;
图6是示出在根据本发明第一实施例的图像处理设备中当两个不同方向上的边缘强度以随机方式变化了微小的量时在预定像素处的两个不同方向上的边缘强度的互相关分布区域的示例的示图;
图7是示出在根据本发明第一实施例的图像处理设备中轮廓线之外的其它部分中的预定像素处的两个不同方向上的边缘强度的互相关分布区域的示例的示图;
图8是示出根据本发明第一实施例的图像处理设备中当轮廓线显著变化时预定像素处的两个不同方向上的边缘强度的互相关分布区域的示例的示图;
图9是示出根据本发明第一实施例的图像处理设备中当边缘强度变化的方向基本相同时预定像素处的两个不同方向上的边缘强度的互相关分布区域的示例的示图;
图10是示出由根据本发明第一实施例的图像处理设备的主控制单元在使用了指标值时所执行的非次品判定处理的步骤的流程图;
图11是示出根据本发明第二实施例的图像处理设备的配置的一个示例的功能框图;
图12是示出在根据本发明第二实施例的图像处理设备中的预定像素处的两个不同方向上的边缘强度的针对每个颜色分量的互相关分布区域的示例的示图;
图13是示出在根据本发明第二实施例的图像处理设备中的预定像素处的两个不同方向上的边缘强度的近似分布区域的示例的示图;
图14是示出由根据本发明第二实施例的图像处理设备的主控制单元所执行的用于计算近似分布区域的计算处理步骤的流程图;以及
图15是示出由根据本发明第二实施例的图像处理设备的主控制单元所执行的非次品判定处理的步骤的流程图。
具体实施方式
下面将参照附图来描述根据本发明的实施例的图像处理设备。在所参考的附图中,具有相同或相应配置或功能的部件以相同或相应的参考数字来表示,并不给出其详细描述。
(第一实施例)
图1是示意性示出根据本发明第一实施例的图像处理设备的配置的框图。如图1所示,根据第一实施例的图像处理设备2连接到照相机1和显示设备3。照相机1用作用于拍摄多值图像的图像拍摄装置。显示设备3用作图像显示装置,用于显示所拍摄的多值图像或者在算术处理期间产生的图像。
图像处理设备2包括:至少由CPU(中央处理单元)、LSI等所配置而成的主控制单元21;存储器22;存储装置23;输入装置24;输出装置25;通信装置26;辅助存储装置27;以及连接上述硬件的内部总线28。主控制单元21经由内部总线28连接到图像处理设备2的上述每个硬件单元。主控制单元21控制上述每个硬件单元的操作,并且根据存储在存储装置23中的计算机程序5来执行各种软件功能。存储器22由比如SRAM和SDRAM之类的易失性存储器构成。当执行计算机程序5时,加载模块被提取到存储器22,并且存储器22对执行计算机程序5时所产生的临时数据等进行存储。
存储装置23由内置的固定式存储设备(硬盘、闪速存储器)、ROM之类构成。由辅助存储装置27从便携式记录介质4(比如其中记录了如程序和数据之类的信息的DVD、CD-ROM或闪速存储器)对存储装置23中存储的计算机程序5进行下载,并且在执行之时,将计算机程序5从存储装置23提取到存储器22并执行。自然,计算机程序5可以是通过通信装置26从外部计算机下载的计算机程序。
存储装置23包括非次品图像数据存储单元231和分布区域信息存储单元232。非次品图像数据存储单元231存储了从非次品获得的多个多值图像数据。分布区域信息存储单元232存储了根据非次品图像数据存储单元231中存储的非次品的多个多值图像数据的二维图像的每个像素的两个不同方向(例如行方向和列方向)上边缘强度、以及与基于边缘强度计算的互相关分布区域有关的信息(分布区域信息)。通过判定判定目标对象的边缘强度是否包含在根据分布区域信息存储单元232中存储的分布区域信息而识别的互相关分布区域中,来判定所述判定目标对象是否为非次品。
通信装置26连接到内部总线28,并且能够通过连接到诸如互联网、LAN、WAN之类外部网络向/从外部计算机等发送/接收数据。即,存储装置2 3不限于结合到图像处理设备2的内部。存储装置23可以是外部记录介质,比如安装在外部服务器计算机中通过通信装置26连接的硬盘。
输入装置24是一个广义的概念,通常不仅包括数据输入介质(比如键盘或鼠标),也包括从集成了液晶面板的触摸板获取输入信息的设备。输出装置25是指比如激光打印机或点式打印机之类的打印设备。
照相机(图像拍摄装置)1是具有CCD图像拍摄元件的CCD照相机等。显示设备(图像显示装置)3是具有CRT、液晶面板等的显示设备。照相机1、显示设备3等可以与图像处理设备2集成,或者可以独立地提供。外部控制装置6是经由通信装置26连接的控制设备。例如,外部控制装置6对应于PLC(可编程逻辑控制器)。在该情况中,外部控制装置6通常是指按照由图像处理设备2提供的图像处理结果来执行后处理的设备。
图2是示出根据本发明第一实施例的图像处理设备2的配置的一个示例的功能框图。在图2中,根据第一实施例的图像处理设备2包括照相机1、用于执行图像处理设备2的处理的图像处理单元7、存储装置23、和图像显示单元8。
例如,照相机1是数字照相机,其拍摄例如作为判定目标对象的膜表面的图像,得到多值图像,并且将该多值图像输出到图像处理单元7。
图像处理单元7包括非次品图像获取装置71、边缘强度计算装置72、均值计算装置73、分布区域计算装置74、多值图像获取装置75、位置调节装置76、图像边缘强度计算装置77和判定装置78。图像处理单元7包括主控制单元21、存储器22、外部I/F等,并控制非次品图像获取装置71、边缘强度计算装置72、均值计算装置73、分布区域计算装置74、多值图像获取装置75、位置调节装置76、图像边缘强度计算装置77和判定装置78的处理操作。
存储装置23用作图像存储器,并且在必要时存储由照相机1拍摄的多值图像的多值图像数据以及在对图像数据执行各种处理(比如由图像处理单元7执行的调节和均值计算)之后得到的多条图像数据。存储装置23可以存储每个像素的亮度值数据来替代对图像数据的存储。
图像显示单元8由显示设备3(比如计算机的监视器)构成。图像显示单元8在显示设备3的显示屏上显示通过拍摄判定目标对象(即被判定是否为非次品的对象)的图像而得到的多值图像以及该对象是否为非次品的判定结果。换句话说,多值图像显示装置81根据图像处理单元7的指令在显示设备3的显示屏上显示多值图像。判定结果显示单元82在显示设备3的显示屏上显示指示了判定目标对象是否为非次品的判定结果。
接下来将描述图像处理单元7的每个构成部件。
非次品图像获取装置71获得由照相机1拍摄的非次品的多个多值图像。换言之,通过利用拍摄非次品的图像得到的多个多值图像所计算出的每个像素处的亮度值的边缘强度的均值。将得到的多值图像的多值图像数据存储到存储装置23的非次品图像数据存储单元231中。
边缘强度计算装置72针对所获取的多值图像中的每个像素计算两个不同方向上的边缘强度。并不具体限定用于计算边缘强度的方法,只要是已知技术即可。在第一实施例中,分别在二维图像的行方向和列方向(即两个不同方向)上计算边缘强度。更具体地说,在Sobel滤波器中使用的3×3的窗口模板(windows template)可被用来计算行方向和列方向上的边缘强度。
均值计算装置73根据所计算出的每个像素的边缘强度,来针对各个多值图像中的每个像素计算两个不同方向上的边缘强度的均值。
分布区域计算装置74以所计算的均值作为中心来针对各个多值图像中的每个像素计算两个不同方向上的边缘强度的互相关分布区域。
图3是示出针对根据本发明第一实施例的图像处理设备2的每个预定像素在两个不同方向上的边缘强度的互相关分布区域的示例的示图。在图3中,二维图像的行方向上的边缘强度ex被用作X轴,并且其列方向上的边缘强度ey被用作Y轴。
由于均值计算装置73针对各个多值图像的每个像素,计算了二维图像的行方向上的边缘强度ex的均值及其列方向上的边缘强度ey的均值,因此多值图像中的每个像素的边缘强度的均值向量EAVE处于以偏角θ倾斜的线上。例如,当所获得的非次品的各个多值图像(第一多值图像)的每个像素的边缘强度中存在较大差异,并且各边缘强度变化的方向基本相同时,所计算的边缘强度分布在这样一个虚拟椭圆区域中,该虚拟椭圆区域的中心处在非次品的多值图像的边缘强度的均值向量EAVE处长轴和短轴彼此相交的位置上。所以,可以通过计算判定目标对象的多值图像中的每个像素的边缘强度、并且判定通过绘制二维图像的行方向上的像素的边缘强度ex和列方向上的像素的边缘强度ey而获得的边缘点32是否包含在互相关分布区域31中,来进行对判定目标对象是否是非次品的判定。
图2的多值图像获取装置75获取由照相机1拍摄的判定目标对象的多值图像(第二多值图像)。位置调节装置76将所获取的判定目标对象的多值图像与非次品的多值图像(第一多值图像)进行对准。更具体地说,位置调节装置76计算非次品的多个多值图像的均值图像,并且多值图像与均值图像对准。
并不具体限定用于对准多值图像的方式,只要是已知技术即可。例如,两个多值图像的位置可以通过图案匹配来检测,并且它们能够被对准。可替换地,可通过计算归一化相关性(normalizationcorrelation)等来计算两个多值图像之间的匹配程度,并且可以将两个多值图像对准为使得匹配程度成为一个大于预定值且为最大的值。注意,两个多值图像可以使得多值图像的轮廓线、面积大小、重心(barycenter)等彼此匹配的方式进行对准。
图像边缘强度计算装置77针对所获取的判定目标对象的多值图像中的每个像素计算两个不同方向上的边缘强度。用于计算边缘强度的方向未被具体限定。类似于上述方法,在二维图像的行方向和列方向(即两个不同方向)上分别计算边缘强度。
判定装置78判定针对判定目标对象的多值图像中的每个像素计算出的边缘强度是否包含在针对非次品的多个多值图像中的每个像素计算出的边缘强度的互相关分布区域中。当判定装置78判定所计算的边缘强度包含在互相关分布区域中时,判定装置78判定该判定目标对象是非次品。当判定装置78判定所计算的边缘强度不包含在互相关分布区域中时,判定装置78判定该判定目标对象不是非次品。
所谓的马氏距离(Mahalanobis Distance)可用来判定由判定装置78针对判定目标对象的多值图像中的每个像素计算出的边缘强度是否包含在针对非次品的多个多值图像中的每个像素计算出的边缘强度的互相关分布区域中。在这种情况下,判定装置78的距离计算装置79通过利用在从虚拟椭圆区域的重心到边缘点的方向上的所述重心和边界之间的距离,针对判定目标对象的多值图像的每个像素,对从互相关分布区域的重心(即图3的示例中的互相关分布区域31(虚拟椭圆区域)的重心(中心点))到边缘点的距离进行归一化,来计算马氏距离。
可如等式1所示利用向量行列式来针对每个像素计算边缘强度的马氏距离DM,在所述向量行列式中,每个像素在两个不同方向(即图3的示例中的X轴方向和Y轴方向)上的边缘强度向量x(ex,ey)的均值以均值向量表示,并且方差-协方差矩阵的逆矩阵以表示。
[公式1]
其中 x=(ex,ey)
在等式1中,λj是特征值,是与特征值λj相对应的特征向量。换言之,在等式1中计算的马氏距离DM被看作是通过将点x(ex,ey)和互相关分布区域31的重心之间的距离分解成特征向量方向分量、并且利用方差λj来归一化特征向量方向分量而得到的距离。注意,在等式1中,变量i表示分布的类别。在上述计算中,由于仅仅存在一个互相关分布区域31,因此变量i不具有任何特定意义。
当利用等式1针对判定目标对象的多值图像中的每个像素所计算的马氏距离DM被判定为大于预定值时,边缘点不包含在互相关分布区域31中。马氏距离DM是通过利用从互相关分布区域31的重心到边缘点的方向上虚拟椭圆区域的重心与边界之间的距离,来针对判定目标对象的多值图像中的每个像素,对从互相关分布区域31的重心到边缘点的距离进行归一化而获得的。因此,由于这表示出偏角改变超出非次品的范围,所以轮廓线的形状被判定为显著改变,从而对象被判定为不是非次品。
所谓的欧氏距离(Euclidean distance)可用来判定由判定装置78针对判定目标对象的多值图像中的每个像素计算出的边缘强度是否包含在针对非次品的多个多值图像中的每个像素而计算出的边缘强度的互相关分布区域中。在这种情况下,判定装置78的距离计算装置79可计算欧氏距离,欧氏距离是从互相关分布区域的重心(即图3的示例中的互相关分布区域31(虚拟椭圆区域)的重心(中心点))到判定目标对象的多值图像中的每个像素的边缘强度的距离。
可如等式2所示计算每个像素的边缘强度的马氏距离DE,其中每个像素在两个不同方向(即图3的示例中的X轴方向和Y轴方向)上的边缘强度向量x(ex,ey)的均值以均值向量表示。
[公式2]
其中 x=(ex,ey)
当基于在到边缘点的方向上的虚拟椭圆区域的重心与边界之间的距离而判定利用等式2根据判定目标对象的多值图像中的每个像素的边缘强度计算出的欧氏距离DE(即从互相关分布区域31的重心到判定目标对象的多值图像中的每个像素的边缘点的距离)大于预定值时,边缘点不包含在互相关分布区域31中。因此,由于这表示出偏角改变超出非次品的范围,所以轮廓线的形状被认为发生改变,从而对象被判定为不是非次品。
图4是示出由根据本发明第一实施例的图像处理设备2的主控制单元21所执行的用于计算互相关分布区域的计算处理步骤的流程图。图像处理设备2的主控制单元21获取由照相机1拍摄的非次品的多个多值图像(步骤S401)。主控制单元21将所获取的多值图像组的多值图像数据存储在存储装置23的非次品图像数据存储单元231中(步骤S402)。
主控制单元21针对所获取的多值图像中的每个像素计算两个不同方向上的边缘强度(步骤S403)。不具体限定用于计算边缘强度的方向。类似于上述方法,在二维图像的行方向和列方向(即两个不同方向)上分别计算边缘强度。
主控制单元21根据针对每个像素所计算的边缘强度,针对各个多值图像中的每个像素,来计算两个不同方向上的边缘强度的均值、方差值和协方差值(步骤S404)。
主控制单元21以所计算出的均值作为中心,针对各个多值图像中的每个像素,计算两个不同方向上的边缘强度的互相关分布区域(步骤S405),并且将与所计算的互相关分布区域有关的信息存储到存储装置23的分布区域信息存储单元232中(步骤S406)。
图5是示出由根据本发明第一实施例的图像处理设备2的主控制单元21所执行的非次品判定处理的步骤的流程图。图像处理设备2的主控制单元21获取由照相机1拍摄的判定目标对象的多值图像(步骤S501)。主控制单元21将所获取的判定目标对象的多值图像与存储在存储装置23的非次品图像数据存储单元231中的非次品的多值图像进行对准(步骤S502)。更具体地说,主控制单元21计算非次品的多个多值图像的均值图像,并且将多值图像与均值图像对准。并不具体限定用于对准多值图像的方式,只要是已知技术即可。
主控制单元21针对所获取的多值图像中的每个像素计算两个不同方向上的边缘强度(步骤S503)。不具体限定用于计算边缘强度的方向。类似于上述方法,在二维图像的行方向和列方向(即两个不同方向)上分别计算边缘强度。
主控制单元21判定计算出的多值图像中的每个像素的边缘强度是否包含在所计算出的非次品的多个多值图像的边缘强度的互相关分布区域中(步骤S504)。当主控制单元2 1判定所计算的边缘强度包含在互相关分布区域中时(步骤S504:是),主控制单元21判定该判定目标对象是非次品,并且在显示设备3的显示屏幕上显示指示该对象是非次品的信息,作为判定结果(步骤S505)。当主控制单元21判定所计算的边缘强度不包含在互相关分布区域中(步骤S504:否),主控制单元21判定该判定目标对象不是非次品,并且在显示设备3的显示屏幕上显示指示该对象不是非次品的信息,作为判定结果(步骤S506)。
在上述第一实施例中,互相关分布区域是虚拟椭圆区域。例如,当所获取的非次品的多值图像中的边缘强度中存在较小差异,并且差异的方向是随机的时,所计算的边缘强度点分布在虚拟圆形区域中,该虚拟圆形区域的中心位于非次品的多值图像的边缘强度的均值向量EAVE上。图6是示出在根据本发明第一实施例的图像处理设备2中当两个不同方向上的边缘强度差异较小、并且差异的方向是随机的时在预定像素处的两个不同方向上的边缘强度的互相关分布区域的示例的示图。在图6中,类似于图3,二维图像的行方向上的边缘强度ex被用作X轴,并且其列方向上的边缘强度ey被用作Y轴。
如图6所示,当作为计算互相关分布区域61的基础的非次品具有高准确度时,互相关分布区域61被计算成为其中心处于非次品的多值图像中的边缘强度的均值向量EAVE处的一个极小的圆形区域。当针对判定目标对象的多值图像中的每个像素计算两个不同方向上的边缘强度、并且判定通过绘制二维图像的在行方向上和在列方向(即两个不同方向)上的像素的边缘强度ex和ey而得到的边缘点62是否包含在互相关分布区域61中时,互相关分布区域61处在一个小的范围内,其使得能够检测到与图3相比更为细微的差别,例如轮廓线的锐度、形状的细微差别等。
另一方面,边缘强度在除非次品轮廓线以外的部分中通常接近于零(0)。因此,计算出的边缘强度分布在其原点位于边缘强度的均值向量EAVE处的一个虚拟圆形区域中。图7是示出在根据本发明第一实施例的图像处理设备2中在除轮廓线以外的部分中的预定像素处的边缘强度的互相关分布区域的示例的示图。在图7中,类似于图3,将二维图像的行方向和列方向(即两个不同方向)上的边缘强度ex和ey分别取作X轴和Y轴。
如图7所示,在非次品的除轮廓线以外的部分中,互相关分布区域63被计算成为其中心位于非次品的多值图像中的边缘强度的均值向量EAVE处的一个极小的圆形区域。当针对判定目标对象的多值图像中的每个像素计算两个不同方向的边缘强度、并且判定通过针对某个像素绘制二维图像在行方向上的像素边缘强度ex和在列方向上的像素边缘强度ey(即两个不同方向上的边缘强度)而得到的边缘点64是否包含在互相关分布区域63中时,互相关分布区域63处在一个小的范围内,其使得能够检测到形状中的细微差别,即使该差别是判定目标对象的表面上的以传统方法难以检测到的划痕或凹痕。
当在每个非次品的轮廓线中存在小的变形时,即,当轮廓线的变化显著到以致于在轮廓线附近的像素有时是轮廓线而有时不是轮廓线这样一种程度时,即使分布区域是虚拟椭圆区域,该分布区域也延伸来包含原点附近的点。图8是示出在根据本发明第一实施例的图像处理设备2中当轮廓线变化很大时在预定像素处的边缘强度在两个不同方向上的互相关分布区域的示例的示图。类似于图3,在图8中,将二维图像在行方向上的边缘强度ex取作X轴并将其列方向上的边缘强度ey取作Y轴,其中行方向和列方向即为两个不同的方向。
如图8所示,当轮廓线改变很大时,互相关分布区域65处在比图3所示的更大的范围中。在这种情况中,不可能检测到轮廓线的细微模糊、其位置中的小移位等。然而,通过对具有毛刺、缺损等的判定目标对象的二维图像在行方向上的边缘强度ex和在列方向上的边缘强度ey进行绘制而得到的边缘点66在边缘强度的一个方向上发生很大改变,并因而不包含在互相关分布区域65中,其中行方向和列方向即为两个不同的方向。因此,可以容易的检测到毛刺、缺损等的存在。
另外,当存在差别时,例如,每个非次品具有不同的颜色,以及非次品的多值图像中边缘方向反向,此时计算出的边缘强度可能分布在其中心是边缘强度的均值向量EAVE的多个虚拟圆形区域中。图9是示出在根据本发明第一实施例的图像处理设备2中当两个不同方向上的边缘强度发生变化的方向基本相同时在预定像素处的两个不同方向上的边缘强度的互相关分布区域的示例的示图。与图3类似,在图9中,将二维图像在行方向上的边缘强度ex取作X轴并将其列方向上的边缘强度ey取作Y轴,其中行方向和列方向即为两个不同的方向。
如图9所示,当作为计算互相关分布区域的基础的每个非次品具有不同的颜色并且非次品的多值图像中边缘的方向相反时,边缘强度的均值向量具有两个均值向量EAVE1、EAVE2,并且互相关分布区域91、92被计算成为其中心位于边缘强度的均值向量EAVE1、EAVE2处的虚拟椭圆区域。当针对每个像素计算判定目标对象的多值图像中的边缘强度、并且判定通过对二维图像在行方向上的像素的边缘强度ex和列方向上的像素的边缘强度ey(即两个不同方向上的像素的边缘强度)进行绘制而得到的边缘点94是否包含在互相关分布区域91、92中时,通过计算包含了互相关分布区域91、92的分布区域(近似分布区域)93来判定其是否包含在近似分布区域93中。
不必具体限定用于计算近似分布区域93的方法。
在包含于近似分布区域93中而不包含于互相关分布区域91、92中的区域中,可以判定边缘强度的方向基本相同。例如,当形状不同时,边缘强度的方向极大地不同。因此,通过针对某个像素对二维图像在行方向和列方向(即两个不同方向)上的边缘强度ex和ey进行绘制而得到的边缘点94从近似分布区域93移开。因此,能够可靠地发现边缘强度的变化,并且可以判定一个对象是否是非次品。
当通过数学运算做出了关于是否包含在互相关分布区域中的判定时,互相关分布区域是角度为θ的虚拟椭圆范围,并因此,主控制单元21在算术处理中不得不承担高的负荷。因此,当互相关分布区域是虚拟椭圆区域时,坐标值可以转换成这样的坐标系:其中将椭圆形的长轴和垂直于长轴且通过椭圆形中心点的短轴取为坐标轴,并且以所转换坐标系的长轴方向和短轴方向为两个不同方向来针对所获得的非次品多值图像中的每个像素重新计算各个像素的边缘强度、各个像素的边缘强度的均值、和各个像素的边缘强度的分布区域。
注意,作为判定基础的分布区域可被计算为针对每个像素的两个不同方向上的二维图像中的指标值。在这种情况下,计算了行方向和列方向的每一个中的边缘强度之和、各边缘强度的平方值之和、以及行方向上的边缘强度与列方向上的边缘强度的乘积之和,并且计算了行方向和列方向的每一个上的边缘强度的相关分布的方差-协方差矩阵。
这样,通过用常数乘以计算出的方差-协方差矩阵的每个特征值,并加一个常数,可得到每个像素的指标值。
图10是示出由根据本发明第二实施例的图像处理设备2的主控制单元21在使用了指标值时所执行的非次品判定处理的步骤的流程图。图像处理设备2的主控制单元21获取由照相机1拍摄的判定目标对象的多值图像(步骤S1001)。主控制单元21将获得的判定目标对象的多值图像与存储在非次品图像数据存储单元231中的非次品的多值图像进行对准(步骤S1002)。更具体地说,主控制单元21计算非次品的多个多值图像的均值图像,并且多值图像与均值图像对准。并不具体限定用于对准多值图像的方式,只要是已知技术即可。
主控制单元21针对所获取的多值图像中的每个像素计算两个不同方向上的边缘强度(步骤S1003)。不具体限定在其中计算边缘强度的方向。类似于上述方法,在二维图像的行方向和列方向(即两个不同方向)上分别计算边缘强度。
针对每个像素,主控制单元21计算针对多值图像的每个像素所计算的两个方向上的边缘强度之间的差值、以及这些边缘强度的均值(步骤S1004),并且计算由所计算的差值和两个不同方向上的边缘强度的两个特征向量的组合所组成的差值向量的标量积所得到的两个值(a,b),作为指标值(步骤S1005)。
主控制单元21判定值(a,b)是否包含在互相关分布区域中(步骤S1006)。当主控制单元21判定值(a,b)包含在互相关分布区域中时(步骤S1006:是),主控制单元21判定该判定目标对象是非次品,并且在显示设备3的显示屏幕上显示指示该对象是非次品的信息,作为判定结果(步骤S1007)。更具体地说,指示非次品的“0”被显示在显示设备3的显示屏幕上。
当主控制单元21判定值(a,b)不包含在互相关分布区域中时(步骤S1006:否),主控制单元21判定该判定目标对象不是非次品,并且在显示设备3的显示屏幕上显示指示该对象不是非次品的信息,作为判定结果(步骤S1008)。更具体地说,指示次品的“1”或者与互相关分布区域的偏移量被显示在显示设备3的显示屏幕上。
如上所述,根据第一实施例,针对所获取的判定目标对象的多值图像中的每个像素计算两个不同方向上的边缘强度,并通过判定针对每个像素所计算的边缘强度是否包含在针对非次品的多个多值图像中的每个像素所计算的边缘强度的互相关分布区域中,来判定一个对象是否为非次品。因此,即使是存在于轮廓线附近的缺陷(仅仅通过像素值很难检测该缺陷),也能够根据边缘强度是否由于边缘强度的方向上的改变而处于互相关分布区域中之外来敏锐地检测出来,这就实现了对存在缺陷等的可靠检测。
(第二实施例)
根据本发明第二实施例的图像处理设备的配置类似于第一实施例,通过赋予相同参考标号,将不给出其详细描述。第二实施例与第一实施例不同之处在于对彩色图像执行非次品判定处理。
图11是示出根据本发明第二实施例的图像处理设备2的配置的一个示例的功能框图。在图11中,类似于第一实施例,根据第二实施例的图像处理设备2包括:照相机1、用于执行图像处理设备2的处理的图像处理单元7、存储装置23和图像显示单元8。
例如,照相机1是数字照相机,其拍摄例如作为判定目标对象的膜表面的图像,获得作为彩色图像的多值图像,并且将该多值图像输出到图像处理单元7。
图像处理单元7包括非次品图像获取装置71、边缘强度计算装置72、统计值计算装置83、分布区域计算装置74、多值图像获取装置75、位置调节装置76、图像边缘强度计算装置77和判定装置78。此外,图像处理单元7被配置成包括主控制单元21、存储器22、外部I/F等,并控制非次品获取装置71、边缘强度计算装置72、统计值计算装置83、分布区域计算装置74、多值图像获取装置75、位置调节装置76、图像边缘强度计算装置77和判定装置78的处理操作。
存储装置23用作图像存储器,并且在必要时存储由照相机1拍摄的多值图像的多条多值图像数据以及在对图像数据执行各种处理(比如由图像处理单元7执行的调节和均值计算)之后得到的多条图像数据。存储装置23可以针对每个像素存储每个颜色分量的亮度值数据来替代对图像数据的存储。
图像显示单元8由显示设备3(比如计算机的监视器)构成。图像显示单元8在显示设备3的显示屏上显示通过拍摄判定目标对象(即进行是否为非次品的对象的判定)的图像而得到的多值图像以及该对象是否为非次品的判定结果。换言之,多值图像显示装置81根据图像处理单元7的指令在显示设备3的显示屏上显示多值图像。判定结果显示单元82在显示设备3的显示屏上显示指示了判定目标对象是否为非次品的判定结果。
接下来将描述图像处理单元7的每个构成部件。
非次品图像获取装置71获得由照相机1拍摄的非次品的多个彩色多值图像。换言之,获得了通过拍摄非次品的图像而获得的多个彩色多值图像,从而针对每个像素的每个颜色分量计算亮度值的边缘强度的均值。例如,分别计算R分量的亮度值的边缘强度、G分量的亮度值的边缘强度、和B分量的亮度值的边缘强度。将得到的各个彩色多值图像的彩色多值图像数据存储到存储装置23的非次品图像数据存储单元231中。
边缘强度计算装置72针对所获得的各个彩色多值图像中的每个像素的每个颜色分量计算两个不同方向上的边缘强度。并不具体限定计算边缘强度的方向。类似于第一实施例,分别在二维图像的行方向和列方向(即两个不同方向)上计算边缘强度。
统计值计算装置83根据所计算出的针对每个像素的每个颜色分量的边缘强度,来针对各个彩色多值图像中的每个像素的每个颜色分量计算两个不同方向上的边缘强度的均值、方差值和协方差值。
分布区域计算装置74以所计算的均值作为中心,针对各个彩色多值图像中的每个像素的每个颜色分量,计算两个不同方向上的边缘强度的互相关分布区域。与所计算的互相关分布区域有关的信息被存储至存储装置23的分布区域信息存储单元232中,作为表示区域边界的函数表达式、坐标值等。
近似分布区域计算装置80根据由分布区域计算装置74所计算的每个颜色分量的边缘强度的互相关分布区域,针对所有颜色分量中的每一个,计算包括边缘强度的互相关分布区域的虚拟椭圆区域。更具体地说,利用针对R分量、G分量、B分量中每个分量的两个不同方向上的边缘强度作为特征量来计算包括每个颜色分量的边缘强度的互相关分布区域的虚拟椭圆区域,作为近似分布区域。
图12是示出在根据本发明第二实施例的图像处理设备2中的预定像素处的每个颜色分量在两个不同方向上的边缘强度的互相关分布区域的示例的示图。在图12中,类似于图3,二维图像的行方向上的边缘强度ex被用作X轴,并且其列方向上的边缘强度ey被用作Y轴。
由于统计值计算装置83针对各个彩色多值图像的每个像素,计算二维图像的行方向上的边缘强度ex的均值及其列方向上的边缘强度ey的均值,R分量、G分量、B分量的边缘强度的均值向量EAVER、EAVEG、EAVEB处于以偏角θ倾斜的线上。所以,可以通过计算判定目标对象的彩色多值图像中的每个像素的边缘强度、并且判定通过绘制二维图像的行方向上的像素的边缘强度ex和列方向上的像素的边缘强度ey(即两个不同方向上的像素的边缘强度)而获得的边缘点32是否包含在互相关分布区域31R、31G、31B中,来进行对判定目标对象是否是非次品的判定。
但是,互相关分布区域31R、31G、31B是其中偏角θ的方向是主轴方向的椭圆区域,并且当分布区域信息存储单元232针对所有像素的每个颜色分量对它们进行存储时,占用了过大的存储容量。例如,分别针对R分量、G分量、B分量计算X轴和Y轴上的边缘强度,这需要六种算术处理,并且分布区域信息存储单元232对每个计算结果进行存储。因此,大量数据将被存储。
相应地,关注位于经过互相关分布区域31R、31G、31B中的原点的同一直线上的边缘点,并且包括各个颜色分量的边缘强度的互相关分布区域31R、31G、31B的一个椭圆区域被计算作为近似分布区域。在该情况下,X轴方向和Y轴方向上的边缘强度的相关分布未被单独地针对R分量、G分量、B分量来进行计算。相反,整体地计算仅仅一个相关分布即已足够。即,仅仅执行两种算术处理就足够了,这极大地降低了将被存储在分布区域信息存储单元232中的数据量。
判定装置78判定针对判定目标对象的彩色多值图像中的每个像素的每个颜色分量计算出的边缘强度是否包含在计算出的非次品近似分布区域中。当判定装置78判定所计算的边缘强度包含在近似分布区域中时,判定装置78判定该判定目标对象是非次品。当判定装置78判定所计算的边缘强度不包含在近似分布区域中时,判定装置78判定该判定目标对象不是非次品。
图13是示出在根据本发明第二实施例的图像处理设备2中的预定像素处的两个不同方向上的边缘强度的近似分布区域的示例的示图。与图3类似,在图13中,将二维图像的行方向和列方向(即两个不同方向)上的边缘强度ex和ey分别取作X轴和Y轴。
如图13所示,包括针对各个颜色分量的边缘强度的互相关分布区域31R、31G、31B的椭圆区域被标识为近似分布区域33。当形状不同时,边缘强度的方向极大地改变,这造成了如所绘制的边缘点32所示的与近似分布区域33的偏移。因此,形状的不同可被可靠地检测出来。
图14是示出由根据本发明第二实施例的图像处理设备2的主控制单元21所执行的用于计算近似分布区域的计算处理步骤的流程图。图像处理设备2的主控制单元21获取由照相机1拍摄的非次品的多个彩色多值图像(步骤S1401)。主控制单元21将所获取的彩色多值图像组的彩色多值图像数据存储在存储装置23的非次品图像数据存储单元231中(步骤S1402)。
主控制单元21针对所获取的各个彩色多值图像中的每个像素的每个颜色分量计算两个不同方向上的边缘强度(步骤S1403)。不具体限定用于计算每个颜色分量的边缘强度的方向。
主控制单元21根据针对每个像素所计算的边缘强度,针对各个彩色多值图像中的每个像素的每个颜色分量来计算两个不同方向上的边缘强度的均值、方差值和协方差值(步骤S1404)。
主控制单元21以所计算的均值作为中心,针对各个彩色多值图像中的每个像素的每个颜色分量,计算两个不同方向上的边缘强度的互相关分布区域(步骤S1405),并且计算近似分布区域,该近似分布区域包括针对每个像素的每个颜色分量所计算出的边缘强度的互相关分布区域(步骤S1406)。主控制单元21将与所计算的近似分布区域有关的信息存储到存储装置23的分布区域信息存储单元232中(步骤S1407)。
图15是示出根据本发明第二实施例的图像处理设备2的非次品判定处理的步骤的流程图。图像处理设备2的主控制单元21获取由照相机1拍摄的判定目标对象的彩色多值图像(步骤S1501)。主控制单元21将所获取的判定目标对象的彩色多值图像与存储在非次品图像数据存储单元231中的非次品的彩色多值图像进行对准(步骤S1502)。更具体地说,主控制单元21计算非次品的多个彩色多值图像的均值图像,并且使彩色多值图像与均值图像对准。并不具体限定用于对准多值图像的方式,只要是已知技术即可。
主控制单元21针对所获取的彩色多值图像中的每个像素的每个颜色分量来计算两个不同方向上的边缘强度(步骤S1503)。不具体限定用于计算边缘强度的方向。类似于上述方法,在二维图像的行方向和列方向(即两个不同方向)上分别计算边缘强度。
主控制单元21判定针对彩色多值图像中的每个像素的每个颜色分量所计算出的边缘强度是否包含在所计算出的非次品的多个彩色多值图像的每个像素的边缘强度的近似分布区域中(步骤S1504)。当主控制单元21判定所计算的边缘强度包含在近似分布区域中时(步骤S1504:是),主控制单元21判定该判定目标对象是非次品,并且在显示设备3的显示屏幕上显示指示该对象是非次品的信息,作为判定结果(步骤S1505)。当主控制单元21判定所计算的边缘强度不包含在近似分布区域中(步骤S1504:否),主控制单元21判定该判定目标对象不是非次品,并且在显示设备3的显示屏幕上显示指示该对象不是非次品的信息,作为判定结果(步骤S1506)。
如上所述,根据第二实施例,甚至可以从其单色图像没有清楚地示出轮廓线的彩色图像清楚地检测出轮廓线。根据第二实施例,可以更精确地判定边缘强度是否包含在互相关分布区域中。例如,当针对作为颜色分量的R分量、G分量、B分量的每一个计算互相关分布区域时,通常形成三个互相关分布区域。包括这些互相关分布区域的一个互相关分布区域被采用为虚拟近似分布区域,并且在一个算术处理中计算互相关分布区域,这消除了针对每个颜色分量计算互相关分布区域相关的必要,并且存储与在一个算术处理中计算出的近似分布区域相关的信息就足够了。因此,节省了存储量。
本发明不限于上述实施例,并且可以在本发明的主旨的范围内做出各种改变、改进等。在上述实施例中,两个不同方向是列方向和行方向。然而,这两个不同方向并不具体地限定。颜色分量不限于R分量、G分量和B分量。颜色分量可以是青色分量、品红分量和黄色分量。虽然作为判定非次品的基础的互相关分布区域是根据通过拍摄非次品的图像而获得的多个多值图像计算出来的,但是每次对象被判定为非次品时,可重新计算包括被判定为非次品的判定目标对象的多值图像的互相关分布区域,从而根据互相关分布区域动态改进判定精度。
Claims (12)
1.一种图像处理设备,用于通过对通过拍摄判定目标对象的图像而获取的多值图像与非次品的多值图像组进行比较来判定非次品,所述图像处理设备包括:
非次品图像获取装置,用于获取由图像拍摄装置所拍摄的非次品的多个第一多值图像;
边缘强度计算装置,用于针对所获取的所述多个第一多值图像中的每个像素计算两个不同方向上的边缘强度;
均值计算装置,用于根据所计算出的边缘强度来针对所述多个第一多值图像中的每个像素计算两个不同方向上的边缘强度的均值;
分布区域计算装置,用于以所计算出的均值作为中心来针对所述多个第一多值图像中的每个像素计算两个不同方向上的边缘强度的互相关分布区域;
多值图像获取装置,用于获取由图像拍摄装置所拍摄的判定目标对象的第二多值图像;
图像边缘强度计算装置,用于针对所获取的第二多值图像中的每个像素计算两个不同方向上的边缘强度;以及
判定装置,用于判定针对第二多值图像中的每个像素所计算出的边缘强度是否包含在针对所述多个第一多值图像中的每个像素所计算出的边缘强度的互相关分布区域中。
2.根据权利要求1所述的图像处理设备,其中边缘强度计算装置被配置为计算相互垂直的两个方向上的边缘强度。
3.根据权利要求2所述的图像处理设备,其中边缘强度计算装置被配置为计算二维图像的行方向和列方向这两个方向上的边缘强度。
4.根据权利要求1至3中任一项所述的图像处理设备,进一步包括位置调节装置,用于将所述多个第一多值图像和第二多值图像对准。
5.根据权利要求1至3中任一项所述的图像处理设备,其中分布区域计算装置被配置为将互相关分布区域计算为虚拟椭圆区域。
6.根据权利要求5所述的图像处理设备,其中判定装置包括距离计算装置,所述距离计算装置用于计算马氏距离,所述马氏距离是通过利用虚拟椭圆区域的重心与虚拟椭圆区域的边界之间在从所述重心到第二多值图像的每个像素的边缘点的方向上的距离对从虚拟椭圆区域的重心到该边缘点的距离进行归一化而获得的;以及
对边缘强度是否包含在互相关分布区域中的判定被配置为通过判定所计算的马氏距离是否小于预定值来做出。
7.根据权利要求5所述的图像处理设备,其中距离计算装置被配置为计算欧氏距离,所述欧氏距离是从虚拟椭圆区域的重心到第二多值图像的每个像素的边缘点的距离,以及
判定装置被配置为:通过根据所述重心与所述椭圆区域的边界之间在从所述椭圆区域的所述重心到第二多值图像的每个像素的边缘点的方向上的距离,判定所计算出的欧氏距离是否小于预定值,来判定边缘强度是否包含在互相关分布区域中。
8.根据权利要求5所述的图像处理设备,进一步包括:
坐标转换装置,用于将坐标值转换至其中所述虚拟椭圆区域的长轴和短轴被采用为坐标轴的坐标系,其中所述短轴通过所述椭圆区域的中心并且与所述长轴垂直;以及
重算装置,用于在所转换的坐标系的长轴和短轴的方向上,针对所获取的所述多个第一多值图像中的每个像素,重算边缘强度、边缘强度的均值、以及边缘强度的互相关分布区域,其中
图像边缘强度计算装置被配置为在所转换的坐标系的长轴和短轴的方向上,针对所获取的第二多值图像中的每个像素,计算边缘强度,以及
判定装置被配置为判定针对第二多值图像中的每个像素所计算的边缘强度是否包含在针对所述多个第一多值图像中的每个像素所重算出的边缘强度的每个元素的互相关分布区域中。
9.根据权利要求6至8中任一项所述的图像处理设备,其中所获取的所述多个第一多值图像和第二多值图像是彩色图像,并且
针对每个颜色分量计算边缘强度、边缘强度的均值、以及边缘强度的互相关分布区域。
10.根据权利要求9所述的图像处理设备,进一步包括近似分布区域计算装置,用于计算近似分布区域,所述近似分布区域包括针对每个颜色分量计算出的边缘强度的互相关分布区域,其中
判定装置利用所计算出的近似分布区域作为互相关分布区域来判定针对第二多值图像中的每个像素所计算出的边缘强度是否包含在近似分布区域中。
11.一种由图像处理设备执行的图像处理方法,所述图像处理设备用于通过对通过拍摄判定目标对象的图像而获取的多值图像与非次品的多值图像组进行比较来判定非次品,其中所述图像处理设备执行以下步骤:
获取由图像拍摄装置所拍摄的非次品的多个第一多值图像;
针对所获取的多个第一多值图像中的每个像素计算两个不同方向上的边缘强度;
根据所计算出的边缘强度来针对所述多个第一多值图像中的每个像素计算两个不同方向上的边缘强度的均值;
以所计算出的均值作为中心来针对所述多个第一多值图像中的每个像素计算两个不同方向上的边缘强度的互相关分布区域;
获取由图像拍摄装置所拍摄的判定目标对象的第二多值图像;
针对所获取的第二多值图像中的每个像素计算两个不同方向上的边缘强度;以及
判定针对第二多值图像中的每个像素所计算出的边缘强度是否包含在针对所述多个第一多值图像中的每个像素所计算出的边缘强度的互相关分布区域中。
12.一种由图像处理设备执行的计算机程序,所述图像处理设备用于通过对通过拍摄判定目标对象的图像而获取的多值图像与非次品的多值图像组进行比较来判定非次品,其中所述计算机程序使所述图像处理设备起到如下功能:
非次品图像获取装置,用于获取由图像拍摄装置所拍摄的非次品的多个第一多值图像;
边缘强度计算装置,用于针对所获取的多个第一多值图像中的每个像素计算两个不同方向上的边缘强度;
均值计算装置,用于根据所计算出的边缘强度来针对所述多个第一多值图像中的每个像素计算两个不同方向上的边缘强度的均值;
分布区域计算装置,用于以所计算出的均值作为中心来针对所述多个第一多值图像中的每个像素计算两个不同方向上的边缘强度的互相关分布区域;
多值图像获取装置,用于获取由图像拍摄装置所拍摄的判定目标对象的第二多值图像;
图像边缘强度计算装置,用于针对所获取的第二多值图像中的每个像素计算两个不同方向上的边缘强度;以及
判定装置,用于判定针对第二多值图像中的每个像素所计算出的边缘强度是否包含在针对所述多个第一多值图像中的每个像素所计算的边缘强度的互相关分布区域中。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010117083A JP5486403B2 (ja) | 2010-05-21 | 2010-05-21 | 画像処理装置、画像処理方法及びコンピュータプログラム |
JP2010-117083 | 2010-05-21 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102254179A true CN102254179A (zh) | 2011-11-23 |
CN102254179B CN102254179B (zh) | 2016-05-11 |
Family
ID=44972209
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110131826.8A Expired - Fee Related CN102254179B (zh) | 2010-05-21 | 2011-05-20 | 图像处理设备及图像处理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8866903B2 (zh) |
JP (1) | JP5486403B2 (zh) |
CN (1) | CN102254179B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103870516A (zh) * | 2012-12-18 | 2014-06-18 | 北京三星通信技术研究有限公司 | 检索图像的方法、实时绘画提示方法及其装置 |
CN113392913A (zh) * | 2021-06-21 | 2021-09-14 | 常州大学 | 基于边界特征点集的平面图形匹配度评价方法、装置及系统 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6235684B1 (ja) * | 2016-11-29 | 2017-11-22 | Ckd株式会社 | 検査装置及びptp包装機 |
WO2019151489A1 (ja) * | 2018-02-02 | 2019-08-08 | 日本電気株式会社 | センサ情報統合システム、センサ情報統合方法及びプログラム |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5291563A (en) * | 1990-12-17 | 1994-03-01 | Nippon Telegraph And Telephone Corporation | Method and apparatus for detection of target object with improved robustness |
CN1411046A (zh) * | 2001-09-26 | 2003-04-16 | 株式会社东芝 | 图形评价装置、图形评价方法及程序 |
US20040114815A1 (en) * | 2002-09-20 | 2004-06-17 | Hiroyuki Shibaki | Method of and apparatus for image processing apparatus, and computer product |
US20070098249A1 (en) * | 2005-10-31 | 2007-05-03 | Yumiko Miyano | Pattern shape evaluation apparatus, pattern shape evaluation method, method of manufacturing semiconductor device, and program |
CN101014978A (zh) * | 2004-07-13 | 2007-08-08 | 光荣株式会社 | 图像核对装置、图像核对方法及图像核对程序 |
US20070280541A1 (en) * | 2006-04-12 | 2007-12-06 | Yumiko Miyano | Pattern shape evaluation apparatus, pattern shape evaluation method, semiconductor device manufacturing method, and program |
CN101211341A (zh) * | 2006-12-29 | 2008-07-02 | 上海芯盛电子科技有限公司 | 图像智能模式识别搜索方法 |
CN101493939A (zh) * | 2009-02-27 | 2009-07-29 | 西北工业大学 | 基于小波域同态滤波的检测伪造图像的方法 |
CN101645091A (zh) * | 2008-08-09 | 2010-02-10 | 株式会社其恩斯 | 图像数据压缩方法、图像处理中的图案模型定位方法,图像处理设备,图像处理程序和计算机可读记录介质 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0720060A (ja) * | 1993-07-05 | 1995-01-24 | Nikon Corp | パターン欠陥および異物検査装置 |
JP3749090B2 (ja) | 2000-07-06 | 2006-02-22 | 大日本スクリーン製造株式会社 | パターン検査装置 |
JP3741672B2 (ja) | 2002-07-08 | 2006-02-01 | 株式会社アドイン研究所 | 画像特徴学習型欠陥検出方法、欠陥検出装置及び欠陥検出プログラム |
US7366344B2 (en) * | 2003-07-14 | 2008-04-29 | Rudolph Technologies, Inc. | Edge normal process |
US7284230B2 (en) * | 2003-10-30 | 2007-10-16 | International Business Machines Corporation | System for search and analysis of systematic defects in integrated circuits |
JP2005265661A (ja) | 2004-03-19 | 2005-09-29 | Ovit:Kk | 画像処理方法およびその装置 |
JP2007114843A (ja) * | 2005-10-18 | 2007-05-10 | Denso Corp | 良否判定装置 |
JP2008139074A (ja) * | 2006-11-30 | 2008-06-19 | Rozefu Technol:Kk | 画像の欠陥検出方法 |
JP2008139262A (ja) * | 2006-12-05 | 2008-06-19 | Omron Corp | 欠陥検査方法およびその方法を用いた検査装置 |
-
2010
- 2010-05-21 JP JP2010117083A patent/JP5486403B2/ja not_active Expired - Fee Related
-
2011
- 2011-04-21 US US13/091,252 patent/US8866903B2/en not_active Expired - Fee Related
- 2011-05-20 CN CN201110131826.8A patent/CN102254179B/zh not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5291563A (en) * | 1990-12-17 | 1994-03-01 | Nippon Telegraph And Telephone Corporation | Method and apparatus for detection of target object with improved robustness |
CN1411046A (zh) * | 2001-09-26 | 2003-04-16 | 株式会社东芝 | 图形评价装置、图形评价方法及程序 |
CN100372089C (zh) * | 2001-09-26 | 2008-02-27 | 株式会社东芝 | 图形评价装置、图形评价方法 |
US20040114815A1 (en) * | 2002-09-20 | 2004-06-17 | Hiroyuki Shibaki | Method of and apparatus for image processing apparatus, and computer product |
CN101014978A (zh) * | 2004-07-13 | 2007-08-08 | 光荣株式会社 | 图像核对装置、图像核对方法及图像核对程序 |
US20070098249A1 (en) * | 2005-10-31 | 2007-05-03 | Yumiko Miyano | Pattern shape evaluation apparatus, pattern shape evaluation method, method of manufacturing semiconductor device, and program |
US20070280541A1 (en) * | 2006-04-12 | 2007-12-06 | Yumiko Miyano | Pattern shape evaluation apparatus, pattern shape evaluation method, semiconductor device manufacturing method, and program |
CN101211341A (zh) * | 2006-12-29 | 2008-07-02 | 上海芯盛电子科技有限公司 | 图像智能模式识别搜索方法 |
CN101645091A (zh) * | 2008-08-09 | 2010-02-10 | 株式会社其恩斯 | 图像数据压缩方法、图像处理中的图案模型定位方法,图像处理设备,图像处理程序和计算机可读记录介质 |
CN101493939A (zh) * | 2009-02-27 | 2009-07-29 | 西北工业大学 | 基于小波域同态滤波的检测伪造图像的方法 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103870516A (zh) * | 2012-12-18 | 2014-06-18 | 北京三星通信技术研究有限公司 | 检索图像的方法、实时绘画提示方法及其装置 |
CN103870516B (zh) * | 2012-12-18 | 2019-10-25 | 北京三星通信技术研究有限公司 | 检索图像的方法、实时绘画提示方法及其装置 |
CN113392913A (zh) * | 2021-06-21 | 2021-09-14 | 常州大学 | 基于边界特征点集的平面图形匹配度评价方法、装置及系统 |
CN113392913B (zh) * | 2021-06-21 | 2023-09-29 | 常州大学 | 基于边界特征点集的平面图形匹配度评价方法、装置及系统 |
Also Published As
Publication number | Publication date |
---|---|
US20110285843A1 (en) | 2011-11-24 |
US8866903B2 (en) | 2014-10-21 |
CN102254179B (zh) | 2016-05-11 |
JP5486403B2 (ja) | 2014-05-07 |
JP2011243138A (ja) | 2011-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11803981B2 (en) | Vehicle environment modeling with cameras | |
EP3223196B1 (en) | A method and a device for generating a confidence measure for an estimation derived from images captured by a camera mounted on a vehicle | |
JP7059883B2 (ja) | 学習装置、画像生成装置、学習方法、及び学習プログラム | |
CN102254178B (zh) | 图像处理设备、图像处理方法和计算机程序 | |
CN104899888B (zh) | 一种基于Legendre矩的图像亚像素边缘检测方法 | |
CN102254179B (zh) | 图像处理设备及图像处理方法 | |
JP2006048322A (ja) | オブジェクト画像検出装置、顔画像検出プログラムおよび顔画像検出方法 | |
KR101772438B1 (ko) | 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치 및 방법 | |
CN111402316B (zh) | 一种基于去伪环节的图像中椭圆快速检测方法 | |
JP2015041164A (ja) | 画像処理装置、画像処理方法およびプログラム | |
US20120076409A1 (en) | Computer system and method of matching for images and graphs | |
CN108447081A (zh) | 视觉系统中对彩色图像中色彩候选姿态评分的系统和方法 | |
CN105957107A (zh) | 行人检测与跟踪方法及装置 | |
CN110443783A (zh) | 一种图像质量评估方法及装置 | |
US7403636B2 (en) | Method and apparatus for processing an image | |
US20220159165A1 (en) | Image processing method and apparatus | |
CN115082314A (zh) | 一种自适应特征提取的光学表面缺陷图像分步拼接的方法 | |
US10796435B2 (en) | Image processing method and image processing apparatus | |
CN113033561A (zh) | 影像分析装置与影像分析方法 | |
CN106406507A (zh) | 图像处理方法以及电子设备 | |
CN111028264B (zh) | 一种旋转鲁棒的三维物体检测优化方法及装置 | |
JPH0218681A (ja) | 線分検出方法 | |
JP2015170205A (ja) | 特徴量生成装置、特徴量生成方法、およびプログラム | |
US20240310162A1 (en) | Optical tactile sensor and method for estimating shape from touch | |
EP4310784A1 (en) | Image processing apparatus, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160511 |