CN1959740B - 图像处理方法及图像处理装置 - Google Patents

Abstract

对于出现在彩色图像上的边缘点，本发明能够取得正确地反映了色彩变化的方向的角度数据。依次关注构成彩色图像的各像素的同时，针对关注像素，利用以该像素为中心的遮罩内的图像数据来对X、Y的每个方向求出色差(Cx、Cy)。进而，针对该色差的总和等于或大于规定值的像素，对每个经过该像素、且对应于XY坐标系的第一象限以及第二象限的两个方向(E1、E2)求出色差，并判别在色差大的方向上发生色彩的变化。然后，根据该判别结果以及上述色差(Cx、Cy)的值，来计算出表示发生色彩变化的方向的角度(边缘代码)。

Description

图像处理方法及图像处理装置

技术领域

本发明涉及一种以彩色图像为对象的图像处理技术。特别是，本发明涉及一种用于识别位于色彩不同的区域之间的边界的点的图像处理方法、用于将执行该方法的功能设定到计算机上的程序、以及具有执行上述方法的功能的图像处理装置。

背景技术

在利用以往的单色的灰度图象处理来检测出测定对象物体时，多为进行边缘提取处理。进而，近年来，由申请人提出有如下方案：为进行高精度的处理，对每个构成图像上的边缘的点(以下，称为“边缘点”)，根据水平方向以及垂直方向上的浓度差来求出表示浓度梯度方向的角度数据(以下，称为“边缘代码(Edge Code)”)。

例如，在提取具有规定的轮廓形状的对象物时，预先利用对象物的模型图像来对上述边缘代码的基准分布图案进行登记，并在处理对象图像中，提取边缘代码以接近上述基准分布图案的状态所分布的区域(参照专利文献1)。另外，在检测线状的对象物时，利用边缘代码来确定构成上述对象物的轮廓的边缘点之后，沿着与该边缘代码的方向正交的方向设定线段(参照专利文献2)。

专利文献1：JP特开2002-230549公报

专利文献2：JP特开2004-133811公报

另一方面，由于彩色图像通常采用组合R、G、B的图像数据的结构，所以，在进行利用边缘代码的处理时，有必要将彩色图像数据变换为单色的灰度图象数据。

但是，为将色彩的变化方向正确反映到边缘代码，而需要进行如将各种色彩分别以不同的浓度来表示这样的变换处理，所以，用于变换的运算变得复杂，从而存在处理费时间的问题。

因此，有必要考虑将单色图像中的边缘代码的计算方法适用于彩色图像中的方法。

单色的灰度图象中的边缘代码表示浓度所变化的方向(浓度梯度方向)，但是，在彩色图像中是由于色彩的大幅度变化而产生边缘，所以，将该色彩的变化方向设为边缘代码更为适当。即，在单色的灰度图象的处理中，对于水平方向以及垂直方向分别求出浓度的变化量，并从这些变化量计算出边缘代码，但是，在彩色图像的处理中，取代浓度的变化量，而应求出在水平、垂直各方向上的色彩的变化量(色差)。

在此，对于色差的计算方法，利用具体例子来进行说明。

例如，在利用R、G、B三原色的参数(以下，将这些称为“色彩参数”)来表示色彩的情况下，各色彩被表示为以上述各色彩参数为轴的欧几里得空间(Euclidean space)(以下，称为“色彩空间”)内的一点。另外，该色彩空间中的两点之间的距离表示色差。

例如，如图9所示，在设定有将水平方向设为X轴、将垂直方向设为Y轴的XY坐标系的图像中，若将相邻的两个像素的图像数据分别设为(Ra，Ga，Ba)(Rb，Gb，Bb)，则这些色彩被画到与色彩空间的上述图像数据对应的点A、B.这时，各像素间的色差CD通过下述的[1]式来求出.

$\mathrm{CD}=\sqrt{{(\mathrm{Ra}-\mathrm{Rb})}^2+{(\mathrm{Ga}-\mathrm{Gb})}^2+{(\mathrm{Ba}-\mathrm{Bb})}^2}...\left[1\right]$

若根据上述内容，则可认为在彩色图像中，只要对每X、Y的各方向，取代浓度差，而利用上述[1]式来求出色差即可。但是，由于由上述[1]式所求出的值通常是正的值，所以，所算出的边缘代码没有正确反映色彩的变化。

利用图10、11来说明上述问题。首先，图10表示用于确定色彩变化的方向的坐标系。

在以往的单色灰度图象的处理中，由于在X、Y的任意方向上都能够得到具有正或负的值的浓度差，所以，使该坐标系的原点O与边缘点对应，而设定由上述X、Y的各方向上的浓度差的矢量的合成矢量，从而能够正确表示以边缘点为边界而浓度所变化的方向。即，由单色灰度图象可求出的边缘代码会分布在图10的XY坐标系的所有的象限中。与此相对，是为彩色图像时的色差取0或正的值，所以边缘代码被限定在第一象限的范围内。

图11在两种色彩所出现的局部区域(5像素×5像素)中，表示以位于区域中央的像素为边界而色彩变化的方向。

在图示例中的图像G1和G2中，虽然两个色彩区域(涂敷的区域和空白的区域)的位置被倒置，但是，各区域的边界线的位置和倾角是一致的。由于色彩之间并没有正负的关系，所以可认为在图像G1、G2中的色彩变化的方向相同，且色彩均都沿着从左下指向右上的方向变化。

另一方面，由于在图像G3中，色彩区域之间的边界线的倾角指向与图像G1、G2不同的方向，所以，色彩变化的方向也与图像G1、G2不同。

但是，由于在图像G3中，只能够得到与图像G1、G2同样值的色差，所以，不能够得到如反映上述色彩变化的方向的不同这样的边缘代码。

发明内容

本发明是关注于上述问题而提出的，其目的在于，当将在彩色图像上位于色彩不同的区域的边界的点作为边缘点而进行提取时，能够正确地确定该边缘点上的色彩变化的方向。

本发明的图像处理方法是一种用于在彩色图像中提取位于色彩不同的区域之间的边界的边缘点的图像处理方法。在该方法中，执行如下步骤：步骤A，其对于构成处理对象的彩色图像的各像素，设定以该像素为中心的规定大小的处理对象区域；步骤B，其对于上述处理对象区域内的中心的像素，利用该区域内的各像素的数据，对每个正交的两个方向X、Y求出在该方向上的色差变化的大小；步骤C，其对于在上述步骤B所求出的X以及Y各方向的色差变化的大小相当于在色彩不同的区域之间的边界能够确认到的色差变化的大小的处理对象区域，根据将区域内的各像素所具有的色彩信息以三个独立的色彩参数来表示时的至少一个色彩参数的值，来求出以区域的中心的像素为边界而色彩参数所变化的方向，从而判别表示该变化方向的矢量对应于由上述X、Y各方向所规定的坐标系的哪一个象限；步骤D，其对于执行过步骤C的处理对象区域的中心的像素，利用在步骤C中的判别结果和在上述步骤B中所求出的X以及Y方向上的色差变化的大小，来确定发生上述色彩变化的方向。

本发明提供一种图像处理方法，用于在彩色图像中提取位于色彩不同的区域之间的边界的点，其特征在于，执行如下步骤：步骤A，其对于构成处理对象的彩色图像的各像素，设定以该像素为中心的规定大小的处理对象区域；步骤B，其对于上述处理对象区域内的中心的像素，利用该处理对象区域内的各像素的数据，对正交的两个方向X、Y的每个方向分别求出在该方向上的色差变化的大小；步骤C，其对于在上述步骤B所求出的X以及Y各方向的色差之和超出了规定阈值的处理对象区域，根据将该处理对象区域内的各像素所具有的色彩信息以三个独立的色彩参数来表示时的至少一个色彩参数的值，来求出色彩参数以该处理对象区域的中心的像素为边界所变化的方向，从而判别表示该变化方向的矢量对应于由上述X、Y各方向所规定的坐标系的哪一个象限；步骤D，其对于执行过上述步骤C的处理对象区域的中心的像素，利用在步骤C中的判别结果和在上述步骤B中所求出的X以及Y方向上的色差变化的大小，来确定发生上述色彩变化的方向。

此外，在该方法中，将图像的水平方向设为X方向、而将垂直方向设为Y方向也可，但是，对X、Y方向的设定并不仅限定于此。

在此，所谓色差是指：一种将色彩以三个独立的色彩参数来表示，并将某一颜色和其他颜色之间的颜色的不同作为由该色彩参数所规定的数值之差来表示的概念。“色差变化的大小”包括：特定像素之间的色差的大小、以及对像素之间的色差的大小除以该像素之间的画面上的距离或者相当于此的值而求出梯度时的计算值。另外，在将三个独立的色彩参数作为三维坐标而得到的色彩空间内，表示出某一颜色和其他颜色，并将他们之间的距离作为色差也可。色彩参数能够采用根据RGB色度图、XYZ色度图、L^*a^*b^*色度图、L^*C^*H^*色度图、HSV色度图等各种色度图的色彩参数。

另外，对于处理对象区域内的中心的像素，利用区域内的各像素的数据来对正交的两个方向X、Y的每个方向分别求出色差变化的大小的处理包括如下情况：针对处理对象区域内的象素，根据相对位于中心的像素的X、Y坐标上的相对位置关系来进行加权，而求出色差变化的大小。

在步骤A中，例如以关注对象的像素为中心，而设定X、Y各方向上的像素数量同样的处理对象区域。在步骤B中，在上述处理对象区域中，例如对上述三个独立的色彩参数(例如R、G、B)的每个图像，根据上述概念来求出X、Y各方向上的色差变化的大小。

在步骤C中的“根据将处理对象区域内的各像素所具有的色彩信息以三个独立的色彩参数来表示时的至少一个色彩参数的值，来求出以区域的中心的像素为边界而色彩参数所变化的方向”的处理中包括如下情况：利用一个色彩参数的数值的情况；直接比较三个色彩参数中的两个或者三个数值，而提取变化最大的色彩参数的方向的情况；提取对三个色彩参数中的两个或者三个数值分别以变化的大小进行加权而合成所得到的方向的情况。

另外，在步骤C中，可以判别表示处理对象区域内的色彩变化的方向的矢量对应于上述图10所示的第一～第四各象限的哪一个范围对应，但并不仅限定于此，也可以将判别的范围限定为第一象限以及第二象限。这时因为：如上所述，由于色彩之间没有正负关系，所以如上述图11的图像G1、G2所示，如果将色彩反转时的色彩变化的方向视为同一方向，则与第三象限对应的方向与第一象限对应，而与第四象限对应的方向与第二象限对应。

如此，在步骤B中，能够对X、Y的每个方向求出色差变化的大小，并在步骤C中，能够具体地识别出色彩变化的方向对应于哪一个象限.从而，在步骤D中，对于包含在步骤C中所判别的象限、且与X、Y的各色差变化对应的方向，例如，能够求出相对X的正方向的角度.

此外，在步骤D中，优选确定表示色彩变化的方向的角度，但并不仅限定于此，例如，也可以求出对X、Y各方向上的色差的比付与+、一符合(对应于在步骤C中所判别的象限)的值。

进而，在上述图像处理方法中成为处理对象的彩色图像为由拍摄装置所生成的整体图像也可，而也可以是构成整体图像的局部的图像。

在上述的图像处理方法的一个优选方式的步骤C中，对于表示上述色彩参数的变化的方向的矢量，将对应于第三象限的矢量判别为对应于与其方向相反的第一象限的矢量，或者将对应于第一象限的矢量判别为对应于与其方向相反的第三象限的矢量，另一方面，将对应于第四象限的矢量判别为对应于与其方向相反的第二象限的矢量，或者将对应于第二象限的矢量判别为对应于与其方向相反的第四象限的矢量。因此，对于色彩参数的变化的方向，能够进行将X、Y的符号为同一的象限(第一象限或者第三象限)以及X、Y的符号为不同的象限(第二象限或者第四象限)两种作为对象的判别处理。

在上述图像处理方法的其他的优选方式的上述步骤C中，在对于上述处理对象区域内的像素阵列与由上述正交的两个方向X、Y所规定的坐标系建立对应的情况下，对于与连接该坐标系的第一象限和第三象限的直线组中的任意一条直线平行的直线上的两点，以及与连接上述坐标系的第二象限和第四象限的直线组中的任意一条直线平行的直线上的两点，分别提取两点之间的上述色彩参数的值之差，并将与连接该差值大的两点的矢量对应的象限判定为对应于表示上述色彩参数的变化方向的矢量的象限。

例如，对于处理对象区域的两条对角线，能够分别求出该线上的两点间的色彩参数值之差，并对各差的值进行比较。但是，色彩参数的值之差的计算对象并不仅限定于对角线，而只要是为经过处理对象区域的直线的同时，为满足如下条件的两条直线即可：一条为与连接第一象限和第三象限的规定的直线平行的直线；另一条为与连接第二象限和第四象限的规定的直线平行的直线。

在上述图像处理方法的其他优选方式的步骤C中，利用上述处理对象区域的像素的数据，来求出对X、Y的每个方向设定了以该方向上的各色彩参数的值的变化量为分量的矢量时相当于各矢量的内积的判定用参数，并根据该判定用参数的值来判别对应于表示上述色彩参数的变化方向的矢量的象限。

例如，若将X方向上的各色彩参数的值的变化量设为Rx、Gx、Bx、将Y方向上的各色彩参数的值的变化量设为Ry、Gy、By，则X、Y各方向上的矢量X^*、Y^*分别变为X^*＝(Rx，Gx，Bx)、Y^*＝(Ry，Gy，By)。

因此，若将上述判定用参数设为Ed，则可由下述[2]式来求出Ed。

Ed＝Rx·Ry+Gx·Gy+Bx·By    …[2]

在此，色彩变化是由于R、G、B中的至少一个参数所变化而发生的。当X、Y均都沿着正方向发生该变化时，或者X、Y均都沿着负方向发生时，由于该所变化的参数(例如R)的分量的积(例如Rx·Ry)取正值，所以判定用参数Ed也变为正。

另一方面，当上述变化在X、Y中的一个方向沿着正方向发生、而在另一个方向沿着负方向发生时，由于所变化的参数的分量的积取负值，所以判定用参数Ed也取负值。

因此，能够判别：当判定用参数Ed取正值时，与发生色彩变化的方向对应的为第一象限，当判定用参数Ed取负值时，与发生色彩变化的方向对应的为第二象限。

若根据本发明的图像处理方法，则提取在彩色图像中发生大的色彩变化的像素而作为边缘点的同时，对于所提取的边缘点，能够正确地确定色彩变化的方向。因此，通过该图像处理方法来求出边缘点上的边缘代码之后，能够实施如前面所提过的专利文献1、2那样的测定处理，从而与单色灰度图象的情况同样，能够进行高精度的测定处理。

下面，本发明的图像处理用程序是一种用于对能够进行彩色图像处理的计算机设定在上述彩色图像中提取位于色彩不同的区域之间的边界的点的功能的程序，包括使上述计算机作为区域设定单元、色差计算单元、判别单元、方向确定单元的各单元而发挥功能的程序。

上述区域设定单元，其依次关注构成处理对象的彩色图像的各像素，以该关注像素为中心而设定规定大小的处理对象区域。色差计算单元，其对于上述关注像素，利用上述处理对象区域内的各像素的数据，对于每个正交的两个方向X、Y求出在该方向上的色差变化的大小。

判别单元，其对于由上述色差计算单元所求出的各方向的色差变化的大小相当于在色彩不同的区域之间的边界能够确认到的色差变化的大小的处理对象区域，利用区域内的各像素的数据，并根据将这些像素所具有的色彩信息以三个独立的色彩参数来表示时的至少一个色彩参数的值，来求出以区域的中心的像素为边界而色彩参数所变化的方向，从而判别表示该变化方向的矢量对应于由X、Y各方向所规定的坐标系的哪一个象限。

方向确定单元，其对于成为判别单元的判别对象的处理对象区域的中心的像素，利用判别结果和由上述色差计算单元所求出的X、Y各方向上的色差变化的大小，来求出表示发生有上述色彩变化的方向的信息。

若根据上述程序的结构，则能够通过区域设定单元、色差计算单元、判别单元、方向确定单元来分别执行步骤A、步骤B、步骤C、步骤D。

此外，在上述程序还包括用于利用由方向确定单元所求出的信息来进行规定的计测处理的程序也可。

进而，在本发明的存储介质中存储有上述图像处理用程序。另外，本发明的图像处理装置具有上述区域设定单元、色差计算单元、判别单元、方向确定单元。

本发明提供一种图像处理装置，用于在彩色图像中提取位于色彩不同的区域之间的边界的点，其特征在于，具备如下各单元：区域设定单元，其依次关注构成上述彩色图像的各像素，以该关注像素为中心而设定规定大小的处理对象区域；色差计算单元，其对于上述关注像素，利用上述处理对象区域内的各像素的数据，对正交的两个方向X、Y的每个方向分别求出在该方向上的色差变化的大小；判别单元，其对于由上述色差计算单元所求出的各方向的色差变化之和超出了规定阈值的处理对象区域，利用该处理对象区域内的各像素的数据，并根据将这些像素所具有的色彩信息以三个独立的色彩参数来表示时的至少一个色彩参数的值，来求出色彩参数以该处理对象区域的中心的像素为边界所变化的方向，从而判别表示该变化方向的矢量对应于由上述X、Y各方向所规定的坐标系的哪一个象限；方向确定单元，其对于成为上述判别单元的判别对象的处理对象区域的中心的像素，利用上述判别结果和由上述色差计算单元所求出的X、Y各方向上的色差变化的大小，来求出表示发生有上述色彩变化的方向的信息.

若根据本发明，则对于出现在彩色图像上的边缘点，能够取得正确地反映了色彩变化的方向的角度数据，所以利用该角度数据能够进行详细的计测处理和判别处理。

附图说明

图1是表示适用了本发明的图像处理装置的设置例的说明图。

图2是图像处理装置的框图。

图3A、图3B、图3C是表示遮罩(Mask)内的图像数据的结构的说明图。

图4A、图4B是表示对图3的遮罩的边缘提取用滤波器的例子的说明图。

图5是说明用于判别色彩变化的方向的第一方法的图。

图6是表示不能确定色彩变化的方向的例子的说明图。

图7是表示有关对边缘点以及边缘代码的提取的处理流程的流程图。

图8是连续于图7的流程图。

图9是表示彩色图像上的色彩和色彩空间之间的关系的说明图。

图10是表示示出色彩变化的方向的坐标系的说明图。

图11是表示局部区域内的色彩的分布状态和色彩变换的方向之间的关系的说明图。

具体实施方式

(1)图像处理装置的结构

图1表示适用本发明的图像处理装置的设置例。

该实施例的图像处理装置由照相机1、控制器2、监视器3、控制板4等构成，并在工厂的检查流水线L中，依次拍摄所搬送的工件W而生成彩色图像，并通过对其图像进行处理，而判别上述工件W上的计测对象物7(标记、文字、缺陷等)的位置、姿势、大小等的适当与否。

图2表示上述图像处理装置的电气结构。

上述控制器2将CPU21作为控制主体，并具备闪存器22、RAM23、图像控制器24、照相机用接口25、输入用接口26、外部用接口27等。

在闪存器22中存储有程序及处理所必需的参数等，而在RAM23中临时保存有图像数据及中间的运算结果等。

照相机用接口25包括上述照相机1的驱动电路、用于接收R、G、B各图像信号的缓冲存储器、A/D变换电路(均都未图示)等。输入用接口26用于接收来自上述控制板4的信号。外部用接口27在与未图示的外部设备(个人电脑、PLC等)进行通信时被使用。图像控制器24执行对上述监视器的显示控制。

在上述CPU21连接有工件检测用传感器5(光电开关、接近开关等).若从该传感器5输入显示检测到工件W的情况的信号，则CPU21利用照相机用接口25来驱动照相机1，而拍摄上述工件W.然后，当生成上述工件W的彩色图像(以下，称为“处理对象图像”)，并保存到RAM23中时，CPU21根据存储在上述闪存器22中的程序来执行提取上述计测对象物7的处理、和对被提取的计测对象物7的计测处理，进而根据该计测结果来判定计测对象物的合格与否.

此外，上述图1、2所示的控制器2是一种被开发为图像处理专用的装置，但并不仅限定于此，例如，也可以使用安装有图像处理用程序的个人电脑。这时的程序是经由CD-ROM等存储介质、或者通信线路来被提供到个人电脑的。

(2)关于图像处理

上述控制器2的CPU21在上述处理对象图像上提取位于色彩之间的边界的点(边缘点)。进而对于所提取的边缘点，求出表示色彩变化的方向的角度数据，并利用该提取结果来提取上述计测对象物。

下面，将表示处理对象图像上的色彩变化的方向的角度数据称为“边缘代码”，并针对由上述CPU21来进行的边缘点的提取处理以及计算出边缘代码的处理，进行详细的说明。

(2)-1边缘点的提取处理

在彩色图像中，色彩发生很大变化的部分会成为边缘。因此，在该实施例中，依次关注处理对象图像的构成像素的同时，对每个像素求出相对周围附近的像素的色差，并将该值超过规定的阈值的像素认定为边缘点。

色差的计算是对X、Y的每个方向进行的。下面，将X方向的色差设为Cx，将Y方向的色差设为Cy，而对于该计算方法进行详细的说明。

色差Cx、Cy均都被表示成在以R、G、B为轴的色彩空间中的距离。具体地说，Cx能够通过利用了X方向上的各色彩参数每一个的浓度变化量Rx、Gx、Bx的[3]式来求出，Cy能够通过利用了Y方向上的各色彩参数每一个的浓度变化量Ry、Gy、By的[4]式来求出。此外，能够认为：这些式子中的Rx、Ry相当于上述[1]式的(Ra-Rb)，Gx、Gy相当于[1]式的(Ga-Gb)，Bx、By相当于[1]式的(Ba-Bb)。

$\mathrm{Cx}=\sqrt{{\mathrm{Rx}}^2+G{x}^2+{\mathrm{Bx}}^2}...\left[3\right]$

$\mathrm{Cy}=\sqrt{{\mathrm{Ry}}^2+{\mathrm{Gy}}^2+{\mathrm{By}}^2}...\left[4\right]$

要执行[3]、[4]式，则首先需要求出各浓度变化量Rx、Gx、Bx、Ry、Gy、By。与单色灰度图象的边缘提取处理的情况同样，这些浓度变化量能够通过由边缘提取滤波器来处理以关注像素为中心的遮罩内的图像数据的方法来求出。

图3A～图3B是示意性地表示在以关注像素为中心而设定3像素×3像素的遮罩的情况下的每个R、G、B的图像数据的图。另外，在图4A、图4B中，作为对上述遮罩的边缘提取滤波器而示出了适用索贝尔算子的滤波器。此外，边缘提取滤波器并不仅限定于利用索贝尔算子的滤波器，也可以使用其他结构的滤波器。

X方向上的浓度变化量Rx、Gx、Bx能够通过对于图3所示的各图像数据分别进行利用图4A的滤波器的加权加法运算来求出。另外，Y方向上的浓度变化量Ry、Gy、By能够通过对于各图像数据分别进行利用图4B的滤波器的加权加法运算来求出。

从而，在处理对象的彩色图像上扫描上述遮罩的同时，利用上述边缘提取滤波器而对每个扫描位置求出各浓度变化量Rx、Gx、Bx、Ry、Gy、By，进而利用这些浓度变化量来执行上述[3]、[4]式，从而，能够对每个上述彩色图像的构成像素求出在X、Y各方向上的色差Cx、Cy.进而，在该实施例中，将上述色差Cx、Cy之和CI超过规定的阈值的像素作为相当于边缘点的像素.

(2)-2边缘代码的计算

若根据上述[3]、[4]式，则Cx、Cy的值通常取0或0以上的值，但是，实际上色彩变化并不仅限定于正方向，而也会出现在负方向。但是，如上述图11的图像G1、G2所示，在色彩仅处于反转的关系时，即使将色彩变化的方向视为相同，也无大碍。因此，只要至少在从第一象限(X＞0，Y＞0)到第二象限(X＜0，Y＞0)的范围(也包括X＝0、或者Y＝0的情况)内能够确定色彩变化的方向即可。

因此，在该实施例中，将色彩变化的方向相对X轴的正方向所成的角度设为边缘代码EC，并在0～180°的范围内确定边缘代码。

具体的说，当色彩变化的方向出现在第一象限时为

EC＝atan(Cy/Cx)，

当色彩变化的方向出现在第二象限时为

EC＝180°-atan(Cy/Cx)。

另外，当Cx＝0、Cy＞0时，变为EC＝90°。

在此，作为用于判别色彩变化的方向的方法，而说明两个例子。此外，在该判别处理中，也对以关注像素为中心的遮罩内的图像数据进行处理，但是，在此仅关注被判别为其相当于边缘点的像素。另外，对于上述浓度变化量的运算，为了简单说明，将遮罩的尺寸设为3像素×3像素，但是，将以下的实施例中的遮罩的尺寸设为5像素×5像素。但是，在实际的处理中，优选设定两个处理共用的遮罩。

<方法1>

图5表示用于判别色彩变化的方向的第一方法。

在该方法中，对于经过遮罩内中央的像素C(被判断为相当于边缘点的像素)、且与第一象限以及第二象限对应的两个方向，具体地说，对于经过遮罩的两条对角线的两个方向E1、E2，分别求出色差，并判断为与色差大的方向对应的象限对应于色彩变化的方向。

X、Y均都指向正方向的方向E1对应于第一象限。对于该方向E1，利用位于遮罩的左下顶点以及右上顶点的各像素的图像数据(R₀₀，G₀₀，B₀₀)(R₄₄，G₄₄，B₄₄)来求出这些像素之间的色差。

另一方面，X指向负方向、Y指向正方向的方向E2对应于第二象限。对于该方向E2，利用位于遮罩的右下顶点以及左上顶点的像素的图像数据(R₄₀，G₄₀，B₄₀)(R₀₄，G₀₄，B₀₄)来求出这些像素之间的色差。

在图5的例子的情况下，因为在方向E2上的变化更大，所以判别为色彩的变化出现在第二象限。

如上所述，利用遮罩内的四个顶点的图像数据，能够简单地求出色彩变化的方向。但是，在方向E1、E2上的变化变得相等的情况为例外。例如，在以256灰度等级表示R、G、B各图像数据的情况下，在上述遮罩内出现图6所示的色彩分布时，方向E1、E2的色差相等，所以，变得处于无法确定色彩变化的方向的状态。因此，在这种状态下，将关注像素从边缘代码的计算对象中排除。

<方法2>

在用于判别色彩变化的方向的第二方法中，将使用在上述边缘点的提取中的每个R、G、B的浓度变化量Rx、Gx、Bx、Ry、Gy、By代入到上述[2]式(下面再次记载)，从而求出判定用参数Ed.然后，如果Ed为正，则判别为色彩变化的方向发生在第一象限，如果Ed为负，则判别为色彩变化的方向发生在第二象限.

Ed＝Rx·Ry+Gx·Gy+Bx·By  …[2]

通常，色彩的变化是伴随着R、G、B中的至少一个的变化而发生的。另外，在两个以上的色彩参数变化的情况下，几乎所有的情况也是向相同的方向变化，而即使在向不同的方向发生变化时，发生了更大的变化的色彩参数的变化方向对应于色彩变化的方向。因此，上述[2]式的Ed的符号(+，-)是根据R、G、B的各浓度变化中最有优势的变化所决定的。

例如，若G、B几乎没有变化、而仅有R发生了大的变化，则在该变化的方向发生在第一象限或者第三象限的情况下(Rx＞0、Ry＞0，或者Rx＜0、Ry＜0的情况)，变为Rx·Ry＞0，并且，将此反映而Ed的符号也变为正。

另一方面，在R的变化方向发生在第二象限或者第四象限的情况下(Rx＜0、Ry＞0，或者Rx＞0、Ry＜0的情况)，变为Rx·Ry＜0，并且，将此反映而Ed的符号也变为负。

另外，由于在X方向上的各浓度变化量(Rx，Gx，Bx)相当于色彩空间的矢量X^*、在Y方向上的各浓度变化量(Ry，Gy，By)相当于色彩空间的矢量Y^*，所以，上述Ed表示这些矢量的内积。因此，在Ed＞0的情况下，在色彩空间中矢量X^*、Y^*所成的角度小于90°，与此相对，在Ed＜0的情况下，在色彩空间中矢量X^*、Y^*所成的角度大于90°。

在X、Y的各方向上的色彩的变化被统一成正的方向或者负的方向的一种的情况下的在色彩空间中矢量X^*、Y^*所成的角度，与一方的变化发生在正方向上、而另一方的变化发生在负方向上的情况相比变得更小。

上述Ed的值就可证明上述考察。从这点也能够推知：根据上述Ed所取的符号，能够正确地判别与色彩变化的方向对应的象限。

另外，在上述第二方法中，能够利用在边缘点的提取处理时所求出的浓度变化量Rx、Gx、Bx、Ry、Gy、By来求出判定用参数Ed，所以只需很短的运算时间，从而能够实现处理的高速化。

(3)关于图像处理的流程

图7以及图8表示对由上述照相机1所生成的一张彩色图像数据的边缘点的提取处理以及求出边缘代码的处理的步骤。此外，在此例中，利用上述判定用参数Ed来判别与色彩变化的方向对应的象限。另外，将关注对象的像素坐标设为(X，Y)，而将上述Cx、Cy、EC等作为以上述坐标(X，Y)为自变量数的函数来进行设定。

首先，在最初的ST1(ST是“STEP(步骤)”的缩写。以下是也同样)中，将由上述照相机1以及照相机用接口25所生成的彩色图像数据(R、G、B各图像数据的组合)输入到RAM23中。在接下来的ST2中，根据预先确定了的设定数据，而在上述彩色图像设定计测对象区域。

在ST3中，将在计测对象区域中最接近XY坐标系的原点的坐标(X1，Y1)设定为上述关注像素的坐标(X，Y)的初始值。

在ST4中，以上述(X，Y)为中心而设定规定大小的遮罩。在接下来的ST5中，利用上述边缘提取滤波器，而对X、Y的每个方向计算出R、G、B的浓度变化量Rx(X，Y)、Gx(X，Y)、Bx(X，Y)、Ry(X，Y)、Gy(X，Y)、By(X，Y)。

在ST6中，将所计算出的各浓度变化量代入到上述[2]、[3]式中，而计算出在X、Y各方向上的色差Cx(X，Y)、Cy(X，Y)。在ST7中，相加这些色差Cx(X，Y)、Cy(X，Y)，并将该相加的值设为CI(X，Y)。在此，当CI(X，Y)小于规定的阈值时，ST8变为“否”，而结束对关注像素的处理。

另一方面，如果CI(X，Y)等于或大于上述阈值TH，则ST8变为“是”。这时进入到ST13，并确认Cx(X，Y)的值。在此，如果Cx(X，Y)≠0，则进入到ST14，将在上述ST5所求出的每个色彩参数的浓度变化量Rx(X，Y)、Gx(X，Y)、Bx(X，Y)、Ry(X，Y)、Gy(X，Y)、By(X，Y)代入到[2]式，而计算出判定用参数Ed。

然后，在ST15、16中，确认上述判定用参数Ed的值。其结果，如果Ed＞0，则在ST17中，进行利用上述Cx(X，Y)、Cy(X，Y)的边缘代码EC(X，Y)的计算处理，而如果Ed＜0，则在ST18中，进行利用上述Cx(X，Y)、Cy(X，Y)的边缘代码EC(X，Y)的计算处理。

另一方面，在前面的ST13中，判断为Cx(X，Y)＝0时，进入到ST19，而将EC(X，Y)设定为90°。

进行如上所示的步骤，而若决定好EC(X，Y)的值，则进入到ST20，并将EC(X，Y)的值保存到RAM23中。

另外，在遮罩内发生了入上述图6的色彩分布时，上述判定用参数Ed变为0。这时，由于无法确定色彩变化的方向，所以ST15、16同时变为“否”，而对边缘代码EC(X，Y)不进行计算而结束对关注像素的处理。

下面，在ST9～12中，依次更新(X，Y)的值的同时，执行与上述同样的处理，从而提取上述计测对象区域内的边缘点的同时，对于各边缘点计算出边缘代码EC(X，Y)。

当对计测区域内的最后的坐标(X2，Y2)的处理结束时，ST12变为“是”，而图示的处理被结束。然后，利用存储在RAM23内的边缘代码EC(X，Y)来执行计测对象物的提取处理，进而对该对象物执行详细的计测处理。

在计测对象物的提取处理中，能够执行与以往的对单色灰度图象的处理同样的处理。

例如，提取与预先所登记的模型相同形状的图案时，对通过上述的处理所得到的边缘代码EC(X，Y)的分布图案与对应于上述模型的基准图案进行对照(详细内容请参照前面所提过的专利文献1)。

另外，在提取圆状图案时，对每个边缘点，沿着其边缘代码EC(X，Y)的方向设定线段，并提取规定数目的线段的交点而作为圆状图案的中心点。

另外，在提取上述直线状图案时，对每个边缘点，沿着其边缘代码EC(X，Y)的方向检索与正关注的边缘点相对向的边缘点，并找到相对向的边缘点时，沿着与上述边缘代码EC(X，Y)正交的方向设定规定长度的线段。然后，最终提取规定数目的线段所重合的区域而作为计测对象物(详细内容请参照前面所提过的专利文献2)。

此外，在圆状图案的提取处理中，优选在边缘代码EC(X，Y)的方向以及与此相反的方向的两个方向设定线段。即使在提取直线状图案的情况下，也优选在正关注的边缘代码EC(X，Y)的方向以及与此相反的方向的两个方向进行对于相对向的边缘点的检索。这是因为有必要使其也能够适用于提取对象的图案和背景之间的色彩反转的情况。

例如，在提取圆状图案时背景为蓝色、且提取对象的图案为红色的情况下，从蓝色指向红色的方向被设定为色彩变化的方向时，从背景指向圆的中心的方向与色彩变化的方向一致，所以能够提取圆的中心点.与此相对，在从红色指向蓝色的方向被设定为色彩变化的方向的情况下，从背景指向圆的中心的方向变为色彩变化方向的相反方向，所以，若未在与边缘代码EC(X，Y)的方向相反的方向上设定线段，则无法提取圆的中心点.

这样，在求出边缘代码EC(X，Y)之后的处理中，必须要考虑若干问题，但由于能够正确地识别出图像上的色彩变化的方向，所以，适用处理灰度图象时的算法，而能够以高精度进行物体的识别和计测。

此外，在该实施例中，作为角度信息而求出色彩变化的方向，但是，也可以取而代之，而作为上述色差Cx、Cy之比(Cy/Cx)和正负符号的组合来进行确定。这时，上述色彩变化的方向对应于第一象限时的信息变为+(Cy/Cx)，而色彩变化的方向对应于第二象限时的信息变为-(Cy/Cx)。

Claims (5)

1.一种图像处理方法，用于在彩色图像中提取位于色彩不同的区域之间的边界的点，其特征在于，执行如下步骤：

步骤A，其对于构成处理对象的彩色图像的各像素，设定以该像素为中心的规定大小的处理对象区域；

步骤B，其对于上述处理对象区域内的中心的像素，利用该处理对象区域内的各像素的数据，对正交的两个方向X、Y的每个方向分别求出在该方向上的色差变化的大小；

步骤C，其对于在上述步骤B所求出的X以及Y各方向的色差之和超出了规定阈值的处理对象区域，根据将该处理对象区域内的各像素所具有的色彩信息以三个独立的色彩参数来表示时的至少一个色彩参数的值，来求出色彩参数以该处理对象区域的中心的像素为边界所变化的方向，从而判别表示该变化方向的矢量对应于由上述X、Y各方向所规定的坐标系的哪一个象限；

步骤D，其对于执行过上述步骤C的处理对象区域的中心的像素，利用在步骤C中的判别结果和在上述步骤B中所求出的X以及Y方向上的色差变化的大小，来确定发生上述色彩变化的方向。

2.如权利要求1所记载的图像处理方法，其特征在于，在上述步骤C中，对于表示上述色彩参数的变化的方向的矢量，将对应于第三象限的矢量判别为对应于与其方向相反的第一象限的矢量，或者将对应于第一象限的矢量判别为对应于与其方向相反的第三象限的矢量，另一方面，将对应于第四象限的矢量判别为对应于与其方向相反的第二象限的矢量，或者将对应于第二象限的矢量判别为对应于与其方向相反的第四象限的矢量。

3.如权利要求1所记载的图像处理方法，其特征在于，在上述步骤C中，在对于上述处理对象区域内的像素阵列与由上述正交的两个方向X、Y所规定的坐标系建立对应的情况下，对于与连接该坐标系的第一象限和第三象限的直线组中的任意一条直线平行的直线上的两点，以及与连接上述坐标系的第二象限和第四象限的直线组中的任意一条直线平行的直线上的两点，分别提取两点之间的上述色彩参数的值之差，并将与连接该差值大的两点的矢量对应的象限判定为对应于表示上述色彩参数的变化方向的矢量的象限。

4.如权利要求1所记载的图像处理方法，其特征在于，在上述步骤C中，利用上述处理对象区域的像素的数据，来求出判定用参数，并根据该判定用参数的值来判别对应于表示上述色彩参数的变化方向的矢量的象限，该判定用参数相当于在对X、Y的每个方向设定了以该方向上的各色彩参数的值的变化量为分量的矢量的情况下的各矢量的内积。

5.一种图像处理装置，用于在彩色图像中提取位于色彩不同的区域之间的边界的点，其特征在于，具备如下各单元：

区域设定单元，其依次关注构成上述彩色图像的各像素，以该关注像素为中心而设定规定大小的处理对象区域；

色差计算单元，其对于上述关注像素，利用上述处理对象区域内的各像素的数据，对正交的两个方向X、Y的每个方向分别求出在该方向上的色差变化的大小；

判别单元，其对于由上述色差计算单元所求出的各方向的色差之和超出了规定阈值的处理对象区域，利用该处理对象区域内的各像素的数据，并根据将这些像素所具有的色彩信息以三个独立的色彩参数来表示时的至少一个色彩参数的值，来求出色彩参数以该处理对象区域的中心的像素为边界所变化的方向，从而判别表示该变化方向的矢量对应于由上述X、Y各方向所规定的坐标系的哪一个象限；

方向确定单元，其对于成为上述判别单元的判别对象的处理对象区域的中心的像素，利用上述判别结果和由上述色差计算单元所求出的X、Y各方向上的色差变化的大小，来求出表示发生有上述色彩变化的方向的信息。

Images