CN114998571A - 基于固定尺寸标志物的图像处理及颜色检测方法 - Google Patents

Abstract

本发明涉及一种基于固定尺寸标志物的图像处理及颜色检测方法，属于图像处理领域。利用工件和标志物的颜色的区别对工件进行检测，得到工件对应的形态、坐标信息及工件间间距，从而提高检测精度的方法。能够在未知传感器参数的条件下，对图像进行畸变还原处理，解决提高图像信息的精度。

Description

基于固定尺寸标志物的图像处理及颜色检测方法

技术领域

本发明属于图像处理领域，涉及基于固定尺寸标志物的图像处理及颜色检测方法。

背景技术

随着计算机视觉被广泛得应用在各个领域，对图像检测的精度要求也越来越高，因此如何能够对获取到的图像进行更精确的处理也是一个研究方向。而获取图像的一般方式就是相机或者手机直接拍摄获取，得到的图像与实际图像间还是会存在一定的偏差，影响后续的检测精度。

图像预处理是图像分析的首要阶段。图像矫正也是图像处理的步骤之一。图像矫正的预处理好坏将会直接影响到后续图像分析的结果。由于相机内部透镜制造以及其组装工艺导致的偏差，会使得拍摄的图像产生畸变，导致原始图像失真。并且不同拍摄角度也会使得图像存在一定程度位置的形变，会影响之前图像的形态，因此需要对图像进行去畸变处理。一般镜头的畸变分为径向畸变和切向畸变两类。径向畸变是由于镜头自身凸透镜的固有特性造成的，产生原因是光线在远离透镜中心的地方比靠近中心的地方更加弯曲。切向畸变是由于透镜本身与相机传感器平面(成像平面)或图像平面不平行而产生的，这种情况多是由于透镜被粘贴到镜头模组上的安装偏差导致。

一般去畸变的方法通常都是适用于方形物体或存在平行线条的图像上，不适用于普通工件。一些专业的图像处理软件虽然提供了几何畸变校正的方法，但是，这些图像处理方法往往需要人工参与，不能实现畸变校正过程的自动化，而且不能校正处理矩形状的图像。在畸变校正工作中,特征点的选取也将影响到畸变校正的精度。目前对特征点的获取大多是利用人工手动获取坐标点，该方法工作量较大，坐标值获取不够准确，而对于特征点自动获取的方法，通常是利用模板匹配的方法，对畸变网格图像进行形态学图像处理后，利用模板与处理后图像进行匹配，从而识别出网格交叉点，得到特征点坐标。

在实际工业生产上，如果针对每次获取的图像都要根据相应的传感器信息和位置来处理，不利于重复操作，也不适合用于随机照片的处理。通过分析数字图像几何畸变产生的机制，提出本发明。

发明内容

有鉴于此，本发明的目的在于提供一种基于固定尺寸标志物的图像处理及颜色检测方法。

为达到上述目的，本发明提供如下技术方案：

基于固定尺寸标志物的图像处理及颜色检测方法，该方法包括以下步骤：

S1：找出图像上若干坐标点及其在正常图像上应该的坐标位置信息；考虑根据边缘检测获取图像的边缘点坐标；

获取图像的边缘点坐标包含对标志物的边缘检测，及其边缘点坐标的获取；

利用边缘点获取方法获取所述标志物上的三个拐角点A,B,C坐标；

S2：根据平行四边形各边关系得到对应的平行四边形第四点D；

根据这四个角点坐标得到理想的转换后的矩形四角坐标，形成校正后图像的边缘坐标点，得到理想的矫正后的矩形框的轮廓；

畸变校正是一种映射，将畸变的像素投影到校正的像素位置上；图像畸变校正的目的是通过已获得的畸变后图像，找到对应点的像素关系，将畸变后的位置的像素值赋给原位置，还原得到没有畸变的图像；根据特征点的畸变关系，通过畸变模型推导其映射关系；在图像上，选择特征点的像素坐标位置，以这正常图像的坐标位置去求在畸变图像中的坐标位置，取出对应的像素值，再利用插值处理的方法，对图像进行还原处理；

真实图像imgR与畸变图像imgD之间的关系为：

imgR(U,V)＝imgD(U_d,V_d)

采用四点定位法对所述畸变图像的位置和轮廓进行定位；

仿射变换是二维坐标(x,y)到二维坐标(u,v)的线性变换，其数学表达式形式如下：

对应的齐次坐标矩阵表示形式为：

仿射变换保持二维图形的平直性和平行性；其中，平直性为直线经仿射变换后依然为直线，平行性为直线之间的相对位置关系保持不变，平行线经仿射变换后依然为平行线，且直线上点的位置顺序不会发生变化；

S3：根据变换前后的两组坐标值，计算矩形的横纵比，然后求得相对应的坐标点映射关系即图像仿射变换矩阵，利用图像插值的方法对畸变图像校正；

二维图像的仿射变换矩阵为：

S4：利用仿射变换矩阵对原图像进行校正处理，还原其理想的横纵比，得到矫正后的图像。

可选的，所述S4后还包括以下步骤：

S5：利用工件边缘提取方法获取所述标志物上的三个拐角点A,B,C坐标，计算得到坐标间的标准距离|AB|,|AC|；

S6：将图像上的距离值和实际标志物的距离值进行比较，计算得到图像和物理距离的比例值；

图像上间距转换为国际单位中的值d_tsj关系为：

S7：对工件进行检测，检测是利用工件本身的颜色和背景板颜色的区别进行检测，根据得到其颜色对应的H,S,V值；

S8：利用工件H,S,V值对工件进行检测，获取到目标工件中心坐标位置；

S9：根据工件间坐标能够得到其间距值；再根据图像和物理距离的比例值d_tsj得到工件间实际距离。

可选的，所述畸变校正为：利用这四个定点A,B,C,D构建图像仿射变换，实现完整图像的矫正；矫正过程为将平行四边形转换为矩形的过程，得到矫正后对应的矩形四个角点坐标A’,B’,C’,D’；

根据矫正前后角点坐标得到其转换关系

二维图像的仿射变换矩阵为：

再利用仿射变换矩阵对图像进行矫正；

再在转换后的图像上，获取标志物上固定尺寸长度的两端坐标值A,B和A,C间的距离值|AB|,|AC|；图像已经变为与标志物平行的角度图像，不再对图像进行旋转处理；只进行缩放处理；

获取工件的H,S,V范围，以便根据颜色范围获取工件轮廓；

根据工件轮廓范围获取工件中心点并在处理后图像上进行最小矩形框选，得到工件范围和中心点坐标位置；

根据图像上|AB|,|AC|的距离和实际固定尺寸长度间的距离AB，AC比例图像和实际距离的比例值d_tsj；

根据工件中心点位置得到工件在图像上间距d_tgj；

根据图像和实际距离的比例值d_tsj和图像间距计算获得工件实际间距d_gj

其中针对图像的预选框进行图像边缘检测，获取判断对应工件信息；

其中边缘检测利用Canny边缘检测算法进行，包含：

对图像进行灰度化；

用高斯滤波器平滑图像；

用一阶偏导的有限差分来计算梯度的幅值和方向；

对梯度幅值进行非极大值抑制；

用双阈值算法检测和连接边缘；

其中经过高斯滤波后的灰度值将变为：

每个像素点的梯度强度及方向为

用一个高斯矩阵乘以每一个像素点及其邻域，取其带权重的平均值作为最后的灰度值；

过滤非最大值，使用一个规则来过滤不是边缘的点，使边缘的宽度为1个像素点，形成边缘线；

得到的边缘情况和数模信息对比，判断是否存在工件和工件大小、形态是否满足预先的设计需求；

根据之前检测到的灰度值，得到图像中的一个上阀值和一个下阀值，大于上阀值的都被检测为边缘，而低于下阀值的都被检测为非边缘；对于中间的像素点，如果与确定为边缘的像素点邻接，则判定为边缘；否则为非边缘；这样就可能提高准确度；

其中几何畸变校正的一般流程为建立校正函数，即建立几何校正的数学模型；再利用已知条件确定模型参数；最后利用模型对图像进行几何校正；

畸变校正是一种映射，将畸变的像素投影到校正的像素位置上；通过已知的标准矩形框，对图像进行畸变校正；对于图像畸变校正，是通过已获得的畸变后图像，还原得到没有畸变的图像；根据特征点的畸变关系，通过畸变模型推导其映射关系；在图像上，选择特征点的像素坐标位置，以这正常图像的坐标位置去求在畸变图像中的坐标位置，取出对应的像素值，再利用插值处理的方法，对图像进行还原处理；

图像畸变校正步骤：

输入矫正前图像；

在图像中寻找目标矩形的四个角点坐标；

设定输出矩形大小或矫正后的四个角点坐标；

根据矫正前后对应坐标点，求解透视变换矩阵；

利用透视变换矩阵对图像进行处理，并得到矫正后的图像；

其中图像和实际距离关系为：

在图像上摆放已知长宽的特征物，计算图像特征物的几个图像距离和实际距离比值的平均值作为图像像素点和实际国际单位的关系，进而根据图像上工件距离得到工件实际距离：

像素与毫米的转换关系：

计算图像上间距转换为国际单位中值d_tsj的关系：

本发明的有益效果在于：利用工件和标志物的颜色的区别对工件进行检测，得到工件对应的形态、坐标信息及工件间间距，从而提高检测精度的方法。能够在未知传感器参数的条件下，对图像进行畸变还原处理，解决提高图像信息的精度。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。

附图说明

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：

图1为方法物体摆放示意图；

图2为角尺上拐角点位置图；

图3为边缘检测流程图；

图4为几何畸变校正流程图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。

请参阅图1～图4，为一种基于固定尺寸标志物的图像处理及颜色检测方法。

目前对图像矫正的方法大多适用于矩阵形状的图像或者存在多平行线的图像，根据线条间的比例关系，对图像进行矫正处理。

根据选取需要检测的工件，选择类似两把角尺垂直放置的标志物，如图1所示，放置在工件的任意四个角落之一，如图2所示，再利用手机或相机等传感器获取图像信息，对工件边缘进行检测，获取到其边角点坐标，对图像进行矫正处理，最后利用待检测工件的H,S,V值进行图像检测及位置获取，得到相应的间距。并根据图像和实际间距的比例，得到工件的实际间距。

完整的矫正检测方法实施流程：

选择将标志物放置在背景板右上角，需要检测的工件放置于标志物所在范围内。

由于本发明采用四点定位法对所述畸变图像的位置和轮廓进行准确定位，以保证所述畸变图像校正方法的准确、有效。因此需要获取四点的准确坐标值。

根据边缘检测方法对图像进行腐蚀膨胀、锐化、闭合等操作，得到标志物完整边缘线条，并能够构成垂直向量的三个角点A,B,C坐标。其中图像上各点坐标是以图像左上角为原点建立形成的。

根据A,B,C三点构建出图像上能够形成平行四边形的第四点D的坐标。

利用这四个定点A,B,C,D构建图像仿射变换，实现完整图像的矫正。矫正过程即可理解为将平行四边形转换为矩形的过程，因此需要设计得到矫正后对应的矩形四个角点坐标A’,B’,C’,D’。

根据矫正前后角点坐标得到其转换关系

二维图像的仿射变换矩阵为：

再利用仿射变换矩阵对图像进行矫正。

再在转换后的图像上，获取标志物上固定尺寸长度的两端坐标值A,B和A,C间的距离值AB|,|AC|。此时由于图像已经变为与标志物平行的角度图像，因此不需要再对图像进行旋转处理。只需要进行缩放处理。

获取工件的H,S,V范围，以便根据颜色范围获取工件轮廓。

根据工件轮廓范围获取工件中心点并在处理后图像上进行最小矩形框选，得到工件范围和中心点坐标位置。

根据图像上|AB|,|AC|的距离和实际固定尺寸长度间的距离AB，AC比例图像和实际距离的比例值d_tsj。

根据工件中心点位置得到工件在图像上间距d_tgj。

根据图像和实际距离的比例值d_tsj和图像间距计算获得工件实际间距d_gj

其中针对图像的预选框进行图像边缘检测，获取判断对应工件信息；

其中边缘检测利用Canny边缘检测算法多个步骤构成，包含

对图像进行灰度化；

用高斯滤波器平滑图像；

用一阶偏导的有限差分来计算梯度的幅值和方向；

对梯度幅值进行非极大值抑制；

用双阈值算法检测和连接边缘。

其中经过高斯滤波后的灰度值将变为：

每个像素点的梯度强度及方向为

可以理解为用一个高斯矩阵乘以每一个像素点及其邻域，取其带权重的平均值作为最后的灰度值。

过滤非最大值，使用一个规则来过滤不是边缘的点，使边缘的宽度尽可能为1个像素点，形成边缘线。

得到的边缘情况和数模信息对比，判断是否存在工件和工件大小、形态是否满足预先的设计需求。

根据之前检测到的灰度值，得到图像中的一个上阀值和一个下阀值，大于上阀值的都被检测为边缘，而低于下阀值的都被检测为非边缘。对于中间的像素点，如果与确定为边缘的像素点邻接，则判定为边缘；否则为非边缘。这样就可能提高准确度。

其中几何畸变校正的一般流程为建立校正函数，即建立几何校正的数学模型；再利用已知条件确定模型参数；最后利用模型对图像进行几何校正。

畸变校正是一种映射，将畸变的像素投影到校正的像素位置上。本发明通过已知的标准矩形框，对图像进行畸变校正。对于图像畸变校正，是通过已获得的畸变后图像，还原得到没有畸变的图像。根据特征点的畸变关系，通过畸变模型推导其映射关系。在图像上，选择特征点的像素坐标位置，以这正常图像的坐标位置去求在畸变图像中的坐标位置，取出对应的像素值，再利用插值处理的方法，对图像进行还原处理。

图像畸变校正步骤：

输入矫正前图像；

在图像中寻找目标矩形的四个角点坐标；

设定输出矩形大小或矫正后的四个角点坐标；

根据矫正前后对应坐标点，求解透视变换矩阵；

利用透视变换矩阵对图像进行处理，并得到矫正后的图像。

其中图像和实际距离关系为

在图像上摆放已知长宽的特征物，计算图像特征物的几个图像距离和实际距离比值的平均值作为图像像素点和实际国际单位的关系，进而根据图像上工件距离得到工件实际距离：

像素与毫米的转换关系：

因此计算图像上间距转换为国际单位中值d_tsj的关系：

以色球检测为例，在方形框内随机放置三个颜色不同的球体，利用视觉传感器(手机)获取图像信息，根据方形框的长度及对应点在图像上的坐标值，对图像进行畸变校正处理。并利用HSV值进行图像检测及位置获取。

最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1.基于固定尺寸标志物的图像处理及颜色检测方法，其特征在于：该方法包括以下步骤：

S1：找出图像上若干坐标点及其在正常图像上应该的坐标位置信息；考虑根据边缘检测获取图像的边缘点坐标；

获取图像的边缘点坐标包含对标志物的边缘检测，及其边缘点坐标的获取；

利用边缘点获取方法获取所述标志物上的三个拐角点A,B,C坐标；

S2：根据平行四边形各边关系得到对应的平行四边形第四点D；

根据这四个角点坐标得到理想的转换后的矩形四角坐标，形成校正后图像的边缘坐标点，得到理想的矫正后的矩形框的轮廓；

畸变校正是一种映射，将畸变的像素投影到校正的像素位置上；图像畸变校正的目的是通过已获得的畸变后图像，找到对应点的像素关系，将畸变后的位置的像素值赋给原位置，还原得到没有畸变的图像；根据特征点的畸变关系，通过畸变模型推导其映射关系；在图像上，选择特征点的像素坐标位置，以这正常图像的坐标位置去求在畸变图像中的坐标位置，取出对应的像素值，再利用插值处理的方法，对图像进行还原处理；

真实图像imgR与畸变图像imgD之间的关系为：

imgR(U,V)＝imgD(U_d,V_d)

采用四点定位法对所述畸变图像的位置和轮廓进行定位；

仿射变换是二维坐标(x,y)到二维坐标(u,v)的线性变换，其数学表达式形式如下：

对应的齐次坐标矩阵表示形式为：

仿射变换保持二维图形的平直性和平行性；其中，平直性为直线经仿射变换后依然为直线，平行性为直线之间的相对位置关系保持不变，平行线经仿射变换后依然为平行线，且直线上点的位置顺序不会发生变化；

S3：根据变换前后的两组坐标值，计算矩形的横纵比，然后求得相对应的坐标点映射关系即图像仿射变换矩阵，利用图像插值的方法对畸变图像校正；

二维图像的仿射变换矩阵为：

S4：利用仿射变换矩阵对原图像进行校正处理，还原其理想的横纵比，得到矫正后的图像。

2.根据权利要求1所述的基于固定尺寸标志物的图像处理及颜色检测方法，其特征在于：所述S4后还包括以下步骤：

S5：利用工件边缘提取方法获取所述标志物上的三个拐角点A,B,C坐标，计算得到坐标间的标准距离|AB|,|AC|；

S6：将图像上的距离值和实际标志物的距离值进行比较，计算得到图像和物理距离的比例值；

图像上间距转换为国际单位中的值d_tsj关系为：

S7：对工件进行检测，检测是利用工件本身的颜色和背景板颜色的区别进行检测，根据得到其颜色对应的H,S,V值；

S8：利用工件H,S,V值对工件进行检测，获取到目标工件中心坐标位置；

S9：根据工件间坐标能够得到其间距值；再根据图像和物理距离的比例值d_tsj得到工件间实际距离。

3.根据权利要求1所述的基于固定尺寸标志物的图像处理及颜色检测方法，其特征在于：所述畸变校正为：利用这四个定点A,B,C,D构建图像仿射变换，实现完整图像的矫正；矫正过程为将平行四边形转换为矩形的过程，得到矫正后对应的矩形四个角点坐标A’,B’,C’,D’；

根据矫正前后角点坐标得到其转换关系

二维图像的仿射变换矩阵为：

再利用仿射变换矩阵对图像进行矫正；

再在转换后的图像上，获取标志物上固定尺寸长度的两端坐标值A,B和A,C间的距离值|AB|,|AC|；图像已经变为与标志物平行的角度图像，不再对图像进行旋转处理；只进行缩放处理；

获取工件的H,S,V范围，以便根据颜色范围获取工件轮廓；

根据工件轮廓范围获取工件中心点并在处理后图像上进行最小矩形框选，得到工件范围和中心点坐标位置；

根据图像上|AB|,|AC|的距离和实际固定尺寸长度间的距离AB，AC比例图像和实际距离的比例值d_tsj；

根据工件中心点位置得到工件在图像上间距d_tgj；

根据图像和实际距离的比例值d_tsj和图像间距计算获得工件实际间距d_gj

其中针对图像的预选框进行图像边缘检测，获取判断对应工件信息；

其中边缘检测利用Canny边缘检测算法进行，包含：

对图像进行灰度化；

用高斯滤波器平滑图像；

用一阶偏导的有限差分来计算梯度的幅值和方向；

对梯度幅值进行非极大值抑制；

用双阈值算法检测和连接边缘；

其中经过高斯滤波后的灰度值将变为：

每个像素点的梯度强度及方向为

用一个高斯矩阵乘以每一个像素点及其邻域，取其带权重的平均值作为最后的灰度值；

过滤非最大值，使用一个规则来过滤不是边缘的点，使边缘的宽度为1个像素点，形成边缘线；

得到的边缘情况和数模信息对比，判断是否存在工件和工件大小、形态是否满足预先的设计需求；

根据之前检测到的灰度值，得到图像中的一个上阀值和一个下阀值，大于上阀值的都被检测为边缘，而低于下阀值的都被检测为非边缘；对于中间的像素点，如果与确定为边缘的像素点邻接，则判定为边缘；否则为非边缘；这样就可能提高准确度；

其中几何畸变校正的一般流程为建立校正函数，即建立几何校正的数学模型；再利用已知条件确定模型参数；最后利用模型对图像进行几何校正；

畸变校正是一种映射，将畸变的像素投影到校正的像素位置上；通过已知的标准矩形框，对图像进行畸变校正；对于图像畸变校正，是通过已获得的畸变后图像，还原得到没有畸变的图像；根据特征点的畸变关系，通过畸变模型推导其映射关系；在图像上，选择特征点的像素坐标位置，以这正常图像的坐标位置去求在畸变图像中的坐标位置，取出对应的像素值，再利用插值处理的方法，对图像进行还原处理；

图像畸变校正步骤：

输入矫正前图像；

在图像中寻找目标矩形的四个角点坐标；

设定输出矩形大小或矫正后的四个角点坐标；

根据矫正前后对应坐标点，求解透视变换矩阵；

利用透视变换矩阵对图像进行处理，并得到矫正后的图像；

其中图像和实际距离关系为：

在图像上摆放已知长宽的特征物，计算图像特征物的几个图像距离和实际距离比值的平均值作为图像像素点和实际国际单位的关系，进而根据图像上工件距离得到工件实际距离：

像素与毫米的转换关系：

计算图像上间距转换为国际单位中值d_tsj的关系：

Images