CN106530226A - 获取高分辨率高清晰工业图像的实现方法 - Google Patents

Abstract

本发明公开了一种获取高分辨率高清晰工业图像的实现方法，图像采集器通过分次拍摄获得至少两幅工件的局部小范围的第一子图像，对所述获得的至少两幅子图像分别进行校正获得高清晰的第二子图像，最后，对所述至少两幅第二子图像进行拼接融合获得高分辨率高清晰的工业图像。本发明能够在成本和成像硬件系统有限的情况下同样可获得高质量高分辨物体全貌图像。

Description

获取高分辨率高清晰工业图像的实现方法

技术领域

本发明属于图像处理与机器视觉技术领域，具体涉及一种获取高分辨率高清晰工业图像的实现方法。

背景技术

随着自动化和智能技术和设备的应用，视觉检测日益成为自动化智能机器与设备的重要组成部份，相当于给自动化的机器装上了眼睛，更有效地实施和完成工作，但是随着产品检查的多样化和高精度检测需求，对相机采集的原始数据就提出了较高的要求，而目前市面上的大面阵高分辨的工业相机，价格昂贵，而且对数据的读取率往往难以达到要求，即相机分辨率和帧率是一个相互制衡的关系，因此，对于大尺寸的工件检查，往往采用一个面阵相机在视野和精度方面很难满足要求，同时，当需采集的图像视野范围越大，对其他配套的硬件设施也要求越高，比如配套的镜头和光源，配置一套符合大尺寸工件检测需求的成像系统往往需要高成本，甚至因为寻求这么一套成像系统严重影响项目进度要求。

显然寻求一种利用现有技术成熟的工业相机、镜头、符合检测需求自由选用的光源组成的成像系统获取较大工件的成像方法是一种以满足技术和工艺方面需要的简化有效方法。

发明内容

有鉴于此，本发明的主要目的在于提供一种获取高分辨率高清晰工业图像的实现方法。

为达到上述目的，本发明的技术方案是这样实现的：

本发明实施例提供一种获取高分辨率高清晰工业图像的实现方法，该方法为：图像采集器通过分次拍摄获得至少两幅工件的局部小范围的第一子图像，对所述获得的至少两幅子图像分别进行校正获得高清晰的第二子图像，最后，对所述至少两幅第二子图像进行拼接融合获得高分辨率高清晰的工业图像。

上述方案中，所述对所述获得的至少两幅子图像分别进行校正获得高清晰的第二子图像，具体为：对所述第一子图像依次进行平场校正和几何校正后获得第二子图像。

上述方案中，所述对所述第一子图像进行平场校正，具体为：

S101：获得暗本图像在光亮、温度、时间相同环境下产生的像素值I_B(x,y)，通过公式(1)表示：

I_B(x,y)＝Ki(x,y)t+I_off (1)

式中i(x,y)为探测器在相应工作条件下的暗电流，单位为电子数/秒·像元来表示；t为获取一幅图像的时间，K为转换关系，其单位为图像/电子数；

S102：通过对均匀光场的成像获取一幅平场校正的参考图像I_R(x,y)，参考图像通过用公式(2)表示，

I_R(x,y)＝η(x,y)X_o+Ki(x,y)t+I_off (2)

根据平场校正法将公式(2)减去公式(1)得

η(x,y)＝[I_R(x,y)-I_B(x,y)]/X_o (3)

通过公式(3)获取对应于每一个像素响应率的数据，相当于对图像探测器所有的像素都建立了一个响应率的查找表；

S103：待校正的子图像I(x,y)用公式(4)表示，

I(x,y)＝η(x,y)X(x,y)+Ki(x,y)t+I_off (4)

当系统为线性响应时，即η(x,y)为一常量，综合式(4)(3)(1)可得

X(x,y)/X_o＝[I(x,y)-I_B(x,y)]/(I_R(x,y)-I_B(x,y)] (5)

式(5)表示一幅相对值图像，由于X_o是均匀的，在式(5)乘以合理的数据，就得到一幅灰度适中、对图像处理不会产生不良影响的子图像。

上述方案中，所述对平场校正后获得的子图像进行几何校正，具体为使用棋盘格标定板进行标定，即棋盘格为模板，棋盘格模板上的特征点空间坐标已知，通过标定算法获得所述图像采集器的内外参数，经坐标变换将畸变的子图像映射到理想图像，再对经坐标变换后的图像采集器子图像采用双线性插值法进行灰度重建，获得几何校正后的第二子图像I_g。

上述方案中，所述对所述至少两幅第二子图像进行拼接融合获得高分辨率高清晰的工业图像，具体为提取所述至少两幅第二子图像中的特征点，对每两幅第二子图像之间的匹配特征点进行匹配，之后剔除错误匹配的特征点，根据正确的匹配特征点确定两幅第二子图像的单应性变换关系矩阵H，根据所述单应性变换关系矩阵H对至少两幅第二子图像进行拼接融合获得高分辨率高清晰的工业图像。

上述方案中，所述提取所述至少两幅第二子图像中的特征点，具体为：根据Harris算子对第二子图像进行Harris特征检测，并提取出Harris特征点。

上述方案中，所述对每两幅第二子图像之间的匹配特征点进行匹配，具体为：根据特征点邻域像素灰度值的互相关系数为匹配原则进行特征点匹配，即分别在参考图像和待配准图像中以每个特征点为中心取大小为(2N+1)×(2N+1)大小的相关窗，再以参考图像中的每个特征点为参考点在待配准图像中寻找对应匹配点，匹配依据为计算特征点相关窗之间的相关系数：

其中，W是相关窗的大小，I_g1和I_g2分别为两幅待配准图像中特征点相关窗内像素的灰度值，cc为相关系数，特征点匹配时选取相关系数中最大的相关系数所对应的特征点作为该参考点的匹配点。

上述方案中，所述剔除错误匹配的特征点，具体为：采用随机抽样一致性算法(RANSAC)剔除错误匹配的特征点。

上述方案中，该方法还包括基于所述提取特征点和剔除错误匹配的特征点后得到正确的特征点匹配对关系，建立两个拼接子图像对应变换的单应性矩阵H；根据正确的特征匹配对作为图像样本集，求两幅子图像之间的变换关系；

设两个子图像间的变换关系采用如下参数变换模型描述：

即H为一个3*3矩阵，

根据正确的匹配特征点对求取单应性矩阵H，将第二幅子图像参照第一幅子图像重新投射到第一幅子图像的平面空间，即第二幅子图像变换为

上述方案中，所述对所述至少两幅第二子图像进行拼接融合获得高分辨率高清晰的工业图像，具体为：通过加权平均法对每两幅第二子图像进行重叠区域的平滑过渡的像素级融合。

I_s代表拼接图像，I_g1代表第一幅子图像，代表第二幅子图像根据单应性矩阵变换后的子图像2。

w₁和w₂分别为第一幅图像和第二幅图像中重叠区域对应像素的加权值，两者满足w₁+w₂＝1,0＜w₁,w₂＜1，适当选择权重，使得重叠区域实现平滑过渡，消除拼接痕迹，最终拼接融合为一张高分辨率高清晰的工业图像。

与现有技术相比，本发明的有益效果：

本发明实施例提供一种获取高分辨率高清晰工业图像的实现方法，该方法为：图像采集器通过分次拍摄获得至少两幅工件的局部小范围的第一子图像，对所述获得的至少两幅子图像分别进行校正获得高清晰的第二子图像，最后，对所述至少两幅第二子图像进行拼接融合获得高分辨率高清晰的工业图像；通过本发明能够在成本和成像硬件系统有限的情况下同样可获得高质量高分辨的物体全貌图像。

附图说明

图1为本发明实施例提供一种获取高分辨率高清晰工业图像的实现方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例提供一种获取高分辨率高清晰工业图像的实现方法，如图1所示，该方法通过以下步骤实现：

S1:图像采集器通过分次拍摄获得至少两幅工件的局部小范围的第一子图像；

具体地，所述图像采集器为CCD相机、摄像机用于采集图像的设备。

以CCD相机为例，CCD相机被安装在平台上，所述CCD相机拍摄视野范围为60mm×80mm，固定在Z轴上，通过对视野的确定和镜头、调焦完成后保持固定，工作平台的Y轴定义为下面可运动的检测平台，Y轴实现前后运动，X轴实现左右运动，Z轴实现上下运动，PLC设定程序控制X_Y_Z平台运动，CCD相机在X轴上平移，工件放在Y轴工作台平移，这样组合能够实现设定路径的运动。

S2：对所述获得的至少两幅子图像分别进行校正获得高清晰的第二子图像；

具体地，对所述第一子图像依次进行平场校正和几何校正后获得第二子图像。

所述平场校正就是纠正因光照不均匀、镜片中心和镜片边缘响应不一致、成像器件各像元响应不一致、固定背景噪声等导致的在对均匀的目标成像时，实际成像中各像素值的差异较大的问题；图像经平场校正后能够消除各像素响应不均一的影响，获得高清晰的第二子图像I_f；

对所述获得的至少两幅子图像进行平场校正，具体为：

S101：获得暗本图像在光亮、温度、时间相同环境下产生的像素值I_B(x,y)，通过公式(1)表示：

I_B(x,y)＝Ki(x,y)t+I_off (1)

式中i(x,y)为探测器在相应工作条件下的暗电流，单位为电子数/秒·像元来表示；t为获取一幅图像的时间，K为转换关系，其单位为图像/电子数；I_off表示图像的偏置值大小；

S102：通过对均匀光场的成像获取一幅平场校正的参考图像I_R(x,y)，参考图像通过用公式(2)表示，

I_R(x,y)＝η(x,y)X_o+Ki(x,y)t+I_off (2)

式中η(x,y)表示特定像素对光的转换敏感度，为各像素的响应率、X_o为均匀光场值。根据平场校正法将公式(2)减去公式(1)得

η(x,y)＝[I_R(x,y)-I_B(x,y)]/X_o (3)

通过公式(3)获取对应于每一个像素响应率的数据，相当于对图像探测器所有的像素都建立了一个响应率的查找表；

S103：待校正的子图像I(x,y)用公式(4)表示，

I(x,y)＝η(x,y)X(x,y)+Ki(x,y)t+I_off (4)

当系统为线性响应时，即η(x,y)为一常量，综合式(4)(3)(1)可得

X(x,y)/X_o＝[I(x,y)-I_B(x,y)]/(I_R(x,y)-I_B(x,y)] (5)

式(5)表示一幅相对值图像，由于X_o是均匀的光场值，在式(5)乘以合理的数据，就得到一幅灰度适中、消除了各像素响应不一致影响的子图像I_f。

对平场校正后获得的子图像进行几何校正，具体为使用棋盘格标定板进行标定，即棋盘格为模板，棋盘格模板上的特征点空间坐标已知，通过标定算法获得所述图像采集器的内外参数，经坐标变换将畸变的子图像映射到理想图像，再对经坐标变换后的图像采集器子图像采用双线性插值法进行灰度重建，获得几何校正后的第二子图像I_g。

S3：根据取所述至少两幅第二子图像确定两幅第二子图像的单应性变换关系矩阵H。

具体地，提取所述至少两幅第二子图像中的特征点，对每两幅第二子图像之间的匹配特征点进行匹配，之后剔除错误匹配的特征点，根据正确的匹配特征点确定两幅第二子图像的单应性变换关系矩阵H，根据所述单应性变换关系矩阵H对至少两幅第二子图像进行拼接融合获得高分辨率高清晰的工业图像。

所述提取所述至少两幅第二子图像I_g中的特征点，具体为：根据Harris算子对第二子图像I_g分别进行Harris特征检测，并提取出Harris特征点。

所述对每两幅第二子图像I_g之间的匹配特征点进行匹配，具体为：根据特征点邻域像素灰度值的互相关系数为匹配原则进行特征点匹配，即分别在参考图像和待配准图像中以每个特征点为中心取大小为(2N+1)×(2N+1)大小的相关窗，再以参考图像中的每个特征点为参考点在待配准图像中寻找对应匹配点，匹配依据为计算特征点相关窗之间的相关系数：

其中，W是相关窗的大小，I_g1和I_g2分别为两幅待配准图像中特征点相关窗内像素的灰度值，cc为相关系数，特征点匹配时选取相关系数中最大的相关系数所对应的特征点作为该参考点的匹配点。

所述剔除错误的匹配特征点，采用随机抽样一致性算法(RANSAC)算法剔除算法中错误匹配的特征点。

所述随机抽样一致性算法(RANSAC)算法原理为①考虑一个最小抽样集的势为n的模型(n为初始化模型参数所需的最小样本数)和一个样本集P，集合P的样本数#(P)>n，从P中随机抽取包含n个样本的P的子集S初始化模型M；②余集SC＝P\S中与模型M的误差小于某一设定阈值t的样本集以及S构成S*。S*认为是内点集，它们构成S的一致集(ConsensusSet)；③若#(S*)≥N，认为得到正确的模型参数，并利用集S*(内点inl iers)采用最小二乘等方法重新计算新的模型M*；重新随机抽取新的S，重复以上过程；④在完成一定的抽样次数后，若未找到一致集则算法失败，否则选取抽样后得到的最大一致集判断内外点，算法结束。

基于上述提取特征点和剔除错误特征点后得到正确的特征点匹配对关系，建立两个拼接子图像对应变换的单应性矩阵H。

即根据正确的特征匹配对作为图像样本集，求两幅子图像之间的变换关系；

设两个子图像间的变换关系采用如下参数变换模型描述：

即H为一个3*3矩阵，

根据正确的匹配特征点对求取单应性矩阵H，将第二幅子图像参照第一幅子图像重新投射到第一幅子图像的平面空间，即第二幅子图像变换为

S4：对所述至少两幅第二子图像进行拼接融合获得高分辨率高清晰的工业图像。

具体地，所述对所述至少两幅第二子图像进行拼接融合获得高分辨率高清晰的工业图像，具体为：通过加权平均法对每两幅第二子图像进行重叠区域的平滑过渡的像素级融合。

I_s代表拼接图像，I_g1代表第一幅子图像，代表第二幅子图像根据单应性矩阵变换后的子图像2。

w₁和w₂分别为第一幅图像和第二幅图像中重叠区域对应像素的加权值，两者满足w₁+w₂＝1,0＜w₁,w₂＜1，适当选择权重，使得重叠区域实现平滑过渡，消除拼接痕迹，最终拼接融合为一张高分辨率高清晰的工业图像。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种获取高分辨率高清晰工业图像的实现方法，其特征在于，该方法为：图像采集器通过分次拍摄获得至少两幅工件的局部小范围的第一子图像，对所述获得的至少两幅子图像分别进行校正获得高清晰的第二子图像，最后，对所述至少两幅第二子图像进行拼接融合获得高分辨率高清晰的工业图像。

2.根据权利要求1所述的获取高分辨率高清晰工业图像的实现方法，其特征在于，所述对所述获得的至少两幅子图像分别进行校正获得高清晰的第二子图像，具体为：对所述第一子图像依次进行平场校正和几何校正后获得第二子图像。

3.根据权利要求2所述的获取高分辨率高清晰工业图像的实现方法，其特征在于，所述对所述第一子图像进行平场校正，具体为：

S101：获得暗本图像在光亮、温度、时间相同环境下产生的像素值I_B(x,y)，通过公式(1)表示：

I_B(x,y)＝Ki(x,y)t+I_off (1)

式中i(x,y)为探测器在相应工作条件下的暗电流，单位为电子数/秒·像元来表示；t为获取一幅图像的时间，K为转换关系，其单位为图像/电子数；

S102：通过对均匀光场的成像获取一幅平场校正的参考图像I_R(x,y)，参考图像通过用公式(2)表示，

I_R(x,y)＝η(x,y)X_o+Ki(x,y)t+I_off (2)

根据平场校正法将公式(2)减去公式(1)得

η(x,y)＝[I_R(x,y)-I_B(x,y)]/X_o (3)

通过公式(3)获取对应于每一个像素响应率的数据，相当于对图像探测器所有的像素都建立了一个响应率的查找表；

S103：待校正的子图像I(x,y)用公式(4)表示，

I(x,y)＝η(x,y)X(x,y)+Ki(x,y)t+I_off (4)

当系统为线性响应时，即η(x,y)为一常量，综合式(4)(3)(1)可得

X(x,y)/X_o＝[I(x,y)-I_B(x,y)]/(I_R(x,y)-I_B(x,y)] (5)

式(5)表示一幅相对值图像，由于X_o是均匀的，在式(5)乘以合理的数据，就得到一幅灰度适中、对图像处理不会产生不良影响的子图像。

4.根据权利要求2或3所述的获取高分辨率高清晰工业图像的实现方法，其特征在于，所述对平场校正后获得的子图像进行几何校正，具体为使用棋盘格标定板进行标定，即棋盘格为模板，棋盘格模板上的特征点空间坐标已知，通过标定算法获得所述图像采集器的内外参数，经坐标变换将畸变的子图像映射到理想图像，再对经坐标变换后的图像采集器子图像采用双线性插值法进行灰度重建，获得几何校正后的第二子图像I_g。

5.根据权利要求1所述的获取高分辨率高清晰工业图像的实现方法，其特征在于，所述对所述至少两幅第二子图像进行拼接融合获得高分辨率高清晰的工业图像，具体为提取所述至少两幅第二子图像中的特征点，对每两幅第二子图像之间的匹配特征点进行匹配，之后剔除错误匹配的特征点，根据正确的匹配特征点确定两幅第二子图像的单应性变换关系矩阵H，根据所述单应性变换关系矩阵H对至少两幅第二子图像进行拼接融合获得高分辨率高清晰的工业图像。

6.根据权利要求5所述的获取高分辨率高清晰工业图像的实现方法，其特征在于，所述提取所述至少两幅第二子图像中的特征点，具体为：根据Harris算子对第二子图像进行Harris特征检测，并提取出Harris特征点。

7.根据权利要求5所述的获取高分辨率高清晰工业图像的实现方法，其特征在于，所述对每两幅第二子图像之间的匹配特征点进行匹配，具体为：根据特征点邻域像素灰度值的互相关系数为匹配原则进行特征点匹配，即分别在参考图像和待配准图像中以每个特征点为中心取大小为(2N+1)×(2N+1)大小的相关窗，再以参考图像中的每个特征点为参考点在待配准图像中寻找对应匹配点，匹配依据为计算特征点相关窗之间的相关系数：

$cc=\frac{\underset{x,y\∈W}{\Σ}\[I_{g1}\left(x,y\right)I_{g2}\left(x,y\right)\]}{\sqrt{\underset{x,y\∈W}{\Σ}{I}_{g1}^2\left(x,y\right)}\sqrt{\underset{x,y\∈W}{\Σ}{I}_{g2}^2\left(x,y\right)}}---\left(6\right)$

其中，W是相关窗的大小，I_g1和I_g2分别为两幅待配准图像中特征点相关窗内像素的灰度值，cc为相关系数，特征点匹配时选取相关系数中最大的相关系数所对应的特征点作为该参考点的匹配点。

8.根据权利要求5所述的获取高分辨率高清晰工业图像的实现方法，其特征在于，所述剔除错误匹配的特征点，具体为：采用随机抽样一致性算法(RANSAC)剔除错误匹配的特征点。

9.根据权利要求5所述的获取高分辨率高清晰工业图像的实现方法，其特征在于，该方法还包括基于所述提取特征点和剔除错误匹配的特征点后得到正确的特征点匹配对关系，建立两个拼接子图像对应变换的单应性矩阵H；根据正确的特征匹配对作为图像样本集，求两幅子图像之间的变换关系；

设两个子图像间的变换关系采用如下参数变换模型描述：

$\left[\begin{array}{c}\hat{x}\\ \hat{y}\\ 1\end{array}\right]=\left[\begin{array}{ccc}{m}_0& m_1& m_2\\ m_3& m_4& m_5\\ m_6& m_7& 1\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$

即H为一个3*3矩阵，

$H=\left[\begin{array}{ccc}{m}_0& m_1& m_2\\ m_3& m_4& m_5\\ m_6& m_7& 1\end{array}\right]$

根据正确的匹配特征点对求取单应性矩阵H，将第二幅子图像参照第一幅子图像重新投射到第一幅子图像的平面空间，即第二幅子图像变换为

10.根据权利要求5所述的获取高分辨率高清晰工业图像的实现方法，其特征在于，所述对所述至少两幅第二子图像进行拼接融合获得高分辨率高清晰的工业图像，具体为：通过加权平均法对每两幅第二子图像进行重叠区域的平滑过渡的像素级融合。

I_s代表拼接图像，I_g1代表第一幅子图像，代表第二幅子图像根据单应性矩阵变换后的子图像2。

$I_s\left(x,y\right)=\left\{\begin{array}{cc}{I}_{g1}\left(x,y\right)& \left(x,y\right)\∈I_{g1}\\ w_1*I_{g1}\left(x,y\right)+w_2*\widehat{I_{g2}}\left(x,y\right)& \left(x,y\right)\∈I_{g1\∩}\widehat{I_{g2}}\\ \widehat{I_{g2}}\left(x,y\right)& \left(x,y\right)\∈\widehat{I_{g2}}\end{array}\right.$

w₁和w₂分别为第一幅图像和第二幅图像中重叠区域对应像素的加权值，两者满足w₁+w₂＝1,0＜w₁,w₂＜1，适当选择权重，使得重叠区域实现平滑过渡，消除拼接痕迹，最终拼接融合为一张高分辨率高清晰的工业图像。