CN109840889B - 基于仿生算法的高精度视觉测量方法、装置和系统 - Google Patents

基于仿生算法的高精度视觉测量方法、装置和系统 Download PDF

Info

Publication number
CN109840889B
CN109840889B CN201910066714.5A CN201910066714A CN109840889B CN 109840889 B CN109840889 B CN 109840889B CN 201910066714 A CN201910066714 A CN 201910066714A CN 109840889 B CN109840889 B CN 109840889B
Authority
CN
China
Prior art keywords
edge
image
pixel
points
resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910066714.5A
Other languages
English (en)
Other versions
CN109840889A (zh
Inventor
谢昕
王伟如
胡锋平
江勋绎
王斌
万天成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hefei Minglong Electronic Technology Co ltd
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN201910066714.5A priority Critical patent/CN109840889B/zh
Publication of CN109840889A publication Critical patent/CN109840889A/zh
Application granted granted Critical
Publication of CN109840889B publication Critical patent/CN109840889B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提出一种基于仿生算法的高精度视觉测量方法、装置和系统。该方法包括步骤：建立像素尺寸与待测物体实际空间几何尺寸映射关系；获取多张待测物体的低分辨率图像；通过基于残差网络的超分辨率算法进行超分辨率重构；对重构后的图像，利用Canny边缘检测算子提取边缘点、运用希尔伯特变换提取角点，以边缘点和角点作为启发信息，通过果蝇算法进行边缘追踪；最后利用相关机制得到单像素边缘，推算待测物体的空间几何尺寸。该装置包括映射模块、图像采集模块、重构模块、边缘粗检测模块、果蝇检测模块和推算模块。该系统包括载物台、CCD相机、二维工作台等。本发明有效的扩大单次成像的视场，降低了测量成本，提高了检测效率。

Description

基于仿生算法的高精度视觉测量方法、装置和系统
技术领域
本发明涉及仿生算法的高精度视觉测量技术领域，特别是涉及基于仿生算法的高精度视觉测量方法、装置和系统。
背景技术
轴套类零件是工业生产领域基本的元件，在各类各样的机械设备中非常常见。而在制造和装配过程中，零件外表面有时不可避免的会出现各类缺陷，如：划痕、凹坑等。这些缺陷看似微不足道，却可能会对其使用性能产生不良影响，所以在零件的生产和装配过程中需要对其进行严格的检测。传统的零件缺陷检测，通常采取人工方式来对零件的缺陷进行检测，不但速度慢，而且产品缺陷检测的可靠性也无法得到有效保证，不能满足企业日益对产品质量提高的迫切需求。随着智能制造技术的不断发展，各种基于机器视觉的缺陷检测方法不断涌现。
基于机器视觉的零件检测研究从20世纪90年开始兴起，目前逐渐进入各工业领域，测量手段和方法也得到了快速发展。早期对几何尺寸的视觉测量研究主要集中在对微小尺寸的检测和测量，如机械零件的自动识别及几何尺寸测量、表面粗糙度和表面缺陷检测。对于较大或细长类零件几何尺寸的综合检测，则很少采用机器视觉，主要因为CCD一次成像获取较大尺寸物体全景图时，由于分辨率不高从而导致局部尺寸的检测精度低。但近年来，基于机器视觉的高精度测量逐渐引起关注，围绕视觉测量技术做了大量研究。例如，Song Li-mei等为了分类齿轮和实现高精度测量结果，提出了一种基于激光视觉的非接触式齿轮测量系统，激光视觉精密测量方法(LVPMM)确保了测量的准确性，可以满足2级标准齿轮测量要求。赵辉等提出了一种分段式图像测量系统实现大尺寸弧长的精密在线测量，而在某些应用场合，例如发动机曲轴、凸轮轴等较大长径比类零件，分段式图像测量不能适用于同轴度、径向跳动等位置误差的综合检测。郭斌等分析了一种轴类零件尺寸检测的图像边缘高精度定位方法，采用改进的自适应中值滤波算法、改进的Kirsch算子和在图像边缘灰度梯度方向上进行二次函数逼近高斯曲线拟合方法，实现了图像边缘亚像素高精度定位，提高了尺寸检测精度。黄源等首先采用中值滤波和高斯滤波对气门图像进行预处理，然后针对不同的边缘使用不同检测算法实现图像边缘的像素级定位。赵萍利用图像的灰度曲面特性和边缘曲线特性，采用了包括各向异性双边滤波、基于Facet模型的亚像素边缘提取和边缘曲线拟合的三级逼近图像边缘检测算法，使所构建的视觉测量系统测量精度可以达到微米级。
此外，为解决部分缺陷检测方法难以达到缺陷检测的高精度、实时性以及通用性的要求，在现有技术中，一种基于视觉识别的精密轴尺寸测量方法被提出，该方法包括步骤：建立像素尺寸与待测精密轴实际空间几何尺寸映射关系；获取多张待拼接精密轴图像；建立参考图像与待拼接图像之间的转换模型，进行转换；基于CS和NSST算法相结合对转换后的待拼接图像进行拼接，融合成一张待测精密轴的整体图像；对融合后的整体图像，首先使用多级滤波的感兴趣边缘检测方法进行像素级边缘跟踪与初步定位，然后采用Sobel算子与最小二乘曲线拟合相结合，得到亚像素精度的边缘，根据检测到的边缘和所述映射关系，推算待测精密轴的空间几何尺寸。该方法采用图像融合技术，将多张图片融合拼接成一张图片进行匹配来判定该零件是否有缺陷，解决了由于精密轴的形状特点而一台CCD相机无法获取完整的精密轴图像的问题，有效降低图像拼接数据处理量，提高了检测效率，可实时在线检测。
然而，受CCD制造成本的限制，在该方法中，视场和精度仍然是一对相互制约的矛盾，要想获得较高的测量精度，成像的视场便被局限在一个很小的范围内；要想获得较大的单次成像视场，测量精度就会受到影响。受此限制，该方法在精密轴零件测量主要存在的不足之一是：要想获取高精度的图片就要采用高精度的CCD相机，而高精度的CCD相机成本较高，并且为了提高检测效率，需要多台CCD相机在不同角度分别采集图像，成本则成为了主要的制约因素；而若出于成本考虑，仅使用一台CCD相机，则需要频繁的移动工作台或者CCD相机测头从不同角度获取完整的精密轴图像样本，这无疑大大降低了检测效率。
由此可见，现有技术中的这种基于图像拼接技术的视觉测量方法，受到CCD制造能力和成本的限制，单次成像视场范围和测量精度的矛盾仍是这类仪器中的主要矛盾，满足成像精度要求则单次成像视场较小，并且这一矛盾使得测量效率与成本相互制约。因此，如何摆脱这一矛盾的制约，如何提供一种对成像精度要求不高、可扩大单次成像视场的机器视觉测量方法，成为本领域技术人员有待解决的技术问题。
发明内容
本发明的目的是提供一种基于仿生算法的高精度视觉测量方法、装置和系统，以解决现有技术中的基于图像拼接技术的测量方法单次成像视场受成像精度制约的技术问题。
为实现上述目的，本发明提供了如下方案：
本发明实施例的第一个方面，提出一种基于仿生算法的高精度视觉测量方法，包括步骤：
建立图像像素尺寸与待测物体实际空间几何尺寸的映射关系；
获取待测物体的多幅第一低分辨率图像；
对多幅第一低分辨率图像进行基于残差网络的超分辨率重构，得到第一超分辨率图像；
对第一超分辨率图像，通过改进的Canny边缘检测算子提取出边缘点；通过希尔伯特变换提取角点；
以边缘点和角点作为启发信息，通过果蝇算法进行边缘追踪，得到单像素边缘；
根据单像素边缘和映射关系，推算待测物体的空间几何尺寸。
可选的，对多幅第一低分辨率图像进行基于残差网络的超分辨率重构之前，还包括对残差网络进行结构优化的步骤，具体包括残差单元结构优化和网络结构优化；
残差单元结构优化，包括去除每个残差网络单元中的批归一化层，并在深度支路上的残差网络单元中加入池化层；
网络结构优化，包括按照距离输入端越远则层数越少的原则，调节不同残差网络单元内卷积神经网络的层数分配，以调节整个残差网络模型中深度网络的权重。
可选的，对多幅第一低分辨率图像进行基于残差网络的超分辨率重构，具体包括：
基于优化后的所述残差网络建立卷积神经网络模型；
获取多张待测物体的高分辨率图像；
然后通过对高分辨率图像进行4倍下采样得到第二低分辨率图像；
通过卷积神经网络模型学习第二低分辨率图像到高分辨率图像的映射，得到卷积神经网络模型内的权值参数；
在对卷积神经网络模型进行训练的反向传播过程中，使用损失函数对网络效果进行评判，以调整卷积神经网络模型中的权值参数；
将采集到的多幅第一低分辨率图像通过卷积神经网络模型进行超分辨率重构。
可选的，通过改进的Canny边缘检测算子提取出边缘点之前，还包括对Canny边缘检测算子进行改进：采用几何均值滤波器和中值滤波器组合成的混合滤波器代替传统Canny算法的高斯滤波器，将几何均值滤波器的输出作为中值滤波的输入；
和/或，通过改进的Canny边缘检测算子提取出边缘点，包括：
利用混合滤波器对第一超分辨率图像进行预处理；
对经过预处理的第一超分辨率图像进行非极大值抑制，得到第二图像；
对第二图像进行线性边缘增强，得到备选背景像素集合及备选前景像素集合；
通过备选背景像素集合与备选前景像素集合获取最佳阈值的上下界，通过最佳阈值的上下界进行线性组合计算最佳阈值，根据最佳阈值设置高阈值和低阈值，进行边缘连接。
可选的，通过希尔伯特变换提取角点，包括：
通过希尔伯特变换将图像信号在空间域中角点信息转化为极值点的提取；
对于极值点的检测，运用邻域检测方法：划分出每个像素的3×3邻域，分析中间像素点的值和其邻域内8个相邻像素点的灰度值之间的大小关系；判断中间像素点的值是否均比周围8个相邻像素点的值大，是，则认为中间像素点为局部角点，反之不是局部角点。
可选的，通过果蝇算法进行边缘追踪，得到单像素边缘，包括：
设置果蝇选择任意路线进行迭代，在经过的每个像素点上进行相邻像素点结构搜索；
设置最大搜索次数，当结构搜索次数达到这个最大值，即使未满足图像边缘搜索终止条件，也应停止搜索并输出检测结果；
将果蝇分为两类，探测果蝇和寻路果蝇；寻路果蝇先进行图像边缘初步检测，探测果蝇根据寻路果蝇的边缘检测结果进行味道浓度检测，得到单像素边缘。
可选的，探测果蝇根据寻路果蝇的边缘检测结果进行味道浓度检测，包括步骤：
设探测果蝇数量为k0，味道浓度阈值为T；
提取第一个寻路果蝇给出的边缘检测结果，判断k0个探测果蝇在当前边缘检测结果的不同节点的味道浓度是否满足味道浓度阈值T，将满足味道浓度阈值T的探测果蝇所在节点从第二超分辨率图像中标记出来，作为标记点；随后提取下一个寻路果蝇的边缘检测结果进行判断，直到所有寻路果蝇的边缘检测结果均被提取并判断；
平滑连接所述标记点，得到单像素边缘。
可选的，根据单像素边缘和映射关系，推算待测物体的空间几何尺寸之前，还包括步骤：
基于多个自由平面标定法对摄像机的内部参数和外部参数进行标定，结合非线性畸变校正数学模型，通过最小二乘法计算出畸变参数值；
将畸变参数值作为初始值，利用动态调整惯性权重的粒子群算法进行优化搜索，获得最优参数值，进行畸变校正。
本发明实施例的第二个方面，还提出一种基于仿生算法的高精度视觉测量装置，包括：
映射模块，用于建立图像像素尺寸与待测物体实际空间几何尺寸的映射关系；
图像采集模块，用于获取待测物体的多张低分辨率图像；
重构模块，用于对多幅所述低分辨率图像进行基于残差网络的超分辨率重构，得到第一超分辨率图像；
边缘粗检测模块，用于对所述第一超分辨率图像，通过改进的Canny边缘检测算子提取出边缘点；通过希尔伯特变换提取角点；
果蝇检测模块，用于以所述边缘点和角点作为启发信息，通过果蝇算法进行边缘追踪，得到单像素边缘；
推算模块，用于根据所述单像素边缘和所述映射关系，推算待测物体的空间几何尺寸。
本发明实施例的第三个方面，还提出一种基于仿生算法的高精度视觉测量系统，包括载物台、CCD相机、光源、二维工作台、PLC执行机构、图像采集卡、计算机和显示器/控制界面；
二维工作台置于所述载物台上方；CCD相机固定于二维工作台上，所述CCD相机装设有光学镜头，光学镜头朝向载物台；载物台上与光学镜头相对的位置设有载件玻片，用于放置待测物体；载件玻片下方设有光源；
PLC执行机构与二维工作台和所述计算机通讯连接，PLC执行机构用于根据计算机下发的指令控制二维工作台产生二维移动，使CCD相机依次采集载件玻片上的待测物体不同视场的低分辨率图像；
图像采集卡与CCD相机和计算机通讯连接，图像采集卡用于存储CCD相机采集的低分辨率图像并传输至计算机；
计算机，用于执行上述测量方法，并通过显示器/控制界面显示测量结果。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提供了一种基于仿生算法的高精度视觉测量方法，对多幅低分辨率图像进行基于残差网络的超分辨率重构，采用改进的Canny边缘检测算子提取出边缘点作为启发信息，基于果蝇算法进行边缘追踪，得到单像素边缘，根据图像像素尺寸与待测物体实际尺寸的映射关系，推算待测物体的实际空间几何尺寸。该方法通过对低分辨率图像进行基于残差网络的超分辨率重建，在不影响检测精度的同时，对图像采集设备例如CCD相机的成像精度要求不高，采集低分辨率图像即可，如此有效的扩大了单次成像的视场，可快速的获取零件的完整图像，提高了图像采集的效率，同时由于对图像精度要求的降低使得成像设备的成本也所有降低。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一种基于仿生算法的高精度视觉测量方法的流程图；
图2为本发明实施例中改进前的SRResNet网络模型示例的结构示意图；
图3a-图3c分别为改进前的残差网络单元、去除BN层的残差网络单元以及增加池化层的残差网络单元示意图；
图4为本发明实施例中一个残差网络结构示例的等效图；
图5为本发明实施例中改进后的SRResNet网络模型示例的结构示意图；
图6为本发明实施例中基于亚像素错位一维模型示意图；
图7为本发明实施例中二维图像超分辨率重建示意图；
图8为本发明实施例中线性边缘增强窗口示意图；
图9为果蝇算法中果蝇觅食过程示意图；
图10为本发明实施例中像素点结构搜索线路与果蝇移动角度关系图；
图11为本发明基于仿生算法的高精度视觉测量系统的一个实施例的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上技术方案更加明显易懂，下面结合具体实施方式对本发明作进一步详细的说明。
实施例1
参见图1所示，本发明提供的基于仿生算法的高精度视觉测量方法，主要包括步骤：
步骤S110，建立图像像素尺寸与待测物体实际空间几何尺寸的映射关系。
该步骤即建立图像坐标系中像素点的坐标和世界坐标系中被测物体(例如精密轴等轴类套件)的目标特征点的坐标之间的对应关系。作为一种可实施方式，可预先获取参考图像，通过参考图像建立图像中像素尺寸与待测物体实际空间几何尺寸的对应关系。
步骤S111，获取待测物体的多幅第一低分辨率图像。
步骤S112，对多幅第一低分辨率图像进行基于残差网络的超分辨率重构，得到第一超分辨率图像。
步骤S113，对第一超分辨率图像，通过改进的Canny边缘检测算子提取出边缘点；通过希尔伯特变换提取角点。
对重构后的图像，利用Canny边缘检测算子的原理提取出了边缘点，然后通过对高、低阈值进行线性组合得出的阈值进行边缘点的阈值划分，得到边缘点的先验知识；然后运用希尔伯特变换提取角点信息，作为仿生算法边缘检测的启发信息。
步骤S114，以步骤S113得出的边缘点和角点作为启发信息，通过果蝇算法进行边缘追踪，得到单像素边缘。
建立基于果蝇算法的边缘追踪模型，通过对随机性和正反馈两种机制的协调，完成对边缘的追踪，得到单像素边缘。
步骤S115，根据单像素边缘和映射关系，推算待测物体的空间几何尺寸。
本发明实施例提供的基于仿生算法的高精度视觉测量方法，无需要求初始采集的图像具有较高分辨率，而是通过基于残差网络的超分辨率重建技术重构超分辨率的图像，并通过以果蝇算法为核心的边缘追踪技术，得到超分辨率图像的单像素边缘，进而推算出待测物体的空间几何尺寸，该方法可以在实现较高的检测精度的同时，扩大初始成像的单次视场范围，提高了图像采集的效率，避免了由于单次成像精度和视场相互制约导致的一系列问题。该方法不仅可用于精密轴等轴类零件的机器视觉测量，也可应用于其他类型零件的视觉测量，本发明不一一列举。
实施例2
本发明实施例2提供基于仿生算法的高精度视觉测量方法的一个优选实施例。
在本实施例中，该方法包括步骤：
步骤S211，获取参考图像，建立参考图像中像素尺寸与待测物体实际空间几何尺寸的映射关系。
参考图像，为预先获取的一幅标准图像，用于建立图像像素尺寸和待测物体实际尺寸的对应关系。
优选地，进行测量之前，还需要对成像系统从硬件设备角度进行测量精度的调节。本发明实施例中，当物面沿系统光轴方向移动时，利用视场中不同区域图像达到清晰度最佳的位置不同，建立数学模型，计算出光轴与物面的偏角，当调节至视场中不同区域图像在相同位置达到清晰度最佳，说明此时系统光轴与物面的垂直程度达到最佳。
步骤S212，获取待测物体的多幅第一低分辨率图像。
步骤S213，对残差网络进行结构优化。
残差网络与普通卷积神经网络相比，主要是在输入与输出之间增加了一条通路，从而使网络只需学习LR与HR的残差。残差网络相当于多个不同深度的网络总和，而其中深度网络所占比例较小，所以能在一定程度上解决深度卷积网络的梯度消失和过拟合问题。基于残差网络的超分辨率重建模型SRResNet结构如图2所示，LR(Low-resolution)图像先经过输入的卷积层，进入一个残差网络单元，每个单元内有两个卷积层，在层间使用批归一化和ReLu激活函数，经过多个残差单元后进入Dconv层，得到最终的SR(Super Resolution)图像。
本发明对残差网络进行了改进，具体如下：
A、残差单元结构优化
在SRResNet中，每个卷积层后都有一个批归一化(Batch Normalization)处理步骤。批归一化处理是指使用每个训练批次数据的均值和方差对卷积后的数据进行白化处理，然后加入平移和缩放参数，以增加网络容纳能力。使用批归一化处理后的数据能够使下一层神经网络更好地学习，一定程度避免了梯度弥散现象，在深度网络中应用较多。
批归一化在基于卷积神经网络的应用上很成功，效果改善明显，但在超分辨率应用中使用批归一化效果很差。这是因为批归一化处理在一定程度上破坏了图像空间信息，使后面网络需要学习的参数更多，导致最终结果更差，抵消了深度网络带来的增益，所以在改进网络的设计中，将BN层去除。由于去除BN层会导致深度网络出现梯度弥散现象，所以在深度支路上的残差网络中加入池化层，从而减少参数，使网络训练更有效率。参见图3a-图3c所示，图3a是原SRResNet残差单元，图3b为去除BN层后的网络单元，图3c为增加的池化层残差单元。
B、网络结构优化
参见图4所示，图4左侧是一个典型的残差网络，f1、f2、f3分别是3个不同的残差块，离输入端的距离由近到远。右侧是其等效图，可以看出在整个网络中，层数较深网络的支路不多，大部分是中等层数的网络，而越靠近输出端的网络，在深度网络中权重越大。由此可得，通过调节f1、f2、f3残差网络单元内卷积神经网络的层数分配，即可调节整个网络模型中深度网络的权重。
在SRResNet中，每个残差网络单元内的卷积层数量，在改进后的网络中，网络前部使用包含较多层的残差网络单元，越靠后使用的残差网络单元层数越少。该设计可以在使用相同数量参数的情况下使整个网络包含的深度网络支路更多，从而提高生成图像的质量。图5为改进后的网络结构图，残差单元中的卷积神经网络层数按离输入端远近分别为3层、2层、1层。根据上述说明，可知调整后网络的深度支路增加，从而使优化后的网络能够更有效率地工作。同时，为了避免深度网络中的梯度弥散和过拟合现象，在网络层数较深的支路，也即在靠近输出端的残差网络单元中加入池化层。
步骤S214，对多幅第一低分辨率图像进行基于残差网络的超分辨率重构，得到第一超分辨率图像。
具体地，作为一种可实施方式，将卷积神经网络用于图像超分辨率重建方法的优化，首先对待测物体例如精密轴的高分辨率图像进行采集(可预先通过高精度CCD相机摄取)，随机抽取若干图像作为HR图像(即高分辨率图像)，然后通过对HR图像进行4倍下采样得到LR图像(即第二低分辨率图像)，网络模型通过学习LR图像到HR图像的映射得到其神经网络内的权值参数，在神经网络训练过程中，反向传播是一个重要步骤，该步骤需要使用损失函数对网络效果进行评判，从而调整神经网络中的权值参数。作为一种可实施方式，损失函数如公式(1)所示。最后将通过CCD相机采集到的多幅第一低分辨率图像通过基于残差网络的图像超分辨率算法模型进行超分辨率重建，以获得一幅高分辨率图像。
Figure BDA0001955948120000111
L(θ)是网络的损失函数，Yi是LR图像，F(Yi；θ)是经过网络后生成的SR(超分辨率)图像，Xi是原始HR图像。
对于重建的一维模型，本发明实施例以四幅图像序列为例，推导了重建出分辨率提高至原始图像四倍的高分辨率图像重建算法。由于在高精度影像测量系统中采用的CCD相机通常为宽像元相机，忽略像元间的间距，以两幅互有微位移的图像序列为例，建立的超分辨率重建算法一维模型如图6所示。
A，B是像元大小均为2d、分辨率为N，亚像素微位移的大小为f1的两幅原始图像；H是要重建的分辨率为2N的图像。由于图像中H0和H1所对应的场景由于错位的关系仅在A中成像而未在B中成像，因此在重建H的过程中，本发明实施例近似的使H0＝H1＝A0，(在实际应用中，错位部分一般为背景信息，不包括目标信息，因此并不影响对被测对象信息分辨率的提升)。对于H2,H3Λ可以根据与A、B的对应关系以及所占的权重关系来进行重建，经推导，得到公式(2)和公式(3)，当0＜a≤d时：
Figure BDA0001955948120000121
当d＜a＜2a时：
Figure BDA0001955948120000122
根据此公式即可计算出高分辨图像各像元的灰度值。对于利用N(N＞2)幅互有微位移的图像来重建一幅分辨率扩大N倍的单幅图像，也可按相同的方法进行重建，参见图7所示。
将该一维模型推广至整个二维图像，即可以实现图像序列的超分辨率重建。如图7所示，A、B、C、D为四幅互有位移的低分辨率图像，以图像A左上角的顶点为原点，沿图像方向建立坐标系，那么B、C、D三幅图像的顶点坐标分别为(Δx,0)，(0,Δy)，(Δx,Δy)，其中Δx和Δy分别为经过图像平移后的图像序列间横向和纵向的亚像素微位移大小。根据A、B、C、D中不同像素在相应高分辨率的网格上所对应的面积比作为权重关系，进行网格灰度值的计算，从而得到包含目标信息的高分辨率图像H。由于在图像整像素的平移过程中，能够使得|Δx,Δy|≤0.5λ，其中λ为原始图像的像素大小，此时，对于高分辨率网格上的边缘像素(不包含被测信息的错位部分)，仍用图像A中相应的像素代替，经推导，得到的高分辨率图像重建算法公式(4)：
Figure BDA0001955948120000131
其中，i,j为自然数，|α＝Δx/λ,b＝Δy/λ|≤0.5。
得到第一超分辨率图像后，则对该图像进行边缘定位。本发明实施例中，作为一种可实施方式，图像边缘定位技术的过程包括：首先利用Canny边缘检测算子的原理提取出了边缘点，然后利用通过对高、低阈值进行线性组合得出的阈值进行边缘点的阈值划分，得到边缘点的先验知识；第二步运用希尔伯特变换提取角点，第三步以边缘和角点作为启发信息，建立基于果蝇算法的边缘追踪模型，通过对随机性和正反馈两种机制的协调，完成了对边缘的追踪；最后利用相关机制得到单像素边缘。
步骤S215，对Canny边缘检测算子进行改进。
传统方法利用高斯滤波器对图像进行平滑噪声，由于固定区域的像素灰度值差值较大，利用高斯滤波容易使图像边缘模糊，导致边缘图像缺失很多细节，并且Canny算子阈值参数的选取不是依靠图像边缘的特征信息来选取，而是需要人为设定，因此适应性差，容易造成漏检或者出现伪边缘。
本发明实施例提出采用几何均值滤波器和中值滤波器组合成的混合滤波器代替传统Canny算法的高斯滤波器。算法的原理是将几何均值滤波器的结果作为中值滤波器的输入，利用该算法可以降低图像噪声，保留更多的图像边缘细节。
几何均值滤波器能够在一定程度上对图像进行降噪，且这种降噪使丢失的图像细节更少。其算法的基本原理是通过计算大小为m×n的矩形子图像窗口的一组像素，每个复原的像素由子图像窗口中像素乘积的1/mn次幂给出。几何均值滤波f(x,y)也可用数学表达式表示为：
Figure BDA0001955948120000141
其中，g(s,t)为图像窗口内的像素灰度值。
中值滤波是最著名的统计排序滤波器，利用其非线性平滑滤波的特性，在处理某些类型的随机噪声时，不仅具有良好的去噪能力，而且与同尺寸的线性平滑滤波器相比引起的模糊更少，且在单极或双极脉冲噪声的处理上特别有效。其基本原理是：采用3×3邻域窗口，对窗口各点的灰度值进行排序，将排序后的中间值代替窗口中心点的灰度。中值滤波也可用数学表达式表示为：
Figure BDA0001955948120000142
步骤S216，基于改进的Canny边缘检测算子，提取边缘点。
线性边缘增强是通过分析噪声与真实边缘的区别，进而增强图像中的真实边缘，利用边缘接近线性的程度加强真实边缘，同时提高由于光照等因素影响的弱边缘灰度值。在本发明实施例中，进行线性边缘增强包括：
选定一个窗口，统计窗口内边缘线接近直线的线性程度，如图8所示。
通过计算edge上边缘点x到窗口中心O与边缘线质心m直线上的投影距离dist，根据投影距离将边缘点划分为周围点与中间点，并通过中间点数和周围点数的差值计算边缘线的线性程度，从而增强图像的边缘灰度值。中间点与边缘点的定义分别为：|dist|＜0.5的点定义为中间点Ccenter，将|dist|≥1的点定义为周围点Rround1和Rround2。
自适应阈值算法Otsu算法是一种自动确定阈值方法。通过将一幅图像按照灰度划分为前景与背景两部分，遍历图像灰度范围0～(L-1)内的像素灰度，计算对应方差，并通过不断比较，从而获得前景与背景之间的最大类间方差，达到最佳分割的效果。然而对于复杂图像及对比度低的图像时，Otsu算法不仅执行效率低，且很难获得分割效果好的最佳阈值。
因此本发明实施例中，通过简化Otsu算法遍历灰度等级获取最佳阈值的方式提高算法的执行效率，提出一种新的阈值选取方式。原理是统计线性边缘增强窗口内边缘点接近线性的程度，将边缘点的灰度值分为备选前景与备选背景两类，当r＝Ccenter-Rround1-Rround2＞0时，窗口中心点对应的灰度值归为备选前景，当r＝Ccenter-Rround1-Rround2≤0时，该点对应的灰度值归为备选背景，以此为准则，在增强边缘灰度值的同时统计备选背景部分的灰度值集合C1＝{l1,l2,Λ,lm}及备选前景部分的灰度值集合C2＝{l1,l2,Λ,ln}，统计集合C1求得中值Ca，统计集合C2求得中值Cb，将得到的Ca和Cb作为Otsu算法迭代计算图像最佳阈值的上下界，设在Ca和Cb间有L个不同灰度的灰度级，ni表示灰度级为i的像素数，图像像素总数为MN，像素i对应的概率为：
pi＝ni/MN (7)
选择一个阈值T(k)＝k,Ca＜k＜Cb，根据该阈值划分为D1和D2两类，其中D1为[Ca,k]内的所有像素组成，D2由灰度值在[k+1,Cb]范围内的所有像素组成。利用该阈值，像素被分到D1类的概率P1(k)为：
Figure BDA0001955948120000151
类似地，像素被分到D2类的概率P2(k)为：
Figure BDA0001955948120000152
则分配到D1和D2类的平均灰度值分别为：
Figure BDA0001955948120000153
Figure BDA0001955948120000154
整个图像的平均灰度值同比缩放到上下界之间的总像素的平均灰度，即：
Figure BDA0001955948120000155
图像背景和目标两类像素的类间方差定义为：
σ2(k)＝P1(k)(m1(k)-mG)2+P2(k)(m2(k)-mG)2 (12)
则最佳阈值k*为：
Figure BDA0001955948120000161
在本发明实施例中，将获得的最佳阈值作为双阈值的高阈值Th，选择0.5*Th的阈值作为低阈值Tl进行最后的边缘连接。
作为一种可实施方式，步骤S216具体可包括步骤：
1)利用混合滤波器对第一超分辨率图像进行预处理。
2)对第一超分辨率图像进行非极大值抑制，得到第二图像。
3)对第二图像进行线性边缘增强，得到备选背景像素集合及备选前景像素集合。
4)基于简化的Otsu算法，通过备选背景与备选前景像素集合获取最佳阈值的上下界，并通过计算(参见上述步骤)获得最佳阈值，将最佳阈值作为高低阈值选取的基础，进行最后的双阈值连接。
本发明中第一超分辨率图像以及第二图像等均为本发明对同一待测物体所拍摄的图像进行图像处理过程中处于不同阶段的图像，仅为描述清楚用序数词加以区分，不可理解为针对不同待测物体分别拍摄的图像。
经步骤S216得到边缘检测的初步结果，即提取出重构出的超分辨率图像的边缘点信息。
步骤S217，通过希尔伯特变换提取角点。
通过信号希尔伯特变换的特点，运用希尔伯特变换提取图像角点信息。对图像进行二维希尔伯特变换，图像角点信息通过希尔伯特变换，绝对值的波峰明显地表现出来，对于峰值检测，运用邻域检测方法。
在本发明实施例中采用的邻域检测方法为：首先划分出每个像素的3×3邻域像素，其次分析中间像素点的值和其邻域内8个邻居的灰度值之间的大小关系。如果中间像素点的值均比周围8个像素点的值大，则认为中间的像素点的局部最大点(角点)。反之该点不是局部最大点。
步骤S218，以步骤S216提取的边缘点和步骤S217提取的角点作为启发信息，通过果蝇算法进行边缘追踪，得到单像素边缘。
果蝇优化算法(FOA)是基于群体的演化算法，其基本思想来源于果蝇觅食行为。果蝇在嗅觉和视觉能力上优于其他物种。果蝇首先通过嗅觉搜索食物(可达40km远)，当离食物较近时，通过敏锐的视觉继续进行搜索，并最终找到食物源。图9为果蝇觅食过程。根据果蝇群体觅食行为特点，可将标准果蝇优化算法分为以下几个步骤。
Step1:初始化
设置种群规模(popsize),最大迭代次数(maxgen),果蝇群体位置范围(LR)和果蝇的单次飞行范围(FR)等相关参数值.果蝇群体中每个个体的位置信息由其对应的(X，Y)二维坐标给出,其初始位置由下面的公式定义:
Figure BDA0001955948120000171
Step2:嗅觉搜索过程
Step2.1:当群体中的每一只果蝇利用其嗅觉搜索时,赋予它一个随机的飞行方向和距离。果蝇个体i新的位置由下式给出:
Figure BDA0001955948120000172
Step2.2:因为食物味道的来源位置是未知的,因此先利用下式计算果蝇个体距离原点的距离Disti:
Figure BDA0001955948120000173
然后通过下式计算其味道浓度判定值Si:
Si＝1/Disti (17)
Step2.3:通过下式计算当前群体中每个果蝇个体的味道浓度值Smelli:
Smelli＝Fitness(Si) (18)
fitness表示味道浓度判断函数,在利用FOA进行优化问题求解时,它是目标函数或适应度函数。
Step2.4:选择当前群体中具有最佳味道浓度值的果蝇,记录其味道浓度值和相应位置：
[bestSmell,bestIndex]＝min(Smell) (19)
Step3:视觉搜索过程。
保持最佳味道浓度值和对应果蝇位置信息,群体中的其他果蝇均利用视觉飞向此位置,即：
SmellBest＝bestSmell (20)
Figure BDA0001955948120000181
Step4:重复Step2和Step3,直到算法迭代次数达到maxgen。
普通图像边缘的过渡灰度会突然增加，由此通过传统的果蝇算法可以将边缘快速检测出来。但当一幅图像中含有的像素点很多，传统果蝇优化算法为了保证图像边缘显示效果就必须进行多次迭代，这样便消耗了大量检测时间。
本发明实施例中，将采用数据结构控制思想对传统果蝇优化算法加以改进，使果蝇不按照像素域分配的路线进行迭代，而是在提取边缘点和角点后的第一超分辨率图像中选择任意路线，首先使得每只果蝇分布在一个M×N的二维网格点阵上，其中每一个网格点就代表M×N像素的8比特(1字节)的灰度值(0-255)的图像上相应的像素，并且果蝇将会同样在如此的二维网格点阵上运动，果蝇在某时刻所处的地点和此时果蝇的运动方向表示果蝇本身。在每个时间果蝇所处的位置都会有8个邻域位置，规定果蝇每步只能选择到相邻的一个方格中，而不能越格移动。
感知强度的定义函数为S(i,j)公式如(26)所示，其作用是对像素点结构进行数据挖掘，利用相似原则判断附近像素点是否为边缘像素点。
为了避免将图像噪声作为错边缘点输出，数据结构控制思想利用边缘模糊映射完成结构搜索结果输出。将果蝇在图像上的移动规则设置成随机平均移动，用
一个模糊变量U进行结构搜索结果扫描，在t时间下进行扫描的模糊变量为Ut，设χ为模糊控制因子(通常设χ＝4.2)，当结构搜索结果满足式(22)时，边缘像素点可输出。
Ut+1＝χUt(1-Ut) (22)
在数据结构控制思想下果蝇优化算法的改进过程中，设模糊变量U的行扫描起点
Figure BDA0001955948120000182
为：
Figure BDA0001955948120000183
式中：
Figure BDA0001955948120000184
表示模糊变量U在像素域第i行上的模糊向量；p为扫描列；q为扫描行。
在模糊控制因子χ的控制下，
Figure BDA0001955948120000191
满足：
Figure BDA0001955948120000192
数据结构控制思想对图像边缘搜索的终止条件为
Figure BDA0001955948120000193
如果搜索结果未达到终止条件，用式(25)继续进行果蝇移动迭代，其中，
Figure BDA0001955948120000194
为列扫描起点，r,d分别表示行、列移动条件，默认果蝇移动坐标为(-1,1)，有：
Figure BDA0001955948120000195
以像素域为例，像素点结构搜索路线与果蝇移动角度θ有关，如图10所示，该图中的1、2、3、4、5表示的是搜索路线的设定，根据公式(26)后的角度限制条件来确定某一坐标点的感知强度。
根据图10中搜索路线的设定，果蝇将沿着图像边缘进行移动，避免了无效迭代，感知强度S(i,j)也可以保证在一个较高水准。不同果蝇移动角度下的感知强度S(i,j)以及搜索路线可用下式表示：
Figure BDA0001955948120000196
式中V代表某一坐标点的味道浓度。
为了最大限度地改进果蝇优化算法的图像边缘检测效率，可设置一个最大搜索次数，当结构搜索次数达到这个最大值，即使没能满足图像边缘搜索终止条件，也应停止搜索，并输出检测结果。图像边缘搜索终止条件即图像边缘检测的结果为单边缘像素。但这样设置容易影响到最终的检测效果，所以需要在果蝇搜索规则上进行进一步改进。将果蝇分为两类，即探测果蝇与寻路果蝇。寻路果蝇先进行图像边缘快速检测，探测果蝇将寻路果蝇给出的结果进行味道浓度检测，排除噪声影响。为了避免拖慢图像边缘检测效率，可在资源使用率支持的条件下，尽可能增加探测果蝇数量。探测果蝇的图像边缘检测过程分三步进行：
1)设置图像边缘检测参数，设探测果蝇数量为k0，味道浓度阈值为T；
2)提取第一个寻路果蝇给出的边缘检测结果，用k0个探测果蝇同时在不同节点判断味道浓度是否满足阈值T，将满足阈值的结果在原图像中标记出来。随后提取下一个寻路果蝇的检测结果进行判断，直到将所有正确检测结果标记成功；
3)在原图像上将标记点置于白色，其他点置于黑色，平滑连接标记点，完成图像边缘检测。
其中，果蝇初始位置分布的改变，使其以较高概率成为边缘的像素点作为起点对图像进行全局搜索，在对高概率区域检测的同时也将算法迭代过程更多地应用于局部边缘的寻找，提高了算法运行效率；而禁忌表的加入有助于加强果蝇寻找最优解的能力，禁忌表即用于记录果蝇已经选择过的点的信息表，将果蝇已经选择过的点的某些信息记录在该表中，当算法在执行时，对该像素点8个邻接位置进行选择，对存在于禁忌表中的点选择跳过，从而选择那些从来没有被搜索到的点，就可以达成更大区域的搜索目标，避免了果蝇在局部搜索范围内进行无意义的往返运动；果蝇算法边缘追踪模型的建立，实现了信息素和启发信息共同对边缘追踪的导向作用，避免了果蝇在非边缘区域分布和行走，还解决了传统算法中随机性和正反馈两种机制的不协调的问题。
并且，自适应地改变信息素挥发率系数的值将会提高算法的全局搜索能力，信息素挥发率ρ的调整是为了避免算法陷入局部最优或者停滞状态，并且ρ值好的改变也会提升算法的收敛速度。本文对信息素挥发率ρ做了自适应调整，调整公式如下：
Figure BDA0001955948120000201
其中ρmin为ρ的最小值。ε为常数，ε为ρ(t-1)的调整系数，取值范围为(0,1]。在算法初期，为了增大信息素的影响，增强算法的全局搜索能力，此时ρ的取值要尽量小。当算法在N次迭代循环后，得到的最优解却没有明显提高时，此时就要增大ρ的值，这样做是为了减小信息素的影响，从而扩大果蝇的搜索范围，让搜索跳出局部最优。此时将上式代入局部信息素更新公式，就会得到新的信息素更新公式。
Figure BDA0001955948120000211
第二次进行全局更新：所有果蝇完成运动之后按下式进行更新：
Figure BDA0001955948120000212
其中
Figure BDA0001955948120000213
为全局信息素挥发因子，τ0是初始状态下预先给定的信息素矩阵,τij(t)表示经过迭代后像素点上的信息素强度。
步骤219，根据步骤S211所建立的映射关系，推算出图像中的单像素边缘的像素尺寸所对应的实际待测物体的空间几何尺寸。
步骤S220，对推算出的检测数据与待测精密轴的实际尺寸进行比较，根据误差理论建立畸变补偿函数，对测量后的数据进行畸变校正和误差补偿处理。
因摄像机成像的数学模型是通过针孔成像的原理而建立的，若是在摄像机的镜头在生产或者安装时的不规范问题，以及光学成像也不可避免的出现非线性模型的几何成像失真，可能就会给摄像机成像带来一定程度的图像畸变，这种现象也叫做摄像机内部参数或者外部参数的畸变误差。
在实际视觉检测系统中，由于镜头畸变等原因会导致实际像素点坐标位置跟理论像素点坐标位置产生偏离，而导致检测系统精度下降，为此，在加入摄像机镜头畸变因素的情况下，仅仅利用摄像机非线性畸变校正模型通过最小二乘法求得摄像机的径向畸变参数和切向畸变参数，很难使其达到最优化，而且不具有全局优化特性，畸变参数的精度就直接影响后续图像畸变校正的效果。在本发明实施例中，通过基于多个自由平面标定算法对摄像机的内部参数和外部参数进行标定，在考虑畸变因素的影响下，通过最小二乘法对畸变校正数学模型计算畸变参数。然后将这些参数作为初始值，利用粒子群算法进行优化搜索，进而获得最优参数值。
本发明实施例2采用基于残差网络的图像超分辨率重建算法的改进，由一幅或多幅低分辨率图像重建来获得一幅清晰的高分辨率图像；利用Canny边缘检测算子提取边缘点，通过高、低阈值进行线性组合得出阈值进行边缘点的阈值划分，得到边缘点的先验知识；然后通过希尔伯特变换提取角点；最后通过果蝇算法，建立模型利用相关机制得到单像素边缘。然后采用多个自由平面标定法计算出摄像机内部参数和外部参数，然后通过最小二乘法计算出畸变参数值，并结合非线性畸变校正数学模型，利用逆运算的方法求解出畸变校正后的实际坐标点，得到畸变校正后的实际图像，进而推算出待测物体的空间几何尺寸。该算法检测精度高，且对成像设备例如CCD相机的成像精度要求不高，达到低分辨率即可，由此扩大了单次成像的视场，一定程度上缓解了由于图像采集的繁琐而导致的检测效率低下的问题。
实施例3
本发明实施例还提供一种基于仿生算法的高精度视觉测量装置。该装置包括：
映射模块，用于获取参考图像，建立参考图像中像素尺寸与待测物体实际空间几何尺寸的映射关系。
图像采集模块，用于获取待测物体的多张低分辨率图像。
重构模块，用于对多幅低分辨率图像进行基于残差网络的超分辨率重构，得到第一超分辨率图像。
边缘粗检测模块，用于对第一超分辨率图像，通过改进的Canny边缘检测算子提取出边缘点；通过希尔伯特变换提取角点。
果蝇检测模块，用于以边缘点和角点作为启发信息，通过果蝇算法进行边缘追踪，得到单像素边缘。
推算模块，用于根据单像素边缘和图像像素尺寸与物体实际空间几何尺寸的映射关系，推算待测物体的空间几何尺寸。
实施例4
本发明实施例还提供一种基于仿生算法的高精度视觉测量系统，参见图11所示，该系统包括载物台1、CCD相机2、光源3、二维工作台4、PLC执行机构5、图像采集卡6、计算机7和显示器/控制界面8。
二维工作台4置于载物台1上方；CCD相机2固定于二维工作台4上，CCD相机2装设有光学镜头21，光学镜头21朝向载物台1；载物台1上与光学镜头21相对的位置设有载件玻片11，用于放置待测物体；载件玻片11下方设有光源3。
PLC执行机构5与二维工作台4和计算机7通讯连接，PLC执行机构5用于根据计算机7下发的指令控制二维工作台4产生二维移动，使CCD相机2依次采集载件玻片11上的待测物体不同视场的低分辨率图像。
图像采集卡6与CCD相机2和计算机7通讯连接，图像采集卡6用于存储CCD相机2采集的低分辨率图像并传输至计算机7。
计算机7，用于执行上述实施例所述的测量方法，并通过显示器/控制界面8显示测量结果。测量结果可以包括推算出的待测物体的空间几何尺寸、是否合格等信息。
通过二维工作台4使CCD相机2和载物台1之间产生二维移动，从而使CCD相机2对载件玻片11上的单个工件(载件玻片上一次可放置10个工位)进行完整成像，通过CCD相机2获取工件的图像信息，并将该图像信息通过图像采集卡6传输至计算机7，经过图像处理程序给出工件所要求的几何尺寸信息和评判结果，同时通过通讯协议与PLC执行机构5通讯，控制工作台移动，使CCD相机移动至下一个工件所在的位置，按相同过程实现其测量和评判，最终待当前载件玻片11上零件全部测量完毕，在显示器/控制界面8中的控制界面中给出该批零件的评判结果和相应的位置信息，便于对载件玻片上的零件进行分选。
本发明实施例所搭建的测量系统虽然对初始采集图像的精度要求不高，但对测量结果的精度要求较高，因此在选择CCD相机时，主要对会影响到系统精度的主要特性参数进行分析并综合考虑成本等因素进行设计选型。CCD相机的主要特性参数包括：分辨率及芯片尺寸、动态范围、灵敏度、光谱响应、像元深度以及帧速率等。其中分辨率是CCD相机的最为重要的性能参数之一，数字相机的分辨率直接取决于靶面上像元的数目，主要用于衡量相机对物像中明暗细节的分辨能力，尤其是图像边缘细节的刻画能力，因此CCD相机分辨率的高低将直接影响到系统的精度。相机的动态范围代表相机探测光信号的范围，是指饱和电压和噪声电压之间的比值，通常与像元大小有关，CCD像元尺寸越大，其动态范围就越大，CCD器件由于暗电流的因素出现噪声的程度相对较小。
因此，在本发明实施例中，选择动态范围相对较大的CCD器件可以降低图像中的噪声，利于系统精度的提升。灵敏度是指在一定光谱范围内，单位曝光量与输出信号电压(电流)之间的关系，本系统中采用亮度可调的LED光源对被测工件进行单独照明，因此并不苛求CCD器件具有高灵敏度的特性，而且具有高灵敏度特性的CCD器件通常动态范围相对较小，也更容易产生较大的图像噪声。另外，本发明的测量系统对CCD器件的光谱响应、像元深度以及帧速率等其他参数并没有特殊要求。
综合考虑硬件成本并通过实验对比选择了Adimec4000m工业相机。由于轴类零件特征参数的特殊性，在调研的物方远心镜头中难以找到满足要求的镜头，因此采用了远心光学镜头，使轴类零件的关键尺寸所处的环带区域(靠近视场边缘的部分)畸变最小。另外，为了获得更高的分辨率，在镜头的设计中选择了波长相对较短的蓝光进行色差的矫正。因此，在选择光源时，也选择了单色性较好的蓝光LED光源进行照明，并采用光谱仪对光源的光谱进行了测量。最终完成了测量系统的硬件设计。
在测量系统搭建完成之后，为了使该系统能在测量中发挥其最佳的性能，保证高精度的测量目标能够实现，必须对系统中各主要器件之间的相互位置关系进行高精度的调节，以期更接近于理想状态。在该系统中，镜头光轴与像面的垂直关系依靠镜头的加工精度和CCD相机的制造精度保证，首先需要调节的主要是物面与光轴的垂直度和物面与完全聚焦面的重合程度。其中拍摄系统的光轴与物面不垂直，会造成两个方面的影响：1.导致图像变形失真；2.造成整个物面无法同时清晰成像：而物面与完全对焦面的重合程度将直接影响到图像的清晰程度。可以看出，两者都将影响到系统的测量精度。因此，为了能够实现高精度的测量目标，对系统物面与光轴的垂直度以及物面与完全对焦面的重合程度进行高精度的调节是至关重要的。
在本发明实施例中，针对高精度影像测量系统的调节，主要包括物面与系统光轴之间的垂直度调节和物面的对焦调节。首先针对物面与光轴间的垂直度调节，采用基于图像区域清晰度的垂直度调节方法，并通过实验证明该方法的评价误差优于0.1°，在高精度影像测量系统中能够有效的评价系统光轴与物面的微小倾角。其次，为了提高物面的对焦精度，采用基于图像插值的清晰度评价算法。该方法在对获得的图像进行插值处理的基础上，利用平方梯度函数进行图像清晰度的评价，有效的提高了图像对成像像面的采样，使得由微小离焦量所引起的图像边缘灰度值的变化充分展现，从而实现了物面对焦的高精度调节，满足了高精度的测量要求。通过实验可以看出，插值后清晰度函数值拟合曲线的半宽度变窄，因而能够将峰值定位在更加准确的位置，最终实现了光轴的垂直度调节，提高了物面的对焦精度，适用于调节精度要求较高的高精度影像测量系统，具有精度高、方便、速度快等优点。
综上，本发明提供的一种基于仿生算法的高精度视觉测量方法、装置和系统，对CCD相机采集的低分辨率图像进行基于残差网络的超分辨率重构，得到超分辨率的图像；之后在图像边缘定位过程中首先利用Canny边缘检测算子的原理提取出了边缘点，然后通过对高、低阈值进行线性组合得出的阈值进行边缘点的阈值划分，得到边缘点的先验知识；第二步运用希尔伯特变换提取角点，第三步以边缘和角点作为启发信息，建立基于果蝇算法的边缘追踪模型，通过对随机性和正反馈两种机制的协调，完成了对边缘的追踪，最后利用相关机制得到单像素边缘。该方法具有很好的检测精度和噪声鲁棒性，在不降低检测结果的精度的同时，扩大了单次图像采集的视场范围，解决了现有技术由于受限于图像精度问题而图像采集效率较低的问题，提高了测量效率，降低了测量成本，为一种经济实用的实时在线视觉测量方案。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (8)

1.基于仿生算法的高精度视觉测量方法，其特征在于，包括步骤：
建立图像像素尺寸与待测物体实际空间几何尺寸的映射关系；
获取待测物体的多幅第一低分辨率图像；
对多幅所述第一低分辨率图像进行基于残差网络的超分辨率重构，得到第一超分辨率图像；
对所述第一超分辨率图像，通过改进的Canny边缘检测算子提取出边缘点；通过希尔伯特变换提取角点；所述改进的Canny边缘检测算子，通过采用几何均值滤波器和中值滤波器组合成的混合滤波器代替Canny边缘检测算子的高斯滤波器，将所述几何均值滤波器的输出作为所述中值滤波的输入而获得；
以所述边缘点和角点作为启发信息，通过果蝇算法进行边缘追踪，得到单像素边缘，具体包括：
设置果蝇选择任意路线进行迭代，在经过的每个像素点上进行相邻像素点结构搜索；设置最大搜索次数，当结构搜索次数达到这个最大值，即使未满足图像边缘搜索终止条件，也应停止搜索并输出检测结果；将果蝇分为两类，探测果蝇和寻路果蝇；所述寻路果蝇先进行图像边缘初步检测，所述探测果蝇根据所述寻路果蝇的边缘检测结果进行味道浓度检测，得到单像素边缘；
其中，所述探测果蝇根据所述寻路果蝇的边缘检测结果进行味道浓度检测，包括：设所述探测果蝇数量为k0，味道浓度阈值为T；提取第一个所述寻路果蝇给出的边缘检测结果，判断k0个所述探测果蝇在当前边缘检测结果的不同节点的味道浓度是否满足味道浓度阈值T，将满足味道浓度阈值T的探测果蝇所在节点从第二超分辨率图像中标记出来，作为标记点；随后提取下一个所述寻路果蝇的边缘检测结果进行判断，直到所有寻路果蝇的边缘检测结果均被提取并判断，平滑连接所述标记点，得到单像素边缘；
根据所述单像素边缘和所述映射关系，推算待测物体的空间几何尺寸。
2.根据权利要求1所述的基于仿生算法的高精度视觉测量方法，其特征在于，所述步骤对多幅所述第一低分辨率图像进行基于残差网络的超分辨率重构之前，还包括对残差网络进行结构优化的步骤，具体包括残差单元结构优化和网络结构优化；
所述残差单元结构优化，包括去除每个残差网络单元中的批归一化层，并在深度支路上的残差网络单元中加入池化层；
所述网络结构优化，包括按照距离输入端越远则层数越少的原则，调节不同残差网络单元内卷积神经网络的层数分配，以调节整个残差网络模型中深度网络的权重。
3.根据权利要求2所述的基于仿生算法的高精度视觉测量方法，其特征在于，所述步骤对多幅所述第一低分辨率图像进行基于残差网络的超分辨率重构，具体包括：
基于优化后的所述残差网络建立卷积神经网络模型；
获取多张待测物体的高分辨率图像；
然后通过对所述高分辨率图像进行4倍下采样得到第二低分辨率图像；
通过所述卷积神经网络模型学习所述第二低分辨率图像到所述高分辨率图像的映射，得到所述卷积神经网络模型内的权值参数；
在对所述卷积神经网络模型进行训练的反向传播过程中，使用损失函数对网络效果进行评判，以调整所述卷积神经网络模型中的所述权值参数；
将采集到的多幅所述第一低分辨率图像通过所述卷积神经网络模型进行超分辨率重构。
4.根据权利要求1所述的基于仿生算法的高精度视觉测量方法，其特征在于：
所述步骤通过改进的Canny边缘检测算子提取出边缘点，包括：
利用所述混合滤波器对所述第一超分辨率图像进行预处理；
对经过预处理的所述第一超分辨率图像进行非极大值抑制，得到第二图像；
对所述第二图像进行线性边缘增强，得到备选背景像素集合及备选前景像素集合；
通过所述备选背景像素集合与所述备选前景像素集合获取最佳阈值的上下界，通过最佳阈值的上下界进行线性组合计算最佳阈值，根据所述最佳阈值设置高阈值和低阈值，进行边缘连接。
5.根据权利要求1所述的基于仿生算法的高精度视觉测量方法，其特征在于，所述步骤通过希尔伯特变换提取角点，包括：
通过希尔伯特变换将图像信号在空间域中角点信息转化为极值点的提取；
对于极值点的检测，运用邻域检测方法：划分出每个像素的3×3邻域，分析中间像素点的值和其邻域内8个相邻像素点的灰度值之间的大小关系；判断中间像素点的值是否均比周围8个相邻像素点的值大，是，则认为中间像素点为局部角点，反之不是局部角点。
6.根据权利要求1所述的基于仿生算法的高精度视觉测量方法，其特征在于，所述步骤根据所述单像素边缘和所述映射关系，推算待测物体的空间几何尺寸之前，还包括步骤：
基于多个自由平面标定法对摄像机的内部参数和外部参数进行标定，结合非线性畸变校正数学模型，通过最小二乘法计算出畸变参数值；
将所述畸变参数值作为初始值，利用动态调整惯性权重的粒子群算法进行优化搜索，获得最优参数值，进行畸变校正。
7.基于仿生算法的高精度视觉测量装置，其特征在于，包括：
映射模块，用于建立图像像素尺寸与待测物体实际空间几何尺寸的映射关系；
图像采集模块，用于获取待测物体的多张低分辨率图像；
重构模块，用于对多幅所述低分辨率图像进行基于残差网络的超分辨率重构，得到第一超分辨率图像；
边缘粗检测模块，用于对所述第一超分辨率图像，通过改进的Canny边缘检测算子提取出边缘点；通过希尔伯特变换提取角点；所述改进的Canny边缘检测算子，通过采用几何均值滤波器和中值滤波器组合成的混合滤波器代替Canny边缘检测算子的高斯滤波器，将所述几何均值滤波器的输出作为所述中值滤波的输入而获得；
果蝇检测模块，用于以所述边缘点和角点作为启发信息，通过果蝇算法进行边缘追踪，得到单像素边缘，具体包括：
设置果蝇选择任意路线进行迭代，在经过的每个像素点上进行相邻像素点结构搜索；设置最大搜索次数，当结构搜索次数达到这个最大值，即使未满足图像边缘搜索终止条件，也应停止搜索并输出检测结果；将果蝇分为两类，探测果蝇和寻路果蝇；所述寻路果蝇先进行图像边缘初步检测，所述探测果蝇根据所述寻路果蝇的边缘检测结果进行味道浓度检测，得到单像素边缘；
其中，所述探测果蝇根据所述寻路果蝇的边缘检测结果进行味道浓度检测，包括：设所述探测果蝇数量为k0，味道浓度阈值为T；提取第一个所述寻路果蝇给出的边缘检测结果，判断k0个所述探测果蝇在当前边缘检测结果的不同节点的味道浓度是否满足味道浓度阈值T，将满足味道浓度阈值T的探测果蝇所在节点从第二超分辨率图像中标记出来，作为标记点；随后提取下一个所述寻路果蝇的边缘检测结果进行判断，直到所有寻路果蝇的边缘检测结果均被提取并判断，平滑连接所述标记点，得到单像素边缘；
推算模块，用于根据所述单像素边缘和所述映射关系，推算待测物体的空间几何尺寸。
8.基于仿生算法的高精度视觉测量系统，其特征在于，包括载物台、CCD相机、光源、二维工作台、PLC执行机构、图像采集卡、计算机和显示器/控制界面；
所述二维工作台置于所述载物台上方；所述CCD相机固定于所述二维工作台上，所述CCD相机装设有光学镜头，所述光学镜头朝向所述载物台；载物台上与所述光学镜头相对的位置设有载件玻片，用于放置待测物体；所述载件玻片下方设有光源；
所述PLC执行机构与所述二维工作台和所述计算机通讯连接，所述PLC执行机构用于根据所述计算机下发的指令控制所述二维工作台产生二维移动，使所述CCD相机依次采集所述载件玻片上的待测物体不同视场的低分辨率图像；
所述图像采集卡与所述CCD相机和所述计算机通讯连接，所述图像采集卡用于存储所述CCD相机采集的低分辨率图像并传输至所述计算机；
所述计算机，用于执行权利要求1-6任一项所述的测量方法，并通过所述显示器/控制界面显示测量结果。
CN201910066714.5A 2019-01-24 2019-01-24 基于仿生算法的高精度视觉测量方法、装置和系统 Active CN109840889B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910066714.5A CN109840889B (zh) 2019-01-24 2019-01-24 基于仿生算法的高精度视觉测量方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910066714.5A CN109840889B (zh) 2019-01-24 2019-01-24 基于仿生算法的高精度视觉测量方法、装置和系统

Publications (2)

Publication Number Publication Date
CN109840889A CN109840889A (zh) 2019-06-04
CN109840889B true CN109840889B (zh) 2022-09-02

Family

ID=66884083

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910066714.5A Active CN109840889B (zh) 2019-01-24 2019-01-24 基于仿生算法的高精度视觉测量方法、装置和系统

Country Status (1)

Country Link
CN (1) CN109840889B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116060B (zh) * 2019-06-21 2023-07-25 杭州海康威视数字技术股份有限公司 一种网络配置实现方法及装置
CN110738677A (zh) * 2019-09-20 2020-01-31 清华大学 相机全清晰成像方法、装置与电子设备
CN112819701B (zh) * 2019-11-15 2022-10-25 中国科学院长春光学精密机械与物理研究所 一种图像去噪方法、系统及电子设备
JP7354790B2 (ja) * 2019-11-25 2023-10-03 オムロン株式会社 画像検査装置
CN111028152B (zh) * 2019-12-02 2023-05-05 哈尔滨工程大学 一种基于地形匹配的声呐图像的超分辨率重建方法
CN111443605B (zh) * 2020-04-01 2021-03-23 西安交通大学 构建仿生波动鳍推进运动控制方程及其参数整定优化方法
CN111640056B (zh) * 2020-05-22 2023-04-11 构范(厦门)信息技术有限公司 一种模型自适应变形方法及系统
CN111862082A (zh) * 2020-07-31 2020-10-30 成都盛锴科技有限公司 一种列车闸片厚度复核方法及其系统
CN112132846A (zh) * 2020-09-24 2020-12-25 合肥学院 一种基于边缘像素判别的图像分割方法及装置
CN112767359B (zh) * 2021-01-21 2023-10-24 中南大学 复杂背景下的钢板角点检测方法及系统
CN113409311B (zh) * 2021-07-21 2023-02-24 沈阳铁路信号有限责任公司 一种基于nsst的触头元素分布与形貌信息融合方法
CN113592753B (zh) * 2021-07-23 2024-05-07 深圳思谋信息科技有限公司 基于工业相机拍摄的图像的处理方法、装置和计算机设备
CN113916906B (zh) * 2021-09-03 2024-01-09 江苏理工学院 视觉检测系统led光源照度优化方法及所用实验设备
CN113947689B (zh) * 2021-09-30 2023-10-10 西安交通大学 一种基于计算机视觉的结构大运动快速测量方法
CN115791791B (zh) * 2022-11-14 2024-06-18 中国科学院沈阳自动化研究所 一种用于液晶面板装箱搭边的视觉检测方法
CN116805283B (zh) * 2023-08-28 2023-11-24 山东大学 一种亚微米级超分辨显微成像重构方法及系统
CN117179744A (zh) * 2023-08-30 2023-12-08 武汉星巡智能科技有限公司 非接触式婴幼儿身高测量方法、装置、设备及存储介质
CN117745808B (zh) * 2024-02-19 2024-05-03 南通市计量检定测试所 一种基于摄影测量的心电图像定位比对方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016138618A1 (zh) * 2015-03-02 2016-09-09 成都华创生物技术有限公司 TRAIL穿膜肽样突变体MuR5、制备方法及应用
CN108288288A (zh) * 2018-01-16 2018-07-17 华东交通大学 基于视觉识别的精密轴尺寸测量方法、装置和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016138618A1 (zh) * 2015-03-02 2016-09-09 成都华创生物技术有限公司 TRAIL穿膜肽样突变体MuR5、制备方法及应用
CN108288288A (zh) * 2018-01-16 2018-07-17 华东交通大学 基于视觉识别的精密轴尺寸测量方法、装置和系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
Adaptive algorithm for corner detecting based on the degree of sharpness of the contour;Xiao, JL 等;《OPTICAL ENGINEERING》;20110430;第54卷(第4期);第1-10页 *
一种基于Canny算子的图像边缘检测改进算法;段红燕等;《上海交通大学学报》;20161228;第50卷(第12期);第1861-1865页 *
一种基于Harris角点特征精确匹配的图像拼接方法;涂春萍等;《实验室研究与探索》;20111015;第30卷(第10期);第40-43页 *
一种阈值自动设定的小波变换边缘检测方法;张永贤等;《微计算机信息》;20070130;第23卷(第03期);第286-287页 *
基于优化蚁群算法的图像边缘检测改进算法;宋瑞华等;《电子测量技术》;20130815;第36卷(第08期);第56-60页 *
基于改进二维离散希尔伯特变换的图像边缘检测方法;王珂等;《测绘学报》;20120615;第41卷(第03期);第421-433页 *
自适应果蝇算法优化模糊均值聚类算法图像分割;孙立新等;《控制工程》;20160420;第23卷(第04期);第494-499页 *

Also Published As

Publication number Publication date
CN109840889A (zh) 2019-06-04

Similar Documents

Publication Publication Date Title
CN109840889B (zh) 基于仿生算法的高精度视觉测量方法、装置和系统
US6768509B1 (en) Method and apparatus for determining points of interest on an image of a camera calibration object
CN111083365B (zh) 一种最佳焦平面位置快速检测方法及装置
CN109034184B (zh) 一种基于深度学习的均压环检测识别方法
JP5458905B2 (ja) 画像におけるシャドーの検知装置および検知方法
CN110490914A (zh) 一种基于亮度自适应和显著性检测的图像融合方法
Fuhl et al. Fast camera focus estimation for gaze-based focus control
CN108776980A (zh) 一种面向微透镜光场相机的标定方法
CN108681992A (zh) 用于探测器阵列法测量激光光斑的图像插值算法
CN115797225B (zh) 一种水下地形测量用无人船采集图像增强方法
CN114782329A (zh) 一种基于图像处理的轴承缺陷损伤程度评估方法及系统
JP2009259036A (ja) 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、及び画像処理システム
CN113160239B (zh) 一种违法用地检测方法及装置
CN117036641A (zh) 一种基于双目视觉的公路场景三维重建与缺陷检测方法
CN116228780A (zh) 基于计算机视觉的硅片缺陷检测方法及系统
CN108665436B (zh) 一种基于灰度均值参照的多聚焦图像融合方法和系统
CN115830004A (zh) 表面缺陷检测方法、装置、计算机设备和存储介质
Saleem et al. A non-reference evaluation of underwater image enhancement methods using a new underwater image dataset
CN110490209A (zh) 基于epi的光场图像特征点检测方法
CN111832508A (zh) 基于die_ga的低照度目标检测方法
Ta et al. A novel laser line detection algorithm for robot application
CN116433700A (zh) 一种法兰零件轮廓视觉定位方法
Ishihara et al. Depth estimation using spectrally varying defocus blur
Masoudifar et al. Image and depth from a single defocused image using coded aperture photography
Chopra et al. Low light GAN-based photo enhancement

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240605

Address after: 230000 B-1015, wo Yuan Garden, 81 Ganquan Road, Shushan District, Hefei, Anhui.

Patentee after: HEFEI MINGLONG ELECTRONIC TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: 330013 808 Nanchang East Street, Jiangxi economic and Technological Development Zone

Patentee before: East China Jiaotong University

Country or region before: China

TR01 Transfer of patent right