CN113192122B - 大型装备装配位姿视觉检测过程中的光心提取方法 - Google Patents

大型装备装配位姿视觉检测过程中的光心提取方法 Download PDF

Info

Publication number
CN113192122B
CN113192122B CN202110467426.8A CN202110467426A CN113192122B CN 113192122 B CN113192122 B CN 113192122B CN 202110467426 A CN202110467426 A CN 202110467426A CN 113192122 B CN113192122 B CN 113192122B
Authority
CN
China
Prior art keywords
optical center
center
optical
image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110467426.8A
Other languages
English (en)
Other versions
CN113192122A (zh
Inventor
余航
尹相杰
张睿恒
李晨阳
许录平
赵乐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN202110467426.8A priority Critical patent/CN113192122B/zh
Publication of CN113192122A publication Critical patent/CN113192122A/zh
Application granted granted Critical
Publication of CN113192122B publication Critical patent/CN113192122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Geometry (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提出了一种大型装备装配位姿视觉检测过程中的光心提取方法，解决了现有技术设光斑窗口提取光心误差大，测量精度低的问题。实现包括：输入原始图像I；对图像I二值化得Io；提取Io所有光斑像素坐标矩阵w1，根据w1提取无序光心并按规定顺序重新排列；选9个初始聚类中心作为初始聚类集合Z0；将w1划为9个聚类类别C；设计目标函数并推导更新迭代公式更新聚类中心集合Z；迭代优化输出最终光心集合Z，得到满足已知空间几何约束和规定顺序的光心。本发明以光源之间的空间几何约束设计目标函数，推导更新迭代公式，同时提取多个光心，回避系统误差，提高测量精度。用于大型工件装备装配或轮廓检测。

Description

大型装备装配位姿视觉检测过程中的光心提取方法
技术领域
本发明属于视觉测量和图像处理技术领域，主要涉及视觉测量，具体是一种用于大型装备装配位姿视觉检测过程中的光心提取方法，本发明可用于计算机视觉、视觉测量等领域。
背景技术
视觉测量技术把图像作为检测和传递信息的手段或载体加以利用，从图像中提取有用的信号，通过处理被测图像而获得所需的被测图像的各种参数。视觉测量技术具有测量系统结构简单，便于移动，数据采集快速、便捷，操作方便，测量成本较低，且具有在线、实时三维测量的潜力，尤其适合于远距离三维空间点位、尺寸或大型工件轮廓的检测，具有广泛的应用前景，是当前的研究热点。
大型装备装配位姿视觉检测是视觉检测的重要应用领域，系统主要由三部分组成，安置在被测物体上的靶板、工业摄像机和计算机，其测量原理为：将靶板与被测物体固连，靶板上具有相对位置已知的光源，工业摄像机对对靶板进行拍摄，可以获得含有若干光斑的图像，通过提取光斑图像中满足已知空间关系的光斑光心，进一步计算靶板与工业摄像机之间的相对空间位姿关系，可以得到被测物体与工业摄像机之间的相对空间位姿关系。在这一过程中，如何根据光源的相对位置准确计算得到靶板的位姿，是决定测量精确性的关键。
K均值聚类K-means是聚类分析中一种被研究最为广泛的方法，该方法在用于图像像素坐标数据是一种非监督聚类后的标记过程。K-means根据目标像素属于不同区域的程度，将目标像素划分为K类，通过目标函数的迭代优化，寻找合适的聚类中心，使得聚类内的目标函数的方差和迭代误差最小。利用K-means非监督聚类标记的特点对目标像素坐标进行处理，可以减少人为的干预且较适合图像中存在不确定性的特点。但K-mean对初始聚类中心的选择较为敏感。
目前，已经提出了光斑质心提取的改进算法。例如冯新星等人于2012年5月在《光学学报》第32卷第5期，发表了一篇名称为“二维高斯分布光斑中心快速提取算法研究”的文章，公开了一种图像光斑近似符合二维高斯分布的光斑质心快速提取算法，该方法首先利用光斑窗口内的所有像素灰度信息，通过解析表达式计算高斯分布光斑的亚像素中心位置，并对传统的高斯曲面拟合法求解过程进行优化，是一种更加先进的高斯拟合法。该方法能提高传统高斯拟合法的运行效率，改善质心提取效果。但是该方法只能对单个窗口光斑的质心进行提取，当所处理的图片中含有多个光斑时只能分别对每个光斑进行处理，并且当光斑位置之间存在空间几何约束关系时，该方法对其进行处理时也存在一些限制。
对于大型装备的测量，测量目标的物距相对拍摄的焦距很大，光源在图像中会产生一个光斑，面积较大且不均匀，容易产生误差。图像中微小的像素差距放大到物体的测量中将会产生较大的误差，因此对于远靶点的图像的质心提取精度提出了更高的要求，需要研究一种高精度的靶点图像质心提取方法来保证较远距离的测量精度。
综上，在大型装备装配位姿视觉检测过程中，需从工业摄像机获取的光斑图像中提取满足已知空间几何约束的光心，为准确计算得到靶板的位姿奠定基础。但是现有技术提取光斑图像中所有光斑的光心，且提取的光心要符合已知空间几何约束关系时，测量结果精度仍然不高。而且工业摄像机拍摄的图片存在光斑面积不均匀的问题，也会影响测量结果。
发明内容
本发明的目的在于克服上述已有技术的缺陷，根据实际问题的需要，提出了一种测量精度更高的大型装备装配位姿视觉检测过程中的光心提取方法。
本发明是一种大型装备装配位姿视觉检测过程中的光心提取方法，大型装备装配位姿视觉检测主要包括有安置在被测物体上的靶板、工业摄像机和计算机，靶板上安装有空间位置已知的9个光源，并且规定9个光源的顺序，其特征在于，获取大型装备装配位姿视觉检测过程中的满足已知空间几何约束的顺序排列的光斑光心，包括有如下步骤：
(1)输入图像：输入来自工业摄像机拍摄的含有满足已知空间几何约束的光斑图像，设所输入的来自工业摄像机拍摄的含有满足已知空间几何约束的光斑图像为I，图像I中的各光斑之间的约束关系与实际靶板中实际各光源之间的约束关系不一致，因此称图像I为无约束图像，图像I中的像素矩阵为x，输入图像I中的像素矩阵x为，
其中，xlu表示图像I中第l行第u列的像素，L为图像I横向像素点的总个数，L≥2000，W为图像I纵向像素点的总个数，W≥2000；
(2)对输入图像进行二值化处理：对光斑图像I使用otsu阈值分割算法进行处理，得到二值化的图像Io，二值化的图像Io的像素矩阵为xo，其中，xolu表示二值化图像Io中第l行第u列的像素，L为图像Io横向像素点的总个数，L≥2000，W为图像Io纵向像素点的总个数，W≥2000，此时，光斑像素值为1，背景像素值为0；
(3)寻找图像Io中无序光心并重新排列无序光心顺序：首先提取二值化图像Io中像素值为1的像素点集合Ioxy，图像Io中值为1的像素点均为光斑区域，像素点集合Ioxy以矩阵表示为w1，简称光斑矩阵；其次使用K-means聚类算法对二值化图像像素值为1的像素点矩阵w1进行光心坐标提取，得到的9个光斑光心，为无序光心，将9个无序光心坐标以矩阵表示为w2，简称无序光心矩阵，其中bi1为w2中第i个无序光心的横坐标，bi2为w2中第i个无序光心的纵坐标；将w2中9个无序光心坐标按照靶板上规定的9个光斑顺序进行重新排列，得到符合规定顺序的坐标矩阵rank；
(4)随机选取9个初始聚类中心：在光斑矩阵w1中随机选取9个坐标作为初始聚类中心，表示为初始聚类中心集合
(5)划分聚类类别：计算w1中每个像素点坐标到当前9个聚类中心的最小值，按照w1中每个像素点坐标到当前聚类中心距离的最小值，将矩阵w1中所有像素点的坐标划分为9个聚类类别C＝{C1,C2,···,Cj,···,C9}，其中Cj表示第j个聚类类别，1≤j≤9；
(6)更新每一个聚类中心：根据光源之间已知的空间几何约束设计目标函数，通过最小化目标函数进行推导，得到更新迭代公式，对聚类类别C的初始聚类中心集合Z0进行迭代计算，根据所设计的目标函数推导出的更新迭代公式计算每一个聚类类别Cj的聚类中心zj，将9个聚类类别C的聚类中心表示为聚类中心集合Z＝{z1,z2,···,zj,···,z9}，其中zj＝(uj,vj)，此时完成一次聚类中心更新；
(7)判断是否满足停止条件：根据所设迭代误差ε以及停止条件标志η来判断迭代结果是否正确；
(7a)设置迭代和停止条件参数：设迭代次数为m，最大迭代次数为M，迭代误差为ε，停止条件标志为η，初始令m＝0，其中，M≥15，ε≥0.03；
(7b)确定聚类中心：判断||Zm-Zm-1||＜ε或m＝M是否成立，若是，得到计算后的聚类类别C的聚类中心集合Z，并执行步骤(7d)，否则，执行步骤(7c)；
(7c)进入新一轮迭代：令m＝m+1，并再次顺序执行步骤(5)、(6)、(7a)、(7b)，进入新一轮确定聚类中心的迭代；
(7d)确定满足空间约束聚类中心集合Z：对步骤(7b)得到的聚类中心集合Z与步骤(3)得到的符合规定顺序的坐标矩阵rank进行比较，即计算||Z-rank||≤η是否成立，若是，得到计算后的聚类中心集合Z，即为满足已知空间几何约束的顺序排列的光心坐标，否则，返回执行步骤(4)、(5)、(6)、(7a)、(7b)、(7c)进入新一轮计算满足空间约束光心坐标的迭代，重新计算聚类中心集合Z并判断其是否为最终满足空间约束的光心坐标集合；
(8)输出最终光心：输出步骤(7d)确定的最终聚类中心集合Z，集合Z中所有元素为满足已知空间几何约束的顺序排列的光心坐标。
本发明解决了大型装备装配位姿视觉检测过程中的满足已知空间几何约束及符合规定排列顺序的光斑光心精确提取的技术问题。
本发明与现有技术相比，具有以下优点：
排除灰度值变化对光心提取的影响：因为现有技术通过设置光斑窗口，利用窗口内灰度信息进行光心提取，故窗口内像素的灰度值的变化对光心的提取产生影响，本发明不必设置光斑窗口，直接对待处理的光斑图像进行二值化处理，使原来的灰度图像变成二值化图像，通过对所有光斑的坐标聚类进行光心提取，本发明中光心提取不受光斑内像素灰度值变化的影响也不需要进行高斯拟合，排除了灰度值变化对光心提取的影响，简化了环节，提高了精度。
同时提取多个光斑光心，减小误差：现有技术处理的对象为含有光斑的窗口，在提取多个光斑光心时需要逐一设置光斑窗口，且每次提取的光心都存在一定的误差，即存在多个光斑窗口存在的系统误差，本发明处理的对象是一个整体，为整个含有多个光斑的图像，同时提取多个光斑的光心，在解决现有技术不能一次提取多个光心的问题的同时，减小了系统误差，提高了整体检测精度。
提取到的光心满足已知约束，提高最终测量精度：图像中微小的像素差距放大到物体的测量中将会产生较大的误差，现有技术逐一提取的光心存在误差，且不满足已知的空间几何约束，故整体上的误差较大，据此提取到的光心所计算的位姿关系误差大，测量精度低，本发明自始至终将工业摄像机拍摄的图像整体作为处理对象，依据实际中光源之间的空间几何约束关系，将空间几何约束引入到聚类算法中，设计目标函数，通过最小化目标函数推导更新迭代公式，按照更新迭代公式同时提取满足已知空间几何约束的光心，可以排除逐一提取光心产生的微小误差，根据此得到的光心计算的位姿关系比现有技术提取到的光心所计算的位姿关系误差小，最终的测量精度进一步提高。
附图说明
图1是含有光斑的原始图像，其中b＝1.68；
图2是图1经过二值化处理后获得的二值化图像；
图3是本发明所述满足空间几何约束要求和规定顺序的光源示意图，b为约束比例；
图4是本发明的流程框图；
图5是本发明对图2进行光心提取的仿真结果图，也是光斑区域放大图。
具体实施方式
下面结合附图和具体实例，对本发明详细说明。
实施例1
现有技术在提取多个光斑的光心时，需要逐一设置光斑窗口，考虑光斑窗口内所有像素的灰度信息，然后使用改进的高斯曲面拟合法对求解过程优化，最终得到多个光斑的光心坐标，存在的问题是：首先，提取光斑光心时必须考虑窗口内所有像素点的灰度信息且需要进行高斯拟合，光斑像素的灰度值的变化对提取结果影响较大；其次，光斑提取时每次只能进行单个光斑的光心提取，图像中含有多个光斑时只能依次设置不同的窗口对多个光斑进行光心提取操作；在依次提取多个光斑光心后，依次提取出的多个光心坐标存在微小的误差，坐标之间并不满足空间约束，以上诸因素均使提取到的光心计算的位姿关系存在一定的偏差，导致最终的测量精度较低。为了提高大型装备装配位姿视觉检测的精度，其中关键点在于准确提取光心，本发明通过实验与研究，提出一种用于大型装备装配位姿视觉检测过程中的光心提取方法。
本发明是一种用于大型装备装配位姿视觉检测过程中的光心提取方法，大型高端装备具有自身结构复杂、工作状态严苛、可靠性要求高的特点，大型高端装备装配精度和自动化程度对实时、精确的装配位姿检测提出要求，传统的测量方式已经无法满足现代化生产对大型装备装配位姿现场测量的精度要求，研究能够满足大尺度、高精度、实时性三方面要求的装配位姿现场检测的新技术变得日趋迫切。大型装备装配位姿视觉检测主要包括有安置在被测物体上的靶板、工业摄像机和计算机，其基本原理为靶板与被测物体固连，靶板上安装有空间位置已知的9个光源，并且规定了9个光源的顺序，光源之间相对位置关系为已知空间几何约束。工业摄像机对靶板进行远距离图像获取，获得来自光源的9个光斑的图像，该图像来自含有满足已知空间几何约束的并且规定好了9个顺序的光源，光斑图像来自光源，需要在工业摄像机拍摄的光斑图像中准确找到满足已知空间几何约束且符合规定顺序排列的每个光斑的光心，以此来计算和测量靶板与工业摄像机之间的相对空间位姿关系，本发明的方法主要涉及读取工业摄像机获得的光斑图像、图像预处理、设计目标函数、推导更新迭代公式，精确提取光斑图像中符合空间几何约束和顺序的各光斑的光心，来自工业摄像机拍摄的含有光斑的原始图像参见图1，由于摄像机远距离对靶板进行拍摄，所得9个光斑位于图像居中位置。本发明在针对大型装备装配位姿视觉检测过程中要提取满足已知空间几何约束和排列顺序的光斑光心，参见图4，图4是本发明的流程框图，包括有如下步骤：
(1)输入图像：输入来自工业摄像机拍摄的含有满足已知空间几何约束的光斑图像，参见图1，光斑图像来自光源，光源之间满足已知的空间几何约束并规定了各光源的顺序，参见图3，图3是本发明所述满足空间几何约束要求和规定顺序的光源示意图，图中按照从左往右，从上到下的顺序规定了光源的顺序，光源之间满足的空间几何约束关系参数，参见图3，每行每列中三个光源共线，每行中从左到右前两个光源间的距离与后两个光源的距离之比为1：b，每列中从上到下前两个光源间的距离与后两个光源的距离之比为1：b，b的确定由人为设置。本发明中工业摄像机拍摄的图像中的光斑与实际中靶板上的光源一一对应，设所输入的来自工业摄像机拍摄的含有满足已知空间几何约束的光斑图像为I，由于拍摄过程中的拍摄距离，环境干扰等因素的影响，影响到图像I中的各光斑之间的约束关系与实际靶板中实际各光源之间的约束关系不一致，因此称图像I为无约束图像，图像I中的像素矩阵为x，输入图像I中的像素矩阵x为，
其中，xlu表示图像I中第l行第u列的像素，L为图像I横向像素点的总个数，L≥2000，W为图像I纵向像素点的总个数，W≥2000。
(2)通过处理像素矩阵x对输入图像进行二值化处理：对来自工业摄像机拍摄的光斑图像I使用otsu阈值分割算法进行处理，得到二值化的图像Io，二值化的图像Io的像素矩阵为xo，其中，xolu表示二值化图像Io中第l行第u列的像素，L为图像Io横向像素点的总个数，L≥2000，W为图像Io纵向像素点的总个数，W≥2000，此时，光斑像素值为1，背景像素值为0。二值化的结果参见图2，图2是图1经过二值化处理后获得的二值化图像，图2中只有像素值为1的白色光斑区域和像素值为0的黑色背景区域，每个光斑区域对应于靶板上的每个光源。
(3)寻找图像Io中无序光心并重新排列无序光心顺序：首先提取二值化图像Io中像素值为1的像素点的集合Ioxy，像素点集合Ioxy实际上就是像素点坐标点的集合。图像Io中值为1的像素点均为光斑区域，像素点集合Ioxy以矩阵表示为w1，简称光斑矩阵；其次使用K-means聚类算法对二值化图像像素值为1的像素点矩阵w1进行光心坐标提取，得到的9个光斑光心，为无序光心，无序光心不符合原规定顺序，无序光心以坐标形式表示，将9个无序光心坐标以矩阵表示为w2，简称无序光心矩阵。
其中bi1为w2中第i个无序光心的横坐标，bi2为w2中第i个无序光心的纵坐标，此时得到了Io图中无序光心；因为使用K-means聚类算法直接计算出的9个坐标为无序状态，故需要对所求坐标顺序重新排列。将w2中9个无序光心坐标按照靶板上规定的9个光斑顺序进行重新排列，规定顺序参见图3，得到符合规定顺序的坐标矩阵rank；也就是说通过重新排列无序光心顺序，得到了大型装备装配位姿视觉检测过程中与已知空间几何约束的顺序排列顺序相同的光斑光心。
(4)随机选取9个初始聚类中心：在表示所有光斑像素点坐标集合的矩阵即在光斑矩阵w1中随机选取9个坐标作为初始聚类中心，表示为初始聚类中心集合/>
(5)划分聚类类别：计算w1中每个像素点坐标到当前9个聚类中心的最小值，按照w1中每个像素点坐标到当前聚类中心距离的最小值，将矩阵w1中所有像素点的坐标划分为9个聚类类别C＝{C1,C2,···,Cj,···,C9}，其中Cj表示第j个聚类类别，1≤j≤9。
(6)更新每一个聚类中心：根据光源之间已知的空间几何约束设计目标函数，通过最小化目标函数进行推导，得到更新迭代公式，对聚类类别C的初始聚类中心集合Z0进行迭代计算，根据所设计的目标函数推导出的更新迭代公式计算每一个聚类类别Cj的聚类中心zj，将9个聚类类别C的聚类中心表示为聚类中心集合Z＝{z1,z2,···,zj,···,z9}，其中zj＝(uj,vj)，此时完成一次聚类中心更新。
(7)判断是否满足停止条件：根据所设迭代误差ε以及停止条件标志η来判断迭代结果是否正确。
(7a)设置迭代和停止条件参数：设迭代次数为m，最大迭代次数为M，迭代误差为ε，停止条件标志为η，初始令m＝0，其中，M≥15，ε≥0.03。
(7b)确定聚类中心：判断||Zm-Zm-1||＜ε或m＝M是否成立，若是，得到计算后的聚类类别C的聚类中心集合Z，并执行步骤(7d)，否则，执行步骤(7c)。
(7c)进入新一轮迭代：令m＝m+1，并再次顺序执行步骤(5)、(6)、(7a)、(7b)，进入新一轮确定聚类中心的迭代。
顺序执行步骤(5)、(6)、(7a)、(7b)，为确定聚类中心的迭代。
(7d)确定满足空间约束聚类中心集合Z：停止条件标志η本例中，η≥20，对步骤(7b)得到的聚类中心集合Z与步骤(3)得到的符合规定顺序的坐标矩阵rank进行比较，即计算||Z-rank||≤η是否成立，若是，得到计算后的聚类中心集合Z，即为满足已知空间几何约束的顺序排列的光心坐标，否则，返回执行步骤(4)、(5)、(6)、(7a)、(7b)、(7c)进入新一轮计算满足空间约束光心坐标的迭代，重新计算聚类中心集合Z并判断其是否为最终满足空间约束的光心坐标集合。
顺序执行步骤(4)、(5)、(6)、(7a)、(7b)、(7c)，为确定满足空间约束光心坐标的迭代。
(8)输出最终光心：输出步骤(7d)确定的最终聚类中心集合Z，集合Z中所有元素为满足已知空间几何约束和符合已知顺序排列的光心坐标。参见图5，图5是本发明对图2进行光心提取的仿真结果光斑区域放大图，图5中以可视化形式展示最终提取光心的坐标和排列序号，显然，图5中的各光心的坐标之间符合图3所示的空间几何约束和规定的顺序。完成大型装备装配位姿视觉检测过程中的光心提取。
现有技术在提取光心时，需要设置光斑窗口，利用光斑窗口内的所有像素灰度信息，通过解析表达式计算高斯分布光斑的亚像素中心位置，并使用改进的高斯曲面拟合法优化求解过程，达到提取单个光斑光心的目的，其存在的问题主要包括：提取光斑光心时必须考虑窗口内所有像素点的灰度信息且需要进行高斯拟合，光斑像素的灰度值的变化对提取结果影响较大；进行光斑提取时每次只能进行单个光斑的光心提取，图像中含有多个光斑时只能依次设置不同的窗口对多个光斑进行光心提取操作；最后，现有技术在依次提取多个光斑光心后，光心坐标存在微小误差，而且提取出的多个光心坐标之间并不满足空间约束，据此提取到的光心计算的位姿关系存在一定的偏差，存在系统误差，因此最终的测量精度较低。
本发明通过对来自工业摄像机拍摄的含有满足已知空间几何约束的光斑图像进行处理，最终得到满足已知空间几何约束且符合规定顺序排列的光心坐标，本发明的思路是：对于待处理的光斑图像，参见图1，首先，使用Otus阈值法对其进行二值化处理得到二值化图像，参见图2；其次，使用K-means聚类算法提取无序的光心坐标，设计排序算法对无序坐标进行排序，得到符合规定顺序的光心坐标，顺序参见图3；再次，根据光源之间满足的空间几何约束关系，设计目标函数，通过对目标函数最小化进行推导，得到聚类中心更新迭代公式，按照更新迭代公式对初始化的聚类中心进行迭代更新；最后，通过判断所确定的聚类中心与符合规定顺序的光心坐标之间的关系，得到最终的满足已知空间几何约束且符合规定顺序排列的光心坐标，参见图5。
本发明对待处理的光斑图像进行二值化处理，使原来的灰度图像变成二值化图像，通过对所有光斑区域的坐标聚类进行光心的提取，使得光心提取不受光斑内像素灰度值变化的影响。与现有技术对单一窗口内的光斑处理不同，本发明处理的对象为整个图片，可以同时提取多个光斑的光心，解决现有技术不能一次提取多个光心的问题。本发明提取的光心是同时产生的并且满足已知的空间几何约束，排除了逐个提取的光心产生的误差，故根据此时得到的光心计算的位姿关系比现有技术提取到的光心所计算的位姿关系误差小，可以提高最终的测量精度。
实施例2
一种用于大型装备装配位姿视觉检测过程中的光心提取方法同实施例1，步骤(3)中所述的寻找无约束光心并定义光斑顺序，包括有如下步骤：
(3a)提取所有光斑像素点的坐标集合：提取二值化图像Io中所有像素值为1的像素点的坐标，二值化图像参见图2，形成像素点坐标集合Ioxy，像素点坐标集合Ioxy以矩阵表示为其中n为Io中所有像素值为1的像素点的总数，m表示所有像素值为1的像素点中的任意一个像素点，1≤m≤n，am1表示第m个像素值为1的像素点的横坐标，am2表示第m个像素值为1的像素点的纵坐标。
(3b)获得9个初始无约束状态下的无序光心坐标：使用K-means聚类算法对二值化图像像素值为1的像素点的坐标集合Ioxy进行处理，其中K-means聚类算法需要输入所处理的所有光斑的像素坐标集合w1数据和聚类算法需要K值，K值为最终聚类的类别个数，故本发明将w1作为K-means聚类算法的输入数据并设置K值为9，计算得到9个初始的无序光心坐标，即此时顺序不符合图3所示，为无序状态，坐标以矩阵表示为矩阵中第一列表示无序光心的横坐标，第二列表示无序光心的纵坐标，其中bj1表示提取到的第j个无序光心横坐标，其中bj2表示提取到的第j个无序光心纵坐标，1≤j≤9。
(3c)无序光心坐标重新排序：对w2中9个无序光心坐标按图3中规定顺序排列，得到符合图3规定顺序的坐标矩阵矩阵第一列表示顺序光心的横坐标，第二列表示顺序光心的纵坐标，其中mj表示从w2提取到的第j个顺序光心横坐标，其中nj表示从w2提取到的第j个顺序光心纵坐标，w2中的元素和rank中的元素存在一一对应的关系，得到了大型装备装配位姿视觉检测过程中与规定顺序排列顺序相同的光斑光心，即图3所示的顺序。
本发明对待处理的光斑图像进行二值化处理，使原来的灰度图像变成二值化图像，参见图2，提取出所有光斑区域的像素，以坐标形式表示光斑区域，通过对所有光斑的坐标聚类进行光心的提取，使得光心提取不受光斑内像素灰度值变化的影响也不需要进行高斯拟合，并且对多个提取的光心按照图3所示规定顺序进行排列，可以为停止条件的设置提供顺序和距离大小的依据。
实施例3
一种用于大型装备装配位姿视觉检测过程中的光心提取方法同实施例1-2，步骤(3c)中所述的无序光心坐标重新排序，包括有如下步骤：
(3c1)确定符合规定顺序的1、9号光心：首先计算9个无序光心坐标矩阵w2中每行所有元素之和s，其中sj＝bj1+bj2，提取w2中对应s中最小值的光心，记为(m1,n1)，即为符合图3规定顺序的1号光心，提取w2中对应s中最大值的光心，记为(m9,n9)，即为符合图3规定顺序的9号光心，此时w2不再包含(m1,n1)(m9,n9)两光心坐标。
(3c2)确定符合规定顺序的5号光心：提取w2中除(m1,n1)(m9,n9)两光心坐标外其他坐标距离最小值对应的光心坐标记为(m5,n5)，即为符合图3规定顺序的5号光心。
(3c3)将剩余6个光心的坐标划分为两组：计算w2中除(m1,n1)(m5,n5)(m9,n9)外剩余6个光心中某一点(mj,nj)与该确定的直线的代数关系，即计算对于(mj,nj),j＝2,3,6，其judge结果大于0，记/>对于(mj,nj),j＝4,7,8，其judge结果小于0，记/>其中w3和w4中坐标仍为无序状态。
(3c4)确定符合规定顺序的3、7号光心：提取w3中(mj,nj)对应judge代数值最大的光心坐标，记为(m3,n3)，即为符合图3规定顺序的3号光心，提取w4中(mj,nj)对应的judge代数值最小的光心坐标，记为(m7,n7)，即为符合图3规定顺序的7号光心，此时其中w3和w4中光心坐标仍为无序状态。
(3c5)确定符合规定顺序的2、4、6、8号光心：计算w3中两个(mj,nj)横纵坐标之和，横纵坐标之和中的小者记为(m2,n2)，即为符合图3规定顺序的2号光心，横纵坐标和小者记为(m6,n6)，即为符合图3规定顺序的6号光心，同样计算w4中两个(mj,nj)横纵坐标之和，横纵坐标和小者记为(m4,n4)，即为符合图3规定顺序的4号光心，横纵坐标和大者记为(m8,n8)，即为符合图3规定顺序的8号光心。
(3c6)获得顺序光心坐标：最后将(m1,n1)…(m9,n9)按照其下角标从小到大的顺序赋值给rank，rank为9×2大小的矩阵，最后即得到满足已知顺序的坐标矩阵rank，得到了大型装备装配位姿视觉检测过程中与图3规定顺序排列一致的光斑光心。
本发明设计上述排序算法，对步骤(3b)提取的无序光心坐标按照图3规定顺序进行排列，具体是自左向右，从上而下进行排列，其设计的原则符合光斑光心实际位置坐标的代数关系，所以本发明涉及的排序算法鲁棒性强，能够对不同位置和不同角度的9个无序光心坐标按照图3规定顺序排列。
实施例4
一种用于大型装备装配位姿视觉检测过程中的光心提取方法同实施例1-3，步骤(6)所述的更新每一个聚类中心，是根据光源之间已知的空间约束设计目标函数，通过最小化目标函数进行推导，得到更新迭代公式中，所设计的目标函数、推导过程以及更新迭代公式表述如下：包括有如下步骤：
(6a)设计目标函数：根据光源之间已知的空间约束设计目标函数，将每个光斑作为一个类别Cj，所有光斑中的每个像素为一个元素i，则每个聚类中心zj＝(uj,vj)，即为每个光斑的光心，图3是本发明所述满足空间几何约束要求和规定顺序的光源示意图，图中按照从左往右，从上到下的顺序规定了光源的顺序，光源之间满足的空间几何约束关系参数，参见图3，每行每列中三个光源共线，每行中从左到右前两个光源间的距离与后两个光源的距离之比为1：b，每列中从上到下前两个光源间的距离与后两个光源的距离之比为1：b，b的确定由人为设置。将图像中空间几何约束引入到聚类算法中，设计符合已知空间几何约束的目标函数J，目标函数如下：
其中，(xi,yi)表示第i个像素在图像坐标系下的坐标，(uj,vj)表示第j个聚类中心Cj的中心坐标。从目标函数式中的约束条件可以看出，第2个聚类中心位于第1和第3个聚类中心的约束中心，第4个聚类中心位于第1和第7个聚类中心的约束中心，第6个聚类中心位于第3和第9个聚类中心的约束中心，第5个聚类中心位于第1、3、7和第9个聚类中心的约束中心，第8个聚类中心位于第7和第9个聚类中心的约束中心。对目标函数J最小化得到更新迭代公式，通过更新迭代公式最终可以得到满足已知空间几何约束的光斑光心。
(6b)通过最小化目标函数，推导得到更新迭代公式：最小化式目标函数J得到满足已知空间几何约束的光心位置，其具体的步骤是：
(6b1)约束条件代入目标函数：首先将目标函数中的约束条件带入目标函数，得到含有参数的目标函数：
(6b2)求偏导建立方程组：含有参数的目标函数对uj,vj,j＝1,3,7,9，求偏导并令其为零，即对偏导方程组进行整理得到(3)(4)两个线性方程组：
/>
其中方程组的系数aij,i＝1,2,3,4,j＝1,3,7,9，是每一个类别即每一个区域Cj,j＝1,2,3,…,9,内像素个数的线性组合，nj,j＝1,2,3,…,9，表示区域Cj的像素个数，pi,qi,i＝1,2,3,4，为区域Cj,j＝1,2,3,…,9，Xj,j＝1,2,3,…,9为所有光斑像素点横坐标之和的线性表示，Yj,j＝1,2,3,…,9为所有光斑像素点纵坐标之和的线性表示。
(6b3)解方程组：通过分析对应于uj,j＝1,3,7,9和vj,j＝1,3,7,9的两个线性方程组(3)(4)的变量数和方程组数可见，变量数等于方程组数，故由克拉默法则解方程组即可得到聚类中心横纵坐标uj,vj,j＝1,3,7,9，的表达式，然后根据目标函数中的约束条件可以获得其他聚类中心横纵坐标uj,vj,j＝2,4,5,6,8，的表达式:
zj表示类别Cj的聚类中心，为聚类中心集合元素集合Z＝{z1,z2,···,zj,···,z9}的元素，其中zj＝(uj,vj),j＝1,2,3,…,9，
为聚类类别Cj,j＝1,3,7,9，的聚类中心坐标，
为聚类类别C2的聚类中心坐标，
为聚类类别C4的聚类中心坐标，/>为聚类类别C4的聚类中心坐标，
为聚类类别C6的聚类中心坐标，
为聚类类别C8的聚类中心坐标，其中，pi,qi,i＝1,2,3,4，在上述中已经给出，D为对应于uj,j＝1,3,7,9和vj,j＝1,3,7,9的两个线性方程组的系数矩阵行列式，Aij,i＝1,2,3,4,j＝1,3,7,9，表示对应于uj,j＝1,3,7,9的线性方程组中aij的代数余子式，Bij,i＝1,2,3,4,j＝1,3,7,9表示对应于vj,j＝1,3,7,9的线性方程组中aij的代数余子式，D的表达如下：
(6b4)得到更新迭代公式：经过以上步骤的运算便得到了9个聚类类别的中心，即9个新的约束光心坐标zj＝(uj,vj),j＝1,2,3,…,9，将本次约束光心坐标作为当前聚类中心重新计算目标函数最小值以获得新的满足已知空间几何约束光心坐标。
(6c)通过更新迭代公式更新聚类中心：通过步骤(6b)对目标函数最小化推导，得到更新迭代公式表达如下：
zj＝(uj,vj),j＝1,2,3,…,9，
即为根据所设计的目标函数推导出的更新迭代公式，通过此更新迭代公式更新每一个聚类中心。
本发明根据实际光源之间满足的约束关系设计目标函数，通过最小化目标函数解方程组得到更新迭代公式，通过更新迭代公式经过循环迭代寻优最终确定的9个光心坐标满足已知空间几何约束，9个光心坐标同时产生，可以排除逐一提取光心带来的微小误差，故按照此时得到的光心计算的位姿关系比现有技术提取到的光心所计算的位姿关系误差小，因此最终的测量精度进一步提高。
下面再给出一个例子，对本发明进一步说明。
实施例5
一种用于大型装备装配位姿视觉检测过程中的光心提取方法同实施例1-4，参照图4，本发明包括如下步骤：
步骤1)输入原始光斑图像：输入来自工业摄像机拍摄的原始光斑图像，参见图1，图1为来自靶板光源的图像，该靶板含有的光源数目为9个，且满足图3所示的约束关系和顺序，约束关系b＝1.68，设所输入的来自工业摄像机拍摄的光斑图像I中的像素矩阵为其中，xlu表示含有光斑的图像I中第l行第u列的像素，L≥2000，W≥2000。
步骤2)对输入图像进行二值化处理：考虑目前的光心提取方法是设置光斑窗口，利用窗口内的灰度信息通过高斯拟合提取光心，而光斑灰度的变化对光斑提取会产生影响，因此本发明方案中不比设置光斑窗口，直接对含光斑图像I使用otsu阈值分割算法进行处理，这样可以排除光斑区域灰度变化的影响，二值化处理得到二值化的图像Io，其像素矩阵其中，xlu表示含有光斑的图像二值化图像Io中第l行第u列的像素，L≥2000，W≥2000，在二值化图像中，光斑像素值为1，背景像素值为0，得到的二值化图像参见图2，其中白色区域为光斑区域，像素值为1，黑色区域为背景区域，像素值为0。
步骤3)寻找无约束光心并定义光斑顺序：提取二值化图像中所有光斑像素坐标矩阵w1，记为光斑矩阵，将光斑矩阵w1作为K-means聚类算法的输入，并设置聚类数目K＝9，K为在K-means聚类算法过程中的类别序号，使用K-means聚类算法提取无序光心坐标矩阵其中bi1为w2中第i个无序光心的横坐标，bi2为w2中第i个无序光心的纵坐标由于K-means聚类过程为无监督的过程，故w2中的坐标为无序坐标，不符合图3所示的规定顺序，所以需要将w2中9个光心坐标按照图3标号进行重新排列为停止条件的设置提供依据，本发明根据实际中无序光心坐标的横纵坐标的代数和点线几何关系设计排序算法，排序算法对w2中无序坐标进行重新排列，得到符合图3标号的坐标矩阵rank，rank中为顺序排列的光心。
步骤4)随机选取9个初始聚类中心：在光斑矩阵w1中随机选取9个光斑像素作为初始聚类中心，区别于K-means聚类过程中的类别，j为本发明方法中聚类类别序号，聚类类别数目与光斑数目一致，迭代过程中每个类别的像素坐标可能来自不同光斑区域，但是最终得到的每个聚类类别与每个光斑区域一一对应，将所有初始聚类中心记为初始聚类中心集合其中/>为首次聚类中心更新进行初始化操作。
步骤5)划分聚类类别：按照光斑矩阵w1中每个像素点坐标到当前聚类中心距离的最小值，将矩阵w1中所有像素点的坐标划分为9个聚类类别C＝{C1,C2,···,Cj,···,C9}，其中Cj表示第j个聚类类别，1≤j≤9。
步骤6)更新每一个聚类中心：传统的光心提取方法需要逐一设置光斑窗口，考虑窗口内所有像素信息提取光心，提取的多个光心之间存在一定误差，影响测量结果。本发明根据光源之间已知的空间几何约束设计目标函数，通过最小化目标函数进行推导，得到更新迭代公式，对聚类类别C的初始聚类中心集合Z0进行迭代计算，根据所设计的目标函数推导出的更新迭代公式可以同时计算所有聚类类别Cj的聚类中心zj，将9个聚类类别C的聚类中心表示为聚类中心集合Z＝{z1,z2,···,zj,···,z9}，其中zj＝(uj,vj)，此时完成一次聚类中心更新。
步骤7)判断是否满足停止条件：根据所设迭代误差ε以及停止条件标志η来判断迭代结果是否正确；
步骤7a)设置迭代和停止条件参数：设迭代次数为m，最大迭代次数为M，迭代误差为ε，停止条件标志为η，初始令m＝0，其中，M≥15，ε≥0.03。
步骤7b)确定聚类中心：判断||Zm-Zm-1||＜ε或m＝M是否成立，若是，得到计算后的聚类类别C的聚类中心集合Z，并执行步骤(7d)，否则，执行步骤(7c)。
步骤7c)进入新一轮迭代：令m＝m+1，并再次顺序执行步骤(5)、(6)、(7a)、(7b)，进入新一轮确定聚类中心的迭代。
顺序执行步骤(5)、(6)、(7a)、(7b)，为确定聚类中心的迭代。
步骤7d)确定满足空间约束聚类中心集合Z：设停止条件标志η≥20，对步骤(7b)得到的聚类中心集合Z与步骤(3)得到的符合规定顺序的坐标矩阵rank进行比较，即计算||Z-rank||≤η是否成立，若是，说明此时计算的所有聚类中心顺序符合图3的规定顺序，得到计算后的聚类中心集合Z，即为满足已知空间几何约束且顺序排列的光心坐标，否则，返回执行步骤(4)、(5)、(6)、(7a)、(7b)、(7c)进入新一轮计算满足空间约束光心坐标的迭代，重新计算聚类中心集合Z并判断其是否为最终满足空间约束和规定顺序的光心坐标集合。
顺序执行步骤(4)、(5)、(6)、(7a)、(7b)、(7c)，为确定满足空间约束光心坐标的迭代。
步骤8)输出最终光心：输出步骤(7d)确定的最终聚类中心集合Z，集合Z中所有元素为满足已知空间几何约束的顺序排列的光心坐标，并以可视化形式展示提取结果，参见图5，图5展示了显示在二值化图像中每个光斑区域的光心，并显示每个光心的坐标和顺序标号，完成大型装备装配位姿视觉检测过程中的光心提取。
本发明从实际工程问题角度出发，将光源之间的空间几何约束引入到聚类算法中设计目标函数，并通过最小化目标函数推导得到更新迭代公式，通过本例所述的步骤提取满足已知空间几何约束的光心，其中二值化处理可以排除光斑灰度值的影响，无序光心的提取和排序以及按照更新迭代公式更新聚类公式步骤的操作，是克服现有技术提取光心存在误差的关键。
下面结合仿真数据对本发明的技术效果再说明。
实施例6
一种用于大型装备装配位姿视觉检测过程中的光心提取方法同实施例1-5，
仿真条件：
本发明的仿真实验是在计算机配置为core i5-10400 2.9GHZ处理器，16G运行内存，Windows10系统和计算机软件配置为MATLAB R2019b环境下进行的，利用本发明方法在上述仿真条件下进行实验，对一幅含有9个光斑的原始图像的光斑进行约束下的质心提取，图像像素值大小为2592×2048。
仿真内容：
用本发明对图1所示的工业摄像机拍摄的原始光斑图像进行光斑光心提取，图1是工业摄像机对靶板拍摄获取的图像，靶板设计如图3所示，其中光源顺序和约束关系已经规定，图1来自光源如图3所示的比例为1：1.68，对于不同角度和约束相同的类似图像，本发明同样可以进行精确光心提取。
本发明对图1的仿真结果如图5所示。
图5结合二值化图像，将光心显示在二值化图像的光斑区域中，并以可视化形式展示提取到的光心的坐标和顺序标号，从图5结果计算验证，本发明能够有效地对含有多个光斑的图像进行光斑光心的精确提取，并使得提取的光心位置满足图3所示的空间几何约束的要求，经验证图5结果中的约束比例也为1：1.68精度达到了0.01像素。
综上所述，本发明提出的大型装备装配位姿视觉检测过程中的光心提取方法，解决了现有技术设置光斑窗口提取多个光心存在误差，导致测量结果精度不足的问题。实现步骤为：输入大型装备装配位姿视觉检测过程中工业相机拍摄的固定于靶板上光源的原始图像I；对图像I二值化得到Io；提取Io所有光斑像素坐标矩阵w1，根据w1提取无序光心并按规定顺序重新排列；随机选取9个初始聚类中心作为初始聚类集合将w1划分为9个聚类类别C＝{C1,C2,···,Cj,···,C9}；设计目标函数，推导更新迭代公式，用以更新聚类中心集合Z；判断是否满足停止条件；输出最终光心集合Z＝{z1,z2,···,zj,···,z9}，得到满足已知空间几何约束和规定顺序的光心。本发明结合实际靶板光源之间的空间几何约束设计目标函数，推导更新迭代公式，用以同时提取多个光心，能排除逐一提取光心的微小误差，提高测量精度。本发明适用于视觉测量领域，用于大型工件装备装配或轮廓检测。用于精确提取大型装备装配位姿视觉检测过程中符合已知空间几何约束和顺序的光斑光心。/>

Claims (4)

1.一种用于大型装备装配位姿视觉检测过程中的光心提取方法，大型装备装配位姿视觉检测主要包括有安置在被测物体上的靶板、工业摄像机和计算机，靶板上安装有空间位置已知的9个光源，并且规定9个光源的顺序，光源之间空间关系为已知空间几何约束，其特征在于，获取大型装备装配位姿视觉检测过程中的满足已知空间几何约束的顺序排列的光斑光心，包括有如下步骤：
(1)输入图像：输入来自工业摄像机拍摄的含有满足已知空间几何约束的光斑图像，设所输入的来自工业摄像机拍摄的含有满足已知空间几何约束的光斑图像为I，图像I中的各光斑之间的约束关系与实际靶板中实际各光源之间的约束关系不一致，因此称图像I为无约束图像，图像I中的像素矩阵为x，输入图像I中的像素矩阵x为，
其中，xlu表示图像I中第l行第u列的像素，L为图像I横向像素点的总个数，L≥2000，W为图像I纵向像素点的总个数，W≥2000；
(2)对输入图像进行二值化处理：对光斑图像I使用otsu阈值分割算法进行处理，得到二值化的图像Io，二值化的图像Io的像素矩阵为xo，其中，xolu表示二值化图像Io中第l行第u列的像素，L为图像Io横向像素点的总个数，L≥2000，W为图像Io纵向像素点的总个数，W≥2000，此时，光斑像素值为1，背景像素值为0；
(3)寻找图像Io中无序光心并重新排列无序光心顺序：首先提取二值化图像Io中像素值为1的像素点集合Ioxy，图像Io中值为1的像素点均为光斑区域像素，像素点集合Ioxy以矩阵表示为w1，简称光斑矩阵；其次使用K-means聚类算法对二值化图像像素值为1的像素点矩阵w1进行光心坐标提取，得到的9个光斑光心，为无序光心，将9个无序光心坐标以矩阵表示为w2，简称无序光心矩阵，其中bi1为w2中第i个无序光心的横坐标，bi2为w2中第i个无序光心的纵坐标，将w2中9个无序光心坐标按照靶板上规定的9个光斑顺序进行重新排列，得到符合规定顺序的坐标矩阵rank；
(4)随机选取9个初始聚类中心：在光斑矩阵w1中随机选取9个坐标作为初始聚类中心，表示为初始聚类中心集合
(5)划分聚类类别：计算w1中每个像素点坐标到当前9个聚类中心的最小值，按照w1中每个像素点坐标到当前聚类中心距离的最小值，将矩阵w1中所有像素点的坐标划分为9个聚类类别C＝{C1,C2,···,Cj,···,C9}，其中Cj表示第j个聚类类别，1≤j≤9；
(6)更新每一个聚类中心：根据光源之间已知的空间几何约束设计目标函数，通过最小化目标函数进行推导，得到更新迭代公式，对聚类类别C的初始聚类中心集合Z0进行迭代计算，根据所设计的目标函数推导出的更新迭代公式计算每一个聚类类别Cj的聚类中心zj，将9个聚类类别C的聚类中心表示为聚类中心集合Z＝{z1,z2,···,zj,···,z9}，其中zj＝(uj,vj)，此时完成一次聚类中心更新；
(7)判断是否满足停止条件：根据所设迭代误差ε以及停止条件标志η来判断迭代结果是否正确；
(7a)设置迭代和停止条件参数：设迭代次数为m，最大迭代次数为M,迭代误差为ε，停止条件标志为η，初始令m＝0，其中，M≥15，ε≥0.03；
(7b)确定聚类中心：判断||Zm-Zm-1||＜ε或m＝M是否成立，若是，得到计算后的聚类类别C的聚类中心集合Z，并执行步骤(7d)，否则，执行步骤(7c)；
(7c)进入新一轮迭代：令m＝m+1，并再次顺序执行步骤(5)、(6)、(7a)、(7b)，进入新一轮确定聚类中心的迭代；
(7d)确定满足空间约束聚类中心集合Z：设停止条件标志η，其中η≥20，对步骤(7b)得到的聚类中心集合Z与步骤(3)得到的符合规定顺序的坐标矩阵rank进行比较，即计算||Z-rank||≤η是否成立，若是，得到计算后的聚类中心集合Z，即为满足已知空间几何约束的顺序排列的光心坐标，否则，返回执行步骤(4)、(5)、(6)、(7a)、(7b)、(7c)进入新一轮计算满足空间约束光心坐标的迭代，重新计算聚类中心集合Z并判断其是否为最终满足空间约束的光心坐标集合；
(8)输出最终光心：输出步骤(7d)确定的最终聚类中心集合Z，集合Z中所有元素为满足已知空间几何约束的顺序排列的光心坐标。
2.根据权利要求1所述的用于大型装备装配位姿视觉检测过程中的光心提取方法，其特征在于，步骤(3)中所述的寻找无约束光心并定义光斑顺序，包括有如下步骤：
(3a)提取所有光斑像素点的坐标集合：提取二值化图像Io中所有像素值为1的像素点的坐标，形成像素点坐标集合Ioxy，像素点坐标集合Ioxy以矩阵表示为其中n为Io中所有像素值为1的像素点的总数，m表示所有像素值为1的像素点中的任意一个像素点，1≤m≤n，am1表示第m个像素值为1的像素点的横坐标，am2表示第m个像素值为1的像素点的纵坐标；
(3b)获得9个初始无约束状态下的无序光心坐标：使用K-means聚类算法对二值化图像像素值为1的像素点的坐标集合Ioxy进行处理，输入所有光斑的像素坐标集合w1数据和K值，K值为最终聚类的类别个数，计算得到9个初始的无约束状态下的无序光心坐标，以矩阵表示为矩阵中第一列表示无序光心的横坐标，第二列表示无序光心的纵坐标，其中bj1表示提取到的第j个无序光心横坐标，其中bj2表示提取到的第j个无序光心纵坐标，1≤j≤9；
(3c)无序光心坐标重新排序：对w2中9个无序光心坐标按已知顺序排列，得到符合规定顺序的坐标矩阵矩阵第一列表示顺序光心的横坐标，第二列表示顺序光心的纵坐标，其中mj表示从w2提取到的第j个顺序光心横坐标，其中nj表示从w2提取到的第j个顺序光心纵坐标，w2中的元素和rank中的元素存在一一对应的关系，得到了大型装备装配位姿视觉检测过程中与规定顺序排列顺序相同的光斑光心。
3.根据权利要求2所述的用于大型装备装配位姿视觉检测过程中的光心提取方法，其特征在于，步骤(3c)中所述的无序光心坐标重新排序，包括有如下步骤：
(3c1)确定符合规定顺序的1、9号光心：首先计算9个无序光心坐标矩阵w2中每行所有元素之和s，其中sj＝bj1+bj2，提取w2中对应s中最小值的光心，记为(m1,n1)，即为符合规定顺序的1号光心，提取w2中对应s中最大值的光心，记为(m9,n9)，即为符合规定顺序的9号光心，此时w2不再包含(m1,n1)(m9,n9)两光心坐标；
(3c2)确定符合规定顺序的5号光心：提取w2中除(m1,n1)(m9,n9)两光心坐标外其他坐标距离最小值对应的光心坐标记为(m5,n5)，即为符合规定顺序的5号光心；
(3c3)将剩余6个光心的坐标划分为两组：计算w2中除(m1,n1)(m5,n5)(m9,n9)外剩余6个光心中某一点(mj,nj)与该确定的直线的代数关系，即计算对于(mj,nj),j＝2,3,6，其judge结果大于0，记/>对于(mj,nj),j＝4,7,8，其judge结果小于0，记/>其中w3和w4中坐标仍为无序状态；
(3c4)确定符合规定顺序的3、7号光心：提取w3中(mj,nj)对应judge代数值最大的光心坐标，记为(m3,n3)，即为符合规定顺序的3号光心，提取w4中(mj,nj)对应的judge代数值最小的光心坐标，记为(m7,n7)，即为符合规定顺序的7号光心，此时其中w3和w4中光心坐标仍为无序状态；
(3c5)确定符合规定顺序的2、4、6、8号光心：计算w3中两个(mj,nj)横纵坐标之和，横纵坐标和小者记为(m2,n2)，即为符合规定顺序的2号光心，横纵坐标和小者记为(m6,n6)，即为符合规定顺序的6号光心，同样计算w4中两个(mj,nj)横纵坐标之和，横纵坐标和小者记为(m4,n4)，即为符合规定顺序的4号光心，横纵坐标和大者记为(m8,n8)，即为符合规定顺序的8号光心；
(3c6)获得顺序光心坐标：最后将(m1,n1)…(m9,n9)按照其下角标从小到大的顺序赋值给rank，rank为9×2大小的矩阵，最后即得到满足已知顺序的坐标矩阵rank，得到了大型装备装配位姿视觉检测过程中与规定顺序排列顺序相同的光斑光心。
4.根据权利要求1所述的用于大型装备装配位姿视觉检测过程中的光心提取方法，其特征在于，步骤(6)所述的更新每一个聚类中心，包括有如下步骤：
(6a)设计目标函数：根据光源之间已知的空间约束设计目标函数，将每个光斑作为一个类别Cj，所有光斑中的每个像素为一个元素i，则每个聚类中心zj＝(uj,vj)，即为每个光斑的光心，光源之间满足的约束比例为1：b，且规定光源的顺序，将图像中空间几何约束引入到聚类算法中，设计符合已知空间几何约束的目标函数J，目标函数如下：
其中，(xi,yi)表示第i个像素在图像坐标系下的坐标，(uj,vj)表示第j个聚类中心Cj的中心坐标对目标函数J最小化得到满足已知空间几何约束的光斑光心；
(6b)通过最小化目标函数，推导得到更新迭代公式：最小化式目标函数J得到满足已知空间几何约束的光心位置，其具体的步骤是：
(6b1)约束条件代入目标函数：首先将目标函数中的约束条件带入目标函数，得到含有参数的目标函数：
(6b2)求偏导建立方程组：含有参数的目标函数对uj,vj,j＝1,3,7,9,求偏导并令其为零，即对偏导方程组进行整理可以得到对应于uj,j＝1,3,7,9和vj,j＝1,3,7,9的两个线性方程组：
其中方程组的系数aij,i＝1,2,3,4,j＝1,3,7,9，是每一个类别即每一个区域Cj,j＝1,2,3,…,9内像素个数的线性组合，nj,j＝1,2,3,…,9，表示区域Cj的像素个数，pi,qi,i＝1,2,3,4，为区域Cj,j＝1,2,3,…,9，Xj,j＝1,2,3,…,9为所有光斑像素点横坐标之和的线性表示，Yj,j＝1,2,3,…,9为所有光斑像素点纵坐标之和的线性表示；
(6b3)解方程组：通过分析对应于uj,j＝1,3,7,9和vj,j＝1,3,7,9的两个线性方程组的变量数和方程组数目可以注意到，其变量数等于方程组数目，故由克拉默法则解方程组即可得到uj,vj,j＝1,2,3,…,9的表达式，然后根据目标函数中的约束条件可以获得uj,vj,j＝1,3,7,9的表达式：
zj＝(uj,vj),j＝1,2,3,…,9,
其中，pi,qi,i＝1,2,3,4，在上述中已经给出，D为对应于uj,j＝1,3,7,9和vj,j＝1,3,7,9的两个线性方程组的系数矩阵行列式，Aij,i＝1,2,3,4,j＝1,3,7,9，表示对应于uj,j＝1,3,7,9的线性方程组中aij的代数余子式，Bij,i＝1,2,3,4,j＝1,3,7,9表示对应于vj,j＝1,3,7,9的线性方程组中aij的代数余子式，D的表达如下：
(6b4)得到更新迭代公式：经过以上步骤的运算便得到了9个聚类类别的中心，即9个新的约束光心坐标zj＝(uj,vj),j＝1,2,3,…,9，将本次约束光心坐标作为当前聚类中心重新计算目标函数最小值以获得新的满足已知空间几何约束光心坐标；
(6c)通过更新迭代公式更新聚类中心：通过步骤(6b)对目标函数最小化推导，得到更新迭代公式表达如下：
zj＝(uj,vj),j＝1,2,3,…,9,
即为根据所设计的目标函数推导出的更新迭代公式，通过此更新迭代公式更新每一个聚类中心。
CN202110467426.8A 2021-04-28 2021-04-28 大型装备装配位姿视觉检测过程中的光心提取方法 Active CN113192122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110467426.8A CN113192122B (zh) 2021-04-28 2021-04-28 大型装备装配位姿视觉检测过程中的光心提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110467426.8A CN113192122B (zh) 2021-04-28 2021-04-28 大型装备装配位姿视觉检测过程中的光心提取方法

Publications (2)

Publication Number Publication Date
CN113192122A CN113192122A (zh) 2021-07-30
CN113192122B true CN113192122B (zh) 2023-07-28

Family

ID=76979910

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110467426.8A Active CN113192122B (zh) 2021-04-28 2021-04-28 大型装备装配位姿视觉检测过程中的光心提取方法

Country Status (1)

Country Link
CN (1) CN113192122B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114749907B (zh) * 2022-06-16 2022-10-25 成都飞机工业（集团）有限责任公司 一种航空发动机与散热器的对合状态预先检查装置及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011160491A1 (zh) * 2010-06-23 2011-12-29 北京航空航天大学 一种基于摄像机坐标系位置自适应的显微视觉测量方法
CN109308722A (zh) * 2018-11-26 2019-02-05 陕西远航光电有限责任公司 一种基于主动视觉的空间位姿测量系统及方法
CN109389608A (zh) * 2018-10-19 2019-02-26 山东大学 以平面为聚类中心具有抗噪性的模糊聚类图像分割方法
AU2020101932A4 (en) * 2020-07-16 2020-10-01 Xi'an University Of Science And Technology Binocular vision–based method and system for pose measurement of cantilever tunneling equipment

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011160491A1 (zh) * 2010-06-23 2011-12-29 北京航空航天大学 一种基于摄像机坐标系位置自适应的显微视觉测量方法
CN109389608A (zh) * 2018-10-19 2019-02-26 山东大学 以平面为聚类中心具有抗噪性的模糊聚类图像分割方法
CN109308722A (zh) * 2018-11-26 2019-02-05 陕西远航光电有限责任公司 一种基于主动视觉的空间位姿测量系统及方法
AU2020101932A4 (en) * 2020-07-16 2020-10-01 Xi'an University Of Science And Technology Binocular vision–based method and system for pose measurement of cantilever tunneling equipment

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
光笔式单目视觉测量系统的关键技术;解则晓;韩振华;高翔;;中国光学(第05期);全文 *
基于平行性约束的位姿测量方法研究;张孝凯;王鹏;孙长库;;计算机应用研究(第06期);全文 *

Also Published As

Publication number Publication date
CN113192122A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
Zubizarreta et al. Direct sparse mapping
CN111127513A (zh) 一种多目标跟踪方法
CN109974743B (zh) 一种基于gms特征匹配及滑动窗口位姿图优化的视觉里程计
Huang et al. An automatic analog instrument reading system using computer vision and inspection robot
CN107748539B (zh) 基于rtcp误差特征识别的五轴机床多轴联动误差溯源方法
CN111105495A (zh) 一种融合视觉语义信息的激光雷达建图方法及系统
CN112801094B (zh) 一种指针式仪表图像倾斜校正方法
CN110348412B (zh) 一种关键点定位方法、装置、电子设备及存储介质
CN110363054B (zh) 道路标识线识别方法、装置和系统
KR20210052409A (ko) 차선의 확정방법, 포지셔닝 정밀도의 평가방법, 장치, 기기 및 컴퓨터 프로그램
CN107230203A (zh) 基于人眼视觉注意机制的铸件缺陷识别方法
CN110599489A (zh) 一种目标空间定位方法
CN112949338A (zh) 深度学习与Hough变换结合的二维条码精确定位方法
CN110095123B (zh) 不规则小天体表面路标观测信息评价优化方法
Treiber Optimization for computer vision
CN111310840A (zh) 数据融合处理方法、装置、设备和存储介质
CN111881908A (zh) 目标检测模型的修正方法、检测方法、装置、设备及介质
CN113192122B (zh) 大型装备装配位姿视觉检测过程中的光心提取方法
Roberts et al. Estimating the motion of plant root cells from in vivo confocal laser scanning microscopy images
CN112364881B (zh) 一种进阶采样一致性图像匹配方法
CN115457130A (zh) 一种基于深度关键点回归的电动汽车充电口检测定位方法
CN109544632B (zh) 一种基于层次主题模型的语义slam对象关联方法
CN114463425A (zh) 一种基于概率Hough直线检测的工件表面无特征点定位方法
CN112070811A (zh) 一种基于连续域蚁群算法改进的图像配准方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant