CN113844674A - 紧固件安装状态检测方法、装置、电子设备及介质 - Google Patents
紧固件安装状态检测方法、装置、电子设备及介质 Download PDFInfo
- Publication number
- CN113844674A CN113844674A CN202011607005.2A CN202011607005A CN113844674A CN 113844674 A CN113844674 A CN 113844674A CN 202011607005 A CN202011607005 A CN 202011607005A CN 113844674 A CN113844674 A CN 113844674A
- Authority
- CN
- China
- Prior art keywords
- fastener
- dimensional coordinates
- actual
- determining
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009434 installation Methods 0.000 title claims abstract description 71
- 238000001514 detection method Methods 0.000 title claims abstract description 38
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 230000000007 visual effect Effects 0.000 claims abstract description 21
- 238000003860 storage Methods 0.000 claims description 31
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 9
- 238000004458 analytical method Methods 0.000 claims description 5
- 238000004590 computer program Methods 0.000 claims description 3
- 238000000605 extraction Methods 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 101150055297 SET1 gene Proteins 0.000 description 4
- 101150117538 Set2 gene Proteins 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000007689 inspection Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 239000007769 metal material Substances 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64F—GROUND OR AIRCRAFT-CARRIER-DECK INSTALLATIONS SPECIALLY ADAPTED FOR USE IN CONNECTION WITH AIRCRAFT; DESIGNING, MANUFACTURING, ASSEMBLING, CLEANING, MAINTAINING OR REPAIRING AIRCRAFT, NOT OTHERWISE PROVIDED FOR; HANDLING, TRANSPORTING, TESTING OR INSPECTING AIRCRAFT COMPONENTS, NOT OTHERWISE PROVIDED FOR
- B64F5/00—Designing, manufacturing, assembling, cleaning, maintaining or repairing aircraft, not otherwise provided for; Handling, transporting, testing or inspecting aircraft components, not otherwise provided for
- B64F5/60—Testing or inspecting aircraft components or systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Manufacturing & Machinery (AREA)
- Transportation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
本申请实施例公开了一种紧固件安装状态检测方法、装置、电子设备及介质。该方法包括：通过位于至少三个方位的图像采集器对紧固件所在的设备表面区域进行图像采集，得到至少三个采集图像；基于多目视觉定位算法，根据所述至少三个采集图像，确定所述紧固件的实际三维坐标；根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态。上述方案能够基于机器视觉确定紧固件安装的三维信息，从而精确地确定紧固件的安装位置，并通过与预先建立模型中紧固件位置的比对，从而快速、准确地确定紧固件是否存在移位、错装和漏装等问题，实现高精度、高稳定性的紧固件安装状态检测。
Description
技术领域
本申请实施例涉及零件检测技术领域，尤其涉及一种紧固件安装状态检测方法、装置、电子设备及介质。
背景技术
飞机装配过程中，存在大量的制孔与紧固件安装工作。由于飞机外形复杂，很多制孔和紧固件安装的工作需要人手工完成。通常要在部件装配和验收等环节对紧固件的安装进行检测，一架客机上紧固件多达几十万组，且飞机的结构尺寸又非常大，使得检测工作量非常大。
紧固件检测的传统方法是由人工完成的，检测效率低、精度不易控制，尤其对于大批量检测更为费时费力，难以适应现代飞机装配的发展需求。并且受检测人员个人经验、精神状态和疲劳程度等因素影响，检测结果缺乏稳定性与客观性，易发生漏检、误检等问题。基于传统二维图像的工业检测方法可以满足一般缺陷检测的需求，但是由于缺少三维信息，无法做到与空间位置关系的紧密关联。
发明内容
本发明实施例提供一种紧固件安装状态检测方法、装置、电子设备及介质，以提高紧固件安装状态的检测效率和精确性。
在一个实施例中，本申请实施例提供了一种紧固件安装状态检测方法，该方法包括：
通过位于至少三个方位的图像采集器对紧固件所在的设备表面区域进行图像采集，得到至少三个采集图像；
基于多目视觉定位算法，根据所述至少三个采集图像，确定所述紧固件的实际三维坐标；
根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态。
在另一个实施例中，本申请实施例还提供了一种紧固件安装状态检测装置，该装置包括：
采集图像获取模块，用于通过位于至少三个方位的图像采集器对紧固件所在的设备表面区域进行图像采集，得到至少三个采集图像；
实际三维坐标确定模块，用于基于多目视觉定位算法，根据所述至少三个采集图像，确定所述紧固件的实际三维坐标；
安装状态确定模块，用于根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态。
在又一个实施例中，本申请实施例还提供了一种电子设备，包括：一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请实施例任一项所述的紧固件安装状态检测方法。
在再一个实施例中，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请实施例中任一项所述的紧固件安装状态检测方法。
本申请实施例中，通过位于至少三个方位的图像采集器对紧固件所在的设备表面区域进行图像采集，得到至少三个采集图像；基于多目视觉定位算法，根据所述至少三个采集图像，确定所述紧固件的实际三维坐标，从而精确地确定紧固件在设备表面的三维坐标位置，根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态，从而快速高效地确定紧固件的安装状态，能够自动化且精确地检测紧固件的安装是否存在错位、错装、漏装等问题。
附图说明
图1为本发明一种实施例提供的紧固件安装状态检测方法的流程图；
图2为本发明另一实施例提供的紧固件安装状态检测方法的流程图；
图3为本发明提供的三角相机监测流程图；
图4为本发明提供的算法流程图；
图5为本发明提供的原始图像示意图；
图6为本发明提供的阈值二值化处理后的图像示意图；
图7为本发明提供的过滤后的图像示意图；
图8为本发明提供的最终检测图像示意图；
图9为本发明提供的动态3D坐标示意图；
图10为本发明提供的相机移动示意图；
图11为本发明提供的相邻两帧坐标示意图；
图12为本发明提供的去重前的数模文件示意图；
图13为本发明提供的去重后的数模文件示意图；
图14为本发明提供的标准数模文件示意图；
图15为本发明一种实施例提供的紧固件安装状态检测装置的结构示意图；
图16为本发明一种实施例提供的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
图1为本发明一种实施例提供的紧固件安装状态检测方法的流程图。本实施例提供的紧固件安装状态检测方法可适用于对紧固件的安装状态进行检测的情况。典型的，该方法可以适用于对飞机蒙皮表面上安装的紧固件进行检测的情况。该方法具体可以由紧固件安装状态检测装置执行，该装置可以由软件和/或硬件的方式实现，该装置可以集成在能够实现本申请实施例提供的紧固件安装状态检测方法的电子设备中。本申请实施例中提供的紧固件安装状态监测方法可以适用于对任何设备表面的紧固件的检测，本申请实施例中为了便于直观地描述，针对飞机表面紧固件安装状态检测的情况进行说明。参见图1，本申请实施例的方法具体包括：
S110、通过位于至少三个方位的图像采集器对紧固件所在的设备表面区域进行图像采集，得到至少三个采集图像。
在本申请实施例中，设备表面可以是飞机蒙皮表面。飞机蒙皮表面开设有用于插入紧固件的孔，紧固件应安装于孔内。至少三个方位的图像采集器所采集的设备表面区域为同一个区域。通过至少三个方位的图像采集器采集紧固件所在设备表面区域的图像，从而能够获取紧固件所在设备表面区域多方位的信息，以更加精准地确定紧固件的位置。
在本申请实施例中，可以通过至少三个方位的图像采集器对紧固件所在的设备表面区域进行图像采集，得到一组采集图像。也可以令至少三个方位的图像采集器对飞机蒙皮表面进行遍历图像采集，获得多组采集图像，以对整个飞机蒙皮表面的紧固件安装状态进行检测分析。
S120、基于多目视觉定位算法，根据所述至少三个采集图像，确定所述紧固件的实际三维坐标。
示例性的，至少三个采集图像是从三个方位进行采集的，可以通过不同方位的图像确定紧固件的深度信息，进而根据紧固件在至少三个采集图像中的坐标以及深度信息，确定紧固件的实际三维坐标。
具体的，可以将至少三个采集图像进行两两匹配，确定匹配关系，再基于多目视觉定位算法，根据匹配关系和几何约束条件，确定紧固件在图像采集系统中的实际三维坐标。
S130、根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态。
示例性的，预先根据飞机的理论规格以及紧固件的安装规格，建立飞机蒙皮表面模型，该预先建立模型上包括按照理论正确安装的紧固件，并且已知按照理论正确安装的紧固件的理论三维坐标。根据实际检测的紧固件的实际三维坐标以及预先建立模型中紧固件的理论三维坐标的对比，即可获知紧固件的安装状态，例如是否存在错位、漏装、错装等问题。通过与预先建立模型中紧固件的理论三维坐标的对比，还可以确定在错位的情况下，紧固件距离边缘的距离、紧固件的间距以及紧固件的偏移距离等。
本申请实施例中，通过位于至少三个方位的图像采集器对紧固件所在的设备表面区域进行图像采集，得到至少三个采集图像；基于多目视觉定位算法，根据所述至少三个采集图像，确定所述紧固件的实际三维坐标，从而精确地确定紧固件在设备表面的三维坐标位置，根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态，从而快速高效地确定紧固件的安装状态，能够自动化且精确地检测紧固件的安装是否存在错位、错装、漏装等问题。
图2为本发明另一实施例提供的紧固件安装状态检测方法的流程图。本申请实施例为对上述实施例的进一步优化，未在本实施例中详细描述的细节详见上述实施例。参见图2，本实施例提供的紧固件安装状态检测方法可以包括：
S210、通过位于至少三个方位的图像采集器对紧固件所在的设备表面区域进行图像采集，得到至少三个采集图像。
S220、对至少三个采集图像进行特征提取和识别，确定所述紧固件在至少三个采集图像中的二维坐标。
示例性的，至少三个采集图像为对紧固件所在的设备表面区域进行图像采集得到的，因此需要对区域对应的图像进行特征提取和识别，从而识别采集图像中的紧固件，确定紧固件在图像采集系统中的二维坐标。
S230、根据所述紧固件在至少三个采集图像中的二维坐标、匹配关系以及至少三个采集图像的采集视角，确定所述紧固件的实际三维坐标。
示例性的，至少三个采集图像能够从多方位反映紧固件的位置信息和规格信息，能够体现更加精准的深度信息。根据匹配关系确定同一个紧固件，再根据紧固件的二维坐标和至少三个图像采集器的采集视角，定位紧固件的实际位置，从而确定紧固件的实际三维坐标。
在本申请实施例中，所述匹配关系的确定过程包括：基于视觉分析算法，根据至少三个图像采集器的内参、外参、至少三个图像采集器之间的对极几何约束以及紧固件的二维坐标，确定至少三个采集图像中紧固件的匹配关系。
其中，图像采集器的内参、外参可以预先根据实际情况调节。示例性的，可以将至少三个采集图像进行两两匹配，针对同一个紧固件确定至少三个采集图像的匹配关系。
S240、对针对不同设备表面区域进行图像采集得到的采集图像进行拼接，并对设备表面进行三维重建，得到实际三维结构。
示例性的，一般情况下需要对整个飞机蒙皮表面上的紧固件的安装状态进行检测，因此，可以令位于至少三个方位的图像采集器对飞机蒙层表面进行遍历采集，得到多组采集图像，再将属于不同飞机表面区域的采集图像进行拼接，并基于深度信息进行三维重建，得到实际三维结构。相应地，根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态，包括：根据所述实际三维结构中紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态。
S250、通过图像采集器对紧固件所在设备表面上的特征点进行检测，确定所述特征点在图像采集器坐标系中的坐标。
其中，特征点为设备表面上固有的特征点，例如logo标志、部件标志、颜色标志等，通过位于至少三个方位的图像采集器对紧固件所在设备表面上的特征点进行检测，从而计算出特征点的三维坐标。特征点的三维坐标和紧固件的三维坐标计算方式相同。
S260、根据所述特征点在图像采集器坐标系中的坐标，以及所述特征点在预先建立模型坐标系中的坐标，确定坐标转换关系。
由于需要将检测到的紧固件的实际三维坐标与预先建立模型中紧固件的理论三维坐标进行比对，以确定紧固件的安装状态，因此需要紧固件的实际三维坐标和预先建立模型中紧固件的理论三维坐标转换到同一坐标系中进行对比，才具有参考性。在本申请实施例中，可以根据特征点在图像采集器坐标系中的坐标，以及特征点在预先建立模型坐标系中的坐标，确定坐标转换关系。例如，对于同一个特征点，根据该特征点在图像采集器坐标系中的三维坐标与该特征点在预先建立模型坐标系中三维坐标，建立关系方程，求解得到坐标转换矩阵。
在本申请实施例中，根据所述特征点在图像采集器坐标系中的坐标，以及所述特征点在预先建立模型坐标系中的坐标，确定坐标转换关系，包括：将图像采集器采集到的设备表面上的特征点与预先建立模型中的特征点进行匹配；根据匹配成功的特征点在图像采集器坐标系中的坐标以及在预先建立模型坐标系中的坐标，确定坐标转换关系。
示例性的，将图像采集器采集到的设备表面上的特征点与预先建立模型中的特征点进行匹配，从而确定同一个特征点。再根据同一个特征点在图像采集器坐标系中的三维坐标以及在预先建立模型中的三维坐标，确定图像采集器坐标系与预先建立模型坐标系的坐标转换关系。
S270、根据所述坐标转换关系，将所述紧固件在图像采集器坐标系中的实际三维坐标，转换为紧固件在预先建立模型坐标系中的实际三维坐标。
在本申请实施例中，紧固件的三维坐标为在图像采集器坐标系中的坐标。示例性的，可以根据坐标转换关系，将紧固件在图像采集器坐标系中的三维坐标，转换为紧固件在预先建立模型坐标系中的实际三维坐标。也可以将紧固件在预先建立模型坐标系中的实际三维坐标，转换为紧固件在图像采集器坐标系中的实际三维坐标。
S280、将所述紧固件在预先建立模型坐标系中的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标进行对比，确定所述紧固件的安装状态。
由于紧固件的实际三维坐标和理论三维坐标已转换为同一坐标系下，因此可以直接将紧固件的实际三维坐标和理论三维坐标进行对比，从而确定紧固件的实际三维坐标和理论三维坐标是否重合，如果重合，则说明紧固件没有发生错位、错装、漏装等情况，如果不重合，则说明存在错位、错装、漏装等情况。如果同一紧固件的实际三维坐标与理论三维坐标不重合，存在错位，则可以根据坐标差确定紧固件偏移的距离。如果对于预先建立模型中紧固件的理论三维坐标不存在与其对应的实际三维坐标，则说明该紧固件发生了漏装的情况。如果对于预先建立模型中紧固件的理论三维坐标存在与其对应的实际三维坐标，但是紧固件的型号规格等不一致，则说明紧固件发生错装的情况。
本申请实施例中的方案，通过多目视觉确定紧固件的三维坐标，能够提高检测精度。准确恢复出紧固件的三维坐标信息，并将紧固件的实际三维坐标和理论三维坐标准换为同一坐标系下的坐标，从而直接进行对比，提高紧固件安装状态检测准确性和效率，鲁棒性好，操作方便，无需贴Marker，适应多种飞机表面，结果稳定可靠。
本申请实施例为紧固件安装状态监测的具体实现方式。具体包括如下：
三角相机监测流程如图3所示，整个系统运行过程中，机械臂移动，条形光源亮起，三角相机同时以5帧每秒的速率同步拍摄飞机蒙皮表面图像。在向缓冲区写入图像过程中，后台并行做数据预处理，判断采集图像过程中是否出现帧不连续的情况，同时并行生成每张照片中铆钉的像素坐标。机械臂运动到位暂停，三角相机停止拍照，数据预处理持续进行，这段时间留给缺陷检测模块采集图像。
机械臂运动完全结束，回到Home位。三角相机图像拍摄完成，数据预处理线程将全部铆钉像素坐标信息整理成一份t_points_data.pkl文件传给视觉检测算法分析模块，最终生成一份铆钉数模obj文件。
飞机蒙皮表面铆钉的数模和制造使用的标准数模做比对，可以分析出真实铆钉位置与标准设计铆钉位置的偏差，进而分析出有哪些铆钉位置存在错位、漏打、多打等情况。
算法流程如图4所示，具体包括：拍摄一组相机移动过程中的连续图像后，先利用铆钉检测算法识别出每张图像里的铆钉位置。检测算法主要利用铆钉打光的两个特征信息，一个是在光照条件下铆钉表面反光使得在灰度图中有较高的亮度，边界信息也更加突出，容易与飞机蒙皮表面做出区分；另一个是铆钉本身的形态学特征为圆形，通过对区域的圆度检测可以判断高亮的连通区域是否为铆钉。此外还能过通过铆钉面积、相近铆钉间距进一步过滤数据以计算出准确的铆钉点信息。
获取图像中的铆钉位置后，将同一时刻三角相机拍摄的三张照片中的铆钉信息传入三角定位重建算法模块。利用同一个铆钉点在三张图像中的不同位置信息，可以反向计算出此铆钉在世界坐标系中的3D坐标。对每帧三张图像都做此处理，可以获得铆钉在不同时刻的动态3D坐标信息。
在点云拼接模块中，将不同时刻的铆钉3D坐标逐个重投影到相同的世界坐标系中，过滤掉重复的铆钉，逐帧加入新识别的铆钉。并且通过光束平差法优化相机外参矩阵，减少重投影的误差以获取准确的铆钉3D坐标。最终拼接得到完整的机身表面铆钉3D坐标。
相机参数Params的准确是算法成功进行的基础。对于三角相机拍摄到的图像，重点需要获得图像中铆钉的位置信息，因此需要过滤背景信息。由于铆钉本身的金属材质，在合适的光照条件下，镜面反射的结果使得铆钉在图像中有着较高的亮度值。机身表面作为背景，由于刷上了一层漆，其光学特征与铆钉有着显著差异。
铆钉本身的形态学特征为圆形，通过对区域的圆度检测可以判断高亮的连通区域是否为铆钉。
其中，circle_rate为圆度，S为连通域的面积，C为连通域的周长。经过阈值二值化处理后，能够将铆钉前景和背景做出有效的分离。原始图像如图5所示，经过阈值二值化处理后的图像如图6所示。
检测出轮廓后，使用圆度circle_rate和连通域面积S对铆钉过滤，一个铆钉的圆度应当接近1。再经过对于面积的过滤，可以有效清楚图像中的噪点和机身表面的微小污渍，如图7所示。最终的检测结果如图8所示。
将识别出的铆钉像素坐标，与相机编号、帧序列号绑定在一起，组织成t_points数据结构，传递给后续的算法分析模块。获取图像中的铆钉位置后，将同一时刻三角相机拍摄的三张照片中的铆钉信息传入三角定位重建算法模块。对三角相机两两之间依据位置内参等数据构建二目匹配关系，依次对两个相机图像上的特征点，以到极线的距离约束与角度约束得到候选的匹配关系。得到的每一组特征点匹配为点，建立图结构。通过求解最大独立集得到若干独立集，恢复三者匹配关系，以triangulation算法得到3D点。通过对3D点重投影到2D图像上与原始结果检验，确定正确的最大独立集解。
对帧序列都做此处理，可以获得铆钉在不同时刻的动态3D坐标信息。如图9所示。每帧重建的3D坐标以这一帧的1号相机坐标系为统一的世界坐标系。只有在三个相机都能拍摄到的铆钉才能被成功定位。因此三角相机的视野需要略大于检测的有效区域。
寻找匹配点恢复相机位姿矩阵：获取到各自帧下的铆钉三维坐标。将3D点转换到相同的坐标系下，便于后续的去除重复点、生成数模。因此需要建立帧与帧之间的坐标变换矩阵Trans(旋转平移矩阵R，t)。帧与帧之间铆钉位置的变化是刚体变换，恢复出他们的相对旋转平移矩阵R，t，可以使用SVD分解的方法。
在机械臂匀速运动的前提下，可以预计出当前帧与下一帧对应铆钉坐标的偏移情况。通过寻找最近邻，可以确定当前帧的铆钉对应下一帧的哪些铆钉之间的关系为对应关系，建立索引ind_src和ind_dst。
获取对应关系后，使用SVD分解出R，t矩阵。
set1＝P3d1[indsrc]
set2＝P3d2[inddst]
mean1＝mean(set1)
mean2＝mean(set2)
Q＝(set2-mean2)·T·(set1-mean1)
U，Sigma，Vt＝SVD(Q)
R＝U·Vt
t＝mean1·T-R·(mean2·T)
其中，set1和set2就是两帧图像对应点的三维坐标集合，p3d1和p3d2是两帧照片各自的三维坐标，ind_src和ind_dst是对应铆钉的索引，mean1和是对set1求平均值，mean2是对set2求平均值，U，sigma，Vt是通过SVD方法分解出来的三个过程量。利用帧与帧之间的连续性，建立出从第一帧到任意一帧的变换矩阵，使得所有的铆钉三维坐标可以转换到同一个世界坐标系下。
Trans(1to n)＝Trans(1to2)·Trans(1to3)…Trans(k-1to k)
恢复出的相机位姿矩阵按标准数据格式存储传递给后续的点云去重和可见性判断等算法模块。
恢复到相同世界坐标系下的各帧3D点，清楚地看出相机的移动，如图10所示。
光束平差法优化相机位姿：由于利用三角相机系统定位和相对变换矩阵的计算都存在一定的误差，因此对于现实世界中的同一个铆钉点，在相邻两帧中的3D坐标可能并不一致。但如果匹配关系是已知准确的，例如这一帧的A点和下一帧的B点是现实世界中的同一个铆钉，可以通过迭代调整相对变换矩阵来拉近相邻两帧之间A-3D和B-3D的坐标距离，最终提高我们的定位精度。如图11所示。
迭代优化的过程通过g2o图优化的方法来实现，采用LM迭代法计算，以相对位姿矩阵和坐标为顶点，以重投影的像素坐标为度量边。边通过之前获取的点对匹配关系建立。
点云去重与拼接：在真实铆钉的三维坐标下，由于会被许多帧看到并定位，因此一个真实的铆钉位置会出现4到5个位置偏移很小的重复铆钉点。需要去除这些重复的备选，只保留1个高可信度的铆钉点用于写最终的数模文件。如图12所示。去重后得到的数模文件如图13所示。
数模匹配：生成检测出的铆钉obj模型，将生成的铆钉模型和已有的数模做对比。对每个铆钉点计算与标准数模，运行对比程序输出每个铆钉和标准数模的偏差值，对偏差值统计。标准数模如图14所示。
图15为本发明一种实施例提供的紧固件安装状态检测装置的结构示意图。该装置可适用于对资源进行加密处理的情况。典型的，该方法可以适用于资源量较大的情况下，只对部分资源进行加密处理的情况。该装置可以由软件和/或硬件的方式实现，该装置可以集成在电子设备中。参见图15，该装置具体包括：
采集图像获取模块310，用于通过位于至少三个方位的图像采集器对紧固件所在的设备表面区域进行图像采集，得到至少三个采集图像；
实际三维坐标确定模块320，用于基于多目视觉定位算法，根据所述至少三个采集图像，确定所述紧固件的实际三维坐标；
安装状态确定模块330，用于根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态。
在本申请实施例中，实际三维坐标确定模块320，包括：
二维坐标确定单元，用于对至少三个采集图像进行特征提取和识别，确定所述紧固件在至少三个采集图像中的二维坐标；
三维坐标确定单元，用于根据所述紧固件在至少三个采集图像中的二维坐标、匹配关系以及至少三个采集图像的采集视角，确定所述紧固件的实际三维坐标。
在本申请实施例中，所述装置还包括：
匹配关系确定模块，用于基于视觉分析算法，根据至少三个图像采集器的内参、外参、至少三个图像采集器之间的对极几何约束以及紧固件的二维坐标，确定至少三个采集图像中紧固件的匹配关系。
在本申请实施例中，所述装置还包括：
三维重建模块，用于对针对不同设备表面区域进行图像采集得到的采集图像进行拼接，并对设备表面进行三维重建，得到实际三维结构；
相应地，安装状态确定模块330，包括：
三维结构紧固件检测单元，用于根据所述实际三维结构中紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态。
在本申请实施例中，所述紧固件的实际三维坐标为在图像采集器坐标系中的坐标；
相应地，所述装置还包括：
特征点检测模块，用于通过图像采集器对紧固件所在设备表面上的特征点进行检测，确定所述特征点在图像采集器坐标系中的坐标；
坐标转换关系确定模块，用于根据所述特征点在图像采集器坐标系中的坐标，以及所述特征点在预先建立模型坐标系中的坐标，确定坐标转换关系；
坐标转换模块，用于根据所述坐标转换关系，将所述紧固件在图像采集器坐标系中的实际三维坐标，转换为紧固件在预先建立模型坐标系中的实际三维坐标。
在本申请实施例中，坐标转换关系确定模块，包括：
匹配单元，用于将图像采集器采集到的设备表面上的特征点与预先建立模型中的特征点进行匹配；
关系确定单元，用于根据匹配成功的特征点在图像采集器坐标系中的坐标以及在预先建立模型坐标系中的坐标，确定坐标转换关系。
在本申请实施例中，安装状态确定模块330，包括：
坐标对比单元，用于将所述紧固件在预先建立模型坐标系中的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标进行对比，确定所述紧固件的安装状态。
本申请实施例所提供的紧固件安装状态检测装置可执行本申请任意实施例所提供的紧固件安装状态检测方法，具备执行方法相应的功能模块和有益效果。
图16为本发明一种实施例提供的电子设备的结构示意图。图16示出了适于用来实现本申请实施例的示例性电子设备412的框图。图16显示的电子设备412仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图16所示，电子设备412可以包括：一个或多个处理器416；存储器428，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器416执行，使得所述一个或多个处理器416实现本申请实施例所提供的紧固件安装状态检测方法，包括：
通过位于至少三个方位的图像采集器对紧固件所在的设备表面区域进行图像采集，得到至少三个采集图像；
基于多目视觉定位算法，根据所述至少三个采集图像，确定所述紧固件的实际三维坐标；
根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态。
电子设备412的组件可以包括但不限于：一个或者多个处理器或者处理器416，存储器428，连接不同设备组件(包括存储器428和处理器416)的总线418。
总线418表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，处理型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备412典型地包括多种计算机设备可读存储介质。这些存储介质可以是任何能够被电子设备412访问的可用存储介质，包括易失性和非易失性存储介质，可移动的和不可移动的存储介质。
存储器428可以包括易失性存储器形式的计算机设备可读存储介质，例如随机存取存储器(RAM)430和/或高速缓存存储器432。电子设备412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机设备存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁存储介质(图16未显示，通常称为“硬盘驱动器”)。尽管图16中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光存储介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据存储介质接口与总线418相连。存储器428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储器428中，这样的程序模块442包括但不限于操作设备、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。
电子设备412也可以与一个或多个外部设备414(例如键盘、指向设备、显示器424等)通信，还可与一个或者多个使得用户能与该电子设备412交互的设备通信，和/或与使得该电子设备412能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，电子设备412还可以通过网络适配器420与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图16所示，网络适配器420通过总线418与电子设备412的其它模块通信。应当明白，尽管图16中未示出，可以结合电子设备412使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID设备、磁带驱动器以及数据备份存储设备等。
处理器416通过运行存储在存储器428中的多个程序中其他程序的至少一个，从而执行各种功能应用以及数据处理，例如实现本申请实施例所提供的一种紧固件安装状态检测方法。
本发明一种实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行紧固件安装状态检测方法，包括：
通过位于至少三个方位的图像采集器对紧固件所在的设备表面区域进行图像采集，得到至少三个采集图像；
基于多目视觉定位算法，根据所述至少三个采集图像，确定所述紧固件的实际三维坐标；
根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态。
本申请实施例的计算机存储介质，可以采用一个或多个计算机可读的存储介质的任意组合。计算机可读存储介质可以是计算机可读信号存储介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的设备、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形存储介质，该程序可以被指令执行设备、装置或者器件使用或者与其结合使用。
计算机可读的信号存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号存储介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行设备、装置或者器件使用或者与其结合使用的程序。
计算机可读存储介质上包含的程序代码可以用任何适当的存储介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或设备上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种紧固件安装状态检测方法，其特征在于，所述方法包括：
通过位于至少三个方位的图像采集器对紧固件所在的设备表面区域进行图像采集，得到至少三个采集图像；
基于多目视觉定位算法，根据所述至少三个采集图像，确定所述紧固件的实际三维坐标；
根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态。
2.根据权利要求1所述的方法，其特征在于，基于多目视觉定位算法，根据所述至少三个采集图像，确定所述紧固件的实际三维坐标，包括：
对至少三个采集图像进行特征提取和识别，确定所述紧固件在至少三个采集图像中的二维坐标；
根据所述紧固件在至少三个采集图像中的二维坐标、匹配关系以及至少三个采集图像的采集视角，确定所述紧固件的实际三维坐标。
3.根据权利要求2所述的方法，其特征在于，所述匹配关系的确定过程包括：
基于视觉分析算法，根据至少三个图像采集器的内参、外参、至少三个图像采集器之间的对极几何约束以及紧固件的二维坐标，确定至少三个采集图像中紧固件的匹配关系。
4.根据权利要求1所述的方法，其特征在于，根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态之前，所述方法还包括：
对针对不同设备表面区域进行图像采集得到的采集图像进行拼接，并对设备表面进行三维重建，得到实际三维结构；
相应地，根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态，包括：
根据所述实际三维结构中紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态。
5.根据权利要求1所述的方法，其特征在于，所述紧固件的实际三维坐标为在图像采集器坐标系中的坐标；
相应地，根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态之前，所述方法还包括：
通过图像采集器对紧固件所在设备表面上的特征点进行检测，确定所述特征点在图像采集器坐标系中的坐标；
根据所述特征点在图像采集器坐标系中的坐标，以及所述特征点在预先建立模型坐标系中的坐标，确定坐标转换关系；
根据所述坐标转换关系，将所述紧固件在图像采集器坐标系中的实际三维坐标，转换为紧固件在预先建立模型坐标系中的实际三维坐标。
6.根据权利要求5所述的方法，其特征在于，根据所述特征点在图像采集器坐标系中的坐标，以及所述特征点在预先建立模型坐标系中的坐标，确定坐标转换关系，包括：
将图像采集器采集到的设备表面上的特征点与预先建立模型中的特征点进行匹配；
根据匹配成功的特征点在图像采集器坐标系中的坐标以及在预先建立模型坐标系中的坐标，确定坐标转换关系。
7.根据权利要求5或6所述的方法，其特征在于，根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态，包括：
将所述紧固件在预先建立模型坐标系中的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标进行对比，确定所述紧固件的安装状态。
8.一种紧固件安装状态检测装置，其特征在于，所述装置包括：
采集图像获取模块，用于通过位于至少三个方位的图像采集器对紧固件所在的设备表面区域进行图像采集，得到至少三个采集图像；
实际三维坐标确定模块，用于基于多目视觉定位算法，根据所述至少三个采集图像，确定所述紧固件的实际三维坐标；
安装状态确定模块，用于根据所述紧固件的实际三维坐标，以及预先建立模型中紧固件的理论三维坐标，确定所述紧固件的安装状态。
9.一种电子设备，其特征在于，所述电子设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一项所述的紧固件安装状态检测方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7中任一项所述的紧固件安装状态检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011607005.2A CN113844674B (zh) | 2020-12-30 | 2020-12-30 | 紧固件安装状态检测方法、装置、电子设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011607005.2A CN113844674B (zh) | 2020-12-30 | 2020-12-30 | 紧固件安装状态检测方法、装置、电子设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113844674A true CN113844674A (zh) | 2021-12-28 |
| CN113844674B CN113844674B (zh) | 2024-03-01 |
Family
ID=78972162
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011607005.2A Active CN113844674B (zh) | 2020-12-30 | 2020-12-30 | 紧固件安装状态检测方法、装置、电子设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113844674B (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040114133A1 (en) * | 2002-12-13 | 2004-06-17 | The Boeing Company | Apparatus, method and system for inspecting a fastener |
| US20050134838A1 (en) * | 2003-12-19 | 2005-06-23 | Gunther Hartmann | Method and apparatus for checking a thread of a fastener with respect to damages |
| JP2009210276A (ja) * | 2008-02-29 | 2009-09-17 | Mitsubishi Heavy Ind Ltd | 締結具の緩み検出システム及び緩み検出方法 |
| CN106600581A (zh) * | 2016-12-02 | 2017-04-26 | 北京航空航天大学 | 一种基于双目立体视觉的列车运行故障自动检测系统及方法 |
| KR20180070089A (ko) * | 2016-12-16 | 2018-06-26 | 주식회사 엠에스 오토텍 | 체결부재 오부착 검사방법 |
| CN110017769A (zh) * | 2019-03-12 | 2019-07-16 | 精诚工科汽车系统有限公司 | 基于工业机器人的零件检测方法及系统 |
| CN111046125A (zh) * | 2019-12-16 | 2020-04-21 | 视辰信息科技(上海)有限公司 | 一种视觉定位方法、系统及计算机可读存储介质 |
| JP2020173167A (ja) * | 2019-04-10 | 2020-10-22 | 株式会社神戸製鋼所 | 三次元位置計測装置、三次元位置計測方法及びプログラム |
-
2020
- 2020-12-30 CN CN202011607005.2A patent/CN113844674B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040114133A1 (en) * | 2002-12-13 | 2004-06-17 | The Boeing Company | Apparatus, method and system for inspecting a fastener |
| US20050134838A1 (en) * | 2003-12-19 | 2005-06-23 | Gunther Hartmann | Method and apparatus for checking a thread of a fastener with respect to damages |
| JP2009210276A (ja) * | 2008-02-29 | 2009-09-17 | Mitsubishi Heavy Ind Ltd | 締結具の緩み検出システム及び緩み検出方法 |
| CN106600581A (zh) * | 2016-12-02 | 2017-04-26 | 北京航空航天大学 | 一种基于双目立体视觉的列车运行故障自动检测系统及方法 |
| KR20180070089A (ko) * | 2016-12-16 | 2018-06-26 | 주식회사 엠에스 오토텍 | 체결부재 오부착 검사방법 |
| CN110017769A (zh) * | 2019-03-12 | 2019-07-16 | 精诚工科汽车系统有限公司 | 基于工业机器人的零件检测方法及系统 |
| JP2020173167A (ja) * | 2019-04-10 | 2020-10-22 | 株式会社神戸製鋼所 | 三次元位置計測装置、三次元位置計測方法及びプログラム |
| CN111046125A (zh) * | 2019-12-16 | 2020-04-21 | 视辰信息科技(上海)有限公司 | 一种视觉定位方法、系统及计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113844674B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108604301B (zh) | 用于大rgb-d扫描的可缩放自动全局配准的基于关键点的点对特征 | |
| CN110322500B (zh) | 即时定位与地图构建的优化方法及装置、介质和电子设备 | |
| EP3382644B1 (en) | Method for 3d modelling based on structure from motion processing of sparse 2d images | |
| US10977827B2 (en) | Multiview estimation of 6D pose | |
| US20200005447A1 (en) | Computer aided rebar measurement and inspection system | |
| JP6681729B2 (ja) | オブジェクトの３ｄ姿勢およびオブジェクトのランドマーク点の３ｄロケーションを求める方法、およびオブジェクトの３ｄ姿勢およびオブジェクトのランドマークの３ｄロケーションを求めるシステム | |
| Shufelt et al. | Fusion of monocular cues to detect man-made structures in aerial imagery | |
| CN111080693A (zh) | 一种基于YOLOv3的机器人自主分类抓取方法 | |
| CN112771573A (zh) | 基于散斑图像的深度估计方法及装置、人脸识别系统 | |
| CN109934847B (zh) | 弱纹理三维物体姿态估计的方法和装置 | |
| JP2015147256A (ja) | ロボット、ロボットシステム、制御装置、及び制御方法 | |
| CN110135396B (zh) | 地面标志的识别方法、装置、设备及介质 | |
| CN110837839B (zh) | 一种高精度无人机正射影像制作及数据采集方法 | |
| CN110349212B (zh) | 即时定位与地图构建的优化方法及装置、介质和电子设备 | |
| US11875524B2 (en) | Unmanned aerial vehicle platform based vision measurement method for static rigid object | |
| WO2023070115A1 (en) | Three-dimensional building model generation based on classification of image elements | |
| CN116152697A (zh) | 一种混凝土结构裂缝的三维模型测量方法及相关装置 | |
| Collins et al. | Site model acquisition and extension from aerial images | |
| CN113763466B (zh) | 一种回环检测方法、装置、电子设备和存储介质 | |
| CN116935013B (zh) | 基于三维重建的电路板点云大范围拼接方法及系统 | |
| CN113844674B (zh) | 紧固件安装状态检测方法、装置、电子设备及介质 | |
| CN111815560B (zh) | 光伏电站故障检测方法、装置、便携检测设备及存储介质 | |
| CN114581503A (zh) | 煤矿井下环境建模方法及系统 | |
| Tsai et al. | Detection of vanishing points using Hough transform for single view 3D reconstruction | |
| CN112270357A (zh) | Vio视觉系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |