CN115205511B - 一种基于计算机视觉的舵翼偏角检测方法及系统 - Google Patents

一种基于计算机视觉的舵翼偏角检测方法及系统 Download PDF

Info

Publication number
CN115205511B
CN115205511B CN202210827029.1A CN202210827029A CN115205511B CN 115205511 B CN115205511 B CN 115205511B CN 202210827029 A CN202210827029 A CN 202210827029A CN 115205511 B CN115205511 B CN 115205511B
Authority
CN
China
Prior art keywords
coordinate system
rudder wing
rudder
camera
tested
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210827029.1A
Other languages
English (en)
Other versions
CN115205511A (zh
Inventor
沙俊伟
雷珺祺
孙风杰
俞川
呼焕然
解金彪
徐贵力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210827029.1A priority Critical patent/CN115205511B/zh
Publication of CN115205511A publication Critical patent/CN115205511A/zh
Application granted granted Critical
Publication of CN115205511B publication Critical patent/CN115205511B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C1/00—Measuring angles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Abstract

本发明公开了一种基于计算机视觉的舵翼偏角检测方法及系统，涉及图像处理技术领域，该方法包括：从采集的待测目标的图像中识别出待测舵翼的各角点位置；根据角点位置和运载工具表面的工装点位置，基于PnP算法得到相机与世界坐标系的相对位姿关系；根据相对位姿关系、待测舵翼的零位位置和安装位置，基于PnP算法得到相机分别在舵翼理论位置坐标系和舵翼实际位置坐标系下的位置一和位置二；将位置一和位置二之间的夹角作为待测舵翼的安装位置相对于零位位置的偏角，根据位置一和位置二的三维坐标计算偏角值。本方法利用非合作目标的单目视觉图像，将二维图像点与现实中三维空间点联系起来，实现多舵翼零位的自动确定和偏角的高精度实时测量。

Description

一种基于计算机视觉的舵翼偏角检测方法及系统
技术领域
本发明涉及图像处理技术领域，尤其是一种基于计算机视觉的舵翼偏角检测方法及系统。
背景技术
舵翼系统作为高速运载工具控制姿态方向的终端，决定着运载工具是否能够按预定计划可控航行，其偏转的精度直接影响着航行精度、命中准确率、可控率等参数，所以舵翼的生产装配精度对运载工具的生产质量和使用性能至关重要。在航空航天装备的生产过程中，为了检测舵翼是否安装精确，一般需要精准获得舵翼与标准零位的夹角。
随着生产制造数字化程度的日益提升，航空航天生产线对产品生产精度的检验需求也从过去的手工式、接触式人工测量逐渐发展到现在的全自动、非接触式的自动测量。相比于传统的机械、电磁接触式测量方法，利用先进视觉传感器结合机器视觉处理算法组成的非接触式测量系统，是目前对较大外形尺寸、复杂空间曲面待测物测量的主要方法。
现有利用视觉对待测舵翼进行零位确定和偏角测量的方法主要有前后图像比对法、光学动捕法和基于合作目标的方法等。基于前后图像比对的方法需要对舵翼在未偏转时的零位位置进行人工成像标定，再将偏转后的图像与零位图像比对，从而得到舵翼转角。该方法需要对每个待测舵翼的零位进行事先标定，且一旦相机与待测物的相对姿态发生变化零位便不再准确，无法实现零位的自动确定，不能满足生产线的实时自动检测要求。
基于光学动捕的方法主要依靠多目视觉识别待测物表面合作目标在空间中的移动情况，从而计算舵翼的摆动偏角。该方法采用的设备复杂、价格昂贵，无法对已安装好的静态舵翼进行测量。
基于合作目标的方法利用单目或双目相机成像，通过识别舵翼上粘贴的合作目标计算相机相对于舵翼的空间位姿关系，从而还原零位并计算偏角值。但粘贴合作目标的过程不仅可能损伤待检测对象表面，还增加了生产工序，因此以上方法在实际自动化生产过程中应用十分受限。
因此，基于视觉方法确定舵翼的基准零位与偏角的重点在于如何自动确定零位，且零位线作为比较基准，零位线的准确度决定了测量偏角的准确度。然而，上述现有方法确定零位，多要求在舵翼表面粘贴合作目标或需要事先对舵翼进行零位标定。
发明内容
本发明人针对上述问题及技术需求，提出了一种基于计算机视觉的舵翼偏角检测方法及系统，在不利用合作目标、不用事先进行零位标定的前提下，仅利用非合作目标的单目视觉图像，将二维图像中的点与现实中三维空间点联系起来，建立相机与待测舵翼的姿态关系，实现多舵翼零位的自动确定和偏角的高精度实时测量。
本发明的技术方案如下：
第一方面，本申请提供了一种基于计算机视觉的舵翼偏角检测方法，多个待测舵翼通过转轴安装在运载工具的相应安装位置处，该方法包括如下步骤：
利用两个相机分别采集运载工具左右两侧的图像，图像完整覆盖每侧的待测舵翼；
对图像进行预处理，并识别出待测舵翼的各角点位置；
根据每个待测舵翼的角点位置和运载工具表面的工装点位置，基于PnP算法得到单侧相机与世界坐标系的相对位姿关系；
根据相对位姿关系、待测舵翼的零位位置和安装位置，基于PnP算法得到单侧相机分别在舵翼理论位置坐标系和舵翼实际位置坐标系下的位置一和位置二，舵翼理论位置坐标系和舵翼实际位置坐标系共用坐标系原点及待测舵翼的转轴；
将位置一和位置二分别与坐标系原点构成的夹角作为待测舵翼的安装位置相对于零位位置的偏角，根据位置一和位置二的三维坐标计算偏角。
其进一步的技术方案为，对图像进行预处理，包括，对于每一侧的图像：
利用标定相机时得到的畸变向量对图像的径向与切向畸变进行矫正；采用中值滤波去除图像中的随机噪声点；将图像由RGB颜色域转换为HSV颜色域，根据待测舵翼的颜色调整HSV颜色的分割阈值，进行图像二值化操作，实现从复杂背景噪声中得到所需的ROI区域。
其进一步的技术方案为，识别出待测舵翼的各角点位置，包括，对于每一侧的图像：
利用基于可调双阈值的Canny算子从一个ROI区域中提取出运载工具一侧的所有边缘，此时存在若干非闭合边缘与坏点，利用基于膨胀腐蚀的开闭运算扩张原非闭合边缘，同时消除坏点，得到若干闭合边缘轮廓；
根据待测舵翼的几何外形特征，对所得若干闭合边缘轮廓进行基于面积和轮廓嵌套层级关系的筛选，得到的待测舵翼外形轮廓为非规则闭合轮廓；使用基于概率Huogh的直线对非规则闭合轮廓进行直线拟合与多边形拟合，得到与待测舵翼几何外形一致的规则多边形轮廓；
遍历所得规则多边形轮廓的边缘像素点，使用基于空间矩的轮廓重心计算方法，对多个多边形轮廓的重心像素坐标进行比较，完成一侧视场中多个待测舵翼的区分；
提取每个多边形轮廓的各个角点，根据待测舵翼的几何外形特征，将角点与其在待测舵翼面上的位置一一对应，实现对待测舵翼的各角点位置的识别。
其进一步的技术方案为，根据每个待测舵翼的角点位置和运载工具表面的工装点位置，基于PnP算法得到单侧相机与世界坐标系的相对位姿关系，包括：
已知待测舵翼与运载工具的尺寸和相对空间关系，在运载工具的回转轴线上建立世界坐标系，获取运载工具表面的工装点位置在世界坐标系下的三维坐标；根据每个待测舵翼的角点位置和运载工具的尺寸，推算出待测舵翼的转轴点位置在世界坐标系下的三维坐标；
以相机为中心建立相机坐标系，根据转轴点位置和工装点位置在二维图像中的像素坐标，推算出转轴点位置和工装点位置在相机坐标系下的三维坐标；
将转轴点位置和工装点位置在两个坐标系下的三维坐标对应匹配，根据PnP算法解算出相机与世界坐标系的相对位姿关系，描述为第一旋转矩阵和第一平移矩阵。
其进一步的技术方案为，根据相对位姿关系和待测舵翼的零位位置，基于PnP算法得到单侧相机在舵翼理论位置坐标系下的位置一，包括：
设与运载工具的回转轴线平行，且通过待测舵翼的转轴点位置的线段所在位置为待测舵翼的零位位置，获取该线段在世界坐标系下的三维坐标；
利用相机与世界坐标系的相对位姿关系，将该线段的三维坐标从世界坐标系向相机坐标系投影；以该线段所在位置为x轴、以待测舵翼的转轴为z轴建立舵翼理论位置坐标系，根据PnP算法解算出舵翼理论位置坐标系与相机坐标系的相对位姿关系，描述为第二旋转矩阵和第二平移矩阵；
令相机坐标系的原点作为单侧相机在该坐标系下的位置，结合第二旋转矩阵和第二平移矩阵代入PnP算法中，将单侧相机从相机坐标系向舵翼理论位置坐标系投影，得到单侧相机在舵翼理论位置坐标系下的位置一的三维坐标。
其进一步的技术方案为，根据待测舵翼的安装位置，基于PnP算法得到单侧相机在舵翼实际位置坐标系下的位置二，包括：
获取待测舵翼的安装位置在相机坐标系下的三维坐标，以待测舵翼的安装位置为x轴、以待测舵翼的转轴为z轴建立舵翼实际位置坐标系，根据PnP算法解算出舵翼实际位置坐标系与相机坐标系的相对位姿关系，描述为第三旋转矩阵和第三平移矩阵；
令相机坐标系的原点作为单侧相机在该坐标系下的位置，结合第三旋转矩阵和第三平移矩阵代入PnP算法中，将单侧相机从相机坐标系向舵翼实际位置坐标系投影，得到单侧相机在舵翼实际位置坐标系下的位置二的三维坐标。
其进一步的技术方案为，根据位置一和位置二的三维坐标计算偏角，包括：
根据位置一和位置二的三维坐标，分别计算得到位置一与坐标系原点的距离为d1、位置二与坐标系原点的距离为d2、位置一与位置二之间的距离为d3，则根据三角函数公式，计算位置一、位置二分别与坐标系原点构成的夹角θ，表达式为：
其进一步的技术方案为，该方法还包括：
在检测前，将相机依次安放在既定不同姿态下，预先设定好待测舵翼的安装位置的偏角角度作为真值，基于检测方法得到相机在各个姿态下的偏角作为标定测量值，将标定测量值与真值做对比，建立多姿态下的离线误差库；
在完成根据位置一和位置二的三维坐标计算偏角后，将该值代入离线误差库进行比对，将库中最接近此时实际姿态的误差补偿回该值中，实现计算数据的精度优化；
在采集多组数据后，根据预设阈值将超出阈值的数据进行剔除，实现自动滤波。
第二方面，本申请还提供了一种基于计算机视觉的舵翼偏角检测系统，该系统包括两组数据采集装置、运载工具、多个待测舵翼和计算机控制平台；
待测舵翼通过转轴分别安装在运载工具的相应安装位置处；
数据采集装置包括相机、六自由度升降云台和移动平台，六自由度升降云台的一端安装在移动平台上，另一端安装有相机，两组数据采集装置分别布置在运载工具的左侧后方和右侧后方，两个相机用于分别采集运载工具左右两侧的图像；
计算机控制平台分别连接相机、六自由度升降云台，计算机控制平台接收相机的初始采集图像并与平台存储的待测目标标准图像位置相对比，计算图像视场偏移值，六自由度升降云台基于图像视场偏移值自动调整相机的位姿，直至采集的图像完整覆盖每侧的待测舵翼；
计算机控制平台用于对图像进行处理与分析，自动还原待测舵翼的零位位置，并得到待测舵翼的安装位置相对于零位位置的偏角。
其进一步的技术方案为，该系统还包括导轨式载物台和带有限位装置的导轨，运载工具置于导轨式载物台上并沿导轨移动，限位装置安装在导轨的末端，限位装置连接计算机控制平台，当计算机控制平台接收到限位装置发送的待测目标到位信号时，启动数据采集装置进行待测舵翼的零位偏角检测。
本发明的有益技术效果是：
在不利用合作目标、不用事先进行零位标定的前提下，本方法仅对采集的非合作目标的单目图像进行处理，基于关键点的位置得到单侧相机与世界坐标系的相对位姿关系，还原零位位置并结合安装位置分别建立舵翼理论和实际位置的坐标系，基于PnP算法得到相机在这两个坐标系下的位置一和位置二，将两位置的三维坐标转换为安装位置相对于零位位置的偏角，实现多舵翼零位的自动确定和偏角的高精度实时测量；本方法稳定性良好，测量精度小于0.1度，与现有方法相当；由于只需在系统安装时对相机进行标定获取相机内参和畸变向量，无需后续操作人员手动对舵翼零位进行标定和粘贴、撕去合作目标，对待测物表面无损伤，检测工序简单，保证了检测的高度自动化；也无需人员长期值守，尤其适用于远程无人值守测量，可满足实际全自动化工业生产应用需求。
附图说明
图1是本申请提供的基于计算机视觉的舵翼偏角检测方法流程图。
图2是本申请提供的待测舵翼各角点的识别过程示意图。
图3是本申请提供的静态关键点在世界坐标系的分布示意图。
图4是本申请提供的各坐标系间的相对关系示意图。
图5是本申请提供的待测舵翼特性立体视图。
图6是本申请提供的相机位置一和位置二的几何原理示意图。
图7是本申请提供的离线误差姿态库分布示意图。
图8是本申请提供的基于计算机视觉的舵翼偏角检测系统示意图。
图9是本申请提供的数据采集装置的工作框架图。
具体实施方式
下面结合附图对本发明的具体实施方式做进一步说明。
实施例一：
将四个待测舵翼通过转轴安装在运载工具的相应安装位置处，随后开展一种基于计算机视觉的舵翼偏角检测方法，如图1所示，该方法包括如下步骤：
步骤1：利用两个相机分别采集运载工具左右两侧的图像，图像完整覆盖每侧的待测舵翼。
在相机投入使用前，用张正友标定法对相机进行标定，以获得每个相机的内参矩阵与畸变向量，为后续图像处理所用。其中内参矩阵用于PnP算法中，畸变向量用于图像预处理的校正。
步骤2：对图像进行预处理。
对于每一侧上传的每一帧图像，步骤2具体包括如下处理步骤：
利用标定相机时得到的畸变向量对图像的径向与切向畸变进行矫正。完成畸变校正后，采用3X3的中值滤波去除图像中的随机噪声点。然后转换图像颜色域空间，也即将图像由RGB颜色域转换为HSV颜色域，根据待测舵翼的实际颜色调整HSV颜色的分割阈值，进行图像二值化操作，实现从复杂背景噪声中得到所需的ROI区域。
步骤3：从预处理后的图像中识别出待测舵翼的各角点位置。
对于每一侧上传的每一帧图像，步骤3具体包括如下分步骤：
步骤31：利用基于可调双阈值的Canny算子从一个ROI区域中提取出运载工具一侧的所有边缘，此时存在若干非闭合边缘与坏点，如图2(a)所示。
步骤32：利用基于膨胀腐蚀的开闭运算扩张原非闭合边缘，同时消除坏点，得到若干闭合边缘轮廓，如图2(b)所示。
步骤33：根据待测舵翼的几何外形特征，对所得若干闭合边缘轮廓依次进行基于轮廓嵌套层级关系和面积的筛选，最后得到的待测舵翼外形轮廓为非规则闭合轮廓，如图2(c)、(d)所示。其中，轮廓嵌套层级关系包括内边缘与外边缘、子轮廓与父轮廓。
步骤34：使用基于概率Huogh的直线对非规则闭合轮廓进行直线拟合与多边形拟合，得到与待测舵翼几何外形一致的规则多边形轮廓。
步骤35：遍历所得规则多边形轮廓的边缘像素点，使用基于空间矩的轮廓重心计算方法，对步骤34得到的两个多边形轮廓的重心像素坐标进行比较，完成一侧视场中两个待测舵翼的区分。
步骤36：提取每个多边形轮廓的各个角点，根据待测舵翼的几何外形特征(也即四边形特征)，将角点与其在待测舵翼面上的位置一一对应，实现对待测舵翼的各角点位置的识别。
步骤4：从HSV颜色域图像中识别出运载工具表面的工装点。
为了方便在运载工具上安装舵翼，通常会在每一侧设置两个工装点。同样利用Canny算子在HSV颜色域图像中进行闭合边缘检测，得到运载工具一侧上的两个闭合边缘轮廓，遍历所得轮廓的边缘像素点，使用基于空间矩的轮廓重心计算方法，对这两个闭合边缘轮廓的重心像素坐标进行比较，完成一侧视场中两个工装点的区分。
步骤5：根据每个待测舵翼的角点位置和运载工具表面的工装点位置，基于PnP算法得到单侧相机与世界坐标系的相对位姿关系。
由于舵翼的零位不随舵翼偏转而改变，因此需要选取4个及以上不随转动变化的静态关键点，以此作为零位重建的前提。在本例中，选取的静态关键点包括待测舵翼的转轴点，以及运载工具表面的工装点。该步骤具体包括如下分步骤：
步骤51：如图3所示，已知待测舵翼与运载工具的尺寸和相对空间关系，在运载工具的回转轴线上建立世界坐标系(Xw,Yw,Zw)，获取运载工具表面的工装点位置在世界坐标系下的三维坐标A、B；根据每个待测舵翼的角点位置和运载工具的尺寸，推算出待测舵翼的转轴点位置在世界坐标系下的三维坐标C、D。
步骤52：如图4所示，以相机为中心建立相机坐标系(Xc,Yc,Zc)，根据转轴点位置和工装点位置在二维图像坐标系(u,v)中的像素坐标(u0,v0)，推算出转轴点位置和工装点位置在相机坐标系下的三维坐标。
步骤53：将转轴点位置和工装点位置在两个坐标系下的三维坐标对应匹配，根据PnP算法解算出相机与世界坐标系的相对位姿关系，描述为第一旋转矩阵R1和第一平移矩阵t1。
其中，空间变换关系的表达式为：
步骤6：根据相对位姿关系、待测舵翼的零位位置和安装位置，基于PnP算法得到单侧相机分别在舵翼理论位置坐标系和舵翼实际位置坐标系下的位置一和位置二。
其中，根据相对位姿关系和待测舵翼的零位位置，基于PnP算法得到单侧相机在舵翼理论位置坐标系下的位置一，具体包括如下分步骤：
步骤61：设与运载工具的回转轴线平行，且通过待测舵翼的转轴点位置的线段所在位置为待测舵翼的零位位置，获取该线段在世界坐标系下的三维坐标。
步骤62：利用相机与世界坐标系的相对位姿关系R1和t1，将该线段的三维坐标从世界坐标系(Xw,Yw,Zw)向相机坐标系(Xc,Yc,Zc)投影。如图4和图5的虚线平面位置所示，以该线段所在位置为x轴、以待测舵翼的转轴为z轴建立舵翼理论位置坐标系(xw,yw,zw)，根据PnP算法解算出舵翼理论位置坐标系(xw,yw,zw)与相机坐标系(Xc,Yc,Zc)的相对位姿关系，描述为第二旋转矩阵R2和第二平移矩阵t2。
步骤63：令相机坐标系(Xc,Yc,Zc)的原点(0,0,0)作为单侧相机在该坐标系下的位置，结合R2和t2代入PnP算法中，将单侧相机从相机坐标系(Xc,Yc,Zc)向舵翼理论位置坐标系(xw,yw,zw)投影，得到单侧相机在舵翼理论位置坐标系(xw,yw,zw)下的位置一c1的三维坐标。
上述空间变换关系的表达式为：
化简上式得到：
其中，根据待测舵翼的安装位置，基于PnP算法得到单侧相机在舵翼实际位置坐标系下的位置二，具体包括如下分步骤：
步骤64：获取待测舵翼的安装位置在相机坐标系(Xc,Yc,Zc)下的三维坐标，如图4和图5的实线平面位置所示，以待测舵翼的安装位置为x轴、以待测舵翼的转轴为z轴建立舵翼实际位置坐标系(x'w,y'w,z'w)，也即舵翼理论位置坐标系(xw,yw,zw)和舵翼实际位置坐标系(x'w,y'w,z'w)共用坐标系原点和待测舵翼的转轴；同理，根据PnP算法解算出舵翼实际位置坐标系(x'w,y'w,z'w)与相机坐标系(Xc,Yc,Zc)的相对位姿关系，描述为第三旋转矩阵R3和第三平移矩阵t3。
步骤65：令相机坐标系(Xc,Yc,Zc)的原点(0,0,0)作为单侧相机在该坐标系下的位置，结合R3和t3代入PnP算法中，将单侧相机从相机坐标系(Xc,Yc,Zc)向舵翼实际位置坐标系(x'w,y'w,z'w)投影，得到单侧相机在舵翼实际位置坐标系(x'w,y'w,z'w)下的位置二c2的三维坐标。
上述空间变换关系的表达式为：
化简上式得到：
步骤7：将位置一c1和位置二c2分别与坐标系原点构成的夹角作为待测舵翼的安装位置相对于零位位置的偏角，根据位置一c1和位置二c2的三维坐标计算偏角。
由于实际上相机保持不动，是舵翼实际位置坐标系(x'w,y'w,z'w)和舵翼理论位置坐标系(xw,yw,zw)两个坐标系间形成了偏角。因此，本申请将舵翼理论位置坐标系(xw,yw,zw)和舵翼实际位置坐标系(x'w,y'w,z'w)重叠形成组合坐标系，也即x轴相互重叠、y轴相互重叠、z轴相互重叠，如图6所示。则相机在两坐标系下的空间位置c1与c2的夹角θ即为坐标系(xw,yw,zw)和(x'w,y'w,z'w)之间的实际偏转角θ。
根据位置一c1和位置二c2的三维坐标，分别计算得到位置一c1与坐标系原点o的距离为d1、位置二c2与坐标系原点o的距离为d2、位置一c1与位置二c2之间的距离为d3，则根据三角函数公式，计算位置一c1、位置二c2分别与坐标系原点o构成的夹角θ，表达式为：
步骤8：对测量值进行实时误差补偿，具体包括如下分步骤：
步骤81：在检测前，将相机依次安放在既定不同姿态下，如图7所示，图中各个黑点代表相机在其坐标系(Xc,Yc,Zc)下的不同位置；预先设定好待测舵翼的安装位置的偏角角度作为真值，基于检测方法得到相机在各个姿态下的偏角作为标定测量值，将标定测量值与真值做对比，建立多姿态下的离线误差库。
步骤82：在完成根据位置一c1和位置二c2的三维坐标计算偏角后，将该值代入离线误差库进行比对，将库中最接近此时实际姿态的误差补偿回该值中，实现计算数据的精度优化。
步骤83：在采集多组数据后，根据预设阈值将超出阈值的数据进行剔除，实现自动滤波。
步骤84：最后将完成补偿和滤波后的测量结果送入交互界面实时显示并存储，测量完成。
在本实施例中，在不利用合作目标、不用事先进行零位标定的前提下，本方法仅对采集的非合作目标的单目图像进行处理，基于关键点的位置得到单侧相机与世界坐标系的相对位姿关系，还原零位位置并结合安装位置分别建立舵翼理论和实际位置的坐标系，基于PnP算法得到相机在这两个坐标系下的位置一和位置二，将两位置的三维坐标转换为安装位置相对于零位位置的偏角，实现多舵翼零位的自动确定和偏角的高精度实时测量，本方法稳定性良好，测量精度小于0.1度，与现有方法相当。
进一步的，可将本方法中的舵翼替换为任何绕一转轴旋转的已知尺寸平面，运载工具替换为任意不规则但已知尺寸结构的物体，只要两者大小尺寸已知，且表面至少四个静态特征点的空间位置关系已知，就能自动确定所需理论零位，并计算出实时位置与理论零位的偏角。故本方法理论上适用于所有已知尺寸的绕轴旋转平面的零位确定与摆角检测。同时，本方法对相机的安装位置依赖性小，只需使用单目相机，保证视场能覆盖所有待测目标与关键点即可。
实施例二：
如图8所示，本例提供了一种基于计算机视觉的舵翼偏角检测系统，该系统包括两组数据采集装置、运载工具6、四个待测舵翼5和计算机控制平台。可选的，考虑工业实际车间应用，该系统还包括导轨式载物台4和带有限位装置的导轨3。其中：
待测舵翼5通过转轴分别安装在运载工具6的相应安装位置处，运载工具6置于导轨式载物台4上并沿导轨3移动，限位装置安装在导轨3的末端，限位装置中的传感器连接计算机控制平台，当计算机控制平台接收到传感器发送的待测目标到位信号时，启动数据采集装置进行待测舵翼的零位偏角检测。可选的，传感器为压力传感器或能检测到运载工具到达预设位置的传感器。
数据采集装置包括高分辨率低畸变的相机1、六自由度升降云台2和移动平台7，六自由度升降云台2的一端安装在移动平台7上，另一端安装有相机1，两组数据采集装置分别布置在运载工具6的左侧后方和右侧后方，两个相机1用于分别采集运载工具左右两侧的图像。
计算机控制平台分别连接相机1、六自由度升降云台2和限位装置的传感器。如图9所示，计算机控制平台接收相机1的初始采集图像并与平台存储的待测目标标准图像位置相对比，计算图像视场偏移值，六自由度升降云台2基于图像视场偏移值自动调整相机1的位姿，直至采集的图像完整覆盖每侧的待测舵翼。
计算机控制平台用于对图像进行处理与分析，自动还原待测舵翼的零位位置，并得到待测舵翼的安装位置相对于零位位置的偏角，具体实现方法参考实施例一。
在本实施例中，计算机控制平台基于传感器触发信号灵活控制数据采集装置拍摄单目图像，并且六自由度升降云台自动调整相机位姿使得图像完全包含待测目标物，由于只需在系统安装时对相机进行标定获取相机内参和畸变向量，无需后续操作人员手动对舵翼零位进行标定和粘贴、撕去合作目标，对待测物表面无损伤，检测工序简单，保证了检测的高度自动化；也无需人员长期值守，尤其适用于远程无人值守测量，可应用于航空航天自动化生产线上舵翼装配精度的无人实时检测领域。
以上所述的仅是本申请的优选实施方式，本发明不限于以上实施例。可以理解，本领域技术人员在不脱离本发明的精神和构思的前提下直接导出或联想到的其他改进和变化，均应认为包含在本发明的保护范围之内。

Claims (10)

1.一种基于计算机视觉的舵翼偏角检测方法，其特征在于，多个待测舵翼通过转轴安装在运载工具的相应安装位置处，所述方法包括：
利用两个相机分别采集运载工具左右两侧的图像，所述图像完整覆盖每侧的待测舵翼；
对所述图像进行预处理，并识别出所述待测舵翼的各角点位置；
根据每个所述待测舵翼的角点位置和运载工具表面的工装点位置，基于PnP算法得到单侧相机与世界坐标系的相对位姿关系；
根据所述相对位姿关系、所述待测舵翼的零位位置和安装位置，基于PnP算法得到单侧相机分别在舵翼理论位置坐标系和舵翼实际位置坐标系下的位置一和位置二，所述舵翼理论位置坐标系和舵翼实际位置坐标系共用坐标系原点及所述待测舵翼的转轴；
将所述位置一和位置二分别与坐标系原点构成的夹角作为所述待测舵翼的安装位置相对于零位位置的偏角，根据所述位置一和位置二的三维坐标计算所述偏角。
2.根据权利要求1所述的基于计算机视觉的舵翼偏角检测方法，其特征在于，所述对所述图像进行预处理，包括，对于每一侧的图像：
利用标定相机时得到的畸变向量对所述图像的径向与切向畸变进行矫正；采用中值滤波去除图像中的随机噪声点；将所述图像由RGB颜色域转换为HSV颜色域，根据所述待测舵翼的颜色调整HSV颜色的分割阈值，进行图像二值化操作，实现从复杂背景噪声中得到所需的ROI区域。
3.根据权利要求2所述的基于计算机视觉的舵翼偏角检测方法，其特征在于，所述识别出所述待测舵翼的各角点位置，包括，对于每一侧的图像：
利用基于可调双阈值的Canny算子从一个所述ROI区域中提取出运载工具一侧的所有边缘，此时存在若干非闭合边缘与坏点，利用基于膨胀腐蚀的开闭运算扩张原非闭合边缘，同时消除坏点，得到若干闭合边缘轮廓；
根据所述待测舵翼的几何外形特征，对所得所述若干闭合边缘轮廓进行基于面积和轮廓嵌套层级关系的筛选，得到的待测舵翼外形轮廓为非规则闭合轮廓；使用基于概率Huogh的直线对所述非规则闭合轮廓进行直线拟合与多边形拟合，得到与所述待测舵翼几何外形一致的规则多边形轮廓；
遍历所得规则多边形轮廓的边缘像素点，使用基于空间矩的轮廓重心计算方法，对多个所述多边形轮廓的重心像素坐标进行比较，完成一侧视场中多个所述待测舵翼的区分；
提取每个所述多边形轮廓的各个角点，根据所述待测舵翼的几何外形特征，将所述角点与其在待测舵翼面上的位置一一对应，实现对所述待测舵翼的各角点位置的识别。
4.根据权利要求1所述的基于计算机视觉的舵翼偏角检测方法，其特征在于，所述根据每个所述待测舵翼的角点位置和运载工具表面的工装点位置，基于PnP算法得到单侧相机与世界坐标系的相对位姿关系，包括：
已知所述待测舵翼与运载工具的尺寸和相对空间关系，在所述运载工具的回转轴线上建立世界坐标系，获取运载工具表面的工装点位置在世界坐标系下的三维坐标；根据每个所述待测舵翼的角点位置和所述运载工具的尺寸，推算出所述待测舵翼的转轴点位置在世界坐标系下的三维坐标；
以所述相机为中心建立相机坐标系，根据所述转轴点位置和工装点位置在二维图像中的像素坐标，推算出所述转轴点位置和工装点位置在相机坐标系下的三维坐标；
将所述转轴点位置和工装点位置在两个坐标系下的三维坐标对应匹配，根据PnP算法解算出所述相机与世界坐标系的相对位姿关系，描述为第一旋转矩阵和第一平移矩阵。
5.根据权利要求1所述的基于计算机视觉的舵翼偏角检测方法，其特征在于，根据所述相对位姿关系和所述待测舵翼的零位位置，基于PnP算法得到单侧相机在舵翼理论位置坐标系下的位置一，包括：
设与所述运载工具的回转轴线平行，且通过所述待测舵翼的转轴点位置的线段所在位置为所述待测舵翼的零位位置，获取该线段在世界坐标系下的三维坐标；
利用所述相机与世界坐标系的相对位姿关系，将该线段的三维坐标从世界坐标系向相机坐标系投影；以该线段所在位置为x轴、以所述待测舵翼的转轴为z轴建立舵翼理论位置坐标系，根据PnP算法解算出所述舵翼理论位置坐标系与相机坐标系的相对位姿关系，描述为第二旋转矩阵和第二平移矩阵；
令所述相机坐标系的原点作为单侧相机在该坐标系下的位置，结合所述第二旋转矩阵和第二平移矩阵代入PnP算法中，将所述单侧相机从所述相机坐标系向所述舵翼理论位置坐标系投影，得到所述单侧相机在所述舵翼理论位置坐标系下的位置一的三维坐标。
6.根据权利要求1所述的基于计算机视觉的舵翼偏角检测方法，其特征在于，根据所述待测舵翼的安装位置，基于PnP算法得到所述单侧相机在舵翼实际位置坐标系下的位置二，包括：
获取所述待测舵翼的安装位置在相机坐标系下的三维坐标，以所述待测舵翼的安装位置为x轴、以所述待测舵翼的转轴为z轴建立舵翼实际位置坐标系，根据PnP算法解算出所述舵翼实际位置坐标系与相机坐标系的相对位姿关系，描述为第三旋转矩阵和第三平移矩阵；
令所述相机坐标系的原点作为单侧相机在该坐标系下的位置，结合所述第三旋转矩阵和第三平移矩阵代入PnP算法中，将所述单侧相机从所述相机坐标系向所述舵翼实际位置坐标系投影，得到所述单侧相机在所述舵翼实际位置坐标系下的位置二的三维坐标。
7.根据权利要求1所述的基于计算机视觉的舵翼偏角检测方法，其特征在于，根据所述位置一和位置二的三维坐标计算所述偏角，包括：
根据所述位置一和位置二的三维坐标，分别计算得到所述位置一与坐标系原点的距离为、所述位置二与坐标系原点的距离为、所述位置一与位置二之间的距离为，则根据三角函数公式，计算所述位置一、位置二分别与坐标系原点构成的夹角，表达式为：
。
8.根据权利要求1-7任一所述的基于计算机视觉的舵翼偏角检测方法，其特征在于，所述方法还包括：
在检测前，将所述相机依次安放在既定不同姿态下，预先设定好所述待测舵翼的安装位置的偏角角度作为真值，基于所述检测方法得到相机在各个姿态下的偏角作为标定测量值，将所述标定测量值与真值做对比，建立多姿态下的离线误差库；
在完成所述根据所述位置一和位置二的三维坐标计算所述偏角后，将计算得到的偏角值代入所述离线误差库进行比对，将库中最接近此时实际姿态的误差补偿回该偏角值中，实现计算数据的精度优化；
在采集多组数据后，根据预设阈值将超出阈值的数据进行剔除，实现自动滤波。
9.一种基于计算机视觉的舵翼偏角检测系统，其特征在于，所述系统包括两组数据采集装置、运载工具、多个待测舵翼和计算机控制平台；
所述待测舵翼通过转轴分别安装在所述运载工具的相应安装位置处；
所述数据采集装置包括相机、六自由度升降云台和移动平台，所述六自由度升降云台的一端安装在所述移动平台上，另一端安装有所述相机，两组所述数据采集装置分别布置在所述运载工具的左侧后方和右侧后方，两个所述相机用于分别采集运载工具左右两侧的图像；
所述计算机控制平台分别连接所述相机、六自由度升降云台，所述计算机控制平台接收所述相机的初始采集图像并与平台存储的待测目标标准图像位置相对比，计算图像视场偏移值，所述六自由度升降云台基于所述图像视场偏移值自动调整所述相机的位姿，直至采集的图像完整覆盖每侧的待测舵翼；
所述计算机控制平台用于对所述图像进行处理与分析，识别出所述待测舵翼的各角点位置，自动还原所述待测舵翼的零位位置；还用于根据每个所述待测舵翼的角点位置和运载工具表面的工装点位置，基于PnP算法得到单侧相机与世界坐标系的相对位姿关系；根据所述相对位姿关系、所述待测舵翼的零位位置和安装位置，基于PnP算法得到单侧相机分别在舵翼理论位置坐标系和舵翼实际位置坐标系下的位置一和位置二，所述舵翼理论位置坐标系和舵翼实际位置坐标系共用坐标系原点及所述待测舵翼的转轴；将所述位置一和位置二分别与坐标系原点构成的夹角作为所述待测舵翼的安装位置相对于零位位置的偏角，根据所述位置一和位置二的三维坐标计算所述偏角。
10.根据权利要求9所述的基于计算机视觉的舵翼偏角检测系统，其特征在于，所述系统还包括导轨式载物台和带有限位装置的导轨，所述运载工具置于所述导轨式载物台上并沿所述导轨移动，所述限位装置安装在所述导轨的末端，所述限位装置连接所述计算机控制平台，当所述计算机控制平台接收到所述限位装置发送的待测目标到位信号时，启动所述数据采集装置进行待测舵翼的零位偏角检测。
CN202210827029.1A 2022-07-13 2022-07-13 一种基于计算机视觉的舵翼偏角检测方法及系统 Active CN115205511B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210827029.1A CN115205511B (zh) 2022-07-13 2022-07-13 一种基于计算机视觉的舵翼偏角检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210827029.1A CN115205511B (zh) 2022-07-13 2022-07-13 一种基于计算机视觉的舵翼偏角检测方法及系统

Publications (2)

Publication Number Publication Date
CN115205511A CN115205511A (zh) 2022-10-18
CN115205511B true CN115205511B (zh) 2023-05-05

Family

ID=83580212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210827029.1A Active CN115205511B (zh) 2022-07-13 2022-07-13 一种基于计算机视觉的舵翼偏角检测方法及系统

Country Status (1)

Country Link
CN (1) CN115205511B (zh)

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112729221B (zh) * 2020-11-30 2022-08-12 成都飞机工业（集团）有限责任公司 一种飞机舵面偏转角度测量方法

Also Published As

Publication number Publication date
CN115205511A (zh) 2022-10-18

Similar Documents

Publication Publication Date Title
CN110555889B (zh) 一种基于CALTag和点云信息的深度相机手眼标定方法
CN110370286B (zh) 基于工业机器人和单目相机的定轴运动刚体空间位置识别方法
CN110689579B (zh) 基于合作目标的快速单目视觉位姿测量方法及测量系统
US10288418B2 (en) Information processing apparatus, information processing method, and storage medium
CN109454634B (zh) 一种基于平面图像识别的机器人手眼标定方法
CN109297413B (zh) 一种大型筒体结构视觉测量方法
CN111721259B (zh) 基于双目视觉的水下机器人回收定位方法
CN110728715A (zh) 一种智能巡检机器人像机角度自适应调整方法
Jiang et al. Dual-camera-based method for identification and location of scattered self-plugging rivets for robot grasping
CN110260818B (zh) 一种基于双目视觉的电子连接器鲁棒检测方法
CN111784655B (zh) 一种水下机器人回收定位方法
CN113103235B (zh) 一种基于rgb-d图像对柜体表面设备进行垂直操作的方法
US20190337161A1 (en) Optical measurement of object location in three dimensions
Hsu et al. Development of a faster classification system for metal parts using machine vision under different lighting environments
CN114029946A (zh) 一种基于3d光栅引导机器人定位抓取的方法、装置及设备
Han et al. Target positioning method in binocular vision manipulator control based on improved canny operator
CN114581632A (zh) 基于增强现实技术的零件装配误差检测方法、设备和装置
CN115205511B (zh) 一种基于计算机视觉的舵翼偏角检测方法及系统
CN112584041B (zh) 一种图像识别动态纠偏方法
Jing et al. The technologies of close-range photogrammetry and application in manufacture
CN111854678B (zh) 一种单目视觉下基于语义分割和卡尔曼滤波的位姿测量方法
Kheng et al. Stereo vision with 3D coordinates for robot arm application guide
CN112233176A (zh) 一种基于标定物的目标位姿测量方法
Baek et al. Wheel alignment inspection by 3D point cloud monitoring
Wang et al. A vision location system design of glue dispensing robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant