CN115131433A - 一种非合作目标位姿的处理方法、装置及电子设备 - Google Patents

一种非合作目标位姿的处理方法、装置及电子设备 Download PDF

Info

Publication number
CN115131433A
CN115131433A CN202210689582.3A CN202210689582A CN115131433A CN 115131433 A CN115131433 A CN 115131433A CN 202210689582 A CN202210689582 A CN 202210689582A CN 115131433 A CN115131433 A CN 115131433A
Authority
CN
China
Prior art keywords
coordinate system
spherical
curve
ellipse
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210689582.3A
Other languages
English (en)
Inventor
张炜
杨泽政
潘诗涵
王喆
邱实
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202210689582.3A priority Critical patent/CN115131433A/zh
Publication of CN115131433A publication Critical patent/CN115131433A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种非合作目标位姿的处理方法、装置及电子设备。该方法包括：基于深度相机获取非合作目标的图像，其中，非合作目标包括具有圆面特征的物体；对图像进行椭圆检测，得到椭圆检测结果，并获取椭圆参数；确定球面曲线方程与椭圆曲线方程的对应关系；根据椭圆参数和对应关系，计算出圆环曲线在球面坐标系的姿态角；获取像平面特征点，其中，像平面特征点为椭圆检测中标注的特征点在球面上的投影点；根据姿态角和像平面特征点，计算出非合作目标的位姿参数。通过本发明，解决了相关技术中无法准确的实现非合作目标姿态估计的技术问题，达到了提高非合作目标位姿估计的准确性的技术效果。

Description

一种非合作目标位姿的处理方法、装置及电子设备
技术领域
本发明涉及无人机技术领域，尤其涉及一种非合作目标位姿的处理方法、装置及电子设备。
背景技术
非合作目标指被探测目标的真实位置信息除了传感器可以直接量测之外，再无任何其他技术手段能够获取目标的准确位置。从常见二维合作目标形式拓展到实际环境中的空间非合作目标，进而实现精确的无人机位姿估计难度较大。环形作为常见的中心对称几何体，利用其几何特征解决工程问题长期受到重视。空间圆环任何角度在像平面上的投影均为直线、椭圆与圆三种形式之一，直线与圆特征是两种极限情况。基于单目视觉的椭圆识别理论上能够三维重建空间圆环体，但具有二值性，难以通过数值计算精确剔除虚假解。同时，工业生产与工程实践中的圆环往往没有明显纹理，在利用其椭圆特征进行三维重建时会损失维度信息，无法实现准确的姿态估计。
针对上述相关技术中无法准确的实现非合作目标姿态估计的问题，尚未提出有效地解决方案。
发明内容
本发明实施例提供了一种非合作目标位姿的处理方法、装置及电子设备，以至少解决相关技术中无法准确的实现非合作目标姿态估计的技术问题。
根据本发明实施例的一个方面，提供了一种非合作目标位姿的处理方法，包括：基于深度相机获取非合作目标的图像，其中，所述非合作目标包括具有圆面特征的物体；对所述图像进行椭圆检测，得到椭圆检测结果，并获取椭圆参数；确定球面曲线方程与椭圆曲线方程的对应关系，其中，所述球面曲线方程为球面上的圆环曲线向球面坐标系进行正投影得到的参数方程，所述椭圆曲线方程为所述椭圆检测结果中的椭圆曲线向所述球面坐标系进行正投影得到的参数方程；根据所述椭圆参数和所述对应关系，计算出所述圆环曲线在所述球面坐标系的姿态角；获取像平面特征点，其中，所述像平面特征点为椭圆检测中标注的特征点在所述球面上的投影点；根据所述姿态角和所述像平面特征点，计算出所述非合作目标的位姿参数。
可选地，对所述图像进行椭圆检测，得到椭圆检测结果，包括：对所述图像进行边缘提取，并将提取出的边缘线分割成多个弧段；根据多个所述弧段构建邻接矩阵，并采用曲率约束和区域约束对所述邻接矩阵进行稀疏化处理，得到目标矩阵，其中，所述邻接矩阵的每个元素用于表示多种不同的邻接状态；对所述目标矩阵进行前向搜索、反向搜索和双向组合验证，得到候选弧段集合；根据所述候选弧段集合生成拟合矩阵，并对拟合矩阵进行两次特征分解，得到椭圆曲线；根据预设指标对所述椭圆曲线进行验证，将验证分数大于验证阈值的所述椭圆曲线作为所述椭圆检测结果，其中，所述预设指标包括以下至少之一：形状指标、位置指标、梯度指标以及加权指标。
可选地，确定球面曲线方程与椭圆曲线方程的对应关系，包括：将所述椭圆曲线转换为所述圆环曲线，建立所述球面曲线方程与所述椭圆曲线方程的所述对应关系。
可选地，获取像平面特征点，包括：对所述图像进行霍夫直线检测，得到候选直线；确定所述候选直线与所述椭圆检测结果中的椭圆曲线的交点作为特征点；对所述特征点进行验证，并标注验证合格的所述特征点，得到目标特征点；将所述目标特征点在所述球面上的投影点确定为所述像平面特征点。
可选地，根据所述姿态角和所述像平面特征点，计算出所述非合作目标的位姿参数，包括：获取深度相机的相机坐标系，其中，所述姿态角作为所述相机坐标系相对于地面坐标系的欧拉角；分别确定所述圆环曲线的圆心在所述相机坐标系下的坐标、图像主点坐标系中的椭圆中心在所述相机坐标系下的坐标以及所述椭圆中心在所述图像主点坐标系下的坐标；获取所述像平面特征点对应于所述圆环曲线的点在所述地面坐标系中的坐标；根据所述椭圆中心在所述图像主点坐标系下的坐标和所述像平面特征点对应于所述圆环曲线的点在所述地面坐标系中的坐标，确定所述非合作目标的位姿参数。
根据本发明实施例的另一个方面，还提供了一种非合作目标位姿的处理装置，包括：第一获取模块，用于基于深度相机获取非合作目标的图像，其中，所述非合作目标包括具有圆面特征的物体；检测模块，用于对所述图像进行椭圆检测，得到椭圆检测结果，并获取椭圆参数；确定模块，用于确定球面曲线方程与椭圆曲线方程的对应关系，其中，所述球面曲线方程为球面上的圆环曲线向球面坐标系进行正投影得到的参数方程，所述椭圆曲线方程为所述椭圆检测结果中的椭圆曲线向所述球面坐标系进行正投影得到的参数方程；第一计算模块，用于根据所述椭圆参数和所述对应关系，计算出所述圆环曲线在所述球面坐标系的姿态角；第二获取模块，用于获取像平面特征点，其中，所述像平面特征点为椭圆检测中标注的特征点在所述球面上的投影点；第二计算模块，用于根据所述姿态角和所述像平面特征点，计算出所述非合作目标的位姿参数。
可选地，所述检测模块包括：提取分割单元，用于对所述图像进行边缘提取，并将提取出的边缘线分割成多个弧段；第一处理单元，用于根据多个所述弧段构建邻接矩阵，并采用曲率约束和区域约束对所述邻接矩阵进行稀疏化处理，得到目标矩阵，其中，所述邻接矩阵的每个元素用于表示多种不同的邻接状态；第二处理单元，用于对所述目标矩阵进行前向搜索、反向搜索和双向组合验证，得到候选弧段集合；拟合分解单元，用于根据所述候选弧段集合生成拟合矩阵，并对拟合矩阵进行两次特征分解，得到椭圆曲线；验证单元，用于根据预设指标对所述椭圆曲线进行验证，将验证分数大于验证阈值的所述椭圆曲线作为所述椭圆检测结果，其中，所述预设指标包括以下至少之一：形状指标、位置指标、梯度指标以及加权指标。
可选地，所述确定模块包括：建立单元，用于将所述椭圆曲线转换为所述圆环曲线，建立所述球面曲线方程与所述椭圆曲线方程的所述对应关系。
根据本发明实施例的另一个方面，还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述中任一项所述的方法步骤。
根据本发明实施例的另一个方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述中任一项所述的方法步骤。
在本发明实施例中，采用基于深度相机获取非合作目标的图像，其中，非合作目标包括具有圆面特征的物体；对图像进行椭圆检测，得到椭圆检测结果，并获取椭圆参数；确定球面曲线方程与椭圆曲线方程的对应关系，其中，球面曲线方程为球面上的圆环曲线向球面坐标系进行正投影得到的参数方程，椭圆曲线方程为椭圆检测结果中的椭圆曲线向球面坐标系进行正投影得到的参数方程；根据椭圆参数和对应关系，计算出圆环曲线在球面坐标系的姿态角；获取像平面特征点，其中，像平面特征点为椭圆检测中标注的特征点在球面上的投影点；根据姿态角和像平面特征点，计算出非合作目标的位姿参数。也就是说，本发明实施例能够仅依赖视觉信息独立对圆心未知、半径未知的具有圆面特征的物体进行位姿估计，进而解决了相关技术中无法准确的实现非合作目标姿态估计的技术问题，达到了提高非合作目标位姿估计的准确性的技术效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例提供的一种非合作目标位姿的处理方法的流程图；
图2为本发明实施例提供的一种椭圆检测算法的流程图；
图3为本发明实施例提供的一种球面坐标系、圆环曲线以及两者的角度关系的示意图；
图4为本发明实施例提供的一种球面坐标系与圆环曲线所对应的投影轴系的示意图；
图5为本发明实施例提供的一种椭圆检测中进行特征点标注的流程图；
图6为本发明实施例提供的一种非合作目标位姿的处理装置的示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于限定特定顺序。
根据本发明实施例的一个方面，提供了一种非合作目标位姿的处理方法，图1为本发明实施例提供的一种非合作目标位姿的处理方法的流程图，如图1所示，该方法包括如下步骤：
步骤S102，基于深度相机获取非合作目标的图像，其中，非合作目标包括具有圆面特征的物体；
上述深度相机可以搭载在目标对象上，其作为目标对象结构的一部分用于获取非合作目标的图像。目标对象可以为无人机，也可以为其他设备。
步骤S104，对图像进行椭圆检测，得到椭圆检测结果，并获取椭圆参数；
上述椭圆参数包括但不限于椭圆半长轴、半短轴以及所需角度等。
步骤S106，确定球面曲线方程与椭圆曲线方程的对应关系，其中，球面曲线方程为球面上的圆环曲线向球面坐标系进行正投影得到的参数方程，椭圆曲线方程为椭圆检测结果中的椭圆曲线向球面坐标系进行正投影得到的参数方程；
步骤S108，根据椭圆参数和对应关系，计算出圆环曲线在球面坐标系的姿态角；
上述圆环曲线在球面坐标系的姿态角至少有两个。
步骤S110，获取像平面特征点，其中，像平面特征点为椭圆检测中标注的特征点在球面上的投影点；
需要说明的是，像平面为成像平面，例如，用胶片相机拍摄，则胶卷就是像平面；用深度相机相机拍摄，则像平面就是CCD等感光元件。
步骤S112，根据姿态角和像平面特征点，计算出非合作目标的位姿参数。
在具体实施过程中，姿态角和像平面特征点作为坐标系转换的参数，通过图像主点坐标系、相机坐标系、球面坐标系以及地面坐标系之间的转换，得到非合作目标的位姿参数，其中，非合作目标的位姿参数包括非合作目标在地面坐标系中的坐标位置。
在本发明实施例中，采用基于深度相机获取非合作目标的图像，其中，非合作目标包括具有圆面特征的物体；对图像进行椭圆检测，得到椭圆检测结果，并获取椭圆参数；确定球面曲线方程与椭圆曲线方程的对应关系，其中，球面曲线方程为球面上的圆环曲线向球面坐标系进行正投影得到的参数方程，椭圆曲线方程为椭圆检测结果中的椭圆曲线向球面坐标系进行正投影得到的参数方程；根据椭圆参数和对应关系，计算出圆环曲线在球面坐标系的姿态角；获取像平面特征点，其中，像平面特征点为椭圆检测中标注的特征点在球面上的投影点；根据姿态角和像平面特征点，计算出非合作目标的位姿参数。也就是说，本发明实施例能够仅依赖视觉信息独立对圆心未知、半径未知的具有圆面特征的物体进行位姿估计，进而解决了相关技术中无法准确的实现非合作目标姿态估计的技术问题，达到了提高非合作目标位姿估计的准确性的技术效果。
需要说明的是，上述方法的应用场景包括但不限于：工业机器人、飞机、车辆以及无人机等。例如，工业机器人操作的工件很多具有圆面特征，且没有明显纹理；又例如，飞机空中加油过程受油机的受油管管口平面一般也为圆面；再例如，针对无人机的任务环境复杂等特点，各类非自主导航方法精度难以保证，利用视觉信息实现导航或自主降落是无人机发展的重要方向。视觉范围内的空中来袭导弹、敌机或者地面建筑这类非合作目标圆面特征明显，采用本发明的上述方法能够仅依赖视觉信息独立对圆心未知、半径未知的具有圆面特征的物体进行位姿估计，为无人机基于非合作目标的自主导航与感知提供新思路。
在一种可选的实施方式中，对图像进行椭圆检测，得到椭圆检测结果，包括：对图像进行边缘提取，并将提取出的边缘线分割成多个弧段；根据多个弧段构建邻接矩阵，并采用曲率约束和区域约束对邻接矩阵进行稀疏化处理，得到目标矩阵，其中，邻接矩阵的每个元素用于表示多种不同的邻接状态；对目标矩阵进行前向搜索、反向搜索和双向组合验证，得到候选弧段集合；根据候选弧段集合生成拟合矩阵，并对拟合矩阵进行两次特征分解，得到椭圆曲线；根据预设指标对椭圆曲线进行验证，将验证分数大于验证阈值的椭圆曲线作为椭圆检测结果，其中，预设指标包括以下至少之一：形状指标、位置指标、梯度指标以及加权指标。
上述预设指标包括但不限于形状指标、位置指标、梯度指标以及加权指标等。在具体实施过程中，预设指标可以根据应用场景的需要而设置。
在具体实施过程中，首先需要对图像进行边缘提取，并将提取出的边缘线分割成多个弧段，再根据多个弧段构建邻接矩阵，并采用曲率约束和区域约束对邻接矩阵进行稀疏化处理，得到目标矩阵，然后对该目标矩阵进行前向搜索、反向搜索和双向组合验证，得到候选弧段集合，再根据候选弧段集合生成拟合矩阵，并对拟合矩阵进行两次特征分解，得到椭圆曲线，最后根据预设指标对椭圆曲线进行验证，将验证分数大于验证阈值的椭圆曲线作为椭圆检测结果。通过该针对图像的椭圆检测方法，可以有效消除假椭圆曲线，保证椭圆曲线的准确性。
在一种可选的实施方式中，确定球面曲线方程与椭圆曲线方程的对应关系，包括：将椭圆曲线转换为圆环曲线，建立球面曲线方程与椭圆曲线方程的对应关系。
需要说明的是，从二维的椭圆曲线到三维的球面曲线的转换不仅需要保证在投影平面的参数方向一致性，使得任意的平面椭圆曲线向三维球面进行平行投影均是圆环，还需要建立球面曲线方程与椭圆曲线方程的对应关系，该对应关系也即是球面曲线方程与椭圆曲线方程的对应条件，能够有效保证任意的平面椭圆曲线向三维球面进行平行投影是圆环，便于后续的坐标系之间的转换。
在一种可选的实施方式中，获取像平面特征点，包括：对图像进行霍夫直线检测，得到候选直线；确定候选直线与椭圆检测结果中的椭圆曲线的交点作为特征点；对特征点进行验证，并标注验证合格的特征点，得到目标特征点；将目标特征点在球面上的投影点确定为像平面特征点。
在具体实施过程中，可以获取椭圆检测中的灰度图像，再对该灰度图像进行霍夫直线检测，检测出候选直线，该候选直线与椭圆检测结果中的椭圆曲线的交点作为特征点；为了保证特征点的准确性，可以对特征点进行验证，并标注验证合格的特征点，将其作为目标特征点；最后将将目标特征点在球面的投影点记为像平面特征点。通过上述实施方式能够准确得到像平面特征点。需要说明的是，上述像平面特征点的数量至少为两个。
在一种可选的实施方式中，根据姿态角和像平面特征点，计算出非合作目标的位姿参数，包括：获取深度相机的相机坐标系，其中，姿态角作为相机坐标系相对于地面坐标系的欧拉角；分别确定圆环曲线的圆心在相机坐标系下的坐标、图像主点坐标系中的椭圆中心在相机坐标系下的坐标以及椭圆中心在图像主点坐标系下的坐标；获取像平面特征点对应于圆环曲线的点在地面坐标系中的坐标；根据椭圆中心在图像主点坐标系下的坐标和像平面特征点对应于圆环曲线的点在地面坐标系中的坐标，确定非合作目标的位姿参数。
在具体实施过程中，需要获取深度相机的相机坐标系，此时将姿态角作为相机坐标系相对于地面坐标系的欧拉角，再分别确定圆环曲线的圆心在相机坐标系下的坐标、图像主点坐标系中的椭圆中心在相机坐标系下的坐标以及椭圆中心在图像主点坐标系下的坐标，然后获取像平面特征点对应于圆环曲线的点在地面坐标系中的坐标，进而根据椭圆中心在图像主点坐标系下的坐标和像平面特征点对应于圆环曲线的点在地面坐标系中的坐标，得到非合作目标的位姿参数。
通过上述实施方式能够直接利用坐标系之间的位置转换来确定非合作目标的位姿参数，避免了损失维度信息，大大提升了非合作目标位姿估计的准确性。
下面对本发明一种可选的实施方式进行详细说明。
本发明的可选实施方式提供了一种使用空间圆环正轴侧投影的椭圆检测来估算无人机位姿的方法，具体实施过程包括以下步骤：
1、基于弧邻接矩阵的快速椭圆检测
图2为本发明实施例提供的一种椭圆检测算法的流程图，如图2所示，首先利用Canny自适应算法对输入图像进行边缘提取，提取出一个个孤立的边缘像素点，进而将提取出的边缘线分割为椭圆弧，之后构造有向的弧段邻接矩阵，矩阵每个元素表示了三种邻接状态，并采用曲率约束和区域约束使得主动外观模型(Active Appearance Model，AAM)矩阵变得稀疏。其次，进行弧段选择，分为对AAM矩阵的前向搜索、反向搜索和双向组合验证三步，得到所有的可能是真实椭圆的候选弧段集合。进而进行椭圆拟合，将每个弧段对应一个累积矩阵，则一个弧段组合就是几个弧段累积矩阵的加和，从而获得一个组合所需的拟合矩阵(Connection Matrix，CM)，通过Jacobi方法对CM进行两次特征分解，有效拟合出椭圆。最后进行椭圆验证，基于形状指标、位置指标、梯度指标、加权指标得到综合验证分数，并设置好验证阈值，消除假椭圆，得到最终椭圆检测结果。
2、建立球面圆环的正轴测投影模型
对于圆球表面，可用球半径R与两个夹角θ、
Figure BDA0003699017400000071
唯一表示，以球心O为原点(0,0,0)，建立球面坐标系，则半径为R的球面S的参数方程为：
Figure BDA0003699017400000072
设C为球面上一圆环曲线，半径为r，圆环曲线的圆心为OC，将O′C称为圆环曲线C的球面中心。为了导出圆环曲线C的表达式，图3为本发明实施例提供的一种球面坐标系、圆环曲线以及两者的角度关系的示意图，如图3所示，建立空间圆环坐标系OCx′y′z′，并使OCz′轴与Oz轴共面。利用旋转变换，圆环曲线C上任意点的坐标[XCYCZC]可经过绕y′轴顺时针旋转
Figure BDA0003699017400000081
再绕z′逆时针旋转θ得到。
Figure BDA0003699017400000082
其中，[x′ y′ z′]T为圆环任意点在圆环坐标系OCx′y′z′的坐标，[x′0 y′0 z′0]T为原点OC在球面坐标系的坐标。
从而曲线C的参数方程为：
Figure BDA0003699017400000083
将圆环曲线向球面坐标系xOz面进行正投影得到二次曲线S，容易得到S的参数方程：
Figure BDA0003699017400000084
图4为本发明实施例提供的一种球面坐标系与圆环曲线所对应的投影轴系的示意图，如图4所示，平面xOz坐标系如图三所示，对于任意球面圆环的投影均为正圆或椭圆，不会出现不规则圆。假设以投影椭圆半长短轴a、b建立直角坐标系
Figure BDA0003699017400000085
Figure BDA0003699017400000086
轴与球面坐标系x轴夹角为β。椭圆在
Figure BDA0003699017400000087
轴系中可表示为：
Figure BDA0003699017400000088
其中，0≤t≤2π。
则椭圆方程在xOz轴系的表达式可经过一次旋转变换得到。
Figure BDA0003699017400000089
从二维的椭圆曲线到三维圆环线的转换需要保证在投影平面的参数方向一致性，即需令u＝t，u∈[0,2π)。将任意的平面椭圆曲线向三维球面进行平行投影，保证其是圆环的判断标准在于，球面曲线的方程能够与平面椭圆对应起来，对应条件如下：
Figure BDA0003699017400000091
通过机载视觉传感器信息结合椭圆检测算法能够获取椭圆半长轴a、半短轴b以及所需角度β，进而利用上式解算圆环在球面坐标系的姿态角
Figure BDA0003699017400000092
θ。
3、位姿参数计算
需要注意的是，在进行圆环投影三维重建的过程中，是将其向球面坐标系的xOz面进行正投影，因此相机坐标系O′CxCyCzC的相机光轴方向OCyC应当平行于球面坐标系的y向，即相机坐标系xCO′CzC平面与球面坐标系的xOz平面重合。则相机坐标系与球面坐标系的转换关系为：
Figure BDA0003699017400000093
其中，[x0 y0 z0]T为相机坐标系原点(即相机焦点)在球面坐标系下的坐标。
由于环形为以圆心为对称中心的中心对称图形，因此通过识别空间圆环进行无人机姿态估计会损失信息，这也是在球面坐标系中能够仅使用
Figure BDA0003699017400000094
θ两个角度表示空间圆环的姿态的原因。图5为本发明实施例提供的一种椭圆检测中进行特征点标注的流程图，如图5所示，针对特定场景，在椭圆检测中进行特征点标注，可以有效解决这一问题。
将两个特征点在球面的投影点记为P、P′。球面坐标系与地面坐标系的转换关系由空间圆环放置位姿决定。为简化起见，假设以空间圆环圆心为地面坐标系轴心Og，圆环所在平面为地面坐标系ygOgzg平面，OCP方向为Ogyg轴。则相机坐标系相对于地面坐标系的三个欧拉角分别为
Figure BDA0003699017400000095
θ、ψ，其中，ψ为圆环坐标系Ogy′轴与OCP的夹角，且
Figure BDA0003699017400000096
θ、ψ∈(-π,π)。
图像主点坐标系中椭圆中心
Figure BDA0003699017400000097
是圆环的圆心在像平面的投影，设其坐标为[u w]T，则相机坐标系中该点坐标为[u d w]T，d为等效焦距，由相机标定获取。而对应的圆环中心OC在地面坐标系中的坐标为[000]T。OC在相机坐标系下的坐标由下式得到：
Figure BDA0003699017400000101
其中，Tgs为地面坐标系相对于球面坐标系的坐标转换矩阵，[x1 y1 z1]T为相机坐标系轴心在地面坐标系的位置。
Figure BDA0003699017400000102
在相机坐标系下的坐标为：
Figure BDA0003699017400000103
进而
Figure BDA0003699017400000104
在图像主点坐标系的坐标为：
Figure BDA0003699017400000105
像平面特征点P与P′对应于空间圆环的点在地面坐标系中的坐标分别为[0 r 0]T、[0 -r 0]T，代入上式得：
Figure BDA0003699017400000106
Figure BDA0003699017400000107
则上式的最小二乘解为：
Figure BDA0003699017400000108
其中，
Figure BDA0003699017400000111
Figure BDA0003699017400000112
需要说明的是，该方法仅通过机载深度相机的传感器数据，识别空间圆环的圆面特征对自身实现位姿解算，同时也可以结合本方法位姿计算结果，融合其他方案进行组合导航，得到精度更高的算法。
根据本发明实施例的另一个方面，还提供了一种非合作目标位姿的处理装置，图6为本发明实施例提供的一种非合作目标位姿的处理装置的示意图，如图6所示，该非合作目标位姿的处理装置包括：第一获取模块602、检测模块604、确定模块606、第一计算模块608、第二获取模块610和第二计算模块612。下面对该非合作目标位姿的处理装置进行详细说明。
第一获取模块602，用于基于深度相机获取非合作目标的图像，其中，非合作目标包括具有圆面特征的物体；
检测模块604，连接至上述第一获取模块602，用于对图像进行椭圆检测，得到椭圆检测结果，并获取椭圆参数；
确定模块606，连接至上述检测模块604，用于确定球面曲线方程与椭圆曲线方程的对应关系，其中，球面曲线方程为球面上的圆环曲线向球面坐标系进行正投影得到的参数方程，椭圆曲线方程为椭圆检测结果中的椭圆曲线向球面坐标系进行正投影得到的参数方程；
第一计算模块608，连接至上述确定模块606，用于根据椭圆参数和对应关系，计算出圆环曲线在球面坐标系的姿态角；
第二获取模块610，连接至上述第一计算模块608，用于获取像平面特征点，其中，像平面特征点为椭圆检测中标注的特征点在球面上的投影点；
第二计算模块612，连接至上述第二获取模块610，用于根据姿态角和像平面特征点，计算出非合作目标的位姿参数。
在本发明实施例中，该非合作目标位姿的处理装置采用基于深度相机获取非合作目标的图像，其中，非合作目标包括具有圆面特征的物体；对图像进行椭圆检测，得到椭圆检测结果，并获取椭圆参数；确定球面曲线方程与椭圆曲线方程的对应关系，其中，球面曲线方程为球面上的圆环曲线向球面坐标系进行正投影得到的参数方程，椭圆曲线方程为椭圆检测结果中的椭圆曲线向球面坐标系进行正投影得到的参数方程；根据椭圆参数和对应关系，计算出圆环曲线在球面坐标系的姿态角；获取像平面特征点，其中，像平面特征点为椭圆检测中标注的特征点在球面上的投影点；根据姿态角和像平面特征点，计算出非合作目标的位姿参数。也就是说，本发明实施例能够仅依赖视觉信息独立对圆心未知、半径未知的具有圆面特征的物体进行位姿估计，进而解决了相关技术中无法准确的实现非合作目标姿态估计的技术问题，达到了提高非合作目标位姿估计的准确性的技术效果。
此处需要说明的是，上述第一获取模块602、检测模块604、确定模块606、第一计算模块608、第二获取模块610和第二计算模块612对应于方法实施例中的步骤S102至S112，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述方法实施例所公开的内容。
可选地，上述检测模块604包括：提取分割单元，用于对图像进行边缘提取，并将提取出的边缘线分割成多个弧段；第一处理单元，用于根据多个弧段构建邻接矩阵，并采用曲率约束和区域约束对邻接矩阵进行稀疏化处理，得到目标矩阵，其中，邻接矩阵的每个元素用于表示多种不同的邻接状态；第二处理单元，用于对目标矩阵进行前向搜索、反向搜索和双向组合验证，得到候选弧段集合；拟合分解单元，用于根据候选弧段集合生成拟合矩阵，并对拟合矩阵进行两次特征分解，得到椭圆曲线；验证单元，用于根据预设指标对椭圆曲线进行验证，将验证分数大于验证阈值的椭圆曲线作为椭圆检测结果，其中，预设指标包括以下至少之一：形状指标、位置指标、梯度指标以及加权指标。
可选地，上述确定模块606包括：建立单元，用于将椭圆曲线转换为圆环曲线，建立球面曲线方程与椭圆曲线方程的对应关系。
可选地，上述第二获取模块610包括：检测单元，用于对所述图像进行霍夫直线检测，得到候选直线；第一确定单元，用于确定所述候选直线与所述椭圆检测结果中的椭圆曲线的交点作为特征点；标注单元，用于对所述特征点进行验证，并标注验证合格的所述特征点，得到目标特征点；第二确定单元，用于将所述目标特征点在所述球面上的投影点确定为所述像平面特征点。
可选地，上述第二计算模块612包括：第一获取单元，用于获取深度相机的相机坐标系，其中，所述姿态角作为所述相机坐标系相对于地面坐标系的欧拉角；第三确定单元，用于分别确定所述圆环曲线的圆心在所述相机坐标系下的坐标、图像主点坐标系中的椭圆中心在所述相机坐标系下的坐标以及所述椭圆中心在所述图像主点坐标系下的坐标；第二获取单元，用于获取所述像平面特征点对应于所述圆环曲线的点在所述地面坐标系中的坐标；第四确定单元，用于根据所述椭圆中心在所述图像主点坐标系下的坐标和所述像平面特征点对应于所述圆环曲线的点在所述地面坐标系中的坐标，确定所述非合作目标的位姿参数。
根据本发明实施例的另一个方面，还提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行上述中任一项的方法步骤。
根据本发明实施例的另一个方面，还提供了一种计算机可读存储介质，计算机可读存储介质包括存储的程序，其中，在程序运行时控制计算机可读存储介质所在设备执行上述中任一项的方法步骤。
需要说明的是，上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中，和/或位于移动终端群中的任意一个移动终端中，上述计算机可读存储介质包括存储的程序。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (10)

1.一种非合作目标位姿的处理方法，其特征在于，包括：
基于深度相机获取非合作目标的图像，其中，所述非合作目标包括具有圆面特征的物体；
对所述图像进行椭圆检测，得到椭圆检测结果，并获取椭圆参数；
确定球面曲线方程与椭圆曲线方程的对应关系，其中，所述球面曲线方程为球面上的圆环曲线向球面坐标系进行正投影得到的参数方程，所述椭圆曲线方程为所述椭圆检测结果中的椭圆曲线向所述球面坐标系进行正投影得到的参数方程；
根据所述椭圆参数和所述对应关系，计算出所述圆环曲线在所述球面坐标系的姿态角；
获取像平面特征点，其中，所述像平面特征点为椭圆检测中标注的特征点在所述球面上的投影点；
根据所述姿态角和所述像平面特征点，计算出所述非合作目标的位姿参数。
2.根据权利要求1所述的方法，其特征在于，对所述图像进行椭圆检测，得到椭圆检测结果，包括：
对所述图像进行边缘提取，并将提取出的边缘线分割成多个弧段；
根据多个所述弧段构建邻接矩阵，并采用曲率约束和区域约束对所述邻接矩阵进行稀疏化处理，得到目标矩阵，其中，所述邻接矩阵的每个元素用于表示多种不同的邻接状态；
对所述目标矩阵进行前向搜索、反向搜索和双向组合验证，得到候选弧段集合；
根据所述候选弧段集合生成拟合矩阵，并对拟合矩阵进行两次特征分解，得到椭圆曲线；
根据预设指标对所述椭圆曲线进行验证，将验证分数大于验证阈值的所述椭圆曲线作为所述椭圆检测结果，其中，所述预设指标包括以下至少之一：形状指标、位置指标、梯度指标以及加权指标。
3.根据权利要求1所述的方法，其特征在于，确定球面曲线方程与椭圆曲线方程的对应关系，包括：
将所述椭圆曲线转换为所述圆环曲线，建立所述球面曲线方程与所述椭圆曲线方程的所述对应关系。
4.根据权利要求1所述的方法，其特征在于，获取像平面特征点，包括：
对所述图像进行霍夫直线检测，得到候选直线；
确定所述候选直线与所述椭圆检测结果中的椭圆曲线的交点作为特征点；
对所述特征点进行验证，并标注验证合格的所述特征点，得到目标特征点；
将所述目标特征点在所述球面上的投影点确定为所述像平面特征点。
5.根据权利要求1至4中任一项所述的方法，其特征在于，根据所述姿态角和所述像平面特征点，计算出所述非合作目标的位姿参数，包括：
获取深度相机的相机坐标系，其中，所述姿态角作为所述相机坐标系相对于地面坐标系的欧拉角；
分别确定所述圆环曲线的圆心在所述相机坐标系下的坐标、图像主点坐标系中的椭圆中心在所述相机坐标系下的坐标以及所述椭圆中心在所述图像主点坐标系下的坐标；
获取所述像平面特征点对应于所述圆环曲线的点在所述地面坐标系中的坐标；
根据所述椭圆中心在所述图像主点坐标系下的坐标和所述像平面特征点对应于所述圆环曲线的点在所述地面坐标系中的坐标，确定所述非合作目标的位姿参数。
6.一种非合作目标位姿的处理装置，其特征在于，包括：
第一获取模块，用于基于深度相机获取非合作目标的图像，其中，所述非合作目标包括具有圆面特征的物体；
检测模块，用于对所述图像进行椭圆检测，得到椭圆检测结果，并获取椭圆参数；
确定模块，用于确定球面曲线方程与椭圆曲线方程的对应关系，其中，所述球面曲线方程为球面上的圆环曲线向球面坐标系进行正投影得到的参数方程，所述椭圆曲线方程为所述椭圆检测结果中的椭圆曲线向所述球面坐标系进行正投影得到的参数方程；
第一计算模块，用于根据所述椭圆参数和所述对应关系，计算出所述圆环曲线在所述球面坐标系的姿态角；
第二获取模块，用于获取像平面特征点，其中，所述像平面特征点为椭圆检测中标注的特征点在所述球面上的投影点；
第二计算模块，用于根据所述姿态角和所述像平面特征点，计算出所述非合作目标的位姿参数。
7.根据权利要求6所述的装置，其特征在于，所述检测模块包括：
提取分割单元，用于对所述图像进行边缘提取，并将提取出的边缘线分割成多个弧段；
第一处理单元，用于根据多个所述弧段构建邻接矩阵，并采用曲率约束和区域约束对所述邻接矩阵进行稀疏化处理，得到目标矩阵，其中，所述邻接矩阵的每个元素用于表示多种不同的邻接状态；
第二处理单元，用于对所述目标矩阵进行前向搜索、反向搜索和双向组合验证，得到候选弧段集合；
拟合分解单元，用于根据所述候选弧段集合生成拟合矩阵，并对拟合矩阵进行两次特征分解，得到椭圆曲线；
验证单元，用于根据预设指标对所述椭圆曲线进行验证，将验证分数大于验证阈值的所述椭圆曲线作为所述椭圆检测结果，其中，所述预设指标包括以下至少之一：形状指标、位置指标、梯度指标以及加权指标。
8.根据权利要求6所述的装置，其特征在于，所述确定模块包括：
建立单元，用于将所述椭圆曲线转换为所述圆环曲线，建立所述球面曲线方程与所述椭圆曲线方程的所述对应关系。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为执行权利要求1至5中任一项所述的方法步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至5中任一项所述的方法步骤。
CN202210689582.3A 2022-06-16 2022-06-16 一种非合作目标位姿的处理方法、装置及电子设备 Pending CN115131433A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210689582.3A CN115131433A (zh) 2022-06-16 2022-06-16 一种非合作目标位姿的处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210689582.3A CN115131433A (zh) 2022-06-16 2022-06-16 一种非合作目标位姿的处理方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN115131433A true CN115131433A (zh) 2022-09-30

Family

ID=83378683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210689582.3A Pending CN115131433A (zh) 2022-06-16 2022-06-16 一种非合作目标位姿的处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN115131433A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664394A (zh) * 2023-08-01 2023-08-29 博奥生物集团有限公司 一种三维人眼图像生成方法及装置、电子设备、存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116664394A (zh) * 2023-08-01 2023-08-29 博奥生物集团有限公司 一种三维人眼图像生成方法及装置、电子设备、存储介质
CN116664394B (zh) * 2023-08-01 2023-10-03 博奥生物集团有限公司 一种三维人眼图像生成方法及装置、电子设备、存储介质

Similar Documents

Publication Publication Date Title
CN108562274B (zh) 一种基于标志器的非合作目标位姿测量方法
CN111862201B (zh) 一种基于深度学习的空间非合作目标相对位姿估计方法
Zhang et al. Vision-based pose estimation for textureless space objects by contour points matching
CN107844750A (zh) 一种水面全景图像目标检测识别方法
CN109405835B (zh) 基于非合作目标直线与圆单目图像的相对位姿测量方法
CN110176032B (zh) 一种三维重建方法及装置
EP2887315B1 (en) Camera calibration device, method for implementing calibration, program and camera for movable body
CN108225319B (zh) 基于目标特征的单目视觉快速相对位姿估计系统及方法
US11948344B2 (en) Method, system, medium, equipment and terminal for inland vessel identification and depth estimation for smart maritime
CN113256718B (zh) 定位方法和装置、设备及存储介质
CN115861860B (zh) 一种无人机的目标跟踪定位方法和系统
WO2021174539A1 (zh) 物体检测方法、可移动平台、设备和存储介质
KR102372298B1 (ko) 이동체의 전방향에 위치한 적어도 하나의 물체에 대한 거리를 획득하는 방법 및 이를 이용한 비전 장치
CN115164900A (zh) 一种基于全向相机的城市环境下视觉辅助导航方法及系统
CN113295171B (zh) 一种基于单目视觉的旋转刚体航天器姿态估计方法
CN115131433A (zh) 一种非合作目标位姿的处理方法、装置及电子设备
CN112219225A (zh) 定位方法、系统及可移动平台
CN116817929B (zh) 一种无人机对地平面多目标同时定位方法及系统
CN113034347A (zh) 倾斜摄影图像处理方法、装置、处理设备及存储介质
CN112686149A (zh) 一种基于视觉的固定翼无人机近地段自主着陆方法
CN116844124A (zh) 三维目标检测框标注方法、装置、电子设备和存储介质
Duan et al. Image digital zoom based single target apriltag recognition algorithm in large scale changes on the distance
Wang et al. An automatic self-calibration approach for wide baseline stereo cameras using sea surface images
US10366278B2 (en) Curvature-based face detector
CN113239936B (zh) 一种基于深度学习与特征点提取的无人机视觉导航方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination