CN114359395B - 用于锥套主动增稳的位置监测光学参考系统及其实现方法 - Google Patents

用于锥套主动增稳的位置监测光学参考系统及其实现方法 Download PDF

Info

Publication number
CN114359395B
CN114359395B CN202210267243.6A CN202210267243A CN114359395B CN 114359395 B CN114359395 B CN 114359395B CN 202210267243 A CN202210267243 A CN 202210267243A CN 114359395 B CN114359395 B CN 114359395B
Authority
CN
China
Prior art keywords
taper sleeve
module
image
information
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210267243.6A
Other languages
English (en)
Other versions
CN114359395A (zh
Inventor
李华
孙永荣
赵科东
张怡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
Original Assignee
Nanjing University of Aeronautics and Astronautics
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210267243.6A priority Critical patent/CN114359395B/zh
Publication of CN114359395A publication Critical patent/CN114359395A/zh
Application granted granted Critical
Publication of CN114359395B publication Critical patent/CN114359395B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种用于锥套主动增稳的位置监测光学参考系统，包括硬件和软件，硬件包括光学标记、主动光源、图像采集设备、离线数据处理设备、在线视觉解算设备、数据存储设备、通讯设备、电源设备和显示设备；软件包括三个主要功能模块，分别为离线标定功能模块、在线监测功能模块和离线调试功能模块。本发明提出的光学参考系统在加油机端实现了对锥套位置的快速高精度监测，为ASRDS提供可靠的锥套位置信息输入，以便控制锥套稳定在标称位置附近。

Description

用于锥套主动增稳的位置监测光学参考系统及其实现方法
技术领域
本发明涉及计算机图像处理与视觉定位领域，尤其涉及一种用于锥套主动增稳的位置监测的光学参考系统及其实现方法。
背景技术
在传统的空中加油方案中，通常在受油机端安装锥套定位解算系统，在获得锥套位置信息后，由受油机根据锥套的空间位姿信息进行对接。然而飞机机动和周边空气的扰动都会使得锥套随机摆动，导致加油对接操作难度增大，危险系数变高，容易造成严重事故。
在实际加油过程中，受油插头与锥套在接近的时候越能保持相对静止，则完成加油的成功率和安全性也会越高。为了实现对锥套的增稳控制，可在软管与加油锥套接口端加装主动稳定加油锥套系统(Actively Stabilized Refueling Drogue System，简称ASRDS)。该系统的主要组成部分为一对安装于软管与加油锥套接口端的可旋转的铝制护罩。通过生成控制指令，由板载直流电机驱动护罩上对称排布的升降与滚转控制翼运作产生升力与偏转力矩，控制锥套稳定在标称位置（空中加油对接阶段中锥套平衡位置）附近，以抵消锥套受到的小规模干扰。ASRDS使得软管与锥套的组合装置在轻度气流影响下具备良好的抗干扰能力，对提升空中加油的成功率和安全性有很大的帮助。值得注意的是，ASRDS高度依赖于锥套的实时位置估计信息，且区别于传统的空中加油方案，引入了ASRDS的空中加油方案所需要的锥套位置信息须由安装在加油机端的锥套位置监测系统提供，在获取锥套位置信息后实现对锥套的增稳。因此，辅助ASRDS工作的锥套位置监测系统须满足在20米左右的中远工作距离下，对锥套位置实现快速高精度实时监测的需求，尤其对锥套位置信息反馈的时效性与精确性要求更高。
经过调研，现有获取空中加油任务场景中锥套实时位置的主流方法包括机器视觉、差分GPS、激光调制光场定位、惯性导航等等。其中，机器视觉利用光电传感设备模拟人眼功能，通过检测和识别目标的关键特征来估计目标的相对位置和姿态，其采用的图像处理数据直观易理解。相比于差分GPS、惯性导航等方式，机器视觉不需要在锥套上额外安装GPS接收机、惯性测量器件（Inertial Measurement Unit，IMU）等可能会带来安全隐患的电子设备，其不仅结构简单，可靠性强，且与激光调制光场定位方式相比，其速度更快、精度更高。
机器视觉采用目标的成像结果，在图像中对目标进行特征定位，而后利用物理成像的几何原理对目标进行三维空间定位。图像中锥套目标自身的固有特征包括锥套上圆形的加油口与整体轮廓、线状均匀分布的伞骨线、单一的颜色特征等。然而，目前基于被动视觉的方案由于相应的图像处理算法较为复杂，解算时间长，实时性较低，且无法适用于光线较暗的夜间工作环境，通常运用在实验室演示、采集数据等场景。
经过分析，本发明考虑采用视觉设备，将其安装于加油机吊舱下，从加油机端以主动视觉的方式利用近红外设备辅助获取锥套位置信息，然而在复杂任务场景下存在以下技术问题：
1.视觉设备与锥套的距离受软管长度约束，最远可达20米，锥套目标在图像中的成像占比小；
2.锥套易受软管遮挡，导致特征信息缺失而定位失败；
能否在小目标、遮挡、背景干扰严重等复杂任务场景下实现对锥套位置的实时快速高精度监测，关系着ASRDS能否精确地控制锥套稳定在标称位置附近。因此，在双机会合到完成对接的整个过程中，为使对锥套位置监测的速度和精度满足ASRDS的要求，急需研究复杂场景下如何在加油机端对锥套位置进行快速高精度地实时监测。
发明内容
发明目的：本发明的目的在于在空中加油复杂任务场景下，为使ASRDS能快速可靠地获取高精度的锥套实时位置信息输入，从而控制锥套稳定在标称位置附近，设计一种用于锥套主动增稳的位置监测的光学参考系统及其实现方法。
技术方案：本发明的一种用于锥套主动增稳的位置监测的光学参考系统及其实现方法，包括软件、硬件。
本发明的硬件组成包括：
光学标记：用于在锥套上布置光学特征标记，包括但不限于点、线、圆等几何特征，采用近红外敏感材料反光小球、反光条、反光圆环带等。
主动光源：用于在线监测时向光学标记特征发射近红外光，光学标记特征受到照射后反射特定波长的光，包括近红外光源、模拟电流控制器等。在图像处理模块中，主动光源与光学标记的组合在20米的工作距离下，特征依然明显易提取。
图像采集设备：由图像采集模块驱动此设备，在离线标定和在线监测阶段实时采集锥套上光学标记特征图像信息，包括高分辨率工业相机、高清工业镜头和滤光片等。滤光片用于过滤光学标记特征反射的光线，得到指定波长的光。
离线数据处理设备：用于离线标定时运行标定程序，获取相机的标定参数矩阵，并利用内参矩阵标定出光学标记特征的三维空间位置结果。除此以外，还用于将数据存储设备中存储的图像信息和原始视频信息在地面进行回放调试，获取锥套位置信息，与在线监测过程中的锥套位置信息对比，进行误差分析，以作进一步优化，采用地面一般图形工作站等。
在线视觉解算设备：用于在线监测时运行位置解算程序，结合离线标定获取的相机标定参数矩阵和光学标记特征三维空间位置坐标信息，实时计算锥套位置信息并输出，采用但不限于Nvidia Jetson TX2开发板等，适用于搭建机载嵌入式平台，以完成实时图像和数据处理等任务。
数据存储设备：用于存储图像和锥套位置信息，包括离线标定和在线监测时采集的锥套上光学标记特征图像信息，以及在线视觉解算得到的锥套实时位置信息。采用集成于工作站和开发板中的存储器等媒介，为标定模块和数据通讯模块实时提供可靠的输入信息。
通讯设备：用于对在线视觉解算的锥套定位结果进行数据转换，将转换后的锥套位置信息数据输出给ASRDS系统，通讯协议采用但不限于串口、网络等通讯方式。
除此以外，还包括电源设备和显示设备等；
本发明的软件组成共包括三个主要功能模块，分别为离线标定功能模块、在线监测功能模块和离线调试功能模块。其中离线标定功能模块和离线调试功能模块均可使用一般图形工作站在地面实现，而在线监测功能模块需则搭载包括但不限于Nvidia JetsonTX2等机载嵌入式平台实现。
三大功能模块经由六个子模块分组实现，子模块包含图像采集模块、数据存储模块、标定模块、图像处理模块、位置解算模块和数据通讯模块。其中，图像采集模块用于采集原始视频信息和受主动光源照射的光学标记特征图像信息，并输出给数据存储模块。
数据存储模块以图像格式存储离线标定和在线监测时采集的锥套和光学标记特征图像信息，为标定模块和数据处理模块提供输入信息；以文本格式存储位置解算模块输出的锥套实时位置信息，为数据通讯模块提供输入信息。
标定模块利用数据存储模块中存储的多视图场景下锥套上光学标记特征图像信息，采用开源相机标定工具箱，获取相机的标定矩阵。结合标定矩阵计算出光学标记特征的三维空间位置坐标一并输出。
图像处理模块用于对采集到的光学标记特征图像信息进行特征提取，通过特征拟合获取光学标记特征的尺寸参数以及对应的图像坐标。在背景干扰严重等复杂任务场景下，采用红外小目标检测算法检测特征点以解决定位失败的问题。
位置解算模块用于结合不同光学标记特征的定位特点，计算点圆多特征融合定位结果并将其输出，以达到较高定位精度，并解决在遮挡等复杂任务场景下定位失败的问题。
数据通讯模块用于将位置解算模块求解的锥套位置信息进行数据转换，并将其输出至ASRDS系统，为ASRDS系统提供快速高精度的锥套实时位置信息。
以上六个子模块搭配重组实现软件的三个主要功能模块。其中，离线标定功能模块运行于地面一般图形工作站，由图像采集模块、数据存储模块和标定模块构成，通过图像采集设备和数据存储设备，在地面一般图形工作站中完成相机参数标定，并为在线监测功能模块中的位置解算子模块提供可靠的光学标记特征三维空间位置坐标信息。
在线监测功能模块运行于包括但不限于Nvidia Jetson TX2等机载嵌入式平台，由图像采集模块、图像处理模块、位置解算模块、数据存储模块和数据通讯模块构成，是整套系统的核心功能模块。值得注意的是，图像采集模块输出的信息除了在线监测过程中每帧的图像信息还包括完整采集过程的原始视频信息。在图像处理模块中，对输入的每帧图像信息进行特征提取，将光学标记特征的图像坐标与离线标定获得的光学标记特征三维空间位置坐标进行匹配，进而通过位置解算模块实时解算出锥套位置信息并通过数据通讯模块传输给ASRDS系统。
离线调试功能模块运行于地面一般图形工作站，由图像处理模块、位置解算模块和数据存储模块组成。实现对在线监测过程的原始视频信息进行地面回放，复现在线监测过程，不仅可以掌握实际运行中可能出现的突发问题与意外情况，还可以获取视频输入形式的锥套位置信息，对误差进行分析，以作进一步优化的功能。
本发明还提供了一种用于锥套主动增稳的位置监测的光学参考系统的实现方法，所述方法包括离线标定与在线监测两个阶段步骤。
离线标定阶段具体包括：
步骤1，在锥套上布置近红外敏感材料小球形成光学标记特征，同时布置棋盘格板，使其与锥套固连；
步骤2，拍摄数十张多视角且多距离的锥套高清图片，保证光学标记特征和棋盘格板同时出现于视角范围内；
步骤3，利用张正友标定法对相机进行标定，获取相机的内参数矩阵K；
Figure 387132DEST_PATH_IMAGE001
（1.1）
其中，
Figure 396676DEST_PATH_IMAGE002
，
Figure 508989DEST_PATH_IMAGE003
分别为图像水平轴和竖直轴的尺度因子，与相机焦距和像素尺寸有 关；
Figure 703210DEST_PATH_IMAGE004
为主点坐标，是图像平面的几何中心；
步骤4，利用步骤3中获取的相机标定矩阵，结合光学标记特征的二维图像坐标和 预设的三维世界坐标，进行图像场景位姿恢复，解得旋转矩阵R和平移向量t，即位姿参数
Figure 900973DEST_PATH_IMAGE005
；
步骤5，利用步骤4中获取的位姿参数
Figure 714208DEST_PATH_IMAGE005
，对光学标记特征图像坐标进行重投 影，建立重投影误差方程并优化，获取局部最优解；
步骤6，利用步骤5中获得的局部最优位姿参数
Figure 805661DEST_PATH_IMAGE005
，解得最优的光学标记特征 三维世界坐标信息，将其与步骤3中获得的相机内参矩阵K一并输出；
以上离线标定阶段步骤均在地面一般图形工作站中预先完成，使用图像采集设备采集锥套上光学标记特征图像信息，通过离线数据处理设备运行离线标定功能模块，获得标定结果将其输出至在线监测阶段中的位置解算模块。
在线监测阶段为空中任务场景阶段，运行于包括但不限于Nvidia Jetson TX2等机载嵌入式平台，具体包括：
步骤S1，运行锥套位置监测程序，图像采集模块驱动图像采集设备采集锥套上光学标记特征图像信息；
步骤S2，在图像处理模块中，对每帧的图像信息进行滑动窗口检测，提取光学标记特征的二维图像坐标；
步骤S3，拟合光学标记特征的图像参数信息，并建立光学标记特征分别在三维世界坐标系下与二维图像坐标系下的匹配关系；
步骤S4，在位置解算模块中，结合步骤S3所获得光学标记特征的二维图像信息和特征匹配关系，计算锥套实时位置信息；
步骤S5，在数据通讯模块中，将锥套的实时位置信息转换输出至ASRDS系统；
作为本发明的进一步优化方案，在背景干扰严重场景下，利用红外小目标检测算法进行特征点检测，再进行质心坐标提取。
所述步骤S2包括：
步骤21：利用频域残差法快速检测出图像中的显著区域；
步骤22：滑动窗口遍历获取显著性图像内的每个像素值；
步骤23：将显著性满足目标区域条件的区域作为特征点区域，至此完成特征点检测；
步骤24：对特征点进行质心坐标提取，采用但不限于灰度质心法、高斯曲面拟合法等；
步骤25：将特征二维图像坐标与其三维世界坐标进行匹配并输出；
作为本发明的进一步优化方案，在锥套受软管遮挡场景下，圆特征受遮挡变成非整圆、部分点特征受遮挡，信息缺失。
所述步骤S4包括：
步骤41：对被遮挡的圆特征进行最小二乘拟合，获得拟合椭圆的尺寸参数；
步骤42：利用拟合椭圆，计算锥套的初始位姿解，但存在两组解；
步骤43：利用单点消除圆的一组错误解；
步骤44：利用非线性最小二乘最小化重投影误差，优化目标位姿参数；
步骤45：输出锥套位置监测结果；
在线监测阶段主要完成实时监测锥套位置信息的任务，然而对于实际运行中可能出现的突发问题与意外情况，离线调试阶段的工作不可或缺。采用视频输入方式替代实时采集方式，运行锥套位置监测程序，对原始视频进行回放，重复在线监测步骤中的步骤S2至步骤S4，分析实时解算的锥套位置信息误差，进行优化。
有益效果：与现有技术相比，本发明具有如下显著优点：
（1）本发明提出的光学参考系统在加油机端实现了对锥套位置的快速高精度监测，为ASRDS提供可靠的锥套位置信息输入，以便控制锥套稳定在标称位置附近；
（2）利用主动光源和光学标记等红外设备，工作距离长，解算效率高，可靠性强，达成了ASRDS对锥套位置信息的实时性和高精度要求；
（3）与一般被动视觉定位方式相比，提升了小目标、遮挡、背景干扰严重等复杂任务场景下的定位成功率和定位精度；
（4）在实际使用过程中不需要安装GPS接收机、惯性测量器件等设备，系统结构简单，实现成本低。
附图说明
图1是本发明的光学参考系统的硬件结构示意图；
图2是本发明的光学参考系统的软件功能模块示意图；
图3是本发明的离线标定功能模块示意图；
图4是本发明的在线监测功能模块示意图；
图5是本发明的离线调试功能模块示意图；
图6是本发明的硬件配置实物图；
图7是装有光学标记特征的锥套标定图；
图8是本发明的任务场景示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明。
本发明提供了一种用于锥套主动增稳的位置监测的光学参考系统，包括硬件、软件。
一、结合本发明硬件结构示意图对所述用于锥套主动增稳的位置监测的光学参考系统的硬件结构做进一步描述。
如图1所示为用于锥套主动增稳的位置监测的光学参考系统的硬件结构示意图。本发明所述的用于锥套主动增稳的位置监测的光学参考系统硬件配置可由以下八部分组成，包括主动光源和光学标记组成的目标单元101、图像采集设备102、在线视觉解算设备103、通讯设备104、数据存储设备105、离线数据处理设备106、显示设备107和电源设备108，以上硬件配置分组搭配为离线标定功能模块、在线监测功能模块和离线调试功能模块提供相应的硬件支持，图6是本发明的硬件配置实物图，图7是装有光学标记特征的锥套标定图。
主动光源和光学标记组成的目标单元101：与图像采集设备102相连，其中主动光源用于在线监测时向锥套上布置的光学标记特征发射近红外光，使受到照射的光学标记特征反射特定波长的光而变得明显易提取。包括但不限于近红外敏感材料小球、近红外光源、模拟电流控制器等。
图像采集设备102：在线监测时，用于实时采集动态的锥套上光学标记特征图像信息给在线视觉解算设备103，离线标定与离线回放时，用于采集数十张静态的锥套上光学标记特征图像信息及原始视频信息，传输给离线数据处理设备106；包括高分辨率工业相机、高清工业镜头和滤光片等。
在线视觉解算设备103：用于在线监测时运行位置解算程序，接收图像采集设备102输出的图像信息，结合离线数据处理设备106输出的标定结果（包括相机的标定参数矩阵和光学标记特征的三维空间位置信息），实时计算锥套的定位结果将其传输给通讯设备104，同时存储至数据存储设备105，采用但不限于Nvidia Jetson TX2嵌入式开发板等。
通讯设备104：用于对在线视觉解算设备103输出的锥套定位结果进行数据转换，将转换后的锥套位置信息传输给ASRDS，通讯协议采用但不限于串口、网络等通讯方式。
离线数据处理设备106：接收数据存储设备105的图像信息，用于离线标定时运行标定程序，获取相机的标定参数矩阵，以标定出光学标记特征的三维空间位置结果并传输给在线视觉解算设备103；还用于将图像采集设备102中存储的原始视频信息在地面通过显示设备107进行回放调试，获取视频输入形式的锥套位置信息，与在线监测过程中在线视觉解算设备103实时解算的锥套位置信息对比，作误差分析以进一步优化，采用但不限于地面一般图形工作站等。
电源设备108：为整个装置提供电源。
二、结合本发明软件结构示意图对所述用于锥套主动增稳的位置监测的光学参考系统的软件功能模块做进一步描述。
如图2所示为用于锥套主动增稳的位置监测的光学参考系统的软件结构示意图。本发明所述的锥套光学参考系统软件包括三个主要功能模块，分别为离线标定功能模块、在线监测功能模块和离线调试功能模块。三大功能模块又经由六个子模块分组实现，子模块包含图像采集模块201、数据存储模块202、标定模块203、图像处理模块204、位置解算模块205和数据通讯模块206。
（1）离线标定功能模块下：
图像采集模块201：驱动图像采集设备102采集由主动光源和光学标记组成的目标单元101的静态多视角图像信息，传输给数据存储模块202。
数据存储模块202：以图像格式接收图像采集模块201传输的图像信息，并传输至标定模块203中。
标定模块203：接收来自数据存储模块202的多视图场景下锥套上光学标记特征图像信息，计算相机的标定矩阵和光学标记特征的三维空间位置坐标信息，将标定结果传输至在线监测功能模块中的位置解算模块205，如图3所示。
以上离线标定功能模块均在地面一般图形工作站完成。
（2）在线监测功能模块下：
图像采集模块201：驱动图像采集设备102实时采集由主动光源和光学标记组成的目标单元101的动态图像信息，逐帧传输给图像处理模块204，同时将采集到的目标单元101的原始视频信息传输至数据存储模块202。
图像处理模块204：接收来自图像采集模块201的每帧图像信息，进行特征提取，通过特征拟合获取光学标记特征的尺寸参数以及对应的图像坐标后，将图像坐标传输至位置解算模块205。
位置解算模块205：接收来自图像处理模块204的光学标记特征图像坐标信息，根据光学标记特征几何特点进行位置解算，计算得到锥套实时位置信息，将其传输至数据存储模块202，以文本形式存储，同时将其传输至数据通讯模块206。
数据通讯模块206：接收来自位置解算模块205的锥套实时位置信息，进行数据转换，并将其输出，如图4所示。
以上在线监测功能模块运行于包括但不限于Nvidia Jetson TX2等机载嵌入式平台，为ASRDS系统提供快速高精度的锥套实时位置信息。
（3）离线调试功能模块下：
图像处理模块204：接收来自数据存储模块202中存储的原始视频信息，对视频的每帧图像信息进行特征提取，通过特征拟合获取光学标记特征的尺寸参数以及对应的图像坐标后，将图像坐标传输至位置解算模块205。
位置解算模块205：接收来自图像处理模块204的光学标记特征图像坐标信息，根据光学标记特征几何特点进行位置解算，计算得到锥套实时位置信息，将其传输至数据存储模块202，以文本形式存储。
以上离线调试功能模块在地面一般图形工作站实现，将数据存储模块202中存储的原始视频信息在地面通过显示设备107进行回放调试，获取锥套位置信息，与在线监测功能模块中位置解算模块205实时解算的锥套位置信息对比，进行误差分析以作进一步优化，如图5所示。
三、下面结合本发明的软、硬件结构图对所述用于锥套主动增稳的位置监测的光学参考系统的实现方法做进一步描述。
图8是本发明的任务场景示意图，本发明所述系统的方法是在空中加油复杂任务场景下，利用近红外设备辅助获取锥套上光学标记的图像特征信息，进而实现对锥套位置信息的快速高精度实时监测。具体步骤如下：
步骤一，地面离线标定阶段启动，装配系统软、硬件，在锥套上布置光学特征标记和棋盘格板；
步骤二，图像采集模块201驱动图像采集设备102采集数十张多视角锥套图像信息；
步骤三，在离线数据处理设备106上运行标定模块203，接收来自数据存储模块202的图像信息，获取标定结果，包括相机的标定参数矩阵和光学标记特征的三维空间位置信息；
步骤四，空中在线监测阶段启动，打开电源108，主动光源上电后照射锥套上的光学标记特征形成目标单元101；
步骤五，图像采集模块201驱动图像采集设备102逐帧采集目标单元101的动态图像信息，传输至图像处理模块204；
步骤六，图像处理模块204接收图像信息，进行特征提取，并通过特征拟合获取光学标记特征的尺寸参数以及对应的图像坐标，将图像坐标传输至位置解算模块205；
步骤七，位置解算模块205接收来自图像处理模块204的图像坐标信息，实时计算锥套的位置信息并输出；
步骤八，数据通讯模块206接收来自位置解算模块205的锥套实时位置信息，进行数据转换，并将其输出至ASRDS，从而控制锥套稳定在标称位置附近；
步骤九，地面离线调试阶段启动，在离线数据处理设备106中运行图像处理模块204，以视频输入方式替代实时采集方式，重复步骤六和步骤七；
步骤十，对原始视频中实际出现的复杂情况进行分析总结，并对锥套位置信息进行误差分析，以作优化。

Claims (8)

1.一种用于锥套主动增稳的位置监测光学参考系统，为ASRDS系统提供实时高精度的锥套位置信息输入，包括硬件和软件，其特征在于，所述硬件包括光学标记、主动光源、图像采集设备、离线数据处理设备、在线视觉解算设备、数据存储设备、通讯设备、电源设备和显示设备；
光学标记采用近红外敏感材料，用于在锥套上布置光学特征标记，包括点、线、圆的几何特征；
主动光源包括近红外光源、模拟电流控制器，用于在线监测时向光学标记特征发射近红外光，光学标记特征受到照射后反射特定波长的光；
图像采集设备由图像采集模块驱动，在离线标定和在线监测阶段实时采集锥套上光学标记特征图像信息；
离线数据处理设备采用地面一般图形工作站，用于离线标定时运行标定程序，获取相机的标定参数矩阵，并利用内参矩阵标定出光学标记特征的三维空间位置结果；还用于将数据存储设备中存储的图像信息和原始视频信息在地面进行回放调试，获取锥套位置信息，与在线监测过程中的锥套位置信息对比，进行误差分析，以作进一步优化；
在线视觉解算设备用于在线监测时运行位置解算程序，结合离线标定获取的相机标定参数矩阵和光学标记特征三维空间位置坐标信息，实时计算锥套位置信息并输出；
数据存储设备采用集成于工作站和开发板中的存储器，用于存储图像和锥套位置信息，包括离线标定和在线监测时采集的锥套上光学标记特征图像信息，以及在线视觉解算得到的锥套实时位置信息；
通讯设备用于对在线视觉解算的锥套定位结果进行数据转换，将转换后的锥套位置信息数据输出给ASRDS系统；
所述软件包括三个主要功能模块，分别为离线标定功能模块、在线监测功能模块和离线调试功能模块；所述三个主要功能模块由六个子模块分组实现，子模块包含图像采集模块、数据存储模块、标定模块、图像处理模块、位置解算模块和数据通讯模块；
离线标定功能模块运行于地面一般图形工作站，由图像采集模块、数据存储模块和标定模块构成，通过图像采集设备和数据存储设备，在地面一般图形工作站中完成相机参数标定，并为在线监测功能模块中的位置解算子模块提供可靠的光学标记特征三维空间位置坐标信息；
在线监测功能模块由图像采集模块、图像处理模块、位置解算模块、数据存储模块和数据通讯模块构成；
离线调试功能模块运行于地面一般图形工作站，由图像处理模块、位置解算模块和数据存储模块组成；
图像采集模块用于采集原始视频信息和受主动光源照射的光学标记特征图像信息，并输出给数据存储模块；
数据存储模块以图像格式存储离线标定和在线监测时采集的锥套和光学标记特征图像信息，为标定模块和数据处理模块提供输入信息；以文本格式存储位置解算模块输出的锥套实时位置信息，为数据通讯模块提供输入信息；
标定模块采用开源相机标定工具箱，利用数据存储模块中存储的多视图场景下锥套上光学标记特征图像信息，获取相机的标定矩阵；结合标定矩阵计算出光学标记特征的三维空间位置坐标一并输出；
图像处理模块用于对采集到的光学标记特征图像信息进行特征提取，通过特征拟合获取光学标记特征的尺寸参数以及对应的图像坐标；
位置解算模块用于结合不同光学标记特征的定位特点，计算点圆多特征融合定位结果并将其输出；
数据通讯模块用于将位置解算模块求解的锥套位置信息进行数据转换，并将其输出至ASRDS系统。
2.根据权利要求1所述的用于锥套主动增稳的位置监测光学参考系统，其特征在于，所述光学标记采用近红外敏感材料反光小球、反光条、反光圆环带。
3.根据权利要求1所述的用于锥套主动增稳的位置监测光学参考系统，其特征在于，所述图像采集设备采用高分辨率工业相机、高清工业镜头和滤光片。
4.根据权利要求1所述的用于锥套主动增稳的位置监测光学参考系统，其特征在于，所述在线视觉解算设备采用Nvidia Jetson TX2开发板。
5.根据权利要求1所述的用于锥套主动增稳的位置监测光学参考系统，其特征在于，所述通讯设备的通讯协议采用串口和网络通讯。
6.一种权利要求1所述的用于锥套主动增稳的位置监测光学参考系统的实现方法，其特征在于，所述方法包括离线标定与在线监测两个阶段步骤；
所述离线标定阶段具体包括：
步骤1，在锥套上布置近红外敏感材料小球形成光学标记特征，同时布置棋盘格板，使其与锥套固连；
步骤2，拍摄数十张多视角且多距离的锥套高清图片，保证光学标记特征和棋盘格板同时出现于视角范围内；
步骤3，利用张正友标定法对相机进行标定，获取相机的内参数矩阵K；
Figure 78351DEST_PATH_IMAGE001
（1.1）
其中，
Figure 216071DEST_PATH_IMAGE002
，
Figure 68489DEST_PATH_IMAGE003
分别为图像水平轴和竖直轴的尺度因子，与相机焦距和像素尺寸有关；
Figure 557239DEST_PATH_IMAGE004
为主点坐标，是图像平面的几何中心；
步骤4，利用步骤3中获取的相机标定矩阵，结合光学标记特征的二维图像坐标和预设的 三维世界坐标，进行图像场景位姿恢复，解得旋转矩阵R和平移向量t，即位姿参数
Figure 763093DEST_PATH_IMAGE005
；
步骤5，利用步骤4中获取的位姿参数
Figure 879953DEST_PATH_IMAGE005
，对光学标记特征图像坐标进行重投影，建 立重投影误差方程并优化，获取局部最优解；
步骤6，利用步骤5中获得的局部最优位姿参数
Figure 44218DEST_PATH_IMAGE005
，解得最优的光学标记特征三维 世界坐标信息，将其与步骤3中获得的相机内参矩阵K一并输出；
以上离线标定阶段步骤均在地面一般图形工作站中预先完成，使用图像采集设备采集锥套上光学标记特征图像信息，通过离线数据处理设备运行离线标定功能模块，获得标定结果将其输出至在线监测阶段中的位置解算模块；
所述在线监测阶段为空中任务场景阶段，具体包括：
步骤S1，运行锥套位置监测程序，图像采集模块驱动图像采集设备采集锥套上光学标记特征图像信息；
步骤S2，在图像处理模块中，对每帧的图像信息进行滑动窗口检测，提取光学标记特征的二维图像坐标；
步骤S3，拟合光学标记特征的图像参数信息，并建立光学标记特征分别在三维世界坐标系下与二维图像坐标系下的匹配关系；
步骤S4，在位置解算模块中，结合步骤S3所获得光学标记特征的二维图像信息和特征匹配关系，计算锥套实时位置信息；
步骤S5，在数据通讯模块中，将锥套的实时位置信息转换输出至ASRDS系统。
7.根据权利要求6所述的用于锥套主动增稳的位置监测光学参考系统的实现方法，其特征在于，步骤S2具体包括：
步骤21：利用频域残差法快速检测出图像中的显著区域；
步骤22：滑动窗口遍历获取显著性图像内的每个像素值；
步骤23：将显著性满足目标区域条件的区域作为特征点区域，至此完成特征点检测；
步骤24：对特征点进行质心坐标提取，采用灰度质心法或高斯曲面拟合法；
步骤25：将特征二维图像坐标与其三维世界坐标进行匹配并输出。
8.根据权利要求6所述的用于锥套主动增稳的位置监测光学参考系统的实现方法，其特征在于，步骤S4具体包括：
步骤41：对被遮挡的圆特征进行最小二乘拟合，获得拟合椭圆的尺寸参数；
步骤42：利用拟合椭圆，计算锥套的初始位姿解，但存在两组解；
步骤43：利用单点消除圆的一组错误解；
步骤44：利用非线性最小二乘最小化重投影误差，优化目标位姿参数；
步骤45：输出锥套位置监测结果。
CN202210267243.6A 2022-03-18 2022-03-18 用于锥套主动增稳的位置监测光学参考系统及其实现方法 Active CN114359395B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210267243.6A CN114359395B (zh) 2022-03-18 2022-03-18 用于锥套主动增稳的位置监测光学参考系统及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210267243.6A CN114359395B (zh) 2022-03-18 2022-03-18 用于锥套主动增稳的位置监测光学参考系统及其实现方法

Publications (2)

Publication Number Publication Date
CN114359395A CN114359395A (zh) 2022-04-15
CN114359395B true CN114359395B (zh) 2022-06-07

Family

ID=81095111

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210267243.6A Active CN114359395B (zh) 2022-03-18 2022-03-18 用于锥套主动增稳的位置监测光学参考系统及其实现方法

Country Status (1)

Country Link
CN (1) CN114359395B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108955685B (zh) * 2018-05-04 2021-11-26 北京航空航天大学 一种基于立体视觉的加油飞机锥套位姿测量方法
CN111274959B (zh) * 2019-12-04 2022-09-16 北京航空航天大学 一种基于可变视场角的加油锥套位姿精确测量方法
CN112967312B (zh) * 2021-02-07 2023-10-27 湖南桥康智能科技有限公司 一种面向野外刚体目标的实时鲁棒位移监测方法及系统

Also Published As

Publication number Publication date
CN114359395A (zh) 2022-04-15

Similar Documents

Publication Publication Date Title
JP7260269B2 (ja) 航空非破壊検査用の測位システム
JP7030431B2 (ja) 点検支援システム及び点検支援制御プログラム
EP3531066B1 (en) Three-dimensional scanning method including a plurality of lasers with different wavelengths, and scanner
WO2020093436A1 (zh) 管道内壁的三维重建方法
CN109737981B (zh) 基于多传感器的无人车目标搜索装置及方法
CN108258613B (zh) 智能巡线光电吊舱及实现巡线的方法
CN104346829A (zh) 基于pmd相机和摄像头的彩色三维重建系统及其方法
JP2019515272A (ja) 対象物をスキャンする飛行体及び対象物の損傷を分析するシステム
CN105965519A (zh) 一种视觉引导下的离合器下料定位方法
CN110244314A (zh) 一种“低慢小”目标探测识别系统与方法
CN111244822B (zh) 一种复杂地理环境的固定翼无人机巡线方法、系统和装置
WO2020218066A1 (ja) 検査システム
CN110910460A (zh) 一种获取位置信息的方法、装置及标定设备
CN113900436B (zh) 巡检控制方法、装置、设备和存储介质
CN113902809A (zh) 一种红外相机与激光雷达联合标定的方法
CN114241177A (zh) 一种基于线阵扫描成像的机场道面表观图像检测系统
US20220358764A1 (en) Change detection and characterization of assets
CN113031462A (zh) 无人机用港机巡检航线规划系统及方法
Lawson et al. Augmented reality as a tool to aid the telerobotic exploration and characterization of remote environments
CN114359395B (zh) 用于锥套主动增稳的位置监测光学参考系统及其实现方法
EP4257924A1 (en) Laser scanner for verifying positioning of components of assemblies
CN104596486A (zh) 基于目标旋转对称特征的位姿测量方法
Kang et al. Accurate fruit localisation for robotic harvesting using high resolution lidar-camera fusion
CN112304250B (zh) 一种移动物体之间的三维匹配设备及方法
CN207301368U (zh) 一种基于无人机的秸秆焚烧监测定位系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant