CN116592899B - 一种基于模块化红外靶标的位姿测量系统 - Google Patents
一种基于模块化红外靶标的位姿测量系统 Download PDFInfo
- Publication number
- CN116592899B CN116592899B CN202310481292.4A CN202310481292A CN116592899B CN 116592899 B CN116592899 B CN 116592899B CN 202310481292 A CN202310481292 A CN 202310481292A CN 116592899 B CN116592899 B CN 116592899B
- Authority
- CN
- China
- Prior art keywords
- infrared
- target
- pose
- modularized
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 77
- 230000010365 information processing Effects 0.000 claims abstract description 25
- 230000002452 interceptive effect Effects 0.000 claims abstract description 17
- 230000000007 visual effect Effects 0.000 claims description 14
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000003993 interaction Effects 0.000 claims description 3
- 239000000463 material Substances 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims description 2
- 238000003709 image segmentation Methods 0.000 claims description 2
- 238000009434 installation Methods 0.000 claims description 2
- 238000002372 labelling Methods 0.000 claims description 2
- 238000007670 refining Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 12
- 238000000034 method Methods 0.000 abstract description 12
- 238000000691 measurement method Methods 0.000 abstract description 6
- 230000008569 process Effects 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000003032 molecular docking Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000005457 Black-body radiation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004064 recycling Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/24—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for cosmonautical navigation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C15/00—Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
- G01C15/02—Means for marking measuring points
- G01C15/06—Surveyors' staffs; Movable markers
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Astronomy & Astrophysics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
一种基于模块化红外靶标的位姿测量系统，属于位姿测量系统技术领域，用于解决目前基于合作靶标的空间目标位姿测量方法无法适应空间极端光照条件以及工作视角受限的问题，能够在太空环境中对多个目标进行高精度、高鲁棒性的位姿测量。包括：模块化红外靶标，依附于多种需要进行位姿测量的目标上；模块化信息处理单元，用于收集模块化红外靶标的靶标位姿信息，并进行位姿计算；交互式软件平台，用于实现对模块化红外靶标和模块化信息处理单元的统一管理和控制，对测量结果的显示和修正。本发明有效地解决传统单目合作目标位姿测量过程中特征点缺失、特征点噪声干扰、特征点遮挡等问题，提高了位姿求解的精度和稳定性。
Description
技术领域
本发明属于位姿测量系统技术领域，具体涉及一种基于模块化红外靶标的位姿测量系统。
背景技术
空间目标态势感知是空间任务的重要环节之一，其在卫星对接环抓取、空间垃圾清理回收及空间站对接等基本任务中起到了关键性作用，位姿测量是空间态势感知的核心任务之一，而受限于空间复杂条件，针对于空间目标的位姿测量手段发展较为缓慢，研究太空复杂条件下空间目标位姿测量方法对于发展航天技术具备重大意义。
空间复杂光照条件是基于视觉的位姿测量方法面临的重大难题之一，目前空间任务中主流位姿测量方法还是基于合作靶标进行开展，其基本原理是通过特征点提取等手段获取被测目标表面特征点的二位图像坐标，利用特征点图像坐标及三维空间坐标之间的映射关系，计算相机和目标的相对位置和姿态信息，但是随着太阳光照角度的改变，图像灰度值变化剧烈，该方法误检、漏检显著增加，在极端的太空光照条件下，其工作范围将大大受限，空间局部光照会导致靶标用于位姿测量的基本特征不明显或者彻底丧失，从而导致无法测量。此外，由于相机视角较偏，靶标的基本特征可能会被自身遮挡，这样也会导致测量失败。
针对空间靶标法所存在的对于复杂光照和偏僻视角鲁棒性较差的问题，本发明设计一种基于模块化红外靶标的位姿测量系统。
发明内容
本发明提出一种基于模块化红外靶标的位姿测量系统，用于解决目前基于合作靶标的空间目标位姿测量方法无法适应空间极端光照条件以及工作视角受限的问题，该系统能够在太空环境中对多个目标进行高精度、高鲁棒性的位姿测量，为太空任务提供有效的技术支持。
本发明所采取的技术方案是：
一种基于模块化红外靶标的位姿测量系统，包括：
模块化红外靶标，依附于多种需要进行位姿测量的目标上；
模块化信息处理单元，用于收集模块化红外靶标的靶标位姿信息，并进行位姿计算；
交互式软件平台，用于实现对模块化红外靶标和模块化信息处理单元的统一管理和控制，以及对测量结果的显示和修正。
本发明与现有技术相比具有以下有益效果：
1.本发明基于红外靶标建立了位姿测量系统，能够适应太空极端光照条件，并且工作视角较广，不存在靶标自身遮挡的问题。能够根据空间目标的运动状态和光照条件调节红外信号的强度和频率，从而保证靶标在不同视角下的可见性和可识别性。该系统的红外相机可以捕捉反射和折射的红外光，并将图像传输给位姿测量模块，位姿测量模块中进行图像处理和位姿计算。交互式软件平台可以实现对所有红外靶标模块和信息处理模块的统一管理和控制，以及对测量结果的显示和修正。
2.本发明所构建位姿测量算法定位误差小于1mm，角度误差小于0.5度，最佳位姿选择逻辑使位姿测量算法具备优良鲁棒性。本发明还引入了一种最佳位姿选择逻辑，该逻辑可以根据不同的测量场景和条件，从多个候选位姿中选择出最优的一个作为最终结果，有效降低了由于错误解导致的测量失效的风险，提高了系统位姿测量的稳定性。
3.本发明所搭建交互式软件平台可以统一监控所有红外靶标模块和信息处理模块，查看其工作状态，可以远程控制红外光源和相机，收集靶标位姿信息，实时显示相机图像，并且具备人工修正位姿功能，可以人工选择最佳位姿作为靶标位姿，使测量结果具备优良稳定性，平台还具备日志功能，方便查阅过往运行日志。该平台采用了友好的图形用户界面(GUI)，可以实现对系统各个部分的可视化操作和监控。用户可以通过平台调节红外光源的亮度和频率，以及相机的曝光时间等参数，以适应不同的环境条件。用户还可以通过平台查看每个相机捕捉到的图像，并在图像上标注感兴趣区域，提高测量效率，平台还可以自动标注位姿测量结果，在图像上显示出靶标坐标系以及特征点等信息。
4.本发明所提出模块化位姿测量方法具备轻量化优点，小巧并且实用性高，可以胜任多目标位姿测量任务。本发明提出的模块化红外靶标位姿检测方法可以有效地解决传统单目合作目标位姿测量过程中特征点缺失、特征点噪声干扰、特征点遮挡等问题，提高了位姿求解的精度和稳定性。
附图说明
图1是本发明总体框架图；
图2是本发明模块化红外靶标结构示意图一；
图3是本发明模块化红外靶标结构示意图二；
图4是本发明模块化红外靶标二维码示意图；
图5是本发明模块化红外靶标工作示意图；
图6是本发明模块化信息处理单元结构示意图；
图7是本发明模块化位姿测量择优算法流程图；
图8是本发明二维码位姿测量原理示意；
图9是本发明交互式软件平台示意图；
图10是模块化空间望远镜组装时红外靶标工作示意图；
其中：1、靶标盒；2、主动式红外光源；3、第一电源；4、第一嵌入式模块；5、反射镜阵列；6、靶标面；7、第一安装接口；8、红外相机；9、第二嵌入式模块；10、第二电源；11、第二安装接口。
具体实施方式
为了更好地了解本发明的目的、结构及功能，下面结合附图，对本发明的做进一步详细的描述。
参照1～10所示，本发明的一种基于模块化红外靶标的位姿测量系统，该系统可以有效解决空间靶标法存在的无法适应局部光照问题以及工作视角过小的问题，系统总体框架图如图1所示。包括：
模块化红外靶标，依附于多种需要进行位姿测量的目标上；
模块化信息处理单元，用于收集模块化红外靶标的靶标位姿信息，并进行位姿计算；
交互式软件平台，用于实现对模块化红外靶标和模块化信息处理单元的统一管理和控制，以及对测量结果的显示和修正。
模块化信息处理单元可以接受和分析来自多个模块化红外靶标的红外信号从而实现对空间目标的位姿测量。模块化信息处理单元的嵌入式模块能够控制多个红外相机的工作状态，存储各个靶标的参数和位姿数据，与交互式软件平台进行数据传输。
模块化红外靶标包括靶标盒1，以及均安装在靶标盒1内的主动式红外光源2、第一电源3、第一嵌入式模块4和反射镜阵列5；该部分详细结构如图2、图3所示。
所述靶标盒1采用方形盒体结构，靶标盒1的其中五个面设为靶标面6，剩余一个面为安装面用于模块化红外靶标安装，其上设有第一安装接口7，第一安装接口7用于适配各种安装结构，使模块化红外靶标能够依附于多种需要进行位姿测量的目标上；
所述靶标面6上设计靶标基本特征，比如二维码，二维码的黑色部分覆盖红外不透明材料，二维码的白色部分透光，从而形成了强对比靶标特征，图4为红外靶标二维码示意图。
所述主动式红外光源2的波长为850nm，空间太阳光为全光谱，满足黑体辐射，850nm红外线大于峰值波长，往后波长越大强度越低，对于采用主动式红外光源2的靶标而言，太阳光属于干扰光，相同波段光强越低越好，同时考虑到功耗问题，选择了850nm波长红外光作为靶标主动光源。主动式红外光源2可以调节光强，从而盖过太阳光在此波段的干扰，使红外相机8接收到明显的靶标特征信息，使该系统在太空强曝光、低曝光场景下皆可工作，从而有效解决了极端光照问题；
所述反射镜阵列5与主动式红外光源2相对设置，主要用于反射红外光，使靶标盒1的五个靶标面6均有较强红外光透出，反射镜作用如图5所示，
反射棱镜与靶标盒1内侧平面成一定角度使得从红外光源发射的照射在棱镜上的红外光束经反射后汇聚在对侧靶标面6上，适当调整反射镜的角度可以显著提高红外光源四周靶标面6的可辨识性；
所述第一嵌入式模块4用于控制主动式红外光源2开关以及强弱，有利于节省能量，减少功耗；
所述第一电源3用于主动式红外光2以及第一嵌入式模块4供电。
所述模块化信息处理单元包含安装在盒体内的红外相机8、第二嵌入式模块9、第二安装接口11以及第二电源10；
所述红外相机8用于接收主动式红外光源2的特定波段红外光形成图像，二维码图像传输至位姿测量模块进行处理；
所述第二嵌入式模块9包括位姿测量模块、远程通信模块和单元控制模块，位姿测量模块用于运行算法处理红外图像，远程控制模块用于控制红外相机8，远程通信模块用与交互式软件平台进行信息交互；
所述第二安装接口11设计与模块化红外靶标的第一安装接口7相同，用于适配多种安装结构；
所述第二电源10主要用于红外相机8和第二嵌入式模块9供电。模块化信息处理单元具体结构如图6所示。
第二电源10、第二嵌入式模块9和红外相机8采用一体式设计，提高了图像采集和模块化信息处理单元的通用性，提高了空间在轨服务的效率与可靠性。
模块化信息处理单元的核心是第二嵌入式模块9，它采用高性能的ARM处理器，能够实时运行位姿测量算法，同时具有低功耗、小体积、高可靠性等特点。
第二嵌入式模块9还具有与交互式软件平台进行数据传输和指令接收的功能，通过无线通信方式实现与空间在轨服务平台的信息交互，
所述第二嵌入式模块9的软件架构分为三层：应用层、中间层和硬件层；所述应用层主要负责位姿测量算法的实现，中间层主要负责红外相机8控制、数据压缩、无线通信等功能，硬件层主要负责与红外相机8、第二电源10、无线模块等硬件设备的接口。模块化信息处理单元的软件设计旨在提高算法的精度和速度，同时保证系统的稳定性和安全性。
本发明提出了一种与模块化多二维码结构相匹配的位姿测量择优算法，如图7所示。该算法可以对模块上多个二维码位姿信息独立测量并进行择优，测量后通过二维码相对于相机的姿态信息计算出相机视角，根据视角确认最正对于相机的二维码，选择该二维码位姿作为最佳二维码位姿，进而推导出靶标位姿。视角会影响二维码特征点数量，根据最正对相机的二维码计算出的位姿信息准确度更高，该优化选择算法可以有效提高位姿测量的可靠性。
具体包括以下步骤：
S1.检测和识别，对红外相机8形成的图像进行检测和识别；
S2.位姿测量，对五个靶标面6标号，测量时，生成图像中可见二维码位姿以及对应编码；为了增强系统稳定性，能够对位姿信息进行人工干预，根据坐标系图像投影结构，人工判断选择；
S3.自动选择模式，比较可见二维码视角大小，最小的为最佳视角，对应为最佳位姿；
S4.输出最佳位姿作为靶标位姿；
S5.推导出目标位姿。
具体为：每个模块化红外靶标包含5个二维码，分别对应5个不同编号，测量时由于视角原因会导致部分二维码不可见，算法会生成图像中可见二维码位姿以及对应编码，为了增强系统稳定性，可对位姿信息进行人工干预，在进行位姿测量后，可在图像上绘制出所测量坐标系，操作员可通过所绘制坐标系人为选择最佳二维码位姿，在不进行人工干预时，算法会优先选择视角相差最小的位姿作为最佳二维码位姿，在确定最佳二维码位姿后，可以根据先验位姿关系进一步推导出目标位姿信息。
进行二维码位姿测量前，首先要进行检测和识别，这是一个图像处理过程，给定一张包含n个二维码的图像，通过对处理检测和识别，最终可以得到图像中每个二维码的ID以及其对应四个角点的像素坐标。
所述S1中的检测和识别由以下几个步骤完成：
S11.阈值分割，将原始图像转为灰度图，使用局部自适应的方式进行图像分割，提取出二维码所在的像素区域；
S12.轮廓提取及筛选，提取阈值分割后的图像轮廓，进行多边形近似。模块化红外靶标上加工出的高精度二维码是矩形轮廓，且内部包含ID码的区域内被封闭在矩形轮廓中，因此将与矩形偏差较大的轮廓抛弃，将四边形的角点以逆时针排序。
S13.获取编码，对红外相机8视野里的二维码图像进行透视变换获取其正视图，对其进行二值化以分离白色区域和黑色区域，根据已知的二维码大小和边界将正视图分解成黑边相间的栅格，统计落在每个栅格内的黑白像素数目以决定该栅格的编码是0还是1；
S4.编码识别，根据获取的二维码内部ID编码信息在指定字典里查找；
S5.角点调整，对识别出的二维码使用亚像素插值的方式细化四个角点坐标。
所述S2中，二维码位姿测量具体流程为，如图4所示，
每个二维码标记都由黑色边框和内部编码构成，边框四个角为标记的角点，内部编码包含标记的基本信息，包括四个角点的序号和自身的ID。4个角点对于每个标记都是唯一的，角点的序号由其内部编码决定，而角点的顺序决定标记坐标轴的方向。
图8中标记的二维码四个角点为初始顺序，标记的中心为其坐标原点，X轴水平向右，Y轴垂直向上，Z轴垂直平面向外，在已知边长的情况下，能够得到其四个角点在自身坐标系下的三位坐标，再根据相机的像素坐标，利用针孔相机投影模型可以计算出相机的位姿；
具体来说，如图8所示，已知二维码四个角点的三维空间坐标分别为和/> 廓提取、获取并识别编码和角点调整，得到四个角点投影到图像坐标系中的像素坐标，设为a0＝(u0,v0)T、a1＝(u1,v1)T、a2＝(u2,v2)T和a3＝(u3,v3)T，以第一个角点为例，其三维空间坐标和像素坐标关系如下：
其中，K代表相机内参数矩阵，如式(2)，式(3)表示相机外参数矩阵T，包含一个正交旋转矩阵R和表示坐标系原点的平移向量t；
s代表该角点距离相机坐标系在z轴方向上的深度，相机内参数K已知，相机外参数矩阵T是需要计算的，设P1＝[-l/2 l/2 0 1]T，T＝[τ1 τ2 τ3]T，则式(1)转化成如下:
相机内参K是已知且不变的，通过上式可以得出两个约束：
二维码中的每个角点可以提供关于相机外参T的两个线性约束，而T中存在12个未知变量，且其中包含的单位正交旋转矩阵自身包含六个约束，所以使用二维码标记中的三个角点再加上旋转矩阵的六个自身约束能够求得相机的外参T，即可得到三维空间中相机坐标系和二维码坐标系之间的位姿关系。
交互式软件平台用于远程控制系统运行，包括操作控制模块、信息显示模块、日志管理模块和远程通讯模块，操作控制模块用于控制模块化红外靶标中主动式红外光源2强度以及第一电源3开关，控制模块化信息处理单元中红外相机8、第二电源10开关，日志管理模块用于收集红外图像信息、位姿信息和报警信息，形成工作日志，远程通讯模块对整个系统进行监控。交互式软件平台界面，如图9所示。
在多目标多模块情况下，通过交互式软件平台可以远程控制主动式红外光源2和红外相机8工作状态，根据任务当前所需测量目标开启对应主动式红外光源2和红外相机8，这样红外相机8画面中只显示了对应靶标特征，不存在冗余靶标特征，节省了计算成本，也节省了功耗。
软件设置了“选取感兴趣区域”功能，空间任务中一般使用大分辨率相机，计算整个大分辨率图像中所有靶标位姿将增加计算成本，这在空间有限计算资源条件下并不可取，通过人工选取感兴趣区域后，算法只计算对应区域靶标特征，计算出对应位姿信息，可以有效降低计算量，对于空间应用具备一定实用价值，在一定条件下将大大提高任务执行效率。
软件设置了系统状态显示栏，可以实时显示红外相机8和主动式红外光源2工作状态，进行故障监控，除了指示灯外，还设置对应故障显示栏，显示可能的故障信息，还可以进行任务监控，当识别到任务所需靶标特征时会显示类似“识别到任务对应1号靶标特征”信息，当选取完最佳位姿后会显示类似“确认1号靶标最佳二维码位姿，二维码编码2”信息。
软件具备日志查阅及保存功能，可以方便查阅过往任务执行情况，会显示任务时间、任务编号、操作员姓名及编号、相机图像、靶标位姿信息等。
位姿测量系统实施方案的具体步骤如下：
步骤一，将多个模块化红外靶标安装在空间目标上，根据目标的形状和大小选择合适的位置和数量。
步骤二，将模块化信息处理单元安装在空间目标附近设备上，与机器人在轨主控系统建立通信连接。
步骤三，启动交互式软件平台，与信息处理单元进行数据交换，设置各个靶标的参数和工作模式。
步骤四，利用交互式软件平台对空间目标进行位姿测量，根据实时工况调整各个靶标的红外光源强度，保证测量精度和效率。
1.模块化在轨望远镜组装
本发明所设计模块化红外靶标位姿测量系统可用于模块化空间望远镜在轨组装，将模块化红外靶标和模块化信息处理单元安装于望远镜子模块，可实现望远镜各模块位姿测量，对于望远镜在轨组装具备重要意义。实施方式示意图如图10所示。模块化望远镜是一种由多个子模块组成的可重构的空间望远镜系统，具有灵活性高、可维护性强、成本效益高等优点。为了实现模块化望远镜的精确组装和对准，需要设计一套有效的位姿测量系统。本发明提出了一种基于模块化红外靶标和主动式红外光源的位姿测量方法和系统，具有以下特点和优势：
模块化望远镜各子模块外形高度相似，但是在安装模块化红外靶标后，由于每个红外靶标有各自的编码，组装时可以区分出不同子模块，方便规划组装任务，有序的组装不同子模块；主动式红外光源2降低了太阳光干扰，使本发明所设计位姿测量系统在强曝光和低曝光情况下均可以有效工作，能够较好适应太空极端光照条件，主动式红外光源2是一种基于激光二极管(LD)或者发光二极管(LED)的可控制的红外发射器，可以根据需要调节其发射功率和频率，以适应不同的环境亮度。主动式红外光源2可以与靶标模块配合使用，通过调制信号或者编码方式实现与靶标模块的匹配和识别；靶标模块各面均有靶标特征也大大提高了位姿测量工作范围，有效解决由于视角较为偏僻导致的自身遮挡特征的问题，满足模块化望远镜在自由漂浮情况下对于较广阔的工作视角的需求；模块化位姿测量算法设计具备高度稳健性，最佳位姿的选择逻辑提高了系统的鲁棒性，而人工干预测量结果的功能进一步提高了系统的容错率，满足空间任务对于系统稳定性的苛刻要求。
可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本申请的权利要求范围内的实施例都属于本发明所保护的范围内。
Claims (8)
1.一种基于模块化红外靶标的位姿测量系统，其特征在于：包括：
模块化红外靶标，依附于多种需要进行位姿测量的目标上；
模块化信息处理单元，用于收集模块化红外靶标的靶标位姿信息，并进行位姿计算；
交互式软件平台，用于实现对模块化红外靶标和模块化信息处理单元的统一管理和控制，以及对测量结果的显示和修正，
位姿测量模块的位姿测量择优算法，包括以下步骤：
S1.检测和识别，对红外相机(8)形成的图像进行检测和识别；
S2.位姿测量，对五个靶标面(6)标号，测量时，生成图像中可见二维码位姿以及对应编码；
S3.自动选择模式，比较可见二维码视角大小，最小的为最佳视角，对应为最佳位姿；
S4.输出最佳位姿作为靶标位姿；
S5.推导出目标位姿；
所述S2中，二维码位姿测量具体流程为，
二维码四个角点为初始顺序，标记的中心为其坐标原点，X轴水平向右，Y轴垂直向上，Z轴垂直平面向外，在已知边长的情况下，能够得到其四个角点在自身坐标系下的三位坐标，再根据相机的像素坐标，利用针孔相机投影模型可以计算出相机的位姿；
已知二维码四个角点的三维空间坐标分别为 和/>经过阈值分割、轮廓提取、获取并识别编码和角点调整，得到四个角点投影到图像坐标系中的像素坐标，设为a0＝(u0,v0)T、a1＝(u1,v1)T、a2＝(u2,v2)T和a3＝(u3,v3)T，以第一个角点为例，其三维空间坐标和像素坐标关系如下：
其中，K代表相机内参数矩阵，如式(2)，式(3)表示相机外参数矩阵T，包含一个正交旋转矩阵R和表示坐标系原点的平移向量t；
s代表该角点距离相机坐标系在z轴方向上的深度，相机内参数K已知，相机外参数矩阵T是需要计算的，设P1＝[-l/2 l/2 0 1]T，T＝[τ1 τ2 τ3]T，则式(1)转化成如下:
相机内参K是已知且不变的，通过上式可以得出两个约束：
二维码中的每个角点可以提供关于相机外参T的两个线性约束，而T中存在12个未知变量，且其中包含的单位正交旋转矩阵自身包含六个约束，使用二维码标记中的三个角点再加上旋转矩阵的六个自身约束能够求得相机的外参T，即可得到三维空间中相机坐标系和二维码坐标系之间的位姿关系。
2.根据权利要求1所述的一种基于模块化红外靶标的位姿测量系统，其特征在于：所述模块化红外靶标包括靶标盒(1)，以及均安装在靶标盒(1)内的主动式红外光源(2)、第一电源(3)、第一嵌入式模块(4)及反射镜阵列(5)；
所述靶标盒(1)采用方形盒体结构，靶标盒(1)的其中五个面设为靶标面(6)，剩余一个面为安装面用于模块化红外靶标安装，其上设有第一安装接口(7)，第一安装接口(7)用于适配各种安装结构，使模块化红外靶标能够依附于多种需要进行位姿测量的目标上；
所述主动式红外光源(2)的波长为850nm；
所述反射镜阵列(5)与主动式红外光源(2)相对设置，用于反射红外光，使靶标盒(1)的五个靶标面(6)均有较强红外光透出，
所述第一嵌入式模块(4)用于控制主动式红外光源(2)开关以及强弱；
所述第一电源(3)用于主动式红外光源(2)以及第一嵌入式模块(4)供电。
3.根据权利要求2所述的一种基于模块化红外靶标的位姿测量系统，其特征在于：所述靶标面(6)上设计二维码，二维码的黑色部分覆盖红外不透明材料，二维码的白色部分透光。
4.根据权利要求1所述的一种基于模块化红外靶标的位姿测量系统，其特征在于：所述模块化信息处理单元包含安装在盒体内的红外相机(8)、第二嵌入式模块(9)、第二安装接口(11)以及第二电源(10)；
所述红外相机(8)用于接收主动式红外光源(2)的特定波段红外光形成图像，二维码图像传输至位姿测量模块进行处理；
所述第二嵌入式模块(9)包括位姿测量模块、远程通信模块和单元控制模块，位姿测量模块用于运行算法处理红外图像，远程控制模块用于控制红外相机(8)，远程通信模块用与交互式软件平台进行信息交互；
所述第二安装接口(11)用于适配多种安装结构；
所述第二电源(10)主要用于红外相机(8)和第二嵌入式模块(9)供电。
5.根据权利要求4所述的一种基于模块化红外靶标的位姿测量系统，其特征在于：所述第二嵌入式模块(9)的软件架构分为三层：应用层、中间层和硬件层；所述应用层负责位姿测量算法的实现，中间层负责红外相机(8)控制、数据压缩、无线通信，硬件层负责与红外相机(8)、第二电源(10)、无线模块的接口。
6.根据权利要求1所述的一种基于模块化红外靶标的位姿测量系统，其特征在于：所述S2中，能够对位姿信息进行人工干预，根据坐标系图像投影结构，人工判断选择。
7.根据权利要求1所述的一种基于模块化红外靶标的位姿测量系统，其特征在于：所述S1中的检测和识别由以下几个步骤完成：
S11.阈值分割，将原始图像转为灰度图，使用局部自适应的方式进行图像分割，提取出二维码所在的像素区域；
S12.轮廓提取及筛选，提取阈值分割后的图像轮廓，进行多边形近似；
S13.获取编码，对红外相机(8)视野里的二维码图像进行透视变换获取其正视图，对其进行二值化以分离白色区域和黑色区域，根据已知的二维码大小和边界将正视图分解成黑边相间的栅格，统计落在每个栅格内的黑白像素数目以决定该栅格的编码是0还是1；
S4.编码识别，根据获取的二维码内部ID编码信息在指定字典里查找；
S5.角点调整，对识别出的二维码使用亚像素插值的方式细化四个角点坐标。
8.根据权利要求1所述的一种基于模块化红外靶标的位姿测量系统，其特征在于：交互式软件平台用于远程控制系统运行，包括操作控制模块、信息显示模块、日志管理模块和远程通讯模块，操作控制模块用于控制模块化红外靶标中主动式红外光源(2)强度以及第一电源(3)开关，控制模块化信息处理单元中红外相机(8)、第二电源(10)开关，日志管理模块用于收集红外图像信息、位姿信息和报警信息，形成工作日志，远程通讯模块对整个系统进行监控。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310481292.4A CN116592899B (zh) | 2023-04-28 | 2023-04-28 | 一种基于模块化红外靶标的位姿测量系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310481292.4A CN116592899B (zh) | 2023-04-28 | 2023-04-28 | 一种基于模块化红外靶标的位姿测量系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116592899A CN116592899A (zh) | 2023-08-15 |
| CN116592899B true CN116592899B (zh) | 2024-03-29 |
Family
ID=87599968
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310481292.4A Active CN116592899B (zh) | 2023-04-28 | 2023-04-28 | 一种基于模块化红外靶标的位姿测量系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116592899B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117704967B (zh) * | 2024-02-05 | 2024-05-07 | 中铁西南科学研究院有限公司 | 基于机器视觉的炮孔位置动态测量方法、标靶及测量系统 |
Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003160558A (ja) * | 1998-09-18 | 2003-06-03 | Schering Ag | 近赤外蛍光造影剤及び蛍光イメージング |
| CN1877247A (zh) * | 2006-07-07 | 2006-12-13 | 哈尔滨工业大学 | 三轴气浮台姿态角测量装置及其测量方法 |
| CN101609504A (zh) * | 2009-07-21 | 2009-12-23 | 华中科技大学 | 一种红外图像海面目标检测识别定位方法 |
| CN101876532A (zh) * | 2010-05-25 | 2010-11-03 | 大连理工大学 | 测量系统中的摄像机现场标定方法 |
| CN102507153A (zh) * | 2011-10-31 | 2012-06-20 | 北京空间机电研究所 | 一种航天相机红外镜头焦面标定方法 |
| CN103617624A (zh) * | 2013-12-13 | 2014-03-05 | 哈尔滨工业大学 | 用于高速视觉测量的基于合作目标的实时全局搜索方法 |
| CN106247944A (zh) * | 2016-09-26 | 2016-12-21 | 西安理工大学 | 编码靶标及基于编码靶标的视觉坐标测量方法 |
| CN106767737A (zh) * | 2017-03-02 | 2017-05-31 | 深圳前海极客船长网络科技有限公司 | 基于虚拟现实技术的靶标姿态测量系统及其测量方法 |
| CN107292927A (zh) * | 2017-06-13 | 2017-10-24 | 厦门大学 | 一种基于双目视觉的对称运动平台位姿测量方法 |
| CN108981721A (zh) * | 2018-07-24 | 2018-12-11 | 浙江大学 | 一种用于微纳卫星定姿的静态红外地球敏感器目标角确定方法 |
| CN110174092A (zh) * | 2019-04-26 | 2019-08-27 | 北京航空航天大学 | 一种基于红外编码靶标的密集集群相对定位方法 |
| CN110207666A (zh) * | 2019-04-11 | 2019-09-06 | 南京航空航天大学 | 一种气浮平台上模拟卫星的视觉位姿测量方法及装置 |
| CN110490932A (zh) * | 2019-08-21 | 2019-11-22 | 东南大学 | 单目红外共面光标迭代优化测量行车吊臂空间位姿方法 |
| CN110610518A (zh) * | 2018-10-30 | 2019-12-24 | 兰州交通大学 | 一种基于特征点位置校正的靶标位姿测量系统及方法 |
| CN110689579A (zh) * | 2019-10-18 | 2020-01-14 | 华中科技大学 | 基于合作目标的快速单目视觉位姿测量方法及测量系统 |
| CN110954067A (zh) * | 2019-12-28 | 2020-04-03 | 长安大学 | 一种基于靶标的单目视觉挖掘机位姿测量系统及测量方法 |
| CN111220126A (zh) * | 2019-11-19 | 2020-06-02 | 中国科学院光电技术研究所 | 一种基于点特征和单目相机的空间物体位姿测量方法 |
| CN112308916A (zh) * | 2020-09-21 | 2021-02-02 | 广东电网有限责任公司广州供电局 | 一种基于图像靶标的目标位姿识别方法 |
| CN112472297A (zh) * | 2020-11-26 | 2021-03-12 | 微创（上海）医疗机器人有限公司 | 位姿监测系统、方法、手术机器人系统和存储介质 |
| CN112504464A (zh) * | 2020-10-29 | 2021-03-16 | 北京控制工程研究所 | 一种三探头红外成像系统图像特征点融合方法 |
| CN113643380A (zh) * | 2021-08-16 | 2021-11-12 | 安徽元古纪智能科技有限公司 | 一种基于单目相机视觉标靶定位的机械臂引导方法 |
| WO2023005979A1 (zh) * | 2021-07-30 | 2023-02-02 | 武汉联影智融医疗科技有限公司 | 一种机器人手眼标定方法、系统和存储介质 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| SG11201610052TA (en) * | 2014-08-08 | 2017-02-27 | Us Health | Photo-controlled removal of targets in vitro and in vivo |
| US11619481B2 (en) * | 2018-08-13 | 2023-04-04 | Faro Technologies, Inc. | Coordinate measuring device |
| CN110032278B (zh) * | 2019-03-29 | 2020-07-14 | 华中科技大学 | 一种人眼感兴趣物体的位姿识别方法、装置及系统 |
| US20220291701A1 (en) * | 2021-03-10 | 2022-09-15 | Flir Commercial Systems, Inc. | Thermal imaging for navigation systems and methods |
| JP2022157958A (ja) * | 2021-04-01 | 2022-10-14 | 日本電気株式会社 | 衛星姿勢推定システム、衛星姿勢推定方法および衛星姿勢推定プログラム |
-
2023
- 2023-04-28 CN CN202310481292.4A patent/CN116592899B/zh active Active
Patent Citations (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003160558A (ja) * | 1998-09-18 | 2003-06-03 | Schering Ag | 近赤外蛍光造影剤及び蛍光イメージング |
| CN1877247A (zh) * | 2006-07-07 | 2006-12-13 | 哈尔滨工业大学 | 三轴气浮台姿态角测量装置及其测量方法 |
| CN101609504A (zh) * | 2009-07-21 | 2009-12-23 | 华中科技大学 | 一种红外图像海面目标检测识别定位方法 |
| CN101876532A (zh) * | 2010-05-25 | 2010-11-03 | 大连理工大学 | 测量系统中的摄像机现场标定方法 |
| CN102507153A (zh) * | 2011-10-31 | 2012-06-20 | 北京空间机电研究所 | 一种航天相机红外镜头焦面标定方法 |
| CN103617624A (zh) * | 2013-12-13 | 2014-03-05 | 哈尔滨工业大学 | 用于高速视觉测量的基于合作目标的实时全局搜索方法 |
| CN106247944A (zh) * | 2016-09-26 | 2016-12-21 | 西安理工大学 | 编码靶标及基于编码靶标的视觉坐标测量方法 |
| CN106767737A (zh) * | 2017-03-02 | 2017-05-31 | 深圳前海极客船长网络科技有限公司 | 基于虚拟现实技术的靶标姿态测量系统及其测量方法 |
| CN107292927A (zh) * | 2017-06-13 | 2017-10-24 | 厦门大学 | 一种基于双目视觉的对称运动平台位姿测量方法 |
| CN108981721A (zh) * | 2018-07-24 | 2018-12-11 | 浙江大学 | 一种用于微纳卫星定姿的静态红外地球敏感器目标角确定方法 |
| CN110610518A (zh) * | 2018-10-30 | 2019-12-24 | 兰州交通大学 | 一种基于特征点位置校正的靶标位姿测量系统及方法 |
| CN110207666A (zh) * | 2019-04-11 | 2019-09-06 | 南京航空航天大学 | 一种气浮平台上模拟卫星的视觉位姿测量方法及装置 |
| CN110174092A (zh) * | 2019-04-26 | 2019-08-27 | 北京航空航天大学 | 一种基于红外编码靶标的密集集群相对定位方法 |
| CN110490932A (zh) * | 2019-08-21 | 2019-11-22 | 东南大学 | 单目红外共面光标迭代优化测量行车吊臂空间位姿方法 |
| CN110689579A (zh) * | 2019-10-18 | 2020-01-14 | 华中科技大学 | 基于合作目标的快速单目视觉位姿测量方法及测量系统 |
| CN111220126A (zh) * | 2019-11-19 | 2020-06-02 | 中国科学院光电技术研究所 | 一种基于点特征和单目相机的空间物体位姿测量方法 |
| CN110954067A (zh) * | 2019-12-28 | 2020-04-03 | 长安大学 | 一种基于靶标的单目视觉挖掘机位姿测量系统及测量方法 |
| CN112308916A (zh) * | 2020-09-21 | 2021-02-02 | 广东电网有限责任公司广州供电局 | 一种基于图像靶标的目标位姿识别方法 |
| CN112504464A (zh) * | 2020-10-29 | 2021-03-16 | 北京控制工程研究所 | 一种三探头红外成像系统图像特征点融合方法 |
| CN112472297A (zh) * | 2020-11-26 | 2021-03-12 | 微创（上海）医疗机器人有限公司 | 位姿监测系统、方法、手术机器人系统和存储介质 |
| WO2023005979A1 (zh) * | 2021-07-30 | 2023-02-02 | 武汉联影智融医疗科技有限公司 | 一种机器人手眼标定方法、系统和存储介质 |
| CN113643380A (zh) * | 2021-08-16 | 2021-11-12 | 安徽元古纪智能科技有限公司 | 一种基于单目相机视觉标靶定位的机械臂引导方法 |
Non-Patent Citations (3)
| Title |
|---|
| 红外靶标系统设计及控制技术研究;贺庄博;《中国优秀硕士学位论文全文数据库信息科技辑》;20150215(第2期);第I140-715页 * |
| 贺庄博.红外靶标系统设计及控制技术研究.《中国优秀硕士学位论文全文数据库信息科技辑》.2015,(第2期),第I140-715页. * |
| 面向星箭对接环的视觉位姿测量方法研究;刘阳;《中国博士学位论文全文数据库工程科技II辑》;20220215(第2期);第C031-77页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116592899A (zh) | 2023-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112505065B (zh) | 一种实现室内无人机对大部件表面缺陷进行检测的方法 | |
| CN110065074B (zh) | 一种采摘机器人的视觉伺服激光定位系统及方法 | |
| CN116592899B (zh) | 一种基于模块化红外靶标的位姿测量系统 | |
| CA3117796A1 (en) | Machine vision-based method and system for measuring 3d pose of a part or subassembly of parts | |
| CN115345822A (zh) | 一种面向航空复杂零件的面结构光自动化三维检测方法 | |
| CN108592788A (zh) | 一种面向喷涂生产线的3d智能相机系统与工件在线测量方法 | |
| CN112233187B (zh) | 一种方便稳定的rgbd相机外参数标定方法 | |
| CN110782492B (zh) | 位姿跟踪方法及装置 | |
| CN109297413A (zh) | 一种大型筒体结构视觉测量方法 | |
| US10893190B2 (en) | Tracking image collection for digital capture of environments, and associated systems and methods | |
| CN113052903A (zh) | 一种用于移动机器人的视觉与雷达融合定位方法 | |
| US20230236280A1 (en) | Method and system for positioning indoor autonomous mobile robot | |
| CN107797560A (zh) | 一种用于机器人跟踪的视觉识别系统及方法 | |
| CN110702028A (zh) | 一种果园树干三维检测定位方法及装置 | |
| CN113359154A (zh) | 一种室内外通用的高精度实时测量方法 | |
| CN107843258B (zh) | 室内定位系统及方法 | |
| CN114543787B (zh) | 基于条纹投影轮廓术的毫米级室内建图定位方法 | |
| CN113031462A (zh) | 无人机用港机巡检航线规划系统及方法 | |
| CN112257536B (zh) | 一种空间与物体三维信息采集匹配设备及方法 | |
| CN106441238A (zh) | 一种基于红外视觉技术的机器人的定位装置及其定位导航算法 | |
| CN113959412A (zh) | 一种基于红外探测的无人机对接过程主动视觉导航方法 | |
| CN113888702A (zh) | 基于多tof激光雷达和rgb摄像头的室内高精度实时建模和空间定位的装置和方法 | |
| CN111982071A (zh) | 一种基于tof相机的3d扫描方法及系统 | |
| EP4369045A1 (en) | Filtering reflected points in a 3d lidar scan by joint evaluation of lidar data and image data with a reflection point classifier | |
| RU2749808C1 (ru) | Способ идентификации реперов при решении задачи Р4Р в авиационных оптико-электронных системах позиционирования с единственной камерой |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |