CN115239822A - 分体式飞行车辆多模块间实时视觉识别定位方法及系统 - Google Patents
分体式飞行车辆多模块间实时视觉识别定位方法及系统 Download PDFInfo
- Publication number
- CN115239822A CN115239822A CN202210889105.1A CN202210889105A CN115239822A CN 115239822 A CN115239822 A CN 115239822A CN 202210889105 A CN202210889105 A CN 202210889105A CN 115239822 A CN115239822 A CN 115239822A
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- module
- image
- camera
- flying vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000000007 visual effect Effects 0.000 title claims abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 20
- 230000003068 static effect Effects 0.000 claims abstract description 19
- 210000001503 joint Anatomy 0.000 claims abstract description 10
- 238000006243 chemical reaction Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 230000009466 transformation Effects 0.000 claims abstract description 9
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 238000012216 screening Methods 0.000 claims abstract description 5
- 238000013507 mapping Methods 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 15
- 238000003384 imaging method Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000009434 installation Methods 0.000 claims description 2
- 238000007670 refining Methods 0.000 claims description 2
- 239000011159 matrix material Substances 0.000 abstract description 7
- 238000011897 real-time detection Methods 0.000 abstract 1
- 239000003550 marker Substances 0.000 description 8
- 238000012937 correction Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000004807 localization Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003711 image thresholding Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G06T5/94—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/30—Noise filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
Abstract
本发明公开了分体式飞行车辆多模块间实时视觉识别定位方法及系统，对图像数据，进行相机内外参的标定，得到相机的内外参和尺度变换矩阵；对图像数据，进行图像预处理，得到阈值化灰度图像；然后进行轮廓提取、四边形筛选、透视变换和内部编码识别处理，得到带有标记及角点坐标的正面视图；然后进行边缘细化处理，得到高定位准确度轮廓；基于实时检测定位的结果，利用像素坐标系到图像坐标系到相机坐标系再到世界坐标系之间的转换矩阵，得到相机镜头中心点相对预先布置与静止模块底部ArUco码所在区域中心点相对位置以及对接运动模块相对静止模块的航向偏差角，即实现了飞行车辆多模块间精准实时视觉识别定位。
Description
技术领域
本发明属于无人驾驶车辆领域，具体涉及分体式飞行车辆多模块间实时视觉识别定位方法及系统。
背景技术
目前，伴随人工智能、半导体、传感器等快速发展，分体式飞行车辆通过技术快速迭代，不断拓展能力和应用领域。在分体式飞行车辆多模块间精准对接过程中需要根据自身的传感器布置实现实时的识别定位，但不同的传感器受限于自身所处的不同环境，需要对不同的环境适配不同的解决方案才能实现精准实时识别定位这一任务。由于分体式飞行车辆的应用环境较为特殊，在其进行多模块对接时需要较高的定位和导航精度，其定位精度需要通常需要达到厘米甚至毫米级。 GPS(Global Positioning System)在信号良好的工况下，定位精度一般在米级，且在对接工况下GPS信号强度衰减严重，甚至有完全被阻断的可能，将造成导航效果变差，不符合应用要求。利用激光雷达可以对周围环境进行精准测距定位，从而完成既定的定位和导航任务，但激光雷达价格昂贵且需要额外布置相应结构从而提供定位信息。若使用惯性导航元件可以测量相对位移，但其测量得到的数据存在一定的漂移，需要与其他传感器协同工作从而满足精度要求，使得算法较为复杂。ArUco标记是可用于摄像机识别定位的二进制方形基准标记。它的主要优点是检测简单、快速，并且具有很强的鲁棒性。ArUco标记是由宽黑色边框和确定其标识符(id)的内部二进制矩阵组成的正方形标记。ArUco标记的黑色边框有助于其在图像中的快速检测，内部二进制编码用于识别标记和提供错误检测和纠正。ArUco标记尺寸的大小决定内部矩阵的大小，例如尺寸为4x4的标记由16位二进制数组成。由于单个ArUco标记就可以提供足够的对应关系，例如有四个明显的角点及内部的二进制编码，所以ArUco标记被广泛用来增加从二维世界映射到三维世界时的信息量，便于发现二维世界与三维世界之间的投影关系，从而实现结算摄像头位姿等应用。
专利CN106969766A提供了一种基于单目视觉和二维码路标的室内自主导航方法，该方法解决了室内自主导航的精确度以及双目摄像头计算复杂的问题。
现有技术一没有根据场景的特点对方法进行细化。具体体现在，其对环境的设定上未考虑光照条件变化较大等工况，在不同的环境下可能会出现定位不准确的情况。
现有技术一所设置的二维码数量不足，在识别目标丢失时需持续扫描其他方位的二维码，在计算效率上还存在可以改进的空间。
现有技术一需要根据行驶路径提前布置二维码，且二维码布局需要严格按照一定的规律，必须提前精确测量，受环境制约较大。
发明内容
本发明所为了解决背景技术中存在的技术问题，目的在于提供了分体式飞行车辆多模块间实时视觉识别定位方法及系统。
为了解决技术问题，本发明的技术方案是：
分体式飞行车辆多模块间实时视觉识别定位方法，所述方法包括：
对图像数据，进行相机进内外参的标定处理，得到世界坐标到像素坐标的映射关系；
基于世界坐标到像素坐标的映射关系，采集相机图像并进行图像预处理，得到阈值化灰度图像；
对所述阈值化灰度图像，进行轮廓提取、四边形筛选、透视变换和内部编码识别处理，得到带有标记及角点坐标的正面视图；
对带有标记及角点坐标的正面视图，进行边缘细化处理，得到含有高定位准确度轮廓的图像；
基于含有高定位准确度轮廓的图像，利用世界坐标到像素坐标的映射关系，进行位姿计算，得到相机镜头中心点相对预先布置与静止模块底部ArUco码所在区域中心点的相对位置和对接运动模块相对静止模块的航向偏差角，即实现了飞行车辆多模块间精准实时视觉识别定位。
进一步，利用分体式飞行车辆上布置仰视车载摄像模组采集图像数据。
进一步，对相机内外参的标定处理，具体包括：
对图像数据的坐标系进行刚体变换，得到世界坐标系的点到摄像机坐标系下点的映射关系；
对世界坐标系的点到摄像机坐标系下点的映射关系的坐标系应用小孔成像，得到摄像模组坐标系和图像坐标系之间的映射关系；
对摄像模组坐标系和图像坐标系之间的映射关系的坐标系进行单位转换并引入安装偏差和镜头畸变，得到世界坐标系与像素坐标系之间的转换结果，即世界坐标到像素坐标的映射关系；
进一步，所述对图像进行预处理，具体包括：
对所述图像数据进行灰度化，得到灰度图像；
Gray(x,y)＝0.299R(x,y)+0.578G(x,y)+0.114B(x,y)；
其中，R(x,y)、G(x,y)、B(x,y)分别为RGB图像三个分量的值；
对所述灰度图像进行阈值化，得到阈值化灰度图像；
T(x,y)＝WAs×s(x,y)-p。
进一步，所述对带有标记及角点坐标的正面视图，进行边缘细化处理，具体包括：
利用ArUco检测算法，对所述正面视图进行轮廓检测与ID识别，得到初始化轮廓结果；
利用成本函数，对初始化轮廓结果上所有的点进行计算，得到使成本函数最小化的高定位准确度轮廓；
其中，R(p)和E(p,xi)是在图像位置p的实际值和预期值，给定由xi代表的线；预测值通过一个给定的边缘模型得到，使用给定点p到初始直线的距离d(p,xi)。
进一步，基于含有高定位准确度轮廓的图像，利用世界坐标到像素坐标的映射关系，进行位姿计算，具体包括：
对分体式飞行车辆泊车模块相对于静止模块相对位置进行计算；
基于含有高定位准确度轮廓的图像的四边形轮廓，从而计算出各个ArUco标记的中心坐标；
将世界坐标到像素坐标的映射关系引入下式，即可计算得到分体式飞行车辆地面待泊车模块相对于静止模块的相对位置；
vector_center＝vector_original-vector_camera；
其中，vector_original代表某一Aruco标记中心点在世界坐标系下的位置向量；vector_camera代表某一Aruco标记中心点与像素坐标系下的位置向量； vector_center代表摄像模组坐标系原点相对于世界坐标系原点的位置向量；
对分体式飞行车辆泊车模块相对于静止模块航向偏差角进行计算；
当检测算法由所输入已处理图像中检测到两个及以上数量的ArUco标记时，即向航向角计算模块输入配对的各ArUco标记的中心点坐标、ID值，该模块通过分别计算任意两两ArUco标记在世界坐标系以及像素坐标系下直线方程，通过世界坐标到像素坐标的映射关系，即可计算得到车辆航向角
其中，α表示表示世界坐标系下直线与x轴正方向夹角；β表示像素坐标系下直线与x轴正方向夹角，直线方程通过两两ArUco标记中心点坐标得到。
分体式飞行车辆多模块间实时视觉识别定位系统，所述系统包括：
标定模块，用于对图像数据，进行相机进内外参的标定处理，得到世界坐标到像素坐标的映射关系；
第一处理模块，用于基于世界坐标到像素坐标的映射关系，采集相机图像并进行图像预处理，得到阈值化灰度图像；
第二处理模块，用于对所述阈值化灰度图像，进行轮廓提取、四边形筛选、透视变换和内部编码识别处理，得到带有标记及角点坐标的正面视图；
第三处理模块，用于对带有标记及角点坐标的正面视图，进行边缘细化处理，得到含有高定位准确度轮廓的图像；
位姿计算模块，用于基于含有高定位准确度轮廓的图像，利用世界坐标到像素坐标的映射关系，进行位姿计算，得到相机镜头中心点相对预先布置与静止模块底部ArUco码所在区域中心点的相对位置和对接运动模块相对静止模块的航向偏差角，即实现了飞行车辆多模块间精准实时视觉识别定位。
一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现权利要求1到6中任一项所述的方法。
与现有技术相比，本发明的优点在于：
利用大数量且尺寸匹配相机到标记平面距离的ArUco标记，使识别目标时不会丢失目标，从而保证识别定位过程的稳定性。
利用对输入图像数据进行前处理，使噪声得到消除、背景与目标标识得到分割从而提高检测算法的速度，达到5.23ms/帧的平均计算速度。
利用边缘细化方法对初始检测图像进行优化，使算法在保持较高检出率的同时，也实现了3.31mm的最大定位误差。
附图说明
图1、本发明实施例提供的分体式飞行车辆多模块间实时视觉识别定位方法及系统流程图；
图2、本发明实施例提供的所使用标识板的示意图；
图3、本发明实施例提供的所使用AGV验证平台的示意图；
图4、本发明实施例提供的所使用边缘细化模型的示意图；
图5、本发明实施例提供的各不同光照强度工况下检测结果示意图。
具体实施方式
下面结合实施例描述本发明具体实施方式：
需要说明的是，本说明书所示意的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
实施例1：
本发明实施例提供的基于相机的实时识别定位方法应用于分体式飞行车辆上，在分体式飞行车辆上布置仰视车载摄像模组实时采集图像进行图像预处理，并对预处理后的图像进行ArUco标记检测，对检测得到的轮廓进行边缘细化，得到定位准确度更高的标记轮廓，从而为飞行车辆实施精准对接提供位置信息，有利泊车后地面模块与飞行器进行对接。
图1为本发明实施例提供的一种分体式飞行车辆鸟瞰图实时拼接及车位检测方法流程图，如图1所示，所述方法包括：
步骤101，相机内外参标定。
如图3所示，在分体式飞行车辆前轴上方布置一个摄像模组，光轴垂直地面向上。在进行参数标定之前需要确定选用相机的分辨率和帧率。图2为本发明实施例提供的所使用标识板的示意图，在本例中，标记板上各个ArUco标记的尺寸 30mm*30mm，按照每行7个，每列11个的方式进行排列、每两个ArUco标记纵横间隔均为5mm。首先约定我们所使用的坐标系。世界坐标系是以目标为原点建立起来的坐标系，因此本文将世界坐标系原点放放置于分体式飞行车辆静止模块底部中心处，Y轴以静止模块行驶正前方，Z轴垂直地平面向上为正方向，其具体形式符合右手系。摄像模组坐标系是以摄像机的光心作为坐标轴原点，Z轴与摄像模组光轴重合并垂直于成像平面，且取摄像头朝向为正方向。其具体形式符合右手系。图像坐标系以所摄取图像中心为原点，X,Y轴分别平行于图像平面的两条垂直边。像素坐标系坐标原点为CCD图像的左上角，像素坐标系的u轴和v轴分别平行于图像坐标系的x轴和Y轴。对于世界坐标系与像素坐标系的转换需要以下流程：
(a).通过刚体变换实现世界坐标系的点到摄像机坐标系下点的转换，其中R 为3*3旋转矩阵，T为3*1平移矩阵。
(b).摄像模组坐标系和图像坐标系之间的转换时通过小孔成像的原理对上式进行变形得到，其中f为摄像模组焦距。
(c).由于图像坐标系所使用单位为mm而像素坐标系所使用单位为px，需要进行单位间转换。其中，dx、dy分别为每个像素在x、y轴上的尺寸，u0、v0是为了消除安装偏差和镜头畸变引入的变量。
对上式进行变式得：
对上式进行合并得到世界坐标系与像素坐标系的转换表达式，从而可以根据实际工况确定相机内外参修正参数。
步骤102，图像预处理。
某种程度上灰度图像是彩色图像的特殊表示，灰度图像同样反映了一副图像的整体和局部特征，而使用灰度图像可以减小图像处理中的计算量。本实施例根据以下加权平均式对输入图像进行灰度化处理。
Gray(x,y)＝0.299R(x,y)+0.578G(x,y)+0.114B(x,y)；
其中，R(x,y)、G(x,y)、B(x,y)分别为RGB图像三个分量的值。
输入图像包含目标图像、复杂的背景信息和嘈杂的噪声，而图像阈值化可以有效的去除噪声和分割背景与目标区域从而提高检测算法的速度。本实施例采用反二进制阈值化，且由于实验条件是在室外环境下，受光照影响较大，故采用局部自适应阈值来选择阈值对图像进行预处理，实验结果表明该处理有助于提高检测算法对光照变化的鲁棒性。
T(x,y)＝WAs×s(x,y)-p；
其中，x、y为图像中任意一点坐标，G(x,y)为任意一点高斯值WAs×s(x,y)为任意一点(x,y)为中心s×s矩阵内的高斯加权平均值，T(x,y)为所选定的阈值。
步骤103，标识检测与边缘细化。
如图4所示，为了进一步提高对ArUco标记检测的定位准确度，我们提出了一种新的基于优化的边缘细化方法。检测出的四边形中的每一条边都通过直线模型来描述。四边形的每条线的初始参数都由初次检测到的角点得到，随后通过最小化以下成本函数进行完善。
其中，R(p)和E(p,xi)是在图像位置p的实际值和预期值，给定由xi代表的线。预测值通过一个给定的边缘模型得到，如图所示的sigmoid模型，使用给定点p到初始直线的距离d(p,xi)。得到细化的边缘线
之后，各个角点的位置是由相交的边缘线的交点推断出来的。
步骤104，车辆位姿计算。
(a).相对位置计算
如图5所示，基于上述方法得到一定数量有着较高定位准确度的四边形轮廓，从而计算出各个ArUco标记的中心坐标。将相机内外参标定后得到的修正参数引入下式，即可计算得到分体式飞行车辆地面待泊车模块相对于静止模块(世界坐标系下)的相对位置。
cector_center＝vector_original-vector_camera；
其中，vector_original代表某一Aruco标记中心点在世界坐标系下的位置向量；vector_camera代表某一Aruco标记中心点与像素坐标系下的位置向量； vector_center代表摄像模组坐标系原点相对于世界坐标系原点的位置向量。
(b).车辆航向角计算
通过本文提出的自动生成坐标代码可以得到精确打印后标记板上各个ArUco 标记在静止模块(世界坐标系下)的坐标。当检测算法由所输入已处理图像中检测到两个及以上数量的ArUco标记时，即向航向角计算模块输入配对的各ArUco 标记的中心点坐标、ID值，该模块通过分别计算任意两两ArUco标记在世界坐标系以及像素坐标系下直线方程，通过相机内外参标定后得到的修正参数即可计算得到车辆航向角
其中，α代表两两ArUco标记在世界坐标系下连线与X轴夹角，β代表两两 ArUco标记在像素坐标系下连线与X轴夹角。
参考文献(如专利/论文/标准)
[1]北京品创智能科技有限公司.一种基于单目视觉和二维码路标的室内自主导航方法:CN201710172646.1[P].2017-07-21.
[2]上海智能网联汽车技术中心有限公司.一种融合多ArUco码的增强现实标志物结构:CN202122061386.5[P].2022-01-28.
[3]Kallwies J,Forkel B,Wuensche H J.Determining and improving thelocalization accuracy of AprilTag detection[C]//2020IEEE InternationalConference on Robotics and Automation(ICRA).IEEE,2020:8288-8294.
[4]Romero-Ramirez F J,
-Salinas R,Medina-Carnicer R.Speeded updetection of squared fiducial markers[J].Image and vision Computing, 2018,76:38-47.
上面对本发明优选实施方式作了详细说明，但是本发明不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
不脱离本发明的构思和范围可以做出许多其他改变和改型。应当理解，本发明不限于特定的实施方式，本发明的范围由所附权利要求限定。
Claims (8)
1.分体式飞行车辆多模块间实时视觉识别定位方法，其特征在于，所述方法包括：
对图像数据，进行相机进内外参的标定处理，得到世界坐标到像素坐标的映射关系；
基于世界坐标到像素坐标的映射关系，采集相机图像并进行图像预处理，得到阈值化灰度图像；
对所述阈值化灰度图像，进行轮廓提取、四边形筛选、透视变换和内部编码识别处理，得到带有标记及角点坐标的正面视图；
对带有标记及角点坐标的正面视图，进行边缘细化处理，得到含有高定位准确度轮廓的图像；
基于含有高定位准确度轮廓的图像，利用世界坐标到像素坐标的映射关系，进行位姿计算，得到相机镜头中心点相对预先布置与静止模块底部ArUco码所在区域中心点的相对位置和对接运动模块相对静止模块的航向偏差角，即实现了飞行车辆多模块间精准实时视觉识别定位。
2.根据权利要求1所述的分体式飞行车辆多模块间实时视觉识别定位方法，其特征在于，利用分体式飞行车辆上布置仰视车载摄像模组采集图像数据。
3.根据权利要求1所述的分体式飞行车辆多模块间实时视觉识别定位方法，其特征在于，对相机内外参的标定处理，具体包括：
对图像数据的坐标系进行刚体变换，得到世界坐标系的点到摄像机坐标系下点的映射关系；
对世界坐标系的点到摄像机坐标系下点的映射关系的坐标系应用小孔成像，得到摄像模组坐标系和图像坐标系之间的映射关系；
对摄像模组坐标系和图像坐标系之间的映射关系的坐标系进行单位转换并引入安装偏差和镜头畸变，得到世界坐标系与像素坐标系之间的转换结果，即世界坐标到像素坐标的映射关系；
4.根据权利要求1所述的分体式飞行车辆多模块间实时视觉识别定位方法，其特征在于，所述对图像进行预处理，具体包括：
对所述图像数据进行灰度化，得到灰度图像；
Gray(x,y)＝0.299R(x,y)+0.578G(x,y)+0.114B(x,y)；
其中，R(x,y)、G(x,y)、B(x,y)分别为RGB图像三个分量的值；
对所述灰度图像进行阈值化，得到阈值化灰度图像；
T(x,y)＝WAs×s(x,y)-p。
5.根据权利要求1所述的分体式飞行车辆多模块间实时视觉识别定位方法，其特征在于，所述对带有标记及角点坐标的正面视图，进行边缘细化处理，具体包括：
利用ArUco检测算法，对所述正面视图进行轮廓检测与ID识别，得到初始化轮廓结果；
利用成本函数，对初始化轮廓结果上所有的点进行计算，得到使成本函数最小化的高定位准确度轮廓；
其中，R(p)和E(p,xi)是在图像位置p的实际值和预期值，给定由xi代表的线；预测值通过一个给定的边缘模型得到，使用给定点p到初始直线的距离d(p,xi)。
6.根据权利要求1所述的分体式飞行车辆多模块间实时视觉识别定位方法，其特征在于，基于含有高定位准确度轮廓的图像，利用世界坐标到像素坐标的映射关系，进行位姿计算，具体包括：
对分体式飞行车辆泊车模块相对于静止模块相对位置进行计算；
基于含有高定位准确度轮廓的图像的四边形轮廓，从而计算出各个ArUco标记的中心坐标；
将世界坐标到像素坐标的映射关系引入下式，即可计算得到分体式飞行车辆地面待泊车模块相对于静止模块的相对位置；
vector_center＝vector_original-vector_camera；
其中，vector_original代表某一Aruco标记中心点在世界坐标系下的位置向量；vector_camera代表某一Aruco标记中心点与像素坐标系下的位置向量；vector_center代表摄像模组坐标系原点相对于世界坐标系原点的位置向量；
对分体式飞行车辆泊车模块相对于静止模块航向偏差角进行计算；
当检测算法由所输入已处理图像中检测到两个及以上数量的ArUco标记时，即向航向角计算模块输入配对的各ArUco标记的中心点坐标、ID值，该模块通过分别计算任意两两ArUco标记在世界坐标系以及像素坐标系下直线方程，通过世界坐标到像素坐标的映射关系，即可计算得到车辆航向角
其中，α表示表示世界坐标系下直线与x轴正方向夹角；β表示像素坐标系下直线与x轴正方向夹角，直线方程通过两两ArUco标记中心点坐标得到。
7.分体式飞行车辆多模块间实时视觉识别定位系统，其特征在于，所述系统包括：
标定模块，用于对图像数据，进行相机进内外参的标定处理，得到世界坐标到像素坐标的映射关系；
第一处理模块，用于基于世界坐标到像素坐标的映射关系，采集相机图像并进行图像预处理，得到阈值化灰度图像；
第二处理模块，用于对所述阈值化灰度图像，进行轮廓提取、四边形筛选、透视变换和内部编码识别处理，得到带有标记及角点坐标的正面视图；
第三处理模块，用于对带有标记及角点坐标的正面视图，进行边缘细化处理，得到含有高定位准确度轮廓的图像；
位姿计算模块，用于基于含有高定位准确度轮廓的图像，利用世界坐标到像素坐标的映射关系，进行位姿计算，得到相机镜头中心点相对预先布置与静止模块底部ArUco码所在区域中心点的相对位置和对接运动模块相对静止模块的航向偏差角，即实现了飞行车辆多模块间精准实时视觉识别定位。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现权利要求1到6中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210889105.1A CN115239822A (zh) | 2022-07-27 | 2022-07-27 | 分体式飞行车辆多模块间实时视觉识别定位方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210889105.1A CN115239822A (zh) | 2022-07-27 | 2022-07-27 | 分体式飞行车辆多模块间实时视觉识别定位方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115239822A true CN115239822A (zh) | 2022-10-25 |
Family
ID=83676261
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210889105.1A Pending CN115239822A (zh) | 2022-07-27 | 2022-07-27 | 分体式飞行车辆多模块间实时视觉识别定位方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115239822A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612162A (zh) * | 2023-07-21 | 2023-08-18 | 中色创新研究院(天津)有限公司 | 基于图像比对模型的孔位校准分析方法、系统及存储介质 |
-
2022
- 2022-07-27 CN CN202210889105.1A patent/CN115239822A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116612162A (zh) * | 2023-07-21 | 2023-08-18 | 中色创新研究院(天津)有限公司 | 基于图像比对模型的孔位校准分析方法、系统及存储介质 |
| CN116612162B (zh) * | 2023-07-21 | 2023-11-17 | 中色创新研究院(天津)有限公司 | 基于图像比对模型的孔位校准分析方法、系统及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112861653B (zh) | 融合图像和点云信息的检测方法、系统、设备及存储介质 | |
| CN109270534B (zh) | 一种智能车激光传感器与相机在线标定方法 | |
| CN109345588B (zh) | 一种基于Tag的六自由度姿态估计方法 | |
| CN109074668B (zh) | 路径导航方法、相关装置及计算机可读存储介质 | |
| CN108805934B (zh) | 一种车载摄像机的外部参数标定方法及装置 | |
| CN112396650B (zh) | 一种基于图像和激光雷达融合的目标测距系统及方法 | |
| CN113819890B (zh) | 测距方法、装置、电子设备及存储介质 | |
| CN112037159B (zh) | 一种跨相机道路空间融合及车辆目标检测跟踪方法及系统 | |
| CN111882612A (zh) | 一种基于三维激光检测车道线的车辆多尺度定位方法 | |
| CN111598952B (zh) | 一种多尺度合作靶标设计与在线检测识别方法及系统 | |
| CN111950426A (zh) | 目标检测方法、装置及运载工具 | |
| CN114413958A (zh) | 无人物流车的单目视觉测距测速方法 | |
| CN112232275A (zh) | 基于双目识别的障碍物检测方法、系统、设备及存储介质 | |
| CN112257668A (zh) | 主辅路判断方法、装置、电子设备及存储介质 | |
| CN115410167A (zh) | 目标检测与语义分割方法、装置、设备及存储介质 | |
| CN113327296B (zh) | 基于深度加权的激光雷达与相机在线联合标定方法 | |
| CN115239822A (zh) | 分体式飞行车辆多模块间实时视觉识别定位方法及系统 | |
| CN110197104B (zh) | 基于车辆的测距方法及装置 | |
| KR20230003803A (ko) | 라이다 좌표계와 카메라 좌표계의 벡터 정합을 통한 자동 캘리브레이션 방법 | |
| CN111833443A (zh) | 自主机器应用中的地标位置重建 | |
| CN113034584A (zh) | 一种基于物体语义路标的移动机器人视觉定位方法 | |
| CN112819711A (zh) | 一种基于单目视觉的利用道路车道线的车辆反向定位方法 | |
| CN116642490A (zh) | 基于混合地图的视觉定位导航方法、机器人及存储介质 | |
| CN116403186A (zh) | 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法 | |
| Nguyen et al. | Calibbd: Extrinsic calibration of the lidar and camera using a bidirectional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |