CN113971697A - 一种空地协同车辆定位定向方法 - Google Patents

一种空地协同车辆定位定向方法 Download PDF

Info

Publication number
CN113971697A
CN113971697A CN202111089102.1A CN202111089102A CN113971697A CN 113971697 A CN113971697 A CN 113971697A CN 202111089102 A CN202111089102 A CN 202111089102A CN 113971697 A CN113971697 A CN 113971697A
Authority
CN
China
Prior art keywords
camera
target
image
marker
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111089102.1A
Other languages
English (en)
Inventor
卢瑞涛
范继伟
杨小冈
席建祥
谢学立
朱正杰
王思宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rocket Force University of Engineering of PLA
Original Assignee
Rocket Force University of Engineering of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rocket Force University of Engineering of PLA filed Critical Rocket Force University of Engineering of PLA
Priority to CN202111089102.1A priority Critical patent/CN113971697A/zh
Publication of CN113971697A publication Critical patent/CN113971697A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Abstract

本发明专利公开了一种空地协同车辆定位定向方法，具体涉及车辆定位定向方法应用技术领域。一种空地协同车辆定位定向方法，包括如下步骤：采用无人机挂载工业相机来构建非重叠视场相机系统，求解相机之间的坐标变换，获取多相机的内部参数和外部参数；基于结构森林和PCANet的标志物检测对相机系统内获取的内部参数和外部参数进行分类识别，以获取标志物的位置信息；根据时空一致性的视觉推算定位算法，并结合S2中检测到的标志物位置信息，对车辆自身的方位进行估计，同时，采用状态滤波，实时估计车辆的位置和状态信息。采用本发明技术方案解决了大型工程车辆及特种车辆进行复杂道路作业时的安全问题，可为驾驶员提供有效的车辆位置信息。

Description

一种空地协同车辆定位定向方法
技术领域
本发明涉及车辆定位定向方法应用技术领域，特别涉及一种空地协同车辆定位定向方法。
背景技术
近年来，随着无人机技术的发展，利用无人机代替作业人员在三维复杂环境下进行作业，对减少经济成本、减轻劳动强度以及降低作业人员在执行工作任务时的安全风险具有重要意义。结合实际大型工程车辆及特种车辆的任务，大型工程车辆及特种车辆在复杂条件下的使用是其中重要的一部分。相应地，在开展任务的过程中，各种问题也突显出来，比如：夜间行驶感知道路安全性的能力不够，在预定场地不能够自动识别的标志物，以及车辆的定位定向技术不足等。对于各种复杂的道路条件，开展大型工程车辆及特种车辆的智能辅助，及时检测地面的标志物和辅助信息，提供相应的车辆相对方位参数，是有效提升车辆在预定场地感知能力的技术手段。因此，开展大型工程车辆及特种车辆视觉辅助定位定向技术研究，为驾驶员提供辅助的信息，是一个极具现实意义和战略价值的方向。
发明内容
本发明意在提供一种空地协同车辆定位定向方法，解决了大型工程车辆及特种车辆进行复杂道路作业时的安全问题。
为了达到上述目的，本发明的技术方案如下：一种空地协同车辆定位定向方法，包括如下步骤：
S1、构建图像采集系统：采用无人机挂载工业相机来构建非重叠视场相机系统，求解相机之间的坐标变换，获取多相机的内部参数和外部参数，用于畸变图像的校正以及局部场景信息的构成；
S2、标志物检测与识别：基于结构森林和PCANet的标志物检测对相机系统内获取的内部参数和外部参数进行分类识别，以获取标志物的位置信息；
S3、车辆的定位定向：根据时空一致性的视觉推算定位算法，并结合S2中检测到的标志物位置信息，对车辆自身的方位进行估计，同时，采用状态滤波，实时估计车辆的位置和状态信息。
进一步的，S1中外部参数的获取方法采用如下步骤：
S101、将两个子靶标(即第一子靶标和第二子靶标)固连形成固连靶标，确保两个子靶标分别放置于第一相机和第二相机的视场中，再通过大视场相机获取不同位置时固连靶标的图像序列，根据PnP原理，可以求解固连靶标到大视场相机的转换矩阵Tt1,c和Tt2,c，并且以相机坐标系为中介，根据式为：
Figure BDA0003266611110000021
上式中，K为内参矩阵，Hi为第i个靶标到图像平面的映射关系，
Figure BDA0003266611110000022
和
Figure BDA0003266611110000023
为外部参数；通过摄影测量法获取子靶标之间的转换矩阵Tt2,t1，作为求解多相机系统之间转换矩阵参数的关联条件；
S102、对于非重叠视场相机系统，令第一相机采集视场中第一子靶标的图像、第二相机采集视场中第二子靶标的图像，提取图像中的角点特征，得到第一子靶标到第一相机的转换矩阵Tt1,c1和第二子靶标到第二相机的转换矩阵Tt2,c2，并结合S101中得到的参数关联条件Tt2,t1，根据式为：
Figure BDA0003266611110000024
上式中，Tt2,t1为通过摄影测量法求得的固连靶标之间的转换矩阵，Tc2,c1为第二相机到第一相机的转换矩阵；
S103、结合非重叠视场相机系统标定的空间约束条件，构建重投影目标优化函数，考虑到相机的分辨率、畸变、成像角以及标定平面非共面带来的误差，实际计算求解中
Figure BDA0003266611110000025
为了降低z轴分量对标定结果的影响，通过在不同位置k获取靶标图像，得到靶标之间的转换矩阵Tt2,t1(k)，取平移分量在z轴偏差
Figure BDA0003266611110000026
最小时的Tt2,t1(k)作为靶标间的转换矩阵；
Figure BDA0003266611110000027
相机间的转换矩阵Rc2,c1和平移向量tc2,c1为待优化的固定值，根据实时解算的矩阵Rc2,c1和tc2,c1，在不同位置时刻，第二相机到第一相机的位置关系为：
Figure BDA0003266611110000028
则可以得到位置约束条件：
Figure BDA0003266611110000031
上式中，m和n分别为任意两个不同位置，[m-n]为根据图像特征点求得的第一相机到第二相机的外部参数差异，归一化便于计算；
不同相机在相同位置时的重投影误差不同，在不考虑镜头畸变时，根据径向一致性约束条件可知：
Figure BDA0003266611110000032
上式中，sxr1/Ty，sxr2/Ty，sxr3/Ty，sxTx/Ty，r4/Ty，r5/Ty，r6/Ty可以通过最小二乘法得到，sx，r1,L,r9，Tx，Ty，Tz可以通过旋转矩阵的正交性得到，则靶标上的坐标点可以表示为：
Figure BDA0003266611110000033
从上式中可以看出，靶标的坐标点与相机本身的焦距及畸变参数有关，同一目标点，经过多相机坐标系的转换后，其坐标的重投影误差是不相同的；
令靶标在位置i时，特征点j在第一子靶标和第二子靶标上的坐标为
Figure BDA0003266611110000034
和
Figure BDA0003266611110000035
为点
Figure BDA0003266611110000036
在第一子靶标坐标系中的齐次坐标，
Figure BDA0003266611110000037
为点
Figure BDA0003266611110000038
在第二子靶标坐标系中的齐次坐标，
Figure BDA0003266611110000039
和
Figure BDA00032666111100000310
分别为点
Figure BDA00032666111100000311
在无畸变图像和重投影图像的齐次坐标，则根据透视投影模型可得：
Figure BDA00032666111100000312
上式中，K1为第一相机的内部参数矩阵，K2为第二相机的内部参数矩阵；
则在相机系统中，靶标间的重投影误差可以表示为：
Figure BDA0003266611110000041
上式中，n1和n2分别为靶标中的特征点数量；
结合上述公式建立的约束条件，将靶标间的共面约束、相机与靶标的位置约束以及多相机间的重投影约束，采用非线性优化的方法，通过非重叠视场相机系统同时采集k个不同位置时的标定图像，优化相机之间的转换矩阵，依据最大似然准则构建目标优化函数，求解Tt2,t1和Tc2,c1的最优解：
Figure BDA0003266611110000042
Figure BDA0003266611110000043
上式中，k为靶标在不同位置拍摄的靶标图像，n1和n2分别为靶标中特征点的数量；利用Levenberg-Marquardt算法，对相机之间转换矩阵的12个参数进行优化，求解优化后非重叠相机之间的转换矩阵Tc2,c1。
进一步的，S2中标志物的位置信息获取的方法包含以下步骤：
S201、图像预处理：首先，获取S101的图像序列，结合相机的内部参数，对图像进行畸变校正，然后，采用基于结构森林的边缘检测算法，得到图像边缘结构的映射图；
S202、辅助线及角点候选区域的提取：在S201获取的边缘结构映射图的基础上，通过基于骨架提取的动态聚类算法，采用K3M顺序迭代的方法提取辅助线的骨架，并在Hough空间对直线进行聚类分析，若直线判断为某一类直线簇的内点，则在现有直线簇的类别中进行更新；若直线判断为直线簇的外点，则同时更新直线簇的类别和数量，最后，利用最小二乘算法拟合辅助线，并求解直线间交点作为角点区域；
S203、定位点候选区域的提取：为了增强标志物区域和背景之间的边缘结构差异，对边缘结构映射图中的背景与标志物的边缘结构进行增强处理，然后，对图像中的最大稳定极值区域进行提取，若满足设置的条件，则作为标志物的候选区；否则，作为干扰区域，删除该区域；
S204、标志物的识别：根据S202和S203生成的标志物候选区域，分别计算候选区域的二值化哈希编码，得到扩展直方图特征，然后采用预训练的PCANet网络结构进行分类识别。
进一步的，S3的视觉推算定位算法包括如下步骤：
S301、在相机安装位置固定的情况下，完成非重叠视场相机的标定，并且根据相机采集到的图像信息，采用基于LSD的聚类算法实现辅助线及角点区域的检测，实时检测移动平台与标志物的相对位置参数；
S302、基于时间一致性约束，根据前一帧实时检测的标志物位置信息，提取前一帧和当前帧图像中的ORB角点特征，计算汉明距离相似度，然后采用RANSAC进行特征匹配，预测当前帧中标志物的位置参数；
S303、根据S301中实时检测当前帧的标志物位置信息和S302中基于前一帧预测当前帧的标志物位置信息，利用空间位置一致性约束，计算耦合因子J(Si,Sj)和归一化强度值(NAIV)，与阈值Td进行比较，通过静态二值贝叶斯滤波更新标志物的概率，对定位的结果进行校正。
与现有技术相比，本方案的有益效果：
1、本方案针对非重叠视场相机的标定方法复杂、标定结果不稳定以及标定过程受场地范围的限制，根据无人机相机系统的空间位置、可重构小靶标间的转换矩阵，构建了无人机多相机系统间的重投影误差函数，并结合Levenberg-Marquardt算法进行参数优化，提出了一种基于空间位置约束的非重叠视场相机的精确标定方法。
2、本方案针对现有场景地面标志物的结构不明显，干扰较大，本发明采用了基于结构森林的边缘检测算法，对结构化的边缘进行图像增强处理；对于候选区的生成，辅助线及角点区域，采用基于骨架提取的动态聚类算法；对于定位点候选区域的生成，采用改进的MSER算法进行提取；此外，针对训练样本小的问题，采用PCANet分类器，对候选区域进行识别。实验结果表明：该算法的识别准确率、综合评价指标和单帧耗时均高于传统的算法。
3、本方案针对移动平台在特定场地的位姿参数估计问题，建立了视觉速度推算定位模型，提出基于时空一致性的推算定位算法。首先，构建车辆的视觉运动模型，对非重叠视场相机间的参数进行关联；通过时空一致性，对基于前一帧预测和当前帧检测的场景中的标志物进行融合，实时推算车辆和辅助线的相对角度和标志物的相对距离，提高定位精度。
附图说明
图1是本实施例中非重叠视场的多相机外部参数标定的流程图；
图2是本实施例中基于结构森林和PCANet的标志物检测与识别流程图；
图3是本实施例中标志物检测对比结果图；
图4是本实施例中视觉推算定位的流程图；
图5是本实施例中车辆位置推算结果图；
图6是本实施例中车辆北向位置误差图；
图7是本实施例中车辆东向位置误差图；
图8是本实施例中车辆航向角误差图。
具体实施方式
下面通过具体实施方式对本发明作进一步详细的说明：
实施例
一种空地协同车辆定位定向方法，包括如下步骤：
S1、构建图像采集系统：
采用无人机挂在工业相机来构建非重叠视场相机系统，在第一相机和第二相机内部参数已知的条件下，对非重叠视场的多相机进行外部参数标定，具体的外部参数标定步骤如下：
S101、将两个子靶标固连形成固连靶标，确保两个子靶标分别放置于第一相机和第二相机的视场中，再通过大视场相机获取不同位置时固连靶标的图像序列。根据PnP原理，可以求解小靶标到大视场相机的转换矩阵Tt1,c和Tt2,c，并且以相机坐标系为中介，根据式为：
Figure BDA0003266611110000061
上式中，K为内参矩阵，Hi为第i个靶标到图像平面的映射关系，
Figure BDA0003266611110000062
和
Figure BDA0003266611110000063
为外部参数。通过摄影测量法获取子靶标之间的转换矩阵Tt2,t1，作为求解多相机系统之间转换矩阵参数的关联条件；
S102、对于非重叠视场相机系统，令第一相机采集视场中第一子靶标的图像、第二相机采集视场中第二子靶标的图像，提取图像中的角点特征，得到第一子靶标到第一相机的转换矩阵Tt1,c1和第二子靶标到第二相机的转换矩阵Tt2,c2，并结合S101中得到的参数关联条件Tt2,t1，根据式为：
Figure BDA0003266611110000064
上式中，Tt2,t1为通过摄影测量法求得的固连靶标之间的转换矩阵，Tc2,c1为第二相机到第一相机的转换矩阵。
S103、结合非重叠视场相机系统标定的空间约束条件，构建重投影目标优化函数。考虑到相机的分辨率、畸变、成像角以及标定平面非共面带来的误差，实际计算求解中
Figure BDA0003266611110000071
为了降低z轴分量对标定结果的影响，通过在不同位置k获取靶标图像，得到靶标之间的转换矩阵Tt2,t1(k)。取平移分量在z轴偏差
Figure BDA0003266611110000072
最小时的Tt2,t1(k)作为靶标间的转换矩阵。
Figure BDA0003266611110000073
相机间的转换矩阵Rc2,c1和平移向量tc2,c1为待优化的固定值。根据实时解算的矩阵Rc2,c1和tc2,c1，在不同位置时刻，第二相机到第一相机的位置关系为：
Figure BDA0003266611110000074
则可以得到位置约束条件：
Figure BDA0003266611110000075
上式中，m和n分别为任意两个不同位置，[m-n]为根据图像特征点求得的第一相机到第二相机的外部参数差异，归一化便于计算。
不同相机在相同位置时的重投影误差不同。在不考虑镜头畸变时，根据径向一致性约束条件可知：
Figure BDA0003266611110000076
上式中，sxr1/Ty，sxr2/Ty，sxr3/Ty，sxTx/Ty，r4/Ty，r5/Ty，r6/Ty可以通过最小二乘法得到，sx，r1,L,r9，Tx，Ty，Tz可以通过旋转矩阵的正交性得到。则靶标上的坐标点可以表示为：
Figure BDA0003266611110000077
从上式中可以看出，靶标的坐标点与相机本身的焦距及畸变参数有关。同一目标点，经过多相机坐标系的转换后，其坐标的重投影误差是不相同的。
因此，为了构建重投影的目标函数，需要将相机间转换的因素考虑在内。令靶标在位置i时，特征点j在第一子靶标和第二子靶标上的坐标为
Figure BDA0003266611110000081
和
Figure BDA0003266611110000082
为点
Figure BDA0003266611110000083
在第一子靶标坐标系中的齐次坐标，
Figure BDA0003266611110000084
为点
Figure BDA0003266611110000085
在第二子靶标坐标系中的齐次坐标，
Figure BDA0003266611110000086
和
Figure BDA0003266611110000087
分别为点
Figure BDA0003266611110000088
在无畸变图像和重投影图像的齐次坐标。则根据透视投影模型可得：
Figure BDA0003266611110000089
上式中，K1为第一相机的内部参数矩阵，K2为第二相机的内部参数矩阵。
则在相机系统中，靶标间的重投影误差可以表示为：
Figure BDA00032666111100000810
上式中，n1和n2分别为靶标中的特征点数量。
结合上述公式建立的约束条件，将靶标间的共面约束、相机与靶标的位置约束以及多相机间的重投影约束，采用非线性优化的方法，通过非重叠视场相机系统同时采集k个不同位置时的标定图像，优化相机之间的转换矩阵，依据最大似然准则构建目标优化函数，求解Tt2,t1和Tc2,c1的最优解：
Figure BDA00032666111100000811
Figure BDA00032666111100000812
上式中，k为靶标在不同位置拍摄的靶标图像，n1和n2分别为靶标中特征点的数量。利用Levenberg-Marquardt算法，对相机之间转换矩阵的12个参数进行优化，求解优化后非重叠相机之间的转换矩阵Tc2,c1。
S2、标志物检测与识别：基于结构森林和PCANet的标志物检测对相机系统内获取的内部参数和外部参数进行分类识别，以获取标志物的位置信息。
标志物的位置信息获取的方法包含以下步骤：
S201、图像预处理：首先，获取S101的图像序列，结合相机的内部参数，对图像进行畸变校正，然后，采用基于结构森林的边缘检测算法，得到图像边缘结构的映射图；
S202、辅助线及角点候选区域的提取：在S201获取的边缘结构映射图的基础上，通过基于骨架提取的动态聚类算法，采用K3M顺序迭代的方法提取辅助线的骨架，并在Hough空间对直线进行聚类分析，若直线判断为某一类直线簇的内点，则在现有直线簇的类别中进行更新；若直线判断为直线簇的外点，则同时更新直线簇的类别和数量。最后，利用最小二乘算法拟合辅助线，并求解直线间交点作为角点区域；
S203、定位点候选区域的提取：为了增强标志物区域和背景之间的边缘结构差异，对边缘结构映射图中的背景与标志物的边缘结构进行增强处理，然后，对图像中的最大稳定极值区域进行提取，若满足设置的条件，则作为标志物的候选区；否则，作为干扰区域，删除该区域；
S204、标志物的识别：根据S202和S203生成的标志物候选区域，分别计算候选区域的二值化哈希编码，得到扩展直方图特征，然后采用预训练的PCANet网络结构进行分类识别。
S3、车辆的定位定向：根据时空一致性的视觉推算定位算法，并结合S2中检测到的标志物位置信息，对车辆自身的方位进行估计，同时，采用状态滤波，实时估计车辆的位置和状态信息，为人员提供辅助驾驶信息。
通过构建视觉速度运动模型，对移动平台在场景中的位置进行基于时空一致性的推算，具体的视觉推算定位方法包括步骤如下：
S301、在相机安装位置固定的情况下，完成非重叠视场相机的标定。并且根据相机采集到的图像信息，采用基于LSD的聚类算法实现辅助线及角点区域的检测，实时检测移动平台与标志物的相对位置参数；
S302、基于时间一致性约束，根据前一帧实时检测的标志物位置信息，提取前一帧和当前帧图像中的ORB角点特征，计算汉明距离相似度，然后采用RANSAC进行特征匹配，预测当前帧中标志物的位置参数；
S303、根据S301中实时检测当前帧的标志物位置信息和S302中基于前一帧预测当前帧的标志物位置信息，利用空间位置一致性约束，计算耦合因子J(Si,Sj)和归一化强度值(NAIV)，与阈值Td进行比较，通过静态二值贝叶斯滤波更新标志物的概率，对定位的结果进行校正。
本方案的效果通过以下仿真实验进行说明：
1、仿真条件
为了验证本方案的有效性，所用到的图像处理设备需满足：工作环境为i7-7700处理器，频率为2.8GHz，8G内存和HD630图像显卡，程序的运行环境为VS2013配置Opencv2.4.10图像处理库，用于测试的标志物图像大小为320×180。
2、仿真实验
在第一相机和第二相机内部参数已知的条件下，对非重叠视场的多相机进行外部参数标定，其流程图如图1所示。
为了验证非重叠视场相机的全局标定，构建了实验系统，基于结构森林和PCANet的标志物检测与识别的流程如图2所示，其检测对比结果如图3所示。
通过构建视觉速度运动模型，对移动平台在场景中的位置进行基于时空一致性的推算，具体的推算步骤如图4所示。
在视觉推算定位的过程中，通过采集序列图像，解算移动平台与标志物的方位参数。为了对本文视觉定位算法进行定量分析，与直线和单特征点的移动机器人视觉推算定位法的推算定位算法进行对比。
实验结果如图5所示，分别为车辆作直线和非直线运动情况下推算的运动轨迹。从图5中可以看出，相对于直线和单特征点的移动机器人视觉推算定位法，本方案更接近于车辆的真实运动轨迹。进一步分析图6-8可知，本发明提出的视觉推算定位算法的北向位置误差和东向位置误差均小于对比算法。本方案对多相机的视觉信息进行了融合，提高了定位的精度。
以上的仅是本发明的实施例，方案中公知的具体结构和/或特性等常识在此未作过多描述。应当指出，对于本领域的技术人员来说，在不脱离本发明结构的前提下，还可以作出若干变形和改进，这些也应该视为本发明的保护范围，这些都不会影响本发明实施的效果和专利的实用性。本申请要求的保护范围应当以其权利要求的内容为准，说明书中的具体实施方式等记载可以用于解释权利要求的内容。

Claims (4)

1.一种空地协同车辆定位定向方法，其特征在于：包括如下步骤：
S1、构建图像采集系统：采用无人机挂载工业相机来构建非重叠视场相机系统，求解相机之间的坐标变换，获取多相机的内部参数和外部参数，用于畸变图像的校正以及局部场景信息的构成；
S2、标志物检测与识别：基于结构森林和PCANet的标志物检测对相机系统内获取的内部参数和外部参数进行分类识别，以获取标志物的位置信息；
S3、车辆的定位定向：根据时空一致性的视觉推算定位算法，并结合S2中检测到的标志物位置信息，对车辆自身的方位进行估计，同时，采用状态滤波，实时估计车辆的位置和状态信息。
2.根据权利要求1所述的一种空地协同车辆定位定向方法，其特征在于：S1中外部参数的获取方法采用如下步骤：
S101、将两个子靶标(即第一子靶标和第二子靶标)固连形成固连靶标，确保两个子靶标分别放置于第一相机和第二相机的视场中，再通过大视场相机获取不同位置时固连靶标的图像序列，根据PnP原理，可以求解固连靶标到大视场相机的转换矩阵Tt1,c和Tt2,c，并且以相机坐标系为中介，根据式为：
Figure FDA0003266611100000011
上式中，K为内参矩阵，Hi为第i个靶标到图像平面的映射关系，
Figure FDA0003266611100000012
和
Figure FDA0003266611100000013
为外部参数；通过摄影测量法获取子靶标之间的转换矩阵Tt2,t1，作为求解多相机系统之间转换矩阵参数的关联条件；
S102、对于非重叠视场相机系统，令第一相机采集视场中第一子靶标的图像、第二相机采集视场中第二子靶标的图像，提取图像中的角点特征，得到第一子靶标到第一相机的转换矩阵Tt1,c1和第二子靶标到第二相机的转换矩阵Tt2,c2，并结合S101中得到的参数关联条件Tt2,t1，根据式为：
Figure FDA0003266611100000014
上式中，Tt2,t1为通过摄影测量法求得的固连靶标之间的转换矩阵，Tc2,c1为第二相机到第一相机的转换矩阵；
S103、结合非重叠视场相机系统标定的空间约束条件，构建重投影目标优化函数，考虑到相机的分辨率、畸变、成像角以及标定平面非共面带来的误差，实际计算求解中
Figure FDA0003266611100000021
为了降低z轴分量对标定结果的影响，通过在不同位置k获取靶标图像，得到靶标之间的转换矩阵Tt2,t1(k)，取平移分量在z轴偏差
Figure FDA0003266611100000022
最小时的Tt2,t1(k)作为靶标间的转换矩阵；
Figure FDA0003266611100000023
相机间的转换矩阵Rc2,c1和平移向量tc2,c1为待优化的固定值，根据实时解算的矩阵Rc2,c1和tc2,c1，在不同位置时刻，第二相机到第一相机的位置关系为：
Figure FDA0003266611100000024
则可以得到位置约束条件：
Figure FDA0003266611100000025
上式中，m和n分别为任意两个不同位置，[m-n]为根据图像特征点求得的第一相机到第二相机的外部参数差异，归一化便于计算；
不同相机在相同位置时的重投影误差不同，在不考虑镜头畸变时，根据径向一致性约束条件可知：
Figure FDA0003266611100000026
上式中，sxr1/Ty，sxr2/Ty，sxr3/Ty，sxTx/Ty，r4/Ty，r5/Ty，r6/Ty可以通过最小二乘法得到，sx，r1,L,r9，Tx，Ty，Tz可以通过旋转矩阵的正交性得到，则靶标上的坐标点可以表示为：
Figure FDA0003266611100000027
从上式中可以看出，靶标的坐标点与相机本身的焦距及畸变参数有关，同一目标点，经过多相机坐标系的转换后，其坐标的重投影误差是不相同的；
令靶标在位置i时，特征点j在第一子靶标和第二子靶标上的坐标为
Figure FDA0003266611100000031
和
Figure FDA0003266611100000032
Figure FDA0003266611100000033
为点
Figure FDA0003266611100000034
在第一子靶标坐标系中的齐次坐标，
Figure FDA0003266611100000035
为点
Figure FDA0003266611100000036
在第二子靶标坐标系中的齐次坐标，
Figure FDA0003266611100000037
和
Figure FDA0003266611100000038
分别为点
Figure FDA0003266611100000039
在无畸变图像和重投影图像的齐次坐标，则根据透视投影模型可得：
Figure FDA00032666111000000310
上式中，K1为第一相机的内部参数矩阵，K2为第二相机的内部参数矩阵；
则在相机系统中，靶标间的重投影误差可以表示为：
Figure FDA00032666111000000311
上式中，n1和n2分别为靶标中的特征点数量；
结合上述公式建立的约束条件，将靶标间的共面约束、相机与靶标的位置约束以及多相机间的重投影约束，采用非线性优化的方法，通过非重叠视场相机系统同时采集k个不同位置时的标定图像，优化相机之间的转换矩阵，依据最大似然准则构建目标优化函数，求解Tt2,t1和Tc2,c1的最优解：
Figure FDA00032666111000000312
Figure FDA00032666111000000313
上式中，k为靶标在不同位置拍摄的靶标图像，n1和n2分别为靶标中特征点的数量；利用Levenberg-Marquardt算法，对相机之间转换矩阵的12个参数进行优化，求解优化后非重叠相机之间的转换矩阵Tc2,c1。
3.根据权利要求2所述的一种空地协同车辆定位定向方法，其特征在于：S2中标志物的位置信息获取的方法包含以下步骤：
S201、图像预处理：首先，获取S101的图像序列，结合相机的内部参数，对图像进行畸变校正，然后，采用基于结构森林的边缘检测算法，得到图像边缘结构的映射图；
S202、辅助线及角点候选区域的提取：在S201获取的边缘结构映射图的基础上，通过基于骨架提取的动态聚类算法，采用K3M顺序迭代的方法提取辅助线的骨架，并在Hough空间对直线进行聚类分析，若直线判断为某一类直线簇的内点，则在现有直线簇的类别中进行更新；若直线判断为直线簇的外点，则同时更新直线簇的类别和数量，最后，利用最小二乘算法拟合辅助线，并求解直线间交点作为角点区域；
S203、定位点候选区域的提取：为了增强标志物区域和背景之间的边缘结构差异，对边缘结构映射图中的背景与标志物的边缘结构进行增强处理，然后，对图像中的最大稳定极值区域进行提取，若满足设置的条件，则作为标志物的候选区；否则，作为干扰区域，删除该区域；
S204、标志物的识别：根据S202和S203生成的标志物候选区域，分别计算候选区域的二值化哈希编码，得到扩展直方图特征，然后采用预训练的PCANet网络结构进行分类识别。
4.根据权利要求3所述的一种空地协同车辆定位定向方法，其特征在于：S3的视觉推算定位算法包括如下步骤：
S301、在相机安装位置固定的情况下，完成非重叠视场相机的标定，并且根据相机采集到的图像信息，采用基于LSD的聚类算法实现辅助线及角点区域的检测，实时检测移动平台与标志物的相对位置参数；
S302、基于时间一致性约束，根据前一帧实时检测的标志物位置信息，提取前一帧和当前帧图像中的ORB角点特征，计算汉明距离相似度，然后采用RANSAC进行特征匹配，预测当前帧中标志物的位置参数；
S303、根据S301中实时检测当前帧的标志物位置信息和S302中基于前一帧预测当前帧的标志物位置信息，利用空间位置一致性约束，计算耦合因子J(Si,Sj)和归一化强度值(NAIV)，与阈值Td进行比较，通过静态二值贝叶斯滤波更新标志物的概率，对定位的结果进行校正。
CN202111089102.1A 2021-09-16 2021-09-16 一种空地协同车辆定位定向方法 Pending CN113971697A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111089102.1A CN113971697A (zh) 2021-09-16 2021-09-16 一种空地协同车辆定位定向方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111089102.1A CN113971697A (zh) 2021-09-16 2021-09-16 一种空地协同车辆定位定向方法

Publications (1)

Publication Number Publication Date
CN113971697A true CN113971697A (zh) 2022-01-25

Family

ID=79586731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111089102.1A Pending CN113971697A (zh) 2021-09-16 2021-09-16 一种空地协同车辆定位定向方法

Country Status (1)

Country Link
CN (1) CN113971697A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119762A (zh) * 2022-01-29 2022-03-01 深圳思谋信息科技有限公司 明暗交替视场中的元件定位方法、装置、设备和存储介质
CN116929350A (zh) * 2023-08-23 2023-10-24 南京理工大学 一种基于数据链测距的快速临机重构协同导航系统及方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114119762A (zh) * 2022-01-29 2022-03-01 深圳思谋信息科技有限公司 明暗交替视场中的元件定位方法、装置、设备和存储介质
CN114119762B (zh) * 2022-01-29 2022-04-29 深圳思谋信息科技有限公司 明暗交替视场中的元件定位方法、装置、设备和存储介质
CN116929350A (zh) * 2023-08-23 2023-10-24 南京理工大学 一种基于数据链测距的快速临机重构协同导航系统及方法
CN116929350B (zh) * 2023-08-23 2023-11-21 南京理工大学 一种基于数据链测距的快速临机重构协同导航系统及方法

Similar Documents

Publication Publication Date Title
EP3371671B1 (en) Method, device and assembly for map generation
CN108647646B (zh) 基于低线束雷达的低矮障碍物的优化检测方法及装置
CN109099929B (zh) 基于场景指纹的智能车定位装置及方法
Lothe et al. Real-time vehicle global localisation with a single camera in dense urban areas: Exploitation of coarse 3d city models
CN113971697A (zh) 一种空地协同车辆定位定向方法
Dawood et al. Harris, SIFT and SURF features comparison for vehicle localization based on virtual 3D model and camera
CN113885046A (zh) 针对低纹理车库的智能网联汽车激光雷达定位系统及方法
Bai et al. Stereovision based obstacle detection approach for mobile robot navigation
CN112805766A (zh) 用于更新详细地图的装置和方法
Batista et al. Lane detection and estimation using perspective image
CN114998276A (zh) 一种基于三维点云的机器人动态障碍物实时检测方法
CN117152249A (zh) 基于语义一致性的多无人机协同建图与感知方法及系统
Tao et al. Automated processing of mobile mapping image sequences
Zhang et al. Bundle adjustment for monocular visual odometry based on detected traffic sign features
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
CN111239761B (zh) 一种用于室内实时建立二维地图的方法
CN112802095B (zh) 定位方法、装置及设备、以及自动驾驶定位系统
CN111860084B (zh) 图像特征的匹配、定位方法及装置、定位系统
JP2018116147A (ja) 地図作成装置、地図作成方法及び地図作成用コンピュータプログラム
CN113554705A (zh) 一种变化场景下的激光雷达鲁棒定位方法
Kang et al. A Visual SLAM Algorithm Based on Dynamic Feature Point Filtering
CN112798020A (zh) 一种用于评估智能汽车定位精度的系统及方法
CN112258391A (zh) 一种基于道路交通标线的碎片化地图拼接方法
CN117649619B (zh) 无人机视觉导航定位回收方法、系统、装置及可读存储介质
Krecht et al. Questions Regarding the Applicability of a LiDAR-Based SLAM Method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination