CN112488029B - 一种基于空地协同的车辆检测方法 - Google Patents
一种基于空地协同的车辆检测方法 Download PDFInfo
- Publication number
- CN112488029B CN112488029B CN202011458026.2A CN202011458026A CN112488029B CN 112488029 B CN112488029 B CN 112488029B CN 202011458026 A CN202011458026 A CN 202011458026A CN 112488029 B CN112488029 B CN 112488029B
- Authority
- CN
- China
- Prior art keywords
- target
- detection
- ground
- air
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 145
- 239000011159 matrix material Substances 0.000 claims abstract description 91
- 230000004927 fusion Effects 0.000 claims abstract description 55
- 230000000007 visual effect Effects 0.000 claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000001914 filtration Methods 0.000 claims abstract description 10
- 230000010354 integration Effects 0.000 claims abstract description 6
- 230000009466 transformation Effects 0.000 claims description 10
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 4
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 12
- 230000008447 perception Effects 0.000 abstract description 6
- 230000004888 barrier function Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 21
- 230000008569 process Effects 0.000 description 5
- 238000011161 development Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及一种基于空地协同的车辆检测方法,属于无人驾驶技术中的道路环境感知领域。该方法包括:获取空地视角下的车辆检测结果,并构建空地视角下的目标检测点阵;对空地视角下的目标检测点阵进行配准融合一体化;最后利用前一帧的目标检测融合结果滤除当前帧目标检测融合点阵中的误检测目标点。本发明可以准确地在障碍物遮挡、相机抖动及转弯的情况下对目标车辆实现检测,提升了目标检测系统的准确率、精度和鲁棒性。
Description
技术领域
本发明属于无人驾驶技术中的道路环境感知领域,涉及一种基于空地协同的车辆检测方法。
背景技术
近年来,人工智能技术被应用于汽车领域中,无人驾驶技术应运而生。智能车环境感知系统作为无人驾驶技术中的重要组成部分,对无人驾驶技术的发展起到至关重要的作用。而由于摄像头的成本相对较低,因此基于图像的目标检测技术在智能车环境感知领域中的应用愈加广泛,并在我国无人驾驶和智能车环境感知领域中取得了举足轻重的地位。
目前,随着小型无人机航拍技术的发展,航拍技术已成为获取图像的重要途径之一。无人机在获取图像时,具有机动灵活、观测范围大、观测死角少、起降方便等特点,因此无人机航拍技术已经成为智能车环境感知领域的重要帮手。无人机视角下的目标检测技术在智能车环境感知系统中主要用于对车载目标检测识别系统进行辅助和补充,解决基于车载目标检测识别系统因前方障碍物遮挡、车辆颠簸所带来的图像出现离群值、仿射变换和非刚性变换的问题。但是,现有的检测识别系统中,无人机和车辆是两套独立的识别系统,不能将采集的地空视角数据融合处理,其协同效果不佳。
发明内容
有鉴于此,本发明的目的在于提供一种基于空地协同的车辆检测方法,主要针对目标车辆被障碍物遮挡和车辆颠簸导致摄像头抖动等情况下的车辆检测问题。可应用于普通道路场景下对目标车辆进行检测,还可应用于智能口岸系统中的无人跨运车行驶场景以及警用监控追踪场景等环境复杂、障碍物较多、干扰较大的场景当中;用于提升智能车目标检测系统的准确率、精度和鲁棒性,及时发现智能车在行驶时的潜在碰撞威胁。
为达到上述目的,本发明提供如下技术方案:
一种基于空地协同的车辆检测方法,具体包括以下步骤:
S1:获取无人机和智能车视角下的车辆检测结果;
S2:构建空地视角下的目标检测点阵;
S3:对空地视角下的目标检测点阵进行配准融合一体化;
S4:利用前一帧空地目标检测融合结果滤除当前帧融合点阵的误检测目标点,获取当前帧的空地目标检测融合结果。
进一步,步骤S1中,获取无人机和智能车视角下的车辆检测结果,具体包括:
S11:采用微光摄像头采集道路车辆图像数据,摄像头采集形式为固定视频采集,并安装在智能车的车前方以及无人机机身正下方,无人机位于智能车正上方;
S12:将空地视角下采集到的图像数据输入至Faster R-CNN网络中,分别获取空地视角下的目标检测矩形框。
进一步,步骤S2中,构建空地视角下的目标检测点阵,具体包括:
S21:根据获取的空地视角下的车辆检测矩形框,计算目标检测矩形框中心点的坐标值,并利用中心点表征和替代矩形检测框;
S22:利用所有目标检测框的中心点,分别构建空地视角下同一帧的目标检测点阵a={ai,i=1,2,…,n}和b={bj,j=1,2,…,m},其中n和m分别是车载和无人机视角下空地目标检测点阵的目标中心点点数。
进一步,步骤S3中,对空地视角下的目标检测点阵进行配准融合一体化,具体包括:
S33:获取空地视角下同一帧点阵之间,各个检测点所表征的检测目标之间的颜色特征差异矩阵Cab,该矩阵中第i行第j列元素表示检测目标ai和bj之间的颜色特征差异;最后,对颜色特征差异矩阵和全局、局部结构差异矩阵进行归一化处理;
S34:混合颜色特征差异和点阵的全局、局部结构特征差异,获取空地目标之间的混合特征差异,并定义空地视角下目标检测点阵之间的目标点对应关系矩阵为M,构建基于混合特征的成本函数E(M);随后最小化成本函数的值,求解出空地点阵目标的对应关系矩阵。
S35:构建空地目标检测点阵之间的配准融合一体化目标函数f(a,b),然后对目标函数进行正交三角分解,获取仿射系数矩阵和非刚性形变系数矩阵的最小二乘解,从而求解出目标函数的最小值,进而获取变换融合之后的点阵a;
S36:迭代求解目标点对应关系以及对点阵a进行变换融合两个步骤,直至空地目标检测点阵之间的对应点距离均小于阈值T1;
S37:计算空地目标检测点阵中每一对对应目标点之间的中心点,利用所有中心点和空地目标检测点阵中的无对应关系目标点,构建初步融合点阵c;
S38:分别将点阵a和b配准融合至点阵c中,随后重新计算点阵a、b之间的中心点用以构建新的点阵c,迭代此步骤直至点阵a、b之间的对应点距离均小于阈值T2,最后获取空地目标检测融合点阵c。
更进一步,步骤S34中,构建的基于混合特征的成本函数为:
更进一步,步骤S35中,构建空地目标检测点阵之间的配准融合一体化目标函数为:
其中,d表示仿射系数矩阵,ω表示非刚性形变系数矩阵,是n维行向量且在二维图像中的定义为:ac是从点阵a中选出来的一组控制点;正规化参数λ用于调节非刚性形变系数矩阵ω,其目的是通过控制ω的大小从而对点阵a进行非刚性或刚性变换。
进一步,步骤S4中,利用前一帧空地目标检测融合结果滤除当前帧融合点阵的误检测目标点,具体包括:
S41:获取前一帧的目标检测融合结果,构建椭圆模型将所有检测目标包含在内,并将椭圆模型投影至目标检测融合点阵中;
S42:获取目标检测融合点阵中未被椭圆模型包含的离群目标点,计算所有离群目标点和椭圆模型的距离,将距离大于阈值T3的离群目标点滤除;
S43:获取最终的空地目标检测融合点阵c,并将目标点恢复为检测矩形框的形式。
本发明的有益效果在于:
1)与基于车载摄像头的目标车辆检测系统相比,本发明利用无人机机载摄像头对智能车平台的目标车辆检测系统进行辅助和补充,不仅拓宽了智能车平台车辆检测系统的检测视野范围,还可以及时检测到被障碍物遮挡的目标车辆,使得智能车在行驶过程中发现更多的潜在碰撞威胁。
2)本发明利用点阵配准和图像决策级融合的思想,首先提取Faster R-CNN网络检测矩形框的中心点构建空地目标检测点阵,然后利用检测目标的颜色特征和点阵的结构特征以及变换融合函数和薄板样条插值函数,将无人机视角下的目标检测点阵同时配准并融合至智能车视角的目标检测点阵中,提升了智能车平台目标车辆检测的范围、准确率和鲁棒性。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作优选的详细描述,其中:
图1为本发明基于空地协同的车辆检测方法的结构图;
图2为本发明涉及的场景示意图;
图3为本发明基于空地协同的车辆检测方法的整体流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。
请参阅图1~图3,本实施例选用微光摄像机作为图像数据采集传感器,并在VS2013环境中编写算法以实现本发明设计的基于空地协同的车辆检测方法。空地协同检测的场景示意图如图2所示。
本发明设计的基于空地协同的车辆检测方法,其思路结构如图1所示,具体包括以下步骤:
步骤1:获取无人机和智能车视角下的车辆检测结果,具体过程如下:
步骤1.1:采用机载和车载摄像头获取道路车辆图像数据,摄像头采集形式为固定视频采集,并安装在智能车的车前方和无人机机身正下方,无人机位于智能车正上方3-12米处,摄像头的摄像广角大于110度,分辨率大于640*480,以每秒钟30帧的速率采集道路车辆图像数据。
步骤1.2:将空地视角下采集到的图像数据输入至Faster R-CNN网络中,分别获取空地视角下的目标检测矩形框。
步骤2:构建空地视角下的目标检测点阵,具体过程如下:
步骤2.1:获取空地视角下的车辆检测矩形框,然后计算目标检测矩形框中心点的坐标值,并利用中心点表征和替代矩形检测框;
步骤2.2:利用所有目标检测框的中心点,分别构建空地视角下同一帧的目标检测点阵a={ai,i=1,2,…,n}和b={bj,j=1,2,…,m},其中n和m分别是空地目标检测点阵的目标中心点点数。
步骤3:对空地视角下的目标检测点阵进行配准融合一体化,具体过程如下:
步骤3.1:获取空地视角下同一帧点阵之间的全局结构差异矩阵Gab,该矩阵中第i行第j列元素的含义为ai和bj点之间的全局结构差异,该差异定义为ai和bj的全局结构特征之差的绝对值,空地目标检测点阵中某一点的全局结构特征被定义为:首先计算该点与点阵中其余点的欧氏距离的平方和,随后以该点为角点并获取该角点的最近点,依次计算角点及其最近点和点阵中其余各点所构成角度的角度和,将距离平方和以及角度和相加即为某一点的全局结构特征;
步骤3.2:获取空地视角下同一帧点阵之间的局部结构差异矩阵Lab,该矩阵中第i行第j列元素表示ai和bj之间的局部结构差异。ai和bj之间的局部结构差异被定义为:将ai点及其K个最近点保持其拓扑结构不变,通过ai和bj点之间的向量平移至bj点的坐标中,使ai和bj点重合,然后计算ai和bj点各自K个最近点之间的欧式距离的平方和,同时以重合点为角点,计算K对最近点之间的角度的和,最后将距离平方和与角度和相加表示ai和bj点之间的局部结构差异。其中,K的取值可依据点阵中目标点的数量自由调整,当某一帧点阵的目标点少于4时,则K的值取为n-1或m-1;
步骤3.3:获取空地视角下同一帧点阵之间,各个检测点所表征的检测目标之间的颜色特征差异矩阵Cab,该矩阵中第i行第j列的元素表示检测目标ai和检测目标bj之间的颜色特征差异。检测目标ai的颜色特征采用颜色统计直方图表示,其中S表示检测点ai所对应的目标矩形检测框内的像素个数,分别表示检测框内的R、G、B颜色直方图中色阶为l的像素个数。因此检测目标ai和bj之间的颜色特征差异定义为:最后,对颜色特征差异矩阵和全局、局部结构差异矩阵进行归一化处理;
步骤3.4:首先混合颜色特征差异和点阵的全局、局部结构特征差异,获取空地目标之间的混合特征差异,并定义空地目标检测点阵之间的目标点对应关系矩阵为M,然后构建基于混合特征的成本函数如下公式所示:
其中,表示空地目标之间的混合特征差异,Mij是对应关系矩阵中的元素且满足:和α表示权重系数,用于调节全局结构差异和颜色特征差异在成本函数中的比重。随后,采用线性分配方法最小化函数的值,求解出空地点阵目标的对应关系矩阵M。
步骤3.5:构建空地目标检测点阵之间的配准融合一体化目标函数如下公式所示:
其中,d表示仿射系数矩阵,ω表示非刚性形变系数矩阵,是n维行向量且在二维图像中的定义为:ac是从点阵a中选出来的一组控制点;正规化参数λ用于调节非刚性形变系数矩阵ω,其目的是通过控制ω的大小从而使得点阵a进行非刚性或刚性变换。随后,对目标函数进行正交三角分解,获取仿射系数矩阵和非刚性形变系数矩阵的最小二乘解,从而求解出目标函数的最小值,进而获取变换融合之后的点阵a;
步骤3.6:迭代求解目标点对应关系以及对点阵a进行变换融合两个步骤,直至空地目标检测点阵之间的对应点距离均小于阈值T1,该阈值设定为点阵b中最近两点间距离的1/10;
步骤3.7:计算空地目标检测点阵中每一对相对应目标点之间的中心点,利用所有中心点和空地目标检测点阵中的无对应关系目标点,构建初步融合点阵c;
步骤3.8:分别将点阵a和b配准融合至点阵c中,随后重新计算点阵a、b之间的中心点用以构建新的点阵c,迭代此步骤直至点阵a、b之间的对应点距离均小于阈值T2,该阈值取值可依据融合情况自由设置且需满足T2≤T1,最后获取空地目标检测融合点阵c。
步骤4:利用前一帧空地目标检测融合结果滤除当前帧融合点阵的误检测目标点,具体过程如下:
步骤4.1:获取前一帧的目标检测融合结果,构建椭圆模型将所有检测目标包含在内,并将椭圆模型投影至目标检测融合点阵中;
步骤4.2:获取目标检测融合点阵中未被椭圆模型包含的离群目标点,计算离群目标点和椭圆模型的距离,将距离大于阈值T3的目标点滤除,阈值T3设定为椭圆模型短轴长度的1/2;
步骤4.3:获取最终的空地目标检测融合点阵c,并将目标点恢复为检测矩形框的形式,某目标点矩形框的尺寸设定为该目标点在空地视角下检测矩形框的最大一方。
如图3所示,本发明基于空地协同的车辆检测方法的整体流程为:
1)采集空地视角下的图像数据,利用Faster R-CNN网络获取目标车辆的检测矩形框,然后利用所有矩形框的中心点,分别构建空地视角下同一帧的目标检测点阵a和b;
2)获取空地视角下同一帧目标检测点阵之间的全局结构特征差异矩阵Gab、局部结构特征差异矩阵Lab,和每个目标点所表征的检测目标之间的颜色特征差异矩阵Cab;
3)混合颜色特征差异和点阵的全局、局部结构特征差异,建立混合特征差异矩阵,进而构建基于混合特征的成本函数E(M),随后最小化成本函数的值,求解出空地目标检测点阵之间的目标点对应关系矩阵M;
4)构建空地目标检测点阵之间的配准融合一体化目标函数f(a,b),然后对目标函数进行正交三角分解,获取仿射系数矩阵和非刚性形变系数矩阵的最小二乘解,从而求解出目标函数的最小值,进而获取变换融合之后的点阵a;
5)迭代求解目标点对应关系以及对点阵a进行变换融合两个步骤,直至空地目标检测点阵之间的对应点距离均小于阈值T1;否则返回步骤2);
6)计算空地目标检测点阵中每一对对应目标点之间的中心点,利用所有中心点和空地目标检测点阵中的无对应关系目标点,构建初步融合点阵c;
7)分别将点阵a和b配准融合至点阵c中,随后重新计算点阵a、b之间的中心点用于构建新的点阵c,迭代此步骤直至点阵a、b之间的对应点距离均小于阈值T2;否则返回步骤6);
8)获取融合点阵c,并利用前一帧的检测融合结果,滤除目标检测融合点阵c的离群目标点,获取当前帧的目标检测融合结果。
最后说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本技术方案的宗旨和范围,其均应涵盖在本发明的权利要求范围当中。
Claims (5)
1.一种基于空地协同的车辆检测方法,其特征在于,该方法具体包括以下步骤:
S1:获取无人机和智能车视角下的车辆检测矩形框;
S2:构建空地视角下的目标检测点阵,具体包括:
S21:根据获取的空地视角下的车辆检测矩形框,计算目标检测矩形框中心点的坐标值,并利用中心点表征和替代矩形检测框;
S22:利用所有目标检测框的中心点,分别构建空地视角下同一帧的目标检测点阵a={ai,i=1,2,…,n}和b={bj,j=1,2,…,m},其中n和m分别是车载和无人机视角下空地目标检测点阵的目标中心点点数;
S3:对空地视角下的目标检测点阵进行配准融合一体化,具体包括:
S31:获取空地视角下同一帧点阵之间的全局结构差异矩阵Gab,该矩阵中第i行第j列元素Gaibj表示ai和bj之间的全局结构差异;
S33:获取空地视角下同一帧点阵之间,各个检测点所表征的检测目标之间的颜色特征差异矩阵Cab,该矩阵中第i行第j列元素表示检测目标ai和bj之间的颜色特征差异;最后,对颜色特征差异矩阵和全局、局部结构差异矩阵进行归一化处理;
S34:混合颜色特征差异和点阵的全局、局部结构特征差异,获取空地目标之间的混合特征差异,并定义空地视角下目标检测点阵之间的目标点对应关系矩阵为M,构建基于混合特征的成本函数E(M);随后最小化成本函数的值,求解出空地点阵目标的对应关系矩阵;
S35:构建空地目标检测点阵之间的配准融合一体化目标函数f(a,b),然后对目标函数进行正交三角分解,获取仿射系数矩阵和非刚性形变系数矩阵的最小二乘解,从而求解出目标函数的最小值,进而获取变换融合之后的点阵a;
S36:迭代求解目标点对应关系以及对点阵a进行变换融合两个步骤,直至空地目标检测点阵之间的对应点距离均小于阈值T1;
S37:计算空地目标检测点阵中每一对对应目标点之间的中心点,利用所有中心点和空地目标检测点阵中的无对应关系目标点,构建初步融合点阵c;
S38:分别将点阵a和b配准融合至点阵c中,随后重新计算点阵a、b之间的中心点用以构建新的点阵c,迭代此步骤直至点阵a、b之间的对应点距离均小于阈值T2,最后获取空地目标检测融合点阵c;
S4:利用前一帧空地目标检测融合结果滤除当前帧融合点阵的误检测目标点,获取当前帧的空地目标检测融合结果。
2.根据权利要求1所述的基于空地协同的车辆检测方法,其特征在于,步骤S1中,获取无人机和智能车视角下的车辆检测结果,具体包括:
S11:采用摄像头采集道路车辆图像数据,摄像头采集形式为固定视频采集,并安装在智能车的车前方以及无人机机身正下方,无人机位于智能车正上方;
S12:将空地视角下采集到的图像数据输入至Faster R-CNN网络中,分别获取空地视角下的目标检测矩形框。
5.根据权利要求1所述的基于空地协同的车辆检测方法,其特征在于,步骤S4中,利用前一帧空地目标检测融合结果滤除当前帧融合点阵的误检测目标点,具体包括:
S41:获取前一帧的目标检测融合结果,构建椭圆模型将所有检测目标包含在内,并将椭圆模型投影至目标检测融合点阵中;
S42:获取目标检测融合点阵中未被椭圆模型包含的离群目标点,计算所有离群目标点和椭圆模型的距离,将距离大于阈值T3的离群目标点滤除;
S43:获取最终的空地目标检测融合点阵c,并将目标点恢复为检测矩形框的形式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011458026.2A CN112488029B (zh) | 2020-12-10 | 2020-12-10 | 一种基于空地协同的车辆检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011458026.2A CN112488029B (zh) | 2020-12-10 | 2020-12-10 | 一种基于空地协同的车辆检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112488029A CN112488029A (zh) | 2021-03-12 |
CN112488029B true CN112488029B (zh) | 2022-07-08 |
Family
ID=74917708
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011458026.2A Active CN112488029B (zh) | 2020-12-10 | 2020-12-10 | 一种基于空地协同的车辆检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112488029B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102867311A (zh) * | 2011-07-07 | 2013-01-09 | 株式会社理光 | 目标跟踪方法和目标跟踪设备 |
CN105469415A (zh) * | 2015-12-28 | 2016-04-06 | 云南师范大学 | 多视角遥感图像融合方法 |
CN108229685A (zh) * | 2016-12-14 | 2018-06-29 | 中国航空工业集团公司西安航空计算技术研究所 | 一种空地一体的无人智能决策方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19829170C2 (de) * | 1998-06-30 | 2001-03-29 | Thorsten Schormann | Berechnung und Darstellung 2- oder 3-dimensionaler Deformationen räumlicher Strukturen |
EP1780651A1 (en) * | 2005-10-25 | 2007-05-02 | Bracco Imaging, S.P.A. | Method and system for automatic processing and evaluation of images, particularly diagnostic images |
CN101887525A (zh) * | 2010-07-09 | 2010-11-17 | 北京师范大学 | 基于分级的正反互逆的三维稠密点集快速配准方法 |
CN104077601B (zh) * | 2014-07-08 | 2017-11-03 | 中国航空无线电电子研究所 | 一种利用不同类型信息进行目标综合识别的方法 |
CN104749576B (zh) * | 2015-04-08 | 2017-08-25 | 四川九洲空管科技有限责任公司 | 一种多雷达航迹关联融合方法 |
CN104730510B (zh) * | 2015-04-08 | 2017-06-06 | 四川九洲空管科技有限责任公司 | 一种多雷达航迹融合方法 |
US20160379074A1 (en) * | 2015-06-25 | 2016-12-29 | Appropolis Inc. | System and a method for tracking mobile objects using cameras and tag devices |
CN108764048B (zh) * | 2018-04-28 | 2021-03-16 | 中国科学院自动化研究所 | 人脸关键点检测方法及装置 |
CN110648351B (zh) * | 2019-09-19 | 2022-02-01 | 安徽大学 | 基于稀疏表示的多外观模型融合目标跟踪方法及其装置 |
CN110942449B (zh) * | 2019-10-30 | 2023-05-23 | 华南理工大学 | 一种基于激光与视觉融合的车辆检测方法 |
CN111079556B (zh) * | 2019-11-25 | 2023-08-15 | 航天时代飞鸿技术有限公司 | 一种多时相无人机视频图像变化区域检测及分类方法 |
CN111275760A (zh) * | 2020-01-16 | 2020-06-12 | 上海工程技术大学 | 一种基于5g与深度图像信息的无人机目标跟踪系统及方法 |
CN111487612B (zh) * | 2020-04-19 | 2022-07-12 | 中国人民解放军海军航空大学 | 基于cpd的异地配置雷达/esm航迹抗差关联方法 |
CN111860589B (zh) * | 2020-06-12 | 2023-07-18 | 中山大学 | 一种多传感器多目标协同探测信息融合方法、系统 |
-
2020
- 2020-12-10 CN CN202011458026.2A patent/CN112488029B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102867311A (zh) * | 2011-07-07 | 2013-01-09 | 株式会社理光 | 目标跟踪方法和目标跟踪设备 |
CN105469415A (zh) * | 2015-12-28 | 2016-04-06 | 云南师范大学 | 多视角遥感图像融合方法 |
CN108229685A (zh) * | 2016-12-14 | 2018-06-29 | 中国航空工业集团公司西安航空计算技术研究所 | 一种空地一体的无人智能决策方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112488029A (zh) | 2021-03-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110675431B (zh) | 一种融合图像和激光点云的三维多目标跟踪方法 | |
CN108932736B (zh) | 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法 | |
CN105300403B (zh) | 一种基于双目视觉的车辆里程计算法 | |
CN110988912A (zh) | 自动驾驶车辆的道路目标与距离检测方法、系统、装置 | |
CN106127683B (zh) | 一种无人机载sar图像实时拼接方法 | |
CN110859044A (zh) | 自然场景中的集成传感器校准 | |
CN115032651A (zh) | 一种基于激光雷达与机器视觉融合的目标检测方法 | |
CN111241988B (zh) | 一种结合定位信息的大场景内运动目标检测识别方法 | |
CN109263637B (zh) | 一种碰撞预测的方法及装置 | |
DE102019206036A1 (de) | Verfahren und Vorrichtung zur Bestimmung der geografischen Position und Orientierung eines Fahrzeugs | |
CN113627473A (zh) | 基于多模态传感器的水面无人艇环境信息融合感知方法 | |
DE102009050505A1 (de) | Detektion eines freien Pfads durch Strassenmodellerstellung | |
DE102009048892A1 (de) | Pixelbasierte strukturreiche Detektion eines freien Pfads | |
DE102021100101A1 (de) | Fahrzeugsensorkalibrierung | |
CN110197173B (zh) | 一种基于双目视觉的路沿检测方法 | |
CN112991433B (zh) | 基于双目深度感知和车辆位置的货车外廓尺寸测量方法 | |
CN116978009A (zh) | 基于4d毫米波雷达的动态物体滤除方法 | |
CN114973195A (zh) | 基于多信息融合的车辆追踪方法、装置及系统 | |
CN114120236B (zh) | 对低空目标进行识别定位的方法 | |
CN113971697B (zh) | 一种空地协同车辆定位定向方法 | |
DE102020100230A1 (de) | Rekonstruktion von landmarkenpositionen in autonomen maschinenanwendungen | |
CN114689030A (zh) | 一种基于机载视觉的无人机辅助定位方法及系统 | |
CN115267756A (zh) | 一种基于深度学习目标检测的单目实时测距方法 | |
DE102021129426A1 (de) | Verfahren und System zum Lernen eines neuralen Netzes zur Bestimmung eines Pose eines Fahrzeugs in einer Umgebung | |
CN112424568A (zh) | 构建高清地图的系统和方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |