CN114419571B - 一种面向无人驾驶车辆的目标检测定位方法及系统 - Google Patents

一种面向无人驾驶车辆的目标检测定位方法及系统 Download PDF

Info

Publication number
CN114419571B
CN114419571B CN202210320977.6A CN202210320977A CN114419571B CN 114419571 B CN114419571 B CN 114419571B CN 202210320977 A CN202210320977 A CN 202210320977A CN 114419571 B CN114419571 B CN 114419571B
Authority
CN
China
Prior art keywords
target
coordinate system
laser radar
coordinates
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210320977.6A
Other languages
English (en)
Other versions
CN114419571A (zh
Inventor
刘海鸥
陶俊峰
陈慧岩
尹旻
唐泽月
臧政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Technology BIT
Original Assignee
Beijing Institute of Technology BIT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Technology BIT filed Critical Beijing Institute of Technology BIT
Priority to CN202210320977.6A priority Critical patent/CN114419571B/zh
Publication of CN114419571A publication Critical patent/CN114419571A/zh
Application granted granted Critical
Publication of CN114419571B publication Critical patent/CN114419571B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/23Clustering techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

本发明涉及一种面向无人驾驶车辆的目标检测定位方法及系统,方法包括:获得投影矩阵;确定检测目标在图像中的2D包围盒的像素坐标和种类信息;将激光雷达数据和前一步骤的信息进行时间同步并滤波;将滤波后的激光雷达数据通过投影矩阵投影到检测图像中,获得对应图像中检测目标的2D包围盒内的激光雷达数据并聚类;对该激光雷达数据在x和y方向求均值,得到检测目标相对于激光雷达坐标系的坐标;计算检测目标相对于车辆中心坐标系原点处的相对坐标;获取车辆的UTM坐标,计算检测目标在UTM投影坐标系下的坐标,并转换到WGS1984地理坐标系下。本发明中的上述方法能够实时检测目标并获得目标在WGS1984坐标系下的经纬度坐标。

Description

一种面向无人驾驶车辆的目标检测定位方法及系统
技术领域
本发明涉及目标检测领域,特别是涉及一种面向无人驾驶车辆的目标检测定位方法及系统。
背景技术
无人驾驶车辆在执行巡逻和侦察任务中,经常需要检测特定目标并获取目标在WGS1984坐标系下的经纬度坐标。获取的经纬度坐标,除了可以为远程精准制导打击提供位置信息,还可以用以制作战场态势地图,对于无人作战意义重大。
而目前对于目标检测和定位的方法多数集中于检测目标,计算目标与车辆自身的相对距离,无法提供待检测目标在WGS1984坐标系下的经纬度坐标,且多数方法使用的目标检测方法实时性和检测准确率相对落后,因此本发明为了实现无人驾驶车辆在执行战场巡逻任务和侦察任务过程中,实时检测目标并获得目标在WGS1984坐标系下的经纬度坐标,提出了一种面向无人驾驶车辆的目标检测和定位的方法。
发明内容
本发明的目的是提供一种面向无人驾驶车辆的目标检测定位方法及系统,实时检测目标并获得目标在WGS1984坐标系下的经纬度坐标。
为实现上述目的,本发明提供了如下方案:
一种面向无人驾驶车辆的目标检测定位方法,所述方法包括:
S1:采集车辆前方图像数据和雷达点云数据;
S2:采用相机激光雷达联合标定方法获得激光雷达坐标系和像素坐标系之间的投影矩阵P;
S3:获取训练集;
S4:构建目标检测网络;
S5:基于所述训练集对所述目标检测网络进行训练;
S6:采用训练后的目标检测网络确定检测目标在图像中的2D包围盒的像素坐标和种类信息;
S7:实时采集激光雷达数据;
S8:将所述激光雷达数据和所述检测目标在图像中的2D包围盒的像素坐标和种类信息进行时间同步;
S9:将时间同步后的激光雷达数据进行滤波处理;
S10:将滤波后的激光雷达数据通过投影矩阵P投影到所述S6产生的检测图像中,获得对应图像中检测目标的2D包围盒内的激光雷达数据;
S11:对获得的2D包围盒内的激光雷达数据进行DBSCAN聚类;
S12:将聚类后得到的激光雷达数据作为检测目标对应的激光雷达数据,对该激光雷达数据在x和y方向求均值,得到检测目标相对于激光雷达坐标系的坐标(x1,y1);
S13:通过测量获得激光雷达坐标系相对于GPS安装点相对位置关系,并计算出检测目标相对于车辆中心坐标系原点Ov处的相对坐标(x2,y2);
S14:实时获取GPS安装点在WGS 1984地理坐标系下的经纬度坐标和航向角theta,将车辆经纬度坐标转换到UTM投影坐标系下得到车辆的UTM坐标(x0,y0),基于检测目标相对于车辆中心坐标系原点Ov处的相对坐标(x2,y2),计算得到检测目标在UTM投影坐标系下的坐标(x3,y3);
S15:将检测目标在UTM投影坐标系下的坐标(x3,y3)转换到WGS 1984地理坐标系下获得检测目标的经纬度坐标(x4,y4)。
可选的,所述获取训练集具体包括:
通过工业相机采集包含待检测目标的图像数据;
根据待检测目标的类别信息对采集的图像数据进行人工标注,利用开源标注工具,将图像中的待检测目标用2D包围盒框选起来,并赋予类别信息。
可选的,所述将时间同步后的激光雷达数据进行滤波处理具体采用RANSAC平面拟合算法去除地面反射激光雷达数据。
可选的,所述基于检测目标相对于车辆中心坐标系原点Ov处的相对坐标(x2,y2),计算得到检测目标在UTM投影坐标系下的坐标(x3,y3)具体采用以下公式:
x3=x0+x2*cos(theta)-y2*sin(theta)
y3=y0+x2*sin(theta)+y2*cos(theta)
其中,(x0,y0)为车辆的UTM坐标,(x2,y2)为检测目标相对于车辆中心坐标系原点Ov处的相对坐标(x2,y2),theta为GPS安装点在WGS 1984地理坐标系下的经纬度坐标和航向角。
基于本发明中的上述方法,本发明另外提供一种面向无人驾驶车辆的目标检测定位系统,所述系统包括:
数据采集模块,用于采集车辆前方图像数据和雷达点云数据;
投影矩阵确定模块,用于采用相机激光雷达联合标定方法获得激光雷达坐标系和像素坐标系之间的投影矩阵P;
训练集获取模块,用于获取训练集;
目标检测网络构建模块,用于构建目标检测网络;
训练模块,用于基于所述训练集对所述目标检测网络进行训练;
目标检测结果获取模块,用于采用训练后的目标检测网络确定检测目标在图像中的2D包围盒的像素坐标和种类信息;
激光雷达数据采集模块,用于实时采集激光雷达数据;
时间同步模块,用于将所述激光雷达数据和所述检测目标在图像中的2D包围盒的像素坐标和种类信息进行时间同步;
滤波模块,用于将时间同步后的激光雷达数据进行滤波处理;
投影模块,用于将滤波后的激光雷达数据通过投影矩阵P投影到目标检测结果获取模块产生的检测图像中,获得对应图像中检测目标的2D包围盒内的激光雷达数据;
聚类模块,用于对获得的2D包围盒内的激光雷达数据进行DBSCAN聚类;
第一坐标计算模块,用于将聚类后得到的激光雷达数据作为检测目标对应的激光雷达数据,对该激光雷达数据在x和y方向求均值,得到检测目标相对于激光雷达坐标系的坐标(x1,y1);
第二坐标计算模块,用于通过测量获得激光雷达坐标系相对于GPS安装点相对位置关系,并计算出检测目标相对于车辆中心坐标系原点Ov处的相对坐标(x2,y2);
第三坐标计算模块,用于实时获取GPS安装点在WGS 1984地理坐标系下的经纬度坐标和航向角theta,将车辆经纬度坐标转换到UTM投影坐标系下得到车辆的UTM坐标(x0,y0),基于检测目标相对于车辆中心坐标系原点Ov处的相对坐标(x2,y2),计算得到检测目标在UTM投影坐标系下的坐标(x3,y3);
坐标转换模块,用于将检测目标在UTM投影坐标系下的坐标(x3,y3)转换到WGS1984地理坐标系下获得检测目标的经纬度坐标(x4,y4)。
可选的,所述训练集获取模块具体包括:
通过工业相机采集包含待检测目标的图像数据;
根据待检测目标的类别信息对采集的图像数据进行人工标注,利用开源标注工具,将图像中的待检测目标用2D包围盒框选起来,并赋予类别信息。
可选的,所述滤波模块具体采用RANSAC平面拟合算法去除地面反射激光雷达数据。
可选的,所述基于检测目标相对于车辆中心坐标系原点Ov处的相对坐标(x2,y2),计算得到检测目标在UTM投影坐标系下的坐标(x3,y3)具体采用以下公式:
x3=x0+x2*cos(theta)-y2*sin(theta)
y3=y0+x2*sin(theta)+y2*cos(theta)
其中,(x0,y0)为车辆的UTM坐标,(x2,y2)为检测目标相对于车辆中心坐标系原点Ov处的相对坐标(x2,y2),theta为GPS安装点在WGS 1984地理坐标系下的经纬度坐标和航向角
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明中的上述方法及系统目标检测模块对图像的检测实时性高且准确率较高,Yolov5的目标检测网络,针对不同数据集,训练收敛速度快,模型可定制性强,模型推理速度快;激光雷达数据处理模块利用RANSAC平面拟合方法和DBSCAN聚类方法可以快速提取与待检测目标对应的激光雷达数据,提供检测目标相对于车辆中心的位置坐标;除了提供检测目标相对于车辆中心的相对位置外,本发明加入车辆定位模块,还可以提供车辆在WGS1984坐标系的经纬度坐标。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例一种面向无人驾驶车辆的目标检测定位方法流程图;
图2为本发明实施例一种面向无人驾驶车辆的目标检测定位方法流程框图;
图3为本发明实施例投影矩阵P获取示意图;
图4为本发明实施例激光雷达数据处理模块处理方法流程图;
图5为本发明实施例坐标转换示意图;
图6为本发明实施例一种面向无人驾驶车辆的目标检测定位系统结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种面向无人驾驶车辆的目标检测定位方法及系统,实时检测目标并获得目标在WGS1984坐标系下的经纬度坐标。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
该方法利用工控机、车身四周布置的工业相机、车顶架起的激光雷达、全球定位系统(GPS)和惯性导航系统,实现目标的检测和定位。所述工业相机,激光雷达,GPS和IMU之间通过ROS系统建立起节点间通信。
图1为本发明实施例一种面向无人驾驶车辆的目标检测定位方法流程图;图2为本发明实施例一种面向无人驾驶车辆的目标检测定位方法流程框图,结合图1和图2,本发明中的上述方法包括:
S1:采集车辆前方图像数据和雷达点云数据。
S2:如图3,采用相机激光雷达联合标定方法获得激光雷达坐标系和像素坐标系之间的投影矩阵P。
S3:获取训练集。
S4:构建目标检测网络。
S5:基于所述训练集对所述目标检测网络进行训练。
S6:采用训练后的目标检测网络确定检测目标在图像中的2D包围盒的像素坐标和种类信息。
具体的,工业相机实时采集图像数据,传输到目标检测模块,即目标检测网络,进行目标检测,获取目标类别信息和图像2D包围盒信息;所述目标检测模块采用Yolov5目标检测网络实现,先利用工业相机采集大量包含待检测目标的图像,人为标记待检测目标的再图像中的像素坐标和种类,制作图像目标检测数据集,然后利用该数据集对Yolov5目标检测网络进行训练,利用训练获得的目标检测模型实现多目标的实时检测,获取检测目标在图像中的2D包围盒的像素坐标和种类信息。
具体训练过程如下:
(1)通过工业相机采集大量包含待检测目标的图像数据,默认存储格式为jpg(此处默认待检测目标是已知的);(2)然后根据待检测目标的类别信息对采集的图像数据进行人工标注,利用开源标注工具,将图像中的待检测目标用2D包围盒框选起来,并赋予类别信息,此过程可以得到待检测目标在像素坐标系中的位置信息和类别信息,存储在与图像数据对应的txt文件中;(3)将标注好的图像数据和标注文件,分为训练集和测试集,比例为7:3,本发明中总采集了2000张包含待检测目标的图像数据,经过标注后,产生了2000个对应的标注文件,每一个标注文件中,对应存储着待检测目标在图像中2D包围盒所在的位置信息和待检测目标的类别信息;(4)在分好的训练集和测试集放到指定的文件夹下,利用Yolov5目标检测网络进行训练,本发明中使用的电脑CPU为INTEL 10代I7,GPU为NVIDIA2080TI,设置的训练轮数为300,在训练完成后,可以得到用于待检测目标的权重文件,这个权重文件将被用于实时检测过程中,当设置的训练轮数跑完,即认为训练完成,例如本发明中使用的训练轮数为300,训练轮数可以根据自己的需要设置。
S7:实时采集激光雷达数据。
S8:将所述激光雷达数据和所述检测目标在图像中的2D包围盒的像素坐标和种类信息进行时间同步。
S9:将时间同步后的激光雷达数据进行滤波处理。
S10:将滤波后的激光雷达数据通过投影矩阵P投影到步骤S6产生的检测图像中,获得对应图像中检测目标的2D包围盒内的激光雷达数据。
S11:对获得的2D包围盒内的激光雷达数据进行DBSCAN聚类。
S12:将聚类后得到的激光雷达数据作为检测目标对应的激光雷达数据,对该激光雷达数据在x和y方向求均值,得到检测目标相对于激光雷达坐标系的坐标(x1,y1)。
S13:通过测量获得激光雷达坐标系相对于GPS安装点相对位置关系,并计算出检测目标相对于车辆中心坐标系原点Ov处的相对坐标(x2,y2)。
如图4,激光雷达实时采集激光雷达数据和目标检测模块输出目标检测结果到激光雷达数据处理模块,该模块首先实现激光雷达数据和目标检测结果的时间同步,将时间同步的激光雷达数据进行滤波处理,该模块采用RANSAC平面拟合算法去除地面反射激光雷达数据,将滤波后的激光雷达数据通过投影矩阵P投影到步骤S6产生的检测图像中(通过步骤S2获得的投影矩阵P, 将滤波后的激光雷达点云数据,投影到与之时间同步的图像数据上,即将激光雷达坐标系的3D空间点投影到像素坐标系所在的2D平面上。将滤波后激光雷达点云数据投影到与之时间同步的检测图像上,是为了获取前述步骤产生的2D包围盒内所对应的激光雷达点云数据,而激光雷达点云数据是空间中的三维点,所以需要通过投影将三维空间点投影到二维平面上,这个过程只是为了确定哪些激光雷达点云数据经过投影之后落在2D包围盒内,将这部分点云数据提取出来之后,可用于测量待检测目标相对于车体坐标系的位置。此处提到的检测图像是经过步骤S6的目标实时检测处理之后,已经得到该图像中所包含的待检测目标的2D包围盒在像素坐标系上的位置和待检测目标的类别信息),获得对应图像中检测目标的2D包围盒内的激光雷达数据,该模块接着对获得的2D包围盒内的激光雷达数据进行DBSCAN聚类(经过投影之后,已经将激光雷达点云数据投影到图像所在的像素坐标系下,接下来需要将2D包围盒内的激光雷达点云数据提取出来进行聚类。由于投影之后,并不是所有的激光雷达点云数据都在2D包围盒内,我们只关心2D包围盒内的激光雷达点云数据,因为这部分数据对于测量待检测目标相对于车体坐标系的位置十分重要。提取出2D包围盒内的激光雷达点云数据之后,需要进行DBSCAN聚类,目标是为了将2D包围盒内所对应的激光雷达点云数据进一步进行滤波,将部分不属于待检测目标的激光雷达点云进行滤除,使得最后得到的激光雷达点云数据可以更加精准的计算出待检测目标相对于车体坐标系的位置),将聚类后得到的激光雷达数据作为检测目标对应的激光雷达数据,对该激光雷达数据在x和y方向求均值,得到检测目标相对于激光雷达坐标系的坐标(x1,y1),默认GPS安装点为车辆中心坐标系原点Ov,可以通过测量获得激光雷达坐标系相对于GPS安装点相对位置关系,可以计算出检测目标相对于车辆中心坐标系原点Ov处的相对坐标(x2,y2)。
S14:实时获取GPS安装点在WGS 1984地理坐标系下的经纬度坐标和航向角theta,将车辆经纬度坐标转换到UTM投影坐标系下得到车辆的UTM坐标(x0,y0),基于检测目标相对于车辆中心坐标系原点Ov处的相对坐标(x2,y2),计算得到检测目标在UTM投影坐标系下的坐标(x3,y3)。
S15:将检测目标在UTM投影坐标系下的坐标(x3,y3)转换到WGS 1984地理坐标系下获得检测目标的经纬度坐标(x4,y4)。
车辆定位模块通过GPS和IMU,实时获取GPS安装点在WGS 1984地理坐标系下的经纬度坐标和航向角theta,将车辆经纬度坐标转换到UTM (Universal TransverseMercator)投影坐标系下得到车辆的UTM坐标(x0,y0),结合步骤3获得的目标相对于车辆中心坐标系原点Ov的坐标(x2,y2),通过以下公式,得到检测目标在UTM投影坐标系下的坐标(x3,y3),如图5所示;再转换到WGS 1984地理坐标系下获得检测目标的经纬度坐标(x4,y4)。
x3=x0+x2*cos(theta)-y2*sin(theta)
y3=y0+x2*sin(theta)+y2*cos(theta)
图6为本发明实施例一种面向无人驾驶车辆的目标检测定位系统结构示意图,如图6所示,所述系统包括:
数据采集模块201,用于采集车辆前方图像数据和雷达点云数据。
投影矩阵确定模块202,用于采用相机激光雷达联合标定方法获得激光雷达坐标系和像素坐标系之间的投影矩阵P。
训练集获取模块203,用于获取训练集。
目标检测网络构建模块204,用于构建目标检测网络。
训练模块205,用于基于所述训练集对所述目标检测网络进行训练。
目标检测结果获取模块206,用于采用训练后的目标检测网络确定检测目标在图像中的2D包围盒的像素坐标和种类信息。
激光雷达数据采集模块207,用于实时采集激光雷达数据。
时间同步模块208,用于将所述激光雷达数据和所述检测目标在图像中的2D包围盒的像素坐标和种类信息进行时间同步。
滤波模块209,用于将时间同步后的激光雷达数据进行滤波处理。
投影模块210,用于将滤波后的激光雷达数据通过投影矩阵P投影到目标检测结果获取模块产生的检测图像中,获得对应图像中检测目标的2D包围盒内的激光雷达数据。
聚类模块211,用于对获得的2D包围盒内的激光雷达数据进行DBSCAN聚类。
第一坐标计算模块212,用于将聚类后得到的激光雷达数据作为检测目标对应的激光雷达数据,对该激光雷达数据在x和y方向求均值,得到检测目标相对于激光雷达坐标系的坐标(x1,y1)。
第二坐标计算模块213,用于通过测量获得激光雷达坐标系相对于GPS安装点相对位置关系,并计算出检测目标相对于车辆中心坐标系原点Ov处的相对坐标(x2,y2)。
第三坐标计算模块214,用于实时获取GPS安装点在WGS 1984地理坐标系下的经纬度坐标和航向角theta,将车辆经纬度坐标转换到UTM投影坐标系下得到车辆的UTM坐标(x0,y0),基于检测目标相对于车辆中心坐标系原点Ov处的相对坐标(x2,y2),计算得到检测目标在UTM投影坐标系下的坐标(x3,y3)。
坐标转换模块215,用于将检测目标在UTM投影坐标系下的坐标(x3,y3)转换到WGS1984地理坐标系下获得检测目标的经纬度坐标(x4,y4)。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。

Claims (8)

1.一种面向无人驾驶车辆的目标检测定位方法,其特征在于,所述方法包括:
S1:采集车辆前方图像数据和雷达点云数据;
S2:采用相机激光雷达联合标定方法获得激光雷达坐标系和像素坐标系之间的投影矩阵P;
S3:获取训练集;
S4:构建目标检测网络;
S5:基于所述训练集对所述目标检测网络进行训练;
S6:采用训练后的目标检测网络确定检测目标在图像中的2D包围盒的像素坐标和种类信息;
S7:实时采集激光雷达数据;
S8:将所述激光雷达数据和所述检测目标在图像中的2D包围盒的像素坐标和种类信息进行时间同步;
S9:将时间同步后的激光雷达数据进行滤波处理;
S10:将滤波后的激光雷达数据通过投影矩阵P投影到所述S6产生的检测图像中,获得对应图像中检测目标的2D包围盒内的激光雷达数据;
S11:对获得的2D包围盒内的激光雷达数据进行DBSCAN聚类;
S12:将聚类后得到的激光雷达数据作为检测目标对应的激光雷达数据,对该激光雷达数据在x和y方向求均值,得到检测目标相对于激光雷达坐标系的坐标(x1,y1);
S13:通过测量获得激光雷达坐标系相对于GPS安装点相对位置关系,并计算出检测目标相对于车辆中心坐标系原点Ov处的相对坐标(x2,y2);
S14:实时获取GPS安装点在WGS 1984地理坐标系下的经纬度坐标和航向角theta,将车辆经纬度坐标转换到UTM投影坐标系下得到车辆的UTM坐标(x0,y0),基于检测目标相对于车辆中心坐标系原点Ov处的相对坐标(x2,y2),计算得到检测目标在UTM投影坐标系下的坐标(x3,y3);
S15:将检测目标在UTM投影坐标系下的坐标(x3,y3)转换到WGS 1984地理坐标系下获得检测目标的经纬度坐标(x4,y4)。
2.根据权利要求1所述的面向无人驾驶车辆的目标检测定位方法,其特征在于,所述获取训练集具体包括:
通过工业相机采集包含待检测目标的图像数据;
根据待检测目标的类别信息对采集的图像数据进行人工标注,利用开源标注工具,将图像中的待检测目标用2D包围盒框选起来,并赋予类别信息。
3.根据权利要求1所述的面向无人驾驶车辆的目标检测定位方法,其特征在于,所述将时间同步后的激光雷达数据进行滤波处理具体采用RANSAC平面拟合算法去除地面反射激光雷达数据。
4.根据权利要求1所述的面向无人驾驶车辆的目标检测定位方法,其特征在于,所述基于检测目标相对于车辆中心坐标系原点Ov处的相对坐标(x2,y2),计算得到检测目标在UTM投影坐标系下的坐标(x3,y3)具体采用以下公式:
x3=x0+x2*cos(theta)-y2*sin(theta)
y3=y0+x2*sin(theta)+y2*cos(theta)
其中,(x0,y0)为车辆的UTM坐标,(x2,y2)为检测目标相对于车辆中心坐标系原点Ov处的相对坐标(x2,y2),theta为GPS安装点在WGS 1984地理坐标系下的航向角。
5.一种面向无人驾驶车辆的目标检测定位系统,其特征在于,所述系统包括:
数据采集模块,用于采集车辆前方图像数据和雷达点云数据;
投影矩阵确定模块,用于采用相机激光雷达联合标定方法获得激光雷达坐标系和像素坐标系之间的投影矩阵P;
训练集获取模块,用于获取训练集;
目标检测网络构建模块,用于构建目标检测网络;
训练模块,用于基于所述训练集对所述目标检测网络进行训练;
目标检测结果获取模块,用于采用训练后的目标检测网络确定检测目标在图像中的2D包围盒的像素坐标和种类信息;
激光雷达数据采集模块,用于实时采集激光雷达数据;
时间同步模块,用于将所述激光雷达数据和所述检测目标在图像中的2D包围盒的像素坐标和种类信息进行时间同步;
滤波模块,用于将时间同步后的激光雷达数据进行滤波处理;
投影模块,用于将滤波后的激光雷达数据通过投影矩阵P投影到目标检测结果获取模块产生的检测图像中,获得对应图像中检测目标的2D包围盒内的激光雷达数据;
聚类模块,用于对获得的2D包围盒内的激光雷达数据进行DBSCAN聚类;
第一坐标计算模块,用于将聚类后得到的激光雷达数据作为检测目标对应的激光雷达数据,对该激光雷达数据在x和y方向求均值,得到检测目标相对于激光雷达坐标系的坐标(x1,y1);
第二坐标计算模块,用于通过测量获得激光雷达坐标系相对于GPS安装点相对位置关系,并计算出检测目标相对于车辆中心坐标系原点Ov处的相对坐标(x2,y2);
第三坐标计算模块,用于实时获取GPS安装点在WGS 1984地理坐标系下的经纬度坐标和航向角theta,将车辆经纬度坐标转换到UTM投影坐标系下得到车辆的UTM坐标(x0,y0),基于检测目标相对于车辆中心坐标系原点Ov处的相对坐标(x2,y2),计算得到检测目标在UTM投影坐标系下的坐标(x3,y3);
坐标转换模块,用于将检测目标在UTM投影坐标系下的坐标(x3,y3)转换到WGS 1984地理坐标系下获得检测目标的经纬度坐标(x4,y4)。
6.根据权利要求5所述的面向无人驾驶车辆的目标检测定位系统,其特征在于,所述训练集获取模块具体包括:
通过工业相机采集包含待检测目标的图像数据;
然后根据待检测目标的类别信息对采集的图像数据进行人工标注,利用开源标注工具,将图像中的待检测目标用2D包围盒框选起来,并赋予类别信息。
7.根据权利要求5所述的面向无人驾驶车辆的目标检测定位系统,其特征在于,所述滤波模块具体采用RANSAC平面拟合算法去除地面反射激光雷达数据。
8.根据权利要求5所述的面向无人驾驶车辆的目标检测定位系统,其特征在于,所述基于检测目标相对于车辆中心坐标系原点Ov处的相对坐标(x2,y2),计算得到检测目标在UTM投影坐标系下的坐标(x3,y3)具体采用以下公式:
x3=x0+x2*cos(theta)-y2*sin(theta)
y3=y0+x2*sin(theta)+y2*cos(theta)
其中,(x0,y0)为车辆的UTM坐标,(x2,y2)为检测目标相对于车辆中心坐标系原点Ov处的相对坐标(x2,y2),theta为GPS安装点在WGS 1984地理坐标系下的航向角。
CN202210320977.6A 2022-03-30 2022-03-30 一种面向无人驾驶车辆的目标检测定位方法及系统 Active CN114419571B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210320977.6A CN114419571B (zh) 2022-03-30 2022-03-30 一种面向无人驾驶车辆的目标检测定位方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210320977.6A CN114419571B (zh) 2022-03-30 2022-03-30 一种面向无人驾驶车辆的目标检测定位方法及系统

Publications (2)

Publication Number Publication Date
CN114419571A CN114419571A (zh) 2022-04-29
CN114419571B true CN114419571B (zh) 2022-06-17

Family

ID=81263310

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210320977.6A Active CN114419571B (zh) 2022-03-30 2022-03-30 一种面向无人驾驶车辆的目标检测定位方法及系统

Country Status (1)

Country Link
CN (1) CN114419571B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115616510B (zh) * 2022-12-05 2023-03-31 广州市德赛西威智慧交通技术有限公司 一种交通毫米波雷达标定方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019156731A1 (en) * 2018-02-09 2019-08-15 Bayerische Motoren Werke Aktiengesellschaft Methods for object detection in a scene represented by depth data and image data
CN110246159A (zh) * 2019-06-14 2019-09-17 湖南大学 基于视觉和雷达信息融合的3d目标运动分析方法
CN110531376A (zh) * 2019-08-23 2019-12-03 畅加风行(苏州)智能科技有限公司 用于港口无人驾驶车辆的障碍物检测和跟踪方法
CN111928862A (zh) * 2020-08-10 2020-11-13 廊坊和易生活网络科技股份有限公司 利用激光雷达和视觉传感器融合在线构建语义地图的方法
CN113238251A (zh) * 2021-04-02 2021-08-10 华南理工大学 一种基于车载激光雷达的目标级语义定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019156731A1 (en) * 2018-02-09 2019-08-15 Bayerische Motoren Werke Aktiengesellschaft Methods for object detection in a scene represented by depth data and image data
CN110246159A (zh) * 2019-06-14 2019-09-17 湖南大学 基于视觉和雷达信息融合的3d目标运动分析方法
CN110531376A (zh) * 2019-08-23 2019-12-03 畅加风行(苏州)智能科技有限公司 用于港口无人驾驶车辆的障碍物检测和跟踪方法
CN111928862A (zh) * 2020-08-10 2020-11-13 廊坊和易生活网络科技股份有限公司 利用激光雷达和视觉传感器融合在线构建语义地图的方法
CN113238251A (zh) * 2021-04-02 2021-08-10 华南理工大学 一种基于车载激光雷达的目标级语义定位方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Junfeng Tao等.Design ofTrajectory Tracking Controller of Unmanned Tracked Vehicles Based on Torque.《IEEE》.2021,第85-92页. *
孟德强等.智能快递车避障路径规划系统设计与实现.《汽车实用技术》.2020,(第09期), *
王葵等.基于激光测距雷达和车载GPS的动态障碍物检测.《工业仪表与自动化装置》.2013,(第02期), *

Also Published As

Publication number Publication date
CN114419571A (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN109100730B (zh) 一种多车协同快速建图方法
CN110631593B (zh) 一种用于自动驾驶场景的多传感器融合定位方法
JP4232167B1 (ja) 対象特定装置、対象特定方法および対象特定プログラム
CN108917758B (zh) 一种基于ar的导航方法及系统
CN113899375B (zh) 车辆定位方法和装置、存储介质及电子设备
CN111261016B (zh) 道路地图的构建方法、装置和电子设备
EP3617749A1 (en) Method and arrangement for sourcing of location information, generating and updating maps representing the location
CN109300143B (zh) 运动向量场的确定方法、装置、设备、存储介质和车辆
JP4978615B2 (ja) 対象特定装置
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
JP2012208525A (ja) 静止物地図生成装置
WO2023283987A1 (zh) 无人系统的传感器安全性检测方法、设备及存储介质
CN108613675B (zh) 低成本无人飞行器移动测量方法及系统
CN114419571B (zh) 一种面向无人驾驶车辆的目标检测定位方法及系统
CN113706594A (zh) 三维场景信息生成的系统、方法及电子设备
CN112907746A (zh) 电子地图的生成方法、装置、电子设备及存储介质
CN114459467B (zh) 一种未知救援环境中基于vi-slam的目标定位方法
Gustafsson et al. Navigation and tracking of road-bound vehicles
CN113296133A (zh) 一种基于双目视觉测量与高精度定位融合技术实现位置标定的装置及方法
CN110738105A (zh) 一种基于深度学习的计算城市街道小区人流量的方法、装置、系统及存储介质
CN104063499A (zh) 基于车载空间信息采集的空间矢量poi提取方法
CN116736322B (zh) 融合相机图像与机载激光雷达点云数据的速度预测方法
CN113838129A (zh) 一种获得位姿信息的方法、装置以及系统
CN112651991A (zh) 视觉定位方法、装置及计算机系统
CN112113580A (zh) 车辆定位的方法、装置和汽车

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant