CN116862922A - 基于图像分割与雷达信息融合的目标定位方法、系统及介质 - Google Patents
基于图像分割与雷达信息融合的目标定位方法、系统及介质 Download PDFInfo
- Publication number
- CN116862922A CN116862922A CN202310735497.0A CN202310735497A CN116862922A CN 116862922 A CN116862922 A CN 116862922A CN 202310735497 A CN202310735497 A CN 202310735497A CN 116862922 A CN116862922 A CN 116862922A
- Authority
- CN
- China
- Prior art keywords
- camera
- radar
- image
- point cloud
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003709 image segmentation Methods 0.000 title claims abstract description 37
- 230000004927 fusion Effects 0.000 title claims abstract description 28
- 239000011159 matrix material Substances 0.000 claims abstract description 88
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000012216 screening Methods 0.000 claims abstract description 18
- 238000003384 imaging method Methods 0.000 claims description 26
- 238000004590 computer program Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 12
- 238000013519 translation Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 230000004807 localization Effects 0.000 claims 1
- 238000000605 extraction Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000007547 defect Effects 0.000 description 4
- 238000002372 labelling Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000036544 posture Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010921 in-depth analysis Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Abstract
本发明公开了一种基于图像分割与雷达信息融合的目标定位方法、系统及介质，其方法包括以下步骤：获取相机与毫米波雷达检测目标物对应得到的相机原始图像及雷达初始数据；基于图像分割法将目标物从矫正后的相机原始图像中分离出来，获取图像目标像素集；基于相机与毫米波雷达之间的外参矩阵及相机的内参矩阵遍历雷达初始数据，筛选出属于图像目标像素集范围内的雷达点云数据；对雷达点云数据进行聚类处理后选取点云聚类中心及点云聚类中心在雷达点云数据中对应的像素点；最后计算目标物在相机坐标系中的最终坐标；因此充分利用了相机对环境细节信息的提取能力强以及毫米波雷达探测距离远的特点，准确计算出目标物在相机坐标系中的最终坐标。
Description
技术领域
本发明涉及多传感器融合技术领域，特别涉及一种基于图像分割与毫米波雷达信息融合的目标定位方法、系统及介质。
背景技术
随着国家大力发展人工智能、智慧城市、智能制造等高科技产业，智能停车、车联网、自动驾驶等领域的快速发展，智能感知成为了重要的研究方向。智能感知是指一种人工智能系统能够通过对外界环境的感知和理解，自动识别、分类、处理和响应外部信息的能力。这种能力可以应用于各种场景，如语音识别、图像识别、自然语言处理等。在智能感知中，系统通常会使用传感器、摄像头、麦克风等设备，通过采集和分析感官信息，将感知到的数据转化为可理解的数据形式，以便计算机能够进行深入的分析和处理。此外，智能感知还需要结合机器学习、神经网络等算法技术，以自动识别和分类感知数据，并对其做出相应的响应或决策。
智能感知是自动驾驶领域最重要和基础的研究领域。车辆的自动驾驶离不开对周围目标物的精确快速检测及定位。车辆依靠传感器获取车辆周围的信息，包括激光雷达、毫米波雷达、超声波雷达、视觉相机等。激光雷达抗干扰能力较强、分辨率高，测距精确度高，但是在雨雾天气下适用性较差，且数据以点云格式输出，计算量较大；单一的视觉相机传感器检测识别精度不够高，稳定性也比较差，且容易受到光线、天气等因素的影响；毫米波雷达受光照和天气的因素影响比较小，稳定性比较高，并且测距精度也比较高，距离也比较远，但是目前毫米波雷达分辨率比较低，对金属比较敏感，进而识别性能比较差，并且不能够识别目标的特征信息。单一的传感器是不能够解决所有问题的，毫米波雷达与相机的融合可以优势互补，且价格便宜，逐渐成为自动驾驶的主流研究方向。
因此目前使用单一相机无法获取目标的深度信息，使用毫米波雷达分辨率比较低，噪点过多，故单一传感器难以全面、准确地检测出目标位置，不适用于道路等复杂工况。
发明内容
本发明的提供一种基于图像分割与雷达信息融合的目标定位方法、系统及介质，充分利用了相机对环境细节信息的提取能力强以及毫米波雷达探测距离远的特点，准确计算出目标物在相机坐标系中的最终坐标。
第一方面，提供一种基于图像分割与雷达信息融合的目标定位方法，具体包括以下步骤：
获取相机与毫米波雷达检测目标物对应得到的相机原始图像及雷达初始数据；
基于相机畸变参数对所述相机原始图像进行矫正，并基于图像分割法将目标物从矫正后的相机原始图像中分离出来，获取图像目标像素集；
基于相机与毫米波雷达之间的外参矩阵及相机的内参矩阵遍历所述雷达初始数据，筛选出属于所述图像目标像素集范围内的雷达点云数据；
对所述雷达点云数据进行聚类处理后选取点云聚类中心及所述点云聚类中心在雷达点云数据中对应的像素点；
根据所述点云聚类中心、点云聚类中心在雷达点云数据中对应的像素点及相机的内参矩阵，计算目标物在相机坐标系中的最终坐标。
根据第一方面，在第一方面的第一种可能的实现方式中，所述“基于相机与毫米波雷达之间的外参矩阵及相机的内参矩阵遍历所述雷达初始数据，筛选出属于所述图像目标像素集范围内的雷达点云数据”步骤，具体包括以下步骤：
所述外参矩阵包括：相机的旋转矩阵及毫米波雷达的平移矩阵；
根据所述相机的旋转矩阵、所述毫米波雷达的平移矩阵及相机的内参矩阵、将所述雷达初始数据转换至相机成像平面中，得到雷达初始数据对应的成像坐标集；
在雷达初始数据对应的成像坐标集中筛选出属于所述图像目标像素集范围内的雷达点云数据。
根据第一方面的第一种可能的实现方式中，在第一方面的第二种可能的实现方式中，所述“根据所述相机的旋转矩阵、所述毫米波雷达的平移矩阵及相机的内参矩阵、将所述雷达初始数据转换至相机成像平面中，得到雷达初始数据对应的成像坐标集”步骤，具体包括以下步骤：
根据所述相机的旋转矩阵R、所述毫米波雷达的平移矩阵T及相机的内参矩阵A、将所述雷达初始数据(xi wr,yi wr)转换至相机成像平面中，得到雷达初始数据对应的成像坐标集(ui,vi)如下：
根据第一方面，在第一方面的第三种可能的实现方式中，所述“根据所述点云聚类中心、点云聚类中心在雷达点云数据中对应的像素点及相机的内参矩阵，计算目标物在相机坐标系中的最终坐标”步骤，具体包括以下步骤：
根据所述点云聚类中心云聚类中心在雷达点云数据中对应的像素点(ucentral,vcentral)及相机的内参矩阵A，计算目标物在相机坐标系中的最终坐标pos(xobj,yobj,zobj)如下：
其中，物距
相机的内参矩阵A如下：
式中，f为相距；dx,dy分别为相机成像平面方向x,y上的一个像素点在相机感光板上的物理长度；u0,v0分别为相机感光板中心在像素坐标系下的坐标。
根据第一方面，在第一方面的第四种可能的实现方式中，所述“获取相机与毫米波雷达检测目标物对应得到的相机原始图像及雷达初始数据”步骤之后，具体包括以下步骤：
基于消息过滤器将所述相机原始图像与所述雷达初始数据进行时间同步。
第二方面，还提供了一种基于图像分割与雷达信息融合的目标定位系统，包括：
数据获取模块，用于获取相机与毫米波雷达检测目标物对应得到的相机原始图像及雷达初始数据；
矫正分离模块，与所述数据获取模块通信连接，用于基于相机畸变参数对所述相机原始图像进行矫正，并基于图像分割法将目标物从矫正后的相机原始图像中分离出来，获取图像目标像素集；
筛选模块，与所述数据获取模块及所述矫正分离模块通信连接，用于基于相机与毫米波雷达之间的外参矩阵及相机的内参矩阵遍历所述雷达初始数据，筛选出属于所述图像目标像素集范围内的雷达点云数据；
聚类模块，与所述筛选模块通信连接，用于对所述雷达点云数据进行聚类处理后选取点云聚类中心及所述点云聚类中心在雷达点云数据中对应的像素点；以及，
计算模块，与所述聚类模块通信连接，用于根据所述点云聚类中心、点云聚类中心在雷达点云数据中对应的像素点及相机的内参矩阵，计算目标物在相机坐标系中的最终坐标。
第三方面，还提供了一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上述所述基于图像分割与雷达信息融合的目标定位方法。
与现有技术相比，本发明的优点如下：通过使用图像分割算法提取图片中目标，基于相机与毫米波雷达之间的外参矩阵及相机的内参矩阵遍历所述雷达初始数据，筛选出属于所述图像目标像素集范围内的雷达点云数据后进行聚类，根据所述点云聚类中心、所述点云聚类中心在雷达点云数据中对应的像素点及相机的内参矩阵，计算目标物坐标。因此可通过多传感器信息融合弥补单个传感器的缺陷，充分利用了相机对环境细节信息的提取能力强，可以有效分离出目标，以及毫米波雷达探测距离远，可以测量目标位置信息的特点，准确计算出目标物在相机坐标系中的最终坐标，能够有效为自动驾驶提供参考信息。
附图说明
图1是本发明一种基于图像分割与雷达信息融合的目标定位方法的一实施例的流程示意图；
图2是本发明一种基于图像分割与雷达信息融合的目标定位方法的又一实施例的流程示意图；
图3是本发明一种基于图像分割与雷达信息融合的目标定位系统的结构示意图。
具体实施方式
现在将详细参照本发明的具体实施例，在附图中例示了本发明的例子。尽管将结合具体实施例描述本发明，但将理解，不是想要将本发明限于所述的实施例。相反，想要覆盖由所附权利要求限定的在本发明的精神和范围内包括的变更、修改和等价物。应注意，这里描述的方法步骤都可以由任何功能块或功能布置来实现，且任何功能块或功能布置可被实现为物理实体或逻辑实体、或者两者的组合。
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。
注意：接下来要介绍的示例仅是一个具体的例子，而不作为限制本发明的实施例必须为如下具体的步骤、数值、条件、数据、顺序等等。本领域技术人员可以通过阅读本说明书来运用本发明的构思来构造本说明书中未提到的更多实施例。
参见图1所示，本发明实施例提供一种基于图像分割与雷达信息融合的目标定位方法，具体包括以下步骤：
S100，获取相机与毫米波雷达检测目标物对应得到的相机原始图像及雷达初始数据；雷达初始数据一般都需要进行滤波去噪处理，达到去干扰的目的；
S200，基于相机畸变参数对所述相机原始图像进行矫正，并基于图像分割法将目标物从矫正后的相机原始图像中分离出来，获取图像目标像素集；
S300，基于相机与毫米波雷达之间的外参矩阵及相机的内参矩阵遍历所述雷达初始数据，筛选出属于所述图像目标像素集范围内的雷达点云数据；
S400，对所述雷达点云数据进行聚类处理后选取点云聚类中心及所述点云聚类中心在雷达点云数据中对应的像素点；
S500，根据所述点云聚类中心、所述点云聚类中心在雷达点云数据中对应的像素点及相机的内参矩阵，计算目标物在相机坐标系中的最终坐标。
具体地，本实施例中，由于现有技术中存在单一相机无法获取目标的深度信息，使用毫米波雷达分辨率比较低，噪点过多的问题；因此本发明提供的一种基于图像分割与雷达信息融合的目标定位方法，通过使用图像分割算法提取图片中目标，基于相机与毫米波雷达之间的外参矩阵及相机的内参矩阵遍历所述雷达初始数据，筛选出属于所述图像目标像素集范围内的雷达点云数据后进行聚类，根据所述点云聚类中心、所述点云聚类中心在雷达点云数据中对应的像素点及相机的内参矩阵，计算目标物坐标。因此可通过多传感器信息融合弥补单个传感器的缺陷，充分利用了相机对环境细节信息的提取能力强，可以有效分离出目标，以及毫米波雷达探测距离远，可以测量目标位置信息的特点，准确计算出目标物在相机坐标系中的最终坐标，能够有效为自动驾驶提供参考信息。
步骤S200中，相机畸变参数为：B＝[k1 k2 k3 p1 p2]；
其中k1、k2、k3为径向畸变参数，p1、p2为切向畸变参数。
相机原始图像的像素点发生畸变后与理想位置有如下关系：
udr＝u(1+k1r2+k2r4+k3r6)+2p1uv+p2(r2+2u2)+1
vdr＝v(1+k1r2+k2r4+k3f6)+2p1(r2+2v2)+2p2uv+1；
r2＝u2+v2
其中(udr，vdr)为像素点发生畸变后的位置，(u，v)为像素点理想位置，r为(u，v)到成像中心(0，0)的距离。实际情况是已知相机原始图像的像素点畸变位置以及相机畸变参数，可以通过上述公式进行反推，求取像素点的理想位置，因此使用相机畸变参数对相机拍摄的相机原始图像进行矫正，得到畸变相对很小的图像。
需要说明的是，基于图像分割法将目标物从矫正后的相机原始图像中分离出来，获取图像目标像素集，即将相机原始图像分为若干个区域，并将目标区域-图像目标像素集从图像中提取出来的技术；具体为：对矫正后的相机原始图像进行分割，使用Meta推出的AI模型Segment Anything图像分割算法分离出目标物体。Segment Anything由图像分割的工具、数据集和模型构成，系统体系由通用Segment Anything模型(SAM)和Segment Anything1-Billion掩码数据集(SA-1B)两部分。
步骤S400中，聚类处理：按照某个特定标准(如距离)把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中的数据对象的差异性也尽可能地大。也即聚类后同一类的数据尽可能聚集到一起，不同类数据尽量分离。数据聚类方法主要可以分为划分式聚类方法(Partition-based Methods)、基于密度的聚类方法(Density-based methods)、层次化聚类方法(Hierarchical Methods)等。
优选地，在本申请另外的实施例中，所述“S300，基于相机与毫米波雷达之间的外参矩阵及相机的内参矩阵遍历所述雷达初始数据，筛选出属于所述图像目标像素集范围内的雷达点云数据”步骤，具体包括以下步骤：
所述外参矩阵包括：相机的旋转矩阵及毫米波雷达的平移矩阵；
S310，根据所述相机的旋转矩阵、所述毫米波雷达的平移矩阵及相机的内参矩阵、将所述雷达初始数据转换至相机成像平面中，得到雷达初始数据对应的成像坐标集；
S320，在雷达初始数据对应的成像坐标集中筛选出属于所述图像目标像素集范围内的雷达点云数据。
优选地，在本申请另外的实施例中，所述“S310，根据所述相机的旋转矩阵、所述毫米波雷达的平移矩阵及相机的内参矩阵、将所述雷达初始数据转换至相机成像平面中，得到雷达初始数据对应的成像坐标集”步骤，具体包括以下步骤：
根据所述相机的旋转矩阵R、所述毫米波雷达的平移矩阵T及相机的内参矩阵A、将所述雷达初始数据(xi wr,yi wr)转换至相机成像平面中，得到雷达初始数据对应的成像坐标集(ui,vi)如下：
具体地，本实施例中，使用Opencv中传统的张正友标记法，张正友标记法是基于二维平面靶标的标定方法，使用相机在不同角度下拍摄多幅平面靶标的图像，比如棋盘格的图像，然后采集不同位置、不同角度、不同姿态的标准棋盘格图像共计45张，求取相机的内参矩阵A，内参矩阵是由相机内部的参数决定。
对于外参矩阵，一般选择毫米波雷达与相机之间的多组配对点(xwr,ywr,0)、(u,v)，然后通过batch optimization优化算法求解出相机与毫米波雷达之间的外参矩阵R,T；优化算法是用来找到模型最优参数R,T的方法，最常用的即为梯度下降法。
当得到雷达初始数据对应的成像坐标集(ui,vi)后，基于图像分割算法，可以得到目标物在相机原始图像上的一片区域，即图像目标像素集满足P＝{(uobj,vobj)|(uobj,vobj)∈Obj}，其中(uobj,vobj)为分割结果Obj中的像素点。
若成像坐标集(ui,vi)∈P，则视为筛选出的毫米波雷达点云数据属于图像目标区域范围(图像目标像素集)内。
优选地，在本申请另外的实施例中，所述“S500，根据所述点云聚类中心、所述点云聚类中心在雷达点云数据中对应的像素点及相机的内参矩阵，计算目标物在相机坐标系中的最终坐标”步骤，具体包括以下步骤：
根据所述点云聚类中心所述云聚类中心在雷达点云数据中对应的像素点(ucentral,vcentral)及相机的内参矩阵A，计算目标物在相机坐标系中的最终坐标pos(xobj,yobj,zobj)如下：
其中，物距
相机的内参矩阵A如下：
式中，f为相距；dx,dy分别为相机成像平面方向x,y上的一个像素点在相机感光板上的物理长度；u0,v0分别为相机感光板中心在像素坐标系下的坐标。
优选地，在本申请另外的实施例中，所述“S100，获取相机与毫米波雷达检测目标物对应得到的相机原始图像及雷达初始数据”步骤，具体包括以下步骤：
基于消息过滤器将所述相机原始图像与所述雷达初始数据进行时间同步。
具体地，本实施例中，时间同步过程如下：
1)连接好各传感器以及上位机；
2)基于ROS系统，分别发布相机和毫米波雷达数据的话题；
3)ROS订阅上述两个的话题，并调用message_filters消息过滤器进行时间同步，其中message_filters类似一个消息缓存，当消息到达消息过滤器的时候，并不会立即输出，而是在稍后的时间点里满足一定条件下输出。接收相机和毫米波雷达数据，并且仅当它们在具有相同时间戳的每个源上接收到消息时才输出它们，也就是起到了一个消息同步输出的效果。
同时参见图2所示，本发明实施例提供的一种基于图像分割与雷达信息融合的目标定位方法，具体包括如下步骤：
1、获取相机与毫米波雷达检测目标物对应得到的相机原始图像及雷达初始数据，并进行时间同步；
2、标定相机的内参数以及畸变系数，使用传统的张正友标记法。使用相机采集不同位置、不同角度、不同姿态的标准棋盘格图像，获取摄像机的内参数，使用内参数中的畸变系数对相机拍摄的相机原始图像进行矫正，得到畸变相对很小的图像；
3.标定毫米波雷达与相机之间的外参矩阵，选择毫米波雷达与相机之间的多组配对点，通过batch optimization优化算法获取外参矩阵；
4.基于图像分割算法对图像进行分割，分离出目标物体，得到图像目标像素集；
5.基于外参矩阵与内参矩阵，遍历所有的雷达初始数据，筛选出属于所述图像目标像素集范围内的雷达点云数据，并进行聚类；
6.选取点云聚类中心及其在雷达点云数据中对应的像素点，可以反解出目标物在相机坐标系中的最终坐标。
同时参见图3所示，本发明实施例还提供了一种基于图像分割与雷达信息融合的目标定位系统，包括：
数据获取模块，用于获取相机与毫米波雷达检测目标物对应得到的相机原始图像及雷达初始数据；
矫正分离模块，与所述数据获取模块通信连接，用于基于相机畸变参数对所述相机原始图像进行矫正，并基于图像分割法将目标物从矫正后的相机原始图像中分离出来，获取图像目标像素集；
筛选模块，与所述数据获取模块及所述矫正分离模块通信连接，用于基于相机与毫米波雷达之间的外参矩阵及相机的内参矩阵遍历所述雷达初始数据，筛选出属于所述图像目标像素集范围内的雷达点云数据；
聚类模块，与所述筛选模块通信连接，用于对所述雷达点云数据进行聚类处理后选取点云聚类中心及所述点云聚类中心在雷达点云数据中对应的像素点；以及，
计算模块，与所述聚类模块通信连接，用于根据所述点云聚类中心、点云聚类中心在雷达点云数据中对应的像素点及相机的内参矩阵，计算目标物在相机坐标系中的最终坐标。
因此本发明提供的一种基于图像分割与雷达信息融合的目标定位方法，通过使用图像分割算法提取图片中目标，基于相机与毫米波雷达之间的外参矩阵及相机的内参矩阵遍历所述雷达初始数据，筛选出属于所述图像目标像素集范围内的雷达点云数据后进行聚类，根据所述点云聚类中心、所述点云聚类中心在雷达点云数据中对应的像素点及相机的内参矩阵，计算目标物坐标。因此可通过多传感器信息融合弥补单个传感器的缺陷，充分利用了相机对环境细节信息的提取能力强，可以有效分离出目标，以及毫米波雷达探测距离远，可以测量目标位置信息的特点，准确计算出目标物在相机坐标系中的最终坐标，能够有效为自动驾驶提供参考信息。
具体的，本实施例与上述方法实施例一一对应，各个模块的功能在相应的方法实施例中已经进行详细说明，因此不再一一赘述。
基于同一发明构思，本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述方法的所有方法步骤或部分方法步骤。
本发明实现上述方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
基于同一发明构思，本申请实施例还提供一种电子设备，包括存储器和处理器，存储器上储存有在处理器上运行的计算机程序，处理器执行计算机程序时实现上述方法中的所有方法步骤或部分方法步骤。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，处理器是计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现计算机装置的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(例如声音播放功能、图像播放功能等)；存储数据区可存储根据手机的使用所创建的数据(例如音频数据、视频数据等)。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(SmartMedia Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、服务器或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、服务器和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (7)
1.一种基于图像分割与雷达信息融合的目标定位方法，其特征在于，具体包括以下步骤：
获取相机与毫米波雷达检测目标物对应得到的相机原始图像及雷达初始数据；
基于相机畸变参数对所述相机原始图像进行矫正，并基于图像分割法将目标物从矫正后的相机原始图像中分离出来，获取图像目标像素集；
基于相机与毫米波雷达之间的外参矩阵及相机的内参矩阵遍历所述雷达初始数据，筛选出属于所述图像目标像素集范围内的雷达点云数据；
对所述雷达点云数据进行聚类处理后选取点云聚类中心及所述点云聚类中心在雷达点云数据中对应的像素点；
根据所述点云聚类中心、点云聚类中心在雷达点云数据中对应的像素点及相机的内参矩阵，计算目标物在相机坐标系中的最终坐标。
2.如权利要求1所述的基于图像分割与雷达信息融合的目标定位方法，其特征在于，所述“基于相机与毫米波雷达之间的外参矩阵及相机的内参矩阵遍历所述雷达初始数据，筛选出属于所述图像目标像素集范围内的雷达点云数据”步骤，具体包括以下步骤：
所述外参矩阵包括：相机的旋转矩阵及毫米波雷达的平移矩阵；
根据所述相机的旋转矩阵、所述毫米波雷达的平移矩阵及相机的内参矩阵、将所述雷达初始数据转换至相机成像平面中，得到雷达初始数据对应的成像坐标集；
在雷达初始数据对应的成像坐标集中筛选出属于所述图像目标像素集范围内的雷达点云数据。
3.如权利要求2所述的基于图像分割与雷达信息融合的目标定位方法，其特征在于，所述“根据所述相机的旋转矩阵、所述毫米波雷达的平移矩阵及相机的内参矩阵、将所述雷达初始数据转换至相机成像平面中，得到雷达初始数据对应的成像坐标集”步骤，具体包括以下步骤：
根据所述相机的旋转矩阵R、所述毫米波雷达的平移矩阵T及相机的内参矩阵A、将所述雷达初始数据(xi wr,yi wr)转换至相机成像平面中，得到雷达初始数据对应的成像坐标集(ui,vi)如下：
4.如权利要求1所述的基于图像分割与雷达信息融合的目标定位方法，其特征在于，所述“根据所述点云聚类中心、点云聚类中心在雷达点云数据中对应的像素点及相机的内参矩阵，计算目标物在相机坐标系中的最终坐标”步骤，具体包括以下步骤：
根据所述点云聚类中心云聚类中心在雷达点云数据中对应的像素点(ucentral,vcentral)及相机的内参矩阵A，计算目标物在相机坐标系中的最终坐标pos(xobj,yobj,zobj)如下：
其中，物距
相机的内参矩阵A如下：
式中，f为相距；dx,dy分别为相机成像平面方向x,y上的一个像素点在相机感光板上的物理长度；u0,v0分别为相机感光板中心在像素坐标系下的坐标。
5.如权利要求1所述的基于图像分割与雷达信息融合的目标定位方法，其特征在于，所述“获取相机与毫米波雷达检测目标物对应得到的相机原始图像及雷达初始数据”步骤之后，具体包括以下步骤：
基于消息过滤器将所述相机原始图像与所述雷达初始数据进行时间同步。
6.一种基于图像分割与雷达信息融合的目标定位系统，其特征在于，包括：
数据获取模块，用于获取相机与毫米波雷达检测目标物对应得到的相机原始图像及雷达初始数据；
矫正分离模块，与所述数据获取模块通信连接，用于基于相机畸变参数对所述相机原始图像进行矫正，并基于图像分割法将目标物从矫正后的相机原始图像中分离出来，获取图像目标像素集；
筛选模块，与所述数据获取模块及所述矫正分离模块通信连接，用于基于相机与毫米波雷达之间的外参矩阵及相机的内参矩阵遍历所述雷达初始数据，筛选出属于所述图像目标像素集范围内的雷达点云数据；
聚类模块，与所述筛选模块通信连接，用于对所述雷达点云数据进行聚类处理后选取点云聚类中心及所述点云聚类中心在雷达点云数据中对应的像素点；以及，
计算模块，与所述聚类模块通信连接，用于根据所述点云聚类中心、点云聚类中心在雷达点云数据中对应的像素点及相机的内参矩阵，计算目标物在相机坐标系中的最终坐标。
7.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述基于图像分割与雷达信息融合的目标定位方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310735497.0A CN116862922B (zh) | 2023-06-20 | 2023-06-20 | 基于图像分割与雷达信息融合的目标定位方法、系统及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310735497.0A CN116862922B (zh) | 2023-06-20 | 2023-06-20 | 基于图像分割与雷达信息融合的目标定位方法、系统及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116862922A true CN116862922A (zh) | 2023-10-10 |
| CN116862922B CN116862922B (zh) | 2024-03-19 |
Family
ID=88220724
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310735497.0A Active CN116862922B (zh) | 2023-06-20 | 2023-06-20 | 基于图像分割与雷达信息融合的目标定位方法、系统及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116862922B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117523568A (zh) * | 2024-01-08 | 2024-02-06 | 陕西欧卡电子智能科技有限公司 | 一种基于无人船的桥高检测方法、装置、设备及介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109444911A (zh) * | 2018-10-18 | 2019-03-08 | 哈尔滨工程大学 | 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 |
| US20200186722A1 (en) * | 2018-12-11 | 2020-06-11 | Beijing Xiaomi Mobile Software Co., Ltd. | Terminal, focusing method and apparatus, and computer readable storage medium |
| CN112101092A (zh) * | 2020-07-31 | 2020-12-18 | 北京智行者科技有限公司 | 自动驾驶环境感知方法及系统 |
| CN112990049A (zh) * | 2021-03-26 | 2021-06-18 | 常熟理工学院 | 用于车辆自动驾驶的aeb紧急制动方法、装置 |
| US20210329221A1 (en) * | 2020-04-21 | 2021-10-21 | Plato Systems, Inc. | Method and apparatus for camera calibration |
| CN114076919A (zh) * | 2020-08-20 | 2022-02-22 | 北京万集科技股份有限公司 | 毫米波雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 |
| CN114241298A (zh) * | 2021-11-22 | 2022-03-25 | 腾晖科技建筑智能(深圳)有限公司 | 一种激光雷达和图像融合的塔吊环境目标检测方法及系统 |
| CN114708585A (zh) * | 2022-04-15 | 2022-07-05 | 电子科技大学 | 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法 |
| CN114724120A (zh) * | 2022-06-10 | 2022-07-08 | 东揽(南京)智能科技有限公司 | 基于雷视语义分割自适应融合的车辆目标检测方法及系统 |
| CN115082924A (zh) * | 2022-04-26 | 2022-09-20 | 电子科技大学 | 一种基于单目视觉和雷达伪图像融合的三维目标检测方法 |
-
2023
- 2023-06-20 CN CN202310735497.0A patent/CN116862922B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109444911A (zh) * | 2018-10-18 | 2019-03-08 | 哈尔滨工程大学 | 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 |
| US20200186722A1 (en) * | 2018-12-11 | 2020-06-11 | Beijing Xiaomi Mobile Software Co., Ltd. | Terminal, focusing method and apparatus, and computer readable storage medium |
| US20210329221A1 (en) * | 2020-04-21 | 2021-10-21 | Plato Systems, Inc. | Method and apparatus for camera calibration |
| CN112101092A (zh) * | 2020-07-31 | 2020-12-18 | 北京智行者科技有限公司 | 自动驾驶环境感知方法及系统 |
| CN114076919A (zh) * | 2020-08-20 | 2022-02-22 | 北京万集科技股份有限公司 | 毫米波雷达与相机联合标定方法和装置、服务器、计算机可读存储介质 |
| CN112990049A (zh) * | 2021-03-26 | 2021-06-18 | 常熟理工学院 | 用于车辆自动驾驶的aeb紧急制动方法、装置 |
| CN114241298A (zh) * | 2021-11-22 | 2022-03-25 | 腾晖科技建筑智能(深圳)有限公司 | 一种激光雷达和图像融合的塔吊环境目标检测方法及系统 |
| CN114708585A (zh) * | 2022-04-15 | 2022-07-05 | 电子科技大学 | 一种基于注意力机制的毫米波雷达与视觉融合的三维目标检测方法 |
| CN115082924A (zh) * | 2022-04-26 | 2022-09-20 | 电子科技大学 | 一种基于单目视觉和雷达伪图像融合的三维目标检测方法 |
| CN114724120A (zh) * | 2022-06-10 | 2022-07-08 | 东揽(南京)智能科技有限公司 | 基于雷视语义分割自适应融合的车辆目标检测方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| ERIC RAVI 等: "Segment Anything", ARXIV, pages 1 - 30 * |
| 胡威: "基于毫米波雷达与单目相机融合的目标识别与跟踪", 中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑), vol. 2020, no. 06, pages 035 - 253 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117523568A (zh) * | 2024-01-08 | 2024-02-06 | 陕西欧卡电子智能科技有限公司 | 一种基于无人船的桥高检测方法、装置、设备及介质 |
| CN117523568B (zh) * | 2024-01-08 | 2024-03-29 | 陕西欧卡电子智能科技有限公司 | 一种基于无人船的桥高检测方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116862922B (zh) | 2024-03-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112528878B (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
| CN102567979B (zh) | 车载红外夜视系统及其多源图像融合方法 | |
| WO2022126377A1 (zh) | 检测车道线的方法、装置、终端设备及可读存储介质 | |
| CN112507862B (zh) | 基于多任务卷积神经网络的车辆朝向检测方法及系统 | |
| CN116862922B (zh) | 基于图像分割与雷达信息融合的目标定位方法、系统及介质 | |
| CN114332513B (zh) | 一种面向智慧城市的新能源汽车异常停放大数据检测方法 | |
| CN111340855A (zh) | 一种基于轨迹预测的道路移动目标检测方法 | |
| CN110276831B (zh) | 三维模型的建构方法和装置、设备、计算机可读存储介质 | |
| CN106803262A (zh) | 利用双目视觉自主解算汽车速度的方法 | |
| CN111160328A (zh) | 一种基于语义分割技术的交通标线自动提取的方法 | |
| CN111680580A (zh) | 一种闯红灯的识别方法、装置、电子设备及存储介质 | |
| CN111797832B (zh) | 一种图像感兴趣区域自动生成方法及系统及图像处理方法 | |
| CN110827375B (zh) | 一种基于微光图像的红外图像真彩着色方法及系统 | |
| CN110910497B (zh) | 实现增强现实地图的方法和系统 | |
| CN111428538B (zh) | 一种车道线提取方法、装置和设备 | |
| CN116794650A (zh) | 一种毫米波雷达与摄像头数据融合的目标检测方法和装置 | |
| CN114724119B (zh) | 车道线提取方法、检测设备及存储介质 | |
| TW201419168A (zh) | 不均勻光線下的車牌辨識方法及系統 | |
| CN114170565A (zh) | 一种基于无人机航拍的图像对比方法、装置及终端设备 | |
| CN114882469A (zh) | 一种基于dl-ssd模型的交通标志检测方法及系统 | |
| CN114814827A (zh) | 基于4d毫米波雷达与视觉融合的行人分类方法及系统 | |
| CN114428259A (zh) | 一种基于地图车采集的地库激光点云中车辆自动提取方法 | |
| CN114565597A (zh) | 一种基于YOLOv3-tiny-DB和迁移学习的夜间道路行人检测方法 | |
| CN111428537B (zh) | 一种道路导流带边缘提取方法、装置和设备 | |
| CN114140429A (zh) | 一种车端实时停车位检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |