CN113239948B - 一种面向毫米波雷达与视频图像的数据融合方法及系统 - Google Patents

一种面向毫米波雷达与视频图像的数据融合方法及系统 Download PDF

Info

Publication number
CN113239948B
CN113239948B CN202110270383.4A CN202110270383A CN113239948B CN 113239948 B CN113239948 B CN 113239948B CN 202110270383 A CN202110270383 A CN 202110270383A CN 113239948 B CN113239948 B CN 113239948B
Authority
CN
China
Prior art keywords
stick
image
coordinate system
radar
white
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110270383.4A
Other languages
English (en)
Other versions
CN113239948A (zh
Inventor
徐杰
梁晨晨
刘天弼
冯瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202110270383.4A priority Critical patent/CN113239948B/zh
Publication of CN113239948A publication Critical patent/CN113239948A/zh
Application granted granted Critical
Publication of CN113239948B publication Critical patent/CN113239948B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Abstract

本发明提供一种面向毫米波雷达与视频图像的数据融合方法及系统，其方法包括以下步骤：步骤S1，建立含有黑色幕布以及在该黑色幕布前根据预定距离等距平行设置有等长的n个白色木棍的检测场景；步骤S2，通过毫米波雷达对检测场景进行检测，得到n个白色木棍在雷达坐标系中x轴与y轴上的坐标值；步骤S3，通过摄像头对检测场景进行拍摄得到木棍图像；步骤S4，对木棍图像进行数字图像处理得到n个白色木棍在木棍图像中的坐标值作为该白色木棍在图像坐标系中y轴与z轴上的坐标值；步骤S5，根据预定距离、白色木棍在雷达坐标系中以及在图像坐标系中的坐标值，将雷达坐标系以及图像坐标系基于y轴进行映射从而完成雷达坐标系以及图像坐标系的融合。

Description

一种面向毫米波雷达与视频图像的数据融合方法及系统
技术领域
本发明属于数字图像处理及多传感器数据融合领域，涉及一种毫米波雷达和图像数据融合的配准方法设计，具体涉及一种基于木棍检测的面向毫米波雷达与视频图像的数据融合方法及系统。
背景技术
近年来，随着自动驾驶技术的发展，多传感器检测技术慢慢走入人们的视野，通过多传感器对路况进行检测，可以在主动安全方面发挥重要作用。例如毫米波雷达以及车载摄像头，其中毫米波雷达受环境影响的因素较少，可以测量出前方范围内目标的径向距离和速度；摄像头可以基于传统机器学习或深度学习的目标检测，检测出前方目标的位置，为自动驾驶车辆的动作决策提供重要参考。如何将这些多传感器之间的数据进行融合，从而更好地为自动驾驶技术提供帮助，也是目前车辆主动安全的热门研究方向。
传统的毫米波雷达和图像识别数据融合方法包括时间融合和空间融合。在空间融合上，大多采用坐标系转换的方法，即，将世界坐标系、雷达坐标系、摄像头坐标系进行坐标转换，图1示出了各个坐标系在自动驾驶车辆上的分布，具体为：雷达坐标系XrOrYr，图像坐标系XcOcYc以及世界坐标系XwOwYw。这种坐标系转换方法可以使得摄像头坐标系、雷达坐标系中测定的物体具体位置在世界坐标系中进行对应，从而得到实际世界物体在图像画面中的位置，进而完成后续的目标配准和目标识别等操作。
然而，在进行图像坐标系的对应时，对于理想的针孔模型不能十分准确地描述摄像头真实的成像几何关系，尤其在摄像头使用广角镜头时，实际成像在远离图像中心处会出现较大的畸变。即，通过真实镜头在成像平面上实际成的像和通过针孔模型在成像平面上理想成的像不同，距离投影中心越远，畸变越严重。
传统的方法是采用张正友标定法等标定方法，从数学理论的角度进行配准，在图像数据源头就进行校正。
但是，即使通过上述方法在理论层面完成了标定，在实际运用中，特别是与雷达的配合中测距，仍存在一定的误差。且上述方法的步骤繁多，需要很多个阶段的配准，导致每个阶段的误差积累放大，最终的融合效果在准确度上依然不尽如人意。
发明内容
为解决上述问题，提供一种雷达和图像各自最终识别结果为基准的、具有高准确率的面向毫米波雷达与视频图像的数据融合方法及系统，本发明采用了如下技术方案：
本发明提供了一种面向毫米波雷达与视频图像的数据融合方法，用于对毫米波雷达以及摄像头的坐标数据进行融合，其特征在于，包括以下步骤：步骤S1，建立含有黑色幕布以及在该黑色幕布前根据预定距离等距平行设置有等长的n个白色木棍的检测场景，白色木棍垂直于水平面；步骤S2，通过毫米波雷达对检测场景进行检测，得到n个白色木棍在对应于水平面的雷达坐标系中x轴与y轴上的坐标值Xrn以及Yrn；步骤S3，通过摄像头对检测场景进行拍摄得到木棍图像；步骤S4，对木棍图像进行数字图像处理得到n个白色木棍的木棍中心点在木棍图像中的坐标值作为该白色木棍在对应于竖平面的图像坐标系中y轴与z轴上的坐标值Ycn以及Zcn；步骤S5，根据预定距离、白色木棍在雷达坐标系中的坐标以及在图像坐标系中的坐标值，将雷达坐标系以及图像坐标系基于y轴进行映射从而完成雷达坐标系以及图像坐标系的融合。
本发明提供的面向毫米波雷达与视频图像的数据融合方法，还可以具有这样的技术特征，其中，图像坐标系以及雷达坐标系基于y轴的映射为：将木棍图像中各个白色木棍之间的像素距离与雷达坐标系中毫米波雷达测得的雷达测量面法线与各个白色木棍之间的角度进行对应。
本发明提供的面向毫米波雷达与视频图像的数据融合方法，还可以具有这样的技术特征，其中，图像坐标系以及雷达坐标系基于y轴的映射为：将木棍图像中各个白色木棍之间的像素距离与雷达坐标系中毫米波雷达测得的各个白色木棍之间在y轴上的距离进行对应。
本发明提供的面向毫米波雷达与视频图像的数据融合方法，还可以具有这样的技术特征，其中，步骤S4包括以下子步骤：步骤S4-1，对木棍图像采用预定边缘检测算法得到木棍边缘点的边缘点位置；步骤S4-2，基于最小二乘法对木棍边缘点进行直线拟合从而使得边缘点位置沿对应于白色木棍边缘的直线排布；步骤S4-3，根据各个直线所对应的边缘点位置计算各个直线之间的直线距离，并将该直线距离最短的两根直线判定为同一白色木棍的左右边缘；步骤S4-4，根据每个白色木棍的左右边缘所对应的边缘点位置，基于预定中心点计算方法确定木棍中心点。
本发明提供的面向毫米波雷达与视频图像的数据融合方法，还可以具有这样的技术特征，其中，预定中心点计算方法为：取左右边缘两端的4个木棍边缘点的边缘点位置，并将计算4个木棍边缘点的中心点坐标作为白色木棍的中心点。
本发明提供的面向毫米波雷达与视频图像的数据融合方法，还可以具有这样的技术特征，其中，预定中心点计算方法为：根据边缘点位置计算左右边缘的中心线，并将该中心线的中点作为白色木棍的木棍中心点。
本发明提供的面向毫米波雷达与视频图像的数据融合方法，还可以具有这样的技术特征，其中，步骤S4中木棍中心点的确定方法为：预先在白色木棍的中心点标记具有预定色彩的标记点并存储预定色彩的RGB值，根据该RGB值识别出木棍图像中的各个标记点从而得到木棍中心点。
本发明提供的面向毫米波雷达与视频图像的数据融合方法，还可以具有这样的技术特征，其中，白色木棍的长度为50-150cm，宽度为2-10cm，预定距离为20-40cm。
本发明提供的面向毫米波雷达与视频图像的数据融合方法，还可以具有这样的技术特征，其中，毫米波雷达以及摄像头均安装在无人驾驶车辆的正前方中央并在对应于z轴的竖直方向上保持对齐。
本发明还提供了一种面向毫米波雷达与视频图像的数据融合系统，用于对毫米波雷达以及摄像头的坐标数据进行融合，其特征在于，包括：检测场景，含有黑色幕布以及在该黑色幕布前根据预定距离等距平行设置有等长的若干个白色木棍；毫米波雷达，用于对检测场景进行检测，得到每个白色木棍在对应于水平面的雷达坐标系中x轴与y轴上的坐标值Xrn以及Yrn；摄像头，用于对检测场景进行拍摄得到木棍图像；中心点确定部，对木棍图像进行数字图像处理得到每个白色木棍的木棍中心点在木棍图像中的坐标值作为该白色木棍在对应于竖平面的图像坐标系中y轴与z轴上的坐标值Ycn以及Zcn；坐标融合部，根据预定距离、白色木棍在雷达坐标系中的坐标以及在图像坐标系中的坐标值，将图像坐标系以及雷达坐标系基于y轴进行映射从而完成图像坐标系以及雷达坐标系的融合。
发明作用与效果
根据本发明的面向毫米波雷达与视频图像的数据融合方法及系统，由于通过毫米波雷达与摄像头对若干等距平行设置的白色木棍进行检测，雷达测出的是雷达坐标系中白色木棍的位置，摄像头得到的是图像坐标系中白色木棍的图像，通过数字图像处理识别出木棍中心点在图像坐标系中的位置。接下来，采用数据配准的方法，建立配准矩阵，形成从雷达坐标系与图像坐标系的映射关系，因此，通过这样的映射关系，不仅可以省去传统雷达与图像数据融合中的关键步骤“坐标系切换”，而且在主动安全相关项目-ADAS时可以直接从摄像头图像上换算实际距离，而不用受摄像头图像畸变的影响，也省去了各种坐标转换带来的偏差的变化不确定性的麻烦。
附图说明
图1是无人驾驶车辆上的雷达坐标系、图像坐标系以及世界坐标系的分布示意图；
图2是本发明实施例一中面向毫米波雷达与视频图像的数据融合方法的流程示意图；
图3是本发明实施例一中检测场景的示意图；
图4是图3中检测场景对应的俯视图；
图5是本发明实施例一的sobel算子示意图；
图6是本发明实施例一中雷达坐标系与图像坐标系的配准示意图；
图7是本发明实施例一中坐标换算矩阵的示意图；以及
图8是本发明实施例二中雷达坐标系与图像坐标系的配准示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明的面向毫米波雷达与视频图像的数据融合方法及系统作具体阐述。
<实施例>
本实施例的面向毫米波雷达与视频图像的数据融合方法应用于自动驾驶车辆，该自动驾驶车辆的正前方中央安装有毫米波雷达和摄像头，毫米波雷达距离地面40cm，摄像头距离地面70cm，摄像头和雷达在竖直方向上(本实施例中对应与Z轴)保持垂直对齐。车辆可以通过摄像头以及雷达对前方的目标进行感应以及检测。
图2是本发明实施例一中面向毫米波雷达与视频图像的数据融合方法的流程示意图。
如图2所示，面向毫米波雷达与视频图像的数据融合方法具体包括以下步骤：
步骤S1，建立检测场景，该检测场景含有黑色幕布以及在该黑色幕布前根据预定距离等距平行设置有等长的若干个白色木棍的，白色木棍垂直于水平面。
图3是本发明实施例一中检测场景的示意图，图4是图3中检测场景对应的俯视图。
如图3及图4所示，本实施例的检测场景中选用黑底幕布10以及若干并排的白色木棍20作为工具。
黑底幕布10设置于离自动驾驶车辆30较远的位置(至少大于白色木棍与自动驾驶车辆的距离)，并且保证摄像机画面中被黑色幕布铺满
各个白色木棍20为等长木棍，本实施例中，白色木棍的直径为4cm，长度为50cm。白色木棍设置后的效果图如图3所示，各个白色木棍间距离均保持在20cm，竖直且相互平行地放置在纯黑幕布和自动驾驶车辆30的前脸之间，并分布在毫米波雷达和摄像头的视野边界内。本实施例中，白色木棍所在的平面到摄像头之前的距离设置为20cm，一共设有n个白色木棍。
在竖平面的上下方向上，要保证木棍上下可以占满摄像头上下距离；在水平面的左右方向上，如图4所示，由于毫米波雷达左右视野边界(即图4中示出的雷达最左视野线和雷达最右视野线)角度一般小于摄像头检测的左右视野边界(即图4中示出的摄像头最左视野线和摄像头最右视野线)角度，所以要让白色木棍尽可能多但不能超过雷达的左右监测范围。白色木棍之间可以用绳子串联，并保持照明条件良好，便于摄像头捕捉。
毫米波雷达工作在毫米波波段(millimeter wave)，工作频率在30～100GHz，波长在1～10mm之间的电磁波，通过向障碍物发射电磁波并接收回波来精确探测目标的方向和距离。雷达的波束只在水平方向传播，无法识别目标高度信息。雷达输出数据包括对象ND、纵向坐标Xr、横向坐标Yr、纵向相对速度、运动状态以及横向相对速度，本实施例中，步骤S2会获取到n个白色木棍的纵向坐标Xrn以及横向坐标Yrn。
步骤S2，通过毫米波雷达对检测场景进行检测，得到每个白色木棍在对应于水平面的雷达坐标系中x轴与y轴上的坐标值，即Xrn以及Yrn。
本实施例中，由于毫米波雷达在水平方向上传播波束并对白色木棍进行检测，因此测量得到的白色木棍的位置可以近似地作为白色木棍的中心点，即，在雷达视野中，白色木棍体现为左右间隔距离相近的几个点，其带有的Xrn、Yrn值近似为其在XrOrYr平面中实际的坐标值。后续需要配准的是Yrn的值，即点在Yr轴上的投影长度值。
步骤S3，通过摄像头对检测场景进行拍摄得到木棍图像。
步骤S4，对木棍图像进行数字图像处理得到每个白色木棍的木棍中心点在木棍图像中的坐标值作为该白色木棍在对应于竖平面的图像坐标系中y轴与z轴上的坐标值Ycn以及Zcn。
本实施例中，在摄像头拍摄的木棍图像中，白色木棍占据在木棍图像的不同像素点位置。先采用数字图像处理技术识别图像中的边缘点，再采用直线拟合算法将这些点连接起来，之后再寻找到木棍中心点位置，记录下其在XcOcZc平面的位置。该过程具体包括步骤S4-1至步骤S4-4：
步骤S4-1，对木棍图像采用预定边缘检测算法得到木棍边缘点的边缘点位置。本实施例中，预定边缘检测算法采用canny算法，具体为：先对原始图像进行高斯滤波，再选用sobel算子(该sobel算子用于识别竖直边缘，具体如图5所示)计算图像的梯度和梯度方向，然后再非极大值抑制，最后采用双阈值筛选边缘的方式来获得图像的边缘点位置，将其呈现在一张feature map上。
步骤S4-2，基于最小二乘法对木棍边缘点进行直线拟合从而使得边缘点位置沿对应于白色木棍边缘的直线排布。本实施例中，考虑到测得的木棍边缘点可能有歪斜偏差的，所以采用基于最小二乘法的直线拟合算法来矫正这些边缘，提取到一条直线的精确位置。直线拟合得到最终结果是木棍边缘点所构成的直线在XrOrZr平面上的位置。
步骤S4-3，根据各个直线所对应的边缘点位置计算各个直线之间的直线距离，并将该直线距离最短的两根直线判定为同一白色木棍的左右边缘。
本实施例中，在步骤S4-2中得到若干条直线在像素平面的位置后，由于不确定哪些直线属于同一根木棍的左右边缘，所以通过步骤S4-3遍历整个像素平面，确定与当前选择的直线距离值最短的直线并将这两根直线作为同一根白色木棍的左右边缘，其对应的公式为：y1＝wnx1+bn，y2＝wjx2+bj中，使得|bn-bj|最小且|wn-wj|<δ，式中，δ为确定两边缘平行的阈值，xi、yi为各个木棍边缘点的坐标，wn、wj为直线的斜率，bn、bj为直线之间的间隔，满足以上两个条件的即认为是同一根木棍的左右边缘。
步骤S4-4，根据每个白色木棍的左右边缘所对应的边缘点位置，基于预定中心点计算方法确定木棍中心点。本实施例中，预定中心点计算方法为：取两条直线的两头一共4个点，取四个点的中心点，可作为木棍的目标中心点，雷达测到的点的位置也是这个中心点。
步骤S5，根据预定距离、白色木棍在雷达坐标系中的坐标以及在图像坐标系中的坐标值，将雷达坐标系以及图像坐标系基于y轴进行映射，从而构建出对应的坐标换算矩阵并完成雷达坐标系以及图像坐标系的融合。
本实施例的步骤S5是直接建立雷达坐标系与图像坐标系之间关于同一个点的位置映射。具体地，雷达坐标系对应于水平面XrOrYr面，而图像坐标系对应于竖直面XcOcYc面，Yc和Yr面同方向，所以根据步骤S2得到的n个白色木棍在Yr上的坐标值Yrn以及步骤S4得到的n个白色木棍在Yc上的坐标值Ycn可以建立一一对应的映射关系，从而使得木棍图像中各个白色木棍之间的像素距离与雷达坐标系中各个白色木棍在Yr轴上的距离进行对应，如图6所示，将两个坐标系融合在一起，可以发现Yr和Yc之间的差值在变化，这是由于摄像头畸变等因素造成的。即为要求的雷达和图像数据配准的映射关系，其形式为如图7所示的1x n的变换矩阵(即坐标换算矩阵)。
得到坐标换算矩阵后，该坐标换算矩阵可存储在自动驾驶车辆的控制模块中。在后续通过毫米波雷达以及摄像头进行目标识别以及坐标转换时，一旦毫米波雷达以及摄像头各自检测到了目标在雷达坐标系以及图像坐标系中的坐标点，就能够根据坐标换算矩阵对这些目标在y轴上的坐标进行换算，并确定毫米波雷达以及摄像头各自检测到的目标是否为同一个目标。
例如，摄像头测到了A、B、C、D四个物体，将物体A图像坐标系中的坐标值通过坐标换算矩阵进行换算，即可得到理论上的物体A在雷达平面应该在的位置Xr，此时再拿来实际的雷达测到的数据，遍历雷达测得的物体A’、B’、C’、D’，发现只有A’的距离与之前A算出的理论值的范围在一定阈值内，则认为是摄像头拍摄的图像中的A和雷达中测到的A’同一个物体。至此，就知道了物体A就是物体A’，进而获取到该物体A的雷达距离数据和视觉数据，这样就达到了数据融合。
另外，本实施例通过上述方法完成雷达坐标系以及图像坐标系的融合后得到的坐标换算矩阵是与摄像头和毫米波雷达的拍摄参数和检测参数相绑定的，若自动驾驶车辆的摄像头或毫米波雷达在后续过程中调整了对应的参数，则需要重新通过上述过程建立坐标换算矩阵。
本实施例中，上述面向毫米波雷达与视频图像的数据融合方法中的步骤S4以及S5也可以预先处理为对应的计算机程序形成中心点确定部以及坐标融合部，含有该中心点确定部以及坐标融合部的计算机程序与检测场景、毫米波雷达以及摄像头可以构成一种面向毫米波雷达与视频图像的数据融合系统，自动驾驶车辆可以通过该数据融合系统实现雷达坐标以及摄像头坐标的对齐和融合。
实施例一作用与效果
根据本实施例一提供的面向毫米波雷达与视频图像的数据融合方法及系统，由于通过毫米波雷达与摄像头对若干等距平行设置的白色木棍进行检测，雷达测出的是雷达坐标系中白色木棍的位置，摄像头得到的是图像坐标系中白色木棍的图像，通过数字图像处理识别出木棍中心点在图像坐标系中的位置。接下来，采用数据配准的方法，建立配准矩阵，形成从雷达坐标系与图像坐标系的映射关系，因此，通过这样的映射关系，不仅可以省去传统雷达与图像数据融合中的关键步骤“坐标系切换”，而且在主动安全相关项目-ADAS时可以直接从摄像头图像上换算实际距离，而不用受摄像头图像畸变的影响，也省去了各种坐标转换带来的偏差的变化不确定性的麻烦。
<实施例二>
本实施例二中，对于与实施例一具有同样结构的构成要素赋予同样的符号并省略相应的说明。
与实施例一相比，本实施例二进一步考虑到图像坐标系和雷达坐标系在y轴上的对应关系(即Yr和Yc的对应关系)，可能与木棍到汽车的距离有关(参考图4)。因此，本实施例二中对步骤S5进行了对应调整，具体地：
具体地，雷达坐标系对应于水平面XrOrYr面，而图像坐标系对应于竖直面XcOcYc面，Yc和Yr面同方向，接下来使得木棍图像中各个白色木棍之间的像素距离与毫米波雷达测得的雷达测量面法线与各个白色木棍之间的角度进行对应，如图8所示。这样，就考虑到了雷达测量的x，y方向的两个维度参数，也不用受木棍到摄像头雷达的距离的影响。
<变形例一>
本变形例一中，对于与实施例一具有同样结构的构成要素赋予同样的符号并省略相应的说明。
与实施例一相比，本变形例一的区别在于步骤S4-4中确定木棍中心点的预定中心点计算方法有所不同，具体地，该预定中心点计算方法为：
取bm＝(bn+bj)/2,wm＝(wn+wj)/2作为中心点所在直线，即，根据边缘点位置计算左右边缘的中心线，进一步取该中心线的中点作为木棍的中心点。
<变形例二>
本变形例二中，对于与实施例一具有同样结构的构成要素赋予同样的符号并省略相应的说明。
与实施例一相比，本变形例二的区别在于步骤S4中确定木棍中心点在木棍图像中的坐标值的方式有所不同，具体地：
本变形例二中，利用数字图像中可以识别目标颜色RGB的原理，在白色木棍中心位置预先设置一个红色或者蓝色等具有鲜艳色彩的标记点，并记录下该标记点对应的RGB值。接下来，在步骤S4中，可以直接通过数字图像识别出这些标记点，进而直接定位此处为木棍中心并获取对应的坐标值。
上述实施例以及变形例仅用于举例说明本发明的具体实施方式，而本发明不限于上述实施例以及变形例的描述范围。
例如，在上述实施例一及二中，毫米波雷达以及摄像头设置在自动驾驶车辆上，最终得到的坐标换算矩阵用在自动驾驶车辆的目标识别技术中。在本发明的其他方案中，也可以针对其他任意需要毫米波雷达以及摄像头进行多传感器定位的场景。
例如，在上述实施例一及二中，白色木棍之间的间距为20cm，在本发明的其他方案中，白色木棍之间的间距可以在10-40cm之间适应性地调整，只需保证各个白色木棍之间均保持等距。另外，适当缩短木棍间距离，在图像雷达共同的视野域中添加更多的木棍，可以增大配准的分辨率，提高精确程度。
例如，在上述实施例一及二中，白色木棍的直径为4cm，长度为50cm。在实际应用中，白色木棍的长度可以在50-150cm、宽度可以在2-10cm之间进行调整。
例如，在上述实施例一中，白色木棍到摄像头的距离设置有20m，在实际应用中，白色木棍到摄像头的距离可以在10-20m范围内进行调整，但需要保证各个白色木棍均平行设置，且位于毫米波雷达以及摄像头都的视野边界内。
例如，在上述实施例一及二中，是以毫米波雷达测量得到的坐标就是白色木棍的中心点坐标为准进行描述的。在本发明的其他方案中，由于雷达选型的不同，有的雷达测量到的是木棍最靠近雷达的一侧，此时需要在雷达测得的结果上加上白色木棍的半径作为白色木棍的中心点坐标，即木棍中心在y方向上，其中心点实际离雷达距离为原有距离加上木棍半径。

Claims (10)

1.一种面向毫米波雷达与视频图像的数据融合方法，用于对毫米波雷达以及摄像头的坐标数据进行融合，其特征在于，包括以下步骤：
步骤S1，建立含有黑色幕布以及在该黑色幕布前根据预定距离等距平行设置有等长的n个白色木棍的检测场景，所述白色木棍垂直于水平面；
步骤S2，通过所述毫米波雷达对所述检测场景进行检测，得到n个所述白色木棍在对应于所述水平面的雷达坐标系中x轴与y轴上的坐标值Xrn以及Yrn；
步骤S3，通过所述摄像头对所述检测场景进行拍摄得到木棍图像；
步骤S4，对所述木棍图像进行数字图像处理得到n个所述白色木棍的木棍中心点在所述木棍图像中的坐标值作为该白色木棍在对应于竖平面的图像坐标系中y轴与z轴上的坐标值Ycn以及Zcn；
步骤S5，根据所述预定距离、所述白色木棍在所述雷达坐标系中的坐标值以及在所述图像坐标系中的坐标值，将所述雷达坐标系以及所述图像坐标系基于所述y轴进行映射从而完成所述雷达坐标系以及所述图像坐标系的融合。
2.根据权利要求1所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：
其中，所述图像坐标系以及所述雷达坐标系基于所述y轴的映射为：
将所述木棍图像中各个所述白色木棍之间的像素距离与雷达坐标系中所述毫米波雷达测得的雷达测量面法线与各个所述白色木棍之间的角度进行对应。
3.根据权利要求1所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：
其中，所述图像坐标系以及所述雷达坐标系基于所述y轴的映射为：
将所述木棍图像中各个所述白色木棍之间的像素距离与雷达坐标系中所述毫米波雷达测得的各个所述白色木棍之间在y轴上的距离进行对应。
4.根据权利要求1所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：
其中，所述步骤S4包括以下子步骤：
步骤S4-1，对所述木棍图像采用预定边缘检测算法得到所述木棍边缘点的边缘点位置；
步骤S4-2，基于最小二乘法对所述木棍边缘点进行直线拟合从而使得所述边缘点位置沿对应于所述白色木棍边缘的直线排布；
步骤S4-3，根据各个所述直线所对应的边缘点位置计算各个所述直线之间的直线距离，并将该直线距离最短的两根直线判定为同一所述白色木棍的左右边缘；
步骤S4-4，根据每个所述白色木棍的左右边缘所对应的所述边缘点位置，基于预定中心点计算方法确定所述木棍中心点。
5.根据权利要求4所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：
其中，所述预定中心点计算方法为：
取所述左右边缘两端的4个所述木棍边缘点的边缘点位置，并将计算4个所述木棍边缘点的中心点坐标作为所述白色木棍的中心点。
6.根据权利要求4所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：
其中，所述预定中心点计算方法为：
根据所述边缘点位置计算所述左右边缘的中心线，并将该中心线的中点作为所述白色木棍的木棍中心点。
7.根据权利要求1所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：
其中，所述步骤S4中木棍中心点的确定方法为：
预先在所述白色木棍的中心点标记具有预定色彩的标记点并存储所述预定色彩的RGB值，根据该RGB值识别出所述木棍图像中的各个所述标记点从而得到所述木棍中心点。
8.根据权利要求1所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：
其中，所述白色木棍的长度为50-150cm，宽度为2-10cm，
所述预定距离为20-40cm。
9.根据权利要求1所述的面向毫米波雷达与视频图像的数据融合方法，其特征在于：
其中，所述毫米波雷达以及所述摄像头均安装在无人驾驶车辆的正前方中央并在对应于所述z轴的竖直方向上保持对齐。
10.一种面向毫米波雷达与视频图像的数据融合系统，用于对毫米波雷达以及摄像头的坐标数据进行融合，其特征在于，包括：
检测场景，含有黑色幕布以及在该黑色幕布前根据预定距离等距平行设置有等长的若干个白色木棍；
毫米波雷达，用于对所述检测场景进行检测，得到每个所述白色木棍在对应于水平面的雷达坐标系中x轴与y轴上的坐标值Xrn以及Yrn；
摄像头，用于对所述检测场景进行拍摄得到木棍图像；
中心点确定部，对所述木棍图像进行数字图像处理得到每个所述白色木棍的木棍中心点在所述木棍图像中的坐标值作为该白色木棍在对应于竖平面的图像坐标系中y轴与z轴上的坐标值Ycn以及Zcn；
坐标融合部，根据所述预定距离、所述白色木棍在所述雷达坐标系中的坐标以及在所述图像坐标系中的坐标值，将所述图像坐标系以及所述雷达坐标系基于所述y轴进行映射从而完成所述图像坐标系以及所述雷达坐标系的融合。
CN202110270383.4A 2021-03-12 2021-03-12 一种面向毫米波雷达与视频图像的数据融合方法及系统 Active CN113239948B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110270383.4A CN113239948B (zh) 2021-03-12 2021-03-12 一种面向毫米波雷达与视频图像的数据融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110270383.4A CN113239948B (zh) 2021-03-12 2021-03-12 一种面向毫米波雷达与视频图像的数据融合方法及系统

Publications (2)

Publication Number Publication Date
CN113239948A CN113239948A (zh) 2021-08-10
CN113239948B true CN113239948B (zh) 2022-10-14

Family

ID=77130189

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110270383.4A Active CN113239948B (zh) 2021-03-12 2021-03-12 一种面向毫米波雷达与视频图像的数据融合方法及系统

Country Status (1)

Country Link
CN (1) CN113239948B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652097A (zh) * 2020-05-25 2020-09-11 南京莱斯电子设备有限公司 一种图像毫米波雷达融合目标检测方法
CN112363167A (zh) * 2020-11-02 2021-02-12 重庆邮电大学 一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9996976B2 (en) * 2014-05-05 2018-06-12 Avigilon Fortress Corporation System and method for real-time overlay of map features onto a video feed
US10852419B2 (en) * 2017-10-20 2020-12-01 Texas Instruments Incorporated System and method for camera radar fusion
CN109035309B (zh) * 2018-07-20 2022-09-27 清华大学苏州汽车研究院（吴江） 基于立体视觉的双目摄像头与激光雷达间的位姿配准方法
CN111368706B (zh) * 2020-03-02 2023-04-18 南京航空航天大学 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法
CN111323771A (zh) * 2020-03-02 2020-06-23 南京理工大学 基于固定距离的毫米波雷达与视频数据融合方法
CN111693998A (zh) * 2020-04-26 2020-09-22 智慧互通科技有限公司 一种基于雷达和图像数据检测车辆位置的方法及装置
CN112215306B (zh) * 2020-11-18 2023-03-31 同济大学 一种基于单目视觉与毫米波雷达融合的目标检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111652097A (zh) * 2020-05-25 2020-09-11 南京莱斯电子设备有限公司 一种图像毫米波雷达融合目标检测方法
CN112363167A (zh) * 2020-11-02 2021-02-12 重庆邮电大学 一种基于毫米波雷达与单目相机融合的扩展目标跟踪方法

Also Published As

Publication number Publication date
CN113239948A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN111436216B (zh) 用于彩色点云生成的方法和系统
CN109931939B (zh) 车辆的定位方法、装置、设备及计算机可读存储介质
CN109961468B (zh) 基于双目视觉的体积测量方法、装置及存储介质
CN108692719B (zh) 物体检测装置
CN103065323B (zh) 一种基于单应性变换矩阵的分段空间对准方法
CN112907676A (zh) 传感器的标定方法、装置、系统、车辆、设备及存储介质
Gschwandtner et al. Infrared camera calibration for dense depth map construction
JP6260891B2 (ja) 画像処理装置および画像処理方法
CN109410264B (zh) 一种基于激光点云与图像融合的前方车辆距离测量方法
CN110288659B (zh) 一种基于双目视觉的深度成像及信息获取方法
CN110827361B (zh) 基于全局标定架的相机组标定方法及装置
CN108805910A (zh) 多目车载记录仪、目标检测方法、智能驾驶系统及汽车
US11410334B2 (en) Vehicular vision system with camera calibration using calibration target
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
JP4344860B2 (ja) ステレオ画像を用いた道路平面領域並びに障害物検出方法
CN113920183A (zh) 基于单目视觉的车前障碍物测距方法
KR101203816B1 (ko) 로봇 물고기 위치 인식 시스템 및 로봇 물고기 위치 인식 방법
CN106296703A (zh) 标定板、摄像头标定方法和装置
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
US20130057658A1 (en) Method for Detection of Targets in Stereoscopic Images
CN109857122A (zh) 仓库运输车辆的路径控制方法、装置和仓库运输系统
CN111382591A (zh) 一种双目相机测距校正方法及车载设备
CN113239948B (zh) 一种面向毫米波雷达与视频图像的数据融合方法及系统
CN114872790B (zh) 基于视觉的拖挂车的转向夹角的检测方法及检测系统
CN113674361B (zh) 一种车载环视校准实现方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant