CN112130153A - 基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法 - Google Patents

基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法 Download PDF

Info

Publication number
CN112130153A
CN112130153A CN202011008102.XA CN202011008102A CN112130153A CN 112130153 A CN112130153 A CN 112130153A CN 202011008102 A CN202011008102 A CN 202011008102A CN 112130153 A CN112130153 A CN 112130153A
Authority
CN
China
Prior art keywords
camera
fusion
automobile
radar
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011008102.XA
Other languages
English (en)
Inventor
林喜泓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dilu Technology Co Ltd
Original Assignee
Dilu Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dilu Technology Co Ltd filed Critical Dilu Technology Co Ltd
Priority to CN202011008102.XA priority Critical patent/CN112130153A/zh
Publication of CN112130153A publication Critical patent/CN112130153A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Electromagnetism (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法，通过获取无人驾驶汽车的摄像头针对汽车采集的拍摄图片，并获取无人驾驶汽车的毫米波雷达针对汽车采集的雷达图片，对拍摄图片和雷达图片进行空间融合和时间融合，得到融合图像，融合图像针对融合图像进行边缘检测，以得到无人驾驶汽车的边缘信息，并将无人驾驶汽车的边缘信息发送至整车决策的中央处理器，以使中央处理器高效稳定地获取无人驾驶汽车的边缘信息，进行相应的车辆检测，提高车辆检测过程中的鲁棒性。

Description

基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法
技术领域
本发明涉及图像处理技术领域，尤其涉及一种基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法。
背景技术
无人驾驶汽车是一种集环境感知、动态决策与规划、行为控制与执行等多功能为一体的智能化程度很高的装置。其中，环境感知技术是重要的基础保证，基于视觉的检测方法能够提供丰富的图像信息，可以获得车辆的尺寸和轮廓信息，但单一视觉特征对车辆检测的鲁棒性较低；基于雷达的车辆检测方法能够提供丰富的纵向信息，可以获得车辆的位置和相对速度信息，但无法识别车辆的形状和大小；两种检测方法各有利弊。为了提高车辆检测信息描述的完整性与可靠性，基于多传感器融合的车辆检测方法逐渐成为一个重要的研究内容和发展趋势。因此如何充分利用各传感器提供的信息进行车辆检测并克服两种方法的局限性，提高车辆检测鲁棒性成为亟待解决的技术问题。
发明内容
针对以上问题，本发明提出一种基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法。
为实现本发明的目的，提供一种基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法，包括如下步骤：
S20，获取无人驾驶汽车的摄像头针对汽车采集的拍摄图片，并获取无人驾驶汽车的毫米波雷达针对汽车采集的雷达图片；
S30，对拍摄图片和雷达图片进行空间融合和时间融合，得到融合图像；
S50，融合图像针对融合图像进行边缘检测，以得到无人驾驶汽车的边缘信息，并将无人驾驶汽车的边缘信息发送至整车决策的中央处理器。
在一个实施例中，获取无人驾驶汽车的摄像头针对汽车采集的拍摄图片包括：
获取无人驾驶汽车中各个摄像头针对汽车采集的初始图片，剔除故障摄像头对应的初始图片，得到拍摄图片。
具体地，在获取无人驾驶汽车中各个摄像头针对汽车采集的初始图片之后，还包括：
对各个摄像头在设定时间段上传初始图片进行比对，根据比对结果确定相应摄像头的工作状态，将工作状态为非正常的摄像头的描述信息发送至整车决策的中央处理器。
在一个实施例中，对拍摄图片和雷达图片进行空间融合和时间融合包括：
若拍摄图片包括多个，则对各个拍摄图片进行同步处理，得到融合拍摄图片，对融合拍摄图片和雷达图片进行空间融合和时间融合；
和/或，若雷达图片包括多个，则对各个雷达图片进行同步处理，得到融合雷达图片，对拍摄图片和融合雷达图片进行空间融合和时间融合。
上述基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法，通过获取无人驾驶汽车的摄像头针对汽车采集的拍摄图片，并获取无人驾驶汽车的毫米波雷达针对汽车采集的雷达图片，对拍摄图片和雷达图片进行空间融合和时间融合，得到融合图像，融合图像针对融合图像进行边缘检测，以得到无人驾驶汽车的边缘信息，并将无人驾驶汽车的边缘信息发送至整车决策的中央处理器，以使中央处理器高效稳定地获取无人驾驶汽车的边缘信息，进行相应的车辆检测，提高车辆检测过程中的鲁棒性。
附图说明
图1是一个实施例的基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法流程图；
图2是一个实施例的雷达与摄像头的同步过程示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参考图1所示，图1为一个实施例的基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法流程图，包括如下步骤：
S20，获取无人驾驶汽车的摄像头针对汽车采集的拍摄图片，并获取无人驾驶汽车的毫米波雷达针对汽车采集的雷达图片。
S30，对拍摄图片和雷达图片进行空间融合和时间融合，得到融合图像。
S50，融合图像针对融合图像进行边缘检测，以得到无人驾驶汽车的边缘信息，并将无人驾驶汽车的边缘信息发送至整车决策的中央处理器。
本实施例的各个步骤可以通过边缘处理器执行，边缘处理器得到无人驾驶汽车的边缘信息，可以将无人驾驶汽车的边缘信息发送至整车决策的中央处理器，以使中央处理器可以高效稳定地获取无人驾驶汽车的边缘信息。
上述基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法，通过获取无人驾驶汽车的摄像头针对汽车采集的拍摄图片，并获取无人驾驶汽车的毫米波雷达针对汽车采集的雷达图片，对拍摄图片和雷达图片进行空间融合和时间融合，得到融合图像，融合图像针对融合图像进行边缘检测，以得到无人驾驶汽车的边缘信息，并将无人驾驶汽车的边缘信息发送至整车决策的中央处理器，以使中央处理器高效稳定地获取无人驾驶汽车的边缘信息，进行相应的车辆检测，提高车辆检测过程中的鲁棒性。
在一个实施例中，上述S30，对拍摄图片和雷达图片进行空间融合和时间融合，得到融合图像中，可以先通过匹配雷达与摄像头坐标系，并进行标定等方式进行空间融合，再匹配雷达与摄像头同步性，实现两者的时间融合，以得到融合图像。
具体地，在匹配雷达与摄像头坐标系，并进行标定的过程中，目标(无人驾驶汽车)的位置在雷达三维坐标系上，被表示成PMMW(k)＝[XMMW(k)YAZMMW(k)]T，在摄像机(摄像头所在的摄像机)三维坐标系上，被表示成Pcam(k)＝[Xcam(k)Ycam(k)Zcam(k)]T，其中上标T表示转置，YA表示预定的固定值。位置和姿势估计单元通过把K个目标中的每一个，代入表示雷达三维坐标系上的目标位置PMMW(k)和摄像机三维坐标系上的目标位置Pcam(k)之间的位置关系式中，并利用最小二乘法等，求解最佳化问题，计算目标位置PMMW(k)和摄像机三维坐标系上的目标位置Pcam(k)之间的位置关系式中的旋转矩阵R和平移向量V。Pcam(k)＝R·PMMW(k)+V，k是识别多个(K个)目标中的预定一个目标的变量(0<k<K+1)，Pcam(k)表示在摄像机三维坐标系上检测到的第k个目标的目标检测位置，PMMW(k)表示在雷达三维坐标系上检测到的第k个目标的目标检测位置。对应于把在雷达三维坐标系上检测到的第k个目标的目标检测位置PMMW(k)变换成在摄像机三维坐标系上的目标检测位置Pcam(k)的等式。旋转矩阵R表示相对于摄像机12的毫米波雷达11的姿势。平移向量V表示相对于摄像机12的毫米波雷达11的位置。旋转矩阵R的变量的数目为3个，平移向量V的变量的数目为3个。于是，只要能够获得至少6个目标检测位置，就能够计算式的旋转矩阵R和平移向量V。注意，旋转矩阵R不仅可以通过利用最小二乘法求解，而且可以通过用四元数表示来求解。
在一个示例中，参考图2所示，在匹配雷达与摄像头同步性的过程中，毫米波雷达与车载摄像头有各自单独的运行频率，ESR毫米波雷达的采样周期为50ms，而车载摄像头对车道线的采样周期为100ms。两传感器(包括毫米波雷达与摄像头)采样频率不同，所以两传感器采集到的往往是不同时刻数据，造成了数据在时间上的偏差。因此，本示例选取多线程同步的方法解决上述毫米波雷达与车载摄像头采集信息时间不同步的问题，该方法过程如图2所示，以两传感器较短的采样周期作为最终的融合周期，即50ms。因车载摄像头的采样周期较长，因此图像处理模块将其各采样点获取的数据放置在缓冲区中供融合微处理器调取；雷达采集模块以雷达数据采集周期正常运行，并将采样时间记录在融合线程上。确定了融合线程的采样时间点，融合微处理器再从缓冲区中调取每个融合线程时间点上一个车载摄像头采样点获取的数据，以此达到同一时刻采集数据的目的。
在一个实施例中，获取无人驾驶汽车的摄像头针对汽车采集的拍摄图片包括：
获取无人驾驶汽车中各个摄像头针对汽车采集的初始图片，剔除故障摄像头对应的初始图片，得到拍摄图片。
具体地，在获取无人驾驶汽车中各个摄像头针对汽车采集的初始图片之后，还包括：
对各个摄像头在设定时间段上传初始图片进行比对，根据比对结果确定相应摄像头的工作状态，将工作状态为非正常的摄像头的描述信息发送至整车决策的中央处理器。
上述描述信息可以包括相应摄像头的标志和工作状态，摄像头的工作状态可以包括正常、有瑕疵和严重错误等状态。其中严重错误为非正常工作状态。
在一个示例中，本实施例的各个步骤可以通过边缘处理器执行，边缘处理器可以对对传感器(包括毫米波雷达与摄像头)进行自检，具体地，可以利用传感器自检系统传送过来的自检信息进行信息融合处理，根据传感器自检的动态结果结合规划控制算法对误报和漏报的敏感程度进行融合。边缘处理器可以设置传感器自检系统，传感器自检系统将目标传感器的运行状态分为以下三种情况：正常：代表此传感器工作正常；有瑕疵：代表此传感器有问题，但不影响传感器的继续工作；严重错误：代表此传感器有严重问题，不能正常工作。边缘处理器还可以设置多传感融合系统，多传感融合系统可以包括：融合预判模块：其根据传感器自检系统发送的结果，对传感器数据融合的可行性进行预判，决定是否要通过传感器融合模块对传感器数据进行融合；传感器融合模块：其对接收到的传感器状态数据，根据各类型传感器的传感器状态敏感程度，分别进行数据融合。融合预判断模块的工作流程为：根据传感器自检系统发送的各传感器运行状态自检结果和状态数据，结合车辆当前环境等其他因素，判断如果忽略运行状态为“严重错误”的传感器的数据后；其他传感器的数据融合后是否足以支撑智能驾驶汽车生成正确的规划和控制策略，如果忽略运行状态为严重错误的传感器的数据后智能驾驶系统无法生成正确；的规划和控制策略，则通知智能驾驶系统以安全的方式停止智能驾驶汽车的运行，否则进入传感器融合模块进行数据融合。边缘处理器还可以设置传感器融合模块，感器融合模块包括：多个分类融合子模块：其按照不同的传感器类别分别对各类传感器进行数据融合；传感器状态敏感子模块：其获取某一个目标分类融合子模块所需的各传感器的运行状态，依据各传感器的运行状态结果，并根据目标分类融合子模块的误报敏感程度及漏报敏感程度，对各传感器的状态数据进行处理，最后进行数据融合。
进一步地，边缘处理器可以检测获得的各类信息发送到中央进行整车决策控制等处理。具体地，可以利用传感器自检系统传送过来的自检信息进行信息融合处理，根据传感器自检的动态结果结合规划控制算法对误报和漏报的敏感程度进行融合。
在一个实施例中，对拍摄图片和雷达图片进行空间融合和时间融合包括：
若拍摄图片包括多个，则对各个拍摄图片进行同步处理，得到融合拍摄图片，对融合拍摄图片和雷达图片进行空间融合和时间融合；
和/或，若雷达图片包括多个，则对各个雷达图片进行同步处理，得到融合雷达图片，对拍摄图片和融合雷达图片进行空间融合和时间融合。
作为一个实施例，无人驾驶汽车的摄像头可以包括如下特征：
车载摄像头信号传输单元，用于车载硬件感光元器件的信号转换及信号传输；
DSP处理单元，与车载摄像头信号传输单元相连，用于车载摄像头数字信号的信号滤波及A/D转换；摄像头类型判断单元，与摄像头类型判断单元相连，用于识别车载摄像头的硬件类型并为系统功能提供摄像头类型信息；
视觉数据存储单元，与DSP处理单元相连，用于储存车载摄像头数据作为行车记录，储存图像预处理结果数据作为传感器融合的数据接口；以及图像信息预处理单元，与摄像头类型判断单元及视觉数据存储单元相连，用于将摄像头数据根据摄像头类型进行预处理，对图像进行去雾-优化处理、香农熵检测、灰度化、二值化及基于边缘检测的图像分割；
摄像头对应的处理系统还包括图像处理单元，所述图像处理单元与图像信息预处理单元相连；所述图像处理单元包括：路面估计单元，用于根据去雾优化后的图像数据对车辆行驶路面进行估计、分类；视觉里程计单元，用于根据去雾优化处理数据/灰度图像数据，对车辆行驶进行相对位姿解算；图像特征计算单元，用于对去雾优化处理数据、灰度图像数据进行视觉特征解算，包括特征检测、特征描述，计算特征分别为Haar、HOG、FAST、ORB、BRIEF或者LBP，特征实际解算种类由摄像头处理需求指定；视觉地图构建单元，用于针对BRIEF特征建立视觉特征地图库，与视觉里程计融合为视觉环境SLAM，对视觉地图进行优化处理，进行实时回环检测；图像识别单元，用于根据已知图像特征对车辆、行人、交通标识、车道线进行视觉识别；图像追踪单元，用于对车辆、行人、交通标识、车道线在不同帧画面中位置进行特征匹配，计算、估计车辆、行人、交通标识、车道线在世界坐标系下的时刻状态、位置；以及视觉特征库储存单元，用于储存图像特征计算单元解算出的视觉特征数据，存储方式为依时序下3D结构重建的特征库储存方式，为视觉地图构建单元提供计算数据接口；该系统还包括系统后端，所述系统后端与图像处理单元相连；所述系统后端包括：结构化道路构建单元，用于利用路面估计单元、视觉地图构建单元、图像识别单元解算结果搭建结构化道路模型，优化模型结果；行驶环境检测单元，用于根据路面估计单元、视觉地图构建单元、图像识别单元、图像追踪单元数据解算结果，检测自车辐射范围L米内行驶环境变化；以及系统数据交互接口单元用于为人机共驾、人机交互、车辆控制决策定位数据提取、车辆控制决策环境数据提取及传感器数据融合决策级数据提取提供数据接口。
进一步地，边缘处理器可以对不同的摄像头(红外或者可见光)进行图像配准(融合)，配准过程包括：
一、在红外成像传感器和可见光成像传感器固定不变并且同时采集的情况下，采集了一组红外视频和可见光视频，分别读取红外视频和可见光视频的对应帧im1和im2；这里红外图像尺寸576×704，可见光图像的尺寸是640×480；
二、图像的预处理
对于红外图像进行增强，采用的方式就是对红外图像的每个像素点进行取逆，定义一个576×704的单位矩阵E，具体的实施如公式(1)，公式(1)可以表征雷达三维坐标系上的目标位置PMMW(k)和摄像机三维坐标系上的目标位置Pcam(k)之间的位置关系：
im1＝255*E-im1 (1)
对取逆后的红外图像采用差值滤波的方式进行平滑的处理，对取逆后的红外图像进行差值滤波如公式(2)所示：
Figure BDA0002696662940000071
三、极值点尺度空间的生成
通过高斯的差分函数来检测尺度不变的极值点，高斯的差分函数的公式如公式(3)所示，高斯函数如公式(4)所示：
Figure BDA0002696662940000072
Figure BDA0002696662940000073
其中D(x,y,kσ)表示在系数k下尺度为σ的图像的差分高斯金字塔，D(x,y,σ)表示尺度为σ高斯金字塔，I(x,y)表示原图像，
Figure BDA0002696662940000075
表示求卷积，σ为尺度因子，G(x,y,kσ)表示尺度为kσ的高斯函数，(x,y)为图像上点的坐标，把红外图像和可见光图像根据图像的降采样和上采样分别分成尺度不同的σ组，如公式(5)所示，每组又分成n层，如公式(6)所示，最后由把红外图像和可见光图像每组的相邻的层进行相减，再把im1和im2分别带入公式(3)中的I(x,y)，从而由公式(3)检测到红外图像和可见光图像不同尺度的极值点：
Figure BDA0002696662940000074
n＝log2{min(M,N)-t},t∈[0,log2{min(M,N)}] (6)
这里M、N分别为图像尺寸值，对于红外图像来说，M为576，N为704，对于可见光图像来说，M为640，N为480。
四、极值点的定位
根据上面所检测到的极值点，对红外图像和可见光图像分别进行比较，进而得出相应的极值点，对于每一层的差分高斯金字塔和上下两层分别进行比较，为了寻找差分高斯金字塔上的关键点的位置和尺度，把差分高斯金字塔图像上检测出的任意一特征点作为3×3窗口中的中心点，然后再取与该层对应的上下两层的差分高斯金字塔的3×3的窗口，比较中心点的值是否比其邻近的或是上下窗口中对应的任意一点共26点的值大，如果是的话那么该点被认为是极大值点，否则不是，从而得出关键点的位置和尺度。
五、特征点的描述符
1)计算每个极值点的主方向；图像主要根据每个极值点邻域的梯度方向直方图来计算极值点的方向，具体的方法就是把极值点的邻域分成0-360度，把他们进行等间隔的划分，间距为10度，所以一共分成了36柱，根据每个柱的统计值，把最大的值作为主方向，把具有主方向能量80％的作为辅方向；
2)计算每个极值点的描述符，在得到了两幅图像的特征点后，取每个特征点邻近的16×16窗口，在这个窗口内又划分了4×4个区域，每个区域由4×4个像素点组成，对于可见光图像由于每个像素点有一个主方向和一个辅方向，因而计算每个区域的8个方向的梯度方向直方图，并对每个方向的梯度值进行累加，累加之后的8个方向的梯度值作为一个种子区域，这样一共得到了16个种子，128维向量，但是由于红外图像和可见光图像的差异性，特征点附近的局部图像的性质是不一致的，对应的特征点的方向是一致的，但梯度值却有着很大的不同，因此在对于红外图像进行8个方向的梯度值累加时选择加权平均的方式进行累加。
六、特征点的匹配
由步骤四得到红外图像任意一个极值点的坐标(x',y')，可见光图像上检测出的所有的极值点的坐标为(X1,Y1)、(X2,Y2)…(XN,YN)，找到原图像和待配准图像中余弦的最小值，从而得到一组对应的匹配点，计算过程如公式(7)所示：
min(arctan(x'-X1,y'-Y1),arctan(x'-X2,y'-Y2)......arctan(x'-XN,y'-YN)) (7)
把红外图像上每一个极值点都重复做公式(7)的计算，因而得到两幅图像对应的匹配点。
七、转移矩阵的生成
当得到了两幅待配准图像的特征点之后，通过投影变换来求出两幅图像之间的变换关系，然后结合ransac算法去除误匹配点，进而从ransac算法中能够求得一个精确的转移矩阵：
Figure BDA0002696662940000091
Figure BDA0002696662940000092
为中间变换的矩阵，把中间变换的矩阵称为H’，其中H’有8个自由度，即h0,h1.....h7这8个未知的参数，至少有四组对应的点就能求出H’，把公式8进行变换得到了公式：
Figure BDA0002696662940000093
能够看出未知的变量有8个，所以至少要有8个独立的线性方程才能解出这8个未知的变量，即至少要确定出4组对应的点，来能求出转移矩阵H’，通过H’矩阵便能得出目标图像在参考图像中的对应坐标，从而为图像的融合打下了很好的基础。
八、转移矩阵的精化
在改进的sift算法的基础上结合ransac算法，从而在ransac算法得到的模型中求出一个精确的变换矩阵H”，应用ransac该算法，执行的一定的次数，称它为迭代次数k，可以通过公式(10)求出：
Figure BDA0002696662940000094
其中p的值为在任意的一组迭代过程中，从所有的数据中随机选出的一个点是正确的数据点的概率；w为任意一次从所有的数据集中选取一个正确的数据点的概率；n为所有数据点的个数，假定它们都是独立的。
九、图像的融合
首先通过步骤六把两幅图像(576×704,640×480)对应的特征点求出，然后根据对应的点得到：
Figure BDA0002696662940000095
根据上面的ur、vr产生一个以ur为行，vr为列的矩阵u,以及vr为行，ur为列的矩阵v,然后把576×704的图像在对应的点(u,v)的值给到一个矩阵im1_里，同样的原理，根据上面求得的u和v以及对应的转移矩阵H便可得到：
Figure BDA0002696662940000101
根据上面的u_,v_，把M1×N1的图像在对应的点(u_,v_)的值给到一个矩阵im2_里，这样便可得到两幅对应的插值图像，因此他们的融合图像为：
fusion＝α*im2_+β*im1_ (13)
这里的α的值只要表示了一天24小时当中不同的时间段可见光图像的融合系数，根据可见光图像的亮度来决定α的值，通过反复的实验我们可以确定一个阈值T，如果可见光图像的平均亮度大于T，则认为是白天，此时α的值是1，反之，则把可见光图像的所有亮度值进行排序，去除前20％的亮度值的点，取剩下亮度值的和和总亮度值的比值作为α的值，β的值为1-α；因此，根据公式(13)就能得到融合后图像，由于算法的简洁性，图像的融合已达到了实时的效果。
十、对于视频的实时处理主要是把视频图像中的每帧根据步骤八得到的精确的转移矩阵H进行配准，配准之后的两幅图像根据公式(11)和公式(12)来进行插值，最后用公式13进行融合。
所述步骤八中应用ransac算法的步骤如下：
(1)通过已知数据中的任意的四组点来确定一个假设的模型H；
(2)用剩下的数据来验证假设的模型，如果某个数据能够根据该模型得到正确的匹配点对，则认为该数据是正确的，否则就认为是错误的；
(3)然后对所有的数据进行分析，如果有一定量的正确的数据，则认为该假设的模型是合理的，否则是不合理的；
(4)接着在正确的数据中任意选择4组数据来重新假设一个模型；
(5)最后，通过每个假设的模型的正确的数据个数与错误率来进行评价，进而选择一个最佳的模型。
采用的方法是根据异源视频之间的特征相似性进行匹配的采用了多尺度的sift算法进行异源图像的配准，根据多尺度的sift算法和ransac算法的结合可以得到一个精确的变换矩阵，用该变换矩阵对红外视频图像和可见光视频图像中的每帧分别进行插值，从而把不同分辨率的图像变换为同一分辨率的图像，从而解决了不同分辨的图像配准。
本实施例只使用毫米波雷达和摄像头作为传感器给到边缘处理器，边缘不做其他传感器的融合。并输出相应的计算结果给到中央处理器，降低了中央处理器的计算量。提出了硬件架构，时间同步，坐标系转换，数据匹配，自检系统。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
需要说明的是，本申请实施例所涉及的术语“第一\第二\第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二\第三”区分的对象在适当情况下可以互换，以使这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
本申请实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (4)

1.一种基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法，其特征在于，包括如下步骤：
S20，获取无人驾驶汽车的摄像头针对汽车采集的拍摄图片，并获取无人驾驶汽车的毫米波雷达针对汽车采集的雷达图片；
S30，对拍摄图片和雷达图片进行空间融合和时间融合，得到融合图像；
S50，融合图像针对融合图像进行边缘检测，以得到无人驾驶汽车的边缘信息，并将无人驾驶汽车的边缘信息发送至整车决策的中央处理器。
2.根据权利要求1所述的基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法，其特征在于，获取无人驾驶汽车的摄像头针对汽车采集的拍摄图片包括：
获取无人驾驶汽车中各个摄像头针对汽车采集的初始图片，剔除故障摄像头对应的初始图片，得到拍摄图片。
3.根据权利要求2所述的基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法，其特征在于，在获取无人驾驶汽车中各个摄像头针对汽车采集的初始图片之后，还包括：
对各个摄像头在设定时间段上传初始图片进行比对，根据比对结果确定相应摄像头的工作状态，将工作状态为非正常的摄像头的描述信息发送至整车决策的中央处理器。
4.根据权利要求1所述的基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法，其特征在于，对拍摄图片和雷达图片进行空间融合和时间融合包括：
若拍摄图片包括多个，则对各个拍摄图片进行同步处理，得到融合拍摄图片，对融合拍摄图片和雷达图片进行空间融合和时间融合；
和/或，若雷达图片包括多个，则对各个雷达图片进行同步处理，得到融合雷达图片，对拍摄图片和融合雷达图片进行空间融合和时间融合。
CN202011008102.XA 2020-09-23 2020-09-23 基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法 Pending CN112130153A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011008102.XA CN112130153A (zh) 2020-09-23 2020-09-23 基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011008102.XA CN112130153A (zh) 2020-09-23 2020-09-23 基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法

Publications (1)

Publication Number Publication Date
CN112130153A true CN112130153A (zh) 2020-12-25

Family

ID=73842707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011008102.XA Pending CN112130153A (zh) 2020-09-23 2020-09-23 基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法

Country Status (1)

Country Link
CN (1) CN112130153A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113820714A (zh) * 2021-09-07 2021-12-21 重庆驰知科技有限公司 一种基于多传感器融合的尘雾天气道路环境感知系统
CN114782916A (zh) * 2022-04-11 2022-07-22 广州优创电子有限公司 后视镜搭载的基于多传感器融合的adas后车识别系统
CN115273460A (zh) * 2022-06-28 2022-11-01 重庆长安汽车股份有限公司 多模感知融合的车辆变道预测方法、计算机设备及存储介质
CN117968860A (zh) * 2024-03-13 2024-05-03 苏州优米康通信技术有限公司 一种多传感融合的障碍物检测方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006048435A (ja) * 2004-08-05 2006-02-16 Nissan Motor Co Ltd 車両用画像処理装置
CN105574542A (zh) * 2015-12-15 2016-05-11 中国北方车辆研究所 基于多传感器融合的多视觉特征车辆检测方法
CN106708040A (zh) * 2016-12-09 2017-05-24 重庆长安汽车股份有限公司 自动驾驶系统的传感器模块、自动驾驶系统及方法
CN106951879A (zh) * 2017-03-29 2017-07-14 重庆大学 基于摄像头与毫米波雷达的多特征融合车辆检测方法
CN107161141A (zh) * 2017-03-08 2017-09-15 深圳市速腾聚创科技有限公司 无人驾驶汽车系统及汽车
CN108482366A (zh) * 2018-03-23 2018-09-04 重庆长安汽车股份有限公司 基于车辆自动驾驶的代客泊车系统及方法
CN108508872A (zh) * 2018-04-18 2018-09-07 鄂尔多斯市普渡科技有限公司 一种无人驾驶汽车信息采集系统的故障检测方法
CN108639048A (zh) * 2018-05-15 2018-10-12 智车优行科技（北京）有限公司 汽车变道辅助方法、系统以及汽车
CN110949395A (zh) * 2019-11-15 2020-04-03 江苏大学 一种基于多传感器融合的弯道acc目标车辆识别方法
CN111252082A (zh) * 2020-01-20 2020-06-09 浙江吉利汽车研究院有限公司 一种驾驶预警方法、装置及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006048435A (ja) * 2004-08-05 2006-02-16 Nissan Motor Co Ltd 車両用画像処理装置
CN105574542A (zh) * 2015-12-15 2016-05-11 中国北方车辆研究所 基于多传感器融合的多视觉特征车辆检测方法
CN106708040A (zh) * 2016-12-09 2017-05-24 重庆长安汽车股份有限公司 自动驾驶系统的传感器模块、自动驾驶系统及方法
CN107161141A (zh) * 2017-03-08 2017-09-15 深圳市速腾聚创科技有限公司 无人驾驶汽车系统及汽车
CN106951879A (zh) * 2017-03-29 2017-07-14 重庆大学 基于摄像头与毫米波雷达的多特征融合车辆检测方法
CN108482366A (zh) * 2018-03-23 2018-09-04 重庆长安汽车股份有限公司 基于车辆自动驾驶的代客泊车系统及方法
CN108508872A (zh) * 2018-04-18 2018-09-07 鄂尔多斯市普渡科技有限公司 一种无人驾驶汽车信息采集系统的故障检测方法
CN108639048A (zh) * 2018-05-15 2018-10-12 智车优行科技（北京）有限公司 汽车变道辅助方法、系统以及汽车
CN110949395A (zh) * 2019-11-15 2020-04-03 江苏大学 一种基于多传感器融合的弯道acc目标车辆识别方法
CN111252082A (zh) * 2020-01-20 2020-06-09 浙江吉利汽车研究院有限公司 一种驾驶预警方法、装置及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113820714A (zh) * 2021-09-07 2021-12-21 重庆驰知科技有限公司 一种基于多传感器融合的尘雾天气道路环境感知系统
CN113820714B (zh) * 2021-09-07 2024-04-12 重庆驰知科技有限公司 一种基于多传感器融合的尘雾天气道路环境感知系统
CN114782916A (zh) * 2022-04-11 2022-07-22 广州优创电子有限公司 后视镜搭载的基于多传感器融合的adas后车识别系统
CN114782916B (zh) * 2022-04-11 2024-03-29 广州优创电子有限公司 后视镜搭载的基于多传感器融合的adas后车识别系统
CN115273460A (zh) * 2022-06-28 2022-11-01 重庆长安汽车股份有限公司 多模感知融合的车辆变道预测方法、计算机设备及存储介质
CN117968860A (zh) * 2024-03-13 2024-05-03 苏州优米康通信技术有限公司 一种多传感融合的障碍物检测方法
CN117968860B (zh) * 2024-03-13 2024-08-20 苏州优米康通信技术有限公司 一种多传感融合的障碍物检测方法

Similar Documents

Publication Publication Date Title
CN111583337B (zh) 一种基于多传感器融合的全方位障碍物检测方法
CN110532896B (zh) 一种基于路侧毫米波雷达和机器视觉融合的道路车辆检测方法
CN112396650B (zh) 一种基于图像和激光雷达融合的目标测距系统及方法
CN108932736B (zh) 二维激光雷达点云数据处理方法以及动态机器人位姿校准方法
CN113379805B (zh) 一种交通节点的多信息资源融合处理方法
CN112130153A (zh) 基于毫米波雷达和摄像头实现无人驾驶汽车边缘检测方法
CN107506763B (zh) 一种基于卷积神经网络的多尺度车牌精准定位方法
CN114022830A (zh) 一种目标确定方法以及目标确定装置
CN113447923A (zh) 目标检测方法、装置、系统、电子设备及存储介质
CN112562093B (zh) 目标检测方法、电子介质和计算机存储介质
CN113095152A (zh) 一种基于回归的车道线检测方法及系统
CN111738071B (zh) 一种基于单目摄像机的运动变化的逆透视变换方法
US20230394829A1 (en) Methods, systems, and computer-readable storage mediums for detecting a state of a signal light
CN115797454A (zh) 一种鸟瞰图视角下多摄像机融合感知方法及装置
CN117111055A (zh) 一种基于雷视融合的车辆状态感知方法
CN114488181A (zh) 一种相机和激光雷达的多源异构传感器融合方法及设备
CN115327572A (zh) 一种车辆前方障碍物检测方法
CN115457358A (zh) 一种图像与点云的融合的处理方法、装置和无人车
CN114814827A (zh) 基于4d毫米波雷达与视觉融合的行人分类方法及系统
CN116778262B (zh) 一种基于虚拟点云的三维目标检测方法和系统
CN112241963A (zh) 基于车载视频的车道线识别方法、系统和电子设备
CN117218576A (zh) 一种基于视频识别的毫米波雷达点云自动标注方法
CN114152942B (zh) 一种毫米波雷达与视觉二阶融合多分类目标检测方法
CN114463660A (zh) 一种基于视频雷达融合感知的判断车型方法
CN113917453A (zh) 一种基于雷达和视频的多传感器融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination