CN107202983A - 基于图像识别和毫米波雷达融合的自动刹车方法和系统 - Google Patents

基于图像识别和毫米波雷达融合的自动刹车方法和系统 Download PDF

Info

Publication number
CN107202983A
CN107202983A CN201710358238.5A CN201710358238A CN107202983A CN 107202983 A CN107202983 A CN 107202983A CN 201710358238 A CN201710358238 A CN 201710358238A CN 107202983 A CN107202983 A CN 107202983A
Authority
CN
China
Prior art keywords
image
target
radar
millimetre
brake
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710358238.5A
Other languages
English (en)
Other versions
CN107202983B (zh
Inventor
刘国清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Youjia Innovation Technology Co.,Ltd.
Original Assignee
Shenzhen Minieye Innovation Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Minieye Innovation Technology Co Ltd filed Critical Shenzhen Minieye Innovation Technology Co Ltd
Priority to CN201710358238.5A priority Critical patent/CN107202983B/zh
Publication of CN107202983A publication Critical patent/CN107202983A/zh
Application granted granted Critical
Publication of CN107202983B publication Critical patent/CN107202983B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185—Controlling the brakes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Regulating Braking Force (AREA)

Abstract

本发明涉及一种基于图像识别和毫米波雷达融合的自动刹车方法和系统，通过采用毫米波雷达采集本车前方的目标雷达图像及目标距离本车的距离；采用车载摄像头获取本车前方的环境图像及目标图像；采用基于深度学习语义分割对目标雷达图像、环境图像及目标图像进行处理；将处理后图像进行加权融合，并根据加权融合的图像信息计算出本车与目标的距离、速度及加速度；根据本车与目标的距离、速度及加速度计算出本车与目标的碰撞预计时间；在碰撞预计时间达到碰撞制动临界时间点时，控制本车进行自动刹车。由于将目标雷达图像、环境图像及目标图像进行了加权融合，进而进行刹车控制，使得自动刹车的准确度更高，提高了驾驶的安全度。

Description

基于图像识别和毫米波雷达融合的自动刹车方法和系统
技术领域
本发明涉及自动刹车控制技术，特别是涉及一种基于图像识别和毫米波雷达融合的自动刹车方法和系统。
背景技术
自动刹车系统主要由信息采集系统、数据分析系统和执行机构3大模块构成，自动刹车系统通过信息采集系统收集到车辆外部环境数据，然后利用数据分析系统将采集到的数据做进一步处理，得出本车与前方目标的距离、与前方目标的预计碰撞时间。执行机构系统将数据分析系统的输出结果与警示距离、安全距离进行比较，当距离小于警示距离时进行警报提示，而当小于安全距离时即使在驾驶员没有来得及踩制动踏板的情况下，自动刹车系统系统也会启动，对汽车进行自动制动，即执行机构会自动在刹车系统上加力，以帮助驾驶员在做出动作前缩短刹车距离，最大限度避免碰撞事故的发生。
在实际行车中，由于驾驶员的疲劳，雨天雾天等恶劣天气导致视线受阻等，很容易发生交通事故。通过对交通事故分析发现，配备自动刹车系统可以降低17％以上的追尾事故。在最新的美国保险协会与欧洲新车碰撞测试中心(E-NCAP)的车辆安全评价标准中，均将自动刹车系统作为重要的评价对象。由此可见，自动刹车系统对行车安全以具有很大的帮助。
目前自动刹车系统的数据采集模块，或使用雷达系统，或使用视频系统。
雷达系统的主要问题是只能对纵向距离进行准确检测，但是对于横向距离以及垂直向信息无法识别，即对物体尺寸、运动等不能进行良好的估计。由于雷达的发射角度小，距离过于近的物体可能测不到或者不准(如波束从对方车正面穿过去、对方不是正好在正前方等等情况)。基于图像的测距系统容易受到光照、天气、等的影响，尤其在夜间以及极端天气(如雾天，雪天)条件下，检测性能大打折扣。
发明内容
基于此，有必要提供一种安全性能高的基于图像识别和毫米波雷达融合的自动刹车方法和系统。
一种基于图像识别和毫米波雷达融合的自动刹车方法，包括以下步骤：
采用毫米波雷达采集本车前方的目标雷达图像及目标距离本车的距离；
采用车载摄像头获取本车前方的环境图像及目标图像；
采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理；
将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合，并根据加权融合的图像信息计算出本车与目标的距离、速度及加速度；
根据本车与目标的距离、速度及加速度计算出本车与目标的碰撞预计时间；
在碰撞预计时间达到碰撞制动临界时间点时，控制本车进行自动刹车。
在其中一个实施例中，所述采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理的步骤包括：
采用FCN深度学习网络预测出图像当中每个像素属于行驶区域或非行驶区域的概率；
采用CFR图像语义分割进一步确定每个像素所属类标。
在其中一个实施例中，所述将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合的步骤包括：
动态调整所述目标雷达图像、所述环境图像及所述目标图像的权重。
在其中一个实施例中，所述动态调整所述目标雷达图像、所述环境图像及所述目标图像的权重的步骤包括：
在距离阈值范围内，调高所述目标雷达图像的权重，降低所述环境图像及所述目标图像的权重；
在超过距离阈值范围时，降低所述目标雷达图像的权重，调高所述环境图像及所述目标图像的权重。
在其中一个实施例中，还包括以下步骤：
在碰撞预计时间超过安全时间临界时间点时，向本车的驾驶人员发出视觉报警信号；
在碰撞预计时间超过安全时间临界时间点、而没有达到碰撞制动临界时间点时，向本车的驾驶人员发出声音报警信号且进行自动刹车预制动；
在碰撞预计时间超过不可避免碰撞制动临界时间点时，控制本车的安全带预紧张。
一种基于图像识别和毫米波雷达融合的自动刹车系统，包括毫米波雷达模块、车载摄像头模块、语义分割处理模块、加权融合模块、计算模块及控制模块；
所述毫米波雷达模块用于采集本车前方的目标雷达图像及目标距离本车的距离；
所述车载摄像头模块用于获取本车前方的环境图像及目标图像；
所述语义分割处理模块用于采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理；
所述加权融合模块用于将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合，并根据加权融合的图像信息计算出本车与目标的距离、速度及加速度；
所述计算模块用于根据本车与目标的距离、速度及加速度计算出本车与目标的碰撞预计时间；
在碰撞预计时间达到碰撞制动临界时间点时，所述控制模块用于控制本车进行自动刹车。
在其中一个实施例中，所述语义分割处理模块还用于采用FCN深度学习网络预测出图像当中每个像素属于行驶区域或非行驶区域的概率；
所述语义分割处理模块还用于采用CFR图像语义分割进一步确定每个像素所属类标。
在其中一个实施例中，所述加权融合模块还用于动态调整所述目标雷达图像、所述环境图像及所述目标图像的权重。
在其中一个实施例中，在距离阈值范围内，所述加权融合模块还用于调高所述目标雷达图像的权重，降低所述环境图像及所述目标图像的权重；
在超过距离阈值范围时，所述加权融合模块还用于降低所述目标雷达图像的权重，调高所述环境图像及所述目标图像的权重。
在其中一个实施例中，在碰撞预计时间超过安全时间临界时间点时，所述控制模块还用于向本车的驾驶人员发出视觉报警信号；
在碰撞预计时间超过安全时间临界时间点、而没有达到碰撞制动临界时间点时，所述控制模块还用于向本车的驾驶人员发出声音报警信号且进行自动刹车预制动；
在碰撞预计时间超过不可避免碰撞制动临界时间点时，所述控制模块还用于控制本车的安全带预紧张。
上述基于图像识别和毫米波雷达融合的自动刹车方法和系统通过采用毫米波雷达采集本车前方的目标雷达图像及目标距离本车的距离；采用车载摄像头获取本车前方的环境图像及目标图像；采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理；将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合，并根据加权融合的图像信息计算出本车与目标的距离、速度及加速度；根据本车与目标的距离、速度及加速度计算出本车与目标的碰撞预计时间；在碰撞预计时间达到碰撞制动临界时间点时，控制本车进行自动刹车。由于将目标雷达图像、环境图像及目标图像进行了加权融合，进而根据加权融合的图像信息进行刹车控制，使得自动刹车的准确度更高，提高了驾驶的安全度。
附图说明
图1为基于图像识别和毫米波雷达融合的自动刹车方法的流程图；
图2为条件随机场图像语义分割的类标示意图；
图3为基于图像识别和毫米波雷达融合的自动刹车系统的模块图。
具体实施方式
为了便于理解本发明，下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的较佳实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本发明。本文所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。
如图1所示，为基于图像识别和毫米波雷达融合的自动刹车方法的流程图。
一种基于图像识别和毫米波雷达融合的自动刹车方法，包括以下步骤：
步骤S110，采用毫米波雷达采集本车前方的目标雷达图像及目标距离本车的距离。
毫米波雷达是指工作在毫米波波段的雷达。其特点是波长短，穿透能力强，几乎不受外部气象的条件影响，探测性能稳定，实时性强。
步骤S120，采用车载摄像头获取本车前方的环境图像及目标图像。
在本实施例中，车载摄像头采用6层全玻璃镜头，水平视角(HFOV)52°、垂直视角(VFOV)38.4°，感光芯片为CMOS数字图像传感器AR0132AT。该系统具有集成度高、功耗低、成本低的优点。当然，车载摄像头并限于上述镜头，拍摄视角也可根据实际需要进行调节。
由于雷达的发射角度小，近距离物体可能测不到或者不准。针对波束从对方车正面穿过去，目标不是正好在正前方等一些很难检测的情况。结合之前的雷达信息作出一个综合判断(因为近车不是凭空出现，肯定是前车拉近或者旁边车切入造成。之前的雷达肯定有记录到一辆远车慢慢拉近，或者前方侧面有个车)，因此，综合车载摄像头的图像采集结果，可以检测到这些特殊情况下的车辆。
步骤S130，采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理。
具体的，步骤S130包括：
采用FCN(Fully Convolutional Networks全卷积网络)深度学习网络预测出图像当中每个像素属于行驶区域或非行驶区域的概率；
采用CFR(Conditional Random Fields条件随机场)图像语义分割进一步确定每个像素所属类标。
在本实施例中，利用FCN深度学习网络预测出图像当中每个像素属于行驶区域或非行驶区域概率，得出每个像素的类标概率后，使用CFR进一步确定出每个像素所属类标，其中全连接条件随机场CRF的能量函数是：
E表示边集合，xi为像素点i的分类标签，能量方程的第一项Ψu(xi)，称之为一元势函数，用于衡量当像素点i的颜色值为yi时，该像素点属于类别标签xi的概率。能量方程的第二项成对势函数Ψp(xi，xj)，用于衡量两事件同时发生的概率p(xi，xj)。
通过优化求解可得该能量函数的解为：
下标i表示第i张特征图，Q(l)是一张概率图片，对应着原始图像每个像素点属于类别l的概率，K(fi，fj)是一个高斯核权重。Qi是概率分布，l表示类别，下标i表示第i张特征图，Qi(l)表示第i张特征图每个像素点属于类别L的概率分布，(fi，fj)是像素点i和j的特征向量，K(fi，fj)是一个高斯核权重。
CRF图像语义分割的目标就是：通过观测变量yi，推理出潜变量xi的对应类别标签。具体如图2所示。
在深度学习语义分割出可行驶区域基础上，再利用图像和毫米波雷达系融合系统进行信息采集，极大地提高了检测性能，避免了一些可能的误判，提高了系统的鲁棒性。
步骤S140，将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合，并根据加权融合的图像信息计算出本车与目标的距离、速度及加速度。
具体的，步骤S140包括：动态调整所述目标雷达图像、所述环境图像及所述目标图像的权重。
在本实施例中，通过毫米波雷达检测出本车前方的目标及目标距离本车的距离(如目标1距离200m)。
通过车载摄像头，获取到外部环境的图像信息，使用LDCF(local DecorrelationChannel Features，物体检测算法)算法检测出本车前方的物体(如检测到的目标有人、车辆)。再结合相机成像原理，计算出物体距离本车的距离。
加权融合并非简单的对目标雷达图像、环境图像及目标图像进行加和，而是通过动态调整雷达系统和图像采集系统的权重，使得两种信息得到相互验证或者纠正，最终获得更可靠的外部信息。
通常，对于较近物体的检测，由雷达系统获取的信息较为可靠。而对于较远的物体，视觉系统传递的信息相对更为可靠。
在本实施例中，所述动态调整所述目标雷达图像、所述环境图像及所述目标图像的权重的步骤包括：
在距离阈值范围内，调高所述目标雷达图像的权重，降低所述环境图像及所述目标图像的权重；
在超过距离阈值范围时，降低所述目标雷达图像的权重，调高所述环境图像及所述目标图像的权重。
具体的，设定一个距离阈值D，在D以内，认为毫米波雷达的可靠性更高，即调整毫米波雷达的权重高于车载摄像头。根据毫米波雷达所检测到的目标去匹配车载摄像头所检测到的目标，如果车载摄像头检测出某位置某个物体，而毫米波雷达也检测到了此距离的某个目标，此时毫米波雷达与车载摄像头实现了相互验证，此信息的可靠度得到提升；如果车载摄像头检测到的目标没有与毫米波雷达检测的目标相匹配，此时，认为车载摄像头未匹配到的目标是误检，纠正了车载摄像头检测的误检。
当超出设定阈值D时，交换两个毫米波雷达与车载摄像头的权重，再次进行信息的验证与纠正。获得更为可靠的信息。
步骤S150，根据本车与目标的距离、速度及加速度计算出本车与目标的碰撞预计时间。
依据本车与目标的距离、速度及加速度等信息，计算本车与前方目标的碰撞预计时间。
步骤S160，在碰撞预计时间达到碰撞制动临界时间点时，控制本车进行自动刹车。
在本实施例中，基于图像识别和毫米波雷达融合的自动刹车方法，还包括以下步骤：
在碰撞预计时间超过安全时间临界时间点时，向本车的驾驶人员发出视觉报警信号；
在碰撞预计时间超过安全时间临界时间点、而没有达到碰撞制动临界时间点时，向本车的驾驶人员发出声音报警信号且进行自动刹车预制动；
在碰撞预计时间超过不可避免碰撞制动临界时间点时，控制本车的安全带预紧张。
具体的，如果本车与目标之间的距离处在安全距离(未超过安全时间临界时间点)以内，则不做响应；如果本车与目标车之间从安全距离进入到较危险距离，或者前方碰撞预计时间超过安全时间临界时间点，会发出视觉警报以提醒驾驶员注意安全。当处于较危险距离(超过安全时间临界时间点、而没有达到碰撞制动临界时间点时)，会通过声音报警、震动等方式预警，并启动制动器，开始预压。当处于危险距离，即碰撞预计时间达到碰撞制动临界时间点时，制动器完全施压即控制自动刹车。如果车处于避免碰撞距离以内(超过不可避免碰撞制动临界时间点时)，碰撞不可避免，执行提前给予安全带预紧张。
上述方法利用深度学习语义分割从背景图中把可行驶区域分离出来，然后结合基于车载摄像头获取的图像和毫米波雷达获取的图像进行加权融合，避免了一些可能的误检，提高了系统的鲁棒性，基于图像识别和毫米波雷达融合的自动刹车方法又很好的将两种互补的信息进行融合，根据距离阈值动态设定毫米波雷达和车载摄像头的权重，使得信息的融合更为灵活合理，获得了更详细、更可靠、精度更高的环境信息；从而使自动刹车更加的敏锐和可靠，实现了更好的驾驶安全性、舒适性和燃油经济性。
如图3所示，为基于图像识别和毫米波雷达融合的自动刹车系统的模块图。
一种基于图像识别和毫米波雷达融合的自动刹车系统，包括毫米波雷达模块101、车载摄像头模块102、语义分割处理模块103、加权融合模块104、计算模块105及控制模块106；
所述毫米波雷达模块101用于采集本车前方的目标雷达图像及目标距离本车的距离；
所述车载摄像头模块102用于获取本车前方的环境图像及目标图像；
所述语义分割处理模块103用于采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理；
所述加权融合模块104用于将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合，并根据加权融合的图像信息计算出本车与目标的距离、速度及加速度；
所述计算模块105用于根据本车与目标的距离、速度及加速度计算出本车与目标的碰撞预计时间；
在碰撞预计时间达到碰撞制动临界时间点时，所述控制模块106用于控制本车进行自动刹车。
所述语义分割处理模块103还用于采用FCN深度学习网络预测出图像当中每个像素属于行驶区域或非行驶区域的概率；
所述语义分割处理模块103还用于采用CFR图像语义分割进一步确定每个像素所属类标。
所述加权融合模块104还用于动态调整所述目标雷达图像、所述环境图像及所述目标图像的权重。
在距离阈值范围内，所述加权融合模块104还用于调高所述目标雷达图像的权重，降低所述环境图像及所述目标图像的权重；
在超过距离阈值范围时，所述加权融合模块104还用于降低所述目标雷达图像的权重，调高所述环境图像及所述目标图像的权重。
在碰撞预计时间超过安全时间临界时间点时，所述控制模块106还用于向本车的驾驶人员发出视觉报警信号；
在碰撞预计时间超过安全时间临界时间点、而没有达到碰撞制动临界时间点时，所述控制模块106还用于向本车的驾驶人员发出声音报警信号且进行自动刹车预制动；
在碰撞预计时间超过不可避免碰撞制动临界时间点时，所述控制模块106还用于控制本车的安全带预紧张。
上述基于图像识别和毫米波雷达融合的自动刹车方法和系统通过采用毫米波雷达采集本车前方的目标雷达图像及目标距离本车的距离；采用车载摄像头获取本车前方的环境图像及目标图像；采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理；将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合，并根据加权融合的图像信息计算出本车与目标的距离、速度及加速度；根据本车与目标的距离、速度及加速度计算出本车与目标的碰撞预计时间；在碰撞预计时间达到碰撞制动临界时间点时，控制本车进行自动刹车。由于将目标雷达图像、环境图像及目标图像进行了加权融合，进而根据加权融合的图像信息进行刹车控制，使得自动刹车的准确度更高，提高了驾驶的安全度。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于图像识别和毫米波雷达融合的自动刹车方法，其特征在于：包括以下步骤：
采用毫米波雷达采集本车前方的目标雷达图像及目标距离本车的距离；
采用车载摄像头获取本车前方的环境图像及目标图像；
采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理；
将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合，并根据加权融合的图像信息计算出本车与目标的距离、速度及加速度；
根据本车与目标的距离、速度及加速度计算出本车与目标的碰撞预计时间；
在碰撞预计时间达到碰撞制动临界时间点时，控制本车进行自动刹车。
2.根据权利要求1所述的基于图像识别和毫米波雷达融合的自动刹车方法，其特征在于，所述采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理的步骤包括：
采用FCN深度学习网络预测出图像当中每个像素属于行驶区域或非行驶区域的概率；
采用CFR图像语义分割进一步确定每个像素所属类标。
3.根据权利要求1所述的基于图像识别和毫米波雷达融合的自动刹车方法，其特征在于，所述将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合的步骤包括：
动态调整所述目标雷达图像、所述环境图像及所述目标图像的权重。
4.根据权利要求3所述的基于图像识别和毫米波雷达融合的自动刹车方法，其特征在于，所述动态调整所述目标雷达图像、所述环境图像及所述目标图像的权重的步骤包括：
在距离阈值范围内，调高所述目标雷达图像的权重，降低所述环境图像及所述目标图像的权重；
在超过距离阈值范围时，降低所述目标雷达图像的权重，调高所述环境图像及所述目标图像的权重。
5.根据权利要求1所述的基于图像识别和毫米波雷达融合的自动刹车方法，其特征在于，还包括以下步骤：
在碰撞预计时间超过安全时间临界时间点时，发出视觉报警信号；
在碰撞预计时间超过安全时间临界时间点、而没有达到碰撞制动临界时间点时，发出声音报警信号且进行自动刹车预制动；
在碰撞预计时间超过不可避免碰撞制动临界时间点时，控制本车的安全带预紧张。
6.一种基于图像识别和毫米波雷达融合的自动刹车系统，其特征在于，包括毫米波雷达模块、车载摄像头模块、语义分割处理模块、加权融合模块、计算模块及控制模块；
所述毫米波雷达模块用于采集本车前方的目标雷达图像及目标距离本车的距离；
所述车载摄像头模块用于获取本车前方的环境图像及目标图像；
所述语义分割处理模块用于采用基于深度学习语义分割对所述目标雷达图像、所述环境图像及所述目标图像进行处理；
所述加权融合模块用于将处理后的所述目标雷达图像、所述环境图像及所述目标图像进行加权融合，并根据加权融合的图像信息计算出本车与目标的距离、速度及加速度；
所述计算模块用于根据本车与目标的距离、速度及加速度计算出本车与目标的碰撞预计时间；
在碰撞预计时间达到碰撞制动临界时间点时，所述控制模块用于控制本车进行自动刹车。
7.根据权利要求6所述的基于图像识别和毫米波雷达融合的自动刹车系统，其特征在于，所述语义分割处理模块还用于采用FCN深度学习网络预测出图像当中每个像素属于行驶区域或非行驶区域的概率；
所述语义分割处理模块还用于采用CFR图像语义分割进一步确定每个像素所属类标。
8.根据权利要求6所述的基于图像识别和毫米波雷达融合的自动刹车系统，其特征在于，所述加权融合模块还用于动态调整所述目标雷达图像、所述环境图像及所述目标图像的权重。
9.根据权利要求6所述的基于图像识别和毫米波雷达融合的自动刹车系统，其特征在于，在距离阈值范围内，所述加权融合模块还用于调高所述目标雷达图像的权重，降低所述环境图像及所述目标图像的权重；
在超过距离阈值范围时，所述加权融合模块还用于降低所述目标雷达图像的权重，调高所述环境图像及所述目标图像的权重。
10.根据权利要求6所述的基于图像识别和毫米波雷达融合的自动刹车系统，其特征在于，在碰撞预计时间超过安全时间临界时间点时，所述控制模块还用于向本车的驾驶人员发出视觉报警信号；
在碰撞预计时间超过安全时间临界时间点、而没有达到碰撞制动临界时间点时，所述控制模块还用于向本车的驾驶人员发出声音报警信号且进行自动刹车预制动；
在碰撞预计时间超过不可避免碰撞制动临界时间点时，所述控制模块还用于控制本车的安全带预紧张。
CN201710358238.5A 2017-05-19 2017-05-19 基于图像识别和毫米波雷达融合的自动刹车方法和系统 Active CN107202983B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710358238.5A CN107202983B (zh) 2017-05-19 2017-05-19 基于图像识别和毫米波雷达融合的自动刹车方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710358238.5A CN107202983B (zh) 2017-05-19 2017-05-19 基于图像识别和毫米波雷达融合的自动刹车方法和系统

Publications (2)

Publication Number Publication Date
CN107202983A true CN107202983A (zh) 2017-09-26
CN107202983B CN107202983B (zh) 2020-11-13

Family

ID=59905212

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710358238.5A Active CN107202983B (zh) 2017-05-19 2017-05-19 基于图像识别和毫米波雷达融合的自动刹车方法和系统

Country Status (1)

Country Link
CN (1) CN107202983B (zh)

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108008412A (zh) * 2017-10-18 2018-05-08 南京安捷智造科技有限公司 一种多曲度融合行车防撞系统
CN108609001A (zh) * 2018-05-09 2018-10-02 上海蓥石汽车技术有限公司 一种主动刹车行人防撞的设计方法
CN108614262A (zh) * 2018-06-22 2018-10-02 安徽江淮汽车集团股份有限公司 一种车辆前方目标物检测方法及系统
CN108693532A (zh) * 2018-03-29 2018-10-23 浙江大学 基于增强型双目相机与3d毫米波雷达的可穿戴避障方法及装置
CN108694731A (zh) * 2018-05-11 2018-10-23 武汉环宇智行科技有限公司 基于低线束激光雷达和双目相机的融合定位方法及设备
CN108846336A (zh) * 2018-05-31 2018-11-20 深圳市易成自动驾驶技术有限公司 目标检测方法、装置及计算机可读存储介质
CN108983219A (zh) * 2018-08-17 2018-12-11 北京航空航天大学 一种交通场景的图像信息和雷达信息的融合方法及系统
CN109239720A (zh) * 2018-10-18 2019-01-18 清华大学苏州汽车研究院（吴江） 一种智能激光雷达装置、系统及其数据处理方法
CN109490890A (zh) * 2018-11-29 2019-03-19 重庆邮电大学 一种面向智能车的毫米波雷达与单目相机信息融合方法
CN109544494A (zh) * 2018-11-12 2019-03-29 北京航空航天大学 一种人体安检中被动毫米波图像与可见光图像的融合方法
CN109633621A (zh) * 2018-12-26 2019-04-16 杭州奥腾电子股份有限公司 一种车载环境感知系统数据处理方法
CN109720312A (zh) * 2017-10-30 2019-05-07 现代摩比斯株式会社 自主紧急制动装置及其控制方法
WO2019127227A1 (en) * 2017-12-28 2019-07-04 Intel Corporation Vehicle sensor fusion
CN110329259A (zh) * 2019-07-03 2019-10-15 国唐汽车有限公司 一种基于多传感器融合的车辆自动跟随系统及其方法
CN110395251A (zh) * 2019-06-27 2019-11-01 驭势（上海）汽车科技有限公司 一种基于多传感器融合数据的自动紧急制动决策方法
CN110888135A (zh) * 2018-08-15 2020-03-17 比亚迪股份有限公司 目标识别的方法、装置以及存储介质和车辆
CN111137283A (zh) * 2019-12-27 2020-05-12 奇瑞汽车股份有限公司 传感器数据融合方法、装置、高级辅助驾驶系统及车辆
CN111169443A (zh) * 2020-03-06 2020-05-19 上海峰华人工智能科技有限公司 一种公交车用防碰撞自动紧急制动系统及方法
WO2020098297A1 (zh) * 2018-11-15 2020-05-22 众安信息技术服务有限公司 一种前车距离检测方法及系统
CN111267734A (zh) * 2020-04-01 2020-06-12 上海神添实业有限公司 大型运输车辆安全防护系统及其预警方法
CN112101069A (zh) * 2019-06-18 2020-12-18 华为技术有限公司 确定行驶区域信息的方法及装置
CN112784678A (zh) * 2020-12-14 2021-05-11 深兰人工智能(深圳)有限公司 危险提示方法和装置
CN112784679A (zh) * 2020-12-14 2021-05-11 深兰人工智能(深圳)有限公司 车辆避障方法和装置
CN112835029A (zh) * 2019-11-07 2021-05-25 上海海拉电子有限公司 面向无人驾驶的多传感器障碍物探测数据融合方法及系统
CN113044012A (zh) * 2021-04-12 2021-06-29 东风商用车有限公司 半挂汽车列车的制动控制方法、装置、设备及存储介质
US20210221369A1 (en) * 2019-10-24 2021-07-22 Hamid Reza Kashefy Vehicle distance warning and signalling system with dynamically generated ttc (dwss-ttc)
CN113386742A (zh) * 2021-05-28 2021-09-14 晋城鸿智纳米光机电研究院有限公司 制动辅助系统、方法及汽车
WO2021226776A1 (zh) * 2020-05-11 2021-11-18 华为技术有限公司 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆
CN113791012A (zh) * 2021-08-26 2021-12-14 中国船舶工业集团公司第七0八研究所 一种测量船舶冲程的模型试验方法
US11353553B2 (en) 2018-12-29 2022-06-07 Huawei Technologies Co., Ltd. Multisensor data fusion method and apparatus to obtain static and dynamic environment features
WO2023087248A1 (zh) * 2021-11-19 2023-05-25 华为技术有限公司 一种信息处理方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101479624A (zh) * 2006-06-30 2009-07-08 丰田自动车株式会社 具有雷达与摄像机的传感器融合以及改变雷达阈值的物体存在概率估算的汽车驾驶辅助系统
CN103223911A (zh) * 2012-01-30 2013-07-31 日立民用电子株式会社 车辆用碰撞危险预测装置
CN104637059A (zh) * 2015-02-09 2015-05-20 吉林大学 基于毫米波雷达和机器视觉的夜间前方车辆检测方法
CN104816697A (zh) * 2014-02-05 2015-08-05 丰田自动车株式会社 防碰撞控制装置
CN104973055A (zh) * 2014-04-14 2015-10-14 本田技研工业株式会社 碰撞可能性判定装置、驾驶辅助装置、碰撞可能性判定方法及碰撞可能性判定程序
WO2016186171A1 (ja) * 2015-05-19 2016-11-24 株式会社デンソー 物体検出装置、及び物体検出方法
CN106415422A (zh) * 2014-05-12 2017-02-15 湾流航空航天公司 利用多传感器增益调度的先进飞机视觉系统
CN106537180A (zh) * 2014-07-25 2017-03-22 罗伯特·博世有限公司 用于用针对行人的主动制动的摄影机输入缓解雷达传感器限制的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101479624A (zh) * 2006-06-30 2009-07-08 丰田自动车株式会社 具有雷达与摄像机的传感器融合以及改变雷达阈值的物体存在概率估算的汽车驾驶辅助系统
CN103223911A (zh) * 2012-01-30 2013-07-31 日立民用电子株式会社 车辆用碰撞危险预测装置
CN104816697A (zh) * 2014-02-05 2015-08-05 丰田自动车株式会社 防碰撞控制装置
CN104973055A (zh) * 2014-04-14 2015-10-14 本田技研工业株式会社 碰撞可能性判定装置、驾驶辅助装置、碰撞可能性判定方法及碰撞可能性判定程序
CN106415422A (zh) * 2014-05-12 2017-02-15 湾流航空航天公司 利用多传感器增益调度的先进飞机视觉系统
CN106537180A (zh) * 2014-07-25 2017-03-22 罗伯特·博世有限公司 用于用针对行人的主动制动的摄影机输入缓解雷达传感器限制的方法
CN104637059A (zh) * 2015-02-09 2015-05-20 吉林大学 基于毫米波雷达和机器视觉的夜间前方车辆检测方法
WO2016186171A1 (ja) * 2015-05-19 2016-11-24 株式会社デンソー 物体検出装置、及び物体検出方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SHUAI ZHENG等: "Conditional Random Fields as Recurrent Neural Networks", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
赵伟: "基于CRF的视频目标分割算法与应用研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108008412A (zh) * 2017-10-18 2018-05-08 南京安捷智造科技有限公司 一种多曲度融合行车防撞系统
CN109720312B (zh) * 2017-10-30 2021-08-10 现代摩比斯株式会社 自主紧急制动装置及其控制方法
CN109720312A (zh) * 2017-10-30 2019-05-07 现代摩比斯株式会社 自主紧急制动装置及其控制方法
WO2019127227A1 (en) * 2017-12-28 2019-07-04 Intel Corporation Vehicle sensor fusion
US11585920B2 (en) 2017-12-28 2023-02-21 Intel Corporation Vehicle sensor fusion
CN108693532A (zh) * 2018-03-29 2018-10-23 浙江大学 基于增强型双目相机与3d毫米波雷达的可穿戴避障方法及装置
CN108609001A (zh) * 2018-05-09 2018-10-02 上海蓥石汽车技术有限公司 一种主动刹车行人防撞的设计方法
CN108694731A (zh) * 2018-05-11 2018-10-23 武汉环宇智行科技有限公司 基于低线束激光雷达和双目相机的融合定位方法及设备
CN108846336A (zh) * 2018-05-31 2018-11-20 深圳市易成自动驾驶技术有限公司 目标检测方法、装置及计算机可读存储介质
CN108846336B (zh) * 2018-05-31 2022-03-15 深圳市易成自动驾驶技术有限公司 目标检测方法、装置及计算机可读存储介质
CN108614262A (zh) * 2018-06-22 2018-10-02 安徽江淮汽车集团股份有限公司 一种车辆前方目标物检测方法及系统
CN110888135A (zh) * 2018-08-15 2020-03-17 比亚迪股份有限公司 目标识别的方法、装置以及存储介质和车辆
CN108983219A (zh) * 2018-08-17 2018-12-11 北京航空航天大学 一种交通场景的图像信息和雷达信息的融合方法及系统
CN109239720A (zh) * 2018-10-18 2019-01-18 清华大学苏州汽车研究院（吴江） 一种智能激光雷达装置、系统及其数据处理方法
CN109544494A (zh) * 2018-11-12 2019-03-29 北京航空航天大学 一种人体安检中被动毫米波图像与可见光图像的融合方法
WO2020098297A1 (zh) * 2018-11-15 2020-05-22 众安信息技术服务有限公司 一种前车距离检测方法及系统
JP2021508387A (ja) * 2018-11-15 2021-03-04 ▲衆▼安信息技▲術▼服▲務▼有限公司Ｚｈｏｎｇａｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ Ｓｅｒｖｉｃｅ Ｃｏ．， Ｌｔｄ． 先行車との距離の検出方法及びシステム
CN109490890A (zh) * 2018-11-29 2019-03-19 重庆邮电大学 一种面向智能车的毫米波雷达与单目相机信息融合方法
CN109490890B (zh) * 2018-11-29 2023-06-02 重庆邮电大学 一种面向智能车的毫米波雷达与单目相机信息融合方法
CN109633621A (zh) * 2018-12-26 2019-04-16 杭州奥腾电子股份有限公司 一种车载环境感知系统数据处理方法
US11353553B2 (en) 2018-12-29 2022-06-07 Huawei Technologies Co., Ltd. Multisensor data fusion method and apparatus to obtain static and dynamic environment features
CN112101069A (zh) * 2019-06-18 2020-12-18 华为技术有限公司 确定行驶区域信息的方法及装置
CN110395251A (zh) * 2019-06-27 2019-11-01 驭势（上海）汽车科技有限公司 一种基于多传感器融合数据的自动紧急制动决策方法
CN110329259A (zh) * 2019-07-03 2019-10-15 国唐汽车有限公司 一种基于多传感器融合的车辆自动跟随系统及其方法
CN110329259B (zh) * 2019-07-03 2020-10-16 国唐汽车有限公司 一种基于多传感器融合的车辆自动跟随系统及其方法
US20210221369A1 (en) * 2019-10-24 2021-07-22 Hamid Reza Kashefy Vehicle distance warning and signalling system with dynamically generated ttc (dwss-ttc)
CN112835029A (zh) * 2019-11-07 2021-05-25 上海海拉电子有限公司 面向无人驾驶的多传感器障碍物探测数据融合方法及系统
CN111137283A (zh) * 2019-12-27 2020-05-12 奇瑞汽车股份有限公司 传感器数据融合方法、装置、高级辅助驾驶系统及车辆
CN111137283B (zh) * 2019-12-27 2022-02-01 芜湖雄狮汽车科技有限公司 传感器数据融合方法、装置、高级辅助驾驶系统及车辆
CN111169443A (zh) * 2020-03-06 2020-05-19 上海峰华人工智能科技有限公司 一种公交车用防碰撞自动紧急制动系统及方法
CN111267734A (zh) * 2020-04-01 2020-06-12 上海神添实业有限公司 大型运输车辆安全防护系统及其预警方法
WO2021226776A1 (zh) * 2020-05-11 2021-11-18 华为技术有限公司 一种车辆可行驶区域检测方法、系统以及采用该系统的自动驾驶车辆
CN112784679A (zh) * 2020-12-14 2021-05-11 深兰人工智能(深圳)有限公司 车辆避障方法和装置
CN112784678A (zh) * 2020-12-14 2021-05-11 深兰人工智能(深圳)有限公司 危险提示方法和装置
CN113044012A (zh) * 2021-04-12 2021-06-29 东风商用车有限公司 半挂汽车列车的制动控制方法、装置、设备及存储介质
CN113044012B (zh) * 2021-04-12 2022-04-08 东风商用车有限公司 半挂汽车列车的制动控制方法、装置、设备及存储介质
CN113386742A (zh) * 2021-05-28 2021-09-14 晋城鸿智纳米光机电研究院有限公司 制动辅助系统、方法及汽车
CN113791012A (zh) * 2021-08-26 2021-12-14 中国船舶工业集团公司第七0八研究所 一种测量船舶冲程的模型试验方法
WO2023087248A1 (zh) * 2021-11-19 2023-05-25 华为技术有限公司 一种信息处理方法及装置

Also Published As

Publication number Publication date
CN107202983B (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
CN107202983A (zh) 基于图像识别和毫米波雷达融合的自动刹车方法和系统
US20210357670A1 (en) Driver Attention Detection Method
US11315026B2 (en) Systems and methods for classifying driver behavior
CN105512623B (zh) 基于多传感器雾天行车视觉增强与能见度预警系统及方法
US20200079368A1 (en) Control device and control method
CN104011737B (zh) 用于探测雾的方法
US7579942B2 (en) Extra-vehicular threat predictor
CN102693432B (zh) 使用可靠局部模型更新来调节畅通路径检测
US8988276B2 (en) Vehicle surroundings monitoring device
CN113044059A (zh) 用于车辆的安全系统
US20090268947A1 (en) Real time environment model generation system
CN110415544B (zh) 一种灾害天气预警方法及汽车ar-hud系统
CN102203837A (zh) 车辆周围监测装置
CN111415533B (zh) 弯道安全预警监控方法、装置以及系统
CN102682301B (zh) 使用附加分类器来调节畅通路径检测
JP2017505477A (ja) ドライバ行動監視システムおよびドライバ行動監視のための方法
CN110097783A (zh) 车辆预警方法及系统
KR20150087985A (ko) 안전운행정보 표출 장치 및 그 방법
CN104335244A (zh) 对象物识别装置
CN109685083A (zh) 驾驶员开车违规使用手机的多尺度检测方法
CN117416349A (zh) V2X环境下基于改进YOLOV7-Tiny和SS-LSTM的自动驾驶风险预判系统及方法
US20230005249A1 (en) Information processing apparatus, information processing system, information processing method, and information processing program
CN105787456A (zh) 一种夜间远红外图像中的行人检测方法
CN210760742U (zh) 智能车辆辅助驾驶系统
Khantasak et al. Parking violation detection system based on video processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: Floor 25, Block A, Zhongzhou Binhai Commercial Center Phase II, No. 9285, Binhe Boulevard, Shangsha Community, Shatou Street, Futian District, Shenzhen, Guangdong 518000

Patentee after: Shenzhen Youjia Innovation Technology Co.,Ltd.

Address before: 518000, 410, Taibang Technology Building, Yuehai Street Science Park, Nanshan District, Shenzhen, Guangdong Province

Patentee before: SHENZHEN MINIEYE INNOVATION TECHNOLOGY Co.,Ltd.