CN110371108B - 车载超声波雷达与车载环视系统融合方法 - Google Patents

车载超声波雷达与车载环视系统融合方法 Download PDF

Info

Publication number
CN110371108B
CN110371108B CN201910516670.1A CN201910516670A CN110371108B CN 110371108 B CN110371108 B CN 110371108B CN 201910516670 A CN201910516670 A CN 201910516670A CN 110371108 B CN110371108 B CN 110371108B
Authority
CN
China
Prior art keywords
ultrasonic radar
target
vehicle
parking space
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910516670.1A
Other languages
English (en)
Other versions
CN110371108A (zh
Inventor
缪其恒
苏巍
刘振发
严静
王江明
许炜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Zero Run Technology Co Ltd
Original Assignee
Zhejiang Leapmotor Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Leapmotor Technology Co Ltd filed Critical Zhejiang Leapmotor Technology Co Ltd
Priority to CN201910516670.1A priority Critical patent/CN110371108B/zh
Publication of CN110371108A publication Critical patent/CN110371108A/zh
Application granted granted Critical
Publication of CN110371108B publication Critical patent/CN110371108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/06—Automatic manoeuvring for parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
    • G01S15/06—Systems determining the position data of a target
    • G01S15/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Abstract

本发明涉及一种车载超声波雷达与车载环视系统融合方法，解决了现有技术的不足，技术方案为：包括以下步骤：步骤一，通过系统离线联合标定的方式完成系统标定,步骤二，通过辅助场景显示层级融合的方式完成可视化输出,步骤三，通过可行驶区域层级融合的方式完成可行域输出，步骤四，通过目标探测层级融合的方式完成目标输出。

Description

车载超声波雷达与车载环视系统融合方法
技术领域
本专利涉及智能驾驶领域，特别涉及车载超声波雷达与车载环视系统融合方法。
背景技术
智能化是如今汽车行业发展的重要趋势之一，各类传感器在车辆主/被动安全领域应用越发广泛。低速场景下，泊车辅助以及自动泊车系统已应用于部分近年来量产车型中。此类系统大多基于超声波雷达或视觉系统感知输入，此二类系统各有利弊。本发明旨在将超声波雷达的近距离目标探测能力与视觉系统的辅助显示能力相结合，从而提供更好的低速辅助驾驶系统体验。
就视觉系统而言，其视野范围更广，辅助显示效果更直观，但是对一般障碍物以及距离的探测能力较差，若要实现目标以及可行使区域识别，需要借助复杂的图像处理或机器学习技术，开发应用门槛较高；就超声波系统而言，其近距离障碍物探测与测距能力较好，但单一传感器的探测范围有限，并且多传感器之间的回波干扰需要通过滤波或波段加密等方式来规避。
发明内容
本发明的目的在于解决上述现有技术中对一般障碍物以及距离的探测能力较差，若要实现目标以及可行使区域识别，需要借助复杂的图像处理或机器学习技术，开发应用门槛较高；就超声波系统而言，其近距离障碍物探测与测距能力较好，但单一传感器的探测范围有限，并且多传感器之间的回波干扰需要通过滤波或波段加密等方式来规避的问题，提供一种车载超声波雷达与车载环视系统融合方法。
本发明解决其技术问题所采用的技术方案是：一种车载超声波雷达与车载环视系统融合方法，其特征在于：包括以下步骤：
步骤一，通过系统离线联合标定的方式完成系统标定,
步骤二，通过辅助场景显示层级融合的方式完成可视化输出,
步骤三，通过可行驶区域层级融合的方式完成可行域输出，
步骤四，通过目标探测层级融合的方式完成目标输出。
本发明提出了一种车载超声波雷达与环视系统融合的方法，以提升基于此二者观测值的低速场景相关系统应用的鲁棒性与丰富性：辅助场景显示层级融合：将超声波雷达系统探测结果与环视系统显示界面融合，自适应更新环视场景模型，并且使相应障碍物距离信息可视化；可行驶区域层级融合：在鸟瞰视角中，利用各系统先验测量误差概率模型，将超声波雷达系统可行驶区域探测结果与环视系统可行驶区域探测结果融合，生成最终可行驶区域；目标探测层级融合：采用视觉重验证的方法，对由超声波探测生成车位以及行人两类目标ROI区域进行视觉验证，并利用卡尔曼滤波根据相应运动学模型进行跟踪，生成最终目标列表。本发明，有机的将两类感知系统探测优势融合能够进一步提升低速辅助驾驶系统，如360度环视系统，泊车辅助系统等的使用体验。
作为优选，所述步骤一，包括环视系统标定、超声波雷达系统标定以及系统对齐三个子步骤；
环视系统标定子步骤：包括各鱼眼环视相机内外参数标定，采用已知参数的棋盘格作为辅助工具来完成；
超声波雷达系统标定子步骤：包括超声波雷达信号强度以及安装角度标定，其中超声波信号强度通过信号反射强度的增益调节完成；安装角度则通过车载传感器限位支架实现；
系统对齐子步骤：将环视系统与超声波雷达传感器的测量坐标系对齐，以车辆几何中心为坐标原点，车头方向为x轴正向，车身左侧为y轴方向正向，将原坐标系在鸟瞰平面内平移完成相应坐标系变换；对于超声波雷达系统，将各传感器所探测的信号强度按其安装位置与角度进行旋转平移变换，得到车辆坐标系下周围障碍物的探测情况。
所述步骤二包括动态环视场景模型更新子步骤以及系统输出图层融合子步骤，
动态环视场景模型更新子步骤：环视系统包括场景模型建立以及辅助视觉渲染两部分；
系统输出图层融合子步骤：环视系统最终输出需与超声波雷达输出图层进行融合。
所述步骤二中的动态环视场景模型更新子步骤为，利用超声波雷达系统的距离探测能力动态更新环视系统所使用的碗状环境场景模型，具体实现方法如下：
a.利用低通滤波预处理各超声波雷达传感器的原始距离观测值，根据上述滤波后的测量值计算车辆坐标系下最近目标距离：
Dmin＝minDi，i＝1，2，...，n
其中，Di为滤波后各超声波雷达传感器的距离测量值，n为超声波雷达传感器总数；
b.将最近目标距离Dmin作为动态碗状碗状模型参考半径r，更新环境模型：
r＝min(max(rmin，Dmin)，rmax)
Ri＝kir，i＝1，2，3
其中，rmin和rmax为碗状模型参考半径最小以及最大限制，默认值为1和5；Ri为碗状模型各半径参数，ki为Ri与r的比例系数，默认值为1，1.8以及1.5；
c.根据上述动态更新的环境模型相应更新各相机图像坐标系映射关系，后续接缝融合所选取的ROI也按上述Ri的变化做相应调整。
系统输出图层融合子步骤具体为，环视系统最终输出与超声波雷达输出图层进行融合：
a.超声波雷达系统输出图层：将各超声波雷达传感器的探测距离输出按预设距离阈值划分为远(2-5m)、中(0.5-2m)、近(0-0.5m)，并根据各自在车身的安装位置与自身探测范围，可视化其扇形探测区域，以对应的颜色与声音频率表征各区域的目标探测距离；
b.图层融合：将上述超声波雷达系统输出图层与建立的动态环境模型的路面部分按预设透明通道参数叠加，按相应预设视觉渲染生成融合后的场景辅助显示输出。
在所述步骤三中，包括基于超声波雷达的可行驶区域检测、基于视觉的可行驶区域检测以及可行驶区域融合三部分；
基于超声波雷达的可行驶区域检测：根据超声波雷达系统标定结果，将各超声波雷达传感器的距离探测结果，转化成鸟瞰视角车辆坐标系下坐标：
[x，y]＝f(i，d)
其中，f(i,d)为离线标定所得超声波雷达系统与车辆坐标系映射关系函数，输入为传感器序号i以及相应探测距离d，输出为1中定义车辆坐标系下所探测的目标位置；
用多段线顺序连接上述各目标障碍物坐标，生成超声波雷达可行驶区域输出二进制mask，区域内部至车辆边界为1，区域外部为0；
基于视觉的可行驶区域检测：采用深度神经网络模型，对环视系统周围场景进行可行驶区域检测，具体步骤如下：
图像预处理：根据环视系统的标定结果，生成与超声波雷达探测区域大小对应的鸟瞰视角，预先设置去除鸟瞰图中心车辆自身部分区域的可行驶区域检测mask，将此区域经缩放后输入深度卷积神经网络模型；
神经网络模型设计与训练：神经网络模型包含图像输入层、由级联conv+relu+BN组合组成的共享特征层以及两个解码输出层，可行域及区域标识由反卷积以及softmax层构成；由类似相机参数所采集的视觉场景数据，经人工标注生成样本标签，采用随机梯度下降的方式针对像素级softmaxLoss离线训练所得；
神经网络前端应用部署：根据前端平台运算特性，将训练所得网络转化成平台所支持的最优格式，主要包括数据类型转化以及模型稀疏程度设置，在预先设定好的测试集上对转化后模型的精度损失进行估算，视精度损失情况进行模型重训练；
可行驶区域融合：利用低速车辆运动学模型，根据轮速以及方向盘转角信号输入，实时更新车辆坐标系信息，由于超声波雷达系统与视觉系统采集频率不同，在世界坐标系下将生成的鸟瞰可行驶区域视图取交集进行融合。在所述步骤四中，目标探测层级融合包括基于超声波雷达系统的目标建议、基于视觉的目标验证以及目标跟踪；
基于超声波雷达系统的目标建议：包括车位目标建议以及行人目标建议两部分，对于车身侧面的超声波雷达传感器，根据可行驶区域几何尺寸限制进行车位目标建议；对于车身前后面的超声波雷达传感器，根据距离探测结果进行目标建议；
基于视觉的目标验证：包括车位验证以及行人验证两部分，车位目标验证可在鸟瞰视角下进行，行人目标验证则需要透视变换至鱼眼坐标系下进行；目标跟踪：根据匀速运动模型，利用kalman滤波对上述目标进行跟踪。基于超声波雷达系统的目标建议包括：
车位建议条件：∑(x，y)∈ROIMask(x，y)＞Pmin，i＝4，5，6，7，8，9
目标建议条件：Di＜Dmax，i＝1，2，3，10，11，12
其中，Mask(x,y)为二进制超声波雷达可行驶区域输出，Pmin为泊车位几何尺寸阈值；Dmax为超声波雷达目标探测最大距离。
车位验证以及行人验证两部分算法均基于相应的特征描述以及模板匹配的方法完成，实现方式如下：
目标建议预处理：对于车位目标，将鸟瞰视角的区域建议roi裁剪并缩放至预设大小送入车位验证模块；对于行人目标，标定环视系统参数，按如下方式选取原视图中行人建议roi：
[x，y]＝f（i，d)
[j，u，v]＝g(x，y)
Figure BDA0002095262020000071
其中,其中，f(i,d)为离线标定所得超声波雷达系统与车辆坐标系映射关系函数,i为超声波传感器id，d为相应探测距离，输出为1中定义车辆坐标系下所探测的目标位置[x,y]，g(x,y)为离线标定所得车辆坐标系与各图像坐标系映射关系，j为环视相机序号，[u,v]为目标位置相应图像坐标系下坐标，[w,h]为行人目标图像坐标系下宽高，[fx,fy]为焦距，W，H为默认行人模板宽高；
车位验证：利用可行驶区域分割网络卷积特征部分，在输出层添加车位标识通道，对车位建议roi区域进行场景分割，并利用车位模板对所提取车位标识进行模板匹配，符合车位模板限制的即为可泊车车位；
行人验证：利用深度卷积神经网络进行行人验证，网络结构包含分类以及位置回归两个分支，深度卷积神经网络中分类分支采用softmax Loss，深度卷积神经网络中回归分支采用smoothL1Loss。
本发明的实质性效果是：1.在不同应用层级融合了两系统的感知输出，丰富了系统应用的可行性同时增强了系统输出的鲁棒性；2.显示层级的融合将超声波雷达系统的距离探测能力与视觉系统的场景显示能力结合，增强了辅助显示交互的信息量与可靠性；3.可行驶区域层级的融合提升了单一系统单独进行可行驶区域检测时的鲁棒性，为自动泊车系统提供底层感知输出；iv).目标层级融合，增强了低速应用场景下车位检测与行人保护功能的可行性，相较于纯视觉检测搜索算法，超声波雷达目标建议能够大大降低图像搜索范围，从而节约算法耗时，提升系统的实时性，相较于纯超声波雷达系统，引入了目标区分能力。
附图说明
图1为本发明的算法流程图；
图2为本发明中3D环境模型以及映射关系示意图；
图3为本发明中深度神经网络模型的示意图。
具体实施方式
下面通过具体实施例，并结合附图，对本发明的技术方案作进一步的具体说明。
实施例：
一种车载超声波雷达与车载环视系统融合方法，其特征在于：包括以下步骤：
步骤一，通过系统离线联合标定的方式完成系统标定,
步骤二，通过辅助场景显示层级融合的方式完成可视化输出,
步骤三，通过可行驶区域层级融合的方式完成可行域输出，
步骤四，通过目标探测层级融合的方式完成目标输出。
本实施例提出了一种车载超声波雷达与环视系统融合的方法，以提升基于此二者观测值的低速场景相关系统应用的鲁棒性与丰富性：辅助场景显示层级融合：将超声波雷达系统探测结果与环视系统显示界面融合，自适应更新环视场景模型，并且使相应障碍物距离信息可视化；可行驶区域层级融合：在鸟瞰视角中，利用各系统先验测量误差概率模型，将超声波雷达系统可行驶区域探测结果与环视系统可行驶区域探测结果融合，生成最终可行驶区域；目标探测层级融合：采用视觉重验证的方法，对由超声波探测生成车位以及行人两类目标ROI区域进行视觉验证，并利用卡尔曼滤波根据相应运动学模型进行跟踪，生成最终目标列表。本发明，有机的将两类感知系统探测优势融合能够进一步提升低速辅助驾驶系统，如360度环视系统，泊车辅助系统等的使用体验。
更具体的为：
所述步骤一，包括环视系统标定、超声波雷达系统标定以及系统对齐三个子步骤；
环视系统标定子步骤：包括各鱼眼环视相机内外参数标定，采用已知参数的棋盘格作为辅助工具来完成；
超声波雷达系统标定子步骤：包括超声波雷达信号强度以及安装角度标定，其中超声波信号强度通过信号反射强度的增益调节完成；安装角度则通过车载传感器限位支架实现；
系统对齐子步骤：将环视系统与超声波雷达传感器的测量坐标系对齐，以车辆几何中心为坐标原点，车头方向为x轴正向，车身左侧为y轴方向正向，将原坐标系在鸟瞰平面内平移完成相应坐标系变换；对于超声波雷达系统，将各传感器所探测的信号强度按其安装位置与角度进行旋转平移变换，得到车辆坐标系下周围障碍物的探测情况。
所述步骤二包括动态环视场景模型更新子步骤以及系统输出图层融合子步骤，
动态环视场景模型更新子步骤：环视系统包括场景模型建立以及辅助视觉渲染两部分；
系统输出图层融合子步骤：环视系统最终输出需与超声波雷达输出图层进行融合。
所述步骤二中的动态环视场景模型更新子步骤为，利用超声波雷达系统的距离探测能力动态更新环视系统所使用的碗状环境场景模型，具体实现方法如下：
d.利用低通滤波预处理各超声波雷达传感器的原始距离观测值，根据上述滤波后的测量值计算车辆坐标系下最近目标距离：
Dmin＝min Di，i＝1，2，...，n
其中，Di为滤波后各超声波雷达传感器的距离测量值，n为超声波雷达传感器总数；
e.将最近目标距离Dmin作为动态碗状碗状模型参考半径r，更新环境模型：
r＝min(max(rmin，Dmin)，rmax)
Ri＝kir，i＝1，2，3
其中，rmin和rmax为碗状模型参考半径最小以及最大限制，默认值为1和5；Ri为碗状模型各半径参数，ki为Ri与r的比例系数，默认值为1，1.8以及1.5；
f.根据上述动态更新的环境模型相应更新各相机图像坐标系映射关系，后续接缝融合所选取的ROI也按上述Ri的变化做相应调整。
系统输出图层融合子步骤具体为，环视系统最终输出与超声波雷达输出图层进行融合：
c.超声波雷达系统输出图层：将各超声波雷达传感器的探测距离输出按预设距离阈值划分为远(2-5m)、中(0.5-2m)、近(0-0.5m)，并根据各自在车身的安装位置与自身探测范围，可视化其扇形探测区域，以对应的颜色与声音频率表征各区域的目标探测距离；
d.图层融合：将上述超声波雷达系统输出图层与建立的动态环境模型的路面部分按预设透明通道参数叠加，按相应预设视觉渲染生成融合后的场景辅助显示输出。
在所述步骤三中，包括基于超声波雷达的可行驶区域检测、基于视觉的可行驶区域检测以及可行驶区域融合三部分；
基于超声波雷达的可行驶区域检测：根据超声波雷达系统标定结果，将各超声波雷达传感器的距离探测结果，转化成鸟瞰视角车辆坐标系下坐标：
[x，y]＝f(i，d)
其中，f(i,d)为离线标定所得超声波雷达系统与车辆坐标系映射关系函数，输入为传感器序号i以及相应探测距离d，输出为1中定义车辆坐标系下所探测的目标位置；
用多段线顺序连接上述各目标障碍物坐标，生成超声波雷达可行驶区域输出二进制mask，区域内部至车辆边界为1，区域外部为0；
基于视觉的可行驶区域检测：采用深度神经网络模型，对环视系统周围场景进行可行驶区域检测，具体步骤如下：
图像预处理：根据环视系统的标定结果，生成与超声波雷达探测区域大小对应的鸟瞰视角，预先设置去除鸟瞰图中心车辆自身部分区域的可行驶区域检测mask，将此区域经缩放后输入深度卷积神经网络模型；
神经网络模型设计与训练：神经网络模型包含图像输入层、由级联conv+relu+BN组合组成的共享特征层以及两个解码输出层，可行域及区域标识由反卷积以及softmax层构成；由类似相机参数所采集的视觉场景数据，经人工标注生成样本标签，采用随机梯度下降的方式针对像素级softmaxLoss离线训练所得；
神经网络前端应用部署：根据前端平台运算特性，将训练所得网络转化成平台所支持的最优格式，主要包括数据类型转化以及模型稀疏程度设置，在预先设定好的测试集上对转化后模型的精度损失进行估算，视精度损失情况进行模型重训练；
可行驶区域融合：利用低速车辆运动学模型，根据轮速以及方向盘转角信号输入，实时更新车辆坐标系信息，由于超声波雷达系统与视觉系统采集频率不同，在世界坐标系下将生成的鸟瞰可行驶区域视图取交集进行融合。在所述步骤四中，目标探测层级融合包括基于超声波雷达系统的目标建议、基于视觉的目标验证以及目标跟踪；
基于超声波雷达系统的目标建议：包括车位目标建议以及行人目标建议两部分，对于车身侧面的超声波雷达传感器，根据可行驶区域几何尺寸限制进行车位目标建议；对于车身前后面的超声波雷达传感器，根据距离探测结果进行目标建议；
基于视觉的目标验证：包括车位验证以及行人验证两部分，车位目标验证可在鸟瞰视角下进行，行人目标验证则需要透视变换至鱼眼坐标系下进行；目标跟踪：根据匀速运动模型，利用kalman滤波对上述目标进行跟踪。基于超声波雷达系统的目标建议包括：
车位建议条件：∑(x，y)∈ROIMask(x，y)＞Pmin，i＝4，5，6，7，8，9
目标建议条件：Di＜Dmax，i＝1，2，3，10，11，12
其中，Mask(x,y)为二进制超声波雷达可行驶区域输出，Pmin为泊车位几何尺寸阈值；Dmax为超声波雷达目标探测最大距离。
车位验证以及行人验证两部分算法均基于相应的特征描述以及模板匹配的方法完成，实现方式如下：
目标建议预处理：对于车位目标，将鸟瞰视角的区域建议roi裁剪并缩放至预设大小送入车位验证模块；对于行人目标，标定环视系统参数，按如下方式选取原视图中行人建议roi：
[x，y]＝f（i，d)
[j，u，v]＝g(x，y)
Figure BDA0002095262020000141
其中,其中，f(i,d)为离线标定所得超声波雷达系统与车辆坐标系映射关系函数,i为超声波传感器id，d为相应探测距离，输出为1中定义车辆坐标系下所探测的目标位置[x,y]，g(x,y)为离线标定所得车辆坐标系与各图像坐标系映射关系，j为环视相机序号，[u,v]为目标位置相应图像坐标系下坐标，[w,h]为行人目标图像坐标系下宽高，[fx,fy]为焦距，W，H为默认行人模板宽高；
车位验证：利用可行驶区域分割网络卷积特征部分，在输出层添加车位标识通道，对车位建议roi区域进行场景分割，并利用车位模板对所提取车位标识进行模板匹配，符合车位模板限制的即为可泊车车位；
行人验证：利用深度卷积神经网络进行行人验证，网络结构包含分类以及位置回归两个分支，深度卷积神经网络中分类分支采用softmax Loss，深度卷积神经网络中回归分支采用smoothL1Loss。
本实施例的有益效果为1.在不同应用层级融合了两系统的感知输出，丰富了系统应用的可行性同时增强了系统输出的鲁棒性；2.显示层级的融合将超声波雷达系统的距离探测能力与视觉系统的场景显示能力结合，增强了辅助显示交互的信息量与可靠性；3.可行驶区域层级的融合提升了单一系统单独进行可行驶区域检测时的鲁棒性，为自动泊车系统提供底层感知输出；iv).目标层级融合，增强了低速应用场景下车位检测与行人保护功能的可行性，相较于纯视觉检测搜索算法，超声波雷达目标建议能够大大降低图像搜索范围，从而节约算法耗时，提升系统的实时性，相较于纯超声波雷达系统，引入了目标区分能力。
以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。

Claims (7)

1.一种车载超声波雷达与车载环视系统融合方法，其特征在于：包括以下步骤：
步骤一，通过系统离线联合标定的方式完成系统标定,
步骤二，通过辅助场景显示层级融合的方式完成可视化输出,
步骤三，通过可行驶区域层级融合的方式完成可行域输出，
步骤四，通过目标探测层级融合的方式完成目标输出；
所述步骤二包括动态环视场景模型更新子步骤以及系统输出图层融合子步骤，
动态环视场景模型更新子步骤：环视系统包括场景模型建立以及辅助视觉渲染两部分；
系统输出图层融合子步骤：环视系统最终输出需与超声波雷达输出图层进行融合；
所述步骤二中的动态环视场景模型更新子步骤为，利用超声波雷达系统的距离探测能力动态更新环视系统所使用的碗状环境场景模型，具体实现方法如下：
a. 利用低通滤波预处理各超声波雷达传感器的原始距离观测值，根据滤波后的测量值计算车辆坐标系下最近目标距离：
Figure DEST_PATH_IMAGE002
其中，Di为滤波后各超声波雷达传感器的距离测量值，n为超声波雷达传感器总数；
b. 将最近目标距离Dmin作为碗状模型参考半径r，更新环境模型：
Figure DEST_PATH_IMAGE004
Figure DEST_PATH_IMAGE006
其中，rmin和rmax为碗状模型参考半径最小以及最大限制，默认值为1和5；Ri为碗状模型各半径参数，ki 为Ri与r的比例系数，默认值为1, 1.8以及1.5；
根据动态更新的环境模型相应更新各相机图像坐标系映射关系，后续接缝融合所选取的ROI也按上述Ri的变化做相应调整。
2.根据权利要求1所述的车载超声波雷达与车载环视系统融合方法，其特征在于：所述步骤一，包括环视系统标定、超声波雷达系统标定以及系统对齐三个子步骤；
环视系统标定子步骤：包括各鱼眼环视相机内外参数标定，采用已知参数的棋盘格作为辅助工具来完成；
超声波雷达系统标定子步骤：包括超声波雷达信号强度以及安装角度标定，其中超声波信号强度通过信号反射强度的增益调节完成；安装角度则通过车载传感器限位支架实现；
系统对齐子步骤：将环视系统与超声波雷达传感器的测量坐标系对齐，以车辆几何中心为坐标原点，车头方向为x轴正向，车身左侧为y轴方向正向，将原坐标系在鸟瞰平面内平移完成相应坐标系变换；对于超声波雷达系统，将各传感器所探测的信号强度按其安装位置与角度进行旋转平移变换，得到车辆坐标系下周围障碍物的探测情况。
3.根据权利要求1所述的车载超声波雷达与车载环视系统融合方法，其特征在于：系统输出图层融合子步骤具体为，环视系统最终输出与超声波雷达输出图层进行融合：
a. 超声波雷达系统输出图层：将各超声波雷达传感器的探测距离输出按预设距离阈值划分为远、中以及近，其中远是指2m-5m，中是指0.5m-2m，近是指0-0.5m，并根据各自在车身的安装位置与自身探测范围，可视化其扇形探测区域，以对应的颜色与声音频率表征各区域的目标探测距离；
b. 图层融合：将上述超声波雷达系统输出图层与建立的动态环境模型的路面部分按预设透明通道参数叠加，按相应预设视觉渲染生成融合后的场景辅助显示输出。
4.根据权利要求2所述的车载超声波雷达与车载环视系统融合方法，其特征在于：在所述步骤三中，包括基于超声波雷达的可行驶区域检测、基于视觉的可行驶区域检测以及可行驶区域融合三部分；
基于超声波雷达的可行驶区域检测：根据超声波雷达系统标定结果，将各超声波雷达传感器的距离探测结果，转化成鸟瞰视角车辆坐标系下坐标：
Figure DEST_PATH_IMAGE012
其中，f(i, d)为离线标定所得超声波雷达系统与车辆坐标系映射关系函数，输入为传感器序号i以及相应探测距离d，输出为步骤一系统对齐子步骤中经变换后的坐标系下所探测的目标位置；
用多段线顺序连接各目标障碍物坐标，生成超声波雷达可行驶区域输出二进制mask，区域内部至车辆边界为1，区域外部为0；
基于视觉的可行驶区域检测：采用深度神经网络模型，对环视系统周围场景进行可行驶区域检测，具体步骤如下：
图像预处理：根据环视系统的标定结果，生成与超声波雷达探测区域大小对应的鸟瞰视角，预先设置去除鸟瞰图中心车辆自身部分区域的可行驶区域检测mask，将此区域经缩放后输入深度卷积神经网络模型；
神经网络模型设计与训练：神经网络模型包含图像输入层、由级联conv+relu+BN组合组成的共享特征层以及两个解码输出层，可行驶区域标识由反卷积以及softmax层构成；由相机参数所采集的视觉场景数据，经人工标注生成样本标签，采用随机梯度下降的方式针对像素级softmaxLoss离线训练所得；
神经网络前端应用部署：根据前端平台运算特性，将训练所得网络转化成平台所支持的最优格式，主要包括数据类型转化以及模型稀疏程度设置，在预先设定好的测试集上对转化后模型的精度损失进行估算，视精度损失情况进行模型重训练；
可行驶区域融合：利用低速车辆运动学模型，根据轮速以及方向盘转角信号输入，实时更新车辆坐标系信息，由于超声波雷达系统与视觉系统采集频率不同，在世界坐标系下将生成的鸟瞰可行驶区域视图取交集进行融合。
5.根据权利要求2所述的车载超声波雷达与车载环视系统融合方法，其特征在于：在所述步骤四中，目标探测层级融合包括基于超声波雷达系统的目标建议、基于视觉的目标验证以及目标跟踪；
基于超声波雷达系统的目标建议：包括车位目标建议以及行人目标建议两部分，对于车身侧面的超声波雷达传感器，根据可行驶区域几何尺寸限制进行车位目标建议；对于车身前后面的超声波雷达传感器，根据距离探测结果进行目标建议；
基于视觉的目标验证：包括车位验证以及行人验证两部分，车位目标验证可在鸟瞰视角下进行，行人目标验证则需要透视变换至鱼眼坐标系下进行；
目标跟踪：根据匀速运动模型，利用kalman滤波对行人目标进行跟踪。
6.根据权利要求5所述的车载超声波雷达与车载环视系统融合方法，其特征在于：基于超声波雷达系统的目标建议包括：
车位建议条件：
Figure DEST_PATH_IMAGE014
目标建议条件：
Figure DEST_PATH_IMAGE016
其中，Mask（x,y）为二进制超声波雷达可行驶区域输出，Pmin 为泊车位几何尺寸阈值；Dmax为超声波雷达目标探测最大距离。
7.根据权利要求6所述的车载超声波雷达与车载环视系统融合方法，其特征在于：车位验证以及行人验证两部分算法均基于相应的特征描述以及模板匹配的方法完成，实现方式如下：
目标建议预处理：对于车位目标，将鸟瞰视角的区域建议roi裁剪并缩放至预设大小送入车位验证模块；对于行人目标，标定环视系统参数，按如下方式选取原视图中行人建议roi：
Figure DEST_PATH_IMAGE018
Figure DEST_PATH_IMAGE020
Figure DEST_PATH_IMAGE022
其中，f(i, d)为离线标定所得超声波雷达系统与车辆坐标系映射关系函数, i为超声波传感器id，d为相应探测距离，输出为步骤一系统对齐子步骤中经变换后的坐标系下所探测的目标位置[x, y]，g(x, y)为离线标定所得车辆坐标系与各图像坐标系映射关系，j为环视相机序号，[u, v] 为目标位置相应图像坐标系下坐标，[w, h]为行人目标图像坐标系下宽高，[fx, fy]为焦距，W，H为默认行人模板宽高，Di为滤波后各超声波雷达传感器的距离测量值；
车位验证：利用可行驶区域分割网络卷积特征部分，在输出层添加车位标识通道，对车位建议roi区域进行场景分割，并利用车位模板对所提取车位标识进行模板匹配，符合车位模板限制的即为可泊车车位；
行人验证：利用深度卷积神经网络进行行人验证，网络结构包含分类以及位置回归两个分支，深度卷积神经网络中分类分支采用softmax Loss，深度卷积神经网络中回归分支采用smoothL1 Loss。
CN201910516670.1A 2019-06-14 2019-06-14 车载超声波雷达与车载环视系统融合方法 Active CN110371108B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910516670.1A CN110371108B (zh) 2019-06-14 2019-06-14 车载超声波雷达与车载环视系统融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910516670.1A CN110371108B (zh) 2019-06-14 2019-06-14 车载超声波雷达与车载环视系统融合方法

Publications (2)

Publication Number Publication Date
CN110371108A CN110371108A (zh) 2019-10-25
CN110371108B true CN110371108B (zh) 2020-12-15

Family

ID=68250358

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910516670.1A Active CN110371108B (zh) 2019-06-14 2019-06-14 车载超声波雷达与车载环视系统融合方法

Country Status (1)

Country Link
CN (1) CN110371108B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113678136A (zh) * 2019-12-30 2021-11-19 深圳元戎启行科技有限公司 基于无人驾驶技术的障碍物检测方法、装置和计算机设备
CN111257892A (zh) * 2020-01-09 2020-06-09 武汉理工大学 一种用于车辆自动驾驶的障碍物检测方法
CN111267838B (zh) * 2020-01-20 2021-07-23 北京百度网讯科技有限公司 泊车处理方法、系统、装置及车辆控制器
CN111516605B (zh) * 2020-04-28 2021-07-27 上汽大众汽车有限公司 多传感器监控设备及监控方法
CN111976718B (zh) * 2020-07-13 2022-03-01 浙江华锐捷技术有限公司 自动泊车的控制方法和系统
CN112216136A (zh) * 2020-09-15 2021-01-12 华人运通(上海)自动驾驶科技有限公司 泊车位检测方法、装置、车辆及存储介质
CN113536964B (zh) * 2021-06-25 2023-09-26 合肥合滨智能机器人有限公司 一种超声视频的分类提取方法
CN113362379B (zh) * 2021-07-09 2023-04-07 肇庆学院 一种基于虚拟超声图像的运动目标轨迹追踪检测方法
TWI824789B (zh) * 2022-10-21 2023-12-01 國立臺北科技大學 混合式車輛偵測系統與混合式車輛偵測方法
CN116821854B (zh) * 2023-08-30 2023-12-08 腾讯科技（深圳）有限公司 一种目标投影的匹配融合方法及相关装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130102983A (ko) * 2012-03-09 2013-09-23 주식회사 만도 전방위를 감지하기 위한 레이더 장치
CN206528404U (zh) * 2017-02-23 2017-09-29 重庆长安汽车股份有限公司 自动泊车监控系统
DE102016004305A1 (de) * 2016-04-08 2017-10-12 Audi Ag Kraftfahrzeug mit mehreren an unterschiedlichen Einbaupositionen angeordneten Radarsensoren und Verfahren zum Betreiben mehrerer an unterschiedlichen Einbaupositionen eines Kraftfahrzeugs angeordneter Radarsensoren
CN107888894A (zh) * 2017-10-12 2018-04-06 浙江零跑科技有限公司 一种立体车载环视方法、系统及车载中控装置
CN109085598A (zh) * 2018-08-13 2018-12-25 吉利汽车研究院（宁波）有限公司 用于车辆的障碍物探测系统
CN109359409A (zh) * 2018-10-31 2019-02-19 张维玲 一种基于视觉与激光雷达传感器的车辆可通过性检测系统
CN109849901A (zh) * 2019-01-15 2019-06-07 惠州市德赛西威汽车电子股份有限公司 一种用于窄小垂直车位的交互式路径规划方法及系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130102983A (ko) * 2012-03-09 2013-09-23 주식회사 만도 전방위를 감지하기 위한 레이더 장치
DE102016004305A1 (de) * 2016-04-08 2017-10-12 Audi Ag Kraftfahrzeug mit mehreren an unterschiedlichen Einbaupositionen angeordneten Radarsensoren und Verfahren zum Betreiben mehrerer an unterschiedlichen Einbaupositionen eines Kraftfahrzeugs angeordneter Radarsensoren
CN206528404U (zh) * 2017-02-23 2017-09-29 重庆长安汽车股份有限公司 自动泊车监控系统
CN107888894A (zh) * 2017-10-12 2018-04-06 浙江零跑科技有限公司 一种立体车载环视方法、系统及车载中控装置
CN109085598A (zh) * 2018-08-13 2018-12-25 吉利汽车研究院（宁波）有限公司 用于车辆的障碍物探测系统
CN109359409A (zh) * 2018-10-31 2019-02-19 张维玲 一种基于视觉与激光雷达传感器的车辆可通过性检测系统
CN109849901A (zh) * 2019-01-15 2019-06-07 惠州市德赛西威汽车电子股份有限公司 一种用于窄小垂直车位的交互式路径规划方法及系统

Also Published As

Publication number Publication date
CN110371108A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN110371108B (zh) 车载超声波雷达与车载环视系统融合方法
US11657604B2 (en) Systems and methods for estimating future paths
US10445928B2 (en) Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US20210149022A1 (en) Systems and methods for 3d object detection
CN108638999B (zh) 一种基于360度环视输入的防碰撞预警系统及方法
US9940527B2 (en) Driving assist system for vehicle and method thereof
CN111553859A (zh) 一种激光雷达点云反射强度补全方法及系统
CN113111887B (zh) 一种基于相机和激光雷达信息融合的语义分割方法及系统
CN109993060B (zh) 深度摄像头的车辆全向障碍物检测方法
CN111563415A (zh) 一种基于双目视觉的三维目标检测系统及方法
CN112180373A (zh) 一种多传感器融合的智能泊车系统和方法
CN114902070A (zh) 传感器退化检测和修复
CN114283394A (zh) 一种车载传感器融合的交通目标检测系统
CN113781562A (zh) 一种基于道路模型的车道线虚实配准和自车定位方法
CN114693787A (zh) 停车库建图与定位方法、系统及车辆
CN113988172A (zh) 一种基于多模态融合的自主系统感知方法及系统
Kemsaram et al. A stereo perception framework for autonomous vehicles
CN117111055A (zh) 一种基于雷视融合的车辆状态感知方法
Raguraman et al. Intelligent drivable area detection system using camera and LiDAR sensor for autonomous vehicle
CN109543520A (zh) 一种面向语义分割结果的车道线参数化方法
US11447063B2 (en) Steerable scanning and perception system with active illumination
CN117237919A (zh) 跨模态监督学习下多传感器融合检测的卡车智驾感知方法
US11869253B2 (en) Vehicle environment modeling with a camera
CN116403186A (zh) 基于FPN Swin Transformer与Pointnet++ 的自动驾驶三维目标检测方法
JP6789151B2 (ja) カメラ装置、検出装置、検出システムおよび移動体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 310051 1st and 6th floors, no.451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee after: Zhejiang Zero run Technology Co.,Ltd.

Address before: 310051 1st and 6th floors, no.451 Internet of things street, Binjiang District, Hangzhou City, Zhejiang Province

Patentee before: ZHEJIANG LEAPMOTOR TECHNOLOGY Co.,Ltd.