CN108428356B - 一种基于流体密度场的路况图展示及辅助驾驶应用方法 - Google Patents

一种基于流体密度场的路况图展示及辅助驾驶应用方法 Download PDF

Info

Publication number
CN108428356B
CN108428356B CN201810237604.6A CN201810237604A CN108428356B CN 108428356 B CN108428356 B CN 108428356B CN 201810237604 A CN201810237604 A CN 201810237604A CN 108428356 B CN108428356 B CN 108428356B
Authority
CN
China
Prior art keywords
density field
field
diffusion
driving
density
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810237604.6A
Other languages
English (en)
Other versions
CN108428356A (zh
Inventor
朱利丰
李煊鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201810237604.6A priority Critical patent/CN108428356B/zh
Publication of CN108428356A publication Critical patent/CN108428356A/zh
Application granted granted Critical
Publication of CN108428356B publication Critical patent/CN108428356B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种基于流体密度场的路况图展示及辅助驾驶应用方法，该方法通过检测行驶过程中障碍物的位置，建模障碍物散发物质、障碍物运动使物质流动、物质耗散的过程，通过计算并显示物质的分布密度场，以此为依据生成基于流体密度场的路况图。同时本发明考虑不同障碍物的特点及运动，计算各向异及自适应的物质扩散过程，使用计算的密度场对路况变化给出短时的预测，并将所计算的密度场应用于辅助驾驶系统中，给出路况图指示的驾驶建议以防碰撞事故。

Description

一种基于流体密度场的路况图展示及辅助驾驶应用方法
技术领域
本发明属于信息技术在车辆技术领域的应用，具体涉及一种路况图的展示方法及其辅助驾驶应用方法。
背景技术
随着信息传感、计算及显示技术的发展，通过获取并展示所驾驶车辆的周边信息已成为一种辅助车辆安全驾驶的常见方案之一。
现有的辅助驾驶图技术一般通过展示所驾驶车辆视野内的空间占据信息或占据概率来预警所驾驶车辆是否驶入危险区域。受限于路况的复杂性及信息获取技术的局限性，无论是使用计算机视觉还是激光雷达等传感技术，均无法保证在完整无误差地获取并跟踪所驾驶车辆周围的车辆行人信息，会出现诸如跟踪目标丢失、错误匹配的情况，进而导致所展示的空间占据信息出现错误。另一方面，直接展示空间占据信息缺乏对环境变化的预测，根据当前空间占据信息进行驾驶决策在车辆行驶时仍然负担较大。
发明内容
发明目的：为了解决现有技术存在的问题，使得辅助驾驶在传感数据有丢失的情况下依然可以更安全且进一步提供路况预测信息，本发明提供了一种基于流体密度场的路况图展示及辅助驾驶应用方法。
技术方案：一种基于流体密度场的路况图展示及辅助驾驶应用方法，包括以下步骤：
(1)使用传感器采集路况鸟瞰图或点云信息，使用计算机视觉技术检测并跟踪路况鸟瞰图中的障碍物信息；使用逆透视投影变换估算路况鸟瞰图中所检测到的障碍物同所驾驶车辆间的相对位置和速度；
(2)以所获取的障碍物的相对位置和速度为边界条件，以路况鸟瞰图为计算区域，假设障碍物在计算区域中扩散出物质，并通过运动使扩散出的物质对流，使用计算流体力学工具仿真计算区域中物质密度场的变化，并绘制密度场作为路况图展示给用户；
(3)根据密度场的密度分布将密度场分为高密度场和低密度场，高密度场表示危险区域，低密度场表示安全区域；若所驾驶车辆所在位置处于高密度场，计算所驾驶车辆所在位置处的密度场的负梯度方向，以负梯度方向为推荐驾驶方向给出驾驶推荐。
优选的，步骤(2)还包括对路况图进行各向异扩展的步骤：根据计算区域内物质速度场的变化，加强物质在沿着运动方向的扩散程度，使得物质在沿着障碍物运动方向扩散程度更高，从而根据密度场在路况图中各点处的密度值预测障碍物短时间内出现的位置，密度值越高，则认为短时间内障碍物出现可能性越大；
优选的，步骤(2)还包括对路况图进行自适应扩展的步骤：针对不同障碍物的重要性设置权重，使得权重较高的障碍物作为扩散程度较高的扩散源，从而使得其周围物质密度场较强，更突出的警示所驾驶车辆规避重要性较高的障碍物。
优选的，步骤(3)中，密度场中密度分布使用颜色映射或其它标量场可视化方法展示给用户。
优选的，步骤(3)中，驾驶推荐包括多个强度级别，当给出驾驶推荐时，选择驾驶推荐强度级别，所述驾驶推荐强度级别与车辆所在处的密度值成正比。
优选的，步骤(3)中，初步确定推荐驾驶方向及推荐强度后，通过计算机视觉技术获取车道线指示前行方向及车辆当前行驶速度方向，根据初步确定的推荐驾驶方向、车道线指示前行方向及车辆当前行驶速度方向，计算得到最终推荐驾驶方向：
d′＝r·d+d1+d2
式中，d′表示最终推荐驾驶方向；d表示初步确定的推荐驾驶方向；r为推荐强度；d1为车道线指示前行方向；d2为车辆当前行驶速度方向。
优选的，步骤(1)中的传感器包括摄像头、激光雷达的一种或几种。
优选的，计算物质密度场的变化包括对流计算和扩散计算，
对流计算过程中，设pi处的速度为u(pi)＝vi，vi为障碍物的相对速度，使用数值方法求解对流方程
Figure GDA0002383112190000021
获得速度场u，其中t为时间，
Figure GDA0002383112190000022
为速度场的梯度；并根据速度场u求解方程
Figure GDA0002383112190000023
获得对流后的物质密度场D，其中t为时间，
Figure GDA0002383112190000024
为物质密度场的梯度；
扩散计算过程中，对扩散方程
Figure GDA0002383112190000025
进行求解，设障碍物处有物质源进行扩散f(pi)＝s，其中s为扩散源边界强度，λ为扩散速度；
同时引入密度场的耗散，设密度场的耗散为D′，设定耗散系数w，D′＝w·D，以耗散后的密度场作为实际密度场，绘制路况图。
优选的，所述扩散程度指扩散源边界强度s及扩散速度λ，加强物质在沿着运动方向的扩散程度的方法为：设置较高的扩散源边界强度s及扩散速度λ。
有益效果：本发明提供的一种基于流体密度场的路况图展示及辅助驾驶应用方法，其优点在于：1.可以在车辆、行人等障碍检测丢失的情况下，使用扩散过程短时间内保留其存在的信息并进一步提供路况预测信息，使得驾驶更安全；2.根据检测车辆、行人等运行速度，使用各项异扩散及对流过程，预测路况变化情况，以辅助驾驶决策。
附图说明
图1是生成路况图的方法流程图；
图2是计算基于流体的密度场图输入；
图3是生成各项异扩散过程的权重模板。
具体实施方式
下面结合附图和具体实施例对本发明作进一步说明。
实施例1：
如图1所示为基于流体密度场的路况图展示及辅助驾驶应用方法实施流程。
数据获取模块，使用摄像头、激光雷达等传感器获取路况图像或点云信息，点云信息指散乱的数据点，可以通过深度相机、激光雷达等传感器直接获得；使用传统的计算机视觉技术检测并跟踪车辆、行人等路况障碍物信息；使用逆透视投影变换估算路况鸟瞰图中所检测障碍物同所驾驶车辆间的相对位置和速度。
本方法允许此步骤获取的路况信息有适量的数据不完整、错误匹配或轨迹噪声。假设第j时刻检测路况模块获得第i个障碍物在鸟瞰图上位置为pi (j)，则设定其速度vi (j)＝pi (j)-pi (j-1)。若上一时刻障碍物位置信息丢失，则设定vi (j)＝vi (j-1)。初始时刻障碍物速度设为0。
系统的数据获取、路况图生成均逐帧计算，在计算出当前帧的密度场后，以此为初始值计算下一帧的密度场。为了便于公众理解，下面以一个具体实施例来对本发明技术方案进行详细说明路况图生成步骤。
如图2所示，假设目前检测到路况含三个障碍物其位置为p1，p2，p3，其速度为v1，v2，v3。使用计算流体力学的方法，以障碍物的位置和速度为边界条件，通过在二维格点上求解Navier-Stokes方程来计算密度场的更新，具体包含对流计算、扩散计算两个关键步骤。
对流计算过程中，设pi处的速度为u(pi)＝vi，vi为障碍物的相对速度，使用数值方法求解对流方程
Figure GDA0002383112190000031
获得速度场u，其中t为时间，
Figure GDA0002383112190000032
为速度场的梯度；并根据速度场u求解方程
Figure GDA0002383112190000033
获得对流后的物质密度场D，其中t为时间，
Figure GDA0002383112190000034
为物质密度场的梯度；
扩散计算过程中，求解扩散方程
Figure GDA0002383112190000035
本发明中设定障碍物处有物质源进行扩散f(pi)＝s，其中s控制了物质源的强度，λ控制了扩散的速度。本实施例中设定s＝1，λ＝1。
本发明引入密度场的耗散D′＝w·D以保证引入扩散源后密度场仍然保持可见的对比度。本实施例中耗散系数设为w＝0.98。
本实施例中，获得密度场后，使用颜色映射，将密度值由低到高映射为由蓝到红的渐变色，并叠加绘制显示在车辆内部屏幕上，形成用于辅助驾驶的路况图。
本实施例的辅助驾驶应用中，通过查询所驾驶车辆所处位置处p0密度场的密度值D(p0)及其梯度负方向
Figure GDA0002383112190000041
给出驾驶建议。若D(p0)大于给定阈值(本实施例中设给定阈值为0.5)，给出建议朝着方向d驾驶，并设定驾驶建议的推荐强度为D(p0)。其中，驾驶推荐强度包括多个强度级别，当给出驾驶推荐时，选择的驾驶推荐强度级别与车辆所在处的密度值成正比，即车辆所处的密度值越大，驾驶推荐强度越高。
实施例2：
实施例2的方法与实施例1的方法大部分相同，不同点在于，在扩散过程仿真中迭代计算Gaussian滤波时，使速度场影响扩散过程的各向异程度。如图3所示，速度场在图示位置(i,j)处速度为(vx,vy)，若扩散速度参数为λ，则在各向同的滤波模板w(i±1,j)＝w(i,j±1)＝λ上，沿着速度方向增加扩散模板分量为w(i+sgn(vx),j)＝λ+avx，w(i,j+sgn(vy))＝λ+avy。参数a控制了各向异的程度，本实施例中设a为0.1。通过使用此方向，可以使得物质在沿着速度方向扩散效果更明显，从而对障碍物运动下物质的分布变化提供短时的预测。
实施例3：
实施例3的方法与实施例1的方法大部分相同，不同点在于，在计算扩散过程时，对不同的障碍物引入不同的扩散参数s及λ。针对不同障碍物的重要性设置权重，使得权重较高的障碍物作为强度较高的扩散源，从而使得其周围物质密度场较强，更突出的警示所驾驶车辆规避重要性较高的障碍物。如障碍物1的尺寸比障碍物2的尺寸大时，设置s1>s2，λ1>λ2以使得障碍物1附近的密度场值较高及分布半径较广，更容易突出警示所驾驶车辆规避重要性较高的障碍物。
实施例4：
实施例4的方法与实施例1的方法大部分相同，不同点在于，辅助驾驶应用中，不是根据车辆所处位置及负梯度方向直接给出驾驶推荐，而是进一步结合检测到的车道线信息及目前所驾驶车辆的速度信息给出驾驶建议。
初步确定推荐驾驶方向及推荐强度后，通过计算机视觉技术(如对采集图像进行特征提取及霍夫变换)获取车道线指示前行方向及车辆当前行驶速度方向，根据初步确定的推荐驾驶方向、车道线指示前行方向及车辆当前行驶速度方向，综合计算得到最终推荐驾驶方向：
d′＝r·d+d1+d2
式中，d′表示最终推荐驾驶方向；d表示初步确定的推荐驾驶方向；r为推荐强度；d1为车道线指示前行方向；d2为车辆当前行驶速度方向。以进一步保证推荐驾驶方向的执行可行性。

Claims (9)

1.一种基于流体密度场的路况图展示及辅助驾驶应用方法，其特征在于，包括以下步骤：
(1)使用传感器采集路况鸟瞰图或点云信息，使用计算机视觉技术检测并跟踪路况鸟瞰图中的障碍物信息；使用逆透视投影变换估算路况鸟瞰图中所检测到的障碍物同所驾驶车辆间的相对位置和速度；
(2)以所获取的障碍物的相对位置和速度为边界条件，以路况鸟瞰图为计算区域，假设障碍物在计算区域中扩散出物质，并通过运动使扩散出的物质对流，使用计算流体力学工具仿真计算区域中物质密度场的变化，并绘制密度场作为路况图展示给用户；
(3)根据密度场的密度分布将密度场分为高密度场和低密度场，高密度场表示危险区域，低密度场表示安全区域；若所驾驶车辆所在位置处于高密度场，计算所驾驶车辆所在位置处的密度场的负梯度方向，以负梯度方向为推荐驾驶方向给出驾驶推荐。
2.根据权利要求1所述的基于流体密度场的路况图展示及辅助驾驶应用方法，其特征在于，步骤(2)还包括对路况图进行各向异扩展的步骤：根据计算区域内物质速度场的变化，加强物质在沿着运动方向的扩散程度，使得物质在沿着障碍物运动方向扩散程度更高，从而根据密度场在路况图中各点处的密度值预测障碍物短时间内出现的位置，密度值越高，则认为短时间内障碍物出现可能性越大。
3.根据权利要求1所述的基于流体密度场的路况图展示及辅助驾驶应用方法，其特征在于，步骤(2)还包括对路况图进行自适应扩展的步骤：针对不同障碍物的重要性设置权重，使得权重较高的障碍物作为扩散程度较高的扩散源，从而使得其周围物质密度场较强，更突出的警示所驾驶车辆规避重要性较高的障碍物。
4.根据权利要求1所述的基于流体密度场的路况图展示及辅助驾驶应用方法，其特征在于，步骤(3)中，密度场中密度分布使用颜色映射或其它标量场可视化方法展示给用户。
5.根据权利要求1所述的基于流体密度场的路况图展示及辅助驾驶应用方法，其特征在于，步骤(3)中，驾驶推荐包括多个强度级别，当给出驾驶推荐时，选择驾驶推荐强度级别，所述驾驶推荐强度级别与车辆所在处的密度值成正比。
6.根据权利要求5所述的基于流体密度场的路况图展示及辅助驾驶应用方法，其特征在于，步骤(3)中，初步确定推荐驾驶方向及推荐强度后，通过计算机视觉技术获取车道线指示前行方向及车辆当前行驶速度方向，根据初步确定的推荐驾驶方向、车道线指示前行方向及车辆当前行驶速度方向，计算得到最终推荐驾驶方向：
d′＝r·d+d1+d2
式中，d′表示最终推荐驾驶方向；d表示初步确定的推荐驾驶方向；r为推荐强度；d1为车道线指示前行方向；d2为车辆当前行驶速度方向。
7.根据权利要求1所述的基于流体密度场的路况图展示及辅助驾驶应用方法，其特征在于，步骤(1)中的传感器包括摄像头、激光雷达的一种或几种。
8.根据权利要求1所述的基于流体密度场的路况图展示及辅助驾驶应用方法，其特征在于，计算物质密度场的变化包括对流计算和扩散计算，
对流计算过程中，设pi处的速度为u(pi)＝vi，vi为障碍物的相对速度，使用数值方法求解对流方程
Figure FDA0002433300490000021
获得速度场u，其中t为时间，
Figure FDA0002433300490000022
为速度场的梯度；根据速度场u求解方程
Figure FDA0002433300490000023
获得对流后的物质密度场D，其中t为时间，
Figure FDA0002433300490000024
为物质密度场梯度；
扩散计算过程中，对扩散方程
Figure FDA0002433300490000025
进行求解，设障碍物处有物质源进行扩散f(pi)＝s，其中s为扩散源边界强度，λ为扩散速度；
同时引入密度场的耗散，设密度场的耗散为D′，设定耗散系数w，D′＝w·D，以耗散后的密度场作为实际密度场，绘制路况图。
9.根据权利要求2或3所述的基于流体密度场的路况图展示及辅助驾驶应用方法，其特征在于，所述扩散程度指扩散源边界强度s及扩散速度λ，加强物质在沿着运动方向的扩散程度的方法为：设置较高的扩散源边界强度s及扩散速度λ。
CN201810237604.6A 2018-03-21 2018-03-21 一种基于流体密度场的路况图展示及辅助驾驶应用方法 Active CN108428356B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810237604.6A CN108428356B (zh) 2018-03-21 2018-03-21 一种基于流体密度场的路况图展示及辅助驾驶应用方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810237604.6A CN108428356B (zh) 2018-03-21 2018-03-21 一种基于流体密度场的路况图展示及辅助驾驶应用方法

Publications (2)

Publication Number Publication Date
CN108428356A CN108428356A (zh) 2018-08-21
CN108428356B true CN108428356B (zh) 2020-06-02

Family

ID=63159289

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810237604.6A Active CN108428356B (zh) 2018-03-21 2018-03-21 一种基于流体密度场的路况图展示及辅助驾驶应用方法

Country Status (1)

Country Link
CN (1) CN108428356B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117848375A (zh) * 2022-09-30 2024-04-09 腾讯科技（深圳）有限公司 路况展示方法、路况处理方法、装置和计算机设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102426778B (zh) * 2011-11-04 2014-03-19 杭州妙影微电子有限公司 一种基于车辆位置的道路交通状况表示系统及表示方法
CN102831771B (zh) * 2012-08-30 2015-08-19 西北工业大学 基于离散宏观交通流p模型的fpga在线预测控制方法
WO2014106693A1 (fr) * 2013-01-07 2014-07-10 Meed Group, Eurl Dispositif pour la mobilité routière et urbaine et pour la résolution du problème d'embouteillage
JP6173791B2 (ja) * 2013-06-25 2017-08-02 株式会社東芝 道路状況把握システム、及び道路状況把握装置
CN105243856B (zh) * 2015-10-30 2018-03-30 王安麟 城市交通信号智能控制规则的自组织构建方法

Also Published As

Publication number Publication date
CN108428356A (zh) 2018-08-21

Similar Documents

Publication Publication Date Title
US11087186B2 (en) Fixation generation for machine learning
CN107798699B (zh) 用立体图像进行深度图估计
CN108571974B (zh) 使用摄像机的车辆定位
US11488392B2 (en) Vehicle system and method for detecting objects and object distance
US11842447B2 (en) Localization method and apparatus of displaying virtual object in augmented reality
KR20190132404A (ko) 신경망 이미지 프로세싱을 사용하는 ３ｄ 경계 박스들로서의 직접 차량 검출
CN108082037A (zh) 制动灯检测
CN108216242A (zh) 用于控制车辆的狭窄道路行驶的装置和方法
Zhao et al. A cooperative vehicle-infrastructure based urban driving environment perception method using a DS theory-based credibility map
JP2017535873A (ja) 路上シーン認識のための連続オクルージョンモデル
US11348263B2 (en) Training method for detecting vanishing point and method and apparatus for detecting vanishing point
US11720992B2 (en) Method, apparatus, and computer program product for generating an overhead view of an environment from a perspective image
JP2021528798A (ja) 場面のパラメトリック上面視表現
US20180011953A1 (en) Virtual Sensor Data Generation for Bollard Receiver Detection
CN104376297A (zh) 道路上的线型指示标志的检测方法和装置
CN105719311A (zh) 用于检测目标的车辆系统及其操作方法
EP3588007A1 (en) Information processing method and information processing device
CN108428356B (zh) 一种基于流体密度场的路况图展示及辅助驾驶应用方法
US20230110391A1 (en) 3d sensing and visibility estimation
Kadav Advancing Winter Weather ADAS: Tire Track Identification and Road Snow Coverage Estimation Using Deep Learning and Sensor Integration
JP2024009792A (ja) 仮想フィールド運転関連操作
Liu et al. Pose Estimation for Vehicles Based on Binocular Stereo Vision in Urban Traffic
Ojo Lane Departure Warning Systems under Adverse Weather Conditions for Elderly Drivers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant