CN111460865A - 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质 - Google Patents
辅助驾驶方法、辅助驾驶系统、计算设备及存储介质 Download PDFInfo
- Publication number
- CN111460865A CN111460865A CN201910059555.6A CN201910059555A CN111460865A CN 111460865 A CN111460865 A CN 111460865A CN 201910059555 A CN201910059555 A CN 201910059555A CN 111460865 A CN111460865 A CN 111460865A
- Authority
- CN
- China
- Prior art keywords
- road
- information
- image
- vehicle
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000003384 imaging method Methods 0.000 claims abstract description 39
- 230000004044 response Effects 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 67
- 238000010276 construction Methods 0.000 claims description 22
- 230000006399 behavior Effects 0.000 claims description 15
- 241001465754 Metazoa Species 0.000 claims description 11
- 238000009877 rendering Methods 0.000 claims description 9
- 230000002596 correlated effect Effects 0.000 claims description 2
- 230000016776 visual perception Effects 0.000 abstract description 13
- 230000009467 reduction Effects 0.000 abstract description 5
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 16
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 16
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 230000004927 fusion Effects 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 230000002829 reductive effect Effects 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000008447 perception Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000002085 persistent effect Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000002955 isolation Methods 0.000 description 3
- 244000144972 livestock Species 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000002355 dual-layer Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
Abstract
本公开提出了一种辅助驾驶方法、辅助驾驶系统、计算设备及存储介质。响应于车辆周围的道路实景图像的表征成像质量的参数满足设定条件，构建用于模拟至少部分所述道路实景的道路虚拟图像；以及呈现所述道路虚拟图像。由此，用户可以通过道路虚拟图像了解当前路况，以便引导用户的驾驶行为，避免由于因为环境光线问题引起视觉感知能力的降低而造成的交通隐患。
Description
技术领域
本公开涉及车辆驾驶领域，特别是涉及一种辅助驾驶方法、辅助驾驶系统、计算设备及存储介质。
背景技术
安全驾驶是永远绕不开的一个话题。车辆驾驶过程中不可避免地会遇到大雾、逆光、强光等情况，面临这些情况时，如何保证驾驶安全是目前亟需解决的一个问题。
举例来说，在大雾环境下，道路可见度较低，驾驶员无法了解前方道路情况下，极易出现交通事故；在夜间光线不良、对向远光灯照射等情况下，人眼视觉观察能力下降，此时也易出现交通事故。在上述场景下，利用现有的车载成像装置也无法获取清晰的道路图像。并且在利用车载成像装置进行成像时，还可能存在曝光度过高的现象，也无法保证利用车载成像装置所得到的图像的可用性。
因此，在由于天气、道路环境等原因导致用户对道路的视觉观察能力下降的情况下，如何实现安全驾驶是目前亟需解决的一个问题。
发明内容
本公开的一个目的在于提供一种能够在用户对道路的视觉观察能力下降的情况下实现安全驾驶的辅助驾驶方案。
根据本公开的第一个方面，提供了一种辅助驾驶方法，包括：响应于车辆周围的道路实景图像的表征成像质量的参数满足设定条件，构建用于模拟至少部分道路实景的道路虚拟图像；以及呈现道路虚拟图像。
可选地，该方法还包括：对车辆周围的可见光强度进行检测，以及/或者对获取的道路实景图像中不同区域的纹理特征进行检测，以及/或者对获取的道路实景图像的曝光度进行检测；在检测到可见光强度低于第一预定阈值，或者道路实景图像中不同区域的纹理特征的相似度高于第二预定阈值，或者曝光度高于第三预定阈值的情况下，执行构建用于模拟至少部分道路实景的道路虚拟图像的步骤。
可选地，构建用于模拟至少部分道路实景的道路虚拟图像的步骤包括：基于地图信息、和/或车载传感器的感测数据、和/或路侧感知设备的感测数据，确定车辆周围至少部分路况信息；基于至少部分路况信息构建道路虚拟图像。
可选地，路况信息包括以下至少一种：道路信息；行人信息和/或动物信息；车辆信息；交通标识信息；交通设施信息；障碍物信息。
可选地，基于地图信息、和/或车载传感器的感测数据、和/或路侧感知设备的感测数据，确定车辆周围至少部分路况信息的步骤包括：基于车辆所处的位置、地图信息和/或路侧感知设备感测到的道路数据，确定车辆所处的道路信息；以及/或者基于车载传感器和/或路侧感知设备，确定车辆周围的行人信息、和/或动物信息、和/或其他车辆信息；以及/或者基于地图信息、和/或车载传感器、和/或路侧感知设备，确定车辆周围的交通设施信息、和/或交通标识信息、和/或障碍物信息。
可选地，基于至少部分路况信息构建道路虚拟图像的步骤包括：确定至少部分路况信息在图像中的位置信息；根据位置信息，将至少部分路况信息渲染到图像中，以得到道路虚拟图像。
可选地，至少部分道路实景为距车辆预定范围之外的道路实景。
可选地，呈现道路虚拟图像的步骤包括：关联地呈现道路虚拟图像和至少部分道路实景图像，其中，道路虚拟图像和至少部分道路实景图像对应不同部分的道路实景。
可选地，该方法还包括：生成用于引导驾驶行为的引导标识；以及将引导标识渲染到道路虚拟图像中。
根据本公开的第二个方面，还提供了一种辅助驾驶方法，包括：基于地图信息、和/或车载传感器的感测数据、和/或路侧感知设备的感测数据，确定车辆周围至少部分路况信息；基于至少部分路况信息构建道路虚拟图像；以及呈现道路虚拟图像。
根据本公开的第三个方面，还提供了一种辅助驾驶方法，包括：呈现道路实景图像；响应于道路实景图像的表征成像质量的参数满足设定条件，构建用于模拟至少部分道路实景的道路虚拟图像；以及呈现道路虚拟图像。
可选地，该方法还包括：对车辆周围的可见光强度进行检测，以及/或者对道路实景图像中不同区域的纹理特征进行检测，以及/或者对道路实景图像的曝光度进行检测；在检测到可见光强度低于第一预定阈值，或者道路实景图像中不同区域的纹理特征的相似度高于第二预定阈值，或者曝光度高于第三预定阈值的情况下，执行构建用于模拟至少部分道路实景的道路虚拟图像的步骤。
根据本公开的第四个方面，还提供了一种辅助驾驶系统，包括：图像构建模块，用于响应于车辆周围的道路实景图像的表征成像质量的参数满足设定条件，构建用于模拟至少部分道路实景的道路虚拟图像；和显示模块，用于呈现道路虚拟图像。
可选地，该系统还包括：强度检测模块，用于对车辆周围的可见光强度进行检测；和/或纹理检测模块，用于对获取的道路实景图像中不同区域的纹理特征进行检测；和/或曝光度检测模块，用于对获取的道路实景图像的曝光度进行检测，其中，在强度检测模块检测到可见光强度低于第一预定阈值，或者纹理检测模块检测到道路实景图像中不同区域的纹理特征的相似度高于第二预定阈值，或者曝光度检测模块检测到曝光度高于第三预定阈值的情况下，图像构建模块构建用于模拟至少部分道路实景的道路虚拟图像。
可选地，该系统还包括：地图信息获取模块，用于获取地图信息；和/或感测模块，用于对车辆周围的路况信息进行感测。
可选地，感测模块包括车载传感器和/或路侧感知设备。
可选地，该系统还包括：路况信息识别模块，用于基于地图信息和/或感测模块的感测数据确定车辆周围至少部分路况信息，图像构建模块用于基于至少部分路况信息构建道路虚拟图像。
可选地，显示模块用于关联地呈现道路虚拟图像和至少部分道路实景图像，其中，道路虚拟图像和至少部分道路实景图像对应不同部分的道路实景。
可选地，该系统还包括：引导标识生成模块，用于生成用于引导驾驶行为的引导标识，图像构建模块还用于将引导标识渲染到道路虚拟图像中。
可选地，该系统还包括：图像采集模块，用于对车辆周围成像，以得到道路实景图像；图像识别模块，用于对道路实景图像进行分析，以识别车辆周围的路况信息；定位模块，用于确定车辆所处的位置信息和/或车道信息；以及引导信息生成模块，用于基于导航信息、路况信息、位置信息和/或车道信息，生成用于引导驾驶行为的引导信息。
根据本公开的第五个方面，还提供了一种辅助驾驶系统，包括：地图信息获取模块和/或感测模块，地图信息获取模块用于获取地图信息，感测模块用于对车辆周围的路况信息进行感测；路况信息识别模块，用于基于地图信息和/或感测模块的感测数据确定车辆周围至少部分路况信息；图像构建模块，用于基于至少部分路况信息构建用于模拟至少部分道路实景的道路虚拟图像；以及显示模块，用于呈现道路虚拟图像。
可选地，感测模块包括车载传感器和/或路侧感知设备。
根据本公开的第六个方面，还提供了一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当可执行代码被处理器执行时，使处理器执行如本公开第一个方面至第三个方面中任一个方面述及的方法。
根据本公开的第七个方面，还提供了一种非暂时性机器可读存储介质，其上存储有可执行代码，当可执行代码被电子设备的处理器执行时，使处理器执行如本公开第一个方面至第三个方面中任一个方面述及的方法。
在不能对车辆周围的道路实景进行清晰成像的情况下，用户可以通过本公开构建的道路虚拟图像了解当前路况，以便引导用户的驾驶行为，避免由于因为环境光线引起视觉感知能力的降低而造成的交通隐患。
附图说明
通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。
图1示出了根据本公开一实施例实现的效果示意图。
图2示出了根据本公开一个实施例的辅助驾驶系统的结构的示意性框图。
图3示出了根据本公开一实施的辅助驾驶系统在不同场景下提供的服务的示意图。
图4示出了根据本公开另一实施例的辅助驾驶系统的结构示意图。
图5示出了根据本公开一个实施例的辅助驾驶方法的流程示意图。
图6示出了根据本发明一实施例可用于实现上述辅助驾驶方法的数据处理的计算设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。
【术语解释】
AR：增强现实技术(Augmented Reality，简称AR)，指通过图像处理技术将虚拟的物体模型和显示影像融合，达到增强现实的技术。
ADAS：高级驾驶辅助系统(Advanced Driver Assistance System，简称ADAS)。
GNSS：全球导航卫星系统(Global Navigation Satellite System，简称GNSS)。
IMU：惯性测量单元(Inertial Measurement Unit，简称IMU)，是测量物体三轴姿态角(或角速率)以及加速度的装置。
VR：虚拟现实技术(Virtual Reality，简称VR)，是一种可以创建和体验虚拟世界的计算机仿真系统，它利用计算机生成一种模拟环境，是一种多源信息融合的、交互式的三维动态视景和实体行为的系统仿真使用户沉浸到该环境中。
MR：混合现实技术(Mixed Reality，简称MR)，增强现实和增强虚拟，指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存，并实时互动。它是虚拟现实技术的进一步发展，该技术通过在虚拟环境中引入现实场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。
雷达：是英文Radar的音译，源于Radio Detection And Ranging的缩写，意思为“无线电探测和测距”，即用无线电的方法发现目标并测定它们的空间位置。
定位定姿：确定物体的三维位置、三维速度和三维姿态等信息。
旋转变换：坐标变换，将一个坐标系下的坐标转换到另一个坐标系下。例如，可以是通过对摄像头的姿态的确定，将车辆定位/地图所在坐标系转换到图像坐标下。
【方案概述】
一般的车载成像装置都是可见光成像装置，其成像原理与人眼成像原理类似(都依赖于可见光)。在由于天气、道路环境等原因导致用户对道路的视觉观察能力下降的情况下，利用车载成像装置通常也无法得到清晰的道路实景图像。
有鉴于此，本公开提出了一种辅助驾驶方案，在用户对道路的视觉观察能力下降的情况下，也即在不能对车辆周围的道路实景进行清晰成像的情况下，可以构建用于模拟至少部分道路实景的道路虚拟图像，并呈现道路虚拟图像。由此，用户可以通过道路虚拟图像了解当前路况，引导用户的驾驶行为，避免由于因为环境光线问题引起视觉感知能力的降低而造成的交通隐患。
以大雾天气为例，在大雾环境下，道路可见度较低，驾驶员无法了解前方道路的具体情况，极易出现交通事故。并且大雾天气也很容易引起车载摄像头性能骤降、无法清晰成像，基于车载摄像头对车辆前方成像所得的道路实景图像不能清楚地反映车辆前方的道路信息。
如图1中的左侧视图所示，用户基于车载摄像头所成的道路实景图像只能看到前方一团雾，不能获知前方道路的路况信息。利用本公开则可以构建用于模拟车辆前方的道路实景的道路虚拟图像，并呈现道路虚拟图像。如图1中的右侧视图所示，道路虚拟图像可以反映车辆当前所处的道路实景信息，用户通过道路虚拟图像可以了解当前路况，以便引导用户的驾驶行为，减少交通事故的发生。
如下将结合附图及实施例详细说明本公开的辅助驾驶方案。
【辅助驾驶系统】
图2示出了根据本公开一个实施例的辅助驾驶系统的结构的示意性框图。其中，辅助驾驶系统100可以搭载在车载操作系统中，辅助驾驶系统100可以执行本本公开的辅助驾驶方案，以为用户提供辅助驾驶服务。
图2示出了在一些实施例中可能涉及的多个模块。应当理解，并非所有这些模块都是实现本公开的技术方案所必须的。例如，通过阅读下面的实施例的具体描述可以明白，在一些场景下并不需要所有这些模块的参与。
VR显示
在本公开的一个实施例中，辅助驾驶系统100可以包括图像构建模块121和显示模块123。
图像构建模块121用于在不能对车辆周围的道路实景进行清晰成像的情况下，构建用于模拟至少部分道路实景的道路虚拟图像。道路虚拟图像是指用于对至少部分道路实景进行模拟的虚构的图像。显示模块123用于呈现道路虚拟图像。
为了使得构建的道路虚拟图像能够真实反映车辆当前所处的道路实景信息，可以根据能够表征道路属性信息的地图信息、利用感测方式(如基于非可见光技术实现的感测方式)获取的感测数据，确定车辆周围至少部分路况信息，以使得图像构建模块121可以基于至少部分路况信息构建道路虚拟图像。其中，路况信息可以包括但不限于道路信息、行人信息和/或动物信息、车辆信息、交通标识信息、交通设施信息、障碍物信息中的一项或多项。其中，此处述及的道路信息可以是指道路名称、道路长宽、道路形状、道路所包括的车道线等能够反映道路属性的信息。
如图2所示，辅助驾驶系统100还可以包括地图信息获取模块111、感测模块113以及路况信息识别模块115。
地图信息获取模块111可以获取地图信息，此处述及的地图信息是指与车辆当前所处位置的道路对应的地图信息。根据地图信息可以得到车辆当前所处道路的道路属性信息，如可以获取道路长宽、道路所包括的车道线数量、道路上的交通设施、交通标识等能够反映道路属性的信息。基于道路属性信息可以实现道路建模。
感测模块113可以用于对车辆周围的路况信息进行感测。在本公开中，感测模块113可以包括车载传感器和/或路侧感知设备。
车载传感器可以是指安装在车辆上的传感器，如可以包但不限于电磁波雷达、激光雷达，声波雷达和红外相机等不依赖于可见光的传感器。可以利用车载传感器对车辆周围的其他车辆、行人、动物、交通设施、障碍物等物体进行感测。
路侧感知设备部署在道路侧，可以利用其具有的各种传感器(例如摄像头、电磁波雷达、激光雷达，声波雷达和红外相机等)收集周围预定范围内的各种信息，如可以包括但不限于与道路相关的道路数据。具体地说，路侧感知设备可以利用其传感器对其覆盖区域内的道路静态信息(如车道线、护栏、隔离带、停车位等道路属性信息)和道路动态信息(如行驶车辆、行人、动物和抛洒物)进行采集感知，将不同传感器的感知数据进行融合以形成该段道路的道路数据。路侧感知设备所感测到的道路数据可以通过服务器发送给车辆，也可以直接发送给车辆。
路况信息识别模块115可以根据地图信息获取模块111获取的地图信息和感测模块113的感测数据，进行分析，以确定车辆周围至少部分路况信息。如上文所述，所确定的路况信息可以包括但不限于道路信息、行人信息和/或动物信息、车辆信息、交通标识信息、交通设施信息、障碍物信息等信息中的一种或多种。
图像构建模块121可以基于路况信息识别模块115识别到的路况信息来构建道路虚拟图像。
作为示例，图像构建模块121可以首先确定基于路况信息识别模块115识别到的路况信息在图像中的位置信息，然后根据位置信息，将至少部分路况信息渲染到图像中，以得到道路虚拟图像。例如，图像构建模块121可以基于旋转变换将识别到的路况信息的坐标统一起来，即确定路况信息应该在图像中的显示位置，然后将这些路况信息渲染到图像中，以得到道路虚拟图像。关于旋转变换的具体实现，本公开不再赘述。
所构造的道路虚拟图像可以是平面图像(即2D图像)，也可以是3D图像。并且道路虚拟图像可以是以本车(如本车中的驾驶员位置)视角进行构建的，即道路虚拟图像中的所有对象都是以本车为参照物进行渲染的。
举例来说，图像构建模块121可以基于地图信息获取模块111获取的地图信息和/或感测模块113的感测数据(例如路侧感知模块感测到的道路静态信息)进行道路建模，以得到车辆所处的道路模型。然后可以根据感测模块113的感测结果，完成交通参与者建模，交通参与者可以包括但不限于机动车、非机动车、行人和牲畜等等。其中，根据感测模块113的感测数据还可以确定交通参与者相对于感测模块113的相对位置坐标(距离和方位)。根据地图中的道路栏杆、隔离墩等道路设施信息和感测模块113感知到的障碍物信息，图像构建模块121可以完成本车周围一定范围内交通设施和障碍物的建模及其相对位置坐标的确定。
然后图像构建模块121可以将这些信息统一渲染到图像中，以得到道路虚拟图像。其中，道路虚拟图像可以是以本车当前方位为第一视角进行渲染的，如此可以便于用户通过道路虚拟图像直观地了解到当前的路况信息。
作为示例，辅助驾驶系统100还可以可选地包括引导标识生成模块(图中未示出)，引导标识生成模块用于生成用于引导驾驶行为的引导标识。图像构建模块121还可以将引导标识渲染到道路虚拟图像中。其中，引导标识可以是基于导航信息、路况信息、位置信息和/或车道信息，生成的用于引导驾驶行为的交通标识，如直线前行标识、车道转向标识等等。
条件检测
如上文所述，本公开的辅助驾驶方案可以适用于因环境问题引起视觉感知能力降低的场景，因此可以增设条件检测操作，在检测到用户处于视觉感知能力降低的环境中时，可以执行本公开的辅助驾驶方案，为用户提供能够模拟至少部分道路实景的道路虚拟图像，使得用户处于视觉感知能力降低的场景中时，也可以无缝获知当前路况信息。其中，可以根据车辆周围的道路实景图像的表征成像质量的参数是否满足设定条件，确定是否需要执行本公开的辅助驾驶方案。表征成像质量的参数可以包括但不限于可见光强度、纹理特征、曝光度等与图成像质量相关的参数。设定条件可以是指阈值判断条件，可以将表征成像质量的参数与相应的阈值判断条件进行比较，在参数满足阈值判断条件的情况下，构建用于模拟至少部分道路实景的道路虚拟图像。
如图2所示，辅助驾驶系统100可以可选地包括强度检测模块131、和/或纹理检测模块133、和/或曝光度检测模块135。可以通过强度检测模块131、和/或纹理检测模块133、和/或曝光度检测模块135实现条件检测。
强度检测模块131可以用于对车辆周围的可见光强度进行检测，在检测到可见光强度较高(例如高于第一预定阈值)的情况下，可以认为当前处于逆光环境(如对向远光灯照射的环境)，判定当前视觉感知能力下降。其中，第一预定阈值可以根据实际情况设定，关于强度检测的具体实现流程，本公开不再赘述。
纹理检测模块133用于对获取的道路实景图像的纹理进行检测。道路实景图像可以是基于车载成像装置对车辆周围(如前方)进行成像得到的道路图像。在大雾、照明不良等环境下，道路实景图像全白或全黑，因此，纹理检测模块133可以以道路实景图像的纹理是否明显(也即是否能够有效提取图像纹理)为依据进行检测，在检测到纹理不明显的情况下，可以判定引起视觉感知能力降低。
作为示例，纹理检测模块133可以对道路实景图像中不同区域的纹理特征进行检测，并对道路实景图像中不同区域的纹理特征的相似度与第二预定阈值进行比较，在道路实景图像中不同区域的纹理特征的相似度低于第二预定阈值的情况下，可以认为当前环境引起视觉感知能力降低。其中，第二预定阈值可以根据实际情况设定。可选地，纹理检测模块133在检测过程中，可以结合地图、天气等辅助数据，以降低漏检和误检概率。
曝光度检测模块135用于对获取的道路实景图像的曝光度进行检测。曝光度检测主要是针对桥梁、涵洞、隧道等环境下光照反差大的场景下容易引起几秒钟的过渡曝光或者光线不足导致的图像不清晰问题，该检测主要依据地图辅助数据和图像处理，以提高准确率。在检测到曝光度高于第三预定阈值的情况下，可以判定引起短时视觉感知能力降低。其中，第三预定阈值可以根据实际情况设定，关于曝光度检测的具体实现流程，本公开不再赘述。
在强度检测模块131检测到可见光强度低于第一预定阈值，或者纹理检测模块133检测到道路实景图像中不同区域的纹理特征的相似度高于第二预定阈值，或者曝光度检测模块135检测到曝光度高于第三预定阈值的情况下，可以指令图像构建模块121构建用于模拟至少部分道路实景的道路虚拟图像。
MR显示
考虑到道路虚拟图像主要是基于地图信息和/或感测数据构建的，可能存在一定误差(如漏检或定位误差)，并且车辆近景范围内的道路能见度可能较好。因此，图像构建模块121可以构建用于模拟距车辆预定范围之外的道路实景的道路虚拟图像。对于车辆周围预定范围之内的道路实景，可以仍由用户通过视觉观察的方式获知路况信息，或者也可以通过可见光成像的方式为用户提供近景图像。
作为本公开的一个示例，显示模块123可以关联地呈现道路虚拟图像和至少部分道路实景图像，其中，道路虚拟图像和至少部分道路实景图像对应不同部分的道路实景。例如，道路虚拟图像可以用于模拟距车辆预定范围之外的道路实景，道路实景图像对应于车辆周围预定范围之内的道路实景。也就是说，可以将车辆周围预定范围内的实景道路图像和车辆周围预定范围之外的道路虚拟图像结合起来，呈现给用户。
在本公开中，道路实景图像可以是利用车载成像装置对车辆周围环境成像得到的图像。并且，道路实景图像可以是融合了导航引导信息和/或ADAS信息的AR图像。其中，导航引导信息可以包括导航模块提供的引导信息，可选地还可以附带实时交通信息。ADAS信息可以是由ADAS模块基于地图数据(限速提示，监控提示等)和周围环境感知数据，生成的安全驾驶辅助信息。
由此，在本公开的示例性实施例中，辅助驾驶系统100还可以包括MR渲染模块(图中未示出)。MR渲染模块可以将道路实景图像(AR图像)和道路虚拟图像(VR图像)混合为统一的MR图像，呈现给用户。
AR导航
本公开的辅助驾驶方案也可以支持AR导航功能。例如，在能够对车辆周围的道路实景进行清晰成像的情况下(也即道路实景图像的表征成像质量的参数不满足设定条件的情况下)，可以为用户提供AR导航服务；在不能对车辆周围的道路实景进行清晰成像的情况下(也即道路实景图像的表征成像质量的参数满足设定条件的情况下)，再构建用于模拟至少部分道路实景的道路虚拟图像，并呈现道路虚拟图像，由此可以实现AR道和VR导航的无缝切换。
如图2所示，辅助驾驶系统100还可以包括图像采集模块141、图像识别模块143、定位模块145以及引导信息生成模块147。
图像采集模块141用于对车辆周围成像，以得到道路实景图像。图像识别模块143用于对道路实景图像进行分析，以识别车辆周围的道路及环境信息。此处述及的道路及环境信息可以是车辆所处的道路及道路上的车道线、行人、交通标志、路面障碍等一种或多种路况信息。
定位模块145用于确定车辆所处的位置信息和/或车道信息。定位模块145可以是基于信号定位(如GPS信号定位)、航迹推算、环境特征匹配等多种融合定位算法，来确定车辆的车道级位置信息。可选地，定位模块145在确定车辆的车道级位置信息的过程中可以结合图像识别模块143识别出的车道线等路况信息，以实现更精准的车道级定位。其中，信号定位、航迹推算、环境特征匹配均为现有定位技术，基于多定位技术进行车道定位的具体实现过程此处不再赘述。例如，定位模块145可以基于卫星导航定位数据、IMU测量数据以及高清地图信息，来综合确定车辆所处的位置信息和/或车道信息。
引导信息生成模块147用于基于导航信息、路况信息、位置信息和/或车道信息，生成用于引导驾驶行为的引导信息。所生成的引导信息可以是车道级引导信息，即用于在车道级别引导用户的驾驶行为的信息，如可以是指示车辆沿着导航信息所指示的车道行驶的交通标识信息。
作为示例，所生成的引导信息可以渲染到道路实景图像上，以实现AR导航。渲染过程此处不再赘述。
综上，本公开的辅助驾驶系统可以在普通路况下为用户提供AR导航，在复杂光线(如大雾、逆光、过爆)的情况下，可以提供VR导航或MR导航。如图3所示，在普通路况下，可以为用户提供“实景道路图像+ADAS+引导”的AR导航服务，在引起视觉感知能力降低的路况下，可以提供“道路实景图像+道路虚拟图像”的MR导航服务。
图4示出了根据本公开另一实施例的辅助驾驶系统的结构示意图。
在本实施例中，辅助驾驶系统支持AR导航，也支持复杂光线环境下的VR导航或MR导航。
辅助驾驶系统的框架图如图4所示，系统主要包含数据模块410、算法模块420、业务模块430和显示模块440。业务模块430作为整个辅助驾驶系统的核心，负责将算法模块420提供的计算结果同导航规划结合起来，自适应地调整导航策略，如可以根据场景自动融合和切换AR和VR。
数据模块
数据模块410中的数据源分为三类：定位数据源、实景图像数据源、环境感知数据源，分别向算法模块的三个数据处理中心提供数据支持。
定位数据源可以包括高清地图模块、卫星导航定位模块以及IMU提供的定位数据。实景图像数据源可以是由成像模块实时对车辆当前所处的周围道路环境进行成像得到的道路实景图像。环境感知数据源可以是由雷达、感知相机及其他感知设备对车辆周围环境进行感测得到的感测数据。其中，雷达、感知相机及其他感知设备可以是指部署在车辆上的传感器(即上文述及的车载传感器)，也可以是指部署在道路侧的感知设备(即上文述及的路侧感知设备)。
算法模块
算法模块420主要用于实现多源融合定位、实景图像识别以及周围环境探测。因此，算法模块可以包括多源融合定位模块421、实景图像识别模块422和周围环境探测模块433。
1、多源融合定位模块
多源融合定位是指利用高清地图模块、卫星导航定位模块以及IMU提供的定位数据，进行综合定位，确定车辆的位置及车道信息。
多源融合定位模块421可以以GNSS融合IMU的组合导航定位为基础，同时可以利用高清地图模块提供的地图信息以及实景图像识别结果，以保证开阔空间以及一定遮挡环境下的定位精度和稳定性，为后续AR/VR融合提供满足需要的定位支持。可选地，多源融合定位可以被设计为在开阔场景下能够提供车道级定位能力，遮挡环境下能够稳定提供水平精度优于10米。
2、实景图像识别模块
实景图像识别模块422可以以车载前向摄像机为主要数据源，用来实时捕捉前方道路图像信息，用于识别车道、机动车、交通标示等，一方面可以提供给ADAS模块，一方面可以提供给多源融合定位算法模块，是AR系统实景信息的主要来源。实景图像识别模块的识别算法可以以图像识别算法为核心，可选地可以融合激光雷达、电磁波雷达等传感器。考虑到成本问题，可以以摄像机为中心，少量车型融入毫米波雷达，提供200米以内的图像深度探测支持。但是，光学摄像机始终无法有效解决光线干扰问题，比如光线昏暗、过渡曝光、团雾遮挡等环境，这也是目前单纯AR导航面临的难题。
实景图像识别模块422在用于对实景道路图像进行识别之外，还可以用于条件检测。如可以设置可见光强度检测、图像纹理检测以及曝光度检测三大检测模块，分别检测逆光环境、大雾天气以及过曝环境。
可见光强度检测模块可以在检测到可见光的强度高于预定阈值的情况下，判定逆光环境。大雾以及照明不良环境下，AR前景图像全白或全黑，图像纹理检测模块可以以是否有效提取规则特征纹理为依据进行检测，并结合地图数据进行特征辅助，降低漏检和误检概率。曝光度检测模块主要针对桥梁、涵洞和隧道等环境下光照反差大的场景下容易引起几秒钟的过渡曝光或者光线不足导致的图像不清晰问题，该检测主要依据地图辅助数据和图像处理，以提高准确率。通过上述条件检测，可以识别逆光照射、大雾以及照明不良以及短时过曝等易导致人眼和相机视觉感知能力下降的场景，为后续VR导航或MR导航提供支持。关于可见光强度检测模块、图像纹理检测模块以及曝光度检测模块的具体检测过程可以参见上文相关描述，此处不再赘述。
3、周围环境探测模块
周围环境探测模块423主要用来检测光线环境以及周围交通参与者(机动车、非机动车、行人、牲畜以及障碍物等)，环境探测所需要的传感器数据可以包括但不限于电磁波雷达、激光雷达、声波雷达以及红外相机等不依赖于可见光的传感器设备。
周围环境探测作为ADAS的核心数据源，需要融合多种传感器，除了可见光相机外，红外相机，激光雷达，毫米波雷达，超声波雷达等都可以作为探测数据源，考虑到技术演进以及量产成本，这类传感器可以以红外相机和毫米波雷达以及超声波雷达为核心。其中，红外相机可以提供行人和动物检测，弥补了雷达对活体检测的性能不足问题。
业务模块
业务模块430主要包括导航规划系统和ADAS。
导航规划系统可以根据地图信息和车辆定位信息，进行导航规划。所得到的导航规划信息可以交由ADAS。ADAS可以根据当前环境确定显示策略。
1、光线正常场景
在当前环境为光线正常的情况下，ADAS可以根据导航规划信息，生成AR引导信息，AR引导信息以导航规划系统的导航规划信息为主，可以附带实时交通信息。AR引导信息可以是与导航规划信息一致的导航标识，如可以是直线前行标识、车道变换标识。
ADAS还可以生成安全驾驶辅助信息(也可以称为ADAS信息)，安全驾驶辅助信息用于辅助实现车辆的安全驾驶，可以是根据地图信息和周围环境感知数据得到的信息，如可以是限速提示信息、监控提示信息、前方障碍物提示信息等等。
在得到AR引导信息和安全驾驶辅助信息后，可以由显示模块进行场景渲染，如可以将AR引导信息和安全驾驶辅助信息渲染到道路实景图像中，也可以将AR引导信息和安全驾驶辅助信息渲染到车载显示屏(如抬头显)上，以为用户提供AR导航服务。
2、光线复杂环境
在当前环境为光线复杂环境的情况下，例如在实景图像识别模块422检测到表征图像显示的参数满足设定条件的情况下下，ADAS可以利用周围环境探测模块423的感测数据和/或地图信息，进行VR场景建模。
例如，ADAS可以依据地图车道数据和模型，完成车道建模；依据周围环境感知结果，完成交通参与者建模，主要包括机动车、非机动车、行人和牲畜等，通过感知手段确定交通参与者的相对位置坐标(距离和方位)；结合地图中道路栏杆、隔离墩等数据和传感器感知的路障数据，完成本车周围一定范围内交通设施和障碍物的建模和相对位置坐标确定。
VR建模完成后，可以直接由显示模块440进行渲染，以得到道路虚拟图像，并由显示系统呈现给用户。
另外，VR建模完成后，也可以将VR信息和道路实景图像进行混合，混合原则可以设计为：在传感器存在一定漏检概率或者定位误差较大时，车辆前方一定范围内以AR为主，将短距离(1～5米，受光线干扰稍弱区域，根据实际场景自适应)场景信息交给人眼视觉感知；远距离(5～200米，受光线干扰较大区域，根据实际场景自适应)场景信息交给VR模块提供；传感器足够稳定和丰富的前提下且定位足够准确，可以将周围信息以VR的方式提供。
本公开可以向驾驶员提供不间断的驾驶辅助信息，有效应对光线干扰问题引起的交通隐患。
【辅助驾驶方法】
图5示出了根据本公开一个实施例的辅助驾驶方法的流程示意图。其中，该辅助驾驶方法可以由图2、图4所示的辅助驾驶系统实现，该方法的具体显示细节可参见上文的相关描述，在此不再赘述。
参见图5，在步骤S310，车辆周围的道路实景图像的表征成像质量的参数满足设定条件，构建用于模拟至少部分道路实景的道路虚拟图像。
表征成像质量的参数可以包括但不限于可见光强度、图像纹理以及曝光度等与图成像质量相关的参数。设定条件可以是指阈值判断条件，可以将表征成像质量的参数与相应的阈值判断条件进行比较，在参数满足阈值判断条件的情况下，构建用于模拟至少部分道路实景的道路虚拟图像。关于检测参数是否满足设定条件的过程，可以参见上文相关描述，此处不再赘述。其中，道路实景图像可以是指实时呈现的道路图像。
道路虚拟图像是指用于对车辆周围的至少部分道路实景进行模拟的、虚构的图像。为了使得构建的道路虚拟图像能够真实反映车辆当前所处的道路实景信息，可以基于地图信息、和/或车载传感器的感测数据、和/或路侧感知设备的感测数据，确定车辆周围至少部分路况信息，然后基于至少部分路况信息构建道路虚拟图像。其中，关于车载传感器和路测感知设备可以参见上文相关描述，此处不再赘述。所确定的路况信息可以包括但不限于道路信息、行人信息和/或动物信息、车辆信息、交通标识信息、交通设施信息、障碍物信息中的一项或多项。此处述及的道路信息可以是指道路名称、道路长宽、道路形状、道路所包括的车道线等道路属性信息。
作为示例，可以基于车辆所处的位置、地图信息和/或路侧感知设备感测到的道路静态信息，确定车辆所处的道路信息；并且/或还可以基于车载传感器和/或路侧感知设备确定车辆周围的行人信息、和/或动物信息、和/或车辆信息；并且/或者还可以可以基于地图信息、和/或车载传感器、和/或路侧感知设备，确定车辆周围的交通设施信息、和/或交通标识信息、和/或障碍物信息。其中，车辆所处的位置可以通过定位确定。
在根据地图信息和/或传感器的感测数据得到路况信息后，可以确定路况信息在图像中的位置信息，根据位置信息，将路况信息渲染到图像中，以得到道路虚拟图像。
在步骤S320，呈现道路虚拟图像。
考虑到道路虚拟图像主要是基于地图信息和/或感测数据构建的，可能存在一定误差(如漏检或定位误差)，并且车辆近景范围内的道路能见度可能较好。因此，在构建道路虚拟图像时，可以构建用于模拟车辆前方预定范围之外的道路实景的道路虚拟图像。也就是说，上文述及的至少部分道路实景可以为车辆前方预定范围之外的道路实景。
对于车辆周围预定范围之内的道路实景，可以仍由用户通过视觉观察的方式获知路况信息，或者也可以通过可见光成像的方式为用户提供近景图像。
作为示例，可以关联地呈现道路虚拟图像和至少部分道路实景图像，其中，道路虚拟图像和至少部分道路实景图像对应不同部分的道路实景。
作为示例，还可以生成用于引导驾驶行为的引导标识，并将引导标识渲染到道路虚拟图像中。其中，引导标识可以是基于导航信息、路况信息、位置信息和/或车道信息，生成的用于引导驾驶行为的交通标识，如直线前行标识、车道转向标识等等。
在本公开的一个实施例中，辅助驾驶方法可以包括基于地图信息和/或传感器的感测数据确定车辆周围至少部分路况信息；基于至少部分路况信息构建道路虚拟图像；以及呈现道路虚拟图像。
在本公开的一个实施例中，辅助驾驶方法可以包括：呈现道路实景图像；在道路实景图像不能够清晰表征车辆周围的道路实景的情况下，构建用于模拟至少部分道路实景的道路虚拟图像；以及呈现道路虚拟图像。
【计算设备】
图6示出了根据本发明一实施例可用于实现上述辅助驾驶方法的数据处理的计算设备的结构示意图。
参见图6，计算设备600包括存储器610和处理器620。
处理器620可以是一个多核的处理器，也可以包含多个处理器。在一些实施例中，处理器620可以包含一个通用的主处理器以及一个或多个特殊的协处理器，例如图形处理器(GPU)、数字信号处理器(DSP)等等。在一些实施例中，处理器620可以使用定制的电路实现，例如特定用途集成电路(ASIC，Application Specific Integrated Circuit)或者现场可编程逻辑门阵列(FPGA，Field Programmable Gate Arrays)。
存储器610可以包括各种类型的存储单元，例如系统内存、只读存储器(ROM)，和永久存储装置。其中，ROM可以存储处理器620或者计算机的其他模块需要的静态数据或者指令。永久存储装置可以是可读写的存储装置。永久存储装置可以是即使计算机断电后也不会失去存储的指令和数据的非易失性存储设备。在一些实施方式中，永久性存储装置采用大容量存储装置(例如磁或光盘、闪存)作为永久存储装置。另外一些实施方式中，永久性存储装置可以是可移除的存储设备(例如软盘、光驱)。系统内存可以是可读写存储设备或者易失性可读写存储设备，例如动态随机访问内存。系统内存可以存储一些或者所有处理器在运行时需要的指令和数据。此外，存储器610可以包括任意计算机可读存储媒介的组合，包括各种类型的半导体存储芯片(DRAM，SRAM，SDRAM，闪存，可编程只读存储器)，磁盘和/或光盘也可以采用。在一些实施方式中，存储器610可以包括可读和/或写的可移除的存储设备，例如激光唱片(CD)、只读数字多功能光盘(例如DVD-ROM，双层DVD-ROM)、只读蓝光光盘、超密度光盘、闪存卡(例如SD卡、min SD卡、Micro-SD卡等等)、磁性软盘等等。计算机可读存储媒介不包含载波和通过无线或有线传输的瞬间电子信号。
存储器610上存储有可执行代码，当可执行代码被处理器620处理时，可以使处理器620执行上文述及的辅助驾驶方法。
上文中已经参考附图详细描述了根据本发明的辅助驾驶方法、辅助驾驶系统及计算设备。
此外，根据本发明的方法还可以实现为一种计算机程序或计算机程序产品，该计算机程序或计算机程序产品包括用于执行本发明的上述方法中限定的上述各步骤的计算机程序代码指令。
或者，本发明还可以实施为一种非暂时性机器可读存储介质(或计算机可读存储介质、或机器可读存储介质)，其上存储有可执行代码(或计算机程序、或计算机指令代码)，当所述可执行代码(或计算机程序、或计算机指令代码)被电子设备(或计算设备、服务器等)的处理器执行时，使所述处理器执行根据本发明的上述方法的各个步骤。
本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。
附图中的流程图和框图显示了根据本发明的多个实施例的系统和方法的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标记的功能也可以以不同于附图中所标记的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
Claims (24)
1.一种辅助驾驶方法，其特征在于，包括：
响应于车辆周围的道路实景图像的表征成像质量的参数满足设定条件，构建用于模拟至少部分道路实景的道路虚拟图像；以及
呈现所述道路虚拟图像。
2.根据权利要求1所述的辅助驾驶方法，其特征在于，还包括：
对所述车辆周围的可见光强度进行检测，以及/或者对获取的道路实景图像中不同区域的纹理特征进行检测，以及/或者对获取的道路实景图像的曝光度进行检测；
在检测到所述可见光强度低于第一预定阈值，或者所述道路实景图像中不同区域的纹理特征的相似度高于第二预定阈值，或者所述曝光度高于第三预定阈值的情况下，执行所述构建用于模拟至少部分道路实景的道路虚拟图像的步骤。
3.根据权利要求1所述的辅助驾驶方法，其特征在于，所述构建用于模拟至少部分道路实景的道路虚拟图像的步骤包括：
基于地图信息、和/或车载传感器的感测数据、和/或路侧感知设备的感测数据，确定车辆周围至少部分路况信息；
基于所述至少部分路况信息构建道路虚拟图像。
4.根据权利要求3所述的辅助驾驶方法，其特征在于，所述路况信息包括以下至少一种：
道路信息；
行人信息和/或动物信息；
车辆信息；
交通标识信息；
交通设施信息；
障碍物信息。
5.根据权利要求3所述的辅助驾驶方法，其特征在于，所述基于地图信息、和/或车载传感器的感测数据、和/或路侧感知设备的感测数据确定车辆周围至少部分路况信息的步骤包括：
基于车辆所处的位置、地图信息和/或路侧感知设备感测到的道路数据，确定车辆所处的道路信息；以及/或者
基于车载传感器和/或路侧感知设备，确定车辆周围的行人信息、和/或动物信息、和/或其他车辆信息；以及/或者
基于地图信息、和/或车载传感器、和/或路侧感知设备，确定车辆周围的交通设施信息、和/或交通标识信息、和/或障碍物信息。
6.根据权利要求3所述的辅助驾驶方法，其特征在于，所述基于所述至少部分路况信息构建道路虚拟图像的步骤包括：
确定所述至少部分路况信息在图像中的位置信息；
根据所述位置信息，将所述至少部分路况信息渲染到图像中，以得到道路虚拟图像。
7.根据权利要求1所述的辅助驾驶方法，其特征在于，
所述至少部分道路实景为距所述车辆预定范围之外的道路实景。
8.根据权利要求1所述的辅助驾驶方法，其特征在于，所述呈现所述道路虚拟图像的步骤包括：
关联地呈现所述道路虚拟图像和至少部分道路实景图像，其中，所述道路虚拟图像和所述至少部分道路实景图像对应不同部分的道路实景。
9.根据权利要求1所述的辅助驾驶方法，其特征在于，还包括：
生成用于引导驾驶行为的引导标识；以及
将所述引导标识渲染到所述道路虚拟图像中。
10.一种辅助驾驶方法，其特征在于，包括：
基于地图信息、和/或车载传感器的感测数据、和/或路侧感知设备的感测数据，确定车辆周围至少部分路况信息；
基于所述至少部分路况信息构建道路虚拟图像；以及
呈现所述道路虚拟图像。
11.一种辅助驾驶方法，其特征在于，包括：
呈现道路实景图像；
响应于所述道路实景图像的表征成像质量的参数满足设定条件，构建用于模拟至少部分所述道路实景的道路虚拟图像；以及
呈现所述道路虚拟图像。
12.根据权利要求11所述的辅助驾驶方法，其特征在于，还包括：
对所述车辆周围的可见光强度进行检测，以及/或者对道路实景图像中不同区域的纹理特征进行检测，以及/或者对所述道路实景图像的曝光度进行检测；
在检测到所述可见光强度低于第一预定阈值，或者所述道路实景图像中不同区域的纹理特征的相似度高于第二预定阈值，或者所述曝光度高于第三预定阈值的情况下，执行所述构建用于模拟至少部分道路实景的道路虚拟图像的步骤。
13.一种辅助驾驶系统，其特征在于，包括：
图像构建模块，用于响应于车辆周围的道路实景图像的表征成像质量的参数满足设定条件，构建用于模拟至少部分所述道路实景的道路虚拟图像；和
显示模块，用于呈现所述道路虚拟图像。
14.根据权利要求13所述的辅助驾驶系统，其特征在于，还包括：
强度检测模块，用于对所述车辆周围的可见光强度进行检测；和/或
纹理检测模块，用于对获取的道路实景图像中不同区域的纹理特征进行检测；和/或
曝光度检测模块，用于对获取的道路实景图像的曝光度进行检测，其中，在所述强度检测模块检测到所述可见光强度低于第一预定阈值，或者所述纹理检测模块检测到道路实景图像中不同区域的纹理特征的相似度高于第二预定阈值，或者所述曝光度检测模块检测到曝光度高于第三预定阈值的情况下，所述图像构建模块构建用于模拟至少部分道路实景的道路虚拟图像。
15.根据权利要求13所述的辅助驾驶系统，其特征在于，还包括：
地图信息获取模块，用于获取地图信息；和/或
感测模块，用于对车辆周围的路况信息进行感测。
16.根据权利要求15所述的辅助驾驶系统，其特征在于，
所述感测模块包括车载传感器和/或路侧感知设备。
17.根据权利要求15所述的辅助驾驶系统，其特征在于，还包括：
路况信息识别模块，用于基于所述地图信息和/或所述感测模块的感测数据确定所述车辆周围至少部分路况信息，
所述图像构建模块用于基于所述至少部分路况信息构建道路虚拟图像。
18.根据权利要求13所述的辅助驾驶系统，其特征在于，
所述显示模块用于关联地呈现所述道路虚拟图像和至少部分道路实景图像，其中，所述道路虚拟图像和所述至少部分道路实景图像对应不同部分的道路实景。
19.根据权利要求13所述的辅助驾驶系统，其特征在于，还包括：
引导标识生成模块，用于生成用于引导驾驶行为的引导标识，
所述图像构建模块还用于将所述引导标识渲染到所述道路虚拟图像中。
20.根据权利要求13所述的辅助驾驶系统，其特征在于，还包括：
图像采集模块，用于对车辆周围成像，以得到道路实景图像；
图像识别模块，用于对所述道路实景图像进行分析，以识别所述车辆周围的路况信息；
定位模块，用于确定所述车辆所处的位置信息和/或车道信息；以及
引导信息生成模块，用于基于导航信息、所述路况信息、所述位置信息和/或所述车道信息，生成用于引导驾驶行为的引导信息。
21.一种辅助驾驶系统，其特征在于，包括：
地图信息获取模块和/或感测模块，所述地图信息获取模块用于获取地图信息，所述感测模块用于对车辆周围的路况信息进行感测；
路况信息识别模块，用于基于所述地图信息和/或所述感测模块的感测数据确定所述车辆周围至少部分路况信息；
图像构建模块，用于基于所述至少部分路况信息构建用于模拟至少部分所述道路实景的道路虚拟图像；以及
显示模块，用于呈现所述道路虚拟图像。
22.根据权利要求21所述的辅助驾驶系统，其特征在于，
所述感测模块包括车载传感器和/或路侧感知设备。
23.一种计算设备，包括：
处理器；以及
存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如权利要求1至12中任何一项所述的方法。
24.一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至12中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910059555.6A CN111460865B (zh) | 2019-01-22 | 2019-01-22 | 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910059555.6A CN111460865B (zh) | 2019-01-22 | 2019-01-22 | 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111460865A true CN111460865A (zh) | 2020-07-28 |
| CN111460865B CN111460865B (zh) | 2024-03-05 |
Family
ID=71683046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910059555.6A Active CN111460865B (zh) | 2019-01-22 | 2019-01-22 | 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111460865B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113989775A (zh) * | 2021-10-28 | 2022-01-28 | 江苏濠汉信息技术有限公司 | 一种视觉引导的辅助驾驶系统 |
| CN114053730A (zh) * | 2021-10-25 | 2022-02-18 | 浙江小族智能科技有限公司 | 游乐车及其行驶控制方法、装置、存储介质、终端 |
| WO2022040944A1 (zh) * | 2020-08-25 | 2022-03-03 | 华为技术有限公司 | 一种动态信息的获取方法及其相关设备 |
| CN114155731A (zh) * | 2021-12-27 | 2022-03-08 | 阿波罗智联(北京)科技有限公司 | 自动驾驶车辆的数据处理方法、装置和自动驾驶车辆 |
| CN114333314A (zh) * | 2021-12-29 | 2022-04-12 | 阿波罗智联(北京)科技有限公司 | 车路协同信息处理方法和装置、系统 |
| CN114399924A (zh) * | 2022-02-15 | 2022-04-26 | 青岛海信网络科技股份有限公司 | 一种车辆、边缘计算设备、服务器及信息传输方法 |
| WO2022105381A1 (zh) * | 2020-11-18 | 2022-05-27 | 华为技术有限公司 | 一种曝光参数调节方法及装置 |
| CN114913687A (zh) * | 2022-05-11 | 2022-08-16 | 智道网联科技(北京)有限公司 | 基于车-路-云的车辆内感知共享的方法、设备及系统 |
| CN115077922A (zh) * | 2021-03-15 | 2022-09-20 | 北汽福田汽车股份有限公司 | 车辆驾驶辅助系统的标定方法、装置、介质及设备 |
| WO2022218140A1 (zh) * | 2021-04-16 | 2022-10-20 | 长城汽车股份有限公司 | 驾驶辅助方法、存储介质以及车辆 |
Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5414439A (en) * | 1994-06-09 | 1995-05-09 | Delco Electronics Corporation | Head up display with night vision enhancement |
| US5963148A (en) * | 1995-03-23 | 1999-10-05 | Honda Giken Kogyo Kabushiki Kaisha | Road situation perceiving system |
| CN1589456A (zh) * | 2001-11-19 | 2005-03-02 | 皇家飞利浦电子股份有限公司 | 利用图像增强提高汽车安全性的方法和系统 |
| JP2007288657A (ja) * | 2006-04-19 | 2007-11-01 | Toyota Motor Corp | 車両用表示装置、車両用表示装置の表示方法 |
| CN101135570A (zh) * | 2006-09-01 | 2008-03-05 | 哈曼贝克自动系统股份有限公司 | 在车辆中操作夜视系统的方法及对应的夜视系统 |
| CN101910792A (zh) * | 2007-12-28 | 2010-12-08 | 三菱电机株式会社 | 导航装置 |
| CN102883925A (zh) * | 2010-03-04 | 2013-01-16 | 法雷奥开关和传感器有限责任公司 | 在风挡玻璃上的雾和雨滴的检测方法以及驾驶辅助装置 |
| CN103077501A (zh) * | 2012-12-30 | 2013-05-01 | 信帧电子技术（北京）有限公司 | 道路目标的标记方法及装置 |
| CN104359487A (zh) * | 2014-11-13 | 2015-02-18 | 沈阳美行科技有限公司 | 一种实景导航系统 |
| CN104627078A (zh) * | 2015-02-04 | 2015-05-20 | 刘波 | 基于柔性透明oled的汽车驾驶虚拟系统及其控制方法 |
| CN104697545A (zh) * | 2013-12-04 | 2015-06-10 | 大陆汽车投资（上海）有限公司 | 导航提示信息的处理方法和装置 |
| CN105300401A (zh) * | 2014-06-17 | 2016-02-03 | 星克跃尔株式会社 | 电子装置及其控制方法 |
| CN105526946A (zh) * | 2015-12-07 | 2016-04-27 | 清华大学苏州汽车研究院（吴江） | 一种将道路实景与驾驶引导融合显示的车辆导航系统 |
| CN106403963A (zh) * | 2016-08-19 | 2017-02-15 | 东风汽车公司 | 一种实现车载实景导航的夜视系统 |
| CN107554425A (zh) * | 2017-08-23 | 2018-01-09 | 江苏泽景汽车电子股份有限公司 | 一种增强现实车载平视显示器ar‑hud |
| CN107784864A (zh) * | 2016-08-26 | 2018-03-09 | 奥迪股份公司 | 车辆辅助驾驶方法及系统 |
| WO2018100377A1 (en) * | 2016-11-30 | 2018-06-07 | Cambridge Enterprise Limited | Multi-dimensional display |
-
2019
- 2019-01-22 CN CN201910059555.6A patent/CN111460865B/zh active Active
Patent Citations (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5414439A (en) * | 1994-06-09 | 1995-05-09 | Delco Electronics Corporation | Head up display with night vision enhancement |
| US5963148A (en) * | 1995-03-23 | 1999-10-05 | Honda Giken Kogyo Kabushiki Kaisha | Road situation perceiving system |
| CN1589456A (zh) * | 2001-11-19 | 2005-03-02 | 皇家飞利浦电子股份有限公司 | 利用图像增强提高汽车安全性的方法和系统 |
| JP2007288657A (ja) * | 2006-04-19 | 2007-11-01 | Toyota Motor Corp | 車両用表示装置、車両用表示装置の表示方法 |
| CN101135570A (zh) * | 2006-09-01 | 2008-03-05 | 哈曼贝克自动系统股份有限公司 | 在车辆中操作夜视系统的方法及对应的夜视系统 |
| CN101910792A (zh) * | 2007-12-28 | 2010-12-08 | 三菱电机株式会社 | 导航装置 |
| CN102883925A (zh) * | 2010-03-04 | 2013-01-16 | 法雷奥开关和传感器有限责任公司 | 在风挡玻璃上的雾和雨滴的检测方法以及驾驶辅助装置 |
| CN103077501A (zh) * | 2012-12-30 | 2013-05-01 | 信帧电子技术（北京）有限公司 | 道路目标的标记方法及装置 |
| CN104697545A (zh) * | 2013-12-04 | 2015-06-10 | 大陆汽车投资（上海）有限公司 | 导航提示信息的处理方法和装置 |
| CN105300401A (zh) * | 2014-06-17 | 2016-02-03 | 星克跃尔株式会社 | 电子装置及其控制方法 |
| CN104359487A (zh) * | 2014-11-13 | 2015-02-18 | 沈阳美行科技有限公司 | 一种实景导航系统 |
| CN104627078A (zh) * | 2015-02-04 | 2015-05-20 | 刘波 | 基于柔性透明oled的汽车驾驶虚拟系统及其控制方法 |
| CN105526946A (zh) * | 2015-12-07 | 2016-04-27 | 清华大学苏州汽车研究院（吴江） | 一种将道路实景与驾驶引导融合显示的车辆导航系统 |
| CN106403963A (zh) * | 2016-08-19 | 2017-02-15 | 东风汽车公司 | 一种实现车载实景导航的夜视系统 |
| CN107784864A (zh) * | 2016-08-26 | 2018-03-09 | 奥迪股份公司 | 车辆辅助驾驶方法及系统 |
| WO2018100377A1 (en) * | 2016-11-30 | 2018-06-07 | Cambridge Enterprise Limited | Multi-dimensional display |
| CN107554425A (zh) * | 2017-08-23 | 2018-01-09 | 江苏泽景汽车电子股份有限公司 | 一种增强现实车载平视显示器ar‑hud |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022040944A1 (zh) * | 2020-08-25 | 2022-03-03 | 华为技术有限公司 | 一种动态信息的获取方法及其相关设备 |
| WO2022105381A1 (zh) * | 2020-11-18 | 2022-05-27 | 华为技术有限公司 | 一种曝光参数调节方法及装置 |
| CN115077922A (zh) * | 2021-03-15 | 2022-09-20 | 北汽福田汽车股份有限公司 | 车辆驾驶辅助系统的标定方法、装置、介质及设备 |
| CN115077922B (zh) * | 2021-03-15 | 2024-02-02 | 北汽福田汽车股份有限公司 | 车辆驾驶辅助系统的标定方法、装置、介质及设备 |
| WO2022218140A1 (zh) * | 2021-04-16 | 2022-10-20 | 长城汽车股份有限公司 | 驾驶辅助方法、存储介质以及车辆 |
| CN114053730A (zh) * | 2021-10-25 | 2022-02-18 | 浙江小族智能科技有限公司 | 游乐车及其行驶控制方法、装置、存储介质、终端 |
| CN114053730B (zh) * | 2021-10-25 | 2023-08-18 | 浙江小族智能科技有限公司 | 游乐车及其行驶控制方法、装置、存储介质、终端 |
| CN113989775B (zh) * | 2021-10-28 | 2022-08-05 | 江苏濠汉信息技术有限公司 | 一种视觉引导的辅助驾驶系统 |
| CN113989775A (zh) * | 2021-10-28 | 2022-01-28 | 江苏濠汉信息技术有限公司 | 一种视觉引导的辅助驾驶系统 |
| CN114155731A (zh) * | 2021-12-27 | 2022-03-08 | 阿波罗智联(北京)科技有限公司 | 自动驾驶车辆的数据处理方法、装置和自动驾驶车辆 |
| CN114333314A (zh) * | 2021-12-29 | 2022-04-12 | 阿波罗智联(北京)科技有限公司 | 车路协同信息处理方法和装置、系统 |
| CN114399924A (zh) * | 2022-02-15 | 2022-04-26 | 青岛海信网络科技股份有限公司 | 一种车辆、边缘计算设备、服务器及信息传输方法 |
| CN114913687A (zh) * | 2022-05-11 | 2022-08-16 | 智道网联科技(北京)有限公司 | 基于车-路-云的车辆内感知共享的方法、设备及系统 |
| CN114913687B (zh) * | 2022-05-11 | 2023-11-10 | 智道网联科技(北京)有限公司 | 基于车-路-云的车辆内感知共享的方法、设备及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111460865B (zh) | 2024-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111460865B (zh) | 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质 | |
| US11632536B2 (en) | Method and apparatus for generating three-dimensional (3D) road model | |
| KR102504579B1 (ko) | 차량 혼합 현실의 조건부 가용성 | |
| US10600250B2 (en) | Display system, information presentation system, method for controlling display system, computer-readable recording medium, and mobile body | |
| KR102695518B1 (ko) | 차량 경로 가이드 방법 및 장치 | |
| JP7052786B2 (ja) | 表示制御装置および表示制御プログラム | |
| JP4696248B2 (ja) | 移動体ナビゲート情報表示方法および移動体ナビゲート情報表示装置 | |
| CN110926487A (zh) | 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质 | |
| US20140285523A1 (en) | Method for Integrating Virtual Object into Vehicle Displays | |
| CN108896994A (zh) | 一种无人驾驶车辆定位方法及设备 | |
| CN110920604A (zh) | 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质 | |
| WO2020264222A1 (en) | Image-based keypoint generation | |
| JP2009199572A (ja) | 三次元機械地図、三次元機械地図生成装置、ナビゲーション装置及び自動運転装置 | |
| WO2023123837A1 (zh) | 地图的生成方法、装置、电子设备及存储介质 | |
| CN109492566A (zh) | 车道位置信息获取方法、装置及存储介质 | |
| CN114764782A (zh) | 多视图汽车和机器人系统中的图像合成 | |
| CN111316324A (zh) | 一种自动驾驶模拟系统、方法、设备及存储介质 | |
| CN117437512A (zh) | 一种目标检测方法、装置、设备及可读存储介质 | |
| CN111125270B (zh) | 地图构建和加载的方法及装置 | |
| CN114694116A (zh) | 一种道路边界检测方法、装置、电子设备和存储介质 | |
| Rana et al. | The perception systems used in fully automated vehicles: a comparative analysis | |
| CN111457936A (zh) | 辅助驾驶方法、辅助驾驶系统、计算设备及存储介质 | |
| US20220299627A1 (en) | Apparatus and Method for Collecting and Auto-Labelling Measurement Data in Traffic Scenario | |
| CN115991207A (zh) | 驾驶应用中真标志和图像标志检测的识别 | |
| US20230154127A1 (en) | 2-d image reconstruction in a 3-d simulation |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20201123 Address after: Room 603, 6 / F, Roche Plaza, 788 Cheung Sha Wan Road, Kowloon, China Applicant after: Zebra smart travel network (Hong Kong) Ltd. Address before: A four-storey 847 mailbox in Grand Cayman Capital Building, British Cayman Islands Applicant before: Alibaba Group Holding Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |