CN108062864A - 一种用于车辆的交通场景可视化系统和方法及车辆 - Google Patents

Abstract

本发明公开了一种用于车辆的交通场景可视化系统和方法以及装备有该系统的车辆，其中，可视化系统包括：数据获取组件，被配置为获取车辆行驶信息，其中，车辆行驶信息包括车辆的位置数据、车辆的自身驾驶数据以及针对车辆周围环境的外部数据；存储单元，被配置为存储地图数据；处理单元，被配置为：根据位置数据从存储单元取回地图信息；以及将所取回的地图信息与车辆行驶信息融合，以生成交通场景的可视化表示。通过该方案，可以生成对交通场景准确、全面并且直观的可视化表示。

Description

一种用于车辆的交通场景可视化系统和方法及车辆

技术领域

本公开涉及控制技术，并且更具体地，涉及用于一种用于车辆的交通场景可视化系统和方法及装备有该系统的车辆。

背景技术

现今，在车辆上，越来越多的传感器变得可用。这些传感器可以用于采集诸如加速度、转向角度等的车辆驾驶数据，以及采集关于外部对象(例如障碍物等)的环境数据。这样的驾驶数据和/或环境数据可以用于驾驶辅助系统中，以有助于驾驶者的驾驶操作。

此外，借助于这些传感器和其他的电子设备(例如，存储器、控制器等)，车辆能够在行驶过程中记录上述的车辆驾驶数据和环境数据。环境数据的一个示例是由摄像机采集的图像或视频数据。这些数据可以存储在车辆上的存储装置中，以便用于在交通事故后进行参考、供初学的驾驶者回顾、或在社交网络上分享驾驶旅程。

然而，为了全面反映交通场景，可能需要对多个视频进行融合(例如，通过计算机视觉技术)。这对车载电子系统而言，可能是困难的。并且，视频还会占用较大的数据存储空间。

发明内容

为了克服现有技术中的缺陷中的一个或多个，本公开公开了一种用于车辆的交通场景可视化系统及方法，其可以更准确、全面地呈现车辆的交通场景。

在本公开的一些实施例中，提供了一种用于车辆的交通场景可视化系统，包括：数据获取组件，被配置为获取车辆行驶信息，其中，车辆行驶信息包括车辆的位置数据、车辆的自身驾驶数据以及针对所述车辆周围环境的外部数据；存储单元，被配置为存储地图数据；处理单元，被配置为：根据位置数据从存储单元取回地图信息；以及将所取回的地图信息与车辆行驶信息融合，以生成交通场景的可视化表示。

可选地，数据获取组件包括：位置单元，被配置为对车辆的位置进行定位并且生成被利用时间标记的位置数据；网络单元，被配置为收集自身驾驶数据；以及，一个或多个传感器，被配置为收集外部数据。

可选地，一个或多个传感器包括：图像传感器，被配置为收集车辆的外部环境的实时图形或视频信息；以及距离检测器，被配置为检测具有时间标记的交通对象的位置、形状和速度。

可选地，自身驾驶数据选自包括以下各项的集合中的一项或多项：车辆的轨迹和速度历史、车辆的速度、车辆的转向角度或车轮角度、加速或减速信息、以及车灯信息。

可选地，外部数据选自以下中的一个或多个：车辆外部的交通对象的类别、交通对象的位置、交通对象的形状、交通对象的偏航角、以及交通对象的速度。

可选地，处理单元进一步被配置为通过以下方式来生成可视化表示：基于地图信息来生成场景背景；基于驾驶数据来生成当前车辆及其驾驶路线；基于外部数据来生成交通对象；以及将与同一时间实例相对应的场景背景、驾驶路线、以及交通对象融合，以生成可视化表示。

可选地，交通场景的可视化表示包括反映一个特定时刻的交通场景的静态图像、示出一个特定时间段的交通场景的连续视频或省略非必要部分的离散视频。

可选地，处理单元进一步被配置为：响应于驾驶辅助系统(DAS)警告，触发存储单元以记录由数据获取组件获取的针对特定时刻或从触发时刻开始的时间段的车辆行驶信息。

可选地，DAS警告选自包括以下警告的集合中的一个或多个警告：超速警告、碰撞警告、车道偏离警告、盲区警告或闯红灯警告。

可选地，系统还包括：发送单元，被配置为经由有线或无线连接将交通场景的可视化表示发送到显示设备。

可选地，处理单元还被配置为当检测到可能的碰撞时，对至少一个对象进行突出显示。

在本公开的一些实施例中，提供了一种车辆，装备有上述的交通场景可视化系统。

在本公开的一些实施例中，提供了一种用于生成交通场景的可视化表示的方法，包括：获取车辆行驶信息，其中，车辆行驶信息包括车辆额位置数据、车辆的自身驾驶数据以及针对车辆周围环境的外部数据；根据车辆位置数据从存储单元中取回地图信息；以及，将所取回的地图信息与车辆行驶信息融合，以生成交通场景的可视化表示。

可选地，在获取车辆行驶信息之前，方法还包括：响应于驾驶辅助系统(DAS)警报，触发对车辆行驶信息的记录。

根据本公开的一些实施例，将包括车辆的自身驾驶数据和针对所述车辆周围环境的外部数据的车辆行驶信息与和车辆当前位置有关的地图信息相融合，来生成交通场景的可视化表示。通过该方案，可以生成对交通场景准确、全面并且直观的可视化表示。

附图说明

为了清楚地示出本公开的实施例中的技术方案，下面给出在对实施例的描述中所需要的附图的简要介绍。显而易见地，下文描述的附图是本公开的一些实施例，基于这些附图，本领域普通技术人员可以获得其他的附图，而不需要任何创造性的劳动。

图1示出了根据本公开的一个实施例的用于车辆的交通场景可视化系统；

图2示出了根据本公开实施例的交通场景的可视化表示的示意图；

图3示出了根据本公开的一个实施例的用于生成交通场景的可视化表示的方法的流程图。

具体实施方式

将在下文参照附图和实施例给出本公开的具体实施方式。本文描述的特定实施例仅用于解释本公开，并且决不是旨在限制本公开或其应用或使用。应该理解，为了便于描述，附图仅示出了本公开的相关部分。

在行驶过程中，可能期望对某一时刻或时间段内的车辆活动以及周围环境进行记录，并且生成相对应的可视化表示。这种可视化表示可以用作对驾驶者的实时的操作指导，或者用于在将来重现某一交通场景。例如，在发生交通事故时，重现事故发生时刻的交通场景可能有助于追责。

这种可视化表示基于车辆行驶过程中采集的数据。随着车辆上的越来越多的传感器变得可用，能够被收集的数据也越来越多样。例如，这样的数据可以包括由图像传感器采集的车辆周围环境的图像、由加速度传感器检测的车辆加速度、以及由雷达传感器采集的到障碍物的距离等。期望的是，能够利用这些数据直观并且全面地表示某一时刻或时间段的交通场景。

现有的交通场景可视化方式中，一般通过安装在车辆上的诸如照相机等的图像传感器来捕获某一时刻或时间段内的图像，然后从该图像中识别出环境中的诸如其他车辆、障碍物等外部对象。通过对这些外部对象的相关数据进行抽象，来生成交通场景的可视化表示。然而，照相机或摄像头可能具有有限的拍摄角度，并且可能受到车辆周围其他对象(例如，其他车辆)的遮挡。因此，要获得车辆的完整的交通场景，可能需要使用多个摄像头，并且需要利用视频融合技术对多个摄像头捕获的图像进行融合，对车载系统而言，这可能是困难的。

此外，通过这样的视频融合提供的信息可能是有限的，难以完整、直观地反映出交通场景。例如，驾驶者难以从这样的视频中确切得知外部对象的位置、距离、尺寸、速度、加速度、行驶意图等。

此外，视频融合提供的可视化表示中，可能存在很多非必要的信息，驾驶者难以从中提取有用的信息。

本公开提供了一种用于交通场景可视化的方案，基于对包括自身驾驶数据、针对所述车辆周围环境的外部数据在内的行驶信息，以及与车辆位置相对应的地图信息的抽象，来得到交通场景的直观的可视化表示。

图1示出了根据本公开的一个实施例的用于车辆的交通场景可视化系统。如图1所示，系统100包括数据获取组件11、存储单元12、以及处理单元13。在一个示例中，数据获取组件11、存储单元12、处理单元13经由车载网络14耦合在一起。车载网络14的示例可以包括CAN(控制器局域网)、Flexray等。

数据获取组件11可以被配置为获取车辆的行驶信息。

在本公开的实施例中，行驶信息可以包括车辆的位置数据、车辆的自身驾驶数据、以及反映车辆周围环境的外部数据。

相应地，数据获取组件11可以包括用于获取车辆的位置数据的位置单元，例如车载GPS设备；以及用于收集外部数据的一个或多个传感器。用于收集外部数据的传感器例如可包括雷达传感器、超声波传感器等。

数据获取组件11还可以包括用于获取车辆自身的各种驾驶数据的传感器，例如加速度传感器、速度传感器、和/或安装在转向杆上的转向角度传感器等。

存储单元12可以是诸如随机存取存储器(RAM)、静态RAM(SRAM)、动态RAM(DRAM)等的易失性存储器，或者是诸如只读存储器(ROM)、闪速存储器、磁、光电存储装置等的非易失性存储器，或两者的某种组合。存储单元12可以用于存储能够由处理单元13执行的程序指令。

存储单元12还可以存储能够由处理单元13执行的软件组件121，软件组件121例如是地图应用、导航应用、地理信息系统(GIS)应用等。在本公开的实施例中，这些应用可以用于提供地图数据。

此外，存储单元12还可以用于存储数据库122。数据库122中可以包括针对车辆本身以及其他对象(例如其他车辆、障碍物、行人)的诸如图片、动画、图标等图形化元素。如下文中所描述的，这些图形化元素可以被处理单元13用来绘制交通场景的可视化表示。

处理单元13可以是诸如中央处理单元(CPU)、微控制单元(MCU)、数字信号处理器(DSP)等的通用处理器，其被配置为通过执行存储在存储单元12中的程序指令来实现本文所描述的功能的部分或全部。此外或可替代地，处理单元13还可以包括可编程的硬件元件，例如专用集成电路(ASIC)、现场可编程门阵列(FPGA)等。

在本公开的实施例中，处理单元13可被配置为利用上述的地图数据和车辆行驶信息来生成交通场景的可视化表示。

图2示出了根据本公开实施例的交通场景的可视化表示的示意图。

如图2所示，该可视化表示可以使用与车辆的当前位置相对应的地图信息来生成背景。例如，处理单元13可以通过使用诸如GPS设备等的位置单元对车辆进行定位来获取车辆的当前位置，随后从地图或导航应用中查找并且取回与该当前位置相对应的地图信息。在一个实施例中，利用时间对该位置进行标记。

出于说明的目的，如图2所示的，假设车辆的当前位置在城市的某个道路中，这种情况下，地图信息可以提供该位置的道路形状、交通灯位置和状态、车道的分布、尺寸、形状、和类型、各种交通指示标志(例如转向、直行、斑马线、限速等标志)、以及可以从地图获取的有助于驾驶的任何其他信息。处理单元13可以通过对这样的地图信息进行可视化表示来生成图2中所示的交通场景的背景。

作为示例，在图2中，根据从地图数据(例如，地图或导航应用的数据)中取回的车道、斑马线、以及交通指示信息进行绘制，得到可视化表示的交通场景的背景。背景可以包括从存储单元12中的数据库122中取回的图形化元素(例如，图2中所示的斑马线、转向标志、车道的图形化表示)。此外，背景还可以包括文字，例如图2中的“可变车道”。

除了上述的交通场景的背景，交通场景的可视化表示中还可以包括对当前车辆的自身驾驶数据的可视化表示。当前车辆的驾驶数据例如可以包括车辆的速度、转向角度或车轮角度、加速或减速信息、以及车灯信息。

处理单元13可以从经由CAN耦合的速度传感器、加速度传感器、转向角度传感器中获取这些驾驶数据。驾驶数据的可视化表示可以包括对车辆本身的图形化表示以及基于车辆的速度、加速度、转向等信息而生成的驾驶路线。

作为示例，图2中包括表示当前车辆的图标21以及绘制的车辆的右转的驾驶路线22。车辆的速度、加速度等信息可以以文字或矢量的形式表示。此外，车辆的自身驾驶数据还可以包括车辆本身的型号、尺寸等，这些也可以由处理单元13可视化地表示。

除了场景背景和驾驶数据，交通场景的可视化表示中还可以包括对外部数据的可视化表示。外部数据的示例可以包括与交通对象有关的数据。在本文中，交通对象指的是当前车辆周围的可能影响当前车辆行驶的物体。在一个示例中，交通对象是在同一道路上行驶的其他车辆。与车辆的自身驾驶数据类似，上述的外部数据可以包括具有时间标记的其他车辆的位置、速度、加速度、偏航角等信息。外部数据还可以包括其他车辆的形状、尺寸、类别等。在另一个示例中，交通对象还可以是道路上的行人，例如步行或骑行的行人。

在一些实施例中，处理单元13可以经由雷达传感器、超声波传感器等来确定其他车辆的位置、形状、速度、加速度、偏航角和类别。在本文中，获取其他车辆位置、形状和速度等信息的传感器可以被统称为“距离检测器”。

在一些实施例中，外部数据还可以包括系统100通过诸如照相机等的图像传感器而收集的外部环境的实时图像或视频。

处理单元13将上述的图像、视频以及由传感器捕获的外部交通对象的类别、位置、形状、偏航角、速度等的信息融合，生成外部对象的可视化表示。例如，当处理单元13确定检测到其他车辆的类型时，可以从数据库122中获取针对该类型车辆的图片，来与背景融合，并且基于车辆的加速度、相对位置、转向角等绘制相应的动画。

在图2中，示出了示例性的外部数据的可视化表示，所述表示包括针对在当前车辆右侧行驶的另一个车辆的图形化元素23(例如，图标)。可视化表示中的车辆之间的距离取决于实际车辆之间的距离。该可视化表示还可以包括针对其他车辆的速度矢量24，该速度矢量24可以指示所述另一车辆的行驶方向(例如，车辆向前行驶)和速度大小(例如，与矢量的长度成比例)。

在生成了针对背景、车辆本身的驾驶数据、以及外部数据的各种可视化表示后，处理单元13可以进一步将与同一时间实例相对应的场景背景、驾驶路线、以及交通对象融合，生成如图2所示的交通场景的可视化表示。

在图2中，交通场景的可视化表示是示出了反映特定时刻的交通场景的静态图像。应该理解的是，本公开在此方面不受限制，交通场景的可视化表示还可以是示出一个特定时间段内的交通场景的连续视频或省略某些部分的离散视频，所述某些部分可以是非必要和无用的部分。

系统100生成交通场景的可视化表示的操作可以由驾驶者手动激活或者由特定的事件自动地激活。在一些实施例中，处理单元13被配置为响应于车辆的驾驶辅助系统(DAS)警告，触发存储单元12以记录由数据获取组件11获取的针对特定时刻或从触发时刻开始的时间段的车辆行驶信息。

驾驶辅助系统(DAS)警告的一个示例是盲区警告。例如，继续参照图2中的示例性场景，其中，由图标21表示的车辆将要右转。同时，由图形元素23表示的另一个交通对象(例如，自行车)在该车辆的盲区内，这使得车辆的驾驶者可能不会发现该交通对象，并且危险可能由此发生。在本公开的实施例中，可以响应于检测到的盲区内的其他交通对象，向驾驶者发出盲区警告，系统100中的一个或多个部件(例如存储单元12)可以基于这样的警告被激活，以执行本公开的操作中的一些或全部。或者，当车辆在盲区警告已经被发出后，继续进行右转行为，并由此持续地(例如持续一段时间或者距离)造成盲区警告时，系统100中的部件被激活。

此外或可替代地，驾驶辅助系统(DAS)警告还可以选自包括以下警告的集合中的一个或多个警告：超速警告、碰撞警告、车道偏离警告、盲区警告或闯红灯警告。

应该理解的是，上文中的各种警告仅被提供用于例示而非进行限制。系统100的操作可以响应于任何信号和事件被触发，例如，响应于导航设备的信号被触发。

在一些实施例中，处理单元13还被配置为当检测到可能的碰撞时，对至少一个对象进行突出显示。所述至少一个对象可以包括当前车辆、其他车辆、障碍物、基础设施等中的一个或多个。所述突出显示可以包括对一个或多个对象进行上色、高亮、闪烁等。例如，在上述的盲区警告中，可以在交通场景内对车辆21右侧的自行车23进行上色。

在进一步的实施例中，系统100还可以包括发送单元15，其被配置为经由有线或无线连接将处理单元13生成的交通场景的可视化表示发送到显示设备。

有线或无线连接的示例可以包括但不限于：蜂窝、Wi-Fi、红外、和蓝牙。显示设备例如可以是车辆驾驶者的智能电话、平板设备、笔记本计算机、以及具有通信和显示能力的任何其他用户设备。

根据本公开的一些实施例，将包括车辆的自身驾驶数据和针对车辆周围环境的外部数据在内的车辆行驶信息与和车辆当前位置有关的地图信息相融合，来生成交通场景的可视化表示。通过该方案，可以生成对交通场景准确、全面并且直观的可视化表示。

在本公开的另一个方面中，提供了一种车辆，包括上述的交通场景可视化系统100。

图3示出了根据本公开的一个实施例的交通场景可视化生成方法的流程图。该方法300可以在如图1所示的系统100中执行。如图3所示，方法300包括如下步骤：

在步骤301中，获取车辆行驶信息。

车辆行驶信息可以包括车辆的位置数据、车辆的自身驾驶数据、以及针对车辆周围环境的外部数据。

在一些实施例中，自身驾驶数据选自包括以下各项的集合中的一项或多项：车辆的轨迹和速度历史、车辆的速度、车辆的转向角度或车轮角度、加速或减速信息、以及车灯信息。车辆的外部数据选自以下中的一个或多个：车辆外部的交通对象的类别、交通对象的位置、交通对象的形状、交通对象的偏航角、以及交通对象的速度。

在一些实施例中，上述的驾驶数据和外部数据中的一个或多个可以具有时间标记。

在步骤302中，根据位置数据从存储单元中取回地图信息。

地图信息例如来自地图应用、导航应用、GIS应用中的一个或多个。

在步骤303中，将所取回的地图信息与车辆行驶信息融合，以生成交通场景的可视化表示。

交通场景的可视化可以包括反映一个特定时刻的交通场景的静态图像、示出一个特定时间段的交通场景的连续视频或省略某些部分的离散视频，所述某些部分可以是非必要和无用的部分。

在本实施例的一种可选实施方式中，在步骤301之前，方法300还可包括：响应于车辆的驾驶辅助系统(DAS)警报，触发对车辆行驶信息的记录。

在本实施例的一种可选实施方式中，在步骤303之后，方法300还可包括：经由有线或无线连接将交通场景的可视化表示发送到显示设备。有线或无线连接的示例可以包括但不限于：蜂窝、Wi-Fi、红外、和蓝牙。显示设备例如可以是智能电话、平板设备、笔记本计算机、以及具有通信和显示能力的任何其他用户设备。

本领域技术人员可以理解，本文公开的设备中的单元可以分布在实施例的设备中，并且还可以变化地位于与实施例中的那些设备不同的一个或多个设备中。上文实施例的单元可以被集成到一个单元中或者可以被进一步划分到多个子单元中。

尽管已经结合被考虑为最实际和优选的实施例描述了本公开，但本领域技术人员应该理解的是，这样的限制不限于所公开的实施例，而是旨在覆盖所包括的各种布置，而不偏离最广泛的理解范围，以便于涵盖所有这样的修改和等效布置。

Claims (14)

1.一种用于车辆的交通场景可视化系统，包括：

数据获取组件，被配置为获取车辆行驶信息，其中，所述车辆行驶信息包括所述车辆的位置数据、所述车辆的自身驾驶数据以及针对所述车辆周围环境的外部数据；

存储单元，被配置为存储地图数据；

处理单元，被配置为：

根据所述位置数据从所述存储单元取回地图信息；以及

将所取回的地图信息与所述车辆行驶信息融合，以生成交通场景的可视化表示。

2.根据权利要求1所述的系统，其中，所述数据获取组件包括：

位置单元，被配置为对所述车辆的位置进行定位并且生成利用时间标记的所述位置数据；

网络单元，被配置为收集所述自身驾驶数据；以及

一个或多个传感器，被配置为收集所述外部数据。

3.根据权利要求2所述的系统，其中，所述一个或多个传感器包括：

图像传感器，被配置为收集所述车辆的外部环境的实时图形或视频信息；以及

距离检测器，被配置为检测具有时间标记的交通对象的位置、形状和速度。

4.根据权利要求1所述的系统，其中，所述自身驾驶数据选自包括以下各项的集合中的一项或多项：所述车辆的轨迹和速度历史、所述车辆的速度、所述车辆的转向角度或车轮角度、加速或减速信息、以及车灯信息。

5.根据权利要求1所述的系统，其中，所述外部数据选自以下中的一个或多个：所述车辆外部的交通对象的类别、所述交通对象的位置、所述交通对象的形状、所述交通对象的偏航角、以及所述交通对象的速度。

6.根据权利要求1所述的系统，其中，所述处理单元进一步被配置为通过以下方式来生成所述可视化表示：

基于所述地图信息来生成场景背景；

基于所述驾驶数据来生成当前车辆及其驾驶路线；

基于所述外部数据来生成交通对象；以及

将与同一时间实例相对应的所述场景背景、所述驾驶路线、以及所述交通对象融合，以生成所述可视化表示。

7.根据权利要求1所述的系统，其中，所述交通场景的所述可视化表示包括反映一个特定时刻的交通场景的静态图像、示出一个特定时间段的交通场景的连续视频或省略非必要部分的离散视频。

8.根据权利要求1所述的系统，其中，所述处理单元进一步被配置为：

响应于驾驶辅助系统(DAS)警告，触发所述存储单元以记录由所述数据获取组件获取的针对特定时刻或从触发时刻开始的时间段的所述车辆行驶信息。

9.根据权利要求8所述的系统，其中，所述DAS警告选自包括以下警告的集合中的一个或多个警告：超速警告、碰撞警告、车道偏离警告、盲区警告或闯红灯警告。

10.根据权利要求1至9中任一项所述的系统，其中，所述系统还包括：

发送单元，被配置为经由有线或无线连接将所述交通场景的所述可视化表示发送到显示设备。

11.根据权利要求8或9所述的系统，其中，所述处理单元还被配置为当检测到可能的碰撞时，对至少一个对象进行突出显示。

12.一种车辆，装备有权利要求1-11中任一项所述的系统。

13.一种用于生成交通场景的可视化表示的方法，包括：

获取车辆行驶信息，

其中，所述车辆行驶信息包括所述车辆的位置数据、所述车辆的自身驾驶数据以及针对所述车辆周围环境的外部数据；

根据所述位置数据从存储单元中取回地图信息；以及

将所取回的地图信息与所述车辆行驶信息融合，以生成交通场景的可视化表示。

14.根据权利要求13所述的方法，还包括，在获取车辆行驶信息之前：

响应于驾驶辅助系统(DAS)警报，触发对所述车辆行驶信息的记录。