CN108960160B - 基于非结构化预测模型来预测结构化状态量的方法和装置 - Google Patents

Abstract

本发明涉及基于非结构化预测模型来预测结构化状态量的方法和装置。根据一示例性实施例，提供一种结构化状态量预测方法，其可包括：将结构化状态量表达成非结构化数据；利用非结构化预测模型，基于所述非结构化数据的已知值来预测其未来值；以及从所述非结构化数据的未来值提取所述结构化状态量的预测值。使用本发明的方法能够通过例如图像识别技术来预测结构化状态量，尤其适合在复杂场景下的预测任务。

Description

基于非结构化预测模型来预测结构化状态量的方法和装置

技术领域

本发明总体上涉及辅助驾驶领域，更特别地，涉及一种基于非结构化预测模型来预测结构化状态量的方法和装置，以及相关电子设备、车辆和计算机可读介质。

背景技术

在自动驾驶或辅助驾驶(ADAS)领域，一个重要的课题是预测驾驶环境中动态实体的相关状态量在未来一段时间中的演化，从而提前进行预警或作出相应的驾驶决策。辅助驾驶系统需要对周边对象的位置、速度、加速度等时变状态量进行动态的预测，以有效地进行决策规划等功能。目前，针对动态实体的状态量预测，最主要的预测方法都是结构化的预测方法，即直接对各个状态量的数值演化进行结构化的约束以进行预测。然而，直接对状态量进行结构化预测一般需要对实体的个数、种类、相互作用方式做出具体的假设，这限制了预测方法的灵活性。例如，常见的结构化约束包括借助车辆的运动学模型(motion model)做出匀速或匀加速的假设，以在一段相对较短的时间内约束位置、速度、加速度等状态量的变换规律。在中长期的预测中，一般还要借助于其他与预测目标量相关条件变量。例如，可以借助于驾驶行为识别模型(Maneuver recognition model)区分宏观的运动模式，或者借助离散的道路结构信息来对状态量的结构化约束进行宏观的调制，再用调制后的结构化约束进行状态量的预测。

然而，上述短期或中长期的结构化状态量预测方法，一般需要对状态量的相互约束进行人工的提炼与表示，例如通过运动学模型约束速度与加速度的关系等，并且在整个预测过程中固定使用一个或一套约束形式。当例如因为场景的变换或时间的推演而实际约束与人工给出的假设有偏差时，上述预测方法的性能就会有较大的损失。

近年来，以图像为代表的非结构化数据处理得到很大的发展。以此为基础，已有工作考虑在自动驾驶中借助非结构化数据处理算法进行相关的预测任务。例如，多传感器的感知融合结果被表达为非结构化的动态占位格点图(Dynamic Occupancy Grid)，从而利用图像预测技术直接对动态占位格点图进行预测。在这些工作中，要求多传感器的感知融合结果直接表达为非结构化数据例如图像，而没有首先表达为关注对象的结构化状态量估计，因此不方便其他模块使用。而且，预测结果也是在非结构域上的，不能得到结构化状态量。

因此，如何在复杂场景下对结构化数据进行灵活预测，仍是一个需要解决的技术问题。

发明内容

本发明的一个方面在于提供一种利用非结构化预测模型来对结构化状态量进行预测的方法，其能够用于复杂场景下的结构化数据预测，从而提升了预测的灵活性和准确性。

根据一示例性实施例，一种结构化状态量预测方法可包括：将结构化状态量表达成非结构化数据；利用非结构化预测模型，基于所述非结构化数据的已知值来预测其未来值；以及从所述非结构化数据的未来值提取所述结构化状态量的预测值。

在一些示例中，所述非结构化数据包括图像，所述非结构化预测模型包括图像预测模型。

在一些示例中，所述结构化状态量被显式表达在所述图像中，所述方法还包括从所述图像中提取包括被显式表达的所述结构化状态量的区域作为关注区域，且所述图像预测模型对所述关注区域进行预测。

在一些示例中，将结构化状态量表达成非结构化数据包括将所述结构化状态量的多个已知值表达成多帧图像，其中，所述图像预测模型基于所述多帧图像来预测未来帧图像，所述未来帧图像被用于提取所述结构化状态量的预测值。

在一些示例中，所述未来帧图像包括所述结构化状态量的预测值的几率分布。

在一些示例中，所述多帧图像和所述未来帧图像中的每帧图像包括与多个结构化状态量对应的多个图像通道。

在一些示例中，提取所述结构化状态量的预测值包括：从多个图像通道的彼此对应的区域提取多个结构化状态量的预测值。

在一些示例中，估计器被用于从所述非结构化数据的未来值提取所述结构化状态量的预测值，并且所述方法还包括用真实数据对所述非结构化预测模型和所述估计器进行训练。

在一些示例中，所述结构化状态量包括位置、速度、加速度、方位角、对象轮廓曲线、对象包围框、对象类别、对象行为属性中的一个或多个。

在一些示例中，所述结构化状态量相关联的实体包括动态实体和静态实体中的一个或多个。

在一些示例中，所述动态实体包括车辆和行人中的一个或多个，所述静态实体包括分道线、道路指示牌、建筑物、路肩、绿化带、路面障碍物中的一个或多个。

根据另一示例性实施例，一种结构化状态量预测装置可包括：表达单元，用于将结构化状态量表达成非结构化数据；预测单元，用于利用非结构化预测模型，基于所述非结构化数据的已知值来预测其未来值；以及提取单元，用于从所述非结构化数据的未来值提取所述结构化状态量的预测值。

在一些示例中，所述非结构化数据包括图像，所述非结构化预测模型包括图像预测模型，所述提取单元包括估计器，所述估计器用于从所述图像中的各个区域提取所述结构化状态量的估计值。

根据另一示例性实施例，一种电子设备可包括：处理器；以及存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行上述结构化状态量预测方法。

根据另一示例性实施例，提供一种车辆，其可包括上述电子设备。

根据另一示例性实施例，提供一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上述结构化状态量预测方法。

本发明的上述和其他特征和优点将从下面结合附图对示例性实施例的描述变得显而易见。

附图说明

图1示出根据本发明一示例性实施例的结构化状态量预测方法的流程图。

图2示出根据本发明一示例性实施例的将结构化状态量表达为非结构化数据的示意图。

图3示出对图2的非结构化数据进行预测得到的预测版本的示意图。

图4示出根据本发明一示例性实施例的从非结构化数据提取结构化状态量的示意图。

图5示出根据本发明一示例性实施例的结构化状态量预测装置的功能框图。

图6示出根据本发明一示例性实施例的电子设备的结构框图。

图7示出根据本发明一示例性实施例的配备有图6的电子设备的车辆的示意图。

具体实施方式

下面将结合附图描述本发明的示例性实施例。

图1示出根据本发明一示例性实施例的结构化状态量预测方法100的流程图。在本发明的结构化状态量预测方法100中，利用了非结构化预测模型例如图像预测模型来预测结构化数据，从而能够在例如辅助驾驶领域在复杂场景下容易地对各种结构化数据进行预测。下面以辅助驾驶场景为例，并且以图像数据作为非结构化数据为例，描述了本发明的示例性实施例。但是应理解，本发明还可以应用于许多其他场景中，并且除了图像之外，非结构化数据还可包括诸如音频、字符序列、传感器输出信号之类的其他示例。

如图1所示，方法100包括步骤S110，将结构化状态量(或者称为结构化数据)表达成非结构化数据。以辅助驾驶为例，结构化状态量可包括例如相关实体的各种状态量，这样的相关实体可以是驾驶环境中的动态实体或者静态实体。例如，动态实体可包括驾驶环境中的车辆和行人，静态实体可包括例如分道线、道路指示牌、建筑物、路肩、路边绿化带、路面障碍物等。与这些实体相关联的结构化数据可包括位置、速度、加速度、方位角、轮廓曲线、包围框、类别、行为属性值等。以车辆为例，其可具有位置、速度、加速度、方位角、轮廓曲线、包围框线等结构化状态量，其类别为例如小轿车、客车、货车等，其行为属性可包括左拐、右拐、刹车等。一般而言，这些结构化状态量可基于结构化约束例如运动学模型和驾驶行为识别模型等来预测。

图2示出了将结构化状态量表达成作为非结构化数据的例子的图像数据的示例。在图2的示例中，将多个结构化状态量表达成图像数据，因此该图像数据具有多个图像通道，或者称为图像层。参照图2，图像10具有与对象的位置、形状对应的位置形状层10a，与对象的速度对应的速度层10b，以及与对象的方位角对应的方位角层10c。在层10a中，具有像素点11a和12a，其分别与实体A和实体B对应。像素点11a和12a每个可以是例如仅一个像素点，其在层10a中的位置可分别表示实体A和实体B的位置。在另一些实施例中，像素点11a和12a每个可以是例如若干个像素点，这若干个像素点的形状可以分别与实体A和实体B的形状对应，因此像素点11a和12a还可表示实体A和实体B的形状。与实体位置对应的像素点11a和12a的取值可以为1，层10a中的其他位置可以取固定值例如0。

在速度层10b中，存在位置分别与像素点11a和12a对应的像素点11b和12b。像素点11b表示与实体A对应的速度特征点，其取值可以为实体A的速度值，例如3.0；像素点12b表示与实体B对应的速度特征点，其取值可以为实体B的速度值，例如0.1。速度层10b中的其他像素点可以取固定值例如0。

在方位角层10c中，同样存在位置分别与像素点11a和12a对应的像素点11c和12c。像素点11c表示与实体A对应的方位角特征点，其取值可以为实体A的方位角值，例如x；像素点12c表示与实体B对应的方位角特征点，其取值可以为实体B的方位角值，例如y。方位角层10c中的其他像素点同样可以取固定值例如0。

上面描述了将位置形状、速度、方位角这些结构化数据表达为非结构化图像数据的示例。可以理解，还可以将其他结构化数据表达为非结构化数据，这些结构化数据可对应于单独的图像通道或图像层。

还应理解，虽然图2仅示出了一幅或者说一帧图像，但是可以将结构化状态量的多个已知值表达为多帧图像，形成图像序列，以基于该图像序列来执行后面的图像预测任务。

返回参照图1，方法100还包括步骤S120，用非结构化预测模型对所表达的非结构化数据进行预测。这里，作为典型示例，可以使用图像预测模型来对从结构化数据表达而成的图像数据进行预测。应理解，本发明的实施例可使用任何适当的图像预测模型，包括现有的和将来开发的图像模型。例如，可以使用基于深度学习的图像预测模型。在预测之前，使用真实数据对该图像预测模型(或其他非结构化预测模型)进行了训练。

作为图像预测模型的一个示例，可以采用基于关注区域(ROI)的预测模型，因为这种模型可以充分利用由结构化数据表达而成的图像数据的内在特点，即结构化状态量可以容易地被显示表达在图像(或对应的图像层)中。例如，可以将围绕实体的包围框(例如矩形框或椭圆框)显式表达在图像中，从而在执行图像预测时，可以将该包围框(或者还包括其周围的预定区域)选定为关注区域，仅对该关注区域进行预测，或者对该关注区域执行比其他区域精度更高的预测，从而可以保证预测的效率和精度。

图3示出了对图2的非结构化数据即图像10进行预测得到的预测图像10’的示意图。在图3的预测图像10’中，示出了分别与实体A和实体B对应的预测像素11和12。图层10a中的像素点11a和12a可分别表示实体A和实体B的位置(或者以及形状)；在图层10b中，与像素点11a和12a对应的像素点11b和12b表示实体A和实体B的速度；在图层10c中，与像素点11a和12a对应的像素点11c和12c表示实体A和实体B的方位角。

在另一些实施例中，预测图像可包括预测值的几率分布。例如，在预测图像10’中，可包括多个与实体A或B对应的像素点，每个像素点表示实体A或B在不同位置的概率。可以对这样的预测概率分布进行采样、平均或取最大概率等操作以获得图3所示那样的确定预测图像，以用于后面的结构化状态量提取步骤，也可以直接将预测概率分布用于后面的结构化状态量提取步骤。

返回参照图1，接下来在步骤S130中，可以从所预测的非结构化数据，即预测图像，提取结构化状态量的预测值，或者称为未来值。可以理解，当通过步骤S120得到预测概率分布时，通过步骤S130也可以提取得到结构化状态量的预测概率分布；当通过步骤S120得到确定的预测图像时，通过步骤S130也可以提取得到结构化状态量的确定预测值。

在提取步骤S130中，可以从预测图像10’的各个图像通道(层)的彼此对应的区域提取多个结构化状态量的预测值。作为一种较简单的实现方式，非结构化预测的结果对各预测目标实体及其预测目标状态量的表达解耦性佳时，可以通过对各区域及通道进行基于规则的计算获得目标状态量的估计。例如，如果各目标实体的对应数值区域在图像中不重合并且可相互区分，而且各实体的目标预测状态量分别独立编码在不同的通道中，则可以通过各个图像通道内与实体位置区域相对应的区域内的值的平均作为状态量的估计值。在另一种较复杂的实现方式中，可以通过估计器从非结构化的预测结果中提取目标实体的目标状态量，这样的示例示于图4中。如图4所示，估计器13可以对每一图像位置输出包含实体的概率，并且输出如果是真实实体的话目标状态量的取值。例如，当估计器13的提取区域完全覆盖实体A的像素点11a时，其确定实体A在该位置处的概率很高，例如为95％，其对应的速度层10b的像素点的取值表示速度为2.95，方位角层的取值为x’。当估计器13的提取区域仅覆盖实体B的像素点12a的一小部分区域时，其确定实体B在该位置处的概率较低，例如为5％，其对应的速度层10b的像素点的取值表示速度为100，方位角层的取值为y’。估计器可以对预测图像10’的每一位置进行预测值提取，从而产生预测概率分布，或者还可以对该预测概率分布进行采样、取平均或取最大概率等操作，从而产生确定的预测值。

与预测模型类似，估计器13也可以是通过数据驱动的方式训练得到的，例如可以采用结构状态量真值以监督学习、非监督学习、强化学习等方式来进行训练。

图5示出根据本发明一示例性实施例的结构化状态量预测装置200的功能框图。如图5所示，根据本发明一示例性实施例的结构化状态量预测装置200可包括表达单元210、预测单元220和提取单元230。

表达单元210可用于将结构化状态量表达成非结构化数据，例如图像数据。

预测单元220可用于利用非结构化预测模型，例如图像预测模型，基于非结构化数据的已知值(例如已知图像帧)来预测其未来值(未来图像帧)。

提取单元230可用于从非结构化数据的未来值(未来图像帧)提取结构化状态量的预测值。在一些实施例中，提取单元230可包括估计器，其可用于从未来图像帧中的各个区域提取结构化状态量的估计值。

虽然未示出，在一些实施例中，结构化状态量预测装置200还可以包括训练单元，其可利用真实数据来对非结构化预测模型和估计器进行训练。

上述结构化状态量预测装置200中的各个单元和模块的具体功能和操作已经在上面参考图1到图4描述的图像预测方法中得到了详细介绍，因此这里仅简要说明，而省略了其重复详细描述。

根据本申请实施例的结构化状态量预测装置200可以实现在图像预测设备中，例如可以作为一个软件模块和/或硬件模块而集成到结构化状态量预测设备中。图6示出可实现结构化状态量预测装置200的示例性电子设备300的结构框图。

如图6所示，电子设备300包括一个或多个处理器310和存储器320。

处理器310可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备300中的其他组件以执行期望的功能，例如上述结构化状态量预测功能。

存储器320可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器310可以运行所述程序指令，以实现上文所述的本申请的各个实施例的结构化状态量预测方法以及/或者其他期望的功能。

在一个示例中，电子设备300还可以包括输入单元330和输出单元340，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。输入单元330可用于接收结构化数据，例如车载辅助驾驶系统的各种传感器确定的车辆本身以及周围实体的各种结构化数据，例如上面作为示例描述的速度、加速度、方位角等，这些结构化数据可用于进行上面描述的训练或预测过程。输出单元340可输出这些结构化数据的预测结果，例如可以将预测结果输出到车载辅助驾驶系统。车载辅助驾驶系统可以基于该预测结果来做出驾驶策略判断，从而实现安全可靠的辅助驾驶。

当然，为了简化，图6中仅示出了该电子设备300中与本申请有关的组件中的一些，而省略了许多其他必要或可选的组件。除此之外，根据具体应用情况，电子设备300还可以包括任何其他适当的组件。

图7示出了可配备这样的电子设备300的车辆400的示意图。如图7所示，车辆400可包括各种车载传感器410，其示例包括但不限于摄像头、激光雷达、超声雷达、惯性测量单元、底盘里程计等。这些车载传感器410可操作来获得车辆400本身或周围实体的结构化状态量。车辆400还可包括电子设备420，其可以实现为参照图6描述的电子设备300。电子设备420可接收来自传感器410的结构化状态量，从而执行上面描述的训练或预测过程。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上面描述的根据本申请各种实施例的结构化状态量预测方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行上面描述的根据本申请各种实施例的结构化状态量预测方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (14)

1.一种结构化状态量预测方法，包括：

将结构化状态量表达成非结构化数据；

利用非结构化预测模型，基于所述非结构化数据的已知值来预测其未来值；以及

从所述非结构化数据的未来值提取所述结构化状态量的预测值，

其中，所述非结构化数据包括图像，所述非结构化预测模型包括图像预测模型，

所述结构化状态量包括位置、速度、加速度、方位角、对象轮廓曲线、对象包围框、对象类别、对象行为属性中的一个或多个。

2.如权利要求1所述的方法，其中，所述结构化状态量被显式表达在所述图像中，所述方法还包括从所述图像中提取包括被显式表达的所述结构化状态量的区域作为关注区域，且所述图像预测模型对所述关注区域进行预测。

3.如权利要求1所述的方法，其中，将结构化状态量表达成非结构化数据包括将所述结构化状态量的多个已知值表达成多帧图像，

其中，所述图像预测模型基于所述多帧图像来预测未来图像帧，且

其中，所述未来图像帧被用于提取所述结构化状态量的预测值。

4.如权利要求3所述的方法，其中，所述未来图像帧包括所述结构化状态量的预测值的几率分布。

5.如权利要求3所述的方法，其中，所述多帧图像和所述未来图像帧中的每帧图像包括与多个结构化状态量对应的多个图像通道。

6.如权利要求5所述的方法，其中，提取所述结构化状态量的预测值包括：从多个图像通道的彼此对应的区域提取多个结构化状态量的预测值。

7.如权利要求1所述的方法，其中，估计器被用于从所述非结构化数据的未来值提取所述结构化状态量的预测值，且

其中，所述方法还包括用真实数据对所述非结构化预测模型和所述估计器进行训练。

8.如权利要求1所述的方法，其中，所述结构化状态量相关联的实体包括动态实体和静态实体中的一个或多个。

9.如权利要求8所述的方法，其中，所述动态实体包括车辆和行人中的一个或多个，所述静态实体包括分道线、道路指示牌、建筑物、路肩、绿化带、路面障碍物中的一个或多个。

10.一种结构化状态量预测装置，包括：

表达单元，用于将结构化状态量表达成非结构化数据；

预测单元，用于利用非结构化预测模型，基于所述非结构化数据的已知值来预测其未来值；以及

提取单元，用于从所述非结构化数据的未来值提取所述结构化状态量的预测值，

其中，所述非结构化数据包括图像，所述非结构化预测模型包括图像预测模型，

所述结构化状态量包括位置、速度、加速度、方位角、对象轮廓曲线、对象包围框、对象类别、对象行为属性中的一个或多个。

11.如权利要求10所述的装置，

其中，所述提取单元包括估计器，所述估计器用于从所述图像中的各个区域提取所述结构化状态量的估计值。

12.一种电子设备，包括：

处理器；以及

存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-8中的任一项所述的方法。

13.一种车辆，包括权利要求12所述的电子设备。

14.一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如权利要求1-9中的任一项所述的方法。

Images