CN112669612A

CN112669612A - 图像录制、回放方法、装置及计算机系统

Info

Publication number: CN112669612A
Application number: CN201910979017.9A
Authority: CN
Inventors: 薛晶; 郁超; 刘挺; 李昕; 赖集佳; 邵军; 苗振伟
Original assignee: Alibaba Group Holding Ltd
Current assignee: Alibaba Group Holding Ltd
Priority date: 2019-10-15
Filing date: 2019-10-15
Publication date: 2021-04-16
Anticipated expiration: 2039-10-15
Also published as: CN112669612B

Abstract

本申请实施例公开了图像录制、回放方法、装置及计算机系统，所述录制方法包括：获得传感器感知到的环境图像序列数据；对所述环境图像序列数据进行目标检测，获得多个目标在多帧图像的检测结果信息；分别对所述多个目标在多帧图像的检测结果信息进行录制，以用于以目标为单位进行录制结果的回放。通过本申请实施例，能够提高对环境监控信息的录制质量，方便回放时查看。

Description

图像录制、回放方法、装置及计算机系统

技术领域

本申请涉及图像处理技术领域，特别是涉及图像录制、回放方法、装置及计算机系统。

背景技术

在道路交通、监控等场景中，经常可以通过多种传感器(相机、雷达等)或者组合来采集环境数据并进行录制。这样，如果在道路交通环境中发生交通事故，或者被监控的场所中发生意外事故，或者，需要在被监控的场景中寻找某目标的踪迹，则可以对录制的图像进行回放。通过对回放录像的查看，可以进行交通事故的定责，或者实现对某目标的跟踪，等等。

但是，在实际应用中，经常会出现一些比较复杂的交通场景或者监控场景，例如，某交通路段在早晚高峰时期车辆会非常多，在某被监控的场所中人流量也非常大，等等。此时，在通过对录制的图像进行回放的方式进行事故定责或者目标跟踪时，经常会由于画面中过多的无效信息或无用信息所干扰，影响实现效率。

因此，如何提高对环境监控信息的录制质量，方便回放时查看，成为需要本领域技术人员解决的技术问题。

发明内容

本申请提供了图像录制、回放方法、装置及计算机系统，能够提高对环境监控信息的录制质量，方便回放时查看。

本申请提供了如下方案：

一种图像录制方法，包括：

获得传感器感知到的环境图像序列数据；

对所述环境图像序列数据进行目标检测，获得多个目标在多帧图像的检测结果信息；

分别对所述多个目标在多帧图像的检测结果信息进行录制，以用于以目标为单位进行录制结果的回放。

一种对录制的图像序列进行回放方法，包括：

获得图像序列录制结果，所述录制结果中包括：通过对传感器感知到的环境图像序列进行目标检测，并以目标为单位分别记录的多个目标对应的检测结果；

对所述录制结果进行回放。

一种辅助驾驶信息提供方法，包括：

获得当前车辆周围的环境感知信息；

对所述环境感知信息进行目标检测，获得多个目标的检测结果信息；

针对在当前感知时刻未被传感器感知到的目标，通过对该目标进行行为轨迹预测，确定出该目标在当前感知时刻的位置信息；

将所述未被传感器感知到的目标对应的位置信息，作为当前感知时刻获得的感知信息的补充信息，并为当前车辆的驾驶员提供辅助驾驶信息。

一种自动驾驶过程中的决策方法，包括：

获得当前车辆周围的环境感知信息；

根据当前感知时刻感知到的目标的位置检测结果，以及未感知到的目标的位置预测结果，进行自动驾驶决策。

一种图像序列录制方法，包括：

获得传感器感知到的环境图像序列数据；

以目标为单位，分别对多个目标的位置信息进行录制，所述记录的位置信息包括在感知到所述目标的图像中检测出的目标所在的位置信息，以及在未感知到所述目标的图像中预测出的目标所在的位置信息。

一种对录制的图像序列进行回放方法，包括：

获得图像序列录制结果，所述录制结果中包括：多个目标分别在在感知到所述目标的图像中检测出的目标所在的位置信息，以及在未感知到所述目标的图像中预测出的目标所在的位置信息，所述预测出的目标所在的位置信息是根据所历史检测结果中，所述感知到所述目标的图像中检测出的位置信息对目标的行为轨迹预测结果确定的；

对需要回放的指定目标对应的录制结果进行回放。

一种图像录制装置，包括：

环境感知信息获得单元，用于获得传感器感知到的环境图像序列数据；

目标检测单元，用于对所述环境图像序列数据进行目标检测，获得多个目标在多帧图像的检测结果信息；

第一录制单元，用于分别对所述多个目标在多帧图像的检测结果信息进行录制，以用于以目标为单位进行录制结果的回放。

一种对录制的图像序列进行回放装置，包括：

第一录制结果获得单元，用于获得图像序列录制结果，所述录制结果中包括：通过对传感器感知到的环境图像序列进行目标检测，并以目标为单位分别记录的多个目标对应的检测结果；

第一回放单元，用于对所述录制结果进行回放。

一种辅助驾驶信息提供装置，包括：

环境感知信息获得单元，用于获得当前车辆周围的环境感知信息；

目标检测单元，用于对所述环境感知信息进行目标检测，获得多个目标的检测结果信息；

预测单元，用于针对在当前感知时刻未被传感器感知到的目标，通过对该目标进行行为轨迹预测，确定出该目标在当前感知时刻的位置信息；

辅助驾驶信息提供单元，用于将所述未被传感器感知到的目标对应的位置信息，作为当前感知时刻获得的感知信息的补充信息，并为当前车辆的驾驶员提供辅助驾驶信息。

一种自动驾驶过程中的决策装置，包括：

驾驶决策单元，用于当前感知时刻感知到的目标的位置检测结果，以及未感知到的目标的位置预测结果，进行自动驾驶决策。

一种图像序列录制装置，包括：

图像序列数据获得单元，用于获得传感器感知到的环境图像序列数据；

第二录制单元，用于以目标为单位，分别对多个目标的位置信息进行录制，所述记录的位置信息包括在感知到所述目标的图像中检测出的目标所在的位置信息，以及在未感知到所述目标的图像中预测出的目标所在的位置信息。

一种对录制的图像序列进行回放装置，包括：

第二录制结果获得单元，用于获得图像序列录制结果，所述录制结果中包括：多个目标分别在在感知到所述目标的图像中检测出的目标所在的位置信息，以及在未感知到所述目标的图像中预测出的目标所在的位置信息，所述预测出的目标所在的位置信息是根据所历史检测结果中，所述感知到所述目标的图像中检测出的位置信息对目标的行为轨迹预测结果确定的；

第二回放单元，用于对需要回放的指定目标对应的录制结果进行回放。

一种计算机系统，包括：

一个或多个处理器；以及

与所述一个或多个处理器关联的存储器，所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时，执行如下操作：

获得传感器感知到的环境图像序列数据；

一种计算机系统，包括：

一个或多个处理器；以及

对所述录制结果进行回放。

一种计算机系统，包括：

一个或多个处理器；以及

获得当前车辆周围的环境感知信息；

一种计算机系统，包括：

一个或多个处理器；以及

获得当前车辆周围的环境感知信息；

一种计算机系统，包括：

一个或多个处理器；以及

获得传感器感知到的环境图像序列数据；

一种计算机系统，包括：

一个或多个处理器；以及

对需要回放的指定目标对应的录制结果进行回放。

根据本申请提供的具体实施例，本申请公开了以下技术效果：

通过本申请实施例，由于实现了对采集到的环境数据中的多个目标的单独录制，因此，可以实现以目标为单位的回放。这样，在回放的过程中，可以获得关于指定目标的图像录制结果，而不会受到环境中其他目标的影响，便于更清晰的进行事故责任认定，或者监控场景中的目标追踪，等等。

另外，在可选的实施方式中，通过对环境感知信息进行目标检测，并以目标为单位对目标进行行为轨迹的预测，可以根据这种行为轨迹预测结果，为驾驶员提供辅助驾驶信息，以帮助其更全面的获得物理世界中实际发生的事件，从而做出更准确的驾驶决策，降低事故发生概率，提高行驶过程中的安全性。

具体的，可以针对在当前感知时刻未被传感器感知到的目标，通过对该目标进行行为轨迹预测，确定出该目标在当前感知时刻的位置信息，进而将所述未被传感器感知到的目标对应的位置信息，作为当前感知时刻获得的感知信息的补充信息，并为当前车辆的驾驶员提供辅助驾驶信息，使得驾驶员能够获得关于被遮挡的目标的相关信息，提高驾驶过程中的安全性。

另外，本申请的其他实施例中，通过以目标为单位的行为轨迹预测，还可以在自动驾驶场景中实现更准确的驾驶决策；在交通事故发生后的事故定责、事件监控回放过程中，提供更完整的信息，在某目标在传感器感知到的某些帧中被其他目标遮挡的情况下，也可以完整的呈现该目标的行为轨迹信息，从而提供进行更准确的责任认定，或者监控场景的还原。

当然，实施本申请的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的第一场景下的系统架构示意图；

图2是本申请实施例提供的第一方法的流程图；

图3是本申请实施例提供的图像录制过程示意图；

图4是本申请实施例提供的第二方法的流程图；

图5是本申请实施例提供的图像回放过程示意图；

图6是本申请实施例提供的第二场景下的系统架构示意图；

图7是本申请实施例提供的第三方法的流程图；

图8是本申请实施例提供的图像投射示意图；

图9是本申请实施例提供的第三场景下的系统架构示意图；

图10是本申请实施例提供的第四方法的流程图；

图11是本申请实施例提供的第五方法的流程图；

图12是本申请实施例提供的第六方法的流程图；

图13是本申请实施例提供的第一装置的示意图；

图14是本申请实施例提供的第二装置的示意图；

图15是本申请实施例提供的第三装置的示意图；

图16是本申请实施例提供的第四装置的示意图；

图17是本申请实施例提供的第五装置的示意图；

图18是本申请实施例提供的第六装置的示意图；

图19是本申请实施例提供的计算机系统的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

在本申请实施例中，针对一些复杂的道路交通环境等场景，为了便于对录制的图像进行查看，可以采用“分轨录制”的方案，也即，从传感器(摄像头、雷达等)感知到的环境序列数据中进行目标检测，在检测出多个目标后，可以以目标为单位进行录制。这样，后续在进行回放时，也可以实现以目标为单位的回放。例如，在进行交通事故定责时，可以分别对多个目标进行单独的回放，回放的画面中可以不受其他目标的影响，更清晰的分辨出具体某个目标在某路段或者某段时间内的行为轨迹。或者，在监控场景中需要对某个目标进行跟踪时，也可以选择单独展示该目标对应的录制结果，从而消除掉其他不需要关注的目标对画面的影响。

具体实现时，从系统架构角度而言，如图1所示，对于交通场景而言，具体的摄像头等传感器可以安装在车辆或者路侧设备上，具体的图像分轨录制功能则可以在车辆的控制系统或者云端服务器中来实现。或者，还可以在停车场、商场、学校等其他需要安装监控系统的场景中实现上述录制功能，此时，具体的图像分轨录制功能则可以在监控系统的服务器一侧来实现。

另外，还可以提供用于对上述分轨录制的图像进行播放的播放器，该播放器可以以软件的形式存在，能够识别图像分轨录制产生的结构化信息，生成图像进行播放的功能。此外，该播放器中提供用于分别对不同的目标进行控制的操作选项，使得用户可以通过这种操作选项选择播放或者不播放哪个或哪些目标的图像，以此实现以目标为单位的回放，等等。

下面对本申请实施例提供的具体技术方案进行详细介绍。

实施例一

该实施例一首先从前述服务器的角度，提供了一种图像录制方法，参见图2，该方法具体可以包括：

S201：获得传感器感知到的环境图像序列数据；

其中，对于道路交通环境下的环境感知，具体感知的可以是当前车辆周围的环境信息，这种感知信息可以是通过预先部署的传感器设备来获知的。具体的传感器设备可以部署在当前车辆上，或者，也可以部署在路侧设备中。另外，在停车场、商场等监控场所中，具体的传感器可以安装在场所中某个特定的位置，等等。

其中，为了能够实现对环境中各种不同类型的目标的感知，可以部署多种不同类型的传感器，包括摄像头，雷达，等等。另外，后续在进行目标检测的过程中，还可以通过融合多种不同传感器的感知结果，获得更准确的检测结果信息。

S202：对所述环境图像序列数据进行目标检测，获得多个目标在多帧图像的检测结果信息；

在获得具体的环境感知信息后，可以从中进行目标检测，获得多个目标的检测结果。其中，具体的目标检测也就是说，从环境感知信息中标定出具体的目标所在的位置、类型等信息，还可以实现在不同感知时刻感知到的感知信息中对同一个目标的跟踪，等等。具体如，对于摄像头采集到的图片信息，检测的过程就是可以在图片上绘制出对应的检测框，另外还可以标注出具体的目标的类别(行人、机动车、自行车等)；而对于雷达采集到的点云数据，目标检测的结果则是可以输出带检测框和类别等信息的点云。总之，目标检测任务的目标是检测出目标的位置信息，在可选的实施方式中，还可以包括目标的类别信息。其中，具体实现时，可以利用预先建立的检测算法实现上述目标检测过程，例如，具体可以采用IMM(Interacting Multiple Model，交互多模型)融合算法进行检测，等等。

其中，传感器对环境的感知通常是在持续不断进行的，因此，可以不断产生新的感知信息，相应的，目标检测的操作也可以是在持续不断进行，每接收到摄像头采集的新的图像，雷达采集的新的点云数据等，都可以对新的图像、点云数据进行目标检测。

S203：分别对所述多个目标在多帧图像的检测结果信息进行录制，以用于以目标为单位进行录制结果的回放。

在本申请实施例中，在从感知到的数据中检测出目标后，可以分别对所述多个目标在多帧图像的检测结果信息进行录制，以用于以目标为单位进行录制结果的回放。也就是说，在本申请实施例中，具体的图像录制结果可以为多份，分别对应不同的目标。这样，在对录制的信息进行回放时，便可以实现以目标为单位进行录制结果的回放。

具体实现时，在以目标为单位进行录制时，在一种具体的实现方式下，如图3所示，可以首先创建空录像，并初始化写入器，初始化捕捉器，然后，通过捕捉器获得各种传感器感知到的环境数据，并进行目标检测，根据目标检测结果，可以生成分别针对不同目标的录像结果。其中，对于不同的目标由于进行了多帧的录制，因此，可以通过多帧录制结果体现出目标的行为轨迹。例如，具体可以包括人的行为轨迹、车1的行为轨迹，车2的行为轨迹，等等。之后，可以把分别记录的各目标的行为轨迹信息写入具体的录像文件中。

在实际应用中，还可以对在录制的过程中或者结束后，提供用于添加标注的操作选项，通过这种操作选项，可以通过人工的方式向录像结果中添加标注信息，例如，标注出人、车辆的编号，等等。或者，在另一种方式下，也可以通过程序自动添加的方式来添加具体的标注信息。这种标注信息可以有利于在回放的过程中选择具体的目标进行回放。

另外，还可以提供用于对上述录制信息进行播放的播放器，在通过该播放器对录制结果进行播放的过程中，可以提供用于对具体所需的目标进行回放的操作选项，以供用户选择。具体的，该操作选项可以以多种形式存在，例如，在一种方式下，可以首先在默认状态下进行多目标录制结果的播放，也即，在录制过程中，也可以提供一份直接对采集到的多个目标进行录制的录制结果，在播放时，首先播放该录制结果；然后，用户在需要对某个目标单独进行回放时，可以在播放画面中点击对应的目标，之后，播放器可以对该目标对应的单独录制的图像进行播放，等等。

需要说明的是，本申请实施例中提供的方案可以应用到多个场景下，例如，在道路交通场景下，所述环境图像序列数据包括：在道路交通场景中感知到的环境图像序列数据；此时，所述多个目标可以包括道路交通场景中的多个交通参与者。或者，还可以应用到监控场景下，此时，所述环境图像序列数据包括：在监控场景中感知到的环境图像序列数据，等等。

另外，除了上述比较典型的道路交通场景、监控场景外，本申请实施例还可以应用到更多场景中。例如，还可以包括旅游、游乐场游玩场景等待。在这种场景下，还可以通过摄像头全程采集旅游、游玩过程，由于能够以目标为单位进行录制，并据此确定出单个目标的行为轨迹的记录，而不会受到环境中其他目标的干扰，因此，在旅游、游玩等结束后，可以为用户提供只包括其个人或者个人与伙伴的录制结果。这样，通过对这种录制结果可以对其旅游、游玩过程进行记录。具体实现时，可以由旅游景点管理方或者游乐场的管理方等在一些关键的位置部署摄像头、雷达等感知装置，实现对环境数据的采集，并通过部署相关的服务器等实现对目标的识别，以及分目标的图像录制，最后可以将以目标为单位的录制结果作为产品销售给参与旅游或者游玩的用户，等等。

再者，在旅游等相关的场景下，还可以结合地图数据提供具体的录制结果。例如，具体在录制的过程中，还可以采集具体所在的地理位置信息；这样，在回放时，还可以在展示出旅游景点的电子地图数据的基础上，按照具体录制时刻所在的地理位置，在电子地图数据中进行相应的标示，使得用户不仅可以查看到自己在旅游过程中的经历，还可以获知具体的行为发生地等信息。

另外需要说明的是，本申请实施例中的图像录制结果具体可以以视频的形式存在，或者，还可以以照片集合的形式存在，等等。

总之，通过本申请实施例，由于实现了对采集到的环境数据中的多个目标的单独录制，因此，可以实现以目标为单位的回放。这样，在回放的过程中，可以获得关于指定目标的图像录制结果，而不会受到环境中其他目标的影响，便于更清晰的进行事故责任认定，或者监控场景中的目标追踪，等等。

实施例二

该实施例二是与实施例一相对应的，从播放器的角度，提供了一种对录制的图像序列进行回放方法，参见图4，该方法具体可以包括：

S401：获得图像序列录制结果，所述录制结果中包括：通过对传感器感知到的环境图像序列进行目标检测，并以目标为单位分别记录的多个目标对应的检测结果；

S402：对所述录制结果进行回放。

具体在进行回放时，可以有多种具体的方式。例如，一种方式下，可以首先确定需要进行回放的指定目标，然后，对所述指定目标对应的录制结果进行回放。也就是说，也可以以目标为单位进行回放，在回放某个目标对应的录制信息时，其他目标对应的信息会被隐藏，使得回放画面不会受到其他目标的干扰。其中，确定需要进行回放的指定目标的方式可以有多种，例如，可以提供播放菜单，在其中列出具体可选的目标的标识等信息，用户可以通过选择菜单中的目标来进行指定。

或者，在另一种方式下，也可以将所述多个目标分别对应的录制结果进行合成，并对合成结果进行回放。也就是说，具体回放时，也可以将多份录制结果合成为一份，以此还原传感器感知到的环境图像序列。然后，在对这种合成后的视频进行回放的过程中，还可以接收对回放画面中的指定目标执行的交互操作，此时，便可以回放该指定目标对应的录制结果。也就是说，另一种确定指定目标的方式，可以是在包含了多个目标的回放画面中，通过点击其中一个目标等方式进行指定。

再或者，另一种方式下，录制结果中还可以包括：对所述传感器感知到的环境图像序列直接进行录制得到的录制结果。也就是说，在录制时，可以包括一份直接录制的结果，也即多份针对不同目标的录制结果。这样，在进行回放时，也可以首先对所述直接录制的录制结果进行回放，在接收对回放画面中的指定目标执行的交互操作后，回放该指定目标对应的录制结果。

具体从技术角度而言，如图5所示，具体的播放器可以首先加载录像，也即本申请实施例中的以目标为单位的录制结果，之后，可以初始化读取器、执行器、播放容器等。如果录像文件中包括标注信息还可以读取这种标注信息。之后可以启动播放，在播放的过程中，可以通过分轨执行器来对不同目标的行为轨迹进行播放。另外，在回放的过程中，还可以提供暂停、重新开始等控制选项。

关于该实施例二中的未详述部分，可以参见前述实施例一中的记载，这里不再赘述。

实施例三

在前述实施例一以及实施例二中，是通过对环境感知结果中的多个目标进行检测，以及以目标为单位进行检测结果的录制，这样，可以实现以目标为单位的回放。而在实际的道路交通等环境中，还可能经常会存在一些目标(例如，车辆、行人、自行车等)时而能够出现在驾驶员或者传感器的感知范围内，时而由于其他目标的遮挡等因素而没有出现在驾驶员或者传感器的感知范围内，但是，这种被遮挡的目标有可能会成为安全隐患。例如，某车辆被当前车辆前面的一个车辆遮挡，如果该被遮挡的车辆采取了紧急刹车等行为，而如果驾驶员或者车辆的控制系统没有及时发现这一情况，则极有可能造成当前车辆与前面车辆发生追尾事故，等等。针对上述情况，在本申请实施例三中还提供了相应的解决方案。在该方案中，在获取到具体的环境感知信息后，可以对环境感知信息的目标进行检测，检测出多个目标后，可以根据这些目标的一些历史检测结果，对目标的行为轨迹进行预测，进而，可以利用这种预测结果信息，为驾驶员提供辅助驾驶信息，或者进行自动驾驶中的驾驶决策。也就是说，通过以具体的目标为单位进行行为轨迹的预测，预测出的结果，可以作为环境感知结果的补充，为驾驶员或者自动驾驶系统提供更丰富、更符合物理世界情况的辅助信息，从而提高驾驶安全性。

另外，基于上述能够分别对不同的目标进行行为轨迹预测的方案，还可以实现对环境数据的“分轨”录制，也即，可以分别保存多个目标的行为轨迹录制结果，这样，在进行录制结果的回放时，可以将具体目标的行为轨迹预测结果作为传感器实际感知到的该目标的图像数据的补充，使得观察者能够从录像数据中获得传感器实际感知到的数据之外的信息；另外，在回放时，还可以选择将部分目标的图像内容中去除，仅保留需要关注的目标的情况，从而更完整地还原同一个目标在穿越马路或者行驶过程中所经历的过程，方便事后进行事故排查，提供更完善的定责依据，等等。

首先，该实施例三针对人工驾驶的场景，提供了辅助驾驶信息提供方法。在该实施例一中，参见图6，可以在车辆或者路侧设备等处安装具体的传感器设备，包括摄像头设备、雷达设备(具体还可以分为激光雷达、毫米波雷达等)，等等。另外，还可以在具体需要辅助的车辆内部或者云端部署辅助驾驶系统，通过传感器设备获得当前车辆周围的环境感知信息后，可以由该辅助驾驶系统提供目标检测模块，行为轨迹预测模块，辅助驾驶信息生成模块，通过信息输出模块进行输出。具体在输出辅助驾驶信息时，可以有图像投射、语音播报等多种具体的方式。

具体的，该实施例一首先从上述辅助驾驶系统的角度，提供了一种辅助驾驶信息提供方法，参见图7，该方法具体可以包括：

S701：获得当前车辆周围的环境感知信息；

其中，当前车辆周围的环境感知信息可以是通过预先部署的传感器设备来获知的。具体的传感器设备可以部署在当前车辆上，或者，也可以部署在路侧设备中。其中，如果是在当前车辆上，传感器设备的感知结果可以直接传给辅助驾驶系统，如果是在路侧设备上，则车辆可以通过一定的通信协议收听路侧设备广播出的感知信息，然后再将感知信息提供给辅助驾驶系统，等等。

具体的，为了能够实现对环境中各种不同类型的目标的感知，可以部署多种不同类型的传感器，包括摄像头，雷达，等等。另外，后续在进行目标检测的过程中，还可以通过融合多种不同传感器的感知结果，获得更准确的检测结果信息。

S702：对所述环境感知信息进行目标检测，获得多个目标的检测结果信息；

在获得具体的环境感知信息后，可以从中进行目标检测，获得多个目标的检测结果。其中，具体的目标检测也就是说，从环境感知信息中标定出具体的目标所在的位置、类型等信息，还可以实现在不同感知时刻感知到的感知信息中对同一个目标的跟踪，等等。具体如，对于摄像头采集到的图片信息，检测的过程就是可以在图片上画出对应的检测框，另外还可以标注出具体的目标的类别(行人、机动车、自行车等)；而对于雷达采集到的点云数据，目标检测的结果则是可以输出带检测框和类别等信息的点云。总之，目标检测任务的目标是检测出目标的位置信息，在可选的实施方式中，还可以包括目标的类别信息。其中，具体实现时，可以利用预先建立的检测算法实现上述目标检测过程，例如，具体可以采用IMM(Interacting Multiple Model，交互多模型)融合算法进行检测，等等。

其中，传感器对车辆周围环境的感知通常是在持续不断进行的，因此，会不断产生新的感知信息，相应的，目标检测的操作也可以是在持续不断进行，没接收到摄像头采集的新的图像，雷达采集的新的点云数据等，都可以对新的图像、点云数据进行目标检测。

S703：针对在当前感知时刻未被传感器感知到的目标，通过对该目标进行行为轨迹预测，确定出该目标在当前感知时刻的位置信息；

在获得目标的检测结果后，可以以目标为单位，利用累计获得的历史检测结果，分别对多个目标进行行为轨迹的预测。具体实现时，同样可以通过预先设置的预测模型来完成上述预测过程。其中，该预测模型的输入信息为具体某个目标在历史检测结果中的位置信息，或者还可以包括类型信息等，输出信息则可以是该目标的行为轨迹信息，包括其运动轨迹、外置灯光等设备的状态变化情况等。

具体实现时，如果某目标在当前感知时刻被传感器感知到了，例如，能够出现在摄像头拍摄到的图片中，或者雷达采集到的点云中，则可以直接利用传感器感知到的信息确定该目标的位置等信息。因此，可以仅针对在当前感知时刻未被传感器感知到的目标，利用该目标的历史检测结果对目标进行行为轨迹预测。也就是说，如果某目标在之前的若干帧感知信息中，都被传感器感知到了，但是，当前感知时刻却未被传感器感知到，则可能并不是该目标真正运动出了传感器的感知范围，而是被其他目标遮挡了，由于传感器通常都不具备“透视”功能，因此，无法感知到该被遮挡的目标的相关数据。但是，恰恰是这种被遮挡的目标，可能会对当前车辆的正常行驶或者超车、变更车道等形成障碍。因此，在本申请实施例中，可以通过对这种目标进行行为轨迹预测，预测出该目标在当前感知时刻可能所在的位置，进而可以判断出该目标是否被其他目标遮挡，还是已经不在传感器的感知范围内。另外，在具体实现时，还可以通过对车辆的外置灯光等标志物状态变化情况的预测，确定出目标在当前感知时刻的外置灯光的状态信息，例如，刹车灯、转向灯等是否亮起，等等。

S704：将所述未被传感器感知到的目标对应的位置信息，作为当前感知时刻获得的感知信息的补充信息，并为当前车辆的驾驶员提供辅助驾驶信息。

在预测出目标的行为轨迹信息后，可以为当前车辆的驾驶员提供辅助驾驶信息。具体的，可以将当前感知时刻未被传感器感知到的目标对应的行为轨迹预测结果，作为当前感知时刻获得的感知信息的补充信息，并为当前车辆的驾驶员提供辅助驾驶信息。

其中，具体提供驾驶辅助信息的方式可以有多种，例如，其中一种方式下，可以通过向风挡玻璃等处投射图像的方式，为用户提供辅助信息，使得驾驶员在通过风挡玻璃肉眼观察周围环境的同时，能够参考到上述辅助信息。在这种方式下，由于本申请实施例中能够预测出具体目标的行为轨迹信息，其中可以包括多个目标在当前环境感知时刻分别对应的位置信息，因此，可以根据预测出的多个目标在当前环境感知时刻分别对应的位置信息，进行图像生成并展示。具体的展示方式就可以包括：将所生成的图像投射到预设的位置，以便驾驶员进行查看。

其中，在具体进行图像生成并展示时，对于在当前环境感知时刻被传感器感知到的目标，可以直接通过感知信息中的位置信息生成该目标的图像；而对于在当前环境感知时刻未被传感器感知到的目标，则可以通过所述预测出的位置信息生成该目标的图像。其中，如果在生成所述图像时，其中一个或多个目标被其他目标遮挡，则对造成遮挡的目标进行透视化处理，以展示出被遮挡的目标。当然，具体实现时，对于造成遮挡的目标，具体可以是半透视处理，例如，可以保留造成遮挡的目标的轮廓，中间的部分采用半透明的方式进行填充，使得既可以体现出该造成遮挡的目标的存在，还可以“透过”该目标展示出被该目标遮挡的目标的图像。其中，具体被遮挡的目标的图像，可以是从历史感知信息中获得，然后根据预测出的在当前感知时刻的位置，对该被遮挡的目标的图像进行绘制。

例如，如图8所示，假设某感知时刻能够感知到当前车辆前方存在一车辆81，但同时根据目标行为轨迹预测结果可知，该车辆61前方实际上还存在另一车辆82，只是由于车辆A的遮挡，驾驶员无法用肉眼直接观察到该车辆82。因此，在本申请实施例中生成具体的图像时，则可以将该车辆82的图像补充到当前感知时刻的图像采集结果中，同时，还可以对造成遮挡的车辆81的图像进行透视化处理。这样，使得车辆82能够出现在投射出的图像中，驾驶员虽然无法直接通过肉眼在物理世界中观察到该车辆82，但是能够通过辅助驾驶系统投射出的图像中发现该车辆82的存在。另外，具体实现时，由于具体的行为轨迹预测信息中还可以包括目标的外置灯具的状态信息，因此，在展示这种被遮挡的目标时，还可以同时展示出预测出的外置灯具的状态信息。这样，假设前述例子中的车辆82刚才在执行刹车操作，刹车灯亮起，则也可以将该状态信息展示在投射出的图像中，当前车辆的驾驶员则不仅可以通过投射出的图像查看到该车辆82的存在，还可以查看到该车辆82正在执行刹车操作，因此，也可以及时做好刹车准备，避免与前面的车辆81发生追尾事故，等等。具体实现时，针对能够预测出具体被遮挡目标的外置灯光的状态的情况下，为了进一步突出该信息的重要性，还可以在图像中通过增加相关的文字等方式对驾驶员进行提示。

当然，具体实现时，除了通过投射图像的方式向驾驶员提供辅助信息之外，还可以通过语音播报等方式对驾驶员进行提醒。例如，具体的，在获得具体目标的行为轨迹预测结果后，可以根据所述目标的行为轨迹预测结果判断是否存在某目标对所述当前车辆形成障碍，并且该目标处于被其他目标遮挡的状态。例如，通过某目标的行为预测结果发现，该目标实际上仍然在当前车辆的附近，只是被其他目标遮挡了，该被遮挡的目标由于无法被驾驶员观察到，无法引起驾驶员的注意，因此，在本申请实施例中就可以提供关于所述障碍的提示信息。例如，通过语音播报的方式对上述障碍进行提示，等等。

例如，在一种具体的场景下，可以在多车跟车行驶的状态下，判断排在前面的车辆前方是否出现移动物体(例如，动物、行人、自行车等)横穿道路，如果存在，则将该移动物体确定为对当前车辆形成障碍的目标。也就是说，在多车跟车行驶的状态下，如果有行人等从更靠前的车辆前方穿过，则在行人走到该车辆正前方时，可能会无法被当前车辆的驾驶员观察到。但是，本申请实施例中，由于上述移动物体可能在之前感知到的感知结果中出现过，因此，可以通过对其行为轨迹进行预测，预测出该移动物体在当前感知时刻的位置信息，进而，判断出是其否由于被前车遮挡，导致无法被当前驾驶员观察到，如果是，则可以将该情况提示给当前车辆的驾驶员，以引起其注意。

或者，在另一种具体的场景下，可以在多车跟车行驶的状态下，判断被前方车辆遮挡的车辆是否执行紧急刹车行为，如果存在，则将该紧急刹车的车辆确定为对当前车辆形成障碍的目标。上述关于前方车辆的前方是否存在被遮挡的车辆，以及被遮挡的车辆是否执行紧急刹车行为等信息，都可以是从前述行为轨迹预测结果中获知。

总之，通过上述实施例三，通过对环境感知信息进行目标检测，并以目标为单位对目标进行行为轨迹的预测，可以根据这种行为轨迹预测结果，这样，针对在当前感知时刻未被传感器感知到的目标，可以通过对该目标进行行为轨迹预测，确定出该目标在当前感知时刻的位置信息，进而可以将所述未被传感器感知到的目标对应的位置信息，作为当前感知时刻获得的感知信息的补充信息，为驾驶员提供辅助驾驶信息，以帮助其更全面的获得物理世界中实际发生的事件，从而做出更准确的驾驶决策，降低事故发生概率，提高行驶过程中的安全性。

实施例四

前述实施例三是针对人工驾驶场景下，通过以目标为单位进行的行为轨迹预测，为驾驶员用户提供更丰富的辅助驾驶信息。而在该实施例四中，则主要针对自动驾驶场景，也即，如图9所示，从系统架构角度而言，具体的车辆可以由自动驾驶系统做出的驾驶决策控制其行驶状态。在这种情况下，自动驾驶系统主要依据传感器系统感知到的周围环境感知信息做出驾驶决策，包括加速、减速、转弯等等。而在本申请实施例中，由于还可以通过辅助驾驶系统，该辅助驾驶系统可以以自动驾驶系统的一个模块等形式存在，能够以目标为单位，对目标的行为轨迹信息进行预测，因此，还可以以行为轨迹预测结果作为环境感知信息的补充，从而为自动驾驶决策提供更完整更详细的依据，降低决策失误的方式概率，提高安全性。当然，在实际应用在，上述自动驾驶系统以及辅助驾驶系统也可以部署在云端，车辆通过从云端接收到的驾驶策略做出响应，等等。

具体的，该实施例四主要从前述自动驾驶系统的角度，提供了一种自动驾驶过程中的决策方法，参见图10，该方法具体可以包括：

S1001：获得车辆周围的环境感知信息；

S1002：对所述环境感知信息进行目标检测，获得多个目标的检测结果信息；

S1003：针对在当前感知时刻未被传感器感知到的目标，通过对该目标进行行为轨迹预测，确定出该目标在当前感知时刻的位置信息；

关于前述步骤S801至S803可以与前述实施例三S401至S403相同，这里不再详述。

S1004：根据当前感知时刻感知到的目标的位置检测结果，以及未感知到的目标的位置预测结果，进行自动驾驶决策。

在本申请实施例中，由于是面向自动驾驶场景，因此，在获得具体目标的行为轨迹预测信息后，可以直接根据所述环境感知信息以及所述多个目标的行为轨迹预测结果进行自动驾驶决策。具体的，可以根据所述环境感知信息以及目标的行为轨迹预测结果判断是否存在某目标对所述当前车辆形成障碍，根据判断结果做出具体的驾驶决策。例如，通过环境感知信息获知当前车辆存在一个车辆A，除此之外没有其他车辆，在车辆A的速度比较慢的情况下，自动驾驶系统可能会做出超过该车辆A的驾驶决策；但是，通过行为轨迹预测结果可知，该车辆A的前方实际上有移动物体正在横穿道路，因此，就可以结合前述环境感知信息以及所述目标行为预测结果共同做出不再超车的决策，等等。

通过该实施例二提供的方案，在进行自动驾驶决策的过程中，不仅可以参考传感器感知到的环境感知信息，还可以结合以目标为单位获得的行为轨迹预测结果，获得关于物理世界的更全面、更详细的信息，从而做出更准确的驾驶决策，降低交通事故的发生概率。

实施例五

在该实施例五中，针对事故责任认定等场景提供了另一种应用。也就是说，在本申请实施例中，由于能够从感知到的环境图像序列(视频等)信息中检测出具体的目标，并以目标为单位分别进行行为轨迹的预测，因此，还可以以目标为单位进行“分轨”录制，分别保存各个目标对应的行为轨迹预测结果信息。这样，后续在对录制的信息进行回放时，则还可以进行“分轨”回放，例如，可以选择将部分目标的图像删除掉，只保留需要关注的目标的图像，以便更清晰得看清楚该目标的完整信息，而避免受到其他目标的遮挡，进而更准确地进行责任认定，等等。

从系统架构角度而言，如图1所示，对于交通场景而言，具体的摄像头等传感器可以安装在车辆或者路侧设备上，具体的目标行为预测以及图像分轨录制功能则可以在车辆的控制系统或者云端来实现。或者，还可以在停车场、商场、学校等其他需要安装监控系统的场景中实现上述录制功能，此时，具体的目标行为预测以及图像分轨录制功能则可以在监控系统的服务器一侧来实现。

另外，还可以提供用于对上述分轨录制的图像进行播放的播放器，该播放器可以以软件的形式存在，能够识别图像分轨录制产生的结构化信息，还能够实现根据实际采集到的图像与行为轨迹预测出的信息进行合成，生成图像进行播放的功能。另外，还可以在该播放器中提供用于分别对不同的目标进行控制的操作选项，使得用户可以通过这种操作选项选择播放或者不播放哪个或哪些目标的图像，等等。

具体的，该实施例五首先针对图像录制的过程，提供了一种图像序列录制方法，参见图11，该方法具体可以包括：

S1101：获得传感器感知到的环境图像序列数据；

由于录制的对象主要是图像数据，因此，主要可以获得摄像头等传感器感知到的环境图像序列数据。具体的，可以包括道路交通场景中采集到的环境图像序列数据，此时，具体的目标可以包括道路交通场景中的多个交通参与者。或者，也可以包括在监控场景中感知到的环境图像序列数据，具体的目标可以包括人、车辆，等等。

S1102：对所述环境图像序列数据进行目标检测，获得多个目标在多帧图像的检测结果信息；

S1103：针对在当前感知时刻未被传感器感知到的目标，通过对该目标进行行为轨迹预测，确定出该目标在当前感知时刻的位置信息；

S1104：以目标为单位，分别对多个目标的位置信息进行录制，所述记录的位置信息包括在感知到所述目标的图像中检测出的目标所在的位置信息，以及在未感知到所述目标的图像中预测出的目标所在的位置信息。

在交通事故责任认定或者监控数据回放的场景下，可以对采集到的图像序列信息进行保存，以用于有必要的情况下(例如，发生了交通事故后，或者被监控场所发生了一些事件后，等等)进行回放查看。而在本申请实施例中，由于不仅可以获取具体的环境图像序列，还能够根据环境图像序列预测出多个目标的行为轨迹信息，因此，也可以分别对各个目标的行为轨迹信息进行记录，以作为录制的环境图像序列的补充。后续在进行播放时，可以将传感器检测到的环境图像序列与预测出的行为轨迹信息进行合成，生成具体的合成图像再进行播放，并且能够实现以目标为单位的播放，以便更完整的查看一个目标的完整的行为轨迹。

实施例六

该实施例六是从前述实施例五中提到的播放器的角度，提供了一种对录制的图像序列进行回放方法，参见图12，该方法具体可以包括：

S1201：获得图像序列录制结果，所述录制结果中包括：多个目标分别在在感知到所述目标的图像中检测出的目标所在的位置信息，以及在未感知到所述目标的图像中预测出的目标所在的位置信息，所述预测出的目标所在的位置信息是根据所历史检测结果中，所述感知到所述目标的图像中检测出的位置信息对目标的行为轨迹预测结果确定的；

S1202：对需要回放的指定目标对应的录制结果进行回放。

具体的，与向驾驶员投射图像的过程类似，在生成其中某感知时刻对应的图像时，如果根据所述多个目标在该感知时刻的位置预测结果信息确定出其中一个或多个目标被其他目标遮挡，则可以对造成遮挡的目标进行透视化处理，并展示出被遮挡的目标。

其中，对于被遮挡的目标，可以根据所述被遮挡的目标在历史感知时刻获取到的图像信息，以及在预测出的当前感知时刻的位置信息，在对应的位置处对该被遮挡目标的图像进行绘制。也就是说，如果某目标处于被另一目标遮挡的状态，则在实际采集到的图像序列中是不存在该目标的图像的，而在本申请实施例中，则可以根据具体的预测结果，将这种实际被遮挡的目标的图像绘制出来，并且可以将造成遮挡的目标的图像进行半透视化处理，使得既可以体现出该造成遮挡的目标的存在，还可以“透过”该目标展示出被该目标遮挡的目标的图像。

另外，在具体实现时，由于本申请实施例中具体通过播放器播放的图像可以是根据实际采集到的环境感知图像以及预测出的具体目标的行为轨迹信息生成的，也就是说，实际播放的图像是合成的图像，并且，在合成的过程中，能够获知具体有哪些目标，图像中的哪些内容分别与哪个目标相对应，等等。因此，在具体实现时，还可以通过播放器提供用于对多个目标分别进行回放控制的操作选项，这样，通过所述操作选项确定出需要进行回放的目标后，可以利用该目标在多个数据采集时刻检测出的位置信息或预测出的位置信息生成关于该目标的图像序列并进行播放。也就是说，在对录制的图像进行回放的过程中，可以根据实际的需求选择仅查看其中某个或者某些目标的情况，其中，由于对各个目标都可以进行行为路径预测，因此，在展示的过程中，即使某目标在传感器采集到的图像序列的某些帧中被其他目标遮挡，本申请实施例也能够展示出该目标在被其他目标遮挡时所在的位置、状态等信息，从而更完整的还原目标的运动轨迹。进而，可以为交通事故定责或者事件发生过程中真实情况的还原提供更全面的参考依据。

关于上述实施例四至实施例六中的未详述部分，可以参见前述实施例三中的记载，这里不再赘述。

与实施例一相对应，本申请实施例还提供了一种图像录制装置，参见图13，该装置可以包括：

环境感知信息获得单元1301，用于获得传感器感知到的环境图像序列数据；

目标检测单元1302，用于对所述环境图像序列数据进行目标检测，获得多个目标在多帧图像的检测结果信息；

第一录制单元1303，用于分别对所述多个目标在多帧图像的检测结果信息进行录制，以用于以目标为单位进行录制结果的回放。

其中，所述环境图像序列数据包括：在道路交通场景中感知到的环境图像序列数据；此时，所述多个目标包括道路交通场景中的多个交通参与者。

或者，所述环境图像序列数据包括：在监控场景中感知到的环境图像序列数据。

与实施例二相对应，本申请实施例还提供了一种对录制的图像序列进行回放装置，参见图14，该装置可以包括：

第一录制结果获得单元1401，用于获得图像序列录制结果，所述录制结果中包括：通过对传感器感知到的环境图像序列进行目标检测，并以目标为单位分别记录的多个目标对应的检测结果；

第一回放单元1402，用于对所述录制结果进行回放。

与实施例三相对应，本申请实施例还提供了一种辅助驾驶信息提供装置，参见图15，该装置具体可以包括：

环境感知信息获得单元1501，用于获得当前车辆周围的环境感知信息；

目标检测单元1502，用于对所述环境感知信息进行目标检测，获得多个目标的检测结果信息；

预测单元1503，用于针对在当前感知时刻未被传感器感知到的目标，通过对该目标进行行为轨迹预测，确定出该目标在当前感知时刻的位置信息；

辅助驾驶信息提供单元1504，用于将所述未被传感器感知到的目标对应的位置信息，作为当前感知时刻获得的感知信息的补充信息，并为当前车辆的驾驶员提供辅助驾驶信息。

其中，所述预测的结果包括：多个目标在当前环境感知时刻分别对应的位置信息；

此时，辅助驾驶信息提供单元具体可以用于：

根据预测出的多个目标在当前环境感知时刻分别对应的位置信息，进行图像生成并展示。

另外，所述预测的结果还包括目标的外部灯具的状态信息；

所述辅助驾驶信息提供单元还可以用于：

根据所述多个目标分别对应的所述位置信息以及外部灯具的状态信息，进行图像生成并展示。

具体的，所述辅助驾驶信息提供单元可以用于：

对于在当前环境感知时刻被传感器感知到的目标，通过感知信息中的位置信息生成该目标的图像；

对于在当前环境感知时刻未被传感器感知到的目标，通过所述预测出的位置信息生成该目标的图像。

从一个角度而言，所述辅助驾驶信息提供单元可以用于：

在生成当前感知时刻对应的图像时，如果根据所述多个目标在该感知时刻的位置预测结果信息确定出其中一个或多个目标被其他目标遮挡，则对造成遮挡的目标进行透视化处理，并展示出被遮挡的目标。

具体的，对于被遮挡的目标，可以根据所述被遮挡的目标在历史感知时刻获取到的图像信息，以及在预测出的当前感知时刻的位置信息，在对应的位置处对该被遮挡目标的图像进行绘制。

其中，所述辅助驾驶信息提供单元具体可以用于：将所生成的图像投射到预设的位置，以便驾驶员进行查看。

另外，所述辅助驾驶信息提供单元可以包括：

障碍判断子单元，用于根据所述环境感知信息以及所述目标的行为轨迹预测结果判断是否存在某目标对所述当前车辆形成障碍，并且该目标处于被其他目标遮挡的状态；

提示子单元，用于如果存在，则提供关于所述障碍的提示信息。

其中，在一种具体的实现方式下，所述障碍判断子单元具体可以用于：

在多车跟车行驶的状态下，判断排在前面的车辆前方是否出现移动物体横穿道路，如果存在，则将该移动物体确定为对当前车辆形成障碍的目标。

或者，在另一种具体的实现方式下，所述障碍判断子单元可以用于：

在多车跟车行驶的状态下，判断被前方车辆遮挡的车辆是否执行紧急刹车行为，如果存在，则将该紧急刹车的车辆确定为对当前车辆形成障碍的目标。

具体的，所述目标检测单元具体可以用于：

获得多个目标在所述环境感知信息中的位置信息；

所述预测单元具体可以用于：

根据所述多个目标分别在历史环境感知信息中的位置信息，对目标进行行为检测。

另外，所述多个目标的检测结果信息还可以包括：所述多个目标分别对应的物体类型信息；

所述预测单元具体可以用于：

根据所述多个目标分别在历史环境感知信息中的位置以及物体类型信息，对目标进行行为轨迹预测。

另外，所述环境感知信息获得单元具体可以用于：

获得多种不同类型的传感器设备感知的环境感知信息；

此时，目标检测单元具体可以用于：

通过融合多种不同类型传感器设备对应的检测结果信息，获得所述目标的检测结果信息。

与实施例四相对应，本申请实施例还提供了一种自动驾驶过程中的决策装置，参见图16，该装置具体可以包括：

环境感知信息获得单元1601，用于获得当前车辆周围的环境感知信息；

目标检测单元1602，用于对所述环境感知信息进行目标检测，获得多个目标的检测结果信息；

预测单元1603，用于针对在当前感知时刻未被传感器感知到的目标，通过对该目标进行行为轨迹预测，确定出该目标在当前感知时刻的位置信息；

驾驶决策单元1604，用于当前感知时刻感知到的目标的位置检测结果，以及未感知到的目标的位置预测结果，进行自动驾驶决策。

其中，所述驾驶决策单元具体可以用于：

根据所述环境感知信息以及所述目标的行为轨迹预测结果判断是否存在某目标对所述当前车辆形成障碍，根据判断结果进行对应的驾驶决策。

与实施例五相对应，本申请实施例还提供了一种图像序列录制装置，参见图17，该装置具体可以包括：

图像序列数据获得单元1701，用于获得传感器感知到的环境图像序列数据；

目标检测单元1702，用于对所述环境图像序列数据进行目标检测，获得多个目标在多帧图像的检测结果信息；

预测单元1703，用于针对在当前感知时刻未被传感器感知到的目标，通过对该目标进行行为轨迹预测，确定出该目标在当前感知时刻的位置信息；

第二录制单元1704，用于以目标为单位，分别对多个目标的位置信息进行录制，所述记录的位置信息包括在感知到所述目标的图像中检测出的目标所在的位置信息，以及在未感知到所述目标的图像中预测出的目标所在的位置信息。

其中，所述环境图像序列数据包括：在道路交通场景中感知到的环境图像序列数据；所述多个目标包括道路交通场景中的多个交通参与者。

与实施例六相对应，本申请实施例还提供了一种对录制的图像序列进行回放装置，参见图18，该装置具体可以包括：

第二录制结果获得单元1801，用于获得图像序列录制结果，所述录制结果中包括：多个目标分别在在感知到所述目标的图像中检测出的目标所在的位置信息，以及在未感知到所述目标的图像中预测出的目标所在的位置信息，所述预测出的目标所在的位置信息是根据所历史检测结果中，所述感知到所述目标的图像中检测出的位置信息对目标的行为轨迹预测结果确定的；

第二回放单元1802，用于对需要回放的指定目标对应的录制结果进行回放。

具体的，所述播放单元具体可以用于：

在生成其中某感知时刻对应的图像时，如果根据所述多个目标在该感知时刻的位置预测结果信息确定出其中一个或多个目标被其他目标遮挡，则对造成遮挡的目标进行透视化处理，并展示出被遮挡的目标。

其中，可以根据所述被遮挡的目标在历史感知时刻获取到的图像信息，以及在预测出的当前感知时刻的位置信息，在对应的位置处对该被遮挡目标的图像进行绘制。

另外，该装置还可以包括：

控制操作选项提供单元，用于提供用于对多个目标分别进行回放控制的操作选项；

目标控制单元，用于通过所述操作选项确定出需要进行回放的目标后，利用该目标在多个数据采集时刻预测出的位置信息生成关于该目标的图像序列并进行播放。

另外，本申请实施例还提供了一种计算机系统，包括：

一个或多个处理器；以及

获得传感器感知到的环境图像序列数据；

或者，

对所述录制结果进行回放。

或者，

获得当前车辆周围的环境感知信息；

或者，

获得当前车辆周围的环境感知信息；

当前感知时刻感知到的目标的位置检测结果，以及未感知到的目标的位置预测结果，进行自动驾驶决策。

或者，

获得传感器感知到的环境图像序列数据；

或者，

对需要回放的指定目标对应的录制结果进行回放。

其中，图19示例性的展示出了电子设备的架构，具体可以包括处理器1910，视频显示适配器1911，磁盘驱动器1912，输入/输出接口1913，网络接口1914，以及存储器1920。上述处理器1910、视频显示适配器1911、磁盘驱动器1912、输入/输出接口1913、网络接口1914，与存储器1920之间可以通过通信总线1930进行通信连接。

其中，处理器1910可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请所提供的技术方案。

存储器1920可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1920可以存储用于控制电子设备1900运行的操作系统1921，用于控制电子设备1900的低级别操作的基本输入输出系统(BIOS)。另外，还可以存储网页浏览器1923，数据存储管理系统1924，以及环境图像处理系统1925等等。上述环境图像处理系统1925就可以是本申请实施例中具体实现前述各步骤操作的应用程序。总之，在通过软件或者固件来实现本申请所提供的技术方案时，相关的程序代码保存在存储器1920中，并由处理器1910来调用执行。

输入/输出接口1913用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

网络接口1914用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1930包括一通路，在设备的各个组件(例如处理器1910、视频显示适配器1911、磁盘驱动器1912、输入/输出接口1913、网络接口1914，与存储器1920)之间传输信息。

另外，该电子设备1900还可以从虚拟资源对象领取条件信息数据库1941中获得具体领取条件的信息，以用于进行条件判断，等等。

需要说明的是，尽管上述设备仅示出了处理器1910、视频显示适配器1911、磁盘驱动器1912、输入/输出接口1913、网络接口1914，存储器1920，总线1930等，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本申请方案所必需的组件，而不必包含图中所示的全部组件。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统或系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统及系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上对本申请所提供的图像录制、回放方法、装置及计算机系统，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本申请的限制。

Claims

1.一种图像录制方法，其特征在于，包括：

获得传感器感知到的环境图像序列数据；

2.根据权利要求1所述的方法，其特征在于，

所述分别对所述多个目标在多帧图像的检测结果信息进行录制，包括：

创建空的录像文件；

根据所述多个目标在多帧图像的检测结果信息，生成所述多个目标分别对应的行为轨迹数据；

将所述多个目标分别对应的行为轨迹数据写入到所述录像文件中。

3.根据权利要求2所述的方法，其特征在于，还包括

接收用于表示所述目标的标识的标注信息，并写入到所述录像文件中。

4.根据权利要求1所述的方法，其特征在于，

所述环境图像序列数据包括：在道路交通场景中感知到的环境图像序列数据；

所述多个目标包括道路交通场景中的多个交通参与者。

5.根据权利要求1所述的方法，其特征在于，

所述环境图像序列数据包括：在监控场景中感知到的环境图像序列数据。

6.一种对录制的图像序列进行回放方法，其特征在于，包括：

对所述录制结果进行回放。

7.根据权利要求6所述的方法，其特征在于，

所述对所述录制结果进行回放，包括：

确定需要进行回放的指定目标；

对所述指定目标对应的录制结果进行回放。

8.根据权利要求6所述的方法，其特征在于，

所述对所述录制结果进行回放，包括：

将所述多个目标分别对应的录制结果进行合成，并对合成结果进行回放。

9.根据权利要求8所述的方法，其特征在于，还包括：

在对所述合成结果进行回放的过程中，接收对回放画面中的指定目标执行的交互操作，并回放该指定目标对应的录制结果。

10.根据权利要求6所述的方法，其特征在于，

所述录制结果中还包括：对所述传感器感知到的环境图像序列直接进行录制得到的录制结果；

所述对所述录制结果进行回放，包括：

对所述直接录制的录制结果进行回放；

接收对回放画面中的指定目标执行的交互操作，并回放该指定目标对应的录制结果。

11.根据权利要求7、9或10所述的方法，其特征在于，

所述录制结果包括：包含有多个目标分别对应的行为轨迹数据的录像文件；

所述回放指定目标对应的录制结果，包括：

通过回放所述指定目标对应的录制结果，对所述指定目标的行为轨迹进行展示。

12.根据权利要求11所述的方法，其特征在于，

所述录像文件中还包括用于表示所述目标的标识的标注信息；

所述方法还包括：

从所述录像文件中读取标注信息；

在回放所述将所述指定目标的行为轨迹的过程中展示所述标注信息。

13.一种辅助驾驶信息提供方法，其特征在于，包括：

获得当前车辆周围的环境感知信息；

14.根据权利要求13所述的方法，其特征在于，

所述行为轨迹预测的结果包括：多个目标在当前环境感知时刻分别对应的位置信息；

所述为车辆的驾驶员提供辅助驾驶信息，包括：

15.根据权利要求14所述的方法，其特征在于，

所述行为轨迹预测的结果还包括目标的外部灯具的状态信息；

所述进行图像生成并展示，包括：

16.根据权利要求13所述的方法，其特征在于，

所述进行图像生成并展示，包括：

17.根据权利要求13所述的方法，其特征在于，

所述进行图像生成并展示，包括：

18.根据权利要求17所述的方法，其特征在于，

所述展示出被遮挡的目标，包括：

根据所述被遮挡的目标在历史感知时刻获取到的图像信息，以及在预测出的当前感知时刻的位置信息，在对应的位置处对该被遮挡目标的图像进行绘制。

19.根据权利要求13所述的方法，其特征在于，

所述进行图像生成并展示，包括：

将所生成的图像投射到预设的位置，以便驾驶员进行查看。

20.根据权利要求13所述的方法，其特征在于，

所述为当前车辆的驾驶员提供辅助驾驶信息，包括：

根据所述环境感知信息以及所述目标的行为轨迹预测结果判断是否存在某目标对所述当前车辆形成障碍，并且该目标处于被其他目标遮挡的状态；

如果存在，则提供关于所述障碍的提示信息。

21.根据权利要求20所述的方法，其特征在于，

所述根据所述环境感知信息以及所述目标的行为轨迹预测结果判断是否存在某目标对所述当前车辆形成障碍，包括：

22.根据权利要求20所述的方法，其特征在于，

23.根据权利要求13至22任一项所述的方法，其特征在于，

所述获得多个目标的检测结果信息，包括：

获得多个目标在所述环境感知信息中的位置信息；

所述对目标进行行为轨迹预测，包括：

24.根据权利要求13至22任一项所述的方法，其特征在于，

所述多个目标的检测结果信息还包括：所述多个目标分别对应的物体类型信息；

所述对目标进行行为轨迹预测，包括：

25.根据权利要求13至22任一项所述的方法，其特征在于，

所述获得当前车辆周围的环境感知信息，包括：

获得多种不同类型的传感器设备感知的环境感知信息；

所述获得多个目标的检测结果信息，包括：

26.一种自动驾驶过程中的决策方法，其特征在于，包括：

获得当前车辆周围的环境感知信息；

27.根据权利要求26所述的方法，其特征在于，

所述进行自动驾驶决策，包括：

根据所述环境感知信息以及所述目标的行为轨迹预测结果判断是否存在某目标对所述当前车辆形成障碍；

根据判断结果进行对应的驾驶决策。

28.一种图像序列录制方法，其特征在于，包括：

获得传感器感知到的环境图像序列数据；

29.根据权利要求28所述的方法，其特征在于，

所述多个目标包括道路交通场景中的多个交通参与者。

30.根据权利要求28所述的方法，其特征在于，

31.一种对录制的图像序列进行回放方法，其特征在于，包括：

对需要回放的指定目标对应的录制结果进行回放。

32.根据权利要求31所述的方法，其特征在于，还包括：

33.根据权利要求32所述的方法，其特征在于，

所述展示出被遮挡的目标，包括：

34.根据权利要求32所述的方法，其特征在于，还包括：

提供用于对多个目标分别进行回放控制的操作选项；

通过所述操作选项确定出需要进行回放的目标后，利用该目标在多个数据采集时刻检测出的位置信息或预测出的位置信息生成关于该目标的图像序列并进行播放。

35.一种图像录制装置，其特征在于，包括：

36.一种对录制的图像序列进行回放装置，其特征在于，包括：

第一回放单元，用于对所述录制结果进行回放。

37.一种辅助驾驶信息提供装置，其特征在于，包括：

38.一种自动驾驶过程中的决策装置，其特征在于，包括：

39.一种图像序列录制装置，其特征在于，包括：

40.一种对录制的图像序列进行回放装置，其特征在于，包括：

41.一种计算机系统，其特征在于，包括：

一个或多个处理器；以及

获得传感器感知到的环境图像序列数据；

42.一种计算机系统，其特征在于，包括：

一个或多个处理器；以及

对所述录制结果进行回放。

43.一种计算机系统，其特征在于，包括：

一个或多个处理器；以及

获得当前车辆周围的环境感知信息；

44.一种计算机系统，其特征在于，包括：

一个或多个处理器；以及

获得当前车辆周围的环境感知信息；

45.一种计算机系统，其特征在于，包括：

一个或多个处理器；以及

获得传感器感知到的环境图像序列数据；

46.一种计算机系统，其特征在于，包括：

一个或多个处理器；以及

对需要回放的指定目标对应的录制结果进行回放。