CN110991260B - 场景标注方法、装置、设备及存储介质 - Google Patents

Abstract

本申请公开了一种场景标注方法、装置、设备及存储介质，属于人工智能技术领域。本实施例提供了一种高效的场景标注方法，通过按照一定的帧率，快速地播放图像集中各个待标注的图像，从而以视频的方式，将图像集展示给标注者。通过该方法，能够通过图像序列的快速展示，帮助标注者识别出图像内容的变化，从而有助于标注者快速确定图像对应的场景。此外，通过自动的切换显示图像集中的每个图像，免去了标注者一张一张手动翻页的繁琐操作，从而节省了大量图像切换操作会带来的时间成本和人力成本，极大地加快了场景标注的速度。尤其是，能够批量化地对已播放的同一场景的各个图像进行标注，从而极大地提高了场景标注的效率。

Description

场景标注方法、装置、设备及存储介质

技术领域

本申请涉及人工智能技术领域，特别涉及一种场景标注方法、装置、设备及存储介质。

背景技术

在人工智能技术以及自动驾驶领域，为了让汽车能够自动识别出行驶过程中的场景，比如变道、超车、雨天等，通常会预先采集图像集，图像集包含各种场景的图像，通过对每个场景标注对应的场景，利用已标注的图像集，对模型进行训练，以使汽车在实际驾驶过程中，当采集到周围的图像时，可以应用已训练的模型，通过图像识别出所处的场景，以便根据场景来决策驾驶策略。由此可见，场景标注的过程对于自动驾驶技术而言是至关重要的。

由于场景通常是一个持续的过程，用户通常需要一张一张地手动翻阅多张图像的内容，才能确定出图像对应的场景，从而进行场景标注。具体而言，场景标注的方法通常是：首先，电子设备显示图像集中的第一个图像，用户查看第一个图像后，如果不能确定图像对应的场景，则记住第一个图像的内容，再触发图像切换操作。电子设备会响应于点击操作，将当前显示的图像从第一个图像切换为第二个图像。用户查看第二个图像后，会依据对第一个图像的记忆以及第二个图像的内容，判断第一个图像和第二个图像对应的场景，如果仍然不能确定图像对应的场景，则记住第一个图像和第二个图像的内容，再次触发图像切换操作，依次类推，直至用户根据已经查看的每个图像的内容，能够确定图像对应的场景后，用户会对当前显示的图像触发标注操作，标注该图像所属的场景；之后，用户会重新执行触发图像切换操作，从而一张一张地翻出之前没能确定出场景的图像，对这些图像中的每张图像逐个触发标注操作，从而为这些场景标注场景。

采用上述方法进行标注时，用户需要执行大量的图像切换操作，造成场景标注操作较为繁琐，造成场景标注带来的时间成本较大，因此导致场景标注效率低下。

发明内容

本申请实施例提供了一种场景标注方法、装置、设备及存储介质，能够解决相关技术中场景标注操作繁琐、效率低下的问题。所述技术方案如下：

一方面，提供了一种场景标注方法，所述方法包括：

获取待标注的图像集；按照第一帧率，对所述图像集进行播放；接收标注指令，所述标注指令用于指示已播放的片段属于目标场景；确定所述图像集中已播放的至少一个图像；向所述至少一个图像添加所述目标场景对应的标签。

可选地，所述确定所述图像集中已播放的至少一个图像，包括：根据接收到标注指令的时间点，确定所述图像集中的目标图像，所述目标图像为接收到标注指令时播放的图像；确定所述图像集中播放的首帧图像与所述目标图像之间的每个图像；或者，确定上一次接收到标注指令时播放的图像与所述目标图像之间的每个图像。

可选地，所述按照第一帧率，对所述图像集进行播放，包括：检测所述图像集对应的标注任务的类型，如果所述标注任务为场景标注任务，按照第一帧率，对所述图像集进行播放。

可选地，所述按照第一帧率，对所述图像集进行播放，包括：获取所述图像集中至少一个图像之间的图像相似度，如果所述至少一个图像的相似度超过相似度阈值，按照第一帧率，对所述图像集进行播放。

可选地，所述按照第一帧率，对所述图像集进行播放，包括：按照默认的第一帧率，对所述图像集进行播放；或者，按照用户配置的第一帧率，对所述图像集进行播放。

可选地，所述方法还包括：在播放过程中，检测到帧率调整操作；按照所述帧率调整操作对应的第二帧率，对所述图像集中未播放的图像继续进行播放。

可选地，所述方法还包括：根据所述图像集中的图像数量以及所述第一帧率，显示所述图像集的总播放时长；或者，根据所述图像集中已播放的图像数量以及所述第一帧率，显示所述图像集的已播放时长；或者，根据所述图像集中未播放的图像数量以及所述第一帧率，显示所述图像集的待播放时长。

可选地，所述方法还包括：在播放过程中，接收倒放指令，所述倒放指令用于指示倒退至所述图像集的第一图像重新播放，将所述图像集的当前播放图像切换至所述第一图像，对所述第一图像开始的每个图像进行播放。

可选地，所述方法还包括：在播放过程中，接收快进指令，所述快进指令用于指示快进至所述图像集的第二图像开始播放，将所述图像集的当前播放图像切换至所述第二图像，对所述第二图像开始的每个图像进行播放。

另一方面，提供了一种场景标注装置，所述装置包括：

获取模块，用于获取待标注的图像集；播放模块，用于按照第一帧率，对所述图像集进行播放；接收模块，用于接收标注指令，所述标注指令用于指示已播放的片段属于目标场景；确定模块，用于确定所述图像集中已播放的至少一个图像；标注模块，用于向所述至少一个图像添加所述目标场景对应的标签。

可选地，所述确定模块，用于根据接收到标注指令的时间点，确定所述图像集中的目标图像，所述目标图像为接收到标注指令时播放的图像；确定所述图像集中播放的首帧图像与所述目标图像之间的每个图像。

可选地，所述确定模块，用于根据接收到标注指令的时间点，确定所述图像集中的目标图像，所述目标图像为接收到标注指令时播放的图像；确定上一次接收到标注指令时播放的图像与所述目标图像之间的每个图像。

可选地，所述装置还包括：检测模块，用于检测所述图像集对应的标注任务的类型；所述播放模块，用于如果所述标注任务为场景标注任务，按照第一帧率，对所述图像集进行播放；

可选地，所述装置还包括：显示模块，用于如果所述标注任务为所述场景标注任务之外的其他标注任务，当接收到切换指令时，将所述图像集中当前显示的图像切换为下一个图像。

可选地，所述获取模块，还用于获取所述图像集中至少一个图像之间的图像相似度；所述播放模块，用于如果所述至少一个图像的相似度超过相似度阈值，按照第一帧率，对所述图像集进行播放。

可选地，所述播放模块，用于按照默认的第一帧率，对所述图像集进行播放；或者，按照用户配置的第一帧率，对所述图像集进行播放。

可选地，所述装置还包括：检测模块，用于在播放过程中，检测到帧率调整操作；所述播放模块，还用于按照所述帧率调整操作对应的第二帧率，对所述图像集中未播放的图像继续进行播放。

可选地，所述装置还包括：显示模块，用于根据所述图像集中的图像数量以及所述第一帧率，显示所述图像集的总播放时长。

可选地，所述装置还包括：显示模块，用于根据所述图像集中已播放的图像数量以及所述第一帧率，显示所述图像集的已播放时长。

可选地，所述装置还包括：显示模块，用于根据所述图像集中未播放的图像数量以及所述第一帧率，显示所述图像集的待播放时长。

可选地，所述接收模块，还用于在播放过程中，接收倒放指令，所述倒放指令用于指示倒退至所述图像集的第一图像重新播放；所述装置还包括：切换模块，用于将所述图像集的当前播放图像切换至所述第一图像，对所述第一图像开始的每个图像进行播放。

可选地，所述接收模块，还用于在播放过程中，接收快进指令，所述快进指令用于指示快进至所述图像集的第二图像开始播放；所述装置还包括：切换模块，用于将所述图像集的当前播放图像切换至所述第二图像，对所述第二图像开始的每个图像进行播放。

另一方面，提供了一种电子设备，所述电子设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行以实现上述场景标注方法所执行的操作。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现上述场景标注方法所执行的操作。

本申请实施例提供的技术方案带来的有益效果至少包括：

本实施例提供了一种高效的场景标注方法，通过按照一定的帧率，快速地播放图像集中各个待标注的图像，从而以视频的方式，将图像集展示给标注者。通过该方法，能够通过图像序列的快速展示，帮助标注者识别出图像内容的变化，从而有助于标注者快速确定图像对应的场景。此外，通过自动的切换显示图像集中的每个图像，免去了标注者一张一张手动翻页的繁琐操作，从而节省了大量图像切换操作会带来的时间成本和人力成本，极大地加快了场景标注的速度。尤其是，能够批量化地对已播放的同一场景的各个图像进行标注，从而极大地提高了场景标注的效率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种场景标注系统的架构图；

图2是本申请实施例提供的一种场景标注方法的流程图；

图3是本申请实施例提供的一种场景标注方法的流程图；

图4是本申请实施例提供的一种场景标注方法的流程图；

图5是本申请实施例提供的一种场景标注装置的结构示意图；

图6是本申请实施例提供的一种终端的结构示意图；

图7是本申请实施例提供的一种服务器的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本申请中的字符“/”，一般表示前后关联对象是一种“或”的关系。

本申请中术语“多个”的含义是指两个或两个以上，例如，多个数据包是指两个或两个以上的数据包。

本申请中术语“第一”“第二”等字样用于对作用和功能基本相同的相同项或相似项进行区分，应理解，“第一”、“第二”、“第n”之间不具有逻辑或时序上的依赖关系，也不对数量和执行顺序进行限定。

以下，示例性介绍本申请的应用场景。

在自动驾驶领域，汽车在驾驶过程中，汽车要准确识别出车身周围的场景和物体，以便根据周围的场景和物体，对驾驶动作进行精准的控制。因此，汽车通常会携带各类传感器和摄像头，以便利用携带的传感器和摄像头，实时采集各类图像，将图像发送给控制系统，控制系统可以利用图像来进行实时处理和决策，从而实现自动驾驶的功能。有鉴于此，图像的识别能力，是自动驾驶领域极为重要的研究内容。

图像的识别能力通常是利用已标注的图像集训练得到的。具体地，在汽车驾驶过程中，可以实时采集到图像，通过预先对采集的图像进行标注，比如标注该图像是道路、障碍物还是行人等，使用已标注的图像训练模型后，能够让控制系统在实际驾驶过程中，当采集到未知的图像时，能够利用已训练的模型，从图像中识别出所处的场景以及周围的物体。

以下，示例性介绍本申请的系统架构。

图1是本申请实施例提供的一种场景标注系统的系统架构图。该场景标注系统包括：终端110和场景标注平台120。终端110通过无线网络或有线网络与场景标注平台120相连。

终端110可以是智能手机、游戏主机、台式计算机、平板电脑、电子书阅读器、MP3(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器或MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器和膝上型便携计算机中的至少一种。终端110安装和运行有支持场景标注的应用程序。该应用程序可以是场景标注工具，该应用程序可以具有专用的客户端，也可以通过浏览器在网页中运行。示例性的，终端110是用户使用的终端，终端110中运行的应用程序内登录有用户账号。

场景标注平台120包括一台服务器、多台服务器、云计算平台和虚拟化中心中的至少一种。场景标注平台120用于为支持场景标注的应用程序提供后台服务。可选地，场景标注平台120承担主要标注工作，终端110承担次要标注工作；或者，场景标注平台120承担次要标注工作，终端110承担主要标注工作；或者，场景标注平台120或终端110分别可以单独承担标注工作。

可选地，场景标注平台120包括：场景标注服务器1201和数据库1202。场景标注服务器1201用于提供场景标注有关的后台服务。场景标注服务器1201可以是一台或多台。当场景标注服务器1201是多台时，存在至少两台场景标注服务器1201用于提供不同的服务，和/或，存在至少两台场景标注服务器1201用于提供相同的服务，比如以负载均衡方式提供同一种服务，本申请实施例对此不加以限定。场景标注服务器1201中可以设置有场景标注模型。数据库1202可以用于存储未标注的图像集或已标注的图像集，当终端110发起请求时，场景标注服务器1201可以访问数据库1202，得到终端110请求的图像集，返回给终端110。

终端110可以泛指多个终端中的一个，本实施例仅以终端110来举例说明。

本领域技术人员可以知晓，上述终端110以及场景标注服务器1201的数量可以更多或更少。比如上述终端110以及场景标注服务器1201可以仅为一个，或者上述终端110以及场景标注服务器1201为几十个或几百个，或者更多数量，此时上述场景标注系统还包括其他终端以及其他场景标注服务器。本申请实施例对终端和场景标注服务器的数量和设备类型均不加以限定。

图2是本申请实施例提供的一种场景标注方法的流程图。该发明实施例的执行主体为电子设备，参见图2，该方法包括：

201、获取待标注的图像集。

202、按照第一帧率，对图像集进行播放。

203、接收标注指令，标注指令用于指示已播放的片段属于目标场景。

204、确定图像集中已播放的至少一个图像。

205、向至少一个图像添加目标场景对应的标签。

本实施例提供了一种高效的场景标注方法，通过按照一定的帧率，快速地播放图像集中各个待标注的图像，从而以视频的方式，将图像集展示给标注者。通过该方法，能够通过图像序列的快速展示，帮助标注者识别出图像内容的变化，从而有助于标注者快速确定图像对应的场景。此外，通过自动的切换显示图像集中的每个图像，免去了标注者一张一张手动翻页的繁琐操作，从而节省了大量图像切换操作会带来的时间成本和人力成本，极大地加快了场景标注的速度。尤其是，能够批量化地对已播放的同一场景的各个图像进行标注，从而极大地提高了场景标注的效率。

可选地，确定图像集中已播放的至少一个图像，包括：根据接收到标注指令的时间点，确定图像集中的目标图像，目标图像为接收到标注指令时播放的图像；确定图像集中播放的首帧图像与目标图像之间的每个图像；或者，确定上一次接收到标注指令时播放的图像与目标图像之间的每个图像。

可选地，按照第一帧率，对该图像集进行播放，包括：检测该图像集对应的标注任务的类型，如果该标注任务为场景标注任务，按照第一帧率，对该图像集进行播放。

可选地，该照第一帧率，对该图像集进行播放，包括：获取该图像集中至少一个图像之间的图像相似度，如果该至少一个图像的相似度超过相似度阈值，按照第一帧率，对该图像集进行播放。

可选地，按照第一帧率，对图像集进行播放，包括：按照默认的第一帧率，对图像集进行播放；或者，按照用户配置的第一帧率，对图像集进行播放。

可选地，方法还包括：

在播放过程中，检测到帧率调整操作；按照帧率调整操作对应的第二帧率，对图像集中未播放的图像继续进行播放。

可选地，方法还包括：根据图像集中的图像数量以及第一帧率，显示图像集的总播放时长；或者，根据图像集中已播放的图像数量以及第一帧率，显示图像集的已播放时长；或者，根据图像集中未播放的图像数量以及第一帧率，显示图像集的待播放时长。

可选地，方法还包括：在播放过程中，接收倒放指令，倒放指令用于指示倒退至图像集的第一图像重新播放，将图像集的当前播放图像切换至第一图像，对第一图像开始的每个图像进行播放。

可选地，方法还包括：在播放过程中，接收快进指令，快进指令用于指示快进至图像集的第二图像开始播放，将图像集的当前播放图像切换至第二图像，对第二图像开始的每个图像进行播放。

图3是本申请实施例提供的一种场景标注方法的流程图。该实施例的执行主体为电子设备，参见图3，该方法包括：

301、电子设备获取待标注的图像集。

图像集可以包括一个或多个待标注的图像。图像可以包括人、物品、动物、场景等。例如，应用在自动驾驶的场景，图像集可以是车辆图像集、行人图像集、环境图像集、建筑图像集、道路图像集、天气图像集或者交通图像集中的至少一种，通过对这些图像集进行标注，后续利用已标注的图像集进行模型训练后，车辆利用模型，能够在驾驶过程中，通过实时采集的图像，精确地识别出旁边的车辆、附近的行人、所处的环境、周围的建筑、行驶的道路、当前的天气或者实时交通情况，从而感知周围的环境，以便根据环境，自动确定出驾驶策略。

获取图像集的方式可以包括多种，例如，电子设备可以在浏览器上接收到下载指令，通过浏览器下载待标注的图像集。其中，下载指令用于指示通过浏览器下载待标注的图像集，下载指令可以通过对浏览器的操作触发，下载指令可以携带图像集的标识，该图像集的标识用于标识对应的图像集，例如可以是图像集的身份标识号码(identification，ID)、名称或编号等。此外，该下载指令还可以携带图像集的地址，该图像集的地址可以是服务器的地址，比如可以是提供该数据集的网站的地址。

在一些实施例中，车辆在驾驶过程中可以采集图像，可以将车辆采集的每个图像存储至图像库，该图像库可以包括海量的图像，该图像库可以存储在服务器上；可以采用自动或人工的方式，对图像库进行分割，得到至少一个图像包，每个图像包用于以package(包)的形式承载标注任务，一个package大约包含100～200张图片，便于标注。电子设备可以从该至少一个图像包，选择目标图像包，该目标图像包是指包括该待标注的图像集的图像包，电子设备可以从服务器下载该目标图像包，从而得到待标注的图像集。

302、电子设备检测图像集对应的标注任务的类型。

303、如果标注任务为场景标注任务，电子设备按照第一帧率，对图像集进行播放。

电子设备可以将图像集作为一个图像序列，按照第一帧率，随着时间的推移，按照顺序依次展示图像集中的每个图像。例如，将图像集的第一个图像作为首帧图像，显示图像集的第一个图像，当经过第一帧率对应的时间间隔后，自动切换显示图像集中的第二个图像，当再次经过第一帧率对应的时间间隔后，自动切换显示图像集中的第三个图像，依次类推，直至显示图像集中的最后一个图像。通过快速地自动切换显示图像集中下一个图像，可以利用视觉暂留原理，欺骗人的视觉，让图像集的展示效果达到视频播放的效果，方便标注者通过图像集的动态显示来感知不同图像的内容变化，从而让不同图像之间的变化更加直观，同时免去了手动切换图像的繁琐操作。

第一帧率为播放图像集所使用的帧率，例如可以是10帧每秒。第一帧率的确定过程可以包括多种实现方式，以下通过实现方式一和实现方式二进行举例说明。

实现方式一、电子设备按照默认的第一帧率，对图像集进行播放。

第一帧率可以是默认设置的帧率，第一帧率可以由开发人员经过实验、经验或需求预先设置，第一帧率可以预先在电子设备中存储、

实现方式二、电子设备按照用户配置的第一帧率，对图像集进行播放。

用户可以通过配置操作，指定图像集播放的帧率，从而实现用户自定义配置帧率的功能。

在一些实施例中，实现方式二可以包括以下步骤一至步骤二：

步骤一、电子设备显示配置界面。

配置界面用于配置图像集的帧率，该配置界面包括帧率选项。帧率选项用于选择帧率。帧率选项可以是输入选项，也可以是选择选项。例如，帧率选项可以是下拉列表，当用户点击下拉列表后，电子设备可以显示多个帧率。

步骤二、电子设备根据对帧率选项触发的操作，确定第一帧率。

电子设备可以检测对帧率选项触发的操作，获取操作对应的帧率，作为第一帧率。例如，用户对帧率的下拉列表中点击了哪个帧率，则将哪个帧率作为第一帧率。

通过上述实现方式二，用户可以通过配置操作，来指定图像集的播放速度，从而实现自定义帧率，灵活性高。尤其是，可以根据实际的业务需求，来适应性地设置帧率。

在一些实施例中，可以在播放过程中，灵活地调整当前的帧率，以下通过步骤一至步骤二进行举例说明。

步骤一、在播放过程中，电子设备检测到帧率调整操作。

帧率调整操作用于调整播放图像集所使用的帧率。例如，电子设备可以显示帧率调整选项，用户可以对帧率调整选项触发操作，则电子设备会检测到帧率调整操作。示例性地，帧率调整选项可以记为播放速度调整选项，例如可以包括“0.5X、1X、2X、3X”这几个选项，其中0.5X表示将第一帧率的一半，1X表示第一帧率，2X表示第一帧率的二倍，3X表示第一帧率的三倍。

步骤二、电子设备按照帧率调整操作对应的第二帧率，对图像集中未播放的图像继续进行播放。

第二帧率是指帧率调整操作对应的帧率，第二帧率的具体数值可以由用户自定义设置。例如，第二帧率可以包括以下(1)至(2)中的任一种情况。

(1)第二帧率可以大于第一帧率，例如是第一帧率的整数倍。通过这种方式，按照第二帧率对图像集继续播放时，可以达到播放速度加快的效果。例如，如果用户对“2X”触发了操作，则电子设备会使用之前的帧率的二倍来对图像集继续播放，从而达到倍速播放的效果。

(2)第二帧率可以小于第一帧率，例如是第一帧率的一半。通过这种方式，按照第二帧率对图像集继续播放时，可以达到播放速度放慢的效果。例如，如果用户对“0.5X”触发了操作，则电子设备会使用之前的帧率的一半来对图像集继续播放，从而达到减速播放的效果。

在一些实施例中，可以在播放过程中实时提示当前的播放进度，以下通过实现方式一至实现方式三进行举例说明。

实现方式一、电子设备根据图像集中的图像数量以及第一帧率，显示图像集的总播放时长。

例如，可以获取图像数量与第一帧率之间的比值，得到图像集的总播放时长。例如，如果图像集共计包含100张图片，第一帧率为每秒10张图片，则图像集的总播放时长为10秒。通过实现方式一，可以提示标注者图像集总共需要多长时间能够播放完成。

实现方式二、电子设备根据图像集中已播放的图像数量以及第一帧率，显示图像集的已播放时长。

例如，可以获取已播放的图像数量与第一帧率之间的比值，得到图像集的总播放时长。例如，如果图像集已播放了30张图片，第一帧率为每秒10张图片，则图像集的已播放时长为30秒。通过实现方式二，可以提示标注者图像集已经播放了多长时间。

实现方式三、电子设备根据图像集中未播放的图像数量以及第一帧率，显示图像集的待播放时长。

例如，可以获取未播放的图像数量与第一帧率之间的比值，得到图像集的总播放时长。例如，如果图像集还剩余有70张图片未播放，第一帧率为每秒10张图片，则图像集的待播放时长为7秒。通过实现方式三，可以提示标注者图像集预计还要有多长时间能够播放完成。

在一些实施例中，可以在播放过程中，灵活地跳转至图像集中的任一个图像开始播放，从而根据需求快捷地调整图像集的播放进度，重新查看已播放的一些图像，或者跳过一些图像继续查看。以下通过实现方式一至实现方式二进行举例说明。

实现方式一、倒放

实现方式一可以包括以下步骤一至步骤二：

步骤一、电子设备在播放过程中，接收倒放指令。

倒放指令用于指示倒退至图像集的第一图像重新播放，该第一图像为图像集的当前播放图像之前的图像。例如，当前播放第15张图像，倒放指令用于指示倒退至图像集中第5张图像重新播放。

倒放指令可以根据倒放操作触发。例如，电子设备可以根据图像集的播放进度，显示进度条，该进度条可以包括可拖动的端点，用户可以将进度条的端点拖动至当前播放位置之前，从而触发倒放操作。

步骤二、电子设备将图像集的当前播放图像切换至第一图像，对第一图像开始的每个图像进行播放。

电子设备可以根据倒放指令，确定第一图像，倒退至第一图像重新播放，以便用户重看第一图像开始的每个图像。

实现方式二、快进

实现方式二可以包括以下步骤一至步骤二：

步骤一、在播放过程中，电子设备接收快进指令。

快进指令用于指示快进至图像集的第二图像开始播放，该第二图像为图像集的当前播放图像之后的图像。例如，当前播放第15张图像，倒放指令用于指示倒退至图像集中第25张图像重新播放。

快进指令可以根据快进操作触发。例如，电子设备可以根据图像集的播放进度，显示进度条，用户可以将进度条的端点拖动至当前播放位置之后，从而触发快进操作。

步骤二、电子设备将图像集的当前播放图像切换至第二图像，对第二图像开始的每个图像进行播放。

电子设备可以根据快进指令，确定第二图像，快进至第二图像重新播放，以便用户跳过之前播放的图像至第二图像之间的片段，查看第二图像开始的每个图像。

304、电子设备接收标注指令。

标注指令用于指示已播放的片段属于目标场景。标注指令可以包括目标场景的标识，标注指令可以通过标注操作触发。

305、电子设备确定图像集中已播放的至少一个图像。

在一些实施例中，可以根据已播放的片段，实现批量化的标注图像的功能，以下通过实现方式一和实现方式二进行举例说明。

实现方式一、可以包括以下步骤1.1至步骤1.2。

步骤1.1、电子设备根据接收到标注指令的时间点，确定图像集中的目标图像。

目标图像为接收到标注指令时播放的图像，即图像集中当前在前台展示的图像。

步骤1.2、电子设备确定图像集中播放的首帧图像与目标图像之间的每个图像。

示例性地，如果电子设备在播放至第10张图像时接收到了标注指令，可以确定第1张图像、第2张图像至第10张图像，以便向这10张图像批量化的添加同一场景对应的标签。

实现方式二、可以包括以下步骤2.1至步骤2.2：

步骤2.1、电子设备根据接收到标注指令的时间点，确定图像集中的目标图像。

步骤2.2、电子设备确定上一次接收到标注指令时播放的图像与目标图像之间的每个图像。

电子设备每当接收到标注指令时，可以记录当前播放的图像的序号，该序号可以是帧序号，用于标识图像在图像集中的位置。当接收到标注指令时，可以读取已记录的上一次接收到标注指令时播放的图像的序号，从而确定本次接收到标注指令至上一次接收到标注指令时播放的每个图像。示例性地，如果电子设备在播放至第4张图像时接收到了标注指令，在播放至第10张图像时再次接收到了标注指令，可以确定第4张图像、第5张图像至第10张图像，以便向这7张图像批量化的添加同一场景对应的标签。

306、电子设备向至少一个图像添加目标场景对应的标签。

电子设备可以根据标注指令，确定目标场景，将目标场景对应的标签作为图像的场景标注结果，自动保存目标标签，将目标标签附加到对应的图片上。

可选地，如果标注任务不是场景任务，而是其他类型的标注任务，电子设备可以按照普通的图像展示方式来展示图像集中的图像。具体地，如果标注任务为场景标注任务之外的其他标注任务，当接收到切换指令时，电子设备将图像集中当前显示的图像切换为下一个图像。

需要说明的一点是，在标注任务为场景标注任务时执行上述方法流程为可选方式，也可以在其他情况下执行上述方法流程。例如，电子设备可以获取该图像集中至少一个图像之间的图像相似度，判断该至少一个图像的相似度是否超过相似度阈值，如果该至少一个图像的相似度超过相似度阈值，则按照第一帧率，对该图像集进行播放。

通过这种方式，如果图像集中的不同图像内容高度相似，可以通过图像相似度来识别出这一情况。由于相似图像的标签通常是相同的，可以通过以视频的方式展示图像，来节省展示图像集中各个图像的时间，免去繁琐的图像切换操作，同时通过批量化的添加标签，提高标注效率。

参见图4，其示出了一种标注系统的工作流程图。

本实施例提供了一种高效的场景标注方法，通过按照一定的帧率，快速地播放图像集中各个待标注的图像，从而以视频的方式，将图像集展示给标注者。通过该方法，能够通过图像序列的快速展示，帮助标注者识别出图像内容的变化，从而有助于标注者快速确定图像对应的场景。此外，通过自动的切换显示图像集中的每个图像，免去了标注者一张一张手动翻页的繁琐操作，从而节省了大量图像切换操作会带来的时间成本和人力成本，极大地加快了场景标注的速度。尤其是，能够批量化地对已播放的同一场景的各个图像进行标注，从而极大地提高了场景标注的效率。

图5是本申请实施例提供的一种场景标注装置的结构示意图。参见图5，该装置包括：

获取模块501，用于获取待标注的图像集；

播放模块502，用于按照第一帧率，对图像集进行播放；

接收模块503，用于接收标注指令，标注指令用于指示已播放的片段属于目标场景；

确定模块504，用于确定图像集中已播放的至少一个图像；

标注模块505，用于向至少一个图像添加目标场景对应的标签。

本实施例提供了一种高效的场景标注装置，通过按照一定的帧率，快速地播放图像集中各个待标注的图像，从而以视频的方式，将图像集展示给标注者。通过该方法，能够通过图像序列的快速展示，帮助标注者识别出图像内容的变化，从而有助于标注者快速确定图像对应的场景。此外，通过自动的切换显示图像集中的每个图像，免去了标注者一张一张手动翻页的繁琐操作，从而节省了大量图像切换操作会带来的时间成本和人力成本，极大地加快了场景标注的速度。尤其是，能够批量化地对已播放的同一场景的各个图像进行标注，从而极大地提高了场景标注的效率。

可选地，该确定模块504，用于根据接收到标注指令的时间点，确定该图像集中的目标图像，该目标图像为接收到标注指令时播放的图像；确定该图像集中播放的首帧图像与该目标图像之间的每个图像。

可选地，该确定模块504，用于根据接收到标注指令的时间点，确定该图像集中的目标图像，该目标图像为接收到标注指令时播放的图像；确定上一次接收到标注指令时播放的图像与该目标图像之间的每个图像。

可选地，该装置还包括：检测模块，用于检测该图像集对应的标注任务的类型；该播放模块502，用于如果该标注任务为场景标注任务，按照第一帧率，对该图像集进行播放；

可选地，该装置还包括：显示模块，用于如果该标注任务为该场景标注任务之外的其他标注任务，当接收到切换指令时，将该图像集中当前显示的图像切换为下一个图像。

可选地，该获取模块501，还用于获取该图像集中至少一个图像之间的图像相似度；该播放模块502，用于如果该至少一个图像的相似度超过相似度阈值，按照第一帧率，对该图像集进行播放。

可选地，该播放模块502，用于按照默认的第一帧率，对该图像集进行播放；或者，按照用户配置的第一帧率，对该图像集进行播放。

可选地，该装置还包括：检测模块，用于在播放过程中，检测到帧率调整操作；该播放模块502，还用于按照该帧率调整操作对应的第二帧率，对该图像集中未播放的图像继续进行播放。

可选地，该装置还包括：显示模块，用于根据该图像集中的图像数量以及该第一帧率，显示该图像集的总播放时长。

可选地，该装置还包括：显示模块，用于根据该图像集中已播放的图像数量以及该第一帧率，显示该图像集的已播放时长。

可选地，该装置还包括：显示模块，用于根据该图像集中未播放的图像数量以及该第一帧率，显示该图像集的待播放时长。

可选地，该接收模块503，还用于在播放过程中，接收倒放指令，该倒放指令用于指示倒退至该图像集的第一图像重新播放；

该装置还包括：切换模块，用于将该图像集的当前播放图像切换至该第一图像，对该第一图像开始的每个图像进行播放。

可选地，该接收模块503，还用于在播放过程中，接收快进指令，该快进指令用于指示快进至该图像集的第二图像开始播放；

该装置还包括：切换模块，用于将该图像集的当前播放图像切换至该第二图像，对该第二图像开始的每个图像进行播放。

上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。

需要说明的是：上述实施例提供的场景标注装置在标注场景时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将场景标注装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的场景标注装置与场景标注的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

上述方法实施例中的电子设备可以实现为终端，例如，图6示出了本申请一个示例性实施例提供的终端600的结构框图。该终端600可以是：智能手机、平板电脑、MP3(MovingPicture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常，终端600包括有：一个或多个处理器601和一个或多个存储器602。

处理器601可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器601可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器601还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器602可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器602中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器601所执行以实现本申请中方法实施例提供的场景标注方法。

在一些实施例中，终端600还可选包括有：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地，外围设备包括：射频电路604、触摸显示屏605、摄像头组件606、音频电路607、定位组件608和电源609中的至少一种。

外围设备接口603可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中，处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上；在一些其他实施例中，处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。

射频电路604用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路604包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路604还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。

显示屏605用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时，显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时，显示屏605还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏605可以为一个，设置终端600的前面板；在另一些实施例中，显示屏605可以为至少两个，分别设置在终端600的不同表面或呈折叠设计；在再一些实施例中，显示屏605可以是柔性显示屏，设置在终端600的弯曲表面上或折叠面上。甚至，显示屏605还可以设置成非矩形的不规则图形，也即异形屏。显示屏605可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。

摄像头组件606用于采集图像或视频。可选地，摄像头组件606包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。

音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器601进行处理，或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端600的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路607还可以包括耳机插孔。

定位组件608用于定位终端600的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件608可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源609用于为终端600中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中，终端600还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于：加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。

加速度传感器611可以检测以终端600建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号，控制触摸显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器612可以检测终端600的机体方向及转动角度，陀螺仪传感器612可以与加速度传感器611协同采集用户对终端600的3D动作。处理器601根据陀螺仪传感器612采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器613可以设置在终端600的侧边框和/或触摸显示屏605的下层。当压力传感器613设置在终端600的侧边框时，可以检测用户对终端600的握持信号，由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在触摸显示屏605的下层时，由处理器601根据用户对触摸显示屏605的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器614用于采集用户的指纹，由处理器601根据指纹传感器614采集到的指纹识别用户的身份，或者，由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器601授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置终端600的正面、背面或侧面。当终端600上设置有物理按键或厂商Logo时，指纹传感器614可以与物理按键或厂商Logo集成在一起。

光学传感器615用于采集环境光强度。在一个实施例中，处理器601可以根据光学传感器615采集的环境光强度，控制触摸显示屏605的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏605的显示亮度；当环境光强度较低时，调低触摸显示屏605的显示亮度。在另一个实施例中，处理器601还可以根据光学传感器615采集的环境光强度，动态调整摄像头组件606的拍摄参数。

接近传感器616，也称距离传感器，通常设置在终端600的前面板。接近传感器616用于采集用户与终端600的正面之间的距离。在一个实施例中，当接近传感器616检测到用户与终端600的正面之间的距离逐渐变小时，由处理器601控制触摸显示屏605从亮屏状态切换为息屏状态；当接近传感器616检测到用户与终端600的正面之间的距离逐渐变大时，由处理器601控制触摸显示屏605从息屏状态切换为亮屏状态。

本领域技术人员可以理解，图6中示出的结构并不构成对终端600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。

上述方法实施例中的电子设备可以实现为服务器，例如，图7是本申请实施例提供的一种服务器的结构示意图，该服务器700可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，CPU)701和一个或一个以上的存储器702，其中，存储器702中存储有至少一条程序代码，至少一条程序代码由处理器701加载并执行以实现上述各个方法实施例提供的场景标注方法。当然，该服务器还可以具有有线或无线网络接口以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。

在示例性实施例中，还提供了一种计算机可读存储介质，例如包括程序代码的存储器，上述程序代码可由处理器执行以完成上述实施例中的场景标注方法。例如，计算机可读存储介质可以是只读存储器(Read-Only Memory，简称：ROM)、随机存取存储器(RandomAccess Memory，简称：RAM)、只读光盘(Compact Disc Read-Only Memory，简称：CD-ROM)、磁带、软盘和光数据存储设备等。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其它信息确定B。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (9)

1.一种场景标注方法，其特征在于，所述方法应用在自动驾驶领域的场景标注中，所述方法包括：

获取待标注的图像集；

按照第一帧率，对所述图像集进行播放；

接收标注指令，所述标注指令用于指示已播放的片段属于目标场景；

确定所述图像集中已播放的至少一个图像；

向所述至少一个图像添加所述目标场景对应的标签，以使车辆的控制系统根据添加标签后的至少一个图像感知周围环境，并根据所述周围环境自动确定驾驶策略；

在播放过程中，接收倒放指令，所述倒放指令用于指示倒退至所述图像集的第一图像重新播放，将所述图像集的当前播放图像切换至所述第一图像，对所述第一图像开始的每个图像进行播放；

其中，所述图像集是车辆图像集、行人图像集、环境图像集、建筑图像集、道路图像集、天气图像集或者交通图像集中的至少一种，所述图像集是所述车辆行驶过程中采集的；

所述确定所述图像集中已播放的至少一个图像，包括：

根据接收到标注指令的时间点，确定所述图像集中的目标图像，所述目标图像为接收到标注指令时播放的图像；

确定所述图像集中播放的首帧图像与所述目标图像之间的每个图像；或者，确定上一次接收到标注指令时播放的图像与所述目标图像之间的每个图像；

其中，当接收到所述标注指令时，记录当前播放的图像的序号，所述序号为帧序号用于标识图像在所述图像集中的位置。

2.根据权利要求1所述的方法，其特征在于，所述按照第一帧率，对所述图像集进行播放，包括：

检测所述图像集对应的标注任务的类型，如果所述标注任务为场景标注任务，按照第一帧率，对所述图像集进行播放；或者，

获取所述图像集中至少一个图像之间的图像相似度，如果所述至少一个图像的相似度超过相似度阈值，按照第一帧率，对所述图像集进行播放。

3.根据权利要求1所述的方法，其特征在于，所述按照第一帧率，对所述图像集进行播放，包括：

按照默认的第一帧率，对所述图像集进行播放；或者，

按照用户配置的第一帧率，对所述图像集进行播放。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在播放过程中，检测到帧率调整操作；

按照所述帧率调整操作对应的第二帧率，对所述图像集中未播放的图像继续进行播放。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述图像集中的图像数量以及所述第一帧率，显示所述图像集的总播放时长；或者，

根据所述图像集中已播放的图像数量以及所述第一帧率，显示所述图像集的已播放时长；或者，

根据所述图像集中未播放的图像数量以及所述第一帧率，显示所述图像集的待播放时长。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在播放过程中，接收快进指令，所述快进指令用于指示快进至所述图像集的第二图像开始播放，将所述图像集的当前播放图像切换至所述第二图像，对所述第二图像开始的每个图像进行播放。

7.一种场景标注装置，其特征在于，所述装置应用在自动驾驶领域的场景标注中，所述装置包括：

获取模块，用于获取待标注的图像集；

播放模块，用于按照第一帧率，对所述图像集进行播放；

接收模块，用于接收标注指令，所述标注指令用于指示已播放的片段属于目标场景；

确定模块，用于确定所述图像集中已播放的至少一个图像；

标注模块，用于向所述至少一个图像添加所述目标场景对应的标签，以使车辆的控制系统根据添加标签后的至少一个图像感知周围环境，并根据所述周围环境自动确定驾驶策略；

所述接收模块，用于在播放过程中，接收倒放指令，所述倒放指令用于指示倒退至所述图像集的第一图像重新播放，将所述图像集的当前播放图像切换至所述第一图像，对所述第一图像开始的每个图像进行播放；

其中，所述图像集是车辆图像集、行人图像集、环境图像集、建筑图像集、道路图像集、天气图像集或者交通图像集中的至少一种，所述图像集是所述车辆行驶过程中采集的；

所述确定模块，还用于根据接收到标注指令的时间点，确定所述图像集中的目标图像，所述目标图像为接收到标注指令时播放的图像；确定所述图像集中播放的首帧图像与所述目标图像之间的每个图像；或者，确定上一次接收到标注指令时播放的图像与所述目标图像之间的每个图像；

其中，当接收到所述标注指令时，记录当前播放的图像的序号，所述序号为帧序号用于标识图像在所述图像集中的位置。

8.一种电子设备，其特征在于，所述电子设备包括一个或多个处理器和一个或多个存储器，所述一个或多个存储器中存储有至少一条程序代码，所述至少一条程序代码由所述一个或多个处理器加载并执行以实现如权利要求1至权利要求6任一项所述的场景标注方法所执行的操作。

9.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现如权利要求1至权利要求6任一项所述的场景标注方法所执行的操作。