CN115713711A - 视频标注方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及一种视频标注方法、装置、计算机设备、存储介质和计算机程序产品。所述方法包括：获取播放视频中待标注图像帧对应的播放时刻；所述待标注图像帧位于视频图层；在标注图层对所述待标注图像帧进行标注，得到所述播放时刻对应的标注信息；所述标注信息为所述待标注图像帧对应的目标标注框的信息，所述目标标注框位于标注图层；保存所述播放视频，以及各个播放时刻在所述标注图层中目标标注框对应的标注信息，得到标注后的目标视频。采用本方法能够提高视频标注的效率。

Description

视频标注方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种视频标注方法、装置、计算机设备、存储介质和计算机程序产品。

背景技术

随着计算机技术的发展，出现了视频标注技术，视频标注是指在视频中添加标注框、标注内容或者标签的过程。

传统技术中，通过修改视频中的图像帧实现视频标注，存在标注效率低下的问题。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高标注效率的视频标注方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

第一方面，本申请提供了一种视频标注方法。所述方法包括：

获取播放视频中待标注图像帧对应的播放时刻；所述待标注图像帧位于视频图层；

在标注图层对所述待标注图像帧进行标注，得到所述播放时刻对应的标注信息；所述标注信息为所述待标注图像帧对应的目标标注框的信息，所述目标标注框位于标注图层；

保存所述播放视频，以及各个播放时刻在所述标注图层中目标标注框对应的标注信息，得到标注后的目标视频。

在一个实施例中，所述获取播放视频中待标注图像帧对应的播放时刻包括：

显示所述播放视频的播放界面，所述播放界面包括播放区域和标注区域；

响应于针对所述标注区域中标注控件的触发操作，暂停所述播放区域中视频图层的播放视频，获取所述播放区域中视频图层的待标注图像帧，以及所述待标注图像帧对应的播放时刻。

在一个实施例中，所述在标注图层对所述待标注图像帧进行标注，得到所述播放时刻对应的标注信息包括：

响应于针对所述标注区域中标注控件的触发操作，在所述标注区域中新增一条标注条目；所述标注条目中包括编辑控件和保存控件；

响应于针对所述编辑控件的触发操作，在所述播放区域的标注图层中显示初始标注框；

对所述初始标注框进行调整，得到所述待标注图像帧对应的目标标注框；

响应于针对所述保存控件的触发操作，得到所述目标标注框相对于所述待标注图像帧的相对位置以及长度和高度，将所述相对位置以及长度和高度作为所述播放时刻对应的标注信息。

在一个实施例中，所述标注条目中还包括调整控件；所述获取播放视频中待标注图像帧对应的播放时刻还包括：

若所述待标注图像帧不是目标标注图像帧，则响应于针对所述调整控件的触发操作，获取预设数量的待播放图像帧；所述预设数量的待播放图像帧基于所述调整控件的触发指令和所述待标注图像帧获取；

在所述播放区域的视频图层按照预设速度播放所述待播放图像帧；

响应于针对所述编辑控件的触发操作，将所述视频图层中的当前播放图像帧作为更新后的待标注图像帧，获取所述更新后的待标注图像帧对应的播放时刻。

在一个实施例中，所述响应于针对所述保存控件的触发操作，得到所述目标标注框相对于所述待标注图像帧的相对位置以及长度和高度包括：

响应于针对所述保存控件的触发操作，获取所述待标注图像帧的四个顶点对应的位置坐标；

确定最小坐标值的位置坐标作为参考原点坐标，将与所述参考原点坐标的横轴坐标值相同的位置坐标作为参考横轴坐标，将与所述参考原点坐标的纵轴坐标值相同的位置坐标作为参考纵轴坐标；

基于所述参考原点坐标、参考横轴坐标和参考纵轴坐标，在所述标注图层所在的平面建立标注坐标系；

基于所述标注坐标系，得到所述目标标注框相对于待标注图像帧的相对位置，以及所述目标标注框的长度和高度。

在一个实施例中，所述基于所述标注坐标系，得到所述目标标注框相对于待标注图像帧的相对位置，以及所述目标标注框的长度和高度包括：

获取所述目标标注框的四个顶点在所述标注坐标系中的顶点坐标；

确定最小坐标值的顶点坐标作为所述目标标注框相对于待标注图像帧的相对位置；

基于所述顶点坐标，得到所述目标标注框的长度和高度。

在一个实施例中，所述视频标注方法还包括：

响应于针对所述编辑控件的触发操作，在对所述待标注图像帧进行标注的过程中，锁定所述播放区域中的播放控件以及所述播放视频对应的进度条。

第二方面，本申请还提供了一种视频标注装置。所述装置包括：

获取模块，用于获取播放视频中待标注图像帧对应的播放时刻；所述待标注图像帧位于视频图层；

标注模块，用于在标注图层对所述待标注图像帧进行标注，得到所述播放时刻对应的标注信息；所述标注信息为所述待标注图像帧对应的目标标注框的信息，所述目标标注框位于标注图层；

保存模块，用于保存所述播放视频，以及各个播放时刻在所述标注图层中目标标注框对应的标注信息，得到标注后的目标视频。

第三方面，本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

获取播放视频中待标注图像帧对应的播放时刻；所述待标注图像帧位于视频图层；

在标注图层对所述待标注图像帧进行标注，得到所述播放时刻对应的标注信息；所述标注信息为所述待标注图像帧对应的目标标注框的信息，所述目标标注框位于标注图层；

保存所述播放视频，以及各个播放时刻在所述标注图层中目标标注框对应的标注信息，得到标注后的目标视频。

第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：

获取播放视频中待标注图像帧对应的播放时刻；所述待标注图像帧位于视频图层；

在标注图层对所述待标注图像帧进行标注，得到所述播放时刻对应的标注信息；所述标注信息为所述待标注图像帧对应的目标标注框的信息，所述目标标注框位于标注图层；

保存所述播放视频，以及各个播放时刻在所述标注图层中目标标注框对应的标注信息，得到标注后的目标视频。

上述视频标注方法、装置、计算机设备、存储介质和计算机程序产品，获取在视频图层中进行播放的播放视频中待标注图像帧对应的播放时刻，在标注图层对待标注图像帧进行标注，得到待标注图像帧对应的在标注图层中的目标标注框，以及目标标注框对应的标注信息，将标注信息作为待标注图像帧的播放时刻对应的标注信息，然后保存播放视频，以及各个播放时刻在标注图层中目标标注框对应的标注信息，得到标注后的目标视频。通过在标注图层对待标注图像帧进行标注，未对待标注图像帧进行修改，无论是对待标注图像帧进行标注或者是修改、撤销待标注图像帧的标注均不会破坏待标注图像帧，可以根据实际需求快速的对待标注图像帧进行标注，提高了视频标注的效率。

附图说明

图1为一个实施例中视频标注方法的应用环境图；

图2为一个实施例中视频标注方法的流程示意图；

图3为一个实施例中标注信息得到步骤的流程示意图；

图4为一个实施例中相对位置确定步骤的流程示意图；

图5为一个实施例中播放界面示意图；

图6为另一个实施例中播放界面示意图；

图7为一个实施例中视频标注装置的结构框图；

图8为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供的视频标注方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端和服务器均可单独用于执行本申请实施例中提供的视频标注方法。终端和服务器也可协同用于执行本申请实施例中提供的视频标注方法。例如，计算机设备获取在视频图层中进行播放的播放视频中待标注图像帧对应的播放时刻，在标注图层对待标注图像帧进行标注，得到待标注图像帧对应的在标注图层中的目标标注框，以及目标标注框对应的标注信息，将标注信息作为待标注图像帧的播放时刻对应的标注信息，然后保存播放视频，以及各个播放时刻在标注图层中目标标注框对应的标注信息，得到标注后的目标视频。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种视频标注方法，该方法可应用于计算机设备，计算机设备可以是终端或服务器，由终端或服务器自身单独执行，也可以通过终端和服务器之间的交互来实现。本实施例以该方法应用于计算机设备为例进行说明，包括步骤202到步骤206。

步骤202，获取播放视频中待标注图像帧对应的播放时刻；待标注图像帧位于视频图层。

其中，播放视频是指动态影像。可以理解为，由多张静态图像组成，按照一定速度进行播放，视觉上形成连续画面的静态图像集合。例如，电影视频、抖音小视频等等。播放视频可以为网页上播放的视频，也可以为播放器中播放的视频。播放视频的储存格式包括但不限于AVI(Audio Video Interleaved，音频视频交错格式)、RMVB(RealMedia VariableBitrate，RealMedia可变比特率格式)、MPEG(Moving Picture Experts Group，动态图像专家组格式)等等。待标注图像帧是指播放视频包含的多帧图像中即将被标注的图像帧。播放时刻是指待标注图像帧在整个视频播放过程中对应的时刻。例如，播放视频的时长为1个小时，待标注图像帧的播放时刻为1个小时中的第16.20分钟。视频图层是指对播放视频进行播放的图层。可以理解为，终端中显示的播放视频为二维平面，假设在二维平面中用x轴和y轴来表示播放视频的位置属性，为了在播放视频的上层或者下层叠加一些元素，可以通过引入Z轴构建一个三维空间，其中Z轴表示元素堆叠的层级或者顺序，也可以理解为，播放视频位于一个图层，叠加元素位于另外一个图层，两个图层的叠加顺序不一样，终端显示的播放视频是两个图层叠加形成的影像。例如，网页播放器中用z-index属性来表示元素的堆叠顺序，假设用z-index:100表示播放视频的堆叠顺序、用z-index:300表示标注框的堆叠顺序，则播放视频位于播放图层，标注框位于标注图层，标注框的堆叠顺序在播放视频的上层。

示例性地，计算机设备从视频图层中获取播放视频的待标注图像帧，然后获取待标注图像帧对应的播放时刻。

在一个实施例中，计算机设备获取针对于标注控件的触发操作，获取视频图层中播放视频的当前图像帧，将当前图像帧作为待标注图像帧，然后获取待标注图像帧对应的播放时刻。

步骤204，在标注图层对待标注图像帧进行标注，得到播放时刻对应的标注信息；标注信息为待标注图像帧对应的目标标注框的信息，目标标注框位于标注图层。

其中，标注图层是指用于对播放视频进行标注的图层。可以理解为，放置标注框以及标注内容的图层。标注图层的堆叠顺序位于视频图层的上方。标注信息是指标注内容的相关信息。标注信息包括但不限于标注框的位置、标注框的长度、标注框的宽度、标注文字信息，标注图标等等内容。例如，标注信息为在坐标(x,y)，长度5厘米，宽度3厘米。

示例性地，计算机设备在标注图层对待标注图像帧进行标注，得到待标注图像帧对应的目标标注框，然后获取目标标注框的标注信息，将标注信息作为播放时刻对应的标注信息。

在一个实施例中，计算机设备获取针对于编辑控件的触发操作，建立堆叠顺序位于视频图层上方的标注图层，基于标注图层对待标注图像帧进行标注，得到得到待标注图像帧对应的目标标注框，然后获取目标标注框的标注信息，将标注信息作为播放时刻对应的标注信息。

在一个实施例中，计算机设备获取针对与编辑控件的触发操作，在播放时刻对应的标注图层中显示初始标注框，基于初始标注框对待标注图像帧进行标注，得到得到待标注图像帧对应的目标标注框，然后获取目标标注框的标注信息，将标注信息作为播放时刻对应的标注信息。

步骤206，保存播放视频，以及各个播放时刻在标注图层中目标标注框对应的标注信息，得到标注后的目标视频。

其中，目标视频是指标注后的播放视频。

示例性地，计算机设备将播放视频和各个播放时刻对应的标注信息进行保存，得到标注后的目标视频。

在一个实施例中，计算机设备将播放视频保存于第一文件夹，将各个播放时刻在标注图层中的目标标注框对应的标注信息保存于第二文件夹，上述第一文件夹对应第一堆叠顺序，第一堆叠顺序用于表征播放视频的堆叠顺序，第二文件夹对应第二堆叠顺序，第二堆叠顺序用于表征第二文件夹中每个标注信息对应的目标标注框的堆叠顺序。

上述视频标注方法中，获取在视频图层中进行播放的播放视频中待标注图像帧对应的播放时刻，在标注图层对待标注图像帧进行标注，得到待标注图像帧对应的在标注图层中的目标标注框，以及目标标注框对应的标注信息，将标注信息作为待标注图像帧的播放时刻对应的标注信息，然后保存播放视频，以及各个播放时刻在标注图层中目标标注框对应的标注信息，得到标注后的目标视频。通过在标注图层对待标注图像帧进行标注，未对待标注图像帧进行修改，无论是对待标注图像帧进行标注或者是修改、撤销待标注图像帧的标注均不会破坏待标注图像帧，可以根据实际需求快速的对待标注图像帧进行标注，提高了视频标注的效率。

在一个实施例中，获取播放视频中待标注图像帧对应的播放时刻包括：

显示播放视频的播放界面，播放界面包括播放区域和标注区域；响应于针对标注区域中标注控件的触发操作，暂停播放区域中视频图层的播放视频，获取播放区域中视频图层的待标注图像帧，以及待标注图像帧对应的播放时刻。

其中，播放界面是指主要呈现播放视频的界面。播放区域是指对播放视频进行播放的区域。播放区域的尺寸可以根据需求进行调整。标注区域是指放置与标注相关的控件，以及显示标注内容的区域。标注区域可以位于播放区域的下方，也可以位于播放区域的右方等等，标注区域的位置和尺寸可以根据需求进行调整。

示例性地，计算机设备显示播放视频的播放界面，其中播放界面中包括播放区域和标注区域，响应于针对标注区域中标注控件的触发操作，将播放区域中视频图层正在播放的播放视频暂停，获取播放区域中视频图层的当前播放视频帧，将当前播放视频帧作为待标注图像帧，然后获取待标注图像帧对应的播放时刻。

在本实施例中，通过播放界面中的播放区域对播放视频进行播放，通过播放界面中的标注区域的标注控件将播放区域中播放的播放视频暂停，然后获取待标注图像帧以及待标注图像帧对应的播放时刻，播放区域和标注区域位于用一个界面，操作便捷，可以提高视频的标注效率。

在一个实施例中，如图3所示，在标注图层对待标注图像帧进行标注，得到播放时刻对应的标注信息包括：

步骤302，响应于针对标注区域中标注控件的触发操作，在标注区域中新增一条标注条目；标注条目中包括编辑控件和保存控件。

其中，标注条目是指与同一个标注相关连的控件和编辑框等组成的一个整体。可以理解为，标注区域中的一块小区域，小区域中包含的控件和显示块均与同一个标注相关联，小区块中可以包含上述标注需要的控件、输入标注文字的标注框、显示播放时间和标注编号的显示块等内容。编辑控件是指用于对待标注图像帧进行标注的按键。保存控件是指用于对目标标注框进行保存的按键。

示例性地，计算机设备响应于针对标注区域中标注控件的触发操作，在标注区域中新增一条包含编辑控件和保存控件的标注条目。

步骤304，响应于针对编辑控件的触发操作，在播放区域的标注图层中显示初始标注框。

其中，初始标注框是指设定的最初的标注框。初始标注框的位置和尺寸由最初的设定决定。

示例性地，计算机设备响应于针对编辑控件的触发操作，在播放区域的标注图层中显示初始标注框。

步骤306，对初始标注框进行调整，得到待标注图像帧对应的目标标注框。

其中，目标标注框是指待标注图像最终的标注框。目标标注框的位置和尺寸可以根据实际需求进行调整。

示例性地，计算机设备获取对初始标注框进行调整的调整指令，根据调整指令调整初始标注框的位置和尺寸，得到待标注图像帧对应的目标标注框。

在一个实施例中，标注人员通过鼠标或者终端显示屏对初始标注框进行调整，计算机设备获取到对初始标注框进行调整的调整指令，根据调整指令调整初始标注框的位置和尺寸，得到待标注图像帧对应的目标标注框。

步骤308，响应于针对保存控件的触发操作，得到目标标注框相对于待标注图像帧的相对位置以及长度和高度，将相对位置以及长度和高度作为播放时刻对应的标注信息。

其中，相对位置是指目标标注框相对于待标注图像帧的位置。相对位置可以用二维坐标表示。长度是指目标标注框边长的长度。长度的单位可以厘米或者米等等。高度是指目标标注框的高。高度的单位可以厘米或者米等等。长度和高度的单位可以相同，也可以不相同。

示例性地，计算机设备响应于针对保存控件的触发操作，得到目标标注框相对于待标注图像帧的相对位置以及长度和高度，将相对位置以及长度和高度作为播放时刻对应的标注信息。

在一个实施例中，计算机设备获取对第一个初始标注框进行调整的调整指令，根据调整指令将第一个初始标注框调整到与调整指令对应的位置和尺寸，得到第一个目标标注框，在左下角生成第二个初始标注框，如果需要使用第二个初始标注框，则对第二个初始标注框进行调整，如果不需要使用第二个初始标注框，则不对第二个初始标注框进行调整，响应于针对保存控件的触发操作，仅保存经过调整得到目标标注框。

在本实施例中，响应于针对标注区域中标注控件的触发操作，在标注区域中新增一条包含编辑控件和保存控件的标注条目，首先通过响应于针对编辑控件的触发操作，在播放区域的标注图层中显示初始标注框，对初始标注框进行调整，得到目标标注框，然后响应于针对保存控件的触发操作，得到目标标注框相对于待标注图像帧的相对位置以及长度和高度，将相对位置以及长度和高度作为播放时刻对应的标注信息，完成对待标注图像帧的标注。仅通过标注控件、编辑控件和保存控件等即可以完成对待标注图像帧的标注，标注过程中的操作便捷，提高了视频的标注效率。

在一个实施例中，标注条目中还包括调整控件；获取播放视频中待标注图像帧对应的播放时刻还包括：

若待标注图像帧不是目标标注图像帧，则响应于针对调整控件的触发操作，获取预设数量的待播放图像帧；预设数量的待播放图像帧基于调整控件的触发指令和待标注图像帧获取；在播放区域的视频图层按照预设速度播放待播放图像帧；响应于针对编辑控件的触发操作，将视频图层中的当前播放图像帧作为更新后的待标注图像帧，获取更新后的待标注图像帧对应的播放时刻。

其中，目标标注图像帧是指实际上需要进行标注的图像帧。调整控件是指调整待标注图像帧的按键。调整控件可以包括前进控件、后退控件等控件。待播放图像帧是指响应于针对调整控件的触发操作，将在播放区域的视频图层中进行播放的多张图像帧。预设速度是指待播放图像帧播放的速度。预设速度可以为播放视频播放速度的倍速。预设速度可以根据实际需求进行设定，也可以通过速度选择控件进行调整。例如，预设速度为播放视频播放速度的0.5倍速。

示例性地，计算机设备响应于针对调整控件的触发操作，基于调整控件的触发指令和待标注图像帧获取预设数量的待播放图像帧，然后在播放区域的视频图层中按照预设速度播放待播放图像帧；计算机设备响应于针对编辑控件的触发操作，获取视频图层中的当前播放图像帧，将当前播放图像帧作为更新后的待标注图像帧，再获取更新后的待标注图像帧对应的播放时刻。

在一个实施例中，调整控件包括前进控件和后退控件，计算机设备响应于针对前进控件的触发操作，则获取待标注图像帧之前的预设数量的图像帧，待标注图像帧之前的预设数量的图像帧作为待播放图像帧；如果计算机设备响应于针对后退控件的触发操作，则获取待标注图像帧之后的预设数量的图像帧，待标注图像帧之后的预设数量的图像帧作为待播放图像帧。

在本实施例中，通过触发调整控件，在播放区域的视频图层按照预设速度播放待播放图像帧，便于选择目标标注图像帧，然后通过触发编辑控件，确定目标标注图像帧，将目标标注图像帧作为更新后的待标注图像帧，仅通过触发控件和编辑控件即可完成待标注图像帧和标注时刻的更新，提高了待标注图像帧和标注时刻的更新速度。

在一个实施例中，如图4所示，响应于针对保存控件的触发操作，得到目标标注框相对于待标注图像帧的相对位置以及长度和高度包括：

步骤402，响应于针对保存控件的触发操作，获取待标注图像帧的四个顶点对应的位置坐标。

其中，位置坐标是指用于表征待标注图像帧位置的坐标。位置坐标可以为二维坐标。

示例性地，计算机设备响应于针对保存控件的触发操作，获取待标注图像帧的四个顶点分别对应的位置坐标。

在一个实施例中，计算机设备获取播放区域四个顶点的参考坐标，将参考坐标作为待标注图像帧对应的位置坐标。

步骤404，确定最小坐标值的位置坐标作为参考原点坐标，将与参考原点坐标的横轴坐标值相同的位置坐标作为参考横轴坐标，将与参考原点坐标的纵轴坐标值相同的位置坐标作为参考纵轴坐标。

示例性地，计算机设备将四个顶点分别对应的位置坐标进行比较，确定位置坐标中横轴坐标和纵轴坐标均为四个位置坐标中最小的位置坐标作为参考原点坐标，然后将另外三个位置坐标的横轴坐标与参考原点坐标的横轴坐标进行比较，确定与参考原点坐标的横轴坐标值相同的位置坐标作为参考横轴坐标，再将上述另外三个位置坐标的纵轴坐标与参考原点坐标的纵轴坐标进行比较，确定与参考原点坐标的纵轴坐标值相同的位置坐标作为参考纵轴坐标。

步骤406，基于参考原点坐标、参考横轴坐标和参考纵轴坐标，在标注图层所在的平面建立标注坐标系。

其中，标注坐标系是指用于确定目标标注框位置的平面直角坐标系。

示例性地，计算机设备在标注图层所在的平面，基于考原点坐标、参考横轴坐标和参考纵轴坐标建立标注坐标系。

在一个实施例中，计算机设备以标注图层所在平面中的参考原点坐标为原点建议标注坐标系，标注坐标系的横轴经过参考横轴坐标，标注坐标系的纵轴经过参考纵轴坐标。

步骤408，基于标注坐标系，得到目标标注框相对于待标注图像帧的相对位置，以及目标标注框的长度和高度。

示例性地，计算机设备基于标注坐标系，获取目标标注框相对于待标注图像帧的相对位置，以及目标标注框的长度和高度。

在一个实施例中，目标标注框为圆形，基于标注坐标系获取目标标注框的圆心坐标，将圆心坐标作为目标标注框相对于待标注图像帧的相对位置，然后获取目标标注框上任一点的点坐标，计算圆心坐标到点坐标之间的距离，得到目标标注框的尺寸。

在本实施例中，根据待标注图像帧对应的位置坐标，在标注图层所在的平面建立标注坐标系，基于标注坐标系得到目标标注框相对于待标注图像帧的相对位置，以及目标标注框的长度和高度，目标标注框的相对位置以及长度和高度准确的表示了目标标注框相对于待标注图像帧的位置，提高了视频标注的准确性。

在一个实施例中，基于标注坐标系，得到目标标注框相对于待标注图像帧的相对位置，以及目标标注框的长度和高度包括：

获取目标标注框的四个顶点在标注坐标系中的顶点坐标；确定最小坐标值的顶点坐标作为目标标注框相对于待标注图像帧的相对位置；基于顶点坐标，得到目标标注框的长度和高度。

示例性地，计算机设备获取目标标注框的四个顶点在标注坐标系中的顶点坐标，将四个顶点坐标进行比较，确定顶点坐标中横轴坐标和纵轴坐标均为四个顶点坐标中最小的顶点坐标作为相对位置，然后将另外三个顶点坐标的横轴坐标与相对位置的横轴坐标进行比较，确定与相对位置的横轴坐标值相同的位置坐标作为第一横轴坐标，计算相对位置与第一横轴坐标之间的距离，得到目标标注框的长度；再将上述另外三个顶点坐标的纵轴坐标与相对位置的纵轴坐标进行比较，确定与相对位置的纵轴坐标值相同的顶点坐标作为第一纵轴坐标，计算相对位置与第一纵轴坐标之间的距离，得到目标标注框的高度。

在一个实施例中，基于四个顶点坐标，确定上述目标标注框的重心对应的坐标，将重心对应的坐标作为目标标注框相对于待标注图像帧的相对位置，基于顶点坐标，得到目标标注框的长度和高度。

在本实施例中，获取目标标注框的四个顶点在标注坐标系中的顶点坐标基于四个上述顶点坐标确定目标标注框相对于待标注图像帧的相对位置，以及目标标注框的长度和高度，目标标注框的相对位置以及长度和高度准确的表示了目标标注框相对于待标注图像帧的位置，提高了视频标注的准确性。

在一个实施例中，视频标注方法还包括：

响应于针对编辑控件的触发操作，在对待标注图像帧进行标注的过程中，锁定播放区域中的播放控件以及播放视频对应的进度条。

其中，播放控件是指用于控制播放视频播放和暂停的按键。进度条是指用于显示播放视频的播放进度的长条形显示图标。进度条还可以显示播放视频已经播放的时间，播放视频的总共播放时长等信息。

示例性地，计算机设备响应于针对编辑控件的触发操作，在对待标注图像帧进行标注的过程中，锁定播放区域中的播放控件以及播放视频对应的进度条。

在本实施例中，通过锁定播放区域中的播放控件以及播放视频对应的进度条，防止由于误操作导致视频播放。

在一个示例性地实施例中，网页播放器中通过z-index设置了两个图层，分别为视频图层和标注图层，标注图层的叠加顺序位于视频图层的上方，其中视频图层用于对播放视频进行播放，标注图层用于对播放视频进行标注，标注图层中封装了<Drag/>拖拽组件，拖拽组件作为可拖拽、可改变大小的初始标注框，可以通过拖拽组件的API(ApplicationProgramming Interface，应用程序编程接口)确定初始标注框的属性，例如，设置初始标注框的ID(Identity document，身份证标识号)、初始化坐标、初始尺寸、是否禁止拖拽、鼠标拖拽开始、鼠标拖拽结束等等属性。网页播放器中的播放界面如图5所示，播放界面中包括播放区域502和标注区域504。

响应于针对标注区域中标注控件的触发操作，获取视频图层中播放视频的当前图像帧，将当前图像帧作为待标注图像帧，然后获取待标注图像帧对应的播放时刻，并且在标注区域中新增一条包含编辑控件、保存控件、前进控件和后退控件等等的标注条目，如图6中的602所示。如果待标注图像帧为目标标注图像帧，则对待标注图像帧进行标注，如果待标注图像帧不为目标标注图像帧，则响应于针对前进控件或者后退控件的触发操作，基于前进控件和后退控件的触发指令和待标注图像帧，获取预设数量的待播放图像帧，在播放区域的视频图层中按照预设速度播放待播放图像帧，然后响应于针对编辑控件的触发操作，锁定播放区域中的播放控件以及播放视频对应的进度条，获取视频图层中的当前播放图像帧，将当前播放图像帧作为更新后的待标注图像帧，再获取更新后的待标注图像帧对应的播放时刻，在播放区域的标注图层中显示初始标注框，获取对初始标注框进行调整的调整指令，根据调整指令调整初始标注框的位置和尺寸，得到待标注图像帧对应的目标标注框604。

响应于针对保存控件的触发操作，获取待标注图像帧的四个顶点分别对应的位置坐标，将四个顶点分别对应的位置坐标进行比较，确定位置坐标中横轴坐标和纵轴坐标均为四个位置坐标中最小的位置坐标作为参考原点坐标，然后将另外三个位置坐标的横轴坐标与参考原点坐标的横轴坐标进行比较，确定与参考原点坐标的横轴坐标值相同的位置坐标作为参考横轴坐标，再将上述另外三个位置坐标的纵轴坐标与参考原点坐标的纵轴坐标进行比较，确定与参考原点坐标的纵轴坐标值相同的位置坐标作为参考纵轴坐标。然后以标注图层所在平面中的参考原点坐标为原点建议标注坐标系，标注坐标系的横轴经过参考横轴坐标，标注坐标系的纵轴经过参考纵轴坐标，基于标注坐标系获取目标标注框相对于待标注图像帧的相对位置，以及目标标注框的长度和高度，最后将播放视频和各个播放时刻对应的标注信息进行保存，得到标注后的目标视频。

在本实施例中，获取在视频图层中进行播放的播放视频中待标注图像帧对应的播放时刻，在标注图层对待标注图像帧进行标注，得到待标注图像帧对应的在标注图层中的目标标注框，以及目标标注框对应的标注信息，将标注信息作为待标注图像帧的播放时刻对应的标注信息，然后保存播放视频，以及各个播放时刻在标注图层中目标标注框对应的标注信息，得到标注后的目标视频。通过在标注图层对待标注图像帧进行标注，未对待标注图像帧进行修改，无论是对待标注图像帧进行标注或者是修改、撤销待标注图像帧的标注均不会破坏待标注图像帧，可以根据实际需求快速的对待标注图像帧进行标注，提高了视频标注的效率。

应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思，本申请实施例还提供了一种用于实现上述所涉及的视频标注法的视频标注置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个视频标注装置实施例中的具体限定可以参见上文中对于视频标注方法的限定，在此不再赘述。

在一个实施例中，如图7所示，提供了一种视频标注装置，包括：获取模块702、标注模块704和保存模块706，其中：

获取模块702，用于获取播放视频中待标注图像帧对应的播放时刻；待标注图像帧位于视频图层；

标注模块704，用于在标注图层对待标注图像帧进行标注，得到播放时刻对应的标注信息；标注信息为待标注图像帧对应的目标标注框的信息，目标标注框位于标注图层；

保存模块706，用于保存播放视频，以及各个播放时刻在标注图层中目标标注框对应的标注信息，得到标注后的目标视频。

在一个实施例中，获取模块702还用于：显示播放视频的播放界面，播放界面包括播放区域和标注区域；响应于针对标注区域中标注控件的触发操作，暂停播放区域中视频图层的播放视频，获取播放区域中视频图层的待标注图像帧，以及待标注图像帧对应的播放时刻。

在一个实施例中，标注模块704还用于：响应于针对标注区域中标注控件的触发操作，在标注区域中新增一条标注条目；标注条目中包括编辑控件和保存控件；响应于针对编辑控件的触发操作，在播放区域的标注图层中显示初始标注框；对初始标注框进行调整，得到待标注图像帧对应的目标标注框；响应于针对保存控件的触发操作，得到目标标注框相对于待标注图像帧的相对位置以及长度和高度，将相对位置以及长度和高度作为播放时刻对应的标注信息。

在一个实施例中，获取模块702还用于：若待标注图像帧不是目标标注图像帧，则响应于针对调整控件的触发操作，获取预设数量的待播放图像帧；预设数量的待播放图像帧基于调整控件的触发指令和待标注图像帧获取；在播放区域的视频图层按照预设速度播放待播放图像帧；应于针对编辑控件的触发操作，将视频图层中的当前播放图像帧作为更新后的待标注图像帧，获取更新后的待标注图像帧对应的播放时刻。

在一个实施例中，标注模块704还用于：响应于针对保存控件的触发操作，获取待标注图像帧的四个顶点对应的位置坐标；确定最小坐标值的位置坐标作为参考原点坐标，将与参考原点坐标的横轴坐标值相同的位置坐标作为参考横轴坐标，将与参考原点坐标的纵轴坐标值相同的位置坐标作为参考纵轴坐标；基于参考原点坐标、参考横轴坐标和参考纵轴坐标，在标注图层所在的平面建立标注坐标系；基于标注坐标系，得到目标标注框相对于待标注图像帧的相对位置，以及目标标注框的长度和高度。

在一个实施例中，标注模块704还用于：获取目标标注框的四个顶点在标注坐标系中的顶点坐标；确定最小坐标值的顶点坐标作为目标标注框相对于待标注图像帧的相对位置；基于顶点坐标，得到目标标注框的长度和高度。

在一个实施例中，视频标注装置还包括锁定模块，锁定模块用于：响应于针对编辑控件的触发操作，在对待标注图像帧进行标注的过程中，锁定播放区域中的播放控件以及播放视频对应的进度条。

上述视频标注装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图8所示。该计算机设备包括处理器、存储器、输入/输出接口、通信接口、显示单元和输入装置。其中，处理器、存储器和输入/输出接口通过系统总线连接，通信接口、显示单元和输入装置通过输入/输出接口连接到系统总线。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、移动蜂窝网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种视频标注方法。该计算机设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中，提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory，ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory，MRAM)、铁电存储器(Ferroelectric Random Access Memory，FRAM)、相变存储器(Phase Change Memory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器等。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory，DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (10)

1.一种视频标注方法，其特征在于，所述方法包括：

获取播放视频中待标注图像帧对应的播放时刻；所述待标注图像帧位于视频图层；

在标注图层对所述待标注图像帧进行标注，得到所述播放时刻对应的标注信息；所述标注信息为所述待标注图像帧对应的目标标注框的信息，所述目标标注框位于标注图层；

保存所述播放视频，以及各个播放时刻在所述标注图层中目标标注框对应的标注信息，得到标注后的目标视频。

2.根据权利要求1所述的方法，其特征在于，所述获取播放视频中待标注图像帧对应的播放时刻包括：

显示所述播放视频的播放界面，所述播放界面包括播放区域和标注区域；

响应于针对所述标注区域中标注控件的触发操作，暂停所述播放区域中视频图层的播放视频，获取所述播放区域中视频图层的待标注图像帧，以及所述待标注图像帧对应的播放时刻。

3.根据权利要求2所述的方法，其特征在于，所述在标注图层对所述待标注图像帧进行标注，得到所述播放时刻对应的标注信息包括：

响应于针对所述标注区域中标注控件的触发操作，在所述标注区域中新增一条标注条目；所述标注条目中包括编辑控件和保存控件；

响应于针对所述编辑控件的触发操作，在所述播放区域的标注图层中显示初始标注框；

对所述初始标注框进行调整，得到所述待标注图像帧对应的目标标注框；

响应于针对所述保存控件的触发操作，得到所述目标标注框相对于所述待标注图像帧的相对位置以及长度和高度，将所述相对位置以及长度和高度作为所述播放时刻对应的标注信息。

4.根据权利要求3所述的方法，其特征在于，所述标注条目中还包括调整控件；所述获取播放视频中待标注图像帧对应的播放时刻还包括：

若所述待标注图像帧不是目标标注图像帧，则响应于针对所述调整控件的触发操作，获取预设数量的待播放图像帧；所述预设数量的待播放图像帧基于所述调整控件的触发指令和所述待标注图像帧获取；

在所述播放区域的视频图层按照预设速度播放所述待播放图像帧；

响应于针对所述编辑控件的触发操作，将所述视频图层中的当前播放图像帧作为更新后的待标注图像帧，获取所述更新后的待标注图像帧对应的播放时刻。

5.根据权利要求3所述的方法，其特征在于，所述响应于针对所述保存控件的触发操作，得到所述目标标注框相对于所述待标注图像帧的相对位置以及长度和高度包括：

响应于针对所述保存控件的触发操作，获取所述待标注图像帧的四个顶点对应的位置坐标；

确定最小坐标值的位置坐标作为参考原点坐标，将与所述参考原点坐标的横轴坐标值相同的位置坐标作为参考横轴坐标，将与所述参考原点坐标的纵轴坐标值相同的位置坐标作为参考纵轴坐标；

基于所述参考原点坐标、参考横轴坐标和参考纵轴坐标，在所述标注图层所在的平面建立标注坐标系；

基于所述标注坐标系，得到所述目标标注框相对于待标注图像帧的相对位置，以及所述目标标注框的长度和高度。

6.根据权利要求5所述的方法，其特征在于，所述基于所述标注坐标系，得到所述目标标注框相对于待标注图像帧的相对位置，以及所述目标标注框的长度和高度包括：

获取所述目标标注框的四个顶点在所述标注坐标系中的顶点坐标；

确定最小坐标值的顶点坐标作为所述目标标注框相对于待标注图像帧的相对位置；

基于所述顶点坐标，得到所述目标标注框的长度和高度。

7.根据权利要求3所述的方法，其特征在于，所述方法还包括：

响应于针对所述编辑控件的触发操作，在对所述待标注图像帧进行标注的过程中，锁定所述播放区域中的播放控件以及所述播放视频对应的进度条。

8.一种视频标注装置，其特征在于，所述装置包括：

获取模块，用于获取播放视频中待标注图像帧对应的播放时刻；所述待标注图像帧位于视频图层；

标注模块，用于在标注图层对所述待标注图像帧进行标注，得到所述播放时刻对应的标注信息；所述标注信息为所述待标注图像帧对应的目标标注框的信息，所述目标标注框位于标注图层；

保存模块，用于保存所述播放视频，以及各个播放时刻在所述标注图层中目标标注框对应的标注信息，得到标注后的目标视频。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images