CN107995538A - 视频批注方法及系统 - Google Patents

Abstract

本发明实施例提供的视频批注方法及系统。所述方法包括用户终端接收用户针对目标视频的操作指令，生成包括该操作指令及对应操作时间的指令时间数据集，并将指令时间数据集发送给服务器；服务器根据接收到的指令时间数据集生成针对目标视频进行批注的指令画面数据集，并将指令画面数据集发送给视频播放设备；视频播放设备将接收到的指令画面数据集以及视频播放设备播放的目标视频进行合成，得到批注后的视频。在上述合成过程中所述视频播放设备在后台合成，用户感知不到上述合成过程，不会影响用户对当前目标视频内容的观看，极大的提升了用户体验。

Description

视频批注方法及系统

技术领域

本发明涉及视频图像处理技术领域，尤其涉及一种在视频图像中 添加批注信息的视频批注方法及系统。

背景技术

在视频内容中进行批注可以让观看视频内容的用户知道视频内 容的重点，然而传统的视频会议或视频直播过程中一般都不支持对视 频源信号进行批注操作(比如，圈重点、划线或文字注释等)，严重 影响用户体验。

发明内容

本发明的实施例描述一种视频批注方法及系统。

第一方面，本发明的实施例提供一种视频批注方法，该方法应用 于视频批注系统，所述视频批注系统包括用户终端、服务器及视频播 放设备，所述方法包括：所述用户终端接收用户针对目标视频的操作 指令，生成包括该操作指令及对应操作时间的指令时间数据集，并将 所述指令时间数据集发送给所述服务器；所述服务器根据接收到的所 述指令时间数据集生成针对所述目标视频进行批注的指令画面数据 集，并将所述指令画面数据集发送给所述视频播放设备；所述视频播 放设备将接收到的所述指令画面数据集以及所述视频播放设备播放 的目标视频进行合成，得到批注后的视频。上述方案根据指令画面数 据集与目标视频合成得到批注后的视频，在上述合成过程中用户终端 输入的操作指令不会显示在所述视频播放设备的显示界面上，不会影 响用户对目标视频内容的观看。

可选地，所述用户终端接收用户针对目标视频的操作指令，生成 包括该操作指令及对应操作时间的指令时间数据集的步骤包括：采集 用户输入的操作指令及与该操作指令对应的操作时间；根据所述操作 指令及与该操作指令对应的操作时间生成指令时间数据集，其中，所 述指令时间数据集记录了操作指令随时间的动态输入过程。

可选地，所述服务器根据接收到的所述指令时间数据集生成针对 所述目标视频进行批注的指令画面数据集的步骤包括：对所述指令时 间数据集进行处理，得到对应的指令画面及该指令画面对应的时间； 根据指令画面及该指令画面对应的时间得到针对所述目标视频进行 批注的指令画面数据集。

可选地，所述视频播放设备将接收到的所述指令画面数据集以及 所述视频播放设备播放的目标视频进行合成，得到批注后的视频的步 骤包括：将所述指令画面数据集中指令画面对应的时间与所述目标视 频中视频帧对应的时间进行比对；当指令画面对应的时间与所述目标 视频中视频帧对应的时间相同时，将所述指令画面与所述视频帧进行 合成得到批注后的视频帧，由批注后的视频帧得到批注后的视频。根 据时间将指令画面与视频帧进行合成得到批注后的视频帧，最终得到 批注视频，在播放批注视频时，即可以动态显示用户在目标视频上的 批注过程。

可选地，对所述指令时间数据集进行处理，得到对应的指令画面 的步骤包括：生成一背景透明的画布；在画布上显示操作指令对应的 批注元素以得到操作指令对应的指令画面。

可选地，所述指令时间数据集中还包括操作指令的位置信息，所 述将所述指令画面与所述视频帧进行合成得到批注后的视频帧的步 骤，包括：根据操作指令的位置信息在所述目标视频中的视频帧的相 应位置叠加所述批注元素以得到批注后的视频帧。

可选地，上述方法还包括：所述视频播放设备响应播放批注后视 频的请求；根据所述请求将所述批注后视频进行播放。

第二方面，本发明的实施例还提供一种视频批注系统，所述视频 批注系统包括用户终端、服务器及视频播放设备；所述用户终端，用 于接收用户针对目标视频的操作指令，生成包括该操作指令及对应操 作时间的指令时间数据集，并将所述指令时间数据集发送给所述服务 器；所述服务器，用于根据接收到的所述指令时间数据集生成针对所 述目标视频进行批注的指令画面数据集，并将所述指令画面数据集发 送给所述视频播放设备；所述视频播放设备，用于将接收到的所述指 令画面数据集以及所述视频播放设备播放的目标视频进行合成，得到 批注后的视频。

可选地，所述服务器包括处理模块及生成模块：所述处理模块， 用于对所述指令时间数据集进行处理，得到对应的指令画面及该指令 画面对应的时间；所述生成模块，用于根据指令画面及该指令画面对 应的时间生成针对所述目标视频进行批注的指令画面数据集。

可选地，所述视频播放设备包括比对模块及合成模块：所述比对 模块，用于将所述指令画面数据集中指令画面对应的时间与所述目标 视频中视频帧对应的时间进行比对；所述合成模块，用于当指令画面 对应的时间与所述目标视频中视频帧对应的时间相同时，将所述指令 画面与所述视频帧进行合成得到批注后的视频帧，由批注后的视频帧 得到批注后的视频。

本发明实施例提供的视频批注方法及系统。根据指令画面数据集 与目标视频合成得到批注后的视频，在上述合成过程中所述视频播放 设备在后台合成，合成的批注视频不会进行显示，对于用户而言，用 户不会感知上述合成过程，不会影响用户对当前目标视频内容的观 看，极大的提升了用户体验。

本发明的其他特征和优点将在随后的说明书阐述，并且，部分地 从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明 的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中 所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对 实施例中所需要使用的附图作简单地介绍，应当理解，以下 附图仅示出了本发明的某些实施例，因此不应被看作是对范 围的限定，对于本领域普通技术人员来讲，在不付出创造性 劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明实施例提供的视频批注系统的结构框图。

图2为本发明实施例提供应用于图1所示视频批注系统 的视频批注方法的流程图。

图3为图2中步骤S210的子步骤的流程图。

图4为图2中步骤S220的子步骤的流程图。

图5为图2中步骤S230的子步骤的流程图。

图6是本发明实施例提供的服务器的结构框图。

图7为本发明实施例提供的视频播放设备的结构框图。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案 进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分 实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发 明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对 在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护 的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的 实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所 有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此， 一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行 进一步定义和解释。

发明人发现，目前采用较多的方式是在视频播放设备的显示界面 上直接叠加一层画板，用户的批注操作(比如，圈重点、划线或文字 注释等)都会实时的显示在视频播放设备的显示界面上，然这种方式 会影响用户对当前视频画面的观看，并且由于视频内容是实时更新 的，采用画板叠加方式存在操作会滞后叠加到视频画面的问题，无法 满足对画面实时操作的需求，影响用户批注的及时性。

为了克服上述现有技术中存在的缺陷，发明人通过研究提供下面 实施例给出解决方案。

请参照图1，图1是本发明较佳实施例提供的视频批注系统10 的结构框图。所述视频批注系统10包括：相互之间通信连接的用户 终端100、服务器200及视频播放设备300。

所述用户终端100可以是，但不限于，智能手机、个人电脑 (personal computer，PC)、平板电脑、个人数字助理(personal digital assistant，PDA)、移动上网设备(mobileInternet device，MID)等。 所述视频播放设备300为具有能获取在所述视频播放设备300上播放 的视频及可以对获取视频的视频帧图像进行图像处理的播放设备。在 本实施例中，所述用户终端100上可以同步播放所述视频播放设备 300上播放的视频。

在本实施例中，所述用户终端100与视频播放设备300之间的视 频同步可以通过软件实现。可选地，所述用户终端100上可以安装可 视化控制软件(比如，VisualizedInteractive System，简称VIS)，所 述视频播放设备300上可以安装网络显示软件(比如，APP Master)， 网络显示软件用于在视频播放设备300上产生目标视频，并可以对目 标视频进行批注的操作指令进行图像处理。网络显示软件还用于通知 用户终端100所述视频播放设备300上显示的目标视频，以便所述用 户终端100根据可视化控制软件显示所述目标视频。可以理解的是， 上述只是给出实现用户终端100与所述视频播放设备300同步播放的一种实现方式，在具体的实施过程中可以采用其他类型的软件实现。

请参照图2，图2是本发明较佳实施例提供的应用于图1中视频 批注系统10的视频批注方法的流程图，所述视频批注方法包括以下 步骤。

步骤S210，用户终端100接收用户针对目标视频的操作指令， 生成包括该操作指令及对应操作时间的指令时间数据集，并将所述指 令时间数据集发送给所述服务器200。

在本实施例中，所述用户终端100同步显示有所述视频播放设备 300上播放的视频。

请参照图3，在本实施例中，所述步骤S210可以包括以下子步 骤。

子步骤S211，采集用户输入的操作指令及与该操作指令对应的 操作时间。

在本实施例中，用户终端100在播放目标视频时，由于目标视频 按照一定的帧率(比如24帧/秒)进行播放，在对用户输入的操作指 令进行采集时，本实施例的一种实施方式可以是在每一帧图像被刷新 时，记录当前用户的操作指令及该操作指令对应的时间，在该实施方 式下，在1秒的时间内，用户终端100就会记录24次输入的操作指 令及对应的操作时间，这里的操作时间即是视频帧的播放时间。本实 施例的另一种实施方式也可以按照等间隔视频帧(比如间隔10帧) 的方式采集用户的操作指令及该操作指令对应的时间。

子步骤S212，根据所述操作指令及与该操作指令对应的操作时 间生成指令时间数据集。

在本实施例中，将采集操作指令与操作指令对应的操作时间对应 生成用于表示操作指令随时间的动态输入过程的指令时间数据集。在 该指令时间数据集中将每一次采集的操作指令及对应的操作时间作 为指令时间数据集的组成元素，指令时间数据集的各个组成元素可以 以数组的形式存储，比如，对于一指令时间数据集A而言，指令时 间数据集A可以表示为{(order1，time1)；(order2，time2)；(order3， time3)......}，其中，(order1，time1)表示一个组成元素，(order1，time1) 中的order1表示操作指令，time1表示order1的操作时间。可以理解 的是，上述举例仅仅是为说明指令时间数据集，在本实施例的其他实 施方式中，指令时间数据集的各个组成元素也可以采用其他方式进行 存储。

所述用户终端100将采集得到的指令时间数据集发送给服务器 200，在本实施例中，用户终端100可以在每完成一次操作指令的采 集后，将该指令时间数据集发送给服务器200，可选地，用户终端100 可以通过检测输入操作指令是否中断来判断操作指令是否为同一条 操作指令。用户终端100还可以以预设时间间隔(比如，10分钟) 向所述服务器200发送该预设时间间隔内采集的指令时间数据集，若 该预设时间间隔内没有针对目标视频的操作指令则不进行发送。

步骤S220，所述服务器200根据接收到的所述指令时间数据集 生成针对所述目标视频进行批注的指令画面数据集，并将所述指令画 面数据集发送给所述视频播放设备300。

在本实施例中，所述服务器200对所述指令时间数据集进行处 理，对采集的指令时间数据集进行处理得到用于对所述目标视频进行 批注的指令画面数据集。

可选地，请参照图4，所述步骤S220可以包括以下步骤。

子步骤S221，对所述指令时间数据集进行处理，得到对应的指 令画面及该指令画面对应的时间。

对所述指令时间数据集中的操作指令进行处理，将该操作指令处 理成指令画面。可选地，将该操作指令处理成指令画面的方式可以是：

首先，生成一背景透明的画布，其中，所述画布的尺寸与所述目 标视频的尺寸相同。

接着，在画布上显示操作指令对应的批注元素以得到操作指令对 应的指令画面。其中，所述批注元素可以是划线操作指令时对应的一 条线段，所述批注元素还可以是输入操作指令时对应的文字或者字 符。

子步骤S222，根据指令画面及该指令画面对应的时间得到针对 所述目标视频进行批注的指令画面数据集。

在本实施例中，指令画面及与该指令画面对应的时间得到用于对 目标视频进行批注的指令画面数据集。其中，指令画面对应的时间即 为该指令画面对应操作指令的采集时间。将每一次指令画面及其对应 的时间存储到所述指令画面数据集中。与上面对指令时间数据集的举 例类似的，对于一与指令时间数据集A对应的指令画面数据集B而 言，指令画面数据集B可以表示为{(frame1，time1)；(frame2，time2)； (frame3，time3)......}，其中，(frame1，time1)表示指令画面数据集B 中的一个组成元素，(frame1，time1)中的frame1对应操作指令order1 的指令画面。

所述服务器200将处理后的指令画面数据集发送给视频播放设 备300，在本实施例中，服务器200可以在每完成一个指令时间数据 集的处理后将处理得到的指令画面数据集发送给视频播放设备300。 服务器200还可以在完成多个指令时间数据集的处理后将处理得到 的多个指令画面数据集一并发送给视频播放设备300。

步骤S230，所述视频播放设备300将接收到的所述指令画面数 据集以及所述视频播放设备300播放的目标视频进行合成，得到批注 后的视频。

在本实施例中，所述视频播放设备300可对其播放的目标视频进 行记录，其中，所述视频播放设备300记录的内容包括目标视频的各 视频帧及各视频帧在视频播放设备300上播放的时间。

在本实施例中，所述视频播放设备300将所述指令画面数据集和 目标视频进行合成得到批注后的视频。

请参照图5，可选地，本实施例可通过以下步骤实现所述指令画 面数据集和目标视频的合成。

子步骤S231，将所述指令画面数据集中指令画面对应的时间与 所述目标视频中视频帧对应的时间进行比对。

视频播放设备300会将指令画面数据集中每一指令画面对应的 时间与所述目标视频中视频帧对应的时间进行对比，由于指令画面对 应的时间是用户终端100采集与该指令画面对应操作指令的采集时 间，并且用户终端100和视频播放设备300是同步播放目标视频的， 在进行指令画面与视频帧合成时，即可通过是否存在相同时间来确保 操作指令被对应添加到视频画面上，满足对画面的实时操作的需求。

子步骤S232，当指令画面对应的时间与所述目标视频中视频帧 对应的时间相同时，将所述指令画面与所述视频帧进行合成得到批注 后的视频帧，由批注后的视频帧得到批注后的视频。

在本实施例中，在用户终端100采集操作指令时，所述用户终端 100还采集用户在目标视频上操作指令输入的位置信息。

在子步骤S232中，根据操作指令的位置信息在所述目标视频中 的视频帧的相应位置叠加所述批注元素以得到批注后的视频帧。

所述方法还可以包括：

所述视频播放设备300响应播放批注后视频的请求，根据所述请 求将所述批注后视频进行播放。

在本实施例中，用户可以通过用户终端100发送播放批注后视频 的请求，该请求中可以包括请求播放批注后视频的名称及批注后视频 的具体播放片段(比如，第10分钟到第14分钟之间的视频片段)。

本实施例提供的上述视频批注方法，根据指令画面数据集与目标 视频合成得到批注后的视频，在上述合成过程中所述视频播放设备 300在进行合成时不会将合成后的批注视频进行显示，对于用户而 言，用户不会感知上述合成过程，不会影响用户对目标视频内容的观 看，极大的提升了用户体验。同时在进行批注视频生成时，将具有相 同时间的指令画面与目标视频的视频帧进行合成，可以确保操作指令 及时被添加到视频画面上，满足对画面的实时操作的需求。从而解决 现有技术中添加批注时会遮挡用户观看当前视频画面及批注叠加滞 后不及时的技术问题。

本发明实施例还提供图1所示的视频批注系统10，所述视频批 注系统10包括用户终端100、服务器200及视频播放设备300。与上 述实施例不同的是本实施例是从视频批注系统10的角度描述。可以 理解的是，接下来要描述的视频批注系统10中涉及的内容在上面实 施例中已经描述过，具体各个设备执行的功能的详尽内容可参照上面 的实施例描述，下面仅对视频批注系统10中各个设备的功能进行简 要说明。

所述用户终端100，用于接收用户针对目标视频的操作指令，生 成包括该操作指令及对应操作时间的指令时间数据集，并将所述指令 时间数据集发送给所述服务器200；

所述服务器200，用于根据接收到的所述指令时间数据集生成针 对所述目标视频进行批注的指令画面数据集，并将所述指令画面数据 集发送给所述视频播放设备300；

所述视频播放设备300，用于将接收到的所述指令画面数据集以 及所述视频播放设备300播放的目标视频进行合成，得到批注后的视 频。

在本实施例中，请参照图6，所述服务器200可以包括处理模块 210及生成模块220：

所述处理模块210，用于对所述指令时间数据集进行处理，得到 对应的指令画面及该指令画面对应的时间；

所述生成模块220，用于根据指令画面及该指令画面对应的时间 生成针对所述目标视频进行批注的指令画面数据集。

在本实施例中，请参照图7，所述视频播放设备300包括比对模 块310及合成模块320：

所述比对模块310，用于将所述指令画面数据集中指令画面对应 的时间与所述目标视频中视频帧对应的时间进行比对；

所述合成模块320，用于当指令画面对应的时间与所述目标视频 中视频帧对应的时间相同时，将所述指令画面与所述视频帧进行合成 得到批注后的视频帧，由批注后的视频帧得到批注后的视频。

本发明实施例提供的视频批注方法及系统。该方法应用于视频批 注系统，所述视频批注系统包括用户终端、服务器及视频播放设备， 所述方法包括：所述用户终端接收用户针对目标视频的操作指令，生 成包括该操作指令及对应操作时间的指令时间数据集，并将所述指令 时间数据集发送给所述服务器；所述服务器根据接收到的所述指令时 间数据集生成针对所述目标视频进行批注的指令画面数据集，并将所 述指令画面数据集发送给所述视频播放设备；所述视频播放设备将接 收到的所述指令画面数据集以及所述视频播放设备播放的目标视频 进行合成，得到批注后的视频。上述方案根据指令画面数据集与目标 视频合成得到批注后的视频，在上述合成过程中用户终端输入的操作 指令不会显示在所述的显示界面上，不会影响用户对当前目标视频内 容的观看。同时在进行批注视频生成时，将具有相同时间的指令画面 与目标视频的视频帧进行合成，可以确保操作指令及时被添加到视频 画面上，满足对画面的实时操作的需求。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并 不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范 围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。 因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种视频批注方法，其特征在于，应用于视频批注系统，所述视频批注系统包括用户终端、服务器及视频播放设备，所述方法包括：

所述用户终端接收用户针对目标视频的操作指令，生成包括该操作指令及对应操作时间的指令时间数据集，并将所述指令时间数据集发送给所述服务器；

所述服务器根据接收到的所述指令时间数据集生成针对所述目标视频进行批注的指令画面数据集，并将所述指令画面数据集发送给所述视频播放设备；

所述视频播放设备将接收到的所述指令画面数据集以及所述视频播放设备播放的目标视频进行合成，得到批注后的视频。

2.如权利要求1所述的方法，其特征在于，所述用户终端接收用户针对目标视频的操作指令，生成包括该操作指令及对应操作时间的指令时间数据集的步骤包括：

采集用户输入的操作指令及与该操作指令对应的操作时间；

根据所述操作指令及与该操作指令对应的操作时间生成指令时间数据集，其中，所述指令时间数据集记录了操作指令随时间的动态输入过程。

3.如权利要求2所述的方法，其特征在于，所述服务器根据接收到的所述指令时间数据集生成针对所述目标视频进行批注的指令画面数据集的步骤包括：

对所述指令时间数据集进行处理，得到对应的指令画面及该指令画面对应的时间；

根据指令画面及该指令画面对应的时间得到针对所述目标视频进行批注的指令画面数据集。

4.如权利要求3所述的方法，其特征在于，所述视频播放设备将接收到的所述指令画面数据集以及所述视频播放设备播放的目标视频进行合成，得到批注后的视频的步骤包括：

将所述指令画面数据集中指令画面对应的时间与所述目标视频中视频帧对应的时间进行比对；

当指令画面对应的时间与所述目标视频中视频帧对应的时间相同时，将所述指令画面与所述视频帧进行合成得到批注后的视频帧，由批注后的视频帧得到批注后的视频。

5.如权利要求4所述的方法，其特征在于，对所述指令时间数据集进行处理，得到对应的指令画面的步骤包括：

生成一背景透明的画布；

在画布上显示操作指令对应的批注元素以得到操作指令对应的指令画面。

6.如权利要求5中所述的方法，其特征在于，所述指令时间数据集中还包括操作指令的位置信息，所述将所述指令画面与所述视频帧进行合成得到批注后的视频帧的步骤，包括：

根据操作指令的位置信息在所述目标视频中的视频帧的相应位置叠加所述批注元素以得到批注后的视频帧。

7.如权利要求1-6中任意一项所述的方法，其特征在于，所述方法还包括：

所述视频播放设备响应播放批注后视频的请求，根据所述请求将所述批注后视频进行播放。

8.一种视频批注系统，其特征在于，所述视频批注系统包括用户终端、服务器及视频播放设备；

所述用户终端，用于接收用户针对目标视频的操作指令，生成包括该操作指令及对应操作时间的指令时间数据集，并将所述指令时间数据集发送给所述服务器；

所述服务器，用于根据接收到的所述指令时间数据集生成针对所述目标视频进行批注的指令画面数据集，并将所述指令画面数据集发送给所述视频播放设备；

所述视频播放设备，用于将接收到的所述指令画面数据集以及所述视频播放设备播放的目标视频进行合成，得到批注后的视频。

9.如权利要求8所述的系统，其特征在于，所述服务器包括处理模块及生成模块：

所述处理模块，用于对所述指令时间数据集进行处理，得到对应的指令画面及该指令画面对应的时间；

所述生成模块，用于根据指令画面及该指令画面对应的时间生成针对所述目标视频进行批注的指令画面数据集。

10.如权利要求9所述的系统，其特征在于，所述视频播放设备包括比对模块及合成模块：

所述比对模块，用于将所述指令画面数据集中指令画面对应的时间与所述目标视频中视频帧对应的时间进行比对；

所述合成模块，用于当指令画面对应的时间与所述目标视频中视频帧对应的时间相同时，将所述指令画面与所述视频帧进行合成得到批注后的视频帧，由批注后的视频帧得到批注后的视频。