CN113038265B - 视频标注处理方法、装置、电子设备及存储介质 - Google Patents

视频标注处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113038265B
CN113038265B CN202110228285.4A CN202110228285A CN113038265B CN 113038265 B CN113038265 B CN 113038265B CN 202110228285 A CN202110228285 A CN 202110228285A CN 113038265 B CN113038265 B CN 113038265B
Authority
CN
China
Prior art keywords
data
video file
annotation
frame
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110228285.4A
Other languages
English (en)
Other versions
CN113038265A (zh
Inventor
张发恩
朱江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alnnovation Beijing Technology Co ltd
Original Assignee
Alnnovation Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alnnovation Beijing Technology Co ltd filed Critical Alnnovation Beijing Technology Co ltd
Priority to CN202110228285.4A priority Critical patent/CN113038265B/zh
Publication of CN113038265A publication Critical patent/CN113038265A/zh
Application granted granted Critical
Publication of CN113038265B publication Critical patent/CN113038265B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种视频标注处理方法、装置、电子设备及存储介质，涉及视频监控技术领域。所述方法包括：从服务器获取视频文件和标注数据；基于所述视频文件的起始时间和结束时间确定所述视频文件在时间轴进度条中的视频位置；基于所述标注数据所处的帧数据，确定所述标注数据的每一帧在所述时间轴进度条中的标注位置；通过所述浏览器基于所述标注位置和所述视频文件渲染所述标注数据以在网页中进行显示。该方法通过浏览器对视频文件和标注数据在网页上进行渲染和显示，不需要对视频文件进行破坏性修改，保证了视频文件和标注数据的完整性。

Description

视频标注处理方法、装置、电子设备及存储介质
技术领域
本申请涉及视频监控技术领域，具体而言，涉及一种视频标注处理方法、装置、电子设备及存储介质。
背景技术
随着电子眼等安保设备建设的飞速发展，监控摄像头在公共安全及工作场所中扮演的角色越来越重要、功能复杂性日益提高，较为先进的是AI(Artificial Intelligence，人工智能)算法加持的摄像头，其中AI算法主要用于为所录制的视频数据添加算法标注，如标注视频中的某种违规行为或其他特定性为，而这些设备每时每刻都在产生海量的视频数据及算法标注数据，对于这些海量数据的正确且合理展示给用户就显得尤为重要。
现有的视频标注展示软件是在软件内直接将视频源数据进行编辑，视频文件上直接被写入了标注数据，导致标注数据和视频文件不可拆分，直接破坏视频源数据的方式导致了后期标注数据和视频文件的不可维护性。
发明内容
有鉴于此，本申请实施例的目的在于提供一种视频标注处理方法、装置、电子设备及存储介质，以改善现有技术中存在的标注数据和视频文件不可拆分，导致后期标注数据和视频文件的不可维护性的问题。
本申请实施例提供了一种视频标注处理方法，应用于浏览器，所述方法包括：从服务器获取视频文件和标注数据；基于所述视频文件的起始时间和结束时间确定所述视频文件在时间轴进度条中的视频位置；基于所述标注数据所处的帧数据，确定所述标注数据的每一帧在所述时间轴进度条中的标注位置；通过所述浏览器基于所述标注位置和所述视频文件渲染所述标注数据以在网页中进行显示。
在上述实现方式中，通过浏览器对视频文件和标注数据在网页上进行渲染和显示，不需要对视频文件进行破坏性修改，保证了视频文件和标注数据的完整性，避免了后期标注数据和视频文件存在不可维护性的问题。
可选地，所述方法还包括：设置与第一预设时长对应的所述时间轴进度条；采用HTML标签中的div标签元素在所述时间轴进度条上设置与第二预设时长对应的滑块，所述第二预设时长小于所述第一预设时长，所述滑块用于在所述时间轴进度条的任意位置选取所述第二预设时长的时间段进行展示。
在上述实现方式中，采用HTML标签中的div标签元素在时间轴进度条上设置滑块，使用户拖动时间轴进度条时一个像素距离对应的视频时长较短，易于进行视频进度跳转等人机交互操作。
可选地，所述方法还包括：当接收到在所述滑块上进行视频时间跳转的操作指令时，确定所述滑块上的当前操作像素在所述时间轴进度条的对应时间点；基于所述视频文件的所述起始时间确定所述对应时间点在所述视频文件中对应的相对时间点；跳转至所述相对时间点。
在上述实现方式中，通过滑块和时间轴进度条的对应时间转换，使用户能够通过滑块进行视频进度跳转等操作，提高了操作简便性和准确性。
可选地，所述基于所述标注数据所处的帧数据，确定所述标注数据的每一帧在所述时间轴进度条中的标注位置，包括：确定所述标注数据的帧数据、所述视频文件的所述起始时间和拍摄所述视频文件的摄像头帧率；针对指定帧的标注数据，基于将所述视频文件的所述起始时间加上所述指定帧的帧数据与所述帧率的商后得到的结果，确定所述指定帧在所述视频文件中对应的位置，作为所述指定帧的所述标注位置。
在上述实现方式中，通过标注数据的帧数据以及视频文件的起始时间确定标注数据在时间轴进度条中的位置，保证了标注数据添加时间的准确性。
可选地，所述通过所述浏览器基于所述标注位置和所述视频文件渲染所述标注数据以在网页中进行显示，包括：通过所述浏览器基于所述标注位置在所述视频文件的上层绘制标注数据渲染层；通过所述标注数据渲染层对所述标注数据进行渲染，以在所述网页中进行显示。
在上述实现方式中，在标注数据渲染层对标注数据进行渲染，不需要将标注数据和视频文件在显示前进行融合，不需要对视频文件进行不可逆修改，从而在准确显示标注数据的前提下保证了视频文件的完整性。
可选地，所述通过所述标注数据渲染层对所述标注数据进行渲染，包括：通过所述浏览器，采用HTML标签和Java Script中的绘图工具基于所述标注位置和所述标注数据在所述视频文件的所述标注数据渲染层的对应处绘制边框，并进行渲染，以在所述网页中进行显示。
在上述实现方式中，通过HTML标签和Java Script中的绘图工具将标注数据绘制成边框在视频文件上进行渲染和显示，完成了标注数据与视频文件的融合显示。
可选地，所述标注数据是由图像识别算法基于所述视频文件生成，并与所述视频文件进行聚合处理后存储于所述服务器。
在上述实现方式中，标注数据和视频文件进行聚合处理后存储于服务器，不需要浏览器后续进行聚合处理，降低了浏览器端的计算压力。
本申请实施例还提供了一种视频标注处理装置，应用于浏览器，所述装置包括：数据获取模块，用于从服务器获取视频文件和标注数据；视频文件对齐模块，用于基于所述视频文件的起始时间和结束时间确定所述视频文件在时间轴进度条中的视频位置；标注数据对齐模块，用于基于所述标注数据所处的帧数据，确定所述标注数据的每一帧在所述时间轴进度条中的标注位置；渲染模块，用于通过所述浏览器基于所述标注位置和所述视频文件渲染所述标注数据以在网页中进行显示。
在上述实现方式中，通过浏览器对视频文件和标注数据在网页上进行渲染和显示，不需要对视频文件进行破坏性修改，保证了视频文件和标注数据的完整性，避免了后期标注数据和视频文件存在不可维护性的问题。
可选地，所述视频标注处理装置还包括：时间轴设置模块，用于设置与第一预设时长对应的所述时间轴进度条；采用HTML标签中的div标签元素在所述时间轴进度条上设置与第二预设时长对应的滑块，所述第二预设时长小于所述第一预设时长，所述滑块用于在所述时间轴进度条的任意位置选取所述第二预设时长的时间段进行展示。
在上述实现方式中，采用HTML标签中的div标签元素在时间轴进度条上设置滑块，使用户拖动时间轴进度条时一个像素距离对应的视频时长较短，易于进行视频进度跳转等人机交互操作。
可选地，所述视频标注处理装置还包括：跳转模块，用于当接收到在所述滑块上进行视频时间跳转的操作指令时，确定所述滑块上的当前操作像素在所述时间轴进度条的对应时间点；基于所述视频文件的所述起始时间确定所述对应时间点在所述视频文件中对应的相对时间点；跳转至所述相对时间点。
在上述实现方式中，通过滑块和时间轴进度条的对应时间转换，使用户能够通过滑块进行视频进度跳转等操作，提高了操作简便性和准确性。
可选地，所述标注数据对齐模块具体用于：确定所述标注数据的帧数据、所述视频文件的所述起始时间和拍摄所述视频文件的摄像头帧率；针对指定帧的标注数据，基于将所述视频文件的所述起始时间加上所述指定帧的帧数据与所述帧率的商后得到的结果，确定所述指定帧在所述视频文件中对应的位置，作为所述指定帧的所述标注位置。
在上述实现方式中，通过标注数据的帧数据以及视频文件的起始时间确定标注数据在时间轴进度条中的位置，保证了标注数据添加时间的准确性。
可选地，所述渲染模块具体用于：通过所述浏览器基于所述标注位置在所述视频文件的上层绘制标注数据渲染层；通过所述标注数据渲染层对所述标注数据进行渲染，以在所述网页中进行显示。
在上述实现方式中，在标注数据渲染层对标注数据进行渲染，不需要将标注数据和视频文件在显示前进行融合，不需要对视频文件进行不可逆修改，从而在准确显示标注数据的前提下保证了视频文件的完整性。
可选地，所述渲染模块具体用于：通过所述浏览器，采用HTML标签和Java Script中的绘图工具基于所述标注位置和所述标注数据在所述视频文件的所述标注数据渲染层的对应处绘制边框，并进行渲染，以在所述网页中进行显示。
在上述实现方式中，通过HTML标签和Java Script中的绘图工具将标注数据绘制成边框在视频文件上进行渲染和显示，完成了标注数据与视频文件的融合显示。
可选地，所述标注数据是由图像识别算法基于所述视频文件生成，并与所述视频文件进行聚合处理后存储于所述服务器。
在上述实现方式中，标注数据和视频文件进行聚合处理后存储于服务器，不需要浏览器后续进行聚合处理，降低了浏览器端的计算压力。
本申请实施例还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述任一实现方式中的步骤。
本申请实施例还提供了一种可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述任一实现方式中的步骤。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的一种视频标注处理方法的流程示意图。
图2为本申请实施例提供的一种标注数据的效果示意图。
图3为本申请实施例提供的一种时间轴进度条的效果示意图。
图4为本申请实施例提供的一种时间轴进度条设置步骤的流程示意图。
图5为本申请实施例提供的一种渲染步骤的流程示意图。
图6为本申请实施例提供的一种视频标注处理装置的模块示意图。
图标：20-视频标注处理装置；21-数据获取模块；22-视频文件对齐模块；23-标注数据对齐模块；24-渲染模块。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行描述。
为了解决现有技术中的视频标注展示软件是在软件内直接将视频源数据进行编辑，视频文件上直接被写入了标注数据，导致视频文件和后期标注数据不可维护的问题，本申请实施例提供了一种视频标注处理方法。请参考图1，图1为本申请实施例提供的一种视频标注处理方法的流程示意图。上述视频标注处理方法的具体步骤可以如下：
步骤S12：从服务器获取视频文件和标注数据。
本实施例中的视频文件和标注数据可以是存储在服务器中的数据。
可选地，上述视频文件可以是摄像头拍摄获得的，标注数据可以是摄像头对视频文件通过AI算法处理产生或服务器对视频文件通过AI算法处理产生。请参考图2，图2为本申请实施例提供的一种标注数据的效果示意图，标注数据可以是HTML(Hyper Text MarkupLanguage，超文本标记语言)、XML(Extensible Markup Language，可扩展标记语言)等可以进行图形表示的数据类型，具体地，标注数据是根据某一帧的标注数据计算出标注的各个数据(标注的位置，大小，以及标注的类型等)，该图2示出的为标注数据所表示的图形结构示例，没穿厨师服、没戴厨师帽等可以是厨房着装领域的AI算法对画面处理结果，该标注数据可以应用于其他任意领域，该图2中具体人物画面省略。
服务器通过有线网络或无线网络从对应的摄像头处获取视频文件和标注数据，对视频文件和标注数据进行聚合以及其他处理，并存储至本服务器的文件系统及数据库中。
可选地，由于带宽限制，本实施例不会将摄像头拍摄到的所有视频都发送到服务器，所以摄像头只会把检测到的违规行为的视频文件发送到服务器，所以服务器收到的视频文件是间隔的，不利于UI(User Interface，用户界面)展示，所以需要将视频文件中视频的起始时间、结束时间、视频时长、帧率以及标注数据，对视频及标注数据的对应关系进行处理(确定某一段视频对应的标注数据是哪些)，并且将标注数据整理成为浏览器端方便使用的结构，所以聚合是将标注数据和对应的视频帧进行匹配，为标注数据添加帧数据。
如上，摄像头及服务器没有对视频文件进行破坏性的修改，没有直接将标注数据编辑到视频文件里面，保证纯净的视频文件可以完整的导出，保证标注数据可以完整导出，也保证在不同媒介上通过不同的方式去展示的潜在需求；出于实用性及带宽的考虑，不会将全部时间的所有视频文件都上传到服务器，而是将AI标注后存在违规情况的视频片段上传到服务器。
进一步的，浏览器在拿到服务器提供的视频文件(或该视频文件的视频链接)及标注数据后，现有技术通常将一天24小时的标注数据进行整理整合，形成一个完整的24小时的时间轴进度条，在时间轴上标注出对应的绝对时间点是否存在视频、是否存在标注数据等，可以想象在有限宽度的网页中显示24小时的时间轴，一个像素对应的视频时长会非常长，以960px为例，一天24小时是86400秒，一个像素对应的时长是86400/960＝90秒，因此在此种时间轴上进行视频进度跳转等人机交互是不合理的。
因此，本实施例提供了一种包括滑块的时间轴进度条设置方式，请参考图3和图4，图3为本申请实施例提供的一种时间轴进度条的效果示意图，图4为本申请实施例提供的一种时间轴进度条设置步骤的流程示意图。该时间轴进度条设置步骤具体可以如下：
步骤S131：设置与第一预设时长对应的时间轴进度条。
可选地，本实施例中第一预设时长可以为24小时，在其他实施例中该第一预设时长可以是8、10、48小时等任意时长。
步骤S132：采用HTML标签中的div标签元素在时间轴进度条上设置与第二预设时长对应的滑块，第二预设时长小于第一预设时长，滑块用于在时间轴进度条的任意位置选取第二预设时长的时间段进行展示。
上述div标签定义HTML文档中的一个分隔区块或者一个区域部分，常用于组合块级元素，以便通过CSS来对这些元素进行格式化，因此将其用于设置滑块。
可选地，本实施例中第而预设时长可以为1小时，在其他实施例中该第一预设时长可以是30分钟、80分钟、2小时等任意时长。
应当理解的是，在通过滑块确定时间轴进度条中需要展示的某时间段后，可以时间轴进度条之外再显示一个滑块进度条，将滑块对应的时间段通过较长的滑块进度条进行展示，方便进行视频进度跳转等操作。
对于存在违规行为等标注数据的视频文件如果按照时长分割，现有方案是直接将违规行为标记在视频文件的命名上，而视频文件命名有长度及数据类型限制，并不能完整的说明标注数据所在的具体相对时长位置，对于用户来说需要遍历整个一个小时的视频文件，才能定位标注位置。本实施例可以将违规视频的部分加入到时间轴上，用不同的颜色显示不同的违规类型，用户只需要拖动时间轴上的滑块就可以完成对违规行为的定位。
应当理解的是，上述步骤S131-S132并不表示其必须为步骤S11之后的步骤，而是表示步骤S131-S132的执行顺序可以在步骤S11之前或之后。
步骤S14：基于视频文件的起始时间和结束时间确定视频文件在时间轴进度条中的视频位置。
由于时间轴进度条的长度在本实施例中为24小时，则可以将其设置其表示每天00：00：00至24:00:00，则在确定视频文件的相对于一天24小时中的起始时间、结束时间时将其与时间轴进度条对应即可。
步骤S16：基于标注数据所处的帧数据，确定标注数据的每一帧在时间轴进度条中的标注位置。
具体地，上述步骤S16的子步骤可以如下：
步骤S161：确定标注数据的帧数据、视频文件的起始时间和拍摄视频文件的摄像头帧率。
步骤S162：针对指定帧的标注数据，基于将视频文件的起始时间加上指定帧的帧数据与帧率的商后得到的结果，确定指定帧在视频文件中对应的位置，作为指定帧的标注位置。
对上述步骤S16的具体步骤进行举例说明，标注数据是以帧为单位处理的，及一秒钟的视频数据对应着12条(或24条等与帧率对应的数字)标注数据，对于浏览器展示数据来说，需要将帧数据和视频文件的相对时间进行对应，即需要计算某一帧的标注数据对应的是某个视频文件的对应时间，需要得到每一个视频文件对应的一天24小时的相对起始时间及摄像头的帧率，根据需要计算的标注数据的帧数据及摄像头的帧率可以计算出帧数据对应的24小时相对位置，比如某一帧的标注数据的帧数据表示这一帧是某一天的第100000帧视频的数据，由于视频文件的帧率已知是12，那么可以得到，这帧标注数据对应的时间是100000除以12，也就是当天的第8333.33秒，即138分钟53.33秒，即对应的是凌晨2:18:53.33的视频，那么在播放视频文件的时候，播放到这一刻的视频文件的时候，需要展示对应的这一帧标注数据。
步骤S18：通过浏览器基于标注位置和视频文件渲染标注数据以在网页中进行显示。
具体地，请参考图5，图5为本申请实施例提供的一种渲染步骤的流程示意图，该步骤S18的具体子步骤可以如下：
步骤S181：通过浏览器基于标注位置在视频文件的上层绘制标注数据渲染层。
在通过步骤S16将某一帧标注数据与视频文件对应后，遍历所有视频文件的起始时长找到对应的视频文件进行渲染，并在视频文件的上层绘制标注数据渲染层。
可选地，本实施例中的渲染就是使用浏览器的HTML自带的Video元素进行视频播放。
步骤S182：通过标注数据渲染层对标注数据进行渲染，以在网页中进行显示。
具体地，通过浏览器，采用HTML标签和Java Script中的绘图工具基于标注位置和标注数据在视频文件的标注数据渲染层的对应处绘制边框，并进行渲染，以在网页中进行显示。
在完成标注数据与视频文件在时间进度条的对其以及渲染后，在需要进行视频进度跳转时，该视频进度跳转的步骤具体可以如下：
步骤S191：当接收到在滑块上进行视频时间跳转的操作指令时，确定滑块上的当前操作像素在时间轴进度条的对应时间点。
步骤S192：基于视频文件的起始时间确定对应时间点在视频文件中对应的相对时间点。
步骤S193：跳转至相对时间点。
下面对视频进度跳转的步骤进行举例说明，当用户在一小时时间轴上进行视频时间跳转时，需要将一小时时间轴上的当前操作像素对应到24小时的时间轴进度条的相对时间点，再去遍历所有的视频文件的起始时间，找到相对应的视频文件，然后计算出需要跳转到此视频文件的相对时间并跳转，在页面渲染相对应的绝对的帧数据。比如说3:30:00，就可以计算出这里需要展示的标注数据为第210min*60*12＝151200帧，根据每一个视频文件的起始时间和结束时间，确定要播放的是哪一个视频，以及需要自动跳转到视频文件的第几分钟，比如有一个视频的起始时间和结束时间是3:29:00-3:30:10，那么就需要播放这个视频，并且跳转到视频的60秒的位置进行播放，这样滑块、视频文件、标注数据就在时间轴进度条中对应起来了。
本申请实施例将标注数据和视频文件分开传输，不在视频文件上进行不可修改的标注，以网页作为展示媒介，使得几乎没有系统倾入性和破坏性，使得系统天生具有可移植性；通过将现实中较长时段时映射到有限长度的时间轴上，并提供更短时长的时间轴，相当于将不可交互的较长时间轴放大以实现可交互性，也就是说用户可以直接在时间轴上看到整个视频的违规情况，并且直接通过时间轴定位违规位置，操作视频时间选择不同的播放时刻，则时间轴上的每一个像素都对应着现实中的一个时间点，以此支持时间轴的人机交互及视频正常顺序播放中的标注数据的实时展示。
为了配合上述视频标注处理方法，本申请实施例还提供了一种视频标注处理装置20，请参考图6，图6为本申请实施例提供的一种视频标注处理装置的模块示意图。
视频标注处理装置20包括：
数据获取模块21，用于从服务器获取视频文件和标注数据；
视频文件对齐模块22，用于基于视频文件的起始时间和结束时间确定视频文件在时间轴进度条中的视频位置；
标注数据对齐模块23，用于基于标注数据所处的帧数据，确定标注数据的每一帧在时间轴进度条中的标注位置；
渲染模块24，用于通过浏览器基于标注位置和视频文件渲染标注数据以在网页中进行显示。
可选地，视频标注处理装置20还包括：时间轴设置模块，用于设置与第一预设时长对应的时间轴进度条；采用HTML标签中的div标签元素在时间轴进度条上设置与第二预设时长对应的滑块，第二预设时长小于第一预设时长，滑块用于在时间轴进度条的任意位置选取第二预设时长的时间段进行展示。
可选地，视频标注处理装置20还包括：跳转模块，用于当接收到在滑块上进行视频时间跳转的操作指令时，确定滑块上的当前操作像素在时间轴进度条的对应时间点；基于视频文件的起始时间确定对应时间点在视频文件中对应的相对时间点；跳转至相对时间点。
可选地，标注数据对齐模块23具体用于：确定标注数据的帧数据、视频文件的起始时间和拍摄视频文件的摄像头帧率；针对指定帧的标注数据，基于将视频文件的起始时间加上指定帧的帧数据与帧率的商后得到的结果，确定指定帧在视频文件中对应的位置，作为指定帧的标注位置。
可选地，渲染模块24具体用于：通过浏览器基于标注位置在视频文件的上层绘制标注数据渲染层；通过标注数据渲染层对标注数据进行渲染，以在网页中进行显示。
可选地，渲染模块24具体用于：通过浏览器基于标注位置在视频文件的上层绘制标注数据渲染层；通过标注数据渲染层对标注数据进行渲染，以在网页中进行显示。
本申请实施例还提供了一种电子设备，该电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行本实施例提供的视频标注处理方法中任一项所述方法中的步骤。
应当理解是，该电子设备可以是个人电脑(Personal Computer，PC)、平板电脑、智能手机、个人数字助理(Personal Digital Assistant，PDA)等具有逻辑计算功能的电子设备。
本申请实施例还提供了一种可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行视频标注处理方法中的步骤。
综上所述，本申请实施例提供了一种视频标注处理方法、装置、电子设备及存储介质，应用于浏览器，所述方法包括：从服务器获取视频文件和标注数据；基于所述视频文件的起始时间和结束时间确定所述视频文件在时间轴进度条中的视频位置；基于所述标注数据所处的帧数据，确定所述标注数据的每一帧在所述时间轴进度条中的标注位置；通过所述浏览器基于所述标注位置和所述视频文件渲染所述标注数据以在网页中进行显示。
在上述实现方式中，通过浏览器对视频文件和标注数据在网页上进行渲染和显示，不需要对视频文件进行破坏性修改，保证了视频文件和标注数据的完整性，避免了后期标注数据和视频文件存在不可维护性的问题。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的框图显示了根据本申请的多个实施例的设备的可能实现的体系架构、功能和操作。在这点上，框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图中的每个方框、以及框图的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。因此本实施例还提供了一种可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行区块数据存储方法中任一项所述方法中的步骤。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RanDom Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (9)

1.一种视频标注处理方法，其特征在于，应用于浏览器，所述方法包括：
从服务器获取视频文件和标注数据；
基于所述视频文件的起始时间和结束时间确定所述视频文件在时间轴进度条中的视频位置；
基于所述标注数据所处的帧数据，确定所述标注数据的每一帧在所述时间轴进度条中的标注位置；
通过所述浏览器基于所述标注位置和所述视频文件渲染所述标注数据以在网页中进行显示；
所述基于所述标注数据所处的帧数据，确定所述标注数据的每一帧在所述时间轴进度条中的标注位置，包括：
确定所述标注数据的帧数据、所述视频文件的所述起始时间和拍摄所述视频文件的摄像头帧率；
针对指定帧的标注数据，基于将所述视频文件的所述起始时间加上所述指定帧的帧数据与所述帧率的商后得到的结果，确定所述指定帧在所述视频文件中对应的位置，作为所述指定帧的所述标注位置。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
设置与第一预设时长对应的所述时间轴进度条；
采用HTML标签中的div标签元素在所述时间轴进度条上设置与第二预设时长对应的滑块，所述第二预设时长小于所述第一预设时长，所述滑块用于在所述时间轴进度条的任意位置选取所述第二预设时长的时间段进行展示。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
当接收到在所述滑块上进行视频时间跳转的操作指令时，确定所述滑块上的当前操作像素在所述时间轴进度条的对应时间点；
基于所述视频文件的所述起始时间确定所述对应时间点在所述视频文件中对应的相对时间点；
跳转至所述相对时间点。
4.根据权利要求1所述的方法，其特征在于，所述通过所述浏览器基于所述标注位置和所述视频文件渲染所述标注数据以在网页中进行显示，包括：
通过所述浏览器基于所述标注位置在所述视频文件的上层绘制标注数据渲染层；
通过所述标注数据渲染层对所述标注数据进行渲染，以在所述网页中进行显示。
5.根据权利要求4所述的方法，其特征在于，所述通过所述标注数据渲染层对所述标注数据进行渲染，包括：
通过所述浏览器，采用HTML标签和Java Script中的绘图工具基于所述标注位置和所述标注数据在所述视频文件的所述标注数据渲染层的对应处绘制边框，并进行渲染，以在所述网页中进行显示。
6.根据权利要求1所述的方法，其特征在于，所述标注数据是由图像识别算法基于所述视频文件生成，并与所述视频文件进行聚合处理后存储于所述服务器。
7.一种视频标注处理装置，其特征在于，应用于浏览器，所述装置包括：
数据获取模块，用于从服务器获取视频文件和标注数据；
视频文件对齐模块，用于基于所述视频文件的起始时间和结束时间确定所述视频文件在时间轴进度条中的视频位置；
标注数据对齐模块，用于基于所述标注数据所处的帧数据，确定所述标注数据的每一帧在所述时间轴进度条中的标注位置；
渲染模块，用于通过所述浏览器基于所述标注位置和所述视频文件渲染所述标注数据以在网页中进行显示；
所述标注数据对齐模块具体用于：确定标注数据的帧数据、视频文件的起始时间和拍摄视频文件的摄像头帧率；针对指定帧的标注数据，基于将视频文件的起始时间加上指定帧的帧数据与帧率的商后得到的结果，确定指定帧在视频文件中对应的位置，作为指定帧的标注位置。
8.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器运行所述程序指令时，执行权利要求1-6中任一项所述方法中的步骤。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器运行时，执行权利要求1-6任一项所述方法中的步骤。
CN202110228285.4A 2021-03-01 2021-03-01 视频标注处理方法、装置、电子设备及存储介质 Active CN113038265B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110228285.4A CN113038265B (zh) 2021-03-01 2021-03-01 视频标注处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110228285.4A CN113038265B (zh) 2021-03-01 2021-03-01 视频标注处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113038265A CN113038265A (zh) 2021-06-25
CN113038265B true CN113038265B (zh) 2022-09-20

Family

ID=76465208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110228285.4A Active CN113038265B (zh) 2021-03-01 2021-03-01 视频标注处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113038265B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113949920A (zh) * 2021-12-20 2022-01-18 深圳佑驾创新科技有限公司 视频标注方法、装置、终端设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105323501A (zh) * 2014-07-28 2016-02-10 中兴通讯股份有限公司 一种浓缩视频的运动目标标注方法、播放方法及装置
CN106909653A (zh) * 2017-02-24 2017-06-30 山东浪潮商用系统有限公司 一种基于实时数据跳动的进度条展示方法
WO2017211206A1 (zh) * 2016-06-08 2017-12-14 中兴通讯股份有限公司 视频标记方法、装置及视频监控方法和系统
CN108769604A (zh) * 2018-06-13 2018-11-06 深圳绿米联创科技有限公司 监控视频的处理方法、装置、终端设备及存储介质
CN110443294A (zh) * 2019-07-25 2019-11-12 丰图科技(深圳)有限公司 视频标注方法、装置、服务器、用户终端及存储介质
CN112417209A (zh) * 2020-11-20 2021-02-26 青岛以萨数据技术有限公司 一种基于浏览器的实时视频标注方法、系统、终端及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103678685A (zh) * 2013-12-26 2014-03-26 华为技术有限公司 一种网页标注方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105323501A (zh) * 2014-07-28 2016-02-10 中兴通讯股份有限公司 一种浓缩视频的运动目标标注方法、播放方法及装置
WO2017211206A1 (zh) * 2016-06-08 2017-12-14 中兴通讯股份有限公司 视频标记方法、装置及视频监控方法和系统
CN106909653A (zh) * 2017-02-24 2017-06-30 山东浪潮商用系统有限公司 一种基于实时数据跳动的进度条展示方法
CN108769604A (zh) * 2018-06-13 2018-11-06 深圳绿米联创科技有限公司 监控视频的处理方法、装置、终端设备及存储介质
CN110443294A (zh) * 2019-07-25 2019-11-12 丰图科技(深圳)有限公司 视频标注方法、装置、服务器、用户终端及存储介质
CN112417209A (zh) * 2020-11-20 2021-02-26 青岛以萨数据技术有限公司 一种基于浏览器的实时视频标注方法、系统、终端及介质

Also Published As

Publication number Publication date
CN113038265A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
US10671251B2 (en) Interactive eReader interface generation based on synchronization of textual and audial descriptors
EP3457295A2 (en) Method for recording, editing and reproduction of computer session
US8924884B2 (en) Automatically capturing and annotating content
US10275339B2 (en) Accessibility testing software automation tool
US20170330115A1 (en) Supplemental system for business intelligence systems to provide visual identification of meaningful differences
Cervone MathJax: a platform for mathematics on the Web
EP3776193B1 (en) Capturing and processing interactions with a user interface of a native application
US9600456B2 (en) Automatically performing a web service operation
US20150177940A1 (en) System, article, method and apparatus for creating event-driven content for online video, audio and images
WO2010132991A1 (en) Method for automatic mapping of eye tracker data to hypermedia content
US20130097644A1 (en) Generation and Consumption of Discrete Segments of Digital Media
Wu et al. Webui: A dataset for enhancing visual ui understanding with web semantics
CA2983098A1 (en) Techniques to manage bookmarks for media files
CN113038265B (zh) 视频标注处理方法、装置、电子设备及存储介质
CN113760825A (zh) 可视化用户操作回溯方法、装置、计算机设备及存储介质
JP4350137B2 (ja) 端末監視方法、端末監視装置、及び端末監視プログラム
WO2015149561A1 (zh) 一种浏览器中页面标签头的绘制方法及装置
KR20140114657A (ko) 디스플레이 장치 및 그의 액티비티에 대한 정보 디스플레이 방법
CN106598610A (zh) 基于网页应用的刷新实现方法及装置
EP4022481B1 (en) Protecting user privacy in user interface data collection for native applications
Siahaan et al. DIGITAL VIDEO PROCESSING PROJECTS USING PYTHON AND TKINTER
Feng et al. Video2Action: Reducing human interactions in action annotation of app tutorial videos
CN107220230A (zh) 一种信息采集方法和装置，以及一种智能终端
CN111787188B (zh) 视频播放方法、装置、终端设备及存储介质
CN113901352A (zh) 网页操作回放方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant