CN112866808B - 一种视频处理方法、装置、电子设备及存储介质 - Google Patents

一种视频处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112866808B
CN112866808B CN202011616159.8A CN202011616159A CN112866808B CN 112866808 B CN112866808 B CN 112866808B CN 202011616159 A CN202011616159 A CN 202011616159A CN 112866808 B CN112866808 B CN 112866808B
Authority
CN
China
Prior art keywords
video
target
behavior state
video stream
state detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011616159.8A
Other languages
English (en)
Other versions
CN112866808A (zh
Inventor
时占
闫研
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202011616159.8A priority Critical patent/CN112866808B/zh
Publication of CN112866808A publication Critical patent/CN112866808A/zh
Application granted granted Critical
Publication of CN112866808B publication Critical patent/CN112866808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/49Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computing Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本公开提供了一种视频处理方法、装置、电子设备及存储介质,其中,该视频处理方法包括:获取待处理视频流,所述待处理视频流为视频采集部件通过拍摄处于预设模式的目标管理对象得到的视频流;对所述待处理视频流中的所述目标管理对象进行行为状态检测,得到行为状态检测结果;基于所述行为状态检测结果对所述待处理视频流进行标记,得到目标视频流。

Description

一种视频处理方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机视觉技术领域,具体而言,涉及一种视频处理方法、装置、电子设备及存储介质。
背景技术
考虑到绝大多数人在儿童阶段是没有时间观念的,因此如果在儿童的学习阶段没有对其进行有效引导,可能会导致儿童养成不良的学习习惯,比如持续学习时长较短、多动、注意力不集中或者坐姿不正确等。
以小学生学习过程中的辅导为例,目前针对中小学生良好学习习惯的养成,主要依赖家长或者老师的言传身教育,但是在很多情况下,并没有一个严格的标准或是参照方式,以辅助家长或是老师对小学生的学习过程进行管理。因此,继续一种视频处理方法以解决上述技术问题。
发明内容
本公开实施例至少提供一种视频处理方案。
第一方面,本公开实施例提供了一种视频处理方法,包括:
获取待处理视频流,所述待处理视频流为视频采集部件通过拍摄处于预设模式的目标管理对象得到的视频流;
对所述待处理视频流中的所述目标管理对象进行行为状态检测,得到行为状态检测结果;
基于所述行为状态检测结果对所述待处理视频流进行标记,得到目标视频流。
本公开实施例中,可以对视频采集部件拍摄的待处理视频流中的目标管理对象进行行为状态检测,确定目标管理对象在预设模式下的至少一种行为状态检测结果,然后根据行为状态检测结果对待处理视频流进行标记,得到目标视频流,该目标视频流可以反应目标管理对象在预设模式下的行为状态,以辅助用户对目标管理对象在预设模式下的行为状态进行管理。比如针对学习模式下的小学生采集的视频流,可以按照该方式得到小学生在学习模式下的注意力不集中状态、坐姿异常状态、学习状态、休息状态等对应的目标视频流,以辅助家长或是老师对小学生的学习过程进行管理。
在一种可能的实施方式中,在所述基于所述行为状态检测结果对所述待处理视频流进行标记之后,所述视频处理方法还包括:
接收通过目标客户端发送的视频分享请求,所述目标客户端与所述目标管理对象关联;
从所述目标视频流中获取所述视频分享请求指示的第一目标视频片段;
向所述目标客户端发送所述第一目标视频片段。
本公开实施例中,提出可以根据目标客户端的需求,向目标客户端发送与目标客户端的需求匹配的第一目标视频片段,能够为目标客户端用户提供感兴趣的第一目标视频片段,便于目标客户端的用户快速掌握目标管理对象的行为状态,比如可以及时掌握学生在学习过程中的行为状态,协助学生养成良好的学习习惯。
在一种可能的实施方式中,所述视频分享请求包括视频实时播放请求和视频回放请求中的至少一项。
本公开实施例中,一方面可以根据视频实时播放请求实时分享目标管理对象的实时视频,可以直观地反应目标管理对象的当前行为状态,另一方面可以根据视频实时回放请求分享目标管理对象的历史视频,从而协助目标客户端的用户掌握目标管理对象在预设模式下的历史行为状态。
在一种可能的实施方式中,在所述视频分享请求包括视频实时播放请求的情况下,所述第一目标视频片段为包括所述待处理视频流最后一帧视频帧的视频片段。
本公开实施例中,可以实时分享目标管理对象的实时视频,以直观地反应目标管理对象的当前行为状态。
在一种可能的实施方式中,所述行为状态检测结果包括至少两项;
所述基于所述行为状态检测结果对所述待处理视频流进行标记,得到目标视频流,包括:
根据所述行为状态检测结果,对所述待处理视频流进行切分,以得到至少两个视频片段,所述至少两个视频片段中在时序上相邻的两个视频片段对应的行为状态检测结果不同;
基于预设规则,对所述至少两个视频片段分别进行标记,以得到标记后的多个视频片段;
将所述多个视频片段按照时序进行排列组合,以得到所述目标视频流。
本公开实施例中,提出可以根据待处理视频流中的目标管理对象的行为状态检测结果,对待处理视频流进行切分,这样可以得到与不同的行为状态检测结果分别对应的视频片段,从而便于按照预设规则,对不同的行为状态检测结果对应的视频片段进行标记,以得到可以直观反映目标管理对象不同行为状态的目标视频流。
本公开实施例中,在所述基于所述行为状态检测结果对所述待处理视频流进行标记之后,所述视频处理方法还包括:
获取所述目标客户端的配置信息,所述配置信息包括预先设置的行为状态关注信息;
从所述目标视频流中,筛选出与所述行为状态关注信息对应的第二目标视频片段;
向所述目标客户端发送所述第二目标视频片段中的至少部分视频片段。
本公开实施例中,提出可以根据目标客户端预先设置的行为状态关注信息,从目标视频流中筛选出目标客户端的目标用户关注的的第二目标视频段发生至目标客户端,一方面便于目标客户端的目标用户可以针对性地掌握目标管理对象在预设模式下的行为状态,另一方面可以提高视频发送速度。
在一种可能的实施方式中,在获取待处理视频流之前,所述视频处理方法还包括:
响应于检测到启动所述视频采集部件进入所述预设模式的开启触发事件,控制所述视频采集部件拍摄所述待处理视频流;
所述开启触发事件包括以下一种或多种:
接收到进入所述预设模式的指令;
达到所述预设模式开始的预设时刻;
基于所述视频采集部件采集的视频流,确定所述目标管理对象进入与所述预设模式匹配的预设状态。
本公开实施例中,提出可以通过多种方式触发获取处于预设模式的目标管理对象的待处理视频流,提高了针对目标管理对象在预设模式下的行为状态进行检测的便捷性。
在一种可能的实施方式中,所述行为状态检测结果包括至少两项状态的检测结果,在所述得到行为状态检测结果之后,所述视频处理方法还包括:
基于所述行为状态检测结果指示的各个状态分别对应的视频片段、以及所述目标视频流的总时长,确定所述各个状态分别对应的统计数据;
基于确定的所述统计数据,生成所述目标管理对象的行为状态报告;
向所述目标客户端发送所述行为状态报告。
本公开实施例中,提出可以基于至少一种行为状态以及至少一种行为状态分别对应的视频片段,生成直观反映目标管理对象在预设模式下的行为状态的行为状态报告,并可以向目标客户端发生该行为状态报告,方便目标管理对象的家长或老师能够及时掌握目标管理对象的在预设模式下的行为状态情况,从而可以有效的引导目标管理对象养成良好的行为习惯。
在一种可能的实施方式中,所述向所述目标客户端发送所述行为状态报告之后,所述视频处理方法还包括:
响应于所述目标客户端发送的针对目标视频片段的行为状态检测结果的更新指示信息,对所述行为状态报告进行更新。
本公开实施例中,提出允许目标管理对象对应的目标客户端的目标用户针对确定的视频片段的行为状态的更新,从而可以提高目标管理对象的行为状态报告的准确性。
在一种可能的实施方式中,所述视频处理方法还包括:
基于所述行为状态检测结果以及所述行为状态检测结果指示的各个状态分别对应的视频片段,生成视频分享信息;所述视频分享信息包括至少一个视频片段对应的访问信息;
向所述目标客户端发送所述视频分享信息。
本公开实施例中,提出可以基于至少一种行为状态以及至少一种行为状态分别对应的视频片段,生成视频分享信息,比如可以包含至少一个视频片段对应的访问信息,在将视频分享信息发送至目标客户端后,便于目标客户端的目标用户能够根据至少一个视频片段对应的访问信息访问对应的视频片段,便于目标客户端的目标用户及时掌握目标管理对象在预设模式下的行为状态情况。
在一种可能的实施方式中,所述视频分享信息包括所述目标视频流的播放进度信息,在通过目标客户端展示所述播放进度信息的过程中,所述播放进度信息包括所述目标视频流中至少部分视频片段对应的进度范围指示标识,所述目标客户端与所述目标管理对象关联。
本公开实施例中,向目标客户端分享的视频分享信息包含目标视频流的播放进度信息,可以在目标视频流的同时,展示目标视频流中至少部分视频片段对应的进度范围指示标识,便于目标用户可以基于进度范围指示标识快速找到关注的视频片段。
第二方面,本公开实施例提供了一种视频处理装置,包括:
获取模块,用于获取待处理视频流,所述待处理视频流为视频采集部件通过拍摄处于预设模式的目标管理对象得到的视频流;
检测模块,用于对所述待处理视频流中的所述目标管理对象进行行为状态检测,得到行为状态检测结果;
处理模块,用于基于所述行为状态检测结果对所述待处理视频流进行标记,得到目标视频流。
第三方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面所述的视频处理方法的步骤。
第四方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面所述的视频处理方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种视频处理方法的流程图;
图2示出了本公开实施例所提供的一种确定目标视频流得方法流程图;
图3示出了本公开实施例所提供的第一种视频流的发送方法流程图;
图4示出了本公开实施例所提供的第二种视频流的发送方法流程图;
图5示出了本公开实施例所提供的一种发送行为状态报告的方法流程图;
图6a示出了本公开实施例所提供的一种行为状态报告的示意图;
图6b示出了本公开实施例所提供的另一种行为状态报告的示意图;
图7示出了本公开实施例所提供的一种向目标客户端发送视频分享信息的方法流程图;
图8示出了本公开实施例所提供的一种在目标客户端展示的视频分享信息的界面示意图;
图9示出了本公开实施例所提供的一种视频处理装置的结构示意图
图10示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
中小学生在独立学习环境中,可能会因自制力较差导致不良的学习习惯,比如持续学习时间短、坐姿不正确、注意力不集中的情况,如何帮助中小学生养成良好的学习习惯,为亟需解决的问题。
基于上述研究,本公开提供了一种视频处理方法,本公开实施例中,可以对视频采集部件拍摄的待处理视频流中的目标管理对象进行行为状态检测,确定目标管理对象在预设模式下的至少一种行为状态检测结果,然后根据行为状态检测结果对待处理视频流进行标记,得到目标视频流,该目标视频流可以反应目标管理对象在预设模式下的行为状态,以辅助用户对目标管理对象在预设模式下的行为状态进行管理;比如针对学习模式下的小学生采集的视频流,可以按照该方式得到小学生在学习模式下的注意力不集中状态、坐姿异常状态、学习状态、休息状态等对应的目标视频流,以辅助家长或是老师对小学生的学习过程进行管理。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种视频处理方法进行详细介绍,本公开实施例所提供的视频处理方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器或其它处理设备,终端设备可以为视频采集部件、或者与视频采集部件连接的处理设备等。在一些可能的实现方式中,该视频处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示,为本公开实施例提供的视频处理方法的流程图,该视频处理方法包括以下S101~S103:
S101,获取待处理视频流,待处理视频流为视频采集部件通过拍摄处于预设模式的目标管理对象得到的视频流。
示例性地,以针对目标管理对象在学习场景中的时间管理为例,目标管理对象可以为需要进行时间管理的目标学生,预设模式可以为学习模式,这样待处理视频流为拍摄处于学习模式下的目标学生的视频流。
S102,对待处理视频流中的目标管理对象进行行为状态检测,得到行为状态检测结果。
示例性地,以针对目标学生在学习模式下的行为状态检测为例,行为状态检测结果可以包括学习模式下的学习状态、休息状态(比如处于学习状态下一段时间后要进入休息状态)、在学习状态下的坐姿情况、注意力情况等。
示例性地,在对视频流进行行为状态检测时,可以先对视频流进行分帧处理,得到视频帧,然后针对视频流的视频帧进行目标检测,确定出视频帧中包含的目标学生对应的姿态数据,然后根据检测得到的视频流中视频帧的姿态数据,确定关于目标管理对象的行为状态检测结果。
S103,基于行为状态检测结果对待处理视频流进行标记,得到目标视频流。
示例性地,每种行为状态检测结果可以关联多帧视频帧,比如根据N帧视频帧确定出目标学生存在注意力不集中的状态,则注意力不集中的行为状态与这N帧视频帧或是包括这N帧视频帧在内的视频片段关联,这样可以基于预设规则,对不同行为状态检测结果关联的视频帧/视频片段进行标记,比如可以通过颜色和/或文字内容,对不同行为状态检测结果关联的视频帧/视频片段进行标记。
本公开实施例中,可以对视频采集部件拍摄的待处理视频流中的目标管理对象进行行为状态检测,确定目标管理对象在预设模式下的至少一种行为状态检测结果,然后根据行为状态检测结果对待处理视频流进行标记,得到目标视频流,该目标视频流可以反应目标管理对象在预设模式下的行为状态,以辅助用户对目标管理对象在预设模式下的行为状态进行管理;比如针对学习模式下的小学生采集的视频流,可以按照该方式得到小学生在学习模式下的注意力不集中状态、坐姿异常状态、学习状态、休息状态等对应的目标视频流,以辅助家长或是老师对小学生的学习过程进行管理。
下面将结合具体实施例对上述S101~S103进行详细阐述。
在一种可能的实施方式中,在获取待处理视频流之前,本公开实施例提供的视频处理方法还包括:
响应于检测到启动视频采集部件进入预设模式的开启触发事件,控制视频采集部件拍摄待处理视频流;
开启触发事件包括以下一种或多种:
(1)接收到进入预设模式的指令;
(2)达到预设模式开始的预设时刻;
(3)基于视频采集部件采集的视频流,确定目标管理对象进入与预设模式匹配的预设状态。
示例性地,在在获取待处理视频流之前,视频采集部件可以处于关闭或者处于普通模式下的视频流采集状态,相当于安保摄像头的作用,在检测到开启触发事件后,视频采集部件需要拍摄处于预设模式下的目标管理对象的视频流。
针对第(1)种情况,示例性地,进入预设模式的指令可以是由目标管理对象对应的目标客户端发送,用于指示视频采集部件开始获取待处理视频流,其中目标管理对象对应的目标客户端可以为目标学生的家长的智能手机、平板、笔记本等,在此不做具体限定。
针对第(2)种情况,示例性地,可以预先设置预设模式开始的时刻,比如设置每天下午3:00~5:00为预设模式对应的时间段,则在检测到当前时刻达到下午3:00时,可以确定达到预设模式开始的预设时刻。
针对第(3)种情况,示例性地,预设模式可以为目标管理对象的学习模式,因此在检测到目标管理对象进入与学习模式匹配的学习状态的情况下,也可以触发切换至预设模式,比如,在普通模式下采集到的视频流中检测到目标管理对象在书桌前端坐,且保持一定时长后,可以触发进入预设模式。
本公开实施例中,提出可以通过多种方式触发获取处于预设模式的目标管理对象的待处理视频流,提高了针对目标管理对象在预设模式下的行为状态进行检测的便捷性。
针对上述S102,对所述待处理视频流中的所述目标管理对象进行行为状态检测,得到行为状态检测结果时,可以包括:
对视频流进行分帧处理,然后先对视频帧进行姿态检测,得到视频帧中目标管理对象的姿态数据,然后根据检测得到的视频流中视频帧的姿态数据,确定目标管理对象的行为状态。
示例性地,姿态数据可以包含目标管理对象在视频帧中的位置和姿势,从而可以对单帧视频帧中的目标管理对象的行为进行标记,比如前倾、后仰、离开书桌、趴着、头部向一侧偏移(相比视频帧的中心区域向左侧偏移、向右侧偏移)背过头(视频采集部件拍摄的视频帧中未检出到目标管理对象的正脸及侧脸)、正常姿态(未出现以上情况的姿态)等。
进一步地,基于检测出的目标管理对象在视频帧中的姿态数据,可以进一步确定目标管理对象的行为状态,比如连续检测到目标管理对象位于书桌前,可以确定目标管理对象的处于学习状态,在学习状态下连续检测出目标管理对象在视频帧中的姿态数据为前倾,可以确定目标管理对象在学习状态中存在坐姿异常;再比如连续检测出视频帧中的姿态数据包含头部向不同方向偏移,可以确定目标管理对象在学习过程中包含注意力不集中(多动)。
示例性地,对视频帧进行姿态检测,得到视频帧中目标管理对象的姿态数据的方式可以通过预先训练的神经网络来进行确定,比如可以提取视频帧中包含的多个特征点,得到多个特征点在视频帧中的中对应的位置信息,然后将多个特征点对应的位置信息输入用于确定姿态数据的神经网络,得到视频帧中包含的目标管理对象的姿态数据。
示例性地,还可以通过目标管理对象不同部位的特征点在视频帧中的位置信息,确定出目标管理对象的姿态数据,比如根据脸部的特征点在视频帧中的位置信息,以及预先设定的人脸的特征点在多种转向角度下在视频帧中的位置信息,确定出目标管理对象的人脸的转向角度;根据目标管理对象躯干轮廓的特征点在视频帧中的位置信息、以及预先采集的人体在直立坐姿、前倾坐姿以及后仰坐姿下,躯干轮廓的特征点在视频帧中的位置信息,确定目标管理对象的坐姿是直立坐姿、前倾坐姿还是后仰坐姿。
示例性地,在不同应用场景下,在对视频帧进行特征点提取时,除了针对目标管理对象进行特征点提权,还可以针对周围环境进行特征点提取,比如针对目标学生在学习场景中的行为状态进行检测的过程中,还可以提取书桌的特征点在视频帧中的位置信息,根据目标学生的多个特征点和书桌的多个特征点在视频帧中的位置信息,可以辅助确定目标学生是否趴在桌子上,比如检测目标学生的脸部特征点与书桌的特征点之间的距离小于预设距离阈值,可以标记视频帧中的目标学生趴在书桌上。
在另一种实施方式中,在检测目标管理对象在视频帧中的姿态数据时,还可以对视频帧进行目标检测,确定目标管理对象的检测框在视频帧中的位置信息,通过检测框的顶点在视频帧中的位置信息,预先采集人体在直立坐姿、前倾坐姿还是后仰坐姿下的检测框的顶点在视频帧中的位置信息,确定目标管理对象的姿态数据。
示例性地,还可以根据头部检测框与视频帧中心区域的相对位置信息,确定出目标管理对象的头部是否向左侧偏移、或者向右侧偏移等。
示例性地,通过单帧视频帧检测到的目标管理对象的姿态数据包括目标管理对象前倾,但是可能是偶然事件,无法准确说明目标管理对象存在坐姿不正确的行为状态,因此为了提高确定的目标管理对象的行为状态的准确度,提出可以根据多帧视频帧检测出的目标管理对象的姿态数据,共同确定目标管理对象的行为状态。
在一种实施方式中,上述提到的行为状态检测结果可以包括至少两项,针对上述S103,在基于行为状态检测结果对待处理视频流进行标记,得到目标视频流时,如图2所示,可以包括以下S201~S203:
S201,根据行为状态检测结果,对待处理视频流进行切分,以得到至少两个视频片段,至少两个视频片段中在时序上相邻的两个视频片段对应的行为状态检测结果不同。
示例性地,根据上文提到在对待处理视频流中的目标管理对象进行行为状态检测后,可以得到不同行为状态检测结果关联的视频帧,按照行为状态检测结果,可以对待处理视频流包含的视频帧进行切分,可以得到每种行为状态检测结果关联视频片段。
示例性地,比如待处理视频流中的第1帧视频帧至第n-1帧视频帧对应的行为状态检测结果为学习状态、第n帧视频帧至第n+m帧视频帧对应的行为状态检测结果为休息状态,则可以在第n-1帧视频帧和第n帧视频帧之间进行切分,得到与学习状态对应的视频片段和与休息状态对应的视频片段。
此外,在学习状态下还包括正常学习状态、注意力不集中、坐姿异常等行为状态,比如第1帧视频帧至第m帧视频帧对应的行为状态指示目标学生为正常学习状态、第m+1帧视频帧至第m+8帧视频帧对应的行为状态为坐姿异常状态,第m+9帧视频至第m+25帧视频帧对应的行为状态为注意力不集中状态,第m+26至第n帧视频帧对应的行为状态指示目标学生为正常学习状态,则可以分别在第m帧和第m+1帧之间、以及第m+8帧和第m+9帧之间、以及第m+25帧和第m+26之间进行切分,从而可以分别得到正常学习状态、坐姿异常状态、注意力不集中状态和正常学习状态对应的视频片段。
S202,基于预设规则,对至少两个视频片段分别进行标记,以得到标记后的多个视频片段。
示例性地,在基于预设规则,对至少两个视频片段分别进行标记,可以包含按照预先设定的不同状态检测结果分别对应的标记信息,对至少两个视频片段进行标记,其中,标记信息可以包括但不限于文字、色彩和图案。
示例性地,在通过文字对不同行为状态检测结果对应的视频片段进行标记时,可以通过文字对不同行为状态检测结果对应的视频片段建立文字标签,比如为正常学习状态对应的视频片段建立“学习”标签;为休息状态对应的视频片段建立“休息”标签;为坐姿异常状态对应的视频片段建立“坐姿异常”标签、为注意力不集中状态对应的视频片段建立“注意力不集中”标签,这样可以将不同行为状态检测结果对应的视频片段与该视频片段对应的文字标签进行关联存储,便于在后期基于标记后的多个视频片段向与目标管理对象对应目标客户端进行分享时,可以向目标客户端分享视频片段以及该视频片段对应的文字标签。
示例性地,在通过色彩对不同行为状态检测结果对应的视频片段进行标记时,可以通过色彩对不同行为状态检测结果对应的视频片段建立色彩标签,比如为正常学习状态对应的视频片段建立“绿色”标签;为休息状态对应的视频片段建立“粉色”标签;为坐姿异常状态对应的视频片段建立“红色”标签;为注意力不集中状态对应的视频片段建立“黄色”标签;当然针对一种行为状态检测结果还可以按照更细粒度的区分生成对应的标签,比如坐姿异常包含坐姿前倾状态和坐姿后仰状态,对应地可以通过不同的色彩标签来标记两种不同的异常坐姿状态,这样可以将不同行为状态检测结果对应的视频片段与该视频片段对应的色彩标签进行关联存储,在需要向目标管理对象对应的目标客户端展示时,可以通过目标客户端展示带有色彩标记的视频片段,比如在视频流展示区域同时展示视频流中与每种状态检测结果对应的视频片段关联的进度范围指示标识,便于目标管理对象对应的目标客户端用户基于进度范围指示标识确定视频片段所指示的行为状态,也可以通过进度范围指示标识快速找到想要查看的视频片段。
示例性地,在通过图案对不同行为状态检测结果对应的视频片段进行标记时,可以通过图案对不同行为状态检测结果对应的视频片段建立色彩标签,比如为正常学习状态对应的视频片段建立“圆形”标签;为休息状态对应的视频片段建立“矩形”标签;为坐姿异常状态对应的视频片段建立“粗直线”标签;为注意力不集中状态对应的视频片段建立“细直线”标签;这样可以将不同行为状态检测结果对应的视频片段与该视频片段对应的图案标签进行关联存储,在需要向目标管理对象对应的目标客户端展示时,可以通过目标客户端展示带有图案标记的视频片段,比如在视频流展示区域同时展示视频流中与每种状态检测结果对应的视频片段关联的进度范围指示标识,便于目标管理对象对应的目标客户端用户基于进度范围指示标识确定视频片段所指示的行为状态,也可以通过进度范围指示标识快速找到想要查看的视频片段。
以上文字标签、色彩标签和图案标签可以单独使用也可以结合使用,在此不做限定。
S203,将多个视频片段按照时序进行排列组合,以得到目标视频流。
示例性地,在得到多个视频片段后,按照多个视频片段在待处理视频流中的采集时间顺序进行排列组合,可以得到目标视频流。
本公开实施例中,提出可以根据待处理视频流中的目标管理对象的行为状态检测结果,对待处理视频流进行切分,这样可以得到与不同的行为状态检测结果分别对应的视频片段,从而便于按照预设规则,对不同的行为状态检测结果对应的视频片段进行标记,以得到可以直观反映目标管理对象不同行为状态的目标视频流。
在一种实施方式中,在基于行为状态检测结果对待处理视频流进行标记之后,如图3所示,本公开实施例提供的视频处理方法还包括以下S301~S303:
S301,接收通过目标客户端发送的视频分享请求,目标客户端与目标管理对象关联。
示例性地,目标客户端可以为目标学生的家长的智能手机、平板、笔记本等,在此不做具体限定。
示例性地,在通过视频采集部件采集目标管理对象对应的视频流之前,可以建立目标客户端分别与视频采集部件和目标管理对象的关联关系,比如可以在目标客户端上添加视频采集部件的型号或者视频采集部件的ID号,以及在目标客户端上添加目标管理对象的姓名、身份等信息,然后可以通过目标客户端的访问账号进行注册,在注册成功后,建立了目标客户端分别与目标管理对象以及视频采集部件的关联关系,后期目标客户端的使用用户可以通过登录访问账号发送关联的目标管理对象的视频分享请求。
示例性地,视频分享请求中可以包含请求获取的目标视频片段,比如请求获取注意力不集中状态对应的视频片段。
S302,从目标视频流中获取视频分享请求指示的第一目标视频片段。
示例性地,可以根据目标客户端发送的视频分享请求,获取目标客户单请求的第一目标视频片段,比如注意力不集中状态对应的第一目标视频片段
S303,向目标客户端发送第一目标视频片段。
本公开实施例中,提出可以根据目标客户端的需求,向目标客户端发送与目标客户端的需求匹配的第一目标视频片段,能够为目标客户端用户提供感兴趣的第一目标视频片段,便于目标客户端的用户快速掌握目标管理对象的行为状态,比如可以及时掌握学生在学习过程中的行为状态,协助学生养成良好的学习习惯。
具体地,上述视频分享请求包括视频实时播放请求和视频回放请求中的至少一项。
示例性地,目标客户端可以请求查看实时视频,以查看目标管理对象在当前时刻下的行为状态,也可以请求查看历史视频,以了解目标管理对象的历史行为状态。
本公开实施例中,一方面可以根据视频实时播放请求实时分享目标管理对象的实时视频,可以直观地反应目标管理对象的当前行为状态,另一方面可以根据视频实时回放请求分享目标管理对象的历史视频,从而协助目标客户端的用户掌握目标管理对象在预设模式下的历史行为状态。
在一种可能的实施方式中,在视频分享请求包括视频实时播放请求的情况下,第一目标视频片段为包括待处理视频流最后一帧视频帧的视频片段。
示例性地,在请求查看实时视频得情况下,可以向目标客户端发送视频采集部件采集得最新得视频帧。
本公开实施例中,可以实时分享目标管理对象的实时视频,以直观地反应目标管理对象的当前行为状态。
在一种可能的实施方式中,在基于行为状态检测结果对待处理视频流进行标记之后,如图4所示,本公开实施例提供的视频处理方法还包括以下S401~S403:
S401,获取目标客户端的配置信息,该配置信息包括预先设置的行为状态关注信息。
考虑到目标学生在学习模式下可以包含多种行为状态,比如上述提到的正常学习状态、休息状态、在学习状态时的坐姿异常状态、注意力不集中状态等,由于学习模式对应的完整视频流的时长可能较长,因此可以允许目标学生的家长预先在目标客户端设置行为状态关注信息,比如设置行为状态关注信息包括目标学生在学习状态下的坐姿异常状态和注意力不集中状态。
示例性地,行为状态关注信息可以通过数字、文字或者图案内容来表示,比如可以预先设置通过数字“1”表示目标用户关注的行为状态,通过数字“0”表示目标用户不关注的行为状态;或者预选设置通过文字“是”表示目标用户关注的行为状态,通过文字“否”表示目标用户不关注的行为状态;通过图案圆形表示目标用户关注的行为状态,通过图案方形表示目标用户不关注的行为状态,这里的行为状态关注信息可以通过“1”、“是”或者图案圆形表示。
S402,从目标视频流中,筛选出与行为状态关注信息对应的第二目标视频片段。
示例性地,在向目标客户端进行视频分享时,可以从多种行为状态检测结果分别对应的视频片段中,筛选出行为状态关注信息对应的第二目标视频片段,比如筛选出表示目标学生坐姿异常的视频片段和表示目标学生注意力不集中的视频片段。
S403,向目标客户端发送第二目标视频片段中的至少部分视频片段。
示例性地,在需要向目标客户端发送目标管理对象在学习模式下的视频片段时,可以只将筛选出的第二目标视频片段发送至目标客户端,便于目标客户端的目标用户可以针对性地掌握目标管理对象在学习模式下的学习情况。
本公开实施例中,提出可以根据目标客户端预先设置的行为状态关注信息,从目标视频流中筛选出目标客户端的目标用户关注的第二目标视频段发生至目标客户端,一方面便于目标客户端的目标用户可以针对性地掌握目标管理对象在预设模式下的行为状态,另一方面可以提高视频发送速度。
在一种实施方式中,行为状态检测结果包括至少两项状态的检测结果,在得到行为状态检测结果之后,如图5所示,本公开实施例提供的视频处理方法还包括以下S501~S503:
S501,基于行为状态检测结果指示的各个状态分别对应的视频片段、以及目标视频流的总时长,确定各个状态分别对应的统计数据。
示例性地,一种行为状态对应的统计数据可以包含该行为状态对应的视频片段在视频流总时长中的时长占比、该行为状态对应的视频片段对应的时长占比在学习报告中展示时的展示图案数据,展示图案数据具体可以包含展示时的形状、色彩、动画效果等数据。
S502,基于确定的统计数据,生成目标管理对象的行为状态报告。
示例性地,行为状态报告可以包含文字内容和图案内容,文字内容可以给出目标管理对象在学习模式下包含的行为状态的文字说明信息、针对每种行为状态对应的时长占比的文字说明信息、以及针对目标管理对象今后的学习建议等。
图案内容可以直观地表示目标管理对象在学习模式下的行为情况,比如可以直观地表示目标管理对象在学习模式下包含的行为状态、以及每种行为状态对应的时长占比,图案内容可以通过直方图或者扇形图等统计图形来表示,该行为状态报告可以包含针对学习时间分析、姿势分析以及状态分析生成扇形图。
特别地,在学习模式对应的时间段较长的情况下,可以预先将学习模式对应的时间段分为学习时间和休息时间,比如每学习40分钟,休息10分钟,或者根据目标管理对象在视频流中的行为状态确定学习时间和非学习时间,比如将目标管理对象处于预设学习行为状态下的时间认为是学习时间,处于预设非学习行为状态下的时间认为是休息时间,其中,预设学习行为状态可以包括目标管理对象端坐在书桌前的座位上、且手部位于书桌上的行为状态,或者可以包括目标管理对象端坐在书桌前的座位上、手部位于书桌上、并且目光朝向书桌上的学习资料时的行为状态;预设非学习行为状态可以包括目标管理对象远离书桌的行为状态。
进一步地,在学习时间内会对管理对象进行坐姿以及注意力的检测,在休息时间内无需对目标管理对象进行坐姿和注意力的检测,因此姿势分析和状态分析分别对应的饼状图可以根据目标学生在学习时间内的行为状态生成。
S503,向目标客户端发送行为状态报告。
示例性地,在生成行为状态报告后,可以直接向目标客户端发送,也可以在接收到目标客户端发送的行为状态报告请求后,再向目标客户端发送。
以行为状态报告为学习报告为例,如图6a所示,为在目标客户端展示的目标学生在学习过程中是否劳逸结合的学习报告示意图,该学习报告可以包括学习信息展示区域21,在该学习信息展示区域中可以展示学习报告对应的学生姓名、学习报告的生成时间、学习时长以及学习地点等信息;该学习报告可以学习时间反馈区域22,在该学习时间反馈区域中可以通过占比图展示学生在学习过程的学习时长和休息时长的占比;此外该学习时间反馈区域中还可以包括触发获取学习状态或者休息状态的视频片段的触发按钮,通过该触发按钮,目标客户端用户可以获取对应的视频片段。
仍以行为状态报告为学习报告为例,如图6b所示,该学习报告可以包括学习信息展示区域31,在该学习信息展示区域中可以展示学习报告对应的学生姓名、学习报告的生成时间、学习时长以及学习地点等信息。
学习报告中还可以包括学习姿势分析结果展示区域32,在该学习姿势分析结果展示区域中可以通过占比图展示学生在学习过程中存在的不同姿势在总学习时长中的占比;此外该学习姿势分析结果展示区域中还可以包括触发获取姿势异常的视频片段的触发按钮,通过该触发按钮,目标客户端用户可以获取与姿势异常对应的视频片段。
学习报告中还可以包括学习状态结果展示区域33,在该学习状态结果展示区域中可以通过占比图展示学生在学习过程中存在的不同学习状态(比如注意力集中状态和注意力不集中状态)在总学习时长中的占比;此外该学习状态结果展示区域中还可以包括触发获取注意力不集中状态的视频片段的触发按钮,通过该触发按钮,目标客户端用户可以获取与注意力不集中状态对应的视频片段。
本公开实施例中,提出可以基于至少一种行为状态以及至少一种行为状态分别对应的视频片段,生成直观反映目标管理对象在预设模式下的行为状态的行为状态报告,并可以向目标客户端发生该行为状态报告,方便目标管理对象的家长或老师能够及时掌握目标管理对象的在预设模式下的行为状态情况,从而可以有效的引导目标管理对象养成良好的行为习惯。
进一步地,向目标客户端发送行为状态报告之后,本公开实施例提供的视频处理方法还包括:
响应于目标客户端发送的针对目标视频片段的行为状态检测结果的更新指示信息,对行为状态报告报告进行更新。
示例性地,考虑到在基于视频流检测目标管理对象的行为状态时,可能存在误判的情况,目标管理对象对应的目标客户端的目标用户,比如学生的家长在查看针对目标管理对象生成的行为状态报告后,可以请求对被标记错误的行为状态进行更新。
本公开实施例中,提出允许目标管理对象对应的目标客户端的目标用户针对确定的视频片段的行为状态的更新,从而可以提高目标管理对象的行为状态报告的准确性。
在一种实施方式中,如图7所示,可以包括以下步骤S601~S602:
S601,基于行为状态检测结果以及行为状态检测结果指示的各个状态分别对应的视频片段,生成视频分享信息;视频分享信息包括至少一个视频片段对应的访问信息。
示例性地,视频分享信息至少包含视频片段对应的访问信息,便于目标客户端的目标用户可以通过访问信息访问对应的视频片段;或者可以包含行为状态指示信息和视频片段对应的访问信息,行为状态指示信息便于目标客户端的目标用户可以直观掌握目标管理对象在学习场景中存在的行为状态。
示例性地,行为状态指示信息可以包含上文提到的针对待处理视频流进行标记后得到的标记信息,比如可以包括文字标签、色彩标签和图案标签中的一种或多种,以包含文字标签和色彩标签为例,生成的视频分享信息中可以包含视频片段所指示的行为状态对应的文字标签和色彩标签,比如视频片段所指示的行为状态为坐姿异常状态,可以在视频分享信息中包含“坐姿异常”的文字说明以及红色标记的指示信息,便于目标客户端用户可以直观通过文字标签和色彩标签确定目标管理对象的行为状态。
S602,向目标客户端发送视频分享信息。
示例性地,视频分享信息可以是接收到用户的视频分享请求后,向目标客户端进行发送,也可以是在生成后直接向目标客户端进行发送;或者还可以在向目标客户端发送上述提到的行为状态报告的同时,一同向目标客户端发送,也可以是在将行为状态报告发送至目标客户端后,接收到目标用户在目标客户端触发的视频分享信息获取请求后,在向目标客户端发送,在此不进行限定。
本公开实施例中,提出可以基于至少一种行为状态以及至少一种行为状态分别对应的视频片段,生成视频分享信息,比如可以包含至少一个视频片段对应的访问信息,在将视频分享信息发送至目标客户端后,便于目标客户端的目标用户能够根据至少一个视频片段对应的访问信息访问对应的视频片段,便于目标客户端的目标用户及时掌握目标管理对象在预设模式下的行为状态情况。
在一种可能的实施方式中,视频分享信息包括目标视频流的播放进度信息,在通过目标客户端展示播放进度信息的过程中,播放进度信息包括目标视频流中至少部分视频片段对应的进度范围指示标识,目标客户端与目标管理对象关联。
示例性地,进度范围指示标识可以包括色彩信息、图案信息等,比如表示坐姿异常的视频片段对应的进度范围指示标识通过红色来进行标识,注意力不集中的视频片段对应的进度范围指示标识通过黄色来进行标识;或者坐姿异常的视频片段对应的进度范围指示标识通过直径为n毫米的粗线条来进行标识,注意力不集中的视频片段对应的进度范围指示标识通过直径为m毫米的细线条来进行标识,其中n大于m。
具体地,针对上述S602,在向目标客户端发送视频分享信息后,可以基于视频分享信息在目标客户端展示如图8所示的示意图,可以根据播放进度信息生成用于指示目标视频流播放进度的展示进度条,展示进度条可以包含多帧视频分别对应的采集时刻,通过对展示进度条进行滑动,可以播放不同历史时刻采集的视频帧画面。
不同视频片段包含的视频帧数量可能不同,因此不同视频片段在展示进度条中对应的进度范围也不同,由图8可见,坐姿异常的视频片段的进度范围与注意力不集中的视频片段的进度范围不同。
示例性地,为了直观地展示出不同视频片段,便于目标学生的家长能够快速的找到想要查看的视频片段,可以在视频流的展示进度条中展示不同视频片段对应的进度范围指示标识,如图8中所示,通过黑色粗线条来表示坐姿异常的视频片段对应的进度范围指示标识,通过黑色细线条表示注意力不集中的视频片段对应的进度范围指示标识。
本公开实施例中,向目标客户端分享的视频分享信息包含目标视频流的播放进度信息,可以在目标视频流的同时,展示目标视频流中至少部分视频片段对应的进度范围指示标识,便于目标用户可以基于进度范围指示标识快速找到关注的视频片段。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思,本公开实施例中还提供了与视频处理方法对应的视频处理装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述视频处理方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图9所示,为本公开实施例提供的一种视频处理装置700的结构示意图,该视频处理装置包括:
获取模块701,用于获取待处理视频流,待处理视频流为视频采集部件通过拍摄处于预设模式的目标管理对象得到的视频流;
检测模块702,用于对待处理视频流中的目标管理对象进行行为状态检测,得到行为状态检测结果;
处理模块703,用于基于行为状态检测结果对待处理视频流进行标记,得到目标视频流。
在一种可能的实施方式中,在基于行为状态检测结果对待处理视频流进行标记之后,处理模块703还用于:
接收通过目标客户端发送的视频分享请求,目标客户端与目标管理对象关联;
从目标视频流中获取视频分享请求指示的第一目标视频片段;
向目标客户端发送第一目标视频片段。
在一种可能的实施方式中,视频分享请求包括视频实时播放请求和视频回放请求中的至少一项。
在一种可能的实施方式中,在视频分享请求包括视频实时播放请求的情况下,第一目标视频片段为包括待处理视频流最后一帧视频帧的视频片段。
在一种可能的实施方式中,行为状态检测结果包括至少两项;
处理模块703在用于基于行为状态检测结果对待处理视频流进行标记,得到目标视频流时,包括:
根据行为状态检测结果,对待处理视频流进行切分,以得到至少两个视频片段,至少两个视频片段中在时序上相邻的两个视频片段对应的行为状态检测结果不同;
基于预设规则,对至少两个视频片段分别进行标记,以得到标记后的多个视频片段;
将多个视频片段按照时序进行排列组合,以得到目标视频流。
在一种可能的实施方式中,在基于行为状态检测结果对待处理视频流进行标记之后,处理模块703还用于:
获取目标客户端的配置信息,配置信息包括预先设置的行为状态关注信息;
从目标视频流中,筛选出与行为状态关注信息对应的第二目标视频片段;
向目标客户端发送第二目标视频片段中的至少部分视频片段。
在一种可能得实施方式中,在获取待处理视频流之前,获取模块701还用于:
响应于检测到启动视频采集部件进入预设模式的开启触发事件,控制视频采集部件拍摄待处理视频流;
开启触发事件包括以下一种或多种:
接收到进入预设模式的指令;
达到预设模式开始的预设时刻;
基于视频采集部件采集的视频流,确定目标管理对象进入与预设模式匹配的预设状态。
在一种可能得实施方式中,行为状态检测结果包括至少两项状态的检测结果,在检测模块702得到行为状态检测结果之后,处理模块703还用于:
基于行为状态检测结果指示的各个状态分别对应的视频片段、以及目标视频流的总时长,确定各个状态分别对应的统计数据;
基于确定的统计数据,生成目标管理对象的行为状态报告;
向目标客户端发送行为状态报告。
在一种可能的实施方式中,向目标客户端发送行为状态报告之后,处理模块703还用于:
响应于目标客户端发送的针对目标视频片段的行为状态检测结果的更新指示信息,对行为状态报告进行更新。
在一种可能的实施方式中,处理模块703还用于:
基于行为状态检测结果以及行为状态检测结果指示的各个状态分别对应的视频片段,生成视频分享信息;视频分享信息包括至少一个视频片段对应的访问信息;
向目标客户端发送视频分享信息。
在一种可能的实施方式中,视频分享信息包括目标视频流的播放进度信息,在通过目标客户端展示播放进度信息的过程中,播放进度信息包括目标视频流中至少部分视频片段对应的进度范围指示标识,目标客户端与目标管理对象关联。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
对应于图1中的视频处理方法,本公开实施例还提供了一种电子设备800,如图10所示,为本公开实施例提供的电子设备800结构示意图,包括:
处理器81、存储器82、和总线83;存储器82用于存储执行指令,包括内存821和外部存储器822;这里的内存821也称内存储器,用于暂时存放处理器81中的运算数据,以及与硬盘等外部存储器822交换的数据,处理器81通过内存821与外部存储器822进行数据交换,当电子设备800运行时,处理器81与存储器82之间通过总线83通信,使得处理器81执行以下指令:获取待处理视频流,待处理视频流为视频采集部件通过拍摄处于预设模式的目标管理对象得到的视频流;对待处理视频流中的目标管理对象进行行为状态检测,得到行为状态检测结果;基于行为状态检测结果对待处理视频流进行标记,得到目标视频流。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的视频处理方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的视频处理方法的步骤,具体可参见上述方法实施例,在此不再赘述。
其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software Development Kit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (13)

1.一种视频处理方法,其特征在于,包括:
获取待处理视频流,所述待处理视频流为视频采集部件通过拍摄处于预设模式的目标管理对象得到的视频流;
对所述待处理视频流中的所述目标管理对象进行行为状态检测,得到行为状态检测结果;
基于所述行为状态检测结果对所述待处理视频流进行标记,得到目标视频流;
所述方法还包括:
基于所述行为状态检测结果以及所述行为状态检测结果指示的各个状态分别对应的视频片段,生成视频分享信息;所述视频分享信息包括至少一个视频片段对应的访问信息;
其中,所述视频分享信息包括所述目标视频流的播放进度信息,在通过目标客户端展示所述播放进度信息的过程中,所述播放进度信息包括所述目标视频流中至少部分视频片段对应的进度范围指示标识,所述目标客户端与所述目标管理对象关联。
2.根据权利要求1所述的视频处理方法,其特征在于,在所述基于所述行为状态检测结果对所述待处理视频流进行标记之后,所述视频处理方法还包括:
接收通过目标客户端发送的视频分享请求,所述目标客户端与所述目标管理对象关联;
从所述目标视频流中获取所述视频分享请求指示的第一目标视频片段;
向所述目标客户端发送所述第一目标视频片段。
3.根据权利要求2所述的视频处理方法,其特征在于,所述视频分享请求包括视频实时播放请求和视频回放请求中的至少一项。
4.根据权利要求2或3所述的视频处理方法,其特征在于,在所述视频分享请求包括视频实时播放请求的情况下,所述第一目标视频片段为包括所述待处理视频流最后一帧视频帧的视频片段。
5.根据权利要求4所述的视频处理方法,其特征在于,所述行为状态检测结果包括至少两项;
所述基于所述行为状态检测结果对所述待处理视频流进行标记,得到目标视频流,包括:
根据所述行为状态检测结果,对所述待处理视频流进行切分,以得到至少两个视频片段,所述至少两个视频片段中在时序上相邻的两个视频片段对应的行为状态检测结果不同;
基于预设规则,对所述至少两个视频片段分别进行标记,以得到标记后的多个视频片段;
将所述多个视频片段按照时序进行排列组合,以得到所述目标视频流。
6.根据权利要求5所述的视频处理方法,其特征在于,在所述基于所述行为状态检测结果对所述待处理视频流进行标记之后,所述视频处理方法还包括:
获取所述目标客户端的配置信息,所述配置信息包括预先设置的行为状态关注信息;
从所述目标视频流中,筛选出与所述行为状态关注信息对应的第二目标视频片段;
向所述目标客户端发送所述第二目标视频片段中的至少部分视频片段。
7.根据权利要求6所述的视频处理方法,其特征在于,在所述获取待处理视频流之前,所述视频处理方法还包括:
响应于检测到所述目标管理对象进入所述预设模式的开启触发事件,控制所述视频采集部件拍摄所述待处理视频流;
所述开启触发事件包括以下一种或多种:
接收到进入所述预设模式的指令;
达到所述预设模式开始的预设时刻;
基于所述视频采集部件采集的视频流,确定所述目标管理对象进入与所述预设模式匹配的预设状态。
8.根据权利要求7所述的视频处理方法,其特征在于,所述行为状态检测结果包括至少两项状态的检测结果,在所述得到行为状态检测结果之后,所述视频处理方法还包括:
基于所述行为状态检测结果指示的各个状态分别对应的视频片段、以及所述目标视频流的总时长,确定所述各个状态分别对应的统计数据;
基于确定的所述统计数据,生成所述目标管理对象的行为状态报告;
向所述目标客户端发送所述行为状态报告。
9.根据权利要求8所述的视频处理方法,其特征在于,所述向所述目标客户端发送所述行为状态报告之后,所述视频处理方法还包括:
响应于所述目标客户端发送的针对目标视频片段的行为状态检测结果的更新指示信息,对所述行为状态报告进行更新。
10.根据权利要求9所述的视频处理方法,其特征在于,所述视频处理方法还包括:
向所述目标客户端发送所述视频分享信息。
11.一种视频处理装置,其特征在于,包括:
获取模块,用于获取待处理视频流,所述待处理视频流为视频采集部件通过拍摄处于预设模式的目标管理对象得到的视频流;
检测模块,用于对所述待处理视频流中的所述目标管理对象进行行为状态检测,得到行为状态检测结果;
处理模块,用于基于所述行为状态检测结果对所述待处理视频流进行标记,得到目标视频流;
所述处理模块还用于:
基于所述行为状态检测结果以及所述行为状态检测结果指示的各个状态分别对应的视频片段,生成视频分享信息;所述视频分享信息包括至少一个视频片段对应的访问信息;
其中,所述视频分享信息包括所述目标视频流的播放进度信息,在通过目标客户端展示所述播放进度信息的过程中,所述播放进度信息包括所述目标视频流中至少部分视频片段对应的进度范围指示标识,所述目标客户端与所述目标管理对象关联。
12.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至10任一所述的视频处理方法的步骤。
13.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至10任一所述的视频处理方法的步骤。
CN202011616159.8A 2020-12-31 2020-12-31 一种视频处理方法、装置、电子设备及存储介质 Active CN112866808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011616159.8A CN112866808B (zh) 2020-12-31 2020-12-31 一种视频处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011616159.8A CN112866808B (zh) 2020-12-31 2020-12-31 一种视频处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112866808A CN112866808A (zh) 2021-05-28
CN112866808B true CN112866808B (zh) 2022-09-06

Family

ID=75998788

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011616159.8A Active CN112866808B (zh) 2020-12-31 2020-12-31 一种视频处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112866808B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022259031A1 (en) * 2021-06-11 2022-12-15 Sensetime International Pte. Ltd. Methods, apparatuses, systems, media, and computer devices for processing data
AU2021204545A1 (en) * 2021-06-11 2023-01-05 Sensetime International Pte. Ltd. Methods, apparatuses, systems, media, and computer devices for processing data
CN113709552A (zh) * 2021-08-31 2021-11-26 维沃移动通信有限公司 视频生成方法、装置及电子设备
CN114007102A (zh) * 2021-10-28 2022-02-01 深圳市商汤科技有限公司 视频处理方法、装置、电子设备以及存储介质
CN114007100A (zh) * 2021-10-28 2022-02-01 深圳市商汤科技有限公司 视频处理方法、装置、计算机设备以及存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107027060A (zh) * 2017-04-18 2017-08-08 腾讯科技(深圳)有限公司 视频片段的确定方法和装置
CN107948585A (zh) * 2017-11-13 2018-04-20 西安艾润物联网技术服务有限责任公司 录像标记方法、装置及计算机可读存储介质
CN108683879A (zh) * 2018-05-14 2018-10-19 付发明 一种基于智能摄像头的特征标签识别及快速查看系统
WO2018218286A1 (en) * 2017-05-29 2018-12-06 Saltor Pty Ltd Method and system for abnormality detection
CN109889920A (zh) * 2019-04-16 2019-06-14 威比网络科技(上海)有限公司 网络课程视频剪辑方法、系统、设备及存储介质
CN110647812A (zh) * 2019-08-19 2020-01-03 平安科技(深圳)有限公司 摔倒行为检测处理方法、装置、计算机设备及存储介质
CN111310665A (zh) * 2020-02-18 2020-06-19 深圳市商汤科技有限公司 违规事件检测方法及装置、电子设备和存储介质
CN111553323A (zh) * 2020-05-22 2020-08-18 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107027060A (zh) * 2017-04-18 2017-08-08 腾讯科技(深圳)有限公司 视频片段的确定方法和装置
WO2018218286A1 (en) * 2017-05-29 2018-12-06 Saltor Pty Ltd Method and system for abnormality detection
CN107948585A (zh) * 2017-11-13 2018-04-20 西安艾润物联网技术服务有限责任公司 录像标记方法、装置及计算机可读存储介质
CN108683879A (zh) * 2018-05-14 2018-10-19 付发明 一种基于智能摄像头的特征标签识别及快速查看系统
CN109889920A (zh) * 2019-04-16 2019-06-14 威比网络科技(上海)有限公司 网络课程视频剪辑方法、系统、设备及存储介质
CN110647812A (zh) * 2019-08-19 2020-01-03 平安科技(深圳)有限公司 摔倒行为检测处理方法、装置、计算机设备及存储介质
CN111310665A (zh) * 2020-02-18 2020-06-19 深圳市商汤科技有限公司 违规事件检测方法及装置、电子设备和存储介质
CN111553323A (zh) * 2020-05-22 2020-08-18 北京市商汤科技开发有限公司 视频处理方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN112866808A (zh) 2021-05-28

Similar Documents

Publication Publication Date Title
CN112866808B (zh) 一种视频处理方法、装置、电子设备及存储介质
CN108460707B (zh) 一种学生的作业智能监管方法及其系统
CN110674664A (zh) 视觉注意力的识别方法及系统、存储介质、处理器
US9666088B2 (en) Video-based teacher assistance
US20100060713A1 (en) System and Method for Enhancing Noverbal Aspects of Communication
KR20210144658A (ko) 비디오 처리 방법 및 장치, 전자 기기 및 저장 매체
CN112613780B (zh) 一种学习报告生成的方法、装置、电子设备及存储介质
CN104520799A (zh) 通过眼睛跟踪进行的用户输入处理
CN112101123B (zh) 一种注意力检测方法及装置
KR102515987B1 (ko) 학습자의 비대면 온라인수업 참여 탐지 장치 및 방법
CN110968239B (zh) 一种展示对象的控制方法、装置、设备及存储介质
CN112733619A (zh) 采集设备的位姿调整方法、装置、电子设备及存储介质
CN112949461A (zh) 一种学习状态的分析方法、装置以及电子设备
CN110648509A (zh) 生成提示信息的方法、装置和系统
KR20180020995A (ko) 사용자 상태들을 변화시키기 위해 물리적 객체들과 함께 증강 현실을 사용하는 방법 및 장치
JP6819194B2 (ja) 情報処理システム、情報処理装置およびプログラム
WO2023041940A1 (en) Gaze-based behavioural monitoring system
JP2020173787A (ja) 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム
CN112597899A (zh) 一种行为状态的检测方法、装置、电子设备及存储介质
US12002287B2 (en) Computing device attention determination
CN112651865A (zh) 一种行为状态的提示方法、装置、电子设备及存储介质
Rothoft et al. Monitor pupils' attention by image super-resolution and anomaly detection
WO2021100214A1 (ja) 情報処理方法、情報処理装置、及び制御プログラム
KR101996039B1 (ko) 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치 및 그 방법
CN111090791A (zh) 一种基于双屏的内容查询方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant