CN108521589A - 视频处理方法和装置 - Google Patents

视频处理方法和装置 Download PDF

Info

Publication number
CN108521589A
CN108521589A CN201810377021.3A CN201810377021A CN108521589A CN 108521589 A CN108521589 A CN 108521589A CN 201810377021 A CN201810377021 A CN 201810377021A CN 108521589 A CN108521589 A CN 108521589A
Authority
CN
China
Prior art keywords
video
video paragraph
paragraph
user behavior
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810377021.3A
Other languages
English (en)
Inventor
邓澍军
曹月恬
陈孟阳
王志伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Bit Intelligence Technology Co Ltd
Original Assignee
Beijing Bit Intelligence Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Bit Intelligence Technology Co Ltd filed Critical Beijing Bit Intelligence Technology Co Ltd
Priority to CN201810377021.3A priority Critical patent/CN108521589A/zh
Publication of CN108521589A publication Critical patent/CN108521589A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25891Management of end-user data being end-user preferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/251Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4667Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种视频处理方法,其中,方法包括:在对第一视频段落播放过程中,采集用户图像,根据采集到的用户图像进行图像分析,以确定用户行为,根据用户行为确定待播放的第二视频段落,将第二视频段落接续在第一视频段落之后展示。通过在视频段落播放过程中,采集用户图像并对图像分析以确定用户行为,根据用户行为确定待播放的视频段落,并将视频段落进行接续后播放,使得播放的视频内容可以匹配不同用户,灵活性好,提高了用户的学习效率,解决了现有技术中,视频段落播放过程中不会根据用户行为选择待播放的片段,灵活性较差,从而使得用户无法达到预期的学习效果的问题。

Description

视频处理方法和装置
技术领域
本发明涉及移动终端技术领域,尤其涉及一种视频处理方法和装置。
背景技术
随着网络技术的发展,通过网络进行知识的传播日益盛行,施教者可通过网络进行内容和知识传播。
相关技术中,可通过预先录制视频,放到网络上方便用户随时进行观看学习,预先录制的视频采用顺序播放,而用户的学习习惯和接受能力存在着个体差异,这种方式无法使得录制的视频内容匹配不同用户,灵活性较差,并使得用户无法达到预期的学习效果。
发明内容
本发明提供一种视频处理方法和装置,能够解决视频内容灵活性差,不能满足用户学习需求的技术问题。
为此,本发明实施例提出一种视频处理方法。
本发明实施例提出一种视频处理装置。
本发明实施例提出一种电子设备。
本发明实施例提出一种非临时性计算机可读存储介质。
本发明一方面实施例提出了一种视频处理方法,包括:
在对第一视频段落播放过程中,采集用户图像;
根据采集到的用户图像进行图像分析,以确定用户行为;
根据所述用户行为,确定待播放的第二视频段落;
将所述第二视频段落接续在所述第一视频段落之后展示。
本发明又一方面实施例提出了一种视频处理装置,包括:
采集模块,用于在对第一视频段落播放过程中,采集用户图像;
分析模块,用于根据采集到的用户图像进行图像分析,以确定用户行为;
确定模块,用于根据所述用户行为,确定待播放的第二视频段落;
拼接模块,用于将所述第二视频段落接续在所述第一视频段落之后展示。
本发明又一方面实施例提出了一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现前述方法实施例所述的视频处理方法。
本发明又一方面实施例提出了一种非暂时性计算机可读存储介质,其上存储有计算机程序,当所述存储介质中的指令由处理器被执行时,实现前述方法实施例所述的视频处理方法。
本发明实施例所提供的技术方案可以包含以下的有益效果:
本发明实施例的视频处理方法中,在对第一视频段落播放过程中,采集用户图像,根据采集到的用户图像进行图像分析,以确定用户行为,根据用户行为,确定待播放的第二视频段落,将第二视频段落接续在第一视频段落之后展示,以实现在视频段落播放过程中,根据采集到的用户图像分析得到的用户行为,确定待播放的视频段落,并通过拼接实现视频段落之间的过渡流畅,使得播放的视频内容可以匹配不同用户,灵活性好,可以根据用户的学习水平和表现播放对应的视频内容,提高了用户的学习效率。
附图说明
本发明实施例上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例所提供的一种视频处理方法的流程示意图;
图2为本发明实施例所提供的另一种视频处理方法的流程示意图;
图3为本发明实施例所提供的视频段落的树形结构示意图;
图4为本发明实施例提供的一种视频播放装置的结构示意图;
图5为本发明实施例所提供的另一种视频处理装置的结构示意图;
图6为本发明实施例提供的非暂时性计算机可读存储介质的示意图;以及
图7是本发明实施例提供的电子设备的硬件结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的视频处理方法和装置。
图1为本发明实施例所提供的一种视频处理方法的流程示意图。
如图1所示,该方法包括以下步骤:
步骤101,对第一视频段落播放过程中,采集用户图像。
具体地,视频播放过程中,根据播放的内容进行分段播放,先播放的视频段落称为第一视频段落,第一视频段落播放后,进行播放的视频段落称为第二视频段落,依次类推。在第一视频段落播放过程中,通过摄像装置实时采集用户图像。
步骤102,根据采集到的用户图像进行图像分析,以确定用户行为。
具体地,根据采集到的用户图像进行图像分析,以确定用户的行为,作为一种可能的实现方式,对采集到的用户图像识别人脸区域,在人脸区域内检测人脸关键点,根据人脸关键点在人脸区域中的相对位置确定人脸表情,根据人脸表情确定用户行为。
作为另一种可能的实现方式,对采集到的用户图像识别各肢体关键点,根据各肢体关键点的相对位置,确定肢体动作,根据肢体动作确定用户行为。
作为又一种可能的实现方式,对采集到的用户图像识别注视点,其中,注视点指示了用户当前关注的兴趣点,根据注视点确定用户行为。
步骤103,根据用户行为,确定待播放的第二视频段落。
具体地,获取预设的树形结构,树形结构中包括多个节点,各节点用于指示对应视频段落的内容以及播放条件,而树形结构中两节点之间的父子关系用于指示对应视频段落的播放顺序,在树形结构中,确定第一视频段落对应的节点,并查询将第一视频段落对应节点作为父节点的子节点,在各子节点中,查询用户行为满足对应播放条件的目标节点,将目标节点对应的视频段落作为第二视频段落。
步骤104,将第二视频段落接续在第一视频段落之后展示。
可选的,在一种实施方式中,接续指的是在第一视频段落播放完成立即播放第二视频段落,使多个视频段落作为一个完整的视频进行播放,提高用户观看体验;在另一种可选的实施方式中,接续可以是将两段视频段落进行连续播放,两段视频中间可存在一定的间隔帧或者空白帧,其中间隔帧的内容可根据用户的学习需求进行设定。
具体的,将确定的待播放的第二视频段落接续在第一视频段落之后展示,作为一种可能的实现方式,若第一视频段落的末帧展示的画面和第二视频段落的首帧展示的画面的相似度大于阈值相似度,则将第二视频段落的首帧作为第一视频段落末帧的下一帧进行拼接,并在第一视频段落展示后,继续对拼接在第一视频段落之后的第二视频段落进行展示。实现了第二视频段落与第一视频段落的平滑过渡,使得第一视频段落与第二视频段落之间的衔接更为自然。
作为另一种可能的实现方式,对第二视频段落首帧以及第一视频段落末帧进行差值,以根据差值生成至少一个过渡帧,将至少一个过渡帧拼接在第一视频段落末帧位置之后,将第二视频段落拼接在至少一个过渡帧的末帧位置,在第一视频段落展示后,继续对拼接在第一视频段落之后的各过渡帧和第二视频段落进行展示。实现了第二视频段落与第一视频段落的平滑过渡,使得第一视频段落与第二视频段落之间的衔接更为自然。
本发明实施例的视频处理方法中,在对第一视频段落播放过程中,采集用户图像,根据采集到的用户图像进行图像分析,以确定用户行为,根据用户行为,确定待播放的第二视频段落,将第二视频段落接续在第一视频段落之后展示,以实现在视频段落播放过程中,根据采集到的用户图像分析得到的用户行为,确定待播放的视频段落,并通过拼接实现视频段落之间的过渡流畅,使得播放的视频内容可以匹配不同用户,灵活性好,可以根据用户的学习水平和表现播放对应的视频内容,提高了用户的学习效率。
为了清楚说明上一实施例,本实施例提供了另一种视频处理方法,图2为本发明实施例所提供的另一种视频处理方法的流程示意图,以教学视频播放的应用场景为例,进行详细说明。
如图2所示,该方法可以包括以下步骤:
步骤201,在第一视频段落播放过程中,采集用户图像。
具体地,教学视频根据课程内容分为多段,在对教学视频对应的第一视频段落播放过程中,摄像装置实时采集用户图像。
步骤202,根据采集到的用户图像进行图像分析,以确定用户行为。
具体地,在第一视频段落播放过程中,根据图像采集装置采集用户图像,根据采集到的用户图像进行图像分析,以确定用户行为,例如,在教学视频播放场景中,可以根据采集到的用户图像分析用户行为是认真观看教学视频,还是走神,或者是离开等。
对于确定用户行为,本实施例中提供了三种可能的实现方式:
作为第一种可能的实现方式,分析图像中的用户表情,根据用户表情确定用户行为,具体地,图像采集装置可为能采集用户深度图像的摄像装置,例如为双摄像头,深度摄像头(Red-Green-Blue Depth)RGBD,成像的同时获得深度信息,此外还可通过结构光/TOF镜头进行深度信息的获取,在此不一一列举。根据采集到的用户深度图像,利用人脸识别技术识别图像中的人脸区域,进而确定人脸中的五官及各关键点的位置和特征,关键点包括:嘴角、眉头中心等等,根据人脸关键点在人脸区域中的相对位置和状态,确定人脸表情。
进而,根据人脸的表情,可确定出用户当前的行为。例如,在教学视频播放的场景中,若用户对收看的内容比较感兴趣,对所讲的内容也可以理解,则用户表情愉悦,对应的用户行为为嘴角上扬;如果用户对观看视频中所讲的内容无法理解,则用户表情惆怅,则对应的用户行为为眉头紧锁,即眉心处肌肉紧张,呈现凹凸纹理;如果用户没有认真听讲,则对应的用户行为可为嘴巴一直在动,或嘴巴张的较大,如在说话或者吃东西等。
作为第二种可能的实现方式,识别图形中用户的动作,根据用户动作确定用户行为,具体地,对采集到的深度图像识别得到人体肢体的各关键点,如识别人体的各关节的位置,根据各关节的相对位置,和人体关节之间的连接关系进行相应关节的连接,从而确定肢体动作,进而可根据第一视频段落播放的时间节点用户需对应的肢体动作,确定用户行为。例如,在教学视频播放过程中,用户应该是端坐认真听讲,根据肢体的动作,可确定用户行为为端坐、随意走动,低头或者是摇头晃脑等用户行为。
作为第三种可能的实现方式,可根据用户的注视点确定用户行为,具体地,在采集用户图像时,作为一种可能的实现方式,可通过红外定位器定位到眼球的位置,并捕捉眼球图像,分析眼球图像确定眼球的注视方向,根据眼球的注视方向,确定用户行为。若用户眼球的注视方向对应播放视频段落的屏幕,则可确定用户行为为注视播放屏幕;如果用户眼球的注视方向为播放视频段落的屏幕以外的地方,则可确定用户行为为没有注视播放屏幕;若无法捕捉到用户眼球的图像,则可确定用户行为为闭眼。
需要说明的是,本实施例中列出的用户行为仅为部分用户行为,本实施例中对于用户行为并不作具体限定,用户行为可根据不同的应用场景进行具体设定。
步骤203,获取预设的树形结构,在树形结构中确定第一视频段落对应的节点,并查询将第一视频段落对应节点作为父节点的子节点。
具体地,根据教学视频的课程内容的设置,获取预设的课程视频段落对应的树形结构,其中,树形结构包含多个节点,各节点用于指示对应视频段落的内容以及播放条件,而树形结构中两节点之间的父子关系用于指示对应视频段落的播放顺序。在课程的树形结构中确定需要先播放的第一视频段落对应的节点,以第一视频段落对应的节点为父节点,查询该父节点对应的子节点。
图3为本发明实施例所提供的视频段落的树形结构示意图,如图3所示,该树形结构中包含多个节点,各节点均指示了对应的视频段落的内容以及播放条件,例如,节点4,对应的视频内容为视频段落4的内容,播放条件为当用户行为对应为离开座位时。
步骤204,在各子节点中,查询用户行为满足对应播放条件的目标节点,将目标节点对应的视频段落作为第二视频段落。
具体地,查询到以第一视频段落对应的节点为父节点所对应的子节点,如图3中所示,以节点1对应的视频段落1为父节点,则其对应的子节点分别为节点2、节点3和节点4。识别用户行为所属的反馈类型,用户行为的不同,反馈类型则不同,根据各子节点指示的播放条件,查询用户行为所属的反馈类型与播放条件指示的反馈类型匹配的目标子节点,将目标节点对应的视频段落作为第二视频段落。例如,用户行为为摇头晃脑,长时间低头或者是没有注视播放屏幕等,则用户行为所属的反馈类型为没有认真听讲,则查询各子节点中播放条件指示的反馈类型为不认真听讲的目标子节点,将该目标子节点对应的视频段落作为第二视频段落,如图3中所示,节点3的播放条件指示的反馈类型则为不认真听讲,则节点3即为目标子节点,节点3对应的视频段落3则可作为第二视频段落,该视频段落的内容可为提示用户认真听讲的内容;若用户行为为眉头紧锁,则用户行为所属的反馈类型为听不懂,则查询各子节点中播放条件指示的反馈类型为听不懂的目标子节点,将该目标子节点对应的视频段落作为第二视频段落,该视频段落的内容可为将第一视频段落中的内容更详细解释的内容;若用户行为为长时间离开座位,则用户行为所属的反馈类型为没有听讲,则查询各子节点中播放条件指示的反馈类型为没有听讲的目标子节点,将该目标子节点对应的视频段落作为第二视频段落,该视频段落的内容可为以卡通形象的口吻语音呼唤用户回来听讲;若用户行为为端坐、注视播放屏幕等,则用户行为所属的反馈类型为认真听讲,可根据教学内容的安排进行下一章节的内容的播放。实现了根据识别出的用户行为,播放对应用户行为的视频内容,播放形式更加灵活,实现了根据不同用户行为灵活并完整的展示对应视频内容的目的。
需要说明的是,对用户行为及对应的反馈类型不止本实施例中已列出的,此处,不一一列举。
需要理解的是,如图3所示,根据在视频播放过程中识别的用户行为,用户对应树形结构中的学习路径不同,用户学习认真,或者是用户接受能力强,则用户的学习路径较短,反之则学习路径会较长,实现了根据用户的学习情况,进行相应视频段落的播放,提高了视频段落播放的灵活性,提高了用户的学习效果。
步骤205,将第二视频段落接续在第一视频段落之后展示。
将确定的待播放的第二视频段落接续在第一视频段落之后展示,作为一种可能的实现方式,若第一视频段落的末帧展示的画面和第二视频段落的首帧展示的画面的相似度大于阈值相似度,则将第二视频段落的首帧作为第一视频段落末帧的下一帧进行拼接,并在第一视频段落展示后,继续对拼接在第一视频段落之后的第二视频段落进行展示。实现了第二视频段落与第一视频段落的平滑过渡,使得第一视频段落与第二视频段落之间的衔接更为自然。
作为另一种可能的实现方式,对第二视频段落首帧以及第一视频段落末帧进行差值,以根据差值生成至少一个过渡帧,将至少一个过渡帧拼接在第一视频段落末帧位置之后,将第二视频段落拼接在至少一个过渡帧的末帧位置,在第一视频段落展示后,继续对拼接在第一视频段落之后的各过渡帧和第二视频段落进行展示。实现了第二视频段落与第一视频段落的平滑过渡,使得第一视频段落与第二视频段落之间的衔接更为自然。本发明实施例的视频处理方法中,在对第一视频段落播放过程中,采集用户图像,根据采集到的用户图像进行图像分析,以确定用户行为,根据用户行为,确定待播放的第二视频段落,将第二视频段落接续在第一视频段落之后展示,以实现在视频段落播放过程中,根据采集到的用户图像分析得到的用户行为,确定待播放的视频段落,并通过拼接实现视频段落之间的过渡流畅,使得播放的视频内容可以匹配不同用户,灵活性好,可以根据用户的学习水平和表现播放对应的视频内容,提高了用户的学习效率。
为了实现上述实施例,本发明还提出一种视频播放装置。
图4为本发明实施例提供的一种视频播放装置的结构示意图。
如图4所示,该装置包括:采集模块41、分析模块42、确定模块43和拼接模块44。
采集模块41,用于在对第一视频段落播放过程中,采集用户图像。
分析模块42,用于根据采集到的用户图像进行图像分析,以确定用户行为。
确定模块43,用于根据所述用户行为,确定待播放的第二视频段落。
拼接模块44,将第二视频段落接续在第一视频段落之后展示。
需要说明的是,前述对方法实施例的解释说明也适用于该实施例的装置,实现原理类似,此处不再赘述。
本发明实施例的视频处理装置中,采集模块用于在对第一视频段落播放过程中,采集用户图像,分析模块用于根据采集到的用户图像进行图像分析,以确定用户行为,确定模块用于根据用户行为确定待播放的第二视频段落,拼接模块用于将第二视频段落接续在第一视频段落之后展示,以实现在视频段落播放过程中,根据采集到的用户图像分析得到的用户行为,确定待播放的视频段落,并通过拼接实现视频段落之间的过渡流畅,使得播放的视频内容可以匹配不同用户,灵活性好,可以根据用户的学习水平和表现播放对应的视频内容,提高了用户的学习效率。
基于上述实施例,本发明实施例还提供了一种视频处理装置的可能的实现方式,图5为本发明实施例所提供的另一种视频处理装置的结构示意图,在上一实施例的基础上,如图5所示,确定模块43,还可以包括:确定单元431和查询单元432。
确定单元431,用于获取预设的树形结构,在树形结构中,确定第一视频段落对应的节点,并查询将第一视频段落对应节点作为父节点的子节点。其中,树形结构包括多个节点,各节点用于指示对应视频段落的内容以及播放条件,树形结构中两节点之间的父子关系用于指示对应视频段落的播放顺序。
查询单元432,在各子节点中,查询用户行为满足对应播放条件的目标节点,将目标节点对应的视频段落作为第二视频段落。
作为一种可能的实现方式,查询单元432,具体用于:
识别用户行为所属的反馈类型,根据各子节点指示的播放条件,查询用户行为所属的反馈类型与播放条件指示的反馈类型匹配的目标子节点。
作为本实施例的一种可能的实现方式,分析模块42,具体可以用于:
对采集到的用户图像识别人脸区域,在人脸区域内检测人脸关键点,根据人脸关键点在人脸区域中的相对位置,确定人脸表情,根据人脸表情,确定用户行为。
作为本实施例的另一种可能的实现方式,分析模块42,具体用于:
对采集到的用户图像识别各肢体关键点,根据各肢体关键点的相对位置,确定肢体动作,根据肢体动作,确定用户行为。
作为本实施例的又一种可能的实现方式,分析模块43,具体用于:
对采集到的用户图像识别注视点,根据注视点,确定用户行为。
本实施例中,作为一种可能的实现方式,拼接模块44,具体用于:
将第二视频首帧作为第一视频段落末帧的下一帧进行拼接,其中,第一视频段落末帧展示的画面与第二视频首帧展示的画面之间的相似度高于阈值相似度;
在第一视频段落展示后,继续对拼接在第一视频段落之后的第二视频段落进行展示。
作为另一种可能的实现方式,拼接模块44,具体用于:
对第二视频段落首帧以及第一视频段落末帧进行差值,以根据差值生成至少一个过渡帧;
将至少一个过渡帧拼接在第一视频段落末帧位置之后,将第二视频段落拼接在至少一个过渡帧的末帧位置;
在第一视频段落展示后,继续对拼接在第一视频段落之后的各过渡帧和第二视频段落进行展示。
需要说明的是,前述对方法实施例的解释说明也适用于该实施例的装置,实现原理相似,此处不再赘述。
本发明实施例的视频处理装置中,采集模块用于在对第一视频段落播放过程中,采集用户图像,分析模块用于根据采集到的用户图像进行图像分析,以确定用户行为,确定模块用于根据用户行为确定待播放的第二视频段落,拼接模块用于将第二视频段落接续在第一视频段落之后展示,以实现在视频段落播放过程中,根据采集到的用户图像分析得到的用户行为,确定待播放的视频段落,并通过拼接实现视频段落之间的过渡流畅,使得播放的视频内容可以匹配不同用户,灵活性好,可以根据用户的学习水平和表现播放对应的视频内容,提高了用户的学习效率。
为了实现上述实施例,本发明实施例还提出了一种电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现前述方法实施例所述的视频处理方法。
为了实现上述实施例,本发明实施例还提出了一种非暂时性计算机可读存储介质,其上存储有计算机程序,当所述存储介质中的指令由处理器被执行时,实现前述方法实施例所述的视频处理方法。
图6为本发明实施例提供的非暂时性计算机可读存储介质的示意图。如图6所示,根据本发明实施例的非暂时性计算机可读存储介质300,其上存储有非暂时性计算机可读指令301。当该非暂时性计算机可读指令301由处理器运行时,执行前述的本发明各实施例的视频处理方法的全部或部分步骤。
图7是本发明实施例提供的电子设备的硬件结构示意图。电子设备可以以各种形式来实施,本发明中的电子设备可以包括但不限于诸如移动电话、智能电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、导航装置、车载电子设备、车载显示终端、车载电子后视镜等等的移动电子设备以及诸如数字TV、台式计算机等等的固定电子设备。
如图7所示,电子设备1100可以包括无线通信单元1110、A/V(音频/视频)输入单元1120、用户输入单元1130、感测单元1140、输出单元1150、存储器1160、接口单元1170、控制器1180和电源单元1190等等。图7示出了具有各种组件的电子设备,但是应理解的是,并不要求实施所有示出的组件。可以替代地实施更多或更少的组件。
其中,无线通信单元1110允许电子设备1100与无线通信系统或网络之间的无线电通信。A/V输入单元1120用于接收音频或视频信号。用户输入单元1130可以根据用户输入的命令生成键输入数据以控制电子设备的各种操作。感测单元1140检测电子设备1100的当前状态、电子设备1100的位置、用户对于电子设备1100的触摸输入的有无、电子设备1100的取向、电子设备1100的加速或减速移动和方向等等,并且生成用于控制电子设备1100的操作的命令或信号。接口单元1170用作至少一个外部装置与电子设备1100连接可以通过的接口。输出单元1150被构造为以视觉、音频和/或触觉方式提供输出信号。存储器1160可以存储由控制器1180执行的处理和控制操作的软件程序等等,或者可以暂时地存储己经输出或将要输出的数据。存储器1160可以包括至少一种类型的存储介质。而且,电子设备1100可以与通过网络连接执行存储器1160的存储功能的网络存储装置协作。控制器1180通常控制电子设备的总体操作。另外,控制器1180可以包括用于再现或回放多媒体数据的多媒体模块。控制器1180可以执行模式识别处理,以将在触摸屏上执行的手写输入或者图片绘制输入识别为字符或图像。电源单元1190在控制器1180的控制下接收外部电力或内部电力并且提供操作各元件和组件所需的适当的电力。
本发明提出的视频处理方法的各种实施方式可以以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施,本发明提出的视频处理方法的各种实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这里描述的功能的电子单元中的至少一种来实施,在一些情况下,本发明提出的视频处理方法的各种实施方式可以在控制器1180中实施。对于软件实施,本发明提出的视频处理方法的各种实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施,软件代码可以存储在存储器1160中并且由控制器1180执行。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如磁碟、光盘、只读存储记忆体(ROM)或随机存储记忆体(RAM)等等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (11)

1.一种视频处理方法,其特征在于,所述方法包括以下步骤:
在对第一视频段落播放过程中,采集用户图像;
根据采集到的用户图像进行图像分析,以确定用户行为;
根据所述用户行为,确定待播放的第二视频段落;
将所述第二视频段落接续在所述第一视频段落之后展示。
2.根据权利要求1所述的视频处理方法,其特征在于,所述根据所述用户行为,确定待播放的第二视频段落,包括:
获取预设的树形结构;其中,所述树形结构包括多个节点,各节点用于指示对应视频段落的内容以及播放条件;所述树形结构中两节点之间的父子关系用于指示对应视频段落的播放顺序;
在所述树形结构中,确定所述第一视频段落对应的节点,并查询将所述第一视频段落对应节点作为父节点的子节点;
在各子节点中,查询所述用户行为满足对应播放条件的目标节点;
将所述目标节点对应的视频段落作为所述第二视频段落。
3.根据权利要求2所述的视频处理方法,其特征在于,所述在各子节点中,查询所述用户行为满足对应播放条件的目标节点,包括:
识别所述用户行为所属的反馈类型;
根据各子节点指示的播放条件,查询所述用户行为所属的反馈类型与所述播放条件指示的反馈类型匹配的目标子节点。
4.根据权利要求1所述的视频处理方法,其特征在于,所述根据采集到的用户图像进行图像分析,以确定用户行为,包括:
对采集到的用户图像识别人脸区域;
在所述人脸区域内检测人脸关键点;
根据所述人脸关键点在所述人脸区域中的相对位置,确定人脸表情;
根据所述人脸表情,确定用户行为。
5.根据权利要求1所述的视频处理方法,其特征在于,所述根据采集到的用户图像进行图像分析,以确定用户行为,包括:
对采集到的用户图像识别各肢体关键点;
根据各肢体关键点的相对位置,确定肢体动作;
根据所述肢体动作,确定用户行为。
6.根据权利要求1所述的视频处理方法,其特征在于,所述根据采集到的用户图像进行图像分析,以确定用户行为,包括:
对采集到的用户图像识别注视点;
根据所述注视点,确定用户行为。
7.根据权利要求1-6任一项所述的视频处理方法,其特征在于,将所述第二视频段落接续在所述第一视频段落之后展示,包括:
将所述第二视频段落首帧作为所述第一视频段落末帧的下一帧进行拼接;其中,所述第一视频段落末帧展示的画面与所述第二视频段落首帧展示的画面之间的相似度高于阈值相似度;
在所述第一视频段落展示后,继续对拼接在所述第一视频段落之后的所述第二视频段落进行展示。
8.根据权利要求1-6任一项所述的视频处理方法,其特征在于,将所述第二视频段落接续在所述第一视频段落之后展示,包括:
对所述第二视频段落首帧以及所述第一视频段落末帧进行差值,以根据所述差值生成至少一个过渡帧;
将所述至少一个过渡帧拼接在所述第一视频段落末帧位置之后,将所述第二视频段落拼接在所述至少一个过渡帧的末帧位置;
在所述第一视频段落展示后,继续对拼接在所述第一视频段落之后的各过渡帧和所述第二视频段落进行展示。
9.一种视频处理装置,其特征在于,所述装置包括:
采集模块,用于在对第一视频段落播放过程中,采集用户图像;
分析模块,用于根据采集到的用户图像进行图像分析,以确定用户行为;
确定模块,用于根据所述用户行为,确定待播放的第二视频段落;
拼接模块,将所述第二视频段落接续在所述第一视频段落之后展示。
10.一种电子设备,其特征在于,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时,实现如权利要求1-8中任一所述的视频处理方法。
11.一种非暂时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-8中任一所述的视频处理方法。
CN201810377021.3A 2018-04-25 2018-04-25 视频处理方法和装置 Pending CN108521589A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810377021.3A CN108521589A (zh) 2018-04-25 2018-04-25 视频处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810377021.3A CN108521589A (zh) 2018-04-25 2018-04-25 视频处理方法和装置

Publications (1)

Publication Number Publication Date
CN108521589A true CN108521589A (zh) 2018-09-11

Family

ID=63430070

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810377021.3A Pending CN108521589A (zh) 2018-04-25 2018-04-25 视频处理方法和装置

Country Status (1)

Country Link
CN (1) CN108521589A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040838A (zh) * 2018-09-12 2018-12-18 传线网络科技(上海)有限公司 一种视频数据的处理方法、装置及视频播放方法、客户端
CN110381384A (zh) * 2019-07-25 2019-10-25 网宿科技股份有限公司 一种交互式音视频播放的方法及装置
WO2020073601A1 (zh) * 2018-10-09 2020-04-16 深兰科技(上海)有限公司 商品识别方法、商品识别装置及存储介质
CN111447239A (zh) * 2020-04-13 2020-07-24 北京字节跳动网络技术有限公司 视频流播放控制方法、设备及存储介质
CN111970538A (zh) * 2020-08-27 2020-11-20 上海松鼠课堂人工智能科技有限公司 教学视频处理方法与系统
CN114679605A (zh) * 2022-03-25 2022-06-28 腾讯科技(深圳)有限公司 视频过渡方法、装置、计算机设备、存储介质
CN114900740A (zh) * 2022-04-14 2022-08-12 北京奇艺世纪科技有限公司 一种多媒体对象的连播控制方法、系统及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101304490A (zh) * 2008-06-20 2008-11-12 北京六维世纪网络技术有限公司 一种拼合视频的方法和装置
CN107203953A (zh) * 2017-07-14 2017-09-26 深圳极速汉语网络教育有限公司 一种基于互联网、表情识别和语音识别的教学系统及其实现方法
CN107395730A (zh) * 2017-07-27 2017-11-24 广东小天才科技有限公司 一种信息推送方法及装置
CN107680019A (zh) * 2017-09-30 2018-02-09 百度在线网络技术(北京)有限公司 一种考试方案的实现方法、装置、设备及存储介质
CN107886950A (zh) * 2017-12-06 2018-04-06 安徽省科普产品工程研究中心有限责任公司 一种基于语音识别的儿童视频教学方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101304490A (zh) * 2008-06-20 2008-11-12 北京六维世纪网络技术有限公司 一种拼合视频的方法和装置
CN107203953A (zh) * 2017-07-14 2017-09-26 深圳极速汉语网络教育有限公司 一种基于互联网、表情识别和语音识别的教学系统及其实现方法
CN107395730A (zh) * 2017-07-27 2017-11-24 广东小天才科技有限公司 一种信息推送方法及装置
CN107680019A (zh) * 2017-09-30 2018-02-09 百度在线网络技术(北京)有限公司 一种考试方案的实现方法、装置、设备及存储介质
CN107886950A (zh) * 2017-12-06 2018-04-06 安徽省科普产品工程研究中心有限责任公司 一种基于语音识别的儿童视频教学方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109040838A (zh) * 2018-09-12 2018-12-18 传线网络科技(上海)有限公司 一种视频数据的处理方法、装置及视频播放方法、客户端
CN109040838B (zh) * 2018-09-12 2021-10-01 阿里巴巴(中国)有限公司 一种视频数据的处理方法、装置及视频播放方法、客户端
WO2020073601A1 (zh) * 2018-10-09 2020-04-16 深兰科技(上海)有限公司 商品识别方法、商品识别装置及存储介质
CN110381384A (zh) * 2019-07-25 2019-10-25 网宿科技股份有限公司 一种交互式音视频播放的方法及装置
CN111447239A (zh) * 2020-04-13 2020-07-24 北京字节跳动网络技术有限公司 视频流播放控制方法、设备及存储介质
US11889135B2 (en) 2020-04-13 2024-01-30 Douyin Vision Co., Ltd. Video stream playing control method and apparatus, and storage medium
CN111970538A (zh) * 2020-08-27 2020-11-20 上海松鼠课堂人工智能科技有限公司 教学视频处理方法与系统
CN114679605A (zh) * 2022-03-25 2022-06-28 腾讯科技(深圳)有限公司 视频过渡方法、装置、计算机设备、存储介质
CN114679605B (zh) * 2022-03-25 2023-07-18 腾讯科技(深圳)有限公司 视频过渡方法、装置、计算机设备、存储介质
CN114900740A (zh) * 2022-04-14 2022-08-12 北京奇艺世纪科技有限公司 一种多媒体对象的连播控制方法、系统及装置
CN114900740B (zh) * 2022-04-14 2024-02-23 北京奇艺世纪科技有限公司 一种多媒体对象的连播控制方法、系统及装置

Similar Documents

Publication Publication Date Title
CN108521589A (zh) 视频处理方法和装置
WO2021238631A1 (zh) 物品信息的显示方法、装置、设备及可读存储介质
TWI778477B (zh) 互動方法、裝置、電子設備以及儲存媒體
CN109729426B (zh) 一种视频封面图像的生成方法及装置
CN111209440B (zh) 一种视频播放方法、装置和存储介质
CN110602526B (zh) 视频处理方法、装置、计算机设备及存储介质
US8201080B2 (en) Systems and methods for augmenting audio/visual broadcasts with annotations to assist with perception and interpretation of broadcast content
CN110688874B (zh) 人脸表情识别方法及其装置、可读存储介质和电子设备
CN111491187B (zh) 视频的推荐方法、装置、设备及存储介质
CN106060572A (zh) 视频播放方法及装置
CN110942006A (zh) 运动姿态识别方法、运动姿态识别装置、终端设备及介质
CN109416562A (zh) 装置和相关联的方法
CN111241340A (zh) 视频标签确定方法、装置、终端及存储介质
US20230368461A1 (en) Method and apparatus for processing action of virtual object, and storage medium
CN111541951B (zh) 基于视频的交互处理方法、装置、终端及可读存储介质
CN111836073B (zh) 视频清晰度的确定方法、装置、设备及存储介质
CN111797850A (zh) 视频分类方法、装置、存储介质及电子设备
CN112055257B (zh) 视频课堂的互动方法、装置、设备及存储介质
CN108614872A (zh) 课程内容展示方法及装置
CN109040838B (zh) 一种视频数据的处理方法、装置及视频播放方法、客户端
WO2022041182A1 (zh) 音乐推荐方法和装置
CN108647710A (zh) 一种视频处理方法、装置、计算机及存储介质
CN114051116A (zh) 一种驾考车辆的视频监控方法、装置以及系统
CN111274489B (zh) 信息处理方法、装置、设备及存储介质
CN112637692B (zh) 互动方法、装置、设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180911

RJ01 Rejection of invention patent application after publication