CN111385641B - 一种视频处理方法、智能电视及存储介质 - Google Patents

一种视频处理方法、智能电视及存储介质 Download PDF

Info

Publication number
CN111385641B
CN111385641B CN201811642248.2A CN201811642248A CN111385641B CN 111385641 B CN111385641 B CN 111385641B CN 201811642248 A CN201811642248 A CN 201811642248A CN 111385641 B CN111385641 B CN 111385641B
Authority
CN
China
Prior art keywords
picture
target role
target
frame
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811642248.2A
Other languages
English (en)
Other versions
CN111385641A (zh
Inventor
鲍舰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen TCL New Technology Co Ltd
Original Assignee
Shenzhen TCL New Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen TCL New Technology Co Ltd filed Critical Shenzhen TCL New Technology Co Ltd
Priority to CN201811642248.2A priority Critical patent/CN111385641B/zh
Publication of CN111385641A publication Critical patent/CN111385641A/zh
Application granted granted Critical
Publication of CN111385641B publication Critical patent/CN111385641B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种视频处理方法、智能电视及存储介质，所述方法包括：获取视频文件，并利用图像识别技术对所述视频文件中的视频帧依次进行识别以得到所述视频帧中的画面信息；若识别出当前视频帧中的画面信息中包括目标角色的人脸时，则将当前视频帧作为所述目标角色的视频片段；若识别出当前视频帧中的画面信息中不包括所述目标角色的人脸时，则按照预设规则判断是否将当前视频帧作为所述目标角色的视频片段；将得到的各个目标视频片段按照所述视频文件的播放顺序进行拼接以得到所述目标角色对应的精简视频。本发明将目标角色存在的画面和目标角色没有真正消失的画面同时保留下来，拼接精简视频，在压缩冗长剧情的同时，保证画面剧情的连续性。

Description

一种视频处理方法、智能电视及存储介质
技术领域
本发明涉及视频分析技术领域，尤其涉及一种视频处理方法、智能电视及存储介质。
背景技术
用户通过互联网进行电视追剧是一件很常见的用户场景，但是现在部分国产电视剧非常冗长，而用户的时间有限，所以看一部电视剧的精简版是不少用户的需求。
对一部电视剧进行精简可以从很多角度下手，其中常用的一种角度就是只看某某主演出场的情节，一般的实现做法是用AI图像识别技术对一部视频进行扫描识别，通过对于关键人物的人脸识别，来发现剧情中哪些时段是该主角出演的剧情，然后只播放主角出演的时间段即可。
但是这里面存在的问题是，比如角色在画面中，一般AI图像识别技术必须某个演员的正脸，必须清晰的，否则就无法识别，或者这个演员与另外一个演员对话的场景，镜头一旦在这两个演员之间切换，画面就会被切的非常碎，这种影视精简版就无法看下去，另外当演员露出的是侧脸或者后脑勺，AI视觉就无法识别了，AI会告诉播放器该演员不存在，然后画面也会被切的非常零碎，导致的结果是用户想要看某个角色的情节，但是因为AI视觉识别上的缺陷，导致这个角色的画面就会被切割的非常零碎，最后导致用户无法理解剧情，那么也就达不到用户的观看需求。
因此，现有技术还有待于改进和发展。
发明内容
本发明要解决的技术问题在于，针对现有技术中的上述缺陷，本发明提供一种视频处理方法、智能电视及存储介质，在截取所有含有目标角色人脸的画面的基础上，将目标角色没有真正消失的画面也保留下来，拼接成包含目标角色所有画面的精简视频，在压缩冗长剧情的同时，保证画面剧情的连续性。
本发明解决技术问题所采用的技术方案如下：
一种视频处理方法，其中，所述视频处理方法包括：
获取视频文件，并利用图像识别技术对所述视频文件中的视频帧依次进行识别以得到所述视频帧中的画面信息；
若识别出当前视频帧中的画面信息中包括目标角色的人脸时，则将当前视频帧作为所述目标角色的视频片段；
若识别出当前视频帧中的画面信息中不包括所述目标角色的人脸时，则按照预设规则判断是否将当前视频帧作为所述目标角色的视频片段；
将得到的各个目标视频片段按照所述视频文件的播放顺序进行拼接以得到所述目标角色对应的精简视频。
所述的视频处理方法，其中，所述画面信息至少包括人脸信息、物品信息以及场景信息中的一种。
所述的视频处理方法，其中，所述预设规则包括：
根据不包括所述目标角色人脸信息的当前视频帧的画面与前一帧包括所述目标角色人脸信息的画面中非目标角色保留的比例是否大于第一门限值来判断所述目标角色是否真正消失，当是时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧。
所述的视频处理方法，其中，所述预设规则包括：
根据不包括所述目标角色人脸信息的当前视频帧的画面与前一帧包括所述目标角色人脸信息的画面中物品信息未发生变化的比例是否大于第二门限值来判断目标角色是否真正消失，当是时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧。
所述的视频处理方法，其中，所述预设规则包括：
将不包括所述目标角色人脸信息的当前视频帧的画面中的场景信息与前一帧包括所述目标角色人脸信息的画面中的场景信息进行比较，当场景相同时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧。
所述的视频处理方法，其中，所述预设规则还包括：
第一步，根据不包括所述目标角色人脸信息的当前视频帧的画面与前一帧包括所述目标角色人脸信息的画面中物品信息未发生变化的比例是否大于第二门限值来判断目标角色是否真正消失，当是时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧，当否时执行第二步；
第二步，根据不包括所述目标角色人脸信息的当前视频帧的画面与前一帧包括所述目标角色人脸信息的画面中物品信息未发生变化的比例是否大于第二门限值来判断目标角色是否真正消失，当是时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧，当否时执行第三步；
第三步，将不包括所述目标角色人脸信息的当前视频帧的画面中的场景信息与前一帧包括所述目标角色人脸信息的画面中的场景信息进行比较，当场景相同时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧，当场景不相同时则判断当前画面中所述目标角色真正消失。
所述的视频处理方法，其中，当前视频帧中的画面信息中不包括所述目标角色的人脸的情况包括：所述目标角色的正脸未对着用户的画面、所述目标角色与非目标角色在进行对话且镜头转向所述非目标角色的画面以及所述目标角色真正离开的画面。
所述的视频处理方法，其中，所述目标角色的正脸未对着用户的画面和所述目标角色与非目标角色在进行对话且镜头转向所述非目标角色的画面作为所述目标角色的视频片段进行保留；所述目标角色真正离开的画面判定为所述目标角色真正消失的画面，无需作为所述目标角色的视频片段进行保留。
一种智能电视，其中，所述智能电视包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频处理程序，所述视频处理程序被所述处理器执行时实现如上所述的视频处理方法的步骤。
一种存储介质，其中，所述存储介质存储有视频处理程序，所述视频处理程序被处理器执行时实现如上所述的视频处理方法的步骤。
本发明公开了一种视频处理方法、智能电视及存储介质，所述方法包括：获取视频文件，并利用图像识别技术对所述视频文件中的视频帧依次进行识别以得到所述视频帧中的画面信息；若识别出当前视频帧中的画面信息中包括目标角色的人脸时，则将当前视频帧作为所述目标角色的视频片段；若识别出当前视频帧中的画面信息中不包括所述目标角色的人脸时，则按照预设规则判断是否将当前视频帧作为所述目标角色的视频片段；将得到的各个目标视频片段按照所述视频文件的播放顺序进行拼接以得到所述目标角色对应的精简视频。本发明在截取所有含有目标角色人脸的画面的基础上，将目标角色没有真正消失的画面也保留下来，拼接成包含目标角色所有画面的精简视频，在压缩冗长剧情的同时，保证画面剧情的连续性。
附图说明
图1是本发明视频处理方法的较佳实施例的流程图；
图2是本发明视频处理方法的较佳实施例中第N帧画面识别出来的画面信息的示意图；
图3是本发明视频处理方法的较佳实施例中第N+j帧画面识别出来的画面信息的示意图；
图4为本发明智能电视的较佳实施例的运行环境示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明较佳实施例所述的视频处理方法，如图1所示，所述视频处理方法包括以下步骤：
步骤S10、获取视频文件，并利用图像识别技术对所述视频文件中的视频帧依次进行识别以得到所述视频帧中的画面信息；
步骤S20、若识别出当前视频帧中的画面信息中包括目标角色的人脸时，则将当前视频帧作为所述目标角色的视频片段；
步骤S30、若识别出当前视频帧中的画面信息中不包括所述目标角色的人脸时，则按照预设规则判断是否将当前视频帧作为所述目标角色的视频片段；
步骤S40、将得到的各个目标视频片段按照所述视频文件的播放顺序进行拼接以得到所述目标角色对应的精简视频。
具体地，如果某一部电视剧很长，而用户（观看者）的时间有限，所以看一部剧的精简版（即精简视频）是不少用户的需求，而且观看精简版视频一般是选择某一个角色出演的戏份，即目标角色，且目标角色可以是主角，也可以是配角，因为观众的喜好可能并不一样，因此只要是用户喜欢的角色都可以定义为目标角色。
其中，所述画面信息至少包括人脸信息、物品信息以及场景信息中的一种。
在某一个视频（例如某一部电视剧，80集）里面有主角A，配角B，如果用户只想看主角A（目标角色）的戏份，那么向用户提供只看主角A的影视精简版，获取用户选择的视频文件，先用图像识别技术（例如AI视觉技术）所述视频文件中的视频帧依次进行识别以得到所述视频帧中的画面信息，简化的来看，如图2和图3所示，每一帧画面里面会得出以下信息：比如当前帧（第N帧画面）的画面，AI视觉分析的是此画面中存在：主角A，配角B，在室内（场景），有物品X，物品Y，物品Z，第N+j帧的画面中存在：配角B，在室内，有物品Y，物品Z（那么第N+j帧的画面与第N帧画面相比消失了主角A和物品X），所述画面信息包括三类，分别是人脸、物品与和场景。
分析一下第N+j帧画面，主角A消失了，但是不知道主角A消失的原因，也许是主角A是侧脸或者后脑勺对着观众，也许是主角A与配角B对话，镜头转向配角B了，也许是主角A真的离开了这个画面。
所以，当前视频帧中的画面信息中不包括所述目标角色的人脸的情况包括：所述目标角色的正脸未对着用户的画面（例如所述目标角色侧脸或者后脑勺对着用户的画面）、所述目标角色与非目标角色在进行对话且镜头转向所述非目标角色的画面以及所述目标角色真正离开的画面。
其中，所述目标角色的正脸未对着用户的画面和所述目标角色与非目标角色在进行对话且镜头转向非目标角色的画面为目标角色未真正消失的画面（也就是虽然通过AI视觉没有检测到画面中目标角色的人脸，但是目标角色并未真正消失），需要根据播放的时间点保留在精简视频中；所述目标角色真正离开的画面为目标角色真正消失的画面，无需作为所述目标角色的视频片段进行保留，进行删除即可。
此时，如果立即掐断（删除）第j帧画面，那么可能会产生大量的误判，即使是主角A真的离开了画面，为了保持情节的完整性，我们也应该延长播放画面时间。
具体地，某一个人物，比如主角A，他的画面大概率情况下不会是一个架空型（除了人物，什么也没有）的画面，即这个画面里面只有他，没有其他物体（例如椅子，桌子，空调，花），没有环境（例如室内，游泳池旁，室外，车内），所以当第j帧主角A消失的时候，这里面存在很多可能性，其可能性前面已经分析过（三种），所以即使第j帧主角A从AI视觉计算的识别角度来看是消失了，但是基于主角A的画面应该是一个真实的有物，有场景，有对手戏的场景，所以假设主角A画面从AI视觉识别的角度已经消失，仍然给延长一定的时间继续播放后续的帧，以等待主角重新出现。
本发明中，判断是否将当前视频帧作为所述目标角色的视频片段的预设规则包括如下三种方式：
第一种，根据不包括所述目标角色人脸信息的当前视频帧的画面与前一帧包括所述目标角色人脸信息的画面中非目标角色保留的比例是否大于第一门限值来判断所述目标角色是否真正消失，当是时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧。
第二种，根据不包括所述目标角色人脸信息的当前视频帧的画面与前一帧包括所述目标角色人脸信息的画面中物品信息未发生变化的比例是否大于第二门限值来判断目标角色是否真正消失，当是时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧。
第三种, 将不包括所述目标角色人脸信息的当前视频帧的画面中的场景信息与前一帧包括所述目标角色人脸信息的画面中的场景信息进行比较，当场景相同时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧。
那么，只要判断条件满足上述三种预设规则的一种时，便可判断是否保留当前视频帧作为所述目标角色的视频片段。
进一步地，所述预设规则还包括上述三种方式按照递进方式来进行判断，具体为：
第一步，根据不包括所述目标角色人脸信息的当前视频帧的画面与前一帧包括所述目标角色人脸信息的画面中物品信息未发生变化的比例是否大于第二门限值来判断目标角色是否真正消失，当是时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧，当否时执行第二步；
第二步，根据不包括所述目标角色人脸信息的当前视频帧的画面与前一帧包括所述目标角色人脸信息的画面中物品信息未发生变化的比例是否大于第二门限值来判断目标角色是否真正消失，当是时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧，当否时执行第三步:
第三步，将不包括所述目标角色人脸信息的当前视频帧的画面中的场景信息与前一帧包括所述目标角色人脸信息的画面中的场景信息进行比较，当场景相同时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧，当场景不相同时则判断当前画面中所述目标角色真正消失。
具体的，以第N帧画面和第N+j帧画面进行如下说明：
首先，设定目标角色为R，画面信息包括人脸、物品与和场景；
获取第N帧画面的画面信息：
人物集合RoleSet(N)[R，Rn,1，Rn,2，…，Rn,m]，
物品集合ThingSet(N)[Tn,1，Tn,2，…，Tn,p]，
第N帧所在场景为 CJn；；
在第N+j帧画面中未检测到目标角色R的人脸，则获取第N+j帧画面的画面信息：
人物集合RoleSet(N+j)[Rn+j,1，Rn+j,2，…，Rn+j,o]，
物品集合ThingSet(N+j)[Tn+j,1，Tn+j,2，…，Tn+j,q]，
第N+j帧所在场景为CJn+j；
则第N+j帧画面中：
人物交集RoleSet = RoleSet(N) ∩ RoleSet(N+j)，
物品交集 ThingSet = ThingSet(N) ∩ThingSet(N+j)；
并得出：
RatioR = RoleSet/RolSet(N)，
RatioT = ThingSet/ThingSet(N)；
其中，RatioR表示相对于第N帧画面，第N+j帧画面中的非目标角色保留所占的比例，这是一个比例值，这个比值越大，说明第N帧中的非目标角色留存到第N+j帧中的越多，表明第N+j帧画面越需要保留，反之就需要截掉（删除）；RatioT表示相对于第N帧画面，第N+j帧画面中的物品保留所占的比例，这个比值越大，说明第N帧画面中的物品留存到第N+j帧画面中的越多，表明第N+j帧画面越需要保留，反之需要截掉（删除）。
然后根据预设规则进行如下三步的判断：
第一步，当RatioR > RatioRmin时，则判断目标角色仍然在当前画面中，保留当前画面，当RatioR ≤ RatioRmin时，则进行第二步判断；
第二步，当RatioT > RatioTmin时，则判断目标角色仍然在当前画面中，保留当前画面，当RatioT≤ RatioTmin时，则进行第三步判断；
其中，RatioRmin为第一门限值，意义是第N帧画面中的非目标角色有多少比例留存到第N+j帧画面时，才保留当前画面； RatioTmin为第二门限值，意义是第N帧画面中与目标角色在一起的物品有多少比例留存到第N+j帧画面时，才保留当前画面；
第三步，当CJn+j = CJn时，则判断目标角色仍然在当前画面中，保留当前画面；当CJn+j ≠ CJn时，则启动定时器，当预设时间Tmax过后，删除之后的画面，等待目标角色再次被识别到。
其中，所述RatioR表示的比值越大，则表示第N帧画面中的非目标角色保留到第N+j帧画面中的数量越多；所述RatioT表示的比值越大，则表示第N帧画面中的物品保留到第N+j帧画面中的数量越多。
其中，Tmax表示的是如果从AI视觉的角度发现目标角色（例如主角A）已经不存在的情况下，继续保存画面的最大时长。
任意一个影视剧的演员大多数情况下处于一个具体的环境中，与某一个具体的人进行对话交互，利用目前AI视觉已有的识别能力（识别人脸，物品与场景），将目标角色（例如主角）所在的环境和其他演员，根据随后画面的这些环境与其他人员的停留情况，给予合理的时间延长，在压缩冗长剧情的同时，保证画面剧情的连续性。
同时因为智能电视提供了这样的功能，用户（观众）可以将碎片化的时间停留在智能电视上，将手机上的部分流量转移到智能电视上来。
进一步地，如图4所示，基于上述视频处理方法，本发明还相应提供了一种智能电视，所述智能电视包括处理器10、存储器20及显示器30。图4仅示出了智能电视的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
所述存储器20在一些实施例中可以是所述智能电视的内部存储单元，例如智能电视的硬盘或内存。所述存储器20在另一些实施例中也可以是所述智能电视的外部存储设备，例如所述智能电视上配备的插接式硬盘，智能存储卡（Smart Media Card, SMC），安全数字（Secure Digital, SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器20还可以既包括所述智能电视的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述智能电视的应用软件及各类数据，例如所述安装智能电视的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有视频处理程序40，该视频处理程序40可被处理器10所执行，从而实现本申请中视频处理方法。
所述处理器10在一些实施例中可以是一中央处理器（Central Processing Unit,CPU），微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述视频处理方法等。
所述显示器30在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED（Organic Light-Emitting Diode，有机发光二极管）触摸器等。所述显示器30用于显示在所述智能电视的信息以及用于显示可视化的用户界面。所述智能电视的部件10-30通过系统总线相互通信。
在一实施例中，当处理器10执行所述存储器20中视频处理程序40时实现以下步骤：
获取视频文件，并利用图像识别技术对所述视频文件中的视频帧依次进行识别以得到所述视频帧中的画面信息；
若识别出当前视频帧中的画面信息中包括目标角色的人脸时，则将当前视频帧作为所述目标角色的视频片段；
若识别出当前视频帧中的画面信息中不包括所述目标角色的人脸时，则按照预设规则判断是否将当前视频帧作为所述目标角色的视频片段；
将得到的各个目标视频片段按照所述视频文件的播放顺序进行拼接以得到所述目标角色对应的精简视频。
其中，所述画面信息至少包括人脸信息、物品信息以及场景信息中的一种。
其中，所述预设规则包括：
根据不包括所述目标角色人脸信息的当前视频帧的画面与前一帧包括所述目标角色人脸信息的画面中非目标角色保留的比例是否大于第一门限值来判断所述目标角色是否真正消失，当是时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧。
所述预设规则包括：
根据不包括所述目标角色人脸信息的当前视频帧的画面与前一帧包括所述目标角色人脸信息的画面中物品信息未发生变化的比例是否大于第二门限值来判断目标角色是否真正消失，当是时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧。
所述预设规则包括：
将不包括所述目标角色人脸信息的当前视频帧的画面中的场景信息与前一帧包括所述目标角色人脸信息的画面中的场景信息进行比较，当场景相同时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧。
所述预设规则还包括：
第一步，根据不包括所述目标角色人脸信息的当前视频帧的画面与前一帧包括所述目标角色人脸信息的画面中物品信息未发生变化的比例是否大于第二门限值来判断目标角色是否真正消失，当是时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧，当否时执行第二步；
第二步，根据不包括所述目标角色人脸信息的当前视频帧的画面与前一帧包括所述目标角色人脸信息的画面中物品信息未发生变化的比例是否大于第二门限值来判断目标角色是否真正消失，当是时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧，当否时执行第三步；
第三步，将不包括所述目标角色人脸信息的当前视频帧的画面中的场景信息与前一帧包括所述目标角色人脸信息的画面中的场景信息进行比较，当场景相同时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧，当场景不相同时则判断当前画面中所述目标角色真正消失。
其中，当前视频帧中的画面信息中不包括所述目标角色的人脸的情况包括：所述目标角色的正脸未对着用户的画面、所述目标角色与非目标角色在进行对话且镜头转向所述非目标角色的画面以及所述目标角色真正离开的画面。
所述目标角色的正脸未对着用户的画面和所述目标角色与非目标角色在进行对话且镜头转向所述非目标角色的画面作为所述目标角色的视频片段进行保留；所述目标角色真正离开的画面判定为所述目标角色真正消失的画面，无需作为所述目标角色的视频片段进行保留。
本发明还提供一种存储介质，其中，所述存储介质存储有视频处理程序，所述视频处理程序被处理器执行时实现如上所述的视频处理方法的步骤。
综上所述，本发明提供一种视频处理方法、智能电视及存储介质，所述方法包括：一种视频处理方法、智能电视及存储介质，所述方法包括：获取视频文件，并利用图像识别技术对所述视频文件中的视频帧依次进行识别以得到所述视频帧中的画面信息；若识别出当前视频帧中的画面信息中包括目标角色的人脸时，则将当前视频帧作为所述目标角色的视频片段；若识别出当前视频帧中的画面信息中不包括所述目标角色的人脸时，则按照预设规则判断是否将当前视频帧作为所述目标角色的视频片段；将得到的各个目标视频片段按照所述视频文件的播放顺序进行拼接以得到所述目标角色对应的精简视频。本发明在截取所有含有目标角色人脸的画面的基础上，将目标角色没有真正消失的画面也保留下来，拼接成包含目标角色所有画面的精简视频，在压缩冗长剧情的同时，保证画面剧情的连续性。
当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (8)

1.一种视频处理方法，其特征在于，所述视频处理方法包括：
获取视频文件，并利用图像识别技术对所述视频文件中的视频帧依次进行识别以得到所述视频帧中的画面信息；
若识别出当前视频帧中的画面信息中包括目标角色的人脸时，则将当前视频帧作为所述目标角色的视频片段；
若识别出当前视频帧中的画面信息中不包括所述目标角色的人脸时，则按照预设规则判断是否将当前视频帧作为所述目标角色的视频片段；
将得到的各个目标视频片段按照所述视频文件的播放顺序进行拼接以得到所述目标角色对应的精简视频；
在截取所有含有目标角色人脸的画面的基础上，将目标角色没有真正消失的画面也保留，拼接成包含目标角色所有画面的精简视频；
所述画面信息至少包括人脸信息、物品信息以及场景信息中的一种；
所述预设规则还包括：
第一步，根据不包括所述目标角色人脸信息的当前视频帧的画面与前一帧包括所述目标角色人脸信息的画面中非目标角色保留的比例是否大于第一门限值来判断所述目标角色是否真正消失，当是时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧，当否时执行第二步；
第二步，根据不包括所述目标角色人脸信息的当前视频帧的画面与前一帧包括所述目标角色人脸信息的画面中物品信息未发生变化的比例是否大于第二门限值来判断目标角色是否真正消失，当是时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧，当否时执行第三步；
第三步，将不包括所述目标角色人脸信息的当前视频帧的画面中的场景信息与前一帧包括所述目标角色人脸信息的画面中的场景信息进行比较，当场景相同时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧，当场景不相同时则判断当前画面中所述目标角色真正消失；
当不包括所述目标角色人脸信息的当前视频帧的画面中的场景信息与前一帧包括所述目标角色人脸信息的画面中的场景信息不相同时，则启动定时器，当预设时间过后，删除之后的画面，等待目标角色再次被识别到。
2.根据权利要求1所述的视频处理方法，其特征在于，所述预设规则包括：
根据不包括所述目标角色人脸信息的当前视频帧的画面与前一帧包括所述目标角色人脸信息的画面中非目标角色保留的比例是否大于第一门限值来判断所述目标角色是否真正消失，当是时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧。
3.根据权利要求1所述的视频处理方法，其特征在于，所述预设规则包括：
根据不包括所述目标角色人脸信息的当前视频帧的画面与前一帧包括所述目标角色人脸信息的画面中物品信息未发生变化的比例是否大于第二门限值来判断目标角色是否真正消失，当是时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧。
4.根据权利要求1所述的视频处理方法，其特征在于，所述预设规则包括：
将不包括所述目标角色人脸信息的当前视频帧的画面中的场景信息与前一帧包括所述目标角色人脸信息的画面中的场景信息进行比较，当场景相同时则判断当前视频帧画面中所述目标角色未真正消失，保留当前视频帧。
5.根据权利要求1所述的视频处理方法，其特征在于，当前视频帧中的画面信息中不包括所述目标角色的人脸的情况包括：所述目标角色的正脸未对着用户的画面、所述目标角色与非目标角色在进行对话且镜头转向所述非目标角色的画面以及所述目标角色真正离开的画面。
6.根据权利要求5所述的视频处理方法，其特征在于，所述目标角色的正脸未对着用户的画面和所述目标角色与非目标角色在进行对话且镜头转向所述非目标角色的画面作为所述目标角色的视频片段进行保留；所述目标角色真正离开的画面判定为所述目标角色真正消失的画面，无需作为所述目标角色的视频片段进行保留。
7.一种智能电视，其特征在于，所述智能电视包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的视频处理程序，所述视频处理程序被所述处理器执行时实现如权利要求1-6任一项所述的视频处理方法的步骤。
8.一种存储介质，其特征在于，所述存储介质存储有视频处理程序，所述视频处理程序被处理器执行时实现如权利要求1-6任一项所述的视频处理方法的步骤。
CN201811642248.2A 2018-12-29 2018-12-29 一种视频处理方法、智能电视及存储介质 Active CN111385641B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811642248.2A CN111385641B (zh) 2018-12-29 2018-12-29 一种视频处理方法、智能电视及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811642248.2A CN111385641B (zh) 2018-12-29 2018-12-29 一种视频处理方法、智能电视及存储介质

Publications (2)

Publication Number Publication Date
CN111385641A CN111385641A (zh) 2020-07-07
CN111385641B true CN111385641B (zh) 2022-04-22

Family

ID=71218383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811642248.2A Active CN111385641B (zh) 2018-12-29 2018-12-29 一种视频处理方法、智能电视及存储介质

Country Status (1)

Country Link
CN (1) CN111385641B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022020996A1 (zh) * 2020-07-27 2022-02-03 华为技术有限公司 视频拼接的方法、装置及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7802188B2 (en) * 2004-05-13 2010-09-21 Hewlett-Packard Development Company, L.P. Method and apparatus for identifying selected portions of a video stream
CN104796781B (zh) * 2015-03-31 2019-01-18 小米科技有限责任公司 视频片段提取方法及装置
CN105100892B (zh) * 2015-07-28 2018-05-15 努比亚技术有限公司 视频播放装置及方法
CN106021496A (zh) * 2016-05-19 2016-10-12 海信集团有限公司 视频搜索方法及视频搜索装置
US10535371B2 (en) * 2016-09-13 2020-01-14 Intel Corporation Speaker segmentation and clustering for video summarization
CN106534967B (zh) * 2016-10-25 2019-08-02 司马大大（北京）智能系统有限公司 视频剪辑方法及装置
CN108271069A (zh) * 2017-12-11 2018-07-10 北京奇艺世纪科技有限公司 一种视频节目的片段过滤方法和装置
CN108337532A (zh) * 2018-02-13 2018-07-27 腾讯科技（深圳）有限公司 演出片段的标注方法、视频播放方法、装置及系统
CN109063611B (zh) * 2018-07-19 2021-01-05 北京影谱科技股份有限公司 一种基于视频语义的人脸识别结果处理方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于特征轨迹的人物行为分类的关键技术与应用;薛莹;《中国优秀硕士学位论文全文数据库 信息科技辑》;20170215;全文 *

Also Published As

Publication number Publication date
CN111385641A (zh) 2020-07-07

Similar Documents

Publication Publication Date Title
CN109121007B (zh) 基于多人脸识别的影视内容推荐方法、智能电视及系统
US9024844B2 (en) Recognition of image on external display
US9196306B2 (en) Smart scaling and cropping
EP3171602A1 (en) Information processing device, display device, information processing method, program, and information processing system
US20170076498A1 (en) System and method for presenting content within virtual reality environment
US9946438B2 (en) Maximum value displayed content feature
WO2011139292A1 (en) Generating a combined image from multiple images
CN112905074B (zh) 交互界面展示方法、交互界面生成方法、装置及电子设备
CN112827172B (zh) 拍摄方法、装置、电子设备及存储介质
US20180242027A1 (en) System and method for perspective switching during video access
US20180173957A1 (en) Methods, systems, and media for detecting two-dimensional videos placed on a sphere in abusive spherical video content by tiling the sphere
CN111385670A (zh) 目标角色视频片段播放方法、系统、装置及存储介质
KR101360471B1 (ko) 사용자의 반응에 기반한 동적 콘텐츠 재생 제어 방법 및 장치
CN111385641B (zh) 一种视频处理方法、智能电视及存储介质
CN108289247B (zh) 一种基于视频分析的视频画面拍摄技巧的自动识别方法
CN113038174B (zh) 直播视频互动方法、装置以及计算机设备
CN110839175A (zh) 一种基于智能电视的交互方法、存储介质以及智能电视
US20190141416A1 (en) Automatically and programmatically generating crowdsourced trailers
WO2022179415A1 (zh) 视听作品的展示方法、装置、设备及介质
US20140372424A1 (en) Method and system for searching video scenes
CN113596574A (zh) 视频处理方法、视频处理装置、电子设备和可读存储介质
CN108268847B (zh) 一种电影蒙太奇语言分析的方法与系统
CN110113645B (zh) 多媒体设备的播放控制方法、装置、电子设备及存储介质
CN112791401B (zh) 拍摄方法、装置、电子设备及存储介质
JP2015198298A (ja) 映像配信システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant