CN105744292B - 一种视频数据的处理方法及装置 - Google Patents

一种视频数据的处理方法及装置 Download PDF

Info

Publication number
CN105744292B
CN105744292B CN201610073546.9A CN201610073546A CN105744292B CN 105744292 B CN105744292 B CN 105744292B CN 201610073546 A CN201610073546 A CN 201610073546A CN 105744292 B CN105744292 B CN 105744292B
Authority
CN
China
Prior art keywords
video
sequence
frame
file
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610073546.9A
Other languages
English (en)
Other versions
CN105744292A (zh
Inventor
胡小朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201610073546.9A priority Critical patent/CN105744292B/zh
Publication of CN105744292A publication Critical patent/CN105744292A/zh
Application granted granted Critical
Publication of CN105744292B publication Critical patent/CN105744292B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866Management of end-user data
    • H04N21/25883Management of end-user data being end-user demographical data, e.g. age, family status or address
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

本发明公开了一种视频数据的处理方法及装置,其中该方法包括:获取视频文件;对该视频文件中的视频帧进行人脸识别,生成识别结果;基于该识别结果,确定视频文件相应的关键人物信息;根据关键人物信息,获取视频简介图像集,并根据视频简介图像集,确定该视频文件相应的简介文件。本发明实施例通过对视频中的视频帧进行人脸识别,识别出主要人物,在视频中提取出包含主要人物和重要剧情的视频帧序列,然后将提取的视频帧确定视频文件相应的简介文件,相对于现有基于专业人士去观看视频并从中提取视频片段的方式,提高视频简介文件的准确率,以及提高操作效率。

Description

一种视频数据的处理方法及装置
技术领域
本发明属于数字视频技术领域,尤其涉及一种视频数据的处理方法及装置。
背景技术
随着网络带宽的提高以及各种视频资源的增加,用户越来越倾向在网上下载和观看视频,比如电影或者电视剧等。
通常,在下载视频之前,用户往往是通过一些简单的文字介绍去了解所下载的视频内容,为了能够方便用户了解视频内容,一些专业人士为一些视频制作了视频简介片头,能够通过几分钟的片头视频使用户对整个视频内容有一个较为全面的了解。
在对现有技术的研究和实践过程中,本发明的发明人发现,由于现有技术中人工合成视频需要这些专业人士去观看视频并从中提取视频片段,从而导致操作效率较低;并且,由于人为因素较高,因此导致提取的视频片段不一定是片源中的主要信息,准确率不高。
发明内容
本发明的目的在于提供一种视频数据的处理方法及装置,旨在提高视频数据的处理准确率以及召回率。
为解决上述技术问题,本发明实施例提供以下技术方案:
一种视频数据的处理方法,其中包括:
获取视频文件;
对所述视频文件中的视频帧进行人脸识别,生成识别结果;
基于所述识别结果,确定所述视频文件相应的关键人物信息;
根据所述关键人物信息,获取视频简介图像集,并根据所述视频简介图像集,确定所述视频文件相应的简介文件。
为解决上述技术问题,本发明实施例还提供以下技术方案:
一种视频数据的处理装置,其中包括:
第一获取单元,用于获取视频文件;
人脸识别单元,用于对所述视频文件中的视频帧进行人脸识别,生成识别结果;
第一确定单元,用于基于所述识别结果,确定所述视频文件相应的关键人物信息;
第二获取单元,用于根据所述关键人物信息,获取视频简介图像集;
第二确定单元,用于根据所述视频简介图像集,确定所述视频文件相应的简介文件。
相对于现有技术,本发明实施例,首先,获取视频文件,对视频文件中的视频帧进行人脸识别,并基于人脸识别的结果,确定关键人物信息;然后,根据关键人物信息,获取视频简介图像集,最后,根据视频简介图像集,确定视频文件相应的简介文件;即本发明实施例通过对视频中的视频帧进行人脸识别,识别出主要人物,在视频中提取出包含主要人物和重要剧情的视频帧序列,然后将提取的视频帧确定视频文件相应的简介文件,相对于现有基于专业人士去观看视频并从中提取视频片段的方式,提高视频简介文件的准确率,以及提高操作效率。
附图说明
下面结合附图,通过对本发明的具体实施方式详细描述,将使本发明的技术方案及其它有益效果显而易见。
图1是本发明第一实施例提供的视频数据的处理方法的流程示意图;
图2为本发明第二实施例提供的视频数据的处理方法的流程示意图;
图3a为本发明第三实施例提供的视频数据的处理装置的结构示意图;
图3b为本发明第三实施例提供的视频数据的处理装置的另一结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本发明的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本发明具体实施例,其不应被视为限制本发明未在此详述的其它具体实施例。
在以下的说明中,本发明的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明,除非另有述明。因此,这些步骤及操作将有数次提到由计算机执行,本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处,其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置,其具有由该数据格式所定义的特定特性。但是,本发明原理以上述文字来说明,其并不代表为一种限制,本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本文所使用的术语「模块」可看做为在该运算系统上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文所述的装置及方法优选的以软件的方式进行实施,当然也可在硬件上进行实施,均在本发明保护范围之内。
第一实施例
在本实施例中,将从视频数据的处理装置的角度进行描述,该视频数据的处理装置具体可以集成在服务器或网关等网络设备中。
一种视频数据的处理方法,包括:获取视频文件;对该视频文件中的视频帧进行人脸识别,生成识别结果;基于该识别结果,确定视频文件相应的关键人物信息;根据关键人物信息,获取视频简介图像集,并根据视频简介图像集,确定该视频文件相应的简介文件。
请参阅图1,图1是本发明第一实施例提供的视频数据的处理方法的流程示意图。所述方法包括:
在步骤S101中,获取视频文件。
在步骤S102中,对该视频文件中的视频帧进行人脸识别,生成识别结果。
在步骤S103中,基于该识别结果,确定该视频文件相应的关键人物信息。
其中,所述步骤S101至步骤S103可具体为:
可以理解的是,本发明实施例中,在简介文件生成之前,首先需要进行关键人物信息的提取,比如,主要人物的提取。
可具体的,可以通过人脸检测技术识别视频帧中是否存在关键人物信息,其中,关键人物信息可以认为是该视频对应的主要人物和/或重要剧情。
比如,基于该识别结果,确定该视频文件相应的关键人物信息,可以具体包括:
步骤1、若根据该识别结果确定视频帧中含有人脸信息,则对该人脸信息进行标记,以得到人脸标记结果。
步骤2、根据该人脸标记结果,确定出满足预设条件的人脸信息。
步骤3、将满足预设条件的人脸信息确定为该视频文件相应的关键人物信息。
也就是说,检测视频帧中是否存在人脸信息,将检测到的人脸提取、标记,比如,不同人脸可以标记为不同类。
进一步的,依次扫描该视频文件中所有的视频帧,对识别到所有人脸进行分类计数,当扫描完所有视频帧,可以将计数靠前的确定为该视频文件的主要人物,即可以确定为该视频文件相应的关键人物信息,比如,计数靠前的两位为视频主角,或者是男、女计数第一的分别为男女主角,等等。
在某些优选的实施方式中,在获取视频文件之后,对该视频文件中的视频帧进行人脸识别,生成识别结果之前,可以先将视频文件按照预设阈值时长划分为N份(N为大于或等于1的证书),例如预设阈值时长可以设置为15分钟,从而可以在在每个视频分段中分别提取各视频分段中的主要人物。
需要说明的是,若视频文件的时长小于该预设阈值时长,则可以不进行分段处理;另外,视频文件进行分段后,关键人物信息(如主要人物)的提取方法与前述提取整个视频文件中的主要人物方法相同,此处不再赘述。
在步骤S104中,根据该关键人物信息,获取视频简介图像集。
在关键人物信息的提取之后,需要对视频简介图像集进行获取。
优选的,在根据该关键人物信息,获取视频简介图像集,可以具体如下:
步骤a、根据该关键人物信息,在视频文件的中确定有效视频帧序列;
步骤b、当该有效视频帧序列的视频帧数超过预设阈值时,将该有效视频帧序列确定为关键视频帧序列;
步骤c、基于该关键视频帧序列,获取视频简介图像集。
其中,比如,在根据该关键人物信息,在视频文件的中确定有效视频帧序列(即步骤a),可以具体包括:
步骤a1、在所述视频文件的所有视频帧序列中,获取连续出现该关键人物信息的视频帧序列;
步骤a2、将连续出现关键人物信息的视频帧序列确定为有效视频帧序列。
可具体的,比如,可以在所有的视频帧序列中,把连续、不间断出现主要人物的视频帧序列确定为有效视频帧序列,当确定出这类有效视频帧序列的视频帧数超过一定阈值,可以将该有效视频帧序列确定为关键视频帧序列,本实施例中,这类关键视频帧序列可认为包含了视频的重要剧情信息。
进一步优选的,为了减少最终生成的视频时长及存储空间,基于该关键视频帧序列,获取视频简介图像集(步骤c),可以具体包括:
步骤c1、在该关键视频帧序列中,按照预设规则抽取视频帧数据,生成待编码视频数据帧序列;
步骤c2、按照时间先后顺序,对待编码视频数据帧序列进行排列,生成视频简介图像集。
比如,在关键视频帧序列中,每隔一帧或多帧抽取一帧数据形成待编码视频数据帧序列,其中,视频文件中的关键视频帧序列与待编码视频帧序列一一对应。其后,将所有的待编码视频帧序列,按照时间先后顺序排列从而形成视频简介图像集。
可以理解的是,在关键人物信息提取时对视频文件进行分段的实施方式中,每个视频分段中的待编码视频数据帧序列提取方法和整体视频的待编码视频数据帧序列抽取方式一致,最后将各个视频分段的待编码视频数据帧序列按时间顺序排列起来,形成视频简介图像集。
在步骤S105中,根据该视频简介图像集,确定该视频文件相应的简介文件。
在一种可能的实施方式中,根据该视频简介图像集,确定该视频文件相应的简介文件可以具体如下:
按照预设图像处理规则,对视频简介图像集进行压缩,生成视频简介文件,将视频简介文件确定为该视频文件相应的简介文件。
比如,该实施方式中,可以将视频简介图像集中的视频帧压缩成低分辨率、低码率、低帧率的数据源,并存储至视频文件的开头或是形成独立的视频简介小视频。
在另一种可能的实施方式中,根据该视频简介图像集,确定该视频文件相应的简介文件可以具体如下:
根据视频简介图像集,生成与待编码视频数据帧序列相应的图片简介文件,将图片简介文件确定为该视频文件相应的简介文件。
比如,该实施方式中,可以按照待编码视频帧序列,生成多个图片格式GIF(Graphics Interchange Format)图片,其中,视频简介图像集中的待编码视频帧序列对生成的GIF图片一一对应,从而可以保证每个GIF图片信息的相对连续性和完整性。
由上述可知,本实施例提供的视频数据的处理方法,首先,获取视频文件,对视频文件中的视频帧进行人脸识别,并基于人脸识别的结果,确定关键人物信息;然后,根据关键人物信息,获取视频简介图像集,最后,根据视频简介图像集,确定视频文件相应的简介文件;即本发明实施例通过对视频中的视频帧进行人脸识别,识别出主要人物,在视频中提取出包含主要人物和重要剧情的视频帧序列,然后将提取的视频帧确定视频文件相应的简介文件,相对于现有基于专业人士去观看视频并从中提取视频片段的方式,提高视频简介文件的准确率,以及提高操作效率。
第二实施例
根据第一实施例所描述的方法,以下将举例作进一步详细说明。
本发明实施例提供的视频数据的处理方法,通过对视频源中的所有视频帧进行人脸识别,识别出主要人物,在视频中提取出包含主要人物和重要剧情的视频帧序列,然后将提取的视频帧压缩成小视频,或者处理为GIF文件,存储于视频的开头作为视频剧情简介。以下将进行详细说明。
请参阅图2,图2为本发明第二实施例提供的视频数据的处理方法的流程示意图。所述方法包括:
在步骤S201中,获取视频。
在步骤S202中,确定该视频是否需要分段。
其中,所述步骤S201与步骤S202可具体为:
比如,可以根据该视频的总时长来确定该视频是否需要分段,若该视频的总时长超过一预设时长,则确定需要对该视频进行分段,执行步骤S203b至步骤S206b;相反,若该视频的总时长未超过一预设时长,则确定不需要对该视频进行分段,执行步骤S203a至步骤S205a。
在步骤S203a中,扫描视频帧确定整个视频的主要人物。
在步骤S204a中,获取关键视频帧序列。
在步骤S205a中,生成整个视频的待编码视频数据帧序列。
其中,所述步骤S203a至步骤S205a可具体为:
比如,通过人脸检测技术识别视频帧中是否存在人脸信息,将检测到的人脸提取、标记,比如,不同人脸可以标记为不同类。
再比如,依次扫描该视频中所有的视频帧,对识别到所有人脸进行分类计数,当扫描完所有视频帧,可以将计数靠前的确定为该视频文件的主要人物,如,计数靠前的两位为视频主角,或者是男、女计数第一的分别为男女主角,等等。
步骤S204a中,可以根据主要人物获取关键视频帧序列,比如:可以在所有的视频帧序列中,把连续、不间断出现主要人物的视频帧序列确定为有效视频帧序列,当确定出这类有效视频帧序列的视频帧数超过一定阈值,可以将该有效视频帧序列确定为关键视频帧序列,本实施例中,这类关键视频帧序列可认为包含了视频的重要剧情信息。
然后,在关键视频帧序列中,每隔一帧或多帧抽取一帧数据形成待编码视频数据帧序列,其中,视频文件中的关键视频帧序列与待编码视频帧序列一一对应。
在步骤S203b中,按照预设阈值时长将该视频进行划分,得到视频分段。
在步骤S204b中,确定每个视频分段的主要人物。
在步骤S205b中,获取每个视频分段的关键视频帧序列。
在步骤S206b中,生成视频分段的待编码视频数据帧序列。
其中,所述步骤S203b至步骤S206b可具体为:
比如,在获取视频文件之后,对该视频文件中的视频帧进行人脸识别之前,可以先将视频文件按照预设阈值时长划分为N份,例如预设阈值时长可以设置为15分钟,从而可以在在每个视频分段中分别提取各视频分段中的主要人物。
可以理解的是,每个视频分段中的待编码视频数据帧序列提取方法和整体视频的待编码视频数据帧序列抽取方式一致,此处不再赘述。
接着,基于步骤S203a至步骤S205a,或者步骤S203b至步骤S206b,执行步骤S207:
在步骤S207中,生成视频简介图像集。
基于步骤S203a至步骤S205a,生成视频简介图像集可以具体为:将所有的待编码视频帧序列,按照时间先后顺序排列从而形成视频简介图像集。
基于步骤S203b至步骤S206b,生成视频简介图像集可以具体为:将各个视频分段的待编码视频数据帧序列按时间顺序排列起来,形成视频简介图像集。
在步骤S208中,判断是否将该视频简介图像集压缩成视频。
也就是说,在形成视频简介图像集之后,可以判断是否将该视频简介图像集压缩成视频,若是,则执行步骤S209a,若否,则执行步骤S209b:
在步骤S209a中,编码生成简介小视频。
即,可以将视频简介图像集中的视频帧压缩成低分辨率、低码率、低帧率的数据源,并存储至视频文件的开头或是形成独立的视频简介小视频。
在步骤S209b中,生成多个简介GIF文件。
即可以按照待编码视频帧序列,生成多个GIF图片,其中,视频简介图像集中的待编码视频帧序列对生成的GIF图片一一对应。
需要说明的是,由于整个视频文件的主要人物并不等同于各个视频分段中主要人物,各视频分段之间的主要人物也不一定相同,因此,把整个视频作为一个整体处理,得到的简介视频剧情集中于主角,而把视频分成多个分段进行处理得到的简介视频,人物剧情内容相对丰富、多彩。
由此可知,本发明实施例分为主要人物提取、简介图像集获取以及视频简介文件生成三个部分,与现有技术不同的是,本发明实施例以人脸识别技术为基础来提取片源中的主要人物和剧情,从而提取的视频关键帧序列更加贴近视频的主要剧情,因此,形成的视频简介内容也更加生动有效、贴近实际剧情。
在实际应用中,通过本方案生成的视频简介内容,可以让用户快速预览大文件视频的有效内容,从而节省用户的时间,给用户带来更优的视觉体验。另外,对于网络视频用户不需要通过长时间观看就可以迅速通过简介视频判定该视频是否想继续观看,从而为用户节省大量的数据流量,避免不需要的通信资费。
由上述可知,本实施例提供的视频数据的处理方法,首先,获取视频文件,对视频文件中的视频帧进行人脸识别,并基于人脸识别的结果,确定关键人物信息;然后,根据关键人物信息,获取视频简介图像集,最后,根据视频简介图像集,确定视频文件相应的简介文件;即本发明实施例通过对视频中的视频帧进行人脸识别,识别出主要人物,在视频中提取出包含主要人物和重要剧情的视频帧序列,然后将提取的视频帧确定视频文件相应的简介文件,相对于现有基于专业人士去观看视频并从中提取视频片段的方式,提高视频简介文件的准确率,以及提高操作效率。
第三实施例
为便于更好的实施本发明实施例提供的视频数据的处理方法,本发明实施例还提供一种基于上述视频数据的处理方法的装置。其中名词的含义与上述视频数据的处理的方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图3a,图3a为本发明实施例提供的视频数据的处理装置的结构示意图,本发明所述视频数据的处理装置可以包括第一获取单元301、人脸识别单元302、第一确定单元303、第二获取单元304以及第二确定单元305。
其中,所述第一获取单元301,用于获取视频文件;人脸识别单元302,用于对所述视频文件中的视频帧进行人脸识别,生成识别结果;第一确定单元303,用于基于所述识别结果,确定所述视频文件相应的关键人物信息。
可以理解的是,本发明实施例中,在简介文件生成之前,首先需要进行关键人物信息的提取,比如,主要人物的提取。
可具体的,可以通过人脸检测技术识别视频帧中是否存在关键人物信息,其中,关键人物信息可以认为是该视频对应的主要人物和/或重要剧情。
比如,可一并参考图3b,为视频数据的处理装置的另一结构示意图,其中,所述第一确定单元303,可以具体包括:
标记子单元3031,用于若根据所述识别结果确定所述视频帧中含有人脸信息,则对所述人脸信息进行标记,以得到人脸标记结果;
第一确定子单元3032,用于根据所述人脸标记结果,确定出满足预设条件的人脸信息;
第二确定子单元3033,用于将所述满足预设条件的人脸信息确定为所述视频文件相应的关键人物信息。
也就是说,检测视频帧中是否存在人脸信息,将检测到的人脸提取、标记,比如,不同人脸可以标记为不同类。
进一步的,依次扫描该视频文件中所有的视频帧,对识别到所有人脸进行分类计数,当扫描完所有视频帧,可以将计数靠前的确定为该视频文件的主要人物,即可以确定为该视频文件相应的关键人物信息,比如,计数靠前的两位为视频主角,或者是男、女计数第一的分别为男女主角,等等。
在某些优选的实施方式中,在获取视频文件之后,对该视频文件中的视频帧进行人脸识别,生成识别结果之前,可以先将视频文件按照预设阈值时长划分为N份(N为大于或等于1的证书),例如预设阈值时长可以设置为15分钟,从而可以在在每个视频分段中分别提取各视频分段中的主要人物。
需要说明的是,若视频文件的时长小于该预设阈值时长,则可以不进行分段处理;另外,视频文件进行分段后,关键人物信息(如主要人物)的提取方法与前述提取整个视频文件中的主要人物方法相同,此处不再赘述。
其后,第二获取单元304,用于根据所述关键人物信息,获取视频简介图像集。
优选的,所述第二获取单元304,可以具体包括:
第三确定子单元3041,用于根据所述关键人物信息,在所述视频文件的中确定有效视频帧序列;
第四确定子单元3042,用于当所述有效视频帧序列的视频帧数超过预设阈值时,将所述有效视频帧序列确定为关键视频帧序列;
获取子单元3043,用于基于所述关键视频帧序列,获取视频简介图像集。
其中,比如,所述第三确定子单元3041,可以具体用于:在所述视频文件的所有视频帧序列中,获取连续出现所述关键人物信息的视频帧序列,将所述连续出现关键人物信息的视频帧序列确定为有效视频帧序列。
可具体的,比如,可以在所有的视频帧序列中,把连续、不间断出现主要人物的视频帧序列确定为有效视频帧序列,当确定出这类有效视频帧序列的视频帧数超过一定阈值,可以将该有效视频帧序列确定为关键视频帧序列,本实施例中,这类关键视频帧序列可认为包含了视频的重要剧情信息。
进一步优选的,为了减少最终生成的视频时长及存储空间,所述获取子单元3043,可以具体用于:
在所述关键视频帧序列中,按照预设规则抽取视频帧数据,生成待编码视频数据帧序列,按照时间先后顺序,对所述待编码视频数据帧序列进行排列,生成视频简介图像集。
比如,在关键视频帧序列中,每隔一帧或多帧抽取一帧数据形成待编码视频数据帧序列,其中,视频文件中的关键视频帧序列与待编码视频帧序列一一对应。其后,将所有的待编码视频帧序列,按照时间先后顺序排列从而形成视频简介图像集。
可以理解的是,在关键人物信息提取时对视频文件进行分段的实施方式中,每个视频分段中的待编码视频数据帧序列提取方法和整体视频的待编码视频数据帧序列抽取方式一致,最后将各个视频分段的待编码视频数据帧序列按时间顺序排列起来,形成视频简介图像集。
最后,第二确定单元305,用于根据所述视频简介图像集,确定所述视频文件相应的简介文件。其中该第二确定单元305,可具体用于:
按照预设图像处理规则,对所述视频简介图像集进行压缩,生成视频简介文件,将所述视频简介文件确定为所述视频文件相应的简介文件;或者,根据所述视频简介图像集,生成与所述待编码视频数据帧序列相应的图片简介文件,将所述图片简介文件确定为所述视频文件相应的简介文件。
也就是说,第二确定单元305可以将视频简介图像集中的视频帧压缩成低分辨率、低码率、低帧率的数据源,并存储至视频文件的开头或是形成独立的视频简介小视频;也可以按照待编码视频帧序列,生成多个图片格式GIF图片,其中,视频简介图像集中的待编码视频帧序列对生成的GIF图片一一对应,从而可以保证每个GIF图片信息的相对连续性和完整性。
具体实施时,以上各个单元可以作为独立的实体来实现,也可以进行任意组合,作为同一或若干个实体来实现,以上各个单元的具体实施可参见前面的方法实施例,在此不再赘述。
该视频数据的处理装置具体可以集成在服务器或网关等网络设备中。
由上述可知,本实施例提供的视频数据的处理装置,首先,获取视频文件,对视频文件中的视频帧进行人脸识别,并基于人脸识别的结果,确定关键人物信息;然后,根据关键人物信息,获取视频简介图像集,最后,根据视频简介图像集,确定视频文件相应的简介文件;即本发明实施例通过对视频中的视频帧进行人脸识别,识别出主要人物,在视频中提取出包含主要人物和重要剧情的视频帧序列,然后将提取的视频帧确定视频文件相应的简介文件,相对于现有基于专业人士去观看视频并从中提取视频片段的方式,提高视频简介文件的准确率,以及提高操作效率。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对视频数据的处理方法的详细描述,此处不再赘述。
本发明实施例提供的所述视频数据的处理装置,譬如为计算机、平板电脑、具有触摸功能的手机等等,所述视频数据的处理装置与上文实施例中的视频数据的处理方法属于同一构思,在所述视频数据的处理装置上可以运行所述视频数据的处理方法实施例中提供的任一方法,其具体实现过程详见所述视频数据的处理方法实施例,此处不再赘述。
需要说明的是,对本发明所述视频数据的处理方法而言,本领域普通测试人员可以理解实现本发明实施例所述视频数据的处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在终端的存储器中,并被该终端内的至少一个处理器执行,在执行过程中可包括如所述视频数据的处理方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)等。
对本发明实施例的所述视频数据的处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本发明实施例所提供的一种视频数据的处理方法及装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种视频数据的处理方法,其特征在于,包括:
获取视频文件;
依次扫描所述视频文件中所有的视频帧,对所述视频文件中的视频帧进行人脸识别,生成识别结果;
基于所述识别结果,确定所述视频文件相应的关键人物信息;
根据所述关键人物信息,在所述视频文件中确定有效视频帧序列;
当所述有效视频帧序列的视频帧数超过预设阈值时,将所述有效视频帧序列确定为关键视频帧序列;
在所述关键视频帧序列中,按照预设规则抽取视频帧数据,生成待编码视频数据帧序列;
按照时间先后顺序,对所述待编码视频数据帧序列进行排列,生成视频简介图像集;
根据所述视频简介图像集,生成与所述待编码视频数据帧序列一一对应的多个GIF图片,根据所述多个GIF图片生成与所述视频文件相应的简介文件。
2.根据权利要求1所述的视频数据的处理方法,其特征在于,所述基于所述识别结果,确定所述视频文件相应的关键人物信息,包括:
若根据所述识别结果确定所述视频帧中含有人脸信息,则对所述人脸信息进行标记,以得到人脸标记结果;
根据所述人脸标记结果,确定出满足预设条件的人脸信息;
将所述满足预设条件的人脸信息确定为所述视频文件相应的关键人物信息。
3.根据权利要求1所述的视频数据的处理方法,其特征在于,所述根据所述关键人物信息,在所述视频文件的中确定有效视频帧序列,包括:
在所述视频文件的所有视频帧序列中,获取连续出现所述关键人物信息的视频帧序列;
将所述连续出现关键人物信息的视频帧序列确定为有效视频帧序列。
4.一种视频数据的处理装置,其特征在于,包括:
第一获取单元,用于获取视频文件;
人脸识别单元,用于依次扫描所述视频文件中所有的视频帧,对所述视频文件中的视频帧进行人脸识别,生成识别结果;
第一确定单元,用于基于所述识别结果,确定所述视频文件相应的关键人物信息;
第二获取单元,所述第二获取单元,包括:
第三确定子单元,用于根据所述关键人物信息,在所述视频文件的中确定有效视频帧序列;
第四确定子单元,用于当所述有效视频帧序列的视频帧数超过预设阈值时,将所述有效视频帧序列确定为关键视频帧序列;
获取子单元,用于在所述关键视频帧序列中,按照预设规则抽取视频帧数据,生成待编码视频数据帧序列,按照时间先后顺序,对所述待编码视频数据帧序列进行排列,生成视频简介图像集;
第二确定单元,根据所述视频简介图像集,生成与所述待编码视频数据帧序列一一对应的多个GIF图片,根据所述多个GIF图片生成与所述视频文件相应的简介文件。
5.根据权利要求4所述的视频数据的处理装置,其特征在于,所述第一确定单元,包括:
标记子单元,用于若根据所述识别结果确定所述视频帧中含有人脸信息,则对所述人脸信息进行标记,以得到人脸标记结果;
第一确定子单元,用于根据所述人脸标记结果,确定出满足预设条件的人脸信息;
第二确定子单元,用于将所述满足预设条件的人脸信息确定为所述视频文件相应的关键人物信息。
6.根据权利要求4所述的视频数据的处理装置,其特征在于,所述第三确定子单元,用于:
在所述视频文件的所有视频帧序列中,获取连续出现所述关键人物信息的视频帧序列,将所述连续出现关键人物信息的视频帧序列确定为有效视频帧序列。
7.一种计算机可读存储介质,其存储有计算机程序,其中,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1所述的视频数据的处理方法。
CN201610073546.9A 2016-02-02 2016-02-02 一种视频数据的处理方法及装置 Active CN105744292B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610073546.9A CN105744292B (zh) 2016-02-02 2016-02-02 一种视频数据的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610073546.9A CN105744292B (zh) 2016-02-02 2016-02-02 一种视频数据的处理方法及装置

Publications (2)

Publication Number Publication Date
CN105744292A CN105744292A (zh) 2016-07-06
CN105744292B true CN105744292B (zh) 2017-10-17

Family

ID=56244789

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610073546.9A Active CN105744292B (zh) 2016-02-02 2016-02-02 一种视频数据的处理方法及装置

Country Status (1)

Country Link
CN (1) CN105744292B (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106454451B (zh) * 2016-10-31 2019-08-06 北京小米移动软件有限公司 多媒体播放控制方法及装置
CN106557783B (zh) * 2016-11-21 2019-09-20 厦门优莱柏网络科技有限公司 一种漫画主要角色的自动提取系统及方法
CN107172482B (zh) * 2017-03-31 2020-01-10 北京奇艺世纪科技有限公司 图像互换格式图片的生成方法及装置
CN107295352B (zh) * 2017-06-14 2021-02-23 北京蜜莱坞网络科技有限公司 一种视频压缩方法、装置、设备及存储介质
CN108391180B (zh) * 2018-02-09 2020-06-26 北京华录新媒信息技术有限公司 视频摘要生成装置及视频摘要生成方法
CN108924589A (zh) * 2018-08-02 2018-11-30 佛山龙眼传媒科技有限公司 字幕自动配置方法及装置
CN111698532B (zh) * 2019-03-15 2022-12-16 阿里巴巴集团控股有限公司 弹幕信息的处理方法及装置
US11025964B2 (en) 2019-04-02 2021-06-01 Wangsu Science & Technology Co., Ltd. Method, apparatus, server, and storage medium for generating live broadcast video of highlight collection
CN109862388A (zh) * 2019-04-02 2019-06-07 网宿科技股份有限公司 直播视频集锦的生成方法、装置、服务器及存储介质
CN110263704B (zh) * 2019-06-18 2021-07-20 浙江宇视科技有限公司 人脸数据采集方法、装置、服务器、视频采集器及介质
CN110730379B (zh) * 2019-08-22 2023-12-15 北京拉近众博科技有限公司 一种视频信息处理方法、装置和存储介质
CN110659616A (zh) * 2019-09-26 2020-01-07 新华智云科技有限公司 一种从视频自动生成gif的方法
CN110765955A (zh) * 2019-10-25 2020-02-07 北京威晟艾德尔科技有限公司 一种视频文件中人物识别方法
CN111614899B (zh) * 2020-05-15 2021-11-23 高斯贝尔数码科技股份有限公司 一种基于人脸识别的定制化视频内容产生方法和系统
CN113283327A (zh) * 2021-05-17 2021-08-20 多益网络有限公司 一种视频文本生成方法、装置、设备及存储介质
CN113316016A (zh) * 2021-05-28 2021-08-27 Tcl通讯(宁波)有限公司 视频处理方法、装置、存储介质及移动终端
CN113938712B (zh) * 2021-10-13 2023-10-10 北京奇艺世纪科技有限公司 一种视频播放方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101308501A (zh) * 2008-06-30 2008-11-19 腾讯科技(深圳)有限公司 生成视频摘要的方法、系统及设备
CN102906818A (zh) * 2010-05-25 2013-01-30 伊斯曼柯达公司 将视频摘要存储为元数据
CN103442252A (zh) * 2013-08-21 2013-12-11 宇龙计算机通信科技(深圳)有限公司 视频处理方法及装置
CN104731964A (zh) * 2015-04-07 2015-06-24 上海海势信息科技有限公司 基于人脸识别的人脸摘要方法、视频摘要方法及其装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1922863A (zh) * 2004-02-24 2007-02-28 皇家飞利浦电子股份有限公司 视频预告片

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101308501A (zh) * 2008-06-30 2008-11-19 腾讯科技(深圳)有限公司 生成视频摘要的方法、系统及设备
CN102906818A (zh) * 2010-05-25 2013-01-30 伊斯曼柯达公司 将视频摘要存储为元数据
CN103442252A (zh) * 2013-08-21 2013-12-11 宇龙计算机通信科技(深圳)有限公司 视频处理方法及装置
CN104731964A (zh) * 2015-04-07 2015-06-24 上海海势信息科技有限公司 基于人脸识别的人脸摘要方法、视频摘要方法及其装置

Also Published As

Publication number Publication date
CN105744292A (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
CN105744292B (zh) 一种视频数据的处理方法及装置
Verdoliva Media forensics and deepfakes: an overview
Jiang et al. Action unit detection using sparse appearance descriptors in space-time video volumes
Amerini et al. Tracing images back to their social network of origin: A CNN-based approach
CN108650524A (zh) 视频封面生成方法、装置、计算机设备及存储介质
CN109862391A (zh) 视频分类方法、介质、装置和计算设备
CN107333071A (zh) 视频处理方法、装置、电子设备及存储介质
CN110390048A (zh) 基于大数据分析的信息推送方法、装置、设备及存储介质
CN112861671B (zh) 一种对深度伪造人脸图像和视频的鉴别方法
CN105718861A (zh) 一种识别视频流数据类别的方法及装置
CN111429341B (zh) 一种视频处理方法、设备及计算机可读存储介质
CN111539290A (zh) 视频动作识别方法、装置、电子设备及存储介质
CN111488813B (zh) 视频的情感标注方法、装置、电子设备及存储介质
Tolosana et al. An introduction to digital face manipulation
CN105141974B (zh) 一种视频剪辑方法和装置
Xu et al. Facial depth forgery detection based on image gradient
CN109034059B (zh) 静默式人脸活体检测方法、装置、存储介质及处理器
CN116261009B (zh) 智能转化影视受众的视频检测方法、装置、设备及介质
KR101738580B1 (ko) 표정 인식 기반 음원 제공 시스템 및 서비스
Kim et al. Automatic color scheme extraction from movies
Chowdhury et al. Review on deep fake: A looming technological threat
CN114567693B (zh) 视频生成方法、装置和电子设备
CN115731620A (zh) 检测对抗攻击的方法和训练对抗攻击检测模型的方法
CN114329050A (zh) 视觉媒体数据去重处理方法、装置、设备和存储介质
CN113923516A (zh) 基于深度学习模型的视频处理方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Patentee after: OPPO Guangdong Mobile Communications Co., Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Patentee before: Guangdong Opel Mobile Communications Co., Ltd.