CN108833973A - 视频特征的提取方法、装置和计算机设备 - Google Patents

视频特征的提取方法、装置和计算机设备 Download PDF

Info

Publication number
CN108833973A
CN108833973A CN201810690954.8A CN201810690954A CN108833973A CN 108833973 A CN108833973 A CN 108833973A CN 201810690954 A CN201810690954 A CN 201810690954A CN 108833973 A CN108833973 A CN 108833973A
Authority
CN
China
Prior art keywords
video
characteristic information
video clip
module
mentioned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810690954.8A
Other languages
English (en)
Other versions
CN108833973B (zh
Inventor
熊玉辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810690954.8A priority Critical patent/CN108833973B/zh
Publication of CN108833973A publication Critical patent/CN108833973A/zh
Application granted granted Critical
Publication of CN108833973B publication Critical patent/CN108833973B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Abstract

本申请提供一种视频特征的提取方法、装置和计算机设备，上述视频特征的提取方法包括：按照预定的单位时间长度对目标视频进行划分；获得视频片段所包含的至少两帧图像；对至少两帧图像进行识别，获得所述图像包含的特征信息，根据所述图像包含的特征信息获得视频片段的图像特征信息；根据每帧图像的字幕识别结果和视频片段的实时语音识别结果，获得视频片段的文本特征信息；进行语义分析，获得视频片段的特征信息；建立所述视频片段的特征信息与所述目标视频的映射关系。本申请可以实现通过图像视频和音频识别技术自动提取视频的特征信息，并且特征信息的提取细化到视频中单位时间长度的视频片段维度，获得的特征信息更全面。

Description

视频特征的提取方法、装置和计算机设备
技术领域
本申请涉及视频管理技术领域，尤其涉及一种视频特征的提取方法、装置和计算机设备。
背景技术
现有视频内容管理，如视频媒资属性的导演、主演、年代和/或剧情简介等都是人工配置完成的，一般都基于视频专辑来完成，最小的粒度也不过是专辑下面的单个视频，对于单视频的属性标签几乎没有维护。其中，视频媒资属性包括视频的一些基本媒体资讯信息，如导演、主演、年代、剧情简介、上线时间和/或更新时间等等。视频专辑是目前视频媒资属性维护的最主要对象，一个视频专辑包含一部电影或连续剧的正片和花絮视频。
现有相关技术中的视频内容管理，依托统一的媒资管理平台，通过人工配置主演、导演、年代、剧情简介、剧情分类(爱情、动作和/或悬疑)等视频基础属性。且这些视频基础属性一般关联在视频专辑层面上，视频专辑下的单个视频继承所属视频专辑的属性。
现有的技术方案最大的缺点就是视频属性需要人工维护，人力成本高；并且视频属性在视频专辑层面维护，层级高导致视频属性不全面、不细致；举例来说，2017年热门综艺《见字如面第2季》中有一封信提到了姜文、葛优、周润发，但视频属性中并没有此信息。
发明内容
为克服相关技术中存在的问题，本申请提供一种视频特征的提取方法、装置和计算机设备。
本申请的实施例采用如下技术方案：
第一方面，本申请实施例提供一种视频特征的提取方法，包括：按照预定的单位时间长度对目标视频进行划分，获得所述目标视频包括的视频片段；对所述视频片段进行拆分，获得所述视频片段所包含的至少两帧图像；对所述至少两帧图像进行识别，获得所述图像包含的特征信息，根据所述图像包含的特征信息获得所述视频片段的图像特征信息；根据每帧图像的字幕识别结果和所述视频片段的实时语音识别结果，获得所述视频片段的文本特征信息；对所述视频片段的图像特征信息和文本特征信息进行语义分析，获得所述视频片段的特征信息；建立所述视频片段的特征信息与所述目标视频的映射关系。
上述视频特征的提取方法中，按照预定的单位时间长度对目标视频进行划分之后，获得上述目标视频包括的视频片段，然后对上述视频片段进行拆分，获得上述视频片段所包含的至少两帧图像，对上述至少两帧图像进行识别，获得上述图像包含的特征信息，根据上述图像包含的特征信息获得上述视频片段的图像特征信息，根据每帧图像的字幕识别结果和上述视频片段的实时语音识别结果，获得上述视频片段的文本特征信息，最后对上述视频片段的图像特征信息和文本特征信息进行语义分析，获得上述视频片段的特征信息，最后建立上述视频片段的特征信息与上述目标视频的映射关系，从而可以实现通过图像视频和音频识别技术自动提取视频的特征信息，替代人工，大大降低人工维护成本，并且特征信息的提取细化到视频中单位时间长度的视频片段维度，获得的特征信息更全面。
第二方面，本申请实施例提供一种视频特征的提取装置，包括：划分模块，用于按照预定的单位时间长度对目标视频进行划分，获得所述目标视频包括的视频片段；拆帧模块，用于对所述划分模块获得的视频片段进行拆分，获得所述视频片段所包含的至少两帧图像；图像识别模块，用于对所述拆帧模块获得的至少两帧图像进行识别，获得所述图像包含的特征信息，根据所述图像包含的特征信息获得所述视频片段的图像特征信息；文本识别模块，用于根据每帧图像的字幕识别结果和所述视频片段的实时语音识别结果，获得所述视频片段的文本特征信息；语义分析模块，用于对所述视频片段的图像特征信息和文本特征信息进行语义分析，获得所述视频片段的特征信息；建立模块，用于建立所述视频片段的特征信息与所述目标视频的映射关系。
上述视频特征的提取装置中，划分模块按照预定的单位时间长度对目标视频进行划分之后，获得上述目标视频包括的视频片段，然后拆帧模块对上述视频片段进行拆分，获得上述视频片段所包含的至少两帧图像，图像识别模块对上述至少两帧图像进行识别，获得上述图像包含的特征信息，根据上述图像包含的特征信息获得上述视频片段的图像特征信息，文本识别模块根据每帧图像的字幕识别结果和上述视频片段的实时语音识别结果，获得上述视频片段的文本特征信息，最后语义分析模块对上述视频片段的图像特征信息和文本特征信息进行语义分析，获得上述视频片段的特征信息，建立模块建立上述视频片段的特征信息与上述目标视频的映射关系，从而可以实现通过图像视频和音频识别技术自动提取视频的特征信息，替代人工，大大降低人工维护成本，并且特征信息的提取细化到视频中单位时间长度的视频片段维度，获得的特征信息更全面。
第三方面，本申请实施例提供一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上所述的方法。
第四方面，本申请实施例提供一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为本申请视频特征的提取方法一个实施例的流程图；
图2为本申请视频特征的提取方法另一个实施例的流程图；
图3为本申请视频特征的提取方法的具体实现流程示意图；
图4为本申请视频特征的提取方法再一个实施例的流程图；
图5为本申请视频特征的提取方法中特征模型体系一个实施例的示意图；
图6为本申请视频特征的提取方法再一个实施例的流程图；
图7为本申请视频特征的提取方法中特征信息的映射关系一个实施例的示意图；
图8为本申请视频特征的提取方法再一个实施例的流程图；
图9为本申请视频特征的提取装置一个实施例的结构示意图；
图10为本申请视频特征的提取装置另一个实施例的结构示意图；
图11为本申请计算机设备一个实施例的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
基于现有的技术方案存在的视频的特征信息需要人工维护，人力成本高；并且视频的特征信息在视频专辑层面维护，层级高导致视频的特征信息不全面、不细致的缺点，本申请公开了一种视频特征的提取方法，上述视频特征的提取方法对视频本身的图像内容和音频内容进行识别，以实现特征提取，并将视频的特征信息细化到视频中单位时间长度的视频片段维度(例如：演员出现的时间点)，提高了视频特征的提取效率，降低了人力成本，形成更小维度的视频特征的建模体系，进而为视频推荐和/或用户画像分析等应用场景提供了基本能力保障。
图1为本申请视频特征的提取方法一个实施例的流程图，如图1所示，上述视频特征的提取方法可以包括：
步骤101，按照预定的单位时间长度对目标视频进行划分，获得上述目标视频包括的视频片段。
其中，上述预定的单位时间长度可以在具体实现时，根据系统性能和/或实现需求等自行设定，本实施例对上述预定的单位时间长度的大小不作限定，举例来说，上述预定的单位时间长度可以为10秒。
步骤102，对上述视频片段进行拆分，获得上述视频片段所包含的至少两帧图像。
步骤103，对所述至少两帧图像进行识别，获得上述图像包含的特征信息，根据上述图像包含的特征信息获得上述视频片段的图像特征信息。
具体地，可以对上述至少两帧图像，基于图像粒度(单帧或连续多帧)进行识别，获得上述图像中的人物、动作和/或场景信息等，自动提取上述图像所处的年代、演员和/或地点等特征信息。举例来说，通过图像识别，获得《致我们单纯的小美好》中大部分服装是校服，因此剧情特征为校园剧；通过人脸识别，获得《欢乐颂》的主演是蒋欣等特征信息。
进而可以根据上述图像包含的特征信息获得上述视频片段的图像特征信息。
在具体实现时，对图像进行识别可以采用卷积神经网络(Convolutional NeuralNetworks；以下简称：CNN)扩展和/或长短期记忆网络(Long Short-Term Memory；以下简称：LSTM)等算法，也可以采用其他的图像识别方法，本实施例对所采用的图像识别方法不作限定。
步骤104，根据每帧图像的字幕识别结果和上述视频片段的实时语音识别结果，获得上述视频片段的文本特征信息。
步骤105，对上述视频片段的图像特征信息和文本特征信息进行语义分析，获得上述视频片段的特征信息。
本实施例中，在获得上述视频片段的图像特征信息和上述视频片段的文本特征信息之后，可以综合相同时间长度内的上述视频片段的图像特征信息和文本特征信息，进行语义分析，获得上述视频片段的特征信息。
具体地，对上述视频片段的图像特征信息和文本特征信息进行语义分析可以采用循环神经网络(Recurrent Neural Networks；以下简称：RNN)算法，当然也可采用其他的算法，本实施例对此不作限定。
需要说明的是，上述视频片段的图像特征信息包括对上述视频片段拆分获得图像进行识别所获得的特征信息；上述视频片段的文本特征信息包括对上述视频片段进行文本识别所获得的特征信息。
本实施例提供的视频特征的提取方法可以在用户观看视频时实时进行。
步骤106，建立上述视频片段的特征信息与上述目标视频的映射关系。
也就是说，本实施例中，在获得上述视频片段的特征信息之后，可以建立上述视频片段的特征信息与上述目标视频的映射关系，从而可以实现将视频的特征信息细化到目标视频中单位时间长度的视频片段维度(比如演员出现的时间点)，建立视频的特征信息与目标视频的时间轴的一一对应关系图，提高了视频的特征信息的配置效率，降低了人力成本，进而可以为视频推荐、用户画像分析提供基本能力保障。
上述视频特征的提取方法中，按照预定的单位时间长度对目标视频进行划分之后，获得上述目标视频包括的视频片段，然后对上述视频片段进行拆分，获得上述视频片段所包含的至少两帧图像，对上述至少两帧图像进行识别，获得上述图像包含的特征信息，根据上述图像包含的特征信息获得上述视频片段的图像特征信息，根据每帧图像的字幕识别结果和上述视频片段的实时语音识别结果，获得上述视频片段的文本特征信息，最后对上述视频片段的图像特征信息和文本特征信息进行语义分析，获得上述视频片段的特征信息，建立上述视频片段的特征信息与所述目标视频的映射关系，从而可以实现通过图像视频和音频识别技术自动提取视频的特征信息，替代人工，大大降低人工维护成本，并且特征信息的提取细化到视频中单位时间长度的视频片段维度，获得的特征信息更全面，另外可以实现将视频的特征信息细化到目标视频中预定的单位时间长度的维度。
图2为本申请视频特征的提取方法另一个实施例的流程图，如图2所示，本申请图1所示实施例中，步骤104可以包括：
步骤201，对上述至少两帧图像中每帧图像的字幕进行识别，并对连续相同的字幕文字进行去重，获得上述每帧图像的字幕识别结果。
步骤202，对上述视频片段的音频流进行实时语音识别，将上述音频流转化为文本。
具体地，可以对上述视频片段的音频流进行音频切片，然后，对切片获得的音频分片进行语音识别，以将上述音频流转化为文本。
步骤203，对上述字幕识别结果和上述音频流的文本转化结果进行比对，获得上述视频片段的文本特征信息。
具体地，可以对上述至少两帧图像中每帧图像的字幕进行识别，并对连续相同的字幕文字进行去重，同时通过语音识别将视频的音频流自动转换成文字，对文字内容进行语义分析，然后对上述字幕识别结果和上述音频流的文本转化结果进行比对，获得上述视频片段的文本特征信息，包括上述视频片段涉及的演员、角色、影视剧名、剧情理解和/或内容分类等特征信息。
本申请图1和图2所示实施例提供的视频特征的提取方法的具体实现流程可以如图3所示，图3为本申请视频特征的提取方法的具体实现流程示意图。参见图3，先按照预定的单位时间长度对目标视频进行划分，获得上述目标视频包括的视频片段，然后对上述视频片段进行拆分，获得上述视频片段所包含的至少两帧图像，进而对上述至少两帧图像进行识别，获得上述图像包含的特征信息，根据上述图像包含的特征信息获得上述视频片段的图像特征信息。另外，对上述视频片段进行拆分之后，对上述至少两帧图像中每帧图像的字幕进行识别，并对连续相同的字幕文字进行去重，获得上述每帧图像的字幕识别结果，以及对上述视频片段的音频流进行实时语音识别，将上述音频流转化为文本，然后对上述字幕识别结果和上述音频流的文本转化结果进行比对，获得上述视频片段的文本特征信息，最后，对上述视频片段的图像特征信息和文本特征信息进行语义分析，获得上述视频片段的特征信息。
图4为本申请视频特征的提取方法再一个实施例的流程图，如图4所示，本申请图1所示实施例中，步骤105之后，还可以包括：
步骤401，根据上述目标视频包括的视频片段的特征信息，获得上述目标视频的特征信息。
步骤402，根据上述目标视频所属视频专辑中每个视频的特征信息，获得上述视频专辑的特征信息。
也就是说，本申请实施例中，视频的特征信息包括单位时间长度的视频片段(timeid)的特征信息、单视频(vid)的特征信息和视频专辑(cid)的特征信息三个维度。单视频的特征信息是以一系列单位时间长度的视频片段的特征信息作为输入来提取特征的，多个单视频组组成的视频专辑的特征信息，则是基于单视频的特征信息提取的，最终形成“视频片段(timeid)—单视频(vid)—视频专辑(cid)”的“语义分析-特征提取”内容模型体系，如图5所示，图5为本申请视频特征的提取方法中特征模型体系一个实施例的示意图，图5中的视频组合即为视频专辑。
上述步骤401～步骤402与步骤106可以并行执行，也可以先后执行，本实施例对上述步骤401～步骤402与步骤106的执行顺序不作限定，图4中以步骤401～步骤402与步骤106并行执行为例示出。
图6为本申请视频特征的提取方法再一个实施例的流程图，如图6所示，本申请图1所示实施例中，步骤106可以包括：
步骤601，建立上述视频片段与上述视频片段的特征信息的映射关系。
具体地，建立上述视频片段与上述视频片段的特征信息的映射关系可以为：在预定的单位时间长度内，建立上述视频片段的特征信息与上述目标视频的时间轴的映射关系。
进一步地，步骤106之后，还可以包括：
步骤602，建立上述视频片段的特征信息与上述特征信息所属的特征分类的映射关系。
本实施例中，特征信息采取2层映射，以提供更大的扩展性和灵活性。第一层，从视频片段timeid—特征信息(featureid)的N：N映射；第二层，特征信息(featureid)到特征分类catelogid的N：N映射。举例来说，《欢乐颂》第一集视频片段1(timeid1)，也就是第一集的前10分钟视频，可对应的特征信息包括蒋欣(特征信息1)、刘涛(特征信息2)、都市(特征信息3)；其中蒋欣(特征信息1)和刘涛(特征信息2)都属于特征分类1(人物)，如图7所示，图7为本申请视频特征的提取方法中特征信息的映射关系一个实施例的示意图。
图8为本申请视频特征的提取方法再一个实施例的流程图，如图8所示，本申请图4所示实施例中，步骤402之后，还可以包括：
步骤801，接收用户输入的检索词。
步骤802，根据上述检索词，搜索特征信息与上述检索词匹配的视频，搜索获得的视频包括视频片段、上述视频片段所属的视频和/或上述视频所属的视频专辑。
步骤803，将搜索获得的视频推荐给用户。
也就是说，在按照本申请图4所示实施例提供的方法获得视频片段、视频片段所属的视频和/或上述视频所属的视频专辑的特征信息之后，可以为视频推荐和/或用户画像分析等应用场景提供基本能力保障。举例来说，用户想要观看“蒋欣”出演的视频，输入检索词“蒋欣”之后，即可获得出现“蒋欣”的所有视频片段，以及上述视频片段所属的视频和上述视频所属的视频专辑。
图9为本申请视频特征的提取装置一个实施例的结构示意图，本申请实施例中的视频特征的提取装置可以实现本申请实施例提供的视频特征的提取方法。如图9所示，上述视频特征的提取装置可以包括：划分模块91、拆帧模块92、图像识别模块93、文本识别模块94、语义分析模块95和建立模块96；
划分模块91，用于按照预定的单位时间长度对目标视频进行划分，获得上述目标视频包括的视频片段；其中，上述预定的单位时间长度可以在具体实现时，根据系统性能和/或实现需求等自行设定，本实施例对上述预定的单位时间长度的大小不作限定，举例来说，上述预定的单位时间长度可以为10秒。
拆帧模块92，用于对划分模块91获得的视频片段进行拆分，获得上述视频片段所包含的至少两帧图像。
图像识别模块93，用于对拆帧模块92获得的至少两帧图像进行识别，获得上述图像包含的特征信息，根据上述图像包含的特征信息获得上述视频片段的图像特征信息。
具体地，图像识别模块93可以对上述至少两帧图像，基于图像粒度(单帧或连续多帧)进行识别，获得上述图像中的人物、动作和/或场景信息等，自动提取上述图像所处的年代、演员和/或地点等特征信息。举例来说，通过图像识别，图像识别模块93获得《致我们单纯的小美好》中大部分服装是校服，因此剧情特征为校园剧；通过人脸识别，图像识别模块93获得《欢乐颂》的主演是蒋欣等特征信息。
图像识别模块93进而可以根据上述图像包含的特征信息获得上述视频片段的图像特征信息。
在具体实现时，图像识别模块93对图像进行识别可以采用CNN扩展和/或LSTM等算法，也可以采用其他的图像识别方法，本实施例对所采用的图像识别方法不作限定。
文本识别模块94，用于根据每帧图像的字幕识别结果和上述视频片段的实时语音识别结果，获得上述视频片段的文本特征信息。
语义分析模块95，用于对上述视频片段的图像特征信息和文本特征信息进行语义分析，获得上述视频片段的特征信息。
本实施例中，在获得上述视频片段的图像特征信息和上述视频片段的文本特征信息之后，语义分析模块95可以综合相同时间长度内的上述视频片段的图像特征信息和文本特征信息，进行语义分析，获得上述视频片段的特征信息。
具体地，语义分析模块95对上述视频片段的图像特征信息和文本特征信息进行语义分析可以采用RNN算法，当然也可采用其他的算法，本实施例对此不作限定。
需要说明的是，上述视频片段的图像特征信息包括对上述视频片段拆分获得图像进行识别所获得的特征信息；上述视频片段的文本特征信息包括对上述视频片段进行文本识别所获得的特征信息。
本实施例提供的视频特征的提取装置可以在用户观看视频时实时执行本申请实施例提供的视频特征的提取方法。
建立模块96，用于建立上述视频片段的特征信息与上述目标视频的映射关系。
也就是说，本实施例中，在语义分析模块95获得上述视频片段的特征信息之后，建立模块96可以建立上述视频片段的特征信息与上述目标视频的映射关系，从而可以实现将视频的特征信息细化到目标视频中预定的单位时间长度的维度(比如演员出现的时间点)，建立视频的特征信息与目标视频的时间轴的一一对应关系图，提高了视频的特征信息的配置效率，降低了人力成本，进而可以为视频推荐、用户画像分析提供基本能力保障。
上述视频特征的提取装置中，划分模块91按照预定的单位时间长度对目标视频进行划分之后，获得上述目标视频包括的视频片段，然后拆帧模块92对上述视频片段进行拆分，获得上述视频片段所包含的至少两帧图像，图像识别模块93对上述至少两帧图像进行识别，获得上述图像包含的特征信息，根据上述图像包含的特征信息获得上述视频片段的图像特征信息，文本识别模块94根据每帧图像的字幕识别结果和上述视频片段的实时语音识别结果，获得上述视频片段的文本特征信息，最后语义分析模块95对上述视频片段的图像特征信息和文本特征信息进行语义分析，获得上述视频片段的特征信息，建立模块96建立上述视频片段的特征信息与所述目标视频的映射关系，从而可以实现通过图像视频和音频识别技术自动提取视频的特征信息，替代人工，大大降低人工维护成本，并且特征信息的提取细化到视频中单位时间长度的视频片段维度，获得的特征信息更全面，另外可以实现将视频的特征信息细化到目标视频中预定的单位时间长度的维度。
图10为本申请视频特征的提取装置另一个实施例的结构示意图，与图9所示的视频特征的提取装置相比，不同之处在于，图10所示的视频特征的提取装置中，文本识别模块94可以包括：字幕识别子模块941、语音识别子模块942和比对子模块943；
其中，字幕识别子模块941，用于对拆帧模块92获得的至少两帧图像中每帧图像的字幕进行识别，并对连续相同的字幕文字进行去重，获得每帧图像的字幕识别结果；
语音识别子模块942，用于对上述视频片段的音频流进行实时语音识别，将上述音频流转化为文本；具体地，语音识别子模块942可以对上述视频片段的音频流进行音频切片，然后，对切片获得的音频分片进行语音识别，以将上述音频流转化为文本。
比对子模块943，用于对上述字幕识别结果和上述音频流的文本转化结果进行比对，获得上述视频片段的文本特征信息。
具体地，字幕识别子模块941可以对上述至少两帧图像中每帧图像的字幕进行识别，并对连续相同的字幕文字进行去重，同时通过语音识别子模块942进行语音识别将视频的音频流自动转换成文字，对文字内容进行语义分析，然后比对子模块943对上述字幕识别结果和上述音频流的文本转化结果进行比对，获得上述视频片段的文本特征信息，包括上述视频片段涉及的演员、角色、影视剧名、剧情理解和/或内容分类等特征信息。
进一步地，上述视频特征的提取装置还可以包括：特征获得模块97；
特征获得模块97，用于在语义分析模块95获得上述视频片段的特征信息之后，根据上述目标视频包括的视频片段的特征信息，获得上述目标视频的特征信息；根据上述目标视频所属视频专辑中每个视频的特征信息，获得上述视频专辑的特征信息。
也就是说，本申请实施例中，视频的特征信息包括单位时间长度的视频片段(timeid)的特征信息、单视频(vid)的特征信息和视频专辑(cid)的特征信息三个维度。单视频的特征信息是以一系列单位时间长度的视频片段的特征信息作为输入来提取特征的，多个单视频组组成的视频专辑的特征信息，则是基于单视频的特征信息提取的，最终形成“视频片段(timeid)—单视频(vid)—视频专辑(cid)”的“语义分析-特征提取”内容模型体系，如图5所示。
本实施例中，建立模块96，具体用于建立上述视频片段与上述视频片段的特征信息的映射关系；在具体实现时，建立模块96，具体用于在预定的单位时间长度内，建立上述视频片段的特征信息与上述目标视频的时间轴的映射关系。
进一步地，建立模块96，还用于在建立上述视频片段的特征信息与所述目标视频的映射关系之后，建立上述视频片段的特征信息与上述特征信息所属的特征分类的映射关系。
本实施例中，特征信息采取2层映射，以提供更大的扩展性和灵活性。第一层，从视频片段timeid—特征信息(featureid)的N：N映射；第二层，特征信息(featureid)到特征分类catelogid的N：N映射。举例来说，《欢乐颂》第一集视频片段1(timeid1)，也就是第一集的前10分钟视频，可对应的特征信息包括蒋欣(特征信息1)、刘涛(特征信息2)、都市(特征信息3)；其中蒋欣(特征信息1)和刘涛(特征信息2)都属于特征分类1(人物)，如图7所示。
进一步地，上述视频特征的提取装置还可以包括：接收模块98、搜索模块99和推荐模块910；
接收模块98，用于在特征获得模块97根据上述目标视频所属视频专辑中每个视频的特征信息，获得上述视频专辑的特征信息之后，接收用户输入的检索词；
搜索模块99，用于根据接收模块98接收的检索词，搜索特征信息与上述检索词匹配的视频，搜索获得的视频包括视频片段、上述视频片段所属的视频和/或上述视频所属的视频专辑；
推荐模块910，用于将搜索模块99搜索获得的视频推荐给上述用户。
也就是说，在特征获得模块97根据上述目标视频所属视频专辑中每个视频的特征信息，获得上述视频专辑的特征信息之后，可以为视频推荐和/或用户画像分析等应用场景提供基本能力保障。举例来说，用户想要观看“蒋欣”出演的视频，输入检索词“蒋欣”之后，搜索模块99即可获得出现“蒋欣”的所有视频片段，以及上述视频片段所属的视频和上述视频所属的视频专辑。
图11为本申请计算机设备一个实施例的结构示意图，本实施例中的计算机设备可以包括存储器、处理器及存储在上述存储器上并可在上述处理器上运行的计算机程序，上述处理器执行上述计算机程序时，可以实现本申请实施例提供的视频特征的提取方法。
其中，上述计算机设备可以为服务器，例如：云端服务器；也可以为智能手机、平板电脑或智能手表等智能终端设备，本实施例对上述计算机设备的形态不作限定。
图11示出了适于用来实现本申请实施方式的示例性计算机设备12的框图。图11显示的计算机设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图11所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图11未显示，通常称为“硬盘驱动器”)。尽管图11中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc ReadOnly Memory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local Area Network；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图11所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图11中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本申请实施例提供的视频特征的提取方法。
本申请实施例还提供一种非临时性计算机可读存储介质，当上述存储介质中的计算机可执行指令在由计算机处理器执行时，用于执行本申请实施例提供的视频特征的提取方法。
上述非临时性计算机可读存储介质可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(Read Only Memory；以下简称：ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory；以下简称：EPROM)或闪存、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LocalArea Network；以下简称：LAN)或广域网(Wide Area Network；以下简称：WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
本申请实施例还提供一种计算机程序产品，当上述计算机程序产品中的指令由处理器执行时，执行本申请实施例提供的视频特征的提取方法。
需要说明的是，在本申请的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(Programmable Gate Array；以下简称：PGA)，现场可编程门阵列(Field ProgrammableGate Array；以下简称：FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (14)

1.一种视频特征的提取方法，其特征在于，包括：
按照预定的单位时间长度对目标视频进行划分，获得所述目标视频包括的视频片段；
对所述视频片段进行拆分，获得所述视频片段所包含的至少两帧图像；
对所述至少两帧图像进行识别，获得所述图像包含的特征信息，根据所述图像包含的特征信息获得所述视频片段的图像特征信息；
根据每帧图像的字幕识别结果和所述视频片段的实时语音识别结果，获得所述视频片段的文本特征信息；
对所述视频片段的图像特征信息和文本特征信息进行语义分析，获得所述视频片段的特征信息；
建立所述视频片段的特征信息与所述目标视频的映射关系。
2.根据权利要求1所述的方法，其特征在于，所述根据每帧图像的字幕识别结果和所述视频片段的实时语音识别结果，获得所述视频片段的文本特征信息包括：
对所述至少两帧图像中每帧图像的字幕进行识别，并对连续相同的字幕文字进行去重，获得所述每帧图像的字幕识别结果；
对所述视频片段的音频流进行实时语音识别，将所述音频流转化为文本；
对所述字幕识别结果和所述音频流的文本转化结果进行比对，获得所述视频片段的文本特征信息。
3.根据权利要求1或2所述的方法，其特征在于，所述获得所述视频片段的特征信息之后，还包括：
根据所述目标视频包括的视频片段的特征信息，获得所述目标视频的特征信息；
根据所述目标视频所属视频专辑中每个视频的特征信息，获得所述视频专辑的特征信息。
4.根据权利要求1或2所述的方法，其特征在于，所述建立所述视频片段的特征信息与所述目标视频的映射关系包括：
建立所述视频片段与所述视频片段的特征信息的映射关系。
5.根据权利要求4所述的方法，其特征在于，所述建立所述视频片段与所述视频片段的特征信息的映射关系包括：
在预定的单位时间长度内，建立所述视频片段的特征信息与所述目标视频的时间轴的映射关系。
6.根据权利要求1或2所述的方法，其特征在于，所述建立所述视频片段的特征信息与所述目标视频的映射关系之后，还包括：建立所述视频片段的特征信息与所述特征信息所属的特征分类的映射关系。
7.根据权利要求3所述的方法，其特征在于，所述根据所述目标视频所属视频专辑中每个视频的特征信息，获得所述视频专辑的特征信息之后，还包括：
接收用户输入的检索词；
根据所述检索词，搜索特征信息与所述检索词匹配的视频，搜索获得的视频包括视频片段、所述视频片段所属的视频和/或所述视频所属的视频专辑；
将搜索获得的视频推荐给所述用户。
8.一种视频特征的提取装置，其特征在于，包括：
划分模块，用于按照预定的单位时间长度对目标视频进行划分，获得所述目标视频包括的视频片段；
拆帧模块，用于对所述划分模块获得的视频片段进行拆分，获得所述视频片段所包含的至少两帧图像；
图像识别模块，用于对所述拆帧模块获得的至少两帧图像进行识别，获得所述图像包含的特征信息，根据所述图像包含的特征信息获得所述视频片段的图像特征信息；
文本识别模块，用于根据每帧图像的字幕识别结果和所述视频片段的实时语音识别结果，获得所述视频片段的文本特征信息；
语义分析模块，用于对所述视频片段的图像特征信息和文本特征信息进行语义分析，获得所述视频片段的特征信息；
建立模块，用于建立所述视频片段的特征信息与所述目标视频的映射关系。
9.根据权利要求8所述的装置，其特征在于，所述文本识别模块包括：
字幕识别子模块，用于对所述拆帧模块获得的至少两帧图像中每帧图像的字幕进行识别，并对连续相同的字幕文字进行去重，获得所述每帧图像的字幕识别结果；
语音识别子模块，用于对所述视频片段的音频流进行实时语音识别，将所述音频流转化为文本；
比对子模块，用于对所述字幕识别结果和所述音频流的文本转化结果进行比对，获得所述视频片段的文本特征信息。
10.根据权利要求8或9所述的装置，其特征在于，还包括：
特征获得模块，用于在所述语义分析模块获得所述视频片段的特征信息之后，根据所述目标视频包括的视频片段的特征信息，获得所述目标视频的特征信息；根据所述目标视频所属视频专辑中每个视频的特征信息，获得所述视频专辑的特征信息。
11.根据权利要求8或9所述的装置，其特征在于，
所述建立模块，具体用于在所述语义分析模块获得所述视频片段的特征信息之后，建立所述视频片段与所述视频片段的特征信息的映射关系；
所述建立模块，还用于在建立所述视频片段的特征信息与所述目标视频的映射关系之后，建立所述视频片段的特征信息与所述特征信息所属的特征分类的映射关系。
12.根据权利要求10所述的装置，其特征在于，还包括：
接收模块，用于在所述特征获得模块根据所述目标视频所属视频专辑中每个视频的特征信息，获得所述视频专辑的特征信息之后，接收用户输入的检索词；
搜索模块，用于根据所述接收模块接收的检索词，搜索特征信息与所述检索词匹配的视频，搜索获得的视频包括视频片段、所述视频片段所属的视频和/或所述视频所属的视频专辑；
推荐模块，用于将所述搜索模块搜索获得的视频推荐给所述用户。
13.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一所述的方法。
14.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的方法。
CN201810690954.8A 2018-06-28 2018-06-28 视频特征的提取方法、装置和计算机设备 Active CN108833973B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810690954.8A CN108833973B (zh) 2018-06-28 2018-06-28 视频特征的提取方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810690954.8A CN108833973B (zh) 2018-06-28 2018-06-28 视频特征的提取方法、装置和计算机设备

Publications (2)

Publication Number Publication Date
CN108833973A true CN108833973A (zh) 2018-11-16
CN108833973B CN108833973B (zh) 2021-01-19

Family

ID=64134661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810690954.8A Active CN108833973B (zh) 2018-06-28 2018-06-28 视频特征的提取方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN108833973B (zh)

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376145A (zh) * 2018-11-19 2019-02-22 深圳Tcl新技术有限公司 影视对白数据库的建立方法、建立装置及存储介质
CN109558513A (zh) * 2018-11-30 2019-04-02 百度在线网络技术（北京）有限公司 一种内容推荐方法、装置、终端及存储介质
CN109660865A (zh) * 2018-12-17 2019-04-19 杭州柚子街信息科技有限公司 为视频自动打视频标签的方法及装置、介质和电子设备
CN109788309A (zh) * 2018-12-25 2019-05-21 陕西优米数据技术有限公司 基于区块链技术的视频文件盗版检测方法及系统
CN110121118A (zh) * 2019-06-17 2019-08-13 腾讯科技（深圳）有限公司 视频片段定位方法、装置、计算机设备及存储介质
CN110210299A (zh) * 2019-04-26 2019-09-06 平安科技（深圳）有限公司 语音训练数据生成方法、装置、设备及可读存储介质
CN110221979A (zh) * 2019-06-04 2019-09-10 广州虎牙信息科技有限公司 应用程序的性能测试方法、装置、设备及存储介质
CN110246160A (zh) * 2019-06-20 2019-09-17 腾讯科技（深圳）有限公司 视频目标的检测方法、装置、设备及介质
CN110287371A (zh) * 2019-06-26 2019-09-27 北京字节跳动网络技术有限公司 端到端的视频推送方法、装置及电子设备
CN110460874A (zh) * 2019-08-09 2019-11-15 腾讯科技（深圳）有限公司 视频播放参数生成方法、装置、存储介质及电子设备
CN110909209A (zh) * 2019-11-26 2020-03-24 北京达佳互联信息技术有限公司 直播视频的搜索方法及装置、设备、服务器和存储介质
CN111428088A (zh) * 2018-12-14 2020-07-17 腾讯科技（深圳）有限公司 视频分类方法、装置及服务器
CN111538858A (zh) * 2020-05-06 2020-08-14 英华达（上海）科技有限公司 建立视频图谱的方法、装置、电子设备、存储介质
WO2020215962A1 (zh) * 2019-04-23 2020-10-29 腾讯科技（深圳）有限公司 视频推荐方法、装置、计算机设备及存储介质
CN112383686A (zh) * 2020-11-02 2021-02-19 浙江大华技术股份有限公司 视频处理方法、装置、存储介质及电子装置
CN112738556A (zh) * 2020-12-22 2021-04-30 上海哔哩哔哩科技有限公司 视频处理方法及装置
CN112738557A (zh) * 2020-12-22 2021-04-30 上海哔哩哔哩科技有限公司 视频处理方法及装置
CN112784734A (zh) * 2021-01-21 2021-05-11 北京百度网讯科技有限公司 一种视频识别方法、装置、电子设备和存储介质
CN113038175A (zh) * 2021-02-26 2021-06-25 北京百度网讯科技有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN113099313A (zh) * 2021-03-31 2021-07-09 杭州海康威视数字技术股份有限公司 一种视频切片方法、装置及电子设备
CN113838460A (zh) * 2020-12-31 2021-12-24 京东科技控股股份有限公司 视频语音识别方法、装置、设备和存储介质
CN113987264A (zh) * 2021-10-28 2022-01-28 北京中科闻歌科技股份有限公司 视频摘要生成方法、装置、设备、系统及介质
CN114584830A (zh) * 2020-12-02 2022-06-03 青岛海尔多媒体有限公司 用于处理视频的方法及装置、家电设备
CN114697762A (zh) * 2022-04-07 2022-07-01 脸萌有限公司 一种处理方法、装置、终端设备及介质
CN115022732A (zh) * 2022-05-25 2022-09-06 阿里巴巴（中国）有限公司 视频生成方法、装置、设备及介质
CN115150660A (zh) * 2022-06-09 2022-10-04 深圳市大头兄弟科技有限公司 一种基于字幕的视频编辑方法和相关设备
CN115186655A (zh) * 2022-07-06 2022-10-14 重庆软江图灵人工智能科技有限公司 基于深度学习的文字语义识别方法、系统、介质及设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593363A (zh) * 2012-08-15 2014-02-19 中国科学院声学研究所 视频内容索引结构的建立方法、视频检索方法及装置
CN103634605A (zh) * 2013-12-04 2014-03-12 百度在线网络技术（北京）有限公司 视频画面的处理方法及装置
WO2018071557A1 (en) * 2016-10-12 2018-04-19 Lr Acquisition, Llc Media creation based on sensor-driven events
US20180146246A1 (en) * 2014-06-25 2018-05-24 International Business Machines Corporation Video composition by dynamic linking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593363A (zh) * 2012-08-15 2014-02-19 中国科学院声学研究所 视频内容索引结构的建立方法、视频检索方法及装置
CN103634605A (zh) * 2013-12-04 2014-03-12 百度在线网络技术（北京）有限公司 视频画面的处理方法及装置
US20180146246A1 (en) * 2014-06-25 2018-05-24 International Business Machines Corporation Video composition by dynamic linking
WO2018071557A1 (en) * 2016-10-12 2018-04-19 Lr Acquisition, Llc Media creation based on sensor-driven events

Cited By (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109376145B (zh) * 2018-11-19 2022-05-06 深圳Tcl新技术有限公司 影视对白数据库的建立方法、建立装置及存储介质
CN109376145A (zh) * 2018-11-19 2019-02-22 深圳Tcl新技术有限公司 影视对白数据库的建立方法、建立装置及存储介质
CN109558513A (zh) * 2018-11-30 2019-04-02 百度在线网络技术（北京）有限公司 一种内容推荐方法、装置、终端及存储介质
CN111428088B (zh) * 2018-12-14 2022-12-13 腾讯科技（深圳）有限公司 视频分类方法、装置及服务器
CN111428088A (zh) * 2018-12-14 2020-07-17 腾讯科技（深圳）有限公司 视频分类方法、装置及服务器
CN109660865A (zh) * 2018-12-17 2019-04-19 杭州柚子街信息科技有限公司 为视频自动打视频标签的方法及装置、介质和电子设备
CN109660865B (zh) * 2018-12-17 2021-09-21 杭州柚子街信息科技有限公司 为视频自动打视频标签的方法及装置、介质和电子设备
CN109788309A (zh) * 2018-12-25 2019-05-21 陕西优米数据技术有限公司 基于区块链技术的视频文件盗版检测方法及系统
WO2020215962A1 (zh) * 2019-04-23 2020-10-29 腾讯科技（深圳）有限公司 视频推荐方法、装置、计算机设备及存储介质
US11540019B2 (en) 2019-04-23 2022-12-27 Tencent Technology (Shenzhen) Company Limited Video recommendation method and device, computer device and storage medium
CN110210299A (zh) * 2019-04-26 2019-09-06 平安科技（深圳）有限公司 语音训练数据生成方法、装置、设备及可读存储介质
CN110221979A (zh) * 2019-06-04 2019-09-10 广州虎牙信息科技有限公司 应用程序的性能测试方法、装置、设备及存储介质
CN110121118A (zh) * 2019-06-17 2019-08-13 腾讯科技（深圳）有限公司 视频片段定位方法、装置、计算机设备及存储介质
CN110246160B (zh) * 2019-06-20 2022-12-06 腾讯科技（深圳）有限公司 视频目标的检测方法、装置、设备及介质
CN110246160A (zh) * 2019-06-20 2019-09-17 腾讯科技（深圳）有限公司 视频目标的检测方法、装置、设备及介质
CN110287371A (zh) * 2019-06-26 2019-09-27 北京字节跳动网络技术有限公司 端到端的视频推送方法、装置及电子设备
CN110460874A (zh) * 2019-08-09 2019-11-15 腾讯科技（深圳）有限公司 视频播放参数生成方法、装置、存储介质及电子设备
CN110460874B (zh) * 2019-08-09 2020-07-03 腾讯科技（深圳）有限公司 视频播放参数生成方法、装置、存储介质及电子设备
CN110909209B (zh) * 2019-11-26 2022-12-27 北京达佳互联信息技术有限公司 直播视频的搜索方法及装置、设备、服务器和存储介质
CN110909209A (zh) * 2019-11-26 2020-03-24 北京达佳互联信息技术有限公司 直播视频的搜索方法及装置、设备、服务器和存储介质
TWI823018B (zh) * 2020-05-06 2023-11-21 英華達股份有限公司 建立影片圖譜的方法
CN111538858B (zh) * 2020-05-06 2023-06-23 英华达（上海）科技有限公司 建立视频图谱的方法、装置、电子设备、存储介质
CN111538858A (zh) * 2020-05-06 2020-08-14 英华达（上海）科技有限公司 建立视频图谱的方法、装置、电子设备、存储介质
CN112383686A (zh) * 2020-11-02 2021-02-19 浙江大华技术股份有限公司 视频处理方法、装置、存储介质及电子装置
CN114584830A (zh) * 2020-12-02 2022-06-03 青岛海尔多媒体有限公司 用于处理视频的方法及装置、家电设备
CN112738556A (zh) * 2020-12-22 2021-04-30 上海哔哩哔哩科技有限公司 视频处理方法及装置
CN112738557A (zh) * 2020-12-22 2021-04-30 上海哔哩哔哩科技有限公司 视频处理方法及装置
CN113838460A (zh) * 2020-12-31 2021-12-24 京东科技控股股份有限公司 视频语音识别方法、装置、设备和存储介质
US11816891B2 (en) 2021-01-21 2023-11-14 Beijing Baidu Netcom Science And Technology Co., Ltd. Video recognition method and apparatus, electronic device and storage medium
CN112784734A (zh) * 2021-01-21 2021-05-11 北京百度网讯科技有限公司 一种视频识别方法、装置、电子设备和存储介质
CN113038175B (zh) * 2021-02-26 2023-03-24 北京百度网讯科技有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN113038175A (zh) * 2021-02-26 2021-06-25 北京百度网讯科技有限公司 视频处理方法、装置、电子设备及计算机可读存储介质
CN113099313A (zh) * 2021-03-31 2021-07-09 杭州海康威视数字技术股份有限公司 一种视频切片方法、装置及电子设备
CN113099313B (zh) * 2021-03-31 2022-07-05 杭州海康威视数字技术股份有限公司 一种视频切片方法、装置及电子设备
CN113987264A (zh) * 2021-10-28 2022-01-28 北京中科闻歌科技股份有限公司 视频摘要生成方法、装置、设备、系统及介质
US11706505B1 (en) 2022-04-07 2023-07-18 Lemon Inc. Processing method, terminal device, and medium
CN114697762A (zh) * 2022-04-07 2022-07-01 脸萌有限公司 一种处理方法、装置、终端设备及介质
CN114697762B (zh) * 2022-04-07 2023-11-28 脸萌有限公司 一种处理方法、装置、终端设备及介质
CN115022732A (zh) * 2022-05-25 2022-09-06 阿里巴巴（中国）有限公司 视频生成方法、装置、设备及介质
CN115022732B (zh) * 2022-05-25 2023-11-03 阿里巴巴（中国）有限公司 视频生成方法、装置、设备及介质
CN115150660A (zh) * 2022-06-09 2022-10-04 深圳市大头兄弟科技有限公司 一种基于字幕的视频编辑方法和相关设备
CN115186655A (zh) * 2022-07-06 2022-10-14 重庆软江图灵人工智能科技有限公司 基于深度学习的文字语义识别方法、系统、介质及设备

Also Published As

Publication number Publication date
CN108833973B (zh) 2021-01-19

Similar Documents

Publication Publication Date Title
CN108833973A (zh) 视频特征的提取方法、装置和计算机设备
US11830241B2 (en) Auto-curation and personalization of sports highlights
JP7123122B2 (ja) 認知的洞察を使用したビデオ・シーンの移動
US10679063B2 (en) Recognizing salient video events through learning-based multimodal analysis of visual features and audio-based analytics
CN108307229B (zh) 一种影音数据的处理方法及设备
CN112015949B (zh) 视频生成方法和装置、存储介质及电子设备
CN114342353B (zh) 用于视频分割的方法和系统
EP3813376A1 (en) System and method for generating localized contextual video annotation
CN111935537A (zh) 音乐短片视频生成方法、装置、电子设备和存储介质
CN110245259A (zh) 基于知识图谱的视频打标签方法及装置、计算机可读介质
CN109271542A (zh) 封面确定方法、装置、设备及可读存储介质
CN111491187B (zh) 视频的推荐方法、装置、设备及存储介质
CN112911324B (zh) 直播间的内容展示方法、装置、服务器以及存储介质
CN109660865B (zh) 为视频自动打视频标签的方法及装置、介质和电子设备
US20230169344A1 (en) Object detector trained via self-supervised training on raw and unlabeled videos
WO2022134698A1 (zh) 视频处理方法及装置
CN113779381B (zh) 资源推荐方法、装置、电子设备和存储介质
US11682415B2 (en) Automatic video tagging
CN112287168A (zh) 用于生成视频的方法和装置
CN113392273A (zh) 视频播放方法、装置、计算机设备及存储介质
CN113301382A (zh) 视频处理方法、设备、介质及程序产品
US10123090B2 (en) Visually representing speech and motion
WO2023197749A9 (zh) 背景音乐的插入时间点确定方法、装置、设备和存储介质
CN115209233B (zh) 视频播放方法以及相关装置、设备
CN116088675A (zh) 虚拟形象交互方法及相关装置、设备、系统和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant