CN113038175B - 视频处理方法、装置、电子设备及计算机可读存储介质 - Google Patents

视频处理方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113038175B
CN113038175B CN202110220814.6A CN202110220814A CN113038175B CN 113038175 B CN113038175 B CN 113038175B CN 202110220814 A CN202110220814 A CN 202110220814A CN 113038175 B CN113038175 B CN 113038175B
Authority
CN
China
Prior art keywords
video
processed
label
keyword information
acquiring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110220814.6A
Other languages
English (en)
Other versions
CN113038175A (zh
Inventor
王璐
黄晨
李凯
陶文
杨羿
李�一
陈晓冬
刘林
韩帅
刘波
未来
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110220814.6A priority Critical patent/CN113038175B/zh
Publication of CN113038175A publication Critical patent/CN113038175A/zh
Application granted granted Critical
Publication of CN113038175B publication Critical patent/CN113038175B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/26603—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel for automatically generating descriptors from content, e.g. when it is not made available by its provider, using content analysis techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors

Abstract

本公开公开了一种视频处理方法、装置、电子设备及计算机可读存储介质，涉及计算机、互联网技术领域，尤其涉及图像处理技术领域。视频处理方法的具体实现方案为：获取待处理视频；基于所述待处理视频的视频信息，生成所述待处理视频的至少一个推荐标签，所述推荐标签用于指示所述待处理视频的视频内容、视频展现形式中的至少一项；在所述待处理视频的第一视频帧上添加所述至少一个推荐标签。本公开能够引导或吸引用户观看视频，提升视频的点击量。

Description

视频处理方法、装置、电子设备及计算机可读存储介质
技术领域
本公开涉及计算机技术的图像处理技术领域，尤其涉及一种视频处理方法、装置、电子设备及计算机可读存储介质。
背景技术
随着互联网技术的发展，制作、分享及观看视频已成为人们一种重要的社交手段之一。目前，为了方便对视频进行分类、推荐或是检索，通常会基于主要信息来提取视频标签，如手机游戏、房产中介、教育培训等标签，以此来概况视频内容及所属类别。
发明内容
本公开提供了一种视频处理方法、装置、电子设备及计算机可读存储介质。
根据本公开的第一方面，提供了一种视频处理方法，包括：
获取待处理视频；
基于所述待处理视频的视频信息，生成所述待处理视频的至少一个推荐标签，所述推荐标签用于指示所述待处理视频的视频内容、视频展现形式中的至少一项；
在所述待处理视频的第一视频帧上添加所述至少一个推荐标签。
根据本公开的第二方面，提供了一种视频处理装置，包括：
获取模块，用于获取待处理视频；
生成模块，用于基于所述待处理视频的视频信息，生成所述待处理视频的至少一个推荐标签，所述推荐标签用于指示所述待处理视频的视频内容、视频展现形式中的至少一项；
添加模块，用于在所述待处理视频的第一视频帧上添加所述至少一个推荐标签。
根据本公开的第三方面，提供了一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面中所述的方法。
根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据第一方面所述的方法。
根据本公开的第五方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据第一方面所述的方法。
本公开提供的方案，通过生成待处理视频的至少一个推荐标签，使得用户能够快速而准确地获知该目标视频的视频内容和/或视频展现形式，以引导或吸引用户观看该目标视频，提升视频的点击量，也能够为视频制作者提供更好的视频制作建议。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例提供的一种视频处理方法的流程图；
图2是应用本公开提供的视频处理方法的电子设备的一种界面示意图；
图3是本公开实施例提供的一种视频处理装置的结构图；
图4是用来实现本公开实施例的视频处理方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本公开提供了一种视频处理方法。所述视频处理方法可以是应用于电子设备，所述电子设备包括但不限于手机、平板电脑、笔记本计算机、台式计算机、掌上电脑等。
请参照图1，图1是本公开提供的一种视频处理方法的流程图。如图1所示，所述视频处理方法包括以下步骤：
步骤S101、获取待处理视频。
需要说明地，所述待处理视频可以是用户实时拍摄的视频，例如当用户拍摄完成一段视频，该视频可以是电子设备获取到的待处理视频；或者，所述待处理视频也可以是电子设备存储的视频，电子设备可以是基于用户的操作，从存储的视频文件夹中选择一个视频作为待处理视频；其中，视频文件夹中存储的视频可以是电子设备拍摄的视频，或者是基于网络下载的视频等。
步骤S102、基于所述待处理视频的视频信息，生成所述待处理视频的至少一个推荐标签，所述推荐标签用于指示所述待处理视频的视频内容、视频展现形式中的至少一项。
可选地，所述视频信息可以是指待处理视频的视频内容、视频展现形式、视频时长等。
例如，所述视频信息为待处理视频的视频内容，所述视频内容包括但不限于待处理视频的语音、文字、图像、字幕等。当电子设备获取到待处理视频，可以是对待处理视频的语音、文字等进行识别，基于待处理视频的语音、文字等也就能够获知待处理视频所讲述的内容，以生成所述待处理视频的至少一个推荐标签，所述推荐标签也就是用于指示所述待处理视频的视频内容。
例如，假设所述待处理视频为教育辅导类推广视频，该视频中包括“专业教师一对一辅导”的语句，则可以提取其中的关键词信息为“一对一辅导”，基于该关键词信息可以生成“专业辅导”的推荐标签；假设该待处理视频中还包括“XX省特级讲师”、“重点高中优秀教师”语句，则还可以提取对应的关键词信息为“特级讲师”、“优秀教师”，基于该关键词信息可以生成“优秀讲师”的推荐标签。这样，也就能够得到该教育辅导类推广视频的推荐标签为至少包括“专业辅导”和“优秀讲师”，也就对该视频的视频内容进行了提炼和概括，通过所述至少一个推荐标签也就能够精简地指示所述待处理视频的视频内容。
可选地，所述推荐标签还可以是用于指示所述待处理视频的视频展现形式。其中，所述视频展现形式包括但不限于口播形式、剧情形式、街头采访形式、卡通动漫形式等。本公开实施例中，可以是通过识别待处理视频的视频帧的图像内容，来确定待处理视频的视频展现形式。例如，若识别到待处理视频的视频展现形式为剧情形式，则可以是生成“剧情”推荐标签。
本公开实施例中，所述推荐标签可以是仅用于指示所述待处理视频的视频内容，如“专业辅导”；或者，也可以是仅用于指示所述待处理视频的视频展现形式，如“剧情”；或者，推荐标签还可以是“专业辅导”、“剧情”，进而也就能够指示所述待处理视频的视频内容和视频展现形式。
步骤S103、在所述待处理视频的第一视频帧上添加所述至少一个推荐标签。
可选地，所述第一视频帧可以是所述待处理视频的首个视频帧，或者也可以是待处理视频中特定的某一个或多个视频帧。
例如，在生成所述待处理视频的至少一个推荐标签后，则可以是在所述待处理视频的首个视频帧上添加所述至少一个推荐标签，以得到处理后的目标视频，进而该至少一个推荐标签也就能够显示在所述目标视频的首个视频帧上。当所述目标视频处于未播放的状态下，其显示的是首个视频帧，进而用户也就能够直观地看到该首个视频帧上所包括的所述至少一个推荐标签，也就能够快速而准确地获知该目标视频的视频内容和/或视频展现形式，以引导或吸引用户观看该目标视频。
需要说明地是，本公开实施例中所述的待处理视频可以是针对广告或者产品推广类视频，如手机游戏推广视频、教育培训类广告视频、房产中介类广告视频、车辆销售类广告视频、兴趣培训类广告视频等。所述推荐标签能够指示所述待处理视频的视频内容和/或视频展现形式，例如针对教育培训类广告视频，推荐标签包括“专业辅导”、“优秀讲师”、“解题技巧”等，这些推荐标签能够显示在待处理视频的首个视频帧上，也就更能够吸引用户来观看该视频，能够为该广告视频吸引到更多的潜在客户；且用户在没有观看该视频的情况下，基于推荐标签也就能够获知视频内容，进而能够为用户是否观看该视频提供更有效的建议，用户也能够基于推荐标签快速找到需要的视频，为用户带来更好的视频操作体验。
另外，在推荐标签用于指示视频展现形式的情况下，用户能够基于视频的浏览量或者点击量，结合推荐标签也就能够获知那种视频展现形式的视频更吸引用户，进而也就能够为视频制作者提供更好的视频制作建议，以帮助视频制作者制作点击量更高的视频。
如图2所示，电子设备的显示界面上显示有视频画面，在视频画面的下方显示有视频标题“@教育培训”、视频内容说明“各科各年级专业教学辅导”和功能按键区，功能按键区包括“点赞”、“评论”和“分享”按键，在视频内容说明的下方还显示有“专业辅导”、“优秀讲师”、“口播”的推荐标签，进而以吸引用户观看视频，为该视频吸引到更多的潜在客户。
本公开实施例中，基于待处理视频的视频信息，生成所述待处理视频的至少一个推荐标签，并在所述待处理视频的第一视频帧上添加所述至少一个推荐标签，以得到目标视频。这样，也就使得用户能够快速而准确地获知该目标视频的视频内容和/或视频展现形式，以引导或吸引用户观看该目标视频，提升视频的点击量，也能够为视频制作者提供更好的视频制作建议。
可选地，所述步骤102可以包括：
获取所述待处理视频的视频内容，并提取所述视频内容中的关键词信息；
基于语义相似性获取与所述关键词信息对应的推荐标签，以生成所述待处理视频的至少一个推荐标签。
本公开实施例中，电子设备在获取到待处理视频后，可以是识别所述待处理视频的语音、字幕、文字等视频内容，并提取所述视频内容中的关键词信息。例如，以包括语音的待处理视频为例，电子设备可以是基于语义识别来获取所述待处理视频所包括的语音信息，并从中提取关键词信息；假设所述待处理视频为教育辅导类推广视频，例如该视频中包括“专业教师一对一辅导”的语句，则可以提取其中的关键词信息为“一对一辅导”。
进一步地，在提取出所述待处理视频的关键词信息后，基于语义相似性获取与所述关键词信息对应的推荐标签。需要说明地是，所述关键词信息是所述视频内容中所包括的内容，例如所述视频内容包括一段语音，则关键词信息为这段语音中的一个或多个词语或短句；而所述推荐标签为基于所述关键词信息得到的，例如推荐标签可以是基于关键词信息进行语义拓展、语义变换得到，这样也就使得推荐标签更贴合视频内容，能够更为准确地对视频进行概括和描述，方便用户能够快速地获知视频内容，以吸引用户点击和观看视频。
可选地，电子设备可以是预先存储关键词信息与推荐标签之间的映射关系。例如，“一对一辅导”、“定向辅导”、“包教包会”等关键词信息对应的推荐标签可以为“优质服务”，“大家都在玩”、“人人都爱玩”、“不可错过的游戏”等关键词信息对应的推荐标签可以为“精选游戏”，等，本实施例不做过多举例。
或者，电子设备也可以是基于特定的内容意图识别模型来获取与关键词信息对应的推荐标签。例如，所述内容意图识别模型可以是基于大量的关键词信息作为输入、推荐标签作为输出训练获得，具体的模型训练方法可以是参照相关技术，本公开实施例对此不做赘述。需要说明地，内容意图识别模型可以是依据特征模板来聚类和归约出相同语义对应的推荐标签类型，在获取到关键词信息后，根据语义相似性来映射到特定行业的推荐标签。例如，待处理视频的视频内容中讲述的都是关于教育辅导的相关内容，提取到的关键词信息包括“优质辅导”、“考前辅导”等，则基于内容意图识别模型输出的推荐标签可以是“优质服务”，进而电子设备也就能够获取到待处理视频的推荐标签。
可选地，所述提取所述视频内容中的关键词信息，包括：
获取所述视频内容中所包括的目标停用词，并去除所述目标停用词；
对已去除所述目标停用词的视频内容进行词性分析和/或词组提取，以获取关键词信息。
需要说明地，所述目标停用词可以是电子设备预先设置的词语。例如，电子设备可以是预先设定“最后一个月”、“只限本月”、“无效退款”等设定为目标停用词，当电子设备获取到待处理视频的视频内容，并识别出所述视频内容中包括目标停用词，则去除所述目标停用词，进一步对已去除目标停用词的视频内容进行词性过滤和/或词组提取，以获取关键词信息。
例如，电子设备在获取到已去除目标停用词的视频内容后，可以是分析该视频内容中各词语的词性，所述词性包括名词、动词、形容词等；所述词性过滤可以是指过滤特定词性的词语，例如可以是只保留视频内容中的名词、动词、形容词，其他词性的词语则会被过滤去除，这样也就能够进一步精简视频内容，无需对视频内容包括的所有语句都进行分析，进而能够更有效地提取关键词信息。
或者，可以是对已去除目标停用词的视频内容进行词组提取，例如可以是基于N-Gram语言模型进行词组提取，以获取关键词信息。可选地，关键词信息通常为词组或短句，通过对目标视频内容进行词组提取，也就能够更有利于获得关键词信息。
可选地，还可以是对去除目标停用词的视频内容进行词性过滤以及词组提取，进而以获取关键词信息。例如，所述词性过滤为保留去除了目标停用词的视频内容中的名词、动词、形容词，其他词性的词语被过滤去除，进一步对词性过滤后的视频内容进行词组提取，以获取关键词信息。例如，词性过滤后的视频内容中包括“一对一”、“辅导”、“免费”、“解答”等词语，进一步进行词组提取，也就能够得到“一对一辅导”、“免费解答”等关键词信息，基于语义相似性获取与这些关键词信息对应的推荐标签为“优质服务”。这样，通过对待处理视频的视频内容进行目标停用词去除、词性过滤、词组提取，也就能够有效精简视频内容，提升对视频内容的分析效率，以更快地获得关键词信息，也就能更有效地生成与待处理视频的视频内容更贴切的推荐标签。
可选地，本公开实施例中，所述步骤102还可以包括：
基于预设时长，将所述待处理视频划分成N个视频段，每一个所述视频段的视频时长为所述预设时长，N为正整数；
提取每一个所述视频段对应的关键词信息；
基于语义相似性获取与所述关键词信息对应的推荐标签，生成每一个所述视频段的至少一个推荐标签，以得到所述待处理视频的至少N个推荐标签。
其中，所述预设时长可以是电子设备预先设定的时长，例如10s、20s等。假设待处理视频为60s的视频，预设时长为20s，电子设备在获取到该待处理视频后，也就能够将该待处理视频划分成3个20s的视频段；进一步地，提取每一个视频段对应的关键词信息，也就是提取这3个视频段各自的关键词信息。可选地，视频段关键词信息的获取可以是参照上述实施方式中的描述，此处不再赘述。
进一步地，基于语义相似性获取与关键词信息对应的推荐标签，进而生成每一个视频段的至少一个推荐标签。例如，可以是识别每一个视频段各自对应的视频内容，如语音、字幕、文字等，并从中提取关键词信息，基于关键词信息获取对应的推荐标签。例如，假设待处理视频为60s的视频，该待处理视频划分成3个20s的视频段，其中第一个视频段提取到的关键词信息包括“一对一辅导”、“定向辅导”，生成对应的推荐标签为“专业辅导”，第二个视频段提取到的关键词信息包括“特级教师”、“优秀讲师”，生成对应的推荐标签为“优质教学”，第三个视频段提取到的关键词信息包括“包教包会”、“不会退费”、“前50个名额免费”，则生成对应的推荐标签为“火热招生”、“优惠报名”，进而该待处理视频也就能够得到4个推荐标签。
本公开实施例中，通过将待处理视频划分成N个视频段，并对每一个视频段的关键词信息进行提取，以生成每一个视频段的推荐标签，进而也就能够得到待处理视频的至少N个推荐标签。这样，通过对待处理视频进行分段提取推荐标签，也就使得得到的推荐标签更丰富，也能够更全面地涵盖待处理视频的视频内容，使得用户基于推荐标签能够更准确地获知待处理视频的视频内容。
可选地，本公开实施例中，所述步骤102还可以包括：
获取所述待处理视频的多个视频帧，并提取每一个所述视频帧的局部特征；
比对所述多个视频帧的局部特征，以确定所述待处理视频的视频展现形式；
基于所述视频展现形式生成所述待处理视频的至少一个推荐标签。
可以理解地，待处理视频是基于多个视频帧组成。本公开实施例中，电子设备在获取到待处理视频后，可以是获取所述待处理视频所包括的所有视频帧，并提取每一个视频帧的局部特征。
可选地，所述局部特征可以是视频帧中特定位置处的图像特征、光流信号、音频信号等；或者也可以是将视频帧划分成多个部分，提取视频帧的局部特征可以是提取视频帧被划分后的每一个部分的图像特征、音频信号等。进一步地，比对多个视频帧的局部特征，例如可以是比对每一个视频帧的特定位置处的图像特征，进而以确定所述待处理视频的视频展现形式。需要说明地，所述视频展现形式包括但不限于口播形式、剧情形式、街头采访形式、卡通动漫形式等。
例如，假设视频展现形式为口播形式，也就是说视频为同一个人在一个固定的背景场景进行语音表述，则该类型视频的每一个视频帧中，其背景场景的局部特征几乎都是一样的，通过比对多个视频帧的背景场景的局部特征是否一样，也就能够判定是否为口播形式的视频。对于剧情形式的视频，其对应的人物可能是多个，且不一定有固定的背景场景，进而该类型视频的多个视频帧的局部特征也就会存在差异。对于街头采访形式的视频，其人物可能是多个，背景场景可以是不变也可以是变化的，而该类视频中最显著的特征在于会出现话筒、录音设备等采访工具，进而通过比对多个视频帧中是否包括采访工具这一局部特征，以及背景场景对应的局部特征及人物对应的局部特征是否存在差异，也就能够判定是否为街头采访形式的视频。对于卡通动漫形式的视频，通过比对每一帧视频帧划分成多个部分的局部特征是否对应卡通动漫形象，也就能够判定是否为卡通动漫形式的视频。
本公开实施例中，通过比对所述多个视频帧的局部特征，以确定所述待处理视频的视频展现形式，进而基于所述视频展现形式生成所述待处理视频的至少一个推荐标签。例如，在基于多个视频帧的局部特征确定待处理视频的视频展现形式为口播形式，则生成该待处理视频的推荐标签为“口播”；或者，若基于多个视频帧的局部特征确定待处理视频的视频展现形式为剧情形式和卡通动漫形式，则生成该待处理视频的推荐标签为“动漫”和“剧情”。
需要说明地，所述推荐标签能够显示在所述待处理视频的第一视频帧上，例如所述第一视频帧为待处理视频的首个视频帧，进而也就使得用户基于该推荐标签也就能过快速获知该视频的视频展现形式，以吸引用户来观看视频。
可选地，电子设备可以是基于内容类型识别模型来生成用于指示视频展现形式的推荐标签。例如，该内容类型识别模型为卷积神经网络(Convolutional Neural Networks，CNN)模型，电子设备在获取到待处理视频后，基于内容类型识别模型进行视频帧局部特征的提取，然后进行局部特征集成，例如通过开源视频分类模型Attention Cluster对局部特征进行集成拼接，以获取全局特征，基于全连接层、Softmax或Sigmoid来确定待处理视频的视频展现形式。这样，也就能够得到待处理视频的推荐标签，该推荐标签能够指示视频展现形式，以使得用户能够基于视频的浏览量或者点击量，获知那种视频展现形式的视频更吸引用户，进而也就能够为视频制作者提供更好的视频制作建议，以帮助视频制作者制作点击量更高的视频。
本公开实施例还提供了一种视频处理装置。请参照图3，图3是本公开实施例提供的一种视频处理装置的结构图；如图3所示，视频处理装置300包括：
获取模块301，用于获取待处理视频；
生成模块302，用于基于所述待处理视频的视频信息，生成所述待处理视频的至少一个推荐标签，所述推荐标签用于指示所述待处理视频的视频内容、视频展现形式中的至少一项；
添加模块303，用于在所述待处理视频的第一视频帧上添加所述至少一个推荐标签。
可选地，生成模块302还用于：
获取所述待处理视频的视频内容，并提取所述视频内容中的关键词信息；
基于语义相似性获取与所述关键词信息对应的推荐标签，以生成所述待处理视频的至少一个推荐标签。
可选地，生成模块302还用于：
获取所述视频内容中所包括的目标停用词，并去除所述目标停用词；
对已去除所述目标停用词的视频内容进行词性过滤和/或词组提取，以获取关键词信息。
可选地，生成模块302还用于：
基于预设时长，将所述待处理视频划分成N个视频段，每一个所述视频段的视频时长为所述预设时长，N为正整数；
提取每一个所述视频段对应的关键词信息；
基于语义相似性获取与所述关键词信息对应的推荐标签，生成每一个所述视频段的至少一个推荐标签，以得到所述待处理视频的至少N个推荐标签。
可选地，生成模块302还用于：
获取所述待处理视频的多个视频帧，并提取每一个所述视频帧的局部特征；
比对所述多个视频帧的局部特征，以确定所述待处理视频的视频展现形式；
基于所述视频展现形式生成所述待处理视频的至少一个推荐标签。
本实施例提供的视频处理装置300能够实现上述视频处理方法实施例的全部技术方案，因此至少能够实现上述全部技术效果，此处不再赘述。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图4示出了可以用来实施本公开的实施例的示例电子设备300的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图4所示，设备400包括计算单元401，其可以根据存储在只读存储器(ROM)402中的计算机程序或者从存储单元408加载到随机访问存储器(RAM)403中的计算机程序，来执行各种适当的动作和处理。在RAM 403中，还可存储设备400操作所需的各种程序和数据。计算单元401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
设备400中的多个部件连接至I/O接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理，例如视频处理方法。例如，在一些实施例中，视频处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由ROM 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到RAM 403并由计算单元401执行时，可以执行上文描述的视频处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频处理方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (10)

1.一种视频处理方法，包括：
获取待处理视频；
基于所述待处理视频的视频信息，生成所述待处理视频的至少一个推荐标签，所述推荐标签用于指示所述待处理视频的视频内容、视频展现形式中的至少一项；
在所述待处理视频的第一视频帧上添加所述至少一个推荐标签；
所述基于所述待处理视频的视频信息，生成所述待处理视频的至少一个推荐标签，包括：
获取所述待处理视频的多个视频帧，并提取每一个所述视频帧的局部特征；
比对所述多个视频帧的局部特征，以确定所述待处理视频的视频展现形式，所述视频展现形式包括口播形式、剧情形式、街头采访形式、卡通动漫形式中的至少一项；
基于所述视频展现形式生成所述待处理视频的至少一个推荐标签。
2.根据权利要求1所述的方法，其中，所述基于所述待处理视频的视频信息，生成所述待处理视频的至少一个推荐标签，包括：
获取所述待处理视频的视频内容，并提取所述视频内容中的关键词信息；
基于语义相似性获取与所述关键词信息对应的推荐标签，以生成所述待处理视频的至少一个推荐标签。
3.根据权利要求2所述的方法，其中，所述提取所述视频内容中的关键词信息，包括：
获取所述视频内容中所包括的目标停用词，并去除所述目标停用词；
对已去除所述目标停用词的视频内容进行词性过滤和/或词组提取，以获取关键词信息。
4.根据权利要求1所述的方法，其中，所述基于所述待处理视频的视频信息，生成所述待处理视频的至少一个推荐标签，包括：
基于预设时长，将所述待处理视频划分成N个视频段，每一个所述视频段的视频时长为所述预设时长，N为正整数；
提取每一个所述视频段对应的关键词信息；
基于语义相似性获取与所述关键词信息对应的推荐标签，生成每一个所述视频段的至少一个推荐标签，以得到所述待处理视频的至少N个推荐标签。
5.一种视频处理装置，包括：
获取模块，用于获取待处理视频；
生成模块，用于基于所述待处理视频的视频信息，生成所述待处理视频的至少一个推荐标签，所述推荐标签用于指示所述待处理视频的视频内容、视频展现形式中的至少一项；
添加模块，用于在所述待处理视频的第一视频帧上添加所述至少一个推荐标签；
所述生成模块还用于：
获取所述待处理视频的多个视频帧，并提取每一个所述视频帧的局部特征；
比对所述多个视频帧的局部特征，以确定所述待处理视频的视频展现形式，所述视频展现形式包括口播形式、剧情形式、街头采访形式、卡通动漫形式中的至少一项；
基于所述视频展现形式生成所述待处理视频的至少一个推荐标签。
6.根据权利要求5所述的装置，其中，所述生成模块还用于：
获取所述待处理视频的视频内容，并提取所述视频内容中的关键词信息；
基于语义相似性获取与所述关键词信息对应的推荐标签，以生成所述待处理视频的至少一个推荐标签。
7.根据权利要求6所述的装置，其中，所述生成模块还用于：
获取所述视频内容中所包括的目标停用词，并去除所述目标停用词；
对已去除所述目标停用词的视频内容进行词性过滤和/或词组提取，以获取关键词信息。
8.根据权利要求5所述的装置，其中，所述生成模块还用于：
基于预设时长，将所述待处理视频划分成N个视频段，每一个所述视频段的视频时长为所述预设时长，N为正整数；
提取每一个所述视频段对应的关键词信息；
基于语义相似性获取与所述关键词信息对应的推荐标签，生成每一个所述视频段的至少一个推荐标签，以得到所述待处理视频的至少N个推荐标签。
9.一种电子设备，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-4中任一项所述的方法。
10.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1-4中任一项所述的方法。
CN202110220814.6A 2021-02-26 2021-02-26 视频处理方法、装置、电子设备及计算机可读存储介质 Active CN113038175B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110220814.6A CN113038175B (zh) 2021-02-26 2021-02-26 视频处理方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110220814.6A CN113038175B (zh) 2021-02-26 2021-02-26 视频处理方法、装置、电子设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113038175A CN113038175A (zh) 2021-06-25
CN113038175B true CN113038175B (zh) 2023-03-24

Family

ID=76462145

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110220814.6A Active CN113038175B (zh) 2021-02-26 2021-02-26 视频处理方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113038175B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113923529A (zh) * 2021-10-08 2022-01-11 北京百度网讯科技有限公司 直播连麦方法、装置、设备以及存储介质
CN116092063A (zh) * 2022-12-09 2023-05-09 湖南润科通信科技有限公司 一种短视频关键词提取方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833973A (zh) * 2018-06-28 2018-11-16 腾讯科技（深圳）有限公司 视频特征的提取方法、装置和计算机设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108829893B (zh) * 2018-06-29 2021-01-29 北京百度网讯科技有限公司 确定视频标签的方法、装置、存储介质和终端设备
CN109325148A (zh) * 2018-08-03 2019-02-12 百度在线网络技术（北京）有限公司 生成信息的方法和装置
US10623829B2 (en) * 2018-09-07 2020-04-14 Oath Inc. Systems and methods for multimodal multilabel tagging of video
CN109640112B (zh) * 2019-01-15 2021-11-23 广州虎牙信息科技有限公司 视频处理方法、装置、设备及存储介质
CN111263186A (zh) * 2020-02-18 2020-06-09 中国传媒大学 视频生成、播放、搜索以及处理方法、装置和存储介质
CN111314732A (zh) * 2020-03-19 2020-06-19 青岛聚看云科技有限公司 确定视频标签的方法、服务器及存储介质

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108833973A (zh) * 2018-06-28 2018-11-16 腾讯科技（深圳）有限公司 视频特征的提取方法、装置和计算机设备

Also Published As

Publication number Publication date
CN113038175A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
JP7123122B2 (ja) 認知的洞察を使用したビデオ・シーンの移動
CN110134931B (zh) 媒介标题生成方法、装置、电子设备及可读介质
US20180130496A1 (en) Method and system for auto-generation of sketch notes-based visual summary of multimedia content
US20180349781A1 (en) Method and device for judging news quality and storage medium
CN111866610B (zh) 用于生成信息的方法和装置
CN109697239B (zh) 用于生成图文信息的方法
US20200134398A1 (en) Determining intent from multimodal content embedded in a common geometric space
US20210073272A1 (en) Digital image classification and annotation
JP7394809B2 (ja) ビデオを処理するための方法、装置、電子機器、媒体及びコンピュータプログラム
JP2015162244A (ja) 発話ワードをランク付けする方法、プログラム及び計算処理システム
CN113038175B (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
CN113014988B (zh) 视频处理方法、装置、设备以及存储介质
JP6460286B2 (ja) 情報提示装置、および情報提示方法
US20130311471A1 (en) Time-series document summarization device, time-series document summarization method and computer-readable recording medium
CN115982376A (zh) 基于文本、多模数据和知识训练模型的方法和装置
CN111813993A (zh) 视频内容的拓展方法、装置、终端设备及存储介质
CN113301382B (zh) 视频处理方法、设备、介质及程序产品
JP5942052B1 (ja) データ分析システム、データ分析方法、およびデータ分析プログラム
CN113407775B (zh) 视频搜索方法、装置及电子设备
CN111859970B (zh) 用于处理信息的方法、装置、设备和介质
KR101526872B1 (ko) 문어체 변환단계를 포함하는 광고 제공방법
CN106959945B (zh) 基于人工智能的为新闻生成短标题的方法和装置
CN112905838A (zh) 信息检索方法和装置、存储介质和电子设备
CN112699687A (zh) 内容编目方法、装置和电子设备
KR20220085219A (ko) 유튜브의 영상의 메타데이터를 이용한 광고 필터링 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant