CN116980644A - 一种视频处理方法、系统及相关设备 - Google Patents
一种视频处理方法、系统及相关设备 Download PDFInfo
- Publication number
- CN116980644A CN116980644A CN202210384788.5A CN202210384788A CN116980644A CN 116980644 A CN116980644 A CN 116980644A CN 202210384788 A CN202210384788 A CN 202210384788A CN 116980644 A CN116980644 A CN 116980644A
- Authority
- CN
- China
- Prior art keywords
- video
- stripping
- type
- user
- videos
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title abstract description 12
- 238000012545 processing Methods 0.000 claims abstract description 115
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000001514 detection method Methods 0.000 claims description 46
- 230000009471 action Effects 0.000 claims description 31
- 238000010801 machine learning Methods 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 21
- 238000012015 optical character recognition Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 14
- 238000005516 engineering process Methods 0.000 description 21
- 230000006870 function Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 239000012634 fragment Substances 0.000 description 10
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 239000002184 metal Substances 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000002360 preparation method Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Marketing (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本申请提供了一种视频处理方法、系统及相关设备,该方法包括以下步骤:视频处理系统通过配置接口向用户获取配置参数和视频,该配置参数包括视频的视频类型,接着,视频处理系统输出多个短视频,其中,多个短视频是根据配置参数对所述视频进行拆条后获得的,使得上述多个短视频可以满足用户的多样化需求,用户需要进行何种场景下的拆解就输入何种配置参数,从而实现一个多场景下通用的且符合用户需求的视频拆条模型,提高用户的使用体验。
Description
技术领域
本申请涉及计算机领域,尤其涉及一种视频处理方法、系统及相关设备。
背景技术
随着短视频内容的急剧增长,视频观看者对于长视频的观看耐心程度逐渐降低。为了给与视频观看者更加精彩的视频锦集,以及提高用户碎片化时间的利用率,视频拆条技术应运而生。视频拆条是对原始视频内容的二次加工,将原始视频内容按需拆分成若干视频片段,如此,用户可按需观看感兴趣的视频片段。视频拆条技术可深度挖掘长视频中有价值的信息点,帮助用户更好更快地理解视频。
但是,视频拆条技术通常局限于某一特定场景,比如新闻视频的视频拆条技术通常基于新闻的标题、新闻镜头变换等特征来实现,影视剧的视频拆条技术通常基于影视剧的字幕来实现,因此,当前视频拆条技术的应用场景单一,灵活性低,降低用户的使用体验。
发明内容
本申请提供了一种视频处理方法、系统及相关设备,用于解决视频拆条技术应用场景单一、灵活性低、用户使用体验差的问题。
第一方面,提供了一种视频处理方法,该方法包括以下步骤:视频处理系统通过配置接口向用户获取配置参数和视频,配置参数包括视频的视频类型,视频处理系统输出多个短视频,其中,多个短视频是根据配置参数对视频进行拆条后获得的。
具体实现中,视频处理系统可以部署于计算设备上,该计算设备可以是裸金属服务器(Bare Metal Server,BMS)、虚拟机或容器。其中,BMS指的是通用的物理服务器,例如,ARM服务器或者X86服务器;虚拟机指的是网络功能虚拟化(Network FunctionsVirtualization,NFV)技术实现的、通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统,容器指的是一组受到资源限制,彼此间相互隔离的进程,计算设备还可以是边缘计算设备、存储服务器或者存储阵列,本申请不作具体限定。
上述配置接口可以是用户与视频处理系统进行交互的一个应用程序页面、网页页面或者应用程序编辑接口(application programming interface,API),视频处理系统可以将该应用程序页面或者网页页面显示在客户端的屏幕上,或者将API接口参数提供给用户,用户可使用该API接口参数将视频处理系统200集成到第三方系统进行二次开发。
上述视频类型可包括影视剧、综艺、新闻、纪录片、访谈、体育、动漫以及会议中的一种或者多种。应理解,视频类型的划分可根据用户的业务场景划分出更多的分类,这里不一一举例说明。用户需要对何种类型的视频进行视频拆条,就可以输入何种类型的视频类型,比如用户需要对影视剧视频进行视频拆条,那么就可以将视频类型选择为影视剧。
实施第一方面描述的方法,通过配置接口获取用户输入的配置参数,该配置参数至少包括视频的视频类型,根据视频类型选择预先训练好的拆条模型对用户输入的视频进行拆条,输出拆条后的多个短视频,其中,该拆条模型与用户输入的视频类型呈对应关系,使得上述多个短视频可以满足用户的多样化需求,用户需要进行何种场景下的拆解就输入何种配置参数,从而实现一个多场景下通用的且符合用户需求的视频拆条模型,提高用户的使用体验。
在一可能的实现方式中,配置参数还包括拆条特征,拆条特征包括场景、人物、音频、字幕、动作、光学字符识别OCR以及外观中的一种或者多种。
其中,场景指的是按照不同场景对视频进行拆条,拆条后的多个短视频可以是相同场景下的短视频,比如学校的纪录片,拆条特征为场景,那么拆条后的多个短视频中,短视频1是纪录片中场景为教室的短视频,短视频2是纪录片中场景为宿舍的短视频,短视频3是纪录片中场景为操场的短视频等等,本申请不作具体限定。
人物指的是按照不同人物对视频进行拆条,拆条后的多个短视频可以是相同人物的短视频,比如选秀综艺节目,拆条特征为人物,那么拆条后的多个短视频中,短视频1是选手A的演出片段,短视频2是选手B的演出片段等等,本申请不作具体限定。
字幕指的是按照字幕对视频进行拆条,需要结合文字识别技术,根据字幕中的语义解释来决定拆条内容,比如新闻视频,拆条特征为字幕,那么拆条后的多个短视频中,短视频1是新闻1的片段,短视频2是新闻2的片段等等,本申请不作具体限定。
动作指的是按照不同动作对视频进行拆条,拆条后的多个短视频可以是相同动作的短视频,比如文艺晚会节目,拆条特征为动作,那么拆条后的多个短视频中,短视频1是全部舞蹈节目片段,短视频2是歌唱节目片段,短视频3是小品节目片段等等,本申请不作具体限定。
OCR指的是需要结合图像文字识别技术对视频进行拆条,比如需要对视频中的一些场景中的图片进行识别来确定场景的含义,例如广告牌、交通指示牌等等,本申请不作具体限定。
外观指的是按照不同外观对视频进行拆条,拆条后的多个短视频可以是相同外观的短视频,这里的外观可以指的是相同的衣服外观、相同的帽子外观等等,本申请不作具体限定。
应理解,拆条特征可根据用户的业务场景划分出更多的特征类型,这里不一一举例说明。用户需要使用何种拆条特征对视频进行拆条,就可以输入何种类型的拆条特征,比如用户想要影视剧集中各个演员的全部片段,那么可以将人物作为拆条特征输入配置接口,或者用户想要对综艺节目视频中的跳舞片段,那么用户可以将动作作为拆条特征输入配置接口。
应理解,每个拆条特征还可以进行进步一步的细分,比如拆条特征“动作”可以进一步的细分为“跳舞”、“跑步”、“冲突”等等,“音频”可以进一步细分为“唱歌”、“争吵”等等,仍以上述例子为例,用户需要视频中“跳舞”片段,那么可以选择拆条特征中的“动作”,然后再选择“动作”大类下的“跳舞”特征,应理解,上述举例用于说明,本申请不作具体限定。
实施上述实现方式,通过获取用户的拆条特征对视频进行拆条,可以满足不同用户在同一视频类型场景下的多样化需求,提高用户的使用体验,应理解,对于同一个视频类型下,不同的用户进行视频拆条时的关注点也是不同的,比如综艺类型的视频,有的用户只想看自己喜爱的演员明星的演出片段,有的用户只想看跳舞片段,有的用户只想看演唱片段,本申请通过上述配置接口向用户获取需求的拆条特征,根据该拆条特征对视频进行拆条,可以满足用户多样化需求。
在一可能的实现方式中,配置参数还包括拆条速度。
具体实现中,该拆条速度可以是速度数值或者速度范围,视频处理系统可以根据用户输入的速度数值或者速度范围,确定拆条速度,该拆条速度可以是前设定好的范围,比如0~1s,1~5s,5~10s,10~15s,15s~20s,20~30s等等,举例来说,若用户输入的速度数值为3s,那么拆条速度可以是1~5s,如果用户输入的速度数值为4~8s,那么拆条速度可以是5~10s。
实施上述实现方式,通过获取用户输入的拆条速度,可以使用该拆条速度对视频进行拆条,从而进一步满足用户的使用需求,提高用户的使用体验,应理解,视频拆条速度越快,拆条精度越低,但是有的用户需求侧重于拆条速度,有的用户需求侧重于拆条精度,用户按照自己的需求选择拆条速度,可以提高用户的使用体验。
在一可能的实现方式中,视频类型包括未知类型,在视频类型为未知类型的情况下,该方法还可包括以下步骤:视频处理系统对视频进行类型检测,获得视频的检测类型,视频处理系统根据检测类型和配置参数对视频进行拆条,输出多个短视频。
可选地,在配置接口未获取到用户输入的拆条特征的情况下,视频处理系统对视频进行特征检测,获得视频的拆条特征,根据拆条特征对视频进行拆条。
可选地,配置接口可以向用户展示提前设定好的拆条速度以供用户选择,若用户没有进行拆条速度的选择,视频处理系统使用默认拆条速度或者用户历史拆条速度作为用户输入的拆条速度,并使用该拆条速度对视频进行拆条,输出多个短视频。
实施上述实现方式,若用户没有输入或者无法确认所需的视频类型、拆条特征或者拆条速度,视频处理系统可以对视频进行检测,获得其视频类型、拆条特征或者拆条速度,预测出用户可能的拆条需求,提高用户的使用体验。
在一可能的实现方式中,视频处理系统包括多个拆条模型,其中,一个拆条模型对应一种视频类型,视频处理系统获取视频类型对应的拆条模型,将视频输入视频类型对应的拆条模型,输出拆条后获得的多个短视频。
具体实现中,将视频和拆条特征输入视频类型对应的拆条模型,输出拆条后获得的多个短视频,其中,拆条模型是使用样本集对机器学习模型进行训练后获得的,样本集包括样本输入数据和样本输出数据,其中,样本输入数据包括已知视频和已知特征,样本输出数据包括使用已知拆条特征对已知视频进行拆条后获得的多个已知短视频。
可选地,在视频类型为未知类型的情况下,若视频处理系统对视频进行类型检测成功获得了视频的检测类型,视频处理系统可以使用该检测类型对应的拆条模型对视频进行拆条,输出多个短视频;若视频处理系统对视频进行类型检测失败,未获得视频的检测类型,或者类型检测成功但是检测类型的置信度很低,此时可使用通用拆条模型对视频进行拆条,输出多个短视频,上述通用拆条模型可以是多种视频类型通用的拆条模型。
上述实现方式,一个拆条模型对应一种视频类型,可以满足不同应用场景下用户的使用需求,并且,不同视频类型的机器学习模型采用的模型结构可以相同或者不同,具体可根据各自对应的视频类型确定。比如应用场景类似的视频类型所采用的机器学习模型结构可以是类似的或者相同的,训练时使用的样本集对应各自的视频类型即可,从而减少模型搭建的工作量,提高拆条模型的准备效率。
在一可能的实现方式中,上述拆条模型可针对不同的拆条特征对视频进行拆条,举例来说,假设用户选择的视频类型为“综艺”,那么对应的拆条模型为综艺拆条模型,若用户选择的拆条特征为“人物”,上传的视频为选秀类综艺节目的一期视频,那么拆条特征可按照人物特征对进行拆条,获得的短视频可以是该综艺中选手A全部的演出片段。
可选地,上述样本集包括样本输入数据和样本输出数据,其中,样本输入数据包括已知视频和已知特征,样本输出数据包括使用所述已知拆条特征对所述已知视频进行拆条后获得的多个已知短视频,训练好的拆条模型可根据用户输入的拆条特征对视频进行拆条。
具体实现中,上述机器学习模型可包括但不限于比如CNN、LSTM、Yolo模型、SSD模型、RCNN模型或Fast-RCNN模型等,本申请不作具体限定。
上述实现方式,拆条模型可针对不同的拆条特征对视频进行拆条,使得相同视频类型的不同用户使用需求都可以得到满足,应理解,对于同一个视频类型下,不同的用户进行视频拆条时的关注点也是不同的,比如综艺类型的视频,有的用户只想看自己喜爱的演员明星的演出片段,有的用户只想看跳舞片段,有的用户只想看演唱片段,本申请通过上述配置接口向用户获取需求的拆条特征,根据该拆条特征对视频进行拆条,可以满足用户多样化需求。
在一可能的实现方式中,每个视频类型下的拆条模型可包括多种速度拆条模型,其中,一个速度拆条模型对应一个拆条速度,拆条单元220可以根据配置接口获取的视频类型确定对应的拆条模型,然后根据配置接口获取的拆条速度确定该拆条模型对应的速度拆条模型,然后使用该速度拆条模型对视频进行拆条,获得多个短视频。具体实现中,每种视频类型下的多种速度拆条模型的结构可以相同也可以不同,具体可根据实际处理情况决定,本申请不作具体限定。
上述实现方式,每个视频类型下的拆条模型包括多种速度拆条模型,不同的拆条速度对应不同的速度拆条模型,从而进一步满足用户的使用需求,提高用户的使用体验。
第二方面,提供了一种视频处理系统,该系统包括:获取单元,用于通过配置接口向用户获取配置参数和视频,配置参数包括视频的视频类型,拆条单元,用于输出多个短视频,其中,多个短视频是根据配置参数对视频进行拆条后获得的。
实施第二方面描述的方法,通过配置接口获取用户输入的配置参数,该配置参数至少包括视频的视频类型,根据视频类型选择预先训练好的拆条模型对用户输入的视频进行拆条,输出拆条后的多个短视频,其中,该拆条模型与用户输入的视频类型呈对应关系,使得上述多个短视频可以满足用户的多样化需求,用户需要进行何种场景下的拆解就输入何种配置参数,从而实现一个多场景下通用的且符合用户需求的视频拆条模型,提高用户的使用体验。
在一可能的实现方式中,视频类型包括影视剧、综艺、新闻、纪录片、访谈、体育、动漫以及会议中的一种或者多种。
在一可能的实现方式中,配置参数还包括拆条特征,拆条特征包括场景、人物、音频、字幕、动作、光学字符识别OCR以及外观中的一种或者多种。
在一可能的实现方式中,配置参数还包括拆条速度。
在一可能的实现方式中,系统还包括检测单元,视频类型包括未知类型,在所示视频类型为未知类型的情况下,检测单元,用于对视频进行类型检测,获得视频的检测类型;
拆条单元,用于根据检测类型和配置参数对视频进行拆条,输出多个短视频。
在一可能的实现方式中,在配置接口未获取到用户输入的拆条特征的情况下,检测单元,用于对视频进行特征检测,获得视频的拆条特征,根据拆条特征对视频进行拆条。
在一可能的实现方式中,视频处理系统包括多个拆条模型,其中,一个拆条模型对应一种视频类型,拆条单元,用于获取视频类型对应的拆条模型,将视频输入视频类型对应的拆条模型,输出拆条后获得的多个短视频。
在一可能的实现方式中,用于将视频和拆条特征输入视频类型对应的拆条模型,输出拆条后获得的多个短视频,其中,拆条模型是使用样本集对机器学习模型进行训练后获得的,样本集包括样本输入数据和样本输出数据,其中,样本输入数据包括已知视频和已知特征,样本输出数据包括使用已知拆条特征对已知视频进行拆条后获得的多个已知短视频。
第三方面,提供了一种计算设备,包括处理器和存储器,存储器用于存储代码,处理器包括用于执行第一方面或第一方面任一种可能实现方式中芯片实现的各个模块的功能。
第四方面,提供了一种计算机存储介质,该计算机存储介质中存储有指令,当其在计算设备运行时,使得计算设备执行上述各方面所述的方法。
第五方面,提供了一种包含指令的程序产品,包括程序或指令,当该程序或指令在计算设备上运行时,使得计算设备执行上述各方面所述的方法。
本申请在上述各方面提供的实现方式的基础上,还可以进行进一步组合以提供更多实现方式。
附图说明
图1是本申请提供的一种视频处理系统的架构示意图;
图2是本申请提供的一种视频处理系统中拆条模型的示意图;
图3是本申请提供的一种视频处理方法的步骤流程示意图;
图4是本申请提供的一种视频处理系统中配置接口的示例图;
图5是本申请提供的一种应用场景下视频处理系统的步骤流程示意图;
图6是本申请提供的一种计算设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
首先,对本申请涉及的视频拆条技术进行说明。
随着短视频内容的急剧增长,视频观看者对于长视频的观看耐心程度逐渐降低。为了给与视频观看者更加精彩的视频锦集,以及提高用户碎片化时间的利用率,视频拆条技术应运而生。视频拆条是对原视频内容的二次加工,将原始视频内容按需拆分成若干视频片段,如此,用户可按需观看感兴趣的视频片段。视频拆条技术可深度挖掘长视频中有价值的信息点,帮助用户更好更快地理解视频。
但是,视频拆条技术通常局限于某一特定场景,比如新闻视频的视频拆条技术通常基于新闻的标题、新闻镜头变换等特征来实现,影视剧的视频拆条技术通常基于影视剧的字幕来实现,因此大多数视频拆条技术只能在对应的应用场景发挥作用,导致视频拆条技术的应用场景单一,一种视频拆条模型无法对多种类型的视频进行视频拆条,导致平台进行视频拆条时需要为每种应用场景定制视频拆条模型,实现成本高,效率低下。
并且,在特定场景下,用户的需求是多样的,比如新闻视频场景下,有的用户需要的是处理速度快,有的用户需要的是视频拆分数量多,有的用户需要的是视频拆分精准,有的用户需要的是特定内容的新闻视频等等,而特定场景下的视频拆条技术通常为该场景下的通用模型,并不能满足用户的多样化需求,灵活性很低。
综上可知,由于视频拆条技术只能在对应的单一应用场景发挥作用,并且是单一场景下的视频拆条技术,也往往无法满足用户的多样的需求,因此,如何实现一个多场景下通用的且符合用户需求的视频拆条模型,是一个亟待解决的问题。
为了解决上述问题,本申请提供了一种视频处理系统,图1是本申请提供的一种视频处理系统的架构示意图,如图1所示,架构包括客户端100、视频处理系统200以及存储服务器300,其中,客户端100、视频处理系统200以及存储服务器300之间可建立通信连接,具体可以是有线连接也可以是无线连接,本申请不作具体限定。并且,客户端100和存储服务器300的数量可以是一个或者多个,图1以1个客户端100以及1个存储服务器300为例进行了举例说明,本申请不对此进行具体限定。
客户端100可以在用户所持有的终端设备上运行,该终端设备可以是计算机、智能手机、掌上处理设备、平板电脑、移动笔记本、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、一体化掌机、穿戴设备、车载设备、智能会议设备、智能广告设备、智能家电等等,此处不作具体限定。
具体实现中,客户端100可以是应用程序客户端,也可以是浏览器中的基于web的客户端,还可以是应用程序(application,APP)客户端,还可以是应用程序编辑接口(application programming interface,API),本申请不作具体限定。
视频处理系统200可以部署于计算设备上,该计算设备可以是裸金属服务器(BareMetal Server,BMS)、虚拟机或容器。其中,BMS指的是通用的物理服务器,例如,ARM服务器或者X86服务器;虚拟机指的是网络功能虚拟化(Network Functions Virtualization,NFV)技术实现的、通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统,容器指的是一组受到资源限制,彼此间相互隔离的进程,计算设备还可以是边缘计算设备、存储服务器或者存储阵列,本申请不作具体限定。
存储服务器300可以是具有存储功能的服务器,该服务器可以是物理服务器比如ARM服务器或者X86服务器,还可以是虚拟机,本申请不作具体限定。存储服务器300可以是视频平台(比如电视台、视频网站、直播平台等等)或者公有云平台中的存储服务器,用于存储待拆条的视频和拆条后的短视频。
可选地,视频处理系统200也可部署于存储服务器300上,换句话说,存储服务器300具有视频拆条的功能,视频处理系统200和客户端100也可以都部署于存储服务器300上,本申请不作具体限定,还可以客户端100部署于存储服务器300上,视频处理系统部署于其他服务器桑,还可以是如图1所示的,客户端100、视频处理系统200部署于除存储服务器300以外的其他服务器上,本申请不作具体限定。
在本申请实施例中,客户端100可以将视频上传至视频处理系统200进行视频拆条,视频处理系统200对视频拆条后获得多个短视频,然后将其返回至客户端100,或者,将其存储至存储服务器300中,当然,存储服务器300也可以将视频发送给视频处理系统200进行视频拆条,视频处理系统对视频拆条后获得多个短视频,然后将其返回给存储服务器300,或者,将其返回给客户端100使用,具体可根据实际的应用场景决定,本申请不作具体限定。
可选地,视频处理系统200也可以部署于公有云中,用于向用户提供视频拆条的云服务,举例来说,用户在购买内容分发网络(content delivery network,CDN)服务时,可勾选视频拆条服务,公有云平台可通过该视频处理系统200根据用户需要对CDN网络中传播的部分视频进行视频拆条。应理解,上述举例用于说明,本申请不作具体限定。
进一步地,视频处理系统200可划分为多个单元模块,各个单元模块可以是软件模块也可以是硬件模块,也可以是部分软件模块部分硬件模块,本申请不作具体限定。图1是一种示例性划分方式,如图1所示,该视频处理系统200可包括获取单元210、拆条单元220以及拆条模型230。
获取单元210用于通过配置接口向用户获取配置参数和视频,其中,该视频可以是用户需要进行视频拆条的长视频,比如一集综艺节目,一部纪录片,一期访谈节目等。
具体实现中,配置接口可以是用户与视频处理系统200进行交互的一个应用程序页面、网页页面或者API,视频处理系统200可以将该应用程序页面或者网页页面显示在客户端100的屏幕上,或者将API接口参数提供给用户,用户可使用该API接口参数将视频处理系统200集成到第三方系统进行二次开发。
需要说明的,上述用户可以是使用拆条服务的用户,举例来说,视频网站用户可通过应用程序页面或者网页页面输入配置参数和视频,以使用视频网站的视频拆条服务对不同类型的视频进行视频拆条,上述举例用于说明,本申请不作具体限定。
上述用户还可以是将拆条服务集成到第三方系统进行二次开发的开发用户,举例来说,若视频处理系统200部署于公有云中,那么配置接口可以是公有云平台的控制台(console)或者API。其中,控制台可以是web化的服务管理系统,用户可通过控制台购买云服务、连接具有该视频处理系统200功能的云服务实例,API可以供用户集成到第三方系统进行二次开发,比如短视频平台可以将该配置接口的API与内部用于存储长视频的服务器建立连接,使得用户上传的长视频可以自动通过该API接口实现视频的拆条,应理解,上述举例用于说明,本申请不作具体限定。
若视频处理系统200部署于视频网站中,那么配置接口可以是该视频网站的控制台,用户可通过视频网站的控制台上传视频,输入上述配置参数,以供视频网站中的视频处理系统200根据该配置参数对视频进行拆条,获得多个短视频,应理解,上述举例用于说明,本申请不作具体限定。
可选地,该配置参数可包括该视频的视频类型,该视频类型可包括影视剧、综艺、新闻、纪录片、访谈、体育、动漫以及会议中的一种或者多种。应理解,视频类型的划分可根据用户的业务场景划分出更多的分类,这里不一一举例说明。用户需要对何种类型的视频进行视频拆条,就可以输入何种类型的视频类型,比如用户需要对影视剧视频进行视频拆条,那么就可以将视频类型选择为影视剧。
可选地,视频类型包括未知类型,其中,未知类型可以是指用户无法确定的视频类型,或者,未知类型可以是指用户没有输入视频类型,即配置接口未获取到视频类型。在视频类型为未知类型的情况下,检测单元240可以对视频进行类型检测,获得视频的检测类型。视频处理系统200的拆条单元220可以根据配置参数和检测类型对视频进行拆条,输出多个短视频。
可选地,该配置参数还可包括拆条特征,该拆条特征可包括场景、人物、音频、字幕、动作、光学字符识别(optical character recognition,OCR)以及外观中的一种或者多种。
其中,场景指的是按照不同场景对视频进行拆条,拆条后的多个短视频可以是相同场景下的短视频,比如学校的纪录片,拆条特征为场景,那么拆条后的多个短视频中,短视频1是纪录片中场景为教室的短视频,短视频2是纪录片中场景为宿舍的短视频,短视频3是纪录片中场景为操场的短视频等等,本申请不作具体限定。
人物指的是按照不同人物对视频进行拆条,拆条后的多个短视频可以是相同人物的短视频,比如选秀综艺节目,拆条特征为人物,那么拆条后的多个短视频中,短视频1是选手A的演出片段,短视频2是选手B的演出片段等等,本申请不作具体限定。
字幕指的是按照字幕对视频进行拆条,需要结合文字识别技术,根据字幕中的语义解释来决定拆条内容,比如新闻视频,拆条特征为字幕,那么拆条后的多个短视频中,短视频1是新闻1的片段,短视频2是新闻2的片段等等,本申请不作具体限定。
动作指的是按照不同动作对视频进行拆条,拆条后的多个短视频可以是相同动作的短视频,比如文艺晚会节目,拆条特征为动作,那么拆条后的多个短视频中,短视频1是全部舞蹈节目片段,短视频2是歌唱节目片段,短视频3是小品节目片段等等,本申请不作具体限定。
OCR指的是需要结合图像文字识别技术对视频进行拆条,比如需要对视频中的一些场景中的图片进行识别来确定场景的含义,例如广告牌、交通指示牌等等,本申请不作具体限定。
外观指的是按照不同外观对视频进行拆条,拆条后的多个短视频可以是相同外观的短视频,这里的外观可以指的是相同的衣服外观、相同的帽子外观等等,本申请不作具体限定。
应理解,拆条特征可根据用户的业务场景划分出更多的特征类型,这里不一一举例说明。用户需要使用何种拆条特征对视频进行拆条,就可以输入何种类型的拆条特征,比如用户想要影视剧集中各个演员的全部片段,那么可以将人物作为拆条特征输入配置接口,或者用户想要对综艺节目视频中的跳舞片段,那么用户可以将动作作为拆条特征输入配置接口。
应理解,每个拆条特征还可以进行进步一步的细分,比如拆条特征“动作”可以进一步的细分为“跳舞”、“跑步”、“冲突”等等,“音频”可以进一步细分为“唱歌”、“争吵”等等,仍以上述例子为例,用户需要视频中“跳舞”片段,那么可以选择拆条特征中的“动作”,然后再选择“动作”大类下的“跳舞”特征,应理解,上述举例用于说明,本申请不作具体限定。
具体实现中,配置接口可以向用户展示多种拆条特征以供选择,若用户无法确定拆条特征或者用户没有进行拆条特征的选择,即配置接口未获取到拆条特征的情况下,检测单元240可以对视频进行检测,获得该视频的拆条特征,其中,该拆条特征可以是该种视频类型中最常用的特征类型,或者确定该中视频类型中该也用户历史输入的特征类型,本申请不作具体限定。
可选地,该配置参数还可包括拆条速度,该拆条速度可以是速度数值或者速度范围,视频处理系统200可以根据用户输入的速度数值或者速度范围,确定拆条速度,该拆条速度可以是前设定好的范围,比如0~1s,1~5s,5~10s,10~15s,15s~20s,20~30s等等,举例来说,若用户输入的速度数值为3s,那么拆条速度可以是1~5s,如果用户输入的速度数值为4~8s,那么拆条速度可以是5~10s。
具体实现中,配置接口可以向用户展示提前设定好的拆条速度以供用户选择,若用户没有进行拆条速度的选择,检测单元240可以使用默认拆条速度或者用户历史拆条速度对视频进行拆条,本申请不作具体限定。
可选地,配置接口可包括参数接口和视频接口,参数接口获取配置参数,视频接口获取用户上的视频,用户可以先通过参数接口进行参数配置后,再通过视频接口上传多个视频进行拆条,比如用户设置视频类型为电视剧,拆条特征为演员A,拆条速度为1~5s,然后将某电视剧的24集视频依次上传,视频处理系统200可根据该配置参数对24个视频依次进行视频拆条,输出每集视频拆条后的短视频,该短视频中的内容为演员A的演出片段。应理解,上述举例用于说明,本申请不作具体限定。
拆条单元220用于输出多个短视频,其中,上述多个短视频是根据上述配置参数对视频进行拆条后获得的。具体实现中,拆条单元220可以将多个短视频输出至用户客户端100,也可以将多个短视频输出至存储服务器300,本申请不作具体限定。
具体实现中,视频处理系统200中可包括多个拆条模型230,一个拆条模型对应一种视频类型。拆条单元220可以根据配置接口获取的视频类型确定对应的拆条模型,使用该拆条模型对视频进行拆条,输出多个短视频。举例来说,视频类型可包括影视剧、综艺、新闻以及纪录片。拆条模型1对应影视剧类型,拆条模型2对应综艺类型,拆条模型3对应新闻类型,拆条模型4对应纪录片类型。
应理解,上述拆条模型可以是使用不同视频类型的样本集对机器学习模型进行训练后获得的,比如影视剧类型的样本集对机器学习模型进行训练后获得影视剧视频类型的拆条模型,新闻类型的样本集对机器学习模型进行训练后获得新闻视频类型的拆条模型,以此类推,获得多种视频类型的拆条模型。
需要说明的,不同视频类型的机器学习模型采用的模型结构可以相同或者不同,具体可根据各自对应的视频类型确定。比如应用场景类似的视频类型所采用的机器学习模型结构可以是类似的或者相同的,训练时使用的样本集对应各自的视频类型即可,从而减少模型搭建的工作量,提高拆条模型的准备效率。
举例来说,访谈节目和会议通常视频中的人物只有主持人和嘉宾(或者参会人员),并且主持人和嘉宾(或者参会人员)的动作不会有太大变化,访谈节目和会议的视频拆条通常不会注重于人物动作和场景变化,而是更注重于字幕或音频,那么该视频配型所采用的机器学习模型结构可侧重于语音文字特征的提取和识别,而不会侧重于图像识别,这两个视频类型的机器学习模型采用的模型结构可以是相同或者相似的。
再比如,综艺节目和影视剧通常会有很多人物,场景也是不断变化的,人物动作也是多变的,那么该视频类型所采用的机器学习模型结构可侧重于场景、人脸、动作特征的提取和识别,而不会侧重于语音文字识别。应理解,上述举例用于说明,本申请不作具体限定。
可选地,上述拆条模型可针对不同的拆条特征对视频进行拆条,举例来说,假设用户选择的视频类型为“综艺”,那么对应的拆条模型为综艺拆条模型,若用户选择的拆条特征为“人物”,上传的视频为选秀类综艺节目的一期视频,那么拆条特征可按照人物特征对进行拆条,获得的短视频可以是该综艺中选手A全部的演出片段。若用户选择的拆条特征为“动作”,那么拆条特征可按照动作特征对视频进行拆条,拆条后获得的短视频可以是该综艺中该动作出现的视频片段,比如该动作用户设置为“舞蹈”,那么拆条后获得的短视频可以是该综艺中舞蹈选手的演出合集,应理解,上述举例用于说明,本申请不作具体限定。
可选地,上述样本集包括样本输入数据和样本输出数据,其中,样本输入数据包括已知视频和已知特征,样本输出数据包括使用所述已知拆条特征对所述已知视频进行拆条后获得的多个已知短视频,训练好的拆条模型可根据用户输入的拆条特征对视频进行拆条。
应理解,对于同一个视频类型下,不同的用户进行视频拆条时的关注点也是不同的,比如综艺类型的视频,有的用户只想看自己喜爱的演员明星的演出片段,有的用户只想看跳舞片段,有的用户只想看演唱片段,本申请通过上述配置接口向用户获取需求的拆条特征,根据该拆条特征对视频进行拆条,可以满足用户多样化需求。
具体实现中,上述机器学习模型可包括但不限于比如卷积神经网络(convolutional neural networks,CNN)模型、长短期记忆网络(long short-termmemory,LSTM)模型、一阶段统一实时目标检测(you only look once:unified,real-timeobject detection,Yolo)模型、单镜头多盒检测器(single shot multi box detector,SSD)模型、区域卷积神经网络(region convolutional neural network,RCNN)模型或快速区域卷积神经网络(fast region convolutional neural network,Fast-RCNN)模型等,本申请不作具体限定。
可选地,每个视频类型下的拆条模型可包括多种速度拆条模型,其中,一个速度拆条模型对应一个拆条速度,拆条单元220可以根据配置接口获取的视频类型确定对应的拆条模型,然后根据配置接口获取的拆条速度确定该拆条模型对应的速度拆条模型,然后使用该速度拆条模型对视频进行拆条,获得多个短视频。具体实现中,每种视频类型下的多种速度拆条模型的结构可以相同也可以不同,具体可根据实际处理情况决定,本申请不作具体限定。
示例性地,图2是本申请提供的视频处理系统中存储的拆条模型示例图,如图2所示,图1所示的视频处理系统200中的多个拆条模型230可以是图2中拆条模型11、拆条模型12、拆条模型21和拆条模型22,其中,拆条模型11和拆条模型12的视频类型为类型1,拆条模型21和拆条模型22的视频类型为类型2,拆条模型11和拆条模型21的拆条速度为速度1,拆条模型12和拆条模型22的拆条速度为速度2。
其中,每个拆条模型可对应不同的视频类型和视频速度,可根据用户输入的配置参数选择对应的拆条模型进行视频拆条。每个拆条模型的输入数据包括待拆条的视频以及拆条特征,输出数据是使用该拆条特征对视频进行拆条后获得的多个短视频,比如拆条特征1和视频输入拆条模型11后,获得拆条特征1的多个短视频,拆条特征2和视频输入拆条模型11后,获得拆条特征2的多个短视频,以此类推,这里不一一展开赘述。举例来说,若用户通过配置接口选择的视频类型为视频类型1,拆条特征为拆条特征2,拆条速度为速度2,那么视频处理系统可根据用户输入的配置参数,选择图2中的拆条模型12,将拆条特征2和视频输入上述拆条模型12,即可获得拆条特征2的多个短视频。这样,最终输出的多个短视频是结合视频类型和用户所需要的拆条特征以及拆条速度对视频进行拆条后获得的,最大程度满足了用户的多样化需求,提高用户的使用体验。
应理解图2用于举例说明,视频处理系统200中的拆条模型230还可包括更多或者更少的视频类型、视频速度以及拆条特征,本申请不作具体限定。
综上可知,本申请提供的视频处理系统,通过配置接口获取用户输入的配置参数,该配置参数至少包括视频的视频类型,根据视频类型选择预先训练好的拆条模型对用户输入的视频进行拆条,输出拆条后的多个短视频,其中,该拆条模型与用户输入的视频类型呈对应关系,使得上述多个短视频可以满足用户的多样化需求,用户需要进行何种场景下的拆解就输入何种配置参数,从而实现一个多场景下通用的且符合用户需求的视频拆条模型,提高用户的使用体验。
图3是本申请提供的一种视频处理方法的步骤流程示意图,该方法可应用于如图1所示的视频处理系统200中,如图3所示,该方法可包括以下步骤:
步骤S310:视频处理系统200通过配置接口向用户获取配置参数和视频。其中,视频可以是用户需要进行拆条的长视频,比如一集电视剧、一期综艺节目、一次访谈录像、一部纪录片等等。
其中,视频处理系统200可部署于服务器或公有云中,该服务器可以是物理服务器、虚拟机、容器、边缘计算设备中的一种,具体的部署方式可参考图1实施例中关于视频处理系统200的描述,这里不重复赘述。
具体实现中,上述配置接口可以是用户与视频处理系统200进行交互的一个应用程序页面、网页页面或者API,视频处理系统200可以将该应用程序页面或者网页页面显示在客户端100的屏幕上,或者将API接口参数提供给用户,用户可使用该API接口参数将视频处理系统200集成到第三方系统进行二次开发。具体可参考图1实施例中关于配置接口的描述,这里不重复赘述。
可选地,该配置参数可包括视频类型,该视频类型可包括影视剧、综艺、新闻、纪录片、访谈、体育、动漫以及会议中的一种或者多种。应理解,视频类型的划分可根据用户的业务场景划分出更多的分类,这里不一一举例说明。用户需要对何种类型的视频进行视频拆条,就可以输入何种类型的视频类型,比如用户需要对影视剧视频进行视频拆条,那么就可以将视频类型选择为影视剧。
可选地,视频类型包括未知类型,其中,未知类型可以是指用户无法确定的视频类型,或者,未知类型可以是指用户没有输入视频类型,即配置接口未获取到视频类型。在视频类型为未知类型的情况下,视频处理系统200可以对视频进行类型检测,获得视频的检测类型。视频处理系统200可以根据配置参数和检测类型对视频进行拆条,输出多个短视频。
可选地,该配置参数还可包括拆条特征,该拆条特征可包括场景、人物、音频、字幕、动作、OCR以及外观中的一种或者多种。应理解,拆条特征可根据用户的业务场景划分出更多的特征类型,这里不一一举例说明。用户需要使用何种拆条特征对视频进行拆条,就可以输入何种类型的拆条特征,比如用户想要影视剧集中各个演员的全部片段,那么可以将人物作为拆条特征输入配置接口,或者用户想要对综艺节目视频中的跳舞片段,那么用户可以将动作作为拆条特征输入配置接口。
应理解,每个拆条特征还可以进行进步一步的细分,比如拆条特征“动作”可以进一步的细分为“跳舞”、“跑步”、“冲突”等等,“音频”可以进一步细分为“唱歌”、“争吵”等等,仍以上述例子为例,用户需要视频中“跳舞”片段,那么可以选择拆条特征中的“动作”,然后再选择“动作”大类下的“跳舞”特征,应理解,上述举例用于说明,本申请不作具体限定。
具体实现中,配置接口可以向用户展示多种拆条特征以供选择,若用户无法确定拆条特征或者用户没有进行拆条特征的选择,即配置接口未获取到拆条特征的情况下,视频处理系统200可以对视频进行检测,获得该视频的拆条特征,其中,该拆条特征可以是该种视频类型中最常用的特征类型,或者确定该中视频类型中该也用户历史输入的特征类型,然后根据该拆条特征对视频进行拆条,本申请不作具体限定。
可选地,该配置参数还可包括拆条速度,该拆条速度可以是速度数值或者速度范围,视频处理系统200可以根据用户输入的速度数值或者速度范围,确定拆条速度,该拆条速度可以是前设定好的范围,比如0~1s,1~5s,5~10s,10~15s,15s~20s,20~30s等等,举例来说,若用户输入的速度数值为3s,那么拆条速度可以是1~5s,如果用户输入的速度数值为4~8s,那么拆条速度可以是5~10s。
具体实现中,配置接口可以向用户展示提前设定好的拆条速度以供用户选择,若用户没有进行拆条速度的选择,视频处理系统200可以使用默认拆条速度或者用户历史拆条速度对视频进行拆条,本申请不作具体限定。
步骤S320:视频处理系统200输出多个短视频,其中,上述多个短视频是根据配置参数对视频进行拆条后获得的,视频处理系统200可以将多个短视频输出至客户端100,也可以将多个短视频输出至存储服务器300,本申请不作具体限定,其中,客户端100和存储服务器300的具体描述可参考图1实施例,这里不重复赘述。
具体实现中,视频处理系统200中可包括多个拆条模型,一个拆条模型对应一种视频类型。拆条单元220可以根据配置接口获取的视频类型确定对应的拆条模型,使用该拆条模型对视频进行拆条,输出多个短视频。
应理解,上述拆条模型可以是使用不同视频类型的样本集对机器学习模型进行训练后获得的,比如影视剧类型的样本集对机器学习模型进行训练后获得影视剧视频类型的拆条模型,新闻类型的样本集对机器学习模型进行训练后获得新闻视频类型的拆条模型,以此类推,获得多种视频类型的拆条模型。
需要说明的,不同视频类型的机器学习模型采用的模型结构可以相同或者不同,具体可根据各自对应的视频类型确定。比如应用场景类似的视频类型所采用的机器学习模型结构可以是类似的或者相同的,训练时使用的样本集对应各自的视频类型即可,从而减少模型搭建的工作量,提高拆条模型的准备效率。
具体实现中,在视频类型为未知类型的情况下,若视频处理系统200对视频进行类型检测成功获得了视频的检测类型,视频处理系统200可以使用该检测类型对应的拆条模型对视频进行拆条,输出多个短视频;若视频处理系统200对视频进行类型检测失败,未获得视频的检测类型,或者类型检测成功但是检测类型的置信度很低,此时可使用通用拆条模型对视频进行拆条,输出多个短视频,上述通用拆条模型可以是多种视频类型通用的拆条模型。
可选地,上述拆条模型可针对不同的拆条特征对视频进行拆条,举例来说,假设用户选择的视频类型为“综艺”,那么对应的拆条模型为综艺拆条模型,若用户选择的拆条特征为“人物”,上传的视频为选秀类综艺节目的一期视频,那么拆条特征可按照人物特征对进行拆条,获得的短视频可以是该综艺中选手A全部的演出片段。
可选地,上述样本集包括样本输入数据和样本输出数据,其中,样本输入数据包括已知视频和已知特征,样本输出数据包括使用所述已知拆条特征对所述已知视频进行拆条后获得的多个已知短视频,训练好的拆条模型可根据用户输入的拆条特征对视频进行拆条。
应理解,对于同一个视频类型下,不同的用户进行视频拆条时的关注点也是不同的,比如综艺类型的视频,有的用户只想看自己喜爱的演员明星的演出片段,有的用户只想看跳舞片段,有的用户只想看演唱片段,本申请通过上述配置接口向用户获取需求的拆条特征,根据该拆条特征对视频进行拆条,可以满足用户多样化需求。
具体实现中,上述机器学习模型可包括但不限于比如CNN、LSTM、Yolo模型、SSD模型、RCNN模型或Fast-RCNN模型等,本申请不作具体限定。
可选地,每个视频类型下的拆条模型可包括多种速度拆条模型,其中,一个速度拆条模型对应一个拆条速度,拆条单元220可以根据配置接口获取的视频类型确定对应的拆条模型,然后根据配置接口获取的拆条速度确定该拆条模型对应的速度拆条模型,然后使用该速度拆条模型对视频进行拆条,获得多个短视频。具体实现中,每种视频类型下的多种速度拆条模型的结构可以相同也可以不同,具体可根据实际处理情况决定,本申请不作具体限定。
示例性地,图2是本申请提供的视频处理系统中存储的拆条模型示例图,如图2所示,图1所示的视频处理系统200包括多种视频的拆条模型230,例如图2中拆条模型11、拆条模型12、拆条模型21和拆条模型22,其中,拆条模型11和拆条模型12的视频类型为类型1,拆条模型21和拆条模型22的视频类型为类型2,拆条模型11和拆条模型21的拆条速度为速度1,拆条模型12和拆条模型22的拆条速度为速度2。
其中,每个拆条模型可对应不同的视频类型和视频速度,可根据用户输入的配置参数选择对应的拆条模型进行视频拆条。每个拆条模型的输入数据包括待拆条的视频以及拆条特征,输出数据是使用该拆条特征对视频进行拆条后获得的多个短视频,比如拆条特征1和视频输入拆条模型11后,获得拆条特征1的多个短视频,拆条特征2和视频输入拆条模型11后,获得拆条特征2的多个短视频,以此类推,这里不一一展开赘述。举例来说,若用户通过配置接口选择的视频类型为视频类型1,拆条特征为拆条特征2,拆条速度为速度2,那么视频处理系统可根据用户输入的配置参数,选择图2中的拆条模型12,将拆条特征2和视频输入上述拆条模型12,即可获得拆条特征2的多个短视频。这样,最终输出的多个短视频是结合视频类型和用户所需要的拆条特征以及拆条速度对视频进行拆条后获得的,最大程度满足了用户的多样化需求,提高用户的使用体验。
应理解图2用于举例说明,视频处理系统200中的拆条模型230还可包括更多或者更少的视频类型、视频速度以及拆条特征,本申请不作具体限定。
综上可知,本申请提供的视频处理系统,通过配置接口获取用户输入的配置参数,该配置参数至少包括视频的视频类型,根据视频类型选择预先训练好的拆条模型对用户输入的视频进行拆条,输出拆条后的多个短视频,其中,该拆条模型与用户输入的视频类型呈对应关系,使得上述多个短视频可以满足用户的多样化需求,用户需要进行何种场景下的拆解就输入何种配置参数,从而实现一个多场景下通用的且符合用户需求的视频拆条模型,提高用户的使用体验。
为了使本申请能够被更好地理解,下面结合图4~图5所示的具体的应用场景,对上述步骤S310~步骤S320描述的步骤流程进行举例说明。
图4示例性的给出了一种配置接口的示例图,该配置接口为网页或者应用程序形态的console,该console可以是公有云平台的console,应理解,图4用于举例说明,本申请提供的方案中,该console也可以是非公有云平台的console,配置接口也可以是API形态,本申请不作具体限定。
如图4所示,该配置接口的网页或者应用程序界面至少包括视频类型选择区域410、拆条特征选择区域420、拆条速度选择区域430、上传视频区域440以及控件区域450。
其中,视频类型选择区域410用于供用户选择视频的视频类型,示例性的,图4中的视频类型选择区域410向用户展示了“影视剧”、“新闻”、“综艺节目”、“未知类型”等视频类型,应理解,配置接口还可以向用户展示更多的视频类型,比如向下拖拽图4中视频类型选择区域410中的进度拉条,可以展示更多种类的视频类型。
可选地,若用户不在视频类型选择区域410中选择视频类型,视频类型选择区域410可以将视频类型默认设置为“未知类型”选项,或者,用户无法确定视频类型,也可以在视频类型选择区域410中选择“未知类型”选项,视频处理系统200可以对用户上传的视频进行视频类型检测,根据检测类型和用户输入的配置参数(比如拆条特征和拆条速度)对视频进行拆条。
拆条特征选择区域420用于供用户选择视频的拆条特征,示例性地,图4中的拆条特征选择区域420向用户展示了“人物”、“场景”、“字幕”、“其他”等拆条特征,应理解,配置接口还可以向用户展示更多的拆条特征,比如向下拖拽图4中拆条特征选择区域420中的进度拉条,可以展示更多种类的拆条特征。
应理解,每个拆条特征还可以进行进步一步的细分,例如图4中,拆条特征“人物”还可进一步划分为“男演员”、“女演员”“上传演员照片”等等,若选择“男演员”作为拆条特征,对视频进行拆条后获得的多个短视频可以是视频中包括男演员的视频片段,若选择“女演员”作为拆条特征,对视频进行拆条后获得的多个短视频可以是视频中包括女演员的视频片段,若选择“上传演员照片”作为拆条特征,用户可以上传视频中某个演员的截图,对视频进行拆条后获得的多个短视频可以是包括该演员的视频片段。应理解,上述举例用于说明,本申请不作具体限定。
可选地,若用户不在拆条特征选择区域420中选择拆条特征,拆条特征选择区域420可以将拆条特征默认设置为“其他”选项,视频处理系统200可以对用户上传的视频进行检测,获得该视频的拆条特征,其中,该拆条特征可以是该种视频类型中最常用的特征类型,或者是该用户历史输入的特征类型,本申请不作具体限定。
拆条速度选择区域430用于供用户选择视频的拆条速度,示例性地,图4中的拆条速度选择区域430向用户展示了“0~1秒”、“2~5秒”、“6~10秒”、“11~15秒”、“其他”等拆条速度,应理解,配置接口还可以向用户展示更多的拆条速度,比如向下拖拽图4中拆条速度选择区域430中的进度拉条,可以展示更多种类的拆条速度。
可选地,若用户不在拆条速度选择区域430中选择拆条速度,拆条速度选择区域430可以将拆条速度默认设置为“其他”选项,视频处理系统200可以对用户上传的视频进行检测,获得该视频的拆条速度,其中,该拆条速度可以是该种视频类型和拆条特征下最常用的拆条速度,或者是该用户历史输入的拆条速度,本身不作具体限定。
上传视频区域440用于供用户上传视频,该视频是待拆条的长视频。可选地,若上述视频处理系统200部署于公有云,该视频是用户上传至对象存储服务(object storageservice,OBS)的视频,视频处理系统200可以从用户绑定的OBS桶中下载视频进行视频拆条,本身不对此进行具体限定。
控件区域450包括“保存配置”控件,以及“开始拆条”控件,其中,“保存配置”用于保存视频类型选择区域410、拆条特征选择区域420、拆条速度选择区域430中用户输入的参数配置,“开始拆条”控件用于响应用户的操作,开始使用上述参数配置对视频进行视频拆条。
示例性地,图4所示的配置接口中,用户输入的视频参数中,视频类型为“影视剧”,拆条特征为“上传演员照片”(假设上传的演员照片为演员A),拆条速度为“2~5秒”。那么视频处理系统200在该应用场景下的处理流程可以如图5所示。
图5是本申请提供的一种应用场景下的视频处理方法的步骤流程示意图,该应用场景可以是图4所示的应用场景。如图5所示,该方法可包括以下步骤:
步骤1.输入视频,其中,该视频是用户输入的待拆条的长视频。
步骤2.确定用户是否选择视频类型。在是的情况下确定用户选择视频类型对应的拆条模型,如图4所示的应用场景中用户选择的视频类型为“影视剧”,因此图5所示的流程图中步骤2确定的视频类型后执行步骤3。
在其他应用场景中,若用户未选择视频类型,即否的情况下,可执行步骤7、步骤8和步骤4。
步骤3.获取影视剧类型拆条模型,应理解,参考前述内容可知,视频处理系统200包括多个拆条模型,其中,一个拆条模型对应一个视频类型,图4所示的应用场景中用户选择的视频类型为“影视剧”,因此步骤3获取影视剧类型的拆条模型。
步骤4.确定用户是否选择拆条特征,在是的情况下执行步骤5,在否的情况下执行步骤9和步骤5。应理解,图4所示的应用场景中用户选择的拆条特征为“人物”,因此图5所示的流程图中步骤4确定的拆条特征为“人物”。
步骤5.确定用户是否选择拆条速度,在是的情况下,执行步骤6,在否的情况下执行步骤10和步骤6。应理解,图4所示的应用场景中用户选择的拆条速度为“2~5秒”,因此图5所示的流程图中步骤5确定的拆条速度为“2~5秒”。
步骤6.选择对应的拆条模型,对视频进行拆条。其中,步骤6选择的拆条模型与用户数据的配置参数对应,该配置参数包括“影视剧”(视频类型)、“人物”(拆条特征)和“2~5秒”(拆条速度)。
结合图2实施例可知,视频处理系统200包括多个拆条视频,每个拆条视频对应一种视频类型和拆条速度,影视剧类型下的拆条模型可包括“0~1秒”拆条速度对应的影视剧拆条模型,“2~5”秒拆条速度对应的影视剧拆条模型等,这里不一一举例说明。根据拆条速度可选择“2~5”秒拆条速度对应的影视剧拆条模型,使用该拆条模型对视频进行拆条。其中,该2~5”秒拆条速度对应的影视剧拆条模型在训练过程中,使用的样本集包括样本输入数据和样本输出数据,其中,样本输入数据包括已知视频和已知特征,样本输出数据包括使用所述已知拆条特征对所述已知视频进行拆条后获得的多个已知短视频,训练好的拆条模型可根据用户输入的拆条特征对视频进行拆条。
因此,将用户选择的拆条特征“人物”和用户上传的视频输入至上述“2~5”秒拆条速度对应的影视剧拆条模型之后,可以输出包含该人物的多个短视频,比如用户选择的是自行上传的演员A的图像,那么输出的多个短视频可以是包含演员A的多个短视频。
步骤7.检测视频类型,应理解,若用户在步骤2没有选择视频类型或者用户选择了未知类型,可执行步骤7对视频类型进行检测,在检测成功的情况下,执行步骤3和步骤4,确定检测类型对应的拆条模型,在检测失败的情况下,执行步骤8和步骤4。
步骤8.获取通用模型,可以理解的,一些视频的类别并不是非常清晰可能无法检测出视频的视频类型,此时可使用通用的拆条模型对视频进行检测。
步骤9.系统选择拆条特征,应理解,若用户在步骤4没有选择拆条特征,可执行步骤9,由系统检测出该视频类型下常用的拆条特征,或者该用户历史选择的拆条特征等等,然后执行步骤5。
步骤10.系统选择拆条速度。应理解,若用户在步骤5没有选择拆条速度,可执行步骤10,由系统检测出该视频类型和拆条特征下常用的拆条速度,或者该用户历史选择的拆条速度等等,然后执行步骤6。
应理解,图5用于举例说明,本申请不作具体限定。
综上可知,本申请提供的视频处理方法,通过配置接口获取用户输入的配置参数,该配置参数至少包括视频的视频类型,根据视频类型选择预先训练好的拆条模型对用户输入的视频进行拆条,输出拆条后的多个短视频,其中,该拆条模型与用户输入的视频类型呈对应关系,从而实现一个多场景下通用的且符合用户需求的视频拆条模型,提高用户的使用体验。
图6是本申请提供的一种计算设备的结构示意图,图1~图5实施例中描述的视频处理系统200可部署于图6所示的计算设备600上。
进一步地,计算设备600包括处理器601、存储单元602、存储介质603和通信接口604,其中,处理器601、存储单元602、存储介质603和通信接口604通过总线605进行通信,也通过无线传输等其他手段实现通信。
该计算设备可以是BMS、虚拟机或容器。其中,BMS指的是通用的物理服务器,例如,ARM服务器或者X86服务器;虚拟机指的是NFV技术实现的、通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的完整计算机系统,容器指的是一组受到资源限制,彼此间相互隔离的进程,计算设备还可以是边缘计算设备、存储服务器或者存储阵列,本申请不作具体限定。
处理器601由至少一个通用处理器构成,例如CPU、NPU或者CPU和硬件芯片的组合。上述硬件芯片是专用集成电路(Application-Specific Integrated Circuit,ASIC)、编程逻辑器件(Programmable Logic Device,PLD)或其组合。上述PLD是复杂编程逻辑器件(Complex Programmable Logic Device,CPLD)、现场编程逻辑门阵列(Field-Programmable Gate Array,FPGA)、通用阵列逻辑(Generic Array Logic,GAL)或其任意组合。处理器601执行各种类型的数字存储指令,例如存储在存储单元602中的软件或者固件程序,它能使计算设备600提供较宽的多种服务。
具体实现中,作为一种实施例,处理器601包括一个或多个CPU,例如图6中所示的CPU0和CPU1。
在具体实现中,作为一种实施例,计算设备600也包括多个处理器,例如图6中所示的处理器601和处理器606。这些处理器中的每一个可以是一个单核处理器(single-CPU),也可以是一个多核处理器(multi-CPU)。这里的处理器指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。
存储单元602用于存储程序代码,并由处理器601来控制执行,以执行上述图1-图6中任一实施例中视频处理系统200的处理步骤。程序代码中包括一个或多个软件单元,上述一个或多个软件单元是图1实施例中的获取单元和拆条单元,其中,获取单元用户向用户提供配置接口,拆条单元用于根据配置参数对视频进行拆条。具体实现方式参考图1~图5实施例,此处不再赘述。
存储单元602包括只读存储器和随机存取存储器,并向处理器601提供指令和数据。存储单元602还包括非易失性随机存取存储器。存储单元602是易失性存储器或非易失性存储器,或包括易失性和非易失性存储器两者。其中,非易失性存储器是只读存储器(read-only memory,ROM)、编程只读存储器(programmable ROM,PROM)、擦除编程只读存储器(erasable PROM,EPROM)、电擦除编程只读存储器(electrically EPROM,EEPROM)或闪存。易失性存储器是随机存取存储器(random access memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM用,例如静态随机存取存储器(static RAM,SRAM)、动态随机存取存储器(DRAM)、同步动态随机存取存储器(synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(double data date SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(direct rambus RAM,DRRAM)。还是硬盘(hard disk)、U盘(universal serial bus,USB)、闪存(flash)、SD卡(secure digital memory Card,SD card)、记忆棒等等,硬盘是硬盘驱动器(hard diskdrive,HDD)、固态硬盘(solid state disk,SSD)、机械硬盘(mechanical hard disk,HDD)等,本申请不作具体限定。
存储介质603是存储数据的载体,比如硬盘(hard disk)、U盘(universal serialbus,USB)、闪存(flash)、SD卡(secure digital memory Card,SD card)、记忆棒等等,硬盘可以是硬盘驱动器(hard disk drive,HDD)、固态硬盘(solid state disk,SSD)、机械硬盘(mechanical hard disk,HDD)等,本申请不作具体限定。
通信接口604为有线接口(例如以太网接口),为内部接口(例如高速串行计算机扩展总线(Peripheral Component Interconnect express,PCIe)总线接口)、有线接口(例如以太网接口)或无线接口(例如蜂窝网络接口或使用无线局域网接口),用于与其他服务器或单元进行通信。
总线605是快捷外围部件互联标准(Peripheral Component InterconnectExpress,PCIe)总线,或扩展工业标准结构(extended industry standard architecture,EISA)总线、统一总线(unified bus,Ubus或UB)、计算机快速链接(compute express link,CXL)、缓存一致互联协议(cache coherent interconnect for accelerators,CCIX)等。总线605分为地址总线、数据总线、控制总线等。
总线605除包括数据总线之外,还包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见,在图中将各种总线都标为总线605。
需要说明的,图6仅仅是本申请实施例的一种可能的实现方式,实际应用中,计算设备600还包括更多或更少的部件,这里不作限制。关于本申请实施例中未示出或未描述的内容,参见前述图1-图5实施例中的相关阐述,这里不再赘述。
本申请实施例提供一种计算机存储介质,该计算机存储介质中存储有指令;当该指令在计算设备上运行时,使得该计算设备执行上述图1~图5实施例描述的视频处理方法。
本申请实施例提供了一种包含指令的程序产品,包括程序或指令,当该程序或指令在计算设备上运行时,使得该计算设备执行上述图1~图5实施例描述的视频处理方法。
上述实施例,全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例全部或部分地以计算机程序产品的形式实现。计算机程序产品包括至少一个计算机指令。在计算机上加载或执行计算机程序指令时,全部或部分地产生按照本发明实施例的流程或功能。计算机为通用计算机、专用计算机、计算机网络、或者其他编程装置。计算机指令存储在计算机读存储介质中,或者从一个计算机读存储介质向另一个计算机读存储介质传输,例如,计算机指令从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。计算机读存储介质是计算机能够存取的任何用介质或者是包含至少一个用介质集合的服务器、数据中心等数据存储节点。用介质是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,高密度数字视频光盘(digital video disc,DVD)、或者半导体介质。半导体介质是SSD。
以上,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,轻易想到各种等效的修复或替换,这些修复或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (17)
1.一种视频处理方法,其特征在于,所述方法包括:
视频处理系统通过配置接口向用户获取配置参数和视频,所述配置参数包括所述视频的视频类型;
所述视频处理系统输出多个短视频,其中,所述多个短视频是根据所述配置参数对所述视频进行拆条后获得的。
2.根据权利要求1所述的方法,其特征在于,所述视频类型包括影视剧、综艺、新闻、纪录片、访谈、体育、动漫以及会议中的一种或者多种。
3.根据权利要求1或2所述的方法,其特征在于,所述配置参数还包括拆条特征,所述拆条特征包括场景、人物、音频、字幕、动作、光学字符识别OCR以及外观中的一种或者多种。
4.根据权利要求1至3任一权利要求所述的方法,其特征在于,所述配置参数还包括拆条速度。
5.根据权利要求1至4任一权利要求所述的方法,其特征在于,所述视频类型还包括未知类型,在所述视频类型为未知类型的情况下,所述方法还包括:
所述视频处理系统对所述视频进行类型检测,获得所述视频的检测类型;
所述视频处理系统输出多个短视频包括:
所述视频处理系统根据所述检测类型和所述配置参数对所述视频进行拆条,输出所述多个短视频。
6.根据权利要求1至3任一权利要求所述的方法,其特征在于,在所述配置接口未获取到所述用户输入的拆条特征的情况下,所述方法还包括:
所述视频处理系统对所述视频进行特征检测,获得所述视频的拆条特征,根据所述拆条特征对所述视频进行拆条。
7.根据权利要求1至6任一权利要求所述的方法,其特征在于,所述视频处理系统包括多个拆条模型,其中,一个拆条模型对应一种视频类型;
所述根据所述配置参数对所述视频进行拆条,输出拆条后的多个视频包括:
所述视频处理系统获取所述视频类型对应的拆条模型,将所述视频输入所述视频类型对应的拆条模型,输出拆条后获得的多个短视频。
8.根据权利要求7所述的方法,其特征在于,所述将所述视频输入所述视频类型对应的拆条模型获得所述拆条后的多个视频包括:
将所述视频和所述拆条特征输入所述视频类型对应的拆条模型,输出拆条后获得的多个短视频,其中,所述拆条模型是使用样本集对机器学习模型进行训练后获得的,所述样本集包括样本输入数据和样本输出数据,其中,所述样本输入数据包括已知视频和已知拆条特征,所述样本输出数据包括使用所述已知拆条特征对所述已知视频进行拆条后获得的多个已知短视频。
9.一种视频处理系统,其特在于,所述系统包括:
获取单元,用于通过配置接口向用户获取配置参数和视频,所述配置参数包括所述视频的视频类型;
拆条单元,用于输出多个短视频,其中,所述多个短视频是根据所述配置参数对所述视频进行拆条后获得的。
10.根据权利要求9所述的系统,其特征在于,所述视频类型包括影视剧、综艺、新闻、纪录片、访谈、体育、动漫以及会议中的一种或者多种。
11.根据权利要求9或10所述的系统,其特征在于,所述配置参数还包括拆条特征,所述拆条特征包括场景、人物、音频、字幕、动作、光学字符识别OCR以及外观中的一种或者多种。
12.根据权利要求9至11任一权利要求所述的系统,其特征在于,所述配置参数还包括拆条速度。
13.根据权利要求9至12任一权利要求所述的系统,其特征在于,所述系统还包括检测单元,所述视频类型包括未知类型,在所示视频类型为未知类型的情况下,所述检测单元,用于对所述视频进行类型检测,获得所述视频的检测类型;
所述拆条单元,用于根据所述检测类型和所述配置参数对所述视频进行拆条,输出所述多个短视频。
14.根据权利要求9至13任一权利要求所述的系统,其特征在于,在所述配置接口未获取到所述用户输入的拆条特征的情况下,所述检测单元,用于对所述视频进行特征检测,获得所述视频的拆条特征,根据所述拆条特征对所述视频进行拆条。
15.根据权利要求9至14任一权利要求所述的系统,其特征在于,所述视频处理系统包括多个拆条模型,其中,一个拆条模型对应一种视频类型;
所述拆条单元,用于获取所述视频类型对应的拆条模型,将所述视频输入所述视频类型对应的拆条模型,输出拆条后获得的多个短视频。
16.根据权利要求15所述的系统,其特征在于,所述拆条单元,用于将所述视频和所述拆条特征输入所述视频类型对应的拆条模型,输出拆条后获得的多个短视频,其中,所述拆条模型是使用样本集对机器学习模型进行训练后获得的,所述样本集包括样本输入数据和样本输出数据,其中,所述样本输入数据包括已知视频和已知特征,所述样本输出数据包括使用所述已知拆条特征对所述已知视频进行拆条后获得的多个已知短视频。
17.一种计算设备,其特征在于,所述计算设备包括处理器和存储器,所述存储器用于存储代码,所述处理器用于执行所述代码实现如权利要求1至8任一权利要求所述的方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210384788.5A CN116980644A (zh) | 2022-04-13 | 2022-04-13 | 一种视频处理方法、系统及相关设备 |
PCT/CN2023/081604 WO2023197814A1 (zh) | 2022-04-13 | 2023-03-15 | 一种视频处理方法、系统及相关设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210384788.5A CN116980644A (zh) | 2022-04-13 | 2022-04-13 | 一种视频处理方法、系统及相关设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116980644A true CN116980644A (zh) | 2023-10-31 |
Family
ID=88328835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210384788.5A Pending CN116980644A (zh) | 2022-04-13 | 2022-04-13 | 一种视频处理方法、系统及相关设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN116980644A (zh) |
WO (1) | WO2023197814A1 (zh) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108965920A (zh) * | 2018-08-08 | 2018-12-07 | 北京未来媒体科技股份有限公司 | 一种视频内容拆条方法及装置 |
CN110166828A (zh) * | 2019-02-19 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 一种视频处理方法和装置 |
KR20210062477A (ko) * | 2019-11-21 | 2021-05-31 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
CN113539304B (zh) * | 2020-04-21 | 2022-09-16 | 华为云计算技术有限公司 | 视频拆条方法和装置 |
CN111726682B (zh) * | 2020-06-30 | 2022-08-16 | 北京百度网讯科技有限公司 | 视频片段生成方法、装置、设备和计算机存储介质 |
CN112423151A (zh) * | 2020-11-17 | 2021-02-26 | 北京金山云网络技术有限公司 | 一种视频拆条方法、系统、装置、设备及存储介质 |
-
2022
- 2022-04-13 CN CN202210384788.5A patent/CN116980644A/zh active Pending
-
2023
- 2023-03-15 WO PCT/CN2023/081604 patent/WO2023197814A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
WO2023197814A1 (zh) | 2023-10-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11417341B2 (en) | Method and system for processing comment information | |
CN109408639B (zh) | 一种弹幕分类方法、装置、设备和存储介质 | |
US20190179852A1 (en) | Recommending and presenting comments relative to video frames | |
US20210342385A1 (en) | Interactive method and system of bullet screen easter eggs | |
CN113497945B (zh) | 基于云手机的直播和配置方法以及相关装置和系统 | |
CN111432235A (zh) | 直播视频生成方法、装置、计算机可读介质及电子设备 | |
US10929460B2 (en) | Method and apparatus for storing resource and electronic device | |
CN112929678B (zh) | 直播方法、装置、服务端及计算机可读存储介质 | |
CN106844705B (zh) | 用于显示多媒体内容的方法和装置 | |
CN104994401A (zh) | 弹幕处理方法、装置及系统 | |
US11706496B2 (en) | Echo bullet screen | |
CN107515870B (zh) | 一种搜索方法和装置、一种用于搜索的装置 | |
WO2023142917A1 (zh) | 一种视频生成方法、装置、设备、介质及产品 | |
JP2024528494A (ja) | アイテム処理方法、装置、機器及び媒体 | |
CN114679621A (zh) | 一种视频展示方法、装置及终端设备 | |
CN113589991A (zh) | 一种文本输入方法、装置、电子设备和存储介质 | |
CN110750659A (zh) | 媒体资源动态显示方法、装置及存储介质 | |
US12010405B2 (en) | Generating video summary | |
WO2022188563A1 (zh) | 动态封面设置方法和系统 | |
CN108848158B (zh) | 一种向移动终端推荐手机游戏的方法、装置和服务器 | |
CN116980644A (zh) | 一种视频处理方法、系统及相关设备 | |
CN117786159A (zh) | 文本素材获取方法、装置、设备、介质和程序产品 | |
KR102615377B1 (ko) | 방송 체험 서비스의 제공 방법 | |
CN111901629A (zh) | 生成、播放视频流的方法和装置 | |
WO2023035893A1 (zh) | 一种搜索处理方法、装置、设备、介质及程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |