CN110418191A - 一种短视频的生成方法及装置 - Google Patents
一种短视频的生成方法及装置 Download PDFInfo
- Publication number
- CN110418191A CN110418191A CN201910549540.8A CN201910549540A CN110418191A CN 110418191 A CN110418191 A CN 110418191A CN 201910549540 A CN201910549540 A CN 201910549540A CN 110418191 A CN110418191 A CN 110418191A
- Authority
- CN
- China
- Prior art keywords
- video
- user
- information
- short
- source video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000001491 myopia Diseases 0.000 title claims abstract description 76
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000003860 storage Methods 0.000 claims description 32
- 238000012545 processing Methods 0.000 claims description 27
- 230000000694 effects Effects 0.000 claims description 22
- 239000000284 extract Substances 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 15
- 238000009877 rendering Methods 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 description 34
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000003796 beauty Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005206 flow analysis Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本申请公开了提供了一种短视频的生成方法及装置，用于生成浏览和分享视频中用户关心的视频片段对应的短视频，缩减用户浏览和分享视频过程中的耗时，满足用户需求，提升用户体验。短视频的生成方法包括：对源视频中的视频内容进行分析，获取所述源视频中的元数据信息；对用户拍摄内容的特征进行分析，获取用户画像数据；根据所述源视频中的元数据信息和所述用户画像数据，对所述源视频中视频内容进行提取生成短视频。
Description
技术领域
本申请实施例涉及视频处理技术领域，尤其涉及一种短视频的生成方法及装置。
背景技术
随着各类移动终端的普及和移动社交媒体的发展，通过移动终端中携带的相机进行拍摄、浏览和分享视频已经是终端用户在使用移动终端过程中较为频繁的活动之一。
通常用户使用的移动终端中会同时存储有大量的图片和视频。在浏览视频的过程中，用户真正关注的只是整个视频中的一个或多个视频片段，而视频中其他部分的内容均不是用户所关注的。用户需要浏览整个视频才能浏览到用户真正关注的视频片段，整个视频浏览过程中需要消耗大量的时间和精力。同样，视频分享过程也需要基于视频浏览的基础上进行分享，也需要消耗大量的时间和精力，从而无论是视频浏览或视频分享均会极大的影响用户体验。
发明内容
为了解决上述存在的技术问题，本申请实施例提供了一种短视频的生成方法及装置，用于生成浏览和分享视频中用户关心的视频片段对应的短视频，缩减用户浏览和分享视频过程中的耗时，满足用户需求，提升用户体验。具体技术方案如下：
第一方面，本申请实施例提供了一种短视频的生成方法，包括：对源视频中的视频内容进行分析，获取所述源视频中的元数据信息；对用户拍摄内容的特征进行分析，获取用户画像数据；根据所述源视频中的元数据信息和所述用户画像数据，对所述源视频中视频内容进行提取生成短视频。可选的，用户画像指通过用户拍摄的图片、视频内容的理解，学习出用户拍摄内容的类型(人物、风景、美食、聚会等)、偏好(特定的人物较多、构图方式等)和习惯。
从上述第一方面的技术方案中可以看出：通过对源视频的视频内容本身进行分析得到源视频中的元数据信息，并结合用户拍摄内容的特征进行分析得到的用户画像数据，容易理解，从上述对视频内容本身的分析和对用户拍摄内容的特征分析(即是对用户拍摄偏好的分析)两者相结合，可以极大的获取源视频中用户所关心的内容，进而从源视频中提取出相应的视频片段以生成短视频。该短视频一方面包含用户所关心的内容，另一方面该短视频的时长短于源视频，因此，通过该短视频实现对源视频的浏览以及分享，不仅可以满足用户需求，还可以极大地提升用户体验。可选的，所述源视频可以是一个或多个视频。
在第一方面的一种可能的实现方式中，上述的元数据信息包括但不限于以下至少一项：人像区间信息、人声区间信息、事物分类标签信息、视频光流信息和美学评分信息。通过该种实现方式，可以从多个维度对源视频中的视频内容进行全面分析，从而提高获取到用户所关心内容的概率，更好地满足用户需求以及提升用户体验效果。其中人像区间信息包括但不限于人脸区间信息。
在第一方面的一种可能的实现方式中，上述的对源视频中的视频内容进行分析，获取所述源视频的元数据信息，具体可以包括：对所述源视频中的视频流进行分析，提取视频帧中的元数据信息；对所述源视频中的音频流进行分析，提取音频帧中的元数据信息，所述源视频的元数据信息包括：所述视频帧中的元数据信息和所述音频帧中的元数据信息。可选的，所述视频帧中的元数据信息具体可以包括但不限于以下至少一项：人像区间信息、事物分类标签信息、视频光流信息和美学评分信息。可选的，所述音频帧中的元数据信息具体可以包括但不限于以下至少一项：人声区间信息和背景音乐区间信息。可选的，上述对源视频中视频内容的分析方法包括但不限于：深度学习算法。通过该种实现方式，基于音频流和视频流两个方面对源视频进行分析，以提升对源视频的分析效果，获得更为准确的元数据信息，更好地满足用户需求以及提升用户体验效果。需要说明的是，该种实现方式中对源视频的视频内容的分析维度可以包括但不限于：视频流和音频流两个方面，还可以包括如下方面：视频主题和/或视频风格等，对此本申请不做任何限制。
在第一方面的一种可能的实现方式中，上述的对用户拍摄内容的特征进行分析，获取用户画像数据，具体可以包括：对用户相册中存储的图片和视频进行分析，提取所述图片和视频中的元数据信息；根据所述图片和视频中的元数据信息，分析用户拍摄内容的特征，以获取所述用户画像数据。可选的，用户画像数据可以包括但不限于：用户拍摄时所偏好的人和/或物对应的偏好信息。可选的，上述对用户拍摄内容的特征的分析方法包括但不限于：深度学习算法。在该种实现方式中，通过对用户相册中存储的图片和视频进行大数据分析，提取其中的元数据信息，可以更加准确地获取用户画像数据，准确分析用户的拍摄偏好，从而更好地满足用户需求以及提升用户体验效果。
在第一方面的一种可能的实现方式中，上述的根据所述源视频中的元数据信息和所述用户画像数据，对所述源视频中视频内容进行提取生成短视频，具体可以包括：利用所述源视频中的元数据信息和所述用户画像数据调整所述源视频中各元数据的权重；通过所述源视频中各元数据的权重，从所述源视频中选取符合预设时长的片段区间生成所述短视频。换言之，上述的根据所述源视频中的元数据信息和所述用户画像数据，对所述源视频中视频内容进行提取生成短视频具体可以是：利用源视频的视频内容分析出的元数据信息，结合用户画像数据调整源视频中各元数据的权重，通过优选策略选取符合时长的短视频，其中，优选策略是基于用户画像数据得到的用户拍摄偏好得到并用于筛选视频的策略。需要说明的是，上述方案可以具体用于默认精华片段时长或用户交互设定时长的场景下。
在该种实现方式中，通过对源视频中各元数据的权重进行调整以及作为短视频的生成依据之一，可以选取出用户较为关心的内容，提升短视频内容选择的准确性。
在第一方面的一种可能的实现方式中，上述的短视频的生成方法还可以包括：根据所述源视频中所述短视频部分的元数据信息，对所述短视频进行视频渲染效果处理。通过对短视频进行视频渲染效果处理，可以增强视频效果，获得用户体验效果更好的短视频。
第二方面，本申请实施例提供一种短视频生成装置，该视频生成装置可以包括终端设备或者芯片等实体，所述视频生成装置包括：处理器、存储器；所述存储器用于存储指令；所述处理器用于执行所述存储器中的所述指令，使得所述视频生成装置执行如前述第一方面所述的方法。
第三方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。
第四方面，本申请实施例提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的方法。
附图说明
图1为本申请实施例提供的短视频的生成方法的一个实施例流程图；
图2为本申请实施例中提供的通过视频内容分析结果选择视频优先区间的一个实施例示意图；
图3为本申请实施例提供的短视频生成装置的一个结构示意图；
图4为本申请实施例提供的短视频生成装置的另一种结构示意图；
图5为本申请实施例提供的短视频生成装置的又一种结构示意图。
具体实施方式
本申请实施例提供了一种短视频的生成方法及装置，用于生成浏览和分享视频中用户关心的视频片段对应的短视频，缩减用户浏览和分享视频过程中的耗时，满足用户需求，提升用户体验。
下面结合附图，对本申请的实施例进行描述。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
图1为本申请实施例提供的短视频的生成方法的一个实施例流程图。
如图1所示，本申请实施例中短视频的生成方法，包括：
101、对源视频中的视频内容进行分析，获取源视频中的元数据信息。
对源视频的视频内容进行分析(如智能分析)，提取源视频中的各类元数据信息。可选的，元数据信息具体可以包括以下至少一项：人像区间信息、人声区间信息、事物分类标签信息、视频光流信息和美学评分信息等。其中人像区间信息包括但不限于人脸区间信息。可选的，源视频可以是一个或多个视频。
具体的，在一种实施例方式中，对源视频中的视频内容进行分析的具体操作可以包括但不限于：对源视频中的视频流进行分析，提取视频帧中的元数据信息；对源视频中的音频流进行分析，提取音频帧中的元数据信息，源视频的元数据信息包括：视频帧中的元数据信息和音频帧中的元数据信息。可选的，视频帧中的元数据信息可以包括以下至少一项：人像区间信息、事物分类标签信息、视频光流信息和美学评分信息等；音频帧中的元数据信息具体可以包括但不限于以下至少一项：人声区间信息和背景音乐区间信息等。在某些应用场景下，还可以将源视频中分析获得的元数据信息进行存储。
在一种实施例方式中，上述对源视频中的视频内容进行智能分析具体可以通过深度学习算法实现。具体来说，视频流的分析方式可以是：抽取源视频中的视频帧，通过人脸检测、人脸聚类、物体检测、美学评分、光流分析等深度学习算法对抽取后的视频帧进行分析以得到识别结果，对上述识别结果进行整理合并得到视频流中的元数据信息，如人脸区间信息、事物分类标签信息、视频光流信息和美学评分信息等，其中视频光流信息也可以称之为快慢动作区间信息；音频流的分析方式可以是：通过音频处理算法如自然语言处理(natural language processing，NLP)算法提取音频流中的元数据信息，如人声区间信息和背景音乐区间信息等。
在上述对源视频中的视频流以及音频流进行分析之前，还需要对源视频进行预处理以将源视频中的视频流以及音频流分离出来，同时还可以将源视频的时长以及帧率等均分离出来，对此本申请不做任何限制。还需要说明的是，本申请实施例中源视频的数量可以是一个或多个，对此本申请实施例不做任何限制。还需要说明的是，上述的对源视频的视频内容的分析维度可以包括但不限于：视频流和音频流两个方面，还可以包括如下方面：视频主题和/或视频风格等，对此本申请不做任何限制。
具体的视频内容维度分类可以包括：1)、视频主题信息，如生日、聚会、毕业、夜游、运动、旅游、亲子、演出等；2)、视频风格信息，如欢乐、怀旧、轻快、俏皮等；3)、视频流信息，如上述的人像区间信息、事物分类标签信息、视频光流信息和美学评分信息等；4)、音频流信息，如上述的人声区间信息和背景音乐区间信息等；需要说明的是，本申请中所述的元数据信息还可以包括：上述的视频主题信息和视频风格信息等。
102、对用户拍摄内容的特征进行分析，获取用户画像数据。
对用户拍摄内容的特征进行分析(如智能分析)，获取用户画像数据，其中用户画像指通过用户拍摄的图片、视频内容的理解，学习出用户拍摄内容的类型(人物、风景、美食、聚会等)、偏好(特定的人物较多、构图方式等)和习惯，如，特定人像A的图片最多，则说明人像A是用户最关注的人，同样，特定物件B的图片最多，则说明物件B是用户最关注的物件。
具体的，在一种实施例方式中，对于用户摄内容的特征进行分析具体可以是对用户相册中存储的图片和视频进行分析。具体可以是，对用户相册中存储的图片和视频进行分析，提取图片和视频中的元数据信息，如人像(即上述的人脸)和标签(如上述的事物分类标签)等信息；基于图片和视频中提取到的元数据信息，分析用户拍摄内容的特征，以获取所述用户画像数据，例如基于图片和视频中提取的人像和标签信息，分析用户的拍摄偏好，以获取相应的用户画像数据。在某些应用场景下，还可以将获取到的用户画像数据进行存储。
在一种实施例方式中，与上述步骤101中对源视频中的视频内容的分析采用深度学习算法类似，对用户拍摄内容的特征的分析方法也可以采用但不限于深度学习算法。具体来说，对用户拍摄内容的特征的分析可以包括：通过深度学习算法对用户相册中存量图片、视频分析，提取图片、视频中的人像、标签等信息；对提取到的元数据信息的集合分类排序，提取出用户的拍摄偏好的人。在某些应用场景下，还可以根据上述的偏好信息，更新内容权重规则库；利用内容权重规则库，进一步提升用户视频内容优选策略。
103、根据源视频中的元数据信息和用户画像数据，对源视频中视频内容进行提取生成短视频。
在某些应用场景中，根据源视频中的元数据信息和用户画像数据，对源视频中视频内容进行提取生成短视频，具体可以是：结合源视频中的元数据信息和用户画像数据，按照优选策略提取源视频中的关键或精华内容，智能生成精选的短视频。其中优选策略可以包括根据上述的用户的偏好信息得到并用于筛选视频的策略。
具体来说，结合上述步骤101中所述的视频内容维度分类，源视频中的视频精华片段选取的总体策略(如优选策略)包括：1)、优先选择视频内容维度总权值最大的视频片段；2)、按照输出视频的时长要求，排序视频片段的权重值，选择符合上述输出时长的视频片段。
在一种实施例方式中，上述的根据源视频中的元数据信息和用户画像数据，对源视频中视频内容进行提取生成短视频，具体可以包括：利用源视频中的元数据信息和用户画像数据调整源视频中各元数据的权重；通过源视频中各元数据的权重，从源视频中选取符合预设时长的片段区间生成短视频。换言之，具体可以是：利用源视频的视频内容分析出的元数据信息，结合用户画像数据调整源视频中各元数据的权重，在默认精华片段时长或用户交互设定时长的场景下，通过优选策略选取符合时长的精华片段区间，以得到上述的短视频。
具体来说，结合上述步骤101中所述的视频内容维度分类，以及上述的视频精华片段选取的总体策略(如优选策略)，视频精华片段的选取具体可以根据以下步骤进行选择多维度选取：1)、设定每个维度识别结果的权重，其中可以通过用户画像数据，设定和更新各个维度的权重；2)、按照时间线扫描，选取包含最多维度的区间；3)、选择边界区间最大的区间为视频优先区间；4)、如果步骤2)中按照时间线扫描，存在多个相同维度的区间，按维度进行权重计算，将计算结果最大的区间作为视频优先区间。
图2为本申请实施例中提供的通过视频内容分析结果选择视频优先区间的一个实施例示意图。
如图2所示，对源视频进行分析得到相应的视频内容分析结果，如对源视频进行人脸区间识别，精华片段区间识别、快慢动作区间识别和人声区间识别等得到对应的识别结果。按照时间线扫描，根据上述各个识别结果选取出的视频优先区间如图2所示，其中图2中所述的“原视频”即为上述的源视频。
在本申请实施例中，通过对源视频的视频内容本身进行分析得到源视频中的元数据信息，并结合用户拍摄内容的特征进行分析得到的用户画像数据，从上述对视频内容本身的分析和对用户拍摄内容的特征分析(即是对用户拍摄偏好的分析)两者相结合，可以极大的获取源视频中用户所关心的内容，进而从源视频中提取出相应的视频片段以生成短视频。该短视频一方面包含用户所关心的内容，另一方面该短视频的时长短于源视频，因此，通过该短视频实现对源视频的浏览以及分享，不仅可以满足用户需求，还可以极大地提升用户体验。
本申请实施例中的短视频的生成方法还可以包括如下可选步骤104。
104、根据源视频中短视频部分的元数据信息，对短视频进行视频渲染效果处理。
利用源视频中短视频部分的元数据信息，对短视频进行视频渲染效果处理。其中视频渲染效果处理包括但不限于：1)、利用人像区间信息，放大视频中的人脸，和/或，使用滤镜对视频中的人脸进行过滤；2)、利用人声区间信息，在视频原声的基础上添加背景音乐；3)、利用视频光流信息(即快慢动作区间信息)，在视频中增加快慢动作播放效果。需要说明的是，上述步骤104可以通过但不限于视频播放编辑器实现，对比本申请不做任何限制。
本申请实施例中，通过对短视频进行视频渲染效果处理，可以增强视频效果，获得用户体验效果更好的短视频。
如上文中所述的源视频的数量可以是一个或者多个。为了加深对本申请实施例中短视频的生成方法的理解，下面结合单视频生成短视频和多视频生成短视频的应用场景对本申请实施例进行说明，具体如下：
一、单视频生成短视频
首先，利用源视频、视频分析精选后的精选片段的元数据信息，选取出各视频片段；最后，根据选出的各视频片段，结合源视频内容分析元数据信息，利用元数据信息，对视频片段实现后处理效果，最终生成带渲染效果增强处理后的精选短视频。
二、多视频生成短视频
针对用户一次出行拍了多个视频，需要总结生成单个精华的短视频便于浏览和分享；由于多视频总时长较长，提供用户交互选择短视频的长度，满足用户浏览和分享时长的要求：第一种：用户不设定精选视频时长时，默认所有精选片段生成精选的短视频内容；第二种：用户按不同分享要求，设置短视频时长时，排序精选视频片段的权值，选择符合满足总时长的片段。
上述的描述中对本申请实施例中短视频的生成方法进行了详细描述，下面对本申请实施例中提供的用于生成短视频的装置进行详细描述。
图3为本申请实施例提供的短视频生成装置的一个结构示意图。
如图3所示，本申请实施例中用于生成短视频的装置300，包括：处理模块301，处理模块301用于执行以下步骤：对源视频中的视频内容进行分析，获取所述源视频中的元数据信息；对用户拍摄内容的特征进行分析，获取用户画像数据；根据所述源视频中的元数据信息和所述用户画像数据，对所述源视频中视频内容进行提取生成短视频。
在一种可能的实现方式中，处理模块301具体用于：对所述源视频中的视频流进行分析，提取视频帧中的元数据信息；对所述源视频中的音频流进行分析，提取音频帧中的元数据信息，所述源视频的元数据信息包括：所述视频帧中的元数据信息和所述音频帧中的元数据信息。
在一种可能的实现方式中，处理模块301具体用于：对用户相册中存储的图片和视频进行分析，提取所述图片和视频中的元数据信息；根据所述图片和视频中的元数据信息，分析用户拍摄内容的特征，以获取所述用户画像数据。
在一种可能的实现方式中，处理模块301具体用于：利用所述源视频中的元数据信息和所述用户画像数据调整所述源视频中各元数据的权重；通过所述源视频中各元数据的权重，从所述源视频中选取符合预设时长的片段区间生成所述短视频。
在一种可能的实现方式中，所述元数据信息包括以下至少一项：人像区间信息、人声区间信息、背景音乐区间信息、事物分类标签信息、视频光流信息和美学评分信息。
在一种可能的实现方式中，处理模块301还用于：根据所述源视频中所述短视频部分的元数据信息，对所述短视频进行视频渲染效果处理。
需要说明的是，上述图1中所述的短视频的生成方法中的所有操作均可以援引到上述图3中所述的处理模块301中执行，换言之，上述图3中所述的处理模块301可以执行上述图1中所述的短视频的生成方法中的所有操作。
上述的图3中介绍了短视频生成装置的一种结构示意图，下面结合图4介绍短视频生成装置的另一种结构示意图。
图4为本申请实施例提供的短视频生成装置的另一种结构示意图。
如图4所示，本申请实施例中的短视频生成装置400包括：视频预处理模块401、视频内容分析模块402、用户拍摄内容特征分析模块403、视频内容优先模块404、元数据信息存储模块405、视频预览模块406和视频存储模块407。
其中，视频预处理模块401用于：对源视频进行预处理以将源视频中的视频流以及音频流分离出来，同时还可以将源视频的时长以及帧率等均分离出来；视频内容分析模块402用于：执行上述步骤101中对源视频中的视频内容进行分析，获取源视频中的元数据信息对应的操作；用户拍摄内容特征分析模块403用于：执行上述步骤102中对用户拍摄内容的特征进行分析，获取用户画像数据对应的所有操作；视频内容优先模块404用于：执行上述步骤103中根据源视频中的元数据信息和用户画像数据，对源视频中视频内容进行提取生成短视频对应的操作；元数据信息存储模块405用于：存储源视频中的元数据信息以及用户画像数据等；视频预览模块406用于：执行上述步骤104中根据源视频中短视频部分的元数据信息，对短视频进行视频渲染效果处理对应的操作以及对短视频进行预览；视频存储模块407用于：存储生成后的短视频，以便后续提供给用户进行浏览和分享。上述元数据信息存储模块405和视频存储模块407既可以采用相同的物理存储介质实现，也可以采用不同的物理存储介质实现，对此本申请实施例中不做任何限制。
需要说明的是，上述装置各模块/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其带来的技术效果与本申请方法实施例相同，具体内容可参见本申请前述所示的方法实施例中的叙述，此处不再赘述。
本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储有程序，该程序执行包括上述方法实施例中记载的部分或全部步骤。
接下来介绍本申请实施例中提供的另一种短视频生成装置，该装置可以是终端，也可以是设置于终端中的芯片。
以终端为例，结合图5对本申请实施例中的另一种短视频生成装置进行说明。
如图5所示，本申请实施例中的终端500包括：接收器501、发射器502、处理器503和存储器504(其中终端500中的处理器503的数量可以一个或多个，图5中以一个处理器为例)。在本申请的一些实施例中，接收器501、发射器502、处理器503和存储器504可通过总线或其它方式连接，其中，图5中以通过总线连接为例。
存储器504可以包括只读存储器和随机存取存储器，并向处理器503提供指令和数据。存储器504的一部分还可以包括非易失性随机存取存储器(non-volatile randomaccess memory，NVRAM)。存储器504存储有操作系统和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。操作系统可包括各种系统程序，用于实现各种基础业务以及处理基于硬件的任务。
处理器503控制终端的操作，处理器503还可以称为中央处理单元(centralprocessing unit，CPU)。具体的应用中，终端的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。
上述本申请实施例揭示的方法可以应用于处理器503中，或者由处理器503实现。处理器503可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器503中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器503可以是通用处理器、数字信号处理器(digital signal processing，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器504，处理器503读取存储器504中的信息，结合其硬件完成上述方法的步骤。
接收器501可用于接收输入的数字或字符信息，以及产生与终端的相关设置以及功能控制有关的信号输入，发射器502可包括显示屏等显示设备，发射器502可用于通过外接接口输出数字或字符信息。
本申请实施例中，处理器503具体可以是上述图3中处理模块301，用于执行上述图1中所述的方法实施例中的所有操作。
在另一种可能的设计中，短视频生成装置为芯片，该芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使该终端内的芯片执行上述第一方面任意一项的无线通信方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述终端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。
其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述第一方面方法的程序执行的集成电路。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
Claims (13)
1.一种短视频的生成方法，其特征在于，包括：
对源视频中的视频内容进行分析，获取所述源视频中的元数据信息；
对用户拍摄内容的特征进行分析，获取用户画像数据；
根据所述源视频中的元数据信息和所述用户画像数据，对所述源视频中视频内容进行提取生成短视频。
2.根据权利1所述的方法，其特征在于，所述对源视频中的视频内容进行分析，获取所述源视频的元数据信息，包括：
对所述源视频中的视频流进行分析，提取视频帧中的元数据信息；
对所述源视频中的音频流进行分析，提取音频帧中的元数据信息，所述源视频的元数据信息包括：所述视频帧中的元数据信息和所述音频帧中的元数据信息。
3.根据权利要求1或2所述的方法，其特征在于，所述对用户拍摄内容的特征进行分析，获取用户画像数据，包括：
对用户相册中存储的图片和视频进行分析，提取所述图片和视频中的元数据信息；
根据所述图片和视频中的元数据信息，分析用户拍摄内容的特征，以获取所述用户画像数据。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述源视频中的元数据信息和所述用户画像数据，对所述源视频中视频内容进行提取生成短视频，包括：
利用所述源视频中的元数据信息和所述用户画像数据调整所述源视频中各元数据的权重；
通过所述源视频中各元数据的权重，从所述源视频中选取符合预设时长的片段区间生成所述短视频。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述元数据信息包括以下至少一项：人像区间信息、人声区间信息、背景音乐区间信息、事物分类标签信息、视频光流信息和美学评分信息。
6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：根据所述源视频中所述短视频部分的元数据信息，对所述短视频进行视频渲染效果处理。
7.一种短视频生成装置，其特征在于，包括：
处理模块，用于：对源视频中的视频内容进行分析，获取所述源视频中的元数据信息；对用户拍摄内容的特征进行分析，获取用户画像数据；根据所述源视频中的元数据信息和所述用户画像数据，对所述源视频中视频内容进行提取生成短视频。
8.根据权利要求7中所述的装置，其特征在于，所述处理模块具体用于：
对所述源视频中的视频流进行分析，提取视频帧中的元数据信息；
对所述源视频中的音频流进行分析，提取音频帧中的元数据信息，所述源视频的元数据信息包括：所述视频帧中的元数据信息和所述音频帧中的元数据信息。
9.根据权利要求7或8所述的装置，其特征在于，所述处理模块具体用于：
对用户相册中存储的图片和视频进行分析，提取所述图片和视频中的元数据信息；
根据所述图片和视频中的元数据信息，分析用户拍摄内容的特征，以获取所述用户画像数据。
10.根据权利要求7至9中任一项所述的装置，其特征在于，所述处理模块具体用于：
利用所述源视频中的元数据信息和所述用户画像数据调整所述源视频中各元数据的权重；
通过所述源视频中各元数据的权重，从所述源视频中选取符合预设时长的片段区间生成所述短视频。
11.根据权利要求7至10中任一项所述的装置，其特征在于，所述元数据信息包括以下至少一项：人像区间信息、人声区间信息、背景音乐区间信息、事物分类标签信息、视频光流信息和美学评分信息。
12.根据权利要求7至11中任一项所述的装置，所述处理模块还用于：
根据所述源视频中所述短视频部分的元数据信息，对所述短视频进行视频渲染效果处理。
13.一种短视频生成装置，其特征在于，包括：
处理单元和存储单元，所述存储单元用于存储计算机操作指令；
所述处理单元用于，通过调用所述计算机操作指令执行如权利要求1至6中任一项所述的短视频的生成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910549540.8A CN110418191A (zh) | 2019-06-24 | 2019-06-24 | 一种短视频的生成方法及装置 |
| PCT/CN2020/097520 WO2020259449A1 (zh) | 2019-06-24 | 2020-06-22 | 一种短视频的生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910549540.8A CN110418191A (zh) | 2019-06-24 | 2019-06-24 | 一种短视频的生成方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110418191A true CN110418191A (zh) | 2019-11-05 |
Family
ID=68359639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910549540.8A Pending CN110418191A (zh) | 2019-06-24 | 2019-06-24 | 一种短视频的生成方法及装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110418191A (zh) |
| WO (1) | WO2020259449A1 (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111083138A (zh) * | 2019-12-13 | 2020-04-28 | 北京秀眼科技有限公司 | 短视频制作系统、方法、电子设备及可读存储介质 |
| CN111083525A (zh) * | 2019-12-27 | 2020-04-28 | 恒信东方文化股份有限公司 | 一种自动生成智能影像的方法及其系统 |
| WO2020259449A1 (zh) * | 2019-06-24 | 2020-12-30 | 华为技术有限公司 | 一种短视频的生成方法及装置 |
| CN113259708A (zh) * | 2021-04-06 | 2021-08-13 | 阿里健康科技(中国)有限公司 | 基于短视频介绍商品的方法、计算机设备和介质 |
| WO2021169459A1 (zh) * | 2020-02-27 | 2021-09-02 | 北京百度网讯科技有限公司 | 短视频的生成方法、平台、电子设备及存储介质 |
| CN115243107A (zh) * | 2022-07-08 | 2022-10-25 | 华人运通(上海)云计算科技有限公司 | 短视频播放的方法、装置、系统、电子设备和介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1842867A (zh) * | 2003-06-27 | 2006-10-04 | 株式会社Kt | 使用模糊一级支持向量机的自动视频摘要装置和方法 |
| CN102184221A (zh) * | 2011-05-06 | 2011-09-14 | 北京航空航天大学 | 一种基于用户偏好的实时视频摘要生成方法 |
| US20120201519A1 (en) * | 2011-02-03 | 2012-08-09 | Jennifer Reynolds | Generating montages of video segments responsive to viewing preferences associated with a video terminal |
| US20160189753A1 (en) * | 2013-06-07 | 2016-06-30 | Robert William Mangold | System and process for creating multiple unique versions of a video for placement on unique generated web pages and video-sharing web sites |
| CN107436921A (zh) * | 2017-07-03 | 2017-12-05 | 李洪海 | 视频数据处理方法、装置、设备及存储介质 |
| CN107566907A (zh) * | 2017-09-20 | 2018-01-09 | 广东欧珀移动通信有限公司 | 视频剪辑方法、装置、存储介质及终端 |
| US9961380B1 (en) * | 2017-01-19 | 2018-05-01 | International Business Machines Corporation | Video segment manager |
| CN108038161A (zh) * | 2017-12-06 | 2018-05-15 | 北京奇虎科技有限公司 | 基于相册的信息推荐方法、装置及计算设备 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090003712A1 (en) * | 2007-06-28 | 2009-01-01 | Microsoft Corporation | Video Collage Presentation |
| CN103813215A (zh) * | 2012-11-13 | 2014-05-21 | 联想(北京)有限公司 | 一种信息采集的方法及电子设备 |
| US10157638B2 (en) * | 2016-06-24 | 2018-12-18 | Google Llc | Collage of interesting moments in a video |
| CN110418191A (zh) * | 2019-06-24 | 2019-11-05 | 华为技术有限公司 | 一种短视频的生成方法及装置 |
-
2019
- 2019-06-24 CN CN201910549540.8A patent/CN110418191A/zh active Pending
-
2020
- 2020-06-22 WO PCT/CN2020/097520 patent/WO2020259449A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1842867A (zh) * | 2003-06-27 | 2006-10-04 | 株式会社Kt | 使用模糊一级支持向量机的自动视频摘要装置和方法 |
| US20120201519A1 (en) * | 2011-02-03 | 2012-08-09 | Jennifer Reynolds | Generating montages of video segments responsive to viewing preferences associated with a video terminal |
| CN102184221A (zh) * | 2011-05-06 | 2011-09-14 | 北京航空航天大学 | 一种基于用户偏好的实时视频摘要生成方法 |
| US20160189753A1 (en) * | 2013-06-07 | 2016-06-30 | Robert William Mangold | System and process for creating multiple unique versions of a video for placement on unique generated web pages and video-sharing web sites |
| US9961380B1 (en) * | 2017-01-19 | 2018-05-01 | International Business Machines Corporation | Video segment manager |
| CN107436921A (zh) * | 2017-07-03 | 2017-12-05 | 李洪海 | 视频数据处理方法、装置、设备及存储介质 |
| CN107566907A (zh) * | 2017-09-20 | 2018-01-09 | 广东欧珀移动通信有限公司 | 视频剪辑方法、装置、存储介质及终端 |
| CN108038161A (zh) * | 2017-12-06 | 2018-05-15 | 北京奇虎科技有限公司 | 基于相册的信息推荐方法、装置及计算设备 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020259449A1 (zh) * | 2019-06-24 | 2020-12-30 | 华为技术有限公司 | 一种短视频的生成方法及装置 |
| CN111083138A (zh) * | 2019-12-13 | 2020-04-28 | 北京秀眼科技有限公司 | 短视频制作系统、方法、电子设备及可读存储介质 |
| CN111083138B (zh) * | 2019-12-13 | 2022-07-12 | 北京秀眼科技有限公司 | 短视频制作系统、方法、电子设备及可读存储介质 |
| CN111083525A (zh) * | 2019-12-27 | 2020-04-28 | 恒信东方文化股份有限公司 | 一种自动生成智能影像的方法及其系统 |
| CN111083525B (zh) * | 2019-12-27 | 2022-01-11 | 恒信东方文化股份有限公司 | 一种自动生成智能影像的方法及其系统 |
| WO2021169459A1 (zh) * | 2020-02-27 | 2021-09-02 | 北京百度网讯科技有限公司 | 短视频的生成方法、平台、电子设备及存储介质 |
| CN113259708A (zh) * | 2021-04-06 | 2021-08-13 | 阿里健康科技(中国)有限公司 | 基于短视频介绍商品的方法、计算机设备和介质 |
| CN115243107A (zh) * | 2022-07-08 | 2022-10-25 | 华人运通(上海)云计算科技有限公司 | 短视频播放的方法、装置、系统、电子设备和介质 |
| CN115243107B (zh) * | 2022-07-08 | 2023-11-21 | 华人运通(上海)云计算科技有限公司 | 短视频播放的方法、装置、系统、电子设备和介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020259449A1 (zh) | 2020-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110418191A (zh) | 一种短视频的生成方法及装置 | |
| US9715731B2 (en) | Selecting a high valence representative image | |
| US10928972B2 (en) | Hierarchical, zoomable presentations of media sets | |
| US10140675B2 (en) | Image grid with selectively prominent images | |
| US11736769B2 (en) | Content filtering in media playing devices | |
| CN111078939B (zh) | 提取并提供视频内容中精彩图像的方法、系统及记录介质 | |
| CN109145784B (zh) | 用于处理视频的方法和装置 | |
| US10438094B1 (en) | Automatic suggestion to share images | |
| US20170316256A1 (en) | Automatic animation triggering from video | |
| WO2021190078A1 (zh) | 短视频的生成方法、装置、相关设备及介质 | |
| US8649573B1 (en) | Method and apparatus for summarizing video data | |
| US10276213B2 (en) | Automatic and intelligent video sorting | |
| CN108449642A (zh) | 一种视频评论的筛选显示方法、装置和终端设备 | |
| CN109725948A (zh) | 一种动画资源的配置方法及装置 | |
| Vonikakis et al. | A probabilistic approach to people-centric photo selection and sequencing | |
| WO2018026741A1 (en) | Personalized image collections | |
| CN112785488A (zh) | 一种图像处理方法、装置、存储介质及终端 | |
| US20180268049A1 (en) | Providing a heat map overlay representative of user preferences relating to rendered content | |
| Mejjati et al. | Look here! a parametric learning based approach to redirect visual attention | |
| US10885619B2 (en) | Context-based imagery selection | |
| US20180075879A1 (en) | Method, System, and Apparatus for Generating Video Content | |
| Kuzovkin et al. | Image selection in photo albums | |
| CN112424792A (zh) | 基于美学的肖像图像评估 | |
| US9961275B2 (en) | Method, system, and apparatus for operating a kinetic typography service | |
| EP4139767A1 (en) | Graph based method of next pitch prediction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191105 |