CN109040619A - 一种视频融合方法和装置 - Google Patents
一种视频融合方法和装置 Download PDFInfo
- Publication number
- CN109040619A CN109040619A CN201810974130.3A CN201810974130A CN109040619A CN 109040619 A CN109040619 A CN 109040619A CN 201810974130 A CN201810974130 A CN 201810974130A CN 109040619 A CN109040619 A CN 109040619A
- Authority
- CN
- China
- Prior art keywords
- video
- fused
- style
- fusion
- role
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 16
- 230000004927 fusion Effects 0.000 claims abstract description 72
- 239000000284 extract Substances 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 6
- 239000012634 fragment Substances 0.000 claims description 4
- 230000010354 integration Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
本发明公开了一种视频融合方法和装置，其中，所述视频融合方法包括：响应于视频融合指令，获取至少两个待融合视频；针对任意一个待融合视频，从所述待融合视频中提取角色特征和风格特征；融合所述至少两个待融合视频的角色特征得到角色融合特征；和融合所述至少两个待融合视频的风格特征得到风格融合特征；根据所述角色融合特征和风格融合特征生成目标视频。通过融合所述至少两个待融合视频的角色特征得到角色融合特征，进而根据所述角色融合特征和风格融合特征生成目标视频，实现了多个视频中各维度特征的融合，以呈现出内容更加丰富的目标视频，提高用户体验。
Description
技术领域
本发明涉及人工智能领域，特别涉及一种视频融合方法和装置。
背景技术
视频融合技术是虚拟现实技术的一个分支，也可以说是虚拟现实的一个发展阶段。视频融合技术指将一个或多个由视频采集设备采集的关于某场景或模型的图像序列视频与一个与之相关的虚拟场景加以融合，以生成一个新的关于此场景的虚拟场景或模型。
这个模型中因为视频的加入得到一个无论是虚拟场景还是视频本身都无法单独完成的信息结合体。视频融合的目的是增加虚拟场景与现实的互动性，减小计算机模型中信息不确定因素，增加虚拟模型的信息承载量，为现实与虚拟之间架起一座桥梁，拓展虚拟现实技术的应用领域。
发明内容
本发明要解决的技术问题是提供一种视频融合方法，以实现多个视频中特征的融合，以呈现出内容更加丰富的目标视频。
为了解决上述技术问题，本发明的技术方案为一种视频融合方法，具体包括：
响应于视频融合指令，获取至少两个待融合视频；
针对任意一个待融合视频，从所述待融合视频中提取角色特征和风格特征；
融合所述至少两个待融合视频的角色特征得到角色融合特征；和融合所述至少两个待融合视频的风格特征得到风格融合特征；
根据所述角色融合特征和风格融合特征生成目标视频。
在上述实施例的基础上，针对任意一个待融合视频，从所述待融合视频中提取角色特征和风格特征之前，还包括：
根据用户的选择确定所述目标视频的场景特征；
对应的，所述根据所述角色融合特征和风格融合特征生成目标视频，包括：
根据所述角色融合特征、所述风格融合特征和所述场景特征得到目标视频。
在上述实施例的基础上，所述针对任意一个待融合视频，从所述待融合视频中提取角色特征和风格特征，还包括：
针对任意一个待融合视频，从待融合视频中提取关键帧；
从关键帧中提取多个角色特征片段和多个风格特征片段；
整合所述多个角色特征片段得到角色特征；和整合所述多个风格特征片段得到风格特征。
在上述实施例的基础上，所述针对任意一个待融合视频，从所述待融合视频中提取角色特征和风格特征，之前，还包括；
预处理所述待融合视频。
依照相同的思路，本发明还提供了一种视频融合装置，具体为：
获取模块，用于响应于视频融合指令，获取至少两个待融合视频；
提取模块，用于针对任意一个待融合视频，从所述待融合视频中提取角色特征和风格特征；
融合模块，用于融合所述至少两个待融合视频的角色特征得到角色融合特征；和融合所述至少两个待融合视频的风格特征得到风格融合特征；
视频生成模块，用于根据所述角色融合特征和风格融合特征生成目标视频。
在上述实施例的基础上，场景特征确定模块，用于根据用户的选择确定所述目标视频的场景特征；
对应的，所述融合模块包括多类融合单元，用于根据所述角色融合特征、所述风格融合特征和所述场景特征得到目标视频。
在上述实施例的基础上，所述提取模块包括：
提取关键帧单元，用于针对任意一个待融合视频，从待融合视频中提取关键帧；
特征片段提取单元，用于从关键帧中提取多个角色特征片段和多个风格特征片段；
特征整合单元，用于整合所述多个角色特征片段得到角色特征；和整合所述多个风格特征片段得到风格特征。
在上述实施例的基础上，视频融合装置还包括：
预处理模块，用于预处理所述待融合视频。
本发明实施例提供的一种视频融合方法和装置，通过融合所述至少两个待融合视频的角色特征得到角色融合特征，进而根据所述角色融合特征和风格融合特征生成目标视频，实现了多个视频中各维度特征的融合，以呈现出内容更加丰富的目标视频，提高用户体验。
附图说明
图1为本发明实施例一提供的一种视频融合方法的流程图；
图2为本发明实施例三提供的一种视频融合装置的结构示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
实施例一
图1为本发明实施例一提供的一种视频融合方法的流程图，本实施例可以适用于：通过融合所述至少两个待融合视频的角色特征得到角色融合特征，进而根据所述角色融合特征和风格融合特征生成目标视频的情况。该方法可以由一种视频融合装置来执行，该装置可以通过软件和/或硬件的方式实现，并集成在是智能设备中。
其中，视频融合技术可以分为三个层次，即预处理、信息融合与应用层。预处理技术主要用来对视频图像进行几何校正、噪声消除、色彩；亮度调整及配准等等。视频图像配准是指找到视频图像与三维虚拟场景的最大相关，以消除图像在空间、相位和分辨率等方向的信息差异，达到融合更真实，信息更准确的目的。
本实施例通过的方法具体包括如下步骤：
S110、响应于视频融合指令，获取至少两个待融合视频。
其中,所述视频融合指令由用户通过移动终端发出，同时开始待融合视频的获取操作。所述待融合视频可以是由不同的用户上传，并想要通过融合待融合视频得到一个可以包括待融合视频中的所有视频对象、且视频对象可以发生关联的视频。
S120、针对任意一个待融合视频，从所述待融合视频中提取角色特征和风格特征。
其中，所述角色特征用于表示待融合视频中出现的所有角色，例如视频中的主人公。所述风格特征用于表示待融合视频中视频剧情和色彩风格。本实施例中可以通过预先训练好的卷积神经网络提取所述角色特征和风格特征。
S130、融合所述至少两个待融合视频的角色特征得到角色融合特征；和融合所述至少两个待融合视频的风格特征得到风格融合特征。
本实施例中，在提取到所述角色特征和风格特征后，会针对所述至少两个待融合视频中的角色特征和风格特征分别进行融合，进而得到可以包括待融合视频中的全部角色的角色融合特征，得到与多个待融合视频的视频风格(或剧情风格)。
S140、根据所述角色融合特征和风格融合特征生成目标视频。
其中，所述目标视频即通过融合待融合视频所得到的结果，其基于所述角色融合特征和风格融合特征生成。在目标视频中可以看到待融合视频中的所有角色，以及与待融合视频相关的视频风格。
本发明实施例提供的一种视频融合方法和装置，通过融合所述至少两个待融合视频的角色特征得到角色融合特征，进而根据所述角色融合特征和风格融合特征生成目标视频，实现了多个视频中各维度特征的融合，以呈现出内容更加丰富的目标视频，提高用户体验。
实施例二
在实施例一的基础上，本实施例还可以为用户提供场景特征选项，所述视频融合方法可以根据用户的选择确定所述目标视频的场景特征、色融合特征和风格融合特征得到目标视频。以得到与用户需求相匹配的目标视频。
具体的，所述视频融合方法包括：
S210、响应于视频融合指令，获取至少两个待融合视频。
S220、根据用户的选择确定所述目标视频的场景特征。
本实施例中，所述目标视频中所展示的场景可以通过用户的选择来确定，具体的，在用户执行视频融合指令之前，可以展示出多个场景特征以为用户提供多个场景特征选项。
S230、针对任意一个待融合视频，从所述待融合视频中提取角色特征和风格特征；
具体的，所述针对任意一个待融合视频，从所述待融合视频中提取角色特征和风格特征，还包括：
针对任意一个待融合视频，从待融合视频中提取关键帧；
从关键帧中提取多个角色特征片段和多个风格特征片段；
整合所述多个角色特征片段得到角色特征；和整合所述多个风格特征片段得到风格特征。
S240、融合所述至少两个待融合视频的角色特征得到角色融合特征；和融合所述至少两个待融合视频的风格特征得到风格融合特征；
S250、根据所述角色融合特征、所述风格融合特征和所述场景特征得到目标视频。
在上述实施例的基础上，所述针对任意一个待融合视频，从所述待融合视频中提取角色特征和风格特征，之前，还包括；预处理所述待融合视频。这样的好处在于:
实施例三
图2为本发明实施例三提供的一种寻找视频融合装置的结构示意图，具体包括：获取模块310、提取模块320、融合模块330和视频生成模块340。
其中，获取模块310，用于响应于视频融合指令，获取至少两个待融合视频；
提取模块320，用于针对任意一个待融合视频，从所述待融合视频中提取角色特征和风格特征；
融合模块330，用于融合所述至少两个待融合视频的角色特征得到角色融合特征；和融合所述至少两个待融合视频的风格特征得到风格融合特征；
视频生成模块340，用于根据所述角色融合特征和风格融合特征生成目标视频。
在上述实施例的基础上，场景特征确定模块，用于根据用户的选择确定所述目标视频的场景特征；
对应的，所述融合模块包括多类融合单元，用于根据所述角色融合特征、所述风格融合特征和所述场景特征得到目标视频。
在上述实施例的基础上，所述提取模块包括：
提取关键帧单元，用于针对任意一个待融合视频，从待融合视频中提取关键帧；
特征片段提取单元，用于从关键帧中提取多个角色特征片段和多个风格特征片段；
特征整合单元，用于整合所述多个角色特征片段得到角色特征；和整合所述多个风格特征片段得到风格特征。
在上述实施例的基础上，预处理模块，用于预处理所述待融合视频。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (8)
1.一种视频融合方法，其特征在于，包括：
响应于视频融合指令，获取至少两个待融合视频；
针对任意一个待融合视频，从所述待融合视频中提取角色特征和风格特征；
融合所述至少两个待融合视频的角色特征得到角色融合特征；和融合所述至少两个待融合视频的风格特征得到风格融合特征；
根据所述角色融合特征和风格融合特征生成目标视频。
2.根据权利要求1所述的视频融合方法，其特征在于，针对任意一个待融合视频，从所述待融合视频中提取角色特征和风格特征之前，还包括：
根据用户的选择确定所述目标视频的场景特征；
对应的，所述根据所述角色融合特征和风格融合特征生成目标视频，包括：
根据所述角色融合特征、所述风格融合特征和所述场景特征得到目标视频。
3.根据权利要求1所述的视频融合方法，其特征在于，所述针对任意一个待融合视频，从所述待融合视频中提取角色特征和风格特征，还包括：
针对任意一个待融合视频，从待融合视频中提取关键帧；
从关键帧中提取多个角色特征片段和多个风格特征片段；
整合所述多个角色特征片段得到角色特征；和整合所述多个风格特征片段得到风格特征。
4.根据权利要求1所述的视频融合方法，其特征在于，所述针对任意一个待融合视频，从所述待融合视频中提取角色特征和风格特征，之前，还包括：
预处理所述待融合视频。
5.一种视频融合装置，其特征在于，包括：
获取模块，用于响应于视频融合指令，获取至少两个待融合视频；
提取模块，用于针对任意一个待融合视频，从所述待融合视频中提取角色特征和风格特征；
融合模块，用于融合所述至少两个待融合视频的角色特征得到角色融合特征；和融合所述至少两个待融合视频的风格特征得到风格融合特征；
视频生成模块，用于根据所述角色融合特征和风格融合特征生成目标视频。
6.根据权利要求5所述的视频融合装置，其特征在于，还包括：
场景特征确定模块，用于根据用户的选择确定所述目标视频的场景特征；
对应的，所述融合模块包括多类融合单元，用于根据所述角色融合特征、所述风格融合特征和所述场景特征得到目标视频。
7.根据权利要求5所述的视频融合装置，其特征在于，所述提取模块包括：
提取关键帧单元，用于针对任意一个待融合视频，从待融合视频中提取关键帧；
特征片段提取单元，用于从关键帧中提取多个角色特征片段和多个风格特征片段；
特征整合单元，用于整合所述多个角色特征片段得到角色特征；和整合所述多个风格特征片段得到风格特征。
8.根据权利要求5所述的视频融合装置，其特征在于，还包括；
预处理模块，用于预处理所述待融合视频。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810974130.3A CN109040619A (zh) | 2018-08-24 | 2018-08-24 | 一种视频融合方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810974130.3A CN109040619A (zh) | 2018-08-24 | 2018-08-24 | 一种视频融合方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109040619A true CN109040619A (zh) | 2018-12-18 |
Family
ID=64628416
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810974130.3A Pending CN109040619A (zh) | 2018-08-24 | 2018-08-24 | 一种视频融合方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109040619A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112969039A (zh) * | 2021-05-18 | 2021-06-15 | 浙江华创视讯科技有限公司 | 一种视频融合方法、装置、设备及可读存储介质 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101383910A (zh) * | 2007-09-05 | 2009-03-11 | 索尼株式会社 | 图像处理装置及方法 |
| CN101504774A (zh) * | 2009-03-06 | 2009-08-12 | 暨南大学 | 一种基于虚拟现实的动漫设计引擎 |
| CN101945223A (zh) * | 2010-09-06 | 2011-01-12 | 浙江大学 | 视频一致性融合处理方法 |
| US20150326833A1 (en) * | 2014-05-12 | 2015-11-12 | Sony Corporation | Image processing method, image processing device and monitoring system |
| CN106303289A (zh) * | 2015-06-05 | 2017-01-04 | 福建凯米网络科技有限公司 | 一种将真实对象与虚拟场景融合显示的方法、装置及系统 |
| CN106354251A (zh) * | 2016-08-17 | 2017-01-25 | 深圳前海小橙网科技有限公司 | 一种虚拟场景与真实场景融合的模型系统与方法 |
| CN107682688A (zh) * | 2015-12-30 | 2018-02-09 | 视辰信息科技(上海)有限公司 | 基于增强现实的视频实时录制方法及录制设备 |
-
2018
- 2018-08-24 CN CN201810974130.3A patent/CN109040619A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101383910A (zh) * | 2007-09-05 | 2009-03-11 | 索尼株式会社 | 图像处理装置及方法 |
| CN101504774A (zh) * | 2009-03-06 | 2009-08-12 | 暨南大学 | 一种基于虚拟现实的动漫设计引擎 |
| CN101945223A (zh) * | 2010-09-06 | 2011-01-12 | 浙江大学 | 视频一致性融合处理方法 |
| US20150326833A1 (en) * | 2014-05-12 | 2015-11-12 | Sony Corporation | Image processing method, image processing device and monitoring system |
| CN106303289A (zh) * | 2015-06-05 | 2017-01-04 | 福建凯米网络科技有限公司 | 一种将真实对象与虚拟场景融合显示的方法、装置及系统 |
| CN107682688A (zh) * | 2015-12-30 | 2018-02-09 | 视辰信息科技(上海)有限公司 | 基于增强现实的视频实时录制方法及录制设备 |
| CN106354251A (zh) * | 2016-08-17 | 2017-01-25 | 深圳前海小橙网科技有限公司 | 一种虚拟场景与真实场景融合的模型系统与方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112969039A (zh) * | 2021-05-18 | 2021-06-15 | 浙江华创视讯科技有限公司 | 一种视频融合方法、装置、设备及可读存储介质 |
| CN112969039B (zh) * | 2021-05-18 | 2021-08-03 | 浙江华创视讯科技有限公司 | 一种视频融合方法、装置、设备及可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11501574B2 (en) | Multi-person pose recognition method and apparatus, electronic device, and storage medium | |
| WO2018103244A1 (zh) | 直播视频处理方法、装置及电子设备 | |
| US10467800B2 (en) | Method and apparatus for reconstructing scene, terminal device, and storage medium | |
| Nie et al. | Dynamic video stitching via shakiness removing | |
| CN105022999B (zh) | 一种人码伴随实时采集系统 | |
| CN112802033B (zh) | 图像处理方法及装置、计算机可读存储介质和电子设备 | |
| KR102142567B1 (ko) | 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램 | |
| CN111742342A (zh) | 图像生成方法、图像生成装置以及图像生成系统 | |
| US20210397822A1 (en) | Living body detection method, apparatus, electronic device, storage medium and program product | |
| US10764563B2 (en) | 3D enhanced image correction | |
| KR101173559B1 (ko) | 비디오 동영상의 움직이는 다중 객체 자동 분할 장치 및 방법 | |
| CN109788359B (zh) | 一种视频数据处理方法和相关装置 | |
| WO2015061763A1 (en) | Generating image compositions | |
| WO2023056835A1 (zh) | 视频封面生成方法、装置、电子设备及可读介质 | |
| US20170188008A1 (en) | Method and device for generating depth map | |
| Zhang et al. | Realgait: Gait recognition for person re-identification | |
| CN115035580A (zh) | 一种人物数字孪生构建方法及系统 | |
| KR20160046399A (ko) | 텍스쳐 맵 생성 방법 및 장치와 데이터 베이스 생성 방법 | |
| KR102083293B1 (ko) | 모션 정보를 이용한 객체 복원 장치 및 이를 이용한 객체 복원 방법 | |
| CN112866577B (zh) | 图像的处理方法、装置、计算机可读介质及电子设备 | |
| CN109040619A (zh) | 一种视频融合方法和装置 | |
| US9286707B1 (en) | Removing transient objects to synthesize an unobstructed image | |
| CN113597616A (zh) | 瞳孔位置的确定方法、装置及系统 | |
| CN113031813A (zh) | 指令信息获取方法及装置、可读存储介质、电子设备 | |
| CN112232221A (zh) | 用于人物图像处理的方法、系统和程序载体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20181218 |
|
| RJ01 | Rejection of invention patent application after publication |