CN114627404A - 智能化视频人物替换方法、系统 - Google Patents
智能化视频人物替换方法、系统 Download PDFInfo
- Publication number
- CN114627404A CN114627404A CN202210094849.4A CN202210094849A CN114627404A CN 114627404 A CN114627404 A CN 114627404A CN 202210094849 A CN202210094849 A CN 202210094849A CN 114627404 A CN114627404 A CN 114627404A
- Authority
- CN
- China
- Prior art keywords
- video
- algorithm
- loss
- portrait
- background
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000002452 interceptive effect Effects 0.000 claims abstract description 42
- 230000008439 repair process Effects 0.000 claims abstract description 33
- 238000013135 deep learning Methods 0.000 claims abstract description 21
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 18
- 238000002156 mixing Methods 0.000 claims abstract description 10
- 230000001502 supplementing effect Effects 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 30
- 230000008569 process Effects 0.000 claims description 21
- 230000015572 biosynthetic process Effects 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 15
- 238000003786 synthesis reaction Methods 0.000 claims description 15
- 230000000007 visual effect Effects 0.000 claims description 13
- 238000006748 scratching Methods 0.000 claims description 12
- 230000002393 scratching effect Effects 0.000 claims description 12
- 239000013589 supplement Substances 0.000 claims description 9
- 239000000284 extract Substances 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000004927 fusion Effects 0.000 abstract description 12
- 238000005286 illumination Methods 0.000 abstract description 9
- 230000000694 effects Effects 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Circuits (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种智能化视频人物替换方法、系统，首先通过预设的统一算法对视频中的目标人物进行自动分割以剔除目标人物形成损失区域，通过基于深度学习所获取的视频修复算法利用视频中所述损失区域的相邻帧和远帧将损失信息补充完整以形成视频背景；而后将人像与视频背景进行合成以形成交互视频，同时将抠除绿幕所形成的黑幕白前景导出至本地以作为透明通道蒙版；再通过Rain‑Net算法对交互视频进行视频调和以形成更新视频，如此，节省大量人工制作视频的时间；只需要输入待修改的视频并框选出人物就可以自动生成人物抠除及补全背景视频；并且对所合成的视频进行了色调、光照上的统一，使得视频展示出融合性好且更加自然的画面。
Description
技术领域
本发明涉及媒体后期处理领域，更为具体地，涉及一种智能化视频人物替换方法、系统。
背景技术
近年来短视频的出现带动了视频制作行业为追求更好的用户观感和体验的发展。随着人工智能的发展，目前市场上出现了进行自动抠像等辅助视频制作的软件及系统，但是效果往往没有人工制作得到的精细，而且在存在着无法将视频中的指定人物抠除、无法将背景缺失信息进行填充、无法实现一整套的人物替换流程等问题。这类软件只能进行视频人物替换的部分操作且很难实现理想的效果，故在对视频中的人物进行替换操作的过程中为了得到优秀的效果仍需要使用图像处理软件以及视频处理软件对视频的每一帧进行人工手动抠像、背景视频补全以及光照色调统一等操作，如此操作耗费大量的人工与时间成本。
现有技术为达到满意的效果，是用传统的人工手动对图像和视频进行处理，缺乏智能性，人工进行视频中的人物替换，耗时耗力；目前市面上有的视频抠像以及合成技术无法实现较好效果的融合，且抠像技术仅仅对人物进行了抠除后直接将其他人物贴置在有信息缺失的背景上，由于没有做视频补全，在人物进行运动时，会将背景中缺失的部分暴露，而达不到人物替换的真实感。在人物与背景合成的技术中，替换人物与原背景具有较大色差，不具备较强的真实感，无法做到人物与原视频的融合，效果不好，会有明显拼接痕迹；或者只实现了视频中人物替换的其中一个模块，如摄像头采集，合成等，没有进行集成。
如“一种视频中人物的替换方法”，该方法可以播放替换后的人物与原视频的融合，依次播放每一帧。但该方案有以下问题没有解决：一方面，该方法是非智能化人物替换方法，操作会相对复杂；另一方面，该方法无法做到人物较好的融合效果，影响合成画面的真实感，缺乏真实性。
因此，亟需一种输入待处理的视频即可自动分割，自动填补损失信息，自动进行视频合成，且能够将合成后的视频光照调整到一致，使前景人物视频完全融入到背景视频中的智能化视频人物替换方法、系统。
发明内容
鉴于上述问题，本发明的目的是提供一种智能化视频人物替换方法、系统，以解决现有技术一方面，是非智能化人物替换方法，操作会相对复杂；另一方面，无法做到人物较好的融合效果，影响合成画面的真实感，缺乏真实性中的问题。
本发明提供的一种智能化视频人物替换方法，包括：
通过预设的统一算法对视频中的目标人物进行自动分割以剔除所述目标人物形成损失区域；其中，所述统一算法为将视觉目标跟踪和视频目标分割统一的算法；
获取关于所述损失区域的损失信息，并通过基于深度学习所获取的视频修复算法利用所述视频中所述损失区域的相邻帧和远帧将所述损失信息补充完整以形成视频背景；
调用在绿幕中抠出的人像，将所述人像与所述视频背景进行合成以形成交互视频，同时将抠除绿幕所形成的黑幕白前景导出至本地以作为透明通道蒙版；
通过Rain-Net算法基于所述透明通道蒙版对所述交互视频进行视频调和以形成更新视频。
优选地，所述统一算法在所述视觉目标跟踪的基础上增加了透明通道蒙版分支；其中，
所述统一算法包括两层神经网络hφ和学习参数φ以预测透明通道蒙版。
优选地，获取关于所述损失区域的损失信息，并通过基于深度学习所获取的视频修复算法利用所述视频中所述损失区域的相邻帧和远帧将所述损失信息补充完整以形成视频背景的过程，包括：
通过深度学习算法构建将时间维度与空间维度相结合的视频修复算法；
将所述视频中所述损失区域的相邻帧和远帧作为所述视频修复算法的输入；
使所述视频修复算法从所述相邻帧和所述远帧中提取检测块，对比所述检测块之间的相似度，以获取与所述损失区域最相近的部分，并将所述与所述损失区域最相近的部分补充在所述损失区域中以将所述损失信息补充完整，形成视频背景。
优选地，所述视频修复算法从所述相邻帧和所述远帧中提取检测块，对比所述检测块之间的相似度过程，包括：
将所述相邻帧和所述远帧的每一帧的特征被映射为query特征和memory特征，并通过
对所述query特征和所述memory特征进行检索；其中，fi∈Rh ×w×c，其中，
所述fi表示帧级编码器需要获取的特征，R表示所有的特征；h、w分别为所述相邻帧或所述远帧的图像的高和宽，c代表将query特征和memory特征嵌入到基于多尺度的注意力模块的通道数；
从所述query特征和所述memory特征中提取形状为r1*r2*c的空间块作为检测块，并利用矩阵乘法计算所述检测块之间的相似度；其中，所述r1与r2为所述检测块的长和宽；所述c代表将query特征和memory特征嵌入到基于多尺度的注意力模块的通道数。
优选地，调用在绿幕中抠出的人像，将所述人像与所述视频背景进行合成以形成交互视频，同时将抠除绿幕所形成的黑幕白前景导出至本地以作为透明通道蒙版的过程，包括：
通过UE4平台调用采集卡，以将绿幕前的人像抠出作为前景；
同时将所述视频背景和黑幕作为视频合成的输入；使所述人像作为前景与所述视频背景进行合成以生成交互视频；使所述人像的处理图像作为纯白前景与所述黑幕进行合成以生成黑幕白前景，并将所述黑幕白前景导出至本地作为透明通道蒙版。
优选地，获取所述人像的处理图像的过程，包括：
将所述人像的亮度值调至最大以生成纯白前景。
优选地，通过Rain-Net算法基于所述透明通道蒙版对所述交互视频进行视频调和以形成更新视频的过程，包括：
对所述透明通道蒙版进行预处理以形成标准通道蒙版；
通过所述Rain-Net算法使所述标准通道蒙版对所述交互视频进行调和以生成更新视频，完成视频的人物替换。
优选地，在Rain-Net算法中，关于所述人像的前景视频由If表示，背景视频由Ib表示，透明通道蒙版由M表示；所合成的交互视频的图像由
表示；
对所述交互视频进行调和的调和模型为进行自我学习的模型，定义为G，经过所述调和模型调和后所生成的图像为
另一方面，本发明还提供一种智能化视频人物替换系统，，基于如前所述的智能化视频人物替换方法进行视频人物替换处理，包括：
目标分割单元，用于通过预设的统一算法对视频中的目标人物进行自动分割以剔除所述目标人物形成损失区域；其中，所述统一算法为将视觉目标跟踪和视频目标分割统一的算法；
损失填补单元，用于获取关于所述损失区域的损失信息，并通过基于深度学习所获取的视频修复算法利用所述视频中所述损失区域的相邻帧和远帧将所述损失信息补充完整以形成视频背景；
人像合成单元，用于调用在绿幕中抠出的人像，将所述人像与所述视频背景进行合成以形成交互视频，同时将抠除绿幕所形成的黑幕白前景导出至本地以作为透明通道蒙版；
视频调和单元，用于通过Rain-Net算法基于所述透明通道蒙版对所述交互视频进行视频调和以形成更新视频。
优选地，所述视频修复算法为通过深度学习算法所构建的将时间维度与空间维度相结合的算法；所述视频中所述损失区域的相邻帧和远帧作为所述视频修复算法的输入，以使所述视频修复算法从所述相邻帧和所述远帧中提取检测块，对比所述检测块之间的相似度，获取与所述损失区域最相近的部分，并将所述与所述损失区域最相近的部分补充在所述损失区域中以将所述损失信息补充完整，形成视频背景。
从上面的技术方案可知，本发明提供的智能化视频人物替换方法，首先通过预设的统一算法对视频中的目标人物进行自动分割以剔除目标人物形成损失区域；其中，统一算法为将视觉目标跟踪和视频目标分割统一的算法；再获取关于损失区域的损失信息，并通过基于深度学习所获取的视频修复算法利用视频中所述损失区域的相邻帧和远帧将损失信息补充完整以形成视频背景；而后调用在绿幕中抠出的人像，将人像与视频背景进行合成以形成交互视频，同时将抠除绿幕所形成的黑幕白前景导出至本地以作为透明通道蒙版；再通过Rain-Net算法基于透明通道蒙版对所述交互视频进行视频调和以形成更新视频，如此，节省大量人工制作视频的时间；只需要输入待修改的视频并框选出人物就可以自动生成人物抠除及补全背景视频；并且对所合成的视频进行了色调、光照上的统一，使得视频展示出融合性好且更加自然的画面。
附图说明
通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的智能化视频人物替换方法的流程图；
图2为根据本发明实施例的智能化视频人物替换方法种视频图像的变化示意图；
图3为根据本发明实施例的智能化视频人物替换系统的系统框图。
具体实施方式
现有技术中，为达到满意的效果，一般采用传统的人工手动对图像和视频进行处理，缺乏智能性，人工进行视频中的人物替换，耗时耗力；目前市面上有的视频抠像以及合成技术无法实现较好效果的融合，且抠像技术仅仅对人物进行了抠除后直接将其他人物贴置在有信息缺失的背景上，由于没有做视频补全，在人物进行运动时，会将背景中缺失的部分暴露，而达不到人物替换的真实感。在人物与背景合成的技术中，替换人物与原背景具有较大色差，不具备较强的真实感，无法做到人物与原视频的融合，效果不好，会有明显拼接痕迹；或者只实现了视频中人物替换的其中一个模块，如摄像头采集，合成等，没有进行集成。
针对上述问题，本发明提供一种智能化视频人物替换方法、系统，以下将结合附图对本发明的具体实施例进行详细描述。
为了说明本发明提供的智能化视频人物替换方法，图1、图2对本发明实施例的智能化视频人物替换方法进行了示例性标示；图3对本发明实施例的智能化视频人物替换系统进行了示例性标示。
以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。
如图1、图2共同所示，本发明提供的本发明实施例的智能化视频人物替换方法，图2示出了经过以下步骤的处理，视频中的图像所发生的图像变动，包括：
S1：通过预设的统一算法对视频中的目标人物进行自动分割以剔除所述目标人物形成损失区域；其中，所述统一算法为将视觉目标跟踪和视频目标分割统一的算法；
S2：获取关于所述损失区域的损失信息，并通过基于深度学习所获取的视频修复算法利用所述视频中所述损失区域的相邻帧和远帧将所述损失信息补充完整以形成视频背景；
S3：调用在绿幕中抠出的人像，将所述人像与所述视频背景进行合成以形成交互视频，同时将抠除绿幕所形成的黑幕白前景导出至本地以作为透明通道蒙版；
S4：通过Rain-Net算法基于所述透明通道蒙版对所述交互视频进行视频调和以形成更新视频。
在图1所示的实施例中，步骤S1为通过预设的统一算法对视频中的目标人物进行自动分割以剔除所述目标人物形成损失区域的过程；其中，统一算法为将视觉目标跟踪和视频目标分割统一的算法。
具体的，该统一算法在视觉目标跟踪的基础上增加了透明通道蒙版分支；其中，该统一算法包括两层神经网络hφ和学习参数φ以预测透明通道蒙版；
该统一算法的网络框架如下：
其中，mn表示预测的透明通道蒙版，hφ表示的是两层神经网络，
表示
编码了样例z的第n个候选窗口与x之间的相似性；在该统一算法中，仅依赖在视频第一帧中框选出的目标人物，就可以实现目标人物的追踪以及分割，算法运行结束后就可得到视频中每一帧目标人物的透明通道蒙版。
在图1、图2共同所示的实施例中，步骤S2为获取关于所述损失区域的损失信息，并通过基于深度学习所获取的视频修复算法利用所述视频中所述损失区域的相邻帧和远帧将所述损失信息补充完整以形成视频背景的过程；其中，包括：
S21：通过深度学习算法构建将时间维度与空间维度相结合的视频修复算法；
S22：将所述视频中所述损失区域的相邻帧和远帧作为所述视频修复算法的输入；
S23：使所述视频修复算法从所述相邻帧和所述远帧中提取检测块，对比所述检测块之间的相似度，以获取与所述损失区域最相近的部分，并将所述与所述损失区域最相近的部分补充在所述损失区域中以将所述损失信息补充完整，形成视频背景；
其中，所述视频修复算法从所述相邻帧和所述远帧中提取检测块，对比所述检测块之间的相似度过程，包括：
将所述相邻帧和所述远帧的每一帧的特征被映射为query特征和memory特征，并通过
对所述query特征和所述memory特征进行检索；其中，fi∈Rh ×w×c，其中，
所述fi表示帧级编码器需要获取的特征，R表示所有的特征，即fi表示帧级编码器所得到特征，即输入到该网络中的输入信息，fi是从R(所有特征)中取得的值；h、w分别为所述相邻帧或所述远帧的图像的高和宽，c代表将query特征和memory特征嵌入到基于多尺度的注意力模块的通道数；
从所述query特征和所述memory特征中提取形状为r1*r2*c的空间块作为检测块，并利用矩阵乘法计算所述检测块之间的相似度；其中，所述r1与r2为所述检测块的长和宽；所述c代表将query特征和memory特征嵌入到基于多尺度的注意力模块的通道数。
具体的，在本实施例中，在上一部分中原视频已经抠除了原人物(目标人物)，步骤S2为将抠除人物产生的损失信息补全，在步骤S2中利用了深度学习算法，构建了一个将时间维度与空间维度相结合的视频修复算法，该视频修复算法利用相隔较远的帧(远帧)以及相邻的帧(相邻帧)作为输入，通过从帧中提取不同的检测块，对比块与块(检测块)之间的相似性已检测出与缺失部分最相似的部分，而后以该相似的部分将视频补全完整；算法共分为三个过程，在编码过程中，每一帧的特征被映射为query和memory用以进一步的检索，使用
其中fi∈Rh×w×c，其中h、w分别为输入图像的高和宽，c代表将query和memory嵌入到基于多尺度的注意力模块的通道数，这样能够在不同的语义空间中建模出每个区域的对应关系；在匹配过程中，从每帧图像的query特征和memory特征中提取形状为R1*R2*c的空间块(检测块)，得到N＝T*h/r1*w/r2。每一帧中的特征被映射均会得到query特征和key建值特征，再将query中的块和key模块分别重塑为一维向量，再利用矩阵乘法来计算块之间的相似性。在最终的注意力阶段对所有的空间块的对应关系建模之后，可以通过相关值的加权和获得每个块的query值，检测每一帧中缺失的部分的最相似的区域进行匹配，输出补全后的视频。
在图1、图2共同所示的实施例中，步骤S3为调用在绿幕中抠出的人像，将所述人像与所述视频背景进行合成以形成交互视频，同时将抠除绿幕所形成的黑幕白前景导出至本地以作为透明通道蒙版的过程；其中，包括：
S31：通过UE4平台调用采集卡，以将绿幕前的人像抠出作为前景；
S32：同时将所述视频背景和黑幕作为视频合成的输入；使所述人像作为前景与所述视频背景进行合成以生成交互视频；使所述人像的处理图像作为纯白前景与所述黑幕进行合成以生成黑幕白前景，并将所述黑幕白前景导出至本地作为透明通道蒙版；
其中，获取所述人像的处理图像的过程，包括：
将所述人像的亮度值调至最大以生成纯白前景。
具体的，在本实施例中，通过UE4平台调用采集卡将绿幕人像抠出作为前景，同时输入两幅背景，一是上步骤已经补全的视频背景，与该抠出的前景为一组；二是黑幕背景，再将之前的前景拷贝一份，亮度值调至最大得到纯白前景，这里的白前景黑背景为一组；并以“摄像机-前景-背景”的顺序在空间中水平排布，由透视关系可以获取两组前背景合成的镜头，一组中人像前景与视频背景相结合用于实时返送与用户进行交互生成交互视频，同时将该交互视频输出到本地；另一组白前景黑背景进行视频合成生成黑幕白前景，并将该黑幕白前景导出到本地作为上述返送图像(交互视频的图像)的透明通道蒙版，用于下一步骤的图像调和。
再图1、图2共同所示的实施例中，步骤S4为通过Rain-Net算法基于所述透明通道蒙版对所述交互视频进行视频调和以形成更新视频的过程；其中，包括：
S41：对所述透明通道蒙版进行预处理以形成标准通道蒙版；
S42：通过所述Rain-Net算法使所述标准通道蒙版对所述交互视频进行调和以生成更新视频，完成视频的人物替换。
在Rain-Net算法中，关于所述人像的前景视频由If表示，背景视频由Ib表示，透明通道蒙版由M表示；所合成的交互视频的图像由
表示；其中，
为一种运算符号，称为Hadamard积，哈达玛积，位居真的一类运算，或者称基本积；对所述交互视频进行调和的调和模型为进行自我学习的模型，定义为G，经过所述调和模型调和后所生成的图像为
更为具体的，在本实施例中，从UE4中导出的透明通道蒙版由于UE4环境自带的光照效果实际上是灰度图，经过一次二值化处理的预处理之后才能使用，即标准通道蒙版
而后使用Rain-Net算法基于标准通道蒙版对所合成的交互视频进行调和。具体是指让标准通道蒙版中白色区域(即视频中前景部分)的色彩调和成黑色区域(即视频中背景部分)的色调，使其统一和谐，在Rain-Net算法中人物前景视频由If表示，背景视频由Ib表示，前景透明通道蒙版用M表示；图像的构成由
表示，调和模型被定义为G，调和后得到的图像为
且G是一个可以自我学习的模型，根据自我学习通过||G(Ic,M)-I||1可以使得前景图像的光照、色调等更加接近背景，从而实现人物与背景视频后进行了色调、光照上的统一，使得视频展示出融合性好且更加自然的画面。
由于视频制作依赖于图像及视频处理软件对视频进行逐帧的繁复操作，通过智能化视频人物替换系统利用深度学习算法，只需要输入原视频以及人物视频，就可以省去中间的人工逐帧操作，从而直接获得视频色调风格统一的人物替换后的视频，节省操作时间，降低了视频操作的门槛。
综上所述，本发明提供的智能化视频人物替换方法，首先通过预设的统一算法对视频中的目标人物进行自动分割以剔除目标人物形成损失区域；其中，统一算法为将视觉目标跟踪和视频目标分割统一的算法；再获取关于损失区域的损失信息，并通过基于深度学习所获取的视频修复算法利用视频中所述损失区域的相邻帧和远帧将损失信息补充完整以形成视频背景；而后调用在绿幕中抠出的人像，将人像与视频背景进行合成以形成交互视频，同时将抠除绿幕所形成的黑幕白前景导出至本地以作为透明通道蒙版；再通过Rain-Net算法基于透明通道蒙版对所述交互视频进行视频调和以形成更新视频，如此，节省大量人工制作视频的时间；只需要输入待修改的视频并框选出人物就可以自动生成人物抠除及补全背景视频；并且对所合成的视频进行了色调、光照上的统一，使得视频展示出融合性好且更加自然的画面。
如图2所示，本发明还提供一种智能化视频人物替换系统100，基于如前所述的智能化视频人物替换方法进行视频人物替换处理，包括：
目标分割单元101，用于通过预设的统一算法对视频中的目标人物进行自动分割以剔除所述目标人物形成损失区域；其中，所述统一算法为将视觉目标跟踪和视频目标分割统一的算法；
损失填补单元102，用于获取关于所述损失区域的损失信息，并通过基于深度学习所获取的视频修复算法利用所述视频中所述损失区域的相邻帧和远帧将所述损失信息补充完整以形成视频背景；
人像合成单元103，用于调用在绿幕中抠出的人像，将所述人像与所述视频背景进行合成以形成交互视频，同时将抠除绿幕所形成的黑幕白前景导出至本地以作为透明通道蒙版；
视频调和单元104，用于通过Rain-Net算法基于所述透明通道蒙版对所述交互视频进行视频调和以形成更新视频。
其中，所述视频修复算法为通过深度学习算法所构建的将时间维度与空间维度相结合的算法；所述视频中所述损失区域的相邻帧和远帧作为所述视频修复算法的输入，以使所述视频修复算法从所述相邻帧和所述远帧中提取检测块，对比所述检测块之间的相似度，获取与所述损失区域最相近的部分，并将所述与所述损失区域最相近的部分补充在所述损失区域中以将所述损失信息补充完整，形成视频背景。
如上所述，本发明提供的智能化视频人物替换系统，利用目标分割单元101通过预设的统一算法对视频中的目标人物进行自动分割以剔除所述目标人物形成损失区域；其中，所述统一算法为将视觉目标跟踪和视频目标分割统一的算法；通过损失填补单元102获取关于所述损失区域的损失信息，并通过基于深度学习所获取的视频修复算法利用所述视频中所述损失区域的相邻帧和远帧将所述损失信息补充完整以形成视频背景；通过人像合成单元103调用在绿幕中抠出的人像，将所述人像与所述视频背景进行合成以形成交互视频，同时将抠除绿幕所形成的黑幕白前景导出至本地以作为透明通道蒙版；利用视频调和单元104通过Rain-Net算法基于所述透明通道蒙版对所述交互视频进行视频调和以形成更新视频，如此，节省大量人工制作视频的时间；只需要输入待修改的视频并框选出人物就可以自动生成人物抠除及补全背景视频；并且对所合成的视频进行了色调、光照上的统一，使得视频展示出融合性好且更加自然的画面。
如上参照附图以示例的方式描述了根据本发明提出的智能化视频人物替换方法、系统。但是，本领域技术人员应当理解，对于上述本发明所提出的智能化视频人物替换方法、系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。
Claims (10)
1.一种智能化视频人物替换方法，其特征在于，包括：
通过预设的统一算法对视频中的目标人物进行自动分割以剔除所述目标人物形成损失区域；其中，所述统一算法为将视觉目标跟踪和视频目标分割统一的算法；
获取关于所述损失区域的损失信息，并通过基于深度学习所获取的视频修复算法利用所述视频中所述损失区域的相邻帧和远帧将所述损失信息补充完整以形成视频背景；
调用在绿幕中抠出的人像，将所述人像与所述视频背景进行合成以形成交互视频，同时将抠除绿幕所形成的黑幕白前景导出至本地以作为透明通道蒙版；
通过Rain-Net算法基于所述透明通道蒙版对所述交互视频进行视频调和以形成更新视频。
2.如权利要求1所述的智能化视频人物替换方法，其特征在于，
所述统一算法在所述视觉目标跟踪的基础上增加了透明通道蒙版分支；其中，
所述统一算法包括两层神经网络hφ和学习参数φ以预测透明通道蒙版。
3.如权利要求1所述的智能化视频人物替换方法，其特征在于，获取关于所述损失区域的损失信息，并通过基于深度学习所获取的视频修复算法利用所述视频中所述损失区域的相邻帧和远帧将所述损失信息补充完整以形成视频背景的过程，包括：
通过深度学习算法构建将时间维度与空间维度相结合的视频修复算法；
将所述视频中所述损失区域的相邻帧和远帧作为所述视频修复算法的输入；
使所述视频修复算法从所述相邻帧和所述远帧中提取检测块，对比所述检测块之间的相似度，以获取与所述损失区域最相近的部分，并将所述与所述损失区域最相近的部分补充在所述损失区域中以将所述损失信息补充完整，形成视频背景。
4.如权利要求3所述的智能化视频人物替换方法，其特征在于，
所述视频修复算法从所述相邻帧和所述远帧中提取检测块，对比所述检测块之间的相似度过程，包括：
将所述相邻帧和所述远帧的每一帧的特征被映射为query特征和memory特征，并通过
对所述query特征和所述memory特征进行检索；其中，fi∈Rh×w×c，其中，
所述fi表示帧级编码器需要获取的特征，R表示所有的特征；h、w分别为所述相邻帧或所述远帧的图像的高和宽，c代表将query特征和memory特征嵌入到基于多尺度的注意力模块的通道数；
从所述query特征和所述memory特征中提取形状为r1*r2*c的空间块作为检测块，并利用矩阵乘法计算所述检测块之间的相似度；其中，所述r1与r2为所述检测块的长和宽；所述c代表将query特征和memory特征嵌入到基于多尺度的注意力模块的通道数。
5.如权利要求1所述的智能化视频人物替换方法，其特征在于，调用在绿幕中抠出的人像，将所述人像与所述视频背景进行合成以形成交互视频，同时将抠除绿幕所形成的黑幕白前景导出至本地以作为透明通道蒙版的过程，包括：
通过UE4平台调用采集卡，以将绿幕前的人像抠出作为前景；
同时将所述视频背景和黑幕作为视频合成的输入；使所述人像作为前景与所述视频背景进行合成以生成交互视频；使所述人像的处理图像作为纯白前景与所述黑幕进行合成以生成黑幕白前景，并将所述黑幕白前景导出至本地作为透明通道蒙版。
6.如权利要求5所述的智能化视频人物替换方法，其特征在于，获取所述人像的处理图像的过程，包括：
将所述人像的亮度值调至最大以生成纯白前景。
7.如权利要求1所述的智能化视频人物替换方法，其特征在于，通过Rain-Net算法基于所述透明通道蒙版对所述交互视频进行视频调和以形成更新视频的过程，包括：
对所述透明通道蒙版进行预处理以形成标准通道蒙版；
通过所述Rain-Net算法使所述标准通道蒙版对所述交互视频进行调和以生成更新视频，完成视频的人物替换。
8.如权利要求7所述的智能化视频人物替换方法，其特征在于，
在Rain-Net算法中，关于所述人像的前景视频由If表示，背景视频由Ib表示，透明通道蒙版由M表示；所合成的交互视频的图像由
表示；
对所述交互视频进行调和的调和模型为进行自我学习的模型，定义为G，经过所述调和模型调和后所生成的图像为
9.一种智能化视频人物替换系统，其特征在于，基于如权利要求1-7中任一项所述的智能化视频人物替换方法进行视频人物替换处理，包括：
目标分割单元，用于通过预设的统一算法对视频中的目标人物进行自动分割以剔除所述目标人物形成损失区域；其中，所述统一算法为将视觉目标跟踪和视频目标分割统一的算法；
损失填补单元，用于获取关于所述损失区域的损失信息，并通过基于深度学习所获取的视频修复算法利用所述视频中所述损失区域的相邻帧和远帧将所述损失信息补充完整以形成视频背景；
人像合成单元，用于调用在绿幕中抠出的人像，将所述人像与所述视频背景进行合成以形成交互视频，同时将抠除绿幕所形成的黑幕白前景导出至本地以作为透明通道蒙版；
视频调和单元，用于通过Rain-Net算法基于所述透明通道蒙版对所述交互视频进行视频调和以形成更新视频。
10.如权利要求9所述的智能化视频人物替换系统，其特征在于，
所述视频修复算法为通过深度学习算法所构建的将时间维度与空间维度相结合的算法；所述视频中所述损失区域的相邻帧和远帧作为所述视频修复算法的输入，以使所述视频修复算法从所述相邻帧和所述远帧中提取检测块，对比所述检测块之间的相似度，获取与所述损失区域最相近的部分，并将所述与所述损失区域最相近的部分补充在所述损失区域中以将所述损失信息补充完整，形成视频背景。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210094849.4A CN114627404A (zh) | 2022-01-26 | 2022-01-26 | 智能化视频人物替换方法、系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210094849.4A CN114627404A (zh) | 2022-01-26 | 2022-01-26 | 智能化视频人物替换方法、系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114627404A true CN114627404A (zh) | 2022-06-14 |
Family
ID=81898060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210094849.4A Pending CN114627404A (zh) | 2022-01-26 | 2022-01-26 | 智能化视频人物替换方法、系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114627404A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115147441A (zh) * | 2022-07-31 | 2022-10-04 | 江苏云舟通信科技有限公司 | 基于数据分析的抠图特效处理系统 |
-
2022
- 2022-01-26 CN CN202210094849.4A patent/CN114627404A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115147441A (zh) * | 2022-07-31 | 2022-10-04 | 江苏云舟通信科技有限公司 | 基于数据分析的抠图特效处理系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112766160B (zh) | 基于多级属性编码器和注意力机制的人脸替换方法 | |
| CN111080511B (zh) | 一种端到端的高分辨率多特征提取的人脸交换方法 | |
| CN111292264B (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| CN110490896B (zh) | 一种视频帧图像处理方法和装置 | |
| CN112887698B (zh) | 基于神经辐射场的高质量人脸语音驱动方法 | |
| Huang et al. | Deep learning for image colorization: Current and future prospects | |
| CN111275518A (zh) | 一种基于混合光流的视频虚拟试穿方法及装置 | |
| CN109711413A (zh) | 基于深度学习的图像语义分割方法 | |
| US20210241500A1 (en) | Method and system for prov iding photorealistic changes for digital image | |
| CN111783658B (zh) | 基于双生成对抗网络的两阶段表情动画生成方法 | |
| Zhang et al. | Style transfer via image component analysis | |
| CN111626918B (zh) | 一种基于语义分割网络技术对数字图像进行风格变化的方法及系统 | |
| CN111325661B (zh) | 一种名为msgan的图像的季节风格转换模型及方法 | |
| CN116583878A (zh) | 用于个性化3d头部模型变形的方法和系统 | |
| CN116997933A (zh) | 用于构造面部位置图的方法和系统 | |
| CN113222875B (zh) | 一种基于色彩恒常性的图像和谐化合成方法 | |
| CN113362422B (zh) | 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法 | |
| CN114219976B (zh) | 图像处理方法、装置、电子设备、存储介质及计算机产品 | |
| CN110097615B (zh) | 一种联合风格化和去风格化的艺术字编辑方法和系统 | |
| CN116012232A (zh) | 图像处理方法、装置及存储介质、电子设备 | |
| CN116648733A (zh) | 用于从面部图像提取颜色的方法和系统 | |
| CN114723601B (zh) | 一种虚拟场景下的模型结构化建模及快速渲染方法 | |
| Bugeau et al. | Influence of color spaces for deep learning image colorization | |
| CN114627404A (zh) | 智能化视频人物替换方法、系统 | |
| CN108401104A (zh) | 基于频带修复和超分辨的双焦相机数字变焦方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |