CN113160244A - 视频处理方法、装置、电子设备及存储介质 - Google Patents
视频处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN113160244A CN113160244A CN202110315645.4A CN202110315645A CN113160244A CN 113160244 A CN113160244 A CN 113160244A CN 202110315645 A CN202110315645 A CN 202110315645A CN 113160244 A CN113160244 A CN 113160244A
- Authority
- CN
- China
- Prior art keywords
- special effect
- image
- original image
- confidence
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 36
- 230000000694 effects Effects 0.000 claims abstract description 497
- 230000009466 transformation Effects 0.000 claims abstract description 266
- 238000012545 processing Methods 0.000 claims abstract description 191
- 239000011159 matrix material Substances 0.000 claims description 73
- 230000003287 optical effect Effects 0.000 claims description 70
- 238000013507 mapping Methods 0.000 claims description 40
- 239000000463 material Substances 0.000 claims description 37
- 238000001514 detection method Methods 0.000 claims description 28
- 230000001131 transforming effect Effects 0.000 claims description 4
- 238000000034 method Methods 0.000 abstract description 23
- 238000004364 calculation method Methods 0.000 abstract description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000004422 calculation algorithm Methods 0.000 description 11
- 238000005457 optimization Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- 230000011218 segmentation Effects 0.000 description 7
- 230000004927 fusion Effects 0.000 description 6
- 230000003796 beauty Effects 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 239000002537 cosmetic Substances 0.000 description 2
- 101001022170 Homo sapiens FYN-binding protein 2 Proteins 0.000 description 1
- 101000990990 Homo sapiens Midkine Proteins 0.000 description 1
- 102100030335 Midkine Human genes 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010428 oil painting Methods 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computational Linguistics (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Studio Circuits (AREA)
Abstract
本公开关于一种视频处理方法、装置、电子设备及存储介质，该视频处理方法包括通过对视频流数据中的目标帧原始图像进行特效处理，得到目标帧特效图像；根据区域置信度信息，分别对目标帧原始图像和视频流数据中的当前帧原始图像进行区域划分处理，对应得到多个置信子区域；基于目标帧原始图像、当前帧原始图像和目标帧特效图像，分别对多个置信子区域进行特效变换处理，得到当前帧特效图像。从而在只对少量目标帧计算特效的情况下，通过分区域特效变换的方法高效且高质量地获取全部视频帧的特效结果，同时降低了计算量和延迟，提高了鲁棒性。
Description
技术领域
本公开涉及计算机技术领域，尤其涉及一种视频处理方法、装置、电子设备及存储介质。
背景技术
特效处理是计算机视觉与计算机图形学领域的一项重要应用，其可应用于各种娱乐化内容生成等场景中。通过对视频图像进行特效处理，以输出带有特殊效果的图像，该特殊效果比如可以为风格化、美妆、美颜等等，从而给用户带来了更好的体验。
相关技术中，在视频特效处理时，通常对视频中每个单独帧进行逐帧计算其特效图像，以达到展示视频全部帧的特效效果。然而，通过视频逐帧特效计算的方式，会大大增加特效处理的计算量，从而降低了特效处理效率，且尤其在一些场景下(比如实时特效场景)会由于设备难以达到正常帧率，导致用户感到强烈卡顿感，严重影响用户体验。此外，现有的特效处理方法的特效处理效果并不理想，极易出现不稳定、重影、扭曲等问题。
发明内容
本公开提供一种视频处理方法、装置、电子设备及存储介质，以至少解决相关技术中特效处理效率低、易出现卡顿以及特效处理效果不理想中至少一种问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种视频处理方法，包括：
获取视频流数据和特效素材，所述视频流数据包括目标帧原始图像和当前帧原始图像；所述目标帧原始图像与所述当前帧原始图像包含相同的待处理对象；
基于所述特效素材，对所述目标帧原始图像进行特效处理，得到目标帧特效图像；
根据区域置信度信息，分别对所述目标帧原始图像和所述当前帧原始图像进行区域划分处理，对应得到多个置信子区域；所述区域置信度信息表征区域包含稳定关键点和稳定光流点的概率；所述稳定关键点表征图像中抖动幅度小于预设幅度阈值的关键点，所述稳定光流点表征图像中抖动幅度小于预设幅度阈值的像素点；
基于所述目标帧原始图像、当前帧原始图像和目标帧特效图像，分别对所述多个置信子区域进行特效变换处理，得到当前帧特效图像，所述当前帧特效图像与所述目标帧特效图像是基于相同的所述特效素材处理得到。
作为一种可选的实施方式，所述根据区域置信度信息，分别对所述目标帧原始图像和所述当前帧原始图像进行区域划分处理，对应得到多个置信子区域步骤包括：
分别获得所述目标帧原始图像的第一前景区域以及所述当前帧原始图像的第二前景区域；
根据区域置信度信息，分别对所述第一前景区域和所述第二前景区域进行区域划分处理，对应得到多个置信子区域。
作为一种可选的实施方式，所述根据区域置信度信息，分别对所述第一前景区域和所述第二前景区域进行区域划分处理，对应得到多个置信子区域步骤包括：
分别对所述第一前景区域和所述第二前景区域进行关键点检测，并根据检测到稳定关键点的概率大小，分别从所述第一前景区域和所述第二前景区域中划分出高置信度子区域；所述高置信度子区域表征包含稳定关键点的概率大于等于第一预设概率阈值的区域；
在检测到所述第一前景区域的区域面积大于所述目标帧原始图像的高置信度子区域的区域面积时，确定目标区域；所述目标区域为所述第一前景区域中除掉所述高置信度子区域之外的第一剩余区域，以及所述第二前景区域中除掉所述高置信度子区域之外的第二剩余区域；
对所述目标区域进行光流检测，并根据检测到稳定光流点的概率大小，分别对所述第一剩余区域和所述第二剩余区域进行区域划分处理，对应得到至少一个置信子区域，所述第一前景区域和所述第二前景区域分别对应的置信子区域的数量相匹配。
作为一种可选的实施方式，在检测所述当前帧原始图像中存在低置信度子区域的情况下，所述低置信度子区域中包含稳定关键点的概率小于等于第一预设概率阈值，且稳定光流点的概率小于等于第二预设概率阈值；所述基于所述目标帧原始图像、当前帧原始图像和目标帧特效图像，分别对所述多个置信子区域进行特效变换处理，得到当前帧特效图像步骤包括：
基于所述目标帧原始图像和目标帧特效图像的映射关系，对所述当前帧原始图像中多个置信子区域中低置信度子区域进行特效变换处理，得到第一特效图像；
在检测到所述当前帧原始图像中存在除低置信度子区域以外的其他置信度子区域时，基于所述目标帧原始图像与当前帧原始图像之间的变换关系，对所述目标帧特效图像中多个置信子区域中除低置信度子区域之外的区域进行特效变换处理，得到第二特效图像；
融合目标特效图像以及所述当前帧原始图像中的背景图像，得到当前帧特效图像；所述目标特效图像包括所述第一特效图像、所述第二特效图像中至少一种。
作为一种可选的实施方式，所述基于所述目标帧原始图像和目标帧特效图像的映射关系，对所述当前帧原始图像中多个置信子区域中低置信度子区域进行特效变换处理，得到第一特效图像步骤包括：
获取所述目标帧原始图像与所述目标帧特效图像之间的颜色映射关系；
基于所述颜色映射关系中包含的原始图像与特效图像之间的特效映射关系，确定所述当前帧原始图像和当前帧特效图像之间的第一目标变换参数；
基于所述第一目标变换参数，对所述当前帧原始图像中低置信度子区域中各像素点进行特效变换处理，得到第一特效图像。
作为一种可选的实施方式，所述基于所述目标帧原始图像与当前帧原始图像之间的变换关系，对所述目标帧特效图像中多个置信子区域中除低置信度子区域之外的区域进行特效变换处理，得到第二特效图像步骤包括：
基于所述目标帧原始图像与当前帧原始图像之间的图像对齐关系，确定所述目标帧特效图像与当前帧特效图像之间的第一变换子参数；
根据所述第一变换子参数，对所述目标帧特效图像中的中置信度子区域进行特效变换处理，得到第一变换特效图像；所述中置信度子区域中包含稳定关键点的概率小于等于第一预设概率阈值，且稳定光流点的概率大于等于第二预设概率阈值的区域；所述第一变换特效图像用于反映所述当前帧原始图像中的中置信度子区域的特效图像；
基于所述目标帧原始图像与当前帧原始图像之间的像素点变换矩阵关系，确定所述目标帧特效图像与当前帧特效图像之间的第二变换子参数；
根据所述第二变换子参数，对所述目标帧特效图像中的高置信度子区域进行特效变换处理，得到第二变换特效图像；所述第二变换特效图像用于反映所述当前帧原始图像中的高置信度子区域的特效图像；
基于所述第一变换特效图像和所述第二变换特效图像，得到所述第二特效图像。
作为一种可选的实施方式，所述基于所述目标帧原始图像与当前帧原始图像之间的图像对齐关系，确定所述目标帧特效图像与当前帧特效图像之间的第一变换子参数步骤包括：
获取所述目标帧原始图像对应的第一网格图像，以及获取所述当前帧原始图像对应的第二网格图像；每个网格图像中各网格的顶点为光流点；
计算将所述第一网格图像中各像素点与所述第二网格图像中对应像素点对齐的光度损失；
计算所述第一网格图像中各网格变形到所述第二网格图像中对应网格的网格形变损失；
最小化所述光度损失与所述网格形变损失之和，获得所述目标帧原始图像对应的目标网格图像；
根据所述第一网格图像中各光流点的初始位置变换至所述目标网格图像中各光流点的目标位置，确定第一目标变换矩阵；
将所述第一目标变换矩阵作为所述目标帧特效图像与当前帧特效图像之间的第一变换子参数。
作为一种可选的实施方式，所述基于所述目标帧原始图像与当前帧原始图像之间的变换矩阵关系，确定所述目标帧特效图像与当前帧特效图像之间的第二变换子参数步骤包括：
获取所述目标帧原始图像对应的第一关键点，以及获取所述当前帧原始图像对应的第二关键点；每个所述第一关键点与对应的所述第二关键点具有相同的像素特征信息；
对所述目标帧特效图像中图像关键点进行变形匹配处理，以使得变形后的第一关键点匹配对应的所述第二关键点；
计算所述目标帧原始图像中高置信度子区域内各像素点的变换矩阵；所述变换矩阵表征目标帧原始图像中各像素点变形到当前帧原始图像中对应像素点的变换关系；
优化所述变换矩阵，以使得所述目标帧原始图像中各关键点经矩阵变换后的误差数据最小，并将最小误差数据对应的变换矩阵作为第二目标变换矩阵；
将所述第二目标变换矩阵作为所述目标帧特效图像与当前帧特效图像之间的第二变换子参数。
根据本公开实施例的第二方面，提供一种视频处理装置，包括：
获取模块，被配置为执行获取视频流数据和特效素材，所述视频流数据包括目标帧原始图像和当前帧原始图像；所述目标帧原始图像与所述当前帧原始图像包含相同的待处理对象；
特效处理模块，被配置为执行基于所述特效素材，对所述目标帧原始图像进行特效处理，得到目标帧特效图像；
区域划分模块，被配置为执行根据区域置信度信息，分别对所述目标帧原始图像和所述当前帧原始图像进行区域划分处理，对应得到多个置信子区域；所述区域置信度信息表征区域包含稳定关键点和稳定光流点的概率；所述稳定关键点表征图像中抖动幅度小于预设幅度阈值的关键点，所述稳定光流点表征图像中抖动幅度小于预设幅度阈值的像素点；
变换处理模块，被配置为执行基于所述目标帧原始图像、当前帧原始图像和目标帧特效图像，分别对所述多个置信子区域进行特效变换处理，得到当前帧特效图像，所述当前帧特效图像与所述目标帧特效图像是基于相同的所述特效素材处理得到。
作为一种可选的实施方式，所述区域划分模块包括：
前景获取子模块，被配置为执行分别获得所述目标帧原始图像的第一前景区域以及所述当前帧原始图像的第二前景区域；
区域划分子模块，被配置为执行根据区域置信度信息，分别对所述第一前景区域和所述第二前景区域进行区域划分处理，对应得到多个置信子区域。
作为一种可选的实施方式，所述区域划分子模块包括：
第一区域划分单元，被配置为执行分别对所述第一前景区域和所述第二前景区域进行关键点检测，并根据检测到稳定关键点的概率大小，分别从所述第一前景区域和所述第二前景区域中划分出高置信度子区域；所述高置信度子区域表征包含稳定关键点的概率大于等于第一预设概率阈值的区域；
目标区域确定单元，被配置为执行在检测到所述第一前景区域的区域面积大于所述目标帧原始图像的高置信度子区域的区域面积时，确定目标区域；所述目标区域为所述第一前景区域中除掉所述高置信度子区域之外的第一剩余区域，以及所述第二前景区域中除掉所述高置信度子区域之外的第二剩余区域；
第二区域划分单元，被配置为执行对所述目标区域进行光流检测，并根据检测到稳定光流点的概率大小，分别对所述第一剩余区域和所述第二剩余区域进行区域划分处理，对应得到至少一个置信子区域，所述第一前景区域和所述第二前景区域分别对应的置信子区域的数量相匹配。
作为一种可选的实施方式，在检测所述当前帧原始图像中存在低置信度子区域的情况下，所述低置信度子区域中包含稳定关键点的概率小于等于第一预设概率阈值，且稳定光流点的概率小于等于第二预设概率阈值；所述变换处理模块包括：
第一变换子模块，被配置为执行基于所述目标帧原始图像和目标帧特效图像的映射关系，对所述当前帧原始图像中多个置信子区域中低置信度子区域进行特效变换处理，得到第一特效图像；
第二变换子模块，被配置为执行在检测到所述当前帧原始图像中存在除低置信度子区域以外的其他置信度子区域时，基于所述目标帧原始图像与当前帧原始图像之间的变换关系，对所述目标帧特效图像中多个置信子区域中除低置信度子区域之外的区域进行特效变换处理，得到第二特效图像；
融合子模块，被配置为执行融合目标特效图像以及所述当前帧原始图像中的背景图像，得到当前帧特效图像；所述目标特效图像包括所述第一特效图像、所述第二特效图像中至少一种。
作为一种可选的实施方式，所述第一变换子模块包括：
映射关系确定单元，被配置为执行获取所述目标帧原始图像与所述目标帧特效图像之间的颜色映射关系；
第一变换参数确定单元，被配置为执行基于所述颜色映射关系中包含的原始图像与特效图像之间的特效映射关系，确定所述当前帧原始图像和当前帧特效图像之间的第一目标变换参数；
第一变换单元，被配置为执行基于所述第一目标变换参数，对所述当前帧原始图像中低置信度子区域中各像素点进行特效变换处理，得到第一特效图像。
作为一种可选的实施方式，在所述第二目标变换参数包括第一变换子参数和第二变换子参数的情况下，所述第二变换子模块包括：
第一变换子参数确定单元，被配置为执行基于所述目标帧原始图像与当前帧原始图像之间的图像对齐关系，确定所述目标帧特效图像与当前帧特效图像之间的第一变换子参数；
第二变换单元，被配置为执行根据所述第一变换子参数，对所述目标帧特效图像中的中置信度子区域进行特效变换处理，得到第一变换特效图像；所述中置信度子区域中包含稳定关键点的概率小于等于第一预设概率阈值，且稳定光流点的概率大于等于第二预设概率阈值的区域；所述第一变换特效图像用于反映所述当前帧原始图像中的中置信度子区域的特效图像；
第二变换子参数确定单元，被配置为执行基于所述目标帧原始图像与当前帧原始图像之间的像素点变换矩阵关系，确定所述目标帧特效图像与当前帧特效图像之间的第二变换子参数；
第三变换单元，被配置为执行根据所述第二变换子参数，对所述目标帧特效图像中的高置信度子区域进行特效变换处理，得到第二变换特效图像；所述第二变换特效图像用于反映所述当前帧原始图像中的高置信度子区域的特效图像；
处理单元，被配置为执行基于所述第一变换特效图像和所述第二变换特效图像，得到所述第二特效图像。
作为一种可选的实施方式，所述第一变换子参数确定单元包括：
网格图像获取子单元，被配置为执行获取所述目标帧原始图像对应的第一网格图像，以及获取所述当前帧原始图像对应的第二网格图像；每个网格图像中各网格的顶点为光流点；
光度损失确定子单元，被配置为执行计算将所述第一网格图像中各像素点与所述第二网格图像中对应像素点对齐的光度损失；
形变损失确定子单元，被配置为执行计算所述第一网格图像中各网格变形到所述第二网格图像中对应网格的网格形变损失；
目标网格图像确定子单元，被配置为执行最小化所述光度损失与所述网格形变损失之和，获得所述目标帧原始图像对应的目标网格图像；
变换子单元，被配置为执行根据所述第一网格图像中各光流点的初始位置变换至所述目标网格图像中各光流点的目标位置，确定第一目标变换矩阵；
第一变换子参数确定子单元，被配置为执行将所述第一目标变换矩阵作为所述目标帧特效图像与当前帧特效图像之间的第一变换子参数。
作为一种可选的实施方式，所述第二变换子参数确定单元包括：
关键点获取子单元，被配置为执行获取所述目标帧原始图像对应的第一关键点，以及获取所述当前帧原始图像对应的第二关键点；每个所述第一关键点与对应的所述第二关键点具有相同的像素特征信息；
变形匹配子单元，被配置为执行对所述目标帧特效图像中图像关键点进行变形匹配处理，以使得变形后的第一关键点匹配对应的所述第二关键点；
变换矩阵确定子单元，被配置为执行计算所述目标帧原始图像中高置信度子区域内各像素点的变换矩阵；所述变换矩阵表征目标帧原始图像中各像素点变形到当前帧原始图像中对应像素点的变换关系；
矩阵优化子单元，被配置为执行优化所述变换矩阵，以使得所述目标帧原始图像中各关键点经矩阵变换后的误差数据最小，并将最小误差数据对应的变换矩阵作为第二目标变换矩阵；
第二变换子参数确定子单元，被配置为执行将所述第二目标变换矩阵作为所述目标帧特效图像与当前帧特效图像之间的第二变换子参数。
根据本公开实施例的第三方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上述中任一实施方式所述的视频处理方法。
根据本公开实施例的第四方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如上述任一实施方式所述的视频处理方法。
根据本公开实施例的第五方面，提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述任一种实施方式中提供的视频处理方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
本公开实施例通过获取视频流数据和特效素材，所述视频流数据包括目标帧原始图像和当前帧原始图像；所述目标帧原始图像与所述当前帧原始图像包含相同的待处理对象；基于所述特效素材，对所述目标帧原始图像进行特效处理，得到目标帧特效图像；根据区域置信度信息，分别对所述目标帧原始图像和所述当前帧原始图像进行区域划分处理，对应得到多个置信子区域；所述区域置信度信息表征区域包含稳定关键点和稳定光流点的概率；基于所述目标帧原始图像、当前帧原始图像和目标帧特效图像，分别对所述多个置信子区域进行特效变换处理，得到当前帧特效图像，所述当前帧特效图像与所述目标帧特效图像是基于相同的所述特效素材处理得到。如此，仅需要对视频流中的目标帧原始图像进行特效处理，无需对全量视频帧进行特效处理，大大减少了逐帧计算特效图像的计算量和卡顿现象，且低延迟。此外，通过区域置信度信息对目标帧原始图像和当前帧原始图像进行区域划分处理，并对经区域划分处理得到的多个置信子区域分别进行特效变换处理，得到当前帧原始图像对应的当前帧特效图像，由于区域置信度信息表征区域包含稳定关键点或稳定光流的概率，如此，可根据不同图像区域中的关键点和光流点的实际稳定情况进行差异化特效变换处理，能够减少不稳定、重影、扭曲等问题的发现，大大增强了特效变换质量且鲁棒性好，从而在只对少量目标帧计算特效的情况下，通过分区域特效变换的方法高效且高质量地获取全部视频帧的特效结果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本公开的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种应用视频处理方法的系统的架构图。
图2是根据一示例性实施例示出的一种视频处理方法的流程图。
图3是根据一示例性实施例示出的一种区域划分处理方法步骤的流程图。
图4是根据一示例性实施例示出的一种特效变换处理方法步骤的流程图。
图5是根据一示例性实施例示出的一种获得第二特效图像方法步骤的流程图。
图6是根据一示例性实施例示出的一种视频处理方法的整体流程示意图。
图7是根据一示例性实施例示出的一种视频处理方法与现有关键点算法的特效处理方案之间的对比处理结果示意图。
图8是根据一示例性实施例示出的一种视频处理装置框图。
图9是根据一示例性实施例示出的另一种视频处理装置框图。
图10是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种应用视频处理方法的系统的架构图，参见图1，该架构图可以包括终端01和服务器02。
其中，终端01可以是但不限于为智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能可穿戴设备、数字助理、增强现实设备、虚拟现实设备等实体设备或者运行于实体设备中的应用程序中一种或多种。终端01上可以搭载有支持视频处理方法的应用程序，该应用程序可以是终端01操作系统中的应用，也可以为第三方提供的应用。仅作为示例，该应用程序可以为短视频应用、直播应用、社交应用、新闻应用、购物应用、游戏应用等，本公开实施例对此不进行具体限定。
服务器02可以是终端01上应用程序对应的服务器，仅作为示例，服务器02可以为短视频服务器、直播服务器、社交服务器、新闻服务器、购物服务器、游戏服务器等。服务器02可以是但不限于为独立的服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器等中一种或多种。
终端01上安装的应用程序可以由服务器02提供服务，用户通过终端01上安装的该应用程序实现例如数据传输、消息交互等功能。该终端01以及服务器02之间可以通过有线或无线通信方式进行直接或间接地连接，从而实现视频处理流程，本公开实施例在此不作限制。
本公开实施例提供的视频处理方法，可以由视频处理装置来执行，该视频处理装置可以是硬件形式或软件形式集成在终端或服务器等电子设备中，也可以由服务器或终端单独执行实现，或者可以由终端和服务器协同执行实现。
仅作为示例，本公开中视频处理方法可以应用视频实时处理场景，比如直播场景、录播场景、视频通话场景等。在直播场景下，终端01可以对采集的视频帧画面进行实时特效处理，实时特效处理后的视频画面发送至服务器02，由服务器02将该实时特效处理后的视频画面发送至观看直播的观众侧设备。在录播场景下，终端01可以对采集的视频帧画面进行实时特效处理，并在终端01上展示实时特效处理后的视频画面，待录播完成后，将经过实时特效处理的视频文件发送至服务器02，由服务器02将该实时特效处理后的视频文件发布或分享至应用平台，以供第三方用户能够观看该视频文件。在视频通话场景下，终端01可以对采集的视频通话帧画面进行实时特效处理，实时特效处理后的视频通话画面发送至服务器02，由服务器02将该实时特效处理后的视频通话画面发送至交互方。
仅作为示例，本公开中视频处理方法还可以是应用于对预先获取的完整视频进行特效处理的场景。具体的，终端01或服务器02可以获取到视频流数据并对该视频流数据进行处理，以获得具有特效处理的视频文件，接着通过发布或分享至应用平台，以供其他用户观看。
图2是根据一示例性实施例示出的一种视频处理方法的流程图，如图2所示，视频处理方法可以应用于电子设备，以该电子设备为上述实施环境示意图中终端为例进行说明，包括以下步骤。
在步骤S201中，获取视频流数据和特效素材，所述视频流数据包括目标帧原始图像和当前帧原始图像；所述目标帧原始图像与所述当前帧原始图像包含相同的待处理对象。
其中，视频流数据是需要进行特效处理的原始视频的视频帧数据，该视频可以包括但不限于直播视频、录播视频、通话视频、或者预先录制完的长视频或短视频等等。
该视频流数据包括目标帧原始图像和当前帧原始图像。所述目标帧原始图像与所述当前帧原始图像包含相同的待处理对象，该待处理对象可以包括但不限于人(例如头像、全身、眼睛、鼻子等等)、动物、植物、物品、风景等等中至少一种。在一些情况下，所述目标帧原始图像与所述当前帧原始图像可以属于同一镜头。目标帧原始图像可以是当前帧原始图像的前序视频帧，也可以是后序视频帧，本公开对此不作具体限定。在一个完整的视频流中，目标帧原始图像可以为多个，相邻的两个目标帧原始图像可以是不连续的，相邻的两个目标帧原始图像之间也可以包含至少一个当前帧原始图像。
目标帧原始图像的确定方式可以根据实际应用场景而不同。例如，在实时特效场景下，目标帧可以为非重复视频帧，和/或前后帧差异较大的视频帧。在非实时特效场景下，目标帧可以是整个视频中的关键帧，也可以为非重复视频帧，和/或前后帧差异较大的视频帧。
目标帧原始图像和当前帧原始图像可以是连续视频帧，也可以是相隔预设数量帧的非连续视频帧。该预设数量帧可以为数帧、十几帧或者其它更多，仅需要保证目标帧原始图像与当前帧原始图像属于同一镜头。也就是说，目标帧原始图像与当前帧原始图像是包含相同的待处理对象的视频帧图像，也即两者是大体相似的视频帧图像，如此便于根据目标帧原始图像的特效处理效果来更好地确定当前帧原始图像对应的特效图像。
其中，特效素材用于指示视频需要进行特效处理的内容。可选地，特效素材可以包括但不限于为美颜素材、美妆素材、风格化素材、贴图素材、搭配素材等至少一种。示例性的，美颜素材可以包括美颜方式(比如磨皮、肤色、美白、瘦脸、削脸、下巴、大眼、眼距、瘦鼻、长鼻、嘴形等)以及美颜程度(比如0～100％)。美妆素材包括但不限于美妆风格(比如现代、古典、韩式、日式等)以及色彩搭配。风格化素材包括但不限于发光风格、油画风格、素描风格等等。贴图素材可以包括但不限于卡通图案、动物图案、风景图案、其他人或物的图案、个性化图案等等。搭配素材可以包括但不限于眼镜、帽子、围巾、首饰等。
在一些可选实施方式中，用户可以触发终端应用上的特效控件，并选取或设置需要的特效效果，生成特效触发指令。该特效处理指令中可以包括特效素材，该特效素材用于指示视频需要进行特效处理的内容。终端可以响应于特效触发指令，获取该特效触发指令中所包含的特效素材、以及需要进行特效处理的视频的视频流数据，该视频流数据包括目标帧原始图像和当前帧原始图像，所述目标帧原始图像与所述当前帧原始图像包含相同的待处理对象。当然，在其他可选实施方式中，该特效触发指令可以是默认设置的，无需用户重复触发特效控件，而当用户在需要对特效信息进行修改或调整时，可以触发特效控件，进而生成新的特效触发指令。
在步骤S203中，基于所述特效素材，对所述目标帧原始图像进行特效处理，得到目标帧特效图像。
在一些可选实施方式中，可以调用特效处理算法或卷积神经网络，利用特效素材仅对视频流数据中的目标帧原始图像进行特效处理，得到目标帧特效图像。而对视频流数据中的当前帧原始图像不采用该特效处理算法或卷积神经网络进行特效处理。该特效处理算法可以为图形学算法，该卷积神经网络可以为具有特效处理功能的网络模型，本公开对特效处理算法或卷积神经网络不作具体限定。
在步骤S205中，根据区域置信度信息，分别对所述目标帧原始图像和所述当前帧原始图像进行区域划分处理，对应得到多个置信子区域。
其中，所述区域置信度信息表征区域包含稳定关键点和稳定光流点的概率；所述稳定关键点表征图像中抖动幅度小于预设幅度阈值的关键点，所述稳定光流点表征图像中抖动幅度小于预设幅度阈值的像素点。
其中，区域置信度信息表征区域包含稳定关键点和稳定光流点的概率。所述稳定关键点表征图像中抖动幅度小于预设幅度阈值的关键点，所述稳定光流点表征图像中抖动幅度小于预设幅度阈值的像素点。具体地，稳定关键点是指不会因光照、噪声等因素而变换的“稳定”特征点，例如边缘点、角点、亮区的暗点、暗区的亮点等等。仅作为示例，这里的稳定关键点可以具体指人脸关键点，例如包括但不限于五官、面部轮廓等等。所述稳定光流点是指不同视频帧之间对象具有稳定运动信息(或者偏移少)的像素点。
置信度子区域中包含稳定关键点和稳定光流点的概率越高，则对应的置信度越高；相反，则越低。可选地，根据稳定关键点的概率高低以及稳定光流点的概率高低，该区域置信度信息可以划分为高、中和低三个等级。当然，在实际应用中，区域置信度信息还可划分为更少置信度等级或更细粒度置信度等级。可选地，高区域置信度对应具有高概率(例如大于第一预设概率阈值)的稳定关键点的置信子区域，中区域置信度对应具有高概率(例如大于第二预设概率阈值)的稳定光流点以及低概率的稳定关键点的置信子区域，低区域置信度对应具有低概率的稳定光流点以及低概率的稳定关键点的置信子区域。
可选地，不同的置信子区域可具有不同区域置信度。示例性的，置信子区域可以根据区域置信度信息的置信度等级可以划分为高置信度子区域、中置信度子区域和低置信度子区域。此时，对应的置信子区域可以包括三种，分别为高置信度子区域、中置信度子区域和低置信度子区域。当然，置信子区域还可以包括更少或更多种的区域置信度，例如，该置信子区域可以包括高置信度子区域、中置信度子区域和低置信度子区域中任意两种。
另一可选地，不同的置信子区域也可以具有相同区域置信度。示例性的，多个置信子区域可以是相互间隔，且都是对应高区域置信度的子区域，或者都对应中区域置信度的子区域，或者都对应低区域置信度的子区域。
在实际应用中，可以通过调用区域分割网络对目标帧原始图像和当前帧原始图像进行区域划分处理，得到各区域的语义信息，继而对应得到多个置信子区域。具体地，该区域分割网络可以为独立神经网络模型，也可为级联网络模型，本公开对此不作具体限定。
在一些可选实施方式中，如图3所示，所述根据区域置信度信息，分别对所述目标帧原始图像和所述当前帧原始图像进行区域划分处理，对应得到多个置信子区域步骤可以包括：
在步骤S301中，分别获得所述目标帧原始图像的第一前景区域以及所述当前帧原始图像的第二前景区域。
其中，所述第一前景区域和所述第二前景区域分别为原始图像中除背景区域以外的区域。
在步骤S303中，根据区域置信度信息，分别对所述第一前景区域和所述第二前景区域进行区域划分处理，对应得到多个置信子区域。
可选地，区域分割网络可以包括前景分割网络和关键点检测网络。以前景分割网络为人像分割网络，关键点检测网络为人脸关键点检测网络为例，可以将目标帧原始图像
和当前帧原始图像
分别输入至人像分割网络进行前景人像识别，利用人像分割网络进行前景人像识别，分别得到目标帧原始图像的第一前景区域
以及所述当前帧原始图像的第二前景区域
接着，将第一前景区域和第二前景区域分别输入至人脸关键点检测网络，利用人脸关键点检测网络进行人脸关键点检测，可以输入前景区域中每个子区域的区域置信度信息，该区域置信度信息用于表征区域包含稳定关键点和稳定光流点的概率。接着，根据检测到的区域置信度信息，对第一前景区域和第二前景区域进行区域分类，进而将第一前景区域和所述第二前景区域进行区域划分为对应的多个置信子区域。
上述实施例，通过对目标帧原始图像和当前帧原始图像分别进行去除背景区域处理，仅对获取的第一前景区域和第二前景区域进行区域划分处理，可以减少区域划分处理和后续特效变换处理的计算量，利于提高视频处理效率，能够使得用户在实时特效处理过程中无卡顿感，进而大大提升了用户体验和使用粘度。
在一些可选实施方式中，上述步骤S303，所述根据区域置信度信息，分别对所述第一前景区域和所述第二前景区域进行区域划分处理，对应得到多个置信子区域步骤可以包括：
在步骤S3031中，分别对所述第一前景区域和所述第二前景区域进行关键点检测，并根据检测到稳定关键点的概率大小，分别从所述第一前景区域和所述第二前景区域中划分出高置信度子区域；所述高置信度子区域表征包含稳定关键点的概率大于等于第一预设概率阈值的区域；
在步骤S3032中，在检测到所述第一前景区域的区域面积大于所述目标帧原始图像的高置信度子区域的区域面积时，确定目标区域；所述目标区域为所述第一前景区域中除掉所述高置信度子区域之外的第一剩余区域，以及所述第二前景区域中除掉所述高置信度子区域之外的第二剩余区域；
在步骤S3033中，对所述目标区域进行光流检测，并根据检测到稳定光流点的概率大小，分别对所述第一剩余区域和所述第二剩余区域进行区域划分处理，对应得到至少一个置信子区域，所述第一前景区域和所述第二前景区域分别对应的置信子区域的数量相匹配。
可选地，可以通过人脸关键点检测网络分别对第一前景区域
和第二前景区域
进行关键点检测，分别对应得到人脸关键点
和
接着，若检测到稳定关键点的概率大小大于等于第一预设概率阈值，则分别从第一前景区域
和第二前景区域
中划分出高置信度子区域
和
其中，第一预设概率阈值可根据实际情况进行设置，本公开对此不作具体限定。
接着，可以检测目标帧原始图像的第一前景区域的区域面积是否大于目标帧原始图像的高置信度子区域的区域面积。若检测结果为小于等于对应的高置信度子区域的区域面积，则说明第一前景区域全部为高置信度子区域，可以无需进行后续的光流检测步骤。若检测结果为大于对应的高置信度子区域的区域面积，则说明第一前景区域中还存在未划分置信度等级的区域，进而可以对其他剩余区域进行光流检测。具体地，可以先从第一前景区域
和第二前景区域
中划分掉对应高置信度子区域，将分别得到第一剩余区域和第二剩余区域作为目标区域；再对该目标区域进行光流检测，并根据检测到稳定光流点的概率大小，分别对所述第一剩余区域和所述第二剩余区域进行区域划分处理，对应得到至少一个置信子区域。该第一前景区域和第二前景区域分别对应的置信子区域的数量相匹配，也即第一前景区域和第二前景区域分别划分为对应的不同置信等级的置信子区域的数量相同。应理解，在其他实施方式中，还可以检测当前帧原始图像的第二前景区域的区域面积是否大于当前帧原始图像的高置信度子区域的区域面积，进而根据检测结果确定是否进行后续光流检测，具体检测内容类似于对第一前景区域进行检测的内容，在此不再赘述。
若检测到稳定关键点的概率小于第一预设概率阈值，则说明前景区域中不存在稳定关键点，此时可以对第一前景区域
和第二前景区域
进行光流检测，并根据稳定光流点检测结果对第一前景区域
和第二前景区域
进行至少一个置信子区域划分。该第一前景区域和第二前景区域分别对应的置信子区域的数量相匹配，也即第一前景区域和第二前景区域分别划分为对应的不同置信等级的置信子区域的数量相同。
示例性地，以区域置信度等级为3个为例，根据置信度等级从高至低的排序可以为高置信度等级、中置信度等级和低置信度等级。其中，高置信度等级对应的高置信度子区域(分别记为
和
)，处于该高置信度子区域中能够获得大于第一预设概率阈值的稳定关键点；中置信度等级对应的中置信度子区域(分别记为
和
)，处于该中置信度子区域中稳定关键点的概率小于等于第一预设概率阈值，且稳定光流点的概率大于第二预设概率阈值；低置信度等级对应的低置信度子区域(分别记为
和
)，处于该低置信度子区域中能够无法获得稳定关键点和光流，也即稳定关键点的概率小于等于第一预设概率阈值，且稳定光流点的概率小于等于第二预设概率阈值。在实际应用中，仅作为示例，高置信度子区域可以为人脸区域，中置信度子区域可以为衣服区域，低置信度子区域可以为头发区域，当然并不限于此，前景图像中各区域的置信度等级划分还可根据具体的视频中关键点或光流是否稳定来确定。
上述实施例，通过依次根据关键点检测和光流检测来实现置信子区域的划分，使得划分得到的置信子区域具有相同的关键点属性和光流点属性，利于后续对各置信子区域进行差异化的特效变换处理，避免使用单一特效处理所存在的重影、扭曲等问题，进而大大提高了视频特效的处理效果和质量。
在步骤S207中，基于所述目标帧原始图像、当前帧原始图像和目标帧特效图像，分别对所述多个置信子区域进行特效变换处理，得到当前帧特效图像，所述当前帧特效图像与所述目标帧特效图像是基于相同的所述特效素材处理得到。
在前面步骤中已经对前景图像进行了区域划分，得到多个置信子区域，则根据每个置信子区域对应的关键点及光流质量，通过学习目标帧原始图像与当前帧原始图像之间的变换关系，或者通过学习目标帧原始图像和目标帧特效图像之间的映射关系，对多个置信子区域进行差异化的特效变换处理，得到当前帧原始图像对应的多个特效子图像。接着，通过融合多个特效子图像以及对应的背景图像，进而可以快速获得当前帧原始图像对应的当前帧特效图像，所获得的当前帧特效图像与目标帧特效图像是基于相同的特效素材处理得到的，如此无需对大量的当前帧原始图像单独进行特效处理，进而减少特效处理工作量，从而提高视频特效处理的效率，节省时间开销，同时即便在配置较低的设备上执行该视频处理方法，也不会出现卡顿现象，不仅保证了视频特效处理质量，而且提高特效处理效率，显著提高了用户体验。
在一可选实施方式中，如图4和6所示，在检测所述当前帧原始图像中存在低置信度子区域的情况下，所述低置信度子区域中包含稳定关键点的概率小于等于第一预设概率阈值，且稳定光流点的概率小于等于第二预设概率阈值。所述基于所述目标帧原始图像、当前帧原始图像和目标帧特效图像，分别对所述多个置信子区域进行特效变换处理，得到当前帧特效图像步骤包括：
在步骤S401中，基于所述目标帧原始图像和目标帧特效图像的映射关系，对所述当前帧原始图像中多个置信子区域中低置信度子区域进行特效变换处理，得到第一特效图像。
可选地，在所述映射关系包括颜色映射关系的情况下，上述步骤S401，所述基于所述目标帧原始图像和目标帧特效图像的映射关系，对所述当前帧原始图像中多个置信子区域中低置信度子区域进行特效变换处理，得到第一特效图像步骤可以包括：
在步骤S4011中，获取所述目标帧原始图像与所述目标帧特效图像之间的颜色映射关系；
在步骤S4013中，基于所述颜色映射关系中包含的原始图像与特效图像之间的特效映射关系，确定所述当前帧原始图像和当前帧特效图像之间的第一目标变换参数；
在步骤S4015中，基于所述第一目标变换参数，对所述当前帧原始图像中低置信度子区域中各像素点进行特效变换处理，得到第一特效图像。
在实际应用中，可选地，利用前景人像区域
分离出关键帧特效图像
和目标帧原始图像
的前景部分，并在前景部分可以通过拟合线性回归模型的方式，得到逐像素的目标帧原始图像到目标帧特效图像的线性映射，即颜色映射关系。将此颜色映射关系应用于当前帧原始图像的低置信度子区域，具体地，基于所述颜色映射关系中包含的原始图像与特效图像之间的特效映射关系，确定所述当前帧原始图像和当前帧特效图像之间的第一目标变换参数。接着，基于所述第一目标变换参数，对所述当前帧原始图像中低置信度子区域中各像素点进行特效变换处理，得到颜色映射后的第一特效图像
上述实施例，通过根据第一目标变换参数对低置信度子区域进行特效变换处理，由于第一目标变换参数是基于目标帧原始图像和目标帧特效图像的颜色映射关系所确定的，且低置信度子区域中像素点的抖动幅度较大。如此，根据目标帧自身的颜色映射关系直接应用到低置信度子区域以进行特效变换处理，能够快速地获得低置信度子区域对应的第一特效图像，减少了特效处理计算量和耗时，能够避免出现重影、扭曲等问题。
作为一种变形实施方式，颜色映射关系可以使用查找表、K近邻回归等方法、或者轻量级的神经网络进行确定。
在步骤S403中，在检测到所述当前帧原始图像中存在除低置信度子区域以外的其他置信度子区域时，基于所述目标帧原始图像与当前帧原始图像之间的变换关系，对所述目标帧特效图像中多个置信子区域中除低置信度子区域之外的区域进行特效变换处理，得到第二特效图像。
可选地，在检测到所述当前帧原始图像中存在除低置信度子区域以外的其他置信度子区域的情况下，也即所述当前帧原始图像中存在中置信度子区域、或高置信度子区域中至少一种。
在一可选实施方式中，如图5和6所示，所述基于所述目标帧原始图像与当前帧原始图像之间的变换关系，对所述目标帧特效图像中多个置信子区域中除低置信度子区域之外的区域进行特效变换处理，得到第二特效图像步骤可以包括：
在步骤S501中，基于所述目标帧原始图像与当前帧原始图像之间的图像对齐关系，确定所述目标帧特效图像与当前帧特效图像之间的第一变换子参数。
在一可选实施方式中，所述基于所述目标帧原始图像与当前帧原始图像之间的图像对齐关系，确定所述目标帧特效图像与当前帧特效图像之间的第一变换子参数步骤可以包括：
在步骤S5011中，获取所述目标帧原始图像对应的第一网格图像，以及获取所述当前帧原始图像对应的第二网格图像；每个网格图像中各网格的顶点为光流点；
在步骤S5012中，计算将所述第一网格图像中各像素点与所述第二网格图像中对应像素点对齐的光度损失；
在步骤S5013中，计算所述第一网格图像中各网格变形到所述第二网格图像中对应网格的网格形变损失；
在步骤S5014中，最小化所述光度损失与所述网格形变损失之和，获得所述目标帧原始图像对应的目标网格图像；
在步骤S5015中，根据所述第一网格图像中各光流点的初始位置变换至所述目标网格图像中各光流点的目标位置，确定第一目标变换矩阵；
在步骤S5016中，将所述第一目标变换矩阵作为所述目标帧特效图像与当前帧特效图像之间的第一变换子参数。
在实际应用中，可选地，将目标帧原始图像
及当前帧原始图像
划分为相同的若干长方形网格，分别对应得到第一网格图像和第二网格图像。目标帧原始图像中每个网格的顶点为要估计的光流点，也即要优化的变量。优化过程可以使用两部分损失，例如光度损失和网格形变损失。其中光度损失可以将目标帧原始图像和当前帧原始图像上相同像素点进行对齐，而网格形变损失可以约束网格形变的大小。通过计算将所述第一网格图像中各像素点与所述第二网格图像中对应像素点对齐的光度损失，以及计算所述第一网格图像中各网格变形到所述第二网格图像中对应网格的网格形变损失，并使用最小二乘优化算法，使得这两种损失最小，即可得到目标帧原始图像中网格顶点的最佳位置。具体地，最小化所述光度损失与所述网格形变损失之和，获得所述目标帧原始图像对应的目标网格图像，此时目标网格图像中各光流点的目标位置，即为关键帧原始图像中网格顶点的最佳位置。接着，可以利用第一网格图像和目标网格图像的四个顶点求出单应性变换，也即根据所述第一网格图像中各光流点的初始位置变换至所述目标网格图像中各光流点的目标位置，确定第一目标变换矩阵，也即所述目标帧特效图像与当前帧特效图像之间的第一变换子参数。该第一目标变换矩阵表征目标帧图像到原始帧图像之间的变换关系。
上述实施例，通过计算目标帧原始图像对应的第一网格图像中各像素点、与当前帧原始图像对应的第二网格图像中对应像素点对齐的光度损失，以及计算第一网格图像中各网格变形到所述第二网格图像中对应网格的网格形变损失，并获取最小化所述光度损失与所述网格形变损失之和对应的目标网格图像，进而根据第一网格图像中各光流点的初始位置变换至目标网格图像中各光流点的目标位置，确定第一目标变换矩阵，并将该第一目标变换矩阵作为目标帧特效图像与当前帧特效图像之间的第一变换子参数。如此，可提高第一变换子参数的准确度和精度，进而利于提高视频特效变换处理的质量。
作为一种变形实施方式，本实施例中基于光流变形部分的最佳位置还可以通过深度学习方法获得。
在步骤S503中，根据所述第一变换子参数，对所述目标帧特效图像中的中置信度子区域进行特效变换处理，得到第一变换特效图像。
可选地，在获取到第一目标变化矩阵之后，将第一目标变换矩阵作为第一变换子参数应用到目标帧特效图像中的中置信度子区域中进行特效变换处理。具体地，可以基于所述第一目标变化矩阵，对所述目标帧特效图像中的中置信度子区域中各像素点进行特效变换处理，得到第一变换特效图像
其中，所述中置信度子区域中包含稳定关键点的概率小于等于第一预设概率阈值，且稳定光流点的概率大于等于第二预设概率阈值的区域。所述第一变换特效图像用于反映所述当前帧原始图像中的中置信度子区域的特效图像。
在步骤S505中，基于所述目标帧原始图像与当前帧原始图像之间的像素点变换矩阵关系，确定所述目标帧特效图像与当前帧特效图像之间的第二变换子参数。
在一可选实施方式中，所述基于所述目标帧原始图像与当前帧原始图像之间的变换矩阵关系，确定所述目标帧特效图像与当前帧特效图像之间的第二变换子参数步骤可以包括：
在步骤S5051中，获取所述目标帧原始图像对应的第一关键点，以及获取所述当前帧原始图像对应的第二关键点；每个所述第一关键点与对应的所述第二关键点具有相同的像素特征信息；
在步骤S5052中，对所述目标帧特效图像中图像关键点进行变形匹配处理，以使得变形后的第一关键点匹配对应的所述第二关键点；
在步骤S5053中，计算所述目标帧原始图像中高置信度子区域内各像素点的变换矩阵；所述变换矩阵表征目标帧原始图像中各像素点变形到当前帧原始图像中对应像素点的变换关系；
在步骤S5054中，优化所述变换矩阵，以使得所述目标帧原始图像中各关键点经矩阵变换后的误差数据最小，并将最小误差数据对应的变换矩阵作为第二目标变换矩阵；
在步骤S5055中，将所述第二目标变换矩阵作为所述目标帧特效图像与当前帧特效图像之间的第二变换子参数。
其中，相同的像素特征信息表征第一关键点与第二关键点是一一对应的。示例性的，若第一关键点为目标帧原始图像中目标人脸的左眼，则第二关键点为当前帧原始图像中目标人脸的左眼。若第一关键点为目标帧原始图像中目标人脸的右眼，则第二关键点为当前帧原始图像中目标人脸的右眼，等等。这里的第一关键点和第二关键点的数量可以为至少一个，为了提高变换的准确性，它们的数量优选为多个。
在实际应用中，可选地，使用目标帧原始图像的第一关键点
及当前帧原始图像的第二关键点
驱动目标帧特效图像种图像关键点进行变形匹配处理，并确保目标帧原始图像的第一关键点在变形后匹配上当前帧原始图像对应的第二关键点。例如，第一关键点对应的左眼经变形后匹配上第二关键点对应的左眼。具体地，在高置信度子区域内每个像素点上计算一个从目标帧原始图像到当前帧原始图像的变换矩阵，即优化变量。该所述变换矩阵表征目标帧原始图像中各像素点变形到当前帧原始图像中对应像素点的变换关系。此变换矩阵可以仅包含旋转、平移以及等比例缩放等，且各关键点对该矩阵的影响与各关键点到像素点的距离成反比。使用最小二乘优化算法，使目标帧原始图像中各关键点经过该矩阵变换后的误差数据(例如加权均方误差等)最小，即得到第二目标变换矩阵。将所述第二目标变换矩阵作为所述目标帧特效图像与当前帧特效图像之间的第二变换子参数。
上述实施例，通过计算目标帧特效图像中的图像关键点变形所得到的变换矩阵，通过该变换矩阵以使得变形后的第一关键点匹配对应的第二关键点，将误差数据最小的变化矩阵作为第二目标变换矩阵，进而将该第二目标变换矩阵作为目标帧特效图像与当前帧特效图像之间的第二变换子参数。如此，不仅可提高第二变换子参数的准确度，进而提高视频特效变换处理的质量；而且基于关键点的变化矩阵进行特效变换处理，可简化计算量，提高视频特效处理的效率，进一步减少了用户使用卡顿感。
作为一种变形实施方式，本公开实施例中基于关键点变形部分可以使用ARAP变形算法，也即使用增加刚体约束的变换矩阵进行关键点变形匹配处理。
在步骤S507中，根据所述第二变换子参数，对所述目标帧特效图像中的高置信度子区域进行特效变换处理，得到第二变换特效图像。
可选地，在获取到第二目标变化矩阵之后，将第二目标变换矩阵作为第二变换子参数应用到目标帧特效图像中的高置信度子区域中进行特效变换处理。具体地，可以基于所述第二目标变化矩阵，对所述目标帧特效图像中的高置信度子区域中各像素点进行逐像素的特效变换处理，得到第二变换特效图像
所述第二变换特效图像用于反映所述当前帧原始图像中的高置信度子区域的特效图像。
在步骤S509中，基于所述第一变换特效图像和所述第二变换特效图像，得到所述第二特效图像。
可选地，在获取到第一变换特效图像和第二变换特效图像之后，可以将所述第一变换特效图像和所述第二变换特效图像进行图形合并处理，即得到所述第二特效图像。
上述实施例，通过第一变换子参数和第二变换子参数，分别对不同置信度等级的置信子区域进行更细粒度的差异化特效变换处理，如此可以进一步提高特效处理效率和质量。
在步骤S405中，融合目标特效图像以及所述当前帧原始图像中的背景图像，得到当前帧特效图像；所述目标特效图像包括所述第一特效图像、所述第二特效图像中至少一种。
可选地，在获取到目标特效图像之后，该目标特效图像包括所述第一特效图像、所述第二特效图像中至少一种。该目标特效图像可以根据划分的置信子区域进行确定。示例性的，若置信子区域仅包括低置信度子区域，则目标特效图像为第一特效图像；若置信子区域仅包括中置信度子区域和/或高置信区域，则目标特效图像为第二特效图像；若置信子区域仅包括低置信度子区域、中置信度子区域和高置信区域，则目标特效图像为第一特效图像和第二特效图像，也即上述各步骤中得到的特效变换结果
以及
接着，根据当前帧原始图像中各置信子区域以及背景区域的位置关系，将该目标特效图像与当前帧原始图像中的背景图像进行图像融合，得到当前帧特效图像。该当前帧特效图像为当前帧原始图像经过与目标帧原始图像经过相同特效处理的图像。
上述实施例，通过根据目标帧原始图像和目标帧特效图像的映射关系，对低置信度子区域进行特效变换处理，且低置信度子区域中像素点的抖动幅度较大。如此，根据目标帧自身的特效变换关系直接应用到低置信度子区域以进行特效变换处理，能够快速的获取低置信度子区域对应的第一特效图像，减少特效处理计算量和耗时，能够避免出现重影、扭曲等问题。而根据目标帧原始图像与当前帧原始图像的变化关系，对除低置信度子区域之外的其他置信度子区域进行特效变换处理，如此可提高对其他置信度子区域的特效变换处理质量和效果。通过对低置信度子区域和其他置信度子区域进行差异化的特效变换处理，能够显著提高特效处理效果和效率，大大增强了特效变换质量且鲁棒性好。
在一可选实施方式中，所述视频处理方法还可包括：
在步骤S209中，展示所述目标帧特效图像和所述当前帧特效图像。
可选地，在终端界面上实时展示目标帧特效图像和当前帧特效图像，以使得用户能够实时看到具有特效处理的视频流。
下面具体说明上述的一种具体实现：首先调用AI模型得到原始图像的特征点、分割区域等信息，再调用OpenGL等图形API对需要做基于关键点变形的图像进行渲染，在Shader中计算变形后的顶点坐标，达到加速效果，而颜色映射和基于光流的变形分别可以使用闭式解和优化求解器进行计算。最后通过GPU编程实现各部分图像的融合，整体流程都可使用C++语言进行集成开发。
为了体现本公开提供的视频处理方法的特效处理效果，与现有基于关键点算法的特效处理方案进行对比，其对比结果见图7所示。通过图7可以看出，通过本公开的视频处理方法(图7(e))的特效处理效果没有出现重影和强烈扭曲的现象，相比于现有的关键点算法的特效处理方案(图7(d))的特效处理效果得到较大程度的改善。
本公开实施例仅需要对视频流中的目标帧原始图像进行特效处理，无需对全量视频帧进行特效处理，大大减少了逐帧计算特效图像的计算量和卡顿现象，且低延迟。此外，可以仅对目标帧原始图像进行特效图像的计算，并利用分区域的差异化特效变换方法获得高质量的逐帧特效。由于目标帧原始图像通常仅占全部视频帧的三分之一甚至更少，仅需消耗很少的计算资源即可得到新的一帧特效图像，这使得特效计算量大大减少，尤其在实时特性场景下，实现了基于目标帧的实时特效加速，从而高端设备用户的延迟感减轻，低端设备用户可以体验到更高质量的特效。
此外，通过区域置信度信息对目标帧原始图像和当前帧原始图像进行区域划分处理，并对经区域划分处理得到的多个置信子区域分别进行特效变换处理，得到当前帧原始图像对应的当前帧特效图像，由于区域置信度信息表征区域包含稳定关键点或稳定光流的概率，如此，可根据不同图像区域中的关键点或光流的实际稳定情况进行差异化特效变换处理，能够减少不稳定、重影、扭曲等问题的发现，大大增强了特效变换质量且鲁棒性好，从而在只对少量目标帧计算特效的情况下，通过分区域特效变换的方法高效且高质量地获取全部视频帧的特效结果。
图8是根据一示例性实施例示出的一种视频处理装置框图。参照图8，该装置包括：
获取模块810，被配置为执行获取视频流数据和特效素材，所述视频流数据包括目标帧原始图像和当前帧原始图像；所述目标帧原始图像与所述当前帧原始图像包含相同的待处理对象；
特效处理模块820，被配置为执行基于所述特效素材，对所述目标帧原始图像进行特效处理，得到目标帧特效图像；
区域划分模块830，被配置为执行根据区域置信度信息，分别对所述目标帧原始图像和所述当前帧原始图像进行区域划分处理，对应得到多个置信子区域；所述区域置信度信息表征区域包含稳定关键点和稳定光流点的概率；所述稳定关键点表征图像中抖动幅度小于预设幅度阈值的关键点，所述稳定光流点表征图像中抖动幅度小于预设幅度阈值的像素点；
变换处理模块840，被配置为执行基于所述目标帧原始图像、当前帧原始图像和目标帧特效图像，分别对所述多个置信子区域进行特效变换处理，得到当前帧特效图像，所述当前帧特效图像与所述目标帧特效图像是基于相同的所述特效素材处理得到。
作为一种可选的实施方式，如图9所示，所述区域划分模块830包括：
前景获取子模块831，被配置为执行分别获得所述目标帧原始图像的第一前景区域以及所述当前帧原始图像的第二前景区域；
区域划分子模块832，被配置为执行根据区域置信度信息，分别对所述第一前景区域和所述第二前景区域进行区域划分处理，对应得到多个置信子区域。
作为一种可选的实施方式，所述区域划分子模块832包括：
第一区域划分单元，被配置为执行分别对所述第一前景区域和所述第二前景区域进行关键点检测，并根据检测到稳定关键点的概率大小，分别从所述第一前景区域和所述第二前景区域中划分出高置信度子区域；所述高置信度子区域表征包含稳定关键点的概率大于等于第一预设概率阈值的区域；
目标区域确定单元，被配置为执行在检测到所述第一前景区域的区域面积大于所述目标帧原始图像的高置信度子区域的区域面积时，确定目标区域；所述目标区域为所述第一前景区域中除掉所述高置信度子区域之外的第一剩余区域，以及所述第二前景区域中除掉所述高置信度子区域之外的第二剩余区域；
第二区域划分单元，被配置为执行对所述目标区域进行光流检测，并根据检测到稳定光流点的概率大小，分别对所述第一剩余区域和所述第二剩余区域进行区域划分处理，对应得到至少一个置信子区域，所述第一前景区域和所述第二前景区域分别对应的置信子区域的数量相匹配。
作为一种可选的实施方式，继续如图9所示，在检测所述当前帧原始图像中存在低置信度子区域的情况下，所述低置信度子区域中包含稳定关键点的概率小于等于第一预设概率阈值，且稳定光流点的概率小于等于第二预设概率阈值；所述变换处理模块840包括：
第一变换子模块841，被配置为执行基于所述目标帧原始图像和目标帧特效图像的映射关系，对所述当前帧原始图像中多个置信子区域中低置信度子区域进行特效变换处理，得到第一特效图像；
第二变换子模块842，被配置为执行在检测到所述当前帧原始图像中存在除低置信度子区域以外的其他置信度子区域时，基于所述目标帧原始图像与当前帧原始图像之间的变换关系，对所述目标帧特效图像中多个置信子区域中除低置信度子区域之外的区域进行特效变换处理，得到第二特效图像；
融合子模块843，被配置为执行融合目标特效图像以及所述当前帧原始图像中的背景图像，得到当前帧特效图像；所述目标特效图像包括所述第一特效图像、所述第二特效图像中至少一种。
作为一种可选的实施方式，所述第一变换子模块841包括：
映射关系确定单元，被配置为执行获取所述目标帧原始图像与所述目标帧特效图像之间的颜色映射关系；
第一变换参数确定单元，被配置为执行基于所述颜色映射关系中包含的原始图像与特效图像之间的特效映射关系，确定所述当前帧原始图像和当前帧特效图像之间的第一目标变换参数；
第一变换单元，被配置为执行基于所述第一目标变换参数，对所述当前帧原始图像中低置信度子区域中各像素点进行特效变换处理，得到第一特效图像。
作为一种可选的实施方式，在所述第二目标变换参数包括第一变换子参数和第二变换子参数的情况下，所述第二变换子模块842包括：
第一变换子参数确定单元，被配置为执行基于所述目标帧原始图像与当前帧原始图像之间的图像对齐关系，确定所述目标帧特效图像与当前帧特效图像之间的第一变换子参数；
第二变换单元，被配置为执行根据所述第一变换子参数，对所述目标帧特效图像中的中置信度子区域进行特效变换处理，得到第一变换特效图像；所述中置信度子区域中包含稳定关键点的概率小于等于第一预设概率阈值，且稳定光流点的概率大于等于第二预设概率阈值的区域；所述第一变换特效图像用于反映所述当前帧原始图像中的中置信度子区域的特效图像；
第二变换子参数确定单元，被配置为执行基于所述目标帧原始图像与当前帧原始图像之间的像素点变换矩阵关系，确定所述目标帧特效图像与当前帧特效图像之间的第二变换子参数；
第三变换单元，被配置为执行根据所述第二变换子参数，对所述目标帧特效图像中的高置信度子区域进行特效变换处理，得到第二变换特效图像；所述第二变换特效图像用于反映所述当前帧原始图像中的高置信度子区域的特效图像；
处理单元，被配置为执行基于所述第一变换特效图像和所述第二变换特效图像，得到所述第二特效图像。
作为一种可选的实施方式，所述第一变换子参数确定单元包括：
网格图像获取子单元，被配置为执行获取所述目标帧原始图像对应的第一网格图像，以及获取所述当前帧原始图像对应的第二网格图像；每个网格图像中各网格的顶点为光流点；
光度损失确定子单元，被配置为执行计算将所述第一网格图像中各像素点与所述第二网格图像中对应像素点对齐的光度损失；
形变损失确定子单元，被配置为执行计算所述第一网格图像中各网格变形到所述第二网格图像中对应网格的网格形变损失；
目标网格图像确定子单元，被配置为执行最小化所述光度损失与所述网格形变损失之和，获得所述目标帧原始图像对应的目标网格图像；
变换子单元，被配置为执行根据所述第一网格图像中各光流点的初始位置变换至所述目标网格图像中各光流点的目标位置，确定第一目标变换矩阵；
第一变换子参数确定子单元，被配置为执行将所述第一目标变换矩阵作为所述目标帧特效图像与当前帧特效图像之间的第一变换子参数。
作为一种可选的实施方式，所述第二变换子参数确定单元包括：
关键点获取子单元，被配置为执行获取所述目标帧原始图像对应的第一关键点，以及获取所述当前帧原始图像对应的第二关键点；每个所述第一关键点与对应的所述第二关键点具有相同的像素特征信息；
变形匹配子单元，被配置为执行对所述目标帧特效图像中图像关键点进行变形匹配处理，以使得变形后的第一关键点匹配对应的所述第二关键点；
变换矩阵确定子单元，被配置为执行计算所述目标帧原始图像中高置信度子区域内各像素点的变换矩阵；所述变换矩阵表征目标帧原始图像中各像素点变形到当前帧原始图像中对应像素点的变换关系；
矩阵优化子单元，被配置为执行优化所述变换矩阵，以使得所述目标帧原始图像中各关键点经矩阵变换后的误差数据最小，并将最小误差数据对应的变换矩阵作为第二目标变换矩阵；
第二变换子参数确定子单元，被配置为执行将所述第二目标变换矩阵作为所述目标帧特效图像与当前帧特效图像之间的第二变换子参数。
作为一种可选的实施方式，继续如图9所示，所述装置还包括：
展示模块850，被配置为执行展示所述目标帧特效图像和所述当前帧特效图像
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图10是根据一示例性实施例示出的一种电子设备的框图。参照图10，电子设备包括处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行存储器上所存放的指令时，实现上述实施例中任一视频处理方法的步骤。
该电子设备可以终端、服务器或者类似的运算装置，以该电子设备是服务器为例，图10是根据一示例性实施例示出的一种用于视频处理的电子设备的框图，该电子设备1000可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(CentralProcessing Units，CPU)1010(处理器1010可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器1030，一个或一个以上存储应用程序1023或数据1022的存储介质1020(例如一个或一个以上海量存储设备)。其中，存储器1030和存储介质1020可以是短暂存储或持久存储。存储在存储介质1020的程序可以包括一个或一个以上模块，每个模块可以包括对电子设备中的一系列指令操作。更进一步地，中央处理器1010可以设置为与存储介质1020通信，在电子设备1000上执行存储介质1020中的一系列指令操作。
电子设备1000还可以包括一个或一个以上电源1060，一个或一个以上有线或无线网络接口1050，一个或一个以上输入输出接口1040，和/或，一个或一个以上操作系统1021，例如Windows Server，Mac OS X，Unix,Linux，FreeBSD等等。
输入输出接口1040可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括电子设备1000的通信供应商提供的无线网络。在一个实例中，输入输出接口1040包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个示例性实施例中，输入输出接口1040可以为射频(Radio Frequency，RF)模块，其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解，图10所示的结构仅为示意，其并不对上述电子设备的结构造成限定。例如，电子设备1000还可包括比图10中所示更多或者更少的组件，或者具有与图10所示不同的配置。
在示例性实施例中，还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器，上述指令可由电子设备1000的处理器执行以完成上述方法。可选地，计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序被处理器执行时实现上述任一种实施方式中提供的方法。可选地，该计算机程序或指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机程序，处理器执行该计算机程序，使得该电子设备执行上述任一种实施方式中提供的方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (10)
1.一种视频处理方法，其特征在于，包括：
获取视频流数据和特效素材，所述视频流数据包括目标帧原始图像和当前帧原始图像；所述目标帧原始图像与所述当前帧原始图像包含相同的待处理对象；
基于所述特效素材，对所述目标帧原始图像进行特效处理，得到目标帧特效图像；
根据区域置信度信息，分别对所述目标帧原始图像和所述当前帧原始图像进行区域划分处理，对应得到多个置信子区域；所述区域置信度信息表征区域包含稳定关键点和稳定光流点的概率；所述稳定关键点表征图像中抖动幅度小于预设幅度阈值的关键点，所述稳定光流点表征图像中抖动幅度小于预设幅度阈值的像素点；
基于所述目标帧原始图像、当前帧原始图像和目标帧特效图像，分别对所述多个置信子区域进行特效变换处理，得到当前帧特效图像，所述当前帧特效图像与所述目标帧特效图像是基于相同的所述特效素材处理得到。
2.根据权利要求1所述的视频处理方法，其特征在于，所述根据区域置信度信息，分别对所述目标帧原始图像和所述当前帧原始图像进行区域划分处理，对应得到多个置信子区域步骤包括：
分别获得所述目标帧原始图像的第一前景区域以及所述当前帧原始图像的第二前景区域；
根据区域置信度信息，分别对所述第一前景区域和所述第二前景区域进行区域划分处理，对应得到多个置信子区域。
3.根据权利要求2所述的视频处理方法，其特征在于，所述根据区域置信度信息，分别对所述第一前景区域和所述第二前景区域进行区域划分处理，对应得到多个置信子区域步骤包括：
分别对所述第一前景区域和所述第二前景区域进行关键点检测，并根据检测到稳定关键点的概率大小，分别从所述第一前景区域和所述第二前景区域中划分出高置信度子区域；所述高置信度子区域表征包含稳定关键点的概率大于等于第一预设概率阈值的区域；
在检测到所述第一前景区域的区域面积大于所述目标帧原始图像的高置信度子区域的区域面积时，确定目标区域；所述目标区域为所述第一前景区域中除掉所述高置信度子区域之外的第一剩余区域，以及所述第二前景区域中除掉所述高置信度子区域之外的第二剩余区域；
对所述目标区域进行光流检测，并根据检测到稳定光流点的概率大小，分别对所述第一剩余区域和所述第二剩余区域进行区域划分处理，对应得到至少一个置信子区域，所述第一前景区域和所述第二前景区域分别对应的置信子区域的数量相匹配。
4.根据权利要求1-3任一所述的视频处理方法，其特征在于，在检测所述当前帧原始图像中存在低置信度子区域的情况下，所述低置信度子区域中包含稳定关键点的概率小于等于第一预设概率阈值，且稳定光流点的概率小于等于第二预设概率阈值；所述基于所述目标帧原始图像、当前帧原始图像和目标帧特效图像，分别对所述多个置信子区域进行特效变换处理，得到当前帧特效图像步骤包括：
基于所述目标帧原始图像和目标帧特效图像的映射关系，对所述当前帧原始图像中多个置信子区域中低置信度子区域进行特效变换处理，得到第一特效图像；
在检测到所述当前帧原始图像中存在除低置信度子区域以外的其他置信度子区域时，基于所述目标帧原始图像与当前帧原始图像之间的变换关系，对所述目标帧特效图像中多个置信子区域中除低置信度子区域之外的区域进行特效变换处理，得到第二特效图像；
融合目标特效图像以及所述当前帧原始图像中的背景图像，得到当前帧特效图像；所述目标特效图像包括所述第一特效图像、所述第二特效图像中至少一种。
5.根据权利要求4所述的视频处理方法，其特征在于，所述基于所述目标帧原始图像和目标帧特效图像的映射关系，对所述当前帧原始图像中多个置信子区域中低置信度子区域进行特效变换处理，得到第一特效图像步骤包括：
获取所述目标帧原始图像与所述目标帧特效图像之间的颜色映射关系；
基于所述颜色映射关系中包含的原始图像与特效图像之间的特效映射关系，确定所述当前帧原始图像和当前帧特效图像之间的第一目标变换参数；
基于所述第一目标变换参数，对所述当前帧原始图像中低置信度子区域中各像素点进行特效变换处理，得到第一特效图像。
6.根据权利要求4所述的视频处理方法，其特征在于，所述基于所述目标帧原始图像与当前帧原始图像之间的变换关系，对所述目标帧特效图像中多个置信子区域中除低置信度子区域之外的区域进行特效变换处理，得到第二特效图像步骤包括：
基于所述目标帧原始图像与当前帧原始图像之间的图像对齐关系，确定所述目标帧特效图像与当前帧特效图像之间的第一变换子参数；
根据所述第一变换子参数，对所述目标帧特效图像中的中置信度子区域进行特效变换处理，得到第一变换特效图像；所述中置信度子区域中包含稳定关键点的概率小于等于第一预设概率阈值，且稳定光流点的概率大于等于第二预设概率阈值的区域；所述第一变换特效图像用于反映所述当前帧原始图像中的中置信度子区域的特效图像；
基于所述目标帧原始图像与当前帧原始图像之间的像素点变换矩阵关系，确定所述目标帧特效图像与当前帧特效图像之间的第二变换子参数；
根据所述第二变换子参数，对所述目标帧特效图像中的高置信度子区域进行特效变换处理，得到第二变换特效图像；所述第二变换特效图像用于反映所述当前帧原始图像中的高置信度子区域的特效图像；
基于所述第一变换特效图像和所述第二变换特效图像，得到所述第二特效图像。
7.根据权利要求6所述的视频处理方法，其特征在于，所述基于所述目标帧原始图像与当前帧原始图像之间的图像对齐关系，确定所述目标帧特效图像与当前帧特效图像之间的第一变换子参数步骤包括：
获取所述目标帧原始图像对应的第一网格图像，以及获取所述当前帧原始图像对应的第二网格图像；每个网格图像中各网格的顶点为光流点；
计算将所述第一网格图像中各像素点与所述第二网格图像中对应像素点对齐的光度损失；
计算所述第一网格图像中各网格变形到所述第二网格图像中对应网格的网格形变损失；
最小化所述光度损失与所述网格形变损失之和，获得所述目标帧原始图像对应的目标网格图像；
根据所述第一网格图像中各光流点的初始位置变换至所述目标网格图像中各光流点的目标位置，确定第一目标变换矩阵；
将所述第一目标变换矩阵作为所述目标帧特效图像与当前帧特效图像之间的第一变换子参数。
8.一种视频处理装置，其特征在于，包括：
获取模块，被配置为执行获取视频流数据和特效素材，所述视频流数据包括目标帧原始图像和当前帧原始图像；所述目标帧原始图像与所述当前帧原始图像包含相同的待处理对象；
特效处理模块，被配置为执行基于所述特效素材，对所述目标帧原始图像进行特效处理，得到目标帧特效图像；
区域划分模块，被配置为执行根据区域置信度信息，分别对所述目标帧原始图像和所述当前帧原始图像进行区域划分处理，对应得到多个置信子区域；所述区域置信度信息表征区域包含稳定关键点和稳定光流点的概率；所述稳定关键点表征图像中抖动幅度小于预设幅度阈值的关键点，所述稳定光流点表征图像中抖动幅度小于预设幅度阈值的像素点；
变换处理模块，被配置为执行基于所述目标帧原始图像、当前帧原始图像和目标帧特效图像，分别对所述多个置信子区域进行特效变换处理，得到当前帧特效图像，所述当前帧特效图像与所述目标帧特效图像是基于相同的所述特效素材处理得到。
9.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的视频处理方法。
10.一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的视频处理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110315645.4A CN113160244B (zh) | 2021-03-24 | 2021-03-24 | 视频处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110315645.4A CN113160244B (zh) | 2021-03-24 | 2021-03-24 | 视频处理方法、装置、电子设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113160244A true CN113160244A (zh) | 2021-07-23 |
| CN113160244B CN113160244B (zh) | 2024-03-15 |
Family
ID=76884823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110315645.4A Active CN113160244B (zh) | 2021-03-24 | 2021-03-24 | 视频处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113160244B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114025105A (zh) * | 2021-12-15 | 2022-02-08 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、电子设备、存储介质 |
| CN114240738A (zh) * | 2021-12-15 | 2022-03-25 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN114401360A (zh) * | 2021-12-07 | 2022-04-26 | 影石创新科技股份有限公司 | 视频的多帧延迟特效生成方法、装置、设备及介质 |
| WO2023134625A1 (zh) * | 2022-01-11 | 2023-07-20 | 华为技术有限公司 | 特效优化方法、装置、存储介质及程序产品 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108898086A (zh) * | 2018-06-20 | 2018-11-27 | 腾讯科技（深圳）有限公司 | 视频图像处理方法及装置、计算机可读介质和电子设备 |
| CN109684920A (zh) * | 2018-11-19 | 2019-04-26 | 腾讯科技（深圳）有限公司 | 物体关键点的定位方法、图像处理方法、装置及存储介质 |
| CN111954055A (zh) * | 2020-07-01 | 2020-11-17 | 北京达佳互联信息技术有限公司 | 视频特效的展示方法、装置、电子设备及存储介质 |
| WO2021047430A1 (zh) * | 2019-09-11 | 2021-03-18 | 广州华多网络科技有限公司 | 虚拟礼物特效的合成方法和装置、直播系统 |
-
2021
- 2021-03-24 CN CN202110315645.4A patent/CN113160244B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108898086A (zh) * | 2018-06-20 | 2018-11-27 | 腾讯科技（深圳）有限公司 | 视频图像处理方法及装置、计算机可读介质和电子设备 |
| CN109684920A (zh) * | 2018-11-19 | 2019-04-26 | 腾讯科技（深圳）有限公司 | 物体关键点的定位方法、图像处理方法、装置及存储介质 |
| WO2021047430A1 (zh) * | 2019-09-11 | 2021-03-18 | 广州华多网络科技有限公司 | 虚拟礼物特效的合成方法和装置、直播系统 |
| CN111954055A (zh) * | 2020-07-01 | 2020-11-17 | 北京达佳互联信息技术有限公司 | 视频特效的展示方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
| Title |
|---|
| 薛向阳 等: "小视频内容分析技术发展探讨", 《中兴通讯技术》, vol. 27, no. 1, pages 54 - 59 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114401360A (zh) * | 2021-12-07 | 2022-04-26 | 影石创新科技股份有限公司 | 视频的多帧延迟特效生成方法、装置、设备及介质 |
| WO2023103944A1 (zh) * | 2021-12-07 | 2023-06-15 | 影石创新科技股份有限公司 | 视频的多帧延迟特效生成方法、装置、设备及介质 |
| CN114401360B (zh) * | 2021-12-07 | 2024-05-31 | 影石创新科技股份有限公司 | 视频的多帧延迟特效生成方法、装置、设备及介质 |
| CN114025105A (zh) * | 2021-12-15 | 2022-02-08 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、电子设备、存储介质 |
| CN114240738A (zh) * | 2021-12-15 | 2022-03-25 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN114025105B (zh) * | 2021-12-15 | 2023-11-28 | 北京达佳互联信息技术有限公司 | 视频处理方法、装置、电子设备、存储介质 |
| WO2023134625A1 (zh) * | 2022-01-11 | 2023-07-20 | 华为技术有限公司 | 特效优化方法、装置、存储介质及程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113160244B (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113160244B (zh) | 视频处理方法、装置、电子设备及存储介质 | |
| US20210183165A1 (en) | Image processing method and apparatus, electronic device, and computer-readable storage medium | |
| CN110766777B (zh) | 虚拟形象的生成方法、装置、电子设备及存储介质 | |
| WO2022156640A1 (zh) | 一种图像的视线矫正方法、装置、电子设备、计算机可读存储介质及计算机程序产品 | |
| US11995775B2 (en) | Delivering virtualized content | |
| CN113287118A (zh) | 用于面部再现的系统和方法 | |
| US20180115743A1 (en) | Predictive virtual reality content streaming techniques | |
| JP2022528294A (ja) | 深度を利用した映像背景減算法 | |
| US20170301120A1 (en) | Augmented display of information in a device view of a display screen | |
| JP2021508883A (ja) | 特殊効果プログラムファイルパッケージの生成及び特殊効果生成方法、装置並びに電子機器 | |
| US11157773B2 (en) | Image editing by a generative adversarial network using keypoints or segmentation masks constraints | |
| CN113099298A (zh) | 虚拟形象的改变方法、装置和终端设备 | |
| US11581020B1 (en) | Facial synchronization utilizing deferred neural rendering | |
| US11582519B1 (en) | Person replacement utilizing deferred neural rendering | |
| US11978216B2 (en) | Patch-based image matting using deep learning | |
| CN109982036A (zh) | 一种全景视频数据处理的方法、终端以及存储介质 | |
| CN112235520A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
| CN113709560B (zh) | 视频剪辑方法、装置、设备及存储介质 | |
| US11430158B2 (en) | Intelligent real-time multiple-user augmented reality content management and data analytics system | |
| CN114401442A (zh) | 视频直播及特效控制方法、装置、电子设备及存储介质 | |
| CN114845158B (zh) | 视频封面的生成方法、视频发布方法及相关设备 | |
| CN115712351A (zh) | 一种面向多人远程混合现实共享场景的分级渲染与交互方法和系统 | |
| CN110958463A (zh) | 虚拟礼物展示位置的检测、合成方法、装置和设备 | |
| CN114697759A (zh) | 虚拟形象视频生成方法及其系统、电子设备、存储介质 | |
| CN117011417A (zh) | 图像处理方法、装置及计算机设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |