CN116366933A - 一种视频显示方法、装置及电子设备 - Google Patents

一种视频显示方法、装置及电子设备 Download PDF

Info

Publication number
CN116366933A
CN116366933A CN202111589868.6A CN202111589868A CN116366933A CN 116366933 A CN116366933 A CN 116366933A CN 202111589868 A CN202111589868 A CN 202111589868A CN 116366933 A CN116366933 A CN 116366933A
Authority
CN
China
Prior art keywords
image
frame
target
continuous multi
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111589868.6A
Other languages
English (en)
Inventor
王圣如
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202111589868.6A priority Critical patent/CN116366933A/zh
Priority to PCT/CN2022/140872 priority patent/WO2023116799A1/zh
Publication of CN116366933A publication Critical patent/CN116366933A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本公开涉及一种视频显示方法、装置及电子设备，尤其涉及图像处理技术领域。包括：显示第一图像；响应于针对所述第一图像的输入，显示第一视频，所述第一视频中包括连续多帧第二图像，以呈现所述第一图像中局部特征的动态效果和实时获取的目标对象图像；其中，在所述每帧第二图像中包括第三图像的部分图像和所述目标对象图像；所述第三图像为针对所述第一图像中所述局部特征处理后得到的连续多帧目标图像中的一帧。本公开实施例用于同时呈现静态图像的动态效果，以及摄像头获取的实时图像。

Description

一种视频显示方法、装置及电子设备
技术领域
本公开涉及图像处理技术领域，尤其涉及一种视频显示方法、装置及电子设备。
背景技术
目前，在用户通过摄像头实时获取的图像与静态图像合拍时，如果想要获取更多合拍时的动态效果，亟需一种可以同时呈现静态图像的动态效果，以及摄像头获取的实时图像的视频显示方法。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种视频显示方法，在合拍场景下，可以同时呈现静态图像中局部特征的动态效果和实时获取的目标对象图像。
为了实现上述目的，本公开实施例提供的技术方案如下：
第一方面，提供一种视频显示方法，包括：
显示第一图像；
响应于针对所述第一图像的输入，显示包括连续多帧第二图像的视频，以呈现所述第一图像中局部特征的动态效果和实时获取的目标对象图像；
其中，在每帧所述第二图像中包括第三图像的部分图像和所述目标对象图像；所述第三图像为针对所述第一图像中所述局部特征处理后得到的连续多帧目标图像中的一帧。
作为本公开实施例一种可选的实施方式，所述方法还包括：
获取所述第一图像；
通过生成对抗网络(Generative Adversarial Networks，GAN)算法处理所述第一图像的局部特征，得到连续多帧目标图像；
从所述连续多帧目标图像中获取待显示的所述第三图像；
从摄像头实时获取的图像中获取所述目标对象图像；
将所述第三图像与所述目标对象图像进行融合，得到一帧所述第二图像。
作为本公开实施例一种可选的实施方式，所述通过GAN算法处理所述第一图像的局部特征，得到连续多帧目标图像，包括：
通过所述GAN算法处理所述第一图像的局部特征，得到连续多帧局部特征图像；
将所述第一图像，分别与所述连续多帧局部图像中的每帧局部图像进行融合，以得到所述连续多帧目标图像。
作为本公开实施例一种可选的实施方式，所述将所述第三图像与所述目标对象图像进行融合，得到一帧所述第二图像之前，所述方法还包括：
根据所述摄像头实时获取的图像，确定掩膜图像，所述掩膜图像中标识有所述目标对象图像对应的第一掩膜区域；
从摄像头实时获取的图像中获取所述目标对象图像，包括：
根据所述掩膜图像和所述摄像头实时获取的图像，从所述摄像头实时获取的图像中获取所述目标对象图像；
所述将所述第三图像与所述目标对象图像进行融合，得到一帧所述第二图像，包括：
根据所述掩膜图像和所述第三图像，从所述第三图像中获取与所述其他掩膜区域匹配的所述第三图像的部分图像；
根据所述目标对象图像和所述第三图像的部分图像，合成所述一帧所述第二图像。
作为本公开实施例一种可选的实施方式，在所述掩膜图像中，通过目标颜色通道标识所述第一显示区域；
其中，所述目标颜色通道为R通道、G通道和B通道中的任一种通道。
作为本公开实施例一种可选的实施方式，所述从所述连续多帧目标图像中获取待显示的所述第三图像，包括：
从所述连续多帧目标图像中获取待显示的一帧目标图像；
根据所述目标图像的宽高比，以及屏幕宽高比，构建模型变换(ModelViewProjection，MVP)矩阵；
根据所述MVP矩阵，缩放所述一帧目标图像，以得到所述第三图像。
作为本公开实施例一种可选的实施方式，所述方法还包括：
获取第二图像；
通过所述GAN算法处理所述第二图像，得到处理后的连续多帧图像并缓存；
所述获取第一图像之后，还包括：
若确定所述第一图像与所述第二图像不同，则清除缓存。
第二方面，提供一种视频显示装置，包括：
显示模块，用于显示第一图像；响应于针对所述第一图像的输入，显示包括连续多帧第二图像的视频，以呈现所述第一图像中局部特征的动态效果和实时获取的目标对象图像；
其中，在每帧所述第二图像中包括第三图像的部分图像和所述目标对象图像；所述第三图像为针对所述第一图像中所述局部特征处理后得到的连续多帧目标图像中的一帧。
作为本公开实施例一种可选的实施方式，所述装置还包括：
获取模块，用于获取第一图像；
处理模块，用于通过GAN算法处理所述第一图像的局部特征，得到连续多帧目标图像；
所述获取模块，还用于从所述连续多帧目标图像中获取待显示的所述第三图像；
所述处理模块，还用于从摄像头实时获取的图像中获取所述目标对象图像；
所述处理模块，还用于将所述第三图像与所述目标对象图像进行融合，得到一帧所述第二图像。
作为本公开实施例一种可选的实施方式，所述处理模块，具体用于
通过所述GAN算法处理所述第一图像的局部特征，得到连续多帧局部特征图像；
将所述第一图像，分别与所述连续多帧局部图像中的每帧局部图像进行融合，以得到所述连续多帧目标图像。
作为本公开实施例一种可选的实施方式，所述处理模块，还用于：
根据所述摄像头实时获取的图像，确定掩膜图像，所述掩膜图像中标识有所述目标对象图像对应的第一掩膜区域；
所述处理模块，具体用于：
根据所述掩膜图像和所述摄像头实时获取的图像，从所述摄像头实时获取的图像中获取所述目标对象图像；
根据所述掩膜图像和所述第三图像，从所述第三图像中获取与所述其他掩膜区域匹配的所述第三图像的部分图像；
根据所述目标对象图像和所述第三图像的部分图像，合成所述一帧所述第二图像。
作为本公开实施例一种可选的实施方式，在所述掩膜图像中，通过目标颜色通道标识所述第一显示区域；
其中，所述目标颜色通道为R通道、G通道和B通道中的任一种通道。
作为本公开实施例一种可选的实施方式，所述获取模块，具体用于：
从所述连续多帧目标图像中获取待显示的一帧目标图像；
根据所述目标图像的宽高比，以及屏幕宽高比，构建MVP矩阵；
根据所述MVP矩阵，缩放所述一帧目标图像，以得到所述第三图像。
作为本公开实施例一种可选的实施方式，所述获取模块，还用于获取第二图像；
所述处理模块，还用于通过所述GAN算法处理所述第二图像，得到处理后的连续多帧图像并缓存；
所述获取模块，还用于：若确定所述第一图像与所述第二图像不同，则清除缓存。
第三方面，提供一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如第一方面或其任意一种可选的实施方式所述的视频显示方法、装置及电子设备。
第四方面，提供一种计算机可读存储介质，包括：所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如第一方面或其任意一种可选的实施方式所述的视频显示方法、装置及电子设备。
第五方面，提供一种计算机程序产品，其特征在于，包括：当所述计算机程序产品在计算机上运行时，使得所述计算机实现如第一方面或其任意一种可选的实施方式所述的视频显示方法、装置及电子设备。
本公开实施例提供的技术方案与现有技术相比具有如下优点：通过针对第一图像这一静态图像的输入，可以触发显示包括连续多帧第二图像的视频，由于每帧第二图像中均包括第三图像(针对所述第一图像中所述局部特征处理后得到的连续多帧目标图像中的一帧)的部分图像和所述目标对象图像，因此可以通过显示该视频，呈现第一图像中局部特征的动态效果和实时获取的目标对象图像，从而同时呈现了静态图像的动态效果，以及摄像头获取的实时图像。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种视频显示方法的流程示意图一；
图2为本公开实施例提供的一种电子设备显示静态的人物图像的界面示意图；
图3为一种本公开实施例所显示视频中的多帧图像的示意图；
图4为本公开实施例提供的一种视频显示方法的流程示意图二；
图5为本公开实施例提供的一种视频显示装置的结构框图；
图6为本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
目前，在用户通过摄像头实时获取的图像与静态图像合拍时，如果想要获取更多合拍时的动态效果，亟需一种可以同时呈现静态图像的动态效果，以及摄像头获取的实时图像的视频显示方法。
为了解决上述问题，本公开实施例提供了一种视频显示方法、装置及电子设备，可以呈现第一图像中局部特征的动态效果和实时获取的目标对象图像，从而同时呈现了静态图像的动态效果，以及摄像头获取的实时图像。
本公开实施例中提供的视频显示方法，可以为通过视频显示装置和电子设备实现，其中该视频显示装置可以为电子设备中用于实现该视频显示方法的功能模块或者功能实体。
上述电子设备可以为平板电脑、手机、笔记本电脑、掌上电脑、车载终端、可穿戴设备等，本公开实施例对此不作具体限定。
如图1所示，为一种视频显示方法的流程示意图，该方法包括：
101、显示第一图像。
本公开实施例中，该第一图像可以为包括一些局部特征的图像，这些局部图像在实际场景中可能会有一定变化。例如，该第一图像可以为包括人的面部特征的图像，通常在实际生活中人的面部特征中随着表情变化会呈现出变化；又例如，该第一图像可以为包括头发的图像，通常头发会随着人的头部动作，或者气流影响出现流动性变化。
示例性，该第一图像为人物图像，如图2所示，为一种电子设备显示静态的人物图像的界面示意图，电子设备可以显示人物图像21，该人物图像21为一帧静态图像。
102、响应于针对第一图像的输入，显示包括连续多帧第二图像的视频，以呈现第一图像中局部特征的动态效果和实时获取的目标对象图像。
其中，通过显示连续多帧第二图像的视频，可以呈现第一图像中局部特征的动态效果和实时获取的目标对象图像。
其中，在每帧第二图像中包括第三图像的部分图像和目标对象图像；第三图像为针对第一图像中局部特征处理后得到的连续多帧目标图像中的一帧。
可选的，上述针对第一图像的输入，可以为电子设备在显示第一图像时，用户在显示该第一图像的屏幕上的触控输入；上述针对第一图像的输入，还可以为在电子设备显示第一图像时，用户针对该电子设备的晃动输入；上述针对第一图像的输入，还可以为在电子设备显示该第一图像时，为该第一图像选择图像特效道具的输入，通过触发该道具B，来通过本发明实施例提供的视频显示方法对第一图像进行处理，并显示生成的视频。
示例性的，如图2所示，电子设备可以在显示第一图像时，显示所示的道具选择界面22，在该道具选择界面22用户可以选择图像特效道具中的道具B，通过选择该道具B来触发使用本发明实施例提供的视频显示方法对人物图像21的处理，并显示生成的视频。
进一步的，如图3所示，为一种本公开实施例所显示视频中的多帧图像的示意图，在图2中选择道具B对人物图像21进行处理之后，可以显示包括图3中的(a)、图3中的(b)以及图3中的(c)三帧图像组成的视频，其中，图3中的(a)、图3中的(b)以及图3中的(c)三帧图像中，均包括如图2中所示的人物图像21的部分图像31，并且还包括通过摄像头实时获取的另一人物图像32。可以看出在图3中的(a)、图3中的(b)以及图3中的(c)三帧图像中，在该部分图像31中，人物图像中的面部特征33发生了变化，这些部分图像31中的面部特征33为对如图2中所示的人物图像21的面部特征进行处理后得到的。
本公开实施例中提供的视频显示方法，通过针对第一图像这一静态图像的输入，可以触发显示包括连续多帧第二图像的视频，由于每帧第二图像中均包括第三图像(针对第一图像中局部特征处理后得到的连续多帧目标图像中的一帧)的部分图像和目标对象图像，因此可以通过显示该视频，呈现第一图像中局部特征的动态效果和实时获取的目标对象图像，从而同时呈现了静态图像的动态效果，以及摄像头获取的实时图像。
在一些实施例中，上述每帧第二图像中包括：第一图像的部分图像、第三图像的部分图像，以及目标对象图像；其中，第三图像为针对第一图像中局部特征处理后得到的连续多帧目标图像中的一帧，该第三图像的部分图像可以为第三图像中局部特征部分的图像(本公开实施例中称为第一局部图像)，也就是说每帧第二图像中包括：第一图像的部分图像、第一局部图像和目标对象图像，其中，第一局部图像显示在第二图像中局部特征的位置。
上述实施例中，第一图像的部分图像可以包括局部特征部分，也可以不包括局部特征部分。在第一图像的部分图像包括局部特征部分时，第一图像的部分图像和第一局部图像通过不同图层显示，采用贴图的方式让第一图像的部分图像中的局部特征部分显示在第二图像中局部特征的位置，并且让第一局部图像也显示在第二图像中局部特征的位置，这样第一局部图像可以覆盖第一图像的部分图像中局部特征部分，形成包括处理后的局部特征的图像；在第一图像的部分图像不包括局部特征部分时，让第一局部图像显示在第二图像中局部特征的位置，与第一图像的部分图像形成包括有局部特征部分的完整图像。
上述实现方式，同样可以呈现第一图像中局部特征的动态效果和实时获取的目标对象图像，从而实现了同时呈现了静态图像的动态效果，以及摄像头获取的实时图像。
如图4所示，为一种本公开实施例提供的一种视频显示方法，该方法包括：
401、获取第一图像。
402、显示第一图像。
在一些实施例中，在获取第一图像之前，还可以获取第二图像，并且通过GAN算法处理第二图像的局部特征，得到处理后的连续多帧图像并缓存。
其中，上述第二图像为静态图像，本公开实施例中，针对获取的静态图像，想要呈现局部特征的动态效果，可以通过GAN算法处理第二图像中局部特征处理，得到处理后的连续多帧图像并缓存。
在缓存针对第二图像处理后的连续多帧图像之后，如果获取了上述第一图像，可以判断第一图像与第二图像是否相同，如果不同，说明待处理图像(待进行局部特征处理的图像)被更换，此时可以清除缓存中上述针对第二图像处理后的连续多帧图像，重新针对该第一图像进行处理。
上述实现方式中，由于可以缓存进行局部特征处理后的图像，并且在获取到新的待处理图像时，可以及时的清除缓存，这样可以保证缓存空间不会被无效数据占用。
本公开实施例中提供的视频显示方法，在获取到上述静态图像第一图像之后，可以配置两路算法处理过程，其中，一路是通过GAN算法针对静态图像处理，得到局部特征动态效果的处理过程，如下述步骤403和步骤404；另一路是通过摄像头实时获取图像，并通过图像分割算法(matting算法)从摄像头实时获取的图像中获取到目标对象图像的处理过程，如下述步骤405，并对这两路算法处理的结果，最终进行融合得到可以呈现第一图像中局部特征的动态效果和实时获取的目标对象图像。
403、响应于针对第一图像的输入，通过GAN算法处理第一图像的局部特征，得到连续多帧目标图像。
本发明实施例中，通过GAN算法处理图像可以是通过GAN建立神经网络模型，并基于样本信息对该神经网络模型进行训练，该样本信息包括：大量包含局部特征的原始图像，以及与每个原始图像对应的进行局部特征处理后的标准图像；可以将该样本信息中包含局部特征的原始图像输入至通过GAN建立神经网络模型中，获取输出图像，并将输出图像与相应的标准图像进行对比，以更新该GAN建立神经网络模型，在执行多次这样的训练过程之后，直到该神经网络模型收敛，就可以利用该神经网络模型去处理上述第一图像，得到连续多帧目标图像。
可选的，本发明实施例中，还可以通过调整第一图像中局部特征所对应的特征关键点的位置，来对局部特征进行改变，这样也可以得到连续多帧目标图像。例如，第一图像为人物图像，针对该人物图像中嘴巴对应的一些特征关键点(例如，嘴角对应的点，以及嘴唇边缘的上的点)，进行位置调整，这样可以改变图像中嘴巴的显示状态，以呈现不同的表情变化。
在一些实施例中，上述连续多帧目标图像为通过GAN算法处理第一图像的局部特征后，得到的完整图像，也就是说通过GAN算法处理后的图像既包括处理后的局部特征图像，也包括第一图像中除局部特征以外的其他特征的图像。
在一些实施例中，通过GAN算法处理第一图像的局部特征，得到连续多帧目标图像，包括：通过GAN算法处理第一图像的局部特征，先得到连续多帧局部特征图像，然后将第一图像分别与连续多帧局部图像中的每帧局部图像进行融合，以得到连续多帧目标图像。
上述将第一图像与上述连续多帧局部图像中的一帧局部图像进行融合的渲染过程如下：
将第一图像通过第一镜头组件进行渲染，得到第一图像的渲染纹理(RenderTexture，RT)；将上述连续多帧局部图像中的一帧局部图像在第二镜头组件中进行渲染，得到局部图像的渲染纹理；将第一图像的渲染纹理与该一帧局部图像的渲染纹理合成为一个渲染纹理，即得到了一帧目标图像的渲染纹理。其中，上述第一镜头组件和第二镜头组件可以为渲染引擎中创建的用于进行图像渲染的组件。
上述第二镜头组件对应的图层处于第一镜头组件对应的图层的上层，因此在将第一图像的渲染纹理与该一帧局部图像的渲染纹理合成为一个渲染纹理后，该帧目标图像中的局部特征部分显示为该一帧局部图像。由于第一图像与上述连续多帧局部图像中每帧局部图像进行融合的渲染过程相同，因此不再重复说明。
上述实施例中，通过GAN算法处理后的多帧局部特征图像中，仅包括处理后的局部特征图像，不包括第一图像中除局部特征以外的其他特征的图像。
404、从连续多帧目标图像中获取待显示的第三图像。
在一些实施例中，上述404可以通过以下步骤实现：
404a、从连续多帧目标图像中获取待显示的一帧目标图像。
由于待显示的上述一帧目标图像，可能与电子设备的屏幕不太匹配，在直接渲染该一帧目标图像的渲染纹理，并在屏幕显示时，可能会使得该一帧目标图像中的内容显示的过大或者过小，因此需要先进行屏幕适配。
404b、根据目标图像的宽高比，以及屏幕宽高比，构建MVP矩阵。
本公开实施例中，可以计算目标图像的宽高比与屏幕宽高比的比值，并基于该比值构建MVP矩阵。
404c、根据MVP矩阵，缩放一帧目标图像，以得到第三图像。
可以根据MVP矩阵和该一帧目标图像的面片，来确定待显示的第三图像的面片，并采用渲染引擎中的镜头组件在该第三图像的面片上渲染得到该第三图像的渲染纹理。
405、响应于针对第一图像的输入，从摄像头实时获取的图像中获取目标对象图像。
本公开实施例中，可以采用图像分割算法(matting算法)将摄像头实时获取的图像，分割为目标对象图像和其他部分图像，通过抠图方式将目标对象图像抠出来。
在一些实施例中，针对目标对象图像为包括人脸的图像，那么可以在从摄像头实时获取的图像中获取目标对象图像之后，可以针对目标对象图像采用预置的美妆算法进行处理，得到具有美妆效果的目标对象图像。
406、将第三图像与目标对象图像进行融合，得到一帧第二图像。
在一些实施例中，可以先根据摄像头实时获取的图像，确定掩膜图像，该掩膜图像中标识有目标对象图像对应的第一掩膜区域；在该掩膜图像中，通过目标颜色通道标识该第一显示区域；然后可以根据该掩膜图像和该摄像头实时获取的图像，从摄像头实时获取的图像中获取目标对象图像，最后根据掩膜图像和第三图像，从第三图像中获取与其他掩膜区域匹配的第三图像的部分图像，并根据目标对象图像和第三图像的部分图像，合成一帧第二图像。
其中，目标颜色通道为R通道、G通道和B通道中的任一种通道。
也就是说，在得到一帧第二图像的过程中，需要得到针对摄像头实时获取的图像的掩码图像、该目标对象图像，以及第三图像，并且基于掩码图像，来确定目标对象图像在待显示图像中的显示位置，并且基于掩码图像，来确定第三图像中的哪些部分在待显示图像中进行显示，以及其显示位置。具体的渲染过程中，需要获取到第三图像的渲染纹理，该目标对象图像的渲染纹理，并将两部分渲染纹理，通过上述掩码图像融合，得到最终的一帧第二图像的渲染纹理。
407、显示包括连续多帧第二图像的视频。
本公开实施例中，提供的视频显示方法，通过GAN算法处理静态图像，实现了静态图像中局部特征的动态效果，并且通过图像分割算法，将GAN算法处理后的图像与通过摄像头实时获取的目标对象图像融合，从而得到了可以包括静态图像中局部特征的动态效果和实时获取的目标对象图像的视频，从而同时呈现了静态图像的动态效果，以及摄像头获取的实时图像。
如图5所示，本公开实施例提供一种视频显示装置，该装置包括：
显示模块501，用于显示第一图像；响应于针对所述第一图像的输入，显示包括连续多帧第二图像的视频，以呈现所述第一图像中局部特征的动态效果和实时获取的目标对象图像；
其中，在每帧所述第二图像中包括第三图像的部分图像和所述目标对象图像；所述第三图像为针对所述第一图像中所述局部特征处理后得到的连续多帧目标图像中的一帧。
作为本公开实施例一种可选的实施方式，所述装置还包括：
获取模块502，用于获取所述第一图像；
处理模块503，用于通过GAN算法处理所述第一图像的局部特征，得到连续多帧目标图像；
所述获取模块502，还用于从所述连续多帧目标图像中获取待显示的所述第三图像；
所述处理模块503，还用于从摄像头实时获取的图像中获取所述目标对象图像；
所述处理模块503，还用于将所述第三图像与所述目标对象图像进行融合，得到一帧所述第二图像。
作为本公开实施例一种可选的实施方式，所述处理模块503，具体用于
通过所述GAN算法处理所述第一图像的局部特征，得到连续多帧局部特征图像；
将所述第一图像，分别与所述连续多帧局部图像中的每帧局部图像进行融合，以得到所述连续多帧目标图像。
作为本公开实施例一种可选的实施方式，所述处理模块503，还用于：
根据所述摄像头实时获取的图像，确定掩膜图像，所述掩膜图像中标识有所述目标对象图像对应的第一掩膜区域；
所述处理模块503，具体用于：
根据所述掩膜图像和所述摄像头实时获取的图像，从所述摄像头实时获取的图像中获取所述目标对象图像；
根据所述掩膜图像和所述第三图像，从所述第三图像中获取与所述其他掩膜区域匹配的所述第三图像的部分图像；
根据所述目标对象图像和所述第三图像的部分图像，合成所述一帧所述第二图像。
作为本公开实施例一种可选的实施方式，在所述掩膜图像中，通过目标颜色通道标识所述第一显示区域；
其中，所述目标颜色通道为R通道、G通道和B通道中的任一种通道。
作为本公开实施例一种可选的实施方式，所述获取模块502，具体用于：
从所述连续多帧目标图像中获取待显示的一帧目标图像；
根据所述目标图像的宽高比，以及屏幕宽高比，构建MVP矩阵；
根据所述MVP矩阵，缩放所述一帧目标图像，以得到所述第三图像。
作为本公开实施例一种可选的实施方式，所述获取模块502，还用于获取第二图像；
所述处理模块503，还用于通过所述GAN算法处理所述第二图像，得到处理后的连续多帧图像并缓存；
所述获取模块502，还用于：若确定所述第一图像与所述第二图像不同，则清除缓存。
如图6所示，本公开实施例提供一种电子设备，该电子设备包括：处理器601、存储器602及存储在所述存储器602上并可在所述处理器601上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述方法实施例中的视频显示方法的各个过程。且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例提供一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储计算机程序，该计算机程序被处理器执行时实现上述方法实施例中视频显示方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，该计算机可读存储介质可以为只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本发明实施例提供一种计算程序产品，该计算机程序产品存储有计算机程序，计算机程序被处理器执行时实现实现上述方法实施例中视频显示方法的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本领域技术人员应明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质上实施的计算机程序产品的形式。
本公开中，处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本公开中，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
本公开中，计算机可读介质包括永久性和非永久性、可移动和非可移动存储介质。存储介质可以由任何方法或技术来实现信息存储，信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。根据本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种视频显示方法，其特征在于，包括：
显示第一图像；
响应于针对所述第一图像的输入，显示包括连续多帧第二图像的视频，以呈现所述第一图像中局部特征的动态效果和实时获取的目标对象图像；
其中，在每帧所述第二图像中包括第三图像的部分图像和所述目标对象图像；所述第三图像为针对所述第一图像中所述局部特征处理后得到的连续多帧目标图像中的一帧。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
获取所述第一图像；
通过生成对抗网络算法处理所述第一图像的局部特征，得到连续多帧目标图像；
从所述连续多帧目标图像中获取待显示的所述第三图像；
从摄像头实时获取的图像中获取所述目标对象图像；
将所述第三图像与所述目标对象图像进行融合，得到一帧所述第二图像。
3.根据权利要求2所述的方法，其特征在于，所述通过生成对抗网络算法处理所述第一图像的局部特征，得到连续多帧目标图像，包括：
通过所述生成对抗网络算法处理所述第一图像的局部特征，得到连续多帧局部特征图像；
将所述第一图像，分别与所述连续多帧局部图像中的每帧局部图像进行融合，以得到所述连续多帧目标图像。
4.根据权利要求2所述的方法，其特征在于，所述将所述第三图像与所述目标对象图像进行融合，得到一帧所述第二图像之前，所述方法还包括：
根据所述摄像头实时获取的图像，确定掩膜图像，所述掩膜图像中标识有所述目标对象图像对应的第一掩膜区域；
从摄像头实时获取的图像中获取所述目标对象图像，包括：
根据所述掩膜图像和所述摄像头实时获取的图像，从所述摄像头实时获取的图像中获取所述目标对象图像；
所述将所述第三图像与所述目标对象图像进行融合，得到一帧所述第二图像，包括：
根据所述掩膜图像和所述第三图像，从所述第三图像中获取与所述其他掩膜区域匹配的所述第三图像的部分图像；
根据所述目标对象图像和所述第三图像的部分图像，合成所述一帧所述第二图像。
5.根据权利要求4所述的方法，其特征在于，在所述掩膜图像中，通过目标颜色通道标识所述第一显示区域；
其中，所述目标颜色通道为R通道、G通道和B通道中的任一种通道。
6.根据权利要求2所述的方法，其特征在于，所述从所述连续多帧目标图像中获取待显示的所述第三图像，包括：
从所述连续多帧目标图像中获取待显示的一帧目标图像；
根据所述目标图像的宽高比，以及屏幕宽高比，构建模型变换矩阵；
根据所述模型变换矩阵，缩放所述一帧目标图像，以得到所述第三图像。
7.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取第二图像；
通过所述生成对抗网络算法处理所述第二图像，得到处理后的连续多帧图像并缓存；
所述获取第一图像之后，还包括：
若确定所述第一图像与所述第二图像不同，则清除缓存。
8.一种视频显示装置，其特征在于，包括：
显示模块，用于显示第一图像；响应于针对所述第一图像的输入，显示包括连续多帧第二图像的视频，以呈现所述第一图像中局部特征的动态效果和实时获取的目标对象图像；
其中，在每帧所述第二图像中包括第三图像的部分图像和所述目标对象图像；所述第三图像为针对所述第一图像中所述局部特征处理后得到的连续多帧目标图像中的一帧。
9.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的视频显示方法。
10.一种计算机可读存储介质，其特征在于，包括：所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的视频显示方法。
CN202111589868.6A 2021-12-23 2021-12-23 一种视频显示方法、装置及电子设备 Pending CN116366933A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111589868.6A CN116366933A (zh) 2021-12-23 2021-12-23 一种视频显示方法、装置及电子设备
PCT/CN2022/140872 WO2023116799A1 (zh) 2021-12-23 2022-12-22 一种视频显示方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111589868.6A CN116366933A (zh) 2021-12-23 2021-12-23 一种视频显示方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN116366933A true CN116366933A (zh) 2023-06-30

Family

ID=86901294

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111589868.6A Pending CN116366933A (zh) 2021-12-23 2021-12-23 一种视频显示方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN116366933A (zh)
WO (1) WO2023116799A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016189158A (ja) * 2015-03-30 2016-11-04 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
CN112351327A (zh) * 2019-08-06 2021-02-09 北京字节跳动网络技术有限公司 人脸图像的处理方法、装置、终端及存储介质
CN110929651B (zh) * 2019-11-25 2022-12-06 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN110728270A (zh) * 2019-12-17 2020-01-24 北京影谱科技股份有限公司 视频人物的去除方法、装置及设备及计算机可读存储介质
CN111640165A (zh) * 2020-06-08 2020-09-08 上海商汤智能科技有限公司 Ar合影图像的获取方法、装置、计算机设备及存储介质
CN111968029A (zh) * 2020-08-19 2020-11-20 北京字节跳动网络技术有限公司 表情变换方法、装置、电子设备和计算机可读介质

Also Published As

Publication number Publication date
WO2023116799A1 (zh) 2023-06-29

Similar Documents

Publication Publication Date Title
CN112541867B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US11532089B2 (en) Optical flow computing method and computing device
KR100829564B1 (ko) 효율적으로 모션 블러 효과를 제공하는 3차원 그래픽스렌더링 방법 및 장치
CN112652046B (zh) 游戏画面的生成方法、装置、设备及存储介质
CN112614228B (zh) 三维网格的简化方法、装置、电子设备和存储介质
CN114115525B (zh) 信息显示方法、装置、设备及存储介质
CN111080776A (zh) 人体动作三维数据采集和复现的处理方法及系统
CN115205435B (zh) 一种改进的基于马尔可夫随机场的纹理映射方法及装置
CN114344894B (zh) 场景元素处理方法、装置、设备和介质
CN114390201A (zh) 对焦方法及其装置
CN115294055A (zh) 图像处理方法、装置、电子设备和可读存储介质
Peng et al. Mpib: An mpi-based bokeh rendering framework for realistic partial occlusion effects
WO2024093763A1 (zh) 全景图像处理方法、装置、计算机设备、介质和程序产品
CN115293994B (zh) 图像处理方法、装置、计算机设备和存储介质
CN116366933A (zh) 一种视频显示方法、装置及电子设备
CN115049572A (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
JP7387029B2 (ja) ソフトレイヤ化および深度認識インペインティングを用いた単画像３ｄ写真技術
US20230368340A1 (en) Gating of Contextual Attention and Convolutional Features
Liu et al. Video cloning for paintings via artistic style transfer
AKIMOTO et al. Image completion of 360-degree images by cGAN with residual multi-scale dilated convolution
CN114185429B (zh) 手势关键点定位或姿态估计的方法、电子装置和存储介质
TWI852076B (zh) 插幀方法及其裝置
JP2000322594A (ja) 画像表示装置、画像表示方法、及び表示プログラムが記憶された記憶媒体
WO2022172449A1 (ja) 学習装置、動画像生成装置、学習済モデルの生成方法、動画像生成方法及びプログラム
JP6563964B2 (ja) 映像生成装置、映像生成方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination