CN112637517B - 视频处理方法、装置、电子设备及存储介质 - Google Patents

视频处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112637517B
CN112637517B CN202011280804.3A CN202011280804A CN112637517B CN 112637517 B CN112637517 B CN 112637517B CN 202011280804 A CN202011280804 A CN 202011280804A CN 112637517 B CN112637517 B CN 112637517B
Authority
CN
China
Prior art keywords
target
image
frame image
video
completion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011280804.3A
Other languages
English (en)
Other versions
CN112637517A (zh
Inventor
周清华
王诗吟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Douyin Vision Co Ltd
Beijing Volcano Engine Technology Co Ltd
Douyin Vision Beijing Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Priority to CN202011280804.3A priority Critical patent/CN112637517B/zh
Publication of CN112637517A publication Critical patent/CN112637517A/zh
Priority to EP21891255.8A priority patent/EP4243398A4/en
Priority to PCT/CN2021/130708 priority patent/WO2022100735A1/zh
Priority to US18/253,186 priority patent/US20230421716A1/en
Priority to JP2023528594A priority patent/JP2023549841A/ja
Application granted granted Critical
Publication of CN112637517B publication Critical patent/CN112637517B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

本公开提供一种视频处理方法、装置、电子设备及存储介质。本公开提供的视频处理方法，通过响应于触发指令，固定目标视频的目标帧图像，并对目标帧图像中的目标对象进行移除，然后，再对目标帧图像中的目标区域进行补全操作，以生成并显示补全帧图像，从而能够实现目标对象在目标视频中消失的特效，进而在视频应用中为用户提供更加个性化与更佳的视觉感受的视觉特效。

Description

视频处理方法、装置、电子设备及存储介质
技术领域
本公开涉及视频处理技术领域，尤其涉及一种视频处理方法、装置、电 子设备及存储介质。
背景技术
随着通信技术和终端设备的发展，各种终端设备例如手机、平板电脑 等已经成为了人们工作和生活中不可或缺的一部分，而且随着终端设备的 日益普及，视频应用成为一种沟通和娱乐的主要渠道。
但是，当前视频应用中通过智能终端拍摄或者播放视频的方式，不能 满足用户在视频拍摄或者播放过程中对于交互方式多样性的需求。
发明内容
本公开提供一种视频处理方法、装置、电子设备及存储介质，用于解决 当前视频交互应用中只是对被拍摄对象进行影像记录，不能满足用户在视频 拍摄或者播放过程中对于交互方式多样性的需求的技术问题。
第一方面，本公开实施例提供一种视频处理方法，包括：
响应于触发指令，固定目标视频的目标帧图像；
移除所述目标帧图像中所述目标对象，并对所述目标帧图像中的目标区 域进行补全操作，以生成并显示补全帧图像，所述目标区域为包括将所述目 标对象从所述目标帧图像中移除后的空缺区域。
第二方面，本公开实施例提供一种视频处理装置，包括：
图像获取模块，用于响应于触发指令，固定所述目标视频的目标帧图像；
图像处理模块，用于移除所述目标帧图像中所述目标对象，并对目标帧 图像中的所述目标区域进行补全操作，以生成并显示补全帧图像，所述目标 区域包括将所述目标对象从所述目标帧图像中移除后的空缺区域。
第三方面，本公开实施例提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的计算机程序；
显示器，用于显示经所述处理器理后的视频；
其中，所述处理器被配置为通过执行所述计算机程序来实现如上第一方 面以及第一方面各种可能的设计中所述的视频处理方法。
第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可 读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时， 实现如上第一方面以及第一方面各种可能的设计中所述的视频处理方法。
本公开实施例提供的一种视频处理方法、装置、电子设备及存储介质， 通过响应于触发指令，固定目标视频的目标帧图像，并对目标帧图像中的目 标对象进行移除，然后，再对目标帧图像中的目标区域进行补全操作，以生 成补全帧图像，从而实现在视频录制或者播放的过程中，能够实现目标对象 在目标视频中消失的特效，进而在视频应用中为用户提供更加个性化与更佳 的视觉感受的视觉效果，提升用户体验。
附图说明
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实 施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下 面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在 不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开根据一示例实施例示出的视频处理方法的应用场景图；
图2为本公开根据一示例实施例示出的视频处理方法的流程示意图；
图3为本公开根据一示例实施例示出的视频处理过程的一界面示意图；
图4为本公开根据一示例实施例示出的视频处理方法的另一应用场景图；
图5为本公开根据一示例实施例示出的视频处理过程的中间过程示意图；
图6为本公开根据一示例实施例示出的视频处理过程的另一界面示意图；
图7为本公开根据另一示例实施例示出的视频处理方法的流程示意图；
图8为本公开根据一示例实施例示出的视频处理装置的结构示意图；
图9为本公开根据一示例实施例示出的电子设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公 开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而 且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加 透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示 例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺 序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略 执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。 术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实 施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实 施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制 性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理 解为“一个或多个”。
随着终端设备的日益普及，视频应用已经成为一种沟通和娱乐的主要 渠道。当前视频应用中通过智能终端拍摄并播放视频的方式，已经不能满 足用户在视频拍摄和播放过程中对于交互方式多样性的需求。而在视频应 用中也越来越关注于在用户进行视频拍摄和播放时，为用户提供更个性化 与更佳的视觉感受的视觉效果。
在本公开中，旨在提供一种视频处理方法，通过响应于触发指令，固 定目标视频的目标帧图像，并对目标帧图像中的目标对象进行移除，然后， 再对目标帧图像中的目标区域进行补全操作，以生成并显示补全帧图像， 从而实现在视频录制或者播放的过程中，用户可以通过输入特定指令的方 式来实现目标对象在目标视频中消失的特效，进而在视频交互应用中为用 户提供更加个性化与更佳的视觉感受的视觉效果。
图1为本公开根据一示例实施例示出的视频处理方法的应用场景图。 如图1所示，本实施例提供的视频处理方法，可以通过带有摄像头以及显 示屏幕的终端设备执行。具体的，可以通过终端设备上的摄像头(例如， 前置摄像头，后置摄像头，外接摄像头等)来对目标对象(例如：人物、 动物、建筑等)进行视频录制，还可以通过终端设备的显示屏幕来播放目 标视频。
可以以目标对象为人物进行举例说明，在一种可能的场景中，当利用 终端设备对目标人物进行视频拍摄时，通常是将终端设备上的摄像头对准 目标人物进行拍摄，可以理解的，在取景过程中，摄像头除了会获取到目 标人物之外，还同时会获取到目标背景，此时，用户可以通过向终端设备 输入触发指令(例如：目标手势指令、目标语音指令、目标表情指令、目 标文字指令以及目标肢体指令等)，以触发目标效果，从而固定当前所拍 摄的目标视频中的目标帧图像。
而在另一种可能的场景中，当利用终端设备对目标视频进行播放时， 目标视频中除了目标人物之外，还同时包括目标背景，此时，用户可以通 过向终端设备输入触发指令(例如：目标手势指令、目标语音指令、目标 表情指令、目标文字指令以及目标肢体指令等)，以触发目标效果，从而 固定当前所拍摄的目标视频中的目标帧图像。
值得说明的，触发指令，可以是用户输入的触发指令，也可以是视频 中的目标对象发出的触发指令，还可以包括终端在预设条件下(例如，视 频播放至某一预设时刻等)发出的触发指令。目标帧图像可以为获取到触 发指令后的第一帧图像，也可以为获取到触发指令后预设时长后的帧图像。 在固定目标帧图像之后，移除目标帧图像中目标对象，并对目标帧图像中 的目标区域进行补全操作，例如，可以是进行背景补全操作，以生成并显 示补全帧图像，其中，目标区域包括将目标对象从目标帧图像中移除后的 空缺区域。可见，在对目标对象进行拍摄或播放的过程中，可以通过触发 指令，触发目标特效，以使得目标对象从目标帧图像中移除并进行补全操 作，从而实现目标对象从视频中消失的视觉效果。
图2为本公开根据一示例实施例示出的视频处理方法的流程示意图。如 图2所示，本实施例提供的视频处理方法，包括：
步骤101、响应于触发指令，固定目标视频的目标帧图像。
在一种可能的场景中，当利用终端设备对目标对象进行视频拍摄时，通 常是将终端设备上的摄像头对准目标对象进行拍摄，可以理解的，在对目标 对象进行拍摄的过程中，摄像头除了会获取到目标对象之外，还同时会获取 到目标背景。
而在另一种可能的场景中，当利用终端设备对目标视频进行播放时，通 常在目标视频中会包括目标对象以及目标背景，可以理解的，该目标视频在 拍摄生成时，是基于目标背景对目标对象进行拍摄的。其中，为了方便理解， 可以选择将目标人物作为目标对象进行举例说明。其中，继续参照图1，当 利用终端设备对目标人物进行视频拍摄时，通常是将终端设备上的摄像头对 准目标人物进行拍摄，可以理解的，在取景过程中，摄像头除了会获取到目 标人物之外，还同时会获取到目标背景。
而当利用终端设备对目标视频进行播放时，由于该目标视频中会包括目 标对象以及目标背景，因此，在播放时，会播放基于目标背景下目标对象的 相关画面。
图3为本公开根据一示例实施例示出的视频处理过程的一界面示意图。 如图3所示，在利用终端设备对目标人物进行视频拍摄或者播放目标视频时， 会在终端设备的显示屏幕中，同时显示目标背景与目标人物。
终端设备响应于触发指令，固定目标视频的目标帧图像。其中，图4为 本公开根据一示例实施例示出的视频处理方法的另一应用场景图。如图4所 示，图4中的场景可以为在对目标人物进行目标视频录制的过程中，用户通 过输入目标手势指令(例如：伸手指令)来触发人物从图像中消失的效果， 当终端设备识别到目标手势指令时，固定当前所拍摄的目标视频的目标帧图 像，其中，可以是固定目标视频的当前帧。在一个实施例中，当终端设备对 目标视频进行播放的时候，用户可以通过目标手势指令(例如：伸手指令) 来触发人物从图像中消失的效果，当终端设备识别到目标手势指令时，固定 当前所拍摄的目标视频的目标帧图像，其中，可以是固定目标视频的当前帧。
步骤102、移除目标帧图像中目标对象，并对目标帧图像中的目标区域 进行补全操作，以生成并显示补全帧图像。
在固定目标帧图像之后，可以对目标帧图像进行处理，以实现目标对象 在目标帧图像中消失的效果。具体的，可以是移除目标帧图像中目标对象， 并对目标帧图像中的目标区域进行补全操作，以生成并显示补全帧图像，目 标区域为将目标对象从目标帧图像中移除后的空缺区域。
其中，可以继续以目标人物作为目标对象进行举例说明。图5为本公开 根据一示例实施例示出的视频处理过程的中间过程示意图。如图5所示，在 固定目标帧图像之后，可以是移除目标帧图像中目标人物。图6为本公开根 据一示例实施例示出的视频处理过程的另一界面示意图，如6所示，可以是 在移除目标帧图像中目标人物之后，对目标区域，即所形成的空缺区域，进 行背景补全操作。
参照图3-图6所示，在对目标人物进行目标视频录制的过程中，用户通 过输入伸手指令来进行触发，从而实现在视频录制过程中，响应于用户手势， 来实现目标人物在目标视频中消失的特效。此外，尽管附图中没有示出，本 领域技术人员应当理解的是，在对目标视频进行播放的过程中，用户通过触 发指令，也可以实现目标人物在目标视频中消失的特效。
此外，值得说明的，上述以目标人物作为目标对象只是为了方便理解而 所进行的举例说明，在本实施例中，目标对象可以是目标人物、目标动物、 目标建筑等形式，在此不作具体限定。此外，对于上述的触发指令，也可以 是目标手势指令、目标语音指令、目标表情指令、目标文字指令、目标肢体 指令等形式，在此同样不作具体限定。
在本实施例中，通过响应于触发指令，固定目标视频的目标帧图像， 并对目标帧图像中的目标对象进行移除，然后，再对目标帧图像中的目标 区域进行补全操作，以生成并显示补全帧图像，从而，用户可以通过输入 特定指令的方式来实现目标对象在目标视频中消失的特效，进而在视频应 用中为用户提供更加个性化与更佳的视觉感受的视觉效果。
图7为本公开根据另一示例实施例示出的视频处理方法的流程示意图。 如图7所示，本实施例提供的视频处理方法，包括：
步骤201、响应于触发指令，固定目标视频的目标帧图像。
当利用终端设备对目标对象进行视频拍摄时，通常是将终端设备上的摄 像头对准目标对象进行拍摄，可以理解的，在对目标对象进行拍摄的过程中， 摄像头除了会获取到目标对象之外，还同时会获取到目标背景。
而在另一种可能的场景中，当利用终端设备对目标视频进行播放时，通 常在目标视频中会包括目标对象以及目标背景，可以理解的，该目标视频在 拍摄生成时，是基于目标背景对目标对象进行拍摄的。
终端设备可以响应于触发指令，从而固定目标视频中的目标帧图像，其 中，目标帧图像可以为获取到触发指令后的第一帧图像，也可以是获取到触 发指令后预设时长后的相应帧图像。
其中，为了方便理解，可以选择将目标人物作为目标对象进行举例说明。 其中，继续参照图1，当利用终端设备对目标人物进行视频拍摄时，通常是 将终端设备上的摄像头对准目标人物进行拍摄，可以理解的，在取景过程中， 摄像头除了会获取到目标人物之外，还同时会获取到目标背景。
而当利用终端设备对目标视频进行播放时，由于该目标视频中会包括目 标对象以及目标背景，因此，在播放时，会播放基于目标背景下目标对象的 相关画面。
参照图3所示，在利用终端设备对目标人物进行视频拍摄或者播放目标 视频时，会在终端设备的显示屏幕中，同时显示目标背景与目标人物。
终端设备响应于触发指令，固定目标视频的目标帧图像。其中，图4为 本公开根据一示例实施例示出的视频处理方法的另一应用场景图。如图4所 示，图4中的场景为在对目标人物进行目标视频录制的过程中，目标人物通 过输入目标手势指令(例如：伸手指令)来触发人物从图像中消失的效果。 当终端设备识别到目标手势指令时，固定当前所拍摄的目标视频的目标帧图 像，其中，可以是固定目标视频的当前帧。在一个实施例中，当终端设备对 目标视频进行播放的时候，用户可以通过目标手势指令(例如：伸手指令) 来触发人物从图像中消失的效果，当终端设备识别到目标手势指令时，固定 当前所拍摄的目标视频的目标帧图像，其中，可以是固定目标视频的当前帧。
此外，在触发特效之前，还可以先判断当前所拍摄的视频中是否包含目 标类型对象，例如，可以是先确定当前所拍摄的视频包含人物对象，则才可 以响应于相应的触发指令，以进行后续的特效。
步骤202、显示预设第二特效，预设第二特效用于使得目标帧图像展示 视觉模糊效果。
在固定目标视频的目标帧图像之后，可以显示预设第二特效，预设第二 特效用于使得目标帧图像展示视觉模糊效果。其中，通过在所固定的目标帧 图像上添加视觉模糊效果，可以避免因背景补全所引起的补全部分与原始背 景之间的边界过渡不自然的问题。
步骤203、显示预设第三特效，预设第三特效用于使得目标帧图像展示 视觉晃动效果。
在本步骤中，在显示预设第二特效之后，还可以显示预设第三特效，其 中，预设第三特效用于使得目标帧图像展示视觉晃动效果。其中，通过使得 目标帧图像展示视觉晃动效果，可以使得目标对象的消失过程具有更强的动 感效果。
值得说明的，在本实施例中不对步骤202与步骤203之间的先后顺序进 行限定，步骤202可以在步骤203之前执行，也可以在步骤203之后执行， 还可以是步骤202与步骤203各自单独执行，还可以是只执行步骤202或步 骤203。
步骤204、移除目标帧图像中目标对象，并对目标帧图像中的目标区域 进行补全操作，以生成并显示补全帧图像。
在固定目标帧图像之后，可以对目标帧图像进行处理，以实现目标对象 在目标帧图像中消失的效果。具体的，可以移除目标帧图像中目标对象，并 对目标帧图像中的目标区域进行背景补全操作，以生成并显示补全帧图像， 目标区域为将目标对象从目标帧图像中移除后的空缺区域。
其中，可以继续以目标人物作为目标对象进行举例说明。如图5所示， 在固定目标帧图像之后，可以是移除目标帧图像中目标人物。如6所示，可 以是在移除目标帧图像中目标人物之后，对目标区域，即所形成的空缺区域， 进行补全操作。
具体的，可以是将目标二值图像与目标帧图像进行融合，并得到模型输 入图像，其中，目标二值图像中的目标区域包括像素值为目标值的各个像素 点。可以继续以目标人物作为目标对象进行举例说明，可以是使用现有的人 体分割模型获取图片中目标人体的区域，得到一张和原图同样大小的二值图， 其中255代表此像素点不属于目标人体区域，0代表此像素点属于目标人体 区域。然后，将目标帧图像和将目标二值图像，按照特定的比例(例如：256/ 图像长边)进行缩放，然后在图像处理通道进行融合，并将像素值归一化到(-1，1)，从而得到模型输入图像。
在得到模型输入图像之后，可以继续将模型输入图像输入至图像修补模 型进行背景补全操作，以生成处理帧图像，然后，再利用处理帧图像中的目 标区域替换目标帧图像中所述目标区域，以生成补全帧图像。
对于图像修补模型，可以是一个模型，也可以是多个模型的组合，并且， 该图像修补模型可以是设置于云端服务器，也可以使设置在终端设备。
其中，当图像修补模型可以是设置于云端服务器时，终端设备是将目标 帧图像上传到云端服务器，从而使用深度学习方法补全后，再将补全后的结 果图像返回到终端设备。这种方式，上传图片到云端服务器会增加交互的耗 时，网络延时也有不确定性，进而无法满足较高实时性的场景应用。
如果在终端设备处采用传统的补全算法(例如：patchmatch系列算法)， 则在需要补全的区域比较大的时候(比如上述例子中所列举的目标人体背景 补全的场景)，补全结果的语义连贯性很差。因此，可以将图像修补模型(例 如，包括第一图像修补模型和第二图像修补模型的图像修补模型)设置于终 端设备，并将模型输入图像输入至第一图像修补模型，以生成第一补全图像。 其中，可以将模型输入图像输入到较低精度的第一图像修补模型中，得到粗 略的补全结果图，即第一补全图像。
然后，利用预设像素阈值对第一补全图像进行像素截断，以生成第二补 全图像，再将第二补全图像输入至第二图像修补模型，以生成第三补全图像， 并且，第二图像修补模型的补全精度大于第一图像修补模型。再利用预设像 素阈值对第三补全图像进行像素截断，以生成第四补全图像，最后，利用第 四补全图像中的目标区域替换目标帧图像中目标区域该，以生成所述补全帧 图像。其中，第一图像修补模型和第二图像修补模型均可以是基于UNet网络 结构。具体的，针对上述第一补全图像，可以是逐像素进行截断，即将像素值小于-1的像素点设为-1，将像素值大于1的像素点设为1，将像素值在-1 和1之间的像素点的像素值保持原值，再将截断后的结果图，即第二补全图 像，输入到较高精度的第二图像修补模型中，以得到一张修正后的补全结果 图，即第三补全图像。然后，对于上述第三补全图像，还可以继续进行逐像 素进行截断，即将像素值小于-1的像素点设为-1，将像素值大于1的像素点 设为1，将像素值在-1和1之间的像素点的像素值保持原值，并将结果图缩放到原图的大小，然后用此图人体区域对应的部分替换原图的人体区域，得 到最终的结果图，即所需的补全帧图像。
此外，参照图3-图6所示，在对目标人物进行目标视频录制的过程中， 用户通过输入触发指令来进行触发，从而实现在视频录制过程中，响应于用 户的触发指令，来实现目标人物在目标视频中消失的特效。
同理，当利用终端设备对目标视频进行播放时，目标视频中除了目标人 物之外，还同时包括目标背景，此时，用户可以通过向终端设备输入触发指 令(例如：目标手势指令、目标语音指令、目标表情指令、目标文字指令以 及目标肢体指令等)，以触发目标效果，从而固定当前所拍摄的目标视频中的 目标帧图像。
此外，值得说明的，触发指令，可以是用户输入的触发指令，也可以是 视频中的目标对象发出的触发指令，还可以包括终端在预设条件下(例如， 视频播放至某一预设时刻等)发出的触发指令。并且，上述以目标人物作为 目标对象只是为了方便理解而所进行的举例说明，在本实施例中，目标对象 可以是目标人物、目标动物、目标建筑等形式，在此不作具体限定。此外， 对于上述的触发指令，也可以是目标手势指令、目标语音指令、目标表情指 令、目标肢体指令等形式，在此同样不作具体限定。
步骤205、以补全帧图像为背景播放第一特效序列帧，第一特效序列帧 用于按照预设路径动态显示特效粒子。
在生成补全帧图像之后，可以以补全帧图像为背景播放第一特效序列帧， 第一特效序列帧用于按照预设路径动态显示特效粒子。其中，通过使得目标 帧图像展示特效粒子效果，可以丰富氛围，并且使得目标对象的效果展示地 更加自然，以及更加具有动感效果。
此外，在上述实施例的基础上，在生成补全帧图像之后，可以并在目标 视频的后续帧图像中持续对目标区域进行背景补全操作，后续帧图像在目标 视频中位于补全帧图像之后。通过在目标视频的后续帧图像中持续对目标区 域进行补全操作，从而实现目标对象在目标视频中持续消失的效果。可以继 续以目标人物作为目标对象进行举例说明。可以是在移除目标帧图像中目标 人物之后，对目标区域，即所形成的空缺区域，进行补全操作。然后，对用 户对目标人物进行继续拍摄，由于在目标视频的后续帧图像中会持续对目标人物进行移除，以及持续进行背景补全，因此，可以实现目标人物在目标视 频中持续消失的效果，即在目标视频中，该目标人物隐身的视觉效果。
图8为本公开根据一示例实施例示出的视频处理装置的结构示意图。如 图8所示，本实施例提供的视频处理装置300，包括：
图像获取模块301，用于响应于触发指令，固定目标视频中的目标帧图 像；
图像处理模块302，用于移除所述目标帧图像中所述目标对象，并对所 述目标帧图像中的目标区域进行补全操作，以生成并显示补全帧图像，所述 目标区域包括将所述目标对象从所述目标帧图像中移除后的空缺区域。
根据本公开的一个或多个实施例，所述图像处理模块302，还用于以所 述补全帧图像为背景播放第一特效序列帧，所述第一特效序列帧用于按照预 设路径动态显示特效粒子。
根据本公开的一个或多个实施例，所述图像处理模块302，还用于显示 预设第二特效，所述预设第二特效用于使得所述目标帧图像展示视觉模糊效 果。
根据本公开的一个或多个实施例，所述图像处理模块302，还用于显示 预设第三特效，所述预设第三特效用于使得所述目标帧图像展示视觉晃动效 果。
根据本公开的一个或多个实施例，所述图像处理模块302，还用于在所 述目标视频的后续帧图像中持续对所述目标区域进行补全操作，所述后续帧 图像在所述目标视频中位于所述补全帧图像之后。
根据本公开的一个或多个实施例，所述图像处理模块302，还用于确定 所述目标对象为目标类型对象。
根据本公开的一个或多个实施例，所述触发指令包括：目标手势指令、 目标语音指令、目标表情指令、目标肢体指令、目标文字指令中的至少一种。
根据本公开的一个或多个实施例，所述图像处理模块302，用于：
利用预设对象分割模型对所述目标帧图像中各个像素点进行识别，以生 成与所述目标帧图像同尺寸的目标二值图像；
根据所述目标二值图像确定所述目标对象在所述目标帧图像中的所述目 标区域，其中，所述目标二值图像中的所述目标区域包括像素值为目标值的 各个像素点。
根据本公开的一个或多个实施例，所述图像处理模块302，用于：
将所述目标二值图像与所述目标帧图像进行融合，并得到模型输入图像；
将所述模型输入图像输入至图像修补模型，以生成所述补全帧图像。
根据本公开的一个或多个实施例，所述图像修补模型设置于终端设备， 所述终端设备用于对所述目标对象进行所述目标视频的录制和/或播放。
根据本公开的一个或多个实施例，所述图像处理模块302，具体用于：
将所述模型输入图像输入至第一图像修补模型，以生成第一补全图像；
利用预设像素阈值对所述第一补全图像进行像素截断，以生成第二补全 图像；
将所述第二补全图像输入至第二图像修补模型，以生成第三补全图像， 其中，所述第二图像修补模型的补全精度大于所述第一图像修补模型；
利用所述预设像素阈值对所述第三补全图像进行像素截断，以生成第四 补全图像，其中，所述处理帧图像包括所述第四补全图像。
值得说明的，图8所示实施例提供的视频处理装置，可用于执行上述任 一方法实施例所提供的方法步骤，具体实现方式和技术效果类似，此处不再 赘述。
图9为本公开根据一示例实施例示出的电子设备的结构示意图。如图9 所示，其示出了适于用来实现本公开实施例的电子设备400的结构示意图。 本公开实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、 数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式 多媒体播放器)、车载终端(例如车载导航终端)等等具有图像获取功能的移 动终端以及诸如数字TV、台式计算机等等外接有具有图像获取设备的固定终 端。图9示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使 用范围带来任何限制。
如图9所示，电子设备400可以包括处理器(例如中央处理器、图形处 理器等)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存 储器408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动 作和处理。在RAM 403中，还存储有电子设备400操作所需的各种程序和数 据。处理器401、ROM 402以及RAM403通过总线404彼此相连。输入/输出 (I/O)接口405也连接至总线404。存储器用于存储执行上述各个方法实施 例所述视频处理方法的程序；处理器被配置为执行存储器中存储的程序。
通常，以下装置可以连接至I/O接口405：包括例如触摸屏、触摸板、键 盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置406；包括例 如液晶显示器(LCD)、扬声器、振动器等的输出装置407；包括例如磁带、 硬盘等的存储装置408；以及通信装置409。通信装置409可以允许电子设备 400与其他设备进行无线或有线通信以交换数据。虽然图9示出了具有各种 装置的电子设备400，但是应理解的是，并不要求实施或具备所有示出的装 置。可以替代地实施或具备更多或更少的装置。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现 为计算机软件程序。例如，本公开的实施例包括一种计算机可读存储介质， 其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用 于执行本公开实施例的流程图所示的视频处理方法的程序代码。在这样的实 施例中，该计算机程序可以通过通信装置409从网络上被下载和安装，或者 从存储装置408被安装，或者从ROM 402被安装。在该计算机程序被处理器 401执行时，执行本公开实施例的方法中限定的上述视频处理功能。
需要说明的是，本公开上述的计算机可读存储介质可以是计算机可读信 号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存 储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体 的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体 的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁 盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只 读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、 光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算 机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令 执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可 读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承 载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括 但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质 还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信 号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或 者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当 的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任 意合适的组合。
上述计算机可读存储介质可以是上述电子设备中所包含的；也可以是单 独存在，而未装配入该电子设备中。
上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多 个程序被该电子设备执行时，使得该电子设备：响应于触发指令，固定目标 视频的目标帧图像；移除目标帧图像中目标对象，并对目标帧图像中的目标 区域进行补全操作，以生成并显示补全帧图像，目标区域为将目标对象从目 标帧图像中移除后的空缺区域。
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作 的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语 言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C” 语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部 分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机 上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉 及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域 网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机 (例如利用因特网服务提供商来通过因特网连接)。
在一些实施方式中，客户端、服务器可以利用诸如HTTP(HyperText TransferProtocol，超文本传输协议)之类的任何当前已知或未来研发的网络 协议进行通信，并且可以与任意形式或介质的数字数据通信(例如，通信网 络)互连。通信网络的示例包括局域网(“LAN”)，广域网(“WAN”)，网际 网(例如，互联网)以及端对端网络(例如，ad hoc端对端网络)，以及任何 当前已知或未来研发的网络。
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和 计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或 框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、 程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行 指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以 以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可 以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能 而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图 中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来 实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可 以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该单 元本身的限定，例如，显示模块还可以被描述为“显示对象人脸以及人脸面 具序列的单元”。
本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执 行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可 编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、片 上系统(SOC)、复杂可编程逻辑设备(CPLD)等等。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或 存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结 合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介 质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红 外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可 读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算 机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程 只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器 (CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
第一方面，根据本公开的一个或多个实施例，提供了一种视频处理方法， 包括：
响应于触发指令，固定目标视频中的目标帧图像；
移除所述目标帧图像中所述目标对象，并对所述目标帧图像中的目标区 域进行补全操作，以生成并显示补全帧图像，所述目标区域包括将所述目标 对象从所述目标帧图像中移除后的空缺区域。
根据本公开的一个或多个实施例，在所述生成并显示补全帧图像之后， 还包括：
以所述补全帧图像为背景播放第一特效序列帧，所述第一特效序列帧用 于按照预设路径动态显示特效粒子。
根据本公开的一个或多个实施例，在所述固定所述目标视频的目标帧图 像之后，还包括：
显示预设第二特效，所述预设第二特效用于使得所述目标帧图像展示视 觉模糊效果。
根据本公开的一个或多个实施例，在所述固定所述目标视频的目标帧图 像之后，还包括：
显示预设第三特效，所述预设第三特效用于使得所述目标帧图像展示视 觉晃动效果。
根据本公开的一个或多个实施例，在生成并显示补全帧图像之后，还包 括：
在所述目标视频的后续帧图像中持续对所述目标区域进行补全操作，所 述后续帧图像在所述目标视频中位于所述补全帧图像之后。
根据本公开的一个或多个实施例，在获取到所述触发指令之前，还包括：
确定所述目标对象为目标类型对象。
根据本公开的一个或多个实施例，所述触发指令包括：目标手势指令、 目标语音指令、目标表情指令、目标肢体指令、目标文字指令中的至少一种。
根据本公开的一个或多个实施例，在所述移除所述目标帧图像中所述目 标对象，并对所述目标帧图像中的所述目标区域进行补全操作，还包括：
利用预设对象分割模型对所述目标帧图像中各个像素点进行识别，以生 成与所述目标帧图像同尺寸的目标二值图像；
根据所述目标二值图像确定所述目标对象在所述目标帧图像中的所述目 标区域，其中，所述目标二值图像中的所述目标区域包括像素值为目标值的 各个像素点。
根据本公开的一个或多个实施例，所述对所述目标帧图像中的所述目标 区域进行背景补全，包括：
将所述目标二值图像与所述目标帧图像进行融合，并得到模型输入图像；
将所述模型输入图像输入至图像修补模型，以生成处理帧图像；
利用所述处理帧图像中的所述目标区域替换所述目标帧图像中所述目标 区域，以生成所述补全帧图像。
根据本公开的一个或多个实施例，所述图像修补模型设置于终端设备， 所述终端设备用于对所述目标对象进行所述目标视频的录制。
根据本公开的一个或多个实施例，将所述模型输入图像输入至图像修补 模型，以生成处理帧图像模型输入图像补全操作，包括：
将所述模型输入图像输入至第一图像修补模型，以生成第一补全图像；
利用预设像素阈值对所述第一补全图像进行像素截断，以生成第二补全 图像；
将所述第二补全图像输入至第二图像修补模型，以生成第三补全图像， 其中，所述第二图像修补模型的补全精度大于所述第一图像修补模型；
利用所述预设像素阈值对所述第三补全图像进行像素截断，以生成第四 补全图像，其中，所述处理帧图像包括所述第四补全图像。
第二方面，根据本公开的一个或多个实施例，提供了一种视频处理装置， 包括：
图像获取模块，响应于触发指令，固定所述目标视频的目标帧图像；
图像处理模块，用于移除所述目标帧图像中所述目标对象，并对所述目 标帧图像中的所述目标区域进行补全操作，以生成并显示补全帧图像，所述 目标区域包括将所述目标对象从所述目标帧图像中移除后的空缺区域。
根据本公开的一个或多个实施例，所述图像处理模块，还用于以所述补 全帧图像为背景播放第一特效序列帧，所述第一特效序列帧用于按照预设路 径动态显示特效粒子。
根据本公开的一个或多个实施例，所述图像处理模块，还用于显示预设 第二特效，所述预设第二特效用于使得所述目标帧图像展示视觉模糊效果。
根据本公开的一个或多个实施例，所述图像处理模块，还用于显示预设 第三特效，所述预设第三特效用于使得所述目标帧图像展示视觉晃动效果。
根据本公开的一个或多个实施例，所述图像处理模块，还用于在所述目 标视频的后续帧图像中持续对所述目标区域进行补全操作，所述后续帧图像 在所述目标视频中位于所述补全帧图像之后。
根据本公开的一个或多个实施例，所述图像处理模块，还用于确定所述 目标对象为目标类型对象。
根据本公开的一个或多个实施例，所述触发指令包括：目标手势指令、 目标语音指令、目标表情指令、目标肢体指令、目标文字指令中的至少一种。
根据本公开的一个或多个实施例，所述图像处理模块，具体用于：
利用预设对象分割模型对所述目标帧图像中各个像素点进行识别，以生 成与所述目标帧图像同尺寸的目标二值图像；
根据所述目标二值图像确定所述目标对象在所述目标帧图像中的所述目 标区域，其中，所述目标二值图像中的所述目标区域包括像素值为目标值的 各个像素点。
根据本公开的一个或多个实施例，所述图像处理模块，具体用于：
将所述目标二值图像与所述目标帧图像进行融合，并得到模型输入图像；
将所述模型输入图像输入至图像修补模型，以生成所述补全帧图像。
根据本公开的一个或多个实施例，所述图像修补模型设置于终端设备， 所述终端设备用于对所述目标对象进行所述目标视频的录制和/或播放。
根据本公开的一个或多个实施例，所述图像处理模块，具体用于：
将所述模型输入图像输入至第一图像修补模型，以生成第一补全图像；
利用预设像素阈值对所述第一补全图像进行像素截断，以生成第二补全 图像；
将所述第二补全图像输入至第二图像修补模型，以生成第三补全图像， 其中，所述第二图像修补模型的补全精度大于所述第一图像修补模型；
利用所述预设像素阈值对所述第三补全图像进行像素截断，以生成第四 补全图像，所述处理帧图像包括所述第四补全图像。
第三方面，本公开实施例提供一种电子设备，包括：
处理器；以及
存储器，用于存储所述处理器的计算机程序；
显示器，用于显示经所述处理器处理后的视频；
其中，所述处理器被配置为通过执行所述计算机程序来实现如上第一方 面以及第一方面各种可能的设计中所述的视频处理方法。
第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可 读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时， 实现如上第一方面以及第一方面各种可能的设计中所述的视频处理方法。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领 域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征 的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下， 由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上 述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替 换而形成的技术方案。
此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些 操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务 和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现 细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的 上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单 个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的 方式实现在多个实施例中。
尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但 是应当理解所附权利要求书中所限定的主题未必局限于上面描述的特定特征 或动作。相反，上面所描述的特定特征和动作仅仅是实现权利要求书的示例 形式。

Claims (12)

1.一种视频处理方法，其特征在于，包括：
响应于触发指令，固定目标视频中的目标帧图像；
移除所述目标帧图像中目标对象，并对所述目标帧图像中的目标区域进行补全操作，以生成并显示补全帧图像，所述目标区域包括将所述目标对象从所述目标帧图像中移除后的空缺区域；
其中，所述移除所述目标帧图像中目标对象，并对所述目标帧图像中的目标区域进行补全操作，包括：
利用预设对象分割模型对所述目标帧图像中各个像素点进行识别，以生成与所述目标帧图像同尺寸的目标二值图像；
将所述目标二值图像与所述目标帧图像进行融合，并得到模型输入图像；
将所述模型输入图像输入至第一图像修补模型，以生成第一补全图像；
利用预设像素阈值对所述第一补全图像进行像素截断，以生成第二补全图像；
将所述第二补全图像输入至第二图像修补模型，以生成第三补全图像，所述第二图像修补模型的补全精度大于所述第一图像修补模型；
利用所述预设像素阈值对所述第三补全图像进行像素截断，以生成第四补全图像；
利用所述第四补全图像中的所述目标区域替换所述目标帧图像中所述目标区域。
2.根据权利要求1所述的视频处理方法，其特征在于，所述生成并显示补全帧图像，还包括：
以所述补全帧图像为背景播放第一特效序列帧，所述第一特效序列帧用于按照预设路径动态显示特效粒子。
3.根据权利要求1所述的视频处理方法，其特征在于，在所述固定所述目标视频的目标帧图像之后，还包括：
显示预设第二特效，所述预设第二特效用于使得所述目标帧图像展示视觉模糊效果。
4.根据权利要求1所述的视频处理方法，其特征在于，在所述固定所述目标视频的目标帧图像之后，还包括：
显示预设第三特效，所述预设第三特效用于使得所述目标帧图像展示视觉晃动效果。
5.根据权利要求1所述的视频处理方法，其特征在于，在生成并显示补全帧图像之后，还包括：
在所述目标视频的后续帧图像中持续对所述目标区域进行补全操作，所述后续帧图像在所述目标视频中位于所述补全帧图像之后。
6.根据权利要求1-5中任意一项所述的视频处理方法，其特征在于，在获取到所述触发指令之前，还包括：
确定所述目标对象为目标类型对象。
7.根据权利要求1-5中任意一项所述的视频处理方法，其特征在于，所述触发指令包括：目标手势指令、目标语音指令、目标表情指令、目标肢体指令、目标文字指令中的至少一种。
8.根据权利要求1-5中任意一项所述的视频处理方法，其特征在于，所述目标二值图像中的所述目标区域包括像素值为目标值的各个像素点。
9.根据权利要求8所述的视频处理方法，其特征在于，所述图像修补模型设置于终端设备，所述终端设备基于所述图像修补模型对所述目标视频进行处理。
10.一种视频处理装置，其特征在于，包括：
图像获取模块，用于响应于触发指令，固定目标视频中的目标帧图像；
图像处理模块，用于移除所述目标帧图像中目标对象，并对所述目标帧图像中的目标区域进行补全操作，以生成并显示补全帧图像，所述目标区域包括将所述目标对象从所述目标帧图像中移除后的空缺区域；
其中，所述图像处理模块，具体用于利用预设对象分割模型对所述目标帧图像中各个像素点进行识别，以生成与所述目标帧图像同尺寸的目标二值图像；将所述目标二值图像与所述目标帧图像进行融合，并得到模型输入图像；将所述模型输入图像输入至第一图像修补模型，以生成第一补全图像；利用预设像素阈值对所述第一补全图像进行像素截断，以生成第二补全图像；将所述第二补全图像输入至第二图像修补模型，以生成第三补全图像，所述第二图像修补模型的补全精度大于所述第一图像修补模型；利用所述预设像素阈值对所述第三补全图像进行像素截断，以生成第四补全图像；利用所述第四补全图像中的所述目标区域替换所述目标帧图像中所述目标区域。
11.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储计算机程序；
显示器，用于显示经所述处理器处理后的视频；
其中，所述处理器被配置为通过执行所述计算机程序来实现权利要求1至9任一项所述的视频处理方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1至9任一项所述的视频处理方法。
CN202011280804.3A 2020-11-16 2020-11-16 视频处理方法、装置、电子设备及存储介质 Active CN112637517B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202011280804.3A CN112637517B (zh) 2020-11-16 2020-11-16 视频处理方法、装置、电子设备及存储介质
EP21891255.8A EP4243398A4 (en) 2020-11-16 2021-11-15 VIDEO PROCESSING METHOD AND APPARATUS, ELECTRONIC DEVICE AND STORAGE MEDIUM
PCT/CN2021/130708 WO2022100735A1 (zh) 2020-11-16 2021-11-15 视频处理方法、装置、电子设备及存储介质
US18/253,186 US20230421716A1 (en) 2020-11-16 2021-11-15 Video processing method and apparatus, electronic device and storage medium
JP2023528594A JP2023549841A (ja) 2020-11-16 2021-11-15 ビデオ処理方法、装置、電子機器及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011280804.3A CN112637517B (zh) 2020-11-16 2020-11-16 视频处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112637517A CN112637517A (zh) 2021-04-09
CN112637517B true CN112637517B (zh) 2022-10-28

Family

ID=75303510

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011280804.3A Active CN112637517B (zh) 2020-11-16 2020-11-16 视频处理方法、装置、电子设备及存储介质

Country Status (5)

Country Link
US (1) US20230421716A1 (zh)
EP (1) EP4243398A4 (zh)
JP (1) JP2023549841A (zh)
CN (1) CN112637517B (zh)
WO (1) WO2022100735A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112637517B (zh) * 2020-11-16 2022-10-28 北京字节跳动网络技术有限公司 视频处理方法、装置、电子设备及存储介质
CN115914497A (zh) * 2021-08-24 2023-04-04 北京字跳网络技术有限公司 视频处理方法、装置、设备、介质及程序产品
CN114040129B (zh) * 2021-11-30 2023-12-05 北京字节跳动网络技术有限公司 视频生成方法、装置、设备及存储介质
CN115119014B (zh) * 2022-06-15 2024-01-30 马上消费金融股份有限公司 视频处理方法、插帧数量模型的训练方法及装置
CN114782284B (zh) * 2022-06-17 2022-09-23 广州三七极耀网络科技有限公司 动作数据修正方法、装置、设备及存储介质
CN116503289B (zh) * 2023-06-20 2024-01-09 北京天工异彩影视科技有限公司 一种视觉特效应用处理方法和系统

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101105034B1 (ko) * 2010-02-09 2012-01-16 주식회사 팬택 촬영 기능을 보유한 단말기
JP2014096661A (ja) * 2012-11-08 2014-05-22 International Business Maschines Corporation 動画撮影中において動画中の動体オブジェクトをリアルタイムに隠消するための方法、並びに、その動画撮影機器及び当該動画撮影機器のためのプログラム
US8867832B2 (en) * 2013-02-01 2014-10-21 National Yunlin University Of Science And Technology Method for detecting and removing scrolling texts during video communication
WO2015048694A2 (en) * 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
US9514523B2 (en) * 2014-11-18 2016-12-06 Intel Corporation Method and apparatus for filling images captured by array cameras
CN104574311B (zh) * 2015-01-06 2017-08-11 华为技术有限公司 图像处理方法和装置
CN104680487A (zh) * 2015-01-21 2015-06-03 浙江大学 基于低秩矩阵恢复的非局部图像修复方法
CN106385591B (zh) * 2016-10-17 2020-05-15 腾讯科技（上海）有限公司 视频处理方法及视频处理装置
US10613726B2 (en) * 2017-12-22 2020-04-07 Adobe Inc. Removing and replacing objects in images according to a directed user conversation
CN109215091B (zh) * 2018-08-02 2021-09-14 浙江理工大学 一种基于图表示的服装流行色彩自动提取方法
CN111161275B (zh) * 2018-11-08 2022-12-23 腾讯科技（深圳）有限公司 医学图像中目标对象的分割方法、装置和电子设备
CN111260537A (zh) * 2018-12-03 2020-06-09 珠海格力电器股份有限公司 一种图像隐私保护方法、装置、存储介质及摄像设备
CN111353946B (zh) * 2018-12-21 2023-04-11 腾讯科技（深圳）有限公司 图像修复方法、装置、设备及存储介质
CN110225246B (zh) * 2019-05-28 2021-07-20 北京字节跳动网络技术有限公司 事件脚本的生成方法、装置、电子设备及计算机可读存储介质
CN110728639B (zh) * 2019-09-29 2023-07-21 三星电子（中国）研发中心 图片修复方法及系统
CN111179159B (zh) * 2019-12-31 2024-02-20 北京金山云网络技术有限公司 消除视频中目标影像的方法、装置、电子设备及存储介质
CN111444921A (zh) * 2020-03-25 2020-07-24 浙江华睿科技有限公司 划痕缺陷检测方法、装置、计算设备和存储介质
CN111416939A (zh) * 2020-03-30 2020-07-14 咪咕视讯科技有限公司 一种视频处理方法、设备及计算机可读存储介质
CN111556278B (zh) * 2020-05-21 2022-02-01 腾讯科技（深圳）有限公司 一种视频处理的方法、视频展示的方法、装置及存储介质
CN111754528A (zh) * 2020-06-24 2020-10-09 Oppo广东移动通信有限公司 人像分割方法、装置、电子设备和计算机可读存储介质
CN111832538A (zh) * 2020-07-28 2020-10-27 北京小米松果电子有限公司 视频处理方法及装置、存储介质
CN112188058A (zh) * 2020-09-29 2021-01-05 努比亚技术有限公司 一种视频拍摄方法、移动终端以及计算机存储介质
CN112637517B (zh) * 2020-11-16 2022-10-28 北京字节跳动网络技术有限公司 视频处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP2023549841A (ja) 2023-11-29
EP4243398A4 (en) 2024-04-17
WO2022100735A1 (zh) 2022-05-19
CN112637517A (zh) 2021-04-09
EP4243398A1 (en) 2023-09-13
US20230421716A1 (en) 2023-12-28

Similar Documents

Publication Publication Date Title
CN112637517B (zh) 视频处理方法、装置、电子设备及存储介质
CN110898429B (zh) 一种游戏剧情展现方法、装置、电子设备及存储介质
CN114331820A (zh) 图像处理方法、装置、电子设备及存储介质
CN113949808B (zh) 视频生成方法、装置、可读介质及电子设备
CN111325704A (zh) 图像修复方法、装置、电子设备及计算机可读存储介质
CN111967397A (zh) 人脸影像处理方法和装置、存储介质和电子设备
CN114630057B (zh) 确定特效视频的方法、装置、电子设备及存储介质
CN115311178A (zh) 图像拼接方法、装置、设备及介质
CN115761090A (zh) 特效渲染方法、装置、设备、计算机可读存储介质及产品
CN110913118B (zh) 视频处理方法、装置及存储介质
CN114937192A (zh) 图像处理方法、装置、电子设备及存储介质
CN116934577A (zh) 一种风格图像生成方法、装置、设备及介质
CN115002359A (zh) 视频处理方法、装置、电子设备及存储介质
CN114445600A (zh) 一种特效道具的展示方法、装置、设备及存储介质
CN110619602B (zh) 一种图像生成方法、装置、电子设备及存储介质
CN110069641B (zh) 图像处理方法、装置和电子设备
CN112785669A (zh) 一种虚拟形象合成方法、装置、设备及存储介质
CN115278355B (zh) 视频剪辑方法、装置、设备、计算机可读存储介质及产品
CN114331828A (zh) 图片转视频的方法、装置、设备及存储介质
CN113905177B (zh) 视频生成方法、装置、设备及存储介质
CN112492230B (zh) 视频处理方法、装置、可读介质及电子设备
CN111696041B (zh) 图像处理方法、装置及电子设备
CN114666622A (zh) 特效视频确定方法、装置、电子设备及存储介质
CN114170341A (zh) 一种图像处理方法、装置、设备及介质
CN115249215A (zh) 图像处理方法、装置、电子设备以及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Tiktok vision (Beijing) Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: BEIJING BYTEDANCE NETWORK TECHNOLOGY Co.,Ltd.

Address after: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee after: Douyin Vision Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: Tiktok vision (Beijing) Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230711

Address after: 100190 1309, 13th floor, building 4, Zijin Digital Park, Haidian District, Beijing

Patentee after: Beijing volcano Engine Technology Co.,Ltd.

Address before: 100041 B-0035, 2 floor, 3 building, 30 Shixing street, Shijingshan District, Beijing.

Patentee before: Douyin Vision Co.,Ltd.