CN114827433A - 图像处理方法及装置、电子设备、存储介质 - Google Patents

图像处理方法及装置、电子设备、存储介质 Download PDF

Info

Publication number
CN114827433A
CN114827433A CN202110113946.9A CN202110113946A CN114827433A CN 114827433 A CN114827433 A CN 114827433A CN 202110113946 A CN202110113946 A CN 202110113946A CN 114827433 A CN114827433 A CN 114827433A
Authority
CN
China
Prior art keywords
background
target
frame
frames
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110113946.9A
Other languages
English (en)
Inventor
徐晶
刘霖
朱丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaomi Mobile Software Co Ltd
Original Assignee
Beijing Xiaomi Mobile Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaomi Mobile Software Co Ltd filed Critical Beijing Xiaomi Mobile Software Co Ltd
Priority to CN202110113946.9A priority Critical patent/CN114827433A/zh
Priority to US17/453,774 priority patent/US11800041B2/en
Priority to EP21209282.9A priority patent/EP4037307A1/en
Publication of CN114827433A publication Critical patent/CN114827433A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开是关于一种图像处理方法及装置、电子设备、存储介质。其中，该方法可以包括：获取拍摄得到的图像帧，并对所述图像帧进行背景分离，得到主体帧和背景帧；基于所述背景帧获取多个目标背景帧；所述多个目标背景帧中包含相同的背景内容，且所述背景内容在所述多个目标背景帧中的尺寸不一致；将目标主体帧分别与所述多个目标背景帧进行合成，得到多个目标图像帧，并将得到的多个目标图像帧编码为视频文件；所述目标主体帧为所述主体帧中的一帧图像。

Description

图像处理方法及装置、电子设备、存储介质
技术领域
本公开涉及图像处理领域，尤其涉及一种图像处理方法及装置、电子设备、存储介质。
背景技术
希区柯特变焦，又被称为移动变焦或滑动变焦，是视频拍摄领域中的一种高级拍摄手法，主要通过在推拉机位的同时变更焦距的方式，使得拍摄得到的视频中出现被摄主体大致不变，但背景空间被压缩或放大的视觉效果，进而为观影者营造焦虑、惊慌的情绪。这种通过希区柯特变焦产生的视频特效被称为希区柯特特效。
在相关技术中，若需要拍摄带有希区柯特特效的视频画面，必须严格遵守希区柯特变焦的拍摄手法，需要机位与被摄主体之间的物距变化与镜头的焦距变化均保持稳定的变化速率，且两者的变化速率满足一定的数学关系。通常情况下，需要掌握高级摄影技巧的专业人士才能够做到上述要求，且需要借助大量拍摄器具，拍摄成本较高。
发明内容
本公开提供一种图像处理方法及装置、电子设备、存储介质，能够在不采用希区柯特变焦拍摄手法的情况下，获取带有希区柯特特效的视频文件。
根据本公开的第一方面，提供一种图像处理方法，包括：
获取拍摄得到的图像帧，并对所述图像帧进行背景分离，得到至少一个主体帧和至少一个背景帧；
从所述至少一个主体帧中确定出唯一的目标主体帧，并基于所述至少一个背景帧获取多个目标背景帧；所述多个目标背景帧中包含相同的背景内容，且所述背景内容在所述多个目标背景帧中的尺寸不一致；
将所述目标主体帧分别与所述多个目标背景帧进行合成，得到多个目标图像帧，并将得到的多个目标图像帧编码为视频文件。
根据本公开的第二方面，提供一种图像处理装置，包括：
获取单元，获取拍摄得到的图像帧，并对所述图像帧进行背景分离，得到至少一个主体帧和至少一个背景帧；
确定单元，从所述至少一个主体帧中确定出唯一的目标主体帧，并基于所述至少一个背景帧获取多个目标背景帧；所述多个目标背景帧中包含相同的背景内容，且所述背景内容在所述多个目标背景帧中的尺寸不一致；
合成单元，将所述目标主体帧分别与所述多个目标背景帧进行合成，得到多个目标图像帧，并将得到的多个目标图像帧编码为视频文件。
根据本公开的第三方面，提供一种电子设备，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器通过运行所述可执行指令以实现如第一方面所述的方法。
根据本公开的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
在本公开的技术方案中，在获得图像帧后，可以对图像帧进行图像分离，以得到相应的主体帧和背景帧，并基于该主体帧确定出唯一的目标主体帧、基于该背景帧获取多个背景内容的尺寸不一致的目标背景帧。在此基础上，即可将唯一的目标主体帧与多个目标背景帧进行合成，得到多个被摄对象尺寸一致、背景内容尺寸不一致的目标图像帧。
应当理解的是，由于上述多个目标图像帧采用同一目标主体帧合成得到，因此，多个目标图像帧中的被摄主体尺寸必然保持一致。相类似的，由于上述多个目标图像帧采用背景内容尺寸不一致的不同目标背景帧合成得到，因此，多个目标图像帧的背景中的背景内容的尺寸必然也不一致。相应的，在将多个目标图像帧编码为视频文件后，视频画面中即可出现被摄主体保持不变、背景空间被压缩或放大的希区柯特特效。
相较于相关技术中，通过希区柯特变焦获得希区柯特特效的方式，本公开的技术方案不再依赖于焦距变化和物距变化对成像变化的抵消作用，而是从希区柯特特效的呈现效果出发，通过背景分离技术等后期处理方式实现希区柯特特效。这使得本公开的技术方案对拍摄技巧和拍摄器具的要求极低，避免了相关技术中需要额外的拍摄器具，而导致成本过高的问题，以及对拍摄者具有较高技术门槛的问题。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
图1是本公开一示例性实施例示出的一种成像原理示意图；
图2是本公开一示例性实施例示出的一种图像处理方法的流程图；
图3是本公开一示例性实施例示出的另一种图像处理方法的流程图；
图4是本公开一示例性实施例示出的又一种图像处理方法的流程图；
图5是本公开一示例性实施例示出的一种希区柯特特效实现方法的流程图；
图6是本公开一示例性实施例示出的一种图像处理装置的框图；
图7是本公开一示例性实施例中一种电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
希区柯特变焦，又被称为移动变焦或滑动变焦，是视频拍摄领域中的一种高级拍摄手法，主要通过在推拉机位的同时变更焦距的方式，使得拍摄得到的视频中出现被摄主体大致不变，但背景空间被压缩或放大的视觉效果，进而为观影者营造焦虑、惊慌等情绪。这种通过希区柯特变焦产生的视频特效被称为希区柯特特效。
由于这种视频特效最早出现在悬疑大师希区柯特1958年拍摄的电影《迷魂记》中，因此被称为希区柯特特效，相应的拍摄手法则被称为希区柯特变焦。
在实际运用希区柯特变焦时，若机位不断靠近被摄主体，摄影师需要根据机位移动的速度，以一定的速率缩小镜头的焦距；而在机位不断远离被摄主体时，摄影师则需要根据机位移动的速度，以一定的速率增大镜头的焦距。
其理论依据如下：
若被摄主体的物高为h，初始状态时，物距为u1，像距为v1，摄像机的镜头焦距为f1，主体影像的像高为h1’。根据成像公式可得：
Figure BDA0002920070340000041
经过公示转换，可得：
Figure BDA0002920070340000051
此时的成像的放大率M1为：
Figure BDA0002920070340000052
又因为放大率也可表示为像高与物高的比值，即
Figure BDA0002920070340000053
则由公式(3)和(4)可以得到：
Figure BDA0002920070340000054
因为物距的大小远远大于镜头焦距，可以近似为：
Figure BDA0002920070340000055
当摄像师将摄像机镜头的焦距由f1变化到f2，同时摄像师和摄像机在滑轨上前后移动时，主体的物距从u1变化为u2，则主体影像的像高由h1’变化为h2’。类似公式(5)，可以得到：
Figure BDA0002920070340000056
则镜头焦距变化导致的像高变化，即主体影像尺寸的变化为
Figure BDA0002920070340000057
希区柯克镜头特效的特点是保持主体的影像尺寸不发生明显的变化，即使公式(7)中的Δh等于0。从而可以得到如下关系：
Figure BDA0002920070340000058
即变化前后的焦距比值与物距比值成正比。换言之，在实际运用希区柯特变焦的情况下，若增大物距，则需要将镜头焦距也增大，若减小物距，则需要将镜头焦距也减小。
下面，结合图1进一步介绍，在保持被摄主体的影像尺寸不变的情况下，画面中背景的影像尺寸会发生变化的理论依据。且由上述介绍可知，只需物距的变化比值与焦距的变化比值正好成正比，便可以保持被摄主体的影像尺寸不发生明显变化。
如图1所示，场景中存在两个物点，S为主体上的一个物点，B为背景上的一个物点。当摄像机从位置P1移动到位置P2时，主体物点S的物距从SP1＝u1变化成SP2＝u2，背景物点B的物距从BP1＝w1变化成BP2＝w2。夹角SP1B＝θ1，夹脚SP2B＝θ2。由几何关系可得：
u1＝w1cosθ1 (9)
u2＝w2cosθ2 (10)
结合公式(8)，可得(11)：
Figure BDA0002920070340000061
因为θ1＜θ2，所以，
Figure BDA0002920070340000062
背景物点的像高为g，变化前后的像高变化为Δg′。仿照公式(7)，可得背景物点的像高变化公式(13)。
Figure BDA0002920070340000063
结合公式(12)，可知公式(13)不等于0，即
Δg′≠0 (14)
由此，证明了当被摄主体上的物点的像高不发生变化时，背景空间中的物点的像高必然发生变化。
然而需要注意的是，上述论证过程的基础为：被摄主体必须位于画面的中心位置，且被摄主体与镜头之间的物距不可过小，以避免被摄主体上的物点过于偏离画面的中心位置。
如公式(11)所示，背景物点B因为不在画面中心，因而当摄像头的物距变化时，背景物点B的视角变化，因而导致物距变化和焦距变化两者的导致的影像像高变化无法互相抵消。而对于被摄主体，仅有少部分物点位于画面正中心，大部分主体物点也具有一定的视角夹角。但由于这部分物点的视角夹角比较小，物距变化带来的视角变化不显著，近似为0，因而近似认为像高变化被互相抵消。
由上述介绍可知，在拍摄带有希区柯特特效的视频画面时，必须严格遵守希区柯特变焦的拍摄手法，需要机位与被摄主体之间的物距变化与镜头的焦距变化均保持稳定的变化速率，且两者的变化速率满足一定的数学关系，即使变化前后的物距比值与焦距比值始终保持正比关系。通常情况下，需要掌握高级摄影技巧的专业人士才能够做到上述要求，且需要借助大量拍摄器具，拍摄成本较高。
例如，在一相关技术中，需要借助滑轨控制摄像机以稳定的速率靠近被摄主体，并在移动机位的同时，通过人工控制焦距的方式对镜头焦距进行相应的调整。在另一相关技术中，则通过无人机稳定飞行的方式使摄像机保持稳定的速率向被摄主体靠近，但需要预先计算并设置镜头的焦距变化速率。
为此，本公开提出了一种图像处理方法，以避免相关技术在拍摄带有希区柯特特效的视频画面时，需要借助额外的仪器，导致硬件成本较高的问题，以及对拍摄者具有较高技术要求的问题。
图2为本公开一示例性实施例示出的一种图像处理方法。如图2所示，该方法可以包括以下步骤：
步骤202，获取拍摄得到的图像帧，并对所述图像帧进行背景分离，得到主体帧和背景帧。
由上述介绍希区柯特变焦的内容可知，相关技术中拍摄带有希区柯特特效的视频画面时，所利用的为：当焦距变化与物距变化满足一定的数学关系时，两者对位于画面中心的被摄主体的成像变化的影响，存在相互抵消的现象。基于此，拍摄者可以通过拍摄器具和/或拍摄手法，使得拍摄过程中的焦距变化和物距变化尽可能满足上述数学关系，以使拍摄得到的视频画面中呈现出希区柯特特效。
不难理解的是，相关技术是从希区柯特特效的产生原理出发，通过纯前期拍摄的方式获得带有希区柯特特效的视频画面。因此，导致相关技术对拍摄器具和拍摄人员的专业性均具有较高的要求。
有鉴于此，本公开不再依赖于焦距变化和物距变化，对成像变化的抵消作用，而是从希区柯特特效的呈现效果出发，提出了一种结合前期拍摄和后期处理的图像处理方法，以规避希区柯特变焦对拍摄器具和拍摄人员的高要求。
具体的，希区柯特特效的呈现效果为：被摄主体的尺寸保持不变，但背景空间产生压缩或者放大的视觉效果。因此，本公开采用对拍摄得到的图像帧进行背景分离的方式，获得唯一的目标主体帧和多个目标背景帧。其中，多个目标背景帧中包含相同的背景内容，但该背景内容在多个目标背景帧中的尺寸不一致。在此基础上，即可将该唯一的目标主体帧分别与多个目标背景帧进行合成，并将合成得到的目标图像帧编码为视频文件。
应当理解的是，由于本公开在多次图像合成操作中，采用了同一目标主体帧，因此，合成得到的多个目标图像帧中的被摄主体的尺寸必然保持一致；但多次图像合成操作中采用了背景内容尺寸不一致的多个目标背景帧，因此，合成得到的多个目标图像帧中的背景内容必然不一致。可见，通过本公开的技术方案，能够使最终得到的视频文件中包含“被摄主体尺寸保持不变，而背景空间产生压缩或放大”的希区柯特特效。
显然，相较于相关技术中通过希区柯特变焦获得希区柯特特效的方式，本公开的技术方案无需借助额外的摄像器具、也无需拍摄人员具备高超的摄像技巧，在降低对拍摄者的要求的同时，降低了拍摄所需的硬件成本。
步骤204，基于所述背景帧获取多个目标背景帧；所述多个目标背景帧中包含相同的背景内容，且所述背景内容在所述多个目标背景帧中的尺寸不一致。
在本公开中，可以通过多种方式获得唯一的目标主体帧和多个目标背景帧。
在一实施例中，拍摄者可以通过电子设备中的拍照功能拍摄一张照片，以获得一个图像帧，并对该图像帧进行背景分离，以得到的一个主体帧和一个背景帧。由于仅得到了一个主体帧，因此可以直接将该主体帧作为唯一的目标主体帧；相应的，由于仅得到了一个背景帧，尚不符合需要多个目标背景帧的需求，因此，本实施例可以进一步按照预定义的多个缩放比例对该背景帧进行多次缩放，以得到多个目标背景帧。
在本实施例中，预定义的多个缩放比例可以通过多种方式获得。
在一种情况下，可以预定义一缩放比例生成规则，并按照该缩放比例生成规则确定上述多个缩放比例，例如，该缩放比例生成规则可以为：按照预设差值递减的方式，得到多个缩放比例。假设该差值为0.1，那么，按照该规则得到的多个缩放比例可以为0.9、0.8、0.7、0.6……。再例如，该缩放规则也可以为：按照固定比值缩小缩放比例的方式，获得多个缩放比例。假设该固定比值为0.9，那么，按照该规则得到的多个缩放比例可以为：0.9、0.81、0.729……。当然，在上述规则中，也可以为按照预设差值递增、按照固定比值增大的方式，获得多个缩放比例，具体根据何种缩放比例生成规则获得多个缩放比例，可由本领域技术人员根据实际需求确定，本公开对此不作限制。
在另一种情况下，预定义的多个缩放比例也可以由用户手动设置。例如，在电子设备的拍摄界面中，可以显示一缩放比例输入选项，用户只需点击该选项即可打开缩放比例的输入界面。用户在拍摄之前，可以根据所需达到的视频效果，在该界面中自行设定缩放比例。
当然，除了上述两种方式以外，也可以直接预设多个缩放比例，以用于对背景分离得到的背景帧进行多次缩放。具体如何得到多个缩放比例，可由本领域技术人员根据实际需求确定，本公开对此不作限制。
在本实施例中，在完成唯一的目标主体帧分别与多个目标背景帧的合成操作后，可以通过多种方式将合成得到的多个目标图像帧编码为视频文件。在一种情况下，可以获取多个目标背景帧分别采用的缩放比例，作为合成得到的多个目标图像帧对应的缩放比例，并按照预设的缩放比例排序规则对多个目标图像帧进行排序，以按照排序结果将多个目标图像帧编码为视频文件。
举例而言，假设该缩放比例排序规则为：按照缩放比例依次增大的方式对目标图像帧进行排序，假设目标图像帧A、B、C、D分别对应的缩放比例为：0.9、0.8、0.7、0.6，那么，经过排序后多个目标图像帧的顺序为：目标图像帧D、C、B、A。在此基础上，即可按照“D→C→B→A”的顺序将多个目标图像帧编码为视频文件。
在实际操作中，可以根据实际需求设定上述缩放比例排序规则。例如，若需要实现背景空间不断放大的视觉效果，那么，可以如上举例，按照缩放比例依次增大的方式对多个目标图像帧进行排序。具体采用何种缩放比例排序规则，可以由本领域技术人员根据实际需求确定，例如，还可以采用先增大后减小的方式排序，以产生背景空间先放大后压缩的视觉效果，为观者营造紧张压抑的气氛，本公开对此不作限制。
在另一实施例中，拍摄者可以通过拍摄一段视频的方式，得到多个图像帧，并对得到的多个图像帧分别进行背景分离，以得到多个主体帧和多个背景帧。需要注意的是，拍摄者在拍摄这段视频时，应当保持被摄主体在画面中所处的位置大致不变，以保证后续分离得到的多个背景帧中的背景内容保持一致，但同时也需要调整至少一种拍摄参数，以使背景内容的尺寸不一致。例如，拍摄者可以通过前后推拉电子设备的方式(即改变物距的方式)拍摄该段视频，或者通过调整摄像头焦距的方式拍摄该段视频。在得到多个主体帧后，本实施例即可从多个主体帧中选取出一个主体帧，以作为唯一的目标主体帧；而将得到的多个背景帧中的至少两个确定为目标背景帧。
在实际操作中，可以按照预设的标准选取目标主体帧。例如，可以将多个主体帧中，被摄主体所占比例最大或最小的主体帧确定为目标主体帧；再例如，可以将最早或最迟拍摄得到的图像帧分离得到的主体帧作为目标主体帧。相应的，也可以按照预设的标准选取目标背景帧。例如，可以将多个背景帧均作为目标背景帧；再例如，可以按照一定的筛选规则，从多个背景帧中筛选出目标背景帧。当然，上述确定目标主体帧和目标背景帧的方式均是示意性的，具体如何从背景分离得到的多个主体帧和多个背景帧中确定出目标主体帧和目标背景帧，可以由本领域技术人员根据实际需求确定，本公开对此不作限制。
与上一实施例相类似的，本实施例也可以通过多种方式将合成得到的多个目标图像帧编码为视频文件。
在一种情况下，本实施例可以优先确定拍摄多个目标背景帧所对应的多个图像帧的时间顺序，并按照确定的时间顺序对合成得到的多个目标图像帧进行排序。在此基础上，即可按照排序结果将多个目标图像帧编码为视频文件。
举例而言，假设确定的4个目标背景帧A’、B’、C’、D’分别通过对拍摄得到的图像帧A、B、C、D进行背景分离得到，基于这4个目标背景帧合成得到4个目标图像帧a、b、c、d。假设拍摄图像帧A、B、C、D的时间顺序为“A→B→C→D”。那么，即可将4个目标图像帧排序为“a→b→c→d”，并按照该排序结果将4个目标图像帧编码成视频文件。
在另一种情况下，本实施例可以优先确定多个目标背景帧中背景所占的比例，并按照预定义的比例排序规则对基于多个目标背景帧合成得到的多个目标图像帧进行排序。在此基础上，即可按照排序结果将多个目标图像帧编码为视频文件。在该情况下，比例排序规则可以根据实际需求确定，例如，可以所占比例依次增大的方式进行排序，也可以按照所占比例依次减小的方式进行排序。当然，也可以按照先增大后减小或者先减小后增大的方式排序，具体如何排序可以根据实际需求确定，本公开对此不作限制。
步骤206，将目标主体帧分别与所述多个目标背景帧进行合成，得到多个目标图像帧，并将得到的多个目标图像帧编码为视频文件；所述目标主体帧为所述主体帧中的一帧图像。
在本公开中，由于采用了背景分离技术，因此，在实际操作中，可能出现目标主体帧中的被摄主体不足以填补目标背景帧中的空白区域的情况。鉴于此，本公开可以通过图像处理领域的图像填充技术对空白区域进行填充，以避免合成后的目标图像帧中仍存在空白区域的情况。在本公开中，可以采用本领域的任一种图像填充技术对目标图像帧中的空白区域进行填充。
当然，除了通过图像填充技术填充目标图像帧中的空白区域以外，还可以在确定目标主体帧和目标背景帧的过程中，进行一定的限制，以避免合成的目标图像帧中出现空白区域。
例如，在仅获取一个图像帧的实施例中，可以仅对背景分离得到的背景帧进行多次缩小的方式获得多个目标背景帧。应当理解的是，若仅对背景帧进行缩小，背景分离导致的背景帧中的空白区域必然也随之缩小，确定的目标主体帧足以填补多个目标背景帧中的空白区域。因此，在该情况下，不会出现合成的目标图像帧中存在空白区域的情况。
再例如，在获取多个图像帧的实施例中，可以将背景分离得到的多个主体帧中，被摄主体尺寸最大的主体帧确定为目标主体帧，那么该目标主体帧在与多个目标背景帧合成时，必然能够填补所有目标背景帧的空白区域，即不会出现合成得到的目标图像帧中存在空白区域的情况。
需要强调的是，本公开的技术方案可以应用于任一类型的电子设备，只需该电子设备装配有摄像头，且具备图像获取功能即可。例如，该电子设备可以为智能手机、平板电脑等移动终端，也可以为安装有摄像头的智能电视、PC(个人计算机，Personal Computer)等固定终端。具体将哪一种类型的电子设备作为本公开技术方案的执行主体可以由本领域技术人员根据实际需求确定，本公开对此不作限制。
由上述技术方案可知，本公开在获得图像帧后，可以对图像帧进行图像分离，以得到相应的主体帧和背景帧，并基于该主体帧确定出唯一的目标主体帧、基于该背景帧获取多个背景内容的尺寸不一致的目标背景帧。在此基础上，即可将唯一的目标主体帧与多个目标背景帧进行合成，得到多个被摄对象尺寸一致、背景内容尺寸不一致的目标图像帧。
应当理解的是，由于上述多个目标图像帧采用同一目标主体帧合成得到，因此，多个目标图像帧中的被摄主体尺寸必然保持一致。相类似的，由于上述多个目标图像帧采用背景内容尺寸不一致的不同目标背景帧合成得到，因此，多个目标图像帧的背景中的背景内容的尺寸必然也不一致。相应的，在将多个目标图像帧编码为视频文件后，视频画面中即可出现被摄主体保持不变、背景空间被压缩或放大的希区柯特特效。
相较于相关技术中，通过希区柯特变焦获得希区柯特特效的方式，本公开的技术方案不再依赖于焦距变化和物距变化对成像变化的抵消作用，而是从希区柯特特效的呈现效果出发，通过背景分离技术等后期处理方式实现希区柯特特效。这使得本公开的技术方案对拍摄技巧和拍摄器具的要求极低，避免了相关技术中需要额外的拍摄器具，而导致成本过高的问题，以及对拍摄者具有较高技术门槛的问题。
除此之外，在相关技术中，由于成像的变化幅度与成像距离画面中心位置的距离相关(即上述焦距变化与物距变化，对成像变化的抵消现象，仅发生在画面中心区域)，因此，在希区柯特变焦的过程中，必须保持被摄主体位于画面中央，通过该方式得到的带有希区柯特特效的视频画面中，被摄主体也必然位于画面中央。然而，通过本公开的技术方案，由于不再依赖于像距变化与物距变化对成像变化的抵消作用，因此，在前期拍摄的过程中，不再要求被摄主体位于画面中央。换言之，通过本公开的技术方案，除了获得传统的保持画面中央的被摄主体尺寸不变的希区柯特特效以外，还可以获得被摄主体并非位于画面中央的希区柯特特效，例如，被摄主体可以位于画面左半区或右半区等。
进一步的，本公开可以采用仅拍摄一个图像帧，并通过对该图像帧背景分离后得到的背景帧进行多次缩放的方式，获得多个背景内容的尺寸不一致的目标背景帧。在该情况下，相当于用户仅拍摄了一张包含被摄主体的照片，最大程度地简化了拍摄者的拍摄操作。
下面，以电子设备为智能手机为例，通过具体实施例的方式对本公开的技术方案进行介绍。
图3为本公开一示例性实施例示出的另一种图像处理方法的流程图。如图3所示，该方法包括以下步骤：
步骤301，获取用户拍摄得到的一个图像帧。
在本实施例中，用户可以开启智能手机中的拍照应用程序，通过拍摄照片的方式获取包含被摄主体的一个图像帧。
步骤302，对获取到的图像帧进行背景分离。
在本实施例中，可以对获取到的唯一的图像帧进行背景分离，得到一个仅包含被摄主体的主体帧，以及仅包含背景的背景帧。
步骤303，将背景分离得到的主体帧作为目标主体帧。
由于本实施例只获得一个图像帧，对其进行背景分离后，也仅能得到一个主体帧，因此，只需直接将该主体帧作为唯一的目标主体帧即可。
步骤304，对背景分离得到的背景帧进行多次缩放。
在通过背景分离得到一个背景帧之后，本实施例可以通过对该背景帧进行多次缩放的方式获取多个目标背景帧。
举例而言，该缩放比例可以为预设于智能手机中的固定值。例如，预设的多个缩放比例可以分别为：0.9、0.8、0.7、0.6、0.5。那么即可按照该缩放比例，对背景分离得到的背景帧进行5次缩放，以得到5个目标背景帧。当然，在实际应用中，可以将未进行缩放的背景帧也作为目标背景帧，具体的可以根据实际需求确定，本实施例对此不作限制。
步骤305，将目标主体帧分别与经由多次缩放得到的目标背景帧进行图像合成。
在获得唯一的目标主体帧和多个目标背景帧之后，即可将唯一的目标主体帧与多个目标背景帧分别进行合成，以得到被摄主体一致，但背景空间中背景内容的尺寸不一致的多个目标图像帧。
承接上述举例，假设目标主体帧为X，多个目标背景帧分别为A～E。那么，即可将X与A进行合成、将X与B进行合成、将X与C进行合成、将X与D进行合成、将X与E进行合成，进而得到5个目标图像帧。
步骤306，将合成得到的多个目标图像帧编码为视频文件。
在本步骤中，由于多个目标背景帧均通过对背景分离得到的背景帧进行多次缩放得到，导致基于多个目标背景帧合成得到的多个目标图像帧的尺寸是不一致的。因此，在将多个目标图像帧编码为视频文件之前，还可以对多个目标图像帧进行裁剪，以使裁剪后的多个目标图像帧的尺寸保持一致。
除此之外，在上述缩放的过程中，可能出现缩放比例大于1的情况，在该情况下，缩放之后的目标背景帧的空白区域通常大于主体帧中的被摄主体，导致通过图像合成得到的目标图像帧中仍存在空白区域，在该情况下，可以在图像合成的过程中运用图像填补技术，以使合成得到的目标图像帧中不存在空白区域，或者在完成合成后，再通过图像填补技术对得到的目标图像帧中的空白区域进行填补，以避免目标图像帧中出现空白区域的情况。
需要强调的是，本实施例可以采用任一种方式将多个目标图像帧编码成视频文件。具体采用何种方式取决于需要实现怎样的希区柯特特效。例如，在需要实现背景空间不断压缩的希区柯特特效时，可以按照缩放比例不断缩小的方式对多个目标图像帧进行排序后，再将其编码为视频文件。在需要实现其他类型的希区柯特特效时，也是类似，在此不再赘述。
由上述技术方案可知，本实施例在对用户拍摄得到的一个图像帧进行背景分离后，通过对背景分离得到的背景帧进行多次缩放处理的方式，获得多个背景空间不同的目标背景帧。在此基础上，再将分离得到的主体帧作为目标主体帧，分别与多个目标背景帧进行图像合成，以得到多个目标图像帧。
应当理解的是，由于多个目标背景通过同一目标主体帧合成得到，使得基于多个目标图像帧编码得到的视频中的被摄主体的尺寸始终不变；基于同样的逻辑，由于多个目标背景分别通过背景空间不同的多个目标背景帧合成得到，使得基于多个目标图像帧编码得到的视频中的背景空间不断变化。换言之，通过上述方法能够为视频画面添加希区柯特特效。
进一步的，由于通过本实施例的方法，用户只需拍摄一个图像帧，即可实现希区柯特特效，进一步简化了在视频中实现希区柯特特效的操作，减少了用户所需耗费的精力。不难理解的是，该方式相当于是通过照片的方式，拍摄带有希区柯特特效的视频画面，颠覆了相关技术中，必须通过拍摄视频的方式才能拍摄带有希区柯特特效的视频的常识。
图4为本公开一示例性实施例示出的又一种图像处理方法。如图4所示，该方法可以包括以下步骤：
步骤401，获取用户拍摄得到的多个图像帧。
在本实施例中，用户可以手持手机，通过前后移动的方式拍摄一段视频，以使手机获取多个图像帧。
步骤402，对多个图像帧分别进行背景分离。
在获得多个图像帧后，即可对这多个图像帧分别进行背景分离，以得到多个主体帧和多个背景帧。
步骤403，从背景分离得到的多个主体帧中选取一个主体帧，以作为唯一的目标主体帧。
本实施例在对拍摄得到的多个图像帧分别进行背景分离后，可以获得多个主体帧。由于本实施例只需用到唯一的目标主体帧，因此，可以从得到的多个主体帧中选取一个主体帧，以作为目标主体帧。
例如，可以将拍摄得到的第一个图像帧分离得到的主体帧确定为目标主体帧。当然，在实际操作中，可以由本领域技术人员根据实际需求，通过上述介绍中的任一方式确定唯一的目标主体帧，本实施例对此不作限制。
步骤404，将确定的目标主体帧分别与背景分离得到的多个背景帧进行图像合成。
由于在本实施例中拍摄得到了多个图像帧，基于这多个图像帧进行背景分离可以得到多个背景帧。因此，在本实施例中，可以直接将这多个背景帧均确定为目标背景帧。在此基础上，即可将确定的唯一的目标图像帧分别与多个目标背景帧进行合成，以得到多个目标图像帧。
步骤405，将合成得到的多个目标图像帧编码为视频。
与上一实施例相类似的，本实施例也可能出现目标主体帧中的被摄主体不足以填补目标背景帧中的空白区域的情况。针对这一情况的处理方式与上一实施例相类似，在此不再赘述。
在本实施例中，也可以通过多种方式将多个目标图像帧编码为视频。例如，可以按照拍摄图像帧的时间顺序，将上述多个目标图像帧编码为视频；再例如，可以根据各个目标背景帧中空白区域所占的比例，对基于多个目标背景帧合成得到的多个目标图像帧进行排序，以按照排序结果将多个目标图像帧编码为视频。
由上述技术方案可知，通过本实施例的技术方案，用户只需通过前后推拉手机的方式拍摄视频，即可在获得的视频画面中实现希区柯特特效。其中，对推拉的速度、距离等均没有严格的要求，可见，本公开无需如相关技术中，必须通过希区柯特变焦的方式，才能够在拍摄的视频画面中实现希区柯特特效，大幅降低了在视频画面中实现希区柯特特效的技术门槛。
相较于上一实施例，本实施例中的多个目标背景帧，通过对前期拍摄得到的多个图像帧分别进行图像分离得到，而非通过对同一背景帧进行多次缩放得到。换言之，本实施例是通过前期拍摄的方式得到多个背景空间不同的目标背景帧，而非通过对同一背景帧进行缩放的方式得到多个背景空间不同的目标背景帧。
应当理解的是，相较于后期缩放的方式，通过前期拍摄得到的多个目标背景帧中的背景空间更为自然，进而使得编码得到的视频画面中背景空间的变化也更为自然，提高了最终得到的视频画面中的希区柯特特效的视觉效果。
图5是本公开一示例性实施例示出的一种希区柯特特效实现方法的流程图。如图5所示，该方法可以包括以下步骤：
步骤501，检测到针对图像拍摄图标的触发操作。
在本实施例中，手机中可以预装带有图像拍摄功能的应用程序。那么，用户在需要拍摄图像时，只需触发相应的图像拍摄图标(与上述具有图像拍摄功能的应用程序对应的图标)，即可进行图像拍摄。
步骤502，启动图像拍摄应用程序，并展示相应的程序界面。
在本实施例中，在检测到用户针对图像拍摄图标的触发操作后，即可展示相应的程序界面。其中，在该界面中可以展示“视频”和“照片”两个拍摄选项，以便用户选取本次拍摄的图像形式。
在检测到用户选取“视频”选项后，本实施例可以进一步展示各种视频特效选项，以便用户选取在本次拍摄得到的视频画面中需要添加的视频特效，例如，可以展示：淡入、淡出、由亮到暗、由暗到亮、希区柯特特效等多个可选的视频特效选项。
步骤503，检测到针对希区柯特特效选项的触发操作。
在本实施例中，用户可以触发希区柯特特效选项，以指示要在本次拍摄的视频画面中添加希区柯特特效。
手机在检测到用户针对希区柯特特效选项的触发操作后，即可将视频拍摄模式调整至用于实现希区柯特特效的拍摄模式。在此基础上，手机一旦检测到针对开始拍摄选项的触发操作，即可对拍摄得到的图像帧进行相应的后期处理，以为拍摄得到的视频画面添加希区柯特特效。
步骤504，展示“请对准被摄主体进行图像拍摄”的提示信息。
在本实施例中，手机在检测到用户针对希区柯特特效选项的触发操作后，还可以进一步展示拍摄的注意事项。
在本实施例中，通过图3所示的方式实现希区柯特特效，由于图3仅需拍摄一个图像帧即可获得带有希区柯特特效的视频画面。那么，只需向用户展示“请对准被摄主体进行图像拍摄”的提示信息即可。
当然，本实施例仅是以“通过图3所示的方式实现希区柯特特效”为例进行介绍。应当理解的是，实际展示的提示信息应当与采用的实现方式对应。例如，在通过图4所示的方式实现希区柯特特效时，可以向用户展示“请保持被摄主体在画面中的位置固定，前后移动拍摄视频”的提示信息。
除此之外，手机还可以在用户触发希区柯特特效选项的基础上，再一次展示“拍摄照片”和“拍摄视频”的选项，以供用户选择通过图3或图4所示的方式，获得带有希区柯特特效的视频。其中，在用户选取“拍摄照片”选项的基础上，展示“请对准被摄主体进行图像拍摄”的提示信息，通过图3所示的处理方式获取带有希区柯特特效的视频；在用户选取“拍摄视频”选项的基础上，展示“请保持被摄主体在画面中的位置固定，前后移动拍摄视频”的提示信息，通过图4所示的处理方式获取带有希区柯特特效的视频。
步骤505，检测到针对开始拍摄选项的触发操作。
在本实施例中，由于采用了图3所示的方式，因此，在检测到用户针对开始拍摄选项的触发操作后，只需拍摄一张照片即可。
步骤506，调用摄像头拍摄一张照片。
步骤507，通过图像处理器对拍摄得到的照片进行背景分离。
步骤508，获取预设的多个缩放比例，以对背景分离得到的背景帧进行多次缩放。
步骤509，将背景分离得到的主体帧与经由多次缩放得到的多个目标背景帧，分别进行图像合成。
步骤510，将合成得到的多个目标图像帧编码成视频文件。
在上述步骤中，具体如何确定缩放比例、如何进行图像合成，以及如何将通过缩放得到的多个目标图像帧编码成视频文件，均可参照针对图3所示的实施例的介绍，在此不再赘述。
需要声明的是，本实施例仅是以“通过图3所示的方法实现希区柯特特效”为例，对本公开的技术方案进行介绍。若采用图4所示的方法，只需将504～510进行相应的替换即可，具体方式仍可参照针对图4的介绍，在此不再赘述。
由上述技术方案可知，本公开可以通过在图像拍摄应用程序中添加希区柯特特效选项的方式，使得用户在需要拍摄带有希区柯特特效的视频画面时，通过简单的选取操作即可在拍摄得到的视频画面中添加希区柯特特效。
其中，在用户选取希区柯特特效选项后，手机可以在界面中展示相应的拍摄注意事项，以提示用户进行通过规范的方式进行拍摄，避免了由于拍摄方式不规范而导致无法在视频画面中添加希区柯特特效的情况。
除此之外，在本实施例中，用户只需拍摄一张照片即可拍摄得到带有希区柯特特效的视频画面，大幅简化了实现希区柯特特效的操作，进一步降低了实现希区柯特特效的技术门槛。
图6是本公开一示例性实施例示出的一种图像处理装置的框图。参照图6，该装置包括获取单元601、确定单元602和合成单元603。
获取单元601，获取拍摄得到的图像帧，并对所述图像帧进行背景分离，得到主体帧和背景帧；
确定单元602，基于所述背景帧获取多个目标背景帧；所述多个目标背景帧中包含相同的背景内容，且所述背景内容在所述多个目标背景帧中的尺寸不一致；
合成单元603，将所述目标主体帧分别与所述多个目标背景帧进行合成，得到多个目标图像帧，并将得到的多个目标图像帧编码为视频文件；所述目标主体帧为所述主体帧中的一帧图像。
可选的，
获取单元601进一步被用于：获取拍摄得到的一个图像帧，并对所述图像帧进行背景分离，以得到对应于所述图像帧的一个主体帧和一个背景帧；
确定单元602还被用于：将背景分离得到的一个主体帧作为所述目标主体帧；
确定单元602进一步被用于：按照预定义的多个缩放比例，对通过背景分离得到的一个背景帧进行多次缩放，以得到多个目标背景帧。
可选的，所述预定义的多个缩放比例由所述用户手动设置，或者根据预定义的缩放比例生成规则确定。
可选的，
合成单元603进一步被用于：
获取与所述多个目标图像帧分别对应的多个缩放比例，并按照预设的缩放比例排序规则对所述多个目标图像帧进行排序；按照排序结果将所述多个目标图像帧编码为视频文件。
可选的，
获取单元601进一步被用于：
获取拍摄得到的多个图像帧，被摄主体位于各个图像帧中的同一位置；分别对所述多个图像帧进行背景分离，以得到多个主体帧和多个背景帧；
确定单元602还被用于：从所述多个主体帧中选取一个主体帧作为所述目标主体帧；
确定单元602进一步被用于：将通过背景分离得到的多个背景帧中的至少两个确定为目标背景帧。
可选的，确定单元602进一步被用于：
按照预定义的选取规则从所述多个主体帧中选取一个主体帧作为目标主体帧；
其中，所述选取规则包括下述任一：
将多个主体帧中，被摄主体所占比例最大或最小的主体帧作为目标主体帧；将最早或最迟拍摄得到图像帧分离得到的主体帧作为目标主体帧。
可选的，
合成单元603进一步被用于：
确定拍摄所述多个目标背景帧分别对应的多个图像帧的时间顺序，按照确定的时间顺序对所述多个目标图像帧进行排序；按照排序结果将所述多个目标图像帧编码为文件视频。
可选的，合成单元603进一步被用于：
确定所述多个目标背景帧中背景所占的比例，并按照预定义的比例排序规则对基于所述多个目标背景帧合成得到的多个目标图像帧进行排序；
按照排序结果将所述多个目标图像帧编码为视频。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，本公开还提供一种图像处理装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为实现如上述实施例中任一所述的图像处理方法，比如该方法可以包括：获取拍摄得到的图像帧，并对所述图像帧进行背景分离，得到主体帧和背景帧；基于所述背景帧获取多个目标背景帧；所述多个目标背景帧中包含相同的背景内容，且所述背景内容在所述多个目标背景帧中的尺寸不一致；将目标主体帧分别与所述多个目标背景帧进行合成，得到多个目标图像帧，并将得到的多个目标图像帧编码为视频文件；所述目标主体帧为所述主体帧中的一帧图像。
相应的，本公开还提供一种电子设备，所述电子设备包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于实现如上述实施例中任一所述的图像处理方法的指令，比如该方法可以包括：获取拍摄得到的图像帧，并对所述图像帧进行背景分离，得到主体帧和背景帧；基于所述背景帧获取多个目标背景帧；所述多个目标背景帧中包含相同的背景内容，且所述背景内容在所述多个目标背景帧中的尺寸不一致；将目标主体帧分别与所述多个目标背景帧进行合成，得到多个目标图像帧，并将得到的多个目标图像帧编码为视频文件；所述目标主体帧为所述主体帧中的一帧图像。
图7是根据一示例性实施例示出的一种用于实现进程调度方法的装置700的框图。例如，装置700可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图7，装置700可以包括以下一个或多个组件：处理组件702，存储器704，电源组件706，多媒体组件708，音频组件710，输入/输出(I/O)的接口712，传感器组件714，以及通信组件716。
处理组件702通常控制装置700的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件702可以包括一个或多个处理器720来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件702可以包括一个或多个模块，便于处理组件702和其他组件之间的交互。例如，处理组件702可以包括多媒体模块，以方便多媒体组件708和处理组件702之间的交互。
存储器704被配置为存储各种类型的数据以支持在装置700的操作。这些数据的示例包括用于在装置700上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器704可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件706为装置700的各种组件提供电力。电源组件706可以包括电源管理系统，一个或多个电源，及其他与为装置700生成、管理和分配电力相关联的组件。
多媒体组件708包括在所述装置700和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件708包括一个前置摄像头和/或后置摄像头。当装置700处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件710被配置为输出和/或输入音频信号。例如，音频组件710包括一个麦克风(MIC)，当装置700处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器704或经由通信组件716发送。在一些实施例中，音频组件710还包括一个扬声器，用于输出音频信号。
I/O接口712为处理组件702和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件714包括一个或多个传感器，用于为装置700提供各个方面的状态评估。例如，传感器组件714可以检测到装置700的打开/关闭状态，组件的相对定位，例如所述组件为装置700的显示器和小键盘，传感器组件714还可以检测装置700或装置700一个组件的位置改变，用户与装置700接触的存在或不存在，装置700方位或加速/减速和装置700的温度变化。传感器组件714可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件714还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件714还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件716被配置为便于装置700和其他设备之间有线或无线方式的通信。装置700可以接入基于通信标准的无线网络，如WiFi，2G或3G，4G LTE、5G NR(New Radio)或它们的组合。在一个示例性实施例中，通信组件716经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件716还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在示例性实施例中，装置700可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器704，上述指令可由装置700的处理器720执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
以上所述仅为本公开的较佳实施例而已，并不用以限制本公开，凡在本公开的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本公开保护的范围之内。

Claims (11)

1.一种图像处理方法，其特征在于，包括：
获取拍摄得到的图像帧，并对所述图像帧进行背景分离，得到主体帧和背景帧；
基于所述背景帧获取多个目标背景帧；所述多个目标背景帧中包含相同的背景内容，且所述背景内容在所述多个目标背景帧中的尺寸不一致；
将目标主体帧分别与所述多个目标背景帧进行合成，得到多个目标图像帧，并将得到的多个目标图像帧编码为视频文件；所述目标主体帧为所述主体帧中的一帧图像。
2.根据权利要求1所述的方法，其特征在于，
所述获取拍摄得到的图像帧，并对所述图像帧进行背景分离，得到主体帧和背景帧，包括：获取拍摄得到的一个图像帧，并对所述图像帧进行背景分离，以得到对应于所述图像帧的一个主体帧和一个背景帧；
还包括：将背景分离得到的一个主体帧作为所述目标主体帧；
所述基于所述背景帧获取多个目标背景帧，包括：按照预定义的多个缩放比例，对通过背景分离得到的一个背景帧进行多次缩放，以得到多个目标背景帧。
3.根据权利要求2所述的方法，其特征在于，所述预定义的多个缩放比例由用户手动设置，或者根据预定义的缩放比例生成规则确定。
4.根据权利要求2所述的方法，其特征在于，所述将得到的多个目标图像帧编码为视频文件，包括：
获取与所述多个目标图像帧分别对应的多个缩放比例，并按照预设的缩放比例排序规则对所述多个目标图像帧进行排序；
按照排序结果将所述多个目标图像帧编码为视频文件。
5.根据权利要求1所述的方法，其特征在于，
所述获取拍摄得到的图像帧，并对所述图像帧进行背景分离，得到主体帧和背景帧，包括：获取拍摄得到的多个图像帧，被摄主体位于各个图像帧中的同一位置；分别对所述多个图像帧进行背景分离，以得到多个主体帧和多个背景帧；
还包括：从所述多个主体帧中选取一个主体帧作为所述目标主体帧；
所述基于所述背景帧获取多个目标背景帧，包括：将通过背景分离得到的多个背景帧中的至少两个确定为目标背景帧。
6.根据权利要求5所述的方法，其特征在于，所述从所述多个主体帧中选取一个主体帧作为所述目标主体帧，包括：
按照预定义的选取规则从所述多个主体帧中选取一个主体帧作为目标主体帧；
其中，所述选取规则包括下述任一：
将多个主体帧中，被摄主体所占比例最大或最小的主体帧作为目标主体帧；将最早或最迟拍摄得到图像帧分离得到的主体帧作为目标主体帧。
7.根据权利要求5所述的方法，其特征在于，所述将得到的多个目标图像帧编码为视频文件，包括：
确定拍摄所述多个目标背景帧分别对应的多个图像帧的时间顺序，按照确定的时间顺序对所述多个目标图像帧进行排序；
按照排序结果将所述多个目标图像帧编码为文件视频。
8.根据权利要求5所述的方法，其特征在于，所述将得到的多个目标图像帧编码为视频文件，包括：
确定所述多个目标背景帧中背景所占的比例，并按照预定义的比例排序规则对基于所述多个目标背景帧合成得到的多个目标图像帧进行排序；
按照排序结果将所述多个目标图像帧编码为视频。
9.一种图像处理装置，其特征在于，包括：
获取单元，获取拍摄得到的图像帧，并对所述图像帧进行背景分离，得到主体帧和背景帧；
确定单元，基于所述背景帧获取多个目标背景帧；所述多个目标背景帧中包含相同的背景内容，且所述背景内容在所述多个目标背景帧中的尺寸不一致；
合成单元，将目标主体帧分别与所述多个目标背景帧进行合成，得到多个目标图像帧，并将得到的多个目标图像帧编码为视频文件；所述目标主体帧为所述主体帧中的一帧图像。
10.一种电子设备，其特征在于，包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，所述处理器通过运行所述可执行指令以实现如权利要求1-8中任一项所述的方法。
11.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-8中任一项所述方法的步骤。
CN202110113946.9A 2021-01-27 2021-01-27 图像处理方法及装置、电子设备、存储介质 Pending CN114827433A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110113946.9A CN114827433A (zh) 2021-01-27 2021-01-27 图像处理方法及装置、电子设备、存储介质
US17/453,774 US11800041B2 (en) 2021-01-27 2021-11-05 Image processing method and apparatus, electronic device, and storage medium
EP21209282.9A EP4037307A1 (en) 2021-01-27 2021-11-19 Image processing method and apparatus, electronic device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110113946.9A CN114827433A (zh) 2021-01-27 2021-01-27 图像处理方法及装置、电子设备、存储介质

Publications (1)

Publication Number Publication Date
CN114827433A true CN114827433A (zh) 2022-07-29

Family

ID=78829699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110113946.9A Pending CN114827433A (zh) 2021-01-27 2021-01-27 图像处理方法及装置、电子设备、存储介质

Country Status (3)

Country Link
US (1) US11800041B2 (zh)
EP (1) EP4037307A1 (zh)
CN (1) CN114827433A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017143354A (ja) * 2016-02-08 2017-08-17 キヤノン株式会社 画像処理装置及び画像処理方法
CN109379537A (zh) * 2018-12-30 2019-02-22 北京旷视科技有限公司 滑动变焦效果实现方法、装置、电子设备及计算机可读存储介质
CN110099217A (zh) * 2019-05-31 2019-08-06 努比亚技术有限公司 一种基于tof技术的图像拍摄方法、移动终端及计算机可读存储介质
CN110262737A (zh) * 2019-06-25 2019-09-20 维沃移动通信有限公司 一种视频数据的处理方法及终端
CN110266957A (zh) * 2019-07-09 2019-09-20 维沃移动通信有限公司 影像拍摄方法及移动终端
CN111083380A (zh) * 2019-12-31 2020-04-28 维沃移动通信有限公司 一种视频处理方法、电子设备及存储介质
US10757319B1 (en) * 2017-06-15 2020-08-25 Snap Inc. Scaled perspective zoom on resource constrained devices

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8811769B1 (en) * 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
US9025051B2 (en) * 2013-02-28 2015-05-05 Nokia Technologies Oy Method and apparatus for automatically rendering dolly zoom effect
JP6395423B2 (ja) * 2014-04-04 2018-09-26 キヤノン株式会社 画像処理装置、制御方法及びプログラム
JP6525617B2 (ja) * 2015-02-03 2019-06-05 キヤノン株式会社 画像処理装置およびその制御方法
KR20180131908A (ko) 2017-06-01 2018-12-11 엘지전자 주식회사 이동 단말기 및 그것의 동작방법
US11423510B2 (en) * 2019-10-28 2022-08-23 Samsung Electronics Co., Ltd System and method for providing dolly zoom view synthesis
CN113949808B (zh) 2020-07-17 2022-12-27 北京字节跳动网络技术有限公司 视频生成方法、装置、可读介质及电子设备
US20220358619A1 (en) * 2021-05-10 2022-11-10 Mediatek Inc. Automatic dolly zoom image processing device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017143354A (ja) * 2016-02-08 2017-08-17 キヤノン株式会社 画像処理装置及び画像処理方法
US10757319B1 (en) * 2017-06-15 2020-08-25 Snap Inc. Scaled perspective zoom on resource constrained devices
CN109379537A (zh) * 2018-12-30 2019-02-22 北京旷视科技有限公司 滑动变焦效果实现方法、装置、电子设备及计算机可读存储介质
CN110099217A (zh) * 2019-05-31 2019-08-06 努比亚技术有限公司 一种基于tof技术的图像拍摄方法、移动终端及计算机可读存储介质
CN110262737A (zh) * 2019-06-25 2019-09-20 维沃移动通信有限公司 一种视频数据的处理方法及终端
CN110266957A (zh) * 2019-07-09 2019-09-20 维沃移动通信有限公司 影像拍摄方法及移动终端
CN111083380A (zh) * 2019-12-31 2020-04-28 维沃移动通信有限公司 一种视频处理方法、电子设备及存储介质

Also Published As

Publication number Publication date
EP4037307A1 (en) 2022-08-03
US11800041B2 (en) 2023-10-24
US20220239805A1 (en) 2022-07-28

Similar Documents

Publication Publication Date Title
CN106791893B (zh) 视频直播方法及装置
CN106506448B (zh) 直播显示方法、装置及终端
US20170304735A1 (en) Method and Apparatus for Performing Live Broadcast on Game
CN106210496B (zh) 照片拍摄方法及装置
CN109922252B (zh) 短视频的生成方法及装置、电子设备
CN110677734B (zh) 视频合成方法、装置、电子设备及存储介质
US11310443B2 (en) Video processing method, apparatus and storage medium
US10063791B2 (en) Method for presentation of images
US11856312B2 (en) Image processing method, apparatus, electronic device and storage medium
CN115134505B (zh) 预览画面生成方法及装置、电子设备、存储介质
KR20190073528A (ko) 동영상 편집, 동영상 촬영 방법 및 장치
EP3799415A2 (en) Method and device for processing videos, and medium
CN113286073A (zh) 拍摄方法、拍摄装置及存储介质
CN111586296B (zh) 图像拍摄方法、图像拍摄装置及存储介质
CN112333384B (zh) 预览图像方法、预览图像装置及存储介质
CN114827433A (zh) 图像处理方法及装置、电子设备、存储介质
CN112087570B (zh) 图像拍摄方法及装置、电子设备、可读存储介质
CN114339357A (zh) 图像采集方法、图像采集装置及存储介质
CN114697517A (zh) 视频处理方法、装置、终端设备及存储介质
CN113315903A (zh) 图像获取方法和装置、电子设备、存储介质
CN114070998A (zh) 一种拍摄月亮的方法、装置、电子设备及介质
CN113973172A (zh) 拍摄方法、装置、存储介质及电子设备
CN110933300B (zh) 一种图像处理方法和电子终端设备
CN111225158B (zh) 图像生成方法及装置、电子设备、计算机可读存储介质
EP3826282A1 (en) Image capturing method and device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination