CN116980758A - 一种视频虚化方法、电子设备、存储介质及计算机程序 - Google Patents

一种视频虚化方法、电子设备、存储介质及计算机程序 Download PDF

Info

Publication number
CN116980758A
CN116980758A CN202310678550.8A CN202310678550A CN116980758A CN 116980758 A CN116980758 A CN 116980758A CN 202310678550 A CN202310678550 A CN 202310678550A CN 116980758 A CN116980758 A CN 116980758A
Authority
CN
China
Prior art keywords
blurring
video frame
target
video
video frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310678550.8A
Other languages
English (en)
Inventor
吴戈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Ck Technology Co ltd
Original Assignee
Chengdu Ck Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Ck Technology Co ltd filed Critical Chengdu Ck Technology Co ltd
Priority to CN202310678550.8A priority Critical patent/CN116980758A/zh
Publication of CN116980758A publication Critical patent/CN116980758A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种视频虚化方法、电子设备、存储介质及计算机程序。方法包括：获取多个视频帧；获取多个视频帧各自的对象信息；基于任一当前视频帧的对象信息以及至少部分在先视频帧的对象信息，确定当前视频帧是否相对于至少部分在先视频帧发生对焦主体的改变；在至少发生对焦主体的改变的情况下，确定多个待虚化视频帧各自对应的目标虚化系数，不同的目标虚化系数使对应的待虚化视频帧具有不同的虚化程度，多个待虚化视频帧中各待虚化视频帧的虚化程度随待虚化视频帧与当前视频帧之间的时间间隔增大而增大或减小；基于每一待虚化视频帧所对应的目标虚化系数对该视频帧进行虚化，获得对应的目标虚化图像。该方案能够实现过渡虚化效果。

Description

一种视频虚化方法、电子设备、存储介质及计算机程序
技术领域
本发明涉及图像处理技术领域，更具体地涉及一种视频虚化方法、电子设备、存储介质及计算机程序。
背景技术
随着移动端设备(手机等电子设备)的更新迭代，用户对诸如手机等电子设备摄像的功能需求日益增多。尤其是人像虚化拍摄模式，需要更高质量的成品，需要逼近电影设备的效果。
相关技术中，基于移动端设备的人像视频虚化技术是通过计算机视觉算法来生成的类似相机单反的效果，主要包括人像检测/分割技术和景深虚化渲染技术。人像检测/分割技术以深度学习模型为主，景深虚化渲染技术主要通过类似卷积模糊的传统方法来进行仿真实现。
相关技术中，各视频帧基于自身的对焦情况进行独立虚化，导致在发生对焦主体变化时，前后视频帧之间的图像虚化效果容易发生跃变，影响用户体验。
发明内容
考虑到上述问题而提出了本发明。本发明提供了一种视频虚化方法、电子设备、存储介质及计算机程序。
根据本发明一方面，提供了一种视频虚化方法，包括：获取视频中的多个视频帧；获取多个视频帧各自的对象信息，对象信息包括与对应视频帧中的目标对象的以下信息中的一项或多项：数量、角度、大小；基于多个视频帧中任一当前视频帧的对象信息以及位于当前视频帧之前的至少部分在先视频帧的对象信息，确定当前视频帧是否相对于至少部分在先视频帧发生对焦主体的改变，对焦主体为对焦点所对应的目标对象；在至少出现当前视频帧相对于至少部分在先视频帧发生对焦主体的改变的情况时，确定视频中的多个待虚化视频帧各自对应的目标虚化系数；其中，多个待虚化视频帧包括位于当前视频帧之后的至少部分在后视频帧，不同的目标虚化系数使对应的待虚化视频帧具有不同的虚化程度，多个待虚化视频帧中各待虚化视频帧的虚化程度随待虚化视频帧与当前视频帧之间的时间间隔增大而增大或减小；对于多个待虚化视频帧中每一视频帧，基于该视频帧对应的目标虚化系数对该视频帧进行虚化，获得对应的目标虚化图像。
示例性地，在至少出现当前视频帧相对于至少部分在先视频帧发生对焦主体的改变的情况时，确定视频中的多个待虚化视频帧各自对应的目标虚化系数，包括：在至少出现所述当前视频帧相对于所述至少部分在先视频帧发生对焦主体的改变的情况时，获取多个待虚化视频帧各自对应的虚化调整因子；其中，虚化调整因子随虚化调整因子所对应的视频帧与当前视频帧之间的时间间隔增大而增大或减小；获取基于目标模糊算法所确定的与多个待虚化视频帧各自对应的初始虚化系数；对于多个待虚化视频帧中每一视频帧，基于该视频帧所对应的虚化调整因子，对该视频帧所对应的初始虚化系数进行调整，获得该视频帧所对应的目标虚化系数，目标虚化系数与初始虚化系数及虚化调整因子分别正相关。
示例性地，对象信息包括对应视频帧中的目标对象的数量，当前视频帧相对于至少部分在先视频帧发生对焦主体的改变包括：当前视频帧中的目标对象的数量是一个或多个且至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是零，在至少出现当前视频帧相对于至少部分在先视频帧发生对焦主体的改变的情况时，确定视频中的多个待虚化视频帧各自对应的目标虚化系数，包括：在当前视频帧中的目标对象的数量是一个或多个且至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是零时，确定多个待虚化视频帧各自对应的目标虚化系数；其中，多个待虚化视频帧中各待虚化视频帧的虚化程度随待虚化视频帧与当前视频帧之间的时间间隔增大而增大。
示例性地，对象信息包括对应视频帧中的目标对象的数量，当前视频帧相对于至少部分在先视频帧发生对焦主体的改变包括：当前视频帧中的目标对象的数量是零且至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是一个或多个，在至少出现当前视频帧相对于至少部分在先视频帧发生对焦主体的改变的情况时，确定视频中的多个待虚化视频帧各自对应的目标虚化系数，包括：在当前视频帧中的目标对象的数量是零且至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是一个或多个时，确定多个待虚化视频帧各自对应的目标虚化系数；其中，多个待虚化视频帧中各待虚化视频帧的虚化程度随待虚化视频帧与当前视频帧之间的时间间隔增大而减小。
示例性地，对象信息包括对应视频帧中的目标对象的数量、大小和角度，当前视频帧包括多个目标对象且至少部分在先视频帧中的每个在先视频帧包括至少一个目标对象，或者当前视频帧包括至少一个目标对象且至少部分在先视频帧中的每个在先视频帧包括多个目标对象；当前视频帧相对于至少部分在先视频帧发生对焦主体的改变包括：当前视频帧中角度属于正面且大小最大的目标对象与在先对焦主体不同；至少部分在先视频帧各自对应的对焦主体相同，在先对焦主体表示至少部分在先视频帧所对应的对焦主体；在至少出现当前视频帧相对于至少部分在先视频帧发生对焦主体的改变的情况时，确定视频中的多个待虚化视频帧各自对应的目标虚化系数，包括：在当前视频帧中角度属于正面且大小最大的目标对象与在先对焦主体不同时，确定多个待虚化视频帧各自对应的目标虚化系数；其中，多个待虚化视频帧中各待虚化视频帧的虚化程度随待虚化视频帧与当前视频帧之间的时间间隔增大而增大。
示例性地，基于多个视频帧中任一当前视频帧的对象信息以及位于当前视频帧之前的至少部分在先视频帧的对象信息，确定当前视频帧是否相对于至少部分在先视频帧发生对焦主体的改变，包括：在当前视频帧所对应的第一目标对象集合与至少部分在先视频帧中的每个在先视频帧所对应的第二目标对象集合中的目标对象均相同时，若当前视频帧所对应的第一目标对象集合中存在至少一个目标对象的角度属于正面，则基于目标对象的大小，从第一目标对象集合中角度属于正面的目标对象中，选择最大的目标对象作为当前视频帧的对焦主体；基于当前视频帧的对焦主体与在先对焦主体，确定当前视频帧是否相对于至少部分在先视频帧发生对焦主体的改变；其中，第一目标对象集合表示当前视频帧中大小大于在先对焦主体的目标对象；第二目标对象集合包括对应在先视频帧中的大小大于在先对焦主体的目标对象。
示例性地，基于多个视频帧中任一当前视频帧的对象信息以及位于当前视频帧之前的至少部分在先视频帧的对象信息，确定当前视频帧是否相对于至少部分在先视频帧发生对焦主体的改变，包括：在当前视频帧中的多个目标对象与至少部分在先视频帧中的每个在先视频帧中的多个目标对象相同，且当前视频帧中的每个目标对象与至少部分在先视频帧中的每个在先视频帧中的对应目标对象的角度一致时，若当前视频帧所对应的第三目标对象集合中存在至少一个目标对象的大小大于在先对焦主体在当前视频帧中的大小，则基于各目标对象的大小，从第三目标对象集合中选择最大的目标对象作为当前视频帧的对焦主体；其中，第三目标对象集合表示当前视频帧中角度属于正面的目标对象。
根据本发明另一方面，提供了一种电子设备，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行上述视频虚化方法。
根据本发明另一方面，提供了一种存储介质，在所述存储介质上存储了程序指令，所述程序指令在运行时用于执行上述视频虚化方法。
根据本发明另一方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，其中，所述计算机程序在运行时用于执行上述视频虚化方法。
根据本发明实施例的视频虚化方法、电子设备、存储介质及计算机程序，在至少出现对焦主体发生改变的情况时，利用多个待虚化视频帧各自对应的目标虚化系数对对应视频帧进行虚化，目标虚化系数能够使得各待虚化视频帧的虚化程度随待虚化视频帧与当前视频帧之间的时间间隔增大而增大或减小，从而能够实现过渡虚化的效果，防止虚化效果发生跃变，有利于提高用户体验感。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1示出用于实现根据本申请实施例的视频虚化方法的示例电子设备的示意性框图；
图2示出了根据本申请一个实施例的视频虚化方法的示意性流程图；
图3示出根据本申请一个具体实施例的视频虚化方法的示意性流程图；
图4示出根据本申请一个实施例的视频虚化装置的示意性框图；以及
图5示出根据本申请一个实施例的电子设备的示意性框图。
具体实施方式
近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(Artificial Intelligence，AI)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、图像处理、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(SLAM)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
为了使得本申请的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。基于本申请中描述的本申请实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本申请的保护范围之内。
本申请实施例提供了一种视频虚化方法、电子设备、存储介质及计算机程序产品。根据本申请实施例的视频虚化方法，可以在至少出现对焦主体发生改变的情况时实现图像的虚化效果在各待虚化视频帧间的平滑过渡，提高虚化效果变化过程的平滑性。根据本申请实施例的视频虚化技术可以应用于任何涉及视频虚化的领域。
首先，参照图1来描述用于实现根据本申请实施例的视频虚化方法的示例电子设备100。
如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104。可选地，电子设备100还可以包括输入装置106、输出装置108、以及图像采集装置110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
所述处理器102可以采用数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、微处理器中的至少一种硬件形式来实现，所述处理器102可以是中央处理单元(CPU)、图像处理器(GPU)、专用的集成电路(ASIC)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本申请实施例中(由处理器实现)的客户端功能以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
所述输出装置108可以向外部(例如用户)输出各种信息(例如图像和/或声音)，并且可以包括显示器、扬声器等中的一个或多个。可选地，所述输入装置106和所述输出装置108可以集成在一起，采用同一交互装置(例如触摸屏)实现。
所述图像采集装置110可以采集图像，并且将所采集的图像存储在所述存储装置104中以供其它组件使用。图像采集装置110可以是单独的相机或移动终端中的摄像头等。应当理解，图像采集装置110仅是示例，电子设备100可以不包括图像采集装置110。在这种情况下，可以利用其他具有图像采集能力的器件采集图像，并将采集的图像发送给电子设备100。
示例性地，用于实现根据本申请实施例的视频虚化方法的示例电子设备可以在诸如个人计算机、终端设备、考勤机、面板机、相机或远程服务器等的设备上实现。其中，终端设备包括但不限于：平板电脑、手机、PDA(Personal Digital Assistant，个人数字助理)、可触屏一体机、可穿戴设备等。
根据本申请的一方面，示出了一种视频虚化方法。图2示出了根据本申请一个实施例的视频虚化方法的示意性流程图。如图2所述，视频虚化方法200包括以下步骤S210、S220、S230、S240和S250。
在步骤S210，获取视频中的多个视频帧。
多个视频帧可以是通过诸如图像采集装置等采集获得的原始视频帧，也可以是对图像采集装置采集获得的原始视频帧进行预处理获得的视频帧。该预处理操作可以包括为了改善视频帧的视觉效果，提高视频帧的清晰度，或是突出视频帧中的某些对象特征等便于前景提取的所有操作。例如，预处理操作可以包括滤波等去噪操作，也可以包括视频参数的调整如图像灰度、对比度、亮度等的调整。
多个视频帧可以来自外部设备，由外部设备传送到电子设备中进行视频虚化。此外，多个视频帧也可以直接由电子设备100自身进行采集获得。例如，电子设备100(例如手机)可以利用图像采集装置110(例如手机的摄像头)采集多个视频帧。图像采集装置110可以在采集到多个视频帧后将其传送到处理器102，由处理器102对多个视频帧中的待虚化视频帧进行虚化。替代地，图像采集装置110可以在采集多个视频帧的同时将采集到的视频帧实时传送到处理器102。即图像采集装置110每采集完成一个视频帧，就将该视频帧实时传送到处理器102中。
多个视频帧可以是视频录制过程中采集得到的，也可以是在拍摄图像过程中采集得到的。可以理解，拍摄图像通常可以分为预览阶段和确认拍摄阶段。用户在预览阶段得到符合要求的图像后，确认拍摄。多个视频帧可以是拍摄图像的预览阶段采集的。
示例性地，多个视频帧可以是图像采集装置按照一定帧率实时采集获得的视频流数据中的多个连续视频帧。视频帧的数量随图像采集装置采集的视频流数据增大而增大。
在步骤S220，获取多个视频帧各自的对象信息，对象信息包括与对应视频帧中的目标对象的以下信息中的一项或多项：数量、角度、大小。
可以理解，多个视频帧中的每一个视频帧均相当于一幅静态图像。在该静态图像中，可以包含目标对象。且对于每一个视频帧，其所包含的目标对象的数量、角度、大小等均是唯一确定的。在当前视频帧中不包含目标对象或包含目标对象但是所包含的目标对象的大小小于一定阈值时，可以认为目标对象的数量是零。目标对象可以是任意物体，其可以根据实际需要确定。例如，目标对象可以是人或人的一部分(例如人脸)、车辆、动物、建筑物等中的任意一种或几种。
对于多个视频帧中的任意一个视频帧，该视频帧的对象信息的获取可以采用现有的或未来研发的任意一种方法实现。本申请的实施例对此不做限制。示例性地，可以对视频帧中的目标对象的位置进行定位，获得目标对象的位置。目标对象的大小和角度可以基于目标对象的位置确定。当然，也可以直接对视频帧进行检测，确定目标对象的位置、大小和角度等中的一种或多种。示例性地，可以通过目标检测或图像分割等方式确定每个视频帧中的对象信息。具体例如，可以采用常规的目标检测算法对目标对象进行检测，获得目标对象的目标检测框。或者，可以利用基于灰度的图像分割法来确定视频帧中的目标对象的位置，具体例如大津阈值法，边缘检测法等。该图像分割法输出的结果可以是包含目标对象的掩膜(mask)。替代地，可以利用图像分割网络来实现图像分割。在对目标对象进行目标检测的实施例中，可以获得目标检测框的位置信息。目标检测框可以是任意形状的边界框，包括但不限于矩形边界框。目标检测框的位置信息可以包括以下信息中的一种或多种：目标检测框的一个或多个角点的坐标、目标检测框的中心点的坐标、目标检测框的高度、目标检测框的宽度。在目标检测框的位置信息包括目标检测框的一个角点或中心点的坐标的情况下，目标检测框的位置信息可以同时包括目标检测框的高度和宽度。可以根据该目标检测框的位置信息，确定该目标检测框的大小和/或数量。在该实施例中，目标对象的大小可以通过目标检测框的大小表示。目标对象的数量可以通过目标检测框的数量表示。此外，本领域技术人员可以理解，图像分割结果(即掩膜)也可以表示目标对象的位置。在通过图像分割对目标对象的位置进行定位后，可以确定目标对象的大小和/或数量。示例性地，在确定目标对象的位置之后，可以根据视频帧中的目标对象的关键点的位置，确定目标对象的角度。在一个实施例中，目标对象是人脸。可以根据图像分割法确定人脸上的眼、鼻、嘴等的位置，并根据上述位置信息，确定人脸的角度。在本实施例中，仅考虑人脸为正面或侧面的情况，因此可以采用归一化的方式表示人脸的角度。例如，可以定义人脸的角度属于正面时，flag1＝1，人脸的角度属于侧面时，flag1＝0。在一个实施例中，采用目标检测或图像分割等算法确定目标对象的目标检测框或掩膜等的位置信息的同时，还可以可选地一起确定目标对象的角度、大小和数量中的一者或多者。例如，将任一视频帧输入目标检测网络，目标检测网络可以同步输出各目标对象的目标检测框、每个目标对象的角度和/或大小、以及目标对象的数量等。
示例性地，对象信息包括对应视频帧中的目标对象的大小，大小用目标对象在视频帧中所占面积表示，在任一视频帧中的目标对象的面积与该视频帧的面积的比值小于第一比值阈值时，确定该视频帧中的目标对象的数量是零。
如上所述，目标对象可以通过目标检测框进行标识。在一个实施例中，面积可以以像素的个数表示。可以计算目标检测框内像素的个数与对应视频帧的像素的个数的比值，该比值即为对应目标对象与该视频帧的面积比值。
可以理解，对于同一目标对象来说，目标对象与图像采集装置间的距离越远，则该目标对象在对应视频帧中的面积越小。当面积比值小于第一比值阈值时，说明该目标对象距离当前图像采集装置较远，该目标对象可能并非用户期望拍摄的，因此该目标对象为无效目标对象。本文中，在对目标对象的数量进行讨论时，仅考虑有效的目标对象。上述目标对象的面积表示单个目标对象的面积。即当前视频帧中存在多个目标对象时，若多个目标对象中任意一个目标对象的面积与该视频帧的面积的比值均小于第一比值阈值，则该目标对象为无效目标对象。因此，如果当前视频帧中存在的都是无效目标对象或者不存在任何目标对象，可以确定该视频帧中的目标对象的数量是零。
第一比值阈值可以根据实际需要设置。例如，第一比值阈值可以处于(0％,5％]的范围内。在一个具体的实施例中，第一比值阈值可以是1％。在该实施例中，当目标对象的面积与对应视频帧的面积的比值小于1％，该目标对象为无效目标对象，忽略该目标对象。
上述技术方案在目标对象的面积与该视频帧的面积的比值小于第一比值阈值时，忽略该目标对象，可以减少需要处理的目标对象数量，提高处理速度。
在步骤S230，基于多个视频帧中任一当前视频帧的对象信息以及位于当前视频帧之前的至少部分在先视频帧的对象信息，确定当前视频帧是否相对于至少部分在先视频帧发生对焦主体的改变，对焦主体为对焦点所对应的目标对象。
当前视频帧可以是多个视频帧中的任一视频帧。针对多个视频帧中的至少部分视频帧中的每个视频帧来说，可以将该视频帧视为当前视频帧执行步骤S230至S260。
可以理解，对于一个图像采集装置，其在拍摄过程中可能存在多个动态对焦点，而用于合焦的对焦点通常为其中之一。当然，本申请也不排除有多个用于合焦的对焦点的情况。在本申请中，所示出的对焦点均表示用于合焦的对焦点。在用于合焦的对焦点为单一对焦点的情况下，由于对焦点的数量唯一，在任一视频帧中，对焦主体的数量仅有一个或零个(在当前视频帧中不存在目标对象时，对焦主体的数量是零)。在对象信息不同时，其对焦主体也可能会发生改变。例如，在至少部分在先视频帧的对象信息中目标对象的数量是一个时，该目标对象可以为至少部分在先视频帧的对焦主体。若当前视频帧的对象信息中不存在目标对象(即目标对象的数量是零)，则当前视频帧中不存在对焦主体。此时，可以确定当前视频帧相对于至少部分在先视频帧发生对焦主体的改变。换言之，对焦主体的改变可以包括对焦主体从无到有或从有到无。又例如，在至少部分在先视频帧的对象信息和当前视频帧的对象信息表示存在多个目标对象时，若至少部分在先视频帧的对焦主体与当前视频帧的对焦主体各自对应的目标对象不同，也可以确定当前视频帧相对于至少部分在先视频帧发生对焦主体的改变。即在该实施例中，对焦主体的改变包括当前视频帧的对焦主体对应的目标对象与至少部分在先视频帧的对焦主体对应的目标对象不同。在一个具体的实施例中，至少部分在先视频帧的对象信息和当前视频帧的对象信息中的目标对象均为A、B、C、D。若至少部分在先视频帧的对焦主体所对应的目标对象是A，当前视频帧的对焦主体所对应的目标对象是B，则可以确定当前视频帧相对于至少部分在先视频帧发生对焦主体的改变。
至少部分在先视频帧所包括的视频帧的数量可以是一个。在一个实施例中，至少部分在先视频帧仅包括一个视频帧。该在先视频帧可以是当前视频帧的上一帧。在该实施例中，可以对比当前视频帧的上一视频帧(即在先视频帧)与当前视频帧的对焦主体是否相同，根据对比结果，确定当前视频帧是否相对于在先视频帧发生对焦主体的改变。
替代地，在一个实施例中，至少部分在先视频帧包括连续目标数量个视频帧。连续目标数量个视频帧的对焦主体至少相同。在本实施例中，在步骤230，基于多个视频帧中任一当前视频帧的对象信息以及位于当前视频帧之前的至少部分在先视频帧的对象信息，确定当前视频帧是否相对于至少部分在先视频帧发生对焦主体的改变前，方法200还可以包括以下步骤：在连续目标数量个视频帧的对焦主体相同时，确定该对焦主体为至少部分在先视频帧的对焦主体。在该实施例中，首先需要确定至少部分在先视频帧的对焦主体。可以理解，在一些图像/视频采集操作开始时，采集的视频流并不稳定，其根据视频流中的视频帧得到的对焦主体可能并不准确。本实施例在连续目标数量个视频帧的对焦主体均相同时，确定至少部分在先视频帧的对焦主体，能够保证得到的对焦主体的结果可靠。目标数量可以根据实际需要设置。例如，目标数量可以处于[2,100]的范围内，例如可以是三个。
在步骤S240，在至少出现当前视频帧相对于至少部分在先视频帧发生对焦主体的改变的情况时，确定视频中的多个待虚化视频帧各自对应的目标虚化系数；其中，多个待虚化视频帧包括位于当前视频帧之后的至少部分在后视频帧，不同的目标虚化系数使对应的待虚化视频帧具有不同的虚化程度，多个待虚化视频帧中各待虚化视频帧的虚化程度随待虚化视频帧与当前视频帧之间的时间间隔增大而增大或减小。
在一个实施例中，只要出现当前视频帧相对于至少部分在先视频帧发生对焦主体的改变的情况，就可以获取多个待虚化视频帧各自对应的目标虚化系数。在另一个实施例中，在出现当前视频帧相对于至少部分在先视频帧发生对焦主体的改变的情况时，不一定确定目标虚化系数，可以在进一步满足其他要求的情况下才获取目标虚化系数。例如，在至少部分在先视频帧中的每个视频帧中目标对象的数量为0(即无对焦主体)且当前视频帧中目标对象的数量为1时，可以获取目标虚化系数；在至少部分在先视频帧中的每个视频帧中目标对象的数量为0且当前视频帧中目标对象的数量为至少两个时，可以不获取目标虚化系数。
多个待虚化视频帧的数量可以根据实际需要调整。可以理解，待虚化视频帧所对应的目标虚化图像可以认为是在对焦主体刚改变时的过渡性虚化图像。若待虚化视频帧的数量过多，则可能在还未得到对焦主体改变后的稳定虚化图像时，可能再次发生对焦主体的变化。从而难以获得当前对焦主体所对应的目标虚化图像。若待虚化视频帧的数量过少，则图像虚化效果容易发生跃变，影响用户体验。在一个实施例中，待虚化视频帧的数量可以处于[30帧,60帧]的范围内。待虚化视频帧采用这一数量范围，既能够保证良好的过渡虚化效果，又能够防止由于待虚化视频帧数量过多导致无法获得对应当前对焦主体的目标虚化图像。待虚化视频帧的数量还可以根据图像采集装置的帧率进行调整。例如，在图像采集装置的帧率是30Hz时，待虚化视频帧的数量可以是30帧。在图像采集装置的帧率是60Hz时，待虚化视频帧的数量可以是60帧。
如上所述，不同的目标虚化系数使对应的待虚化视频帧具有不同的虚化程度。可选地，目标虚化系数可以与对应的待虚化视频帧的虚化程度正相关或负相关。换言之，虚化程度可以随目标虚化系数的增大而增大，也可以随目标虚化系数的增大而减小。可以理解，在当前视频帧相对于至少部分在先视频帧发生对焦主体的改变时，待虚化区域(即背景)也会发生改变。此时若直接采用常规方式(例如高斯模糊、均值模糊等)对视频帧进行虚化，会导致虚化效果发生跃变，为防止这种跃变，可以针对当前视频帧之后的至少部分在后视频帧进行过渡虚化。参与过渡虚化的视频帧为待虚化视频帧。可选地，参与过渡虚化的视频帧可以包含当前视频帧，也可以不包含当前视频帧。通过利用目标虚化系数控制多个待虚化视频帧的虚化程度随待虚化视频帧与当前视频帧之间的时间间隔增大而增大或减小，能够控制相应视频帧的虚化程度逐渐增大或减小，从而实现过渡虚化的效果，提高用户体验。
在步骤S250，对于多个待虚化视频帧中每一视频帧，基于该视频帧对应的目标虚化系数对该视频帧进行虚化，获得对应的目标虚化图像。
根据上述技术方案，在至少出现对焦主体发生改变的情况时，利用多个待虚化视频帧各自对应的目标虚化系数对对应视频帧进行虚化，目标虚化系数能够使得各待虚化视频帧的虚化程度随待虚化视频帧与当前视频帧之间的时间间隔增大而增大或减小，从而能够实现过渡虚化的效果，防止虚化效果发生跃变，有利于提高用户体验感。
示例性地，步骤S240，在至少出现当前视频帧相对于至少部分在先视频帧发生对焦主体的改变的情况时，确定视频中的多个待虚化视频帧各自对应的目标虚化系数，可以包括以下步骤S241、步骤S242和步骤S243。
在步骤S241，在至少出现当前视频帧相对于至少部分在先视频帧发生对焦主体的改变的情况时，获取多个待虚化视频帧各自对应的虚化调整因子。其中，虚化调整因子随虚化调整因子所对应的视频帧与当前视频帧之间的时间间隔增大而增大或减小。
虚化调整因子可以用于指示视频帧的虚化有效程度，其取值范围可以是例如[0,100％]，也就是[0,1]。目标虚化系数可以与初始虚化系数和虚化调整因子分别正相关。示例性地，目标虚化系数可以等于初始虚化系数和虚化调整因子的乘积。当虚化调整因子为0时，目标虚化系数为0，表示虚化无效，当虚化调整因子为100％时，目标虚化系数等于初始虚化系数，表示虚化全部有效。可以理解，在进行诸如人像拍摄等图像采集工作时，为提高视频帧内对焦主体(在人像拍摄时，对焦主体是人脸或者人脸及人体其他部分)的清晰程度，通常需要将除对焦主体外的区域进行虚化，以获得对焦主体清晰、背景虚化的图像。而在当前视频帧中不存在对焦主体时，则无需对背景进行虚化。
如上所述，为防止虚化效果发生跃变，可以针对当前视频帧之后的至少部分在后视频帧进行过渡虚化。在本例中，通过控制多个待虚化视频帧的虚化调整因子随虚化调整因子所对应的视频帧与当前视频帧之间的时间间隔增大而增大或减小，能够控制相应视频帧的虚化有效程度逐渐增大或减小，从而实现过渡虚化的效果，提高用户体验。示例性地，虚化调整因子可以随虚化调整因子所对应的视频帧与当前视频帧之间的时间间隔增大而均匀增大或均匀减小。均匀增大或均匀减小是指待虚化视频帧与当前视频帧之间的时间间隔每增大或减小目标间隔，则虚化调整因子可以增大或减小目标比例。目标间隔可以是诸如两个相邻视频帧之间的时间间隔。目标比例可以是任意比例，例如1％、5％、10％、20％等等。当然，虚化调整因子可以随虚化调整因子所对应的视频帧与当前视频帧之间的时间间隔增大而非均匀增大或非均匀减小也是可以的。
在步骤S242，获取基于目标模糊算法所确定的与多个待虚化视频帧各自对应的初始虚化系数。
可选地，目标模糊算法可以是现有的或未来研发的任意一种模糊算法。例如高斯模糊、均衡模糊、散景模糊等算法。在一个具体的实施例中，可以采用散景模糊算法，确定待虚化视频帧中的弥散圆(circle of confusion，coc)直径(以下简称coc值)作为该待虚化视频帧的初始虚化系数。coc值的具体确定方法在下文中详细描述。
可选地，多个待虚化视频帧各自的初始虚化系数可以相同。例如，多个待虚化视频帧的初始虚化系数可以均为多个待虚化视频帧中第1个视频帧的初始虚化系数。替代地，多个待虚化视频帧各自的初始虚化系数可以不同。例如，可以分别采用上述的散景模糊算法确定。由此，可以得到与当前待虚化视频帧相对应的初始虚化系数，从而获得更佳的虚化效果。
示例性地，与每个待虚化视频帧对应的初始虚化系数可以包括与该视频帧中的各像素一一对应的虚化值。虚化值可以为上述coc值。
在步骤S243，对于多个待虚化视频帧中每一视频帧，基于该视频帧所对应的虚化调整因子，对该视频帧所对应的初始虚化系数进行调整，获得该视频帧所对应的目标虚化系数，目标虚化系数与初始虚化系数及虚化调整因子分别正相关。
可选地，基于该视频帧所对应的虚化调整因子，对该视频帧所对应的初始虚化系数进行调整可以包括以下步骤：计算该视频帧所对应的虚化调整因子与对该视频帧所对应的初始虚化系数的乘积，以确定目标虚化系数。示例性地，在与每个待虚化视频帧对应的初始虚化系数包括与该视频帧中的各像素一一对应的虚化值的情况下，可以采用同一虚化调整因子与所有虚化值相乘，获得目标虚化系数。
可选地，视频虚化方法200还可以包括步骤S260。
步骤S260，在当前视频帧相对于至少部分在先视频帧未发生对焦主体的改变的情况下，若当前视频帧中存在对焦主体，则确定当前视频帧的虚化调整因子为1，并执行步骤S242、步骤S243以及步骤S250，或者执行步骤S242并对于多个待虚化视频帧中每一视频帧，基于该视频帧所对应的初始虚化系数对该视频帧进行虚化，获得对应的目标虚化图像。
可选地，视频虚化方法200还可以包括步骤S270。步骤S270，在当前视频帧相对于至少部分在先视频帧未发生对焦主体的改变的情况下，若当前视频帧中不存在对焦主体，则直接输出清晰图像(即当前视频帧本身)。
可以理解，在当前视频帧相对于至少部分在先视频帧未发生对焦主体的改变的情况下，若当前视频帧中存在对焦主体，仍需要基于该对焦主体对当前视频帧中的背景区域进行虚化。由于当前未发生对焦主体的改变，因此可以直接基于该视频帧的初始虚化系数对该视频帧进行虚化，等同于虚化调整因子为1，即100％。此时，该视频帧的虚化情况与至少部分在先视频帧的虚化情况基本一致，因此不会发生虚化效果的跃变。
根据上述技术方案，在至少对焦主体发生改变时，通过利用多个待虚化视频帧各自对应的虚化调整因子对相应待虚化视频帧所对应的初始虚化系数进行调整，实现过渡虚化的效果。这种调整方式可以简单方便地确定目标虚化系数，实现过渡虚化。
示例性地，根据本申请实施例的视频虚化方法可以在具有存储器和处理器的设备、装置或者系统中实现。
根据本申请实施例的视频虚化方法可以部署在图像采集端处，例如，可以部署在个人终端或服务器端处。
替代地，根据本申请实施例的视频虚化方法还可以分布地部署在服务器端(或云端)和个人终端处。例如，可以在客户端获取视频帧，客户端将获取的视频帧传送给服务器端(或云端)，由服务器端(或云端)进行视频虚化。
如上所述，对焦主体的改变可以包括对焦主体从无到有。示例性地，对象信息包括对应视频帧中的目标对象的数量，当前视频帧相对于至少部分在先视频帧发生对焦主体的改变包括：当前视频帧中的目标对象的数量是一个或多个且至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是零。
在至少出现当前视频帧相对于至少部分在先视频帧发生对焦主体的改变的情况时，确定多个待虚化视频帧各自对应的目标虚化系数，可以包括：
在当前视频帧中的目标对象的数量是一个或多个且至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是零时，确定多个待虚化视频帧各自对应的目标虚化系数；其中，多个待虚化视频帧中各待虚化视频帧的虚化程度随待虚化视频帧与当前视频帧之间的时间间隔增大而增大。
在上述采用虚化调整因子的实施例中，在当前视频帧中的目标对象的数量是一个或多个且至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是零时，获取多个待虚化视频帧各自对应的虚化调整因子；其中，虚化调整因子随虚化调整因子所对应的视频帧与当前视频帧之间的时间间隔增大而增大。
上述实施例的对焦主体的改变条件可以以第一改变条件表示。即第一改变条件包括：当前视频帧中的目标对象的数量是一个或多个且至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是零。可以理解，在视频帧中不存在对焦主体时，无需对视频帧进行虚化，视频帧对应的图像是清晰图像。因此在先视频帧未经虚化。在视频帧中存在对焦主体时，需要对视频帧中的背景部分(即该视频帧中对焦主体以外的区域)进行虚化。因此，当前视频帧需要虚化。这种情况下，可以设置目标虚化系数使得多个待虚化视频帧中各待虚化视频帧的虚化程度随待虚化视频帧与当前视频帧之间的时间间隔增大而增大，例如在采用虚化调整因子的实施例中，可以将虚化调整因子设置为随虚化调整因子所对应的视频帧与当前视频帧之间的时间间隔增大而增大，从而使虚化程度逐渐增加，起到过渡虚化的效果。
示例性而非限制性地，虚化调整因子可以随虚化调整因子所对应的视频帧与当前视频帧之间的时间间隔增大而从0增大到1(即100％)。即，离当前视频帧最近的待虚化视频帧所对应的虚化调整因子可以是0，离当前视频帧最远的待虚化视频帧所对应的虚化调整因子可以是1。
在一个实施例中，待虚化视频帧的数量是51帧。在当前视频帧满足第一改变条件时，虚化调整因子的大小随虚化调整因子所对应的视频帧与当前视频帧之间的时间间隔增大而增大。例如，多个待虚化视频帧中的第1个视频帧对应的虚化调整因子是0。第2个视频帧对应的虚化调整因子可以是0.02，……第20个视频帧对应的虚化调整因子可以是0.38，……第50个视频帧对应的虚化调整因子可以是0.98，第51个视频帧对应的虚化调整因子可以是1。由此，虚化调整因子逐渐增大，对应的待虚化视频帧的虚化有效程度逐渐增加，从而实现过渡虚化的效果。
可以理解，多个待虚化视频帧中的第1个视频帧可以是当前视频帧，也可以是当前视频帧之后的任一视频帧。对于后一种情况，比较可取的是，多个待虚化视频帧中的第1个视频帧是距离当前视频帧较近的视频帧，例如当前视频帧的下一视频帧。在当前视频帧不是待虚化视频帧时，其虚化状态可以与上一视频帧相同，也可以不同。例如，当前视频帧的上一帧对应的图像为清晰图像时，当前视频帧不进行虚化。当前视频帧的上一帧对应的图像为经过虚化的目标虚化图像时，当前视频帧进行虚化。且当前视频帧可以直接基于当前视频帧对应的初始虚化系数进行虚化。
在一个实施例中，在当前视频帧中的目标对象的数量是多个且至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是零时，可以：不执行任何操作；或者直接保存和/或输出当前视频帧；或者确定当前视频帧的虚化调整因子为1，并执行步骤S242、步骤S243以及步骤S250，或者执行步骤S242并对于多个待虚化视频帧中每一视频帧，基于该视频帧所对应的初始虚化系数对该视频帧进行虚化，获得对应的目标虚化图像；等等。
上述至少部分在先视频帧中目标对象的数量可以通过诸如场景标识信息等表示。可以理解，在一个视频帧中，其包含的目标对象的数量可以是0个、1个或多个。可以分别利用不同的场景标识信息表示目标对象的不同数量。示例性地，若任一视频帧为多个视频帧中的第一个视频帧或者在多个待虚化视频帧之后的视频帧，则可以基于该视频帧中的目标对象的数量确定场景标识信息，场景标识信息在当前场景为无人场景时取值为第一值，场景标识信息在当前场景为单人场景时取值为第二值，场景标识信息在当前场景为多人场景时取值为第三值。
步骤S230，基于多个视频帧中任一当前视频帧的对象信息以及位于当前视频帧之前的至少部分在先视频帧的对象信息，确定当前视频帧是否相对于至少部分在先视频帧发生对焦主体的改变，可以包括以下步骤：
读取场景标识信息。
在场景标识信息的取值为第一值且当前视频帧中的目标对象的数量是一个或多个时，确定当前视频帧相对于至少部分在先视频帧发生对焦主体的改变。
场景标识信息可以通过flag2表示。例如，第一值可以是0，第二值可以是1，第三值可以是2。在场景标识信息的取值为第一值时，即flag2＝0。在场景标识信息的取值为第二值时，即flag2＝1。在场景标识信息的取值为第三值时，即flag2＝2。
在flag2＝0时，即至少部分在先视频帧所对应的目标对象的数量均为0时，若当前视频帧中的目标对象的数量是一个或多个，可以认为当前视频帧相对于至少部分在先视频帧发生对焦主体的改变。该实施例采用场景标识信息表示至少部分在先视频帧中目标对象的数量，能够及时识别对焦主体的改变，保证用户体验。
可选地，基于视频帧中的目标对象的数量确定场景标识信息的步骤在该视频帧不是待虚化视频帧时执行。在一个实施例中，可以基于视频流中第1个视频帧中的目标对象的数量确定场景标识信息。例如，在第1个视频帧中的目标对象的数量是0时，flag2＝0。在第2个视频帧中的目标对象的数量是1个时，此时可以将第2个视频帧作为当前视频帧，确定当前视频帧相对于至少部分在先视频帧发生对焦主体的改变。若在该实施例中待虚化视频帧的数量为30帧，则对于第2-31视频帧，可以仅根据其所对应的调整后的虚化系数对相应的视频帧进行虚化，而不进行场景标识信息的确认。即对于第2-31视频帧，flag2＝0。对于第32视频帧，可以基于该视频帧中的目标对象的数量再次确定场景标识信息。若该视频帧中目标对象的数量是1，则flag2＝1。由此，可以避免场景标识信息的频繁切换。
根据上述技术方案，在当前视频帧中的目标对象的数量是一个或多个且至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是零时，通过使多个待虚化视频帧中各待虚化视频帧的虚化程度随待虚化视频帧与当前视频帧之间的时间间隔增大而增大，能够实现逐渐由虚化效果不明显甚至是没有变化到虚化效果明显的过渡效果，提高用户体验感。
示例性地，对象信息包括对应视频帧中的目标对象的数量，当前视频帧相对于至少部分在先视频帧发生对焦主体的改变包括：当前视频帧中的目标对象的数量是零且至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是一个或多个。
在至少出现当前视频帧相对于至少部分在先视频帧发生对焦主体的改变的情况时，确定多个待虚化视频帧各自对应的目标虚化系数，包括以下步骤：
在当前视频帧中的目标对象的数量是零且至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是一个或多个时，确定多个待虚化视频帧各自对应的目标虚化系数；其中，多个待虚化视频帧中各待虚化视频帧的虚化程度随待虚化视频帧与当前视频帧之间的时间间隔增大而减小。
在采用虚化调整因子的实施例中，在当前视频帧中的目标对象的数量是零且至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是一个或多个时，获取多个待虚化视频帧各自对应的虚化调整因子；其中，虚化调整因子随虚化调整因子所对应的视频帧与当前视频帧之间的时间间隔增大而减小。
上述实施例的对焦主体的改变条件可以以第二改变条件表示。即第二改变条件包括：当前视频帧中的目标对象的数量是零且至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是一个或多个。可以理解，虚化调整因子随虚化调整因子所对应的视频帧与当前视频帧之间的时间间隔增大而减小，即待虚化视频帧的虚化有效程度随时序逐渐降低。
示例性而非限制性地，虚化调整因子可以随虚化调整因子所对应的视频帧与当前视频帧之间的时间间隔增大而从1(即100％)减小到0。即，离当前视频帧最近的待虚化视频帧所对应的虚化调整因子可以是1，离当前视频帧最远的待虚化视频帧所对应的虚化调整因子可以是0。
在一个实施例中，待虚化视频帧的数量是51帧。在当前视频帧满足第二改变条件时，虚化调整因子的大小随虚化调整因子所对应的视频帧与当前视频帧之间的时间间隔增大而减小。多个待虚化视频帧中的第1个视频帧对应的虚化调整因子可以是1，第2个视频帧对应的虚化调整因子可以是0.98，……第20个视频帧对应的虚化调整因子可以是0.62，……第50个视频帧对应的虚化调整因子可以是0.02，第51个视频帧对应的虚化调整因子可以是0。由此，虚化调整因子逐渐减小，对应的待虚化视频帧的虚化有效程度逐渐增加，帮助更好实现过渡虚化的效果。
在一个实施例中，在至少出现当前视频帧相对于至少部分在先视频帧发生对焦主体的改变的情况下，获取多个待虚化视频帧各自对应的虚化调整因子，还可以包括以下步骤：
在当前视频帧中的目标对象的数量是零且至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是多个时，可以：不执行任何操作；或者直接保存和/或输出当前视频帧；或者确定当前视频帧的虚化调整因子为1，并执行步骤S242、步骤S243以及步骤S250，或者执行步骤S242并对于多个待虚化视频帧中每一视频帧，基于该视频帧所对应的初始虚化系数对该视频帧进行虚化，获得对应的目标虚化图像；等等。
如上所述，可以通过场景标识信息表示至少部分在先视频帧中目标对象的数量。可选地，步骤S230，基于多个视频帧中任一当前视频帧的对象信息以及位于当前视频帧之前的至少部分在先视频帧的对象信息，确定当前视频帧是否相对于至少部分在先视频帧发生对焦主体的改变，还可以包括以下步骤：
在场景标识信息的取值为第二值且当前视频帧中的目标对象的数量是零时，确定当前视频帧相对于至少部分在先视频帧发生对焦主体的改变。
在上述场景标识信息通过flag2表示的实施例中，在flag2＝1时，即至少部分在先视频帧所对应的目标对象的数量均为1时，若当前视频帧中的目标对象的数量是0，则当前视频帧中无对焦主体，可以认为当前视频帧相对于至少部分在先视频帧发生对焦主体的改变。
在一个具体的实施例中，首先，基于第1个视频帧中的目标对象的数量确定场景标识信息。本实施例中，第1个视频帧中的目标对象的数量为1个。flag2＝1。若第2视频帧中的目标对象的数量是0，则可以将第2个视频帧作为当前视频帧，确定当前视频帧相对于至少部分在先视频帧发生对焦主体的改变。若在该实施例中待虚化视频帧的数量为30帧，则对于第2-31视频帧，可以仅根据其所对应的调整后的虚化系数对相应的视频帧进行虚化，而不进行场景标识信息的确认。即对于第2-31视频帧，flag2＝1。对于第32视频帧，可以基于该视频帧中的目标对象的数量再次确定场景标识信息。若该视频帧中目标对象的数量是0，则flag2＝0。
根据上述技术方案，在当前视频帧中的目标对象的数量是零且至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是一个或多个时，通过使多个待虚化视频帧中各待虚化视频帧的虚化程度随待虚化视频帧与当前视频帧之间的时间间隔增大而减小，能够实现逐渐由虚化效果明显变化到虚化效果不明显甚至是没有的过渡效果，提高用户体验感。
上述第一改变条件和第二改变条件均以对焦主体是否存在作为触发条件，可以理解，在至少部分在先视频帧与当前视频帧的目标对象的数量均是多个时，对焦主体也可能会发生变化。下面，首先介绍当任一视频帧包括多个目标对象时，如何在多个目标对象中确认对焦主体。
如上所述，在一个实施例中，对于任一视频帧，其对焦主体的数量均为一个。在当前视频帧中目标对象的数量为多个时，可以在多个目标对象中选择一个目标对象作为对焦主体。对焦主体可以通过用户手动选择确定。在一个实施例中，在任一视频帧中目标对象的数量为多个时，视频虚化方法200还包括以下步骤：响应于第一操作指令，在多个目标对象中确定对焦主体。
在一个具体的实施例中，电子设备100上设置有显示屏。第一操作指令可以基于用户在显示屏上的点击产生。在上述通过目标检测框标识目标对象的实施例中，可以以绿色目标检测框表示目标对象。在检测到当前视频帧中目标对象是多个时，分别使用绿色目标检测框标识每一个目标对象。用户可以在显示屏上点击任意一个绿色目标检测框。该绿色目标检测框对应的目标对象即为对焦主体。对焦主体的目标检测框的颜色以红色表示，可以基于该第一操作指令将上述被点击的绿色目标检测框的颜色变为红色。
对焦主体还可以通过预定条件自动选择确定。在一个实施例中，可以根据多个目标对象各自的姿态确定。在目标对象是人时，目标对象的姿态可以为手势、表情等。例如，可以在多个目标对象中选择表情为微笑的目标对象为对焦主体。多个目标对象各自的姿态可以通过经训练后的神经网络模型获得。替代地，还可以根据多个目标对象距离图像采集装置的距离，选择距离图像采集装置最近的目标对象作为对焦主体。由于通常目标对象与图像采集装置间的距离越远，则该目标对象在对应视频帧中的大小越小。因此，可以选择该视频帧中大小最大的目标对象作为对焦主体。此外，还可以结合目标对象的角度选择对焦主体。具体选择方式在下文中详细描述。
示例性地，对象信息包括对应视频帧中的目标对象的数量、大小和角度，在任一视频帧中的目标对象的数量是多个时，方法200还包括以下步骤：
执行以下选择操作：
基于目标对象的大小，从第四目标对象集合中选择最大的目标对象，若基于目标对象的角度确定当前所选择的目标对象属于正面，则确定当前所选择的目标对象为对焦主体，否则从第四目标对象集合中去除当前所选择的目标对象以对第四目标对象集合进行更新，并基于更新后的第四目标对象集合进行下次选择操作。其中，第一次执行选择操作时，第四目标对象集合为多个目标对象。
在一个实施例中，可以基于目标对象的大小，由大到小对各个目标对象排序。例如，排序结果可以是A、B、C、D、E。该排序结果可以作为第一次执行选择操作时的第四目标对象集合。可以首先判断第四目标对象集合中第一个目标对象的角度是否属于正面。即判断A的角度是否属于正面。若A的角度不属于正面，从第四目标对象集合中删除A，此时第四目标对象集合包括B、C、D、E。继续判断更新后的第四目标对象集合中第一个目标对象的角度是否属于正面。即判断B的角度是否属于正面。以此类推，直至第四目标对象集合中第一个目标对象的角度属于正面时，确定第四目标对象集合中第一个目标对象是对焦主体。
上述技术方案通过根据目标对象的大小和角度进行选择，能够得到处于正面的最大的目标对象作为对焦主体，这种目标对象往往是用户希望能够清晰呈现的，因此这种选择方式能够较好地满足用户使用需求。
示例性地，对象信息包括对应视频帧中的目标对象的数量、大小和角度，当前视频帧包括多个目标对象且至少部分在先视频帧中的每个在先视频帧包括至少一个目标对象，或者当前视频帧包括至少一个目标对象且至少部分在先视频帧中的每个在先视频帧包括多个目标对象；当前视频帧相对于至少部分在先视频帧发生对焦主体的改变包括：当前视频帧中角度属于正面且大小最大的目标对象与在先对焦主体不同；至少部分在先视频帧各自对应的对焦主体相同，在先对焦主体表示至少部分在先视频帧所对应的对焦主体。
在至少出现当前视频帧相对于至少部分在先视频帧发生对焦主体的改变的情况时，确定多个待虚化视频帧各自对应的目标虚化系数，可以包括以下步骤：
在当前视频帧中角度属于正面且大小最大的目标对象与在先对焦主体不同时，确定多个待虚化视频帧各自对应的目标虚化系数。
其中，多个待虚化视频帧中各待虚化视频帧的虚化程度随待虚化视频帧与当前视频帧之间的时间间隔增大而增大。
在采用虚化调整因子的实施例中，在当前视频帧中角度属于正面且大小最大的目标对象与在先对焦主体不同时，获取多个待虚化视频帧各自对应的虚化调整因子。其中，虚化调整因子随虚化调整因子所对应的视频帧与当前视频帧之间的时间间隔增大而增大。
示例性而非限制性地，虚化调整因子可以随虚化调整因子所对应的视频帧与当前视频帧之间的时间间隔增大而从0增大到1(即100％)。即，离当前视频帧最近的待虚化视频帧所对应的虚化调整因子可以是0，离当前视频帧最远的待虚化视频帧所对应的虚化调整因子可以是1。
在上述flag1＝1表示人脸的角度属于正面的实施例中，可以在当前视频帧的多个目标对象中，选择flag1＝1的目标对象，并对比各个flag1＝1的目标对象的大小，选择其中最大的目标对象作为对焦主体。若该对焦主体与在先对焦主体相同，则可以认为对焦主体未改变。若该对焦主体与在先对焦主体不是同一个目标对象，则可以认为对焦主体改变。可以理解，本实施例中是否为同一对焦主体仅考虑对焦主体对应的目标对象是否相同。例如，在先对焦主体可以是A。若当前视频帧的对焦主体也是A，且当前视频帧的对焦主体的大小与在先对焦主体不同，可以认为对焦主体未改变。
可以理解，在对焦主体改变时，视频帧中待虚化的区域也会发生变化。因此，可以以当前视频帧或当前视频帧之后的下一视频帧作为第一个待虚化视频帧，并随时序逐渐增大虚化程度，从而起到过渡虚化的效果。
在一个实施例中，在至少当前视频帧相对于至少部分在先视频帧发生对焦主体的改变的情况下，获取多个待虚化视频帧各自对应的虚化调整因子，还可以包括以下步骤：
在当前视频帧中的目标对象的数量是多个且至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是一个时，和/或，在当前视频帧中的目标对象的数量是一个且至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是多个时，可以：不执行任何操作；或者直接保存和/或输出当前视频帧；或者确定当前视频帧的虚化调整因子为1，并执行步骤S242、步骤S243以及步骤S250，或者执行步骤S242并对于多个待虚化视频帧中每一视频帧，基于该视频帧所对应的初始虚化系数对该视频帧进行虚化，获得对应的目标虚化图像；等等。
根据上述技术方案，在当前视频帧包括多个目标对象且至少部分在先视频帧中的每个在先视频帧包括至少一个目标对象，或者当前视频帧包括至少一个目标对象且至少部分在先视频帧中的每个在先视频帧包括多个目标对象时，通过使多个待虚化视频帧中各待虚化视频帧的虚化程度随待虚化视频帧与当前视频帧之间的时间间隔增大而增大，能够实现逐渐由虚化效果不明显甚至是没有变化到虚化效果明显的过渡效果，提高用户体验感。
示例性地，基于多个视频帧中任一当前视频帧的对象信息以及位于当前视频帧之前的至少部分在先视频帧的对象信息，确定当前视频帧是否相对于至少部分在先视频帧发生对焦主体的改变，可以包括以下步骤：
在当前视频帧所对应的第一目标对象集合与至少部分在先视频帧中的每个在先视频帧所对应的第二目标对象集合中的目标对象均相同时，若当前视频帧所对应的第一目标对象集合中存在至少一个目标对象的角度属于正面，则基于目标对象的大小，从第一目标对象集合中角度属于正面的目标对象中，选择最大的目标对象作为当前视频帧的对焦主体。
基于当前视频帧的对焦主体与在先对焦主体，确定当前视频帧是否相对于至少部分在先视频帧发生对焦主体的改变。
其中，第一目标对象集合表示当前视频帧中大小大于在先对焦主体的目标对象；第二目标对象集合包括对应在先视频帧中的大小大于在先对焦主体的目标对象。
在一个实施例中，若当前视频帧所对应的第一目标对象集合中不存在至少一个目标对象的角度属于正面，则将在先对焦主体确定为当前视频帧的对焦主体。换言之，在第一目标集合与第二目标集合相同时，可以判断第一目标集合相对于第二目标集合，两个集合中对应的目标对象的角度是否发生变化，并在第一目标集合相对于第二目标集合其中对应的目标对象的角度发生变化时，确定当前视频帧相对于至少部分在先视频帧发生对焦主体的改变。上述实施例中第一目标集合相对于第二目标集合其中对应的目标对象的角度发生变化这一条件可以以第三改变条件表示。
可以理解，目标对象相同，表示目标对象所对应的对象相同。在一个实施例中，基于目标对象的大小，第二目标对象集合由大到小依次包括B、C、D。第三目标对象集合由大到小依次包括D、B、C。虽然第三目标集合和第二目标集合中对应的目标对象的大小发生了变化，但由于两个目标对象集合中均包括B、C、D，因此，可以认为第一目标集合中的目标对象与第二目标集合中对应的目标对象相同。
根据上述技术方案，通过判断大小大于对焦主体的目标对象角度是否发生变化，能够在角度发生变化时快速切换对焦主体，有利于保证对焦主体选择的准确性。
示例性地，基于多个视频帧中任一当前视频帧的对象信息以及位于当前视频帧之前的至少部分在先视频帧的对象信息，确定当前视频帧是否相对于至少部分在先视频帧发生对焦主体的改变，可以包括以下步骤：
在当前视频帧中的多个目标对象与至少部分在先视频帧中的每个在先视频帧中的多个目标对象相同，且当前视频帧中的每个目标对象与至少部分在先视频帧中的每个在先视频帧中的对应目标对象的角度一致时，若当前视频帧所对应的第三目标对象集合中存在至少一个目标对象的大小大于在先对焦主体在当前视频帧中的大小，则基于各目标对象的大小，从第三目标对象集合中选择最大的目标对象作为当前视频帧的对焦主体。其中，第三目标对象集合表示当前视频帧中角度属于正面的目标对象。
当前视频帧中的每个目标对象与至少部分在先视频帧中的每个在先视频帧中的对应目标对象的角度一致，表示当前视频帧中的每个目标对象相对于至少部分在先视频帧中的每个在先视频帧中的对应目标对象的角度未发生变化。在一个实施例中，至少部分在先视频帧中的每个在先视频帧中包含两个目标对象，其中目标对象A的角度属于正面，目标对象B的角度属于侧面。若当前视频帧中的目标对象A的角度属于正面，当前视频帧中的目标对象B的角度属于侧面，则可以认为当前视频帧中的每个目标对象与至少部分在先视频帧中的每个在先视频帧中的对应目标对象的角度一致。
在一个实施例中，可以根据大小对任一视频帧中的目标对象进行排序。在该实施例中，假设至少部分在先视频帧中的每个视频帧中的目标对象依次排序为B、C、A、D、E，且A为在先对焦主体，B、C的角度属于侧面，D、E的角度属于正面。当前视频帧中的每个目标对象与至少部分在先视频帧中的每个在先视频帧中的对应目标对象的角度一致。若当前视频帧中的目标对象依次排序为B、D、A、C、E，则当前视频帧相对于至少部分在先视频帧的目标对象的排序位置发生变化。且由于D的角度属于正面，因此当前视频帧的对焦主体为D。因此，可以确定当前视频帧相对于至少部分在先视频帧发生对焦主体的改变。上述实施例中的目标对象的排序位置发生改变这一条件可以以第四改变条件表示。
在一个实施例中，在第三改变条件和第四改变条件同时满足时，对于当前视频帧，可以直接输出当前视频帧的清晰图像。此时，可以可选地输出第一提示信息，以提示用户当前视频帧不进行虚化处理。在一个实施例中，在满足第三改变条件且不满足第四改变条件或满足第三改变条件且不满足第四改变条件时，可以基于调整后的虚化系数对当前视频帧进行虚化。在一个实施例中，在第三改变条件和第四改变条件均不满足时，可以基于虚化系数(即未经调整的虚化系数)对当前视频帧进行虚化。
示例性地，步骤S230，基于多个视频帧中任一当前视频帧的对象信息以及位于当前视频帧之前的至少部分在先视频帧的对象信息，确定当前视频帧是否相对于至少部分在先视频帧发生对焦主体的改变，还可以包括以下步骤：
在场景标识信息的取值为第三值，且基于当前视频帧的对象信息以及至少部分在先视频帧的对象信息确定当前视频帧满足第三改变条件或第四改变条件时，，确定当前视频帧相对于至少部分在先视频帧发生对焦主体的改变。
在一个实施例中，flag2＝2。在当前视频帧满足第三改变条件或第四改变条件时，确定当前视频帧相对于至少部分在先视频帧发生对焦主体的改变。若在该实施例中待虚化视频帧的数量为30帧，则对于第2-31视频帧，可以仅根据各视频帧所对应的调整后的虚化系数对相应的视频帧进行虚化，而不进行场景标识信息的确认。即对于第2-31视频帧，flag2＝2。对于第32视频帧，可以基于该视频帧中的目标对象的数量再次确定场景标识信息。若该视频帧中目标对象的数量是0，则flag2＝0。
上述技术方案通过判断当前视频帧中角度属于正面的目标对象中是否存在大于在先对焦主体的目标对象，可以在存在大于在先对焦主体的目标对象时及时切换对焦主体，从而能够保证当前对焦主体选择的准确性。
示例性地，目标模糊算法为散景模糊算法，步骤S242，获取基于目标模糊算法所确定的与多个待虚化视频帧各自对应的初始虚化系数，可以包括以下步骤S2421、步骤S2422和步骤S2423。
步骤S2421，对于多个待虚化视频帧中的任一(可以是每个)待虚化视频帧，获取待虚化视频帧所对应的视差图像，视差图像中的各个像素与待虚化视频帧中的各个像素一一对应，视差图像中的每个像素用于表示待虚化视频帧中的对应像素处的视差值。
步骤S2422，基于视差图像中位于第一对焦区域内的视差值，确定待虚化视频帧的对焦视差，第一对焦区域在视差图像中的位置与待虚化视频帧中的第二对焦区域在待虚化视频帧中的位置一致，第二对焦区域为包含待虚化视频帧中的对焦主体的至少一部分的区域。
步骤S2423，基于待虚化视频帧中的对焦视差以及视差图像，确定待虚化视频帧对应的弥散圆直径作为初始虚化系数。
在一个实施例中，图像采集装置110可以是双目相机，可以直接基于双目相机获取的相互对应的左图像和右图像，并利用左图像和右图像进行视差值计算以获取对应的视差图像。替代地，图像采集装置110可以是单目相机，可以将单目相机采集的图像直接输入到经训练的深度神经网络模型，从而获得对应的视差图像。可以理解，上述深度神经网络模型可以采用以下神经网络中的一种或多种实现：卷积神经网络(Convolutional NeuralNetworks,CNN)、U型网络(U-Net)、全卷积神经网络(Fully Convolutional Networks,FCN)、半并行深度神经网络(Semi-Parallel Deep Neural Networks,SPDNN)等。当然，上述神经网络模型仅是示例，深度神经网络模型还可以采用其他合适的网络结构实现。
可选地，在获取待虚化视频帧所对应的视差图像后，还可以对该视差图像进行预处理。该预处理方法可以是图像增强、均值滤波、中值滤波、去噪处理等中的任意一种或几种。通过对视差图像进行预处理，可以消除视差图像中无关的信息，保留有用的真实信息，增强有关信息的可检测性和最大限度地简化数据，从而有利于基于该视差图像获得更加准确的初始虚化系数。
如上所述，视差图像中的每个像素(也可以称为像素点)用于表示待虚化视频帧中的对应像素处的视差值。该视差值可以分布在0-255之间。替代地，可以对各个像素点的视差值做归一化处理，使各个像素点的视差值分布在0-1之间。从而便于进行后续处理，有助于减少计算量。
在一个实施例中，可以首先基于待虚化视频帧中的对焦主体，确定待虚化视频帧中的第二对焦区域。然后根据该第二对焦区域的坐标，确定对应的视差图像中的第一对焦区域。最后，可以根据该第一对焦区域中的部分或全部视差值，确定对焦视差。例如，可以将第一对焦区域内最大、最小或作为中位数的视差值确定为对焦视差。替代地，可以计算第一对焦区域内各个像素点的视差值的均值，以确定对焦视差。
在一个实施例中，待虚化视频帧中的对焦主体可以与当前视频帧中的对焦主体相同，即待虚化视频帧中的对焦主体与当前视频帧中的对焦主体为同一对焦主体。例如，若当前视频帧中的对焦主体为A，那么待虚化视频帧中的对焦主体也为A。替代地，待虚化视频帧中的对焦主体所在的位置与当前视频帧中的对焦主体所在的位置相同，即待虚化视频帧中的对焦主体对应的坐标与当前视频帧中的对焦主体的坐标相同。又替代地，待虚化视频帧中的对焦主体可以基于该待虚化视频帧中的目标对象的对象信息确定。例如，若待虚化视频帧中包括多个目标对象，则可以选择最大且角度为正面的目标对象作为对焦主体。
示例性地，在至少出现当前视频帧中的目标对象的数量是零且至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是一个或多个的情况时(即第二改变条件发生时)，待虚化视频帧中的对焦主体的位置可以与在先对焦主体的位置相同。
可以理解，在第二选择条件发生时，当前视频帧中不存在对焦主体。此时，待虚化视频帧中可能也并不存在对焦主体。因此，可以以在先对焦主体的位置作为待虚化视频帧中的对焦主体的位置。在本实施例中，待虚化视频帧中与在先对焦主体所在区域相对应的区域即为待虚化视频帧中的对焦主体所在区域。其中，在先对焦主体的位置可以是在先对焦主体上各个像素点的坐标，也可以是与在先对焦主体相对应的目标检测框的四个角点的坐标。该实施例在待虚化视频帧中不存在对焦主体时，仍可以以在先对焦主体的位置为基准，对待虚化视频帧进行虚化，从而能够保证对焦主体改变过程中虚化效果的平滑性，用户体验感好。
步骤S2423，基于待虚化视频帧中的对焦视差以及视差图像，确定待虚化视频帧对应的弥散圆直径作为初始虚化系数，可以包括以下步骤：
计算视差图像中各个像素点的视差值与对焦视差的差值，以确定视差图像中各个像素点对应的虚化值。如上所述，初始虚化系数可以采用coc值表示。因此，视差图像中各个像素点对应的虚化值可以是视差图像中各个像素点对应的coc值。
在本实施例中，待虚化视频帧中的每个像素点均有其对应的初始虚化系数。可以理解，在视差图像中，像素点距离对焦主体越远，其与对焦视差间的差值就越大。相应的，该像素点对应的区域的虚化程度越大。由此，能够获得更为良好的虚化效果。
根据上述技术方案，能够基于对焦视差和视差图像获得与各个待虚化视频帧对应的初始虚化系数，从而能够基于该初始虚化系数对相应待虚化视频帧进行虚化，这种方案算法简单，且可以保证良好的虚化效果。
示例性地，步骤S2422，基于视差图像中位于第一对焦区域内的视差值，确定待虚化视频帧的对焦视差，包括以下步骤：
确定待虚化视频帧中的对焦主体的重心，以作为待虚化视频帧的对焦点。
确定以对焦点为中心的目标大小的区域为第二对焦区域。
基于所述第二对焦区域，在所述视差图像中确定第一对焦区域。
计算第一对焦区域中各个像素点的视差值的均值，以获得待虚化视频帧的对焦视差。
目标大小可以根据实际需要设置。例如，目标大小可以是1×1。即第二对焦区域可以仅包括对焦点。此时对焦视差可以可选地为对焦点的视差值。替代地，目标大小可以是以对焦点为中心的5×5的区域，可以计算该区域内各个像素点的视差值的均值，以获得该待虚化视频帧的对焦视差。
根据上述技术方案，通过利用根据第二对焦区域确定的第一对焦区域内各个像素点的视差值的均值，能够获得准确的对焦视差。从而能够基于该对焦视差获得准确的虚化系数，进而保证良好的虚化效果。
示例性地，步骤S250，基于该视频帧对应的目标虚化系数对该视频帧进行虚化，获得对应的目标虚化图像，包括以下步骤：
基于目标虚化系数对该待虚化视频帧进行模糊处理，获得初始虚化图像。
将该待虚化视频帧对应的视差图像中的各视差值与目标阈值进行对比，若视差图像中的任一视差值大于目标阈值，则确定该待虚化视频帧中与该视差值对应的像素属于对焦主体，否则确定该待虚化视频帧中与该视差值对应的像素不属于对焦主体。
基于对焦主体所在的位置确定该待虚化视频帧的前景图像，前景图像为去除该待虚化视频帧中的对焦主体以外的背景区域的图像。
将前景图像叠加到初始虚化图像中对焦主体所在的位置，生成目标虚化图像。
例如，可以基于coc值之类的目标虚化系数对待虚化视频帧进行卷积等操作(即模糊处理)，获得对应的初始虚化图像。示例性地，可以将初始虚化图像作为目标虚化图像，也可以进一步将初始虚化图像与掩膜图像结合获得目标虚化图像。后一种方案获得的目标虚化图像中对焦主体的呈现更清晰。
示例性地，为了便于获得背景虚化且对焦主体清晰的图像，可以获取去除背景区域的掩膜图像。在一个实施例中，可以将待虚化视频帧输入图像分割网络，获得对应的掩膜图像。在另一个实施例中，可以利用视差图像来确定掩膜图像，这种方案中视差图像可以应用在确定虚化系数和确定掩膜图像两方面，因此计算所需的数据量少，算法运行效率比较高。
可以理解，对于视差图像中任意一个像素点，该像素点距离图像采集装置越近，则该像素点的视差值越大。该像素点距离图像采集装置越远，则该像素点的视差值越小。相比于背景区域，对焦主体通常距离图像采集装置较近。因此，可以基于像素点的视差值确定该视频帧中对焦主体所在的位置。在一个具体的实施例中，可以将视差图像中的任意一个像素点的视差值与目标阈值对比。若该像素点的视差值大于目标阈值，则该像素点属于对焦主体。若该像素点的视差值小于或等于目标阈值，则该像素点属于背景区域。目标阈值可以根据实际使用需要设置。例如，目标阈值可以处于[0.55,0.65]的范围内。
示例性而非限制性地，在基于对比结果确定对焦主体在待虚化视频帧的位置后，可以在待虚化视频帧中，使属于背景区域的像素点的像素值为0，属于对焦主体的像素点的像素值则保持不变。从而获得仅包含该待虚化视频帧的对焦主体的图像，即掩膜图像。
在获得上述掩膜图像后，可以将前景图像叠加到初始虚化图像中对焦主体所在的位置，从而获得对焦主体清晰，背景虚化的目标图像。图像叠加的方法可以采用现有的或将来研发的任意一种图像叠加方式。在一个实施例中，可以基于对焦主体在初始虚化图像中的位置，将初始虚化图像中的对焦主体删除。然后将前景图像中的对焦主体叠加到初始虚化图像的对应位置。例如，可以将初始虚化图像中的对焦主体区域的像素值全部置为0，然后将前景图像中的对焦主体区域的像素值与初始虚化图像中的对焦主体的对应位置的像素值相加，从而得到最终的目标虚化图像。替代地，可以将该前景图像的第一像素点的像素值与初始虚化图像中第二像素点的像素值直接进行求和或加权求和，第一像素点和第二像素点与待虚化视频帧中的同一像素点相对应。在生成目标虚化图像之后可以可选地输出该目标虚化图像。目标虚化图像可以通过输出装置108输出。
根据上述技术方案，通过确定待虚化视频帧的前景图像，并将该前景图像与虚化图像叠加，能够获得对焦主体清晰，背景虚化的目标图像。该方案输出的目标图像具有较高的图像质量。
图3示出根据本申请一个具体实施例的视频虚化方法的示意性流程图。如图3所示，首先，获取多个视频帧。然后，对于每个视频帧，可以利用目标检测模型确定各目标检测框的位置信息，该视频帧的对象信息包括各目标检测框的位置信息。根据各目标检测框的位置信息可以确定目标检测框的数量。当然，可选地，目标检测模型还可以输出目标检测框的数量信息。根据目标检测框的数量可以确定场景标识信息。在flag2＝0时，当前场景为无人场景。在flag2＝1时，当前场景为单人场景。flag2＝2时，当前场景为多人场景。
在场景确定后，可以在不同场景下判断是否出现对焦主体的改变。具体而言。在无人场景时，可以判断是否存在无对焦主体到有对焦主体的切换。可以理解，在无人场景下，至少部分在先视频帧的对焦主体的数量均是0。因此，可以直接判断当前视频帧是否存在对焦主体。若当前视频帧存在对焦主体，则确定虚化调整因子随虚化调整因子所对应的视频帧与当前视频帧之间的时间间隔增大而增大，并基于虚化调整因子，执行图像虚化操作。若当前视频帧不存在对焦主体，则直接输出清晰图像。
在单人场景时，首先，确定当前视频帧的对焦主体。然后判断是否存在有对焦主体到无对焦主体的切换。可以理解，在单人场景下，至少部分在先视频帧的对焦主体的数量均是1。因此，可以直接判断当前视频帧是否存在对焦主体。若当前视频帧不存在对焦主体，则确定虚化调整因子随虚化调整因子所对应的视频帧与当前视频帧之间的时间间隔增大而减小，并基于虚化调整因子，执行图像虚化操作。若当前视频帧存在对焦主体，则直接执行图像虚化操作。
在多人场景时，可以首先确定多人场景的初始对焦主体。具体可以包括以下步骤：可以根据多个目标对象对应的目标检测框的大小，由大到小对多个目标检测框进行排序，得到排序队列，并标记排序后的多个目标检测框。例如，可以将第一个的目标检测框标记为ID＝1，第二个目标检测框标记为ID＝2，第三个目标检测框标记为ID＝3，……第N个目标检测框标记为ID＝N。确定ID＝1的目标检测框为候选目标检测框，并判断候选目标检测框对应的目标对象的角度是否属于正面。若候选目标检测框对应的目标对象的角度不属于正面，则将排序队列中下一个目标检测框确定为候选目标检测框，重复上述判断步骤，直至候选目标检测框对应的目标对象的角度属于正面。
上述初始对焦主体即为至少部分在先视频帧对应的在先对焦主体。在先对焦主体确定的情况下，对于当前视频帧，可以判断当前对焦主体是否相对先前对焦主体发生改变。此时可以结合当前视频帧中的目标对象相对至少部分(例如前一)在先视频帧中的目标对象在排序队列中的位置和角度两方面的变化情况进行判断。示例性地，如图3所示，对于当前视频帧，可以首先判断是否不存在目标对象移动且存在目标对象角度变化。在不存在目标对象移动且存在目标对象角度变化时，可以进一步判断角度变化的目标对象是否大于在先对焦主体。若角度变化的目标对象大于在先对焦主体，则对焦主体改变，可以基于改变后的对焦主体更新对焦视差，确定虚化调整因子随虚化调整因子所对应的视频帧与当前视频帧之间的时间间隔增大而增大。并基于该虚化调整因子，执行图像虚化操作。若角度变化的目标对象小于或等于在先对焦主体，则当前对焦主体与在先对焦主体相同，直接执行图像虚化操作。
在上述判断是否不存在目标对象移动且存在目标对象角度变化的步骤中，若判断结果为否，则可以继续判断是否存在目标对象移动且不存在目标对象角度变化。在存在目标对象移动且不存在目标对象角度变化时，可以判断当前视频帧对应的排序队列中，对焦主体的位置是否相对保持不变。即判断排序队列中在对焦主体前面的各目标对象以及在对焦主体后面的各目标对象相对对焦主体的位置是否保持不变。例如，以A表示对焦主体。在至少部分在先视频帧中的每个帧的排序队列是B、C、A、D、E时，若当前视频帧的排序队列是C、B、A、E、D时，由于对焦主体A前面和后面的目标对象与A的相对位置未发生变化，因此可以确定相对位置保持不变，当前视频帧的对焦主体仍为在先对焦主体。可以直接执行图像虚化操作。若相对位置改变，则基于排序队列判断是否对焦主体相对前移。例如，以A表示对焦主体。在至少部分在先视频帧中的每个帧的排序队列是B、C、A、D、E时，若当前视频帧的排序队列是B、A、C、D、E时，虽然对焦主体A与其他目标对象的相对位置发生变化，但在该视频帧中，大小最大且角度为正面的目标对象仍为A。即当前视频帧的对焦主体仍为在先对焦主体。可以直接执行图像虚化操作。若对焦主体未前移(即后移)，且若前移至在先对焦主体前面的目标对象中存在处于正面且最大的目标对象，则确定该处于正面且最大的目标对象为当前对焦主体，即确定对焦主体改变。此时，可以基于改变后的对焦主体更新对焦视差，确定虚化调整因子随虚化调整因子所对应的视频帧与当前视频帧之间的时间间隔增大而增大。并基于该虚化调整因子，执行图像虚化操作。
继续参阅图3，上述图像虚化操作可以包括以下步骤：首先，可以基于视差图像和对焦视差，确定初始虚化系数。在存在虚化调整因子时，可以根据虚化调整因子调整虚化系数，然后可以根据调整后得到的目标虚化系数对相应视频帧进行虚化。若不存在虚化调整因子，则直接根据初始虚化系数对相应视频帧进行虚化。视频帧虚化后，可以获得初始虚化图像。在获得初始虚化图像后，可以根据初始虚化图像以及对应视频帧的前景图像，生成并输出目标虚化图像。具体步骤在上文中已详细阐述，为了简洁，此处不再赘述。
示例性地，在多人场景下，对于当前视频帧中的目标对象相对至少部分(例如前一)在先视频帧中的目标对象既发生大小排序的变化又发生角度变化的情况，可以：不执行任何操作；或者直接保存和/或输出当前视频帧；或者确定当前视频帧的虚化调整因子为1，并执行步骤S242、步骤S243以及步骤S250，或者执行步骤S242并对于多个待虚化视频帧中每一视频帧，基于该视频帧所对应的初始虚化系数对该视频帧进行虚化，获得对应的目标虚化图像；等等。示例性地，在多人场景下，对于当前视频帧中的目标对象相对至少部分(例如前一)在先视频帧中的目标对象既未发生大小排序的变化又未发生角度变化的情况，可以：不执行任何操作；或者直接保存和/或输出当前视频帧；或者确定当前视频帧的虚化调整因子为1，并执行步骤S242、步骤S243以及步骤S250，或者执行步骤S242并对于多个待虚化视频帧中每一视频帧，基于该视频帧所对应的初始虚化系数对该视频帧进行虚化，获得对应的目标虚化图像；等等。
根据本申请另一方面，提供一种视频虚化装置。图4示出根据本申请一个实施例的视频虚化装置的示意性框图。
如图所示，根据本申请实施例的视频虚化装置400包括第一获取模块410、第二获取模块420、第一确定模块430、第二确定模块440和虚化模块450。各个模块可分别执行上文中图2描述的视频虚化方法200的各个步骤。以下仅对该频虚化装置400的各部件的主要功能进行描述，而省略以上已经描述过的细节内容。
第一获取模块410用于获取视频中的多个视频帧。
第二获取模块420用于获取多个视频帧各自的对象信息，对象信息包括与对应视频帧中的目标对象的以下信息中的一项或多项：数量、角度、大小。
第一确定模块430用于基于多个视频帧中任一当前视频帧所对的对象信息以及位于当前视频帧之前的至少部分在先视频帧的对象信息，确定当前视频帧是否相对于至少部分在先视频帧发生对焦主体的改变，对焦主体为对焦点所对应的目标对象。
第二确定模块440用于在至少出现当前视频帧相对于至少部分在先视频帧发生对焦主体的改变的情况时，确定视频中的多个待虚化视频帧各自对应的目标虚化系数；其中，多个待虚化视频帧包括位于当前视频帧之后的至少部分在后视频帧，不同的目标虚化系数使对应的待虚化视频帧具有不同的虚化程度，多个待虚化视频帧中各待虚化视频帧的虚化程度随待虚化视频帧与当前视频帧之间的时间间隔增大而增大或减小。
虚化模块450用于对于多个待虚化视频帧中每一视频帧，基于该视频帧对应的目标虚化系数对该视频帧进行虚化，获得对应的目标虚化图像。
图5示出了根据本申请一个实施例的电子设备500的示意性框图。电子设备500包括存储器510和处理器520。
存储器510存储用于实现根据本申请实施例的视频虚化方法中的相应步骤的计算机程序指令。
处理器520用于运行存储器1210中存储的计算机程序指令，以执行根据本申请实施例的视频虚化方法的相应步骤。
示例性地，电子设备500还可以包括图像采集装置530。图像采集装置530用于采集多个视频帧。图像采集装置530是可选的，电子设备500也可以不包括图像采集装置530。此时处理器520可以通过其他方式获取多个视频帧，例如从外部设备或从存储器510中获取多个视频帧。
此外，根据本申请实施例，还提供了一种存储介质，在存储介质上存储了程序指令，在程序指令被计算机或处理器运行时用于执行本申请实施例的视频虚化方法的相应步骤，并且用于实现根据本申请实施例的视频虚化装置中的相应模块。存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。
此外，根据本申请实施例，还提供了一种计算机程序产品，计算机程序产品包括计算机程序，计算机程序在运行时用于执行上述视频虚化方法。
根据本申请实施例的电子设备中的各模块可以通过根据本申请实施例的实施视频虚化方法的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本申请实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
此外，根据本申请实施例，还提供了一种计算机程序，该计算机程序在运行时用于执行上述视频虚化方法。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本申请的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本申请的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本申请的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本申请并帮助理解各个申请方面中的一个或多个，在对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本申请的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其申请点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本申请的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本申请实施例的视频虚化装置中的一些模块的一些或者全部功能。本申请还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本申请的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上，仅为本申请的具体实施方式或对具体实施方式的说明，本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。本申请的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种视频虚化方法，其特征在于，包括：
获取视频中的多个视频帧；
获取所述多个视频帧各自的对象信息，所述对象信息包括对应视频帧中的目标对象的以下信息中的一项或多项：数量、角度、大小；
基于所述多个视频帧中任一当前视频帧的对象信息以及位于所述当前视频帧之前的至少部分在先视频帧的对象信息，确定所述当前视频帧是否相对于所述至少部分在先视频帧发生对焦主体的改变，所述对焦主体为对焦点所对应的目标对象；
在至少出现所述当前视频帧相对于所述至少部分在先视频帧发生对焦主体的改变的情况时，确定所述视频中的多个待虚化视频帧各自对应的目标虚化系数；其中，所述多个待虚化视频帧包括位于所述当前视频帧之后的至少部分在后视频帧，不同的目标虚化系数使对应的待虚化视频帧具有不同的虚化程度，所述多个待虚化视频帧中各待虚化视频帧的虚化程度随待虚化视频帧与所述当前视频帧之间的时间间隔增大而增大或减小；
对于所述多个待虚化视频帧中每一视频帧，基于该视频帧对应的目标虚化系数对该视频帧进行虚化，获得对应的目标虚化图像。
2.根据权利要求1所述的视频虚化方法，其特征在于，所述在至少出现所述当前视频帧相对于所述至少部分在先视频帧发生对焦主体的改变的情况时，确定所述视频中的多个待虚化视频帧各自对应的目标虚化系数，包括：
在至少出现所述当前视频帧相对于所述至少部分在先视频帧发生对焦主体的改变的情况时，获取所述多个待虚化视频帧各自对应的虚化调整因子；其中，所述虚化调整因子随所述虚化调整因子所对应的视频帧与所述当前视频帧之间的时间间隔增大而增大或减小；
获取基于目标模糊算法所确定的与所述多个待虚化视频帧各自对应的初始虚化系数；
对于所述多个待虚化视频帧中每一视频帧，基于该视频帧所对应的虚化调整因子，对该视频帧所对应的初始虚化系数进行调整，获得该视频帧所对应的目标虚化系数，所述目标虚化系数与所述初始虚化系数及所述虚化调整因子分别正相关。
3.根据权利要求1所述的视频虚化方法，其特征在于，所述对象信息包括对应视频帧中的目标对象的数量，所述当前视频帧相对于所述至少部分在先视频帧发生对焦主体的改变包括：所述当前视频帧中的目标对象的数量是一个或多个且所述至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是零，
所述在至少出现所述当前视频帧相对于所述至少部分在先视频帧发生对焦主体的改变的情况时，确定所述视频中的多个待虚化视频帧各自对应的目标虚化系数，包括：
在所述当前视频帧中的目标对象的数量是一个或多个且所述至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是零时，确定所述多个待虚化视频帧各自对应的目标虚化系数；其中，所述多个待虚化视频帧中各待虚化视频帧的虚化程度随待虚化视频帧与所述当前视频帧之间的时间间隔增大而增大。
4.根据权利要求1所述的视频虚化方法，其特征在于，所述对象信息包括对应视频帧中的目标对象的数量，所述当前视频帧相对于所述至少部分在先视频帧发生对焦主体的改变包括：所述当前视频帧中的目标对象的数量是零且所述至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是一个或多个，
所述在至少出现所述当前视频帧相对于所述至少部分在先视频帧发生对焦主体的改变的情况时，确定所述视频中的多个待虚化视频帧各自对应的目标虚化系数，包括：
在所述当前视频帧中的目标对象的数量是零且所述至少部分在先视频帧中的每个在先视频帧中的目标对象的数量是一个或多个时，确定所述多个待虚化视频帧各自对应的目标虚化系数；其中，所述多个待虚化视频帧中各待虚化视频帧的虚化程度随待虚化视频帧与所述当前视频帧之间的时间间隔增大而减小。
5.根据权利要求1所述的视频虚化方法，其特征在于，所述对象信息包括对应视频帧中的目标对象的数量、大小和角度，所述当前视频帧包括多个目标对象且所述至少部分在先视频帧中的每个在先视频帧包括至少一个目标对象，或者所述当前视频帧包括至少一个目标对象且所述至少部分在先视频帧中的每个在先视频帧包括多个目标对象；所述当前视频帧相对于所述至少部分在先视频帧发生对焦主体的改变包括：所述当前视频帧中角度属于正面且大小最大的目标对象与在先对焦主体不同；所述至少部分在先视频帧各自对应的对焦主体相同，所述在先对焦主体表示所述至少部分在先视频帧所对应的对焦主体；
所述在至少出现所述当前视频帧相对于所述至少部分在先视频帧发生对焦主体的改变的情况时，确定所述视频中的多个待虚化视频帧各自对应的目标虚化系数，包括：
在所述当前视频帧中角度属于正面且大小最大的目标对象与所述在先对焦主体不同时，确定所述多个待虚化视频帧各自对应的目标虚化系数；
其中，所述多个待虚化视频帧中各待虚化视频帧的虚化程度随待虚化视频帧与所述当前视频帧之间的时间间隔增大而增大。
6.根据权利要求5所述的视频虚化方法，其特征在于，所述基于所述多个视频帧中任一当前视频帧的对象信息以及位于所述当前视频帧之前的至少部分在先视频帧的对象信息，确定所述当前视频帧是否相对于所述至少部分在先视频帧发生对焦主体的改变，包括：
在所述当前视频帧所对应的第一目标对象集合与所述至少部分在先视频帧中的每个在先视频帧所对应的第二目标对象集合中的目标对象均相同时，若所述当前视频帧所对应的所述第一目标对象集合中存在至少一个目标对象的角度属于正面，则基于目标对象的大小，从所述第一目标对象集合中角度属于正面的目标对象中，选择最大的目标对象作为所述当前视频帧的对焦主体；
基于所述当前视频帧的对焦主体与所述在先对焦主体，确定所述当前视频帧是否相对于所述至少部分在先视频帧发生对焦主体的改变；
其中，所述第一目标对象集合表示所述当前视频帧中大小大于所述在先对焦主体的目标对象；所述第二目标对象集合包括对应在先视频帧中的大小大于所述在先对焦主体的目标对象。
7.根据权利要求5所述的视频虚化方法，其特征在于，所述基于所述多个视频帧中任一当前视频帧的对象信息以及位于所述当前视频帧之前的至少部分在先视频帧的对象信息，确定所述当前视频帧是否相对于所述至少部分在先视频帧发生对焦主体的改变，包括：
在所述当前视频帧中的多个目标对象与所述至少部分在先视频帧中的每个在先视频帧中的多个目标对象相同，且所述当前视频帧中的每个目标对象与所述至少部分在先视频帧中的每个在先视频帧中的对应目标对象的角度一致时，若所述当前视频帧所对应的第三目标对象集合中存在至少一个目标对象的大小大于所述在先对焦主体在所述当前视频帧中的大小，则基于各目标对象的大小，从所述第三目标对象集合中选择最大的目标对象作为所述当前视频帧的对焦主体；
其中，所述第三目标对象集合表示所述当前视频帧中角度属于正面的目标对象。
8.一种电子设备，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行如权利要求1至7任一项所述的视频虚化方法。
9.一种存储介质，在所述存储介质上存储了程序指令，其中，所述程序指令在运行时用于执行如权利要求1至7任一项所述的视频虚化方法。
10.一种计算机程序产品，所述计算机程序产品包括计算机程序，其中，所述计算机程序在运行时用于执行如权利要求1至7任一项所述的视频虚化方法。
CN202310678550.8A 2023-06-08 2023-06-08 一种视频虚化方法、电子设备、存储介质及计算机程序 Pending CN116980758A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310678550.8A CN116980758A (zh) 2023-06-08 2023-06-08 一种视频虚化方法、电子设备、存储介质及计算机程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310678550.8A CN116980758A (zh) 2023-06-08 2023-06-08 一种视频虚化方法、电子设备、存储介质及计算机程序

Publications (1)

Publication Number Publication Date
CN116980758A true CN116980758A (zh) 2023-10-31

Family

ID=88480478

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310678550.8A Pending CN116980758A (zh) 2023-06-08 2023-06-08 一种视频虚化方法、电子设备、存储介质及计算机程序

Country Status (1)

Country Link
CN (1) CN116980758A (zh)

Similar Documents

Publication Publication Date Title
US10872420B2 (en) Electronic device and method for automatic human segmentation in image
US20200320726A1 (en) Method, device and non-transitory computer storage medium for processing image
CN113286194A (zh) 视频处理方法、装置、电子设备及可读存储介质
US11276177B1 (en) Segmentation for image effects
CN112446380A (zh) 图像处理方法和装置
WO2021063341A1 (zh) 图像增强方法以及装置
US8903139B2 (en) Method of reconstructing three-dimensional facial shape
WO2022179581A1 (zh) 一种图像处理方法及相关设备
CN112602319B (zh) 一种对焦装置、方法及相关设备
CN111008935B (zh) 一种人脸图像增强方法、装置、系统及存储介质
US10726630B1 (en) Methods and systems for providing a tutorial for graphic manipulation of objects including real-time scanning in an augmented reality
US20220270215A1 (en) Method for applying bokeh effect to video image and recording medium
CN109525786A (zh) 视频处理方法、装置、终端设备及存储介质
CN113793382A (zh) 视频图像的拼缝搜索方法、视频图像的拼接方法和装置
KR102262671B1 (ko) 비디오 영상에 보케 효과를 적용하는 방법 및 기록매체
CN114390201A (zh) 对焦方法及其装置
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
CN108665459A (zh) 一种图像模糊检测方法、计算设备及可读存储介质
CN114372932A (zh) 一种图像处理的方法及计算机程序产品
CN114255493A (zh) 图像检测方法、人脸检测方法及装置、设备及存储介质
CN116977804A (zh) 图像融合方法、电子设备、存储介质及计算机程序产品
CN114677620A (zh) 对焦方法、电子设备和计算机可读介质
CN116051736A (zh) 一种三维重建方法、装置、边缘设备和存储介质
CN116980758A (zh) 一种视频虚化方法、电子设备、存储介质及计算机程序
CN112818743B (zh) 图像识别的方法、装置、电子设备及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination