CN110336942A - 一种虚化图像获取方法及终端、计算机可读存储介质 - Google Patents

一种虚化图像获取方法及终端、计算机可读存储介质 Download PDF

Info

Publication number
CN110336942A
CN110336942A CN201910579321.4A CN201910579321A CN110336942A CN 110336942 A CN110336942 A CN 110336942A CN 201910579321 A CN201910579321 A CN 201910579321A CN 110336942 A CN110336942 A CN 110336942A
Authority
CN
China
Prior art keywords
image
depth
depth image
background
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910579321.4A
Other languages
English (en)
Other versions
CN110336942B (zh
Inventor
杨鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910579321.4A priority Critical patent/CN110336942B/zh
Publication of CN110336942A publication Critical patent/CN110336942A/zh
Application granted granted Critical
Publication of CN110336942B publication Critical patent/CN110336942B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种虚化图像获取方法及终端、计算机可读存储介质，包括：在拍摄时，通过设置的双摄像器获得目标对象的第一深度图像；通过设置的深度传感器获得所述目标对象的第二深度图像；获取拍摄界面中的触控区域；其中，触控区域是根据触控操作作用在所述拍摄界面时确定的；基于触控区域，将第一深度图像分割为前景深度图像和背景深度图像；利用第二深度图像对背景深度图像进行优化，得到优化后的背景深度图像；将前景深度图像与优化后的背景深度图像进行融合，得到融合深度图像，并对融合深度图像进行虚化，得到虚化图像。

Description

一种虚化图像获取方法及终端、计算机可读存储介质
技术领域
本申请涉及图像处理技术，尤其涉及一种虚化图像方法及终端、计算机可读存储介质。
背景技术
随着图像处理技术的不断发展，越来越多的智能终端已经具有了获取拍摄对象的虚化图像的功能，使智能终端可以获得更多类型拍摄图像，为用户带来更丰富的拍摄体验。
智能终端在获取虚化图像时，一般是通过双目相机获得拍摄对象的深度信息，得到初步的深度图像，然后对深度图像中的目标对象的背景区域进行虚化，使得深度图像中的背景区域以渐进层次进行展现。然而，当智能终端获得目标对象的深度信息时，由于背景区域一般距离智能终端较远，所获得的背景区域的深度信息准确度较低，会对深度图像的背景虚化造成影响，使获得的虚化图像效果欠佳。
发明内容
本申请提供一种虚化图像获取方法及终端、计算机可读存储介质，能够提高所获得的背景区域深度信息的准确度，使智能终端能够获得效果较好的虚化图像。
本申请的技术方案是这样实现的：
第一方面，本申请实施例提供了一种虚化图像获取方法，应用于终端，包括：
在拍摄时，通过设置的双摄像器获得目标对象的第一深度图像；通过设置的深度传感器获得所述目标对象的第二深度图像；
获取拍摄界面中的触控区域；其中，所述触控区域是根据触控操作作用在所述拍摄界面时确定的；
基于所述触控区域，将所述第一深度图像分割为前景深度图像和背景深度图像；
利用所述第二深度图像对所述背景深度图像进行优化，得到优化后的背景深度图像；
将所述前景深度图像与所述优化后的背景深度图像进行融合，得到融合深度图像，并对所述融合深度图像进行虚化，得到虚化图像。
在上述方案中，所述通过设置的深度传感器获得所述目标对象的第二深度图像，包括：
通过所述深度传感器采集所述目标对象的初始第二深度图像；
将所述初始第二深度图像的坐标系与所述第一深度图像的坐标系对齐，得到所述第二深度图像。
在上述方案中，所述基于所述触控区域，将所述第一深度图像分割为前景深度图像与背景深度图像，包括：
从所述第一深度图像中，获取所述第一深度图像的每个像素的第一深度信息，以及所述触控区域对应的第一深度信息；
在所述第一深度图像中，将所述第一深度信息小于等于所述触控区域对应的第一深度信息的像素作为前景像素，将所述第一深度信息大于所述触控区域对应的第一深度信息的像素作为背景像素；
将所有所述前景像素所构成的图像作为所述前景深度图像，将所有所述背景像素所构成的图像作为所述背景深度图像。
在上述方案中，所述利用所述第二深度图像，对所述背景深度图像进行优化，得到优化后的背景深度图像，包括：
根据所述第一深度图像，得到所述背景深度图像中每个像素对应的视差值，根据所述视差值将所述背景深度图像分割为M个背景子区域；其中，M为所述视差值的极差，M大于等于1；
将位于所述第二深度图像中，与所述第i个背景子区域所对应的区域内具有第二深度信息的像素作为参考点，统计所述参考点的个数，并获取所述参考点的第二深度信息；
当所述参考点的个数大于等于预设参考点数目阈值时，利用所述参考点的第二深度信息对所述第i个背景子区域进行平面拟合，确定出拟合平面以及所述拟合平面对应的拟合深度信息，并用所述拟合深度信息替换所述第i个背景子区域每个像素的第一深度信息，得到优化后的第i个背景子区域；
继续对第i+1个背景子区域进行平面拟合流程，直至i＝M，得到所述M个优化后的背景子区域，并将所述M个优化后的背景子区域进行拼接，得到所述优化后的背景区域。
在上述方案中，所述当所述参考点的个数大于等于预设参考点数目阈值时，利用所述参考点的第二深度信息对所述第i个背景子区域进行平面拟合，确定出拟合平面以及所述拟合平面对应的拟合深度信息，并用所述拟合深度信息替换所述第i个背景子区域每个像素的第一深度信息，得到优化后的第i个背景子区域，包括：
在所述第i个背景子区域中，选取第一预设数量像素点构成临时拟合平面，并确定出所述临时拟合平面的深度信息；
根据所述参考点的第二深度信息与所述临时拟合平面的深度信息，计算所述参考点到所述临时拟合平面的距离；
当所述参考点到所述临时拟合平面的距离小于等于预设距离阈值时，将所述临时拟合平面作为所述拟合平面，并将所述临时拟合平面的深度信息作为所述拟合深度信息；
当所述参考点到所述临时拟合平面的距离大于所述预设距离阈值时，重新选取第二预设数量像素点构成新的临时拟合平面，并用所述新的临时拟合平面进行平面拟合流程。
在上述方案中，在所述将位于所述第二深度图像中，与所述第i个背景子区域所对应的区域内的像素点作为参考点，统计所述参考点的个数，并获取所述参考点的第二深度信息之后，所述方法还包括：
计算所述参考点的第二深度信息所对应的置信度，将所述置信度低于预设置信度阈值的所述参考点作为空洞参考点；
统计所述空洞参考点的个数，将所述空洞参考点的个数与所述参考点的个数的比值，作为空洞率；
当所述空洞率小于等于预设空洞率阈值时，对所述第i个背景子区域进行平面拟合流程；
当所述空洞率大于预设空洞率阈值时，不对所述第i个背景子区域进行所述平面拟合流程。
在上述方案中，在所述基于所述触控区域，将所述第一深度图像分割为前景深度图像和背景深度图像之后，所述利用所述第二深度图像对所述背景深度图像进行优化，得到优化后的背景深度图像之前，所述方法还包括：
从所述第一深度图像中获取所述触控区域对应的第一深度信息，以及从所述第二深度图像中获得所述触控区域对应的第二深度信息；
计算所述触控区域对应的第一深度信息，与所述触控区域对应第二深度信息的差值，得到触控差值；
用所述前景深度图像每个像素对应的第一深度信息减去所述触控差值，得到优化后的前景深度图像；
相应的，所述将所述前景深度图像与所述优化后的背景深度图像进行融合，得到融合深度图像，并对所述融合深度图像进行虚化，得到虚化图像，包括：
将所述优化后的前景深度图像与所述优化后的背景深度图像进行融合，得到所述融合深度图像，并对所述融合深度图像进行虚化，得到所述虚化图像。
在上述方案中，所述在拍摄时，通过设置的双摄像器获得目标对象的第一深度信息，包括：
通过所述双摄像器采集所述目标对象的初始主彩色图像与初始副彩色图像；
按照所述初始主彩色图像的分辨率，调整所述初始副彩色图像的分辨率，对所述初始主彩色图像和所述初始副彩色图像进行畸变校正，以及对所述初始主彩色图像和所述初始副彩色图像进行极线校正，得到所述主彩色图像和所述副彩色图像；
根据所述主彩色图像和所述副彩色图像，以及预设纹理匹配算法，计算出所述目标对象每个像素的第一深度信息，并根据所述目标对象每个像素的第一深度信息，得到所述第一深度图像。
在上述方案中，所述根据所述主彩色图像和所述副彩色图像，以及预设纹理匹配算法，计算所述目标对象每个像素所对应的第一深度信息，包括：
利用所述预设纹理匹配算法，从所述副彩色图像中匹配出与所述主彩色图像中所述目标对象的第i个像素对应的像素，得到匹配像素对，并获取所述匹配像素对的视差值；
根据预设深度转换模型、预设成像参数以及所述视差值，确定出所述目标对象的第i个像素对应的所述第一深度信息；
继续处理得到所述目标对象的第i+1个像素对应的所述第一深度信息，直至i＝N，得到所述目标对象每个像素的所述第一深度信息；其中，N表征所述主彩色图像中所述目标对象的总像素数，N为大于1的正整数。
第二方面，本申请实施例提供一种终端，包括：
获取单元，用于在拍摄时，通过设置的双摄像器获得目标对象的第一深度图像；通过设置的深度传感器获得所述目标对象的第二深度图像；以及获取拍摄界面中的触控区域；其中，所述触控区域时根据触控操作作用在所述拍摄界面时确定的；
处理单元，用于基于所述触控区域，将所述第一深度图像分割为前景深度图像与背景深度图像；以及利用所述第二深度图像对所述背景深度图像进行优化，得到优化后的背景深度图像；
融合单元，用于将所述前景深度图像与所述优化后的背景深度图像进行融合，得到融合深度图像，并对所述融合深度图像进行虚化，得到虚化图像。
第三方面，本申请实施例还提供了一种终端，包括：
所述存储器，用于存储可执行虚化图像获取指令；
所述处理器，用于执行所述存储器中存储的可执行虚化图像获取指令，实现如上述第一方面任一项所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，存储有可执行虚化图像获取指令，用于引起处理器执行时，实现如上述第一方面任一项所述的方法。
采用上述实现方式，终端在拍摄时，通过设置的双摄像器获得目标对象的第一深度图像；通过设置的深度传感器获得目标对象的第二深度图像；获取拍摄界面中的触控区域；基于触控区域将第一深度图像分割为前景图像与背景图像，利用第二深度图像对背景深度图像进行优化，得到优化后的背景区域；将前景深度图像与优化后的背景深度图像进行融合，得到融合深度图像，并对融合深度图像虚化，得到虚化图像。如此，终端可以触控区域将第一深度图像划分为背景深度图像和前景深度图像，并利用深度传感器所获得的第二深度图像对背景深度图像进行优化，获得深度信息准确度更高的优化后的背景深度图像，进而根据优化后的背景深度图像得到虚化图像，使得虚化图像的渐进效果得到提升。
附图说明
图1为本申请实施例提供的利用双目相机获得虚化图像的流程示意图；
图2为本申请实施例提供的一种TOF深度传感器的爆破式结构示意图；
图3为本申请实施例提供的一种虚化图像获取方法的流程图一；
图4为本申请实施例提供的一种虚化图像获取方法的流程图二；
图5(a)为本申请实施例提供的终端通过双摄像器所得到的第一深度图像；
图5(b)为本申请实施例提供的前景深度图像与背景深度图像的示意图；
图6为本申请实施例提供的一种虚化图像获取方法的流程图三；
图7为本申请实施例提供的一种虚化图像获取方法的流程图四；
图8为本申请实施例提供的一种终端的硬件结构示意图；
图9(a)为本申请实施例提供的极线校正前主彩色摄像器与副彩色摄像器极线示意图；
图9(b)为本申请实施例提供的极线校正前主彩色图像示意图；
图9(c)为本申请实施例提供的极线校正前副彩色图像示意图；
图9(d)为本申请实施例提供的极线校正后主彩色摄像器与副彩色摄像器极线示意图；
图9(e)为本申请实施例提供的极线校正后主彩色图像示意图；
图9(f)为本申请实施例提供的极线校正后副彩色图像示意图；
图10为本申请实施例提供的一种计算第一深度信息的示意图；
图11为本申请实施例提供的第一深度图像的示意图；
图12为本申请实施例提供的一种虚化图像获取方法的流程示意图；
图13为本申请实施例提供的一种终端的结构示意图；
图14为本申请实施例提供的一种终端的组成结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。
智能终端在获取虚化图像时，一般是通过双目相机获得被拍摄的目标对象的深度信息，然后将目标对象分割为前景区域与背景区域，并对背景区域进行虚化，使得目标对象的背景区域能以渐进的层次展现。图1是利用双目相机获得虚化图像的流程，如图1所示，终端先需要对双目相机进行双摄标定，并对双目相机进行极线校正，之后，终端会利用校正后的双目相机采集到目标对象的两幅彩色图像，并对这两幅彩色图像进行立体匹配，计算得到目标对象的深度信息，进而得到目标对象的深度图，再对深度图进行散景虚化，得到虚化图像。然而，双目相机所能获得的深度信息的有效距离为2m，当目标对象与智能终端的距离超过2m时，智能终端就难以通过双目相机获得较为准确的深度信息，使得智能终端对背景区域的区分性变差，难以获得效果较好的虚化图像。
飞行时间(Time of Flight，TOF)技术是一种广泛应用的三维(Three Dimension，3D)成像技术。在TOF技术中，需要先通过光发射模块发出经过调制的近红外光至被目标对象，然后，再通过光接收模块接收由目标对象反射回来的近红外光，并计算光线发射和反射的时间差或相位差，并根据时间差或者相位差计算得到目标对象的深度信息。
本申请实施例的图2给出了一种TOF深度传感器的爆破式结构示意图。参见图2，TOF深度传感器10包括光发射模块110和光接收模块120，光发射模块110和光接收模块120的距离为5.5mm。其中，光发射模块110可与由柔光镜(diffuser)、光电二极管(Photo-Diode，PD)、垂直腔面发射激光器(Vertical Cavity Surface Emitting Laser，VCSEL)和陶瓷封装体组成；光接收模块120可以由镜头、940mm窄带滤波片和TOF传感器(TOF Sensor)组成。需要说明的是，图2所示出的组成结构并不构成对TOF深度传感器的限定，TOF深度传感器也可以由其他能达到相同功能的部件构成。
根据所获取信号的不同，TOF可以分为直接飞行时间(Direct-TOF，D-TOF)和间接飞行时间(Indirect-TOF，I-TOF)。D-TOF获取的是光线发射和反射的时间差，并以时间差来计算目标对象的深度信息，而I-TOF获取的光线发射和反射的相位偏移，并以相位差来计算目标对象的深度信息。根据调制方式的不同，I-TOF可以分为脉冲调制(PulsedModulation)方案和连续波调制(Continuous Wave Modulation)方案。目前，较为常用的是连续波调制的间接TOF方案，对于该方案而言，每个像素中包含有2个电容，光发射模块发射出4段方波脉冲，脉冲周期为Δt；光接收模块在接收该脉冲时存在相位延迟，每个窗口相位延迟90°，即延迟Δt/4，这样相位延迟分别为0°、180°、90°和270°，称为四相位法。在曝光期间，每个像素的两个电容轮流充电，且曝光之间均等，这时，两个电容的曝光量之差可以分别记为Q1、Q2、Q3和Q4，TOF深度传感器可以利用电荷差异与飞行相位之间的关系，计算出相位差再通过相位差得到目标对象的深度信息D，计算模型如式(1)所示：
需要说明的是，当目标对象的深度信息所对应的角度超过2π时，则需要两个频率不同的相位才能求解出真实的深度信息。假定TOF深度传感器获得的两个相位值分别为和将扩展为将扩展为那么将会存在一个真实的深度信息使得两者对应的距离差最小，从而可以确定出真实的深度信息。
由上述描述可知，TOF深度传感器所获得的深度信息的准确度，与目标对象与TOF深度传感器之间的实际距离没有直接关系。因而，本申请实施例的基本思想是，利用TOF深度传感器所获得的深度信息，对目标对象的背景区域的深度信息进行优化，得到优化后的背景区域，并利用优化后的背景区域与前景区域得到深度图像，进而得到效果较好的虚化图像。
实施例一
基于上述本申请实施例的思想，本申请实施例一提供一种虚化图像获取方法，该方法可以应用于终端，参见图3，该方法可以包括：
S101、在拍摄时，通过设置的双摄像器获得目标对象的第一深度图像；通过设置的深度传感器获得目标对象的第二深度图像。
本申请实施例提供的一种虚化图像获取方法是在利用终端拍摄目标对象的虚化图像的场景下实现的。终端在拍摄时，终端通过设置于自身的双摄像器对目标对象进行拍摄，得到目标对象的第一深度图像，同时，终端还会通过设置于自身的深度传感器，获得目标对象的第二深度图像，便于后续终端能够利用第二深度图像对第一深度图像进行优化，得到效果较好的深度图像，进而得到效果较好的虚化图像。
本申请实施例中，终端上设置的双摄像器包括有：主彩色摄像器和副彩色摄像器。可以理解的是，本申请实施例中的目标对象是指终端所拍摄的定格画面。终端可以通过双摄像器获得目标对象的两张彩色图像，分别为主彩色图像和副彩色图像。终端通过对主彩色图像和副彩色图像进行像素匹配，计算得到目标对象每个像素的第一深度信息，从而得到目标对象的第一深度图像。
需要说明的是，本申请实施例中的主彩色摄像器和副彩色摄像器，可以是分辨率相同的两个彩色摄像器，也可以是分辨率不同的两个彩色摄像器。
本发明实施例中，深度传感器可以是TOF深度传感器，终端通过TOF深度传感器获取光线发射与反射时间差或是相位差，来获得目标对象的每个像素的第二深度信息，进而得到目标对象的第二深度图像。
需要说明的是，本申请中的第二深度图像是处于稀疏状态的深度图像。这是因为TOF深度传感器的分辨率一般是小于双摄像器的分辨率的，在TOF深度传感器获得第二深度图像之后，为了能利用第二深度图像对第一深度图像进行优化，终端还需要将把第二深度图像与第二深度图像的像素对齐，如此，会使得第二深度图像成为稀疏状态，为后续的优化操作提供一些稀疏的有效点。
可以理解的是，本申请实施例中，终端可以是智能手机、平板电脑等用于计算功能的终端，本申请实施例在此不作具体限定。
S102、获取拍摄界面中的触控区域；其中，触控区域是根据触控操作作用在拍摄界面时确定的。
终端在获得目标对象的第一深度图像和第二深度图像之后，还需要获取用户在拍摄界面中根据触控操作的所确定出的触控区域，使得终端后续能对第一深度图像进行分割，确定出需要虚化的图像部分。
需要说明的是，拍摄界面指的是在终端的显示界面上显示的目标对象，即显示所要拍摄的定格画面，终端可以通过拍摄界面上的触控操作，确定出需要对目标对象的哪些部分进行虚化。
需要说明的是，本申请实施例中的触控操作可以是点击操作，终端可以在拍摄界面上确定出点击操作的点击操作所在的区域，并将此区域作为触控区域。当然，本申请实施例中的触控操作，也可以是长按等其他操作，本申请实施例在此不作具体限定。
可以理解的是，本申请实施例中的终端之上设置有触摸屏，终端可以在触摸屏上显示拍摄界面，并通过触摸屏获取用户在拍摄界面中的触控操作，进而确定出触控区域。
S103、基于触控区域，将第一深度图像分割为前景深度图像和背景深度图像。
终端在获取到触控区域之后，就会根据触控区域所对应的第一深度信息，对第一深度图像进行分割，分别得到第一深度图像的前景深度图像和背景深度图像，以便于后续终端对背景深度图像进行优化。
本申请实施例中，由于第一深度图像是根据目标对象每个像素的第一深度信息所生成的，此时，终端必然可以得到触控区域所对应的第一深度信息，进而根据目标对象每个像素的第一深度信息，与触控区域所对应的第一深度信息，将第一深度图像分割为前景深度图像与背景深度图像。
可以理解的是，本申请实施例中的第一深度图像是指目标对象的每个像素点所对应的目标对象的空间点到终端的实际距离。
需要说明的是，目标对象的前景深度图像是指第一深度图像中需要聚焦以突出呈现的图像部分，前景深度图像的像素点所对应的目标对象的空间点一般距离终端较近；目标对象的背景深度图像是指第一深度图像中需要虚化的以渐进层次呈现的图像部分，背景深度图像的像素点所对应的目标对象的空间点一般距离终端较远。
S104、利用第二深度图像对背景深度图像进行优化，得到优化后的背景深度图像。
终端在得到第一深度图像的前景深度图像和背景深度图像之后，就需要利用第二深度图像对背景深度图像中进行优化，使得优化后的背景深度图像的各像素的第一深度信息的准确度提升，得到优化后的背景深度图像，便于终端能够更好地对背景深度图像进行层次区分，获得更好虚化图像。
可以理解的是，本申请实施例中，终端在对背景深度图像进行优化时，是利用第二深度图像中与背景深度图像，所对应的区域内的像素点的第二深度信息，对背景深度图像内每个像素点的第一深度信息进行优化，并用优化后的深度信息替换原有的第一深度信息，进而得到优化后的背景深度图像。
需要说明的是，由于第二深度图像是处于稀疏状态的深度图像，因而，在利用第二深度图像对背景深度图像进行优化时，是利用第二深度图像所提供的稀疏的有效点对背景深度图像进行优化。这时，由于第二深度图像中具有第二深度信息的像素点较少，因而，终端可以利用第二深度图像中具有第二深度信息的少数像素点，通过对背景深度图像进行平面拟合操作，实现对背景深度图像中每个像素的第一深度信息进行优化，得到优化后的背景深度图像。
S105、将前景深度图像与优化后的背景深度图像进行融合，得到融合深度图像，并对融合深度图像进行虚化，得到虚化图像。
终端在对背景深度图像中每个像素的第一深度信息进行优化得到优化后的背景深度图像之后，就会将前景深度图像与优化后的背景深度图像融合，使得根据前景深度图像与优化后的背景深度图像重新到的一张深度图像，即得到融合深度图像，最后，终端就可以对所得到的融合深度图像进行虚化操作，得到虚化图像。
需要说明的是，由于在将前景深度图像与优化后的背景深度图像进行融合时，是将前景深度图像与优化后的背景深度图像拼接在一起，因此，融合深度图像中有可能存在拼接缝。因而，终端还需要对深度融合图像进行滤波操作，消除融合深度图像中的拼接缝，以使得对深度图像进行虚化之后所得到的虚化图像更加平滑自然。
在本申请的一些实施例中，终端可以利用引导滤波算法、权重中值滤波算法来进行滤波操作，以消除融合深度图像中的拼接缝，当然，还可以用其他能够达到的相同目的的滤波算法来进行滤波操作，本申请实施例在此不作具体限定。
需要说明的是，在本申请实施例中，可以利用任何已经存在的虚化方法对融合深度图像进行虚化，得到所述虚化图像，本申请实施例在此不作具体限定。
本申请实施例中，终端能够根据触控区域将第一深度图像分割为前景图像与背景图像，通过深度传感器所获得的第二深度图像，对背景深度图像进行优化，得到优化后的背景区域，并将前景深度图像与优化后的背景深度图像融合得到融合深度图像，进而对融合深度图像虚化以生成虚化图像，如此，终端可以根据深度信息准确度较高的优化后的背景深度图像生成虚化图像，使得虚化图像的渐进效果得到提升。
实施例二
基于与实施例一相同的构思，在实施例一通过深度传感器获的目标对象的第二深度图像，即实施例一S101的具体实现过程，可以包括：S1011-S1012，如下：
S1011、通过深度传感器采集目标对象的初始第二深度图像。
终端可以通过设置在终端上的深度传感器，采集目标对象的每个像素的第二深度信息，从而根据目标对象的每个像素的第二深度信息，得到目标对象的初始第二深度信图像，以便于后续终端对初始第二深度图像进行处理，得到第二深度图像。
S1012、将初始第二深度图像的坐标系与第一深度图像的坐标系对齐，得到第二深度图像。
由于深度传感器与双摄像器的坐标系是不同的，终端通过深度传感器所获得的初始第二深度图像，与通过双摄像器所获得的第一深度图像的坐标系必然也是不同的。然而，在利用第二深度图像对第一深度图像中的背景深度图像进行优化时，必须保证第二深度图像与第一深度图像的像素是对齐的，因此，终端在采集到目标对象的初始第二深度图像之后，需要将初始第二深度图像的坐标系与第一深度图像的坐标系对齐，得到第二深度图像，使得第二深度图像与第一深度图像的像素是对齐的。
本申请实施例中，终端在将初始第二深度图像对应的坐标系与第一深度图像的坐标系进行对齐之前，还需要对深度传感器和主彩色摄像器进行双摄标定。
在本申请的一些实施例中，终端可以利用张正友标定法对深度传感器和主彩色摄像器进行双摄标定，也可以利用其它能够达到相同目的的方法对深度传感器和彩色摄像器进行双摄标定，本申请实施例在此不作具体限定。
本申请实施例中，终端在采集目标对象的初始第二深度图像之后，会将初始第二深度图像的坐标系与第一深度图像的坐标系对齐，得到第二深度图像，使得第一深度图像与第二深度图像的像素处于对齐状态，确保后续终端能够利用第二深度图像背景深度图像进行优化。
在本申请的一些实施例中，参见图4，在实施例一基于触控区域，将第一深度图像分割为前景深度图像与背景深度图像，即实施例一S103的具体实现过程，可以包括：S1031-S1033，如下：
S1031、从第一深度图像中，获取第一深度图像的每个像素的第一深度信息，以及触控区域对应的第一深度信息。
终端在得到第一深度图像与触控区域之后，就可以从第一深度图像中获取第一深度图像的每个像素所对应的第一深度信息，以及触控区域所对应的第一深度信息，便于后续终端对第一深度图像进行前景深度图像与背景深度图像的分割。
需要说明的是，由于触控操作可以确定出需要对目标对象的哪些部分进行虚化，因而由触控操作所确定出的触控区域，也对应着目标对象的一部分，具有其自身的第一深度信息。
S1032、在第一深度图像中，将第一深度信息小于等于触控区域对应的第一深度信息的像素作为前景像素，将第一深度信息大于触控区域对应的第一深度信息的像素作为背景像素点。
终端在得到第一深度图像每个像素的第一深度信息与触控区域对应的第一深度信息之后，就会对触控区域对应的第一深度信息与第一深度图像每个像素的第一深度信息进行大小比较。当第一深度图像的每个像素中，存在第一深度信息小于等于触控区域对应的第一深度信息的像素点时，终端将该像素点作为前景像素点，当存在第一深度信息大于触控区域对应的第一深度信息的像素点时，终端将该像素点作为背景像素点。
可以理解的是，由于触控区域对应的第一深度信息是必然不会大于其自身的，因此，终端可以将触控区域中的像素看作是前景像素。
S1033、将所有前景像素所构成的图像作为前景深度图像，将所有背景像素所构成的图像作为背景深度图像。
终端在获得所有的前景像素和背景像素之后，就能够将所有的前景像素所构成的图像，作为前景深度图像，将所有背景像素所组成的图像，作为背景深度图像，如此，终端便完成了对第一深度图像的前景深度图像和背景深度图像的分割。
示例性的，本申请实施例给出了终端将第一深度图像分割为前景深度图像和背景深度图像的示意图。参见图5(a)为终端通过双摄像器所得到的目标对象的第一深度图像，之后，终端会根据所获得的触控区域1对应的第一深度信息，将第一深度图像分割为前景深度图像和背景深度图像。为了便于进行示意，终端将前景深度图像与背景深度图像进行二值化，如图5(b)所示，白色区域为终端所获得的并经过二值化之后的前景深度图像，黑色部分为终端所获的并经过二值化之后的背景深度图。
本申请实施例中，终端可以根据触控区域对应的第一深度信息，将第一深度图像分割为前景深度图像和背景深度图像，以便于后续终端对背景深度图像区域进行优化，得到优化后的背景区域，进而使得终端根据优化后的背景区域得到效果较好的虚化图像。
在本申请的一些实施例中，参见图6，实施例一利用第二深度图像，对背景深度图像进行优化，得到优化后的背景深度图像，即S104的具体实现过程可以包括：S1041-S1044，如下：
S1041、根据第一深度图像，得到背景深度图像中每个像素对应的视差值，根据视差值将背景深度图像分割为M个背景子区域；其中，M为视差值的极差，M大于等于1。
由于第一深度图像中，每个像素的第一深度信息都是根据匹配像素对的视差值计算而来的，因此，终端在得到背景深度图像之后，能够先根据第一深度图像，获得背景深度图像中每个像素所对应的视差值，之后，终端会根据视差值对背景深度图像进行离散化分割，得到若干个背景子区域，使得在这些背景子区域中，第一深度信息是连续变化或基本一致的。由于在对背景深度图像是按照视差值进行分割的，因此，视差值的极差M决定了分割所得到的背景子区域的数目。
需要说明的是，本申请实施例中视差值的极差，是指用视差值中的最大值，减去视差值中的最小值计算出来的。
示例性的，当背景深度图像的视差值的取值范围为0～4时，终端可以将背景深度图像划分成4个背景子区域，这4个背景子区域的视差值分别为[0～1]、[1～2]、[2～3]和[3～4]。在这4个背景子区域中，视差值是连续变化或基本一致的，如此，这4个背景子区域中各像素的第一深度信息也可以看作是连续变化或基本一致的。
S1042、将位于第二深度图像中，与第i个背景子区域所对应的区域内具有第二深度信息的像素作为参考点，统计参考点的个数，并获取参考点的第二深度信息。
终端在对第i个背景子区域进行处理时，需要先在第二深度图像中，确定出与第i个背景子区域相对应的图像区域，再将位于该图像区域中的具有第二深度信息的像素作为参考点，统计出所有参考点的个数，并获取这些参考点所对应的第二深度信息。
需要说明的是，由于第二深度图像是稀疏的，因此，在第二深度图像中并不是每个像素都具有第二深度信息的，而是一些像素具有第二深度信息，一些像素没有第二深度信息。
S1043、当参考点的个数大于等于预设参考点数目阈值时，利用参考点的第二深度信息对第i个背景子区域进行平面拟合，确定出拟合平面以及拟合平面对应的拟合深度信息，并用拟合深度信息替换第i个背景子区域每个像素的第一深度信息，得到优化后的第i个背景子区域。
当终端判断出第i个背景子区域中，参考点的个数大于等于预设参考点数目阈值时，终端便会利用这些参考点的第二深度信息对第i个背景子区域进行平面拟合，确定出第i个背景子区域的拟合平面，以及该拟合平面的深度信息，即拟合深度信息。之后，终端会用拟合深度信息替换第i个背景子区域中每个像素的第一深度信息，得到优化后的第i个背景子区域。
需要说明的是，当参考点的个数小于预设参考点数目阈值时，终端会认为可以用来进行平面拟合的像素点的个数太少，此时进行平面拟合，是难以得到有效的拟合平面的，因此，当参考点的个数小于预设参考点数目阈值时，终端不允许对第i个背景子区域进行平面拟合流程。如此，终端不会在参考点个数较少时，得到深度信息不可靠的拟合平面，对背景子区域的优化造成影响。
可以理解的是，在本申请实施例中，预设参考点数据阈值可以根据实际需求进行设置，本申请实施例在此不作具体限定。
S1044、继续对第i+1个背景子区域进行平面拟合流程，直至i＝M，得到M个优化后的背景子区域，并将M个优化后的背景子区域进行拼接，得到优化后的背景区域。
终端在完成对第i个背景子区域的优化之后，便会对第i+1个背景子区域继续进行上述平面拟合流程，直到i＝M时，完成对所有背景子区域的优化，得到M个优化后的背景子区域。之后，终端会将所有的背景子区域重新拼接成为背景区域，这样，就可以得到优化后的背景区域。
需要说明的是，由于终端对背景子区域做了平面拟合，所得到的各个拟合平面之间可能会存在着断裂，或者拼接缝。因此，终端在将所有的背景子区域重新拼接为背景深度图像时，还需要对各个背景子区域进行滤波操作，减弱各背景子区域之间的接缝效应，使得优化后的背景深度图像更为平滑。
本申请实施例中，终端能够根据视差值将背景深度图像分割为多个背景子区域，并将第二深度图像中与每个背景子区域所对应的区域中具有第二深度信息的像素点作为参考点，对各背景子区域进行平面拟合，得到拟合平面与拟合深度信息，并用拟合深度信息代替背景子区域中每个像素的第一深度信息得到优化后的背景子区域，再将各个优化后的背景子区域拼接为背景深度图像，使得背景深度图像中每个像素的第一深度信息更加准确。
在本申请的一些实施例中，参见图7，当参考点的个数大于等于预设参考点数目阈值时，利用参考点的第二深度信息对第i个背景子区域进行平面拟合，确定出拟合平面以及拟合平面对应的拟合深度信息，并用拟合深度信息替换第i个背景子区域每个像素的第一深度信息，得到优化后的第i个背景子区域，即S1043的具体实现过程，可以包括：S1043a-S1043d，如下：
S1043a、在第i个背景子区域中，选取第一预设数量像素点构成临时拟合平面，并确定出临时拟合平面的深度信息。
终端在第i个背景子区域中的所有像素点中，可以任意选取第一预设数量的像素点构成一个临时拟合平面，并根据该第一预设数量像素点分别对应的第一深度信息，确定出所得到的临时拟合平面的深度信息，以便于后续确定出拟合平面和拟合深度信息。
需要说明的是，本申请实施例中，第一预设数量的像素点为至少三个像素点，具体的第一预设数量可以根据实际情况进行设定，本申请实施例在此不作具体限定。
S1043b、根据参考点的第二深度信息与临时拟合平面的深度信息，计算参考点到临时拟合平面的距离。
终端在用第一预设数量像素点构成临时拟合平面之后，便会计算参考点到临时拟合平面的距离，以便于后续将该距离与预设距离阈值进行比较，确定出第i个背景子区域的拟合平面。
可以理解的是，由于参考点具有第二深度信息，临时拟合平面也具有其自身的深度信息，因而，可以用参考点的第二深度信息与临时拟合平面的深度信息做差，并将所得到的深度信息的差值，作为参考点到临时拟合平面的距离。
S1043c、当参考点到临时拟合平面的距离小于等于预设距离阈值时，将临时拟合平面作为拟合平面，并将临时拟合平面的深度信息作为拟合深度信息。
当终端判断出参考点到临时拟合平面的距离小于等于预设距离阈值时，终端会认为参考点与临时拟合平面足够接近，即临时拟合平面的深度信息与深度传感器所获得的深度信息基本一致，此时，终端认为该临时拟合平面可信，将该临时拟合平面作为拟合平面，将该临时拟合平面的深度信息作为拟合深度信息，完成平面拟合过程。
需要说明的是，本申请实施例中的预设距离阈值，可以根据实际情况自行设定，本申请实施例在此不作具体限定。
S1043d、当参考点到临时拟合平面的距离大于预设距离阈值时，重新选取第二预设数量像素点构成新的临时拟合平面，并用新的临时拟合平面进行平面拟合流程。
当终端判断出参考点到临时拟合平面的距离大于预设距离阈值时，终端会认为该临时拟合平面的深度信息与深度传感器所获得的深度信息相差太大，即该临时拟合平面不可信。此时，终端会选取第二预设数量的像素点，重新构成新的临时拟合平面，并利用新的临时拟合平面继续进行平面拟合流程，直至得到拟合平面为止。
可以理解的是，本申请实施例中，第二预设数量像素点为至少三个像素点，具体的第二预设数量可以根据实际情况自行设定，本申请实施例在此不作具体限定。
需要说明的是，本申请实施例中，S1043c与S1043d是在S1043b之后可选的两个实现过程，具体可以根据实际情况来选择所要执行的过程。
本申请实施例中，终端通过选取第一预设数目像素点构成临时拟合平面，并根据参考点与临时拟合平面之间的距离关系，确定出拟合平面，如此，终端便实现了通过迭代选点，确定出较为可信的拟合平面。
在本申请的一些实施例中，在将位于第二深度图像中，与第i个背景子区域所对应的区域内的像素点作为参考点，统计参考点的个数，并获取参考点的第二深度信息之后，即S1042之后，该方法还包括：S1045-S1048，如下：
S1045、计算参考点的第二深度信息对应的置信度，将置信度低于预设置信度阈值的参考点，作为空洞参考点。
终端在确定出参考点之后，还可以计算出参考点的第二深度信息所对应的置信度，并将所得到的置信度与预设置信度阈值进行比较，当参考点的置信度低于预设置信度阈值时，终端认为该参考点的第二深度信息不可信，并将该参考点作为空洞参考点。
本申请实施例中，参考点第二深度信息所对应的置信度，可以采用任何能够达到目的的算法进行计算，本申请实施例在此不作具体限定。
需要说明的是，预设置信度阈值可以根据实际情况来进行设置，本申请实施例在此不作具体限定。
S1046、统计空洞参考点的个数，将空洞参考点的个数与参考点个数的比值，作为空洞率。
终端在获得所有的空洞参考点之后，会统计出空洞参考点的总个数，并将空洞参考点的总个数与参考点的总个数相比，将所得到的比值即为空洞率，以便于后续根据空洞率判断是否对第i个背景子区域进行平面拟合。
S1047、当空洞率小于等于预设空洞率阈值时，对第i个背景子区域进行平面拟合流程。
当终端得到空洞率之后，会将所得到的空洞率与预设空洞阈值进行比较，当终端判断出空洞率小于等于预设空洞率阈值时，表明第二深度图像中存在着足够的具有可信第二深度信息的像素点，以这些像素点作为参考点进行平面拟合，能够得到可信的拟合平面，此时，终端会利用这些参考点对第i个背景子区域进行上述平面拟合流程。
需要说明的是，预设空洞率阈值可以根据实际情况来进行设置，本申请实施例在此不作具体限定。
S1048、当空洞率大于预设空洞率阈值时，不对第i个背景子区域进行平面拟合流程。
当终端发现空洞率大于预设空洞率阈值时，表明存在大量的具有不可信的第二深度信息的像素点。若以这些像素点作为参考点进行平面拟合，会使得所拟合的平面的深度信息，与背景子区域的实际深度信息相差甚远，此时，是无法对背景子区域进行优化的。因此，当终端判断出空洞率大于预设空洞阈值时，就不会再对第i个背景子区域进行平面拟合流程。
本申请实施例中，终端计算出各个参考点第二深度信息的置信度，并根据置信度确定出空洞参考点，进而计算出空洞率，当空洞率小于预设空洞率阈值时，对第i个背景子区域进行平面拟合，当空洞率达到预设空洞率阈值时，不允许进行平面拟合过程，避免终端利用不可靠的第二深度信息来对背景区域进行优化，降低背景区域深度信息的准确度。
实施例三
基于与实施例一的同一发明构思，在实施例一在根据触控区域将第一深度图像分割为前景深度图像和背景深度图像之后，利用第二深度图像对背景深度图像进行优化，得到优化后的背景深度图像之前，即实施例一S103之后，S104之前，该方法可以包括：S105-S106，如下：
S105、从第一深度图像中获取触控区域对应的第一深度信息，以及从第二深度图像中获得触控区域对应的第二深度信息。
终端在分割得到第一深度图像的前景深度图像和背景深度图像之后，除了可以对背景深度图像进行优化，还可以对前景深度图像进行优化。这时，终端需要从第一深度图像中获取触控区域对应的第一深度信息，还需要从第二深度图像中获得触控区域对应的第二深度信息，以便于后续利用触控区域的第一深度信息和第二深度信息，对前景深度图像进行优化。
S106、计算触控区域对应的第一深度信息，与触控区域对应的第二深度信息的差值，得到触控差值。
终端在分别得到触控区域对应的第一深度信息和第二深度信息之后，可以利用触控区域对应的第一深度信息，减去触控区域对应的第二深度信息，并将所得到的差值作为触控差值。
S107、用前景深度图像每个像素对应的第一深度信息减去触控差值，得到优化后的前景深度图像。
终端在得到触控差值之后，便会用前景深度图像每个像素对应的第一深度信息减去触控差值，使得前景深度图像的第一深度信息与第二深度信息保持一致，得到优化后的前景区域，保证优化后的前景区域深度信息的连续性。
需要说明的是，终端在得到优化后的前景深度图像之后，将前景深度图像与优化后的背景深度图像进行融合，得到融合深度图像，并对融合深度图像进行优化，得到虚化图像，相应的变为：将优化后的前景深度图像与优化后的背景深度图像进行融合，得到融合深度图像，并对融合深度图像进行虚化，得到虚化图像。
本申请实施例中，终端还可以对通过第二深度图像，对前景深度图像进行优化，得到优化后的前景深度图像，使得终端可以用优化后的前景深度图像和优化后的背景深度得到虚化图像，进一步提升虚化图像的效果。
在本申请的一些实施例中，实施例一在拍摄时，通过设置的双摄像器获得目标对象的第一深度信息，即S101的具体实现过程，可以包括：S1013-S1015，如下：
S1013、通过双摄像器采集目标对象的初始主彩色图像与初始副彩色图像。
终端可以通过设置在终端上的双摄像器采集到目标对象的初始主彩色图像与初始副彩色图像，以便于后续对初始主彩色图像和初始副彩色图像进行处理，得到可以进行像素匹配的主彩色图像和副彩色图像。
示例性的，本申请实施例中给出了一种终端的硬件结构示意图，如图8所示，终端可以包括有主彩色摄像器1、副彩色摄像器2、TOF深度传感器的激光发射器3，TOF深度传感器的红外接收器4和应用处理器5，其中，应用处理器5可以包括有第一图像信号处理器6、第二图像信号处理器7和移动行业处理器接口8，第一图像处理器6对主彩色摄像器1所采集的初始彩色图像进行处理，第二图像处理器7对副彩色图像摄像器2所采集的初始副彩色图像进行处理，以得到主彩色图像和副彩色图像。另外，应用处理器中还内置有预设匹配算法9，以进行主彩色图像和副彩色图像的像素匹配。在图4所示中，当终端通过主彩色摄像器1采集初始主彩色图像，通过副彩色摄像器2采集初始副彩色图像时，终端需要通过驱动集成电路(Integrated Circuit，IC)来保证主彩色摄像器1与副彩色摄像器2的自动对焦同步、自动曝光同步以及自动白平衡同步，与此同时，终端还需要通过IC保证TOF深度传感器的激光发射器3与TOF深度传感器的红外接收器4的曝光时序同步，以及保证TOF深度传感器的红外接收器4与主彩色摄像器1的曝光时序同步，以使主彩色摄像器1、副彩色摄像器2以及TOF深度传感器是在同一时刻对目标对象进行信息采集。
S1014、按照初始主彩色图像的分辨率，调整初始副彩色图像的分辨率，对初始主彩色图像和初始副彩色图像进行畸变校正，以及对初始主彩色图像和初始副彩色图像进行极线校正，得到主彩色图像和副彩色图像。
由于初始主彩色图像与初始副彩色图像是通过双摄像器，即通过不同的摄像器采集到的，因此，初始主彩色图像与初始副彩色图像的分辨率有可能不相同，而像素匹配操作必须是在同一分辨率的两张图像中进行，因而，终端需要按照初始主彩色图像的分辨率，对初始副彩色图像的分辨率进行调整。同时，终端需要对初始主彩色图像和初始副彩色图像进行畸变校正操作，使得主彩色图像和副彩色图像中不存在由于摄像器透镜工艺所引起的畸变。除此之外，终端还需要对初始主彩色图像和初始副彩色图像进行极线校正操作，使得目标对象同一像素点在主彩色图像和副彩色图像中的高度一致，便于后续主彩色图像与副彩色图像进行像素匹配。
需要说明的是，在终端对初始主彩色图像和初始副彩色图像进行极线校正之前，由于设置于终端上的主彩色摄像器的极线与副彩色摄像器的极线不平行，使得目标对象同一像素点在初始主彩色图像中的位置，与该像素点在初始副彩色图像中的位置不同，而当终端对初始主彩色图像和初始副彩色图像进行极线校正之后，目标对象同一像素点在主彩色图像中的高度，和在副彩色图像中的高度相同。如此，使得主彩色图像和副彩色图像进行像素匹配时，只需要在同一行上寻找匹配的像素点。
示例性的，本申请实施例提供了一种极线校正的示意图，参见图9(a)，主彩色摄像器2与副彩色摄像器3都设置在终端的平面1上，图9(b)是终端通过主彩色摄像器2采集到的初始主彩色图像，图9(c)是终端通过副彩色摄像器3采集到的初始副彩色图像，在终端进行极线校正之前，主彩色摄像器2与副彩色摄像器3的极线不平行，因而像素1在图9(b)中的位置，与像素1在图9(c)中的位置不同。图9(d)是主彩色摄像器2与副彩色摄像器3经过极线校正之后的示意，由图9(d)可以看出，经过极线校正的主彩色摄像器2与副彩色摄像器3的极线相互平行，相应的，图9(e)相当于是经过极线校正后的主彩色摄像器2所获得的图像，在图9(f)相当于是经过极线校正后副彩色摄像器3所获得的图像，像素1在图9(e)中所处的高度，和像素1在图9(f)中所处的高度相同，因而，在像素匹配时，只需要在同一行寻找相对应的像素即可，减少了像素匹配的计算量。
S1015、根据主彩色图像和副彩色图像，以及预设纹理匹配算法，计算目标对象每个像素的第一深度信息，并根据目标对象每个像素的第一深度信息，得到第一深度图像。
终端在获取到主彩色图像与副彩色图像之后，就可以利用预设纹理匹配算法，将主彩色图像中目标对象的每个像素，与副彩色图像中的像素进行像素匹配，得到匹配像素对，进而得到匹配像素对的坐标差，再根据三角测距原理计算出目标对象每个像素的第一深度信息，进而将目标对象每个像素的第一深度信息作为像素值，得到第一深度图像。
本申请实施例中，终端可以通过双摄像器采集初始主彩色图像与初始副彩色图像，对初始主彩色图像和初始副彩色图像进行去畸变、极线校正等处理，得到主彩色图像和副彩色图像，然后主彩色图像、副彩色图像以及预设纹理匹配算法计算出目标对象每个像素的第一深度信息，进而得到第一深度图像，确保终端能够具有第一深度图像，并将第一深度图像分割前景深度图像与背景深度图像以进行后续优化操作。
在本申请的一些实施例中，根据主彩色图像和副彩色图像，以及预设纹理匹配算法，计算目标对象每个像素的第一深度图像，并根据目标对象每个像素的第一深度信息，得到第一深度图像，即S1015的具体实现过程可以包括：S1015a-S1015c，如下：
S1015a、利用预设纹理匹配算法，从副彩色图像中匹配出与主彩色图像中目标对象的第i个像素对应的像素，得到匹配像素对，并获取匹配像素对的视差值。
终端在得到主彩色图像和副彩色图像之后，会利用预设纹理匹配算法，从副彩色图像中匹配出与主彩色图像的第i个像素相对应的像素，得到匹配像素对，然后，将匹配像素对中两个像素的坐标相减，得到视差值，以便于根据视差值，计算出目标对象的第i个像素的第一深度信息。
需要说明的是，本申请实施例中，终端可以利用预设纹理匹配算法，得到主彩色图像中目标对象的第i个像素的纹理信息，然后在副彩色图像中寻找具有相同纹理信息的像素，以根据纹理信息进行像素匹配。
本申请的一些实施例中，预设纹理匹配算法可以根据实际需求来设置，本申请实施例在此不作具体限定。
示例性的，终端可以利用半全局匹配算法(Semi-Global Matching，SGM)作为预设纹理匹配算法，还可以利用立体匹配算法(Cross-Scale Cost Aggregation，CSCA)作为预设纹理匹配算法。
S1015b、根据预设深度转换模型、预设成像参数以及视差值，确定出目标对象的第i个像素对应的第一深度信息。
终端在计算出匹配像素对的视差值之后，需要利用预设深度转换模型、预设成像参数预计计算所得的视差值，根据三角测距原理计算出目标对象的第i个像素所对应的第一深度信息。
本申请实施例中，预设深度转换模型是指利用视差值和预设成像参数，来计算深度信息的三角测距公式。终端可以将所获得的视差值和预设成像参数的具体数值代入到预设深度转换模型中，计算出第一深度信息。
需要说明的是，本申请实施例中的预设成像参数中可以包括：基线距离和焦距。
示例性的，本申请实施例给出了一种计算第一深度信息的示意图，参见图10，OR为主彩色摄像器的位置，OT为副彩色摄像器的位置，OR与OT之间的距离为基线距离b，P为目标对象的位置，P1为终端通过主彩色摄像器拍摄目标对象P时所获得的像点，P1’为终端通过副彩色摄像器拍摄目标对象P时所获得的像点，xR为目标对象的像点P1在主彩色图像中的坐标，xT为目标对象的像点P1’在副彩色图像中的坐标，f为主彩色摄像器与副彩色摄像器的焦距，Z为所要计算的深度信息。此时，由相似三角形可得式(2)：
进而，由式(2)可以推导得到预设深度转换模型，如式(3)所示：
其中，d为视差值。由式(3)可知，只要终端知晓基线距离b，焦距f以及视差值d之后，就可以根据预设深度转换模型，计算出深度信息Z。
S1015c、继续处理得到目标对象的第i+1个像素对应的第一深度信息，直至i＝N，得到目标对象每个像素的第一深度信息；其中，N表征主彩色图像中目标对象的总像素数，N为大于1的正整数。
在计算出目标对象的第i个像素的第一深度信息之后，终端会紧接着对目标对象的第i+1个像素进行处理，得到目标对象第i+1个像素对应的第二深度信息，直至i＝N时，完成对目标对象所有像素的处理，得到目标对象每个像素的第二深度信息。
示例性的，本申请实施例给出了第一深度图像的示意图。如图11所示，(a)为主彩色图像，(b)为副彩色图像，终端利用预设纹理匹配算法对(a)与(b)进行像素匹配，得到视差值，进而由视差值和预设成像参数、预设深度转换模型得到目标对象每个像素的第一深度信息，(c)为将目标对象每个像素的第一深度信息作为像素值，所得到的第一深度图像的示意。
本申请实施例中，终端利用预设纹理匹配算法，对主彩色图像和副彩色图像进行像素匹配，并得到每个匹配像素对的视差值，进而根据预设深度转换模型、预设成像参数和视差值计算出目标对象每个像素的第一深度信息，得到第一深度图像，如此，使得终端在后续可以将得到的第一深度图像分割为前景深度图像和背景深度图像，以便于后续的优化处理。
示例性的，参见图12，本申请实施例给出了一种虚化图像获取方法的流程示意图。如图13所示，终端通过主彩色摄像器采集到初始主彩色图像01，通过副彩色摄像器采集到初始副彩色图像02，同时，还通过TOF深度传感器采集到初始第二深度图像03，之后，终端会分别对初始主彩色图像01进行畸变校正处理04，对初始副彩色图像02进行畸变校正04和极线校正05，得到主彩色图像和副彩色图像。终端将初始第二深度图像03的坐标系与主彩色图像的坐标系对齐06，进而得到目标对象至少一个像素的第二深度信息07。接着，终端对主彩色图像和副彩色图像，利用预设纹理匹配算法08进行像素对匹配，得到匹配像素对的视差值，从而计算出第一深度信息09。之后，终端根据虚化点对目标对象进行前景区域和背景区域的分割10，并将背景区域分割为多个背景子区域11，然后，终端对各背景子区域进行平面拟合12，并根据拟合平面的深度信息优化各个背景子区域，将优化后的背景子区域拼接得到优化后的背景区域。同时，终端还可以对前景区域优化13，得到优化后的前景区域，并融合优化后的前景区域与优化后的背景区域14，得到深度图，并对深度图进行虚化得到最终的虚化图像15并输出。
实施例四
基于与实施利一至实施例三的同一构思，如图13所示，本申请实施例提供了一种终端1，该终端1可以包括：
获取单元10，用于在拍摄时，通过设置的双摄像器获得目标对象的第一深度图像；通过设置的深度传感器获得所述目标对象的第二深度图像；以及获取拍摄界面中的触控区域；其中，所述触控区域时根据触控操作作用在所述拍摄界面时确定的；
处理单元11，用于基于所述触控区域，将所述第一深度图像分割为前景深度图像与背景深度图像；以及利用所述第二深度图像对所述背景深度图像进行优化，得到优化后的背景深度图像；
融合单元12，用于将所述前景深度图像与所述优化后的背景深度图像进行融合，得到融合深度图像，并对所述融合深度图像进行虚化，得到虚化图像。
在本申请的一些实施例中，所述获取单元10，具体用于通过所述深度传感器采集所述目标对象的初始第二深度图像；
所述处理单元11，具体用于将所述初始第二深度图像的坐标系与所述第一深度图像的坐标系对齐，得到所述第二深度图像。
所述处理单元11，具体用于从所述第一深度图像中，获取所述第一深度图像的每个像素的第一深度信息，以及所述触控区域对应的第一深度信息；在所述第一深度图像中，将所述第一深度信息小于等于所述触控区域对应的第一深度信息的像素作为前景像素，将所述第一深度信息大于所述触控区域对应的第一深度信息的像素作为背景像素；将所有所述前景像素所构成的图像作为所述前景深度图像，将所有所述背景像素所构成的图像作为所述背景深度图像。
在本申请的一些实施例中，所述处理单元11，具体用于根据所述第一深度图像，得到所述背景深度图像中每个像素对应的视差值，根据所述视差值将所述背景深度图像分割为M个背景子区域；其中，M为所述视差值的极差，M大于等于1；将位于所述第二深度图像中，与所述第i个背景子区域所对应的区域内具有第二深度信息的像素作为参考点，统计所述参考点的个数，并获取所述参考点的第二深度信息；当所述参考点的个数大于等于预设参考点数目阈值时，利用所述参考点的第二深度信息对所述第i个背景子区域进行平面拟合，确定出拟合平面以及所述拟合平面对应的拟合深度信息，并用所述拟合深度信息替换所述第i个背景子区域每个像素的第一深度信息，得到优化后的第i个背景子区域；继续对第i+1个背景子区域进行平面拟合流程，直至i＝M，得到所述M个优化后的背景子区域，并将所述M个优化后的背景子区域进行拼接，得到所述优化后的背景区域。
在本申请的一些实施例中，所述处理单元11，具体用于在所述第i个背景子区域中，选取第一预设数量像素点构成临时拟合平面，并确定出所述临时拟合平面的深度信息；根据所述参考点的第二深度信息与所述临时拟合平面的深度信息，计算所述参考点到所述临时拟合平面的距离；当所述参考点到所述临时拟合平面的距离小于等于预设距离阈值时，将所述临时拟合平面作为所述拟合平面，并将所述临时拟合平面的深度信息作为所述拟合深度信息；当所述参考点到所述临时拟合平面的距离大于所述预设距离阈值时，重新选取第二预设数量像素点构成新的临时拟合平面，并用所述新的临时拟合平面进行平面拟合流程。
在本申请的一些实施例中，所述处理单元11，还用于计算所述参考点的第二深度信息所对应的置信度，将所述置信度低于预设置信度阈值的所述参考点作为空洞参考点；统计所述空洞参考点的个数，将所述空洞参考点的个数与所述参考点的个数的比值，作为空洞率；当所述空洞率小于等于预设空洞率阈值时，对所述第i个背景子区域进行平面拟合流程；当所述空洞率大于预设空洞率阈值时，不对所述第i个背景子区域进行所述平面拟合流程。
在本申请的一些实施例中，所述处理单元11，还用于从所述第一深度图像中获取所述触控区域对应的第一深度信息，以及从所述第二深度图像中获得所述触控区域对应的第二深度信息；计算所述触控区域对应的第一深度信息，与所述触控区域对应第二深度信息的差值，得到触控差值；用所述前景深度图像每个像素对应的第一深度信息减去所述触控差值，得到优化后的前景深度图像；相应的，所述将所述前景深度图像与所述优化后的背景深度图像进行融合，得到融合深度图像，并对所述融合深度图像进行虚化，得到虚化图像，包括：
将所述优化后的前景深度图像与所述优化后的背景深度图像进行融合，得到所述融合深度图像，并对所述融合深度图像进行虚化，得到所述虚化图像。
在本申请的一些实施例中，所述获取单元10，具体用于通过所述双摄像器采集所述目标对象的初始主彩色图像与初始副彩色图像；按照所述初始主彩色图像的分辨率，调整所述初始副彩色图像的分辨率，对所述初始主彩色图像和所述初始副彩色图像进行畸变校正，以及对所述初始主彩色图像和所述初始副彩色图像进行极线校正，得到所述主彩色图像和所述副彩色图像；
所述处理单元11，具体用于根据所述主彩色图像和所述副彩色图像，以及预设纹理匹配算法，计算出所述目标对象每个像素的第一深度信息，并根据所述目标对象每个像素的第一深度信息，得到所述第一深度图像。
在本申请的一些实施例中，所述处理单元11，具体用于利用所述预设纹理匹配算法，从所述副彩色图像中匹配出与所述主彩色图像中所述目标对象的第i个像素对应的像素，得到匹配像素对，并获取所述匹配像素对的视差值；根据预设深度转换模型、预设成像参数以及所述视差值，确定出所述目标对象的第i个像素对应的所述第一深度信息；继续处理得到所述目标对象的第i+1个像素对应的所述第一深度信息，直至i＝N，得到所述目标对象每个像素的所述第一深度信息；其中，N表征所述主彩色图像中所述目标对象的总像素数，N为大于1的正整数。
实施例五
基于实施例一与实施例三的同一构思，图14为本申请实施例提出的一种终端的组成结构示意图，如图14所示，本申请提出的一种终端可以包括处理器01、存储有处理器01可执行指令的存储器02。其中，处理器01用于执行存储器中存储的可执行虚化图像获取指令，以实现实施例一至实施例三中任一个或多个实施例中的方法。
在本申请的一些实施例中，所述终端包括：主彩色摄像器03、副彩色摄像器04以及深度传感器05。
在本申请的实施例中，上述处理器01可以为特定用途集成电路(ApplicationSpecific Integrated Circuit，ASIC)、数字信号处理器(Digital Signal Processor，DSP)、数字信号处理装置(Digital Signal Processing Device，DSPD)、可编程逻辑装置(ProgRAMmable Logic Device，PLD)、现场可编程门阵列(Field ProgRAMmable GateArray，FPGA)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地，对于不同的设备，用于实现上述处理器功能的电子器件还可以为其它，本申请实施例不作具体限定。该终端还包括存储器02，该存储器02可以与处理器01连接，其中，存储器02可能包含高速RAM存储器，也可能还包括非易失性存储器，例如，至少两个磁盘存储器。
在实际应用中，上述存储器02可以是易失性存储器(volatile memory)，例如随机存取存储器(Random-Access Memory，RAM)；或者非易失性存储器(non-volatile memory)，例如只读存储器(Read-Only Memory，ROM)，快闪存储器(flash memory)，硬盘(Hard DiskDrive，HDD)或固态硬盘(Solid-State Drive，SSD)；或者上述种类的存储器的组合，并向处理器01提供指令和数据。
另外，在本实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
本申请实施例提供一种计算机可读存储介质，其上存储有可执行虚化图像获取指令，应用于终端中，该程序被处理器执行时实现如实施例一至实施例三中任意一个或多个实施例中的方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的实现流程示意图和/或方框图来描述的。应理解可由计算机程序指令实现流程示意图和/或方框图中的每一流程和/或方框、以及实现流程示意图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在实现流程示意图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本申请的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。
以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims (12)

1.一种虚化图像获取方法，其特征在于，应用于终端，所述方法包括：
在拍摄时，通过设置的双摄像器获得目标对象的第一深度图像；通过设置的深度传感器获得所述目标对象的第二深度图像；
获取拍摄界面中的触控区域；其中，所述触控区域是根据触控操作作用在所述拍摄界面时确定的；
基于所述触控区域，将所述第一深度图像分割为前景深度图像和背景深度图像；
利用所述第二深度图像对所述背景深度图像进行优化，得到优化后的背景深度图像；
将所述前景深度图像与所述优化后的背景深度图像进行融合，得到融合深度图像，并对所述融合深度图像进行虚化，得到虚化图像。
2.根据权利要求1所述的方法，其特征在于，所述通过设置的深度传感器获得所述目标对象的第二深度图像，包括：
通过所述深度传感器采集所述目标对象的初始第二深度图像；
将所述初始第二深度图像的坐标系与所述第一深度图像的坐标系对齐，得到所述第二深度图像。
3.根据权利要求1所述的方法，其特征在于，所述基于所述触控区域，将所述第一深度图像分割为前景深度图像与背景深度图像，包括：
从所述第一深度图像中，获取所述第一深度图像的每个像素的第一深度信息，以及所述触控区域对应的第一深度信息；
在所述第一深度图像中，将所述第一深度信息小于等于所述触控区域对应的第一深度信息的像素作为前景像素，将所述第一深度信息大于所述触控区域对应的第一深度信息的像素作为背景像素；
将所有所述前景像素所构成的图像作为所述前景深度图像，将所有所述背景像素所构成的图像作为所述背景深度图像。
4.根据权利要求1所述的方法，其特征在于，所述利用所述第二深度图像对所述背景深度图像进行优化，得到优化后的背景深度图像，包括：
根据所述第一深度图像，得到所述背景深度图像中每个像素对应的视差值，根据所述视差值将所述背景深度图像分割为M个背景子区域；其中，M为所述视差值的极差，M大于等于1；
将位于所述第二深度图像中，与所述第i个背景子区域所对应的区域内具有第二深度信息的像素作为参考点，统计所述参考点的个数，并获取所述参考点的第二深度信息；
当所述参考点的个数大于等于预设参考点数目阈值时，利用所述参考点的第二深度信息对所述第i个背景子区域进行平面拟合，确定出拟合平面以及所述拟合平面对应的拟合深度信息，并用所述拟合深度信息替换所述第i个背景子区域每个像素的第一深度信息，得到优化后的第i个背景子区域；
继续对第i+1个背景子区域进行平面拟合流程，直至i＝M，得到所述M个优化后的背景子区域，并将所述M个优化后的背景子区域进行拼接，得到所述优化后的背景区域。
5.根据权利要求4所述的方法，其特征在于，所述当所述参考点的个数大于等于预设参考点数目阈值时，利用所述参考点的第二深度信息对所述第i个背景子区域进行平面拟合，确定出拟合平面以及所述拟合平面对应的拟合深度信息，并用所述拟合深度信息替换所述第i个背景子区域每个像素的第一深度信息，得到优化后的第i个背景子区域，包括：
在所述第i个背景子区域中，选取第一预设数量像素点构成临时拟合平面，并确定出所述临时拟合平面的深度信息；
根据所述参考点的第二深度信息与所述临时拟合平面的深度信息，计算所述参考点到所述临时拟合平面的距离；
当所述参考点到所述临时拟合平面的距离小于等于预设距离阈值时，将所述临时拟合平面作为所述拟合平面，并将所述临时拟合平面的深度信息作为所述拟合深度信息；
当所述参考点到所述临时拟合平面的距离大于所述预设距离阈值时，重新选取第二预设数量像素点构成新的临时拟合平面，并用所述新的临时拟合平面进行平面拟合流程。
6.根据权利要求4所述的方法，其特征在于，在所述将位于所述第二深度图像中，与所述第i个背景子区域所对应的区域内的像素点作为参考点，统计所述参考点的个数，并获取所述参考点的第二深度信息之后，所述方法还包括：
计算所述参考点的第二深度信息所对应的置信度，将所述置信度低于预设置信度阈值的所述参考点作为空洞参考点；
统计所述空洞参考点的个数，将所述空洞参考点的个数与所述参考点的个数的比值，作为空洞率；
当所述空洞率小于等于预设空洞率阈值时，对所述第i个背景子区域进行平面拟合流程；
当所述空洞率大于预设空洞率阈值时，不对所述第i个背景子区域进行所述平面拟合流程。
7.根据权利要求1所述的方法，其特征在于，在所述基于所述触控区域，将所述第一深度图像分割为前景深度图像和背景深度图像之后，所述利用所述第二深度图像对所述背景深度图像进行优化，得到优化后的背景深度图像之前，所述方法还包括：
从所述第一深度图像中获取所述触控区域对应的第一深度信息，以及从所述第二深度图像中获得所述触控区域对应的第二深度信息；
计算所述触控区域对应的第一深度信息，与所述触控区域对应第二深度信息的差值，得到触控差值；
用所述前景深度图像每个像素对应的第一深度信息减去所述触控差值，得到优化后的前景深度图像；
相应的，所述将所述前景深度图像与所述优化后的背景深度图像进行融合，得到融合深度图像，并对所述融合深度图像进行虚化，得到虚化图像，包括：
将所述优化后的前景深度图像与所述优化后的背景深度图像进行融合，得到所述融合深度图像，并对所述融合深度图像进行虚化，得到所述虚化图像。
8.根据权利要求1所述的方法，其特征在于，所述在拍摄时，通过设置的双摄像器获得目标对象的第一深度图像，包括：
通过所述双摄像器采集所述目标对象的初始主彩色图像与初始副彩色图像；
按照所述初始主彩色图像的分辨率，调整所述初始副彩色图像的分辨率，对所述初始主彩色图像和所述初始副彩色图像进行畸变校正，以及对所述初始主彩色图像和所述初始副彩色图像进行极线校正，得到所述主彩色图像和所述副彩色图像；
根据所述主彩色图像和所述副彩色图像，以及预设纹理匹配算法，计算出所述目标对象每个像素的第一深度信息，并根据所述目标对象每个像素的第一深度信息，得到所述第一深度图像。
9.根据权利要求8所述的方法，其特征在于，所述根据所述主彩色图像和所述副彩色图像，以及预设纹理匹配算法，计算所述目标对象每个像素所对应的第一深度信息，包括：
利用所述预设纹理匹配算法，从所述副彩色图像中匹配出与所述主彩色图像中所述目标对象的第i个像素对应的像素，得到匹配像素对，并获取所述匹配像素对的视差值；
根据预设深度转换模型、预设成像参数以及所述视差值，确定出所述目标对象的第i个像素对应的所述第一深度信息；
继续处理得到所述目标对象的第i+1个像素对应的所述第一深度信息，直至i＝N，得到所述目标对象每个像素的所述第一深度信息；其中，N表征所述主彩色图像中所述目标对象的总像素数，N为大于1的正整数。
10.一种终端，其特征在于，所述终端包括：
获取单元，用于在拍摄时，通过设置的双摄像器获得目标对象的第一深度图像；通过设置的深度传感器获得所述目标对象的第二深度图像；以及获取拍摄界面中的触控区域；其中，所述触控区域是根据触控操作作用在所述拍摄界面时确定的；
处理单元，用于基于所述触控区域，将所述第一深度图像分割为前景深度图像与背景深度图像；以及利用所述第二深度图像对所述背景深度图像进行优化，得到优化后的背景深度图像；
融合单元，用于将所述前景深度图像与所述优化后的背景深度图像进行融合，得到融合深度图像，并对所述融合深度图像进行虚化，得到虚化图像。
11.一种终端，其特征在于，所述终端包括：存储器及处理器；
所述存储器，用于存储可执行虚化图像获取指令；
所述处理器，用于执行所述存储器中存储的可执行虚化图像获取指令，实现权利要求1-9任一项所述的方法。
12.一种计算机可读存储介质，其特征在于，存储有可执行虚化图像获取指令，用于引起处理器执行时，实现权利要求1-9任一项所述的方法。
CN201910579321.4A 2019-06-28 2019-06-28 一种虚化图像获取方法及终端、计算机可读存储介质 Active CN110336942B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910579321.4A CN110336942B (zh) 2019-06-28 2019-06-28 一种虚化图像获取方法及终端、计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910579321.4A CN110336942B (zh) 2019-06-28 2019-06-28 一种虚化图像获取方法及终端、计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110336942A true CN110336942A (zh) 2019-10-15
CN110336942B CN110336942B (zh) 2021-02-02

Family

ID=68143661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910579321.4A Active CN110336942B (zh) 2019-06-28 2019-06-28 一种虚化图像获取方法及终端、计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110336942B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111064895A (zh) * 2019-12-31 2020-04-24 维沃移动通信有限公司 一种虚化拍摄方法和电子设备
CN112785533A (zh) * 2019-11-07 2021-05-11 RealMe重庆移动通信有限公司 图像融合方法、图像融合装置、电子设备与存储介质
CN113014806A (zh) * 2021-02-07 2021-06-22 维沃移动通信有限公司 虚化图像拍摄方法及装置
CN113139997A (zh) * 2020-01-19 2021-07-20 武汉Tcl集团工业研究院有限公司 一种深度图处理方法、存储介质及终端设备
US11539873B2 (en) * 2019-01-22 2022-12-27 Lg Innotek Co., Ltd. Camera apparatus and autofocusing method therefor
WO2023109389A1 (zh) * 2021-12-15 2023-06-22 Tcl通讯科技（成都）有限公司 图像融合方法、装置、计算机设备及计算机可读存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101542529A (zh) * 2006-11-21 2009-09-23 皇家飞利浦电子股份有限公司 图像的深度图的生成
CN102165496A (zh) * 2008-09-25 2011-08-24 皇家飞利浦电子股份有限公司 三维图像数据处理
CN102750694A (zh) * 2012-06-04 2012-10-24 清华大学 基于局部最优置信传播算法的双目视频深度图求取方法
CN103581651A (zh) * 2013-10-28 2014-02-12 西安交通大学 一种用于车载多目摄像机环视系统的虚拟视点合成方法
CN103871051A (zh) * 2014-02-19 2014-06-18 小米科技有限责任公司 图像处理方法、装置和电子设备
CN103916652A (zh) * 2013-01-09 2014-07-09 浙江大学 视差矢量生成方法及装置
CN103945118A (zh) * 2014-03-14 2014-07-23 华为技术有限公司 图像虚化方法、装置及电子设备
CN104301700A (zh) * 2013-07-20 2015-01-21 浙江大学 图像块边界位置确定方法和装置
US20160266650A1 (en) * 2015-03-11 2016-09-15 Microsoft Technology Licensing, Llc Background model for user recognition
US20180041709A1 (en) * 2016-08-04 2018-02-08 Microsoft Technology Licensing, Llc Multishot tilt optical image stabilization for shallow depth of field
CN107734283A (zh) * 2017-09-11 2018-02-23 广东欧珀移动通信有限公司 视频聊天的画面处理方法、装置和存储介质
CN107809583A (zh) * 2017-10-25 2018-03-16 努比亚技术有限公司 拍照处理方法、移动终端及计算机可读存储介质
CN109257586A (zh) * 2017-07-13 2019-01-22 三星电子株式会社 图像信号处理器、图像处理系统和对像素进行合并的方法
CN109903321A (zh) * 2018-10-16 2019-06-18 迈格威科技有限公司 图像处理方法、图像处理装置及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101542529A (zh) * 2006-11-21 2009-09-23 皇家飞利浦电子股份有限公司 图像的深度图的生成
CN102165496A (zh) * 2008-09-25 2011-08-24 皇家飞利浦电子股份有限公司 三维图像数据处理
CN102750694A (zh) * 2012-06-04 2012-10-24 清华大学 基于局部最优置信传播算法的双目视频深度图求取方法
CN103916652A (zh) * 2013-01-09 2014-07-09 浙江大学 视差矢量生成方法及装置
CN104301700A (zh) * 2013-07-20 2015-01-21 浙江大学 图像块边界位置确定方法和装置
CN103581651A (zh) * 2013-10-28 2014-02-12 西安交通大学 一种用于车载多目摄像机环视系统的虚拟视点合成方法
CN103871051A (zh) * 2014-02-19 2014-06-18 小米科技有限责任公司 图像处理方法、装置和电子设备
CN103945118A (zh) * 2014-03-14 2014-07-23 华为技术有限公司 图像虚化方法、装置及电子设备
US20160266650A1 (en) * 2015-03-11 2016-09-15 Microsoft Technology Licensing, Llc Background model for user recognition
US20180041709A1 (en) * 2016-08-04 2018-02-08 Microsoft Technology Licensing, Llc Multishot tilt optical image stabilization for shallow depth of field
CN109257586A (zh) * 2017-07-13 2019-01-22 三星电子株式会社 图像信号处理器、图像处理系统和对像素进行合并的方法
CN107734283A (zh) * 2017-09-11 2018-02-23 广东欧珀移动通信有限公司 视频聊天的画面处理方法、装置和存储介质
CN107809583A (zh) * 2017-10-25 2018-03-16 努比亚技术有限公司 拍照处理方法、移动终端及计算机可读存储介质
CN109903321A (zh) * 2018-10-16 2019-06-18 迈格威科技有限公司 图像处理方法、图像处理装置及存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11539873B2 (en) * 2019-01-22 2022-12-27 Lg Innotek Co., Ltd. Camera apparatus and autofocusing method therefor
CN112785533A (zh) * 2019-11-07 2021-05-11 RealMe重庆移动通信有限公司 图像融合方法、图像融合装置、电子设备与存储介质
CN112785533B (zh) * 2019-11-07 2023-06-16 RealMe重庆移动通信有限公司 图像融合方法、图像融合装置、电子设备与存储介质
CN111064895A (zh) * 2019-12-31 2020-04-24 维沃移动通信有限公司 一种虚化拍摄方法和电子设备
CN113139997A (zh) * 2020-01-19 2021-07-20 武汉Tcl集团工业研究院有限公司 一种深度图处理方法、存储介质及终端设备
CN113014806A (zh) * 2021-02-07 2021-06-22 维沃移动通信有限公司 虚化图像拍摄方法及装置
CN113014806B (zh) * 2021-02-07 2022-09-13 维沃移动通信有限公司 虚化图像拍摄方法及装置
WO2023109389A1 (zh) * 2021-12-15 2023-06-22 Tcl通讯科技（成都）有限公司 图像融合方法、装置、计算机设备及计算机可读存储介质

Also Published As

Publication number Publication date
CN110336942B (zh) 2021-02-02

Similar Documents

Publication Publication Date Title
CN110336942A (zh) 一种虚化图像获取方法及终端、计算机可读存储介质
EP3248374B1 (en) Method and apparatus for multiple technology depth map acquisition and fusion
US10455141B2 (en) Auto-focus method and apparatus and electronic device
US10116922B2 (en) Method and system for automatic 3-D image creation
KR101893771B1 (ko) 3d 정보 처리 장치 및 방법
CN108028887B (zh) 一种终端的拍照对焦方法、装置及设备
CN113129241B (zh) 图像处理方法及装置、计算机可读介质、电子设备
JP5432365B2 (ja) 立体撮像装置および立体撮像方法
WO2021018093A1 (zh) 立体匹配方法、图像处理芯片及移动载具
WO2016000330A1 (zh) 一种焦距调节方法、装置和终端、计算机存储介质
CN104202527A (zh) 用于在便携式终端中调整镜头的设备和方法
JP2017215525A (ja) 撮像装置及びその制御方法、プログラム並びに記憶媒体
JP2014528059A (ja) ブラー処理装置及び方法
JP2012514886A (ja) 映像データ獲得方法及び装置
CN109644280A (zh) 生成场景的分层深度数据的方法
JP2012247356A (ja) 撮像モジュール、撮像装置、画像処理装置及び画像処理方法。
CN105335959B (zh) 成像装置快速对焦方法及其设备
US9426446B2 (en) System and method for providing 3-dimensional images
CN107820071A (zh) 移动终端及其立体成像方法、装置及计算机可读存储介质
JP6016180B2 (ja) 画像処理方法及び画像処理装置
JP5996233B2 (ja) 画像撮像装置
CN107845108B (zh) 一种光流值计算方法、装置及电子设备
WO2018161322A1 (zh) 基于深度的图像处理方法、处理装置和电子装置
JP2022183954A (ja) 情報処理装置、情報処理方法および情報処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant