CN108076286B - 图像虚化方法、装置、移动终端和存储介质 - Google Patents

图像虚化方法、装置、移动终端和存储介质 Download PDF

Info

Publication number
CN108076286B
CN108076286B CN201711243576.0A CN201711243576A CN108076286B CN 108076286 B CN108076286 B CN 108076286B CN 201711243576 A CN201711243576 A CN 201711243576A CN 108076286 B CN108076286 B CN 108076286B
Authority
CN
China
Prior art keywords
depth
image
blurring
degree
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201711243576.0A
Other languages
English (en)
Other versions
CN108076286A (zh
Inventor
张弓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201711243576.0A priority Critical patent/CN108076286B/zh
Publication of CN108076286A publication Critical patent/CN108076286A/zh
Priority to PCT/CN2018/115056 priority patent/WO2019105214A1/zh
Application granted granted Critical
Publication of CN108076286B publication Critical patent/CN108076286B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请提出一种图像虚化方法、装置、移动终端和存储介质，其中，方法包括：通过获取待处理图像的深度，以及获取待处理图像的景深范围之后，从待处理图像中，确定出深度超出所述景深范围的目标区域。进而根据目标区域的图像模糊程度，从目标区域中确定出待虚化的第一子区域，仅对对目标区域中的第一子区域进行虚化处理。由于本申请中，仅对目标区域中的一部分区域，也就是这里提及的第一子区域进行虚化处理，而对于其他区域则无需虚化，减少了需进行虚化处理的数据量，相较于现有技术中对全部背景区域进行虚化的方式，提高了虚化处理效率，解决了现有技术中的虚化效率不高的技术问题。

Description

图像虚化方法、装置、移动终端和存储介质
技术领域
本申请涉及图像处理技术领域，尤其涉及一种图像虚化方法、装置、移动终端和存储介质。
背景技术
在进行拍照时，在某些场景下，需要突出成像主体，而弱化其他取景对象。传统单反相机是通过调整镜头的光圈和焦距等参数，从而实现背景虚化的效果。但是这种方式对镜头性能要求较高，在移动终端上设置的摄像头通常无法达到这种较高的性能。为了使得各种摄像头均能够达到较好的背景虚化效果，针对移动终端的摄像头，可以对其拍照得到的图像进行背景虚化的处理，从而优化虚化效果。
但是，现有技术中，在对拍照得到的图像进行背景虚化处理时，往往是通过识别出主体和背景之后，对背景整体进行虚化，这种虚化方式，由于对背景整体虚化的数据量较大，处理效率不高。
发明内容
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本申请提出一种图像虚化方法，以实现对图像的虚化处理。
本申请提出一种图像虚化装置。
本申请提出一种移动终端。
本申请提出一种计算机可读存储介质。
为达上述目的，本申请第一方面实施例提出了一种图像虚化方法，包括：
获取待处理图像的深度，以及获取所述待处理图像的景深范围；
从所述待处理图像中，确定出所述深度超出所述景深范围的目标区域；
根据所述目标区域的图像模糊程度，从所述目标区域中确定出待虚化的第一子区域；
对所述目标区域中的第一子区域进行虚化处理。
本申请实施例的图像虚化方法，通过获取待处理图像的深度，以及获取待处理图像的景深范围之后，从待处理图像中，确定出深度超出所述景深范围的目标区域。进而根据目标区域的图像模糊程度，从目标区域中确定出待虚化的第一子区域，仅对对目标区域中的第一子区域进行虚化处理。由于本申请中，仅对目标区域中的一部分区域，也就是这里提及的第一子区域进行虚化处理，而对于其他区域则无需虚化，减少了需进行虚化处理的数据量，相较于现有技术中对全部背景区域进行虚化的方式，提高了虚化处理效率，解决了现有技术中的虚化效率不高的技术问题。
为达上述目的，本申请第二方面实施例提出了一种图像虚化装置，包括：
获取模块，用于获取待处理图像的深度，以及获取所述待处理图像的景深范围；
选取模块，用于从所述待处理图像中，确定出所述深度超出所述景深范围的目标区域；
确定模块，用于根据所述目标区域的图像模糊程度，从所述目标区域中确定出待虚化的第一子区域；
虚化模块，用于对所述目标区域中的第一子区域进行虚化处理。
本申请实施例的图像虚化装置，通过获取待处理图像的深度，以及获取待处理图像的景深范围之后，从待处理图像中，确定出深度超出所述景深范围的目标区域。进而根据目标区域的图像模糊程度，从目标区域中确定出待虚化的第一子区域和无需虚化的第二子区域，仅对对目标区域中的第一子区域进行虚化处理，由于本申请中，仅对目标区域中的一部分区域，也就是这里提及的第一子区域进行虚化处理，而对于其他区域则无需虚化，减少了需进行虚化处理的数据量，相较于现有技术中对全部背景区域进行虚化的方式，提高了虚化处理效率，解决了现有技术中的虚化效率不高的技术问题。
为达上述目的，本申请第三方面实施例提出了一种移动终端，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现第一方面所述的图像虚化方法。
为了实现上述目的，本申请第四方面实施例提出了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的图像虚化方法。
本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本申请实施例所提供的一种图像虚化方法的流程示意图；
图2为三角测距的原理示意图；
图3为视差图的示意图；
图4为焦距和景深范围的关系示意图；
图5A为待处理图像的深度图；
图5B为待处理图像中超出前景深的图像块A的示意图；
图5C为待处理图像中超出后景深的图像块B的示意图；
图5D为待处理图像中目标区域的示意图；
图5E为目标区域划分的多个部分的示意图；
图6为本申请实施例提供的一种图像虚化装置的结构示意图；以及
图7示出了适于用来实现本申请实施方式的示例性计算机设备的框图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
下面参考附图描述本申请实施例的图像虚化方法和装置。
为避免对全部的背景进行虚化，本实施例提出了一种方式，仅对部分背景进行虚化。由于镜头对焦完成后，在景深范围内的图像能够较为清晰成像，而处于景深范围之外的图像，则无法较为清晰地成像，在镜头成像后传感器采集到的图像本身便具有一定的虚化效果。本实施例中，正是有效利用了这种镜头带来的虚化效果，减少需进行虚化处理的区域，在不影响虚化效果的前提下，提高图像处理效率。下面将结合具体实施例，对图像虚化过程进行说明。
图1为本申请实施例所提供的一种图像虚化方法的流程示意图，本实施例所提供的方法，可以由该成像方法，具体可以由具有双摄像头的手机、平板电脑、个人数字助理、穿戴式设备等硬件设备执行，该具有双摄像头的硬件设备中，包含摄像模组，该摄像模组中包括主摄像头和副摄像头。主摄像头和副摄像头均具有各自独立的镜片、图像传感器和音圈马达。双摄像头中的主摄像头和副摄像头均与摄像头连接头相连，从而根据摄像头连接头提供的电流值驱动音圈马达，使得主摄像头和副摄像头在音圈马达的驱动下调整镜片与图像传感器之间的距离，从而实现对焦。
在双摄像头完成对焦后，分别进行成像，从而得到携带深度信息的待处理图像。具体双摄像头成像的过程将在后续实施例中进行详细说明，在此不再赘述。
如图1所示，图像虚化方法包括以下步骤：
步骤101，获取待处理图像的深度，以及获取所述待处理图像的景深范围。
其中，深度可以理解为物距，也就是成像对象距离摄像头所在平面的距离。景深范围是指摄像头能够清晰成像的深度范围。具体深度和景深范围的含义后续将结合附图进行详细说明，此处不再赘述。
具体地，双摄像头包括主摄像头和副摄像头。
作为一种可能的应用场景，副摄像头的分辨率低于主摄像头的分辨率，在进行对焦时，可以仅采用副摄像头进行对焦，当副摄像头合焦时，获取副摄像头的马达的第二驱动电流值，进而在主摄像头和所述副摄像头具有相同合焦距离条件下，根据第二驱动电流值，确定主摄像头的马达的第一驱动电流值，采用第一驱动电流值驱动主摄像头进行对焦。由于副摄像头分辨率较低，图像处理速度较快，从而能够加快对焦速度，解决了现有技术中双摄像头对焦速度较慢的技术问题。
在双摄像头的具体实现过程中，可以选择不同的摄像头组合，作为双摄像头中的主摄像头和副摄像头，从而适应不同的用户需求。
在一种应用场景中，需要较高的对焦速度，从而双摄像头中的主摄像头具体为普通摄像头，双摄像头中的副摄像头具体为双像素(PD，dual pixel)摄像头。其中，双PD摄像头的分辨率要低于普通摄像头，从而具有更快的对焦速度。
需要说明的是，双PD摄像头的每个像素由两个单元构成，两个单元可以作为相位对焦检测点，也可以组合成一个像素的成像，从而极大改善了电子取景时的对焦性能。双PD互补金属氧化物半导体(CMOS，Complementary Metal Oxide Semiconductor)，传感器摄像头是较为常用的具体采用CMOS作为传感器的双PD摄像头，最早是采用在单反相机上。
在另一种应用场景中，需要较佳的成像效果，从而将广角摄像头和长焦摄像头的组合作为双摄像头。根据拍摄需求切换主副摄像头。具体来说，当拍近景时，使用广角镜头作为主摄像头，长焦镜头作为副摄像头；拍远景时，使用长焦镜头作为主摄像头，使用广角镜头作为副摄像头，从而不仅实现光学变焦功能，而且，还保证了成像质量以及后续虚化效果。
双摄像头对焦之后，可以获取主摄像头采集得到的主图像，以及获取副摄像头采集得到的副图像；将所述主图像作为所述待处理图像；根据所述主图像和所述副图像，生成所述待处理图像的深度。
由于主图像和副图像是分别由不同的摄像头拍摄得到的，两个摄像头之间具有一定的距离，从而导致的视差，根据三角测距原理，可以计算得到主图像和副图像中，同一对象的深度，也就是该对象距离主副摄像头所在平面的距离。
为了清楚说明这一过程，下面将对三角测距原理进行简要介绍。
而在实际场景，人眼分辨景物的深度主要是依靠双目视觉分辨出的。这和双摄像头分辨深度的原理一样。本实施例中根据副图像计算成像图像的深度信息，主要方法是依靠三角测距原理，图2为三角测距的原理示意图。
基于图2，在实际空间中，画出了成像对象，以及两个摄像头所在位置OR和OT，以及两个摄像头的焦平面，焦平面距离两个摄像头所在平面的距离为f，在焦平面位置两个摄像头进行成像，从而得到两张拍摄图像。
P和P’分别是同一对象在不同拍摄图像中的位置。其中，P点距离所在拍摄图像的左侧边界的距离为XR，P’点距离所在拍摄图像的左侧边界的距离为XT。OR和OT分别为两个摄像头，这两个摄像头在同一平面，距离为B。
基于三角测距原理，图2中的对象与两个摄像头所在平面之间的距离Z，具有如下关系：
基于此，可以推得其中，d为同一对象在不同拍摄图像中的位置之间的距离差。由于B、f为定值，因此，根据d可以确定出对象的距离Z。
当然，除了三角测距法，也可以采用其他的方式来计算主图像的深度信息，比如，主摄像头和副摄像头针对同一个场景拍照时，场景中的物体距离摄像头的距离与主摄像头和副摄像头成像的位移差、姿势差等成比例关系，因此，在本申请的一个实施例中，可以根据这种比例关系获取上述距离Z。
举例而言，如图3所示，通过主摄像头获取的主图像以及副摄像头获取的副图像，计算出不同点差异的图，这里用视差图表示，这个图上表示的是两张图上相同点的位移差异，但是由于三角定位中的位移差异和Z成正比，因此很多时候视差图就直接被用作携带深度信息的景深图。
基于以上分析可知，双摄像头获取深度信息时，需要获取同一对象在不同拍摄图像中的位置，因此，如果用于获取深度信息的两张图像较为接近，则会提高深度信息获取的效率和准确率。
在步骤101中，不仅需要获取待处理图像的深度，还需要获取到景深范围。
为了获取到景深范围，作为一种可能的实现方式，执行本实施例方法的设备，可以确定双摄像头中获取待处理图像时，处于合焦状态的摄像头的像距，根据像距和处于合焦状态的摄像头的镜头参数，确定焦距。进而根据焦距，以及所述处于合焦状态的摄像头的前景深和后景深，确定为景深范围。
图4为焦距和景深范围的关系示意图，如图4所示，若采用主摄像头采集的图像作为用于生成待处理图像的主图像，一般来说，主摄像头在获取待处理图像时是处于合焦状态，也就是针对某一对象对焦完成，可以将该主摄像头作为前述的合焦状态的摄像头，确定主摄像头的像距，这里的像距具体是镜片与传感器之间距离。由于对焦机制不同，有些摄像头是通过马达带动镜片移动，从而实现对焦，有些摄像头是通过马达带动传感器移动，从而实现对焦，但无论哪一种机制，在调焦后，镜片与传感器之间距离也就是像距，以及物距也就是焦距之间的关系应满足成像规律。
从而，根据成像规律相关公式，代入像距以及主摄像头的镜头参数，例如：镜片折射率和表面曲率等，得到主摄像头的焦距。
由于主摄像头不仅能够在深度符合焦距时清晰成像，在焦距之前的前景范围内，以及焦距之后的后景范围内也可以较为清晰地成像。前景范围和后景范围构成了景深范围。也就是说，作为待处理图像的主图像，景深范围为焦距之前的前景范围以及焦距之后的后景范围。
步骤102，从待处理图像中，确定出深度超出所述景深范围的目标区域。
具体地，待处理图像中，每一个像素点均携带有深度信息，作为一种可能的实现方式，可以针对每一个像素点进行识别，确定是否属于目标区域。
像素点的深度用于指示像素点成像对象与双摄像头所在平面之间的距离，若像素点的深度未处于前述步骤中确定出的景深范围内时，确定该像素点属于目标区域，否则确定像素点不属于目标区域。
作为另一种可能的实现方式，可以根据像素的深度连续性确定图像块，针对每一个图像块，分块识别是否属于目标区域。在识别图像块是否属于目标区域时，可以从中任选一个像素点，或者选取边缘的像素点，或者选取中央位置的像素点，根据选取的像素点的深度是否处于景深范围内，确定所属的图像块是否属于目标区域。
步骤103，根据所述目标区域的图像模糊程度，从所述目标区域中确定出待虚化的第一子区域。
具体地，预先可以设定所需的目标模糊程度。根据所述目标区域内各像素点的深度超出所述景深范围的程度，将所述目标区域划分为属于不同图像模糊程度的多个部分。根据所需的目标模糊程度，将图像模糊程度低于所述目标模糊程度的部分作为第一子区域。根据所述目标区域的图像模糊程度，从所述目标区域中确定出待虚化的第一子区域之后，还可以确定出无需虚化的第二子区域，具体可以将图像模糊程度不低于所述目标模糊程度的部分作为第二子区域。
作为一种可能的实现方式，为了将目标区域划分为属于不同图像模糊程度的多个部分，可以针对每一个像素点分别进行处理。若所述像素点的深度小于景深范围的下限，根据所述景深范围的下限与所述像素点的深度之间的差值，确定所述像素点的深度超出所述景深范围的程度；若所述像素点的深度大于景深范围的上限，根据所述像素点的深度与所述景深范围的上限之间的差值，确定所述像素点的深度超出所述景深范围的程度。进而，根据各像素点的深度超出所述景深范围的程度，查询各图像模糊程度对应的所述超出所述景深范围的程度，将所述目标区域划分为属于不同图像模糊程度的多个部分。
这里图像模糊程度与超出景深范围的程度之间的对应关系，可以是预先建立的。不同的图像模糊程度，对应了不同的超出景深范围的程度：超出景深范围越多，图像越模糊；相反地，超出景深范围越小，图像越清晰。这种对应关系是有镜头特性决定的，可以通过预先测量得到。可选地，预先测量在不同焦距下，镜头的景深范围，以及超出景深范围不同程度下某一成像对象在传感器上的模糊程度，从而建立图像模糊程度与超出景深范围的程度之间的对应关系。可见，这种对应关系，还可以与焦距存在某种程度联系，从而建立各个焦距下，图像模糊程度与超出景深范围的程度之间的对应关系。
步骤104，对所述目标区域中的第一子区域进行虚化处理。
作为一种可能的实现方式，可以采用统一的虚化参数，对目标区域内的第一子区域进行虚化处理。这里的虚化参数可以是预先设置的，针对每一待处理图像均采用该虚化参数进行虚化处理。
采用这种方式，虚化处理过程较为简便，但虚化效果可能会存在过渡不自然，以及虚化层次不清的情况。导致虚化效果不佳。
作为又一种可能的实现方式，针对第一子区域中各部分，根据深度不同，采用对应的虚化参数进行虚化处理。具体地，针对靠近前景成像的各部分，深度越大，对应的虚化参数的虚化程度越低，深度越小，对应的虚化参数的虚化程度越高；针对靠近后景成像的各部分，深度越大，对应的虚化参数的虚化程度越高，深度越小，对应的虚化参数的虚化程度越低。
由于根据深度不同，采用对应的虚化参数进行虚化处理，虚化处理过程较为简便，同时，虚化效果克服了虚化层次不清的情况。但仍可能会存在经过虚化处理的第一子区域和未经虚化处理的第二子区域之间过渡不自然，导致虚化效果不佳的情况出现。
作为另一种可能的实现方式，根据前述步骤中提及的目标模糊程度和所述第一子区域内各部分的图像模糊程度，确定所述第一子区域内各部分对应的虚化参数；根据所述虚化参数，对所述第一子区域内各部分进行虚化处理。
一方面，采用这种针对第一子区域内不同部分采用对应的虚化参数进行虚化处理的方式，能够使得虚化具有层次感。另一方面，通过根据前述步骤中提及的目标模糊程度和所述第一子区域内各部分的图像模糊程度，确定所述第一子区域内各部分对应的虚化参数的方式，使得经过虚化处理的第一子区域和未经虚化处理的第二子区域之间过渡虚化过渡自然，优化了虚化效果。
本实施例中，通过获取待处理图像的深度，以及获取待处理图像的景深范围之后，从待处理图像中，确定出深度超出所述景深范围的目标区域。进而根据目标区域的图像模糊程度，从目标区域中确定出待虚化的第一子区域和无需虚化的第二子区域，仅对对目标区域中的第一子区域进行虚化处理，解决现有技术中的虚化效率不高的技术问题。
为了清楚说明前述实施例，以下提供一种具体的应用场景，针对待处理图像进行虚化的过程进行具体说明。
首先，图5A为待处理图像的深度图，图5A所示的深度图携带有深度信息，图5A中，灰度深浅不同，代表不同的深度信息。
进而，读取双摄像头中对焦的摄像头的镜片位置。在本应用场景中，双摄像头采用了移动镜片的对焦机制。因此，可以根据镜片位置(lens position)计算出焦距(Focusdistance),然后根据焦距,计算出前景深(Front depth of field)和后景深(Back depthof field)，一般来说，针对同一个摄像头而言，焦距与前景深和后景深之间存在近似固定的对应关系，在确定焦距之后，可以查询对应的前景深和后景深，进而据此得到景深范围。
其次，结合图5A，以及计算出的景深范围，确定待处理图像中超出前景深的图像块A，超出后景深的图像块B，将图像块A和图像块B作为目标区域。
图5B为待处理图像中超出前景深的图像块A的示意图，图5C为待处理图像中超出后景深的图像块B的示意图，图5D为待处理图像中目标区域的示意图。
再次，如图5E所示，将目标区域划分为属于不同图像模糊程度的多个部分。若图像模糊程度相同，应当属于同一部分，从而属于同一部分的图像块可以是连续的，也可以是不连续的，本实施例中对此不作限定。
最后，针对划分得到的多个部分，根据所需的目标模糊程度，将图像模糊程度低于所述目标模糊程度的部分作为第一子区域，并将图像模糊程度不低于所述目标模糊程度的部分作为第二子区域，后续对目标区域中的第一子区域进行虚化处理。
为了实现上述实施例，本申请还提出一种图像虚化装置。
图6为本申请实施例提供的一种图像虚化装置的结构示意图。
如图6所示，该图像虚化装置包括：获取模块61、选取模块62、确定模块63和虚化模块64。
获取模块61，用于获取待处理图像的深度，以及获取所述待处理图像的景深范围。
选取模块62，用于从所述待处理图像中，确定出所述深度超出所述景深范围的目标区域。
确定模块63，用于根据所述目标区域的图像模糊程度，从所述目标区域中确定出待虚化的第一子区域。
虚化模块64，用于对所述目标区域中的第一子区域进行虚化处理。
进一步地，在本申请实施例的一种可能的实现方式中，确定模块63，具体用于：
根据所述目标区域内各像素点的深度超出所述景深范围的程度，将所述目标区域划分为属于不同图像模糊程度的多个部分；根据所需的目标模糊程度，将图像模糊程度低于所述目标模糊程度的部分作为第一子区域。
其中，确定模块63根据所述目标区域内各像素点的深度超出所述景深范围的程度，将所述目标区域划分为属于不同图像模糊程度的多个部分，包括：
确定模块63针对每一个像素点，若所述像素点的深度小于景深范围的下限，根据所述景深范围的下限与所述像素点的深度之间的差值，确定所述像素点的深度超出所述景深范围的程度；若所述像素点的深度大于景深范围的上限，根据所述像素点的深度与所述景深范围的上限之间的差值，确定所述像素点的深度超出所述景深范围的程度；根据各像素点的深度超出所述景深范围的程度，查询各图像模糊程度对应的所述超出所述景深范围的程度，将所述目标区域划分为属于不同图像模糊程度的多个部分。
进一步地，虚化模块64具体用于根据所述目标模糊程度和所述第一子区域内各部分的图像模糊程度，确定所述第一子区域内各部分对应的虚化参数；根据所述虚化参数，对所述第一子区域内各部分进行虚化处理。
本实施例提供的装置应用于双摄像头，所述双摄像头包括主摄像头和副摄像头，基于此，获取模块61具体用于获取主摄像头采集得到的主图像，以及获取副摄像头采集得到的副图像；将所述主图像作为所述待处理图像；根据所述主图像和所述副图像，生成所述待处理图像的深度。
获取模块61还具体用于确定所述双摄像头中处于合焦状态的摄像头的像距；根据所述像距和所述处于合焦状态的摄像头的镜头参数，确定焦距；根据所述焦距，以及所述处于合焦状态的摄像头的前景深和后景深，确定为所述景深范围。
需要说明的是，前述对方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
本实施例中的图像虚化装置，通过获取待处理图像的深度，以及获取待处理图像的景深范围之后，从待处理图像中，确定出深度超出所述景深范围的目标区域。进而根据目标区域的图像模糊程度，从目标区域中确定出待虚化的第一子区域，仅对对目标区域中的第一子区域进行虚化处理，解决现有技术中的虚化效率不高的技术问题。
为了实现上述实施例，本申请还提出一种移动终端，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现前述实施例所述的图像虚化方法。
为了实现上述实施例，本申请还提出一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如前述实施例所述的图像虚化方法。
图7示出了适于用来实现本申请实施方式的示例性计算机设备的框图。图7显示的计算机设备12仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图7所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry StandardArchitecture；以下简称：ISA)总线，微通道体系结构(Micro Channel Architecture；以下简称：MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics StandardsAssociation；以下简称：VESA)局域总线以及外围组件互连(Peripheral ComponentInterconnection；以下简称：PCI)总线。
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory；以下简称：RAM)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(Compact Disc Read OnlyMemory；以下简称：CD-ROM)、数字多功能只读光盘(Digital Video Disc Read OnlyMemory；以下简称：DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本申请各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本申请所描述的实施例中的功能和/或方法。
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(Local AreaNetwork；以下简称：LAN)，广域网(Wide Area Network；以下简称：WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种图像虚化方法，其特征在于，方法包括以下步骤：
获取待处理图像的深度，以及获取所述待处理图像的景深范围；
从所述待处理图像中，确定出所述深度超出所述景深范围的目标区域；
针对所述目标区域中每一个像素点，若所述像素点的深度小于景深范围的下限，根据所述景深范围的下限与所述像素点的深度之间的差值，确定所述像素点的深度超出所述景深范围的程度；若所述像素点的深度大于景深范围的上限，根据所述像素点的深度与所述景深范围的上限之间的差值，确定所述像素点的深度超出所述景深范围的程度；
根据各像素点的深度超出所述景深范围的程度，查询各图像模糊程度对应的所述超出所述景深范围的程度，将所述目标区域划分为属于不同图像模糊程度的多个部分，根据所需的目标模糊程度，将所述目标区域中图像模糊程度低于所述目标模糊程度的部分确定为待虚化的第一子区域，将所述目标区域中图像模糊程度不低于所述目标模糊程度的部分确定为不需要虚化的第二子区域；
对所述目标区域中的第一子区域进行虚化处理。
2.根据权利要求1所述的图像虚化方法，其特征在于，所述对所述目标区域中的第一子区域进行虚化处理，包括：
根据所述目标模糊程度和所述第一子区域内各部分的图像模糊程度，确定所述第一子区域内各部分对应的虚化参数；
根据所述虚化参数，对所述第一子区域内各部分进行虚化处理。
3.根据权利要求1-2任一项所述的图像虚化方法，其特征在于，应用于双摄像头，所述双摄像头包括主摄像头和副摄像头，所述获取待处理图像的深度，包括：
获取主摄像头采集得到的主图像，以及获取副摄像头采集得到的副图像；
将所述主图像作为所述待处理图像；
根据所述主图像和所述副图像，生成所述待处理图像的深度。
4.根据权利要求1-2任一项所述的图像虚化方法，其特征在于，应用于双摄像头，所述获取所述待处理图像的景深范围，包括：
确定所述双摄像头中处于合焦状态的摄像头的像距；
根据所述像距和所述处于合焦状态的摄像头的镜头参数，确定焦距；
根据所述焦距，以及所述处于合焦状态的摄像头的前景深和后景深，确定所述景深范围。
5.一种图像虚化装置，其特征在于，包括：
获取模块，用于获取待处理图像的深度，以及获取所述待处理图像的景深范围；
选取模块，用于从所述待处理图像中，确定出所述深度超出所述景深范围的目标区域；
确定模块，用于根据所述目标区域的图像模糊程度，将所述目标区域划分为属于不同图像模糊程度的多个部分,根据所需的目标模糊程度，将所述目标区域中图像模糊程度低于所述目标模糊程度的部分确定为待虚化的第一子区域；
所述确定模块，具体用于：
针对所述目标区域中每一个像素点，若所述像素点的深度小于景深范围的下限，根据所述景深范围的下限与所述像素点的深度之间的差值，确定所述像素点的深度超出所述景深范围的程度；若所述像素点的深度大于景深范围的上限，根据所述像素点的深度与所述景深范围的上限之间的差值，确定所述像素点的深度超出所述景深范围的程度；
根据各像素点的深度超出所述景深范围的程度，查询各图像模糊程度对应的所述超出所述景深范围的程度，将所述目标区域划分为属于不同图像模糊程度的多个部分，根据所需的目标模糊程度，将所述目标区域中图像模糊程度低于所述目标模糊程度的部分确定为待虚化的第一子区域，将所述目标区域中图像模糊程度不低于所述目标模糊程度的部分确定为不需要虚化的第二子区域；
虚化模块，用于对所述目标区域中的第一子区域进行虚化处理。
6.一种移动终端，其特征在于，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如权利要求1-4任一项所述的图像虚化方法。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-4中任一项所述的图像虚化方法。
CN201711243576.0A 2017-11-30 2017-11-30 图像虚化方法、装置、移动终端和存储介质 Active CN108076286B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201711243576.0A CN108076286B (zh) 2017-11-30 2017-11-30 图像虚化方法、装置、移动终端和存储介质
PCT/CN2018/115056 WO2019105214A1 (zh) 2017-11-30 2018-11-12 图像虚化方法、装置、移动终端和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711243576.0A CN108076286B (zh) 2017-11-30 2017-11-30 图像虚化方法、装置、移动终端和存储介质

Publications (2)

Publication Number Publication Date
CN108076286A CN108076286A (zh) 2018-05-25
CN108076286B true CN108076286B (zh) 2019-12-27

Family

ID=62157759

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711243576.0A Active CN108076286B (zh) 2017-11-30 2017-11-30 图像虚化方法、装置、移动终端和存储介质

Country Status (2)

Country Link
CN (1) CN108076286B (zh)
WO (1) WO2019105214A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108076286B (zh) * 2017-11-30 2019-12-27 Oppo广东移动通信有限公司 图像虚化方法、装置、移动终端和存储介质
CN110012208B (zh) * 2018-01-05 2020-08-04 Oppo广东移动通信有限公司 拍照对焦方法、装置、存储介质及电子设备
CN108960130B (zh) * 2018-06-29 2021-11-16 联想(北京)有限公司 视频文件智能处理方法和装置
CN110956577A (zh) * 2018-09-27 2020-04-03 Oppo广东移动通信有限公司 电子装置的控制方法、电子装置和计算机可读存储介质
CN110175950A (zh) * 2018-10-24 2019-08-27 广东小天才科技有限公司 一种基于可穿戴设备的隐私保护方法及可穿戴设备
CN111127328A (zh) * 2018-10-31 2020-05-08 Tcl集团股份有限公司 一种图像虚化方法、终端、存储介质及处理器
CN111311481A (zh) * 2018-12-12 2020-06-19 Tcl集团股份有限公司 背景虚化方法、装置、终端设备及存储介质
CN110349080B (zh) * 2019-06-10 2023-07-04 北京迈格威科技有限公司 一种图像处理方法及装置
CN110728632B (zh) * 2019-09-04 2022-07-12 北京奇艺世纪科技有限公司 图像模糊处理方法、装置、计算机设备和存储介质
CN110827377B (zh) * 2019-10-31 2023-05-26 Oppo广东移动通信有限公司 粒子模糊处理方法、装置、计算机设备及存储介质
CN111626924B (zh) * 2020-05-28 2023-08-15 维沃移动通信有限公司 图像的虚化处理方法、装置、电子设备及可读存储介质
CN113938578A (zh) * 2020-07-13 2022-01-14 武汉Tcl集团工业研究院有限公司 一种图像虚化方法、存储介质及终端设备
CN113965664B (zh) * 2020-07-20 2024-02-09 武汉Tcl集团工业研究院有限公司 一种图像虚化方法、存储介质以及终端设备
CN113066001A (zh) * 2021-02-26 2021-07-02 华为技术有限公司 一种图像处理方法及相关设备
CN113610884A (zh) * 2021-07-08 2021-11-05 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN113673474B (zh) * 2021-08-31 2024-01-12 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
CN113873160B (zh) * 2021-09-30 2024-03-05 维沃移动通信有限公司 图像处理方法、装置、电子设备和计算机存储介质
CN116051362B (zh) * 2022-08-24 2023-09-15 荣耀终端有限公司 图像处理方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106357980A (zh) * 2016-10-19 2017-01-25 广东欧珀移动通信有限公司 图像虚化处理方法、装置和移动终端
CN106454118A (zh) * 2016-11-18 2017-02-22 上海传英信息技术有限公司 照片虚化方法和移动终端
CN106530241A (zh) * 2016-10-31 2017-03-22 努比亚技术有限公司 一种图像虚化处理方法和装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8503801B2 (en) * 2010-09-21 2013-08-06 Adobe Systems Incorporated System and method for classifying the blur state of digital image pixels
CN108076286B (zh) * 2017-11-30 2019-12-27 Oppo广东移动通信有限公司 图像虚化方法、装置、移动终端和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106357980A (zh) * 2016-10-19 2017-01-25 广东欧珀移动通信有限公司 图像虚化处理方法、装置和移动终端
CN106530241A (zh) * 2016-10-31 2017-03-22 努比亚技术有限公司 一种图像虚化处理方法和装置
CN106454118A (zh) * 2016-11-18 2017-02-22 上海传英信息技术有限公司 照片虚化方法和移动终端

Also Published As

Publication number Publication date
WO2019105214A1 (zh) 2019-06-06
CN108076286A (zh) 2018-05-25

Similar Documents

Publication Publication Date Title
CN108076286B (zh) 图像虚化方法、装置、移动终端和存储介质
KR102278776B1 (ko) 이미지 처리 방법, 기기, 및 장치
JP7015374B2 (ja) デュアルカメラを使用する画像処理のための方法および移動端末
US9998650B2 (en) Image processing apparatus and image pickup apparatus for adding blur in an image according to depth map
KR102306283B1 (ko) 이미지 처리 방법 및 장치
JP7145208B2 (ja) デュアルカメラベースの撮像のための方法および装置ならびに記憶媒体
JP6911192B2 (ja) 画像処理方法、装置および機器
CN107945105B (zh) 背景虚化处理方法、装置及设备
KR20170005009A (ko) ３ｄ 라돈 이미지의 생성 및 사용
KR20170135855A (ko) 패닝 샷들의 자동 생성
CN110677621B (zh) 摄像头调用方法、装置、存储介质及电子设备
CN113129241B (zh) 图像处理方法及装置、计算机可读介质、电子设备
CN107133982B (zh) 深度图构建方法、装置及拍摄设备、终端设备
CN109688321B (zh) 电子设备及其图像显示方法、具有存储功能的装置
CN109906599A (zh) 一种终端的拍照方法和终端
US20160275657A1 (en) Imaging apparatus, image processing apparatus and method of processing image
CN116456191A (zh) 图像生成方法、装置、设备及计算机可读存储介质
JP2023033355A (ja) 画像処理装置およびその制御方法
JP2018129825A (ja) 情報処理装置及び方法、情報処理システム、ならびにプログラム。
JP6645711B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2012142729A (ja) カメラ
JP2008263386A (ja) 静止画撮像装置
CN115409725A (zh) 一种图像虚化方法、装置、设备及存储介质
JP2021096460A (ja) 像ブレ補正装置及びその制御方法、プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant after: OPPO Guangdong Mobile Communications Co., Ltd.

Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18

Applicant before: Guangdong Opel Mobile Communications Co., Ltd.

GR01 Patent grant
GR01 Patent grant