CN110009555B - 图像虚化方法、装置、存储介质及电子设备 - Google Patents
图像虚化方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN110009555B CN110009555B CN201810012080.0A CN201810012080A CN110009555B CN 110009555 B CN110009555 B CN 110009555B CN 201810012080 A CN201810012080 A CN 201810012080A CN 110009555 B CN110009555 B CN 110009555B
- Authority
- CN
- China
- Prior art keywords
- image
- blurring
- preset
- blurred
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 64
- 238000004422 calculation algorithm Methods 0.000 claims description 20
- 238000003708 edge detection Methods 0.000 claims description 14
- 230000000750 progressive effect Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 abstract description 5
- 238000004590 computer program Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000009977 dual effect Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000001914 filtration Methods 0.000 description 4
- 230000005764 inhibitory process Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- G06T3/04—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
Abstract
本发明实施例公开了一种图像虚化方法、装置、存储介质及电子设备，所述方法包括：获取双摄像头拍摄的预设图像；计算所述预设图像中各个像素点的景深，并根据所述各个像素点的景深，得到所述预设图像中的前景图像；检测所述前景图像中目标图像的轮廓边缘；将所述目标图像的轮廓边缘外的区域设为待虚化区域；将所述待虚化区域虚化。先通过各个像素点的景深，得到前景图像，再检测前景图像中目标图像的轮廓边缘，根据轮廓边缘进行精确提取待虚化区域，准确的提取目标图像，突出重点，增强立体感。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像虚化方法、装置、存储介质及电子设备。
背景技术
背景虚化可以使拍摄的照片突出重点目标，立体感更强，是一项重要的用户体验。目前的很多电子设备实现背景需要，首先采用双摄像头获取图像，然后通过测量景深的方式实现前景背景分割，从而聚焦前景实现背景虚化。但是由于双摄景深的测量在目标边缘处精度较差，难以准确的提取前景目标，这样会降低背景虚化效果。
发明内容
本发明实施例提供一种图像虚化方法、装置、存储介质及电子设备，可以减少噪点，提升图像画质。
第一方面，本发明实施例提供一种图像虚化方法，应用于电子设备，所述方法包括：
获取双摄像头拍摄的预设图像；
计算所述预设图像中各个像素点的景深，并根据所述各个像素点的景深，得到所述预设图像中的前景图像；
检测所述前景图像中目标图像的轮廓边缘；
将所述目标图像的轮廓边缘外的区域设为待虚化区域；
将所述待虚化区域虚化。
第二方面，本发明实施例提供了一种图像虚化装置，包括：
预设图像获取模块，用于获取双摄像头拍摄的预设图像；
前景图像获取模块，用于计算所述预设图像中各个像素点的景深，并根据所述各个像素点的景深，得到所述预设图像中的前景图像；
轮廓边缘获取模块，用于检测所述前景图像中目标图像的轮廓边缘；
待虚化区域获取模块，用于将所述目标图像的轮廓边缘外的区域设为待虚化区域；
虚化模块，用于将所述待虚化区域虚化。
第三方面，本申请实施例提供一种存储介质，其上存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的图像虚化方法。
第四方面，本申请实施例提供一种电子设备，包括处理器和存储器，所述存储器有计算机程序，所述处理器通过调用所述计算机程序，用于执行上述的图像虚化方法。
本发明实施例公开了一种图像虚化方法、装置、存储介质及电子设备。该图像虚化方法，通过获取双摄像头拍摄的预设图像；计算预设图像中各个像素点的景深，并根据各个像素点的景深，得到预设图像中的前景图像；检测前景图像中目标图像的轮廓边缘；将目标图像的轮廓边缘外的区域设为待虚化区域；将待虚化区域虚化。先通过各个像素点的景深，得到前景图像，再检测前景图像中目标图像的轮廓边缘，根据轮廓边缘进行精确提取待虚化区域，准确的提取目标图像，突出重点，增强立体感。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的图像虚化装置的场景示意图。
图2是本发明实施例提供的图像虚化方法的第一种流程示意图。
图3是本发明实施例提供的图像虚化方法的第二种流程示意图。
图4是本发明实施例提供的图像虚化装置的另一场景示意图。
图5是本发明实施例提供的图像虚化方法的第三种流程示意图。
图6是本发明实施例提供的图像虚化方法的第四种流程示意图。
图7是本发明实施例提供的图像虚化装置的第一种结构示意图。
图8是本发明实施例提供的图像虚化装置的第二种结构示意图。
图9是本发明实施例提供的图像虚化装置的第三种结构示意图。
图10是本发明实施例提供的图像虚化装置的第四种结构示意图。
图11是本发明实施例提供的电子设备的一种结构示意图。
图12是本发明实施例提供的电子设备的另一种结构示意图。
具体实施方式
请参照图式，其中相同的组件符号代表相同的组件，本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例，其不应被视为限制本申请未在此详述的其它具体实施例。
在以下的说明中，本申请的具体实施例将参考由一部或多部计算机所执行的步骤及符号来说明，除非另有述明。因此，这些步骤及操作将有数次提到由计算机执行，本文所指的计算机执行包括了由代表了以一结构化型式中的数据的电子信号的计算机处理单元的操作。此操作转换该数据或将其维持在该计算机的内存系统中的位置处，其可重新配置或另外以本领域测试人员所熟知的方式来改变该计算机的运作。该数据所维持的数据结构为该内存的实体位置，其具有由该数据格式所定义的特定特性。但是，本申请原理以上述文字来说明，其并不代表为一种限制，本领域测试人员将可了解到以下所述的多种步骤及操作亦可实施在硬件当中。
本文所使用的术语“模块”可看做为在该运算系统上执行的软件对象。本文所述的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文所述的装置及方法可以以软件的方式进行实施，当然也可在硬件上进行实施，均在本申请保护范围之内。
本申请中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是某些实施例还包括没有列出的步骤或模块，或某些实施例还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
请参阅图1，图1为本申请实施例提供的图像虚化装置的应用场景示意图。例如，图像虚化装置获取双摄像头拍摄的预设图像；计算预设图像中各个像素点的景深，并根据各个像素点的景深，得到预设图像中的前景图像；检测前景图像中目标图像的轮廓边缘；将目标图像的轮廓边缘外的区域设为待虚化区域；将待虚化区域虚化。
本申请实施例提供一种图像虚化方法，该图像虚化方法的执行主体可以是本申请实施例提供的图像虚化装置，或者集成了该图像虚化装置的电子设备，其中该图像虚化装置可以采用硬件或者软件的方式实现。可以理解的是，本申请实施例的执行主体可以是诸如智能手机或平板电脑等的终端设备。
本申请实施例将从图像虚化装置的角度进行描述，该图像虚化装置具体可以集成在电子设备中。该图像虚化方法包括：获取双摄像头拍摄的预设图像；计算预设图像中各个像素点的景深，并根据各个像素点的景深，得到预设图像中的前景图像；检测前景图像中目标图像的轮廓边缘；将目标图像的轮廓边缘外的区域设为待虚化区域；将待虚化区域虚化。
请参阅图2，图2为本申请实施例提供的图像虚化方法的第一种流程示意图。本申请实施例提供的图像虚化方法应用于电子设备，具体流程可以如下：
101、获取双摄像头拍摄的预设图像。
双摄像头可以横向相邻设置在一起，也可以竖向相邻设置。双摄像头可以为电子设备如智能手机的双后置摄像头或双前置摄像头。双摄像头可以一个为彩色摄像头另一个为黑白摄像头，双摄像头也可以采用焦距不一样的摄像头，当然双摄像头也可以采用一样的摄像头。
可以通过本地电子设备获取双摄像头拍摄的预设图像，也可以通过网络、蓝牙的途径获取其他电子设备双摄像头拍摄获取的预设图像。
102、计算预设图像中各个像素点的景深，并根据各个像素点的景深，得到预设图像中的前景图像。
得到预设图像后，计算预设图像中各个像素点的景深。可以通过双摄像头获取两个预设图像，然后根据两个预设图像拍摄角度、焦点位置、拍摄位置、拍摄高度等区别，计算得到两个预设图像中任意一个预设图像各个像素点的景深。
请参阅图3，图3为本申请实施例提供的图像虚化方法的第二种流程示意图。本申请实施例提供的计算预设图像中各个像素点的景深的步骤，还包括如下流程：
1021、预设图像包括第一摄像头获取的第一预设图像，以及第二预设摄像头获取的第二预设图像。
双摄摄像头包括第一摄像头和第二摄像头，第一摄像头拍摄获取第一预设图像，第二摄像头拍摄获取第二预设图像，第一预设图像和第二预设图像可以合成为预设图像。
1022、提取第一预设图像的第一特征点集合，以及第二预设图像的第二特征点集合。
提取第一预设图像中的特征点形成第一特征点集合，提取第二预设图像中的特征点形成第二特征点集合。
在一些实施例中，基于尺度不变特征变换算法(Scale-invariant featuretransform，SIFT)或加速稳健特征算法(Speeded Up Robust Features,SURF)，提取第一预设图像的特征点形成第一特征点集合。
在一些实施例中，基于尺度不变特征变换算法或加速稳健特征算法，提取第二预设图像的特征点形成第二特征点集合。
1023、将第一特征点集合和第二特征点集合中的特征点进行匹配，得到匹配结果。
然后将第一特征点集合和第二特征点集合中的特征点进行匹配，确定出第一预设图像和第二预设图像对应的像素点，在某些情况下，在利用双摄像头拍摄第一预设图像和第二预设图像的时候，无法保证第一预设图像与第二预设图像的拍摄位置、拍摄角度和拍摄高度完全相同，可能会存在一定的偏差，所以在此情况下，为了保证第一预设图像与第二预设图像中每个像素点相互对应，需要对第一预设图像和第二预设图像的像素点进行匹配，以确定出第一预设图像与第二预设图像对应的像素点。
1024、根据匹配结果进行像素逐行扫描，计算得到第一预设图像和/或第二预设图像中各个像素点的景深。
确定出第一预设图像与第二预设图像对应的像素点后，对这些像素点进行像素点逐行扫描，计算得到第一预设图像和/或第二预设图像中各个像素点的景深。可以通过对第一预设图像与第二预设图像中每个对应的像素点之间的亮度值进行减法运算得到各个像素点的景深。
在一些实施例中，还可以通过获取两张预设图像，两张预设图像的拍摄角度、焦点位置、拍摄位置、拍摄高度中至少有一项不一样。然后通过两张预设图像的差异，计算得到两张预设图像中任意一张预设图像中各个像素点的景深。
103、检测前景图像中目标图像的轮廓边缘。
获取前景图像后，基于预设算法得到该前景图像中的边缘信息，通过该边缘信息选出目标图像，进而得到目标图像的轮廓边缘。
在一些实施例中，检测前景图像中目标图像的轮廓边缘的步骤，还包括如下流程：
构建边缘检测算子；
基于边缘检测算子扫描前景图像，得到前景图像中目标图像的轮廓边缘。
先构建边缘检测算子(Canny)，然后基于该边缘检测算子扫描前景图像，得到前景图像中目标图像的轮廓边缘。具体的，先应用高斯滤波来平滑前景图像去除噪声；然后找寻前景图像的强度梯度(intensity gradients)；再应用非最大抑制(non-maximumsuppression)技术来消除边误检；接着应用双阈值的方法来决定可能的(潜在的)边界；最后利用滞后技术来跟踪边界。从而得到前景图像中目标图像的轮廓边缘。
需要说明的是，目标图像可以为前景图像，目标图像也可以为前景图像中的一个子图像。例如，前景图像中包括用户A的图像，目标图像可以为整个前景图像，也可以为前景图像中用户A的图像。
104、将目标图像的轮廓边缘外的区域设为待虚化区域。
得到目标图像的轮廓边缘后，将目标图像轮廓边缘外的区域设为待虚化区域，目标图像轮廓边缘内的图像不做虚化处理。
需要说明的是，目标图像可以为前景图像，目标图像也可以为前景图像中的一个子图像。例如，前景图像中包括用户A的图像，目标图像可以为整个前景图像，也可以为前景图像中用户A的图像。
105、将待虚化区域虚化。
根据预设算法将待虚化区域虚化，如根据高斯滤波算法将待虚化区域虚化。可以在双摄像头获取图像过程中，将第一预设图像和第二预设图像进行处理，将待虚化区域虚化后的图像展示给用户。也可以先获取第一预设图像和第二预设图像合成后的预设图像后，识别该预设图像中的待虚化区域后，将该待虚化区域虚化形成新的图像。
请参阅图4，图4为本申请实施例提供的图像虚化方法的另一种场景示意图。例如，先获取预设图像201，然后计算预设图像201中各个像素点的景深，并根据各个像素点的景深，得到预设图像中201的前景图像202，然后检测前景图像中目标图像的轮廓边缘，将目标图像的轮廓边缘外的区域设为待虚化区域203，最后将待虚化区域203虚化。
请参阅图5，图5为本申请实施例提供的图像虚化方法的第三种流程示意图。本申请实施例提供的将待虚化区域虚化的步骤，还包括如下流程：
1051、判断目标图像是否为人物图像；
1052、若目标图像为人物图像，则将待虚化区域按第一虚化系数虚化；
1053、若目标图像不为人物图像，则将待虚化区域按第二虚化系数虚化。
通过人脸识别技术是吧目标图像是否为人物图像，因为人物图像与其他区域的关联度较小，为了更加突出人物图像，可以设置较高的虚化系数，而其他图像，如风景图像、物品图像，可以设置较低的虚化系数。即目标图像为人物图像的虚化效果比其他的图像虚化效果更强，针对不同的目标图像按照不同的虚化系数进行虚化。
请参阅图6，图6为本申请实施例提供的图像虚化方法的第四种流程示意图。本申请实施例提供的将待虚化区域虚化的步骤，还包括如下流程：
1054、将待虚化区域划分为位于前景图像中的第一待虚化区域和位于后景图像的第二待虚化区域；
1055、第一待虚化区域按第三虚化系数虚化，第二待虚化区域按第四虚化参数虚化。
待虚化区域包括位于前景图像中的第一待虚化区域和位于后景图像的第二待虚化区域，然后将第一待虚化区域和第二待虚化区域按不同虚化系数进行虚化。如第一待虚化区域的虚化系数小于第二待虚化区域的虚化系数，即第一待虚化区域的虚化强度小于第二待虚化区域，图像的虚化过渡更好。
由上可知，本申请实施例提供的图像虚化方法，通过获取双摄像头拍摄的预设图像；计算预设图像中各个像素点的景深，并根据各个像素点的景深，得到预设图像中的前景图像；检测前景图像中目标图像的轮廓边缘；将目标图像的轮廓边缘外的区域设为待虚化区域；将待虚化区域虚化。先通过各个像素点的景深，得到前景图像，再检测前景图像中目标图像的轮廓边缘，根据轮廓边缘进行精确提取待虚化区域，准确的提取目标图像，突出重点，增强立体感。
请参阅图7，图7为本申请实施例提供的图像虚化装置的第一种结构示意图。其中该图像虚化装置500应用于电子设备，该图像虚化装置500包括预设图像获取模块501、前景图像获取模块502、轮廓边缘获取模块503、待虚化区域获取模块504和虚化模块505。其中：
预设图像获取模块501，用于获取双摄像头拍摄的预设图像。
双摄像头可以横向相邻设置在一起，也可以竖向相邻设置。双摄像头可以为电子设备如智能手机的双后置摄像头或双前置摄像头。双摄像头可以一个为彩色摄像头另一个为黑白摄像头，双摄像头也可以采用焦距不一样的摄像头，当然双摄像头也可以采用一样的摄像头。
可以通过本地电子设备获取双摄像头拍摄的预设图像，也可以通过网络、蓝牙的途径获取其他电子设备双摄像头拍摄获取的预设图像。
前景图像获取模块502，用于计算预设图像中各个像素点的景深，并根据各个像素点的景深，得到预设图像中的前景图像。
得到预设图像后，计算预设图像中各个像素点的景深。可以通过双摄像头获取两个预设图像，然后根据两个预设图像拍摄角度、焦点位置、拍摄位置、拍摄高度等区别，计算得到两个预设图像中任意一个预设图像各个像素点的景深。
在一些实施例中，还可以通过获取两张预设图像，两张预设图像的拍摄角度、焦点位置、拍摄位置、拍摄高度中至少有一项不一样。然后通过两张预设图像的差异，计算得到两张预设图像中任意一张预设图像中各个像素点的景深。
轮廓边缘获取模块503，用于检测前景图像中目标图像的轮廓边缘。
获取前景图像后，基于预设算法得到该前景图像中的边缘信息，通过该边缘信息选出目标图像，进而得到目标图像的轮廓边缘。
待虚化区域获取模块504，用于将目标图像的轮廓边缘外的区域设为待虚化区域。
得到目标图像的轮廓边缘后，将目标图像轮廓边缘外的区域设为待虚化区域，目标图像轮廓边缘内的图像不做虚化处理。
需要说明的是，目标图像可以为前景图像，目标图像也可以为前景图像中的一个子图像。例如，前景图像中包括用户A的图像，目标图像可以为整个前景图像，也可以为前景图像中用户A的图像。
虚化模块505，用于将待虚化区域虚化。
根据预设算法将待虚化区域虚化，如根据高斯滤波算法将待虚化区域虚化。可以在双摄像头获取图像过程中，将第一预设图像和第二预设图像进行处理，将待虚化区域虚化后的图像展示给用户。也可以先获取第一预设图像和第二预设图像合成后的预设图像后，识别该预设图像中的待虚化区域后，将该待虚化区域虚化形成新的图像。
请参阅图8，图8为本申请实施例提供的图像虚化装置的第二种结构示意图。该实施例中，预设图像包括第一摄像头获取的第一预设图像，以及第二预设摄像头获取的第二预设图像。双摄摄像头包括第一摄像头和第二摄像头，第一摄像头拍摄获取第一预设图像，第二摄像头拍摄获取第二预设图像，第一预设图像和第二预设图像可以合成为预设图像。
前景图像获取模块502包括特征点集合获取子模块5021、匹配子模块5022和像素点景深获取子模块5023。其中：
特征点集合获取子模块5021，用于提取第一预设图像的第一特征点集合，以及第二预设图像的第二特征点集合。
提取第一预设图像中的特征点形成第一特征点集合，提取第二预设图像中的特征点形成第二特征点集合。
在一些实施例中，基于尺度不变特征变换算法(Scale-invariant featuretransform，SIFT)或加速稳健特征算法(Speeded Up Robust Features,SURF)，提取第一预设图像的特征点形成第一特征点集合。
在一些实施例中，基于尺度不变特征变换算法或加速稳健特征算法，提取第二预设图像的特征点形成第二特征点集合。
匹配子模块5022，用于将第一特征点集合和第二特征点集合中的特征点进行匹配，得到匹配结果。
然后将第一特征点集合和第二特征点集合中的特征点进行匹配，确定出第一预设图像和第二预设图像对应的像素点，在某些情况下，在利用双摄像头拍摄第一预设图像和第二预设图像的时候，无法保证第一预设图像与第二预设图像的拍摄位置、拍摄角度和拍摄高度完全相同，可能会存在一定的偏差，所以在此情况下，为了保证第一预设图像与第二预设图像中每个像素点相互对应，需要对第一预设图像和第二预设图像的像素点进行匹配，以确定出第一预设图像与第二预设图像对应的像素点。
像素点景深获取子模块5023，用于根据匹配结果进行像素逐行扫描，计算得到第一预设图像和/或第二预设图像中各个像素点的景深。
确定出第一预设图像与第二预设图像对应的像素点后，对这些像素点进行像素点逐行扫描，计算得到第一预设图像和/或第二预设图像中各个像素点的景深。可以通过对第一预设图像与第二预设图像中每个对应的像素点之间的亮度值进行减法运算得到各个像素点的景深。
在一些实施例中，还可以通过获取两张预设图像，两张预设图像的拍摄角度、焦点位置、拍摄位置、拍摄高度中至少有一项不一样。然后通过两张预设图像的差异，计算得到两张预设图像中任意一张预设图像中各个像素点的景深。
请参阅图9，图9为本申请实施例提供的图像虚化装置的第三种结构示意图。该实施例中，轮廓边缘获取模块503包括构建子模块5031和轮廓边缘获取子模块5032。其中：
构建子模块5031，用于构建边缘检测算子；
轮廓边缘获取子模块5032，用于基于边缘检测算子扫描前景图像，得到前景图像中目标图像的轮廓边缘。
先构建边缘检测算子(Canny)，然后基于该边缘检测算子扫描前景图像，得到前景图像中目标图像的轮廓边缘。具体的，先应用高斯滤波来平滑前景图像去除噪声；然后找寻前景图像的强度梯度(intensity gradients)；再应用非最大抑制(non-maximumsuppression)技术来消除边误检；接着应用双阈值的方法来决定可能的(潜在的)边界；最后利用滞后技术来跟踪边界。从而得到前景图像中目标图像的轮廓边缘。
需要说明的是，目标图像可以为前景图像，目标图像也可以为前景图像中的一个子图像。例如，前景图像中包括用户A的图像，目标图像可以为整个前景图像，也可以为前景图像中用户A的图像。
请参阅图10，图10为本申请实施例提供的图像虚化装置的第四种结构示意图。该实施例中，虚化模块505包括判断子模块5051、第一虚化子模块5052和第二虚化子模块5053。其中：
判断子模块5051，用于判断目标图像是否为人物图像；
第一虚化子模块5052，用于若目标图像为人物图像，则将待虚化区域按第一虚化系数虚化；
第二虚化子模块5053，用于若目标图像不为人物图像，则将待虚化区域按第二虚化系数虚化。
通过人脸识别技术是吧目标图像是否为人物图像，因为人物图像与其他区域的关联度较小，为了更加突出人物图像，可以设置较高的虚化系数，而其他图像，如风景图像、物品图像，可以设置较低的虚化系数。即目标图像为人物图像的虚化效果比其他的图像虚化效果更强，针对不同的目标图像按照不同的虚化系数进行虚化。
在一些实施例中，虚化模块还可以包括划分子模块和虚化处理子模块。其中划分子模块，用于将待虚化区域划分为位于前景图像中的第一待虚化区域和位于后景图像的第二待虚化区域。虚化处理子模块，用于第一待虚化区域按第三虚化系数虚化，第二待虚化区域按第四虚化参数虚化。
待虚化区域包括位于前景图像中的第一待虚化区域和位于后景图像的第二待虚化区域，然后将第一待虚化区域和第二待虚化区域按不同虚化系数进行虚化。如第一待虚化区域的虚化系数小于第二待虚化区域的虚化系数，即第一待虚化区域的虚化强度小于第二待虚化区域，图像的虚化过渡更好。
由上可知，本申请实施例提供的图像虚化装置，通过获取双摄像头拍摄的预设图像；计算预设图像中各个像素点的景深，并根据各个像素点的景深，得到预设图像中的前景图像；检测前景图像中目标图像的轮廓边缘；将目标图像的轮廓边缘外的区域设为待虚化区域；将待虚化区域虚化。先通过各个像素点的景深，得到前景图像，再检测前景图像中目标图像的轮廓边缘，根据轮廓边缘进行精确提取待虚化区域，准确的提取目标图像，突出重点，增强立体感。
具体实施时，以上各个模块可以作为独立的实体来实现，也可以进行任意组合，作为同一或若干个实体来实现，以上各个模块的具体实施可参见前面的方法实施例，在此不再赘述。
本申请实施例中，图像虚化装置与上文实施例中的图像虚化方法属于同一构思，在图像虚化装置上可以运行图像虚化方法实施例中提供的任一方法，其具体实现过程详见图像虚化方法的实施例，此处不再赘述。
本申请实施例还提供一种电子设备。请参阅图11，电子设备600包括处理器601以及存储器602。其中，处理器601与存储器602电性连接。
处理器600是电子设备600的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或加载存储在存储器602内的计算机程序，以及调用存储在存储器602内的数据，执行电子设备600的各种功能并处理数据，从而对电子设备600进行整体监控。
存储器602可用于存储软件程序以及单元，处理器601通过运行存储在存储器602的计算机程序以及单元，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器601对存储器602的访问。
在本申请实施例中，电子设备600中的处理器601会按照如下的步骤，将一个或一个以上的计算机程序的进程对应的指令加载到存储器602中，并由处理器601运行存储在存储器602中的计算机程序，从而实现各种功能，如下：
获取双摄像头拍摄的预设图像；
计算预设图像中各个像素点的景深，并根据各个像素点的景深，得到预设图像中的前景图像；
检测前景图像中目标图像的轮廓边缘；
将目标图像的轮廓边缘外的区域设为待虚化区域；
将待虚化区域虚化。
在一些实施方式中，处理器601还用于执行以下步骤：
构建边缘检测算子；
基于边缘检测算子扫描前景图像，得到前景图像中目标图像的轮廓边缘。
在一些实施方式中，处理器601还用于执行以下步骤：
预设图像包括第一摄像头获取的第一预设图像，以及第二预设摄像头获取的第二预设图像；
提取第一预设图像的第一特征点集合，以及第二预设图像的第二特征点集合；
将第一特征点集合和第二特征点集合中的特征点进行匹配，得到匹配结果；
根据匹配结果进行像素逐行扫描，计算得到第一预设图像和/或第二预设图像中各个像素点的景深。
处理器601还用于执行以下步骤：
预设图像包括第一摄像头获取的第一预设图像，以及第二预设摄像头获取的第二预设图像；
基于尺度不变特征变换算法或加速稳健特征算法，提取第一预设图像的第一特征点集合，以及第二预设图像的第二特征点集合；
基于近似最近邻算法将第一特征点集合和第二特征点集合中的特征点进行匹配，得到匹配结果；
根据匹配结果进行像素逐行扫描，计算得到第一预设图像和/或第二预设图像中各个像素点的景深。
在一些实施方式中，处理器601还用于执行以下步骤：
判断目标图像是否为人物图像；
若是，则将待虚化区域按第一虚化系数虚化；
若否，则将待虚化区域按第二虚化系数虚化。
在一些实施方式中，处理器601还用于执行以下步骤：
将待虚化区域划分为位于前景图像中的第一待虚化区域和位于后景图像的第二待虚化区域；
第一待虚化区域按第三虚化系数虚化，第二待虚化区域按第四虚化参数虚化。
由上述可知，本申请实施例提供的电子设备，通过获取双摄像头拍摄的预设图像；计算预设图像中各个像素点的景深，并根据各个像素点的景深，得到预设图像中的前景图像；检测前景图像中目标图像的轮廓边缘；将目标图像的轮廓边缘外的区域设为待虚化区域；将待虚化区域虚化。先通过各个像素点的景深，得到前景图像，再检测前景图像中目标图像的轮廓边缘，根据轮廓边缘进行精确提取待虚化区域，准确的提取目标图像，突出重点，增强立体感。
请一并参阅图12，在一些实施方式中，电子设备600还可以包括：显示器603、射频电路604、音频电路605以及电源606。其中，其中，显示器603、射频电路604、音频电路605以及电源606分别与处理器601电性连接。
显示器603可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示器603可以包括显示面板，在一些实施方式中，可以采用液晶显示器(Liquid Crystal Display，LCD)、或者有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板。
射频电路604可以用于收发射频信号，以通过无线通信与网络设备或其他电子设备建立无线通讯，与网络设备或其他电子设备之间收发信号。
音频电路605可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。
电源606可以用于给电子设备600的各个部件供电。在一些实施方式中，电源606可以通过电源管理系统与处理器601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图12中未示出，电子设备600还可以包括摄像头、蓝牙单元等，在此不再赘述。
可以理解的是，本申请实施例的电子设备可以是诸如智能手机或平板电脑等的终端设备。
本申请实施例还提供一种存储介质，存储介质存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行上述任一实施例中的图像虚化方法，比如：通过获取双摄像头拍摄的预设图像；计算预设图像中各个像素点的景深，并根据各个像素点的景深，得到预设图像中的前景图像；检测前景图像中目标图像的轮廓边缘；将目标图像的轮廓边缘外的区域设为待虚化区域；将待虚化区域虚化。
在本申请实施例中，存储介质可以是磁碟、光盘、只读存储器(Read Only Memory，ROM)、或者随机存取记忆体(Random Access Memory，RAM)等。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
需要说明的是，对本申请实施例的图像虚化方法而言，本领域普通测试人员可以理解实现本申请实施例图像虚化方法的全部或部分流程，是可以通过计算机程序来控制相关的硬件来完成，计算机程序可存储于一计算机可读取存储介质中，如存储在电子设备的存储器中，并被该电子设备内的至少一个处理器执行，在执行过程中可包括如图像虚化方法的实施例的流程。其中，的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的图像虚化装置而言，其各功能单元可以集成在一个处理芯片中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中，存储介质譬如为只读存储器，磁盘或光盘等。
以上对本发明实施例所提供的一种图像虚化方法、装置、存储介质及电子设备进行了详细介绍，本文中应用程序了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用程序范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种图像虚化方法，应用于电子设备，其特征在于，所述方法包括：
获取双摄像头拍摄的预设图像；
计算所述预设图像中各个像素点的景深，并根据所述各个像素点的景深，得到所述预设图像中的前景图像；
检测所述前景图像中目标图像的轮廓边缘；
将所述目标图像的轮廓边缘外的区域设为待虚化区域；
将所述待虚化区域虚化，其中，判断所述目标图像是否为人物图像；若是，则将所述待虚化区域按第一虚化系数虚化；若否，则将所述待虚化区域按第二虚化系数虚化。
2.如权利要求1所述的图像虚化方法，其特征在于，所述检测所述前景图像中目标图像的轮廓边缘的步骤，包括：
构建边缘检测算子；
基于所述边缘检测算子扫描所述前景图像，得到所述前景图像中目标图像的轮廓边缘。
3.如权利要求1所述的图像虚化方法，其特征在于，计算所述预设图像中各个像素点的景深的步骤，包括：
所述预设图像包括第一摄像头获取的第一预设图像，以及第二预设摄像头获取的第二预设图像；
提取所述第一预设图像的第一特征点集合，以及所述第二预设图像的第二特征点集合；
将所述第一特征点集合和第二特征点集合中的特征点进行匹配，得到匹配结果；
根据所述匹配结果进行像素逐行扫描，计算得到所述第一预设图像和/或所述第二预设图像中各个像素点的景深。
4.如权利要求1所述的图像虚化方法，其特征在于，计算所述预设图像中各个像素点的景深的步骤，包括：
所述预设图像包括第一摄像头获取的第一预设图像，以及第二预设摄像头获取的第二预设图像；
基于尺度不变特征变换算法或加速稳健特征算法，提取所述第一预设图像的第一特征点集合，以及所述第二预设图像的第二特征点集合；
基于近似最近邻算法将所述第一特征点集合和第二特征点集合中的特征点进行匹配，得到匹配结果；
根据所述匹配结果进行像素逐行扫描，计算得到所述第一预设图像和/或所述第二预设图像中各个像素点的景深。
5.如权利要求1所述的图像虚化方法，其特征在于，所述预设图像还包括后景图像；将所述待虚化区域虚化的步骤，包括：
将所述待虚化区域划分为位于所述前景图像中的第一待虚化区域和位于所述后景图像的第二待虚化区域；
所述第一待虚化区域按第三虚化系数虚化，所述第二待虚化区域按第四虚化参数虚化。
6.一种图像虚化装置，其特征在于，包括：
预设图像获取模块，用于获取双摄像头拍摄的预设图像；
前景图像获取模块，用于计算所述预设图像中各个像素点的景深，并根据所述各个像素点的景深，得到所述预设图像中的前景图像；
轮廓边缘获取模块，用于检测所述前景图像中目标图像的轮廓边缘；
待虚化区域获取模块，用于将所述目标图像的轮廓边缘外的区域设为待虚化区域；
虚化模块，用于将所述待虚化区域虚化，其中，所述虚化模块判断所述目标图像是否为人物图像，若所述目标图像为人物图像，则将所述待虚化区域按第一虚化系数虚化，若所述目标图像不为人物图像，则将所述待虚化区域按第二虚化系数虚化。
7.如权利要求6所述的图像虚化装置，其特征在于，所述轮廓边缘获取模块包括：
构建子模块，用于构建边缘检测算子；
轮廓边缘获取子模块，用于基于所述边缘检测算子扫描所述前景图像，得到所述前景图像中目标图像的轮廓边缘。
8.如权利要求6所述的图像虚化装置，其特征在于，所述预设图像包括第一摄像头获取的第一预设图像，以及第二预设摄像头获取的第二预设图像；
所述前景图像获取模块包括：
特征点集合获取子模块，用于提取所述第一预设图像的第一特征点集合，以及所述第二预设图像的第二特征点集合；
匹配子模块，用于将所述第一特征点集合和第二特征点集合中的特征点进行匹配，得到匹配结果；
像素点景深获取子模块，用于根据所述匹配结果进行像素逐行扫描，计算得到所述第一预设图像和/或所述第二预设图像中各个像素点的景深。
9.一种存储介质，其特征在于，所述存储介质中存储有多条指令，所述指令适于由处理器加载以执行如权利要求1-5中任一项所述的图像虚化方法。
10.一种电子设备，其特征在于，包括处理器和存储器，所述处理器与所述存储器电性连接，所述存储器用于存储指令和数据；所述处理器用于执行如权利要求1-5中任一项所述的图像虚化方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810012080.0A CN110009555B (zh) | 2018-01-05 | 2018-01-05 | 图像虚化方法、装置、存储介质及电子设备 |
| PCT/CN2018/121815 WO2019134505A1 (zh) | 2018-01-05 | 2018-12-18 | 图像虚化方法、存储介质及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810012080.0A CN110009555B (zh) | 2018-01-05 | 2018-01-05 | 图像虚化方法、装置、存储介质及电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110009555A CN110009555A (zh) | 2019-07-12 |
| CN110009555B true CN110009555B (zh) | 2020-08-14 |
Family
ID=67144046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810012080.0A Active CN110009555B (zh) | 2018-01-05 | 2018-01-05 | 图像虚化方法、装置、存储介质及电子设备 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN110009555B (zh) |
| WO (1) | WO2019134505A1 (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113965663A (zh) * | 2020-07-21 | 2022-01-21 | 深圳Tcl新技术有限公司 | 一种图像画质优化方法、智能终端及存储介质 |
| CN113344997B (zh) * | 2021-06-11 | 2022-07-26 | 方天圣华(北京)数字科技有限公司 | 快速获取只含有目标对象的高清前景图的方法及系统 |
| CN113489903A (zh) * | 2021-07-02 | 2021-10-08 | 惠州Tcl移动通信有限公司 | 一种拍摄方法、装置、终端设备及存储介质 |
| CN113610884A (zh) * | 2021-07-08 | 2021-11-05 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
| CN114339071A (zh) * | 2021-12-28 | 2022-04-12 | 维沃移动通信有限公司 | 图像处理电路、图像处理方法及电子设备 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101764925A (zh) * | 2008-12-25 | 2010-06-30 | 华晶科技股份有限公司 | 数字图像的浅景深模拟方法 |
| CN104751405A (zh) * | 2015-03-11 | 2015-07-01 | 百度在线网络技术（北京）有限公司 | 一种用于对图像进行虚化的方法和装置 |
| CN105245774A (zh) * | 2015-09-15 | 2016-01-13 | 努比亚技术有限公司 | 一种图片处理方法及终端 |
| CN105979165A (zh) * | 2016-06-02 | 2016-09-28 | 广东欧珀移动通信有限公司 | 虚化照片生成方法、装置和移动终端 |
| CN106899781A (zh) * | 2017-03-06 | 2017-06-27 | 宇龙计算机通信科技(深圳)有限公司 | 一种图像处理方法及电子设备 |
| US9729824B2 (en) * | 2012-12-20 | 2017-08-08 | Microsoft Technology Licensing, Llc | Privacy camera |
| CN107454332A (zh) * | 2017-08-28 | 2017-12-08 | 厦门美图之家科技有限公司 | 图像处理方法、装置及电子设备 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105100615B (zh) * | 2015-07-24 | 2019-02-26 | 青岛海信移动通信技术股份有限公司 | 一种图像的预览方法、装置及终端 |
-
2018
- 2018-01-05 CN CN201810012080.0A patent/CN110009555B/zh active Active
- 2018-12-18 WO PCT/CN2018/121815 patent/WO2019134505A1/zh active Application Filing
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101764925A (zh) * | 2008-12-25 | 2010-06-30 | 华晶科技股份有限公司 | 数字图像的浅景深模拟方法 |
| US9729824B2 (en) * | 2012-12-20 | 2017-08-08 | Microsoft Technology Licensing, Llc | Privacy camera |
| CN104751405A (zh) * | 2015-03-11 | 2015-07-01 | 百度在线网络技术（北京）有限公司 | 一种用于对图像进行虚化的方法和装置 |
| CN105245774A (zh) * | 2015-09-15 | 2016-01-13 | 努比亚技术有限公司 | 一种图片处理方法及终端 |
| CN105979165A (zh) * | 2016-06-02 | 2016-09-28 | 广东欧珀移动通信有限公司 | 虚化照片生成方法、装置和移动终端 |
| CN106899781A (zh) * | 2017-03-06 | 2017-06-27 | 宇龙计算机通信科技(深圳)有限公司 | 一种图像处理方法及电子设备 |
| CN107454332A (zh) * | 2017-08-28 | 2017-12-08 | 厦门美图之家科技有限公司 | 图像处理方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2019134505A1 (zh) | 2019-07-11 |
| CN110009555A (zh) | 2019-07-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110009555B (zh) | 图像虚化方法、装置、存储介质及电子设备 | |
| US11410277B2 (en) | Method and device for blurring image background, storage medium and electronic apparatus | |
| EP3614334B1 (en) | Method for image processing and electronic device | |
| KR101805090B1 (ko) | 영역 인식 방법 및 장치 | |
| EP3163504B1 (en) | Method, device and computer-readable medium for region extraction | |
| CN108924420B (zh) | 图像拍摄方法、装置、介质、电子设备及模型训练方法 | |
| CN107977659B (zh) | 一种文字识别方法、装置及电子设备 | |
| CN110300264B (zh) | 图像处理方法、装置、移动终端以及存储介质 | |
| CN111091590B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN109691080B (zh) | 拍摄图像方法、装置和终端 | |
| CN105072337A (zh) | 图片处理方法及装置 | |
| CN111028276A (zh) | 图像对齐方法、装置、存储介质及电子设备 | |
| CN114298902A (zh) | 一种图像对齐方法、装置、电子设备和存储介质 | |
| CN110266926B (zh) | 图像处理方法、装置、移动终端以及存储介质 | |
| CN109784327B (zh) | 边界框确定方法、装置、电子设备及存储介质 | |
| CN104899588A (zh) | 识别图像中的字符的方法及装置 | |
| CN110177216B (zh) | 图像处理方法、装置、移动终端以及存储介质 | |
| CN111881846A (zh) | 图像处理方法和相关装置、设备、存储介质 | |
| CN108805883B (zh) | 一种图像分割方法、图像分割装置及电子设备 | |
| CN110610178A (zh) | 图像识别方法、装置、终端及计算机可读存储介质 | |
| CN113473012A (zh) | 虚化处理方法、装置和电子设备 | |
| CN110012208B (zh) | 拍照对焦方法、装置、存储介质及电子设备 | |
| CN114341946A (zh) | 识别方法、装置、电子设备及存储介质 | |
| TWI526987B (zh) | 基於涵蓋視覺內容最大化之即時影像拼接方法 | |
| WO2014028440A2 (en) | Fast image processing for recognition objectives system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |