CN117132453A - 图像处理方法、装置、电子设备及计算机可读存储介质 - Google Patents
图像处理方法、装置、电子设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN117132453A CN117132453A CN202210552466.7A CN202210552466A CN117132453A CN 117132453 A CN117132453 A CN 117132453A CN 202210552466 A CN202210552466 A CN 202210552466A CN 117132453 A CN117132453 A CN 117132453A
- Authority
- CN
- China
- Prior art keywords
- image
- pixel
- blurring
- processed
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 111
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000007499 fusion processing Methods 0.000 claims abstract description 18
- 238000003384 imaging method Methods 0.000 claims description 50
- 230000004927 fusion Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 abstract description 27
- 230000008569 process Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Image Processing (AREA)
Abstract
本申请实施例公开了一种图像处理方法、装置、电子设备及计算机可读存储介质,该方法包括:获取待处理图像及其对应的深度图像;根据预览虚化系数对待处理图像进行虚化处理,得到虚化后图像;根据预览焦点对深度图像进行处理,得到处理后深度图像;基于处理后深度图像,对待处理图像和虚化后图像进行融合处理,得到目标图像。采用本申请实施例,有助于提高图像的显示效果。
Description
技术领域
本申请实施例涉及计算机技术领域,具体涉及一种图像处理方法、装置、电子设备及计算机可读存储介质。
背景技术
随着计算机技术的快速发展,摄像设备的种类不断增多,用户对成像效果的要求也在不断提升,如何在拍摄过程中对图像进行处理,以提升图像的显示效果成为当前待解决的问题。
发明内容
本申请实施例提供一种图像处理方法、装置、电子设备及计算机可读存储介质,可以提升图像的显示效果。
第一方面,本申请实施例提供了一种图像处理方法,包括:
获取待处理图像及其对应的深度图像;
根据预览虚化系数对待处理图像进行虚化处理,得到虚化后图像;
根据预览焦点对深度图像进行处理,得到处理后深度图像;
基于处理后深度图像,对待处理图像和虚化后图像进行融合处理,得到目标图像。
第二方面,本申请实施例还提供了一种图像处理装置,包括:
获取模块,用于获取待处理图像及其对应的深度图像;
虚化模块,用于根据预览虚化系数对待处理图像进行虚化处理,得到虚化后图像;
变换模块,用于根据预览焦点对深度图像进行处理,得到处理后深度图像;
融合模块,用于基于处理后深度图像,对待处理图像和虚化后图像进行融合处理,得到目标图像。
第三方面,本申请实施例还提供了一种电子设备,电子设备包括存储器、处理器及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述的图像处理方法中的步骤。
第四方面,本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述的图像处理方法中的步骤。
本申请实施例根据预览虚化系数对待处理图像进行虚化处理,得到虚化后图像,根据预览焦点对深度图像进行处理,得到处理后深度图像,并根据处理后深度图像将待处理图像和虚化后图像融合,得到目标图像。其中,根据预览虚化系数对图像的虚化处理,使得图像的虚化与预览需求相配合,同时,通过对图像的虚化处理,提升了图像的显示效果。通过预览焦点对深度图像的处理,并根据处理后的深度图像对待处理图像和虚化后图像进行融合,使得融合后图像能够根据焦点位置进行虚化调整,优化显示效果。
附图说明
为了更清楚地说明本申请中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像处理方法的场景示意图;
图2是本申请实施例提供的图像处理方法的流程示意图;
图3是本申请实施例提供的预览成像虚化的流程示意图;
图4是本申请实施例提供的圆形参考区域的结构示意图;
图5是本申请实施例中圆形参考区域中每个像素行的偏移量示意图;
图6是本申请实施例提供的图像处理装置的结构示意图;
图7是本申请实施例提供的电子设备的结构示意图;
图8是本申请实施例提供的计算机可读存储介质的结构示意图。
具体实施方式
下面将结合本申请中的附图,对本申请中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本申请实施例提供一种图像处理方法、装置、电子设备及计算机可读存储介质。具体地,电子设备包括终端或者服务器等设备,其中,终端可以为手机、相机、计算机、个人计算机等设备,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(CDN,Content Delivery Network)、以及大数据和人工智能平台等基础云计算服务的云服务器,服务器可以通过有线或无线通信方式进行直接或间接地连接。
本申请实施例可以单独由终端设备执行图像处理方法,或者单独由服务器执行图像处理方法,或者由终端设备和服务器共同执行图像处理方法,请参阅图1,以终端设备单独执行图像处理方法为例,其中,图像处理方法的具体执行过程如下:
终端设备10启动图像拍摄功能,对场景进行拍摄,其中,在拍摄过程中,在终端设备10的显示区域显示场景的初始预览成像,并根据用户的成像需求,调整预览成像焦点的位置和预览虚化系数,并根据焦点位置和虚化强度系数对初始预览成像进行虚化处理。
其中,初始预览成像的虚化处理过程包括:得到初始预览成像对应的待处理图像,以及待处理图像对应的深度图像,根据预览虚化系数对待处理图像进行虚化处理,得到虚化后图像,根据预览成像焦点位置对深度图像进行处理,得到处理后深度图像,随后,根据处理后深度图像,对待处理图像和虚化后图像进行融合处理,得到处理后图像。
随后,响应于用户对预览成像的预览需求,加载处理后图像,在显示区域显示处理后图像。
其中,本申请实施例根据预览虚化系数对待处理图像进行虚化处理,得到虚化后图像,根据预览焦点对深度图像进行处理,得到处理后深度图像,并根据处理后深度图像将待处理图像和虚化后图像融合,得到目标图像。其中,根据预览虚化系数对图像的虚化处理,使得图像的虚化与预览需求相配合,同时,图像的虚化处理,提升了图像的显示效果。通过预览焦点对深度图像的处理,并根据处理后的深度图像对待处理图像和虚化后图像进行融合,使得融合后图像能够根据焦点位置进行虚化调整,优化显示效果。
以下分别进行详细说明。需说明的是,以下实施例的描述顺序不作为对实施例优先顺序的限定。
请参阅图2,图2为本申请实施例提供的图像处理方法的流程示意图。该图像处理方法的具体流程可以如下:
101、获取待处理图像及其对应的深度图像。
其中,在本申请实施例中,待处理图像指拍摄过程中预览数据在格式转换后的图像,其中,预览数据指相机对场景的成像对应的数据,随着场景的变换,成像数据也随之变换。其中,随着相机“成像确认”按键的触发,成像数据可转换为图像数据,进而得到相应的成像图片,即,预览数据为相机在最终生成图片前,在相机显示区域呈现的场景动态变化的场景动态数据。
其中,在本申请实施例中,深度图像即深度图(depth image),也被称为距离影像(range image),是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像,它直接反映了景物可见表面的几何形状。深度图像经过坐标转换可以计算为点云数据,有规则及必要信息的点云数据也可以反算为深度图像数据。
其中,深度数据流所提供的图像帧中,每一个像素点代表的是在深度感应器的视野中,该特定的(x,y)坐标处物体到离摄像头平面最近的物体到该平面的距离(以毫米为单位)。其中,深度图像与待处理图像相对照,即,待处理图像中每个像素点均能在深度图像中找到对应的深度信息,在分布空间上表现为一一对应的关系。
其中,通过获取待处理图像以及待处理图像对应的深度图像,在对待处理图像和深度图像进行调整后,以及将调整后的待处理图像和深度图像转换为预览数据,可实现对预览数据的调整,例如,根据用户对成像的需求,对预览数据对应的待处理图像和深度图像进行调整,并在调整后,将调整后的待处理图像数据转换为预览数据,实现相机显示区域预览成像的调整,即实现相机预览窗口中预览成像内容的调整,进而在“成像确认”后,可实现对最终成像图片内容的调整。
其中,在本申请实施例中,成像内容可以包括实时场景内容、场景中物体的深度信息等。
102、根据预览虚化系数对待处理图像进行虚化处理,得到虚化后图像。
其中,在本申请实施例中,待处理图像包括色彩通道图像,即YUV图像,通过将相机的预览数据由NV12或NV21格式的图像数据流转换得到。
其中,通过根据预览虚化系数对待处理图像进行虚化处理,使得虚化后图像能够满足虚化需求,其中,图像的虚化处理,提升了图像中物体的分布层次,提升图像显示效果。
其中,由于高斯模糊核的处理范围是方形的,例如,3X3的模糊核,使得图像在处理,图像中的物体成像不平滑,容易出现突兀的情况,因此,在本申请实施例中,可以采用圆形的滤波核对图形进行虚化处理,以使得处理后图像的成像更平滑,符合预览虚化成像原理,即,可选的,在本申请的一些实施例中,步骤“根据预览虚化系数对待处理图像进行虚化处理,得到虚化后图像”,包括:
根据预览虚化系数确定虚化半径;
针对待处理图像中的像素点,根据虚化半径确定像素点对应的圆形参考区域;
根据圆形参考区域中参考像素点的像素值对像素点的像素值进行调整,得到虚化后图像。
其中,在本申请实施例中,可以根据虚化强度系数与虚化半径之间的映射关系来得到预览虚化系数对应的虚化半径,其中,在本申请实施例中,虚化强度系数与虚化半径之间的映射关系可以根据试验数据、经验参数、市场需求或者实际需要预先设置。
其中,通过预览虚化系数确定虚化半径,并根据虚化半径确定像素点对应的圆形参考区域,则可以根据圆形参考区域中的参考像素点的像素值对该像素点进行像素值调整。其中,当对待处理图像中待虚化区域中每个像素点的像素值调整后,则可实现对待虚化区域的虚化处理,进而得到虚化后图像。
其中,圆形参考区域对应一个圆形的像素区域,圆形的像素区域使得虚化处理后图像的过度更平滑,成像效果更好。
其中,根据圆形参考区域中参考像素点的像素值对待调整像素点的像素值的调整主要包括:对参考像素点的像素值进行加权求和,并将加权求和的结果赋值给待调整像素点,其中,空间位置上相邻像素点的深度信息较为一致,且相邻像素点的像素值也较为接近,因此,像素点对应的圆形参考区域的参考像素点对该像素点的调整的可参考性较大,根据像素点对应的圆形参考区域对该像素点进行调整,可实现对像素值的模糊调整,实现图像的虚化处理。
其中,由于参考像素点的数量较多,直接将各个参考像素点的像素值累加会增加处理的时间复杂度,因此,在本申请实施例中,可以通过积分图像的方式来得到圆形参考区域中各个参考像素点像素值的和,其中,步骤“根据圆形参考区域中参考像素点的像素值对像素点的像素值进行调整,得到虚化后图像”,包括:
确定待处理图像中每行像素点对应的积分图像;
针对圆形参考区域的每个像素行,根据像素行的起始像素点、终结像素点以及像素行对应的积分图像确定像素行的像素和值;
将圆形参考区域中每个像素行的像素和值进行加权求和处理,得到目标像素值;
将像素点的像素值调整为目标像素值,得到虚化后图像。
其中,在本申请实施例中,起始像素点对应于该像素行中位于圆形参考区域的第一个像素点,终结像素点对应于该像素行中位于圆形参考区域的最后一个像素点。
其中,在本申请实施例中,积分指求和,积分图像中每个像素点与待处理图像中每个像素点的位置相对设置,且,积分图像中每一个像素点的灰度值等于在该像素点之前所有像素点灰度值之和。因此,在本申请实施例中,可以根据圆形参考区域中每个像素行的起始像素点和终结像素点,以及起始像素点和终结像素点对应的积分值,得到起始像素点和终结像素点之间多个像素点的像素值之和,例如,终结像素点和终起始像素点对应的积分值的差值即为起始像素点和终结像素点之间多个像素点的像素值(或灰度值)之和。
相应的,在本申请实施例中,可以根据每个像素行对应的起始像素点、终结像素点以及积分图像中的积分值,得到圆形参考区域中每个像素行的像素值的和,进而得到圆形参考区域中所有参考像素点的像素值之和。其中,在本申请实施例中,像素行指一行像素所形成的行。
其中,在本申请实施例中,可以通过统计的方式来获取圆形参考区域中参考像素点的数量,或者,也可以根据参考像素点的位置信息(如在图像中的坐标信息)以及每个像素行的起始像素点和终结像素点,得到每个像素行的像素个数,进而得到整个圆形参考区域中所有参考像素点的数量。
其中,在本申请实施例中,圆形参考区域中所有参考像素点的像素值的加权求和可以包括计算所有参考像素点的像素值之和与所有参考像素点的个数之间的商,将商的结果作为目标像素值,通过将圆形参考区域对应的像素点调整为该目标像素值,实现对该像素点的像素值调整。
其中,通过将图像中待调整像素点根据上述方式,利用圆形参考区域进行调整后,可得到虚化后图像。
其中,在本申请实施例中,针对每个像素行,该像素行的起始像素点和终结像素点可以根据圆形参考区域的边缘在该像素行的位置来得到,通过统计每个像素行中起始像素点和终结像素点的像素偏移量来得到每个像素行中起始像素点和终结像素点的位置,其中,步骤“针对圆形参考区域的每个像素行,根据像素行的起始像素点、终结像素点以及像素行对应的积分图像确定像素行的像素和值”之前,该方法还包括:
针对圆形参考区域的每个边缘像素点,根据边缘像素点的位置信息以及圆形参考区域对应的虚化半径,确定边缘像素点相对于虚化半径的横向偏移量;
根据边缘像素点的位置信息确定边缘像素点所属的像素行;
将横向偏移量作为边缘像素点在其所属的像素行上的像素偏移量;
根据像素行对应的像素偏移量,确定像素行的起始像素点和终结像素点。
其中,在本申请实施例中,边缘像素点指位于圆形参考区域的范围边界上的像素点,如,圆形参考区域的最大圆环上的像素点。
其中,针对圆形参考区域,根据圆形参考区域边缘上的每个边缘像素点的位置信息和圆形参考区域对应的虚化半径,可以得到每个边缘像素点相对于虚化半径的偏移量,例如,针对每个像素行上的边缘像素点,根据边缘像素点位置信息中的纵坐标与虚化半径的差值,得到边缘像素点在该像素行上的横向偏移量(像素行上的偏移量)。相应的,针对圆形参考区域,每个像素行上对应两个边缘像素点,这两个边缘像素点分别对应在该像素行上的初始像素点和终结像素点。其中,可以根据像素点纵坐标与虚化半径差值的正负来判断初始像素点和终结像素点分别对应的边缘像素点,例如,将差值为负的边缘像素点作为初始像素点,将差值为正的边缘像素点作为终结像素点。
其中,可以理解的是,像素点纵坐标与虚化半径的差值即为该像素点与圆形参考区域过圆中心所在列直线的距离,例如,根据过圆中心的列直线将圆形参考区域平分,而每个像素点在所在像素行上的横向偏移量即为该像素点与该列直线的距离。
其中,可以根据圆形参考区域边缘像素点与虚化半径的差值,得到每个边缘像素点在每个像素行上的偏移量,基于该偏移量,可以确定圆形参考区域中每个像素行的初始像素点和终结像素点,进而根据积分图像得到每个像素行的像素值之和。即,在本申请实施例中,当确定了圆形参考区域后,则可以根据圆形参考区域对应的虚化半径得到圆形参考区域中每个像素行对应的偏移量,进而可以根据每个像素行确定该像素行的初始像素点和终结像素点。
其中,在本申请实施例中,虚化半径的长度以像素数量为衡量单位,因此,针对虚化半径长度不同的圆形参考区域,可以得到不同圆形参考区域中每个像素行的初始像素点、终结像素点以及初始像素点与终结像素点之间的像素值之和。
103、根据预览焦点对深度图像进行处理,得到处理后深度图像。
其中,由于深度图像反映的是场景中物体与相机中图像采集器的距离,而焦点选取位置的变化,会影响成像中前景区域和背景区域的变化,因此,需要根据成像预览时焦点的位置变换调整深度图像。其中,前景区域、背景区域和焦点区域构成了成像图片,通常将深度值小于焦点区域的区域确定为前景区域,将深度值大于焦点区域的区域确定为背景区域。
其中,在本申请实施例中,可以根据深度值处理公式以及预览焦点的位置对深度图像进行处理,其中,步骤“根据预览焦点对深度图像进行处理,得到处理后深度图像”,包括:
根据预览虚化类型选取深度值处理公式;
根据预览焦点位置以及深度值处理公式对深度图像进行处理,得到处理后深度图像。
其中,在本申请实施例中,深度值处理公式是根据多次试验得到的,根据不同的虚化类型,可以选用对应不同的深度值处理公式对深度图像进行调整。
其中,在本申请实施例中,预览虚化类型可以包括前景虚化或者前景不虚化等。
其中,根据预览焦点位置对深度图像中深度信息的调整,使得预览成像的深度信息能够根据焦点的位置进行实时更新,提升成像的显示效果。
104、基于处理后深度图像,对待处理图像和虚化后图像进行融合处理,得到目标图像。
其中,在本申请实施例中,处理后深度图像可以作为待处理图像和虚化后图像融合的权重,根据处理后深度图像对应的融合权重对待处理图像和虚化后图像进行融合。
其中,通过将待处理图像和虚化后图像的融合,实现原图与虚化图像的融合,在保证失真较小的情况下实现图像虚化处理,提升图像的显示效果。
其中,在本申请实施例中,针对处理后的深度图像,还可以根据深度值区间对深度图像进行微调,以提升深度图像调整的精度,其中,步骤“根据预览焦点位置以及深度值处理公式对深度图像进行处理,得到处理后深度图像”之后,该方法还包括:
根据处理后深度图像的深度值,确定处理后深度图像对应的类间方差;
根据类间方差将处理后深度图像的深度值划分为若干个深度值区间;
针对处理后深度图像的像素点,确定像素点的深度值所属的深度值区间,并根据深度值区间对应的深度值调整策略对像素点的深度值进行调整,得到调整后深度图像。
其中,在本申请实施例中,类间方差是根据大津法得到的,类间方差是图像分割中对应的最佳灰度阈值,大津法是按图像的灰度特性,将图像分成背景和前景两部分。因方差是灰度分布均匀性的一种度量,背景和前景之间的类间方差越大,说明构成图像的两部分的差别越大,当部分前景错分为背景或部分背景错分为前景都会导致两部分差别变小。因此,使类间方差最大的分割意味着错分概率最小。
因此,在本申请实施例中,根据类间方差划分得到的深度值区间之间存在深度值取值层次,而根据类间方差将深度图像的深度信息划分为多个深度值区间,并对多个深度值区间分别进行调整,可实现对深度图像的精细化管理,例如,针对每个深度值区间,采用不同的深度值调整策略进行调整,可根据调整后的深度值明确物体的边缘,避免误虚或者漏虚的问题。
其中,在本申请实施例中,针对调整后的深度图像,为了提升物体边缘之间的平滑度,可以通过高斯模糊处理的方式对物体的边缘进行过渡处理,得到处理后深度图像。其中,在本申请实施例中,可以将处理后的深度图像作为图像融合的权重图,对待处理图像和虚化图像的融合进行融合权重分配,以提升融合后图像的显示效果,其中,步骤“基于处理后深度图像,对待处理图像和虚化后图像进行融合处理,得到目标图像”,包括:
对调整后深度图像进行高斯模糊处理,得到权重图;
根据权重图,将待处理图像和虚化后图像进行加权融合处理,得到目标图像。
其中,高斯模糊处理包括在像素点周围选取3X3个像素点进行加权求和,其中,对调整后深度图像的高斯模糊处理,可以提升物体边缘的平滑度。
其中,在本申请实施例中,在用户调整焦点位置和虚化强度信息后,可以通过新的焦点位置和虚化强度信息调整图像,并根据用户的预览请求加载调整后图像对应的成像数据,实现预览成像的更新,即,可选的,在本申请的一些实施例中,步骤“基于处理后深度图像,对待处理图像和虚化后图像进行融合处理,得到目标图像”,包括:
响应于用户的预览指令;
加载目标图像对应的数据流,在目标窗口显示目标图像对应的预览成像。
其中,通过预览窗口中预览成像的实时更新,实现成像内容根据用户需求的及时调整,便于用户拍摄到期望的图像。
其中,在本申请实施例中,根据预览虚化系数对待处理图像进行虚化处理,得到虚化后图像,根据预览焦点对深度图像进行处理,得到处理后深度图像,并根据处理后深度图像对待处理图像和虚化后图像进行融合处理,得到目标图像。其中,根据预览虚化系数对图像的虚化处理,使得图像的虚化与预览需求相配合,同时,图像的虚化处理,提升了图像的显示效果。通过预览焦点对深度图像的处理,并根据处理后的深度图像对待处理图像和虚化后图像进行融合,使得融合后图像能够根据焦点位置进行虚化调整,优化显示效果。
其中,请参阅图3,图3是本申请实施例提供的预览成像虚化的流程示意图,其中,预览成像虚化的流程具体包括:
201、获取相机的预览成像数据对应的色彩通道图像以及色彩通道图像对应的深度图像。
其中,色彩通道图像包括YUV图像,其中,在本申请实施例中,可以将当前帧对应的预览成像数据转换为色彩通道(YUV)图像,例如,将当前帧对应的NV12或NV21格式的图像数据流转换为Y图像和UV图像。
其中,通过色彩通道图像和深度图像的获取,便于在调整后实现预览成像数据的实时更新。
202、根据用户预览指令中的预览虚化系数对色彩通道图像进行虚化处理,得到虚化后图像。
其中,预览指令由用户在预览时根据自身需求在相机成像界面操作后产生,用于调整预览成像的内容,例如,在相机的场景内容动态展示窗口,用户通过调节成像内容,实现展示窗口中成像内容的动态变化,或者用户根据自身的拍照需求,在展示窗口中对成像内容进行调整编辑,以实现期望图片的拍摄。
其中,由于NV12或NV21格式数据转换出来的单通道的Y图像是双通道的UV图像尺寸的4倍,而且我们获取得到的深度图像尺寸与UV图像的尺寸一样,所以,在处理过程中,先根据UV图像的尺寸将Y图像进行下采样,得到图像Y_4,对下采样后的图像Y_4进行处理,其中,本申请以Y_4图像处理过程为例,UV图像的处理与Y_4图像的处理过程一样,因此,针对UV图像的处理可以参考Y图像处理过程进行理解。
其中,根据用户预览指令中的预览虚化系数对色彩通道图像进行虚化处理,得到虚化后图像,具体包括:
根据预览虚化系数确定虚化半径;
针对色彩通道图像中的像素点,根据虚化半径确定像素点对应的圆形参考区域;
根据圆形参考区域中参考像素点的像素值对像素点的像素值进行调整,得到虚化后图像。
其中,可以根据虚化强度系数与虚化半径之间的映射关系,得到预览虚化系数对应的虚化半径,其中,虚化强度系数与虚化半径之间的映射关系可以保存在数据表中,根据数据表得到虚化强度系数与虚化半径之间的映射关系。
其中,圆形参考区域是以待处理像素点为圆心,以虚化半径划定圆形区域后得到的,其中,圆形参考区域也可以理解为圆形的滤波核。请参阅图4,图4是本申请实施例提供的圆形参考区域的结构示意图,其中,针对圆形参考区域内的参考像素点,以像素值为1表示,针对圆形参考区域之外的像素点,以像素值为0表示。
其中,在本申请实施例中,根据圆形参考区域对像素点的像素值的调整包括:将圆形参考区域中各个参考像素点的像素值进行加权求和,并将加权求和的结果赋值给该像素点,即,将像素点的像素值调整为该像素点对应的圆形参考区域中各个参考像素点像素值的加权求和值。
其中,在本申请实施例中,圆形参考区域中参考像素点的加权求和值可以根据圆形参考区域中各个参考像素点的像素值的和以及参考像素点的数量的比值得到。其中,在本申请实施例中,可以根据积分图像的方式获取圆形参考区域中参考像素点的像素值的和,其中,步骤“根据圆形参考区域中参考像素点的像素值对像素点的像素值进行调整,得到虚化后图像”,包括:
确定色彩通道图像中每行像素点对应的积分图像;
针对圆形参考区域的每个像素行,根据像素行的起始像素点、终结像素点以及像素行对应的积分图像确定像素行的像素和值;
将圆形参考区域中每个像素行的像素和值进行加权求和处理,得到目标像素值;
将像素点的像素值调整为目标像素值,得到虚化后图像。
其中,积分图像中每一个像素点的灰度值等于在该像素点之前所有像素点灰度值之和。其中,通过分别计算每行像素点对应的积分图像,可以根据每行像素点对应的积分图像得到圆形参考区域中每行像素点的像素值之和。其中,每行像素点对应的积分图像Integral_Y_4可以通过如下公式计算得到,具体包括:
Integral_Y_4(r,c)=Integral_Y_4(r,c-1)+Y_4(r,c);
Integral_Y_4(r,0)=Y_4(r,0)
其中,r,c表示图像的第r行,第c列的像素。其中,UV图像的积分图像的计算方法与积分图像Integral_Y_4的计算方法相同,因此,可以对照图像Y_4计算得到积分图像Integral_Y_4的过程理解,在此不在赘述。
其中,根据圆形参考区域中每个像素行的起始像素点和终结像素点,以及积分图像,可以得到起始像素点和终结像素点之间的多个参考像素点的像素和值,进而,根据圆形参考区域中所有像素行的像素和值的加权求和,得到目标像素值,通过将像素点的像素值调整为该目标像素值,实现该像素点的像素值的调整。当图像中待调整的像素点均按照该方法进行调整后,则实现图像的虚化处理。
其中,在本申请实施例中,每个像素行的起始像素点和终结像素点可以根据圆形参考区域在该像素行上的边缘像素点的偏移量来获取,其中,步骤“针对圆形参考区域的每个像素行,根据像素行的起始像素点、终结像素点以及像素行对应的积分图像,得到像素行的像素和值”之前,该方法还包括:
针对圆形参考区域边缘上的每个边缘像素点,根据边缘像素点的位置信息以及圆形参考区域对应的虚化半径,确定边缘像素点相对于虚化半径的横向偏移量;
根据边缘像素点的位置信息确定边缘像素点所属的像素行;
将横向偏移量作为边缘像素点在其所属的像素行上的像素偏移量;
根据像素行对应的像素偏移量,确定像素行的起始像素点和终结像素点。
其中,在根据虚化半径确定圆形参考区域后,圆形参考区域的大小便得到了确定,因此,圆形参考区域中每个边缘像素点与虚化半径的差值便可以确定,因此,可以预先根据虚化半径,得到圆形参考区域上每个边缘像素点与虚化半径的差值,得到每个边缘像素点在所在像素行的偏移量。相应的,针对不同的虚化半径,可以对应得到不同虚化半径对应的圆形参考区域中每个边缘像素点在所在像素行的偏移量。
其中,在本申请实施例中,可以根据圆形参考区域的边缘与图像中像素点的交集确定圆形参考区域的边缘参考像素点。
请参阅图4,以相邻像素值的差值是否为1或者-1,来表示该像素点是否为圆形参考区域的边缘像素点,相应的,圆形参考区域上每个边缘像素点在所在像素行的偏移量可以根据如下公式得到,其中,以圆形参考区域R_Mat为例,具体包括:
如果R_Mat(r,c)-R_Mat(r,c-1)=1,则Table(0,r)=c-R;
如果R_Mat(r,c)-R_Mat(r,c-1)=-1,则Table(1,r)=c-R;
其中,r,c分别表示圆形参考区域R_Mat中的第r行和第c列,R_Mat(r,c)表示第r行和第c列的值,R为圆形参考区域对应的虚化半径。相应的,请参阅图5,图5是本申请实施例中圆形参考区域中每个像素行的偏移量示意图,其中,以虚化半径R=3为例,圆形参考区域中每个像素行的偏移量以加速索引表Table进行记录,其中,加速索引表Table是一个二维表格,即二维表格中的第一行记录圆形参考区域每个像素行对应的初始像素点,二维表格中的第二行记录圆形参考区域每个像素行对应的终结像素点,其中,二维表格中每一列记录圆形参考区域中每个像素行的初始像素点和终结像素点。
相应的,由于圆形参考区域为圆形,因此,每个像素行可以包括初始像素点和终结像素点,即每个像素行对应两个偏移量,因此,可以通过两行的二维表格进行记录,相应的,二维表格的列可以根据虚化半径R确定,即圆形参考区域的像素行的个数,即,二维表格为2*R+1列。
其中,在根据圆形参考区域以及圆形参考区域对应的虚化半径确定该圆形参考区域对应的加速索引表Table后,可以得到圆形参考区域每个像素行边缘像素点的偏移量。进而根据该像素偏移量,得到每个像素行对应的初始像素点和终结像素点。进而根据初始像素点和终结像素点以及积分图像得到初始像素点和终结像素点之间多个像素点的像素和值,实现圆形参考区域中多个像素点像素值的加权求和。
其中,在本申请实施例中,可以通过如下操作方式实现圆形参考区域中多个像素点像素值的加权求和,具体包括:
其中,i,j表示待处理像素点的横坐标和纵坐标,m表示圆形参考区域中像素行的行数,n表示圆形参考区域R_Mat对应的待处理像素点的纵坐标,Table(0,m+R-i)表示该像素行的起始像素点位于纵坐标n向左偏移的像素数量,Table(1,m+R-i)表示该像素行的终结像素点位于纵坐标n向右偏移的像素数量,1(R_Mat)表示圆形参考区域R_Mat中元素为1的个数。
其中,通过得到圆形参考区域中每个像素行的像素和值,得到圆形参考区域中所有参考像素点的像素值之和,根据该像素值之和与参考像素点数量的比值,得到目标像素值。
203、根据预览焦点对深度图像进行处理,得到处理后深度图像。
其中,通过焦点位置处理后对深度图像的相应调整,提升了相机成像的显示效果。
其中,在本申请实施例中,可以根据深度值处理公式对深度图像进行处理,其中,步骤“根据预览焦点对深度图像进行处理,得到处理后深度图像”,包括:
根据预览虚化类型选取深度值处理公式;
根据预览焦点位置以及深度值处理公式对深度图像进行处理,得到处理后深度图像。
其中,针对不同的预览虚化类型可以对应选取不同的深度值处理公式,使得成像的虚化能够与预览虚化的需求相对应,其中,在本申请实施例中,预览虚化类型可以包括前景虚化和前景不虚化,针对不同的预览虚化类型,可以采用不同的深度值处理公式对深度图像进行调整,例如,在本申请实施例中,针对前景虚化,可以采用如下公式进行深度图像处理,具体包括:
其中,A为常量系数,一般控制在265~280之间,本发明中取A=271;Dij为原始深度图像的深度值,为深度处理以后的深度值,i,j表示图像中像素的位置,focus_depth为焦点处深度值,σ为方差系数,本申请实施例中取16。
针对前景不虚化,可以采用如下公式进行深度图像处理,具体包括:
其中,A为常量系数,本方法的经验值控制在265~280之间,本发明中取A=271;Di,j为原始深度图像的深度值,为深度处理以后的深度值;i,j表示图像中像素的位置,focus_depth为焦点处深度值;λ为缩放系数,本申请实施例中取0.12。
其中,值得说明的是,上述深度值处理公式对应的运算关系和常数是根据多次试验得出的,本领域技术人员完全可以根据本申请实施例的思想,基于不同的图像处理需求(例如不同的预览时间需求、焦点位置需求、虚化程度需求)得到不同的公式,本申请实施例并不限定于上述公式。
204、根据处理后深度图像,对色彩通道图像和虚化后图像进行融合处理,得到目标图像。
其中,在本申请实施例中,处理后深度图像可以作为色彩通道图像和虚化后图像融合的权重,根据处理后深度图像对应的融合权重对色彩通道图像和虚化后图像进行融合。
其中,在本申请实施例中,在对深度图像进行处理后,还可以根据深度值的取值区间,对深度图像进行微调,以提升深度图像调整的精细度,以及对图像中物体处理的精细化调整,其中,步骤“根据预览焦点位置以及深度值处理公式对深度图像进行处理,得到处理后深度图像”之后,该方法还包括:
根据处理后深度图像的深度值,确定处理后深度图像对应的类间方差;
根据类间方差将处理后深度图像的深度值划分为若干个深度值区间;
针对处理后深度图像的像素点,确定像素点的深度值所属的深度值区间,并根据深度值区间对应的深度值调整策略对像素点的深度值进行调整,得到调整后深度图像。
其中,在本申请实施例中,类间方差可以根据大津法求取得到。
其中,通过不同深度值区间采用不同的深度值调整策略进行调整,使得不同深度的像素点在调整后,在深度上形成明显的层次,有利于体现出图像中物体的边缘,便于选取待虚化的像素点,避免误虚或者漏虚,提升图像处理的准确性。
其中,在本申请实施例中,还可以根据预览虚化类型选取不同深度值区间对应的深度值调整策略,例如,在本申请实施例中,针对预览虚化类型为前景虚化的情况,可以先根据类间方差OTSU_THRS得到三个深度值分级阈值,如THRS1=OTSU_THRS/2,THRS2=OTSU_THRS,THRS3=OTSU_THRS+THRS1;然后遍历整个处理以后的深度图像D,采用如下策略或规则进行微调操作,具体包括:
其中,在本申请实施例中,针对预览虚化类型为前景不虚化的情况,可以先根据类间方差OTSU_THRS得到四个深度值分级阈值,如,THRS1=OTSU_THRS*1.1,THRS2=OTSU_THRS*1.05,THRS3=OTSU_THRS,THRS4=OTSU_THRS*0.95,然后遍历整个处理以后的深度图像D,采用如下策略或规则进行微调操作,具体包括:
其中,值得说明的是,上述深度值调整策略是根据多次试验得出的或者根据实际需求进行调整得到,本领域技术人员完全可以根据本申请实施例的思想,基于不同的图像处理需求(例如不同的预览时间需求、焦点位置需求)得到不同的深度值调整策略,本申请实施例并不限定于上述深度值调整策略。
其中,在本申请实施例中,可以对调整后的深度图像进行高斯模糊处理,以使图像中物体的边缘形成平滑过渡,避免出现明显的断层现象。
其中,可以将处理后的深度图像作为权重图,将色彩通道图像和虚化后图像进行加权融合,其中,步骤“根据处理后深度图像,对色彩通道图像和虚化后图像进行融合处理,得到目标图像,得到目标图像”,包括:
对调整后深度图像进行高斯模糊处理,得到权重图;
根据权重图,将色彩通道图像和虚化后图像进行加权融合处理,得到目标图像。
其中,以深度图像作为图像融合的权重,避免图像的过度失真,提升了图像的显示效果。
其中,在本申请实施例中,基于上述图像虚化处理过程,可以得到Y图像虚化后的图像blur_Y_4和UV图像虚化后的图像blur_UV,随后,可以分别基于权重图对Y图像和虚化后的图像blur_Y_4加权融合,基于权重图对UV图像和虚化后的图像blur_UV加权融合,其中,在本申请实施例中,在根据权重图对Y图像和虚化后的图像blur_Y_4加权融合之前,还需要根据Y图像的尺寸对图像blur_Y_4进行上采样得到blur_Y,以达到与Y图像同等尺寸的融合,其中,在本申请实施例中,根据权重图对Y图像和图像blur_Y_4的加权融合得到最终虚化效果图bokeh_Y的公式可以包括:
bokeh_Yi,j=(Yi,j*Wi>>1,j>>1+blur_Y_4i>>1,j>>1*(256-Wi>>1,j>>1))>>8
其中,根据权重图对UV图像和图像blur_UV的加权融合得到最终虚化效果图bokeh_UV的公式可以包括:
bokeh_UVi,j=(UVi,j*Wi,j+blur_UVi,j*(256-Wi,j))>>8
其中:>>表示右移操作。
其中,在本申请实施例中,为了提升图像中物体间过渡的平滑性,在blur_Y_4上采样得到blur_Y后,还可以对blur_Y进行3X3的高斯模糊处理,避免出现颜色断层,影响视觉体验。
其中,在本申请实施例中,针对加权融合后的虚化效果图bokeh_Y和bokeh_UV,可以根据用户的预览需求,直接将bokeh_Y和bokeh_UV拷贝给输出流进行送显,得到当前帧的虚化效果;后续的每一帧都按照上述步骤的操作进行,即实现每一帧成像的预览虚化。
其中,在本申请实施例中,根据预览虚化系数对色彩通道图像进行虚化处理,得到虚化后图像,根据预览焦点对深度图像进行处理,得到处理后深度图像,并根据处理后深度图像对色彩通道图像和虚化后图像进行融合处理,得到目标图像。其中,根据预览虚化系数对图像的虚化处理,使得图像的虚化与预览需求相配合,同时,图像的虚化处理,提升了图像的显示效果。通过预览焦点对深度图像的处理,并根据处理后的深度图像对色彩通道图像和虚化后图像进行融合,使得融合后图像能够根据焦点位置进行虚化调整,优化显示效果。
为便于更好的实施本申请的图像处理方法,本申请还提供一种基于上述图像处理方法的图像处理装置。其中第三目标词语的含义与上述图像处理方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图6,图6为本申请提供的图像处理装置的结构示意图,其中,该图像处理装置可以包括:
获取模块301,用于获取待处理图像及其对应的深度图像;
虚化模块302,用于根据预览虚化系数对待处理图像进行虚化处理,得到虚化后图像;
变换模块303,用于根据预览焦点对深度图像进行处理,得到处理后深度图像;
融合模块304,用于基于处理后深度图像,对待处理图像和虚化后图像进行融合处理,得到目标图像。
其中,虚化模块302包括:
第一确定单元,用于根据预览虚化系数确定虚化半径;
第二确定单元,用于针对待处理图像中的像素点,根据虚化半径确定像素点对应的圆形参考区域;
虚化单元,用于根据圆形参考区域中参考像素点的像素值对像素点的像素值进行调整,得到虚化后图像。
其中,虚化单元包括:
确定子单元,用于确定待处理图像中每行像素点对应的积分图像;
第一获取子单元,用于针对圆形参考区域的每个像素行,根据像素行的起始像素点、终结像素点以及像素行对应的积分图像确定像素行的像素和值;
第二获取子单元,用于将圆形参考区域中每个像素行的像素和值进行加权求和处理,得到目标像素值;
调整子单元,用于将像素点的像素值调整为目标像素值,得到虚化后图像。
其中,该装置还包括像素确定子单元,像素确定子单元用于:
针对圆形参考区域的每个边缘像素点,根据边缘像素点的位置信息以及圆形参考区域对应的虚化半径,确定边缘像素点相对于虚化半径的横向偏移量;
根据边缘像素点的位置信息确定边缘像素点所属的像素行;
将横向偏移量作为边缘像素点在其所属的像素行上的像素偏移量;
根据像素行对应的像素偏移量,确定像素行的起始像素点和终结像素点。
其中,变换模块303包括:
选取单元,用于根据预览虚化类型选取深度值处理公式;
处理单元,用于根据预览焦点位置以及深度值处理公式对深度图像进行处理,得到处理后深度图像。
其中,该装置还包括调整单元,调整单元包括:
第三获取子单元,用于根据处理后深度图像的深度值,确定处理后深度图像对应的类间方差;
划分子单元,用于根据类间方差将处理后深度图像的深度值划分为若干个深度值区间;
调整子单元,用于针对处理后深度图像的像素点,确定像素点的深度值所属的深度值区间,并根据深度值区间对应的深度值调整策略对像素点的深度值进行调整,得到调整后深度图像;
融合模块304包括:
处理单元,用于对调整后深度图像进行高斯模糊处理,得到权重图;
融合单元,用于根据权重图,将待处理图像和虚化后图像进行加权融合处理,得到目标图像。
其中,该装置还包括显示模块,显示模块包括:
显示单元,用于响应于用户的预览指令;加载目标图像对应的数据流,在目标窗口显示目标图像对应的预览成像。
本申请实施例由获取模块301获取待处理图像及其对应的深度图像,接着,由虚化模块302根据预览虚化系数对待处理图像进行虚化处理,得到虚化后图像,随后,由变换模块303根据预览焦点对深度图像进行处理,得到处理后深度图像,然后,由融合模块304,基于处理后深度图像,对待处理图像和虚化后图像进行融合处理,得到目标图像。
其中,本申请实施例根据预览虚化系数对待处理图像进行虚化处理,得到虚化后图像,根据预览焦点对深度图像进行处理,得到处理后深度图像,并根据处理后深度图像对待处理图像和虚化后图像进行融合处理,得到目标图像。其中,根据预览虚化系数对图像的虚化处理,使得图像的虚化与预览需求相配合,同时,图像的虚化处理,提升了图像的显示效果。通过预览焦点对深度图像的处理,并根据处理后的深度图像对待处理图像和虚化后图像进行融合,使得融合后图像能够根据焦点位置进行虚化调整,优化显示效果。
此外,本申请还提供一种电子设备,如图7所示,其示出了本申请所涉及的电子设备的结构示意图,具体来讲:
该电子设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图7中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:
处理器401是该电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
电子设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
该电子设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出,电子设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,电子设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现本申请所提供的任一种图像处理方法中的步骤。
本申请实施例根据预览虚化系数对待处理图像进行虚化处理,得到虚化后图像,根据预览焦点对深度图像进行处理,得到处理后深度图像,并根据处理后深度图像对待处理图像和虚化后图像进行融合处理,得到目标图像。其中,根据预览虚化系数对图像的虚化处理,使得图像的虚化与预览需求相配合,同时,图像的虚化处理,提升了图像的显示效果。通过预览焦点对深度图像的处理,并根据处理后的深度图像对待处理图像和虚化后图像进行融合,使得融合后图像能够根据焦点位置进行虚化调整,优化显示效果。
本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。
为此,本申请提供一种计算机可读存储介质,如图8所示,图8是本申请实施例提供的计算机可读存储介质的结构示意图,具体来讲:
该计算机可读存储介质上存储有计算机程序501,该计算机程序501被处理器执行时实现本申请所提供的任一种图像处理方法中的步骤。
其中,该计算机可读存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令,可以执行本申请所提供的任一种图像处理中的步骤,因此,可以实现本申请所提供的任一种图像处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。
以上对本申请所提供的一种图像处理方法、装置、电子设备及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种图像处理方法,其特征在于,包括:
获取待处理图像及其对应的深度图像;
根据预览虚化系数对所述待处理图像进行虚化处理,得到虚化后图像;
根据预览焦点对所述深度图像进行处理,得到处理后深度图像;
基于所述处理后深度图像,对所述待处理图像和所述虚化后图像进行融合处理,得到目标图像。
2.根据权利要求1所述的方法,其特征在于,所述根据预览虚化系数对所述待处理图像进行虚化处理,得到虚化后图像,包括:
根据预览虚化系数确定虚化半径;
针对所述待处理图像中的像素点,根据所述虚化半径确定所述像素点对应的圆形参考区域;
根据所述圆形参考区域中参考像素点的像素值对所述像素点的像素值进行调整,得到虚化后图像。
3.根据权利要求2所述的方法,其特征在于,所述根据所述圆形参考区域中参考像素点的像素值对所述像素点的像素值进行调整,得到虚化后图像,包括:
确定所述待处理图像中每行像素点对应的积分图像;
针对所述圆形参考区域的每个像素行,根据所述像素行的起始像素点、终结像素点以及所述像素行对应的积分图像确定所述像素行的像素和值;
将所述圆形参考区域中每个像素行的像素和值进行加权求和处理,得到目标像素值;
将所述像素点的像素值调整为所述目标像素值,得到虚化后图像。
4.根据权利要求3所述的方法,其特征在于,所述针对所述圆形参考区域的每个像素行,根据所述像素行的起始像素点、终结像素点以及所述像素行对应的积分图像确定所述像素行的像素和值之前,所述方法还包括:
针对所述圆形参考区域的每个边缘像素点,根据所述边缘像素点的位置信息以及所述圆形参考区域对应的虚化半径,确定所述边缘像素点相对于所述虚化半径的横向偏移量;
根据所述边缘像素点的位置信息确定所述边缘像素点所属的像素行;
将所述横向偏移量作为所述边缘像素点在其所属的像素行上的像素偏移量;
根据所述像素行对应的像素偏移量,确定所述像素行的起始像素点和终结像素点。
5.根据权利要求1-4任一项所述的方法,其特征在于,所述根据预览焦点对所述深度图像进行处理,得到处理后深度图像,包括:
根据预览虚化类型选取深度值处理公式;
根据预览焦点位置以及所述深度值处理公式对所述深度图像进行处理,得到处理后深度图像。
6.根据权利要求5所述的方法,其特征在于,所述根据预览焦点位置以及所述深度值处理公式对所述深度图像进行处理,得到处理后深度图像之后,所述方法还包括:
根据所述处理后深度图像的深度值,确定所述处理后深度图像对应的类间方差;
根据所述类间方差将所述处理后深度图像的深度值划分为若干个深度值区间;
针对所述处理后深度图像的像素点,确定所述像素点的深度值所属的深度值区间,并根据所述深度值区间对应的深度值调整策略对所述像素点的深度值进行调整,得到调整后深度图像;
所述基于所述处理后深度图像,对所述待处理图像和所述虚化后图像进行融合处理,得到目标图像,包括:
对所述调整后深度图像进行高斯模糊处理,得到权重图;
根据所述权重图,将所述待处理图像和所述虚化后图像进行加权融合处理,得到目标图像。
7.根据权利要求1-4任一项所述的方法,其特征在于,所述基于所述处理后深度图像,对所述待处理图像和所述虚化后图像进行融合处理,得到目标图像之后,所述方法还包括:
响应于用户的预览指令;
加载所述目标图像对应的数据流,在目标窗口显示所述目标图像对应的预览成像。
8.一种图像处理装置,其特征在于,包括:
获取模块,用于获取待处理图像及其对应的深度图像;
虚化模块,用于根据预览虚化系数对所述待处理图像进行虚化处理,得到虚化后图像;
变换模块,用于根据预览焦点对所述深度图像进行处理,得到处理后深度图像;
融合模块,用于基于所述处理后深度图像,对所述待处理图像和所述虚化后图像进行融合处理,得到目标图像。
9.一种电子设备,其特征在于,所述电子设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-7任一项所述图像处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述图像处理方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210552466.7A CN117132453A (zh) | 2022-05-20 | 2022-05-20 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210552466.7A CN117132453A (zh) | 2022-05-20 | 2022-05-20 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117132453A true CN117132453A (zh) | 2023-11-28 |
Family
ID=88858756
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210552466.7A Pending CN117132453A (zh) | 2022-05-20 | 2022-05-20 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117132453A (zh) |
-
2022
- 2022-05-20 CN CN202210552466.7A patent/CN117132453A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108550101B (zh) | 图像处理方法、装置及存储介质 | |
CN110766639B (zh) | 图像增强方法、装置、移动设备及计算机可读存储介质 | |
CN111311523B (zh) | 图像处理方法、装置、系统和电子设备 | |
WO2022127225A1 (zh) | 图像拼接方法、装置、设备和存储介质 | |
CN105243371A (zh) | 一种人脸美颜程度的检测方法、系统及拍摄终端 | |
CN111225162B (zh) | 图像曝光的控制方法、系统、可读存储介质及摄像设备 | |
CN116051391B (zh) | 一种图像处理方法及电子设备 | |
CN113326836B (zh) | 车牌识别方法、装置、服务器及存储介质 | |
CN113838134B (zh) | 图像关键点检测方法、装置、终端和存储介质 | |
CN114063864A (zh) | 图像显示方法、装置、电子设备及计算机可读存储介质 | |
WO2022036338A2 (en) | System and methods for depth-aware video processing and depth perception enhancement | |
CN113506305A (zh) | 三维点云数据的图像增强方法、语义分割方法及装置 | |
CN110992283A (zh) | 图像处理方法、图像处理装置、电子设备和可读存储介质 | |
CN114764821B (zh) | 移动物体检测方法、装置、电子设备和存储介质 | |
CN117132453A (zh) | 图像处理方法、装置、电子设备及计算机可读存储介质 | |
CN117333375A (zh) | 图像虚化方法、装置、终端设备及计算机可读存储介质 | |
CN115705622A (zh) | 一种图像处理方法及装置 | |
CN112150532A (zh) | 图像处理的方法、装置、电子设备和计算机可读介质 | |
CN114500870B (zh) | 图像处理方法、装置及电子设备 | |
CN114374798B (zh) | 场景识别方法、装置、电子设备和计算机可读存储介质 | |
CN116152142A (zh) | 衍射光学元件的检测方法、装置及计算机可读存储介质 | |
CN116091572B (zh) | 获取图像深度信息的方法、电子设备及存储介质 | |
JP2006031171A (ja) | 擬似的3次元データ生成方法、装置、プログラム、および記録媒体 | |
CN116934579A (zh) | 一种图像处理方法、装置、电子设备和存储介质 | |
CN110705380B (zh) | 用于实现目标对象属性识别的方法、装置、介质以及设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |