具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
图1是本申请实施例的图像处理方法的流程示意图。本申请实施例的图像处理方法例如可以由图像处理装置执行,该图像处理装置可以设置于电子设备如智能手机、平板电脑、智能手表中。
如图1所示,本实施例的图像处理方法可以包括如下步骤1100~步骤1400:
步骤1100,通过第一摄像头获取第一图像,并通过第二摄像头获取第二图像。
可选地,在本实施例中,所述第一图像和所述第二图像均为基于图像传感器生成的原始Bayer图像,所述图像传感器包括像素阵列,像素阵列是如图2所示的Bayer阵列。所述第一摄像头用于输出具有虚化效果的图像,所述第二摄像头是辅助摄像头,用于与所述第一摄像头一起完成图像的双目深度计算。
实际应用中,由于原始Bayer图像中通常具有影响双目深度计算的噪声,主要表现为引起较强视觉效果的孤立像素点或像素块,在暗光下噪声表现得尤为明显,因此,在获取到所述第一图像和所述第二图像后,还需要对所述第一图像和所述第二图像进行图像降噪处理。
在对所述第一图像和所述第二图像进行图像降噪处理后,执行步骤1200:
步骤1200,根据所述第一图像和所述第二图像计算得到深度图像。
所述深度图像是具有深度信息的图像。实际应用中,由于通过第一摄像头获取的第一图像,以及通过第二摄像头获取的第二图像中,通常具有会影响双目深度计算的噪声,因此,在根据所述第一图像和所述第二图像计算得到深度图像之前,所述图像处理装置还可以分别对所述第一图像和所述第二图像进行降噪处理,得到降噪后的第一图像和第二图像;然后基于降噪后的所述第一图像和所述第二图像计算得到所述深度图像。
具体的,在本步骤中,在计算得到深度图像时,在根据所述第一图像和所述第二图像计算得到深度图像时,所述图像处理装置具体可以先获取所述第一摄像头和所述第二摄像头的标定参数。其中,所述标定参数与所述第一摄像头和所述第二摄像头之间的位置关系,以及所述第一摄像头和所述第二摄像头自身的焦距相关。
在获取到所述第一摄像头和所述第二摄像头的标定参数后,为了方便处理,所述图像处理装置将所述第一图像转换为第一灰度图像,并将所述第二图像转换为第二灰度图像。具体的,所述图像处理装置对所述第一图像和所述第二图像分别进行四合一处理,即,对相邻的四个像素取平均值,从而生成对应的第一灰度图像和第二灰度图像。
在生成对应的第一灰度图像和第二灰度图像之后,所述图像处理装置可以根据所述标定参数分别对所述第一灰度图像和所述第二灰度图像进行立体矫正处理;其中,所述立体矫正处理具体是对所述第一灰度图像和所述第二灰度图像的极线进行对齐。
然后,所述图像处理装置对矫正后的第一灰度图像和第二灰度图像进行立体匹配处理,计算得到所述深度图像。具体的,所述立体匹配处理是将立体矫正后的所述第一灰度图像和所述第二灰度图像进行像素点匹配,根据匹配结果计算每个像素的深度,从而得到所述深度图像。
步骤1300,对所述深度图像进行滤波,得到第三图像。
需要说明的是,常用的滤波的方法包括线型滤波和非线性滤波,考虑到圆盘滤波得到的图像中背景虚化效果更接近专业摄像头产生的模糊形态,因此,在本实施例中,采用圆盘滤波对所述深度图像进行图像滤波处理。
具体的,在对所述深度图像进行滤波,得到第三图像时,所述图像处理装置可以获取参数信息;所述参数信息至少包括焦点信息和深度信息;根据所述参数信息对所述深度图像中各个像素点的虚化半径进行计算;根据各个所述像素点的虚化半径,对所述深度图像进行滤波处理,得到所述第三图像。
其中,所述焦点信息是根据用户在图像预览界面中的点击获取到的,所述深度信息是计算得到的。由于本实施例中采用的滤波方式是圆盘滤波,因此,在本步骤中,根据所述焦点信息和所述深度信息,计算得到所述深度图像中各个像素点的圆盘滤波核的半径。并根据所述圆盘滤波核的半径,分别对所述深度图像中的各个所述像素点的R通道、G通道和B通道进行圆盘滤波处理,并对滤波后的各个所述像素点进行合成,得到所述第三图像。
可以理解的是,考虑到单反摄像头产生光学浅景深的原因是光束不能会聚于一点,在像平面上形成一个扩散的圆形投影。弥散圆在焦点前后,光线开始聚集与扩散,点逐渐变模糊直至形成一个扩大的圆。因此,本实施例中,分别对各个所述像素点的R通道、G通道和B通道进行圆盘滤波处理。并且,由于滤光片的存在,分别对R通道、G通道和B通道进行圆盘滤波处理也有利于消除颜色混叠现象。
在得到所述第三图像后,执行步骤1400:
步骤1400,对所述第三图像进行图像信号处理,得到第四图像;其中,所述第四图像是具有背景虚化效果的图像。
所述图像信号处理的过程可以参照现有的处理方式,在此不再赘述。可选地,对所述第三图像进行图像信号处理后,得到的所述第四图像可以是YUV格式的图像,或者,所述第四图像可以是RGB格式的图像。本实施例对此不作具体限定。
本申请实施例的技术方案,通过第一摄像头获取第一图像,并通过第二摄像头获取第二图像;根据所述第一图像和所述第二图像计算得到深度图像;对所述深度图像进行滤波,得到第三图像;对所述第三图像进行图像信号处理,得到第四图像;其中,所述第四图像是具有背景虚化效果的图像。通过对第一图像和第二图像进行背景虚化处理,然后对虚化处理后的图像进行图像信号处理,使得图像的背景虚化效果更加接近专业单反摄像头得到的图像,背景虚化效果较好,提升了用户体验。
下面结合附图对本实施例的图像处理方法进行详细说明。
如图3所示,本实施例的图像处理方法可以包括:
步骤2100,通过第一摄像头获取第一图像,并通过第二摄像头获取第二图像。
具体的,所述第一图像和所述第二图像均为原始Bayer图像。所述第一摄像头用于输出具有虚化效果的图像,所述第二摄像头是辅助摄像头,用于与所述第一摄像头一起完成图像的双目深度计算。
步骤2200,分别对所述第一图像和所述第二图像进行图像降噪处理。
本步骤中,由于原始Bayer图像中通常具有影响双目深度计算的噪声,主要表现为引起较强视觉效果的孤立像素点或像素块,在暗光下噪声表现得尤为明显,因此,对于所述第一图像和所述第二图像进行图像降噪处理是非常必要的环节。
步骤2300,获取所述第一摄像头和所述第二摄像头的标定参数。
其中,所述标定参数与所述第一摄像头和所述第二摄像头之间的位置关系,以及所述第一摄像头和所述第二摄像头自身的焦距相关。
步骤2400,将所述第一图像转换为第一灰度图像,并将所述第二图像转换为第二灰度图像。
在本步骤中,为了方便处理,对所述第一图像和所述第二图像分别进行四合一处理,生成对应的第一灰度图像和第二灰度图像。具体的,所述四合一处理是对相邻的四个像素取平均值。
步骤2500,根据所述标定参数分别对所述第一灰度图像和所述第二灰度图像进行立体矫正处理。
其中,所述立体矫正处理具体是对所述第一灰度图像和所述第二灰度图像的极线进行对齐。
步骤2600,对矫正后的第一灰度图像和第二灰度图像进行立体匹配处理,计算得到所述深度图像。
本步骤中,是将立体矫正后的所述第一灰度图像和所述第二灰度图像进行像素点匹配,根据匹配结果计算每个像素的深度,从而得到所述深度图像。
步骤2700,获取参数信息;所述参数信息至少包括焦点信息和深度信息。
其中,所述焦点信息是根据用户在图像预览界面中的点击获取到的,所述深度信息是计算得到的。
步骤2800,根据所述焦点信息和深度信息对所述深度图像中各个像素点的虚化半径进行计算。
由于本实施例中采用的滤波方式是圆盘滤波,因此,在本步骤中,根据所述焦点信息和所述深度信息,计算得到所述深度图像中各个像素点的圆盘滤波核的半径。
步骤2900,根据各个所述像素点的虚化半径,分别对所述深度图像的各个所述像素点的R通道、G通道和B通道进行圆盘滤波处理,对滤波后的各个所述像素点进行合成,得到所述第三图像。
考虑到单反摄像头产生光学浅景深的原因是光束不能会聚于一点,在像平面上形成一个扩散的圆形投影。弥散圆在焦点前后,光线开始聚集与扩散,点逐渐变成模糊的直至形成一个扩大的圆。因此,本实施例中,分别对各个所述像素点的R通道、G通道和B通道进行圆盘滤波处理。并且,由于滤光片的存在,分别对R通道、G通道和B通道进行圆盘滤波处理也有利于消除颜色混叠现象。
步骤2101,对所述第三图像进行图像信号处理,得到第四图像;其中,所述第四图像是具有背景虚化效果的图像。
可选地,所述第四图像可以是YUV格式的图像,或者,所述第四图像可以是RGB格式的图像。本实施例对此不作具体限定。
在本实施例中,通过对第一图像和第二图像进行背景虚化处理,然后对虚化处理后的图像进行图像信号处理,使得图像的背景虚化效果更加接近专业单反摄像头得到的图像,背景虚化效果较好,提升了用户体验。
需要说明的是,本申请实施例提供的图像处理方法,执行主体可以为图像处理装置,或者该图像处理装置中的用于执行图像处理方法的控制模块。本申请实施例中以图像处理装置执行图像处理方法为例,说明本申请实施例提供的图像处理装置。
图4为本申请实施例的图像处理装置的结构示意图。如图4所示,本申请实施例的图像处理装置3000可以包括:获取模块3100,计算模块3200,滤波模块3300和处理模块3400。
其中,获取模块3100,用于通过第一摄像头获取第一图像,并通过第二摄像头获取第二图像。
计算模块3200,用于根据所述第一图像和所述第二图像计算得到深度图像。
滤波模块3300,用于对所述深度图像进行滤波,得到第三图像。
处理模块3400,用于对所述第三图像进行图像信号处理,得到第四图像;其中,所述第四图像是具有背景虚化效果的图像。
在一个实施例中,所述滤波模块3300具体用于:获取参数信息;所述参数信息至少包括焦点信息和深度信息;根据所述参数信息对所述深度图像中各个像素点的虚化半径进行计算;根据各个所述像素点的虚化半径,对所述深度图像进行滤波处理,得到所述第三图像。
在一个实施例中,所述滤波模块3300具体用于:分别对各个所述像素点的R通道、G通道和B通道进行圆盘滤波处理;对滤波后的各个所述像素点进行合成,得到所述第三图像。
在一个实施例中,所述计算模块3200具体用于:获取所述第一摄像头和所述第二摄像头的标定参数;将所述第一图像转换为第一灰度图像,并将所述第二图像转换为第二灰度图像;根据所述标定参数分别对所述第一灰度图像和所述第二灰度图像进行立体矫正处理;对矫正后的第一灰度图像和第二灰度图像进行立体匹配处理,计算得到所述深度图像。
在一个实施例中,所述处理模块3400还用于:分别对所述第一图像和所述第二图像进行降噪处理,得到降噪后的第一图像和第二图像。
本实施例的图像处理装置,通过设置用于通过第一摄像头获取第一图像,并通过第二摄像头获取第二图像的获取模块,用于根据所述第一图像和所述第二图像计算得到深度图像的计算模块,用于对所述深度图像进行滤波,得到第三图像的滤波模块以及用于对所述第三图像进行图像信号处理,得到第四图像的处理模块,可以先对第一图像和第二图像进行背景虚化处理,然后对虚化处理后的图像进行图像信号处理,使得图像的背景虚化效果更加接近专业单反摄像头得到的图像,背景虚化效果较好,提升了用户体验。
本申请实施例中的图像处理装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobilepersonal computer,UMPC)、上网本或者个人数字助理(personal digital assistant,PDA)等,本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图1的方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图5所示,本申请实施例还提供一种电子设备5000,包括处理器5100,存储器5200,存储在存储器5200上并可在所述处理器5100上运行的程序或指令,该程序或指令被处理器5100执行时实现上述图1所示的图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要说明的是,本申请实施例中的电子设备包括上述所述的移动电子设备。
图6为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备600包括但不限于:射频单元601、网络模块602、音频输出单元603、输入单元604、传感器605、显示单元606、用户输入单元607、接口单元608、存储器609、以及处理器610等部件。
本领域技术人员可以理解,电子设备600还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器610逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图6中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,所述处理器610用于通过第一摄像头获取第一图像,并通过第二摄像头获取第二图像;根据所述第一图像和所述第二图像计算得到深度图像;对所述深度图像进行滤波,得到第三图像;对所述第三图像进行图像信号处理,得到第四图像;其中,所述第四图像是具有背景虚化效果的图像。
在一个实施例中,所述处理器610具体用于:获取参数信息;所述参数信息至少包括焦点信息和深度信息;根据所述参数信息对所述深度图像中各个像素点的虚化半径进行计算;根据各个所述像素点的虚化半径,对所述深度图像进行滤波处理,得到所述第三图像。
在一个实施例中,所述处理器610具体用于:分别对各个所述像素点的R通道、G通道和B通道进行圆盘滤波处理;对滤波后的各个所述像素点进行合成,得到所述第三图像。
在一个实施例中,所述处理器610具体用于:获取所述第一摄像头和所述第二摄像头的标定参数;将所述第一图像转换为第一灰度图像,并将所述第二图像转换为第二灰度图像;根据所述标定参数分别对所述第一灰度图像和所述第二灰度图像进行立体矫正处理;对矫正后的第一灰度图像和第二灰度图像进行立体匹配处理,计算得到所述深度图像。
在一个实施例中,所述处理器610具体用于:分别对所述第一图像和所述第二图像进行降噪处理,得到降噪后的第一图像和第二图像。
本申请实施例的电子设备,可用于执行上述方法实施例的技术方案,其实现原理和技术效果类似,在此不再赘述。
应理解的是,本申请实施例中,输入单元604可以包括图形处理器(GraphicsProcessing Unit,GPU)6041和麦克风6042,图形处理器6041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元606可包括显示面板6061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板6061。用户输入单元607包括触控面板6071以及其他输入设备6072。触控面板6071,也称为触摸屏。触控面板6071可包括触摸检测装置和触摸控制器两个部分。其他输入设备6072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器609可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器610可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器610中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图1所示的图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图1所示的图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。