具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例所描述的终端可以包括智能手机(如Android手机、iOS手机、WindowsPhone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备(MID,MobileInternetDevices)或穿戴式设备等,上述终端仅是举例,而非穷举,包含但不限于上述终端。
请参阅图1,为本发明实施例提供的一种图像增强的方法的第一实施例流程示意图。本实施例中所描述的图像增强的方法,包括以下步骤:
S101、获取针对预设场景的强闪图像和弱闪图像。
具体实现中,由于闪光灯的功率不同,因而,终端可利用终端的摄像头对预设场景进行拍照时,得到的图像的信噪比不一样。根据这个原理,终端可通过在不同的闪光灯下针对预设场景进行拍照时候得到不同的图像,本实施例中,可以2张图像进行说明,即强闪图像和弱闪图像,其中,强闪图像对应的闪光灯的功率大于弱闪图像对应的闪光灯的功率。其中,预设场景是指强闪图像和弱闪图像对应的拍摄场景相同。或者,终端可从该终端的相册中获取针对预设场景的强闪图像和弱闪图像。或者,终端可从网络图片库中找到针对预设场景的强闪图像和弱闪图像。
S102、将所述强闪图像分离为第一色品数据和第一亮度数据。
具体实现中,终端可先将强闪图像转变到预设颜色空间,这样,便可以分离出强闪图像的第一色品数据和第一亮度数据。其中,预设颜色空间可包括但不仅限于:HIS颜色空间、YUV颜色空间、YIQ颜色空间、1931CIE-XYZ等等。优选地,1931CIE-XYZ。例如,强闪图像为RGB图像时,可将该RGB图像转1931CIE-XYZ颜色空间,在1931CIE-XYZ颜色空间中的强闪图像则为亮度数据和色品数据,那么终端可直接对该亮度数据和色品数据分别进行不同的处理,将处理之后的亮度数据和色品数据进行逆变换,即可得到处理后的强闪图像,该逆变换为由1931CIE-XYZ转变为RGB颜色空间。
S103、将所述弱闪图像分离为第二色品数据和第二亮度数据。
具体实现中,终端可利用步骤S102中所描述的方法将弱闪图像分离为第二色品数据和第二亮度数据,优选地,终端可将弱闪图像转变到与强闪图像对应的预设颜色空间。
S104、根据所述第一色品数据和所述第二色品数据估算当前环境下无闪图像的第三色品数据。
具体实现中,终端可根据强闪图像的第一色品数据和弱闪图像的第二色品数据估算当前环境下无闪图像的第三色品数据。
需要说明的是,虽然实现中,在当前环境下,若终端不开闪光灯也会得到无闪图像,可提取该无闪图像的色品数据,但是,本实施例中的无闪图像的色品数据为估算得到的无闪数据,两者之间存在的一定的差异。
S105、将所述第一亮度数据和所述第二亮度数据按照预设方式进行处理以得到第三亮度数据。
具体实现中,终端可对第一亮度数据和第二亮度数据进行加权处理,从而得到第三亮度数据。即可将第一亮度数据的权值定义为K1,将第二亮度数据的权值定义为K2,其中,K1+K2=1。
进一步地,终端可对第一亮度数据和第二亮度数据进行加权平均运算以得到第三亮度数据。
进一步地,在第一亮度数据的权值为1的情况下,即第二亮度数据的权值为0情况下,可将第一亮度数据直接作为第三亮度数据。
进一步地,在第二亮度数据的权值为1的情况下,即第一亮度数据的权值为0情况下,可将第二亮度数据直接作为第三亮度数据。
可选地,终端可从第一亮度数据选取预设区域的亮度数据,从第二亮度数据中选取该预设区域对应的区域以外的区域的亮度数据,将两者的亮度数据合成第三亮度数据。
可选地,终端可将强闪图像和弱闪图像合成高动态范围图像(英文:HighDynamicRange,缩写:HDR),提取该高动态范围图像的亮度数据作为第三亮度数据。
S106、将所述第三色品数据和所述第三亮度数据合成为输出图像。
由上述可知,终端可通过颜色空间变换的方式将强闪图像分离为第一色品数据和第一亮度数据。同理,终端可将弱闪图像分离为第二色品数据和第二亮度数据,优选地,强闪图像和弱闪图像最好转化为同一类颜色空间进行色品数据和亮度数据的分离。因而,终端可将第三色品数据和第三亮度数据按照与上述预设颜色空间的反变换合成输出图像。
可选地,在具体实现中,还可以使用强闪图像对弱闪图像进行联合滤波或者导向滤波,从而,可得到噪点较少的输出图像,在此,需要说明的是,联合滤波和导向滤波均属于现有技术,且该方式实现过程中计算复杂度较高。
通过本发明实施例终端可将获取到的针对预设场景的强闪图像和弱闪图像分别进行分离,以分别得到强闪图像和弱闪图像的色品数据和亮度数据,依据两者的色品数据估算无闪图像的色品数据,对两者的亮度数据按照预设方式进行处理,最后将估算得到的无闪图像的色品数据和预设方式处理后的亮度数据合成为输出图像,通过本发明实施例一方面可在暗视觉环境下提高输出图像的信噪比,另一方面使得输出图像的色品数据接近不开闪光灯时摄像头拍摄的图像的色品数据,从而,输出图像的颜色较为真实。
请参阅图2,为本发明实施例提供的一种图像增强的方法的第二实施例流程示意图。本实施例中所描述的图像增强的方法,包括以下步骤:
S201、获取针对预设场景的强闪图像和弱闪图像。
本实施例中,以2张图像进行说明,即强闪图像和弱闪图像,其中,强闪图像对应的闪光灯的功率大于弱闪图像对应的闪光灯的功率。其中,预设场景是指强闪图像和弱闪图像对应的拍摄场景相同。
S202、将所述强闪图像分离为第一色品数据和第一亮度数据。
具体实现中,终端可先将强闪图像转变到预设颜色空间,这样,便可以分离出强闪图像的第一色品数据和第一亮度数据。其中,预设颜色空间可包括但不仅限于:HIS颜色空间、YUV颜色空间、YIQ颜色空间、1931CIE-XYZ等等。优选地,1931CIE-XYZ。例如,强闪图像为RGB图像时,可将该RGB图像转1931CIE-XYZ颜色空间,在1931CIE-XYZ颜色空间中的强闪图像则为亮度数据和色品数据,那么终端可直接对该亮度数据和色品数据分别进行不同的处理,将处理之后的亮度数据和色品数据进行逆变换,即可得到处理后的强闪图像,该逆变换为由1931CIE-XYZ转变为RGB颜色空间。
S203、将所述弱闪图像分离为第二色品数据和第二亮度数据。
具体实现中,终端可利用步骤S202中所描述的方法将弱闪图像分离为第二色品数据和第二亮度数据,优选地,终端可将弱闪图像转变到与强闪图像对应的预设颜色空间。
S204、根据预设的所述第一色品数据与当前环境下无闪图像的第三色品数据之间的第一约束关系和预设的所述第一色品数据与所述第三色品数据之间的第二约束关系估算所述第三色品数据。
具体实现中,终端可预设第一色品数据与第三色品数据之间的第一约束关系,该第一约束关系可为一个函数式。同理,终端可预设第二色品数据与第三色品数据之间的第二约束关系,该第二约束关系也可为一个函数式。
进一步地,第一约束关系可为公式(1)建立的第一色品数据与第三色品数据之间的约束关系,公式(1)如下:
进一步地,第二约束关系可为公式(2)建立的第二色品数据与第三色品数据之间的约束关系,其中,公式(2)如下:
其中,公式(1)、(2)中,Cs表示第一色品数据,Cw表示第二色品数据,Cn表示第三色品数据,Cf表示全黑环境下使用闪光灯拍摄的图像的色品数据,Ks表示强闪图像与无闪图像的亮度之间的比值,Kw表示弱闪图像与无闪图像的亮度比。
进一步可选地,强闪图像与无闪图像的亮度之间的比值,即Ks为:强闪图像的平均亮度与无闪图像的平均亮度之间的比值,如公式(3)和公式(4)所示,公式(3)、(4)如下;
kw=Lw/L0(3)
ks=Ls/L0(4)
其中,公式(3)、(4)中,L0表示无闪情况下的摄像机的拍摄画面的平均亮度,Lw表示弱闪图像的平均亮度,Ls表示强闪图像的平均亮度,kw表示强闪图像的平均亮度与无闪图像的平均亮度之间的比值,ks表示。L0、Lw和Ls这三个亮度值可以使用亮度传感器进行感知。假设无闪情况下,平均亮度为1个单位,则弱闪情况下,平均亮度为kw;强闪情况下,平均光亮度为ks。绝对的环境亮度值并非我们需要的数据。
进一步可选地,强闪图像与无闪图像的亮度之间的比值,即Ks为:强闪图像的环境亮度与无闪图像的环境亮度之间的比值。其中,环境亮度的计算方法如下:图像平均亮度为图像的平均灰度值,增益为摄像机系数,曝光时间为拍照过程中曝光的时间。在此不再赘述。
环境亮度=图像平均亮度/(增益*曝光时间)(5)
具体实现中,因为第一约束关系为第一色品数据与第三色品数据之间的约束关系,第二约束关系为第二色品数据与第三色品数据之间的约束关系,即第一约束关系和第二约束关系均与第三色品数据有关,因而,可通过第一约束关系和第二约束关系估算该第三色品数据。
可选地,第三色品数据的求解过程可按照如下步骤实施:
将公式(1)和公式(2)联合成一个方程组,如公式(6):
对公式(6)进行变换形式,可以得到公式(7):
对公式(7)进行变换形式,可以得到公式(8):
可以看出,公式(8)中的两个方程式均包含有变量Cf,因而,可想到通过消除该变量Cf,而达到建立Cs、Cw和Cn之间的约束关系的目的,如公式(9)所示。
其实,由公式(9)已经可以看出Cn可以求解出来,为了表示方便,可令Cn的表达式可如公式(10)所示。
S205、将所述第一亮度数据和所述第二亮度数据按照预设方式进行处理以得到第三亮度数据。
具体实现中,终端可对第一亮度数据和第二亮度数据进行加权处理,从而得到第三亮度数据。即可将第一亮度数据的权值定义为K1,将第二亮度数据的权值定义为K2,其中,K1+K2=1。
进一步地,终端可对第一亮度数据和第二亮度数据进行加权平均运算以得到第三亮度数据。
进一步地,在第一亮度数据的权值为1的情况下,即第二亮度数据的权值为0情况下,可将第一亮度数据直接作为第三亮度数据。
进一步地,在第二亮度数据的权值为1的情况下,即第一亮度数据的权值为0情况下,可将第二亮度数据直接作为第三亮度数据。
可选地,终端可从第一亮度数据选取预设区域的亮度数据,从第二亮度数据中选取该预设区域对应的区域以外的区域的亮度数据,将两者的亮度数据合成第三亮度数据。
可选地,终端可将强闪图像和弱闪图像合成HDR图像,提取该HDR图像的亮度数据作为第三亮度数据。
S206、将所述第三色品数据和所述第三亮度数据合成为输出图像。
由上述可知,终端可通过颜色空间变换的方式将强闪图像分离为第一色品数据和第一亮度数据。同理,终端可将弱闪图像分离为第二色品数据和第二亮度数据,优选地,强闪图像和弱闪图像最好转化为同一类颜色空间进行色品数据和亮度数据的分离。因而,终端可将第三色品数据和第三亮度数据按照与上述预设颜色空间的反变换合成输出图像。针对色品数据和亮度数据合成的计算方式属于现有计算,在此,不再赘述。
通过本发明实施例终端可获取针对预设场景的强闪图像和弱闪图像分别进行分离,以分别得到强闪图像和弱闪图像的色品数据和亮度数据,依据两者的色品数据估算无闪图像的色品数据,对两者的亮度数据按照预设方式进行处理,最后将估算得到的无闪图像的色品数据和预设方式处理后的亮度数据合成为输出图像,通过本发明实施例一方面可在暗视觉环境下提高输出图像的信噪比,另一方面使得输出图像的色品数据接近不开闪光灯时摄像头拍摄的图像的色品数据,从而,输出图像的颜色较为真实。
请参阅图3,其中,图3为本发明实施例提供的一种终端的第一实施例结构示意图。本实施例中图3所描述的终端,包括:获取单元301、第一分离单元302、第二分离单元303、估算单元304、处理单元305和合成单元306,具体如下:
获取单元301,用于获取针对预设场景的强闪图像和弱闪图像。
具体实现中,由于闪光灯的功率不同,因而,获取单元301可利用该移动终端的摄像头对预设场景进行拍照时,得到的图像的信噪比不一样。根据这个原理,终端可通过在不同的闪光灯下针对预设场景进行拍照时候得到不同的图像,本实施例中,可以2张图像进行说明,即强闪图像和弱闪图像,其中,强闪图像对应的闪光灯的功率大于弱闪图像对应的闪光灯的功率。其中,预设场景是指强闪图像和弱闪图像对应的拍摄场景相同。或者,终端可从该终端的相册中获取针对预设场景的强闪图像和弱闪图像。或者,终端可从网络图片库中找到针对预设场景的强闪图像和弱闪图像。
第一分离单元302,用于将所述获取单元301获取到的强闪图像分离为第一色品数据和第一亮度数据。
具体实现中,第一分离单元302可先将强闪图像转变到预设颜色空间,这样,便可以分离出强闪图像的第一色品数据和第一亮度数据。其中,预设颜色空间可包括但不仅限于:HIS颜色空间、YUV颜色空间、YIQ颜色空间、1931CIE-XYZ等等。优选地,1931CIE-XYZ。例如,强闪图像为RGB图像时,可将该RGB图像转1931CIE-XYZ颜色空间,在1931CIE-XYZ颜色空间中的强闪图像则为亮度数据和色品数据,那么方便终端直接对该亮度数据和色品数据分别进行不同的处理,将处理之后的亮度数据和色品数据进行逆变换,即可得到处理后的强闪图像,该逆变换为由1931CIE-XYZ转变为RGB颜色空间。
第二分离单元303,用于将所述获取单元301获取到的弱闪图像分离为第二色品数据和第二亮度数据。
估算单元304,用于根据所述第一分离单元302分离得到的第一色品数据和所述第二分离单元303分离得到的第二色品数据估算当前环境下无闪图像的第三色品数据。
具体实现中,估算单元304可根据强闪图像的第一色品数据和弱闪图像的第二色品数据估算当前环境下无闪图像的第三色品数据。
需要说明的是,虽然实现中,在当前环境下,若终端不开闪光灯也会得到无闪图像,可提取该无闪图像的色品数据,但是,本实施例中的无闪图像的色品数据为估算得到的无闪数据,两者之间存在的一定的差异。
可选地,估算单元304具体用于:
根据预设的第一分离单元分离出的第一色品数据与当前环境下无闪图像的第三色品数据之间的第一约束关系和预设的第一色品数据与第三色品数据之间的第二约束关系估算第三色品数据。
具体实现中,预设的第一色品数据与第三色品数据之间的第一约束关系可为一个函数式。同理,预设的第二色品数据与第三色品数据之间的第二约束关系也可为一个函数式。
进一步地,第一约束关系可为公式(1)建立的第一色品数据与第三色品数据之间的约束关系,公式(1)如下:
进一步地,第二约束关系可为公式(2)建立的第二色品数据与第三色品数据之间的约束关系,其中,公式(2)如下:
其中,公式(1)、(2)中,Cs表示第一色品数据,Cw表示第二色品数据,Cn表示第三色品数据,Cf表示全黑环境下使用闪光灯拍摄的图像的色品数据,Ks表示强闪图像与无闪图像的亮度之间的比值,Kw表示弱闪图像与无闪图像的亮度比。
进一步可选地,强闪图像与无闪图像的亮度之间的比值,即Ks为:强闪图像的平均亮度与无闪图像的平均亮度之间的比值,如公式(3)和公式(4)所示,公式(3)、(4)如下;
kw=Lw/L0(3)
ks=Ls/L0(4)
其中,公式(3)、(4)中,L0表示无闪情况下的摄像机的拍摄画面的平均亮度,Lw表示弱闪图像的平均亮度,Ls表示强闪图像的平均亮度,kw表示强闪图像的平均亮度与无闪图像的平均亮度之间的比值,ks表示。L0、Lw和Ls这三个亮度值可以使用亮度传感器进行感知。假设无闪情况下,平均亮度为1个单位,则弱闪情况下,平均亮度为kw;强闪情况下,平均光亮度为ks。绝对的环境亮度值并非我们需要的数据。
进一步可选地,强闪图像与无闪图像的亮度之间的比值,即Ks为:强闪图像的环境亮度与无闪图像的环境亮度之间的比值。其中,环境亮度的计算方法如下:图像平均亮度为图像的平均灰度值,增益为摄像机系数,曝光时间为拍照过程中曝光的时间。在此不再赘述。
环境亮度=图像平均亮度/(增益*曝光时间)(5)
具体实现中,因为第一约束关系为第一色品数据与第三色品数据之间的约束关系,第二约束关系为第二色品数据与第三色品数据之间的约束关系,即第一约束关系和第二约束关系均与第三色品数据有关,因而,可通过第一约束关系和第二约束关系估算该第三色品数据。
可选地,第三色品数据的求解过程可按照如下步骤实施:
将公式(1)和公式(2)联合成一个方程组,如公式(6):
对公式(6)进行变换形式,可以得到公式(7):
对公式(7)进行变换形式,可以得到公式(8):
可以看出,公式(8)中的两个方程式均包含有变量Cf,因而,可想到通过消除该变量Cf,而达到建立Cs、Cw和Cn之间的约束关系的目的,如公式(9)所示。
其实,由公式(9)已经可以看出Cn可以求解出来,为了表示方便,可令Cn的表达式可如公式(10)所示。
处理单元305,用于将所述第一分离单元302分离得到的第一亮度数据和所述第二分离单元303分离得到的第二亮度数据按照预设方式进行处理以得到第三亮度数据。
可选地,处理单元305具体用于:对所述第一分离单元302分离得到的第一亮度数据和所述第二分离单元303分离得到的第二亮度数据进行加权运算以得到第三亮度数据。
合成单元306,用于将所述估算单元304估算得到的第三色品数据和所述处理单元305处理得到的第三亮度数据合成为输出图像。
通过本发明实施例的所描述的终端可将获取到的针对预设场景的强闪图像和弱闪图像分别进行分离,以分别得到强闪图像和弱闪图像的色品数据和亮度数据,依据两者的色品数据估算无闪图像的色品数据,对两者的亮度数据按照预设方式进行处理,最后将估算得到的无闪图像的色品数据和预设方式处理后的亮度数据合成为输出图像,通过本发明实施例一方面可在暗视觉环境下提高输出图像的信噪比,另一方面使得输出图像的色品数据接近不开闪光灯时摄像头拍摄的图像的色品数据,从而,输出图像的颜色较为真实。
请参阅图4,为本发明实施例提供的一种终端的第二实施例结构示意图。本实施例中所描述的终端,包括:至少一个输入设备1000;至少一个输出设备2000;至少一个处理器3000,例如CPU;和存储器4000,上述输入设备1000、输出设备2000、处理器3000和存储器4000通过总线5000连接。
其中,上述输入设备1000具体可为触摸屏、物理按键或者鼠标。
上述输出设备2000具体可为显示器或者显示屏。
上述存储器4000可以是高速RAM存储器,也可为非不稳定的存储器(non-volatilememory),例如磁盘存储器。上述存储器4000用于存储一组程序代码,上述输入设备1000、输出设备2000和处理器3000用于调用存储器4000中存储的程序代码,执行如下操作:
上述处理器3000,用于:
获取针对预设场景的强闪图像和弱闪图像;
将所述强闪图像分离为第一色品数据和第一亮度数据;
将所述弱闪图像分离为第二色品数据和第二亮度数据;
根据所述第一色品数据和所述第二色品数据估算当前环境下无闪图像的第三色品数据;
将所述第一亮度数据和所述第二亮度数据按照预设方式进行处理以得到第三亮度数据;
将所述第三色品数据和所述第三亮度数据合成为输出图像。
作为一种可能的实施方式,上述处理器3000根据所述第一色品数据和所述第二色品数据估算当前环境下无闪图像的第三色品数据,包括:
根据预设的所述第一色品数据与当前环境下无闪图像的第三色品数据之间的第一约束关系和预设的所述第一色品数据与所述第三色品数据之间的第二约束关系估算所述第三色品数据。
可选地,所述第一约束关系,包括:
按照公式(1)建立的所述第一色品数据与所述第三色品数据之间的约束关系,所述公式(1)如下:
所述的第二约束关系,包括:
按照公式(2)建立的所述第二色品数据与所述第三色品数据之间的约束关系,其中,所述公式(2)如下:
其中,Cs表示所述第一色品数据,Cw表示所述第二色品数据,Cn表示所述第三色品数据,Cf表示全黑环境下使用闪光灯拍摄的图像的色品数据,Ks表示所述强闪图像与所述无闪图像之间的亮度比,Kw表示所述弱闪图像与所述无闪图像的之间的亮度比。
进一步地,所述强闪图像与所述无闪图像之间的亮度比为:所述强闪图像的平均亮度与所述无闪图像的平均亮度之间的比值;或者,所述强闪图像的环境亮度与所述无闪图像的环境亮度之间的比值。
进一步地,所述弱闪图像与所述无闪图像之间的亮度比为:所述弱闪图像的平均亮度与所述无闪图像的平均亮度之间的比值;或者,所述弱闪图像的环境亮度与所述无闪图像的环境亮度之间的比值。
作为一种可能的实施方式,上述处理器3000将所述第一亮度数据和所述第二亮度数据按照预设方式进行处理以得到第三亮度数据,包括:
对所述第一亮度数据和所述第二亮度数据进行加权运算以得到第三亮度数据。
具体实现中,本发明实施例中所描述的输入设备1000、输出设备2000和处理器3000可执行本发明实施例提供的一种图像增强的方法的第一实施例和第二实施例中所描述的实现方式,也可执行本发明实施例提供的一种终端的第一实施例中所描述的终端的实现方式,在此不再赘述。
通过本发明实施例的所描述的终端可将获取到的针对预设场景的强闪图像和弱闪图像分别进行分离,以分别得到强闪图像和弱闪图像的色品数据和亮度数据,依据两者的色品数据估算无闪图像的色品数据,对两者的亮度数据按照预设方式进行处理,最后将估算得到的无闪图像的色品数据和预设方式处理后的亮度数据合成为输出图像,通过本发明实施例一方面可在暗视觉环境下提高输出图像的信噪比,另一方面使得输出图像的色品数据接近不开闪光灯时摄像头拍摄的图像的色品数据,从而,输出图像的颜色较为真实。
本发明所有实施例中的单元,可以通过通用集成电路,例如CPU(CentralProcessingUnit,中央处理器),或通过ASIC(ApplicationSpecificIntegratedCircuit,专用集成电路)来实现。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
本发明实施例终端中的单元可以根据实际需要进行合并、划分和删减。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存取存储器(RandomAccessMemory,简称RAM)等。
以上对本发明实施例所提供的一种图像增强的方法及终端进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。