CN106231193A - 一种图像处理方法及终端 - Google Patents

Abstract

本发明实施例提供了一种图像处理方法及终端，该方法包括：获取目标图像，目标图像是通过摄像头拍摄的图像；获取光源的颜色数据，该颜色数据的采集时间与目标图像的拍摄时间之间的时间差小于预设值，该颜色数据是通过颜色传感器采集的，该颜色传感器的采集范围根据摄像头与被拍摄物体之间的距离确定；根据该颜色数据对目标图像进行颜色矫正。实施本发明实施例，可以准确地对彩色图像进行颜色矫正。

Description

一种图像处理方法及终端

技术领域

本发明涉及多媒体技术领域，具体涉及一种图像处理方法及终端。

背景技术

随着电子技术的不断发展，摄像头已成为手机、平板电脑等终端中必不可少的组成部分，用户可以通过终端中的摄像头记录生活中的点点滴滴。用户在拍照过程中，常常会发现，当对某一场景拍摄时，拍出来的颜色效果与现实中的颜色效果之间差别较多。

现有技术中，采用完美发射法实现白平衡，其理论依据为：镜面反射到摄像头的光的颜色就是光源的颜色，但是镜面反射通常会导致图像高光区域像素过曝，而且，有些场景可能不存在镜面反射，例如拍摄一个蓝色的T恤，由于T恤上很多绒毛，难以形成镜面，因而，完美发射法对彩色图像的颜色矫正效果不明显。

发明内容

本发明实施例提供一种图像处理方法及终端，可以准确地对彩色图像进行颜色矫正。

本发明实施例第一方面提供一种图像处理方法，包括：

获取目标图像，所述目标图像是通过摄像头拍摄的图像；

获取光源的颜色数据，所述颜色数据的采集时间与所述目标图像的拍摄时间之间的时间差小于预设值，所述颜色数据是通过颜色传感器采集的，所述颜色传感器的采集范围根据所述摄像头与被拍摄物体之间的距离确定；

根据所述颜色数据对所述目标图像进行颜色矫正。

本发明实施例第二方面提供一种终端，包括：

第一获取单元，用于获取目标图像，所述目标图像是通过摄像头拍摄的图像；

第二获取单元，用于获取光源的颜色数据，所述颜色数据的采集时间与所述第一获取单元获取的目标图像的拍摄时间之间的时间差小于预设值，所述颜色数据是通过颜色传感器采集的，所述颜色传感器的采集范围根据所述摄像头与被拍摄物体之间的距离确定；

第一矫正单元，用于根据所述第二获取单元获取的颜色数据对所述第一获取单元获取的目标图像进行颜色矫正。

本发明实施例中，获取目标图像，以及获取光源的颜色数据，根据光源的颜色数据对目标图像进行矫正，颜色数据的采集时间与目标图像的拍摄时间之间的时间差小于预设值，因此，可以使用拍摄图像时采集的光源对待处理图像进行颜色矫正，可以准确地对彩色图像进行颜色矫正。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种终端与被拍摄物体之间的距离较远的示意图；

图2是本发明实施例提供的一种终端与被拍摄物体之间的距离较近的示意图；

图3是颜色传感器与光谱曲线的示意图；

图4是本发明实施例提供的一种图像处理方法的流程示意图；

图5是本发明实施例提供的一种终端的结构示意图；

图6是本发明实施例提供的另一种终端的结构示意图；

图7是本发明实施例提供的又一种终端的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种图像处理方法及终端，可以准确地对彩色图像进行颜色矫正。以下分别进行详细说明。

为了更好地理解本发明实施例提供的一种拍照方法及终端，下面先对本发明实施例的应用场景进行描述。用户为了追求颜色恒常性，希望安装有摄像头的终端采集的图像能够满足颜色恒常性，然而，由于在拍照时的闪光灯的颜色是固定不变的，不会随着环境颜色的不同而改变闪光灯的颜色，在拍照过程中总是以固定的颜色来补光，因此，在某些情况下闪光灯的补光效果不是很好，以致无法达到颜色恒常性，从而需要在后续对图像进行处理。其中，环境光源中有些环境光源对图像采集的影响较大，例如：照射在被拍摄物体正面的光源，有些环境光源对图像采集的影响较小，例如：照射在被拍摄物体背面的光源。因此，可以将环境光源中对图像采集的影响较大的光源称为主要光源，即将能够照射在被拍摄物体正面的光源称为主要光源，可以将环境光源中对图像采集的影响较小的光源称为次要光源，即将照射在被拍摄物体背面的光源称为次要光源。由于主要光源对被图像采集的影响较大，可见，可以根据主要光源的颜色数据对图像进行矫正。然而，摄像头所在终端与被拍摄物体之间的距离不同，照射在被拍摄物体正面的光源不同，请参阅图1，图1是本发明实施例提供的一种终端与被拍摄物体之间的距离较远的示意图，如图1所示，当终端与被拍摄物体之间的距离较远时，照射在被拍摄物体正面的光源是与被拍摄物体处于同一侧的光源；请参阅图2，图2是本发明实施例提供的一种终端与被拍摄物体之间的距离较近的示意图，如图2所示，当摄像头与终端之间的距离较近时，照射在被拍摄物体正面的光源是与被拍摄物体处于相反侧的光源。

本发明实施例所描述的终端可以包括设置有摄像头和颜色传感器的智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备(MID，Mobile Internet Devices)、穿戴式设备或飞行器等，上述终端仅是举例，而非穷举，包含但不限于上述终端。

本发明实施例中，光源可为不同种类的自然光，例如：不同天气、不同时间、不同季节、不同经纬度正对阳光与背对阳光的光源或者月光。光源还可为：不同种类的人造光源，例如：荧光灯、白炽灯、烛光、高压汞灯、钠灯、LED灯、TL84灯、A光光源、紫外灯、D65光源、路灯、手电筒等等。光源还可为其他光源，例如：萤火虫形成的光源、夜光粉形成的光源、夜明珠形成的光源等等。

需要说明的是，若终端的摄像头针对预设颜色卡进行拍照时，若预设颜色卡为灰色，则得到灰卡图像，若预设颜色卡为色卡，则得到色卡图像。

需要说明的是，本发明实施例所涉及到的标定数据主要是指两个图像之间的映射关系。准确来说，是指两个图像之间的颜色数据之间的对应关系。举例说明，以灰卡为例进行说明，在光源A下得到的光源A的颜色数据(光源A的颜色数据可由颜色传感器采集)和在该光源A下得到的灰卡图像(灰卡图像由摄像头拍摄得到)，那么，可建立该光源A的颜色数据与该光源A下的灰卡图像之间的映射关系，即是对光源A和灰卡进行标定，可用公式表示如下：

sc_AM＝gray_A

其中，sc_A表示光源A下的颜色数据，gray_A为光源A下的灰卡图像，M则为该光源A下的颜色数据与光源A下的灰卡图像之间的标定数据，也称为映射关系。或者，通过查表方法，建立光源与该光源下的灰卡图像的标定数据，例如，A表示光源下的颜色数据，B表示灰卡，那么，A1表示第一光源下的颜色数据，B1表示第一光源下的灰卡图像，那么A1和B1之间的映射关系，可称为第一组标定数据；A2表示第二光源下的颜色数据，B2表示第二光源下的灰卡图像，那么A2和B2之间的映射关系，可称为第二组标定数据，则在知道A1的情况下，可通过查表方式直接得到对应的灰卡图像B1，同理，在知道A2的情况下，可通过查表直接得到对应的灰卡图像B2，该方式即为查表方式。通常情况下，由于光源较多，且光源的颜色较多，因而，需要对多种光源中每一种光源都进行标定，得到的标定数据越多，那么，在本发明实施例中得到的颜色矫正越精确。同时，可将多种标定数据构成标定数据库。可理解为，每种光源下对应一个灰卡图像，该光源下的颜色数据与该光源下的灰卡图像之间的映射关系即为标定数据。同样的原理，在色卡情况下，依旧可得到光源与色卡之间的标定数据。

颜色传感器通常由RGBW四个通道的光点转换单元组成，可以为RGBW传感器、色谱传感器等，R、G、B的光谱响应特性分别接近人眼视网膜的三种锥状感光细胞L，S，M的光谱响应特性。W通道的光谱响应特性接近人眼视视网膜的杆状感光细胞的光谱响应特性。其中，RGBW包含4个颜色数据采集通道，因而，可分别利用该4个通道采集不同的颜色数据，该4个颜色数据采集通道可分别为R(红色)通道的颜色数据、G(绿色)通道的颜色数据、B(蓝色)通道的颜色数据和W(白色)通道的颜色数据。请参阅图3，图3是颜色传感器与光谱曲线的示意图。图3所示的光扩散板是通过化学或物理的手段，利用光线在行径途中遇到两个折射率(密度)相异的介质时，发生折射、反射与散射的物理现象，通过在有机玻璃(polymethylmethacrylate，PMMA)、防弹胶(polycarbonates，PC)、聚苯乙烯(polystryrene，PS)、聚丙烯(polypropylene，PP)等基材基础中添加无机或有机光扩散剂，或者通过基材表面的微特征结构的阵列调整光线，使光线发生不同方向的折射、反射与散射，从而改变光线的行进路线，实现入射光充分散色以此产生光学扩散的效果。

请参阅图4，图4是本发明实施例提供的一种图像处理方法的流程示意图。如图4所示，该图像处理方法可以包括以下步骤。

401、获取目标图像。

本实施例中，当用户对通过摄像头采集的目标图像不满意时，可以通过操作使图像处理应用或图像处理客户端获取目标图像，即图像处理应用或图像处理客户端将目标图像加载在图像处理应用或图像处理客户端中。其中，目标图像是通过终端上的摄像头采集的图像。其中，图像处理应用或图像处理客户端是安装在终端中的应用或客户端。

402、获取光源的颜色数据。

本实施例中，由于摄像头采集图像时，照射在被拍摄物体上的光源的颜色不同，所采集图像的效果不同。因此，在摄像头采集目标图像时、采集目标图像前或采集目标图像后，可以通过设置在终端上的颜色传感器采集照射在被拍摄物体上的光源的颜色数据，以便后续调用，但颜色数据的采集时间与目标图像的拍摄时间之间的时间差要小于第一预设值，以保证采集的颜色数据是拍摄目标图像时的光源的颜色数据。因此，在获取目标图像的同时或之后，图像处理应用或图像处理客户端获取光源的颜色数据。其中，在预设颜色卡为灰卡时，光源的颜色数据是通过颜色传感器的各个通道采集到的；在预设颜色卡为色卡时，光源的颜色数据是通过颜色传感器直接采集到的。

本实施例中，颜色传感器的采集范围是根据摄像头与被拍摄物体之间的距离确定的，当终端上设置有至少两个颜色传感器时，如果摄像头与被拍摄物体之间的距离满足第一预设条件，即摄像头与被拍摄物体之间的距离大于或等于第二预设值，则通过采集范围与摄像头的拍摄范围至少部分重叠的颜色传感器采集光源的颜色数据；如果摄像头与被拍摄物体之间的距离满足第二预设条件，即摄像头与被拍摄物体之间的距离小于或等于第二预设值，则通过采集范围与摄像头的拍摄范围相互独立的颜色传感器采集光源的颜色数据。例如：当采用后置摄像头采集图像时，如果终端与被拍摄物体之间的距离较近，则使用设置在终端正面(即屏幕所在面)的颜色传感器采集光源的颜色数据；如果终端与被拍摄物体之间的距离较远，则使用设置在终端背面(即后置摄像头所在面)的颜色传感器采集光源的颜色数据。

本实施例中，当终端上只设置有一个可以调节采集方向的颜色传感器时，如果摄像头与被拍摄物体之间的距离满足第一预设条件，即摄像头与被拍摄物体之间的距离大于或等于第二预设值时，则调整颜色传感器的采集方向，使颜色传感器的采集方向与摄像头的拍摄方向相同，之后使用调整采集方向后的颜色传感器采集光源的颜色数据；如果摄像头与被拍摄物体之间的距离满足第二预设条件，即摄像头与被拍摄物体之间的距离小于或等于第二预设值，则调整颜色传感器的采集方向，使颜色传感器的采集方向与摄像头的拍摄方向相反，之后使用调整采集方向后的颜色传感器采集光源的颜色数据。例如：当采用后置摄像头采集图像时，如果终端与被拍摄物体之间的距离较近，则调整颜色传感器的采集方向，使颜色传感器的采集方向是终端正面(即屏幕所在面)所在方向，即与后置摄像头的采集方向相反；如果终端与被拍摄物体之间的距离较远，则调整颜色传感器的采集方向，使颜色传感器的采集方向为终端背面(即后置摄像头所在面)所在方向，即与后置摄像头的采集方向相同。

本实施例中，为了通过颜色传感器尽可能多地采集到光源的颜色数据，颜色传感器表面覆盖扩散材料，以便增加颜色传感器采集光源的视场角(Forward ObserverVehicle，FOV)，从而使颜色传感器可以采集到入射角度更大的光线，以及使各光电感应电路感应到的光线强度和光谱较为接近。此外，由于扩散作用，测量的方向的集中程度减弱，不容易受到环境中局部鲜艳物体的影响，能够更准确地测量环境中光源的颜色数据。此外，为了通过颜色传感器尽可能多地采集到光源的颜色数据，颜色传感器的FOV要大于摄像头的FOV。

本实施例中，当颜色传感器为RGBW传感器，且预设颜色卡为灰卡时，由于灰卡为颜色为黑白，因而，它的数据只需要一个通道的数据便可表示，因此，可分别利用该RGBW传感器的4个通道对光源采集颜色数据；当颜色传感器为RGBW传感器，且预设颜色卡为色卡时，由于色卡为彩色，包含RGB三个通道的数据，因而，可直接利用RGBW传感器的4个通道直接采集彩色的颜色数据。

本实施例中，终端与被拍摄物体之间的距离，可以直接通过距离传感器测量，如激光测距传感器等。也可以根据摄像头的对焦信息确定，即通过摄像头采集预览图像，检测用户从预览图像中选定的目标对象，对目标对象进行对焦，调整摄像头内置的马达的位置，获取马达在不同位置时目标对象对应的对比度，从获取的对比度中选取最大的对比度，获取最大的对比度对应的像距，根据像距计算目标对象与镜头之间的物距，像距为摄像头的镜头与传感器之间的距离。还可以通过摄像头采集第一图像和第二图像，第一图像为闪光灯补光时采集的图像，第二图像为闪光灯关闭时采集的图像，确定第一图像和第二图像的亮度差，根据亮度差确定终端与被拍摄物体之间的距离，距离与亮度差成反比。其中，确定第一图像和第二图像的亮度差，可以是先分别计算第一图像和第二图像中所有像素点的平均亮度，之后确定第一图像和第二图像的平均亮度的差；也可以是先计算第一图像和第二图像中处于同一像素坐标点的亮度差，之后计算这些像素点的亮度差的平均值。第一图像的拍摄时间与第二图像的拍摄时间之间的时间差小于第三预设值，第一图像和第二图像可以是摄像头连续拍摄的两张图像，也可以不是连续拍摄的两张图像。第一图像和第二图像是摄像头针对同一被拍摄物体采集的两张图像。

403、根据光源的颜色数据对目标图像进行颜色矫正。

本实施例中，获取到目标图像和光源的颜色数据之后，将根据光源的颜色数据对目标图像进行颜色矫正，也即是获取光源与预设颜色卡之间的标定数据，根据标定数据和光源的颜色数据确定光源参数，根据光源参数对目标图像进行颜色矫正。

本实施例中，获取到通过终端上的颜色传感器采集的光源的颜色数据，以及通过该终端的摄像头采集的预设颜色卡的图像之后，可以建立光源的颜色数据与该光源下获取到的预设颜色卡的颜色卡图像之间的标定数据。其中，预设颜色卡可以为灰卡和色卡，灰卡即只能显示黑白颜色，色卡可呈现彩色，常用的色卡，如24色卡、144色卡。

本实施例中，可以通过以下方式获取到光源与预设颜色卡之间的标定数据：

首先，获取颜色传感器采集的N个不同光源下的N个颜色数据。

本实施例中，N个不同光源为环境中的不同的光源，可以通过颜色传感器采集该N个不同光源下的N个颜色数据，该N为不小于3的整数。在每一光源下可得到对应的颜色数据。使用颜色传感器测量不同光源下的颜色数据为sc_k，1＜k≤N,其中N为光源种类的数量，其中，k表示第k个光源。

${\mathrm{sc}}_k=\left(\begin{array}{c}{\mathrm{sred}}_k\\ {\mathrm{sgreen}}_k\\ {\mathrm{sblue}}_k\end{array}\right)=\left(\begin{array}{c}\frac{{\mathrm{SR}}_k}{{\mathrm{SW}}_k}\\ \frac{{\mathrm{SG}}_k}{{\mathrm{SW}}_k}\\ \frac{{\mathrm{SB}}_k}{{\mathrm{SW}}_k}\end{array}\right)$

其中，SR_k,SG_k,SB_k,SW_k是RGBW传感器的4个通道测量得到的颜色数据，SR_k为红色通道得到的颜色数据，SG_k为绿色通道得到的颜色数据，SB_k为蓝色通道得到的颜色数据，SW_k为白色通道得到的颜色数据，sred_k为归一化后的红色通道的颜色数据，sgreen_k为归一化后的绿色通道的颜色数据，sblue_k为归一化后的蓝色通道的颜色数据。其中，

其次，获取N个不同光源下针对灰卡的N个灰卡图像。

本实施例中，在N个不同光源下，可以通过终端的摄像头进行拍摄，以得到针对灰卡的该N个不同光源下的N个灰卡图像，N个不同光源中的每一光源分别对应一个灰卡图像，I_k表示第k个灰卡图像，其中，1＜k≤N。具体地，终端可在N个不同光源下对准灰卡，即摄像头的拍摄范围被灰卡占据。在每一光源下，可得到针对灰卡的灰卡图像。

最后，根据N个颜色数据和N个灰卡图像确定标定数据。

本实施例中，获取到N个颜色数据和N个颜色卡图像之后，可以建立N个颜色数据与N个灰卡图像之间的映射关系。可以先计算各种光源下的针对灰卡的灰卡图像平均灰度gray_k，表示第k个光源下的平均灰度。之后计算不同光源下的灰卡的平均颜色：

${\mathrm{gray}}_k=\left(\begin{array}{c}{r}_k\\ g_k\\ b_k\end{array}\right)=\frac{1}{R_k+G_k+B_k}\left(\begin{array}{c}{R}_k\\ G_k\\ B_k\end{array}\right)$

其中，R_k、G_k和B_k分别是第k个光源下灰卡图像的R通道、G通道、B通道的平均值，r_k表示归一化后的R通道的平均值，g_k表示归一化后的G通道的平均值和表示归一化后的B通道的平均值。最后，建立sc_k与gray_k之间的映射关系，该两者之间的映射关系即是标定数据。具体地，建立sc_k与gray_k之间的映射关系的可如下：

sc_kM＝gray_k

即：

$\left(\begin{array}{c}sre{d}_k\\ {\mathrm{sgreen}}_k\\ {\mathrm{sblue}}_k\end{array}\right)M=\left(\begin{array}{c}{r}_k\\ g_k\\ b_k\end{array}\right)$

通过该等式可求解出每种光源下的M，其中，M即为标定数据，将N种光源下得到的标定数据进行保存，并建立标定数据库。

可选地，也可以通过对比方法确定sc_k与gray_k之间的映射关系，然后，通过查表的方法查找该映射关系，即标定数据。其中，每一种光源下都有一组对应的映射关系，对N个映射关系进行拟合，从而，得到标定数据库。

本实施例中，可以构造颜色数据和标定数据之间的函数关系，例如，可将颜色数据作为输出数据，而将标定数据作为输入数据，输入数据与输出数据之间可存在映射关系，根据该映射关系构造输入数据和输出数据之间的函数，从而，可将求出的解作为光源参数。或者，可将颜色数据作为输入数据，而将标定数据作为输出数据，输入数据与输出数据之间可存在映射关系，根据该映射关系构造输入数据和输出数据之间的函数，从而，可将求出的解作为光源参数。

本实施例中，可利用光源的颜色数据和标定数据确定光源参数，即是可以确定标定数据中与光源匹配的目标标定数据，根据该目标标定数据与光源的颜色数据确定光源参数。还可根据该光源参数计算虚拟灰卡的颜色数据，最后根据虚拟灰卡的颜色数据计算白平衡增益。其中，该光源参数，即为光源中各种光源的比例成分。具体求解方法如下：

首先，可以确定标定数据中与光源匹配的目标标定数据，即计算标定数据中对应于N种光源中欧氏距离最小的三种标定光源的颜色(sc_m1 sc_m2 sc_m3)，记作SC_m＝(sc_m1 sc_m2sc_m3)，即确定标定数据中与光源匹配的目标标定数据。即计算光源中颜色数据与标定数据库中包含的每一标定数据之间的欧氏距离，从而，可得到多个欧氏距离值，选取出该多个欧式距离值中最小的三个欧氏距离值，将该三个欧氏距离值对应的光源的颜色数据作为光源的颜色数据。

其次，根据目标标定数据与光源的颜色数据确定光源参数，可令：

$sc=\underset{k=m1,m2}{\Σ}{p}_k{\mathrm{sc}}_k$

其中，p_k表示光源参数，k的取值为1，或2，或3，sc_k表示目标标定数据，sc表示光源的颜色数据。该映射关系可根据SC_m的秩分为3种情况下，因而，计算矩阵SC_m的秩。3种情况下如下：

(1)若SC_m的秩为1，则取sc_m1、sc_m2、sc_m3中的任一个颜色数据作为光源的颜色数据。那么，虚拟灰卡的颜色数据为gray_virtual＝gray_m1，即P＝I，I为单位矩阵；

(2)若SC_m的秩为2，则认为光源是标定光源中2种光源线性组合。故，令其中P是加权系数，即光源参数。记为矩阵形式：SC_3×2P_2×1＝sc_3×1，其中

$sc=\left(\begin{array}{c}sr\\ sg\\ sb\end{array}\right)=\left(\begin{array}{c}\frac{SR}{SW}\\ \frac{SG}{SW}\\ \frac{SB}{SW}\end{array}\right)$

$P=\left(\begin{array}{c}p1\\ p2\end{array}\right)$

${\mathrm{SC}}_m=\left(\begin{array}{cc}{\mathrm{sc}}_{m1}& {\mathrm{sc}}_{m2}\end{array}\right)=\left(\begin{array}{cc}{\mathrm{sr}}_{m1}& {\mathrm{sr}}_{m2}\\ {\mathrm{sg}}_{m1}& {\mathrm{sg}}_{m2}\\ {\mathrm{sb}}_{m3}& {\mathrm{sb}}_{m3}\end{array}\right)$

从而，求解该矛盾方程SC_3×2P_3×1＝sc_3×1得到光源参数P＝SC⁺sc，SC⁺是SC的Moore-Penrose逆矩阵。则，虚拟灰卡的颜色数据gray_virtual为：

${\mathrm{gray}}_{virtual}=\left(\begin{array}{cc}{\mathrm{gray}}_{m1}& {\mathrm{gray}}_{m2}\end{array}\right)\left(\begin{array}{c}p1\\ p2\end{array}\right)$

(3)、若SC_m的秩为3，则可认为光源是标定光源中3种不同光源的线性组合。故，令其中p是加权系数，即光源参数。记为矩阵形式：SC_3×3P_3×1＝sc_3×1，其中

$sc=\left(\begin{array}{c}sr\\ sg\\ sb\end{array}\right)=\left(\begin{array}{c}\frac{SR}{SW}\\ \frac{SG}{SW}\\ \frac{SB}{SW}\end{array}\right)$

$P=\left(\begin{array}{c}{p}_1\\ p_2\\ p_3\end{array}\right)$

${\mathrm{SC}}_m=\left(\begin{array}{ccc}{\mathrm{sc}}_{m1}& {\mathrm{sc}}_{m2}& {\mathrm{sc}}_{m3}\end{array}\right)=\left(\begin{array}{ccc}{\mathrm{sr}}_{m1}& {\mathrm{sr}}_{m2}& {\mathrm{sr}}_{m3}\\ {\mathrm{sg}}_{m1}& {\mathrm{sg}}_{m2}& {\mathrm{sg}}_{m3}\\ {\mathrm{sb}}_{m1}& {\mathrm{sb}}_{m2}& {\mathrm{sb}}_{m3}\end{array}\right)$

从而，求解矛盾方程SC_3×3P_3×1＝sc_3×1，得到光源参数P＝SC⁺sc，令得到的光源参数为：

$P=\left(\begin{array}{c}{p}_1\\ p_2\\ p_3\end{array}\right)$

则，虚拟灰卡的颜色数据gray_virtual为：

${\mathrm{gray}}_{virtual}=\left(\begin{array}{ccc}{\mathrm{gray}}_{m1}& {\mathrm{gray}}_{m2}& {\mathrm{gray}}_{m3}\end{array}\right)\left(\begin{array}{c}p1\\ p2\\ p3\end{array}\right)$

本实施例中，可利用光源参数对目标图像进行颜色矫正，具体为：将gray_virtual看作灰卡的颜色数据，将该gray_virtual分为RGB三通道数据，如下：

${\mathrm{gray}}_{virtual}=\left(\begin{array}{c}{r}_{gray}\\ g_{gray}\\ b_{gray}\end{array}\right)$

对该gray_virtual进行归一化处理，即可得到白平衡增益，如下：

$\left\{\begin{array}{c}Rgain=\frac{r_{gray}}{g_{gray}},\\ Bgain=\frac{b_{gray}}{g_{gray}},\\ Ggain=1\end{array}\right.$

利用该白平衡增益对目标图像进行矫正：

$\left\{\begin{array}{c}{I^{\′}}_R=Rgain{I}_R,\\ {I^{\′}}_G=I_G,\\ {I^{\′}}_B=Bgain{I}_B\end{array}\right.,$

其中，目标图像I＝{I_R,I_G,I_B}，输出图像为I'＝{I'_R,I'_G,I'_B}。

可选地，当预设颜色卡为色卡时，可在光源基础上确定虚拟色卡的颜色数据，具体如下：

将虚拟色卡可记作：

color_virtual＝p1color_m1+p2color_m2+p3color_m3，

以24色卡为例进行说明，那么，

${\mathrm{color}}_{m1}=\left(\begin{array}{ccc}{R}_{m1,1}& G_{m1,1}& B_{m1,1}\\ R_{m1,2}& G_{m1,2}& B_{m1,2}\\ ...& ...& ...\\ R_{m1,24}& G_{m1,24}& B_{m1,24}\end{array}\right)$

${\mathrm{color}}_{m2}=\left(\begin{array}{ccc}{R}_{m2,1}& G_{m2,1}& B_{m2,1}\\ R_{m2,2}& G_{m2,2}& B_{m2,2}\\ ...& ...& ...\\ R_{m2,24}& G_{m2,24}& B_{m2,24}\end{array}\right)$

${\mathrm{color}}_{m3}=\left(\begin{array}{ccc}{R}_{m3,1}& G_{m3,1}& B_{m3,1}\\ R_{m3,2}& G_{m3,2}& B_{m3,2}\\ ...& ...& ...\\ R_{m3,24}& G_{m3,24}& B_{m3,24}\end{array}\right)$

记：

${\mathrm{color}}_{virtual}=\left(\begin{array}{ccc}{R}_1& G_1& B_1\\ R_2& G_2& B_2\\ ...& ...& ...\\ R_{24}& G_{24}& B_{24}\end{array}\right)$

之后获取标准色卡的颜色数据，标准色卡的颜色数据可由厂家或者标准组织定义。根据标准色卡的颜色数据与虚拟色卡的颜色数据确定颜色再生矩阵。记标准色卡各色块的颜色向量为color_std，如果色卡中有N个色块，则color_std为N×3的矩阵。该矩阵的数据由厂家或者标准组织定义。

${\mathrm{color}}_{std}=\left(\begin{array}{ccc}{\stackrel{\‾}{R}}_1& {\stackrel{\‾}{G}}_1& {\stackrel{\‾}{B}}_1\\ {\stackrel{\‾}{R}}_2& {\stackrel{\‾}{G}}_2& {\stackrel{\‾}{B}}_2\\ \mathrm{...}& \mathrm{...}& \mathrm{...}\\ {\stackrel{\‾}{R}}_{24}& {\stackrel{\‾}{G}}_{24}& {\stackrel{\‾}{B}}_{24}\end{array}\right)$

以标准24色卡为例进行说明，该标准24色卡的颜色数据已知，记为：

${\mathrm{color}}_{std}=\left(\begin{array}{ccc}{\stackrel{\‾}{R}}_1& {\stackrel{\‾}{G}}_1& {\stackrel{\‾}{B}}_1\\ {\stackrel{\‾}{R}}_2& {\stackrel{\‾}{G}}_2& {\stackrel{\‾}{B}}_2\\ \mathrm{...}& \mathrm{...}& \mathrm{...}\\ {\stackrel{\‾}{R}}_{24}& {\stackrel{\‾}{G}}_{24}& {\stackrel{\‾}{B}}_{24}\end{array}\right)$

要求解的颜色再生矩阵为M_3×3得方程组：

color_std＝color_virtualM_3×3

由于误差的原因上述方程对每个色块都成立，因此这是一矛盾方程组，只需求解最小二乘解。即求解最优化问题：M_3×3＝Arg min(||color_std-M_3×3color_virtual||)，即是一个线性优化问题：将上式进行展开可得到：

$\⇔\left(\begin{array}{ccc}{\stackrel{\‾}{R}}_1& {\stackrel{\‾}{G}}_1& {\stackrel{\‾}{B}}_1\\ {\stackrel{\‾}{R}}_2& {\stackrel{\‾}{G}}_2& {\stackrel{\‾}{B}}_2\\ \mathrm{...}& \mathrm{...}& \mathrm{...}\\ {\stackrel{\‾}{R}}_{24}& {\stackrel{\‾}{G}}_{24}& {\stackrel{\‾}{B}}_{24}\end{array}\right)=\left(\begin{array}{ccc}{R}_1& G_1& B_1\\ R_2& G_2& B_2\\ ...& ...& ...\\ R_{24}& G_{24}& B_{24}\end{array}\right)\left(\begin{array}{ccc}RR& GR& BR\\ RG& GG& BG\\ RB& GB& BB\end{array}\right)$

$\⇔\left\{\begin{array}{c}\left(\begin{array}{ccc}{R}_1& G_1& B_1\\ R_2& G_2& B_2\\ ...& ...& ...\\ R_{24}& G_{24}& B_{24}\end{array}\right)\left(\begin{array}{c}RR\\ RG\\ RB\end{array}\right)=\left(\begin{array}{c}{\stackrel{\‾}{R}}_1\\ {\stackrel{\‾}{R}}_2\\ \mathrm{...}\\ {\stackrel{\‾}{R}}_{24}\end{array}\right)\\ \left(\begin{array}{ccc}{R}_1& G_1& B_1\\ R_2& G_2& B_2\\ ...& ...& ...\\ R_{24}& G_{24}& B_{24}\end{array}\right)\left(\begin{array}{c}GR\\ GG\\ GB\end{array}\right)=\left(\begin{array}{c}{\stackrel{\‾}{G}}_1\\ {\stackrel{\‾}{G}}_2\\ \mathrm{...}\\ {\stackrel{\‾}{G}}_{24}\end{array}\right)\\ \left(\begin{array}{ccc}{R}_1& G_1& B_1\\ R_2& G_2& B_2\\ ...& ...& ...\\ R_{24}& G_{24}& B_{24}\end{array}\right)\left(\begin{array}{c}BR\\ BG\\ BB\end{array}\right)=\left(\begin{array}{c}{\stackrel{\‾}{B}}_1\\ {\stackrel{\‾}{B}}_2\\ \mathrm{...}\\ {\stackrel{\‾}{B}}_{24}\end{array}\right)\end{array}\right.,$

从而，得到三个独立的矛盾方程组Ax＝b的极小2范数最小2乘解为x＝A⁺b,其中A⁺是A的Moore-Penrose逆矩阵。用上述方法可以分别求得

$\left(\begin{array}{c}RR\\ RG\\ RB\end{array}\right),\left(\begin{array}{c}GR\\ GG\\ GB\end{array}\right),\left(\begin{array}{c}BR\\ BG\\ BB\end{array}\right)$

从而，可完成对M_3×3的求解。最后，根据颜色再生矩阵对目标图像进行颜色矫正。

本实施例中，终端可根据下面方程对目标图像中的每一像素点实施颜色矫正，如下：

$\left(\begin{array}{c}{R}_{out}\\ G_{out}\\ B_{out}\end{array}\right)=\left(\begin{array}{c}{R}_{in}\\ G_{in}\\ B_{in}\end{array}\right)M_{3\×3}$

其中，还可以其他色卡作为预设颜色卡对本发明实施例进行求解。

本实施例中，标准色卡的颜色数据已知，可通过标准色卡的生产信息得知。而颜色再生矩阵，可记作如下：

$\left(\begin{array}{c}{R}_{out}\\ G_{out}\\ B_{out}\end{array}\right)=\left(\begin{array}{c}{R}_{in}\\ G_{in}\\ B_{in}\end{array}\right)\left(\begin{array}{ccc}RR& GR& BR\\ RG& GG& BG\\ RB& GB& BB\end{array}\right)$

其中，是输出颜色数据，为颜色再生矩阵，为目标图像。可将颜色再生矩阵记作为：

$M_{3\×3}=\left(\begin{array}{ccc}RR& GR& BR\\ RG& GG& BG\\ RB& GB& BB\end{array}\right)$

那么，可以得到：

$\left(\begin{array}{c}{R}_{out}\\ G_{out}\\ B_{out}\end{array}\right)=\left(\begin{array}{c}{R}_{in}\\ G_{in}\\ B_{in}\end{array}\right)M_{3\×3}$

总之，在矩阵M_3×3能够准确求解时，输出图像的颜色一般都能够根据颜色再生矩阵的转换较为准确地还原颜色。

在图4所描述的图像处理方法中，获取目标图像，以及获取光源的颜色数据，根据光源的颜色数据对目标图像进行矫正，颜色数据的采集时间与目标图像的拍摄时间之间的时间差小于第一预设值，因此，可以使用拍摄图像时采集的光源对待处理图像进行颜色矫正，可以准确地对彩色图像进行颜色矫正。

请参阅图5，图5是本发明实施例提供的一种终端的结构图示意图。如图5所示，该终端可以包括：

第一获取单元501，用于获取目标图像，目标图像是通过摄像头拍摄的图像；

第二获取单元502，用于获取光源的颜色数据，光源的颜色数据的采集时间与第一获取单元501获取的目标图像的拍摄时间之间的时间差小于预设值，光源的颜色数据是通过颜色传感器采集的，颜色传感器的采集范围根据摄像头与被拍摄物体之间的距离确定；

第一矫正单元503，用于根据第二获取单元502获取的颜色数据对第一获取单元501获取的目标图像进行颜色矫正。

在图5所描述的终端中，获取目标图像，以及获取光源的颜色数据，根据光源的颜色数据对目标图像进行矫正，颜色数据的采集时间与目标图像的拍摄时间之间的时间差小于预设值，因此，可以使用拍摄图像时采集的光源对待处理图像进行颜色矫正，可以准确地对彩色图像进行颜色矫正。

请参阅图6，图6是本发明实施例提供的另一种终端的结构示意图。其中，图6所示的终端是由图5所示的终端进行优化得到的，其中：

第一矫正单元503可以包括：

第三获取单元5031，用于获取光源与预设颜色卡之间的标定数据；

确定单元5032，用于根据第三获取单元5031获取的标定数据和第二获取单元502获取的颜色数据确定光源参数；

第二矫正单元5033，用于根据确定单元5032确定的光源参数对第一获取单元501获取的目标图像进行颜色矫正。

作为一种可能的实施方式，第三获取单元5031具体用于：

获取颜色传感器采集的N个不同光源下的N个颜色数据，其中，N为大于或等于3的整数；

获取N个不同光源下预设颜色卡的N个颜色卡图像；

根据N个颜色数据和N个颜色卡图像确定标定数据。

作为一种可能的实施方式，确定单元5032具体用于：

确定标定数据中与光源匹配的目标标定数据；

根据目标标定数据与颜色数据确定光源参数。

作为一种可能的实施方式，当标定数据包含至少3组数据时，确定单元5032确定标定数据中与光源匹配的目标标定数据的方式为：

确定标定数据中与光源的颜色数据之间欧式距离最小的3组数据作为目标标定数据。

作为一种可能的实施方式，当预设颜色卡为色卡时，第二矫正单元5033具体用于：

根据光源参数确定虚拟色卡的颜色数据；

获取标准色卡的颜色数据；

根据标准色卡的颜色数据与虚拟色卡的颜色数据确定颜色再生矩阵；

根据颜色再生矩阵对目标图像进行颜色矫正。

作为一种可能的实施方式，颜色传感器的视场角大于摄像头的视场角。

作为一种可能的实施方式，颜色传感器表面覆盖有扩散材料。

作为一种可能的实施方式，当终端上设置有至少两个颜色传感器时，颜色传感器的采集范围根据摄像头与被拍摄物体之间的距离确定可以包括：

若摄像头与被拍摄物体之间的距离满足第一预设条件，则颜色传感器是终端上设置的采集范围与摄像头的拍摄范围至少部分重叠的传感器；或者

若摄像头与被拍摄物体之间的距离满足第二预设条件，则颜色传感器是终端上设置的采集范围与摄像头的拍摄范围相互独立的传感器。

作为一种可能的实施方式，当终端上只设置有一个可以调节采集方向的颜色传感器时，颜色传感器的采集范围根据摄像头与被拍摄物体之间的距离确定可以包括：

若摄像头与被拍摄物体之间的距离满足第一预设条件，则颜色传感器的采集方向与摄像头的拍摄方向相同；或者

若摄像头与被拍摄物体之间的距离满足第二预设条件，则颜色传感器的采集方向与摄像头的拍摄方向相反。

作为一种可能的实施方式，摄像头与被拍摄物体之间的距离是通过摄像头的对焦信息确定的。

在图6所描述的终端中，获取目标图像，以及获取光源的颜色数据，根据光源的颜色数据对目标图像进行矫正，颜色数据的采集时间与目标图像的拍摄时间之间的时间差小于预设值，因此，可以使用拍摄图像时采集的光源对待处理图像进行颜色矫正，可以准确地对彩色图像进行颜色矫正。

请参阅图7，图7是本发明实施例提供的又一种终端的结构示意图。其中，该终端可以为设置有摄像头和颜色传感器的手机、平板电脑等。如图7所示，该终端可以包括：至少一个处理器701，如CPU，存储器702，摄像头703、颜色传感器704、屏幕705、图像处理装置706以及至少一个通信总线707。存储器702可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可选地，存储器702还可以是至少一个位于远离前述处理器701的存储装置。其中：

通信总线707，用于实现这些组件之间的连接通信；

存储器702中存储有一组程序代码，处理器701用于调用存储器702中存储的程序代码执行以下操作：

若检测到用于启动终端摄像头的启动指令，则启动摄像头；

摄像头703，用于采集目标图像并发送给处理器701；

颜色传感器704，用于采集光源的颜色并发送给处理器701；

屏幕705，用于显示采集的目标图像；

处理器701还用于调用存储器702中存储的程序代码执行以下操作：

存储目标图像和光源的颜色；

图像处理装置706用于：

获取存储的目标图像，目标图像是通过摄像头拍摄的图像；

获取存储的光源的颜色数据，光源的颜色数据的采集时间与目标图像的拍摄时间之间的时间差小于预设值，光源的颜色数据是通过颜色传感器采集的，颜色传感器的采集范围根据摄像头与被拍摄物体之间的距离确定；

根据光源的颜色数据对目标图像进行颜色矫正。

作为一种可能的实施方式，图像处理器706根据光源的颜色数据对目标图像进行颜色矫正的方式为：

获取光源与预设颜色卡之间的标定数据；

根据标定数据和光源的颜色数据确定光源参数；

根据光源参数对目标图像进行颜色矫正。

作为一种可能的实施方式，图像处理器706获取光源与预设颜色卡之间的标定数据的方式为：

获取颜色传感器采集的N个不同光源下的N个颜色数据，其中，N为大于或等于3的整数；

获取N个不同光源下预设颜色卡的N个颜色卡图像；

根据N个颜色数据和N个颜色卡图像确定标定数据。

作为一种可能的实施方式，图像处理装置706根据标定数据和颜色数据确定光源参数的方式为：

确定标定数据中与光源匹配的目标标定数据；

根据目标标定数据与光源的颜色数据确定光源参数。

作为一种可能的实施方式，当标定数据包含至少3组数据时，图像处理装置706确定标定数据中与光源匹配的目标标定数据的方式为：

确定标定数据中与颜色数据之间欧式距离最小的3组数据作为目标标定数据。

作为一种可能的实施方式，当预设颜色卡为色卡时，图像处理装置706根据光源参数对目标图像进行颜色矫正的方式为：

根据光源参数确定虚拟色卡的颜色数据；

获取标准色卡的颜色数据；

根据标准色卡的颜色数据与虚拟色卡的颜色数据确定颜色再生矩阵；

根据颜色再生矩阵对目标图像进行颜色矫正。

作为一种可能的实施方式，颜色传感器的视场角大于摄像头的视场角。

作为一种可能的实施方式，颜色传感器表面覆盖有扩散材料。

作为一种可能的实施方式，当终端上设置有至少两个颜色传感器时，颜色传感器的采集范围根据摄像头与被拍摄物体之间的距离确定包括：

若摄像头与被拍摄物体之间的距离满足第一预设条件，则颜色传感器是终端上设置的采集范围与摄像头的拍摄范围至少部分重叠的传感器；或者

若摄像头与被拍摄物体之间的距离满足第二预设条件，则颜色传感器是终端上设置的采集范围与摄像头的拍摄范围相互独立的传感器。

作为一种可能的实施方式，当终端上只设置有一个可以调节采集方向的颜色传感器时，颜色传感器的采集范围根据摄像头与被拍摄物体之间的距离确定包括：

若摄像头与被拍摄物体之间的距离满足第一预设条件，则颜色传感器的采集方向与摄像头的拍摄方向相同；或者

若摄像头与被拍摄物体之间的距离满足第二预设条件，则颜色传感器的采集方向与摄像头的拍摄方向相反。

作为一种可能的实施方式，摄像头与被拍摄物体之间的距离是通过摄像头的对焦信息确定的。

在图7所描述的终端中，获取目标图像，以及获取光源的颜色数据，根据光源的颜色数据对目标图像进行矫正，颜色数据的采集时间与目标图像的拍摄时间之间的时间差小于预设值，因此，可以使用拍摄图像时采集的光源对待处理图像进行颜色矫正，可以准确地对彩色图像进行颜色矫正。

本发明实施例的方法的步骤顺序可以根据实际需要进行调整、合并或删减。本发明实施例的终端的单元可以根据实际需要进行整合、进一步划分或删减。

本发明实施例的单元，可以以通用集成电路(如中央处理器CPU)，或以专用集成电路(ASIC)来实现。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。

以上对本发明实施例提供的图像处理方法及终端进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取目标图像，所述目标图像是通过摄像头拍摄的图像；

获取光源的颜色数据，所述颜色数据的采集时间与所述目标图像的拍摄时间之间的时间差小于预设值，所述颜色数据是通过颜色传感器采集的，所述颜色传感器的采集范围根据所述摄像头与被拍摄物体之间的距离确定；

根据所述颜色数据对所述目标图像进行颜色矫正。

2.根据权利要求1所述的方法，其特征在于，所述根据所述颜色数据对所述目标图像进行颜色矫正包括：

获取光源与预设颜色卡之间的标定数据；

根据所述标定数据和所述颜色数据确定光源参数；

根据所述光源参数对所述目标图像进行颜色矫正。

3.根据权利要求1或2所述的方法，其特征在于，所述颜色传感器的采集范围根据所述摄像头与被拍摄物体之间的距离确定包括：

若所述摄像头与被拍摄物体之间的距离满足第一预设条件，则所述颜色传感器是终端上设置的采集范围与所述摄像头的拍摄范围至少部分重叠的传感器；或者

若所述摄像头与被拍摄物体之间的距离满足第二预设条件，则所述颜色传感器是终端上设置的采集范围与所述摄像头的拍摄范围相互独立的传感器。

4.根据权利要求1或2所述的方法，其特征在于，所述颜色传感器的采集范围根据所述摄像头与被拍摄物体之间的距离确定包括：

若所述摄像头与被拍摄物体之间的距离满足第一预设条件，则所述颜色传感器的采集方向与所述摄像头的拍摄方向相同；或者

若所述摄像头与被拍摄物体之间的距离满足第二预设条件，则所述颜色传感器的采集方向与所述摄像头的拍摄方向相反。

5.根据权利要求1或2所述的方法，其特征在于，所述距离是通过所述摄像头的对焦信息确定的。

6.一种终端，其特征在于，包括：

第一获取单元，用于获取目标图像，所述目标图像是通过摄像头拍摄的图像；

第二获取单元，用于获取光源的颜色数据，所述颜色数据的采集时间与所述第一获取单元获取的目标图像的拍摄时间之间的时间差小于预设值，所述颜色数据是通过颜色传感器采集的，所述颜色传感器的采集范围根据所述摄像头与被拍摄物体之间的距离确定；

第一矫正单元，用于根据所述第二获取单元获取的颜色数据对所述第一获取单元获取的目标图像进行颜色矫正。

7.根据权利要求6所述的终端，其特征在于，所述第一矫正单元包括：

第三获取单元，用于获取光源与预设颜色卡之间的标定数据；

确定单元，用于根据所述第三获取单元获取的标定数据和所述第二获取单元获取的颜色数据确定光源参数；

第二矫正单元，用于根据所述确定单元确定的光源参数对所述第一获取单元获取的目标图像进行颜色矫正。

8.根据权利要求6或7所述的终端，其特征在于，所述颜色传感器的采集范围根据所述摄像头与被拍摄物体之间的距离确定包括：

若所述摄像头与被拍摄物体之间的距离满足第一预设条件，则所述颜色传感器是终端上设置的采集范围与所述摄像头的拍摄范围至少部分重叠的传感器；或者

若所述摄像头与被拍摄物体之间的距离满足第二预设条件，则所述颜色传感器是终端上设置的采集范围与所述摄像头的拍摄范围相互独立的传感器。

9.根据权利要求6或7所述的终端，其特征在于，所述颜色传感器的采集范围根据所述摄像头与被拍摄物体之间的距离确定包括：

若所述摄像头与被拍摄物体之间的距离满足第一预设条件，则所述颜色传感器的采集方向与所述摄像头的拍摄方向相同；或者

若所述摄像头与被拍摄物体之间的距离满足第二预设条件，则所述颜色传感器的采集方向与所述摄像头的拍摄方向相反。

10.根据权利要求6或7所述的终端，其特征在于，所述距离是通过所述摄像头的对焦信息确定的。