CN106060506B - 一种图像处理方法及终端 - Google Patents

一种图像处理方法及终端 Download PDF

Info

Publication number
CN106060506B
CN106060506B CN201610339522.3A CN201610339522A CN106060506B CN 106060506 B CN106060506 B CN 106060506B CN 201610339522 A CN201610339522 A CN 201610339522A CN 106060506 B CN106060506 B CN 106060506B
Authority
CN
China
Prior art keywords
color
data
light source
target
color data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610339522.3A
Other languages
English (en)
Other versions
CN106060506A (zh
Inventor
黄晓峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Microphone Holdings Co Ltd
Original Assignee
Shenzhen Jinli Communication Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jinli Communication Equipment Co Ltd filed Critical Shenzhen Jinli Communication Equipment Co Ltd
Priority to CN201610339522.3A priority Critical patent/CN106060506B/zh
Publication of CN106060506A publication Critical patent/CN106060506A/zh
Application granted granted Critical
Publication of CN106060506B publication Critical patent/CN106060506B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/74—Circuits for processing colour signals for obtaining special effects
    • H04N9/75—Chroma key

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

本发明实施例提供了一种图像处理方法及终端，该方法包括：获取目标图像，目标图像是通过摄像头拍摄的图像；获取主要光源的颜色数据，主要光源的颜色数据是拍摄目标图像前通过颜色传感器采集的颜色数据，主要光源为发出光线中存在目标光线的光源，目标光线为沿照射方向的射线与目标射线的夹角小于或等于90度的光线，目标射线为摄像头光轴沿拍摄方向的射线；根据颜色数据对目标图像进行颜色矫正。实施本发明实施例，可以准确地对彩色图像进行颜色矫正。

Description

一种图像处理方法及终端
技术领域
本发明涉及多媒体技术领域，具体涉及一种图像处理方法及终端。
背景技术
随着电子技术的不断发展，摄像头已成为手机、平板电脑等终端中必不可少的组成部分，用户可以通过终端中的摄像头记录生活中的点点滴滴。用户在拍照过程中，常常会发现，当对某一场景拍摄时，拍出来的颜色效果与现实中的颜色效果之间差别较多。其主要原因在于，人类都有一种不因光源或者外界环境因素而改变对某一个特定物体色彩判断的心理倾向，这种倾向即为色彩恒常性。某一个特定物体，由于环境(尤其特指光照环境)的变化，该物体表面的反射普会有不同。人类的视觉识别系统能够识别出这种变化，并能够判断出该变化是由光照环境的变化而产生的，当光照变化在一定范围内变动时，人类识别机制会在这一变化范围内认为该物体表面颜色数据是恒定不变的。
现有技术中，采用完美发射法实现白平衡，其理论依据为：镜面反射反射到摄像头的光的颜色就是光源的颜色，但是镜面反射通常导致图像高光区域像素过曝。不过曝区域的像素通常并非完美的镜面反射。此外，有些场景可能不存在镜面反射，例如拍摄一个蓝色的T恤，由于T恤上很多绒毛，难以形成镜面，因而，完美发射法对彩色图像的颜色矫正效果不明显。
发明内容
本发明实施例提供一种图像处理方法及终端，可以准确地对彩色图像进行颜色矫正。
本发明实施例第一方面提供一种图像处理方法，包括：
获取目标图像，所述目标图像是通过摄像头拍摄的图像；
获取主要光源的颜色数据，所述主要光源的颜色数据是拍摄所述目标图像前通过颜色传感器采集的颜色数据，所述主要光源为发出光线中存在目标光线的光源，所述目标光线为沿照射方向的射线与目标射线的夹角小于或等于90度的光线，所述目标射线为摄像头光轴沿拍摄方向的射线；
根据所述颜色数据对所述目标图像进行颜色矫正。
本发明实施例第二方面提供一种终端，包括：
第一获取单元，用于获取目标图像，所述目标图像是通过摄像头拍摄的图像；
第二获取单元，用于获取主要光源的颜色数据，所述主要光源的颜色数据是拍摄所述第一获取单元获取的目标图像前通过颜色传感器采集的颜色数据，所述主要光源为发出光线中存在目标光线的光源，所述目标光线为沿照射方向的射线与目标射线的夹角小于或等于90度的光线，所述目标射线为摄像头光轴沿拍摄方向的射线；
第一矫正单元，用于根据所述第二获取单元获取的颜色数据对所述第一获取单元获取的目标图像进行颜色矫正。
本发明实施例中，获取目标参数，以及获取主要光源的颜色数据，根据主要光源的颜色数据对目标图像进行矫正，因此，可以使用照射被拍摄物体的主要光源对待处理图像进行颜色矫正，可以准确地对彩色图像进行颜色矫正。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是颜色传感器与光谱曲线的示意图；
图2是本发明实施例提供的一种图像处理方法的流程示意图；
图3是本发明实施例提供的一种终端的结构示意图；
图4是本发明实施例提供的另一种终端的结构示意图；
图5是本发明实施例提供的又一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种图像处理方法及终端，可以准确地对彩色图像进行颜色矫正。以下分别进行详细说明。
为了更好地理解本发明实施例提供的一种拍照方法及终端，下面先对本发明实施例的应用场景进行描述。用户为了追求颜色恒常性，希望安装有摄像头的终端采集的图像能够满足颜色恒常性，然而，由于在拍照时的闪光灯的颜色是固定不变的，不会随着环境颜色的不同而改变闪光灯的颜色，在拍照过程中总是以固定的颜色来补光，因此，在某些情况下闪光灯的补光效果不是很好，以致无法达到颜色恒常性，从而需要的后续对图像进行处理。其中，环境光源中有些环境光源对图像采集的影响较大，例如：照射在被拍摄物体正面的光源，有些环境光源对图像采集的影响较小，例如：照射在被拍摄物体背面的光源。因此，可以将环境光源中对图像采集的影响较大的光源成为主要光源，即将能够照射在被拍摄物体正面的光源称为主要光源，可以将环境光源中对图像采集的影响较小的光源成为次要光源，即将照射在被拍摄物体背面的光源称为次要光源。由于主要光源对被图像采集的影响较大，可见，可以根据主要光源的颜色对图像进行矫正。
本发明实施例所描述的终端可以包括设置有摄像头和颜色传感器的智能手机(如Android手机、iOS手机、Windows Phone手机等)、平板电脑、掌上电脑、笔记本电脑、移动互联网设备(MID，Mobile Internet Devices)、穿戴式设备或飞行器等，上述终端仅是举例，而非穷举，包含但不限于上述终端。
本发明实施例中，光源可为不同种类的自然光，例如：不同天气、不同时间、不同季节、不同经纬度正对阳光与背对阳光的光源或者月光。光源还可为：不同种类的人造光源，例如：荧光灯、白炽灯、烛光、高压汞灯、钠灯、LED灯、TL84灯、A光光源、紫外灯、D65光源、路灯、手电筒等等。光源还可为其他光源，例如：萤火虫形成的光源、夜光粉形成的光源、夜明珠形成的光源等等。
需要说明的是，若终端的摄像头针对预设颜色卡进行拍照时，若预设颜色卡为灰色，则得到灰卡图像，若预设颜色卡为色卡，则得到色卡图像。
需要说明的是，本发明实施例所涉及到的标定数据主要是指两个图像之间的映射关系。准确来说，是指两个图像之间的颜色数据之间的对应关系。举例说明，以灰卡为例进行说明，在主要光源A下得到的主要光源A的颜色数据(主要光源A的颜色数据可由颜色传感器采集)和在该主要光源A下得到的灰卡图像(灰卡图像由摄像头拍摄得到)，那么，可建立该主要光源A的颜色数据与该主要光源A下的灰卡图像之间的映射关系，即是对主要光源A和灰卡进行标定，可用公式表示如下：
scAM＝grayA
其中，scA表示主要光源A下的颜色数据，grayA为主要光源A下的灰卡图像，M则为该主要光源A下的颜色数据与主要光源A下的灰卡图像之间的标定数据，也称为映射关系。或者，通过查表方法，建立主要光源与该主要光源下的灰卡图像的标定数据，例如，A表示主要光源下的颜色数据，B表示灰卡，那么，A1表示第一主要光源下的颜色数据，B1表示第一主要光源下的灰卡图像，那么A1和B1之间的映射关系，可称为第一组标定数据；A2表示第二主要光源下的颜色数据，B2表示第二主要光源下的灰卡图像，那么A2和B2之间的映射关系，可称为第二组标定数据，则在知道A1的情况下，可通过查表方式直接得到对应的灰卡图像B1，同理，在知道A2的情况下，可通过查表直接得到对应的灰卡图像B2，该方式即为查表方式。通常情况下，由于光源较多，且光源的颜色较多，因而，需要对多种主要光源中每一种主要光源都进行标定，得到的标定数据越多，那么，在本发明实施例中得到的颜色矫正越精确。同时，可将多种标定数据构成标定数据库。可理解为，每种主要光源下对应一个灰卡图像，该主要光源下的颜色数据与该主要光源下的灰卡图像之间的映射关系即为标定数据。同样的原理，在色卡情况下，依旧可得到主要光源与色卡之间的标定数据。
颜色传感器通常由RGBW四个通道的光点转换单元组成，可以为RGBW传感器、色谱传感器等，R、G、B的光谱响应特性分别接近人眼视网膜的三种锥状感光细胞L，S，M的光谱响应特性。W通道的光谱响应特性接近人眼视视网膜的杆状感光细胞的光谱响应特性。其中，RGBW包含4个颜色数据采集通道，因而，可分别利用该4个通道采集不同的颜色数据，该4个颜色数据采集通道可分别为R(红色)通道的颜色数据、G(绿色)通道的颜色数据、B(蓝色)通道的颜色数据和W(白色)通道的颜色数据。请参阅图1，图1是颜色传感器与光谱曲线的示意图。图1所示的光扩散板是通过化学或物理的手段，利用光线在行径途中遇到两个折射率(密度)相异的介质时，发生折射、反射与散射的物理现象，通过在有机玻璃(polymethylmethacrylate，PMMA)、防弹胶(polycarbonates，PC)、聚苯乙烯(polystryrene，PS)、聚丙烯(polypropylene，PP)等基材基础中添加无机或有机光扩散剂，或者通过基材表面的微特征结构的阵列调整光线，使光线发生不同方向的折射、反射与散射，从而改变光线的行进路线，实现入射光充分散色以此产生光学扩散的效果。
请参阅图2，图2是本发明实施例提供的一种图像处理方法的流程示意图。如图2所示，该图像处理方法可以包括以下步骤。
201、获取目标图像。
本实施例中，当用户对通过摄像头采集的目标图像不满意时，可以通过操作使图像处理应用或图像处理客户端获取目标图像，即图像处理应用或图像处理客户端将目标图像加载在图像处理应用或图像处理客户端中。其中，目标图像是通过终端上的摄像头采集的图像。其中，图像处理应用或图像处理客户端是安装在终端中的应用或客户端。
202、获取主要光源的颜色数据。
本实施例中，由于摄像头采集图像时，照射在被拍摄物体上的光源的颜色不同，所采集图像的效果不同。因此，在摄像头采集目标图像时或采集目标图像前，可以通过设置在终端上的颜色传感器采集照射在被拍摄物体上的主要光源的颜色，以便后续调用。因此，在获取目标图像的同时或之后，图像处理应用或图像处理客户端获取主要光源的颜色数据，主要光源的颜色数据是终端拍摄目标图像前通过终端上的颜色传感器采集的颜色数据，主要光源为发出光线中存在目标光线的光源，目标光线为沿照射方向的射线与目标射线的夹角小于或等于90度的光线，即照射在被拍摄物体上的光线，目标射线为摄像头光轴沿拍摄方向的射线，即主要光源为可以照射在被拍摄物体正面，且能够被颜色传感器采集到的光源。其中，在预设颜色卡为灰卡时，主要光源的颜色数据是通过颜色传感器的各个通道采集到的；在预设颜色卡为色卡时，主要光源的颜色数据是通过颜色传感器直接采集到的。
其中，为了通过颜色传感器尽可能多地采集到主要光源的颜色，颜色传感器表面覆盖扩散材料，以便增加颜色传感器采集光源的视场角(ForwardObserver Vehicle，FOV)，从而使颜色传感器可以采集到入射角度更大的光线，以及使各光电感应电路感应到的光线强度和光谱较为接近。此外，由于扩散作用，测量的方向的集中程度减弱，不容易受到环境中局部鲜艳物体的影响，能够更准确地测量环境中主要光源的颜色。
同样，为了通过颜色传感器尽可能多地采集到当前主要光源的颜色，颜色传感器的FOV要大于摄像头的FOV。
本实施例中，当颜色传感器为RGBW传感器，且预设颜色卡为灰卡时，由于灰卡为颜色为黑白，因而，它的数据只需要一个通道的数据便可表示，因此，可分别利用该RGBW传感器的4个通道对主要光源采集颜色数据；当颜色传感器为RGBW传感器，且预设颜色卡为色卡时，由于色卡为彩色，包含RGB三个通道的数据，因而，可直接利用RGBW传感器的4个通道直接采集彩色的颜色数据。
203、根据主要光源的颜色数据对目标图像进行颜色矫正。
本实施例中，获取到目标图像和主要光源的颜色数据之后，将根据主要光源的颜色数据对目标图像进行颜色矫正，也即是获取光源与预设颜色卡之间的标定数据，根据标定数据和主要光源的颜色数据确定光源参数，根据光源参数对目标图像进行颜色矫正。
本实施例中，获取到通过终端上的颜色传感器采集的主要光源的颜色数据，以及通过该终端的摄像头采集的预设颜色卡的图像之后，可以建立主要光源的颜色数据与该主要光源下获取到的预设颜色卡的颜色卡图像之间的标定数据。其中，预设颜色卡可以为灰卡和色卡，灰卡即只能显示黑白颜色，色卡可呈现彩色，常用的色卡，如24色卡、144色卡。
本实施例中，可以通过以下方式获取到光源与预设颜色卡之间的标定数据：
首先，获取颜色传感器采集的N个不同光源下的N个颜色数据。
本实施例中，N个不同光源为环境中的不同的光源，可以通过颜色传感器采集该N个不同光源下的N个颜色数据，该N为不小于3的整数。在每一光源下可得到对应的颜色数据。使用颜色传感器测量不同光源下的颜色数据为sck，1＜k≤N,其中N为光源种类的数量，其中，k表示第k个光源。
其中，SRk,SGk,SBk,SWk是RGBW传感器的4个通道测量得到的颜色数据，SRk为红色通道得到的颜色数据，SGk为绿色通道得到的颜色数据，SBk为蓝色通道得到的颜色数据，SWk为白色通道得到的颜色数据，sredk为归一化后的红色通道的颜色数据，sgreenk为归一化后的绿色通道的颜色数据，sbluek为归一化后的蓝色通道的颜色数据。其中，
其次，获取N个不同光源下针对灰卡的N个灰卡图像。
本实施例中，在N个不同光源下，可以通过终端的摄像头进行拍摄，以得到针对灰卡的该N个不同光源下的N个灰卡图像，N个不同光源中的每一光源分别对应一个灰卡图像，Ik表示第k个灰卡图像，其中，1＜k≤N。具体地，终端可在N个不同光源下对准灰卡，即摄像头的拍摄范围被灰卡占据。在每一光源下，可得到针对灰卡的灰卡图像。
最后，根据N个颜色数据和N个灰卡图像确定标定数据。
本实施例中，获取到N个颜色数据和N个颜色卡图像之后，可以建立N个颜色数据与N个灰卡图像之间的映射关系。可以先计算各种光源下的针对灰卡的灰卡图像平均灰度grayk，表示第k个光源下的平均灰度。之后计算不同光源下的灰卡的平均颜色：
其中，Rk、Gk和Bk分别是第k个光源下灰卡图像的R通道、G通道、B通道的平均值，rk表示归一化后的R通道的平均值，gk表示归一化后的G通道的平均值和表示归一化后的B通道的平均值。最后，建立sck与grayk之间的映射关系，该两者之间的映射关系即是标定数据。具体地，建立sck与grayk之间的映射关系的可如下：
sckM＝grayk
即：
通过该等式可求解出每种光源下的M，其中，M即为标定数据，将N种光源下得到的标定数据进行保存，并建立标定数据库。
可选地，也可以通过对比方法确定sck与grayk之间的映射关系，然后，通过查表的方法查找该映射关系，即标定数据。其中，每一种光源下都有一组对应的映射关系，对N个映射关系进行拟合，从而，得到标定数据库。
本实施例中，可以构造颜色数据和标定数据之间的函数关系，例如，可将颜色数据作为输出数据，而将标定数据作为输入数据，输入数据与输出数据之间可存在映射关系，根据该映射关系构造输入数据和输出数据之间的函数，从而，可将求出的解作为光源参数。或者，可将颜色数据作为输入数据，而将标定数据作为输出数据，输入数据与输出数据之间可存在映射关系，根据该映射关系构造输入数据和输出数据之间的函数，从而，可将求出的解作为光源参数。
本实施例中，可利用主要光源的颜色数据和标定数据确定光源参数，即是可以确定标定数据中与主要光源匹配的目标标定数据，根据该目标标定数据与主要光源的颜色数据确定光源参数。还可根据该光源参数计算虚拟灰卡的颜色数据，最后根据虚拟灰卡的颜色数据计算白平衡增益。其中，该光源参数，即为主要光源中各种光源的比例成分。具体求解方法如下：
首先，可以确定标定数据中与主要光源匹配的目标标定数据，即计算标定数据中对应于N种光源中欧氏距离最小的三种标定光源的颜色(scm1 scm2 scm3)，记作SCm＝(scm1scm2 scm3)，即确定标定数据中与主要光源匹配的目标标定数据。即计算主要光源中颜色数据与标定数据库中包含的每一标定数据之间的欧氏距离，从而，可得到多个欧氏距离值，选取出该多个欧式距离值中最小的三个欧氏距离值，将该三个欧氏距离值对应的光源的颜色数据作为主要光源的颜色数据。
其次，根据目标标定数据与主要光源的颜色数据确定光源参数，可令：
其中，pk表示光源参数，k的取值为1，或2，或3，sck表示目标标定数据，sc表示主要光源的颜色数据。该映射关系可根据SCm的秩分为3种情况下，因而，计算矩阵SCm的秩。3种情况下如下：
(1)若SCm的秩为1，则取scm1、scm2、scm3中的任一个颜色数据作为主要光源的颜色数据。那么，虚拟灰卡的颜色数据为grayvirtual＝graym1，即P＝I，I为单位矩阵；
(2)若SCm的秩为2，则认为主要光源是标定光源中2种光源线性组合。故，令其中P是加权系数，即光源参数。记为矩阵形式：SC3×2P2×1＝sc3×1，其中
从而，求解该矛盾方程SC3×2P3×1＝sc3×1得到光源参数P＝SC+sc，SC+是SC的Moore-Penrose逆矩阵。则，虚拟灰卡的颜色数据grayvirtual为：
(3)、若SCm的秩为3，则可认为主要光源是标定光源中3种不同光源的线性组合。故，令其中p是加权系数，即光源参数。记为矩阵形式：SC3×3P3×1＝sc3×1，其中
从而，求解矛盾方程SC3×3P3×1＝sc3×1，得到光源参数P＝SC+sc，令得到的光源参数为：
则，虚拟灰卡的颜色数据grayvirtual为：
本实施例中，可利用光源参数对目标图像进行颜色矫正，具体为：将grayvirtual看作灰卡的颜色数据，将该grayvirtual分为RGB三通道数据，如下：
对该grayvirtual进行归一化处理，即可得到白平衡增益，如下：
利用该白平衡增益对目标图像进行矫正：
其中，目标图像I＝{IR,IG,IB}，输出图像为I'＝{I'R,I'G,I'B}。
可选地，当预设颜色卡为色卡时，可在主要光源基础上确定虚拟色卡的颜色数据，具体如下：
将虚拟色卡可记作：
colorvirtual＝p1colorm1+p2colorm2+p3colorm3，
以24色卡为例进行说明，那么，
记：
之后获取标准色卡的颜色数据，标准色卡的颜色数据可由厂家或者标准组织定义。根据标准色卡的颜色数据与虚拟色卡的颜色数据确定颜色再生矩阵。记标准色卡各色块的颜色向量为colorstd，如果色卡中有N个色块，则colorstd为N×3的矩阵。该矩阵的数据由厂家或者标准组织定义。
以标准24色卡为例进行说明，该标准24色卡的颜色数据已知，记为：
要求解的颜色再生矩阵为M3×3得方程组：
colorstd＝colorvirtualM3×3
由于误差的原因上述方程对每个色块都成立，因此这是一矛盾方程组，只需求解最小二乘解。即求解最优化问题：M3×3＝Argmin(||colorstd-M3×3colorvirtual||)，即是一个线性优化问题：将上式进行展开可得到：
从而，得到三个独立的矛盾方程组Ax＝b的极小2范数最小2乘解为x＝A+b,其中A+是A的Moore-Penrose逆矩阵。用上述方法可以分别求得
从而，可完成对M3×3的求解。最后，根据颜色再生矩阵对目标图像进行颜色矫正。
本实施例中，终端可根据下面方程对目标图像中的每一像素点实施颜色矫正，如下：
其中，还可以其他色卡作为预设颜色卡对本发明实施例进行求解。
本实施例中，标准色卡的颜色数据已知，可通过标准色卡的生产信息得知。而颜色再生矩阵，可记作如下：
其中，是输出颜色数据，为颜色再生矩阵，为目标图像。可将颜色再生矩阵记作为：
那么，可以得到：
总之，在矩阵M3×3能够准确求解时，输出图像的颜色一般都能够根据颜色再生矩阵的转换较为准确地还原颜色。
在图2所描述的图像处理方法中，获取目标参数，以及获取主要光源的颜色数据，根据主要光源的颜色数据对目标图像进行矫正，因此，可以使用照射被拍摄物体的主要光源对待处理图像进行颜色矫正，可以准确地对彩色图像进行颜色矫正。
请参阅图3，图3是本发明实施例提供的一种终端的结构图示意图。如图3所示，该终端可以包括：
第一获取单元301，用于获取目标图像，目标图像是通过摄像头拍摄的图像；
第二获取单元302，用于获取主要光源的颜色数据，主要光源的颜色数据是拍摄第一获取单元301获取的目标图像前通过颜色传感器采集的颜色数据，主要光源为发出光线中存在目标光线的光源，目标光线为沿照射方向的射线与目标射线的夹角小于或等于90度的光源，目标射线为摄像头光轴沿拍摄方向的射线；
第一矫正单元303，用于根据第二获取单元302获取的颜色数据对第一获取单元301获取的目标图像进行颜色矫正。
本实施例中，当用户对通过摄像头采集的目标图像不满意时，可以通过操作使第一获取单元301获取目标图像。其中，目标图像是通过终端上的摄像头采集的图像。其中，图像处理应用或图像处理客户端是安装在终端中的应用或客户端。
本实施例中，由于摄像头采集图像时，照射在被拍摄物体上的光源的颜色不同，所采集图像的效果不同。因此，在摄像头采集目标图像时或采集目标图像前，可以通过设置在终端上的颜色传感器采集照射在被拍摄物体上的主要光源的颜色，以便后续调用。因此，在第一获取单元301获取目标图像的同时或之后，第二获取单元302获取主要光源的颜色数据，主要光源的颜色数据是终端拍摄目标图像前通过终端上的颜色传感器采集的颜色数据，主要光源为发出光线中存在目标光线的光源，目标光线为沿照射方向的射线与目标射线的夹角小于或等于90度的光线，即照射在被拍摄物体上的光线，目标射线为摄像头光轴沿拍摄方向的射线，即主要光源为可以照射在被拍摄物体正面，且能够被颜色传感器采集到的光源。其中，在预设颜色卡为灰卡时，主要光源的颜色数据是通过颜色传感器的各个通道采集到的；在预设颜色卡为色卡时，主要光源的颜色数据是通过颜色传感器直接采集到的。
本实施例中，第一获取单元301获取到目标图像和第二获取单元302获取到主要光源的颜色数据之后，第一矫正单元303将根据主要光源的颜色数据对目标图像进行颜色矫正。
在图3所描述的终端中，获取目标参数，以及获取主要光源的颜色数据，根据主要光源的颜色数据对目标图像进行矫正，因此，可以使用照射被拍摄物体的主要光源对待处理图像进行颜色矫正，可以准确地对彩色图像进行颜色矫正。
请参阅图4，图4是本发明实施例提供的另一种终端的结构示意图。其中，图4所示的终端是由图3所示的终端进行优化得到的，其中：
第一矫正单元303可以包括：
第三获取单元3031，用于获取光源与预设颜色卡之间的标定数据；
确定单元3032，用于根据第三获取单元3031获取的标定数据和第二获取单元302获取的颜色数据确定光源参数；
第二矫正单元3033，用于根据确定单元3032确定的光源参数对第一获取单元301获取的目标图像进行颜色矫正。
作为一种可能的实施方式，第三获取单元具体用于：
获取颜色传感器采集的N个不同光源下的N个颜色数据，其中，N为大于或等于3的整数；
获取N个不同光源下预设颜色卡的N个颜色卡图像；
根据N个颜色数据和N个颜色卡图像确定标定数据。
作为一种可能的实施方式，确定单元3032具体用于：
确定标定数据中与主要光源匹配的目标标定数据；
根据目标标定数据与颜色数据确定光源参数。
作为一种可能的实施方式，当标定数据包含至少3组数据时，确定单元3032确定标定数据中与主要光源匹配的目标标定数据的方式为：
确定标定数据中与主要光源的颜色数据之间欧式距离最小的3组数据作为目标标定数据。
作为一种可能的实施方式，当预设颜色卡为色卡时，第二矫正单元3033具体用于：
根据光源参数确定虚拟色卡的颜色数据；
获取标准色卡的颜色数据；
根据标准色卡的颜色数据与虚拟色卡的颜色数据确定颜色再生矩阵；
根据颜色再生矩阵对目标图像进行颜色矫正。
作为一种可能的实施方式，颜色传感器的视场角大于摄像头的视场角。
作为一种可能的实施方式，颜色传感器表面覆盖有扩散材料。
在图4所描述的终端中，获取目标参数，以及获取主要光源的颜色数据，根据主要光源的颜色数据对目标图像进行矫正，因此，可以使用照射被拍摄物体的主要光源对待处理图像进行颜色矫正，可以准确地对彩色图像进行颜色矫正。
请参阅图5，图5是本发明实施例提供的又一种终端的结构示意图。其中，该终端可以为设置有摄像头和颜色传感器的手机、平板电脑等。如图5所示，该终端可以包括：至少一个处理器501，如CPU，存储器502，摄像头503、颜色传感器504、屏幕505、图像处理装置506以及至少一个通信总线507。存储器502可以是高速RAM存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。可选地，存储器502还可以是至少一个位于远离前述处理器501的存储装置。其中：
通信总线507，用于实现这些组件之间的连接通信；
存储器502中存储有一组程序代码，处理器501用于调用存储器502中存储的程序代码执行以下操作：
若检测到用于启动终端摄像头的启动指令，则启动摄像头；
颜色传感器504，用于采集当前主要光源的颜色并发送给处理器501，主要光源为发出光线中存在目标光线的光源，目标光线为沿照射方向的射线与目标射线的夹角小于或等于90度的光源，目标射线为摄像头光轴沿拍摄方向的射线；
摄像头503，用于采集目标图像并发送给处理器501；
屏幕505，用于显示采集的目标图像；
处理器501还用于调用存储器502中存储的程序代码执行以下操作：
存储目标图像和主要光源的颜色；
图像处理装置506用于：
获取存储的目标图像，目标图像是通过摄像头拍摄的图像；
获取存储的主要光源的颜色数据，主要光源的颜色数据是拍摄目标图像前通过颜色传感器采集的颜色数据，主要光源为发出光线中存在目标光线的光源，目标光线为沿照射方向的射线与目标射线的夹角小于或等于90度的光线，目标射线为摄像头光轴沿拍摄方向的射线；
根据颜色数据对目标图像进行颜色矫正。
作为一种可能的实施方式，图像处理器506根据颜色数据对目标图像进行颜色矫正的方式为：
获取光源与预设颜色卡之间的标定数据；
根据标定数据和主要光源的颜色数据确定光源参数；
根据光源参数对目标图像进行颜色矫正。
作为一种可能的实施方式，图像处理器506获取光源与预设颜色卡之间的标定数据的方式为
获取颜色传感器采集的N个不同光源下的N个颜色数据，其中，N为大于或等于3的整数；
获取N个不同光源下预设颜色卡的N个颜色卡图像；
根据N个颜色数据和N个颜色卡图像确定标定数据。
作为一种可能的实施方式，图像处理装置506根据标定数据和颜色数据确定光源参数的方式为：
确定标定数据中与主要光源匹配的目标标定数据；
根据目标标定数据与主要光源的颜色数据确定光源参数。
作为一种可能的实施方式，当标定数据包含至少3组数据时，图像处理装置506确定标定数据中与主要光源匹配的目标标定数据的方式为：
确定标定数据中与颜色数据之间欧式距离最小的3组数据作为目标标定数据。
作为一种可能的实施方式，当预设颜色卡为色卡时，图像处理装置506根据光源参数对目标图像进行颜色矫正的方式为：
根据光源参数确定虚拟色卡的颜色数据；
获取标准色卡的颜色数据；
根据标准色卡的颜色数据与虚拟色卡的颜色数据确定颜色再生矩阵；
根据颜色再生矩阵对目标图像进行颜色矫正。
作为一种可能的实施方式，颜色传感器的视场角大于摄像头的视场角。
作为一种可能的实施方式，颜色传感器表面覆盖有扩散材料。
其中，摄像头503可以为前置摄像头，此时，颜色传感器504可以设置在终端的背面，也可以设置在终端的正面，还可以设置在终端的其他面；摄像头503也可以为后置摄像头，此时，颜色传感器504可以设置在终端的正面，也可以设置在终端的背面，还可以设置在终端的其他面。
在图5所描述的终端中，获取目标参数，以及获取主要光源的颜色数据，根据主要光源的颜色数据对目标图像进行矫正，因此，可以使用照射被拍摄物体的主要光源对待处理图像进行颜色矫正，可以准确地对彩色图像进行颜色矫正。
本发明实施例的方法的步骤顺序可以根据实际需要进行调整、合并或删减。本发明实施例的终端的单元可以根据实际需要进行整合、进一步划分或删减。
本发明实施例的单元，可以以通用集成电路(如中央处理器CPU)，或以专用集成电路(ASIC)来实现。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器(Read-Only Memory，ROM)、随机存取器(Random AccessMemory，RAM)、磁盘或光盘等。
以上对本发明实施例提供的图像处理方法及终端进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (16)

1.一种图像处理方法，其特征在于，包括：
获取目标图像，所述目标图像是通过摄像头拍摄的图像；
获取主要光源的颜色数据，所述主要光源的颜色数据是拍摄所述目标图像前通过颜色传感器采集的颜色数据，所述主要光源为发出光线中存在目标光线的光源，所述目标光线为沿照射方向的射线与目标射线的夹角小于或等于90度的光线，所述目标射线为摄像头光轴沿拍摄方向的射线；
根据所述颜色数据对所述目标图像进行颜色矫正。
2.根据权利要求1所述的方法，其特征在于，根据所述颜色数据对所述目标图像进行颜色矫正包括：
获取光源与预设颜色卡之间的标定数据；
根据所述标定数据和所述颜色数据确定光源参数；
根据所述光源参数对所述目标图像进行颜色矫正。
3.根据权利要求2所述的方法，其特征在于，所述获取光源与预设颜色卡之间的标定数据包括：
获取颜色传感器采集的N个不同光源下的N个颜色数据，其中，所述N为大于或等于3的整数；
获取所述N个不同光源下预设颜色卡的N个颜色卡图像；
根据所述N个颜色数据和所述N个颜色卡图像确定标定数据。
4.根据权利要求2所述的方法，其特征在于，所述根据所述标定数据和所述颜色数据确定光源参数包括：
确定所述标定数据中与所述主要光源匹配的目标标定数据；
根据所述目标标定数据与所述颜色数据确定光源参数。
5.根据权利要求4所述的方法，其特征在于，当所述标定数据包含至少3组数据时，所述确定所述标定数据中与所述主要光源匹配的目标标定数据包括：
确定所述标定数据中与所述颜色数据之间欧式距离最小的3组数据作为目标标定数据。
6.根据权利要求2所述的方法，其特征在于，当所述预设颜色卡为色卡时，所述根据所述光源参数对所述目标图像进行颜色矫正包括：
根据所述光源参数确定虚拟色卡的颜色数据；
获取标准色卡的颜色数据；
根据所述标准色卡的颜色数据与所述虚拟色卡的颜色数据确定颜色再生矩阵；
根据所述颜色再生矩阵对所述目标图像进行颜色矫正。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述颜色传感器的视场角大于所述摄像头的视场角。
8.根据权利要求1-6任一项所述的方法，其特征在于，所述颜色传感器表面覆盖有扩散材料。
9.一种终端，其特征在于，包括：
第一获取单元，用于获取目标图像，所述目标图像是通过摄像头拍摄的图像；
第二获取单元，用于获取主要光源的颜色数据，所述主要光源的颜色数据是拍摄所述第一获取单元获取的目标图像前通过颜色传感器采集的颜色数据，所述主要光源为发出光线中存在目标光线的光源，所述目标光线为沿照射方向的射线与目标射线的夹角小于或等于90度的光线，所述目标射线为摄像头光轴沿拍摄方向的射线；
第一矫正单元，用于根据所述第二获取单元获取的颜色数据对所述第一获取单元获取的目标图像进行颜色矫正。
10.根据权利要求9所述的终端，其特征在于，所述第一矫正单元包括：
第三获取单元，用于获取光源与预设颜色卡之间的标定数据；
确定单元，用于根据所述第三获取单元获取的标定数据和所述第二获取单元获取的颜色数据确定光源参数；
第二矫正单元，用于根据所述确定单元确定的光源参数对所述第一获取单元获取的目标图像进行颜色矫正。
11.根据权利要求10所述的终端，其特征在于，所述第三获取单元具体用于：
获取颜色传感器采集的N个不同光源下的N个颜色数据，其中，所述N为大于或等于3的整数；
获取所述N个不同光源下预设颜色卡的N个颜色卡图像；
根据所述N个颜色数据和所述N个颜色卡图像确定标定数据。
12.根据权利要求10所述的终端，其特征在于，所述确定单元具体用于：
确定所述标定数据中与所述主要光源匹配的目标标定数据；
根据所述目标标定数据与所述颜色数据确定光源参数。
13.根据权利要求12所述的终端，其特征在于，当所述标定数据包含至少3组数据时，所述确定单元确定所述标定数据中与所述主要光源匹配的目标标定数据的方式为：
确定所述标定数据中与所述颜色数据之间欧式距离最小的3组数据作为目标标定数据。
14.根据权利要求10所述的终端，其特征在于，当所述预设颜色卡为色卡时，所述第二矫正单元具体用于：
根据所述光源参数确定虚拟色卡的颜色数据；
获取标准色卡的颜色数据；
根据所述标准色卡的颜色数据与所述虚拟色卡的颜色数据确定颜色再生矩阵；
根据所述颜色再生矩阵对所述目标图像进行颜色矫正。
15.根据权利要求9-14任一项所述的终端，其特征在于，所述颜色传感器的视场角大于所述摄像头的视场角。
16.根据权利要求9-14任一项所述的终端，其特征在于，所述颜色传感器表面覆盖有扩散材料。
CN201610339522.3A 2016-05-19 2016-05-19 一种图像处理方法及终端 Active CN106060506B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610339522.3A CN106060506B (zh) 2016-05-19 2016-05-19 一种图像处理方法及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610339522.3A CN106060506B (zh) 2016-05-19 2016-05-19 一种图像处理方法及终端

Publications (2)

Publication Number Publication Date
CN106060506A CN106060506A (zh) 2016-10-26
CN106060506B true CN106060506B (zh) 2018-03-13

Family

ID=57177645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610339522.3A Active CN106060506B (zh) 2016-05-19 2016-05-19 一种图像处理方法及终端

Country Status (1)

Country Link
CN (1) CN106060506B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105100764A (zh) * 2015-06-26 2015-11-25 小米科技有限责任公司 拍摄方法和装置
WO2015176935A1 (en) * 2014-05-20 2015-11-26 Koninklijke Philips N.V. An image capturing system, a kit for an image capturing system, a mobile phone, use of an image capturing system and a method of configuring a color matched light source
CN105430366A (zh) * 2015-12-24 2016-03-23 广东欧珀移动通信有限公司 控制方法、控制装置及拍照系统
CN105577982A (zh) * 2015-12-31 2016-05-11 深圳市金立通信设备有限公司 一种图像处理的方法及终端

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008035324A (ja) * 2006-07-31 2008-02-14 Matsushita Electric Ind Co Ltd 撮像装置
CN103546668B (zh) * 2012-07-09 2017-03-01 联想(北京)有限公司 一种图像采集装置、电子设备及辅助拍摄方法
JP5789766B2 (ja) * 2013-06-06 2015-10-07 パナソニックＩｐマネジメント株式会社 画像取得装置、画像取得方法、およびプログラム
GB2519363A (en) * 2013-10-21 2015-04-22 Nokia Technologies Oy Method, apparatus and computer program product for modifying illumination in an image
CN104580928B (zh) * 2015-01-29 2017-11-03 广东欧珀移动通信有限公司 一种相机拍摄的补光方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015176935A1 (en) * 2014-05-20 2015-11-26 Koninklijke Philips N.V. An image capturing system, a kit for an image capturing system, a mobile phone, use of an image capturing system and a method of configuring a color matched light source
CN105100764A (zh) * 2015-06-26 2015-11-25 小米科技有限责任公司 拍摄方法和装置
CN105430366A (zh) * 2015-12-24 2016-03-23 广东欧珀移动通信有限公司 控制方法、控制装置及拍照系统
CN105577982A (zh) * 2015-12-31 2016-05-11 深圳市金立通信设备有限公司 一种图像处理的方法及终端

Also Published As

Publication number Publication date
CN106060506A (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
CN102202185B (zh) 物理信息获取装置、固体摄像装置和物理信息获取方法
Johnsen How to measure color using spectrometers and calibrated photographs
US7756328B2 (en) Color chart processing apparatus, color chart processing method, and color chart processing program
CN105245863B (zh) 进行白平衡控制的图像处理装置及其控制方法和摄像设备
CN102866562B (zh) 发光设备和包括该发光设备的相机系统
CN106210556A (zh) 一种拍照方法及终端
CN105577982A (zh) 一种图像处理的方法及终端
Nixon et al. Accurate device-independent colorimetric measurements using smartphones
CN110192241A (zh) 控制发射型显示器的亮度
WO2004114647A2 (en) Color matching in lighting reproduction systems
CN106412416A (zh) 一种图像处理方法、设备及系统
CN107707789A (zh) 使用单色成像器和颜色映射传感器进行单色‑彩色映射
Tominaga et al. Spectral imaging by synchronizing capture and illumination
Moeck et al. Illuminance analysis from high dynamic range images
CN105991987A (zh) 一种图像处理方法、设备及系统
Zhbanova FEATURES OF DIGITAL COLOURIMETRY APPLICATION IN MODERN SCIENTIFIC RESEARCH.
CN106878607A (zh) 一种基于电子设备的图像生成的方法和电子设备
CN206042074U (zh) 一种终端
CN106231193A (zh) 一种图像处理方法及终端
CN106060506B (zh) 一种图像处理方法及终端
CN106101322A (zh) 一种终端及其制造工艺
CN105933618A (zh) 一种拍照方法、设备及系统
CN105898155A (zh) 一种拍照方法及终端
Kamath et al. Development of bayesian neural network model to predict the correlated color temperature using digital camera and Macbeth ColorChecker chart
KR20220118339A (ko) 치아색 결정 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210224

Address after: 518057 Desai Science and Technology Building, 9789 Shennan Avenue, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province, 17th Floor (15th Floor of Natural Floor) 1702-1703

Patentee after: Shenzhen Microphone Holdings Co.,Ltd.

Address before: 518040 21 floor, east block, Times Technology Building, 7028 Shennan Road, Futian District, Shenzhen, Guangdong.

Patentee before: DONGGUAN GOLDEX COMMUNICATION TECHNOLOGY Co.,Ltd.

TR01 Transfer of patent right