CN107734319A - 图像白平衡处理方法和装置、存储介质和电子设备 - Google Patents
图像白平衡处理方法和装置、存储介质和电子设备 Download PDFInfo
- Publication number
- CN107734319A CN107734319A CN201711213044.2A CN201711213044A CN107734319A CN 107734319 A CN107734319 A CN 107734319A CN 201711213044 A CN201711213044 A CN 201711213044A CN 107734319 A CN107734319 A CN 107734319A
- Authority
- CN
- China
- Prior art keywords
- pixel data
- data set
- imaging sensor
- calibration
- filter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000003860 storage Methods 0.000 title abstract description 13
- 238000003384 imaging method Methods 0.000 claims abstract description 77
- 238000012545 processing Methods 0.000 claims abstract description 36
- 238000004590 computer program Methods 0.000 claims description 17
- 238000011088 calibration curve Methods 0.000 claims description 12
- 210000000746 body region Anatomy 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 7
- 239000012141 concentrate Substances 0.000 claims description 4
- 230000006870 function Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 5
- 230000006854 communication Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 241001269238 Data Species 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 239000004904 UV filter Substances 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009102 absorption Effects 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000005314 correlation function Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000020169 heat generation Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本申请涉及一种图像白平衡处理方法、装置、存储介质和电子设备。该方法包括：获取光线通过摄像头中的过滤器，入射到图像传感器后，生成的用于成像显示的第一像素数据集；获取光线不经过所述过滤器而入射到图像传感器上覆盖的色温检测元件后，生成的用于反映色温的第二像素数据集；获取预设的校准数据；根据所述第二像素数据集和所述校准数据计算出色温值；将所述色温值对所述第一像素数据集进行白平衡处理，生成白平衡处理后的图像。上述的图像白平衡处理方法、装置、存储介质和电子设备可提高对拍摄对象的色彩还原的准确度。
Description
技术领域
本申请涉及图像处理技术领域，特别是涉及一种图像白平衡处理方法和装置、存储介质和电子设备。
背景技术
摄像设备在拍摄同一色彩的对象时，在不同光线下，拍摄呈现出该对象的颜色不同。因此，需要对拍摄的图像进行白平衡处理，以解决拍摄对象色彩失真的问题。白平衡是描述显示器中红、绿、蓝三基色混合生成后白色精确度的一项指标。
传统白平衡的处理方法，需要在拍摄设备上专门开孔，来设置用于采集色温数据的传感器。如需要在手机的触摸屏上相关的位置开孔，或者在背壳上开孔，以设置一个单独的RGB-IR的传感器，采集环境中的色温数据。根据采集到的色温数据，对拍摄的图像进行白平衡处理，以减小图像中出现的色彩失真的问题。然而，由于传统方法中，用于采集色温数据的传感器存在检测到的色温数据不可靠的问题，从而使得拍摄对象的色彩还原不够准确。
发明内容
本申请实施例提供一种图像白平衡处理方法和装置、存储介质和电子设备，可以提高拍摄对象的色彩还原的准确度。
一种图像白平衡处理方法，包括：
获取光线通过摄像头中的过滤器，入射到图像传感器后，生成的用于成像显示的第一像素数据集；
获取光线不经过所述过滤器而入射到图像传感器上覆盖的色温检测元件后，生成的用于反映色温的第二像素数据集；
获取预设的校准数据；
根据所述第二像素数据集和所述校准数据计算出色温值；
将所述色温值对所述第一像素数据集进行白平衡处理，生成白平衡处理后的图像。
在其中一个实施例中，所述过滤器覆盖于所述图像传感器的主体区域，所述色温检测元件覆盖于所述图像传感器上的非主体区域，使得光线入射到图像传感器而生成的像素数据集中，所述第二像素数据集包围所述第一像素数据集。
在其中一个实施例中，所述获取光线不经过所述过滤器而入射到图像传感器上覆盖的色温检测元件后，生成的用于反映色温的第二像素数据集，包括：
获取光线经过所述过滤器的开孔而入射到图像传感器上覆盖的色温检测元件后，生成的用于反映色温的第二像素数据集。
在其中一个实施例中，在所述获取光线通过摄像头中的过滤器，入射到图像传感器后，生成的用于成像显示的第一像素数据集之前，还包括：
接收通过图像传感器检测到的、通过移动产业处理器接口MIPI传输的像素数据集；
根据所述MIPI传输的像素数据集中设置的数据类型，确定所述像素数据集中的第一像素数据集和第二像素数据集。
在其中一个实施例中，所述校准数据包括校准曲线；
所述根据所述第二像素数据集和所述校准数据计算出色温值，包括：
根据所述第二像素数据集计算出对应的校准数值；
查询所述校准数值在所述校准曲线上对应的色温值，将查询出的色温值作为计算出的色温值。
在其中一个实施例中，所述根据所述第二像素数据集计算出对应的校准数值，包括：
根据所述第二像素数据集，以及第二像素数据集中的第二像素数据对应的像素点，在图像传感器上的位置信息，计算出对应的校准数值。
在其中一个实施例中，所述第一像素数据集包括红绿蓝RGB数据；所述第二像素数据集包括红外数据或紫外数据中的一种或多种。
一种图像白平衡处理装置，所述装置包括：
图像数据获取模块，用于获取光线通过摄像头中的过滤器，入射到图像传感器后，生成的用于成像显示的第一像素数据集；获取光线不经过所述过滤器而入射到图像传感器上覆盖的色温检测元件后，生成的用于反映色温的第二像素数据集；
校准数据获取模块，用于获取预设的校准数据；
色温值计算模块，用于根据所述第二像素数据集和所述校准数据计算出色温值；
白平衡处理模块，用于将所述色温值对所述第一像素数据集进行白平衡处理，生成白平衡处理后的图像。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述各实施例所提供的图像白平衡处理方法的步骤。
一种电子设备，包括：摄像头、与所述摄像头电连接的存储器和处理器；
所述摄像头包括过滤器、图像传感器、覆盖于所述图像传感器上的图像传感器以及覆盖于所述图像传感器上的色温检测元件；
所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现上述各实施例所提供的图像白平衡处理方法的步骤。
上述图像白平衡处理方法和装置、存储介质和电子设备，通过在图像传感器上设置色温检测元件，并将色温检测元件覆盖在未被过滤器所覆盖的区域。利用图像传感器与色温检测元件和过滤器之间的位置关系，可获取光线通过摄像头中的过滤器，入射到图像传感器后，生成的用于成像显示的第一像素数据集；并获取光线不经过所述过滤器而入射到图像传感器上覆盖的色温检测元件后，生成的用于反映色温的第二像素数据集；从而可无需在电子设备的显示屏或背壳等部位专门开孔来设置色温传感器，即可实现对第二像素数据的采集，降低了电子设备的制造成本。同时，由于直接将色温检测元件覆盖在图像传感器上，还可消除光线入射到色温检测元件和入射到图像传感器之间的入射角度的不一致的情况，可进一步提高检测出的第二像素数据的准确性，因而可提高对拍摄对象的色彩还原的准确度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为一个实施例中图像白平衡处理方法的应用场景图；
图2为一个实施例中电子设备的部分结构的框图；
图3为一个实施例中图像白平衡处理方法的流程图；
图4为一个实施例中像素阵列的示意图；
图5为一个实施例中图像白平衡处理装置的结构框图；
图6为一个实施例中手机的部分结构的框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一像素数据称为第二像素数据，且类似地，可将第二像素数据称为第一像素数据。第一像素数据和第二像素数据两者都是像素数据，但其不是同一像素数据。
图1为一个实施例中图像白平衡处理方法的应用场景图。如图1所示，电子设备10可通过摄像头102对拍摄对象20进行拍摄。其中，摄像头102中可包括第一摄像头及第二摄像头。摄像头102中设置有图像传感器。电子设备可通过该图像传感器得到拍摄对象20的图像数据，图像数据中包含用于成像显示的第一像素数据和用于反映色温的第二像素数据。电子设备可进一步获取预设的校准数据；根据第二像素数据和校准数据计算出色温值；将色温值对第一像素数据进行白平衡处理，生成白平衡处理后的图像，实现了对拍摄对象20的拍摄以及对拍摄图像的白平衡处理。
图2为一个实施例中电子设备的内部结构示意图。如图2所示，该电子设备包括通过系统总线连接的处理器、存储器、摄像头和显示器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于电子设备的图像白平衡处理方法。摄像头用于拍摄场景中的拍摄对象，显示器用于显示相应的成像信息等。存储器可包括磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random-Access-Memory，RAM)等。例如，在一个实施例中，存储器包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像白平衡处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。
在一个实施例中，如图3所示，提供了一种图像白平衡处理方法。本实施例主要以该方法应用于如图1所示的电子设备为例进行举例说明，包括：
步骤302，获取光线通过摄像头中的过滤器，入射到图像传感器后，生成的用于成像显示的第一像素数据集。
本实施例中，摄像头可内置于电子设备中，也可通过有线或无线方式外接于电子设备上。摄像头中包含图像传感器和过滤器。该图像传感器为用于产生拍摄对象的图像的数据的传感器。过滤器为用于过滤拍摄的环境信息中的红外信息或紫外信息等干扰因素的器件。可选的，图像传感器可包括被设置成二维矩阵排列的像素点而形成的像素阵列，通过该像素阵列生成的像素数据集可形成像素数据阵列。该像素数据集为由该像素阵列生成所有的像素数据的集合。过滤器可覆盖于该像素阵列上，但未全部覆盖该像素阵列，即部分覆盖该图像传感器。过滤器可包括红外过滤器或紫外过滤器等其中的一种或多种。其中，红外过滤器(IR-filter)为用于过滤拍摄环境中的红外光线的过滤器，紫外率光片(UV-filter)为用于过滤拍摄环境中的紫外光线的过滤器。
电子设备在开启拍摄状态时，外部光线可穿过镜头，经过该滤波器入射到图像传感器的面上，该图像传感器将该光线转换成电信号，再通过A/D转换等处理，生成该第一像素数据集。第一像素数据集中的每个第一像素数据为经过过滤器过滤后，生成的用于成像显示的数据。可选地，该第一像素数据可为红绿蓝RGB数据或者YUV数据等用于表示颜色的图像数据。
电子设备可通过该摄像头，获取采集到的第一像素数据集，第一像素为直接用于成像显示的数据，即电子设备可根据该第一像素数据集，在设备的显示器上显示对应的拍摄对象的图像。
步骤304，获取光线不经过过滤器而入射到图像传感器上覆盖的色温检测元件后，生成的用于反映色温的第二像素数据集。
本实施例中，色温是照明光学中用于定义光源颜色的一个物理量。假定某一黑体物质，能够将落在其上的所有热量吸收而没有损失，同时又能够将热量生成的能量全部以“光”的形式释放出来，它便会因受到热力的高低而呈现不同温度的颜色，简称色温。其单位用“K”(开尔文温度单位)表示。在不同的光线下，实际上是由于不同的光线对应的色温不同。因而在不同色温下，拍摄呈现出该对象的颜色不同。色温越高，光色越偏蓝；色温越低，光色越偏红。
图像传感器上还进一步覆盖了色温检测元件。色温检测元件为用于检测环境色温信息的器件，可为色温传感器。可选地，可为红外像素(IR pixel)或者紫外像素(UV pixel)等。
电子设备在开启拍摄状态时，外部光线可穿过镜头，在未经过该滤波器而直接入射到图像传感器的面上覆盖的色温检测元件。电子设备可将入射到色温检测元件上的光线转换成电信号，再通过A/D转换等处理，生成相应的第二像素数据，该第二像素数据形成的集合即为第二像素数据集。由于未经过过滤器过滤而入射到色温检测元件上，因而该生成的第二像素数据可用于反映环境色温信息。可选地，第二像素数据可为红外数据或紫外数据中的一种或多种。红外数据可为表示红外强度或红外含量的数据；紫外数据可为表示紫外强度或紫外含量的数据。
在一个实施例中，像素数据集(包括第一像素集和第二像素集)可为像素数据阵列，该像素数据阵列可与该图像传感器形成的像素阵列对应，每一像素数据可作为该像素数据阵列上的一个元素。
在一个实施例中，摄像头中的色温检测元件覆盖于图像传感器上，未被过滤器覆盖的区域，该过滤器部分覆盖图像传感器。从入射光的入射方向来看，该图像传感器与过滤器和色温检测元件之间的位置关系为：由外部光线穿过镜头后，有部分光线未入射到过滤器而直接入射到图像传感器上覆盖的色温检测元件，即该部分光线直接投影到未被过滤器覆盖的图像传感器的区域。可选的，该部分光线可位于整个光线区域的中心区域或边缘区域等任意位置。
步骤306，获取预设的校准数据。
本实施中，电子设备还预设了校准数据，该校准数据为预设的用于对不同色温环境而设置的校准数据。校准数据中可包含了不同的第二像素数据对应的色温值，或者可根据第二像素数据集，通过该校准数据能够计算出对应色温值的数据。
步骤308，根据第二像素数据集和校准数据计算出色温值。
本实施例中，电子设备可根据该校准数据和第二像素数据集中的第二像素数据，计算出对应的色温值。色温值为用于反映环境色温的数值。可选的，可根据第二像素数据集中的每个第二像素数据，计算出对应的综合像素数值，并从该校准数据中查询与该综合像素数值对应的色温值，该查询出的色温值即可作为环境色温的数值。或者可根据该综合像素数值，按照该校准数据中定义的计算方式，计算出对应的色温值。其中，综合像素数值可为每个第二像素数据的加权平均。
步骤310，将色温值对第一像素数据集进行白平衡处理，生成白平衡处理后的图像。
本实施例中，电子设备中预设了白平衡算法(Automatic White Balance，AWB)，将计算出的色温值作为对应白平衡算法的输入，从而计算出白平衡策略，并按照计算出的白平衡策略，对第一像素数据集进行白平衡处理，生成白平衡处理后的图像。可选地，该计算出的白平衡策略可用于反映对第一像素数据集中的每个第一像素的矫正幅度。根据该矫正幅度，可对对应的第一像素数据进行矫正，生成白平衡处理后的图像。
本申请实施例所提供的图像白平衡处理方法，通过在图像传感器上设置色温检测元件，并将色温检测元件覆盖在未被过滤器所覆盖的区域。利用图像传感器与色温检测元件和过滤器之间的位置关系，可获取光线通过摄像头中的过滤器，入射到图像传感器后，生成的用于成像显示的第一像素数据集；并获取光线不经过过滤器而入射到图像传感器上覆盖的色温检测元件后，生成的用于反映色温的第二像素数据集；从而可无需在电子设备的显示屏或背壳等部位专门开孔来设置色温传感器，即可实现对第二像素数据的采集，降低了电子设备的制造成本。同时，由于直接将色温检测元件覆盖在图像传感器上，还可消除光线入射到色温检测元件和入射到图像传感器之间的入射角度的不一致的情况，可进一步提高检测出的第二像素数据的准确性，因而可提高对拍摄对象的色彩还原的准确度。
在一个实施例中，过滤器覆盖于图像传感器的主体区域；色温检测元件覆盖于图像传感器上的非主体区域，使得光线入射到图像传感器而生成的像素数据集中，第二像素数据集包围第一像素数据集。
本实施例中，主体区域表示图像传感器中用于成像显示的像素阵列部分。参考如4所示，图4为一个实施例中像素阵列的示意图。其中，从入射光的入射方向来看，该像素阵列400上的中心区域410即为被过滤器所覆盖的区域，而除中心区域410之外的边缘区域可覆盖色温检测元件。
其中，该中心区域410即可为该图像传感器上的主体区域。通过将过滤器覆盖于图像传感器的主体区域，而在该图像传感器的非主图区域，比如图像传感器的边缘空余部分，覆盖对应的色温检测元件。可选地，可在色温传感器的边缘空余部分的空间上，嵌入上述的IR pixel，用来进行环境色温的采集，而不影响主体区域的成像。
光线入射到图像传感器上对应的位置处，所形成的像素数据，可处于像素数据集中的对应位置。通过上述图像传感器与过滤器和色温检测元件之间的位置关系，从而使得光线入射到图像传感器而生成的像素数据集中，第二像素数据集包围第一像素数据集。
在一个实施例中，步骤304包括：获取光线经过过滤器的开孔而入射到图像传感器上覆盖的色温检测元件后，生成的用于反映色温的第二像素数据集。
本实施例中，过滤器上还设置有一个或多个开孔，色温检测元件所覆盖的图像传感器的区域可为：该该开孔所入射的图像传感器上的区域。比如该位置为像素阵列400上的区域412。外部光线可穿过镜头，未经过该滤波器而直接入射到该像素阵列的边缘区域和/或区域412上。电子设备可获取经过过滤器的开孔而入射到图像传感器上覆盖的色温检测元件后，生成的用于反映色温的第二像素数据集。
在一个实施例中，在步骤302之前，还包括：接收通过图像传感器检测到的、通过移动产业处理器接口MIPI传输的图像数据；根据MIPI传输的图像数据中设置的数据类型，确定图像数据中的第一像素数据集第二像素数据集。
本实施例中，摄像头在生成包含第一像素数据和第二像素数据的像素数据集时，可通过移动产业处理器接口(Mobile Industry Processor Interface，MIPI)将该像素数据集传输给电子设备的处理器进行运算。在一个实施例中，在通过该MIPI进行数据传输时，可设置每个像素数据的数据类型(dataType)，根据该数据类型，可区分这些像素数据是第一像素数据还是第二像素数据。电子设备可通过处理器可接收由该图像传感器检测到的、通过MIPI传输的像素数据集，根据针对每个像素数据设置的数据类型，确定对应像素数据是第一像素数据还是第二像素数据，进而确定该像素数据集中的第一像素数据集和第二像素数据集。
本实施例中，通过设置MIPI，并针对传输的数据设置了对应的数据类型，从而可识别出第一像素数据和第二像素数据。
在一个实施例中，校准数据包括校准曲线；根据第二像素数据集和校准数据计算出色温值，包括：根据第二像素数据集计算出对应的校准数值；查询校准数值在校准曲线上对应的色温值，将查询出的色温值作为计算出的色温值。
本实施例中，校准曲线为用于反映校准数值和色温值之间的关系的曲线，校准曲线可由校准数值与色温值之间的映射关系来体现，比如可由预设的校准数值与色温值之间的映射关系表来体现。其中，校准数值为用于反映色温偏差的大小的数值。电子设备中预设有校准数值的计算模型，并将该第二像素数据集作为该计算模型的输入，运行该计算模型，而输出对应的校准数值。可选地，该校准数值可为根据该第二像素数据集进行加权求和或求平均等方式计算而得出。在计算出校准数值后，可从预设的校准曲线中，查询与该校准数值对应的色温值，将该色温值作为计算出的色温值。
本实施例中，通过设置校准曲线，并根据第二像素数据集计算出校准数值，从而可利用该校准曲线，查询出与该校准数值对应的色温值，可提高色温值的计算效率。
在一个实施例中，根据第二像素数据集计算出对应的校准数值，包括：根据第二像素数据集，以及第二像素数据集中的第二像素数据对应的像素点，在图像传感器上的位置信息，计算出对应的校准数值。
本实施例中，图像传感器上的像素点对应的第二像素数据，表示经过该像素点而生成的第二像素数据。电子设备在生成每个第二像素数据后，可确定该第二像素数据对应的像素点，并获取该对应的像素点在图像传感器的位置信息。其中，经过不同位置的像素点，生成的第二像素数据的数值不一定相同。电子设备可针对不同位置上的像素点所产生的第二像素数据，设置对应不同的权值。在获取到每个第二像素数据对应的像素点，在图像传感器上的位置信息后，可查询与该位置对应的权值，
参照图4，在形成的上述像素阵列中，可针对处于中心位置区域处的像素点，设置相对较大的权值，对于处于边缘区域的像素点设置较小的权值。电子设备根据每个生成的第二像素数据，查询出对应的像素点所在的位置，并获取针对该位置对应设置的权值，将该第二像素数据和对应的权值导入预设的计算模型，输出对应的校准数值。
本实施例中，由于在不同拍摄角度的情景下，进入摄像头的光线大小也不相同，通过进一步引入第二像素数据集中的第二像素数据对应的像素点在图像传感器上的位置信息，从而可提高在不同角度拍摄下，对色温值计算的准确性。
在一个实施例中，如图5所示，提供了一种图像白平衡处理装置，该装置包括：
图像数据获取模块502，用于获取光线通过摄像头中的过滤器，入射到图像传感器后，生成的用于成像显示的第一像素数据集；获取光线不经过过滤器而入射到图像传感器上覆盖的色温检测元件后，生成的用于反映色温的第二像素数据集。
校准数据获取模块504，用于获取预设的校准数据。
色温值计算模块506，用于根据第二像素数据集和校准数据计算出色温值。
白平衡处理模块508，用于将色温值对第一像素数据集进行白平衡处理，生成白平衡处理后的图像。
在一个实施例中，过滤器覆盖于图像传感器的主体区域，色温检测元件覆盖于图像传感器上的非主体区域，使得光线入射到图像传感器而生成的像素数据集中，第二像素数据集包围第一像素数据集。
在一个实施例中，图像数据获取模块502还用于获取光线经过过滤器的开孔而入射到图像传感器上覆盖的色温检测元件后，生成的用于反映色温的第二像素数据集。
在一个实施例中，图像数据获取模块502还用于接收通过图像传感器检测到的、通过移动产业处理器接口MIPI传输的像素数据集；根据MIPI传输的像素数据集中设置的数据类型，确定像素数据集中的第一像素数据集和第二像素数据集。
在一个实施例中，校准数据包括校准曲线。
色温值计算模块506还用于根据第二像素数据集计算出对应的校准数值；查询校准数值在校准曲线上对应的色温值，将查询出的色温值作为计算出的色温值。
色温值计算模块506还用于根据第二像素数据集，以及第二像素数据集中的第二像素数据对应的像素点，在图像传感器上的位置信息，计算出对应的校准数值。
在一个实施例中，第一像素数据集包括红绿蓝RGB数据；第二像素数据集包括红外数据或紫外数据中的一种或多种。
上述图像白平衡处理装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像白平衡处理装置按照需要划分为不同的模块，以完成上述图像白平衡处理装置的全部或部分功能。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各实施例所提供的图像白平衡处理方法的步骤。
在一个实施例中，提供了一种电子设备，包括：摄像头、与摄像头电连接的存储器和处理器；
摄像头包括过滤器、图像传感器、覆盖于图像传感器上的图像传感器以及覆盖于图像传感器上的色温检测元件；
存储器上存储有计算机程序，计算机程序被处理器执行时，使得处理器实现上述各实施例所提供的图像白平衡处理方法的步骤。
本申请实施例还提供了一种计算机程序产品。一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述各实施例所提供的图像白平衡处理方法的步骤。
本申请实施例还提供了一种电子设备。如图6所示，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该电子设备可以为包括手机、平板电脑、PDA(Personal Digital Assistant，个人数字助理)、POS(Point of Sales，销售终端)、车载电脑、穿戴式设备等任意终端设备，以电子设备为手机为例：
图6为与本申请实施例提供的电子设备相关的手机的部分结构的框图。参考图6，手机包括：射频(Radio Frequency，RF)电路610、存储器620、输入单元630、显示单元640、传感器650、音频电路660、无线保真(wireless fidelity，WiFi)模块670、处理器680、以及电源690等部件。本领域技术人员可以理解，图6所示的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
其中，RF电路610可用于收发信息或通话过程中，信号的接收和发送，可将基站的下行信息接收后，给处理器680处理；也可以将上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low Noise Amplifier，LNA)、双工器等。此外，RF电路610还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(Global System ofMobile communication，GSM)、通用分组无线服务(General Packet Radio Service，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband CodeDivision Multiple Access，WCDMA)、长期演进(Long Term Evolution，LTE))、电子邮件、短消息服务(Short Messaging Service，SMS)等。
存储器620可用于存储软件程序以及模块，处理器680通过运行存储在存储器620的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器620可主要包括程序存储区和数据存储区，其中，程序存储区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能的应用程序、图像播放功能的应用程序等)等；数据存储区可存储根据手机的使用所创建的数据(比如音频数据、通讯录等)等。此外，存储器620可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元630可用于接收输入的数字或字符信息，以及产生与手机600的用户设置以及功能控制有关的键信号输入。具体地，输入单元630可包括触控面板631以及其他输入设备632。触控面板631，也可称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的对象或附件在触控面板631上或在触控面板631附近的操作)，并根据预先设定的程式驱动相应的连接装置。在一个实施例中，触控面板631可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器680，并能接收处理器680发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板631。除了触控面板631，输入单元630还可以包括其他输入设备632。具体地，其他输入设备632可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)等中的一种或多种。
显示单元640可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元640可包括显示面板641。在一个实施例中，可以采用液晶显示器(LiquidCrystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板641。在一个实施例中，触控面板631可覆盖显示面板641，当触控面板631检测到在其上或附近的触摸操作后，传送给处理器680以确定触摸事件的类型，随后处理器680根据触摸事件的类型在显示面板641上提供相应的视觉输出。虽然在图6中，触控面板631与显示面板641是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板631与显示面板641集成而实现手机的输入和输出功能。
手机600还可包括至少一种传感器650，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板641的亮度，接近传感器可在手机移动到耳边时，关闭显示面板641和/或背光。运动传感器可包括加速度传感器，通过加速度传感器可检测各个方向上加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换)、振动识别相关功能(比如计步器、敲击)等；此外，手机还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器等。
音频电路660、扬声器661和传声器662可提供用户与手机之间的音频接口。音频电路660可将接收到的音频数据转换后的电信号，传输到扬声器661，由扬声器661转换为声音信号输出；另一方面，传声器662将收集的声音信号转换为电信号，由音频电路660接收后转换为音频数据，再将音频数据输出处理器680处理后，经RF电路610可以发送给另一手机，或者将音频数据输出至存储器620以便后续处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块670可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图6示出了WiFi模块670，但是可以理解的是，其并不属于手机600的必须构成，可以根据需要而省略。
处理器680是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器620内的软件程序和/或模块，以及调用存储在存储器620内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。在一个实施例中，处理器680可包括一个或多个处理单元。在一个实施例中，处理器680可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等；调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器680中。
手机600还包括给各个部件供电的电源690(比如电池)，优选的，电源可以通过电源管理系统与处理器680逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
在一个实施例中，手机600还可以包括摄像头、蓝牙模块等。
本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种图像白平衡处理方法，包括：
获取光线通过摄像头中的过滤器，入射到图像传感器后，生成的用于成像显示的第一像素数据集；
获取光线不经过所述过滤器而入射到图像传感器上覆盖的色温检测元件后，生成的用于反映色温的第二像素数据集；
获取预设的校准数据；
根据所述第二像素数据集和所述校准数据计算出色温值；
将所述色温值对所述第一像素数据集进行白平衡处理，生成白平衡处理后的图像。
2.根据权利要求1所述的方法，其特征在于，所述过滤器覆盖于所述图像传感器的主体区域，所述色温检测元件覆盖于所述图像传感器上的非主体区域，使得光线入射到图像传感器而生成的像素数据集中，所述第二像素数据集包围所述第一像素数据集。
3.根据权利要求1所述的方法，其特征在于，所述获取光线不经过所述过滤器而入射到图像传感器上覆盖的色温检测元件后，生成的用于反映色温的第二像素数据集，包括：
获取光线经过所述过滤器的开孔而入射到图像传感器上覆盖的色温检测元件后，生成的用于反映色温的第二像素数据集。
4.根据权利要求1所述的方法，其特征在于，在所述获取光线通过摄像头中的过滤器，入射到图像传感器后，生成的用于成像显示的第一像素数据集之前，还包括：
接收通过图像传感器检测到的、通过移动产业处理器接口MIPI传输的像素数据集；
根据所述MIPI传输的像素数据集中设置的数据类型，确定所述像素数据集中的第一像素数据集和第二像素数据集。
5.根据权利要求1所述的方法，其特征在于，所述校准数据包括校准曲线；
所述根据所述第二像素数据集和所述校准数据计算出色温值，包括：
根据所述第二像素数据集计算出对应的校准数值；
查询所述校准数值在所述校准曲线上对应的色温值，将查询出的色温值作为计算出的色温值。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第二像素数据集计算出对应的校准数值，包括：
根据所述第二像素数据集，以及第二像素数据集中的第二像素数据对应的像素点，在图像传感器上的位置信息，计算出对应的校准数值。
7.根据权利要求1所述的方法，其特征在于，所述第一像素数据集包括红绿蓝RGB数据；所述第二像素数据集包括红外数据或紫外数据中的一种或多种。
8.一种图像白平衡处理装置，其特征在于，所述装置包括：
图像数据获取模块，用于获取光线通过摄像头中的过滤器，入射到图像传感器后，生成的用于成像显示的第一像素数据集；获取光线不经过所述过滤器而入射到图像传感器上覆盖的色温检测元件后，生成的用于反映色温的第二像素数据集；
校准数据获取模块，用于获取预设的校准数据；
色温值计算模块，用于根据所述第二像素数据集和所述校准数据计算出色温值；
白平衡处理模块，用于将所述色温值对所述第一像素数据集进行白平衡处理，生成白平衡处理后的图像。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法的步骤。
10.一种电子设备，包括：摄像头、与所述摄像头电连接的存储器和处理器；
所述摄像头包括过滤器、图像传感器、覆盖于所述图像传感器上的图像传感器以及覆盖于所述图像传感器上的色温检测元件；
所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711213044.2A CN107734319B (zh) | 2017-11-28 | 2017-11-28 | 图像白平衡处理方法和装置、存储介质和电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711213044.2A CN107734319B (zh) | 2017-11-28 | 2017-11-28 | 图像白平衡处理方法和装置、存储介质和电子设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107734319A true CN107734319A (zh) | 2018-02-23 |
| CN107734319B CN107734319B (zh) | 2019-09-06 |
Family
ID=61218698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711213044.2A Expired - Fee Related CN107734319B (zh) | 2017-11-28 | 2017-11-28 | 图像白平衡处理方法和装置、存储介质和电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107734319B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110035232A (zh) * | 2019-03-27 | 2019-07-19 | 阿里巴巴集团控股有限公司 | 一种基于目标对象的图像获取方法、装置及电子设备 |
| CN113691716A (zh) * | 2021-08-26 | 2021-11-23 | 维沃移动通信有限公司 | 图像传感器、图像处理方法、装置、电子设备和存储介质 |
| CN114286072A (zh) * | 2020-09-27 | 2022-04-05 | 北京小米移动软件有限公司 | 色彩还原装置及方法、图像处理器 |
| CN114765681A (zh) * | 2021-01-13 | 2022-07-19 | 深圳市万普拉斯科技有限公司 | 检测色温的方法、装置、终端、系统和存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100243899A1 (en) * | 2006-08-31 | 2010-09-30 | Micron Technology, Inc. | Ambient infrared detection in solid state sensors |
| CN104581104A (zh) * | 2013-10-29 | 2015-04-29 | 吴福吉 | 一种摄像器白平衡测色温装置 |
| CN105163010A (zh) * | 2015-08-21 | 2015-12-16 | 广东欧珀移动通信有限公司 | 摄像模组及电子装置 |
| CN105306916A (zh) * | 2014-05-30 | 2016-02-03 | 佳能株式会社 | 执行白平衡控制的图像拾取装置及其控制方法 |
| CN105681782A (zh) * | 2016-01-11 | 2016-06-15 | 广东欧珀移动通信有限公司 | 色温传感器校准方法和相关装置 |
| CN105744247A (zh) * | 2015-05-26 | 2016-07-06 | 维沃移动通信有限公司 | 在移动设备中进行白平衡调整的方法、装置和移动设备 |
| CN205666883U (zh) * | 2016-03-23 | 2016-10-26 | 徐鹤菲 | 支持近红外光与可见光成像的复合成像系统和移动终端 |
| CN106303488A (zh) * | 2015-05-18 | 2017-01-04 | 小米科技有限责任公司 | 镜头模组、移动终端及纠正图像色偏的方法 |
-
2017
- 2017-11-28 CN CN201711213044.2A patent/CN107734319B/zh not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100243899A1 (en) * | 2006-08-31 | 2010-09-30 | Micron Technology, Inc. | Ambient infrared detection in solid state sensors |
| CN104581104A (zh) * | 2013-10-29 | 2015-04-29 | 吴福吉 | 一种摄像器白平衡测色温装置 |
| CN105306916A (zh) * | 2014-05-30 | 2016-02-03 | 佳能株式会社 | 执行白平衡控制的图像拾取装置及其控制方法 |
| CN106303488A (zh) * | 2015-05-18 | 2017-01-04 | 小米科技有限责任公司 | 镜头模组、移动终端及纠正图像色偏的方法 |
| CN105744247A (zh) * | 2015-05-26 | 2016-07-06 | 维沃移动通信有限公司 | 在移动设备中进行白平衡调整的方法、装置和移动设备 |
| CN105163010A (zh) * | 2015-08-21 | 2015-12-16 | 广东欧珀移动通信有限公司 | 摄像模组及电子装置 |
| CN105681782A (zh) * | 2016-01-11 | 2016-06-15 | 广东欧珀移动通信有限公司 | 色温传感器校准方法和相关装置 |
| CN205666883U (zh) * | 2016-03-23 | 2016-10-26 | 徐鹤菲 | 支持近红外光与可见光成像的复合成像系统和移动终端 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110035232A (zh) * | 2019-03-27 | 2019-07-19 | 阿里巴巴集团控股有限公司 | 一种基于目标对象的图像获取方法、装置及电子设备 |
| CN114286072A (zh) * | 2020-09-27 | 2022-04-05 | 北京小米移动软件有限公司 | 色彩还原装置及方法、图像处理器 |
| CN114765681A (zh) * | 2021-01-13 | 2022-07-19 | 深圳市万普拉斯科技有限公司 | 检测色温的方法、装置、终端、系统和存储介质 |
| CN113691716A (zh) * | 2021-08-26 | 2021-11-23 | 维沃移动通信有限公司 | 图像传感器、图像处理方法、装置、电子设备和存储介质 |
| CN113691716B (zh) * | 2021-08-26 | 2023-07-11 | 维沃移动通信有限公司 | 图像传感器、图像处理方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107734319B (zh) | 2019-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107920236A (zh) | 图像白平衡处理方法和装置、存储介质和电子设备 | |
| CN107734319B (zh) | 图像白平衡处理方法和装置、存储介质和电子设备 | |
| CN107230192A (zh) | 图像处理方法、装置、计算机可读存储介质和移动终端 | |
| CN108172199B (zh) | 显示方法、显示装置、电子设备和计算机可读存储介质 | |
| CN104135609B (zh) | 辅助拍照方法、装置及终端 | |
| CN109032474A (zh) | 一种色温调节方法、装置以及图形用户界面 | |
| CN107635101A (zh) | 拍摄方法、装置、存储介质和电子设备 | |
| CN107846537B (zh) | 一种摄像头组件、图像获取方法及移动终端 | |
| CN107038681A (zh) | 图像虚化方法、装置、计算机可读存储介质和计算机设备 | |
| CN108053803A (zh) | 显示模组的显示校正方法、显示校正装置和显示校正系统 | |
| CN108366207A (zh) | 控制拍摄的方法、装置、电子设备及计算机可读存储介质 | |
| CN107958469A (zh) | 一种双摄像头的标定方法、装置、系统和移动终端 | |
| CN107770451A (zh) | 拍照处理的方法、装置、终端和存储介质 | |
| CN106802183A (zh) | 一种光感传感器校准方法及终端 | |
| CN109361867A (zh) | 一种滤镜处理方法及移动终端 | |
| EP4072131A1 (en) | Image processing method and apparatus, terminal and storage medium | |
| CN107566753A (zh) | 照片拍摄方法及移动终端 | |
| CN109086761A (zh) | 图像处理方法和装置、存储介质、电子设备 | |
| CN108650442A (zh) | 图像处理方法和装置、存储介质、电子设备 | |
| CN108960179A (zh) | 一种图像数据处理方法及移动终端 | |
| CN107707824A (zh) | 拍摄方法、装置、存储介质和电子设备 | |
| CN107240072A (zh) | 一种屏幕亮度调节方法、终端和计算机可读存储介质 | |
| CN107666527A (zh) | 一种光线感应器组件及其控制方法与移动终端 | |
| CN104597967B (zh) | 手持式电子装置及其投影方法 | |
| CN106713744A (zh) | 一种实现光绘摄影的方法、装置及拍摄设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. Address before: Changan town in Guangdong province Dongguan 523860 usha Beach Road No. 18 Applicant before: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd. |
|
| CB02 | Change of applicant information | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190906 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |