CN117979178A - 一种图像处理方法、装置、设备及存储介质 - Google Patents
一种图像处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN117979178A CN117979178A CN202211303936.2A CN202211303936A CN117979178A CN 117979178 A CN117979178 A CN 117979178A CN 202211303936 A CN202211303936 A CN 202211303936A CN 117979178 A CN117979178 A CN 117979178A
- Authority
- CN
- China
- Prior art keywords
- information
- visual
- color
- camera
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 47
- 230000004044 response Effects 0.000 claims abstract description 176
- 230000000007 visual effect Effects 0.000 claims abstract description 132
- 238000001228 spectrum Methods 0.000 claims abstract description 100
- 206010049155 Visual brightness Diseases 0.000 claims abstract description 75
- 230000003595 spectral effect Effects 0.000 claims description 81
- 238000012545 processing Methods 0.000 claims description 24
- 239000011159 matrix material Substances 0.000 claims description 23
- 238000012937 correction Methods 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 5
- 230000004438 eyesight Effects 0.000 abstract description 19
- 210000004027 cell Anatomy 0.000 description 32
- 230000004907 flux Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 10
- 230000004296 scotopic vision Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 9
- 230000004310 photopic vision Effects 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 7
- 239000003086 colorant Substances 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000005457 Black-body radiation Effects 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007547 defect Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000004456 color vision Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 230000004298 light response Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 210000001328 optic nerve Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 206010034960 Photophobia Diseases 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 235000005811 Viola adunca Nutrition 0.000 description 1
- 240000009038 Viola odorata Species 0.000 description 1
- 235000013487 Viola odorata Nutrition 0.000 description 1
- 235000002254 Viola papilionacea Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009529 body temperature measurement Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 208000013469 light sensitivity Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 239000011664 nicotinic acid Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000036211 photosensitivity Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Landscapes
- Processing Of Color Television Signals (AREA)
Abstract
本公开提供了一种图像处理方法、装置、设备及存储介质,图像处理方法包括:确定拍摄环境的光谱信息;基于光谱信息以及预设的视觉亮度响应信息,确定拍摄环境下的视觉颜色信息和相机颜色信息;根据视觉颜色信息和相机颜色信息,确定拍摄环境下的白平衡增益信息,白平衡增益信息用于校准相机的白平衡。由于视觉亮度响应信息包括人眼视觉对当前拍摄环境的视觉亮度响应,使得确定的拍摄环境下的白平衡增益信息接近于人眼的视觉白平衡,使得拍摄图像的色彩接近人眼视觉色彩,降低图像色彩与人眼视觉色彩的色差。
Description
技术领域
本公开涉及图像处理技术领域,尤其涉及一种图像处理方法、装置、设备及存储介质。
背景技术
拍摄图像的色彩往往与人眼目视的环境色彩存在一定差异,需要对拍摄图像进行色彩还原,以使得拍摄图像的色彩接近人眼目视。目前,通常是基于环境照片的统计点进行自动白平衡参数的计算以及动态亮度的映射和截取,在拍摄过程中通过色卡对图像进行拍摄,并采用算法对颜色校正矩阵进行局部最优的解算。
然而,随着对人眼色觉感受原理的研究,由于人眼的视觉颜色会随着亮度的变化而变化,且人眼视觉对不同光谱的分辨能力不均,因此,采用自动白平衡对其单一亮度下的RGB校正方案,以及采用色品图色坐标的误差以衡量颜色的偏差均存在缺陷,拍摄图像色彩与人眼视觉色彩仍存在差异。
发明内容
为克服相关技术中存在的问题,本公开提供了一种图像处理方法、装置、设备及存储介质。
根据本公开的第一方面,提供了一种图像处理方法,所述图像处理方法包括:
确定拍摄环境的光谱信息;
基于所述光谱信息以及预设的视觉亮度响应信息,确定所述拍摄环境下的视觉颜色信息和相机颜色信息;
根据所述视觉颜色信息和所述相机颜色信息,确定所述拍摄环境下的白平衡增益信息,所述白平衡增益信息用于校准所述相机的白平衡。
本公开的一些实施例中,所述确定拍摄环境的光谱信息,包括:
获取所述拍摄环境的色温信息;
根据预设的色温光谱模型以及所述色温信息,确定所述拍摄环境的光谱信息。
本公开的一些实施例中,所述基于所述光谱信息以及预设的视觉亮度响应信息,确定所述拍摄环境下的视觉颜色信息和相机颜色信息,包括:
确定所述视觉亮度响应信息;
根据所述视觉亮度响应信息,对所述光谱信息进行归一化处理,得到归一化光谱信息;
根据所述归一化光谱信息以及预设的相机光谱响应信息,确定相机白点坐标信息,将所述相机白点坐标信息作为所述相机颜色信息;
根据所述归一化光谱信息以及预设的视觉光谱响应信息,确定视觉白点坐标信息,将所述视觉白点坐标信息作为所述视觉颜色信息。
本公开的一些实施例中,所述确定所述视觉亮度响应信息包括:
确定预设配置关系,所述预设配置关系用于表征预设亮度信息与视觉亮度响应模型的对应关系;
获取所述拍摄环境的亮度信息;
基于所述预设配置关系以及所述亮度信息,确定与所述亮度信息对应的视觉亮度响应模型;
根据所述视觉亮度响应模型,确定所述视觉亮度响应信息。
本公开的一些实施例中,所述根据所述归一化光谱信息以及预设的相机光谱响应信息,确定相机白点坐标信息,包括:
根据所述归一化光谱信息以及预设的相机光谱响应信息,确定相机的三原色响应值,将所述相机的三原色响应值确定为所述相机白点坐标信息;
所述根据所述归一化光谱信息以及预设的视觉光谱响应信息,确定视觉白点坐标信息,包括:
根据所述归一化光谱信息以及预设的视觉光谱响应信息,确定三刺激值,将所述三刺激值确定为所述视觉白点坐标信息。
本公开的一些实施例中,所述根据所述视觉颜色信息和所述相机颜色信息,确定所述拍摄环境下的白平衡增益信息,包括:
获取预设的标定白点信息,所述预设的标定白点信息与所述相机白点坐标信息位于同一色域坐标系;
基于预设的标定白点信息对所述视觉白点坐标信息进行坐标转化,得到色域坐标系下的视觉白点坐标信息;
根据所述色域坐标系下的视觉白点坐标信息与所述相机白点坐标信息,确定所述白平衡增益。
本公开的一些实施例中,所述视觉亮度响应信息包括光谱光效率曲线。
本公开的一些实施例中,所述图像处理方法还包括:
基于所述白平衡增益信息,对所述相机拍摄的第一图像信息进行白平衡补偿,得到相机色坐标系下的第二图像信息;
将相机色坐标系下的第二图像信息转化为视觉色坐标系下的第三图像信息;
基于所述第三图像信息,对颜色校正矩阵进行校正,得到第四图像信息。
本公开的一些实施例中,所述图像处理方法还包括:
将所述第四图像信息转化为标定色坐标下的第五图像信息并进行存储;和/或,
获取显示装置的光谱响应曲线;
基于所述显示装置的光谱响应曲线,确定所述显示装置的视觉白点信息;
基于所述显示装置的视觉白点信息和颜色校正矩阵以及所述第四图像信息,向所述显示装置输出显示信息,所述显示信息包括显示内容和显示亮度。
根据本公开的第二方面,提供了一种图像处理装置,其特征在于,所述图像处理装置包括:
第一确定模块,被配置为确定拍摄环境的光谱信息;
第二确定模块,被配置为基于所述光谱信息以及预设的视觉亮度响应信息,确定所述拍摄环境下的视觉颜色信息和相机颜色信息;
第三确定模块,被配置为根据所述视觉颜色信息和所述相机颜色信息,确定所述拍摄环境下的白平衡增益信息,所述白平衡增益信息用于校准所述相机的白平衡。
本公开的一些实施例中,所述第一确定模块被配置为:
获取所述拍摄环境的色温信息;
根据预设的色温光谱模型以及所述色温信息,确定所述拍摄环境的光谱信息。
本公开的一些实施例中,所述第二确定模块被配置为:
确定所述视觉亮度响应信息;
根据所述视觉亮度响应信息,对所述光谱信息进行归一化处理,得到归一化光谱信息;
根据所述归一化光谱信息以及预设的相机光谱响应信息,确定相机白点坐标信息,将所述相机白点坐标信息作为所述相机颜色信息;
根据所述归一化光谱信息以及预设的视觉光谱响应信息,确定视觉白点坐标信息,将所述视觉白点坐标信息作为所述视觉颜色信息。
本公开的一些实施例中,所述第二确定模块还被配置为:
确定预设配置关系,所述预设配置关系用于表征预设亮度信息与视觉亮度响应模型的对应关系;
获取所述拍摄环境的亮度信息;
基于所述预设配置关系以及所述亮度信息,确定与所述亮度信息对应的视觉亮度响应模型;
根据所述视觉亮度响应模型,确定所述视觉亮度响应信息。
本公开的一些实施例中,所述第二确定模块还被配置为:
根据所述归一化光谱信息以及预设的相机光谱响应信息,确定相机的三原色响应值,将所述相机的三原色响应值确定为所述相机白点坐标信息;
根据所述归一化光谱信息以及预设的视觉光谱响应信息,确定三刺激值,将所述三刺激值确定为所述视觉白点坐标信息。
本公开的一些实施例中,所述第三确定模块被配置为:
获取预设的标定白点信息,所述预设的标定白点信息与所述相机白点坐标信息位于同一色域坐标系;
基于预设的标定白点信息对所述视觉白点坐标信息进行坐标转化,得到色域坐标系下的视觉白点坐标信息;
根据所述色域坐标系下的视觉白点坐标信息与所述相机白点坐标信息,确定所述白平衡增益。
本公开的一些实施例中,所述视觉亮度响应信息包括光谱光效率曲线。
本公开的一些实施例中,所述图像处理装置还被配置为:
基于所述白平衡增益信息,对所述相机拍摄的第一图像信息进行白平衡补偿,得到相机色坐标系下的第二图像信息;
将相机色坐标系下的第二图像信息转化为视觉色坐标系下的第三图像信息;
基于所述第三图像信息,对颜色校正矩阵进行校正,得到第四图像信息。
本公开的一些实施例中,所述图像处理装置还被配置为:
将所述第四图像信息转化为标定色坐标下的第五图像信息并进行存储;和/或,
获取显示装置的光谱响应曲线;
基于所述显示装置的光谱响应曲线,确定所述显示装置的视觉白点信息;
基于所述显示装置的视觉白点信息和颜色校正矩阵以及所述第四图像信息,向所述显示装置输出显示信息,所述显示信息包括显示内容和显示亮度。
根据本公开的第三方面,提供了一种终端设备,包括:
处理器;
用于存储处理器的可执行指令的存储器;
其中,所述处理器被配置为执行如本公开第一方面所述的图像处理方法。
根据本公开的第四方面,提供了一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端设备的处理器执行时,使得终端设备能够执行如本公开第一方面所述的图像处理方法。
本公开的实施例提供的技术方案可以包括以下有益效果:由于视觉亮度响应信息包括人眼视觉对当前拍摄环境的视觉亮度响应,使得确定的拍摄环境下的白平衡增益信息接近于人眼的视觉白平衡,使得拍摄图像的色彩接近人眼视觉色彩,降低图像色彩与人眼视觉色彩的色差。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是本公开一示例性实施例示出的图像处理方法的流程图。
图2是本公开一示例性实施例示出的图像处理方法的流程图。
图3是本公开一示例性实施例示出的图像处理方法的流程图。
图4是本公开一示例性实施例示出的不同光亮度下的视觉亮度响应信息。
图5是本公开一示例性实施例示出的图像处理方法的流程图。
图6是本公开一示例性实施例示出的图像处理方法的流程图。
图7是本公开一示例性实施例示出的图像处理方法的流程图。
图8是本公开一示例性实施例示出的图像处理方法的流程图。
图9是本公开一示例性实施例示出的图像处理装置的框图。
图10是本公开一示例性实施例示出的终端设备的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
拍摄图像的色彩往往与人眼目视的环境色彩存在一定差异,需要对拍摄图像进行色彩还原,以使得拍摄图像的色彩接近人眼目视。相关技术中,通常是基于环境照片的统计点进行自动白平衡参数的计算以及动态亮度的映射和截取,在拍摄过程中通过24色卡或144色卡对图像进行拍摄,并采用算法对颜色校正矩阵(Color Correction Matrix,CCM)或者三维查找表(3D-Look Up Table,3D-LUT)进行局部最优的解算。
然而,随着对人眼色觉感受原理的研究,例如发现除了黄色(572nm)、绿色(503m)、蓝色(478nm)之外的光,对于人眼而言,视觉颜色会随着亮度的变化而变化,因此,采用自动白平衡对其单一亮度下的RGB校正方案存在一定缺陷。麦克亚当椭圆实验证明人类视觉对不同光谱的分辨能力并非是均匀的,因此采用色品图色坐标的误差以衡量颜色的偏差均存在一定缺陷,色彩拍摄图像色彩与人眼视觉色彩仍存在差异。
本公开示例性的实施例中,为了克服相关技术中的问题,提供了一种图像处理方法,包括:确定拍摄环境的光谱信息;基于光谱信息以及预设的视觉亮度响应信息,确定拍摄环境下的视觉颜色信息和相机颜色信息;根据视觉颜色信息和相机颜色信息,确定拍摄环境下的白平衡增益信息,白平衡增益信息用于校准相机的白平衡。由于视觉亮度响应信息包括人眼视觉对当前拍摄环境的视觉亮度响应,使得确定的拍摄环境下的白平衡增益信息接近于人眼的视觉白平衡,使得拍摄图像的色彩接近人眼视觉色彩,降低图像色彩与人眼视觉色彩的色差。
本公开示例性的实施例中,提供一种图像处理方法,图1是根据一示例性实施例示出的一种图像处理方法的流程图,如图1所示,图像处理方法包括以下步骤:
步骤S100、确定拍摄环境的光谱信息;
步骤S200、基于光谱信息以及预设的视觉亮度响应信息,确定拍摄环境下的视觉颜色信息和相机颜色信息;
步骤S300、根据视觉颜色信息和相机颜色信息,确定拍摄环境下的白平衡增益信息,白平衡增益信息用于校准相机的白平衡。
在步骤S100中,拍摄环境即为拍摄装置所处的环境,拍摄装置例如可以是数码相机,也可以是设置有摄像头的终端设备。确定光谱信息例如可以是通过光谱仪例如棱镜光谱仪,衍射光栅光谱仪测量确定,也可以是通过色温传感器测量当前环境的色温并经过计算确定的。光谱是复色光经过色散系统分光后,被色散开的单色光按波长或频率大小而依次排列的图案曲线,称为光学频谱,色散系统例如可以包括棱镜、光栅等。拍摄环境例如可以是自然环境或者人造环境,当在自然环境中时,复色光例如可以包括自然界的太阳光,得到的光谱是自然光光谱;当在人造环境中时,复色光例如可以包人造光,例如弧光、日光灯以及白炽灯等发出的光等,得到的光谱是人造光光谱。人造光光谱具有波峰高,半宽窄的特点,自然光光谱为连续平均的波峰。
光谱中可分为可见光光谱和不可见光光谱,可见光的波长为380~780nm,散射后分为红、橙、黄、绿、青、蓝、紫七个颜色,集中起来则为白光。不可见光分为种:位于红光之外区的叫红外光,波长大于780nm,最长达5300nm;位于紫光之外区的叫紫外光,波长290~380nm。本实施例中的光谱信息为可见光光谱。
在步骤S200中,视觉亮度响应信息可以包括人眼视觉对可见光光谱内各种波长的光的感光灵敏度,这取决于人眼的视觉神经细胞,视觉神经细胞包括视锥细胞与视杆细胞,细胞的触发仅依靠进入人眼的光子触发的数量,因此,可以通过合适地选取映照画面进入人眼的光的波长的组合,就可以仿生的手段去模拟真实画面。视锥细胞感受强光和颜色的细胞,可以接受光刺激,将光能转换为神经冲动,以感受不同波长的光,视锥细胞包括L(Long)、M(Medium)、S(Short)三种视锥细胞。视杆细胞是感受弱光刺激的细胞,对光线的强弱反应非常敏感。因此,引起人眼相同视觉亮度响应所需要的辐射能量是不尽相同的,对于相同辐射能量,人眼感受到的亮度也不尽相同,辐射能量与视觉亮度响应的关系由视锥细胞和视杆细胞相互作用,共同决定。视觉亮度响应信息可以是技术人员预设在拍摄设备中,例如存储在相机的CPU中或终端设备的CPU中,当确定拍摄环境的光谱信息后,对预设的视觉亮度响应信息进行获取。
本实施例中,可以根据拍摄环境的光谱信息选取合适的视觉亮度响应信息,对拍摄环境的光谱信息进行处理,以确定人眼视觉对当前拍摄环境的响应,以及相机的感光元件对当前拍摄环境的响应。根据人眼视觉对当前拍摄环境的响应,可以确定人眼视觉对白光的响应值,以作为视觉颜色信息;根据相机感光元件对当前拍摄环境的响应,可以确定相机感光元件对白光的响应值,以作为相机颜色信息。
在步骤S300中,使用视觉颜色信息与相机颜色信息进行对比,以确定拍摄环境下视觉颜色信息和相机颜色信息的差值,将二者的差值作为白平衡增益信息,以对相机中现有的白平衡进行校准。
在一个示例性实施例中,如图2所示,步骤S100中,确定拍摄环境的光谱信息,包括:
步骤S110、获取拍摄环境的色温信息;
步骤S120、根据预设的色温光谱模型以及色温信息,确定拍摄环境的光谱信息。
在步骤S110中,获取拍摄环境的色温信息,例如可以是通过设置在拍摄装置上的测温传感器,或者多通道色温传感器感应当前拍摄环境的色温,色温是表示光线中包含颜色成分的计量单位,不同光源的色温是通过对比光源发出的色彩和理论的热黑体辐射体来确定的,例如,拍摄环境为晴朗的蓝天,此时的色温一般为15000K-27000K,拍摄环境的光源为白炽灯,此时的色温一般为2550K,等等。通过确定拍摄环境的色温信息,可以确定当前拍摄环境下的光源发出的色彩,即光谱信息。
在步骤S120中,色温光谱模型例如可以是普朗克黑体辐射模型,普朗克黑体辐射模型可以是技术人员预设在拍摄设备中,例如存储在相机的CPU中或终端设备的CPU中,当确定拍摄环境的色温信息后,对预设的普朗克黑体辐射模型进行获取,以确定拍摄环境的光谱信息。具体的,普朗克黑体辐射模型可以表示如下:
其中,E是光源辐射的能量,h是普朗克常数,k是玻尔兹曼常数,c是光速,λ是波长,T是色温,e是自然对数,π是圆周率。
通过确定当前拍摄环境的色温信息T,根据普朗克黑体辐射模型,可以确定当前拍摄环境中光源辐射的能量与波长的关系,即当前拍摄环境的光谱信息。
在一个示例性实施例中,如图3所示,步骤S200中,基于光谱信息以及预设的视觉亮度响应信息,确定拍摄环境下的视觉颜色信息和相机颜色信息,包括:
步骤S210、确定视觉亮度响应信息;
步骤S220、根据视觉亮度响应信息,对光谱信息进行归一化处理,得到归一化光谱信息;
步骤S230、根据归一化光谱信息以及预设的相机光谱响应信息,确定相机白点坐标信息,将相机白点坐标信息作为相机颜色信息;
步骤S240、根据归一化光谱信息以及预设的视觉光谱响应信息,确定视觉白点坐标信息,将视觉白点坐标信息作为视觉颜色信息。
在步骤S210中,由于拍摄装置的CPU中存储有预设的视觉亮度响应信息,可以根据当前拍摄环境的光谱信息,从预设的视觉亮度响应信息中选取与当前拍摄环境对应的视觉亮度响应信息,作为当前拍摄环境的视觉亮度响应信息。
在一些可能的实施方式中,步骤S210中,确定视觉亮度响应信息,包括:
步骤S211、确定预设配置关系,预设配置关系用于表征预设亮度信息与视觉亮度响应模型的对应关系;
步骤S212、获取拍摄环境的亮度信息;
步骤S213、基于预设配置关系以及亮度信息,确定与亮度信息对应的视觉亮度响应模型;
步骤S214、根据视觉亮度响应模型,确定视觉亮度响应信息。
在步骤S211中,预设配置关系是表征多个预设亮度信息与视觉亮度响应模型的对应关系,例如,预设亮度信息可以根据CIE(Commission Internationale de l′Eclairage,国际照明委员会)根据对许多人的大量观察的结果,确定人眼视觉对各种波长光的平均感光灵敏度,预设亮度信息可以根据光亮度可以区别为明视觉、暗视觉和中间视觉,明视觉主要由视锥细胞决定,光亮度大于等于5cd/m2确定为明视觉;暗视觉主要由视杆细胞决定,光亮度小于等于0.005cd/m2确定为暗视觉,中间视觉由视锥细胞和视杆细胞共同决定,光亮度的区间为(0.005-5)cd/m2确定为中间视觉。对于不同的预设亮度信息,配置有不同的视觉亮度响应模型,多个预设亮度信息与其对应的视觉亮度响应模型形成的预设配置关系可以是预先设置在拍摄装置的CPU中。
其中,对于明视觉,对应的视觉亮度响应模型为明视觉光谱光视效率V(λ),可以表示为:
其中,λm为555nm,为波长为555nm处的光谱辐射亮度,Le,λ为可见光光谱内其它波长的光谱辐射亮度,/>小于Le,λ,Lmes为光亮度。
对于暗视觉,对应的视觉亮度响应模型为暗视觉光谱光视效率V′(λ),可以表示为:
其中,Le,507nm为波长为507nm处的光谱辐射亮度,Le,λ为可见光光谱内其它波长的光谱辐射亮度,Le,507nm小于Le,λ,Lmes为光亮度。
对于中间视觉,对应的视觉亮度响应模型为中间视觉光谱光视效率,可以表示为:mV(λ)+(1-m)V′(λ),0.005cd/m2<Lmes<5cd/m2,其中,V(λ)为明视觉光谱光视效率,λ′(λ)为暗视觉光谱光视效率,m为系数,Lmes为光亮度。
在步骤S212中,获取拍摄环境的亮度信息,例如可以是通过设置在拍摄装置上的亮度传感器感应当前拍摄环境的光亮度,光亮度是光源在垂直其光传输方向的平面上的单位面积内反射出的光通量。通过确定拍摄环境的亮度信息,可以确定当前拍摄环境下哪种人眼视觉神经细胞起主要作用,以确定当前拍摄环境下的视觉亮度响应信息。
在步骤S213中,根据获取的当前拍摄环境的亮度信息,在预设配置关系中确定与当前亮度信息对应的预设亮度信息,并进一步确定对应的视觉亮度响应模型。例如,若当前拍摄环境为明视觉,对应的视觉亮度响应模型为明视觉光谱光视效率V(λ),若当前拍摄环境为暗视觉,对应的视觉亮度响应模型为暗视觉光谱光视效率V′(λ),等等。
在步骤S214中,根据与当前拍摄环境的亮度信息相对应的视觉亮度响应模型,可以确定当前拍摄环境的视觉亮度响应信息,视觉亮度响应信息例如可以包括光谱光效率曲线,参考图4所示,图4是根据一示例性实施例示出的不同光亮度下的视觉亮度响应信息。
在步骤S220中,由于不同的拍摄环境具有不同的色温,而不同色温下光源的光谱信息中,即使具有相同的辐射能量,由于人眼的视觉神经细胞的存在,人眼感觉到的亮度也不尽相同。因此,使用与当前拍摄环境对应的视觉亮度响应信息对光谱信息进行归一化处理,根据人眼在当前拍摄环境的光亮度下的视觉亮度响应信息,可以计算当前拍摄环境下的光通量Φ,光通量Φ可以表示当前拍摄环境对人眼的刺激程度。利用光通量Φ,对当前拍摄环境得到的光谱信息进行归一化处理。例如可以是将光通量归一至1流明(描述光通量的物理单位,lm),以确定当前拍摄环境对应的归一化光谱信息。
其中,归一化系数可以表示为:
其中,Φv为光源发射的光通量,Φe为光源发射的辐射通量,Km为人眼明视觉最大光谱光视效能,Km=683lm/W,K′m为人眼暗视觉最大光谱光视效能,K′m=1725lm/W,V(λ)为明视觉光谱光视效率,V′(λ)为暗视觉光谱光视效率,Lmes为光亮度。
通过计算当前拍摄环境的光亮度下的光通量,将光通量归一至1流明,以将当前拍摄环境的色温信息下的光谱信息,归一化至人眼感受的相同亮度下的光谱信息,即归一化光谱信息。
在步骤S230中,相机光谱响应信息例如可以是相机上的感光元件对不同波长光的响应强度曲线,也可以称为量子效率(Quantum Efficiency,QE),相机光谱响应信息可以表征相机的感光元件对不同波长光的光子进行光电转换,转换为外部电路的电子的能力。例如,可以采用单色仪在预设亮度下测量相机感光元件的响应强度,并使用可见光中的每一种单色光对感光元件的响应强度进行多次测量后,取每一种单色光对应的响应强度的平均值,以得到相机光谱响应信息X(λ),并预先存储于拍摄装置的CPU中。
将归一化光谱信息作为相机在当前拍摄环境下的入射光的光谱输入,可以确定相机的感光元件在归一化光谱信息下的响应信息。根据相机的感光元件在归一化光谱信息下的响应信息,可以确定相机的各个感光元件对白光的响应强度值。示例性地,由于白光是复色光,是需要多个颜色的光复合而成,因此,将各个感光元件对于归一化光谱信息下的白光的响应强度值,确定为相机的白点坐标信息,并将相机的白点坐标信息作为相机颜色信息。
在一些可能的实施方式中,步骤S230中,根据归一化光谱信息以及预设的相机光谱响应信息,确定相机的三原色响应值,将相机的三原色响应值确定为相机白点坐标信息。
本实施例中,根据光的三原色,相机的感光元件可以设置不同的光谱透射范围,相机的感光元件可以包括R、G、B三种感光元件,预设的相机光谱响应信息X(λ)可以包括R(λ)、G(λ)和B(λ)三种相机响应强度曲线。
对于R感光元件在当前拍摄环境下对白光的响应值,可以通过下式进行计算:
对于G感光元件在当前拍摄环境下对白光的响应值,可以通过下式进行计算:
对于B感光元件在当前拍摄环境下对白光的响应值,可以通过下式进行计算:
其中,I(λ)为归一化光谱信息,R(λ)为预设的R感光元件的响应强度曲线,G(λ)为预设的G感光元件的响应强度曲线,B(λ)为预设的B感光元件的响应强度曲线,Δλ为精度值,该精度值可以为一个预设值,例如0.001mm。
由于r,g,b为相机的三原色响应值,且r,g,b分别为在当前拍摄环境下对白光的响应值,因此,将r,g,b三原色响应值确定为相机白点坐标信息。
在步骤S240中,视觉光谱响应信息例如是包括L、M、S三种视锥细胞对不同波长光的响应强度曲线,三种不同的视锥细胞对于不同波长的光的响应强度不同,例如,L型视锥细胞对长波长的光响应最大,峰值波长约为560~580nm(对应黄绿色);M型视锥细胞对中波长的光响应最大,在530~545nm(对应绿色)处达到峰值;S型视锥细胞对短波长的光响应最大,在420~440nm(对应蓝紫色)处达到峰值。可以将视觉光谱响应信息预先存储于拍摄装置的CPU中。
将归一化光谱信息作为人眼在当前拍摄环境下的入射光的光谱输入,可以确定人眼的视锥细胞在归一化光谱信息下的响应信息。根据人眼的视锥细胞在归一化光谱信息下的响应信息,可以确定人眼的各种视锥细胞对白光的响应强度值。示例性地,由于白光是复色光,是需要多个颜色的光复合而成,因此,将各种视锥细胞对于归一化光谱信息下的白光的响应强度值,确定为人眼的视觉白点坐标信息,并将视觉白点坐标信息作为视觉颜色信息。
在一些可能的实施方式中,步骤S240中,根据所述归一化光谱信息以及预设的视觉光谱响应信息,确定视觉白点坐标信息,包括:
根据归一化光谱信息以及预设的视觉光谱响应信息,确定三刺激值,将三刺激值确定为视觉白点坐标信息。
本实施例中,由于人眼视觉神经细胞包括L、M、S三种视锥细胞,视觉光谱响应信息可以包括L(λ)、M(λ)、S(λ)三种响应强度曲线。
对于L型视锥细胞在当前拍摄环境下对白光的刺激值,可以通过下式进行计算:
对于M型视锥细胞在当前拍摄环境下对白光的刺激值,可以通过下式进行计算:
对于S型视锥细胞在当前拍摄环境下对白光的刺激值,可以通过下式进行计算:
其中,I(λ)为归一化光谱信息,L(λ)为预设的L型视锥细胞的响应强度曲线,M(λ)为预设的M型视锥细胞的响应强度曲线,S(λ)为预设的S型视锥细胞的响应强度曲线,Δλ为精度值,该精度值可以为一个预设值,例如0.001mm。
由于l,m,s为人眼视觉的三种视锥细胞对应的三刺激值,且l,m,s分别为在当前拍摄环境下人眼对白光的响应值,因此,将l,m,s三刺激值确定为视觉白点坐标信息。
在一个示例性实施例中,如图5所示,步骤S300中,根据视觉颜色信息和相机颜色信息,确定拍摄环境下的白平衡增益信息,包括:
步骤S310、获取预设的标定白点信息,预设的标定白点信息与相机白点坐标信息位于同一色域坐标系;
步骤S320、基于预设的标定白点信息对视觉白点坐标信息进行坐标转化,得到色域坐标系下的视觉白点坐标;
步骤S330、根据色域坐标系下的视觉白点坐标信息与相机白点坐标信息,确定白平衡增益。
在步骤S310中,标定白点信息可以是在色域中显示出白色这一颜色的坐标信息,标定白点信息作为标准的白色参考坐标。色域是一种对颜色进行编码的方法,例如可以包括sRGB、NTSC、Adobe RGB、DCI-P3等色域。色域及色域中的标定白点坐标可以预先设置在拍摄装置的CPU中。本实施例中,例如可以选择sRGB色域,sRGB色域是以D65光源进行标定的,D65光源即为色温为6500K的光源。sRGB色域中设置有在D65光源下显示为白色的坐标,即为标定白点信息。获取预设的标定白点信息,可以由拍摄装置的CPU中获取色域坐标系以及标定白点信息。示例性地,预设的标定白点信息与相机白点坐标信息位于同一色域坐标系,以便于对相机白点坐标信息进行校准。
在步骤S320中,可以将视觉白点坐标信息对应的坐标系转换为sRGB色域坐标系,并根据预设的标定白点信息对视觉白点坐标信息进行校准,即将视觉白点坐标信息校准至接近标定白点信息,使得得到的色域坐标系下的视觉白点坐标信息对应的白色接近色域坐标系下标准的白色。
在步骤S330中,对比色域坐标系下的视觉白点坐标信息和相机白点坐标信息,确定色域坐标系下的视觉白点坐标信息与相机白点坐标信息的差值,将二者的差值作为白平衡增益信息,当相机在当前拍摄环境下进行拍摄时,使用白平衡增益信息对相机白点坐标信息进行补偿,使得相机拍摄的图像的色彩接近人眼在当前拍摄环境感受到的色彩,降低拍摄图像色彩与人眼视觉色彩的色差。例如,色域坐标系下的视觉白点坐标信息对应的l、m、s分别为1、2、3,相机白点坐标信息对应的r、g、b分别为1、3、2,可以确定白平衡增益为0、-1、1,使用白平衡增益为0、-1、1对相机白点坐标信息进行补偿,以使得相机拍摄的图像的色彩与眼在当前拍摄环境感受到的色彩相同。
在一个示例性实施例中,如图6所示,图6是一示例性实施例示出的图像处理方法的流程图,图像处理方法还包括如下步骤:
步骤S610、基于白平衡增益信息,对相机拍摄的第一图像信息进行白平衡补偿,得到相机色坐标系下的第二图像信息;
步骤S620、将相机色坐标系下的第二图像信息转化为视觉色坐标系下的第三图像信息;
步骤S630、基于第三图像信息,对颜色校正矩阵进行校正,得到第四图像信息。
在步骤S610中,第一图像信息可以是根据相机的各个感光元件在当前拍摄下拍摄的未经过白平衡补偿的原始图像。基于上述实施例中步骤S300中确定的白平衡增益信息,对当前拍摄环境下相机拍摄的第一图像信息进行白平衡补偿,以得到相机色坐标系下的第二图像信息,第二图像信息经过白平衡增益信息进行补偿,第二图像信息中的色彩接近人眼视觉目视的与第一图像信息对应的拍摄图案对应的场景的真实色彩。
在步骤S620中,由于相机的RBG参数与人眼视觉的LMS参数具有一定的对应关系,可以将第二图像信息中的各个色彩对应的相机色坐标系(RGB色彩空间)中的编码矩阵转化为视觉色坐标系(LMS色彩空间)下编码矩阵,通过对视觉色坐标系下编码矩阵进行计算还原,可以得到第三图像信息。第三图像信息与第二图像信息具有一定的对应关系。对于将RGB色彩空间转换为LMS色彩空间的具体实现方式,可以参照相关技术的标准色彩公式,本实施例不作具体限定。
在步骤S630中,基于第三图像信息对应的视觉色坐标系,即LMS色彩空间,计算颜色校正矩阵的计算误差,颜色校正矩阵可以包括CCM、3D-LUT等等,再以Lab空间下的误差予以衡量,以得到第四图像信息,第四图像信息为经过颜色校正矩阵进行校正后的图像。本申请采用LMS色彩空间对颜色校正矩阵的具体实现方式,可以参照相关技术,本实施例不作具体限定。
在一个示例性实施例中,图像处理方法还包括如下步骤:
步骤S700、将第四图像信息转化为标定色坐标下的第五图像信息并进行存储。
本实施例中,由于第四图像信息采用视觉色坐标系表示,即采用LMS色彩空间表示,而由于显示装置一般都采用sRGB、NTSC、Adobe RGB、DCI-P3等色域坐标系,因此,将第四图像信息转化为标定色坐标下的第五图像信息并进行存储,例如是存储在拍摄装置的CPU中。以便于第五图像信息传输到其它显示装置上进行显示时,第五图像信息中的色彩接近相机的拍摄环境下的真实环境的人眼视觉感受到的色彩,以使得用户在查看第五图像信息时,人眼视觉感受到的色彩接近拍摄环境下的真实色彩。示例性地,标定色坐标例如可以是上述实施例中预设的标定白点信息对应的色域坐标系,即sRGB色域坐标系,也可以根据实际情况选择转化为其它的色域坐标系。对于将LMS色彩空间转换为sRGB色域坐标系等标定坐标系的具体实现方式,可以参照相关技术的标准色彩公式,本实施例不作具体限定。
在一个示例性实施例中,如图7所示,图7是一示例性实施例示出的图像处理方法的流程图,图像处理方法还包括如下步骤:
步骤S710、获取显示装置的光谱响应曲线;
步骤S720、基于显示装置的光谱响应曲线,确定显示装置的视觉白点信息;
步骤S730、基于显示装置的视觉白点信息和颜色校正矩阵以及第四图像信息,向显示装置输出显示信息,显示信息包括显示内容和显示亮度。
本实施例中,显示装置和相机集成在同一终端设备上,即显示装置与相机使用同一CPU,当第四图像信息在显示装置上进行显示时,通过控制显示装置的显示亮度,使得用户在显示装置上查看显示的第四图像信息时,人眼视觉感受到的色彩接近拍摄环境下的真实色彩。
在步骤S710中,显示装置例如可以是设备的显示屏幕,显示屏幕可以包括液晶显示器(LCD)、有机电激光显示器(OLED)等等。显示装置中包括的多个像素单元,像素单元能够发出单一颜色,像素单元按发光颜色的不同,可以为红色像素单元R、绿色像素单元G和蓝色像素单元B。本实施例中,可以采用照度计对显示装置中的各个像素单元进行测量,在保持入射光的光通量不变的条件下,测量在不同波长的光下,各像素单元所产生的光电流,以得到显示装置的光谱响应曲线。显示装置的光谱响应曲线预先设置在显示装置对应的CPU中,在需要对第四图像信息进行显示时进行获取。
在步骤S720中,根据显示装置的光谱响应曲线,可以确定显示装置的显示白点信息,显示白点信息可以是显示装置显示白色时,各种像素单元的响应值,显示装置的显示白点信息的计算方法可以参考相关技术,在此不作限制。基于显示装置的显示白点信息,以及上述实施例中计算得到的视觉白点坐标信息,通过视觉白点坐标信息对显示装置的显示白点信息进行校准,使得显示装置显示的白色接近人眼视觉看到的白色,以确定显示装置的视觉白点信息。
在步骤S730中,基于显示装置的视觉白点信息,对第四图像信息进行处理,将第四图像信息中的白色坐标与显示装置的视觉白点信息坐标对齐,例如,通过控制显示装置的显示亮度,使得第四图像信息显示时的白色接近人眼视觉观看显示装置时看到的白色。同时,通过计算第四图像信息显示时颜色校正矩阵的计算误差,颜色校正矩阵可以包括CCM、3D-LUT等等,再以Lab空间下的误差予以衡量,确定第四图像信息在显示装置上显示时的显示内容。将显示内容和显示亮度向显示装置输出,作为输出显示信息,以便于显示装置对应控制显示亮度和显示相应的显示内容。
在一个示例性实施例中,如图8所示,图8是一示例性实施例示出的图像处理方法的流程图,图像处理方法还包括如下步骤:
步骤S810、将第四图像信息转化为标定色坐标下的第五图像信息并进行存储;
步骤S820、获取显示装置的光谱响应曲线;
步骤S830、基于显示装置的光谱响应曲线,确定显示装置的视觉白点信息;
步骤S840、基于显示装置的视觉白点信息和颜色校正矩阵以及第四图像信息,向显示装置输出显示信息,显示信息包括显示内容和显示亮度。
本实施例中,步骤S810与上述实施例中的步骤S700类似,步骤S820至步骤S840与上述实施例中的步骤S710至步骤S730类似,在此不作赘述。本实施例提供的图像处理方法,可以在不需要对第四图像信息显示时,将第四图像信息先进行存储,并在需要对第四图像信息进行显示时进行相应的处理。
在一个示例性实施例中,本公开示例性地提供了一种图像处理装置,该图像处理装置被配置为能够执行上述实施例中的图像处理方法,如图9所示,图9是一示例性实施例示出的图像处理装置的框图,图像处理装置包括以下模块:
第一确定模块100,被配置为确定拍摄环境的光谱信息;
第二确定模块200,被配置为基于光谱信息以及预设的视觉亮度响应信息,确定拍摄环境下的视觉颜色信息和相机颜色信息;
第三确定模块300,被配置为根据视觉颜色信息和相机颜色信息,确定拍摄环境下的白平衡增益信息,白平衡增益信息用于校准相机的白平衡。
在一个示例性实施例中,第一确定模块100被配置为:
获取拍摄环境的色温信息;
根据预设的色温光谱模型以及色温信息,确定拍摄环境的光谱信息。
在一个示例性实施例中,第二确定模块200被配置为:
确定视觉亮度响应信息;
根据视觉亮度响应信息,对光谱信息进行归一化处理,得到归一化光谱信息;
根据归一化光谱信息以及预设的相机光谱响应信息,确定相机白点坐标信息,将相机白点坐标信息作为相机颜色信息;
根据归一化光谱信息以及预设的视觉光谱响应信息,确定视觉白点坐标信息,将视觉白点坐标信息作为视觉颜色信息。
在一些可能的实施方式中,第二确定模块200还被配置为:
确定预设配置关系,预设配置关系用于表征预设亮度信息与视觉亮度响应模型的对应关系;
获取拍摄环境的亮度信息;
基于预设配置关系以及所述亮度信息,确定与亮度信息对应的视觉亮度响应模型;
根据视觉亮度响应模型,确定视觉亮度响应信息。
在一些可能的实施方式中,第二确定模块200还被配置为:
根据归一化光谱信息以及预设的相机光谱响应信息,确定相机的三原色响应值,将相机的三原色响应值确定为相机白点坐标信息;
根据归一化光谱信息以及预设的视觉光谱响应信息,确定三刺激值,将三刺激值确定为视觉白点坐标信息。
在一个示例性实施例中,第三确定模块300被配置为:
获取预设的标定白点信息,预设的标定白点信息与相机白点坐标信息位于同一色域坐标系;
基于预设的标定白点信息对视觉白点坐标信息进行坐标转化,得到色域坐标系下的视觉白点坐标信息;
根据色域坐标系下的视觉白点坐标信息与相机白点坐标信息,确定白平衡增益。
在一个示例性实施例中,视觉亮度响应信息包括光谱光效率曲线。
在一个示例性实施例中,图像处理装置还被配置为:
基于白平衡增益信息,对相机拍摄的第一图像信息进行白平衡补偿,得到相机色坐标系下的第二图像信息;
将相机色坐标系下的第二图像信息转化为视觉色坐标系下的第三图像信息;
基于第三图像信息,对颜色校正矩阵进行校正,得到第四图像信息。
在一个示例性实施例中,图像处理装置还被配置为:
将第四图像信息转化为标定色坐标下的第五图像信息并进行存储;和/或,
获取显示装置的光谱响应曲线;
基于显示装置的光谱响应曲线,确定显示装置的视觉白点信息;
基于显示装置的视觉白点信息和颜色校正矩阵以及第四图像信息,向显示装置输出显示信息,显示信息包括显示内容和显示亮度。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图10是根据一示例性实施例示出的用于执行图像处理方法的终端设备1000的框图。终端设备1000例如可以是相机、手机、平板电脑、笔记本电脑、智能手表等设置由拍摄装置的设备。参照图10,终端设备1000可以包括以下一个或多个组件:处理组件1002,存储器1004,电源组件1006,多媒体组件1008,音频组件1010,输入/输出(I/O)的接口1012,传感器组件1014,以及通信组件1016。
处理组件1002通常控制终端设备1000的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1002可以包括一个或多个模块,便于处理组件1002和其他组件之间的交互。例如,处理组件1002可以包括多媒体模块,以方便多媒体组件1008和处理组件1002之间的交互。
存储器1004被配置为存储各种类型的数据以支持在终端设备1000的操作。这些数据的示例包括用于在终端设备1000上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件1006为终端设备1000的各种组件提供电源。电源组件1006可以包括电源管理系统,一个或多个电源,及其他与为终端设备1000生成、管理和分配电力相关联的组件。
多媒体组件1008包括在所述终端设备1000和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1008包括一个前置摄像头和/或后置摄像头。当终端设备1000处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1010被配置为输出和/或输入音频信号。例如,音频组件1010包括一个麦克风(MIC),当终端设备1000处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。在一些实施例中,音频组件1010还包括一个扬声器,用于输出音频信号。
I/O接口1012为处理组件1002和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1014包括一个或多个传感器,用于为终端设备1000提供各个方面的状态评估。例如,传感器组件1014可以检测到终端设备1000的打开/关闭状态,组件的相对定位,例如所述组件为终端设备1000的显示器和小键盘,传感器组件1014还可以检测终端设备1000或终端设备1000一个组件的位置改变,用户与终端设备1000接触的存在或不存在,终端设备1000方位或加速/减速和终端设备1000的温度变化。传感器组件1014可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1014还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件1016被配置为便于终端设备1000和其他设备之间有线或无线方式的通信。终端设备1000可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件1016经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1016还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,终端设备1000可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1004,上述指令可由终端设备1000的处理器1020执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质,当所述存储介质中的指令由终端设备的处理器执行时,使得终端设备能够执行上述的图像处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本发明的真正范围和精神由下面的权利要求指出。
应当理解的是,本发明并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。
Claims (12)
1.一种图像处理方法,其特征在于,所述图像处理方法包括:
确定拍摄环境的光谱信息;
基于所述光谱信息以及预设的视觉亮度响应信息,确定所述拍摄环境下的视觉颜色信息和相机颜色信息;
根据所述视觉颜色信息和所述相机颜色信息,确定所述拍摄环境下的白平衡增益信息,所述白平衡增益信息用于校准所述相机的白平衡。
2.根据权利要求1所述的图像处理方法,其特征在于,所述确定拍摄环境的光谱信息,包括:
获取所述拍摄环境的色温信息;
根据预设的色温光谱模型以及所述色温信息,确定所述拍摄环境的光谱信息。
3.根据权利要求1所述的图像处理方法,其特征在于,所述基于所述光谱信息以及预设的视觉亮度响应信息,确定所述拍摄环境下的视觉颜色信息和相机颜色信息,包括:
确定所述视觉亮度响应信息;
根据所述视觉亮度响应信息,对所述光谱信息进行归一化处理,得到归一化光谱信息;
根据所述归一化光谱信息以及预设的相机光谱响应信息,确定相机白点坐标信息,将所述相机白点坐标信息作为所述相机颜色信息;
根据所述归一化光谱信息以及预设的视觉光谱响应信息,确定视觉白点坐标信息,将所述视觉白点坐标信息作为所述视觉颜色信息。
4.根据权利要求3所述的图像处理方法,其特征在于,所述确定所述视觉亮度响应信息包括:
确定预设配置关系,所述预设配置关系用于表征预设亮度信息与视觉亮度响应模型的对应关系;
获取所述拍摄环境的亮度信息;
基于所述预设配置关系以及所述亮度信息,确定与所述亮度信息对应的视觉亮度响应模型;
根据所述视觉亮度响应模型,确定所述视觉亮度响应信息。
5.根据权利要求3所述的图像处理方法,其特征在于,所述根据所述归一化光谱信息以及预设的相机光谱响应信息,确定相机白点坐标信息,包括:
根据所述归一化光谱信息以及预设的相机光谱响应信息,确定相机的三原色响应值,将所述相机的三原色响应值确定为所述相机白点坐标信息;
所述根据所述归一化光谱信息以及预设的视觉光谱响应信息,确定视觉白点坐标信息,包括:
根据所述归一化光谱信息以及预设的视觉光谱响应信息,确定三刺激值,将所述三刺激值确定为所述视觉白点坐标信息。
6.根据权利要求3所述的图像处理方法,其特征在于,所述根据所述视觉颜色信息和所述相机颜色信息,确定所述拍摄环境下的白平衡增益信息,包括:
获取预设的标定白点信息,所述预设的标定白点信息与所述相机白点坐标信息位于同一色域坐标系;
基于预设的标定白点信息对所述视觉白点坐标信息进行坐标转化,得到色域坐标系下的视觉白点坐标信息;
根据所述色域坐标系下的视觉白点坐标信息与所述相机白点坐标信息,确定所述白平衡增益。
7.根据权利要求3所述的图像处理方法,其特征在于,所述视觉亮度响应信息包括光谱光效率曲线。
8.根据权利要求1至7任一项所述的图像处理方法,其特征在于,所述图像处理方法还包括:
基于所述白平衡增益信息,对所述相机拍摄的第一图像信息进行白平衡补偿,得到相机色坐标系下的第二图像信息;
将相机色坐标系下的第二图像信息转化为视觉色坐标系下的第三图像信息;
基于所述第三图像信息,对颜色校正矩阵进行校正,得到第四图像信息。
9.根据权利要求8所述的图像处理方法,其特征在于,所述图像处理方法还包括:
将所述第四图像信息转化为标定色坐标下的第五图像信息并进行存储;和/或,
获取显示装置的光谱响应曲线;
基于所述显示装置的光谱响应曲线,确定所述显示装置的视觉白点信息;
基于所述显示装置的视觉白点信息和颜色校正矩阵以及所述第四图像信息,向所述显示装置输出显示信息,所述显示信息包括显示内容和显示亮度。
10.一种图像处理装置,其特征在于,所述图像处理装置包括:
第一确定模块,被配置为确定拍摄环境的光谱信息;
第二确定模块,被配置为基于所述光谱信息以及预设的视觉亮度响应信息,确定所述拍摄环境下的视觉颜色信息和相机颜色信息;
第三确定模块,被配置为根据所述视觉颜色信息和所述相机颜色信息,确定所述拍摄环境下的白平衡增益信息,所述白平衡增益信息用于校准所述相机的白平衡。
11.一种终端设备,其特征在于,包括:
处理器;
用于存储处理器的可执行指令的存储器;
其中,所述处理器被配置为执行如权利要求1至9任一项所述的图像处理方法。
12.一种非临时性计算机可读存储介质,其特征在于,当所述存储介质中的指令由终端设备的处理器执行时,使得终端设备能够执行如权利要求1至9任一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211303936.2A CN117979178A (zh) | 2022-10-24 | 2022-10-24 | 一种图像处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211303936.2A CN117979178A (zh) | 2022-10-24 | 2022-10-24 | 一种图像处理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117979178A true CN117979178A (zh) | 2024-05-03 |
Family
ID=90846579
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211303936.2A Pending CN117979178A (zh) | 2022-10-24 | 2022-10-24 | 一种图像处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117979178A (zh) |
-
2022
- 2022-10-24 CN CN202211303936.2A patent/CN117979178A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5786254B2 (ja) | 端末デバイス中の発光デバイスを制御するための方法と装置、ならびに端末デバイス | |
EP3888345B1 (en) | Method for generating image data for machine learning based imaging algorithms | |
CN111586300B (zh) | 颜色校正方法、装置及可读存储介质 | |
US20080158362A1 (en) | Digital camera calibration method | |
KR20000026693A (ko) | 칼라 영상 처리장치 및 방법 | |
JP2023538781A (ja) | ホワイトバランス補正方法、装置及び電子機器 | |
JP4692872B2 (ja) | 画像処理装置、及び、プログラム | |
CN111918047A (zh) | 拍照控制方法及装置、存储介质和电子设备 | |
CN117979178A (zh) | 一种图像处理方法、装置、设备及存储介质 | |
EP3993382A1 (en) | Colour calibration of an imaging device | |
CN112312122B (zh) | 摄像头保护膜的检测方法及装置 | |
JP6774788B2 (ja) | 色調整装置および色調整システム | |
CN115239550A (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
US11308846B2 (en) | Electronic devices with color compensation | |
US20240080568A1 (en) | Electronic Device and Method for Dynamically Adjusting Exposure Parameter of Spectral Sensor | |
JP6851082B2 (ja) | 多地点モニタの色共有化装置 | |
Nikkanen et al. | Subjective effects of white-balancing errors in digital photography | |
CN115190282B (zh) | 一种避免高色温下摄像头模组白平衡失真的方法 | |
US20240155254A1 (en) | Image Processing Method and Related Electronic Device | |
US11412161B2 (en) | Image processing method, image processing device, and information system | |
CN115514947B (zh) | 一种ai自动白平衡的算法和电子设备 | |
CN118264782A (zh) | 色温的确定方法及装置、电子设备及存储介质 | |
US20240071275A1 (en) | Calibration system for display apparatus and operating method thereof | |
CN116132784A (zh) | 图像处理方法、装置及存储介质 | |
CN112710383B (zh) | 光感传感器校准方法、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |