CN114697480A - 图像采集组件、设备、图像处理方法、设备及存储介质 - Google Patents
图像采集组件、设备、图像处理方法、设备及存储介质 Download PDFInfo
- Publication number
- CN114697480A CN114697480A CN202011617606.1A CN202011617606A CN114697480A CN 114697480 A CN114697480 A CN 114697480A CN 202011617606 A CN202011617606 A CN 202011617606A CN 114697480 A CN114697480 A CN 114697480A
- Authority
- CN
- China
- Prior art keywords
- wavelength
- light
- filter
- regions
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 32
- 238000003672 processing method Methods 0.000 title claims abstract description 13
- 238000001914 filtration Methods 0.000 claims abstract description 146
- 230000003287 optical effect Effects 0.000 claims abstract description 55
- 230000001502 supplementing effect Effects 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 19
- 238000003384 imaging method Methods 0.000 claims abstract description 18
- 239000003086 colorant Substances 0.000 claims description 10
- 230000007794 irritation Effects 0.000 abstract description 9
- 239000013589 supplement Substances 0.000 description 40
- 238000010586 diagram Methods 0.000 description 32
- 238000004891 communication Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000003491 array Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000005304 optical glass Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010022998 Irritability Diseases 0.000 description 1
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 235000019800 disodium phosphate Nutrition 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/201—Filters in the form of arrays
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B11/00—Filters or other obturators specially adapted for photographic purposes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本申请是关于一种图像采集组件、设备、图像处理方法、设备及存储介质。所述方法涉及图像处理领域。所述组件包括:补光器、镜头、滤光片阵列与传感器;该补光器用于发射第一光线;该镜头用于汇聚成像目标的反射光线,然后经滤光片阵列透射后成像在传感器上;该滤光片阵列包括至少一个滤光单元;滤光单元包含各种不同波长的滤光区域;该传感器包含与该滤光片阵列中各种不同波长的滤光区域对应的像素点。上述方案通过补光灯发射红光或者蓝光为主的第一光线,并且通过与该第一波长的光对应的滤镜阵列进行光的过滤,在减小补光对人眼刺激性的同时,保证了图像采集组件的采集到的图像信息的准确性。
Description
技术领域
本申请涉及图像处理领域,特别涉及一种图像采集组件、设备、图像处理方法、设备及存储介质。
背景技术
色彩滤镜是成像系统中的部件之一,设置在图像传感器前,用于允许特定颜色的光通过,并被图像传感器中的感光单元捕获,感光单元所测得的像素值就可以表征该特定颜色光强的大小,即颜色信息。
在相关技术中,在将呈网格分布的颜色强度信息转换为彩色图像时需要进行去马赛克运算,最后生成一幅彩色图像。成像环境中可见光的照度水平是影响彩色图像质量的主要因素之一,因此为了解决智能摄像机在夜晚低照条件的图像质量急剧下降问题,通常会采用额外的主动光源对成像环境进行补光,实现夜间全彩成像。
然而,相关技术中,通过白色补光会带来光污染等问题,白光补光灯会对人员造成视觉干扰。
发明内容
本申请实施例提供了一种图像采集组件、设备、图像处理方法、设备及存储介质,可以在减小光污染的前提下,保证图像的采集效果,该技术方案如下:
一方面,提供了一种图像采集组件,所述图像采集组件包括补光器、镜头、滤光片阵列与传感器;
所述补光器用于发射第一光线;所述第一光线中第一波长的光强大于其他波长的光强;所述第一波长是红光对应的波长或蓝光对应的波长;
所述镜头用于汇聚成像目标的反射光线,然后经所述滤光片阵列透射后成像在所述传感器上;
所述滤光片阵列包括至少一个滤光单元;所述滤光单元包含各种不同波长的滤光区域;所述各种不同波长的滤光区域包括所述第一波长的滤光区域、第二波长的滤光区域以及第三波长的滤光区域;所述第二波长和所述第三波长是三原色对应的波长中,除了所述第一波长之外的两种波长;所述第一波长的滤光区域的总面积大于所述第二波长的滤光区域的总面积,且所述第一波长的滤光区域的总面积大于所述第三波长的滤光区域的总面积;所述各种不同波长的滤光区域分别用于透射与所述各种不同波长的滤光区域对应波长的光线;
所述传感器包含与所述滤光片阵列中各种不同波长的滤光区域对应的像素点;所述像素点用于根据所述各种不同波长的滤光区域透射的光线强度,产生对应的光强信号;
其中,所述滤光片阵列位于所述第一光线对应的反射光线传输至该传感器的光路上。
在本申请实施例提供的方案中,补光灯发出的第一光线中,第一波长的光强大于其他波长的光强,且第一波长的光是蓝光或红光;镜头将该第一光线对应的反射光线汇聚至滤光阵列上进行滤光,传感器根据滤光后的光强得到光强信号,该滤光阵列中第一波长的滤光区域的面积最大,即该滤光阵列对该第一光线的过滤效率最高,该第一波长的光可以尽可能的透过该滤光阵列,保证图片的亮度,且由于该第一光线中光强最大的光是蓝光或红光,对人眼的刺激性较低,因此可以在降低对人眼刺激的同时,保证该滤光阵列过滤光线的光线强度。
在一种可能的实现方式中,所述各种不同波长的滤光区域的面积相同,且在所述滤光单元中互不相邻;所述第一波长的滤光区域的数量,大于所述第二波长的滤光区域的数量;且第一波长的滤光区域的数量,大于所述第三波长的滤光区域的数量。
在本申请实施例提供的方案中,各种不同波长的滤光区域的面积相同,且在滤光单元中互不相邻,且不同波长的滤光区域用于过滤不同波长的光线,传感器可以根据该不同波长的光线,获取各个不同波长的滤光区域对应的像素点的光强信息,并根据各个像素点获取的交错的不同光强的信息,通过去马赛克算法获取镜头捕捉到的真实的图像信息。
在一种可能的实现方式中,所述滤光单元中还包括第四波长的滤光区域;所述第四波长为白光对应的波长;或者,所述第四波长为红外光对应的波长。
在本申请实施例所示方案中,可以在滤光单元中增加白光或红外光对应的滤光区域,以便传感器可以获取白光与红外光的信息,提高图像的获取效果。
在一种可能的实现方式中,所述第一波长的滤光区域的相邻区域均为第四波长的滤光区域,所述第二波长的滤光区域的相邻区域均为第四波长的滤光区域,且所述第三波长的滤光区域的相邻区域均为第四波长的滤光区域。
在本申请实施例所示方案中,第四波长的滤光区域将该第一波长的滤光区域、第二波长的滤光区域与第三波长的滤光区域包围,即可以通过第四波长的滤光区域过滤的第四波长的光线获取图像的整体信息,再根据交错的第一波长的滤光区域、第二波长的滤光区域与第三波长的滤光区域确定图像的颜色信息,提高了图像的显示效果。
在一种可能的实现方式中,所述第四波长的滤光区域与两个所述第一波长的滤光区域相邻。
在本申请实施例所示方案中,第四波长滤光区域与两个第一波长的滤光区域相邻,且第一波长的滤光区域被第四波长的滤光区域包围,此时第四波长的滤光区域周围存在两个第一波长的滤光区域,一个第二波长的滤光区域与一个第三波长的滤光区域,即在保证图像显示亮度的同时,三原色对应的滤光区域面积更大,此时图像的色彩显示效果更好,色噪更低。
在一种可能的实现方式中,所述第四波长的滤光区域的相邻区域均为第一波长的滤光区域;所述第一波长的滤光区域与所述第二波长的滤光区域、所述第三波长的滤光区域、以及所述第四波长的滤光区域相邻。
在本申请实施例所示方案中,第四波长的滤光区域的相邻区域被第一波长的滤光区域包围,且第一波长的滤光区域的周围,存在一个第二波长的滤光区域、一个第二波长的滤光区域以及两个第四波长的滤光区域,此时由于第一波长的亮度最高,且此时滤光阵列中第一波长的滤光区域面积最大,传感器可以接受到最多的第一波长,保证了图像的显示效果,并且较大的第四波长的滤光区域,可以过滤第四波长的光线,提高了图像的亮度。
一方面,提供了一种图像采集设备,所述图像采集设备包括上述图像采集组件。
在一种可能的实现方式中,所述图像采集设备还包括图像处理器,所述图像处理器与所述图像采集设备的所述传感器电性相连。
又一方面,提供了一种图像处理方法,所述方法用于上述图像采集设备中,所述图像采集设备包括图像采集组件;
所述图像采集组件包括:补光器、镜头、滤光片阵列与传感器;所述补光器用于发射第一光线;所述第一光线中第一波长的光强大于其他波长的光强;所述第一波长是红光对应的波长或蓝光对应的波长;所述镜头用于汇聚成像目标的反射光线,然后经所述滤光片阵列透射后成像在所述传感器上;所述滤光片阵列包括至少一个滤光单元;所述滤光单元包含各种不同波长的滤光区域;所述各种不同波长的滤光区域包括所述第一波长的滤光区域、第二波长的滤光区域以及第三波长的滤光区域;所述第一波长的滤光区域的总面积大于所述第二波长的滤光区域的总面积,且所述第一波长的滤光区域的总面积大于所述第三波长的滤光区域的总面积;所述各种不同波长的滤光区域分别用于透射与所述各种不同波长的滤光区域对应波长的光线;所述传感器包含与所述滤光片阵列中各种不同波长的滤光区域对应的像素点;所述像素点用于根据所述各种不同波长的滤光区域透射的光线强度,产生对应的光强信号;其中,所述滤光片阵列位于所述第一光线对应的反射光线传输至所述传感器的光路上;
波长的滤光区域波长的滤光区域波长的滤光区域波长的滤光区域波长的滤光区域波长的滤光区域所述方法由所述图像采集组件中的图像处理器执行,所述方法包括:
获取所述传感器的各个像素点对应的光强信号;
根据所述传感器的各个像素点对应的光强信号,获取所述传感器的各个像素点对应的图像数据;所述图像数据包括所述第一波长对应的光强数据、第二波长对应的光强数据以及第三波长对应的光强数据;
基于所述图像数据,获取所述第一光线对应的图像。
又一方面,提供了一种图像处理装置,用于如上述图像采集设备中,所述图像采集设备包括图像采集组件;所述第一波长是红光对应的波长或蓝光对应的波长;
所述图像采集组件包括:补光器、镜头、滤光片阵列与传感器;所述补光器用于发射第一光线;所述第一光线中第一波长的光强大于其他波长的光强;所述第一波长是红光对应的波长或蓝光对应的波长;所述镜头用于汇聚成像目标的反射光线,然后经所述滤光片阵列透射后成像在所述传感器上;所述滤光片阵列包括至少一个滤光单元;所述滤光单元包含各种不同波长的滤光区域;所述各种不同波长的滤光区域包括所述第一波长的滤光区域、第二波长的滤光区域以及第三波长的滤光区域;所述第一波长的滤光区域的总面积大于所述第二波长的滤光区域的总面积,且所述第一波长的滤光区域的总面积大于所述第三波长的滤光区域的总面积;所述各种不同波长的滤光区域分别用于透射与所述各种不同波长的滤光区域对应波长的光线;所述传感器包含与所述滤光片阵列中各种不同波长的滤光区域对应的像素点;所述像素点用于根据所述各种不同波长的滤光区域透射的光线强度,产生对应的光强信号;其中,所述滤光片阵列位于所述第一光线对应的反射光线传输至所述传感器的光路上;
波长的滤光区域波长的滤光区域波长的滤光区域波长的滤光区域波长的滤光区域波长的滤光区域所述装置用于所述图像采集组件中的图像处理器,所述装置包括:
光强信号获取模块,用于获取所述传感器的各个像素点对应的光强信号;
图像数据获取模块,用于根据所述传感器的各个像素点对应的光强信号,获取所述传感器的各个像素点对应的图像数据;所述图像数据包括第一波长对应的光强数据、第二波长对应的光强数据以及第三波长对应的光强数据;
图像获取模块,用于基于所述图像数据,获取所述第一光线对应的图像。
又一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述图像处理方法。
再一方面,提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。处理器从计算机可读存储介质读取所述计算机指令,处理器执行该计算机指令,使得该终端执行上述图像处理方法。
本申请提供的技术方案可以包括以下有益效果:
通过补光灯发射第一波长的光为最高能量的光的第一光线,并将存在该第一波长对应的滤光区域是最大的滤光区域的滤光片阵列置于第一光线的反射光线与传感器的光路上,此时传感器获取到的光强信号是补光灯发射的第一光线透过该滤光片阵列的光对应的光强,且该第一波长是红光对应的波长或蓝光对应的波长。上述方案通过补光灯发射红光或者蓝光为主的第一光线,并且通过与该第一波长的光对应的滤镜阵列进行光的过滤,在减小补光对人眼刺激性的同时,保证了图像采集组件的采集到的图像信息的准确性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种图像采集组件的结构示意图;
图2是根据一示例性实施例示出的一种图像采集组件的结构示意图;
图3示出了图2所示实施例涉及的一种光能量与波长关系图;
图4示出了图2所示实施例涉及的一种蓝色补光对应的滤镜阵列示意图;
图5示出了图2所示实施例涉及的一种红色补光对应的滤镜阵列示意图;
图6示出了图2所示实施例涉及的一种第一波长补光下的滤镜阵列示意图;
图7示出了图2所示实施例涉及的一种第一波长补光下白光滤光区域的滤镜阵列示意图;
图8示出了图2所示实施例涉及的一种第一波长补光下白光滤光区域的滤镜阵列示意图;
图9示出了图2所示实施例涉及的一种第一波长补光下红外滤光区域的滤镜阵列示意图;
图10示出了本申请实施例涉及的一种色彩滤镜与传感器结构示意图;
图11示出了本申请实施例涉及的一种图像采集设备结构图;
图12是根据一示例性实施例示出的一种图像采集设备的结构示意图;
图13是根据一示例性实施例示出的一种图像处理方法的流程示意图;
图14是根据一示例性实施例示出的一种图像处理装置的结构方框图;
图15是示出了一示例性实施例提供的电子设备的示意性框图;
图16是示出了一示例性实施例提供的电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在对本申请所示的各个实施例进行说明之前,首先对本申请涉及到的几个概念进行介绍:
1)色彩滤镜阵列(CFA,color filter array)
数码相机上的每个象素都带有一个光感应器,用以测量光线的明亮程度。由于光电二极管是只支持单颜色的装置,它不能区别不同波长的光线。因此,数码相机工程师在相机感应器的上部装上了一套镶嵌式的颜色滤镜,一个颜色过滤排列装置,以便让感应器区分组成可见光的红、绿、蓝三种基本颜色。
2)图像处理(image processing)
图像处理用计算机对图像进行分析,以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组,该数组的元素称为像素,其值称为灰度值。图像处理技术一般包括图像压缩,增强和复原,匹配、描述和识别3个部分。图像处理通常包括图像变换、图像编码压缩、图像增强和复原、图像分隔、图像描述以及图像分类等方法。
3)去马赛克算法(demosaicing)
去马赛克是一种数位影像处理算法,目的是从覆有色彩滤镜阵列的感光元件所输出的不完全色彩取样中,重建出全彩影像。此法也称为滤色阵列内插法(CFAinterpolation)或色彩重建法(color reconstruction)。大多数现代数码相机使用单个覆上滤色阵列的感光元件来取得影像,所以去马赛克是影像处理管线(color imagepipeline)中一个必要环节,以将影像重建成一般可浏览的格式。许多数码相机也能够以原始图档储存影像,并允许使用者将之取出,并使用专业影像处理软件去马赛克,而不是使用相机内建的固件处理。
图1是根据一示例性实施例示出的一种图像采集组件的结构示意图。该设备包括:补光器110、滤光片阵列120、传感器130以及镜头140。
该补光器110用于发射第一光线;该第一光线中第一波长的光强大于其他波长的光强;该第一波长是红光对应的波长或蓝光对应的波长。
其中,该补光器110可以是补光灯,该补光灯用于向目标位置发射第一光线,且该第一光线中第一波长的光强大于其他波长的光强,即该补光灯向目标位置发射的第一光线中,第一波长分量的光的光强是最大的。
在一种可能的实现方式中,该第一波长的光指波长在第一指定范围内的光。例如当该第一波长是红光对应的波长时,红光波段为600nm至650nm(Nanometer,纳米),即该第一指定范围为600nm至650nm,因此该第一波长为红光对应的波长时,该第一光线中满足红光波段(即波长在600nm至650nm)的光的光强是最大的;当该第一波长是蓝色对应的波长时,蓝光波段为400nm至480nm,即该第一指定范围为400nm至480nm,此时第一光线中满足蓝色波段(即波长在400nm至480nm)的光的光强是最大的。
该滤光片阵列120包括至少一个滤光单元;该滤光单元包含各种不同波长的滤光区域;该各种不同波长的滤光区域包括该第一波长的滤光区域、第二波长的滤光区域以及第三波长的滤光区域;该第二波长和该第三波长是三原色对应的波长中,除了该第一波长之外的两种波长;该第一波长的滤光区域的总面积大于该第二波长的滤光区域的总面积,且该第一波长的滤光区域的总面积大于该第三波长的滤光区域的总面积;该各种不同波长的滤光区域分别用于透射与该各种不同波长的滤光区域对应波长的光线波长的滤光区域波长的滤光区域波长的滤光区域波长的滤光区域波长的滤光区域波长的滤光区域。
其中,该第一波长的滤光区域用于透射第一波长的光线;该第二波长的滤光区域用于透射第二波长的光线;该第三波长的滤光区域用于透射第三波长的光线。
在一种可能的实现方式中,该第二波长的光线是指在波长在第二指定范围内的光;该第三波长的光线是指波长在第三指定范围内的光。
其中,该第一波长的滤光区域的总面积大于该第二波长的滤光区域的总面积,且该第一波长的滤光区域的总面积大于该第三波长的滤光区域的总面积;该第一波长的滤光区域用于透射第一波长的光线,该第二波长的滤光区域用于透射第二波长的光线,该第三波长的区域用于透射第三波长的光线,即在该滤光单元的不同波长的滤光区域中,可以透射第一波长的光线的滤光区域的面积是最大的,因此由该滤光单元组成的滤光片阵列中,透射的光中第一波长的光线的透射效率是最高的。
该传感器130包含与该滤光片阵列中各个不同波长的滤光区域对应的像素点;该像素点用于根据各种不同波长的滤光区域透射的光线强度,产生对应的光强信号。
其中,该传感器130中包含与滤光片阵列中各个不同波长的滤光区域对应的像素点,即对于滤光片阵列中任意一个滤光单元对应的像素点组,该像素点组中具有与第一波长的滤光区域对应的像素点、与第二波长的滤光区域对应的像素点以及与第三波长的滤光区域对应的像素点;由于该第一波长的滤光区域用于透射第一波长的光线,该第二波长的滤光区域用于透射第二波长的光线,该第三波长的滤光区域用于透射第三波长的光线,即该第一波长的滤光区域对应的像素点产生的与第一光线对应的光强信号,是第一波长的光照射到该像素点产生的光强信号;该第二波长的滤光区域对应的像素点产生的与第一光线对应的光强信号,是第二波长的光照射到该像素点产生的光强信号;该第三波长的滤光区域对应的像素点产生的第三光线对应的光强信号,是第三波长的光照射到该像素点产生的光强信号。
因此,该传感器中各个像素点用于根据该像素点对应的滤光片阵列透射的单一波长的光线产生单一波长对应的光强信号,当该单一波长的光是可见光时,该像素点对应的单一波长的光强信号用于指示该像素点对应的波长的有色光的强度大小。其中,单一波长指的是在一个波长范围内的波长。
该滤光片阵列位于该第一光线对应的反射光线传输至该传感器的光路上。
在一种可能的实现方式中,该第一光线对应的反射光线,是补光灯向目标位置发射第一光线所产生的反射光线。即该传感器可以接收到该第一光线发射至目标位置反射出的反射光线,该滤光片阵列位于该第一光线对应的反射光线传输至该传感器的光路上,即该滤光片阵列可以用于将该第一光线对应的反射光线滤光,再将滤光后的光线透射至该传感器,使传感器根据滤光后的光强产生相应的光强信号。
在一种可能的实现方式中,该滤光片阵列还用于过滤外界光照射到目标区域并反射至该传感器的光线。
该传感器接收到的光线除了目标区域接收到第一光线对应的反射光线,还可以包括目标区域接收到外界的光线对应的反射光线,此时该传感器产生的光强信号可以是基于第一光线与外界光线产生的光强信号。即目标区域接收到外界光线以及第一光线后,产生与外界光线以及第一光线的反射光线,该反射光线在传感器方向上的分量通过该滤光片阵列进行滤光后,传输至该传感器,产生光强信号,此时该光强信号同时受到外界光线以及第一光线的影响。
该镜头140用于汇聚成像目标的反射光线,然后经滤光片阵列透射后成像在该传感器130上。
综上所述,在本申请实施例所示方案中,通过补光灯发射第一波长的光为最高能量的光的第一光线,并将存在该第一波长对应的滤光区域是最大的滤光区域的滤光片阵列置于第一光线的反射光线与传感器的光路上,即传感器获取到的光强信号是补光灯发射的第一光线透过该滤光片阵列的光对应的光强,且该第一波长是红光对应的波长或蓝光对应的波长。上述方案通过补光灯发射红光或者蓝光为主的第一光线,并且通过与该第一波长的光对应的滤镜阵列进行光的过滤,在减小补光对人眼刺激性的同时,保证了图像采集组件的采集到的图像信息的准确性。
图2是根据一示例性实施例示出的一种图像采集组件的结构示意图。该设备包括:补光器210、滤光片阵列220、传感器230以及镜头240。
该补光器210用于发射第一光线。
该第一光线中第一波长的光强大于其他波长的光强;该第一波长是红光对应的波长或蓝光对应的波长。
请参考图3,其示出了本申请实施例涉及的一种光能量与波长关系图。如图3所示,301为常用白光补光灯中发射的白光中红绿蓝能量的分布图。由于在图像处理领域,任意图像的颜色都可以被三原色(即红、绿、蓝三种颜色)通过不同比例的组合得到,因此此处只需要将白光简化为三种波长范围内的单色光。如301所示,在常用白光补光灯中,最左端曲线为蓝光对应的波长范围内的光强(即光能量),该范围内的光可以近似看做为蓝光,中间曲线为绿光对应的波长范围内的光强,该范围内的光可以近似看做绿光;最右侧曲线为红光对应的波长范围内的光强,该范围内的光可以近似看做红光;且该在常用的白光补光灯中,红光波长范围的光强、绿光范围内的光强以及蓝光范围内的光强大小近似相同。
当补光器(即补光灯)210中发射的第一光线中第一波长是蓝光对应的波长时,该补光灯发射的光能量与波长的关系如图3中302所示,最左端曲线,即蓝光对应的波长范围的光强顶点最高,且与坐标轴围成面积最大,即该蓝光能量最多;最右端曲线,即红光对应的波长范围的光强顶点小于蓝光对应的波长范围的光强顶点,且红光对应的曲线与坐标轴围成面积也小于蓝光曲线与坐标轴围成的面积;中间曲线,即绿光对应的波长范围的光强也小于蓝光对应的波长范围的光强顶点,且绿光对应的曲线与坐标轴围城面积也小于蓝光曲线与坐标轴围成的面积。
当补光器210中发射的第一光线中第一波长是红光对应的波长时,该补光灯发射的光能量的波长关系如图3中303所示,即红光能量最多,蓝光与绿光的能量均少于红光的能量。
在一种可能的实现方式中,该补光灯可以是将白色补光灯中绿光能量下调,且上调第一波长对应的光线的能量得到的。
例如,当该补光灯中第一波长是蓝光对应的波长时,该补光灯可以是将白光补光灯中绿光能量下调,上调蓝光能量,红光能量不变,此时该补光灯发出的第一光线中,蓝光能量大于红光能量,且红光能量大于绿光能量;当该补光灯中第一波长为红光对应的波长时,该补光灯可以是将白光补光灯中绿光能量下调,上调红光能量,蓝光能量不变,此时该补光灯中发出的第一光线中,红光能量大于蓝光能量,且蓝光能量大于绿光能量。
在一种可能的实现方式中,在当该第一波长是蓝光对应的波长时,绿光能量下降25%至75%,蓝光能量可增加50%至300%;当第一波长是红光对应的波长时,绿光能量下降25%至75%,红光能量可增加50%至300%。
由于绿色是人眼敏感度最高的颜色,即绿光对人眼的刺激性最大,因此为了减小补光灯对人眼刺激性的影响,应尽量减少绿光在第一波长中的能量大小。
该滤光片阵列220包括至少一个滤光单元;该滤光单元包含各种不同波长的滤光区域;该各种不同波长的滤光区域包括第一波长的滤光区域、第二波长的滤光区域以及第三波长的滤光区域;该第一波长的滤光区域的总面积大于该第二波长的滤光区域的总面积;且第一波长的滤光区域的总面积大于该第三波长的滤光区域的总面积;该各种不同波长的滤光区域用于透射与该各种不同波长的滤光区域对应波长的光线。
在一种可能的实现方式中,该各种不同波长的滤光区域包括红光滤光区域、绿光滤光区域以及蓝光滤光区域。当该第一波长为红光对应的波长时,该第一波长的滤光区域为红光滤光区域,此时该第二波长的滤光区域为绿光滤光区域,第三波长的滤光区域为蓝光滤光区域,或者该第二波长的滤光区域为蓝光滤光区域,该第三波长的滤光区域为绿光滤光区域;当该第一波长为蓝光对应的波长时,该第一波长的滤光区域为蓝光滤光区域,此时该第二波长的滤光区域为绿光滤光区域,第三波长的滤光区域为红光滤光区域,或者该第二波长的滤光区域为红光滤光区域,该第三波长的滤光区域为绿光滤光区域。
在一种可能的实现方式中,该滤光片阵列是由各种不同波长对应的单位滤光片按指定顺序排布形成的,该单位滤光片是该滤光片阵列中的最小滤光片。
在一种可能的实现方式中,该滤光单元是该由各种不同波长对应的单元滤光片按指定顺序排布形成的滤光片阵列中的最小可重复单元。
即该滤光片阵列由多个相同的滤光单元组成,每个滤光单元中,各个不同波长对应的单位滤光片的排列顺序一致;该滤光单元中某一波长对应的滤光区域包含至少一个单位滤光片。
在一种可能的实现方式中,该单位滤光片是矩形的滤光片,该滤光单元是由各种不同波长对应的矩形单元滤光片按指定顺序排布形成的矩形最小可重复单元,即该滤光片阵列是由多个矩形最小可重复单元组成的矩形阵列。
在一种可能的实现方式中,该滤光单元包括第一波长的滤光区域、第二波长的滤光区域以及第三波长的滤光区域,该第二波长的滤光区域与该第三波长的滤光区域面积相同,且该第一波长的滤光区域的面积等于该第二波长的滤光区域的面积与该第三波长的滤光区域的面积之和,且该第二波长的滤光区域与该第三波长的滤光区域不相邻。
其中,该滤光单元可以是由至少两个第一波长的滤光区域,至少一个第二波长的滤光区域以及至少一个第三波长的滤光区域组成,第一波长的滤光区域、第二波长的滤光区域以及第三波长的滤光区域面积相等,但在该滤光单元内,第一波长的滤光区域的数量大于第二波长的滤光区域的数量;且第一波长的滤光区域的数量大于第三波长的滤光区域的数量;因此该第一波长的滤光区域的总面积大于该第二波长的滤光区域的总面积;第一波长的滤光区域的总面积大于该第三波长的滤光区域的总面积。
此时由该第一波长的滤光区域、第二波长的滤光区域以及第三波长的滤光区域构成的最小可重复单元(即滤光单元),可以是2*2大小的最小可重复单元,即该最小可重复单元中包含四个单位滤光片,且该四个单位滤光片中,第一波长对应的单位滤光片在滤光单元中成对角分布,第二波长对应的单元滤光片与该第三波长对应的单元滤光片成对角分布,此时该滤光单元过滤的光线中,第一波长占50%、第二波长与第三波长占比都为25%。由于补光灯发出的第一光线中第一波长在所有波长的光中光强占比也最大,即该第一光线对应的反射光线中第一波长对应的光携带的信息最多,通过该滤光单元对应的单元滤光片进行光线过滤时,可以更多地保留该第一波长的光携带的信息,即通过补光灯,以及与该补光灯的第一光线对应的该滤镜阵列可以提取出更多的光携带的信息。
请参考图4,其示出了本申请实施例涉及的一种蓝色补光对应的滤镜阵列示意图。如图4所示,401至404示出了蓝色补光可能存在的四种滤镜阵列示意图,其中蓝色补光指示该补光灯的第一波长为蓝光对应的波长,因此在该401至404对应的四种可能存在的滤光单元方案中,蓝光滤光区域(B)的面积均占滤光单元面积的50%,而红光滤光区域(R)的面积以及绿光滤光区域(G)的面积均占滤光单元面积的25%,且该401至404四个子图中都存在各自对应的四个滤光单元,且该各个不同的滤光单元之间,可以通过交换排列顺序或旋转得到,因此该401至404对应的滤光单元组成的滤镜阵列实现的效果是相似的。即均可以通过交错排列的B、R以及G,获取传感器中像素对应的交错排列的不同波长的光强信息,且由于补光器中B过滤的光的波长与第一波长对应,因此保留最多的B以获取第一光线对应的反射光线中最多的信息,保证经过该滤光片后传感器得出的信号的真实性。
请参考图5,其示出了本申请实施例涉及的一种红色补光对应的滤镜阵列示意图。如图5所示,501至505示出了红色补光可能存在的四种滤镜阵列示意图,其中红色补光指示该补光灯的第一波长为红光对应的波长,因此在该501至504对应的四种可能存在的滤光单元方案中,红色滤光区域(R)的面积均占滤光单元面积的50%,而蓝光滤光区域(B)的面积以及绿光滤光区域(G)的面积均占滤光单元面积的25%,且该501至504四个子图中都存在各自对应的四个滤光单元,且该各个不同的滤光单元之间,可以通过交换排列顺序或旋转得到,因此该501至504对应的滤光单元组成的滤镜阵列实现的效果是相似的,且与图4对应的滤光单元组成的滤镜阵列实现的效果相似。
在一种可能的实现方式中,该各种不同波长的滤光区域的面积相同,且在该滤光单元中互不相邻;该第一波长的滤光区域的数量,大于该第二波长的滤光区域的数量;且第一波长的滤光区域的数量,大于该第三波长的滤光区域的数量。
当该第一波长的滤光区域、第二波长的滤光区域以及第三波长的滤光区域为单位滤光片时,此时由该第一波长的滤光区域、第二波长的滤光区域以及第三波长的滤光区域组成的滤光单元可以是图4或图5所示的滤光单元中的任意一种。
该第一波长的滤光区域、第二波长的滤光区域以及第三波长的滤光区域还可以是多个单位滤光片组成的滤光区域,请参考图6,其示出了本申请实施例涉及的一种第一波长补光下的滤镜阵列示意图。600是该第一波长的滤光区域在蓝色补光场景下的2*2蓝色滤光区域时对应的滤镜阵列示意图,600中存在四个滤光单元,对于其中的一个滤光单元601,滤光单元601中存在对角的两个2*2蓝光滤光区域(即第一波长的滤光区域),以及对角的2*2红光滤光区域和2*2绿光滤光区域;610是该第一波长的滤光区域在红色补光场景下的2*2红光滤光区域时对应的滤镜阵列示意图,610中存在四个滤光单元,对于其中的一个滤光单元611,滤光单元601中存在对角的两个2*2红光滤光区域(即第一波长的滤光区域),以及对角的2*2蓝光滤光区域和2*2绿光滤光区域。
此时,该滤光单元通过4个单位滤光片作为一个单元,确定其中一种波长的光的光强。例如,当该滤光单元中的4个R单位滤光片(即一个单元)对应的像素产生与该4个R单位滤光片对应的四个红光光强时,由于该四个红光滤光片是相邻的滤光片,通常差值较小,因此可以将该四个红色滤光片对应的像素产生的光强进行平均,再赋值于该四个红色滤光片对应的像素点上。即可以通过求平均值的方式,将四个像素点对应的光强通过一个像素值进行替代,在降低滤光片的精度的同时,也减少了滤光片所对应的像素点产生的光强数据,可以减轻处理器的负担。
在一种可能的实现方式中,该滤光单元中还包括第四波长的滤光区域;该第四波长为白光对应的波长;或者该第四波长为红外光对应的波长。
其中,滤光单元中还可以通过设置第四波长的滤光区域,以获取通过三原色对应的滤光区域无法获取的图像信息。
当该第四波长为白光对应的波长时,即该第四波长的范围为全部波长,该第四波长的滤光区域用于透射所有波长的光;此时所有波长的光理论上可以获得该图像最真实的信息,但由于该白光滤光区域的加入,会影响原来第一波长的滤光区域、第二波长的滤光区域、第三波长的滤光区域获取到的第一波长、第二波长以及第三波长的光,通过三原色原理组成的图像颜色,提高该图像中色彩的噪声,从而降低该色彩的显示,因此该白色滤光区域在滤光单元中所占比例同样不能太高。
当第四波长为红外光对应的波长时,即该第四波长的范围为红外光,此时该第一波长的滤光区域用于透射红外波长的光;由于红外光属于不可见光,没有对应的颜色,因此该红外光对应的数据只能指示亮度信息,当红外滤光区域较多时,三原色滤光区域较少,其色彩显示的准确性同样也会下降,因此该红外滤光区域在该滤光单元中占比例也不能太高。
在一种可能的实现方式中,该第一波长的滤光区域的相邻区域均为第四波长的滤光区域,该第二波长的滤光区域的相邻区域均为第四波长的滤光区域,且该第三波长的滤光区域的相邻区域均为第四波长的滤光区域。
请参考图7,其示出了本申请实施例涉及的一种第一波长补光下白光滤光区域的滤镜阵列示意图。如图7所示,当第一波长为蓝光对应的波长时,701为一个滤光单元,在701中,R、G、B相邻的区域均为白色滤光区域。R、G、B对应的像素获取的光强为R、G、B光在R、G、B对应的像素的位置的大小;而W(即一个白色滤光片或白色滤光区域)对应的像素获取的光强为全色光对应的光强。由于该701中白色滤光区域较大,且该白色滤光区域获取到的是全色光对应的光强,因此根据该滤光单元701组成的滤镜阵列对应的传感器获取到的光强信息较大,但由于其W单元较多,RGB调节颜色的能力较低,该传感器得到的图像数据对应的图像亮度较高,但颜色显示效果较差(色噪较大)。
同理,702为第一波长为红光对应的波长时的一个滤光单元,702与701性质相似,此处不再赘述。
其中,图7所示的滤光单元中W单元还可以换成IR(红外滤光区域),交换之后的滤镜阵列的性质会随IR滤光区域的性质而变化。
在一种可能的实现方式中,该第四波长的滤光区域与两个该第一波长的滤光区域相邻。
请参考图8,其示出了本申请实施例涉及的一种第一波长补光下白光滤光区域的滤镜阵列示意图。如图8所示,801为第一波长为蓝光对应的波长时的一个滤光单元,在该滤光单元中,至少有两个相同波长的滤光区域呈对角线连接,且,白光滤光区域的面积是蓝光滤光区域的两倍,且蓝光滤光区域的面积是红光滤光区域与绿光滤光区域的两倍,在801所示的滤镜阵列中,白光滤光区域W的面积比例小于图7所示的滤镜阵列中的白光滤光区域的面积占比,因此,对于相同的反射光线,801对应的滤镜阵列对应的传感器产生的光强较小,但色彩显示效果较好(色噪较小)。同理,802为第一波长为红光时对应的波长时的一个滤镜阵列,802与801性质相同,此处不再赘述。且图8所示的滤光单元中W白色滤光区域同样可以换成IR红外滤光区域,交换之后的滤镜阵列的性质会随IR滤光区域的性质而变化。
在一种可能的实现方式中,该第四波长的滤光区域的相邻区域均为第一波长的滤光区域;该第一波长的滤光区域与该第二波长的滤光区域、该第三波长的滤光区域、以及该第四波长的滤光区域相邻。
请参考图9,其示出了本申请实施例涉及的一种第一波长补光下红外滤光区域的滤镜阵列示意图。如图9所示,901为第一波长为蓝光对应的波长时的一个滤光单元,在该滤光单元中,IR红外滤光区域(第四波长的滤光区域)与四个第一波长的滤光区域相邻(即蓝光滤光区域的蓝色单位滤光片),且该与IR成一条对角线上的滤光区域是相同波长对应的滤光区域,此时,该红外滤光区域在该滤光单元中所占比重最小,由于IR光的分量通常较小,因此IR滤光区域对应的光强也较低,IR滤光区域对应的像素点产生的信号也较小,因此IR越多的滤镜阵列越暗,而图9所示的滤镜阵列中,IR分量占1/6,因此通过该阵列获取的图像亮度值下降不多,且该IR滤光区域透射的红外线,通常是人体图像数据,根据该红外线照射到传感器上产生的数据,可以较清晰的获取人体信息,因此该滤镜阵列可以用于检测行人信息等需要与人交互的场景中。同理,902为第一波长为红光时对应的波长时的一个滤镜阵列,902与901性质相同,此处不再赘述。且图8所示的滤光单元中IR红外滤光区域同样可以换成白色滤光区域,交换之后的滤镜阵列的性质会随白色滤光区域的性质而变化。
该传感器230包含与该滤光片阵列中各个不同波长的滤光区域对应的像素点;该像素点用于根据各种不同波长的滤光区域透射的光线强度,产生对应的光强信号。
该传感器230包含该滤光片阵列中各个不同波长的滤光区域对应的像素点,即该传感器中,各个像素点会根据各个不同波长的滤光区域得到各个不同波长的光对应的光强数据,即各个像素点得到的光强数据,都是一种波长的光对应的数据。其中,该滤光片阵列位于该第一光线对应的反射光线传输至该传感器的光路上。
请参考图10,其示出了本申请实施例涉及的一种色彩滤镜与传感器结构示意图。如图10所示,入射白光可以分为红色光、绿色光、蓝色光三种分量的光,1001为红光滤镜阵列、1002为绿光滤镜阵列、1003为蓝光滤镜阵列,当入射光通过该红光滤镜阵列1001后,只保留红色光,并传递至感光单元(即传感器);当入射光通过该绿光滤镜阵列1002后,只保留绿色光,并传递至感光单元;当入射光通过该蓝光滤镜阵列1003后,只保留蓝色光,并传递至感光单元。
在一种可能的实现方式中,可以根据该各个像素点得到的光强数据,通过去马赛克算法,获取该各个像素点对应的各个波长的光的强度值。
采用创新的蓝光增强型或红光增强型色彩滤镜阵列,并结合以蓝光波段能量作为主导或红光波段能量作为主导的新型白光补光方案,以实现摄像机在夜间低照场景下高质量全彩成像。
请参考图11,其示出了本申请实施例涉及的一种图像采集设备结构图。如图11所示,在蓝光波段为主的白光补光中,搭配使用的是蓝光增强型图像传感器1101,其特点为覆盖在传感器感光前表面的色彩滤镜阵列中蓝色像素在所有色彩像素中占比最高。在红光波段为主的白光补光中,搭配使用的是红光增强型图像传感器1102,其特点为覆盖在传感器感光前表面的色彩滤镜阵列中红色像素在所有色彩像素中占比最高。色彩像素为色彩滤镜与感光单元的组合,色彩滤镜覆盖在图像感光单元的入光面。通常的白光补光中红绿蓝能量分布是比较均衡的,但在本申请适用的补光方案中,为降低补光对人眼的刺激感,会降低补光中的绿色波段能量,适当提高蓝色波段或红色波段能量。该补光灯的可见光波段覆盖400~650nm,其中400~480nm为蓝光波段,500~570nm为绿光波段,600~650nm为红光波段。在白光补光基础上,蓝光补光方案中绿光能量下降25%~75%,蓝光能量可增加50%~300%;红光补光方案中绿光能量下降25%~75%,红光能量可增加50%~150%。
镜头240用于汇聚成像目标的反射光线,然后经滤光片阵列透射后成像在传感器上。
其中,成像目标是该补光灯发射第一光线对应的目标,该成像目标的反射光线中包括该第一光线照射到该成像目标后的反射光线,还包括外界光线照射到该成像目标后的反射光线。
在一种可能的实现方式中,镜头240包含镜头前的光圈以及光学镜头组合,主要用于采集来自被摄对象的光线。光学镜头组合通常是由一块或者多块光学玻璃(或者塑料)组成的透镜组,可以由凹透镜、凸透镜、M型透镜等透镜或者透镜的组合组成。
综上所述,在本申请实施例所示方案中,通过补光灯发射第一波长的光为最高能量的光的第一光线,并将存在该第一波长对应的滤光区域是最大的滤光区域的滤光片阵列置于第一光线的反射光线与传感器的光路上,即传感器获取到的光强信号是补光灯发射的第一光线透过该滤光片阵列的光对应的光强,且该第一波长是红光对应的波长或蓝光对应的波长。上述方案通过补光灯发射红光或者蓝光为主的第一光线,并且通过与该第一波长的光对应的滤镜阵列进行光的过滤,在减小补光对人眼刺激性的同时,保证了图像采集组件的采集到的图像信息的准确性。
图12是根据一示例性实施例示出的一种图像采集设备的结构示意图。如图12所示,该图像采集设备包括如图1或图2所示的图像采集组件;
该图像采集组件包括补光器1201、滤光片阵列1202以及传感器1203,该图像采集设备还包括图像信号处理器1204,该图像信号处理器与该图像采集设备的传感器电性相连。
该色彩滤镜阵列由多个色彩滤光片以最小可重复单元周期性排列构成矩形阵列。色彩滤镜阵列覆盖在传感器感光前表面,组成图像传感器应用于图像采集设备。该色彩滤镜阵列可以是图2所示实施例中的任意一种滤镜阵列。
该的图像传感器需搭配补光器1201使用,该补光器(即补光灯),可以包括在图像采集设备内,也可以在图像采集设备之外独立配置。补光灯在环境亮度不足时为待目标位置提供额外的照明。该补光灯为蓝光能量为主的可见光补光:在白光补光基础上,蓝光补光方案中绿光能量下降25%~75%,蓝光能量可增加50%~300%。
在一种可能的实现方式中,该图像采集设备还包括摄像模组1205与编码器1206。
摄像模组1205包括了镜头模组、图像传感器、以及集成在图像传感器上的增益控制电路。镜头模组1207包括了镜头前的光圈以及光学镜头组合,主要用于采集来自被摄对象的光线。光学镜头组合通常是由一块或者多块光学玻璃(或者塑料)组成的透镜组,可以由凹透镜、凸透镜、M型透镜等透镜或者透镜的组合组成。图像传感器,可以为电荷耦合元件(charge-coupled device,CCD)构成的CCD图像传感器,也可以为互补金属氧化物半导体(complementary metal oxide semiconductor,CMOS)构成的CMOS图像传感器,或可以为接触式图像传感器(contact image sensor,CIS)构成的CIS图像传感器等。图像传感器主要用于接收摄像模组传递过来的光信号,将光信号转变为电信号,进行光电转换。增益控制电路一般集成在图像传感器中,主要用于对图像传感器输出信号进行放大处理。
图像信号处理器(即图像处理器)1204(ISP)是一种特殊的数字信号处理器(digital signal processor,DSP),它的主要作用是对前端图像传感器输出的信号做后期处理。不同的ISP用来匹配不同厂商的图像传感器。ISP的优异在整个摄像机产品中很重要,它可以直接影响呈现给用户的画质的优劣。ISP与前面的摄像模组有专门的电路进行连接,可以控制摄像模组13采用不同的摄像参数,即用于实现我们常常提及的2A控制(automaticwhite balance/automatic exposure,自动白平衡/自动曝光)或者3A控制(automaticwhite balance/automatic exposure/automatic focus,自动白平衡/自动曝光/自动聚焦)。
编码器1206主要用于对信号数据按照标准格式进行压缩编码,方便视频信号的传输。
图13是根据一示例性实施例示出的一种图像处理方法的流程示意图。该方法可以由电子设备执行,其中,该终端可以是上述图11所示的实施例中的图像采集设备。如图13所示,该图像处理方法可以包括如下步骤:
步骤1301,获取该传感器的各个像素点对应的光强信号。
当传感器获取到通过该滤镜阵列的反射光,根据该反射光照射到该传感器上各个像素点的信号,获取与该反射光对应的各个像素点的光强信号。
该滤镜阵列中各个单位滤光片对应该传感器的一个像素点,因此该传感器的各个像素点都会根据一个波长的光产生与该波长的光对应的光强信号。
步骤1302,根据该传感器的各个像素点对应的光强信号,获取该传感器的各个像素点对应的图像数据;该图像数据包括第一波长对应的光强数据、第二波长对应的光强数据以及第三波长对应的光强数据。
该传感器的各个像素点是与滤光片阵列中第一波长的滤光区域、第二波长的滤光区域以及第三波长的滤光区域对应的像素点,因此该传感器中与第一波长的滤光区域对应的像素点会产生第一波长对应的光强信号,该传感器中与第二波长的滤光区域对应的像素点会产生第二波长对应的光强信号,该传感器中与第三波长的滤光区域对应的像素点会产生第三波长对应的光强信号。
在一种可能的实现方式中,根据该传感器的各个像素点对应的光强信号,通过去马赛克算法,获取该各个像素点对应的图像数据。
即可以通过去马赛克算法(如线性插值)的方法,通过各个像素点对应的光强信号以及各个像素点对应的滤光片阵列的滤光区域,确定各个像素点对应的各种不同波长的光强数据。
例如,当第一波长是红光对应的波长、第二波长是绿光对应的波长、第三波长是蓝光对应的波长时,可以通过两个最近的红光滤光区域对应的像素产生的光强值,确定该两个红光滤光区域之间的其他滤光区域的对应红色光的光强数据;再通过两个最近的绿光滤光区域对应的像素产生的光强值,确定两个绿光滤光区域之间的其他滤光区域的对应绿色光的光强数据;再通过两个最近的蓝光滤光区域对应的像素产生的光强值,确定两个蓝光滤光区域之间的其他滤光区域的对应蓝色光的光强数据,最后可以得到每个像素点上,红色光、绿色光以及蓝色光对应的光强数据。
步骤1303,基于该图像数据,获取该第一光线对应的图像。
根据该各个像素点上的各个波长的光的光强数据,通过编码等方式,获取该第一钢线对应的图像并显示于显示设备上。
综上所述,在本申请实施例所示方案中,通过补光灯发射第一波长的光为最高能量的光的第一光线,并将存在该第一波长对应的滤光区域是最大的滤光区域的滤光片阵列置于第一光线的反射光线与传感器的光路上,即传感器获取到的光强信号是补光灯发射的第一光线透过该滤光片阵列的光对应的光强,且该第一波长是红光对应的波长或蓝光对应的波长。上述方案通过补光灯发射红光或者蓝光为主的第一光线,并且通过与该第一波长的光对应的滤镜阵列进行光的过滤,在减小补光对人眼刺激性的同时,保证了图像采集组件的采集到的图像信息的准确性。
图14是根据一示例性实施例示出的一种图像处理装置的结构方框图。该图像处理装置可以实现图13所示实施例提供的方法中的全部或者部分步骤。该图像处理装置可以包括:
光强信号获取模块1401,用于获取所述传感器的各个像素点对应的光强信号;
图像数据获取模块1402,用于根据所述传感器的各个像素点对应的光强信号,获取所述传感器的各个像素点对应的图像数据;所述图像数据包括第一波长对应的光强数据、第二波长对应的光强数据以及第三波长对应的光强数据;
图像获取模块1403,用于基于所述图像数据,获取所述第一光线对应的图像。
综上所述,在本申请实施例所示方案中,通过补光灯发射第一波长的光为最高能量的光的第一光线,并将存在该第一波长对应的滤光区域是最大的滤光区域的滤光片阵列置于第一光线的反射光线与传感器的光路上,即传感器获取到的光强信号是补光灯发射的第一光线透过该滤光片阵列的光对应的光强,且该第一波长是红光对应的波长或蓝光对应的波长。上述方案通过补光灯发射红光或者蓝光为主的第一光线,并且通过与该第一波长的光对应的滤镜阵列进行光的过滤,在减小补光对人眼刺激性的同时,保证了图像采集组件的采集到的图像信息的准确性。
可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块(或单元)。结合本申请中所公开的实施例描述的各示例的单元及算法步骤,本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能,但是这种实现不应认为超出本申请实施例的技术方案的范围。
本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
在采用集成的单元的情况下,图15示出了上述实施例中所涉及的电子设备的一种可能的结构示意图。电子设备1500包括:处理单元1502和通信单元1503。处理单元1502用于对电子设备1500的动作进行控制管理。例如,当电子设备1500为用户终端时,图13中所示实施例中的步骤1301至步骤1303,和/或用于执行本文所描述的技术的其它步骤。电子设备1500还可以包括存储单元1501,用于存储电子设备1500的程序代码和数据。
其中,处理单元1502可以是处理器或控制器,例如可以是中央处理器(centralprocessing unit,CPU),通用处理器,数字信号处理器(digital signal processor,DSP),专用集成电路(application-specific Integrated circuit,ASIC),现场可编程门阵列(field programmable gate array,FPGA)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,DSP和微处理器的组合等等。通信单元1503可以是通信接口、收发器、收发电路等,其中,通信接口是统称,可以包括一个或多个接口。存储单元1501可以是存储器。
当处理单元1502为处理器,通信单元1503为通信接口,存储单元1501为存储器时,本申请实施例所涉及的电子设备可以为图16所示的电子设备。
参阅图16所示,该电子设备1610包括:处理器1612、通信接口1613、存储器1611。可选地,电子设备1610还可以包括总线1614。其中,通信接口1613、处理器1612以及存储器1611可以通过总线1614相互连接;总线1614可以是外设部件互连标准(peripheralcomponent interconnect,简称PCI)总线或扩展工业标准结构(extended industrystandard architecture,简称EISA)总线等。所述总线1614可以分为地址总线、数据总线、控制总线等。为便于表示,图16中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
结合本申请实施例公开内容所描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块(或单元)组成,软件模块(或单元)可以被存放于随机存取存储器(random access memory,RAM)、闪存、只读存储器(read only memory,ROM)、可擦除可编程只读存储器(erasableprogrammable ROM,EPROM)、电可擦可编程只读存储器(electrically EPROM,EEPROM)、寄存器、硬盘、移动硬盘、只读光盘(CD-ROM)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于电子设备中。当然,处理器和存储介质也可以作为分立组件存在于电子设备中。
本申请还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。电子设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该电子设备执行上述图像处理方法。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本申请实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述的具体实施方式,对本申请实施例的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本申请实施例的具体实施方式而已,并不用于限定本申请实施例的保护范围,凡在本申请实施例的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本申请实施例的保护范围之内。
Claims (11)
1.一种图像采集组件,其特征在于,所述图像采集组件包括补光器、镜头、滤光片阵列与传感器;
所述补光器用于发射第一光线;所述第一光线中第一波长的光强大于其他波长的光强;所述第一波长是红光对应的波长或蓝光对应的波长;
所述镜头用于汇聚成像目标的反射光线,然后经所述滤光片阵列透射后成像在所述传感器上;
所述滤光片阵列包括至少一个滤光单元;所述滤光单元包含各种不同波长的滤光区域;所述各种不同波长的滤光区域包括所述第一波长的滤光区域、第二波长的滤光区域以及第三波长的滤光区域;所述第二波长和所述第三波长是三原色对应的波长中,除了所述第一波长之外的两种波长;所述第一波长的滤光区域的总面积大于所述第二波长的滤光区域的总面积,且所述第一波长的滤光区域的总面积大于所述第三波长的滤光区域的总面积;所述各种不同波长的滤光区域分别用于透射与所述各种不同波长的滤光区域对应波长的光线;
所述传感器包含与所述滤光片阵列中各种不同波长的滤光区域对应的像素点;所述像素点用于根据所述各种不同波长的滤光区域透射的光线强度,产生对应的光强信号;
其中,所述滤光片阵列位于所述第一光线对应的反射光线传输至所述传感器的光路上。
2.根据权利要求1所述的图像采集组件,其特征在于,所述各种不同波长的滤光区域的面积相同,且在所述滤光单元中互不相邻;所述第一波长的滤光区域的数量,大于所述第二波长的滤光区域的数量;且第一波长的滤光区域的数量,大于所述第三波长的滤光区域的数量。
3.根据权利要求2所述的图像采集组件,其特征在于,所述滤光单元中还包括第四波长的滤光区域;所述第四波长为白光对应的波长;或者,所述第四波长为红外光对应的波长。
4.根据权利要求3所述的图像采集组件,其特征在于,所述第一波长的滤光区域的相邻区域均为第四波长的滤光区域,所述第二波长的滤光区域的相邻区域均为第四波长的滤光区域,且所述第三波长的滤光区域的相邻区域均为第四波长的滤光区域。
5.根据权利要求4所述的图像采集组件,其特征在于,所述第四波长的滤光区域与两个所述第一波长的滤光区域相邻。
6.根据权利要求3所述的图像采集组件,其特征在于,所述第四波长的滤光区域的相邻区域均为第一波长的滤光区域;所述第一波长的滤光区域与所述第二波长的滤光区域、所述第三波长的滤光区域、以及所述第四波长的滤光区域相邻。
7.一种图像采集设备,其特征在于,所述图像采集设备包括如权利要求1至6任一所述的图像采集组件。
8.根据权利要求7所述的图像采集设备,其特征在于,所述图像采集设备还包括图像处理器,所述图像处理器与所述图像采集设备的所述传感器电性相连。
9.一种图像处理方法,其特征在于,所述方法用于如上述权利要求8所示的图像采集设备中,所述图像采集设备包括图像采集组件;
所述图像采集组件包括:补光器、镜头、滤光片阵列与传感器;所述补光器用于发射第一光线;所述第一光线中第一波长的光强大于其他波长的光强;所述第一波长是红光对应的波长或蓝光对应的波长;所述镜头用于汇聚成像目标的反射光线,然后经所述滤光片阵列透射后成像在所述传感器上;所述滤光片阵列包括至少一个滤光单元;所述滤光单元包含各种不同波长的滤光区域;所述各种不同波长的滤光区域包括所述第一波长的滤光区域、第二波长的滤光区域以及第三波长的滤光区域;所述第一波长的滤光区域的总面积大于所述第二波长的滤光区域的总面积,且所述第一波长的滤光区域的总面积大于所述第三波长的滤光区域的总面积;波长的滤光区域波长的滤光区域波长的滤光区域所述各种不同波长的滤光区域分别用于透射与所述各种不同波长的滤光区域对应波长的光线;所述传感器包含与所述滤光片阵列中各种不同波长的滤光区域对应的像素点;所述像素点用于根据所述各种不同波长的滤光区域透射的光线强度,产生对应的光强信号;其中,所述滤光片阵列位于所述第一光线对应的反射光线传输至所述传感器的光路上;
所述方法由所述图像采集组件中的图像处理器执行,所述方法包括:
获取所述传感器的各个像素点对应的光强信号;
根据所述传感器的各个像素点对应的光强信号,获取所述传感器的各个像素点对应的图像数据;所述图像数据包括所述第一波长对应的光强数据、第二波长对应的光强数据以及第三波长对应的光强数据;
基于所述图像数据,获取所述第一光线对应的图像。
10.一种图像处理装置,其特征在于,用于如上述权利要求8所示的图像采集设备中,所述图像采集设备包括图像采集组件;
所述图像采集组件包括:补光器、镜头、滤光片阵列与传感器;所述补光器用于发射第一光线;所述第一光线中第一波长的光强大于其他波长的光强;所述第一波长是红光对应的波长或蓝光对应的波长;所述镜头用于汇聚成像目标的反射光线,然后经所述滤光片阵列透射后成像在所述传感器上;所述滤光片阵列包括至少一个滤光单元;所述滤光单元包含各种不同波长的滤光区域;所述各种不同波长的滤光区域包括所述第一波长的滤光区域、第二波长的滤光区域以及第三波长的滤光区域;所述第一波长的滤光区域的总面积大于所述第二波长的滤光区域的总面积,且所述第一波长的滤光区域的总面积大于所述第三波长的滤光区域的总面积;所述各种不同波长的滤光区域分别用于透射与所述各种不同波长的滤光区域对应波长的光线;所述传感器包含与所述滤光片阵列中各种不同波长的滤光区域对应的像素点;所述像素点用于根据所述各种不同波长的滤光区域透射的光线强度,产生对应的光强信号;其中,所述滤光片阵列位于所述第一光线对应的反射光线传输至所述传感器的光路上;
波长的滤光区域波长的滤光区域波长的滤光区域波长的滤光区域波长的滤光区域波长的滤光区域所述装置用于所述图像采集组件中的图像处理器,所述装置包括:
光强信号获取模块,用于获取所述传感器的各个像素点对应的光强信号;
图像数据获取模块,用于根据所述传感器的各个像素点对应的光强信号,获取所述传感器的各个像素点对应的图像数据;所述图像数据包括第一波长对应的光强数据、第二波长对应的光强数据以及第三波长对应的光强数据;
图像获取模块,用于基于所述图像数据,获取所述第一光线对应的图像。
11.一种计算机可读存储介质,其特征在于,所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集,所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求9所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011617606.1A CN114697480A (zh) | 2020-12-31 | 2020-12-31 | 图像采集组件、设备、图像处理方法、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011617606.1A CN114697480A (zh) | 2020-12-31 | 2020-12-31 | 图像采集组件、设备、图像处理方法、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114697480A true CN114697480A (zh) | 2022-07-01 |
Family
ID=82135092
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011617606.1A Pending CN114697480A (zh) | 2020-12-31 | 2020-12-31 | 图像采集组件、设备、图像处理方法、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114697480A (zh) |
-
2020
- 2020-12-31 CN CN202011617606.1A patent/CN114697480A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11070773B2 (en) | Systems and methods for creating full-color image in low light | |
CN213279832U (zh) | 图像传感器、相机和终端 | |
JP4118916B2 (ja) | マルチスペクトル画像撮影装置 | |
US7855786B2 (en) | Single camera multi-spectral imager | |
KR101655742B1 (ko) | 다중 조리개 촬영용 플래시 시스템 | |
CN110490041B (zh) | 人脸图像采集装置及方法 | |
CN104301635B (zh) | 产生数字图像的方法及成像系统 | |
CN102892008B (zh) | 双图像捕获处理 | |
CN102783135B (zh) | 利用低分辨率图像提供高分辨率图像的方法和装置 | |
JP4633129B2 (ja) | マルチスペクトル画像撮影装置 | |
EP2367359A2 (en) | Image sensor including color and infrared pixels | |
CN112118378A (zh) | 图像获取方法及装置、终端和计算机可读存储介质 | |
US20220174245A1 (en) | Systems and methods for creating a full-color image in low light | |
CN101878653A (zh) | 用于实现来自彩色镶嵌成像器的全色响应的方法及设备 | |
US20030063185A1 (en) | Three-dimensional imaging with complementary color filter arrays | |
CN113711584B (zh) | 一种摄像装置 | |
CN107820066A (zh) | 一种低照度彩色摄像机 | |
CN110490044B (zh) | 人脸建模设备和人脸建模方法 | |
CN111131798B (zh) | 图像处理方法、图像处理装置以及摄像装置 | |
CN113540138B (zh) | 一种多光谱图像传感器及其成像模块 | |
CN100405391C (zh) | 一种活体指掌纹采集方法 | |
CN101610355B (zh) | 日夜两用摄像装置 | |
JP5464982B2 (ja) | 撮像装置および画像処理方法 | |
CN114697480A (zh) | 图像采集组件、设备、图像处理方法、设备及存储介质 | |
CN113728618A (zh) | 一种摄像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |