CN103220534B - 图像撷取装置与方法 - Google Patents
图像撷取装置与方法 Download PDFInfo
- Publication number
- CN103220534B CN103220534B CN201310014557.6A CN201310014557A CN103220534B CN 103220534 B CN103220534 B CN 103220534B CN 201310014557 A CN201310014557 A CN 201310014557A CN 103220534 B CN103220534 B CN 103220534B
- Authority
- CN
- China
- Prior art keywords
- image
- infrared light
- picture
- light
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
提供一种图像撷取装置与方法。图像撷取装置包括图像感测器以及处理器。图像感测器包括彩色滤波器阵列以及感测芯片。彩色滤波器阵列具有允许可见光及红外光通过的第一区域以及允许红外光通过的第二区域。感测芯片通过彩色滤波器阵列获取目标图像。其中目标图像包括对应第一区域的复合图像,以及对应第二区域的第一组红外光图像,其中复合图像包括第二组红外光图像,且第二组红外光图像与第一组红外光图像线性相关。处理器通过使用第一组红外光图像来调整复合图像中的第二组红外光图像的比重,以产生处理图像。
Description
技术领域
本发明是有关于一种图像撷取装置与方法,且特别是有关于一种具有可调整红外光(Infrared,IR)图像信号含量多寡的图像撷取装置与方法。
背景技术
近年来数字相机的发展十分快速,使得数字相机在日常生活中,已经成了不可或缺的必需品,因此提升图像质量一直以来皆为相当重要的课题。简单来说,摄影是利用光线照在物体上反射后经过数字相机的镜头,之后再于数字相机内部做进一步地图像处理。然而,光线除了包括可见光外,还包括红外光(Infrared,IR)、紫外光等不可见光。现有技术多采用光学滤光片来滤除红外光或调整进入数字相机内部的光线。
图1绘示为现有一种数字相机的图像感测器接收光线及其彩色滤波器阵列的示意图。请参照图1,图像感测器10包括透镜110、彩色滤波器阵列(Color filter array)120以及感测芯片(Optical sensor)130。其中,彩色滤波器阵列120是由多个子像素阵列排列而成。举例来说,子像素阵列122例如是以贝尔图形(Bayer pattern)排列而成。而在图像感测器10的上方还包括红外光阻隔滤波器(IR cut filter)20。
一般来说,在光源充足的情况下,必须使用红外光阻隔滤波器20来滤除红外光。若图像感测器10接收了红外光信号,则容易导致进行色彩计算以及自动白平衡等图像处理时,受到红外光信号的干扰而导致计算错误,使得图像所呈现的色彩与人眼所见色彩差异甚大。然而,在光源不足时,图像感测器10通常只能通过闪光灯来增加亮度,但闪光灯的效果常让使用者觉得不够自然。
发明内容
有鉴于此,本发明提供一种图像撷取装置,通过单一图像感测器即可调整输出的复合图像中的红外光图像的比重。
本发明提供一种图像撷取方法,通过搭配自动曝光控制来设定红外光调整系数,而可调整输出图像中的红外光信号的含量多寡。
本发明提出一种图像撷取装置,其包括图像感测器以及处理器。其中,图像感测器包括彩色滤波器阵列以及感测芯片。彩色滤波器阵列具有允许可见光及红外光通过的第一区域以及允许红外光通过的第二区域。感测芯片通过彩色滤波器阵列获取目标图像。其中目标图像包括对应第一区域的复合图像,以及对应第二区域的第一组红外光图像,其中复合图像包括第二组红外光图像,且第二组红外光图像与第一组红外光图像线性相关。处理器通过使用第一组红外光图像来调整复合图像中的第二组红外光图像的比重,以产生处理图像。
本发明还提出一种图像撷取方法,适用于图像撷取装置。图像撷取方法包括通过图像撷取装置来获取目标图像,以及使用第一组红外光图像来调整复合图像中的第二组红外光图像的比重,以产生处理图像。其中,获取目标图像的步骤包括:通过彩色滤波器阵列接收光线,以使可见光及红外光通过彩色滤波器阵列的第一区域并且使红外光通过彩色滤波器阵列的第二区域;以及通过感测芯片来产生对应于第一区域的复合图像与对应于第二区域的第一组红外光图像。其中复合图像包括第二组红外光图像,且第二组红外光图像与第一组红外光图像线性相关。
基于上述,本发明所提供的图像撷取装置与方法通过移除红外光阻隔滤波器,并搭配彩色滤波器阵列中具有可感测红外光的染料,即可获得红外光信号。并且通过搭配自动曝光控制来设定红外光调整系数,而可调整输出的复合图像中的红外光图像的比重。
为让本发明的上述特征和优点能更明显易懂,下文特举实施例,并配合所附图式作详细说明如下。
附图说明
图1绘示为现有一种数字相机的图像感测器接收光线及其彩色滤波器阵列的示意图。
图2是依照本发明一实施例所绘示的图像撷取装置的方块图。
图3是依照本发明一实施例所绘示的图像撷取方法的流程图。
图4是依照本发明一实施例所绘示的图像感测器210接收光线及其彩色滤波器阵列214的示意图。
图5是依照本发明一实施例所绘示的自动曝光控制的示意图。
图6是依照本发明另一实施例所绘示的一种彩色滤波器阵列的示意图。
图7(a)是依照本发明另一实施例所绘示的一种应用情境示意图。
图7(b)是依照本发明另一实施例所绘示的另一种应用情境示意图。
图8是依照本发明又一实施例所绘示的图像感测器210接收光线及其彩色滤波器阵列214的示意图。
图9是依照本发明又一实施例所绘示的双峰滤波器830的频带范围示意图。
[主要元件标号说明]
10、210:图像感测器 110、212:透镜
120、214、614:彩色滤波器阵列 122、SP1~SP5:滤波区块
130、216:感测芯片 20:红外光阻隔滤波器
200:图像撷取装置 218:像素感测器阵列
220:处理器 830:双峰滤波器
A1:箭头 IR1、IR2:第一、第二线性函数
L1、L2:分隔线 Max1:曝光时间的最大值
Max2:信号增益值的最大值 P1~P8:像素
S312、S314、S320:图像撷取方法的各步骤
具体实施方式
为了避免使用者在利用数字相机进行拍摄时,还需考虑环境亮度来选择是否使用红外光阻隔滤波器的麻烦。本发明提供一种图像撷取装置,在不需使用红外光阻隔滤波器的前提下并且仅需使用单一图像感测器,即可随时依据环境亮度来做调整输出图像中的红外光图像的比重。为了使本发明的内容更为明了,以下列举实施例作为本发明确实能够据以实施的范例。
图2是依照本发明一实施例所绘示的图像撷取装置的方块图。请参照图2,本实施例的图像撷取装置200例如是数字相机、数字单眼相机(Digital Single Lens ReflexCamera,DSLR)、数字摄影机(Digital Video Camcorder,DVC)等,不限于上述。图像撷取装置200包括图像感测器210以及耦接至图像感测器210的处理器220。其功能分述如下:
更详细地说,本实施例的图像感测器210例如包括透镜212、彩色滤波器阵列214以及感测芯片216。其中,感测芯片216还包括像素感测器阵列218。在本范例实施例中,透镜212以及像素感测器阵列218分别置于彩色滤波器阵列214的两侧。光线射入透镜212后会先经由彩色滤波器阵列214进行滤波,以使特定的可见光及红外光通过。然后,感测芯片216通过像素感测器阵列218来感应光线强度,并且将模拟图像信号转换至数字图像信号后,才可获取目标图像。目标图像再由处理器220做进一步地数字图像处理以获得一处理图像。其中,彩色滤波器阵列214具有复阵列滤波区块,其排列方式将于后详述。
处理器220例如是中央处理单元(Central Processing Unit,CPU),或是其它可编程的一般用途或特殊用途的微处理器(Microprocessor)、数字信号处理器(DigitalSignal Processor,DSP)、可编程控制器、专用集成电路(Application SpecificIntegrated Circuit,ASIC)或其它类似装置或这些装置的组合。
图3是依照本发明一实施例所绘示的图像撷取方法的流程图。本实施例的方法适用于图2的图像撷取装置200,以下即搭配图像撷取装置200中的各构件说明本实施例图像撷取方法的详细步骤:
于步骤S310中,先通过图像撷取装置来获取目标图像。其中步骤S310还可分为2个子步骤S312、S314。详细地说,获取目标图像的方法包括先通过彩色滤波器阵列214接收光线,以使可见光及红外光通过彩色滤波器阵列214的第一区域并且使红外光通过彩色滤波器阵列的第二区域。为了说明彩色滤波器阵列214的第一区域以及第二区域的差异,请配合参照图4的说明。
图4是依照本发明一实施例所绘示的图像感测器210接收光线及其彩色滤波器阵列214的示意图。如图4所示,本实施例的图像感测器210的上方并未设置红外光阻隔滤波器(IR cut filter),因此可见光与红外光皆会进入图像感测器210当中。彩色滤波器阵列214包括复阵列滤波区块,且每一滤波区块中皆包括多个滤波单元。在图4中,仅绘示彩色滤波器阵列214的滤波区块SP1、SP2、SP3以及SP4。每一滤波区块具有相同的结构,故以下仅举滤波区块SP1为例做说明:
滤波区块SP1包括第一滤波单元P1、第二滤波单元P2、第三滤波单元P3以及第四滤波单元P4。每一滤波单元分别允许不同频段的光线通过,并且以重复的图形排列,在空间上则分别对应至像素感测器阵列的其中之一像素感测器。
详细地说,第一滤波单元P1例如具有可同时感测蓝光与红外光的第一染料,以使蓝光与红外光进入对应的像素感测器,进而感应获得第一图像信号(B+IR)。第二滤波单元P2具有可同时感测绿光与红外光的第二染料,以使绿光与红外光进入对应的像素感测器,进而感应获得第二图像信号(G+IR)。第三滤波单元P3具有可同时感测红光与红外光的第三染料,以使红光与红外光进入对应的像素感测器,进而感应获得第三图像信号(R+IR)。第四滤波单元P4具有专门用以感测红外光的第四染料,以使红外光进入对应的像素感测器,进而感应获得第四图像信号IR。
基于上述,在本范例实施例中,彩色滤波器阵列214的第一区域包括对应至各该复阵列滤波区块中的第一滤波单元P1、第二滤波单元P2、以及第三滤波单元P3的区域。彩色滤波器阵列214的第二区域包括对应至各该复阵列滤波区块中第四滤波单元P4的区域。因此,复合图像包括各该复阵列滤波区块中的第一图像信号(B+IR)、第二图像信号(G+IR)以及第三图像信号(R+IR)。第一组红外光图像包括各该复阵列滤波区块中的第四图像信号IR。其中,需说明的是,复合图像中的第二组红外光图像与第一组红外光图像呈线性相关。
回到图3,在步骤S312中,先利用彩色滤波器阵列214的第一区域中的滤波单元来使可见光及红外光同时通过;再通过第二区域中的滤波单元来使红外光通过。接着,在步骤S314中,通过感测芯片216中的像素感测器阵列218分别感应对应于第一区域的复合图像以及对应于第二区域的第一组红外光图像,结合复合图像以及第一组红外光图像而可产生目标图像。
接下来在步骤S320中,处理器220使用第一组红外光图像来调整复合图像中的第二组红外光图像的比重,以产生处理图像。简单来说,复合图像即是由红绿蓝(RGB)图像与第二组红外光图像所组成,由于第二组红外光图像与第一组红外光图像呈线性相关,因此处理器220可藉此调整复合图像中的第二组红外光图像的比重。
举例来说,在环境光源充足的正常模式下,红外光图像会使图像所呈现的色彩与人眼所见色彩差异甚大,因此处理器220可利用第一组红外光图像来从复合图像中姐取出红绿蓝图像,以作为处理图像。相反地,在环境光源不足的微光模式下,必须通过红外光图像来增加图像亮度,以提升图像质量。因此,处理器220使用第一组红外光图像来调整复合图像中第二组红外光图像的比重,以产生处理图像。更详细地说,处理器220可随着环境亮度的递减而逐步增加复合图像中的第二组红外光图像的比重。
据此,本发明通过彩色滤波器阵列214中各个滤波单元的配置,而可控制不同频段的光线通过,使得本发明的图像撷取装置可依据环境光源(亮度)变化来调整输出图像中的红外光图像的比例。另外需说明的是,在本范例实施例中,图4所示的各该滤波单元的排列方式仅为一种实施例,本发明不限于此,本领域技术人员可依实际设计需求编排第一滤波单元P1~第四滤波单元P4的摆放位置,惟,各该组滤波区块皆须以相同方式排列各个滤波单元。
接下来则详细说明处理器如何使用第一组红外光图像来调整复合图像中第二组红外光图像的比重,以产生适当的处理图像。
于此先说明图像感测器的曝光时间与信号增益值的关系。图5是依照本发明一实施例所绘示的自动曝光控制的示意图,请参照图5。图5(a)绘示为图像感测器的曝光时间与环境亮度的关系图,其中横轴为环境亮度,纵轴为曝光时间。图5(b)绘示为图像感测器的信号增益值与环境亮度的关系图,其中横轴为环境亮度,纵轴为信号增益值。图5(c)绘示为红外光调整系数与环境亮度的关系图,其中横轴为环境亮度,纵轴为红外光调整系数。环境亮度由分隔线L1、L2而可区分为户外、室内以及低光源三种类别的亮度。
接下来请先参照图5(a)与图5(b)。在环境亮度属于户外类别时,由于光线充足因此曝光时间较短且信号增益值设定为0,并且随着环境亮度的减弱(如箭头A1所示的往左方向),曝光时间呈线性增加。当环境亮度属于室内类别时,信号增益值随着曝光时间以步阶函数(Step function)增加而有所调整。直到曝光时间已设定为最大值Max1时,信号增益值从0开始线性增加至最大值Max2。具上所述,图像感测器可依据环境亮度的不同,据以调整曝光时间以及信号增益值。因此,环境亮度属于户外或室内类别的正常模式下,图像感测器可通过曝光时间与信号增益值来调整处理图像的亮度,不须通过第一组红外光图像来调整复合图像中第二组红外光图像的比重。
举例来说,本发明可通过设定红外光调整系数k来调整复合图像中第二组红外光图像的比重。请参照图5(c),当图像感测器的曝光时间到达最大值Max1(即,第一预设值)且信号增益值到达最大值Max2(即,第二预设值)时,随着环境亮度的递减可选择第一线性函数IR1或第二线性函数IR2其中之一来将红外光调整系数k自第一设定值线性调整至第二设定值。其中,第一、第二线性函数IR1、IR2是适用于不同的实施例。
处理器可依据下列公式来进行调整,以产生处理图像ImgR,G,B(k):
ImgR,G,B(k)=R+IR(k)+G+IR(k)+B+IR(k),
其中,0≦k≦1。
配合图5进行说明。当图像感测器的曝光时间到达最大值Max1且信号增益值到达最大值Max2时,处理器随着环境亮度的递减而将红外光调整系数k自1(即,第一设定值)线性递减至0(即,第二设定值)。换句话说,本实施例的处理器适用于第一线性函数IR1来调整红外光调整系数k。
具上所述,本发明仅需通过单一图像感测器的运用,即可调整复合图像中第二组红外光图像的比重。
以下另举一实施例说明适用第二线性函数IR2来调整红外光调整系数k的情况。图6是依照本发明另一实施例所绘示的一种彩色滤波器阵列的示意图。彩色滤波器阵列614同样由复阵列滤波区块排列而成,每一滤波区块中皆包括多个滤波单元。其中,以滤波区块SP5为例,第一滤波单元P5具有感测蓝光的第一染料,以使感测芯片感应获得第一图像信号B。第二滤波单元P6具有感测绿光的第二染料,以使感测芯片感应获得第二图像信号G。第三滤波单元P7具有感测红光的第三染料,以使感测芯片感应获得第三图像信号B。第四滤波单元P8具有感测红外光的第四染料,以使感测芯片感应获得第四图像信号IR。
将图4所示的彩色滤波器阵列214替换成图6所示的彩色滤波器阵列614,并且在其余条件不变的情况下,处理器220可依据下列公式来调整复合图像,以产生处理图像ImgB,G,R,IR(k):
ImgB,G,R,IR(k)=R+G+B+IR(k),其中,0≦k≦1。
处理器同样可依据图像感测器的曝光时间与信号增益值来设定红外光调整系数k。换句话说,处理器适用于图5(c)所示的第二线性函数IR2来设定红外光调整系数k。详细地说,当图像感测器的曝光时间到达最大值Max1且信号增益值到达最大值Max2时,处理器220随着环境亮度的递减而可将红外光调整系数k自0(即,第一设定值)线性递增至1(即,第二设定值)。
本发明的图像感测装置例如可做下列运用。图7(a)是依照本发明另一实施例所绘示的一种应用情境示意图。图7(b)是依照本发明另一实施例所绘示的另一种应用情境示意图。
请先参照图7(a),运用本发明的图像撷取技术对一物体710进行拍摄时,若于夜间进行拍摄或在其它环境亮度不足的情况下,可增加红外光光源720以提升拍摄环境亮度,并且增加物体710进入图像撷取装置700的镜头701的反射光。图像撷取装置700的图像感测器703用以感应产生(R+IR)、(G+IR)、(B+IR)以及IR四种不同的图像信号,经由处理器705处理后,而可同时产生复合图像(即RGB图像)以及红外光图像(即IR图像)。
再请参照图7(b),图7(b)所示的应用情境类似于图7(a),其不同之处在于本实施例的图像撷取装置700’还包括自动对焦模块730,而可进行自动对焦(Auto-focus,AF)的应用。本实施例的处理器705在产生复合图像以及红外光图像后,更可进一步利用红外光图像进行图像识别来检测镜头701与对象710的距离d;或者处理器705可根据红外光图像在映射表(Mapping table)中查询相对应的距离信息。在得到距离信息后,便可利用自动对焦模块730来改变镜头701的焦距,达到自动对焦功能。
具上所述,本发明仅需通过单一图像感测器的运用,即可同时输出红绿蓝图像及红外光图像。不需如已知需由一图像感测器拍摄红绿蓝图像,再由另一红外光感测器拍摄红外光图像。据此,本发明具有节省成本的优点。
值得一提的是,图4的彩色滤波器阵列214的各个滤波单元中的第一图像信号(B+IR)、第二图像信号(G+IR)及第三图像信号(R+IR),虽然皆具有红外光图像信号IR,然而因为每一染料接收红外光的含量并不相同。再者,由于频谱为连续的关系,容易受其它波长的光线干扰而导致误差的产生。因此,本发明还提供另一变化实施例来加强输出图像的图像质量,以下请配合参照图8与图9:
图8是依照本发明又一实施例所绘示的图像感测器210接收光线及其彩色滤波器阵列214的示意图。与图4所示的实施例不同的是,本实施例还包括于图像感测器210的上方设置双峰滤波器830。
为了使彩色滤波器阵列214所感测的各个图像信号更不受噪声干扰,是利用双峰滤波器830来限定波长位于第一频带及第二频带的光线通过,并且滤除波长位于第一频带及第二频带以外的光线。图9是依照本发明又一实施例所绘示的双峰滤波器830的频带范围示意图。其中横轴为波长,纵轴为输出与输入的比值。双峰滤波器的第一频带例如为波长位于350~650奈米(nm),其包括红光、绿光及蓝光可通过的波长范围;第二频带例如为波长位于800~900奈米(nm),其包括红外光可通过的波长范围。也就是说,入射光的波长位于第一频带以及第二频带内的光线才可进入图像感测器210;反之,入射光的波长位于第一频带以及第二频带外的光线则因输出与输入比值为0而无法通过。如此一来,可使图像撷取装置的处理器在调整红外光调整系数时更为精准,有效提升图像质量。至于本实施例的其它细节已包含在上述各实施例中,故在此不予赘述。
综上所述,本发明通过移除红外光阻隔滤波器,并搭配彩色滤波器阵列中具有可感测红外光的染料,即可获得红外光图像信号。不需如先前技术所述受环境亮度影响来选择是否使用红外光阻隔滤波器。并且通过搭配自动曝光控制来设定红外光调整系数,而可调整复合图像中的红外光图像的比重。如此一来,本发明仅需使用单一图像感测器即可应用于具有红外光光源辅助的拍摄场景、自动对焦或体感游戏等等,不仅可节省成本亦可提升图像质量。
虽然本发明已以实施例揭露如上,然其并非用以限定本发明,任何所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作些许的更动与润饰,故本发明的保护范围当视所附的权利要求范围所界定者为准。
Claims (7)
1.一种图像撷取装置,包括:
一图像感测器,用以获取一目标图像,其中该图像感测器包括:
一彩色滤波器阵列,具有允许可见光及红外光通过的第一区域以及允许红外光通过的第二区域;以及
一感测芯片,通过该彩色滤波器阵列获取该目标图像,其中该目标图像包括:
对应该第一区域的一复合图像;以及
对应该第二区域的一第一组红外光图像,其中该复合图像由一红绿蓝图像与一第二组红外光图像组成,且该第二组红外光图像与该第一组红外光图像线性相关;
一透镜,对应地置于该彩色滤波器的第一侧;
一自动对焦模块,调整该透镜;以及一处理器,通过该第一组红外光图像计算该目标图像与该透镜之间的距离,使该自动对焦模块藉以调整该透镜,以及产生一处理图像,其中:
该处理器通过该第一组红外光图像进行图像识别或是映射表查询,计算该目标图像与该透镜之间的该距离;
该自动对焦模块根据 该目标图像与该透镜之间的该距离,调整该透镜相对于该感测芯片的一对焦距离;
在一正常模式下,该处理器通过使用该第一组红外光图像来从该复合图像中撷取出该红绿蓝图像,以作为该处理图像;以及
在一微光模式下,当该图像感测器的曝光时间到达一第一预设值且该图像感测器的信号增益值到达一第二预设值时,该处理器随着环境亮度来线性地设定红外光调整系数,据以调整该复合图像中该第二组红外光图像的比重,以作为该处理图像。
2.根据权利要求1所述的图像撷取装置,其中该感测芯片还包括:
一像素感测器阵列,该像素感测器阵列对应地设置于该彩色滤波器阵列的第二侧,
其中该彩色滤波器阵列包括复阵列滤波区块,各该复阵列滤波区块包括多个滤波单元,该多个滤波单元以重复的图形排列,并空间上分别对应至该像素感测器阵列的其中之一像素感测器,且各该滤波单元允许至少一频段的光线通过,使该像素感测器阵列感应该目标图像在该至少一频段上的光线强度。
3.根据权利要求2所述的图像撷取装置,其中:
各该复阵列滤波区块包括第一、第二、第三及第四滤波单元,
其中该第一滤波单元具有同时感测蓝光与红外光的第一染料,以获得第一图像信号,该第二滤波单元具有同时感测绿光与红外光的第二染料,以获得第二图像信号,该第三滤波单元具有同时感测红光与红外光的第三染料,以获得第三图像信号,该第四滤波单元具有感测红外光的第四染料,以获得第四图像信号。
4.根据权利要求1所述的图像撷取装置,还包括:
一双峰型滤波器,用以过滤光线,以使波长位于第一频段及/或第二频段的光线通过该图像感测器的该彩色滤波器阵列,其中该第一频段具有允许可见光通过的波长范围,该第二频段具有允许红外光通过的波长范围。
5.一种图像撷取方法,用于一图像撷取装置,该图像撷取方法包括:
通过该图像撷取装置获取一目标图像,其中获取该目标图像的步骤包括:
通过一彩色滤波器阵列接收光线,以使可见光及红外光通过该彩色滤波器阵列的第一区域并且使红外光通过该彩色滤波器阵列的第二区域;以及
通过一感测芯片以产生对应于该第一区域的一复合图像与对应于该第二区域的一第一组红外光图像,其中该复合图像由一红绿蓝图像与一第二组红外光图像组成,且该第二组红外光图像与该第一组红外光图像线性相关;
通过该第一组红外光图像进行图像识别或是映射表查询,计算该目标图像与透镜之间的距离;
根據该目标图像与该透镜之间的该距离,调整该图像撷取装置的一透镜相对于该感测芯片的一对焦距离,其中该透镜对应地置于该彩色滤波器的第一侧;以及
产生一处理图像,其中:
在一正常模式下,通过使用该第一组红外光图像来从该复合图像中撷取出该红绿蓝图像,以作为该处理图像;
在一微光模式下,当判断该图像撷取装置的曝光时间到达一第一预设值且该图像撷取装置的信号增益值到达一第二预设值时,随着环境亮度来线性地设定红外光调整系数,据以调整该复合图像中该第二组红外光图像的比重,以作为该处理图像。
6.根据权利要求5所述的图像撷取方法,其中通过该图像撷取装置获取该目标图像的步骤还包括:
对应地设置一像素感测器阵列于该彩色滤波器阵列的第二侧,其中该彩色滤波器阵列包括复阵列滤波区块,且各该复阵列滤波区块包括多个滤波单元;
以重复的图形排列该些滤波单元,并且在空间上分别将各该滤波单元对应至该像素感测器阵列的其中之一像素感测器,其中各该滤波单元允许至少一频段的光线通过;以及
由该像素感测器阵列感应该目标图像在该至少一频段上的光线强度。
7.根据权利要求5所述的图像撷取方法,其中通过该图像撷取装置获取该目标图像的步骤还包括:
通过一双峰型滤波器过滤光线,以使波长位于第一频段及/或第二频段的光线通过该彩色滤波器阵列,其中该第一频段具有允许可见光通过的波长范围,该第二频段具有允许红外光通过的波长范围。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261588667P | 2012-01-20 | 2012-01-20 | |
US61/588,667 | 2012-01-20 | ||
US13/688,217 US9143704B2 (en) | 2012-01-20 | 2012-11-29 | Image capturing device and method thereof |
US13/688,217 | 2012-11-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103220534A CN103220534A (zh) | 2013-07-24 |
CN103220534B true CN103220534B (zh) | 2019-03-15 |
Family
ID=48796913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310014557.6A Active CN103220534B (zh) | 2012-01-20 | 2013-01-15 | 图像撷取装置与方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9143704B2 (zh) |
CN (1) | CN103220534B (zh) |
TW (1) | TWI517707B (zh) |
Families Citing this family (40)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5713816B2 (ja) * | 2011-03-16 | 2015-05-07 | 株式会社東芝 | 固体撮像装置及びカメラモジュール |
US9405104B2 (en) * | 2012-12-26 | 2016-08-02 | GM Global Technology Operations LLC | Split sub-pixel imaging chip with IR-pass filter coating applied on selected sub-pixels |
KR102112298B1 (ko) * | 2013-09-30 | 2020-05-18 | 삼성전자주식회사 | 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치 |
CN106664394B (zh) * | 2014-06-24 | 2018-10-02 | 麦克赛尔株式会社 | 摄像处理装置以及摄像处理方法 |
TWI536831B (zh) | 2014-09-03 | 2016-06-01 | 聯詠科技股份有限公司 | 彩色濾波陣列及其影像接收方法 |
JP6633268B2 (ja) * | 2014-09-03 | 2020-01-22 | グローリー株式会社 | センサモジュール及び紙葉類処理装置 |
EP3185549B1 (en) * | 2014-09-16 | 2020-11-11 | Huawei Technologies Co., Ltd. | Image processing method and device |
CN105491357B (zh) * | 2014-09-16 | 2017-10-17 | 联咏科技股份有限公司 | 彩色滤波阵列及其图像接收方法 |
DE102014115292A1 (de) * | 2014-10-21 | 2016-04-21 | Connaught Electronics Ltd. | Verfahren zum Bereitstellen von Bilddateien von einem Kamerasystem, Kamerasystem und Kraftfahrzeug |
CN104394306B (zh) * | 2014-11-24 | 2018-02-27 | 北京中科虹霸科技有限公司 | 用于虹膜识别的多通道多区域镀膜的摄像头模组及设备 |
CN107438779B (zh) | 2015-01-20 | 2019-12-13 | 眼锁有限责任公司 | 用于高质量可见光图像采集和红外iris图像采集的镜头系统 |
CN104580941B (zh) * | 2015-02-02 | 2019-03-29 | 联想(北京)有限公司 | 感光器件及图像输出方法 |
US9699394B2 (en) * | 2015-03-09 | 2017-07-04 | Microsoft Technology Licensing, Llc | Filter arrangement for image sensor |
US20170034456A1 (en) * | 2015-07-31 | 2017-02-02 | Dual Aperture International Co., Ltd. | Sensor assembly with selective infrared filter array |
US9762878B2 (en) | 2015-10-16 | 2017-09-12 | Google Inc. | Auto white balance using infrared and/or ultraviolet signals |
TWI579540B (zh) | 2015-12-02 | 2017-04-21 | 財團法人工業技術研究院 | 多點光譜系統 |
CN106878690A (zh) * | 2015-12-14 | 2017-06-20 | 比亚迪股份有限公司 | 图像传感器的成像方法、成像装置和电子设备 |
CN105430363B (zh) * | 2015-12-18 | 2018-07-17 | 广东欧珀移动通信有限公司 | 成像方法、成像装置及电子装置 |
CN105430359B (zh) * | 2015-12-18 | 2018-07-10 | 广东欧珀移动通信有限公司 | 成像方法、图像传感器、成像装置及电子装置 |
CN105554485B (zh) * | 2015-12-18 | 2019-04-12 | Oppo广东移动通信有限公司 | 成像方法、成像装置及电子装置 |
CN105516696A (zh) * | 2015-12-18 | 2016-04-20 | 广东欧珀移动通信有限公司 | 图像传感器、成像方法、成像装置和电子装置 |
CN107438170B (zh) | 2016-05-25 | 2020-01-17 | 杭州海康威视数字技术股份有限公司 | 一种图像透雾方法及实现图像透雾的图像采集设备 |
JP6732902B2 (ja) * | 2016-06-03 | 2020-07-29 | マクセル株式会社 | 撮像装置および撮像システム |
CN107465864B (zh) * | 2016-06-03 | 2021-02-26 | 宏碁股份有限公司 | 摄像装置及影像处理方法 |
FR3059823B1 (fr) * | 2016-12-07 | 2019-08-23 | Lynred | Dispositif de detection multispectrale ameliore. |
KR102201627B1 (ko) * | 2017-02-21 | 2021-01-12 | 가부시키가이샤 나노룩스 | 고체 촬상 소자 및 촬상 장치 |
CN107277318B (zh) * | 2017-06-26 | 2020-07-14 | 苏州佳世达电通有限公司 | 影像撷取装置及影像撷取方法 |
US11153514B2 (en) * | 2017-11-30 | 2021-10-19 | Brillnics Singapore Pte. Ltd. | Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus |
CN109951646B (zh) * | 2017-12-20 | 2021-01-15 | 杭州海康威视数字技术股份有限公司 | 图像融合方法、装置、电子设备及计算机可读存储介质 |
TWI661726B (zh) * | 2018-01-09 | 2019-06-01 | 呂官諭 | 加強影像辨識清晰的影像感測器及其應用 |
US11689785B2 (en) | 2018-09-14 | 2023-06-27 | Zhejiang Uniview Technologies Co., Ltd. | Dual-spectrum image automatic exposure method and apparatus, and dual-spectrum image camera and machine storage medium |
US11223763B2 (en) * | 2020-02-07 | 2022-01-11 | Himax Imaging Limited | Multi-mode image sensor applicable to image sensing and additional detection |
CN212624089U (zh) * | 2020-03-02 | 2021-02-26 | 神盾股份有限公司 | 指纹感测系统 |
CN111447423A (zh) * | 2020-03-25 | 2020-07-24 | 浙江大华技术股份有限公司 | 图像传感器、摄像装置及图像处理方法 |
CN114095672A (zh) * | 2020-07-31 | 2022-02-25 | 北京小米移动软件有限公司 | 成像系统、方法及电子设备 |
CN111885796B (zh) * | 2020-08-21 | 2023-09-29 | 博流智能科技(南京)有限公司 | 光源亮度自适应控制方法及系统 |
CN112843688A (zh) * | 2020-12-31 | 2021-05-28 | 上海米哈游天命科技有限公司 | 一种拍摄方法、装置、设备及存储介质 |
US11574484B1 (en) * | 2021-01-13 | 2023-02-07 | Ambarella International Lp | High resolution infrared image generation using image data from an RGB-IR sensor and visible light interpolation |
CN113055621B (zh) * | 2021-03-11 | 2024-04-09 | 维沃移动通信有限公司 | 摄像头模组和电子设备 |
TWI832257B (zh) * | 2022-05-25 | 2024-02-11 | 宏碁股份有限公司 | 影像感測方法與影像感測裝置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1310915A (zh) * | 1998-07-30 | 2001-08-29 | 英特尔公司 | 具有红外校正功能的彩色成像系统 |
CN1794783A (zh) * | 2004-12-22 | 2006-06-28 | 索尼株式会社 | 图像处理装置、图像处理方法及摄像装置 |
WO2010141772A1 (en) * | 2009-06-03 | 2010-12-09 | Flir Systems, Inc. | Infrared camera systems and methods for dual sensor applications |
CN102075683A (zh) * | 2009-11-20 | 2011-05-25 | 三星电子株式会社 | 数字图像处理设备和数字图像处理设备的拍摄方法 |
WO2011131758A1 (en) * | 2010-04-23 | 2011-10-27 | Flir Systems Ab | Infrared resolution and contrast enhancement with fusion |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7369699B1 (en) | 2003-08-29 | 2008-05-06 | Apple Inc. | Methods and apparatuses for restoring color and enhancing electronic images |
US8139141B2 (en) | 2004-01-28 | 2012-03-20 | Microsoft Corporation | Single chip red, green, blue, distance (RGB-Z) sensor |
US7728316B2 (en) | 2005-09-30 | 2010-06-01 | Apple Inc. | Integrated proximity sensor and light sensor |
JP2007334311A (ja) * | 2006-05-18 | 2007-12-27 | Nippon Hoso Kyokai <Nhk> | 可視光・赤外光撮影光学系 |
US7812827B2 (en) | 2007-01-03 | 2010-10-12 | Apple Inc. | Simultaneous sensing arrangement |
US20080297487A1 (en) | 2007-01-03 | 2008-12-04 | Apple Inc. | Display integrated photodiode matrix |
KR101488655B1 (ko) * | 2007-09-14 | 2015-02-03 | 삼성전자 주식회사 | 자동 초점 조절 장치 및 방법 |
US8446470B2 (en) | 2007-10-04 | 2013-05-21 | Magna Electronics, Inc. | Combined RGB and IR imaging sensor |
US8405727B2 (en) | 2008-05-01 | 2013-03-26 | Apple Inc. | Apparatus and method for calibrating image capture devices |
JP2010103740A (ja) * | 2008-10-23 | 2010-05-06 | Panasonic Corp | デジタルカメラ |
US8008613B2 (en) | 2009-05-05 | 2011-08-30 | Apple Inc. | Light sensing device having a color sensor and a clear sensor for infrared rejection |
JP5195672B2 (ja) * | 2009-05-29 | 2013-05-08 | トヨタ自動車株式会社 | 車両制御装置、車両および車両制御方法 |
US8619128B2 (en) | 2009-09-30 | 2013-12-31 | Apple Inc. | Systems and methods for an imaging system using multiple image sensors |
US8593483B2 (en) | 2009-10-20 | 2013-11-26 | Apple Inc. | Temporal filtering techniques for image signal processing |
US20110164146A1 (en) * | 2010-01-07 | 2011-07-07 | Himax Imaging, Inc. | Adaptive Frame Rate Control System and Method for an Image Sensor |
US8687276B2 (en) * | 2010-01-22 | 2014-04-01 | Stereo Display, Inc | Optical system with optical image stabilization using a MEMS mirror |
JP2011199798A (ja) * | 2010-03-24 | 2011-10-06 | Sony Corp | 物理情報取得装置、固体撮像装置、物理情報取得方法 |
US8525895B2 (en) | 2010-07-29 | 2013-09-03 | Apple Inc. | Binning compensation filtering techniques for image signal processing |
-
2012
- 2012-11-29 US US13/688,217 patent/US9143704B2/en active Active
- 2012-12-11 TW TW101146706A patent/TWI517707B/zh active
-
2013
- 2013-01-15 CN CN201310014557.6A patent/CN103220534B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1310915A (zh) * | 1998-07-30 | 2001-08-29 | 英特尔公司 | 具有红外校正功能的彩色成像系统 |
CN1794783A (zh) * | 2004-12-22 | 2006-06-28 | 索尼株式会社 | 图像处理装置、图像处理方法及摄像装置 |
WO2010141772A1 (en) * | 2009-06-03 | 2010-12-09 | Flir Systems, Inc. | Infrared camera systems and methods for dual sensor applications |
CN102075683A (zh) * | 2009-11-20 | 2011-05-25 | 三星电子株式会社 | 数字图像处理设备和数字图像处理设备的拍摄方法 |
WO2011131758A1 (en) * | 2010-04-23 | 2011-10-27 | Flir Systems Ab | Infrared resolution and contrast enhancement with fusion |
Also Published As
Publication number | Publication date |
---|---|
TWI517707B (zh) | 2016-01-11 |
TW201332352A (zh) | 2013-08-01 |
CN103220534A (zh) | 2013-07-24 |
US9143704B2 (en) | 2015-09-22 |
US20130188057A1 (en) | 2013-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103220534B (zh) | 图像撷取装置与方法 | |
US9615030B2 (en) | Luminance source selection in a multi-lens camera | |
US9635275B2 (en) | Flash system for multi-aperture imaging | |
US8018509B2 (en) | Image input processing apparatus and method | |
CN105391953B (zh) | 拍摄方法以及拍摄装置 | |
CN102369721B (zh) | 具有合成全色图像的彩色滤光器阵列(cfa)图像 | |
US20170034456A1 (en) | Sensor assembly with selective infrared filter array | |
CN101983510B (zh) | 自适应局部白平衡调节的系统与方法 | |
US20150062347A1 (en) | Image processing methods for visible and infrared imaging | |
EP2083446A2 (en) | Image pickup apparatus | |
US20050128509A1 (en) | Image creating method and imaging device | |
WO2021016900A1 (zh) | 一种图像传感器和图像感光的方法 | |
US11747533B2 (en) | Spectral sensor system using optical filter subarrays | |
CN108712608A (zh) | 终端设备拍摄方法和装置 | |
JP6606231B2 (ja) | 色画像を生成するカメラおよび方法 | |
CN101668115A (zh) | 一种多镜头多分辨率摄像机 | |
US20190058837A1 (en) | System for capturing scene and nir relighting effects in movie postproduction transmission | |
JP5010909B2 (ja) | 撮像装置および画像データ補正方法 | |
CN101610355B (zh) | 日夜两用摄像装置 | |
JP2018023077A (ja) | ビデオカメラ撮像装置 | |
CN201467300U (zh) | 日夜两用摄像装置及其滤光片、光学系统 | |
CN202617286U (zh) | 影像获取装置 | |
CN106341614A (zh) | 摄影影像调整方法 | |
US20180184054A1 (en) | Camera and method of producing color images | |
WO2016068827A1 (ru) | Система для получения цифрового изображения в заданном спектральном интервале |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |