CN107205139A - 多通道采集的图像传感器及采集方法 - Google Patents

多通道采集的图像传感器及采集方法 Download PDF

Info

Publication number
CN107205139A
CN107205139A CN201710509506.9A CN201710509506A CN107205139A CN 107205139 A CN107205139 A CN 107205139A CN 201710509506 A CN201710509506 A CN 201710509506A CN 107205139 A CN107205139 A CN 107205139A
Authority
CN
China
Prior art keywords
component
pixel
imaging sensor
multichannel collecting
optical filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710509506.9A
Other languages
English (en)
Inventor
李军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing Zhongke Yuncong Technology Co Ltd
Original Assignee
Chongqing Zhongke Yuncong Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing Zhongke Yuncong Technology Co Ltd filed Critical Chongqing Zhongke Yuncong Technology Co Ltd
Priority to CN201710509506.9A priority Critical patent/CN107205139A/zh
Publication of CN107205139A publication Critical patent/CN107205139A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明提供一种多通道采集的图像传感器及采集方法，传感器包括：图像采集模块，用于采集像素分量，所述像素分量包括绿色分量、红色分量、蓝色分量和辅助分量；本发明中的多通道采集的图像传感器及采集方法，其中每四个像素，只有一个G分量，另外增加一个N分量，用于采集额外的通道，譬如，近红外通道，通过这样的方式，只需要一个图像传感器就可以满足同时采集其他通道的数据的应用场合，例如手机前置摄像头，或者其他用于人脸识别的摄像头，本发明使用方便，可以在特殊应用的场合中仅用单目摄像头即可完成图像的采集和处理，例如在人脸识别领域中，大大降低了经济成本。

Description

多通道采集的图像传感器及采集方法
技术领域
本发明涉及电子识别领域，尤其涉及一种多通道采集的图像传感器及采集方法。
背景技术
目前，在图像信号处理领域，图像传感器设计通常使用的主要是采用拜耳格式，拜耳格式传感器，每四个像素采集了一个R,一个B，两个G，然后通过插值的方式得到每个像素缺失的其他分量。之所以G分量是R、B分量的两倍，是出于两个原因：每4个像素重复一次，对于三个分量来说，有一个像素是多余的，需要填充；对于人眼的感官而言，G分量(绿色)会比较敏感一些，多采集一个G分量，人眼感官会好一些，这种基于拜耳格式的传统传感器设计办法，只采集的R、G、B三个通道的数据。
在实际的应用过程中，除了R,G,B通道的数据，往往还需要其他通道的数据，做辅助分析。譬如，在人脸识别领域，需要近红外通道的数据配合，做活体分析。目前，对于需要同时采集其他通道的数据的应用场合，只能采用双目摄像头或者其他分时复用的办法解决，即：一个传感器，称之为可见光传感器，用于采集R,G,B通道数据；另一个传感器，称之为红外传感器，用于采集红外通道，通过在红外传感器的镜头上添加可见光滤光片，滤去可见光，只通过红外光，利用R,G,B通道获取红外光的信息，得到红外通道成像，但是这种方式使用不便，只采集的R、G、B三个通道的数据。对于需要同时采集其他通道的数据的应用场合，只能采用双目摄像头或者其他分时复用的办法解决，而且经济成本较高。
发明内容
鉴于以上所述现有技术的缺点，本发明提供一种多通道采集的图像传感器及采集方法，以解决上述技术问题。
本发明提供的多通道采集的图像传感器，包括：
图像采集模块，用于采集像素分量，所述像素分量包括绿色分量、红色分量、蓝色分量和辅助分量。
进一步，所述图形采集模块包括用于过滤并获取相应像素分量的滤光片，所述滤光片包括绿色分量滤光片、红色分量滤光片、蓝色分量滤光片和辅助分量滤光片，通过所述滤光片在每四个像素分量中各采集一个绿色分量、红色分量、蓝色分量和辅助分量。
进一步，还包括图像处理模块，用于根据采集的像素分量通过插值的方式获取每个像素缺失的其他分量，所述辅助分量包括近红外分量。
进一步，还包括硅衬底、感光二极管和微透镜，所述感光二极管、滤光片和微透镜依次层叠设置于硅衬底表面。
进一步，所述图像采集模块为多组，每组图像采集模块采集一个像素分量，多组图像采集模块呈阵列布置，且相邻的图像采集模块所采集的像素分量不同，每行和每列的图像采集模块包括两种相同的像素分量。
本发明还提供一种多通道采集的图像采集方法，包括：采集像素分量，所述像素分量包括绿色分量、红色分量、蓝色分量和辅助分量。
进一步，在每四个像素分量中各采集一个绿色分量、红色分量、蓝色分量和辅助分量，根据采集的像素分量通过插值的方式获取每个像素缺失的其他分量。
进一步，通过图像采集模块采集像素分量，每组图像采集模块采集一个像素分量，多组图像采集模块呈阵列布置，且相邻的图像采集模块所采集的像素分量不同，每行和每列的图像采集模块包括两种相同的像素分量。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序：该程序被处理器执行时实现上述任一项所述方法。
本发明还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如上述任一项所述方法。
本发明的有益效果：本发明中的多通道采集的图像传感器及采集方法，其中每四个像素，只有一个G分量，另外增加一个N分量，用于采集额外的通道，譬如，近红外通道，通过这样的方式，只需要一个图像传感器就可以满足同时采集其他通道的数据的应用场合，例如手机前置摄像头，或者其他用于人脸识别的摄像头，本发明使用方便，可以在特殊应用的场合中仅用单目摄像头即可完成图像的采集和处理，例如在人脸识别领域中，大大降低了经济成本。
附图说明
图1是本发明的实施例中多通道采集的图像传感器的像素格式示意图。
图2是本发明的实施例中实施例中多通道采集的图像传感器的G、R像素所在行结构示意图。
图3是本发明的实施例中实施例中多通道采集的图像传感器的G、R像素所在行结构示意图。
图4是本发明的实施例中实施例中多通道采集的图像传感器的滤光片的滤光带通特性示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
如图1所示，本实施例中的多通道采集的图像传感器，包括：
图像采集模块，用于采集像素分量，像素分量包括绿色(G)分量、红色(R)分量、蓝色(B)分量和辅助(N)分量。通过辅助分量可以采集额外的通道，例如近红外通道等，通过这样的方式，只需要一个图像传感器就可以满足同时采集其他通道的数据的应用场合，例如手机前置摄像头，或者其他用于人脸识别的摄像头
如图2、3所示，在本实施例中，图形采集模块包括用于过滤并获取相应像素分量的滤光片，滤光片包括绿色分量滤光片、红色分量滤光片、蓝色分量滤光片和辅助分量滤光片，通过所述滤光片在每四个像素分量中各采集一个绿色分量、红色分量、蓝色分量和辅助分量。在本实施例中，每个像素由硅衬底、感光二极管、滤光片、微透镜组成，其中，不同像素的滤光片，是带通的滤光片，用于滤除本像素所代表颜色之外的光线部分。如图4所示，图像采集模块还包括硅衬底、感光二极管和微透镜，所述感光二极管、滤光片和微透镜依次层叠设置于硅衬底表面，蓝光滤光片的带通中心在450nm左右；绿光滤光片的带通中心在540nm左右；红光滤光片的带通中心在600nm左右；近红外光的带通中心在可见光光谱范围之外，在850nm左右，当然本领域技术人员应该可以知晓，本实施例中的近红外光只是为了详细说明所列举的一个实施例，除了近红外光，以及用于人脸识别中之外，也可以通过上述设备和方法来采集其他额外的通道，应用在其他需要辅助通道的领域，再此不再赘述。
在本实施例中，还包括图像处理模块，用于根据采集的像素分量通过插值的方式获取每个像素缺失的其他分量，通过每四个像素采集了一个R,一个B，一个G和一个N，然后通过插值的方式得到每个像素缺失的其他分量。
如图1、2、3所示，图像采集模块为多组，每组图像采集模块采集一个像素分量，多组图像采集模块呈阵列布置，且相邻的图像采集模块所采集的像素分量不同，每行和每列的图像采集模块包括两种相同的像素分量。
相应地，本实施了还提供一种多通道采集的图像采集方法，包括：采集像素分量，所述像素分量包括绿色分量、红色分量、蓝色分量和辅助分量。
在本实施例中，在每四个像素分量中各采集一个绿色分量、红色分量、蓝色分量和辅助分量，根据采集的像素分量通过插值的方式获取每个像素缺失的其他分量，通过增加一个N通道，使得在一个传感器中，采集了四个通道的数据。相比拜耳格式，损失了一个G通道，但是，对于这种传感器的潜在应用场合，譬如，手机前置摄像头，或者其他用于人脸识别的摄像头，拍摄的目标中绿色分量并不十分重要。所以，减少的G分量对于成像影响不明显，但增加的N分量，可以用于特殊的应用。例如，在人脸识别中，可以用这个N分量，结合R,G,B分量做活体判断。
通过图像采集模块采集像素分量，每组图像采集模块采集一个像素分量，多组图像采集模块呈阵列布置，且相邻的图像采集模块所采集的像素分量不同，每行和每列的图像采集模块包括两种相同的像素分量。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本实施例中的任一项方法。
本实施例还提供一种电子终端，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行本实施例中任一项方法。
本实施例中的计算机可读存储介质，本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
本实施例提供的电子终端，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于和外部电路进行通信，处理器和收发器用于运行计算机程序，使电子终端执行如上多通道采集的图像采集方法的各个步骤。
在本实施例中，存储器可能包含随机存取存储器(RandomAccessMemory，简称RAM)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(CentralProcessingUnit，简称CPU)、网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(DigitalSignalProcessing，简称DSP)、专用集成电路(ApplicationSpecificIntegratedCircuit，简称ASIC)、现场可编程门阵列(Field－ProgrammableGateArray，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种多通道采集的图像传感器，其特征在于，包括：
图像采集模块，用于采集像素分量，所述像素分量包括绿色分量、红色分量、蓝色分量和辅助分量。
2.根据权利要求1所述的多通道采集的图像传感器，其特征在于：所述图形采集模块包括用于过滤并获取相应像素分量的滤光片，所述滤光片包括绿色分量滤光片、红色分量滤光片、蓝色分量滤光片和辅助分量滤光片，通过所述滤光片在每四个像素分量中各采集一个绿色分量、红色分量、蓝色分量和辅助分量。
3.根据权利要求2所述的多通道采集的图像传感器，其特征在于：还包括图像处理模块，用于根据采集的像素分量通过插值的方式获取每个像素缺失的其他分量，所述辅助分量包括近红外分量。
4.根据权利要求2所述的多通道采集的图像传感器，其特征在于：还包括硅衬底、感光二极管和微透镜，所述感光二极管、滤光片和微透镜依次层叠设置于硅衬底表面。
5.根据权利要求4所述的多通道采集的图像传感器，其特征在于：所述图像采集模块为多组，每组图像采集模块采集一个像素分量，多组图像采集模块呈阵列布置，且相邻的图像采集模块所采集的像素分量不同，每行和每列的图像采集模块包括两种相同的像素分量。
6.一种多通道采集的图像采集方法，其特征在于，包括：采集像素分量，所述像素分量包括绿色分量、红色分量、蓝色分量和辅助分量。
7.根据权利要求6所述的多通道采集的图像采集方法，其特征在于：在每四个像素分量中各采集一个绿色分量、红色分量、蓝色分量和辅助分量，根据采集的像素分量通过插值的方式获取每个像素缺失的其他分量。
8.根据权利要求7所述的多通道采集的图像采集方法，其特征在于：通过图像采集模块采集像素分量，每组图像采集模块采集一个像素分量，多组图像采集模块呈阵列布置，且相邻的图像采集模块所采集的像素分量不同，每行和每列的图像采集模块包括两种相同的像素分量。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：该程序被处理器执行时实现权利要求1至8中任一项所述方法。
10.一种电子终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如权利要求1至8中任一项所述方法。
CN201710509506.9A 2017-06-28 2017-06-28 多通道采集的图像传感器及采集方法 Pending CN107205139A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710509506.9A CN107205139A (zh) 2017-06-28 2017-06-28 多通道采集的图像传感器及采集方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710509506.9A CN107205139A (zh) 2017-06-28 2017-06-28 多通道采集的图像传感器及采集方法

Publications (1)

Publication Number Publication Date
CN107205139A true CN107205139A (zh) 2017-09-26

Family

ID=59908293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710509506.9A Pending CN107205139A (zh) 2017-06-28 2017-06-28 多通道采集的图像传感器及采集方法

Country Status (1)

Country Link
CN (1) CN107205139A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108965704A (zh) * 2018-07-19 2018-12-07 维沃移动通信有限公司 一种图像传感器、移动终端及图像拍摄方法
CN110337656A (zh) * 2019-05-27 2019-10-15 深圳市汇顶科技股份有限公司 用于人脸识别的光学传感器、装置、方法和电子设备
CN110462630A (zh) * 2019-05-27 2019-11-15 深圳市汇顶科技股份有限公司 用于人脸识别的光学传感器、装置、方法和电子设备
WO2020015538A1 (zh) * 2018-07-16 2020-01-23 维沃移动通信有限公司 图像数据处理方法及移动终端

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1825143A (zh) * 2005-02-22 2006-08-30 三洋电机株式会社 滤色器阵列以及固体摄像元件
CN101610355A (zh) * 2009-05-05 2009-12-23 张日和 日夜两用摄像装置及其滤光片、光学系统
JP2013222065A (ja) * 2012-04-17 2013-10-28 Hitachi Ltd 撮像装置
US20140218538A1 (en) * 2013-02-04 2014-08-07 Samsung Techwin Co., Ltd. Image fusion method and apparatus using multi-spectral filter array sensor
CN104064577A (zh) * 2014-07-16 2014-09-24 上海集成电路研发中心有限公司 自动对焦的图像传感器
CN105609513A (zh) * 2015-10-29 2016-05-25 上海集成电路研发中心有限公司 双面cmos图像传感器芯片及其制造方法
CN106878690A (zh) * 2015-12-14 2017-06-20 比亚迪股份有限公司 图像传感器的成像方法、成像装置和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1825143A (zh) * 2005-02-22 2006-08-30 三洋电机株式会社 滤色器阵列以及固体摄像元件
CN101610355A (zh) * 2009-05-05 2009-12-23 张日和 日夜两用摄像装置及其滤光片、光学系统
JP2013222065A (ja) * 2012-04-17 2013-10-28 Hitachi Ltd 撮像装置
US20140218538A1 (en) * 2013-02-04 2014-08-07 Samsung Techwin Co., Ltd. Image fusion method and apparatus using multi-spectral filter array sensor
CN104064577A (zh) * 2014-07-16 2014-09-24 上海集成电路研发中心有限公司 自动对焦的图像传感器
CN105609513A (zh) * 2015-10-29 2016-05-25 上海集成电路研发中心有限公司 双面cmos图像传感器芯片及其制造方法
CN106878690A (zh) * 2015-12-14 2017-06-20 比亚迪股份有限公司 图像传感器的成像方法、成像装置和电子设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020015538A1 (zh) * 2018-07-16 2020-01-23 维沃移动通信有限公司 图像数据处理方法及移动终端
CN108965704A (zh) * 2018-07-19 2018-12-07 维沃移动通信有限公司 一种图像传感器、移动终端及图像拍摄方法
CN108965704B (zh) * 2018-07-19 2020-01-31 维沃移动通信有限公司 一种图像传感器、移动终端及图像拍摄方法
CN110337656A (zh) * 2019-05-27 2019-10-15 深圳市汇顶科技股份有限公司 用于人脸识别的光学传感器、装置、方法和电子设备
CN110462630A (zh) * 2019-05-27 2019-11-15 深圳市汇顶科技股份有限公司 用于人脸识别的光学传感器、装置、方法和电子设备
WO2020237482A1 (zh) * 2019-05-27 2020-12-03 深圳市汇顶科技股份有限公司 用于人脸识别的光学传感器、装置、方法和电子设备

Similar Documents

Publication Publication Date Title
EP3416369B1 (en) Image processing method and apparatus for terminal, and terminal
CN107205139A (zh) 多通道采集的图像传感器及采集方法
CN104010183B (zh) 包括至少一个拜耳型摄像机的阵列系统及关联的方法
TWI699117B (zh) 標定成安裝在全光相機之感測器，被濾色器陣列部份罩覆的微影像區至少一個再聚焦影像色彩組成份之決定方法，光場資料獲取裝置，電腦程式製品，以及非暫態電腦可讀式載波媒體
US8462238B2 (en) Camera design for the simultaneous capture of near-infrared and visible images
US9374567B2 (en) Image processing method and apparatus, and imaging device
CN106911876A (zh) 用于输出图像的方法和设备
CN105988215B (zh) 一种多光谱模组成像系统及其制造方法和应用
CN111741281A (zh) 图像处理方法、终端及存储介质
CN109804619A (zh) 图像处理装置、图像处理方法和摄影装置
WO2020168465A1 (zh) 一种图像处理的装置和方法
WO2020155739A1 (zh) 图像传感器、从其获取图像数据的方法及摄像设备
CN104284179A (zh) 用于提供三维彩色影像的多频带影像传感器
US9807368B2 (en) Plenoptic camera comprising a shuffled color filter array
CN105578081A (zh) 成像方法、图像传感器、成像装置及电子装置
CN107786857B (zh) 一种图像还原方法及装置
US20130128083A1 (en) High dynamic range image sensing device and image sensing method and manufacturing method thereof
WO2022057506A1 (zh) 图像传感器、终端、数据处理方法、装置及存储介质
CN111918004B (zh) 图像传感器、终端、数据处理方法、装置及存储介质
CN112990244A (zh) 一种区分红外图像数据和可见光图像数据的方法
CN112991468A (zh) 一种利用波长信息识别红外图片和可见光图片的方法
CN112585960B (zh) 摄像元件、摄像装置、摄像方法以及存储介质
WO2022198436A1 (zh) 图像传感器、图像数据获取方法、成像设备
CN112907653A (zh) 一种图像处理方法、摄像装置及存储介质
Nedelcu et al. Hybrid visible+ near infrared color filter array for handheld consumer imaging applications

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170926

RJ01 Rejection of invention patent application after publication