CN101878653B - 用于实现来自彩色镶嵌成像器的全色响应的方法及设备 - Google Patents
用于实现来自彩色镶嵌成像器的全色响应的方法及设备 Download PDFInfo
- Publication number
- CN101878653B CN101878653B CN2008801182353A CN200880118235A CN101878653B CN 101878653 B CN101878653 B CN 101878653B CN 2008801182353 A CN2008801182353 A CN 2008801182353A CN 200880118235 A CN200880118235 A CN 200880118235A CN 101878653 B CN101878653 B CN 101878653B
- Authority
- CN
- China
- Prior art keywords
- filter
- wavelength
- video transducer
- response
- transducer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000004044 response Effects 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000005855 radiation Effects 0.000 claims abstract description 10
- 238000003384 imaging method Methods 0.000 claims description 26
- PLXMOAALOJOTIY-FPTXNFDTSA-N Aesculin Natural products OC[C@@H]1[C@@H](O)[C@H](O)[C@@H](O)[C@H](O)[C@H]1Oc2cc3C=CC(=O)Oc3cc2O PLXMOAALOJOTIY-FPTXNFDTSA-N 0.000 claims description 7
- 230000003595 spectral effect Effects 0.000 claims description 7
- 230000005540 biological transmission Effects 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 2
- 239000007787 solid Substances 0.000 abstract description 6
- 230000000903 blocking effect Effects 0.000 abstract 1
- 230000003287 optical effect Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 238000004566 IR spectroscopy Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 239000011248 coating agent Substances 0.000 description 5
- 238000000576 coating method Methods 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000003331 infrared imaging Methods 0.000 description 3
- LFZDEAVRTJKYAF-UHFFFAOYSA-L barium(2+) 2-[(2-hydroxynaphthalen-1-yl)diazenyl]naphthalene-1-sulfonate Chemical compound [Ba+2].C1=CC=CC2=C(S([O-])(=O)=O)C(N=NC3=C4C=CC=CC4=CC=C3O)=CC=C21.C1=CC=CC2=C(S([O-])(=O)=O)C(N=NC3=C4C=CC=CC4=CC=C3O)=CC=C21 LFZDEAVRTJKYAF-UHFFFAOYSA-L 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000002329 infrared spectrum Methods 0.000 description 2
- 238000011221 initial treatment Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004043 responsiveness Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 241000226657 Clarkia concinna Species 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- FTWRSWRBSVXQPI-UHFFFAOYSA-N alumanylidynearsane;gallanylidynearsane Chemical compound [As]#[Al].[As]#[Ga] FTWRSWRBSVXQPI-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- BJQHLKABXJIVAM-UHFFFAOYSA-N bis(2-ethylhexyl) phthalate Chemical compound CCCCC(CC)COC(=O)C1=CC=CC=C1C(=O)OCC(CC)CCCC BJQHLKABXJIVAM-UHFFFAOYSA-N 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B17/00—Details of cameras or camera bodies; Accessories therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
本发明呈现一种用于实现来自低成本彩色成像器的单色响应的方法及设备。在此方法及设备中，通过固态传感器利用对红外(IR)光的带外响应来产生单色图像。所述单色图像是通过从所述传感器移除IR阻挡滤光器并借助来自LED的IR辐射照射将要成像的场景而产生。从所述LED发射的波长与对应于其中所述传感器对IR光的响应相对均衡的区域的一或多个波长匹配，尽管彩色镶嵌滤光器永久地附接到所述传感器。
Description
技术领域
本发明涉及成像系统，特定来说涉及应用于机器视觉系统的成像系统。特定来说，本发明涉及彩色成像器在机器视觉系统中的使用。更特定来说，本发明涉及使用彩色成像器来形成供机器视觉处理的单色图像。
背景技术
传统上，此项技术中由其基础技术(即，用于电荷耦合装置的CCD或用于互补金属氧化物半导体的CMOS)指代的焦点平面阵列固态成像器的市场一直以来受以CCD或CMOS传感器作为主要组件的摄像机的市场的推动。通常，用于播音室广播、电子新闻采集(ENG)及消费者摄录机(其中摄像机及走带机构或磁盘驱动记录器集成到单个小型封装中)的摄像机全部提供彩色信号。此信号通常通过两种方法中的任一种产生。
第一种方法通常应用于专业级装备及较高级消费者装备中。对于此方法，传入图像穿过视频透镜，且接着穿过双色棱镜组。所述双色棱镜组是三个棱镜的组合件，其中的两个棱镜具有双色(色带选择)涂层。第一棱镜将具有将一个色带(通常是蓝色)反射到第一CCD或类似成像器且通过剩余色彩的表面。第二棱镜将具有将第二色带(通常是绿色)反射到第二CCD或类似成像器的表面。第三棱镜将接受信号的平衡(在此情况下是红色色带)，且将其透射到第三CCD或类似成像器。如果第三棱镜上存在涂层，那么所述涂层通常是用以拒绝CCD可能对其敏感且被认为是不合需要的带外光(举例来说，红外光)的涂层。用以拒绝红外(IR)光的此涂层可替代地放置于棱镜组的前部处，或并入到保护窗口中或并入到透镜中。注意，在此第一方法中，CCD或类似传感器中的每一者部署为其全色彩光谱响应完好，因为色彩分离是在双色棱镜组中完成。此外，所述传感器中的每一者以其全固有分辨率获取图像数据，从而产生表示来自所成像场景的三种色彩的三个全分辨率图像。
第二种方法通常用于较低级装备(例如，成本较低的ENG系统及/或极小型ENG系统)中及大多数消费者级摄录机系统中。此处，使用单个CCD或类似成像器。彩色镶嵌滤光器与固态成像器集成在一起，借此通过对应色带滤光器覆盖成像器阵列的每一图片元素(像素)。图1显示彩色镶嵌滤光器13的图示，其显示示范性红色12、绿色14及蓝色16滤色器元件。通常，一半的像素将与主要透射绿色图像分量的色带滤光器相关联，四分之一的像素将与主要透射蓝色图像分量的色带滤光器相关联，且四分之一的像素将与主要透射红色图像分量的色带滤光器相关联。此类型的滤光器有时称作拜耳(Bayer)滤光器。作为有意折中，此系统偏向绿色光谱以最好地满足人类观察者。人类对绿色光最为敏感但对蓝色光及红色光较不敏感。绿色分量携载最多人类对其尤其敏感的关于人脸的信息。注意，在此方法中，彩色镶嵌滤光器与固态成像器不可分离，因为所述滤光器在制造过程期间与传感器中的离散感光元件精确对准，且必须保持对准以适当地履行性能。图2显示附接有彩色镶嵌滤光器的现有技术固态视频传感器的示意图，其显示附接有彩色镶嵌滤光器22的传感器20、任选IR阻挡滤光器24、光学组合件26及通过电缆28附接到传感器的控制器30。
包含机器视觉的二级产业与广播、ENG及消费者摄录机产业相比是相对小的视频传感器及相机用户。因此，制造商通常不特定针对这些二级市场制造传感器且因此这些应用必须依赖针对其它用途所制造的传感器。机器视觉应用为获得良好结果而常常需要高速处理及高敏感度、高分辨率和低成本传感器。出于这些原因及其它原因，机器视觉应用通常使用单色传感器，其中来自所成像景象的图像数据以灰色阴影渲染。为实现单色成像，机器视觉应用有时使用经开发用于三通道双色棱镜组专业装备中的传感器。此因为不需要处理色彩信息而产生高速处理，因为整个传感器可用于感测宽带照射而产生高敏感度且因为使用所有图片元素或像素而产生高分辨率。然而，此并非是低成本解决方案，因为这些传感器成本通常比大量生产的彩色镶嵌传感器高得多。
彩色镶嵌传感器因其低成本而可期望用于机器视觉应用。作为永久附接到滤色器的结果，这些传感器不像单色传感器性能那么好，通常需要额外处理来消除色彩信息，由此形成单色图像。由于这些相机经设计以产生色彩信息，因此通常将来自这些传感器的图像数据作为三个单独(红色、绿色及蓝色)图像传输或以许多可用色彩格式中的一者对其进行编码。此处理的一个结果是降低分辨率，因为必须组合空间上分离的红色、绿色及蓝色像素以形成单个单色像素，由此降低空间分辨率。另外，滤色器降低每一像素敏感度，因此需要对场景施加更长的曝光时间及/或更多的光能，其中的任一者均是不期望的。
固态成像器对IR的敏感度众所周知。已开发了用于同时进行可见光及红外成像的方法及设备。举例来说，美国专利第3,806,633号多光谱数据传感器及显示系统(Multispectral Data Sensor and Display System)论述了一种具有光学器件的双重传感器布置以产生表现为可见光图像记录的IR图像。美国专利第4,651,001号具有堆叠式单元结构的可见光红外成像装置(Visible Infrared Imaging Device with Stacked CellStructure)试图使用新型传感器架构产生同时的可见光图像与红外图像。美国专利第5,555,464号用于CCD相机的红色光/近红外滤光(Red/Near-Infrared Filtering for CCDCameras)利用固态传感器获取可见光及红外数据的能力，其中使用新型镶嵌滤色器代替标准滤光器以不仅接纳可见光而且接纳IR光。所有这些方法除产生IR图像外还产生彩色图像或产生IR数据或IR数据与可见光数据组合的假彩色图像，所有这些情况均倾向于对机器视觉目标(即廉价、快速、高分辨率处理)产生不利影响。
CCD、CMOS及类似传感器现在存在其它主要市场，例如使用彩色镶嵌滤光器类型的彩色传感器的数码相机及蜂窝式移动电话。这些开发已导致可应用于机器视觉系统的成本大幅降低的传感器的可用性且由此降低此类系统的成本。美国专利第7,235,775号用于处理红外及可见光谱中的发射的红外成像设备(Infrared ImagingApparatus for Processing Emissions in Infrared and Visible Spectrum)中显示一种使用这些低成本传感器来使IR数据成像的系统。其中所描述的系统从传感器移除IR滤光器，用仅通过IR数据的滤光器代替所述IR滤光器。接着，所述系统依赖可见光彩色镶嵌滤光器来在IR响应中形成单独三个峰且由此形成IR波长区域中的三个光谱带的假彩色图像。此方法不能通过使用彩色镶嵌传感器获取IR数据来解决所述主要问题中的两个问题。首先，所述系统必须处理三个单独图像，此并非是优于标准可见光处理的改进。其次，所获取的三个假彩色图像相对于传感器的潜在分辨率具有降低的分辨率，因为其在空间上被多路复用。
因此，显然由于上述限制彩色镶嵌传感器已不符合与机器视觉相关联的特别要求。因此，仍需要成本降低的传感器，所述传感器可通过获得来自经彩色镶嵌滤光的固态成像器的全色响应而应用于机器视觉应用。
发明内容
本发明是一种用于模拟来自彩色镶嵌视频传感器的全色响应的方法及设备。在本发明的一个实施例中，检查描绘多色视频传感器随波长而变的响应的一组色度响应曲线，从而识别所述色度响应曲线的其中多色视频传感器对每一波长具有大致一致的响应的区域。图3是显示典型彩色镶嵌滤光器的光谱响应的曲线图40。此曲线图显示蓝色滤光器42、绿色滤光器44及红色滤光器36的量子效率百分比随波长而变的响应。注意所有三个滤光器在光谱的IR部分中的一致响应。此波长区域是在IR波长带中，在从约700纳米到1000纳米的波长中，中心为约850纳米。在市场上可购得的相机中，此波长区域通常被阻挡以防止IR辐射到达传感器且不利地影响图像。本发明移除此IR滤光器且任选地用阻挡可见光且通过IR辐射的滤光器代替所述IR滤光器。在本发明中，从此波长区域选择一或多个波长且用所识别区域内的选定波长照射将通过多色视频传感器成像的成像场景，由此从与所述成像场景相关的传感器获取IR数据。图4中显示根据本发明构造的系统的示意图，其显示附接有彩色镶嵌滤光器52的传感器50、任选IR通过滤光器54、光学组合件56、将传感器50连接到控制器60的电缆58以及照射源62，照射源62的电缆64操作地将照射源62连接到控制器60。
附图说明
图1是具有镶嵌滤光器的现有技术图像传感器的示意图
图2是现有技术彩色镶嵌固态相机的示意图。
图3是显示镶嵌滤光器的三种色彩的光谱响应的曲线图
图4是使用彩色镶嵌传感器的单色机器视觉系统的示意图
具体实施方式
图1显示与CCD或CMOS固态成像器对准的彩色镶嵌滤光器10的标准拜耳色块。其指示示范性红色12、绿色14及蓝色16滤光器元素。将此类型的滤光器适当应用于固态成像传感器需要所述滤光器的每一色彩区段与传感器中的单个有效图片元素对准。此使得每一传感器元素或像素将仅暴露于一种经过滤的色彩。此需要所述滤光器精密地与所述传感器对准并永久附接到所述传感器。通过分析图示，显而易见，对于借助绿色照射体的帮助形成的图像来说，所述图像将以实质上等效多色传感器的二分之一的分辨率形成，且对于蓝色或红色照射体来说，所得图像将是等效多色成像器的分辨率的四分之一。
对于机器视觉来说，常见做法是控制照射器，以获得光的最优几何图形及光的定时(频闪或闪光应用)。用于这些应用的大多数实际照射体常常是通常是波长仅跨越数纳米的准单色发光二极管(LED)照明设备。虽然白色LED可用于至少两种不同技术(三色及次级发射类型)中，但任一者均不可用于各种封装类型及样式的更多已确立单色LED中。此外，即使合适的宽带照射可用，但情况常常是研究的是对象的形式而不是对象的色彩，且如果呈现色彩信息(例如，通过使用彩色成像器及宽带照射体)，那么其可呈现计算时必须过滤掉或忽略的伪信息。
图2显示包含附接有彩色镶嵌滤光器22的固态传感器20的典型现有技术彩色镶嵌固态视频系统。光经由光学组合件26进入所述系统；穿过任选IR滤光器24以阻挡IR光到达所述传感器，且接着穿过彩色镶嵌滤光器22到达固态传感器20。由传感器20形成的图像数据经由电缆28传输到控制器30供处理。大多数但并非所有彩色镶嵌成像器含有IR滤光器。IR滤光器的目的是在场景中过滤掉来自IR辐射的将使成像器的色彩响应失真的外来信息。对于大多数商业应用来说，目标是准确的色彩保真度，而不是最大敏感度或分辨率。由于IR滤光器并不需要永久精确对准，因此其通常在彩色镶嵌滤光器22的顶部上附接到传感器20的外表面或包含于光学组合件中。不管IR滤光器位于系统中何处，通常可移除所述IR滤光器且视需要用另一类型的滤光器代替所述IR滤光器。
图3是显示典型彩色镶嵌滤光器的光谱响应的曲线图40。此曲线图显示蓝色滤光器42、绿色滤光器44及红色滤光器36的量子效率百分比随波长而变的响应。通过分析此图像可看出：所有带在红外区域中均具有“泄漏”。通常，借助拒绝此“带外”辐射的光学滤光器来解决此泄漏。然而，本发明利用此泄漏。在优选实施例中，在最高点及最接近匹配的响应度处选择照射体。此匹配的响应度通常出现在700纳米与1000纳米之间。在本发明的一个实施例中，以850纳米照射将导致大致全色响应。还发生以下情况：此色彩是常见LED类型且可容易地用于各种各样的封装及大小中。此类装置通常基于半导体材料砷化铝镓，其具有对应于以850纳米或接近850纳米发射的带隙。
图4显示根据本发明构造的系统。本发明实施例使用市场上可购得的彩色镶嵌成像器50或基于附接有彩色镶嵌滤光器52的彩色镶嵌成像器50的相机。近全色响应是借助所述成像器或相机通过移除IR阻挡滤光器及任选地用通过选定波长的IR辐射且阻挡可见光的滤光器54代替所述IR阻挡滤光器来实现。在优选实施例中，使用特定波长范围的准单色照射器62，具体来说是对应于其中所有三个色彩通道大致相等的成像器的光谱响应的波长范围或其子集。在此情况下，所述波长范围在700纳米与1000纳米之间。特定来说，使用约850纳米的波长。在优选实施例中，在其中对所有三个色彩通道的响应大致相等的范围内的相对响应度峰值处选择准单色照射器。在控制器60的控制下，经由电缆64连接到控制器60的照射器62在适当时间且借助一或多个选定波长照射场景(未显示)。所述场景经由光学组合件56成像，所述光学组合件56包括一或多个透镜，所述透镜操作以聚焦由照射器62发射且由场景(未显示)反射且成像于传感器50上、穿过彩色镶嵌滤光器52及任选IR通过滤光器54的IR辐射。由传感器50如此获取的图像数据经由电缆58传输到控制器60供进一步处理。
在本发明的实施例中，初始处理涉及从通过传感器传输到控制器的三个伪彩色图像形成单个单色图像。注意，可以各种方式对色彩信息进行编码。最简单的方式是RGB格式，其中传输与其传感器区的减小取样相比具有减小分辨率的三个单独图像。其它编码(例如，YUV或NTSC)也是可行的且将与此方法一起使用，尽管可能降低空间分辨率或动态范围。此初始处理通过在具有与原始实际大小传感器的相同维度的2D阵列中填充来自三个伪彩色图像的数据来形成单色图像。根据从原始传感器上获取特定像素的位置将来自“红色”、“蓝色”及“绿色”图像的数据放置于单色图像阵列中，由此形成与原始传感器具有相同固有分辨率的单色图像。此外，由于用选定为由所有三种色彩同等透射的IR光照射场景，因此所述系统对光的敏感度最大化。
本发明的另一实施例进一步处理数据以移除彩色镶嵌传感器对经过滤的IR数据的响应中的任何不一致。可设想，彩色镶嵌滤光器/传感器组合中的不同色彩可对IR辐射产生不同响应。由于本发明取决于具有来自传感器的一致响应而不考虑滤光器，因此响应中的此差异可通过借助选定IR光波长测量传感器的动态范围上的响应且基于所述响应计算校正因数来消除。这些因数可加或可乘且由控制器应用于每一像素，此取决于其是通过哪一滤色器获取的，以消除或减小彩色镶嵌滤光器的各种色彩之间的响应不一致性。
所属领域的技术人员将显而易见，在不背离本发明的基本原理的情况下可对本发明的上述实施例的细节作出许多改变。因此，本发明的范围应仅由所附权利要求书确定。
Claims (11)
1.一种模拟来自多色视频传感器的全色响应的方法，所述多色视频传感器包含多色滤色器，所述多色视频传感器操作以使成像场景成像且获取图像数据，所述方法包括：
识别色度响应曲线的其中所述多色视频传感器对多个波长具有大致一致的响应的区域；
借助具有所述所识别区域内的波长的照射源来发射光，照射所述成像场景；
当照射所述成像场景时，从所述多色视频传感器获取与所述成像场景相关的所述图像数据，其中所述图像数据包含与所述多色滤色器的各颜色相关联的伪彩色图像；及
将所述图像数据传输到控制器并根据从所述多色视频传感器上获取像素的位置，通过在具有与所述多色视频传感器的相同维度的二维阵列中填充来自每个伪彩色图像的像素数据，将所述图像数据组合成单色图像，使得所述单色图像与所述多色视频传感器具有相同固有分辨率。
2.根据权利要求1所述的方法，其进一步包括：
如果在所述大致一致的响应区域上存在任何差异，那么确定响应中的差异；及
基于所述所确定的差异将校正应用于所述图像数据。
3.根据权利要求1或2所述的方法，其中所述多色滤色器是具有红色、绿色及蓝色滤光器组件的拜耳滤光器。
4.根据权利要求1或2所述的方法，进一步包括：
将可见光滤光器添加到所述多色视频传感器，其中所述可见光滤光器允许选定波长中的红外(IR)辐射通过并且阻挡可见光。
5.根据权利要求1或2所述的方法，其中所述照射包含在700纳米到1000纳米之间的波长。
6.根据权利要求1或2所述的方法，其中所述照射包含850纳米的波长。
7.一种用于模拟来自多色视频传感器的全色响应的系统，所述多色视频传感器包含多色滤色器，所述多色视频传感器操作以使成像场景成像且获取图像数据，包括：
照射源；
控制器，其识别光谱响应曲线中所述多色传感器对多个波长具有大致一致的响应的区域；控制所述照射源以使用具有所述大致一致的响应的区域内的波长的光来照射所述成像场景；当所述照射源照射所述成像场景时，控制所述多色视频传感器以对所述成像场景成像，以获取所述图像数据，所述图像数据包含与所述多色滤色器的各颜色相关联的伪彩色图像；并且根据从所述多色视频传感器上获取像素的位置、以与所述多色视频传感器相同的维度、用来自每个伪彩色图像的像素数据，将所述图像数据组合成单色图像。
8.根据权利要求7所述的系统，其中所述多色滤色器是具有红色、绿色及蓝色滤光器组件的拜耳滤光器。
9.根据权利要求7或8所述的系统，进一步包括：
将可见光滤光器添加到所述多色视频传感器，其中所述可见光滤光器允许选定波长中的红外(IR)辐射通过并且阻挡可见光。
10.根据权利要求7或8所述的系统，其中所述照射源包含在700纳米到1000纳米之间的波长。
11.根据权利要求7或8所述的系统，其中所述照射源包含850纳米的波长。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US99264307P | 2007-12-05 | 2007-12-05 | |
| US60/992,643 | 2007-12-05 | ||
| PCT/US2008/085629 WO2009076184A2 (en) | 2007-12-05 | 2008-12-05 | Method and apparatus for achieving panchromatic response from a color-mosaic imager |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101878653A CN101878653A (zh) | 2010-11-03 |
| CN101878653B true CN101878653B (zh) | 2013-06-12 |
Family
ID=40721225
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2008801182353A Expired - Fee Related CN101878653B (zh) | 2007-12-05 | 2008-12-05 | 用于实现来自彩色镶嵌成像器的全色响应的方法及设备 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US8259203B2 (zh) |
| JP (1) | JP2011507353A (zh) |
| KR (1) | KR20100103504A (zh) |
| CN (1) | CN101878653B (zh) |
| TW (1) | TWI444050B (zh) |
| WO (1) | WO2009076184A2 (zh) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4630781B2 (ja) * | 2005-09-26 | 2011-02-09 | キヤノン株式会社 | 波長成分の割合検出装置及びそれを用いた撮像装置 |
| JP5485288B2 (ja) | 2008-11-25 | 2014-05-07 | テトラビュー， インコーポレイテッド | 高解像度三次元撮像のシステムおよび方法 |
| TW201208350A (en) * | 2010-08-06 | 2012-02-16 | Hon Hai Prec Ind Co Ltd | Image sensing board inspecting device, system and method |
| DE202012013411U1 (de) | 2011-04-25 | 2016-11-15 | Terra Bella Technologies Inc. | Systeme für Overhead-Bild- und Videoanzeige |
| JPWO2013015145A1 (ja) * | 2011-07-22 | 2015-02-23 | 三洋電機株式会社 | 情報取得装置および物体検出装置 |
| KR102112298B1 (ko) | 2013-09-30 | 2020-05-18 | 삼성전자주식회사 | 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치 |
| EP3138285A4 (en) | 2014-04-26 | 2018-01-03 | Tetravue, Inc. | Method and system for robust and extended illumination waveforms for depth sensing in 3d imaging |
| US10230925B2 (en) | 2014-06-13 | 2019-03-12 | Urthecast Corp. | Systems and methods for processing and providing terrestrial and/or space-based earth observation video |
| WO2016153914A1 (en) | 2015-03-25 | 2016-09-29 | King Abdulaziz City Of Science And Technology | Apparatus and methods for synthetic aperture radar with digital beamforming |
| CA2990063A1 (en) | 2015-06-16 | 2017-03-16 | King Abdulaziz City Of Science And Technology | Efficient planar phased array antenna assembly |
| US10178360B2 (en) * | 2015-08-03 | 2019-01-08 | Sony Corporation | Imaging sensor coupled with layered filters |
| US10955546B2 (en) | 2015-11-25 | 2021-03-23 | Urthecast Corp. | Synthetic aperture radar imaging apparatus and methods |
| FR3045263B1 (fr) * | 2015-12-11 | 2017-12-08 | Thales Sa | Systeme et procede d'acquisition d'images visibles et dans le proche infrarouge au moyen d'un capteur matriciel unique |
| EP3423858B1 (en) | 2016-02-29 | 2023-12-06 | nLIGHT, Inc. | 3d imaging system and method |
| CN106502027A (zh) * | 2016-11-22 | 2017-03-15 | 宇龙计算机通信科技(深圳)有限公司 | 一种双摄像头模组及智能设备 |
| US11378682B2 (en) | 2017-05-23 | 2022-07-05 | Spacealpha Insights Corp. | Synthetic aperture radar imaging apparatus and methods for moving targets |
| CA3064735C (en) | 2017-05-23 | 2022-06-21 | Urthecast Corp. | Synthetic aperture radar imaging apparatus and methods |
| CA3083033A1 (en) | 2017-11-22 | 2019-11-28 | Urthecast Corp. | Synthetic aperture radar apparatus and methods |
| US11212512B2 (en) | 2017-12-28 | 2021-12-28 | Nlight, Inc. | System and method of imaging using multiple illumination pulses |
| JP7354802B2 (ja) * | 2019-11-29 | 2023-10-03 | 株式会社サタケ | 光学式選別機 |
| JP2022148303A (ja) * | 2021-03-24 | 2022-10-06 | ｉ－ＰＲＯ株式会社 | 監視カメラ、画像処理方法、およびプログラム |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3806633A (en) * | 1972-01-18 | 1974-04-23 | Westinghouse Electric Corp | Multispectral data sensor and display system |
| JPS60130274A (ja) * | 1983-12-19 | 1985-07-11 | Toshiba Corp | 固体撮像装置 |
| JPH06169461A (ja) | 1992-11-30 | 1994-06-14 | Ikegami Tsushinki Co Ltd | 固体撮像素子を有するカラーカメラ |
| US5555464A (en) * | 1995-07-28 | 1996-09-10 | Lockheed Martin Corporation | Red/near-infrared filtering for CCD cameras |
| JPH10108206A (ja) * | 1996-09-27 | 1998-04-24 | Toshiba Lighting & Technol Corp | カラービデオカメラ、テレビドアホン及び監視装置 |
| US6999119B1 (en) * | 1998-04-10 | 2006-02-14 | Nikon Corporation | Image-capturing element, image-capturing circuit for processing signal from image-capturing element, image-capturing device, driving method of image-capturing element |
| JP2001195688A (ja) * | 2000-01-17 | 2001-07-19 | Mitsubishi Electric Corp | 撮像装置 |
| US20030016290A1 (en) * | 2001-07-18 | 2003-01-23 | Oh-Bong Kwon | Multi-functional image sensing device |
| JP2006109120A (ja) * | 2004-10-06 | 2006-04-20 | Funai Electric Co Ltd | 赤外線撮像装置 |
| JP4678172B2 (ja) | 2004-11-22 | 2011-04-27 | 株式会社豊田中央研究所 | 撮像装置 |
| JP4630781B2 (ja) * | 2005-09-26 | 2011-02-09 | キヤノン株式会社 | 波長成分の割合検出装置及びそれを用いた撮像装置 |
| JP4466569B2 (ja) * | 2006-01-10 | 2010-05-26 | 株式会社豊田中央研究所 | カラー画像再生装置 |
| JP4310317B2 (ja) * | 2006-02-06 | 2009-08-05 | キヤノン株式会社 | 可視成分割合算出方法、およびそれを用いた光学機器 |
| JP4375348B2 (ja) * | 2006-03-08 | 2009-12-02 | ソニー株式会社 | 撮像装置及び撮像装置の制御方法 |
| JP4930109B2 (ja) * | 2007-03-06 | 2012-05-16 | ソニー株式会社 | 固体撮像装置、撮像装置 |
-
2008
- 2008-12-05 WO PCT/US2008/085629 patent/WO2009076184A2/en active Application Filing
- 2008-12-05 KR KR1020107012779A patent/KR20100103504A/ko not_active Application Discontinuation
- 2008-12-05 TW TW097147519A patent/TWI444050B/zh not_active IP Right Cessation
- 2008-12-05 CN CN2008801182353A patent/CN101878653B/zh not_active Expired - Fee Related
- 2008-12-05 US US12/328,881 patent/US8259203B2/en not_active Expired - Fee Related
- 2008-12-05 JP JP2010537098A patent/JP2011507353A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN101878653A (zh) | 2010-11-03 |
| TWI444050B (zh) | 2014-07-01 |
| US8259203B2 (en) | 2012-09-04 |
| JP2011507353A (ja) | 2011-03-03 |
| WO2009076184A3 (en) | 2009-07-30 |
| KR20100103504A (ko) | 2010-09-27 |
| US20090147112A1 (en) | 2009-06-11 |
| TW200943983A (en) | 2009-10-16 |
| WO2009076184A2 (en) | 2009-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101878653B (zh) | 用于实现来自彩色镶嵌成像器的全色响应的方法及设备 | |
| US11425349B2 (en) | Digital cameras with direct luminance and chrominance detection | |
| US7235775B2 (en) | Infrared imaging apparatus for processing emissions in infrared and visible spectrum | |
| JP4118916B2 (ja) | マルチスペクトル画像撮影装置 | |
| JP6582987B2 (ja) | 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ | |
| US7483065B2 (en) | Multi-lens imaging systems and methods using optical filters having mosaic patterns | |
| US8749672B2 (en) | Digital camera having a multi-spectral imaging device | |
| JP4633129B2 (ja) | マルチスペクトル画像撮影装置 | |
| CN103201602B (zh) | 具有至少两个独立数字照相机的数字多光谱照相机系统 | |
| JP2004228662A (ja) | 撮像装置 | |
| US20130258112A1 (en) | Visible light and ir hybrid digital camera | |
| EP2630788A1 (en) | System and method for imaging using multi aperture camera | |
| CN1441603A (zh) | 四色图像感测装置 | |
| KR20070011429A (ko) | 디지털 이미징 시스템을 이용하여 오브젝트로부터 광의대안적 형태의 재생 | |
| JP2014064196A (ja) | 撮像装置 | |
| WO2021041928A1 (en) | Systems and methods for creating a full-color image in low light | |
| US8976275B2 (en) | Color imaging element | |
| JP5108013B2 (ja) | カラー撮像素子及びこれを用いた撮像装置及びフィルタ | |
| JP2014016537A (ja) | 撮像装置 | |
| JP2011254265A (ja) | 多眼カメラ装置および電子情報機器 | |
| KR20140032744A (ko) | 이미징 카메라 모듈 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20130612 Termination date: 20141205 |
|
| EXPY | Termination of patent right or utility model |