CN110574368B - 固态摄像装置、摄像系统以及物体识别系统 - Google Patents
固态摄像装置、摄像系统以及物体识别系统 Download PDFInfo
- Publication number
- CN110574368B CN110574368B CN201880027840.3A CN201880027840A CN110574368B CN 110574368 B CN110574368 B CN 110574368B CN 201880027840 A CN201880027840 A CN 201880027840A CN 110574368 B CN110574368 B CN 110574368B
- Authority
- CN
- China
- Prior art keywords
- light
- infrared
- visible light
- pixel
- solid
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 72
- 238000001514 detection method Methods 0.000 claims abstract description 113
- 238000005286 illumination Methods 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 17
- 230000035945 sensitivity Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 28
- 230000003287 optical effect Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 10
- 230000004048 modification Effects 0.000 description 10
- 238000000034 method Methods 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000002596 correlated effect Effects 0.000 description 7
- 230000000875 corresponding effect Effects 0.000 description 7
- 230000003595 spectral effect Effects 0.000 description 6
- 230000033001 locomotion Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000010030 laminating Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Abstract
提供一种能够在从通常照度到黑暗处(零勒克斯)的广范围的照度环境中高灵敏度地拍摄彩色图像的固态摄像装置和摄像系统。在固态摄像装置(1)中设置有：第一检测部(11)，接收第一可见光的第一可见光像素与接收第一近红外光的第一近红外像素彼此相邻地设置在该第一检测部(11)；第二检测部(12)，接收第二可见光的第二可见光像素与接收第二近红外光的第二近红外像素彼此相邻地设置在该第二检测部(12)，该第二可见光的波长与第一可见光的波长不同；以及第三检测部(13)，接收第三可见光的第三可见光像素与接收第三近红外光的第三近红外像素彼此相邻地设置在该第三检测部(13)，该第三可见光的波长与第一可见光及第二可见光的波长不同。
Description
技术领域
本发明涉及一种彩色图像摄影用的固态摄像装置和摄像系统。更详细地说，涉及一种检测特定波长的近红外光并生成彩色图像的技术。
背景技术
提出了一种图像摄影装置(参照专利文献1)，对由被摄体反射后的红外线或由被摄体辐射的红外线进行检测，并形成被摄体的彩色图像。在专利文献1所记载的图像摄影装置中，利用在近红外波长区域中也能够观察到与可见光波长区域同样的被摄体光谱反射率特性的情形，根据近红外光生成彩色图像。具体地说，检测与在可见光下视觉观察同一被摄体时的颜色之间的相关性高的近红外区域的光，根据其检测信息模拟地生成显示颜色。如果利用该技术，则在极低照度环境、黑暗处也能够拍摄彩色图像。
另一方面，为了实现专利文献1所记载的技术，需要检测与红色光(R)、绿色光(G)以及蓝色光(B)对应的三种近红外光(NIR-R、NIR-G、NIR-B)。以往，作为能够检测可见光区域的光和近红外区域的光两方的固态摄像元件，例如提出了将用于检测红色光(R)、绿色光(G)或蓝色光(B)的像素和用于检测近红外光(NIR)的像素在同一基板上排列的固态摄像元件(例如参照专利文献2～4)。
另外，还提出一种由同一像素分别检测红色光(R)、绿色光(G)或蓝色光(B)以及与红色光(R)、绿色光(G)或蓝色光(B)对应的三种近红外光(NIR-R、NIR-G、NIR-B)的光检测装置(参照专利文献5、6)。例如，在专利文献5所记载的光检测装置中，将具备仅使红色光(R)及与其对应的近红外光(NIR-R)透过的光学滤波器、仅使绿色光(G)及与其对应的近红外光(NIR-G)透过的光学滤波器以及仅使蓝色光(B)及与其对应的近红外光(NIR-B)透过的光学滤波器的像素周期性地进行配置。
现有技术文献
专利文献
专利文献1：国际公开第2011/013765号
专利文献2：国际公开第2007/086155号
专利文献3：日本特开2008-244246号公报
专利文献4：日本特开2016-174028号公报
专利文献5：国际公开第2015/159651号
专利文献6：国际公开第2016/158128号
发明内容
发明要解决的问题
然而，在上述以往的固态摄像元件中存在下面所示的问题点。首先，专利文献2～4所记载的固态摄像元件中的近红外光检测用像素由于是通过不设置红外线滤波器而仅设置RGB的滤色器(color filter)来阻断可见光的入射的结构，因此在这些固态摄像元件中无法选择性地对特定波长的近红外光进行检测。即，在专利文献2～4所记载的固态摄像元件中，难以进行极低照度环境、黑暗处的彩色图像的拍摄。
另一方面，专利文献5、6所记载的光检测装置虽然假定应用到了专利文献1所记载的技术，但是难以设计仅使可见光区域的特定波长和近红外区域的特定波长透过并将除此以外的光反射的光学滤波器。另外，在将像这样的光学滤波器设为专利文献5所记载那样的将高折射层与低折射层进行层叠所得到的结构的情况下，要求高精度的膜厚控制，从而制造工艺也变得更繁杂。因此，专利文献5、6所记载的光检测装置从制造成本、制造工艺方面被要求进一步改进。
因此，本发明的目的在于提供一种能够在从通常照度到黑暗处(零勒克斯(lux))的广范围的照度环境中高灵敏度地拍摄彩色图像的固态摄像装置和摄像系统。
用于解决问题的方案
本发明所涉及的固态摄像装置具有：第一检测部，接收第一可见光的第一可见光像素与接收第一近红外光的第一近红外像素彼此相邻地设置在所述第一检测部；第二检测部，接收第二可见光的第二可见光像素与接收第二近红外光的第二近红外像素彼此相邻地设置在所述第二检测部，所述第二可见光的波长与所述第一可见光的波长不同；以及第三检测部，接收第三可见光的第三可见光像素与接收第三近红外光的第三近红外像素彼此相邻地设置在所述第三检测部，所述第三可见光的波长与所述第一可见光及所述第二可见光的波长不同。
在该固态摄像装置中，也可以是，通过所述第一近红外像素还接收所述第一可见光，通过所述第二近红外像素还接收所述第二可见光，通过所述第三近红外像素还接收所述第三可见光。
例如，所述第一可见光、所述第二可见光以及所述第三可见光分别为红色光、绿色光以及蓝色光。
在本发明的固态摄像装置中，能够将所述第一近红外光设为与所述第一可见光具有相关性的近红外区域的光，将所述第二近红外光设为与所述第二可见光具有相关性的近红外区域的光，将所述第三近红外光设为与所述第三可见光具有相关性的近红外区域的光。
或者，本发明的固态摄像装置能够通过所述第一近红外像素、所述第二近红外像素以及所述第三近红外像素来接收波长不同的两种或三种近红外光。即，所述第一近红外光、所述第二近红外光以及所述第三近红外光中的两种光可以为相同波长的光。
或者，在本发明的固态摄像装置中，也能够是，在所述第二近红外像素和/或所述第三近红外像素中，接收包含如下光中的两种以上的光的频带的光：与所述第一可见光具有相关性的近红外区域的光；与所述第二可见光具有相关性的近红外区域的光；以及与所述第三可见光具有相关性的近红外区域的光。
本发明的固态摄像装置也可以是，所述第一检测部、所述第二检测部以及所述第三检测部设置在同一元件上。
或者，本发明的固态摄像装置也能够设为如下结构：所述第一检测部、所述第二检测部以及所述第三检测部设置于互不相同的元件，所述固态摄像装置具有分光元件，所述分光元件将来自被摄体的光进行分光并朝向所述第一检测部、所述第二检测部以及所述第三检测部射出。
并且，也可以是，在本发明的固态摄像装置中设置有图像生成部，所述图像生成部使用由所述第一检测部、所述第二检测部以及所述第三检测部获取到的信号生成彩色图像。
在所述图像生成部中，例如将由所述第一可见光像素、所述第二可见光像素以及所述第三可见光像素检测出的可见光成分与由所述第一近红外像素、所述第二近红外像素以及所述第三近红外像素检测出的近红外光成分以任意比率合成来生成彩色图像。
本发明所涉及的摄像系统具备：上述的固态摄像装置；以及光照射装置，其向被摄体照射近红外光。
在该摄像系统中，也可以是，在所述固态摄像装置中设置有照明光控制部，所述照明光控制部基于由各检测部对可见光和近红外光进行检测的检测结果，来控制从所述光照射装置射出的近红外光的光量。
本发明所涉及的物体识别系统具有：光源，其安装于对象物体，发出特定波长的近红外光；光检测器，其对从所述光源射出的近红外光进行检测；以及数据处理装置，其具备物体判定部和物体识别部，所述物体判定部根据所述光检测器的检测结果判定所述对象物体是否存在于检测区域内，所述物体识别部根据由所述光检测器检测出的近红外光的波长信息来识别所述对象物体，
在该情况下，也可以是，使用上述的固态摄像装置作为所述光检测器，在所述数据处理装置的物体识别部中，根据由所述光检测器检测出的近红外光的波长，获取附加于所述对象物体的颜色信息，根据所述颜色信息来识别所述对象物体。
在该物体识别系统中，也可以是，还具有摄像装置，所述摄像装置用于拍摄所述检测区域的可见光图像，在所述数据处理装置中设置有图像合成部，所述图像合成部对由所述摄像装置拍摄到的可见光图像附加由所述物体识别部获取到的所述对象物体的颜色信息或与所述颜色信息关联起来的任意的信息。
也可以是，本发明的物体识别系统具有显示装置，该显示装置显示所述数据处理装置的处理结果。
发明的效果
根据本发明，能够在从通常照度到黑暗处(零勒克斯)的广范围的照度环境中高灵敏度地进行摄影，在低照度下也能够获得彩色图像。
附图说明
图1是示出本发明的第一实施方式的固态摄像装置的基本结构的概念图。
图2的A是示出具备检测部11～13的固态摄像元件的像素配置例的图，图2的B是示出设置在图2的A的各像素上的光学滤波器的光谱特性的图。
图3的A是示出具备检测部11～13的固态摄像元件的其它的像素配置例的图，图3的B是示出设置在图3的A的各像素上的光学滤波器的光谱特性的图。
图4的A是示出具备检测部11～13的固态摄像元件的其它的像素配置例的图，图4的B是示出设置在图4的A的各像素上的光学滤波器的光谱特性的图。
图5的A～C是示出具备检测部11～13的固态摄像元件的其它的像素配置例的图。
图6是示出在使用图2所示的像素排列的固态摄像元件的情况下获得的检测成分的图。
图7是示出在使用图3所示的像素排列的固态摄像元件的情况下获得的检测成分的图。
图8是示出在使用图4所示的像素排列的固态摄像元件的情况下获得的检测成分的图。
图9是示意性地示出本发明的第一实施方式的第一变形例的固态摄像装置的结构的图。
图10的A～C是分别示出检测部21、22、23中的像素配置例的图。
图11是示出本发明的第二实施方式的固态摄像装置的概念图。
图12是示出图11所示的图像生成部35的结构例的图。
图13是示出本发明的第三实施方式的摄像系统的概念图。
图14是示意性地示出本发明的第四实施方式所涉及的物体识别系统的结构的图。
图15是示出本发明的第五实施方式所涉及的固态摄像元件的像素配置例的图。
图16是示出本发明的第五实施方式所涉及的固态摄像元件的其它的像素配置例的图。
具体实施方式
下面，参照附图详细地说明用于实施本发明的方式。此外，本发明不限定于下面说明的实施方式。
(第一实施方式)
首先，对本发明的第一实施方式所涉及的固态摄像装置进行说明。本实施方式的固态摄像装置具有检测对象的波长范围不同的三种以上的检测部，在该检测部中，将接收可见光的像素(可见光像素)与接收近红外光的像素(近红外像素)彼此相邻地设置。图1是示出本实施方式的固态摄像装置的基本结构的概念图。
如图1所示，本实施方式的固态摄像装置1具备对由被摄体反射后的光、从被摄体辐射出的光进行检测的第一检测部11、第二检测部12以及第三检测部13。在这些检测部11～13中，对特定波长的可见光和近红外光进行检测，并输出例如基于可见光的信号S1、S2、S3以及基于近红外光的信号SIR1、SIR2、SIR3。
[可见光像素]
设置于第一检测部11的第一可见光像素、设置于第二检测部12的第二可见光像素以及设置于第三检测部13的第三可见光像素分别接收不同波长的可见光。例如，在由第一可见光像素接收红色光R的情况下，由第二可见光像素接收绿色光G，由第三可见光像素接收蓝色光B。
在该情况下，检测部11～13的各可见光像素只要设为在将所入射的光检测为电信号的光电转换层上设置有对除红色光R以外的可见光进行反射和/或吸收的红色光滤波器、对除绿色光G以外的可见光进行反射和/或吸收的绿色光滤波器以及对除蓝色光B以外的可见光进行反射和/或吸收的蓝色光滤波器的结构即可。
光电转换层是在硅等的衬底上形成多个光电转换部而成的，红色光滤波器、绿色光滤波器以及蓝色光滤波器形成于各自对应的光电转换部上。光电转换层的结构没有特别限定，能够采用CCD(Charge Coupled Device：电荷耦合元件)、CMOS(Complementary MetalOxide Semiconductor：互补金属氧化物半导体)结构等。
此外，设置在光电转换层上的各滤色器的透过波长不限定于上述的红色光R、绿色光G以及蓝色光B，能够根据固态摄像装置的规格等适当地选择。另外，形成各滤色器的材料也没有特别限定，能够使用公知的材料。
[近红外像素]
另一方面，设置于第一检测部11的第一近红外像素、设置于第二检测部12的第二近红外像素以及设置于第三检测部13的第三近红外像素对两种以上的波长的光进行检测。即，检测部11～13的近红外像素可以是分别接收不同波长的近红外光，但是也可以是不同的检测部的近红外像素接收相同波长的近红外光。
在由各检测部接收不同波长的近红外光的情况下，第一～第三近红外像素能够分别接收与由上述的第一～第三可见光像素接收的可见光具有相关性的近红外区域的光。例如，在由第一～第三可见光像素分别接收红色光(R)、绿色光(G)、蓝色光(B)的情况下，在第一～第三近红外像素中接收与RGB具有相关性的近红外光。
检测部11～13的各近红外像素能够设为在光电转换层上设置有如干涉滤波器等那样选择性地使特定波长的近红外光透过的光学滤波器。在由第一～第三近红外像素接收与RGB具有相关性的近红外光的情况下，例如设为在第一近红外像素设置有波长比800nm长的近红外光的透过率为50％以下的短波通滤波器(short pass filter)、在第二近红外像素设置有中心波长为850nm的带通滤波器(band pass filter)、在第三近红外像素设置有波长比890nm短的近红外光的透过率为50％以下的长波通滤波器(long pass filter)的结构即可。
另外，例如也能够是，第一近红外像素接收与由第一可见光像素接收的可见光具有相关性的近红外区域的光，第二近红外像素和第三近红外像素接收与由第三可见光像素接收的可见光具有相关性的近红外区域的光、与由第二可见光像素接收的可见光具有相关性的近红外区域的光、或者包含这两方的宽频带的光。
并且，在本实施方式的固态摄像装置1中，可以将第一～第三近红外像素设为仅接收近红外光的结构，但是也能够设为接收近红外光并且接收可见光的结构。由此，能够确保利用可见光进行摄影时的灵敏度且不使S/N(Signal/Noise：信号/噪声)比降低地实现利用近红外光进行的彩色摄影。
[结构例]
在本实施方式的固态摄像装置1中，能够将各检测部11～13形成在一个固态摄像元件上。图2的A、图3的A、图4的A是具备检测部11～13的固态摄像元件的像素配置例，图2的B、图3的B、图4的B是示出设置在各像素上的光学滤波器的光谱特性的图。另外，图6～图8是分别示出在使用图2～图4所示的像素排列的固态摄像元件的情况下获得的检测成分的图。
在将三种检测部11～13设置在同一元件上的情况下，例如能够采用具有图2的A、图3的A、图4的A所示的重复单位的像素配置。在图2的A所示的像素配置的固态摄像元件中，如图2的B所示，由第一检测部11检测红色光R及与红色光具有相关性的近红外光IRR。另外，由第二检测部12检测绿色光G及与绿色光具有相关性的近红外光IRG。并且，由第三检测部13检测蓝色光B及与蓝色光具有相关性的近红外光IRB。
在此，例如，近红外光IRR为700nm～830nm的范围内任意波长的光，近红外光IRG为880nm～1200nm的范围内任意波长的光，近红外光IRB为830nm～880nm的范围内任意波长的光，分别是不同波长的光。
在该像素配置的情况下，关于可见光，由各可见光像素直接检测出红色光R、绿色光G、蓝色光B，但是在近红外像素中检测出可见光和近红外光两方，因此如图6所示那样，通过从由近红外像素检测出的成分中去除由可见光像素检测出的成分，能够提取出与RGB具有相关性的近红外光IRR、IRG、IRB。
像这样，图2的A所示的像素配置能够针对可见光检测三种波长成分、针对近红外光检测三种波长成分，因此在超低照度下、黑暗处(零勒克斯)也能够获得颜色再现性优异的彩色图像。另外，由于该像素配置的固态摄像元件针对每个波长用不同的像素来进行检测，因此各像素的设计容易，膜结构也能够简单化，因此相比于以往的产品能够容易地制造。
另一方面，图3的A和图4的A为重视灵敏度的像素配置的例子。在图3的A所示的像素配置的情况下，如图3的B所示，由第一检测部11检测红色光R及与红色光具有相关性的近红外光IRR。另外，由第二检测部12检测绿色光G及与绿色光具有相关性的近红外光IRG。并且，由第三检测部13检测蓝色光B及与绿色光具有相关性的近红外光IRG。
另外，在图4的A所示的像素配置的情况下，如图4的B所示，由第一检测部11检测红色光R及与红色光具有相关性的近红外光IRR。另外，由第二检测部12检测绿色光G及包括与红色光具有相关性的近红外光IRR到与绿色光具有相关性的近红外光IRG的宽频带的光IRW。并且，由第三检测部13检测蓝色光B及与绿色光具有相关性的近红外光IRG。
在图3和图4所示的像素配置的固态摄像元件中，如图7和图8所示那样，关于近红外成分，仅分离提取出与红色光R具有相关性的近红外光IRR及与绿色光G具有相关性的近红外光IRG，不检测仅与蓝色光B具有相关性的近红外光IRB。由此，各近红外像素的检测波长的选择范围扩大，因此能够使低照度下的彩色摄影的灵敏度提高。
此外，在图2～图4中示出由四个像素构成一个检测部的例子，但是本发明不限定于此，只要是将可见光像素与近红外像素相邻配置即可，构成各检测部的像素的数量不限。图5的A～C是示出具备检测部11～13的固态摄像元件的其它的像素配置例的图。具体地说，也能够如具有图5的A和图5的B所示的重复单位的像素配置那样由两个像素构成一个检测部，在该情况下，可见光像素与近红外像素的排列为纵向排列和横向排列均可。
另外，在由四个像素构成一个检测部的情况下，也是只要在检测部内将可见光像素与近红外像素相邻配置即可，也可以如图5的C那样，在重复单位中与相邻的其它检测部的各像素之间，可见光像素与近红外像素不相邻配置。即，在本实施方式的固态摄像元件中，可以是如图5的C所示的像素配置那样，将设置于检测部11的接收红色光R的可见光像素与设置于检测部12的接收绿色光G的可见光像素相邻配置。
并且，在图1～图4中示出了设置有三个检测部11～13的例子，但是本发明不限定于此，也能够是设置将可见光像素与近红外像素彼此相邻地配置且至少可见光域的检测波长互不相同的四种以上的检测部。
在本实施方式的固态摄像装置中，具有将可见光像素与近红外像素彼此相邻地配置的三种以上的检测部，检测三种波长以上的可见光和两种波长以上的近红外光，因此能够使用由各检测部检测出的可见光、近红外光或可见光和近红外光两方来生成彩色图像。因此，通过使用本实施方式的固态摄像装置，能够在从通常照度到黑暗处(零勒克斯)的广范围的照度环境中进行彩色图像的摄影。特别是在如没有人工照明的夜间等那样可见光的光量显著低下的环境中，通过使用可见光和近红外光两方生成彩色图像，能够获得噪声少且颜色再现性优异的彩色图像。
在本实施方式的固态摄像装置中，在通常照度下也检测近红外光，并能够使用其检测信号来进行校正，因此不需要另外设置红外截止滤波器。同样地，在利用由近红外像素获得的信号生成彩色图像的情况下，也是由于能够使用可见光成分进行校正来进行颜色调整，因此不需要另外设置可见光截止滤波器(使红外光通过)。由此，能够使装置结构简单化。
(第一实施方式的第一变形例)
接着，对本发明的第一实施方式的第一变形例所涉及的固态摄像装置进行说明。上述的第一实施方式的固态摄像装置采用了将三个检测部形成在同一元件上的结构，但是本发明不限定于此，也可以是各检测部分别形成于不同的固态摄像元件。
图9是示意性地示出本变形例的固态摄像装置的结构的图，图10的A～C是分别示出各检测部21、22、23中的像素配置例的图。如图9所示，本变形例的固态摄像装置2是将具备接收可见光的可见光像素和接收近红外光的近红外像素的检测部21、22、23分别设置于独立的固态摄像元件。而且，在该固态摄像装置2中设置有分光元件24，该分光元件24将来自被摄体的光(可见光、近红外光)按特定波长进行分光并朝向各检测部21、22、23射出。
[检测部21～23]
本变形例的固态摄像装置2的各检测部21～23例如能够设为具有如图10的A～C所示的重复单位的像素配置。在该情况下，由第一检测部21检测红色光R及与红色光具有相关性的近红外光IRR。另外，由第二检测部22检测绿色光G及与绿色光具有相关性的近红外光IRG，由第三检测部23检测蓝色光B及与蓝色光具有相关性的近红外光IRB。
本变形例的固态摄像装置2将通过分光元件24按特定波长进行分光后的光入射到各像素，因此不需要在检测部21～23的各像素中设置滤色器。此外，也可以是在可见光像素R、G、B中设置红外线截止滤波器。另外，各检测部21～23的像素配置不限定于图10的A～C所示的像素配置，与上述的第一实施方式同样地，只要是将可见光像素与近红外像素相邻配置即可，重复单位的数量、每个单位的像素的数量不特别地限定。
[分光元件24]
作为分光元件24，例如能够使用分光棱镜(dichroic prism)等，但是只要能够对检测对象的光进行分光即可，种类、特性不特别地限定。
本变形例的固态摄像装置是针对每个检测部设置固态摄像元件，因此与图2～图5所示的将多个检测部设置在同一元件上的结构相比，像素的结构变得简单，从而能够降低固态摄像元件的制造成本。另外，在本变形例的固态摄像装置中，通过三个检测部所对应的像素来检测从一束光分光出的光，因此能够针对一个区域检测波长不同的三种光，并且由于同一波长的像素间的密度也得以提高，因此能够确保更高的分辨率。此外，本变形例的固态摄像装置中的除上述以外的结构和效果与上述的第一实施方式是同样的。
(第二实施方式)
接着，对本发明的第二实施方式所涉及的固态摄像装置进行说明。图11是示出本实施方式的固态摄像装置的概念图。此外，在图11中，对与图1所示的固态摄像装置相同的结构要素标注相同的标记，并省略其详细说明。如图11所示，本实施方式的固态摄像装置3除了设置有第一～第三检测部11、12、13以外，还设置有图像生成部31。
[图像生成部31]
图12是示出图像生成部31的结构例的图。图像生成部31基于从第一～第三检测部11、12、13输出的可见光信号S1、S2、S3、近红外光信号SIR1、SIR2、SIR3生成彩色图像。例如在“白天模式”的情况下，图像生成部31仅利用来自可见光像素的可见光信号S1、S2、S3生成彩色图像，在“夜间模式”的情况下，图像生成部31仅利用来自近红外像素的近红外信号SIR1、SIR2、SIR3生成彩色图像。
另外，图像生成部31也能够使用可见光信号S1、S2、S3以及近红外信号SIR1、SIR2、SIR3两方来生成彩色图像。在将可见光信号和近红外信号进行合成的情况下，图像生成部31例如图12所示那样能够设为根据可见光成分与近红外光成分之比来决定它们的合成比的结构。
例如，在针对全部像素位置决定一个合成比的情况下，能够使用一定像素范围的积分值等。此时，期望对象像素范围是在观察时受到重视那样的有效区域内的位置，但是在针对有效区域难以设置各响应水平的检测部的情况下，作为简单的替代方法，可以是在作为有效像素的外侧的端部设置小规模的检测专用区域，仅根据该区域的检测结果进行判断。另外，在针对各像素区域以不同的比率进行合成的情况下，能够使用相邻像素的响应、或者使用针对周边像素的响应局部地进行滤波处理所得到的结果。进行比较的两种成分的对不仅可以使用一组信息，也可以使用多组信息，还可以通过任意的加权平均等换算为一个代表性的成分比信息来进行利用。
另外，关于可见光成分与近红外成分的合成比，例如可以直接应用计算出的成分比率，也可以是对计算出的成分比率有意地进行调制。作为调制的方法，例如列举“仅将成分比信息非线性地进行应用”、“如果近红外光的成分比不为固定以上则不提供近红外的合成比”、“设定还与其它信息进行组合而得到的追加条件”、“在自动曝光机构仅以可见光成分进行判断的入射光量越小、或者(曝光校正用)增益值越大则提供近红外的合成比。”等。
本实施方式的固态摄像装置检测三种波长以上的可见光和两种波长以上的近红外光，因此能够在从通常照度到黑暗处(零勒克斯)的广范围的照度环境中进行摄影，并能够生成高分辨率的彩色图像。另外，本实施方式的固态摄像装置能够任意地设定可见光成分与近红外成分的合成比率，因此能够根据使用环境等进行最佳的设定，从而通用性优异。
此外，图像生成部也可以不被内置于固态摄像装置，例如也能够通过安装于计算机的程序来执行上述的各处理。另外，本实施方式的固态摄像装置中的除上述以外的结构和效果与上述的第一实施方式及其变形例相同。
(第三实施方式)
接着，对本发明的第三实施方式所涉及的摄像系统进行说明。图13是示出本实施方式的摄像系统的结构例的图。如图13所示，本实施方式的摄像系统具备固态摄像装置4、以及向被摄体6照射作为照明光的近红外光的光照射装置5。
在该摄像系统的固态摄像装置4中设置有照明光控制部41，该照明光控制部41基于由检测部11、12、13对可见光和近红外光进行检测的检测结果，来控制从光照射装置5射出的照明光(近红外光)的光量。在该摄像系统中，例如，能够优先地对入射光进行优化，根据其结果来决定合成比。
例如，在图像生成部31中判断为可见光的信号水平低时，照明光控制部41使得照射近红外光，或者以使可见光的信号水平和近红外光的信号水平满足固定基准的方式对照射光量进行调制。另外，在光照射装置5能够按波长区域不同的多个种类的各光源操作光量的情况下，也能够使光谱分布最佳化。
在本实施方式的摄像系统中，基于从检测部输出的可见光信号和近红外信号，来控制向被摄体照射照明光(近红外光)的光照射装置5，因此能够始终以最佳的条件进行彩色摄影。与不进行光照射的控制地进行摄影并在后面仅通过信号处理来进行校正的情况相比，本实施方式的摄像系统能够更适当地保持信号处理前的摄像阶段的信号，因此例如能够兼顾颜色再现性和S/N比并在两方中保持图像质量的平衡的范围扩大。由此，能够在到黑暗处(零勒克斯)为止的广范围的照度环境中稳定地进行彩色摄影。
此外，本实施方式的摄像系统中的除上述以外的结构和效果与上述的第一实施方式、第一实施方式的变形例以及第二实施方式是同样的。
(第四实施方式)
接着，对本发明的第四实施方式所涉及的物体识别系统进行说明。图14是示意性地示出本实施方式的物体识别系统的结构。如图14所示，本实施方式的物体识别系统具有安装于对象物体50的发出特定波长的近红外光的光源52a～52c、对从光源52a～52c射出的近红外光进行检测的光检测器53以及具备物体判定部和物体识别部的数据处理装置(未图示)。
而且，在本实施方式的物体识别系统中，通过光检测器53来拍摄具备光源52a～52c中的任一个光源的多个对象物体50来记录其移动轨迹，并且根据从光源52a～52c发出的近红外光的波长来识别对象物体50。此外，在图14中还示出除对象物体50以外的物体(人、树等)。
[光源52a～52c]
光源52a～52c为发出互不相同的波长的近红外光的发光元件，例如能够使用红外发光二极管等。另外，作为光源，也可以取代发光元件而使用仅对特定波长的近红外光进行反射的材料或包含像这样的材料的涂料。
安装于对象物体50的光源52a～52c不需要是光源的发光波长均不同，例如也可以是对多个对象物体50安装发出相同波长的光源，并针对各组进行识别或移动轨迹的检测。另外，光源的发光波长也不限定于三种，能够根据对象物体50的数量或对象物体组的数量适当地设定，例如，在对象物体50为一个或一组的情况下，能够使用发出近红外光的一种发光元件。
[光检测器53]
光检测器53只要是能够将从光源52a～52c发出的近红外光分别按各波长区分地进行检测并记录即可，例如能够使用上述的第一和第二实施方式的固态摄像装置。另外，在光源52a、52b、52c分别为发出近红外光NIR-R、NIR-G、NIR-B的红外发光二极管的情况下，对于光检测器53，只要使用具备能够与可见光中的红色光(R)、绿色光(G)以及蓝色光(B)同样地区分地检测近红外光NIR-R、NIR-G、NIR-B的摄像元件的光检测器即可。
此外，光检测器53只要至少能够检测近红外光即可，而例如也可以是同时拍摄近红外像和可见光像并将各图像叠加地进行记录或显示。在该情况下，可以是通过一个摄像装置来拍摄近红外像和可见光像两方，也可以是分别通过不同的装置进行拍摄。
[数据处理装置]
在数据处理装置中设置有：物体判定部，其根据光检测器53的检测结果来判定对象物体50是否存在于检测区域内；以及物体识别部，其根据由光检测器53检测出的近红外光的波长信息来识别对象物体50。物体识别部例如根据由光检测器检测出的近红外光的波长，获取附加于对象物体的颜色信息，根据颜色信息来识别对象物体。
另外，在还具有对检测区域的可见光图像进行拍摄的摄像装置的情况下，在数据处理装置中也可以设置有图像合成部，该图像合成部在由摄像装置拍摄到的可见光图像中附加由物体识别部获取到的对象物体的颜色信息、与该颜色信息相关联的任意的信息。在此，作为预先与颜色信息关联起来的信息，列举对象物体的名称、特征等，但是不限定于这些，能够根据目的适当地设定。
该数据处理装置的处理结果例如被显示于另外设置的显示装置。具体地说，在利用可见光拍摄到的静止图像或运动图像上，以规定的颜色显示对象物体50的位置、移动轨迹、或者显示表示对象物体50的记号、图示(illustration)等。
本实施方式的物体识别系统利用近红外光来识别对象物体，因此即使在例如对人群中的人的运动进行监视的情况等那样存在大量的除对象物体以外的物体的情况下，也能够容易且可靠地确定对象物体的有无、对象物体的位置，并获取其移动轨迹。另外，由于在本实施方式的物体识别系统中使用的近红外光是人所看不到的，因此即使在对人使用的情况下，也能够不使人产生不自然感地进行利用。
(第五实施方式)
接着，对本发明的第五实施方式所涉及的固态摄像元件进行说明。图15和图16是示出本实施方式的固态摄像元件的像素配置例的图。本发明的固态摄像装置也能够使用图15和图16所示的具有重复单位的像素配置的固态摄像元件。通过如图15和图16所示的固态摄像元件那样密集地配置检测绿色光G及与绿色光具有相关性的近红外光IRG的像素，能够提高亮度分辨率。
附图标记说明
1～4：固态摄像装置；5：光照射装置；6：被摄体；11～13、21～23：检测部；24：分光元件；31：图像生成部；41：照射控制部；50：对象物体；52a～52c：光源；53：光检测器。
Claims (13)
1.一种固态摄像装置，具有：
第一检测部，接收第一可见光的第一可见光像素与接收第一近红外光的第一近红外像素彼此相邻地设置在所述第一检测部；
第二检测部，接收第二可见光的第二可见光像素与接收第二近红外光的第二近红外像素彼此相邻地设置在所述第二检测部，所述第二可见光的波长与所述第一可见光的波长不同；以及
第三检测部，接收第三可见光的第三可见光像素与接收第三近红外光的第三近红外像素彼此相邻地设置在所述第三检测部，所述第三可见光的波长与所述第一可见光及所述第二可见光的波长不同，
其中，所述第一检测部、所述第二检测部以及所述第三检测部设置在同一元件上。
2.根据权利要求1所述的固态摄像装置，其特征在于，
所述第一近红外像素还接收所述第一可见光，
所述第二近红外像素还接收所述第二可见光，
所述第三近红外像素还接收所述第三可见光。
3.根据权利要求1所述的固态摄像装置，其特征在于，
所述第一可见光、所述第二可见光以及所述第三可见光分别为红色光、绿色光以及蓝色光。
4.根据权利要求1所述的固态摄像装置，其特征在于，
所述第一近红外光为与所述第一可见光具有相关性的近红外区域的光，
所述第二近红外光为与所述第二可见光具有相关性的近红外区域的光，
所述第三近红外光为与所述第三可见光具有相关性的近红外区域的光。
5.根据权利要求1所述的固态摄像装置，其特征在于，
通过所述第一近红外像素、所述第二近红外像素以及所述第三近红外像素来接收波长不同的两种或三种近红外光。
6.根据权利要求1所述的固态摄像装置，其特征在于，
所述第二近红外像素和/或所述第三近红外像素接收包含如下光中的两种以上的光的频带的光：
与所述第一可见光具有相关性的近红外区域的光；
与所述第二可见光具有相关性的近红外区域的光；以及
与所述第三可见光具有相关性的近红外区域的光。
7.根据权利要求1所述的固态摄像装置，其特征在于，
具有图像生成部，所述图像生成部使用由所述第一检测部、所述第二检测部以及所述第三检测部获取到的信号生成彩色图像。
8.根据权利要求7所述的固态摄像装置，其特征在于，
所述图像生成部将由所述第一可见光像素、所述第二可见光像素以及所述第三可见光像素检测出的可见光成分与由所述第一近红外像素、所述第二近红外像素以及所述第三近红外像素检测出的近红外光成分以任意比率合成来生成彩色图像。
9.一种摄像系统，具备：
根据权利要求1～8中的任一项所述的固态摄像装置；以及
光照射装置，其向被摄体照射近红外光。
10.根据权利要求9所述的摄像系统，其特征在于，
在所述固态摄像装置中设置有照明光控制部，所述照明光控制部基于由各检测部对可见光和近红外光进行检测的检测结果，来控制从所述光照射装置射出的近红外光的光量。
11.一种物体识别系统，具有：
光源，其安装于对象物体，发出特定波长的近红外光；
光检测器，其对从所述光源射出的近红外光进行检测，所述光检测器为根据权利要求1～6中的任一项所述的固态摄像装置；以及
数据处理装置，其具备物体判定部和物体识别部，所述物体判定部根据所述光检测器的检测结果判定所述对象物体是否存在于检测区域内，所述物体识别部根据由所述光检测器检测出的近红外光的波长信息来识别所述对象物体。
12.根据权利要求11所述的物体识别系统，其特征在于，
所述物体识别部根据由所述光检测器检测出的近红外光的波长，获取附加于所述对象物体的颜色信息，根据所述颜色信息来识别所述对象物体。
13.根据权利要求12所述的物体识别系统，其特征在于，
还具有摄像装置，所述摄像装置用于拍摄所述检测区域的可见光图像，
在所述数据处理装置中设置有图像合成部，所述图像合成部对由所述摄像装置拍摄到的可见光图像附加由所述物体识别部获取到的所述对象物体的颜色信息或与所述颜色信息关联起来的任意的信息。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017-095099 | 2017-05-11 | ||
| JP2017095099 | 2017-05-11 | ||
| PCT/JP2018/017925 WO2018207817A1 (ja) | 2017-05-11 | 2018-05-09 | 固体撮像装置、撮像システム及び物体識別システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110574368A CN110574368A (zh) | 2019-12-13 |
| CN110574368B true CN110574368B (zh) | 2021-08-17 |
Family
ID=64105517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201880027840.3A Active CN110574368B (zh) | 2017-05-11 | 2018-05-09 | 固态摄像装置、摄像系统以及物体识别系统 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10863116B2 (zh) |
| JP (2) | JP6600800B2 (zh) |
| CN (1) | CN110574368B (zh) |
| WO (1) | WO2018207817A1 (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10785422B2 (en) * | 2018-05-29 | 2020-09-22 | Microsoft Technology Licensing, Llc | Face recognition using depth and multi-spectral camera |
| JP7323787B2 (ja) * | 2019-07-31 | 2023-08-09 | 日亜化学工業株式会社 | 照明装置及び赤外線カメラ付き照明装置 |
| JP7398284B2 (ja) | 2020-01-21 | 2023-12-14 | 日本放送協会 | カラー画像撮像装置 |
Family Cites Families (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3374175B2 (ja) * | 2000-01-27 | 2003-02-04 | 名古屋大学長 | 位置表示用データ送信機能付きデータ送信装置、（以下［発明の名称の続き］欄に記載） |
| US8134191B2 (en) | 2006-01-24 | 2012-03-13 | Panasonic Corporation | Solid-state imaging device, signal processing method, and camera |
| JP2008166926A (ja) * | 2006-12-27 | 2008-07-17 | Nikon Corp | 逆光判定装置、及び被写体撮像方法 |
| JP2008244246A (ja) | 2007-03-28 | 2008-10-09 | Matsushita Electric Ind Co Ltd | 固体撮像装置、カメラ、車両及び監視装置 |
| JP2009232351A (ja) * | 2008-03-25 | 2009-10-08 | Seiko Epson Corp | 撮像装置及びカラーフィルタアレイ |
| US8723958B2 (en) * | 2008-04-30 | 2014-05-13 | Konica Minolta Opto, Inc. | Image pickup apparatus and image pickup element |
| JP2010272067A (ja) * | 2009-05-25 | 2010-12-02 | Hitachi Automotive Systems Ltd | 画像処理装置 |
| JP5874116B2 (ja) | 2009-07-30 | 2016-03-02 | 国立研究開発法人産業技術総合研究所 | 画像撮影装置および画像撮影方法 |
| US8854594B2 (en) * | 2010-08-31 | 2014-10-07 | Cast Group Of Companies Inc. | System and method for tracking |
| US9055226B2 (en) * | 2010-08-31 | 2015-06-09 | Cast Group Of Companies Inc. | System and method for controlling fixtures based on tracking data |
| US9591275B2 (en) * | 2010-09-28 | 2017-03-07 | BAE Systems Imaging Solutions Inc. | Hybrid camera sensor for night vision and day color vision |
| US10090374B2 (en) * | 2012-06-18 | 2018-10-02 | Samsung Display Co., Ltd. | Organic light-emitting display device |
| JP2014135571A (ja) * | 2013-01-08 | 2014-07-24 | V Technology Co Ltd | 撮像装置 |
| JP6582987B2 (ja) | 2013-10-23 | 2019-10-02 | 日本電気株式会社 | 映像撮影装置、映像撮影方法、符号型赤外カットフィルタ、および符号型特定色カットフィルタ |
| JP6318789B2 (ja) * | 2013-11-25 | 2018-05-09 | 株式会社Ｊｖｃケンウッド | 映像処理装置、映像処理方法、及び映像処理プログラム |
| WO2015111197A1 (ja) * | 2014-01-24 | 2015-07-30 | 日立マクセル株式会社 | 撮像装置及び車載撮像システム |
| CN106165411B (zh) | 2014-04-14 | 2018-02-23 | 夏普株式会社 | 光检测装置以及固体摄像装置 |
| JP2015226299A (ja) * | 2014-05-30 | 2015-12-14 | コニカミノルタ株式会社 | 画像入力装置 |
| JP2016174028A (ja) | 2015-03-16 | 2016-09-29 | 株式会社東芝 | 固体撮像装置および多眼カメラモジュール |
| JPWO2016158128A1 (ja) | 2015-03-31 | 2017-12-07 | 国立研究開発法人産業技術総合研究所 | 光検出装置および撮像装置 |
| US10235848B2 (en) * | 2015-12-09 | 2019-03-19 | Immersion Corporation | Public network transmission of haptic effect signals |
| KR101747603B1 (ko) * | 2016-05-11 | 2017-06-16 | 재단법인 다차원 스마트 아이티 융합시스템 연구단 | 컬러 나이트 비전 시스템 및 그 동작 방법 |
| US10567723B2 (en) * | 2017-08-11 | 2020-02-18 | Samsung Electronics Co., Ltd. | System and method for detecting light sources in a multi-illuminated environment using a composite RGB-IR sensor |
-
2018
- 2018-05-09 WO PCT/JP2018/017925 patent/WO2018207817A1/ja active Application Filing
- 2018-05-09 US US16/606,227 patent/US10863116B2/en active Active
- 2018-05-09 JP JP2019517662A patent/JP6600800B2/ja active Active
- 2018-05-09 CN CN201880027840.3A patent/CN110574368B/zh active Active
-
2019
- 2019-04-01 JP JP2019069654A patent/JP2019165447A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| US20200128197A1 (en) | 2020-04-23 |
| CN110574368A (zh) | 2019-12-13 |
| JPWO2018207817A1 (ja) | 2019-06-27 |
| WO2018207817A1 (ja) | 2018-11-15 |
| US10863116B2 (en) | 2020-12-08 |
| JP2019165447A (ja) | 2019-09-26 |
| JP6600800B2 (ja) | 2019-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7314976B2 (ja) | 撮像装置及び撮像方法 | |
| US10419693B2 (en) | Imaging apparatus, endoscope apparatus, and microscope apparatus | |
| JP4386096B2 (ja) | 画像入力処理装置、および、その方法 | |
| US9350973B2 (en) | Three-dimensional mapping and imaging | |
| JP6568719B2 (ja) | 撮像方法及び撮像装置 | |
| US9420242B2 (en) | Imaging device and exposure adjusting method | |
| US20150062347A1 (en) | Image processing methods for visible and infrared imaging | |
| US20130002882A1 (en) | Image-capturing device | |
| EP1986442A1 (en) | Frame sequential-method color camera system | |
| CN205647747U (zh) | 图像传感器和图像传感器系统 | |
| CN110574368B (zh) | 固态摄像装置、摄像系统以及物体识别系统 | |
| US9787915B2 (en) | Method and apparatus for multi-spectral imaging | |
| JP2012014668A (ja) | 画像処理装置、画像処理方法、プログラム、および電子装置 | |
| WO2005046248A1 (ja) | マルチスペクトル画像撮影装置 | |
| JP2007122237A (ja) | 偽造判定用撮像装置及び個人識別装置 | |
| US11818462B2 (en) | Phase detection autofocus sensor apparatus and method for depth sensing | |
| US10742908B2 (en) | Method and a device for acquiring an image having two-dimensional spatial resolution and spectral resolution | |
| US10609361B2 (en) | Imaging systems with depth detection | |
| CN113302912A (zh) | 用于监控驾驶员的图像捕获设备和相关系统 | |
| JPWO2009017184A1 (ja) | カラー撮像素子及びこれを用いた撮像装置及びフィルタ | |
| US9906705B2 (en) | Image pickup apparatus | |
| JP2022179259A (ja) | 光束分離光学系および画像処理装置 | |
| JP2010161450A (ja) | 赤外線照射式撮像装置 | |
| CN114650343A (zh) | 一种图像传感器及成像装置 | |
| JP2017135493A (ja) | 屋外監視用撮影装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |