CN112585960B - 摄像元件、摄像装置、摄像方法以及存储介质 - Google Patents

摄像元件、摄像装置、摄像方法以及存储介质 Download PDF

Info

Publication number
CN112585960B
CN112585960B CN201880096719.6A CN201880096719A CN112585960B CN 112585960 B CN112585960 B CN 112585960B CN 201880096719 A CN201880096719 A CN 201880096719A CN 112585960 B CN112585960 B CN 112585960B
Authority
CN
China
Prior art keywords
color filter
same
filter
image
infrared region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880096719.6A
Other languages
English (en)
Other versions
CN112585960A (zh
Inventor
吉崎和德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN112585960A publication Critical patent/CN112585960A/zh
Application granted granted Critical
Publication of CN112585960B publication Critical patent/CN112585960B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

不设置IR滤镜就能够同时获取彩色图像和近红外图像。摄像元件(22)具有滤色镜(222)，滤色镜(222)中，多个滤镜中的任意一个以上的滤镜透射近红外区域的光，并且，滤色镜(222)包含第1同色滤镜和第2同色滤镜，在同色的波段中，第1同色滤镜与第2同色滤镜的透射波长特性互不相同，第1同色滤镜和第2同色滤镜在可见区域和近红外区域的各个区域中具有分光透射率恒定的区域，并且在可见区域和近红外区域中的至少一方中，第1同色滤镜和第2同色滤镜的分光透射率互不相同。

Description

摄像元件、摄像装置、摄像方法以及存储介质
技术领域
本发明涉及能够拍摄彩色图像和近红外线图像的摄像元件、摄像装置、摄像方法以及存储介质。
背景技术
以往，在摄像装置中，已知有能够拍摄彩色图像和近红外图像的技术(参照专利文献1)。在该技术中，通过将由R滤镜、两个G滤镜以及B滤镜构成的拜耳排列中的一个滤镜置换为IR滤镜，拍摄可见光图像和近红外图像。
另外，在由R滤镜、G滤镜、B滤镜以及IR滤镜构成的滤色镜中，已知有如下技术：通过在R滤镜、G滤镜以及B滤镜的受光面设置红外吸收滤镜，拍摄彩色图像和近红外图像(参照专利文献2)。
现有技术文献
专利文献
专利文献1：日本特开2005-6066号公报
专利文献2：日本特开2017-139286号公报
发明内容
发明要解决的课题
但是，在上述的专利文献1、2中，需要IR滤镜，存在无法应用在现有的拜耳排列中使用的图像处理的问题点。
本发明是鉴于上述问题点而完成的，其目的在于提供不设置IR滤镜就能够同时获取彩色图像和近红外图像的摄像元件、摄像装置、摄像方法以及存储介质。
用于解决课题的手段
为了解决上述课题并达成目的，本发明的摄像装置具有：像素部，其是通过接收光而生成图像信号的多个像素呈二维矩阵状配置而成的；以及滤色镜，其是使由多个滤镜构成的滤镜单元与所述多个像素对应地配置而成的，该多个滤镜在可见区域和近红外区域的各个区域中具有互不相同的分光透射特性，在所述滤色镜中，所述多个滤镜中的任意一个以上的滤镜透射近红外区域的光，并且所述滤色镜包含第1同色滤镜和第2同色滤镜，在同色的波段中，所述第1同色滤镜与所述第2同色滤镜的透射波长特性互不相同，所述第1同色滤镜和所述第2同色滤镜在可见区域和近红外区域的各个区域中具有分光透射率恒定的区域，并且在可见区域和近红外区域中的至少一方中，所述第1同色滤镜和所述第2同色滤镜的分光透射率互不相同。
另外，本发明的摄像装置具有摄像元件和分离部，该摄像元件具有：像素部，其是通过接收光而生成图像信号的多个像素呈二维矩阵状配置而成的；以及滤色镜，其是使由多个滤镜构成的滤镜单元与所述多个像素对应地配置而成的，该多个滤镜在可见区域和近红外区域的各个区域中具有互不相同的分光透射特性，在所述滤色镜中，所述多个滤镜中的任意一个以上的滤镜透射近红外区域的光，并且，所述滤色镜包含第1同色滤镜和第2同色滤镜，在同色的波段中，所述第1同色滤镜与所述第2同色滤镜的透射波长特性互不相同，所述第1同色滤镜和所述第2同色滤镜在可见区域和近红外区域的各个区域中具有分光透射率恒定的区域，并且在可见区域和近红外区域中的至少一方中，所述第1同色滤镜和所述第2同色滤镜的分光透射率互不相同，该分离部根据所述可见区域中的所述第1同色滤镜的透射率与所述第2同色滤镜的透射率的第1比率、和所述近红外区域中的所述第1同色滤镜的透射率与所述第2同色滤镜的透射率的第2比率，从第1图像信号和第2图像信号的各个图像信号中分离出所述可见区域的图像信号和所述近红外区域的图像信号，该第1图像信号由配置所述第1同色滤镜而成的所述像素生成，该第2图像信号由配置所述第2同色滤镜而成的所述像素生成。
另外，关于本发明的摄像装置，在上述发明中，所述滤色镜采用拜耳排列，所述第1同色滤镜和所述第2同色滤镜透射绿色的波段的光。
另外，关于本发明的摄像装置，在上述发明中，该摄像装置还具有陷波滤镜，该陷波滤镜设置于所述滤色镜的受光面，截止所述近红外区域的一部分光。
另外，本发明的摄像方法由摄像装置执行，其中，该摄像装置具有：摄像元件；以及图像处理部，所述摄像元件具有：像素部，其是通过接收光而生成图像信号的多个像素呈二维矩阵状配置而成的；以及滤色镜，其是使由多个滤镜构成的滤镜单元与所述多个像素对应地配置而成的，该多个滤镜在可见区域和近红外区域的各个区域中具有互不相同的分光透射特性，在所述滤色镜中，所述多个滤镜中的任意一个以上的滤镜透射近红外区域的光，并且所述滤色镜包含第1同色滤镜和第2同色滤镜，在同色的波段中，所述第1同色滤镜与所述第2同色滤镜的透射波长特性互不相同，所述第1同色滤镜和所述第2同色滤镜在可见区域和近红外区域的各个区域中具有分光透射率恒定的区域，并且在可见区域和近红外区域中的至少一方中，所述第1同色滤镜和所述第2同色滤镜的分光透射率互不相同，所述图像处理部根据所述可见区域中的所述第1同色滤镜的透射率与所述第2同色滤镜的透射率的第1比率、和所述近红外区域中的所述第1同色滤镜的透射率与所述第2同色滤镜的透射率的第2比率，从第1图像信号和第2图像信号的各个图像信号中分离出所述可见区域的图像信号和所述近红外区域的图像信号，该第1图像信号由配置所述第1同色滤镜而成的所述像素生成，该第2图像信号由配置所述第2同色滤镜而成的所述像素生成。。
另外，本发明的存储介质存储有程序，该程序由摄像装置执行，该摄像装置具有：摄像元件；以及图像处理部，所述摄像元件具有：像素部，其是通过接收光而生成图像信号的多个像素呈二维矩阵状配置而成的；以及滤色镜，其是使由多个滤镜构成的滤镜单元与所述多个像素对应地配置而成的，该多个滤镜在可见区域和近红外区域的各个区域中具有互不相同的分光透射特性，在所述滤色镜中，所述多个滤镜中的任意一个以上的滤镜透射近红外区域的光，并且所述滤色镜包含第1同色滤镜和第2同色滤镜，在同色的波段中，所述第1同色滤镜与所述第2同色滤镜的透射波长特性互不相同，所述第1同色滤镜和所述第2同色滤镜在可见区域和近红外区域的各个区域中具有分光透射率恒定的区域，并且，在可见区域和近红外区域中的至少一方中，所述第1同色滤镜和所述第2同色滤镜的分光透射率互不相同，所述图像处理部根据所述可见区域中的所述第1同色滤镜的透射率与所述第2同色滤镜的透射率的第1比率、和所述近红外区域中的所述第1同色滤镜的透射率与所述第2同色滤镜的透射率的第2比率，从第1图像信号和第2图像信号的各个图像信号中分离出所述可见区域的图像信号和所述近红外区域的图像信号，该第1图像信号由配置所述第1同色滤镜而成的所述像素生成，该第2图像信号由配置所述第2同色滤镜而成的所述像素生成。
发明效果
根据本发明实现了如下效果：不设置IR滤镜就能够同时获取彩色图像和近红外图像。
附图说明
图1是示出实施方式1的摄像装置的功能结构的框图。
图2是示意性地示出实施方式1的像素部的结构的图。
图3是示意性地示出实施方式1的滤色镜的结构的图。
图4是示出实施方式1的各滤镜的透射特性的图。
图5是示出实施方式1的摄像装置执行的处理的概要的流程图。
图6是示意性地说明实施方式1的摄像装置生成的图像的一例的图。
图7是示意性地示出实施方式1的true G和IR各自的分光透射率的图。
图8是示意性地示出实施方式1的滤镜G1和滤镜G2的透射率的图。
图9是示意性地示出被摄体的分光反射率的图。
图10示出实施方式1的G1像素和G2像素的分光感光度。
图11是示意性地示出实施方式1的变形例1的滤色镜的结构的图。
图12是示出实施方式1的变形例1的滤色镜的透射特性的图。
图13是示意性地示出实施方式1的变形例2的滤色镜的图。
图14是示意性地示出实施方式2的各波段的分光透射率的图。
图15是示出实施方式3的摄像装置的功能结构的框图。
图16是示出实施方式3的各滤镜和陷波滤镜的透射特性的图。
具体实施方式
以下，对用于实施本发明的方式(以下称为“实施方式”)进行说明。在本实施方式中，对具有通过拍摄被摄体而生成图像数据(RAW数据)的摄像元件的摄像装置进行说明。另外，本发明不受该实施方式限定。并且，在附图的记载中，对相同的部分标注相同的标号而进行说明。
(实施方式1)
(摄像装置的结构)
图1是示出实施方式1的摄像装置的功能结构的框图。图1所示的摄像装置1具有摄像部2、图像处理部3、显示部4、记录部5以及控制部6。
摄像部2通过拍摄被摄体而生成图像数据。摄像部2具有光学系统21、摄像元件22以及A/D转换部23。
光学系统21将被摄体像成像在摄像元件22的受光面上。光学系统21使用一个或多个透镜构成。光学系统21具有变焦功能和对焦功能。光学系统21通过未图示的电动机等驱动单元在光轴L1上移动，从而变更变焦倍率和对焦位置。
摄像元件22以受光面与光学系统21的光轴L1垂直的方式设置。摄像元件22在控制部6的控制下，通过对由光学系统21成像的被摄体像进行光电转换而生成图像信号(图像数据)，并将该图像信号向A/D转换部23输出。摄像元件22使用CCD(Charge Coupled Device：电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor：互补金属氧化物半导体)等来实现。摄像元件22包含像素部221和层叠在像素部221的受光面上的滤色镜222。另外，关于像素部221和滤色镜222的详细结构在后面说明。
A/D转换部23在控制部6的控制下，对从摄像部2输入的模拟的图像信号进行A/D转换并向图像处理部3输出。A/D转换部23例如使用A/D转换电路等构成。
图像处理部3在控制部6的控制下，对从摄像部2输入的图像信号进行各种图像处理、例如白平衡调整处理、去马赛克处理以及分离处理等，并向显示部4输出。图像处理部3使用GPU(Graphics Processing Unit：图形处理单元)或ASIC(Application SpecificIntegrated Circuit：专用集成电路)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等执行特定功能的各种运算电路等专用处理器构成。图像处理部3具有插值部31、分离部32以及生成部33。
插值部31对从摄像部2输入的图像信号执行对各像素的图像信号(像素值)进行插值的公知的插值处理。具体而言，插值部31通过对构成滤色镜222的各滤镜的图像信号进行公知的插值处理，生成与对各滤镜的图像信号进行插值而得的各滤镜的图像信号对应的图像。
分离部32根据可见区域中的第1同色滤镜的透射率与第2同色滤镜的透射率的第1比率、和近红外区域中的第1同色滤镜的透射率与第2同色滤镜的透射率的第2比率，从第1图像信号和第2图像信号的各个图像信号中分离出可见区域的图像信号和近红外区域的图像信号，该第1图像信号由配置第1同色滤镜而成的像素生成，该第2图像信号由配置第2同色滤镜而成的像素生成。另外，基于分离部32的分离方法的详细在后面说明。
生成部33根据分离部32分离的可见区域的图像信号和近红外区域的图像信号，生成可见光图像和近红外图像(以下简称为“IR图像”)。生成部33将可见光图像和IR图像向显示部4输出。
显示部4在控制部6的控制下，显示与从图像处理部3输入的图像信号对应的图像(可见光图像和IR图像中的至少一方)。另外，显示部4显示与摄像装置1相关的各种信息。显示部4例如使用液晶或有机EL(Electro Luminescence：电致发光)等显示面板构成。
记录部5记录供摄像装置1执行的程序、处理中的数据以及摄像部2生成的图像数据等。记录部5具有记录供摄像装置1执行的程序的程序记录部51和记录滤色镜222的各滤镜的感光度的感光度信息记录部52。记录部5例如使用闪存、RAM(Random Access Memory：随机存取存储器)、HDD(Hard Disk Drive：硬盘驱动器)、SDRAM(Synchronous DynamicRandom Access Memory：同步动态随机存取存储器)、存储卡等构成。
控制部6控制摄像装置1的各部。控制部6使用CPU(Central Processing Unit：中央处理单元)等构成。
(像素部的结构)
接下来，对上述像素部221的详细结构进行说明。图2是示意性地示出像素部221的结构的图。
图2所示的像素部221是接收透射过滤色镜222的光的多个像素P呈二维网格状(二维矩阵状)配置而成的。各像素P通过接收透射过滤色镜222的光并进行光电转换而生成图像信号，该光是从光学系统21入射的光。该图像信号包含各像素的像素值(亮度值)和像素的位置信息(像素地址)等。在图2中，将配置在第i行j列的像素记为像素Pij来表现。
(滤色镜的结构)
接下来，对滤色镜222的详细结构进行说明。图3是示意性地示出滤色镜222的结构的图。
图3所示的滤色镜222中是使由多个滤镜构成的滤镜单元与像素部221的多个像素对应地配置而成的，该多个滤镜在可见区域和近红外区域的各个区域中具有互不相同的分光透射特性。具体而言，滤色镜222配置在像素部221的受光面上，具有4种滤镜，这4种滤镜透射在可见区域中互不相同的波段的可见光和在近红外区域中互不相同的波段的近红外线。更具体地说，滤色镜222具有R滤镜、G1滤镜、G2滤镜、B滤镜。滤色镜222是通过将R滤镜、G1滤镜、G2滤镜以及B滤镜以规定的排列图案排列配置而形成的。具体而言，滤色镜222是按每列以R滤镜、G1滤镜、B滤镜、R滤镜、G2滤镜的排列图案配置而形成的。
R滤镜透射红色的波段的光。G1滤镜透射绿色的波段的光，并且透射近红外的波段的光。G2滤镜在与G1滤镜相同颜色的波段中具有互不相同的透射波长特性，透射绿色的波段的光，并且透射近红外的波段的光。B滤镜透射蓝色的波段的光。
G1滤镜和G2滤镜在可见区域和近红外区域的各个区域中具有分光透射率恒定的区域，并且在可见区域和近红外区域中的至少一方中，G1滤镜和G2滤镜的分光透射率互不相同。另外，在实施方式1中，G1滤镜和G2滤镜作为第1同色滤镜和第2同色滤镜发挥功能。另外，以下，设置有各滤镜的像素Pij接收透射过滤镜的波段的光。因此，将配置有R滤镜的像素设为R像素、将配置有G1滤镜的像素设为G1像素、将配置有G2滤镜的像素设为G2像素、将配置有B滤镜的像素设为B像素来进行说明。
(各滤镜的分光透射特性)
接下来，对上述的滤色镜222的透射特性(分光感光度特性)进行说明。图4是示出各滤镜的透射特性的图。在图4中，纵轴表示透射率(分光感光度)，横轴表示波长(nm)。并且，在图4中，曲线LB表示滤镜B的透射率曲线，曲线LG1表示滤镜G1的透射曲线，曲线LG2表示滤镜G2的透射曲线，曲线LR表示滤镜R的透射曲线。并且，以下将可见区域设为400nm～700nm、将近红外区域设为700nm～1000nm来进行说明。
如图4所示的曲线LR所示那样，滤镜R透射作为第1可见区域的红色的波段(波段600nm～700nm)的光。另外，如曲线LB所示那样，滤镜B透射作为第2可见区域的蓝色的波段(400nm～500nm)的光。另外，如曲线LG1和曲线LG2所示那样，滤镜G1和滤镜G2透射作为第3可见区域的绿色的波段(500nm至600nm)和近红外区域(700nm～1000nm)各自的光。并且，滤镜G1和滤镜G2在第3可见光区域和近红外区域的各个区域中具有分光透射率恒定的区域。此外，在第3可见光区域和近红外区域的各个区域中，滤镜G1和滤镜G2的透射率不同，并且透射率的差D1、D2是恒定的。另外，在实施方式1中，在第3可见光区域和近红外区域的各个区域中，滤镜G1和滤镜G2的透射率互不相同，但只要在第3可见光区域和近红外区域的至少一方中透射率不同即可。
(摄像装置的处理)
接下来，对摄像装置1执行的处理进行说明。图5是示出摄像装置1执行的处理的概要的流程图。图6是示意性地说明摄像装置1生成的图像的一例的图。
如图5所示，首先，摄像部2进行被摄体的摄像(步骤S101)。在该情况下，摄像部2将拍摄了被摄体的图像信号向图像处理部3输出。
接着，插值部31对从摄像部2输入的图像信号执行对各像素的像素值进行插值的插值处理(步骤S102)。具体而言，如图6所示，插值部31通过对从摄像部2输入的图像信号进行对各像素的图像信号进行插值的插值处理，生成B图像PB、R图像PR、G1图像PG1、G2图像PG2。
然后，分离部32对G1图像PG1和G2图像PG2执行分离可见区域的图像信号和近红外区域的图像信号的分离处理(步骤S103)。
(分离处理的详细)
这里，对分离部32执行的分离处理的概要进行说明。
图7是示意性地示出true G和IR各自的分光透射率的图。在图7中，纵轴表示透射率，横轴表示波长(nm)。另外，在图7中，曲线LTG表示true G的透射率，曲线LIR表示IR的透射率。另外，图8是示意性地示出滤镜G1和滤镜G2的透射率的图。在图8中，曲线LG1表示滤镜G1的透射率，曲线LG2表示滤镜G2的透射率。
如图7所示，在实施方式1中，在将true G(500nm～600nm)和IR(700nm～1000nm)各自的透射率设为“1.0”的情况下，在将各波段中的透射率设为a、b、c以及d时，如图8所示，true G(500nm～600nm)中的滤镜G1和滤镜G2的透射比率是恒定且已知的(a＝1.0，c＝0.7)，并且，IR(700nm～1000nm)中的滤镜G1和滤镜G2的透射比率是恒定且已知的(b＝0.2，d＝0.6)。
图9是示意性地示出被摄体的分光反射率的图。图10示出G1像素和G2像素的分光感光度。在图9中，纵轴表示分光反射率。在图10中，纵轴表示分光感光度，在图9和图10中，横轴表示波长(nm)。另外，在图9中，曲线LP表示被摄体的分光反射率。另外，在图10中，由曲线LTG1包围的区域表示truer G1(a×truer G)，由曲线LTG2包围的区域表示truer G2(c×truer G)，由曲线LIR2包围的区域表示IR2(d×IR)，由曲线LIR1包围的区域表示IR1(b×IR)。
如图9和图10所示，分离部32根据可见区域中的G1滤镜的透射率与G2滤镜的透射率的第1比率D1(a/c)和近红外区域中的G1滤镜的透射率与G2滤镜的透射率的第2比率D2(d/b)，从由G1像素生成的第1图像信号和由G2像素生成的第2图像信号的各个图像信号中分离出可见区域的图像信号和近红外区域的图像信号。
即，在G1图像PG1中，将仅可见区域的G1图像PG1的图像信号设为true G1、将仅近红外区域的G1图像信号设为IR1、将仅可见区域的真实的G1图像PG1的图像信号设为true G、将仅近红外区域的真实的图像信号设为IR，在G2图像PG2中，将仅可见区域的真实的G2图像PG2的图像信号设为true G2、将仅近红外区域的真实的图像信号设为IR2、将仅可见区域的真实的G2图像PG2的图像信号设为true G、将仅近红外区域的真实的图像信号设为IR的情况下，以下的式(1)、式(2)成立。
true G1+IR1＝a×true G+b×IR＝G1…(1)
true G2+IR2＝c×true G+d×IR＝G2…(2)
解上述(1)、(2)的方程式，
如果设α＝ad-bc，并设ad-bc≠0，则
IR＝(a×G2-c×G1)/α…(3)
true G＝(d×G1-b×G2)/α…(4)
另外，在上述式(1)、(2)中代入图8的a(a＝1.0)、b(b＝0.2)、c(c＝0.7)以及d(d＝0.6)的情况下，以下的式(5)、(6)成立。
true G1+IR1＝a×true G+b×IR
＝1.0×true G+0.2×IR
＝G1…(5)
true G2+IR2＝c×true G+d×IR
＝0.7×true G+0.6×IR
＝G2…(6)
这样，分离部32使用式(3)～(6)，根据可见区域中的G1滤镜的透射率与G2滤镜的透射率的第1比率D1(a/c)和近红外区域中的G1滤镜的透射率与G2滤镜的透射率的第2比率D2(d/b)，从由G1像素生成的第1图像信号和由G2像素生成的第2图像信号的各个图像信号中分离出可见区域的图像信号和近红外区域的图像信号。
返回到图5，继续进行步骤S103之后的说明。
接着，生成部33根据分离部32分离出的可见区域的信号值和近红外区域的信号值，生成IR图像和G图像。具体而言，如图6所示，生成部33根据分离部32分离出的可见区域的信号值和近红外区域的信号值，生成G图像PG和IR图像PIR(步骤S104)。
然后，生成部33生成可见图像(步骤S105)。具体而言，如图6所示，生成部33根据B图像PB、R图像PR以及G图像PG而生成可见图像PW。在步骤S105之后，摄像装置1结束本处理。
根据以上说明的实施方式1，滤色镜222中，多个滤镜中的任意一个以上的滤镜透射近红外区域的光、并且，滤色镜222包含第1同色滤镜和第2同色滤镜，在同色的波段中，第1同色滤镜与第2同色滤镜的透射波长特性互不相同，第1同色滤镜和第2同色滤镜在可见区域和近红外区域的各个区域中具有分光透射率恒定的区域，并且在可见区域和近红外区域中的至少一方中，第1同色滤镜和第2同色滤镜分光透射率互不相同，因此不设置IR滤镜就能够同时获取彩色图像和近红外图像。
另外，根据实施方式1，分离部32根据可见区域中的第1同色滤镜的透射率与第2同色滤镜的透射率的第1比率、和近红外区域中的第1同色滤镜的透射率与第2同色滤镜的透射率的第2比率，从第1图像信号和第2图像信号的各个图像信号中分离出可见区域的图像信号和近红外区域的图像信号，该第1图像信号由配置第1同色滤镜而成的像素生成，该第2图像信号由配置第2同色滤镜而成的像素生成，因此不设置IR滤镜就能够同时获取彩色图像和近红外图像。
(实施方式1的变形例1)
接下来，对实施方式1的变形例1进行说明。在实施方式1的变形例1中，滤色镜的结构不同。具体而言，在上述实施方式1中，透射绿色的波段的光的G滤镜具有互不相同的分光透射特性，但在实施方式1的变形例1中，透射红色的波段的光的R滤镜具有互不相同的分光透射特性。另外，对与上述实施方式1的摄像装置1相同的结构标注相同的标号而省略详细的说明。
(滤色镜的结构)
图11对实施方式1的变形例1的滤色镜的详细结构进行说明。
图11所示的滤色镜222A是使由多个滤镜构成的滤镜单元与像素部221的多个像素对应地配置而成的，该多个滤镜在可见区域和近红外区域的各个区域中具有互不相同的分光透射特性。具体而言，滤色镜222A配置于像素部221的受光面上，具有4种滤镜，这4种滤镜透射在可见区域中互不相同的波段的可见光和在近红外区域中互不相同的波段的近红外线。更具体来说，滤色镜222具有R1滤镜、R2滤镜、G滤镜、B滤镜。滤色镜222A是通过将R1滤镜、R2滤镜、G滤镜以及B滤镜以规定的排列图案排列配置而形成的。具体而言，滤色镜222A是按每列以R1滤镜、G滤镜、B滤镜、R2滤镜的排列图案配置而形成的。
R1滤镜透射红色的波段的光，并且透射近红外的波段的光。R2滤镜与R1滤镜在相同的同色的波段中具有互不相同的透射波长特性，透射红色的波段的光，并且透射近红外的波段的光。
R1滤镜和R2滤镜在可见区域和近红外区域的各个区域中具有分光透射率恒定的区域，并且在可见区域和近红外区域的至少一方中R1滤镜和R2滤镜的分光透射率互不相同。另外，在实施方式1的变形例1中，R1滤镜和R2滤镜作为第1同色滤镜和第2同色滤镜发挥功能。另外，以下，设置有各滤镜的像素Pij接收透射过滤镜的波段的光。因此，将配置有R1滤镜的像素设为R1像素、将配置有R2滤镜的像素设为R2像素、将配置有G滤镜的像素设为G像素、将配置有B滤镜的像素设为B像素来进行说明。
图12是示出实施方式1的变形例1的滤色镜的透射特性的图。在图12中，模拟地对透射曲线进行归一化，以使各滤镜的最大值大致相等。另外，在图12中，纵轴表示透射率(分光感光度)，横轴表示波长(nm)。并且，在图12中，曲线LB表示滤镜B的透射率曲线，曲线LG1表示滤镜G的透射曲线，曲线LR1表示滤镜R1的透射曲线，曲线LR2表示滤镜R2的透射曲线。并且，以下将可见区域设为400nm～700nm、将近红外区域设为700nm～1000nm来进行说明。
滤镜R1和滤镜R2在第1可见光区域和近红外区域的各个区域中具有透射率的差D11、D12恒定的区域，并且透射率在第1可见光区域和近红外区域中的至少一方中不同。具体而言，滤镜R1和滤镜R2在第1可见光区域和近红外区域的各个区域中具有透射率的差D11、D12恒定的区域，并且透射率在第1可见光区域和近红外区域中的至少一方中不同。
即使在将这样构成的滤色镜222A配置于像素部221的受光面的情况下，也与上述实施方式1同样地能够同时拍摄可见光图像和近红外图像。
另外，在上述实施方式1的变形例1中，透射红色的波段的光的R滤镜具有互不相同的透射率，但除了R1滤镜和R2滤镜之外，还可以使用例如上述实施方式1的G1滤镜和G2滤镜来构成滤色镜。
(实施方式1的变形例2)
接下来，对实施方式1的变形例2进行说明。在上述实施方式1中，按每列配置有各滤镜，但不限于此，可以适当变更。
图13是示意性地示出实施方式1的变形例2的滤色镜的图。图13所示的滤色镜222B由拜耳排列构成，在G滤镜的配置部位配置有G1滤镜和G2滤镜。
根据以上说明的实施方式1的变形例2，能够使用现有的图像处理的流水线(图像信号线)，因此能够以简单的结构同时获取可见光图像和近红外图像。
(实施方式2)
接下来，对实施方式2进行说明。在实施方式2中，计算不包含近红外的R像素和B像素的信号值。以下，对分离部32计算的计算方法进行说明。另外，对与上述实施方式1的摄像装置1相同的结构标注相同标号而省略详细的说明。
图14是示意性地示出各波段的分光透射率的图。在图14中，区域LTB表示B滤镜的图像信号true B的积分值，区域LTR表示R滤镜的图像信号true R的积分值，区域LTG表示将G1滤镜+G2滤镜相加时的图像信号true G的积分值，LTIR表示图像信号IR的积分值。此外，在图14中，纵轴表示透射率，横轴表示波长(nm)。
如图14所示，首先，分离部32通过上述实施方式1的方法计算图像信号true G和图像信号IR。然后，如图14所示，由于近红外区域的透射率大致恒定，因此分离部32根据近红外光的图像信号IR计算R像素的图像信号和B像素的图像信号。具体而言，在利用近红外区域的透射率大致恒定的情况时，以下的式子成立。
truer R+r_ir×IR＝truer R+1.0×IR＝R…(7)
truer B+b_ir×IR＝truer B+0.3×IR＝B…(8)
即，
truer R＝R-r_ir×IR＝R-1.0×IR…(9)
truer B＝B-b_ir×IR＝B-0.3×IR…(10)
这样，分离部32使用上述式(9)和式(10)，计算R像素和B像素各自的图像信号。
根据以上说明的实施方式2，能够输出R像素和B像素各自的真实的像素值。
(实施方式3)
接下来，对实施方式3进行说明。实施方式3的摄像装置的结构与上述实施方式1的摄像装置1不同。具体而言，实施方式3的摄像装置还具有截止规定的波段的光的陷波滤镜。以下，对实施方式3的摄像装置的结构进行说明。另外，对与上述实施方式1的摄像装置1相同的结构标注相同的标号而省略详细的说明。
(摄像装置的结构)
图15是示出实施方式3的摄像装置的功能结构的框图。图15所示的摄像装置1C具有摄像部2C来代替上述实施方式1的摄像部2。另外，摄像部2C具有摄像元件22C来代替上述实施方式1的摄像元件22。摄像元件22C除了上述实施方式1的摄像元件22的结构之外，还具有陷波滤镜223。
陷波滤镜223透射可见区域的光，并截止近红外区域的一部分。
图16是示出各滤镜和陷波滤镜的透射特性的图。在图16中，曲线LN表示陷波滤镜223的透射特性。另外，在图16中，纵轴表示透射率，横轴表示波长(nm)。
如图16所示，陷波滤镜223透射可见区域的光，并截止近红外区域的一部分。陷波滤镜223截止近红外区域的一定区域、例如700nm～800nm的区域的光。由此，各滤镜的分光透射率大致恒定。其结果为，能够获取精度高的近红外图像。
根据以上说明的实施方式3，通过陷波滤镜223截止近红外区域的一定区域的光，能够使各滤镜的分光透射率大致恒定，因此能够获取精度高的近红外图像。
(其他实施方式)
通过适当组合在上述本发明的实施方式1～3中公开的多个构成要素，可以形成各种发明。例如，可以从上述本发明的实施方式1～3所记载的所有构成要素中删除几个构成要素。并且，可以适当地组合在上述本发明的实施方式1～3中说明的构成要素。
另外，在本发明的实施方式1～3中，是摄像装置，但例如也能够应用于拍摄被检体的内窥镜系统、视频显微镜、具有摄像功能的移动电话以及具有摄像功能的平板型终端。
另外，在本发明的实施方式1～3中，上述“部分”可以被替换为“单元”或“电路”等。例如，控制部可以替换为控制单元或控制电路。
以上，根据附图对本申请的几个实施方式进行了详细的说明，但这些实施方式是例示的，可以以在本公开的栏中记载的方式为基础，根据本领域技术人员的知识以实施了各种变形、改良的其他方式来实施本发明。
标号说明
1、1C：摄像装置；2、2C：摄像部；3：图像处理部；4：显示部；5：记录部；6：控制部；21：光学系统；22、22C：摄像元件；23：A/D转换部；31：插值部；32：分离部；33：生成部；51：程序记录部；52：感光度信息记录部；221：像素部；222、222A、222B：滤色镜；223：陷波滤镜。

Claims (6)

1.一种摄像元件，其具有：
像素部，其是通过接收光而生成图像信号的多个像素呈二维矩阵状配置而成的；以及
滤色镜，其是使由多个滤镜构成的滤镜单元与所述多个像素对应地配置而成的，该多个滤镜在可见区域和近红外区域的各个区域中具有互不相同的分光透射特性，
在所述滤色镜中，所述多个滤镜中的任意一个以上的滤镜透射近红外区域的光，并且所述滤色镜包含第1同色滤镜和第2同色滤镜，在同色的波段中，所述第1同色滤镜与所述第2同色滤镜的透射波长特性互不相同，
所述第1同色滤镜和所述第2同色滤镜在可见区域和近红外区域的各个区域中具有分光透射率恒定的区域，并且在可见区域和近红外区域中的至少一方中，所述第1同色滤镜和所述第2同色滤镜的分光透射率互不相同。
2.一种摄像装置，其中，
该摄像装置具有摄像元件和分离部，
该摄像元件具有：
像素部，其是通过接收光而生成图像信号的多个像素呈二维矩阵状配置而成的；以及
滤色镜，其是使由多个滤镜构成的滤镜单元与所述多个像素对应地配置而成的，该多个滤镜在可见区域和近红外区域的各个区域中具有互不相同的分光透射特性，
在所述滤色镜中，所述多个滤镜中的任意一个以上的滤镜透射近红外区域的光，并且所述滤色镜包含第1同色滤镜和第2同色滤镜，在同色的波段中，所述第1同色滤镜与所述第2同色滤镜的透射波长特性互不相同，
所述第1同色滤镜和所述第2同色滤镜在可见区域和近红外区域的各个区域中具有分光透射率恒定的区域，并且在可见区域和近红外区域中的至少一方中，所述第1同色滤镜和所述第2同色滤镜的分光透射率互不相同，
该分离部根据所述可见区域中的所述第1同色滤镜的透射率与所述第2同色滤镜的透射率的第1比率、和所述近红外区域中的所述第1同色滤镜的透射率与所述第2同色滤镜的透射率的第2比率，从第1图像信号和第2图像信号的各个图像信号中分离出所述可见区域的图像信号和所述近红外区域的图像信号，该第1图像信号由配置所述第1同色滤镜而成的所述像素生成，该第2图像信号由配置所述第2同色滤镜而成的所述像素生成。
3.根据权利要求2所述的摄像装置，其中，
所述滤色镜采用拜耳排列，
所述第1同色滤镜和所述第2同色滤镜透射绿色的波段的光。
4.根据权利要求3所述的摄像装置，其中，
该摄像装置还具有陷波滤镜，该陷波滤镜设置于所述滤色镜的受光面，截止所述近红外区域的一部分光。
5.一种摄像方法，其由摄像装置执行，其中，
该摄像装置具有：
摄像元件；以及
图像处理部，
所述摄像元件具有：
像素部，其是通过接收光而生成图像信号的多个像素呈二维矩阵状配置而成的；以及
滤色镜，其是使由多个滤镜构成的滤镜单元与所述多个像素对应地配置而成的，该多个滤镜在可见区域和近红外区域的各个区域中具有互不相同的分光透射特性，
在所述滤色镜中，所述多个滤镜中的任意一个以上的滤镜透射近红外区域的光，并且所述滤色镜包含第1同色滤镜和第2同色滤镜，在同色的波段中，所述第1同色滤镜与所述第2同色滤镜的透射波长特性互不相同，
所述第1同色滤镜和所述第2同色滤镜在可见区域和近红外区域的各个区域中具有分光透射率恒定的区域，并且在可见区域和近红外区域中的至少一方中，所述第1同色滤镜和所述第2同色滤镜的分光透射率互不相同，
所述图像处理部根据所述可见区域中的所述第1同色滤镜的透射率与所述第2同色滤镜的透射率的第1比率、和所述近红外区域中的所述第1同色滤镜的透射率与所述第2同色滤镜的透射率的第2比率，从第1图像信号和第2图像信号的各个图像信号中分离出所述可见区域的图像信号和所述近红外区域的图像信号，该第1图像信号由配置所述第1同色滤镜而成的所述像素生成，该第2图像信号由配置所述第2同色滤镜而成的所述像素生成。
6.一种存储介质，其存储有程序，该程序由摄像装置执行，
该摄像装置具有：
摄像元件；以及
图像处理部，
所述摄像元件具有：
像素部，其是通过接收光而生成图像信号的多个像素呈二维矩阵状配置而成的；以及
滤色镜，其是使由多个滤镜构成的滤镜单元与所述多个像素对应地配置而成的，该多个滤镜在可见区域和近红外区域的各个区域中具有互不相同的分光透射特性，
在所述滤色镜中，所述多个滤镜中的任意一个以上的滤镜透射近红外区域的光，并且所述滤色镜包含第1同色滤镜和第2同色滤镜，在同色的波段中，所述第1同色滤镜与所述第2同色滤镜的透射波长特性互不相同，
所述第1同色滤镜和所述第2同色滤镜在可见区域和近红外区域的各个区域中具有分光透射率恒定的区域，并且，在可见区域和近红外区域中的至少一方中，所述第1同色滤镜和所述第2同色滤镜的分光透射率互不相同，
所述图像处理部根据所述可见区域中的所述第1同色滤镜的透射率与所述第2同色滤镜的透射率的第1比率、和所述近红外区域中的所述第1同色滤镜的透射率与所述第2同色滤镜的透射率的第2比率，从第1图像信号和第2图像信号的各个图像信号中分离出所述可见区域的图像信号和所述近红外区域的图像信号，该第1图像信号由配置所述第1同色滤镜而成的所述像素生成，该第2图像信号由配置所述第2同色滤镜而成的所述像素生成。
CN201880096719.6A 2018-09-19 2018-09-19 摄像元件、摄像装置、摄像方法以及存储介质 Active CN112585960B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/034679 WO2020059050A1 (ja) 2018-09-19 2018-09-19 撮像素子、撮像装置、撮像方法およびプログラム

Publications (2)

Publication Number Publication Date
CN112585960A CN112585960A (zh) 2021-03-30
CN112585960B true CN112585960B (zh) 2022-02-25

Family

ID=69887001

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880096719.6A Active CN112585960B (zh) 2018-09-19 2018-09-19 摄像元件、摄像装置、摄像方法以及存储介质

Country Status (4)

Country Link
US (1) US11368638B2 (zh)
JP (1) JP7083912B2 (zh)
CN (1) CN112585960B (zh)
WO (1) WO2020059050A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341467A (ja) * 2004-05-31 2005-12-08 Mitsubishi Electric Corp 撮像装置及び信号処理方法
JP2011114576A (ja) * 2009-11-26 2011-06-09 Canon Inc 撮像装置、撮像方法、及びプログラム
CN102447826A (zh) * 2010-10-12 2012-05-09 全视科技有限公司 可见及红外双重模式成像系统
JP2014075767A (ja) * 2012-10-05 2014-04-24 Canon Inc 固体撮像装置
CN106464850A (zh) * 2014-06-24 2017-02-22 日立麦克赛尔株式会社 摄像传感器以及摄像装置
CN107360405A (zh) * 2016-05-09 2017-11-17 比亚迪股份有限公司 图像传感器、成像方法和成像装置
CN107530033A (zh) * 2015-04-30 2018-01-02 奥林巴斯株式会社 摄像装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4453189B2 (ja) * 2000-10-31 2010-04-21 株式会社豊田中央研究所 撮像装置
JP4311988B2 (ja) 2003-06-12 2009-08-12 アキュートロジック株式会社 固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置
JP4407448B2 (ja) * 2004-09-24 2010-02-03 三菱電機株式会社 撮像装置
US7663668B2 (en) 2004-04-05 2010-02-16 Mitsubishi Electric Corporation Imaging device
JP3933651B2 (ja) * 2004-06-22 2007-06-20 三菱電機株式会社 撮像装置及びその信号処理方法
DE102005058415A1 (de) * 2005-12-07 2007-06-14 Olympus Soft Imaging Solutions Gmbh Verfahren zur Farbkorrekturberechnung
JP2017139286A (ja) 2016-02-02 2017-08-10 ソニー株式会社 撮像素子、及び、カメラシステム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005341467A (ja) * 2004-05-31 2005-12-08 Mitsubishi Electric Corp 撮像装置及び信号処理方法
JP2011114576A (ja) * 2009-11-26 2011-06-09 Canon Inc 撮像装置、撮像方法、及びプログラム
CN102447826A (zh) * 2010-10-12 2012-05-09 全视科技有限公司 可见及红外双重模式成像系统
JP2014075767A (ja) * 2012-10-05 2014-04-24 Canon Inc 固体撮像装置
CN106464850A (zh) * 2014-06-24 2017-02-22 日立麦克赛尔株式会社 摄像传感器以及摄像装置
CN107530033A (zh) * 2015-04-30 2018-01-02 奥林巴斯株式会社 摄像装置
CN107360405A (zh) * 2016-05-09 2017-11-17 比亚迪股份有限公司 图像传感器、成像方法和成像装置

Also Published As

Publication number Publication date
WO2020059050A1 (ja) 2020-03-26
JP7083912B2 (ja) 2022-06-13
US20210185248A1 (en) 2021-06-17
JPWO2020059050A1 (ja) 2021-08-30
US11368638B2 (en) 2022-06-21
CN112585960A (zh) 2021-03-30

Similar Documents

Publication Publication Date Title
JP6440844B2 (ja) 固体撮像装置
JP6096243B2 (ja) 画像データの処理方法およびシステム
US8339489B2 (en) Image photographing apparatus, method and medium with stack-type image sensor, complementary color filter, and white filter
JP6149369B2 (ja) 撮像素子
JP5816015B2 (ja) 固体撮像装置及びカメラモジュール
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
JP5026951B2 (ja) 撮像素子の駆動装置、撮像素子の駆動方法、撮像装置、及び撮像素子
JP5503458B2 (ja) 固体撮像素子および撮像装置
US20100328485A1 (en) Imaging device, imaging module, electronic still camera, and electronic movie camera
EP2685725B1 (en) Imaging device and imaging program
JP4997359B2 (ja) 撮像装置及び混色補正方法
US8830384B2 (en) Imaging device and imaging method
JP5526673B2 (ja) 固体撮像装置及び電子機器
JPWO2012153532A1 (ja) 撮像装置
US8723993B2 (en) Imaging device and storage medium storing an imaging program
JP2015103971A (ja) 固体撮像装置及びデジタルカメラ
CN112585960B (zh) 摄像元件、摄像装置、摄像方法以及存储介质
JP6127368B2 (ja) 撮像装置
US8964071B2 (en) Solid-state imaging device, camera module, and imaging method having first and second green pixel cells
JP2009303020A (ja) 撮像装置及び欠陥画素補正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant