CN112369015B - 图像生成装置以及图像生成方法 - Google Patents
图像生成装置以及图像生成方法 Download PDFInfo
- Publication number
- CN112369015B CN112369015B CN201980042319.1A CN201980042319A CN112369015B CN 112369015 B CN112369015 B CN 112369015B CN 201980042319 A CN201980042319 A CN 201980042319A CN 112369015 B CN112369015 B CN 112369015B
- Authority
- CN
- China
- Prior art keywords
- image
- organic thin
- thin film
- color
- luminance data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 27
- 239000010409 thin film Substances 0.000 claims abstract description 112
- 238000003384 imaging method Methods 0.000 claims abstract description 80
- 239000011159 matrix material Substances 0.000 claims description 22
- 239000010408 film Substances 0.000 claims description 16
- 239000003086 colorant Substances 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 24
- 230000035945 sensitivity Effects 0.000 description 24
- 230000004048 modification Effects 0.000 description 12
- 238000012986 modification Methods 0.000 description 12
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 8
- 229910052710 silicon Inorganic materials 0.000 description 8
- 239000010703 silicon Substances 0.000 description 8
- 239000000758 substrate Substances 0.000 description 8
- 230000008901 benefit Effects 0.000 description 6
- 229910052751 metal Inorganic materials 0.000 description 6
- 239000002184 metal Substances 0.000 description 6
- 238000004590 computer program Methods 0.000 description 3
- 239000000470 constituent Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241000135164 Timea Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000012780 transparent material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/749—Circuitry for compensating brightness variation in the scene by influencing the pick-up tube voltages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
- H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
- H10K39/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic radiation-sensitive element covered by group H10K30/00
- H10K39/30—Devices controlled by radiation
- H10K39/32—Organic image sensors
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/50—Photovoltaic [PV] energy
- Y02E10/549—Organic PV cells
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Color Television Image Signal Generators (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Light Receiving Elements (AREA)
Abstract
图像生成装置(1)具备：生成电压值不同的多个电压的电压生成部(40)；具有被施加多个电压的有机薄膜(32)，与多个电压的施加分别对应地进行摄像的摄像部(10)；取得通过摄像部(10)的摄像而得到的与多个电压的施加对应的多个亮度数据的亮度数据取得部(51)；和基于多个亮度数据来生成彩色图像的彩色图像生成部(52)。
Description
技术领域
本公开涉及具备具有有机薄膜(OPF：Orgnic Photoconductive Film，有机光导薄膜)的摄像元件的图像生成装置以及图像生成方法。
背景技术
过去，已知具备具有多个像素的摄像元件的图像生成装置。作为这种图像生成装置的一例，在非专利文献1中记载了具备彩色滤光器和摄像元件的图像生成装置。在该图像装置中，摄像元件的1像素包括4个副像素。并且在该图像装置中，将入射的光用彩色滤光器分解成R(红)、G(绿)、B(蓝)以及IR(红外线)的分量，在将进行了分解的各分量的光在各副像素进行了光电变换后，进行图像处理，由此生成彩色图像。
现有技术文献
非专利文献
非专利文献1：Shinichi Machida，Sanshiro Shishido，Takeyoshi Tokuhara，Masaaki Yanagida，Takayoshi Yamada，Masumi Izuchi，Yoshiaki Sato，Yasuo Miyake，Manabu Nakata，Masashi Murakami，Mitsuru Harada，and Yasunori Inoue，“A 2.1-Mpixel Organic Film-Stacked RGB-IR Image Sensor With ElectricallyControllable IR Sensitivity”，IEEE JOURNAL OF SOLID-STATE CIRCUIT，vol.53，NO.1，pp.229-235，JANUARY 2018.
发明内容
发明要解决的课题
但在非专利文献1的图像生成装置中，由于使用彩色滤光器，因此需要用包括R、G、B以及IR的4个副像素构成1像素，因而1像素的面积变大，有彩色图像的解析度降低这样的问题。
本公开的非限定性的例示性的一个方案是能提高彩色图像的解析度的图像生成装置。另外，本公开的非限定性的例示性的一个方案是能提高彩色图像的解析度的图像生成方法。本公开的一个方案的附加的好处以及有利的点会从本说明书以及附图得以明确。该好处以及/或者有利的点能通过本说明书以及附图中公开的各种方案以及特征个别提供，为了得到该1 以上好处以及/或者有利的点并不需要全部的方案以及特征。
用于解决课题的手段
本公开的一个方案所涉及的图像生成装置具备：生成电压值不同的多个电压的电压生成部；具有被施加所述多个电压的有机薄膜，与所述多个电压的施加分别对应地进行摄像的摄像部；取得通过所述摄像部的摄像得到的与所述多个电压的施加对应的多个亮度数据的亮度数据取得部；和基于所述多个亮度数据来生成彩色图像的彩色图像生成部。
另外，本公开的一个方案所涉及的图像生成方法包括以下步骤：对有机薄膜施加电压值不同的多个电压来进行摄像；取得通过所述摄像得到的与所述多个电压的施加对应的多个亮度数据；和基于所述多个亮度数据来生成彩色图像。
上述的总括或具体的方案可以使用系统、方法以及计算机程序、计算机可读的记录介质安装，也可以使用装置、系统、方法、计算机程序以及计算机可读的记录介质的组合实现。计算机可读的记录介质例如包括 CD-ROM(Compact Disc-Read Only Memory，只读光盘存储器)等非易失性的记录介质。
发明的效果
根据本公开，能提高彩色图像的解析度。
附图说明
图1是表示图像生成装置的摄像部以及电压生成部的示意图。
图2是表示具有有机薄膜的摄像元件的波长-灵敏度特性的一例的示意图。
图3是表示实施方式1中的图像生成装置的概略图。
图4是表示实施方式1中的图像生成装置的结构的框图。
图5是表示实施方式1中的图像生成装置的摄像部以及电压生成部的示意图。
图6是表示在实施方式1中的图像生成装置中得到的数据的一例的图。
图7是表示实施方式1的图像生成方法的流程图。
图8是表示在实施方式1的图像生成方法中使用的系数的求法的一例的图。
图9是表示在实施方式1的图像生成装置中生成的图像的一例的图。
图10是表示实施方式1的变形例1的图像生成装置中的摄像元件的波长-灵敏度特性的示意图。
图11是表示在实施方式1的变形例2的图像生成装置中的摄像部的曝光中对有机薄膜施加的电压的图。
图12是表示实施方式2中的图像生成装置的摄像部以及电压生成部的示意图。
图13是表示实施方式3中的图像生成装置的摄像部以及电压生成部的示意图。
具体实施方式
(成为本公开的基础的见解)
在现有的图像生成装置中，由于使用了彩色滤光器，因此需要用包括 R、G、B以及IR的4个副像素构成1像素。为此，有1像素的面积变大、彩色图像的解析度降低的问题。为了解决该问题，提出对被摄体摄像时不使用彩色滤光器地生成彩色图像的装置。由于若能不使用彩色滤光器地进行摄像，就能将现有技术中示出的副像素的面积设为1像素的面积来处置，能减小1像素的面积，因此能使彩色图像的解析度提高。
图1是表示图像生成装置的摄像部10以及电压生成部40的示意图。
摄像部10具备具有多个像素的摄像元件30。摄像元件30具有：设于硅基板39上的FD(浮动扩散)38；与FD38电连接的金属布线以及像素电极；设于像素电极上的有机薄膜OPF；和设于有机薄膜OPF上的透明电极31。
有机薄膜OPF是对经由透明电极31入射的光进行光电变换的导光膜。有机薄膜OPF包括检测可见光的层与检测近红外光的层的层叠结构。由有机薄膜OPF光电变换的电荷蓄积于FD38。
在摄像部10连接用于经由透明电极31对有机薄膜OPF施加电压的电压生成部40。
图2是表示具有有机薄膜OPF的摄像元件30的波长-灵敏度特性的一例的示意图。
如该图所示那样，摄像元件30示出对有机薄膜OPF施加了电压H时的灵敏度特性和施加了电压L(L＜H)时的灵敏度特性不同的倾向。具体地，将施加电压切换成H或L的情况下的蓝色、绿色、红色的波长中的灵敏度的差异不是成为相同倍率来表征，而是成为不同倍率来表征。
如此地，具有有机薄膜OPF的摄像元件30通过改变对有机薄膜OPF 施加的电压而示出不同的灵敏度特性。为此在本公开中，提出如下装置：通过改变对有机薄膜施加的电压来做出多个不同的灵敏度特性(滤光器特性)，基于通过该多个灵敏度特性得到的数据来生成彩色图像。以下说明本公开中的图像生成装置等。
本公开的一个方案所涉及的图像生成装置具备：生成电压值不同的多个电压的电压生成部；具有被施加所述多个电压的有机薄膜，与所述多个电压的施加分别对应地进行摄像的摄像部；取得通过所述摄像部的摄像得到并与所述多个电压的施加对应的多个亮度数据的亮度数据取得部；和基于所述多个亮度数据来生成彩色图像的彩色图像生成部。
如此地，能通过对有机薄膜施加多个电压来制作多个灵敏度特性。为此，能基于通过该多个灵敏度特性得到的多个亮度数据来生成彩色图像。由此，由于能不使用彩色滤光器而减小1像素的面积来生成彩色图像，因此能提高彩色图像的解析度。
另外，所述彩色图像生成部也可以通过使所述多个亮度数据乘以预先决定的系数来生成所述彩色图像。
据此，能基于多个亮度数据来简易地生成彩色图像。根据本公开的图像生成装置，能提高通过上述而简易地生成的彩色图像的解析度。
另外，也可以通过使用所述摄像部对具有多个色的比色图表摄像，来取得包括与所述多个颜色对应的颜色数据、所述系数以及所述多个亮度数据在内的矩阵式，使用伪逆矩阵来求解所述矩阵式，由此导出所述系数。
据此，能基于多个亮度数据来生成再现性高的彩色图像。根据本公开的图像生成装置，能提高通过上述生成的再现性高的彩色图像的解析度。
另外，也可以使用所述摄像部对具有多个颜色的比色图表摄像，将通过该摄像得到的所述多个亮度数据作为输入，将与所述多个颜色对应的颜色数据作为正解数据来进行学习，由此导出所述系数。
据此，能基于多个亮度数据来生成再现性高的彩色图像。根据本公开的图像生成装置，能提高通过上述生成的再现性高的彩色图像的解析度。
另外，所述电压生成部也可以按照使用所述摄像部进行摄像时的场景来改变所述电压。
如此地，通过按照进行摄像时的场景改变电压，能进行多样的目的的摄像。根据本公开的图像生成装置，能提高按照多样的目的摄像而生成的彩色图像的解析度。
另外，所述电压生成部也可以在所述摄像部的曝光中对所述电压进行调制。
如此地，通过在曝光中对电压进行调制，能做出与目的相应的灵敏度特性，使用该特性来生成彩色图像。根据本公开的图像生成装置，能提高按照多样的目的摄像而生成的彩色图像的解析度。
另外，所述摄像部也可以具有层叠的多个所述有机薄膜，对多个所述有机薄膜施加的所述多个电压的数量是多个所述有机薄膜的数量以上。
据此，能做出更多的灵敏度特性。由此能使用更正确的灵敏度特性来生成再现性高的彩色图像。
另外，所述摄像部也可以具有检测可见光的第1有机薄膜和检测近红外光的第2有机薄膜作为多个所述有机薄膜，所述第1有机薄膜设于比所述第2有机薄膜更靠被摄体侧。
据此，由于能在用第2有机薄膜检测可见光并将该可见光去除后用第 1有机薄膜检测近红外光，因此能提高近红外光的检测性能。
另外，所述摄像部也可以具有检测可见光的第1有机薄膜和检测近红外光的第2有机薄膜作为多个所述有机薄膜，所述第2有机薄膜设于比所述第1有机薄膜更靠被摄体侧。
据此，由于能在用第1有机薄膜检测近红外光并将该近红外光去除后用第2有机薄膜检测可见光，因此能提高可见光的色再现性。
本公开的一个方案所涉及的图像生成方法包括以下步骤：对有机薄膜施加电压值不同的多个电压来进行摄像；取得通过所述摄像得到的与所述多个电压的施加对应的多个亮度数据；和基于所述多个亮度数据来生成彩色图像。
如此地，能通过对有机薄膜施加多个电压来制作多个灵敏度特性。为此，能基于通过该多个灵敏度特性得到的多个亮度数据来生成彩色图像。由此，由于能不使用彩色滤光器而减小1像素的面积来生成彩色图像，因此能提高彩色图像的解析度。
另外，在这些总括或具体的各种方案中包括装置、系统、方法、集成电路、计算机程序、计算机可读的记录介质等的1个或多个组合。
以下参考附图来具体说明实施方式。另外，以下说明的实施方式均表示本发明的一个具体例。以下的实施方式所示的数值、形状、材料、构成要素、构成要素的配置位置以及连接形态、步骤、步骤的顺序等是一例，并不限定本发明的主旨。另外，关于以下的实施方式中的构成要素当中未记载于表示本发明的一个形态所涉及的实现形态的独立权利要求的构成要素，说明为任意的构成要素。本发明的实现形态并不限定于现行的独立权利要求，也能通过其他独立权利要求表现。
另外，各图是示意图，不一定是严密的图示。另外，在各图中，有对实质相同结构标注相同附图标记，省略或简化重复的说明的情况。
(实施方式1)
[1-1.图像生成装置的结构以及动作]
参考图3～图6来说明实施方式1的图像生成装置的结构。
图3是表示实施方式1中的图像生成装置1的概略图。图4是表示图像生成装置1的结构的框图。
如图3以及图4所示那样，图像生成装置1具备：对被摄体Ob1摄像的摄像部10；生成对摄像部10施加的电压的电压生成部40；和对通过摄像部10得到的摄像结果进行处理的数据处理部50。
数据处理部50具备：从由摄像部10得到的摄像结果取得亮度数据的亮度数据取得部51；和基于该亮度数据来生成彩色图像的彩色图像生成部 52。
另外，在图3以及图4中，电压生成部40与数据处理部50以及摄像部10分体，但电压生成部40也可以设于收容数据处理部50的框体内或收容摄像部10的框体内。
另外，本实施方式可以是图像生成系统，其具备：包括摄像部10以及电压生成部40的信号生成装置；和相当于数据处理部50的数据处理装置。在该情况下，信号生成装置以及数据处理装置分别具有通信部，信号生成装置通过有线或无线通信将后述的数字信号发送到数据处理装置。
图5是表示图像生成装置1的摄像部10以及电压生成部40的示意图。
摄像部10具备：多个微透镜20；和具有以矩阵状配置的多个像素的摄像元件30。在本实施方式中，在微透镜20与摄像元件30之间不设彩色滤光器。
多个微透镜20分别与多个像素各自对应并配置为矩阵状。各微透镜 20将入射的光向摄像元件30的各像素进行聚光。
摄像元件30是接收被微透镜20聚光的光并输出电信号的元件。摄像元件30具有：硅基板39；设于硅基板39上的FD38；与FD38电连接的金属布线37以及像素电极36；设于像素电极36上的有机薄膜32；和设于有机薄膜32上的透明电极31。
透明电极31是透射光的电极，由ITO(Indium Tin Oxide，氧化铟锡) 或ZnO等透明材料形成。透明电极31配置于微透镜20与有机薄膜32之间，经由布线等与电压生成部40连接。
有机薄膜32是对经由微透镜20以及透明电极31入射的光进行光电变换的导光膜。如前述那样，具有有机薄膜32的摄像元件30具有根据对有机薄膜32施加的电压的值而光的灵敏度发生变化的特性。图5所示的有机薄膜32的层数是1层，但并不限于此，有机薄膜32可以由用于检测 R分量的层、用于检测G分量的层以及用于检测B分量的层等多层形成。有机薄膜32经由像素电极36以及金属布线37与FD38连接。
FD38是蓄积被有机薄膜32光电变换的电荷的电荷蓄积节点。摄像元件30具有多个FD38，各FD38配置成与各像素1对1对应。FD38在摄像部10的摄像中即曝光中蓄积上述电荷。
电压生成部40是生成电压值不同的多个电压的电压生成装置。电压生成部40例如具有多个晶体管，通过切换多个晶体管的导通截止来生成多个电压。电压生成部40使正侧与透明电极31连接，使负侧接地。电压生成部40经由透明电极31对有机薄膜32施加多个电压。
图6是表示在图像生成装置1中得到的数据的一例的图。
在本实施方式中，在对相同的被摄体Ob1摄像时，使用电压生成部 40来使对有机薄膜32施加的电压变化。例如在图像生成装置1中，对有机薄膜32依次施加3个电压V1、V2、V3，做出3个不同的灵敏度特性。摄像部10与3个电压V1～V3各自的施加定时对应地进行摄像。
由具有3个特性的有机薄膜32得到的电荷分别每次都蓄积到FD38。摄像部10检测通过蓄积于FD38的电荷产生的电位，将该电位变换成数字信号并输出到数据处理部50。另外，电压生成部40也可以对数据处理部 50发送所施加的电压的信息(施加电压的大小、施加定时)。
亮度数据取得部51通过从摄像部10输出的数字信号来取得亮度数据。具体地如图6所示那样，亮度数据取得部51取得摄像部10施加多个电压V1～V3并对被摄体Ob1摄像时的与多个电压V1～V3的施加对应的多个亮度数据D1、D2、D3。
彩色图像生成部52基于多个亮度数据D1～D3来生成彩色图像Dc。具体地，彩色图像生成部52通过对多个亮度数据D1～D3乘以预先决定的系数A1(参考式(2))并进行数据处理来生成彩色图像Dc。另外，彩色图像生成部52可以使用施加的电压的信息来生成彩色图像Dc，也可以使用预先决定的所施加的电压的信息来生成彩色图像Dc。即，可以使用与电压值相应的系数来生成彩色图像Dc。彩色图像生成部52将所生成的彩色图像Dc输出到影像输出端子(省略图示)等，作为数字信号或作为模拟信号输出到图像生成装置1的外部。
[1-2.图像生成方法]
接下来参考图7来说明实施方式的图像生成方法。在此，以对有机薄膜32施加3个电压V1～V3的示例为中心来进行说明。
图7是表示实施方式1中的图像生成方法的流程图。
首先，对有机薄膜32施加多个电压V1～V3来对被摄体Ob1摄像 (M10)。另外，图像生成装置1取得通过摄像部10的摄像得到的与多个电压V1～V3的施加对应的多个亮度数据D1～D3(M20)。若具体示出这些内容M10以及M20，则如以下那样。
首先，摄像部10在对有机薄膜32施加了电压V1的状态下对被摄体 Ob1摄像(M11)。然后，摄像部10将通过摄像而在FD38产生的电位变换成数字信号并输出。亮度数据取得部51通过从摄像部10输出的数字信号来取得亮度数据D1(M21)。在取得数据后，将蓄积于FD38的电荷放出。
接下来，摄像部10在对有机薄膜32施加了电压V2(例如V2＞V1) 的状态下对被摄体Ob1进行摄像(M12)。然后，摄像部10将通过摄像而在FD38产生的电位变换成数字信号并输出。亮度数据取得部51通过从摄像部10输出的数字信号来取得亮度数据D2(M22)。在取得数据后，将蓄积于FD38的电荷放出。
接下来，摄像部10在对有机薄膜32施加了电压V3(例如V3＞V2的状态下对被摄体Ob1进行摄像(M13)。然后，摄像部10将通过摄像而在FD38产生的电位变换成数字信号并输出。亮度数据取得部51通过从摄像部10输出的数字信号来取得亮度数据D3(M23)。在取得数据后，将蓄积于FD38的电荷放出。
图像生成装置1通过执行这些内容(M10以及M20)来取得3个亮度数据D1～D3。
接下来，彩色图像生成部52基于3个亮度数据D1～D3来生成彩色图像(M30)。具体地，彩色图像生成部52通过对3个亮度数据D1～D3 乘以预先决定的系数A1来生成彩色图像Dc。
在此，对根据亮度数据D1～D3生成彩色图像Dc的方法详细进行说明。图6所示的亮度数据D1～D3以及彩色图像Dc表示进行了摄像的全像素的数据，这里为了容易理解，首先着眼于全像素当中1像素来进行说明。
在着眼于1像素的情况下，例如通过摄像取得的3个亮度数据以亮度数据(i1、i2、i3)表征。生成的彩色图像(r1、g1、b1)包括R、G、B的各分量，用以下的(式1)表征。系数A1用(式2)的变换矩阵表征。
[数学式1]
[数学式2]
系数A1的Cr1、Cg1、Cb1是在对有机薄膜32施加了电压V1时所表征的特性值，Cr2、Cg2、Cb2是对有机薄膜32施加了电压V2时所表征的特性值，Cr3、Cg3、Cb3是对有机薄膜32施加了电压V3时所表征的特性值。
根据上述，对全像素数为p(p是2以上的整数)、对有机薄膜32施加的不同的电压的数量是N(N是2以上的整数)的情况进行说明。在该情况下，通过摄像而取得的多个亮度数据D1～DN用亮度数据(i1，1～ip，N) 表征。生成的彩色图像(r1、g1、b1～rp、gp、bp)包括R、G、B的各分量，用以下的(式3)表征。系数A用(式4)的变换矩阵表征。
[数学式3]
[数学式4]
系数A的Cr1、Cg1、Cb1是对有机薄膜32施加了电压V1时所表征的特性值，CrN、CgN、CbN是对有机薄膜32施加了第N次的电压VN时所表征的特性值。
如此地，在对有机薄膜32施加多个N的电压V1～VN来进行了摄像的情况下，能通过对通过摄像取得的亮度数据D1～DN乘以上述系数A 来生成彩色图像Dc。
[1-3.图像生成方法中所使用的系数的导出方法]
在此，对上述的图像生成方法中使用的系数A的导出方法进行说明。
图8是表示图像生成方法中使用的系数A的求法的一例的图。在图8 中示出具有多个颜色的比色图表Ob2和标准光源。本实施方式中所用的比色图表Ob2是麦克白图表，具有24色。另外，比色图表Ob2并不限于麦克白图表，也可以是与各颜色对应的各颜色数据成为已知的样品体。
首先，使用摄像部10来对比色图表Ob2进行摄像。具体地，对有机薄膜32施加不同的N个电压V1～VN，在各个施加定时对比色图表Ob2 进行摄像。由此取得(式5)所示那样的包括以3×24的矩阵构成的颜色数据、以3×N的矩阵构成的系数A以及以N×24的矩阵构成的亮度数据在内的矩阵式。另外在(式5)中，将1色视作1像素来形成矩阵式。
[数学式5]
[数学式6]
(式4)所示的系数A通过使用伪逆矩阵求解(式5)的矩阵式来导出。另外，在该矩阵式中，由于没有满足全方程式的解，因此采用使全方程式的平方误差为最小的解。
另外，系数A并不限于上述，也可以通过深度学习导出。例如可以使用摄像部10来对具有多个颜色的比色图表Ob2进行摄像，将通过该摄像得到的多个亮度数据作为输入，将与多个颜色对应的数据作为正解数据来学习，由此导出系数A。在该情况下，被摄体不需要是比色图表，也可以是与各颜色对应的各颜色数据成为已知的样品体。这种情况下，例如利用以通常的彩色摄像机拍摄的多个图像并将彩色摄像机的R、G、B的各分量的亮度值给到(色5)的左边即可。由于能通过利用这样的被摄体来学习接近于实际的摄像场景的数据，因此能生成色再现性高的彩色图像。
[1-4.图像的生成结果等]
接下来说明图像生成装置1的图像的生成结果。
图9是表示在图像生成装置1中生成的图像的一例的图。图9的(a) 是被摄体Ob1的正解图像，(b)是在图像生成装置1中生成的图像。
在图9的(b)中示出对有机薄膜32施加电压值不同的2个电压并对被摄体Ob1进行2次摄像而得到的图像。另外，变换矩阵即系数A假定为被摄体Ob1的正解图像是包括(R+G)分量以及B分量的2色图像来求取。另外，有机薄膜32使用了包括检测可见光的层和检测近红外光的2 层结构的薄膜。
如该图所示那样，在图像生成装置1中生成的图像能没有问题地再现被摄体Ob1的颜色。
[1-5.实施方式1的变形例1]
接下来说明实施方式1的变形例1中的图像生成装置1。在变形例1 中，说明对应于进行摄像时的场景而改变对有机薄膜32施加的电压的值的示例。
图10是表示图像生成装置1的摄像元件30的波长-灵敏度特性的示意图。
图10的(a)表示如下示例：是在明亮的环境下进行摄像的情况的灵敏度特性，对有机薄膜32施加电压V1、V2、V3，使用相当于可见光区域的宽的波长区域来进行摄像。图10的(b)表示如下示例：是比(a) 暗的环境下进行摄像的情况的灵敏度特性，对有机薄膜32施加电压V4、 V5、V6，使用靠近近红外线的区域的波长区域来进行摄像。这些不同的电压V1～V6由电压生成装置40施加于有机薄膜32。
也可以在图像生成装置1中预先设定电压V1～V3以及电压V4～V6 的切换，使得在明亮时和暗时分开使用。另外，也可以最初使用电压V1～ V3进行摄像，但在生成的彩色图像Dc成为暗的图像的情况下，使用电压 V4～V6来进行摄像。即，电压生成部40具有多个电压值组的信息，切换电压值的组。电压值的组的示例是第1电压值组(V1～V3)、和与第1 电压值组相比摄像环境的明亮度暗时所利用的第2电压值组(V4～V6)。
图像生成装置1也可以还具备传感器，基于传感器值以及电压值组建立对应的信息、和传感器中取得的传感器值来选择电压值组。或者，也可以在图像生成装置1的外部取得由传感器取得的传感器值，来选择电压值组。另外，也可以按照用户向图像生成装置1的输入来切换电压值组。
另外，改变对有机薄膜32施加的电压的值来进行摄像并不仅限于环境的明暗。在对人的皮肤进行摄像的情况下，可以设定对有机薄膜32施加的电压，以使得使用接近于肤色的波长区域进行摄像。
通过如变形例1的图像生成装置1那样按照进行摄像时的场景改变对有机薄膜32施加的电压，从而能进行多样的目的的摄像。
[1-6.实施方式1的变形例2]
接下来说明实施方式1的变形例2中的图像生成装置1。在变形例2 中，说明在摄像部10的曝光中(曝光时间内)调制对有机薄膜32施加的电压的示例。
图11是表示在图像生成装置1的摄像部10的曝光中调制对有机薄膜 32施加的电压的图。在图11中，示出摄像部10在曝光中即在FD38正蓄积电荷的中途使所施加的电压变化的示例。
在该图中，在进行3次曝光来进行摄像时的第1次的摄像中，首先对有机薄膜32施加电压V1，接下来施加电压V2来进行摄像。之后，对有机薄膜32施加电压V2来进行第2次的摄像，施加电压V3来进行第3次的摄像。
如上那样，通过在1次的曝光中调制电压，例如能做出具有电压V1 的施加所带来的灵敏度和电压V2的施加所带来的灵敏度两方的灵敏度的特性。根据变形例2的图像生成装置1，能做出与目的相应的灵敏度特性，使用该特性取得亮度数据D1～D3，生成彩色图像Dc。
(实施方式2)
对实施方式2的图像生成装置1的结构进行说明。
图12是表示实施方式2中的图像生成装置1的摄像部10A以及电压生成部40的示意图。
摄像部10A具备：多个微透镜20；和具有矩阵状配置的多个像素的摄像元件30。
摄像元件30具有：硅基板39；设于硅基板39上的FD38；与FD38 电连接的金属布线37以及像素电极36；设于像素电极36上的有机薄膜 32；和设于有机薄膜32上的透明电极31。
本实施方式的有机薄膜32包括检测近红外光的第1有机薄膜32a与检测可见光的第2有机薄膜32b的层叠结构。
另外在本实施方式中，第2有机薄膜32b形成于第1有机薄膜32a上。即，检测可见光(RGB)的第2有机薄膜32b设于比检测近红外光(NIR) 的第1有机薄膜32a更靠被摄体Ob1侧。根据该结构，由于能在用第2有机薄膜32b检测可见光并将该可见光去除后，用第1有机薄膜32a检测近红外光，因此能提高近红外光的检测性能。
另外，在实施方式2中，对多个有机薄膜32a、32b施加的多个电压的数量成为多个有机薄膜32a、32b的数量以上。例如在实施方式2中，由于对2个有机薄膜32a以及32b分别施加3个电压V1～V3，因此与有机薄膜32包括1层的情况相比，能做出更多的灵敏度特性。由此，能使用更正确的灵敏度特性来生成再现性高的彩色图像Dc。
(实施方式3)
对实施方式3的图像生成装置1的结构进行说明。
图13是表示实施方式3中的图像生成装置1的摄像部10B以及电压生成部40的示意图。
摄像部10B具备：多个微透镜20；和具有矩阵状配置的多个像素的摄像元件30。
摄像元件30具有：硅基板39；设于硅基板39上的FD38；与FD38 电连接的金属布线37以及像素电极36；设于像素电极36上的有机薄膜32；和设于有机薄膜32上的透明电极31。
本实施方式的有机薄膜32包括检测近红外光(NIR)的第1有机薄膜 32a与检测可见光(RGB)的第2有机薄膜32b的层叠结构。另外，第2 有机薄膜32b是3层结构，在像素电极36上按照R层32b1、G层32b2、 B层32b3的顺序层叠。例如R层32b1是检测光的R分量的层，G层32b2 是检测光的G分量的层，B层32b3是检测光的B分量的层。
另外，在本实施方式中，第1有机薄膜32a形成于第2有机薄膜32b 上。即，检测近红外光的第1有机薄膜32a设于比检测可见光的第2有机薄膜32b更靠被摄体Ob1侧。根据该结构，由于能在用第1有机薄膜32a 检测近红外光并将该近红外光去除后，用第2有机薄膜32b检测可见光，因此能提高可见光的色再现性。
(其他实施方式)
如上所述，作为本公开所涉及的技术的例示而说明了实施方式。但本公开所涉及的技术并不限定于这些实施方式，也能运用在适宜进行了变更、置换、附加、省略等的实施方式中。即，只要不脱离本公开的主旨，则对上述实施方式实施了本领域技术人员想到的各种变形的形态、组合相互不同的实施方式中的构成要素而构建的形态等也包括在本公开所涉及的技术的一个实施方案中。
另外，上述的实施方式所示的图像生成装置的各构成要素(特别是包括数据处理部50的各电路等)可以由专用的硬件构成，或者也可以通过执行与各构成要素相适应的软件(程序)而实现。各构成要素可以通过微处理器等程序执行部将记录于硬盘或半导体存储器等存储介质(或记录介质)的程序读出并执行来实现。
另外，图像生成装置中所含的多个电路可以作为整体而构成1个电路，也可以分别是不同的电路。另外，这些电路分别可以是通用的电路，也可以是专用的电路。另外，例如也可以取代特定的构成要素而由其他构成要素执行上述实施方式中的特定的构成要素所执行的处理。另外，可以变更上述实施方式中的各种处理的执行顺序，也可以并行执行多个处理。
产业上的可利用性
本公开所涉及的图像生成装置能作为使用不具备彩色滤光器的摄像装置来生成彩色图像的装置而适用。
附图标记的说明
1 图像生成装置
10、10A、10B 摄像部
20 微透镜
30 摄像元件
31 透明电极
32、OPF 有机薄膜
32a 第1有机薄膜
32b 第2有机薄膜
32b1 R层
32b2 G层
32b3 B层
36 像素电极
37 金属布线
38 FD(浮动扩散)
39 硅基板
40 电压生成部
50 数据处理部
51 亮度数据取得部
52 彩色图像生成部
A、A1 系数(变换矩阵)
D1、D2、D3 亮度数据
Dc 彩色图像
Ob1 被摄体
Ob2 比色图表。
Claims (9)
1.一种图像生成装置，具备：
电压生成部，生成电压值不同的多个电压；
摄像部，具有透射光的透明电极和被施加所述多个电压的有机薄膜，与所述多个电压的施加分别对应地进行摄像；
亮度数据取得部，取得通过所述摄像部的摄像得到的与所述多个电压的施加对应的多个亮度数据；和
彩色图像生成部，基于所述多个亮度数据来生成彩色图像，
所述有机薄膜对不是经由彩色滤光器而是经由所述透明电极入射的光进行光电变换，
所述彩色图像生成部通过对所述多个亮度数据乘以预先决定的系数来生成所述彩色图像。
2.根据权利要求1所述的图像生成装置，其中，
通过使用所述摄像部来对具有多个颜色的比色图表进行摄像，来取得包括与所述多个颜色对应的颜色数据、所述系数以及所述多个亮度数据在内的矩阵式，使用伪逆矩阵求解所述矩阵式，从而导出所述系数。
3.根据权利要求1所述的图像生成装置，其中，
使用所述摄像部来对具有多个颜色的比色图表进行摄像，将通过该摄像得到的所述多个亮度数据作为输入，将与所述多个颜色对应的颜色数据作为正解数据来进行学习，从而导出所述系数。
4.根据权利要求1～3中任一项所述的图像生成装置，其中，
所述电压生成部按照使用所述摄像部进行摄像时的场景来改变所述电压。
5.根据权利要求4所述的图像生成装置，其中，
所述电压生成部在所述摄像部的曝光中调制所述电压。
6.根据权利要求1～3中任一项所述的图像生成装置，其中，
所述摄像部具有：层叠的多个所述有机薄膜，
对多个所述有机薄膜施加的所述多个电压的数量在多个所述有机薄膜的数量以上。
7.根据权利要求6所述的图像生成装置，其中，
所述摄像部具有检测可见光的第1有机薄膜和检测近红外光的第2有机薄膜作为多个所述有机薄膜，
所述第1有机薄膜设于比所述第2有机薄膜更靠被摄体侧。
8.根据权利要求6所述的图像生成装置，其中，
所述摄像部具有检测可见光的第1有机薄膜和检测近红外光的第2有机薄膜作为多个所述有机薄膜，
所述第2有机薄膜设于比所述第1有机薄膜更靠被摄体侧。
9.一种图像生成方法，包括以下步骤：
对有机薄膜和透射光的透明电极施加电压值不同的多个电压来进行摄像；
取得通过所述摄像得到的与所述多个电压的施加对应的多个亮度数据；和
基于所述多个亮度数据生成彩色图像，
所述有机薄膜对不是经由彩色滤光器而是经由所述透明电极入射的光进行光电变换，
通过对所述多个亮度数据乘以预先决定的系数来生成所述彩色图像。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201862724796P | 2018-08-30 | 2018-08-30 | |
| US62/724,796 | 2018-08-30 | ||
| PCT/JP2019/033538 WO2020045443A1 (ja) | 2018-08-30 | 2019-08-27 | 画像生成装置及び画像生成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112369015A CN112369015A (zh) | 2021-02-12 |
| CN112369015B true CN112369015B (zh) | 2023-03-24 |
Family
ID=69644335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980042319.1A Active CN112369015B (zh) | 2018-08-30 | 2019-08-27 | 图像生成装置以及图像生成方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11277571B2 (zh) |
| EP (1) | EP3846463A4 (zh) |
| JP (2) | JP7336748B2 (zh) |
| CN (1) | CN112369015B (zh) |
| WO (1) | WO2020045443A1 (zh) |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008227092A (ja) | 2007-03-12 | 2008-09-25 | Fujifilm Corp | 光電変換素子、撮像素子、撮像装置 |
| JP2009005061A (ja) * | 2007-06-21 | 2009-01-08 | Konica Minolta Holdings Inc | 固体撮像素子およびそれを用いる撮像装置 |
| JP2012058274A (ja) * | 2010-09-03 | 2012-03-22 | Hitachi Displays Ltd | 表示装置 |
| US10141354B2 (en) * | 2014-10-23 | 2018-11-27 | Panasonic Intellectual Property Management Co., Ltd. | Imaging device and image acquisition device |
| JP6975897B2 (ja) * | 2016-12-27 | 2021-12-01 | パナソニックＩｐマネジメント株式会社 | 画像生成装置及び撮像装置 |
| JP2018125495A (ja) * | 2017-02-03 | 2018-08-09 | パナソニックＩｐマネジメント株式会社 | 光電変換素子および撮像装置 |
| JP6975896B2 (ja) * | 2017-02-03 | 2021-12-01 | パナソニックＩｐマネジメント株式会社 | 撮像装置の制御方法及び撮像装置 |
| KR102649294B1 (ko) * | 2018-02-06 | 2024-03-19 | 삼성전자주식회사 | 컬러 필터가 없는 유기 이미지 센서 |
| US11107860B2 (en) | 2018-02-06 | 2021-08-31 | Samsung Electronics Co., Ltd. | Organic image sensors without color filters |
-
2019
- 2019-08-27 WO PCT/JP2019/033538 patent/WO2020045443A1/ja unknown
- 2019-08-27 CN CN201980042319.1A patent/CN112369015B/zh active Active
- 2019-08-27 JP JP2020539507A patent/JP7336748B2/ja active Active
- 2019-08-27 EP EP19854631.9A patent/EP3846463A4/en active Pending
-
2020
- 2020-12-29 US US17/136,722 patent/US11277571B2/en active Active
-
2023
- 2023-07-06 JP JP2023111487A patent/JP7474953B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020045443A1 (ja) | 2020-03-05 |
| JP7474953B2 (ja) | 2024-04-26 |
| US11277571B2 (en) | 2022-03-15 |
| JPWO2020045443A1 (ja) | 2021-09-02 |
| JP2023118931A (ja) | 2023-08-25 |
| EP3846463A1 (en) | 2021-07-07 |
| JP7336748B2 (ja) | 2023-09-01 |
| EP3846463A4 (en) | 2021-09-22 |
| US20210120165A1 (en) | 2021-04-22 |
| CN112369015A (zh) | 2021-02-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108401090B (zh) | 摄像装置及照相机系统 | |
| CN111432099B (zh) | 图像传感器、处理系统及方法、电子设备和存储介质 | |
| US10412349B2 (en) | Image sensor including phase detection pixel | |
| US9888198B2 (en) | Imaging systems having image sensor pixel arrays with sub-pixel resolution capabilities | |
| US9531976B2 (en) | Systems and methods for operating image sensor pixels having different sensitivities and shared charge storage regions | |
| US9848141B2 (en) | Image pixels having processed signal storage capabilities | |
| TWI707464B (zh) | 影像感測器及其操作方法 | |
| WO2021212763A1 (zh) | 高动态范围图像处理系统及方法、电子设备和可读存储介质 | |
| JP7099446B2 (ja) | 固体撮像装置および電子機器 | |
| US8878969B2 (en) | Imaging systems with color filter barriers | |
| KR20120106921A (ko) | 화상 처리 장치, 화상 처리 방법, 촬상 장치 및 컴퓨터 프로그램 | |
| CN107547807B (zh) | 用于减少空间闪烁伪影的装置和成像系统 | |
| KR20080091023A (ko) | 고체 촬상 장치 및 촬상 장치 | |
| CN111586375B (zh) | 高动态范围图像处理系统及方法、电子设备和可读存储介质 | |
| JP2005347932A (ja) | 固体撮像装置および撮像システム | |
| CN103458162B (zh) | 用于分区图像传感器的透镜阵列 | |
| WO2020145142A1 (ja) | 固体撮像素子およびその信号処理方法、並びに電子機器 | |
| US20210051283A1 (en) | Image sensors having analog memory cells for improved dynamic range | |
| CN114650377A (zh) | 摄像模组、摄像模组的控制方法以及电子设备 | |
| CN112369015B (zh) | 图像生成装置以及图像生成方法 | |
| CN109863603B (zh) | 具有电子收集电极和空穴收集电极的图像传感器 | |
| US11917272B2 (en) | Imaging systems for multi-spectral imaging | |
| CN114584725A (zh) | 一种图像传感器及成像装置 | |
| US11956416B2 (en) | Image sensing device and method of operating the same | |
| CN112235485B (zh) | 图像传感器、图像处理方法、成像装置、终端及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |