CN216122640U - 摄像元件及电子设备 - Google Patents

摄像元件及电子设备 Download PDF

Info

Publication number
CN216122640U
CN216122640U CN202120501377.0U CN202120501377U CN216122640U CN 216122640 U CN216122640 U CN 216122640U CN 202120501377 U CN202120501377 U CN 202120501377U CN 216122640 U CN216122640 U CN 216122640U
Authority
CN
China
Prior art keywords
information
image pickup
colors
light
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202120501377.0U
Other languages
English (en)
Inventor
中田征志
山丈浩章
山本洋介
马场裕一郎
金井淳一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Application granted granted Critical
Publication of CN216122640U publication Critical patent/CN216122640U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143Sensing or illuminating at different wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/72Combination of two or more compensation controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/533Control of the integration time by using differing integration times for different sensor regions
    • H04N25/534Control of the integration time by using differing integration times for different sensor regions depending on the spectral component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/703SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/704Pixels specially adapted for focusing, e.g. phase difference pixel sets
    • HELECTRICITY
    • H10SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10KORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K39/00Integrated devices, or assemblies of multiple devices, comprising at least one organic radiation-sensitive element covered by group H10K30/00
    • H10K39/30Devices controlled by radiation
    • H10K39/32Organic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

摄像元件及电子设备,提高摄像装置中的颜色的精度。摄像元件具备多个像素,所述多个像素获取第一信息及第二信息,所述第一信息是三原色的信息,所述第二信息是与所述三原色不同的至少两种颜色的信息且包含所述三原色的补色中的至少一种颜色。

Description

摄像元件及电子设备
技术领域
本公开涉及摄像元件及电子设备。
背景技术
在包括固体摄像模块的装置中,一般采用使用三色滤色器作为摄像元件的方法。近年来,广泛地开发了除了三种颜色例如RGB的滤色器以外,还配置不同的滤色器的方法。在这种滤色器的配置中,从图像构成的观点来看,难以认为充分地发现了良好的滤色器。
智能手机等电子设备不断发展,在SNS(Social Networking Service,社交网络服务)等中频繁地共享图像。这样,在共享图像时,不仅要求忠实的颜色再现性,还要求颜色的装饰性等,期望提高颜色调整的自由度,或者根据物体识别结果来变更颜色制作。
在智能手机等设备中,例如开发了一种在显示器显示面下设置摄像头的UDC(Under Display Camera屏下摄像头),但是在这种构成中,摄像头接收透射显示器的光,因此存在起因于所使用的材料而蓝色的灵敏度显著下降的课题。此外,作为有机光电转换膜的课题之一,如果从一个像素沿纵向取出RGB,则需要将有机光电转换膜或光电二极管作为两层结构,在成本等观点上也存在效率低的问题。
现有专利文献
专利文献
专利文献1:日本特开2013-045917号公报
实用新型内容
在本公开的实施方式中提供摄像元件及电子设备,除了三种颜色(例如RGB)的滤色器以外还具备不同颜色的滤色器,提高图像重新构成的精度。
根据一种实施方式,摄像元件具备多个像素,所述多个像素获取第一信息及第二信息,所述第一信息是三原色的信息,所述第二信息是与所述三原色不同的至少两种颜色的信息且包含所述三原色的补色中的至少一种颜色。
所述三原色可以是R(红色)、G(绿色)、B(蓝色),所述补色可以是Cy(青色)、Ye(黄色)、Mg(品红色)。
所述第二信息可以包含Cy及Ye的信息。
所述第二信息可以包含Cy、Ye及Mg的信息。
所述第二信息可以包含白色或翠绿色中的至少一种的信息。
所述像素可以输出所述第一信息及所述第二信息中的至少两种颜色的信息。
所述像素可以具备多个分割像素,每个所述分割像素可以获取所述第一信息及所述第二信息中的一种颜色的信息。
可以统一获取所述第一信息和所述第二信息所包含的颜色的信息中的类似颜色的信息。
所述类似颜色的信息可以包含R和Mg、B和Cy、G和Ye、R和Ye、 R和红外光中的至少一种的信息。
所述第一信息和所述第二信息可以是在相同的定时由不同的受光元件获取的信息。
在所述第二信息中可以包含所述三原色的信息中的至少一个。
所述第一信息和所述第二信息可以以不同的分辨率获取。
所述像素中的至少一个像素可以使用有机光电转换膜获取信息。
可以是所述第一信息在有机光电转换膜中获取,所述第二信息经由所述有机光电转换膜在光电二极管中获取,或者可以是所述第二信息在有机光电转换膜中获取,所述第一信息经由所述有机光电转换膜在光电二极管中获取。
电子设备可以具备上述任一项所述的摄像元件,具有静止图像模式和动态图像模式,可以在所述静止图像模式和所述动态图像模式中,在不同的定时或不同的模块中合成所述第一信息和所述第二信息。
所述像素中的至少一个可以获取红外区域的光的信息。
可以具备滤光器,所述滤光器能够在获取红外区域的光的信息的所述像素所包含的摄像元件的至少一部分中进行红外线去除。
可以合成从所述像素输出的帧图像,可以在合成的定时,控制将每帧相加的所述像素的数量。
根据一种实施方式,电子设备具备上述摄像元件,基于从所述摄像元件获取的光谱信息,执行物体识别或生物体识别或光源推定。
可以基于通过所述物体识别或所述生物体识别而识别的对象,控制图像处理或所述图像处理的参数。
可以具备显示图像的显示器和配置在与所述显示器重叠的位置的上述任一项所述的摄像元件。
根据一种实施方式,电子设备具备复眼摄像头,所述复眼摄像头在至少一个中具备上述摄像元件,所述摄像元件中的至少一个不具备红外线去除滤光器。
根据一种实施方式,摄像元件可以具备获取所述第一信息的第一像素组和获取所述第二信息的第二像素组,所述第二像素组可以是灵敏度比所述第一像素组中的获取G信息的所述像素高的像素。
所述第二像素组可以至少包括获取白色的信息的像素。
可以使用所述第一像素组获取的信息,对所述第二像素组获取的信息进行插值。
可以具备获取静止图像的静止图像模式和获取动态图像的动态图像模式,在所述静止图像模式和所述动态图像模式中,通过不同的方法合成所述第一像素组和所述第二像素组。
在所述静止图像模式和所述动态图像模式中,可以在不同的定时进行合成。
在所述静止图像模式和所述动态图像模式中可以在不同的系统模块中进行合成。
在所述动态图像模式中,可以使属于所述第一像素组的像素的分辨率比属于所述第二像素组的像素的分辨率低。
可以基于从所述第一像素组获取的颜色信息统计值或光源推定结果,校正从所述第二像素组获取的颜色信息。
属于所述第一像素组的像素和属于所述第二像素组的像素中的最近的像素可以离开10mm以下的距离配置。
所述最近的像素可以分离50mm至80mm的距离配置。
所述第一像素组或所述第二像素组中的任一组所属的像素可以具备被分割的分割像素而构成。
在所述分割像素中可以具备白色像素。
对于在所述第一像素组及所述第二像素组中获取的光,成为该光的路径的光学参数可以在各组中具有不同的参数。
在所述第二像素组中可以具备灵敏度比所述第一像素组的获取B信息的像素高的像素。
灵敏度比获取所述B信息的像素高的像素可以是获取白色或青色的颜色信息的像素。
所述摄像元件可以根据获取的所述图像信息通过运算处理,对以五种颜色以上获取的像素信息,重新计算三原色的信息并输出重新排列的信息。
所述摄像元件可以根据所获取的所述图像信息,计算至少包含补色信息的信息的像素值或统计值。
所述摄像元件可以根据所获取的所述图像信息,计算三原色的信息及所述补色信息的所述统计值。
所述摄像元件可以根据所获取的所述图像信息,不包含三原色的信息,根据所述补色信息计算所述统计值。
所述摄像元件可以在接收三原色的像素和接收补色的像素中,分别控制曝光量。
所述曝光量可以通过控制快门时间来控制。
所述曝光量可以通过控制增益来控制。
根据一种实施方式,固体摄像装置具备上述记载的摄像元件中的至少一个摄像元件。
根据一种实施方式,电子设备具备具有多个像素的摄像元件,所述多个像素获取第一信息及第二信息,所述第一信息是三原色的信息,所述第二信息是与所述三原色不同的至少两种颜色的信息,并且包含所述三原色的补色中的至少一种颜色。
附图说明
图1是示出一种实施方式的固体摄像装置的框图的一个例子的图。
图2是示出一种实施方式的固体摄像装置的框图的一个例子的图。
图3是示出颜色和光谱的关系的图。
图4是示出一种实施方式的像素和受光元件的关系的图。
图5是图4的A-A剖视图。
图6是概略地示出一种实施方式的像素和像素阵列的图。
图7是示出一种实施方式的像素中的受光的颜色的排列的图。
图8是示出一种实施方式的像素中的在规定的定时受光的颜色的图。
图9是示出一种实施方式的像素中的在规定的定时受光的颜色的图。
图10是示出一种实施方式的像素中的接收的光的种类的图。
图11是示出一种实施方式的固体摄像装置的框图的一个例子的图。
图12是示出一种实施方式的像素中的受光的颜色的排列的图。
图13是示出一种实施方式的像素中的受光的颜色的排列的图。
图14是示出一种实施方式的像素中的受光的颜色的排列的图。
图15是示出一种实施方式的像素中的受光的颜色的排列的图。
图16是示出一种实施方式的像素中的受光的颜色的图。
图17是示出一种实施方式的像素中的受光的颜色的图。
图18是示出一种实施方式的像素的形成的例子的图。
图19是示出一种实施方式的像素的形成的例子的图。
图20是示出一种实施方式的像素的形成的例子的图。
图21是示出一种实施方式的像素的形成的例子的图。
图22是示出一种实施方式的像素的形成的例子的图。
图23是示出一种实施方式的像素的形成的例子的图。
图24是示出一种实施方式的像素的形成的例子的图。
图25是示出一种实施方式的像素的形成的例子的图。
图26是示出一种实施方式的基板构成的例子的图。
图27是示出一种实施方式的基板构成的例子的图。
图28是示出一种实施方式的基板构成的例子的图。
图29是示出包括一种实施方式的固体摄像装置的电子设备的例子的概略图。
图30是示出包括一种实施方式的固体摄像装置的电子设备的例子的概略图。
图31是示出一种实施方式的固体摄像装置的框图的一个例子的图。
图32是示出构成一种实施方式的预线性矩阵部的输入的光谱的图。
图33是示出构成一种实施方式的重新排列的RGB信号的光谱的图。
图34是示出一种实施方式的电子设备的图。
图35是示出一种实施方式的像素中的受光的颜色的排列的图。
图36是示出一种实施方式的像素中的受光的颜色的排列的图。
图37A是示出从交通工具的后方向前方的交通工具的内部情况的图。
图37B是示出从交通工具的斜后方向斜前方的交通工具的内部情况的图。
图38A是作为电子设备的第二应用例的数字摄像头的主视图。
图38B是数字摄像头的后视图。
图39A是作为电子设备的第三应用例的HMD的外观图。
图39B是智能眼镜的外观图。
图40是作为电子设备的第五应用例的智能手机的外观图。
附图标记说明:
1:电子设备,10:固体摄像装置,100:受光部,102:存储部,104:控制部,106:信号处理部,108:图像处理部,110:透镜,112:IRCF, 114:摄像元件,120:A/D转换部,122:箝位部,124:线性矩阵部,126:伽马校正部,130:光源推定部,132:物体识别部,134:图像存储器部, 136:双眼合成部,140:亮度色度信号生成部,150:输入输出I/F,160:预线性矩阵部,162:RGB重新排列部,164:传感器输出部,166:统计值获取部,20:像素,200:受光元件,202:滤光器,204:像素阵列,206:有机光电转换膜,208:光电二极管,210:片上透镜,30:基板,32:第一基板,34:第二基板,300:像素区域。
具体实施方式
下面,参照附图对本公开的实施方式进行说明。附图用于说明,实际的装置中的各部分的构成的形状、尺寸或与其他构成的尺寸的比等不需要如图所示的那样。此外,简化地描绘了附图,因此除了附图描绘的以外,还适当地具备安装上所需的构成。
图1是示出一种实施方式的固体摄像装置的框图的一个例子的图。固体摄像装置10具备:受光部100、存储部102、控制部104、信号处理部 106和图像处理部108。固体摄像装置10是适当地处理由受光部100接收到的光,并且转换为图像信息、识别信息等进行输出的装置。
受光部100接收来自外部的光,输出基于接收到的光的强度的信号。
存储部102存储在固体摄像装置1的各构成要素中所需的数据、或从各构成要素输出的数据。存储部102具备作为任意临时性或非临时性的适当的存储介质的存储器、存储装置等而构成。
控制部104进行受光部100等的控制。控制部100例如可以基于来自用户的输入进行控制,也可以基于预先设定的条件进行控制。此外,控制部104也可以基于信号处理部106、图像处理部108等的输出进行控制。
信号处理部106适当地处理受光部100输出的信号进行输出。信号处理部106例如执行将受光部100输出的模拟信号转换为数字信号的处理。此外,也可以执行信号的箝位处理这类的处理。作为一个例子,信号处理部106将接收到的模拟信号转换为数字图像信号,并向图像处理部108输出该图像信息。
图像处理部108对信号处理部106转换后的信息执行规定的图像处理。图像处理部108例如执行噪声去除处理、各种滤波处理等,适当地处理图像信息。
信号处理部106及图像处理部108是为了便于说明而分开进行记载,但是也可以作为一个信号处理部进行设置。作为另一个例子,在每个处理中,可以不是由两个部分(电路),而是由更精细的部分(电路)构成。这些信号处理部106和/或图像处理部108基于从摄像元件输出的信号生成与各种目的对应的信息、图像。
上述说明的固体摄像装置10的各部分的一部分或全部可以分别由专用数字电路或模拟电路来安装。在专用电路的情况下,例如,可以由ASIC (Application SpecificIntegrated Circuit,专用集成电路)、FPGA(Field Programmable Gate Array,现场可编程门阵列)构成。此外,也可以由CPU (Central Processing Unit)等通用处理电路来安装。
图2是示出未更详细限定图1所示的固体摄像装置1的构成的一个例子的框图。
受光部100例如具备:透镜110、红外线去除滤光器(以下称为IRCF112) 和摄像元件114。由透镜110适当地折射的光经由IRCF112入射到摄像元件114,基于该摄像元件114接收到的光的强度,输出模拟信号。IRCF112 不是必须的构成。此外,也可以具备透镜110以外的光学系统。
摄像元件114例如具备有机光电转换膜或光电二极管。为了各摄像元件114获取适当的光谱的光,摄像元件114可以具备滤色器。在摄像元件 114是有机光电转换膜的情况下,也可以不具备滤光器,各摄像元件114 自身输出基于适当的光谱的光的强度的模拟信号。
信号处理部106或图像处理部108例如具备:A/D转换部120、箝位部122、线性矩阵部124、伽马校正部126、光源推定部130、物体识别部 132和亮度色度信号生成部140。
由此,信号处理部106及图像处理部108可以不明确地分割其功能。例如,信号处理部106可以处理A/D转换部120等的信号本身,图像处理部108可以进行伽马校正部126等的与图像相关的处理。
图2是作为一个例子示出的图,信号处理部106或图像处理部108可以不仅执行所示的处理,还可以执行进一步的信号处理、图像处理。反之,图2所示的所有构成不是必须的,可以基于所执行的处理适当地省略构成要素。
A/D转换部120将从摄像元件114输出的模拟信号转换为数字信号并输出。另外,该A/D转换部120可以内置于摄像元件。
箝位部122对A/D转换部120输出的数字信号执行黑电平的减法运算。
线性矩阵部124通过对每种颜色合成箝位部122输出的数字信号,再现所拍摄的目标的颜色。
伽马校正部126对线性矩阵部124输出的数字信号执行伽马校正处理。
另一方面,光源推定部130根据作为箝位部122输出的数字信号的多色的颜色信息,推定光源环境、场景等。
物体识别部132在光源推定部130所推定的环境中,识别数字信号所示的被摄体是何种被摄体。该识别例如可以使用训练完成的神经网络模型。
亮度色度生成部140基于伽马校正部126进行了伽马校正的图像信号和物体识别部132输出的识别结果,重新构成图像。例如,可以基于物体识别部132识别的物体,对颜色信息进行操作,生成具有适合于所识别的物体的颜色的图像。
输入输出I/F150将亮度色度信号生成部140生成的图像数据输出到外部。
这样,对作为被摄体拍摄的图像适当地进行处理并进行输出。在此,下面详细说明摄像元件114内的受光的颜色的排列方法。
图3是在表示一般的R(红色)、G(绿色)、B(蓝色)的光谱的曲线上重叠有Cy(青色)、Ye(黄色)、Mg(品红色)的光谱的曲线图。如该图3所示,在R(点线)、G(点划线)、B(虚线)的三色光谱中,在波长为500nm附近及580nm附近存在光谱的波谷。即,即使通过进行将三种颜色中的增益相乘的加法运算,在该位置存在光谱的峰的颜色的受光性也变差。
在本公开中,为了对应于这种光谱的波谷,并为了接收除了R、G、 B的三种颜色的受光以外,还有至少两种不同的光谱特性的光的强度,适当地排列滤色器或有机光电转换膜。由实线所示的光谱的特性分别如Cy、 Ye、Mg所示表示青色、黄色、品红色的颜色的光谱。
固体摄像装置10例如在摄像元件114中具备获取第一信息和第二信息的像素,该第一信息是获取R、G、B的三原色的信息的结果,该第二信息是获取与该三原色不同的至少两种颜色的信息的结果,并且包含作为这些三原色的补色的Cy、Ye、Mg中的至少一种颜色。三原色不限于RGB,但是以下使用RGB作为三原色,使用Cy、Ye、Mg作为补色。
参照图3可知,如果作为第二信息获取的颜色信息是Cy、Ye,则能够覆盖由RGB形成的光谱的波谷。此外,第二信息可以使用作为三种颜色的补色的Cy、Ye、Mg的颜色信息。通过追加Mg,能够实现更精细的颜色再现。
由此,通过使用三原色的其他分光,能够覆盖可见光区域,能够以更忠实的颜色再现为目标。如图3所示,例如,在使用RGB的三原色的情况下,分光的波谷为两个部位,因此优选追加能够拍摄能够覆盖各个波谷的两种颜色以上的颜色的元件。
此外,也可以使用峰的位置类似的翠绿色来代替Cy。虽然未图示,但是翠绿色由在B和G之间具有峰的光谱来表现。为了生成等色函数中的负分量,这些Cy、翠绿色的分光也是有用的。此外,作为另一个例子,可以具备整体具有光谱的白色光的元件。
这样,通过使用比三种颜色更多的颜色,能够改进图像中的颜色再现性,此外,还能够提高上述光源推定部130中的光源的推定精度。
(第一实施方式)
图4是示出摄像元件114所具备的像素的一个例子的图。在本图中,构成为在像素中具备多个受光元件200,但是并不限于这种构成,即使像素20和受光元件200是一对一地对应等其他方式,也能够同样地适用于以下说明的颜色组合。另外,在本图中,主要示出了像素中的受光元件200 的配置,但是也可以适当地设置信号线、遮光壁等未图示的部件。
像素20例如具备四个受光元件200a、200b、200c、200d。受光元件 2000a~200d具备分别独立的光电二极管、有机光电转换膜。在这些摄像元件上可以具备不同颜色的滤光器,也可以其中一些具备不同颜色的滤光器。在有机光电转换膜的情况下,受光元件本身可以是能够接收具有不同颜色或相同颜色的光谱的光的构成。
作为一个例子,可以是受光元件200a、200d接收具有Mg光谱的光、受光元件200b、200c接收具有R光谱的光的构成。在后面根据各种变形例更详细地说明这种构成例。
图5是示出图4中的A-A剖面的图。在本图中,受光元件200例如具备光电二极管而构成。在这些光电二极管之间可以具备绝缘膜。这种分割光电二极管例如可以使用日本特开2013-045917公开的半导体器件,也可以使用不同方式的半导体器件。
在受光元件200a的上侧具有透射与由受光元件200a接收的光谱匹配的光的滤光器202a。同样,在受光元件200b的上侧具备滤光器202b。根据上述例子,滤光器202a是透射Mg光的滤光器,滤光器202b是透射R 光的滤光器。
受光元件200a、200b将分别接收到的光转换为模拟信号,并且输出到像素20内的浮动扩散区等适当的部位。受光元件200a、200b可以分别在适当的定时输出模拟信号,也可以在相同的定时输出模拟信号。
图6是示出具备像素的像素阵列的一个例子的图。如该图6所示,以阵列状设置多个像素20。通过以阵列状设置的像素形成像素阵列204。并且,该像素阵列204设置于受光部100,基于各受光元件200的特性将接收到的光转换为模拟信号进行输出。各像素20可以具备作为图5所示的分割像素的受光元件200,如上所述,也可以不使用分割像素,通过获取对每个像素20确定的颜色,适当地表现基于以下说明的方式。
这样,像素20可以具备形成被分割的分割像素的受光元件200,在各分割像素中接收经由不同的滤光器的光。下面,对基于该构成的颜色的获取进行说明。如上所述,作为一些例子,首先说明在像素20中接收两种颜色的光。该两种颜色优选为类似的颜色。在此,类似的颜色例如是R和 Mg、G和Ye、B和Cy的组合。此外,也可以是G和翠绿色或B和翠绿色的组合。观察光谱可知,这些颜色组合能够定义为彼此具有规定值以上共同的波长分量的颜色。
图7是示出一种实施方式的像素20中的受光的颜色组合的一个例子的图。图中的颜色的标记与说明书中同样,R表示红色,G表示绿色,B 表示蓝色,Mg表示品红色,Ye表示黄色,Cy表示青色。
作为四个像素20的组合具有图7的组合。在左上的像素20中,在左上及右下的受光元件200中接收Mg颜色的光,在右上及左下的摄像元件 114中接收R的颜色的光。R和Mg如上所述是类似的颜色。
在右上及左下的像素20中,在左上及右下的受光元件200中接收Ye 颜色的光,在右上及左下的受光元件200中接收G颜色的光。G和Ye如上所述是类似的颜色。
在右下的像素20中,在左上及右下的受光元件200中接收Cy颜色的光,在右上及左下的受光元件200中接收B颜色的光。B和Cy如上所述是类似的颜色。
这样,配置受光元件200(或滤光器202),以使每个像素20接收类似的颜色组合的光。通过将类似的颜色彼此配置于相同的像素20,与将不类似的颜色彼此配置于相同的像素20的情况相比,能够减小混色的影响。
相反,虽然未图示,但是也可以构成为作为将彼此类似的颜色包含于其他像素20。由此,通过将彼此类似的颜色配置在其他像素20,能够提高颜色分辨率。这样,像素20内的颜色分布能够根据环境、用途适当地变更。
如图所示,R系的像素20、G系的像素20、B系的像素20可以按照拜耳排列进行排列。拜耳排列是作为没有限定的一个例子而列举的,该排列也可以是如方格排列、RGBW系的排列的例子那样的其他排列。
在具有图7所示的受光的排列的像素20中,每个像素20能够一并输出模拟信号。例如,能够从图7的左上的像素20接收R和Mg的混色的光,输出基于接收到的光的强度的模拟信号。同样,在右上及左下的像素 20中能够输出与G和Ye的混色的光对应的模拟信号,在右下的像素20 中能够输出与B和Cy的混色的光对应的模拟信号。
这样,通过一并获取来自像素20内的分割像素(受光元件200)的信号,能够减少读出噪声并抑制帧率降低。例如,在超照度的场景中,为了减少读出噪声,每个像素20可以一并受光。此外,通过一并读出,也能够在帧间以不同的曝光量获取模拟信号,进行HDR合成(High Dynamic Range rendering,高动态范围渲染)。
另一方面,也能够在像素20内改变分割像素的读出的定时。
图8及图9是示出在像素20内使读出定时为不同定时的一个例子的图。
如图8所示,固体摄像装置10例如在某一读取时刻,像素20根据 Mg、Ye、Cy的补色系中的光的强度获取模拟信号。如图9所示,在下一读取时刻,固体摄像装置10根据R、G、B的原色系中的光的强度获取模拟信号。即,图4中的受光元件200a、200d可以在相同的定时向浮动扩散区输出模拟信号,受光元件200b、200c可以在相同的定时向浮动扩散区输出模拟信号。
由此,能够使读取定时错开。例如,该读取可以按每帧执行。与如上述那样在像素20中一并读取的情况相比,帧率下降,另一方面,固体摄像装置10能够获取五种颜色以上(在本实施方式中为六色)的颜色信息。
通过获取五种颜色以上的分光的信息,能够更忠实地再现等色函数并提高颜色再现性,也能够实现装饰性高的图像制作。通过使用多色,提高光源推定、场景判定、物体识别的精度,由此能够更鲜活地表现特定的物体/生物体的颜色。例如,通过提高某食物的彩度,能够进行更不失去鲜度的图像制作。
由此,基于获取的光谱信息,也能够进行物体识别、生物体识别。并且,固体摄像装置10也能够基于该生物体识别等结果,变更用于图像重新构成的控制参数。控制参数例如可以是图像处理中的滤光器的内核、伽马校正中的参数这样的与数字信号处理相关的参数,也可以是合成帧的加权参数、所合成的帧数等参数。此外,该参数可以是合成第一信息和第二信息时使用的参数。
在本实施方式中,能够通过线性矩阵部124及亮度色度生成部140等处理获取的颜色信息。因此,能够对物体等适当地提高彩度。即,在本实施方式的固体摄像装置10的图像制作中,不仅能够提高整体的颜色的彩度,还能够实现提高使用五种颜色以上的信息的更适当的彩度。
在上述说明中,在所有像素20的所有定时中作为相同定时或不同定时而获取颜色信息,但是并不限定于此。例如,可以按每三帧分割帧,在其中一帧中,对每个像素20在相同的定时进行读出,在其他两帧中,对每个像素20如图8、图9所示在其他定时进行读出。例如,在亮部和暗部混在的场景中进行三帧合成的情况下,可以对亮部根据抑制了曝光量的不同定时的读出的信息来生成图像信息,对暗部根据以SNR(Signal to Noise Ratio,信噪比)为优先而一并读出的信息来生成图像信息。
在上述说明中,为了提高颜色再现性而使用了Ye,但是并不限定于此。获取G信息的像素20例如也可以不获取Ye信息。此外,如上所述,也可以使用翠绿色来代替Ye或代替Cy。此外,与R相同的像素20所具备的补色可以是Ye。
此外,如上所述,优先根据五种颜色以上的光的强度来获取模拟信号,但是并不限定于此,也可以通过RGBW获取信息。例如,可以将图7中的补色系的分割像素作为白色像素。但是,根据所述理由,更优选使用作为类似的颜色彼此的补色系和原色系。
通过使用本实施方式的像素20,能够在单眼摄像头中高精度地获取五种颜色以上的颜色信息。此外,在存在倾斜方向上具有图案的被摄体等的情况下,也能够以跨越该图案的方式获取RGB或CMY中的任一种信息。根据本实施方式,固体摄像装置10能够分别对所获取的信息进行插值,并且例如合并为RGB信息。因此,也能够对倾斜方向上具有图案的被摄体适当地重新构成图像。
另外,在上述说明中,在图4中的受光元件200a、200d中及受光元件200b、200c中以各组合接收相同颜色的光,但是并不限于此。例如,也可以在受光元件200a、200b中及受光元件200c、200d中接收相同颜色的光。作为另一个例子,也可以在受光元件200a、200c中及受光元件200b、 200d中接收相同颜色的光。
(变形例)
在上述说明中,在像素20所具备的受光元件200中获取可见光的信息,但是并不限于此。
图10是示出第一实施方式的变形例的对像素20不进行限定的一个例子的图。在进行R系的受光的像素20中示出了表示为IR的分割像素。该 IR表示接收红外光的受光元件200。下面,在颜色的情况下可以包括IR。即,作为与R类似的颜色可以具有IR。
在这种情况下,可以省略图2所示的IRCF 112。由于省略IRCF 112,可以是在除接收IR的颜色的光的受光元件200以外的受光元件200中单独具备IRCF的方式。
如图10所示,在像素20中,可以包含接收IR光作为与R类似的颜色的受光元件200作为分割像素。通过接收IR光,也能够获取在可见光的光谱的范围内难以获取的信息。其结果是,例如能够提高光源推定部130 及物体识别部132中的推定、识别的性能。
(第二实施方式)
在上述说明中,对于在单眼摄像头中有用的排列进行了说明,但是在使用复眼摄像头的情况下,也能够作为更多种的排列。
图11是本实施方式的固体摄像装置10的框图的一个例子。固体摄像装置10具备第一受光部100A和第二受光部100B。
第一受光部100A例如具备透镜110A、IRCF112A、摄像元件114A,第二受光部100B例如具备透镜110B、IRCF112B、摄像元件114B。例如,在第一受光部100A中获取第一信息,在第二受光部100B中获取第二信息。
对于各摄像元件设置A/D转换部和箝位部。
图像存储器部134存储来自与第一受光部100A及第二受光部100B 分别对应的箝位部122A、122B的输出。
双眼合成部136将从摄像元件114A、114B获取的信息转换为适当的数据。例如,双眼合成部136合成在相同定时获取的由不同的摄像元件 114A、114B获取的信息。
对于该合成能够使用各种方法。例如,在固体摄像装置10拍摄动态图像的情况下,可以基于从接收RGB光的摄像元件获取的数据,获取简易的颜色信息作为间拔输出,以从接收补色系的光的摄像元件获取的数据为基础,进行使用间拔信息的色彩的修正。此外,可以判断亮部和暗部,基于分别从RGB系的摄像元件、补色系的摄像元件获取的信息来生成图像。此外,该双眼合成部136可以是不在固体摄像装置10内进行处理而在云上进行处理的构成。
也基于双眼合成部136合成的输出进行与图2的各构成要素同样的处理,从而固体摄像装置10获取图像信号、影像信号进行输出。
图12是示出各摄像头中的像素20的概略的图。摄像元件114A具备接收三原色系的R、G、B光的受光元件,摄像元件114B具备接收补色系的Mg、Ye、Cy光的受光元件。可以与图4等所示的像素20的构成不同,而构成为每个像素接收一种颜色的光。
通过受光的灵敏度接近的受光元件200集中于各摄像元件114,能够进行适当的曝光控制。例如,在周边环境中光的强度弱(暗)的情况下,能够基于作为受光灵敏度高的补色系的摄像装置114B的输出来生成图像,并且使用作为受光灵敏度低的原色系的摄像装置114A的输出来进行颜色校正。相反,在明亮的情况下,可以对于基于作为受光灵敏度低的原色系的摄像装置114B的输出的图像,使用受光灵敏度高的补色系的摄像装置 114A的输出来进行颜色校正。
曝光控制例如也能够在原色和补色中设为不同的曝光量。该曝光控制既可以变更快门时间,也可以变更增益。通过使该两种控制可变,例如,在RGB+CMY排列中,使RGB为短蓄积时间、使CMY为长蓄积时间,也能够以曝光量大的CMY对所拍摄的被摄体暗的部分进行拍摄,并且以 RGB对明亮的区域进行拍摄。因此,能够获取HDR的影像。
在上述说明中,短蓄积时间能够替换为低增益,长蓄积时间能够替换为高增益。即,可以控制为通过低增益获取RGB、通过高增益获取CMY。在这种情况下也同样能够获取具有高动态范围的影像。
即,能够对灵敏度低的第一信息和灵敏度高的第二信息进行相互插值。此外,除此之外,也可以根据受光的颜色的特性,在双眼合成部136中适当地执行颜色校正。
图13是示出使用双眼摄像头时的另一种受光颜色的排列的图。如该图13所示,可以构成为在获取第二信息的摄像元件114B中获取作为三原色系的G光。
在使用双眼摄像元件114的情况下,需要在合成来自各摄像元件114 的输出的定时进行视差的校正。双眼合成部136例如一边执行图案匹配、一边合成各像素20彼此的颜色。在这样进行图案匹配的情况下,如果色差变大,则匹配的精度有可能下降。
相对于此,通过设为图13所示的像素20的构成,通过在第二信息中混合G光的受光信息,能够获取G的受光信息作为与第一信息共通的信息,能够提高图案匹配的精度。
图14是示出使用双眼摄像头时的另一种受光颜色的排列的图。如该图14所示,可以构成为在获取第一信息的摄像元件114A中除了三原色以外还获取W(白色)光。
通过这样构成,能够对获取的RGB颜色的光获取高灵敏度化的信息作为第一信息。另外,W的像素20可以设置为第二信息侧即摄像元件114B 侧的像素20。
图15是示出使用双眼摄像头时的另一种受光颜色的排列的图。如该图15所示,可以构成为在获取第一信息的摄像元件114A中,除了三原色以外,还获取IR(红外)光。
通过接收IR光,能够提高光源推定、物体识别等的精度。与所述实施方式同样,接收IR光的摄像元件114优选设为不具备IRCF112的构成。在这种情况下,可以是在接收IR的像素20以外的像素20中单独安装滤光器的方式,该滤光器去除或吸收IR光。
对于从图12至图15所示的构成的摄像元件114可以设为图11所示的框图的固体摄像装置10。如上所述,在摄像元件114中接收IR光的情况下,作为不插入IRCF 112A的构成。
与作为单眼时的框图的图2相比,添加了合成来自双眼的信息的构成。如上所述,在双眼合成部136中,例如在进行了图案匹配的基础上,合成来自两个摄像元件114A、114B的输出。在图12至图15的构成中,适当地合成六色~七色的输出。也可以使用这些多种颜色中的至少一种,使用未图示的训练完成的神经网络模型来执行物体识别等。例如可以通过深度学习方法来优化该神经网络模型。
另外,基于图12至图15所示的受光颜色的拜耳排列的排列是作为不进行限定的例子加以列举的。作为基于这些图所示的拜耳排列的排列以外的排列,只要是能够适当地得到上述效果的排列即可。
如上所述,根据本实施方式,在双眼的情况下,也能够通过接收五种颜色以上的光,适当地重新构成从固体摄像装置10输出的图像。
本实施方式也能够适用于三眼以上的复眼的情况。
此外,在复眼的情况下,光学系统的尺寸能够分别设为任意的大小。此外,摄像元件114的分辨率、像素20的数量也可以对每个摄像元件11 任意设定。即,第一信息和第二信息可以是以不同的分辨率获取的信息。
由此,通过在复眼中变更光学系统的尺寸、分辨率等,能够分别从三原色系、补色系中获取不同分辨率等的图像,通过相互使用这些信息,能够实现更高分辨率化或进一步提高颜色再现性。
通过将第一信息和第二信息设为不同的分辨率,例如,固体摄像装置 10可以拍摄静止图像和动态图像作为不同的摄像模式。例如,在动态图像模式中,可以设为如下方式:通过通常驱动补色系,降低以将三原色系用作对补色系的信号的辅助的方式进行读出的消耗电力,并将从三原色系获取的颜色信息传递到补色侧来辅助图像制作。例如,可以将三原色系作为用于补色系中的像素相加(像素合并)的辅助像素来使用。这同样能够适用于使用分割像素的情况。
此外,可以在静止图像模式和动态图像模式中,在不同的定时、由不同的模块执行合成。例如,在由于处理速度的问题而难以进行动态图像的实时处理的情况下,可能在拍摄后花费时间来进行合成。在这种情况下,可以在信号处理部106、图像处理部108中执行用于动态图像的图像重新构成处理,也可以上载到云上而在性能良好的服务器等中执行图像的重新构成处理。
此外,可以使用与所述单眼中实施方式同样的分割像素作为双眼以上的复眼中的摄像元件114。在这种情况下,能够在多个摄像头中变更其用途。例如,能够以一个摄像头是广角摄像头、一个摄像头是通常的摄像头的方式作为用于不同用途的摄像头。当然,通过使用从这些多种摄像头获取的数据,也能够获取高分辨率的图像或提高颜色再现性。
(第三实施方式)
在所述实施方式中,构成为对每种颜色分别具备滤色器或有机光电转换膜,但是不限于此。例如,也可以在单眼摄像头中,使用有机光电转换膜和光电二极管,来接收三原色系及补色系的颜色的光。
图16示出使用有机光电转换膜和光电二极管作为受光元件的像素20 的例子。像素20R_Cy具备接收R光的有机光电转换膜206R和接收Cy 光的光电二极管208Cy而构成。另外,虽然未图示,但是可以在像素 20R_Cy上,在来自外部的光入射的一侧分别设置片上透镜等光学系统。
该构成的像素20R_Cy在有机光电转换膜206R中接收R光,并且输出基于R光的强度的模拟信号。经由有机光电转换膜206R光成为作为去除了R分量的补色的Cy光并输入到光电二极管208Cy。因此,在光电二极管208Cy中接收Cy光。其结果是,光电二极管208Cy接收经过了有机光电转换膜206R的Cy光,并且输出与该Cy光对应的模拟信号。
同样,可以构成由接收G光的有机光电转换膜206G和接收Mg光的光电二极管208Mg的组合构成的像素20G_Mg。此外,可以构成由接收B 光的有机光电转换膜206B和接收Ye光的光电二极管208Ye的组合构成的像素20B_Ye。
图17是示出本实施方式的像素的构成的另一个例子的图。像素 20Cy_R具备接收Cy光的有机光电转换膜206Cy和接收R光的光电二极管208R而构成。
像素20Cy_R在有机光电转换膜206Cy中接收Cy光,并且输出基于 Cy光的强度的模拟信号。经由有机光电转换膜206Cy光成为作为去除了 Cy分量的补色的R光并输入到光电二极管208R。因此,在光电二极管 208R中接收R光。其结果是,光电二极管208R接收经由有机光电转换膜 206Cy的R光,并输出与该R光对应的模拟信号。
与图16的情况同样,可以构成由接收Mg光的有机光电转换膜206Mg 和接收G光的光电二极管208G的组合构成的像素20Mg_G。此外,可以构成由接收Ye光的有机光电转换膜206Ye和接收B光的光电二极管208B 的组合构成的像素20Ye_B。
在图16及图17的例子中,在光电二极管208上不具备滤光器202,但是也可以在有机光电转换膜206和光电二极管208之间具备适当的滤光器202。
如上所述,根据本实施方式,在配置在相同位置的像素中能够适当地执行补色彼此的光的受光。根据这种构成,在单眼摄像头中,每个像素20 能够适当地接收第一信息和第二信息的光。在这种情况下,由于在第一信息和第二信息中受光位置不产生偏移,所以在图像的重新构成中,能够不执行图案匹配等而适当地提高来自各信息的颜色的再现性。
(第四实施方式)
在第二实施方式、第三实施方式中,使用三原色系及其补色系的信息,但是如上所述,颜色组合不限于此。例如,作为第二信息可以是Ye、翠绿色的颜色。通过进行翠绿色的受光,能够提高相对于等色函数的负分量的精度。此外,也可以进行W的受光。
(第五实施方式)
对在所述各实施方式中说明的像素、分割像素说明各种应用。在以下的例子中,颜色组合列举为没有限定的几个例子。
图18是示出分割像素20的一个例子的图。每个像素20接收R、G、 B、Mg、Ye、Cy的光。
如图18所示,像素20可以在规定方向上进行两分割。在分割出的各区域例如具备光电二极管作为受光元件200。
图19是示出图18的例子中的片上透镜形成的一个例子的图。以上述方式进行分割,如图19所示,通过每个像素具备片上透镜,每个像素也能够获取视差的信息。
图20是示出图18的例子中的片上透镜的形成的一个例子的图。每个分割像素可以具备椭圆形的片上透镜210。在这种情况下,能够提高分辨率。
图21是示出分割像素20的另一个例子的图。如图21所示,也可以作为在包括G的受光元件200(分割像素)的同一像素内具备进行W的受光的受光元件200的方式。此外,也可以不是接收W,而是如上所述接收翠绿色等颜色的受光元件200。由此,作为一部分的分割像素可以是与图7等的例子不同的组合。
图22是示出分割像素20的另一个例子的图。如图22所示,可以使接收G的像素20和接收Ye的像素20分离。通过设为这种方式,在进行 G及Ye的受光的像素20中,能够在统一的定时获取模拟信号,并且能够提高帧率。
图23是示出分割像素20的另一个例子的图。如图23所示,可以设为作为补色的颜色彼此配置在不同的像素20的方式。在这种情况下,例如,可以如图所示为如下方式:设为具有R和Ye的分割像素的像素20、具有B和Ye的分割像素的像素20、具有G和Mg的分割像素的像素20 以及具有G和Cy的分割像素的像素20,以配置多个G和Ye的分割像素。如果这样形成像素,则在任意像素20中均具备人眼接收受光强度高的绿色光的分割像素,能够提高颜色的再现性等。
图24是在图22的情况下的片上透镜的配置例。如该图24所示,在像素20内具备接收不同颜色的分割像素的情况下,可以具备适用于该分割像素的大小的片上透镜210。另一方面,在像素20中接收相同颜色的光的情况下,可以构成为具备遍及像素20的片上透镜210。
当然,可以构成为在G或Ye的至少一方中具备图21所示的椭圆形的两个片上透镜。
由此,通过作为形状不同的片上透镜,也能够根据在像素20中获取的模拟信号,获取相位差。
图25是示出分割像素20的另一个例子的图。如图25所示,可以将像素20分割为3×3的分割像素。在这种情况下,可以将灵敏度低的三原色系分配给五个像素,将补色系分配给剩余的四个像素。通过以上述方式进行分配,能够在一定程度上取得将像素值相加后的灵敏度的平衡。此外,不限于3×3,也可以分割为4×4、5×5等更多的分割像素。
像素值的相加可以如在所述实施方式中说明的那样通过浮动扩散区在获取模拟信号的定时执行,作为另一个例子,也可以通过模拟电路或在 A/D转换后通过数字电路来实现。
在使用分割像素的情况下,有时将对每帧获取的来自分割像素的输出值相加。在这种情况下,可以使每帧相加的像素数变化。这也能够适用于每个像素20而不是分割像素。通过以上述方式进行控制,也有助于基于帧率生成再现性更高的图像。
(第六实施方式)
在本实施方式中,简单地说明具备摄像元件114的半导体芯片。
图26是示出具备摄像元件114的基板的一个例子的图。基板30具备:像素区域300、控制电路302和逻辑电路304。如图26所示,可以构成为在相同的基板30上具备像素区域300、控制电路302和逻辑电路304。
像素区域300例如是具备所述各实施方式中的像素20等的区域。信号处理部106中的A/D转换等可以适当地设置于该像素区域300,也可以设置于基板30中的未图示的其他区域。控制电路302具备图1中的控制部104。逻辑电路例如具备信号处理部106的A/D转换后的电路和图像处理部108。此外,信号处理部106及图像处理部108的至少一部分可以不安装在该芯片上,而安装在与基板30不同的部位所具备的其他信号处理芯片上,或者也可以安装在其他处理器内等。
图27是示出具备摄像元件114的基板的另一个例子的图。作为基板具备第一基板32和第二基板34。该第一基板32和第二基板34是层叠的结构,能够适当地经由通孔等连接部相互收发信号。例如,可以是如下构成:第一基板32具备像素区域300和控制电路302,第二基板34具备逻辑电路304。
图28是示出具备摄像元件114的基板的另一个例子的图。作为基板具备第一基板32和第二基板34。该第一基板32和第二基板34是层叠的结构,能够适当地经由通孔等连接部相互收发信号。例如,可以是如下构成:第一基板32具备像素区域300,第二基板34具备控制电路302和逻辑电路304。
在图27、图28中层叠的基板彼此可以如上所述通过通孔连接,也可以通过微冲压等方法连接。这些基板的层叠例如能够通过CoC(Chip on Chip,芯片上芯片)、CoW(Chip onWafer,晶片上芯片)或WoW(Wafer on Wafer,晶片上晶片)等任意方法来层叠。
(第七实施方式)
图29是示出电子设备1的一个例子的图。如该图所示,电子设备1 例如可以是智能手机、平板终端。由此,在电子设备1具备显示器作为显示图像或影像的显示部的情况下,可以以与该显示器重叠的方式具备拍摄经由显示器的光的固体摄像装置10。
通过作为在所述各实施方式中说明的像素20的构成,能够适当地接收透射显示器的光。例如,有时智能手机等中的显示器使用聚酰亚胺等大量吸收蓝色光的材料。在这种情况下,也能够通过具备能够接收至少具有三原色和补色的五种颜色以上的光的固体摄像装置10,接收具有适当的光谱的光,能够提高图像的颜色再现性。
此外,在上述说明中设置在显示器下,但是并不限于此。例如,在智能手机等中,也可以与显示器无关,具有在所述各实施方式中说明的固体摄像装置10作为所谓外置摄像头。
图30是示出电子设备1的另一个例子的图。电子设备1例如可以是 VR(VirtualReality,虚拟现实)、AR(Augmented Reality,增强现实)、 MR(Mixed Reality,混合现实)这样的xR终端。固体摄像装置10可以用作搭载于这种xR终端的摄像头。通过将固体摄像装置10用作摄像头,能够提高灵敏度、颜色再现性,因此能够提高用户感到的沉浸性。
此外,除此以外,通过进行物体识别,还能够有效地用于识别用户感兴趣的物体等的UI(User Interface,用户界面)。
此外,也能够用作可穿戴终端的医疗保健检测。例如,通过观察R和 IR的灵敏度比,也能够获取血中的氧饱和度等生物信息。将获取的生物信息作为数据库来保存,能够与日常正常的面部颜色一起用于医疗保健等。作为另一个例子,每次获取生物信息时,进行更新神经网络模型的处理,也能够使用该神经网络模型应用于医疗保健等。该应用也能够应用于胶囊内窥镜等医疗设备。
根据以上列举的各实施方式,固体摄像装置10通过使用补色的高灵敏度化、组合了补色和原色的多色化,能够得到高颜色再现性。此外,在一些实施方式中,也能够无重心偏移地合成原色和补色。
例如,电子设备1为智能手机等,在对SNS等共享图像的情况下,不仅要求忠实的颜色再现性,还要求颜色的装饰性等。在这种情况下,根据本公开的实施方式,也能够提高颜色调整的自由度,或者能够根据物体识别结果来变更颜色制作。
此外,如图29所示,在显示器下设置摄像头的系统、装置中,有时光量被显示器面板等遮挡、或者特别是蓝色的灵敏度显著劣化,但是根据本公开的实施方式,也能够解决这些问题。
此外,使用有机光电转换膜,能够在纵向(例如图16、图17中附图的高度方向)上得到原色、补色,因此能够抑制产生追加补色引起的分辨率劣化这样的弊端。
(第八实施方式)
在上述实施方式中,说明了颜色等的再现性,但是应用该颜色等的再现性,也能够提高光源推定、物体识别的精度、校正图像的闪烁。
图31是示出固体摄像装置10的又一个例子的框图。固体摄像装置10 在图2等的构成中还具备预线性矩阵部160、RGB重新排列部162、传感器输出部164和统计值获取部166。
图32是在光谱中分别示出了获取的RGB信息及CMY信息的图。在本实施方式中例如是使用接收该图32所示的RGB+CMY的六色的光的受光元件的构成,但是不限定于该六色。
与所述实施方式同样,在受光元件中接收光并输出基于强度的模拟信号,该模拟信号通过A/D转换部120转换为数字信号。箝位部122进行黑电平的校正。
预线性矩阵部160基于从箝位部122输出的信息,将第一信息和第二信息混合,例如,获取与受光元件接收到的与RGB信息不同的RGB的像素值的信息。这样,预线性矩阵部160通过规定的运算处理,重新计算 RGB信息。
RGB重新排列部162重新排列预线性矩阵部160所输出的信号。
图33是示出RGB表色系中的等色函数的图。预线性矩阵部160及 RGB重新排列部162所输出的RGB信息是与第一信息及第二信息相比提高了SNR或颜色再现性的信息。此外,该RGB信息可以是使用补色的信息转换为接近被视为颜色再现性的理想的等色函数的分光输出的该图33 所示的RGB信息。即,预线性矩阵部160在其他处理之前,根据五种颜色以上的颜色信息,生成提高了SNR等的RGB颜色信息。并且,固体摄像装置10基于该信息,执行此后的处理。
例如,在位于摄像元件114的后级的信号处理处理器中,一般安装成处理RGB三种颜色的信息。在这种情况下,通过如本实施方式那样输出数字信号作为RGB信号,能够对应于多个后级的信号处理处理器。并且,如上所述,该RGB信号是提高了SNR特性等的信号,因此能够利用颜色再现性更良好的数据,并且能够使用一般的信号处理电路。
传感器输出部164输出RGB重新排列部162重新排列的图像信号。
统计值获取部166获取五种颜色以上的颜色信息的统计值。所获取的信息例如用于提高光源推定、物体识别的精度。例如,光源推定部130能够基于五种颜色以上的统计值,更高精度地再现光源的光谱,获取基于再现的光谱的环境等信息。物体识别部132也能够基于该统计值,提高物体、生物体等的识别精度。
具体地说,统计值获取部166对视角内进行区域分割,对每个区域分别输出每种颜色的平均值。例如,输出特定的区域内的像素值的平均值。以上述方式得到的信息是使用六色信息的详细的颜色信息,因此能够用于光源推定、颜色校正。颜色校正例如表示在后级的处理器内执行最佳的图像制作时的调整颜色的全部处理。
另外,虽然获取六色的统计值,但是RGB信息也能够作为通常的摄像数据从RGB重新排列部162等输出,因此也可以仅输出CMY的统计值。
此外,区域分割在区域内包括多个像素,但是并不限于此,区域也可以作为一个像素。例如,RGB信息通过预线性矩阵处理转换为实施了SNR 等处理的RGB信息,另一方面,由于在该阶段CMY丢失,所以也可以通过统计值获取部166输出CMY信息,将信息传递到后级的光源推定部 130等。
传感器输出部164、统计值获取部166的输出作为摄像元件114的输出信息例如输出到光源推定部130。此后的处理可以与所述实施方式相同。此外,作为另一个例子,在光源推定后可以进行白平衡的调整、线性矩阵的控制。此外,也可以作为在摄像元件114内执行光源推定、白平衡调整及线性矩阵处理的方式。
如上所述,根据本实施方式,与所述实施方式相比能够将更多的信息输出到后级的处理器。通过使用大量的信息,容易添加SNR的提高、颜色再现的改进处理。由此,能够提高SNR、或进一步提高光源推定的精度,并且进一步提高物体、生物体的识别精度。
在该构成的固体摄像装置10中,执行图8、图9的第一信息获取及第二信息获取的处理,利用高SNR将五种颜色以上的信息转换为RGB信息。控制部104也能够改变第一信息获取及第二信息获取时的快门速度。通过改变快门速度,能够校正在预线性矩阵部160中获取的RGB图像中的闪烁不定(闪烁)。
例如,在图8、图9中,在存在周期性点亮的光源等的情况下,如果该周期成为与切换图8的状态和图9的状态的周期相同或接近的状态,则作为图像整体发生闪烁。此外,在使用一般的CMOS(Complementary MOS) 元件等的情况下,有时也会由于与滚动快门变形等同样的原因而发生闪烁。在这种情况下,通过在相同的像素20中以不同的定时、不同快门速度来获取信息,也能够使这些定时错开。其结果是,例如能够抑制LED等光源引起的闪烁等图像中的闪烁不定。
(第九实施方式)
更详细地说明图29所示的电子设备1在显示器下配置有摄像头UDC (UnderDisplay Camera)并具备固体摄像装置10的情况。在这种情况下,利用使用了所述实施方式的复眼摄像头的方式,也能够提高摄像精度。
图34是示出本实施方式的电子设备1和固体摄像装置10的摄像元件 114的配置的图。固体摄像装置10具备摄像元件114A、114B。例如在获取用于VR(Virtual Reality)/AR(Augmented Reality)等图像的情况下,这些摄像元件之间优选为其中心点的距离能够维持与人眼同等的视差的 50~80mm,但是并不限于此,也可以更接近地配置,或者更远离地配置。例如,属于各摄像元件的像素中的最近的像素彼此的距离可以为离开 10mm以下的距离的状态。
图35是摄像元件114A、114B各自的像素20的颜色的配置例。这样,本实施方式中的固体摄像装置10具备获取低灵敏度的第一信息的摄像元件114A和获取高灵敏度的第二信息的摄像元件114B。下面,将摄像元件 114A所包含的像素20也记为第一像素组,将摄像元件114B所包含的像素20也记为第二像素组。
属于第一像素组的像素20例如是RGB的拜耳排列,属于第二像素组的像素20例如是RGW的排列。
在静止图像的情况下,从所有像素20获取第一信息和第二信息并执行去马赛克及颜色的合成处理,由此能够实现高精度的颜色再现。另一方面,在动态图像的情况下,将从摄像元件114A获取的信息如箭头所示缩略为RGB的拜耳排列。通过在高灵敏度侧的第二信息中附加缩略的低灵敏度的第一信息的颜色信息,能够在保持高帧率的状态下提高颜色再现性。
在这种情况下,由于能够减少作为第一信息进行获取的信息,所以与进行与静止图像相同的分辨率的信息获取相比,能够抑制消耗电力。作为一个例子,第二像素组中的RGW的像素20中的至少一个的灵敏度可以设定为比第一像素组的G的像素20的灵敏度高。通过这样进行设定,能够使第二信息的灵敏度比第一信息的灵敏度高。
此外,也可以设定为高于R的灵敏度或B的灵敏度,而不是G的灵敏度。例如,如后所述,通过第二像素组具备Cy或W的像素20,所述 Cy或W的像素具有比第一像素组中的B的灵敏度高的灵敏度,从而即使在图34所示的显示器下具备摄像元件114的情况下,也能够提高蓝色的灵敏度。
这样,在动态图像拍摄时和静止图像拍摄时,能够使用不同的合成方法。其结果是,能够解决动态图像拍摄时的消耗电力的问题或实时性的问题等。
另外,在图34中,双方的摄像元件14(传感器)的大小相同,但是也可以使高灵敏度侧即第二像素组所属的摄像元件114B侧的传感器更大。例如,通过以上述方式改变传感器的大小,在难以使用两方的传感器的情况下,可以切换固体摄像装置10的控制以仅使用高灵敏度侧的传感器。
在信号处理部106或图像处理部108中,将从第一像素组获取的第一信息与从第二像素组获取的第二信息相加(加权计算),由此提高颜色再现性。在与第二像素组相比,第一像素组的分辨率低的情况下,可以基于从第一像素组获取的模拟信号进行去马赛克处理来生成第一信息,对该第一信息和第二信息进行相加处理。这对于静止图像和动态图像是相同的。
另一方面,在动态图像中削减第一像素组的信息量的情况下也相同。在这种情况下,也能够通过对从第一像素组获取的信息进行去马赛克,对第二信息进行插值,实现高分辨率且提高了颜色再现性的图像的重新构成。此外,通过进行加法运算,能够减少噪声的影响,因此也有助于提高SNR。
在上述说明中,将高灵敏度侧设为RGW的排列,但是也可以与所述实施方式同样地设为补色系。例如,也可以设为与图12至图15所示的摄像元件114B同样的方式。
图36是示出摄像元件114B中的像素的排列的另一个例子的图。如图所示,第二像素组可以是补色系+W的方式。固体摄像装置10与上述同样,通过将适当地转换了从第一像素组获取的信号的第一信息与从第二像素组获取的第二信息相加进行输出,能够得到颜色再现性、高分辨率或高 SNR中的至少一种效果。
可以基于从该W的像素20获取的信息,获取IR分量。与上述同样,通过获取IR分量,也能够有助于提高光源推定、物体识别的精度。
此外,与所述实施方式同样,在动态图像拍摄时和静止图像拍摄时,也能够改变合成第一信息和第二信息的定时。同样地,能够将动态图像拍摄时进行处理的模块和静止图像拍摄时进行处理的模块设为不同的构成。如上所述,可以在动态图像拍摄时,获取数据并在更高性能的服务器装置等中进行重新构成。即,可以作为在动态图像拍摄和静止图像拍摄中由不同的系统模块执行此后的处理的方式。
在本实施方式中,如图31所示,也可以获取颜色信息的统计值等。可以使用该统计量来校正第二信息的颜色信息。作为另一个例子,可以根据从第一像素组获取的信号获取与颜色相关的统计量,基于该统计量来校正从第二像素组获取的第二信息。
与所述实施方式同样,可以不是通过像素20进行颜色区分,而是作为分割像素进行颜色区分。分割像素可以仅应用于第一像素组及第二像素组中的一方,也可以应用于双方。即,分割可以是其中至少一个接收W 的光的构成。
此外,在排列中,可以为任一个像素或分割像素能够专用地获取IR 光的方式。IR光的用途与上述相同。在获取该IR光的摄像元件114中,优选与所述实施方式同样作为不具备IRCF的构成。此外,获取IR光的像素20或分割像素以外的要素也可以作为另外具备IRCF的方式。
此外,可以使第一像素组和第二像素组的光学系统不同。例如,通过使第二像素组的光学尺寸比第一像素组的光学尺寸大,从而能够在高灵敏度侧获取更详细的信号,并且在低灵敏度侧进行高速且消耗电力小的驱动。
(本公开的电子设备1或固体摄像装置10的应用例)
(第一应用例)
本公开的电子设备1或固体摄像装置10能够用于各种用途。图37A 及图37B是示出作为具备本公开的固体摄像装置10的电子设备1的第一应用例的交通工具360的内部构成的图。图37A是示出从交通工具360 的后方向前方的交通工具360的内部情况的图,图37B是示出从交通工具 360的斜后方向斜前方的交通工具360的内部情况的图。
图37A及图37B的交通工具360具有:中央显示器361、控制台显示器362、平视显示器363、数字后视镜364、方向盘显示器365和后排娱乐显示器366。
中央显示器361配置在仪表盘367上的与驾驶席368及副驾驶席369 相对的场所。在图37A及图37B中示出从驾驶席368侧延伸到副驾驶席 369侧的横向长形状的中央显示器361的例子,但是中央显示器361的画面尺寸、配置位置是任意的。中央显示器361能够显示由各种传感器检测到的信息。作为具体的一个例子,中央显示器361能够显示由图像传感器拍摄到的拍摄图像、由ToF传感器计测的到交通工具前方、侧方的障碍物的距离图像、由红外线传感器检测到的乘客的体温等。中央显示器361例如能够用于显示安全关联信息、操作关联信息、生命日志、健康关联信息、认证/识别关联信息及娱乐关联信息中的至少一个。
安全关联信息是瞌睡检测、斜视检测、同乗的儿童的恶作剧检测、有无佩戴安全带、乘客的留置检测等信息,例如是由与中央显示器361的背面侧重叠配置的传感器检测到的信息。操作关联信息使用传感器检测与乘客的操作相关的手势。所检测的手势可以包括交通工具360内的各种设备的操作。例如检测空调设备、导航装置、AV装置、照明装置等的操作。生命日志包括乘客全员的生命日志。例如,生命日志包括乘车中的各乘客的行动记录。通过获取及保存生命日志,能够确认发生事故时乘客处于何种状态。健康关联信息使用温度传感器检测乘客的体温,基于检测到的体温推测乘客的健康状态。或者可以使用图像传感器拍摄乘客的面部,根据所拍摄的面部表情来推测乘客的健康状态。此外,可以通过自动语音与乘客进行对话,基于乘客的回答内容来推测乘客的健康状态。认证/识别关联信息包括使用传感器进行面部认证的无钥匙进入功能、通过面部识别自动调整座位高度、位置的功能等。娱乐关联信息包括使用传感器检测由乘客进行的AV装置的操作信息的功能、通过传感器识别乘客的面部并由AV 装置提供适合于乘客的内容的功能等。
控制台显示器362例如能够用于生命日志信息的显示。控制台显示器 362配置在驾驶席368和副驾驶席369之间的中央控制台370的换挡杆371 的附近。控制台显示器362也能够显示由各种传感器检测到的信息。此外,控制台显示器362可以显示由图像传感器拍摄的车辆周边的图像,也可以显示到车辆周边的障碍物的距离图像。
平视显示器363虚拟地显示在驾驶席368前方的挡风玻璃372的里侧。平视显示器363例如能够用于显示安全关联信息、操作关联信息、生命日志、健康关联信息、认证/识别关联信息及娱乐关联信息中的至少一个。平视显示器363大多虚拟地配置在驾驶席368的正面,因此适合于显示交通工具360的速度、燃料(电池)剩余量等与交通工具360的操作直接关联的信息。
数字后视镜364不仅能够显示交通工具360的后方,还能够显示后部座椅的乘客的情况,因此通过与数字后视镜364的背面侧重叠地配置传感器,例如能够用于显示生命日志信息。
方向盘显示器365配置在交通工具360的方向盘373的中心附近。方向盘显示器365例如能够用于显示安全关联信息、操作关联信息、生命日志、健康关联信息、认证/识别关联信息及娱乐关联信息中的至少一个。特别是方向盘显示器365位于驾驶员的手的附近,因此适合于显示驾驶员的体温等生命日志信息、与AV装置、空调设备等的操作相关的信息等。
后排娱乐显示器366安装于驾驶席368、副驾驶席369的背面侧,用于后部座椅的乘客进行视听。后排娱乐显示器366例如能够用于显示安全关联信息、操作关联信息、生命日志、健康关联信息、认证/识别关联信息及娱乐关联信息中的至少一个。特别是后排娱乐显示器366位于后部座椅的乘客的眼前,因此显示与后部座椅的乘客关联的信息。例如,可以显示与AV装置、空调设备的操作相关的信息、或者显示通过温度传感器计测了后部座椅的乘客的体温等的结果。
如上所述,通过与电子设备1的背面侧重叠地配置传感器,能够计测到存在于周围的物体的距离。光学距离计测的方法大致分为被动型和主动型。被动型不从传感器向物体投射光而接收来自物体的光来进行距离计测。被动型具有透镜焦点法、立体法及单眼视法等。主动型向物体投射光并由传感器接收来自物体的反射光来进行距离计测。主动型具有光雷达方式、有源立体方式、照度差立体法、莫尔条纹法、干涉法等。本公开的图像显示装置1也能够应用于这些任何方式的距离计测。通过使用与本公开的图像显示装置1的背面侧重叠配置的传感器,能够进行上述被动型或主动型的距离计测。
(第二应用例)
具备本公开的固体摄像装置10的电子设备1不仅能够应用于交通工具中使用的各种显示器,还能够应用于搭载于各种电子设备的显示器。
图38A是作为电子设备1的第二应用例的数字摄像头310的主视图,图38B是数字摄像头310的后视图。图38A及图38B的数字摄像头310 示出了能够更换镜头121的单反相机的例子,但是也能够用于不能更换镜头121的摄像头。
关于图38A及图38B的摄像头,拍摄者在把持摄像头主体311的把手313的状态下观看电子取景器315来确定构图,如果在进行了焦点调节的状态下按下快门,则在摄像头内的存储器中保存拍摄数据。如图38B所示,在摄像头的背面侧设置有显示拍摄数据等、实时图像等的监视器画面 314和电子取景器315。此外,在摄像头的上表面有时设置有显示快门速度、曝光值等设定信息的子画面。
通过与用于摄像头的监视器画面316、电子取景器315、子画面等的背面侧重叠地配置传感器,从而能够作为本公开的电子设备1加以使用。
(第三应用例)
本公开的电子设备1也能够应用于头戴式显示器(以下称为HMD)。 HMD能够用于VR、AR、MR(Mixed Reality)或SR(Substitutional Reality,替代现实)等。
图39A是作为电子设备1的第三应用例的HMD320的外观图。图39A 的HMD320具有用于佩戴成覆盖人眼的佩戴部件322。该佩戴部件322例如钩挂于人的耳朵来固定。在HMD320的内侧设置有显示装置321, HMD320的佩戴者能够通过该显示装置321目视确认立体影像等。 HMD320例如具备无线通信功能和加速度传感器等,能够根据佩戴者的姿势、手势等,切换显示于显示装置321的立体影像等。
此外,也可以在HMD320设置摄像头,拍摄佩戴者周围的图像,在显示装置321显示合成了摄像头的拍摄图像和由计算机生成的图像的图像。例如,与HMD320的佩戴者目视确认的显示装置321的背面侧重叠地配置摄像头,通过该摄像头拍摄佩戴者的眼睛的周边,通过设置于HMD320 的外表面的其他显示器显示该拍摄图像,处于佩戴者周围的人能够实时地掌握佩戴者的面部表情、眼睛的移动。
另外,HMD320可以考虑各种类型。例如,如图39B所示,本公开的电子设备1也能够应用于在眼镜344放映出各种信息的智能眼镜340。图 39B的智能眼镜340具有主体部341、臂部342、镜筒部343。主体部341 与臂部342连接。主体部341能够相对于眼镜344装拆。主体部341内置有用于控制智能眼镜340的动作的控制基板、显示部。主体部341和镜筒经由臂部342相互连结。镜筒部343将从主体部341经由臂部342射出的图像光向眼镜344的透镜345侧射出。该图像光通过透镜345进入人眼。与通常的眼镜同样,图39B的智能眼镜340的佩戴者不仅能够确认周围的状况,而且能够一起目视确认从镜筒部343射出的各种信息。
(第四应用例)
本公开的电子设备1也能够应用于电视装置(以下称为TV)。最近的 TV从小型化的观点及外观设计性的观点出发,具有尽可能减小边框的倾向。因此,在将拍摄视听者的摄像头设置于TV的情况下,优选与TV的显示面板的背面侧重叠配置。
TV的边框极小化,正面侧的大致全部区域成为显示区域。在TV内置有用于拍摄视听者的摄像头等传感器。传感器配置在显示面板内的一部分(例如虚线部位)的里侧。传感器可以是图像传感器模块,也可以应用面部认证用的传感器、距离计测用的传感器、温度传感器等各种传感器,也可以将多种传感器配置在TV的显示面板的背面侧。
如上所述,根据本公开的电子设备1,与显示面板的背面侧重叠地配置图像传感器模块,因此不需要在边框配置摄像头等,能够使TV小型化,并且消除了因边框损害外观设计的风险。
(第五应用例)
本公开的电子设备1也能够应用于智能手机、便携电话。图40是作为电子设备1的第五应用例的智能手机150的外观图。在图40的例子中,显示面2z扩展到接近电子设备1的外形尺寸,使位于显示面2z周围的端框2y的宽度为数mm以下。通常,大多在端框2y搭载前置摄像头,但是在图40中,如虚线所示,在显示面2z的例如大致中央部的背面侧配置有作为前置摄像头发挥功能的图像传感器模块9。由此,通过将前置摄像头设置于显示面2z的背面侧,不需要在端框2y配置前置摄像头,能够使端框2y的宽度变窄。
所述实施方式可以是以下的方式。
(1)一种摄像元件,具备多个像素,所述多个像素获取第一信息及第二信息,所述第一信息是三原色的信息,所述第二信息是与所述三原色不同的至少两种颜色的信息且包含所述三原色的补色中的至少一种颜色。
(2)根据(1)所述的摄像元件,其中,
所述三原色是R(红色)、G(绿色)、B(蓝色),
所述补色是Cy(青色)、Ye(黄色)、Mg(品红色)。
(3)根据(2)所述的摄像元件,其中,
所述第二信息包含Cy及Ye的信息。
(4)根据(2)所述的摄像元件,其中,
所述第二信息包含Cy、Ye及Mg的信息。
(5)根据(1)至(4)中任一项所述的摄像元件,其中,
所述第二信息包含白色和翠绿色中的至少一种的信息。
(6)根据(1)至(5)中任一项所述的摄像元件,其中,
所述像素输出所述第一信息及所述第二信息中的至少两种颜色的信息。
(7)根据(6)所述的摄像元件,其中,
所述像素具备多个分割像素,
每个所述分割像素获取所述第一信息及所述第二信息中的一种颜色的信息。
(8)根据(7)所述的摄像元件,其中,
统一获取所述第一信息和所述第二信息所包含的颜色的信息中的类似颜色的信息。
(9)根据(8)所述的摄像元件,其中,
所述类似的颜色的信息包含R和Mg、B和Cy、G和Ye、R和Ye、 R和红外光中的至少一方的信息。
(10)根据(1)所述的摄像元件,其中,
所述第一信息和所述第二信息是在相同的定时由不同的受光元件获取的信息。
(11)根据(10)所述的摄像元件,其中,
在所述第二信息中包含所述三原色的信息中的至少一个。
(12)根据(10)或(11)所述的摄像元件,其中,
所述第一信息和所述第二信息以不同的分辨率来获取。
(13)根据(1)至(12)中任一项所述的摄像元件,其中,
所述像素中的至少一个像素使用有机光电转换膜来获取信息。
(14)根据(13)所述的摄像元件,其中,
所述第一信息在有机光电转换膜中获取,所述第二信息经由所述有机光电转换膜在光电二极管中获取,或者,
所述第二信息在有机光电转换膜中获取,所述第一信息经由所述有机光电转换膜在光电二极管中获取。
(15)一种电子设备,
具备(1)至(14)中任一项所述的摄像元件,
具有静止图像模式和动态图像模式,
在所述静止图像模式和所述动态图像模式中,在不同的定时或不同的模块中合成所述第一信息和所述第二信息。
(16)根据(1)至(15)中任一项所述的摄像元件,其中,
所述像素中的至少一个获取红外区域的光的信息。
(17)根据(16)所述的摄像元件,其中,
具备滤光器,所述滤光器能够在获取红外区域的光的信息的所述像素所包含的摄像元件的至少一部分中进行红外线去除。
(18)根据(1)至(17)中任一项所述的摄像元件,其中,
合成从所述像素输出的帧图像,
在合成的定时,控制将每帧相加的所述像素的数量。
(19)一种电子设备,
具备(1)至(18)中任一项所述的摄像元件,
基于从所述摄像元件获取的光谱信息,执行物体识别或生物体识别或光源推定。
(20)根据(19)所述的电子设备,其中,
基于通过所述物体识别或所述生物体识别而识别的对象,控制图像处理或所述图像处理的参数。
(21)一种电子设备,具备:
显示图像的显示器;以及
配置在与所述显示器重叠的位置的(1)至(18)中任一项所述的摄像元件。
(22)一种电子设备,
具备复眼摄像头,所述复眼摄像头在至少一个中具备(1)至(18) 中任一项所述的摄像元件,
所述摄像元件中的至少一个不具备红外线去除滤光器。
(23)根据(1)至(18)中任一项所述的摄像元件,其中,具备:
获取所述第一信息的第一像素组;以及
获取所述第二信息的第二像素组,
所述第二像素组是灵敏度比所述第一像素组中的获取G信息的所述像素高的像素。
(24)根据(23)所述的摄像元件,其中,
所述第二像素组至少包括获取白色的信息的像素。
(25)根据(23)或(24)所述的摄像元件,其中,
使用所述第一像素组获取的信息,对所述第二像素组获取的信息进行插值。
(26)根据(23)至(25)中任一项所述的摄像元件,其中,
具备获取静止图像的静止图像模式和获取动态图像的动态图像模式,在所述静止图像模式和所述动态图像模式中,通过不同的方法合成所述第一像素组和所述第二像素组。
(27)根据(26)所述的摄像元件,其中,
在所述静止图像模式和所述动态图像模式中,在不同的定时进行合成。
(28)根据(26)或(27)所述的摄像元件,其中,
在所述静止图像模式和所述动态图像模式中,在不同的系统模块中进行合成。
(29)根据(23)至(28)中任一项所述的摄像元件,其中,
在所述动态图像模式中,使属于所述第一像素组的像素的分辨率比属于所述第二像素组的像素的分辨率低。
(30)根据(23)至(29)中任一项所述的摄像元件,其中,
基于从所述第一像素组获取的颜色信息统计值或光源推定结果,校正从所述第二像素组获取的颜色信息。
(31)根据(23)至(30)中任一项所述的摄像元件,其中,
属于所述第一像素组的像素和属于所述第二像素组的像素中的最近的像素离开10mm以下的距离配置。
(32)根据(31)所述的摄像元件,其中,
所述最近的像素隔开50mm至80mm的距离配置。
(33)根据(23)至(32)中任一项所述的摄像元件,其中,
所述第一像素组或所述第二像素组中的任一组所属的像素具备被分割的分割像素而构成。
(34)根据(33)所述的摄像元件,其中,
在所述分割像素中具备白色像素。
(35)根据(23)至(34)中任一项所述的摄像元件,其中,
对于在所述第一像素组及所述第二像素组中获取的光,成为该光的路径的光学参数在各组中具有不同的参数。
(36)根据(23)至(35)中任一项所述的摄像元件,其中,
在所述第二像素组中具备灵敏度比所述第一像素组的获取B信息的像素高的像素。
(37)根据(36)所述的摄像元件,其中,
灵敏度比获取所述B信息的像素高的像素是获取白色或青色的颜色信息的像素。
(38)根据(1)至(37)中任一项所述的摄像元件,其中,
根据获取的所述图像信息通过运算处理,对以五种颜色以上获取的像素信息,重新计算三原色的信息并输出重新排列的信息。
(39)根据(38)所述的摄像元件,其中,
根据所获取的所述图像信息,计算至少包含补色信息的信息的像素值或统计值。
(40)根据(39)所述的摄像元件,其中,
根据所获取的所述图像信息,计算三原色的信息及所述补色信息的所述统计值。
(41)根据(39)所述的摄像元件,其中,
根据所获取的所述图像信息,不包含三原色的信息,根据所述补色信息计算所述统计值。
(42)根据(1)至(41)中任一项所述的摄像元件,其中,
在接收三原色的像素和接收补色的像素中,分别控制曝光量。
(43)根据(41)所述的摄像元件,其中,
所述曝光量通过控制快门时间来控制。
(44)根据(42)或(43)所述的摄像元件,其中,
所述曝光量通过控制增益来控制。
(45)一种固体摄像装置,
具备(1)至(44)中任一项所述的摄像元件。
(46)一种电子设备,具备具有多个像素的摄像元件,所述多个像素获取第一信息及第二信息,所述第一信息是三原色的信息,所述第二信息是与所述三原色不同的至少两种颜色的信息,并且包含所述三原色的补色中的至少一种颜色。
本公开的方式不限定于所述实施方式,也包括能够想到的各种变形,本公开的效果也不限定于所述内容。各实施方式中的构成要素可以适当地组合来应用。即,在不脱离从权利要求书所规定的内容及其等同物导出本公开的概念性的思想和宗旨的范围内,能够进行各种追加、变更及部分删除。

Claims (15)

1.一种摄像元件,其特征在于,
具备多个像素,
所述多个像素获取第一信息及第二信息,
所述第一信息是三原色的信息,
所述第二信息是与所述三原色不同的至少两种颜色的信息且包含所述三原色的补色中的至少一种颜色。
2.根据权利要求1所述的摄像元件,其中,
所述三原色是R、G、B,其中,R为红色,G为绿色,B为蓝色,
所述补色是Cy、Ye、Mg,其中,Cy为青色,Ye为黄色,Mg为品红色。
3.根据权利要求2所述的摄像元件,其中,
所述第二信息包含Cy及Ye的信息。
4.根据权利要求2所述的摄像元件,其中,
所述第二信息包含Cy、Ye及Mg的信息。
5.根据权利要求1所述的摄像元件,其中,
所述第二信息包含白色、翠绿色、以及红外光中的至少一种的信息。
6.根据权利要求1所述的摄像元件,其中,
所述像素具备多个分割像素,输出所述第一信息及所述第二信息中的至少两种颜色的信息,
每个所述分割像素获取所述第一信息及所述第二信息中的一种颜色的信息。
7.根据权利要求6所述的摄像元件,其中,
统一获取所述第一信息和所述第二信息所包含的颜色的信息中的具有规定值以上共同波长分量的类似颜色的信息。
8.根据权利要求7所述的摄像元件,其中,
所述类似颜色的信息包括:R和Mg、B和Cy、G和Ye、R和Ye、以及R和红外光中的至少一种的信息。
9.根据权利要求7所述的摄像元件,其中,
所述第一信息和所述第二信息以不同的分辨率来获取。
10.根据权利要求1所述的摄像元件,其中,
所述像素中的至少一个像素使用有机光电转换膜来获取信息。
11.根据权利要求10所述的摄像元件,其中,
所述第一信息在有机光电转换膜中获取,所述第二信息经由所述有机光电转换膜在光电二极管中获取,或者
所述第二信息在有机光电转换膜中获取,所述第一信息经由所述有机光电转换膜在光电二极管中获取。
12.根据权利要求5所述的摄像元件,其中,
所述摄像元件具备滤光器,所述滤光器能够在获取红外区域的光的信息的所述像素所包含的摄像元件的至少一部分中去除红外线。
13.一种电子设备,其特征在于,
具备权利要求1所述的摄像元件,
基于从所述摄像元件获取的光谱信息,执行物体识别或生物体识别、或者光源推定。
14.一种电子设备,其特征在于,包括:
显示器,显示图像;以及
权利要求1所述的摄像元件,配置在与所述显示器重叠的位置。
15.一种电子设备,其特征在于,
具备摄像元件,所述摄像元件具有多个像素,所述多个像素获取第一信息及第二信息,所述第一信息是三原色的信息,所述第二信息是与所述三原色不同的至少两种颜色的信息且包含所述三原色的补色中的至少一种颜色。
CN202120501377.0U 2020-03-16 2021-03-09 摄像元件及电子设备 Active CN216122640U (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202062990303P 2020-03-16 2020-03-16
US62/990,303 2020-03-16
US202063054919P 2020-07-22 2020-07-22
US63/054,919 2020-07-22

Publications (1)

Publication Number Publication Date
CN216122640U true CN216122640U (zh) 2022-03-22

Family

ID=77691392

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110256767.0A Pending CN113411506A (zh) 2020-03-16 2021-03-09 摄像元件及电子设备
CN202120501377.0U Active CN216122640U (zh) 2020-03-16 2021-03-09 摄像元件及电子设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110256767.0A Pending CN113411506A (zh) 2020-03-16 2021-03-09 摄像元件及电子设备

Country Status (7)

Country Link
US (1) US20230140768A1 (zh)
EP (1) EP4124031A4 (zh)
JP (1) JPWO2021187076A1 (zh)
KR (1) KR20220154108A (zh)
CN (2) CN113411506A (zh)
TW (1) TW202205847A (zh)
WO (1) WO2021187076A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN213960150U (zh) * 2019-12-04 2021-08-13 索尼半导体解决方案公司 电子设备
CN114693580B (zh) * 2022-05-31 2022-10-18 荣耀终端有限公司 图像处理方法及其相关设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL7900897A (nl) * 1978-02-15 1979-08-17 Hitachi Ltd Vaste-stof beeldopneeminrichting.
US7057654B2 (en) * 2002-02-26 2006-06-06 Eastman Kodak Company Four color image sensing apparatus
JP2005328421A (ja) * 2004-05-17 2005-11-24 Sony Corp 撮像装置および撮像方法
JP4145852B2 (ja) * 2004-08-20 2008-09-03 セイコーエプソン株式会社 電気光学装置、カラーフィルタ、及び電子機器
JP4265546B2 (ja) * 2005-01-31 2009-05-20 ソニー株式会社 撮像装置、画像処理装置および画像処理方法
JP4892909B2 (ja) * 2005-09-22 2012-03-07 ソニー株式会社 信号処理方法、信号処理回路およびこれを用いたカメラシステム
KR20070115243A (ko) * 2006-06-01 2007-12-05 삼성전자주식회사 이미지 촬상 장치, 및 그 동작 방법
JP2008288629A (ja) * 2007-05-15 2008-11-27 Sony Corp 画像信号処理装置、撮像素子、および画像信号処理方法、並びにコンピュータ・プログラム
CN101345248B (zh) * 2007-07-09 2010-07-14 博立码杰通讯(深圳)有限公司 多光谱感光器件及其制作方法
JP4285587B2 (ja) * 2008-12-17 2009-06-24 ソニー株式会社 撮像素子
JP5709131B2 (ja) * 2011-05-11 2015-04-30 国立大学法人東京工業大学 画像処理システム
JP5999750B2 (ja) 2011-08-25 2016-09-28 ソニー株式会社 撮像素子、撮像装置及び生体撮像装置
JP2013125861A (ja) * 2011-12-14 2013-06-24 Sony Corp 固体撮像素子および電子機器
CN104412579B (zh) * 2012-07-06 2016-08-24 富士胶片株式会社 彩色摄像元件以及摄像装置
JP6245942B2 (ja) * 2013-10-31 2017-12-13 オリンパス株式会社 撮像素子
US10136107B2 (en) * 2013-11-21 2018-11-20 Semiconductor Components Industries, Llc Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
CN106664394B (zh) * 2014-06-24 2018-10-02 麦克赛尔株式会社 摄像处理装置以及摄像处理方法
US10097804B2 (en) * 2014-06-30 2018-10-09 Sony Semiconductor Solutions Corporation Image processing device, imaging device, information processing device, and image processing method
JP6473350B2 (ja) * 2015-03-05 2019-02-20 独立行政法人国立高等専門学校機構 カラー撮像素子
JP6758747B2 (ja) * 2015-09-18 2020-09-23 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
WO2017154444A1 (ja) * 2016-03-09 2017-09-14 ソニー株式会社 光電変換素子及び撮像装置
CN115799286A (zh) * 2016-03-16 2023-03-14 索尼公司 光电转换元件及其制造方法和摄像装置
US20180114493A1 (en) * 2016-10-21 2018-04-26 Motorola Mobility Llc Electronic Device with Display-Based Image Compensation and Corresponding Systems and Methods
KR102412278B1 (ko) * 2017-11-06 2022-06-24 삼성전자 주식회사 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치

Also Published As

Publication number Publication date
CN113411506A (zh) 2021-09-17
KR20220154108A (ko) 2022-11-21
EP4124031A1 (en) 2023-01-25
TW202205847A (zh) 2022-02-01
US20230140768A1 (en) 2023-05-04
EP4124031A4 (en) 2023-11-22
JPWO2021187076A1 (zh) 2021-09-23
WO2021187076A1 (ja) 2021-09-23

Similar Documents

Publication Publication Date Title
US10257484B2 (en) Imaging processing device and imaging processing method
US9055181B2 (en) Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information
US8666153B2 (en) Image input apparatus
US8411176B2 (en) Image input device
CN216122640U (zh) 摄像元件及电子设备
JP6758747B2 (ja) 固体撮像装置および電子機器
CN113892256B (zh) 用于监控驾驶员的多曝光图像捕获设备和相关系统
WO2021225030A1 (ja) 電子機器及び撮像装置
JP2015053578A (ja) カラー撮像装置及びカラー撮像方法
JP7052811B2 (ja) 画像処理装置、画像処理方法及び画像処理システム
JP4049257B2 (ja) 固体撮像装置及びデジタルカメラ
JP4533261B2 (ja) 撮像装置
JP2012010141A (ja) 画像処理装置
JP7121538B2 (ja) 撮像装置及び撮像方法
TW202137749A (zh) 攝像裝置、攝像方法及電子機器
US20240171868A1 (en) Imaging element, imaging device and electronic device
JP2017118283A (ja) カメラシステム
US20240194712A1 (en) Solid-state imaging apparatus and electronic device
WO2022244354A1 (ja) 撮像素子及び電子機器
WO2022234753A1 (ja) 固体撮像装置及び電子機器
CN115550575B (zh) 图像处理方法及其相关设备
JP5920144B2 (ja) 撮像装置および撮像方法
US20120314108A1 (en) Solid-state imaging device, camera module, and imaging method
WO2020059050A1 (ja) 撮像素子、撮像装置、撮像方法およびプログラム

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant