CN114270798A - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN114270798A
CN114270798A CN202080057082.7A CN202080057082A CN114270798A CN 114270798 A CN114270798 A CN 114270798A CN 202080057082 A CN202080057082 A CN 202080057082A CN 114270798 A CN114270798 A CN 114270798A
Authority
CN
China
Prior art keywords
pixel
pixels
unit
image pickup
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080057082.7A
Other languages
English (en)
Other versions
CN114270798B (zh
Inventor
佐藤泰史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN114270798A publication Critical patent/CN114270798A/zh
Application granted granted Critical
Publication of CN114270798B publication Critical patent/CN114270798B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/615—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF]
    • H04N25/6153—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4" involving a transfer function modelling the optical system, e.g. optical transfer function [OTF], phase transfer function [PhTF] or modulation transfer function [MTF] for colour signals
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14603—Special geometry or disposition of pixel-elements, address-lines or gate-electrodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/208—Filters for use with infrared or ultraviolet radiation, e.g. for separating visible light from infrared and/or ultraviolet radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

提供了一种能够提高使用彩色滤光片拍摄的图像的质量的摄像装置(1)。根据实施例的摄像装置包括像素阵列(110)，所述像素阵列包括多个像素块(130)，各所述像素块包括6个×6个的像素，并且各所述像素块包括：第一像素，在所述第一像素上，设置有透射第一波长范围内的光的第一光学滤光片；第二像素，在所述第二像素上，设置有透射第二波长范围内的光的第二光学滤光片；第三像素，在所述第三像素上，设置有透射第三波长范围内的光的第三光学滤光片；和第四像素，在所述第四像素上，设置有透射第四波长范围内的光的第四光学滤光片。所述第一像素在所述排列的行方向和列方向上分别每隔一个地布置，在所述排列的各行和各列中，分别布置有一个所述第二像素、一个所述第三像素和一个所述第四像素，并且所述像素块还包括：在所述排列的与所述像素块的对角平行的第一倾斜方向上至少包括一个所述第二像素、一个所述第三像素和一个所述第四像素的线；以及在与所述像素块的对角平行且与所述第一倾斜方向不同的第二倾斜方向上至少包括一个所述第二像素、一个所述第三像素和一个所述第四像素的线。

Description

摄像装置
技术领域
本公开涉及摄像装置。
背景技术
使用红色(R)、绿色(G)和蓝色(B)中各种颜色的彩色滤光片以及透射基本上整个可见光范围内的光的滤光片(称为白色(W)的彩色滤光片)的二维图像传感器是已知的。
在这种二维图像传感器中，例如以4×4像素的像素块为单位，在块的垂直方向和水平方向上分别每隔一个地布置设置有W彩色滤光片的八个像素。此外，设置有R彩色滤光片的两个像素、设置有B彩色滤光片的两个像素和设置有G彩色滤光片的四个像素以设置有相同颜色的彩色滤光片的像素在倾斜方向上彼此不相邻的方式布置。
使用R、G和B中各种颜色的彩色滤光片以及W彩色滤光片的这种二维图像传感器能够基于透过R、G和B中各种颜色的彩色滤光片的光获得全色图像，并且能够基于透过W彩色滤光片的光获得高灵敏度。另外，由于能够通过信号处理使可见图像和红外(IR)图像分离，因此这种二维图像传感器有望用作监控相机或车载相机。
引用列表
专利文献
专利文献1：WO 13/145487 A
专利文献2：JP 6530751 B2
发明内容
技术问题
在设置有R、G、B和W中各种颜色的彩色滤光片并且各像素以4×4像素的排列布置的根据现有技术的上述二维图像传感器中，可能出现颜色伪像(伪色)，因此难以获得高质量的图像。
本公开的目的是提供一种能够提高使用彩色滤光片拍摄的图像的质量的摄像装置。
解决问题的技术方案
为了解决上述问题，根据本公开的一个方面的摄像装置具有包括以矩阵排列的方式布置的像素的像素阵列，其中，所述像素阵列包括多个像素块，各所述像素块包括6个×6个的像素，所述像素块包括：第一像素，在所述第一像素上，设置有透射第一波长范围内的光的第一光学滤光片；第二像素，在所述第二像素上，设置有透射第二波长范围内的光的第二光学滤光片；第三像素，在所述第三像素上，设置有透射第三波长范围内的光的第三光学滤光片；和第四像素，在所述第四像素上，设置有透射第四波长范围内的光的第四光学滤光片，所述第一像素在所述排列的行方向和列方向上分别每隔一个地布置，在所述排列的各行和各列中，分别布置有一个所述第二像素、一个所述第三像素和一个所述第四像素，并且所述像素块还包括：在所述排列的与所述像素块的对角平行的第一倾斜方向上至少包括一个所述第二像素、一个所述第三像素和一个所述第四像素的线；以及在与所述像素块的对角平行且与所述第一倾斜方向不同的第二倾斜方向上至少包括一个所述第二像素、一个所述第三像素和一个所述第四像素的线。
附图说明
图1是用于说明适用于第一实施例的摄像装置的功能的示例的功能框图。
图2是示出了适用于各实施例的摄像单元的示例的构造的框图。
图3是示出了适用于第一实施例的摄像装置的硬件构造的示例的框图。
图4是示出了根据现有技术的使用R、G、B和W中各种颜色的彩色滤光片的像素排列的示例的示意图。
图5是示出了通过使用其中像素阵列具有根据现有技术的像素排列的摄像装置来拍摄圆形波带板(CZP：circular zone plate)的图像而获得的拍摄图像的示例的图。
图6A是示出了适用于第一实施例的像素排列的示例的示意图。
图6B是示出了适用于第一实施例的像素排列的示例的示意图。
图7A是用于说明根据第一实施例的用于执行同步处理的两个系列的示意图。
图7B是用于说明根据第一实施例的用于执行同步处理的两个系列的示意图。
图8A是示出了所提取的A系列的像素组的示意图。
图8B是示出了所提取的D系列的像素组的示意图。
图9是用于说明适用于第一实施例的图像处理单元的功能的示例的功能框图。
图10是用于说明根据第一实施例的像素排列和信号处理的效果的示意图。
图11A是示出了适用于本公开的像素排列的另一示例的示意图。
图11B是示出了适用于本公开的像素排列的另一示例的示意图。
图11C是示出了适用于本公开的像素排列的另一示例的示意图。
图12是用于说明适用于第二实施例的摄像装置的功能的示例的功能框图。
图13是示出了适用于第二实施例的双带通滤波器的透射特性的示例的图。
图14是用于说明适用于第二实施例的图像处理单元的功能的示例的功能框图。
图15是用于说明适用于第二实施例的红外(IR)分离处理单元的功能的示例的功能框图。
图16是用于说明适用于第二实施例的红外光分量产生单元的功能的示例的功能框图。
图17是用于说明适用于第二实施例的可见光分量产生单元的功能的示例的功能框图。
图18A是用于说明适用于第二实施例的饱和像素检测单元的功能的示例的功能框图。
图18B是示出了适用于第二实施例的各信号电平的系数α的值的设定示例的示意图。
图19是示出了适用于第二实施例的像素R、G、B和W中各者的灵敏度特性的示例的示意图。
图20是示出了根据第二实施例的红外分量分离之后的灵敏度特性的示例的示意图。
图21是示出了根据本公开的摄像装置的使用例的图。
图22是示出了能够安装根据本公开的摄像装置的车辆的系统构造示例的框图。
图23是示出了车辆系统的前感测相机的示例的构造的框图。
图24是示出了作为能够应用根据本公开的技术的移动体控制系统的示例的车辆控制系统的示意性构造的示例的框图。
图25是示出了摄像单元的安装位置的示例的图。
具体实施方式
在下文中，将参考附图详细说明本公开的实施例。注意，在以下实施例中，相同的附图标记表示相同的部分，因此将省略重复说明。
在下文中，将按以下顺序说明本公开的实施例。
1.本公开的第一实施例
1-1.适用于第一实施例的构造
1-2.现有技术的说明
1-3.第一实施例的说明
1-4.第一实施例的第一变形例
1-5.第一实施例的第二变形例
2.第二实施例
2-1.适用于第二实施例的构造
2-2.适用于第二实施例的IR分离处理
3.第三实施例
3-0.移动体的应用例
[1.本公开的第一实施例]
在下文中，将说明本公开的第一实施例。在第一实施例中，例如，在针对各像素设置有红色(R)、绿色(G)、蓝色(B)和白色(W)中各种颜色的彩色滤光片的情况下，通过设计各彩色滤光片的排列和对从各像素读取的像素信号进行信号处理来抑制伪色的出现。
这里，红色(R)的彩色滤光片、绿色(G)的彩色滤光片和蓝色(B)的彩色滤光片分别是选择性地透射红色波长范围、绿色波长范围和蓝色波长范围内的光的光学滤光片。例如，白色(W)的彩色滤光片是以预定透射率以上的透射率透射可见光的基本上整个波长范围内的光的光学滤光片。
注意，选择性地透射特定波长范围内的光意味着以预定透射率以上的透射率透射该波长范围内的光并且使除该波长范围以外的波长范围具有小于预定透射率的透射率。
(1-1.适用于第一实施例的构造)
首先，将说明适用于本公开的第一实施例的技术。图1是用于说明适用于第一实施例的摄像装置的功能的示例的功能框图。在图1中，摄像装置1包括摄像单元10、光学单元11、图像处理单元12、输出处理单元13和控制单元14。
摄像单元10包括像素阵列，在该像素阵列中，多个像素以矩阵方式布置，各像素包括一个以上的光接收元件。在像素阵列中，针对各像素一对一地设置有选择性地透射预定波长范围内的光的光学滤光片(彩色滤光片)。此外，光学单元11包括透镜、光圈机构和聚焦机构等，并且光学单元11将来自被摄体的光引导到像素阵列的光接收面。
摄像单元10从以指定曝光时间曝光的各像素读取像素信号，对所读取的像素信号执行诸如噪声去除或增益调整等信号处理，并将像素信号转换为数字像素数据。摄像单元10基于像素信号输出像素数据。由摄像单元10执行的曝光、从所曝光的像素读取像素信号以及将像素信号作为像素数据输出的一系列操作被称为摄像。
图像处理单元12对从摄像单元10输出的像素数据执行预定的信号处理并输出像素数据。例如，图像处理单元12对像素数据执行的信号处理包括使一对一地设置有红色(R)的彩色滤光片、绿色(G)的彩色滤光片或蓝色(B)的彩色滤光片的各像素的像素数据具有R、G和B中各种颜色的信息的同步处理。图像处理单元12输出经过了信号处理的各像素数据。
输出处理单元13将从图像处理单元12输出的图像数据作为例如以帧为单位的图像数据进行输出。此时，输出处理单元13将输出的图像数据转换为适合于从摄像装置1输出的格式。例如，从输出处理单元13输出的输出图像数据被供应给显示器(未示出)并显示为图像。可替代地，输出图像数据可以被供应给其他装置，例如对输出图像数据执行识别处理的装置或基于输出图像数据执行控制的控制装置。
控制单元14控制摄像装置1的整体操作。例如，控制单元14包括中央处理单元(CPU：central processing unit)和用于与摄像装置1的各单元进行通信的接口电路，而且控制单元14通过根据预定程序进行操作的CPU来产生各种控制信号，并且根据所产生的控制信号来控制摄像装置1的各单元。
注意，例如，上述的图像处理单元12和输出处理单元13可以包括根据预定程序进行操作的数字信号处理器(DSP：digital signal processor)或图像信号处理器(ISP：image signal processor)。可替代地，图像处理单元12和输出处理单元13中的一者或两者可以通过与控制单元14一起在CPU上运行的程序来实现。这些程序可以预先存储在摄像装置1中所包括的非易失性存储器中，或者可以从外部供应给摄像装置1并写入存储器中。
图2是示出了适用于各实施例的摄像单元10的示例的构造的框图。在图2中，摄像单元10包括像素阵列单元110、垂直扫描单元20、水平扫描单元21和控制单元22。
像素阵列单元110包括多个像素100，各像素包括产生与所接收的光相对应的电压的光接收元件。光电二极管能够用作光接收元件。在像素阵列单元110中，多个像素100在水平方向(行方向)和垂直方向(列方向)上以矩阵方式布置。在像素阵列单元110中，将像素100在行方向上的排列称为线(line)。基于从像素阵列单元110中的预定数量的线读取的像素信号形成一帧图像(图像数据)。例如，在以3000个像素×2000条线形成一帧图像的情况下，像素阵列单元110包括至少2000条线，每条线包括至少3000个像素100。
另外，在像素阵列单元110中，像素信号线HCTL连接到像素100的各行，垂直信号线VSL连接到像素100的各列。
像素信号线HCTL的未连接到像素阵列单元110的端部连接到垂直扫描单元20。例如，垂直扫描单元20根据从控制单元14供应的控制信号经由像素信号线HCTL向像素阵列单元110传送多个控制信号，例如用于从像素100读取像素信号时的驱动脉冲。垂直信号线VSL的未连接到像素阵列单元110的端部连接到水平扫描单元21。
水平扫描单元21包括模数(AD：analog-to-digital)转换单元、输出单元和信号处理单元。从像素100读取的像素信号经由垂直信号线VSL被传送到水平扫描单元21的AD转换单元。
将示意性地说明从像素100读取像素信号的控制。通过将由于曝光而在光接收元件中累积的电荷传输到浮动扩散(FD：floating diffusion)层，并且将传输到浮动扩散层的电荷转换为电压，由此执行从像素100读取像素信号。通过在浮动扩散层中转换电荷而获得的电压经由放大器输出到垂直信号线VSL。
更具体地，在像素100中，在曝光期间，使光接收元件和浮动扩散层彼此断开连接(开路)，并且在光接收元件中累积通过光电转换产生的与入射光相对应的电荷。在曝光完成之后，根据经由像素信号线HCTL供应的选择信号，连接浮动扩散层和垂直信号线VSL。此外，根据经由像素信号线HCTL供应的复位脉冲，浮动扩散层在短时间内连接到电源电压VDD或黑电平电压的供应线，并且浮动扩散层被复位。浮动扩散层的复位电平电压(称为电压P)输出到垂直信号线VSL。此后，光接收元件和浮动扩散层通过经由像素信号线HCTL供应的传输脉冲彼此连接(闭合)，并且累积在光接收元件中的电荷被传输到浮动扩散层。与浮动扩散层的电荷量相对应的电压(称为电压Q)输出到垂直信号线VSL。
在水平扫描单元21中，AD转换单元包括针对各垂直信号线VSL设置的AD转换器，AD转换器对经由垂直信号线VSL从像素100供应的像素信号进行AD转换处理，并且产生用于执行降噪的相关双采样(CDS：correlated double sampling)处理用的两个数字值(分别对应于电压P和电压Q的值)。
由AD转换器产生的两个数字值由信号处理单元进行CDS处理，并且产生与数字信号相对应的像素信号(像素数据)。从摄像单元10输出所产生的像素数据。
在控制单元22的控制下，水平扫描单元21执行选择性扫描，以按预定顺序选择各垂直信号线VSL的AD转换器，从而将由AD转换器临时保持的各数字值顺序地输出到信号处理单元。水平扫描单元21通过包括例如移位寄存器和地址解码器等的构造来实现此操作。
控制单元22对垂直扫描单元20和水平扫描单元21等执行驱动控制。控制单元22产生用作垂直扫描单元20和水平扫描单元21的操作基准的各种驱动信号。控制单元22基于水平同步信号以及从外部(例如，控制单元14)供应的垂直同步信号或外部触发信号产生控制信号，以由垂直扫描单元20经由像素信号线HCTL供应给各像素100。控制单元22将所产生的控制信号供应给垂直扫描单元20。
基于从控制单元22供应的控制信号，垂直扫描单元20以线为单位将包括通向像素阵列单元110的所选择的像素行的像素信号线HCTL的驱动脉冲的各种信号供应给各像素100，并且使各像素100将像素信号输出到垂直信号线VSL。垂直扫描单元20通过使用例如移位寄存器和地址解码器等来实现。
如上所述构造的摄像单元10是针对各列布置有AD转换器的列AD系统互补金属氧化物半导体(CMOS：complementary metal oxide semiconductor)图像传感器。
图3是示出了适用于第一实施例的摄像装置1的硬件构造的示例的框图。在图3中，摄像装置1包括分别通过总线2020连接的CPU 2000、只读存储器(ROM)2001、随机存取存储器(RAM)2002、摄像单元2003、存储器2004、数据接口(I/F：interface)2005、操作单元2006和显示控制单元2007。另外，摄像装置1包括分别通过总线2020连接的图像处理单元2010和输出I/F 2012。
根据预先存储在ROM 2001中的程序，CPU 2000通过使用RAM 2002作为工作存储器来控制摄像装置1的整体操作。
摄像单元2003对应于图1中的摄像单元10，执行摄像，并输出像素数据。从摄像单元2003输出的像素数据被供应给图像处理单元2010。图像处理单元2010对应于图1的图像处理单元12，并且包括输出处理单元13的功能的一部分。图像处理单元2010对从摄像单元10供应的像素数据执行预定的信号处理，并且将像素数据顺序地写入帧存储器2011中。将写入帧存储器2011中的对应于一帧的像素数据作为以帧为单位的图像数据从图像处理单元2010输出。
输出I/F 2012是用于将从图像处理单元2010输出的图像数据输出到外部的接口。例如，输出I/F 2012包括图1的输出处理单元13的一些功能，并且输出I/F 2012能够将从图像处理单元2010供应的图像数据转换为预定格式的图像数据，并输出图像数据。
存储器2004例如是闪存，能够存储和累积从图像处理单元2010输出的图像数据。存储器2004还能够存储用于操作CPU 2000的程序。此外，存储器2004不限于内置在摄像装置1中的构造，并且可以从摄像装置1拆卸。
数据I/F 2005是摄像装置1的用于向外部设备传送数据和从外部设备接收数据的接口。例如，作为数据I/F 2005，能够应用通用串行总线(USB：universal serial bus)。此外，作为数据I/F 2005，能够应用用于执行短距离无线通信的接口，例如蓝牙(注册商标)。
操作单元2006接收用户对摄像装置1的操作。操作单元2006包括作为接收用户输入的输入设备的诸如刻度盘或按钮等可操作元件。操作单元2006可以包括作为输入设备的输出对应于接触位置的信号的触摸面板。
显示控制单元2007基于由CPU 2000传输的显示控制信号产生能够由显示器2008显示的显示信号。显示器2008使用例如液晶显示器(LCD)作为显示设备，并且根据由显示控制单元2007产生的显示信号显示画面。注意，根据摄像装置1的用途，能够省略显示控制单元2007和显示器2008。
(1-2.现有技术的说明)
在第一实施例的详细说明之前，为了便于理解，将说明与本公开相关的现有技术。图4是示出了根据现有技术的使用R、G、B和W中各种颜色的彩色滤光片的像素排列的示例的示意图。在图4的示例中，以4×4像素的像素块120为单位，设置有W彩色滤光片的八个像素以马赛克图案布置，即，像素在像素块120的垂直方向和水平方向上分别每隔一个地布置。此外，设置有R彩色滤光片的两个像素、设置有B彩色滤光片的两个像素和设置有G彩色滤光片的四个像素以设置有相同颜色的彩色滤光片的像素在倾斜方向上彼此不相邻的方式布置。
在下文中，将设置有R彩色滤光片的像素称为像素R。分别设置有G彩色滤光片、B彩色滤光片和W彩色滤光片的像素同样适用。
更具体地，在图4的示例中，在像素以4×4像素的矩阵图案布置的像素块120中，从作为上端行的第一行的左边起按像素R、像素W、像素B和像素W的顺序布置各像素，从第二行的左边起按像素W、像素G、像素W、像素W和像素G的顺序布置各像素。第三行和第四行是第一行和第二行的重复。
在这种像素排列中，对像素R、像素G和像素B执行同步处理，使在像素R、像素G和像素B各自的位置处的像素具有R、G和B颜色的分量。在同步处理中，例如，在感兴趣的像素(这里为像素R)中，R颜色的分量使用感兴趣像素的像素值。此外，从位于感兴趣像素附近的像素G的像素值估算除像素R以外的颜色(例如，G颜色)的分量。类似地，从位于感兴趣像素附近的像素B的像素值估算B颜色的分量。能够使用例如低通滤波器来估算各种颜色的分量。
通过对像素阵列中所包括的所有像素R、像素G和像素B应用上述处理，可以使像素R、像素G和像素B分别具有R颜色、G颜色和B颜色的分量。对像素W也能够应用类似的方法。此外，在图4的像素排列中，通过以马赛克图案布置像素W，能够获得高灵敏度。
图5是示出了通过使用其中像素阵列具有图4所示的根据现有技术的像素排列的摄像装置来拍摄圆形波带板(CZP)的图像而获得的拍摄图像的示例的图。图5示出了与通过拍摄CZP的图像而获得的整个拍摄图像的约1/4相对应的区域，该区域包括垂直中心线Hcnt和水平中心线Vcnt。注意，在图5中，值fs表示采样频率并且对应于像素阵列中的像素间距。在下文中，将假设值fs是频率fs来进行说明。
参考图5，可以看出，在垂直中心线Hcnt上的与频率fs/2相对应的位置121处和在水平中心线Vcnt上的与频率fs/2相对应的位置122处，出现伪色。另外，可以看出，在相对于中心位置的与垂直方向和水平方向上的频率fs/4相对应的倾斜方向上的位置123处，也出现伪色。即，在垂直方向和水平方向上，在对应于频率fs/2的频带中出现强伪色。另外，在倾斜方向上，在对应于频率fs/4的频带中出现强伪色。
这里，参考图4的像素排列，例如，仅包括像素R、像素G和像素B之中的像素G的行和列每隔一行和一列出现。其他行和列包括像素R、像素G和像素B之中的像素R和像素B，而不包括像素G。此外，存在包括像素R、像素G和像素B之中的像素R和像素G而不包括像素B的斜线以及包括像素R、像素G和像素B之中的像素G和像素B而不包括像素R的斜线。
如上所述，在现有的像素排列中，在行方向、列方向和倾斜方向上存在不包括特定颜色的像素的线。因此，在同步处理中出现偏差，并且例如，在垂直方向和水平方向上的与频率fs/2相对应的频带以及在倾斜方向上的与频率fs/4相对应的频带中，出现强伪色。此外，在通过信号处理来应对因现有技术的像素排列而出现的伪色的情况下，需要复杂的电路，并且有可能出现诸如彩色被摄体的消色差(achromatization)等副作用。
(1-3.第一实施例的说明)
接下来，将说明第一实施例。第一实施例提出了如下的像素排列：该像素排列在使用像素R、像素G、像素B和像素W的像素排列中的行方向、列方向和倾斜方向上都包括像素R、像素G和像素B。此外，通过对从像素R、像素G和像素B读取的像素信号进行简单的信号处理，抑制了伪色的出现。
图6A和图6B是示出了适用于第一实施例的像素排列的示例的示意图。在第一实施例中，如图6A所示，以6×6像素的像素块130为单位。在图6A中，像素块130包括透射第一波长范围内的光的第一光学滤光片、选择性地透射第二波长范围内的光的第二光学滤光片、选择性地透射第三波长范围内的光的第三光学滤光片和选择性地透射第四波长范围内的光的第四光学滤光片。
第一光学滤光片例如是透射基本上整个可见光范围内的光的彩色滤光片，并且能够应用上述W彩色滤光片。第二光学滤光片例如是选择性地透射红色波长范围内的光的R彩色滤光片。第三光学滤光片例如是选择性地透射绿色波长范围内的光的G彩色滤光片。类似地，第四光学滤光片例如是选择性地透射蓝色波长范围内的光的B彩色滤光片。
在图6A的示例中，设置有W彩色滤光片的像素W在像素块130中以马赛克图案布置，即，像素W在行方向和列方向上分别每隔一个地布置。设置有R彩色滤光片的像素R、设置有G彩色滤光片的像素G和设置有B彩色滤光片的像素B以针对像素块130中的各行和各列包括一个像素R、一个像素G和一个像素B的方式布置。
这里，在图6A的示例中，像素块130的各行包括像素R、像素G和像素B的所有排序。即，在选择一个像素R、一个像素G和一个像素B并对其进行布置的情况下，排序数量是3！＝6，并且像素块130中所包括的六行中的像素R、像素G和像素B以不同方式布置。具体地，在像素块130的上端是第一行并且像素R、像素G和像素B分别表示为R、G和B的情况下，在图6A的示例中，从左边起，像素R、像素G和像素B在第一行中按(R,G,B)的顺序布置，在第二行中按(G,R,B)的顺序布置，在第三行中按(B,R,G)的顺序布置，在第四行中按(R,B,G)的顺序布置，在第五行中按(G,B,R)的顺序布置，在第六行中按(B,G,R)的顺序布置。
此外，像素块130包括：在与像素块130的对角平行的第一倾斜方向上至少包括一个像素R、一个像素G和一个像素B的斜线；以及在与像素块130的对角平行的且与第一倾斜方向不同的第二倾斜方向上至少包括一个像素R、一个像素G和一个像素B的斜线。
图6B是示出了其中图6A所示的像素块130重复布置的示例的示意图。这里，在布置有多个像素块130的图6B所示的示例中，即使在从所有像素块130中任意指定6×6像素的像素块的情况下，可以看出，在指定的像素块中也满足“针对各行和各列包括一个像素R、一个像素G和一个像素B”的上述条件。此外，任意指定的像素块的各行包括像素R、像素G和像素B的所有排序。
在图6A和图6B所示的像素排列中，提取两个系列，并且针对这两个系列独立地执行同步处理。图7A和图7B是用于说明根据第一实施例的进行同步处理的两个系列的示意图。图7A是用于说明进行同步处理的两个系列中的第一系列的图，图7B是用于说明两个系列中的第二系列的图。
在图7A中，通过将“(A)”分别添加到表示像素R、像素G和像素B的“R”、“G”和“B”，示出了作为第一系列提取的像素。如图7A中的“R(A)”、“G(A)”和“B(A)”所示，提取像素块130的第二行、第四行和第六行中所包括的像素R、像素G和像素B作为第一系列中所包括的像素。在下文中，将包括作为第一系列提取的像素R、像素G和像素B的像素组称为A系列的像素组。
另一方面，在图7B中，通过将“(D)”分别添加到表示像素R、像素G和像素B的“R”、“G”和“B”，示出了作为第二系列提取的像素。如图7B中的“R(D)”、“G(D)”和“B(D)”所示，提取像素块130的第一行、第三行和第五行中所包括的未作为图7A中的第一系列提取的像素R、像素G和像素B作为第二系列。在下文中，将包括作为第二系列提取的像素R、像素G和像素B的像素组称为D系列的像素组。
这里，在图7A所示的A系列的像素组中，像素R、像素G和像素B在由箭头a表示的从像素块130的左上方至右下方的倾斜方向上按预定顺序重复布置。类似地，在图7B所示的D系列的像素组中，像素R、像素G和像素B在由箭头d表示的从像素块130的右上方至左下方的倾斜方向上按预定顺序重复布置。
图8A和图8B分别是示出了从图7A和图7B提取的A系列的像素组和D系列的像素组的示意图。如图8A所示，在A系列的像素组中，在由箭头a表示的倾斜方向上的各线中，像素R、像素G和像素B按相同颜色的像素彼此不相邻的预定顺序重复布置。类似地，在D系列的像素组中，如图8B所示，在由箭头d表示的倾斜方向上的线中，像素R、像素G和像素B以相同颜色的像素彼此不相邻的预定顺序重复布置。
注意，例如，在图8A中，在与箭头a的方向正交的由箭头a'表示的倾斜方向上的各线中，相同颜色的像素彼此相邻地布置。类似地，在图8B中，在与箭头d的方向正交的由箭头d'表示的倾斜方向上的各线中，相同颜色的像素彼此相邻地布置。
以这种方式，A系列的像素组和D系列的像素组中的每个像素组在各行和各列中基本上均等地包括像素R、像素G和像素B。此外，关于倾斜方向，在各特定方向上基本上均等地包括像素R、像素G和像素B。因此，通过对A系列的像素组和D系列的像素组分别独立地执行同步处理并基于同步处理的结果确定各像素的R、G和B颜色的值，可以获得抑制了伪色的图像。
图9是用于说明适用于第一实施例的图像处理单元12的功能的示例的功能框图。在图9中，图像处理单元12包括白平衡增益(WBG：white balance gain)单元1200、低频分量同步单元1201、高频分量提取单元1202、伪色抑制处理单元1203和高频分量复原单元1204。
从摄像单元10输出的R、G、B和W中各种颜色的像素数据被输入到WBG单元1200。WBG单元1200根据需要对R、G和B中各种颜色的像素数据执行白平衡处理。例如，WBG单元1200使用与设定的色温相对应的增益来调整像素R、像素G和像素B中各者的像素数据的增益的平衡。白平衡增益已经由WBG单元1200调整的像素R、像素G、像素B和像素W中各者的像素数据被输入到低频分量同步单元1201和高频分量提取单元1202。
高频分量提取单元1202通过使用例如高通滤波器来提取输入的像素W的像素数据的高频分量。高频分量提取单元1202将所提取的高频分量的值供应给高频分量复原单元1204。
低频分量同步单元1201通过使用例如低通滤波器对输入的像素R、像素G和像素B中各者的像素数据执行同步处理。此时，低频分量同步单元1201将输入的像素R、像素G和像素B中各者的像素数据分为参考图7A和图7B以及图8A和图8B描述的A系列的像素组中所包括的像素数据(在下文中称为A系列的像素数据)和D系列的像素组中所包括的像素数据(在下文中称为D系列的像素数据)。低频分量同步单元1201独立地执行基于A系列的像素数据的同步处理和基于D系列的像素数据的同步处理。
更具体地，低频分量同步单元1201输出数据Ra、Ga和Ba，数据Ra、Ga和Ba表示通过基于A系列的像素数据的同步处理而针对目标像素产生的R、G和B中各种颜色的分量值。类似地，低频分量同步单元1201输出数据Rd、Gd和Bd，数据Rd、Gd和Bd表示通过基于D系列的像素数据的同步处理而针对目标像素产生的R、G和B中各种颜色的分量值。
此外，低频分量同步单元1201还对目标像素执行使用A系列的像素数据和D系列的像素数据的同步处理。例如，低频分量同步单元1201针对上述的数据a、Ga和Ba以及数据Rd、Gd和Bd计算各种颜色的分量值的平均值。例如，R、G和B中各种颜色的分量的平均数据Rave、Gave和Bave分别通过Rave＝(Ra–Rd)/2、Gave＝(Ga–Gd)/2和Bave＝(Ba–Bd)/2计算。
从低频分量同步单元1201输出的针对目标像素的数据Ra、Ga和Ba、数据Rd、Gd和Bd以及数据Rave、Gave和Bave被输入到伪色抑制处理单元1203。
伪色抑制处理单元1203使用最小色差算法来决定采用数据Ra、Ga和Ba的集合(称为A系列集合)、数据Rd、Gd和Bd的集合(称为D系列集合)以及数据Rave、Gave和Bave的集合(称为平均值集合)中的哪一个集合作为低频分量同步单元1201的输出。
更具体地，如以下等式(1)、(2)和(3)所示，伪色抑制处理单元1203针对A系列集合、D系列集合和平均值集合分别计算色差的平方和。
Cda＝(Ra–Ga)2+(Ba–Ga)2 (1)
Cdd＝(Rd–Gd)2+(Bd–Gd)2 (2)
Cdave＝(Rave–Gave)2+(Bave–Gave)2 (3)
伪色抑制处理单元1203从由等式(1)至(3)计算出的值Cda、Cdd和Cdave之中选择最小值，并且将计算出所选择的值的集合的R、G和B颜色的值确定为数据Rout、Gout和Bout，数据Rout、Gout和Bout表示目标像素的R、G和B颜色的分量值。伪色抑制处理单元1203输出数据Rout、Gout和Bout。
从伪色抑制处理单元1203输出的数据Rout、Gout和Bout被输入到高频分量复原单元1204。高频分量复原单元1204使用从高频分量提取单元1202输入的高频分量的值，通过已知的方法复原从伪色抑制处理单元1203输入的数据Rout、Gout和Bout的高频分量。高频分量复原单元1204输出通过复原数据Rout、Gout和Bout的高频分量而获得的数据R、G和B作为表示目标像素的像素数据中的R、G和B中各种颜色的分量值的数据。
图10是用于说明根据第一实施例的像素排列和信号处理的效果的示意图。图10的部分(a)是对应于上述图5的图，并且是示出了通过使用其中像素阵列具有根据现有技术的4×4像素的像素块120的像素排列(参见图4)的摄像装置来拍摄CZP的图像而获得的拍摄图像的示例的图。此外，图10的部分(b)和部分(c)分别是示出了通过使用其中像素阵列具有根据第一实施例的图6A所示的6×6像素的像素块130的像素排列的摄像装置1来拍摄CZP的图像而获得的拍摄图像的示例的图。
图10的部分(b)是示出了伪色抑制处理单元1203选择根据上述等式(3)的平均值集合的R、G和B中各种颜色的分量数据作为分别表示目标像素的R颜色分量、G颜色分量和B颜色分量的值的数据Rout、Gout和Bout的情况的示例的图。在部分(b)的图的示例中，可以看出，如在位置121a和122a处所示，在部分(a)的示例中出现的分别与垂直方向和水平方向上的频率fs/2相对应的伪色基本上消失。此外，在部分(b)的示例中，如在位置123a处所示，出现了与垂直方向和水平方向上的频率fs/4相对应的分支成四个的伪色。
图10的部分(c)是示出了伪色抑制处理单元1203使用上述最小色差算法获得目标像素的R颜色分量、G颜色分量和B颜色分量的数据Rout、Gout和Bout的情况的示例的图。在部分(c)的示例中，可以看出，如在位置121b和122b处所示，与部分(a)的示例相比，在部分(a)的示例中出现的分别与垂直方向和水平方向上的频率fs/2相对应的伪色被抑制。此外，在部分(c)的示例中，可以看出，如在位置123a处所示，与部分(a)和(b)的示例相比，与垂直方向和水平方向上的频率fs/4相对应的伪色被抑制。
通过以这种方式应用根据第一实施例的像素排列，在像素阵列中除了R彩色滤光片、G彩色滤光片和B彩色滤光片之外还使用W彩色滤光片的情况下，可以通过简单的信号处理来抑制拍摄图像中的伪色的出现。
(1-4.第一实施例的第一变形例)
接下来，将说明第一实施例的第一变形例。在第一实施例的变形例中，将说明适用于本公开的像素排列的另一示例。图11A、图11B和图11C是示出了适用于本公开的像素排列的另一示例的示意图。
图11A所示的像素块131是其中参考图6A描述的根据第一实施例的像素块130中的像素W被选择性地透射黄色范围内的光的黄色(Ye)彩色滤光片取代的示例。使用像素Ye而不是像素W的像素块131的像素排列具有几乎不受透镜像差影响的特性。参考图9描述的信号处理能够应用于图11A所示的像素排列的像素块131适用的摄像单元10。
图11B所示的像素块132是其中参考图6A描述的根据第一实施例的像素块130中的像素W被选择性地透射红外范围内的光的红外(IR)滤光片取代并且能够检测红外光的示例。在图11B所示的像素排列的像素块132应用于摄像单元10的情况下，例如，能够省略由图9中的高频分量提取单元1202和高频分量复原单元1204执行的处理。
图11C是以设置有相同颜色的彩色滤光片的2×2像素以网格图案布置的小像素块为单位的像素排列的示例。在图11C的像素块133中，将小像素块视为一个像素，并且各种颜色的小像素块R、G、B和W以与图6的像素块130相同的排列分别被布置为像素R、G、B和W。根据像素块133，通过将小像素块中所包括的四个像素的像素数据相加并且使用该像素数据作为一个像素的像素数据，能够实现更高的灵敏度。参考图9描述的信号处理能够以将小像素块视为一个像素的方式应用于图11C所示的像素排列的像素块133适用的摄像单元10。
本公开不限于上述图11A至图11C的示例，并且能够应用于其他像素排列，只要该像素排列使用四种颜色的彩色滤光片并且以6×6像素的像素块为单位即可。
(1-5.第一实施例的第二变形例)
接下来，将说明第一实施例的第二变形例。在上述第一实施例中，由于在伪色抑制处理单元1203中使用简单的伪色抑制处理，因此如在图10的部分(c)的位置121b和122b处所示，出现了与垂直方向和水平方向上的频率fs/2相对应的伪色。另一方面，在图10的部分(b)所示的示例中，可以看出，与图10的部分(c)所示的示例相比，有效地抑制了与垂直方向和水平方向上的频率fs/2相对应的伪色。
如上所述，通过使用平均值集合的R、G和B颜色的值，能够有效地抑制分别与垂直方向和水平方向上的频率fs/2相对应的伪色。因此，在第一实施例的第二变形例中，根据输入的像素数据决定用于伪色抑制的处理。
例如，在高频分量提取单元1202从输入的像素数据中提取预定电平以上的电平的频率fs/2的分量的情况下，伪色抑制处理单元1203使用根据上述等式(3)的平均值对像素数据执行伪色抑制处理。
本公开不限于此，并且伪色抑制处理单元1203可以在上述等式(1)至(3)的计算中对等式(3)的计算结果设置偏移，并且可以增加执行使用平均值的伪色抑制处理的比例。
在第一实施例的第二变形例中，由于优先执行使用等式(3)的平均值的伪色抑制处理，因此能够更有效地抑制分别与垂直方向和水平方向上的频率fs/2相对应的伪色。
[2.第二实施例]
接下来，将说明本公开的第二实施例。第二实施例是其中应用图9A所示的6×6像素的像素块130的像素排列作为像素排列并且从经过伪色抑制处理的R、G和B中各种颜色的像素数据中去除IR分量的示例。
(2-1.适用于第二实施例的构造)
首先，将说明适用于第二实施例的构造。图12是用于说明适用于第二实施例的摄像装置的功能的示例的功能框图。在图12中，摄像装置1'与参考图1描述的根据第一实施例的摄像装置1的不同之处在于，在摄像单元10与光学单元11之间添加了双带通滤波器(DPF：dual bandpass filter)30，并且图像处理单元12'的功能与摄像装置1的图像处理单元12的功能不同。
图13是示出了适用于第二实施例的双带通滤波器30的透射特性的示例的图。在图13中，纵轴表示双带通滤波器30的分光透射率，横轴表示光的波长。如图13所示，双带通滤波器30透射例如波长范围为380[nm]至650[nm]的可见光和具有更长波长的红外光。透过双带通滤波器30的光入射在摄像单元10上。
图14是用于说明适用于第二实施例的图像处理单元12'的功能的示例的功能框图。在图14中，图像处理单元12'包括白平衡增益(WBG)单元1200、低频分量同步单元1201'、高频分量提取单元1202、伪色抑制处理单元1203'、IR分离处理单元300和高频分量复原单元1204。
从摄像单元10输出的R、G、B和W中各种颜色的像素数据根据需要由WBG单元1200进行白平衡处理，并分别被输入到低频分量同步单元1201'和高频分量提取单元1202。高频分量提取单元1202提取输入的像素W的像素数据的高频分量，并且将所提取的高频分量的值供应给高频分量复原单元1204。
与图9所示的低频分量同步单元1201类似，低频分量同步单元1201'对输入的像素R、像素G和像素B中各者的像素数据执行同步处理。与上述类似，低频分量同步单元1201将输入的像素R、像素G和像素B的像素数据分为A系列的像素数据和D系列的像素数据，并且独立地执行基于A系列的像素数据的同步处理和基于D系列的像素数据的同步处理。
即，与图9所示的低频分量同步单元1201类似，低频分量同步单元1201'输出数据Ra、Ga和Ba，数据Ra、Ga和Ba表示通过基于A系列的像素数据的同步处理而针对目标像素产生的R、G和B中各种颜色的分量值。类似地，低频分量同步单元1201输出数据Rd、Gd和Bd，数据Rd、Gd和Bd表示通过基于D系列的像素数据的同步处理而针对目标像素产生的R、G和B中各种颜色的分量值。此外，针对上述的数据Ra、Ga和Ba以及数据Rd、Gd和Bd，低频分量同步单元1201'计算并输出各种颜色的平均数据Rave、Gave和Bave。
此外，低频分量同步单元1201'对W颜色的像素数据执行例如低通滤波处理，以基于W颜色的像素数据的平均值产生数据Wave。针对数据Wave，例如，计算并输出目标像素周围的像素W的像素值(在目标像素是像素W的情况下，也包括目标像素的像素值)的平均值。
从低频分量同步单元1201'输出的针对目标像素的数据Ra、Ga和Ba、数据Rd、Gd和Bd、数据Rave、Gave和Bave以及数据Wave被输入到伪色抑制处理单元1203'。与第一实施例类似，例如，伪色抑制处理单元1203'使用最小色差算法来决定采用数据Ra、Ga和Ba的集合(A系列集合)、数据Rd、Gd和Bd的集合(D系列集合)以及数据Rave、Gave和Bave的集合(平均值集合)中的哪一个集合作为低频分量同步单元1201的输出。伪色抑制处理单元1203'将表示决定采用的集合的R、G和B中各种颜色的分量值作为目标像素的数据Rout、Gout和Bout输出。
另一方面，伪色抑制处理单元1203'将输入的数据Wave作为数据Wout输出，而不应用例如任何处理。
从伪色抑制处理单元1203'输出的数据Rout、Gout、Bout和Wout被输入到IR分离处理单元300。IR分离处理单元300基于输入的数据Rout、Gout、Bout和Wout，从数据Rout、Gout和Bout中分离红外范围的分量。从伪色抑制处理单元1203'输出已经将红外范围的分量分离(去除)的数据Rout'、Gout'和Bout'。
此外，IR分离处理单元300能够将表示从数据Rout、Gout和Bout中分离的红外范围分量的值的数据IR输出到例如图像处理单元12'的外部。
从IR分离处理单元300输出的数据Rout'、Gout'和Bout'被输入到高频分量复原单元1204。高频分量复原单元1204使用从高频分量提取单元1202输入的高频分量的值，通过已知的方法复原从伪色抑制处理单元1203'输入的数据Rout'、Gout'和Bout'的高频分量。高频分量复原单元1204输出通过复原数据Rout'、Gout'和Bout'的高频分量而获得的数据R、G和B作为目标像素的像素数据中的R、G和B中各种颜色的数据。
(2-2.适用于第二实施例的IR分离处理)
将更详细地说明适用于第二实施例的由IR分离处理单元300执行的处理。在第二实施例中，能够将专利文献2中记载的技术应用于IR分离处理单元300中的处理。
图15是用于说明适用于第二实施例的IR分离处理单元300的功能的示例的功能框图。在图15中，IR分离处理单元300包括红外光分量产生单元310、可见光分量产生单元320和饱和像素检测单元350。注意，在下面，输入到IR分离处理单元300的数据Rout、Gout、Bout和Wout被描述为数据R+IR、G+IR、B+IR和W+IR，数据R+IR、G+IR、B+IR和W+IR分别包括红外范围分量。
红外光分量产生单元310产生数据IR，数据IR是表示红外范围分量的值。红外光分量产生单元310产生通过利用不同的系数K11、K12、K13和K14对各数据R+IR、G+IR、B+IR和W+IR执行加权相加而获得的值作为数据IR。例如，通过以下等式(4)执行加权相加。
IR＝K41×R+IR+K42×G+IR+K43×B+IR+K44×W+IR (4)
这里，将K41、K42、K43和K44设定为这样的值：通过利用这些系数对像素R、G、B和W中各者对可见光的灵敏度执行加权相加而获得的相加值为允许值以下。然而，K41、K42和K43的符号相同，而K44的符号与K41、K42和K43的符号不同。在K41、K42、K43和K44分别是0.5、0.5、0.5和-0.5的情况下，该允许值被设定为小于相加值的值。
注意，更期望将这样的值设定为这些系数：通过对像素R、G、B和W中各者的灵敏度执行加权相加而获得的值与像素对红外光的预定目标灵敏度之间的误差为预定设定值以下。将该设定值设定为小于在K41、K42、K43和K44分别是0.5、0.5、0.5和-0.5的情况下的误差的值。另外，更期望将K41、K42、K43和K44设定为使上述误差最小化的值。
可见光分量产生单元320产生包括R、G和B中各种颜色的可见光分量的数据R、G和B。可见光分量产生单元320产生通过利用不同的系数K11、K12、K13和K14对各数据R+IR、G+IR、B+IR和W+IR执行加权相加而获得的值作为表示R颜色分量的值的数据R。另外，可见光分量产生单元320产生通过利用不同的系数K21、K22、K23和K24对各数据执行加权相加而获得的值作为表示G颜色分量的值的数据G。另外，可见光分量产生单元320产生通过利用不同的系数K31、K32、K33和K34对各像素数据执行加权相加而获得的值作为表示B颜色分量的值的数据B。例如，通过以下等式(5)至(7)执行加权相加。
R＝K11×R+IR+K12×G+IR+K13×B+IR+K14×W+IR (5)
G＝K21×R+IR+K22×G+IR+K23×B+IR+K24×W+IR (6)
B＝K31×R+IR+K32×G+IR+K33×B+IR+K34×W+IR (7)
这里，将K11至K14设定为这样的值：通过利用这些系数对像素R、G、B和W中各者的灵敏度执行加权相加而获得的值与像素R对可见光的目标灵敏度之间的误差为预定设定值以下。将该设定值设定为小于在K11、K12、K13和K14分别是0.5、-0.5、-0.5和0.5的情况下的误差的值。注意，更期望将K11至K14设定为使误差最小化的值。
此外，将K21至K24设定为这样的值：通过利用这些系数对像素R、G、B和W中各者的灵敏度执行加权相加而获得的值与像素G对可见光的目标灵敏度之间的误差为预定设定值以下。将该设定值设定为小于在K21、K22、K23和K24分别是-0.5、0.5、-0.5和0.5的情况下的误差的值。注意，更期望将K21至K24设定为使误差最小化的值。
此外，将K31至K34设定为这样的值：通过利用这些系数对像素R、G、B和W中各者的灵敏度执行加权相加而获得的值与像素B对可见光的目标灵敏度之间的误差为预定设定值以下。将该设定值设定为小于在K31、K32、K33和K34分别是-0.5、-0.5、0.5和0.5的情况下的误差的值。注意，更期望将K31至K34设定为使误差最小化的值。
可见光分量产生单元320将所产生的表示R、G和B中各种颜色的分量值的数据R、G和B供应给饱和像素检测单元350。
饱和像素检测单元350检测表示R、G和B中各种颜色的分量值的分量的信号电平是否高于预定阈值Th2。在信号电平高于预定阈值Th2的情况下，信号电平越高，饱和像素检测单元350将系数α设定为“0”至“1”中越小的值，在信号电平为阈值Th2以下的情况下，饱和像素检测单元350将系数α设定为“1”。然后，饱和像素检测单元350通过使用以下等式(8)至(11)处理包括红外光分量的数据IR、包括可见光分量的数据R、G和B以及数据R+IR、G+IR和B+IR。
R＝α×R+(1-α)×R+IR (8)
G＝α×G+(1-α)×G+IR (9)
B＝α×B+(1-α)×B+IR (10)
IR＝α×IR (11)
通过该处理，即使在检测到信号电平超过阈值Th2的饱和像素的情况下，也能获得精确的可见光分量和红外光分量。饱和像素检测单元350将处理后的包括可见光分量的数据R、G和B从IR分离处理单元300输出。此外，饱和像素检测单元350将处理后的包括红外光分量的数据IR输出到图像处理单元12'的外部。
图16是用于说明适用于第二实施例的红外光分量产生单元310的功能的示例的功能框图。红外光分量产生单元310包括乘法器311、315、316和317以及加法器312、313和314。
乘法器311将数据R+IR乘以系数K41，并且将乘法结果供应给加法器312。乘法器315将数据G+IR乘以系数K42，并且将乘法结果供应给加法器312。乘法器316将数据B+IR乘以系数K43，并且将乘法结果供应给加法器313。乘法器317将数据W+IR乘以系数K44，并且将乘法结果供应给加法器314。
加法器312将来自乘法器311和315的乘法结果相加，并且将相加结果供应给加法器313。加法器313将来自乘法器316的乘法结果和来自加法器312的相加结果相加，并且将相加结果供应给加法器314。加法器314将来自乘法器317的乘法结果和来自加法器313的相加结果相加，并且将相加结果作为红外光分量IR供应给饱和像素检测单元350。
图17是用于说明适用于第二实施例的可见光分量产生单元320的功能的示例的功能框图。可见光分量产生单元320包括乘法器321、325、326、327、331、335、336、337、341、345、346和347以及加法器322、323、324、332、333、334、342、343和344。
乘法器321将R+IR乘以系数K11，乘法器325将G+IR乘以系数K12，乘法器326将B+IR乘以系数K13，乘法器327将W+IR乘以系数K14。加法器322、323和324将乘法器321、325、326和327的各乘法结果相加，并且将相加值作为表示R颜色分量的值的数据R供应给饱和像素检测单元350。
乘法器331将R+IR乘以系数K21，乘法器335将G+IR乘以系数K22，乘法器336将B+IR乘以系数K23，乘法器337将W+IR乘以系数K24。加法器332、333和334将乘法器331、335、336和337的各乘法结果相加，并且将相加值作为表示G颜色分量的值的数据G供应给饱和像素检测单元350。
乘法器341将R+IR乘以系数K31，乘法器345将G+IR乘以系数K32，乘法器346将B+IR乘以系数K33，乘法器347将W+IR乘以系数K34。加法器342、343和344将乘法器341、345、346和347的各乘法结果相加，并且将相加值作为表示B颜色分量的值的数据B供应给饱和像素检测单元350。
第二实施例中的IR分离处理单元300所使用的计算公式的示例在以下等式(12)和(13)中示出。
Figure BDA0003501479330000251
Figure BDA0003501479330000252
等式(12)是其中使用矩阵表示上述等式(4)至(7)的表达式。通过包括数据R+IR、G+IR、B+IR和W+IR的向量与4行×4列的矩阵的乘积，计算包括表示R、G和B颜色分量的值的各数据R、G和B以及表示红外范围分量的值的数据IR的向量。注意，等式(13)示出了在等式(12)中分别设定为K11至K44的系数的示例。
图18A是用于说明适用于第二实施例的饱和像素检测单元350的功能的示例的功能框图。饱和像素检测单元350包括乘法器351、353、354、356、357、359和360、加法器352、355和358以及α值控制单元361。
α值控制单元361控制系数α的值。α值控制单元361针对每个像素检测像素数据的信号电平是否高于预定阈值Th2。然后，在信号电平高于阈值Th2的情况下，信号电平越高，α值控制单元361将系数α设定为“0”以上且小于“1”中越小的值，而在其他情况下，将系数α设定为“1”。然后，α值控制单元361将设定的系数α供应给乘法器351、354、357和360，并且将系数(1-α)供应给乘法器353、356和359。
乘法器351将表示R颜色分量的值的数据R乘以系数α，并将乘法结果供应给加法器352。乘法器353将像素数据R+IR乘以系数(1-α)，并将乘法结果供应给加法器352。加法器352将乘法器351和353的乘法结果相加，并将相加结果作为数据R从IR分离处理单元300输出。
乘法器354将表示G颜色分量的值的数据G乘以系数α，并将乘法结果供应给加法器355。乘法器356将像素数据G+IR乘以系数(1-α)，并将乘法结果供应给加法器355。加法器355将乘法器354和356的乘法结果相加，并将相加结果作为数据G从IR分离处理单元300输出。
乘法器357将表示B颜色分量的值的数据B乘以系数α，并将乘法结果供应给加法器358。乘法器359将数据B+IR乘以系数(1-α)，并将乘法结果供应给加法器358。加法器358将乘法器357和359的乘法结果相加，并将相加结果作为数据B从IR分离处理单元300输出。
乘法器360将表示红外范围分量的值的数据IR乘以系数α，并将乘法结果从IR分离处理单元300输出。
图18B是示出了适用于第二实施例的针对各信号电平的系数α的值的设定示例的示意图。在图18B中，横轴表示从伪色抑制处理单元1203'供应的像素数据的信号电平。纵轴表示系数α。在信号电平为阈值Th2以下的情况下，例如，将系数α设定为值“1”，而在信号电平超过阈值Th2的情况下，信号电平越高，将系数α设定为越小的值。
图19是示出了适用于第二实施例的像素R、G、B和W中各者的灵敏度特性的示例的示意图。在图19中，横轴表示光的波长，纵轴表示像素对具有相应波长的光的灵敏度。此外，实线表示像素W的灵敏度特性，细虚线表示像素R的灵敏度特性。另外，点划线表示像素G的灵敏度特性，粗虚线表示像素B的灵敏度特性。
像素W的灵敏度相对于白色(W)可见光显示峰值。此外，像素R、像素G和像素B的灵敏度分别相对于红色(R)可见光、绿色(G)可见光和蓝色(B)可见光显示峰值。像素R、G、B和W对红外光的灵敏度基本上相同。
当红色、绿色和蓝色被叠加地混合时，颜色变成白色。因此，像素R、像素G和像素B的灵敏度的总和是接近像素W的灵敏度的值。然而，如图19所示，该总和不一定与像素W的灵敏度一致。另外，虽然各像素对红外光的灵敏度相似，但是它们的灵敏度并不严格地彼此一致。
为此原因，在执行用于获得通过以相同系数“0.5”对各数据R+IR、G+IR和B+IR执行加权相加而获得的值与通过以系数“0.5”对像素数据W+IR执行加权相加而获得的值之间的差的计算的情况下，红外范围分量不能被精确地分离。
图20是示出了根据第二实施例的红外分量分离之后的灵敏度特性的示例的示意图。如图20所示，由加权相加产生的红外范围分量(IR)在可见光范围内接近“0”，并且与图19所示的比较例相比，误差变小。
如上所述，根据第二实施例，由于利用系数对表示各种颜色的分量值的数据执行加权相加，因此能够精确地分离红外光分量，该系数使通过对像素R、像素G和像素B对可见光的灵敏度执行加权相加而获得的值与通过对像素W的灵敏度执行加权相加而获得的值之间的差减小。结果，根据第二实施例的摄像装置1'能够改善可见光的颜色的再现性，并且能够提高图像质量。另外，可以实现不需要IR插入/移除机构的日夜(day-night)相机。
[3.第三实施例]
接下来，将说明根据本公开的技术适用的摄像装置的使用例。图21是示出了上述根据本公开的摄像装置1或摄像装置1'的使用例的图。在下文中，为了说明，将说明摄像装置1作为摄像装置1和摄像装置1'的代表。
如下所述，上述摄像装置1能够用于例如对诸如可见光、红外光、紫外光和X射线等光进行感测的各种情况。
·拍摄供欣赏用的图像的设备，诸如数码相机和具有摄像功能的便携式设备等
·供交通用的设备，诸如：为了诸如自动停止等安全驾驶和驾驶员状态的识别，用于拍摄车辆的前方、后方、周围或内部的图像的车载传感器；用于监控行驶车辆或道路的监控相机；或者用于测量车辆之间的距离的测距传感器等
·供诸如电视(TV)、冰箱和空凋等家用电器用的设备，用于拍摄用户手势的图像并根据手势执行设备操作
·供医疗保健用的设备，诸如内窥镜或用于通过接收红外光来拍摄血管的图像的设备等
·供安全用的设备，诸如用于安全的监控相机或用于个人认证的相机等
·供美容用的设备，诸如用于拍摄皮肤的图像的皮肤测量设备或用于拍摄头皮的图像的显微镜等
·供运动用的设备，诸如用于运动的运动相机或可穿戴相机等
·供农业用的设备，诸如用于监控农田和农作物状态的相机等
(3-0.移动体的应用例)
根据本公开的技术(本技术)能够应用于上述各种产品。例如，根据本公开的技术可以被实现为安装在以下任何一种移动体中的装置，所述移动体诸如是汽车、电动汽车、混合动力电动汽车、摩托车、自行车、个人移动设备、飞机、无人机、船舶和机器人等。
(在将本公开的摄像装置安装在车辆上的情况下的更具体示例)
作为根据本公开的摄像装置1的应用例，将说明在将摄像装置1安装在车辆上使用的情况下的更具体示例。
(第一安装示例)
首先，将说明根据本公开的摄像装置1的第一安装示例。图22是示出了能够安装根据本公开的摄像装置1的车辆的系统构造示例的框图。在图22中，车辆系统13200包括连接到为车辆13000提供的控制器局域网(CAN：controller area network)的单元。
前感测相机13001是拍摄车辆行驶方向上的前方区域的图像的相机。通常，该相机不用于图像显示，而是专门用于感测的相机。前感测相机13001被布置在例如挡风玻璃内侧的后视镜附近。
前相机ECU 13002接收由前感测相机13001拍摄的图像数据，并且执行包括诸如图像质量改善和物体检测等图像识别处理的图像信号处理。由前相机ECU执行的图像识别的结果通过CAN通信传送。
注意，ECU是“electronic control unit(电子控制单元)”的缩写。
无人驾驶ECU 13003是控制自动驾驶的ECU，并且通过例如CPU、ISP和图形处理单元(GPU)等实现。由GPU执行的图像识别的结果被传送到服务器，该服务器执行诸如深度神经网络等深度学习，并将学习结果返回给无人驾驶ECU 13003。
全球定位系统(GPS)13004是接收GPS无线电波并获得当前位置的位置信息获取单元。由GPS 13004获取的位置信息通过CAN通信传送。
显示器13005是布置在车辆13000中的显示设备。显示器13005布置在车辆13000的仪表板的中央部分或后视镜内部等。显示器13005可以与安装在车辆13000上的汽车导航装置一体构成。
通信单元13006的功能是在车辆与车辆间通信、行人与车辆间通信和道路与车辆间通信中执行数据传送和接收。通信单元13006还执行与服务器的传送和接收。通信单元13006能够应用各种类型的无线通信。
集成ECU 13007是集成各种ECU的集成ECU。在该示例中，集成ECU 13007包括ADASECU 13008、无人驾驶ECU 13003和电池ECU13010。电池ECU 13010控制电池(200V电池13023或12V电池13024等)。集成ECU 13007布置在例如车辆13000的中央部分。
转向灯13009是方向指示器，其照明由集成ECU 13007控制。
高级驾驶员辅助系统(ADAS：advanced driver assistance syste)13008根据驾驶员操作或图像识别结果等产生用于控制车辆系统13200的部件的控制信号。ADAS ECU13008通过CAN通信向各单元传送信号和从各单元接收信号。
在车辆系统13200中，驱动源(发动机或电机)由动力系统ECU(未示出)控制。在m巡航控制期间，动力系统ECU根据图像识别结果控制驱动源。
当车辆即将偏离图像识别中的白线时，转向装置13011根据由ADAS ECU 13008产生的控制信号驱动电子动力转向电机。
速度传感器13012检测车辆13000的行驶速度。速度传感器13012根据行驶速度计算加速度和加速度的微分(加加速度)。加速度信息用于计算在与物体碰撞前的估算时间。加加速度是影响乘客的乘坐舒适度的指数。
雷达13013是使用具有诸如毫米波等长波长的电磁波执行距离测量的传感器。激光雷达13014是使用光执行距离测量的传感器。
前照灯13015包括灯和灯的驱动电路，并且前照灯13015根据通过图像识别检测到的对向车辆有无前照灯来执行远光和近光的切换。可替代地，前照灯13015发射远光以避开对向车辆。
侧视相机13016是布置在侧视镜的壳体中或侧视镜附近的相机。从侧视相机13016输出的图像数据用于m图像显示。侧视相机13016拍摄例如驾驶员的盲点区域的图像。此外，侧视相机13016拍摄用于环视监控器的左右区域的图像。
侧视相机ECU 13017对由侧视相机13016拍摄的图像执行信号处理。侧视相机ECU13017提高了诸如白平衡等图像质量。由侧视相机ECU13017进行了信号处理的图像数据通过与CAN不同的线缆进行传送。
前视相机13018是布置在前格栅附近的相机。由前视相机13018拍摄的图像数据用于图像显示。前视相机13018拍摄车辆前方的盲点区域的图像。另外，前视相机13018拍摄在环视监控器的上部区域中使用的图像。前视相机13018在帧布局方面与上述的前感测相机13001不同。
前视相机ECU 13019对由前视相机13018拍摄的图像执行信号处理。前视相机ECU13019提高了诸如白平衡等图像质量。由前视相机ECU13019进行了信号处理的图像数据通过与CAN不同的线缆进行传送。
车辆系统13200包括发动机(ENG)13020、发电机(GEN)13021和驱动电机(MOT)13022。发动机13020、发电机13021和驱动电机13022由动力系统ECU(未示出)控制。
200V电池13023是驱动用和空调用的电源。12V电池13024是除驱动用和空调用的电源以外的电源。12V电池13024向安装在车辆13000上的各相机和各ECU供电。
后视相机13025是例如布置在尾板的车牌附近的相机。由后视相机13025拍摄的图像数据用于图像显示。后视相机13025拍摄车辆后方的盲点区域的图像。此外，后视相机13025拍摄在环视监控器的下部区域中使用的图像。后视相机13025通过例如将变速杆移动至“R(后退)”而启动。
后视相机ECU 13026对由后视相机13025拍摄的图像执行信号处理。后视相机ECU13026提高了诸如白平衡等图像质量。由后视相机ECU13026进行了信号处理的图像数据通过与CAN不同的线缆进行传送。
图23是示出了车辆系统13200的前感测相机13001的示例的构造的框图。
前相机模块13100包括透镜13101、成像器13102、前相机ECU 13002和微控制器单元(MCU：microcontroller unit)13103。透镜13101和成像器13102被包括在上述的前感测相机13001中。前相机模块13100布置在例如挡风玻璃内侧的后视镜附近。
成像器13102能够通过使用根据本公开的摄像单元10来实现，通过像素中所包括的光接收元件拍摄前方区域图像，并且输出像素数据。例如，参考图6A描述的以6×6像素的像素块为单位的像素排列被用作像素的彩色滤光片排列。前相机ECU 13002包括例如根据本公开的图像处理单元12、输出处理单元13和控制单元14。即，根据本公开的摄像装置1包括成像器13102和前相机ECU 13002。
注意，串行传送或并行传送可以应用于成像器13102与前相机ECU13002之间的数据传送。另外，优选地，成像器13102具有检测成像器13102本身的故障的功能。
MCU 13103具有与CAN总线13104接口的功能。图22所示的各单元(无人驾驶ECU13003、通信单元13006、ADAS ECU 13008、转向装置13011、前照灯13015、发动机13020或驱动电机13022等)连接到CAN总线13104。制动系统13030也连接到CAN总线13040。
作为前相机模块13100，使用具有参考图6A描述的以6×6像素的像素块为单位的像素排列的摄像单元10。然后，在前相机模块13100中，图像处理单元12对像素排列中的A系列和D系列分别独立地执行同步处理。此外，在前相机模块13100中，图像处理单元12基于使用A系列的同步处理结果、使用D系列的同步处理结果以及使用A系列和D系列两者的同步处理结果来执行伪色抑制处理。
因此，前相机模块13100能够输出抑制了与垂直方向和水平方向上的频率fs/2相对应的伪色以及与垂直方向和水平方向上的频率fs/4相对应的伪色的具有较高图像质量的拍摄图像。
注意，在以上的说明中，已经说明了根据本公开的摄像装置1适用于前感测相机13001，但是本公开不限于此。例如，根据本公开的摄像装置1还可以适用于前视相机13018、侧视相机13016和后视相机13025。
(第二安装示例)
接下来，将说明根据本公开的摄像装置1的第二安装示例。图24是示出了作为能够应用根据本公开的技术的移动体控制系统的示例的车辆控制系统的示意性构造的示例的框图。
车辆控制系统12000包括通过通信网络12001彼此连接的多个电子控制单元。在图24所示的示例中，车辆控制系统12000包括驱动系统控制单元12010、车身系统控制单元12020、车外信息检测单元12030、车内信息检测单元12040和集成控制单元12050。此外，作为集成控制单元12050的功能构造，示出了微型计算机12051、声音图像输出单元12052和车载网络接口(I/F)12053。
驱动系统控制单元12010根据各种程序来控制与车辆的驱动系统有关的设备的操作。例如，驱动系统控制单元12010用作下述设备的控制装置：用于产生车辆的驱动力的驱动力产生设备，诸如内燃机或驱动电机等；用于将驱动力传递到车轮的驱动力传递机构；用于调整车辆的转向角的转向机构；或用于产生车辆的制动力的制动设备等。
车身系统控制单元12020根据各种程序来控制安装在车体中的各种设备的操作。例如，车身系统控制单元12020用作无钥匙进入系统、智能钥匙系统、电动车窗装置，或者用作诸如前照灯、尾灯、刹车灯、方向灯和雾灯等各种灯的控制装置。在这种情况下，能够将从替代钥匙的便携式设备发送的电波或各种开关的信号输入到车身系统控制单元12020。车身系统控制单元12020接收电波或信号，以控制车辆的门锁装置、电动车窗装置或灯等。
车外信息检测单元12030检测安装有车辆控制系统12000的车辆的外部区域的信息。例如，车外信息检测单元12030与摄像单元12031连接。车外信息检测单元12030使摄像单元12031拍摄车辆外部区域的图像，并且接收所拍摄的图像。基于所接收到的图像，车外信息检测单元12030可以对诸如人、汽车、障碍物、标志或路面上的文字等物体执行检测处理或执行距离检测处理。
摄像单元12031是用于接收光并且输出与所接收的光量相对应的电信号的光学传感器。摄像单元12031能够将该电信号作为图像输出，或者能够将该电信号作为测距信息输出。此外，由摄像单元12031接收的光可以是可见光或诸如红外线等非可见光。
车内信息检测单元12040检测车辆内部区域的信息。例如，车内信息检测单元12040与用于检测驾驶员状态的驾驶员状态检测单元12041连接。例如，驾驶员状态检测单元12041包括用于拍摄驾驶员的图像的相机，并且基于从驾驶员状态检测单元12041输入的检测信息，车内信息检测单元12040可以计算驾驶员的疲劳程度或专注程度，或者可以判断驾驶员是否正在瞌睡。
基于由车外信息检测单元12030或车内信息检测单元12040获取的车辆外部区域和车辆内部区域的信息，微型计算机12051能够计算驱动力产生设备、转向机构或制动设备的目标控制值，并且能够向驱动系统控制单元12010输出控制命令。例如，微型计算机12051能够执行旨在实现高级驾驶员辅助系统(ADAS)的功能的协同控制，所述高级驾驶员辅助系统的功能包括车辆的碰撞避免、撞击减轻、基于车间距离的跟随行驶、车速保持行驶、车辆碰撞警告或车辆偏离车道警告等。
此外，通过基于由车外信息检测单元12030或车内信息检测单元12040获取的车辆周围区域的信息来控制驱动力产生设备、转向机构或制动设备等，微型计算机12051能够执行旨在无需驾驶员的操作而使车辆自主行驶的自动驾驶等的协同控制。
此外，基于由车外信息检测单元12030获取的车辆外部的信息，微型计算机12051能够向车身系统控制单元12020输出控制命令。例如，微型计算机12051能够根据由车外信息检测单元12030检测到的前行车辆或对向车辆的位置来控制前照灯以将远光切换到近光，从而执行旨在防眩光等的协同控制。
声音图像输出单元12052将声音和图像中的至少一者的输出信号传送到输出设备，该输出设备能够在视觉上或听觉上向车辆上的乘客或车辆的外部区域通知信息。在图24的示例中，作为输出设备，示出了音频扬声器12061、显示单元12062和仪表板12063。例如，显示单元12062可以包括车载显示器和平视显示器中的至少一者。
图25是示出了摄像单元12031的安装位置的示例的图。
在图25中，车辆12100包括作为摄像单元12031的摄像单元12101、12102、12103、12104和12105。
摄像单元12101、12102、12103、12104和12105设置在例如车辆12100的前鼻、后视镜、后保险杠、后门和车内挡风玻璃的上部处等。设置在前鼻处的摄像单元12101和设置在车内挡风玻璃的上部处的摄像单元12105主要获取车辆12100前方区域的图像。设置在后视镜处的摄像单元12102和12103主要获取车辆12100侧面区域的图像。设置在后保险杠或后门处的摄像单元12104主要获取车辆12100后方区域的图像。由摄像单元12101和12105获取的车辆12100的前方区域图像主要用于检测前行车辆、行人、障碍物、交通信号灯、交通标志或车道等。
注意，图25示出了摄像单元12101～12104的摄像范围的示例。摄像范围12111表示设置在前鼻处的摄像单元12101的摄像范围，摄像范围12112和12113分别表示设置在后视镜处的摄像单元12102和12103的摄像范围，摄像范围12114表示设置在后保险杠或后门处的摄像单元12104的摄像范围。例如，将由摄像单元12101～12104拍摄的图像数据叠加，从而获得从车辆12100的上方观察的鸟瞰图像。
摄像单元12101～12104中的至少一者可以具有获取距离信息的功能。例如，摄像单元12101～12104中的至少一者可以是包括多个摄像元件的立体相机，或者可以是具有用于相位差检测的像素的摄像元件。
例如，微型计算机12051能够基于从摄像单元12101～12104获取的距离信息来计算距摄像范围12111～12114内的各三维物体的距离以及该距离随时间的变化(相对于车辆12100的相对速度)，从而将这样的三维物体提取为前行车辆：该三维物体尤其在行驶路径上最靠近车辆12100并且在与车辆12100基本相同的方向上以预定速度(例如，0km/h以上)行驶。此外，微型计算机12051能够预先设定与前行车辆要确保的车间距离，并且能够执行自动制动控制(包括跟随停止控制)和自动加速控制(包括跟随启动控制)等。如上所述，能够执行旨在无需驾驶员的操作而使车辆自主行驶的自动驾驶等的协同控制。
例如，微型计算机12051能够基于从摄像单元12101～12104获得的距离信息将关于三维物体的三维物体数据分类并提取为两轮车辆、普通车辆、大型车辆、行人和诸如电线杆等其他三维物体，并且使用分类和提取的结果来自动避开障碍物。例如，微型计算机12051将车辆12100周围的障碍物区分为车辆12100的驾驶员可以看见的障碍物或几乎看不见的障碍物。然后，微型计算机12051确定用于表示与各障碍物发生碰撞的风险的碰撞风险，并且在碰撞风险为设定值以上并可能发生碰撞的情况下，微型计算机12051能够通过音频扬声器12061或显示单元12062向驾驶员输出警告，或者通过驱动系统控制单元12010执行强制减速或避让转向，以执行用于避免碰撞的辅助驾驶。
摄像单元12101～12104中的至少一者可以是用于检测红外线的红外相机。例如，微型计算机12051能够通过判定摄像单元12101～12104的拍摄图像中是否存在行人来识别该行人。通过以下过程来执行这种行人的识别：提取作为例如红外相机的摄像单元12101～12104的拍摄图像中的特征点的过程；以及通过对表示物体的轮廓的一系列特征点执行图案匹配处理来判定该物体是否是行人的过程。在微型计算机12051判定摄像单元12101～12104的拍摄图像中存在行人并识别出该行人的情况下，声音图像输出单元12052控制显示单元12062，以在识别出的行人上叠加用于强调的矩形轮廓线。此外，声音图像输出单元12052还可以控制显示单元12062，以在所期望的位置处显示用于表示行人的图标等。
在上文中，已经说明了根据本公开的技术能够适用的车辆控制系统的示例。根据本公开的技术能够应用于例如上述构造之中的摄像单元12031。具体地，作为摄像单元12031，能够应用根据本公开的第一和第二实施例及其变形例中的任一者的摄像装置1。即，摄像单元12031包括例如具有参考图6A描述的以6×6像素的像素块为单位的像素排列的像素阵列，并且包括例如根据本公开的图像处理单元12、输出处理单元13和控制单元14。
然后，在摄像单元12031中，图像处理单元12对像素排列中的A系列和D系列分别独立地执行同步处理。此外，在摄像单元12031中，图像处理单元12基于使用A系列的同步处理结果、使用D系列的同步处理结果以及使用A系列和D系列两者的同步处理结果来执行伪色抑制处理。
因此，摄像单元12031能够输出抑制了与垂直方向和水平方向上的频率fs/2相对应的伪色以及与垂直方向和水平方向上的频率fs/4相对应的伪色的具有较高图像质量的拍摄图像。
注意，本说明书中记载的效果仅是示例。本公开的效果不限于此，并且可以获得其他效果。
注意，本技术也能够具有以下构造。
(1)一种摄像装置，其包括：
像素阵列，其包括以矩阵排列的方式布置的像素，其中，
所述像素阵列包括：
多个像素块，各所述像素块包括6个×6个的像素，
所述像素块包括：
第一像素，在所述第一像素上，设置有透射第一波长范围内的光的第一光学滤光片；
第二像素，在所述第二像素上，设置有透射第二波长范围内的光的第二光学滤光片；
第三像素，在所述第三像素上，设置有透射第三波长范围内的光的第三光学滤光片；和
第四像素，在所述第四像素上，设置有透射第四波长范围内的光的第四光学滤光片，
所述第一像素在所述排列的行方向和列方向上分别每隔一个地布置，
在所述排列的各行和各列中，分别布置有一个所述第二像素、一个所述第三像素和一个所述第四像素，并且
所述像素块还包括：
在所述排列的与所述像素块的对角平行的第一倾斜方向上至少包括一个所述第二像素、一个所述第三像素和一个所述第四像素的线；以及在与所述像素块的对角平行且与所述第一倾斜方向不同的第二倾斜方向上至少包括一个所述第二像素、一个所述第三像素和一个所述第四像素的线。
(2)根据上面(1)所述的摄像装置，其还包括：
信号处理单元，其对从所述像素阵列中所包括的各所述像素读取的像素信号执行信号处理，其中，
所述信号处理单元对从第一像素组读取的所述像素信号和从第二像素组读取的所述像素信号分别独立地执行所述信号处理，
所述第一像素组包括所述像素块中所包括的所述第二像素、所述第三像素和所述第四像素之中的从所述排列中选择的每隔一行和一列中所包括的所述第二像素、所述第三像素和所述第四像素，并且
所述第二像素组包括与所述第一像素组不同的所述第二像素、所述第三像素和所述第四像素。
(3)根据上面(2)所述的摄像装置，其中，
所述信号处理单元基于从所述第一像素组中所包括的所述第二像素、所述第三像素和所述第四像素读取的所述像素信号执行第一同步处理，并且
独立于所述第一同步处理，所述信号处理单元基于从所述第二像素组中所包括的所述第二像素、所述第三像素和所述第四像素读取的所述像素信号执行第二同步处理。
(4)根据上面(3)所述的摄像装置，其中，
所述信号处理单元还基于从所述第一像素组和所述第二像素组各自所包括的所述第二像素、所述第三像素和所述第四像素读取的所述像素信号执行第三同步处理，并且
所述信号处理单元决定将所述第一同步处理的处理结果、所述第二同步处理的处理结果和所述第三同步处理的处理结果中的哪一个处理结果输出到后级。
(5)根据上面(4)所述的摄像装置，其中，
作为所述第三同步处理，所述信号处理单元执行用于获得所述第一同步处理的所述处理结果和所述第二同步处理的所述处理结果的平均值的处理。
(6)根据上面(4)或(5)所述的摄像装置，其中，
所述信号处理单元选择与基于所述第一同步处理的所述处理结果的色差、基于所述第二同步处理的所述处理结果的色差和基于所述第三同步处理的所述处理结果的色差之中的最小色差相对应的处理结果作为输出到所述后级的所述处理结果。
(7)根据上面(1)至(6)中任一项所述的摄像装置，其中，
所述第一波长范围是与整个可见光范围相对应的波长范围，并且
所述第二波长范围、所述第三波长范围和所述第四波长范围分别是与红色光范围、绿色光范围和蓝色光范围相对应的波长范围。
(8)根据上面(1)至(6)中任一项所述的摄像装置，其中，
所述第一波长范围是与黄色范围相对应的波长范围，并且
所述第二波长范围、所述第三波长范围和所述第四波长范围分别是与红色光范围、绿色光范围和蓝色光范围相对应的波长范围。
(9)根据上面(1)至(6)中任一项所述的摄像装置，其中，
所述第一波长范围是与红外范围相对应的波长范围，并且
所述第二波长范围、所述第三波长范围和所述第四波长范围分别是与红色光范围、绿色光范围和蓝色光范围相对应的波长范围。
(10)根据上面(4)至(6)中任一项所述的摄像装置，其中，
所述第一波长范围是与整个可见光范围相对应的波长范围，
所述第二波长范围、所述第三波长范围和所述第四波长范围分别是与红色光范围、绿色光范围和蓝色光范围相对应的波长范围，并且
基于所述选择的所述处理结果和从所述第一像素读取的所述像素信号，所述信号处理单元从该处理结果中去除对应于红外范围的分量。
附图标记列表
1、1' 摄像装置
10 摄像单元
12、12' 图像处理单元
13 输出处理单元
30 双带通滤波器
120、130、131、132、133 像素块
300 IR分离处理单元
310 红外光分量产生单元
320 可见光分量产生单元
350 饱和像素检测单元
1201 低频分量同步单元
1202 高频分量提取单元
1203、1203' 伪色抑制处理单元
1204 高频分量复原单元

Claims (10)

1.一种摄像装置，其包括：
像素阵列，其包括以矩阵排列的方式布置的像素，其中，
所述像素阵列包括：
多个像素块，各所述像素块包括6个×6个的像素，
所述像素块包括：
第一像素，在所述第一像素上，设置有透射第一波长范围内的光的第一光学滤光片；
第二像素，在所述第二像素上，设置有透射第二波长范围内的光的第二光学滤光片；
第三像素，在所述第三像素上，设置有透射第三波长范围内的光的第三光学滤光片；和
第四像素，在所述第四像素上，设置有透射第四波长范围内的光的第四光学滤光片，
所述第一像素在所述排列的行方向和列方向上分别每隔一个地布置，
在所述排列的各行和各列中，分别布置有一个所述第二像素、一个所述第三像素和一个所述第四像素，并且
所述像素块还包括：
在所述排列的与所述像素块的对角平行的第一倾斜方向上至少包括一个所述第二像素、一个所述第三像素和一个所述第四像素的线；以及在与所述像素块的对角平行且与所述第一倾斜方向不同的第二倾斜方向上至少包括一个所述第二像素、一个所述第三像素和一个所述第四像素的线。
2.根据权利要求1所述的摄像装置，其还包括：
信号处理单元，其对从所述像素阵列中所包括的各所述像素读取的像素信号执行信号处理，其中，
所述信号处理单元对从第一像素组读取的所述像素信号和从第二像素组读取的所述像素信号分别独立地执行所述信号处理，
所述第一像素组包括所述像素块中所包括的所述第二像素、所述第三像素和所述第四像素之中的从所述排列中选择的每隔一行和一列中所包括的所述第二像素、所述第三像素和所述第四像素，并且
所述第二像素组包括与所述第一像素组不同的所述第二像素、所述第三像素和所述第四像素。
3.根据权利要求2所述的摄像装置，其中，
所述信号处理单元基于从所述第一像素组中所包括的所述第二像素、所述第三像素和所述第四像素读取的所述像素信号执行第一同步处理，并且
独立于所述第一同步处理，所述信号处理单元基于从所述第二像素组中所包括的所述第二像素、所述第三像素和所述第四像素读取的所述像素信号执行第二同步处理。
4.根据权利要求3所述的摄像装置，其中，
所述信号处理单元还基于从所述第一像素组和所述第二像素组各自所包括的所述第二像素、所述第三像素和所述第四像素读取的所述像素信号执行第三同步处理，并且
所述信号处理单元决定将所述第一同步处理的处理结果、所述第二同步处理的处理结果和所述第三同步处理的处理结果中的哪一个处理结果输出到后级。
5.根据权利要求4所述的摄像装置，其中，
作为所述第三同步处理，所述信号处理单元执行用于获得所述第一同步处理的所述处理结果和所述第二同步处理的所述处理结果的平均值的处理。
6.根据权利要求4所述的摄像装置，其中，
所述信号处理单元选择与基于所述第一同步处理的所述处理结果的色差、基于所述第二同步处理的所述处理结果的色差和基于所述第三同步处理的所述处理结果的色差之中的最小色差相对应的处理结果作为输出到所述后级的所述处理结果。
7.根据权利要求1所述的摄像装置，其中，
所述第一波长范围是与整个可见光范围相对应的波长范围，并且
所述第二波长范围、所述第三波长范围和所述第四波长范围分别是与红色光范围、绿色光范围和蓝色光范围相对应的波长范围。
8.根据权利要求1所述的摄像装置，其中，
所述第一波长范围是与黄色范围相对应的波长范围，并且
所述第二波长范围、所述第三波长范围和所述第四波长范围分别是与红色光范围、绿色光范围和蓝色光范围相对应的波长范围。
9.根据权利要求1所述的摄像装置，其中，
所述第一波长范围是与红外范围相对应的波长范围，并且
所述第二波长范围、所述第三波长范围和所述第四波长范围分别是与红色光范围、绿色光范围和蓝色光范围相对应的波长范围。
10.根据权利要求4所述的摄像装置，其中，
所述第一波长范围是与整个可见光范围相对应的波长范围，
所述第二波长范围、所述第三波长范围和所述第四波长范围分别是与红色光范围、绿色光范围和蓝色光范围相对应的波长范围，并且
基于所述选择的所述处理结果和从所述第一像素读取的所述像素信号，所述信号处理单元从该处理结果中去除对应于红外范围的分量。
CN202080057082.7A 2019-09-26 2020-09-16 摄像装置 Active CN114270798B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019175596 2019-09-26
JP2019-175596 2019-09-26
PCT/JP2020/035144 WO2021060118A1 (ja) 2019-09-26 2020-09-16 撮像装置

Publications (2)

Publication Number Publication Date
CN114270798A true CN114270798A (zh) 2022-04-01
CN114270798B CN114270798B (zh) 2023-10-24

Family

ID=75166965

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080057082.7A Active CN114270798B (zh) 2019-09-26 2020-09-16 摄像装置

Country Status (7)

Country Link
US (1) US20220368867A1 (zh)
EP (1) EP4036617A4 (zh)
JP (1) JPWO2021060118A1 (zh)
KR (1) KR20220068996A (zh)
CN (1) CN114270798B (zh)
TW (1) TWI842952B (zh)
WO (1) WO2021060118A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220089408A (ko) * 2020-12-21 2022-06-28 에스케이하이닉스 주식회사 이미지 센싱 장치
WO2023012989A1 (ja) * 2021-08-05 2023-02-09 ソニーセミコンダクタソリューションズ株式会社 撮像装置
US11792535B2 (en) * 2021-08-10 2023-10-17 Samsung Electronics Co., Ltd. System and method to improve quality in under-display camera system with radially increasing distortion

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101467444A (zh) * 2006-06-14 2009-06-24 株式会社东芝 固态图像传感器
JP2009232351A (ja) * 2008-03-25 2009-10-08 Seiko Epson Corp 撮像装置及びカラーフィルタアレイ
CN101924947A (zh) * 2005-06-21 2010-12-22 索尼株式会社 图像处理装置及图像处理方法、摄像装置
JP2012084610A (ja) * 2010-10-07 2012-04-26 Sony Corp 固体撮像装置、固体撮像装置の製造方法、及び電子機器
JP2012130078A (ja) * 2012-03-21 2012-07-05 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
US20130193311A1 (en) * 2010-09-27 2013-08-01 Panasonic Corporation Solid-state imaging device and imaging apparatus
US20140009647A1 (en) * 2012-07-06 2014-01-09 Fujifilm Corporation Color imaging element and imaging apparatus
CN104170376A (zh) * 2012-03-27 2014-11-26 索尼公司 图像处理设备、成像装置、图像处理方法及程序
US20160337623A1 (en) * 2015-05-11 2016-11-17 Canon Kabushiki Kaisha Imaging apparatus, imaging system, and signal processing method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0230751Y2 (zh) 1981-01-13 1990-08-20
JPS6041588A (ja) 1983-08-06 1985-03-05 Kikusui Kagaku Kogyo Kk 産業廃棄物の固化方法
US7508431B2 (en) * 2004-06-17 2009-03-24 Hoya Corporation Solid state imaging device
US7769229B2 (en) * 2006-11-30 2010-08-03 Eastman Kodak Company Processing images having color and panchromatic pixels
JP5085140B2 (ja) * 2007-01-05 2012-11-28 株式会社東芝 固体撮像装置
CN101569205B (zh) * 2007-06-15 2012-05-23 松下电器产业株式会社 图像处理装置
JP2013145487A (ja) 2012-01-16 2013-07-25 Seiko Epson Corp データ転送装置およびデータ処理システム
KR20140094395A (ko) * 2013-01-22 2014-07-30 삼성전자주식회사 복수 개의 마이크로렌즈를 사용하여 촬영하는 촬영 장치 및 그 촬영 방법
JP2015109588A (ja) * 2013-12-05 2015-06-11 株式会社東芝 信号処理装置及び撮像システム
JP2016025626A (ja) * 2014-07-24 2016-02-08 ソニー株式会社 撮像素子、撮像方法、撮像装置
US10015416B2 (en) * 2016-05-24 2018-07-03 Semiconductor Components Industries, Llc Imaging systems with high dynamic range and phase detection pixels
JP6843682B2 (ja) * 2017-04-07 2021-03-17 キヤノン株式会社 撮像素子および撮像装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101924947A (zh) * 2005-06-21 2010-12-22 索尼株式会社 图像处理装置及图像处理方法、摄像装置
CN101467444A (zh) * 2006-06-14 2009-06-24 株式会社东芝 固态图像传感器
JP2009232351A (ja) * 2008-03-25 2009-10-08 Seiko Epson Corp 撮像装置及びカラーフィルタアレイ
US20130193311A1 (en) * 2010-09-27 2013-08-01 Panasonic Corporation Solid-state imaging device and imaging apparatus
JP2012084610A (ja) * 2010-10-07 2012-04-26 Sony Corp 固体撮像装置、固体撮像装置の製造方法、及び電子機器
JP2012130078A (ja) * 2012-03-21 2012-07-05 Sony Corp 固体撮像装置、固体撮像装置の信号処理方法および撮像装置
CN104170376A (zh) * 2012-03-27 2014-11-26 索尼公司 图像处理设备、成像装置、图像处理方法及程序
US20140009647A1 (en) * 2012-07-06 2014-01-09 Fujifilm Corporation Color imaging element and imaging apparatus
US20160337623A1 (en) * 2015-05-11 2016-11-17 Canon Kabushiki Kaisha Imaging apparatus, imaging system, and signal processing method

Also Published As

Publication number Publication date
CN114270798B (zh) 2023-10-24
TW202129313A (zh) 2021-08-01
JPWO2021060118A1 (zh) 2021-04-01
TWI842952B (zh) 2024-05-21
KR20220068996A (ko) 2022-05-26
WO2021060118A1 (ja) 2021-04-01
US20220368867A1 (en) 2022-11-17
EP4036617A4 (en) 2022-11-16
EP4036617A1 (en) 2022-08-03

Similar Documents

Publication Publication Date Title
US10432847B2 (en) Signal processing apparatus and imaging apparatus
CN114270798B (zh) 摄像装置
WO2018190126A1 (ja) 固体撮像装置、及び電子機器
US11394913B2 (en) Solid-state imaging element, electronic device, and method for controlling correction of luminance in the solid-state imaging element
US11418741B2 (en) Solid-state imaging device and electronic device
US11710291B2 (en) Image recognition device and image recognition method
US20220201183A1 (en) Image recognition device and image recognition method
WO2017175492A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
US11605661B2 (en) Image processing apparatus, image processing method, and solid-state imaging apparatus to detect polarization properties of each color
JP6803989B2 (ja) 固体撮像装置及びその駆動方法
CN114208154A (zh) 成像装置
WO2017169233A1 (ja) 撮像処理装置、撮像処理方法、コンピュータプログラム及び電子機器
JP7144926B2 (ja) 撮像制御装置、撮像装置、および、撮像制御装置の制御方法
WO2018207666A1 (ja) 撮像素子及びその駆動方法、並びに、電子機器
WO2017169274A1 (ja) 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器
US11924568B2 (en) Signal processing device, signal processing method, and imaging apparatus
WO2018139187A1 (ja) 固体撮像装置およびその駆動方法、並びに電子機器
CN113661700B (zh) 成像装置与成像方法
US10873732B2 (en) Imaging device, imaging system, and method of controlling imaging device
WO2022219874A1 (ja) 信号処理装置および方法、並びにプログラム
WO2022019025A1 (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
US20200099852A1 (en) Solid-state imaging device, driving method, and electronic apparatus

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant