CN105432076A - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN105432076A
CN105432076A CN201380077563.4A CN201380077563A CN105432076A CN 105432076 A CN105432076 A CN 105432076A CN 201380077563 A CN201380077563 A CN 201380077563A CN 105432076 A CN105432076 A CN 105432076A
Authority
CN
China
Prior art keywords
signal
colour
saturation
luminance
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380077563.4A
Other languages
English (en)
Other versions
CN105432076B (zh
Inventor
盐川淳司
野中雄一
大坪未奈
野泽慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Hitachi Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Maxell Ltd filed Critical Hitachi Maxell Ltd
Publication of CN105432076A publication Critical patent/CN105432076A/zh
Application granted granted Critical
Publication of CN105432076B publication Critical patent/CN105432076B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86—Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明提供一种摄像装置，其包括具有在可见光波段和近红外波段具有灵敏度的可见光像素和在近红外波段具有灵敏度的近红外像素的摄像部，改善了可见光波段的信号成分接近饱和的情况下的色彩再现性。对于基于从可见光像素得到的包括近红外波段的信号生成的色差信号和除去近红外波段的信号而生成的色差信号，以与可见光波段的信号成分的饱和度相应的合成比率合成并输出。由此，色相能够再现为与人看到的颜色接近的颜色。也可以对亮度信号进行同样的处理。除去近红外波段的信号而生成的色差信号，例如表现为负值的情况下，也可以再次加上近红外波段的信号。

Description

摄像装置
技术领域
本发明涉及摄像装置。
背景技术
本技术领域的背景技术有以下专利文献1。该公报的说明书的段落0029中，记载了：“从固体摄像元件10输出的信号SR、SG、SB中含有因红外波段的光产生的电荷成为噪声。从而，直接使用这些信号SR、SG、SB构成彩色图像时，不能够得到正确的色彩再现性。本实施方式的结构中，能够在信号处理部14中，基于来自设置了近红外滤光器的像素的输出信号SIR，进行从输出信号SR、SG、SB中除去近红外波段的成分的处理。”
现有技术文献
专利文献
专利文献1：日本特开2008-92247号公报
发明内容
发明要解决的课题
一般的图像摄影中使用的摄像机的摄像元件中，各像素具备使R(红)、G(绿)、B(蓝)中的任一个波段的光通过的滤光器。由此，可以得到与人眼的视觉特性接近的RGB三原色信号。此外，用于在夜间监视暗处的红外线摄像机中，使用红外波段中的IR(近红外)的波段的光得到图像信号。
与此相对，例如最近的车载用的摄像机中，为了在亮处和暗处双方都得到清晰的图像，各像素生成R+IR、G+IR、B+IR和IR中的任一个信号。该情况下，在暗处生成使用IR信号的清晰的图像信号，另一方面，在亮处从R+IR、G+IR、B+IR各信号中减去IR信号从而生成与人眼的视觉特性接近的RGB三原色信号。
拍摄彩色图像的情况下，优选将光量低的场所拍摄为亮度电平低，将光量高的场所拍摄为亮度电平高。例如，在图像的称为高光的场所附近，大多情况下优选亮度电平在中央部更高，在周边部逐渐降低。但是，实际上在光量高的中央部像素电平易于饱和，在光量逐渐降低的周边部像素电平难以饱和。
考虑使用如上述车载用摄像机一般由在可见光波段和近红外波段具有灵敏度的可见光像素、和在近红外波段具有灵敏度的近红外像素构成的摄像部的情况。
例如在专利文献1中，实施除去近红外波段的多余波长成分的处理的情况下，基于从固体摄像元件10输出的SR像素、SG像素、SB像素、SIR像素的信号，例如如下所述地求出亮度信号Y。
R'＝(SR-SIR)
G'＝(SG-SIR)
B'＝(SB-SIR)
Y＝k1*R'+k2*G'+k3*B'
(k1，k2，k3是任意系数)
此时，逐渐提高光量的情况下，SR、SG、SB比SIR先饱和，所以在图像的高光的中央部附近，发生亮度信号Y降低的现象，所以存在改善的余地。
进而，拍摄彩色图像的情况下，优选画面整体再现为与人看到的颜色相同的颜色。例如，太阳这样光量高而像素电平饱和的光源附近，优选仅用光源的颜色和光源以外的被拍摄体的颜色表现。
与上述同样，考虑使用由在可见光波段和近红外波段具有灵敏度的可见光像素、和在近红外波段具有灵敏度的近红外像素构成的摄像部的情况。
例如在专利文献1中，实施除去近红外波段的多余波长成分的处理的情况下，基于从固体摄像元件10输出的SR像素、SG像素、SB像素、SIR像素的信号，例如如下所述地求出R信号、G信号、B信号。
R＝(SR-SIR)
G＝(SG-SIR)
B＝(SB-SIR)
此时，光量高、SR、SG、SB的像素都饱和的情况下，图像信号失去平衡，发生出现被拍摄体中不存在的颜色的现象，所以存在改善的余地。
于是，本发明以改善彩色信号的平衡为目的，例如目的在于提供一种对包括太阳这样光量高的光源的被拍摄体，用与人看到的颜色接近的颜色再现的方式进行处理的摄像装置。
此外，取决于实施方式，进而以改善亮度信号为目的，例如目的在于提供一种以在高光附近在中央部亮度电平高、在周边部亮度电平逐渐降低的方式进行处理的摄像装置。
用于解决课题的技术方案
为了达成上述目的，采用权利要求书中记载的结构。
发明效果
根据本发明，能够提供一种改善了彩色信号的平衡的摄像装置，能够帮助提高摄像装置的基本性能。
此外，实施方式固有的效果，用以下实施方式的说明叙述。
附图说明
图1是实施例1中的摄像装置的结构图。
图2是表示实施例1和2中的摄像部的像素的排列方式的例子的图。
图3是表示实施例1和2中的摄像部中包括的像素的波长灵敏度特性例的图。
图4是表示实施例1和2中的与光量对应的亮度信号电平的控制特性例的图。
图5是实施例2中的摄像装置的结构图。
图6是实施例3中的摄像系统的结构图。
图7是实施例4中的摄像装置的结构图。
图8是实施例4中的彩色信号处理部的结构图。
图9是表示实施例4和5中的饱和度的计算例的图。
图10是表示实施例4和5中的图像信号的例子的图。
图11是表示实施例4和5中的被拍摄体的图。
图12是实施例5中的摄像装置的结构图。
图13是实施例5中的彩色信号处理部的结构图。
图14是实施例6中的摄像系统的结构图。
具体实施方式
以下，用附图说明本发明的实施方式。其中，本实施例中将改善摄像装置的彩色信号的平衡作为第一目标，但也能够与实施方式相应地改善亮度信号。于是，在实施例1至实施例3中，叙述能够比较容易理解的对亮度信号的处理，接着在实施例4至实施例6中，叙述对彩色信号的处理。
实施例1
图1是实施例1中的摄像装置100的结构图。
摄像装置100具有透镜101、摄像部102、同时化部103、白平衡(WB)处理部104、亮度信号处理部115、亮度伽玛部110、饱和度检测部111、色差信号生成部112、色差伽玛部113、控制部114。
透镜101使来自被拍摄体的光在摄像部102上成像。
摄像部102由在可见光波段和近红外波段具有灵敏度的可见光波段像素、和主要在近红外波段具有灵敏度的近红外像素构成。对于在各像素中由透镜101成像的光，摄像部102进行光电转换和A/D转换，对同时化部103输出各像素中的数字图像信号。
同时化部103对从摄像部102输出的来自各像素的信号实施插值处理，对WB处理部104输出插值后的图像信号。其中，关于插值处理的内容和同时化部这一名称的由来，在说明图2时叙述。
WB处理部104对于从同时化部103输出的图像信号，将与光源的色温相应的增益进行累加而进行白平衡调整，将得到的图像信号对亮度信号处理部115输出。
亮度信号处理部115根据从WB处理部104输出的图像信号计算求出亮度信号Y，对亮度伽玛部110输出。亮度信号处理部115具有第一亮度系数输出部105、第二亮度系数输出部106、第一亮度信号生成部107、第二亮度信号生成部108、亮度信号合成部109。
第一亮度系数输出部105被控制部114控制设定亮度系数kr1、kg1、kb1、ki1，对第一亮度信号生成部107输出。
第二亮度系数输出部106被控制部114控制设定亮度系数kr2、kg2、kb2、ki2，对第二亮度信号生成部109输出。
第一亮度信号输出部107对从WB处理部104输出的4个图像信号与从第一亮度系数输出部105输出的4个亮度系数进行乘积累加运算，输出亮度信号Y1。
第二亮度信号输出部108对从WB处理部104输出的4个图像信号与从第二亮度系数输出部106输出的4个亮度系数进行乘积累加运算，输出亮度信号Y2。
亮度信号合成部109将从第一亮度信号生成部107输出的亮度信号Y1和从第二亮度信号生成部108输出的亮度信号Y2，与从饱和度检测部111输出的饱和度α的值相应地进行合成，将亮度信号Y对亮度伽玛部110输出。
亮度伽玛部110将对从亮度信号合成部109输出的亮度信号Y实施用于修正外部显示装置的特性的伽玛处理而得到的亮度信号对摄像部100的外部输出。
饱和度检测部111检测从WB处理部104输出的图像信号的饱和度α，对亮度信号合成部109输出。
色差信号生成部112根据从WB处理部104输出的图像信号，生成色差信号Pr和Pb，对色差伽玛部113输出。
色差伽玛部113将对从色差信号生成部112输出的色差信号实施用于修正外部显示装置的特性的伽玛处理而得到的色差信号对摄像部100的外部输出。
控制部114控制摄像装置100整体，基于从摄像装置100的外部输入的、例如表示操作者的动作指令的控制信号，控制透镜101、摄像部102、同时化部103、WB处理部104、亮度伽玛部110、饱和度检测部111、色差信号生成部112、色差伽玛部113。此外，控制部114对第一亮度系数输出部105、第二亮度系数输出部106输出亮度系数进行控制。
根据本实施例，与用饱和度检测部111检测出的饱和度α相应地控制亮度信号合成部109，从而能够提供减少在高光的中央部附近亮度信号降低的现象的摄像装置100。
接着，说明本实施例中的摄像部102。
图2是表示实施例1和2中的摄像部102的像素的排列方式的例子的图。图2中，(R+I)像素401、(G+I)像素402、(I)像素403、(B+I)像素404这4个像素构成2×2像素尺寸的单位结构，该单位结构纵横分别反复地配置。其中，以下将之前的IR简记为I。之前的同时化部103，例如根据周边的像素的信号求出(G+I)像素402的位置上的(R+I)(I)(B+I)这3个信号进行插值处理。由此，摄像装置100可以得到与摄像部102的像素数对应的分辨率。其中，同时化部103使得各像素中的(R+I)(G+I)(B+I)(I)这4个信号同时存在，所以称为同时化部。
图3是表示实施例1和2中的摄像部102中包括的像素的波长灵敏度特性例的图。摄像部102中，包括在可见光的红色波段(R)和近红外波段(I)具有灵敏度的可见光像素(R+I)像素401、在可见光的绿色波段(G)和近红外波段(I)具有灵敏度的可见光波段像素(G+I)像素402、在近红外波段(I)具有灵敏度的近红外像素(I)像素403、和在可见光的蓝色波段(B)和近红外波段具有灵敏度的可见光像素(B+I)像素404这4种像素。
求亮度信号的情况下，出于忠实地再现人眼对亮度的灵敏度特性的观点，例如图像整体明亮的情况下存在近红外波段(I)的成分作为多余波长成分的情况。这样的情况下，假设图3的各像素中包括的对近红外波段(I)的灵敏度大致相同时，例如只要从可见光像素(R+I)像素减去近红外像素(I)，就能够得到仅在红色波段(R)具有灵敏度的信号。对于绿色波段(G)、蓝色波段(B)也是同样的。此外，即使在各像素中包括的近红外像素(I)的灵敏度不同的情况下，也能够通过调整相减时的系数(后述的亮度系数)，而减少近红外像素(I)的成分。
接着，说明本实施例的动作。从WB处理部104输出的图像信号用包括RGB各色信号的信号表达。此处，用如下所述的4个像素电平描述图像信号。
(R+I)
(G+I)
(I)
(B+I)
此时，第一亮度信号生成部107输出的亮度信号Y1如(式1)所示地求出。
Y1＝kr1×(R+I)+kg1×(G+I)
+kb1×(B+I)+ki1×(I)……(式1)
此处，kr1、kg1、kb1、ki1是控制部114对第一亮度系数输出部105设定的系数(Y1的亮度系数)。对(式1)变形成为(式2)。
Y1＝kr1×((R+I)-(I))
+kg1×((G+I)-(I))
+kb1×((B+I)-(I))
+(kr1+kg1+kb1+ki1)×(I)……(式2)
即，如果(kr1+kg1+kb1＝-ki1)，则在求出亮度信号时，等价于除去了近红外波段的多余波长成分(I)。此外，关于kr1、kg1、kb1，能够例如与基于ITU-RBT.709等标准的RGB与亮度信号的转换式相应地设定系数。例如，通过如(式3)所示地设定，在(R+I)、(G+I)、(B+I)都不饱和时，能够防止Y1中出现近红外波段的多余波长成分的问题。
kr1＝0.2126，kg1＝0.7152
kb1＝0.0722，ki1＝-1.0……(式3)
此外，第二亮度信号生成部108输出的亮度信号Y2如(式4)所示地求出。
Y2＝kr2×(R+I)+kg2×(G+I)
+kb2×(B+I)+ki2×(I)……(式4)
此处，kr2、kg2、kb2、ki2是控制部114对第二亮度系数输出部106设定的系数(Y2的亮度系数)。但是，对于Y2的亮度系数，为了不产生后述的弊端而施加ki2≥0)的制约。例如，设定变更为kr2＝kr1、kg2＝kg1、kb2＝kb1、ki2＝0的系数。具体而言例如设定为(式5)。
Kr2＝0.2126，kg1＝0.7152
Kb2＝0.0722，ki1＝0.0……(式5)
图4是表示实施例1和2中的与光量对应的亮度信号电平的控制特性例的图。该例中，设想像素电平从高到低的顺序是(R+I)、(G+I)、(B+I)、(I)，较早提高光量时，以该顺序更早地饱和的情况。
图4中，Y1的特性成为如312所示。即，光量从0逐渐升高时，在光量低的区间(a)所有像素都不饱和，所以亮度信号电平与光量成比例地上升。但是，该例中，在区间(b)中(R+I)像素饱和，所以亮度信号电平变得与光量不成比例。
进而，在光量升高的区间(c)中(G+I)像素饱和，在区间(d)中(B+I)像素饱和，但另一方面(I)像素仍然没有饱和。因此，虽然光量增加，但亮度信号电平降低。然后，在所有像素都饱和的区间(e)中亮度信号电平成为0。
因此，被拍摄体中存在高光的情况下，发生在高光的中央部附近亮度信号Y1降低的现象，在将Y1直接作为亮度伽玛部110的输入的情况下，在其输出中因伽玛修正的效果成为实际上明亮的部分看起来更暗的图像。该弊端因Y1的亮度系数中包括负值而发生。亮度伽玛部110是为了修正外部显示装置的特性所必要的构成要素，所以在其之前的阶段修正上述亮度信号降低的处理是重要的。
另一方面，Y2的特性如图4的311所示。即，在使光量从0逐渐上升的区间(a)(b)(c)中，与区间相应地一部分像素饱和，但亮度信号电平Y2单调增加。然后，在像素(R+I)、(G+I)、(B+I)饱和的区间(d)(e)中，亮度电平Y2成为最大值。该情况下，即使在被拍摄体中存在高光的情况下，也不会发生在高光的中央部附近亮度信号降低的现象。但是，该Y2中包括红外波段的多余波长成分，并不一定忠实于人眼的视觉特性。
于是，本实施例中，对除去了近红外波段的多余波长成分的Y1、与在高光的中央部附近亮度信号也不降低的Y2进行合成，发挥双方的优点。为此，摄像装置100具备饱和度检测部111和亮度信号合成部109。本实施例中，饱和度指的是伴随光量增加的WB处理部104的输出信号中的像素电平的高低。
饱和度检测部111用(R+I)(G+I)(B+I)(I)这4个信号作为输入，例如与(I)像素的像素电平相应地决定饱和度α。饱和度α是表示关注像素的饱和度的0.0至1.0之间的值。饱和度越高，表示关注像素越接近饱和。
此外，例如用(式6)作为饱和度α的计算式，从而能够将与光量增加对应的可见光像素的饱和程度反映在亮度中。
α＝f1(R+I)+f2(G+I)+f3(B+I)
其中，f1～f3是单调增加函数……(式6)
此外，例如用(式7)作为饱和度α的计算式，从而在光量高、所有可见光像素都饱和的区间(区间d)中，也能够检测光量的增加而反映在亮度中。
α＝f4(I)其中，f4是单调增加函数……(式7)
此外，例如用(式8)作为饱和度α的计算式，从而能够检测与光量增加对应的可见光像素的饱和程度、和可见光像素饱和后的光量的增加双方并反映在亮度中。
α＝f1(R+I)+f2(G+I)+f3(B+I)+f4(I)
……(式8)
此外，例如用(式9)作为饱和度α的计算式，从而能够用简单的式子求出与光量增加对应的可见光像素的饱和程度，并反映在亮度中。
α＝f5(Max((R+I),(G+I),(B+I))
其中，Max是求3个值的最大值的函数……(式9)
亮度信号合成部109进行(式10)所示的运算。
Y＝(1-α)×Y1+α×Y2……(式10)
(式10)是对亮度信号Y1和亮度信号Y2基于α的比例内分求出Y的运算。饱和度α越高，亮度信号Y2对求出的亮度信号Y的贡献越大。
图4的313表示亮度信号合成部109输出的亮度信号Y的亮度电平。该亮度信号Y在光量低的区间(a)中，近红外波段的多余波长成分少。此外，从区间(a)到(d)亮度信号Y单调增加，所以具有难以发生在高光的中央部附近亮度信号降低的现象的特征。
实施例2
图5是实施例2中的摄像装置200的结构图。
摄像装置200由透镜101、摄像部102、同时化部103、WB处理部104、亮度信号处理部202、亮度伽玛部110、饱和度检测部111、色差信号生成部112、色差伽玛部113、控制部114构成。
图5的透镜101、摄像部102、同时化部103、WB处理部104、亮度伽玛部110、饱和度检测部111、色差信号生成部112、色差伽玛部113、控制部114与图1的相同即可。
亮度信号处理部202根据从WB处理部104输出的图像信号计算求出亮度信号Y并对亮度伽玛部110输出。亮度信号处理部202具有第一亮度系数输出部105、第一亮度信号生成部107、亮度信号合成部201。
图5的第一亮度系数输出部105、第一亮度信号生成部107与图1的相同即可。
亮度信号合成部202与从饱和度检测部111输出的饱和度α相应地对从第一亮度信号生成部107输出的亮度信号Y1和从WB处理部104输出的图像信号I进行合成，输出亮度信号。
根据本实施例，通过与饱和度检测部111检测出的饱和度α相应地控制亮度信号合成部201，能够提供一种难以发生在高光的中央部附近亮度信号降低的现象的摄像装置200。
进而，图5中，与实施例1的图1的结构相比较，削减了第二亮度系数输出部106和第二信号生成部108，亮度信号合成部201也简化，所以能够用比图1的情况更小的电路规模提供摄像装置200。
接着，说明本实施例的动作。
实施例2中，与实施例1的情况同样，第一亮度信号生成部107输出的亮度信号Y1如(式11)所示地计算。
Y1＝kr1×(R+I)+kg1×(G+I)
+kb1×(B+I)+ki1×(I)……(式11)
具体而言，例如关于Y1的亮度系数，与实施例1的情况同样地，如(式3)所示地设定，从而在(R+I)、(G+I)、(B+I)都不饱和时，能够防止Y1中出现近红外波段的多余波长成分的问题。
kr1＝0.2126，kg1＝0.7152
kb1＝0.0722，ki1＝-1.0……(式3)
饱和度检测部111与实施例1的情况同样地，用(R+I)(G+I)(B+I)(I)这4个图像信号作为输入，例如与(I)像素的像素电平相应地决定饱和度α。饱和度α是表示关注像素的饱和度的0.0至1.0之间的值。饱和度越高，表示关注像素越接近饱和。
亮度信号合成部201进行(式12)的计算。
Y＝Y1+α×(I)……(式12)
图5中，与图1的情况不同，不是将第二亮度累加部108的输出、而是将WB处理部104输出的图像信号的(I)对亮度信号合成部201输入。
图4的312表示亮度信号Y1的亮度电平。
图4的313表示亮度信号合成部201输出的亮度信号Y的亮度电平。与实施例1的情况同样，该亮度信号Y在光量低的区间(a)中，近红外波段的多余波长成分少。此外，从区间(a)至(d)，随着饱和度α的增加而加上了更多的(I)图像信号，从而亮度信号Y单调增加，所以具有难以发生在高光的中央部附近亮度信号降低的现象的特征。
此外，作为其他结构例，在本实施例中，固定为ki1＝0，以相对于光量增加饱和度α单调增加的方式设定饱和度α的计算式，也能够得到同样的效果。该情况下，能够从第一亮度信号生成部107除去ki×(I)的项，所以能够用较小的电路规模提供摄像装置200。
实施例3
图6是实施例3中的摄像系统600的结构图。
摄像系统600具有摄像装置100、显示装置601、系统控制部602。
摄像装置100与实施例1的图1的摄像装置100相同。此外，也可以与实施例2的图5的摄像装置200相同。
显示装置601是显示基于从摄像部100输出的亮度信号和色差信号的图像的液晶显示器等彩色图像显示装置。
系统控制部602控制摄像装置100和显示装置601。
根据本实施例，从摄像装置100输出的亮度信号难以发生在高光的中央部附近亮度信号降低的现象，所以能够提供一种在显示装置601上显示高画质的图像的摄像系统。
实施例4
图7是实施例4中的摄像装置700的结构图。
摄像装置700具有透镜101、摄像部102、同时化部103、亮度信号处理部701、亮度伽玛部110、饱和度检测部111、彩色信号处理部702、色差伽玛部113、控制部114。
图7的透镜101、摄像部102、同时化部103、亮度伽玛部110、饱和度检测部111、色差伽玛部113、控制部114与图1的相同即可。
亮度信号处理部701与图1的亮度信号处理部115、图5的亮度信号处理部202中的任一个相同即可。
图8是实施例4中的彩色信号处理部702的结构图，具有用于实现正确的颜色再现处理的新结构。
彩色信号处理部702具有彩色矩阵部801、I系数输出部802、I信号加法部803、WB处理部104A和104B、饱和度检测部804、R信号合成部805、G信号合成部806、B信号合成部807、色差矩阵部808。
图8的WB处理部104A和104B都与图1的WB处理部104相同。本实施例中的WB处理部104A用从彩色矩阵部801输出的图像信号作为输入，WB处理部104B用从同时化部103输出的图像信号作为输入。因为具有2个WB处理部，所以对图像信号能够进行分别独立的控制。
彩色矩阵部801对(R+I)(G+I)(B+I)(I)这4个输入信号，进行基于从控制部114输入的控制信号的矩阵运算，生成作为图像信号的R1、G1、B1三原色信号，对WB处理部104A输出。
WB处理部104A对于从彩色矩阵部801输出的图像信号R1、G1、B1，将与光源的色温相应的增益进行累加而进行白平衡的调整，将得到的图像信号R2、G2、B2三原色信号对I信号加法部803输出。
I系数输出部802由控制部114控制设定I系数kri、kgi、kbi，对I信号加法部803输出。
I信号加法部803对从WB处理部104A输出的图像信号与从I系数输出部802输出的I系数进行乘积累加运算，将得到的图像信号R3、G3、B3三原色信号分别对R信号合成部805至B信号合成部807输出。
饱和度检测部804检测从同时化部103输出的图像信号的饱和度α2并对R信号合成部805至B信号合成部807输出。
R信号合成部805与从饱和度检测部804输出的饱和度α2相应地对从I信号加法部803输出的R3信号和从WB处理部104B输出的R4信号进行合成，将R5信号对色差矩阵部808输出。
G信号合成部806与从饱和度检测部804输出的饱和度α2相应地对从I信号加法部803输出的G3信号和从WB处理部104B输出的G4信号，进行合成，将G5信号对色差矩阵部808输出。
B信号合成部807与从饱和度检测部804输出的饱和度α2相应地对从I信号加法部803输出的B3信号和从WB处理部104B输出的B4信号进行合成，将B5信号对色差矩阵部808输出。
色差矩阵部808基于从控制部114输入的控制信号对输入的图像信号R5、G5、B5进行矩阵运算，生成色差信号Pr、Pb，对彩色信号处理部702的外部、即图7的色差伽玛部113输出。
根据本实施例，从彩色矩阵部801输出的图像信号和从同时化部103输出的图像信号，通过2个WB处理部104A和104B，成为再现与光源的色温相应的颜色的图像信号。此外，与饱和度检测部804检测出的饱和度α2相应地，控制R信号合成部805、G信号合成部806、B信号合成部807，所以合成为与光源的色温相应的图像信号。因此，具有能够以在颜色浅的图像中近红外波段的多余波长成分少，并且在光量高、像素电平饱和的图像中，也再现为与人眼看到的颜色同样的颜色的方式进行处理的特征。
接着，说明本实施例中的动作。
彩色矩阵部801用(R+I)(G+I)(B+I)(I)这4个颜色作为输入，进行(式13)至(式15)所示的运算，输出R1、G1、B1的图像信号。
R1＝kr3×(R+I)+kg3×(G+I)
+kb3×(B+I)+ki3×(I)……(式13)
G1＝kr4×(R+I)+kg4×(G+I)
+kb4×(B+I)+ki4×(I)……(式14)
B1＝kr5×(R+I)+kg5×(G+I)
+kb5×(B+I)+ki5×(I)……(式15)
此处，kr3、kg3、kb3、ki3、kr4、kg4、kb4、ki4、kr5、kg5、kb5、ki5是从控制部114输出的系数(R1、G1、B1的颜色系数)。
彩色矩阵部801输出减去了多余波长成分即近红外像素(I)的成分的图像信号。例如，彩色矩阵部801通过如(式16)所示地设定系数，能够输出除去了多余波长成分的(R)(G)(B)成分。
kr3＝1.00，kg3＝0.00
kb3＝0.00，ki3＝-1.00
kr4＝0.00，kg4＝1.00
kb4＝0.00，ki4＝-1.00
kr5＝0.00，kg5＝0.00
kb5＝1.00，ki5＝-1.00……(式16)
另外I信号加法部803为了解决如实施例4最后说明的除去近红外波段的多余波长成分的情况下发生的问题，而对输入的图像信号加上与I系数的值相应的(I)成分。即，对于用彩色矩阵部801减去(I)成分、用WB处理部104A并对与光源的色温相应的增益进行累加后的图像信号，加上与从控制部114输出的规定的系数相应的(I)信号。由此，例如在被拍摄体的可见光波段和近红外波段中的光量高、颜色接近无色的情况下，能够再现与人看到的颜色更加接近的颜色。其中，关于这一点，直到实施例4的说明的最后都没有特别提及，可以认为是在I信号加法部803的输出R3、G3、B3是除去了近红外波段的多余波长成分的信号的情况，即kri＝kgi＝kbi＝0这样I系数全部为0的情况。
饱和度检测部804用(R+I)(G+I)(B+I)(I)这4个信号作为输入，例如在以关注像素为中心的3×3像素的区域中，与像素电平的最大值相应地决定饱和度α2。饱和度α2是表示关注像素的饱和度的0.0至1.0之间的值。饱和度越高，表示关注像素的信号越接近饱和。
图9是表示实施例4和5中的饱和度的计算例的图。
例如，如图9所示，控制部114对饱和度检测部804输入对像素电平的阈值P1、P2、对饱和度α2的限制值αlim、表示增益(区间(g)中的斜率)的控制信号。由此，在像素电平低的区间(f)中饱和度α2为较低的值且一定，在像素电平处于中间的区间(g)中饱和度α2与增益的值相应地单调增加，在像素电平高的区间(h)中饱和度α2被设定为作为限制值的一定值αlim。通过进行这样的控制，能够使得用图像信号表现的颜色接近被拍摄体具有的本来的颜色。
R信号合成部805、G信号合成部806、B信号合成部807进行(式17)至(式19)所示的运算。
R5＝(1-α2)×R4+α2×R3……(式17)
G5＝(1-α2)×G4+α2×G3……(式18)
R5＝(1-α2)×B4+α2×B3……(式19)
(式17)至(式19)是基于饱和度α2的值对用彩色矩阵部801除去了近红外波段的多余成分后的图像信号R3、G3、B3、和具有近红外波段的多余成分的图像信号R4、G4、B4进行合成的运算。这样，通过合成图像信号，能够如下所述地，在利用近红外波段成分的本摄像装置中，减少可见光信号饱和附近的被拍摄体的颜色成为与实际颜色不同的颜色的问题。
此外，本实施例中，在图8中，对从包括可见光波段和近红外波段的可见光像素除去了近红外波段的彩色矩阵部801的输出R1、G1、B1的白平衡处理、和对(R1+I)、(G1+I)、(B1+I)、I的白平衡分别个别地由WB处理部104A和104B进行。即，对其分别进行最佳的白平衡控制。因此，能够提供颜色再现性良好的彩色信号处理装置。
接着，对于本实施例解决的问题，示出其详情。
图10是表示实施例4和5中的图像信号的例子的图，左半表示从同时化部103输出的图像信号(R+I)(G+I)(B+I)(I)，右半表示除去了多余波长成分后的图像信号(R)(G)(B)。
1101表示从同时化部103输出的图像信号的像素电平未饱和的情况。
1102是从1101所示的图像信号中除去了多余波长成分后的图像信号的例子。可知因为从同时化部103输出的图像信号都未饱和，所以图像信号没有失去平衡。
1103表示在从同时化部103输出的图像信号中，(R+I)的像素电平饱和的情况。因为(R+I)的像素电平饱和，所以(R+I)的像素电平成为饱和电平，是比实际的光量低的值。
1104是从1103所示的图像信号除去了多余波长成分后的图像信号的例子。因为(R+I)的像素电平饱和，所以图像信号的平衡与被拍摄体本来的光量的平衡不同。因此，用图像信号表现的颜色，是被拍摄体中不存在的颜色。该问题因为彩色矩阵部801生成从输入的图像信号中除去了多余波长成分后的R1、G1、B1图像信号而发生。
1105是不从1103所示的(R+I)(G+I)(B+I)信号除去多余波长成分而求出R、G、B信号的例子。该图像信号对应于从WB处理部104输出的R4、G4、B4图像信号。
本实施例中，通过与饱和度相应地由R信号生成部805至B信号合成部807对1102所示的图像信号和1105所示的图像信号进行合成，而能够正确地再现被拍摄体具有的颜色。
图11是表示实施例4和5中的被拍摄体的图，是将太阳、天空、建筑物、山作为被拍摄体时显示的图像的示意图。对于该示意图做出以下假设。
1301所示的区域是天空，所以看起来是蓝色。1303所示的区域包括太阳所以光量高，看起来是白色。1302所示的区域是太阳与天空之间，所以看起来是蓝色与白色混合的颜色。
使以上区域对应于图10的图像信号的示意图，进而做出以下假设。
1301中，如图10的1101所示像素电平未饱和。1302中，如图10的1103所示图像信号中的任一个饱和。1303中，图像信号全部饱和。
1301中像素电平未饱和，所以即使除去多余波长成分颜色也不会失去平衡。1303中图像信号全部饱和，所以成为无色。但是，1302中，因为饱和的图像信号，发生颜色失去平衡的现象。
于是，本实施例中，为了更加忠实地再现被拍摄体的颜色，使用饱和度检测部804、R信号合成部805、G信号合成部806、B信号合成部807，对除去了近红外波段的多余波长成分后的R1、G1、B1、和具有多余波长成分的R4、G4、B4，与饱和度α2相应地改变比率来进行合成。即，饱和度低的情况下使用除去了多余波长成分后的R1、G1、B1颜色再现性更良好，某一个颜色饱和的情况下即使具有多余波长成分也是使用R4、G4、B4颜色再现性更良好。因此，与饱和度α2相应地改变比率来将双方合成，生成对色差矩阵部808输出的信号R5、G5、B5。
其中，与之前叙述关于亮度信号的处理的情况同样地，在彩色信号中也在色差伽玛部113之前的阶段进行上述处理，从而能够使颜色再现性更加良好。
本实施例中，饱和度指的是伴随光量增加的从同时化部103输出的信号的像素电平的高低。
进而，在从同时化部103输出的图像信号中，(I)成分比(R+I)(G+I)(B+I)成分像素电平更高的情况下，除去多余波长成分后的图像信号成为负值。图像信号取负值的情况下，该图像信号的像素电平被提升(切り上げられる)为0，所以发生图像信号失去平衡的现象。本实施例中，为了解决该问题，如上所述，用I信号加法部803对除去了多余波长成分后的图像信号再次与I系数相应地加上(I)成分，防止图像信号失去平衡的现象。
该情况下，从I信号加法部803输出的图像信号，在R信号合成部805、G信号合成部806、B信号合成部807中，基于饱和度检测部804检测出的饱和度α2的值，合成为未除去多余波长成分的R4、G4、B4图像信号。由此，即使在(I)成分比(R+I)、(G+I)或者(B+I)成分大的情况下，在利用红外波段成分的本摄像装置中，也能够减轻可见光信号饱和附近的被拍摄体成为与实际颜色不同的颜色的问题。
实施例5
图12是实施例5中的摄像装置900的结构图。
摄像装置900具有透镜101、摄像部102、彩色信号处理部901、同时化部902、亮度矩阵部903、色差矩阵部808、亮度伽玛部110、色差伽玛部113、控制部114。
图12的透镜101、摄像部102、亮度伽玛部110、色差伽玛部113、控制部114与图1的相同。但是，本实施例中，假设从摄像部102输出的图像信号是RAW(未加工的原始数据的意思)形式。RAW形式的信号，指的是彩色信号因坐标位置而变化的形式。例如，在摄像部102的摄像元件的排列的像素中，使偶数行的偶数列成为生成(R+I)成分的信号的像素，偶数行的奇数列成为生成(G+I)成分的信号的像素，奇数行的偶数列成为生成(I)成分的信号的像素，奇数行的奇数列成为生成(B+I)成分的信号的像素。从而，对于具有之前图2所示的像素排列的摄像部102生成的图像信号，不使用同时化部103进行像素插值的情况下可以得到RAW形式的图像信号。
图12的同时化部103与图1的相同即可。此外，图12的色差矩阵部808与图8的相同即可。
从摄像部102输出的RAW信号对彩色信号处理部901供给，受到如后所述的信号处理并对同时化部902供给。
同时化部902对从彩色信号处理部901输出的RAW信号(如下所述为RAW4)实施插值处理，输出图像信号R、G、B。
亮度矩阵部903将从同时化部902输出的图像信号转换为亮度信号Y。
图13是实施例5中的彩色信号处理部901的结构图。
彩色信号处理部901具有同时化部103、彩色矩阵部801、反同时化部1001、WB处理部104A和104B、饱和度检测部1002、RAW信号合成部1003。
反同时化部1001将使用同时化部103同时化后的图像信号转换为RAW形式的信号(RAW1)，对WB处理部104A输出。
WB处理部104A对于从反同时化部1001输出的RAW形式的图像信号(RAW1)，将与光源的色温相应的增益进行累加而进行白平衡调整，将得到的RAW形式的图像信号(RAW2)对RAW信号合成部1003输出。
WB处理部104B对于输入到彩色信号处理部902的RAW形式的图像信号(RAW)，将与光源的色温相应的增益进行累加而进行白平衡调整，将得到的RAW形式的图像信号(RAW3)对RAW信号合成部1003输出。
饱和度检测部1002检测从摄像部102输出的图像信号的饱和度α3，对RAW信号合成部1003输出。
RAW信号合成部1003与饱和度α3相应地对输入的两个RAW形式的图像信号合成，将得到的RAW形式的图像信号(RAW4)对图12的同时化部902输出。
例如同时化部902、亮度矩阵部903、色差矩阵部808是以使用仅在可见光波段具有灵敏度的像素的一般的摄像部为前提而设计的。本实施例中，在其前段设置在可见光波段和近红外波段双方具有灵敏度的摄像部102和彩色信号处理部901。由此，能够提供一种在光量低的场景中也将被拍摄体拍摄为较亮的摄像装置900。
进而，本实施例中，与饱和度检测部1002检测出的饱和度α3相应地控制RAW信号合成部1003。由此，能够如下所述地，在利用近红外波段成分的摄像装置900中，减轻可见光信号饱和附近的被拍摄体成为与实际颜色不同的颜色的问题。
接着，说明本实施例的动作。
本实施例中，与实施例4同样，从彩色矩阵部809输出的图像信号如下所示地计算。
R1＝kr3×(R+I)+kg3×(G+I)
+kb3×(B+I)+ki3×(I)……(式13)
G1＝kr4×(R+I)+kg4×(G+I)
+kb4×(B+I)+ki4×(I)……(式14)
B1＝kr5×(R+I)+kg5×(G+I)
+kb5×(B+I)+ki5×(I)……(式15)
具体而言，例如与实施例4的情况同样地如下所述地设定，从而在(R+I)、(G+I)或者(B+I)中的任意一个信号都未饱和的情况下，能够防止图像信号中出现近红外波段的多余波长成分。
kr3＝1.00，kg3＝0.00
kb3＝0.00，ki3＝-1.00
kr4＝0.00，kg4＝1.00
kb4＝0.00，ki4＝-1.00
kr5＝0.00，kg5＝0.00
kb5＝1.00，ki5＝-1.00……(式16)
反同时化部1001将从彩色矩阵部801输出的图像信号R1、G1、B1、和从同时化部103输出的(I)成分的信号转换为RAW形式的信号(RAW1)，对WB处理部104A输出。
饱和度检测部1002例如与从摄像部102输出的RAW信号的像素电平相应地决定饱和度α3。饱和度α3是表示关注像素的饱和度的0.0至1.0之间的值。饱和度越高，表示关注像素越接近饱和。
例如，能够用与图1的饱和度检测部111同样的计算式计算出饱和度，也能够使用与图8的饱和度检测部804同样的控制信号计算出饱和度。
RAW信号合成部1003进行(式20)的运算。
RAW4＝(1-α3)×RAW2+α3×RAW3……(式20)
(式19)是基于饱和度α3对RAW2信号和RAW3信号进行合成的运算。
其中，图13所示的彩色信号处理部901，当然也能够作为彩色信号处理装置单独地构成装置。
根据本实施例，与使用具有仅在可见光波段具有灵敏度的像素的一般的摄像部的情况相比较，能够提供一种在光量低的场景中也能够将被拍摄体拍摄为较亮的摄像装置900。
进而，根据本实施例，与饱和度检测部1002检测出的饱和度α3相应地控制RAW信号合成部1003，从而在利用红外波段成分的本摄像装置中，能够减轻可见光信号饱和附近的被拍摄体成为与实际颜色不同的颜色的问题。
实施例6
图14是实施例6中的摄像系统1400的结构图。
摄像系统1400具有摄像装置1401、显示装置601、系统控制部602。摄像装置1401与实施例4所示的摄像装置700、或者实施例5所示的摄像装置900相同即可。显示装置601、系统控制部602与图6所示的相同即可。
系统控制部602控制摄像装置1401和显示装置601。
根据本实施例，对于从摄像装置1401输出的彩色信号，即使在利用红外波段成分的本摄像装置中，也能够减轻可见光信号饱和附近的被拍摄体成为与实际颜色不同的颜色的问题，例如能够提供一种对于明亮的被拍摄体和昏暗的被拍摄体双方都要求高品质的图像的面向车载的摄像系统。
此外，本发明不限定于上述实施例，包括各种变形例。例如，上述实施例是为了易于理解地说明本发明而详细说明的，并不限定于必须具备说明的所有结构。此外，能够将某个实施例的结构的一部分置换为其他实施例的结构，或者在某个实施例的结构上添加其他实施例的结构。此外，对于各实施例的结构的一部分，能够追加、删除、置换其他结构。
此外，上述各结构的一部分或全部，可以用硬件构成，也可以构成为通过用处理器执行程序而实现。此外，控制线和信息线示出了认为说明上必要的，并不一定示出了产品上所有的控制线和信息线。实际上也可以认为几乎所有结构都相互连接。
符号说明
100：摄像装置，101：透镜，102：摄像部，103：同时化部，104：WB处理部，105：第一亮度系数输出部，106：第二亮度信号生成部，107：第一亮度系数输出部，108：第二亮度信号生成部，109：亮度信号合成部，110：亮度伽玛部，111：饱和度检测部，112：色差信号生成部，113：色差伽玛部，114：控制部，115：亮度信号处理部，200：摄像装置，201：亮度信号合成部，202：亮度信号处理部，401：(R+I)像素，402：(G+I)像素，403：(I)像素，404：(B+I)像素，600：摄像系统，601：显示装置，602：系统控制部，700：摄像装置，701：亮度信号处理部，702：彩色信号处理部，801：彩色矩阵部，802：I系数输出部，803：I信号加法部，804：饱和度检测部，805：R信号合成部，806：G信号合成部，807：B信号合成部，808：色差矩阵部，900：摄像装置，901：彩色信号处理部，902：同时化部，903：亮度矩阵部，1001：反同时化部，1002：饱和度检测部，1003：RAW信号合成部，1400：摄像系统。

Claims (7)

1.一种拍摄被拍摄体的摄像装置，其特征在于，包括：
摄像部，其输出基于可见光波段和近红外波段的光的第一图像信号和基于近红外波段的光的第二图像信号；
饱和度检测部，其基于该摄像部输出的第一图像信号和第二图像信号检测图像信号的饱和度；和
彩色信号处理部，其被提供所述摄像部输出的第一图像信号和第二图像信号，包括从所述第一图像信号中除去基于所述近红外波段的光的信号而生成第一彩色信号的第一彩色信号生成部、根据所述第一图像信号生成第二彩色信号的第二彩色信号生成部和彩色信号合成部，所述彩色信号合成部，与所述饱和度检测部检测出的饱和度相应地以所述饱和度越高则越提高所述第二彩色信号对第一彩色信号的比率的方式合成所述第一彩色信号和第二彩色信号并将其输出。
2.如权利要求1所述的摄像装置，其特征在于：
所述彩色信号处理部包括：
调整所述第一彩色信号的白平衡并将其供给至所述彩色信号合成部的第一白平衡处理部；和
调整所述第二彩色信号的白平衡并将其供给至所述彩色信号合成部的第二白平衡处理部。
3.如权利要求1所述的摄像装置，其特征在于：
所述彩色信号处理部，在第一信号生成部生成的第一彩色信号的值是零或负值的情况下，在所述第一彩色信号上加上基于所述近红外波段的光的信号并将其供给至所述彩色信号合成部。
4.如权利要求1所述的摄像装置，其特征在于：
所述第一彩色信号和第二彩色信号是三原色信号。
5.如权利要求1所述的摄像装置，其特征在于：
所述第一彩色信号和第二彩色信号是没有实施所述摄像部的像素的像素插值处理的状态下的RAW形式的彩色信号。
6.如权利要求1所述的摄像装置，其特征在于：
所述彩色信号处理部包括将所述彩色信号合成部输出的彩色信号转换为色差信号并将其输出的色差矩阵部，
所述摄像装置包括色差伽玛部，所述色差伽玛部对所述色差矩阵部输出的色差信号实施用于修正显示该色差信号的装置的特性的伽玛修正。
7.一种拍摄被拍摄体的摄像装置，其特征在于，包括：
摄像部，其输出基于可见光波段和近红外波段的光的第一图像信号和基于近红外波段的光的第二图像信号；
饱和度检测部，其基于该摄像部输出的第一图像信号和第二图像信号检测图像信号的饱和度；和
亮度信号处理部，其被提供所述摄像部输出的第一图像信号和第二图像信号，包括从所述第一图像信号中除去基于所述近红外波段的光的信号而生成第一亮度信号的第一亮度信号生成部、根据所述第一图像信号生成第二亮度信号的第二亮度信号生成部和亮度信号合成部，所述亮度信号合成部，与所述饱和度检测部检测出的饱和度相应地以所述饱和度越高则越提高所述第二亮度信号对第一亮度信号的比率的方式合成所述第一亮度信号和第二亮度信号并将其输出。
CN201380077563.4A 2013-07-25 2013-07-25 摄像装置 Active CN105432076B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/070253 WO2015011824A1 (ja) 2013-07-25 2013-07-25 撮像装置

Publications (2)

Publication Number Publication Date
CN105432076A true CN105432076A (zh) 2016-03-23
CN105432076B CN105432076B (zh) 2017-10-10

Family

ID=52392903

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380077563.4A Active CN105432076B (zh) 2013-07-25 2013-07-25 摄像装置

Country Status (4)

Country Link
US (1) US10419692B2 (zh)
JP (1) JP6027242B2 (zh)
CN (1) CN105432076B (zh)
WO (1) WO2015011824A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110933292A (zh) * 2018-09-20 2020-03-27 佳能株式会社 图像处理装置、摄像装置、图像处理方法和存储介质
CN112335233A (zh) * 2018-07-20 2021-02-05 夜光彩色科技股份有限公司 图像生成装置以及摄像装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016012746A (ja) * 2012-11-07 2016-01-21 ソニー株式会社 信号処理装置、信号処理方法及び信号処理プログラム
JP6291048B2 (ja) * 2014-06-24 2018-03-14 マクセル株式会社 撮像処理装置および撮像処理方法
CN107534759B (zh) * 2015-02-26 2020-06-16 索尼半导体解决方案公司 摄像装置、摄像方法和计算机可读介质
CN106488201B (zh) 2015-08-28 2020-05-01 杭州海康威视数字技术股份有限公司 一种图像信号的处理方法和系统
US10594974B2 (en) 2016-04-07 2020-03-17 Tobii Ab Image sensor for vision based on human computer interaction
CN111028188B (zh) * 2016-09-19 2023-05-02 杭州海康威视数字技术股份有限公司 分光融合的图像采集设备
JP7121538B2 (ja) * 2018-05-22 2022-08-18 フォルシアクラリオン・エレクトロニクス株式会社 撮像装置及び撮像方法
TWI754863B (zh) * 2019-11-29 2022-02-11 聯陽半導體股份有限公司 影像擷取裝置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1909604A (zh) * 2005-08-05 2007-02-07 佳能株式会社 成像设备和成像方法
US20080203305A1 (en) * 2007-02-28 2008-08-28 Sanyo Electric Co., Ltd. Image pickup apparatus including image pickup devices having sensitivity in infrared region
CN101309428A (zh) * 2007-05-18 2008-11-19 索尼株式会社 图像输入处理设备和方法
CN102638688A (zh) * 2011-02-09 2012-08-15 三星电子株式会社 用于亮度控制图像转换的方法和装置
JP5718138B2 (ja) * 2011-04-20 2015-05-13 株式会社豊田中央研究所 画像信号処理装置及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7012643B2 (en) * 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
US7508421B2 (en) * 2002-06-24 2009-03-24 Fujifilm Corporation Image pickup apparatus and image processing method
KR100428546B1 (ko) * 2002-07-04 2004-04-29 삼성전자주식회사 감광드럼을 이용한 폐토너 회수장치
JP2008092247A (ja) 2006-10-02 2008-04-17 Sanyo Electric Co Ltd 固体撮像素子

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1909604A (zh) * 2005-08-05 2007-02-07 佳能株式会社 成像设备和成像方法
US20080203305A1 (en) * 2007-02-28 2008-08-28 Sanyo Electric Co., Ltd. Image pickup apparatus including image pickup devices having sensitivity in infrared region
CN101309428A (zh) * 2007-05-18 2008-11-19 索尼株式会社 图像输入处理设备和方法
CN102638688A (zh) * 2011-02-09 2012-08-15 三星电子株式会社 用于亮度控制图像转换的方法和装置
JP5718138B2 (ja) * 2011-04-20 2015-05-13 株式会社豊田中央研究所 画像信号処理装置及びプログラム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112335233A (zh) * 2018-07-20 2021-02-05 夜光彩色科技股份有限公司 图像生成装置以及摄像装置
US11284044B2 (en) 2018-07-20 2022-03-22 Nanolux Co. Ltd. Image generation device and imaging device
CN112335233B (zh) * 2018-07-20 2022-07-12 夜光彩色科技股份有限公司 图像生成装置以及摄像装置
CN110933292A (zh) * 2018-09-20 2020-03-27 佳能株式会社 图像处理装置、摄像装置、图像处理方法和存储介质
US11138764B2 (en) 2018-09-20 2021-10-05 Canon Kabushiki Kaisha Image processing device, image processing method, and recording medium

Also Published As

Publication number Publication date
US10419692B2 (en) 2019-09-17
JP6027242B2 (ja) 2016-11-16
JPWO2015011824A1 (ja) 2017-03-02
WO2015011824A1 (ja) 2015-01-29
CN105432076B (zh) 2017-10-10
US20160182837A1 (en) 2016-06-23

Similar Documents

Publication Publication Date Title
CN105432076A (zh) 摄像装置
CN102204258B (zh) 图像输入装置
US10896634B2 (en) Image signal processing apparatus and control method therefor
US8411176B2 (en) Image input device
CN102640500B (zh) 图像处理设备
JP2007081685A (ja) 画像信号処理装置、画像信号処理方法及び画像信号処理システム
US10412356B2 (en) Image processing apparatus and image processing method
JP6732726B2 (ja) 撮像装置、撮像方法、およびプログラム
WO2016047240A1 (ja) 画像処理装置、撮像素子、撮像装置および画像処理方法
WO2016009728A1 (ja) 信号処理装置、撮像装置および信号処理方法
KR20110140081A (ko) 화상 처리 장치, 촬상 장치, 화상 처리 방법, 및 화상 처리 프로그램
CN105809634A (zh) 一种照片的生成方法及移动终端
JP2008227945A (ja) 画像処理装置および画像処理プログラム
JP2003032695A (ja) 画像信号処理装置
JP6348762B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
JP4043197B2 (ja) 単板式カラーカメラの色分離回路
JP2012010141A (ja) 画像処理装置
CN105191284A (zh) 摄像装置及其控制方法
JP2010098553A (ja) 階調補正装置、階調補正方法、プログラム、撮像装置および画像処理装置
JP2006259250A (ja) 表示装置
JP2006279389A (ja) 固体撮像装置およびその信号処理方法
JP2020036162A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN110944116B (zh) 基于白平衡的单个闪光灯补偿方法、装置、设备和介质
EP3503533B1 (en) Imaging controller, imaging control method and imaging system
JP5088272B2 (ja) 画像処理装置、電子カメラおよび画像処理プログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180302

Address after: Kyoto Japan

Patentee after: MAXELL, Ltd.

Address before: Osaka Japan

Patentee before: Hitachi Maxell, Ltd.

CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Kyoto Japan

Patentee after: MAXELL, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL HOLDINGS, Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220606

Address after: Kyoto Japan

Patentee after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto Japan

Patentee before: MAXELL, Ltd.