CN107534759B - 摄像装置、摄像方法和计算机可读介质 - Google Patents

摄像装置、摄像方法和计算机可读介质 Download PDF

Info

Publication number
CN107534759B
CN107534759B CN201680008263.4A CN201680008263A CN107534759B CN 107534759 B CN107534759 B CN 107534759B CN 201680008263 A CN201680008263 A CN 201680008263A CN 107534759 B CN107534759 B CN 107534759B
Authority
CN
China
Prior art keywords
light component
visible light
image
section
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680008263.4A
Other languages
English (en)
Other versions
CN107534759A (zh
Inventor
仓田康司
佐藤泰史
茅岛诚治
冈本直己
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN107534759A publication Critical patent/CN107534759A/zh
Application granted granted Critical
Publication of CN107534759B publication Critical patent/CN107534759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/86—Camera processing pipelines; Components thereof for processing colour signals for controlling the colour saturation of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/03—Circuitry for demodulating colour component signals modulated spatially by colour striped filters by frequency separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明的公开内容涉及如下的摄像装置、摄像方法和计算机可读介质：它们能够在无需用来插入和移出把不可见光成分遮蔽的滤波器的机构的情况下，控制所摄取图像的不可见光成分。亮度合成部把包含不可见光成分和可见光成分的所摄取图像的像素信号中的所述可见光成分的亮度信号与所述像素信号合成。色度增益放大器使所述可见光成分的色差信号衰减。本发明的公开内容例如可以被应用到如下的摄像装置等：该摄像装置包括允许可见光和红外光透过的光学滤波器，且该摄像装置具有呈RGBW阵列的像素，并且该摄像装置对所摄取图像执行拜耳转换处理。

Description

摄像装置、摄像方法和计算机可读介质
技术领域
本发明涉及摄像装置、摄像方法和程序。具体地，本发明涉及如下的摄像装置、摄像方法和程序：它们能够在没有用于插入和移除用来遮蔽不可见光成分的滤波器的机构的情况下，控制所摄取图像的不可见光成分。
背景技术
图像传感器不仅对于可见光而且对于对红外光具有灵敏度。因此，在包含许多红外光的光源下当使用含有图像传感器的相机来执行拍摄时，会因为红外光的影响而损害颜色再现。因此，已经提议了通过向相机提供用来遮蔽红外光的红外(IR：infrared)截止滤波器(IRCF：infrared cut filter)来实现良好的颜色再现。
然而，重要的是：需要提高监控相机等的夜间灵敏度，且因此确保视认度(visibility)。因此，存在着如下这样的相机：该相机包括用于插入和移除IR截止滤波器的机构，并且该相机能够在夜间等期间内移除IR截止滤波器(例如，参见专利文献1)。
在使用包括了用于插入和移除IR截止滤波器的机构的这种相机的情形下，红外光成分的透射量会取决于IR截止滤波器的存在与否而发生极大的改变。因此，特别地当投射了红外光时，在IR截止滤波器被移除的瞬间就会发生高光溢出(blown-out highlight)。结果，所摄取图像的视认度降低。
此外，在基于图像传感器的曝光信息来控制IR截止滤波器的插入和移除的情况下，有必要通过将移除时的照度与插入时的照度区别开从而防止对IR截止滤波器的插入和移除的搜寻(hunting)。结果，即使在照度已经变得足够高的情况下，也可能未插入IR截止滤波器，并且黑白图像可能一直被输出而作为所摄取图像。
引用文献列表
专利文献
专利文献1：日本专利第5100615号
发明内容
本发明要解决的技术问题
如上所述，在使用包括了用于插入和移除诸如IR截止滤波器等用来遮蔽不可见光成分的滤波器的机构的相机时，所摄取图像的图像质量会劣化。
本发明是鉴于以上情况而做出的。本发明的目的是在没有用于插入和移除用来遮蔽不可见光成分的滤波器的机构的情况下，允许控制所摄取图像的不可见光成分。
解决技术问题的技术方案
根据本发明的一个方面的摄像装置是包括亮度合成部和衰减部的摄像装置，所述亮度合成部将包含不可见光成分和可见光成分的图像信号中的所述可见光成分的亮度信号与所述图像信号合成，所述衰减部使所述可见光成分的色差信号衰减。
根据本发明的一个方面的摄像方法和程序对应于根据本发明的一个方面的摄像装置。
在本发明的一个方面中，包含不可见光成分和可见光成分的图像信号中的所述可见光成分的亮度信号与所述图像信号被合成，并且所述可见光成分的色差信号被衰减。
本发明的有益效果
根据本发明的一个方面，能够进行摄像。此外，根据本发明的一个方面，在没有用于插入和移除用来遮蔽不可见光成分的滤波器的机构的情况下，能够控制所摄取图像的不可见光成分。
需要注意的是，这里所述的效果不一定是限制性的。本发明的效果可以是本文中所说明的任何效果。
附图说明
图1是图示了包含应用了本发明的摄像装置的摄像系统的第一实施例的示例性构造的框图。
图2是图示了具有各自波长的光在图1的光学滤波器中的透射率的示例的图。
图3是用于说明在拜耳转换处理之前和之后的图像的像素阵列的图。
图4是图示了图1中的拜耳转换处理部的示例性构造的框图。
图5是图示了指标(index)与噪声量之间的关系的示例的图。
图6是图示了指标与目标值Mixtarget之间的关系的示例的图。
图7是图示了指标与目标值Atttarget之间的关系的示例的图。
图8是图示了指标与混合比例之间的关系的示例的图。
图9是用于说明由图1中的摄像装置进行的拜耳转换处理的流程图。
图10是图示了摄像装置中的IC芯片的第一示例性构造的图。
图11是图示了摄像装置中的IC芯片的第二示例性构造的图。
图12是图示了摄像装置中的IC芯片的第三示例性构造的图。
图13是图示了摄像装置中的IC芯片的第四示例性构造的图。
图14是图示了除了RGBW像素阵列以外的非拜耳阵列的示例的图。
图15是图示了计算机中的硬件的示例性构造的框图。
具体实施方式
在下文中，将会说明用于实施本发明的方式(在下文中，称为“实施例”)。需要注意的是，将按照以下顺序来进行说明。
1.第一实施例：摄像系统(图1至图13)
2.非拜耳阵列的其他示例(图14)
3.第二实施例：计算机(图15)
第一实施例
摄像装置的第一实施例的示例性构造
图1是图示了包含应用了本发明的摄像装置的摄像系统的第一实施例的示例性构造的框图。
图1中的摄像系统10包括摄像装置11和IR投光装置12。在摄像系统10中，拍摄与由被摄体反射的红外光和可见光相对应的图像。
特别地，摄像装置11包括镜头21、光学滤波器22、图像传感器23、拜耳转换处理部24和信号处理部25。
来自被摄体的光入射在摄像装置11中的镜头21上。镜头21将入射光经由光学滤波器22聚焦到图像传感器23。光学滤波器22使入射光中的红外光和可见光透过。需要注意的是，可以不设置光学滤波器22。
图像传感器23为互补金属氧化物半导体(CMOS：complementary metal-oxidesemiconductor)图像传感器或电荷耦合器件(CCD：charge coupled device)图像传感器，并且图像传感器23具有呈RGBW像素阵列的像素。针对各个像素，图像传感器23接收入射的红外光以及可见光中的与该像素对应的颜色(红色(R)、绿色(G)、蓝色(B)或白色(W))的光，并且图像传感器23产生与所接收的光量对应的电信号以作为像素信号，由此以帧为单位来执行摄像。因此，作为摄像的结果而获得的各个像素的像素信号包含作为不可见光成分的红外光成分和可见光成分。图像传感器23将作为摄像的结果而获得的各个像素的像素信号作为所摄取图像供应给拜耳转换处理部24。
拜耳转换处理部24对从图像传感器23供应过来的非拜耳阵列的所摄取图像执行拜耳转换处理(再马赛克处理(re-mosaic process))，并且拜耳转换处理部24产生拜耳阵列(RGB像素阵列)的RGB图像。拜耳转换处理部24将所产生的拜耳阵列的RGB图像供应给信号处理部25。
信号处理部25使用从拜耳转换处理部24供应过来的RGB图像，并且信号处理部25执行包括基于绿色像素的像素信号的曝光控制处理、白平衡控制处理和YCbCr转换处理的信号处理以作为图像显像处理(image development process)。信号处理部25将作为曝光控制处理的结果而获得的表征曝光量的所摄取图像的快门增益供应给图像传感器23，并且信号处理部25控制所摄取图像的所述曝光量。此外，信号处理部25输出作为对RGB图像执行白平衡控制处理和YCbCr转换处理的结果而获得的YCbCr图像。
例如，IR投光装置12在可见光较少的夜间的时候向被摄体发射红外光。
具有各自波长的光在光学滤波器中的透射率的示例
图2是图示了具有各自波长的光在图1的光学滤波器22中的透射率的示例的图。
在图2的图表中，横轴表示通过光学滤波器22的光的波长(nm)，且纵轴表示该光的透射率(％)。
如图2所示，在光学滤波器22中，波长约为390nm至660nm的可见光的透射率以及波长约为820nm至910nm的红外光的透射率大于0％。因此，波长约为390nm至660nm的可见光以及波长约为820nm至910nm的红外光会通过光学滤波器22。
关于在拜耳转换处理之前和之后的图像的像素阵列的说明
图3是用于说明由图1中的拜耳转换处理部24进行拜耳转换处理之前和之后的图像的像素阵列的图。
如图3中的A所示，在拜耳转换处理之前的图像(即，从图像传感器23输出的所摄取图像)的像素阵列为RGBW像素阵列。此外，各个像素的像素信号包含红外光(IR)成分。
拜耳转换处理部24对在拜耳转换处理之前的这种图像执行拜耳转换处理，从而产生图3中的B所示的RGB像素阵列的图像以作为在拜耳转换处理之后的图像。
拜耳转换处理部的示例性构造
图4是图示了图1中的拜耳转换处理部24的示例性构造的框图。
拜耳转换处理部24包括同步部40、分离部41、白平衡部42、电平校正部43、YC转换部44、亮度合成部45、色度增益放大器46、RGB转换部47、逆白平衡部48、拜耳转换部49和比例确定部50。拜耳转换处理部24从由图1中的图像传感器23供应过来的所摄取图像中去除红外光成分，并且拜耳转换处理部24执行拜耳转换处理。
特别地，针对图像传感器23中的像素的各种颜色，拜耳转换处理部24中的同步部40对由图像传感器23供应过来的所摄取图像执行补全处理(complementary process)。同步部40将像素信号W+IR、R+IR、G+IR和B+IR供应给分离部41和比例确定部50，上述这些像素信号W+IR、R+IR、G+IR和B+IR是所有像素的各种颜色在同一时刻的像素信号，而且这些像素信号W+IR、R+IR、G+IR和B+IR是作为补全处理的结果而被产生的且包含红外光成分。此外，同步部40将像素信号W+IR供应给电平校正部43和亮度合成部45。
分离部41基于从同步部40供应过来的像素信号W+IR、R+IR、G+IR和B+IR，根据下面的公式(1)来使像素信号W+IR、R+IR、G+IR和B+IR各者中所包含的红外光成分和可见光成分分离。
[公式1]
[{(R+IR)+(G+IR)+(B+IR)}-(W+IR)]/2＝IR
(R+IR)-IR＝R
(G+IR)-IR＝G
(B+IR)-IR＝B …(1)
需要注意的是，IR表示像素信号W+IR、R+IR、G+IR和B+IR各者中所包含的红外光成分。此外，R、G和B为像素信号R+IR、G+IR和B+IR中的可见光成分。
分离部41将作为分离的结果而获得的可见光成分R、G和B供应给白平衡部42，并且分离部41将红外光成分IR供应给比例确定部50。
白平衡部42使从分离部41供应过来的可见光成分R、G和B各者与白平衡增益相乘。因此，可见光成分R、G、B的比率(白平衡)被校正。白平衡部42将校正后的可见光成分R、G和B供应给电平校正部43。
电平校正部43基于从白平衡部42供应过来的可见光成分G和从同步部40供应过来的像素信号W+IR，根据下面的公式(2)来计算校正增益CE。
[公式2]
Figure GDA0002015224550000071
需要注意的是，Ave(W+IR)是一帧的像素信号W+IR的平均值，AveG是一帧的可见光成分G的平均值。根据公式(2)，可计算出用于将可见光成分G转换成像素信号W+IR的校正增益CE。
电平校正部43使以上述方式计算出的校正增益CE与来自白平衡部42的可见光成分R、G和B各者相乘，从而校正可见光成分R、G和B。因此，校正后的可见光成分G变得与像素信号W+IR相同。结果，图1中的信号处理部25就能够基于从拜耳转换处理部24供应过来的RGB图像的绿色像素信号来控制曝光，以防止像素信号W+IR饱和。电平校正部43将校正后的可见光成分R、G和B供应给YC转换部44。
根据下面的公式(3)，YC转换部44将从电平校正部43供应过来的可见光成分R、G和B转换成亮度信号Y以及色差信号Cb和Cr。YC转换部44将亮度信号Y供应给亮度合成部45，并且将色差信号Cb和Cr供应给色度增益放大器46。
[公式3]
Y＝0.299×R+0.587×G+0.114×B
Cb＝0.168736×R-0.331264×G+0.5×B
Cr＝0.5×R-0.418688×G-0.081312×B …(3)
亮度合成部45从比例确定部50获取混合比例Mix(0≤Mix≤1)，该混合比例Mix是像素信号W+IR相对于与像素信号W+IR合成后的亮度信号Y’的比例。亮度合成部45基于混合比例Mix，根据下面的公式(4)来合成从YC转换部44供应过来的亮度信号Y和从同步部40供应过来的像素信号W+IR。亮度合成部45将合成后的亮度信号Y’供应给RGB转换部47。
[公式4]
Y’＝(1-Mix)×Y+Mix×(W+IR) …(4)
基于从比例确定部50供应过来的衰减比例Att(0≤Att≤1)，色度增益放大器46(衰减部)使从YC转换部44供应过来的色差信号Cb和Cr各者衰减。即，色度增益放大器46使色差信号Cb和Cr各者与衰减比例Att相乘。色度增益放大器46将衰减后的色差信号Cb和Cr供应给RGB转换部47。
根据下面的公式(5)，RGB转换部47将从亮度合成部45供应过来的亮度信号Y’以及从色度增益放大器46供应过来的色差信号Cb和Cr转换成红色像素信号R’、绿色像素信号G’和蓝色像素信号B’，并且RGB转换部47将像素信号R’、G’和B’供应给逆白平衡部48。
[公式5]
R’＝Y’+1.402×Cr
G’＝Y’-0.344136×Cb-0.714136×Cr
B’＝Y’+1.772×Cb …(5)
逆白平衡部48使从RGB转换部47供应过来的像素信号R’、G’和B’与在白平衡部42处相乘的白平衡增益的倒数相乘。因此，像素信号R’、G’和B’的白平衡被控制成使得：从图像传感器23输出的在拜耳转换处理之前的所摄取图像的一个图像平面内的红色像素信号、绿色像素信号和蓝色像素信号的信号电平的平均值的比从拜耳转换处理部24输出的与在拜耳转换处理之后的RGB图像的一个图像平面内的红色像素信号、绿色像素信号和蓝色像素信号的信号电平的平均值的比相同。逆白平衡部48将白平衡得到控制的像素信号R’、G’和B’供应给拜耳转换部49。
拜耳转换部49从由逆白平衡部48供应过来的各个像素的像素信号R’、G’和B’中提取被分配给拜耳阵列中的像素的颜色的像素信号。拜耳转换部49将所提取的各个像素的像素信号供应给图1中的信号处理部25以作为拜耳阵列的RGB图像。
针对各帧中的各个像素，比例确定部50根据下面的公式(6)来计算通过使像素信号W+IR、R+IR、G+IR和B+IR相对于所有颜色W、R、G和B的可见光成分的比例相加而获得的积算值f(IR)。
[公式6]
Figure GDA0002015224550000091
然后，比例确定部50使该帧中的所有像素的积算值f(IR)的平均值、作为图像传感器23的模拟增益和数字增益之和的AGC、以及校正增益CE相加，并将结果值当作指标N，该指标N表示红外光成分IR的量以作为噪声量。需要注意的是，指标N的计算方法不局限于上述方法。
比例确定部50基于指标N来确定混合比例Mix的目标值Mixtarget，且使得目标值Mixtarget随指标N的增大而增大。此外，比例确定部50基于指标N来确定衰减比例Att的目标值Atttarget，且使得目标值Atttarget随噪声量的增大而增大。
根据下面的公式(7)，比例确定部50将一个值确定为当前帧的混合比例Mix，这个值是在当前帧的前一帧的混合比例Mixbefore上增加了通过将目标值Mixtarget与混合比例Mixbefore之差除以预定值1/F而获得的值。然后，比例确定部50将混合比例Mix供应给亮度合成部45。
[公式7]
Mix＝Mixbefore+(Mixtarget-Mixbefore)×F …(7)
需要注意的是，F是由使用者等设定的回馈比(feedback ratio)，并且F是大于0且不大于1的值。
此外，根据下面的公式(8)，比例确定部50将一个值确定为当前帧的衰减比例Att，这个值是在当前帧的前一帧的衰减比例Attbefore上增加了通过将目标值Atttarget与衰减比例Attbefore之差除以预定值1/F而获得的值。然后，比例确定部50将衰减比例Att供应给色度增益放大器46。
[公式8]
Att＝Attbefore+(Atttarget-Attbefore)×F …(8)
需要注意的是，公式(7)中的回馈比F和公式(8)中的回馈比F可以为相同的值或不同的值。此外，用来确定目标值Mixtarget和目标值Atttarget的信息不局限于指标N，只要该信息是表示图像质量的指标即可。
指标N与噪声量之间的关系
图5是图示了指标N与噪声量之间的关系的示例的图。
如图5所示，指标N随着噪声量的增大而增大。
指标N与目标值Mixtarget之间的关系
图6是图示了指标N与目标值Mixtarget之间的关系的示例的图。
需要注意的是，在图6的图表中，横轴表示指标N，并且纵轴表示目标值Mixtarget。
如图6所示，目标值Mixtarget随着指标N的增大(即，随着噪声量的增大)而增大。特别地，在图6的示例中，在指标N小于预定值A的情况下，目标值Mixtarget为预定值MixA。在指标N不小于预定值A且不大于预定值B的情况下，目标值Mixtarget与指标N成比例地从预定值MixA增大至预定值MixB。
此外，在指标N不小于预定值B且不大于预定值C的情况下，目标值Mixtarget与指标N成比例地从预定值MixB增大至预定值MixC。在指标N不小于预定值C且不大于预定值D的情况下，目标值Mixtarget与指标N成比例地从预定值MixC增大至预定值MixD。而且，在指标N大于预定值D的情况下，目标值Mixtarget为预定值MixD。
指标N与目标值Atttarge之间的关系
图7是图示了指标N与目标值Atttarge之间的关系的示例的图。
需要注意的是，在图7的图表中，横轴表示指标N，并且纵轴表示目标值Atttarget。
如图7所示，目标值Atttarget随着指标N的增大(即，随着噪声量的增大)而增大。特别地，在图7的示例中，在指标N小于预定值A的情况下，目标值Atttarget为预定值AttA。在指标N不小于预定值A且不大于预定值B的情况下，目标值Atttarget与指标N成比例地从预定值AttA增大至预定值AttB。
此外，在指标N不小于预定值B且不大于预定值C的情况下，目标值Atttarget与指标N成比例地从预定值AttB增大至预定值AttC。在指标N不小于预定值C且不大于预定值D的情况下，目标值Atttarget与指标N成比例地从预定值AttC增大至预定值AttD。而且，在指标N大于预定值D的情况下，目标值Atttarget为预定值AttD。
指标N与混合比例Mix之间的关系
图8是图示了指标N与混合比例Mix之间的关系的示例的图。
需要注意的是，在图8的图表中，横轴表示指标N，并且纵轴表示混合比例。此外，除了预定值MixC被替换为大于预定值MixC且小于预定值MixD的MixC’以外，图8中的指标N与目标值Mixtarget之间的关系与图6中所示的关系相同。
而且，在图8的示例中，当前帧的前一帧的混合比例Mixbefore为预定值MixB，当前帧的指标N为预定值D，并且回馈比为1/4。在这种情况下，目标值Mixtarget为预定值MixD。当前混合比例Mix是从预定值MixB增加了一个值ΔMix而得到的值，所述值ΔMix是通过将预定值MixB与预定值MixD之差除以4而获得的。
即，混合比例Mix不会从预定值MixB突然地改变到预定值MixD，而是仿佛缓慢移动一样在四帧内从预定值MixB改变到预定值MixD。
关于摄像装置中的处理的说明
图9是用于说明由图1的摄像装置11中的拜耳转换处理部24进行的拜耳转换处理的流程图。该拜耳转换处理例如以帧为单位而被执行。
在图9的步骤S10中，针对图像传感器23中的像素的各种颜色，拜耳转换处理部24中的同步部40(图4)对从图像传感器23供应过来的所摄取图像执行补全处理。同步部40将作为补全处理的结果而产生的像素信号W+IR、R+IR、G+IR和B+IR供应给分离部41和比例确定部50。此外，同步部40将像素信号W+IR供应给电平校正部43和亮度合成部45。
在步骤S11中，根据上述的公式(1)，分离部41基于像素信号W+IR、R+IR、G+IR和B+IR而使从同步部40供应过来的像素信号W+IR、R+IR、G+IR和B+IR各者中所包含的红外光成分和可见光成分分离。分离部41将作为分离的结果而获得的可见光成分R、G和B供应给白平衡部42，并且分离部41将红外光成分IR供应给比例确定部50。
在步骤S12中，白平衡部42使从分离部41供应过来的可见光成分R、G和B各者与白平衡增益相乘，并且白平衡部42将校正后的可见光成分R、G和B供应给电平校正部43。
在步骤S13中，根据上述的公式(2)，电平校正部43基于从白平衡部42供应过来的可见光成分G和从同步部40供应过来的像素信号W+IR而计算校正增益CE。
在步骤S14中，电平校正部43使校正增益CE与来自白平衡部42的可见光成分R、G和B各者相乘，从而校正可见光成分R、G和B。电平校正部43将校正后的可见光成分R、G和B供应给YC转换部44。
在步骤S15中，根据上述的公式(3)，YC转换部44将从电平校正部43供应过来的可见光成分R、G和B转换成亮度信号Y以及色差信号Cb和Cr。YC转换部44将亮度信号Y供应给亮度合成部45，并将色差信号Cb和Cr供应给色度增益放大器46。
在步骤S16中，比例确定部50将当前混合比例Mix设定成当前帧的前一帧的混合比例Mixbefore，并将当前衰减比例Att设定成当前帧的前一帧的衰减比例Attbefore。
在步骤S17中，比例确定部50设定示出了指标N与目标值Mixtarget之间的关系的混合比例图表(图6)和示出了指标N与目标值Atttarget之间的关系的衰减比例图表(图7)。
在步骤S18中，根据上述的公式(6)，比例确定部50计算当前帧中的各个像素的积算值f(IR)。
在步骤S19中，比例确定部50使该帧中的所有像素的积算值f(IR)的平均值、作为图像传感器23的模拟增益和数字增益之和的AGC、以及校正增益CE相加，并且比例确定部50将相加的结果值当作指标N。
在步骤S20中，比例确定部50参照混合比例图表和衰减比例图表，并基于指标N来确定混合比例Mix的目标值Mixtarget和衰减比例Att的目标值Atttarget。
在步骤S21中，根据上述的公式(7)，比例确定部50基于混合比例Mix的目标值Mixtarget和当前帧的前一帧的混合比例Mixbefore来确定当前帧的混合比例Mix。然后，比例确定部50将该混合比例Mix供应给亮度合成部45。
在步骤S22中，根据上述的公式(8)，比例确定部50基于衰减比例的目标值Atttarget和当前帧的前一帧的衰减比例Attbefore来确定当前帧的衰减比例Att。然后，比例确定部50将该衰减比例Att供应给色度增益放大器46。
在步骤S23中，根据上述的公式(4)，亮度合成部45基于从比例确定部50供应过来的混合比例Mix将从YC转换部44供应过来的亮度信号Y和从同步部40供应过来的像素信号W+IR合成。
在步骤S24中，色度增益放大器46基于从比例确定部50供应过来的衰减比例Att使从YC转换部44供应过来的色差信号Cb和Cr各者衰减。色度增益放大器46将衰减后的色差信号Cb和Cr供应给RGB转换部47。
在步骤S25中，根据上述的公式(5)，RGB转换部47将从亮度合成部45供应过来的亮度信号Y’以及从色度增益放大器46供应过来的色差信号Cb和Cr转换成红色像素信号R’、绿色像素信号G’和蓝色像素信号B’。RGB转换部47将像素信号R’、G’和B’供应给逆白平衡部48。
在步骤S26中，逆白平衡部48使从RGB转换部47供应过来的像素信号R’、G’和B’与在白平衡部42处相乘的白平衡增益的倒数相乘，并且逆白平衡部48将像素信号R’、G’和B’供应给拜耳转换部49。
在步骤S27中，拜耳转换部49从由逆白平衡部48供应过来的各个像素的像素信号R’、G’和B’中提取被分配给拜耳阵列中的该像素的颜色的像素信号，并且拜耳转换部49产生拜耳阵列的RGB图像。然后，拜耳转换部49将拜耳阵列的RGB图像供应给图1中的信号处理部25。
如上所述，摄像装置11将亮度信号Y和像素信号W+IR合成，并使色差信号Cb和Cr衰减。因此，摄像装置11在没有使用用于插入和移除IR截止滤波器的机构的情况下也能够控制RGB图像中的不可见光成分。结果，不会发生如果在从包括用于插入和移除IR截止滤波器的机构的摄像设备中移除该IR截止滤波器的情况下就会发生的高光溢出，并且能够改善RGB图像的视认度。
此外，摄像装置11在基于积算值f(IR)的指标N的基础上来确定混合比例Mix和衰减比例Att。因此，能够根据红外光成分IR的量来改变拜耳转换处理后的RGB图像中所包含的不可见光成分的比例。即，能够根据红外光成分IR的量，以分阶段的方式将拜耳转换处理后的RGB图像从不包含不可见光成分的RGB图像改变成包含不可见光成分的RGB图像以及反过来。
而且，指标N是表示图像质量的指标。因此，通过基于指标N来确定混合比例Mix和衰减比例Att，不管被摄体和照度如何，摄像装置11都能够让拜耳转换处理后的RGB图像的图像质量保持衡定。结果，即使在照度变得足够高的情况下，摄像装置也能够象包括用于插入和移除IR截止滤波器的机构的摄像装置一样防止黑白图像作为RGB图像而被输出。
此外，红外光成分IR是从由图像传感器23拍摄的所摄取图像中分离出来的成分。因此，不仅可以通过由摄像系统10内部的IR投光装置12发射的红外光的量还可以通过由摄像系统10外部的IR投光装置发射的红外光的量来改变拜耳转换处理后的RGB图像中所包含的不可见光成分的比例。
而且，摄像装置11不是将目标值Mixtarget按照原样确定为混合比例Mix，而是以在作为回馈比F的倒数的1/F帧处实现目标值Mixtarget的方式来确定混合比例Mix。因此，即使在指标N急剧改变的情况下，混合比例Mix也会缓慢地改变。因此，在指标N急剧改变的情况下，就能够防止拜耳转换处理后的RGB图像中所包含的不可见光成分的比例发生急剧变化。
同样地，由于摄像装置11以在1/F帧处实现目标值Atttarget的方式来确定衰减比例Att，所以在指标N急剧改变的情况下，摄像装置11能够防止拜耳转换处理后的RGB图像中所包含的不可见光成分的比例发生急剧变化。
摄像装置中的IC芯片的示例性构造
图10至图13是图示了在摄像装置11被形成在集成电路(IC：integrated circuit)芯片中的情况下该IC芯片的示例性构造的图。
在摄像装置11被形成在IC芯片中的情况下，如图10所示，图像传感器23、拜耳转换处理部24和信号处理部25可以分别被形成在不同的芯片71、72和73中。
可替代地，如图11所示，图像传感器23和拜耳转换处理部24可以被形成在同一IC芯片81中，且信号处理部25可以被形成在不同于IC芯片81的IC芯片82中。
而且，如图12所示，图像传感器23可以被形成在一个IC芯片91中，并且拜耳转换处理部24和信号处理部25可以被形成在不同于IC芯片91的IC芯片92中。可替代地，如图13所示，图像传感器23、拜耳转换处理部24和信号处理部25可以全部被形成在同一IC芯片101中。
需要注意的是，镜头21和光学滤波器22被形成在形成有图像传感器23的那个IC芯片71(81、91和101)中的图像传感器23上。
非拜耳阵列的其他示例
本技术可以被应用到如下的图像处理装置：该图像处理装置对除了包含红外光成分的RGBW像素阵列的所摄取图像以外的非拜耳阵列的所摄取图像执行拜耳转换处理。
图14是图示了除了RGBW像素阵列以外的非拜耳阵列的示例的图。
图14的A中的像素阵列为RGB+IR像素阵列，并且拍摄到如下图像：在该图像中，各个像素对应于红色(R)光、绿色(G)光、蓝色(B)光和红外光(IR)中的任一者。图14的B中的像素阵列为补色W像素阵列，并且拍摄到如下图像：在该图像中，各个像素对应于白色(W)光、黄色(Ye)光、青色(Cy)光、绿色(G)光和红外光(IR)中的任一者。
第二实施例
关于应用了本发明的计算机的说明
上述的一系列处理可以由硬件或软件执行。在这一系列处理由软件执行的情况下，构成该软件的程序被安装在计算机中。在这里，计算机的示例包括：内置有专用硬件的计算机；和可以通过安装各种程序来执行各种功能的通用个人计算机。
图15是图示了使用程序来执行上述一系列处理的计算机中的硬件的示例性构造的框图。
在计算机200中，中央处理器(CPU：central processing unit)201、只读存储器(ROM：read only memory)202和随机存取存储器(RAM：random access memory)203通过总线204而相互连接。
输入/输出接口205也被连接至总线204。摄像部206、输入部207、输出部208、存储部209、通信部210和驱动器211被连接至输入/输出接口205。
摄像部206包括镜头21、光学滤波器22和图像传感器23等，并且摄像部206执行摄像。输入部207包括键盘、鼠标和麦克风等。输出部208包括显示器和扬声器等。存储部209包括硬盘和非易失性存储器等。通信部210包括网络接口等。驱动器211驱动诸如磁盘、光盘、磁光盘或半导体存储器等可移动介质212。
在如上所述配置而成的计算机200中，例如，CPU 201通过将存储在存储部209中的程序经由输入/输出接口205和总线204加载到RAM203中并且执行该程序来执行上述一系列处理。
由计算机200(CPU 201)执行的程序可以被记录在例如作为封装介质等的可移动介质212中并且可以被提供过来。此外，可以经由诸如局域网、因特网和数字卫星广播等有线或无线传输介质来提供该程序。
在计算机200中，可以通过将可移动介质212放置到驱动器211中从而经由输入/输出接口205把程序安装在存储部209中。此外，可以经由有线或无线传输介质而在通信部210处接收程序，然后将该程序安装在存储部209中。此外，可以将程序预先安装在ROM 202或存储部209中。
需要注意的是，由计算机200执行的程序可以是按照本文所述的按时间顺序来执行处理的程序，或者可以是并行地执行处理或在例如调用程序的必要时刻才执行处理的程序。
如本文中所使用的，系统是指多个组成元件(例如，装置和模块(部件))的集合，而不管所有的构成元件是否存在于同一壳体中。因此，容纳在不同壳体中并且经由网络而连接起来的多个装置以及包括了容纳有多个模块的一个壳体的一个装置都是系统。
此外，本文中所述的效果仅是示例性的，而不是限制性的，并且可能存在其他效果。
而且，根据本发明的实施例不局限于上述实施例，并且在不脱离本发明的主旨的范围内，可以进行各种修改。
需要注意的是，本发明可以具有下列构造。
(1)一种摄像装置，其包括：
亮度合成部，所述亮度合成部将包含不可见光成分和可见光成分的图像信号中的所述可见光成分的亮度信号与所述图像信号合成；以及
衰减部，所述衰减部使所述可见光成分的色差信号衰减。
(2)如上面的(1)所述的摄像装置，其还包括：比例确定部，所述比例确定部确定混合比例，所述混合比例是所述图像信号相对于已经通过所述亮度合成部而与所述图像信号合成的所述亮度信号的比例，
其中所述亮度合成部被配置成基于由所述比例确定部确定的所述混合比例来将所述亮度信号与所述图像信号合成。
(3)如上面的(2)所述的摄像装置，其中，所述比例确定部被配置成基于所述图像信号和所述可见光成分来确定所述混合比例。
(4)如上面的(3)所述的摄像装置，其中，所述比例确定部被配置成：基于所述图像信号和所述可见光成分来确定所述混合比例的目标值；并且将一个值确定为所述混合比例，所述一个值是在过去的混合比例上增加了一个通过将所述混合比例的所述目标值与所述过去的混合比例之差除以预定值而获得的值。
(5)如上面的(3)或(4)所述的摄像装置，其中，所述比例确定部被配置成基于所述图像信号相对于所述可见光成分的比例来确定所述混合比例。
(6)如上面的(5)所述的摄像装置，其中，所述比例确定部被配置成基于通过使所述图像信号相对于所有颜色的所述可见光成分的比例相加而获得的积算值(integrationvalue)来确定所述混合比例。
(7)如上面的(1)所述的摄像装置，其还包括：比例确定部，所述比例确定部确定所述色差信号的衰减比例，
所述衰减部被配置成基于由所述比例确定部确定的所述衰减比例来使所述色差信号衰减。
(8)如上面的(7)所述的摄像装置，其中，所述比例确定部被配置成基于所述图像信号和所述可见光成分来确定所述衰减比例。
(9)如上面的(8)所述的摄像装置，其中，所述比例确定部被配置成：基于所述图像信号和所述可见光成分来确定所述衰减比例的目标值；并且将一个值确定为所述衰减比例，所述一个值是在过去的衰减比例上增加了一个通过将所述衰减比例的所述目标值与所述过去的衰减比例之差除以预定值而获得的值。
(10)如上面的(8)或(9)所述的摄像装置，其中，所述比例确定部被配置成基于所述图像信号相对于所述可见光成分的比例来确定所述衰减比例。
(11)如上面的(10)所述的摄像装置，其中，所述比例确定部被配置成基于通过使所述图像信号相对于所有颜色的所述可见光成分的比例相加而获得的积算值来确定所述衰减比例。
(12)一种摄像方法，所述摄像方法由摄像装置执行，且所述摄像方法包括：
亮度合成步骤，将包含不可见光成分和可见光成分的图像信号中的所述可见光成分的亮度信号与所述图像信号合成；以及
衰减步骤，使所述可见光成分的色差信号衰减。
(13)一种程序，所述程序使计算机起到如下部件的作用：
亮度合成部，所述亮度合成部将包含不可见光成分和可见光成分的图像信号中的所述可见光成分的亮度信号与所述图像信号合成；以及
衰减部，所述衰减部使所述可见光成分的色差信号衰减。
附图标记列表
11 摄像装置
45 亮度合成部
46 色度增益放大器
50 比例确定部

Claims (11)

1.一种摄像装置，其包括：
分离部，所述分离部将包含不可见光成分和可见光成分的图像信号中的所述不可见光成分和所述可见光成分分离；
亮度合成部，所述亮度合成部将从被分离的所述可见光成分转换成的亮度信号与所述图像信号合成；
衰减部，所述衰减部使从被分离的所述可见光成分转换成的色差信号衰减；以及
比例确定部，所述比例确定部基于所述图像信号和从所述图像信号中分离的所述可见光成分来确定混合比例和所述色差信号的衰减比例，所述混合比例是所述图像信号相对于已经通过所述亮度合成部而与所述图像信号合成的所述亮度信号的比例。
2.根据权利要求1所述的摄像装置，其中，所述亮度合成部被配置成基于由所述比例确定部确定的所述混合比例来将所述亮度信号与所述图像信号合成。
3.根据权利要求1所述的摄像装置，其中，
所述比例确定部被配置成：基于所述图像信号和被分离的所述可见光成分来确定所述混合比例的目标值；并且将一个值确定为所述混合比例，所述一个值是在过去的混合比例上增加一个通过将所述混合比例的所述目标值与所述过去的混合比例之差除以预定值而获得的值。
4.根据权利要求3所述的摄像装置，其中，
所述比例确定部被配置成基于所述图像信号相对于被分离的所述可见光成分的比例来确定所述混合比例。
5.根据权利要求4所述的摄像装置，其中，
所述比例确定部被配置成基于通过使所述图像信号相对于所有颜色的被分离的所述可见光成分的比例相加而获得的积算值来确定所述混合比例。
6.根据权利要求1所述的摄像装置，
其中，所述衰减部被配置成基于由所述比例确定部确定的所述衰减比例来使所述色差信号衰减。
7.根据权利要求1所述的摄像装置，其中，
所述比例确定部被配置成：基于所述图像信号和被分离的所述可见光成分来确定所述衰减比例的目标值；并且将一个值确定为所述衰减比例，所述一个值是在过去的衰减比例上增加一个通过将所述衰减比例的所述目标值与所述过去的衰减比例之差除以预定值而获得的值。
8.根据权利要求7所述的摄像装置，其中，
所述比例确定部被配置成基于所述图像信号相对于被分离的所述可见光成分的比例来确定所述衰减比例。
9.根据权利要求8所述的摄像装置，其中，
所述比例确定部被配置成基于通过使所述图像信号相对于所有颜色的被分离的所述可见光成分的比例相加而获得的积算值来确定所述衰减比例。
10.一种摄像方法，所述摄像方法由摄像装置执行，且所述摄像方法包括：
分离步骤，将包含不可见光成分和可见光成分的图像信号中的所述不可见光成分和所述可见光成分分离；
亮度合成步骤，将从被分离的所述可见光成分转换成的亮度信号与所述图像信号合成；
衰减步骤，使从被分离的所述可见光成分转换成的色差信号衰减；以及
比例确定步骤，基于所述图像信号和从所述图像信号中分离的所述可见光成分来确定混合比例和所述色差信号的衰减比例，所述混合比例是所述图像信号相对于已经通过所述亮度合成步骤而与所述图像信号合成的所述亮度信号的比例。
11.一种计算机可读介质，其上存储有程序，所述程序在计算机上被执行时实现以下步骤：
将包含不可见光成分和可见光成分的图像信号中的所述不可见光成分和所述可见光成分分离；
将从被分离的所述可见光成分转换成的亮度信号与所述图像信号合成；
使从被分离的所述可见光成分转换成的色差信号衰减；以及
基于所述图像信号和从所述图像信号中分离的所述可见光成分来确定混合比例和所述色差信号的衰减比例，所述混合比例是所述图像信号相对于已经与所述图像信号合成的所述亮度信号的比例。
CN201680008263.4A 2015-02-26 2016-02-12 摄像装置、摄像方法和计算机可读介质 Active CN107534759B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015-036041 2015-02-26
JP2015036041 2015-02-26
PCT/JP2016/054144 WO2016136501A1 (ja) 2015-02-26 2016-02-12 撮像装置、撮像方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN107534759A CN107534759A (zh) 2018-01-02
CN107534759B true CN107534759B (zh) 2020-06-16

Family

ID=56788581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680008263.4A Active CN107534759B (zh) 2015-02-26 2016-02-12 摄像装置、摄像方法和计算机可读介质

Country Status (4)

Country Link
US (1) US10574910B2 (zh)
JP (1) JP6732726B2 (zh)
CN (1) CN107534759B (zh)
WO (1) WO2016136501A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10594996B2 (en) 2014-09-24 2020-03-17 Sony Semiconductor Solutions Corporation Image processing apparatus, image pickup device, image pickup apparatus, and image processing method
DE112016007230T5 (de) * 2016-10-21 2019-06-13 Olympus Corporation Endoskopsonde, Endoskopprozessor und Endoskopadapter
EP3422700B1 (en) * 2017-06-29 2021-03-10 Axis AB A method for enhancing color images, and an assembly performing such method
CN108389870A (zh) * 2017-02-03 2018-08-10 松下知识产权经营株式会社 摄像装置
TWI698010B (zh) * 2018-08-09 2020-07-01 大陸商廈門星宸科技有限公司 用以控制影像擷取裝置的電路及相關的控制方法
CN112243117B (zh) * 2019-07-17 2022-09-16 杭州海康威视数字技术股份有限公司 图像处理装置、方法及摄像机
CN110507283A (zh) * 2019-09-17 2019-11-29 福州鑫图光电有限公司 视网膜相机及其实现方法
JP2021129275A (ja) * 2020-02-17 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 撮像装置、および撮像方法
CN113473101B (zh) * 2020-03-30 2023-06-30 浙江宇视科技有限公司 一种色彩校正方法、装置、电子设备和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101111748A (zh) * 2004-12-03 2008-01-23 红外线解决方案公司 具有激光指示器的可见光和ir组合的图像照相机
WO2011001672A1 (ja) * 2009-06-30 2011-01-06 パナソニック株式会社 撮像装置および撮像方法
WO2014175044A1 (ja) * 2013-04-24 2014-10-30 日立マクセル株式会社 撮像装置及び撮像システム
WO2015011824A1 (ja) * 2013-07-25 2015-01-29 日立マクセル株式会社 撮像装置

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4007481A (en) * 1969-12-11 1977-02-08 Holotron Corporation Holographic color television record
US3849593A (en) * 1973-04-10 1974-11-19 Philips Corp Amplitude corrector for the chrominance component of a colour television signal
DE3136216A1 (de) * 1981-09-12 1983-03-31 Philips Patentverwaltung Gmbh, 2000 Hamburg Schaltungsanordnung zum regeln der amplitude des farbsignals
US4994923A (en) * 1988-02-05 1991-02-19 Hitachi, Ltd. Video signal recording and reproducing apparatus with signal processing circuit for improvement of picture quality
US6002448A (en) * 1993-04-19 1999-12-14 Mitsubishi Denki Kabushiki Kaisha Image quality correction circuit and method based on color density
US6902527B1 (en) * 1999-05-18 2005-06-07 Olympus Corporation Endoscope system with charge multiplying imaging device and automatic gain control
US6583917B2 (en) * 2000-12-22 2003-06-24 Pirelli Cavi E Sistemi S.P.A. Optical intensity modulation device and method
US7006727B2 (en) * 2001-03-15 2006-02-28 Fluisar Corporation Combined multiplexer and demultiplexer for optical communication systems
US7116851B2 (en) * 2001-10-09 2006-10-03 Infinera Corporation Optical signal receiver, an associated photonic integrated circuit (RxPIC), and method improving performance
US7545937B2 (en) * 2001-12-12 2009-06-09 Thomson Licensing Chrominance processing arrangement having immunity to colorstripe encoding
US7272317B2 (en) * 2002-05-13 2007-09-18 Nippon Telegraph And Telephone Corporation Optical multiplexing communication system using ultra high speed signal transmission
US20060221218A1 (en) * 2005-04-05 2006-10-05 Doron Adler Image sensor with improved color filter
US8135068B1 (en) * 2005-07-19 2012-03-13 Maxim Integrated Products, Inc. Method and/or architecture for motion estimation using integrated information from camera ISP
US7733380B1 (en) * 2005-07-19 2010-06-08 Maxim Integrated Products, Inc. Method and/or architecture for controlling encoding parameters using integrated information from camera ISP
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
JP4846608B2 (ja) * 2007-01-26 2011-12-28 株式会社東芝 固体撮像装置
WO2008093836A1 (ja) * 2007-02-02 2008-08-07 Nikon Corporation 画像処理方法
JP4930109B2 (ja) * 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
JP4386096B2 (ja) 2007-05-18 2009-12-16 ソニー株式会社 画像入力処理装置、および、その方法
JP2008289000A (ja) 2007-05-18 2008-11-27 Sony Corp 画像入力処理装置、および、その方法
US8723958B2 (en) 2008-04-30 2014-05-13 Konica Minolta Opto, Inc. Image pickup apparatus and image pickup element
JP5100615B2 (ja) 2008-10-31 2012-12-19 キヤノン株式会社 撮像装置
JP2010206436A (ja) 2009-03-03 2010-09-16 Panasonic Corp 撮像装置およびテレビドアホン装置
US20100239245A1 (en) * 2009-03-21 2010-09-23 General Photonics Corporation Polarization Mode Emulators and Polarization Mode Dispersion Compensators Based on Optical Polarization Rotators with Discrete Polarization States
JP5572326B2 (ja) 2009-03-26 2014-08-13 オリンパス株式会社 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP5326943B2 (ja) 2009-08-31 2013-10-30 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US8665340B2 (en) * 2010-04-29 2014-03-04 Intellectual Ventures Fund 83 Llc Indoor/outdoor scene detection using GPS
WO2013046100A1 (en) * 2011-09-28 2013-04-04 Koninklijke Philips Electronics N.V. Object distance determination from image
US8896693B2 (en) 2012-02-14 2014-11-25 Cmos Sensor Inc. System and method for monitoring multiple targets using a single camera
EP2833635B1 (en) 2012-03-27 2018-11-07 Sony Corporation Image processing device, image-capturing element, image processing method, and program
JP2013219705A (ja) 2012-04-12 2013-10-24 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2013255144A (ja) * 2012-06-08 2013-12-19 Hitachi Consumer Electronics Co Ltd 撮像装置
US9784887B1 (en) * 2013-08-12 2017-10-10 Physical Optics Corporation Meteorological sensing systems and methods
EP3175302B1 (en) * 2014-08-01 2021-12-29 The Regents of the University of California Device and method for iterative phase recovery based on pixel super-resolved on-chip holography
JP2016048815A (ja) 2014-08-27 2016-04-07 ソニー株式会社 画像処理装置、画像処理方法、及び、画像処理システム
US10394038B2 (en) * 2014-08-29 2019-08-27 Ioculi, Inc. Image diversion to capture images on a portable electronic device
US10594996B2 (en) 2014-09-24 2020-03-17 Sony Semiconductor Solutions Corporation Image processing apparatus, image pickup device, image pickup apparatus, and image processing method
JP6643250B2 (ja) 2014-12-18 2020-02-12 ソニーセミコンダクタソリューションズ株式会社 撮像装置、撮像方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101111748A (zh) * 2004-12-03 2008-01-23 红外线解决方案公司 具有激光指示器的可见光和ir组合的图像照相机
WO2011001672A1 (ja) * 2009-06-30 2011-01-06 パナソニック株式会社 撮像装置および撮像方法
WO2014175044A1 (ja) * 2013-04-24 2014-10-30 日立マクセル株式会社 撮像装置及び撮像システム
WO2015011824A1 (ja) * 2013-07-25 2015-01-29 日立マクセル株式会社 撮像装置

Also Published As

Publication number Publication date
JPWO2016136501A1 (ja) 2017-12-07
CN107534759A (zh) 2018-01-02
JP6732726B2 (ja) 2020-07-29
WO2016136501A1 (ja) 2016-09-01
US10574910B2 (en) 2020-02-25
US20180041719A1 (en) 2018-02-08

Similar Documents

Publication Publication Date Title
CN107534759B (zh) 摄像装置、摄像方法和计算机可读介质
EP2642757B1 (en) Imaging systems with clear filter pixels
US8212890B2 (en) Imaging device and imaging method
US20140078247A1 (en) Image adjuster and image adjusting method and program
US8797462B2 (en) Image processing apparatus and image processing method
US10630920B2 (en) Image processing apparatus
US9407889B2 (en) Image processing apparatus and image processing method for white balance control
US8947575B2 (en) Image pickup apparatus having warning region detection related to dynamic range expansion
US20130002902A1 (en) Flare determination apparatus, image processing apparatus, and storage medium storing flare determination program
CN108293090B (zh) 图像处理设备和图像处理方法
EP2426927B1 (en) Image processing apparatus, image processing method and computer program
US10110825B2 (en) Imaging apparatus, imaging method, and program
US8810681B2 (en) Image processing apparatus and image processing method
US20120281110A1 (en) Image processing apparatus and image processing method
US20180330529A1 (en) Image processing apparatus, image processing method, and computer readable recording medium
CN104363434A (zh) 图像处理设备
JP2008124928A (ja) オートホワイトバランスシステム
JP2011166753A (ja) 撮像装置
US8390693B2 (en) Image processing apparatus
JP2012095223A (ja) 撮像装置、撮像方法及びプログラム
US11451719B2 (en) Image processing apparatus, image capture apparatus, and image processing method
WO2015008383A1 (ja) 撮像装置
CN109447925B (zh) 图像处理方法和装置、存储介质、电子设备
JP2012160852A (ja) 画像合成装置、撮像装置、画像合成方法、および、画像合成プログラム
JP2011239060A (ja) 画像データ処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant