CN102377937B - 摄像装置 - Google Patents

摄像装置 Download PDF

Info

Publication number
CN102377937B
CN102377937B CN201010293455.9A CN201010293455A CN102377937B CN 102377937 B CN102377937 B CN 102377937B CN 201010293455 A CN201010293455 A CN 201010293455A CN 102377937 B CN102377937 B CN 102377937B
Authority
CN
China
Prior art keywords
signal
video signal
level
dark portion
near infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201010293455.9A
Other languages
English (en)
Other versions
CN102377937A (zh
Inventor
鹿又真也
中村和彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Publication of CN102377937A publication Critical patent/CN102377937A/zh
Application granted granted Critical
Publication of CN102377937B publication Critical patent/CN102377937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Blocking Light For Cameras (AREA)
  • Structure And Mechanism Of Cameras (AREA)
  • Accessories Of Cameras (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

本发明的摄像装置具有:可见光近红外光兼用透镜、可见光近红外光兼用摄像元件、影像信号处理功能、和选择插入在摄像元件之前的具备驱动部的多个光学滤波器,光学滤波器中包含多个仅使可见光通过的光学滤波器和600-700nm、740nm、780nm、860nm、1040nm、1200-1250nm、1550-1650nm的使透过水蒸气的波段通过的光学滤波器,具有检测影像信号的暗部电平的功能,在可见光的影像信号的暗部电平上升的情况下,由使透过水蒸气的波段通过的光学滤波器进行摄像,并比较暗部电平,输出暗部电平最低的波段的摄像影像,降低成为多像素轮廓修正的强调的中心的垂直水平频率,使黑电平下降,来修正暗部上升。

Description

摄像装置
技术领域
本发明涉及监视系统中使用的固体摄像装置的改良。
背景技术
使用了一个带晶载彩色滤光片(On Chip Color Filter)的固体摄像元件的彩色固体摄像装置(以下称为单板彩色摄像机),包括内置了IT(InterlineTransfer)-CCD(Charge Coupled Device)摄像元件(以下称为IT-CCD)、除去杂音的CDS(Correlated Double Sampling)、暗电流修正及增益可变放大电路(Automatic Gain Control,以下称为AGC)、转换成14bit左右的摄像装置内部影像信号Vi的ADC(Analog Digital Converter)的模拟前端(Analog Front End:AFE)、CCD驱动电路和信号处理电路构成。也可以使用实现了上述所有功能的CMOS摄像元件。
不过,如果在雾或黄沙的情况下空气中存在直径为1μm左右的粒子,则可见光的短波长被漫反射,远距离的被摄体的黑色上升,导致对比度降低。
并且,空气中的氧气会少量吸收约680nm的红色而使其衰减,与短波长可见光相比,衰减为1/2,并吸收约760nm的近红外光,与短波长可见光相比,衰减为1/10。在海拔低的地表或海上,太阳光被水蒸气等吸收而衰减,约700nm的红色被少量吸收而使其衰减。进而,吸收并衰减约820nm和从约900nm到约1000nm、从约1120nm到约1160nm、从约1300nm到约1500nm的近红外光。尤其是约970nm附近、和约1130nm附近的近红外光在大气中的透过率,与可见光相比,小至1/20以下。因此,含有水蒸气的云霞或雾会吸收近红外光,使得远距离的被摄体的近红外光不能到达摄像机(参照非专利文献1)。因此,在是含有水蒸气的云霞或雾的情况下,近红外光截止(cut)的可见光摄影良好,在是没有水蒸气的微细尘土的情况下,可见光截止的近红外光摄影良好。
使用波段一般为1倍频程的约400-800nm波段,即使作为宽波段,一般也为1.5倍频程的约400-1200nm波段,由于反射防止涂层一般为1/4波长的厚度,所以在宽的波段用途中难以利用多层的反射防止涂层。因此,在变焦透镜的情况下,由于例如增多了30个面左右的透镜面的反射,所以影像信号的暗部电平上升的杂光变得显著,因此,在反射防止这一方面一般单焦点透镜是有利的。
在生产量大、廉价的昼夜兼用透镜的情况下,像差修正的波段一般成为约400-900nm的可见光和可见光附近的近红外光,在更长的近红外光下,一般像差增加,对比度和分辨率都降低。
另外,市场上还出售过以少数的透镜使焦点距离可变为3倍左右,焦点面的变动通过凸轮来进行机械修正、或通过电动进行修正的透镜。
而且,能够处理约400-700nm的可见光和约700-1200nm的可见光附近的近红外光的光电二极管下的反射近红外光的微细构造、或EM-CCD(Electron Multiplying-Charge Coupled Device)等高灵敏度、暗电流少的摄像元件,也能够大量廉价地获得。如果约为400-800nm,则还能够在摄像元件表面粘贴反射防止薄膜。并且,如果是背面照射构造或光导向件内置,则短波长光的灵敏度提高(参照非专利文献5)。
因此,以往使用了由带通光学滤波器选择波长长的可见光即红色光、利用实施了像差修正和反射防止的透镜使入射光成像、对可见光和可见光附近的近红外光灵敏度高的摄像元件。
另外,还能够获得对约900-1700nm近红外光具有灵敏度的铟镓砷(InGaAs)制的摄像元件。在该波段内,由于不被空气中的水蒸气与氧气的分子吸收而透过的波段比较宽,所以光学带通滤波器的制作容易、还易于确保灵敏度。鉴于此,利用对约900-1700nm的近红外光具有灵敏度的InGaAs制的摄像元件和不使用反射防止涂层的透镜面少的单焦点透镜,进行了摄像,但暗电流的偏差多、需要冷却(参照非专利文献6)。
根据影像信号,难以提高白度地对云霞、雾和尘土、以及灰色的山的地表与砂加以区别。
鉴于此,如利用了以往的固体摄像装置(单板彩色摄像机)的监视系统的框图的图7所示,通过在影像信号处理部4F之后外带的包括暗部上升修正的对比度增强和图像压缩的发送处理部5F,增强了对比度。由于从影像信号处理部4F向包括暗部上升修正的对比度增强和图像压缩的发送处理部5F传递的信号为8bit灰度,黑色上升、对比度减少的影像中脱落了信号灰度,所以通过对比度增强而因为伪信号增加引起的实际杂音显著。因此,包括接收处理、图像解压和图像处理的记录再生部7中的侵入者检测等图像处理变得困难。
具体而言,如表示以往的固体摄像装置(单板彩色摄像机)的入射光量响应(入射光的亮度分布、摄像机输出的亮度分布与对比度增强输出的亮度分布对应)的示意图的图8所示,在霭很浓且下了雾、长距离的越过了霭的被摄体中,入射光的暗部电平上升到额定的约30%(输出信号的55~65%),强光(high light)下降到额定的约70%(输出信号的85~90%),亮度输出信号的振幅降低到约30%。
利用SMPTE244-1995,将NTSC的模拟复合影像信号(Video BurstSync,以下简称为VBS)的白电平设为100%(虽然NTSC正式单位为100IRE,但为了和PAL、分量(component)信号的单位%一致,以下简略为100%),从同步前端电平-40%之下的最低量子化电平-42.1%取样到峰值色度电平130.8%之上的最高量子化电平端138.6%,进行数字化。在演播设备中,以10bit从灰度1024的4分配到1019,但在低价格的通用设备中,以8bit从灰度256的1分配到254,黑电平为60、白电平为200。
因此,即使对图7的单板彩色摄像机的影像信号处理部4F的输出,附带包括对比度增强到一定的通用8bit、256灰度的暗部上升修正的对比度增强和图像压缩的发送处理部5F,也难以使单板彩色摄像机的影像信号处理部4F的输出信号亮度输出信号的振幅约为30%、42灰度、约5.4bit,由于在包括暗部上升修正的对比度增强和图像压缩的发送处理部5F的输出中,解压缩为140灰度、约7.1bit,所以即使通过5F降低了杂音,因伪信号增加引起的实际杂音也显著。因此,包括接收处理、图像解压和图像处理的记录再生部7中的侵入者检测等图像处理变得困难。
而且,在为了修正因为入射光的暗部电平上升和强光峰值降低和色信号峰值降低引起的影像信号的对比度降低,具有至少1个以上的摄像元件,并具备增益可变、自动光圈控制、自动电子灵敏度控制、黑电平可变、伽马可变、暗部解压缩压缩可变、白压缩解压缩可变、高亮度色解压缩、色差运算增强、色信号增益可变、轮廓强调可变、杂光修正的至少一个功能的摄像装置中,还提出了一种与2维对比度增强连动,使增益、自动光圈、自动电子灵敏度、黑电平、伽马修正、暗部解压缩、暗部压缩、白压缩、白解压缩、色差运算增强、色信号增益、轮廓强调、杂光修正的至少一个可变的方法(参照专利文献1)。
【专利文献1】日本特开2003-259385号公报
【非专利文献1】土田聪、“可见/近红外区域中的大气修正”、资源、环境遥感实用系列2:地球观测数据的处理、p.124-139,2002
【非专利文献2】近红外光超高灵敏度构造新世代索尼CX-PALNo62 2004.10
【非专利文献3】硅的高灵敏度近红外检测元件 滨松ホトニクスhttp://jp.hamamatsu.com/hamamatsu/press/2010/2010_01_13.html
【非专利文献4】TI制品目录、TC246CYM-B0 680x500 PIXELIMPACTRONTM PRIMARY COLOR CCDIMAGE SENSOR、SOCS089MAY 2005
【非专利文献5】光导向件内置摄像元件日经电子2010.07.12P15
【非专利文献6】900-1700nmInGaAsCCDhttp://www.xenics.com/documents/20090714_LR_Xeva-1.7-640_scientific_A4.pdf
发明内容
本发明的目的在于,消除上述缺点,实现一种无论是在吸收近红外光的云霞或雾中,还是在吸收蓝光的微细尘土中,都能降低画面规定部分的暗部电平上升和影像信号的对比度降低,从远距离的被摄体拍摄对比度高的影像的摄像机。
因此,本发明为了解决上述课题而提供的摄像装置具有:透过可见光和近红外光的透镜;对可见光和近红外光具有灵敏度的摄像元件;对影像信号的强光电平降低或者暗部电平上升的有效对比度进行检测的对比度检测部;以及可见光通过、除去近红外光的光学滤波器;
并具有红通过的带通光学滤波器、和近红外光内的透过空气中的分子的波长的带通光学滤波器中的至少1个,在由将可见光通过、除去近红外光的光学滤波器插入到入射光路的摄像元件拍摄的影像信号的有效对比度在第一规定电平以下的情况下,输出由将红通过的带通光学滤波器或近红外光内的透过空气中的分子的波长的带通光学滤波器插入到入射光路的摄像元件所拍摄的影像。
具体而言,具有:透过可见光和近红外光的透镜;对可见光和近红外光具有灵敏度的摄像元件;对影像信号的强光电平降低或者暗部电平上升的有效对比度进行检测的对比度检测部;以及可见光通过、除去近红外光的光学滤波器;
并满足下述(A)(B)(C)中至少一个,
(A)具有红通过的带通光学滤波器、和近红外光中的透过空气中的分子的波长的带通光学滤波器,在由将可见光通过、除去近红外光的光学滤波器插入到入射光路的摄像元件拍摄的影像信号的暗部电平在第一规定电平以上的情况,或者该影像信号的强光电平在第二规定电平以下的情况下,输出由将红通过的带通光学滤波器插入到入射光路的摄像元件拍摄的影像,在由将红通过的带通光学滤波器插入到入射光路的摄像元件拍摄的影像信号的暗部电平在第一规定电平以上的情况,或者该影像信号的强光电平在第二规定电平以下的情况下,输出由将近红外光中的透过空气中的分子的波长的带通光学滤波器插入到入射光路的摄像元件拍摄的影像,
(B)在由将可见光通过、除去近红外光的光学滤波器插入到入射光路的摄像元件拍摄的影像信号的暗部电平在第一规定电平以上的情况,或相应的影像信号的强光电平在第二规定电平以下的情况下,对由将红通过的带通光学滤波器插入到入射光路的摄像元件拍摄的影像信号的暗部电平进行测定,并测定将近红外光中的透射空气中的分子的波长的带通光学滤波器插入到入射光路的上述摄像元件的影像信号的暗部电平,输出将与上述测定出的影像信号的暗部电平中不大的暗部电平对应的光学滤波器插入到入射光路的上述摄像元件的影像信号,
(C)具有红通过的带通光学滤波器、近红外光中的透射空气中的分子的波长的带通光学滤波器和湿度计,在插入红外光截止而可见光透过滤波器时影像信号的暗部电平在第一规定电平以上的情况,或者该影像信号的强光电平在第二规定电平以下的情况下,当湿度计的湿度高于规定值时,选择插入所述红通过的带通光学滤波器,进行黑白摄像,当湿度计的湿度不高于规定值时,选择插入所述近红外线中的透过空气中的分子的波长的带通光学滤波器,进行黑白摄像。
而且,在上述摄像装置中,具有:对被摄体的可见光及近红外光的摄像的影像信号的强光电平降低、或者暗部电平上升的有效对比度的变化进行检测的对比度检测部;将输入影像信号延迟扫描线期间的6个以上的偶数2M个影像信号扫描线延迟部(线存储器);根据上述输入影像信号和扫描线期间延迟后的影像信号,生成垂直轮廓信号的多像素垂直轮廓信号生成部;将扫描线期间延迟后的影像信号像素延迟的6个以上的偶数2N个第一影像信号像素延迟部;根据将上述输入影像信号延迟了M扫描线期间的影像信号、和延迟M扫描线期间的各像素延迟后的影像信号,生成水平轮廓信号的多像素水平轮廓信号生成部;对将上述输入影像信号延迟M扫描线期间、延迟了N像素的影像信号,加上上述多像素垂直轮廓信号和上述多像素水平轮廓信号的多像素轮廓修正部;将上述输入影像信号延迟垂直扫描线期间的影像信号画面延迟部(画面存储器);将延迟了垂直扫描线期间的影像信号延迟扫描线期间的6个以上的偶数2M个影像信号扫描线延迟部(线存储器);对将延迟了垂直扫描线期间的影像信号延迟扫描线期间后的影像信号进行像素延迟的各6个以上的偶数2N个第二影像信号像素延迟部;对将上述输入影像信号延迟M扫描线期间并延迟了N像素的影像信号与将上述输入影像信号和延迟垂直扫描线期间的影像信号分别延迟了扫描线期间的影像信号和分别延迟了像素的信号的相关进行检测,生成使相关高的信号与相关成比例地进行了重点加法运算平均后的相关平均信号,取得将上述输入影像信号延迟M扫描线期间并延迟了N像素的影像信号与上述相关平均信号的平均的相关平均部;以及进行使黑电平降低来减弱暗部的伽马修正或压缩限制暗部(暗部修正)或者减弱强光压缩(强光修正)的至少一方的对比度增强部;在至少被摄体的可见光及近红外光的摄像的影像信号的暗部电平在规定电平以上的情况下,或者被摄体的可见光及近红外光的摄像的影像信号的强光电平在第二规定电平以下的情况下,进行下述动作中的至少一方,所述动作包括:增加成为多像素轮廓修正的垂直轮廓修正的强调中心的扫描线条数(降低垂直频率)、降低成为多像素轮廓修正的水平轮廓修正的强调中心的频率、加强多像素轮廓修正、加强暗部的轮廓修正、加强强光的轮廓强调、加强相关平均、降低黑电平、减弱暗部的伽马修正、压缩限制暗部、减弱强光压缩。
所述摄像装置具有下述部件中的至少一个,所述部件包括:通过透过可见光和近红外光的释放光圈值为F2以上的非球面透镜,使焦点距离可变,焦点面的变动通过凸轮进行机械修正或基于电动进行修正的透镜;含有深5.6μm以上的光电二极管、对光电二极管下的近红外光进行反射的微细构造、和电荷倍增电极的至少一个的对可见光和近红外光具有灵敏度的摄像元件;以及含有12bit以上的模拟前端、12bit以上的多个线存储器功能和场存储器功能的杂音降低部;至少在可见光摄像的影像信号的暗部电平在第一规定电平以上的情况下,进行下述测定的两个以上,所述测定包括:对至少进行了下述动作之一的影像信号的暗部电平的测定,所述动作包括:开启将除去可见光、通过近红外光的光学滤波器插入到入射光路的上述摄像元件的透镜光圈、利用摄像元件进行倍增、和增加模拟前端的放大并利用了多个线存储器与场存储器的杂音降低;对至少进行了下述动作之一的影像信号的暗部电平的测定,所述动作包括:开启将红带通光学滤波器插入到入射光路的上述摄像元件的透镜光圈、利用摄像元件进行倍增、和增大模拟前端的放大;对至少进行了下述动作之一的影像信号的暗部电平的测定,所述动作包括:将近红外光内的透过空气中的(水蒸气与氧气的)分子的波长约740nm、约780nm、约860nm、约1040nm的带通光学滤波器插入到上述摄像元件的入射光路并开启透镜光圈、利用摄像元件进行倍增、和增加模拟前端的放大并使用了多个线存储器与场存储器的杂音降低;以及测定由将约到1650nm为止的近红外光带通透镜、约1200-1250nm和约1550-1650nm的至少一方带通光学滤波器插入到入射光路并冷却的约到1700nm为止具有灵敏度的至少光电二极管为InGaAs制的摄像元件拍摄的影像信号的暗部电平;使将影像信号的暗部电平最低的光学滤波器插入到入射光路的上述摄像元件的影像信号的黑电平降低并将其输出,对输出上述影像信号的摄像元件进行冷却、或以像素单位修正暗电流的偏差。
在具有摄像元件、影像信号处理功能、和选择插入在上述摄像元件之前的具备驱动部的至少3枚以上光学滤波器的摄像装置中,上述光学滤波器中包括:红外光截止而可见光透过滤波器、可见光截止而红外光透过滤波器、截止蓝、绿和红外光而红透过的滤波器、即红通过的带通光学滤波器,所述摄像装置具有湿度计和对影像信号的暗部电平进行检测的功能,进行下述动作中的至少一个,即:在插入红外光截止而可见光透过滤波器时影像信号的暗部电平上升的情况和接收到动作命令的情况下,当湿度计的湿度高时,选择插入所述红通过的带通光学滤波器,当湿度计的湿度低时,选择插入所述可见光截止而红外光透过滤波器;选择插入所述红通过的带通光学滤波器,对影像信号的暗部电平进行测定,并选择插入所述可见光截止而红外光透过滤波器,对影像信号的暗部电平进行测定,然后选择插入所述红通过的带通光学滤波器、与所述可见光截止而红外光透过滤波器的影像信号的暗部电平的测定结果较低的滤波器,只在所述红通过的带通光学滤波器与所述可见光截止而红外光透过滤波器的影像信号的暗部电平下降到规定以下的情况下,选择插入红外光截止而可见光透过滤波器。
另外,在具有摄像元件、影像信号处理功能、和选择插入在上述摄像元件之前的具备驱动部的至少1枚以上光学滤波器的摄像装置中,上述光学滤波器中包含红通过的带通光学滤波器,所述摄像装置具有对影像信号的暗部电平进行检测的功能,在影像信号的暗部电平上升的情况下,选择插入红通过的带通光学滤波器。
发明的效果:
根据上述内容,通过对影像信号的暗部电平进行检测的功能,能够在摄像元件之前选择插入光学滤波器,从远距离的被摄体拍摄对比度高的影像。
附图说明
图1A是使用了本发明的1个实施例的固体摄像装置的监视系统的框图(透镜与摄像元件为1组)。
图1B是使用了本发明的1个实施例的固体摄像装置的监视系统的框图(透镜与摄像元件为2组)。
图1C是使用了本发明的1个实施例的固体摄像装置的监视系统的框图(透镜与摄像元件为3组)。
图2A是本发明的1个实施例的流程图(透镜与摄像元件为1组)。
图2B是本发明的1个实施例的流程图(透镜与摄像元件为2组)。
图2C是本发明的1个实施例的流程图(透镜与摄像元件为3组)。
图2D是本发明的1个实施例的流程图(透镜与摄像元件为1组)。
图2E是本发明的1个实施例的流程图(有湿度计)。
图3是表示本发明的1个实施例的固体摄像装置的摄像部与影像信号处理部的框图。
图4A是表示本发明的1个实施例的固体摄像装置的入射光的亮度分布、内部影像信号Vi的亮度分布和输出影像信号Vo的亮度分布对应的示意图。
图4B是表示本发明的1个实施例的固体摄像装置的入射光的亮度分布、内部影像信号Vi的亮度分布和输出影像信号Vo的亮度分布对应的示意图。
图5是表示本发明的1个实施例的包括相关平均的多像素轮廓修正部的框图。
图6是表示本发明的1个实施例的多像素轮廓修正的动作的示意图。
图7是使用了以往的固体摄像装置的监视系统的框图。
图8是表示以往的固体摄像装置的入射光量响应的示意图。
符号说明
1A、1B、1C、1E:固体摄像装置;2、17、20:使可见光和近红外光成像的透镜;3:可见光与近红外光的摄像部;3A、3B、3C、3D、3E:硅(Si)摄像部;3C:铟镓砷(InGaAs)摄像部;4:包含所有像素暗电流偏差修正、相关平均、多像素轮廓修正、和进行使黑电平降低来减弱暗部的伽马修正或压缩限制暗部(暗部修正)或者减弱强光压缩(强光修正)的至少一方的对比度增强的影像信号处理部4F:影像信号处理部;5:包括图像压缩的发送处理部;5F:暗部上升修正的包括对比度增强和图像压缩的发送处理部;6:CPU;7:包括接收处理、图像解压和图像处理的记录再生部;8:湿度计;9:显示部(监视用显示器);10A、10B:选择插入的具备驱动部的至少3枚以上光学滤波器;11:CCD;12:AFE;13:垂直传送驱动部;14:电动云台;19:将近红外光成像的透镜21:分光光学系统;22:冷却部;23:冷却驱动部;24:温度传感器;25:包括OB检测的对比度检测部;26:所有像素基准暗电流画面存储器;27:乘法器;28:减法器;29:包括周边像素与前画面周边像素的相关平均的多像素轮廓修正部;30:包含进行使黑电平降低、减弱暗部的伽马修正或压缩限制暗部(暗部修正)或者减弱强光压缩(强光修正)的至少一方的对比度增强部的影像信号处理部;31、43:画面内延迟部;32~38:像素延迟6个部;40:影像电平判定部;41、42:轮廓信号生成部;44:相关平均部;45~52:加法器;53:使正负和放大度可变的乘法器;54:小振幅大振幅的压缩限制部;55:轮廓修正部;56:开关;M1~M6:线存储器部;M7:画面存储器;N1~N7:负的乘法器;P3:正的乘法器;Lin:入射光;Vi:固体摄像装置内部影像信号(14bit);Vo:外部输出影像信号(8bit);VBS:模拟复合影像信号(相当于8bit)。
具体实施方式
下面,利用使用了本发明的1个实施例的固体摄像装置的监视系统的框图的图1A、图1B和图1C、本发明的1个实施例的流程图的图2A、图2B、图2C、图2D和图2E、表示本发明的1个实施例的固体摄像装置的摄像部与影像信号处理部的框图的图3,对本发明的实施例的概要进行说明。然后,利用透镜与摄像元件为1组的使用了本发明的1个实施例的固体摄像装置的监视系统的框图的图1A、和本发明的1个实施例的流程图的图2A、图2D和图2E,对实施例1进行说明。接着,利用透镜与摄像元件为2组的使用了本发明的1个实施例的固体摄像装置的监视系统的框图的图1B、和本发明的1个实施例的流程图的图2B,对实施例2进行说明。并且,利用透镜与摄像元件为3组的使用了本发明的1个实施例的固体摄像装置的监视系统的框图的图1C和本发明的1个实施例的流程图的图2C,对实施例3进行说明。
另外,使用了本发明的1个实施例的固体摄像装置的监视系统的动作,不限于本发明的1个实施例的流程图的图2A~图2E,也可以将图2A~图2E的动作组合。
在图1A、图1B、图1C的使用了本发明的1个实施例的固体摄像装置的监视系统的框图中,1A、1B、1C是固体摄像装置,2、17和20是使可见光和近红外光成像的透镜,19是将近红外光成像的透镜,3是可见光与近红外光的摄像部,3A、3B、3D是硅(Si)摄像部、3C是铟镓砷(InGaAs)摄像部。4是包括所有像素暗电流偏差修正、相关平均、多像素轮廓修正和对比度增强的影像信号处理部,5是包括图像压缩的发送处理部,6是CPU。7是包括接收处理、图像解压和图像处理的记录再生部,8是湿度计,9是相当于8bit的模拟VBS(Video Burst Sync:视频爆裂同步)输入的监视用显示器的显示部。10A是在摄像元件之前选择插入的具备驱动部的至少3枚以上光学滤波器,包括400-700nm通过、600-700nm通过、700nm以上的水蒸气透过频带(约740nm、约780nm、约860nm、约1040nm、约1200-1250nm、约1550-1650nm)通过的带通光学滤波器。10B是在摄像元件之前选择插入的具备驱动部的至少3枚以上光学滤波器,包括使400-700nm通过、600-700nm通过、700nm以上的水蒸气透过频带(约740nm、约780nm、约860nm、约1040nm)通过的光学滤波器。另外,18包括近红外光内的通过空气中的(水蒸气与氧气的)分子透过频带(约1200-1250nm、约1550-1650nm)的光学滤波器。14是电动云台,21是分光光学系统。Lin是入射光,La、Lb、Lc、Ld和Le是通过了光学滤波器的入射光。Vi是固体摄像装置内部影像信号(14bit),Vo是外部输出影像信号(相当于8bit),VIP是互联网协议图像数据包信号,VBS是模拟复合影像信号(相当于8bit)。也可以将外部输出影像信号Vo输入到记录再生部7或监视用显示器9。
使用了本发明的1个实施例的固体摄像装置的监视系统的框图的图1A、与使用了以往的固体摄像装置的监视系统的框图的图7的不同之处在于,湿度计8的有无;光学滤波器10A的通过波长;以及影像信号处理部4,该影像信号处理部4包括所有像素暗电流偏差修正、相关平均、多像素轮廓修正、和进行使黑电平降低来减弱暗部的伽马修正或压缩限制暗部(暗部修正)或者减弱强光(high light)压缩(强光修正)的至少一方的对比度增强。即,基于所有像素暗电流偏差修正与相关平均的杂音降低、多像素轮廓修正、和进行使黑电平降低来减弱暗部的伽马修正或压缩限制暗部(暗部修正)或者减弱强光压缩(强光修正)的至少一方的对比度增强,在影像信号处理部4中以14bit进行处理,这将在后面详细叙述。
图3是固体摄像装置的利用了CCD的摄像部3和影像信号处理部4的一例,在摄像部3中,也可以取代CCD而利用CMOS摄像元件。在图3的摄像部3中,6是CPU,12是AFE(Analog Front End:模拟前端),13是垂直传送驱动部,22是冷却部,23是冷却驱动部,24是温度传感器。在图3的影像信号处理部4中,25是包括OB(Optical Black:光学黑体)检测的对比度检测部,26是所有像素基准暗电流画面存储器,27是乘法器,28是减法器,29是包括周边像素与前画面周边像素的相关平均的多像素轮廓修正部,30是包括对比度增强部的影像信号处理部,该对比度增强部进行使黑电平降低、减弱暗部的伽马修正、或压缩限制暗部(暗部修正)或者减弱强光压缩(强光修正)中至少一方。
图1A的入射光Lin通过光学滤波器10A,被图3的CCD11转换成电信号,并由模拟前端(AFE)12设为14bit左右的摄像装置内部影像信号Vi。由图3的温度传感器24检测CCD11的温度,计算出暗电流的变化量。由于CCD11在EM-CCD中以温度与电荷倍增之积确定暗电流的变化量,所以由包括OB检测的对比度检测部25根据V-OB的H-OB平均值计算出暗电流的变化量,详细内容将在后面叙述。对所有像素基准暗电流画面存储器26中存储的在所有像素中偏差的基准暗电流,通过乘法器27乘以暗电流的变化量,计算出在所有像素中偏差的暗电流,并利用减法器28从影像信号Vi中将其减去,来修正所有像素的暗电流偏差。详细情况将在后面叙述,由包括周边像素与前画面周边像素的相关平均的多像素轮廓修正部29进行相关平均和多像素轮廓修正,在影像信号处理部30中通过使黑电平降低、减弱暗部的伽马修正或压缩限制暗部(暗部修正)或者减弱强光压缩(强光修正),来增强对比度,进行伽马修正和拐点(knee)修正,从而设为8bit左右的输出影像信号Vo。
【实施例1】
使用了本发明的1个实施例的固体摄像装置的监视系统如框图的图1A所示,具有:透过可见光和近红外光的透镜2;对可见光和近红外光具有灵敏度的摄像部3;在上述摄像元件之前选择插入的具备驱动部的至少3枚以上光学滤波器10A;和包含图3的对比度检测部25的影像信号处理部4,该对比度检测部25对影像信号的强光电平降低或者暗部电平上升的有效对比度进行检测。鉴于此,如本发明的1个实施例的流程图的图2A和图2D所示,在彩色摄像的影像信号的有效对比度小于第一规定电平的情况下,输出由在入射光路中插入了使近红外光中的透过空气中的(水蒸气与氧气的)分子的波长的带通光学滤波器的摄像元件拍摄的影像。
图2D是本发明的1个实施例的一例的流程图,在61的开始之后,对利用可见光透过、除去近红外光的光学滤波器插入到入射光路的摄像元件拍摄到的影像信号的暗部电平进行判断。即,在62的“彩色摄像影像信号的暗部比第一规定值大吗”的判定中,如果为否,则进行64的利用可见光透过近红外光截止的滤波器执行彩色摄像。在62的判定中,如果为是,则进行63的利用蓝绿截止而红透过且近红外光截止的滤波器实施黑白摄像。在63之后的80的“影像信号的暗部比第一规定值大吗”的判定中,如果为否,则进行67的使多像素轮廓修正的强调的中心的垂直水平频率下降,增强多像素轮廓修正、增强暗部的轮廓修正、增强强光的轮廓强调、增强相关平均。在65的判定中,如果为是,则在66中利用可见光截止而透过空气中(水蒸气与氧气的)分子透过的近红外光的滤波器进行黑白摄像之后,进入到67。在67之后,进行68的使黑电平降低,减弱暗部的伽马修正、压缩限制暗部,减弱强光压缩,然后在69结束。在图2A~图2E中,62或者80也可以是“影像信号的强光电平小于第二规定电平吗?”。
即,所述摄像装置具有:透过可见光和近红外光的透镜、对可见光和近红外光具有灵敏度的摄像元件、和对影像信号的强光电平降低或者暗部电平上升的有效对比度进行检测的对比度检测部,在可见光摄像的影像信号的暗部电平大于第一规定电平的情况,或者被摄体的可见光及近红外光的摄像的影像信号的强光电平小于第二规定电平的情况下,输出由将红或近红外光内的透过空气中的(水蒸气与氧气的)分子的波长的带通光学滤波器插入到入射光路中的摄像元件拍摄的影像,在红摄像的影像信号的暗部电平大于第一规定电平的情况、或者被摄体的可见光及近红外光的摄像的影像信号的强光电平小于第二规定电平的情况下,输出由将近红外光内的透过空气中的(水蒸气与氧气的)分子的波长的带通光学滤波器插入到入射光路中的摄像元件拍摄的影像。
而且,上述光学滤波器是约400-700nm、约600-700nm、约700nm以上的水蒸气透过频带通过的光学滤波器,被依次插入,还能够选择插入影像信号的暗部电平低的滤波器来进行摄影。作为例子,如本发明的1个实施例的其他例的流程图的图2A那样,在61的开始之后,对由将可见光透过、除去近红外光的光学滤波器插入到入射光路的摄像元件拍摄到的影像信号的暗部电平进行判断。即,在62的“彩色摄像影像信号的暗部大于第一规定值吗”的判定中,如果为否,则进行64的利用可见光透过近红外光截止的滤波器实施彩色摄像。在62的判定中,如果为是,则进行63的利用蓝绿截止而红透过且近红外光截止的滤波器实施黑白摄像,然后进行66的利用可见光截止而透过空气中分子透过的近红外光的滤波器实施黑白摄像。在65的“66的影像信号的暗部比63的影像信号的暗部提高了吗”的判定中,如果为否,则对在66中拍摄到的影像在67中使多像素轮廓修正的强调的中心的垂直水平频率降低,增强多像素轮廓修正、增强暗部的轮廓修正、增强强光的轮廓强调、增强相关平均。在65的判定中,如果为是,则在进行了63的利用蓝绿截止而红透过且近红外光截止的滤波器实施黑白摄像之后,进入到67。在67之后,进行68的使黑电平降低,修正暗部上升和强光压缩,然后在69结束。
根据上述说明,无论是因为吸收近红外光的云霞或雾,还是因为吸收蓝光的细微尘土,通过影像信号的暗部电平上升和对比度降低的检测,都难以判别灰色的岩石的表皮和雾,即便如此,通过对影像信号的暗部电平进行检测的功能和滤波器更换的影像信号的暗部电平的测定,能够在摄像元件的紧前选择插入光学滤波器,从远距离的被摄体拍摄对比度高的影像。
而且,在简易地由将可见光通过、除去近红外光的光学滤波器插入到入射光路的摄像元件拍摄的影像信号的有效对比度小于第一规定电平的情况下,输出由将红通过(赤通過する)的带通光学滤波器或近红外光内的透过空气中的(水蒸气与氧气的)分子的波长的带通光学滤波器插入到入射光路中的摄像元件拍摄到的影像。
通过该方法,无论是吸收近红外光的云霞或雾、还是吸收蓝光的细微尘土,都能够使画面规定部分的暗部电平上升和影像信号的对比度降低减少,可以从远距离的被摄体拍摄对比度高的影像。
而且,由于具有湿度计8,所以如本发明的1个实施例的又一个例子的流程图的图2E那样,在61的开始之后,对由将可见光透过、除去近红外光的光学滤波器插入到入射光路的摄像元件拍摄的影像信号的暗部电平进行判断。即,在62的“彩色摄像影像信号的暗部比第一规定值大吗”的判定中,如果为否,则进行64的利用可见光透过近红外光截止的滤波器执行彩色摄像。在62的判定中,如果为是,则进行70的“湿度计的湿度比规定值大吗”的判定,如果为否,则进行66的利用可见光截止而透过空气中分子透过的近红外光的滤波器实施黑白摄像。在70的判定中,如果为是,则进行63的利用蓝绿截止而红透过且近红外光截止的滤波器实施黑白摄像。在63与66之后,进行67的使多像素轮廓修正的强调的中心的垂直水平频率降低,加强多像素轮廓修正、加强暗部的轮廓修正、加强强光的轮廓强调、加强相关平均,然后进行68的使黑电平降低,减弱暗部的伽马修正、压缩限制暗部、减弱强光压缩,最后在69结束。
即,在插入红外光截止而可见光透过滤波器时影像信号的暗部电平升高的情况下,当湿度计的湿度高时,选择插入所述蓝绿截止而红透过滤波器进行黑白摄像,当湿度计的湿度低时,选择插入所述可见光截止而红外光透过滤波器进行黑白摄像。
为了被摄体附近的雾与细微尘土的判定,与摄像装置1A的附近相比,优选湿度计8配置在所监视的被摄体的附近。
下面,利用表示本发明的1个实施例的固体摄像装置的入射光的亮度分布、内部影像信号Vi的亮度分布和输出影像信号Vo的亮度分布对应的图的图4A和图4B,对本发明的1个实施例的进行使影像信号的黑电平降低、来减弱暗部的伽马修正或压缩限制暗部(暗部修正)或者减弱强光压缩(强光修正)的至少一方的对比度增强修正的动作进行说明。
即使入射光的暗部稍为上升,如果影像信号的黑电平降低、不增强或降低伽马修正,则也能够确保输出影像信号Vo的对比度。如果入射光的暗部上升到额定的25%(输出信号的50~60%)附近,则降低影像信号的黑电平、不增强伽马修正的作法能够确保输出的对比度。如果入射光的暗部上升到额定的30%(输出信号的55~65%)附近,则降低影像信号的黑电平、降低暗部的伽马修正、压缩暗部进行限制的暗部修正,能够确保输出的对比度。通过降低影像信号的黑电平、降低暗部的伽马修正、压缩暗部进行限制的影像信号处理在画面整体均匀进行,可使画面各部进行或以像素单位进行的效果高。
另外,如果利用将暗部电平设为一定的影像信号,生成光圈控制输出,则光圈不被缩小,强光电平的降低少,会恢复到额定的约85%(输出信号的85~95%)。
图4A和图4B表示了本发明的1个实施例的摄像装置的画面的规定部分的对比度增强的、入射光的亮度分布、内部影像信号Vi的亮度分布与输出影像信号Vo的亮度分布对应。图4A中,在暗部的入射光量为额定的约30%的情况下,使影像信号的黑电平大幅下降到额定的-50%附近,降低暗部的伽马修正,使影像信号的暗部电平从输出信号的约55%下降到约15%。而且,通过提高增益、或开启光圈或者延迟电子快门,使入射光的暗部提高、和降低了影像信号的黑电平所引起的强光的降低,例如从额定的约60%、输出信号的约80%,恢复到额定的约70%、输出信号的约85%。亮度输出信号的振幅约为70%,成为105灰度约6.8bit。并且,加强了轮廓强调。
图4B表示了本发明的另一个实施例的摄像装置的入射光的亮度分布、与输出影像信号Vo的亮度分布的对应。在图4B中,检测输入影像信号的暗部电平上升,使影像信号的黑电平大幅降低到额定的-100%附近,实施暗部压缩和暗部限制,然后降低暗部的伽马修正,增强暗部的轮廓强调,使输出影像信号的暗部电平一定(在图4B中约为5%)。利用将影像信号的暗部电平设为一定的影像信号,生成光圈控制输出,恢复输出信号的强光。并且,检测输入影像信号的强光电平降低,减弱强光压缩,增强强光颜色解压缩、增强强光的轮廓强调、使输出影像信号的强光电平一定(在图4B中约为95%)。在确保了对比度的影像信号中,减弱暗部和强光的轮廓强调。
下面,利用表示本发明的1个实施例的包括相关平均的多像素轮廓修正部的框图的图5、和表示本发明的1个实施例的多像素轮廓修正的动作的示意图的图6,说明本发明的1个实施例的对因云霞、雾或微细尘土使调制度从低域降低的情况进行修正的例子。
在图5中,29是包括相关平均的多像素轮廓修正部,31和43是画面内延迟部,进行0~2M个(6以上的偶数)像素延迟的32~38是像素延迟6个部,40是影像电平判定部,41和42是轮廓信号生成部,44是相关平均部,45~52是加法器,53是使正负和放大度可变的乘法器,54是小振幅大振幅的压缩限制部,55是轮廓修正部,56是开关,M1~M6是线存储器部,M7是画面存储器部,N0~N6是负的乘法器,P3是正的乘法器。
修正前信号在画面内延迟部31中,由2N个(6以上的偶数)M1~M6的线存储器部延迟扫描线(H)期间,成为从0H到6H合计7H的信号。3H信号进而在像素延迟6个部38中延迟像素时间、即CCD时钟时间,成为合计7组的延迟信号。合计7H的信号与合计7组的延迟信号进入到41和42的轮廓信号生成部,成为垂直轮廓信号和水平轮廓信号,并在加法器51被相加,由小振幅大振幅压缩限制部54压缩限制小振幅和大振幅,在接收被输入了3H3像素延迟信号的影像电平判定部40的控制的正负乘法器53中成为轮廓修正信号,与3H3像素延迟信号或者相关平均加法运算的3H3像素延迟信号相加,成为修正后信号。
结果,即使如表示本发明的1个实施例的多像素轮廓修正部的动作的示意图、即图6的(a)从低频率开始降低的调制度的修正前信号那样,调制度从低频率开始降低,将(b)轮廓修正7像素成分、(c)轮廓修正5像素成分、(d)轮廓修正3像素成分合成,也能够如(e)本发明修正后信号那样,修正轮廓。即,即使调制度从低频率开始降低,也能够再现轮廓。
另外,合计7H的信号在像素延迟6个部32~38中延迟像素时间、即CCD时钟时间,成为以各H合计为7组、总计49个延迟信号。并且,修正前信号在画面存储器M 7中延迟垂直扫描(V)期间,在画面内延迟部43中与画面内延迟部31同样,延迟扫描线(H)期间,成为从0H到6H的合计7H的信号,并延迟像素时间、即CCD时钟时间,成为以各H合计为7组,总计49个延迟信号。
来自画面内延迟部31的49个延迟信号与来自画面内延迟部43的49个延迟信号、总计98个延迟信号,由相关平均部44计算出98个延迟信号与3H3像素延迟信号的相关,重点加法运算平均出98个延迟信号的内相关高的信号。即,检测出3H3像素延迟信号和98个延迟信号的相关,生成使相关高的信号与相关成比例地进行了重点加法运算平均后的相关平均信号,取得将上述输入影像信号延迟M扫描线期间并延迟了N像素的影像信号与上述相关平均信号的平均。结果,降低了杂音。
在被摄体的可见光及近红外光的摄像的影像信号的暗部电平大于规定电平的情况下,进行使多像素轮廓修正的垂直轮廓修正的成为强调中心的扫描线根数增多、多像素轮廓修正的水平轮廓修正的成为强调中心的频率降低、增强多像素轮廓修正、增强相关平均、降低黑电平、减弱暗部的伽马修正、压缩限制暗部中的至少一方。
为了确保对比度增强后的Vo的S/N(信噪比:Signal to Noise ratio),即使不增加AFE12的放大,为了图2的影像信号处理的动态范围确保,AFE12与影像信号处理部4最低也需要8bit+2bit=10bit以上,优选12bit以上。在将AFE12的放大增加4bit(16倍)时,为了确保S/N,需要AFE为10bit+4bit=14bit以上。图1B、图1C的摄像部3A、3B、3C、3D也同样。
由于仅通过与湿度计连动的控制功能的追加,便可使暗部电平下降为输出信号的约5%,利用将暗部电平设为一定的影像信号生成光圈(iris)控制输出,所以光圈未被缩小,强光上升为输出信号的约95%,能够确保输出亮度信号振幅为输出信号的约90%。
在霭很浓而下了雾、穿越长距离的霭的被摄体中,即使入射光的暗部电平上升到额定的约30%、强光降低到额定的约70%,也能够容易地判别输出影像信号的被摄体成分的对比度。因此,能够不使摄像装置大型化、原价上升地实现远距离监视。
即,作为摄像装置,其特征在于,当检测到影像信号的第一规定以上的暗部电平时,使影像信号的黑电平降低。
由于实施例1通过图1A的透镜2与摄像部3为1组,容易小型化,所以适用于雾或尘土多的铁道沿线、高速道路的监视。
在接近于可见光的近红外光的透过空气中的(水蒸气与氧气的)分子的波长中,约740nm,约780nm、约860nm、约1040nm、约1200-1250nm、约1550-1650nm成为窄带的带通,入射光的能量衰减。因此,需要采取下述实际灵敏度提高对策的任意一个。
使用释放光圈大的透镜,使入射光增加。释放光圈大的透镜大型且昂贵。
如上述非专利文献2那样,利用深约5.6μm以上的光电二极管的Si摄像元件,成为(约+4.5dB的)高灵敏度。或者,如上述的非专利文献3那样,使用在光电二极管下形成反射近红外光的微细构造,来封闭近红外光、增加吸收率的Si摄像元件,成为(约+9dB的)高灵敏度。利用形成了微细构造的Si摄像元件,也能够实现约400-1200nm的高灵敏度摄像。并且,可以如上述的非专利文献4那样,利用电荷倍增电极的摄像元件,成为(+40dB以上的)高灵敏度。摄像元件的改良随着微细加工的进步而得以发展。总之,由于暗电流显著,所以需要冷却摄像元件、或以像素单位修正暗电流的偏差。
摄像元件的暗电流与温度的指数函数成比例。具体而言,Si摄像元件的暗电流由于温度上升6℃而变为2倍。因此,利用温度传感器检测摄像元件的温度,以从检测出的温度减去预先存储的非倍增时摄像面的所有像素的基准暗电流在测定时的摄像元件温度而得到的值,计算出2的幂乘,如果将预先存储的非倍增时摄像面的所有像素的基准暗电流与AFE12的放大度相乘,则可以计算出当前非倍增时摄像面的所有像素的暗电流的修正值。
而且,CCD11在EM-CCD中以温度与电荷倍增之积确定暗电流的变化量。鉴于此,将CCD摄像元件的垂直方向的光学黑像素(Vertical-OpticalBlack:V-OB)线内的H-OB进行加法平均后的值、或者V-OB线内的H-OB的最小值,作为V-OB线内的H-OB的暗电流的代表值。V-OB线内的H-OB中不存在垂直拖影成分,也不存在水平拖影成分。因此,如果利用影像信号处理部来检测当前的V-OB线内的H-OB的代表值,将检测出的当前的V-OB线内的H-OB的代表值除以预先存储的非倍增时V-OB线内的H-OB的基准代表值,并乘以预先存储的非倍增时摄像面的所有像素的基准暗电流,则可以计算出当前摄像面的所有像素的暗电流的修正值。如果从影像信号中减去计算出的当前摄像面的所有像素的暗电流的修正值,则可以修正摄像面的所有像素的暗电流的偏差,提高S/N,从而实际上提高灵敏度。
或者,增加AFE12的放大,并使用多个线存储器和场存储器,基于周边像素与前画面像素的适应型平均,降低杂音,成为实效的(约12dB的)高灵敏度。在将AFE12的放大增加4bit(16倍)时,为了确保S/N,AFE需要8bit+4bit=12bit以上,优选14bit以上。优选包含所有像素暗电流偏差修正、相关平均、多像素轮廓修正、和进行使黑电平降低来减弱暗部的伽马修正或压缩限制暗部(暗部修正)或者减弱强光压缩(强光修正)的至少一方的对比度增强的影像信号处理部4,与AFE为同一bit以上。
如果将上述非专利文献5的短波长光不衰减地到达光电二极管的背面照射构造,应用到至少光电二极管是InGaAs制的摄像元件,则也能够实现约400-1700nm的高灵敏度摄像。如果将短波长光几乎不衰减地到达光电二极管的光导向件内置构造,应用到至少光电二极管是InGaAs制的摄像元件,则也能够实现约600-1700nm的高灵敏度摄像。如果在短波长光的透过率出色的光导向件中,将光导向件内置构造应用到至少光电二极管为InGaAs制的摄像元件中,则也能够实现约400-1700nm的高灵敏度摄像。在光电二极管是InGaAs制的情况下,容易实现约900-1700nm的高灵敏度摄像,在光电二极管以外是Si制的情况下,容易进行微细加工。
在使用了色散系数(阿贝数)为95和几乎没有分散的玻璃的非球面透镜中,如果制作面向各波长使反射防止涂层成为单层,将焦点距离设为可变时焦点面的变动通过凸轮进行机械修正、或基于电动进行修正的相当于变焦透镜的可变焦距透镜,则在空气与透镜的交界光发生反射的面变少,像差也减少,也能够实现约400-1700nm的对比度高的成像。
根据上述说明,即便通过影像信号的暗部电平上升和对比度降低的检测,难以判别灰色的岩石的表皮和雾,也能够通过对影像信号的暗部电平进行检测的功能和湿度计,在摄像元件之前选择插入光学滤波器,从远距离的被摄体拍摄对比度高的影像。
【实施例2】
省略与实施例1同样的动作说明,利用使用了本发明的1个实施例的固体摄像装置的监视系统的框图的图1B、和本发明的1个实施例的流程图的图2B,对实施例2特有的构成和动作进行说明。
如使用了本发明的实施例2的固体摄像装置的监视系统的框图的图1B所示,具有:透过可见光和近红外光的透镜17;对可见光和近红外光具有灵敏度的摄像部3D;在上述摄像元件之前选择插入的具备驱动部的至少3枚以上光学滤波器10B;透过近红外光的透镜19;近红外光内的透过空气中的(水蒸气与氧气的)分子的波长的带通光学滤波器18;对近红外光具有灵敏度的摄像部3C;以及包含对影像信号的强光电平降低或者暗部电平上升的有效对比度进行检测的图3的对比度检测部25的、包括所有像素暗电流偏差修正和相关适应型平均的影像信号处理部4。
鉴于此,如本发明的1个实施例的流程图的图2B那样,在彩色摄像的影像信号的暗部电平大于第一规定电平的情况下,在光学滤波器10B内将近红外光内的透过空气中的(水蒸气与氧气的)分子的波长的带通光学滤波器插入到入射光路,对由摄像部3D拍摄的影像的暗部电平与由摄像部3C拍摄的影像的暗部电平进行比较,输出暗部电平低的影像信号。
具体而言,在图2B的61的开始之后,对由将可见光透过、除去近红外光的光学滤波器插入到入射光路的摄像元件拍摄到的影像信号的暗部电平进行判断。即,在62的“彩色摄像影像信号的暗部比第一规定值大吗”的判定中,如果否,则进行64的利用可见光透过而近红外光截止的滤波器实施彩色摄像。在62的判定中,如果是,则进行66的利用可见光截止而透过空气中分子透过的近红外光的滤波器执行黑白摄像。而且,进行90的利用InGaAs摄像元件,对透过空气中的水蒸气的近红外光实施摄像。然后,在71的“66的影像信号的暗部比90的InGaAs摄像影像信号的暗部高吗”的判定中,如果否,则进行73的利用可见光截止而透过空气中分子透过的近红外光的滤波器,输出由硅摄像部3D实施黑白摄像后的影像信号。在65的判定中,如果是,则进行72的输出InGaAs摄像影像信号。在72或者73之后,进行67的使多像素轮廓修正的强调的中心的垂直水平频率降低,增强多像素轮廓修正、增强暗部的轮廓修正、增强强光的轮廓强调、增强相关平均,然后进行68的使黑电平降低、减弱暗部的伽马修正、压缩限制暗部、减弱强光压缩,最后在69结束。
如使用了本发明的实施例2的透镜与摄像元件为2组的固体摄像装置的监视系统的框图的图1B所示,使用将约400-900nm的可见光和近红外光成像的透镜;深5.6μm以上的光电二极管(+4.5dB)的Si摄像元件;和约400-700nm通过、约600-700nm通过、约700nm以上的水蒸气透过波段(约740nm、约780nm、约860nm、约1040nm)通过的带通光学滤波器,对可见光和约740nm、约780nm、约860nm、约1040nm的透过氧气与水蒸气的近红外光进行摄像,也可以使用约1000-1650nm用透镜、和InGaAs摄像元件,对约1040nm、约1200-1250nm、约1550-1650nm的透过水蒸气的近红外光进行摄像。
还可以使用将约400-1000nm的可见光和近红外光成像的透镜、和对光电二极管下的近红外光进行反射的微细构造的Si摄像元件,来拍摄约740nm、约780nm、约860nm、约1040nm的透过氧气与水蒸气的近红外光,使用约1200-1650nm用透镜、和InGaAs摄像元件,对约1200-1250nm、约1550-1650nm的透过水蒸气的近红外光进行摄像。
如果输出将影像信号的暗部电平最低的光学滤波器插入到入射光路的摄像元件的影像信号,则能够有效地灵活运用网络等的传输路径。
对实施例2而言,由于图1B的透镜17和19掌管的波段如上述那样比较窄,所以高倍率望远变焦化容易,因此适合于雾或尘土多的海岸、海峡、国境等远距离的监视。
【实施例3】
省略与实施例1和实施例2同样的动作的说明,结合利用了本发明的实施例3的固体摄像装置的监视系统的框图的图1C、和本发明的实施例3的流程图的图2C,对实施例3特有的构成和动作进行说明。
如使用了本发明的1个实施例的固体摄像装置的监视系统的框图的图1C所示,具有:透过可见光和近红外光的透镜;对可见光和近红外光具有灵敏度的摄像元件;在上述摄像元件之前选择插入的具备驱动部的至少3枚以上光学滤波器;和对影像信号的强光电平降低或者暗部电平上升的有效对比度进行检测的对比度检测部。
鉴于此,如本发明的1个实施例的流程图的图2C所示,在彩色摄像的影像信号的暗部电平大于第一规定电平的情况下,输出将约740nm、约780nm、约860nm、约1040nm、约1200-1250nm、约1550-1650nm等的近红外光内的透过空气中的(水蒸气与氧气的)分子的波长的带通光学滤波器插入到入射光路的摄像元件所拍摄的影像。
具体而言,在61的开始之后,对由将可见光透过、除去近红外光的光学滤波器插入到入射光路的摄像元件拍摄的影像信号的暗部电平进行判断。即,在62的“彩色摄像影像信号的暗部比第一规定值大吗”的判定中,如果否,则进行64的利用可见光透过近红外光截止的滤波器实施彩色摄像。在62的判定中,如果是,则进行74的利用蓝绿光截止而红透过且近红外光截止的滤波器、即红透过的带通光学滤波器实施黑白摄像。而且,进行90的利用InGaAs摄像元件,对透过空气中的水蒸气的近红外光实施摄像。然后,在75的“74的影像信号的暗部比90的InGaAs摄像影像信号的暗部高吗”的判定中,如果否,则进行76的输出由蓝绿光截止而红透过且近红外光截止的滤波器实施了黑白摄像而得到的影像信号。在75的判定中,如果是,则进行66的利用可见光截止而透过空气中的(水蒸气与氧气的)分子透过的近红外光的滤波器执行黑白摄像,然后进行91的利用InGaAs摄像元件,对透过空气中的水蒸气的近红外光实施摄像。然后,在77的“66的影像信号的暗部比91的InGaAs摄像影像信号的暗部高吗”的判定中,如果否,则进行73的输出由可见光截止而透过空气中分子透过的近红外光的滤波器实施了黑白摄像而得到的影像信号。在77的判定中,如果是,则进行72的输出InGaAs摄像影像信号。在76、72或者73之后,进行67的使多像素轮廓修正的强调的中心的垂直水平频率降低,增强多像素轮廓修正、增强暗部的轮廓修正、增强强光的轮廓强调、增强相关平均,然后进行68的使黑电平降低、减弱暗部的伽马修正、压缩限制暗部、减弱强光压缩,最后在69结束。
如使用了本发明的1个实施例的透镜与摄像元件为3组的固体摄像装置的监视系统的框图的图1C所示,设置有ND滤波器、直通滤波器、和约600nm以上通过滤波器的光学滤波器、以及分光棱镜或者分光反射镜的约400-700nm和约740nm、约780nm、约860nm、约1040nm、约1200-1250nm、约1550-1650nm的分光光学系统。只要对于约400-700nm使用Si制可见光用摄像元件,对于约740nm、约780nm、约860nm、约1040nm使用Si制近红外光用摄像元件,并且对于约1200-1250nm、约1550-1650nm使用至少光电二极管为InGaAs制的摄像元件即可。
而且,使用包括ND滤波器、直通滤波器、和蓝绿除去而红近红外透过的滤波器的电动滤片。
在选择了ND滤波器或者直通滤波器对可见光拍摄后的影像信号的暗部电平上升的情况下,如果选择蓝绿除去而红近红外透过的滤波器,输出影像信号的暗部电平最低的摄像元件的影像信号,则能够有效地灵活运用网络等的传输路径。
对于实施例3而言,由于图1C的摄像部3A、3B、3C按各波段独立,能够由包含多个线存储器和暗部电平检测的影像信号处理部30,时常检测各波段的摄像影像信号的暗部电平,所以适用于天气气候骤变的雾或尘土多的山岳、水库或海峡等的监视。

Claims (2)

1.一种摄像装置,其特征在于,具有:
透过可见光和近红外光的透镜;对可见光和近红外光具有灵敏度的摄像元件;对影像信号的强光电平降低或者暗部电平上升的有效对比度进行检测的对比度检测部;以及可见光通过、除去近红外光的光学滤波器;
并满足下述(A)(B)(C)中至少一个,
(A)具有通过红色光的带通光学滤波器、和近红外光中的透过空气中的分子的波长的带通光学滤波器,在由将可见光通过、除去近红外光的光学滤波器插入到入射光路的摄像元件拍摄的影像信号的暗部电平在第一规定电平以上的情况,或者该影像信号的强光电平在第二规定电平以下的情况下,输出由将通过红色光的带通光学滤波器插入到入射光路的摄像元件拍摄的影像,在由将通过红色光的带通光学滤波器插入到入射光路的摄像元件拍摄的影像信号的暗部电平在第一规定电平以上的情况,或者该影像信号的强光电平在第二规定电平以下的情况下,输出由将近红外光中的透过空气中的分子的波长的带通光学滤波器插入到入射光路的摄像元件拍摄的影像,
(B)在由将可见光通过、除去近红外光的光学滤波器插入到入射光路的摄像元件拍摄的影像信号的暗部电平在第一规定电平以上的情况,或相应的影像信号的强光电平在第二规定电平以下的情况下,对由将通过红色光的带通光学滤波器插入到入射光路的摄像元件拍摄的影像信号的暗部电平进行测定,并测定将近红外光中的透射空气中的分子的波长的带通光学滤波器插入到入射光路的上述摄像元件的影像信号的暗部电平,输出将与上述测定出的影像信号的暗部电平中最低的暗部电平对应的光学滤波器插入到入射光路的上述摄像元件的影像信号,
(C)具有通过红色光的带通光学滤波器、近红外光中的透射空气中的分子的波长的带通光学滤波器和湿度计,在插入红外光截止而可见光透过滤波器时影像信号的暗部电平在第一规定电平以上的情况,或者该影像信号的强光电平在第二规定电平以下的情况下,当湿度计的湿度高于规定值时,选择插入所述通过红色光的带通光学滤波器,进行黑白摄像,当湿度计的湿度不高于规定值时,选择插入所述近红外光中的透过空气中的分子的波长的带通光学滤波器,进行黑白摄像。
2.根据权利要求1所述的摄像装置,其特征在于,
具有:
对被摄体的可见光及近红外光的摄像的影像信号的强光电平降低、或者暗部电平上升的有效对比度的变化进行检测的对比度检测部;
将输入影像信号延迟扫描线期间的6个以上的偶数2M个第一影像信号扫描线延迟部;
根据上述输入影像信号和扫描线期间延迟后的影像信号,生成垂直轮廓信号的多像素垂直轮廓信号生成部;
将扫描线期间延迟后的影像信号像素延迟的6个以上的偶数2N个第一影像信号像素延迟部;
根据将上述输入影像信号延迟了M扫描线期间的影像信号、和延迟M扫描线期间的各像素延迟后的影像信号,生成水平轮廓信号的多像素水平轮廓信号生成部;
对将上述输入影像信号延迟M扫描线期间、延迟了N像素的影像信号,加上上述多像素垂直轮廓信号和上述多像素水平轮廓信号的多像素轮廓修正部;
将上述输入影像信号延迟垂直扫描线期间的影像信号画面延迟部;
将延迟了垂直扫描线期间的影像信号延迟扫描线期间的6个以上的偶数2M个第二影像信号扫描线延迟部;
对将延迟了上述垂直扫描线期间的影像信号延迟扫描线期间后的影像信号进行像素延迟的各6个以上的偶数2N个第二影像信号像素延迟部;
对将上述输入影像信号延迟M扫描线期间并延迟了N像素的影像信号与将上述输入影像信号和延迟垂直扫描线期间的影像信号分别延迟了扫描线期间的影像信号和分别延迟了像素的信号的相关值进行检测,生成使相关值高的信号与相关值成比例地进行了重点加法运算平均后的相关平均信号,取得将上述输入影像信号延迟M扫描线期间并延迟了N像素的影像信号与上述相关平均信号的平均的相关平均部;以及
进行使黑电平降低来减弱暗部的伽马修正或压缩限制暗部或者减弱强光压缩的至少一方的对比度增强部;
在至少被摄体的可见光及近红外光的摄像的影像信号的暗部电平在第一规定电平以上的情况下,或者被摄体的可见光及近红外光的摄像的影像信号的强光电平在第二规定电平以下的情况下,进行下述动作中的至少一方,所述动作包括:增加成为多像素轮廓修正的垂直轮廓修正的强调中心的扫描线条数、降低成为多像素轮廓修正的水平轮廓修正的强调中心的频率、加强多像素轮廓修正、加强暗部的轮廓修正、加强强光的轮廓强调、加强相关平均、降低黑电平、减弱暗部的伽马修正、压缩限制暗部、减弱强光压缩。
CN201010293455.9A 2010-08-04 2010-09-20 摄像装置 Active CN102377937B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010175346 2010-08-04
JP175346/2010 2010-08-04

Publications (2)

Publication Number Publication Date
CN102377937A CN102377937A (zh) 2012-03-14
CN102377937B true CN102377937B (zh) 2015-07-15

Family

ID=45795844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201010293455.9A Active CN102377937B (zh) 2010-08-04 2010-09-20 摄像装置

Country Status (2)

Country Link
JP (1) JP5605904B2 (zh)
CN (1) CN102377937B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012159658A (ja) * 2011-01-31 2012-08-23 Daishinku Corp 光学フィルタモジュール、および光学フィルタシステム
KR101332231B1 (ko) * 2012-04-12 2013-11-22 장예규 안개 투시 기능을 가지는 근적외선 카메라
US9485439B2 (en) * 2013-12-03 2016-11-01 Sensors Unlimited, Inc. Shortwave infrared camera with bandwidth restriction
JP6284408B2 (ja) 2014-04-03 2018-02-28 オリンパス株式会社 画像処理装置、撮像装置、判定方法、駆動方法、撮像方法およびプログラム
JP6459550B2 (ja) * 2015-01-23 2019-01-30 新日鐵住金株式会社 機械設備の異常検出方法および異常検出装置
JP6545007B2 (ja) 2015-06-11 2019-07-17 キヤノン株式会社 撮像装置
JP6650691B2 (ja) 2015-07-02 2020-02-19 キヤノン株式会社 撮像装置
CN105391831B (zh) * 2015-12-08 2018-06-05 深圳天珑无线科技有限公司 移动终端以及校准拍照色彩效果的方法
JP2017208612A (ja) * 2016-05-16 2017-11-24 三星ダイヤモンド工業株式会社 撮像装置および画像管理システム
KR101713684B1 (ko) * 2016-09-21 2017-03-08 주식회사 에스카 시정상태의 변화에 강인한 복합 필터링 방식의 감시카메라 및 그것이 적용된 영상감시시스템
KR101786553B1 (ko) * 2017-03-02 2017-10-17 주식회사 에스카 시정상태의 변화에 강인한 복합 필터링 기반의 오토포커싱 기능을 갖는 감시카메라 및 그것이 적용된 영상감시시스템
JP6941501B2 (ja) * 2017-08-18 2021-09-29 三菱重工業株式会社 画像処理装置及び画像処理方法
CN108111720A (zh) * 2017-12-19 2018-06-01 广东欧珀移动通信有限公司 电子设备的摄像头及具有其的电子设备
JP7063257B2 (ja) * 2018-12-14 2022-05-09 トヨタ自動車株式会社 情報処理システム、プログラム、及び情報処理方法
CN109688332B (zh) * 2019-02-14 2021-06-29 普联技术有限公司 摄像模式调整方法、装置及终端设备
WO2021166543A1 (ja) * 2020-02-21 2021-08-26 富士フイルム株式会社 撮像装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004023517A (ja) * 2002-06-18 2004-01-22 Toshiba Corp 監視用ビデオカメラ

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08275182A (ja) * 1995-03-28 1996-10-18 Canon Inc カラーモード・赤外モード共用型テレビカメラ
JP3573190B2 (ja) * 1998-07-03 2004-10-06 株式会社富士通ゼネラル 液晶プロジェクタ装置
JP2000078456A (ja) * 1998-09-01 2000-03-14 Mitsubishi Electric Corp 近赤外照明付テレビカメラ装置
WO2001026384A1 (en) * 1999-10-06 2001-04-12 Optical Coating Laboratory, Inc. Color separating prism assembly and image projection display system
JP2003348602A (ja) * 2002-05-23 2003-12-05 Olympus Optical Co Ltd 信号処理装置及びそのプログラム
US7286231B2 (en) * 2004-06-30 2007-10-23 Chemimage Corp. Method and apparatus for peak compensation in an optical filter
JP2007158820A (ja) * 2005-12-06 2007-06-21 Fujitsu Ten Ltd 撮影制御装置
JP2008131292A (ja) * 2006-11-20 2008-06-05 Olympus Corp 撮像装置
JP4757221B2 (ja) * 2007-03-30 2011-08-24 富士フイルム株式会社 撮像装置及び方法
JP4341695B2 (ja) * 2007-05-17 2009-10-07 ソニー株式会社 画像入力処理装置、撮像信号処理回路、および、撮像信号のノイズ低減方法
JP4386096B2 (ja) * 2007-05-18 2009-12-16 ソニー株式会社 画像入力処理装置、および、その方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004023517A (ja) * 2002-06-18 2004-01-22 Toshiba Corp 監視用ビデオカメラ

Also Published As

Publication number Publication date
JP5605904B2 (ja) 2014-10-15
JP2012054904A (ja) 2012-03-15
CN102377937A (zh) 2012-03-14

Similar Documents

Publication Publication Date Title
CN102377937B (zh) 摄像装置
EP3468178B1 (en) Image defogging method and image capture apparatus implementing image defogging
US7570287B2 (en) Image pickup system for noise estimating and noise reduction
US7812865B2 (en) Image pickup system with noise estimator
JP6694556B2 (ja) 複合フィルタリング方式の監視カメラ及びそれを用いた映像監視システム
US9426437B2 (en) Image processor performing noise reduction processing, imaging apparatus equipped with the same, and image processing method for performing noise reduction processing
EP1694077A1 (en) Imaging system and image processing program
US20080192131A1 (en) Image pickup apparatus and method for extending dynamic range thereof
CN107770521B (zh) 相机拍摄模式调整方法
US6831687B1 (en) Digital camera and image signal processing apparatus
CN102148933A (zh) 图像处理设备
US9813687B1 (en) Image-capturing device, image-processing device, image-processing method, and image-processing program
US5436656A (en) Digital electronic still-video camera and method of controlling same
WO2017080348A2 (zh) 一种基于场景的拍照装置、方法、计算机存储介质
KR101786553B1 (ko) 시정상태의 변화에 강인한 복합 필터링 기반의 오토포커싱 기능을 갖는 감시카메라 및 그것이 적용된 영상감시시스템
US7800686B2 (en) Electronic camera having a light reduction device
CN203301595U (zh) 监视系统
CN101610355B (zh) 日夜两用摄像装置
CN112217962B (zh) 摄像机及图像生成方法
JP5182518B2 (ja) 撮像装置および撮像方法
JP5182021B2 (ja) デジタルカメラ
CN203522898U (zh) 固体摄像装置
KR101313968B1 (ko) 이미지 센싱 소자 및 이미지 센싱 방법
CN108076284A (zh) 相机拍摄模式调整系统
CN203691551U (zh) 彩色固体摄像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant