CN101179742A - 摄像装置和图像信号处理装置 - Google Patents

摄像装置和图像信号处理装置 Download PDF

Info

Publication number
CN101179742A
CN101179742A CNA2007101692917A CN200710169291A CN101179742A CN 101179742 A CN101179742 A CN 101179742A CN A2007101692917 A CNA2007101692917 A CN A2007101692917A CN 200710169291 A CN200710169291 A CN 200710169291A CN 101179742 A CN101179742 A CN 101179742A
Authority
CN
China
Prior art keywords
signal
infrared
picture
image signal
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101692917A
Other languages
English (en)
Other versions
CN101179742B (zh
Inventor
谷本孝司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
System Solutions Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Sanyo Semiconductor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd, Sanyo Semiconductor Co Ltd filed Critical Sanyo Electric Co Ltd
Publication of CN101179742A publication Critical patent/CN101179742A/zh
Application granted granted Critical
Publication of CN101179742B publication Critical patent/CN101179742B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/20—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming only infrared radiation into image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Image Input (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Studio Devices (AREA)

Abstract

荧光体发出的红外光微弱。在可见光像上重叠显示由该荧光体取得的红外光像时，红外光像变得鲜明。通过加法器(20)，从固体摄像元件的RGB的像素的信号<R>、<G>、<B>中减去选择性地对红外光具有灵敏度的IR像素的信号<IR>，分离提取<R>、<G>、<B>中与入射光的R、G、B成分对应的信号R0、G0、B0。通过乘法器(22)，对<IR>分别乘以增益кR、кG、кB，将IR成分放大，用加法器(24)分别与R0、G0、B0合成。设定кR、кG、кB，使得由合成的IR成分表现在可见光像上的红外光像以白色或以能与可见光像识别的色调进行强调显示。

Description

摄像装置和图像信号处理装置
技术领域
本发明涉及拍摄可见光像与红外光像合成的红外合成图像的摄像装置、生成表示该红外合成图像的图像信号的图像信号处理装置。
背景技术
荧光体被用在对可见光像中不明显的对像物的构造或对像物中的特定物质的存在进行检测的技术中。例如，以下专利文献1所示的显微镜装置将结合了称作印度酞菁绿(以下称为ICG)的荧光体后的抗体作为探针使用，观察具有容易聚集到癌组织的性质的从该探针发出的荧光，由此检测生物组织切片中的微小癌的存在。
ICG是吸收约800nm的近红外光，发出约840nm的近红外光的荧光的色素，作为造影剂能对人体投放，由此观察到的红外光像用在疾病的诊断和治疗中。例如，通过血管注射ICG，能观察血管的像。此外，利用与血液中的蛋白质结合，选择性地取入到肝脏中的ICG的性质，ICG在肝功能的检查中使用。
在手术等中，医生有必要从视觉上把握其对像部位。这时，除了作为可见光像而取得的通常图像，有时希望还能取得可把握存在于对像部位的“表面或其下”的血管的位置的图像。从该观点出发，希望在可见光像上合成显示由荧光造影剂取得的红外光像的图像(红外合成图像)。
在红外合成图像的生成中，需要能拍摄可见光像和红外光像的摄像装置。这里，CCD图像传感器等固体摄像元件不仅对可见光，对近红外光也具有灵敏度。因此，考虑使用固体摄像元件拍摄红外合成图像。
此外，固体摄像元件对红外光具有的灵敏度对于拍摄可见光像的通常的目的而言成为图像质量恶化的原因。例如，在搭载滤色器来拍摄彩色图像的固体摄像元件中，检测与RGB等颜色对应的成分光的各受光像素分别对红外光具有灵敏度，所以产生对包括红外光成分的入射光无法进行正确的颜色表现的问题。为了解决该问题，如以下的专利文献2所示，提出了在受光像素的排列中混合有选择性地对红外光具有灵敏度的受光像素的固体摄像元件的构造。该固体摄像元件的“对红外光具有灵敏度的受光像素(红外受光像素)”是为了除去对可见光具有灵敏度的受光像素(可见光受光像素)中的红外光的影响而设置的。即从红外受光像素取得的信号作为用于推测、除去可见光受光像素的信号中包含的红外光成分的参照信号而被利用。
荧光体发出的红外光一般强度小。因此，在投放上述的荧光造影剂来拍摄手术对像部位的用途中，由可见光受光像素构成的以往的使用一般的固体摄像元件取得的红外合成图像具有红外光像不鲜明的问题。
专利文献1：特开平10-325798号公报
专利文献2：特开2006-237737号公报
发明内容
本发明提供能取得在可见光像上合成显示有清晰的红外光像的红外合成图像的摄像装置和图像信号处理装置。
本发明的摄像装置包括：固体摄像元件，其二维排列有：选择性地对红外光具有灵敏度的红外受光像素、对各自相互不同的特定色的可见光以及所述红外光具有灵敏度的多种颜色受光像素；和图像信号处理电路，其基于由与所述红外受光像素对应的红外像素信号以及与所述各色受光像素分别对应的多种颜色像素信号构成的、由所述固体摄像元件输出的原图像信号，生成表示红外合成图像的处理图像信号，该红外合成图像在可见光像上合成显示有被强调的红外光像。
在本发明中，所述图像信号处理电路基于所述红外像素信号和所述各色像素信号，生成与红外光成分对应的红外成分图像信号和与所述各特定色的可见光成分对应的多种颜色成分图像信号。所述图像信号处理电路进行：红外合成处理，按所述各特定色，对所述颜色成分图像信号、和将所述红外光像的强调方法所对应的该特定色的增益乘以所述红外成分图像信号所得到的信号进行合成，生成按所述各特定色的变换色成分图像信号；和处理图像信号生成处理，根据所述多个变换色成分图像信号，生成所述处理图像信号。
此外，所述图像信号处理电路进行：中间图像生成处理，基于所述多个颜色成分图像信号，生成与所述可见光像相应的所述中间图像信号；和处理图像信号生成处理，根据所述红外成分图像信号的信号电平，使所述中间图像信号所表示的各像素的亮度或色调变化，从而生成所述处理图像信号。
附图说明
图1是表示本发明的实施方式的摄像装置的概略结构的框图。
图2是表示RGB各滤色器的透过率的波长特性、以及发光二极管的分光灵敏度特性的曲线图。
图3是数字信号处理电路中与亮度信号Y以及色差信号Cr、Cb的生成有关的图像信号处理电路的概略的电路结构图。
具体实施方式
以下，根据附图，说明本发明的实施的方式(以下称作实施方式)。
本实施方式的摄像装置例如在患者的手术等中使用，检测将ICG作为荧光造影剂向患者投放而取得的红外光，提供在手术部位等可见光像上合成显示了红外光像的红外合成图像。图1是本摄像装置的概略结构的框图。该摄像装置具有CCD图像传感器2、模拟信号处理电路4、A/D转换电路6和数字信号处理电路8。
图1所示的CCD图像传感器2是帧传送型，包含形成在半导体基板上的摄像部2i、蓄积部2s、水平传送部2h和输出部2d。
构成摄像部2i的垂直移位寄存器的各位作为分别构成像素的受光部(受光像素)而起作用。
各受光像素具有配置在光电二极管上的滤色器，根据该滤色器的透过特性，决定受光像素具有灵敏度的光成分。在摄像部2i中，2×2像素的排列构成受光像素的排列的单位。例如，受光像素10、12、14、16构成该单位。
滤色器例如由着色后的有机材料形成，分别使对应的颜色的可见光透过，但在材质上也透过红外光。例如，图2是表示R(红)、G(绿)、B(蓝)各滤色器的透过率的波长特性的曲线图，图2也一并表示了发光二极管的分光灵敏度特性。各色的滤色器的透过率表示在可见光区域中根据各着色而表现固有的分光特性，但是在红外光区域，大致表现公共的分光特性。
另一方面，发光二极管除了波长380～780nm左右的可见光区域之外，在长波长的近红外光区域也具有灵敏度。因此，若红外(IR)成分入射到受光像素，则该IR成分就透过滤色器，在发光二极管中产生信号电荷。
受光像素10是配置了G滤色器的绿色光受光像素，不仅对于可见光，而且对于还包含IR成分的入射光，该受光像素产生与G成分以及IR成分对应的信号电荷。此外，同样，受光像素12是配置了R滤色器，产生与R成分及IR成分对应的信号电荷的红色光受光像素，受光像素14是配置了B滤色器，产生与B成分及IR成分对应的信号电荷的蓝色光受光像素。
受光像素16是配置选择性地使IR成分透过的IR滤色器(红外光透过滤色器)，产生与入射光中的IR成分对应的信号电荷的IR受光像素。可层叠R滤色器和B滤色器来构成该IR滤色器。这是因为可见光中透过B滤色器的B成分不透过R滤色器，而透过R滤色器的R成分不透过B滤色器，通过两滤色器，基本上能除去可见光成分，在透过光中残留透过两滤色器的IR成分。
在摄像部2i，该2×2像素的结构在垂直方向、水平方向上分别重复排列。
CCD图像传感器2由从未图示的驱动电路供给的时钟脉冲等驱动，在摄像部2i的各受光像素中产生的信号电荷通过蓄积部2s、水平传送部2h向输出部2d传送。输出部2d将从水平传送部2h输出的信号电荷变换为电压信号，作为图像信号输出。
模拟信号处理电路4对输出部2d所输出的模拟信号的图像信号实施放大或采样保持等处理。A/D变换电路6将从模拟信号处理电路4输出的图像信号变换为规定量化位数的数字数据，生成图像数据并输出。例如，A/D变换电路6进行向8位的数字值的A/D变换，由此，图像数据由从0～255的范围内的值表现。
数字信号处理电路8从A/D变换电路6取得图像数据，进行各种处理。例如，数字信号处理电路8进行对由R、G、B、IR各受光像素采样的R、G、B、IR的各数据的滤波处理。作为该滤波处理，进行对在彼此不同的采样点取得的R、G、B、IR各数据的插值处理，通过该插值处理，以构成图像的各采样点来定义R、G、B、IR数据。此外，在滤波处理中，也进行除去像素缺陷或随机噪声的处理。进而，数字信号处理电路8使用这些数据，进行生成表示红外合成图像的图像信号的处理，生成各采样点的亮度数据(亮度信号)Y和色差数据(色差信号)Cr、Cb。
图3是数字信号处理电路中与亮度信号Y、Cr、Cb的生成有关的图像信号处理电路的概略的电路结构图。此外，数字信号处理电路8所进行的各功能除了通过图3所示的硬件，还能通过由CPU(Central ProcessingUnit)或DSP(Digital Signal Processor)等执行的程序来实现。该图像信号处理电路进行如下处理：从对R、G、B、IR各受光像素所分别对应的输出信号进行上述的滤波处理而取得的信号<R>、<G>、<B>、<IR>生成Y、Cr、Cb的处理。以下，参照图3，说明生成Y、Cr、Cb的颜色信号处理方法。
若设<R>、<G>、<B>中与入射光的R、G、B成分对应的信号成分为R0、G0、B0，与红外光对应的信号成分为Ir、Ig、Ib，则下式成立。
<R>＝R0+Ir
<G>＝G0+Ig    …(1)
<B>＝B0+Ib
配置在R、G、B、IR各受光像素中的滤色器在红外光区域中基本具有同样的分光特性，Ir、Ig、Ib、<IR>变为相同程度。为了简化说明，设
Ir＝Ig＝Ib＝<IR>  …(2)，则根据(1)式，得到：
R0＝<R>-<IR>
G0＝<G>-<IR>    …(3)
B0＝<B>-<IR>
通过利用该关系，并使用红外成分图像信号<IR>，可从<R>、<G>、<B>中分别计算本来的颜色成分图像信号R0、G0、B0。在图3的图像信号处理电路中，加法器20进行(3)式右边的减法处理，输出R0、G0、B0。即，根据<R>、<G>、<B>、<IR>，进行分离并生成与入射光的RGB各成分以及红外光成分分别对应的信号成分R0、G0、B0、<IR>的成分图像信号生成处理。
本图像信号处理电路具有按RGB各色设置的乘法器22和加法器24。根据该结构，能进行将红外成分图像信号<IR>与增益相乘，与所述成分图像信号生成处理中取得的各色成分图像信号R0、G0、B0相加合成的红外合成处理。具体而言，在红外合成处理中，进行下式所示的处理，生成变换色成分图像信号RN、GN、BN。
RN＝R0+κR<IR>
GN＝G0+κG<IR>  …(4)
BN＝B0+κB<IR>
这里，κR、κG、κB是与RGB分别对应设置的乘法器22中设定的增益。这些增益κR、κG、κB按照合成到可见光像上的红外光像的强调方法决定。κR、κG、κB与规定的强调方法对应，能采用固定值，但是在本实施方式中，控制电路26与预先设定的算法或用户的指定对应，能变更κR、κG、κB。
例如，根据各像素中的<IR>，使红外合成图像的亮度变化，从而能在可见光像上显示红外光像。在该显示形态中，κR、κG、κB设定为具有与白色光的R、G、B成分比α∶β∶γ相同的比。即
κR∶κG∶κB＝α∶β∶γ…(5)
使用参数θ，表示为：
κR＝θα
κG＝θβ…(6)
κB＝θγ
可根据在可见光像上以何种程度强调红外光像进行显示来任意设定θ。例如，按照用户在合成图像上容易把握可见光像和红外光像二者的方式来确定θ。例如，控制电路26求出整个画面的<IR>的平均电平，基于该平均电平，按照实现整个图像的(4)式右边的第一项和第二项的适合的规定平衡的方式求出θ，从而可确定κR、κG、κB。
从各加法器24输出的RN、GN、BN向矩阵运算电路28输入，变换为Y、Cr、Cb。这里，通过按照满足(5)式的方式设定κR、κG、κB，从而与RGB各成分相加的IR成分在RGB的合成中成为白色光。因此，在红外合成图像中，显示与各像素的<IR>的值增大对应而亮度值Y增加的红外光像。而且，与增大设定θ相对应而强调显示该红外光像。
此外，通过操作增益κR、κG、κB的比，对红外合成图像上的红外光像能付与任意的颜色。例如，控制电路26按照使红外光像变为白色以外的色调的方式设定κR、κG、κB的比，并且可根据各像素中的<IR>使红外光像的亮度变化。使这时设定的色调为与可见光像容易识别的色调，从而强调红外光像。例如，手术部位的可见光的彩色图像基本上具有红系统的色调，与此对应，可将红外光像中设定的强调色调设定为蓝系统或绿系统。该色调的变化可仅在<IR>达到规定阈值以上的像素中进行。也可以在<IR>超过规定阈值并增加时，与<IR>联动地增加强调色调的彩度。
本图像信号处理电路能停止向加法器24输入R0、G0、B0。作为为此设置的部件，例如在图3所示的结构中，在RGB各自的信号路径上设置开关30。控制电路26根据用户的指示，控制开关30的通断，由此，可对合成了可见光像与红外光像后的红外合成图像、由红外光像单独构成的图像进行切换显示。
在可见光像上表现红外光像的方法并不局限于此前描述的将颜色成分图像信号R0、G0、B0和红外成分图像信号<IR>与增益相乘后的信号相加合成的方法。例如，通过基于颜色成分图像信号R0、G0、B0，将与可见光像对应的图像信号作为中间图像信号生成，并根据红外成分图像信号<IR>的信号电平调制该中间图像信号的各像素的亮度或色调的方法，也能容易分辨地在可见光像上显示红外光像。
这样的图像信号处理例如能组合到对矩阵运算电路28输入R0、G0、B0，根据它们生成亮度信号Y、色差信号Cr、Cb的过程中。对色调进行操作的一个例子是，控制电路26根据各像素的<IR>的电平，按各像素来操作矩阵运算电路28中的变换系数，将色差信号Cr、Cb的比设定为与本来的可见光像不同的值。此外，若按照通常方式生成Cr、Cb，然后分别乘以比例系数来改变它们的比率，则也能实现同样的处理。
使这些可见光像的色调变化的处理也与相加合成红外光像时同样，仅对<IR>在规定阈值以上的像素进行，或者在<IR>增加的同时使彩度增加，由此，能实现可见光像上显示的红外光像的清晰化。此外，也能采用在从本来的可见光像的色调可区别的范围内，与<IR>的增加联动地使色调自身变化的结构。
此外，用同样的原理，将可见光像本来具有的色调在<IR>低于规定阈值的像素中变更为无彩色，另一方面在<IR>为规定阈值以上的像素中用本来的色调显示的图像，也能在可见光像上容易分辨地表现红外光像。
此外，代替色调，也可以对亮度进行调制，例如，将可见光像本来具有的亮度在<IR>低于规定阈值的像素中减少一定比例，另一方面在<IR>为规定阈值以上的像素中用本来的亮度显示的图像，也能在可见光像上容易分辨地表现红外光像。
一般，由荧光造影剂取得的红外光的强度低。因此，在本摄像装置中，在上述的方法中，在可见光像上能强调显示红外光像。而在红外光的强度微弱的状态下，红外成分图像信号<IR>容易受随机噪声的影响。因此，通过数字信号处理电路8进行的上述的滤波处理，对红外成分图像信号<IR>提高强度，除去随机噪声，减轻其影响，从而能提高红外光像的清晰度。作为滤波处理，除了同一帧的空间处理之外，还可作为在帧之间取得红外成分图像信号<IR>的相关来抑制噪声的时间上的处理。此外，在多帧中将红外成分图像信号<IR>相加，代替乘以上述的增益的方法，能实现<IR>电平的增加，此外，S/N提高，上述处理中的<IR>的阈值的设定变得容易。
此外，在本实施方式的摄像装置中，作为固体摄像元件，使用帧传送型的CCD图像传感器2，但本发明对从其他方式的固体摄像元件取得的图像信号也能同样应用。例如，作为固体摄像元件，使用行间(interline)传送型等其他传送方式的CCD图像传感器、CMOS图像传感器，能构成与上述实施方式同样的摄像装置。此外，对图像信号处理电路输入的原图像信号<R>、<G>、<B>、<IR>也可以从固体摄像元件以外的摄像元件输出。
上述的实施方式的摄像装置具有CCD图像传感器2，作为将选择性地对红外光具有灵敏度的红外受光像素、对分别不同的特定色的可见光以及对所述红外光具有灵敏度的多种颜色受光像素进行二维排列的固体摄像元件。此外，数字信号处理电路8具有作为本发明的摄像装置的图像信号处理电路的功能，基于由与所述红外受光像素对应的红外像素信号<IR>和与所述各色受光像素分别对应的多种颜色像素信号<R>、<G>、<B>构成的、所述固体摄像元件所输出的原图像信号，生成处理图像信号Y、Cr、Cb，所述处理图像信号Y、Cr、Cb表示在可见光像上合成显示有被强调的红外光像的红外合成图像。
本发明的摄像装置的图像信号处理电路和本发明的图像信号处理装置进行：基于所述红外像素信号和所述各色像素信号，生成与红外光成分对应的红外成分图像信号<IR>和与所述各特定色的可见光成分对应的多种色成分图像信号R0、G0、B0的成分图像信号生成处理；(4)式表示的按所述各特定色，进行将所述颜色成分图像信号、和将所述红外光像的强调方法所对应的该特定色的增益与所述红外成分图像信号相乘得到的信号合成，来生成所述各特定色的变换色成分图像信号RN、GN、BN的处理的红外合成处理；基于所述多个变换色成分图像信号，生成所述处理图像信号的处理图像信号生成处理。
此外，本发明的其他摄像装置的图像信号处理电路和本发明的其他图像信号处理装置也可构成为进行：基于所述红外像素信号和所述各色像素信号，生成与红外光成分对应的红外成分图像信号、和与所述各特定色的可见光成分对应的多种颜色成分图像信号的成分图像信号生成处理；基于所述多个颜色成分图像信号，生成与所述可见光像对应的所述中间图像信号的中间图像生成处理；根据所述红外成分图像信号的信号电平，使所述中间图像信号表现的各像素的亮度或色调变化，生成所述处理图像信号的处理图像信号生成处理。
这些构成本发明的摄像装置的图像信号处理电路和提供本发明的图像信号处理装置的各功能的处理，可分别由硬件电路实现，也可通过由DSP那样的微处理器执行的软件的计算处理实现。
根据本发明，基于红外受光像素所输出的红外像素信号，与红外光对应的图像信号可与可见光成分所对应的图像信号独立地获得，由此，对于可见光像，可相对地强调显示红外光像，从而能获得在可见光像上合成显示有清晰的红外光像的红外合成图像。

Claims (10)

1.一种摄像装置，包括：
固体摄像元件，其二维排列有：选择性地对红外光具有灵敏度的红外受光像素、对各自相互不同的特定色的可见光以及所述红外光具有灵敏度的多种颜色受光像素；和
图像信号处理电路，其基于由与所述红外受光像素对应的红外像素信号以及与所述各色受光像素分别对应的多种颜色像素信号构成的、由所述固体摄像元件输出的原图像信号，生成表示红外合成图像的处理图像信号，该红外合成图像在可见光像上合成显示有被强调的红外光像；
所述图像信号处理电路进行：
成分图像信号生成处理，基于所述红外像素信号和所述各色像素信号，生成与红外光成分对应的红外成分图像信号和与所述各特定色的可见光成分对应的多种颜色成分图像信号；
红外合成处理，按所述各特定色，对所述颜色成分图像信号、和将所述红外光像的强调方法所对应的该特定色的增益乘以所述红外成分图像信号所得到的信号进行合成，生成按所述各特定色的变换色成分图像信号；和
处理图像信号生成处理，根据所述多个变换色成分图像信号，生成所述处理图像信号。
2.一种摄像装置，包括：
固体摄像元件，其二维排列有：选择性地对红外光具有灵敏度的红外受光像素、对各自相互不同的特定色的可见光以及所述红外光具有灵敏度的多种颜色受光像素；和
图像信号处理电路，其基于由与所述红外受光像素对应的红外像素信号以及与所述各色受光像素分别对应的多种颜色像素信号构成的、由所述固体摄像元件输出的原图像信号，生成表示红外合成图像的处理图像信号，该红外合成图像在可见光像上合成显示有红外光像；
所述图像信号处理电路进行：
成分图像信号生成处理，基于所述红外像素信号和所述各色像素信号，生成与红外光成分对应的红外成分图像信号和与所述各特定色的可见光成分对应的多种颜色成分图像信号；
中间图像生成处理，基于所述多个颜色成分图像信号，生成与所述可见光像相应的所述中间图像信号；和
处理图像信号生成处理，根据所述红外成分图像信号的信号电平，使所述中间图像信号所表示的各像素的亮度或色调变化，从而生成所述处理图像信号。
3.一种图像信号处理装置，其基于由二维排列有红外受光像素和多种颜色受光像素的摄像元件输出的、由与所述红外受光像素对应的红外像素信号以及与所述各色受光像素分别对应的多种颜色像素信号构成的原图像信号，生成表示红外合成图像的处理图像信号，该红外合成图像在可见光像上合成显示有被强调的红外光像，所述红外受光像素选择性地对红外光具有灵敏度，所述多种颜色受光像素对各自相互不同的特定色的可见光以及所述红外光具有灵敏度，
该图像信号处理装置包括：
成分图像信号生成处理，基于所述红外像素信号和所述各色像素信号，生成与红外光成分对应的红外成分图像信号和与所述各特定色的可见光成分对应的多种颜色成分图像信号；
红外合成处理，按所述各特定色，对所述颜色成分图像信号、和将所述红外光像的强调方法所对应的该特定色的增益乘以所述红外成分图像信号所得到的信号进行合成，生成按所述各特定色的变换色成分图像信号；和
处理图像信号生成处理，根据所述多个变换色成分图像信号，生成所述处理图像信号。
4.根据权利要求3所述的图像信号处理装置，其特征在于：
根据所述红外成分图像信号，使所述红外合成图像的亮度变化，从而强调所述红外光像。
5.根据权利要求3所述的图像信号处理装置，其特征在于：
根据所述红外成分图像信号的信号电平，使所述红外合成图像上的各像素的色调变化，从而强调所述红外光像。
6.根据权利要求5所述的图像信号处理装置，其特征在于：
当所述红外成分图像信号的信号电平在规定阈值以上时，将所述色调设定为规定的强调色调。
7.根据权利要求6所述的图像信号处理装置，其特征在于：
与所述阈值以上的所述红外成分图像信号的信号电平联动地使所述强调色调的彩度增加。
8.根据权利要求3所述的图像信号处理装置，其特征在于：
进行：
可见光像抑制处理，停止向所述红外合成处理输入所述各色成分图像信号；
合成控制处理，控制是否进行所述可见光像抑制处理，从而可在表示所述红外合成图像的所述处理图像信号的生成、和表示由所述红外光像单独构成的图像的所述处理图像信号的生成之间进行切换。
9.一种图像信号处理装置，其基于由二维排列有红外受光像素和多种颜色受光像素的摄像元件输出的、由与所述红外受光像素对应的红外像素信号以及与所述各色受光像素分别对应的多种颜色像素信号构成的原图像信号，生成表示红外合成图像的处理图像信号，该红外合成图像在可见光像上合成显示有红外光像，所述红外受光像素选择性地对红外光具有灵敏度，所述多种颜色受光像素对各自相互不同的特定色的可见光以及所述红外光具有灵敏度，
该图像信号处理装置包括：
成分图像信号生成处理，基于所述红外像素信号和所述各色像素信号，生成与红外光成分对应的红外成分图像信号和与所述各特定色的可见光成分对应的多种颜色成分图像信号；
中间图像生成处理，基于所述多个颜色成分图像信号，生成与所述可见光像相应的所述中间图像信号；和
处理图像信号生成处理，根据所述红外成分图像信号的信号电平，使所述中间图像信号所表示的各像素的亮度或色调变化，从而生成所述处理图像信号。
10.根据权利要求9所述的图像信号处理装置，其特征在于：
在所述处理图像信号生成处理中，对所述红外成分图像信号的信号电平低于规定阈值的像素，将所述中间图像信号所表示的所述色调变更为无彩色。
CN2007101692917A 2006-11-10 2007-11-08 摄像装置和图像信号处理装置 Expired - Fee Related CN101179742B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006305399A JP4949806B2 (ja) 2006-11-10 2006-11-10 撮像装置及び画像信号処理装置
JP2006305399 2006-11-10
JP2006-305399 2006-11-10

Publications (2)

Publication Number Publication Date
CN101179742A true CN101179742A (zh) 2008-05-14
CN101179742B CN101179742B (zh) 2010-06-09

Family

ID=39368824

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101692917A Expired - Fee Related CN101179742B (zh) 2006-11-10 2007-11-08 摄像装置和图像信号处理装置

Country Status (3)

Country Link
US (1) US7956325B2 (zh)
JP (1) JP4949806B2 (zh)
CN (1) CN101179742B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102124392A (zh) * 2008-08-19 2011-07-13 罗姆股份有限公司 照相机
CN102165762A (zh) * 2008-10-07 2011-08-24 松下电器产业株式会社 图像拍摄装置以及图像拍摄装置用信号处理电路
CN102812697A (zh) * 2009-10-01 2012-12-05 微软公司 用于构建色彩和深度图像的成像器
CN103929628A (zh) * 2013-01-10 2014-07-16 株式会社日立制作所 摄像装置
CN104350744A (zh) * 2012-06-07 2015-02-11 三星泰科威株式会社 具有多光谱滤光器阵列的相机系统及其图像处理方法
CN104754251A (zh) * 2013-12-27 2015-07-01 佳能株式会社 图像感测装置
WO2017004834A1 (en) * 2015-07-09 2017-01-12 Huawei Technologies Co., Ltd. Imaging method, image sensor, and imaging device
CN106575998A (zh) * 2014-12-19 2017-04-19 松下电器（美国）知识产权公司 发送方法、发送装置以及程序
CN106664394A (zh) * 2014-06-24 2017-05-10 日立麦克赛尔株式会社 摄像处理装置以及摄像处理方法
WO2017101641A1 (zh) * 2015-12-14 2017-06-22 比亚迪股份有限公司 图像传感器的成像方法、成像装置和电子设备
CN107105977A (zh) * 2015-01-21 2017-08-29 奥林巴斯株式会社 内窥镜装置
CN108389870A (zh) * 2017-02-03 2018-08-10 松下知识产权经营株式会社 摄像装置
CN110809881A (zh) * 2018-08-31 2020-02-18 深圳市大疆创新科技有限公司 图像处理系统和方法
JP2020513279A (ja) * 2016-12-14 2020-05-14 ハンドインスキャン ゼットアールティー． 使用者の手の滅菌及び滅菌の品質管理の方法並びに方法を実施するための装置

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1887785A1 (en) * 2006-08-04 2008-02-13 Nederlandse Organisatie voor Toegepast-Natuuurwetenschappelijk Onderzoek TNO Method and system for converting at least one first-spectrum image into a second-spectrum image
JP4971816B2 (ja) * 2007-02-05 2012-07-11 三洋電機株式会社 撮像装置
JP2009237878A (ja) * 2008-03-27 2009-10-15 Dainippon Printing Co Ltd 複合映像生成システム、重畳態様決定方法、映像処理装置及び映像処理プログラム
US8076628B2 (en) * 2008-09-25 2011-12-13 Apple Inc. Ambient light sensor with reduced sensitivity to noise from infrared sources
US8515196B1 (en) * 2009-07-31 2013-08-20 Flir Systems, Inc. Systems and methods for processing infrared images
US9008457B2 (en) * 2010-05-31 2015-04-14 Pesonify, Inc. Systems and methods for illumination correction of an image
CN102466519B (zh) * 2010-11-10 2014-02-05 敦南科技股份有限公司 光感测装置的输出信号校正方法及光感测装置
JP2013197243A (ja) * 2012-03-19 2013-09-30 Rohm Co Ltd 光センサ及びその出力回路
US20130258044A1 (en) * 2012-03-30 2013-10-03 Zetta Research And Development Llc - Forc Series Multi-lens camera
KR101926489B1 (ko) 2013-02-04 2018-12-07 한화테크윈 주식회사 다중대역 필터배열 센서를 이용한 영상융합장치 및 방법
JP2014216734A (ja) * 2013-04-24 2014-11-17 日立マクセル株式会社 撮像装置及び撮像システム
JP6594493B2 (ja) * 2013-05-10 2019-10-23 キヤノン株式会社 固体撮像装置およびカメラ
US9692992B2 (en) 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9667933B2 (en) * 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9990730B2 (en) 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
JP6595161B2 (ja) 2014-07-31 2019-10-23 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法、及び、撮像装置
JP6295915B2 (ja) * 2014-10-22 2018-03-20 株式会社島津製作所 イメージング装置
US10168281B2 (en) * 2015-01-27 2019-01-01 Hitachi High-Technologies Corporation Multicolor fluorescence analysis device
KR20160114474A (ko) * 2015-03-24 2016-10-05 (주)실리콘화일 4-컬러 이미지 센서, 4-컬러 이미지 센서의 제조방법 및 이에 따른 4-컬러 이미지 센서
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
JP2017079904A (ja) * 2015-10-26 2017-05-18 ソニー株式会社 手術顕微鏡、画像処理装置、及び、画像処理方法
WO2017077882A1 (ja) * 2015-11-04 2017-05-11 オリンパス株式会社 画像処理装置、内視鏡システム、画像処理方法、及び画像処理プログラム
US10638060B2 (en) * 2016-06-28 2020-04-28 Intel Corporation Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels
WO2018167816A1 (ja) * 2017-03-13 2018-09-20 株式会社島津製作所 撮像装置
JP6512320B2 (ja) * 2018-02-21 2019-05-15 株式会社島津製作所 イメージング装置
FR3082385B1 (fr) * 2018-06-08 2021-05-14 Ulis Dispositif et procede de compensation de chaleur parasite dans une camera infrarouge
CN109510930A (zh) * 2018-12-20 2019-03-22 天津天地伟业信息系统集成有限公司 一种三光融合的多维摄像系统及其图像呈现方法
US20220095903A1 (en) * 2019-01-25 2022-03-31 Intuitive Surgical Operations, Inc. Augmented medical vision systems and methods
JP7039639B2 (ja) * 2020-03-10 2022-03-22 キヤノン株式会社 画像処理装置、撮像装置、および画像処理方法
US11917272B2 (en) * 2020-10-28 2024-02-27 Semiconductor Components Industries, Llc Imaging systems for multi-spectral imaging

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4679068A (en) * 1985-07-25 1987-07-07 General Electric Company Composite visible/thermal-infrared imaging system
JPH01296785A (ja) * 1988-05-24 1989-11-30 Fujitsu Ltd 画像重畳装置
US5881176A (en) * 1994-09-21 1999-03-09 Ricoh Corporation Compression and decompression with wavelet style and binary style including quantization by device-dependent parser
JPH10325798A (ja) 1997-05-23 1998-12-08 Olympus Optical Co Ltd 顕微鏡装置
US6211521B1 (en) * 1998-03-13 2001-04-03 Intel Corporation Infrared pixel sensor and infrared signal correction
US6657663B2 (en) * 1998-05-06 2003-12-02 Intel Corporation Pre-subtracting architecture for enabling multiple spectrum image sensing
JPH11328392A (ja) * 1998-05-19 1999-11-30 Konica Corp 画像処理装置
TW423252B (en) * 1998-07-30 2001-02-21 Intel Corp Infrared correction system
US7274393B2 (en) * 2003-02-28 2007-09-25 Intel Corporation Four-color mosaic pattern for depth and image capture
EP1831657B1 (en) * 2004-12-03 2018-12-05 Fluke Corporation Method for a visible light and ir combined image camera
JP4352010B2 (ja) * 2005-02-04 2009-10-28 日本電信電話株式会社 被災地域情報共有システム及びその制御プログラム
JP2006217441A (ja) * 2005-02-07 2006-08-17 Sanyo Electric Co Ltd 色信号処理方法
JP2006237738A (ja) * 2005-02-22 2006-09-07 Sanyo Electric Co Ltd 色信号処理方法
JP2006237737A (ja) 2005-02-22 2006-09-07 Sanyo Electric Co Ltd カラーフィルタアレイ及び固体撮像素子
US7570286B2 (en) * 2005-05-27 2009-08-04 Honda Motor Co., Ltd. System and method for creating composite images
US7294892B2 (en) * 2005-05-27 2007-11-13 Faraday Technology Corp. Multi-transistor layout capable of saving area
JP4971816B2 (ja) * 2007-02-05 2012-07-11 三洋電機株式会社 撮像装置

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102124392A (zh) * 2008-08-19 2011-07-13 罗姆股份有限公司 照相机
US8629916B2 (en) 2008-08-19 2014-01-14 Rohm Co., Ltd. Camera with imaging unit and imaging unit for camera
CN102165762A (zh) * 2008-10-07 2011-08-24 松下电器产业株式会社 图像拍摄装置以及图像拍摄装置用信号处理电路
CN102165762B (zh) * 2008-10-07 2013-08-21 松下电器产业株式会社 图像拍摄装置以及图像拍摄装置用信号处理电路
CN102812697A (zh) * 2009-10-01 2012-12-05 微软公司 用于构建色彩和深度图像的成像器
CN104350744A (zh) * 2012-06-07 2015-02-11 三星泰科威株式会社 具有多光谱滤光器阵列的相机系统及其图像处理方法
CN104350744B (zh) * 2012-06-07 2017-03-29 韩华泰科株式会社 具有多光谱滤光器阵列的相机系统及其图像处理方法
CN103929628A (zh) * 2013-01-10 2014-07-16 株式会社日立制作所 摄像装置
CN104754251B (zh) * 2013-12-27 2018-02-16 佳能株式会社 图像感测装置
CN104754251A (zh) * 2013-12-27 2015-07-01 佳能株式会社 图像感测装置
CN106664394A (zh) * 2014-06-24 2017-05-10 日立麦克赛尔株式会社 摄像处理装置以及摄像处理方法
CN106664394B (zh) * 2014-06-24 2018-10-02 麦克赛尔株式会社 摄像处理装置以及摄像处理方法
CN106575998A (zh) * 2014-12-19 2017-04-19 松下电器（美国）知识产权公司 发送方法、发送装置以及程序
CN107105977B (zh) * 2015-01-21 2019-02-12 奥林巴斯株式会社 内窥镜装置
CN107105977A (zh) * 2015-01-21 2017-08-29 奥林巴斯株式会社 内窥镜装置
CN107534742A (zh) * 2015-07-09 2018-01-02 华为技术有限公司 成像方法、图像传感器以及成像设备
WO2017004834A1 (en) * 2015-07-09 2017-01-12 Huawei Technologies Co., Ltd. Imaging method, image sensor, and imaging device
US10491837B2 (en) 2015-07-09 2019-11-26 Huawei Technologies Co., Ltd. Imaging method, image sensor, and imaging device
CN107534742B (zh) * 2015-07-09 2021-01-12 华为技术有限公司 成像方法、图像传感器以及成像设备
WO2017101641A1 (zh) * 2015-12-14 2017-06-22 比亚迪股份有限公司 图像传感器的成像方法、成像装置和电子设备
JP2020513279A (ja) * 2016-12-14 2020-05-14 ハンドインスキャン ゼットアールティー． 使用者の手の滅菌及び滅菌の品質管理の方法並びに方法を実施するための装置
JP7187457B2 (ja) 2016-12-14 2022-12-12 ハンドインスキャン ゼットアールティー． 使用者の手の滅菌及び滅菌の品質管理の方法並びに方法を実施するための装置
CN108389870A (zh) * 2017-02-03 2018-08-10 松下知识产权经营株式会社 摄像装置
CN110809881A (zh) * 2018-08-31 2020-02-18 深圳市大疆创新科技有限公司 图像处理系统和方法
WO2020042149A1 (zh) * 2018-08-31 2020-03-05 深圳市大疆创新科技有限公司 图像处理系统和方法
CN110809881B (zh) * 2018-08-31 2021-08-24 深圳市大疆创新科技有限公司 图像处理系统和方法

Also Published As

Publication number Publication date
CN101179742B (zh) 2010-06-09
JP4949806B2 (ja) 2012-06-13
JP2008123194A (ja) 2008-05-29
US20080111894A1 (en) 2008-05-15
US7956325B2 (en) 2011-06-07

Similar Documents

Publication Publication Date Title
CN101179742B (zh) 摄像装置和图像信号处理装置
US11399123B2 (en) Image transformation and display for fluorescent and visible imaging
JP4453189B2 (ja) 撮像装置
EP1947998B1 (en) Device for short wavelength visible reflectance using broadband illumination
EP3756532B1 (en) Endoscope system
US10039439B2 (en) Endoscope system and method for operating the same
US20060221218A1 (en) Image sensor with improved color filter
CN101238974A (zh) 摄像装置
US20180220052A1 (en) Temporal Modulation of Fluorescence Imaging Color Channel for Improved Surgical Discrimination
CN102204258A (zh) 图像输入装置
CN103732117B (zh) 内窥镜装置
CN107735015A (zh) 使用彩色图像传感器的用于组织的激光散斑成像的方法和系统
US20160089010A1 (en) Endoscope system, processor device, and method for operating endoscope system
US10874293B2 (en) Endoscope device
WO2009145157A1 (ja) 信号処理システム及び信号処理プログラム
JP2016077756A (ja) 内視鏡システム、プロセッサ装置、内視鏡システムの作動方法、及びプロセッサ装置の作動方法
JP2810717B2 (ja) 蛍光観察用内視鏡
CN107105987B (zh) 图像处理装置及其工作方法、记录介质和内窥镜装置
CN106163367A (zh) 医用图像处理装置及其工作方法以及内窥镜系统
JP2002172082A (ja) 蛍光画像表示方法および装置
JP2011234844A (ja) 制御装置、内視鏡装置及びプログラム
CN106455955A (zh) 图像处理装置
CN110893096A (zh) 一种基于图像曝光的多光谱成像系统和方法
US20210161372A1 (en) Endoscope system
CN112004455A (zh) 医疗图像处理系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100609

Termination date: 20211108