JP2007174277A - 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム - Google Patents

画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP2007174277A
JP2007174277A JP2005369379A JP2005369379A JP2007174277A JP 2007174277 A JP2007174277 A JP 2007174277A JP 2005369379 A JP2005369379 A JP 2005369379A JP 2005369379 A JP2005369379 A JP 2005369379A JP 2007174277 A JP2007174277 A JP 2007174277A
Authority
JP
Japan
Prior art keywords
signal
image
rgb
wavelength region
visible light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005369379A
Other languages
English (en)
Other versions
JP4730082B2 (ja
JP2007174277A5 (ja
Inventor
Mitsuharu Oki
光晴 大木
Tomoo Mitsunaga
知生 光永
Shinichi Yoshimura
真一 吉村
Masanori Kasai
政範 笠井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005369379A priority Critical patent/JP4730082B2/ja
Priority to US11/640,252 priority patent/US20070153099A1/en
Publication of JP2007174277A publication Critical patent/JP2007174277A/ja
Publication of JP2007174277A5 publication Critical patent/JP2007174277A5/ja
Application granted granted Critical
Publication of JP4730082B2 publication Critical patent/JP4730082B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】低照度環境下での単板式撮像素子による撮影画像の高品質化を実現する。
【解決手段】ＲＧＢ信号等の可視光信号を取得する特定波長領域信号取得素子と、可視光および赤外光などの不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号各々のモザイク画像データに基づいて、赤外成分を含む輝度信号と、色差信号、あるいはＲＧＢの色信号を生成する。本構成により、可視光成分の少ない低照度環境下での撮影画像について解像度の高い高品質な画像を取得可能となり、ＲＧＢおよび赤外成分を持つＡチャネル画像に基づく色補正により色再現性の高い画像の生成が可能となる。
【選択図】図７

Description

本発明は、画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムに関する。特に、単板カラー方式の固体撮像素子による撮像データの信号処理を行なう画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムに関する。
一般的な単板カラー方式の固体撮像素子は、撮像素子の表面に、各画素において特定の波長成分のみを透過するようなカラーフィルタを貼り付け、複数個の画素の組によって必要な色成分を復元するものである。このとき、カラーフィルタで用いられる色配列は、例えば、図１（ａ）に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）を表現する色配列や、図１（ｂ）に示すように、輝度信号としての白（Ｙ）と赤（Ｒ）、緑（Ｇ）、青（Ｂ）を組み合わせた配列などが用いられる。これらは、いずれもベイヤー配列と呼ばれる。単板カラー方式の固体撮像素子では、このように各画素は単一の色成分の情報しかもたないため、周囲の画素の色情報を用いて補間処理を行うことによって、各画素において必要な色成分を復元するデモザイク処理が行われる。
単板カラー方式の固体撮像素子を具備する撮像装置の構成を図２に示す。単板カラー方式の固体撮像素子１３は、光学レンズ１１を通して入射される光のうち、カラーフィルタ１２を透過する光を受光する。固体撮像素子１３で光電変換されて電気信号として出力される画像信号は、図示しないＡ／Ｄ変換器によりデジタル信号に変換された後、カメラ信号処理部１４において、クリッピング処理、ガンマ補正、ホワイトバランス補正、デモザイク処理などが施されて、画像圧縮部１５に送られる。画像圧縮部１５は、画像信号のデータ量を削減し、所定の記録用画像フォーマットに変換して出力する。記録部１６は、変換された画像データを記録媒体に記録する。ここで、必ずしも画像圧縮処理が施されなくても良いが、近年では撮像素子の画素数が増加し、かつ装置自体の小型化が要求されているために画像圧縮が行われるのが通常である。
図３を参照して、単板カラー方式の固体撮像素子により取得された画像のデモザイク処理について説明する。単板カラー方式の固体撮像素子は、原色系のベイヤー配列（図１参照）などの色配列を持つカラーフィルタを介した撮像を行なう構成であり、各画素に対して特定の波長の信号、すなわち特定波長の色成分データだけを取得するようになっている。ベイヤー配列の単板カラー方式の固体撮像素子を用いた場合、固体撮像素子の出力画像２０は、各画素にＲ，Ｇ，Ｂいずれかの情報のみを持つ色モザイク画像となる。
デモザイク処理部２１は、画素ごとに色補間処理を行うことにより各色成分データ、すなわち、Ｒ，Ｇ，Ｂの全ての情報を復元する処理を実行する。
まずデモザイク処理部２１の実行するＧ信号の復元について説明する。図１（ａ）に示すベイヤー配列では、Ｇ信号は市松状に取得されている。固体撮像素子の出力画像２０においてＧ信号が存在しない画素（Ｇ１１を例にとる）では、周囲にあるＧ信号に基づく補間処理によって、Ｇ信号が生成される。具体的には、以下の式によってＧ信号（Ｇ１１）が復元される。
Ｇ１１＝（１／４）（Ｇ０１＋Ｇ２１＋Ｇ１０＋Ｇ１２）
次にＲ信号、およびＢ信号の復元について説明する。図１（ａ）に示すベイヤー配列では、Ｒ，Ｂともに、１画素ラインおきにデータが存在する。例えば、図３に示す固体撮像素子の出力画像２０の最上段の画素ラインには、Ｒ信号は存在するがＢ信号は存在しない。また、２番目の画素ラインには、Ｂ信号は存在するがＲ信号は存在しない。
それぞれデータＲまたはＢが存在する画素ラインにおいては１画素おきにデータが取得されている。固体撮像素子の出力画像２０においてＲ信号（Ｂ信号）が存在しない画素で、同ラインにＲ信号（Ｂ信号）が存在する場合（Ｒ０１，Ｂ１２を例にとる）、その画素ライン上のＲ，Ｂ信号のない画素における補間画素値は、以下の式によって算出され、各画素のＲ信号（Ｂ信号）が復元される。
Ｒ０１＝（１／２）（Ｒ００＋Ｒ０２）
Ｂ１２＝（１／２）（Ｂ１１＋Ｂ１３）
同様にして、同カラムにＲ信号（Ｂ信号）が存在する場合（Ｒ１０，Ｂ２１を例にとる）、Ｒ，Ｂ信号のない画素における補間画素値は、以下の式によって算出され、各画素のＲ信号（Ｂ信号）が復元される。
Ｒ１０＝（１／２）（Ｒ００＋Ｒ２０）
Ｂ２１＝（１／２）（Ｂ１１＋Ｂ３１）
さらに、同ラインにも同カラムにもＲ信号（Ｂ信号）が存在しない場合（Ｒ１１，Ｂ２２を例にとる）、Ｒ，Ｂ信号のない画素における補間画素値は、以下の式によって算出され、各画素のＲ信号（Ｂ信号）が復元される。
Ｒ１１＝（１／４）（Ｒ００＋Ｒ０２＋Ｒ２０＋Ｒ２２）
Ｂ２２＝（１／４）（Ｂ１１＋Ｂ１３＋Ｂ３１＋Ｂ３３）
デモザイク処理部２１は、上述のような色補間処理を行い、全画素に対するＲ信号２２ｒ、Ｇ信号２２ｇ、Ｂ信号２２ｂを出力する。なお、補間処理は一例であり、他の色信号との相関を利用したような色補間処理を行っても良い。
近年、ディジタルスチルカメラやムービーカメラにおいて、低照度の照明下において撮影した画像品質の向上が重要な課題となっている。低照度の照明下において画像を撮影しようとする場合、シャッタースピードを遅くしたり、絞り値の明るいレンズを使用したり、またフラッシュなどの可視光の外部光源を利用するのが一般的である。
この場合、シャッタースピードを遅くすると手ぶれや被写体ぶれを招く。またレンズの絞り値にも通常は限界があってある程度以上は明るくすることができない。さらに、可視光の外部光源を使用すると、その場の照明による雰囲気を損なってしまう問題がある。
低照度条件下では色温度が低くて、赤外光の放射量の多い光源が使われている場合が多い。また、補助光として赤外光などの不可視光を使えば雰囲気を損なうことが少ない。以上のことから、赤外光などの不可視光を多く含む光源下において、実効的な撮影感度を上げる技術が望まれている。
たとえば特許文献１には、先に図１（ｂ）を参照して説明した色配列、すなわち輝度信号としての白（Ｙ）と赤（Ｒ）、緑（Ｇ）、青（Ｂ）を組み合わせたベイヤー配列を適用した撮像素子を用いて、高解像度の画像を得る信号処理について開示している。特許文献１は、図１（ｂ）に示す白画素を市松配置したカラーフィルタアレイを適用し、すべての画素が赤外光を感じないことを前提に、市松配置画素の白画素を利用して高い解像度を得る信号処理について説明している。
すなわち、図１（ｂ）に示す配置によれば、市松配列のＹ画素はほぼ可視光全体に感度を持つため、図１（ａ）に示すように緑（Ｇ）画素を市松配置にする構成より大きな信号が得られる。このため、緑画素市松配置の場合に比べて解像度を左右する市松配置の信号のＳ／Ｎ比を良くすることができるというものである。
しかしながら、図１（ｂ）に示すような配列は、十分な照度がある場合には有効となるが、十分な照度が得られない暗闇のような場合や、光源に赤外光が多く含まれる低照度の条件、あるいは低照度で赤外光の補助光を使用する撮影条件においては、感度はまだ不十分となり、ノイズを削減した高品質な画像を生成することはできないという問題がある。
特開平４−８８７８４
本発明は、単板カラー方式の固体撮像素子を具備する撮像装置において、十分な照度が得られない暗闇のような場合や、光源に赤外光が多く含まれる低照度の条件、あるいは低照度で赤外光の補助光を使用する撮影条件で撮影された画像でも、ノイズを低減した高品質な画像データを生成することを可能とした画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第１の側面は、
画像信号処理装置であり、
特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を輝度信号として生成する輝度信号生成部と、
前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づく色差信号を生成する色差信号生成部と、
を有することを特徴とする画像信号処理装置にある。
さらに、本発明の画像信号処理装置の一実施態様において、前記特定波長領域信号取得素子は、ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、前記広波長領域信号取得素子は、ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であり、前記輝度信号生成部は、前記Ａ信号を取得するＡ素子の取得信号であるＡモザイク画像を入力し、ＲＧＢ色信号成分と赤外光成分を含むＡ信号デモザイク画像を輝度信号として生成する処理を実行する構成であり、前記色差信号生成部は、前記ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を入力し、ＲＧＢデモザイク画像を生成し、該ＲＧＢデモザイク画像に基づく色差信号を生成する構成であることを特徴とする。
さらに、本発明の画像信号処理装置の一実施態様において、前記色差信号生成部は、前記ＲＧＢデモザイク画像に基づく色差信号、Ｒ−Ｙ、Ｂ−Ｙを生成する処理を実行する構成であることを特徴とする。
さらに、本発明の第２の側面は、
画像信号処理装置であり、
特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像から、可視光の色成分信号を抽出する第１色成分信号抽出部と、
前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づいて色成分信号を抽出する第２色成分信号抽出部と、
前記第１色成分抽出部の抽出した色成分信号と、前記第２色成分抽出部の抽出した色成分信号との合成処理を実行する合成処理部と、
を有することを特徴とする画像信号処理装置にある。
さらに、本発明の画像信号処理装置の一実施態様において、前記第１色成分信号抽出部は、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を生成する広波長領域信号デモザイク画像生成部と、前記広波長領域信号デモザイク画像から高周波成分を抽出し、広波長領域信号高周波成分画像を生成する広波長領域信号高周波成分画像生成部と、
前記広波長領域信号高周波成分画像から、可視光の色成分信号を抽出する可視光色成分信号抽出部とを有する構成であることを特徴とする。
さらに、本発明の画像信号処理装置の一実施態様において、前記特定波長領域信号取得素子は、ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、前記広波長領域信号取得素子は、ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であり、前記第１色成分信号抽出部は、前記Ａ素子の取得信号であるモザイク画像を入力し、Ａ信号デモザイク画像から、可視光の色成分信号ＲＧＢを抽出する処理を実行する構成であり、前記第２色成分信号抽出部は、前記ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を入力し、ＲＧＢデモザイク画像を生成し、該ＲＧＢデモザイク画像に基づいて色成分信号ＲＧＢを抽出する構成であり、前記合成処理部は、前記第１色成分抽出部の抽出した色成分信号ＲＧＢと、前記第２色成分抽出部の抽出した色成分信号ＲＧＢとの合成処理を実行する構成であることを特徴とする。
さらに、本発明の第３の側面は、
撮像素子であり、
特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、
可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子と、
によって構成される素子配列を持つ撮像素子にある。
さらに、本発明の撮像素子の一実施態様において、前記特定波長領域信号取得素子は、ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、前記広波長領域信号取得素子は、ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であることを特長とする。
さらに、本発明の撮像素子の一実施態様において、前記撮像素子において、前記広波長領域信号取得素子は、市松状に配置されている構成であることを特徴とする。
さらに、本発明の第４の側面は、
撮像装置であり、
特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子と、
前記単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を輝度信号として生成する輝度信号生成部と、
前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づく色差信号を生成する色差信号生成部と、
を有することを特徴とする撮像装置にある。
さらに、本発明の撮像装置の一実施態様において、前記特定波長領域信号取得素子は、ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、前記広波長領域信号取得素子は、ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であり、前記輝度信号生成部は、前記Ａ信号を取得するＡ素子の取得信号であるＡモザイク画像を入力し、ＲＧＢ色信号成分と赤外光成分を含むＡ信号デモザイク画像を輝度信号として生成する処理を実行する構成であり、前記色差信号生成部は、前記ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を入力し、ＲＧＢデモザイク画像を生成し、該ＲＧＢデモザイク画像に基づく色差信号を生成する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記色差信号生成部は、前記ＲＧＢデモザイク画像に基づく色差信号、Ｒ−Ｙ、Ｂ−Ｙを生成する処理を実行する構成であることを特徴とする。
さらに、本発明の第５の側面は、
撮像装置であり、
特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子と、
前記単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像から、可視光の色成分信号を抽出する第１色成分信号抽出部と、
前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づいて色成分信号を抽出する第２色成分信号抽出部と、
前記第１色成分抽出部の抽出した色成分信号と、前記第２色成分抽出部の抽出した色成分信号との合成処理を実行する合成処理部と、
を有することを特徴とする撮像装置にある。
さらに、本発明の撮像装置の一実施態様において、前記第１色成分信号抽出部は、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を生成する広波長領域信号デモザイク画像生成部と、前記広波長領域信号デモザイク画像から高周波成分を抽出し、広波長領域信号高周波成分画像を生成する広波長領域信号高周波成分画像生成部と、前記広波長領域信号高周波成分画像から、可視光の色成分信号を抽出する可視光色成分信号抽出部とを有する構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記特定波長領域信号取得素子は、ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、前記広波長領域信号取得素子は、ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であり、前記第１色成分信号抽出部は、前記Ａ素子の取得信号であるモザイク画像を入力し、Ａ信号デモザイク画像から、可視光の色成分信号ＲＧＢを抽出する処理を実行する構成であり、前記第２色成分信号抽出部は、前記ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を入力し、ＲＧＢデモザイク画像を生成し、該ＲＧＢデモザイク画像に基づいて色成分信号ＲＧＢを抽出する構成であり、前記合成処理部は、前記第１色成分抽出部の抽出した色成分信号ＲＧＢと、前記第２色成分抽出部の抽出した色成分信号ＲＧＢとの合成処理を実行する構成であることを特徴とする。
さらに、本発明の第６の側面は、
画像信号処理方法であり、
特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を輝度信号として生成する輝度信号生成ステップと、
前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づく色差信号を生成する色差信号生成ステップと、
を有することを特徴とする画像信号処理方法にある。
さらに、本発明の画像信号処理方法の一実施態様において、前記特定波長領域信号取得素子は、ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、前記広波長領域信号取得素子は、ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であり、前記輝度信号生成ステップは、前記Ａ信号を取得するＡ素子の取得信号であるＡモザイク画像を入力し、ＲＧＢ色信号成分と赤外光成分を含むＡ信号デモザイク画像を輝度信号として生成する処理を実行するステップであり、前記色差信号生成ステップは、前記ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を入力し、ＲＧＢデモザイク画像を生成し、該ＲＧＢデモザイク画像に基づく色差信号を生成するステップであることを特徴とする。
さらに、本発明の画像信号処理方法の一実施態様において、前記色差信号生成ステップは、前記ＲＧＢデモザイク画像に基づく色差信号、Ｒ−Ｙ、Ｂ−Ｙを生成する処理を実行するステップであることを特徴とする。
さらに、本発明の第７の側面は、
画像信号処理方法であり、
特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像から、可視光の色成分信号を抽出する第１色成分信号抽出ステップと、
前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づいて色成分信号を抽出する第２色成分信号抽出ステップと、
前記第１色成分抽出ステップにおいて抽出した色成分信号と、前記第２色成分抽出ステップにおいて抽出した色成分信号との合成処理を実行する合成処理ステップと、
を有することを特徴とする画像信号処理方法にある。
さらに、本発明の画像信号処理方法の一実施態様において、前記第１色成分信号抽出ステップは、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を生成する広波長領域信号デモザイク画像生成ステップと、前記広波長領域信号デモザイク画像から高周波成分を抽出し、広波長領域信号高周波成分画像を生成する広波長領域信号高周波成分画像生成ステップと、前記広波長領域信号高周波成分画像から、可視光の色成分信号を抽出する可視光色成分信号抽出ステップとを有する構成であることを特徴とする。
さらに、本発明の画像信号処理方法の一実施態様において、前記特定波長領域信号取得素子は、ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、前記広波長領域信号取得素子は、ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であり、前記第１色成分信号抽出ステップは、前記Ａ素子の取得信号であるモザイク画像を入力し、Ａ信号デモザイク画像から、可視光の色成分信号ＲＧＢを抽出する処理を実行するステップであり、前記第２色成分信号抽出ステップは、前記ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を入力し、ＲＧＢデモザイク画像を生成し、該ＲＧＢデモザイク画像に基づいて色成分信号ＲＧＢを抽出するステップであり、前記合成処理ステップは、前記第１色成分抽出ステップにおいて抽出した色成分信号ＲＧＢと、前記第２色成分抽出ステップにおいて抽出した色成分信号ＲＧＢとの合成処理を実行するステップであることを特徴とする。
さらに、本発明の第８の側面は、
画像信号処理装置において画像信号処理を実行させるコンピュータ・プログラムであり、
特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を輝度信号として生成する輝度信号生成ステップと、
前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づく色差信号を生成する色差信号生成ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。
さらに、本発明の第９の側面は、
画像信号処理装置において画像信号処理を実行させるコンピュータ・プログラムであり、
特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像から、可視光の色成分信号を抽出する第１色成分信号抽出ステップと、
前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づいて色成分信号を抽出する第２色成分信号抽出ステップと、
前記第１色成分抽出ステップにおいて抽出した色成分信号と、前記第２色成分抽出ステップにおいて抽出した色成分信号との合成処理を実行する合成処理ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づく、より詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の構成によれば、ＲＧＢ信号等の可視光信号を取得する特定波長領域信号取得素子と、可視光および赤外光などの不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号各々のモザイク画像データに基づいて、赤外成分を含む輝度信号と、色差信号、あるいはＲＧＢの色信号を生成する構成としたので、可視光成分の少ない低照度環境下での撮影画像について解像度の高い高品質な画像を取得することが可能であり、ＲＧＢおよび赤外成分を持つＡチャネル画像に基づく色補正を行なうことで、色再現性の高い画像を生成することが可能となる。
以下、図面を参照しながら、本発明の画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラムについて説明する。説明は、以下の順番で行なう。
１、撮像素子構成
２．画像信号処理例１
３．画像信号処理例２
［１．撮像素子構成］
まず、本発明の撮像装置において適用する撮像素子（イメージャ）の構成について説明する。本発明の撮像装置は、基本的には、先に図２を参照して説明したと同様の高を有するが、撮像装置において適用する撮像素子（イメージャ）が、図１を参照して説明したベイヤー配列とは異なる構成を持つ。本発明の撮像装置において適用する撮像素子（イメージャ）の構成例について、図４を参照して説明する。先に図１を参照して、一般的な単板カラー方式の固体撮像素子について説明したが、一般的な単板カラー方式の固体撮像素子は、撮像素子の表面に、各画素において特定の波長成分のみを透過するようなカラーフィルタを貼り付け、複数個の画素の組によって必要な色成分を復元するものである。このとき、カラーフィルタで用いられる色配列は、例えば、図１に示すように、４画素の組によって赤（Ｒ）、緑（Ｇ）、青（Ｂ）を表現するベイヤー配列などが使用される。
本発明の撮像装置において適用する撮像素子は、図４に示す色配列を有する。すなわち、
赤色近傍の波長を透過する赤（Ｒ）、
緑色近傍の波長を透過する緑（Ｇ）、
青色近傍の波長を透過する青（Ｂ）、
これらに加え、
赤外線（ＩＲ）とＲＧＢのすべてを透過するＡ、
これら４種類の分光特性を持つフィルタによって構成される。４種類の分光は、Ｒチャネル、Ｇチャネル、Ｂチャネル，そして赤外線（ＩＲ）とＲＧＢをすべて透過するＡチャネルからなり、この撮像素子によって４種類の分光から成るモザイク画像が得られる。
なお、Ａは、可視光部分の輝度信号（Ｙ）と赤外光信号（ＩＲ）の双方を含む信号であり、
Ａ＝Ｙ＋ＩＲ
と表記することができる。
上記４種類のフィルタの分光特性について、図５を参照して説明する。Ｂチャネルに対応するフィルタは、青色に相当する約２００〜３００ｎｍの波長の光信号の透過率が高いフィルタであり、Ｇチャネルに対応するフィルタは、緑色に相当する約４５０〜５５０ｎｍの波長の光信号の透過率が高いフィルタであり、Ｒチャネルに対応するフィルタは、赤色に相当する約５５０〜６５０ｎｍの波長の光信号の透過率が高いフィルタである。これらのＲＧＢ対応のフィルタは、約７００ｎｍ以上の波長を持つ赤外光成分はほとんど透過しない性質を持つ。
一方、Ａチャネル対応のフィルタは、図に示すように、ピークは約５３０ｎｍ付近であるが、ＲＧＢ成分のすべての信号を透過するとともに、７００ｎｍ以上の赤外光成分も透過する性質を持つ。
このように、本発明の撮像素子は、ＲＧＢ等の特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子（ＲＧＢ素子）と、ＲＧＢ等の可視光および赤外光等の不可視光成分を含む光信号を取得する広波長領域信号取得素子（Ａ素子）によって構成される素子配列を持つ単板式撮像素子である。
本発明の撮像装置において適用する撮像素子は、このような４種類のＲＧＢＡ対応の透過フィルタを持つ撮像素子であり、図４に示すように、ＲＧＢ色信号を個別に取得するＲＧＢ素子とＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子によって構成される色配列を持つ単板式撮像素子である。
なお、ＲＧＢＡの配列は、図４に示す配列構成の他の設定も可能であり、例えば図６に示す配列としてもよい。図６に示す光学フィルタ配列は、図３に示す配列を４５度回転させた構成に相当する。
図４、図６いずれにおいても、Ａ信号の取得素子は、市松状に配置されている。本発明の撮像装置では、図４や図６に示す撮像素子（イメージャ）を適用して撮影した画像データに基づいて信号処理を実行し、低照度の下で撮影した画像であっても効果的なノイズ低減を実現して高品質な画像を得ることを可能とする構成を持つ。
［２．画像信号処理例１］
次に、図４または図６に示す撮像素子（イメージャ）を適用して撮影した画像データに基づく信号処理の第１の具体例について、図７を参照して説明する。本処理例は、例えば低照度の下で撮影された画像など、ノイズを多く含む画像についてのノイズ低減処理を図４または図６に示す撮像素子（イメージャ）を適用して撮影した１枚の画像データに基づいて実行する処理例である。
図７は、図４または図６に示すＲＧＢＡの配列を持つ撮像素子（ＣＣＤ）１０１において撮影された画像の信号処理によって、輝度信号（Ｙ）と、２つの色差信号（Ｒ−Ｙ）、（Ｂ−Ｙ）を取得するための信号処理構成を示す図である。なお、撮像素子によって取得されたデータに対しては、例えばホワイトバランス調整などの処理が実行されることになるが、これらの処理は、従来と同様の処理であり、図７には示していない。
図７に示す構成は、図４または図６に示すＲＧＢＡの配列を持つ撮像素子（ＣＣＤ）１０１によって取得される信号から、Ａ素子の取得信号であるモザイク画像を取得し、広波長領域信号によるＡデモザイク画像を輝度信号として生成する輝度信号生成部と、ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を取得し、可視光領域信号に対応するＲＧＢデモザイク画像を生成し、該ＲＧＢデモザイク画像に基づく色差信号を生成する色差信号生成部とから構成される。図７において、ローパスフィルタ１１１が輝度信号生成部に相当し、ローパスフィルタ１１２〜１１７およびマトリクス演算部１１７が色差信号生成部に相当する。
図７の構成を適用した信号処理について説明する。まず、図４または図６に示すＲＧＢＡの配列を持つ撮像素子（ＣＣＤ）１０１において撮影された信号は、ＡＤ変換部１０２においてデジタルデータに変換される。ここで、生成される信号は、ＲＧＢＡ各々に対応する４つのモザイク画像となる。
例えば、図４を参照して説明した色配列を持つ撮像素子を適用した場合、図８（１）に示すような４つのＲＧＢＡ各々のモザイク画像が取得される。これらの４つのモザイク画像は、画素値の存在しない画素部分を周囲の画素値によって補間する処理によって、全ての画素の画素値を設定する補間処理を実行するローパスフィルタ１１１〜１１６にそれぞれ入力され、デモザイク処理が実行される。
デモザイク処理は、先に図３を参照して説明したように、画素値を持たない画素について、周囲の画素値に基づく補間を実行して、すべての画素の画素値を設定する処理によって行なわれる。例えば、公知のＶａｒｇｒａのアルゴリズムと同様な方法を適用することができる。Ｖａｒｇｒａのアルゴリズムは、画素値の８方向勾配を求め、勾配の近い画素値を平均することによりデモザイクを行うアルゴリズムである。
このデモザイク処理は、画素値の存在しない画素部分の画素値を周囲画素の画素値によって決定する処理である。この処理には、いわゆる二次元ＦＩＲフィルタによって行なわれる。すなわち、画素位置に対応する係数を持つフィルタが適用される。なお、Ｒ，Ｂについては、２段階のローパスフィルタが適用され、オフセットサブサンプリングに対応する補間フィルタとしてのローパスフィルタ１１３，１１４での処理の後、ローパスフィルタ１１２と同様のローパスフィルタ１１５，１１６によって、すべての画素の画素値の設定が行なわれる。
この補間処理によって、例えば、図８（２）に示すようなデモザイク画像が得られる。デモザイク画像１５１が、図７に示すローパスフルタ１１３，１１５における補間処理によって生成されるＲチャネルのデモザイク画像であり、デモザイク画像１５２が、図７に示すローパスフルタ１１２における補間処理によって生成されるＲチャネルのデモザイク画像であり、デモザイク画像１５３が、図７に示すローパスフルタ１１４，１１６における補間処理によって生成されるＢチャネルのデモザイク画像であり、デモザイク画像１５４が、図７に示すローパスフルタ１１１における補間処理によって生成されるＡチャネルのデモザイク画像である。
図８（２）に示す４つのデモザイク画像中のＲＧＢＡはモザイク画像によって得られる画素値であり、ｒｇｂａはデモザイク処理によって得られる補間画素値を示している。
図７に示すローパスフルタ１１１における補間処理によって生成される図８に示すデモザイク画像１１４は、Ａチャネル、すなわち、ＧＢＲ等の可視光領域の波長と、赤外光（ＩＲ）の波長領域を含む光の強度に対応する画素値が、各画素に設定されることになる。このデモザイク画像は、図７に示すように、ローパスフィルタ１１１からの出力として得られ、その信号は、
Ａ＝Ｙ＋ＩＲ
となり、先に図５を参照して説明したように、信号Ａは、可視光領域から赤外光領域を含み、より広範囲の波長の光成分を含むデモザイク画像が出力される。
一方、ローバスフィルタ１１２〜１１６において生成されたＲＧＢ対応のデモザイク画像、すなわち、図８（２）に示すデモザイク画像１５１〜１５３は、図７に示すマトリクス演算部１１７に入力され、ＲＧＢ各信号に基づくマトリックス演算によって、色差信号［Ｒ−Ｙ］、［Ｂ−Ｙ］が生成されて出力される。
従来のベイヤー配列、例えば、先に図１（ｂ）を参照して説明したベイヤー配列（ＹＧＢＲ）の構成を持つ撮像素子を適用して、図７に示す信号処理回路を適用して輝度信号と、色差信号を生成した場合、輝度信号は、可視光領域の波長成分のみしか含まない輝度信号（Ｙ）となるが、本発明に従った図４または図６に示すＲＧＢＡの色配列を持つ撮像素子を適用することで、可視光および赤外光を含む広範囲の波長の光成分を含むＡチャネルのデモザイク画像を得ることができ、これを輝度信号［Ａ＝Ｙ＋ＩＲ］として使用することができる。
このように、輝度成分に赤外光成分を含めることで、照度の低い環境で撮影された画像データにおいても、赤外光成分のレベル差が検出される環境下では、Ａチヤネル対応のデモザイク画像の各画素の画素値は、赤外光成分のレベル差を反映したデータとなり、照度の低い環境で撮影された画像データのＳ／Ｎ比を改善することが可能となる。本構成は、例えば、高い色再現性を要求されないが感度やＳ／Ｎ比を高める必要がある監視カメラなどの用途に適している。
［３．画像信号処理例２］
次に、本発明の第２の画像信号処理例について、図９以下を参照して説明する。図７を参照して説明した信号処理回路は、輝度成分に赤外光を含むため、可視光データのみに基づく色解析処理を行なう構成に比較して色再現性が劣るという問題がある。以下に示す信号処理例は、この点を改善し、色再現性を高めた構成である。
第２の画像信号処理構成について図９を参照して説明する。本処理例も先の処理例と同様、図４または図６に示すＲＧＢＡの配列を持つ撮像素子（ＣＣＤ）２０１において撮影された画像の信号処理を行う。本処理例では、出力としてＲＧＢの色信号を出力する。なお、図９に示す回路構成も、先に説明した処理例１と同様、例えばホワイトバランス調整などの処理などは、従来と同様の処理であり、図には示していない。
図９に示す構成は、図４または図６に示すＲＧＢＡの配列を持つ撮像素子（ＣＣＤ）１０１によって取得される信号から、Ａ素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応するＡデモザイク画像から、可視光の色成分信号を抽出する第１色成分信号抽出部と、ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を入力し、可視光領域信号に対応するＲＧＢデモザイク画像を生成し、ＲＧＢデモザイク画像に基づいて色成分信号を抽出する第２色成分信号抽出部と、第１色成分抽出部の抽出した色成分信号と、第２色成分抽出部の抽出した色成分信号との合成処理を実行する合成処理部とによって構成される。
図９に示す構成において、ローパスフィルタ２１１、ハイパスフィルタ２２１、マトリクス演算部２２２が第１色成分抽出部に相当し、ローパスフィルタ２１２〜２１６、マトリクス演算部２１７が、第２色成分抽出部に相当し、加算部２３１〜２３３が合成処理部に相当する。
なお、第１色成分信号抽出部におけるローパスフィルタ２１１は、広波長領域信号取得素子（Ａ素子）の取得信号であるＡモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を生成する広波長領域信号デモザイク画像生成部として機能し、ハイパスフィルタ２２１は、Ａデモザイク画像から高周波成分を抽出し、広波長領域信号高周波成分画像を生成する広波長領域信号高周波成分画像生成部として機能し、マトリクス演算部２２２は、広波長領域信号高周波成分画像から、可視光の色成分信号を抽出する可視光色成分信号抽出部として機能する。
図９の構成を適用した信号処理について説明する。まず、図４または図６に示すＲＧＢＡの配列を持つ撮像素子（ＣＣＤ）２０１において撮影された信号は、ＡＤ変換部２０２においてデジタルデータに変換される。ここで、生成される信号は、ＲＧＢＡ各々に対応する４つのモザイク画像となる。
例えば、図４を参照して説明した色配列を持つ撮像素子を適用した場合、図８（１）に示すような４つのＲＧＢＡ各々のモザイク画像が取得される。これらの４つのモザイク画像は、画素値の存在しない画素部分を周囲の画素値によって補間する処理によって、全ての画素の画素値を設定する補間処理を実行するローパスフィルタ２１１〜２１６にそれぞれ入力され、デモザイク処理が実行される。これらの処理は、先に図７を参照して説明した処理例１と同様の処理である。
ローパスフィルタ２１１〜２１６における補間処理によって、例えば、図８（２）に示すようなデモザイク画像が得られる。デモザイク画像１５１が、図９に示すローパスフルタ２１３，２１５における補間処理によって生成されるＲチャネルのデモザイク画像であり、デモザイク画像１５２が、図９に示すローパスフルタ９１２における補間処理によって生成されるＲチャネルのデモザイク画像であり、デモザイク画像１５３が、図９に示すローパスフルタ２１４，２１６における補間処理によって生成されるＢチャネルのデモザイク画像であり、デモザイク画像１５４が、図９に示すローパスフルタ２１１における補間処理によって生成されるＡチャネルのデモザイク画像に相当する。
図９に示すローパスフルタ２１１における補間処理によって生成されるデータは、図８に示すデモザイク画像１１４であり、Ａチャネル、すなわち、ＧＢＲ等の可視光領域の波長と、赤外光（ＩＲ）の波長領域を含む光の強度に対応する画素値が、各画素に設定されたデモザイク画像である。
本処理例では、このＡチャネルのデモザイク画像をハイパスフィルタ２２１に入力し、Ａチャネルのデモザイク画像から高周波成分を抽出する。ハイパスフィルタ２２１は、例えば、以下の式（式１）に示す係数、あるいは、図１０に示す係数を持つフィルタである。
Figure 2007174277
ハイパスフィルタ２２１は、例えば高域成分を抽出するＦＩＴフィルタである。ハイパスフィルタ２２１は、Ａチャネルのデモザイク画像から高周波成分を抽出し、Ａチャネル高周波成分抽出結果画像を生成する。
さらに、Ａチャネルのデモザイク画像から生成されたＡチャネル高周波成分抽出結果画像は、マトリクス演算部２２２に入力される。マトリクス演算部２２２では、Ａチャネルに含まれるＲＧＢ各々の波長成分データが抽出される。前述したようにＡチャネルは可視光成分と赤外光成分の両方の波長領域情報を含んでおり、ＲＧＢに相当する波長成分信号も含まれる。マトリクス演算部２２２は、Ａチャネル高周波成分抽出結果画像からＲＧＢ要素を抽出する。
マトリクス演算部２２２は、例えば、以下の式（式２）に示す係数を持つ。
Figure 2007174277
上記式において、
Ａｈｐｆ：Ａチャネル高周波成分抽出結果画像の画素値（入力）
Ｒｈｐｆ：Ａチャネル高周波成分抽出結果画像から抽出されるＲ信号（出力）
Ｇｈｐｆ：Ａチャネル高周波成分抽出結果画像から抽出されるＲ信号（出力）
Ｂｈｐｆ：Ａチャネル高周波成分抽出結果画像から抽出されるＲ信号（出力）
である。マトリクス演算部２２２は、Ａチャネル高周波成分抽出結果画像を構成する各画素の画素値［Ａｈｐｆ］に基づいて、ＲＧＢ各成分［Ｒｈｐｆ，Ｇｈｐｆ，Ｂｈｐｆ］を抽出する。
一方、ローパスフィルタ２１２〜２１６における補間処理によって生成されたＲＧＢデモザイク画像は、マトリクス演算部２１７に入力され、ＲＧＢデモザイク画像に含まれるＲ信号、Ｇ信号、Ｂ信号を選択抽出するためのマトリクス演算が実行され、選択抽出されたＲＧＢ信号を出力する。
次に、加算部２３１〜２３３において、ＲＧＢデモザイク画像に基づいて生成されたマトリクス演算部２１７からのＲＧＢ信号と、Ａデモザイク画像の高周波成分画像から抽出されたＲＧＢ信号の各々が加算され、最終的な出力信号としてのＲＧＢ信号を生成して出力する。
本処理例では、可視光成分、赤外光成分を含む広い波長領域からなる信号成分画像としてのＡチャネル画像に基づいて高周波成分抽出画像を生成し、この高周波成分抽出画像からＲＧＢ信号を抽出して、ＲＧＢデモザイク画像から抽出したＲＧＢ信号に加算する処理構成とした。より広い波長領域の信号成分を含むＡチャネル画像に基づく高周波成分抽出画像を適用することで、解像度の高い画像をえることが可能となる。また、Ａチャネル画像からＲＧＢ信号を取得して、ＲＧＢデモザイク画像から抽出したＲＧＢ信号に加算することで、より正確なＲＧＢ信号を生成して出力することが可能となり、色再現性を高めることが可能となる。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の構成によれば、ＲＧＢ信号等の可視光信号を取得する特定波長領域信号取得素子と、可視光および赤外光などの不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号各々のモザイク画像データに基づいて、赤外成分を含む輝度信号と、色差信号、あるいはＲＧＢの色信号を生成する構成としたので、可視光成分の少ない低照度環境下での撮影画像について解像度の高い高品質な画像を取得することが可能であり、ＲＧＢおよび赤外成分を持つＡチャネル画像に基づく色補正を行なうことで、色再現性の高い画像を生成することが可能となる。
一般的なカラーフィルタで用いられる色配列としてのベイヤー配列の例について説明する図である。 単板カラー方式の固体撮像素子を具備する撮像装置の構成を示す図である。 デモザイク処理について説明する図である。 本発明において適用する撮像素子の色配列について説明する図である。 本発明において適用する撮像素子におけるフィルタの光透過率を示す図である。 本発明において適用する撮像素子の色配列について説明する図である。 本発明の一実施例に係る画像信号処理構成（処理例１）を説明する図である。 本発明の処理において生成されるモザイク画像とデモザイク画像について説明する図である。 本発明の一実施例に係る画像信号処理構成（処理例２）を説明する図である。 本発明の一実施例に係る画像信号処理構成（処理例２）中のハイパスフィルタの係数について説明する図である。
符号の説明
１１ 光学レンズ
１２ カラーフィルタ
１３ 固体撮像素子
１４ カメラ信号処理部
１５ 動画像圧縮部
１６ 記録部
２０ 固体撮像素子の出力画像
２１ デモザイク処理部
２２ デモザイク処理部の出力するＲ，Ｇ，Ｂ信号
１０１ 撮像素子（ＣＣＤ）
１０２ ＡＤ変換部
１１１〜１１６ ローパスフィルタ
１１７ マトリクス演算部
２０１ 撮像素子（ＣＣＤ）
２０２ ＡＤ変換部
２１１〜２１６ ローパスフィルタ
２１７ マトリクス演算部
２２１ ハイパスフィルタ
２２２ マトリクス演算部

Claims (23)

  1. 画像信号処理装置であり、
    特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を輝度信号として生成する輝度信号生成部と、
    前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づく色差信号を生成する色差信号生成部と、
    を有することを特徴とする画像信号処理装置。
  2. 前記特定波長領域信号取得素子は、ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、
    前記広波長領域信号取得素子は、ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であり、
    前記輝度信号生成部は、
    前記Ａ信号を取得するＡ素子の取得信号であるＡモザイク画像を入力し、ＲＧＢ色信号成分と赤外光成分を含むＡ信号デモザイク画像を輝度信号として生成する処理を実行する構成であり、
    前記色差信号生成部は、
    前記ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を入力し、ＲＧＢデモザイク画像を生成し、該ＲＧＢデモザイク画像に基づく色差信号を生成する構成であることを特徴とする請求項１に記載の画像信号処理装置。
  3. 前記色差信号生成部は、
    前記ＲＧＢデモザイク画像に基づく色差信号、Ｒ−Ｙ、Ｂ−Ｙを生成する処理を実行する構成であることを特徴とする請求項２に記載の画像信号処理装置。
  4. 画像信号処理装置であり、
    特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像から、可視光の色成分信号を抽出する第１色成分信号抽出部と、
    前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づいて色成分信号を抽出する第２色成分信号抽出部と、
    前記第１色成分抽出部の抽出した色成分信号と、前記第２色成分抽出部の抽出した色成分信号との合成処理を実行する合成処理部と、
    を有することを特徴とする画像信号処理装置。
  5. 前記第１色成分信号抽出部は、
    前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を生成する広波長領域信号デモザイク画像生成部と、
    前記広波長領域信号デモザイク画像から高周波成分を抽出し、広波長領域信号高周波成分画像を生成する広波長領域信号高周波成分画像生成部と、
    前記広波長領域信号高周波成分画像から、可視光の色成分信号を抽出する可視光色成分信号抽出部と、
    を有する構成であることを特徴とする請求項４に記載の画像信号処理装置。
  6. 前記特定波長領域信号取得素子は、ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、
    前記広波長領域信号取得素子は、ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であり、
    前記第１色成分信号抽出部は、
    前記Ａ素子の取得信号であるモザイク画像を入力し、Ａ信号デモザイク画像から、可視光の色成分信号ＲＧＢを抽出する処理を実行する構成であり、
    前記第２色成分信号抽出部は、
    前記ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を入力し、ＲＧＢデモザイク画像を生成し、該ＲＧＢデモザイク画像に基づいて色成分信号ＲＧＢを抽出する構成であり、
    前記合成処理部は、
    前記第１色成分抽出部の抽出した色成分信号ＲＧＢと、前記第２色成分抽出部の抽出した色成分信号ＲＧＢとの合成処理を実行する構成であることを特徴とする請求項４に記載の画像信号処理装置。
  7. 撮像素子であり、
    特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、
    可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子と、
    によって構成される素子配列を持つ撮像素子。
  8. 前記特定波長領域信号取得素子は、
    ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、
    前記広波長領域信号取得素子は、
    ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であることを特長とする請求項７に記載の撮像素子。
  9. 前記撮像素子において、
    前記広波長領域信号取得素子は、市松状に配置されている構成であることを特徴とする請求項７に記載の撮像素子。
  10. 撮像装置であり、
    特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子と、
    前記単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を輝度信号として生成する輝度信号生成部と、
    前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づく色差信号を生成する色差信号生成部と、
    を有することを特徴とする撮像装置。
  11. 前記特定波長領域信号取得素子は、ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、
    前記広波長領域信号取得素子は、ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であり、
    前記輝度信号生成部は、
    前記Ａ信号を取得するＡ素子の取得信号であるＡモザイク画像を入力し、ＲＧＢ色信号成分と赤外光成分を含むＡ信号デモザイク画像を輝度信号として生成する処理を実行する構成であり、
    前記色差信号生成部は、
    前記ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を入力し、ＲＧＢデモザイク画像を生成し、該ＲＧＢデモザイク画像に基づく色差信号を生成する構成であることを特徴とする請求項１０に記載の撮像装置。
  12. 前記色差信号生成部は、
    前記ＲＧＢデモザイク画像に基づく色差信号、Ｒ−Ｙ、Ｂ−Ｙを生成する処理を実行する構成であることを特徴とする請求項１１に記載の撮像装置。
  13. 撮像装置であり、
    特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子と、
    前記単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像から、可視光の色成分信号を抽出する第１色成分信号抽出部と、
    前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づいて色成分信号を抽出する第２色成分信号抽出部と、
    前記第１色成分抽出部の抽出した色成分信号と、前記第２色成分抽出部の抽出した色成分信号との合成処理を実行する合成処理部と、
    を有することを特徴とする撮像装置。
  14. 前記第１色成分信号抽出部は、
    前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を生成する広波長領域信号デモザイク画像生成部と、
    前記広波長領域信号デモザイク画像から高周波成分を抽出し、広波長領域信号高周波成分画像を生成する広波長領域信号高周波成分画像生成部と、
    前記広波長領域信号高周波成分画像から、可視光の色成分信号を抽出する可視光色成分信号抽出部と、
    を有する構成であることを特徴とする請求項１３に記載の撮像装置。
  15. 前記特定波長領域信号取得素子は、ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、
    前記広波長領域信号取得素子は、ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であり、
    前記第１色成分信号抽出部は、
    前記Ａ素子の取得信号であるモザイク画像を入力し、Ａ信号デモザイク画像から、可視光の色成分信号ＲＧＢを抽出する処理を実行する構成であり、
    前記第２色成分信号抽出部は、
    前記ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を入力し、ＲＧＢデモザイク画像を生成し、該ＲＧＢデモザイク画像に基づいて色成分信号ＲＧＢを抽出する構成であり、
    前記合成処理部は、
    前記第１色成分抽出部の抽出した色成分信号ＲＧＢと、前記第２色成分抽出部の抽出した色成分信号ＲＧＢとの合成処理を実行する構成であることを特徴とする請求項１３に記載の撮像装置。
  16. 画像信号処理方法であり、
    特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を輝度信号として生成する輝度信号生成ステップと、
    前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づく色差信号を生成する色差信号生成ステップと、
    を有することを特徴とする画像信号処理方法。
  17. 前記特定波長領域信号取得素子は、ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、
    前記広波長領域信号取得素子は、ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であり、
    前記輝度信号生成ステップは、
    前記Ａ信号を取得するＡ素子の取得信号であるＡモザイク画像を入力し、ＲＧＢ色信号成分と赤外光成分を含むＡ信号デモザイク画像を輝度信号として生成する処理を実行するステップであり、
    前記色差信号生成ステップは、
    前記ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を入力し、ＲＧＢデモザイク画像を生成し、該ＲＧＢデモザイク画像に基づく色差信号を生成するステップであることを特徴とする請求項１６に記載の画像信号処理方法。
  18. 前記色差信号生成ステップは、
    前記ＲＧＢデモザイク画像に基づく色差信号、Ｒ−Ｙ、Ｂ−Ｙを生成する処理を実行するステップであることを特徴とする請求項１７に記載の画像信号処理方法。
  19. 画像信号処理方法であり、
    特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像から、可視光の色成分信号を抽出する第１色成分信号抽出ステップと、
    前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づいて色成分信号を抽出する第２色成分信号抽出ステップと、
    前記第１色成分抽出ステップにおいて抽出した色成分信号と、前記第２色成分抽出ステップにおいて抽出した色成分信号との合成処理を実行する合成処理ステップと、
    を有することを特徴とする画像信号処理方法。
  20. 前記第１色成分信号抽出ステップは、
    前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を生成する広波長領域信号デモザイク画像生成ステップと、
    前記広波長領域信号デモザイク画像から高周波成分を抽出し、広波長領域信号高周波成分画像を生成する広波長領域信号高周波成分画像生成ステップと、
    前記広波長領域信号高周波成分画像から、可視光の色成分信号を抽出する可視光色成分信号抽出ステップと、
    を有する構成であることを特徴とする請求項１９記載の画像信号処理方法。
  21. 前記特定波長領域信号取得素子は、ＲＧＢ色信号を個別に取得するＲＧＢ素子であり、
    前記広波長領域信号取得素子は、ＲＧＢ色信号成分と赤外光成分を含むＡ信号を取得するＡ素子であり、
    前記第１色成分信号抽出ステップは、
    前記Ａ素子の取得信号であるモザイク画像を入力し、Ａ信号デモザイク画像から、可視光の色成分信号ＲＧＢを抽出する処理を実行するステップであり、
    前記第２色成分信号抽出ステップは、
    前記ＲＧＢ素子の取得信号であるＲＧＢモザイク画像を入力し、ＲＧＢデモザイク画像を生成し、該ＲＧＢデモザイク画像に基づいて色成分信号ＲＧＢを抽出するステップであり、
    前記合成処理ステップは、
    前記第１色成分抽出ステップにおいて抽出した色成分信号ＲＧＢと、前記第２色成分抽出ステップにおいて抽出した色成分信号ＲＧＢとの合成処理を実行するステップであることを特徴とする請求項１９に記載の画像信号処理方法。
  22. 画像信号処理装置において画像信号処理を実行させるコンピュータ・プログラムであり、
    特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像を輝度信号として生成する輝度信号生成ステップと、
    前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づく色差信号を生成する色差信号生成ステップと、
    を実行させることを特徴とするコンピュータ・プログラム。
  23. 画像信号処理装置において画像信号処理を実行させるコンピュータ・プログラムであり、
    特定の光波長領域に対応する可視光信号を取得する特定波長領域信号取得素子と、可視光および不可視光成分を含む光信号を取得する広波長領域信号取得素子によって構成される素子配列を持つ単板式撮像素子によって取得される信号から、前記広波長領域信号取得素子の取得信号であるモザイク画像を入力し、広波長領域信号に対応する広波長領域信号デモザイク画像から、可視光の色成分信号を抽出する第１色成分信号抽出ステップと、
    前記特定波長領域信号取得素子の取得信号であるモザイク画像を入力し、可視光領域信号に対応する可視光領域信号デモザイク画像を生成し、該可視光領域信号デモザイク画像に基づいて色成分信号を抽出する第２色成分信号抽出ステップと、
    前記第１色成分抽出ステップにおいて抽出した色成分信号と、前記第２色成分抽出ステップにおいて抽出した色成分信号との合成処理を実行する合成処理ステップと、
    を実行させることを特徴とするコンピュータ・プログラム。
JP2005369379A 2005-12-22 2005-12-22 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム Active JP4730082B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005369379A JP4730082B2 (ja) 2005-12-22 2005-12-22 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
US11/640,252 US20070153099A1 (en) 2005-12-22 2006-12-18 Image signal processing apparatus, imaging apparatus, image signal processing method and computer program thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005369379A JP4730082B2 (ja) 2005-12-22 2005-12-22 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム

Publications (3)

Publication Number Publication Date
JP2007174277A true JP2007174277A (ja) 2007-07-05
JP2007174277A5 JP2007174277A5 (ja) 2008-03-27
JP4730082B2 JP4730082B2 (ja) 2011-07-20

Family

ID=38223923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005369379A Active JP4730082B2 (ja) 2005-12-22 2005-12-22 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム

Country Status (2)

Country Link
US (1) US20070153099A1 (ja)
JP (1) JP4730082B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007243334A (ja) * 2006-03-06 2007-09-20 Fujifilm Corp 撮像装置
KR100863497B1 (ko) 2007-06-19 2008-10-14 마루엘에스아이 주식회사 이미지 감지 장치, 이미지 신호 처리 방법, 광 감지 소자, 제어 방법 및 화소 어레이
JP2009100463A (ja) * 2007-09-28 2009-05-07 Fujifilm Corp 固体撮像素子及び撮像装置
WO2011155136A1 (ja) * 2010-06-07 2011-12-15 コニカミノルタオプト株式会社 撮像装置
WO2011155135A1 (ja) * 2010-06-07 2011-12-15 コニカミノルタオプト株式会社 撮像装置
KR20120009819A (ko) * 2010-07-21 2012-02-02 삼성전자주식회사 이미지 처리 장치 및 방법
CN102687502A (zh) * 2009-08-25 2012-09-19 Ip链有限公司 减少彩色图像中的噪声
US9721344B2 (en) 2015-02-26 2017-08-01 Dual Aperture International Co., Ltd. Multi-aperture depth map using partial blurring
US11818470B2 (en) 2021-07-29 2023-11-14 Toyota Jidosha Kabushiki Kaisha Image generation device, image generation method, and vehicle control system

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4241840B2 (ja) * 2006-02-23 2009-03-18 富士フイルム株式会社 撮像装置
JP4983141B2 (ja) * 2006-08-04 2012-07-25 ソニー株式会社 カラーフィルタ
JP2008276017A (ja) * 2007-05-01 2008-11-13 Sony Corp 撮像装置および方法、並びにプログラム
JP2008288629A (ja) * 2007-05-15 2008-11-27 Sony Corp 画像信号処理装置、撮像素子、および画像信号処理方法、並びにコンピュータ・プログラム
US8169518B2 (en) * 2007-08-14 2012-05-01 Fujifilm Corporation Image pickup apparatus and signal processing method
KR100858034B1 (ko) * 2007-10-18 2008-09-10 (주)실리콘화일 단일 칩 활력 이미지 센서
WO2012067028A1 (ja) * 2010-11-16 2012-05-24 コニカミノルタオプト株式会社 画像入力装置および画像処理装置
JP6099009B2 (ja) * 2012-02-16 2017-03-22 パナソニックＩｐマネジメント株式会社 撮像素子および撮像装置
US10638060B2 (en) * 2016-06-28 2020-04-28 Intel Corporation Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels
JP2021097254A (ja) 2018-03-23 2021-06-24 ソニーグループ株式会社 信号処理装置、信号処理方法、撮像装置および医療用撮像装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0488785A (ja) * 1990-07-31 1992-03-23 Canon Inc カラー撮像素子及び信号処理装置
JP2001069519A (ja) * 1999-08-30 2001-03-16 Sony Corp 固体撮像装置
JP2002142228A (ja) * 2000-10-31 2002-05-17 Toyota Central Res & Dev Lab Inc 撮像装置
JP2002521975A (ja) * 1998-07-30 2002-07-16 インテル コーポレイション 赤外線補正システム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4962419A (en) * 1989-02-13 1990-10-09 Eastman Kodak Company Detail processing method and apparatus providing uniform processing of horizontal and vertical detail components
CA2108823C (en) * 1992-10-23 1999-09-14 Shinobu Arimoto Image processing apparatus and method therefor
JP3724882B2 (ja) * 1996-08-14 2005-12-07 シャープ株式会社 カラー固体撮像装置
US6380539B1 (en) * 1997-01-30 2002-04-30 Applied Science Fiction, Inc. Four color trilinear CCD scanning
JP3609606B2 (ja) * 1998-03-10 2005-01-12 三洋電機株式会社 単板式カラーカメラ
US6211521B1 (en) * 1998-03-13 2001-04-03 Intel Corporation Infrared pixel sensor and infrared signal correction
JP3937028B2 (ja) * 1998-09-18 2007-06-27 富士フイルム株式会社 画像変換方法、画像変換装置及び画像変換プログラムを記録した記録媒体
US6759646B1 (en) * 1998-11-24 2004-07-06 Intel Corporation Color interpolation for a four color mosaic pattern
US6809765B1 (en) * 1999-10-05 2004-10-26 Sony Corporation Demosaicing for digital imaging device using perceptually uniform color space
JP3807721B2 (ja) * 2000-02-21 2006-08-09 シャープ株式会社 画像合成装置
US7019777B2 (en) * 2000-04-21 2006-03-28 Flight Landata, Inc. Multispectral imaging system with spatial resolution enhancement
EP1161919B1 (en) * 2000-06-06 2007-08-29 FUJIFILM Corporation Fluorescent-light image display method and apparatus therefor
JP2002374539A (ja) * 2001-06-15 2002-12-26 Olympus Optical Co Ltd ホワイトバランス補正可能なカメラ
US20030063185A1 (en) * 2001-09-28 2003-04-03 Bell Cynthia S. Three-dimensional imaging with complementary color filter arrays
US7274393B2 (en) * 2003-02-28 2007-09-25 Intel Corporation Four-color mosaic pattern for depth and image capture
JP4286123B2 (ja) * 2003-12-22 2009-06-24 三洋電機株式会社 カラー撮像素子およびカラー信号処理回路
EP1751495A2 (en) * 2004-01-28 2007-02-14 Canesta, Inc. Single chip red, green, blue, distance (rgb-z) sensor
JP2006217441A (ja) * 2005-02-07 2006-08-17 Sanyo Electric Co Ltd 色信号処理方法
JP2006237738A (ja) * 2005-02-22 2006-09-07 Sanyo Electric Co Ltd 色信号処理方法
US7435962B2 (en) * 2005-05-18 2008-10-14 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Imaging device and method for producing an infrared filtered digital image
US7570286B2 (en) * 2005-05-27 2009-08-04 Honda Motor Co., Ltd. System and method for creating composite images
JP4984634B2 (ja) * 2005-07-21 2012-07-25 ソニー株式会社 物理情報取得方法および物理情報取得装置
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US20070046807A1 (en) * 2005-08-23 2007-03-01 Eastman Kodak Company Capturing images under varying lighting conditions
JP4501855B2 (ja) * 2005-12-22 2010-07-14 ソニー株式会社 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0488785A (ja) * 1990-07-31 1992-03-23 Canon Inc カラー撮像素子及び信号処理装置
JP2002521975A (ja) * 1998-07-30 2002-07-16 インテル コーポレイション 赤外線補正システム
JP2001069519A (ja) * 1999-08-30 2001-03-16 Sony Corp 固体撮像装置
JP2002142228A (ja) * 2000-10-31 2002-05-17 Toyota Central Res & Dev Lab Inc 撮像装置

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007243334A (ja) * 2006-03-06 2007-09-20 Fujifilm Corp 撮像装置
KR100863497B1 (ko) 2007-06-19 2008-10-14 마루엘에스아이 주식회사 이미지 감지 장치, 이미지 신호 처리 방법, 광 감지 소자, 제어 방법 및 화소 어레이
JP2009100463A (ja) * 2007-09-28 2009-05-07 Fujifilm Corp 固体撮像素子及び撮像装置
CN102687502A (zh) * 2009-08-25 2012-09-19 Ip链有限公司 减少彩色图像中的噪声
CN102687502B (zh) * 2009-08-25 2015-07-08 双光圈国际株式会社 减少彩色图像中的噪声
JP2013503527A (ja) * 2009-08-25 2013-01-31 アイピーリンク・リミテッド カラー画像のノイズを低減すること
JPWO2011155136A1 (ja) * 2010-06-07 2013-08-01 コニカミノルタ株式会社 撮像装置
WO2011155135A1 (ja) * 2010-06-07 2011-12-15 コニカミノルタオプト株式会社 撮像装置
JPWO2011155135A1 (ja) * 2010-06-07 2013-08-01 コニカミノルタ株式会社 撮像装置
WO2011155136A1 (ja) * 2010-06-07 2011-12-15 コニカミノルタオプト株式会社 撮像装置
US9294740B2 (en) 2010-06-07 2016-03-22 Konica Minolta Advanced Layers, Inc. Imaging device having a color image generator generating a color image using edge data and a fake color suppressing coefficient
KR20120009819A (ko) * 2010-07-21 2012-02-02 삼성전자주식회사 이미지 처리 장치 및 방법
KR101671927B1 (ko) 2010-07-21 2016-11-04 삼성전자주식회사 이미지 처리 장치 및 방법
US9721344B2 (en) 2015-02-26 2017-08-01 Dual Aperture International Co., Ltd. Multi-aperture depth map using partial blurring
US9721357B2 (en) 2015-02-26 2017-08-01 Dual Aperture International Co. Ltd. Multi-aperture depth map using blur kernels and edges
US11818470B2 (en) 2021-07-29 2023-11-14 Toyota Jidosha Kabushiki Kaisha Image generation device, image generation method, and vehicle control system

Also Published As

Publication number Publication date
US20070153099A1 (en) 2007-07-05
JP4730082B2 (ja) 2011-07-20

Similar Documents

Publication Publication Date Title
JP4730082B2 (ja) 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP4501855B2 (ja) 画像信号処理装置、撮像装置、および画像信号処理方法、並びにコンピュータ・プログラム
JP5011814B2 (ja) 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
US9094648B2 (en) Tone mapping for low-light video frame enhancement
US9307212B2 (en) Tone mapping for low-light video frame enhancement
JP5784642B2 (ja) 低解像度画像を用い高解像度画像を生成する方法及び装置
TWI644568B (zh) 攝像元件、攝像方法及攝像程式
JP5183880B2 (ja) カラーフィルタおよび撮像素子
JP5523802B2 (ja) 画像処理装置
JP2002204389A (ja) 露出制御方法
JP2002369212A (ja) カラー及び輝度用の受光体を有する粗にサンプリングされたイメージ感知ディバイス
JP2001268582A (ja) 固体撮像装置および信号処理方法
JP6622481B2 (ja) 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
US8111298B2 (en) Imaging circuit and image pickup device
WO2014017153A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
WO2015098243A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP5159715B2 (ja) 画像処理装置
JP4810807B2 (ja) 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
JP2015103971A (ja) 固体撮像装置及びデジタルカメラ
Kumar et al. New digital camera sensor architecture for low light imaging
JP5948167B2 (ja) 撮像装置
JP2000217123A (ja) 撮像装置及び前記撮像装置における画像処理方法
JP2007180893A (ja) 画像処理装置および撮像装置
JP4389671B2 (ja) 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム
Allen et al. Digital cameras and scanners

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080206

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100518

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100708

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110322

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110404

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4730082

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140428

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250