JP2009194651A - 画像撮像装置 - Google Patents

Abstract

【課題】低照度時、ゲインを上げてもノイズが目立たない、車載カメラ装置などの画像撮像装置を提供する。
【解決手段】制御部１００のＭＴＦ補正切替制御手段１０５は、撮像素子１００の出力、スモールランプやテールランプの点灯等、周囲の照度を直接あるいは間接的に示す情報に基づき、低照度時、スイッチ回路１７０に対してＭＴＦ補正ＯＦＦの切替信号を送出する。スイッチ回路１７０は、通常、ＭＴＦ補正部１６０からのＭＴＦ補正された画像データを後段の歪曲収差補正部１８０に送るが、ＭＴＦ補正ＯＦＦの切替信号を受け取ると、倍率色収差補正部１５０からの画像データをそのまま歪曲収差補正部１８０に送る。また、ＭＴＦ補正切替制御手段１０５は、低照度時、ＡＧＣ回路１２０のゲインを上げる。
【選択図】図１

Description

本発明は、画像撮像装置に係り、特に車載カメラ装置などに好適な画像撮像装置に関する。

近年、車のバックモニタなどの用途に向け、車載カメラとして広角の画像撮像装置の需要が増大している。しかしながら、従来の画像撮像装置では、撮像素子（イメージセンサ）で読み取られた画像データについて、倍率色収差、歪み補正、ＭＴＦ補正等の処理を一義的に実施しているのが一般的であった（例えば、特許文献１）。

特開２００６−３４５０５４公報

画像撮像装置を薄暗い場所などで使用した場合、鮮明なモニタ画像を得るのは困難である。低照度時、ゲインを上げると、モニタ画像の明るさは改善されるが、逆にノイズが目立ち、画質が低下する。

本発明の目的は、低照度時、ゲインを上げても、モニタ画像のノイズが目立たない画像撮像装置を提供することにある。

ゲインを上げるとノイズが目立つのは、画像の高域（高周波領域）を持ち上げているからであり、高域を下げればノイズは目立たなくなる。高域を下げるためには、ＭＴＦ補正をしなければよい。

そこで、本発明は、照度を直接あるいは間接に示す情報に基づき、低照度時、ＭＴＦ補正処理を行わないようにする。低照度の判断は、例えば、撮像素子（イメージセンサ）の出力値、別途設けた照度センサの出力値、装置内蔵時計の時刻、テールランプやスモールランプの点灯等で見ればよい。

本発明によれば、低照度時、ゲインを上げてもノイズが目立たなくなり、ゲインを上げることで感度も向上し、明るいモニタ画質が得られる。

以下、本発明の一実施の形態について図面を用いて説明する。実施形態は、広画角で倍率色収差と歪曲収差が大きい光学系を用いて被写体を撮像する画像撮像装置とし、画像処理系は、倍率色収差や歪曲収差補正なども行う構成とするが、これに限定されるものではない。また、画像の色成分は加法３原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）とするが、減法３原色のＹ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）などでもよい。

図１は本発明を適用した画像撮像装置における画像処理系の一実施形態の機能ブロック図を示す。画像撮像装置は、他に操作部、画像表示部（モニタ）、光学系、シャッター速度制御やレンズの絞り調整などのメカ機構等を備えているが、図１では省略してある。本画像撮像装置は、例えば、車載カメラ装置として使用することを想定しているが、用途はそれに限らない。

図１において、制御部１００は、装置の各部に必要な制御信号（クロック、水平／垂直同期信号、その他）を与えて、該各部の動作をパイプライン的に制御する。該制御部１００は、ＭＴＦ補正切替制御手段１０５を有するが、これについては後述する。なお、ＭＴＦ補正切替制御手段１０５は制御部１００とは別構成とすることでもよい。

撮像素子１１０は、広角で倍率色収差及び歪曲収差の大きい光学系（不図）を用いて撮像された光学像を電気信号（画像信号）に変換するための、例えばＣＣＤやＣＭＯＳセンサ等で構成される。該撮像素子１１０にはベイヤー配列の色フィルタが設けられており、ベイヤー配列のＲＧＢ画像データが、制御部１００から与えられる制御信号（クロック、水平／垂直同期信号等）に基づいて、プログレッシブに順次出力される。

ＡＧＣ回路１２０は、撮像素子１１０から出力されたアナログ信号の画像信号を所定の値に増幅する。一般にＡＧＣ回路１２０のゲイン量は画面の要求明度とノイズとのトレードオフにより適した値に決定される。

Ａ／Ｄ変換器１３０は、ＡＧＣ回路１２０で増幅されたアナログ信号としてのベイヤー配列のＲＧＢ画像信号をデジタル信号（画像データ）に変換してベイヤー補完部１４０に送出する。画像データは、例えばＲＧＢそれぞれ８ビットで構成される。

ベイヤー補完部１４０は、デジタル信号に変換されたベイヤー配列のＲＧＢ画像データを入力して、ＲＧＢ各色独立に、全座標位置の画像データを線形補完によって生成し、倍率色収差補完部１４０に送出する。

図２にベイヤー配列のカラーフィルタを示す。ここで、Ｇ₀は次式により求める。
Ｇ₀＝（Ｇ₂＋Ｇ₄＋Ｇ₆＋Ｇ₈）／４ （１）
また、Ｒ₂，Ｒ₄，Ｒ₆，Ｒ₈，Ｒ₀は次式により求める。
Ｒ₂＝（Ｒ₁＋Ｒ₃）／２ （２）
Ｒ₄＝（Ｒ₃＋Ｒ₅）／２ （３）
Ｒ₆＝（Ｒ₅＋Ｒ₇）／２ （４）
Ｒ₈＝（Ｒ₁＋Ｒ₇）／２ （５）
Ｒ₀＝（Ｒ₁＋Ｒ₃＋Ｒ₅＋Ｒ₇）／４ （６）
Ｂ₂，Ｂ₄，Ｂ₆，Ｂ₈，Ｂ₀は上記Ｒ₂，Ｒ₄，Ｒ₆，Ｒ₈，Ｒ₀の場合と同じであるので省略する。

なお、本実施例ではベイヤー配列の色フィルタを持つ撮像素子について述べたが、もちろん他のＣＭＹＧ配列や、ＲＧＢ＋Ｉｒ(赤外)配列など他の色フィルタ配列を持つ撮像素子に関しても効果がある。特にこのように４色の色フィルタ配列を持つ撮像素子では、ＲＧＢのように３色のタイプと比較して、倍率色収差補正においてさらに低レイテンシのメモリまたは、４ポートのＲＡＭが必要であり、効果は高い。

倍率色収差補正部１５０は、ベイヤー補完されたＲＧＢ画像データを入力して、所定の多項式等によりＲＧＢ各色成分独立に座標変換（倍率色収差座標変換）を施し、倍率色収差補正されたＲＧＢ画像データを出力する。倍率色収差は各色成分毎に異なるが、大きさは小さい。このため、倍率色収差補正の座標変換には低容量低レイテンシのメモリまたは、低容量で複数のポートを持つメモリ（ＳＲＡＭ等）を使用することができる。この倍率色収差補正部１５０の出力側は、ＭＴＦ補正部１６０と共にスイッチ回路１７０に接続さされている。

ＭＴＦ補正部１６０は、倍率色収差補正されたＲＧＢ画像データを入力して、ＦＩＲフィルタを用いてＭＴＦ補正処理を施し、ＭＴＦ補正されたＲＧＢ画像データを出力する。

図３にＭＴＦ補正部１６０の概略構成を示す。変換部１６２は次式によりＲＧＢ画像データをＹＣｂＣｒ画素データに変換する。
Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ （７）
Ｃｒ＝０.５００Ｒ−０.４１９Ｇ−０.０８１Ｂ （８）
Ｃｂ＝−０.１６９Ｒ−０.３３２Ｇ＋０.５００Ｂ （９）

ＦＩＲフィルタ（５×５フィルタ）１６４では、ＹＣｂＣｒのうち輝度信号Ｙのみを入力して所定のＭＴＦ補正を行う。図４にＦＩＲフィルタの一例を示す。Ｙ信号のみのフィルタリング（ＭＴＦ補正）を行うことで、色ノイズの増幅を抑えた高画質な画像を得ることができる。なお、Ｙ信号についてフィルタリングを行っているため、ＭＴＦ補正は色倍率補正の後に行われる必要がある。しかしながら、後述の歪曲収差補正後にＭＴＦ補正を行う場合には、歪曲収差補正では座標変換の変換距離が大きく演算誤差が発生しやすい。その誤差がＭＴＦ補正により増幅され、画質に悪影響を及ぼす事を避けるため、本実施例のようにＭＴＦ補正は倍率色収差補正の後段、歪曲収差補正の前段に設置することが望ましい。

逆変換部１６６は、ＣｂＣｒ信号及びＭＴＦ補正されたＹ信号を入力して、次式により逆変換しＲＧＢ画像データを出力する。
Ｒ＝Ｙ＋１.４０２Ｃｒ （10）
Ｇ＝Ｙ−０.７１４Ｃｒ−０.３４４Ｃｂ （11）
Ｂ＝Ｙ＋１.７７２Ｃｂ （12）
スイッチ回路１７０は、通常ＭＴＦ補正部１６０側に接続されて、ＭＴＦ補正部１６０からのＭＴＦ補正されたＲＧＢ画像データを後段の歪曲収差補正部１８０に出力するが、制御部１００のＭＴＦ補正切替制御手段１０５からＭＴＦ補正ＯＦＦの切替信号が与えられると、倍率色収差補正部１５０側に切り替わって、倍率色収差補正部１５０からのＲＧＢ画像データをそのまま歪曲収差補正部１８０に出力する。

歪曲収差補正部１８０は、ＭＴＦ補正部１６０からのＭＴＦ補正されたＲＧＢ画像データあるいは倍率色収差補正部１５０からのＭＴＦ補正無しのＲＧＢ画像データを入力して、所定の多項式等によりＲＧＢ各色成分共通に座標変換（歪曲収差座標変換）を施し、歪曲収差補正されたＲＧＢ画像データを出力する。歪曲収差は倍色率色収差に比べて大きいが、ＲＧＢ各色成分で一様である。このため、歪曲収差補正での座標変換には、倍率色収差補正用のメモリに比べ、メモリ容量が大ではあるが（最大１画面分）、１ポートで良いため高レイテンシのメモリ（ＤＲＡＭ等）を使用することが可能である。なお、倍率色収差と歪曲収差を同時に補正することもできる。

ガンマ補正部１９０は、歪曲収差補正部１８０から出力されるＲＧＢ画像データを入力して、ＲＧＢそれぞれのルックアップテーブル等を用いて所定のガンマ補正処理を施し、ガンマ補正されたＲＧＢ画像データを表示装置等（不図）に出力する。

以上が図１に示した一実施形態である画像撮像装置の全体的動作であるが、以下では本発明の主要構成であるＭＴＦ補正切替制御部１０５について詳述する。

制御部１００のＭＴＦ補正切替制御手段１０５は、周囲の照度を直接あるいは間接的に示す情報に基づいて、低照度であることを判別すると、スイッチ回路１７０に対してＭＴＦ補正ＯＦＦの切替信号を送出する。この切替信号を受け取って、スイッチ回路１７０では、ＭＴＦ補正部１６０をバイパスする。これにより、低照度時、ＭＴＦ補正が行われなくなり、再生画像のノイズが低減する。また、ＭＴＦ補正切替制御手段１０５は、スイッチ回路１７０に対してＭＴＦ補正ＯＦＦの切替信号を送出した時、同時にＡＧＣ回路１２０のゲインを上げるようにする。これにより、再生画像の感度が向上する。

ここで、ＭＴＦ補正切替制御手段１０５では、以下のようにして低照度判別を行う。もちろん、これらは一例であり、低照度が判別できれば、どのような方法、手段でもよい。

（ｉ）撮像素子１１０の出力を取り込み、画面全体の輝度の和や、場合によっては、画面中心などにある被写体に重みを付けた輝度の和などにより、照度を算出する。この算出した照度を閾値と比較して照度低下を判断する。例えば、画面全体の光量の平均値が１０（ｌｘ）以下、画面の中心の光量が１０（ｌｘ）以下の場合、低照度とする。

（ii）撮像素子１１０のシャッタースピード、レンズの絞りを調整することで、要求する照度の画像を得ることができる。そこで、シャッタースピードやレンズの絞りにより照度を判断する。

（iii）装置内蔵時計の時刻により間接的に判断する。季節にもよるが、例えば、午後５時以降、午前５時以前を低照度とする。

（iv）車載カメラ装置として使用する場合、スモールランプやテールランプのスイッチと連動して、これらのスイッチがＯＮ時、低照度と判断する。

（ｖ）別途照度センサを設け、該照度センサの出力値を閾値と比較して照度低下を判断する。

本発明による画像撮像装置の処理系の一実施形態の全体ブロック図。 ベイヤー配列カラーフィルタを示す図。 ＭＴＦ補正部の一実施形態の構成図。 ＦＩＲフィルタの一例を示す図。

符号の説明

１００ 制御部
１０５ ＭＴＦ補正切替制御手段
１１０ 撮像素子
１２０ ＡＧＣ回路
１３０ Ａ／Ｄ変換器
１４０ ベイヤー補完部
１５０ 倍率色収差補正部
１６０ ＭＴＦ補正部
１７０ スイッチ回路
１８０ 歪曲収差補正部
１９０ ガンマ補正部

Claims (6)

1. 光学系と、撮像素子と、ＡＧＣ回路と、画像処理手段を有し、前記画像処理手段では少なくともＭＴＦ補正処理を行う画像撮像装置において、
   照度を直接あるいは間接に示す情報に基づき、低照度時、前記処理手段でＭＴＦ補正処理が行われないようにする制御手段を備えることを特徴とする画像撮像装置。
2. 前記制御手段は、前記撮像素子の出力値に基づき、低照度を判断することを特徴とする請求項１記載の画像撮像装置。
3. 前記制御手段は、別途設けた照度センサの出力値に基づき、低照度を判断することを特徴とする請求項１記載の画像撮像装置。
4. 前記制御手段は、時刻に基づき、低照度を判断することを特徴とする請求項１記載の画像撮像装置。
5. 前記制御手段は、ランプの点灯に基づき、低照度を判断することを特徴とする請求項１記載の画像撮像装置。
6. 前記制御手段は、低照度時、さらに前記ＡＧＣ回路のゲインを上げることを特徴とする請求項１乃至５のいずれか１項に記載の画像撮像装置。

Images