JP2009188840A - プログレッシブ・インタレース変換方法、画像処理装置及び画像撮像装置 - Google Patents

Abstract

【課題】フレームメモリを不要とし、しかも、各フレームで半分の走査線を読み捨てることなく、走査線を有効に利用して有効光量の増加を図ったプログレッシブ・インタレース変換を実現する。
【解決手段】走査線順のプログレッシブ入力の画像データを時系列的に順次、１番目のフレームは、１と２，３と４，５と６，・・・の２つの走査線の画像データの対応する画素の画素値の和をインタレース出力し、２番目のフレームは、２と３，４と５，６と７，・・・の２つの走査線の画像データの対応する画素の画素値の和をインタレース出力し、これをフレームごとに繰り返す。
【選択図】図６

Description

本発明は、画像撮像装置などにおいて、撮像素子からのプログレッシブ読み出しの画像をＮＴＳＣ方式の表示装置などへインタレース出力を行うプログレッシブ・インタレース変換技術に関する。

一般に画像撮像装置などにおいては、撮像素子から画像が走査線順にプログレッシブに読み出される。このプログレッシブに読み出された画像をＮＴＳＣ方式の表示装置などへインタレース出力を行う際に、プログレッシブ・インタレース変換（ＰＩ変換）が必要になる。

従来、ＰＩ変換は、フレーム毎に、初めは１番目、３番目、・・・と奇数番目の走査線を出力し、次に２番目、４番目、・・・と偶数番目の走査線を出力することで行っていた。例えば、特許文献１ではインタレースの解像度変換を行う手段が開示されているが、内部でプログレッシブ画像信号よりインタレース画像信号を上記の方法により生成している。

特許第３８２１４１５号

プログレッシブの１フレーム毎に、初めは奇数番目の走査線を出力し１フィールド目を構成し、次に偶数番目の走査線を出力することにより２フィールド目を構成するようにする従来のＰＩ変換方式は、少なくとも１画面を保持するフレームメモリが必要となり、特に高解像度で大容量のメモリを必要とする画像撮像装置などにおいては装置が高価となる。

その対策としては、フレーム毎に時系列に、プログレッシブ入力の画像データを、１フレーム目の奇数番目の走査線、次フレームの偶数番目の走査線と交互に出力する方式が考えられる。これによれば、数ライン分のラインバッファで十分であるが、各フレームで半分の走査線を読み捨てることになり、無駄になる。また、有効光量が半分になり、暗部においては光量不足が生じる問題がある。

本発明の目的は、フレームメモリを不要とし、しかも、走査線を有効に利用して有効光量の増加を図ったプログレッシブ・インタレース変換方法及びその方法を実施する画像処理装置、並びに、該画像処理装置を実装して、低コストで暗部における光量不足を改善した高感度な画像撮像装置を提供することにある。

本発明は、時系列的に、走査線順のプログレッシブ入力の画像データを、奇数走査線の画像データ、偶数走査線の画像データと交互にインタレース出力するプログレッシブ・インタレース変換方法であって、特に、現在の走査線の画像データと次の走査線の画像データの対応する画素の画素値を加算した画像データをインタレース出力とするものである。これにより、フレームメモリを不要とし、各フレームで半分の走査線を読み捨てることがなくなり、有効光量が増加し、暗部における光量不足が改善できる。

また、本発明は、明度が所定以上の場合には、プログレッシブ入力の画像データを、奇数走査線の画像データ、奇数走査線の画像データと交互にそのままインタレース出力し、明度が所定以下の場合にのみ、現在の走査線の画像データと次の走査線の画像データの対応する画素の画素値を加算した画像データをインタレース出力とすることでもよい。明度は、例えば、センサのＡＧＣ回路のゲイン量に基づいて判定する。これにより、暗部以外での画質の低下を軽減できる。

本発明によれば、プログレッシブ・インタレース変換に数ラインのラインバッファで十分であり、しかも、各フレームで半分の走査線を読み捨てることなく、走査線を有効に利用して有効光量の増加を図ることができる。したがって、低コストで暗部における光量不足を改善した高感度な画質撮像装置を提供することができる。

以下、本発明の一実施の形態について図面を用いて説明する。実施形態は、広画角で倍率色収差と歪曲収差が大きい光学系を用いて被写体を撮像する画像撮像装置とし、画像処理系は、本発明のプログレッシブ・インタレース変換のほかに、倍率色収差や歪曲収差補正なども行う構成とするが、これに限定されるものではない。また、画像の色成分は加法３原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）とするが、減法３原色のＹ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）などでもよい。

図１は本発明を適用した画像撮像装置における画像処理系の一実施形態の機能ブロック図を示す。画像撮像装置は、他に操作部、画像表示部、光学系、シャッター速度制御やレンズの絞り調整などのメカ機構等を備えているが、図１では省略してある。本画像撮像装置は、例えば、車載カメラ装置として使用することを想定しているが、用途はそれに限らない。

図１において、制御部１００は、装置の各部に必要な制御信号（クロック、水平／垂直同期信号、その他）を与えて、該各部の動作をパイプライン的に制御する。該制御部１００は、明度によって、プログレッシブ・インタレース（ＰＩ）変換部１９０でのＰＩ変換方式を切替え制御するための切替信号を生成するＰＩ変換切替信号生成手段１０５を有するが、これについては後述する。

撮像素子１１０は、広角で倍率色収差及び歪曲収差の大きい光学系（不図）を用いて撮像された光学像を電気信号（画像信号）に変換するための、例えばＣＣＤやＣＭＯＳセンサ等で構成される。該撮像素子１１０にはベイヤー配列の色フィルタが設けられており、ベイヤー配列のＲＧＢ画像データが、制御部１００から与えられる制御信号（クロック、水平／垂直同期信号等）に基づいて、プログレッシブに順次出力される。

ＡＧＣ回路１２０は、撮像素子１１０から出力されたアナログ信号の画像信号を所定の値に増幅する。該ＡＧＣ回路１２０のゲイン量は画面の要求明度とノイズ量とのトレードオフにより適した値に決定される。後述するように、一実施形態では、制御部１００のＰＩ変換切替信号生成手段１０５は、このＡＧＣ回路のゲイン量を見て明度を判定して切替信号をＰＩ変換部１９０へ送る。

Ａ／Ｄ変換器１３０は、ＡＧＣ回路１２０で増幅されたアナログ信号としてのベイヤー配列のＲＧＢ画像信号をデジタル信号（画像データ）に変換してベイヤー補完部１４０に送出する。画像データは、例えばＲＧＢそれぞれ８ビットで構成される。

ベイヤー補完部１４０は、デジタル信号に変換されたベイヤー配列のＲＧＢ画像データを入力して、ＲＧＢ各色独立に、全座標位置の画像データを線形補完によって生成し、倍率色収差補完部１４０に送出する。

図２にベイヤー配列のカラーフィルタを示す。ここで、Ｇ₀は次式により求める。
Ｇ₀＝（Ｇ₂＋Ｇ₄＋Ｇ₆＋Ｇ₈）／４ （１）
また、Ｒ₂，Ｒ₄，Ｒ₆，Ｒ₈，Ｒ₀は次式により求める。
Ｒ₂＝（Ｒ₁＋Ｒ₃）／２ （２）
Ｒ₄＝（Ｒ₃＋Ｒ₅）／２ （３）
Ｒ₆＝（Ｒ₅＋Ｒ₇）／２ （４）
Ｒ₈＝（Ｒ₁＋Ｒ₇）／２ （５）
Ｒ₀＝（Ｒ₁＋Ｒ₃＋Ｒ₅＋Ｒ₇）／４ （６）
Ｂ₂，Ｂ₄，Ｂ₆，Ｂ₈，Ｂ₀は上記Ｒ₂，Ｒ₄，Ｒ₆，Ｒ₈，Ｒ₀の場合と同じであるので省略する。

なお、本実施例ではベイヤー配列の色フィルタを持つ撮像素子について述べたが、もちろん他のＣＭＹＧ配列や、ＲＧＢ＋Ｉｒ(赤外)配列など他の色フィルタ配列を持つ撮像素子に関しても効果がある。特にこのように４色の色フィルタ配列を持つ撮像素子では、ＲＧＢのように３色のタイプと比較して、倍率色収差補正においてさらに低レイテンシのメモリまたは、４ポートのＲＡＭが必要であり、効果は高い。

倍率色収差補正部１５０は、ベイヤー補完されたＲ，Ｇ，Ｂ画像データを入力して、所定の多項式等によりＲＧＢ各色成分独立に座標変換（倍率色収差座標変換）を施し、倍率色収差補正されたＲＧＢ画像データを出力する。倍率色収差は各色成分毎に異なるが、大きさは小さい。このため、倍率色収差補正の座標変換には低容量低レイテンシのメモリまたは、低容量で複数のポートを持つメモリ（ＳＲＡＭ等）を使用することができる。

ＭＴＦ補正部１６０は、倍率色収差補正されたＲＧＢ画像データを入力して、ＦＩＲフィルタを用いてＭＴＦ補正処理を施し、ＭＴＦ補正されたＲＧＢ画像データを出力する。

図３にＭＴＦ補正部１６０の概略構成を示す。変換部１６２は次式によりＲＧＢ画像データをＹＣｂＣｒ画素データに変換する。
Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ （７）
Ｃｒ＝０.５００Ｒ−０.４１９Ｇ−０.０８１Ｂ （８）
Ｃｂ＝−０.１６９Ｒ−０.３３２Ｇ＋０.５００Ｂ （９）

ＦＩＲフィルタ（５×５フィルタ）１６４では、ＹＣｂＣｒのうち輝度信号Ｙのみを入力して所定のＭＴＦ補正を行う。図４にＦＩＲフィルタの一例を示す。Ｙ信号のみのフィルタリング（ＭＴＦ補正）を行うことで、色ノイズの増幅を抑えた高画質な画像を得ることができる。なお、Ｙ信号についてフィルタリングを行っているため、ＭＴＦ補正は色倍率補正の後に行われる必要がある。しかしながら、歪曲収差補正後にＭＴＦ補正を行う場合には、後述するように歪曲収差補正では座標変換の変換距離が大きく演算誤差が発生しやすい。その誤差がＭＴＦ補正により増幅され、画質に悪影響を及ぼす事を避けるため、本実施例のようにＭＴＦ補正は倍率色収差補正の後段、歪曲収差補正の前段に設置することが望ましい。

逆変換部１６６は、ＣｂＣｒ信号及びＭＴＦ補正されたＹ信号を入力して、次式により逆変換しＲＧＢ画像データを出力する。
Ｒ＝Ｙ＋１.４０２Ｃｒ （10）
Ｇ＝Ｙ−０.７１４Ｃｒ−０.３４４Ｃｂ （11）
Ｂ＝Ｙ＋１.７７２Ｃｂ （12）
制御部１００のＰＩ変換切替信号生成手段１０５では、このＭＴＦ補正部１６０で得られる輝度信号Ｙを用いて明度を判断することもできる。

歪曲収差補正部１７０は、倍率色収差補正及びＭＴＦ補正されたＲＧＢ画像データを入力して、所定の多項式等によりＲＧＢ各色成分共通に座標変換（歪曲収差座標変換）を施し、歪曲収差補正されたＲＧＢ画像データを出力する。歪曲収差は倍色率色収差に比べて大きいが、ＲＧＢ各色成分で一様である。このため、歪曲収差補正での座標変換には、倍率色収差補正用のメモリに比べ、メモリ容量が大ではあるが（最大１画面分）、１ポートで良いため高レイテンシのメモリ（ＤＲＡＭ等）を使用することが可能である。なお、倍率色収差と歪曲収差を同時に補正することもできる。

ガンマ補正部１８０は、歪曲収差補正部１７０から出力されるＲＧＢ画像データを入力して、ＲＧＢそれぞれのルックアップテーブル等を用いて所定のガンマ補正処理を施し、ガンマ補正されたＲＧＢ画像データを出力する。

ガンマ補正部１８０から出力されるＲＧＢ画像データは、走査線順のプログレッシブ信号である。プログレッシブ・インタレース変換部（ＰＩ変換部）１９０は、各ＲＧＢ画像データごとに、ガンマ補正部１８０から出力されるプログレッシブ信号をインタレース信号に変換し、ＮＴＳＣ方式の表示装置（不図）に送出する。

以上が図１に示した一実施形態である画像撮像装置の全体的動作であるが、以下では本発明の主要構成であるＰＩ変換部１９0について詳述する。

はじめに、本発明で用いられるプログレッシブ・インタレース変換方法について説明する。

図５は通常のプログレッシブ・インタレース変換方法を示したものである。プログレッシブ読み出しの撮像素子１１０からは、図５（ａ）に示すように、各フレームで、１，２，３，・・・の走査線の順番にＲＧＢ画像信号が読み出され、最終的にガンマ補正部１８０から補正されたＲＧＢ画像データが、同様に、各フレーム、１，２，３，・・・の走査線の順番に出力される。これをＮＴＳＣ方式などの表示装置に出力する場合、プログレッシブ・インタレース変換が必要になる。通常のプログレッシブ・インタレース変換方法は、図５（ｂ）に示すように、１番目のフレーム（インタレース出力側から見た場合はフィールド）は１，３，５，・・・と一つ置きに奇数の走査線の画像データを出力し、２番目のフレームは２，４，６，・・・と一つ置きに偶数の走査線の画像データを出力し、これをフレーム毎に繰り返すというものである。この通常のプログレッシブ変換方法では、各フレームで走査線を半分捨てることになり、光量が半分無駄となり、そのため、暗部においては光量不足が生じる。

図６に本発明によるプログレッシブ・インタレース変換方法の概念図を示す。図６（ａ）は図５（ａ）と同じであり、プログレッシブ読み出しを示している。本発明のプログレッシブ・インタレース変換方法は、図６（ｂ）に示すように、プログレッシブ入力の１番目のフレームは、１と２，３と４，５と６，・・・の２つの走査線の対応する画素（ピクセル）の画素値の和をインタレースの１番目のフレーム（インタレース出力側から見た場合はフィールド）に出力し、プログレッシブ入力の２番目のフレームは、２と３，４と５，６と７，・・・の２つの走査線の対応する画素（ピクセル）の画素値の和をインタレースの２番目のフレーム（インタレース出力側から見た場合はフィールド）に出力し、これをフレームごとに繰り返すというものである。本発明の方法では、光量を落とさずに（図５の通常の方法に比べて光量は２倍になる）、プログレッシブ・インタレース変換が可能であり、暗部においても十分な光量が得られる。このため、高感度な撮像装置が実現できる。

一方、本発明のプログレッシブ・インタレース方法では縦方向の解像度が低下し画質が低下する。この画質の低下は、目障りになるほどではないが、光量が足りない場合にのみ本発明の方法を使用し（感度優先）、それ以外は通常の方法を使用する（画質優先）ように切り替えることで解決される。例えば、画面の輝度や、撮像素子のゲイン量などから光量の変化を読み取り、明度に応じて図５に示した通常のプログレッシブ・インタレース変換方法と図６に示した本発明のプログレッシブ・インタレース変換方法を切り替えるようにする。

図７にプログレッシブ・インタレース変換部１９０の一実施形態の構成図を示す。プログレッシブ入力の画像データは、水平／垂直同期信号、クロックに基づいてラインバッファ１９１に順次蓄積される。ラインバッフア１９１は２ライン（走査線）以上であればよく、少なくとも過去２ライン以上の画像データが蓄積され、古いラインの画像データから順次捨てられていく。水平／垂直同期信号、クロックは、インタレースアドレス演算器１９２にも与えられる。インタレースアドレス演算器１９２は、水平／垂直同期信号、クロックに基づいて、ラインバッファ１９１に蓄積された画像データがインタレース読み出しになるようにラインバッファ１９１の読み出しアドレスを演算して出力する。具体的には、インタレースアドレス演算器１９２は、１フレームおきに交互に、奇数ラインアドレスと該奇数ライン内画素アドレス、偶数ラインアドレスと該偶数ライン内画素アドレスを読み出しアドレス１とて順次出力する。同時に、インタレースアドレス演算器１９２は、次ラインのラインアドレスと該ライン内画素アドレスを読み出しアドレス２として順次出力する。

インタレースアドレス演算器１９２から出力される読み出しアドレス１及び読み出しアドレス２に基づき、ラインバッファ１９１からは、あるフレーム（インタレース出力側から見た場合はフィールド）では、１，３，５，・・・の走査線の画像データがデータ１として、同時に、２，４，６，・・・の走査線の画像データがデータ２として読み出され、次のフレームでは、２，４，６，・・・の走査線の画像データがデータ１として、同時に、３，５，７，・・・の走査線の画像データがデータ２として読み出され、これが１フレームおきに交互に繰り返される。

ラインバッファ１９１から読み出されたデータ１とデータ２は加算器１９３に入力されて、順次、２つの走査線の対応する画素（ピクセル）の画素値が足し合わされ、データ３として選択回路１９４の一方の入力となる。選択回路１９４の他方の入力には、ラインバッファ１９１から読み出されたデータ１がそのまま送られる。選択回路１９４は、制御部１００のＰＩ変換切替信号生成手段１０５から与えられる切替信号に基づいてデータ１あるいはデータ３のいずれかを選択して出力する。すなわち、データ１が選択された場合には、図５（ｂ）に示す通常のインタレース形式の画像データが出力され、データ３が選択された場合には、図６（ｂ）に示す本発明のインタレース形式の画像データが出力される。切替信号は、明度が所定以上の場合にデータ１を選択するように（画質優先）、所定以下になったならデータ３を選択するように（感度優先）、切替わる。

なお、加算器１９３で加算されるのはＲ，Ｇ，Ｂ信号や、Ｙ信号など輝度情報のみとし、例えばＹＵＶ信号、ＹＣｂＣｒ信号などの場合、ＵＶ信号や、ＣｂＣｒ信号は平均値や２つのデータのどちらかの値をそのまま出力するようにしてもよい。

次に、制御部１００のＰＩ変換切替信号生成手段１０５について説明する。ＰＩ変換切替信号生成手段１０５では、明度によって、ＰＩ変換部１９０でのＰＩ変換方法を切替え制御するための切替信号を生成する。具体的には、明度が所定以上の場合には通常のＰＩ変換方法とし（データ１を選択）、明度が所定以下になった場合にのみ本発明のＰＩ変換方法に切り替える（データ３を選択）ようにする。

ＰＩ変換切替信号生成手段１０５での明度に基づく切替信号の生成方法として以下のような方法が考えられる。もちろん、これらの方法は一例であり、明度が判定できれば、それはどのような方法でもよい。

（ｉ）通常、撮像素子１１０の出力信号は、Ａ／Ｄ変換器１３０でのＡ／Ｄ変換前にＡＧＣ回路１２０により増幅される。このＡＧＣ回路１２０のゲインは画面の要求明度とノイズ量とのトレードオフにより適した値に決定されるが、明度が低下して、あるゲイン以上となった場合には、ノイズ量が許容範囲以上となってしまう。そこで、ＡＧＣ回路１２０のゲインにより、明度を判定して、ゲインが所定以下では通常のＰＩ変換方法とし、所定以上になったら本発明のＰＩ変換方法とするように、切替信号を生成する。なお、ゲインが所定以上になり、本発明のＰＩ変換方法に切り替えた場合、ゲインをホールドすれば、ノイズを抑えたまま画面の明度を上げることができる。

（ii）ＡＧＣ回路１２０のゲインと、撮像素子のシャッタースピード、レンズの絞りを調整することで、要求する明度の画像を得ることができる。そこで、シャッタースピードやレンズの絞りにより明度を判定して、通常あるいは本発明のＰＩ変換方法とするように切替信号を生成する。

（iii）ＭＴＦ補正部１５０で得られる輝度信号Ｙにより。画面全体の輝度の和や、場合によっては、画面中心などにある被写体に重みを付けた輝度の和などにより、明度を算出する。この算出した明度に基づいて、通常あるいは本発明のＰＩ変換方法とするように切替信号を生成する。

（iv）別途照度センサを設け、該照度センサの出力に基づいて、通常あるいは本発明のＰＩ変換方法とするように切替信号を生成する。

本発明による画像撮像装置の処理系の一実施形態の全体ブロック図。 ベイヤー配列カラーフィルタを示す図。 ＭＴＦ補正部の一実施形態の構成図。 ＦＩＲフィルタの一例を示す図。 通常のプログレッシブ・インタレース変換方法を説明する図。 本発明のプログレッシブ・インタレース変換方法を説明する図。 プログレッシブ・インタレース変換部の一実施形態を示す構成図。

符号の説明

１００ 制御部
１０５ ＰＩ変換切替信号生成手段
１１０ 撮像素子
１２０ ＡＧＣ回路
１３０ Ａ／Ｄ変換器
１４０ ベイヤー補完部
１５０ 倍率色収差補正部
１６０ ＭＴＦ補正部
１７０ 歪曲収差補正部
１８０ ガンマ補正部
１９０ ＰＩ変換部

Claims (6)

1. 時系列的に、走査線順のプログレッシブ入力の画像データを、奇数走査線の画像データ、偶数走査線の画像データと交互にインタレース出力するプログレッシブ・インタレース変換方法であって、
   現在の走査線の画像データと次の走査線の画像データの対応する画素の画素値を加算した画像データをインタレース出力とすることを特徴とするプログレッシブ・インタレース変換方法。
2. 明度が所定以上の場合には、プログレッシブ入力の画像データを、奇数走査線の画像データ、奇数走査線の画像データと交互にそのままインタレース出力し、
   明度が所定以下の場合に、現在の走査線の画像データと次の走査線の画像データの対応する画素の画素値を加算した画像データをインタレース出力とする、
   ことを特徴とする請求項１記載のプログレッシブ・インタレース変換方法。
3. 前記加算は輝度値を加算することを特徴とする請求項１又は２記載のプログレッシブ・インタレース変換方法。
4. 画像データを明度に応じて増幅するＡＧＣ回路のゲイン量に基づいて明度を判定することを特徴とする請求項２又は３記載のプログレッシブ・インタレース変換方法。
5. プログレッシブの画像データを入力して処理する画像処理装置において、請求項１乃至４のいずれか１項に記載のプログレッシブ・インタレース変換方法を行う手段を備えていることを特徴とする画像処理装置。
6. プログレッシブの画像データを出力する撮像素子と、請求項５に記載の画像処理装置とを有することを特徴とする画像撮像装置。

Images