JP2006197181A - 固体撮像素子の信号処理装置および信号処理方法、並びに画像処理装置 - Google Patents

Abstract

【課題】固体撮像素子から出力されたＲａｗデータをそのままメモリーに格納するようにすると、メモリーとして容量の大きなものが必要となる。
【解決手段】固体撮像素子１２の出力信号の信号処理において、固体撮像素子１２の出力データ、例えばγ補正などの映像表示に関する信号処理前のデータ（Ｒａｗデータ）をそのままメモリー１５に格納するのではなく、量子化部１３５で量子化（圧縮）処理を施してメモリー１５に格納するようにする。
【選択図】図１

Description

本発明は、固体撮像素子の信号処理装置および信号処理方法、並びに画像処理装置に関する。

固体撮像素子は、固体撮像素子は、ＣＣＤ(Charge Coupled Device)イメージセンサに代表される電荷転送型固体撮像素子と、ＭＯＳ(Metal Oxide Semiconductor)型イメージセンサ、例えばＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサに代表されるＸ‐Ｙアドレス型固体撮像素子とに大別される。これら固体撮像素子は、例えば撮像デバイスとして、デジタルスチルカメラやビデオカメラ等のカメラシステムに搭載されて用いられている。

従来のカメラシステムでは、図８に示すように、固体撮像素子１０１から出力され、映像に関する信号処理前のデータ（いわゆる、Ｒａｗデータ）もしくは映像表示に関する信号処理後のデータをそのままカメラＤＳＰ(Digital Signal Processor)回路１０２で信号処理するとともに、フレーム単位の処理などを行う際には、必要なフレーム分のデータをメモリー１０３に保持するようにしていた（例えば、特許文献１参照）。

特開２００４−３４３３１５号公報

しかしながら、固体撮像素子１０１から出力されたＲａｗデータ（もしくは、映像表示に関する信号処理後のデータ）をそのままメモリー１０３に格納するようにしたのでは、メモリー１０３として容量の大きなものが必要となる。特に、近年、高精細化に伴ってより多画素化が進められており、多画素の固体撮像素子に対応するためには今まで以上のメモリー容量が必要とされ、その結果、カメラシステムのコスト上昇を招くことになる。

本発明は、上記課題に鑑みてなされたものであって、その目的とするところは、メモリー容量の縮小を可能にした固体撮像素子の信号処理装置および信号処理方法、並びに画像処理装置を提供することにある。

上記目的を達成するために、本発明では、固体撮像素子の出力データを量子化して記憶手段に格納し、前記記憶手段からのデータの読出し時に当該データを逆量子化する構成を採っている。ここで、固体撮像素子の出力データとしては、映像表示に関する信号処理前のデータ（Ｒａｗデータ）でも、映像表示に関する信号処理後のデータのいずれであっても良い。

固体撮像素子の信号処理において、固体撮像素子から出力されたＲａｗデータ（もしくは、映像表示に関する信号処理後のデータ）をそのまま記憶手段に格納するのではなく、量子化（圧縮）処理を施して記憶手段に格納し、また当該記憶手段から読み出したデータに対して逆量子化（伸張）処理を施す。

本発明によれば、固体撮像素子から出力されたＲａｗデータ（もしくは、映像表示に関する信号処理後のデータ）を量子化（圧縮）して記憶手段に格納することで、メモリー容量を削減できるとともに、画像連続撮影などによって得たデータをより多くの画像について記憶手段に蓄えることができる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

図１は、本発明の一実施形態に係る信号処理装置を用いた画像処理装置、例えばカメラシステムの構成例をブロック図である。

図１において、被写体からの像光は、レンズ１１を含む光学系を経て固体撮像素子１２の撮像面上に結像される。固体撮像素子１２としては、ＣＣＤイメージセンサに代表される電荷転送型固体撮像素子、ＣＭＯＳイメージセンサに代表されるＸ‐Ｙアドレス型固体撮像素子のいずれであっても良い。固体撮像素子１２の出力信号は、信号処理回路であるカメラＤＳＰ回路１３に供給される。

カメラＤＳＰ回路１３は、ブロックＡ部１３１、ブロックＢ部１３２、ブロックＣ部１３３、積分ブロック部１３４、量子化部１３５、逆量子化部１３６、エンコード部１３７およびデコード部１３８を有する構成となっている。

ブロックＡ部１３１は、固体撮像素子１２から出力されるアナログ映像信号をデジタル映像信号に変換するＡ／Ｄ変換などの処理を行う。ブロックＢ部１３２は、本カメラＤＳＰ回路１３から出力される映像信号に基づく再生画面において正しい階調特性が得られるようにするためのガンマ（γ）補正などの映像表示に関する信号処理を行う。ブロックＣ部１３３は、ブロックＢ部１３２で信号処理されたデジタル映像信号をアナログ映像信号に変換するＤ／Ａ変換などの処理を行う。

なお、上述したブロックＡ部１３１、ブロックＢ部１３２およびブロックＣ部１３３の処理内容は一例に過ぎず、これに限られるものではない。本カメラＤＳＰ回路１３から出力される映像信号は、液晶ディスプレイ（ＬＣＤ）等の表示装置や記録媒体などに供給される。

積分ブロック部１３４は、ある一定期間、例えば１フレーム期間の輝度信号成分を積分（検波）することにより、固体撮像素子１２によって撮影している画像の信号レベルを検出する（レベル検出手段）とともに、検出した信号レベルのヒストグラム（出現頻度）を求め、検出した信号レベルや求めたヒストグラムの情報を、本カメラＤＳＰ回路１３の外部に設けられた制御部（ファームウェア）１４に与える。

エンコード部１３５および逆量子化部１３６は、例えばブロックＡ部１３１とブロックＢ部１３２との間に設けられ、固体撮像素子１２から出力され、ブロックＡ部１３１でデジタル化されたＲａｗデータに対して量子化および逆量子化の処理を行う。

具体的には、量子化部１３５は、エンコード部１３７で設定された量子化テーブルに基づいて、ブロックＡ部１３１の出力データ（Ｒａｗデータ）を量子化（圧縮）し、本カメラＤＳＰ回路１３の外部に設けられた記憶手段であるメモリー１５に格納する。量子化部１３５での量子化およびエンコード部１３７での量子化テーブルの設定は、制御部（ファームウェア）１４の制御の下に行われる。その詳細については後述する。

逆量子化部１３６は、メモリー１５からのデータの読出し時に、エンコード部１３８で設定された逆量子化テーブルに基づいて、読み出したデータを逆量子化（伸張）し、ブロックＢ部１３２に供給する。逆量子化部１３６での逆量子化およびエンコード部１３８での逆量子化テーブルの設定は、制御部（ファームウェア）１４の制御の下に行われる。

このように、量子化部１３５および逆量子化部１３６を、ブロックＡ部１３１とブロックＢ部１３２との間に設け、Ｒａｗデータを量子化（圧縮）してメモリー１５に格納し、またメモリー１５からのデータの読出し時に逆量子化（伸張）する回路構成は、例えば、ＩＰ（インターレース走査）のデータをＰＳ（プログレッシブ走査）のデータへ変換する際などに用いられる。

続いて、本発明の特徴部分である量子化部１３５での量子化（圧縮）処理についてより具体的に説明する。

Ｒａｗデータに対して圧縮を行うには、所定の領域（幅）の信号レベルを当該領域内のある１つの信号レベルに置き換える。これはあくまで所定の領域にあるデータを固定のデータに置き換えることであり、それだけではデータを圧縮することはできない。そこで、図２に示すように、Ｒａｗデータの信号レベルの範囲を複数ｎに分割し、その分割した領域に対してそれぞれ領域番号１〜ｎを割り当てる。この領域番号１〜ｎは、分割した領域の数だけで表現することができ、Ｒａｗデータをそのまま表現するよりも少ないビットで表現することが可能になる。

このように、Ｒａｗデータの信号レベルの範囲を複数ｎに分割して領域番号１〜ｎを割り当て、Ｒａｗデータの信号レベルに対応する領域番号１〜ｎのいずれかをメモリー１５に格納することにより、Ｒａｗデータをそのままメモリー１５に格納する場合に比べて、メモリー１５の容量を格段に削減できることになる。

図３に、領域番号１〜ｎ、分割したデータ領域、メモリー１５に書き込むデータ（領域番号）、出力する（固定する）データの対応関係の一例を示す。なお、ここで示した数値は、理解を容易にするための一例に過ぎず、これに限られるものではない。

上述した量子化による圧縮方法は、画像データそのものを圧縮している訳ではないため、実際の画像データに対して不可逆変換となり、またデータ精度も落ちることになる。しかし、実際の画像では、高い信号レベルは、カメラの信号処理であるγ補正（変換）で抑制されている。このことから、高い信号レベルについては圧縮処理を施しても、画質上ほとんど問題になることはない。

さらに、低い信号レベルは、カメラの信号処理であるγ補正でゲインを掛けた場合、ランダムノイズとして画像に現れる。そのため、γ補正において低い信号レベルは抑制されていることがある。このことから、低い信号レベルについても圧縮処理を施しても、画質上ほとんど問題にならない。

このように、所定の第１のレベルよりも高い信号レベルおよび所定の第２のレベルよりも低い信号レベルでは、所定の領域のデータを当該領域内のある固定データに置き換える圧縮方法を採ることで、図４に示すように、ある領域内で信号レベルのばらつき（実線）があっても、ある固定の信号レベル（一点鎖線）になるため、信号のノイズを抑制することができる。

また、実際に多く使われている信号レベル、即ち上記第１のレベルから上記第２のレベルまでの中間信号レベルについても、１や２のレベル差に対する判別はほぼ不可能に近いことから、上述した量子化による圧縮方法は、信号レベルに関係なく有効なものであると言える。

今まで説明した圧縮方法では、ある一定の量子化（圧縮）しかできない。これに対し、圧縮する信号レベルの幅、即ち量子化ステップを、撮影している画像の信号レベルに応じて可変にすることで、より効率的な圧縮でかつ圧縮しても画像の再現性を向上できることになる。このことについて、以下により具体的に説明する。

先ず、撮影している画像の信号レベルが高いか、低いかは、積分ブロック部１３４の例えば１フレーム分の積分結果を用いて、制御部（ファームウェア）１４が画面全体の信号レベルのヒストグラム（出現頻度）を積分することによって把握でき、またヒストグラムそのものから画全体の信号レベルの分布を把握できる。

図５に示すように、信号レベルが全体的に高い画像では、信号レベルが高い領域にデータの存在数（信号数）が多いため、信号レベルが高い領域に対して分割数を増やす、即ち分割する信号レベルの幅（量子化ステップ）を細かく設定することで、画像の劣化を防ぐことができる。このとき、信号レベルが低い領域では、分割する信号レベルの幅を信号レベルが高い領域に比べて粗く設定する。

また、図６に示すように、信号レベルが全体的に低い画像では、信号レベルが低い領域データの存在数が多いため、信号レベルが低い領域に対して分割数を増やす、即ち分割する信号レベルの幅（量子化ステップ）を細かく設定することで、画像の劣化を防ぐことができる。このとき、信号レベルが高い領域では、分割する信号レベルの幅を信号レベルが低い領域に比べて粗く設定する。

図７は、Ｒａｗデータの量子化の際に、制御部（ファームウェア）１４によって実行される処理手順を示すフローチャートである。

ファームウェアは、先ず、積分ブロック部１３４の例えば１フレーム分の積分結果から画全体のヒストグラム積分値を読み取り（ステップＳ１１）、当該ヒストグラム積分値が大きいか、小さいか、即ち撮影している画像の信号レベルが全体的に高いか、低いかを判断する（ステップＳ１２）。

ファームウェアは、ヒストグラム積分値が大きいと判断した場合は、そのヒストグラム積分値に対応した量子化テーブルを選択すべくエンコード部１３７を制御し（ステップＳ１３）、次いでその選択した量子化テーブルを量子化部１３５に設定すべく制御し（ステップＳ１４）、一連の処理を終了する。

一方、ヒストグラム積分値が小さいと判断した場合は、そのヒストグラム積分値に対応した量子化テーブルを選択すべくエンコード部１３７を制御し（ステップＳ１５）、次いでその選択した量子化テーブルを量子化部１３５に設定すべく制御し（ステップＳ１６）、一連の処理を終了する。

上述した一連の処理は、例えば、毎フレームごとに実行される。これにより、量子化ステップがフレームごとにダイナミックに変化（時間軸上で変化）することになるため、画像ごとに最適な量子化（圧縮）処理を実現できることになる。

また、ファームウェアは、ヒストグラムのデータ分布を把握できていることから、量子化部１３５での量子化後データに対して、ヒストグラムに応じて可変長符号化を適用し、メモリー１５に格納するようにするも可能である。画像に有効な可変長符号化を適用することにより、さらに高い圧縮率を実現することも可能である。

このように、圧縮する信号レベルの幅、即ち量子化ステップを、撮影している画像の信号レベルに応じて可変にする、より具体的には信号レベルのヒストグラムに関連させて設定することにより、画像のシーン（Ｒａｗデータの特徴、具体的にはヒストグラム）によって効率的に圧縮率を変化させることが可能になるため、より効率的な圧縮でかつ圧縮しても画像の再現性を向上できることになる。

なお、本例では、エンコード部１３７に２種類の量子化テーブルを用意して、ヒストグラム積分値が大きい、小さいでいずれかの量子化テーブルを選択するとしたが、これに限られるものではなく、量子化テーブルとして任意にいろいろなテーブルを用意して、ヒストグラム積分値に応じて任意の量子化テーブルを選択する構成を採ることも可能である。

以上説明したように、固体撮像素子１２の出力信号の信号処理において、固体撮像素子１２の出力データ、例えばγ補正などの映像表示に関する信号処理前のデータ（Ｒａｗデータ）をそのままメモリー１５に格納するのではなく、量子化（圧縮）処理を施してメモリー１５に格納することで、メモリー１５の容量を削減できるとともに、画像連続撮影などによって得たデータをより多くの画像についてメモリー１５に蓄えることができる。

また、圧縮する信号幅（量子化ステップ）を撮影している画像の信号レベルに応じて可変としたことにより、画像ごとに最適な量子化（圧縮）処理を実現できる。さらに、信号レベルに応じて高輝度（高い信号レベル）、低輝度（低い信号レベル）側のデータを圧縮することにより、ランダムノイズに強くなるという利点もある。

なお、上記実施形態では、量子化部１３５および逆量子化部１３７を、ブロックＡ部１３１とブロックＢ部１３２との間に設け、ブロックＢ部１３２でのγ補正などの映像表示に関する信号処理前のデータ（Ｒａｗデータ）に対して量子化および逆量子化の処理を行うとしたが、これは一例に過ぎず、ブロックＡ部１３１の前段に設けた構成や、ブロックＢ部１３２とブロックＣ部１３３との間、あるいはブロックＣ部１３３の後段に設け、ブロックＢ部１３２での映像表示に関する信号処理後のデータに対して量子化および逆量子化の処理を行う構成を採ることも可能である。

また、上記実施形態では、カメラシステムに適用した場合を例に挙げて説明したが、この適用例に限られるものではなく、例えば何らかの手段から入力された画像データを一旦メモリーに格納し、この格納した画像データを用いてディスプレイに画像を表示させる表示システムなどにも同様に適用可能である。

本発明の一実施形態に係る信号処理装置を用いたカメラシステムの構成例をブロック図である。 量子化（圧縮）処理の説明に供する図である。 領域番号１〜ｎ、分割したデータ領域、メモリー１５に書き込むデータ、出力するデータの対応関係の一例を示す図である。 ノイズ抑制の説明に供する図である。 信号レベルが高い場合の量子化の説明図である。 信号レベルが低い場合の量子化の説明図である。 ファームウェアによって実行される処理手順を示すフローチャートである。 従来のカメラシステムの構成を示すブロック図である。

符号の説明

１１…レンズ、１２…固体撮像素子、１３…カメラＤＳＰ回路、１４…制御部（ファームウェア）、１５…メモリー、１３５…量子化部、１３６…逆量子化部

Claims (17)

1. 固体撮像素子の出力データを量子化する量子化手段と、
   前記量子化手段で量子化されたデータを格納する記憶手段と、
   前記記憶手段からのデータの読出し時に当該データを逆量子化する逆量子化手段と
   を備えたことを特徴とする固体撮像素子の信号処理装置。
2. 前記量子化手段は、前記出力データの信号レベルの範囲を複数の領域に分割してそれぞれ領域番号を割り当て、当該領域番号を前記記憶手段に記憶する
   ことを特徴とする請求項１記載の固体撮像素子の信号処理装置。
3. 前記固体撮像素子によって撮影している画像の信号レベルを検出するレベル検出手段をさらに備え、
   前記量子化手段は、前記レベル検出手段で検出された前記信号レベルに応じて量子化ステップを変える
   ことを特徴とする請求項１記載の固体撮像素子の信号処理装置。
4. 前記量子化手段は、前記信号レベルのヒストグラムに関連させて量子化ステップを設定する
   ことを特徴とする請求項３記載の固体撮像素子の信号処理装置。
5. 前記量子化手段は、量子化後のデータに対して、前記ヒストグラムに応じて可変長符号化を適用する
   ことを特徴とする請求項４記載の固体撮像素子の信号処理装置。
6. 前記量子化手段は、量子化ステップをフレームごとに変化させる
   ことを特徴とする請求項３記載の固体撮像素子の信号処理装置。
7. 固体撮像素子の出力データを量子化して記憶手段に格納し、
   前記記憶手段からのデータの読出し時に当該データを逆量子化する
   ことを特徴とする固体撮像素子の信号処理方法。
8. 前記量子化の際に、前記出力データの信号レベルの範囲を複数の領域に分割してそれぞれ領域番号を割り当て、当該領域番号を前記記憶手段に記憶する
   ことを特徴とする請求項７記載の固体撮像素子の信号処理方法。
9. 前記固体撮像素子によって撮影している画像の信号レベルに応じて量子化ステップを変える
   ことを特徴とする請求項７記載の固体撮像素子の信号処理方法。
10. 前記信号レベルのヒストグラムに関連させて量子化ステップを設定する
    ことを特徴とする請求項９記載の固体撮像素子の信号処理方法。
11. 量子化後のデータに対して、前記ヒストグラムに応じて可変長符号化を適用する
    ことを特徴とする請求項１０記載の固体撮像素子の信号処理方法。
12. 前記量子化ステップをフレームごとに変化させる
    ことを特徴とする請求項９記載の固体撮像素子の信号処理方法。
13. 入力された画像データの信号レベルを検出するレベル検出手段と、
    前記画像データを量子化するとともに、前記レベル検出手段で検出された前記信号レベルに応じて量子化ステップを変える量子化手段と、
    前記量子化手段で量子化されたデータを格納する記憶手段と、
    前記記憶手段からのデータの読出し時に当該データを逆量子化する逆量子化手段と
    を備えたことを特徴とする画像処理装置。
14. 前記量子化手段は、前記出力データの信号レベルの範囲を複数の領域に分割してそれぞれ領域番号を割り当て、当該領域番号を前記記憶手段に記憶する
    ことを特徴とする請求項１３記載の画像処理装置。
15. 前記量子化手段は、前記信号レベルのヒストグラムに関連させて量子化ステップを設定する
    ことを特徴とする請求項１３記載の画像処理装置。
16. 前記量子化手段は、量子化後のデータに対して、前記ヒストグラムに応じて可変長符号化を適用する
    ことを特徴とする請求項１５記載の画像処理装置。
17. 前記量子化手段は、量子化ステップをフレームごとに変化させる
    ことを特徴とする請求項１３記載の画像処理装置。
    

Images