JP2004282746A - 画像データ処理装置および画像データ処理方法 - Google Patents

Abstract

【課題】ＣＭＯＳ画像形成装置において、浮遊拡散情報にフォトダイオード集積時間対浮遊拡散集積時間の比率を乗算したことで生じる輪郭線を除去する。
【解決手段】フォトダイオード飽和閾値を設定している大きさ比較器６８は、フォトダイオード値が飽和状態にあるか判断し、２ポート増幅器６２は、浮遊拡散溢出しデータと集積時間比率との積を出力する。ビット選択論理またはセレクタ６７は、フォトダイオード集積時間対浮遊拡散集積時間の比率に基づいて、ランダム数を、集積時間比率と浮遊拡散溢出し画素データの積とフォトダイオード画素値の合計値に加算するかを選択し、加算する場合にはランダム数を出力する。３ポート加算機６４は、これらの出力およびフォトダイオード値（Ｐｄ）を加算し、浮遊拡散情報にフォトダイオード集積時間対浮遊拡散集積時間の比率を乗算したことで生じる輪郭線を除去する。
【選択図】図６

Description

本発明は、画像データ処理装置および画像データ処理方法、特に、拡大されたダイナミックレンジの画像形成装置における画像データ処理に関する。更に、本発明は、画像形成装置のフォトダイオードが飽和して電荷が浮遊拡散領域に溢れ出し、浮遊拡散領域において完全な（full）画素値を回復しようとする際に生じる輪郭線を画像データから除去することに関する。

従来、画像形成装置、特にＣＭＯＳ画像形成装置は、その一部にハイライトを含むような高ダイナミックレンジのシーン（scene、風景）を処理する場合に問題があった。つまり、画像のそのような部分ではセンサの画素が飽和してしまい、デジタル画素出力が全て１になってしまう。この問題を解決するために、強調されたダイナミックレンジに対応したセンサを設計した（例えば、ＥＰ１０９６７８９Ａ２およびＥＰ１０９６７９０Ａ２に開示された拡大されたダイナミックレンジ画素形成装置を参照のこと。なお、これらの出願を引用して援用する）。これらのセンサは、フォトディテクタと、過剰な電荷（上記のフォトダイオード飽和）が流れ込む浮遊拡散領域とを有する。これらの拡大されたレンジを有するセンサは各画素に対して２個の値を出力する。これはフォトダイオード値と溢出し値であって、溢出し値は、飽和したフォトダイオードから浮遊拡散へ溢れ出す電荷の割合（rate）を示す。これらの２つの異なる値を用いて、撮影したシーンの可視画像を作成する。この時、溢出しがなければフォトダイオード値を使用し、溢出しがあれば、浮遊拡散値にフォトダイオード集積時間対浮遊拡散集積時間の比率（ratio）を乗算した値とフォトダイオード値との合計値に基づいて新規の画素値を作成する。フォトダイオード集積時間対浮遊拡散集積時間の比率が増加すると増幅器の倍率も増加する。このように倍率が増加すると、得られた画像の中に輪郭線による人為的構造が現れてしまう。これは、現在の技術が有する欠点である。

例えば、従来の画像形成装置のフォトダイオードが８写真絞り分のダイナミックレンジを有する場合を考える。これは８ビットのダイナミックレンジを有するリニアバイナリシステムによって表現できる。これは、フォトダイオードにすると４８ｄＢのシステムダイナミックレンジに相当する。また、浮遊拡散が（溢出し分の割合に関する情報を画素情報に変換（ｔｒａｎｓｆｏｒｍ）した場合に）更に５絞り分多い写真範囲を表す電荷容量を有すると仮定する。この場合、これは追加の５上位ビットの画像情報、追加の２９ｄＢのダイナミックレンジに相当するので、このシステム全体のダイナミックレンジは１３ビット、１３写真絞り、７７ｄＢとなる。この画像形成装置を用いて撮影する場合、フォトダイオードについて２００ラインの集積時間、浮遊拡散について２５ラインの集積時間で使用しなければならない。つまりこれは、浮遊拡散に溢れ出す割合のデータを画素データに換算（ｃｏｎｖｅｒｔ）するためには、浮遊拡散に溢れ出す割合のデータに８（２００ラインＰｄ／２５ラインＦｄ）を乗算し、この結果をその画素のフォトダイオードデータに加算しなければならないことである。ＥＰ１０９６７８９Ａ２の等式６を参照のこと。

１つの値を出力する標準的な拡大ダイナミックレンジ（ＥＤＲ）ＣＭＯＳ画像形成装置は、１本のチャネル１０においてシリアル画素デジタルデータを出力する。この画像形成装置は、図１に示すように、各画素に対して２個の値を出力する。第１の値（Ｆｄ）は、飽和したフォトダイオードから画素浮遊拡散へ溢れ出す電荷の割合（rate）を表す（光レベルが十分に高くてフォトダイオードが飽和する場合）。同じ画素に対する第２の値（Ｐｄ）は画素フォトダイオードの値である。フォトダイオードが飽和しない場合、画像情報はフォトダイオードの画素値である。そのような場合に残留している浮遊拡散情報は、浮遊拡散暗電流や、浮遊拡散が部分的に所望でない感光性を有するために生じた任意の信号である。浮遊拡散に関するこの信号は、フォトダイオードが飽和した場合にも存在する。

従来、浮遊拡散に溢れ出す割合の情報およびフォトダイオード値を換算して画素の最終数値に変換（transform）していた（例えば、ＥＰ１０９６７８９Ａ２の式６を参照）。この新規の画素最終数値は、浮遊拡散値にフォトダイオード集積時間対浮遊拡散集積時間の比率を乗算した値とフォトダイオード値との合計値を元にして作成される。この乗算によって、浮遊拡散に溢れ出す割合の情報を実際の画素値に換算する。フォトダイオードがブルーム（bloom）（つまり飽和）していない場合、浮遊拡散は画像情報を含まず、画素データはフォトダイオードデータである。

欧州特許第１０９６７８９Ａ２号明細書 欧州特許第１０９６７９０Ａ２号明細書

通常、画素値はアナログ−デジタル（Ａ／Ｄ）換算されており、この変換処理はデジタルロジックまたはデジタル信号プロセッサによって実行される。フォトダイオード集積時間対浮遊拡散集積時間の比率で乗算すると、高ダイナミックレンジ領域に輪郭線を含む画像になる。画像（picture）画素情報は、変換された浮遊拡散情報とフォトダイオード情報との合計によってはじめて得られる。

システムには浮遊拡散情報にフォトダイオード集積時間対浮遊拡散集積時間の比率を乗算したことによって生じる輪郭線を取り除くことが必要である。

本発明は、上記の問題の１個以上を解決することを目的としている。要約すれば、本発明の一態様によれば、画像データ処理方法であって、画像データがフォトダイオードの飽和を示すか否かを決定し、浮遊拡散情報にフォトダイオード集積時間対浮遊拡散集積時間の比率を乗算したことで生じる輪郭線を画像データから除去すること含む画像データ処理方法を提供する。輪郭線の除去は、画像形成装置から得たデータがフォトダイオードの飽和を示す場合に、浮遊拡散値にフォトダイオード集積時間対浮遊拡散集積時間の比率を乗算した値にランダム数を加算することによって実現できる。

本発明は、アクティブ画素ＣＭＯＳ画層処理装置が拡大されたダイナミックレンジモードで動作する場合に生じた輪郭線を除去するためにランダム数生成装置を用いる。通常、飽和したフォトダイオードの内容を意味するＬＳＢ値は、フォトダイオード飽和条件のために「１」に設定されている。この時、フォトダイオード情報と浮遊拡散情報とを組み合わせて最終的な画素値を作るために用いる方法に起因して、得られた画像内に輪郭線による人為構造が生じる。本発明は、最終的な画素値にランダム値を加算することで、こうした輪郭線による人為構造を除去する。ランダム数の精度のビットの数(the number of bits of precision)は、浮遊拡散に溢れ出す割合のデータを最終的な画素データに変換するために用いる乗算係数によって決定される。上記の例の乗算係数は８である。（８で乗算すると、得られた数値の３個の最下位ビットが０になる。これが画素データにおける輪郭線である。）対応するランダム数は４４（２＾３）ビットの精度を有する。ランダム数生成装置と、その関連の論理とを同じシリコン基板の上にＣＭＯＳ層処理装置として集積できる。

上記およびそれ以外の本発明の目的は、以下の説明および図面を参照すれば明確になるだろう。図面では、可能な場合は同じ参照番号を用いてそれぞれの図面に共通する要素を示す。

本発明の上記およびそれ以外の態様、目的、特徴、利点は、以下の好適な実施形態の詳細な説明および添付の請求項を、添付の図面を参照にして読めば、より明確に理解できるだろう。

本発明は、以下の利点を有する。

現在の技術は欠点がある。現在の技術は各画素に対して２個の値を出力する。第１の値は画素フォトダイオードに集積された光を表す信号である。第２の値は浮遊拡散の値である。フォトダイオードがブルームした場合、浮遊拡散値は、フォトダイオードから浮遊拡散へ溢れ出した電荷の割合（rate）を表す。変換処理(transform)によって、溢出し割合情報およびフォトダイオード値を最終的な数値に換算する。フォトダイオードがブルーム（飽和）しているので、最終画素値のフォトダイオード部分の数値は最大（１またはそれに近い値）である。通常、画素値はアナログ−デジタル換算されており、この変換処理はデジタル論理またはデジタル信号プロセッサよって実行される。浮遊拡散に溢れ出す電荷の割合の値を最終的な画素値に変換すると、輪郭線を含む画像になる。画像（picture）情報は、変換された浮遊拡散情報と、フォトダイオードが飽和したという事実によってはじめて得られる。この事実は、変換された浮遊拡散値と、飽和したフォトダイオード値との合計を画像処理において最終的な画素値として用いることを示している。本発明は、ランダム数生成装置を利用して、浮遊拡散変質値部分によって生じた輪郭線を除去する。

本発明は、拡大されたダイナミックレンジの画像形成装置によって撮影された画像の画質を向上させる効果がある。

本発明は、拡大されたダイナミックレンジを有し、満足する画像を作る画像データを提供する効果がある。

以下、本発明を実施するための最良の形態（以下、実施形態という）について、図面に基づいて説明する。以下では、本発明を好適な実施形態をハードウェアとして説明する。当業者はこのようなハードウェアの均等物をソフトウェアで構築できることがわかるだろう。

本発明は、ランダム数生成装置を用いて、従来の拡大されたダイナミックレンジアクティブ画素ＣＭＯＳ画像形成装置の動作中にフォトダイオード／フォトディテクタが飽和した場合に生じる輪郭線を除去する。本発明はフォトダイオード集積時間対浮遊拡散集積時間の割合を浮遊拡散に溢れ出す値の割合に乗算した値をフォトダイオード値と合算して最終画素値を得、更にこれにランダム数を加算することで輪郭線による人為的構造を除去する。ランダム数生成装置およびそれに関連する論理演算手段を同じシリコン基板上にＣＭＯＳ画像形成装置として集積することができる。あるいは、本発明は、ソフトウェアおよびマイクロプロセッサを用いて実行してもよい（図１１参照）。

ハードウェアにおいて画素値とランダム数の加算を容易にするために、図２に示す通り、最初にデータをシリアルデータからパラレルデータに変換する。図２において、第１のチャネル２０は拡散データ（Ｆｄ）を含み、第２のチャネル２２は対応するフォトダイオードデータ（Ｐｄ）を含む。この変換は、図３に示すシリアルデータ分離回路３０が行う。次に、変換されたデータにおいて輪郭線の人為的構造を除去し、更に、変換されたデータを、図３に示す輪郭線除去および再構築回路３２によって、図１に示すようなシリアルデータに再構築する。続いて、輪郭線が修正された画素データを処理して、画像を作る。この処理には、画像メモリに保存される画素データの記憶装置を必要とする。

図４に、分離回路３０の構成要素を更に詳細に示す。分離回路３０は、最終画素値を得るために画素浮遊拡散データと画素フォトダイオードデータとが同時に存在するように、時間的に並列に用意するよう動作する。図５は、図４に示す構成要素のクロックおよびデータ信号を示す。シリアル画素データ（Ｆｄ、Ｐｄ）は、画像処理装置４０から画素クロック信号ｃｋ１に応じて送られて来る。画素クロック信号ｃｋ１は、クロック信号ソース４２からインバータ４４を介して画像処理装置４０に供給される。拡散データ（Ｆｄ）は、画素クロック信号と、分割器５０から供給される再分割クロック信号ｃｋ２とに応じて、保存レジスタ４６、４８を介してクロックされる。画素データ（Ｐｄ）は、クロック信号ｃｋ３によってレジスタ５２を介してクロックされる。

パラレルな画素データ（Ｐｄ）および拡散データ（Ｆｄ）が、図６に詳細に示す再構築回路３２に供給される。この回路３２は、関連のフォトダイオード値が飽和または飽和に近い状態にある場合に、ランダム数生成装置６６が生成したランダム数を最終画素値に加算する。ランダム数は多様な方法で生成できる。例えば米国特許第５，１０１，４５２号に開示される方法である。この特許を引用して援用する。拡散データＦｄを２ポート増幅器６２に供給する。２ポート増幅器６２には更にフォトダイオード集積時間対浮遊拡散集積時間の比率の数字表現が入力されている。カメラの場合、この情報は通常、画像露光アルゴリズムを実行するマイクロプロセッサまたはデジタル信号プロセッサから供給される。２ポート増幅器６２には更にイネーブル信号も入力されており、イネーブルが１の場合、２ポート増幅器６２は浮遊拡散溢出しデータと集積時間比率との積を出力する。一方、イネーブルが０の場合、２ポート増幅器６２は０を出力する。増幅器６２に入力されるイネーブル信号は、接続された大きさ比較器６８の出力から取得される。大きさ比較器６８は、フォトダイオード飽和閾値を設定している。変数Ｚは全てが１以下であり得る定数であり、これを用いて、フォトダイオードが緩やか(soft)飽和した状況に対処する。浮遊拡散への溢れ出しは、フォトダイオードが完全に飽和する前から開始する可能性がある。増幅器６２の出力を３ポート加算機６４のＡ入力ポートに接続する。３ポート加算機６４のＢ入力ポートにはビット選択論理またはセレクタ６７の出力が接続される。ビット選択論理は、２つの機能を行う。第１は、ランダム数生成装置６６が生成する何ビットかのランダム数を、集積時間比率と浮遊拡散溢出し画素データの積とフォトダイオード画素値の合計値に加算するかを選択する。これはビット選択論理６７に対する選択入力によって実現できる。上記の例では利得比率は８である。この状況で８は２＾３である。浮遊拡散溢出しデータを８で乗算したことによって生じる輪郭線を除去するためには、（最下位ビットから数えて）４ビットのランダムノイズが必要である。ビット選択論理の第２の機能は、フォトダイオードが飽和していない場合にランダム数源をゲートオフすることである。これはランダム数生成装置６６のイネーブル入力によって実現できる。データ再構築回路３２は、上述したＥＰ１０９６７８９の等式６の方法を、上述のようなハードウェア、もしくはルックアップテーブル等のソフトウェアによって好適に実行する。この等式によると、ブルーミングが生じた場合、再構築された画素値は、飽和したフォトダイオード信号に浮遊拡散溢出し信号とフォトダイオード集積時間対浮遊拡散集積時間の比率の積を加算した値であり、ブルーミングが生じない場合、フォトダイオードデータが画素データとなる。

非常に明るいハイライトを含むシーンであって、そのハイライトを画像の一部として撮影しなければならない場合を考える。通常、適切なフォトダイオード集積時間を用いてハイライトとならないようにこのシーンを撮影する。この時、浮遊拡散集積時間を、浮遊拡散信号がこのシーンのハイライト領域に近くなるが飽和しないように選択する。ハイライト領域内の光強いので浮遊拡散への溢出し割合（rate）も高い。そのような場合、一般に浮遊拡散の集積時間は短くなる。例えば、フォトダイオードに対して集積時間２００ライン、浮遊拡散に対して集積時間２５ライン等である。ＥＰ１０９６７８９の等式６によれば、浮遊拡散値を２００／２５で乗算した値をフォトダイオードデータに加算して最終画素値を得る。この最終画素値は、フォトダイオード集積時間対浮遊拡散集積時間の比率によって量子化精度（quantization precision）に制限される。２の乗数が増加(2-multiplier increase)した各係数に対して、データは量子化精度の最下位ビット（ＬＳＢ）を緩める（loose）（バイナリ）。これは従来の画像形成装置における輪郭線である。本発明はランダム数を加算して、得られた画像内の明白な輪郭線を除去する。ランダム数のビット深度はフォトダイオード集積時間対浮遊拡散集積時間の比率によって決定される。したがって新規の等式は以下のようになる。
Veff=Vout
Vout<Vpdsatの場合
Veff＝Vpdsat＋（Vout−Vpdsat）（Tpdint／Tfdint） ＋RandomValue
Vout＞＝Vpdsatの場合 （１）
ここでＶｅｆｆは最終画素データ、Ｖｏｕｔは画素から得られる総電圧（飽和しない場合）、Ｖｐｄｓａｔはフォトダイオード飽和電圧、Ｔｐｄｉｎｔはフォトダイオードの集積時間、Ｔｆｄｉｎｔは浮遊拡散領域の集積時間である。

大きさ比較器６８は浮遊拡散データと交替に（ａｌｔｅｒｎａｔｅｌｙ）接続できる。浮遊拡散情報は暗電流を含む可能性があるし、および／または浮遊拡散は僅かに感光性を有するかもしれない。この感光性は望ましくない特徴である。浮遊拡散情報がある最小値より大きい場合、大きさ比較器によって等式１のデータ再構築を行わせることができる。この最小値は暗電流および所望でない感光性信号を表す、非溢出しの閾値と呼ぶことができる。

図７は、図６の回路から出力された画像データ７０を示す図である。このデータは画素の各々に対して１つの値を有する。このデータの数値範囲はフォトダイオード情報の数値範囲より大きい可能性がある。この例では、浮遊拡散溢出し値は８ビットの精度を有し、フォトダイオードデータは８ビットの精度を有する。この結果得られたデータは、８ビット＋８ビット＋Ｎビットの精度を有する。この時、Ｎビットは、フォトダイオード集積時間対浮遊拡散集積時間の比率を表すために使用されるビットの数を表す。等式１を用いて浮遊拡散データ（Ｆｄ）７２とフォトダイオードデータ（Ｐｄ）７４とを組合せて画素データ７６を作成することを図８に示す。

図９は、浮遊拡散データ（Ｆｄ）を変換してそのデータにランダム数を加算するために十分大きさ（amplitude）を有する、標準的な画素値のバイナリ変換処理を示す。この例では、８ビットのフォトダイオードデータと８ビットの浮遊拡散データとを示す。上側の画素値１００は画像形成装置からのデータであり、下側の画素値１０２はランダム数を加算した後のデータである。フォトダイオードが飽和した場合に、コンピュータによる画像形成を制御するために使用されるこのデータ構造は、浮遊拡散データと、飽和したフォトダイオードデータと、ランダム数とを含む。

図１０は、浮遊拡散データ（Ｆｄ）を変換し、ランダム数でフォトダイオードデータの代用をするには十分でない大きさ（amplitude）を有する、標準的な画素値のバイナリ変換処理（または、係る処理の欠如）を示す。この場合、フォトダイオードデータ（Ｐｄ）は、未処理の画素データになる。この例でも８ビットのフォトダイオードデータと８ビットの浮遊拡散データとが示されている。上側の画素値１１０は画像形成装置から得たデータであり、下側の画素値１１２は、それが本発明の回路を通過した後のデータである。このデータ構造において最下位ビットはフォトダイオードデータである。これは理想的な状態であって、実際には、所望でない感光性があるために、浮遊拡散情報には暗電流や小さな信号が含まれる可能性がある。上述の本発明はこの点を扱っていない。大きさ比較器６８はフォトダイオードデータに応じて、あるいはこれに基づいて、浮遊拡散データを処理する場合を決定するのであって、浮遊拡散データに基づいてこの決定を行うわけではないためである。この点を以下で扱う。

上述のように、本発明に係る輪郭線除去は、マイクロプロセッサを用いてソフトウェアによって実現できる。このようなソフトウェアの動作のフローチャートを図１１に示す。フォトダイオードデータが入力される（１２０）、このフォトダイオードデータが、浮遊拡散領域への溢れ出しがあったことを示すか否かを検出する。これはこのフォトダイオードデータとブルーミング閾値Ｚとを比較して行う。（１２２）。そのような現象があった場合、浮遊拡散割合にフォトダイオード集積時間対浮遊拡散集積時間の比率を乗算した値をフォトダイオード値に加算する（１２４）。次に、得られた値にランダム数を加算することで、増幅器が上記の計算を行うことによって生じた明白な輪郭線を、得られた画像の中から除去する（１２６）。ランダム数のビット深度はフォトダイオード集積時間対浮遊拡散集積時間の比率を表すために必要なビットの数によって決定される。続いて、再構築された画素データを出力する（１２８）。一方、入力されたフォトダイオードデータが、浮遊拡散領域への溢出しがないことを示す場合、フォトダイオードデータが画素データとして出力される（１３０）。

処理（１２４）、（１２６）、およびハードウェアを用いた場合のこれらと均等の処理は、浮遊拡散データ、フォトダイオードデータ、ランダム数を入力とするルックアプテーブル（ＬＵＴ）を用いて実現できる。

本発明では、浮遊拡散が部分的な感光性を有さない場合には、大きさ比較器６８を、フォトダイオードデータ源ではなく、浮遊拡散溢出しデータ源に接続することができる。あるいは、大きさ比較器６８の代わりにＯＲゲートを浮遊拡散データと共に用いて、数個の最下位ビット（ＬＳＢ）をスキップして暗電流の蓄積に備えてもよい。

このシステムは、本発明の処理およびデータ構造を保存、配布できるような磁気および光学ディスク、ＲＡＭ、ＲＯＭ等の常設または着脱可能な保存部を有する。この処理も、例えばインターネット等のネットワークを介してダウンロードする等によって配布できる。

拡大されたダイナミックレンジ画像形成装置によって生成される画素データのフォーマットを示す図である。 画像形成装置画素データを、拡散データ（Ｆｄ）およびフォトダイオードデータ（Ｐｄ）のパラレルストリームに変換することを示す図である。 本発明のハードウェア実施形態の回路を示すブロック図である。 図３に示すシルアルデータ分離回路３０をより詳細に示す図である。 図４に示すシルアルデータ分離回路３０のタイミング図である。 図３に示す輪郭線除去および再構築回路３２をより詳細に示す図である。 出力画像データのフォーマットを示す図である。 拡散データおよびフォトダイオードデータの組み合わせ処理を示す図である。 フォトダイオードが飽和した場合に行う画素データの変換または変質処理を示す図である。 フォトダイオード飽和が生じない場合の画素データを示す図である。 本発明のソフトウェア実施形態のフローチャートを示す図である。

符号の説明

１０ シリアル画素データ、２０，７２ 浮遊拡散データ、２２，７４ フォトダイオードデータ、３０ シルアルデータ分離回路、３２ 輪郭線除去および再構築回路、４０ 画像形成装置、４２ クロック信号源、４４ インバータ、５０ 分割器、５２ レジスタ、６２ 増幅器、６４ 加算機、６６ ランダム数生成装置、６７ ビット選択論理、６８ 比較器、７０ 出力画像データ、７６ 出力画素、１００，１１０ 上位画素値、１０２，１１２ 下位画素値。

Claims (3)

1. 画素データの飽和を検出する飽和検出装置と、
   前記検出に応じて、前記画像データから輪郭線を除去する輪郭線除去部と、
   を有する、画像データ処理装置。
2. 請求項１に記載の画像データ処理装置において、
   前記飽和検出装置は、前記画像データのフォトダイオードデータを受信して、前記フォトダイオードデータと閾値とを比較する大きさ比較器を備えることを特徴とする画像データ処理装置。
3. 画像データがフォトダイオードの飽和を示すか否かを検出し、
   前記飽和によって生じる輪郭線を前記画像データから除去する、
   画像データ処理の方法。
   
   

Images