JP2009290795A - 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、および電子情報機器 - Google Patents

Abstract

【課題】分光特性が異なる複数種類のカラーフィルタを備えた対数変換型の固体撮像素子で得られた撮像信号から、被写体の動きの部分のエッジに生じる色づきを抑制したカラー画像信号を再構成することができる画像処理装置を得る。
【解決手段】上記対数変換型の固体撮像素子から出力された撮像信号からカラー画像信号を再構成する画像処理装置において、該撮像信号の画素毎の時系列変化量を算出する時系列変化演算部２２と、該演算部により算出された撮像信号の画素毎の時系列変化量に基づいて、画素毎に該カラー画像信号の彩度を調整する彩度調整部２５とを備え、該彩度調整が行われたカラー画像信号をモニタディスプレイ３に出力するようにした。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、画像処理プログラム、記録媒体、および電子情報機器に関し、特に、マトリックス状に設置された複数の光電変換素子と、該複数の光電変換素子上に規則的に配置された、分光特性が異なる複数種類のカラーフィルタとを有し、入射光の光量を対数変換する固体撮像素子から出力された撮像信号からカラー画像信号を再構成する画像処理装置および画像処理方法、並びにこのような画像処理方法をコンピュータにより行うための画像処理プログラムおよびこのような画像処理プログラムを格納した記録媒体、並びに、上記のような画像処理装置を用いた電子情報機器に関する。

近年、カメラ付き携帯電話を始め、ディジタル一眼レフカメラ、ムービーカメラ等にＣＭＯＳイメージセンサが広く用いられている。これらのＣＭＯＳイメージセンサは、画素内に設けられたフォトダイオードに一定時間蓄積された光電荷を画素内の増幅回路で電圧に変換することで、入射光量に比例した撮像信号を出力する。これらの線形応答型のＣＭＯＳイメージセンサは、フォトダイオードの容量に限界があるため、入射光のダイナミックレンジが狭く、得られた画像内に、被写体の白とびや黒つぶれなどが生じるおそれがある。これらの白とびや黒つぶれは、画像の品質を損ねるものであるため、できる限り生じないようにすることが好ましい。

従来から、このような問題を改善する手法として、フォトダイオードとＭＯＳトランジスタを直列接続することで、フォトダイオードで発生した光電流に対し、対数的な電圧応答が得られる対数変換型の固体撮像素子が知られている（特許文献１、特許文献２）。

図７はこのような対数変換型の固体撮像素子を説明する図であり、図７（ａ）は、対数変換型の固体撮像素子の画素内に設けられる、フォトダイオード６１と対数変換トランジスタ６２との接続関係を表わす回路図である。

図７（ａ）に示すように、対数変換トランジスタ６２は、そのゲート電極Ｇとドレイン電極Ｄが共通に接続されており、フォトダイオード６１と対数変換トランジスタ６２は直列に接続されている。ここでは、対数変換トランジスタ６２としてＮＭＯＳトランジスタを用い、フォトダイオード６１のアノードは基板電位Ｖｓｓに、対数変換トランジスタ６２のゲート電極Ｇとドレイン電極Ｄは電源電位Ｖｄｄに、また対数変換トランジスタ６２のバックゲート電位は基板電位Ｖｓｓに設定されている。

図７（ａ）に示す回路構成以外にも、フォトダイオードと対数変換トランジスタの接続関係を逆にしたタイプの回路構成や、対数変換トランジスタとしてＰＭＯＳトランジスタを用いた回路構成が考えられるが、いずれの回路構成を用いても原理的に同様の動作をするため、以下、図７（ａ）に示す回路構成の例を用いて、対数変換型の固体撮像素子において問題となる残像現象のメカニズムについて説明する。

対数変換型の固体撮像素子の画素部に光が当たると、入射光量に応じた光電流Ｉｐが各画素内のフォトダイオード６１に発生する。熱的な平衡状態では、対数変換型トランジスタ６２のドレイン電流Ｉｄと前記光電流Ｉｐとは一致し、このとき対数変換トランジスタ６２のドレイン電流Ｉｄに応じて、対数変換トランジスタ６２のソース電極Ｓの電位が一意に定まる。フォトダイオード６１に発生する光電流は、通常１０ｎＡにも満たない非常に小さな電流となるため、対数変換型トランジスタ６２は弱反転領域（サブスレッショルド領域）で動作するようにバイアスされる。ＭＯＳトランジスタの弱反転領域では、ドレイン電流Ｉｄは、ゲート−ソース間電圧の指数関数で表わされる。図７（ａ）に示す回路構成では、フォトダイオード６１に発生する光電流Ｉｐに一致するように、ドレイン電流Ｉｄが流れ熱平衡状態に達するため、対数変換トランジスタ６２のゲート−ソース間にドレイン電流Ｉｄの対数関数で表される電圧が生じる。このとき対数変換トランジスタ６２のソース電位であり、フォトダイオード６１のカソード電位でもある出力電圧Ｖｐｄは、光電流Ｉｐの対数関数となり、ゲート電位は固定されていることから、光電流Ｉｐが増加するに従ってソース電位は低下する。

固体撮像素子の撮像面照度と光電流との関係は、量子効率による一定の比例関係があるため、広いダイナミックレンジの入射光に対して、撮像面照度の対数変換値がフォトダイオード６１と対数変換トランジスタ６２との接続ノードに出力電圧Ｖｐｄとして得られる。また前述のように固体撮像素子の撮像面照度と光電流とが比例関係にあることから、入射光の増加、即ち撮像面照度の増加に伴い、出力電圧Ｖｐｄは低下する。

前述のように、熱平衡状態で出力電圧Ｖｐｄは、入射光量に応じた光電流Ｉｐの対数関数となるが、実際には図７（ａ）に示すように、寄生デバイスである静電容量６３がフォトダイオード６１に対し並列に存在するため、熱平衡状態に達するまでに相当な時間を要する。特に光電流Ｉｐｄが非常に小さいときに、それは顕著となる。

図７（ａ）に示す出力電圧Ｖｐｄが熱平衡状態に達するまでの振る舞いには、２つのモードがある。ひとつは増光時で、光電流Ｉｐが小さい状態から大きい状態に変化する増光モード、もうひとつは減光時で、光電流Ｉｐが大きい状態から小さい状態に変化する減光モードである。

次に各モードでの出力電圧Ｖｐｄの振る舞いを、図７（ｂ），図７（ｃ）を用いて説明する。ここでは、便宜上、実線で示したＧ（グリーン）画素の応答のみを考える。

増光モードでの出力電圧Ｖｐｄの応答特性を、図７（ｂ）に示す。図７（ｂ）では、時刻ｔ１でステップ状にフォトダイオードの光電流Ｉｐがｉ２からｉ１へ増加した場合の、出力電圧Ｖｐｄの時間軸上での軌跡を示す。ここでｖ２，ｖ１は光電流Ｉｐがそれぞれｉ２，ｉ１であるときの、熱平衡状態での出力電圧Ｖｐｄの電位を表す。時刻ｔ１以前では、出力電圧Ｖｐｄは電位ｖ２であるが、時刻ｔ１で光電流Ｉｐがｉ２からｉ１に急激に増加し、対数変換トランジスタの熱平衡状態は破られ、出力電圧Ｖｐｄは時間の経過と共に下降する。

上記出力電圧Ｖｐｄの下降曲線の勾配は、寄生容量６３の放電電流（−Ｉｃ）と寄生容量６３の静電容量（Ｃｐｄ）との比に依存する。図７（ａ）に示すフォトダイオード６１のカソードにおいて、光電流Ｉｐ、ドレイン電流Ｉｄ、放電電流Ｉｃに関し、キルヒホッフの電流則が成り立つことから、放電電流−Ｉｃ＝Ｉｐ−Ｉｄとなる。従って増光モードでの出力電圧Ｖｐｄの勾配は（Ｉｐ−Ｉｄ）／Ｃｐｄとなる。また出力電圧Ｖｐｄの勾配を決めるドレイン電流Ｉｄは、対数変換トランジスタ６２のゲート−ソース間電圧で決まり、ゲート−ソース間電圧の増加に伴い指数関数的に増加する。

次に増光モードにおける、時間の経過に伴うＶｐｄの勾配の変動を図７（ｂ），（ｄ）を用いて説明する。図７（ｂ）において、時刻ｔ１直後における出力電圧Ｖｐｄの勾配は（ｉ１−ｉ２）／Ｃｐｄである。このときのドレイン電流Ｉｄは、図７（ｄ）において、ゲート−ソース間電圧がＶｄｄ−ｖ２に、ドレイン電流がｉ２となるポイントＰ２にある。時間の経過と共にドレイン電流Ｉｄは、図７（ｄ）に示す曲線に沿ってＤ２方向へ増加する。Ｄ２方向へのドレイン電流Ｉｄの増加に伴い、出力電圧Ｖｐｄの勾配は次第に減少し、ポイントＰ１で示す電流ｉ１となった時点でゼロとなる。この時点でドレイン電流Ｉｄ、光電流Ｉｐ共にｉ１に、静電容量Ｃｐｄの放電電流−Ｉｃはゼロになり、出力電圧Ｖｐｄは熱平衡状態に達する。このとき出力電圧Ｖｐｄの電位はｖ１となる。

減光モードでの出力電圧Ｖｐｄの応答特性を、図７（ｃ）に示す。図７（ｃ）では、時刻ｔ１でステップ状にフォトダイオードの光電流Ｉｐがｉ１からｉ２へ減少した場合の、出力電圧Ｖｐｄの時間軸上での軌跡を示す。ここでｖ２，ｖ１は、光電流Ｉｐがそれぞれｉ２，ｉ１であるときの、熱平衡状態での出力電圧Ｖｐｄを表す。時刻ｔ１以前では、出力電圧Ｖｐｄはｖ１であるが、時刻ｔ１で光電流Ｉｐがｉ１からｉ２に急激に減少し、対数変換トランジスタの熱平衡状態は破られ、出力電圧Ｖｐｄは時間の経過と共に上昇する。

この出力電圧Ｖｐｄの上昇曲線の勾配は、寄生容量６３の充電電流Ｉｃと寄生容量６３の静電容量Ｃｐｄとの比に依存する。図７（ａ）に示すフォトダイオード９１のカソードにおいて、光電流Ｉｐ、ドレイン電流Ｉｄ、充電電流Ｉｃに関し、増光時と同様にキルヒホッフの電流則が成り立つことから、充電電流Ｉｃ＝Ｉｄ−Ｉｐとなる。従って増光モードでの出力電圧Ｖｐｄの勾配は（Ｉｄ−Ｉｐ）／Ｃｐｄとなる。また出力電圧Ｖｐｄの勾配を決めるドレイン電流Ｉｄは、対数変換トランジスタ６２のゲート−ソース間電圧で決まり、ゲート−ソース間電圧の減少に伴い指数関数的に減少する。

次に減光モードにおける、時間の経過に伴うＶｐｄの勾配の変動を図７（ｃ），図７（ｄ）を用いて説明する。図７（ｃ）において、時刻ｔ１直後におけるＶｐｄの勾配は（ｉ１−ｉ２）／Ｃｐｄである。このときのドレイン電流Ｉｄは図７（ｄ）において、ゲート−ソース間電圧がＶｄｄ−ｖ１に、ドレイン電流がｉ１となるポイントＰ１にある。時間の経過と共にドレイン電流Ｉｄは、図７（ｄ）に示す曲線に沿ってＤ１方向へ減少する。Ｄ１方向へのドレイン電流Ｉｄの減少に伴い、出力電圧Ｖｐｄの勾配は次第に減少し、ポイントＰ２で示す電流ｉ２となった時点でゼロとなる。この時点でドレイン電流Ｉｄ、光電流Ｉｐ共にｉ２に、静電容量Ｃｐｄの充電電流Ｉｃはゼロになり、出力電圧Ｖｐｄは熱平衡状態に達する。このとき出力電圧Ｖｐｄの電位はｖ２となる。

図７（ｂ）の増光時応答特性と図７（ｃ）の減光時応答特性で、収束に要する時間が異なるのは、上記で説明した、増光モードと減光モードとの間で、出力電圧Ｖｐｄの勾配の減少速度に差異があるためである。時刻ｔ１での増光モードでのＶｐｄの勾配は、（ｉ１−Ｉｄ）／Ｃｐｄで、ドレイン電流Ｉｄはｉ２である。ドレイン電流Ｉｄは、時間の経過と共に、図７（ｄ）のポイントＰ２から次第に増加する。一方、時刻ｔ１での減光モードでのＶｐｄの勾配は（Ｉｄ−ｉ２）／Ｃｐｄで、ドレイン電流Ｉｄはｉ１である。ドレイン電流Ｉｄは時間の経過と共に、図７（ｄ）のポイントＰ１から次第に減少する。

ポイントＰ１とポイントＰ２では図７（ｄ）に示すように、対数変換トランジスタ９２のゲート−ソース間電圧に対するドレイン電流Ｉｄの傾き（変化率）が大きく異なる。ポイントＰ１でのドレイン電流Ｉｄの傾きは、ポイントＰ２でのドレイン電流Ｉｄの傾きに比べて、相当大きいため、減光モードでの出力電圧Ｖｐｄの勾配の減少は、増光モードでのドレイン電流Ｉｄの増加に比べて、ドレイン電流Ｉｄの減少が急激なため、増光モードでのＶｐｄの勾配の減少に比べて急速となる。

従って、減光モードでの出力電圧Ｖｐｄの遷移時間は、勾配の減少がより急速であるため、増光モードでの遷移時間に比べて長時間となる。このような増光モードと減光モードとの非対称性により、出力電圧Ｖｐｄの応答時間は大きく異なる。対数変換型の固体撮像素子では前述のメカニズムにより、特に暗い環境で撮像したとき、被写体の動き部分のエッジに残像が生じる。中でも被写体の動きにより、画素に入射する光量が減少するとき、前述の減光モードとなり、より大きな残像が生じる。

ところで、線形応答型のＣＭＯＳイメージセンサを搭載した、カメラ付き携帯電話を始め、ディジタル一眼レフカメラ、ムービーカメラ等、ほとんどの民生用の撮像機器は、カラー撮像を目的としている。カラー撮像は、イメージセンサの画素部にマトリックス状に配置されたフォトダイオードの上部に、分光特性の異なる複数種類のカラーフィルタを設けることで可能となり、このようなカラーフィルタの中でも、レッド、グリーン、ブルーの３種類のカラーフィルタを規則的に配置した、ベイヤー型とよばれるカラーフィルタアレイが最もよく用いられている。また、対数変換型の固体撮像素子においても同様に、マトリックス状に配置されたフォトダイオードの上部に、ベイヤー型のカラーフィルタアレイを配置することで、カラー撮像が可能となる。

ここで、レッド、グリーン、ブルーの３種類のカラーフィルタの透過率は、フォトダイオードを形成するシリコンの吸収スペクトルと併せて、感度、波長の弁別性等、総合的なバランスを考慮して最適化される。最適化された結果、カラーフィルタとフォトダイオードの組み合わせによる分光感度特性上で、レッド、グリーン、ブルーの感度が異なるため、前述のメカニズムにより、画素出力信号の応答時間に長短が生じ、その結果、被写体の動き部分のエッジに色づきが生じる。このような色づきは、画像の品質を損ねるものであるため、なんらかの対策が求められる。

このような被写体の動き部分のエッジに生じる色づきを解消する先行技術として、エッジ部分に対応する画像信号を取得し、この画像信号に対する信号処理として、エッジ部分にその色づきを解消する色（補色）を付加する手法が特許文献３に公開されている。

この特許文献３に開示の技術は、プラズマディスプレイや液晶ディスプレイの表示素子の応答時間が、各色の素子毎に異なることにより生じる、動画のエッジ部の色づきの解消を対象とするものであるが、これは、上述した対数変換型の固体撮像素子の残像の色づきの解消するのに適応可能なものである。
特許第２８３６１４７号公報 特許第３６９６２３４号公報 特開２００７−２６４１２３号公報

前述のように、画素部の上にベイヤー型のカラーフィルタアレイを設置した対数変換型の固体撮像素子では、レッド、グリーン、ブルーのそれぞれのカラーフィルタ間で透過率が異なるため、前述のメカニズムにより、画素出力信号の応答時間に長短が生じ、その結果、被写体の動き部分のエッジに色づきが生じる。

以下、図７（ａ），（ｂ），（ｃ）を用いて、動き部分のエッジの色づきに関し、さらに詳細に述べる。

図７（ｂ），（ｃ）は、図７（ａ）に示す各画素の出力電圧Ｖｐｄの応答特性を説明する図であり、レッド、グリーン、ブルーのカラーフィルタを上部に備えた対数変換型の固体撮像素子の画素に入射する光の光量がステップ関数状に変化した場合の応答特性を示している。図７（ｂ），（ｃ）中の粗い点線（Ｒ画素）、細かい点線（Ｇ画素）、一点鎖線（Ｂ画素）で示す曲線は、レッド、グリーン、ブルーのカラーフィルタを夫々上部に備えた画素の出力電圧Ｖｐｄの応答曲線を示す。また粗い点線（Ｒ画素）、細かい点線（Ｇ画素）、一点鎖線（Ｂ画素）で示す曲線は、入射光のスペクトルはフラット、即ち白色光が入射したときの、画素の出力電圧Ｖｐｄの応答曲線であり、白色光が入射したときに、Ｒ画素、Ｇ画素、Ｂ画素、各画素の出力電圧Ｖｐｄが等しくなるように、予めオフセット電圧を調整したものである。前記オフセット電圧の調整により、図７（ａ）に示す、対数変換トランジスタ６２のスレッショルド電圧のばらつきのみならず、カラーフィルタとフォトダイオードの組み合わせによる分光感度特性上での、レッド、グリーン、ブルーの感度の差異によるオフセット電圧が自動的に補正され、ホワイトバランスを取ることができる。

図７（ｂ）は、画素に入射する光の光量が時刻ｔ１でステップ関数状に増加して、光電流Ｉｐがｉ２からｉ１へ増加した場合の、Ｒ画素、Ｇ画素、Ｂ画素、各画素の出力電圧Ｖｐｄの応答曲線を示す。ここでｖ２，ｖ１は、光電流Ｉｐがそれぞれｉ２，ｉ１であるときの、熱平衡状態での出力電圧Ｖｐｄを表す。図７（ｂ）では、Ｇ画素、Ｒ画素、Ｂ画素の順で感度が高く、Ｇ画素は、Ｒ画素とＢ画素に比較して、感度が突出して高いため、応答時間も早い。このため、時刻ｔ２のように各画素が遷移状態にある時点で、出力電圧Ｖｐｄをサンプルした場合、Ｇ画素の出力電圧ＶｐｄがＲ画素やＢ画素の出力Ｖｐｄより低いため、再生された画像は緑色に色づいて見える。従って、被写体の動きにより、黒から白へと輝度が大きく変化する場合、動き部分のエッジでは緑色の偽色が発生する。

図７（ｃ）は、画素に入射する光の光量が時刻ｔ１でステップ関数状に増加して、光電流Ｉｐがｉ１からｉ２へ減少した場合の、Ｒ画素、Ｇ画素、Ｂ画素、各画素の出力電圧Ｖｐｄの応答曲線を示す。図７（ｂ）と同様に、ｖ２，ｖ１は光電流Ｉｐがそれぞれｉ２，ｉ１であるときの、熱平衡状態での出力電圧Ｖｐｄを表す。時刻ｔ２のように各画素が遷移状態にある時点で、出力電圧Ｖｐｄをサンプルした場合、Ｒ画素やＢ画素の出力電圧ＶｐｄがＧ画素の出力電圧Ｖｐｄより低いため、再生された画像はマゼンタ色に色づいて見える。従って、被写体に動きにより、白から黒へと輝度が大きく変化する場合、動き部分のエッジではマゼンタ色の偽色が発生する。

図７（ｂ），（ｃ）で説明した、輝度が大きく変化する場合に見られる、被写体の動き部分のエッジに生じる偽色は、本来被写体には無かった色であり、非常に目に付き、画像の品質を損ねるものであるため、なんらかの対策が必要となる。特許文献３には、被写体の動き部分にエッジに生じる色づきに対し、エッジ部分を抽出し、同部分の色に対して補色関係にある色を付加することで色づきを解消する手法が開示されている。

しかしながら、この特許文献３に開示の手法は補色を付加して色づきを解消するものであるため、エッジ部分の抽出が正しく行われないと、実際にはエッジ部分ではないところに、補色が付加されてしまい、別の偽色が発生するため、画像の品質を損ねてしまうという課題があった。

本発明は上記の課題を解決するためになされたものであり、分光特性が異なる複数種類のカラーフィルタを備えた固体撮像素子で得られた撮像信号に基づいて、被写体の動きの部分のエッジに生じる色づきを抑制したカラー画像信号を再構成することができる画像処理装置および画像処理方法、この画像処理方法をコンピュータにより実行するための画像処理プログラム、および該画像処理プログラムを格納した記録媒体、並びに上記のような画像処理装置を用いた電子情報機器を得ることを目的とする。

本発明に係る固体撮像装置は、マトリックス状に配列された複数の光電変換素子と、該光電変換素子上に規則的に配置され、分光特性が異なる複数種類のカラーフィルタとを有する、入射光の光量を対数変換する固体撮像素子から出力された撮像信号からカラー画像信号を再構成する画像処理装置であって、該撮像信号の画素毎の時系列変化量を算出する時系列変化演算部と、該時系列変化演算部により算出された撮像信号の画素毎の時系列変化量に基づいて、画素毎に該カラー画像信号の彩度を調整する彩度調整手段とを備えたものであり、そのことにより上記目的が達成される。

本発明は、上記画像処理装置において、前記時系列変化量は、各画素のフレーム間の色相距離であることが好ましい。

本発明は、上記画像処理装置において、前記色相距離は、各画素のフレーム間の色相差の絶対値であることが好ましい。

本発明は、上記画像処理装置において、前記色相距離は、複数種類の色相差の各々の絶対値の総和であることが好ましい。

本発明は、上記画像処理装置において、前記色相距離は、時系列順に並んだ３枚以上のフレームのうちの隣接したフレーム間の色相距離の総和であることが好ましい。

本発明は、上記画像処理装置において、前記カラーフィルタの配列は、ベイヤー型であり、前記色相は、レッド、グリーン、ブルーの３色のうちの、ひとつの色と他の２色との、２種類の色比で表わしたものであることが好ましい。

本発明は、上記画像処理装置において、前記彩度調整手段は、前記時系列変化量の大きさに反比例する前記彩度の調整を行うことが好ましい。

本発明は、上記画像処理装置において、前記カラー画像信号は、レッド、グリーン、ブルーの３色の原色信号で表わされ、前記彩度調整手段は、前記彩度の調整を下記の式を満たすよう行うことが好ましい。

Ｒ’＝ｋ（Ｒ−Ｙ）＋Ｙ ・・・（１ａ）
Ｇ’＝ｋ（Ｇ−Ｙ）＋Ｙ ・・・（１ｂ）
Ｂ’＝ｋ（Ｂ−Ｙ）＋Ｙ ・・・（１ｃ）
ここで、Ｒ，Ｇ，Ｂは、彩度調整前のレッド、グリーン、ブルーのカラー画像信号、Ｙは輝度信号、ｋは前記時系列変化量から求められた彩度調整係数、Ｒ’，Ｇ’，Ｂ’は彩度調整後のレッド、グリーン、ブルーのカラー画像信号である。

本発明は、上記画像処理装置において、前記彩度調整係数ｋは、下記式で表わされることが好ましい。

ｋ＝１／（１＋Ｄｆ・Ｈｄ） ・・・（２）
ここで、Ｈｄは前記時系列変化量、Ｄｆは彩度を落とす度合いを示す脱色化係数である。

本発明は、上記画像処理装置において、前記時系列変化演算部は、画素毎の過去のフレーム間の色相の変化を前記色相距離として演算する色相距離演算部と、前記撮像信号から得られる色相信号が、予め定められた範囲内の色相を示すものであるか否かを判定する色相判定部と、該色相判定部の判定結果に応じて該色相距離から画素毎に彩度調整係数を演算する彩度調整係数演算部とを有することが好ましい。

本発明は、上記画像処理装置において、前記時系列変化演算部は、前記彩度調整係数演算部により得られた彩度調整係数を空間的に平滑化して平滑化彩度調整係数を生成する彩度調整フィルタ部を有することが好ましい。

本発明は、上記画像処理装置において、前記彩度調整係数ｋは、下記式で表わされることが好ましい。

ｋ＝Ｅｍ／（１＋Ｄｆ・Ｈｄ） ・・・（３）
ここで、Ｅｍは、彩度を強調する度合いを示す彩度強調係数、Ｈｄは前記時系列変化量、Ｄｆは彩度を落とす度合いを示す脱色化係数である。

本発明は、上記画像処理装置において、前記時系列変化量Ｈｄと、前記彩度調整係数ｋとの関係をテーブル化するテーブル演算部を備え、前記時系列変化演算部は、該テーブル演算部により得られたテーブルを参照して前記彩度調整係数ｋを求めることが好ましい。

本発明は、上記画像処理装置において、前記時系列変化演算部は、画素毎の過去のフレーム間の色相の変化を前記色相距離として演算する色相距離演算部と、前記撮像信号から得られた色相信号が、予め定められた範囲内の色相を示すものであるか否かを判定する色相判定部と、彩度を強調する度合いを示す彩度強調係数、および彩度を落とす度合いを示す脱色化係数に基づいて、それぞれの係数の値の応じたテーブル用彩度調整係数を算出する彩度調整係数テーブル演算部と、該算出されたテーブル用彩度調整係数を含むテーブルを格納する彩度調整係数テーブル格納部と、該色相判定部の判定結果に応じて該色相距離に基づいて、該テーブルを参照して画素毎に彩度調整係数を求める彩度調整係数演算部とを有することが好ましい。

本発明は、上記画像処理装置において、前記時系列変化演算部は、前記彩度調整係数演算部により求められた彩度調整係数を空間的に平滑化して、平滑化彩度調整係数を生成する彩度調整フィルタ部を有することが好ましい。

本発明は、上記画像処理装置において、前記彩度調整手段は、前記色相が所定の範囲内にあるときのみ、前記彩度の調整を行うことが好ましい。

本発明は、上記画像処理装置において、前記彩度調整手段は、前記色相が所定の範囲内にある画素に対して第１の彩度調整係数を求め、前記色相が前記所定の範囲外にある画素に対して第１の彩度調整係数を所定の値とし、前記第１の彩度調整係数の画素空間上の低域フィルタ出力を第２の彩度調整係数とし、該第２の彩度調整係数に基づいて前記カラー画像信号の彩度調整を行うことが好ましい。

本発明に係る画像処理方法は、マトリックス状に配列された複数の光電変換素子と、該光電変換素子上に規則的に配置され、分光特性が異なる複数種類のカラーフィルタとを有する、入射光の光量を対数変換する固体撮像素子から出力された撮像信号からカラー画像信号を再構成する画像処理方法であって、該撮像信号の画素毎の時系列変化量を算出する演算ステップと、該演算ステップで算出された撮像信号の画素毎の時系列変化量に基づいて、画素毎に該カラー画像信号の彩度を調整する彩度調整ステップとを含むものであり、そのことにより上記目的が達成される。

本発明に係る画像処理プログラムは、マトリックス状に配列された複数の光電変換素子と、該光電変換素子上に規則的に配置され、分光特性が異なる複数種類のカラーフィルタとを有する、入射光の光量を対数変換する固体撮像素子から出力された撮像信号からカラー画像信号を再構成する画像処理方法を、コンピュータにより行うための画像処理プログラムであって、該撮像信号の画素毎の時系列変化量を算出する演算ステップと、該演算ステップで算出された撮像信号の画素毎の時系列変化量に基づいて、画素毎に該カラー画像信号の彩度を調整する彩度調整ステップとを含むものであり、そのことにより上記目的が達成される。

本発明に係る記録媒体は、コンピュータにより画像処理を行うための画像処理プログラムを格納した記録媒体であって、該画像処理プログラムは、上述した本発明に係る画像処理プログラムであり、そのことにより上記目的が達成される。

本発明に係る電子情報機器は、被写体の撮像を行う対数変換型の固体撮像素子と、該固体撮像素子により得られた撮像信号を処理する画像処理部とを備えた電子情報機器であって、該画像処理部は、上述した本発明に係る画像処理装置であり、そのことにより上記目的が達成される。

以下、本発明の作用について説明する。

本発明においては、撮像信号の画素毎の時系列変化量に基づいて対数変換型の固体撮像素子により得られたカラー画像の彩度を画素毎に調整するので、動画像の動きのある部分の画素の彩度を落とすことができ、対数変換型の固体撮像素子で生じる残像の不自然な色づきを軽減することができる。

本発明においては、各画素のフレーム間の色相距離に基づいて対数変換型の固体撮像素子により得られたカラー画像の彩度を調整するので、動画像の色相に変化がある部分の彩度を落とすことができ、対数変換型の固体撮像素子で生じる残像の不自然な色づきを軽減することができる。

本発明においては、各画素のフレーム間の色相差の絶対値を色相距離とするので、各画素のフレーム間の色相距離を簡単な計算で求めることができることから、本発明の画像処理装置の回路規模および消費電力を小さくすることができる。

本発明においては、複数種類の色相差の各々の絶対値の総和を前記色相距離としているので、各画素のフレーム間の色相距離を簡単な計算で求めることができることから、本発明の画像処理装置の回路規模および消費電力を小さくすることができる。

本発明においては、時系列順に並んだ３枚以上のフレームの隣接したフレーム間の色相距離の総和をもって前記色相距離とするので、対数変換型の固体撮像素子の残像が３枚以上のフレームに渡る場合においても、色相の時系列変化量を確実に捕捉して彩度の調整を行うことができる。

本発明においては、前記カラーフィルタの配列をベイヤー型とし、レッド、グリーン、ブルーの３色のうちの、ひとつの色と他の２色との、２種類の色比を色相とするので、対数変換型の固体撮像素子の出力信号が対数形式であることから、色比の計算をひとつの色の撮像信号と他の２色の撮像信号との差を求めることで行うことができ、このため、本発明の画像処理装置の回路規模および消費電力を小さくすることができる。

また、本発明においては、撮像信号の画素毎の時系列変化量の大きさに反比例した前記カラー画像の彩度の調整を画素毎に行うので、撮像信号の画素毎の変化量が大きいときには彩度を大きく落とし、撮像信号の画素毎の変化量が小さいときには彩度を小さく落とすことで、対数変換型の固体撮像素子で生じる残像の色づきが大きいときには彩度を大きく落とし、色づきが小さいときには彩度を小さく落とすというように、適応的に残像の色づきを軽減することができる。

本発明においては、彩度の調整前と彩度調整後で、レッド、グリーン、ブルーの各信号成分の総和が等しくなるため、対数変換型の固体撮像素子で生じる残像の色づきを軽減する際、処理前と処理後で、レッド、グリーン、ブルーの各信号のトータルの強度を等しくすることができる。

本発明においては、前記彩度調整係数ｋを、彩度を落とす度合いを示す脱色化係数に基づいて求めるので、対数変換型の固体撮像素子で生じる残像の色づきの軽減度合いを調節可能となる。

本発明においては、前記彩度調整係数ｋを、彩度を落とす度合いを示す脱色化係数と、彩度を強調する度合いを示す彩度強調係数とに基づいて求めるので、脱色化係数Ｄｆにより、画素毎に対数変換型の固体撮像素子で生じる残像の色づきの軽減度合いを調節できると共に、彩度強調係数Ｅｍにより、画面全体の彩度を強調することが可能となる。

本発明においては、前記時系列変化量Ｈｄと、前記彩度調整係数ｋとの関係をテーブル化し、テーブル参照により前記彩度調整係数ｋを求めるので、画素毎に彩度強調係数ｋを求めるために、演算式に従った演算を毎回行う必要が無くなり、画像処理装置の回路規模および消費電力を小さくすることが可能となる。

本発明においては、前記色相が所定の範囲内にあるときのみ、前記撮像信号の画素毎のフレーム間の色相距離により、画素毎に前記カラー画像の彩度の調整を行うので、対数変換型の固体撮像素子で生じる特定の色相の残像の不自然な色づきを、選択的に軽減することができる。

本発明においては、前記色相が所定の範囲内にある画素に対して第１の彩度調整係数を求め、前記色相が前記所定の範囲外にある画素に対して第１の彩度調整係数を所定の値とし、前記第１の彩度調整係数の画素空間上の低域フィルタ出力を第２の彩度調整係数とし、前記第２の彩度調整係数を前記彩度調整係数ｋとして彩度調整を行うので、前記色相が所定の範囲内外の境界に相当する画素領域で生じる、彩度調整処理の有無による色ノイズを平滑化して、対数変換型の固体撮像素子で生じる特定の色相の残像の不自然な色づきを、より自然に軽減することが可能となる。

以上に説明したように、本発明によれば、対数変換型の固体撮像素子で得られた撮像信号の画素毎の時系列変化量に基づいて、該撮像信号から得られるカラー画像の彩度を画素毎に調整するので、動画像の動きのある部分の画素の彩度を落とすことができ、対数変換型の固体撮像素子で生じる残像の不自然な色づきを軽減することができる効果が得られる。

以下、本発明の実施形態について図面を参照しながら説明する。

（実施形態１）
図１〜図３は、本発明の実施形態１による画像処理装置を説明する図であり、図１は、本実施形態１による、固体撮像素子からの撮像信号を処理する画像処理装置２の詳細を示すブロック図であり、図２は、該固体撮像素子におけるベイヤー型のカラーフィルタアレイの配置（図２（ａ））、および画素の回路構成（図２（ｂ））を示している。

本実施形態１の画像処理装置２は、対数変換型の固体撮像素子である対数イメージャ１で得られた撮像信号に基づいてカラー画像信号を再構築してモニタディスプレイ３に出力するものである。つまり、この画像処理装置２は、該撮像信号に基づいて各画素に対応する輝度信号Ｙおよび色相信号Ｈｕｅ１およびＨｕｅ２を作成するデモザイク処理部２１と、上記色相信号Ｈｕｅ１およびＨｕｅ２と、彩度を落とす度合いを示す脱色化係数Ｄｆとに基づいて彩度調整係数ｋを算出する彩度調整係数演算部２２と、輝度信号Ｙの濃淡の調子を変換するトーンマッピング部２３と、トーンマッピング部２３で処理された輝度信号Ｙｍおよびデモザイク部２１から出力された色相信号Ｈｕｅ１およびＨｕｅ２に基づいてカラー画像信号Ｒｓ、Ｇｓ、Ｂｓを生成するＲＧＢ再構成部２４と、該カラー画像信号Ｒｓ、Ｇｓ、Ｂｓの彩度を、彩度調整係数ｋに基づいて調整する彩度調整部２５とを備えている。

以下、図１に示す対数イメージャ１および画像処理装置２について詳述する。

対数型イメージャ１は、画素をマトリックス状に配列してなる画素アレイと、該画素アレイ上に、分光特性が異なる複数種類のカラーフィルタを、個々の画素に対応するよう配置してなるベイヤー型のカラーフィルタアレイ１０とを有している。

被写体の撮像を行う対数イメージャ１は、被写体の画像を表す撮像信号を生成して出力する対数変換型の固体撮像素子である。具体的には、対数イメージャ１は、被写体が発するもしくは被写体で反射する光がレンズ等の光学系を介して固体撮像素子面に入射する光量を輝度レベルに対数変換するものである。この対数イメージャ１の各画素は、図２（ｂ）に示すように、電源電位Ｖｄｄと基板電位Ｖｓｓとの間に直列に接続されたフォトダイオード６１およびＭＯＳトランジスタ６２と、該トランジスタのソース電圧Ｖｐｄがゲートに入力される増幅トランジスタ６４と、該増幅トランジスタ６４のソースと画素から撮像信号を読み出すための読み出し信号線Ｌとの間に接続された選択トランジスタ６５とを有している。ここで、該増幅トランジスタ６４のドレインは電源電位Ｖｄｄに接続されている。

また、該対数イメージャ１のマトリックス状に配置されたフォトダイオードの上部には、図２に示すベイヤー型と呼ばれる、レッド、グリーン、ブルーの３種類のカラーフィルタを規則的に配置したカラーフィルタアレイ１０が設けられている。

具体的には、このカラーフィルタアレイ１０は、グリーンフィルタＦｇ、レッドフィルタＦｒ、およびブルーフィルタＦｂを、各画素を構成する光電変換素子であるフォトダイオード上に配置してなるものであり、このカラーフィルタアレイ１０では、グリーンフィルタＦｇとレッドフィルタＦｒとを交互に配列してなる第１フィルタ行と、グリーンフィルタＦｇとブルーフィルタＦｂとを交互に配列してなる第２フィルタ行とが、隣接するフィルタ行間で、グリーンフィルタＦｇ同士が隣接しないよう配置されている。

つまり、ベイヤー型のカラーフィルタアレイ１０では、各フォトダイオードの上部に、レッド、グリーン、ブルーの３種類のカラーフィルタのうち、いずれかひとつのカラーフィルタが設置されている。このようなベイヤー型の固体撮像素子の撮像信号から、ディスプレイ表示用の画像信号を合成するには、得られた撮像信号から、各画素に対応するＲＧＢの３種の信号が得られるように、空間的な補間処理が必要となる。このようなＲＧＢ信号の合成処理はデモザイク処理と呼ばれる。

上記画像処理装置２のデモザイク処理部２１は、対数イメージャ１の撮像信号を受け、該撮像信号から各画素に対応するＲＧＢの３種の信号を得る、前述のデモザイク処理を行うものである。このデモザイク処理の方法は、バイリニア法、バイキュービック法、ＳＴＨ（Ｓｍｏｏｔｈ Ｈｕｅ Ｔｒａｎｓｉｔｉｏｎ）法等、多岐に亘る手法があり、いずれかの方法を用いて画素毎にＲＧＢの３種類の信号が合成される。また、デモザイク処理部２１は、撮像信号に基づいて合成されたＲＧＢ信号を、各画素に対応する輝度信号Ｙ及び色相信号Ｈｕｅ１，Ｈｕｅ２に変換して出力するものである。

ここで、輝度信号Ｙは、式（４ａ）に示すように、レッド、グリーン、ブルーの各信号の線形結合として求められる。また色相信号Ｈｕｅ１，Ｈｕｅ２は、式（４ｂ）、（４ｃ）に示すように、それぞれレッドとグリーンの信号比、ブルーとグリーンの信号比として求めることができる。

Ｙ＝０．３３Ｒ＋０．５６Ｇ＋０．１１Ｂ ・・・（４ａ）
Ｈｕｅ１＝Ｒ／Ｇ ・・・（４ｂ）
Ｈｕｅ２＝Ｂ／Ｇ ・・・（４ｃ）
ここで、Ｒ、Ｇ、Ｂは、それぞれデモザイク処理部２１で合成された画素毎のＲＧＢの３種類の信号成分を示す。また０．３３，０．５６，０．１１等の係数値は、人間の視感度特性に由来する係数であり、また色度座標系で基準となるレッド、グリーン、ブルーの色が変わればその係数値も様々な値となる。

上記彩度調整係数演算部２２は、デモザイク処理部２１から出力された色相信号Ｈｕｅ１，Ｈｕｅ２、および上記外部から設定される脱色化係数Ｄｆに基づいて彩度調整係数ｋを画素毎に演算して出力する。彩度調整係数演算部２２の詳細な構成については後述する。

トーンマッピング部２３は、デモザイク処理部２１から出力された輝度信号Ｙから、モニタディスプレイ３のダイナミックレンジ範囲内に収まり、且つ細部のコントラストが失われないようなマッピング手法で、輝度信号の濃淡の調子を変換した、輝度信号Ｙｍを出力するものである。このようなマッピング手法として、レティネックス理論を応用した方法、バイラテラルフィルタを用いた方法等が知られている。

ＲＧＢ再構成部２４は、デモザイク処理部２１から出力された色相信号Ｈｕｅ１，Ｈｕｅ２と、トーンマッピング部２３から出力された輝度信号Ｙｍとから、式（５ａ）〜（５ｄ）に従って、画素毎にＲｓ、Ｇｓ、Ｂｓの３種類の信号を合成して出力するものである。

上記彩度調整部２５は、ＲＧＢ再構成部２４から出力されたＲｓ、Ｇｓ、Ｂｓの３種類の各信号に対して、彩度調整係数演算部２２から出力された彩度調整係数ｋによって式（６ａ）〜（６ｄ）に従って彩度の調整を行い、その結果であるＲｄ、Ｇｄ、Ｂｄの３種類の信号をモニタディスプレイ３に出力するものである。

Ｒｄ＝ｋ・（Ｒｓ−Ｙ＋Ｙｄ） ・・・（６ａ）
Ｇｄ＝ｋ・（Ｇｓ−Ｙ＋Ｙｄ） ・・・（６ｂ）
Ｂｄ＝ｋ・（Ｂｓ−Ｙ＋Ｙｄ） ・・・（６ｃ）
Ｙｄ＝０．３３Ｒｓ＋０．５６Ｇｓ＋０．１１Ｂｓ ・・・（６ｄ）
次に、彩度調整係数演算部２２の内部構成について説明する。

図３は、彩度調整係数演算部２２の内部構成を示すブロック図である。

この彩度調整係数演算部２２は、画素毎の過去のフレーム間の色相の変化を、色相距離として演算する色相距離演算部２２１と、デモザイク処理部２１から出力された色相信号Ｈｕｅ１、Ｈｕｅ２を格納するフレームメモリ２２２と、色相信号Ｈｕｅ１、Ｈｕｅ２が予め定められた色相の範囲内にあるかどうかを判定する色相判定部２２３と、色相判定部２２３の判定結果に応じて、脱色化係数Ｄｆに基づいて色相距離から画素毎に第１の彩度調整係数ｋ１を演算する第１の彩度調整係数演算部２２４と、第１の彩度調整係数ｋ１を空間的に平滑化して、上記彩度調整係数演算部２２の出力である第２の彩度調整係数（平滑化彩度調整係数）ｋを生成する彩度調整係数フィルタ部２２５とを備えている。

次に動作について説明する。

対数イメージャ１で被写体の撮像が始まると、つまり、被写体が発したもしくは被写体で反射した光が、レンズ等の光学系を介してその固体撮像素子面に入射すると、対数イメージャ１は、その入射光量を輝度レベルに対数変換する。これにより、対数イメージャ１は、被写体の画像を表す撮像信号を生成して出力する。

画像処理装置２に対数イメージャ１からの撮像信号が入力されると、デモザイク処理部２１は、対数イメージャ１の撮像信号を受け、該撮像信号に対して前述のデモザイク処理を施す。これにより、対数イメージャ１で得られた撮像信号から、各画素に対応するＲＧＢの３種の信号（ＲＧＢ信号）が得られる。また、デモザイク処理部２１では、得られたＲＧＢ信号が、各画素に対応する輝度信号Ｙ及び色相信号Ｈｕｅ１，Ｈｕｅ２に変換される。

輝度信号Ｙは、上記式（４ａ）〜（４ｃ）に示すように、レッド、グリーン、ブルーの各信号の線形結合として求められる。また色相信号Ｈｕｅ１，Ｈｕｅ２は、式（４ｂ）および（４ｃ）に示すように、それぞれレッドとグリーンの信号比、ブルーとグリーンの信号比として求められる。

このとき、トーンマッピング部２３は、デモザイク処理部２１から出力された輝度信号Ｙから、モニタディスプレイ３のダイナミックレンジ範囲内に収まり、且つ細部のコントラストが失われないようなマッピング手法で、輝度信号の濃淡の調子を変換した、輝度信号Ｙｍを出力する。

ＲＧＢ再構成部２４では、デモザイク処理部２１から出力された色相信号Ｈｕｅ１，Ｈｕｅ２と、トーンマッピング部２３から出力された輝度信号Ｙｍとから、式（５）に従って画素毎にＲｓ、Ｇｓ、Ｂｓの３種類の信号を合成して出力する。

また、彩度調整係数演算部２２は、デモザイク処理部２１から出力された色相信号Ｈｕｅ１，Ｈｕｅ２と脱色化係数Ｄｆとに基づいて、彩度調整係数ｋを画素毎に演算して出力する。

以下、彩度調整係数演算部２２の動作について詳述する。

彩度調整係数演算部２２では、色相距離演算部２２１が、図１に示すデモザイク処理部２１から出力された色相信号Ｈｕｅ１、Ｈｕｅ２をフレームメモリ２２２に格納する。言い換えると、フレームメモリ２２２は、色相距離演算部２２１から出力された過去の複数のフレームの色相信号Ｈｕｅ１、Ｈｕｅ２を記憶する。色相距離演算部２２１は、過去の複数のフレームの色相信号Ｈｕｅ１、Ｈｕｅ２から、画素毎の過去のフレーム間の色相の変化を、色相距離として演算する。色相距離を演算する際は、時系列順に並んだフレーム（例えば３フレーム以上のフレーム）の隣接したフレーム間の色相の変化について演算を行い、その絶対値の総和を色相Ｈｕｅ１、Ｈｕｅ２について求める。また、色相距離演算部２２１は、色相Ｈｕｅ１、Ｈｕｅ２について求められた色相距離Ｍ（Ｈｕｅ１）と色相距離Ｍ（Ｈｕｅ２）との和を演算し、色相距離Ｍとして出力する。

前述した色相距離Ｍの演算を式（７ａ）〜（７ｃ）に示す。

これらの式（７ａ）〜（７ｃ）において、（ｉ，ｊ）は画素空間上の二次元の座標を示す。ｆｒは時系列順に並んだフレームのインデックスであり、ｎは色相距離の演算に用いるフレームの数である。

また、色相判定部２２３は、図１のデモザイク処理部２１から出力された色相信号Ｈｕｅ１、Ｈｕｅ２が予め定められた色相の範囲内にあるかどうかを判定し、その判定結果を第１の彩度調整係数演算部２２４に出力する。このとき、前記色相の範囲は、対数イメージャ１で動きのある被写体を撮像した際、黒から白へと輝度が大きく変化する場合に動き部分のエッジに生じる緑色と、その撮像の際に白から黒へと輝度が大きく変化する場合に動き部分のエッジに生じるマゼンタ色とが含まれるように定める。

第１の彩度調整係数演算部２２４は、色相判定部２２３の判定結果が真の場合、以下の式（８）に従って第１の彩度調整係数ｋ１を演算する。

ｋ１＝１／（１＋Ｄｆ・Ｈｄ）＝１／（１＋Ｄｆ・Ｍ） ・・・（８）
ここで、Ｈｄは撮像信号の画素毎の時系列変化量であり、式（８）に示すように色相距離演算部２２１の色相距離出力Ｍを用いる。またＤｆは脱色化係数であり、この値が大きいほど彩度を落とす度合いが大きくなる。

一方、色相判定部２２３の判定結果が偽の場合、第１の彩度調整係数ｋ１の値は１とする。第１の彩度調整係数演算部２２４は、前述のように、色相判定部２２３の判定結果に応じて画素毎に第１の彩度調整係数ｋ１を演算し、彩度調整係数フィルタ部２２５へ出力する。

彩度調整係数フィルタ部２２５は、第１の彩度調整係数演算部２２４の出力である、第１の彩度調整係数ｋ１に対し、空間ローパスフィルタ処理を施すことにより、第１の彩度調整係数ｋ１を空間的に平滑化し、図１の彩度調整係数演算部２２の出力となる第２の彩度調整係数ｋとして図１の彩度調整部２５に出力する。

前述のように、彩度調整部２５は、ＲＧＢ再構成部２４から出力されたＲｓ、Ｇｓ、Ｂｓの３種類の信号に対し、彩度調整係数演算部２２から出力された彩度調整係数ｋによって式（６ａ）〜（６ｄ）に従って彩度の調整を行う。

その結果得られたＲｄ、Ｇｄ、Ｂｄの３種類の信号は、対数イメージャ１で動きのある被写体を撮像した際、黒から白へと輝度が大きく変化する場合に動き部分のエッジに生じる緑色と、白から黒へと輝度が大きく変化する場合に動き部分のエッジに生じるマゼンタ色とに対して選択的に、また式（８）から判るように、色相距離が大きいときには彩度の低下度合いが大きくなるように彩度調整係数が設定され、色相距離が小さいときには彩度の低下度合いが小さくなるように彩度調整係数が設定される。

このように彩度調整部２５は、ＲＧＢ再構成部２４から出力されたＲs、Ｇs、Ｂsの３種類の信号に対し、彩度調整係数演算部２２から出力された彩度調整係数ｋによって式（６ａ）〜（６ｄ）に従って彩度の調整を行った後、彩度調整により得られたＲd、Ｇd、Ｂdの３種類の信号をモニタディスプレイ３に出力する。

このように本発明の実施形態１では、対数イメージャ１により得られた撮像信号の画素毎の時系列変化量に基づいて、該撮像信号から得られるカラー画像の彩度を画素毎に調整するので、動画像の動きのある部分の画素の彩度を落とすことができ、対数変換型の固体撮像素子で生じる残像の不自然な色づきを軽減することができる。

また、この実施形態１では、各画素のフレーム間の色相距離に基づいて対数イメージャ１により得られたカラー画像の彩度を調整するので、動画像の色相に変化がある部分の彩度を落とすことができ、対数イメージャ１で生じる残像の不自然な色づきを軽減することができる。

また、この実施形態１では、各画素のフレーム間の色相差の絶対値を色相距離とするので、各画素のフレーム間の色相距離を簡単な計算で求めることができ、これによりこの実施形態１の画像処理装置２の回路規模および消費電力を小さくすることができる。

また、この実施形態１では、複数種類の色相差の各々の絶対値の総和を前記色相距離としているので、各画素のフレーム間の色相距離を簡単な計算で求めることができ、この実施形態１の画像処理装置２の回路規模および消費電力を小さくすることができる。

また、この実施形態１では、時系列順に並んだ３枚以上のフレームの隣接したフレーム間の色相距離の総和をもって前記色相距離とするので、対数イメージャ１の残像が３枚以上のフレームに渡る場合においても、色相の時系列変化量を確実に捕捉して彩度の調整を行うことができる。

また、この実施形態１では、前記カラーフィルタの配列をベイヤー型とし、レッド、グリーン、ブルーの３色のうちの、ひとつの色と他の２色との、２種類の色比を色相とするので、対数変換型の固体撮像素子の出力信号が対数形式であることから、色比の計算を、ひとつの色の撮像信号と他の２色の撮像信号との差を求めることで行うことができ、このため、この実施形態１の画像処理装置２の回路規模および消費電力を小さくすることができる。

また、この実施形態１では、撮像信号の画素毎の時系列変化量の大きさに反比例した前記カラー画像の彩度の調整を画素毎に行うので、撮像信号の画素毎の変化量が大きいときには彩度を大きく落とし、撮像信号の画素毎の変化量が小さいときには彩度を小さく落とすことで、対数変換型の固体撮像素子で生じる残像の色づきが大きいときには彩度を大きく落とし、色づきが小さいときには彩度を小さく落とすというように、適応的に残像の色づきを軽減することができる。

また、この実施形態１では、彩度の調整前と彩度調整後で、レッド、グリーン、ブルーの各信号成分の総和を等しくすることにより、対数イメージャで生じる残像の色づきを軽減する際、処理前と処理後で、レッド、グリーン、ブルーの各信号のトータルの強度を等しくすることができる。

また、この実施形態１では、前記彩度調整係数ｋを、彩度を落とす度合いを示す脱色化係数に基づいて求めるので、対数イメージャ１で生じる残像の色づきの軽減度合いを調節可能となる。

また、この実施形態１では、前記色相が所定の範囲内にある画素に対して第１の彩度調整係数を求め、前記色相が前記所定の範囲外にある画素に対して第１の彩度調整係数を所定の値とし、前記第１の彩度調整係数の画素空間上の低域フィルタ出力を第２の彩度調整係数とし、前記第２の彩度調整係数を前記彩度調整係数ｋとして彩度調整を行うので、前記色相が所定の範囲内外の境界に相当する画素領域で生じる、彩度調整処理の有無による色ノイズを平滑化して、対数変換型の固体撮像素子で生じる特定の色相の残像の不自然な色づきを、より自然に軽減することが可能となる。
（実施形態２）
図４および図５は、本発明の実施形態２による画像処理装置を説明する図であり、図４は、本実施形態２の画像処理装置２ａの構成を示すブロック図であり、図５は、該画像処理装置２ａを構成する彩度調整係数演算部２２ａの内部構成を示すブロック図である。

この実施形態２の画像処理装置２ａは、実施形態１の画像処理装置２における彩度調整係数演算部２２に代わる、色相信号Ｈｕｅ１、Ｈｕｅ２および脱色化係数Ｄｆに加えて彩度強調係数Ｅｍに基づいて彩度調整係数ｋを算出する彩度調整係数演算部２２ａを備えたものである。この彩度調整演算部２２ａは、実施形態１の彩度調整係数演算部２２の構成に加えて、彩度を強調する度合いを示す彩度強調係数Ｅｍ、および彩度を落とす度合いを示す脱色化係数Ｄｆに基づいて、それぞれの係数の値の応じたテーブル用彩度調整係数を算出する彩度調整係数テーブル演算部２２６と、該算出されたテーブル用彩度調整係数を含むテーブルを格納する彩度調整係数テーブル格納部２２７とを備え、さらに、実施形態１の彩度調整演算部２２における第１の彩度調整係数演算部２２４に代えて、色相判定部２２３の判定結果に応じて、色相距離に応じた第１の彩度調整係数ｋ１を彩度調整係数テーブル格納部２２７を参照して画素毎に求める第１の彩度調整係数演算部２２４ａを備えたものである。

次に動作について説明する。

この実施形態２の画像処理装置２ａの動作は、彩度調整係数演算部２２ａの動作のみ実施形態１のものと異なっている。つまり、色相距離演算部２２１、フレームメモリ２２２、色相判定部２２３の動作は実施形態１のものと同様なので説明を省略する。

彩度調整係数演算部２２ａには、外部より、脱色化係数Ｄｆと彩度強調係数Ｅｍとが与えられており、彩度調整係数演算部２２ａの彩度調整係数テーブル演算部２２６に提供されている。

これらの脱色化係数Ｄｆおよび彩度強調係数Ｅｍは、画像処理装置２ａの外部から制御可能であり、その値が変わったときのみ、彩度調整係数テーブル演算部２２６は、テーブルを再作成し、再度作成したテーブルを彩度強調係数テーブル格納部２２７に格納する。

ここで、彩度調整係数テーブル演算部２２６は、式（９）に従って、色相距離Ｍと彩度調整係数ｋ１との関係を彩度調整係数テーブルとして演算して、再度調整係数テーブル格納部２２７に出力する。

ｋ１＝Ｅｍ／（１＋Ｄｆ・Ｈｄ）＝Ｅｍ／（１＋Ｄｆ・Ｍ） ・・・（９）
ここでＤｆは脱色化係数であり、この値が大きいほど彩度を落とす度合いが大きくなる。またＥｍは彩度強調係数で、この彩度強調係数Ｅｍは、全体的に彩度を強調したい場合には１以上の値を設定する。

彩度調整係数テーブル格納部２２７は、彩度調整係数テーブル演算部２２６の出力である彩度調整係数テーブルを記憶する。

第１の彩度調整係数演算部２２４ａは、色相判定部２２３の判定結果が真の場合、色相距離Ｍに対応する彩度調整係数ｋ１を彩度調整係数テーブル格納部２２７から参照する。一方色相判定部２２３の判定結果が偽の場合、第１の彩度調整係数演算部２２４ａは、第１の彩度調整係数ｋ１の値は１とする。第１の彩度調整係数演算部２２４ａは、前述のように、色相判定部２２３の判定結果により、画素毎に第１の彩度調整係数ｋ１を演算し、彩度調整係数フィルタ部２２５へ出力する。

彩度調整係数フィルタ部２２５は、第１の彩度調整係数演算部２２４ａの出力である、第１の彩度調整係数ｋ１に対し、空間ローパスフィルタ処理を施すことにより、第１の彩度調整係数ｋ１を空間的に平滑化し、図４の彩度調整係数演算部２２ａの出力となる第２の彩度調整係数ｋとして図４の彩度調整部２５に出力する。

彩度調整部２５は、実施形態１と同様に、ＲＧＢ再構成部２４から出力されたＲｓ、Ｇｓ、Ｂｓの３種類の信号に対し、彩度調整係数演算部２２から出力された彩度調整係数ｋによって式（６）に従って彩度の調整を行う。その結果得られたＲｄ、Ｇｄ、Ｂｄの３種類の信号は、対数イメージャ１で動きのある被写体を撮像した際、黒から白へと輝度が大きく変化する場合に動き部分のエッジに生じる緑色と、白から黒へと輝度が大きく変化する場合に動き部分のエッジに生じるマゼンタ色とに対して選択的に設定され、また式（９）から判るように、色相距離が大きいときには彩度の低下度合いが大きくなるように彩度調整係数が設定され、色相距離が小さいときには彩度の低下度合いが小さくなるように彩度調整係数が設定される。また同時に彩度強調係数Ｅｍにより、画面全体の彩度を強調できる。

このように、本実施形態２の画像処理装置２ａでは、撮像信号の画素毎の時系列変化量により、画素毎に前記カラー画像の彩度の調整を行うことによって、動画像の動きのある部分の画素の彩度を落とすことができ、対数変換型の固体撮像素子で生じる残像の不自然な色づきを軽減することができる。

また色相距離Ｍと彩度調整係数ｋ１との関係を彩度調整係数テーブルとして予め演算しておくことで、画素毎に式（９）を求める必要が無くなり、画像処理装置の回路規模および消費電力を削減できる。

また、この実施形態２では、前記彩度調整係数ｋを、彩度を落とす度合いを示す脱色化係数と、彩度を強調する度合いを示す彩度強調係数とに基づいて求めるので、脱色化係数Ｄｆにより、画素毎に対数変換型の固体撮像素子で生じる残像の色づきの軽減度合いを調節できると共に、彩度強調係数Ｅｍにより、画面全体の彩度を強調することが可能となる。

また、画面全体の彩度強調を行いたい場合にも、式（９）に示すように、彩度強調係数Ｅｍの効果を含めて色相距離Ｍと彩度調整係数ｋ１との関係をテーブル化できるため、画像処理装置の回路規模および消費電力を削減できる。

また、この実施形態２においても、前記色相が所定の範囲内にあるときのみ、前記撮像信号の画素毎のフレーム間の色相距離により、画素毎に前記カラー画像の彩度の調整を行うので、対数変換型の固体撮像素子で生じる特定の色相の残像の不自然な色づきを、選択的に軽減することができる。

また、この実施形態２では、前記色相が所定の範囲内にある画素に対して第１の彩度調整係数を求め、前記色相が前記所定の範囲外にある画素に対して第１の彩度調整係数を所定の値とし、前記第１の彩度調整係数の画素空間上の低域フィルタ出力を第２の彩度調整係数とし、前記第２の彩度調整係数を前記彩度調整係数ｋとして彩度調整を行うので、前記色相が所定の範囲内外の境界に相当する画素領域で生じる、彩度調整処理の有無による色ノイズを平滑化して、対数変換型の固体撮像素子で生じる特定の色相の残像の不自然な色づきを、より自然に軽減することが可能となる。

なお、上記画像処理装置は、コンピュータによって実現してもよい。この場合、コンピュータを、上記画像処理装置の各部に機能を実行するよう動作させることにより、上記画像処理装置をコンピュータにて実現させる画像処理プログラム、およびその画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

さらに、上記実施形態１および２では、特に説明しなかったが、対数変換型の固体撮像素子を画像入力デバイスとして撮像部に用いるとともに、該対数変換型の固体撮像素子で得られた撮像信号に基づいてＲＧＢ信号を再構成する信号処理部として用いた電子情報機器では、上記実施形態１および２の画像処理装置の少なくともいずれかを、上記信号処理部として用いることができる。このような電子情報機器としては、例えばデジタルビデオカメラ、デジタルスチルカメラなどのデジタルカメラや、画像入力カメラ、スキャナ、ファクシミリ、カメラ付き携帯電話装置などが挙げられる。
（実施形態３）
図６は、本発明の実施形態３として、対数変換型の固体撮像素子とともに、該固体撮像素子により得られた撮像信号を処理する信号処理部として、上記実施形態１および２のいずれかの画像処理装置を用いた電子情報機器の概略構成例を示すブロック図である。

図６に示す本発明の実施形態３による電子情報機器９０は、対数変換型の固体撮像素子を用いた固体撮像部９１と、該固体撮像部の固体撮像素子にて得た撮像信号を信号処理する、上記実施形態１および２の画像処理装置の少なくとも１つを用いた信号処理部９１ａと、該信号処理部で処理した高品位なカラー画像信号を記録用に所定の信号処理した後に記録する記録メディアなどのメモリ部９２と、このカラー画像信号を表示用に所定の信号処理した後に液晶表示画面などの表示画面上に表示する液晶表示装置などの表示手段９３と、このカラー画像信号を通信用に所定の信号処理をした後に通信処理する送受信装置などの通信手段９４と、このカラー画像信号を印刷（印字）して出力（プリントアウト）する画像出力手段９５とのうちの少なくとも撮像部９１および信号処理部９１ａを有している。

以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明は、対数変換する固体撮像素子から出力された撮像信号からカラー画像信号を再構成する画像処理装置および画像処理方法、並びにこのような画像処理方法をコンピュータにより行うための画像処理プログラムおよびこのような画像処理プログラムを格納した記録媒体、並びに、上記のような画像処理装置を用いた電子情報機器の分野において、対数変換型の固体撮像素子で生じる残像の不自然な色づきを軽減することができる画像処理装置および画像処理方法を提供するものであり、対数変換型の固体撮像素子を用いたカメラ付き携帯電話を始め、ディジタル一眼レフカメラ、ムービーカメラ等の各種撮影装置に組み込んで利用することができるものである。

図１は、本発明の実施形態１による画像処理装置の内部構成を示すブロック図である。 図２は、上記実施形態１の画像処理装置の前段の固体撮像素子を説明する図であり、図２（ａ）は、該固体撮像素子で用いられているベイヤー型のカラーフィルタアレイを示し、図２（ｂ）は、該固体撮像素子における画素の回路構成を示している。 図１に示す実施形態１の画像処理装置における彩度調整係数演算部２２の詳細な内部構成を示すブロック図である。 本発明の実施形態２による画像処理装置の内部構成を示すブロック図である。 図４に示す実施形態２の画像処理装置における彩度調整係数演算部２２ａの詳細な内部構成を示すブロック図である。 図６は、本発明の実施形態３として、本発明の実施形態１および２のいずれかの画像処理装置を、対数イメージャとともに用いた電子情報機器の概略構成例を示すブロック図である。 図７は従来の対数変換型の固体撮像素子を説明する図であり、図７（ａ）は、その画素内に設けられるフォトダイオードと対数変換トランジスタの接続関係を示す回路図、図７（ｂ）および図７（ｃ）はそれぞれ、増光モードおよび減光モードにおける出力電圧Ｖｐｄの応答特性曲線をグラフで示す図、図７（ｄ）は、該対数変換トランジスタのゲート−ソース間電圧Ｖｇｓとドレイン電流Ｉｄとの関係をグラフで示す図である。

符号の説明

１ 対数イメージャ
２ 画像処理装置
３ モニタディスプレイ
１０ ベイヤー型カラーフィルタアレイ
２１ デモザイク処理部
２２、２２ａ 彩度調整係数演算部
２３ トーンマッピング部
２４ ＲＧＢ再構成部
２５ 彩度調整部
６１ フォトダイオード
６２ 対数変換トランジスタ
６３ 寄生容量
６４ 増幅トランジスタ
６５ 選択トランジスタ
９０ 電子情報機器
９１ 固体撮像部
９１ａ 信号処理部
９２ メモリ部
９３ 表示手段
９４ 通信手段
９５ 画像出力手段
２２１ 色相距離演算部
２２２ フレームメモリ
２２３ 色相判定部
２２４、２２４ａ 第１の彩度調整係数演算部
２２５ 彩度調整係数フィルタ部
２２６ 彩度調整係数テーブル演算部
２２７ 彩度調整係数テーブル格納部

Claims (21)

1. マトリックス状に配列された複数の光電変換素子と、該光電変換素子上に規則的に配置され、分光特性が異なる複数種類のカラーフィルタとを有する、入射光の光量を対数変換する固体撮像素子から出力された撮像信号からカラー画像信号を再構成する画像処理装置であって、
   該撮像信号の画素毎の時系列変化量を算出する時系列変化演算部と、
   該時系列変化演算部により算出された撮像信号の画素毎の時系列変化量に基づいて、画素毎に該カラー画像信号の彩度を調整する彩度調整手段とを備えた画像処理装置。
2. 前記時系列変化量は、各画素のフレーム間の色相距離である請求項１に記載の画像処理装置。
3. 前記色相距離は、各画素のフレーム間の色相差の絶対値である請求項２に記載の画像処理装置。
4. 前記色相距離は、複数種類の色相差の各々の絶対値の総和である請求項３に記載の画像処理装置。
5. 前記色相距離は、時系列順に並んだ３枚以上のフレームのうちの隣接したフレーム間の色相距離の総和である請求項２に記載の画像処理装置。
6. 前記カラーフィルタの配列は、ベイヤー型であり、
   前記色相は、レッド、グリーン、ブルーの３色のうちの、ひとつの色と他の２色との、２種類の色比で表わしたものである請求項２に記載の画像処理装置。
7. 前記彩度調整手段は、前記時系列変化量の大きさに反比例する前記彩度の調整を行う請求項１に記載の画像処理装置。
8. 前記カラー画像信号は、レッド、グリーン、ブルーの３色の原色信号で表わされ、
   前記彩度調整手段は、前記彩度の調整を下記の式を満たすよう行う請求項１に記載の画像処理装置。
   Ｒ’＝ｋ（Ｒ−Ｙ）＋Ｙ ・・・（１ａ）
   Ｇ’＝ｋ（Ｇ−Ｙ）＋Ｙ ・・・（１ｂ）
   Ｂ’＝ｋ（Ｂ−Ｙ）＋Ｙ ・・・（１ｃ）
   ここで、Ｒ，Ｇ，Ｂは、彩度調整前のレッド、グリーン、ブルーのカラー画像信号、Ｙは輝度信号、ｋは前記時系列変化量から求められた彩度調整係数、Ｒ’，Ｇ’，Ｂ’は彩度調整後のレッド、グリーン、ブルーのカラー画像信号である。
9. 前記彩度調整係数ｋは、下記式で表わされる請求項８に記載の画像処理装置。
   ｋ＝１／（１＋Ｄｆ・Ｈｄ） ・・・（２）
   ここで、Ｈｄは前記時系列変化量、Ｄｆは彩度を落とす度合いを示す脱色化係数である。
10. 前記時系列変化演算部は、
    画素毎の過去のフレーム間の色相の変化を前記色相距離として演算する色相距離演算部と、
    前記撮像信号から得られる色相信号が、予め定められた範囲内の色相を示すものであるか否かを判定する色相判定部と、
    該色相判定部の判定結果に応じて該色相距離から画素毎に彩度調整係数を演算する彩度調整係数演算部とを有する請求項１に記載の画像処理装置。
11. 前記時系列変化演算部は、
    前記彩度調整係数演算部により得られた彩度調整係数を空間的に平滑化して平滑化彩度調整係数を生成する彩度調整フィルタ部を有する請求項１０に記載の画像処理装置。
12. 前記彩度調整係数ｋは、下記式で表わされる請求項８に記載の画像処理装置。
    ｋ＝Ｅｍ／（１＋Ｄｆ・Ｈｄ） ・・・（３）
    ここで、Ｅｍは、彩度を強調する度合いを示す彩度強調係数、Ｈｄは前記時系列変化量、Ｄｆは彩度を落とす度合いを示す脱色化係数である。
13. 前記時系列変化量Ｈｄと、前記彩度調整係数ｋとの関係をテーブル化するテーブル演算部を備え、
    前記時系列変化演算部は、該テーブル演算部により得られたテーブルを参照して前記彩度調整係数ｋを求める請求項９または請求項１２に記載の画像処理装置。
14. 前記時系列変化演算部は、
    画素毎の過去のフレーム間の色相の変化を前記色相距離として演算する色相距離演算部と、
    前記撮像信号から得られた色相信号が、予め定められた範囲内の色相を示すものであるか否かを判定する色相判定部と、
    彩度を強調する度合いを示す彩度強調係数、および彩度を落とす度合いを示す脱色化係数に基づいて、それぞれの係数の値の応じたテーブル用彩度調整係数を算出する彩度調整係数テーブル演算部と、
    該算出されたテーブル用彩度調整係数を含むテーブルを格納する彩度調整係数テーブル格納部と、
    該色相判定部の判定結果に応じて該色相距離に基づいて、該テーブルを参照して画素毎に彩度調整係数を求める彩度調整係数演算部とを有する請求項１に記載の画像処理装置。
15. 前記時系列変化演算部は、前記彩度調整係数演算部により求められた彩度調整係数を空間的に平滑化して、平滑化彩度調整係数を生成する彩度調整フィルタ部を有する請求項１４に記載の画像処理装置。
16. 前記彩度調整手段は、前記色相が所定の範囲内にあるときのみ、前記彩度の調整を行う請求項２に記載の画像処理装置。
17. 前記彩度調整手段は、前記色相が所定の範囲内にある画素に対して第１の彩度調整係数を求め、前記色相が前記所定の範囲外にある画素に対して第１の彩度調整係数を所定の値とし、前記第１の彩度調整係数の画素空間上の低域フィルタ出力を第２の彩度調整係数とし、該第２の彩度調整係数に基づいて前記カラー画像信号の彩度調整を行う請求項８に記載の画像処理装置。
18. マトリックス状に配列された複数の光電変換素子と、該光電変換素子上に規則的に配置され、分光特性が異なる複数種類のカラーフィルタとを有する、入射光の光量を対数変換する固体撮像素子から出力された撮像信号からカラー画像信号を再構成する画像処理方法であって、
    該撮像信号の画素毎の時系列変化量を算出する演算ステップと、
    該演算ステップで算出された撮像信号の画素毎の時系列変化量に基づいて、画素毎に該カラー画像信号の彩度を調整する彩度調整ステップとを含む画像処理方法。
19. マトリックス状に配列された複数の光電変換素子と、該光電変換素子上に規則的に配置され、分光特性が異なる複数種類のカラーフィルタとを有する、入射光の光量を対数変換する固体撮像素子から出力された撮像信号からカラー画像信号を再構成する画像処理方法を、コンピュータにより行うための画像処理プログラムであって、
    該撮像信号の画素毎の時系列変化量を算出する演算ステップと、
    該演算ステップで算出された撮像信号の画素毎の時系列変化量に基づいて、画素毎に該カラー画像信号の彩度を調整する彩度調整ステップとを含む画像処理プログラム。
20. コンピュータにより画像処理を行うための画像処理プログラムを格納した記録媒体であって、
    該画像処理プログラムは、請求項１９に記載の画像処理プログラムである記録媒体。
21. 被写体の撮像を行う対数変換型の固体撮像素子と、該固体撮像素子により得られた撮像信号を処理する画像処理部とを備えた電子情報機器であって、
    該画像処理部は、請求項１に記載の画像処理装置である電子情報機器。

Images