JP2008092472A - 画像処理装置 - Google Patents

Abstract

【課題】複数の画像処理からなる一連の画像処理シーケンスに含まれる特定の画像処理を複数回実行可能な画像処理装置を提供する。
【解決手段】ＣＣＤ１信号処理ブロック１０４１及びＣＣＤ２信号処理ブロック１０４２の内部に構成され、それぞれが異なる画像処理を行う画像処理ブロックを備えたデジタルスチルカメラプロセッサ１０４であって、ＣＣＤ１信号処理ブロック１０４１及びＣＣＤ２信号処理ブロック１０４２の内部に構成された複数の画像処理ブロックで画像データを順次処理する画像処理シーケンスに用いられる特定の画像処理ブロックでの画像処理を複数回行う。
【選択図】図２

Description

本発明は、ハードウェアにて画像処理を行う画像処理装置に関し、特に、電子画像を撮像・再生するデジタルカメラに関する。

ハードウェアで画像処理を行う画像処理ＩＣには、画像処理内容に応じた様々な画像処理ブロックがあり、画像処理を行うブロックに画像データを入力し、画像処理後のデータをブロックからの出力結果として受け取るのが一般的である。画像処理ＩＣでは、画像処理ブロックに順次画像データを入力し、出力結果を次の画像処理ブロックに入力することを繰り返すことによって画像を生成しており、画像処理ＩＣを制御するときには、画像データが通過する画像処理ブロックの設定値を全て設定し、スタートフラグを立てるとハードウェアが定められたシーケンスで画像処理ブロックを自動で通過し、画像を生成する。

画像処理ＩＣによる画像処理としては、エッジ強調処理や色補正処理などがある。エッジ強調処理を行う画像処理ブロックは、画像からエッジを抽出する機能や、ノイズ除去のためにＬＰＦ処理を行う機能などがある。また、色補正を行う画像処理ブロックには、彩度設定、色相設定、色抑圧設定などの機能があり、彩度設定は色の濃さを、色相設定は色合いを決定する機能であり、色抑圧設定は特定の領域（例えば低輝度域）の彩度を下げてノイズを抑える機能である。

特許文献１に開示される「画像処理方法及び画像処理装置」では、入力画像に対してエッジ強度を求め、エッジ強度からフィルタ係数を変更して平坦部では平滑化処理を、エッジ部ではエッジ強調処理を適応的に行う方法が開示されている。

特許文献２に開示される「画像処理方法および装置並びに記録媒体」は、デジタルカメラで処理した画像データに対して、ユーザの好みを反映させた階調変換処理、色補正処理などの画像処理を画像出力装置を用いて行い、デジタルカメラの種別に応じた階調特性や色特性を吸収するものである。
特開２００５−１４２８９１号公報 特開２００１−３１２７２０号公報

近年、ＩＳＯ感度を上げた高感度での撮影を可能としたデジタルカメラが実現されている。しかし、感度を上げた撮影ではノイズが出やすく、エッジ強調をかけるとさらにノイズが目立ちやすくなる。このため、従来のデジタルカメラは、Ｓ／Ｎを重視するとエッジ強調をあまりかけられず、これにより解像感の欠けた画像となってしまうという問題がある。

しかし、特許文献１は、専用のハードウェア又はソフトウェア処理が必要となり、またハードウェアにて処理を行う場合には、回路規模も大きくなると予想される。

さらに、特許文献１に開示される発明を含め、一般的な画像処理では、エッジ強調処理と平滑化処理とを一度しか行わないため、エッジ強調処理によって生じたノイズなどを除去できない。

また、色補正処理の一つである色抑圧設定機能によって、低輝度の彩度を強く抑えてノイズを抑えた場合、最終的な画像では色味の薄い画像となり、人の顔色が悪く見えたりして実際とは異なる画像に仕上がってしまう。特に、ＩＳＯ感度を上げた高感度での撮影では暗部にノイズが出やすく、色抑圧を強くかけてノイズを抑えたい一方で、色味が薄くなることは避けたいという課題が生じる。

従来の画像処理装置は、一連の色補正処理に含まれる特定の処理のみを実行することはできないため、ノイズの低減と色味の確保とを両立させることは困難であった。

本発明はかかる問題に鑑みてなされたものであり、複数の画像処理からなる一連の画像処理シーケンスに含まれる特定の画像処理を複数回実行可能な画像処理装置を提供することを目的とする。

本発明は、上記目的を達成するために、それぞれが異なる画像処理を行う複数の画像処理ブロックを備えた画像処理装置であって、複数の画像処理ブロックで画像データを順次処理する画像処理シーケンスに用いられる特定の画像処理ブロックでの画像処理を複数回行うことを特徴とする画像処理装置を提供するものである。

本発明においては、画像処理シーケンスによる処理済みの画像データを特定の画像処理ブロックに入力し、その画像処理ブロック以降の画像処理ブロックでの画像処理を複数回行うことが好ましい。又は、画像処理シーケンスによる処理済みの画像データを、画像処理シーケンスの最初の画像処理ブロックに入力する手段と、画像処理シーケンスに含まれる任意の画像処理ブロックにおいて、画像処理を行うか否かを制御する手段とを有することが好ましい。

本発明の上記のいずれの構成においても、特定の画像処理ブロックは、エッジ強調処理を行うエッジ強調処理ブロックであること、又は、特定の画像処理ブロックは、色補正処理を行う色補正ブロックであることが好ましい。

特定の画像処理ブロックは、エッジ強調処理を行うエッジ強調処理ブロックである場合には、エッジ強調処理ブロックでのエッジ強調処理に用いる画像処理パラメータは、エッジ強調処理のたびに設定されることが好ましい。これに加えて、画像処理パラメータとして、画像からエッジを抽出するためのエッジ抽出フィルタのフィルタ係数を含むことが好ましく、さらに加えて、画像処理パラメータとして、エッジ抽出フィルタのよって抽出されたエッジに対して乗算するゲインを含むことが好ましい。また、画像処理パラメータとして、画像を平滑化させノイズを除去するためのローパスフィルタ（ＬＰＦ）のフィルタ係数を含むことが好ましい。
又は、画像処理パラメータは、エッジ抽出フィルタによって画像データから抽出されゲインを乗算されたエッジ成分と、ＬＰＦによってノイズを除去されたベース画像成分との加算比率であることが好ましい。

特定の画像処理ブロックは、色補正処理を行う色補正ブロックである場合には、色補正処理に用いる画像処理パラメータは、色補正処理を行うたびに設定されることが好ましい。これに加えて、色補正処理として、色の彩度を決定する処理を含むことが好ましい。また、色補正処理として、色相を決定する処理を含むことが好ましい。また、色補正処理として、特定の色相を変更させるパラメータを含むことが好ましい。また、色補正処理として、色抑圧レベルを決定する処理を含むことが好ましい。

本発明によれば、複数の画像処理からなる一連の画像処理シーケンスに含まれる特定の画像処理を複数回実行可能な画像処理装置を提供できる。

〔第１の実施形態〕
本発明を好適に実施した第１の実施形態について説明する。
図１に、本実施形態にかかるデジタルカメラの外観を示す。図２、３に、デジタルカメラの制御系の機能ブロックを示す。
図示するように、デジタルカメラは、カメラ上面にサブＬＣＤ１と、レリーズボタン２と、撮影／再生切り替えダイヤル４を有する。サブＬＣＤ１は、撮影可能枚数などを表示するための表示部である。

また、カメラ正面には、ストロボ発光部３と、測距ユニット５、リモコン受光部６、鏡胴ユニット７、光学式ファインダ（正面）１１ａを有する。

メモリカードスロットル１２１は、メモリカード１３０を挿入するためのスロットルであり、カメラ側面に設けられている。

さらに、カメラ裏面には、ＡＦＬＥＤ（オートフォーカスＬＥＤ）８、ストロボＬＥＤ９、ＬＣＤモニタ１０、光学ファインダ（裏面）１１ｂ、ズームボタン１２、電源スイッチ１３、及び操作部１４を有する。

ストロボ発光部３及びストロボ回路１１４は、自然光などの光量が足りない場合に光量を補うための装置である。暗い場所や被写体や暗い場合の撮影においては、後述するディジタルスチルカメラプロセッサ１０４からストロボ回路１１４へストロボ発光信号が送信され、ストロボ発光信号を受信したストロボ回路１１４は、ストロボ発光部３を発光させて被写体を照明する。

測距ユニット５は、カメラと被写体との距離を測る装置である。従来のデジタルカメラでは、撮像素子（ここではＣＣＤとする）に形成された像のコントラストを検出し、最もコントラストが高い位置にレンズを移動させてフォーカスを合わせるＣＣＤ−ＡＦ方式が用いられている。しかし、ＣＣＤ−ＡＦ方式は、レンズを少しずつ動かしてコントラストを探していくため、フォーカス動作が遅いという問題があった。そこで、本実施形態にかかるデジタルカメラでは、測距ユニット５を用いて被写体との距離情報を常に取得し、距離情報に基づいてレンズを一気に移動させてフォーカス動作を高速化している。

鏡胴ユニット７は、ズーム光学系７１、フォーカス光学系７２、絞りユニット７３、メカシャッタユニット７４、モータドライバ７５を有する。ズーム光学系７１は、ズームレンズ７１ａと、ズーム駆動モータ７１ｂとからなり、被写体の光学画像を取り込む。フォーカス光学系７２は、フォーカスレンズ７２ａと、フォーカス駆動モータ７２ｂとからなる。絞りユニット７３は、絞り７３ａと、絞りモータ７３ｂとからなる。メカシャッタユニット７４は、メカシャッタ７４ａと、メカシャッタモータ７４ｂとからなる。
モータドライバ７５は、リモコン受光部６への入力や操作部キーユニットＳＷ１〜ＳＷ１３の操作入力に基づき、後述するディジタルスチルカメラプロセッサ１０４内にあるＣＰＵブロック１０４３からの駆動指令によって駆動される。

ＲＯＭ１０８には、制御プログラムや制御のためのパラメータがＣＰＵブロック１０４３にて解読可能なコードで記述されて格納されている。デジタルカメラの電源がＯＮ状態になると、制御プログラムは不図示のメインメモリにロードされ、ＣＰＵブロック１０４３はそのプログラムに従って装置各部を制御するととともに、制御に必要なデータなどを一時的にＲＡＭ１０７、及びＬｏｃａｌ ＳＲＡＭ１０４４（後述するようにディジタルスチルカメラプロセッサ１０４内に存在する）に保存する。ＲＯＭ１０８に書き換え可能なフラッシュＲＯＭを使用することで、制御プログラムや制御のためのパラメータを変更することが可能となり、機能のヴァージョンアップを容易に行える。

ＣＣＤ１０１は、光学画像を光電変換するための固体撮像素子であり、Ｆ／Ｅ（フロントエンド）−ＩＣ１０２は、画像ノイズ除去用相関二重サンプリングを行うＣＤＳ１０２１、利得調整を行うＡＧＣ１０２２、ディジタル信号変換を行うＡ／Ｄ１０２３ＣＣＤ１信号処理ブロックから垂直同期信号（以下、ＶＤ信号）及び水平同期信号（以下、ＨＤ信号）が供給され、ＣＰＵブロック１０４３によって制御されるＣＣＤ１０１、及びＦ／Ｅ−ＩＣ１０２の駆動タイミング信号を発生するＴＧ１０２４を有する。
なお、固体撮像素子としてＣＣＤの代わりにＣＭＯＳを適用することも可能である。

ディジタルスチルカメラプロセッサ１０４は、ＣＣＤ１信号処理ブロック１０４１、ＣＣＤ２信号処理ブロック１０４２、ＣＰＵブロック１０４３、Ｌｏｃａｌ ＳＲＡＭ１０４４、ＵＳＢブロック１０４５、シリアルブロック１０４６、ＪＰＥＧ ＣＯＤＥＣブロック１０４７、ＲＥＳＩＺＥブロック１０４８、ＴＶ信号表示ブロック１０４９、及びメモリカードコントローラブロック１０４０を有する。
ＣＣＤ１信号処理ブロック１０４１は、ＣＣＤ１０１からＦ／Ｅ−ＩＣ１０２の出力データにホワイトバランス設定やガンマ設定を行い、また、前述のように、ＶＤ信号、ＨＤ信号を供給する。ＣＣＤ２信号処理ブロック１０４２は、フィルタリング処理によって輝度データ・色差データへの変換を行う。ＣＰＵブロック１０４３は、装置各部の動作を制御する。Ｌｏｃａｌ ＳＲＡＭ１０４４は、制御に必要なデータ等を一時的に保存する。ＵＳＢブロック１０４５は、外部機器とＵＳＢ通信を行う。シリアルブロック１０４６は、外部機器とシリアル通信を行う。ＪＰＥＧ ＣＯＤＥＣブロック１０４７は、ＪＰＥＧ圧縮・伸長を行う。ＲＥＳＩＺＥブロック１０４８は、画像データのサイズを補間処理によって拡大／縮小する。ＴＶ信号表示ブロック１０４９は、画像データを液晶モニタやＴＶなどの外部表示機器に表示するためのビデオ信号に変換する。メモリカードコントローラブロック１０４０は、撮影された画像データを記録するメモリカードの制御を行う。

ＳＤＲＡＭ１０３は、ディジタルスチルカメラプロセッサ１０４で画像データに各種処理を施す際に、画像データを一時的に保存する。保存されるデータは、例えば、ＣＣＤ１０１からＦ／Ｅ−ＩＣ１０２を経由して取り込んで、ＣＣＤ１信号処理ブロック１０４１でホワイトバランス設定、ガンマ設定が行われた状態の「ＲＡＷ−ＲＧＢ画像データ」やＣＣＤ２信号処理ブロック１０４２で輝度データ・色差データ変換が行われた状態の「ＹＵＶ画像データ」、ＪＰＥＧ ＣＯＤＥＣブロック１０４７でＪＰＥＧ圧縮された「ＪＰＥＧ画像データ」などである。

メモリカードスロットル１２１は、着脱可能なメモリカードを装着するためのスロットルである。内蔵メモリ１２０は、メモリカードスロットル１２１にメモリカードが装着されていない場合でも、撮影した画像を記憶できるようにするためのメモリである。ＬＣＤドライバ１１７は、ＬＣＤモニタ１０を駆動するドライブ回路であり、ＴＶ信号表示ブロック１０４９から出力されたビデオ信号を、ＬＣＤモニタ１０に表示するための信号に変換する機能も有している。ＬＣＤモニタ１０は、撮影前に被写体の状態を表示したり、撮影した画像を確認するために用いられ、メモリカードや内蔵メモリ１２０に記録した画像データを表示するモニタである。ビデオＡＭＰ１１８は、ＴＶ信号表示ブロック１０４９から出力されたビデオ信号を、７５Ωインピーダンス変換するためのアンプであり、ビデオジャック１１９は、ＴＶなどの外部表示機器を接続するためのジャックである。ＵＳＢコネクタ１２２は、外部機器とのＵＳＢ接続ためのコネクタである。シリアルドライバ回路１２３１は、外部機器とシリアル通信を行うために、シリアルブロック１０４６の出力信号を電圧変換するための回路である。ＲＳ−２３２Ｃコネクタは、外部機器とのシリアル接続のためのコネクタである。ＳＵＢ−ＣＰＵ１０９は、ＲＯＭ・ＲＡＭをワンチップに搭載したＣＰＵであり、操作キーユニットＳＷ１〜ＳＷ１３やリモコン受光部６の出力信号をユーザの操作情報として、ＣＰＵブロック１０４３に出力したり、ＣＰＵブロック１０４３から出力されるカメラの状態を、サブＬＣＤ１、ＡＦＬＥＤ８、ストロボＬＥＤ９、ブザー１１３の制御信号に変換して出力する。サブＬＣＤ１は、例えば撮影可能枚数などを表示するための表示部であり、ＬＣＤドライバ１１１は、ＳＵＢ−ＣＰＵ１０９の出力信号によって、サブＬＣＤ１を駆動するためのドライブ回路である。ＡＦ ＬＥＤ８は、撮影時の合焦状態を表示するためのＬＥＤである。ストロボＬＥＤ９は、ストロボ充電状態を表示するためのＬＥＤである。ＡＦ ＬＥＤ８及びストロボＬＥＤ９を、メモリカードアクセス中などの別の表示用途に使用しても良い。操作キーユニットＳＷ１〜ＳＷ１３は、ユーザが操作部１４やズームボタン１２、撮影／再生切り替えダイヤル４などを用いて行った操作を検出するためのするキー回路である。リモコン受光部６は、ユーザの操作によってリモコンから出力された信号を受信する。

音声記録ユニット１１５は、マイク１１５１、マイクＡＭＰ１１５２、及び音声記録回路１１５３を有する。マイク１１５１は、ユーザが音声信号を入力する際に用いられる。マイクＡＭＰ１１５２は、入力された音声信号を増幅する。音声記録回路１１５３は、増幅された音声信号を記録する。音声再生ユニット１１６は、音声再生回路１１６１、オーディオＡＭＰ１１６２、スピーカ１１６３を有する。
音声再生回路１１６１は、記録された音声信号を、スピーカ１１６３から出力できる信号に変換する。オーディオＡＭＰ１１６２は、変換された音声信号を増幅し、スピーカ１１６２を起動する。スピーカ１１６３は、音声信号を出力する。

図４に、デジタルカメラの動作の流れを示す。図４に示す一連の画像処理は、ＣＣＤ１信号処理ブロック１０４１及びＣＣＤ２信号処理ブロック１０４２によって実行される。以下、ＣＣＤ１信号処理ブロック１０４１とＣＣＤ２信号処理ブロック１０４２とを併せて“画像処理部”と称する。

ＣＣＤから出力される信号を１画素ごとにサンプリングしＡ／Ｄ変換したデータは、画像処理されていない段階であるため、一般的には“ＲＡＷデータ”と呼ばれる。画像処理部（ＣＣＤ１信号処理ブロック１０４１）に入力されるのはＲＡＷデータである。
デジタルカメラプロセッサ１０４には、これらの各処理を行うための機能ブロックがＣＣＤ１信号処理ブロック１０４１又はＣＣＤ２信号処理ブロック１０４２に回路として形成されている。画像データは、図４に示す順番で各機能ブロックによって処理される。

［ホワイトバランス処理］
被写体からの光量を蓄積するＣＣＤ１０１のフォトダイオード上には１画素１画素にＲＥＤ、ＧＲＥＥＮ、ＢＬＵＥのいずれか１色のカラーフィルタが貼付されているが、フィルタの色によって透過する光量が変わってくるためフォトダイオードに蓄積される電荷量が異なっている。最も感度が高いのはＧＲＥＥＮで、ＲＥＤやＢＬＵＥはＧＲＥＥＮと比較すると感度が低く約半分である。ホワイトバランス（ＷＢ）処理では、これらの感度の差を補い、撮影画像の中の白色を白く見せるために、ＲとＢとにゲインをかける処理を行う。また、物の色は光源色（例えば、太陽光、蛍光灯光）によって変わってくるため、光源が変わっても白色が白く見えるようにＲとＢとのゲインを変更し、制御する機能を有する。

［ガンマ（γ）補正処理］
図５（ａ）に、γ補正処理の一例を示す。図の縦軸は入力信号の強度、横軸は出力信号の強度をそれぞれ示す。図示するように、γ補正は非線形な入出力変換を行う処理である。一般的にＬＣＤやＣＲＴなどの出力装置は、図５（ｂ）に示すように、入力に対して出力は非線形な特性を示す。このような非線形な出力の場合、明るさに階調再現性がなく、また画像が暗くなるため（出力特性が入力値＝出力値の直線よりも下側に現れるため）人は正しく画像を見ることができない。このため、出力装置の特性を考慮して、出力が線形性を保つように予め入力信号に処理（＝ガンマ補正処理）を行う。

［補間処理］
図６に示すように、ＣＣＤにはベイヤー配列と呼ばれる配列で、１画素にＲＥＤ、ＧＲＥＥＮ、ＢＬＵＥのいずれか１色のカラーフィルタが貼付されており、ＲＡＷデータは１画素に１色分の情報しかない。しかし、ＲＡＷデータから画像として見るためには１画素にＲＥＤ、ＧＲＥＥＮ、ＢＬＵＥの三色の情報が必要であるため、足りない２色を補うために周囲の画素から補間する処理（＝補間処理）を行う。

［ＹＵＶ変換処理］
ＲＡＷデータの段階では、ＲＥＤ、ＧＲＥＮＮ、ＢＬＵＥの三色によるＲＧＢデータ形式であるが、ＹＵＶ変換では輝度信号Ｙと色差信号ＵＶとのＹＵＶデータ形式に変換する。デジタルカメラ等で一般的に用いられるファイル形式のＪＰＥＧ画像では、ＹＵＶデータから画像が作成されるため、ＲＧＢデータをＹＵＶデータに変換する。変換式は以下の通りである。
Ｙ＝０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｕ＝０．７０１Ｒ−０．５８７Ｇ−０．１１４Ｂ
Ｖ＝−０．２９９Ｒ−０．５８７Ｇ＋０．８８６Ｂ

［色補正処理］
色補正には、彩度設定、色相設定、部分的な色相変更設定、色抑圧設定が含まれる。彩度設定は、色の濃さを決定するパラメータ設定である。図７はＵＶ色空間を示すものであるが、例えば、第２象限でＲＥＤの色に対して原点からのＲＥＤのドットまでのベクトルの長さが長いほど色の濃さが濃くなる。
色相設定では、色合いを決定するパラメータを設定する。例えば、図７の第３象限でＧＲＥＥＮの色に対してベクトルの長さが同じであってもベクトルの向きが異なると色合いは変わってくる。
部分的な色相変更設定では、図７の第４象限に示すように、部分的な色領域を回転させる設定を行う。彩度が高いと色が濃くなる一方で色ノイズが強くなる傾向にある。そこで色抑圧設定では、例えば輝度信号に対して閾値を設け、閾値よりも低い又は高い領域に対して彩度を抑えることにより色ノイズを抑える制御を行う。

［エッジ強調処理］
エッジ強調処理は、図８に示すように、画像の輝度（Ｙ）信号からエッジ部分を抽出するエッジ抽出フィルタ処理と、エッジ抽出フィルタによって抽出されたエッジに対してゲインをかけるゲイン乗算処理と、エッジ抽出と並行して画像のノイズを除去するローパスフィルタ（ＬＰＦ）処理と、ゲイン乗算後のエッジ抽出データとＬＰＦ処理後の画像データとを加算するデータ加算処理とからなる。

エッジ抽出フィルタ及びＬＰＦは、図９（ａ）、（ｂ）に示すように３×３や５×５のフィルタであり、エッジ抽出フィルタはフィルタ係数の合計が“０”となり、ＬＰＦはフィルタ係数の合計が“１”となるのが特徴である。エッジ抽出フィルタのフィルタ係数によりエッジの検出方向やエッジの抽出量が変わるため重要なパラメータである。
ＬＰＦのフィルタ係数では、周辺画素と注目画素との平均により画像を平坦化させてノイズを減らしているが、ＬＰＦを強くかけるとノイズが少なくなる一方で、平滑化によって細かな部分が潰れてしまい解像度が失われる傾向にある。
ゲイン乗算処理では、エッジ抽出フィルタによって抽出されたエッジに対してゲインを乗算してエッジ量を調整する。ゲインが大きい場合はエッジが強くなり、ゲインが小さい場合にはエッジが弱くなる。また、データ加算処理では、エッジ量にリミットを設けて、ゲイン乗算によってエッジ量が大きくなりエッジ量がリミットに達した場合にはエッジ量をクリップする。
データ加算処理では、エッジ抽出フィルタ処理によって抽出されゲインを乗算されたエッジ成分と、ＬＰＦ処理によってノイズを除去されたベース画像成分とを加算する。また、加算時にはエッジ成分とベース画像成分との加算比率を変更できる。これにより、エッジ成分の加算比率によってエッジ強調レベルを変更できる。

［その他の処理］
デジタルカメラプロセッサ１０４が行う画像処理としては、上記の他に、保存する画像サイズに変更するリサイズ処理、情報量を圧縮するＪＰＥＧ圧縮処理などがある。

［動作例１−１］
本実施形態にかかるデジタルカメラの第１の動作例を図１０に示す。
ＲＡＷデータをＷＢ処理ブロックからエッジ強調処理ブロックまで順番に通過させて画像処理を行う。この時、エッジ強調処理ブロックではゲイン乗算の設定を大きめの値に設定しエッジ強調を強くかける。また、ＬＰＦは適度にかけても良いし、全くかけなくても良い。一旦全ての画像処理が終了したら、再度エッジ強調処理ブロックでの処理を行う。この時のエッジ強調処理ブロックの画像処理パラメータは、エッジ抽出フィルタのフィルタ係数はエッジを抽出しないフィルタ（中心が“１”、その他は“０”）とし、ゲイン乗算は等倍設定とする。ＬＰＦのフィルタ係数は平滑化が強くかかるような設定（例えば、全てが同じ値）とする。そして、データ加算部での加算比率をエッジ成分：ベース画像成分＝０：１００とし、エッジ成分は使用しない。これにより、１回目のエッジ強調処理ブロックでの画像処理ではノイズ成分を含めてエッジ強調処理が強くかかり、２回目のエッジ強調処理によってノイズ成分を除去している。１回目のエッジ強調処理ブロックでのエッジ強調処理後には、ノイズ成分がエッジ強調されて白黒ノイズ（ごま塩雑音）が発生するが、２回目のエッジ強調処理ブロックでの平滑化処理によりノイズが減少する。また、１回目でエッジ強調処理を強めにかけているため、２回目の平滑化処理を行ってもエッジ成分は残ったままとなり、解像度は保たれる。

さらに、上記の例以外でも、通常のエッジ強調処理によって発生してしまったノイズ成分を含む画像データを、再度エッジ強調処理ブロックに入力し、ＬＰＦ処理を行うことでノイズ成分を除去できる。

［動作例１−２］
本実施形態にかかるデジタルカメラの第２の動作例について説明する。
上記本実施形態にデジタルカメラの第１の動作に引き続き、再度エッジ強調処理ブロックに画像データを入力し、エッジ強調処理を行う。
この処理は、第１の動作でのＬＰＦを用いた平滑化処理によって失われたエッジ強調レベルを補うことを目的としており、この時のエッジ強調処理ブロックの画像処理パラメータは、ゲイン乗算の設定を小さく、ＬＰＦのフィルタ係数はＬＰＦをかけない設定（中心が“１”、周辺が“０”）でも良いし、弱く平滑化がかかる設定（中心の比率が高い）でも良い。
データ加算部での加算比率は、エッジ成分：ベース画像成分＝５０：５０又は、エッジ成分をやや高い比率とする。これにより、ノイズを増やすことなくエッジ強調処理を行い、解像感を高めることが可能となる。

［動作例１−３］
本実施形態にかかるデジタルカメラの第３の動作例について説明する。本動作例では最初にエッジ強調処理ブロックのＬＰＦを用いてＣＣＤの画素欠陥を除去する。ＣＣＤは、デバイスの数百万というフォトダイオードの全てが正常に働くとは限らず、一定の光量に対して電荷が溜まりすぎたり（白欠陥）、電荷が溜まらなかったり（黒欠陥）、温度によって電荷が増えたり（温度欠陥）といった画素欠陥が製造時に発生する場合がある。これらの画素欠陥のあるＣＣＤをそのまま使用すると、画像上には輝点や黒点がノイズとなって現れる。これらのＣＣＤの画素欠陥の影響を取り除くために、まずエッジ成分：ベース画像成分＝０：１００としてエッジ成分は使用せずにＬＰＦ処理を行い、画素欠陥の影響を除去したデータのみを以降の画像処理に使用する。２回目のエッジ強調処理では、通常のエッジ強調処理を行う。

従来の画像処理ＩＣの中には、欠陥画素のアドレスを登録し、登録されたアドレスの欠陥画素の画像データをＲＡＷデータの段階で隣接画素の画像データで置き換える処理を行う技術も知られていたが、前述の温度欠陥では欠陥画素の数が多いために全ての欠陥画素を登録できるとは限らない。そのため、欠陥画素の影響を除去するためにメディアンフィルタを使用するなどが必要となる。しかし、ソフトウェア処理による欠陥画素の影響の除去は、処理に時間がかかるためにユーザの待ち時間が長期化するという問題がある。
本実施形態にかかるデジタルカメラでは、ハードウェア処理で欠陥画素の影響を除去するため、処理時間が短くユーザに処理の遅延を感じさせることはほとんどない。

なお、エッジ強調処理ブロックに複数回画像データを入力し、エッジ強調の強弱を変更した出力を得る制御を行う装置であればデジタルカメラ以外の装置であっても等価的に適用可能であることはいうまでもない。

このように、画像処理ブロックのエッジ強調処理ブロックを複数回通過させ、その時の処理の目的（エッジ強調、平滑化など）に応じてエッジ抽出フィルタやＬＰＦのフィルタ係数をその都度設定することにより、エッジ強調の足りない画像に対し、再度エッジ強調をかけられるため、解像感の強い画像を得られる。また、エッジ強調処理によって発生してしまったノイズ成分に対し、再度エッジ強調処理ブロックへ画像データを入力し、ＬＰＦ処理を行うことでノイズ成分を除去できる。さらに、ハードウェアでのＣＣＤ欠陥画素補正機能を有しない画像処理ＩＣであっても、画像処理ブロックのエッジ強調処理に関する処理ブロックを複数回通過させることにより、ＬＰＦ処理にて欠陥画素を補正して後で、エッジ強調処理を行うことができ、ユーザは良質な画像を得られる。また、画像処理ブロックはハードウェア処理であるため、これに画像データを複数回通過させたとしても処理時間は短く、ユーザに処理の遅延を感じさせることはほとんどない。

〔第２の実施形態〕
本発明を好適に実施した第２の実施形態について説明する。
本実施形態にかかるデジタルカメラの構成は第１の実施形態と同様である。

［動作例２−１］色抑圧から２回目でゲインをかける
本実施形態にかかるデジタルカメラの第１の動作例を図１１に示す。
最初に、ＲＡＷデータをＷＢ処理ブロックからエッジ強調処理部まで順番に通過させ画像処理を行う。この時、色補正ブロックでは色抑圧設定により色抑圧を行う。図１２は、低輝度部での色抑圧処理を示す図であり、横軸に輝度値（Ｙ）、縦軸に色抑圧レベルを示している。色抑圧レベルは値が大きいほど色抑圧が強くかかる。輝度値（Ｙ）に対して閾値信号Ｙｔｈと色抑圧レベルｋ（０≦ｋ≦１）を設定すると、輝度値（Ｙ）が０≦Ｙ≦Ｙｔｈの範囲で、図１２のように線形性を持って以下の式に従って色差信号ＵＶに対して色抑圧を行う。
Ｕ’＝（１−ｋ）Ｕ
Ｖ’＝（１−ｋ）Ｖ

上記の色抑圧処理によって低輝度部（０≦Ｙ≦Ｙｔｈ）での色味は薄くなり、高輝度部（Ｙｔｈ＜Ｙ）では色抑圧されることなく、入力された輝度値がそのまま出力される。通常の画像処理ではこの色合いがそのまま最終画像となるが、本実施形態では、さらに色補正ブロックにだけ再度画像データを入力して画像処理を行う。なお、色補正ブロックに直接画像データが入力できない場合には、ブロックごとに画像処理を行うか否かを選択する機能を用いて、色補正ブロックだけ機能が働くように制御を行えばよい。

２回目の色補正ブロック処理では、色相設定、色抑圧設定は入力画像データから変更しない設定とし、彩度設定では全体の色に対して同比率で彩度を上げても良いし、色ごとに（例えば図７に示すような象限ごとに）彩度の上げ率を変更しても良い。また、彩度を上げることにより色ノイズの増加が心配されるが、図１２のように低輝度部は一旦色抑圧によって彩度が線形的に落とされているためｎ、２回目の色補正ブロック処理によって彩度を上げたとしても、低輝度部のノイズ増加は少ない。さらに、１回目の色補正ブロック処理での彩度設定を低くしておき、２回目の処理で彩度を目標の色に合わせ込むようにすることで、色が派手になりすぎるのを抑え、ノイズの発生も抑えられる。

上記のように、２回目の色補正ブロック処理により一旦失った色味を補うように画像全体の彩度が上がるため画像の色ノイズを落としつつ全体の色味を落とすことなく鮮やかな画像に仕上げられる。特に、ＩＳＯ感度が上がった高感度時の画像では暗部に色ノイズが発生しやすく、例えば、図１３のように強い色抑圧処理を広範囲の輝度値（Ｙ）にかけてノイズを除去するために色味が薄くなるという問題があるが、本実施形態にかかるデジタルカメラはこのような場合に有効である。

なお、一旦彩度の低下や色抑圧によって色味を落とした画像データに対して、再度色補正処理によって色味を上げる処理を行う装置であればデジタルカメラ以外の装置であっても等価的に適用可能であることはいうまでもない。

［実施例２−２］部分的な色回転を複数回行って複数箇所の色相を回転
本実施形態にかかるデジタルカメラの第２の実施例を図１４に示す。
色補正処理に部分的な色相変更設定が追加されている。ＵＶ色空間では図７に示すように四つの象限に分けられ、色相を決定するときには四つの象限ごとに色相を回転させて行う画像処理ＩＣが多いが、象限内でも目標とする色と合わずに特定の色を部分的に変更したい場合（部分的な色相変更）がある。部分的に色相を変更できる機能の有無は、画像処理ＩＣに依存するが、その機能があっても一カ所だけしか変更できないものも多くある。複数箇所の色相を変更したい場合であっても機能は一カ所しかないために、どこか一つに限定しなければならず色再現性は悪くなってしまう。
従来は、１回の色補正ブロック通過で１カ所しか色相変更できなかったのに対し、本実施形態にかかるデジタルカメラは、色補正ブロックを複数回通過させることにより、複数箇所の色相を変更することが可能となる。
例えば、図１５のように１回目の色補正ブロック処理時には領域Ａの色相を回転させ、２回目の色補正ブロック処理時には領域Ｂの色相を回転させることができる。これにより、部分的に色相回転できる領域が２カ所となり、より細かく色相を合わせられ、色再現性を高められる。色相を回転させたい領域が他にもある場合には、回転させたい領域の数だけ色補正ブロックへの画像データ入力を繰り返すことで、何カ所でも色相を回転させられる。なお、２回目以降の色補正ブロック処理では、彩度設定、色相設定は入力画像データから変更しない設定とする。

本実施形態にかかるデジタルカメラのように、画像処理ブロックの色に関する処理ブロックを複数回通過させることにより、色抑圧処理によって色味が薄くなった画像の色味を２回目以降の画像処理ブロック通過によって鮮やかに戻せる。また、部分的な色相変更が一カ所しか設定できない画像処理ＩＣであっても、画像処理ブロックの色に関する処理ブロックを複数回通過させることにより、複数箇所の部分的な色相変更の設定が可能となり、色再現性を向上させられる。すなわち、画像処理ブロックの色に関する処理ブロックを複数回通過させ、その時の処理の目的（彩度設定、部分的な色相変更など）に応じて処理のパラメータをその都度設定することにより、上記の様々な効果を実現可能である。さらに、画像処理ブロックはハードウェア処理であるため、画像処理ブロックに画像データを複数回通過させたとしても処理時間は短く、ユーザの処理の遅延を感じさせることはほとんどない。

なお、上記各実施形態は本発明の好適な実施の一例であり、本発明は様々な変形が可能である。

本発明を好適に実施した第１の実施形態にかかるデジタルカメラの外観を示す図である。 第１の実施形態にかかるデジタルカメラの機能構成を示す図である。 第１の実施形態にかかるデジタルカメラの機能構成を示す図である。 デジタルカメラが行う画像処理の流れを示す図である。 （ａ）はガンマ補正処理の一例を示す図であり、（ｂ）は、出力装置の入出力特性を示す図である。 ベイヤー配列で配置されたフィルタを示す図である。 色補正処理の例を示す図である。 エッジ強調処理の流れを示す図である。 （ａ）はＬＰＦの一例を示す図であり、（ｂ）はエッジ抽出フィルタの一例を示す図である。 第１の実施形態にかかるデジタルカメラの第１の動作例を示す図である。 本発明を好適に実施した第２の実施形態にかかるデジタルカメラの動作の流れを示す図である。 色抑圧処理における色抑圧レベルと輝度値との関係の一例を示す図である。 色抑圧処理を強くかけた場合の色抑圧レベルと輝度値との関係の一例を示す図である。 第２の実施形態にかかるデジタルカメラの第２の動作例を示す図である。 複数の領域に部分的な色相変更を行う一例を示す図である。

符号の説明

１ サブＬＣＤ
４ 光学ファインダ
５ 測距ユニット
６ リモコン受光部
７ 鏡胴部
８ ＡＦ ＬＥＤ
９ ストロボＬＥＤ
１０ ＬＣＤモニタ
１１ 光学式ファインダ
７１ ズーム光学系
７１ａ ズームレンズ
７１ｂ ズーム駆動モータ
７２ フォーカス光学系
７２ａ フォーカスレンズ
７２ｂ フォーカス駆動モータ
７３ 絞りユニット
７３ａ 絞り
７３ｂ 絞りモータ
７４ シャッタユニット
７４ａ メカシャッタ
７４ｂ メカシャッタモータ
７５ モータドライバ
１０１ ＣＣＤ
１０２ Ｆ／Ｅ−ＩＣ
１０３ ＳＤＲＡＭ
１０４ ディジタルスチルカメラプロセッサ
１０７ ＲＡＭ
１０８ ＲＯＭ
１０９ ＳＵＢ−ＣＰＵ
１１１ ＬＣＤドライバ
１１３ ブザー
１１４ ストロボ回路
１１５ 音声記録ユニット
１１６ 音声再生ユニット
１１７ ＬＣＤドライバ
１１８ ビデオＡＭＰ
１１９ ビデオジャック
１２０ 内部メモリ
１２１ メモリカードスロット
１２２ ＵＳＢコネクタ
１２３ シリアルドライバ回路
１０２１ ＣＤＳ
１０２２ ＡＧＣ
１０２３ Ａ／Ｄ
１０２４ ＴＧ
１０４１ ＣＣＤ１信号処理ブロック
１０４２ ＣＣＤ２信号処理ブロック
１０４３ ＣＰＵブロック
１０４４ ローカルＳＲＡＭ
１０４５ ＵＳＢブロック
１０４６ シリアルブロック
１０４７ ＪＰＥＧコーデックブロック
１０４８ リサイズブロック
１０４９ ＴＶ信号表示ブロック
１０４１０ メモリカードコントローラブロック
１１５１ 音声記録回路
１１５２ マイクＡＭＰ
１１５３ マイク
１１６１ 音声再生回路
１１６２ オーディオＡＭＰ
１１６３ スピーカ
１２３１ シリアルドライバ回路
１２３２ ＲＳ−２３２Ｃコネクタ

Claims (15)

1. それぞれが異なる画像処理を行う複数の画像処理ブロックを備えた画像処理装置であって、
   前記複数の画像処理ブロックで画像データを順次処理する画像処理シーケンスに用いられる特定の画像処理ブロックでの画像処理を複数回行うことを特徴とする画像処理装置。
2. 前記画像処理シーケンスによる処理済みの画像データを前記特定の画像処理ブロックに入力し、その画像処理ブロック以降の画像処理ブロックでの画像処理を複数回行うことを特徴とする請求項１記載の画像処理装置。
3. 前記画像処理シーケンスによる処理済みの画像データを、前記画像処理シーケンスの最初の画像処理ブロックに入力する手段と、
   前記画像処理シーケンスに含まれる任意の画像処理ブロックにおいて、画像処理を行うか否かを制御する手段とを有することを特徴とする請求項１記載の画像処理装置。
4. 前記特定の画像処理ブロックは、エッジ強調処理を行うエッジ強調処理ブロックであることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
5. 前記エッジ強調処理ブロックでのエッジ強調処理に用いる画像処理パラメータは、前記エッジ強調処理のたびに設定されることを特徴とする請求項４記載の画像処理装置。
6. 前記画像処理パラメータとして、画像からエッジを抽出するためのエッジ抽出フィルタのフィルタ係数を含むことを特徴とする請求項５記載の画像処理装置。
7. 前記画像処理パラメータとして、前記エッジ抽出フィルタのよって抽出されたエッジに対して乗算するゲインを含むことを特徴とする請求項６記載の画像処理装置。
8. 前記画像処理パラメータとして、画像を平滑化させノイズを除去するためのローパスフィルタ（ＬＰＦ）のフィルタ係数を含むことを特徴とする請求項５から７のいずれか１項記載の画像処理装置。
9. 前記画像処理パラメータは、エッジ抽出フィルタによって画像データから抽出されゲインを乗算されたエッジ成分と、ＬＰＦによってノイズを除去されたベース画像成分との加算比率であることを特徴とする請求項５記載の画像処理装置。
10. 前記特定の画像処理ブロックは、色補正処理を行う色補正ブロックであることを特徴とする請求項１から３のいずれか１項記載の画像処理装置。
11. 前記色補正処理に用いる画像処理パラメータは、前記色補正処理を行うたびに設定されることを特徴とする請求項１０記載の画像処理装置。
12. 前記色補正処理として、色の彩度を決定する処理を含むことを特徴とする請求項１１記載の画像処理装置。
13. 前記色補正処理として、色相を決定する処理を含むことを特徴とする請求項１１又は１２記載の画像処理装置。
14. 前記色補正処理として、特定の色相を変更させるパラメータを含むことを特徴とする請求項１１から１３のいずれか１項記載の画像処理装置。
15. 前記色補正処理として、色抑圧レベルを決定する処理を含むことを特徴とする請求項１１から１４のいずれか１項記載の画像処理装置。

Images