JP2019012450A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】連続した撮影がなされた場合の補正のばらつきを軽減可能にすることを課題とする。【解決手段】画像処理部２０８の顔検出回路（１０１）は撮影画像から顔領域を検出する。画像処理部２０８のブロック積分回路（１０３）と補正特性決定回路（１０５）と補正領域算出回路（１０６）と補正色算出回路（１０７）からなる構成では、顔領域のテカリ領域に対する補正量を生成し、その生成した補正量を用いてテカリ領域にテカリ補正を行う。画像処理部２０８は、連写撮影された撮影画像について生成する補正量が、連写撮影時にその撮影画像より前に撮影された撮影画像で生成された補正量を超えないようにする。【選択図】図１

Description

本発明は、撮像等された画像を処理する画像処理装置、画像処理方法、及びプログラムに関する。

従来、撮影画像において被写体の高輝度領域に対して補正を行う技術が知られている。これにより環境光によって生じた顔のテカリなどを補正し、好ましい画像を得ることが可能となる。
例えば、特許文献１には、被写体の所定部位を検出し、その検出結果に基づいてテカリ領域の補正を行う技術が開示されている。具体的に説明すると、特許文献１には、被写体の人物の顔や目、口などの所定部位を検出し、その所定部位の位置や色などに基づいて各画素の補正の程度を決定する技術が開示されている。これにより、特許文献１に記載の技術によれば、輝度や明度を下げる必要のない部位についてはその高い輝度や明度が維持され、輝度を下げる必要のある肌のテカリが生じている部位のみに対して補正することが可能となる。

特開２００５−３２７００９号公報

しかしながら、前述した従来の補正方法では、顔検出や顔の部位を検出する器官検出結果を基にテカリ補正を行うため、例えば顔検出や器官検出に失敗した場合にはテカリ補正を行うことができない。このため、例えば連写撮影のような連続撮影がなされた場合、従来の補正方法では、連写された撮影画像ごとに補正のばらつきが生じてしまうことがある。例えば、連写された各画像の中に、顔検出等が成功して正しくテカリ補正を行えた画像と、顔検出等を失敗して正しくテカリ補正を行えなかった画像が混在すると、画像ごとにテカリ補正のばらつきが生ずることになる。

そこで本発明は、連続した撮影がなされた場合の補正のばらつきを軽減可能にすることを目的とする。

本発明は、撮影画像から所定の被写体の画像領域を検出する検出手段と、前記所定の被写体の画像領域のテカリ領域に対する補正量を生成し、前記生成した補正量を用いて前記テカリ領域にテカリ補正を行う補正手段と、を有し、前記補正手段は、連続した撮影で得られた撮影画像について生成する前記補正量が、前記連続した撮影時に前記撮影画像より前に撮影された撮影画像で生成された補正量を超えないようにすることを特徴とする。

本発明によれば、連続した撮影がなされた場合の補正のばらつきを軽減可能となる。

テカリ補正処理に係る各構成における処理の流れを表した図である。 実施形態の一適用例の概略構成を示すブロック図である。 第１の実施形態におけるテカリ補正のフローチャートである。 信頼度の説明に用いる図である。 テカリ補正の際のブロック積分の説明に用いる概念図である。 テカリ補正の際の輝度毎の補正特性を示す図である。 テカリ補正領域の説明に用いるイメージ図である。 第２の実施形態におけるテカリ補正のフローチャートである。

以下、本発明の好ましい実施形態を、添付の図面に基づいて詳細に説明する。
図１は、本実施形態の画像処理装置のテカリ補正処理に係る各構成における処理の流れを表した処理フローである。図２は、本実施形態の画像処理装置の一適用例であるデジタルカメラ２１７の概略構成を示したブロック図である。図１の処理フローにて示された本実施形態の画像処理装置に係るテカリ補正処理は、図２のデジタルカメラ２１７では例えば画像処理部２０８により行われるとする。なお、本実施形態の画像処理装置は、デジタルビデオカメラ、カメラ機能を備えたスマートフォンやタブレット端末、パーソナルコンピュータ等の各種情報端末、工業用カメラ、車載カメラ、医療用カメラなどの各種カメラにも適用可能である。

図１に示したデジタルカメラ２１７において、レンズ２００はフォーカスレンズを含むズームレンズであり、入射光Ｌを集光して被写体等の光学像を撮像素子２０３の撮像面上に形成する。絞り２０１はレンズ２００を介した入射光量を調整し、シャッター２０２は撮像素子２０３の露光時間を調整する。レンズ２００のフォーカスレンズ等の駆動は、システム制御部２１６による制御の下、測距制御部２１１により行われる。絞り２０１の絞り値とシャッター２０２のシャッタースピードの調整は、システム制御部２１６による制御の下、露光制御部２１０により行われる。

測光センサ２１３は、撮影画角内の平均輝度を測定するためのセンサであり、測定した輝度値の情報をシステム制御部２１６に出力する。システム制御部２１６は、測光センサ２１３により測定された輝度値に基づき、適切な露光量を算出して、その露光量情報を露光制御部２１０に送る。露光制御部２１０は、その露光量を基に、絞り２０１の絞り値とシャッター２０２のシャッタースピードを設定することにより露光制御を行う。
測距センサ２１２は、カメラから被写体までの距離を検出するセンサであり、検出した距離の情報をシステム制御部２１６に出力する。システム制御部２１６は、測距センサ２１２にて検出された距離情報を測距制御部２１１に送る。測距制御部２１１は、その距離情報を基に、レンズ２００のフォーカスレンズを駆動することで被写体等へのピント合わせを行う。

撮像素子２０３は、レンズ２００を介して撮像面上に形成された光学像を光電変換により電気信号に変換してアナログ信号を出力する。撮像素子２０３は、ＣＣＤイメージセンサ又はＣＭＯＳイメージセンサからなる。また、撮像素子２０３の撮像面には三原色のＲ（赤），Ｇ（緑），Ｂ(青）の各色成分に対応したカラーフィルタが、いわゆるベイヤー配列と呼ばれる配列で画素毎に設けられている。このため、撮像素子２０３からは、ベイヤー配列に対応したＲＧＢの各画素の色信号からなるアナログ信号が出力される。Ａ／Ｄ変換器２０４は、撮像素子２０３から出力されたＲＧＢのアナログ信号を、ＲＧＢのデジタルデータに変換する。タイミング発生部２０５は、撮像素子２０３とＡ／Ｄ変換器２０４にクロック信号や制御信号を供給して、それらの動作を制御している。このタイミング発生部２０５は、メモリ制御部２０６及びシステム制御部２１６により制御されている。

画像処理部２０８は、Ａ／Ｄ変換器２０４から出力された画像データ、或いはメモリ制御部２０６によりメモリ２０７から読み出された画像データに対して、各種の画像処理を施す。具体的には、画像処理部２０８は、ホワイトバランス処理、ＲＧＢベイヤー配列の信号をＲＧＢの色成分毎に分けたＲＧＢ３プレーン信号に変換する色補間処理、ガンマ補正処理、彩度補正、色相補正などの各種画像処理を行う。

また、画像処理部２０８は、本実施形態に係るテカリ補正処理も行う。テカリ補正処理は、撮影画像に写っている所定の被写体の画像領域の中に高輝度のテカリ領域が存在する場合に、そのテカリ領域を補正する処理である。所定の被写体として例えば人物が撮影された場合、テカリ補正処理は、人物の顔の中の高輝度のテカリ領域に対して行われる。顔のテカリ領域に対する補正を行う場合、画像処理部２０８は、撮影画像から顔領域を検出する顔検出処理、顔を構成する複数の要素である目、口等の各器官を検出する器官検出処理についても行う。そして、画像処理部２０８は、それら顔領域や各器官の検出結果を基に、テカリ補正の対象となり得る領域（以下、テカリ補正領域とする。）を算出すると共にテカリ補正の補正量を算出して、テカリ補正処理を行う。これら顔領域の検出及び器官の検出処理、テカリ補正領域及び補正量の算出処理等の詳細については後述する。

メモリ制御部２０６は、メモリ２０７の書き込みと読み出しの制御の他、システム制御部２１６による指示の下で、Ａ／Ｄ変換器２０４、タイミング発生部２０５、画像処理部２０８の制御も行う。これにより、Ａ／Ｄ変換器２０４にてＡ／Ｄ変換されたデジタル画像データは、画像処理部２０８を介して、或いは直接メモリ制御部２０６を介して、メモリ２０７に書き込まれる。

メモリ２０７は、撮像素子２０３により撮影された静止画像や動画の画像データを格納するためのメモリであり、例えば所定枚数の静止画像や所定時間の動画の画像データを格納するのに十分な記憶容量を備えている。また、メモリ２０７は、システム制御部２１６や画像処理部２０８の作業領域としても使用可能となされている。また、メモリ２０７は、いわゆる連写による連続撮影時に各画像データを一時記録しておくバッファメモリとしても使用される。

外部記憶装置２０９は、種々の規格のメモリカードなどの着脱可能な外付けの記録媒体である。外部記憶装置２０９には、デジタルカメラ２１７本体とメモリカードとの間のインターフェースも含む。メモリ２０７に一時的に記録された画像データは、最終的にこの外部記憶装置２０９のメモリカードに記録される。なお、メモリカードに記録される画像データは、撮像されたいわゆるＲＡＷデータでもよいし、所定の規格で圧縮符号化されたデータであってもよい。

レリーズ釦２１４は、ユーザによるレリーズ釦２１４への第１ストロークの押下操作と、第１ストロークよりも押下量が大きい第２ストロークの押下操作とを検出可能なスイッチである。レリーズ釦２１４は、第１ストロークの押下操作を検出したときにオンとなるＳＷ１信号をシステム制御部２１６に出力し、第２ストロークの押下操作を検出したときにオンとなるＳＷ２信号をシステム制御部２１６に出力する。システム制御部２１６は、ＳＷ１信号が入力されると、前述した測光及び測距のための各動作を開始させ、さらにＳＷ２信号が入力されると、前述した露光及び撮像のための各動作を開始させる。また、ユーザによりレリーズ釦２１４に対する第２ストロークの押下操作が継続された場合、システム制御部２１６は、デジタルカメラ２１７を連写撮影状態に制御する。連射撮影状態の場合、システム制御部２１６は、レリーズ釦２１４の第２ストロークの押下操作が継続している間、連写を行うように各部を制御する。

なお、図２には図示していないが、デジタルカメラ２１７は、ＬＣＤ（液晶ディスプレイ）等の表示装置をも有している。表示装置には、撮影された画像や、外部記憶装置２０９から読み出された画像、いわゆるライブビュー画像、ユーザインターフェース画像等が表示される。
操作部２１５は、表示装置の画面上に配されるタッチパネル、デジタルカメラ２１７の本体に配されるボタンやスイッチを含み、ユーザによる操作を検知して、その検知した操作情報をシステム制御部２１６に出力する。

システム制御部２１６は、デジタルカメラ２１７における前述した撮影時の動作を含む全体の動作を制御する。システム制御部２１６は、ＣＰＵやＭＰＵ、不揮発性メモリを含み、不揮発性メモリに記憶されているプログラムをメモリ２０７の作業領域に展開して実行することにより、デジタルカメラ２１７全体の各機能を制御する。不揮発性メモリは、プログラムや各種パラメータなどを格納するＥＥＰＲＯＭなどの不揮発性の半導体メモリからなる。なお、本実施形態に係る画像処理がＣＰＵ等により実行される場合、不揮発性メモリに記憶されているプログラムには本実施形態に係る画像処理のプログラムが含まれる。

［第１の実施形態］
以下、第１の実施形態について説明する。第１の実施形態では、連写のような連続的な撮影により、所定の被写体として人物（人物の顔）が撮影され、その人物の顔の高輝度のテカリ領域に対してテカリ補正処理が行われる場合を例に挙げる。また本実施形態では、連写撮影中に被写体が動いたことで顔や各部位の検出ができずテカリ補正を行えない場合や、口の開閉等により顔内でテカリ補正領域が変化した場合でも、以下の処理により、各撮影画像でテカリ補正にばらつきが生ずるのを防止する。

以下、図１に示した処理フロー、図２に示したデジタルカメラ２１７の構成、及び、図３に示すテカリ補正処理のフローチャートを参照して、第１の実施形態における連写撮影時のテカリ補正処理について詳細に説明する。図３のフローチャートに示した処理は図２の画像処理部２０８により行われ、画像処理部２０８は図１の処理フローに示されている各回路等を有して構成されている。すなわち画像処理部２０８は、図１に示すように、顔検出回路１０１、器官検出回路１０２、ブロック積分回路１０３、輝度値算出回路１０４、補正特性決定回路１０５、補正領域算出回路１０６、補正色算出回路１０７、演算器１１０〜１１３を有している。

なお、図３のフローチャートの処理は、図１の各回路のようなハードウェア構成により実現される場合のみならず、ソフトウェア構成により実行されてもよいし、一部がソフトウェア構成で残りがハードウェア構成により実現されてもよい。ソフトウェア構成により実現される場合、例えばシステム制御部２１６のＣＰＵが、不揮発性メモリに格納されているプログラムを実行して、図３のフローチャートの処理を実現する。このソフトウェア構成に係るプログラムは、不揮発性メモリに予め用意されている場合だけでなく、例えば着脱可能な半導体メモリから読み出されたり、不図示のインターネット等のネットワークからダウンロードされたりしてもよい。以下の図３のフローチャートの説明では、ステップＳ３０１〜ステップＳ３１２をそれぞれＳ３０１〜Ｓ３１２と略記する。これらのことは後述する他のフローチャートにおいても同様とする。

本実施形態に係る画像処理部２０８は、デジタルカメラ２１７において撮影が開始されると、撮影画像に対するテカリ補正処理のために、図３のフローチャートの処理をスタートさせる。
図３のフローチャートの処理がスタートすると、先ずＳ３０１の処理として、図１の顔検出回路１０１は、撮影画像であるＲＡＷ画像１００から顔領域を検出する顔検出処理を行う。なお、入力される撮影画像は、ホワイトバランス処理及びＲＧＢベイヤー配列からＲＧＢ３プレーン画像に変換する色補間処理がなされているものとする。ホワイトバランス処理や色補間処理は既知の技術を用いて行われるため、それらの詳細な説明は省略する。

顔検出回路１０１は、撮影画像から検出した顔の個数、顔領域を示す画像中の座標、検出した顔毎の信頼度などの情報を出力する。撮影画像から顔を検出する手法としては、例えば、ニュートラルネットワークに代表される学習を用いた手法、目や鼻といった物理的形状に特徴のある部位を撮影画像からテンプレートマッチング処理等により抽出する手法等が知られている。その他にも、肌の色や目の形といった画像特徴量を検出し、統計的手法を用いた解析を行うことで顔を検出する手法等も知られている。顔検出回路１０１は、これらの手法を用いて、撮影画像から顔領域を検出し、検出した顔の個数、顔領域の座標、検出された顔の信頼度などの情報を出力する。

次に、図３のフローチャートのＳ３０２の処理として、図１の器官検出回路１０２は、撮影画像から、顔検出回路１０１にて検出された顔を構成する各要素である口、鼻、目などの各器官を検出し、それら器官、顔の角度（向き）など詳細な情報を取得する。なお、顔の中の器官のような所定部位の検出手法としては、顔検出の手法と同様にテンプレートマッチング処理を利用した手法や、ニューラルネットワークを利用した手法などが知られている。器官検出回路１０２は、これらの手法を用いて各器官、顔の角度等を検出し、それらの情報を出力する。器官検出回路１０２は、検出した各器官の信頼度、検出した顔の角度に基づく顔の信頼度の情報についても出力する。

図４（ａ）〜図４（ｄ）は検出された顔の信頼度の一例の説明図である。図４（ａ）は顔の大きさによる信頼度４０１の一例を示している。図４（ａ）の信頼度４０１では、顔のサイズが所定のサイズ範囲ＳＲ内である場合に信頼度が１００％となされ、顔のサイズが所定のサイズ範囲ＳＲより小さくなるほど、或いは大きくなるほど信頼度が低下する。図４（ｂ）は顔の向き（角度）が正面に対して左右方向に向いた場合の信頼度４０２の一例を示している。図４（ｂ）の信頼度４０２では、顔の角度（向き）が０度（正面）から左右方向６０度未満では信頼度１００％、左右方向６０度以上９０度未満では角度が大きくなるにつれて信頼度が徐々に低下し、左右方向９０度以上では信頼度０％となされる。図４（ｃ）は顔の向きが正面から上下方向になった場合の信頼度４０３の一例を示している。図４（ｃ）の信頼度４０３では、顔の角度が０度（正面）から上下方向３０度未満では信頼度１００％、上下方向３０度以上４５度未満では角度が大きくなるにつれて信頼度が徐々に低下し、上下方向４５度以上では信頼度０％となされる。図４（ｄ）の信頼度４０４は顔の位置に基づく信頼度４０４の一例を示している。図４（ｄ）の信頼度４０４では、顔の位置が画面端部（画面枠）に近づくほど信頼度が低下し、一方、画面中央から一定距離範囲内である場合には信頼度１００％となされる。

また、器官検出回路１０２により検出された各器官の信頼度を表す情報は、検出された各器官の形状、傾き、色、顔内における器官の位置及びその配置関係などを基に、目、口などの各器官の確からしさを表す情報として取得される。一例として、顔領域から目として検出された器官が、顔内で目が配置されるべき位置にあり、またその形状と色が目の形状と色である場合、目である確からしさが高いことを示す信頼度が得られる。なお、信頼度は、この例に限定されるものではなく、各器官の確からしさを表すことができるのであれば、他の方法により求められてもよい。

次に、図３のＳ３０３の処理として、図１のブロック積分回路１０３は、撮像画像の中で、顔検出回路１０１にて検出された顔領域を複数のブロックに分割し、それらブロック毎に積分値（以下、ブロック積分値とする。）を算出する。具体的には、ブロック積分回路１０３は、ブロック積分値として、各ブロックのＲ，Ｇ，Ｂの各値を積分した値を算出する。図５は、検出された顔領域５１０の例と、その顔領域５１０を複数に分割した各ブロック５０２を示した図である。ブロック積分値が取得される各ブロック５０２のサイズは、予め決められていてもよいし、顔領域の大きさに合わせて可変されてもよい。なお、図５には顔領域５１０をブロック分割してブロック積分値を算出する例を挙げているが、撮影画像５００全体のブロック分割や撮影画像の外周部を除いた主要領域５０１のブロック分割、及び各ブロック積分値の算出が行われてもよい。

次に、図３のＳ３０４の処理として、図１の補正特性決定回路１０５は、ブロック積分回路１０３により算出されたブロック積分値を基に、顔領域のテカリ補正領域内のテカリ補正処理で使用するテカリ補正特性を決定する。補正特性決定回路１０５は、テカリ補正特性として、撮影画像の輝度（以下、入力輝度とする）に対応してテカリ補正の強度を決めるためのテカリ補正特性を決定する。そして、補正特性決定回路１０５は、決定したテカリ補正特性を表す補正特性パラメータを演算器１１０に送る。

図６（ａ）と図６（ｂ）は、入力輝度に対応したテカリ補正強度としての補正ゲインを決めるテカリ補正特性６０１とテカリ補正特性６０２の一例を示した図である。これらテカリ補正特性６０１，６０２は、入力輝度０から輝度Ａまでの間は補正ゲインが０となされ、入力輝度Ａ以降では輝度が大きくなるにつれて補正ゲインも徐々に大きくなされるように補正ゲインを設定する補正特性となされている。ただし、テカリ補正特性６０１は、テカリ補正特性６０２よりも入力輝度Ａ以降における特性の傾き（補正ゲインの上昇率）が大きくなっている。すなわち、図６（ａ）のテカリ補正特性６０１の場合、入力輝度Ａ以降においてテカリ補正量をコントロールする補正ゲインが大きく上昇することで、輝度が高い白飛び領域（テカリ領域）に対して効果的にテカリ補正を行うことが可能となる。一方、図６（ｂ）のテカリ補正特性６０２の場合、入力輝度Ａ以降においてテカリ補正量をコントロールする補正ゲインの上昇が緩やかにされていることで、白飛び領域（テカリ領域）に対する補正強度を、ある程度弱めたテカリ補正を行うことが可能となる。なお、補正ゲインＣは、入力輝度がとり得る最大の輝度値に対応した補正ゲインである。これらテカリ補正特性６０１，６０２は一例であり、また、テカリ補正特性は予め決められている場合だけでなく可変されてもよい。一例として、入力輝度と補正ゲインの関係を可変させることでテカリ補正特性を可変させることが可能である。

補正特性決定回路１０５は、テカリ補正処理の際に用いるテカリ補正特性を、撮影画像から検出された顔領域内の平均輝度、白飛びの具合、検出された顔と器官の信頼度等を基に決定する。
具体的には、補正特性決定回路１０５は、先ず、ブロック積分値を基に顔領域内の平均輝度を算出し、その顔領域内の平均輝度を、図６（ａ）や図６（ｂ）の補正ゲインが０より大きくなる立ち上がり部の入力輝度Ａとして設定する。

また、補正特性決定回路１０５は、入力輝度がとり得る最大の輝度値に対応した補正ゲインＣを、顔領域の白飛び具合と、検出された顔と器官の各信頼度を基に決定する。具体的には、補正特性決定回路１０５は、顔領域のＲ，Ｇ，Ｂの各ブロック積分値と所定の閾値とを比較し、ブロック積分値が閾値を超えたブロックの個数を計数する。そして、補正特性決定回路１０５は、閾値を超えたブロック数が多いほど、補正ゲインＣを大きい値に設定する。

また、補正特性決定回路１０５は、検出された顔と器官の各信頼度をも用いて補正ゲインＣの値を設定する。具体的には、補正特性決定回路１０５は、顔と器官の各信頼度の中の最小値が低いほど、補正ゲインＣを小さい値に設定する。また例えば、顔と器官の各信頼度の中の最小値が０％である場合、補正特性決定回路１０５は、補正ゲインＣの値も０にする。顔や器官の各信頼度が０％の場合とは、例えば顔や器官の検出を失敗した場合などである。すなわち本実施形態の場合、撮影画像から顔、又は、目と口の何れかの器官の検出ができなかった場合、補正特性決定回路１０５は、補正ゲインＣを０に設定する。一方、顔及び器官の各信頼度が１００％である場合、補正特性決定回路１０５は、前述したブロック積分値が閾値を超えたブロックの個数のみを基に、補正ゲインＣの値を設定する。

次に、Ｓ３０５の処理として、補正領域算出回路１０６は、顔領域の中でテカリ補正処理の対象となり得る領域（テカリ補正領域）を算出する。このテカリ補正領域は、顔検出回路１０１により検出された顔領域の座標情報、及び、器官検出回路１０２により検出された各器官の座標情報を基に設定される。なお、顔領域、又は目や口等の器官が検出できていない場合、補正領域算出回路１０６は、テカリ補正領域の設定を行わない。そして、補正領域算出回路１０６は、設定したテカリ補正領域を表す補正領域パラメータを、演算器１１１に送る。

図７（ａ）〜図７（ｄ）は、テカリ補正領域として設定される領域の一例を示す図である。図７（ａ）と図７（ｄ）は正面を向いた顔の顔領域７００を、図７（ｂ）は斜め横（左方向）を向いた顔の顔領域７００、図７（ｃ）は口７１１が開かれた状態の顔の顔領域７００を示している。

補正領域算出回路１０６は、顔領域と各器官の座標情報を基に、例えば両目７１０の座標間の距離から楕円の大きさを決定し、さらに両目７１０の位置から楕円の中心位置を決定する。そして、補正領域算出回路１０６は、顔領域７００内において、その楕円で示される領域をテカリ補正領域として算出する。図７（ａ）に例示した正面を向いた顔領域７００の場合には、補正領域算出回路１０６によりテカリ補正領域７０１が算出される。

また、補正領域算出回路１０６は、各器官の位置関係を基に顔の角度（顔の向き）を算出し、その角度を基に顔が正面からずれているか否かを判定する。そして、補正領域算出回路１０６は、顔が正面からずれていると判定した場合には、そのずれの方向と角度を算出して、ずれの方向とは逆の方向に、ずれの角度に相当する分だけ楕円の中心をずらす。またこのときの補正領域算出回路１０６は、ずれの角度に応じて楕円の大きさを（つまりテカリ補正領域のサイズ）を修正する。図７（ｂ）に例示した斜め横を向いた顔領域７００の場合、補正領域算出回路１０６によってテカリ補正領域７０２が算出される。このように、顔の向きに応じてテカリ補正領域の中心をずらすと共にサイズが修正されることで、顔領域７００からテカリ補正領域７０２がはみ出すことによる弊害（テカリの誤補正）を回避することが可能となる。

また、補正領域算出回路１０６は、顔の器官のうち、口７１１について開いているか閉じているかを判定する。具体的には、図７（ｃ）の例において、補正領域算出回路１０６は、口７１１の上唇の座標７０３と下唇の座標７０４との間の距離を算出し、その距離の値が所定値以上の場合（離れている場合）には口７１１が開いていると判定する。一方、補正領域算出回路１０６は、距離が所定値未満である場合には口７１１が閉じていると判定する。そして、補正領域算出回路１０６は、口７１１が開いていると判定した場合には、図７（ｃ）に示すように、テカリ補正領域７０５を上唇の座標７０３にかからないように狭める。このように口７１１が開いている場合に上唇の座標７０３にかからないようにテカリ補正領域７０５を狭めることで、例えば開いた口７１１の中で高輝度になり易い白い歯に対してテカリ補正処理が行われないようにする。

また、補正領域算出回路１０６は、図７（ｄ）に示すように、テカリ補正領域７０１の中で高輝度になり易い目７１０について、補正除外領域７０６を設定する。補正除外領域７０６は、テカリ補正領域７０１の中でテカリ補正が行われない領域として設定される。

次に、図３のＳ３０６の処理として、図２の補正色算出回路１０７は、テカリ補正が行われる色、つまり顔の場合には肌色に対する色補正値を算出する。ここで、顔の場合のテカリ補正処理は、高輝度の飽和した画像データから補正色を減算することで肌色に近づけるような処理となされる。すなわち、白飛びしているテカリ領域の飽和値から補正色の値を減算した後の色が肌色になっている必要があり、このため、飽和値と肌色の値との差分値が補正色の値となる。

例えばＲ，Ｇ，Ｂの値をそれぞれ８ビットで表した場合、顔領域の肌色の平均値は、
（Ｒ，Ｇ，Ｂ）＝（２３０，２００，１７０）
で表すことができ、一方、飽和値は、
（Ｒ，Ｇ，Ｂ）＝（２５５，２５５，２５５）
となる。
したがって、その飽和値から顔領域の肌色平均値を減算すると、補正色の値は、
（Ｒ，Ｇ，Ｂ）＝（２０，５５，８５）
となる。

補正色算出回路１０７は、顔検出回路１０１にて検出された顔領域の平均輝度を算出し、顔領域の中で、その平均輝度に近いブロックのＲＧＢの色情報から色味を算出することで肌色平均値を算出する。そして、補正色算出回路１０７は、その肌色平均値を用いて補正色の値を算出することで色補正値を決定し、その色補正色を表す補正色パラメータを演算器１１２に送る。

次に、Ｓ３０７の処理として、画像処理部２０８は、連写による画像撮影が行われているか否かの連写判定を行う。画像処理部２０８は、連写撮影が行われていないと判定した場合、又は、連写撮影において撮影画像が連写１コマ目であると判定した場合には、Ｓ３０９に処理を進める。一方、画像処理部２０８は、連写撮影において撮影画像が連写２コマ目以降であると判定した場合には、Ｓ３０８に処理を進める。

Ｓ３０８に進むと、画像処理部２０８は、連写中の前コマで決定されたテカリ補正特性及びテカリ補正領域と、最新コマで算出されたテカリ補正特性及びテカリ補正領域とを比較する。そして、画像処理部２０８は、その比較の結果を基に、最新コマの撮影画像に適用する補正量（補正ゲイン）及びテカリ補正領域を決定する。

例えば、画像処理部２０８は、最新コマで算出されたテカリ補正特性の補正ゲインＣ（最大補正量）が、前コマで決定されたテカリ補正特性の補正ゲインＣより大きい場合、最新コマに適応する補正量を、前コマの補正量と同じ値（補正ゲイン）に設定する。つまり、画像処理部２０８は、前コマにおいて入力輝度に応じて決定された補正ゲインを、最新コマについてもそのまま設定することで、前コマで決定された補正ゲインを超えないようにする。一方、最新コマで算出されたテカリ補正特性の補正ゲインＣが、前コマのテカリ補正特性の補正ゲインＣと同じか又は小さい場合、画像処理部２０８は、最新コマにおいて算出された補正量（補正ゲイン）を、その最新コマに適用する補正量として設定する。すなわちこの場合も、最新コマの補正ゲインは、前コマで決定された補正ゲインを超えないことになる。このように、最新コマに適用する補正量が前コマの補正量を超えないようにすることで、連写中に顔や器官検出ができなくなった場合や検出された顔や器官の信頼度が低くなったとしても、連写コマ毎のテカリ補正のばらつきを軽減可能となる。

また、Ｓ３０８において、画像処理部２０８は、最新コマで算出されたテカリ補正領域の面積が、前コマで決定されたテカリ補正領域の面積より広い場合、最新コマに適応するテカリ補正領域を、前コマのテカリ補正領域と同じサイズに設定する。つまり、画像処理部２０８は、前コマにおいて決定したテカリ補正領域を、最新コマについてもそのまま設定することでで、前コマで決定されたテカリ補正領域の面積を広くしない（又は固定する）ようにする。一方、最新コマで算出されたテカリ補正領域の面積が、前コマのテカリ補正領域の面積と同じか又は小さい場合、画像処理部２０８は、最新コマにおいて算出されたテカリ補正領域を、その最新コマに適用するテカリ補正領域として設定する。すなわちこの場合も、最新コマにおけるテカリ補正領域の面積は、前コマで設定されたテカリ補正領域の面積より広くならない。なお、前コマで顔検出ができず、テカリ補正領域が算出されなかった場合、画像処理部２０８は、最新コマについてテカリ補正領域を設定しないようにする。このように、最新コマに適用するテカリ補正領域の面積を、前コマで決定されたテカリ補正領域の面積より広くならない（又は固定する）ようにすることで、連写中に例えば口が開閉等されたとしても、連写コマ毎のテカリ補正のばらつきを軽減可能となる。

次に、Ｓ３０９の処理として、画像処理部２０８は、連写中の次コマとの比較に使用するため、最新コマにおいて決定されたテカリ補正特性とテカリ補正領域といったパラメータを例えばメモリ２０７に記憶させる。

次に、Ｓ３１０の処理として、画像処理部２０８は、撮影画像のテカリ補正領域について入力輝度値に応じたテカリ補正処理を行う。このため、図１の輝度値算出回路１０４は、入力されたＲＡＷ画像１００の各画素のＲＧＢのデータを輝度値Ｙのデータに変換して、輝度値画像１０８を作成する。そして輝度値画像１０８は、演算器１１０に送られる。なお、ＲＧＢのデータから輝度値Ｙのデータへの変換は、例えば式（１）の演算により行われる。
Ｙ＝Ｒ×０．３＋Ｇ×０．６＋Ｂ×０．１ 式（１）

演算器１１０は、前述した補正特性パラメータにより示されるテカリ補正特性を基に、輝度値画像１０８の画素ごとの輝度値に応じた各補正ゲインを算出し、それら画素毎の各補正ゲインを演算器１１１に送る。演算器１１１は、輝度値画像１０８を基に算出された各補正ゲインから、前述した補正領域パラメータにより示されるテカリ補正領域に対応した各補正ゲインを抽出し、そのテカリ補正領域の各補正ゲインを演算器１１２に送る。なお、テカリ補正領域に対応した各補正ゲインの抽出は、テカリ補正領域の外側の補正ゲインを０にすることで行われる。演算器１１２は、前述した補正色パラメータにより示される肌色の色補正値に、テカリ補正領域の各補正ゲインを乗算し、その補正ゲイン乗算後の各補正色の情報を、演算器１１３に送る。演算器１１３は、ＲＡＷ画像１００の前述したＲＧＢ３プレーンの画像データから、前述した補正ゲイン乗算後の各補正色を減算する。これにより、演算器１１３からは、テカリ補正領域内のテカリ領域に対するテカリ補正がなされた後のＲＧＢ画像が生成される。

次に、Ｓ３１１の処理として、画像処理部２０８は、前述のようにテカリ補正処理が行われた後の画像に対して、ガンマ補正処理、彩度補正、色相補正といった現像処理を行う。その後、Ｓ３１２の処理として、画像処理部２０８は、撮影が終了したか否か判定する。本実施形態の場合、図２のレリーズ釦２１４のＳＷ２信号がオンの状態になっている場合には撮影が継続されている旨の情報がシステム制御部２１６から供給され、これによりＳ３１２において画像処理部２０８は撮影が終了していないと判定する。そして、撮影が終了していないと判定した場合、画像処理部２０８は、Ｓ３０１に処理を戻して、Ｓ３０１以降の一連の処理を行う。一方、図２のレリーズ釦２１４のＳＷ２信号がオフの状態になると、撮影を終了する旨の情報がシステム制御部２１６から供給され、これによりＳ３１２において画像処理部２０８は撮影が終了したと判定し、図３のフローチャートの処理を終了する。

以上説明したように、第１の実施形態の画像処理装置は、連写による連続撮影がなされているときには、前コマで決定された補正量とテカリ補正領域を超えないように、最新のコマの補正量が設定される。また第１の実施形態の画像処理装置では、連写による連続撮影がなされているときには、前コマで決定されたテカリ補正領域の面積より広くしないように、最新のテカリ補正領域の面積が設定される。これにより、第１の実施形態の画像処理装置によれば、連続撮影中に顔検出や器官検出ができなかった場合や口開閉等による補正対象領域が変化しても、撮影画像毎のテカリ補正処理のばらつきを軽減することができる。

［第２の実施形態］
次に、第２の実施形態について説明する。第２の実施形態におけるテカリ補正処理の処理フローは図１と同様であり、また、デジタルカメラ２１７の構成は図２と同様であるためそれらの図示と同一の処理の説明は省略する。図８は、第２の実施形態に係るテカリ補正処理のフローチャートを示す。以下、図１、図２、及び図８を参照して、第２の実施形態の画像処理部２０８におけるテカリ補正処理を説明する。なお、図８のフローチャートにおいて、Ｓ８０１からＳ８０６までの処理は、図３のＳ３０１からＳ３０６までの処理と同じであるため、それらの説明は省略する。図８のフローチャートにおいて、Ｓ８０６におけるテカリ補正色の算出処理の後、画像処理部２０８は、Ｓ８０７に処理を進める。

Ｓ８０７に進むと、画像処理部２０８は、連写により撮影された各撮影画像と、各撮影画像においてＳ８０４で算出したテカリ補正特性、Ｓ８０５で算出したテカリ補正領域、Ｓ８０６で算出したテカリ補正色の情報を、メモリ２０７に記録させる。つまり、メモリ２０７には、連写撮影開始以降の一連の各撮影画像と、それら各撮影画像についてそれぞれ算出されたテカリ補正特性、テカリ補正領域、テカリ補正色の情報とが記録される。

次に、Ｓ８０８の処理として、画像処理部２０８は、図３のＳ３１２と同様に撮影が終了したか否か判定し、撮影が終了していない場合にはＳ８０１に処理を戻し、撮影が終了したと判定した場合にはＳ８０９に処理を進める。

Ｓ８０９に進むと、画像処理部２０８は、Ｓ８０７でメモリ２０７に記録されている、連写撮影による一連の各撮影画像に各々対応した各テカリ補正特性の中から、補正ゲインＣ（最大補正量）が最小となっているテカリ補正特性を選択する。
また、画像処理部２０８は、メモリ２０７に記録されている各撮影画像に対応した各テカリ補正領域の中で、テカリ補正領域の面積が最小（最も狭い）のテカリ補正領域を選択する。

次に、Ｓ８１０の処理として、画像処理部２０８は、Ｓ８０９で選択された補正ゲインＣが最小のテカリ補正特性と、面積が最小のテカリ補正領域とを用いて、メモリ２０７に記録されている全ての撮影画像（全連写画像）に対するテカリ補正処理を行う。なお、画像処理部２０８は、テカリ補正処理に用いるテカリ補正色については、撮影画像毎に算出してメモリ２０７に記録してある補正色を使用する。テカリ補正処理については、第１の実施形態のＳ３１０と同様の処理とする。また、Ｓ８１０において、画像処理部２０８は、テカリ補正処理が行われた後の画像に対して、前述のＳ３１１と同様にガンマ補正処理、彩度補正、色相補正等の現像処理を行う。

以上説明したように、第２の実施形態の画像処理装置は、連写の連続撮影により得られた一連の全撮影画像に同じテカリ補正特性及び同じ面積のテカリ補正領域を適用する。これにより、第２の実施形態の画像処理装置によれば、連続撮影中に発生する顔検出や器官検出の失敗や口の開閉等による補正対象領域の変化による撮影画像毎のテカリ補正処理のばらつきを軽減することができる。
なお、第２の実施形態では、デジタルカメラ２１７による連写中の動作を例に挙げて説明したが、例えばＲＡＷ現像アプリケーションソフト等を用いて、ユーザが選択した複数枚の連続撮影画像に対してテカリ補正処理を施す際に前述同様の手法を用いてもよい。

＜その他の実施形態＞
以上、本発明の好ましい実施形態について説明したが、本発明は前述した実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。前述の実施形態では、所定の被写体の画像領域として顔画像の肌色領域に対するテカリ補正処理の例を挙げたが、本発明は顔画像の肌色領域のテカリ補正処理には限定されない。一例として、所定の被写体として自動車等を連写等した画像について、自動車の車体の高輝度領域（テカリ領域）を補正する場合などにも適用可能である。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１０１：顔検出回路、１０２：器官検出回路、１０３：ブロック積分回路、１０４：輝度値算出回路、１０５：補正特性決定回路、１０６：補正領域算出回路、１０７：補正色算出回路、２０８：画像処理部

Claims (12)

1. 撮影画像から所定の被写体の画像領域を検出する検出手段と、
   前記所定の被写体の画像領域のテカリ領域に対する補正量を生成し、前記生成した補正量を用いて前記テカリ領域にテカリ補正を行う補正手段と、を有し、
   前記補正手段は、連続した撮影で得られた撮影画像について生成する前記補正量が、前記連続した撮影時に前記撮影画像より前に撮影された撮影画像で生成された補正量を超えないようにすることを特徴とする画像処理装置。
2. 前記補正手段は、前記テカリ補正の対象となり得る補正領域を決定する決定手段を有し、
   前記決定手段は、前記連続した撮影で得られた撮影画像について決定した前記補正領域の面積が、前記連続した撮影時に前記撮影画像より前に撮影された撮影画像で決定した補正領域の面積より狭められた場合には、前記面積が狭められた撮影画像より以降の撮影画像に対する補正領域の面積を、前記狭められた面積より広くしないようにすることを特徴とする請求項１に記載の画像処理装置。
3. 前記決定手段は、前記面積が狭められた撮影画像より以降の撮影画像に対する補正領域の面積を、前記狭められた面積で固定することを特徴とする請求項２に記載の画像処理装置。
4. 前記検出手段は、前記所定の被写体を構成する複数の要素を検出し、
   前記決定手段は、前記所定の被写体の画像領域の中に前記補正領域を決定する際、前記要素の検出結果に応じて前記補正領域の面積を決定することを特徴とする請求項２又は３に記載の画像処理装置。
5. 撮影画像から所定の被写体の画像領域を検出する検出手段と、
   前記所定の被写体の画像領域のテカリ領域に対する補正量を生成し、前記生成した補正量を用いて前記テカリ領域にテカリ補正を行う補正手段と、を有し、
   前記補正手段は、連続した撮影で得られた一連の各撮影画像について各々生成された補正量のうち最も小さい補正量を用いて、前記一連の全ての撮影画像に対する前記テカリ補正を行うことを特徴とする画像処理装置。
6. 前記補正手段は、前記テカリ補正の対象となり得る補正領域を決定する決定手段を有し、
   前記決定手段は、前記一連の各撮影画像について各々決定された前記補正領域の面積のなかで最も面積が狭い補正領域を、前記一連の全ての撮影画像に適用する前記補正領域の面積とすることを特徴とする請求項５に記載の画像処理装置。
7. 前記検出手段は、前記所定の被写体の画像領域の特徴量を抽出して、前記抽出した特徴量を基に前記テカリ領域に対する前記補正量を算出することを特徴とする請求項１から６の何れか１項に記載の画像処理装置。
8. 前記検出手段は、前記所定の被写体の画像領域として人の顔の領域を検出する顔検出手段と、前記顔を構成している複数の器官を検出する器官検出手段とを有し、
   前記補正手段は、前記検出された顔と前記器官を基に、前記撮影画像から前記所定の被写体の画像領域として顔領域を抽出し、前記顔領域の中のテカリ領域に対する前記補正量を生成して、前記テカリ領域のテカリ補正を行うことを特徴とする請求項１から７の何れか１項に記載の画像処理装置。
9. 前記補正手段は、前記検出された顔と器官の信頼度を基に前記補正量を算出することを特徴とする請求項８に記載の画像処理装置。
10. 撮影画像から所定の被写体の画像領域を検出する検出工程と、
    前記所定の被写体の画像領域のテカリ領域に対する補正量を生成し、前記生成した補正量を用いて前記テカリ領域にテカリ補正を行う補正工程と、を有し、
    前記補正工程では、連続した撮影で得られた撮影画像について生成する前記補正量が、前記連続した撮影時に前記撮影画像より前に撮影された撮影画像で生成された補正量を超えないようにすることを特徴とする画像処理装置の画像処理方法。
11. 撮影画像から所定の被写体の画像領域を検出する検出工程と、
    前記所定の被写体の画像領域のテカリ領域に対する補正量を生成し、前記生成した補正量を用いて前記テカリ領域にテカリ補正を行う補正工程と、を有し、
    前記補正工程では、連続した撮影で得られた一連の各撮影画像について各々生成された補正量のうち最も小さい補正量を用いて、前記一連の全ての撮影画像に対する前記テカリ補正を行うことを特徴とする画像処理装置の画像処理方法。
12. コンピュータを、請求項１から９の何れか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images