JP2007312206A - 撮像装置及び、画像再生装置 - Google Patents

Abstract

【課題】 撮像装置によって撮影された撮影画像の赤目を補正する際、効果的・効率的に処理を行うこと。
【解決手段】 撮像装置によって撮影された撮影画像を生成・表示することが可能な画像再生装置において、顔検出結果の顔の大きさ情報と、焦点距離情報から、被写体の距離を推定する被写体距離推定手段と、撮影時の感度情報とガイドナンバーからフラッシュ到達距離を推定するFlash到達距離推定手段と、前記被写体推定距離とフラッシュ到達推定距離から、赤目補正を行うか否かを決定する赤目補正決定手段を有し、前記結果に基づいて赤目を補正することを特徴とする赤目補正方法を採用する。
【選択図】 図１

Description

本発明は、撮像装置によって撮影された撮影画像を記録することが可能な撮像装置または、前記撮影された画像を表示することが可能な画像再生装置に関する。更に、デジタルカメラの画像を撮影時または再生時に赤目補正を行う際に、より効果的・効率的に処理を行うことを可能にさせる赤目補正方法に関する。

従来の撮像装置における赤目補正方法としては、肌色領域などから顔領域を推定し、顔領域の中から赤色成分をみて赤目部分であるかどうかを判定して、赤目であると判定された領域に対して、輝度や彩度を可変させるという方法が知られている。

例えば赤目検出方法としては、「特許文献１」では、“低彩度領域および肌色領域を抽出して、さらに赤色領域を抽出して、肌色領域と赤色領域の情報を元に赤目判断する”とある。

さらに、最近のデジタルカメラにおいては、撮影情報を画像データにExif情報として添付し、画像再生時や画像補正を行う際に、Exif情報をもとにして赤目補正を行う方法も提案されている。

例えば「特許文献２」には、「光学的に撮影した画像に撮影情報を付加し、この撮影情報を用いて赤目が発生している可能性を判定し、赤目が発生している可能性がある場合のみ、この画像を赤目補正処理に供することを特徴とする赤目補正方法であり、撮影情報は、ストロボ情報、Ｅｖ値、シャッター速度、絞り値、撮影モード、カメラ機種、レンズ情報、被写体距離、撮影時刻およびその他のＥｘｉｆ情報の少なくとも１つである。」とある。

さらに「特許文献３」には、
「顔検出結果の信頼度に応じて、前記顔領域の赤目補正の補正強度を決定する。」とあり、顔検出の信頼度の結果に応じて赤目補正パラメータを可変させる方法が提案されている。
特開平６−２５８７３２号公報 特開２００４−１４５２８７号公報 特開２００5−２８６８３０号公報

しかしながら、「特開平６−２５８７３２」の方法では、顔領域内であってかつ赤色領域を指定しているだけであり、たとえば赤い口紅を塗った唇領域など誤補正してしまうなど、補正精度が高くないという問題点があった。

また、「特開２００４−１４５２８７」においては、赤目を起こしている確率を推定することは可能ではあるものの、図9に示すように画像領域内で遠くの被写体と近くの被写体の両方がいる場合など、複数の被写体がいた場合には、撮影情報だけでは被写体ごとに赤目判定することができないという問題点があった。

また「特開２００5−２８６８３０」においては、たまたま顔領域に髪の毛がかかっていたりして信頼度が下がった場合に補正結果が変わってしまったり、赤目である可能性を直接推定しているわけではないため、信頼度の高い顔領域の唇などの赤領域を補正してしまうため、より赤目である可能性を判定する判定性能を向上する必要である、という問題点があった。

本発明は上記問題点を鑑みてなされたものであり、撮像装置で撮影された画像に対して、赤目補正を行う際に、より高精度・高効率に赤目を補正することを目的とする。

撮影画像を生成・表示することが可能な撮像装置において、撮影された画像から人の顔を検出する顔検出手段と、前記検出された顔検出結果から被写体の距離を推定する被写体距離推定手段と、フラッシュ到達距離を推定する到達距離推定手段と、前記被写体推定距離とフラッシュ到達推定距離から、赤目補正のためのパラメータを決定する赤目補正パラメータ決定手段を有し、前記赤目補正パラメータ決定手段の結果に基づいて赤目補正を行い記録することを特徴とする撮像装置である。

また、前記被写体距離推定手段は、前記顔検出結果から取得された顔の大きさ情報または撮影された際の焦点距離情報またはその両方の情報から、被写体距離を推定することを特徴とする。

また、到達距離推定手段は、撮影時の感度、レンズ絞り値、フラッシュ発光量のいずれかおよびその組み合わせから推定することを特徴とする。

またこれらの手法は、撮像装置が撮影時に行っても良いし、画像再生時に行っても良い。撮影時に行った場合には、結果がすぐに確認することができ、うまく補正できなかった場合には、容易に再撮影が可能であるという長所がある。また再生時に補正する場合には、は補正結果が思わしくない場合には他の手段を用いて補正することが可能である。

上記構成を撮ることにより、赤目補正を行う際に、顔検出結果の顔検出結果の顔の大きさ情報と焦点距離情報から被写体の距離を推定し、かつ撮影時の感度情報とフラッシュ発光量からフラッシュ到達距離を推定し、その両方の結果に応じた赤目補正パラメータを決定することで、被写体ごとのより高精度・高効率に赤目を補正することが可能となる。

次に、本発明の詳細を実施例の記述に従って説明する。

（発明の第1の実施形態）
以下、本発明における第１の実施例のについて説明する。

図1は本実施例の構成を示した図である。

ユーザによりユーザインターフェース111を介して撮影指示があると、システムコントローラ112は、鏡筒装置101のレンズ位置や絞り・メカシャッターとCCDなどのセンサーである撮像装置102、さらにフラッシュ撮影を行う際の発光装置105を制御して撮影を行う。撮影がなされると、撮像素子102から信号が出力され、バッファメモリ103に蓄えられる。その後、信号処理回路104によって画像生成用の信号処理がなされてYUV画像が生成される。

ユーザインターフェース111等によって、赤目補正をするように指示されたり、自動で赤目補正を行うように設定されたりしていた場合、バッファメモリ103に蓄えられたYUVまたはCCD画像データは、顔位置検出回路120によって顔位置を検出され画像中の座標位置や顔の大きさ・さらには目の位置や目の大きさを算出し座標値を出力する。

つぎに被写体距離推定手段１２１は、前記出力された顔サイズと、システムコントローラから取得した焦点距離情報やズーム倍率情報などから顔領域ごとに被写体推定距離を算出する。

一方、ストロボ到達距離推定手段１２２は、発光装置105がストロボを発光した光量と撮影した際の絞り値（F値）および感度設定により、ストロボがどの程度到達しているかの距離を推定する。

前記赤目補正パラメータ決定手段１２３は、被写体距離推定手段１２１にて算出された被写体推定距離とストロボ到達距離推定手段122にて算出されたストロボ到達推定距離を元に顔領域ごとに赤目補正パラメータを決定する。前記決定された赤目補正パラメータを用いて、赤目補正手段124はバッファメモリ103からYUV画像を取得して対象領域の赤目補正を行って再度バッファメモリ103へ出力する。

上記生成された画像は、画像記録が行われる場合には、前記バッファメモリ内の画像は圧縮・伸長回路106に送られてJPEGファイルとして画像圧縮され、記録・読み出し装置107によって記録媒体108に記録される。

前記バッファメモリ103に蓄えられたYUV生成画像はD/A装置により信号を変換され、モニタ装置109に表示される。

次に被写体距離推定手段１２１における焦点距離・顔サイズから被写体距離推定方法について説明を行う。

一般的に焦点距離と画角の関係には、CCD有効領域のセンサーサイズをx [mm]、焦点距離をｆ[mm]とすると、水平方向の画角θは
θ＝ 2×（180/π）× ArcTan(x/2f)
という関係が成り立つ。

例えば35mmフィルムで計算すると、対角長は、43ｍｍとなり、焦点距離35mmのレンズでは、
θ＝ 2×（180/π）× ArcTan(43/2×35)＝ 約63度
と計算できる。

また一般的なコンパクトデジタルカメラの撮像装置である1/2.5インチのセンサーでは、画像センサーの対角長が7.15mmであり、焦点距離が5.8mmのレンズを使用したとすると、
θ＝ 2×（180/π）× ArcTan(3.2/14)＝約63度
となり、35mmフィルム換算でほぼ、焦点距離35ミリ相当の画角となる。

つまり、標準的な人の顔のサイズを仮定したとすると、光学系における面内に占める角度と被写体距離の関係が計算可能である。例えば、人の顔サイズのうち、長辺の平均が250mmであったと仮定すると被写体距離と画角の関係は図7のように計算できるる。これを４Mセンサーで、縦横サイズは2272ｘ1704、対角サイズは2840pixel相当であるとした場合、ピクセル数と被写体距離の関係は図8に示した表のようになる。

もちろん、焦点距離（ズーム倍率）が変化しても、同様にして顔サイズと被写体推定距離を算出することができ、焦点距離と顔サイズから被写体距離は算出することが可能である。

また、今回はほぼ大人の場合の顔サイズを算出したが、「特開２００４−２２２１１８」で開示されているように、顔検出手段がおおよその年齢が推定することが可能であれば、例えば赤ちゃんの場合、150mm、子供の場合200mm、大人は250mmというように年齢に応じて顔サイズを変更することで、より高精度に被写体距離を推定することが可能となる。また顔判別結果が欧米系・アジア系など人種を出力することができれば、それに応じて平均的な顔サイズを当てはめることで高精度の被写体距離を推定することが可能である。

本実施例では顔の大きさを矩形に当てはめその長辺を顔サイズとしたが、その他の方法としては顔領域の面積情報や顔判別領域の左上と右下の座標値や画像全体に対する相対座標などであってもよい。

またそのほかの方法としては、あらかじめ顔サイズと被写体距離との関係を取得しておきテーブルとしてカメラ内にて保持し、そのテーブルに応じて算出しても良い。

次にストロボ到達距離推定手段１２２における、ストロボ到達推定距離の算出方法について説明をする。

一般的に、ストロボの最大発光量であるガイドナンバー（GN）とストロボ到達距離の間には下記の関係が成り立つ。

到達距離＝GN/(F値×√（ISO感度設定値／100）)
撮影時にシステムコントローラ112が制御した発光量がGN換算でどの程度の発光を行ったかを上式に照らし合わせることで、ストロボ到達距離が推定することが可能である。また、ストロボ発光量は発光時間で制御されるため、撮影されたフラッシュのガイドナンバーと発光時間から実際の発光量が計算可能であるし、ストロボ到達距離と発光量との関係をあらかじめ取得しておくことでストロボ到達距離を推定することも可能である。

もちろん、発光時間の発光量をあらかじめ測定しておきテーブル化しておいても良いことはいうまでもない。

次に赤目補正パラメータ決定手段１２３における赤目補正パラメータを決定方法について説明を行う。

前述した方法で取得されたストロボ到達距離と被写体推定距離の関係から、下記のとおり赤目補正パラメータを決定する。

例えば、ある2つの閾値α、βとすると、
ストロボ到達距離 − 被写体推定距離＞α場合、強めの補正強度
α ＞ ストロボ到達距離 − 被写体推定距離＞β場合、弱めの補正強度
β ＞ストロボ到達距離 − 被写体推定距離 場合、補正を行わない
とすることで被写体ごとに最適な赤目補正を行うことが可能である。

つぎに、顔検出方法について説明を行う。

顔検出方法は、一般的にニューラルネットワークに代表される学習を用いた方法、目や鼻といった物理的な形状の特徴のある部位を画像領域からテンプレートマッチングを用いた手法、肌の色や目の形といった画像特徴量を検出し統計的解析を用いた手法など、多数提案されており、一般的にはそれらの方法複数組み合わせて顔認識するのが一般的である。

現在製品として提案されているものとしては、ウェーブレット変換と画像特徴量を利用して顔検出する方法などや、テンプレートマッチング等を組み合わせた方法やその他、多数の顔検出方法が提案されている。

ここでは、色情報と目の物理的な形状の特徴のある部位を画像領域からテンプレートマッチングを用いた手法について、簡単に説明を行う。

図6は顔検出された様子を示した図であり、顔領域と目の領域がモニタ装置上に表示されている様子を示した図である。

図４は本実施例の顔検出方法を説明したステップチャートである。また、図３は本実施例における顔検出方法の説明した図である。図３において顔検出する対象画像を図３aとする。ステップS101は肌色領域抽出であり、肌色の領域を抽出する。図２はCIELABのLab色空間における代表色を示した色度図であり、その中の楕円は、肌色である可能性が高い領域である。図３bは、前記肌色領域の色度である領域を画像中から抽出したものを示した図である。ステップS102で、前記画像に対してハイパスフィルタを適応する。図３cはハイパスフィルタを適応した画像である。図5は２次元ハイパスフィルタの一例を示した係数である。

ステップS103では、テンプレートマッチングを行い画像中における目の検出を行う。

ステップS104では、前記目の領域の位置関係から顔認識を行い、方向・大きさ等の特徴量抽出を行った例である。

次に赤目補正手段124における赤目補正方法についての説明を行う。

詳細は「特開平06-258732」や「特登録02634511」に詳細に記述されているので詳細な説明は省くが、以下に本実施例における赤目補正手法の説明を行う。

図１０は赤目補正部分のブロック図である。画像バッファ１０３から画像を取得し、赤目検出手段125によって赤目位置の検出を行い、赤目補正手段126では赤目補正を行う。

図１１は赤目検出手段１２５で行う赤目検出方法のおおまかな流れを示したフローチャートである。図１１において、S110では赤色領域を抽出し、S120では抽出された領域の形状から赤目であるか否かを判断する。S130では周辺の画像特徴量をみて赤目であるか否かを判断して、残ったものを赤目であると確定する。

図１２はS110赤色領域抽出方法の詳細を示したフローチャートである。

S111で対象画素を設定し、S112で対象画素周辺のYUVデータから、例えば100×100PixelのVの平均値AveVを求める。S113ではその平均値と対象がそのV値差分DiffVを算出する。S114でDiffVと閾値Th_Vとを比較して、閾値以上である場合には、赤色領域として判定し画像中にマーキングする。この処理を赤目検出領域全域において行う。

ここでDiffVの閾値を大きくすると赤色が強く発色している赤目のみが検出され、逆にDiffVを小さくすることで弱い赤色の部分も検出することが可能となるが、その反面誤補正の可能性も高くなる。

図1３はS120における赤色領域形状判定を行うフローチャートである。S121では図12のS115でマーキングされた赤色領域を探索して、赤色領域の塊を特定する。形状判定する手法としては、二値化画像における形状検出方法として、例えば画像を左上から順次探索し、マーキング箇所が見つかったところからマーキング領域の外側を順次探索を行うような手法などが一般的に知られている。

S122は、S121で探索された形状から赤目であるか否かの判定を行う。例えば、領域の周囲調L、面積Sとすると、円形度F＝４πS/（L×L）と算出できる。円形度とはどの程度円状に近いかを示したもので、赤目である場合においては円形である可能性が高く、閾値F_th以下の場合は、赤目候補から除外するなどとしてもよい。この閾値F_Thも赤目検索強度が可変でき、高くすると強い赤目のみが検索され、低くすると赤目でないものも検出するようになる。また円形度以外にも画像に対する大きさや長辺短辺の長さなどで判定してもよい。

S130の周辺領域探索では、赤目領域の周辺を探索する。例えば、周囲の彩度・色相・明度をみて、赤目である場合は、赤目の近傍は白目があり、その外側には肌色領域が広がっていると推測可能である。例えば赤目領域の近傍には、肌色や髪の毛があると想定され、そのようなものが近傍にあるものを赤目であると判定する。もちろんこれらの判定においても、赤目検出パラメータ123で設定されたパラメータを用い、検出強度を可変することが可能であることはいうまでもない。

ここで赤目であると検出されたものの座標値を保存しておき、赤目補正手段126に送信する。

つぎに赤目補正手段126での補正方法について説明をする。これも多くの方法が提案されているため、簡単な手法のみ説明する。

図14は、本実施例における赤目補正方法の流れを示したフローチャートである。

本実施例における赤目補正方法は、赤目領域の彩度のゲインダウンと輝度値を下げることで行う。

S141は彩度を算出する。例えばYUV信号のうちUとVの絶対値和や二乗和が彩度に相当する。

Sat=｜U｜+｜V｜
次にS142は、彩度にあわせて彩度ゲインダウン量を決定する。図15はSatに対するゲインダウン量の関係の例を示した図である。

S143はS142で求められたゲインダウン量を用いてゲインダウンを行う。

U´＝A×U
V´＝A×V
Aが1以下の値であれば彩度を低下させることができる。

また同様にして、S144では彩度を見て輝度値のゲインダウン量を決定する。これも同様にあらかじめパラメータを設定しておきゲインダウン量を決定しておけばよい。図16は彩度と輝度ゲインダウン量Bの関係の例を示した図である。

S145はS144で決定されたゲインダウン量Bを用いてゲインダウンを行う。

Y´＝B×Y
上式によって彩度が高いところほどゲインダウンすることで自然な赤目補正が可能である。

それ以外にも円形の中心からの距離や輝度値をみて、彩度ゲインダウン量が輝度のゲインダウン量を決定してもよい。

また、彩度・輝度のゲインダウンさせる量が大きいほど補正効果が強く、少ないと補正効果が弱くなる。これらのパラメータも赤目補正パラメータ決定手段１２３によって決定される。

また、本実施例において、画像に対して画像特徴量を元に赤目領域を検出したが、バッファメモリ103上の画像に対して顔位置検出手段１２０の顔検出結果を用い、瞳領域を特定してその領域に対してのみ赤目補正を行っても良い。

また、本実施例においては、撮影された画像がバッファメモリ103上に蓄えられ、その画像に対して同時に顔位置の検出を行ったが、ポストビュー時など記録された画像に対して赤目補正を行ってもよい。

その場合、図１における記録・読み出し装置107によって記録媒体108に記録されされた画像を読み出し、圧縮・伸長回路106に送られて画像伸長され、バッファメモリ103にYUVデータとして蓄えられる。また前記画像が撮影された際、撮影時の感度・Flash発光量・絞り値などの撮影情報はヘッダに記録されているExif情報などから取得してくることが可能である。さらに撮影時情報と同様に、撮影時にあらかじめ顔位置を検出及びその情報が保存して合った場合、顔検出回路120は画像解析を行う代わりに記載されている顔検出位置情報を読み取ることでより簡略化することが可能である。これらの顔情報はJPEGの画像と共にExifなどに記載されていても良いし、別途に記憶媒体等に記録保存されていてもよいし撮像装置内に記憶されてあってもよい。

もちろん、撮影時に顔検出がなされていない画像に対しては、再生時に顔検出を行っても良いことはいうまでもない。

本発明の第1実施例における撮像処理装置。 CIELab色空間における代表的な色度図。 第1実施例における顔認識方法説明図。 第1実施例における顔検出方法ステップチャート。 第1実施例におけるハイパスフィルタの例。 第1実施例における顔検出結果。 第1実施例における顔サイズの画角と被写体距離の関係。 第1実施例における顔サイズにおけるピクセル数と被写体距離の関係。 遠近両方で複数人顔検出した例。 第1実施例における赤目補正ブロック図。 第1実施例における赤目検出フローチャート。 第1実施例における赤目領域抽出フローチャート。 第1実施例における赤目領域抽出フローチャート。 第1実施例における赤目補正フローチャート。 第1実施例における彩度と彩度ゲインダウンの関係。 第1実施例における彩度と輝度ゲインダウンの関係。

符号の説明

１０１ 鏡筒装置
１０２ 撮像装置
１０３ バッファメモリ
１０４ 信号処理手段
１０５ 発光装置
１０６ 圧縮・伸張手段
１０７ 記録・読み込み装置
１０８ 記録媒体
１０９ モニタ表示装置
１１１ ユーザインターフェース
１１２ システムコントローラ
１２０ 顔位置検出手段
１２１ 被写体距離推定手段
１２２ ストロボ到達距離推定手段
１２３ 赤目補正パラメータ決定手段
１２４ 赤目補正手段

Claims (6)

1. 撮影画像を生成・表示することが可能な撮像装置において、撮影された画像から人の顔を検出する顔検出手段と、前記検出された顔検出結果から被写体の距離を推定する被写体距離推定手段と、フラッシュ到達距離を推定する到達距離推定手段と、前記被写体推定距離とフラッシュ到達推定距離から、赤目補正のためのパラメータを決定する赤目補正パラメータ決定手段を有し、前記赤目補正パラメータ決定手段の結果に基づいて赤目補正を行い記録することを特徴とする撮像装置。
2. 前記被写体距離推定手段は、前記顔検出結果から取得された顔の大きさ情報または撮影された際の焦点距離情報またはその両方の情報から、被写体距離を推定することを特徴とする請求項1に記載の撮像装置。
3. 前記到達距離推定手段は、撮影時の感度、レンズ絞り値、フラッシュ発光量のいずれかおよびその組み合わせから推定することを特徴とする請求項1又は、請求項2に記載の撮像装置。
4. 撮像装置によって撮影された撮影画像を生成・表示することが可能な画像再生装置において、撮影された画像から人の顔を検出する顔検出手段と、前記検出された顔検出結果から被写体の距離を推定する被写体距離推定手段と、フラッシュ到達距離を推定する到達距離推定手段と、前記被写体推定距離とフラッシュ到達推定距離から、赤目補正のためのパラメータを決定する赤目補正パラメータ決定手段を有し、前記赤目補正パラメータ決定手段の結果に基づいて赤目補正を行うことを特徴とする画像再生装置。
5. 前記被写体距離推定手段は、前記顔検出結果から取得された顔の大きさ情報または撮影された際の焦点距離情報またはその両方の情報から、被写体距離を推定することを特徴とする請求項第4に記載の画像再生装置。
6. 到達距離推定手段は、撮影時の感度情報、レンズ絞り値、フラッシュ発光量のいずれかおよびその組み合わせから推定することを特徴とする請求項４又は、請求項５に記載の画像再生装置。

Images