JP2011049988A - 画像処理装置およびカメラ - Google Patents

Abstract

【課題】画像の観察者に通常の画像と異なる印象を与える画像処理装置を提供する。
【解決手段】画像処理装置１は、画像に含まれる顔領域を検出する顔検出手段２０と、顔領域に含まれる目を検出する目検出手段２０と、顔領域における目の位置、および目における瞳の位置に基づいて視線方向を検出する方向検出手段２０と、視線方向および顔領域の大きさに基づいて画質変更範囲を決定する決定手段２０と、画質変更範囲に対して所定の画質変更処理を施す画質変更手段１４と、を備える。
【選択図】図１

Description

本発明は、画像処理装置およびカメラに関する。

画像の顔領域を検出し、該顔領域に対して選択的に高画質化の画像処理を施す技術が知られている（特許文献１参照）。

特開２００５−６３４０６号公報

従来技術では、顔以外の領域に対して画像処理を施すことができなかった。

本発明による画像処理装置は、画像に含まれる顔領域を検出する顔検出手段と、顔領域に含まれる目を検出する目検出手段と、顔領域における目の位置、および目における瞳の位置に基づいて視線方向を検出する方向検出手段と、視線方向および顔領域の大きさに基づいて画質変更範囲を決定する決定手段と、画質変更範囲に対して所定の画質変更処理を施す画質変更手段と、を備えることを特徴とする。

本発明によれば、画像の観察者に通常の画像と異なる印象を与えることができる。

本発明の一実施の形態による電子カメラを例示するブロック図である。 被写体人物の視線を例示する図である。 視線が上方を向いている場合に視線方向に基づいて決定した領域を例示する図である。 視線方向に基づいて領域を決定した他の例を示す図である。 被写体人物の視線の他の例を示す図である。 視線が下方を向いている場合に視線方向に基づいて決定した領域を例示する図である。 視線方向に基づいて領域を決定した他の例を示す図である。 ＣＰＵが行う処理の流れを例示するフローチャートである。 コンピュータ装置を例示する図である。

以下、図面を参照して本発明を実施するための形態について説明する。図１は、本発明の一実施の形態による電子カメラ１の構成を例示するブロック図である。図１において、電子カメラ１は、撮影光学系１１と、撮像素子１２と、ＡＦＥ(Analog front end)回路１３と、画像処理回路１４と、タイミングジェネレータ(TG)１５と、ＬＣＤモニタ１７と、バッファメモリ１８と、フラッシュメモリ１９と、ＣＰＵ２０と、メモリカードインターフェース(I/F)２１と、操作部材２２とを備える。

ＣＰＵ２０、バッファメモリ１８、フラッシュメモリ１９、メモリカードインターフェース２１、画像処理回路１４、およびＬＣＤモニタ１７は、それぞれがバス１６を介して接続されている。

撮影光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子１２の受光面に結像させる。なお、図１を簡単にするため、撮影光学系１１を単レンズとして図示している。

ＴＧ１５は、ＣＰＵ２０から送出される指示に応じて所定のタイミング信号を発生し、撮像素子１２、ＡＦＥ回路１３、画像処理回路１４へそれぞれのタイミング信号を供給する。供給されたタイミング信号によって撮像素子１２等が駆動制御されることにより、撮像素子１２による撮像タイミングや撮像素子１２からのアナログ画像信号の読出しタイミングが制御される。

撮像素子１２は、撮影光学系１１によって結像された被写体像を光電変換してアナログ画像信号を生成する。アナログ画像信号は、ＡＦＥ回路１３に入力される。本実施形態の撮像素子１２は、たとえば、画素に対応する複数の電荷蓄積型の光電変換素子を備えたＣＭＯＳイメージセンサによって構成される。

ＡＦＥ回路１３は、アナログ画像信号に対して相関二重サンプリングやゲイン調整などのアナログ処理を行うとともに、アナログ処理後の画像信号をデジタル画像データに変換する。デジタル画像データは画像処理回路１４に入力される。画像処理回路１４は、デジタル画像データに対して各種の画像処理（階調変換処理、ホワイトバランス調整処理、画像圧縮処理、画像伸張処理、後述する画質変更処理など）を施す。

ＬＣＤモニタ１７は液晶パネルによって構成され、ＣＰＵ２０からの指示に応じて画像や操作メニュー画面などを表示する。ＬＣＤモニタ１７の表示面上にはタッチ操作部材（不図示）が積層されている。タッチ操作部材は、ユーザーによってタッチ操作された場合に操作部材上（すなわち液晶モニタ１７の表示画面上）のタッチ位置を示す信号を発生し、ＣＰＵ２０へ送出する。

バッファメモリ１８は、画像処理回路１４によって画像処理される前、画像処理中、画像処理された後のデジタル画像データを一時的に記憶する。フラッシュメモリ１９は、ＣＰＵ２０に実行させるプログラムを記憶する。

ＣＰＵ２０は、フラッシュメモリ１９に記憶されているプログラムを実行することにより、電子カメラ１が行う動作を制御する。ＣＰＵ２０は、ＡＦ（オートフォーカス）動作制御や、自動露出（ＡＥ）演算も行う。ＡＦ動作は、たとえば、ライブビュー画像のコントラスト情報に基づいてフォーカシングレンズ（不図示）の合焦位置を求めるコントラスト検出方式を用いる。ライブビュー画像は、撮影指示前に撮像素子１２によって所定の時間間隔（たとえば６０フレーム／毎秒＝６０fps）で繰り返し取得されるモニタ用画像のことをいう。ライブビュー画像はスルー画像とも呼ばれる。

メモリカードインターフェース２１はコネクタ（不図示）を有し、該コネクタにメモリカードなどの記憶媒体５１が接続される。メモリカードインターフェース２１は、接続された記憶媒体５１に対するデータの書き込みや、記憶媒体５１からのデータの読込みを行う。記憶媒体５１は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。

操作部材２２は、レリーズボタン、ズームスイッチやメニュースイッチなどを含む。操作部材２２は、各操作に応じた操作信号をＣＰＵ２０へ送出する。

電子カメラ１のＣＰＵ２０は、撮影モード時に上述したライブビュー画像をＬＣＤモニタ１７に表示させて、撮影待機状態にする（撮影モード）。この状態でレリーズスイッチが操作されると、撮影処理を行って撮影画像のファイルを記憶媒体５１に記録する。

一方、ＣＰＵ２０は、再生モードへの切り替えを指示する信号が操作部材２２から入力されると、ライブビュー画像の表示に代えて、記憶媒体５１に記録されているデータに基づく再生画像をＬＣＤモニタ１７に表示させる再生処理を行う（再生モード）。

本実施形態の電子カメラ１は、撮影済みの画像に対して画質変更処理を行うことにより、観察者に通常の撮影画像と異なる印象を与える（見栄え上の効果を引き出す）点に特徴を有するので、以下の説明は、電子カメラ１のＣＰＵ２０が再生モード時に行う処理を中心に説明する。

ＣＰＵ２０は、画像に写る人物の視線方向を検出し、該視線方向に基づいて決定する領域の見栄えをよくするように、当該領域と他の領域との間の画質を異ならせる画質変更処理を行う。図２は、画像に写る被写体人物の視線を例示する図である。ＣＰＵ２０は、「顔」領域に含まれる「目」の位置、および「目」に含まれる白目と瞳の分布に基づいて、公知の視線検出処理を施すことによって被写体人物の視線方向を検出する。図２において、視線方向を矢印によって表している。被写体人物が見ている方向と当該人物の「目」を結ぶ直線が視線に相当する。

図３は、視線が上方を向いている場合に、上記視線方向に基づいて決定した領域を例示する図である。図３において、グレーで示した略円錐形状の領域が決定領域を表す。図３の場合のＣＰＵ２０は、たとえば、決定領域外の画像に対してぼかしを付加する（公知のフィルタ処理を施す）ことにより、決定領域内の画像の画質を決定領域外の画像の画質より高くする。このように決定領域内外で画像のぼかし具合を異ならせるように設定されているＣＰＵ２０は、略円錐形状を太く（すなわち、円錐の断面の円のサイズを大きく）することにより、「目」を含む「顔」領域を略円錐形状に含める。

決定領域の内外で画像の画質をどのように異ならせるかについては、あらかじめメニュー処理において設定されている。たとえば、
［１］決定領域外で画像にぼかしを付加し、決定領域内はぼかしを付加しない。
［２］決定領域内の画像のシャープネスを決定領域外の画像のシャープネスより高める。
［３］決定領域内の画像の彩度を決定領域外の画像の彩度より高める。
［４］決定領域内の画像の明るさより決定領域外の画像の明るさを暗くする。
のうち少なくとも１つの画質変更処理を行うように、設定可能に構成されている。

図４は、視線が上方を向いている場合に、該視線方向に基づいて領域を決定した他の例を示す図である。図４の場合のＣＰＵ２０は、たとえば、決定領域内の画像の明るさに比べて決定領域外の画像の明るさを暗くすることにより、決定領域内の画像を決定領域外の画像より明るくする。決定領域の内外で画像の明るさを異ならせるように設定されているＣＰＵ２０は、略円錐形状を図３の場合より狭く（すなわち、円錐の断面の円のサイズを小さく）することにより、「顔」領域のうち「目」を略円錐形状に含める。

図５は、画像に写る被写体人物の視線の他の例を示す図である。ＣＰＵ２０が「顔」領域に含まれる「目」の位置、および「目」に含まれる白目と瞳の分布に基づいて被写体人物の視線方向を検出する点は、図２の場合と同様である。図５の場合は、視線が下方を向いている点において図２の場合と異なる。一般に、視線が水平または下方を向いている場合は、被写体人物が何らかの物体を注視している可能性が高い。

図６は、視線が下方を向いている場合に、視線方向に基づいて決定した領域を例示する図である。図６において、グレーで示した略円錐形状の領域が決定領域を表す。被写体人物が物体を注視する場合のＣＰＵ２０は、たとえば、決定領域内の画像のシャープネスを決定領域外の画像のシャープネスに比べて高くすることにより、決定領域内の画像の輪郭等を決定領域外の画像の輪郭等よりはっきりさせる。決定領域内外で画像のシャープネスを異ならせるように設定されているＣＰＵ２０は、略円錐形状を太く（すなわち、円錐の断面の円のサイズを大きく）することにより、「目」を含む「顔」領域を略円錐形状に含める。

ＣＰＵ２０はさらに、略円錐形状に含まれる画像データを対象に、公知の被写体認識処理を施して対象物を探す。対象物が検出された場合は、検出した対象物を含むように略円錐形状を変更し、変更後の略円錐形状の内外で上記シャープネスを異ならせる。

図７は、視線が下方を向いている場合に、視線方向に基づいて領域を決定した他の例を示す図である。図７の場合のＣＰＵ２０は、たとえば、決定領域内の画像の明るさに比べて決定領域外の画像の明るさを暗くすることにより、決定領域内の画像を決定領域外の画像より明るくする。決定領域の内外で画像の明るさを異ならせるように設定されているＣＰＵ２０は、略円錐形状を図６の場合より狭く（すなわち、円錐の断面の円のサイズを小さく）することにより、「顔」領域のうち「目」を略円錐形状に含める。

ＣＰＵ２０はさらに、略円錐形状に含まれる画像データを対象に、公知の被写体認識処理を施して対象物を探す。対象物が検出された場合は、検出した対象物を含むように略円錐形状を変更し、変更後の略円錐形状の内外で上記明るさを異ならせる。

本実施形態では、上記［１］および［２］のうち少なくとも１つの画質変更処理を行うように設定されている場合、上述した略円錐形状を太く（すなわち、円錐の断面の円のサイズを大きく）する。はっきり見せたい領域は広い方が効果が高まるからである。

また、上記［４］の画質変更処理を行うように設定されている場合、上述した略円錐形状を細く（すなわち、円錐の断面の円のサイズを小さく）する。明るく見せたい領域は狭い方が光線の浮き上がる効果が高まるからである。

さらにまた、上記［３］の画質変更処理を行うように設定されている場合、上述した略円錐形状の太さを上記［１］および［２］の場合と上記［４］の場合の中間にする。鮮やかに見せたい領域は、広すぎても狭すぎても不適切だからである。なお、以上説明した略円錐形状の太さはデフォルト値であるので、メニュー操作によって、観察者の好みに応じて適宜変更可能に構成してよい。

ＣＰＵ２０が行う処理の流れについて、図８に例示するフローチャートを参照して説明する。ＣＰＵ２０は、再生モードへの切り替え操作信号が操作部材２２から入力されると、再生表示を行うごとに、図８による処理を行うプログラムを実行する。再生表示は、記憶媒体５１に記録されている画像データに基づく再生画像をＬＣＤモニタ１７に表示させることをいう。

図８のステップＳ１０１において、ＣＰＵ２０は、画質変更内容の設定を行ってステップＳ１０２へ進む。ＣＰＵ２０は、たとえば、あらかじめメニュー処理において設定されている上記［１］〜［４］の画質変更処理を実行するか否かの情報に基づいて、実行すべき処理にフラグをセットする。

ステップＳ１０２において、ＣＰＵ２０は、指定されているファイルの画像データを記録媒体５１から読み出し、読み出した画像内に含まれる人物の「顔」を検出してステップＳ１０３へ進む。顔検出処理は、公知の技術であるため説明を省略する。

ステップＳ１０３において、ＣＰＵ２０は「顔」を検出できたか否かを判定する。ＣＰＵ２０は、ステップＳ１０２において「顔」を検出した場合にステップＳ１０３を肯定判定してステップＳ１０４へ進む。ＣＰＵ２０は、ステップＳ１０２において「顔」を検出していない場合にはステップＳ１０３を否定判定し、図８による処理を終了する。ステップＳ１０３を否定判定する場合は、画質変更処理を行わない。

ステップＳ１０４において、ＣＰＵ２０は、ステップＳ１０２で検出した「顔」領域内に含まれる「目」の位置、および「目」に含まれる白目と瞳の分布に基づいて上述した視線を検出してステップＳ１０５へ進む。視線検出処理は、公知の技術であるため説明を省略する。

ステップＳ１０５において、ＣＰＵ２０は「視線」を検出できたか否かを判定する。ＣＰＵ２０は、ステップＳ１０４において視線を検出した場合にステップＳ１０５を肯定判定してステップＳ１０６へ進む。ＣＰＵ２０は、ステップＳ１０４において視線を検出していない場合にはステップＳ１０５を否定判定し、図８による処理を終了する。ステップＳ１０５を否定判定する場合は、画質変更処理を行わない。

ステップＳ１０６において、ＣＰＵ２０は、検出した視線の方向を決定してステップＳ１０７へ進む。この場合の視線の方向は、「目」から離れる向きである。ステップＳ１０７において、ＣＰＵ２０は、視線方向に基づいて仮想円錐（上述した略円錐形状）を作成・決定してステップＳ１０８へ進む。

ステップＳ１０８において、ＣＰＵ２０は画質変更内容の判定を行う。ＣＰＵ２０は、上記ステップＳ１０１において彩度変更を行うようにセットしている場合は、上記［３］の彩度変更処理を行ってステップＳ１１４へ進む。また、上記ステップＳ１０１において明るさ変更を行うようにセットしている場合のＣＰＵ２０は、上記［４］の明るさ変更処理を行ってステップＳ１１４へ進む。

上記ステップＳ１０１においてシャープネス変更を行うようにセットしている場合のＣＰＵ２０は、上記［２］のシャープネス変更処理を行ってステップＳ１１４へ進む。さらに、上記ステップＳ１０１においてぼかし付加を行うようにセットしている場合のＣＰＵ２０は、上記［１］のぼかし付加処理を行ってステップＳ１１４へ進む。

ステップＳ１１４において、ＣＰＵ２０は、他に画質変更処理を行うか否かを判定する。ＣＰＵ２０は、上記ステップＳ１０１において他の画質変更処理を行うようにセットしている場合はステップＳ１１４を肯定判定してステップＳ１０８へ戻り、上述した処理を繰り返す。一方、ＣＰＵ２０は、他に行うべき画質変更処理が存在しない場合にはステップＳ１１４を否定判定し、図８による処理を終了する。

以上説明した実施形態によれば、次の作用効果が得られる。
（１）電子カメラ１のＣＰＵ２０は、画像に含まれる顔領域を検出し、顔領域に含まれる目を検出し、顔領域における目の位置、および目における瞳の位置に基づいて視線方向を検出し、視線方向および顔領域の大きさに基づいて画質変更範囲を決定する。そして、画像処理回路１４によって画質変更範囲に対して所定の画質変更処理を施すようにしたので、画像の観察者に通常の画像と異なる印象を与えることができる。

（２）ＣＰＵ２０は、視線を含む略円錐形状の領域を画質変更範囲とするようにしたので、視線が電子カメラ１を向いている場合は、上記画質変更範囲は略円形状になる。この場合は、被写体人物の顔領域を含む略円形状の領域の画質が他の領域の画質と変更されるので、被写体人物の顔を含む領域について、見栄え上の効果を引き出すことができる。

（３）上記（２）のＣＰＵ２０は、目で注視されている対象物を特定し、該特定した対象物を略円錐形状に含めるようにしたので、注視されている対象物の画質も変更するから、被写体人物が何を見ているか？を含めて、見栄え上の効果を引き出すことができる。

（４）上記（２）または（３）のＣＰＵ２０は、顔領域の大きさが大きいほど略円錐形状における円のサイズを大きくするので、顔の大きさに応じて画質変更範囲が調節される。これにより、被写体人物の顔を含む領域について、確実に見栄え上の効果を引き出すことができる。

（５）上記（２）〜（４）のいずれかに記載の画像処理回路１４は、画質変更範囲の彩度を高める、画質変更範囲のシャープネスを上げる、画質変更範囲を除く他の範囲の明るさを下げる、および画質変更範囲を除く他の範囲をぼかす、の少なくとも１つを行うので、画像観察者に対して、効果的に見栄え上の効果を引き出すことができる。彩度が高い領域は他の領域に比べて綺麗に観察され、シャープネスが高い領域は他の領域に比べてはっきり観察され、明るい領域は他の領域より明るく観察され、ぼかしてない領域は他の領域にくらべて目立つようになる。

（６）上記（５）の電子カメラ１のＣＰＵ２０は、画像処理回路１４が行う処理の種類に応じて略円錐形状における円のサイズを異ならせるようにしたので、たとえば、視線を強調したい場合や、被写体人物の顔、該人物に注視されている対象物が際立つようにした場合などに、それぞれ画像観察者に対して、効果的に見栄え上の効果を引き出すことができる。

（変形例１）
上記実施形態では、電子カメラ１が上記画質変更処理を再生モード時に行う場合を例に説明したが、撮影モードにおいても画質変更処理を行うように構成してもよい。たとえば、撮影モード時にＬＣＤモニタ１７に表示するライブビュー画像を対象に上記画質変更処理を行う。

（変形例２）
ライブビュー画像を対象に画質変更処理を行う場合は、画像圧縮率に差をつけて略円錐形状の内と外とで画質を異ならせてもよい。具体的には、上記決定領域（略円錐形状）内の画像の圧縮率を決定領域外の画像の圧縮率より低くして、決定領域内の画質を決定領域外の画質より高くする。

（変形例３）
再生モード時において、再生画像について検出した視線方向をスライドショー再生に利用してもよい。具体的には、スライドショー再生時において前コマの再生画像から後コマの再生画像に切り替える際、視線方向へ画像をスクロールさせながら再生画像を切り替える。これにより、観察者に通常のスライドショー再生する場合と異なる印象を与える（見栄え上の効果を引き出す）ことができる。

（変形例４）
画像の中に複数の顔（目）が含まれている場合であって、各々の視線方向に基づいて略円錐形状が複数存在する場合は、同じ方向を向いている略円錐形状を決定領域とする。

（変形例５）
画像の中に複数の顔（目）が含まれている場合であって、各々の視線方向に基づいて略円錐形状が複数存在する場合は、最も面積が大きい略円錐形状を決定領域とする。

（変形例６）
画像の中に複数の顔（目）が含まれている場合であって、各々の視線方向に基づいて略円錐形状が複数存在する場合は、最も大きい「顔」領域に基づく略円錐形状を決定領域とする。

（変形例７）
図８による処理を行う画像処理プログラムを図９に示すコンピュータ装置１００に実行させることにより、画像処理装置を構成してもよい。画像処理プログラムをパーソナルコンピュータ１００に取込んで使用する場合には、パーソナルコンピュータ１００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像の見栄え上の効果を引き出すように画質を変換する画像処理装置として使用する。

パーソナルコンピュータ１００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。通信回線１０１を経由する場合は、通信回線１０１に接続されたサーバー（コンピュータ）１０２のハードディスク装置１０３などにプログラムを格納しておく。画像処理プログラムは、記録媒体１０４や通信回線１０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。

以上の説明はあくまで一例であり、上記の実施形態の構成に何ら限定されるものではない。

１…電子カメラ
１７…ＬＣＤモニタ
１８…バッファメモリ
１９…フラッシュメモリ
２０…ＣＰＵ
２２…操作部材

Claims (7)

1. 画像に含まれる顔領域を検出する顔検出手段と、
   前記顔領域に含まれる目を検出する目検出手段と、
   前記顔領域における前記目の位置、および前記目における瞳の位置に基づいて視線方向を検出する方向検出手段と、
   前記視線方向および前記顔領域の大きさに基づいて画質変更範囲を決定する決定手段と、
   前記画質変更範囲に対して所定の画質変更処理を施す画質変更手段と、
   を備えることを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記決定手段は、前記視線を含む略円錐形状の領域を前記画質変更範囲とすることを特徴とする画像処理装置。
3. 請求項２に記載の画像処理装置において、
   前記決定手段は、前記目で注視されている対象物を特定し、該特定した対象物を前記略円錐形状に含めることを特徴とする画像処理装置。
4. 請求項２または３に記載の画像処理装置において、
   前記決定手段は、前記顔領域の大きさが大きいほど前記略円錐形状における円のサイズを大きくすることを特徴とする画像処理装置。
5. 請求項２〜４のいずれか一項に記載の画像処理装置において、
   前記画質変更手段は、前記画質変更範囲の彩度を高める、前記画質変更範囲のシャープネスを上げる、前記画質変更範囲を除く他の範囲の明るさを下げる、および前記画質変更範囲を除く他の範囲をぼかす、の少なくとも１つを行うことを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記決定手段は、前記画質変更手段が行う処理の種類に応じて前記略円錐形状における円のサイズを異ならせることを特徴とする画像処理装置。
7. 請求項１〜６のいずれか一項に記載の画像処理装置を備えることを特徴とするカメラ。

Images