JP2010226485A - 画像加工装置およびデジタルカメラ - Google Patents

Abstract

【課題】笑顔レタッチ処理すべき被写体画像を容易に選び出すこと。
【解決手段】レタッチ機能選択部３３によって笑顔レタッチ機能が選択されたとき、画像自動選択部２５は、メモリ１６ａ内の被写体画像データから笑顔レベルが所定値以下の被写体画像データを自動的に選択し、ディスプレイ４２は、それに該当するサムネイル画像を一覧表示する。ユーザーは、サムネイル画像により選んだ被写体画像に対してレタッチ処理部３１を操作して笑顔レタッチ処理を施す。
【選択図】図１

Description

本発明は、画像を加工するレタッチ機能を有する画像加工装置およびその画像加工装置を備えるデジタルカメラに関する。

従来、カメラ本体で画像の加工ができるレタッチ機能付きのカメラが知られている。レタッチ機能とは、記録媒体に記録され記録媒体から読み出された被写体画像データについて、画像中の被写体の形や色を加工する機能であり、様々な種類がある。その中でも、笑顔レタッチ機能は広く用いられており、笑顔レタッチ機能では、被写体人物の口角や目元にレタッチ処理を行うことによって、通常の顔表情を笑顔に変えたり、笑顔の表情度合いを高くすることができる。

被写体画像の中には、笑顔レタッチ機能を用いるのに適した画像もあれば、風景などのように適さない画像もあり、通常はこれらの画像が混在している。従来は、これらの画像すべてをサムネイル一覧表示して、画面を見ながら笑顔レタッチ機能の対象となる画像を探すことが行われており、このような選択作業は煩雑であるという問題がある。このような問題は、笑顔レタッチ機能に限らず、泣き顔や怒り顔などの他の顔表情を加工するレタッチ機能についても存在するものである。

（１）請求項１の発明による画像加工装置は、被写体画像データと、該被写体画像データ中の被写体人物の顔表情レベルとを記録する記録手段と、記録手段に記録された被写体画像データから所定の顔表情レベルの被写体画像データを選択する画像選択手段と、少なくとも顔表情レタッチ機能を含む複数のレタッチ機能を有し、記録手段に記録された被写体画像データを加工処理するレタッチ処理手段と、複数のレタッチ機能から所定のレタッチ機能を選択するレタッチ機能選択手段と、被写体画像データに基づくサムネイル画像を一覧表示する表示手段と、を備え、画像選択手段は、レタッチ機能選択手段が所定のレタッチ機能として前記顔表情レタッチ機能を選択したとき、記録手段に記録された被写体画像データから顔表情レベルが所定値以下の被写体画像データを選択し、表示手段は、画像選択手段により選択された所定値以下の被写体画像データに基づくサムネイル画像を一覧表示することを特徴とする。

本発明の画像加工装置によれば、顔表情レタッチ機能が選択されたとき、顔表情レベルが所定値以下の被写体画像データが自動的に選択され、それに基づくサムネイル画像が一覧表示されるので、レタッチ処理すべき画像を容易に選び出すことができる。

本発明の実施の形態に係るデジタルカメラの構成を示すブロック図である。 スマイルレタッチ処理のメニューを示すディスプレイ画面の模式図である。

以下、本発明の実施の形態によるデジタルカメラについて、図面を参照しながら説明する。
図１は、本発明の実施の形態によるデジタルカメラの構成を示すブロック図である。
図１に示されるように、デジタルカメラは、撮影レンズ１１、絞り１２、撮像素子１３、バッファメモリ１４および画像処理部１５を備える。また、デジタルカメラは、画像記録部１６、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１７、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１８、バス１９、画像読出し部２０、レタッチ処理部３１、レタッチ機能選択部３３、サムネイル画像選択部３５、表示制御部４１およびディスプレイ４２を備える。

画像処理部１５、画像記録部１６、ＣＰＵ１７、ＲＯＭ１８、画像読出し部２０、レタッチ処理部３１、レタッチ機能選択部３３、サムネイル画像選択部３５および表示制御部４１は、バス１９を介して互いに接続されている。

ＣＰＵ１７は、顔検出部２１、笑顔レベル評価部２３および画像自動選択部２５として機能する。また、ＣＰＵ１７は、撮影手段である撮影レンズ１１、絞り１２、撮像素子１３を制御する。
ＲＯＭ１８は、顔データ記憶部２２、笑顔レベルデータ記憶部２４およびレタッチ機能データ記憶部２６として機能する。

撮影レンズ１１は、ズームレンズやフォーカスレンズを含む複数のレンズで構成され、被写体像を撮像素子１３上に結像する。図１では簡単のため、撮影レンズ１１は１枚のレンズで示されている。撮像素子１３は、撮影レンズ１１からの被写体光Ｌ１を光電変換することにより画像信号を生成する。

撮像素子１３から出力される画像信号は、バッファメモリ１４を介して画像処理部１５に送られ、ここで所定の種々の画像処理が施される。撮影開始前の段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を経てバス１９を介してディスプレイ４２に送られ、スルー画像として表示される。撮影段階では、撮像素子１３からの画像信号は、バッファメモリ１４、画像処理部１５を経てバス１９を介して画像記録部１６にて記録される。

画像記録部１６は、画像データとその画像データに関する属性データ（例えば、笑顔レベル）とを関連付けて不揮発性のメモリ（記憶媒体）１６ａに記録する。画像データには、撮像素子１３からの被写体画像データや、外部機器から画像記録部１６に入力された被写体画像データが含まれる。

画像読出し部２０は、画像記録部１６のメモリ１６ａに記録されている画像データの検索や読出しを行う操作部である。

顔検出部２１は、被写体画像データを入力し、これを顔データ記憶部２２に予め記憶されている顔データと比較することにより、画像中の被写体人物の顔を検出する。被写体人物が複数人の場合は各人の顔を検出する。顔データ記憶部２２は、例えば、眉、眼、鼻、唇の形状に関する特徴点のデータを記憶している。

顔検出には、例えば、特開２００１−１６５７３号公報に開示されている検出手法を用いることができる。この検出手法は、入力画像中から特徴点を抽出して被写体の顔領域、顔の大きさ等を検出するものである。特徴点としては、眉、眼、鼻、唇の各端点、および顔の輪郭点、例えば頭頂点や顎の下端点が挙げられる。

他の顔検出としては、例えば、特開２００５−１５７６７９号公報に開示されている検出手法を用いることができる。この検出手法は、先ず、入力画像中の２画素間の輝度差を特徴量として学習しておき、その特徴量に基づいて入力画像中の所定領域に顔が存在するか否かを示す推定値を算出し、推定値が１以上のときにその所定領域に顔が存在すると判別するものである。

笑顔レベル評価部２３は、顔検出部２１により検出された顔領域の画像の顔表情を笑顔レベルデータ記憶部２４に予め記憶されている笑顔レベルデータと比較することにより、顔領域の画像中の被写体人物の顔表情がいずれの顔表情レベルに対応するかを判定する。笑顔レベル評価部２３は、被写体人物の笑顔レベルに対応する評価信号を出力する。画像記録部１６は、その評価信号に基づき、被写体画像データと、笑顔レベルを表す属性データとを関連付けてメモリ１６ａに保存する。

笑顔レベルデータ記憶部２４は、笑顔レベルとして、微笑、中位の笑い、大笑いという３段階の笑顔レベルを記憶しており、微笑は０〜３０％、中位の笑いは３０〜７０％、大笑いは７０〜１００％と示すように数値化されている。

笑顔の度合いを判定する手法には、例えば、特開２００４−４６５９１号公報に開示されている手法を用いることができる。この判定手法は、入力された部分画像の笑顔について笑顔の度合いの評価を行い、笑顔評価値を算出する。笑顔評価の際は、予め記憶されている笑顔データを参照して眉、瞳孔、唇の各要素の形状の評価ポイントを算出し、各評価ポイントを係数により重み付けした上で合算した値を笑顔評価値としている。

画像自動選択部２５は、メモリ１６ａに保存されている被写体画像データの中から、被写体人物の笑顔レベルが所定値あるいは所定範囲の被写体画像データを自動的に選択する。

レタッチ処理部３１は、マニュアルで被写体画像のレタッチ処理を行う操作部であり、複数種類のレタッチ加工が可能である。ユーザーは、ディスプレイ４２に表示された被写体画像を見ながらレタッチ処理を行うことができる。レタッチ処理の完了時には、レタッチ処理済みとの信号をＣＰＵ１７に入力する。

レタッチ機能には、「スマイル」、「ピントくっきり」、「ソフトフォーカス」、「レトロ」、「パートカラー」、「魚眼」、「放射」、「クロスフィルター」、「トリミング」、「赤目補正」などの様々な種類がある。
スマイルレタッチ機能は、画像中の人物の口角を種々の角度に上げたり、目尻を種々の角度に下げる加工であり、通常の表情を笑顔にしたり、笑顔の度合いを高めることができる。
ピントくっきりレタッチ機能は、ピンボケの画像にシャープネスを与え、ソフトフォーカスレタッチ機能は、画像の周辺部分をぼかして主要被写体を引き立たせ、レトロレタッチ機能は、画像の周辺部分の明るさと解像度を低下させて古いカメラで撮った写真のような効果を与える。

パートカラーレタッチ機能は、主要被写体のみはカラーを残して画像の他の部分はモノクロとする加工であり、魚眼レタッチ機能は、魚眼レンズで撮ったような立体感を強調する加工である。
放射レタッチ機能は、主要被写体の周りの部分を放射状に模様を付ける加工であり、クロスフィルターレタッチ機能は、夜景の中のライトを十字状に光らせる加工である。
トリミングレタッチ機能は、画像の必要な部分だけを切り抜いて別の画像に仕上げる加工であり、赤目レタッチ機能は、フラッシュ撮影で赤目現象が生じた眼の色補正である。

レタッチ機能データ記憶部２６は、このような各種のレタッチ機能データを記憶しており、レタッチ処理部３１による画像加工の際には、レタッチ機能データ記憶部２６から所定のレタッチ機能データが読み出されて使用される。

レタッチ機能選択部３３は、上述した各種のレタッチ機能の中から任意のレタッチ機能をマニュアルで選択するための操作部である。レタッチ機能選択部３３による選択は、１つのレタッチ機能でもよいし、複数のレタッチ機能、例えば、スマイルレタッチ機能とソフトフォーカスレタッチ機能の両方でもよい。

サムネイル画像選択部３５は、ディスプレイ４２に一覧表示されたサムネイル画像の中から所望の画像をマニュアルで選択する操作部である。

表示制御部４１は、ディスプレイ４２による表示を制御する。すなわち、表示制御部４１は、バッファメモリ１４に一時的に記録されている被写体画像の表示、画像記録部１６のメモリ１６ａに保存された被写体画像やサムネイル画像の再生表示を行なう時の表示態様を制御する。また、表示制御部４１は、レタッチ処理部３１によってレタッチ処理が行われた被写体画像データを、レタッチ処理の内容が付加された属性データとともにメモリ１６ａに保存するか否かのメッセージをディスプレイ４２に表示させる。

ディスプレイ４２は、スルー画像の表示やバッファメモリ１４に一時的に記録されている被写体画像、メモリ１６ａに保存された被写体画像やサムネイル画像の表示を行い、また、表示制御部４１の指令により、被写体画像に関連する属性データの表示や上述したメッセージの表示などを行う。

以上のように構成されたデジタルカメラは、次のように動作する。
撮影が行われ、撮像素子１３が被写体画像データを出力すると、顔検出部２１がこの被写体画像データの被写体人物の顔画像を顔データ記録部２２に記憶された顔データと比較して、被写体人物の顔領域を検出する。

笑顔レベル評価部２３は、顔検出部２１により検出された顔領域の画像の笑顔を笑顔レベルデータ記憶部２４に予め記憶されている笑顔レベルデータと比較することにより、顔領域の画像中の被写体人物の笑顔レベルを評価する。笑顔レベル評価部２３が、被写体人物の笑顔レベルを評価すると、その笑顔レベルに対応する評価信号を出力する。画像記録部１６は、その被写体画像データと、評価信号に基づく笑顔レベル値とを関連付けてメモリ１６ａに記録する。

今、メモリ１６ａには、笑顔の被写体画像データが５０枚分存在し、その内訳は、笑顔レベル０〜３０％が１０枚、３０〜７０％が３０枚、７０〜１００％が１０枚であるとする。
レタッチ機能選択部３３によって複数のレタッチ機能の中からスマイルレタッチ機能を選択すると、それに応じて画像自動選択部２５は、笑顔レベルが所定値以下、例えば、所定値を笑顔レベル３０％に設定すれば、笑顔レベル０〜３０％の１０枚の被写体画像データを自動的に選択する。

続いて、ディスプレイ４２は、表示制御部４１の指令により、画像自動選択部２５によって選択された笑顔レベル０〜３０％の１０枚のサムネイル画像の一覧表示を行う。ユーザーは、サムネイル画像選択部３５を操作してこれらのサムネイル画像の中からレタッチ処理したい画像を任意に選択することができる。ユーザーは、選択した画像データに基づく被写体画像をディスプレイ４２に再生表示してスマイルレタッチ処理を行う。

スマイルレタッチ処理は、以下のように行う。
図２は、スマイルレタッチ処理のメニューを模式的に表すディスプレイ画面である。ディスプレイ４２の画面には、スマイルレタッチ処理における２通りのモードが表示されている。

第１のモードは、「口角のみ補正」の表示部１０１、口と口角の傾斜角度（図２では、２５°の表示）の表示部１０２、傾斜角度を変更するための設定ボタン１０３によって実行される。
第２のモードは、「口角と目元の同時補正」の表示部２０１、口と口角の傾斜角度（図２では、表示なし）の表示部２０２、口の傾斜角度設定ボタン２０３、目と目尻の傾斜角度（図２では、表示なし）の表示部２０４、目の傾斜角度設定ボタン２０５によって実行される。

口角の角度修正では、ユーザーは、口の傾斜角度設定ボタン１０３または２０３により、例えば２０〜４０°の範囲で口角を上げる。目元の角度修正では、ユーザーは、目の傾斜角度設定ボタン２０５により、例えば１５〜２０度の範囲で目尻を下げる。このように、傾斜角度の修正量は、画面上でユーザーが任意に設定するが、予め角度のデフォルト値を決めておき、一律にその値を使用するようにしてもよい。なお、口角、目元の角度修正については、例えば、特開平１１−１６７６２６号公報に開示されている手法を用いることができる。

ユーザーは、第１のモードと第２のモードとを択一的に選択することができるが、口角と目元の両方を補正する第２のモードを第１のモードに優先して選択する方がスマイルレタッチ処理の効果は大きくなる。

ユーザーが第１のモード又は第２のモードによるレタッチ処理を終了すると、レタッチ処理完了信号がＣＰＵ１７に入力され、表示制御部４１は、レタッチ処理完了信号に応じて、レタッチ処理が行われた被写体画像データをその属性データとともにメモリ１６ａに保存するか否かのメッセージをディスプレイ４２に表示させる。

ユーザーは、そのメッセージを見ることにより、レタッチ処理済みの被写体画像データの保存の要否を判断する。保存と判断されれば、レタッチ処理済みの被写体画像データはその属性データとともにメモリ１６ａに保存される。なお、レタッチ処理がなされていないオリジナルの被写体画像データは、その属性データとともにそのままメモリ１６ａに保存されている。

再び、レタッチ機能選択部３３によってスマイルレタッチ機能が選択され、それに応じて画像自動選択部２５は、メモリ１６ａに保存されている笑顔レベルが所定値以下の被写体画像データを自動選択する。この自動選択の際には、画像自動選択部２５は、レタッチ処理済みの被写体画像データをその属性データに照らして除外する。これにより、レタッチ処理を施す必要のないサムネイル画像がディスプレイ４２に表示されることはなくなる。

本実施の形態によるデジタルカメラは以下の作用効果を奏する。
（１）笑顔レタッチ機能が選択されたとき、画像自動選択部２５は、笑顔レベルが所定値以下の被写体画像データを自動選択し、ディスプレイ４２は、それに該当するサムネイル画像を一覧表示するので、レタッチ処理すべき画像を容易に選び出すことができる。
（２）画像自動選択部２５は、レタッチ処理済みの被写体画像データを除外して被写体画像データを自動選択するので、レタッチ処理を施す必要のないサムネイル画像を表示する無駄がなくなる。
（３）表示制御部４１は、レタッチ処理が行われた被写体画像データをメモリ１６ａに保存するか否かのメッセージをディスプレイ４２に表示させるので、レタッチ処理済みの被写体画像データを誤って消去するミスを防ぐことができる。

本実施の形態では、スマイルレタッチ機能を１つ選択したが、複数のレタッチ機能、例えば、スマイルレタッチ機能とソフトフォーカスレタッチ機能の両方を選択し、笑顔レベルを上げるとともに笑顔の被写体を引き立たせる２つの効果を狙うこともできる。
また、本実施の形態では、画像自動選択部２５は、笑顔レベルを３０％以下に設定したが、例えば、笑顔レベル２０〜５０％のように下限を設定してもよい。

上述の実施の形態は、笑顔レタッチ機能に関するものであったが、本発明は、笑顔レタッチ機能に限らず、泣き顔レタッチ機能や怒り顔レタッチ機能など笑顔以外の顔表情を加工、修正するレタッチ機能にも適用することができる。
また、上述の実施の形態は、本発明をデジタルカメラに適用したものであったが、本発明は、それに限らず、パソコンやその他の画像加工装置に適用することができる。例えば、図１において一点鎖線で囲んだ構成を有さない画像加工装置、すなわち、撮影手段である撮影レンズ１１、絞り１２、撮像素子１３やバッファメモリ１４、画像処理部１５を有さない画像加工装置に適用することができる。
本発明は、その特徴を損なわない限り、以上説明した実施の形態に何ら限定されない。

１６：画像記録部 １６ａ：メモリ
２３：笑顔レベル評価部 ２４：笑顔レベルデータ記憶部
２５：画像自動選択部 ２６：レタッチ機能データ記憶部
３１：レタッチ処理部 ３３：レタッチ機能選択部
３５：サムネイル画像選択部

Claims (8)

1. 被写体画像データと、該被写体画像データ中の被写体人物の顔表情レベルとを互いに関連付けて記録する記録手段と、
   前記記録手段に記録された前記被写体画像データから所定の顔表情レベルの被写体画像データを選択する画像選択手段と、
   少なくとも顔表情レタッチ機能を含む複数のレタッチ機能を有し、前記記録手段に記録された前記被写体画像データを加工処理するレタッチ処理手段と、
   前記複数のレタッチ機能から所定のレタッチ機能を選択するレタッチ機能選択手段と、
   前記被写体画像データに基づくサムネイル画像を一覧表示する表示手段と、を備え、
   前記画像選択手段は、前記レタッチ機能選択手段が所定のレタッチ機能として前記顔表情レタッチ機能を選択したとき、前記記録手段に記録された前記被写体画像データから前記顔表情レベルが所定値以下の被写体画像データを選択し、
   前記表示手段は、前記画像選択手段により選択された前記所定値以下の被写体画像データに基づくサムネイル画像を一覧表示することを特徴とする画像加工装置。
2. 請求項１に記載の画像加工装置において、
   前記表示手段によって一覧表示されたサムネイル画像から所定の画像を選択するサムネイル選択手段を更に備え、
   前記レタッチ処理手段は、前記サムネイル選択手段によって選択されたサムネイル画像に対応する被写体画像データに対して前記顔表情レタッチ機能によるレタッチ処理を施すことを特徴とする画像加工装置。
3. 請求項２に記載の画像加工装置において、
   前記記録手段は、前記顔表情レタッチ機能によるレタッチ処理が施された前記被写体画像データを記録し、
   前記画像選択手段は、前記記録手段から前記所定の顔表情レベルの被写体画像データを選択する際に、前記顔表情レタッチ機能によるレタッチ処理が施された前記被写体画像データを除外することを特徴とする画像加工装置。
4. 請求項１〜３のいずれか１項に記載の画像加工装置において、
   前記顔表情レベルは笑顔の度合いを表す笑顔レベルであり、
   前記顔表情レタッチ機能は笑顔の度合いを修正する笑顔レタッチ機能であり、
   前記笑顔レタッチ機能は、前記被写体人物の口角の角度を修正する第１のモード及び口角の角度と目元の角度とを共に修正する第２のモードを含み、前記第１モード又は第２モードを選択可能とすることを特徴とする画像加工装置。
5. 請求項４に記載の画像加工装置において、
   前記第２のモードを優先して選択することを特徴とする画像加工装置。
6. 請求項４または５に記載の画像加工装置において、
   前記被写体人物の口角の角度の修正量及び目元の角度の修正量を選択可能とすることを特徴とする画像加工装置。
7. 請求項４〜６のいずれか１項に記載の画像加工装置において、
   前記表示手段は、前記加工済みの前記被写体画像データに基づく再生画像を表示するとともに、前記加工済みの前記被写体画像データを保存するか否かのメッセージを表示することを特徴とする画像加工装置。
8. 請求項１〜７のいずれか１項に記載の画像加工装置を備えるデジタルカメラ。

Images