JP2020018002A - 画像処理装置、端末機器、画像処理方法及び記憶媒体 - Google Patents

Abstract

【課題】人物を撮影する場合にその撮像画像に対して所定の画像処理を確実に施す装置、方法及びプログラムを提供する。【解決手段】制御部は、撮像部により撮像された撮像画像内から人物の顔を検出した場合にはその撮像画像に対して所定の画像処理を施し、人物の顔を検出することができない場合にはその撮像画像に対して所定の画像処理を施す必要があるか否かを判別し、所定の画像処理を施す必要があると判別した場合にその撮像画像に対して所定の画像処理を施す。【選択図】図３

Description

本発明は、画像処理装置、及び画像処理方法に関する。

デジタルスチルカメラやビデオカメラなどの撮像装置には、美肌や美白と呼ばれるように顔を綺麗に写すことが可能な美顔処理機能が備えられているものがある。この美顔処理機能は、人物が写っていないシーンで動作してしまうと、肌色に近い色の箇所がボケたり、白っぽくなったりするため、撮影時に撮像画像（ライブビュー画像）内に人物の顔が写っていることを条件に動作するようにしている。例えば、従来、美顔処理機能として、人物撮影時に被写体（例えば、撮影者）の顔を検出し、この撮像画像に対して露出補正、ソフトフォーカス補正、美肌補正を施すようにした撮像装置が、特許文献１のように提案されている。また、撮像画像内に人物の顔が写っているかを検出し、顔が写っている場合には更にその唇領域を検出して艶処理を施すようにした技術が特許文献２のように提案されている。

特許第５２３９１２６号公報 特開２００９−６５２６９号公報

ところで、自分自身を撮影する自分撮りなどでは、レリーズ操作を行う毎に自身の顔の向きやカメラの位置を変えながら複数枚連続して撮影する場合があるが、このような撮影方法では、例えば、連続撮影の途中において人物の顔がカメラに対して横向きとなって略正面を向いていない状態に変わってしまうと、顔を検出することができなくなるために、横向きの撮像画像に対しては美顔処理が施されないことがあった。その結果、複数枚連続して撮影した画像の中には美顔処理が施された画像と、美顔処理が施されない画像とが混在してしまうことになる。

本発明の課題は、人物を被写体として撮影する場合にその撮像画像に対して所定の画像処理を確実に施すことができるようにすることである。

上述した課題を解決するために本発明は、
撮像画像を取得する画像取得手段と、
前記画像取得手段によって取得された撮像画像内から人物の顔を検出する第１の検出手段と、
撮影指示が連続して行われ、当該撮影指示毎に前記画像取得手段によって撮像画像が取得される連続撮影が継続しているか否かを判別する判別手段と、
前記第１の検出手段によって前記取得された撮像画像内から人物の顔が検出された場合には、前記判別手段によって連続撮影が継続していると判別されている間は、前記取得される各撮像画像に対して、人物の顔に応じた所定の画像処理を施す画像処理手段と、
を備えることを特徴とする画像処理装置である。

本発明によれば、人物を被写体として撮影する場合にその撮像画像に対して所定の画像処理を確実に施すことができる。

画像処理装置として撮像装置に適用した場合を例示したもので、図１は、撮 像装置の基本的な構成要素を示したブロック図。 ライブビュー画像を見ながら撮影者自身を撮影するいわゆる自分撮りが可能 な構成の撮像装置の外観図を示した図。 美顔撮影モードが指定された場合に実行開始される撮像装置の動作（第１実 施形態の特徴的な動作）を説明するためのフローチャート。 図３の動作に続くフローチャート。 美顔撮影モードが指定された場合に実行開始される撮像装置の動作（第２実 施形態の特徴的な動作）を説明するためのフローチャート。 （１）は、図５のステップＢ６を具体的に説明するための図、（２）は、ス テップＢ１０を具体的に説明するための図。 美顔撮影モードが指定された場合に実行開始される撮像装置の動作（第３実 施形態の特徴的な動作）を説明するためのフローチャート。 （１）は、図７のステップＣ６を具体的に説明するための図、（２）は、ス テップＣ１２を具体的に説明するための図。 美顔撮影モードが指定された場合に実行開始される撮像装置の動作（第４実 施形態の特徴的な動作）を説明するためのフローチャート。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。
（第１実施形態）
先ず、図１〜図４を参照して本発明の第１実施形態を説明する。
第１実施形態は、画像処理装置として撮像装置に適用した場合を例示したもので、後で詳細に説明するが、撮影指示操作（レリーズ操作）に応じて撮像された撮像画像（静止画像）を取得して撮影処理を行うことにより撮影画像を生成する場合において、撮像画像に対して撮影処理を行う際に、その撮像画像内から人物の顔を検出することができた場合にはその撮像画像に対して所定の画像処理を施すが、人物の顔を検出することができない場合にはその撮像画像に対して所定の画像処理を施す必要があるか否かを判別し、所定の画像処理を施す必要があると判別した場合にはその撮像画像に対して所定の画像処理を施すべきことを指示するようにしたことを特徴としている。

図１は、撮像装置の基本的な構成要素を示したブロック図である。
この撮像装置は、被写体を高精細に撮影可能な撮像機能、記録保存されている撮影済み画像（記録画像）を任意に読み出して再生する画像再生機能などの基本的な機能の他に、撮像画像（ライブビュー画像）を解析しながら人物の顔を検出する顔検出機能と、撮像画像（ライブビュー画像）に対して美肌や美白と呼ばれる処理を施す美顔処理機能と、を備えたデジタルカメラである。

上述の顔検出機能は、人物の顔の輪郭やその顔を形成するバーツ（目、口、鼻、額など）の形や位置関係などを総合的に判断して人物の顔を認識する機能で、当該撮像装置（カメラ）に対して人物の顔が略正面に向いていれば、その撮像画像（静止画像：ライブビュー画像）内に人物の顔が写っていると判断できるが、当該撮像装置（カメラ）に対して人物の顔が横向き（例えば、真横）であると、その撮像画像（ライブビュー画像）内に人物の顔が写っていると判断できない場合がある。なお、このような顔検出機能は、カメラにおいて一般的に用いられている技術であり、本実施形態ではその周知技術を利用するようにしているため、その具体的な説明については省略するものとする。また、上述の美顔処理機能は、撮像画像（ライブビュー画像）に対して美顔処理を行う機能、つまり、撮像画像内の人物の顔のみを対象とするのではなく、首、腕などの肌色の部分をも対象として、その部分を美肌や美白と呼ばれる加工処理を行う機能である。

そして、本実施形態は、例えば、自分自身を撮影する自分撮り時に、撮影指示操作（レリーズ操作）毎に自身の顔の向きやカメラの位置を変えながら複数枚連続して撮影する連続撮影中において、各撮像画像に対して顔検出を行った結果、撮像画像内から人物の顔を検出することができた場合には、その撮像画像に対して所定の画像処理（美顔処理）を施すようにしているが、カメラに対して自身の顔の向きや位置が変えられることによって人物の顔を検出することができなくなった場合には、その撮像画像に対して所定の画像処理（美顔処理）を施す必要があるか否かを判別し、その処理を施す必要があると判別した場合にその撮像画像に対して美顔処理を施すようにしている。

制御部１は、電源部（二次電池）２からの電力供給によって動作し、記憶部３内に格納されている各種のプログラムに応じてこの撮像装置（デジタルカメラ）の全体動作を制御するもので、この制御部１には図示しないＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部３は、例えば、ＲＯＭ、フラッシュメモリなどを有する構成で、後述する図３及び図４に示した動作手順に応じて本実施形態を実現するためのプログラムや各種のアプリケーションなどが格納されているプログラムメモリ３ａと、フラグなどのデータを一時記憶するワークメモリ３ｂなどを有している。なお、記憶部３は、例えば、撮影済み画像を記憶可能なＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しないが、通信機能を介してネットワークに接続されている状態においては所定のサーバ装置側の記憶領域を含むものであってもよい。なお、ＳＤカードなどの可搬型メモリは、高画質の撮影済み画像（記録画像）を複数記憶するメモリである。

操作部４は、図示省略したが、電源オン／オフを行う電源キー、撮影を指示するレリーズキー、各種の動作モードを指定するモード指定キーなど、各種のキーを備えたもので、制御部１は、このキーの操作に応じて、例えば、電源オン／オフ、撮影処理、モード指定処理などを実行する。なお、モード指定キーは、基本的な動作モードとして、撮影が可能なモード（ＲＥＣモード）と撮影済み画像（記録画像）を再生するモード（ＰＬＡＹモード）とを切り替え指定する他に、ＲＥＣモード内において美顔処理機能を動作させる美顔撮影モードなどを指定可能としている。制御部１は、この操作部４上でのキーの操作に応じて、モード変更処理、撮影処理などを実行する。表示部５は、画像を表示する高精細液晶、有機ＥＬ（Electro Luminescence）などであり、撮像された画像（ライブビュー画像）をリアルタイムに表示するモニタ画面（ライブビュー画面）となったり、撮影済み画像（記録画像）を再生する再生画面となったりする。

撮像部６は、撮像レンズ６ａからの被写体像が図示しない撮像素子（ＣＣＤやＣＭＯＳなど）に結像されることにより被写体を高精細に撮像することが可能なもので、更に、各種のセンサ、アナログ処理部、デジタル処理部を有している。制御部１は、撮影指示操作（レリーズ操作）に応じて、撮像部６から撮像画像を取得して撮影処理を行うことにより撮影画像を生成するようにしている。すなわち、制御部１は、撮像部６によって撮像された画像をＲＡＷ（Ｂａｙｅｒパターン）画像として取得し、このＲＡＷ画像に対して、例えば、データ補間（デモザイク）、カラー変換、ホワイトバランスやシャープネスを調整する現像処理を行うと共に、更に、この現像処理時に所定画像処理として美顔処理も併せて行うことにより撮影画像を生成するようにしている。そして、制御部１は、この生成画像（撮影画像）に対して画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させる。また、美顔処理機能を動作させる美顔撮影モードであって人物の顔が検出されている場合は、上述したようにＲＡＷ画像に限らず、ライブビュー画像に対しても美顔処理を行うようにしている。

図２は、ライブビュー画像を見ながら撮影者自身を撮影するいわゆる自分撮りが可能な構成の撮像装置の外観図を示した図である。
撮像装置を構成する筐体１１は、薄型矩形の表示ブロック１１ａと、この表示ブロック１１ａの周囲を囲む矩形枠状のフレームブロック１１ｂと、表示ブロック１１ａとフレームブロック１１ｂとを連結するレンズブロック１１ｃを有する構成で、表示ブロック１１ａの一端中央部（図示の例では上端中央部）とレンズブロック１１ｃの一端中央部（図示の例では下端中央部）とは、横回転用のヒンジ部（図示省略）を介して横方向に回転可能に取り付けられている。また、フレームブロック１１ｂの両端部内側（図２（１）の例では左右側上部内側）とレンズブロック１１ｃの両端部（図示の例では左右側部）とは、縦回転用のヒンジ部（図示省略）を介して縦方向に回転可能に取り付けられている。

表示ブロック１１ａにはその中央部分に表示部５が配設され、レンズブロック１１ｃの中央部には撮像部６を構成する撮像レンズ６ａが配設されており、上述の横回転用のヒンジ部を介して表示ブロック１１ａをレンズブロック１１ｃに対して１８０°回転させることにより、表示部５及び撮像レンズ６ａを同じ方向に向けたり、逆方向に向けたりすることが可能となっている。なお、表示ブロック１１ａとレンズブロック１１ｃを一体化して本体ブロックとし、フレームブロック１１ｂの両端部内側（図２（１）の例では左右側上部内側）と本体ブロックの両端部（図示の例では左右側部）とが、縦回転用のヒンジ部（図示省略）を介して縦方向に回転可能に取り付けられるようにしてもよい。図２（１）は、通常の撮影のために表示部５及び撮像レンズ６ａを１８０°逆方向に向けた状態において、表示ブロック１１ａに対してフレームブロック１１ｂを閉じた状態、図２（２）は、自分撮りを可能とするために表示部５及び撮像レンズ６ａを同じ方向に向けた状態において、表示ブロック１１ａに対してフレームブロック１１ｂを開いた状態を示している。

次に、第１実施形態における撮像装置（デジタルカメラ）の動作概念を図３及び図４に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。このことは後述する他の実施形態においても同様であり、記録媒体の他に、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。なお、図３及び図４は、撮像装置の全体動作のうち、本実施形態の特徴部分の動作概要を示したフローチャートであり、この図３及び図４のフローから抜けた際には、全体動作のメインフロー（図示省略）に戻る。

図３及び図４は、美顔撮影モードが指定された場合に実行開始される撮像装置の動作（第１実施形態の特徴的な動作）を説明するためのフローチャートである。以下、美顔撮影モードにおいてレリーズ操作毎に自身の顔の向きやカメラの位置を変えながら自分自身を複数枚連続して撮影する連続撮影を行う場合を例にして第１実施形態の特徴的な動作を説明するものとする。
先ず、制御部１は、レリーズ操作が行われたかを調べたり（図３のステップＡ１）、美顔撮影モードを解除する操作が行われたかを調べたりする（ステップＡ２）。いま、美顔撮影モードを解除する操作が行われた場合には（ステップＡ２でＹＥＳ）、図３及び図４のフローから抜けるが、レリーズ操作が行われた場合には（ステップＡ１でＹＥＳ）、撮像部６から撮像画像（ライブビュー画像）を取得する（ステップＡ３）。

そして、取得した撮像画像（ライブビュー画像）を解析することにより人物の顔を検出する処理（ステップＡ４）を行い、撮像画像内から人物の顔を検出することができたか否か（顔が写っているか否か）を調べる（ステップＡ５）。すなわち、人物の目、口、鼻、額などの形や位置関係などを総合的に判断して、撮像画像内に人物の顔が写っているか否かを検出する。

いま、撮像画像内の人物の顔が検出することができなかった場合、例えば、人物の顔が写っていない場合、又は、写っていても人物の顔が略正面（例えば、正面に対して約４５°以内）に向いていない場合には（ステップＡ５でＮＯ）、美顔処理を含まない現像処理を施して撮影画像を生成する（ステップＡ６）。すなわち、撮像部６によって撮像された画像に対して、例えば、データ補間（デモザイク）を行ったり、カラー変換したり、オートホワイトバランスやシャープネスなどを調整したりする現像処理を施して撮影画像を生成する。そして、制御部１は、この生成画像（撮影画像）に対して画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させる（ステップＡ７）。その後、上述のステップＡ１に戻る。

一方、撮像画像内の人物の顔を検出した場合には（ステップＡ５でＹＥＳ）、次のステップＡ８に移り、美顔処理を含む現像処理を施して撮影画像を生成する。すなわち、撮像画像に対して上述の現像処理と共に所定の画像処理として美顔処理を施すようにするが、美顔処理としては、例えば、人物の顔に限らず、首、腕などの肌色の部分を対象として、画像の露出を補正したり、彩度、明度を補正する処理を行うことによって肌を白くしたり、ソフトフォーカスなどを行うことによって皺、肌荒れ、シミが目立ちにくくしたりする画像処理を施すが、検出した顔の領域内のみに美顔処理を施すようにしてもよい。そして、制御部１は、この生成画像（撮影画像）に対して画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させる（ステップＡ９）。このように人物の顔を検出して所定の画像処理として美顔処理を施すと、所定の画像処理（美顔処理）の実行可否を示す情報として美顔フラグ（図示省略）を可（オン）に設定する処理を行う（ステップＡ１０）。

そして、図４のステップＡ１１に移り、上述の美顔フラグはオンされているかを調べるが、いま、美顔フラグはオンされているので（ステップＡ１１でＹＥＳ）、当該撮像装置（カメラ）の状態が所定の状態に変化したかを調べる（ステップＡ１２）。ここで、当該撮像装置（カメラ）が所定の状態に変化したとは、撮影環境が大きく変化したり、当該撮像装置（カメラ）と被写体（人物）との位置関係や被写体（人物）に対する画角が大きく変化したりした場合であり、美顔処理を施す必要がある撮影を継続する意思がないと判別される状態に変化したかを調べる。

すなわち、その一例としては、ＡＷＢ（オートホワイトバランス）調整が設定されている状態においてホワイトバランスの光源判定が切り替わった場合である。また、他の例としては、ＡＥ（自動露出）調整が設定されている状態においてライトバリュー値（ＬＶ値）が急激に変化した場合（例えば、撮像画像の画素毎の輝度値の合計が３フレームの間に３０％以上変化した場合）である。更に、他の例としては、レンズ部の回転（撮像レンズ６ａと表示部５の位置関係（向き）が変化）した場合、又はＡＦ（オートフォーカス）が設定されている状態においてＡＦによるフォーカス距離が急激に変化（１００％以上変化）した場合である。

いま、当該撮像装置（カメラ）が所定の状態に変化していなければ（ステップＡ１２でＮＯ）、レリーズ操作が行われたかを調べたり（ステップＡ１３）、美顔撮影モードを解除する操作が行われたかを調べたりする（ステップＡ１４）。いま、美顔撮影モードを解除する操作が行われた場合には（ステップＡ１４でＹＥＳ）、図３及び図４のフローから抜けるが、レリーズ操作が行われた場合には（ステップＡ１３でＹＥＳ）、撮像部６から撮像画像（ライブビュー画像）を取得し（ステップＡ１５）、この撮像画像に対して上述の美顔処理を含む現像処理を施して撮影画像を生成する（ステップＡ１６）。そして、この生成画像（撮影画像）に対して画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させる（ステップＡ１７）。その後、美顔フラグがオンされているかを調べるためにステップＡ１１に戻る。

このように自分撮り時の連続撮影中において、所定の画像処理（美顔処理）の実行可否を示す情報（美顔フラグ）として可（オン）の情報が設定されている状態では（ステップＡ１１でＹＥＳ）、当該撮像装置（カメラ）が所定の状態に変化していないことを条件に（ステップＡ１２でＮＯ）、人物の顔を検出する処理を行うことなく、美顔処理を施す必要があると判別して、撮像画像に対して美顔処理を施すようにしている。言い換えれば、人物の顔が真横に向くなどして、人物の顔を検出することができない場合でも、当該撮像装置（カメラ）の状態が所定の状態に変化していない限り、美顔フラグのオンが保持されていれば、その保持されている間に順次撮像された各撮像画像に対しては、美顔処理を施すようにしている。一方、当該撮像装置（カメラ）が所定の状態に変化した場合には（ステップＡ１２でＹＥＳ）、美顔フラグをオフする処理（ステップＡ１８）を行った後、上述のステップＡ１に戻り、上述の処理を繰り返す。

以上のように、第１実施形態において制御部１は、撮像部６により撮像された撮像画像内から人物の顔を検出することができた場合にはその撮像画像に対して所定の画像処理を施すが、人物の顔を検出することができない場合にはその撮像画像に対して所定の画像処理を施す必要があるか否かを判別し、所定の画像処理を施す必要があると判別した場合にその撮像画像に対して所定の画像処理を施すべきことを指示するようにしたので、人物を被写体として撮影する場合にその人物の顔の向きや位置が変化したとしてもその撮像画像に対して所定の画像処理を確実に施すことができる。

制御部１は、撮影指示操作（レリーズ操作）が行われる毎に撮像部６から撮像画像を取得して撮影処理を行うことにより複数枚の撮影画像を生成する連続撮影中において、レリーズ操作が行われる毎に取得した各撮像画像に対して人物の顔を検出する動作を行うようにしたので、例えば、自分撮り時に、撮影指示操作（レリーズ操作）毎に自身の顔の向きやカメラの位置を変えながら複数枚連続して撮影した場合でも、各撮像画像に対して所定の画像処理を確実に施すことができる。

人物の顔を検出することができた撮像画像に対して所定の画像処理の実行可否を示す情報（美顔フラグ）として可の情報（オン）を設定している場合には、人物の顔を検出することができない撮像画像に対しても所定の画像処理を施す必要があると判別するようにしたので、人物の顔を検出する処理の実行に代わって美顔フラグをオンするだけでよく、処理の負担を軽減することが可能となると共に、顔検出処理は１回行えばよく、省電力化も可能となる。

当該撮影装置（カメラ）の状態が所定の状態に変化したことを検出した撮像画像に対して、所定の画像処理の実行可否を示す情報（美顔フラグ）として否の情報（オフ）を設定している場合には、所定の画像処理を施す必要がないと判別するようにしたので、所定の画像処理の実行可否を、当該撮影装置（カメラ）の状態が所定の状態に変化したか否かに基づいて決定することができる。

当該撮影装置（カメラ）の状態が所定の状態に変化したとは、ホワイトバランスの光源判定の切り替わり、ライトバリュー値の急激な変化、撮像レンズ部の回転した場合、フォーカス距離が急激に変化した場合、のいずれかを検出した場合であり、撮影環境が大きく変化したり、当該撮像装置（カメラ）と被写体（人物）との位置関係や被写体に対する画角が大きく変化したりした場合を当該撮影装置（カメラ）の状態が所定の状態に変化したものとして検出することができる。

撮像画像に対して施す所定の画像処理は、その撮像画像内の肌色部分に美顔処理を施す処理であるので、人物の顔に限らず、首、腕なども含めて同様の美顔処理を施すことができる。

なお、上述した第１実施形態においては、当該撮影装置（カメラ）の状態が所定の状態に変化した場合として、ホワイトバランスの光源判定の切り替わり、ライトバリュー値の急激な変化、撮像レンズ部の回転した場合、フォーカス距離が急激に変化した場合のいずれかを示したが、それらの組合せであってもよく、それらに限らないことは勿論である。
また、美顔フラグがオンの状態では、顔検出処理を行わないようにしているが、美顔フラグがオンの状態であっても、顔検出処理を行うようにしてもよい。

（第２実施形態）
以下、この発明の第２実施形態について図５及び図６を参照して説明する。
なお、上述した第１実施形態においては、所定の画像処理（美顔処理）の実行可否を、当該撮影装置（カメラ）の状態が所定の状態に変化したか否かに基づいて判別するようにしたが、この第２実施形態においては、人物の顔を検出することができなかった場合に、この検出処理とは異なる他の検出処理を行い、この他の検出処理の検出結果に基づいて所定の画像処理を施す必要があるか否かを判別するようにしたものである。すなわち、人物の顔を検出することができた場合には、その顔の肌色を一時記憶しておき、人物の顔を検出することができなかった場合の所定の画像処理（美顔処理）の実行可否を、一時記憶の肌色と同等の肌色の領域が所定の面積以上であるか否かに基づいて判別するようにしたものである。ここで、両実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第２実施形態の特徴部分を中心に説明するものとする。

図５は、美顔撮影モードが指定された場合に実行開始される撮像装置の動作（第２実施形態の特徴的な動作）を説明するためのフローチャートである。
先ず、制御部１は、美顔撮影モードが指定されている状態において、レリーズ操作が行われたかを調べたり（ステップＢ１）、美顔撮影モードを解除する操作が行われたかを調べたりする（ステップＢ２）。いま、美顔撮影モードを解除する操作が行われた場合には（ステップＢ２でＹＥＳ）、図５のフローから抜けるが、レリーズ操作が行われた場合には（ステップＢ１でＹＥＳ）、撮像部６から撮像画像（ライブビュー画像）を取得する（ステップＢ３）。

そして、取得した撮像画像（ライブビュー画像）を解析することにより人物の顔を検出する処理（ステップＢ４）を行い、撮像画像内に人物の顔が写っているか否かを調べる（ステップＢ５）。いま、撮像画像内に人物の顔が写っていることを検出すると（ステップＢ５でＹＥＳ）、図６（１）に示すように顔検出領域（図中、破線で囲った矩形領域）を特定し、その顔検出領域から肌色情報を取得してワークメモリ３ｂに一時記憶しておく（ステップＢ６）。この場合、シミ、ホクロなどの一部を除くために顔検出領域内において同等の色（同一色又は近似色）が連続している各領域のうち最も広い面積を持つ領域内の色を肌色情報として取得する。なお、この一時記憶の肌色情報は、一色の情報としてもよいが、色の範囲を示す情報としてもよい。

次に、撮像画像に対して美顔処理を含む現像処理を施して撮影画像を生成する（ステップＢ７）。なお、この場合の美顔処理も第１実施形態と同様であり、人物の顔に限らず、首、腕などの肌色の部分を対象として、画像の露出を補正したり、彩度、明度を補正する処理を行うことによって肌を白くしたり、ソフトフォーカスなどを行うことによって皺、肌荒れ、シミが目立ちにくくしたりする画像処理を施すようにしているが、検出した顔の領域内のみに美顔処理を施すようにしてもよい。次に、この生成画像（撮影画像）に対して画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させる（ステップＢ８）。その後、上述のステップＢ１に戻り、以下、上述の動作を繰り返す。

ここで、次にレリーズ操作（ステップＢ１でＹＥＳ）によって撮像された画像を取得し（ステップＢ３）、この撮像画像に対して顔検出処理（ステップＢ４）を行った結果、人物の顔を検出することができなかった場合（ステップＢ５でＮＯ）、ステップＢ９に移り、肌の色情報が一時記憶されているかを調べる。すなわち、今回のレリーズ操作前に顔検出が行われ肌の色情報がワークメモリ３ｂに一時記憶されたかを調べる。肌の色情報が一時記憶されている場合（ステップＢ９でＹＥＳ）、ステップＢ１０に移る。このステップＢ１０は、上述の顔検出時に一時記憶しておいた肌色情報を読み出し、その肌色情報と同等の色（同一色又は近似色）で、かつ所定の面積以上の領域（例えば、撮像画像全体に対して５％以上の領域）を肌領域として検出する処理を行うもので、その検出処理の結果、撮像画像内から上述の条件に該当する肌領域を検出することができたかを調べる（ステップＢ１１）。

図６（２）は、撮像画像内の人物の顔が横に向いているために、顔を検出することができなかった場合において、顔検出時に一時記憶しておいた肌色情報（顔の肌色）と同等の色が連続している領域であり、かつ所定の面積以上の領域を、肌領域として検出した場合を例示した図で、図中、斜線を付した領域（顔と首の領域）は、検出した肌領域を示している。いま、該当する肌領域を検出することができなければ（ステップＢ１１でＮＯ）、美顔処理を含まない現像処理を施して撮影画像を生成し（ステップＢ１２）、この生成画像（撮影画像）に対して画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させる（ステップＢ８）。その後、上述のステップＢ１に戻る。
また、肌の色情報が一時記憶されていない場合（ステップＢ９でＮＯ）も同様に、美顔処理を含まない現像処理を施して撮影画像を生成し（ステップＢ１２）、この生成画像（撮影画像）に対して画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させる（ステップＢ８）。その後、上述のステップＢ１に戻り、以下、上述の動作を繰り返す。

一方、上述のように顔検出時にその肌色情報（顔の肌色）が一時記憶されている状態において、人物の顔を検出することができない場合でも、その一時記憶の肌色情報と同等の色情報を有する領域であり、かつ、所定の面積以上の領域を、人物の肌領域として検出する処理を行った結果（ステップＢ１０）、肌領域を検出することができた場合には（ステップＢ１１でＹＥＳ）、美顔処理を施す必要があると判別して、ステップＢ７に移り、撮像画像に対して美顔処理を含む現像処理を施して撮影画像を生成する。なお、この場合、例えば、所定の面積以上の肌領域が複数存在している場合には最も広い領域を、顔領域として検出するようにすれば、顔の領域のみに美顔処理を施すことも可能となる。次に、この生成画像（撮影画像）に対して画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させる（ステップＢ８）。その後、上述の

以上のように、第２実施形態において制御部１は、人物の顔を検出することができなかった場合に、この検出処理とは異なる他の検出処理を行い、この他の検出処理の検出結果に基づいて所定の画像処理を施す必要があるか否かを判別するようにしたから、顔検出処理という一義的な検出に拘らず、多角的な検出が可能となる。

顔検出時にその肌色情報（顔の肌色）が一時記憶されている状態において、上述の他の検出処理として、この一時記憶の肌色と同等の肌色の領域が所定の面積以上であるか否かを検出する処理を行い、その検出結果に基づいて美顔処理の実行可否を判別するようにしたので、顔を検出することができなかった場合にもその撮像画像に対して肌の部分を的確に特定して美顔処理を施すことができる。

（第３実施形態）
以下、この発明の第３実施形態について図７及び図８を参照して説明する。
この第３実施形態は上述した第２実施形態と同様に、人物の顔を検出することができなかった場合に、この検出処理とは異なる他の検出処理を行い、この他の検出処理の検出結果に基づいて所定の画像処理を施す必要があるか否かを判別するようにしたものである。更に、第３実施形態は、人物の顔を検出することができなかった場合の他の検出処理として、人物の顔を検出することができた際にその髪の色を一時記憶しておき、この一時記憶の髪の色と同等の肌色の領域が所定の面積以上であるか否かを検出する処理を行い、この検出結果に基づいて所定の画像処理（美顔処理）の実行可否を判別するようにしたものである。ここで、第１、第３の実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第３実施形態の特徴部分を中心に説明するものとする。

図７は、美顔撮影モードが指定された場合に実行開始される撮像装置の動作（第３実施形態の特徴的な動作）を説明するためのフローチャートである。なお、図７は、第２実施形態の図５と基本的に同様であるため、基本的に同様な部分については、簡単に説明するものとする。
先ず、制御部１は、美顔撮影モードが指定されている状態において、レリーズ操作が行われたかを調べたり（ステップＣ１）、美顔撮影モードを解除する操作が行われたかを調べたりする（ステップＣ２）。いま、美顔撮影モードを解除する操作が行われた場合には（ステップＣ２でＹＥＳ）、図７のフローから抜けるが、レリーズ操作が行われた場合には（ステップＣ１でＹＥＳ）、撮像部６から撮像画像（ライブビュー画像）を取得する（ステップＣ３）。そして、取得した撮像画像（ライブビュー画像）を解析することにより人物の顔を検出する処理（ステップＣ４）を行い、撮像画像内に人物の顔が写っているか否かを調べる（ステップＣ５）。

いま、撮像画像内に人物の顔が写っていることを検出すると（ステップＣ５でＹＥＳ）、図８（１）に示すように顔検出領域（図中、細かい破線で囲った矩形領域）を特定すると共に、その顔検出領域を基にその周辺の領域を髪領域として特定し、この髪領域から髪の色情報を取得してワークメモリ３ｂに一時記憶しておく（ステップＣ６）。すなわち、髪領域は、顔検出領域を除いた矩形領域（図中、粗い破線で囲った矩形領域）であり、そのＸ方向の長さ（幅）を顔検出領域の幅の１．５倍、そのＹ方向の長さ（高さ）を顔検出領域の高さの１．５倍とした大きさの領域であって、その領域の下端を顔検出領域の下端に一致させた位置に配置した領域を髪領域として検出する。

このようにして検出した髪領域内において同等の色（同一色又は近似色）が連続している各領域のうち最も広い面積を持つ領域内の色を髪の色情報として取得して一時記憶しておく。なお、この一時記憶の髪の色情報は、一色の情報であってもよいが、色の範囲を示す情報であってもよい。そして、撮像画像に対して美顔処理を含む現像処理を施して撮影画像を生成するが、検出した顔の領域内のみに美顔処理を施すようにしてもよい（ステップＣ７）。この生成画像（撮影画像）に対して画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させる（ステップＣ８）。その後、上述のステップＣ１に戻る。

ここで、次にレリーズ操作（ステップＣ１でＹＥＳ）によって撮像された画像を取得し（ステップＣ３）、この撮像画像に対して顔検出処理（ステップＣ４）を行った結果、人物の顔を検出することができなかった場合には（ステップＣ５でＮＯ）、ステップＣ９に移り、髪の色情報が一時記憶されているかを調べる。すなわち、今回のレリーズ操作前に顔検出が行われ髪の色情報がワークメモリ３ｂに一時記憶されたかを調べる。髪の色情報が一時記憶されている場合（ステップＣ９でＹＥＳ）、ステップＣ１０に移り、図８（２）に示すように撮像画像内の顔可能性領域（図中、細かい破線で囲った矩形領域）を検出する処理を行う。この場合、通常の顔検出時に使用する肌色（一般的な肌色）と同等の色（同一色又は近似色）が連続している領域を顔可能性領域として検出する。ここで、顔可能性領域を検出することができなければ（ステップＣ１１でＮＯ）、美顔処理を含まない現像処理を施して撮影画像を生成し（ステップＣ１４）、この生成画像（撮影画像）に対して画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させる（ステップＣ８）。その後、上述のステップＣ１に戻り、以下、上述の動作を繰り返す。

顔可能性領域を検出することができた場合には（ステップＣ１１でＹＥＳ）、上述の顔検出時に一時記憶しておいた髪の色情報を読み出し、この髪の色情報と同等の色情報を有する領域であり、かつ、所定の面積以上の領域を、人物の髪領域として検出する処理を行う（ステップＡ１２）。すなわち、髪の色情報と同等の色（同一色又は近似色）で、かつ図８（２）に示すように顔検出領域を除いた矩形領域（図中、粗い破線で囲った矩形領域）で、そのＸ方向の長さ（幅）を顔検出領域の幅の２．０倍、そのＹ方向の長さ（高さ）を顔検出領域の高さの１．５倍とした大きさ領域であって、その領域の下端を顔可能性領域の下端に一致させた位置に配置した領域を髪領域として検出する。

そして、撮像画像内から上述の条件に該当する髪領域を検出することができたか、つまり、髪であるとみなしてもよい程度（例えば、３０％程度）に、顔検出時に一時記憶しておいた髪の色を占めている領域を髪領域として検出することができたかを調べる（ステップＣ１３）。ここで、髪領域を検出できなければ（ステップＣ１３でＮＯ）、美顔処理を含まない現像処理を施して撮影画像を生成し（ステップＣ１４）、この生成画像（撮影画像）に対して画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させる（ステップＣ８）。その後、上述のステップＣ１に戻る。
また、髪の色情報が一時記憶されていない場合（ステップＣ９でＮＯ）も同様に、美顔処理を含まない現像処理を施して撮影画像を生成し（ステップＣ１４）、この生成画像（撮影画像）に対して画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させる（ステップＣ８）。その後、上述のステップＣ１に戻り、以下、上述の動作を繰り返す。

一方、顔検出時にその髪の色情報を一時記憶している状態において、人物の顔を検出できない場合でも、その髪の色情報と同等の色情報を有する領域であり、かつ、所定の面積以上の領域を、人物の髪領域として検出する処理を行った結果（ステップＣ１２）、髪領域を検出することができた場合には（ステップＣ１３でＹＥＳ）、美顔処理を施す必要があると判別して、ステップＣ７に移り、撮像画像内の顔可能性領域に対して美顔処理を含む現像処理を施して撮影画像を生成する。すなわち、顔可能性領域の周辺に髪領域が存在している場合には、その顔可能性領域は顔領域であると判断し、その顔可能性領域に対して美顔処理を施す。そして、この生成画像（撮影画像）に対して画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させる（ステップＣ８）。その後、上述のステップＣ１に戻り、以下、上述の動作を繰り返す。

以上のように、第３実施形態において制御部１は、人物の顔を検出することができた場合にはその髪の色を一時記憶しておき、人物の顔を検出することができなかった場合にはその撮像画像に対して、顔可能性領域を特定してその周辺に一時記憶の肌色と同等で所定の面積以上の領域が存在していれば、その領域を髪領域として検出する処理を行い、美顔処理の実行可否を、その検出結果に基づいて判別するようにしたので、顔可能性領域の周辺に髪領域が存在している場合には、その顔可能性領域は顔領域であると判断して美顔処理を施すことができ、人物の髪の色から撮像画像内の人物の顔部分を的確に特定して美顔処理を施すことができる。

なお、上述した第３実施形態においては、人物の顔を検出することができなかった場合に顔可能性領域を検出し、この顔可能性領域の周辺に髪領域が存在していれば、その顔可能性領域を顔領域であると判断して美顔処理を施すようにしたが、一時記憶の髪の色に基づいて髪領域を検出すると共に、この髪領域に基づいてその周辺の顔領域を検出して美顔処理を施すようにしてもよい。

（第４実施形態）
以下、この発明の第４実施形態について図９を参照して説明する。
この第４実施形態は上述した第２及び第３実施形態と同様に、人物の顔が検出されない場合に、この検出処理とは異なる他の検出処理を行い、この他の検出処理の検出結果に基づいて所定の画像処理を施す必要があるか否かを判別するようにしたものである。更に、第４実施形態では、人物の顔を検出することができなかった場合の他の検出処理として、撮像部６を構成する撮像レンズ６ａの収差を補正する情報に基づいて収差補正処理を行うと共に、その補正された撮像画像内から人物の顔を検出する処理を行い、この検出結果に基づいて所定の画像処理（美顔処理）の実行可否を判別するようにしたものである。なお、ここでは、収差補正処理として、公知の技術を使用して歪曲収差を補正するものとする。ここで、第１、第４の実施形態において基本的あるいは名称的に同一のものは、同一符号を付して示し、その説明を省略すると共に、以下、第４実施形態の特徴部分を中心に説明するものとする。

図９は、美顔撮影モードが指定された場合に実行開始される撮像装置の動作（第４実施形態の特徴的な動作）を説明するためのフローチャートである。なお、図９は、第２実施形態の図５と基本的に同様であるため、基本的に同様な部分については、簡単に説明するものとする。
先ず、制御部１は、美顔撮影モードが指定されている状態において、レリーズ操作が行われたかを調べたり（ステップＤ１）、美顔撮影モードを解除する操作が行われたかを調べたりする（ステップＤ２）。いま、美顔撮影モードを解除する操作が行われた場合には（ステップＤ２でＹＥＳ）、図９のフローから抜けるが、レリーズ操作が行われた場合には（ステップＤ１でＹＥＳ）、撮像部６から撮像画像（ライブビュー画像）を取得する（ステップＤ３）。

そして、取得した撮像画像（ライブビュー画像）を解析することにより人物の顔を検出する処理（ステップＤ４）を行い、撮像画像内に人物の顔が写っているか否かを調べる（ステップＤ５）。いま、撮像画像内に人物の顔が写っていることを検出すると（ステップＤ５でＹＥＳ）、撮像画像に対して美顔処理を含む現像処理を施して撮影画像を生成するが、検出した顔の領域内のみに美顔処理を施すようにしてもよい（ステップＤ７）。この生成画像（撮影画像）に対して画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させる（ステップＤ７）。その後、上述のステップＤ１に戻る。

ここで、次にレリーズ操作（ステップＤ１でＹＥＳ）によって撮像された画像を取得し（ステップＤ３）、この撮像画像に対して顔検出処理（ステップＤ４）を行った結果、人物の顔を検出することができなかった場合には、例えば、人物の顔が撮像レンズ６ａの中心部からその周縁部に移動したような場合には（ステップＤ５でＮＯ）、ステップＤ８に移り、撮像画像に対して歪曲収差補正処理を行う（ステップＤ９）。すなわち、撮像レンズ６ａの収差を補正する情報に基づいて歪曲収差補正を行い、この補正した撮像画像に対して再度、人物の顔を検出する処理を行う（ステップＤ９）。この場合、歪曲収差補正を行っても人物の顔を検出できなければ（ステップＤ１０でＮＯ）、美顔処理を含まない現像処理を施して撮影画像を生成し（ステップＤ１１）、この生成画像（撮影画像）に対して画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させる（ステップＤ７）。

一方、歪曲収差補正（ステップＤ８）を行った結果、人物の顔を検出することができた場合には（ステップＤ１０でＹＥＳ）、美顔処理を施す必要があると判別して、ステップＤ６に移り、撮像画像に対して美顔処理を含む現像処理を施して撮影画像を生成する。なお、美顔処理は、第１実施形態と同様に、人物の顔に限らず、首、腕などの肌色の部分を対象としてもよいが顔の領域のみに美顔処理を施すようにしてもよい。次に、この生成画像（撮影画像）に対して画像圧縮処理を施して標準的なファイル形式に変換した後、記憶部３の記録メディアに記録保存させる（ステップＤ７）。その後、上述のステップＤ１に戻り、以下、上述の動作を繰り返す。

以上のように、第４実施形態において制御部１は、人物の顔を検出することができなかった場合に、撮像部６を構成する撮像レンズ６ａの収差を補正する情報に基づいて収差補正処理を行うと共に、その補正された撮像画像内から人物の顔を検出する処理を行い、この検出結果に基づいて美顔処理の実行可否を判別するようにしたから、人物の顔が撮像レンズ６ａの収差が大きい位置に移動しても、収差補正処理を行ってから再び顔検出処理を行うことができ、顔検出がより確実なものとなる。

なお、上述した第２実施形態の検出処理である人物の肌領域を検出する処理を行ってもなお、顔を検出することができない場合には、更に、上述した第３実施形態の処理として、人物の髪領域を検出する処理を行うようにしてもよい。この場合、最初に顔を検出したときに髪の色も取得しておけばよい。

また、上述した第４実施形態の検出処理である収差補正を行ってもなお、人物の顔を検出することができない場合には、更に、上述した第２実施形態の処理として、人物の肌領域を検出する処理、又は上述した第３実施形態の処理として、人物の髪領域を検出する処理を行うようにしてもよい。この場合、最初に顔を検出したときに肌の色、又は髪の色も取得しておけばよい。

上述した各実施形態においては、画像処理装置として撮像手段を備える撮像装置に適用した場合を例示したが、これに限らず、画像処理装置には撮像手段を備えず、別途通信手段を備え、撮像手段を備える外部装置が撮像する撮像画像を、通信手段を介して取得するようにしてもよい。

上述した各実施形態においては、所定の画像処理として美顔処理として、美肌、美白を例示したが、これに限らず、顔の形状、睫、眉毛、口元などを加工する顔加工処理であってもよく、更に、画像加工の対象は、顔に限らず、顔の背景を顔の肌色に応じて補正する処理を施すようにしてもよい。

上述した各実施形態においては、撮影指示操作（レリーズ操作）毎に自身の顔の向きやカメラの位置を変えながら複数枚連続して撮影する場合を示したが、撮影指示操作に応じて連写機能を動作させる場合であっても同様に適用可能である。例えば、１回のレリーズ操作で静止画像を複数枚（例えば、３秒間隔で３枚又は５枚）連続して高速撮影する場合に、各撮像画像に対して人物の顔を検出するようにしてもよく、更には、動画撮影中に人物の顔を検出するようにしてもよい。

また、上述した各実施形態においては、画像処理装置として撮像装置に適用した場合を例示したが、これに限らず、例えば、カメラ機能付きパーソナルコンピュータ・ＰＤＡ（個人向け携帯型情報通信機器）・タブレット端末装置・スマートフォンなどの携帯電話機・電子ゲーム・音楽プレイヤーなどであってもよい。

また、上述した各実施形態において示した“装置”や“部”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。

以上、この発明の実施形態について説明したが、この発明は、これに限定されるものではなく、特許請求の範囲に記載された発明とその均等の範囲を含むものである。
以下、本願出願の特許請求の範囲に記載された発明を付記する。
（付記）
（請求項１）
請求項１に記載の発明は、
撮像画像を取得する取得手段と、
前記取得手段によって取得された撮像画像内から人物の顔を検出する第１の検出手段と、
保存用の撮影画像を生成するために前記撮像画像に撮影処理を行うと共に、前記第１の検出手段によって人物の顔を検出することができた場合にその撮像画像に対して所定の画像処理を施す画像処理手段と、
前記第１の検出手段によって人物の顔を検出することができなかった場合にその撮像画像に対して前記所定の画像処理を施す必要があるか否かを判別する判別手段と、
前記第１の検出手段によって人物の顔を検出することができなかった撮像画像に対しても前記判別手段によって前記所定の画像処理を施す必要があると判別された場合には、その撮像画像に対して前記所定の画像処理を施すべきことを前記画像処理手段に指示する制御手段と、
を備えることを特徴とする画像処理装置である。
（請求項２）
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記画像処理手段は、撮影指示操作に応じて、前記撮影処理と前記所定の画像処理とを行い、
前記第１の検出手段は、前記撮影指示操作が連続して行われ、複数枚の撮影画像が生成される連続撮影中において、前記撮影指示操作が行われる毎に前記取得手段によって取得される各撮像画像に対して人物の顔を検出する動作を行う、
ことを特徴とする。
（請求項３）
請求項３に記載の発明は、請求項２に記載の画像処理装置において、
前記第１の検出手段によって人物の顔を検出することができた場合にその撮像画像に対して、前記所定の画像処理の実行可否を示す情報として可の情報を設定する処理を行う設定手段を、更に備え、
前記判別手段は、前記設定手段によって前記可の情報が設定されている場合には、前記第１の検出手段によって人物の顔を検出することができなかった場合でもその撮像画像に対して前記所定の画像処理を施す必要があると判別する、
ことを特徴とする。
（請求項４）
請求項４に記載の発明は、請求項３に記載の画像処理装置において、
当該画像処理装置の状態が所定の状態に変化したかを検出する第２の検出手段を、更に備え、
前記設定手段は、前記第２の検出手段によって当該画像処理装置の状態が所定の状態に変化したことが検出された撮像画像に対して、前記所定の画像処理の実行可否を示す情報として否の情報を設定する処理を行い、
前記判別手段は、前記設定手段によって前記否の情報が設定されている場合には、前記所定の画像処理を施す必要がないと判別する、
ことを特徴とする。
（請求項５）
請求項５に記載の発明は、請求項４に記載の画像処理装置において、
前記第２の検出手段は、少なくともホワイトバランスの光源判定の切り替わり、ライトバリュー値の急激な変化、撮像レンズ部の回転、フォーカス距離の急激な変化のいずれかを、当該画像処理装置の状態が所定の状態に変化したこと、として検出する、
ことを特徴とする。
（請求項６）
請求項６に記載の発明は、請求項１又は２に記載の画像処理装置において、
前記画像処理手段が撮影処理を行う際に、前記第１の検出手段によって人物の顔を検出することができなかった場合にその撮像画像に対して、前記第１の検出手段による検出処理とは異なる他の検出処理を行う第３の検出手段を、更に備え、
前記判別手段は、前記第１の検出手段によって人物の顔を検出することができなかった場合にその撮像画像に対して前記第３の検出手段による検出結果に基づいて前記所定の画像処理を施す必要があるか否かを判別する、
ことを特徴とする。
（請求項７）
請求項７に記載の発明は、請求項６に記載の画像処理装置において、
前記第１の検出手段によって人物の顔を検出することができなかった場合にその撮像画像内の顔の領域から人物の肌の色情報を取得する取得手段を、更に備え、
前記第３の検出手段は、前記取得手段によって取得された撮像画像内から前記取得手段によって取得した肌の色情報と同等の色情報を有する領域であり、かつ、所定の面積以上の領域を、人物の肌領域として検出する処理を行い、
前記判別手段は、前記第１の検出手段によって人物の顔を検出することができなかった場合であって、前記第３の検出手段によって人物の肌領域を検出することができた場合には、その撮像画像に対して前記所定の画像処理を施す必要があると判別する、
ことを特徴とする。
（請求項８）
請求項８に記載の発明は、請求項６に記載の画像処理装置において、
前記第１の検出手段によって人物の顔を検出することができた場合に、その顔の周囲の領域から人物の髪の色情報を取得する取得手段を、更に備え、
前記第３の検出手段は、前記取得手段によって取得された撮像画像内から前記取得手段によって取得した髪の色情報と同等の色情報を有する領域であり、かつ、所定の面積以上の領域を、人物の髪領域として検出する処理を行い、
前記判別手段は、前記第１の検出手段によって人物の顔を検出することができなかった場合であって、前記第３の検出手段によって人物の髪領域を検出することができた場合には、その撮像画像に対して前記所定の画像処理を施す必要があると判別する、
ことを特徴とする。
（請求項９）
請求項９に記載の発明は、請求項６に記載の画像処理装置において、
前記取得手段は、当該画像処理装置が備える撮像手段によって撮像される撮像画像を取得し、
前記第３の検出手段は、前記撮像手段を構成する撮像レンズの収差を補正する情報に基づいて補正された撮像画像内から人物の顔を検出する処理を行い、
前記判別手段は、前記第１の検出手段によって人物の顔を検出することができなかった場合であって、前記第３の検出手段によって人物の顔を検出することができた場合には、その撮像画像に対して前記所定の画像処理を施す必要があると判別する、
ことを特徴とする。
（請求項１０）
請求項１０に記載の発明は、請求項１乃至９のいずれか１項に記載の画像処理装置において、
前記取得手段によって取得された撮像画像に対して前記画像処理手段が施す所定の画像処理は、その撮像画像内の肌色部分に美顔処理を施す処理である、
ことを特徴とする。
（請求項１１）
請求項１１に記載の発明は、
撮像画像を取得する処理と、
前記取得した撮像画像内から人物の顔を検出する処理と、
保存用の撮影画像を生成するために前記撮像画像に撮影処理を行うと共に、前記人物の顔を検出することができた場合にその撮像画像に対して所定の画像処理を施す処理と、
前記人物の顔を検出することができなかった場合にその撮像画像に対して前記所定の画像処理を施す必要があるか否かを判別する処理と、
前記人物の顔を検出することができなかった撮像画像に対しても前記所定の画像処理を施す必要があると判別された場合には、その撮像画像に対して前記所定の画像処理を施すべきことを指示する処理と、
を含むことを特徴とする画像処理方法である。
（請求項１２）
請求項１２に記載の発明は、
コンピュータに対して、
撮像画像を取得する機能と、
前記取得した撮像画像内から人物の顔を検出する機能と、
保存用の撮影画像を生成するために前記撮像画像に撮影処理を行うと共に、前記人物の顔を検出することができた場合にその撮像画像に対して所定の画像処理を施す機能と、
前記撮影手段が撮影処理を行う際に、前記人物の顔を検出することができなかった場合にその撮像画像に対して前記所定の画像処理を施す必要があるか否かを判別する機能と、
前記人物の顔を検出することができなかった撮像画像に対しても前記所定の画像処理を施す必要があると判別された場合には、その撮像画像に対して前記所定の画像処理を施すべきことを指示する機能と、
を実現させるためのプログラムである。

１ 制御部
３ 記憶部
３ａ プログラムメモリ
４ 操作部
５ 表示部
６ 撮像部
６ａ 撮像レンズ

本発明は、画像処理装置、端末機器、画像処理方法及び記憶媒体に関する。

上述した課題を解決するために本発明は、
撮像画像を取得する画像取得手段と、
前記画像取得手段によって取得された撮像画像内から人物の顔を検出する第１の検出手段と、
前記撮像手段を構成する撮像レンズの収差を補正する情報に基づいて前記撮像画像を補正した撮像画像内から、人物の顔を検出する第２の検出手段と、
前記第１の検出手段によって人物の顔を検出することができず、かつ、前記第２の検出手段によって人物の顔を検出することができた場合に、前記取得された撮像画像に対して人物の顔に応じた所定の画像処理を施す画像処理手段と、
を備える画像処理装置である。

Claims (15)

1. 撮像画像を取得する画像取得手段と、
   前記画像取得手段によって取得された撮像画像内から人物の顔を検出する第１の検出手段と、
   撮影指示が連続して行われ、当該撮影指示毎に前記画像取得手段によって撮像画像が取得される連続撮影が継続しているか否かを判別する判別手段と、
   前記第１の検出手段によって前記取得された撮像画像内から人物の顔が検出された場合には、前記判別手段によって連続撮影が継続していると判別されている間は、前記取得される各撮像画像に対して、人物の顔に応じた所定の画像処理を施す画像処理手段と、
   を備えることを特徴とする画像処理装置。
2. 前記判別手段は、当該画像処理装置の状態が所定の状態に変化するまでは、連続撮影が継続していると判別することを特徴とする請求項１に記載の画像処理装置。
3. 前記判別手段は、少なくともホワイトバランスの光源判定の切り替わり、ライトバリュー値の急激な変化、撮像レンズ部の回転、及びフォーカス距離の急激な変化のうちのいずれかを、当該画像処理装置の状態が所定の状態に変化したこと、として判別する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記所定の画像処理の実行可否を示す情報を設定する処理を行う設定手段を、更に備え、
   前記設定手段は、前記第１の検出手段によって人物の顔を検出することができたことに応じて可の情報を設定する処理を行い、前記判別手段によって連続撮影が継続していないと判別されるまでは可の情報を維持し、
   前記画像処理手段は、前記可の情報が設定されている間は、前記取得される各撮像画像に対して、前記所定の画像処理を施す、
   ことを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記画像処理手段は、前記第１の検出手段によって人物の顔を検出することができるか否かによらず、前記判別手段によって連続撮影が継続していると判別されている間は、前記所定の画像処理を施すことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
6. 撮像手段によって撮像画像を取得する画像取得手段と、
   前記画像取得手段によって取得された撮像画像内から人物の顔を検出する第１の検出手段と、
   前記撮像手段を構成する撮像レンズの収差を補正する情報に基づいて前記撮像画像を補正した撮像画像内から、人物の顔を検出する第２の検出手段と、
   前記第１の検出手段によって人物の顔を検出することができた場合、及び前記第２の検出手段によって人物の顔を検出することができた場合には、前記取得された撮像画像に対して人物の顔に応じた所定の画像処理を施す画像処理手段と、
   を備えることを特徴とする画像処理装置。
7. 前記画像処理手段は、前記第１の検出手段によって人物の顔を検出することができなかった場合であっても、前記第２の検出手段によって人物の顔を検出することができた場合には、前記所定の画像処理を施すことを特徴とする請求項６に記載の画像処理装置。
8. 前記第１の検出手段、前記第２の検出手段、及び前記画像処理手段は、撮影指示が連続して行われ、当該撮影指示毎に前記画像取得手段によって撮像画像が取得される連続撮影中において、各々の処理を実行することを特徴とする請求項６又は７に記載の画像処理装置。
9. 撮像画像を取得する画像取得手段と、
   前記画像取得手段によって取得された撮像画像内から人物の顔を検出する第１の検出手段と、
   撮影指示が連続して行われ、当該撮影指示毎に前記画像取得手段によって撮像画像が取得される連続撮影中において、当該取得される撮像画像内の各々に前記第１の検出手段によって人物の顔を検出することができる場合と、人物の顔を検出することができない場合と、で異なる判別条件によって、各撮像画像に対して人物の顔に応じた所定の画像処理を施す必要があるか否かを判別する判別手段と、
   前記判別手段による判別結果に応じて、前記取得される各撮像画像に対して前記所定の画像処理を施す画像処理手段と、
   を備えることを特徴とする画像処理装置。
10. 前記判別手段は、人物の顔を検出することができたことを判別条件として、前記所定の画像処理を施す必要があると判別する一方、人物の顔を検出することができない場合であっても、人物の顔を検出することができた他の撮像画像から設定された他の判別条件を満たす場合には、前記所定の画像処理を施す必要があると判別することを特徴とする請求項９に記載の画像処理装置。
11. 前記第１の検出手段によって人物の顔を検出することができた場合に、前記所定の画像処理の実行可否を示す情報として可の情報を設定する処理を行う設定手段を、更に備え、
    前記判別手段は、前記第１の検出手段によって人物の顔を検出することができない場合であっても、前記設定手段によって前記可の情報が設定されている場合には、前記所定の画像処理を施す必要があると判別することを特徴とする請求項９又は１０に記載の画像処理装置。
12. 前記第１の検出手段によって人物の顔を検出することがされた撮像画像内から取得された人物に係る色情報に基づき、前記取得された撮像画像内から人物に係る色情報を満たす領域を検出する第２の検出手段を、更に備え、
    前記判別手段は、前記第１の検出手段によって人物の顔を検出することができない場合であっても、前記第２の検出手段によって人物に係る色情報を満たす領域を検出することができた場合には、前記所定の画像処理を施す必要があると判別することを特徴とする請求項９又は１０に記載の画像処理装置。
13. 撮像画像を取得する画像取得処理と、
    前記画像取得処理で取得した撮像画像内から人物の顔を検出する第１の検出処理と、
    撮影指示が連続して行われ、当該撮影指示毎に前記画像取得処理で撮像画像が取得される連続撮影が継続しているか否かを判別する判別処理と、
    前記第１の検出処理で前記取得した撮像画像内から人物の顔が検出された場合には、前記判別処理で連続撮影が継続していると判別している間は、前記取得される各撮像画像に対して、人物の顔に応じた所定の画像処理を施す画像処理と、
    を含むことを特徴とする画像処理方法。
14. 撮像手段によって撮像画像を取得する画像取得処理と、
    前記画像取得処理で取得した撮像画像内から人物の顔を検出する第１の検出処理と、
    前記撮像手段を構成する撮像レンズの収差を補正する情報に基づいて、前記取得した撮像画像を補正した撮像画像内から、人物の顔を検出する第２の検出処理と、
    前記第１の検出処理で人物の顔を検出することができた場合、及び前記第２の検出処理で人物の顔を検出することができた場合には、前記取得した撮像画像に対して所定の画像処理を施す画像処理と、
    を含むことを特徴とする画像処理方法。
15. 撮像画像を取得する画像取得処理と、
    前記画像取得処理で取得した撮像画像内から人物の顔を検出する第１の検出処理と、
    撮影指示が連続して行われ、当該撮影指示毎に前記画像取得処理で撮像画像を取得する連続撮影中において、当該取得する撮像画像内の各々に前記第１の検出処理で人物の顔を検出することができる場合と、人物の顔を検出することができない場合と、で異なる判別条件によって、各撮像画像に対して人物の顔に応じた所定の画像処理を施す必要があるか否かを判別する判別処理と、
    前記判別処理における判別結果に応じて、前記取得される保存用の撮像画像に対して前記所定の画像処理を施す画像処理と、
    を含むことを特徴とする画像処理方法。

Images