JP2006293784A - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】 顔領域の検出技術を用いてプリント注文を容易に行うことができる画像処理装置及び画像処理プログラムを提供する。
【解決手段】 元画像４０が画像処理装置１０に入力されると、リサイズ・回転処理部３４によって所定のサイズにリサイズされて、全体画像ファイルが生成される。顔領域の数が計数されて、顔領域の数分の注文を行うためのプリント注文データ（ＤＰＯＦ）が生成されファイル処理部４２によって個別顔ファイルが生成される。その次に、ＨＴＭＬ生成処理部４６によって、上記個別顔ファイルから個別顔ＨＴＭＬファイルが作成される。また、顔検出部３０によって検出された矩形の顔領域の座標の位置に、各個別顔ＨＴＭＬファイルにアクセスするためのリンク先情報が記載された全体画像ＨＴＭＬファイル（クリッカブルマップ）が生成される。
【選択図】図３

Description

本発明は画像処理装置及び画像処理プログラムに係り、特に画像から顔領域を検出する画像処理装置及び画像処理プログラムに関する。

従来、画像に写っている人物の顔領域を検出する技術が開発されている。例えば、特許文献１には、映像信号中から、肌色領域または人の顔の領域を検出し、その検出領域のみ補正を行う映像信号処理装置について開示されている。また、特許文献２には、画像データに、人の顔の一部等の特徴部分があった場合は、それらを加工せず、或いはそれらは微少加工にとどめ、その周辺、その他の部分を違和感なく所望の描画パターンで編集した画像を提供する画像処理方法について開示されている。
特開平１１−１４６４０５号公報 特開２００４−２８２６６４号公報（段落［００４０］等）

しかしながら、上記の特許文献１及び２は、元の画像中において検出された顔領域に注目して画像の補正を行うものであり、顔領域の検出を画像の管理やプリント注文に活用するものではなかった。

本発明はこのような事情に鑑みてなされたもので、顔領域の検出技術を用いてプリント注文を容易に行うことができる画像処理装置及び画像処理プログラムを提供することを目的とする。

上記目的を達成するために請求項１に係る画像処理装置は、画像を入力する画像入力手段と、前記画像を解析して、前記画像に写っている人物の顔領域を検出する顔領域検出手段と、前記検出された顔領域の数を計数する顔領域計数手段と、前記計数された顔領域の数だけ、前記画像のプリント注文を行うためのプリント注文データを生成するプリント注文データ生成手段と、前記画像と前記プリント注文データを関連付けて記憶する記憶手段とを備えることを特徴とする。

請求項１に係る画像処理装置によれば、検出された顔領域の数だけプリント注文を行うためのプリント注文データが自動的に作成されるため、プリント注文を容易に行うことができる。

請求項２に係る画像処理装置は、請求項１において、前記プリント注文データは、ＤＰＯＦファイルであることを特徴とする。請求項２は、請求項１のプリント注文データをＤＰＯＦファイルに限定したものである。

請求項３に係る画像処理プログラムは、画像を入力する画像入力機能と、前記画像を解析して、前記画像に写っている人物の顔領域を検出する顔領域検出機能と、前記検出された顔領域の数を計数する顔領域計数機能と、前記計数された顔領域の数だけ、前記画像のプリント注文を行うためのプリント注文データを生成するプリント注文データ生成機能と、前記画像と前記プリント注文データを関連付けて記憶する記憶機能とをコンピュータに実現させることを特徴とする。

請求項３に係る画像処理プログラムを含むソフトウェアやファームウェアをパーソナルコンピュータ（ＰＣ）やビデオ再生装置（ビデオデッキ、テレビ）やデジタルカメラ、携帯情報端末（ＰＤＡ）、携帯電話等の画像再生機能を有する装置に適用することにより、本発明の画像処理装置を実現することができる。

本発明によれば、検出された顔領域の数だけプリント注文を行うためのプリント注文データが自動的に作成されるため、プリント注文を容易に行うことができる。

以下、添付図面に従って本発明に係る画像処理装置及び画像処理プログラムの好ましい実施の形態について説明する。

図１は、本発明の一実施形態に係る画像処理装置の主要構成を示すブロック図である。なお、以下の説明では、本発明の画像処理装置１０をパーソナルコンピュータ（ＰＣ）に適用した例について説明するが、本発明の画像処理装置１０はＰＣのほか、例えば、ビデオ再生装置（ビデオデッキ、テレビ）やデジタルカメラ、携帯情報端末（ＰＤＡ）、携帯電話等の画像再生機能を有する装置一般に適用することができる。

同図においてＣＰＵ（Central Processing Unit）１２は、バス１４を介して画像処理装置１０内の各ブロックに接続されており、入力装置１６等からの操作入力に基づいて各ブロックを統括制御する統括制御部である。入力装置１６は、キーボードやマウス、その他の操作部材を含んでおり、これらの操作部材からの操作入力に応じてＣＰＵ１２に信号を出力する。タイマー１８は時間を計時する。

表示装置２０は、画像や、各種のデータ、操作メニュー等を表示するためのディスプレイであり、例えば、ＣＲＴ（Cathode Ray Tube）モニタやＬＣＤ（Liquid Crystal Display）モニタ、有機ＥＬ（electro-luminescence）である。

メモリ２２は、ＣＰＵ１２が処理するプログラム及び制御に必要な各種データ等を格納するＲＯＭ（Read Only Memory）や、ＣＰＵ１２が各種の演算処理等を行う際の作業用領域となるＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）、表示装置２０に表示される内容を記憶する記憶領域となるＶＲＡＭ（Video Random Access Memory）等を備える。

メディア制御部２４は、ＣＰＵ１２によって制御され、記録メディア２６へのデータの書き込み、及び記録メディア２６からのデータの読み出しを行う。記録メディア２６としては、半導体メモリのほか、磁気ディスク、光ディスク、光磁気ディスク等、種々の媒体を用いることができる。

記録メディア２６から読み出された画像は、再生処理部２８によって再生用の画像に変換されて表示装置２０に出力される。顔検出部３０は、顔認識技術によってこの画像に写っている人物の顔領域の検出を行う。ここで、顔領域を検出する方法は公知技術なので、ここではその詳細な検出方法については省略する。なお、顔領域を検出する方法の例としては、原画像から肌色に指定した色と近い色を持つ画素を取り出し、取り出した領域を顔領域として検出する方法がある。この処理は、例えば、肌色を他の色と区別するための色空間上で、あらかじめサンプリングした肌色の情報から色空間上の肌色の範囲を定め、各画素の色が定めた範囲に入っているか否かを判定することにより行われる。また、顔パーツである目の抽出は、例えば、検出した顔領域内から顔領域よりも輝度値の低い領域を検出して抽出する。また、口の抽出は、例えば、抽出した両目の下側の範囲内で顔領域よりも輝度値の低い領域を検出して抽出する。また、鼻の抽出は、目と口の間で鼻の概略領域を特定し、この領域に対して横エッジを強調する処理を行う。そして、得られた画像に対して輝度値を横方向に射影する処理を行い、最も小さい輝度値を持つ位置を鼻の位置と決定する。

また、顔検出部３０は、顔認識技術によって顔領域の傾き角度、及び横向き角度を算出する。ここで、顔領域の傾き角度とは、画像の天地方向に対する顔の傾きを表すパラメータであり、例えば、上記において検出された両目を結ぶ線分の天地方向に対する傾きに基づいて算出される。また、横向き角度とは、撮影時における撮像装置に対する人物の顔の向き（あるいは、撮像装置の光軸方向と顔の正面方向のなす角度）を表すパラメータであり、上記において検出された両目及び鼻の位置に基づいて算出される。例えば、右目と鼻の距離が左目と鼻の距離よりも短い場合には、撮影時に人物が右斜め方向に向いていたことが検出される。

トリミング処理部３２は、上記において検出された顔領域等の画像の一部領域を切り出すトリミング処理を行う。そして、このトリミングされた画像は、表示装置２０に出力されて表示される。リサイズ・回転処理部３４は、トリミング処理部３２によってトリミングされた画像の一部領域を拡大・縮小して表示装置２０に出力する。また、リサイズ・回転処理部３４は、上記において算出された顔領域の傾き角度に基づいて顔領域の回転処理を行う。

なお、上記のようにして算出された顔領域や、その傾き角度、横向き角度等の顔情報は、上記画像と関連付けられて記憶される。図２は、顔情報の例を示す図である。同図に示す顔情報は、画像から検出された各顔領域について生成され、例えば、画像データファイルのヘッダやＥＸＩＦ（Exchangeable Image File Format）タグ等の領域に書き込まれる。なお、この顔情報は、画像データファイルと関連付けられた別のファイル等に保存されるようにしてもよい。

同図において顔領域は矩形領域であり、左上と右下の座標により記述されているが、顔領域の記述方法はこれに限定されるものではない。例えば、顔領域を円形又は楕円形とし、その位置は中心座標と半径、又は長軸、短軸の長さ等により記述されるようにしてもよい。また、顔領域を多角形として、その位置は頂点の座標により記述されるようにしてもよい。

また、顔の確からしさ度は、上記顔検出部３０により検出された領域が顔領域であるかどうかを示すパラメータであり、例えば、肌色の度合等により算出される。顔検出部３０は、画像中から検出された肌色領域ごとに、この顔の確からしさ度を算出して、この顔の確からしさ度が所定値以上の肌色領域を顔領域と判断する。

図３は画像処理装置１０の機能ブロック図であり、図４は画像処理の対象となる画像の例を示す図である。図４に示すような画像（元画像４０）が画像処理装置１０に入力されると、リサイズ・回転処理部３４によって所定のサイズにリサイズされて、全体画像ファイル（faces.jpg）４１が生成される。また、顔検出部３０によって、元画像４０から顔領域Ａ１〜Ａ３が検出される。上述のように、この顔領域Ａ１〜Ａ３は、左上と右下の座標によって特定される矩形領域である。そして、ＣＰＵ１２によって、この顔領域Ａ１〜Ａ３の数が計数されてプリント注文データが生成される。

図５は、プリント注文データの一部を示す図である。同図に示すプリント注文データ５０は、ＤＰＯＦ（Digital Print Order Format）ファイルであり、元画像４０内の顔領域Ａ１〜Ａ３の数（すなわち、３枚）だけプリント注文を行う旨の記載を含んでいる。このプリント注文データ５０は、全体画像ファイル４１と関連付けられて記録メディア２６等に記録される。このプリント注文データ５０を利用することにより、全体画像ファイル（faces.jpg）４１のプリント注文を行う際に、写っている人数分のプリントを自動的に注文することができる。

次に、図４に示す顔領域Ａ１〜Ａ３は、トリミング処理部３２によってトリミングされて、リサイズ・回転処理部３４によって所定のサイズにリサイズされる。また、この個別顔ファイルの作成時には、顔領域Ａ１〜Ａ３が傾いている場合には、各顔領域Ａ１〜Ａ３がその傾き角度に基づいて回転補正処理が行われる。そして、ファイル処理部４２によって個別顔ファイル（face1.jpg、face2.jpg、face3.jpg）が生成される。この個別顔ファイルは、記録処理部４４によって元画像４０と関連付けられて（例えば、同一のフォルダ等）記録メディア２６に記録される。これにより、全体画像ファイル（faces.jpg）４１と個別顔ファイルが関連付けられて記憶されるため、画像に写っている人物の顔領域に注目した画像の管理や再生表示に適した画像の加工を容易に行うことができる。

その次に、図３に示すＨＴＭＬ生成処理部４６によって、上記個別顔ファイル（face1.jpg、face2.jpg、face3.jpg）から個別顔ＨＴＭＬファイル（各々face1.html、face2.html、face3.html）が作成される。顔検出部３０によって検出された矩形の顔領域Ａ１〜Ａ３の座標の位置に、各個別顔ＨＴＭＬファイルにアクセスするためのリンク先情報（各個別顔ＨＴＭＬファイルの格納先へのパス）が記載された全体画像ＨＴＭＬファイル（クリッカブルマップfaces.html）が生成される。

図６は、全体画像ＨＴＭＬファイル（クリッカブルマップ）のソースコードの一部を示す図である。同図に示すように、クリッカブルマップ５２の各顔領域Ａ１〜Ａ３には、個別顔ＨＴＭＬファイル（各々face1.html、face2.html、face3.html）へのリンクが張られている。この顔領域Ａ１〜Ａ３にマウスカーソルにより指示されてクリックされると、各個別顔ＨＴＭＬファイルが表示装置２０に表示される。

図７〜図９は、個別顔ＨＴＭＬファイルの例を示す図である。図７（ａ）〜図９（ａ）は個別顔ＨＴＭＬファイルの表示例を示す図であり、図７（ｂ）〜図９（ｂ）は個別顔ＨＴＭＬファイルのソースコードの一部を示す図である。図７（ａ）〜図９（ａ）中のテキスト「Ｂａｃｋ」は、クリッカブルマップ５２にリンクされており、テキスト「Ｂａｃｋ」がクリックされるとクリッカブルマップ５２の表示画面に戻る。

なお、画像処理装置１０が入力装置１６としてマウスを有さない機器である場合には、方向キーや十字ボタン等のカーソルの移動に用いられる操作部材によりカーソルが移動されて顔領域が選択、確定されると、各個別顔ＨＴＭＬファイルが表示装置２０に表示される。

以下、本実施形態の画像処理装置１０における画像処理の流れについて、図１０を参照して説明する。図１０は、画像処理の流れを示すフローチャートである。まず、画像が入力されると（ステップＳ１０）、入力された画像がリサイズされて（ステップＳ１２）、全体画像ファイル４１が表示装置２０に出力される（ステップＳ１４）。ここで、全体画像ファイル４１のサイズは、例えば、横６４０ピクセル×縦４８０ピクセル、横８００ピクセル×縦６００ピクセル、横１０２４ピクセル×縦７６８ピクセルである。

次に、顔検出部３０によって顔領域Ａ１〜Ａ３が検出されて（ステップＳ１６）、顔領域Ａ１〜Ａ３の数が計数される。そして、プリントサイズ等の入力を受け付ける画面が表示されて、全体画像ファイル４１内の顔領域Ａ１〜Ａ３の数（すなわち、３枚）だけプリント注文を行うためのプリント注文データ（ＤＰＯＦファイル）が出力され、全体画像ファイル４１と関連付けられて記録メディア２６に保存される（ステップＳ１８）。また、パラメータｎに顔領域の数が代入される（ステップＳ２０）。

その次に、トリミング処理部３２によって、全体画像ファイル４１から顔領域Ａ１がトリミングされる（ステップＳ２４）。そして、この顔領域Ａ１は、リサイズ・回転処理部３４によって、例えば、横３２０ピクセル×縦２４０ピクセルでリサイズされ（ステップＳ２６）、個別顔ファイル（face1.jpg）として出力される（ステップＳ２８）。この個別顔ファイル（face1.jpg）は、全体画像ファイル４１と関連付けられて、例えば、同一のフォルダ内に記録メディア２６に保存される（ステップＳ２８）。そして、全体画像ファイル４１内の個別顔ファイルが出力されていない顔領域の数を示すパラメータｎが１減ぜられて（ステップＳ３０）、ステップＳ２２に戻る。

上記のステップＳ２２からステップＳ３０が繰り返されて、パラメータｎがゼロになる、すなわち、すべての顔領域が個別顔ファイルとして出力されると（ステップＳ２２のＮｏ）、次いでステップＳ３２に進む。そして、全体画像ＨＴＭＬファイル（クリッカブルマップfaces.html）５２、及び個別顔ＨＴＭＬファイル（face1.html、face2.html、face3.html）が生成されて（ステップＳ３２）、記録メディア２６に出力される（ステップＳ３４）。

本実施形態によれば、全体画像ファイル４１について自動的に顔領域の検出処理が行われて、検出された顔領域の数の分のプリントを注文するためのプリント注文データ（ＤＰＯＦファイル）が自動的に生成される。これにより、全体画像ファイル４１に写っている人物の人数分のプリント注文を容易に行うことができる。

また、本実施形態によれば、全体画像ファイル４１と、顔領域Ａ１〜Ａ３がトリミングされた個別顔ファイルが関連付けられて保存される。これにより、全体画像ファイル４１に写っている人物の顔領域に注目した画像の管理や再生表示に適した画像の加工を容易に行うことができる。

さらに、本実施形態によれば、個別顔ファイルを参照するためのクリッカブルマップ５２が自動的に作成されるため、全体画像ファイル４１から個別の顔を容易に参照することができる。

次に、本発明の画像処理装置１０が実装された撮像装置の例について説明する。図１１は、本発明の一実施形態に係る撮像装置の主要構成を示すブロック図である。同図に示す撮像装置６０は、例えば、デジタルカメラやカメラ付き携帯電話である。なお、同図において、図１の画像処理装置１０と同様の構成については、同一の符号を付して説明を省略する。

同図においてＣＰＵ１２は、バス１４を介して撮像装置１０内の各ブロックに接続されており、入力装置１６等からの操作入力に基づいて撮像装置６０の動作を制御する統括制御部である。入力装置１６は、例えば、電源スイッチやレリーズスイッチ、十字キー等の操作スイッチを含んでいる。表示装置２０は、撮影時の画角確認用の電子ファインダとして用いられるとともに、撮影された画像データの表示に用いられるものであり、例えば、ＬＣＤモニタである。

撮像素子６４は、光学系（撮影レンズ）６２から入ってきた光を受け止めて電気信号に変換する素子であり、例えばＣＣＤ（Charge Coupled Devices）である。この電気信号は、図示せぬプリアンプによって増幅され、図示せぬＡ／Ｄ変換器によってデジタル信号に変換されて、撮像処理部６６に入力される。

本実施形態の撮像装置６０は、画像を撮影するための撮影モードと、画像を表示、再生するための再生モードを含む複数の動作モードを備えており、ユーザは入力装置１６からの操作入力により動作モードの設定を行うことができる。

撮影モード時には、撮像処理部６６によってＣＣＤ６４から出力された電気信号が処理されて画角確認用の画像（スルー画）が作成され、表示装置２０に表示される。そして、レリーズスイッチが操作されて画像が撮影されると、撮像処理部６６によってＣＣＤ６４から出力された電気信号が処理されて保存用の画像が作成される。この保存用の画像は、メディア制御部２４を介して記録メディア２６に所定のファイル形式（例えば、ＪＰＥＧ（Joint Photographic Experts Group）形式）で保存される。

また、撮影モード時には、スイッチ６８が端子Ｔ１に接続される。そして、撮像処理部６６によって処理された保存用の画像について、顔検出部３０によって顔領域の検出が行われる。このとき、顔検出部３０によって取得された顔情報（図２参照）は、保存用の画像と関連付けられて記録メディア２６に保存されるとともに、この保存用の画像に対して上記の図１０のフローチャートに示すような処理が行われる。

すなわち、ＣＰＵ１２によって検出された顔領域の個数が計数されて、顔領域の個数分のプリント注文を行うためのプリント注文データ（ＤＰＯＦファイル）が生成される。

また、上述のように、トリミング処理部３２によって顔領域がトリミングされて、個別顔ファイルやＨＴＭＬファイル（クリッカブルマップ）が生成されて、それぞれ画像と関連付けられて記録メディア２６に保存される。

また、トリミングされた顔領域をサムネイル画像にリサイズし、元の画像ファイル（例えば、画像ファイルのヘッダ領域）に付加する処理を行うこともできる。

一方、再生モード時には、撮像処理部６６によって記録メディア２６に保存された画像が読み出されて表示用の画像が作成され、表示装置２０に表示される。この再生モード時には、スイッチ６８は端子Ｔ２に接続されて、上記の図１０のフローチャートに示すような処理が行われる。

また、検出された顔領域をトリミングして、顔領域にモザイクをかけるモザイク処理や、顔の目、鼻、口等のエッジ強調フィルター処理、エフェクト（テンプレート画像）との合成処理等の各種処理を画像処理部７０によって行うことができる。また、顔領域のサムネイル画像を元の画像ファイルに付加する処理を行うこともできる。

なお、上述のような処理を行うプログラムを含むソフトウェアやファームウェアをパーソナルコンピュータ（ＰＣ）やビデオ再生装置（ビデオデッキ、テレビ）やデジタルカメラ、携帯情報端末（ＰＤＡ）、携帯電話等の画像再生機能を有する装置に適用することにより、本発明の画像処理装置及び撮像装置を実現することができる。

本発明の一実施形態に係る画像処理装置の主要構成を示すブロック図 顔情報の例を示す図 画像処理装置１０の機能ブロック図 画像処理の対象となる画像の例を示す図 プリント注文データの一部を示す図 全体画像ＨＴＭＬファイル（クリッカブルマップ）のソースコードの一部を示す図 個別顔ＨＴＭＬファイルの例を示す図 個別顔ＨＴＭＬファイルの例を示す図 個別顔ＨＴＭＬファイルの例を示す図 画像処理の流れを示すフローチャート 本発明の一実施形態に係る撮像装置の主要構成を示すブロック図

符号の説明

１０…画像処理装置、１２…ＣＰＵ（Central Processing Unit）、１４…バス、１６…入力装置、１８…タイマー、２０…表示装置、２２…メモリ、２４…メディア制御部、２６…記録メディア、２８…再生処理部、３０…顔検出部、３２…トリミング処理部、３４…リサイズ・回転処理部、４０…元画像、４１…全体画像ファイル（faces.jpg）、４２…ファイル処理部、４４…記録処理部、４６…ＨＴＭＬ生成処理部、４８…、５０…プリント注文データ（ＤＰＯＦファイル）、５２…全体画像ＨＴＭＬファイル（クリッカブルマップ）、Ａ１〜Ａ３…顔領域、６０…撮像装置、６２…光学系（撮影レンズ）、６４…撮像素子（ＣＣＤ）、６６…撮像処理部、６８…スイッチ、７０…画像処理部

Claims (3)

1. 画像を入力する画像入力手段と、
   前記画像を解析して、前記画像に写っている人物の顔領域を検出する顔領域検出手段と、
   前記検出された顔領域の数を計数する顔領域計数手段と、
   前記計数された顔領域の数だけ、前記画像のプリント注文を行うためのプリント注文データを生成するプリント注文データ生成手段と、
   前記画像と前記プリント注文データを関連付けて記憶する記憶手段と、
   を備えることを特徴とする画像処理装置。
2. 前記プリント注文データは、ＤＰＯＦファイルであることを特徴とする請求項１記載の画像処理装置。
3. 画像を入力する画像入力機能と、
   前記画像を解析して、前記画像に写っている人物の顔領域を検出する顔領域検出機能と、
   前記検出された顔領域の数を計数する顔領域計数機能と、
   前記計数された顔領域の数だけ、前記画像のプリント注文を行うためのプリント注文データを生成するプリント注文データ生成機能と、
   前記画像と前記プリント注文データを関連付けて記憶する記憶機能と、
   をコンピュータに実現させることを特徴とする画像処理プログラム。

Images