JP2012128521A - 画像処理装置、画像処理装置の制御方法、及びプログラム - Google Patents

Abstract

【課題】 写真が集合写真かどうかを精度よく判定する画像処理装置、画像処理装置の制御方法及びプログラムを提供することを目的とする。
【解決手段】 画像を取得（Ｓ３００）し、取得した画像中に存在する顔画像を解析（Ｓ３０１）し、解析した画像中に存在する顔画像各々が集合写真の条件を満たすかどうかを判定（Ｓ３０２〜Ｓ３０７）、判定結果に基づいて集合写真であるかどうかを判定（Ｓ３０８，Ｓ３０９）する。
【選択図】 図３

Description

本発明は、撮影された写真画像に対する画像処理装置、画像処理装置の制御方法及びプログラムに関する。

近年、写真などの画像を解析し、キーワードなどメタデータを付与して検索などに利用している。具体的には、写真に写っている顔を検出して、検出した顔の個数によってキーワードを付与し、３人以上の場合、「集合写真」と判定するということが提案されている。（特許文献１）。
また、画像を縮小レイアウト処理した場合に、オリジナルの描画情報中に含まれる文字、線、画像が可読できないような印刷が実行されてしまうことの防止も提案されている。（特許文献２）。

特開２００６−３５０５５２公報 特開２００６−１８５３０７公報

しかしながら顔の個数で集合写真を判断した場合、写真にたまたま写りこんだ顔によって、集合写真と判断されてしまうことがあった。そのため、集合写真のキーワードが付与され、検索されてしまうことがあった。
また、画像を縮小処理する場合に、集合写真であれば顔を識別するために、縮小率を制限していたが、写真にたまたま写りこんだ対象外の顔によって画像が小さくなり過ぎないように縮小率が制限されてしまい必要以上に大きなサイズになっていた。

そこで、本発明は、写真が集合写真かどうかを精度よく判定することを目的とする。

上記の目的を達成するための本発明の一態様による画像処理装置は以下の構成を備える。すなわち、画像を取得する取得手段と、前記取得手段で取得した画像中に存在する顔画像を解析する解析手段と、前記解析手段で解析した画像中に存在する顔画像各々が集合写真の条件を満たすかどうかを判定する顔画像判定手段と、前記顔画像判定手段による判定結果に基づいて集合写真であるかどうかを判定する集合写真判定手段とを有する。

本発明によれば、写真が集合写真かどうかを精度よく判定する。

本発明の実施形態に係る構成を示すブロック図である。 本発明の実施形態に係る適用例である。 本発明の実施形態に係る処理手順を示すフローチャートである。 本発明の実施形態に係る処理手順を示すフローチャートである。

＜実施形態１＞
本願発明の実施の形態について説明する。図１は本願発明にかかる画像処理装置の構成例を示すブロック図である。この画像処理装置は、ＣＰＵであるデータ処理部１１５、記憶部１１１、表示部１１６、入力部１１３、ネットワークＩ／Ｆ部１１７で構成される。

データ処理部１１５は、画像解析部１１８、画像判定部１１９、集合写真判定部１２０等から構成され、後述するフローの処理の制御を行う。画像解析部１１８の詳細は後述の図４のフローで、画像判定部１１９、集合写真判定部１２０の処理の詳細は、後述の図３のフローのＳ３０２〜Ｓ３０９で説明する。

図示しないが、本画像処理装置はＲＯＭを備え、データ処理部１１５による制御の手順を記憶させた計算機プログラムやデータが格納されている。

また、図示しないが本画像処理装置はＲＡＭを備え、データ処理部１１５が処理するための制御プログラムを格納するとともに、データ処理部１１５が各種制御を実行する際の様々なデータの作業領域を提供する。

また、図示しないが、図１の画像処理装置は他の画像処理装置とネットワークに接続されている。

次に本実施形態による画像処理の処理フローを図３に基づいて説明する。以下の処理はデータ処理部１１５によって制御される。

図３の処理フローは画像取得処理（Ｓ３００）と画像解析処理（Ｓ３０１）と顔画像判定処理（Ｓ３０２〜Ｓ３０７）と、集合写真判定処理（Ｓ３０８、Ｓ３０９）から構成される。顔画像判定処理は更に、被写体人数判定処理（Ｓ３０２）と視線判定処理（Ｓ３０３）とカメラ目線判定処理（Ｓ３０４）と撮影条件判定処理（Ｓ３０５）と顔面積判定処理（Ｓ３０６）と顔間隔判定処理（Ｓ３０７）とから構成される。ここでは、各判定の順序は優先度の高い判定から順に行うこととする。集合写真判定処理は更に集合写真設定処理（Ｓ３０８）と集合写真否設定処理（Ｓ３０９）とから構成される。

図３のフローについて動作例を説明する。画像取得処理（Ｓ３００）では、カメラなどから読み込まれた写真等の画像が保存されている記憶部１１１から対象画像を取得する。次に画像解析処理（Ｓ３０１）では対象画像を解析して顔や顔の部位、視線などを検出する。詳細は後述する。

以降、顔画像判定処理をしてその判定結果から集合写真判定を行う説明をする。まず、検出された顔画像が集合写真の条件をみたすかどうかを判定する顔画像判定処理をする。被写体人数判定処理（Ｓ３０２）ではＳ３０１で検出した画像中に存在する顔画像の個数が閾値以上であるかを判定する。例えば、３人未満であれば対象画像は集合写真ではないとしてＳ３０９へ進む。３人以上であればＳ３０３へ進む。次に視線判定処理（Ｓ３０３）ではＳ３０１で検出した顔のうち視線が検出できた割合を判定する。例えば、認識された顔のうち識別できた視線の割合が７０％以上識別できればカメラ目線判定処理（Ｓ３０４）へ進む。７０％未満であればカメラ目線判定処理をスキップしてＳ３０５へ進む。

次にカメラ目線判定処理（Ｓ３０４）では、Ｓ３０１で検出した顔画像それぞれの視線がカメラ方向を向いているか否かで判定する。例えば判別した視線の９０％以上がカメラ方向を向いていれば対象画像は集合写真であると判定してＳ３０８へ進む。そうでなければ、Ｓ３０５へ進む。

次に撮影条件判定処理（Ｓ３０５）では、対象画像の撮影条件から判定する。例えば、焦点距離が５０ｍｍ以下である。かつ、絞りがＦ８以上である。このような条件を満たしていれば、次の判定（Ｓ３０６）へ進む。そうでなければ、対象画像は集合写真ではないと判定して、Ｓ３０９へ進む。

次に顔面積判定処理（Ｓ３０６）では、Ｓ３０１で検出した顔画像それぞれの面積を求め、その均一性で判定する。例えば、すべての顔の面積が顔の面積の平均値と比較して±３０％以内であるか否かを判定して条件を満たせば、次の判定（Ｓ３０７）へ進む。そうでなければ対象画像は集合写真ではないと判定して、Ｓ３０９へ進む。

次に顔間隔判定処理（Ｓ３０７）ではＳ３０１で検出した顔画像それぞれの重心を求め、その重心間の距離における均一性で判定する。例えば、隣接するすべての顔の重心の間隔がそれぞれ顔間の距離の平均値と比較して±３０％以内であるか否かを判定して条件を満たせば、対象画像は集合写真であると判定してＳ３０８へ進む。そうでなければ対象画像は集合写真ではないと判定して、Ｓ３０９へ進む。

集合写真設定処理（Ｓ３０８）では対象画像が集合写真であることを記憶部１１１に設定する。集合写真否設定処理（Ｓ３０９）では対象画像が集合写真ではないことを記憶部１１１に設定する。

図４の処理フローは図３の画像解析処理（Ｓ３０１）の詳細処理フローである。
図４の処理フローは顔検出処理（Ｓ４０１）と顔検出判定処理（Ｓ４０２）と顔輪郭検出処理（Ｓ４０３）と顔パーツ判別処理（Ｓ４０４）と顔の向き判別処理（Ｓ４０５）と顔の向きが正面判定処理（Ｓ４０６）と黒目部が中央判定処理（Ｓ４０７）と顔の向きが左判定処理（Ｓ４０８）と黒目部の左に白目部判定処理（Ｓ４０９）と黒目部の右に白目部判定処理（Ｓ４１０）とカメラへの視線設定処理（Ｓ４１１）から構成される。

顔検出技術、顔パーツ判別技術、視線判別技術などは、例えば特開２００９−０５９２５７や特開２００８−０１１４５７等にあるように公知技術を用いればよい。

以下に画像解析処理を構成する各処理の詳細を説明する。
顔検出処理は、画像データを解析し、対象画像データにおける被写体中に人物がいるか否かの検出、及び対象画像データの被写体中に人物がいる場合には、その人物における顔部の位置や大きさ等の検出を行う。なお、被写体である人物（以降、被写体人物と称する）における顔部の範囲は、顔部の主要な色等から検出することができる。

輪郭検出処理は、画像データにシャープネス強調処理を施して、対象画像データ中の被写体に対して輪郭の形状を検出する為の処理である。眉部や眼部による横長の影と鼻部による縦長の影とによって構成されるＴ字型の影を、画像データから抽出する。これは、画像データから例えば輝度情報のみを抽出して処理することで得られる。このようにして被写体人物の顔部を検出し、更に色情報より肌色に近い色を有する部分のみを抽出することで、被写体人物の顔部の詳細な範囲を検出することができる。

顔パーツ判別処理は、顔検出処理によって検出された被写体人物の顔部における眼部、眉部及び鼻部等の各種顔パーツの位置を判別するための処理である。

顔パーツ判別処理による被写体人物の各種顔パーツの位置を判定する方法の１つである色に基づいた判別方法について説明する。まず、被写体人物における顔部の中央付近を上下方向に走るコントラストの強い部分を、鼻部であると判定する。さらに、この鼻部の左右両脇部分における上部付近に存在する白色の部分は、白目部であると判定することができる。そして、白目部であると判定した白色の部分に囲まれた黒色の部分を、黒目部であると判定することができる（以降、白目部と黒目部とから構成される部分を眼部と称する）。このように、画像内における被写体人物の顔部の位置、鼻部の位置、白目部の位置、黒目部の位置等を判定することができる。

顔の向き判別処理は、顔部を上下方向に２分割した場合の分割線上における明るさを左右方向に分析することで、顔部における鼻筋の影の部分を検出することができる。影が中点より左であれば、顔部は向かって左向き、影が中点より右であれば、顔部は向かって右向きであると判定する。以上のようにして、被写体人物の顔の向きを判定することができる。

被写体人物の視線の方向を、眼部における明るさ分布を利用して検出する方法について詳細に説明する。視線判別は所定の幅を有し且つ周囲よりも明るいピークとして被写体人物の白目部を検出することができ、また黒目部の偏り具合によって被写体人物の視線の向きも検出することができる。

以下、黒目部の偏り具合による被写体人物の視線の向きの検出について詳細に説明する。
まず、黒目部が左右どちらにも偏らずに存在している場合、すなわち被写体人物が正面方向を向いている場合、白目部による明るさのピークが２つ存在し、この２つのピークに挟まれるように黒目部による暗い部分が存在する。

また、黒目部が向かって左側に偏って存在している場合、すなわち被写体人物が向かって左側を見ている場合、白目部による明るさのピークは１つしか存在せず且つピークは中点よりも右側に存在する。

さらに、黒目部が向かって右側に偏って存在している場合、すなわち被写体人物が向かって右側を見ている場合、白目部による明るさのピークは１つしか存在せず且つピークは中点よりも左側に存在する。

以上説明したように、被写体人物の顔部の向き及び視線の向きを、顔部及び眼部における明るさの分布パターンによって検出できるので、被写体人物がカメラの方を見ているか否かを判定することができる。

図４の処理フローに基づいて動作例を説明する。顔検出処理（Ｓ４０１）によって、画像データを解析し、画像データの被写体中に人物がいるか否かの判定、及び画像データの被写体中に人物がいる場合には、その顔部を検出する。

顔検出判定（Ｓ４０２）では、顔部の検出に成功したか否かを判定する。検出できなかった場合、終了し、検出した場合Ｓ４０３へ進む。顔輪郭検出処理（Ｓ４０３）ではＳ４０１で検出した顔の輪郭を検出する。

顔パーツ判別処理（Ｓ４０４）ではＳ４０３で検出した顔輪郭から各パーツを判別する。
顔の向き判別処理（Ｓ４０５）ではＳ４０４で判別した顔の各パーツから顔の向きを判別する。

顔の向きが正面判定処理（Ｓ４０６）ではＳ４０５にて行った顔部の向き判別結果、顔部がカメラの方向を向いているか否か（正面を向いているか）を判定する。被写体の正面を向いていればＳ４０７へ進む。向いていなければＳ４０８へ進む。

黒目部が中央判定（Ｓ４０７）ではＳ４０４によって、黒目部の左右両隣に白目部が存在しているか否か（黒目部が中央か）を判定する。中央であれば、カメラへ視線が向いているとしてＳ４１１へ進む。中央でなければカメラへ視線が向いていないとして終了する。

顔の向きが左判定（Ｓ４０８）ではＳ４０５において行った顔部の向き判別結果、被写体の顔部が左側を向いているか否かを判定する。左を向いていればＳ４０９へ進む。右を向いていればＳ４１０へ進む。

黒目部の左に白目部判定処理（Ｓ４０９）では、Ｓ４０４によって、黒目部の向かって右側に白目部が存在しているか否かを判定する。向いていればカメラへ視線が向いているとしてＳ４１１へ進む。そうでなければ終了する。

黒目部の右に白目部判定処理（Ｓ４１０）では、顔部が向かって右側を向いた状態で、視線は向かって左側を向いているような状態となっている。この状態は、被写体人物がカメラへ視線が向いているとして、Ｓ４１１へ進む。そうでない場合、終了する。

カメラへの視線設定処理（Ｓ４１１）では、視線がカメラへ向いていることを記憶装置に記憶する。このカメラへの視線判別は、画像内の被写体人物の人数分行われる。

以上のように、写真が集合写真かどうかを判定後、集合写真であると判定された場合、更に次のステップとして、写真に集合写真のメタデータ（キーワード）を付与してもよい。更に、このメタデータを利用して、例えば集合写真のメタデータが付与された写真を複数の写真の中から優先的に検索結果として提示したり、代表写真に決定する等を行ってもよい。

以上のように、本発明は写真が集合写真であるかどうかを精度良く判定する。そのため、ユーザが効率的な検索や選択が可能となる。

＜実施形態２＞
実施形態２では、集合写真と判定された写真は、縮小率を制限する例を説明する。写真をレイアウトする際に縮小して配置することがある。その際の縮小率に関する実施形態である。装置構成及び、集合写真判定までの処理は実施形態１と同様であるので省略する。

具体的な適用例は、図２の（ａ）の写真を図２（ｂ）のようにレイアウトする例を説明する。集合写真ではないと判定した場合、２０１を２０３のように顔を判別できない大きさまで縮小することも可能とする。そして、集合写真と判別された場合、２０２を２０４のように、顔が判別不可能な大きさにならないように縮小率を制限する。この際に、例えば図３のＳ３０６で求めた顔面積の平均に最も近い顔が所定面積より小さくならないよう制限してもよい。

このように集合写真であるか否かが精度良く判定されることによって、写真を縮小した場合に、集合写真は顔が識別できる大きさで表示し、単に人が写っている風景等はユーザの指示に応じて小さく表示することが可能となる。

＜他の実施形態＞
実施形態１では、画像判定部では、複数の判定処理を重要度の高い判定から行ったが、集合写真判定の各判定の組合せや各判定の順序は必ずしも実施形態１の通りである必要はない。また各判定に重要度を加味して総合的に判定してもよい。例として多変量解析の１手法である主成分分析などを用いることができる。具体的には、学習データから複数の判定スコア間の共分散行列を生成する。この共分散行列の固有値問題の解を得ることで次元を縮退して少数個の無相関な合成スコアを生成する。この合成スコアに基づいて対象画像が集合写真であるかを判定可能である。

以上、実施形態を詳述したが、本発明は上述の実施形態に限定されるのではなく、本発明の趣旨を逸脱しない限りにおいて適宜変更が可能である。

本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 画像を取得する取得手段と、
   前記取得手段で取得した画像中に存在する顔画像を解析する解析手段と、
   前記解析手段で解析した顔画像それぞれが集合写真の条件を満たすかどうかを判定する顔画像判定手段と、
   前記顔画像判定手段による判定結果に基づいて集合写真であるかどうかを判定する集合写真判定手段と
   を有することを特徴とする画像処理装置。
2. 前記集合写真判定手段によって画像が集合写真であると判定された場合、該画像の縮小率を制限する制限手段を更に有することを特徴とする請求項１に記載の画像処理装置。
3. 前記制限手段は、該画像中の顔画像が判別不可能な大きさにならないように縮小率を制限することを特徴とする請求項２に記載の画像処理装置。
4. 前記制限手段は、該画像中の顔画像の平均値が所定の大きさ以下にならないように縮小率を制限することを特徴とする請求項２または３のいずれか１項に記載の画像処理装置。
5. 前記顔画像判定手段は、
   前記画像の顔画像の数が予め定めた閾値以上かどうかを比較する比較手段を更に有することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記顔画像判定手段は、
   前記顔画像それぞれの視線がカメラ方向を向いているかどうかを判定する視線判定手段を更に有することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記顔画像判定手段は、前記顔画像それぞれの顔画像の面積の均一性を判定する顔面積判定手段を更に有することを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記顔画像判定手段は、前記顔画像それぞれが隣接する顔画像との距離の均一性を判定する顔間隔判定手段を更に有することを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記顔画像判定手段は、
   前記画像の撮影条件を判定する撮影条件判定手段を更に有することを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 前記集合写真判定手段で集合写真であると判定された場合、該画像に集合写真のメタデータを付与することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 取得手段が画像を取得する取得工程と、
    解析手段が、前記取得工程で取得した画像中に存在する顔画像を解析する解析工程と、
    顔画像判定手段が、前記解析工程で解析した顔画像が集合写真の条件を満たすかどうかを判定する顔画像判定工程と、
    集合写真判定手段が、前記顔画像判定工程による判定結果に基づいて集合写真であるかどうかを判定する集合写真判定工程と
    を有することを特徴とする画像処理装置の制御方法。
12. 請求項１１に記載の画像処理装置の制御方法の各工程をコンピュータに実行させるためのプログラム。

Images