JP2010026630A - 画像検索装置および画像検索方法 - Google Patents
画像検索装置および画像検索方法 Download PDFInfo
- Publication number
- JP2010026630A JP2010026630A JP2008184774A JP2008184774A JP2010026630A JP 2010026630 A JP2010026630 A JP 2010026630A JP 2008184774 A JP2008184774 A JP 2008184774A JP 2008184774 A JP2008184774 A JP 2008184774A JP 2010026630 A JP2010026630 A JP 2010026630A
- Authority
- JP
- Japan
- Prior art keywords
- face
- photo
- image
- suitability
- background color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
【課題】複数の写真画像の中から証明写真用に適した写真画像を容易に検索する。
【解決手段】証明写真の縦横比に合わせてトリミングされた画像における人物の顔を認識し(S300〜310)、画像に占める顔比率を算出し算出した顔比率が証明写真用に適合している度合いを顔比率適合度Taとして設定し(S350)、認識された顔の略中心である顔中心位置を検出し検出した顔中心位置が証明写真用に適合している度合いを顔中心適合度Tbとして設定し(S360)、認識された顔以外の画像の背景色を判定し判定した背景色が証明写真用に適合している度合いを背景色適合度Tcとして設定し(S370)、顔比率適合度Taと顔中心適合度Tbと背景色適合度Tcとに各係数ka,kb,kcを乗じて重み付けして評価値Hを算出する(S390)。この結果、評価値Hに基づいて顔の大きさや位置、背景色が証明写真に適した画像を容易に検索することができる。
【選択図】図6
【解決手段】証明写真の縦横比に合わせてトリミングされた画像における人物の顔を認識し(S300〜310)、画像に占める顔比率を算出し算出した顔比率が証明写真用に適合している度合いを顔比率適合度Taとして設定し(S350)、認識された顔の略中心である顔中心位置を検出し検出した顔中心位置が証明写真用に適合している度合いを顔中心適合度Tbとして設定し(S360)、認識された顔以外の画像の背景色を判定し判定した背景色が証明写真用に適合している度合いを背景色適合度Tcとして設定し(S370)、顔比率適合度Taと顔中心適合度Tbと背景色適合度Tcとに各係数ka,kb,kcを乗じて重み付けして評価値Hを算出する(S390)。この結果、評価値Hに基づいて顔の大きさや位置、背景色が証明写真に適した画像を容易に検索することができる。
【選択図】図6
Description
本発明は、画像検索装置および画像検索方法に関し、詳しくは、複数の写真画像の中から証明写真用に適した写真画像を検索する画像検索装置および画像検索方法に関する。
従来より、デジタルカメラで撮影した写真画像をメモリに保存するものが知られており、近年のメモリの大容量化に伴ってメモリ内に多数の写真画像を保存することができるようになっている。一方、撮影された写真画像から肌色の領域を抽出し、抽出した肌色領域に基づいて人物の顔領域を検出するものが知られている(例えば、特許文献1参照)。このため、メモリに保存されている多数の写真画像の中から人物の顔が含まれている写真画像を検索することは、ユーザの手を煩わせることなく容易にできるようになっている。
特開2000−105819号公報
ところで、各種証明書や受験票などに添付する証明写真用の画像をメモリに保存されている多数の写真画像の中から選ぶ場合がある。この場合、上述したように、予め人物の顔領域が含まれている写真画像に絞り込んでから選ぶことが考えられる。しかし、証明写真用の画像は顔の大きさや位置、背景色についての基準が定められており、顔領域が含まれている写真画像に絞り込んだとしてもその基準を満たすか否かをユーザが一枚ずつ確認しなければならず、ユーザにとっては煩わしい作業となっていた。
本発明の画像検索装置および画像検索方法は、複数の写真画像の中から証明写真用に適した写真画像を容易に検索することを主目的とする。
本発明は、上述の目的を達成するために以下の手段を採った。
本発明の画像検索装置は、
複数の写真画像の中から証明写真用に適した写真画像を検索する画像検索装置であって、
写真画像における人物の顔を認識する顔認識手段と、
該認識された顔が写真画像に占める顔比率を算出し、該算出した顔比率が証明写真用に適合している度合いを顔比率適合度として設定する顔比率適合度設定手段と、
該認識された顔の略中心である顔中心を検出し、該顔中心の写真画像における位置が証明写真用に適合している度合いを顔中心適合度として設定する顔中心適合度設定手段と、
該認識された顔以外の写真画像の背景色を判定し、該判定した背景色が証明写真用に適合している度合いを背景色適合度として設定する背景色適合度設定手段と、
前記設定された顔比率適合度と顔中心適合度と背景色適合度とに基づいて写真画像が証明写真に適しているか否かを示す評価値を設定し、該設定した評価値に基づいて複数の写真画像の中から証明写真用に適した写真画像を検索する画像検索手段と
を備えることを要旨とする。
複数の写真画像の中から証明写真用に適した写真画像を検索する画像検索装置であって、
写真画像における人物の顔を認識する顔認識手段と、
該認識された顔が写真画像に占める顔比率を算出し、該算出した顔比率が証明写真用に適合している度合いを顔比率適合度として設定する顔比率適合度設定手段と、
該認識された顔の略中心である顔中心を検出し、該顔中心の写真画像における位置が証明写真用に適合している度合いを顔中心適合度として設定する顔中心適合度設定手段と、
該認識された顔以外の写真画像の背景色を判定し、該判定した背景色が証明写真用に適合している度合いを背景色適合度として設定する背景色適合度設定手段と、
前記設定された顔比率適合度と顔中心適合度と背景色適合度とに基づいて写真画像が証明写真に適しているか否かを示す評価値を設定し、該設定した評価値に基づいて複数の写真画像の中から証明写真用に適した写真画像を検索する画像検索手段と
を備えることを要旨とする。
この本発明の画像検索装置では、写真画像における人物の顔を認識し、認識された顔が写真画像に占める顔比率を算出し該算出した顔比率が証明写真用に適合している度合いを顔比率適合度として設定し、認識された顔の略中心である顔中心を検出し該顔中心の写真画像における位置が証明写真用に適合している度合いを顔中心適合度として設定し、認識された顔以外の写真画像の背景色を判定し該判定した背景色が証明写真用に適合している度合いを背景色適合度として設定し、設定された顔比率適合度と顔中心適合度と背景色適合度とに基づいて写真画像が証明写真に適しているか否かを示す評価値を設定し設定した評価値に基づいて複数の写真画像の中から証明写真に適した写真画像を検索する。これにより、ユーザが一枚ずつ写真画像を確認しなくても顔の大きさや位置、背景色が証明写真に適した写真画像を検索することができる。この結果、複数の写真画像の中から証明写真用に適した写真画像を容易に検索することができる。
こうした本発明の画像検索装置において、写真画像の縦横比が証明写真用の縦横比と略一致するよう写真画像の縦か横のいずれか一方を該一方の辺の中心を基準としてトリミングするトリミング手段を備え、前記顔比率適合度設定手段と前記顔中心適合度設定手段と前記背景色適合度設定手段は、前記トリミング手段によりトリミングされた写真画像に対してそれぞれ適合度を設定する手段であるものとすることもできる。こうすれば、証明写真用の縦横比に合うよう予めトリミングされた写真画像に対して各適合度が設定されるので、証明写真用に適した画像を精度よく検索することができる。
また、本発明の画像検索装置において、前記画像検索手段は、前記設定された顔比率適合度と顔中心適合度と背景色適合度とに重み付けをした値に基づいて前記評価値を設定する手段であるものとすることもできる。こうすれば、重要度の高い適合度を重視して写真画像を検索することができる。この態様の本発明の画像検索装置において、前記画像検索手段は、背景色適合度,顔中心適合度,顔比率適合度の順に大きくなる傾向の重みを用いて前記評価値を設定する手段であるものとすることもできる。
さらに、本発明の画像検索装置において、写真画像が撮影された期間に関する指定を受け付ける指定期間受付手段を備え、前記画像検索手段は、写真画像の撮影日が該受け付けられた指定期間内にあるか否かにより前記評価値を設定する手段であるものとすることもできる。こうすれば、証明写真用の画像としてある期間内に撮影された写真画像を用いることが指定されているときにその期間に適した写真画像を検索することができる。
また、本発明の画像検索装置において、前記認識された人物の顔が証明写真の作成対象として予め登録されている人物の顔と一致するか否かを照合する照合手段を備え、前記画像検索手段は、前記照合手段により一致するとされた顔が認識されない写真画像については検索対象から除外する手段であるものとすることもできる。こうすれば、証明写真を作成する対象の人物が写っている画像に絞って効率よく写真画像を検索することができる。
さらに、本発明の画像検索装置において、写真画像を表示する表示手段と、前記複数の写真画像を既定の表示順に拘わらず前記評価値の高い順に並べ替えて表示されるよう前記表示手段を制御する表示制御手段とを備えるものとすることもできる。こうすれば、証明写真用に適した写真画像として検索されたものを容易に確認することができる。
本発明の画像検索方法は、
複数の写真画像の中から証明写真用に適した写真画像を検索する画像検索方法であって、
(a)写真画像における人物の顔を認識するステップと、
(b)前記ステップ(a)により認識された顔が写真画像に占める顔比率を算出し、該算出した顔比率が証明写真用に適合している度合いを顔比率適合度として設定するステップと、
(c)前記ステップ(a)により認識された顔の略中心である顔中心を検出し、該顔中心の写真画像における位置が証明写真用に適合している度合いを顔中心適合度として設定するステップと、
(d)前記ステップ(a)により認識された顔以外の写真画像の背景色を判定し、該判定した背景色が証明写真用に適合している度合いを背景色適合度として設定するステップと、
(e)前記ステップ(b)ないし(d)により設定された顔比率適合度と顔中心適合度と背景色適合度とに基づいて写真画像が証明写真に適しているか否かを示す評価値を設定し、該設定した評価値に基づいて複数の写真画像の中から証明写真用に適した写真画像を検索するステップと
を含むことを要旨とする。
複数の写真画像の中から証明写真用に適した写真画像を検索する画像検索方法であって、
(a)写真画像における人物の顔を認識するステップと、
(b)前記ステップ(a)により認識された顔が写真画像に占める顔比率を算出し、該算出した顔比率が証明写真用に適合している度合いを顔比率適合度として設定するステップと、
(c)前記ステップ(a)により認識された顔の略中心である顔中心を検出し、該顔中心の写真画像における位置が証明写真用に適合している度合いを顔中心適合度として設定するステップと、
(d)前記ステップ(a)により認識された顔以外の写真画像の背景色を判定し、該判定した背景色が証明写真用に適合している度合いを背景色適合度として設定するステップと、
(e)前記ステップ(b)ないし(d)により設定された顔比率適合度と顔中心適合度と背景色適合度とに基づいて写真画像が証明写真に適しているか否かを示す評価値を設定し、該設定した評価値に基づいて複数の写真画像の中から証明写真用に適した写真画像を検索するステップと
を含むことを要旨とする。
この本発明の画像検索方法によれば、写真画像における人物の顔を認識し、認識された顔が写真画像に占める顔比率を算出し該算出した顔比率が証明写真用に適合している度合いを顔比率適合度として設定し、認識された顔の略中心である顔中心を検出し該顔中心の写真画像における位置が証明写真用に適合している度合いを顔中心適合度として設定し、認識された顔以外の写真画像の背景色を判定し該判定した背景色が証明写真用に適合している度合いを背景色適合度として設定し、設定された顔比率適合度と顔中心適合度と背景色適合度とに基づいて写真画像が証明写真に適しているか否かを示す評価値を設定し設定した評価値に基づいて複数の写真画像の中から証明写真に適した写真画像を検索する。これにより、ユーザが一枚ずつ写真画像を確認しなくても顔の大きさや位置、背景色が証明写真に適した写真画像を検索することができる。この結果、複数の写真画像の中から証明写真用に適した写真画像を容易に検索することができる。
次に、本発明を実施するための最良の形態を図面を用いて説明する。図1は、本発明の画像検索装置の一実施形態であるフォトプリンタ10の構成の概略を示す構成図である。
本実施形態のフォトプリンタ10は、図1に示すように、用紙Pへの印刷を実行するプリンタユニット20と、メモリカードスロット40に挿入されたメモリカード42とのデータの入出力を司るメモリカードコントローラ44と、各種情報を表示部52に表示したりユーザの指示をボタン類54の操作を介して入力したりする操作パネル50と、装置全体の制御を司るメインコントローラ60とを備える。このフォトプリンタ10は、プリンタユニット20やメモリカードコントローラ44,メインコントローラ60がバス12を介して各種制御信号やデータのやり取りができるよう構成されている。
プリンタユニット20は、プリンタASIC22と周知のインクジェット方式として構成されたプリンタエンジン24とを備える。プリンタASIC22は、プリンタエンジン24を制御する集積回路であり、メインコントローラ60から印刷指令を受けると、印刷対象の画像ファイルに基づいて用紙Pに印刷するようプリンタエンジン24を制御する。
メモリカードコントローラ44は、メモリカードスロット40に挿入されたメモリカード42との間でデータの入出力を行うものである。メモリカード42には、デジタルカメラなどにより撮影された画像ファイルが複数保存され、この画像ファイルには、所定形式(例えばJPEG形式)で圧縮された画像データや画像データの付加情報(撮影日時や画像の上下方向)などが格納されている。メモリカードコントローラ44は、メモリカード42に保存されている画像ファイルを読み出してメインコントローラ60に送信したりメインコントローラ60の指令に基づいてメモリカード42にデータを書き込んだりする。
操作パネル50は、表示部52とボタン類54とを備える。表示部52は、液晶ディスプレイであり、メニュー選択や設定を行なう各種操作画面などが表示される。また、ボタン類54は、電源をオンオフする電源ボタン54aや印刷開始を指示するスタートボタン54b,各種設定を行なう設定ボタン54c,選択画像に対する印刷枚数やズーム倍率などを増減する+−ボタン54d,各種モードを選択するモード選択ボタン54e,各種項目や設定を選択する上下左右の矢印キー54f,選択した設定を有効にするOKボタン54g,ひとつ前の画面に戻る戻るボタン54hなどがあり、内部通信インタフェース69を介してメインコントローラ60にユーザの指示を入力できるようになっている。モード選択ボタン54eにより選択可能なモードとしては、メモリカード42に保存された画像ファイルを選択して印刷する通常印刷モードやメモリカード42に保存された画像ファイルの中から証明写真用の画像を検索して印刷する証明写真用画像印刷モードなどがある。
メインコントローラ60は、CPU62を中心とするマイクロプロセッサとして構成されており、各種処理プログラムなどを記憶したROM64と、一時的にデータを記憶するRAM66と、電気的に書き換え可能で電源を切ってもデータは保持されるフラッシュメモリ68と、操作パネル50との通信を可能とする内部通信インタフェース69とを備え、これらはバス12を介して互いに信号のやり取りが可能なように接続されている。メインコントローラ60は、プリンタユニット20やメモリカードコントローラ44からの各種動作信号や各種検出信号を入力したり、操作パネル50のボタン類54の操作に応じて発生する操作信号を入力したりする。また、メモリカード42から画像ファイルを読み出してメインコントローラ60へ出力する指令をメモリカードコントローラ44に出力したり、画像データの印刷を実行するようプリンタユニット20に指令を出力したり、操作パネル50に表示部52の制御指令を出力したりする。
次に、こうして構成された本実施形態のフォトプリンタ10の動作、特に、証明写真用の画像を検索して印刷する際の動作について説明する。図2は、メインコントローラ60により実行される証明写真用画像印刷処理ルーチンの一例を示すフローチャートである。この処理は、メモリカードスロット40にメモリカード42が挿入されモード選択ボタン54eにより証明写真用画像印刷モードにされたときに実行される。
証明写真用画像印刷処理ルーチンが実行されると、メインコントローラ60のCPU62は、まず、証明写真のサイズを選択するよう指示する証明写真サイズ選択画面70を表示部52に表示し(ステップS100)、選択操作を待つ(ステップS110)。この証明写真サイズ選択画面70の一例を図3に示す。図示するように、証明写真のサイズが一覧表示されており、矢印キー54fを操作してカーソル70aを移動させOKボタン54gを押下するとサイズが選択される。ここで、証明写真のサイズは、履歴書用(縦4.0cm×横3.0cm)やパスポート用(縦4.5cm×横3.5cm)、各種資格試験用などのサイズが予めROM64に複数記憶され、そのタテT0×ヨコY0のサイズを一覧表示するものとした。証明写真サイズが選択されると、撮影日を指定するか否かを選択するよう指示する撮影日指定画面72を表示部52に表示し(ステップS120)、入力操作を待つ(ステップS130)。この撮影日指定画面72の一例を図4に示す。図4(a)は、撮影日指定の有無を選択する画面であり、図4(b)は、撮影日指定として年月を設定する画面である。図4(a)において、矢印キー54fを操作してカーソル72aを移動させ「指定あり」を選択してOKボタン54gを押下すると図4(b)に切り替わり、図4(b)において矢印キー54fを操作し西暦年の下2桁や月にカーソル72aを移動させて+−ボタン54dを操作し所望の年月としてOKボタン54gを押下すると指定年月が設定される。なお、撮影日指定が不要のときには、図4(a)において「指定なし」を選択しOKボタン54gを押下する。撮影日指定が入力されると、証明写真の作成対象としての人物を指定するか否かを選択するよう指示する人物指定画面74を表示部52に表示し(ステップS140)、入力操作を待つ(ステップS150)。この人物指定画面74の一例を図5に示す。図5(a)は、人物指定の有無を選択する画面であり、図5(b)は、一覧表示の中から人物を指定する画面である。ここで、一覧表示される人物は、予め入力された顔写真に対して後述する顔認識処理を実行し目、鼻、口などの顔の特徴量を人物名に関連付けてフラッシュメモリ68に登録されているものとする。なお、図5の画面操作は、前述した各画面操作と同様であり説明は省略する。人物指定の入力がなされると、証明写真適合度評価処理を実行する(ステップS160)。ここで、証明写真用画像印刷処理ルーチンの説明を中断して、証明写真適合度評価処理について説明する。
証明写真適合度評価処理は、図6に示す証明写真適合度評価処理ルーチンに基づいて行われる。証明写真適合度評価処理ルーチンでは、まず、証明写真の縦横比に合わせて画像をトリミングする(ステップS300)。画像をトリミングする様子を図7に示す。図7(a)が縦向きの画像、図7(b)が横向きの画像をトリミングする様子を示す。図7(a)では、画像の縦方向の長さT1とトリミング後の横方向の長さY1との比がユーザに選択された証明写真の縦横比T0:Y0に一致するよう画像の横辺のセンタcを中心としてトリミングする。図7(b)も同様に画像の縦横比T2:Y2が証明写真の縦横比T0:Y0に一致するようトリミングする。なお、図示するように、トリミング後の画像の中心を原点(0,0)とするxy座標系を定めるものとする。次に、トリミングされた画像の中から人物の顔を認識する顔認識処理を実行する(ステップS310)。顔認識処理としては、例えば、画像から肌色に近い色を持つ画素がある程度の数以上集合している肌色画素の集合領域を顔候補領域として抽出し、抽出した顔候補領域の中から目を抽出できたときに顔を認識できたとする方法があげられる。ここで、肌色か否かの判定は、予めRGB色空間上の肌色のRGB値の範囲を定め各画素のRGB値が定められた肌色のRGB値の範囲内にあるか否かにより行われ、目の抽出は、抽出した顔候補領域の中でより輝度値の低い領域が2つ並んでいる領域を抽出することにより行われる。
次に、CPU61は、画像の中から顔を認識できたか否かを判定し(ステップS320)、顔を認識できなかったときは、本ルーチンを終了する。一方、顔を認識できたときは、人物指定がなされているか否かを判定し(ステップS330)、人物指定がなされていれば、認識した顔が指定人物の顔と一致するか否かを判定する。ここで、顔の一致の判定は、例えば、上述した予め人物毎に登録されている目、鼻、口などの特徴量と認識した顔の特徴量とを比較し各特徴量が一致する度合いを判定することにより行われる。認識した顔が指定人物の顔と一致しないときは、本ルーチンを終了する。ステップS330で人物指定がなされていないときやステップS330で人物指定がなされており且つ認識した顔と指定人物の顔とが一致するときは、顔比率適合度Taを設定し(ステップS350)、顔中心適合度Tbを設定し(ステップS360)、背景色適合度Tcを設定し(ステップS370)、撮影日適合度Tdを設定する(ステップS380)。ここで、証明写真適合度評価処理ルーチンの説明を中断して、各適合度の設定処理について順に説明する。
まず、顔比率適合度Taの設定処理について説明する。この処理は、図8に例示する顔比率適合度設定処理ルーチンにより行われる。顔比率適合度設定処理ルーチンでは、まず、証明写真の顔比率a0を読み込む(ステップS500)。ここで、顔比率a0について説明する。証明写真はその性質上顔がはっきりと認識できることが重要であり、証明写真中の理想的な顔の縦の長さと横の長さ、即ち理想的な顔の大きさが定められることが多い。この理想的な顔の大きさが証明写真全体に占める比率を顔比率a0といい、この顔比率a0は、証明写真の顔の面積を算出して算出した顔の面積を証明写真全体の面積で除することにより求め、予め各サイズ毎にROM64に記憶しておくものとした。次に、認識した顔の面積Fsをトリミング後の画像面積Gsで除して画像の顔比率aを算出する(ステップS510)。ここで、顔の面積Fsは、顔認識処理により抽出した肌色画素の集合領域に基づいて求められ、画像面積Gsは、縦辺の長さT1(T2)と横辺の長さY1(Y2)との積として求められる。続いて、画像の顔比率aから証明写真の顔比率a0を減じたものの絶対値を顔比率差分Aとして算出し(ステップS520)、顔比率差分Aに基づいて画像の顔比率a0が証明写真に適合している度合いを示す顔比率適合度Taを設定して(ステップS530)、本ルーチンを終了する。ここで、顔比率適合度Taは、実施例では、顔比率差分Aとの関係を予め求めて顔比率適合度設定マップとしてROM64に記憶しておき、顔比率差分Aが与えられるとマップから対応する顔比率適合度Taを導出して設定するものとした。図9に顔比率適合度設定マップの一例を示す。図示するように、顔比率適合度Taは、顔比率差分Aが値0のときには最大値10が設定され、顔比率差分Aが大きくなるにつれ最大値10から値2ずつ段階的に小さくなる値が設定される。この処理により、画像の顔比率が証明写真に適合している度合いを数値化することができる。
次に、顔中心適合度Tbの設定処理について説明する。この処理は、図10に例示する顔中心適合度設定処理ルーチンにより行われる。顔中心適合度設定処理ルーチンでは、まず、証明写真の顔の中心位置の座標である中心位置座標(x0,y0)を読み込む(ステップS600)。ここで、中心位置座標について説明する。上述したように、証明写真においては理想的な顔の大きさが定められるが、同時に顔の一部が証明写真からはみ出すことのないよう証明写真中の理想的な顔の位置、即ち理想的な顔の中心位置が定められることが多い。この理想的な顔の中心位置を証明写真の中心を原点とするxy座標系を図7に示す画像のxy座標系と同様に定めて中心位置座標(x0,y0)として求め、予め各サイズ毎にROM64に記憶しておくものとした。次に、証明写真と画像の大きさの違いを考慮して、証明写真の顔の中心位置座標を画像の中心位置座標に置き換えるときの座標換算に必要な換算係数αを算出する(ステップS610)。ここで、換算係数αは、画像の縦辺の長さT1を証明写真の縦辺の長さT0で除して求められる。続いて、認識した顔の中心位置Fcの位置座標(x1,y1)を検出する(ステップS620)。ここで、顔の中心位置Fcは、顔認識処理において抽出した肌色画素の集合領域の中心位置として求められ、xy座標系における位置座標として検出するものとした。位置座標を検出すると、中心位置のズレ量Bを算出する(ステップS620)。ここで、ズレ量Bは、中心位置Fcの位置座標(x1,y1)と換算係数を乗じた証明写真の中心位置座標(αx0,αy0)との距離として求められる。そして、算出したズレ量Bに基づいて、顔の中心位置Fcが証明写真に適合している度合いを示す顔中心適合度Tbを設定して(ステップS630)、本ルーチンを終了する。ここで、顔中心適合度Tbは、実施例では、ズレ量Bとの関係を予め求めて顔中心適合度設定マップとしてROM64に記憶しておき、ズレ量Bが与えられるとマップから顔中心適合度Tbを導出して設定するものとした。図11に顔中心適合度マップの一例を示す。図示するように、ズレ量Bが値0のときには最大値10が設定され、ズレ量Bが大きくなるにつれ最大値10から値2ずつ段階的に小さくなる値が設定される。この処理により、画像の顔の中心位置が証明写真に適合している度合いを数値化することができる。
続いて、背景色適合度Tcの設定処理について説明する。この処理は、図12に例示する背景色適合度設定処理ルーチンにより行われる。背景色適合度設定処理ルーチンでは、まず、画像における顔以外の領域、即ち背景領域の画素をサンプリングする(ステップS700)。画素をサンプリングする様子を図13に示す。サンプリングは、図示するように、証明写真に用いられる顔の下端より上側の背景領域から複数抽出するものとした。次に、サンプリングした各画素のRGB値に基づいて各画素の色Gcolを判定する(ステップS710)。各画素の色Gcolの判定は、例えば、予めRGB色空間上の各色のRGB値の範囲を定めておき、各画素のRGB値がどの色のRGB値の範囲内にあるか否かを判定することにより行うものとした。続いて、判定した各画素の色Gcolに基づいて、背景色Cを判定する(ステップS720)。ここで、背景色Cの判定は、各画素の色Gcolに基づいて行うものとし、例えば、判定された各画素の色Gcolのうち95%以上が同じ青色であるときには青色の単色であるなどと判定するものとした。そして、判定した背景色Cが単色であるか否かを判定し(ステップS730)、単色のときには、その色が黒であるか、白,青,緑のいずれかであるか、その他の色(赤やマゼンタなど)であるかを判定する(ステップS740)。単色でないときや単色であっても黒色のときには、背景色Cが証明写真には適していないとして、背景色Cが証明写真用に適合している度合いを示す背景色適合度Tcに値0を設定する(ステップS750)。一方、背景色Cが単色であって且つ証明写真に用いられることの多い白,青,緑のいずれかのときには、背景色適合度Tcに最大値10を設定し(ステップS760)、その他の色のときには、背景色適合度Tcに値5を設定して(ステップS770)、本ルーチンを終了する。この処理により、背景の色が証明写真に適合している度合いを数値化することができる。
次に、撮影日適合度Tdの設定処理について説明する。この処理は、図14に例示する撮影日適合度設定処理ルーチンにより行われる。撮影日適合度設定処理ルーチンでは、まず、ユーザにより撮影日指定がなされているか否かを判定し(ステップS800)、撮影日指定がなされていなければ、そのまま本ルーチンを終了する。一方、撮影日指定がなされていれば画像データに含まれている撮影日Dを読み込んで(ステップS810)、撮影日Dが指定年月以降であるか否かを判定する(ステップS820)。指定年月以降でなければ撮影日Dが証明写真に適合している度合いを示す撮影日適合度Tdに最小値0を設定し(ステップS830)、指定年月以降であれば撮影日適合度Tdに最大値10を設定して(ステップS840)、本ルーチンを終了する。この処理により、撮影日が証明写真に適合している度合いを数値化することができる。
図6の証明写真適合度評価処理ルーチンに戻って、こうして各適合度を設定すると、設定した各適合度に各係数ka,kb,kc,kdを乗じて重み付けした値を合算し評価値Hを算出する(ステップS390)。ここで、各係数は、証明写真にとって重要とされる適合度が重み付けされるよう予め定めた値がROM64に記憶されており、本実施例では、係数ka>係数kb>係数kc>係数kdとなるように、例えば、係数kaは値1.0,係数kbは値0.8,係数kcは値0.6,係数kdは値0.4と設定するものとした。このような順に係数を設定する理由について説明する。証明写真は、前述したように顔がはっきりと認識できる必要があるため、各適合度のうち顔の認識しやすさに直接影響する顔比率適合度Ta,顔中心適合度Tbが重要となる。特に、顔の大きさは最も影響を与える要素であるため、顔比率適合度Ta,顔中心適合度Tbの順とした。また、背景色も顔の認識しやすさに影響を与える要素であるため、背景色適合度Tcは撮影日適合度Tdよりも重要と考え、背景色適合度Tc,撮影日適合度Tdの順とした。評価値Hを算出すると、評価値HをRAM66に登録して(ステップS400)、本ルーチンを終了する。
図2の証明写真用画像印刷処理ルーチンに戻って、こうして評価値Hを登録すると、次の画像があるか否かを判定し(ステップS170)、次の画像があるときは、ステップS160に戻って処理を繰り返す。複数の画像に対してこのような処理を繰り返したときの各適合度と評価値Hの一例を図15に示す。図中各適合度の()付きの数値は重み付け後の値を示す。図示するように、No1は背景色適合度Tcが低いために評価値Hが低く、No2は顔比率適合度Taが低いために評価値Hが低くなっている。No4とNo5はともに評価値Hは高く、特に撮影日適合度Tdも適合するNo5が最も評価値Hが高い。なお、No3は顔が認識されないので何らの評価もされていない。ステップS170で次の画像がないと判定されたときには、証明写真に用いる画像を選択するよう指示する画像選択画面76を表示部52に表示し(ステップS180)、選択操作を待つ(ステップS190)。画像選択画面76の一例を図16に示す。図示するように、画面左側から評価値Hの高い順に画像が表示されている。画像が選択されると、選択された画像を印刷処理して(ステップS200)、本ルーチンを終了する。なお、印刷処理におけるプレビュー画面でのズーム調整により顔の大きさの微調整などを実施するものとしても構わない。
ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態の図6の証明写真適合度評価処理ルーチンのステップS310の顔認識処理を実行するメインコントローラ60が本発明の「顔認識手段」に相当し、図6の証明写真適合度評価処理ルーチンのステップS350の処理と図8の顔比率適合度設定処理ルーチンを実行するメインコントローラ60が「顔比率適合度設定手段」に相当し、図6の証明写真適合度評価処理ルーチンのステップS360の処理と図10の顔中心適合度設定処理ルーチンを実行するメインコントローラ60が「顔中心適合度設定手段」に相当し、図6の証明写真適合度評価処理ルーチンのステップS370の処理と図12の背景色適合度設定処理ルーチンを実行するメインコントローラ60が「背景色適合度設定手段」に相当し、図2の証明写真用画像印刷処理ルーチンのステップS100〜110,S140〜170,S190〜200の処理と図6の証明写真適合度評価処理ルーチンのステップS320〜330,380〜400の処理、図14の撮影日適合度処理ルーチンを実行するメインコントローラ60が「画像検索手段」に相当する。また、図6の証明写真適合度評価処理ルーチンのステップS300の処理を実行するメインコントローラ60が「トリミング手段」に相当し、図2の証明写真用画像印刷処理ルーチンのステップS120〜130の処理を実行するメインコントローラ60が「指定期間受付手段」に相当し、図6の証明写真適合度評価処理ルーチンのステップS340の処理を実行するメインコントローラ60が「照合手段」に相当し、各種操作画面を表示する表示部52が「表示手段」に相当し、図2の証明写真用画像印刷処理ルーチンのステップS180の処理を実行するメインコントローラ60が「表示制御手段」に相当する。なお、本実施形態では、フォトプリンタ10の動作を説明することにより本発明の画像検索装置の制御方法の一例も明らかにしている。
以上説明した本実施形態のフォトプリンタ10によれば、メモリカード42に記憶された複数の画像ファイルの画像における人物の顔を顔認識処理により認識し、認識された顔が画像に占める顔比率aを算出し算出した顔比率aが証明写真用に適合している度合いを顔比率適合度Taとして設定し、認識された顔の略中心である顔中心位置Fcを検出し検出した顔中心位置Fcが証明写真用に適合している度合いを顔中心適合度Tbとして設定し、認識された顔以外の画像の背景色Cを判定し判定した背景色Cが証明写真用に適合している度合いを背景色適合度Tcとして設定し、顔比率適合度Taと顔中心適合度Tbと背景色適合度Tcとにそれぞれ重み付けして合算して評価値Hを算出し、評価値Hの高い順に画像を表示部52に表示するから、複数の画像の中から顔の大きさや位置、背景色が証明写真に適した画像を容易に検索することができる。また、画像の撮影日Dが指定された年月に適合している度合いを撮影日適合度Tdとして設定し評価値Hの算出に加味するので指定期間に適した画像を検索することができる。さらに、認識された顔が証明写真作成対象として指定された人物と一致する画像のみを評価対象とするので証明写真作成対象の人物が写っている画像に絞って効率よく画像を検索することができる。そしてまた、顔比率適合度Ta,顔中心適合度Tb,背景色適合度Tcの順に重み付けするので各適合度のうち顔の認識しやすさに影響する順序を考慮して画像を検索することができる。
なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
本実施形態では、全ての画像について縦横比が証明写真の縦横比と一致するようにトリミングするものとしたが、これに限られず、横向きの画像のみあるいは縦向きの画像のみをトリミングするものとしてもよい。また、画像の横方向をトリミングするものとしたが縦方向をトリミングするものとしてもよい。さらに、このようなトリミングを行うものに限られず、縦横比がそのままの画像に対して各適合度を設定するものとしてもよい。
本実施形態では、係数ka>係数kb>係数kc>係数kdとなるよう設定するものとしたが、係数の大きさの順序はこれに限られるものではなく、いずれの係数を大きくするものとしてもよい。また、このような係数を乗じて重み付けをすることなく、設定された各適合度をそのまま合算して評価値を算出するものとしてもよい。
本実施形態では、撮影日の指定として年月を指定するものしたが、これに限られず、年月日を指定するものとしてもよいし、時計機能を有するプリンタであれば現時点から何ヶ月以内として指定するものとしてもよい。また、画像の撮影日が指定年月に適合するか否かにより撮影日適合度Tdの値が異なるものとしたが、指定年月に適合しない画像であれば使用しないものとして評価値の設定しないものとしてもよい。さらに、このような撮影日の指定を受け付けるものに限られず、撮影日の指定を受け付けないものとしてもよい。
本実施形態では、証明写真の作成対象の人物の指定を受け付けて指定された人物の顔と画像中の顔とが一致する画像のみを評価対象としたが、人物指定を受け付けるものに限られず、人物指定を受け付けずに顔認識された全ての画像を評価対象としてもよい。
本実施形態では、本発明の画像検索装置を印刷機能のみを備えるプリンタに具体化した例を示したが、スキャナ機能を備えたマルチファンクションプリンタとしてもよいし、FAX機やコピー機などの複合プリンタとしてもよい。また、画像検索装置としては、プリンタに限られるものではなく、パソコン、デジカメ及びデジタルビデオなどの画像処理機器に本発明を適用してもよい。
10 フォトプリンタ、12 バス、20 プリンタユニット、22 プリンタASIC、24 プリンタエンジン、40 メモリカードスロット、42 メモリカード、44 メモリカードコントローラ、50 操作パネル、52 表示部、54 ボタン類、54a 電源ボタン、54b スタートボタン、54c 設定ボタン、54d +−ボタン、54e モード選択ボタン、54f 矢印キー、54g OKボタン、54h 戻るボタン、60 メインコントローラ、62 CPU、64 ROM、66 RAM、68 フラッシュメモリ、69 I/F、70 証明写真サイズ選択画面、70a,72a,74a,76a カーソル、72 撮影日指定画面、74 人物指定画面、76 画像選択画面。
Claims (8)
- 複数の写真画像の中から証明写真用に適した写真画像を検索する画像検索装置であって、
写真画像における人物の顔を認識する顔認識手段と、
該認識された顔が写真画像に占める顔比率を算出し、該算出した顔比率が証明写真用に適合している度合いを顔比率適合度として設定する顔比率適合度設定手段と、
該認識された顔の略中心である顔中心を検出し、該顔中心の写真画像における位置が証明写真用に適合している度合いを顔中心適合度として設定する顔中心適合度設定手段と、
該認識された顔以外の写真画像の背景色を判定し、該判定した背景色が証明写真用に適合している度合いを背景色適合度として設定する背景色適合度設定手段と、
前記設定された顔比率適合度と顔中心適合度と背景色適合度とに基づいて写真画像が証明写真に適しているか否かを示す評価値を設定し、該設定した評価値に基づいて複数の写真画像の中から証明写真用に適した写真画像を検索する画像検索手段と
を備える画像検索装置。 - 請求項1記載の画像検索装置であって、
写真画像の縦横比が証明写真用の縦横比と略一致するよう写真画像の縦か横のいずれか一方を該一方の辺の中心を基準としてトリミングするトリミング手段を備え、
前記顔比率適合度設定手段と前記顔中心適合度設定手段と前記背景色適合度設定手段は、前記トリミング手段によりトリミングされた写真画像に対してそれぞれ適合度を設定する手段である
画像検索装置。 - 前記画像検索手段は、前記設定された顔比率適合度と顔中心適合度と背景色適合度とに重み付けをした値に基づいて前記評価値を設定する手段である請求項1または2記載の画像検索装置。
- 前記画像検索手段は、背景色適合度,顔中心適合度,顔比率適合度の順に大きくなる傾向の重みを用いて前記評価値を設定する手段である請求項3記載の画像検索装置。
- 請求項1ないし4いずれか1項に記載の画像検索装置であって、
写真画像が撮影された期間に関する指定を受け付ける指定期間受付手段を備え、
前記画像検索手段は、写真画像の撮影日が該受け付けられた指定期間内にあるか否かにより前記評価値を設定する手段である
画像検索装置。 - 請求項1ないし5いずれか1項に記載の画像検索装置であって、
前記認識された人物の顔が証明写真の作成対象として予め登録されている人物の顔と一致するか否かを照合する照合手段を備え、
前記画像検索手段は、前記照合手段により一致するとされた顔が認識されない写真画像については検索対象から除外する手段である
画像検索装置。 - 請求項1ないし6いずれか1項に記載の画像検索装置であって、
写真画像を表示する表示手段と、
前記複数の写真画像を既定の表示順に拘わらず前記評価値の高い順に並べ替えて表示されるよう前記表示手段を制御する表示制御手段と
を備える画像検索装置。 - 複数の写真画像の中から証明写真用に適した写真画像を検索する画像検索方法であって、
(a)写真画像における人物の顔を認識するステップと、
(b)前記ステップ(a)により認識された顔が写真画像に占める顔比率を算出し、該算出した顔比率が証明写真用に適合している度合いを顔比率適合度として設定するステップと、
(c)前記ステップ(a)により認識された顔の略中心である顔中心を検出し、該顔中心の写真画像における位置が証明写真用に適合している度合いを顔中心適合度として設定するステップと、
(d)前記ステップ(a)により認識された顔以外の写真画像の背景色を判定し、該判定した背景色が証明写真用に適合している度合いを背景色適合度として設定するステップと、
(e)前記ステップ(b)ないし(d)により設定された顔比率適合度と顔中心適合度と背景色適合度とに基づいて写真画像が証明写真に適しているか否かを示す評価値を設定し、該設定した評価値に基づいて複数の写真画像の中から証明写真用に適した写真画像を検索するステップと
を含む画像検索方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008184774A JP2010026630A (ja) | 2008-07-16 | 2008-07-16 | 画像検索装置および画像検索方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008184774A JP2010026630A (ja) | 2008-07-16 | 2008-07-16 | 画像検索装置および画像検索方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2010026630A true JP2010026630A (ja) | 2010-02-04 |
Family
ID=41732432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008184774A Withdrawn JP2010026630A (ja) | 2008-07-16 | 2008-07-16 | 画像検索装置および画像検索方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2010026630A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013161394A (ja) * | 2012-02-08 | 2013-08-19 | Mitsubishi Electric Corp | イベント写真注文システムおよびイベント写真注文方法 |
US9292754B2 (en) | 2013-04-04 | 2016-03-22 | Suprema Inc. | Method for face recognition |
CN107967660A (zh) * | 2017-11-22 | 2018-04-27 | 浙江中医药大学 | 一种自动面部识别的安全考试系统 |
CN112991470A (zh) * | 2021-02-08 | 2021-06-18 | 上海通办信息服务有限公司 | 一种复杂背景下的证件寸照背景颜色检查方法及其系统 |
-
2008
- 2008-07-16 JP JP2008184774A patent/JP2010026630A/ja not_active Withdrawn
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013161394A (ja) * | 2012-02-08 | 2013-08-19 | Mitsubishi Electric Corp | イベント写真注文システムおよびイベント写真注文方法 |
US9292754B2 (en) | 2013-04-04 | 2016-03-22 | Suprema Inc. | Method for face recognition |
CN107967660A (zh) * | 2017-11-22 | 2018-04-27 | 浙江中医药大学 | 一种自动面部识别的安全考试系统 |
CN107967660B (zh) * | 2017-11-22 | 2020-10-27 | 浙江中医药大学 | 一种自动面部识别的安全考试系统 |
CN112991470A (zh) * | 2021-02-08 | 2021-06-18 | 上海通办信息服务有限公司 | 一种复杂背景下的证件寸照背景颜色检查方法及其系统 |
CN112991470B (zh) * | 2021-02-08 | 2023-12-26 | 上海通办信息服务有限公司 | 一种复杂背景下的证件寸照背景颜色检查方法及其系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5187139B2 (ja) | 画像処理装置およびプログラム | |
US8040386B2 (en) | Image processing apparatus, image processing method, program, and recording medium | |
JP6112823B2 (ja) | 情報処理装置、情報処理方法及びコンピュータにより読み取り可能なプログラム | |
JP2004246456A (ja) | 画像編集装置および画像編集方法 | |
JP2005086516A (ja) | 撮像装置、印刷装置、画像処理装置およびプログラム | |
JP2007096405A (ja) | ぶれ方向判定方法および装置ならびにプログラム | |
JP2007004677A (ja) | コメントレイアウト装置、アルバム作成装置 | |
JP2010021921A (ja) | 電子カメラおよび画像処理プログラム | |
JP2006344100A (ja) | 認証装置、画像出力装置 | |
JP2009237977A (ja) | 画像出力制御装置、画像出力制御方法、画像出力制御プログラムおよび印刷装置 | |
US8325380B2 (en) | Printing method of printing an image based on the position of a face area detected on the image, a photo-printing system and digital camera adapted to the method | |
JP2010026630A (ja) | 画像検索装置および画像検索方法 | |
JP5402026B2 (ja) | 電子カメラおよび画像処理プログラム | |
JP2009237976A (ja) | 顔画像出力制御装置、顔画像出力制御方法、顔画像出力制御プログラムおよび印刷装置 | |
JP2002258682A (ja) | 画像形成装置 | |
JP7384970B2 (ja) | ユーザー認証装置、ユーザー認証方法および画像形成装置 | |
JP2010124214A (ja) | 画像形成装置およびプログラム | |
JP6454991B2 (ja) | 印刷条件設定装置、印刷条件設定システム、印刷条件設定方法 | |
JP2006180403A (ja) | 情報処理装置 | |
KR101058043B1 (ko) | 이미지의 인쇄방법과, 그에 적용되는 포토 프린팅 시스템,및 디지털 카메라 | |
JP4152927B2 (ja) | 画像処理装置、画像形成装置、処理原稿検索方法、処理原稿検索プログラム、記録媒体 | |
JP2007249366A (ja) | 髪型選択支援装置および方法 | |
JP2007200091A (ja) | 画像処理装置 | |
JP2009205468A (ja) | 画像出力方法、画像出力装置および画像出力プログラム | |
JP2020017899A (ja) | 画像形成装置及びその制御方法、並びにプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20110316 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20110318 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110711 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20120309 |