JP2017021844A - 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム - Google Patents
撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム Download PDFInfo
- Publication number
- JP2017021844A JP2017021844A JP2016191406A JP2016191406A JP2017021844A JP 2017021844 A JP2017021844 A JP 2017021844A JP 2016191406 A JP2016191406 A JP 2016191406A JP 2016191406 A JP2016191406 A JP 2016191406A JP 2017021844 A JP2017021844 A JP 2017021844A
- Authority
- JP
- Japan
- Prior art keywords
- face image
- main
- image
- captured
- main face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】特定のイベントに参加した人物を多数の撮像画像の中の主要人物と決定できる撮像画像の主要画像決定装置ならびにその制御方法,その制御プログラムおよびその制御プログラムを格納した記録媒体を提供する。【解決手段】多数の撮像画像P1などがイベントごとにグループ分けされ,撮像グループG1等が得られる。撮像グループG1等ごとに,撮像画像の顔検出が行われ,顔画像F1等が得られ,複数の顔画像グループFG1等が得られる。顔画像グループFG1等のそれぞれにおいて,主要顔画像RF1等が得られる。特定のイベントのみに参加した人物の顔画像を主要顔画像と決定でき,その主要顔画像の人物を主人公とした電子アルバムを生成できる。【選択図】図5
Description
この発明は,撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラムに関する。
撮像画像には主要人物以外の他人の顔が含まれていたり,様々な顔の向き,顔の表情,照明などの環境の相違があったりするので,単に顔認識により主要人物を決定することは容易ではない。主要人物を安定して決定することは難しい。
多数の撮像画像から電子アルバムが生成される場合,撮像画像に含まれる人物が分らないので,ユーザが人物を特定するものがある(特許文献1)。特定の人物が多く含まれるような電子アルバムが作成される。多数の撮像画像から電子アルバムに利用される撮像画像が自動抽出される場合には,写っている撮像画像が多い人物が主要人物と考えられることが多いので,その人物の撮像画像が多く含まれるように電子アルバムが生成される。
しかしながら,多数の撮像画像の中に写っている人物を主要人物としてしまうと,あるイベントで撮像される機会が多くなるような人物を主要人物とすることはできない。
この発明は,あるイベントで撮像される機会が多くるような人物を主要人物と決定できるようにすることを目的とする。
この発明は,多数の撮像画像から得られる多数の顔画像を,イベントごとにグループ分けして複数の顔画像グループを生成する顔画像グルーピング手段,および顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の1または複数の主要顔画像を,多数の撮像画像の主要人物の顔画像として顔画像グループごとに決定する主要顔画像決定手段を備えていることを特徴とする。
この発明は,撮像画像の主要顔画像決定装置に適した制御方法も提供している。すなわち,この方法は,顔画像グルーピング手段が,多数の撮像画像から得られる多数の顔画像を,イベントごとにグループ分けして複数の顔画像グループを生成し,主要顔画像決定手段が,顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の1または複数の主要顔画像を,多数の撮像画像の主要人物の顔画像として顔画像グループごとに決定するものである。
この発明は,撮像画像の主要顔画像決定装置のコンピュータを制御するプログラムおよびそのプログラムを格納した記録媒体も提供している。
顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の数が一定数未満の顔画像グループを1つの顔画像グループにまとめる顔画像グループ混合手段をさらに備えてもよい。この場合,主要顔画像決定手段は,顔画像グループ混合手段においてまとめられた顔画像グループおよび顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の主要顔画像を,顔画像グループごとに決定するものとなろう。
また,顔画像グループ混合手段は,たとえば,顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の数が一定数未満の顔画像グループを,一定数以上の顔画像が含まれるように1つの顔画像グループにまとめるものである。
主要顔画像決定手段によって,顔画像グループごとに決定された主要顔画像のうち一の主要顔画像と他の主要顔画像とが同一人物を表わしているかどうかを判定する第1の主要顔画像判定手段をさらに備えてもよい。
主要顔画像決定手段によって,顔画像グループごとに決定された主要顔画像のうち一の主要顔画像と他の主要顔画像とが同一人物を表しているか,非同一人物を表わしているかを判定する第2の主要顔画像判定手段,および第2の主要顔画像判定手段によって,一の主要顔画像と他の主要顔画像とが同一人物を表しているか,非同一人物を表わしているか,いずれも判定不能となった場合に,一の主要顔画像が写っている撮像画像に含まれている顔画像と他の主要顔画像が写っている撮像画像に含まれている顔画像とが同一人物であるかどうかを判定する副顔画像判定手段をさらに備えることが好ましい。この場合,第2の主要顔画像判定手段は,副顔画像判定手段により一の主要顔画像が写っている撮像画像に含まれている顔画像と他の主要顔画像が写っている撮像画像に含まれている顔画像とが同一人物であると判定されたことにより,一の主要顔画像と他の主要顔画像とが同一人物を表わしていると判定するものとなろう。
第2の主要顔画像判定手段は,たとえば,副顔画像判定手段により,一の主要顔画像が写っている撮像画像に含まれている顔画像と他の主要顔画像が写っている撮像画像に含まれている顔画像とが同一人物のものであると判定された回数が所定回数以上となったことにより,一の主要顔画像と他の主要顔画像とが同一人物を表していると決定するものである。
顔画像グルーピング手段は,多数の撮像画像を,イベントごとにグループ分けする撮像画像グルーピング手段を備えてもよい。この場合,たとえば,撮像画像グルーピング手段によってイベントごとにグループ分けされた多数の撮像画像から,顔画像を検出してイベントごとに複数の顔画像グループを生成するものである。
顔画像グルーピング手段は,多数の撮像画像のそれぞれから顔画像を検出する顔画像検出手段をさらに備えてもよい。この場合,顔画像検出手段によって検出された多数の顔画像を,イベントごとにグループ分けして複数の顔画像グループを生成するものとなろう。
撮像時期が近い撮像画像を同一のイベントで得られたものとし,撮像時期が離れている撮像画像を異なるイベントで得られたものとして,多数の撮像画像をイベントごとにグループ分けするようにしてもよい。
また,異なるイベントと見なされる撮像時期が離れている期間を調節する期間調節手段をさらに備えるようにしてもよい。
主要顔画像決定手段によって決定された主要顔画像によって特定される主要人物のうち,少なくとも一人の主要人物が含まれている撮像画像が,他の撮像画像よりも多い電子アルバムを生成する電子アルバム生成手段をさらに備えるようにしてもよい。
主要顔画像決定手段によって決定された主要顔画像を表示画面に表示するように表示装置を制御する表示制御手段,および表示制御手段による制御により表示装置の表示画面に表示された主要顔画像のうち,少なくとも一の主要顔画像を指定する主要顔画像指定手段をさらに備えてもよい。この場合,電子アルバム生成手段は,主要顔画像指定手段によって指定された一の主要顔画像によって特定される主要人物が含まれている撮像顔画像が,上記主要人物が含まれていない撮像画像よりも多くなるように上記多数の撮像画像を利用して電子アルバムを生成するものとなろう。
表示制御手段は,たとえば,主要顔画像決定手段によって決定された主要顔画像のうち,同一人物顔画像決定手段によって同一人物を表わしていると決定された主要顔画像については1つの主要顔画像を表示画面に表示するように表示装置を制御するものである。
この発明によると,多数の撮像画像から得られる多数の顔画像がイベントごとにグループ分けさせられて複数の顔画像グループが生成される。生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の1または複数の主要顔画像が,多数の撮像画像の主要人物の顔画像として顔画像グループごとに決定される。イベントごとに得られる撮像画像からイベントごとの主要顔画像(主要人物)が決定されることとなるから,特定のイベントに参加した人物を多数の撮像画像の中の主要人物と決定できるようになる。
図1は,電子アルバム生成装置1の電気的構成を示すブロック図である。
電子アルバム生成装置1(撮像画像の主要顔画像決定装置)の全体の動作は,CPU2によって統括される。
電子アルバム生成装置1には,表示装置5が設けられている。この表示装置5の表示画面にはユーザから電子アルバム生成装置1に指令を与えるためのタッチ・パネル6が形成されている。電子アルバム生成装置1には,メモリ・カード・リーダ4も設けられている。多数の撮像画像を表わす画像ファイルが格納されているメモリ・カード3がメモリ・カード・リーダ4に装填され,それらの画像ファイルがメモリ・カード・リーダ4によって読み取られる。
電子アルバム生成装置1には,CD-ROM(コンパクト・ディスク−リード・オンリ・メモリ)ドライブ8も含まれている。後述する動作制御プログラムが格納されているコンパクト・ディスク7がCD-ROMドライブ8に装填され,プログラムが読み取られる。読み取られたプログラムは,ハードディスク・ドライブ11によってハードディスク12に書き込まれる。電子アルバム生成装置1には,通信装置13も含まれている。この通信装置13から,後述する動作プログラムをダウンロードするようにしてもよい。
また,電子アルバム生成装置1には,キーボードのような入力装置およびメモリ10も含まれている。
電子アルバム生成装置1は,スーパー,コンビニエンス・ストアの店頭などに配置されているが,動作制御プログラムをユーザが所有しているパーソナル・コンピュータにインストールすることにより,そのパーソナル・コンピュータを電子アルバム生成装置1として利用できる。
図2から図4は,電子アルバム生成装置1において電子アルバムを生成する処理手順を示すフローチャートである。
ユーザによって,多数の撮像画像を表わす画像ファイルが格納されているメモリ・カード3がメモリ・カード・リーダ4に装填される。すると,メモリ・カード3に格納されている画像ファイルがメモリ・カード・リーダ4によって読み取られる(図2ステップ21)。読み取られた画像ファイルは,CPU2によってメモリ10に一時的に記憶される。
読み取られた画像ファイルによって表わされる多数の撮像画像が,CPU2によってイベントごとに分類され,複数の撮像画像グループが生成される(図2ステップ22)(撮像画像グルーピング手段)。
図5を参照して,多数の撮像画像P1等が時系列順に並べられている。図5において左側から右側となるにつれて時間が経過している。入学式,運動会などのイベントにおいては,それらの入学式,運動会当日に多くの画像が撮像される。イベントが無い日の撮像枚数は少ない。このために,多数の撮像画像P1が時系列順に並べられると,撮像画像の固まりができる。このように撮像時期が近い撮像画像の固まりが同一のイベントで得られた撮像画像と見なされ,一つのイベントに対応する一つの撮像画像グループとなる。撮像時期が離れた撮像画像は異なるイベントで得られたものとされて,多数の撮像画像がイベントごとにグループ分けされる。図5に示す例では,多数の画像が撮像画像グループG1からG6に分類されている。撮像画像グループG1には撮像画像P1からPnが含まれ,撮像画像グループG2には撮像画像P11からP1nが含まれ,撮像画像グループG3には撮像画像P21からP2nが含まれ,撮像画像グループG4には撮像画像P31からP3nが含まれ,撮像画像グループG5には撮像画像P41からP4nが含まれ,撮像画像G6には撮像画像P51からP5nが含まれている。
撮像画像グループが生成されると,撮像画像グループごとに,撮像画像グループに含まれている撮像画像からCPU2によって顔検出が行われ,CPU2によって顔画像グループが生成される(図2ステップ23)(顔画像グルーピング手段)。
図5を参照して,撮像画像グループG1に含まれる撮像画像P1等について顔検出が行われ,顔画像F1からFnが得られ,顔画像グループFG1が生成される。撮像画像グループG2に含まれる撮像画像P11等について顔検出が行われ,顔画像F11からF1nが得られ,顔画像グループFG2が生成される。撮像画像グループG3に含まれる撮像画像P21等について顔検出が行われ,顔画像F21からF2nが得られ,顔画像グループFG3が生成される。撮像画像グループG4に含まれる撮像画像P31等について顔検出が行われ,顔画像F31からF3nが得られ,顔画像グループFG3が生成される。撮像画像グループG5に含まれる撮像画像P41等について顔検出が行われ,顔画像F41からF4nが得られ,顔画像グループFG5が生成される。撮像画像グループG6に含まれる撮像画像P51等について顔検出が行われ,顔画像F51からF5nが得られ,顔画像グループFG6が生成される。
多数の撮像画像から複数の撮像グループG1等が生成され,その後複数の顔画像グループFG1等が生成されている。しかしながら,多数の撮像画像から顔画像を検出し,検出された多数の顔画像をイベントごとに顔画像グループに分けるようにしてもよい。その場合,検出された顔画像を表すファイルのヘッダには撮像画像の撮像日時が格納され,その撮像日時を利用して,多数の顔画像がイベントごとに顔画像グループに分けられる。
この実施例では,生成された顔画像グループのそれぞれに含まれる顔画像の中から主要顔画像が決定される。しかしながら,顔画像グループに含まれる顔画像の数が少ない場合(撮像画像グループに含まれる撮像画像の数が少ない場合)には,決定された主要顔画像が,電子アルバムのユーザの他人であるように必ずしも重要人物ではないことがある。このために,この実施例では,顔画像グループに含まれる顔の数が一定数未満の顔画像グループがあるかどうかがCPU2によって確認され(図2ステップ24),一定数未満の顔画像グループがある場合には(図2ステップ24でYES),顔画像グループに含まれる顔の数が一定数以上となるようにCPU2によって顔画像グループがまとめられる(図2ステップ25)(顔画像グループ混合手段)。まとめられる顔画像グループは,含まれている顔画像の数の少ない順となることが考えられるが,必ずしもそうでなくともよい。
図5を参照して,顔画像グループFG5に含まれている顔画像F41等の数が一定数未満であり,顔画像グループFG6に含まれている顔画像F51等の数も一定数未満であったとする。すると,これらの顔画像グループFG5とFG6とがまとめられ,新たな顔画像グループFG5とされる。新たな顔画像グループFG5には,まとめられる前の顔画像グループFG5に含まれていた顔画像F41等のほか,顔画像グループFG6に含まれていた顔画像F51等も含まれるようになる。新たな顔画像グループFG5に含まれる顔画像の数が依然として一定数未満であれば,他の顔画像グループとさらにまとめられる。
つづいて,顔画像グループごとに,CPU2によって主要顔画像(主要人物の顔画像)が決定される(図2ステップ26)(主要顔画像決定手段)。主要顔画像は,それぞれの顔画像グループに含まれている顔画像のうち,同一人と考えられる顔を表している顔画像の数が最も多いものとなろう。もっとも,単に顔画像の数ではなく,所定の大きさ以上の顔画像のうち,同一人と考えられる顔を表している顔画像の数が最も多いものを主要顔画像としてもよい。主要顔画像は一つでなく,複数でもよい。図5を参照して,顔画像グループFG1,FG2,FG3,FG4およびFG5のそれぞれの主要顔画像は,RF1,RF2,RF3,RF4およびRF5となる。
顔画像グループごとに主要顔画像が決定されると,メモリ・カード3から読み取られた画像ファイルによって表わされる多数の撮像画像の中から,主要顔画像の人物が含まれている撮像画像が見つけられる(図4ステップ27)。主要顔画像が含まれていた撮像画像グループだけでなく,他の撮像画像グループに含まれている撮像画像の中からも,主要顔画像の人物が含まれている撮像画像が見つけられる。図5において,主要顔画像RF1の人物が含まれている撮像画像は,撮像画像グループG1だけでなく,他の撮像画像グループG2からG6に含まれている撮像画像からも見つけられる。その他の主要顔画像RF2からRF5についても同様である。
図6は,主要顔画像の人物が含まれている撮像画像を示すテーブルである。
上述のようにして決定された主要顔画像に対応して,その主要顔画像の人物が含まれている撮像画像(特定するファイル名)が格納されている。たとえば,主要顔画像RF1の人物が含まれている撮像画像は,P1,P2,P4,P6,P8,P9,P12,P13などであり,主要顔画像RF1が得られた撮像画像グループG1以外の撮像画像グループからも見つけられている。その他の主要顔画像RF2からRF5についても同様である。
主要顔画像の人物が含まれている撮像画像が多数の撮像画像の中から見つけられると,CPU2によって主要顔画像同士が比較され,同一人物を表している複数の主要顔画像があれば,それらの主要顔画像が見つけられる(図3ステップ28)(第1の主要顔画像判定手段)。同一人物を表わしている複数の主要顔画像があれば(図3ステップ29でYES),それらの複数の主要顔画像の人物が含まれている撮像画像がまとめられる(図3ステップ30)。たとえば,主要顔画像RF1によって表わされる人物と主要顔画像RF3によって表わされる人物とが同じ人物であったとする。主要顔画像RF1の人物が含まれている撮像画像は,上述のように,P1,P2,P4,P6,P8,P9,P12,P13などである。また,主要顔画像RF3の人物が含まれている撮像画像は,P2,P4,P7・・・P21・・・P32,P33などである。これらの撮像画像があわせられ,あわせられた撮像画像が主要顔画像RF1(RF3でもよい)によって表わされる人物が含まれている撮像画像となる(図7参照)。
主要顔画像RF1によって表わされる人物と主要顔画像RF3によって表わされる人物とが同一人物ではないとして扱われていると,主要顔画像RF1によって特定される人物が含まれている撮像画像を用いて主要顔画像RF1によって表わされる人物を主人公とした電子アルバムを作成する場合,図6に示す主要顔画像RF1によって特定される人物が含まれている撮像画像P1,P2,P4,P6,P8,P9,P12,P13などが利用されるので,主要顔画像RF1によって特定される人物が含まれている撮像画像には含まれていないが,主要顔画像RF3によって特定される人物が含まれている撮像画像(例えば,撮像画像P7など)は,利用されなくなってしまう。この実施例では,複数の主要顔画像のうち,同一人物を表わしている主要顔画像が存在する場合,それらの主要顔画像によって表わされる人物が含まれている撮像画像がまとめられる。このために,同一人物を表わす撮像画像ではあるが,一の主要顔画像によって特定される人物が含まれている撮像画像には含まれていないが,他の主要顔画像によって特定される人物が含まれている撮像画像に含まれているものを利用して電子アルバムを作成できるようになる。
上述したように,図6に示す主要顔画像RF1によって特定される人物と主要顔画像RF3によって特定される人物とが同一人物であった場合には,図7に示すように,それぞれの撮像画像がまとめられるようになる(主要顔画像RF1の人物が含まれている撮像画像に撮像画像P7が加えられている)。
つづいて,表示装置5の表示画面には,主要顔画像が一覧で表示される(図3ステップ31)。
図8は,主要顔画像一覧画像の一例である。
表示装置5の表示画面の左側には,上述のようにして得られた主要顔画像RF1,RF2,RF4およびRF5が表示されている。これらの主要顔画像RF1,RF2,RF4およびRF5の右側には,図7で示したように,主要顔画像の人物が含まれている撮像画像を表示する撮像画像表示領域60,63,66および69が表示されている。撮像画像表示領域60,63,66および69の上部にはスクロール・バー61,64,67および70が形成されている。これらのスクロール・バー61,64,67または70が左右に操作されることにより,撮像画像表示領域60,63,66および69に表示されていない撮像画像が撮像画像表示領域60,63,66および69に表示されるようになる。
表示画面50の右側には,「主人公決定」の文字が付されている主人公決定ボタン81,「主人公訂正」の文字が付されている主人公訂正ボタン82,「主人公統合」の文字が付されている主人公統合ボタン83,「アルバム用画像決定」の文字が付されているアルバム用画像決定ボタン84,「アルバム用画像訂正」の文字が付されているアルバム用画像訂正ボタン85および「アルバム作成」の文字が付されているアルバム作成ボタン86が表示されている。
主人公決定ボタン81は,表示画面50に表示されている主要顔画像の中から電子アルバムの主人公となる主要被写体を決定する場合にユーザによってタッチされるものである。主要顔画像RF1の人物を主人公としたい場合には,主要顔画像RF1がタッチされる(図9にタッチされたことがハッチングで示されている)(主要顔画像指定手段)。主人公は一人に限らず,複数でもよい。主人公を複数にする場合複数の主要顔画像がユーザによってタッチされる。その後,主人公決定ボタン81がタッチされることにより,タッチされた主要顔画像RF1の人物が含まれている撮像画像の割合が多い電子アルバムが生成される。主人公訂正ボタン82は,タッチした主要顔画像を訂正する場合に利用される。図9に示すように,主要顔画像RF1がタッチされた後に,他の主要顔画像RF2,RF3またはRF4の人物を主人公としたい場合に,主要顔画像RF1がタッチされた後に主人公訂正ボタン82がユーザによってタッチされる。すると,主人公とされていた主要顔画像RF1がクリアされる。
主人公統合ボタン83は,表示画面50に表示されている主要顔画像RF1,RF2,RF4およびRF5の中で同一人物を表わしている主要顔画像が含まれている場合に利用される。たとえば,主要顔画像RF1とRF2とが同一人物を表わしているものとすると,主要顔画像RF1とRF2とがユーザによってタッチされ,その後,主人公統合ボタン83がユーザによってタッチされる。すると,図6と図7とを参照して説明したように,主要顔画像RF1の人物が含まれている撮像画像と主要顔画像RF2の人物が含まれている撮像画像とがまとめられる表示画面50に表示される主要顔画像一覧の構成も,主要顔画像RF1の人物が含まれている撮像画像と主要顔画像RF2の人物が含まれている撮像画像とがまとめられたものに再構成される。
アルバム用画像決定ボタンは,主要顔画像RF1等の右側にある撮像画像表示領域60等に表示されている撮像画像をアルバム用画像として利用したい場合にユーザによってタッチされる。撮像画像表示領域60等に表示されている撮像画像がユーザによってタッチされ,その後アルバム用画像決定ボタン84がタッチされると,ユーザによってタッチされた撮像画像が電子アルバムに利用される。主人公が決定すれば,その主人公が含まれている撮像画像が多くなるように自動的に電子アルバムが作成されるから,必ずしもユーザが撮像画像を選ぶ必要は無いが,撮像画像をユーザが選択できるようにすることにより,電子アルバムに入れたい撮像画像をユーザが指定できるようになる。図9に示すように,撮像画像P2,P6,P33,P53などがタッチされ(タッチされた様子がハッチングで示されている),その後アルバム画像決定ボタン84がユーザによってタッチされると,タッチされた撮像画像P2,P6,P33,P53などが電子アルバムに含まれるようになる。
アルバム用画像訂正ボタン85は,上述のように,電子アルバムに含まれるようにユーザによってタッチされた撮像画像を訂正する場合に利用される。タッチされた撮像画像が再びタッチされ,その後アルバム画像訂正ボタン85がユーザによってタッチされることにより,電子アルバムに含まれるように指定された撮像画像の指定が解除される。
アルバム作成ボタン86は,指定された主要顔画像の人物を主人公として電子アルバムを自動で作成する場合にユーザによってタッチされる。たとえば,主要顔画像RF1がタッチされている状態でアルバム作成ボタン86がタッチされると,主要顔画像RF1の人物が含まれている撮像画像の割合が過半数(好ましくは7割以上)となるように撮像画像が選択されて電子アルバムが生成される。
上述のように,主要顔画像の中から主人公が決定されると(図4ステップ34),その主人公がメモリ10に記憶される。また,ユーザによって撮像画像表示領域60等に表示されている撮像画像の中から所望の撮像画像が決定されると(図4ステップ36でYES),決定された撮像画像が電子アルバムに入れられる撮像画像としてメモリ10に記憶される(図4ステップ37)。アルバム作成ボタン86が押され,電子アルバム作成装置1にアルバム作成指令が与えられると(図4ステップ38でYES),上述のように決定した主人公の撮像画像の割合が多くなるように電子アルバムが自動で作成される(図4ステップ39)。
図10から図12は,変形例を示すものである。
図10は,同一人物を表わす主要顔画像を見つける処理手順(図3ステップ28の処理手順)を示すフローチャートである。
主要顔画像が子供の場合(必ずしも子供に限らない),顔画像グループごとに決定された複数の主要顔画像の中に同一人物を表しているものがあっても,同一人物を表わしているかどうか分らないことがある。そのような場合に,主要顔画像の人物と一緒に写っている人物が同じ人物である場合には,その主要顔画像の人物が同一人物であると見なすものである。
まず,CPU2によって一の主要顔画像と他の主要顔画像とが同一人物であるか,非同一人物であるかどうかの判断が行われる(ステップ91)。明らかに同一人物であれば,それらの主要顔画像で表わされる人物は同一人物であると決定される(ステップ97)。また,明らかに同一人物でなければ(非同一人物),それらの主要顔画像で表わされる人物は同一人物ではないと決定される(ステップ99)(第2の主要顔画像判定手段)。一の主要顔画像と他の主要顔画像とが同一人物であるかどうかの判断がつかない(不能)場合に,次の処理が行われる。
まず,一の主要顔画像と一緒に写っている人物がいる撮像画像が同じ撮像画像グループの中からCPU2によって見つけられる(ステップ92)。たとえば,図11に示すように撮像画像グループG1に含まれる撮像画像P1において,人物S2が主要顔画像の人物であるとする。撮像画像P1は,人物S2と一緒に写っている人物S1およびS3がいるから,撮像画像P1が見つけられる。同様に,撮像画像P2には,主要顔画像の人物S2と一緒に写っている人物S3がいるから,撮像画像P2が見つけられる。
つづいて,他の主要顔画像と一緒に写っている人物がいる撮像画像が同じ撮像画像グループの中から見つけられる(ステップ93)。図12に示すように撮像画像グループG2に含まれる撮像画像P11において,人物S4が主要顔画像の人物であるとする。撮像画像P11には,人物S4と一緒に写っている人物S5およびS6があるから,撮像画像P11が見つけられる。同様に,撮像画像P12には,主要顔画像の人物S4と一緒に写っている人物S5がいるから,撮像画像P12が見つけられる。
つづいて,一の主要顔画像の人物と一緒に写っている人物の顔画像と他の主要顔画像の人物と一緒に写っている人物の顔画像とが同一人物かどうかが判断される(ステップ94)(副顔画像判定手段)。たとえば,図11に示す撮像画像P1に含まれる人物S1およびS3の少なくとも一人の顔画像と図12に示す撮像画像P11(他の撮像画像P12であってもよい)に含まれる人物S4およびS5の少なくとも一人の顔画像とが同一人物のものであると判断されると,ステップ94における判断で同一人物となる(ステップ94でYES)。すると,同一判定回数がインクレメントされる(ステップ95)。
同一人物との判定回数が,あらかじめ定められていた所定回数とならなければ(ステップ96でNO),一の主要顔画像の人物または他の主要顔画像の人物と一緒に写っている人物がいる撮像画像が撮像グループから無くなったかどうかが確認される(ステップ98)。無くなると,一の主要顔画像の人物と他の主要顔画像の人物とは同一人物ではないと決定される(ステップ99)。一の主要顔画像の人物または他の主要顔画像の人物と一緒に写っている人物がいる撮像画像が撮像グループに残っていれば(ステップ98でNO),再びステップ94からの処理が繰り返される。たとえば,図11に示す撮像画像P2に主要顔画像の人物S2と一緒に写っている人物S3と図12に示す撮像画像P12に主要顔画像の人物S4と一緒に写っている人物S5とが同一人物かどうかが判断される(ステップ94)。同一人物であれば,同一判定回数がインクレメントされる(ステップ95)。
同一人物と判定された回数が所定回数以上となると(ステップ96),一の主要顔画像の人物と他の主要顔画像の人物とが同一人物であると決定される(ステップ97)。もっとも,同一人物と判定された回数が所定回数とならずに,一回判定されただけで,一の主要顔画像の人物と他の主要顔画像の人物とが同一人物であると決定されてもよい。
上述の実施例では,図8等に示すように主要顔画像RF1等が表示画面50に表示され,表示されている主要顔画像RF1等の中から電子アルバムの主人公がユーザによって選択されているが,主要顔画像RF1等を表示せずに主要顔画像RF1等の中から電子アルバムの主人公が自動的に決定されるようにしてもよい。その場合は,たとえば,主要顔画像の人物のうち,写っている撮像枚数が最も多い人物を主人公とすることが考えられるが,他の方法により主人公が決定されてもよい。
図5に示したように,撮像時期にもとづいて多数の撮像画像が撮像画像グループに分けられているが,異なるイベントと見なされる撮像時間が離れている期間を調節する指令を,電子アルバム生成装置1の入力装置9から与えるようにしてもよい。入力装置9から与えられた期間以上離れている撮像画像の固まりが一つの撮像画像グループとされる。子供の成長は早いため,撮像画像グループから決定された主要顔画像が同じ子供でも異なる人物と判定されてしまうことがあるので,撮像時期が離れていない撮像画像が一つの撮像画像グループに含まれるようにするためである。このために,子供を主人公としたい場合には,撮像グループの間隔が短くなるように入力装置9によって期間が調節される。
1 電子アルバム生成装置(撮像画像の主要顔画像決定装置)
2 CPU(顔画像グルーピング手段,主要顔画像決定手段,顔画像グループ混合手段,第1の主要顔画像判定手段,第2の主要顔画像判定手段,副顔画像判定手段,撮像画像グルーピング手段,表示制御手段,電子アルバム生成手段)
6 タッチ・パネル(主要顔画像指定手段)
7 CD−ROM(プログラムを格納した記録媒体)
2 CPU(顔画像グルーピング手段,主要顔画像決定手段,顔画像グループ混合手段,第1の主要顔画像判定手段,第2の主要顔画像判定手段,副顔画像判定手段,撮像画像グルーピング手段,表示制御手段,電子アルバム生成手段)
6 タッチ・パネル(主要顔画像指定手段)
7 CD−ROM(プログラムを格納した記録媒体)
Claims (16)
- 多数の撮像画像から得られる多数の顔画像を,イベントごとにグループ分けして複数の顔画像グループを生成する顔画像グルーピング手段,および
上記顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の1または複数の主要顔画像を,多数の撮像画像の主要人物の顔画像として顔画像グループごとに決定する主要顔画像決定手段,
を備えた撮像画像の主要顔画像決定装置。 - 上記顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の数が一定数未満の顔画像グループを1つの顔画像グループにまとめる顔画像グループ混合手段をさらに備え,
上記主要顔画像決定手段は,
上記顔画像グループ混合手段においてまとめられた顔画像グループおよび上記顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の主要顔画像を,多数の撮像画像の主要人物の顔画像として顔画像グループごとに決定するものである,
請求項1に記載の撮像画像の主要顔画像決定装置。 - 上記顔画像グループ混合手段は,
上記顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の数が一定数未満の顔画像グループを,一定数以上の顔画像が含まれるように1つの顔画像グループにまとめるものである,
請求項2に記載の撮像画像の主要顔画像決定装置。 - 上記主要顔画像決定手段によって,顔画像グループごとに決定された主要顔画像のうち一の主要顔画像と他の主要顔画像とが同一人物を表わしているかどうかを判定する第1の主要顔画像判定手段,
をさらに備えた請求項1から3のうち,いずれか一項に記載の撮像画像の主要顔画像決定装置。 - 上記主要顔画像決定手段によって,顔画像グループごとに決定された主要顔画像のうち一の主要顔画像と他の主要顔画像とが同一人物を表しているか,非同一人物を表わしているかを判定する第2の主要顔画像判定手段,および
上記第2の主要顔画像判定手段によって,一の主要顔画像と他の主要顔画像とが同一人物を表しているか,非同一人物を表わしているか,いずれも判定不能となった場合に,一の主要顔画像が写っている撮像画像に含まれている顔画像と他の主要顔画像が写っている撮像画像に含まれている顔画像とが同一人物であるかどうかを判定する副顔画像判定手段をさらに備え,
上記第2の主要顔画像判定手段は,上記副顔画像判定手段により一の主要顔画像が写っている撮像画像に含まれている顔画像と他の主要顔画像が写っている撮像画像に含まれている顔画像とが同一人物であると判定されたことにより,一の主要顔画像と他の主要顔画像とが同一人物を表わしていると判定するものである,
請求項1から3のうち,いずれか一項に記載の撮像画像の主要顔画像決定装置。 - 上記第2の主要顔画像判定手段は,
上記副顔画像判定手段により,一の主要顔画像が写っている撮像画像に含まれている顔画像と他の主要顔画像が写っている撮像画像に含まれている顔画像とが同一人物のものであると判定された回数が所定回数以上となったことにより,一の主要顔画像と他の主要顔画像とが同一人物を表していると決定するものである,
請求項5に記載の撮像画像の主要顔画像決定装置。 - 上記顔画像グルーピング手段は,
多数の撮像画像を,イベントごとにグループ分けする撮像画像グルーピング手段を備え,
上記撮像画像グルーピング手段によってイベントごとにグループ分けされた多数の撮像画像から,顔画像を検出してイベントごとに複数の顔画像グループを生成するものである,
請求項1から6のうち,いずれか一項に記載の撮像画像の主要顔画像決定装置。 - 上記顔画像グルーピング手段は,
多数の撮像画像のそれぞれから顔画像を検出する顔画像検出手段をさらに備え,
上記顔画像検出手段によって検出された多数の顔画像を,イベントごとにグループ分けして複数の顔画像グループを生成するものである,
請求項1から6のうち,いずれか一項に記載の撮像画像の主要顔画像決定装置。 - 撮像時期が近い撮像画像を同一のイベントで得られたものとし,撮像時期が離れている撮像画像を異なるイベントで得られたものとして,多数の撮像画像をイベントごとにグループ分けするものである,
請求項7または8に記載の撮像画像の主要顔画像決定装置。 - 異なるイベントと見なされる撮像時期が離れている期間を調節する期間調節手段,
をさらに備えた請求項9に記載の撮像画像の主要顔画像決定装置。 - 上記主要顔画像決定手段によって決定された主要顔画像によって特定される主要人物のうち,少なくとも一人の主要人物が含まれている撮像画像が,他の撮像画像よりも多い電子アルバムを生成する電子アルバム生成手段,
をさらに備えた請求項1から10のうち,いずれか一項に記載の撮像画像の主要顔画像決定装置。 - 上記主要顔画像決定手段によって決定された主要顔画像を表示画面に表示するように表示装置を制御する表示制御手段,および
上記表示制御手段による制御により表示装置の表示画面に表示された主要顔画像のうち,少なくとも一の主要顔画像を指定する主要顔画像指定手段をさらに備え,
上記電子アルバム生成手段は,
上記主要顔画像指定手段によって指定された一の主要顔画像によって特定される主要人物が含まれている撮像顔画像が,上記主要人物が含まれていない撮像画像よりも多くなるように上記多数の撮像画像を利用して電子アルバムを生成するものである,
をさらに備えた請求項11に記載の撮像画像の主要顔画像決定装置。 - 上記表示制御手段は,
上記主要顔画像決定手段によって決定された主要顔画像のうち,上記同一人物顔画像決定手段によって同一人物を表わしていると決定された主要顔画像については1つの主要顔画像を表示画面に表示するように表示装置を制御するものである,
請求項12に記載の撮像画像の主要顔画像決定装置。 - 顔画像グルーピング手段が,多数の撮像画像から得られる多数の顔画像を,イベントごとにグループ分けして複数の顔画像グループを生成し,
主要顔画像決定手段が,上記顔画像グルーピング手段によって生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の1または複数の主要顔画像を,多数の撮像画像の主要人物の顔画像として顔画像グループごとに決定する,
撮像画像の主要顔画像決定装置の制御方法。 - 撮像画像の主要顔画像決定装置のコンピュータを制御するコンピュータが読み取り可能なプログラムであって,
多数の撮像画像から得られる多数の顔画像を,イベントごとにグループ分けして複数の顔画像グループを生成させ,
生成された複数の顔画像グループのそれぞれの顔画像グループに含まれている顔画像の1または複数の主要顔画像を,多数の撮像画像の主要人物の顔画像として顔画像グループごとに決定させるように撮像画像の主要顔画像決定装置のコンピュータを制御するプログラム。 - 請求項15に記載のプログラムを格納した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016191406A JP2017021844A (ja) | 2016-09-29 | 2016-09-29 | 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016191406A JP2017021844A (ja) | 2016-09-29 | 2016-09-29 | 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013199212A Division JP6018029B2 (ja) | 2013-09-26 | 2013-09-26 | 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017021844A true JP2017021844A (ja) | 2017-01-26 |
Family
ID=57888121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016191406A Abandoned JP2017021844A (ja) | 2016-09-29 | 2016-09-29 | 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017021844A (ja) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001167110A (ja) * | 1999-12-08 | 2001-06-22 | Matsushita Electric Ind Co Ltd | 画像検索方法及びその装置 |
JP2007060563A (ja) * | 2005-08-26 | 2007-03-08 | Fujifilm Holdings Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2007199923A (ja) * | 2006-01-25 | 2007-08-09 | Fujifilm Corp | 画像分類装置および方法並びにプログラム |
JP2007249588A (ja) * | 2006-03-15 | 2007-09-27 | Omron Corp | 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体 |
JP2007272684A (ja) * | 2006-03-31 | 2007-10-18 | Fujifilm Corp | 画像整理装置および方法ならびにプログラム |
JP2009182876A (ja) * | 2008-01-31 | 2009-08-13 | Toshiba Corp | 電子機器および表示処理方法 |
JP2009201041A (ja) * | 2008-02-25 | 2009-09-03 | Oki Electric Ind Co Ltd | コンテンツ検索装置およびその表示方法 |
JP2010093865A (ja) * | 2010-01-28 | 2010-04-22 | Toshiba Corp | 電子機器および表示制御方法 |
JP2012075020A (ja) * | 2010-09-29 | 2012-04-12 | Nec Personal Computers Ltd | 画像処理装置、撮像装置、顔画像認識方法及びプログラム |
JP2013171373A (ja) * | 2012-02-20 | 2013-09-02 | Sony Corp | 情報処理装置、システムおよび情報処理方法 |
-
2016
- 2016-09-29 JP JP2016191406A patent/JP2017021844A/ja not_active Abandoned
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001167110A (ja) * | 1999-12-08 | 2001-06-22 | Matsushita Electric Ind Co Ltd | 画像検索方法及びその装置 |
JP2007060563A (ja) * | 2005-08-26 | 2007-03-08 | Fujifilm Holdings Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2007199923A (ja) * | 2006-01-25 | 2007-08-09 | Fujifilm Corp | 画像分類装置および方法並びにプログラム |
JP2007249588A (ja) * | 2006-03-15 | 2007-09-27 | Omron Corp | 顔画像登録装置、顔画像登録方法、顔画像登録プログラム、および記録媒体 |
JP2007272684A (ja) * | 2006-03-31 | 2007-10-18 | Fujifilm Corp | 画像整理装置および方法ならびにプログラム |
JP2009182876A (ja) * | 2008-01-31 | 2009-08-13 | Toshiba Corp | 電子機器および表示処理方法 |
JP2009201041A (ja) * | 2008-02-25 | 2009-09-03 | Oki Electric Ind Co Ltd | コンテンツ検索装置およびその表示方法 |
JP2010093865A (ja) * | 2010-01-28 | 2010-04-22 | Toshiba Corp | 電子機器および表示制御方法 |
JP2012075020A (ja) * | 2010-09-29 | 2012-04-12 | Nec Personal Computers Ltd | 画像処理装置、撮像装置、顔画像認識方法及びプログラム |
JP2013171373A (ja) * | 2012-02-20 | 2013-09-02 | Sony Corp | 情報処理装置、システムおよび情報処理方法 |
Non-Patent Citations (1)
Title |
---|
捧 隆二: "写真画像からの人間関係抽出とコミュニティに基づく写真検索", 情報処理学会研究報告 2012(平成24)年度▲5▼ [CD−ROM] , vol. Vol.2012-DBS-156 No.9, JPN6017028087, 15 February 2013 (2013-02-15), JP, pages 1 - 7, ISSN: 0003607955 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6018029B2 (ja) | 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム | |
JP6711937B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN103473737B (zh) | 图像处理装置、图像处理方法和程序 | |
EP1793577A1 (en) | Playback of digital images | |
JP2011130204A (ja) | 映像情報処理方法及びその装置 | |
US10482640B2 (en) | Image processing apparatus for clipping a part of an image and displaying same | |
JP2008228134A5 (ja) | ||
JP2003242178A (ja) | フォルダ・アイコン表示制御装置 | |
JP6149015B2 (ja) | 画像処理装置、画像処理方法、プログラムおよび記録媒体 | |
US20200296332A1 (en) | System and method of video capture and search optimization | |
CN112035038A (zh) | 一种图片处理方法、装置、设备及存储介质 | |
JP2016085534A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
JP2017021844A (ja) | 撮像画像の主要顔画像決定装置ならびにその制御方法およびその制御プログラム | |
TWI678928B (zh) | 錄像處理方法、錄像處理裝置以及監視系統 | |
JP7369942B2 (ja) | コミュニケーション解析システム、及び、コミュニケーション解析方法 | |
CN103514228B (zh) | 一种文件处理方法及电子设备 | |
JP2021111228A (ja) | 学習装置、学習方法、及びプログラム | |
EP4024347A2 (en) | Image processing apparatus, image processing method, and program | |
JP2011155483A (ja) | 表示制御装置、画像処理装置、表示制御プログラム、及び、画像処理プログラム | |
Lech et al. | Examining classifiers applied to static hand gesture recognition in novel sound mixing system | |
JP4223055B2 (ja) | フォルダ・アイコン表示制御装置およびその制御方法 | |
JP2019220872A (ja) | 電子機器、推奨位置報知方法、推奨位置報知プログラム | |
JP2014192795A (ja) | 電子アルバム不足画像検索装置およびその動作制御方法 | |
JP7065225B1 (ja) | 情報処理端末、及び、プログラム | |
JP2014238672A (ja) | 画像管理プログラム、画像管理方法及び画像管理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170801 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20170928 |