JP2008077446A

JP2008077446A - 画像検索装置ならびにその制御方法およびその制御プログラム

Info

Publication number: JP2008077446A
Application number: JP2006256557A
Authority: JP
Inventors: Kazuto Fukushi; 和人福士
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-09-22
Filing date: 2006-09-22
Publication date: 2008-04-03
Also published as: US20080085036A1

Abstract

【目的】ある時点の人物の画像から，過去またはその時点より未来の人物の画像を見つける。
【構成】多数駒の検索先画像が撮影年順にグループ化されている（グループＧｒ０など）。ある時点に撮影された画像が最初の検索元画像として指定される。指定された検索元画像が属するグループＧｒ０の中から指定された検索元画像に含まれる顔画像に類似する顔画像が含まれている検索先画像が見つけ出される。見つけられた検索先画像が新たな検索元画像とされて，新たな検索元画像に含まれる顔画像に類似する顔画像が含まれている画像が，前年（または後年）のグループＧｒ（−１）（またはグループＧｒ（＋１））に属する検索先画像の中から見つけられる。画像を見つけるための比較対象となる検索元画像が更新されながら，現在または過去の人物の画像が見つけられる。
【選択図】図４

Description

この発明は，画像検索装置ならびにその制御方法およびその制御プログラムに関する。

多数駒の画像の中から所望の人物の画像を見つけだすことが考えられている。所望の人物の画像を見つけだすために顔画像が利用されることがある。例えば，画像認識用辞書を個人の要望の変化に追従して自動更新するもの（特許文献１），登録時と認証時に顔が変化しても同一または類似の顔画像を抽出できるもの（特許文献２），顔画像が常に最新のものとなるように更新されるもの（特許文献３），湿度などの環境が異なっても認証できるようにするもの（特許文献４），判定用個人情報を安全に更新できるようにするも（特許文献５），本人であると判定されたデータを利用して比較用データを更新するもの（特許文献６）などがある。
特開平９−35068号公報特開2005−352554号公報特開2005−84991号公報特開2002−236665号公報特開2003−16451号公報特開2003−44858号公報

しかしながら，ある時点から過去またはある時点から未来の特定の人物の画像を見つけだすことは考えられていない。

この発明は，ある時点から過去またはある時点から未来の特定の人物の画像を見つけることを目的とする。

この発明による画像検索装置は，多数駒の検索先画像を，撮影年月日にしたがってグループ分けするグルーピング手段，上記グルーピング手段によってグループ分けされたグループのうち，基準となる顔画像（探し出すべき人物の顔画像）が含まれている検索元画像の撮影年月日に近い撮影年月日に撮影された検索先画像が含まれているグループに属している検索先画像の中から，上記検索元画像に含まれている基準顔画像に類似した顔画像が含まれている検索先画像を検出する類似画像検出手段，上記類似画像検出手段によって検出された検索先画像を新たな検索元画像として，上記検出処理を行うように上記類似画像検出手段を制御する類似画像検出制御手段，ならびに上記検出処理および上記制御処理を，繰り返すように上記類似画像検出手段および上記類似画像検出制御手段を制御する制御手段を備えていることを特徴とする。

この発明は，上記画像検索装置に適した制御方法も提供している。すなわち，この方法は，グルーピング手段が，多数駒の検索先画像を，撮影年月日にしたがってグループ分けし，類似画像検出手段が，上記グルーピング手段によってグループ分けされたグループのうち，基準となる顔画像が含まれている検索元画像の撮影年月日に近い撮影年月日に撮影された検索先画像が含まれているグループに属している検索先画像の中から，上記検索元画像に含まれている基準顔画像に類似した顔画像が含まれている検索先画像を検出し，類似画像検出制御手段が，上記類似画像検出手段によって検出された検索先画像を新たな検索元画像として，上記検出処理を行うように上記類似画像検出手段を制御し，制御手段が，上記検出処理および上記制御処理を，繰り返すように上記類似画像検出手段および上記類似画像検出制御手段を制御するものである。

この発明は，上記画像検索装置の制御方法を実現するためのプログラムおよびそのプログラムが格納された記録媒体も提供している。

この発明によると，多数駒の検索先画像（検索対象となる画像）が撮影年月日にしたがってグループ分けされる。基準となる顔画像（見つけるべき人物の顔画像）が含まれている検索元画像（比較対象のキー画像となる画像）の撮影年月日に近い（検索元画像の撮影年月日から過去または未来に近い）撮影年月日に撮影された検索先画像が含まれているグループに属する検索先画像の中から，基準顔画像に類似した顔画像が含まれている検索先画像が検出される。検出された検索先画像が新たな検索元画像として，次に撮影年月日が近い撮影年月日に撮影された検索先画像が含まれているグループに属する検索先画像の中から，新たな検索元画像に含まれている顔画像（新たに基準となる顔画像）に類似した顔画像が含まれている検索先画像が検出される。

このように，検索対象となる検索先画像がある時点から過去または未来となるに応じて，検索元画像もそれらの時系列にしたがって順に更新されるので，基準となる顔画像から過去の顔画像を遡って検出すること（例えば，大人の画像を用いてその人の子供の頃の画像を検出すること）や未来の顔画像を検出すること（例えば，子供の頃の画像を用いて大人になった後の画像を検出すること）ができる。

図１は，この発明の実施例を示すもので，画像検索装置の電気的構成を示すブロック図である。この実施例による画像検索装置は，ある時点において撮影された画像を用いて過去の顔画像の検出，未来の顔画像の検出を行うものである。大人になった後の画像を用いて子供の頃の画像を見つけることができ，子供の頃の画像を用いて大人なった後の画像を見つけることができる。

画像検索装置の全体の動作は，ＣＰＵ１によって統括される。

画像検索装置には，CD-ROM（コンパクト・ディスク-リード・オンリ・メモリ）ドライブ18が含まれている。画像検索装置の動作プログラムが格納されているCD-ROM17がCD-ROMドライブ18に装填されることにより，動作プログラムが読み取られ，画像検索装置にインストールされる。これにより，画像検索装置が後述する動作を行うようになる。

画像検索装置には，必要なデータがあらかじめ記憶されているＲＯＭ２，データを一時的に記憶するＲＡＭ３，ユーザからの指令を入力するための操作装置４，および検索により得られた画像などが表示される表示装置５が含まれている。

また，画像検索装置には，検出すべき人物（顔）の比較の元となる検索元画像を表す画像ファイルを記憶する検索元画像記憶装置８が含まれている。この検索元画像記憶装置８に記憶されている検索元画像ファイルによって表される検索元画像に含まれている顔画像の顔らしさ（顔画像であると判定された画像部分についての顔らしさを表す値）およびその人らしさ（検出すべき人物との一致の程度を表す値）を表す特徴量が，検索元画像特徴量算出装置６によって算出される。また，検索元画像撮影年月日読み取り装置７によって，検索元画像の撮影年月日が読み取られる。検索元画像の撮影年月日は，検索元画像のヘッダに記録されているのはいうまでもない。

画像検索装置には，検索対象となる多数駒の検索先画像を表す画像ファイルを記憶する検索先画像記憶装置11も含まれている。この検索先画像記憶装置11に記憶されている画像ファイルが，検索先画像グルーピング装置９によって，後述するように撮影年月日にもとづいてグループ分けされる。また，検索先画像特徴量算出装置10によって，顔らしさおよびその人らしさ（上述のように，検索元画像に含まれている顔画像によって特定される人物の顔画像との一致の程度を表す値）を表す特徴量が算出される。

さらに，画像検索装置には，特徴量記憶装置14が含まれている。特徴量記憶装置14に記憶されている特徴量が，後述のように比較すべき特徴量となる。特徴量記憶装置14に記憶されている特徴量は，特徴量比較装置12によって比較される。特徴量記憶装置14に記憶されている特徴量は，特徴量更新装置13によって更新される。

さらに，画像検索装置には，類似画像リスト記憶装置16が含まれている。類似画像リスト記憶装置16には，検索元画像に類似していると思われる検索先画像を表す画像ファイルのファイル名（画像ファイルも格納されていてもよい）が格納されている。類似画像リスト追加装置15によって，類似画像リスト記憶装置16にファイル名が追加される。

図２および図３は，画像検索装置の処理手順を示すフローチャートである。

上述したように，検索先画像記憶装置11には多数の検索先画像ファイルが格納されており，これらの検索先画像ファイルが読み取られる。読み取られた検索先画像ファイルによって表される多数駒の検索先画像の中から，見つけだすべき人物の顔画像が含まれている画像が指定される（ステップ21）。指定された検索先画像が，最初の検索元画像となる。もっとも，検索元画像は検索先画像の中から選択せずに他の画像データベース等に格納されている画像ファイルの中から選択するようにしても良い。検索元画像ファイルは，検索元画像記憶装置８に記憶される。検索元画像の撮影年月日が，検索元画像撮影年月日読み取り装置７によって読み取られる（ステップ22）。つづいて，検索元画像の中から顔画像が検出され，検出された顔画像の顔らしさが算出される（ステップ23）。検索元画像の中に複数の顔画像があった場合には，ユーザによって所望の顔画像が指定されることとなろう。算出された顔らしさは，検索元画像の特徴量として，特徴量記憶装置14に記憶される（ステップ24）。つづいて，検索先画像記憶装置11に記憶されている検索先画像ファイルが撮影年ごとにグルーピングされる（ステップ25）。かならずしも撮影年ごとにグルーピングされずとも撮影月，撮影週などによりグルーピングされても良い。

図４は，検索先画像が撮影年ごとにグルーピングされた様子を示している。検索元画像は，１９９６年に撮影された画像（ファイル名０１２３．ＪＰＧ）が指定されたものとする。

この場合，１９９６年に撮影された画像が基準のグループＧｒ０（１９９６）となる。かっこ内の数字は，そのグループに属する検索先画像の撮影年を示している。１９９６年に撮影された画像のみがグループＧｒ０（１９９６）に属している。他のグループについても同様である。基準のグループＧｒ０（１９９６）に属する検索先画像よりも前に撮影された画像が属するグループＧｒ（−１）（１９９５）からグループＧｒ（−ｍ）（１９９０）が過去側のグループとなる。基準のグループＧｒ０（１９９６）に属する検索先画像よりも後に撮影された画像が属するグループＧｒ（＋１）（１９９７）からグループＧｒ（＋ｎ）（２００６）が未来側のグループとなる。

指定された検索元画像０１２３．ＪＰＧが属するグループＧｒ０（１９９６）の中から，その指定された検索元画像０１２３．ＪＰＧに含まれる顔画像ｆ００に類似する顔画像ｆ０１が含まれている検索先画像０１０１．ＪＰＧが見つけ出される。見つけ出された検索先画像０１０１．ＪＰＧが新たな検索元画像０１０１．ＪＰＧとなり，その検索元画像０１０１．ＪＰＧに含まれる顔画像ｆ０１に類似する顔画像ｆ（-１）（またはｆ（＋１））が含まれている検索先画像００９６．ＪＰＧ（または０１５６．ＪＰＧ）が，前年（または後年）の撮影年のグループＧｒ（−１）（１９９５）（またはＧｒ（＋１）（１９９７））の中から見つけ出される。見つけ出された検索先画像００９６．ＪＰＧ（または０１５６．ＪＰＧ）が新たな検索元画像となり，さらにその前年（または後年）の撮影年のグループＧｒ（−２）（１９９４）（またはＧｒ（＋２）（１９９８））の中から見つけ出される。画像を見つけ出すために利用される比較対象の検索先画像は，画像を見つけ出す検索先対象の前年（または後年）のものとなるように更新されるから，顔画像間の変化が少ない。過去に遡って同一人物の顔画像を見つけることができるので，大人になった後の顔画像が含まれている画像を用いて子供の頃の顔画像が含まれている画像を見つけることができる。また，未来にわたって同一人物の顔画像を見つけることができるので，子供の頃の顔画像が含まれている画像を用いて大人の頃の顔画像が含まれている画像を見つけることができる。

図２にもどって，最初に指定された検索元画像が属するグループ内の検索先画像の顔らしさおよびその人らしさが検索先画像特徴量算出装置10によって算出される（ステップ26）。最初に指定された検索元画像は，グループＧｒ０（１９９６）に属するファイル名０１２３．ＪＰＧの画像であるから，ファイル名０１２３．ＪＰＧの検索元画像に含まれている顔画像部分ｆ００とグループＧｒ０（１９９６）に属する他の検索先画像に含まれている顔画像部分とが比較されることにより，その人らしさの特徴量が算出される。

図５は，算出された顔らしさおよびその人らしさのそれぞれの値を示す特徴量リストの一例である。グループＧｒ０（１９９６）についてのものである。

グループＧｒ０（１９９６）に属する検索先画像のファイル名に対応して顔らしさの値およびその人らしさの値が特徴量リストに格納されている。この特徴量リストは，特徴量記憶装置14に記憶される。顔らしさの値が大きいほど，その検索先画像に含まれている顔画像部分が顔らしいことを示している。その人らしさの値が大きいほど，その検索先画像に含まれている顔画像部分が比較対象となる検索元画像に含まれている顔画像と類似していることを示している。顔らしさとその人らしさとの両方の値が大きい検索先画像ほど，検索元画像と類似しているものとして，検索元画像の顔画像と検索先画像の顔画像とが同一人物のものと判断される。

再び，図２にもどって，顔らしさおよびその人らしさの値がしきい値以上のものであるファイル名が類似画像リスト追加装置15を用いて類似画像リストに追加される（ステップ28）。

図６は，グループＧｒ０（１９９６）の類似画像リストの一例である。しきい値以上の顔らしさおよびその人らしさをもつ画像のファイル名０１０２．ＪＰＧなどのファイル名が類似画像リストに格納されている。

図２を参照して，グループ内で検索元画像に含まれている顔画像にもっとも類似している顔画像をもつ検索先画像の顔らしさ，その人らしさが比較用の顔らしさ，その人らしさとして特徴量記憶手段14に記憶（更新）される（ステップ29）。例えば，最初にユーザによって指定された検索元画像は１９９６年に撮影されたファイル名０１２３．ＪＰＧの画像であり，その１９９６年に撮影された検索先画像のうちで，顔らしさおよびその人らしさがもっとも大きい値をもつ顔画像が含まれている検索先画像はファイル名０１０１．ＪＰＧをもつものであったとすると，ファイル名０１０１．ＪＰＧに対応した顔らしさ，その人らしさの特徴量が特徴量記憶装置14に記憶されることとなる。

顔らしさ等が算出されたグループが未来側の最後のグループでなければ（ステップ30でＮＯ），次の撮影年のグループＧｒ（＋１）（１９９７）に属する検索先画像の顔らしさ，その人らしさが算出される（ステップ27）。この算出においては，最初に指定された検索元画像を用いて，その人らしさが算出されるのではなく，上述したように更新された検索元画像を用いてその人らしさが算出される。その後，上述したように，しきい値以上の検索先画像の類似画像リストへの追加（ステップ28）ならびに更新された検索元画像に含まれる顔画像にもっとも類似した顔画像が含まれている画像についての顔らしさおよびその人らしさの更新（ステップ29）が行われる。未来側の最後のグループＧｒ（＋ｎ）（２００６）となるのまでステップ27から29の処理が繰り返される。

図７（Ａ）〜（Ｄ）は，検索元画像が更新された様子を示している。

図７（Ａ）に示すように，ユーザによって最初に指定された検索元画像は，ファイル名０１２３．ＪＰＧのものであり，撮影年は１９９６年である。この最初に指定された検索元画像（ファイル名０１２３．ＪＰＧ）の撮影年と同一の撮影年をもつ検索元画像の中から，最初に指定された検索元画像（ファイル名０１２３．ＪＰＧ）に含まれている顔画像に類似する（顔らしさの値と人らしさの値とが大きいもの）顔画像が含まれている検索先画像（ファイル名０１０１．ＪＰＧ）の画像が新たな検索元画像となるように更新される（図７（Ｂ）参照）。更新された検索元画像（ファイル名０１０１．ＪＰＧ）に含まれている顔画像に類似する顔画像が含まれている検索先画像（ファイル名０１５６．ＪＰＧ）が，次の撮影年である１９９７年のグループの中から検出される。検出された検索先画像（ファイル名０１５６．ＪＰＧ）が新たな検索元画像として更新される（図７（Ｃ）参照）。同様に，更新された検索元画像（ファイル名０１５６．ＪＰＧ）に含まれている顔画像に類似する顔画像が含まれている検索先画像（ファイル名０１８４．ＪＰＧ）が，さらに次の撮影年である１９９８年のグループの中から検出される。検出された検索先画像（ファイル名０１８４．ＪＰＧ）が新たな検索元画像として更新される（図７（Ｄ）参照）。

このように，前年の検索元画像を用いて次の年の検索先画像を検索するので，子供の頃の顔画像が含まれている画像が最初に検索元画像として指定されても大人になった後の顔画像が含まれている画像を見つけ出すことができる。

図２にもどって，未来側の最後のグループとなると（ステップ30でＹＥＳ），最初に指定された検索元画像の撮影年よりも過去の検索先画像についての検索が行われる。このために，再び，最初に指定された検索元画像の顔らしさが算出される（図３ステップ31）。算出された顔らしさが記憶される（ステップ32）。

最初に指定された検索元画像の撮影年の前年に撮影された検索先画像が属するグループＧｒ（−１）（１９９５）内の検索先画像の顔らしさ，その人らしさが算出され（ステップ33），しきい値以上の検索先画像が類似画像リストに追加される（ステップ34）。そのグループ内でもっとも類似している顔画像が含まれている検索先画像の顔らしさ，その人らしさが比較用の顔らしさ，人らしさとして更新される（ステップ35）。過去側の最後のグループとなるまで，上述した未来側の処理と同様に，前年の撮影年のグループに遡りながらステップ33から35の処理が繰り返される（ステップ36）。

最初に指定された検索元画像が大人になった後の顔画像が含まれているものであっても子供の頃の顔画像が含まれている画像を見つけ出すことができる。

上述した実施例においては，未来側の処理の後に過去側の処理が行われているが，その逆にしてもよいし，交互に行うようにしてもよい。さらに，未来側または過去側の最後のグループまで繰り返しているが，最初に指定された検索元画像の撮影年の前後数年で処理を停止してもよい。さらに，子供の頃は成長するために，顔画像の変化が激しい。このために，子供の頃の画像を検索する場合には，グルーピングする期間を短縮するようにしてもよい。その場合には，画像に含まれている人物像（顔画像）の年齢を入力し，入力された年齢と撮影年とにもとづいて子供の頃の画像かを判定し，子供の頃の画像の場合にはグルーピングする期間を短縮することとなろう。

画像検索装置の電気的構成を示すブロック図である。画像検索装置の処理手順を示すフローチャートである。画像検索装置の処理手順を示すフローチャートである。検索先画像がグルーピングされている様子を示している。特徴量リストを示している。類似画像リストを示している。（Ａ）〜（Ｄ）は，検索元画像の更新の様子を示している。

符号の説明

１ＣＰＵ
９検索先画像グルーピング装置
12 特徴量比較装置ｓ

Claims

多数駒の検索先画像を，撮影年月日にしたがってグループ分けするグルーピング手段，
上記グルーピング手段によってグループ分けされたグループのうち，基準となる顔画像が含まれている検索元画像の撮影年月日に近い撮影年月日に撮影された検索先画像が含まれているグループに属している検索先画像の中から，上記検索元画像に含まれている基準顔画像に類似した顔画像が含まれている検索先画像を検出する類似画像検出手段，
上記類似画像検出手段によって検出された検索先画像を新たな検索元画像として，上記検出処理を行うように上記類似画像検出手段を制御する類似画像検出制御手段，ならびに
上記検出処理および上記制御処理を，繰り返すように上記類似画像検出手段および上記類似画像検出制御手段を制御する制御手段，
を備えた画像検索装置。
グルーピング手段が，多数駒の検索先画像を，撮影年月日にしたがってグループ分けし，
類似画像検出手段が，上記グルーピング手段によってグループ分けされたグループのうち，基準となる顔画像が含まれている検索元画像の撮影年月日に近い撮影年月日に撮影された検索先画像が含まれているグループに属している検索先画像の中から，上記検索元画像に含まれている基準顔画像に類似した顔画像が含まれている検索先画像を検出し，
類似画像検出制御手段が，上記類似画像検出手段によって検出された検索先画像を新たな検索元画像として，上記検出処理を行うように上記類似画像検出手段を制御し，
制御手段が，上記検出処理および上記制御処理を，繰り返すように上記類似画像検出手段および上記類似画像検出制御手段を制御する，
画像検索装置の制御方法。
多数駒の検索先画像を，撮影年月日にしたがってグループ分けさせ，
グループ分けされたグループのうち，基準となる顔画像が含まれている検索元画像の撮影年月日に近い撮影年月日に撮影された検索先画像が含まれているグループに属している検索先画像の中から，上記検索元画像に含まれている基準顔画像に類似した顔画像が含まれている検索先画像を検出させ，
検出された検索先画像を新たな検索元画像として，上記検出処理を行わせ，
上記検出処理および上記制御処理を，繰り返させるように画像検索装置を制御するプログラム。
請求項３に記載の上記プログラムを格納した記録媒体。