JP2006277291A - 画像管理装置、画像管理方法、および画像管理プログラム - Google Patents

Abstract

【課題】 記録された画像を管理しやすくすることができる画像管理装置を提供する。
【解決手段】 各フォルダに記録されたすべての画像に対して、検索する特定の人物Ａが含まれているかどうか判別する（Ｓ１０５）。各フォルダに対して評価値が計算される（Ｓ１０７）。ここに評価値は、あるグループに含まれる複数の画像それぞれの、その画像が人物Ａで代表される度合いに基づいて計算される。具体的には評価値は、画像中に人物Ａが含まれるか否かと、画像中の人物Ａの顔面積と、人物Ａの顔の画像中心位置からのずれとによって決定される。所定のグループの数だけ、評価値が大きい順に各グループの代表画像がディスプレイに表示される（Ｓ１０９）。
【選択図】 図４

Description

この発明は画像管理装置、画像管理方法、および画像管理プログラムに関し、特に画像を簡易に管理することができる画像管理装置、画像管理方法、および画像管理プログラムに関する。

デジタルカメラの普及により、個人が管理すべき写真画像が増大してきた。１０〜２０年以上先を考えると、個人の所有する山のような写真画像群の中から見たい画像にたどり着くことが益々困難になることが予想される。特に１０〜２０年以上前の古い写真については、日時の記憶があいまいで、撮影日時情報からだけでは検索が困難なため、写真の内容（特に人物などの特定の被写体）に基づく検索技術が求められている。

下記の特許文献１は、写真画像中に特定人物が写っているかどうか自動判別する画像データ検索方法を開示している。

下記の特許文献２は、複数の画像を複数の群に分ける情報を付加して記録し、複数の画像群毎の代表画像を再生して複数同時に表示させ、表示された複数の代表画像に基づいて所望の画像群を指定し、画像群から所望の画像を指定して表示を行なう電子画像ファイリング装置を開示している。
特開２００１−３５７０６７号公報 特開平５−１２８１６６号公報

上記のように、蓄えられた画像は整理されないまま放置されることがあり、いざ見ようとしても見たい画像に辿り着くのに労力を要することがある。

この発明は上記課題を解決するためになされたものであり、記録された画像を管理しやすくすることができる画像管理装置、画像管理方法、および画像管理プログラムを提供することを目的としている。

上記目的を達成するためこの発明のある局面に従うと、画像管理装置は、複数の画像をグループとして管理する画像管理装置であって、検索したい被写体を所定の被写体として入力する入力手段と、複数グループのグループ内の各画像において、所定の被写体を検出する検出手段と、各画像グループに対して、検出手段で検出された被写体の代表の度合いを決定する決定手段と、決定手段で決定された代表の度合いの大きさに基づき、検索結果を表示する表示手段とを備える。

好ましくは決定手段は、グループ内の画像群で被写体が検出された画像枚数に基づいて代表の度合いを決定する。

好ましくは被写体は、所定の人物である。

好ましくは決定手段は、グループ内の画像群のそれぞれの画像で検出された被写体の画像内での位置および大きさの少なくとも１つに基づいて代表の度合いを決定する。

この発明の他の局面に従うと、画像管理装置は、画像群をグループに分けて管理するための管理情報を保持する保持手段と、グループ内の各画像において所定の被写体を検出する検出手段と、各画像グループに対して、検出手段で検出された被写体の代表の度合いを決定する決定手段と、決定手段で決定された代表の度合いに基づき、管理情報を変更する変更手段とを備える。

好ましくは決定手段は、グループ内の画像群で被写体が検出された画像枚数に基づいて代表の度合いを決定する。

好ましくは被写体は、所定の人物である。

好ましくは決定手段は、グループ内の画像群で被写体が検出された画像枚数に加えて、それぞれの画像で検出された被写体の画像内での位置および大きさに基づいて代表の度合いを決定する。

好ましくは管理情報は、所定の被写体に応じて規定されたメタデータを含む。

好ましくは管理情報は、グループ内の特定画像または特定画像を示す情報を含む。

この発明のさらに他の局面に従うと、画像管理方法は、複数の画像をグループとして管理する画像管理方法であって、検索したい被写体を所定の被写体として入力する入力ステップと、複数グループのグループ内の各画像において、所定の被写体を検出する検出ステップと、各画像グループに対して、検出ステップで検出された被写体の代表の度合いを決定する決定ステップと、決定ステップで決定された代表の度合いの大きさに基づき、検索結果を表示する表示ステップとを備える。

この発明のさらに他の局面に従うと、画像管理方法は、画像群をグループに分けて管理するための管理情報を保持する画像管理方法であって、グループ内の各画像において所定の被写体を検出する検出ステップと、各画像グループに対して、検出ステップで検出された被写体の代表の度合いを決定する決定ステップと、決定ステップで決定された代表の度合いに基づき、管理情報を変更する変更ステップとを備える。

この発明のさらに他の局面に従うと、画像管理プログラムは、複数の画像をグループとして管理する画像管理プログラムであって、検索したい被写体を所定の被写体として入力する入力ステップと、複数グループのグループ内の各画像において、所定の被写体を検出する検出ステップと、各画像グループに対して、検出ステップで検出された被写体の代表の度合いを決定する決定ステップと、決定ステップで決定された代表の度合いの大きさに基づき、検索結果を表示する表示ステップとをコンピュータに実行させる。

この発明のさらに他の局面に従うと、画像管理プログラムは、画像群をグループに分けて管理するための管理情報を保持する画像管理プログラムであって、グループ内の各画像において所定の被写体を検出する検出ステップと、各画像グループに対して、検出ステップで検出された被写体の代表の度合いを決定する決定ステップと、決定ステップで決定された代表の度合いに基づき、管理情報を変更する変更ステップとをコンピュータに実行させる。

これらの発明に従うと、被写体の代表の度合いに基づいた管理ができるため、記録された画像を管理しやすくすることができる画像管理装置、画像管理方法、および画像管理プログラムを提供することが可能である。

［第１の実施の形態］
図１は、本発明の第１の実施の形態における画像管理システム（アーカイブシステム）の構成を示す図である。

本画像管理システムは、大量に保存されている画像を自動的に整理し、簡単に見たい画像を探し出せるように構成されている。画像管理システムは、大量画像の管理方式として、画像をグループに分割して管理する方式をとる。画像は撮影日時やイベントごとにグループ化され管理される。

図１を参照して、画像管理システムは、ＭＦＰ(Multi Function Peripherals)などである画像形成装置１と、端末装置であるクライアントＰＣ２ａ、２ｂ、・・・と、サーバ６とから構成される。画像形成装置１、クライアントＰＣ２ａ、２ｂ、・・・、およびサーバ６は、ネットワークを介して接続されている。なお、ＭＦＰに替えて、ネットワーク接続のＰＣ、プリンタなどを採用してもよい。

画像形成装置１は、走査した原稿画像、クライアントＰＣ２ａ、２ｂ、・・・、およびサーバ６から送信されたプリントデータから生成した画像の複写画像を用紙上に形成する装置である。

図２は、図１の画像形成装置１のハードウェア構成を示すブロック図である。

図を参照して、画像形成装置１は、装置全体を制御する制御部１０６と、原稿から画像データを読取るイメージリーダ部１０１と、用紙上に画像を印刷するプリンタ部１０２と、近距離の無線通信を行なったり、印刷装置をネットワークや電話回線に接続するための通信部１０３と、ジョブデータなどを記憶するための記憶部１０４と、ユーザとのインターフェースである操作パネル１０５と、消耗品の残量などを検出するセンサ部１０７とを含む。

図３は、図１のクライアントＰＣまたはサーバ１台のハードウェア構成を示すブロック図である。

図を参照して、クライアントＰＣ（またはサーバ）は、装置全体の制御を行なうＣＰＵ６０１と、ディスプレイ６０５と、ネットワークに接続したり外部と通信を行なうためのＬＡＮ（ローカルエリアネットワーク）カード６０７（またはモデムカード）と、キーボードやマウスなどにより構成される入力装置６０９と、フレキシブルディスクドライブ６１１と、ＣＤ−ＲＯＭドライブ６１３と、ハードディスクドライブ６１５と、ＲＡＭ６１７と、ＲＯＭ６１９とを備えている。

フレキシブルディスクドライブ６１１により、フレキシブルディスクＦに記録されたプログラムや画像などのデータを読取ることが可能であり、ＣＤ−ＲＯＭドライブ６１３により、ＣＤ−ＲＯＭ６１３ａに記録されたプログラムや画像などのデータを読取ることが可能である。

本実施の形態において、管理される画像は、画像形成装置１、クライアントＰＣ２ａ、２ｂ、・・・、およびサーバ６の記憶装置に記憶される。

なお、システムに写真などの画像を入力するためのインターフェースとして、ＤＶＤドライブ、メモリーカードリーダなどを備えさせることも可能である。画像の蓄積のためには、ハードディスクドライブを用いることが好ましい。

また、写真などの画像表示のために、テレビへのビデオ信号出力端子を装備することとしてもよい。また、システムの操作を簡単にするために、リモコンを装備してもよい。さらに、表示画面、記憶装置、画像取込装置、制御装置、およびリモコン送受信部を一体的に構成した画像管理装置を提供してもよい。

登録された写真などの画像は、登録時にグループ化され、グループごとのディレクトリに保存される。このように、数多くの画像を管理する上で、それらをグループに分けて管理しておくと便利である。

グループの分類単位は、特定の旅行や属している趣味サークルなどの活動に基づく場合もあれば、年月日などの時間に基づく場合など様々な場合がありえる。いずれにせよ、その単位グループ内の画像群中で検出される特定被写体の頻度は有用な情報を含む。

例えば、仲のよい友達のＡさんと２人で行った旅行の写真を個別写真で検索しようとすると、Ａさんを含んで大勢で行った旅行がたくさんあると、多くの目的外の写真が検索結果に含まれてしまう。しかし、グループ単位でその検出頻度を考慮して検索を行えば、２人で行った旅行の方が、大勢で行った旅行よりもＡさんが写っている頻度が高いと考えられるので、正しい検索を行える可能性が高い。

また、車の展示会へ行ったときの写真群を見つけたいときも、同様な方法で車を検出すれば、偶然背景に写った車を含む写真のグループを排除して検索できる。また、検索の場合と同様に特定被写体の検出頻度を使用すると、より良いメタデータ（ラベル）を画像グループに付けられたり、各グループからより良い代表画像を選定できたりする。

さらには、特定被写体の検出頻度だけでなく、検出された被写体の大きさや画像内位置も評価することにより、偶然背景に写ってしまったような被写体を含む写真を、もっと有効に排除して、検索や選定を行なうことができる。

図４は、画像管理システムが行なう動作を示すフローチャートである。

このフローチャートによると、検索したい被写体（特定の人物など）が複数の画像グループから検索され、各画像グループにおける被写体の代表度合いが決定される。代表度合いに基づいて、検索結果の画像が決定され、表示が行なわれる。

ここで、代表度合いは、グループ内の画像群で被写体が検索された画像枚数や、被写体の画像内での位置や大きさに基づき決定される。

図４を参照して、以下の手順により検索が行なわれる。

・グループ化（ＰＣ上で動作するプログラムによるインタラクティブに実行される処理）
（１） ユーザは、ルートのフォルダ内にイベントごとのフォルダを作成し、各フォルダに登録する画像を振り分ける（Ｓ１０１）。なお、変形例として画像の振り分けは、特開平５−１２８１６６号公報に開示されるように、撮影時刻などの情報から自動的に行なわれるようにしてもよい。

・検索（ＰＣ上で動作するプログラムにより自動実行される処理）
（２） ユーザは、検索する特定の人物Ａを指定し、検索をプログラムに指示して実行させる（Ｓ１０３）。この指定は、人物Ａの画像をユーザが画像データとして入力したり、予め準備された複数の画像の中から人物Ａの画像を選択することにより行なわれる。

（３） 画像管理システムが実行するプログラムは、例えば特開２００１−３５７０６７号公報が開示する方法により、ルートフォルダ内の各グループのフォルダのすべての画像に対して、予め作成しておいた人物Ａの顔特徴量辞書を参照して、人物Ａが各画像に含まれているかどうか判別する（Ｓ１０５）。これは、複数の大きさのテンプレートを辞書に用意しておいて、それぞれで対象画像の各部分とテンプレートマッチングをすることによって行なわれる。このとき、副次的に画像内における人物Ａの顔の大きさ（面積）Ｓと顔の中心位置Ｃを特定する。

（４） プログラムは、各グループ（フォルダ）に対して以下の評価値Ｒｇ（Ａ）を計算する（Ｓ１０７）。

ここに、Ｒｇ（Ａ）は、あるグループｇに含まれる複数の画像それぞれの評価値ｒｉ（Ａ）（その画像が人物Ａで代表される度合い）の平均を示すものである。ｒｉ（Ａ）は、画像中に人物Ａが含まれるか否かと、画像中の人物Ａの顔面積と、人物Ａの顔の画像中心位置からのずれとによって決定される。

（５） プログラムは、所定のグループの数だけ、評価値Ｒｇ（Ａ）が大きい順に所定のレイアウトで各グループから代表画像をディスプレイに表示する（Ｓ１０９）。各グループの代表画像は、各グループにおいてｒｉ（Ａ）の値が最も大きいものに対応する画像とする。

（６） ユーザは、表示された画像群を閲覧し、所望のグループと思われるグループの表示画像をクリックして選択を行なう（Ｓ１１１）。

（７） プログラムは、選択されたグループの全画像を所定のレイアウトでディスプレイに表示する（Ｓ１１３）。

なお、上記実施例において、グループ化は、検索の際に動的に行うことも可能である。

［第２の実施の形態］
第２の実施の形態における画像管理システムの構成は、第１の実施の形態におけるそれと同じであるため、ここでの説明を繰返さない。

本実施の形態においては、システムにより、メタデータおよび代表画像による自動インデクシングを行なうことを特徴とする。

画像のグループ化の手順に関しては、第１の実施の形態と同様にして行うことができる。なお、本実施の形態では、ルートフォルダにプログラムが参照するグループフォルダの管理情報がファイルとして格納されているものとする。

図５は、グループフォルダの管理情報の構成を示す図である。

管理情報には、各グループフォルダに対する（複数の）テキストメタデータ、および（複数の）代表画像へのポインタが含まれるものとする。代表画像へのポインタは、当該グループフォルダ内のある画像の管理番号として表現されるものとする。

図６は、第２の実施の形態における画像管理システムが行なう動作を示すフローチャートである。

このフローチャートによると、複数の画像を含む新しいグループフォルダｇが登録された時に、そのフォルダｇに対するメタデータの付与と、代表画像の選択が自動で行なわれ、これに基づき管理情報が更新される。

図６を参照して、以下の手順により管理情報の更新が行なわれる。

・画像登録時の自動インデクシング（ＰＣ上で動作するプログラムにより自動的に実行される処理）
（１） ユーザは、新たに登録されたグループフォルダｇを指定して、インデクシングをプログラムに指示して実行させる（Ｓ２０１）。

（２） プログラムは、予め登録された人物Ａ，Ｂ，Ｃ，…のそれぞれについて第１の実施の形態の（３）〜（４）の手順（Ｓ１０５〜Ｓ１０７）を実行し、Ｒｇ（Ａ），Ｒｇ（Ｂ），Ｒｇ（Ｃ），…を計算する（Ｓ２０３）。これらの値が所定の閾値ｔを超える人物については、所定の辞書を参照して対応する（複数の）人物名を得るとともに、その人物名を管理情報の当該グループメタデータに追加する（Ｓ２０５）。ただし、このとき、値の大きいものから順にメタデータを登録する。

（３） プログラムは、グループごとに各画像に対して以下の評価値ｒｉ（Ａ，Ｂ，Ｃ，…）を計算する（Ｓ２０７）。

（４） 評価値ｒｉ（Ａ，Ｂ，Ｃ，…）が所定の閾値ｔ’を超える（複数の）画像を当該グループ代表画像として、管理情報に追加する（Ｓ２０９）。ただし、このとき、値の大きいものから順に代表画像を登録する。

図７は、画像登録後のブラウズ時の処理を示すフローチャートである。

このフローチャートは、ＰＣ上で動作するプログラムにより自動的に実行される。

図７を参照して、Ｓ３０１でユーザは、ブラウズをプログラムに指示して実行させる。

Ｓ３０３で、プログラムは、各グループの第１代表画像とグループメタデータを一対として、所定のレイアウトでディスプレイに表示する。

図８は、ブラウズ時のディスプレイの表示の具体例を示す図である。

図を参照して、各グループの第１代表画像とグループメタデータの組が、複数ディスプレイに表示されている。

なお、評価値ｒｉ（Ａ，Ｂ，Ｃ，・・・）を計算する処理は、下記のいずれかの式によるものとしてもよい。

［変形例］
なお、本実施の形態では、メタデータとして人物名のテキストデータを使用したが、これに替えて、任意のテキストデータや音声など対象となる被写体と関連付けられた任意のデータを使用することが可能である。

また本実施の形態では、登録被写体１つに対して代表画像の表示を１枚に限定したが、画面を分割して同時に複数表示することもできるし、画像をクリックして表示されている代表画像を他のものに切替える構成をとることもできる。

さらにメタデータのみ、または代表画像のみによるインデクシングを行なうことも可能である。

すでにインデクシングが行われているグループについてインデクシングが行なわれたときは、メタデータや代表画像については更新を行なうようにしてもよい。

さらに、自動インデクシングの結果を用いて、高速な検索を行うことができる。これは、例えば、自動インデクシングで付与されたメタデータを人物名を用いてテキスト検索することにより、所定の人物の画像グループを検索するものである。また、メタデータの付与を行わなかった場合には、代表画像のみを用いて被写体（人物）検出を行えば、高速な検索が可能である。

［実施の形態における効果］
以上のようにして、本発明の実施の形態によると、特定の被写体（人物）に関連の深い１群の写真画像を検索することができる（または、１群の写真画像に被写体を表すメタデータを追加する、または、１群の代表となる画像を選び出すことができる）。

写真画像はグループ単位で管理されていてもよいし、または、検索実行時にグループ化されていてもよい。このとき、グループ同士には重なって所属する画像があってもよい。管理グループは通常、意味的・時間的にまとまったイベントなどの単位でまとめられる。

検索キーによりパーソナルな画像データを検索する際は、検索キーに関連が深い「個別の」画像自体を検索したいことよりも、その検索キーに関連が深い「画像グループ」を検索したい場合の方が多いと考えられる。本実施の形態では、そのような要望にあった検索手法を提供することができる。

また、検索キーに関連が深いグループを、グループ内の検索キーに関連が深い画像の枚数（頻度）などにより検出することができる。

なお、上述の処理は、ＰＣのコンピュータが行なっても、画像形成装置のコンピュータが行なっても、サーバのコンピュータが行なってもよい。

なお、上述の実施の形態における処理は、ソフトウエアによって行なっても、ハードウエア回路を用いて行なってもよい。

また、上述の実施の形態における処理を実行するプログラムを提供することもできるし、そのプログラムをＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、メモリカードなどの記録媒体に記録してユーザに提供することにしてもよい。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。

また、本発明はネットワークに接続されたシステムにおいても、ネットワーク環境に接続されていないシステムにも適用することができる。

なお、上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の第１の実施の形態における画像管理システムの構成を示す図である。 図１の画像形成装置１のハードウェア構成を示すブロック図である。 図１のクライアントＰＣまたはサーバ１台のハードウェア構成を示すブロック図である。 画像管理システムが行なう動作を示すフローチャートである。 グループフォルダの管理情報の構成を示す図である。 第２の実施の形態における画像管理システムが行なう動作を示すフローチャートである。 画像登録後のブラウズ時の処理を示すフローチャートである。 ブラウズ時のディスプレイの表示の具体例を示す図である。

符号の説明

１ 画像形成装置、２ａ，２ｂ クライアントＰＣ、６ サーバ、１０２ プリンタ部、１０３ 通信部、１０４ 記憶部、１０５ 操作パネル、１０６ 制御部、６０１ ＣＰＵ。

Claims (14)

1. 複数の画像をグループとして管理する画像管理装置であって、
   検索したい被写体を所定の被写体として入力する入力手段と、
   複数グループのグループ内の各画像において、前記所定の被写体を検出する検出手段と、
   各画像グループに対して、前記検出手段で検出された被写体の代表の度合いを決定する決定手段と、
   前記決定手段で決定された代表の度合いの大きさに基づき、検索結果を表示する表示手段とを備えた、画像管理装置。
2. 前記決定手段は、グループ内の画像群で被写体が検出された画像枚数に基づいて代表の度合いを決定する、請求項１に記載の画像管理装置。
3. 前記被写体は、所定の人物である、請求項１または２に記載の画像管理装置。
4. 前記決定手段は、グループ内の画像群のそれぞれの画像で検出された被写体の画像内での位置および大きさの少なくとも１つに基づいて代表の度合いを決定する、請求項１〜３のいずれかに記載の画像管理装置。
5. 画像群をグループに分けて管理するための管理情報を保持する保持手段と、
   前記グループ内の各画像において所定の被写体を検出する検出手段と、
   各画像グループに対して、前記検出手段で検出された被写体の代表の度合いを決定する決定手段と、
   前記決定手段で決定された代表の度合いに基づき、前記管理情報を変更する変更手段とを備えた、画像管理装置。
6. 前記決定手段は、グループ内の画像群で被写体が検出された画像枚数に基づいて代表の度合いを決定する、請求項５に記載の画像管理装置。
7. 前記被写体は、所定の人物である、請求項５または６に記載の画像管理装置。
8. 前記決定手段は、グループ内の画像群で被写体が検出された画像枚数に加えて、それぞれの画像で検出された被写体の画像内での位置および大きさに基づいて代表の度合いを決定する、請求項５〜７のいずれかに記載の画像管理装置。
9. 前記管理情報は、所定の被写体に応じて規定されたメタデータを含む、請求項５〜８のいずれかに記載の画像管理装置。
10. 前記管理情報は、グループ内の特定画像または特定画像を示す情報を含む、請求項５〜９のいずれかに記載の画像管理装置。
11. 複数の画像をグループとして管理する画像管理方法であって、
    検索したい被写体を所定の被写体として入力する入力ステップと、
    複数グループのグループ内の各画像において、前記所定の被写体を検出する検出ステップと、
    各画像グループに対して、前記検出ステップで検出された被写体の代表の度合いを決定する決定ステップと、
    前記決定ステップで決定された代表の度合いの大きさに基づき、検索結果を表示する表示ステップとを備えた、画像管理方法。
12. 画像群をグループに分けて管理するための管理情報を保持する画像管理方法であって、
    前記グループ内の各画像において所定の被写体を検出する検出ステップと、
    各画像グループに対して、前記検出ステップで検出された被写体の代表の度合いを決定する決定ステップと、
    前記決定ステップで決定された代表の度合いに基づき、前記管理情報を変更する変更ステップとを備えた、画像管理方法。
13. 複数の画像をグループとして管理する画像管理プログラムであって、
    検索したい被写体を所定の被写体として入力する入力ステップと、
    複数グループのグループ内の各画像において、前記所定の被写体を検出する検出ステップと、
    各画像グループに対して、前記検出ステップで検出された被写体の代表の度合いを決定する決定ステップと、
    前記決定ステップで決定された代表の度合いの大きさに基づき、検索結果を表示する表示ステップとをコンピュータに実行させる、画像管理プログラム。
14. 画像群をグループに分けて管理するための管理情報を保持する画像管理プログラムであって、
    前記グループ内の各画像において所定の被写体を検出する検出ステップと、
    各画像グループに対して、前記検出ステップで検出された被写体の代表の度合いを決定する決定ステップと、
    前記決定ステップで決定された代表の度合いに基づき、前記管理情報を変更する変更ステップとをコンピュータに実行させる、画像管理プログラム。

Images