JP2006171888A - 画像管理装置、画像管理方法、および画像管理プログラム - Google Patents

Abstract

【課題】 記録された画像を管理しやすくすることができる画像管理装置を提供する。
【解決手段】 複数の画像が入力されると（Ｓ１０１）、時間情報などに従い、イベント単位などで画像をグループ化する（Ｓ１０３）。各画像から画像特徴量が抽出され（Ｓ１０５）、各画像にキーワードが付与される（Ｓ１０９）。各画像のキーワードの概念における包含関係を調べることで、グループに対する上位概念のキーワードを抽出する（Ｓ１０９）。
【選択図】 図５

Description

この発明は画像管理装置、画像管理方法、および画像管理プログラムに関し、特に画像を簡易に管理することができる画像管理装置、画像管理方法、および画像管理プログラムに関する。

デジタルカメラが普及し、従来とは比較にならないほどの大量の画像が記憶装置に蓄えられるようになってきている。これに伴い、大量の画像から所望の画像を検索する技術が重要になっている。

下記の特許文献１は、検索された画像群全体の特徴量からキーワードを選出し、設定する技術を開示している。

下記の非特許文献１は、教師データから得られた画像辞書によって、入力画像に対するキーワードを自動設定する技術を開示している。
特開平１１−１７３６０５号公報 Automatic Linguistic Indexing of Pictures by a Statistical Modeling Approach，James Z．Wang IEEE Trans. on Pattern Analysis and Machine Intelligence， Vol．25， No.10，14 pp., 2003

蓄えられた画像は整理されないまま放置されることがあり、いざ見ようとしても見たい画像に辿り着くのに労力を要することがある。

この発明は上記課題を解決するためになされたものであり、記録された画像を管理しやすくすることができる画像管理装置、画像管理方法、および画像管理プログラムを提供することを目的としている。

上記目的を達成するためこの発明のある局面に従うと、画像管理装置は、複数の画像を１つのグループとして管理する画像管理装置であって、１つのグループ内の各画像に対し、概念を付与する第１の付与手段と、概念の包含関係を記憶する記憶手段と、記憶された包含関係と、１つのグループ内の各画像に対して付与された概念とに基づいて、１つのグループに対しての概念を付与する第２の付与手段とを備える。

好ましくは記憶手段は、全ての概念の組合せの関係を記述した２項関係により、ある概念がある概念を包含するか否かを記述した情報を記憶し、第２の付与手段は、複数の概念に対し、２項関係を参照し、投票によりもっとも得票数の多い概念を１つのグループに対しての概念とする。

好ましくは記憶手段は、階層構造で記述された概念の包含関係を記憶し、第２の付与手段は、複数の概念に対し、階層構造を参照し、投票を行ない、投票では所定の係数をかけた値を上位階層に伝播させ、もっとも得票数の多い概念を１つのグループに対しての概念とする。

好ましくは第１の付与手段は、各画像の画像特徴量に基づいて各画像に概念を付与する。

好ましくは第１の付与手段は、ユーザが設定したキーワードを概念として付与する。

好ましくは第１の付与手段は、各画像に概念として場所情報を付与し、第２の付与手段は、もっとも多くの概念を包含する地理情報を、１つのグループに対しての概念として付与する。

好ましくは第１の付与手段は、各画像に概念として時間に関する情報を付与し、第２の付与手段は、もっとも多くの概念を包含する時間に関する情報を、１つのグループに対しての概念として付与する。

この発明の他の局面に従うと、画像管理方法は、複数の画像を１つのグループとして管理する画像管理方法であって、概念の包含関係を記憶し、１つのグループ内の各画像に対し、概念を付与する第１の付与ステップと、記憶された包含関係と、１つのグループ内の各画像に対して付与された概念とに基づいて、１つのグループに対しての概念を付与する第２の付与ステップとを備える。

この発明のさらに他の局面に従うと、画像管理プログラムは、複数の画像を１つのグループとして管理する画像管理プログラムであって、概念の包含関係を記憶し、１つのグループ内の各画像に対し、概念を付与する第１の付与ステップと、記憶された包含関係と、１つのグループ内の各画像に対して付与された概念とに基づいて、１つのグループに対しての概念を付与する第２の付与ステップとをコンピュータに実行させる。

この発明に従うと、複数の画像を１つのグループとして管理し、１つのグループ内の各画像に対して付与された概念に基づいて、１つのグループに対しての概念を付与することができる画像管理装置、画像管理方法、および画像管理プログラムを提供することが可能である。

［第１の実施の形態］
図１は、本発明の第１の実施の形態における画像管理システム（アーカイブシステム）の構成を示す図である。

本画像管理システムは、大量に保存されている画像を自動的に整理し、簡単に見たい画像を探し出せるように構成されている。画像管理システムは、大量画像の管理方式として、画像をグループに分割して管理する方式をとる。画像は撮影日時やイベントごとにグループ化され管理される。このとき、ユーザに対し、どのグループにどんな画像が入っているか簡単に知らせる手法が必要となる。画像管理システムは、ユーザがグループ画像の中身を見なくとも、どんな画像が入っているかをユーザに知らせることができるように、グループの画像群を表す代表的な言葉を自動で設定する。

すなわち画像管理システムは、アルバムなどにおいて画像をグループ管理するとき、グループに対するタイトルを自動設定する。そのために画像管理システムは、一旦、グループ内の各画像に対するキーワード候補を選出する。これらのキーワードをもっとも多く包含する上位概念を持つキーワードがタイトルとして設定される。これにより、精度の高いキーワードを自動的に付与することが可能であり、大量画像の中から所望の画像を閲覧することが簡単に出来る。

アルバムは、１つのイベント（旅行や運動会など）に対して複数枚の写真から構成されていることが多いため、グループ単位で管理しグループに対する適切な言葉を自動設定することで、画像を簡単に整理でき、所望の画像を簡単に探し出すことが可能となる。

図１を参照して、画像管理システムは、ＭＦＰ(Multi Function Peripherals)などである画像形成装置１と、端末装置であるクライアントＰＣ２ａ、２ｂ、・・・と、サーバ６とから構成される。画像形成装置１、クライアントＰＣ２ａ、２ｂ、・・・、およびサーバ６は、ネットワークを介して接続されている。

画像形成装置１は、走査した原稿画像、クライアントＰＣ２ａ、２ｂ、・・・、およびサーバ６から送信されたプリントデータから生成した画像の複写画像を用紙上に形成する装置である。

図２は、図１の画像形成装置１のハードウェア構成を示すブロック図である。

図を参照して、画像形成装置１は、装置全体を制御する制御部１０６と、原稿から画像データを読取るイメージリーダ部１０１と、用紙上に画像を印刷するプリンタ部１０２と、近距離の無線通信を行なったり、印刷装置をネットワークや電話回線に接続するための通信部１０３と、ジョブデータなどを記憶するための記憶部１０４と、ユーザとのインターフェースである操作パネル１０５と、消耗品の残量などを検出するセンサ部１０７とを含む。

図３は、図１のクライアントＰＣまたはサーバ１台のハードウェア構成を示すブロック図である。

図を参照して、クライアントＰＣ（またはサーバ）は、装置全体の制御を行なうＣＰＵ６０１と、ディスプレイ６０５と、ネットワークに接続したり外部と通信を行なうためのＬＡＮ（ローカルエリアネットワーク）カード６０７（またはモデムカード）と、キーボードやマウスなどにより構成される入力装置６０９と、フレキシブルディスクドライブ６１１と、ＣＤ−ＲＯＭドライブ６１３と、ハードディスクドライブ６１５と、ＲＡＭ６１７と、ＲＯＭ６１９とを備えている。

フレキシブルディスクドライブ６１１により、フレキシブルディスクＦに記録されたプログラムや画像などのデータを読取ることが可能であり、ＣＤ−ＲＯＭドライブ６１３により、ＣＤ−ＲＯＭ６１３ａに記録されたプログラムや画像などのデータを読取ることが可能である。

本実施の形態において、管理される画像は、画像形成装置１、クライアントＰＣ２ａ、２ｂ、・・・、およびサーバ６の記憶装置に記憶される。

なお、システムに写真などの画像を入力するためのインターフェースとして、ＤＶＤドライブ、メモリーカードリーダなどを備えさせることも可能である。画像の蓄積のためには、ハードディスクドライブを用いることが好ましい。

また、写真などの画像表示のために、テレビへのビデオ信号出力端子を装備することとしてもよい。また、システムの操作を簡単にするために、リモコンを装備してもよい。さらに、表示画面、記憶装置、画像取込装置、制御装置、およびリモコン送受信部を一体的に構成した画像管理装置を提供してもよい。

登録された写真などの画像は、登録時にグループ化され、グループごとのディレクトリに保存される。画像管理システムは、予め生成された画像辞書を持っており、新規に登録された写真（画像）に対し、画像データから自動的に適切な言葉（概念）を付与する。

また、画像管理システムは、言葉間の包含関係も保持しており、画像に割付けられた言葉を元に、写真グループに対する適切な言葉を選択し、設定する。

割付けられた言葉と、写真データに付帯しているメタデータ（日付や場所）とは、データベースに登録され、画像の検索用のデータとして使用される。所望の画像を探し出す手法として、メタデータや割付けられた言葉のクエリーによる一枚毎の画像の検索ができるとともに、グループに対して割付けられた言葉から、グループ毎の検索が可能となっている。

図４は、画像形成装置１内の記憶部１０４に記憶されるデータを示す図である。

図を参照して、記憶部１０４には画像辞書１０４ａと、包含関係データ１０４ｂと、画像データ１０４ｃとが記録される。なお、これらデータは、サーバ６やクライアントＰＣ２ａ、２ｂ、・・・に記憶させることとしてもよい。

図５は、画像管理システムが行なう動作を示すフローチャートである。

以下、当該フローチャートの各ステップについて説明する。

・ステップＳ１０１
ユーザは、デジタルカメラやスキャナなどを用いて、または、ＣＤ−ＲやＤＶＤやメモリなどの記憶媒体を介して、システムに画像を入力する。

・ステップＳ１０３
画像管理システムは、画像データをグループ化して記憶する。このときグループ化の手法として、以下の方法が挙げられる。

（ア） 同時に登録された写真を１つのグループとして扱うグループ化手法。

（イ） 写真の撮影時間の間隔が所定時間以内であるとき、それらの画像を同一グループの画像とみなすグループ化手法。

（ウ） ユーザが複数の写真画像を選択してグループ化する手法。

これらの手法をユーザが選択し、ユーザの都合に合わせた画像グループが構成される。いずれの方法を採用しても、旅行や運動会といった写真を多く撮影する機会のあるイベントに対しては、グループ内の写真の多くが同一のイベントに関わるものとして構成される事になる。

・ステップＳ１０５
各画像の内容に基づき、画像特徴量が抽出される。

・ステップＳ１０７
当該ステップでは、画像辞書を用いた写真に対するキーワード候補の割付の処理が行なわれる。

画像辞書は、言葉と写真画像との対応付けを行うため予め用意されている。この対応付けには、上述の非特許文献１に示されている、2D Multiresolution Hidden Markov Modelsを使用した手法を利用することができる。

この手法では、６００ほどの言葉を用意し、その言葉に対する教師画像をそれぞれ４０枚ほど与え学習させることで、入力された画像の特徴量から各言葉の関連性の大きさを数値として出力することが出来る。

画像管理システムは、この学習データを６００の言葉に対する画像特徴量との関連性が記述された画像辞書として保持する。画像を新たに登録したときに、画像管理システムはまず、画像特徴量を抽出し（Ｓ１０５）、次に全ての登録されている言葉に対し画像特徴量との関連性の大きさを算出する。そして、所定のしきい値を上回る上位５つまでの言葉を選出し、当該画像を表す言葉（概念）として登録する。

・ステップＳ１０９
当該ステップでは、言葉の包含関係に基づいて、画像グループに対する概念を付与する。

事前に包含関係データとして、登録されている言葉から２つの言葉を選び、一方の言葉の概念が他方の言葉の概念を包含するかどうかが設定されている。包含関係データは、登録されている言葉のすべての組合せに対して設定されている。

すなわち言葉Ｋｉが言葉Ｋｊを含む概念（言葉Ｋｉが言葉Ｋｊの上位概念）であるとき、２項関係により、
Ｔ（Ｋｉ，Ｋｊ）＝１
とし、
言葉Ｋｉが言葉Ｋｊを含まない概念（言葉Ｋｉが言葉Ｋｊの上位概念でない）とき、
Ｔ（Ｋｉ，Ｋｊ）＝０
と設定する。

ただし、Ｔ（Ｋｉ，Ｋｉ）＝１とする。

複数枚（Ｎ枚）の写真からなるグループが設定されているとき、Ｎ枚の写真に対しその関連する言葉を画像辞書より選出する。このとき、各画像に対し０〜５個の言葉がそれぞれ選出される。選出された全ての言葉に対し、その言葉自身とその言葉の上位概念に相当する言葉に対し投票を行う。この結果、得票数の最も多い言葉をこのＮ枚の写真のグループを代表する言葉として選択する。

すなわち、写真ＩｍａｇｅＫから抽出された言葉をＫ_{ＩｍａｇｅＫ，ｊ}とすると、言葉Ｋ_ｉに対する投票数Ｐ（Ｋ_ｉ）は、

で算出される。

例えば、運動会の一連の写真１〜５をグループとして登録したとき、各写真に対して以下のような言葉が選出されたものとする。

写真１（徒競走の写真）：徒競走、 運動場、 サッカー、運動会、 体操服
写真２（踊りの写真） ：運動場、 体操、 行進、 体操服
写真３（玉入れの写真）：ボール、 玉入れ、 野球、 体操服
写真４（綱引きの写真）：運動場、 地引網、 体操服
写真５（騎馬戦の写真）：運動場、 体操服
この例では、写真４は綱引きの写真であるが、画像辞書には登録されていないシーンであったため、このシーンに関連する言葉として運動場と地引網と体操服とが選出されてしまったものとする。

一方、それぞれの言葉の“運動会”に対する包含関係は、徒競走＝１、運動場＝１、サッカー＝０、体操＝１、行進＝１、ボール＝０、玉入れ＝１、野球＝０、地引網＝０、体操服＝１であるものとする。すなわち、徒競走、運動場、体操、行進、玉入れ、および体操服が“運動会”に含まれるもの（下位概念）として登録されている。

この場合、上記式により、Ｐ（運動会）＝１４となる。

また、言葉“少年野球”に対する包含関係は、徒競走＝０、運動場＝１、サッカー＝０、体操＝０、行進＝１、ボール＝１、玉入れ＝０、地引網＝０、運動会＝０、体操服＝０であるものとする。

この場合、Ｐ（少年野球）＝７となり、得票数の多い“運動会”が写真グループを代表する言葉として登録されることとなる。

［第２の実施の形態］
第２の実施の形態における画像管理システムの構成は、第１の実施の形態におけるそれと同じであるため、ここでの説明を繰返さない。

第２の実施の形態における画像管理システムでは、階層構造で記述された概念の包含関係を記憶し、複数の対応付けられた概念に対し、前記階層構造を参照し、投票を行なう。投票では所定の係数をかけた値を上位階層に伝播させ、もっとも得票数の多い概念を１つのグループに対する概念とする。

以下、写真画像にメタデータとして、地理情報が記録されている場合を例に挙げ、本実施の形態について説明する。

図６は、画像管理システムが保持する日本の地理情報の包含関係を示す図である。

画像管理システムは、階層構造で地理情報を保持している。地理情報は、「日本」を最上位として、階層的に「地方名」、「都道府県名」、「都市名」と管理されている。

北海道旅行の写真を撮影した場合において、大阪を出発して帰ってくるまでの写真が１つのグループとして定義されたとき、各写真の地理情報が、
泉佐野 → 不明（飛行機内） → 函館 → 小樽 → 稚内 → 網走 → 根室 → 釧路 → すすきの → 札幌ドーム → サッポロビール園 → 千歳空港 → 伊丹
であったものとする。なお、この地理情報はユーザによりメタデータとして入力してもよいし、自動入力してもよい。このとき、図６の地理情報の階層構造が参照されることで、画像グループの概念が決定される。

図６の各概念（場所名）への投票が行なわれる。下位の概念に対する投票結果は、下記の要領で上位階層に伝播させる。伝播係数をαとしたとき、階層Ｎにおける地理情報Ｋ（ｎ，ｉ）に一致するメタデータがある場合、各階層の得票数Ｐ（Ｋ（ｎ，ｉ））は以下のようになる。

Ｐ（Ｋ（ｎ，ｉ））に対しては、「１」を加算する。

Ｐ（Ｋ（ｎ−１，ｊ））に対しては、１×αを加算する。

（ただしＫ（ｎ−１，ｊ）はＫ（ｎ，ｉ）の１つ上位階層の観念である。）
Ｐ（Ｋ（ｎ−２，ｋ））に対しては、１×α×αを加算する。

（ただしＫ（ｎ−２，ｋ）はＫ（ｎ−１，ｊ）の１つ上位階層の概念である。）
これにより、上位に行くほど投票の伝播の重みを小さくする。

係数αを０．７としたとき、前述の北海道旅行の例では、
Ｐ（札幌）＝０．７＋０．７＋０．７＝２．１
となる。これは前述の地理情報内には、「札幌」に一致する地理情報が無く、その１階層下の地理情報である、「すすきの」、「札幌ドーム」、「サッポロビール園」の３つの地理情報があるためである。

また、
Ｐ（北海道）＝０．７＋０．７＋０．７＋０．７＋０．７＋０．７＋２．１×０．７＋０．７＝６．３７
となる。これは、前述の地理情報内には、「北海道」に一致する地理情報が無く、その１階層下の地理情報である、「函館」、「小樽」、「稚内」、「網走」、「根室」、「釧路」、「千歳空港」の７つの地理情報があり、かつその１階層下の地理情報である、「すすきの」、「札幌ドーム」、「サッポロビール園」の３つの地理情報（Ｐ（札幌）の値である２．１に、伝播係数０．７を掛けた部分）があるためである。

また、
Ｐ（伊丹）＝１．０
となる。これは、前述の地理情報内には、「伊丹」に一致する地理情報が１つあり、その下の階層はないため（下からの伝播がないため）である。

また、
Ｐ（大阪）＝０．７＋０．７＝１．４
となる。これは前述の地理情報内には、「大阪」に一致する地理情報が無く、その１階層下の地理情報である、「泉佐野」、「伊丹」の２つの地理情報があるためである。

また、上述の地理情報の最上位概念である、「日本」の投票数である、Ｐ（日本）は、
Ｐ（日本）＝１．４×０．７×０．７＋６．３７×０．７＝５．４４
となる。

以上の処理により、階層を使った投票により「北海道」が最も投票数が多い、グループを代表する地理情報として選択される。

図７は、第２の実施の形態における画像管理システムが行なう動作を示すフローチャートである。

図を参照して、ステップＳ２０１で画像が入力される。ステップＳ２０３で画像のグループ分けが行なわれる。ステップＳ２０５で、各画像の地理情報（場所情報）の入力（または自動判別）が行なわれる。

ステップＳ２０７で、地理情報データベースに基づいて、グループを代表する情報が選択される。

なお、ここでは地理情報を例に挙げて階層構造を説明したが、これに限らず年、季節（春夏秋冬）、月、日、時間、分、などの時間に関する階層構造を用いてグループの概念を決定するようにしてもよい。

なお、上述の処理は、ＰＣのコンピュータが行なっても、画像形成装置のコンピュータが行なっても、サーバのコンピュータが行なってもよい。

なお、上述の実施の形態における処理は、ソフトウエアによって行なっても、ハードウエア回路を用いて行なってもよい。

また、上述の実施の形態における処理を実行するプログラムを提供することもできるし、そのプログラムをＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、メモリカードなどの記録媒体に記録してユーザに提供することにしてもよい。また、プログラムはインターネットなどの通信回線を介して、装置にダウンロードするようにしてもよい。

また、本発明はネットワークに接続されたシステムにおいても、ネットワーク環境に接続されていないシステムにも適用することができる。

なお、上記実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

本発明の第１の実施の形態における画像管理システムの構成を示す図である。 図１の画像形成装置１のハードウェア構成を示すブロック図である。 図１のクライアントＰＣまたはサーバ１台のハードウェア構成を示すブロック図である。 画像形成装置１内の記憶部１０４に記憶されるデータを示す図である。 画像管理システムが行なう動作を示すフローチャートである。 画像管理システムが保持する日本の地理情報の包含関係を示す図である。 第２の実施の形態における画像管理システムが行なう動作を示すフローチャートである。

符号の説明

１ 画像形成装置、２ａ，２ｂ クライアントＰＣ、６ サーバ、１０２ プリンタ部、１０３ 通信部、１０４ 記憶部、１０５ 操作パネル、１０６ 制御部、６０１ ＣＰＵ。

Claims (9)

1. 複数の画像を１つのグループとして管理する画像管理装置であって、
   前記１つのグループ内の各画像に対し、概念を付与する第１の付与手段と、
   概念の包含関係を記憶する記憶手段と、
   前記記憶された包含関係と、前記１つのグループ内の各画像に対して付与された概念とに基づいて、前記１つのグループに対しての概念を付与する第２の付与手段とを備えた、画像管理装置。
2. 前記記憶手段は、全ての概念の組合せの関係を記述した２項関係により、ある概念がある概念を包含するか否かを記述した情報を記憶し、
   前記第２の付与手段は、複数の概念に対し、前記２項関係を参照し、投票によりもっとも得票数の多い概念を前記１つのグループに対しての概念とする、請求項１に記載の画像管理装置。
3. 前記記憶手段は、階層構造で記述された概念の包含関係を記憶し、
   前記第２の付与手段は、複数の概念に対し、前記階層構造を参照し、投票を行ない、
   前記投票では所定の係数をかけた値を上位階層に伝播させ、もっとも得票数の多い概念を前記１つのグループに対しての概念とする、請求項１に記載の画像管理装置。
4. 前記第１の付与手段は、各画像の画像特徴量に基づいて各画像に概念を付与する、請求項１〜３のいずれかに記載の画像管理装置。
5. 前記第１の付与手段は、ユーザが設定したキーワードを概念として付与する、請求項１〜３のいずれかに記載の画像管理装置。
6. 前記第１の付与手段は、各画像に概念として場所情報を付与し、
   前記第２の付与手段は、もっとも多くの概念を包含する地理情報を、前記１つのグループに対しての概念として付与する、請求項１〜５のいずれかに記載の画像管理装置。
7. 前記第１の付与手段は、各画像に概念として時間に関する情報を付与し、
   前記第２の付与手段は、もっとも多くの概念を包含する時間に関する情報を、前記１つのグループに対しての概念として付与する、請求項１〜５のいずれかに記載の画像管理装置。
8. 複数の画像を１つのグループとして管理する画像管理方法であって、
   概念の包含関係を記憶し、
   前記１つのグループ内の各画像に対し、概念を付与する第１の付与ステップと、
   前記記憶された包含関係と、前記１つのグループ内の各画像に対して付与された概念とに基づいて、前記１つのグループに対しての概念を付与する第２の付与ステップとを備えた、画像管理方法。
9. 複数の画像を１つのグループとして管理する画像管理プログラムであって、
   概念の包含関係を記憶し、
   前記１つのグループ内の各画像に対し、概念を付与する第１の付与ステップと、
   前記記憶された包含関係と、前記１つのグループ内の各画像に対して付与された概念とに基づいて、前記１つのグループに対しての概念を付与する第２の付与ステップとをコンピュータに実行させる、画像管理プログラム。

Images