JP2007265259A - 画像検索支援装置 - Google Patents

Abstract

【課題】画像データがイベント単位に分類された閲覧グループの中から、主要な場面が撮影された画像をキー画像として抽出し、ユーザがキー画像を用いてイベント単位で効率的に画像検索を行なうことを支援する画像検索支援装置を提供する。
【解決手段】画像属性情報及び撮影順序情報を有する画像データが入力される画像入力手段１と、画像データを画像属性情報及び撮影順序情報に基づいて分類し、複数の閲覧グループを生成する閲覧グループ生成手段２と、閲覧グループ毎に、画像属性情報が関連性を特定するための第１の条件を満たして撮影順に連続する画像データの数又は連続時間に基づいて、各画像データの属性連続度を算出する属性連続度取得手段３と、閲覧グループ毎に、属性連続度に基づいて、閲覧グループを代表するキー画像データを抽出するキー画像抽出手段６とを備える。
【選択図】図１

Description

本発明は、画像データの検索を支援する画像検索支援装置に関する。

デジタルスチルカメラやカメラ付携帯電話等の撮影装置が広く普及するとともに、撮影装置によって得られた画像をデジタルデータとして保存するためのメモリカード等の記録媒体が大容量化し、ユーザは大量の画像データを容易に記録媒体に保存できるようになってきている。

その反面、増加し続ける大量の画像を検索しやすいように整理することが困難になり、ユーザが所望する画像を容易に効率よく探すことができないという課題がある。この課題を解決するため、イベント単位の閲覧グループに画像データを分類し、場所又は日時等のイベントに関する情報を手がかりに画像を検索する方法が提案されている。これらの方法は、撮影画像をイベントと結び付けて記憶するというユーザの記憶特性を利用している。

なお、本明細書において、イベントとは、旅行又は運動会等のユーザが主観的に捉えた時間的又は空間的なまとまりのことを指す。

例えば、特許文献１には、イベント単位の閲覧グループに分けられた画像データの中から、閲覧グループを代表するキー画像データをユーザに手動操作で任意に設定させ、キー画像の検索後に、検索されたキー画像が属する閲覧グループ内の画像を表示することにより、ユーザが所望する画像を表示する装置が提案されている。

ユーザは、閲覧グループの中から選ばれたキー画像を見ると、キー画像が属する閲覧グループに含まれる画像を連想的に思い出せるので、少数のキー画像を検索することによって所望の画像を検索することができる。しかし、閲覧グループを代表するキー画像を手動で適切に選択するという操作は、ユーザにとって負担が大きい。

これに対し、特許文献２では、画像データが分類された閲覧グループの中からキー画像データを選択する技術として、画像データの特徴量又は属性情報が互いに異なる複数の画像データを閲覧グループの代表に選択する手法が提案されている。

この手法では、ユーザの印象に残りやすい、特定の特徴量又は属性情報を持つ複数の画像が閲覧グループを代表するキー画像として選択されるので、ユーザはグループ全体の概要を把握できるキー画像を抽出する。
特許第２５０２５４２号公報 特開２０００−７６２８１号公報

特許文献２の目的は、ユーザがキー画像を見るとキー画像が属する閲覧グループの内容を想起できるように、ユーザの印象に残る特徴を持つキー画像を選択することである。

ところで、ユーザが事前に想起したイベントに合致する閲覧グループを、その閲覧グループを代表するキー画像を基に検索する場合、検索対象画像の数に対してキー画像の数が少ないときは検索効率は上がる。しかしながら、キー画像の数が少な過ぎると、ユーザは想起したイベント内の場面に対応するキー画像を見つけることができず、そのイベントに合致する閲覧グループを検索できなくなってしまう。

したがって、ユーザが想起したイベントをキー画像を用いて検索する場合、キー画像は、ユーザの印象に残っており、且つユーザが想起しやすい、イベント内の主要な場面に対応する画像である必要がある。

特許文献２の手法では、ユーザの印象に残るような、人物の有無又は彩度等の画像の特徴を基準にキー画像を選択するが、際立った特定の特徴を持たなくともイベント内での主要な場面となり得る場合がある。また、特許文献２の手法では、ユーザが長時間滞在した場所で撮影した画像又は同じシーンを連続して撮影した画像等はキー画像として選択されない。例えば、旅行等においては、移動中に撮影した人物の画像よりも、長時間滞在していた観光スポットで撮影した風景画像の方が、際立った特徴を持たなくとも、旅行中の主要な場面として相応しい場合がある。

上記の課題は、撮影時系列における画像間の関連性を考慮せずに、キー画像を選択していることに起因するものと思われる。例えば、同じ場所で続けて撮影された画像、及び、同じ被写体を連続して撮影した画像は、イベント内の主要な場面を撮影した画像であることが多く、このような画像間には撮影時刻又は撮影位置等において関連性が生じている。すなわち、複数の画像を撮影順に並べた場合、前後の画像との関連性又は連続性が高い画像は、ユーザの印象に残りやすく、イベント内の主要な場面を撮影した画像であると推定することができる。

本発明は、上記の課題に鑑みてなされたものであり、画像データがイベント単位に分類された閲覧グループの中から、ユーザがイベントに関連付けて想起する可能性の高い、主要な場面が撮影された画像をキー画像として抽出し、ユーザがキー画像を用いてイベント単位で効率的に画像検索を行なうことを支援する画像検索支援装置を提供することを目的とする。

上記課題を解決し上記目的を達成するために、本発明の画像検索支援装置は、画像属性情報及び撮影順序情報を有する画像データが入力される画像入力手段と、前記画像データを前記画像属性情報及び前記撮影順序情報に基づいて分類し、複数の閲覧グループを生成する閲覧グループ生成手段と、前記閲覧グループ毎に、前記画像属性情報が関連性を特定するための第１の条件を満たして撮影順に連続する画像データの数又は連続時間に基づいて、各前記画像データの属性連続度を算出する属性連続度取得手段と、前記閲覧グループ毎に、前記属性連続度に基づいて、前記閲覧グループを代表するキー画像データを抽出するキー画像抽出手段とを備える。

本発明の画像検索支援装置は、更に、前記閲覧グループ毎に、前記画像属性情報が類似性を特定するための第２の条件を満たす画像データを同一の類似グループに分類し、各前記類似グループの中から、前記属性連続度に基づいて、１個又は複数個のキー画像候補データを設定するキー画像候補設定手段を備え、前記キー画像抽出手段は、前記閲覧グループ毎に、前記キー画像候補データの中から、前記キー画像データを抽出してもよい。

本発明の画像検索支援装置は、更に、前記閲覧グループ毎に、前記閲覧グループに含まれる画像データの数に応じて、前記キー画像抽出手段に与える、前記属性連続度の閾値を生成する閾値生成手段を備え、前記キー画像抽出手段は、前記閾値生成手段によって生成される閾値を用いて、前記キー画像データを抽出してもよい。

例えば、前記画像属性情報は、撮影位置情報、撮影被写体情報、撮影設定情報、撮影環境情報、及び、撮影時刻情報のいずれかである。

本発明の画像検索支援装置は、更に、前記キー画像データを表示するキー画像表示手段を備えてもよい。

本発明の画像検索支援装置は、更に、前記キー画像表示手段によって表示される１個又は複数個の前記キー画像データの中から、１個のキー画像データをユーザに選択させるキー画像選択手段と、選択された前記キー画像データが属する閲覧グループ内の画像データを表示する閲覧グループ表示手段とを備えてもよい。

本発明の画像検索支援装置は、更に、前記キー画像抽出手段によって抽出される１個又は複数個の前記キー画像データを、各前記キー画像データに対応する画像属性情報に基づいて、階層構造を構成する複数の階層グループに分類する階層グループ生成手段と、前記階層グループを階層別に表示する階層グループ表示手段と、表示される前記階層グループの中から、１個の階層グループをユーザに選択させる階層グループ選択手段とを備え、前記キー画像表示手段は、選択された前記階層グループ内のキー画像データを表示してもよい。

以上の構成によれば、ユーザが煩雑な操作を行なわずとも、画像データをイベント単位で閲覧グループに分類し、イベントの主要な場面を撮影した画像を、イベントに基づく画像検索に有効なキー画像として抽出することが可能である。また、画像属性情報の連続性を用いてキー画像を少数に絞り込むことができ、効率的な画像検索及び閲覧が可能となる。

本発明は、本発明の画像検索支援装置の特徴的な構成手段をステップとする画像検索支援方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したり、上記特徴的な構成手段を含む集積回路として実現することもできる。上記のプログラムは、ＣＤ−ＲＯＭ等の記録媒体や通信ネットワーク等の伝送媒体を介して流通させることもできる。

本発明の画像検索支援装置によれば、ユーザは煩雑なキー画像抽出作業を行なうことなく、イベントに関連付けて想起する可能性が高い、主要な場面を撮影したキー画像が選択される。これにより、ユーザは、キー画像を用いてイベント単位で効率的に画像検索を行なうことができる。

以下、本発明を実施するための最良の形態を、図面を用いて詳細に説明する。

（実施の形態）
まず、実施の形態の画像検索支援装置の概略を説明する。図１は実施の形態の画像検索支援装置の概略構成図である。実施の形態の画像検索支援装置は、画像入力手段５１と、閲覧グループ生成手段５２と、属性連続度取得手段５３と、キー画像抽出手段５４と、キー画像表示手段５５とを備える。

画像入力手段５１は、画像属性情報及び撮影順序情報を有する画像データを受け付け、閲覧グループ生成手段５２は、画像データを画像属性情報及び撮影順序情報に基づいて分類し、複数の閲覧グループを生成する。属性連続度取得手段５３は、閲覧グループ毎に、画像属性情報が関連性を特定するための条件を満たして撮影順に連続する画像データの数又は連続時間に基づいて、各画像データの属性連続度を算出する。キー画像抽出手段５４は、閲覧グループ毎に、属性連続度に基づいて、閲覧グループを代表するキー画像データを抽出し、キー画像表示手段５５は、キー画像データを表示する。

以下に、実施の形態の画像検索支援装置の詳細を説明する。
まず、実施の形態における画像検索支援装置の全体の構成について説明する。図２は実施の形態における画像検索支援装置の構成を示す機能ブロック図である。

図２に示すように、実施の形態における画像検索支援装置は、画像入力手段１と、閲覧グループ生成手段２と、属性連続度取得手段３と、キー画像候補設定手段４と、閾値生成手段５と、キー画像抽出手段６と、階層グループ生成手段７と、階層グループ表示手段８と、階層グループ選択手段９と、キー画像表示手段１０と、キー画像選択手段１１と、閲覧グループ表示手段１２とを備える。ここで、図１と図２との対応関係は次の通りである。図１の画像入力手段５１と図２の画像入力手段１とが対応し、図１の閲覧グループ生成手段５２と図１の閲覧グループ生成手段２とが対応し、図１の属性連続度取得手段５３と図１の属性連続度取得手段３とが対応する。また、図２のキー画像抽出手段５４と図１のキー画像抽出手段６とが対応し、図１のキー画像表示手段５５と図２のキー画像表示手段１０とが対応する。

画像入力手段１は、画像属性情報及び撮影順序情報を有する画像データを、画像検索支援装置外部から受け付ける。

閲覧グループ生成手段２は、画像データをイベント単位で閲覧グループに分類する。
属性連続度取得手段３は、各閲覧グループにおいて、同一又は所定の関係にある（類似の）画像属性情報が撮影順に連続する数を基に、各画像データの属性連続度を算出する。

キー画像候補設定手段４は、各閲覧グループ内において、画像属性情報の内容が同一又は類似している（所定の関係を満足する）画像データを、同一の類似グループに分類し、各類似グループ内で属性連続度が最も高い画像データをキー画像候補データと設定する。

閾値生成手段５は、各閲覧グループに含まれる画像データの数に応じて、キー画像を抽出するために用いる属性連続度の閾値を生成する。

キー画像抽出手段６は、１個又は複数個のキー画像候補データの中から、属性連続度が前記閾値以上である画像データをキー画像データとして抽出する。

階層グループ生成手段７は、キー画像データを、画像属性情報に基づいて階層構造を構成する階層グループに分類する。

階層グループ表示手段８は、階層グループを階層別に表示する。
階層グループ選択手段９は、ユーザの指示に従って、表示された階層グループの中から１つの階層グループを選択する。

キー画像表示手段１０は、選択された階層グループ内のキー画像データを表示する。
キー画像選択手段１１は、ユーザの指示に従って、表示された１個又は複数個のキー画像の中から１つのキー画像を選択する。

閲覧グループ表示手段１２は、選択されたキー画像データが属する閲覧グループ内の画像を撮影順に並べて一覧表示する。

なお、実施の形態においては、画像入力手段１に入力される画像データは静止画であることを想定するが、画像入力手段１に入力される画像データは静止画であると限定されない。例えば、画像データは動画を構成する静止画フレームであってもよい。

次に、実施の形態における画像検索支援装置の動作について説明する。図３は実施の形態の画像検索支援装置の動作の手順を示すフローチャートである。

まず、画像入力手段１は、デジタルスチルカメラ又はカメラ付携帯電話等の撮影装置を用いて撮影された画像データを、撮影装置から受け付ける（Ｓ１１）。画像入力手段１に入力される画像データは、画像属性情報及び撮影順序情報を有している。

画像属性情報は、画像の撮影位置を示す撮影位置情報、画像に撮影された被写体を示す撮影被写体情報、画像撮影時における撮影装置の設定を示す撮影設定情報、画像撮影時における撮影装置の周囲の環境を示す撮影環境情報、及び、画像の撮影時刻を示す撮影時刻情報、の少なくともいずれか一つを含む。例えば、撮影位置情報としては、緯度、経度、行政区画名、又は施設名等が挙げられ、撮影被写体情報としては、人物名又は建物名等が挙げられ、撮影設定情報としては、フラッシュの有無又は焦点距離等が挙げられ、撮影環境情報としては、天候又は気温等が挙げられる。上記のいずれの画像属性情報も、それらの例に限定されない。

また、撮影順序情報としては、画像の撮影順を示す撮影番号等が挙げられるが、それに限定されない。

なお、画像属性情報に撮影時刻情報が含まれる場合、撮影順序情報は撮影時刻情報から生成されてもよい。例えば、画像を撮影時刻順に並べることにより、撮影順を示す撮影番号を取得することができる。画像入力手段１に入力される画像データは、撮影順序を特定することができる情報を有していればよい。

実施の形態においては、撮影位置情報として、ＧＰＳ受信機等によって取得された撮影位置の緯度経度情報、及び、緯度経度情報に対応する地図データベース上の行政区画名を用い、撮影被写体情報として、画像の特徴量を用いて認識した画像内の人物名を用い、撮影時刻情報として、撮影装置内蔵の時計によって取得された撮影時刻を用い、撮影順序情報として、撮影装置内臓のカウンタによって取得された撮影番号を用いている。

このような画像属性情報及び撮影順序情報は、例えばＥｘｉｆ規格に従って画像データのヘッダ部に付与される。

そして、閲覧グループ生成手段２は、画像入力手段１に入力された画像データをイベント単位の閲覧グループに分類する（Ｓ１２）。閲覧グループ生成手段２は、各画像データに対応する撮影時刻情報を参照し、撮影順に隣接する２つの画像の撮影時間間隔が所定の時間間隔閾値より小さい場合、それら２つの画像が同じイベントで撮影された画像であると見なし、それら２つの画像データを同じ閲覧グループに分類する。

この処理の詳細を、図４を用いて説明する。
閲覧グループ生成手段２はまず初期値を設定する（Ｓ１１１）。次に、閲覧グループ生成手段２は、撮影順に隣接する画像データＰｉと画像データＰ（ｉ−１）との撮影時間間隔ΔＴを取得し（Ｓ１１２）、撮影時間間隔ΔＴが時間間隔閾値Ｔｐより小さいか否かを判断する（Ｓ１１３）。閲覧グループ生成手段２は、撮影時間間隔ΔＴが時間間隔閾値Ｔｐより小さければ（Ｓ１１３でＹｅｓ）、画像データＰｉを画像データＰ（ｉ−１）と同じ閲覧グループＧｊに分類し（Ｓ１１４）、撮影時間間隔ΔＴが時間間隔閾値Ｔｐ以上ならば（Ｓ１１３でＮｏ）、新たな閲覧グループＧ（ｊ＋１）を作成し（Ｓ１１５）、画像データＰｉを閲覧グループＧ（ｊ＋１）に分類する。閲覧グループ生成手段２は、全ての画像データをいずれかの閲覧グループに分類し終えた場合（Ｓ１１６でＹｅｓ）、閲覧グループ生成処理を終了し、全ての画像データをいずれかの閲覧グループに分類し終えていない場合（Ｓ１１６でＮｏ）、撮影順で次の画像データをいずれかの閲覧グループに分類する処理を繰り返す（Ｓ１１７）。

なお、閲覧グループ生成手段２は、各画像データに対応する撮影位置の緯度経度情報を参照し、撮影順に隣接する２つの画像の撮影地点距離が所定の距離閾値より小さい場合、それら２つの画像が同じイベントで撮影された画像であると見なし、それら２つの画像データを同じ閲覧グループに分類してもよい。

また、閲覧グループ生成手段２は、閲覧グループを生成した後に、閲覧グループ毎に画像データをサムネイル形式で一覧表示し、ユーザが画像分類結果を確認できるようにしてもよいし、ユーザが任意の画像データを任意の閲覧グループに分類し直すことができるようにしてもよい。

属性連続度取得手段３は、まず、閲覧グループ生成手段２が各閲覧グループに分類した各画像データに、画像属性情報の連続性を比較するための属性情報ラベルを付与する（Ｓ１３）。属性連続度取得手段３は、例えば、閲覧グループ毎に、撮影時間間隔が所定の時刻ラベル付与閾値より小さい、撮影順に隣接する２つの画像データには同じ時刻ラベルを付与し、撮影位置の緯度経度情報が同じ行政区画名に対応する画像データには、同じ位置ラベルを付与し、同じ被写体情報を持つ画像データには、同じ被写体ラベルを付与する。実施の形態において、「同じ属性情報」とは、属性情報ラベルが同じであることを意味する。

図５は前記の時刻ラベル、位置ラベル及び被写体ラベルの付与例を示す。図５では、２０分以上の撮影間隔を置かずに撮影された画像データには、それらがひとまとまりであることを示すために、同じ時刻ラベルが付与され、同じ町内で撮影された画像データには同じ位置ラベルが付与され、同じ人物が被写体となっている画像データには同じ被写体ラベルが付与されている。

なお、画像データに撮影被写体情報が含まれていない場合、被写体ラベルは付与されない。

時刻ラベルを画像データに付与する処理の詳細を、図６を用いて説明する。
属性連続度取得手段３は、まず、初期値を設定する（Ｓ２１１〜Ｓ２１２）。次に、属性連続度取得手段３は、撮影順に隣接する画像データＰｉと画像データＰ（ｉ−１）との撮影時間間隔ΔＴを取得し（Ｓ２１３）、撮影時間間隔ΔＴが時刻ラベル付与閾値Ｔｓｐより小さければ（Ｓ２１４でＹｅｓ）、画像データＰｉに時刻ラベルｔｊを付与し（Ｓ２１５）、撮影時間間隔ΔＴが時刻ラベル付与閾値Ｔｓｐ以上ならば（Ｓ２１４でＮｏ）、時刻ラベルを更新し（Ｓ２１６）、画像データＰｉに時刻ラベルｔ（ｊ＋１）を付与する。属性連続度取得手段３は、画像データＰｉが属する閲覧グループ内の全ての画像データに時刻ラベルを付与するまで、撮影順で次の画像データに時刻ラベルを付与する処理を繰り返す（Ｓ２１７〜Ｓ２１８）。また、属性連続度取得手段３は、全ての閲覧グループ内の画像データに対し、時刻ラベルを付与するまで処理を繰り返す（Ｓ２１９〜Ｓ２２０）。

次に、位置ラベルを画像データに付与する処理の詳細を、図７を用いて説明する。
まず、属性連続度取得手段３は初期値を設定する（Ｓ３１１〜Ｓ３１２）。属性連続度取得手段３は、画像データＰｉに位置ラベルが付与されていないならば（Ｓ３１３でＹｅｓ）、位置ラベルを更新し、画像データＰｉに位置ラベルｐｊを付与する（Ｓ３１４）。属性連続度取得手段３は、画像データＰｉが属する閲覧グループ内に、画像データＰｉが持つ行政区画名Ｎｉと同じ行政区画名を持つ画像データＰｋがあれば（Ｓ３１５でＹｅｓ）、画像データＰｋにも画像データＰｉと同じ位置ラベルｐｊを付与する（Ｓ３１６）。属性連続度取得手段３は、画像データＰｉが属する閲覧グループ内の全ての画像データに位置ラベルを付与するまで、撮影順で次の画像データに位置ラベルを付与する処理を繰り返す（Ｓ３１７〜Ｓ３１９）。また、属性連続度取得手段３は、全ての閲覧グループ内の画像データに対し、位置ラベルを付与するまで処理を繰り返す（Ｓ３２１〜Ｓ３２２）。

なお、撮影地点距離が所定の位置ラベル付与閾値より小さい、撮影順に隣接する２つの画像データには、属性連続度取得手段３は同じ位置ラベルを付与してもよい。

また、二人の人物が撮影された画像のように、複数の被写体情報を保持する画像データには、属性連続度取得手段３は複数の被写体ラベルを付与してもよい。

なお、画像データに被写体ラベルを付与する処理の詳細は、位置ラベルを付与する処理の詳細と同様である。

続けて、属性連続度取得手段３は、閲覧グループ内の画像データにおいて、同じ属性情報ラベルが撮影順に連続する数をラベル毎に取得し、それらの数を足し合わせて各画像データの属性連続度を算出する（Ｓ１４）。図８は、図５に示す画像データに対する、属性情報ラベルの付与及び属性連続度の算出の一例を示す図である。図８における画像データＰ６については、同じ時刻ラベルｔ３がＰ６からＰ７にかけて２つ連続し、同じ位置ラベルｐ２がＰ６からＰ７にかけて２つ連続し、同じ被写体ラベルｓ２がＰ６からＰ８にかけて３つ連続している。属性連続度取得手段３は、それら３種類の属性情報ラベルが連続する数を足し合わせ、画像データＰ６の属性連続度を“７”と算出する。

なお、画像データが複数の被写体ラベルを保持している場合、複数の被写体ラベルの中で撮影順に連続する数が最も大きい被写体ラベルを、その画像データにおける被写体ラベルの連続数とみなしてもよいし、それぞれの被写体ラベルが撮影順に連続する数の合計を、その画像データにおける被写体ラベルの連続数とみなしてもよい。

また、属性連続度は、各属性情報ラベルの連続数を加算して算出される値に限らない。例えば、属性連続度取得手段３は、時刻ラベルの連続数を０．５倍し、位置ラベルの連続数を２倍し、被写体ラベルの連続数を１．５倍するというように、各属性情報ラベルの連続数に属性情報ラベルの種類毎の重みを積算し、それらを加算して属性連続度を算出してもよい。

また、属性連続度は、画像属性情報の撮影順の連続数に代えて、画像属性情報が撮影順に連続する時間を用いて算出されてもよい。例えば、図８における画像データＰ６については、時刻ラベルｔ３の連続時間は画像データＰ６の撮影時刻２００５年７月１日１７時００分１５秒から画像データＰ７の撮影時刻２００５年７月１日１７時１５分１５秒までの１５分間であり、同様に位置ラベルｐ２の連続時間は１５分間であり、被写体ラベルｓ２の連続時間は３５．５分間であるので、属性連続度取得手段３は、それらの連続時間を足し合わせることにより、画像データＰ６の属性連続度を算出することができる。

更に、所定の連写時間間隔閾値よりも小さい撮影時間間隔で撮影された画像データが、閲覧グループ内に所定の数以上含まれている場合、属性連続度取得手段３は、画像属性情報が撮影順に連続する時間を用いて属性連続度を算出してもよい。例えば、１５秒と設定された連写時間間隔閾値よりも小さい撮影時間間隔で撮影された画像データの数が、閲覧グループ内の全画像データの数の５分の１以上である場合、属性連続度取得手段３は、画像属性情報が撮影順に連続する時間を用いて属性連続度を算出する。これにより、撮影装置の連写モード等で撮影された画像データの属性連続度が、ユーザの意図に反して増大することを回避できるという効果が得られる。

キー画像候補設定手段４は、まず、閲覧グループ生成手段２が生成した閲覧グループ内の画像データにおいて、画像属性情報の内容を比較することにより、画像属性情報の内容が類似している（所定の関係にある）画像データを同一の類似グループに分類する（Ｓ１５）。図９に、図５に示す画像データを類似グループに分類する例を示す。図９では、画像データＰ１から画像データＰ１０の１０個の画像を持つ閲覧グループにおいて、属性連続度取得手段３が付与した時刻ラベル及び位置ラベルが同一である画像データが、画像属性情報の内容が類似している画像データであると見なされ、１０個の画像データが類似グループＧ１から類似グループＧ５の５つの類似グループに分類されている。

なお、実施の形態においては、キー画像候補設定手段４は、時刻ラベル及び位置ラベルが同一である画像データを同一の類似グループに分類するが、少なくとも１種類以上の画像属性情報の差分に基づいて、画像データを類似グループに分類してもよい。例えば、キー画像候補設定手段４は、撮影時刻情報の差分が１０分以下となる画像データを類似している画像データとみなして、それらを同一の類似グループに分類することが可能である。

次に、キー画像候補設定手段４は、各類似グループの中から、属性連続度取得手段３が取得した属性連続度が最も高い画像データをキー画像候補データと設定する。図１０に例示するように、図９における類似グループＧ１から類似グループＧ５の各類似グループの中で属性連続度が最も高い画像データＰ８、画像データＰ３、画像データＰ６、画像データＰ２、及び画像データＰ５の５個の画像データが、キー画像候補データとなる。このようにキー画像候補データを設定することにより、一つの閲覧グループから抽出した複数のキー画像データの中に、画像属性情報の構成が類似した画像データの重複がなくなるので、ユーザはより少ないキー画像で閲覧グループの内容を把握することが可能となる。

なお、実施の形態においては、各類似グループの中で属性連続度が最も高い画像データをキー画像候補データとするが、キー画像候補データの設定方法はこれに限定されない。例えば、キー画像候補設定手段４は、各類似グループの中で属性連続度の最も高い画像データと２番目に高い画像データとの２個の画像データをキー画像候補データと設定してもよい。

閾値生成手段５は、閲覧グループ生成手段２が生成した閲覧グループ内の画像データの数に応じて、キー画像の抽出に用いる属性連続度の閾値を生成する（Ｓ１６）。例えば、図８に示すように、３種類の属性情報を持つ１０個の画像データを含む閲覧グループについて、属性情報１種類当りの平均連続数が、閲覧グループ内全画像データの数の４分の１以上である画像データをキー画像データとして抽出する場合、属性連続度の閾値は、１０÷４×３＝７．５となり、この閾値以上の属性連続度を持つ画像データがキー画像データとして抽出される。

更に、キー画像抽出手段６は、キー画像候補設定手段４が抽出したキー画像候補データの中から、閾値生成手段５が生成した属性連続度の閾値以上の属性連続度を持つキー画像候補データを、キー画像データとして抽出する（Ｓ１７）。例えば、閾値生成手段５が属性連続度の閾値を“７．５”と生成したならば、キー画像抽出手段６は、図１０における５個のキー画像候補データから、属性連続度が“７．５”以上である画像データＰ８及び画像データＰ３をキー画像として抽出する。

なお、キー画像抽出手段６によってキー画像データが１つも抽出されない場合、閾値生成手段５は、キー画像データが少なくとも１つ抽出されるように、属性連続度の閾値を再生成し、キー画像抽出手段６は、再生成された閾値を用いてキー画像候補データの中からキー画像データを抽出し直してもよい。

階層グループ生成手段７は、キー画像データに対応する画像属性情報に基づいて、階層構造を有する複数の階層グループにキー画像データを分類する（Ｓ１８）。図１１は、閲覧グループから抽出されたキー画像データが階層グループに分類される例を示す図である。例えば、閲覧グループ１０５から抽出されたキー画像データ１０１は、第一階層において撮影時刻情報が用いられて年別の階層グループ１０２に分類され、第二階層において撮影位置情報が用いられて都道府県別の階層グループ１０３に分類され、第三階層において撮影被写体情報が用いられて人物別の階層グループ１０４に分類される。

階層グループ表示手段８は、階層グループ生成手段７が生成した階層グループを階層別に表示する（Ｓ１９）。例えば、図１１に示す階層グループにキー画像データが分類された場合、階層グループ表示手段８は、第一階層の各年別階層グループを西暦で一覧に表示し、第二階層の各都道府県別階層グループを都道府県名で一覧に表示し、第三階層の各人物別階層グループを人物名で一覧に表示する。

階層グループ選択手段９は、表示された階層グループを、ユーザに階層的に選択させることでキー画像データを絞り込む（Ｓ２０）。例えば、図１１に示す階層グループにおいて、ユーザは、まず年別に表示された階層グループの中から１つを選択する。次に、ユーザは選択された年別階層グループの下位に属する都道府県別階層グループを１つ選択する。更に、ユーザは選択された都道府県別階層グループの下位に属する人物別階層グループを１つ選択する。このように、キー画像データが分類された階層グループを階層的に検索することにより、多数のキー画像データが閲覧グループから抽出された場合においても、ユーザは少ない操作数でキー画像を絞り込むことができる。

キー画像表示手段１０は、階層グループ選択手段９によって選択された階層グループ内のキー画像データを一覧表示する（Ｓ２１）。

キー画像選択手段１１は、キー画像表示手段１０によって表示されたキー画像の中から、１つのキー画像をユーザに選択させる（Ｓ２２）。

閲覧グループ表示手段１２は、閲覧グループ生成手段２が生成した閲覧グループの中から、ユーザがキー画像選択手段１１で選択したキー画像データが属する閲覧グループを取得し、この閲覧グループ内の画像データを一覧表示する（Ｓ２３）。

なお、表示領域内に閲覧グループ内の画像データを全て表示できない場合、一覧表示された階層グループ内の画像データをスクロールさせ、表示されていなかった画像データを表示させてもよい。

更に、閲覧グループ表示手段１２は、閲覧グループ内の画像データを、キー画像データを含むように撮影順に並べて一覧表示してもよい。例えば、閲覧グループ内の画像データをサムネイル形式で縦横に並べる場合、閲覧グループ表示手段１２は、キー画像データが左上に配置されるように表示する。これにより、ユーザは、撮影順がキー画像に近い画像から順番に辿って、所望の画像を検索及び閲覧することができる。

更に、一覧表示された閲覧グループ内の画像データの中から、ユーザに画像を１つ選択させ、閲覧グループ表示手段１２は選択された画像データを拡大表示してもよい。

図１２は、実施の形態における画像検索支援装置を用いた検索状況を示す図である。図１２は、ユーザが第一階層で年別の階層グループを１つ選択し、第二階層で都道府県別の階層グループを１つ選択すると、絞り込まれた複数のキー画像データの一覧がサムネイル形式で表示される例を示している。ユーザがその中からキー画像データを１つ選択すると、選択されたキー画像データが属する閲覧グループの画像データがサムネイル形式でまとめて表示される。更に、ユーザが、表示された画像データの中から１つを選択することで、選択した画像データのみが表示される。

以上のように、画像属性情報の連続性が高い、少数の画像データをキー画像データとして抽出することで、キー画像データを、ユーザが想起しやすい主要な場面を撮影した画像データに絞り込むことができる。したがって、ユーザはイベント内の主要な場面を想起して、少数に絞り込まれたキー画像の中から想起した場面が撮影されている画像を探せばよいので、効率的な画像の検索及び閲覧が可能となる。

なお、画像入力手段１、閲覧グループ生成手段２、属性連続度取得手段３、キー画像候補設定手段４、閾値生成手段５、及びキー画像抽出手段６を有する画像分類部と、階層グループ生成手段７、階層グループ表示手段８、階層グループ選択手段９、キー画像表示手段１０、キー画像選択手段１１及び閲覧グループ表示手段１２を有する画像閲覧部とは、分離されていてもよい。

例えば、ネットワークを介して画像分類部と画像閲覧部とが接続され、画像分類部によって出力されたキー画像データ、閲覧グループ及び閲覧グループ内の画像データが、ネットワーク経由で画像閲覧部に送信され、画像閲覧部が、送信されたキー画像データ、閲覧グループ及び閲覧グループ内の画像データを受信し、画像として表示してもよい。

また、閲覧グループ生成手段２が、イベント単位で閲覧グループに画像データを分類した後、生成した全ての閲覧グループを保持してもよいし、階層グループ生成手段７が、画像属性情報を用いて階層グループにキー画像データを分類した後、生成した全ての階層グループを保持してもよい。このように、閲覧グループ生成手段２が閲覧グループを保持し、階層グループ生成手段７が階層グループを保持する場合、画像入力手段１に新たに画像データが入力されていなければ、実施の形態における画像検索支援装置は、図３に示す動作ステップＳ１１から動作ステップＳ１８までの処理を行なうことなく、動作ステップＳ１９における階層グループの表示、動作ステップＳ２０における階層グループの選択、動作ステップＳ２１におけるキー画像データの表示、動作ステップＳ２２におけるキー画像データの選択、及び動作ステップＳ２３における閲覧グループ内の画像データ表示を行なう。これにより、ユーザはイベント単位での画像検索及び閲覧を行なうことができる。

なお、実施の形態においては、画像データは動画から抽出された静止画フレームであってもよい。例えば、画像データは、撮影時間が１０分でフレーム数が６０００（秒間１０フレーム）である動画の、１番目、３０００番目、６０００番目の３つの静止画フレームであってもよい。静止画フレームの抽出方法は上記の方法に限定されない。

また、本発明における画像検索支援装置の動作に必要となる、静止画フレームに対応する画像属性情報は、例えば、動画に対応する画像属性情報を基に生成することができる。同様に、静止画フレームに対応する撮影順序情報は、例えば、動画内での静止画フレーム順を基に生成することができる。

更に、動画から抽出された静止画フレームが検索結果として表示される際には、そのまま静止画として表示されてもよいし、動画として表示されてもよい。

本発明にかかる画像検索支援装置は、イベント単位に分類された閲覧グループの中から、イベント内での主要な場面を撮影したキー画像を用いて、イベント単位での効率的な画像の検索を可能にするという効果を有し、ユーザが撮影した画像を保存、検索及び表示するデジタルスチルカメラ、画像共有サーバ、及びＨＤＤレコーダ等として有用である。

実施の形態における画像検索支援装置の概略構成を示すブロック図 実施の形態における画像検索支援装置の構成を示すブロック図 実施の形態における画像検索支援装置の動作ステップを示すフローチャート 本発明の実施の形態における閲覧グループ分類処理を説明するフローチャート 実施の形態における画像データへの属性情報ラベル付与の一例を示す図 実施の形態における時刻ラベル付与処理を説明するフローチャート 実施の形態における位置ラベル付与処理を説明するフローチャート 実施の形態における属性連続度算出の一例を示す図 実施の形態における類似グループ分類の一例を示す図 実施の形態におけるキー画像候補データ選択の一例を示す図 実施の形態におけるキー画像データの階層構造グループ分類の一例を示す図 実施の形態における画像検索支援装置による表示の一例を示す図

符号の説明

１ 画像入力手段
２ 閲覧グループ生成手段
３ 属性連続度取得手段
４ キー画像候補設定手段
５ 閾値生成手段
６ キー画像抽出手段
７ 階層グループ生成手段
８ 階層グループ表示手段
９ 階層グループ選択手段
１０ キー画像表示手段
１１ キー画像選択手段
１２ 閲覧グループ表示手段
１０１ キー画像
１０２ 年別階層グループ
１０３ 都道府県別階層グループ
１０４ 人物別階層グループ
１０５ 閲覧グループ

Claims (10)

1. 画像属性情報及び撮影順序情報を有する画像データが入力される画像入力手段と、
   前記画像データを前記画像属性情報及び前記撮影順序情報に基づいて分類し、複数の閲覧グループを生成する閲覧グループ生成手段と、
   前記閲覧グループ毎に、前記画像属性情報が関連性を特定するための第１の条件を満たして撮影順に連続する画像データの数又は連続時間に基づいて、各前記画像データの属性連続度を算出する属性連続度取得手段と、
   前記閲覧グループ毎に、前記属性連続度に基づいて、前記閲覧グループを代表するキー画像データを抽出するキー画像抽出手段と
   を備える画像検索支援装置。
2. 更に、前記閲覧グループ毎に、前記画像属性情報が類似性を特定するための第２の条件を満たす画像データを同一の類似グループに分類し、各前記類似グループの中から、前記属性連続度に基づいて、１個又は複数個のキー画像候補データを設定するキー画像候補設定手段を備え、
   前記キー画像抽出手段は、前記閲覧グループ毎に、前記キー画像候補データの中から、前記キー画像データを抽出する
   請求項１に記載の画像検索支援装置。
3. 更に、前記閲覧グループ毎に、前記閲覧グループに含まれる画像データの数に応じて、前記キー画像抽出手段に与える、前記属性連続度の閾値を生成する閾値生成手段を備え、
   前記キー画像抽出手段は、前記閾値生成手段によって生成される閾値を用いて、前記キー画像データを抽出する
   請求項１に記載の画像検索支援装置。
4. 前記画像属性情報は、撮影位置情報、撮影被写体情報、撮影設定情報、撮影環境情報、及び、撮影時刻情報のいずれかである
   請求項１に記載の画像検索支援装置。
5. 更に、前記キー画像データを表示するキー画像表示手段を備える
   請求項１に記載の画像検索支援装置。
6. 更に、
   前記キー画像表示手段によって表示される１個又は複数個の前記キー画像データの中から、１個のキー画像データをユーザに選択させるキー画像選択手段と、
   選択された前記キー画像データが属する閲覧グループ内の画像データを表示する閲覧グループ表示手段と
   を備える請求項５に記載の画像検索支援装置。
7. 更に、
   前記キー画像抽出手段によって抽出される１個又は複数個の前記キー画像データを、各前記キー画像データに対応する画像属性情報に基づいて、階層構造を構成する複数の階層グループに分類する階層グループ生成手段と、
   前記階層グループを階層別に表示する階層グループ表示手段と、
   表示される前記階層グループの中から、１個の階層グループをユーザに選択させる階層グループ選択手段とを備え、
   前記キー画像表示手段は、選択された前記階層グループ内のキー画像データを表示する
   請求項６に記載の画像検索支援装置。
8. 画像属性情報及び撮影順序情報を有する画像データを受け付ける画像受付ステップと、
   前記画像データを前記画像属性情報及び前記撮影順序情報に基づいて分類し、複数の閲覧グループを生成する閲覧グループ生成ステップと、
   前記閲覧グループ毎に、前記画像属性情報が関連性を特定するための第１の条件を満たして撮影順に連続する画像データの数又は連続時間に基づいて、各前記画像データの属性連続度を算出する属性連続度取得ステップと、
   前記閲覧グループ毎に、前記属性連続度に基づいて、前記閲覧グループを代表するキー画像データを抽出するキー画像抽出ステップと
   を含む画像検索支援方法。
9. 画像属性情報及び撮影順序情報を有する画像データを受け付ける画像受付ステップと、
   前記画像データを前記画像属性情報及び前記撮影順序情報に基づいて分類し、複数の閲覧グループを生成する閲覧グループ生成ステップと、
   前記閲覧グループ毎に、前記画像属性情報が関連性を特定するための第１の条件を満たして撮影順に連続する画像データの数又は連続時間に基づいて、各前記画像データの属性連続度を算出する属性連続度取得ステップと、
   前記閲覧グループ毎に、前記属性連続度に基づいて、前記閲覧グループを代表するキー画像データを抽出するキー画像抽出ステップと
   をコンピュータに実行させるためのプログラム。
10. 画像属性情報及び撮影順序情報を有する画像データを受け付ける画像受付ステップと、
    前記画像データを前記画像属性情報及び前記撮影順序情報に基づいて分類し、複数の閲覧グループを生成する閲覧グループ生成ステップと、
    前記閲覧グループ毎に、前記画像属性情報が関連性を特定するための第１の条件を満たして撮影順に連続する画像データの数又は連続時間に基づいて、各前記画像データの属性連続度を算出する属性連続度取得ステップと、
    前記閲覧グループ毎に、前記属性連続度に基づいて、前記閲覧グループを代表するキー画像データを抽出するキー画像抽出ステップと
    をコンピュータに実行させるためのプログラムが格納された記録媒体。

Images