JP2013037595A - 画像検索装置、動画検索装置、画像検索方法、動画検索方法及びプログラム - Google Patents

Abstract

【課題】表示中の画像と次に表示される画像や動画が関連性を持つようにする。
【解決手段】画像検索装置が、キーワードと、撮影位置検索条件及び連想検索条件の論理積である検索条件と、をキーワード毎にそれぞれ対応付けした参照テーブル４１を記憶した記憶部４と、画像を表示部３に表示させる第一表示手段と、第一表示手段によって表示された画像からキーワードを抽出するキーワード抽出部と、キーワード抽出部によって抽出されたキーワードに対応付けられた検索条件を参照テーブル４１から取得する取得部と、複数の画像ファイルの中から、取得部によって取得された検索条件を満たす画像ファイルを検索する検索部と、検索部によって検索された画像ファイルの画像を表示部３に表示させる第二表示手段と、を備える。
【選択図】図２

Description

本発明は、画像検索装置、動画検索装置、画像検索方法、動画検索方法及びプログラムに関する。

特許文献１には、検索条件を対話によって絞り込む対話型画像検索装置が開示されている。
特許文献２には、入力画像の原色ごとの画素数の比率と、登録画像の原色ごとの画素数の比率を対比することで、複数の登録画像の中から入力画像に類似する画像を検索する画像検索装置が開示されている。
特許文献３には、１つのキーワードにつき複数の画像ファイルが対応付けられてハードディスクに登録されており、ユーザがかな入力モードにおいてキーワードの候補を入力すると、その候補キーワードに対応付けられた画像ファイルの画像を順次表示する文書画像作成装置が開示されている。
特許文献４には、ユーザが目的地と通知先アドレスを予め携帯端末に登録しておくと、ユーザがその携帯端末を持ってその目的地に到着したら、携帯端末がそのことを検出して、その通知先アドレスに到着の旨を自動的に送信することが開示されている。

特開平１１−１７５５３３号公報 特開２０１０−１０８１２２号公報 特開平１１−２７２６９２号公報 特開２００８−２２７７１７号公報

ところで、予め登録された複数の画像ファイルの画像を順次表示する技術は一般的である。その場合、画像ファイルのファイル名順に画像が表示される。しかし、画像ファイルのファイル名順に画像が表示されると、表示中の画像と次の表示される画像に何ら関連性がなく、興趣性に欠ける。
そこで、本発明が解決しようとする課題は、表示中の画像と次に表示される画像や動画が関連性を持つようにすることである。

以上の課題を解決するための本発明に係る画像検索装置は、
キーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルを記憶した記憶部と、
画像を表示部に表示させる第一表示手段と、
前記第一表示手段によって表示された画像から前記キーワードを抽出するキーワード抽出部と、
前記キーワード抽出部によって抽出された前記キーワードに対応付けられた検索条件を前記参照テーブルから取得する取得部と、
複数の画像ファイルの中から、前記取得部によって取得された検索条件を満たす画像ファイルを検索する検索部と、
を備える。

本発明に係る動画検索装置は、
複数のキーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルを記憶した記憶部と、
画像を表示部に表示させる第一表示手段と、
前記第一表示手段によって表示された画像から前記キーワードを抽出するキーワード抽出部と、
前記キーワード抽出部によって抽出された前記キーワードに対応付けられた検索条件を前記参照テーブルから取得する取得部と、
複数の動画ファイルの中から、前記取得部によって取得された検索条件を満たす動画ファイルを検索する検索部と、
を備える。

本発明に係る画像検索方法は、コンピュータが、
画像を表示部に表示させる第一表示処理と、
前記第一表示処理によって表示された画像からキーワードを抽出するキーワード抽出処理と、
キーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルから、前記キーワード抽出処理によって抽出された前記キーワードに対応付けられた検索条件を取得する取得処理と、
複数の画像ファイルの中から、前記取得処理によって取得された検索条件を満たす画像ファイルを検索する検索処理と、
前記検索処理によって検索された画像ファイルの画像を前記表示部に表示させる第二表示処理と、
を実行することを特徴とする。

本発明に係る動画検索方法は、コンピュータが、
画像を表示部に表示させる第一表示処理と、
前記第一表示処理によって表示された画像からキーワードを抽出するキーワード抽出処理と、
キーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルから、前記キーワード抽出処理によって抽出された前記キーワードに対応付けられた検索条件を取得する取得処理と、
複数の動画ファイルの中から、前記取得処理によって取得された検索条件を満たす動画ファイルを検索する検索処理と、
前記検索処理によって検索された動画ファイルの動画を再生して前記表示部に表示させる第二表示処理と、
を実行することを特徴とする。

本発明に係るプログラムは、コンピュータに、
画像を表示部に表示させる第一表示手段と、
前記第一表示手段によって表示された画像からキーワードを抽出するキーワード抽出部と、
キーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルから、前記キーワード抽出部によって抽出された前記キーワードに対応付けられた検索条件を取得する取得部と、
複数の画像ファイルの中から、前記取得部によって取得された検索条件を満たす画像ファイルを検索する検索部と、
前記検索部によって検索された画像ファイルの画像を前記表示部に表示させる第二表示手段と、
を機能させる。

本発明に係るプログラムは、コンピュータに、
画像を表示部に表示させる第一表示手段と、
前記第一表示手段によって表示された画像からキーワードを抽出するキーワード抽出部と、
キーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルから、前記キーワード抽出部によって抽出された前記キーワードに対応付けられた検索条件を取得する取得部と、
複数の動画ファイルの中から、前記取得部によって取得された検索条件を満たす動画ファイルを検索する検索部と、
前記検索部によって検索された動画ファイルの動画を再生して前記表示部に表示させる第二表示手段と、
を機能させる。

本発明によれば、第一表示手段によって表示された画像と、第二表示手段によって表示された画像又は動画とが関連性を有するようになる。

画像検索装置の概略正面図。 画像検索装置のブロック図。 参照テーブルのデータ構成を示した図。 画像検索装置のコンピュータによって行われる処理内容を示したフローチャート。 動画検索装置のブロック図。 参照テーブルのデータ構成を示した図。 動画検索装置のコンピュータによって行われる処理内容を示したフローチャート。

以下に、本発明を実施するための形態について、図面を用いて説明する。但し、以下に述べる実施形態には、本発明を実施するために技術的に好ましい種々の限定が付されているが、本発明の範囲を以下の実施形態及び図示例に限定するものではない。

〔第１の実施の形態〕
図１は、画像検索装置１の正面図である。図２は、画像検索装置１のブロック図である。本実施形態では、画像検索装置１が、卓上に設置されるデジタルフォトフレームに適用される。なお、画像検索装置１が表示ディスプレイ付き携帯電話機、表示ディスプレイ付きデジタルデジタルカメラ、表示ディスプレイ付き電子辞書、表示ディスプレイ付きデジタルオーディオプレーヤー、表示ディスプレイ付きカーナビゲーション、パーソナルコンピュータ、テレビ、ゲーム機その他の電子機器に適用されてもよい。

この画像検索装置１は、マイクロコンピュータ２、ディスプレイ３、記憶部４、リーダー・ライター５、入力装置６及び筐体７等を備える。

ディスプレイ３は、液晶ディスプレイ、有機エレクトロルミネッセンスディスプレイその他の表示部である。ディスプレイ３が筐体７に取り付けられ、ディスプレイ３の表示面が筐体７の前面に配置されている。ディスプレイ３の表示面は、露出され、又は透明な板によって覆われている。ディスプレイ３は、マイクロコンピュータ２から出力された映像信号を入力して、入力した映像信号に従った映像を表示する。なお、画像検索装置１がディスプレイを有さなくてもよい。その場合、画像検索装置１のマイクロコンピュータ２がケーブルや無線によって映像信号をテレビ、プロジェクタその他の映像機器に出力し、映像信号に従った映像が映像機器によって投影又は表示される。

入力装置６は、キーボード、マウス、タッチパネル、タッチパッド、複数の押しボタン、ダイヤルその他の入力装置である。入力装置６がタッチパネルである場合、図１に示すようにその入力装置６がディスプレイ３の表示画面に貼着されていてもよい。入力装置６がユーザによって操作されると、入力装置６がその操作内容に応じた信号をマイクロコンピュータ２に出力する。

リーダー・ライター５は、筐体７に内蔵されている。リーダー・ライター５のコネクタ５ａが筐体７の側面又は背面等に配置され、外部記憶部８がリーダー・ライター５のコネクタ５ａに対して着脱可能となっている。リーダー・ライター５は、外部記憶部８から情報を読み出したり、マイクロコンピュータ２から転送された情報を外部記憶部８に記録したりする。リーダー・ライター５によって読み出された情報は、マイクロコンピュータ２に転送される。

外部記憶部８には、複数の画像ファイル８０が格納されている。例えば、画像ファイル８０は、Exif（Exchangeable image file format）仕様のJPEG（Joint Photographic Experts Group）形式の画像ファイル、Exif仕様のTIFF（Tagged Image File Format）形式の画像ファイル、付帯情報（メタデータ）付きのRAWフォーマット画像ファイルその他の付帯情報付き画像ファイルである。画像ファイル８０は、イメージデータ８０ａを有するとともに、付帯情報であるサムネイルイメージデータ８０ｂ、撮影時刻データ８０ｃ、緯度データ８０ｄ、経度データ８０ｅ及び高度データ８０ｆ等を有する。イメージデータ８０ａは、デジタルカメラ等の撮像によって得られた画像である。サムネイルイメージデータ８０ｂは、イメージデータ８０ａの解像度を低下させた画像である。撮影時刻データ８０ｃは、画像ファイル８０に含まれるイメージデータ８０ａがデジタルカメラ等によって撮像された時刻（例えば、年月日時分秒）を表す。緯度データ８０ｄは、画像ファイル８０に含まれるイメージデータ８０ａがデジタルカメラ等によって撮像された緯度を表す。経度データ８０ｅは、画像ファイル８０に含まれるイメージデータ８０ａがデジタルカメラ等によって撮像された経度を表す。高度データ８０ｆは、画像ファイル８０に含まれるイメージデータ８０ａがデジタルカメラ等によって撮像された高度を表す。画像ファイル８０に含まれる付帯情報は、サムネイルイメージデータ８０ｂ、撮影時刻データ８０ｃ、緯度データ８０ｄ、経度データ８０ｅ及び高度データ８０ｆに限るものではない。例えば、画像ファイル８０がExif仕様である場合、Exifで規格された各種メタデータ（タグ）が画像ファイル８０に含まれる。

マイクロコンピュータ２は、筐体７に内蔵されている。マイクロコンピュータ２は、ＣＰＵ２ａ、ＲＡＭ２ｂ及びＲＯＭ２ｃ等を有する。ＣＰＵ２ａは中央処理装置であり、各種の数値処理、演算処理、情報処理、機器制御などを行う。ＲＡＭ２ａは、ランダムアクセスメモリであって、ＣＰＵ２ａに一時的な記憶領域を提供する。ＲＯＭ２ｃは、リードオンリーメモリであって、ＣＰＵ２ａの主記憶装置として使用されている。ＲＯＭ２ｃには、ＣＰＵ２ａによって読取可能・実行可能なシステムプログラム等が格納されている。

記憶部４は、筐体７に内蔵されている。記憶部４は、半導体不揮発性メモリ、ハードディスクドライブ（ＨＤＤ）、ディスクドライブその他の読み書き可能な記憶装置である。記憶部４には、マイクロコンピュータ２（主に、ＣＰＵ２ａ）によって読取可能・実行可能な画像検索プログラム４０が格納されている。また、記憶部４には、マイクロコンピュータ２によって読取可能な参照テーブル４１が格納されている。なお、画像検索プログラム４０と参照テーブル４１の何れか一方又は両方が、記憶部としてのＲＯＭ２ｃに格納されていてもよい。

外部から転送された複数の画像ファイル８０が記憶部４に記憶されていてもよい。記憶部４に格納された画像ファイル８０は、外部記憶部８に格納された画像ファイル８０と同様に、イメージデータ８０ａ、サムネイルイメージデータ８０ｂ、撮影時刻データ８０ｃ、緯度データ８０ｄ、経度データ８０ｅ及び高度データ８０ｆ等を有する。緯度データ８０ｄ、経度データ８０ｅは、撮影したカメラの位置の撮影位置情報である。記憶部４に画像ファイル８０が格納されている場合、外部記憶部８がリーダー・ライター５から取り外されていてもよい。

図３は、参照テーブル４１のデータ構造を示した図面である。図３に示すように、参照テーブル４１は、複数のキーワードに検索条件をそれぞれ対応付けしたものである。

キーワードに対応付けられる検索条件は、撮影位置に関する検索条件（以下、「撮影位置検索条件」ということもある。）と、キーワードから連想されることに関する検索条件（以下、「連想検索条件」ということもある。）との論理積（and）である。

撮影位置検索条件は、緯度データに関する検索条件（以下、「緯度検索条件」ということもある。）と、経度データに関する検索条件（以下、「経度検索条件」ということもある。）との論理積である。

連想検索条件は、高度データに関する検索条件（以下、「高度検索条件」ということもある。）と、撮影時刻に関する検索条件（以下、「撮影時刻検索条件」ということもある。）と、イメージデータに関する検索条件（以下、「イメージデータ検索条件」いうこともある。）とを含む。連想検索条件が高度検索条件、撮影時刻検索条件、イメージデータ検索条件のうち２種類又は３種類を含む場合、これらの検索条件が論理和（or）となっていてもよいし、論理積（and）となっていてもよい。

例えば、図３を参照すると、キーワードが「Ａ山」である場合には（「Ａ山」とは、固有名詞である地名又は山の名称である。）、それに対応づけられた検索条件は、「北緯35.0〜35.5°」という緯度検索条件と、「東経138.1〜138.7°」という経度検索条件と、「2000〜4000m」という高度検索条件との論理積である。

キーワードに対応付けられた撮影位置検索条件の値又は内容は、キーワードに関連する。例えば、図３を参照すると、キーワードが「Ａ山」である場合には、緯度検索条件及び経度検索条件の値又は内容は、「Ａ山」に関連する。具体的には、緯度検索条件及び経度検索条件の値又は内容は、「Ａ山」の山頂の緯度・経度を中心とした範囲である。

キーワードに対応付けられた連想検索条件の値又は内容は、キーワードから連想されるものである。キーワードが「Ａ山」である場合には、それに対応付けられた高度検索条件の値又は内容（2000〜4000m）は、「Ａ山」の高さから連想される高度である。また、キーワードが「Ｂ海水浴場」である場合には（「Ｂ海水浴場」とは、固有名詞である地名又は海水浴場の名称である。）、それに対応付けられた撮影時刻検索条件の値又は内容（７月〜８月）は、「Ｂ海水浴場」から連想される利用時期であり、それに対応付けられたイメージデータ検索条件の値又は内容は、「Ｂ海水浴場」から連想される色の配色である。

参照テーブル４１は、画像検索プログラム４０に組み込まれていてもよいし、画像検索プログラム４０とは別に記憶部４又はＲＯＭ２ｃに格納されていてもよい。
なお、ユーザが入力装置６を操作することによって、キーワードとそれに対応付けられた検索条件を参照テーブル４１に追加してもよい。

画像検索プログラム４０に従ってマイクロコンピュータ２が行う処理内容について説明する。

マイクロコンピュータ２が、記憶部４と外部記憶部８の一方又は両方に格納された複数の画像ファイル８０のうち何れか一つを読み込み、その画像ファイル８０に含まれるイメージデータ８０ａに基づく映像信号をディスプレイ３に出力して、イメージデータ８０ａの画像をディスプレイ３に表示させる。ディスプレイ３に画像が表示された時に、マイクロコンピュータ２が画像検索プログラム４０に従って図４に示す処理を行う。図４は、画像検索プログラム４０に従ってマイクロコンピュータ２が行う処理内容を示したフローチャートである。

以下の説明において、ディスプレイ３に表示された画像の画像ファイル８０を処理中画像ファイル８０といい、処理中画像ファイル８０に含まれるイメージデータ８０ａ、サムネイルイメージデータ８０ｂ、撮影時刻データ８０ｃ、緯度データ８０ｄ、経度データ８０ｅ、高度データ８０ｆをそれぞれ処理中イメージデータ８０ａ、処理中サムネイルイメージデータ８０ｂ、処理中撮影時刻データ８０ｃ、処理中緯度データ８０ｄ、処理中経度データ８０ｅ、処理中高度データ８０ｆという。

まず、マイクロコンピュータ２が、処理中画像ファイル８０に含まれる処理中イメージデータ８０ａの画像からキーワードを抽出する（ステップＳ１）。具体的には、マイクロコンピュータ２が、ステップＳ２、ステップＳ３及びステップＳ４の処理を順に行う。

ステップＳ２において、マイクロコンピュータ２は、処理中画像ファイル８０に含まれる処理中イメージデータ８０ａに含まれる語の画像を抽出する（ステップＳ２）。

次に、マイクロコンピュータ２は、抽出した語の画像を予め定められた文字パターンと対比することによって、抽出した語の画像を文字として認識する（ステップＳ３）。文字として認識された語は、キーワードである。予め定められた文字パターンは、画像検索プログラム４０に組み込まれている。

次に、マイクロコンピュータ２は、処理中画像ファイル８０に含まれる処理中イメージデータ８０ａから抽出したキーワードの文字サイズを認識する（ステップＳ４）。

マイクロコンピュータ２がキーワードの抽出処理（ステップＳ１）によってキーワードの抽出を行えなかった場合には（ステップＳ５：Ｎｏ）、マイクロコンピュータ２が処理中画像ファイル８０に含まれる処理中イメージデータ８０ａに基づく映像信号の出力を継続して、処理中イメージデータ８０ａの画像をディスプレイ３に表示させる（ステップＳ６）。一方、マイクロコンピュータ２がキーワードの抽出処理（ステップＳ１）によってキーワードの抽出を行えた場合には（ステップＳ５：Ｙｅｓ）、マイクロコンピュータ２の処理がステップＳ７に移行する。

ステップＳ７において、マイクロコンピュータ２は、キーワード抽出処理（ステップＳ１）において抽出した複数のキーワードの文字サイズ（ステップＳ４で認識済み）を対比することによって、これらのキーワードの中から最も文字サイズの大きな一つのキーワードを選択する。なお、マイクロコンピュータ２がキーワード抽出処理（ステップＳ１）において抽出した一つのキーワードを抽出した場合には、ステップＳ７では、マイクロコンピュータ２がその一つのキーワードを選択する。

次に、マイクロコンピュータ２は、参照テーブル４１を参照して、選択したキーワードに対応付けられた検索条件（撮影位置検索条件と連想検索条件の論理積）を参照テーブル４１から取得する（ステップＳ８）。

次に、マイクロコンピュータ２は、記憶部４と外部記憶部８の一方又は両方に格納された複数の画像ファイル８０の中から、ステップＳ８で取得した撮影位置検索条件及び連想検索条件の両方を満たす画像ファイル８０を検索する（ステップＳ９）。具体的には、マイクロコンピュータ２は、各画像ファイル８０に含まれる緯度データ８０ｄ及び経度データ８０ｅが撮影位置検索条件を満たすか否かチェックすることによって、撮影位置検索条件を満たす緯度データ８０ｄ及び経度データ８０ｅを有する画像ファイル８０を検索する。更に、マイクロコンピュータ２は、撮影位置検索条件を満たす各画像ファイル８０に含まれるイメージデータ８０ａ、撮影時刻データ８０ｃ、高度データ８０ｆが連想検索条件を満たすか否かをチェックすることによって、連想検索条件を満たすイメージデータ８０ａ、撮影時刻データ８０ｃ、高度データ８０ｆを含む画像ファイル８０を検索する。なお、検索範囲は、記憶部４に格納された全ての画像ファイル８０又はそれらの中の一部であってもよいし、外部記憶部８に格納された全ての画像ファイル８０又はそれらの中の一部であってもよいし、記憶部４及び外部記憶部８に格納された全ての画像ファイル８０又はそれらの中の一部であってもよい。また、検索方式は、Grep型の検索方式でもよいし、インデックス型の検索方式でもよい。

次に、マイクロコンピュータ２は、ステップＳ９で検索した一又は複数の画像ファイル８０に含まれるイメージデータ８０ａ又はサムネイルイメージデータ８０ｂに基づく映像信号をディスプレイ３に出力して、イメージデータ８０ａ又はサムネイルイメージデータ８０ｂの画像をディスプレイ３に表示させる（ステップＳ１０）。複数の画像ファイル８０が検索された場合には、マイクロコンピュータ２が次の（ａ）〜（ｃ）の何れかのような表示処理を行う。

（ａ） マイクロコンピュータ２は、ステップＳ９で検索した複数の画像ファイル８０に含まれるイメージデータ８０ａの画像をディスプレイ３に順次表示させる。

（ｂ） マイクロコンピュータ２は、ステップＳ９で検索した複数の画像ファイル８０に含まれるイメージデータ８０ａの画像を縮小して、これらを一括してディスプレイ３に表示させる。なお、ステップＳ９で検索した全ての画像ファイル８０に含まれるイメージデータ８０ａの画像を一回で一括して表示できない場合には、マイクロコンピュータ２は、ステップＳ９で検索した複数の画像ファイル８０を幾つかのグループに分け、グループ毎にイメージデータ８０ａの画像を縮小して、一括表示させる。

（ｃ） マイクロコンピュータ２は、ステップＳ９で検索した複数の画像ファイル８０に含まれるサムネイルイメージデータ８０ｂの画像を一括してディスプレイ３に表示させる。なお、ステップＳ９で検索した全ての画像ファイル８０に含まれるサムネイルイメージデータ８０ｂの画像を一回で一括して表示できない場合には、マイクロコンピュータ２は、ステップＳ９で検索した複数の画像ファイル８０を幾つかのグループに分け、グループ毎にサムネイルイメージデータ８０ｂの画像を一括表示させる。

その後、画像検索プログラム４０に基づく処理が終了する。

以上の実施の形態によれば、表示中の画像と、その次に表示される画像（ステップＳ１０において表示される画像）が関連性を持つようになる。例えば、表示中の画像の中から抽出されたキーワードが「Ａ山」である場合、その「Ａ山」で撮影された画像がステップＳ１０において表示される。従って、画像の表示順序についての興趣性が向上する。

ステップＳ１で抽出されたキーワードの数が複数である場合、最も文字サイズの大きなキーワードに関連する画像が次に表示される（ステップＳ１０）。表示中の画像の中で大きく描画された文字は、その画像の主要テーマを表すキーワードであることが多い。そのため、ステップＳ１０で表示される画像と、その前に表示された画像との関連性が高くなる。

〔第２の実施の形態〕
図５は、動画検索装置１Ａのブロック図である。図５に示す動画検索装置１Ａと図２に示す画像検索装置１との間で互いに対応する部分には、同一符号を付す。以下、動画検索装置１Ａと画像検索装置１の相違点について説明し、一致点についての説明を省略する。

動画検索装置１Ａは、画像検索装置１と同様に、マイクロコンピュータ２、ディスプレイ３、記憶部４、リーダー・ライター５、入力装置６及び筐体７等を備える。動画検索装置１Ａのディスプレイ３、リーダー・ライター５、入力装置６及び筐体７と、画像検索装置１のディスプレイ３、リーダー・ライター５、入力装置６及び筐体７とはそれぞれ一致する。

また、動画検索装置１Ａは、電気音響変換器であるスピーカー９を有する。

動画検索装置１Ａの記憶部４及び外部記憶部８と、画像検索装置１の記憶部４及び外部記憶部８は、記憶内容を除いて、一致する。

第１の実施の形態に係る画像検索装置１では、画像検索プログラム４０及び参照テーブル４１が記憶部４に格納されているのに対し、第２の実施の形態に係る動画検索装置１Ａでは、動画検索プログラム４２及び参照テーブル４３が記憶部４に格納されている。また、第２の実施の形態に係る動画検索装置１Ａでは、複数の画像ファイル８０に加えて複数の動画ファイル８１が外部記憶部８と記憶部４のうちの一方又は両方に格納されている。

動画ファイル８１は、ビデオデータ８１ａ、オーディオデータ８１ｂを有するとともに、撮影時刻データ８１ｃ、緯度データ８１ｄ、経度データ８１ｅ及び高度データ８０ｆ等を有する。ビデオデータ８１ａは、動画のストリームデータである。オーディオデータ８１ｂは、音声のストリームデータである。撮影時刻データ８１ｃは、動画ファイル８１に含まれるビデオデータ８１ａ及びオーディオデータ８１ｂがデジタルムービーカメラ等によって記録された時刻（例えば、年月日時分秒）を表す。緯度データ８１ｄは、動画ファイル８１に含まれるビデオデータ８１ａ及びオーディオデータ８１ｂがデジタルムービーカメラ等によって記録された緯度を表す。経度データ８１ｅは、動画ファイル８１に含まれるビデオデータ８１ａ及びオーディオデータ８１ｂがデジタルムービーカメラ等によって記録された経度を表す。高度データ８１ｆは、動画ファイル８１に含まれるビデオデータ８１ａ及びオーディオデータ８１ｂがデジタルムービーカメラ等によって記録された高度を表す。

図６は、参照テーブル４３のデータ構造を示した図面である。図６に示すように、参照テーブル４３は、複数のキーワードに検索条件をそれぞれ対応付けしたものである。

キーワードに対応付けられる検索条件は、撮影位置に関する検索条件（以下、「撮影位置検索条件」ということもある。）と、キーワードから連想されることに関する検索条件（以下、「連想検索条件」ということもある。）との論理積（and）である。

撮影位置検索条件は、緯度データに関する検索条件（以下、「緯度検索条件」ということもある。）と、経度データに関する検索条件（以下、「経度検索条件」ということもある。）との論理積である。

連想検索条件は、オーディオデータに関する検索条件（以下、「オーディオデータ検索条件」ということもある。）である。

例えば、図６を参照すると、キーワードが「猫」である場合には（「猫」とは、普通名詞である。）、それに対応づけられた撮影位置検索条件は、「表示した画像ファイルの緯度データと同じ」という緯度検索条件と、「表示した画像ファイルの経度データと同じ」という経度検索条件との論理積であり、それに対応付けられたオーディオデータ検索条件は、「猫の鳴き声」という検索条件である。

キーワードに対応付けられたオーディオデータ検索条件は、キーワードに関連する。例えば、図６を参照すると、キーワードが「猫」であるから、それに対応付けられたオーディオデータ検索条件が猫の鳴き声となっている。

参照テーブル４３は、動画検索プログラム４２に組み込まれていてもよいし、動画検索プログラム４２とは別に記憶部４又はＲＯＭ２ｃに格納されていてもよい。

動画検索装置１Ａのマイクロコンピュータ２は、画像検索装置１のマイクロコンピュータ２と同様の構成である。動画検索装置１Ａのマイクロコンピュータ２が動画検索プログラム４２に従って行う処理内容と、画像検索装置１のマイクロコンピュータ２が画像検索プログラム４０に従って行う処理内容とが相違する。そこで、動画検索プログラム４２によって動画検索装置１Ａのマイクロコンピュータ２が行う処理内容について説明する。

マイクロコンピュータ２が、記憶部４と外部記憶部８の一方又は両方に格納された複数の画像ファイル８０のうち何れか一つを読み込み、その画像ファイル８０に含まれるイメージデータ８０ａに基づく映像信号をディスプレイ３に出力して、イメージデータ８０ａの画像をディスプレイ３に表示させる。ディスプレイ３に画像が表示された時に、マイクロコンピュータ２が動画検索プログラム４２に従って図７に示す処理を行う。図７は、動画検索プログラム４２に従ってマイクロコンピュータ２が行う処理内容を示したフローチャートである。

ステップＳ２１〜ステップＳ２７の処理は、第１実施形態におけるステップＳ１〜ステップＳ２７の処理とそれぞれ同様である。

ステップＳ２８では、マイクロコンピュータ２は、参照テーブル４３を参照して、選択したキーワードに対応付けられた検索条件を参照テーブル４３から取得する。

次に、マイクロコンピュータ２は、記憶部４と外部記憶部８の一方又は両方に格納された複数の動画ファイル８１の中から、ステップＳ２８で取得した撮影位置検索条件及びオーディオデータ検索条件（連想検索条件）の両方を満たす動画ファイル８１を検索する（ステップＳ２９）。具体的には、マイクロコンピュータ２は、各動画ファイル８１に含まれる緯度データ８１ｄ及び経度データ８１ｅが撮影位置検索条件を満たすか否かチェックすることによって、撮影位置検索条件を満たす緯度データ８１ｄ及び経度データ８１ｅを含む動画ファイル８１を検索する。更に、マイクロコンピュータ２は、撮影位置検索条件を満たす動画ファイル８１に含まれるオーディオデータ８１ｂがオーディオデータ検索条件を満たすか否かをチェックすることによって、オーディオデータ検索条件を満たすオーディオデータ８１ｂを含む動画ファイル８１を検索する。なお、検索範囲は、記憶部４に格納された全ての動画ファイル８１又はそれらの中の一部であってもよいし、外部記憶部８に格納された全ての動画ファイル８１又はそれらの中の一部であってもよいし、記憶部４及び外部記憶部８に格納された全ての動画ファイル８１又はそれらの中の一部であってもよい。

次に、マイクロコンピュータ２は、ステップＳ２９で検索した一又は複数の動画ファイル８１に含まれるビデオデータ８１ａを再生して、ビデオデータ８１ａに従った映像をディスプレイ３に表示させる（ステップＳ３０）。ビデオデータ８１ａの再生と同時に、マイクロコンピュータ２は、ステップＳ２９で検索した一又は複数の動画ファイル８１に含まれるオーディオデータ８１ｂを再生して、オーディオデータ８１ｂに従った音声をスピーカー９に出力する（ステップＳ３０）。なお、ステップＳ２９で検索した動画ファイル８１の数が複数である場合、マイクロコンピュータ２は、ステップＳ２９で検索した複数の動画ファイル８１に含まれるビデオデータ８１ａ及びオーディオデータ８１ｂを順次再生する。

その後、動画検索プログラム４２に基づく処理が終了する。

以上の実施の形態によれば、表示中の画像と、その次に再生される動画や音声（ステップＳ２０において表示される動画や音声）が関連性を持つようになる。例えば、表示中の画像の中から抽出されたキーワードが「猫」である場合、猫の鳴き声がステップＳ３０において再生される。従って、画像・動画の表示順序についての興趣性が向上する。

本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載された発明を付記する。付記に記載された請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
〔付記〕
＜請求項１＞
キーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルを記憶した記憶部と、
画像を表示部に表示させる第一表示手段と、
前記第一表示手段によって表示された画像から前記キーワードを抽出するキーワード抽出部と、
前記キーワード抽出部によって抽出された前記キーワードに対応付けられた検索条件を前記参照テーブルから取得する取得部と、
複数の画像ファイルの中から、前記取得部によって取得された検索条件を満たす画像ファイルを検索する検索部と、
を備えることを特徴とする画像検索装置。
＜請求項２＞
更に、前記検索部によって検索された画像ファイルの画像を前記表示部に表示させる第二表示手段を備えることを特徴とする請求項１に記載の画像検索装置。
＜請求項３＞
前記検索部による検索範囲の前記複数の画像ファイルが、画像であるイメージデータと、撮影された緯度を表す緯度データと、撮影された経度を表す経度データと、撮影された高度を表す高度データと、撮影された時刻を表す撮影時刻データと、を有し、
前記撮影位置検索条件は、緯度に関する緯度検索条件及び経度に関する経度検索条件の論理積であり、
前記連想検索条件は、高度に関する高度検索条件と、撮影時刻に関する撮影時刻検索条件と、イメージデータに関するイメージデータ検索条件とのうち少なくとも１つを含み、
前記検索部は、前記撮影位置検索条件を満たした緯度データ及び経度データを有し、且つ、前記連想検索条件を満たした高度データ、撮影時刻データ及びイメージデータの少なくとも１つを有する画像ファイルを検索することを特徴とする請求項１又は2に記載の画像検索装置。
＜請求項４＞
前記キーワード抽出部によって抽出されたキーワードの数が複数である場合、それらの中から最も文字サイズの大きなキーワードを選択する選択部を更に備え、
前記取得部が、前記キーワード抽出部によって抽出された複数のキーワードのうち前記選択部によって選択されたキーワードに対応付けられた検索条件を前記参照テーブルから取得することを特徴とする請求項１乃至３の何れか一項に記載の画像検索装置。
＜請求項５＞
複数のキーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルを記憶した記憶部と、
画像を表示部に表示させる第一表示手段と、
前記第一表示手段によって表示された画像から前記キーワードを抽出するキーワード抽出部と、
前記キーワード抽出部によって抽出された前記キーワードに対応付けられた検索条件を前記参照テーブルから取得する取得部と、
複数の動画ファイルの中から、前記取得部によって取得された検索条件を満たす動画ファイルを検索する検索部と、
を備えることを特徴とする動画検索装置。
＜請求項６＞
更に、前記検索部によって検索された動画ファイルの動画を再生して前記表示部に表示させる第二表示手段を備えることを特徴とする請求項５に記載の動画検索装置。
＜請求項７＞
前記検索部による検索範囲の前記複数の動画ファイルが、動画のストリームデータであるビデオデータと、音声のストリームデータであるオーディオデータと、撮影された緯度を表す緯度データと、撮影された経度を表す経度データと、を有し、
前記撮影位置検索条件は、緯度に関する緯度検索条件及び経度に関する経度検索条件の論理積であり、
前記連想検索条件は、オーディオに関するオーディオデータ検索条件を含み、
前記検索部は、前記撮影位置検索条件を満たした緯度データ及び経度データを有し、且つ、前記オーディオデータ検索条件を満たしたオーディオデータを有する動画ファイルを検索することを特徴とする請求項5又は6に記載の動画検索装置。
＜請求項８＞
前記キーワード抽出部によって抽出されたキーワードの数が複数である場合、それらの中から最も文字サイズの大きなキーワードを選択する選択部を更に備え、
前記取得部が、前記キーワード抽出部によって抽出された複数のキーワードのうち前記選択部によって選択されたキーワードに対応付けられた検索条件を前記参照テーブルから取得することを特徴とする請求項５乃至７の何れか一項に記載の動画検索装置。
＜請求項９＞
コンピュータが、
画像を表示部に表示させる第一表示処理と、
前記第一表示処理によって表示された画像からキーワードを抽出するキーワード抽出処理と、
キーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルから、前記キーワード抽出処理によって抽出された前記キーワードに対応付けられた検索条件を取得する取得処理と、
複数の画像ファイルの中から、前記取得処理によって取得された検索条件を満たす画像ファイルを検索する検索処理と、
前記検索処理によって検索された画像ファイルの画像を前記表示部に表示させる第二表示処理と、
を実行することを特徴とする画像検索方法。
＜請求項１０＞
コンピュータが、
画像を表示部に表示させる第一表示処理と、
前記第一表示処理によって表示された画像からキーワードを抽出するキーワード抽出処理と、
キーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルから、前記キーワード抽出処理によって抽出された前記キーワードに対応付けられた検索条件を取得する取得処理と、
複数の動画ファイルの中から、前記取得処理によって取得された検索条件を満たす動画ファイルを検索する検索処理と、
前記検索処理によって検索された動画ファイルの動画を再生して前記表示部に表示させる第二表示処理と、
を実行することを特徴とする動画検索方法。
＜請求項１１＞
コンピュータに、
画像を表示部に表示させる第一表示手段と、
前記第一表示手段によって表示された画像からキーワードを抽出するキーワード抽出部と、
キーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルから、前記キーワード抽出部によって抽出された前記キーワードに対応付けられた検索条件を取得する取得部と、
複数の画像ファイルの中から、前記取得部によって取得された検索条件を満たす画像ファイルを検索する検索部と、
前記検索部によって検索された画像ファイルの画像を前記表示部に表示させる第二表示手段と、
を機能させるプログラム。
＜請求項１２＞
コンピュータに、
画像を表示部に表示させる第一表示手段と、
前記第一表示手段によって表示された画像からキーワードを抽出するキーワード抽出部と、
キーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルから、前記キーワード抽出部によって抽出された前記キーワードに対応付けられた検索条件を取得する取得部と、
複数の動画ファイルの中から、前記取得部によって取得された検索条件を満たす動画ファイルを検索する検索部と、
前記検索部によって検索された動画ファイルの動画を再生して前記表示部に表示させる第二表示手段と、
を機能させるプログラム。

１ 画像検索装置
１Ａ 動画検索装置
２ マイクロコンピュータ
３ ディスプレイ（表示部）
４ 記憶部
８ 外部記憶部
９ スピーカー（電気音響変換器）
４０ 画像検索プログラム
４１ 参照テーブル
４２ 動画検索プログラム
４３ 参照テーブル
８０ 画像ファイル
８０ａ イメージデータ
８０ｂ サムネイルイメージデータ
８０ｃ 撮影時刻データ
８０ｄ 緯度データ
８０ｅ 経度データ
８０ｆ 高度データ
８１ 動画ファイル
８１ａ ビデオデータ
８１ｂ オーディオデータ
８１ｃ 撮影時刻データ
８１ｄ 緯度データ
８１ｅ 経度データ
８１ｆ 高度データ

Claims (12)

1. キーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルを記憶した記憶部と、
   画像を表示部に表示させる第一表示手段と、
   前記第一表示手段によって表示された画像から前記キーワードを抽出するキーワード抽出部と、
   前記キーワード抽出部によって抽出された前記キーワードに対応付けられた検索条件を前記参照テーブルから取得する取得部と、
   複数の画像ファイルの中から、前記取得部によって取得された検索条件を満たす画像ファイルを検索する検索部と、
   を備えることを特徴とする画像検索装置。
2. 更に、前記検索部によって検索された画像ファイルの画像を前記表示部に表示させる第二表示手段を備えることを特徴とする請求項１に記載の画像検索装置。
3. 前記検索部による検索範囲の前記複数の画像ファイルが、画像であるイメージデータと、撮影された緯度を表す緯度データと、撮影された経度を表す経度データと、撮影された高度を表す高度データと、撮影された時刻を表す撮影時刻データと、を有し、
   前記撮影位置検索条件は、緯度に関する緯度検索条件及び経度に関する経度検索条件の論理積であり、
   前記連想検索条件は、高度に関する高度検索条件と、撮影時刻に関する撮影時刻検索条件と、イメージデータに関するイメージデータ検索条件とのうち少なくとも１つを含み、
   前記検索部は、前記撮影位置検索条件を満たした緯度データ及び経度データを有し、且つ、前記連想検索条件を満たした高度データ、撮影時刻データ及びイメージデータの少なくとも１つを有する画像ファイルを検索することを特徴とする請求項１又は２に記載の画像検索装置。
4. 前記キーワード抽出部によって抽出されたキーワードの数が複数である場合、それらの中から最も文字サイズの大きなキーワードを選択する選択部を更に備え、
   前記取得部が、前記キーワード抽出部によって抽出された複数のキーワードのうち前記選択部によって選択されたキーワードに対応付けられた検索条件を前記参照テーブルから取得することを特徴とする請求項１乃至３の何れか一項に記載の画像検索装置。
5. 複数のキーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルを記憶した記憶部と、
   画像を表示部に表示させる第一表示手段と、
   前記第一表示手段によって表示された画像から前記キーワードを抽出するキーワード抽出部と、
   前記キーワード抽出部によって抽出された前記キーワードに対応付けられた検索条件を前記参照テーブルから取得する取得部と、
   複数の動画ファイルの中から、前記取得部によって取得された検索条件を満たす動画ファイルを検索する検索部と、
   を備えることを特徴とする動画検索装置。
6. 更に、前記検索部によって検索された動画ファイルの動画を再生して前記表示部に表示させる第二表示手段を備えることを特徴とする請求項５に記載の動画検索装置。
7. 前記検索部による検索範囲の前記複数の動画ファイルが、動画のストリームデータであるビデオデータと、音声のストリームデータであるオーディオデータと、撮影された緯度を表す緯度データと、撮影された経度を表す経度データと、を有し、
   前記撮影位置検索条件は、緯度に関する緯度検索条件及び経度に関する経度検索条件の論理積であり、
   前記連想検索条件は、オーディオに関するオーディオデータ検索条件を含み、
   前記検索部は、前記撮影位置検索条件を満たした緯度データ及び経度データを有し、且つ、前記オーディオデータ検索条件を満たしたオーディオデータを有する動画ファイルを検索することを特徴とする請求項５又は６に記載の動画検索装置。
8. 前記キーワード抽出部によって抽出されたキーワードの数が複数である場合、それらの中から最も文字サイズの大きなキーワードを選択する選択部を更に備え、
   前記取得部が、前記キーワード抽出部によって抽出された複数のキーワードのうち前記選択部によって選択されたキーワードに対応付けられた検索条件を前記参照テーブルから取得することを特徴とする請求項５乃至７の何れか一項に記載の動画検索装置。
9. コンピュータが、
   画像を表示部に表示させる第一表示処理と、
   前記第一表示処理によって表示された画像からキーワードを抽出するキーワード抽出処理と、
   キーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルから、前記キーワード抽出処理によって抽出された前記キーワードに対応付けられた検索条件を取得する取得処理と、
   複数の画像ファイルの中から、前記取得処理によって取得された検索条件を満たす画像ファイルを検索する検索処理と、
   前記検索処理によって検索された画像ファイルの画像を前記表示部に表示させる第二表示処理と、
   を実行することを特徴とする画像検索方法。
10. コンピュータが、
    画像を表示部に表示させる第一表示処理と、
    前記第一表示処理によって表示された画像からキーワードを抽出するキーワード抽出処理と、
    キーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルから、前記キーワード抽出処理によって抽出された前記キーワードに対応付けられた検索条件を取得する取得処理と、
    複数の動画ファイルの中から、前記取得処理によって取得された検索条件を満たす動画ファイルを検索する検索処理と、
    前記検索処理によって検索された動画ファイルの動画を再生して前記表示部に表示させる第二表示処理と、
    を実行することを特徴とする動画検索方法。
11. コンピュータに、
    画像を表示部に表示させる第一表示手段と、
    前記第一表示手段によって表示された画像からキーワードを抽出するキーワード抽出部と、
    キーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルから、前記キーワード抽出部によって抽出された前記キーワードに対応付けられた検索条件を取得する取得部と、
    複数の画像ファイルの中から、前記取得部によって取得された検索条件を満たす画像ファイルを検索する検索部と、
    前記検索部によって検索された画像ファイルの画像を前記表示部に表示させる第二表示手段と、
    を機能させるプログラム。
12. コンピュータに、
    画像を表示部に表示させる第一表示手段と、
    前記第一表示手段によって表示された画像からキーワードを抽出するキーワード抽出部と、
    キーワードと、前記キーワードから抽出される撮影位置に関する撮影位置検索条件及び前記キーワードから連想される連想検索条件の論理積である検索条件と、を前記キーワード毎にそれぞれ対応付けした参照テーブルから、前記キーワード抽出部によって抽出された前記キーワードに対応付けられた検索条件を取得する取得部と、
    複数の動画ファイルの中から、前記取得部によって取得された検索条件を満たす動画ファイルを検索する検索部と、
    前記検索部によって検索された動画ファイルの動画を再生して前記表示部に表示させる第二表示手段と、
    を機能させるプログラム。

Images