JP2004220420A - Image retrieval method and device and program - Google Patents

Image retrieval method and device and program Download PDF

Info

Publication number
JP2004220420A
JP2004220420A JP2003008381A JP2003008381A JP2004220420A JP 2004220420 A JP2004220420 A JP 2004220420A JP 2003008381 A JP2003008381 A JP 2003008381A JP 2003008381 A JP2003008381 A JP 2003008381A JP 2004220420 A JP2004220420 A JP 2004220420A
Authority
JP
Japan
Prior art keywords
image data
search
information
shooting
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2003008381A
Other languages
Japanese (ja)
Inventor
Kazuo Shioda
和生 塩田
Kiyotaka Kaneko
清隆 金子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP2003008381A priority Critical patent/JP2004220420A/en
Publication of JP2004220420A publication Critical patent/JP2004220420A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To easily retrieve desired image data from a large amount of image data. <P>SOLUTION: A plurality of image data S0 applied with photographing places and photographing dates as photographic information are stored in an image exchange server 3. Image data S2 acquired from terminal equipment 1 by a digital camera 5 are transmitted to an image exchanging server 3. The image data S2 are applied with the photographing place and photographing date as photographic information. A retrieval information acquiring part 33 acquires the photographic information applied to the image data S2 as retrieval information K0, and a retrieving part 34 retrieves the image data S1 where the photographing place and photographing date shown by the retrieval information K0 are applied with spatially and temporally adjacent photographic information. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の画像データから所望とする画像データを検索する画像検索方法および装置並びに画像検索方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
カメラを用いて撮影を行う場合、カメラの所有者は撮影した画像に被写体として写ることはできないため、カメラの所有者を被写体とするために、カメラの所持者は他人に撮影を依頼するか、グループ内の友人のカメラで撮影を行ってもらい、後日友人からプリントを貰うという方法を採っている。しかしながら、このような方法では、カメラの所持者は友人に渡すためのプリントを焼き増ししたり、さらには焼き増ししたプリントを郵送等により友人に渡す手間がかかる。
【０００３】
一方、デジタルカメラにより撮影を行って画像データを取得し、取得した画像データを画像サーバにアップロードして友人に画像データを保管したＵＲＬやパスワードを知らせることにより、焼き増しや郵送等の手間をかけることなく画像の交換を行うことができる。しかしながら、アップロードされた大量の画像データから自身が写された画像を表す画像データを探し出すのは非常に面倒である。
【０００４】
このため、テーマパーク内に設置されたカメラにより取得された画像データを画像サーバに保管し、さらに画像に含まれる被写体を特定する顔画像等の人物情報に基づいて画像データの被写体認識を行い、その被写体が含まれる可能性が高い画像データを検索するシステムが提案されている（例えば特許文献１参照）。
【０００５】
また、被写体の位置を特定し、その位置に対応して設置されたカメラにより取得された画像データをその被写体が含まれる可能性が高い画像データとして検索するシステムも提案されている（例えば特許文献２参照）。
【０００６】
また、場所、温度、湿度および速度等の環境情報を検索のためのキーワードとして設定し、環境情報の入力を受け付けることにより、その環境情報がキーワードとして付与されたメモ、写真画像等の情報を検索するシステムが提案されている（特許文献３参照）。このシステムによれば、環境情報を予め設定して写真等の登録情報に関連付けておくことにより、特定の環境に対応する写真画像を検索することができる。
【０００７】
【特許文献１】
特開２００２−２４２２９号公報
【０００８】
【特許文献２】
特開２００２−２４２２８号公報
【０００９】
【特許文献３】
特開２００１−９２８５３号公報
【００１０】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載されたシステムは被写体認識を行っているため、その被写体を含む画像を検索するのに長時間を要する。また、特許文献２に記載されたシステムは、被写体の位置に対応した画像データを検索できるものの、被写体は移動するため撮影された位置に被写体がいるのはほんの一時である。一方、ある位置に対応するカメラにより取得される画像データは複数あることから、そこから被写体が写った１つの画像データを探し出すには被写体認識を行う必要があるため、特許文献１に記載されたシステムと同様に、画像データを検索する手間がかかる。
【００１１】
また、被写体となった人物がほしいのはその人物が写った画像のみでなく、その人物が出かけた場所の風景や建造物であることも多いが、上記特許文献１，２に記載されたシステムでは、その人物を被写体とする画像データのみしか検索することができない。
【００１２】
一方、上記特許文献３に記載されたシステムにおいては、予め環境情報を設定しておく必要があるため、その作業が非常に面倒である。
【００１３】
本発明は上記事情に鑑みなされたものであり、大量の画像データから所望とする画像データを簡易に検索することを目的とする。
【００１４】
【課題を解決するための手段】
本発明による画像検索方法は、画像サーバに保管された、撮影場所および撮影日時を表す撮影情報が付与された複数の画像データから１以上の画像データを検索する画像検索方法であって、
検索を所望とする画像データの撮影場所および撮影日時を特定する検索情報を取得し、
該検索情報に空間的および時間的に近接する撮影情報が付与された画像データを検索することを特徴とするものである。
【００１５】
「撮影場所」としては、経度、緯度、住所、地域名等を用いることができる。例えば、ＧＰＳ衛星からの位置データを受信する機能を有する撮像装置により取得された画像データには、ＧＰＳ衛星から受信した位置データが撮影場所の情報として付与されている。また、撮像装置が携帯電話通信網と通信を行う機能を有する場合には、携帯電話通信網の基地局の位置に基づいて通信中の撮像装置の位置を推定することができ、このように推定された位置を表す情報を撮影場所の情報を取得した画像データに付与することができる。したがって、このように画像データに付与された情報を撮影場所の情報として用いることができる。
【００１６】
「検索情報に時間的および空間的に近接する撮影情報」とは、撮影情報により表される撮影場所が、検索情報により特定される撮影場所を中心とした所定範囲にあり、かつ撮影情報により表される撮影日時が、検索情報により特定される撮影日時の前後所定時間内にある撮影情報のことをいう。
【００１７】
なお、本発明による画像検索方法においては、撮影情報が付与された検索用の画像データを取得し、
該検索用の画像データに付与された該撮影情報を前記検索情報として取得するようにしてもよい。
【００１８】
また、本発明による画像検索方法においては、所望とする移動経路および該移動経路上の各位置での時刻を表す経路情報を前記検索情報として取得するようにしてもよい。
【００１９】
「経路情報」は、画像の被写体となる人物が、旅行やテーマパーク等に出かけた際に移動した経路を特定する情報であり、例えば被写体となる人物が移動経路を表す移動経路データを取得可能なＧＰＳ装置を所持して移動し、これによりＧＰＳ装置が取得した移動経路データを経路情報として用いることができる。
【００２０】
本発明による画像検索装置は、画像サーバに保管された、撮影場所および撮影日時を表す撮影情報が付与された複数の画像データから１以上の画像データを検索する画像検索装置であって、
検索を所望とする画像データの撮影場所および撮影日時を特定する検索情報を取得する検索情報取得手段と、
該検索情報に空間的および時間的に近接する撮影情報が付与された画像データを検索する検索手段とを備えたことを特徴とするものである。
【００２１】
なお、本発明による画像検索装置においては、前記検索情報取得手段を、撮影情報が付与された検索用の画像データを取得し、該検索用の画像データに付与された該撮影情報を前記検索情報として取得する手段としてもよい。
【００２２】
また、本発明による画像検索装置においては、前記検索情報取得手段を、所望とする移動経路および該移動経路上の各位置での時刻を表す経路情報を前記検索情報として取得する手段としてもよい。
【００２３】
なお、本発明による画像検索方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００２４】
【発明の効果】
本発明によれば、検索を所望する画像データの撮影場所および撮影日時を特定する検索情報が取得され、検索情報に空間的および時間的に近接する撮影情報が付与された画像データが検索される。このため、検索されるのは所望とする人物を含む画像を表す画像データのみならず、検索情報により表される撮影場所および撮影日時に空間的および時間的に近接していれば、その撮影場所における風景や背景等も含む画像を表す画像データも含まれる。また、撮影場所のみならず、時間的にも特定された画像データが検索される。したがって、大量の画像データから所望とする画像データを簡易に検索することができる。また、上記特許文献１に記載されたように被写体認識を行っていないため、高速に画像データを検索することができる。
【００２５】
また、撮影情報が付与された検索用の画像データを取得し、この検索用の画像データに付与された撮影情報を検索情報として用いることにより、例えば検索の操作を行うユーザがデジタルカメラにより取得した、撮影情報が付与された画像データを検索用の画像データとして用いれば、ユーザは検索のための検索情報を特定しなくても、検索用の画像データに付与された撮影場所および撮影日時に近接する撮影情報が付与された画像データを検索することができる。したがって、ユーザは検索の操作を容易に行うことができる。
【００２６】
また、所望とする移動経路および移動経路上での各位置での時刻を表す経路情報を検索情報とすることにより、移動経路に空間的および時間的に近接する撮影情報が付与された画像データが検索される。このため、テーマパーク等の施設への入場者が施設内において移動した経路に対応する画像データや、検索の操作を行うユーザが旅行に出かけた場合において移動した経路に対応する画像データを簡易に検索することができる。
【００２７】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像検索装置を備えた画像検索システムの構成を示す概略ブロック図である。図１に示すように、本実施形態による画像検索システムは、パソコン等の端末装置１と、端末装置１とインターネット等のネットワーク２を介して接続された画像交換サーバ３とからなり、端末装置１において画像交換サーバ３に保管された大量の画像データＳ０から、端末装置１のユーザが所望とする画像データＳ１を検索するものである。
【００２８】
端末装置１は、キーボードおよびマウス等からなる入力手段と、モニタと、ＣＰＵ、ハードディスクおよびメモリ等を備えた本体とを備える。本体は、デジタルカメラ５を接続してデジタルカメラ５のメモリカードに保管された画像データを読み出すインターフェースおよびネットワーク２に接続する通信インターフェースを備える。
【００２９】
ここで、本実施形態においては、端末装置１のユーザが所持するデジタルカメラ５がＧＰＳ衛星６からの位置データを受信する機能を有している。位置データは、デジタルカメラ５の撮影場所の緯度、経度および撮影方向の情報を表す。そして、デジタルカメラ５により取得された画像データには、撮影場所および撮影日時が撮影情報として付与される。具体的には、位置データにより表される撮影場所の緯度、経度および撮影方向並びにデジタルカメラ５における撮影日時が画像データのタグ情報に記述されることにより、撮影情報が画像データに付与される。なお、撮影情報を画像データとは別ファイルとして画像データと関連付けることにより、撮影情報を画像データに付与してもよい。
【００３０】
そして、端末装置１のユーザはデジタルカメラ５により取得した画像データ（Ｓ２とする）をネットワーク２経由で画像交換サーバ３にアップロードする。
【００３１】
画像交換サーバ３は、ネットワーク２に接続する通信インターフェース３１と、大量の画像データＳ０を保管するハードディスク３２と、検索情報Ｋ０を取得する検索情報取得部３３と、ハードディスク３２に保管された画像データＳ０から検索情報Ｋ０に基づいて端末装置１のユーザが所望とする画像データＳ１を検索する検索部３４と、画像交換サーバ３を制御する制御部３５とがバス３６により接続されてなる。
【００３２】
ここで、画像交換サーバ３には、ネットワーク２を介して端末装置１を含む複数の端末装置（通信機能を有するデジタルカメラ、カメラ付き携帯電話等も含む）からアップロードされた大量の画像データＳ０が保管される。
【００３３】
なお、画像交換サーバ３はネットワーク２を介して画像データのプリント出力を行うプリントサーバ４と接続されており、端末装置１から検索した画像データＳ１から選択された画像データ（Ｓ３とする）のプリント注文があった場合には、画像データＳ３をプリントサーバ４に送信して画像データＳ３のプリント出力をプリントサーバ４に行わせる。
【００３４】
ハードディスク３２には、画像データＳ０とともに画像データＳ０のサムネイル画像データＳＭも保管されている。また、画像データＳ０には、撮影場所の緯度、経度および撮影方向並びに撮影日時が撮影情報としてタグに記述されている。
【００３５】
検索情報取得部３３は、端末装置１から送信された情報に基づいて画像データＳ１を検索するための検索情報Ｋ０を取得する。本実施形態においては、端末装置１から送信された画像データＳ２に付与された撮影情報に含まれる撮影場所および撮影日時を検索情報Ｋ０として取得する。
【００３６】
ここで、本実施形態においては、撮影情報に含まれる緯度および経度のみを検索に用いるものとする。
【００３７】
なお、端末装置１のユーザが所望とする場所を特定する緯度および経度並びに日時を端末装置１から画像交換サーバ３に送信するようにしてもよく、この場合、検索情報取得部３３は、端末装置１から送信された緯度および経度並びに日時を検索情報Ｋ０として取得する。
【００３８】
検索部３４は、検索情報Ｋ０により表される撮影場所および撮影日時に空間的および時間的に近接する撮影情報が付与された画像データＳ１をハードディスク３２に保管された画像データＳ０から検索する。ここで、画像データＳ２が複数送信された場合には検索情報Ｋ０が複数取得される。このため、複数の検索情報Ｋ０の全てについて対応する撮影情報が付与された画像データＳ１を検索する。
【００３９】
例えば、検索情報Ｋ０により表される撮影場所が東経１３５度、北緯３６度であり、撮影日時が２００２年１２月２日午後１時である場合には、東経１３５度、北緯３６度を中心とした半径３０ｍ以内の緯度および経度が撮影場所であり、２００２年１２月２日午後１時の前後１０分の時間が撮影日時である撮影情報が付与された画像データＳ０を画像データＳ１として検索する。ここで、端末装置１からユーザが送信した画像データＳ２も既に画像交換サーバ３に保管されている画像データＳ０と同様に検索の対象となる。
【００４０】
なお、旅行やテーマパーク等に出かけた場合、午後１２時や夕方６時頃のように食事の時間帯は１箇所に滞在している時間が長い場合が多いため、その時間帯を撮影日時とする画像データＳ２から得られた撮影情報を検索情報Ｋ０として用いて検索を行ったのでは、その時間帯の画像のみしか検索されず、検索することにより得られる画像に面白みを欠く。このため、画像データＳ２に付与された撮影情報に含まれる撮影日時が、食事のように１箇所に滞在している時間が長い時間帯を表すものである場合には、検索する空間的範囲および時間的範囲を広げるようにしてもよい。
【００４１】
この場合、検索部３４が、撮影情報に含まれる撮影日時を判断して、検索する空間的範囲および時間的範囲を広げてもよいが、端末装置１のユーザが画像交換サーバ３に検索する空間的範囲および時間的範囲を広げる指示を行い、この指示を受けて検索部３４が検索する空間的範囲および時間的範囲を広げるようにしてもよい。
【００４２】
制御部３５は、検索部３４が検索した画像データＳ１のサムネイル画像データＳＭの端末装置１への送信、端末装置１からの指示の受信および指示に応じた処理を行う。例えば、端末装置１から受信した指示が検索した画像データＳ１のダウンロードであれば、検索した画像データＳ１を端末装置１へ送信する。また、端末装置１から受信した指示が検索した画像データＳ１のプリント注文である場合には、画像データＳ１をプリントサーバ４に送信し、画像データＳ１のプリント出力をプリントサーバ４に行わせる。
【００４３】
また、制御部３５は、端末装置１から送信された画像データＳ２をハードディスク３２に保管するとともに、画像データＳ２のサムネイル画像データを直ちに生成し、これをハードディスク３２に保管する。これにより、端末装置１のユーザは、送信した画像データＳ２のサムネイル画像を端末装置１に直ちに表示することができる。
【００４４】
なお、画像交換サーバ３にアップロードされた画像データＳ０には、プロのカメラマンが撮影することにより取得した、使用料金が必要な画像データも含まれる。このため、検索した画像データＳ１に使用料金が必要な画像データが含まれ、その画像データについてダウンロードやプリント注文があった場合には、端末装置１のユーザに課金を行う必要がある。したがって、制御部３５は、使用料金が必要な画像データが端末装置１のユーザに使用された場合には、端末装置１のユーザに対して課金を行う。ここで、課金は、画像交換サーバ３の使用料金とともにユーザに請求される。
【００４５】
次いで、第１の実施形態において行われる処理について説明する。図２は第１の実施形態において行われる処理を示すフローチャートである。なお、端末装置１にはデジタルカメラ５において取得された画像データＳ２が送信されて保管されているものとする。まず、端末装置１のユーザの指示により、端末装置１が画像データＳ２をネットワーク２経由で画像交換サーバ３に送信する（ステップＳ１）。
【００４６】
画像交換サーバ３の通信インターフェース３１は画像データＳ２を受信し（ステップＳ２）、ハードディスク３２は画像データＳ２を保管する（ステップＳ３）。続いて、検索情報取得部３３が画像データＳ２に付与された撮影情報を検索情報Ｋ０として取得する（ステップＳ４）。そして、検索部３４が検索情報取得部３３が取得した検索情報Ｋ０に基づいて、検索情報Ｋ０により表される撮影場所および撮影日時に空間的および時間的に近接する撮影情報が付与された画像データＳ１をハードディスク３２に保管された画像データＳ０から検索する（ステップＳ５）。
【００４７】
続いて、制御部３５が、検索された画像データＳ１のサムネイル画像データＳＭを通信インターフェース３１を介して端末装置１に送信する（ステップＳ６。
【００４８】
端末装置１はサムネイル画像データＳＭの一覧表示画面を表示し（ステップＳ７）、処理を終了する。図３は端末装置１におけるサムネイル画像データＳＭの一覧表示画面を示す図である。図３に示すように、一覧表示画面４０には、送信されたサムネイル画像データＳＭにより表される複数のサムネイル画像４１と、日時の検索範囲を変更する日時変更部４２、場所の検索範囲を変更する場所変更部４３と、変更された検索範囲を表す情報を画像交換サーバ３に送信する送信ボタン４４とが表示されている。サムネイル画像４１が１画面に入りきらない場合には、スクロールバー４５により画面をスクロールすることにより全てのサムネイル画像４１を表示することができる。
【００４９】
端末装置１のユーザは表示されたサムネイル画像４１からプリント注文したり、ダウンロードする画像を選択し、その旨を端末装置１から画像交換サーバ３に送信する。画像交換サーバ３は端末装置１からの指示に応じて選択された画像データＳ３をプリントサーバ４に送信したり、画像データＳ３を端末装置１に送信する。
【００５０】
また、端末装置１のユーザは、日時変更部４２のボタン４２Ａを左右に移動することにより、日時の検索範囲を変更することができる。また、場所変更部４３のボタン４３Ａを左右に移動することにより、場所の検索範囲を変更することができる。この場合、送信ボタン４４をクリックすることにより検索範囲の情報が画像交換サーバ３に送信される。画像交換サーバ３は、変更された検索範囲により再度検索を行い、検索された画像データＳ１のサムネイル画像データＳＭを端末装置１に送信する。
【００５１】
このように、本実施形態においては、端末装置１のユーザが検索を所望する画像データの撮影場所および撮影日時を特定する検索情報Ｋ０を取得し、検索情報Ｋ０に空間的および時間的に近接する撮影情報が付与された画像データＳ１を検索するようにしたものである。このため、端末装置１のユーザを含む画像のみならず、友人、全く関係のない他人、プロのカメラマン等が画像交換サーバ３にアップロードした、検索情報Ｋ０により表される撮影場所および撮影日時に空間的および時間的に近接する撮影情報が付与された画像データＳ１を検索することができる。また、撮影場所のみならず、時間的にも特定された画像データＳ１が検索される。したがって、大量の画像データＳ０から所望とする画像データＳ１を簡易に検索することができる。また、上記特許文献１に記載されたように被写体認識を行っていないため、高速に画像データＳ１を検索することができる。また、端末装置１のユーザが撮影を忘れたり撮影に失敗した画像データが他人により画像交換サーバ３にアップロードされていれば、端末装置１のユーザは本来取得できなかった画像データを取得することができる。
【００５２】
また、ユーザが端末装置１からアップロードした画像データＳ２に付与された撮影情報を検索情報Ｋ０として用いているため、端末装置１のユーザは、検索のための日時および場所を特定することなく、画像データＳ２に付与された撮影場所および撮影日時に空間的および時間的に近接する撮影情報が付与された画像データＳ１を検索することができる。したがって、ユーザは検索の操作を容易に行うことができる。
【００５３】
なお、上記第１の実施形態においては、撮影情報に含まれる撮影場所として緯度および経度を用いているが、緯度および経度に加えて撮影方向をも用いて画像データＳ１の検索を行ってもよい。具体的には、上記第１の実施形態と同様に、検索情報Ｋ０に空間的および時間的に近接する撮影情報が付与された画像データＳ１を検索し、さらに検索された画像データＳ１に付与された撮影情報に含まれる撮影方向を参照して、撮影方向を基準とする所定範囲（撮影画角）内に検索情報Ｋ０に含まれる撮影場所が存在する画像データＳ１を絞り込み検索する。この場合、絞り込み検索された画像データＳ１は端末装置１のユーザが写っている可能性が高い画像を表すものとなる。
【００５４】
一方、上記第１の実施形態と同様に、検索情報Ｋ０に空間的および時間的に近接する撮影情報が付与された画像データＳ１を検索した後、さらに検索された画像データＳ１に付与された撮影情報に含まれる撮影方向を参照して、検索情報Ｋ０に含まれる撮影方向と撮影方向が近接する（例えば方向の差が１０度以内）画像データＳ１を絞り込み検索してもよい。この場合、絞り込み検索された画像データＳ１は端末装置１のユーザが撮影した方向と同一の方向を撮影した可能性が高い画像を表すものとなる。
【００５５】
次いで、本発明の第２の実施形態について説明する。図４は本発明の第２の実施形態による画像検索装置を備えた画像検索システムの構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。第２の実施形態においては、端末装置１のユーザが、ＧＰＳ衛星６からの位置データを受信し、それをユーザの移動経路を表す移動経路データＭ０として記録するＧＰＳ装置７を携帯して旅行やテーマパークに出かけ、後日端末装置１から移動経路データＭ０を画像交換サーバ３に送信し、検索情報取得部３３が移動経路データＭ０を検索情報Ｋ０として取得するようにした点が第１の実施形態と異なる。
【００５６】
ここで、ＧＰＳ装置７は、所定時間間隔（例えば５分）でＧＰＳ衛星６から位置データを受信する。また、ＧＰＳ装置７は、位置データを受信した日時を計時するための時計を有している。そして、ユーザがＧＰＳ装置７を携帯して移動することにより、ＧＰＳ装置７は所定時間間隔で受信した位置データにより表される位置をユーザの移動経路上の位置として地図上にプロットする。例えば、図５に示すように、所定時間間隔で取得されたユーザの移動位置（×印）を地図２０上にプロットする。さらに、ＧＰＳ装置７はプロットした位置を直線で結び、直線上の各点を近接するプロット位置の緯度および経度で補間することによりユーザの移動経路を表す移動経路データＭ０を生成する。また、ＧＰＳ装置７は、直線上の各点における日時を近接するプロット位置の日時により補間することにより、各点における日時の情報を得、これを移動経路データＭ０に含める。
【００５７】
なお、ユーザの移動位置を地図上にプロットした場合において、移動位置が地図の道路上にある場合には、道路に沿った移動経路を移動経路データＭ０として生成してもよい。例えば、図６の地図２１に示すように、移動位置を道路に沿って結び、道路上の各位置の緯度および経度を用いてユーザの移動経路を表す移動経路データＭ０を生成すればよい。
【００５８】
ここで、第２の実施形態においては、端末装置１のユーザがテーマパークに入場し、テーマパーク内の各所に設置された定点カメラや、各所にいるプロのカメラマンにより撮影がなされ、撮影により取得された、撮影情報が付与された画像データＳ０が画像交換サーバ３にアップロードされているものとする。
【００５９】
図７は、テーマパーク内におけるユーザの移動経路を模式的に示す図である。図７に示すように、端末装置１のユーザ１０がテーマパークに入場してテーマパーク内を移動すると、テーマパーク内のエリアＰ１〜Ｐ５において定点カメラ１１，１２，１３およびカメラマン１４，１５により撮影される。ユーザ１０はＧＰＳ装置７を携帯しており、ＧＰＳ装置７がユーザ１０の移動経路を表す移動経路データＭ０を生成する。
【００６０】
次いで、第２の実施形態において行われる処理について説明する。図８は、第２の実施形態において行われる処理を示すフローチャートである。なお、端末装置１にはＧＰＳ装置７が取得した移動経路データＭ０が送信されて保管されているものとする。まず、端末装置１のユーザの指示により、端末装置１が移動経路データＭ０をネットワーク２経由で画像交換サーバ３に送信する（ステップＳ１１）。
【００６１】
画像交換サーバ３の通信インターフェース３１は移動経路データＭ０を受信し（ステップＳ１２）、ハードディスク３２が移動経路データＭ０を保管する（ステップＳ１３）。続いて、検索情報取得部３３が移動経路データＭ０を検索情報Ｋ０として取得する（ステップＳ１４）。そして、検索部３４が検索情報取得部３３が取得した検索情報Ｋ０に基づいて、検索情報Ｋ０により表される撮影場所および撮影日時に空間的および時間的に近接する撮影情報が付与された画像データＳ１をハードディスク３２に保管された画像データＳ０から検索する（ステップＳ１５）。検索された画像データＳ１は、ユーザがテーマパークにおいて移動した経路において、定点カメラ１１，１２，１３およびカメラマン１４，１５がユーザを撮影することにより取得されたものとなる。
【００６２】
続いて、制御部３５が検索された画像データＳ１のサムネイル画像データＳＭを通信インターフェース３１を介して端末装置１に送信する（ステップＳ１６）。
【００６３】
端末装置１はサムネイル画像データＳＭの一覧表示画面を表示し（ステップＳ１７）、処理を終了する。端末装置１のユーザは表示されたサムネイル画像データＳＭの一覧表示画面において、プリント注文したり、ダウンロードする画像を選択し、その旨を端末装置１から画像交換サーバ３に送信する。画像交換サーバ３は端末装置１からの指示に応じて選択された画像データＳ３をプリントサーバ４に送信したり、画像データＳ３を端末装置１に送信する。
【００６４】
このように、第２の実施形態においては、ユーザが旅行やテーマパークに出かけた場合の移動経路を検索情報Ｋ０として用いているため、移動経路に空間的および時間的に近接する撮影情報が付与された画像データＳ１が検索される。このため、テーマパーク等の施設への入場者が施設内において移動した経路に対応する画像データＳ１や、ユーザが旅行に出かけた場合において移動した経路に対応する画像データＳ１を検索することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による画像検索装置を備えた画像検索システムの構成を示す概略ブロック図
【図２】第１の実施形態において行われる処理を示すフローチャート
【図３】サムネイル画像データの一覧表示画面を示す図
【図４】本発明の第２の実施形態による画像検索装置を備えた画像検索システムの構成を示す概略ブロック図
【図５】移動経路データの生成を説明するための図（その１）
【図６】移動経路データの生成を説明するための図（その２）
【図７】テーマパーク内におけるユーザの移動経路を模式的に示す図
【図８】第２の実施形態において行われる処理を示すフローチャート
【符号の説明】
１ 端末装置
２ ネットワーク
３ 画像交換サーバ
４ プリントサーバ
５ デジタルカメラ
６ ＧＰＳ衛星
７ ＧＰＳ装置
３１ 通信インターフェース
３２ ハードディスク
３３ 検索情報取得部
３４ 検索部
３５ 制御部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image search method and apparatus for searching desired image data from a plurality of image data, and a program for causing a computer to execute the image search method.
[0002]
[Prior art]
When shooting with a camera, the owner of the camera cannot appear in the captured image as a subject, so the owner of the camera requests another person to shoot to make the camera owner a subject, A friend of the group takes a picture with a camera and receives a print from a friend at a later date. However, in such a method, the owner of the camera needs to reprint the print to be handed over to the friend, or to send the reprinted print to the friend by mail or the like.
[0003]
On the other hand, taking a picture with a digital camera, acquiring image data, uploading the acquired image data to an image server, and notifying a friend of the URL and password for storing the image data, it takes time to reprint and mail It is possible to exchange images without any change. However, it is very troublesome to search for image data representing an image in which the image is copied from a large amount of uploaded image data.
[0004]
For this reason, image data acquired by a camera installed in the theme park is stored in an image server, and subject recognition of the image data is performed based on personal information such as a face image that identifies a subject included in the image. A system for searching for image data that is likely to include the subject has been proposed (see, for example, Patent Document 1).
[0005]
Further, a system has been proposed in which the position of a subject is specified and image data acquired by a camera installed corresponding to the position is searched as image data that is highly likely to include the subject (for example, Patent Documents). 2).
[0006]
Also, environmental information such as location, temperature, humidity, and speed is set as a keyword for searching, and by receiving the input of environmental information, information such as memos and photographic images with the environmental information assigned as keywords is searched. A system has been proposed (see Patent Document 3). According to this system, by setting environment information in advance and associating it with registration information such as a photograph, a photograph image corresponding to a specific environment can be searched.
[0007]
[Patent Document 1]
Japanese Patent Laid-Open No. 2002-24229
[Patent Document 2]
Japanese Patent Laid-Open No. 2002-24228
[Patent Document 3]
Japanese Patent Laid-Open No. 2001-92853
[Problems to be solved by the invention]
However, since the system described in Patent Document 1 performs subject recognition, it takes a long time to search for an image including the subject. Further, although the system described in Patent Document 2 can search for image data corresponding to the position of the subject, the subject moves only temporarily because the subject moves. On the other hand, since there are a plurality of image data acquired by a camera corresponding to a certain position, it is necessary to perform subject recognition in order to find one image data in which a subject is captured, and therefore, described in Patent Document 1 Similar to the system, it takes time to search for image data.
[0011]
The person who is the subject is not only the image of the person but also the landscape or building where the person has gone out. Then, only image data having the person as a subject can be searched.
[0012]
On the other hand, in the system described in Patent Document 3, it is necessary to set environment information in advance, which is very troublesome.
[0013]
The present invention has been made in view of the above circumstances, and an object thereof is to easily retrieve desired image data from a large amount of image data.
[0014]
[Means for Solving the Problems]
An image retrieval method according to the present invention is an image retrieval method for retrieving one or more pieces of image data from a plurality of pieces of image data provided with photographing information indicating photographing locations and photographing dates and times stored in an image server,
Retrieve search information specifying the shooting location and shooting date and time of the image data you want to search,
Image data to which shooting information that is spatially and temporally close to the search information is added is searched for.
[0015]
As the “photographing location”, longitude, latitude, address, area name, etc. can be used. For example, the position data received from the GPS satellite is added to the image data acquired by the imaging device having a function of receiving the position data from the GPS satellite as information on the shooting location. Further, when the imaging device has a function of communicating with the mobile phone communication network, the position of the imaging device in communication can be estimated based on the position of the base station of the mobile phone communication network. The information indicating the position can be added to the image data from which the information on the shooting location is acquired. Therefore, information added to image data in this way can be used as shooting location information.
[0016]
“Shooting information that is close in time and space to the search information” means that the shooting location represented by the shooting information is within a predetermined range centered on the shooting location specified by the search information and is represented by the shooting information. The shooting information that is within a predetermined time before and after the shooting date and time specified by the search information.
[0017]
In the image search method according to the present invention, image data for search to which shooting information is added is acquired,
The photographing information given to the image data for search may be acquired as the search information.
[0018]
In the image search method according to the present invention, route information indicating a desired travel route and time at each position on the travel route may be acquired as the search information.
[0019]
“Route information” is information that identifies the route that the person who is the subject of the image has moved when he / she goes to a trip or theme park. For example, travel route data indicating the route of movement of the person who becomes the subject can be acquired. It is possible to use the movement route data acquired by the GPS device as route information.
[0020]
An image search device according to the present invention is an image search device that searches one or more image data from a plurality of image data provided with shooting information indicating a shooting location and a shooting date and time stored in an image server.
Search information acquisition means for acquiring search information for specifying a shooting location and shooting date and time of image data desired to be searched;
Searching means for searching for image data to which shooting information that is spatially and temporally close to the search information is added is provided.
[0021]
In the image search device according to the present invention, the search information acquisition means acquires search image data to which shooting information is added, and uses the search information to be added to the search image data. It is good also as a means to acquire as.
[0022]
In the image search apparatus according to the present invention, the search information acquisition means may be means for acquiring, as the search information, route information representing a desired travel route and a time at each position on the travel route.
[0023]
The image search method according to the present invention may be provided as a program for causing a computer to execute the image search method.
[0024]
【The invention's effect】
According to the present invention, search information for specifying a shooting location and shooting date and time of image data desired to be searched is acquired, and image data to which shooting information that is spatially and temporally close to the search information is added is searched. . Therefore, not only image data representing an image including a desired person is searched, but if the shooting location and shooting date and time represented by the search information are close in space and time, that shooting location Also included is image data representing an image including a landscape, background, and the like. Further, not only the shooting location but also the image data specified in terms of time is searched. Therefore, desired image data can be easily retrieved from a large amount of image data. In addition, since the subject recognition is not performed as described in Patent Document 1, the image data can be searched at high speed.
[0025]
In addition, by acquiring image data for search to which shooting information is added, and using the shooting information added to the image data for search as search information, for example, a user who performs a search operation acquired by a digital camera If the image data with the shooting information is used as the search image data, the user can approach the shooting location and the shooting date / time given to the search image data without specifying the search information for the search. It is possible to search for image data to which shooting information is given. Therefore, the user can easily perform a search operation.
[0026]
Further, by using the desired moving route and route information representing the time at each position on the moving route as search information, image data to which shooting information that is spatially and temporally close to the moving route is added is obtained. Searched. For this reason, image data corresponding to a route that a visitor to a facility such as a theme park has moved within the facility, or image data corresponding to a route that has been moved when a user performing a search operation goes on a trip, can be simplified. You can search.
[0027]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a schematic block diagram showing a configuration of an image search system provided with an image search device according to a first embodiment of the present invention. As shown in FIG. 1, the image search system according to the present embodiment includes a terminal device 1 such as a personal computer and an image exchange server 3 connected to the terminal device 1 via a network 2 such as the Internet. The image data S1 desired by the user of the terminal device 1 is searched from a large amount of image data S0 stored in the image exchange server 3 in FIG.
[0028]
The terminal device 1 includes input means including a keyboard and a mouse, a monitor, and a main body including a CPU, a hard disk, a memory, and the like. The main body includes an interface for connecting the digital camera 5 and reading image data stored in the memory card of the digital camera 5 and a communication interface for connecting to the network 2.
[0029]
Here, in this embodiment, the digital camera 5 possessed by the user of the terminal device 1 has a function of receiving position data from the GPS satellite 6. The position data represents latitude, longitude and shooting direction information of the shooting location of the digital camera 5. The image data acquired by the digital camera 5 is given shooting location and shooting date and time as shooting information. Specifically, the latitude and longitude of the shooting location represented by the position data, the shooting direction, and the shooting date and time of the digital camera 5 are described in the tag information of the image data, whereby shooting information is given to the image data. Note that the shooting information may be added to the image data by associating the shooting information with the image data as a separate file from the image data.
[0030]
Then, the user of the terminal device 1 uploads the image data (referred to as S <b> 2) acquired by the digital camera 5 to the image exchange server 3 via the network 2.
[0031]
The image exchange server 3 includes a communication interface 31 connected to the network 2, a hard disk 32 that stores a large amount of image data S0, a search information acquisition unit 33 that acquires search information K0, and image data S0 stored in the hard disk 32. A search unit 34 for searching for image data S1 desired by the user of the terminal device 1 based on the search information K0 and a control unit 35 for controlling the image exchange server 3 are connected by a bus 36.
[0032]
Here, a large amount of image data S0 uploaded from a plurality of terminal devices including the terminal device 1 (including a digital camera having a communication function, a mobile phone with a camera, etc.) via the network 2 is stored in the image exchange server 3. Stored.
[0033]
The image exchange server 3 is connected to a print server 4 that prints out image data via the network 2, and prints image data (referred to as S3) selected from the image data S1 retrieved from the terminal device 1. When there is an order, the image data S3 is transmitted to the print server 4 to cause the print server 4 to print out the image data S3.
[0034]
The hard disk 32 stores thumbnail image data SM of the image data S0 together with the image data S0. In the image data S0, the latitude, longitude, shooting direction, and shooting date and time of the shooting location are described in the tag as shooting information.
[0035]
The search information acquisition unit 33 acquires search information K0 for searching the image data S1 based on the information transmitted from the terminal device 1. In the present embodiment, the shooting location and the shooting date and time included in the shooting information added to the image data S2 transmitted from the terminal device 1 are acquired as the search information K0.
[0036]
Here, in the present embodiment, only the latitude and longitude included in the shooting information are used for the search.
[0037]
Note that the latitude, longitude, and date / time specifying the location desired by the user of the terminal device 1 may be transmitted from the terminal device 1 to the image exchange server 3. In this case, the search information acquisition unit 33 1 is acquired as search information K0.
[0038]
The search unit 34 searches the image data S0 stored in the hard disk 32 for image data S1 to which shooting information that is spatially and temporally close to the shooting location and shooting date and time represented by the search information K0 is added. Here, when a plurality of pieces of image data S2 are transmitted, a plurality of pieces of search information K0 are acquired. Therefore, the image data S1 to which the corresponding shooting information is assigned for all of the plurality of search information K0 is searched.
[0039]
For example, if the shooting location represented by the search information K0 is 135 degrees east longitude and 36 degrees north latitude, and the shooting date is 1 pm on December 2, 2002, the center is 135 degrees east longitude and 36 degrees north latitude. The latitude and longitude within a radius of 30 m is the shooting location, and the image data S0 to which the shooting information having the shooting date and time of 10 minutes before and after 1 pm on December 2, 2002 is added as the image data S1. . Here, the image data S2 transmitted by the user from the terminal device 1 is also a search target in the same manner as the image data S0 already stored in the image exchange server 3.
[0040]
In addition, when you go to a trip or theme park, it is often the case that the time of meal stays in one place, such as around 12:00 pm or 6:00 pm, so that time is taken as the shooting date and time. If the search is performed using the shooting information obtained from the image data S2 as the search information K0, only the image in that time zone is searched, and the image obtained by the search lacks interest. For this reason, when the shooting date and time included in the shooting information given to the image data S2 represents a time zone in which a person stays at one place for a long time like a meal, the spatial range to be searched and The time range may be expanded.
[0041]
In this case, the search unit 34 may determine the shooting date and time included in the shooting information and expand the spatial range and the temporal range to be searched, but the space in which the user of the terminal device 1 searches the image exchange server 3. An instruction to expand the target range and the temporal range may be given, and the spatial range and the temporal range searched by the search unit 34 may be received in response to this instruction.
[0042]
The control unit 35 transmits the thumbnail image data SM of the image data S1 searched by the search unit 34 to the terminal device 1, receives an instruction from the terminal device 1, and performs processing according to the instruction. For example, if the instruction received from the terminal device 1 is the download of the searched image data S1, the searched image data S1 is transmitted to the terminal device 1. If the instruction received from the terminal device 1 is a print order for the retrieved image data S1, the image data S1 is transmitted to the print server 4, and the print server 4 is caused to print out the image data S1.
[0043]
In addition, the control unit 35 stores the image data S2 transmitted from the terminal device 1 in the hard disk 32, immediately generates thumbnail image data of the image data S2, and stores this in the hard disk 32. Thereby, the user of the terminal device 1 can immediately display the thumbnail image of the transmitted image data S2 on the terminal device 1.
[0044]
Note that the image data S0 uploaded to the image exchange server 3 includes image data that is acquired by photographing by a professional photographer and requires a usage fee. For this reason, when the searched image data S1 includes image data that requires a usage fee, and there is a download or print order for the image data, it is necessary to charge the user of the terminal device 1. Therefore, the control unit 35 charges the user of the terminal device 1 when image data that requires a usage fee is used by the user of the terminal device 1. Here, the user is charged with the usage fee of the image exchange server 3.
[0045]
Next, processing performed in the first embodiment will be described. FIG. 2 is a flowchart showing processing performed in the first embodiment. It is assumed that image data S2 acquired by the digital camera 5 is transmitted and stored in the terminal device 1. First, in response to an instruction from the user of the terminal device 1, the terminal device 1 transmits the image data S2 to the image exchange server 3 via the network 2 (step S1).
[0046]
The communication interface 31 of the image exchange server 3 receives the image data S2 (step S2), and the hard disk 32 stores the image data S2 (step S3). Subsequently, the search information acquisition unit 33 acquires the shooting information given to the image data S2 as search information K0 (step S4). Then, based on the search information K0 acquired by the search information acquisition unit 33 by the search unit 34, image data provided with shooting information spatially and temporally close to the shooting location and shooting date and time represented by the search information K0. S1 is searched from the image data S0 stored in the hard disk 32 (step S5).
[0047]
Subsequently, the control unit 35 transmits the thumbnail image data SM of the searched image data S1 to the terminal device 1 via the communication interface 31 (step S6).
[0048]
The terminal device 1 displays a list display screen of thumbnail image data SM (step S7), and ends the process. FIG. 3 is a diagram showing a list display screen of thumbnail image data SM in the terminal device 1. As shown in FIG. 3, the list display screen 40 includes a plurality of thumbnail images 41 represented by the transmitted thumbnail image data SM, a date / time changing unit 42 for changing the date / time search range, and a location search range. A location changing unit 43 that performs the search, and a transmission button 44 that transmits information indicating the changed search range to the image exchange server 3 are displayed. When the thumbnail images 41 do not fit in one screen, all the thumbnail images 41 can be displayed by scrolling the screen with the scroll bar 45.
[0049]
The user of the terminal device 1 places an order for printing from the displayed thumbnail image 41 or selects an image to be downloaded, and transmits information to that effect from the terminal device 1 to the image exchange server 3. The image exchange server 3 transmits the image data S3 selected according to the instruction from the terminal device 1 to the print server 4 or transmits the image data S3 to the terminal device 1.
[0050]
Further, the user of the terminal device 1 can change the date / time search range by moving the button 42 </ b> A of the date / time changing unit 42 to the left and right. Moreover, the search range of a place can be changed by moving the button 43A of the place change part 43 to the left and right. In this case, the search range information is transmitted to the image exchange server 3 by clicking the transmission button 44. The image exchange server 3 performs a search again using the changed search range, and transmits the thumbnail image data SM of the searched image data S1 to the terminal device 1.
[0051]
As described above, in the present embodiment, the search information K0 that specifies the shooting location and shooting date and time of image data that the user of the terminal device 1 desires to acquire is acquired, and is spatially and temporally close to the search information K0. The image data S1 to which shooting information is assigned is searched. For this reason, not only the image including the user of the terminal device 1 but also the shooting location and the shooting date and time represented by the search information K0 uploaded to the image exchange server 3 by a friend, another unrelated person, a professional photographer, etc. It is possible to search for image data S1 to which shooting information that is close to the target and time is given. Further, not only the shooting location but also the image data S1 specified in terms of time is searched. Therefore, desired image data S1 can be easily retrieved from a large amount of image data S0. Further, since the subject recognition is not performed as described in Patent Document 1, the image data S1 can be searched at high speed. In addition, if image data that the user of the terminal device 1 forgot to photograph or failed to upload has been uploaded to the image exchange server 3 by another person, the user of the terminal device 1 may acquire image data that could not be originally acquired. it can.
[0052]
In addition, since the shooting information given to the image data S2 uploaded by the user from the terminal device 1 is used as the search information K0, the user of the terminal device 1 can specify the image without specifying the date and time for the search. It is possible to search for the image data S1 to which shooting information that is spatially and temporally close to the shooting location and shooting date and time given to the data S2 is given. Therefore, the user can easily perform a search operation.
[0053]
In the first embodiment, latitude and longitude are used as shooting locations included in the shooting information. However, the image data S1 may be searched using the shooting direction in addition to the latitude and longitude. . Specifically, as in the first embodiment, the image data S1 to which the shooting information that is spatially and temporally close to the search information K0 is searched, and is further added to the searched image data S1. With reference to the shooting direction included in the shooting information, the image data S1 in which the shooting location included in the search information K0 exists within a predetermined range (shooting angle of view) based on the shooting direction is narrowed down and searched. In this case, the narrowed search image data S1 represents an image with a high possibility that the user of the terminal device 1 is captured.
[0054]
On the other hand, as in the first embodiment, after searching for image data S1 to which shooting information that is spatially and temporally close to the search information K0 is searched, the shooting that has been added to the searched image data S1. With reference to the shooting direction included in the information, the image data S1 may be narrowed down and searched for when the shooting direction and the shooting direction included in the search information K0 are close (for example, the difference in direction is within 10 degrees). In this case, the image data S1 subjected to the narrowing search represents an image having a high possibility of photographing in the same direction as the direction photographed by the user of the terminal device 1.
[0055]
Next, a second embodiment of the present invention will be described. FIG. 4 is a schematic block diagram showing a configuration of an image search system provided with an image search apparatus according to the second embodiment of the present invention. In the second embodiment, the same components as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted. In the second embodiment, the user of the terminal device 1 receives the position data from the GPS satellite 6 and carries the GPS device 7 that records it as movement path data M0 representing the movement path of the user, The first embodiment is that the user goes out to the theme park and transmits the travel route data M0 from the terminal device 1 to the image exchange server 3 at a later date so that the search information acquisition unit 33 acquires the travel route data M0 as the search information K0. And different.
[0056]
Here, the GPS device 7 receives position data from the GPS satellite 6 at a predetermined time interval (for example, 5 minutes). The GPS device 7 has a clock for measuring the date and time when the position data is received. Then, when the user carries the GPS device 7 and moves, the GPS device 7 plots the position represented by the position data received at predetermined time intervals on the map as the position on the moving route of the user. For example, as shown in FIG. 5, the movement position (x mark) of the user acquired at predetermined time intervals is plotted on the map 20. Further, the GPS device 7 connects the plotted positions with a straight line, and interpolates each point on the straight line with the latitude and longitude of the adjacent plot position to generate movement path data M0 representing the movement path of the user. Also, the GPS device 7 interpolates the date and time at each point on the straight line with the date and time of the adjacent plot position, thereby obtaining information on the date and time at each point, and includes this in the movement route data M0.
[0057]
When the movement position of the user is plotted on the map and the movement position is on the road of the map, a movement route along the road may be generated as the movement route data M0. For example, as shown in a map 21 in FIG. 6, movement position data M0 that represents a user's movement path may be generated by connecting movement positions along the road and using the latitude and longitude of each position on the road.
[0058]
Here, in 2nd Embodiment, the user of the terminal device 1 enters a theme park, and it is image | photographed by the fixed point camera installed in each place in the theme park, and the professional photographer in each place, and it acquires by imaging | photography. It is assumed that the image data S0 to which the shooting information is added has been uploaded to the image exchange server 3.
[0059]
FIG. 7 is a diagram schematically showing a movement route of a user in the theme park. As shown in FIG. 7, when the user 10 of the terminal device 1 enters the theme park and moves within the theme park, images are taken by the fixed point cameras 11, 12, and 13 and the photographers 14 and 15 in the areas P1 to P5 in the theme park. Is done. The user 10 carries the GPS device 7, and the GPS device 7 generates movement route data M <b> 0 representing the movement route of the user 10.
[0060]
Next, processing performed in the second embodiment will be described. FIG. 8 is a flowchart showing processing performed in the second embodiment. It is assumed that the travel route data M0 acquired by the GPS device 7 is transmitted and stored in the terminal device 1. First, according to an instruction from the user of the terminal device 1, the terminal device 1 transmits the movement route data M0 to the image exchange server 3 via the network 2 (step S11).
[0061]
The communication interface 31 of the image exchange server 3 receives the movement path data M0 (step S12), and the hard disk 32 stores the movement path data M0 (step S13). Subsequently, the search information acquisition unit 33 acquires the travel route data M0 as search information K0 (step S14). Then, based on the search information K0 acquired by the search information acquisition unit 33 by the search unit 34, image data provided with shooting information spatially and temporally close to the shooting location and shooting date and time represented by the search information K0. S1 is searched from the image data S0 stored in the hard disk 32 (step S15). The retrieved image data S1 is acquired by the fixed point cameras 11, 12, 13 and the photographers 14, 15 taking a picture of the user on the route traveled by the user in the theme park.
[0062]
Subsequently, the control unit 35 transmits the thumbnail image data SM of the searched image data S1 to the terminal device 1 via the communication interface 31 (step S16).
[0063]
The terminal device 1 displays a list display screen of thumbnail image data SM (step S17), and ends the process. The user of the terminal device 1 places an order for printing or selects an image to be downloaded on the list display screen of the displayed thumbnail image data SM, and transmits information to that effect from the terminal device 1 to the image exchange server 3. The image exchange server 3 transmits the image data S3 selected according to the instruction from the terminal device 1 to the print server 4 or transmits the image data S3 to the terminal device 1.
[0064]
As described above, in the second embodiment, since the travel route when the user goes to a trip or theme park is used as the search information K0, photographing information that is spatially and temporally close to the travel route is added. The obtained image data S1 is searched. For this reason, it is possible to search for image data S1 corresponding to a route in which a visitor to a facility such as a theme park has moved in the facility, or image data S1 corresponding to a route that has been moved when the user goes on a trip. .
[Brief description of the drawings]
FIG. 1 is a schematic block diagram showing a configuration of an image search system provided with an image search device according to a first embodiment of the present invention. FIG. 2 is a flowchart showing processing performed in the first embodiment. FIG. 4 is a schematic block diagram showing a configuration of an image search system including an image search device according to a second embodiment of the present invention. FIG. 5 is a diagram illustrating generation of movement path data. Figure for (Part 1)
FIG. 6 is a diagram for explaining generation of travel route data (part 2);
FIG. 7 is a diagram schematically showing a movement route of a user in a theme park. FIG. 8 is a flowchart showing processing performed in the second embodiment.
DESCRIPTION OF SYMBOLS 1 Terminal device 2 Network 3 Image exchange server 4 Print server 5 Digital camera 6 GPS satellite 7 GPS device 31 Communication interface 32 Hard disk 33 Search information acquisition part 34 Search part 35 Control part

Claims (9)

画像サーバに保管された、撮影場所および撮影日時を表す撮影情報が付与された複数の画像データから１以上の画像データを検索する画像検索方法であって、
検索を所望とする画像データの撮影場所および撮影日時を特定する検索情報を取得し、
該検索情報に空間的および時間的に近接する撮影情報が付与された画像データを検索することを特徴とする画像検索方法。An image search method for searching for one or more image data from a plurality of image data to which shooting information indicating a shooting location and shooting date and time stored is stored in an image server,
Retrieve search information specifying the shooting location and shooting date and time of the image data you want to search,
An image search method characterized by searching image data to which shooting information that is spatially and temporally close to the search information is added. 撮影情報が付与された検索用の画像データを取得し、
該検索用の画像データに付与された該撮影情報を前記検索情報として取得することを特徴とする請求項１記載の画像検索方法。Get image data for search with shooting information,
2. The image search method according to claim 1, wherein the photographing information assigned to the image data for search is acquired as the search information. 所望とする移動経路および該移動経路上の各位置での時刻を表す経路情報を前記検索情報として取得することを特徴とする請求項１記載の画像検索方法。The image search method according to claim 1, wherein route information representing a desired travel route and time at each position on the travel route is acquired as the search information. 画像サーバに保管された、撮影場所および撮影日時を表す撮影情報が付与された複数の画像データから１以上の画像データを検索する画像検索装置であって、
検索を所望とする画像データの撮影場所および撮影日時を特定する検索情報を取得する検索情報取得手段と、
該検索情報に空間的および時間的に近接する撮影情報が付与された画像データを検索する検索手段とを備えたことを特徴とする画像検索装置。An image search device that searches one or more image data from a plurality of image data provided with shooting information indicating a shooting location and shooting date and time stored in an image server,
Search information acquisition means for acquiring search information for specifying a shooting location and shooting date and time of image data desired to be searched;
An image search apparatus comprising: search means for searching image data to which photographing information that is spatially and temporally close to the search information is added. 前記検索情報取得手段は、撮影情報が付与された検索用の画像データを取得し、該検索用の画像データに付与された該撮影情報を前記検索情報として取得する手段であることを特徴とする請求項４記載の画像検索装置。The search information acquisition means is means for acquiring search image data to which shooting information is added and acquiring the shooting information added to the search image data as the search information. The image search device according to claim 4. 前記検索情報取得手段は、所望とする移動経路および該移動経路上の各位置での時刻を表す経路情報を前記検索情報として取得する手段であることを特徴とする請求項４記載の画像検索装置。5. The image search apparatus according to claim 4, wherein the search information acquisition means is means for acquiring, as the search information, route information indicating a desired movement route and a time at each position on the movement route. . 画像サーバに保管された、撮影場所および撮影日時を表す撮影情報が付与された複数の画像データから１以上の画像データを検索する画像検索方法をコンピュータに実行させるためのプログラムであって、
検索を所望とする画像データの撮影場所および撮影日時を特定する検索情報を取得する手順と、
該検索情報に空間的および時間的に近接する撮影情報が付与された画像データを検索する手順とを有することを特徴とするプログラム。A program for causing a computer to execute an image search method for searching for one or more image data from a plurality of image data to which shooting information indicating a shooting location and shooting date and time stored is stored in an image server,
A procedure for acquiring search information for specifying a shooting location and shooting date and time of image data desired to be searched;
And a procedure for searching for image data to which shooting information that is spatially and temporally close to the search information is added. 撮影情報が付与された検索用の画像データを取得する手順をさらに有し、
前記検索情報を取得する手順は、該検索用の画像データに付与された該撮影情報を前記検索情報として取得する手順であることを特徴とする請求項７記載のプログラム。The method further includes a step of acquiring image data for search to which shooting information is attached,
8. The program according to claim 7, wherein the procedure for obtaining the search information is a procedure for obtaining the photographing information given to the image data for search as the search information. 前記検索情報を取得する手順は、所望とする移動経路および該移動経路上の各位置での時刻を表す経路情報を前記検索情報として取得する手順であることを特徴とする請求項７記載のプログラム。8. The program according to claim 7, wherein the procedure for obtaining the search information is a procedure for obtaining, as the search information, route information representing a desired travel route and a time at each position on the travel route. .
JP2003008381A 2003-01-16 2003-01-16 Image retrieval method and device and program Withdrawn JP2004220420A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003008381A JP2004220420A (en) 2003-01-16 2003-01-16 Image retrieval method and device and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003008381A JP2004220420A (en) 2003-01-16 2003-01-16 Image retrieval method and device and program

Publications (1)

Publication Number Publication Date
JP2004220420A true JP2004220420A (en) 2004-08-05

Family

ID=32898197

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003008381A Withdrawn JP2004220420A (en) 2003-01-16 2003-01-16 Image retrieval method and device and program

Country Status (1)

Country Link
JP (1) JP2004220420A (en)

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006268843A (en) * 2005-02-28 2006-10-05 Fuji Photo Film Co Ltd Electronic album editing system, electronic album editing method, and electronic album editing program
JP2007235903A (en) * 2006-02-06 2007-09-13 Sony Corp Picked-up image display processing program, picked-up image display processing method, information processing terminal, imaging apparatus, picked-up image transmission method, picture acquisition support program, picture acquisition support method, picture acquisition support server, and picked-up image acquisition support system
JP2007336403A (en) * 2006-06-18 2007-12-27 Masahide Tanaka Digital camera having communication function
JP2008054304A (en) * 2006-07-25 2008-03-06 Canon Inc Imaging apparatus, server, communication system, control method of imaging apparatus, and program
WO2008102642A1 (en) 2007-02-24 2008-08-28 Nec Corporation Portable terminal
WO2008117348A1 (en) * 2007-03-22 2008-10-02 Pioneer Corporation Slideshow creating device and program
JP2009176262A (en) * 2007-12-28 2009-08-06 National Institute Of Information & Communication Technology Method and system for mapping photography, program, and recording medium
JP2009253717A (en) * 2008-04-08 2009-10-29 Nikon Corp Electronic camera
US7673238B2 (en) 2006-01-05 2010-03-02 Apple Inc. Portable media device with video acceleration capabilities
US7706637B2 (en) 2004-10-25 2010-04-27 Apple Inc. Host configured for interoperation with coupled portable media player device
US7729791B2 (en) 2006-09-11 2010-06-01 Apple Inc. Portable media playback device including user interface event passthrough to non-media-playback processing
WO2010070804A1 (en) * 2008-12-19 2010-06-24 パナソニック株式会社 Image search device and image search method
US7831199B2 (en) 2006-01-03 2010-11-09 Apple Inc. Media data exchange, transfer or delivery for portable electronic devices
JP2010267030A (en) * 2009-05-13 2010-11-25 Canon Inc Apparatus and method for processing information
US7844611B2 (en) 2005-03-18 2010-11-30 Sony Corporation Time-shift image distribution system, time-shift image distribution method, time-shift image requesting apparatus, and image server
US7848527B2 (en) 2006-02-27 2010-12-07 Apple Inc. Dynamic power management in a portable media delivery system
US7856564B2 (en) 2005-01-07 2010-12-21 Apple Inc. Techniques for preserving media play mode information on media devices during power cycling
US7881564B2 (en) 2004-10-25 2011-02-01 Apple Inc. Image scaling arrangement
JP2011024242A (en) * 2006-07-25 2011-02-03 Canon Inc Imaging apparatus, method of controlling imaging apparatus, and program
JP2011024196A (en) * 2009-06-18 2011-02-03 Panasonic Corp Image selection apparatus, image selection method, and image selection system
JP2011076427A (en) * 2009-09-30 2011-04-14 Casio Computer Co Ltd Display terminal, server device, image sharing system, and image sharing method
US8044795B2 (en) 2007-02-28 2011-10-25 Apple Inc. Event recorder for portable media device
JP2011239179A (en) * 2010-05-11 2011-11-24 Shimauma Print System Inc Image output device and image output method
US8090130B2 (en) 2006-09-11 2012-01-03 Apple Inc. Highly portable media devices
JP2012022623A (en) * 2010-07-16 2012-02-02 Canon Inc Control method for image processing apparatus, and program
US8151259B2 (en) 2006-01-03 2012-04-03 Apple Inc. Remote content updates for portable media devices
US8255640B2 (en) 2006-01-03 2012-08-28 Apple Inc. Media device with intelligent cache utilization
JP2012190426A (en) * 2011-03-14 2012-10-04 Nippon Telegr & Teleph Corp <Ntt> Service server, image provision device, image management method and image management program
US8300841B2 (en) 2005-06-03 2012-10-30 Apple Inc. Techniques for presenting sound effects on a portable media player
US8341524B2 (en) 2006-09-11 2012-12-25 Apple Inc. Portable electronic device with local search capabilities
US8358273B2 (en) 2006-05-23 2013-01-22 Apple Inc. Portable media device with power-managed display
US8396948B2 (en) 2005-10-19 2013-03-12 Apple Inc. Remotely configured media device
JP2013109384A (en) * 2011-11-17 2013-06-06 Internatl Business Mach Corp <Ibm> Information providing device
US8508620B2 (en) 2007-02-24 2013-08-13 Nec Corporation Portable terminal capable of presenting images based on time
US8654993B2 (en) 2005-12-07 2014-02-18 Apple Inc. Portable audio device providing automated control of audio volume parameters for hearing protection
CN104219411A (en) * 2013-05-31 2014-12-17 京瓷办公信息系统株式会社 Image forming system
JP2015056152A (en) * 2013-09-13 2015-03-23 キヤノン株式会社 Display control device and method for controlling display control device
JP2016006676A (en) * 2010-12-07 2016-01-14 キヤノンマーケティングジャパン株式会社 File management device, file management system, control method and program
JP2017045480A (en) * 2016-11-25 2017-03-02 シャープ株式会社 Object search system and object search device
JP2017097672A (en) * 2015-11-25 2017-06-01 京セラドキュメントソリューションズ株式会社 Information providing device and image forming apparatus
US9747248B2 (en) 2006-06-20 2017-08-29 Apple Inc. Wireless communication system
JP2017157220A (en) * 2017-03-23 2017-09-07 株式会社リコー Imaging device
WO2017208371A1 (en) * 2016-05-31 2017-12-07 富士通株式会社 Image search program, image search method, and image search device
JP2018055730A (en) * 2018-01-11 2018-04-05 オリンパス株式会社 Image search apparatus and image search method
US10860876B2 (en) 2017-12-28 2020-12-08 Fujifilm Corporation Image presentation system, image presentation method, program, and recording medium
WO2023002676A1 (en) * 2021-07-21 2023-01-26 ソニーグループ株式会社 Information processing device, information processing method, and program
WO2023084709A1 (en) * 2021-11-11 2023-05-19 日本電気株式会社 Estimation device, estimation method, and program

Cited By (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9084089B2 (en) 2003-04-25 2015-07-14 Apple Inc. Media data exchange transfer or delivery for portable electronic devices
US7706637B2 (en) 2004-10-25 2010-04-27 Apple Inc. Host configured for interoperation with coupled portable media player device
US8200629B2 (en) 2004-10-25 2012-06-12 Apple Inc. Image scaling arrangement
US7881564B2 (en) 2004-10-25 2011-02-01 Apple Inc. Image scaling arrangement
US7865745B2 (en) 2005-01-07 2011-01-04 Apple Inc. Techniques for improved playlist processing on media devices
US7856564B2 (en) 2005-01-07 2010-12-21 Apple Inc. Techniques for preserving media play mode information on media devices during power cycling
US10534452B2 (en) 2005-01-07 2020-01-14 Apple Inc. Highly portable media device
US7889497B2 (en) 2005-01-07 2011-02-15 Apple Inc. Highly portable media device
US8259444B2 (en) 2005-01-07 2012-09-04 Apple Inc. Highly portable media device
US11442563B2 (en) 2005-01-07 2022-09-13 Apple Inc. Status indicators for an electronic device
JP2006268843A (en) * 2005-02-28 2006-10-05 Fuji Photo Film Co Ltd Electronic album editing system, electronic album editing method, and electronic album editing program
US8250068B2 (en) 2005-02-28 2012-08-21 Fuji Film Corporation Electronic album editing system, electronic album editing method, and electronic album editing program
US8626755B2 (en) 2005-02-28 2014-01-07 Fujifilm Corporation Electronic album editing system, electronic album editing method, and electronic album editing program
USRE47298E1 (en) 2005-03-18 2019-03-12 Sony Corporation Time-shift image distribution system, time-shift image distribution method, time-shift image requesting apparatus, and image server
US7844611B2 (en) 2005-03-18 2010-11-30 Sony Corporation Time-shift image distribution system, time-shift image distribution method, time-shift image requesting apparatus, and image server
US7979428B2 (en) 2005-03-18 2011-07-12 Sony Corporation Time-shift image distribution system, time-shift image distribution method, time-shift image requesting apparatus, and image server
US8300841B2 (en) 2005-06-03 2012-10-30 Apple Inc. Techniques for presenting sound effects on a portable media player
US9602929B2 (en) 2005-06-03 2017-03-21 Apple Inc. Techniques for presenting sound effects on a portable media player
US10750284B2 (en) 2005-06-03 2020-08-18 Apple Inc. Techniques for presenting sound effects on a portable media player
US8396948B2 (en) 2005-10-19 2013-03-12 Apple Inc. Remotely configured media device
US10536336B2 (en) 2005-10-19 2020-01-14 Apple Inc. Remotely configured media device
US8654993B2 (en) 2005-12-07 2014-02-18 Apple Inc. Portable audio device providing automated control of audio volume parameters for hearing protection
US8966470B2 (en) 2006-01-03 2015-02-24 Apple Inc. Remote content updates for portable media devices
US8688928B2 (en) 2006-01-03 2014-04-01 Apple Inc. Media device with intelligent cache utilization
US7831199B2 (en) 2006-01-03 2010-11-09 Apple Inc. Media data exchange, transfer or delivery for portable electronic devices
US8255640B2 (en) 2006-01-03 2012-08-28 Apple Inc. Media device with intelligent cache utilization
US8694024B2 (en) 2006-01-03 2014-04-08 Apple Inc. Media data exchange, transfer or delivery for portable electronic devices
US8151259B2 (en) 2006-01-03 2012-04-03 Apple Inc. Remote content updates for portable media devices
US7673238B2 (en) 2006-01-05 2010-03-02 Apple Inc. Portable media device with video acceleration capabilities
JP2007235903A (en) * 2006-02-06 2007-09-13 Sony Corp Picked-up image display processing program, picked-up image display processing method, information processing terminal, imaging apparatus, picked-up image transmission method, picture acquisition support program, picture acquisition support method, picture acquisition support server, and picked-up image acquisition support system
US7848527B2 (en) 2006-02-27 2010-12-07 Apple Inc. Dynamic power management in a portable media delivery system
US8615089B2 (en) 2006-02-27 2013-12-24 Apple Inc. Dynamic power management in a portable media delivery system
US8358273B2 (en) 2006-05-23 2013-01-22 Apple Inc. Portable media device with power-managed display
US8497910B2 (en) 2006-06-18 2013-07-30 NL Giken Incorporated Digital camera having communication function
JP2007336403A (en) * 2006-06-18 2007-12-27 Masahide Tanaka Digital camera having communication function
US9747248B2 (en) 2006-06-20 2017-08-29 Apple Inc. Wireless communication system
JP2008054304A (en) * 2006-07-25 2008-03-06 Canon Inc Imaging apparatus, server, communication system, control method of imaging apparatus, and program
JP2011024242A (en) * 2006-07-25 2011-02-03 Canon Inc Imaging apparatus, method of controlling imaging apparatus, and program
US8341524B2 (en) 2006-09-11 2012-12-25 Apple Inc. Portable electronic device with local search capabilities
US8090130B2 (en) 2006-09-11 2012-01-03 Apple Inc. Highly portable media devices
US8473082B2 (en) 2006-09-11 2013-06-25 Apple Inc. Portable media playback device including user interface event passthrough to non-media-playback processing
US7729791B2 (en) 2006-09-11 2010-06-01 Apple Inc. Portable media playback device including user interface event passthrough to non-media-playback processing
US9063697B2 (en) 2006-09-11 2015-06-23 Apple Inc. Highly portable media devices
WO2008102642A1 (en) 2007-02-24 2008-08-28 Nec Corporation Portable terminal
US8508620B2 (en) 2007-02-24 2013-08-13 Nec Corporation Portable terminal capable of presenting images based on time
US8044795B2 (en) 2007-02-28 2011-10-25 Apple Inc. Event recorder for portable media device
WO2008117348A1 (en) * 2007-03-22 2008-10-02 Pioneer Corporation Slideshow creating device and program
JP2009176262A (en) * 2007-12-28 2009-08-06 National Institute Of Information & Communication Technology Method and system for mapping photography, program, and recording medium
JP2009253717A (en) * 2008-04-08 2009-10-29 Nikon Corp Electronic camera
JP4545828B2 (en) * 2008-12-19 2010-09-15 パナソニック株式会社 Image search apparatus and image search method
US8694515B2 (en) 2008-12-19 2014-04-08 Panasonic Corporation Image search device and image search method
JPWO2010070804A1 (en) * 2008-12-19 2012-05-24 パナソニック株式会社 Image search apparatus and image search method
WO2010070804A1 (en) * 2008-12-19 2010-06-24 パナソニック株式会社 Image search device and image search method
JP2010267030A (en) * 2009-05-13 2010-11-25 Canon Inc Apparatus and method for processing information
JP2011024196A (en) * 2009-06-18 2011-02-03 Panasonic Corp Image selection apparatus, image selection method, and image selection system
JP2011076427A (en) * 2009-09-30 2011-04-14 Casio Computer Co Ltd Display terminal, server device, image sharing system, and image sharing method
JP2011239179A (en) * 2010-05-11 2011-11-24 Shimauma Print System Inc Image output device and image output method
JP2012022623A (en) * 2010-07-16 2012-02-02 Canon Inc Control method for image processing apparatus, and program
JP2016006676A (en) * 2010-12-07 2016-01-14 キヤノンマーケティングジャパン株式会社 File management device, file management system, control method and program
JP2012190426A (en) * 2011-03-14 2012-10-04 Nippon Telegr & Teleph Corp <Ntt> Service server, image provision device, image management method and image management program
US9336243B2 (en) 2011-11-17 2016-05-10 International Business Machines Corporation Image information search
JP2013109384A (en) * 2011-11-17 2013-06-06 Internatl Business Mach Corp <Ibm> Information providing device
CN104219411B (en) * 2013-05-31 2017-09-05 京瓷办公信息系统株式会社 Image formation system
CN104219411A (en) * 2013-05-31 2014-12-17 京瓷办公信息系统株式会社 Image forming system
JP2015056152A (en) * 2013-09-13 2015-03-23 キヤノン株式会社 Display control device and method for controlling display control device
JP2017097672A (en) * 2015-11-25 2017-06-01 京セラドキュメントソリューションズ株式会社 Information providing device and image forming apparatus
JPWO2017208371A1 (en) * 2016-05-31 2019-01-31 富士通株式会社 Image search program, image search method, and image search apparatus
WO2017208371A1 (en) * 2016-05-31 2017-12-07 富士通株式会社 Image search program, image search method, and image search device
JP2017045480A (en) * 2016-11-25 2017-03-02 シャープ株式会社 Object search system and object search device
JP2017157220A (en) * 2017-03-23 2017-09-07 株式会社リコー Imaging device
US10860876B2 (en) 2017-12-28 2020-12-08 Fujifilm Corporation Image presentation system, image presentation method, program, and recording medium
JP2018055730A (en) * 2018-01-11 2018-04-05 オリンパス株式会社 Image search apparatus and image search method
WO2023002676A1 (en) * 2021-07-21 2023-01-26 ソニーグループ株式会社 Information processing device, information processing method, and program
WO2023084709A1 (en) * 2021-11-11 2023-05-19 日本電気株式会社 Estimation device, estimation method, and program

Similar Documents

Publication Publication Date Title
JP2004220420A (en) Image retrieval method and device and program
JP3908171B2 (en) Image storage method, apparatus, and program
US6928230B2 (en) Associating recordings and auxiliary data
US7454090B2 (en) Augmentation of sets of image recordings
US6914626B2 (en) Location-informed camera
US8264570B2 (en) Location name registration apparatus and location name registration method
JP2009239397A (en) Imaging apparatus, imaging system, control method of imaging apparatus, and control program
JP4821903B2 (en) Display terminal, server device, image sharing system, and image sharing method
JP2002010068A (en) Album producing method and device, and record medium
KR20060034249A (en) Enhanced organization and retrieval of digital images
JP2008054304A (en) Imaging apparatus, server, communication system, control method of imaging apparatus, and program
JP2006338097A (en) Photographic device and management center computer
JP2004297134A (en) Composite image providing system, image composite apparatus, and program
US20140247342A1 (en) Photographer&#39;s Tour Guidance Systems
JP2009134333A (en) Digital photograph sharing system device
JP2003099434A (en) Electronic album device
JP2012019374A (en) Electronic album creation server, information processor, electronic album creation system, and control method of electronic album creation server
JP2002373168A (en) Method and system for retrieving picture based on position information
JP4406595B2 (en) Image data supplementary information automatic update method and system, and image data supplementary information automatic update program
JP2004356694A (en) Photo photographing location attaching apparatus
JP2007020054A (en) Method and device for managing image
JP2004214760A (en) Method and apparatus of estimating object, and program
JP2006101095A (en) Event image disclosure method and system thereof
JP2010140182A (en) Observation information accumulation system
JP2009110288A (en) Image classification apparatus and image classification method

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20060404