JP2004070717A

JP2004070717A - Method, device and program for image photographing/accumulation/retrieval with object identifying function, and storage medium recording the program

Info

Publication number: JP2004070717A
Application number: JP2002230041A
Authority: JP
Inventors: Yoshinori Kusachi; 草地　良規; Akira Suzuki; 鈴木　章
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2002-08-07
Filing date: 2002-08-07
Publication date: 2004-03-04

Abstract

<P>PROBLEM TO BE SOLVED: To enable a user to efficiently retrieve the image of a desired content. <P>SOLUTION: An information acquiring terminal 1 shoots the image of an object with a radio tag recording object information to acquire image data, transmits an information transmitting instruction to the radio tag synchronously with the shooting, receives the information transmitted from the radio tag in one or more positions, and transmits it to an accumulation/retrieval device 2. The accumulation/retrieval device 2 calculates the position data of the object from the receiving position and time of the information, accumulates the received data with the data of the intended position calculation stage and the image data, provides an interface for inputting key information for retrieval, retrieves the image data according to the key information, and displays the retrieval result. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
本発明は、対象を撮影して蓄積し、ユーザが見たい対象（以下単にコンテンツ）が写っている画像を検索する画像蓄積検索技術に関する。
【０００２】
【従来の技術】
写真、ＴＶ映像、ビデオ映像のように、画像または動画像（以降、単に画像データ）が一般的なものとなり、画像データの増大に伴い画像データ蓄積検索技術が重要となっている。
【０００３】
従来の画像蓄積検索技術は、大別して▲１▼手作業、▲２▼自動キー情報付加、▲３▼画像情報抽出の３技術に分類できる。
【０００４】
▲１▼の手作業では、画像データを蓄積するメディア（以下単にメディア）に手作業で時間、場所、撮影者、タイトル名等を記載して蓄積しておき、それらをキー情報として画像データを検索していた。例えば、アルバムやＶＨＳビデオの背表紙にキー情報を記載したり、デジタル画像のファイル名やディレクトリにキー情報を付記したりしている。また、画像フォーマット自体にキー情報を埋め込む方法もある。
【０００５】
▲２▼の自動キー情報付加では、画像データの撮影機構に同期して時刻情報やＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）情報を自動取得してキー情報とし、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）などのメディアに記載している。
【０００６】
▲３▼の画像情報抽出では、画像から色ヒストグラムなどの特徴を抽出したり、画像から対象を認識したりして、結果をキー情報としてＨＤＤなどのメディアに記載している。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記の従来の方法では、大量の画像データから、画像データに写っているコンテンツをキー情報として検索するには、以下のような問題点があった。
▲１▼　大量の画像データに情報を手作業で入力するのは手間がかかり、現実的ではない。
▲２▼　画像に写っているコンテンツの内容を自動で付与する技術がない。また、コンテンツ内容を画像データに付与できたとしても、コンテンツを特定するキーは複数の概念のレベル（例えば、コップ、入れ物、紙コップ）があるため、ユーザの所望する結果が必ずしも得られない。
▲３▼　画像データの特徴を検索キーとした検索は、対象を特定して検索できないため、直感的な検索が実現できない。
【０００８】
本発明の目的は、大量の画像データに対してコンテンツの内容を自動的に付与し、かつユーザの所望する直感的な検索を実施できる方法および装置を提供することにある。
【０００９】
【課題を解決するための手段】
本発明では、以下の手段で課題を解決し、コンテンツをキー情報とした画像蓄積検索技術を提供する。
【００１０】
キー情報としたいコンテンツに対して様々な情報を記載した無線タグ（参考文献：Ｋｌａｕｓ　Ｆｉｎｋｅｎｚｅｌｌｅｒ　著。「ＲＦＩＤハンドブック」）を付与し、画像を撮影するのと同期して無線タグへの情報送信を要求し、複数の無線タグ検出装置で無線タグの情報を受信し、画像データとともに画像内のコンテンツ情報をメディアに記録する。
【００１１】
キー情報としたいコンテンツに対して様々な情報を記載した無線タグを付与し、画像を撮影するのと同期して無線タグへの情報送信を要求し、複数の無線タグ検出装置で無線タグの情報を受信し、その受信位置と時刻の関係から無線タグの位置を計算し、画像データとともに画像内のコンテンツ名を付与しておき、コンテンツ名に対して類似情報を定義して、検索の際に利用する。
【００１２】
したがって、本発明は下記の利点がある。
【００１３】
画像データとともに撮影されたコンテンツの情報を精度高く蓄積できるため、ユーザの所望するコンテンツが撮影された画像を効率よく検索するシステムを構築できる。
【００１４】
画像データとともに撮影されたコンテンツの情報及びその位置情報を精度高く蓄積できるため、ユーザの所望するコンテンツが撮影された画像を効率よく検索するシステムを構築できる。
【００１５】
無線タグに付与されたコンテンツ名に、類似したコンテンツ名を定義できるため、検索キーとコンテンツ名が完全に一致していなくても、ユーザの所望する検索が実現できる。
【００１６】
他のさまざまな情報取得手段（ＧＰＳ、時刻、撮影者）と組み合わせることにより、ユーザは、コンテンツ内容、画像中のコンテンツ位置、無線タグに記載された情報、ＧＰＳ、時刻、撮影者、を検索キーとして画像検索できる。
【００１７】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００１８】
図１は本発明が適用された画像検索システムの構成図である。本画像検索システムはビデオ映像蓄積・検索システムで、情報取得端末１と蓄積・検索装置２とネットワーク３から構成される。情報取得端末１は、画像とコンテンツ情報を取得し、ネットワーク３を介して情報を蓄積・検索装置２に送信する。蓄積・検索装置２は、受信した情報を蓄積する。また、ユーザに検索用インタフェースを提供し、入力されたキー情報に従い画像データを検索し、検索結果を送信する。本システムにより、例えば、自分の子供が写っているシーンを素早く高精度に検索することが可能となる。ただし、子供には、服や帽子等に物体情報を記録した無線タグが付与されていることが前提となる。本例では、無線タグには、コンテンツＩＤ：００３、コンテンツ名：ｔａｒｏ、性別：男、年齢：５歳、という無線タグ情報が付加されている。
【００１９】
図２は情報取得端末１と蓄積・検索装置２の構成を示している。情報取得端末１は、画像を撮影する画像撮影部１１と、無線タグに情報送信を要求する信号を送信する情報要求信号送信部１２と、無線タグからの情報を受信する無線タグ情報受信部１３と、受信した情報をネットワーク３を介して蓄積・検索装置２に送信する情報送信部１７から構成されている。
【００２０】
蓄積・検索装置２は、情報取得端末１から送信された情報やユーザから入力さる検索キーを受信したり検索結果を送信する情報送受信部２１と、情報取得端末１から送信された情報を蓄積する蓄積部２２と、ユーザに検索のためのインタフェースを提供する検索キー入力インタフェース提供部２３と、蓄積された情報からユーザによって入力された検索キーにマッチする情報を検索する検索部２４と、検索結果を表示する検索結果表示部２５から構成される。
【００２１】
図３は情報取得端末１と蓄積・検索装置２の動作を示すフローチャートである。
１）情報取得端末１での情報取得（図３（１））
画像撮影部１１で画像を撮影し（ステップ１０１）、これに同期して情報要求信号送信部１２から無線タグに対して情報送信を要求する信号を送信し（ステップ１０２）、無線タグから送信された情報を無線タグ情報受信部１３で受信し（ステップ１０３）、画像データと無線タグより送信された情報（無線タグ情報）を情報送信部１７より蓄積・検索装置２に送信する。
２）蓄積・検索装置２での情報の蓄積（図３（２））
情報取得端末１より送信された情報を情報送受信部２１が受信し（ステップ１１１）、蓄積部２２に受信された情報を蓄積する（ステップ１１２）。
３）蓄積・検索装置２での情報の検索（図３（３））
検索キー入力インタフェース提供部２３よりユーザに検索キー入力インタフェースを提供し（ステップ１２１）、検索部２４が入力されたキー情報により蓄積部２２を検索し（ステップ１２２）、検索結果表示部２５により検索結果を表示する（ステップ１２３）。
【００２２】
図４は情報取得端末１の他の構成を示す図である。情報取得端末１は、画像を撮影する画像撮影部１１と、無線タグに情報送信を要求する信号を送信する情報要求信号送信部１２と、無線タグからの情報を受信し、かつ情報を要求した時刻と受信した時刻の差から受信にかかった時間（受信時間）を計測する３つの無線タグ情報受信部１３，１４，１５と、各無線タグ情報受信部１３，１４，１５の位置関係および受信時間から物体の位置を計測する物体位置計測部１６と、受信した情報をネットワーク３を介して蓄積・検索装置２に送信する情報送信部１７から構成されている。
【００２３】
図５は、情報要求信号送信部１２と３つの無線タグ情報受信部１３，１４，１５の位置関係を例示した図である。各無線タグ情報受信部１３，１４，１５は、一辺の長さがａの三角形の各頂点上に配置されている。また、情報要求信号送信部１２は無線タグ情報受信部１３と同位置に配置されている。さらに、画像撮影のためのレンズの中心は前記三角形の重心と一致する。
【００２４】
図６は、撮影される画像上の物体の座標と各無線タグ情報受信部１３，１４，１５の位置関係を示した図である。レンズ中心と画像中心は一致しているとする。各無線タグ情報受信部１３，１４，１５の受信時間をそれぞれｔ１，ｔ２，ｔ３、情報要求信号送信部１２が情報を要求し無線タグが情報を送信するまでの時間（要求時間）をｔ０（ただし未知）とすると、無線タグから各無線タグ情報受信部１３，１４，１５までの情報伝達時間はそれぞれｔ１−ｔ０，ｔ２−ｔ０，ｔ３−ｔ０となる。ただし、情報要求信号送信部１２と無線タグ情報受信部１３は同位置に配置されているため、無線タグ上での処理時間をｐ（計測可能）とすれば、ｔ１−ｔ０＝ｔ０−ｐ（ｐは情報要求信号送信部１２から無線タグまでの情報伝達時間）であるから、ｔ０＝（ｔ１＋ｐ）／２となる。このとき、人（コンテンツ）が写っている空間上の座標（Ｃｘ，Ｃｙ，Ｃｚ）と画像上の座標（Ｇｘ，Ｇｙ）は、以下の式で計算でき、物体位置計測部１６で求められる。ただし、光速をｃ、レンズの焦点距離をｆとする。
【００２５】
【数１】

【００２６】
図７は図４の情報取得端末１の動作を示すフローチャートである。
【００２７】
画像撮影部１１で画像を撮影し（ステップ２０１）、これに同期して情報要求信号送信部１２から無線タグに対して情報の送信を要求し（ステップ２０２）、無線タグから送信された情報を無線タグ情報受信部１３，１４，１５で受信し（ステップ２０３）、物体位置計測部１６で対象位置を計算し（ステップ２０４）、画像データと無線タグより送信された情報（無線タグ情報）と対象位置情報を情報送信部１７より蓄積・検索装置２に送信する（ステップ２０５）。
【００２８】
図８は蓄積・検索装置２の他の例の構成図である。
【００２９】
蓄積・検索装置２は、情報取得端末１から送信された情報やユーザから入力された検索キーを受信したり、検索結果を送信する情報送受信部２１と、情報取得端末１から送信された情報を蓄積する蓄積部２２と、ユーザに検索のためのインタフェースを提供する検索キー入力インタフェース提供部２３と、ユーザが入力した検索キーの既定義の類似情報（狭義情報、広義情報、関連情報）を格納し、これらを類似検索キーとして求める類似情報提供部２６と、蓄積部２２に蓄積された情報からユーザによって入力された検索キーおよび類似検索キーにマッチする情報を検索する検索部２４と、検索結果を表示する検索結果表示部２５から構成される。
【００３０】
図９は図８の蓄積・検索装置２の検索動作を示すフローチャートである。
【００３１】
検索キー入力インタフェース提供部２３によりユーザに検索キー入力インタフェースを提供し（ステップ３０１）、ユーザが入力した検索キーの狭義情報が定義されていれば類似情報提供部２６より狭義情報を抽出し（ステップ３０２）、検索部２４が該狭義情報により蓄積部２２を検索し（ステップ３０３）、検索キーの広義情報が定義されていれば、広義情報を抽出し（ステップ３０４）、該広義情報により蓄積部２２を検索し（ステップ３０５）、検索キーの関連情報が定義されていれば関連情報を抽出し（ステップ３０６）、該関連情報により蓄積部２２を検索し（ステップ３０７）、検索キーにより蓄積部２２の画像を検索し（ステップ３０８）、検索結果表示部２５により検索結果を表示する（ステップ３０９）。
【００３２】
図１０は検索キー入力ユーザインタフェースの例を示している。ユーザは検索キー（名前、年齢、性別、人の写っている位置）の条件をＡＮＤ／ＯＲで組み合わせて検索できる。本例の場合、コンテンツ名が「ｔａｒｏ」であり、年齢が「５歳」であり、かつ画像の中央近辺に対象が写っている画像を検索している。例えば「ｔａｒｏ」の狭義情報として「太郎」が定義されている場合、検索結果は、図１１のように５歳の「ｔａｒｏ」と「太郎」が画像中央に写っている画像が検索結果表示部２５により表示される。
【００３３】
なお、本実施形態に記載した検索方法はあくまでも一例であり、本発明はこれに限定されるものではない。例えば、検索に類義情報検索機能を用いるかどうかをユーザが選択できるインタフェースを提供してもよい。
【００３４】
なお、以上説明した画像撮影、蓄積、検索方法は専用のハードウェアにより実現されるもの以外に、その機能を実現するためのプログラムを、コンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するものであってもよい。コンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ等の記録媒体、コンピュータシステムに内蔵されるハードディスク装置等の記憶装置を指す。さらに、コンピュータ読み取り可能な記録媒体は、インターネットを介してプログラムを送信する場合のように、短時間の間、動的にプログラムを保持するもの（伝送媒体もしくは伝送波）、その場合のサーバとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含む。
【００３５】
【発明の効果】
以上説明したように、本発明は、下記の効果がある。
【００３６】
物体情報を記録した無線タグが付与されている物体の画像を撮影して画像データを取得し、撮影段階に同期して無線タグに情報要求信号を送信し、無線タグから送信された情報を１つ以上の位置で受信し、画像データとともに受信データを蓄積し、検索のためのキー情報を入力するインターフェースを提供し、キー情報に従い画像データを検索し、検索結果を表示するため、ユーザの所望するコンテンツが撮影された画像を効率よく検索するシステムを構築できる。
【００３７】
物体情報を記録した無線タグが付与されている物体の画像を撮影して画像データを取得し、撮影段階に同期して無線タグに情報送信要求信号を送信し、無線タグから送信された情報を１つ以上の位置で受信し、情報を受信した位置と時刻から物体の位置データを計算し、物体位置と画像データとともに受信データを蓄積し、検索のためのキー情報を入力するインタフェースを提供し、キー情報に従い画像データを検索し、検索結果を表示することにより、ユーザの所望するコンテンツが撮影された画像を効率よく検索するシステムを構築できる。
【図面の簡単な説明】
【図１】本発明の一実施形態の画像検索システムの構成図である。
【図２】情報取得端末１と蓄積・検索装置２の構成図である。
【図３】図２中の情報取得端末１と蓄積・検索装置２の動作を示すフローチャートである。
【図４】情報取得端末１の他の例の構成図である。
【図５】情報要求部１２と無線タグ情報受信部１３，１４，１５の位置関係を示す図である。
【図６】撮影される画像上の座標と無線タグ情報受信部１３，１４，１５の位置関係を示す図である。
【図７】図４の情報取得端末１の動作を示すフローチャートである。
【図８】蓄積・検索装置２の他の例の構成図である。
【図９】図８の蓄積・検索装置２の検索動作を示すフローチャートである。
【図１０】検索キーの入力ユーザインタフェースの例を示す図である。
【図１１】検索結果の表示例を示す図である。
【符号の説明】
１　　情報取得端末
２　　蓄積・検索装置
３　　ネットワーク
１１　　画像撮影部
１２　　情報要求信号送信部
１３，１４，１５　無線タグ情報受信部
１６　　物体位置計測部
１７　　情報送信部
２１　　情報送受信部
２２　　蓄積部
２３　　検索キー入力インタフェース提供部
２４　　検索部
２５　　検索結果表示部
２６　　類似情報提供部
１０１〜１０４，１１１，１１２，１２１〜１２３　　ステップ
２０１〜２０５，３０１〜３０９　　ステップ[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image storage and retrieval technique for capturing and storing an object, and searching for an image in which an object (hereinafter simply referred to as content) desired by a user is captured.
[0002]
[Prior art]
An image or a moving image (hereinafter simply referred to as image data) such as a photograph, a TV image, and a video image has become general, and an image data storage and retrieval technique has become important with an increase in image data.
[0003]
Conventional image storage and retrieval technologies can be roughly classified into three technologies: (1) manual work, (2) automatic key information addition, and (3) image information extraction.
[0004]
In the manual operation of (1), the time, place, photographer, title, etc. are manually described and stored in a medium for storing image data (hereinafter simply referred to as a medium), and the image data is used as key information. I was searching. For example, key information is described on the spine of an album or VHS video, or key information is added to the file name or directory of a digital image. There is also a method of embedding key information in the image format itself.
[0005]
In the automatic key information addition of (2), time information and GPS (Global Positioning System) information are automatically acquired in synchronization with the image data photographing mechanism, and are obtained as key information, which are described on a medium such as an HDD (Hard Disc Drive). ing.
[0006]
In the image information extraction of (3), a feature such as a color histogram is extracted from an image, a target is recognized from the image, and the result is described as key information in a medium such as an HDD.
[0007]
[Problems to be solved by the invention]
However, in the above-described conventional method, there are the following problems in searching a large amount of image data for the content shown in the image data as key information.
{Circle around (1)} Manually inputting information to a large amount of image data is troublesome and not realistic.
{Circle around (2)} There is no technology for automatically adding the content of the content shown in the image. Even if the contents can be added to the image data, the key for specifying the contents has a plurality of conceptual levels (for example, a cup, a container, and a paper cup), so that the result desired by the user is not always obtained.
{Circle around (3)} In a search using a feature of image data as a search key, an intuitive search cannot be realized because an object cannot be specified and searched.
[0008]
SUMMARY OF THE INVENTION An object of the present invention is to provide a method and an apparatus capable of automatically adding the contents of a content to a large amount of image data and performing an intuitive search desired by a user.
[0009]
[Means for Solving the Problems]
The present invention solves the problem by the following means, and provides an image storage and retrieval technique using content as key information.
[0010]
A wireless tag (Reference: Klaus Finkenseller, "RFID Handbook") that describes various information to the content that is to be key information is attached, and information transmission to the wireless tag is requested in synchronization with image capturing. Then, the information of the wireless tag is received by the plurality of wireless tag detection devices, and the content information in the image is recorded on the medium together with the image data.
[0011]
A wireless tag that describes various information is added to the content to be used as key information, and a request for information transmission to the wireless tag is issued in synchronization with shooting of an image. Is received, the position of the wireless tag is calculated from the relationship between the reception position and the time, the content name in the image is added together with the image data, similarity information is defined for the content name, and the Use.
[0012]
Therefore, the present invention has the following advantages.
[0013]
Since the information of the content shot together with the image data can be stored with high accuracy, a system for efficiently searching for the image shot of the content desired by the user can be constructed.
[0014]
Since the information of the content and the position information of the content shot together with the image data can be stored with high accuracy, it is possible to construct a system for efficiently searching for the image shot of the content desired by the user.
[0015]
Since a content name similar to the content name given to the wireless tag can be defined, a search desired by the user can be realized even if the search key and the content name do not completely match.
[0016]
By combining with various other information acquisition means (GPS, time, photographer), the user can search the contents of the content, the position of the content in the image, the information described on the wireless tag, the GPS, the time, and the photographer by using a search key. Image search.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Next, embodiments of the present invention will be described with reference to the drawings.
[0018]
FIG. 1 is a configuration diagram of an image search system to which the present invention is applied. This image search system is a video image storage / search system, which comprises an information acquisition terminal 1, a storage / search device 2, and a network 3. The information acquisition terminal 1 acquires an image and content information, and transmits the information to the storage / search device 2 via the network 3. The storage / search device 2 stores the received information. Also, a search interface is provided to the user, the image data is searched according to the input key information, and the search result is transmitted. With this system, for example, it is possible to quickly and accurately search for a scene in which one's child is shown. However, it is assumed that the child is provided with a wireless tag in which object information is recorded on clothes, a hat, or the like. In this example, wireless tag information such as content ID: 003, content name: taro, gender: male, and age: 5 years is added to the wireless tag.
[0019]
FIG. 2 shows the configuration of the information acquisition terminal 1 and the storage / retrieval device 2. The information acquisition terminal 1 includes an image capturing unit 11 that captures an image, an information request signal transmitting unit 12 that transmits a signal requesting information transmission to the wireless tag, and a wireless tag information receiving unit 13 that receives information from the wireless tag. And an information transmitting unit 17 for transmitting the received information to the storage / retrieval device 2 via the network 3.
[0020]
The storage / retrieval device 2 receives information transmitted from the information acquisition terminal 1 or a search key input by a user or transmits / receives a search result, and an information transmission / reception unit 21 and accumulates information transmitted from the information acquisition terminal 1. A storage unit 22; a search key input interface providing unit 23 for providing a user with an interface for searching; a search unit 24 for searching stored information for information matching a search key input by the user; Is displayed.
[0021]
FIG. 3 is a flowchart showing the operation of the information acquisition terminal 1 and the storage / retrieval device 2.
1) Information acquisition by the information acquisition terminal 1 (FIG. 3 (1))
An image is captured by the image capturing unit 11 (step 101), and in synchronization with this, a signal requesting information transmission is transmitted from the information request signal transmitting unit 12 to the wireless tag (step 102). The received information is received by the wireless tag information receiving unit 13 (step 103), and the image data and the information (wireless tag information) transmitted from the wireless tag are transmitted from the information transmitting unit 17 to the storage / search device 2.
2) Storage of information in storage / search device 2 (FIG. 3 (2))
The information transmitting / receiving unit 21 receives the information transmitted from the information acquisition terminal 1 (step 111), and stores the received information in the storage unit 22 (step 112).
3) Retrieval of information in storage / retrieval device 2 (FIG. 3 (3))
The search key input interface providing unit 23 provides the user with a search key input interface (step 121), and the search unit 24 searches the storage unit 22 based on the input key information (step 122), and the search result display unit 25 searches. The result is displayed (step 123).
[0022]
FIG. 4 is a diagram illustrating another configuration of the information acquisition terminal 1. The information acquisition terminal 1 receives an information from the wireless tag, and requests information, an image capturing unit 11 that captures an image, an information request signal transmitting unit 12 that transmits a signal requesting information transmission to the wireless tag. Three wireless tag

information receiving units

13, 14, 15 for measuring the time required for receiving (receiving time) from the difference between the time and the received time, and the positional relationship between the wireless tag

information receiving units

13, 14, 15 and the reception It comprises an object position measuring unit 16 for measuring the position of an object from time and an information transmitting unit 17 for transmitting received information to the storage / search device 2 via the network 3.
[0023]
FIG. 5 is a diagram exemplifying a positional relationship between the information request signal transmitting unit 12 and the three wireless tag

information receiving units

13, 14, and 15. Each of the wireless tag

information receiving units

13, 14, 15 is arranged on each vertex of a triangle having a side length a. The information request signal transmitting unit 12 is arranged at the same position as the wireless tag information receiving unit 13. Further, the center of the lens for taking an image coincides with the center of gravity of the triangle.
[0024]
FIG. 6 is a diagram showing the positional relationship between the coordinates of an object on a captured image and the wireless tag

information receiving units

13, 14, and 15. It is assumed that the lens center and the image center match. The reception times of the wireless tag

information receiving units

13, 14, and 15 are t1, t2, and t3, respectively, and the time (request time) from when the information request signal transmitting unit 12 requests information to when the wireless tag transmits information is t0 ( If unknown, however, the information transmission time from the wireless tag to each of the wireless tag

information receiving units

13, 14, 15 is t1-t0, t2-t0, t3-t0, respectively. However, since the information request signal transmitting unit 12 and the wireless tag information receiving unit 13 are arranged at the same position, if the processing time on the wireless tag is p (measurable), t1−t0 = t0−p ( Since p is the information transmission time from the information request signal transmitting unit 12 to the wireless tag, t0 = (t1 + p) / 2. At this time, the coordinates (Cx, Cy, Cz) in the space where the person (content) is captured and the coordinates (Gx, Gy) in the image can be calculated by the following equations, and are obtained by the object position measuring unit 16. Here, the light speed is c, and the focal length of the lens is f.
[0025]
(Equation 1)

[0026]
FIG. 7 is a flowchart showing the operation of the information acquisition terminal 1 of FIG.
[0027]
The image is photographed by the image photographing unit 11 (step 201), and in synchronization with the photographing, the information request signal transmitting unit 12 requests the wireless tag to transmit information (step 202), and transmits the information transmitted from the wireless tag. The object positions are calculated by the object position measuring unit 16 (step 204). The image data and the information (wireless tag information) transmitted from the wireless tag are received by the wireless tag

information receiving units

13, 14, and 15 (step 203). The target position information is transmitted from the information transmitting unit 17 to the storage / search device 2 (step 205).
[0028]
FIG. 8 is a configuration diagram of another example of the storage / search device 2.
[0029]
The storage / retrieval device 2 receives information transmitted from the information acquisition terminal 1 or a search key input by a user, and transmits and receives a search result. A storage unit 22 for storing, a search key input interface providing unit 23 for providing a user with an interface for searching, and a storage unit for storing predefined similar information (narrow sense information, broad sense information, related information) of a search key input by the user. A similar information providing unit 26 for obtaining these as similar search keys; a search unit 24 for searching a search key input by the user and information matching the similar search key from information stored in the storage unit 22; Is displayed.
[0030]
FIG. 9 is a flowchart showing a search operation of the storage / search device 2 of FIG.
[0031]
A search key input interface is provided to the user by the search key input interface providing unit 23 (step 301), and if narrow sense information of the search key input by the user is defined, narrow sense information is extracted from the similar information providing unit 26 (step 301). 302), the search unit 24 searches the storage unit 22 using the narrow sense information (step 303), and if the broad sense information of the search key is defined, extracts the broad sense information (step 304), and based on the broad sense information, the storage unit 22 22 is searched (step 305). If the related information of the search key is defined, the related information is extracted (step 306), the storage unit 22 is searched by the relevant information (step 307), and the storage unit is searched by the search key. 22 are searched (step 308), and the search result is displayed on the search result display unit 25 (step 309).
[0032]
FIG. 10 shows an example of a search key input user interface. The user can perform a search by combining the conditions of the search key (name, age, gender, position where a person appears) by AND / OR. In the case of this example, an image in which the content name is “taro”, the age is “5 years old”, and the target is shown near the center of the image is searched. For example, if “Taro” is defined as the narrow sense information of “taro”, the search result is an image in which “taro” and “Taro” of 5 years old appear in the center of the image as shown in FIG. 25.
[0033]
Note that the search method described in the present embodiment is merely an example, and the present invention is not limited to this. For example, an interface may be provided that allows the user to select whether or not to use the synonymous information search function for the search.
[0034]
It should be noted that the above-described image shooting, storage, and search methods are not limited to those realized by dedicated hardware, and a program for realizing the functions is recorded on a computer-readable recording medium, and is recorded on the recording medium. The recorded program may be read by a computer system and executed. The computer-readable recording medium refers to a recording medium such as a floppy disk, a magneto-optical disk, a CD-ROM, or a storage device such as a hard disk device built in a computer system. Further, the computer-readable recording medium is one that dynamically holds the program for a short time (transmission medium or transmission wave), such as a case where the program is transmitted via the Internet, and serves as a server in that case. It also includes those that hold programs for a certain period of time, such as volatile memory inside a computer system.
[0035]
【The invention's effect】
As described above, the present invention has the following effects.
[0036]
An image of the object to which the wireless tag with the object information is recorded is captured to obtain image data, an information request signal is transmitted to the wireless tag in synchronization with the capturing step, and the information transmitted from the wireless tag is Receives data at one or more locations, stores the received data together with the image data, provides an interface for inputting key information for search, searches the image data according to the key information, and displays the search result, so It is possible to construct a system for efficiently retrieving images in which contents to be shot are captured.
[0037]
An image of the object to which the wireless tag with the object information is recorded is captured to obtain image data, an information transmission request signal is transmitted to the wireless tag in synchronization with the capturing step, and the information transmitted from the wireless tag is transmitted. Provide an interface for receiving at one or more locations, calculating the location data of the object from the location and time at which the information was received, storing the received data along with the location and image data of the object, and inputting key information for search. By searching for image data in accordance with the key information and displaying the search results, it is possible to construct a system for efficiently searching for an image obtained by capturing the content desired by the user.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of an image search system according to an embodiment of the present invention.
FIG. 2 is a configuration diagram of an information acquisition terminal 1 and a storage / retrieval device 2.
FIG. 3 is a flowchart showing the operation of the information acquisition terminal 1 and the storage / retrieval device 2 in FIG.
FIG. 4 is a configuration diagram of another example of the information acquisition terminal 1.
FIG. 5 is a diagram showing a positional relationship between an information requesting unit 12 and wireless tag

information receiving units

13, 14, and 15;
FIG. 6 is a diagram showing a positional relationship between coordinates on a captured image and wireless tag

information receiving units

13, 14, and 15;
FIG. 7 is a flowchart showing an operation of the information acquisition terminal 1 of FIG.
FIG. 8 is a configuration diagram of another example of the storage / search device 2.
FIG. 9 is a flowchart showing a search operation of the storage / search device 2 of FIG.
FIG. 10 illustrates an example of a search key input user interface.
FIG. 11 is a diagram illustrating a display example of a search result.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Information acquisition terminal 2 Storage / retrieval device 3 Network 11 Image photographing part 12 Information request

signal transmitting parts

13, 14, 15 Wireless tag information receiving part 16 Object position measuring part 17 Information transmitting part 21 Information transmitting / receiving part 22 Storage part 23 Search key Input interface providing unit 24 Search unit 25 Search result display unit 26 Similar information providing units 101 to 104, 111, 112, 121 to 123 Steps 201 to 205, 301 to 309 Steps

Claims

A photographing step of photographing an image of an object to which a wireless tag recording object information is attached and acquiring image data,
An image capturing method, comprising: transmitting an information request signal to the wireless tag in synchronization with the capturing step.

An information receiving step of receiving information transmitted from the wireless tag at one or more locations;
An image storage method, comprising: storing the received data together with the image data obtained by the image capturing method according to claim 1.

An interface providing step of providing an interface for inputting key information for search;
An image search step of searching for image data stored by the image storage method according to claim 2 according to the input key information;
An image presenting step of displaying a search result.

An information receiving step of receiving information transmitted from the wireless tag at one or more locations;
An object position calculating step of calculating a position of the object according to claim 4 from a position and a time at which the information is received;
An image storage method, comprising: storing the received data and the position data of the object together with the image data obtained by the image capturing method according to claim 4.

An interface providing step of providing an interface for inputting key information for search;
An image search step of searching for image data stored by the image storage method according to claim 5, according to the input key information;
An image presenting step of displaying a search result.

A photographing means for photographing an image of an object to which a wireless tag recording object information is attached and acquiring image data,
An image photographing apparatus having information request signal transmitting means for transmitting an information request signal to the wireless tag in synchronization with photographing.

Information receiving means for receiving information transmitted from the wireless tag at one or more locations;
An image storage device comprising storage means for storing received data together with image data obtained by the image capturing device according to claim 7.

An interface providing means for providing an interface for inputting key information for search;
An image search means for searching image data stored in the image storage device according to claim 8, according to the key information,
An image search device having information presenting means for displaying search results.

A photographing means for photographing an image of an object to which a wireless tag recording object information is attached and acquiring image data,
An image photographing apparatus having an information request signal transmitting means for transmitting an information request signal to a wireless tag in synchronization with photographing.

Information receiving means for receiving information transmitted from the wireless tag at one or more locations;
An object position calculating unit that calculates position data of the object according to claim 10 from a position and a time at which the information is received;
An image storage device comprising storage means for storing the received data and the position data of the object together with the image data acquired by the image photographing device according to claim 10.

An interface providing means for providing an interface for inputting key information for search;
Image search means for searching for image data stored in the image storage device according to claim 11, according to the key information,
An image search device having information presenting means for displaying search results.

A program for causing a computer to execute the method according to any one of claims 1 to 6.

A recording medium on which a program for causing a computer to execute the method according to any one of claims 1 to 6 is recorded.