JP2008250474A - カメラ付き情報検索装置 - Google Patents

カメラ付き情報検索装置 Download PDF

Info

Publication number
JP2008250474A
JP2008250474A JP2007088703A JP2007088703A JP2008250474A JP 2008250474 A JP2008250474 A JP 2008250474A JP 2007088703 A JP2007088703 A JP 2007088703A JP 2007088703 A JP2007088703 A JP 2007088703A JP 2008250474 A JP2008250474 A JP 2008250474A
Authority
JP
Japan
Prior art keywords
information
camera
target
displayed
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007088703A
Other languages
English (en)
Other versions
JP4914268B2 (ja
Inventor
Takushi Yoshimaru
卓志 吉丸
Arihito Tsukada
有人 塚田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2007088703A priority Critical patent/JP4914268B2/ja
Priority to US12/014,328 priority patent/US8416309B2/en
Publication of JP2008250474A publication Critical patent/JP2008250474A/ja
Application granted granted Critical
Publication of JP4914268B2 publication Critical patent/JP4914268B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00413—Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H04N1/00416—Multi-level menus
    • H04N1/00419—Arrangements for navigating between pages or parts of the menu
    • H04N1/00424—Arrangements for navigating between pages or parts of the menu using a list of graphical elements, e.g. icons or icon bar
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/00413—Display of information to the user, e.g. menus using menus, i.e. presenting the user with a plurality of selectable options
    • H04N1/00416—Multi-level menus
    • H04N1/00419—Arrangements for navigating between pages or parts of the menu
    • H04N1/00427—Arrangements for navigating between pages or parts of the menu using a menu list
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00477—Indicating status, e.g. of a job
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32128—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title attached to the image data, e.g. file header, transmitted message header, information on the same page or in the same computer file as the image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3212—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image
    • H04N2201/3222—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to a job, e.g. communication, capture or filing of an image of processing required or performed, e.g. forwarding, urgent or confidential handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3226—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document of identification information or the like, e.g. ID code, index, title, part of an image, reduced-size image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3252—Image capture parameters, e.g. resolution, illumination conditions, orientation of the image capture device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3253—Position information, e.g. geographical position at time of capture, GPS data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/3254—Orientation, e.g. landscape or portrait; Location or order of the image data, e.g. in memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3274—Storage or retrieval of prestored additional information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201—Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3278—Transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/87—Regeneration of colour television signals
    • H04N9/8715—Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】カメラで撮影した画像を基に、その撮影範囲内の施設や場所などに関する詳細情報を直ちにユーザに提供することができるようにする。
【解決手段】携帯情報機器１で検索を指示すると、カメラ（図示せず）によるカメン画像Ａとともに、ＧＰＳ装置１２による位置情報、地磁気センサ１３によるカメラの向き情報、カメラのレンズ焦点距離情報や撮影倍率情報という付加情報Ｂが検索サービスサーバ２００に送信される。検索サービスサーバ２００では、付加情報Ｂに基づいて、カメラの現在位置からの撮影範囲内のターゲットを検索し、また、カメラ画像Ａを画像認識，文字認識によってターゲットを認識し、これらターゲットに関する情報を検索結果２０１として携帯情報機器１に返信する。携帯情報機器１では、かかる検索情報２０１から所望のターゲットを指定することにより、このターゲットのコンテンツをコンテンツサービスサーバ３００から取得できる。
【選択図】図３

Description

本発明は、カメラの撮影画像を用いて施設や場所に関する情報を検索するカメラ付き情報検索装置に関する。
従来、ユーザが所望とする情報を取得する場合、パソコンなどを用いて情報の検索が行なわれるものであり、この場合、所望とする情報を特定するために、キーワードが用いられる。携帯電話などの携帯情報機器においても、このような検索が可能であり、例えば、旅行などにおいて、その観光地での寺院などの観光場所の情報を取得したい場合には、かかる観光場所の名称をキーワードとして、検索を行なう。
一方、携帯電話などの携帯情報機器では、それに設けられているカメラの撮影画像情報（カメラ画像）を利用し、このカメラ画像をサーバに送ることにより、必要な情報を取得することができるようにした技術も提案されている。
その一例として、携帯電話端末からサーバに、この携帯電話端末で撮影した製品の画像データとこの携帯電話端末の現在位置を表わす位置情報とを送信し、サーバでは、かかる画像データを解析して製品の特徴情報を求め、この特徴量情報を基に製品データを検索して製品を特定し、この製品の詳細情報を検索するとともに、この製品の取扱店のうちでこの携帯電話端末の現在位置に最も誓い取扱店を検索し、かかる製品の詳細情報と取扱店の所在地などの地図情報とをこの携帯電話端末に提供するものである（例えば、特許文献１参照）。
他の例としては、携帯電話のカメラで撮影した画像とこの携帯電話の現在位置を表わすＧＰＳからの場所情報とをサービスサーバが受信して格納し、この携帯電話を所有するユーザと同じグループに属するユーザからこの画像の要求があると、同じグループに属することを確認後、このユーザにこの画像と場所情報とを提供するものである。
特開２００３ー１２２７５７号公報 特開２００４ー３２０４６４号公報
ところで、上記特許文献１に記載の技術は、携帯電話端末のカメラで撮影した製品の画像を用いて、その製品の詳細情報やその取扱店を紹介するサービスを行なうものであるが、場所や施設などの詳細情報を提供するものではない。例えば、旅行などで見知らぬ地方を歩き回る場合、その地方での名所旧跡や食事をしたい店などの詳細情報を現在の位置から直ちに知りたい場合もあるが、特許文献１に記載の携帯端末では、仮に名所旧跡などを製品と同等に取り扱うことができるとしても、直接対象物を撮影しないと、その詳細な情報を取得できないから、現在位置からは分からない対象物に対しては、機能することができない。
また、上記特許文献２に記載の技術は、撮影した画像をサーバに保管し、これを他のユーザに提供するものであるから、撮影した場所の詳細情報を提供できるものではない。
本発明の目的は、かかる問題を解消し、カメラで撮影した画像を基に、その撮影範囲内の施設や場所などの詳細情報を直ちにユーザに提供することができるようにしたカメラ付き情報検索装置を提供することにある。
上記目的を達成するために、本発明は、撮影のためのカメラと、表示部と、現在位置を検出する位置検出手段と、カメラの向きを検出する向き検出手段とを備えたカメラ付き情報検索装置であって、カメラのカメラ画像を、位置検出手段で検出された位置情報と向き検出手段で検出された向き情報とカメラのレンズ焦点距離情報，撮影倍率情報とからなる付加情報をサーバに送信し、カメラ画像の撮影範囲での１以上のターゲットの検索を要求する手段と、付加情報に基づいて検出されるカメラの撮影範囲内でのターゲットやカメラ画像内の情報から検出されるターゲットに関するサーバからの検索結果を受信する手段と、受信した検索結果を処理し、表示部の表示画面に夫々のターゲットの検索画面を表示させる処理手段とを設け、検索画面では、夫々のターゲット毎にターゲットに該当する選択情報を表示し、選択情報を選択することにより、該当するターゲットに関する詳細情報を取得可能に構成したことを特徴とするものである。
また、本発明は、表示画面には、カメラ画像が表示されるとともに、選択情報としてターゲット毎のアイテムマークが配列されて表示され、かつカメラ画像でのターゲットが存在する位置にアイテムマークに該当するターゲットマークが表示され、アイテムマークとアイテムマークに該当するカメラ画像上のターゲットとを対応付けたことを特徴とするものである。
また、本発明は、表示画面には、カメラ画像が表示されるとともに、選択情報としてのアイテムマークがターゲット毎に表示され、ターゲット毎のアイテムマークは、カメラ画像での該当するターゲットの位置に表示されることを特徴とするものである。
また、本発明は、サーバの検索結果に基づいて、選択された選択情報に該当するターゲットのコンテンツの種別を表わすコンテンツ種別インデックスを配列表示し、コンテンツ種別インデックスのいずれかを選択することにより、選択されたコンテンツ種別インデックスに対応する種別のコンテンツを検索可能としたことを特徴とするものである。
また、本発明は、カメラ画像と付加情報とを、もしくはカメラ画像と付加情報とサーバによる検索結果とを記憶して保存する記憶手段を設けたことを特徴とするものである。
また、本発明は、記憶手段に保存されているカメラ画像と付加情報とを用いて、サーバでの検索を可能に構成したことを特徴とするものである。
また、本発明は、記憶手段に保存されているカメラ画像と付加情報とを他の情報検索装置に送信する手段を設けたことを特徴とするものである。
本発明によると、撮影したカメラ画面と撮影に関連する付加情報とで撮影範囲内でのターゲット（店舗や名所旧跡など）の検索を行なうことができるものであるので、ユーザとしては、カメラを好みの方向に向けて撮影するだけでその場所からの視野内（撮影範囲内）で種々のターゲットを知ることができるし、その詳細情報も取得することができる。
以下、本発明の実施形態を図面により説明する。
図１は本発明によるカメラ付き情報検索装置の一実施形態の要部を示す構成図であって、１は携帯情報機器、２は表示画面、３ａ，３ｂ，３ｃは機能画面表示エリア、４は操作部、５はエンターキー、６Ｕは上キー、６Ｄは下キー、６Ｌは左キー、６Ｒは右キー、７ａ，７ｂは操作キー、７ｃは「戻る」キーである。ここでは、カメラ付き情報検索装置として、携帯電話などの携帯情報機器を例として説明する。
同図において、携帯情報機器１は、図示しない筐体に表示画面１や操作部４などが設けられており、また、図示しないが、カメラなども備えている。
表示画面２には、操作部４の操作のための画面や後述するカメラの撮影画面，検索画面なども表示される。一例として、表示画面２に機能画面表示エリア３ａ〜３ｃが表示されている状態を示すものであるが、これらは情報検索の際に表示されるものであって、検索段階に応じてこれら機能画面表示エリアに表示される機能が変更される。ここでは、機能画面表示エリア３ａにモードを切り換える「切換」機能画面が表示され、機能画面表示エリア３ｂに「情報取得」機能画面が表示され、機能画面表示エリア３ｃに「サブメニュー」機能画面が表示されている状態を示している。
機能画面表示エリア３ａに表示される機能画面は、操作部４での操作キー７ａの機能を表わすものであり、この場合では、操作キー７ａは「切替」機能を有していることを示している。機能画面表示エリア３ｂに表示される機能画面は、操作部４でのエンターキー５の機能を表わすものであり、この場合では、エンターキー５は「情報取得」機能を有していることを示している。機能画面表示エリア３ｃに表示される機能画面は、操作部４での操作キー７ｂの機能を表わすものであり、この場合では、操作キー７ｂは「サブメニュー」機能を有していることを示している。
なお、操作部４での「戻る」キー７ｃは、表示画面２において、１つ前に表示された画面に戻す機能を有するものである。また、操作部４には、電源キーやテンキーなどのその他の操作キーも設けられているが、通常の携帯情報機器と同様であるので、説明を省略する。
図２は図１に示す携帯情報機器１の回路構成を示すブロック図であって、８は処理部、９はカメラ、１０は表示部、１１は記憶部、１２はＧＰＳ（Grobal Positioning System）装置、１３は地磁気センサ、１４はＩＣタグ、１５は通信部、１６はアンテナ、１７は通信線コネクタであり、図１に対応する部分には同一符号をつけて重複する説明を省略する。
同図において、携帯情報機器１では、操作部４のキー操作の入力部からのキー操作信号に応じて、ＣＰＵなどからなる処理部８が記憶部１１に記憶されているプログラムのもとに各部を制御する動作をする。かかる制御のもとに、ＣＣＤビデオカメラなどのカメラ９が被写体を撮影し、また、表示部１０がその表示画面２（図１）に各種の画面を表示する。また、通信部１５は、処理部８の制御のもとに、アンテナ１６を介して外部との無線通信を行ない、また、通信線コネクタ１７を介して外部との有線通信を行なう。記憶部１１は、上記のプログラムや操作部４の操作のための画面の情報などが記憶されているとともに、カメラ９の撮影画像や通信部１５を介して取得した各種情報が記憶される。
また、携帯情報機器１には、ＧＰＳ装置１２と地磁気センサ１３とが設けられている。ＧＰＳ装置１２では、この携帯情報機器１の現在位置が検出され、処理部８に供給される。地磁気センサ１３では、携帯情報機器１の向き、即ち、カメラ９の撮影方向が検出され、処理部８に供給される。地磁気センサ１３の代わりに、ジャイロを用いるようにしてもよい。
また、カメラ９では、レンズ焦点距離や撮影倍率が検出され、これらの情報が処理部８に供給される。
この携帯情報機器１では、ＩＣタグ１４も着脱可能であり、そのタグ情報が読み取られて処理部８に供給される。
この携帯情報機器１では、寺社，施設などの名所旧跡や店舗などを、検索ターゲットとして、その情報（以下、検索アイテムという）を検索することができように構成したものであるが、かかる検索には、カメラ９で撮影される静止画像が用いられる。即ち、この撮影された静止画像（以下、カメラ画像Ａという）に映されている名所旧跡や店舗などが検索の対象となるものであり、この静止画像情報を通信部１５からサーバ（図示せず）に送信することにより、サーバで検索が行なわれるものである。この検索の際には、かかるカメラ画像Ａとともに、ＧＰＳ装置１２で検出された位置情報や地磁気センサ１３で検出された向き情報、カメラ９で検出されたレンズ焦点距離情報や撮影倍率情報などの情報が付加情報Ｂとして、サーバに送信されるものであり、サーバはこれらカメラ画像Ａとその付加情報Ｂを用いて、このカメラ画像Ａの撮影範囲でのアイテムを検索するのである。
図３は図１及び図２に示す実施形態を用いた情報検索システムを示すシステム構成図であって、１００はネットワーク、２００は検索サービスサーバ、３００はコンテンツサービスサーバであり、図１に対応する部分には同一符号をつけて重複する説明を省略する。
同図において、ユーザが、携帯情報機器１のカメラ２で撮影中に、携帯情報機器１で情報検索操作をすると、その撮影静止画像、即ち、図２におけるカメラ画像ＡにＧＰＳ装置１２による位置情報や地磁気センサ１３によるカメラ９の向き情報（撮影方向を示す情報），ＩＣタグ１４からのタグ情報、カメラ９のレンズ焦点距離情報や撮影倍率情報といった付加情報Ｂとともに、通信部１５（図２）からインターネットなどのネットワーク１００を介して検索情報サービスサーバ２００に供給される。
図４は携帯情報機器１の表示画面２でのカメラ９の撮影時の状態を示す図であって、１８は優先範囲指定マークであり、図１，図２に対応する部分には同一符号をつけて重複する説明を省略する。
カメラ９の撮影時には、図４に示すように、この情報検索機器１の表示画面２に、カメラ９が撮影する画面（以下、撮影画面という）が表示されている。このとき、表示画面２には、機能画面表示エリア３ａ〜３ｃで表示される機能に従って、操作キー７ａは「切換」機能が付与され、操作キー３ｃは「サブメニュー」機能が付与され、エンターキー５は「情報取得」機能が付与されている。そこで、操作キー７ａを操作してモードの切換を行ない、検索モードを設定すると、表示画面２に表示される撮影画面の中央部が撮影の優先するターゲットの範囲と指定され、その範囲を指定するマーク（優先範囲指定マーク）１８が表示される。なお、この優先範囲指定マーク１８は、撮影開始とともに、表示されるようにしてもよい。
かかる撮影状態で、「情報取得」機能が付与されているエンターキー５を操作すると、上記のように、優先範囲指定マーク１８が付加されたカメラ画像Ａとともに、付加情報Ｂが検索サービスサーバ２００に送信される。表示画面２では、図５に示すように、検索処理の経過が表示される。
図３に戻って、検索サービスサーバ２００は、携帯情報端末１からのカメラ画像Ａと付加情報Ｂとを受信すると、この付加情報Ｂを用いてカメラ画像Ａでの検索アイテムの検索を行なう。
この検索では、付帯情報Ａの位置情報と向き情報とから、地図上での携帯情報端末１の現在位置Ｐとその位置Ｐからの撮影方向とが決定され、レンズ焦点距離情報と撮影倍率情報とから、図６（ａ）に示すように、この現在位置Ｐからカメラ９の撮影方向に見た左右方向の撮影範囲（視野角）ＳLRと、図６（ｂ）に示すように、上下方向の撮影範囲（視野角）ＳUDとが求められ、これら左右撮影範囲ＳLRと上下撮影範囲ＳDUとの内部でのターゲットの検索アイテムを求める。
ここで、現在位置Ｐからの距離に応じて、例えば、近距離内の領域Ｌ1と中距離内の領域Ｌ2と円処理内の領域Ｌ3とに区分され、夫々毎に検索するアイテムの種別が異なるようにする。例えば、レストランや食堂，土産物店などのユーザが直ぐに利用するような施設，場所（◎マークで示す）については、近距離内の領域Ｌ1でアイテムの検索が行なわれ、デパートや映画館といったユーザが多少時間を掛けても利用するような施設，場所（◇マークで示す）については、近距離内の領域Ｌ1及び中距離の領域Ｌ2でアイテムの検索を行ない、名所旧跡などの時間を掛けてもユーザが訪れる場所，施設については（★マークで示す）、近距離内の領域Ｌ1，中距離の領域Ｌ2，遠距離の領域Ｌ3の全ての領域でアイテムの検索が行なわれる。
また、図４で示した優先範囲指定マーク１８で指定される施設，場所は、ユーザが直接検索を目的とするターゲットと見なし、そのアイテムの検索を行なう。さらに、カメラ画像内での看板などの文字情報やタワーなどといった画像の形状を認識し、これが施設や場所を表わすときには、これも検索ターゲットとしてアイテムの検索を行なう。かかる検索は、地図情報や他の適宜の情報を用いて行なうこともできる。
図７（ａ）は検索サービスサーバ２００が有する検索アイテムのデータベース（検索対象データベース）を模式的に示すものであって、検索サービスサーバ２００は、原則として、かかる検索対象データベースを用いてアイテムの検索を行なう。かかる検索対象データベースには、各アイテム毎に、それを識別するＩＤ（識別子），ターゲットの平面上・高さ方向での位置情報，ターゲットの種別（寺社や店舗の種類など），ターゲットの名称（店の名前など），概要（簡単な内容），情報格納アドレス（アイテムのこの検索対象データベースでの格納アドレス）及び関連キーワード（このターゲットに関する後述するコンテンツを検索するためのキーワード）からなるものである。
検索サービスサーバ２００では、かかる検索対象データベースや上記の文字認識，画像認識によるターゲットに対して地図情報や他の適宜の情報を用いて、図６（ａ），（ｂ）で示した撮影範囲内のターゲットのアイテムを検索し、その検索結果をまとめて、図７（ｂ）に示すような検索アイテムリストを作成する。
この検索アイテムリストは、図７（ａ）に示す検索対象データベースと同様、ＩＤ，地理位置，種別，名称，概要，情報格納アドレス，関連キーワードに加え、優先範囲指定マーク１８（図４）内のターゲットのアイテムに対しては、「優先」情報が付加される。また、夫々のアイテムには、ターゲットの認識方法として、図７（ａ）の検索対象データベースによるものであるときには、「地理」との情報を付加し、タワーなどのように、カメラ画像Ａから画像認識されたターゲットに対しては、そのアイテムに「画像」との情報が付加され、看板などのカメラ画像Ａから文字認識されたターゲットに対しては、そのアイテムに「文字」との情報が付加される。そして、画像認識されたターゲットのアイテムには、さらに、その部位画像と「画像認識によって得られた付加情報」も付加されるし、文字認識されたターゲットのアイテムには、さらに、その部位画像と「画像認識によって得られた文字情報」，「画像認識によって得られた付加情報」も付加される。
さらにまた、各アイテムには、カメラ画像Ａでのこれらターゲットの位置を表わす「画像上の座標」も付加される。
図７（ｃ），（ｄ）は検索サービスサーバ２００からネットワーク１００を介して、携帯情報機器１から送信されてきたカメラ画像Ａとともに、携帯情報機器１に返信される検索結果メニュー２０１（図３）であって、図７（ｃ）は図７（ｂ）に示す検索アイテムリストと同じものである。
一方、図３において、携帯情報機器１では、かかる検索結果メニュー２０１をカメラ画像Ａとともに受信し、これを記憶部１１（図２）に格納するとともに、かかるカメラ画像Ａと検索結果メニュー２０１を用いて表示画面２に所望のアイテムに対してコンテンツの検索を行なうための検索画面が表示されるが、このための検索操作がなされると、ネットワーク１００を介してコンテンツサービスサーバ３００にコンテンツのアクセスが行なわれるが、このコンテンツサービスサーバ３００では、各コンテンツが「ＷＥＢ」，「記事・ブログ」，「動画」，「口こみ」の４種の種別に区分され、夫々の種別後とにインデックスが設定されている。
図７（ｄ）はアイテム毎に設定されるコンテンツの種別を示すものであって、ここでは、図示するアイテムに対しては、全ての種別のコンテンツが存在しているものとしているが、ある種別のコンテンツが存在しないアイテムに対しては、このコンテンツの種別は含まれない。
携帯情報端末１では、図７（ｄ）に示すアイテム毎のコンテンツの種別を表わすリストも検索サービスサーバ２００から検索結果メニュー２０１として、カメラ画像Ａとともに、受信すると、図７（ｃ）に示すリストデータに基づく情報とともに、図７（ｄ）に示すコンテンツ種別リストに基づく情報も、カメラ画像Ａが表示された表示画面２に表示し、指定したアイテムのコンテンツをその種別毎にコンテンツサービスサーバ３００で検索できるようにする。
このようにして、コンテンツサービスサーバ３００で検索されたコンテンツ３０１は、ネットワーク１００を介して携帯情報端末１に返信され、表示画面２上に表示される。
なお、携帯情報端末１では、検索サービスサーバ２００から返信される検索結果２０１（図７（ｃ）のデータリスト及び図７（ｄ）のコンテンツ種別リスト）とカメラ画像Ａとが記憶部１１（図２）に保存されるから、後日これを記憶部１１から読み出して表示画面２に表示させることにより、同じコンテンツの検索を行なうことができるし、また、かかるカメラ画像Ａと検索結果２０１を他の携帯情報機器に送信して与えることにより、この検索結果２０１が与えられた携帯情報機器においても、同様のコンテンツ検索を行なうことができる。
図８は検索サービスサーバ２００（図３）の検索結果メニュー２０１に基づく携帯情報機器１の表示画面２で表示される検索画面の一具体例を示す図であって、１９ａ〜１９ｆはアイテムマーク、２０はカーソル、２１はターゲットマーク、２２ａ〜２２ｄはコンテンツ種別インデックス、２３はカーソル、２４は詳細情報であり、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。なお、図８（ｂ）〜（ｄ）では、図面の簡略化を図るため、必要な部分にのみ符号を付している。
図８（ａ）において、表示画面２には、検索サービスサーバ２００から返信されたカメラ画像Ａが表示され、これとともに、図７（ｃ）に示すデータリストに基づいて、このリストデータでのアイテム毎に異なるマーク形状のアイテムマーク１９ａ〜１９ｆが配列されて表示され、かつこれらアイテムマーク１９ａ〜１９ｆのいずれか１つがカーソル２０で指定されて（最初、上記の「優先」情報のアイテムマークが指定されている）、この指定されたアイテムマーク、ここでは、アイテムマーク１９ｃに該当するカメラ画像Ａでのターゲットの位置に、同じマーク形状のターゲットマーク２１が付されて表示される。
これらアイテムマーク１９ａ〜１９ｆは、図７（ｃ）に示すリストデータでのアイテムのＩＤ毎に割り当てられたものであり、カメラ画像Ａでのターゲットマーク２１の表示位置は、図７（ｃ）に示すリストデータでの「画像上の座標」によって決定される。
また、図８（ａ）に示す表示画面２には、コンテンツ種別インデックス２２ａ〜２２ｃが表示される。かかるコンテンツ種別インデックス２２ａ〜２２ｃは、図７（ｄ）に示すコンテンツ種別リストに基づくものであり、アイテムマーク１９（アイテムマーク１９ａ〜１９ｆのいずれか）が指定されたアイテムに対するコンテンツ種別を表わして、これらのいずれかのコンテンツを選択的に検索可能とするものである。ここでは、指定されたアイテムマーク１９ｃのアイテムに対しては、コンテンツ種別が「記事・ブログ」，「動画」，「口コミ」の３つの種別があることになる。コンテンツ種別インデックス２２ａ〜２２ｃも、そのいずれか１つ（この場合、「記事・ブログ」のコンテンツ種別インデックス２２ａ）がカーソル２３によって指定されている。
かかるカーソル２０，２２は図１における操作部４での上キー６Ｕ，下キー６Ｄ，左キー６Ｌ及び右キー６Ｒの操作によって操作することができる。この場合、上キー６Ｕ，下キー６Ｄはカーソル２０，２２を上下に移動するためのものであって、上キー６Ｕが操作されると、上側のカーソル２０が指定され、左キー６Ｌ，右キー６Ｒの操作によってカーソル２０を左右にスライドさせてアイテムマーク１９ａ〜１９ｆのいずれかを任意に指定することができる。また、下キー６Ｄが操作されると、下側のカーソル２３が指定され、左キー６Ｌ，右キー６Ｒの操作によってカーソル２３を左右にスライドさせてコンテンツ種別インデックス２２ａ〜２２ｃのいずれかを任意に指定することができる。
図８（ａ）に示す表示状態では、機能画面表示エリア３ａに「詳細」機能画面が表示され、機能画面表示エリア３ｂに「結果一覧」機能画面が表示され、機能画面表示エリア３ｃに「サブメニュー」機能画面が表示されている状態を示しているが、「詳細」機能が付与された操作キー７ａ（図１）を操作すると、図８（ｂ）に示すように、図７（ｃ）に示すリストデータでの「概要」の情報に基づいて、このとき指定されているアイテムマーク１９ｃに該当するターゲット（即ち、ターゲットマーク２１が付されているターゲット）に関する詳細情報（このターゲットの概要）２４が、例えば、「本家日立屋 ［商店］みやげ物」というように表示される。このとき、機能画面表示エリア３ａでは、「詳細」機能画面に代わって、「詳細隠す」機能画面が表示され、この機能が付与された操作キー７ａ（図１）を操作すると、詳細情報２４の表示がなくなって図８（ａ）に示す表示状態に戻る。
また、図８（ａ）に示す表示状態でカーソル２０を左隣りのアイテムマーク１９ｂに移すと、このアイテムマーク１９ｂに該当するターゲットにこれと同じマーク形状のターゲットマーク２１が付される。このアイテムマーク１９ｃのアイテムに対して、コンテンツ種別が「ＷＥＢ」，「記事・ブログ」，「動画」，「口コミ」の４つの種別があるとすると、「ＷＥＢ」のコンテンツ種別インデックス２２ａ，「記事・ブログ」のコンテンツ種別インデックス２２ｂ，「動画」のコンテンツ種別インデックス２２ｃ，「口コミ」のコンテンツ種別インデックス２２ｄが配列表示される。そして、これらコンテンツ種別インデックス２２ａ〜２２ｄのいずれか、この場合、「ＷＥＢ」のコンテンツ種別インデックス２２ａをカーソル２３によって指定し、操作キー７ａ（図１）を操作すると、図８（ｃ）に示すように、アイテムマーク１９ｂに該当するターゲットの詳細情報（概要）」が、例えば、「○○○山○○寺「史跡・寺院」○○○○が開山」というように表示される。
このとき、機能画面表示エリア３ａでは、「詳細」機能画面に代わって、「詳細隠す」機能画面が表示され、この機能が付与された操作キー７ａ（図１）を操作すると、詳細情報２４の表示がなくなって表示状態になる。
図８（ｄ）は、同様にして、図８（ｃ）の表示状態からカーソル２０をさらに１つ左に移動させ、詳細情報２４を表示させた状態を示すものである。
図９は検索サービスサーバの検索結果メニュー２０１に基づく携帯情報機器１の表示画面２で表示される検索画面の他の具体例を示す図であって、２５は検索メニュー画面、２６はスクロールバー、２７はカーソル、２８は動画コンテンツであり、図８に対応する部分には同一符号をつけて重複する説明を省略する。なお、図９（ａ）〜（ｄ）では、図面の簡略化を図るため、必要な部分にのみ符号を付している。
図９（ａ）はカーソル２０によってアイテムマーク１９ａが指定された状態を示すものであって、図８（ｄ）での詳細情報２４が表示されていない状態と同様である。
かかる表示状態において、下キー６Ｄ（図１）を操作することによって下側のカーソル２３を指定し、右キー６Ｒ（図１）を操作してカーソル２３を「動画」のコンテンツ種別インデックス２２ｂに移すと、図９（ｂ）に示す表示状態となる。
次に、この図９（ｂ）に示す状態で、「結果一覧」機能画面の機能画面表示エリア３ｂで「結果一覧」機能が付与されているエンターキー５（図１）を操作すると、カーソル２０によって指定されているアイテムマーク１９ａに該当するターゲット（元祖日立屋）について、その動画情報に関する検索がコンテンツサービスサーバ３００（図３）に対してなされ、その検索結果として、図９（ｃ）に示すように、動画コンテンツのタイトルが配列された一覧の検索メニュー画面２５が表示され、カーソル２７によってそのいずれかを指定できる。このカーソル２７は、操作部４での上キー６Ｕと下キー６Ｄ（図１）との操作で上下に移動させることができる。また、全てのタイトルが表示画面２に表示しきれない場合には、その一部が表示されるが、スクロールバー２６により、タイトルの一覧が上下にスクロールし、全てのタイトルを表示させることができる。
この検索メニュー画面２５が表示される表示画面２では、機能画面表示エリア３ｂでは、「再生」機能画面が表示されてエンターキー５（図１）は再生機能が付与されており、このエンターキー５を操作することにより、図９（ｄ）に示すように、指定されたタイトルの動画コンテンツが、検索コンテンツ３０１として、コンテンツサービスサーバ３００から取得でき、図９（ｄ）に示すように、表示画面２にこの動画コンテンツ２８が表示される。
このとき、機能画面表示エリア３ｂでは、「一時停止」機能画面が表示されてエンターキー５（図１）は一時停止機能が付与されており、このエンターキー５を操作することにより、動画コンテンツの表示状態が一時停止して図９（ｃ）に示す表示状態に戻る。そして、この一時停止状態では、カーソル２７を移動させない限り続いており、再度、再生機能が付与されているエンターキー５を操作することにより、一時停止が解除されて、図９（ｄ）に示す動画コンテンツの表示が続けられる。
また、例えば、図９（ｃ）に示す表示状態で「戻る」キー７ｃ（図１）を操作すると、図９（ｂ）に示す表示状態に戻る。
図１０は検索サービスサーバの検索結果メニュー２０１に基づく携帯情報機器１の表示画面２で表示される検索画面のさらに他の具体例を示す図であって、２９はサブメニュー画面、２９ａ，２９ｂ，……はサブメニュー、３０はカーソル、３１は選択画面、３２ａ．３２ｂは選択項目、３３はカーソル、３４はメッセージであり、図８，図９に対応する部分には同一符号をつけて重複する説明を省略する。なお、図１０（ａ）〜（ｃ）では、図面の簡略化を図るため、必要な部分にのみ符号を付している。
いま、図８，図９に示す表示画面２での表示状態で、機能画面表示エリア３ｃによって「サブメニュー」の機能が付与されている操作キー７ｂ（図１）を操作すると、図１０（ａ）に示すように、サブメニュー画面２９が表示される。このサブメニュー画面２９では、１以上のサブメニュー２９ａ，２９ｂ，……が配列表示され、そのいずれかをカーソル３０で指定されており、上キー６Ｕ，下キー６Ｄを操作することにより、このカーソル３０を上下に移動させることができ、これにより、任意のサブカーソルを指定することができる。
いま、サブメニュー２９ａを「検索メニュー保存」メニュー、サブメニュー２９ｂを「再検索」サブメニュー，……とし、機能画面表示エリア３ｂによって「結果一覧」の機能が付与されているエンターキー５（図１）を操作すると、このときカーソル３０によって指定されているサブメニュー「検索メニュー保存」が決定され、図１０（ｂ）に示すように、保存方法の選択画面３１が表示される。この選択画面３１では、例えば、「写真と検索の付加情報、検索結果を保存」の方法の選択項目３２ａと「写真と付加情報のみ保存」の方法との選択項目３２ｂが表示され、上キー６Ｕ，下キー６Ｄ（図１）を操作することにより、カーソル３３を上下に移動させていずれかの選択項目３２ａ，３２ｂのいずれかを指定でき、機能画面表示エリア３ｂに「選択」の機能画面が表示されることによって選択機能が付与されているエンターキー５を操作することにより、カーソル３３で指定されているこれら選択項目３２ａ，３２ｂのいずれかを選択して実行させることができる。
いま、選択項目３２ａを指定し、エンターキー５の操作でこれを選択すると、この選択項目の保存方法が実行され、写真（即ち、上記のカメラ画像Ａ）と付加情報Ｂと検索サービスサーバ２００からの図７（ｃ），（ｄ）に示す検索情報とが記憶部１１（図２）に記憶保存される。そして、かかる保存処理が終了すると、図１０（ｃ）に示すように、保存処理が終了したことを通知するメッセージ３４が表示される。このとき、機能画面表示エリア３ｂには、「ＯＫ」の機能画面が表示され、この機能が付与されたエンターキー５（図１）を操作することにより、図１０（ａ）に示すサブメニュー画面２９が表示される前の表示状態に戻る。
なお、図１０（ａ）において、「再検索」のサブメニュー２９ｂをカーソル３０で指定し、エンターキー５（図１）を操作すると、図示しないが、記憶部１１（図２）に記憶保存されているカメラ画像（写真）Ａの一覧が読み出されて表示され、そのうちのいずれかを選択することにより、その選択されたカメラ画像Ａに対する検索サービスサーバ２００での検索結果２０１が記憶部１１に保存されている場合には、これが記憶部１１から読み出されて、例えば、図８（ａ）に示すように、表示がなされ、また、検索結果２０１が記憶部１１に記憶されていないときには、かかるカメラ画像Ａと記憶部１１からの付加情報Ｂとが、上記のように、検索サービスサーバ２００に送られて検索が行なわれ、その検索結果２０１を用いて、例えば、図８（ａ）に示すような表示が行なわれる。これにより、一度検索に用いたカメラ画像Ａなどを用いて再検索ができる。
さらに、図１０（ａ）に示されるサブメニュー画面２９には、図示しないが、「送信」などのサブメニューもあり、これを用いることにより、カメラ画像Ａとその付加情報Ｂとを、さらには、その検索結果を組み合わせて、他の携帯情報機器などに送信することができるし、また、他の携帯情報機器などから取得することができる。かかる携帯情報機器などでは、このようにして取得した情報を基に、上記のように、検索サービスサーバ２００での上記の検索やコンテンツサービスサーバ３００での上記のコンテンツ検索を行なうことができる。
図１１は検索サービスサーバの検索結果メニュー２０１に基づく携帯情報機器１の表示画面２で表示される検索画面のさらに他の具体例を示す図であって、３５ａ〜３５ｆはアイテムマークであり、図８，図９に対応する部分には同一符号をつけて重複する説明を省略する。なお、図１１では、図面の簡略化を図るため、必要な部分にのみ符号を付している。
同図において、この具体例は、アイテムマーク３５ａ〜３５ｆ夫々を表示されるカメラ画像Ａ上の該当するターゲットの表示位置に表示するものであり、かかるアイテムマーク３５ａ〜３５ｆを、先の図８，図９に示すアイテムマーク１９ａ〜１９ｆと同様の機能を持たせるとともに、ターゲットの位置を示すターゲットマークとしての機能も持たせたものである。
かかるアイテムマーク３５ａ〜３５ｆの指定は、上キー６Ｕと下キー６Ｄとの操作によって行なわれるものであって、かかる指定を行なうカーソルは特定の色付きとなっている。即ち、かかるカーソルで指定されたアイテムマークは、指定されないアイテムマークとは異なる色で表示される。
これ以外については、図８〜図１０と同様である。
本発明によるカメラ付き情報検索装置の一実施形態の要部を示す構成図である。 図１に示す携帯情報機器の回路構成を示すブロック図である。 図１及び図２に示す実施形態を用いた情報検索システムを示すシステム構成図である。 図１に示す携帯情報機器の表示画面でのカメラの撮影時の表示状態を示す図、１８は優先範囲指定マークである。 図１に示す携帯情報機器の表示画面でのアイテム検索時での表示状態を示す図である。 図３における検索サービスサーバで検出される撮影範囲を示す図である。 図３における検索サービスサーバでの検索動作を説明するための図である。 図３における検索サービスサーバの検索結果メニューに基づく携帯情報機器の表示画面で表示される検索画面の一具体例を示す図である。 図３における検索サービスサーバの検索結果メニューに基づく携帯情報機器の表示画面で表示される検索画面の他の具体例を示す図である。 図３における検索サービスサーバの検索結果メニューに基づく携帯情報機器の表示画面で表示される検索画面のさらに他の具体例を示す図である。 図３における検索サービスサーバの検索結果メニューに基づく携帯情報機器の表示画面で表示される検索画面のさらに他の具体例を示す図である。
符号の説明
１ 携帯情報機器
２ 表示画面
３ａ，３ｂ，３ｃ 機能画面表示エリア
４ 操作部
５ エンターキー
６Ｕ 上キー
６Ｄ 下キー
６Ｌ 左キー
６Ｒ 右キー
７ａ，７ｂ 操作キー
７ｃ 「戻る」キー
８ 処理部
９ カメラ
１０ 表示部
１１ 記憶部
１２ ＧＰＳ
１３ 地磁気センサ
１４ ＩＣタグ
１５ 通信部
１６ アンテナ
１７ 通信線コネクタ
１８ 優先範囲指定マーク
１９ａ〜１９ｆ アイテムマーク
２０ カーソル
２１ ターゲットマーク
２２ａ〜２２ｄ コンテンツ種別インデックス
２３ カーソル
２４ 詳細情報
２５ 検索メニュー画面
２６ スクロールバー
２７ カーソル
２８ 動画コンテンツ
２９ サブメニュー画面
２９ａ，２９ｂ，…… サブメニュー
３０ カーソル
３１ 選択画面
３２ａ．３２ｂ 選択項目
３３ カーソル
３４ メッセージ
３５ａ〜３５ｆ アイテムマーク
１００ ネットワーク
２００ 検索サービスサーバ
３００ コンテンツサービスサーバ

Claims (7)

  1. 撮影のためのカメラと、表示部と、現在位置を検出する位置検出手段と、該カメラの向きを検出する向き検出手段とを備えたカメラ付き情報検索装置において、
    該カメラのカメラ画像を、該位置検出手段で検出された位置情報と該向き検出手段で検出された向き情報と該カメラのレンズ焦点距離情報，撮影倍率情報とからなる付加情報をサーバに送信し、該カメラ画像の撮影範囲での１以上のターゲットの検索を要求する手段と、
    該付加情報に基づいて検出される該カメラの撮影範囲内でのターゲットや該カメラ画像内の情報から検出されるターゲットに関する該サーバからの検索結果を受信する手段と、
    受信した該検索結果を処理し、該表示部の表示画面に夫々のターゲットの検索画面を表示させる処理手段と
    を設け、
    該検索画面では、夫々のターゲット毎に該ターゲットに該当する選択情報を表示し、該選択情報を選択することにより、該当する該ターゲットに関する詳細情報を取得可能に構成したことを特徴とするカメラ付き情報検索装置。
  2. 請求項１において、
    前記表示画面には、前記カメラ画像が表示されるとともに、前記選択情報として前記ターゲット毎のアイテムマークが配列されて表示され、かつ前記カメラ画像での前記ターゲットが存在する位置に該アイテムマークに該当するターゲットマークが表示され、該アイテムマークと該アイテムマークに該当する該カメラ画像上のターゲットとを対応付けたことを特徴とするカメラ付き情報検索装置。
  3. 請求項１において、
    前記表示画面には、前記カメラ画像が表示されるとともに、前記選択情報としてのアイテムマークが前記ターゲット毎に表示され、
    前記ターゲット毎のアイテムマークは、前記カメラ画像での該当するターゲットの位置に表示されることを特徴とするカメラ付き情報検索装置。
  4. 請求項１，２または３において、
    前記サーバの検索結果に基づいて、選択された前記選択情報に該当する前記ターゲットのコンテンツの種別を表わすコンテンツ種別インデックスを配列表示し、該コンテンツ種別インデックスのいずれかを選択することにより、選択された該コンテンツ種別インデックスに対応する種別のコンテンツを検索可能としたことを特徴とするカメラ付き情報検索装置。
  5. 請求項１，２，３または４において、
    前記カメラ画像と前記付加情報とを、もしくは前記カメラ画像と前記付加情報と前記サーバによる検索結果とを記憶して保存する記憶手段を設けたことを特徴とするカメラ付き情報検索装置。
  6. 請求項５において、
    前記記憶手段に保存されている前記カメラ画像と前記付加情報とを用いて、前記サーバでの前記検索を可能に構成したことを特徴とするカメラ付き情報検索装置。
  7. 請求項５において、
    前記記憶手段に保存されている前記カメラ画像と前記付加情報とを他の情報検索装置に送信する手段を設けたことを特徴とするカメラ付き情報検索装置。
JP2007088703A 2007-03-29 2007-03-29 検索サービスサーバの情報検索方法。 Expired - Fee Related JP4914268B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007088703A JP4914268B2 (ja) 2007-03-29 2007-03-29 検索サービスサーバの情報検索方法。
US12/014,328 US8416309B2 (en) 2007-03-29 2008-01-15 Camera-fitted information retrieval device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007088703A JP4914268B2 (ja) 2007-03-29 2007-03-29 検索サービスサーバの情報検索方法。

Publications (2)

Publication Number Publication Date
JP2008250474A true JP2008250474A (ja) 2008-10-16
JP4914268B2 JP4914268B2 (ja) 2012-04-11

Family

ID=39975381

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007088703A Expired - Fee Related JP4914268B2 (ja) 2007-03-29 2007-03-29 検索サービスサーバの情報検索方法。

Country Status (2)

Country Link
US (1) US8416309B2 (ja)
JP (1) JP4914268B2 (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009301485A (ja) * 2008-06-17 2009-12-24 Olympus Corp 情報表示システムおよびそれを用いた携帯情報端末
WO2010075155A2 (en) * 2008-12-22 2010-07-01 Adi Gaash Method and system for searching for information pertaining target objects
WO2010095426A1 (ja) * 2009-02-20 2010-08-26 株式会社ニコン 携帯情報機器、撮像装置、及び情報取得システム
JP2011009915A (ja) * 2009-06-24 2011-01-13 Nec Biglobe Ltd 対象物情報表示装置、対象物情報表示方法、対象物情報表示プログラム
JP2011009916A (ja) * 2009-06-24 2011-01-13 Nec Biglobe Ltd 対象物情報表示装置、対象物情報表示方法、対象物情報表示プログラム
KR101136944B1 (ko) 2010-05-17 2012-04-19 에스디 솔루션스(주) 무선 단말을 이용한 컨텐츠 제공 시스템 및 방법
WO2012053118A1 (en) * 2010-10-22 2012-04-26 Telefonaktiebolaget L M Ericsson (Publ) Image matching apparatus and image matching method
JP2013515317A (ja) * 2009-12-24 2013-05-02 インテル・コーポレーション 状況により適応的にイメージマッチングを行うための方法、システム、及びコンピュータ読み取り可能な記録媒体
JP2013517567A (ja) * 2010-01-12 2013-05-16 クアルコム，インコーポレイテッド 軌道ベースのロケーション判断を使用した画像識別
US8730337B2 (en) 2008-08-08 2014-05-20 Nikon Corporation Portable information device, imaging apparatus and information acquisition system
KR101447180B1 (ko) 2009-04-28 2014-10-07 에스케이플래닛 주식회사 실시간 영상 제공 서비스 시스템
WO2014174547A1 (ja) * 2013-04-22 2014-10-30 富士通株式会社 システムの制御方法、携帯情報端末の制御方法、サーバの制御方法
KR20150015944A (ko) * 2013-08-02 2015-02-11 주식회사 케이티 이미지에 관련된 정보를 제공받는 사용자 디바이스 및 방법
JP2015509746A (ja) * 2011-12-21 2015-04-02 エスセーアー・ハイジーン・プロダクツ・アーベー 吸収製品における流体の吸収を測定するための方法
WO2015093020A1 (ja) 2013-12-18 2015-06-25 日本電気株式会社 カメラ端末装置、シンクライアントサーバ装置、カメラシステム、および制御方法
JP2016143269A (ja) * 2015-02-03 2016-08-08 日本電信電話株式会社 コンテンツ検索装置、コンテンツ検索方法、コンテンツ格納装置およびコンテンツ格納方法
US9420251B2 (en) 2010-02-08 2016-08-16 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
CN108028881A (zh) * 2015-09-25 2018-05-11 富士胶片株式会社 摄像辅助系统、装置及方法、以及摄像终端
WO2020213086A1 (ja) * 2019-04-17 2020-10-22 マクセル株式会社 情報処理装置、アプリケーション実行方法およびアプリケーション実行履歴登録方法
JP2022049559A (ja) * 2020-09-16 2022-03-29 ヤフー株式会社 制御プログラム、制御方法、端末装置及びサーバ装置

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD609714S1 (en) 2007-03-22 2010-02-09 Fujifilm Corporation Electronic camera
TWI370909B (en) * 2008-04-02 2012-08-21 Univ Nat Chiao Tung Inquiry system and method for location-based image, video, and information
KR101778135B1 (ko) * 2009-08-24 2017-09-14 삼성전자주식회사 오브젝트 정보 제공방법 및 이를 적용한 촬영장치
US8315673B2 (en) * 2010-01-12 2012-11-20 Qualcomm Incorporated Using a display to select a target object for communication
EP2362627B1 (en) * 2010-02-22 2019-06-26 Samsung Electronics Co., Ltd. Location-based communication method and system
US8185596B2 (en) * 2010-02-22 2012-05-22 Samsung Electronics Co., Ltd. Location-based communication method and system
US20110211087A1 (en) * 2010-02-26 2011-09-01 Nokia Corporation Method and apparatus providing for control of a content capturing device with a requesting device to thereby capture a desired content segment
US8654235B2 (en) * 2010-08-13 2014-02-18 Lg Electronics Inc. Apparatus and method for displaying service information provided in service zone
WO2013131036A1 (en) * 2012-03-01 2013-09-06 H4 Engineering, Inc. Apparatus and method for automatic video recording
EP2836959A2 (en) * 2012-04-13 2015-02-18 Lightcraft Technology, LLC Hybrid precision tracking
JP6020986B2 (ja) * 2012-04-17 2016-11-02 株式会社日立製作所 対象物特定システム、対象物特定サーバ及び対象物特定端末
JP5709829B2 (ja) * 2012-12-17 2015-04-30 キヤノン株式会社 外部装置、外部装置の制御方法、撮像システムおよび撮像システムの制御方法
US9298746B2 (en) * 2014-03-19 2016-03-29 International Business Machines Corporation Collaborative capture of photographic images
CN105701125A (zh) * 2014-11-27 2016-06-22 英业达科技有限公司 电子装置以及显示影像于电子装置上的方法
KR102299262B1 (ko) * 2015-06-23 2021-09-07 삼성전자주식회사 단말기에서 부가 컨텐츠를 제공하는 방법 및 이를 이용하는 단말기
FR3050053B1 (fr) * 2016-04-06 2018-05-04 L'air Liquide, Societe Anonyme Pour L'etude Et L'exploitation Des Procedes Georges Claude Procede de calcul de l'autonomie d'un ensemble de distribution de gaz

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222583B1 (en) * 1997-03-27 2001-04-24 Nippon Telegraph And Telephone Corporation Device and system for labeling sight images
JP2003122757A (ja) 2001-10-10 2003-04-25 Sony Corp 検索案内システム、端末装置およびサーバ装置
JP2003323440A (ja) 2002-04-30 2003-11-14 Japan Research Institute Ltd 携帯端末を用いた撮影画像の情報提供システム、撮影画像の情報提供方法、およびその方法をコンピュータに実行させるプログラム
JP2004320464A (ja) 2003-04-16 2004-11-11 Nec Corp 携帯電話画像サービスシステム、その方法及びプログラム
US20060195858A1 (en) * 2004-04-15 2006-08-31 Yusuke Takahashi Video object recognition device and recognition method, video annotation giving device and giving method, and program
US7728869B2 (en) * 2005-06-14 2010-06-01 Lg Electronics Inc. Matching camera-photographed image with map data in portable terminal and travel route guidance method
JP2007194948A (ja) * 2006-01-19 2007-08-02 Fujifilm Corp 画像編集装置及び画像編集プログラム

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009301485A (ja) * 2008-06-17 2009-12-24 Olympus Corp 情報表示システムおよびそれを用いた携帯情報端末
US8730337B2 (en) 2008-08-08 2014-05-20 Nikon Corporation Portable information device, imaging apparatus and information acquisition system
US11445117B2 (en) 2008-08-08 2022-09-13 Nikon Corporation Portable information device having real-time display with relevant information
US9743003B2 (en) 2008-08-08 2017-08-22 Niko Corporation Portable information device having real-time display with relevant information
US11647276B2 (en) 2008-08-08 2023-05-09 Nikon Corporation Portable information device having real-time display with relevant information
US10917575B2 (en) 2008-08-08 2021-02-09 Nikon Corporation Portable information device having real-time display with relevant information
US11979654B2 (en) 2008-08-08 2024-05-07 Nikon Corporation Portable information device having real-time display with relevant information
WO2010075155A2 (en) * 2008-12-22 2010-07-01 Adi Gaash Method and system for searching for information pertaining target objects
WO2010075155A3 (en) * 2008-12-22 2010-09-23 Adi Gaash Method and system for searching for information pertaining target objects
JP2017134859A (ja) * 2009-02-20 2017-08-03 株式会社ニコン 携帯型端末、情報取得システム、及びプログラム
US11836194B2 (en) 2009-02-20 2023-12-05 Nikon Corporation Mobile information device, image pickup device, and information acquisition system
US10430471B2 (en) 2009-02-20 2019-10-01 Nikon Corporation Mobile information device, image pickup device, and information acquisition system
JP2022107744A (ja) * 2009-02-20 2022-07-22 株式会社ニコン 建造物情報検索システム
JP7294501B2 (ja) 2009-02-20 2023-06-20 株式会社ニコン 建造物情報検索システム
TWI649730B (zh) * 2009-02-20 2019-02-01 日商尼康股份有限公司 資訊取得系統、攜帶型終端、伺服器、以及攜帶資訊機器用程式
WO2010095426A1 (ja) * 2009-02-20 2010-08-26 株式会社ニコン 携帯情報機器、撮像装置、及び情報取得システム
KR101447180B1 (ko) 2009-04-28 2014-10-07 에스케이플래닛 주식회사 실시간 영상 제공 서비스 시스템
JP2011009915A (ja) * 2009-06-24 2011-01-13 Nec Biglobe Ltd 対象物情報表示装置、対象物情報表示方法、対象物情報表示プログラム
JP2011009916A (ja) * 2009-06-24 2011-01-13 Nec Biglobe Ltd 対象物情報表示装置、対象物情報表示方法、対象物情報表示プログラム
JP2013515317A (ja) * 2009-12-24 2013-05-02 インテル・コーポレーション 状況により適応的にイメージマッチングを行うための方法、システム、及びコンピュータ読み取り可能な記録媒体
JP2013517567A (ja) * 2010-01-12 2013-05-16 クアルコム，インコーポレイテッド 軌道ベースのロケーション判断を使用した画像識別
US11048941B2 (en) 2010-02-08 2021-06-29 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
US10452914B2 (en) 2010-02-08 2019-10-22 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
US9756253B2 (en) 2010-02-08 2017-09-05 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
US11455798B2 (en) 2010-02-08 2022-09-27 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
US9420251B2 (en) 2010-02-08 2016-08-16 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
US11741706B2 (en) 2010-02-08 2023-08-29 Nikon Corporation Imaging device and information acquisition system in which an acquired image and associated information are held on a display
KR101136944B1 (ko) 2010-05-17 2012-04-19 에스디 솔루션스(주) 무선 단말을 이용한 컨텐츠 제공 시스템 및 방법
WO2012053118A1 (en) * 2010-10-22 2012-04-26 Telefonaktiebolaget L M Ericsson (Publ) Image matching apparatus and image matching method
US9098948B2 (en) 2010-10-22 2015-08-04 Telefonaktiebolaget L M Ericsson (Publ) Image matching apparatus and image matching method
JP2015509746A (ja) * 2011-12-21 2015-04-02 エスセーアー・ハイジーン・プロダクツ・アーベー 吸収製品における流体の吸収を測定するための方法
JPWO2014174547A1 (ja) * 2013-04-22 2017-02-23 富士通株式会社 システムの制御方法、携帯情報端末の制御方法、サーバの制御方法
US9997140B2 (en) 2013-04-22 2018-06-12 Fujitsu Limited Control method, information processing device and recording medium
WO2014174547A1 (ja) * 2013-04-22 2014-10-30 富士通株式会社 システムの制御方法、携帯情報端末の制御方法、サーバの制御方法
KR102105969B1 (ko) 2013-08-02 2020-04-29 주식회사 케이티 이미지에 관련된 정보를 제공받는 사용자 디바이스 및 방법
KR20150015944A (ko) * 2013-08-02 2015-02-11 주식회사 케이티 이미지에 관련된 정보를 제공받는 사용자 디바이스 및 방법
KR20160087839A (ko) 2013-12-18 2016-07-22 닛본 덴끼 가부시끼가이샤 카메라 단말 장치, 씬 클라이언트 서버 장치, 카메라 시스템, 및 제어 방법
WO2015093020A1 (ja) 2013-12-18 2015-06-25 日本電気株式会社 カメラ端末装置、シンクライアントサーバ装置、カメラシステム、および制御方法
JP2016143269A (ja) * 2015-02-03 2016-08-08 日本電信電話株式会社 コンテンツ検索装置、コンテンツ検索方法、コンテンツ格納装置およびコンテンツ格納方法
CN108028881A (zh) * 2015-09-25 2018-05-11 富士胶片株式会社 摄像辅助系统、装置及方法、以及摄像终端
WO2020213086A1 (ja) * 2019-04-17 2020-10-22 マクセル株式会社 情報処理装置、アプリケーション実行方法およびアプリケーション実行履歴登録方法
JP2022049559A (ja) * 2020-09-16 2022-03-29 ヤフー株式会社 制御プログラム、制御方法、端末装置及びサーバ装置
JP7260517B2 (ja) 2020-09-16 2023-04-18 ヤフー株式会社 制御プログラム、制御方法、端末装置及びサーバ装置

Also Published As

Publication number Publication date
US20090096875A1 (en) 2009-04-16
US8416309B2 (en) 2013-04-09
JP4914268B2 (ja) 2012-04-11

Similar Documents

Publication Publication Date Title
JP4914268B2 (ja) 検索サービスサーバの情報検索方法。
US11741706B2 (en) Imaging device and information acquisition system in which an acquired image and associated information are held on a display
US9721392B2 (en) Server, client terminal, system, and program for presenting landscapes
TWI661723B (zh) 攜帶資訊機器及資訊取得系統
JP4796435B2 (ja) 画像ビューア
JP2016103268A (ja) モバイル機器及びモバイル機器と情報を送受信するサーバ
JP2011527004A (ja) ナビゲータとしてのモバイルイメージング装置
JP2005100276A (ja) 情報処理システム、情報処理装置、情報処理方法及びプログラム
JP2011009916A (ja) 対象物情報表示装置、対象物情報表示方法、対象物情報表示プログラム
JP2014002446A (ja) 情報処理装置およびプログラム
JP6005474B2 (ja) 情報処理システム、情報処理端末、情報処理方法、およびプログラム
JP4432256B2 (ja) 対比表示機能を有する光学機器
JP2015026105A (ja) 画像評価サーバ
JP2015032861A (ja) 画像抽出サーバ、画像抽出装置、及び画像抽出プログラム
JP5432000B2 (ja) 情報提示システム及びプログラム
KR20110052247A (ko) 촬영 이미지를 제공하는 촬영 장치, 촬영 이미지 및 연관 이미지를 디스플레이하는 디스플레이 장치 및 그 방법들
JP2010021885A (ja) 撮像装置及び撮像支援方法
JP2006133947A (ja) 携帯装置及び画像ファイル検索方法
JP5493581B2 (ja) 情報処理システム、情報処理装置、情報管理装置及びプログラム
KR20060121435A (ko) 카메라폰에서의 이미지 정보 검색 방법
JP2014016274A (ja) 情報処理装置
JP2011041167A (ja) 撮像装置及び位置情報付加装置
JP2013250643A (ja) 情報表示端末及びこれに用いるプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090310

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090508

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090714

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091013

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20091029

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20091113

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111213

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120120

R150 Certificate of patent or registration of utility model

Ref document number: 4914268

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150127

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees