JP2005208761A - 情報呈示システム - Google Patents

情報呈示システム Download PDF

Info

Publication number
JP2005208761A
JP2005208761A JP2004012366A JP2004012366A JP2005208761A JP 2005208761 A JP2005208761 A JP 2005208761A JP 2004012366 A JP2004012366 A JP 2004012366A JP 2004012366 A JP2004012366 A JP 2004012366A JP 2005208761 A JP2005208761 A JP 2005208761A
Authority
JP
Japan
Prior art keywords
template
information
unit
matching
server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004012366A
Other languages
English (en)
Other versions
JP4198071B2 (ja
Inventor
Yukito Furuhashi
幸人 古橋
Yuichiro Akatsuka
祐一郎 赤塚
Takao Shibazaki
隆男 柴▲崎▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2004012366A priority Critical patent/JP4198071B2/ja
Priority to EP05703934A priority patent/EP1727086A1/en
Priority to PCT/JP2005/000706 priority patent/WO2005069214A1/ja
Priority to CNB2005800001639A priority patent/CN100336062C/zh
Publication of JP2005208761A publication Critical patent/JP2005208761A/ja
Priority to US11/227,850 priority patent/US7136529B2/en
Application granted granted Critical
Publication of JP4198071B2 publication Critical patent/JP4198071B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99931Database or file accessing
    • Y10S707/99933Query processing, i.e. searching
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00Data processing: database and file management or data structures
    • Y10S707/99941Database schema or data structure
    • Y10S707/99944Object-oriented database structure
    • Y10S707/99945Object-oriented database structure processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】良好なシステム効率を有する情報呈示システムを提供する。
【解決手段】情報呈示システムであって、テンプレートマッチングの対象となる情報を入力する情報入力部11と、テンプレート群を記憶するテンプレート記憶部13と、入力情報と、記憶されたテンプレート群とをテンプレートマッチングするテンプレートマッチング部12と、マッチング結果に基づいて関連する情報を検索する複数の関連情報検索部31-1〜31-n と、入力情報と、マッチング結果と、検索結果とから、出力する情報を処理する情報処理部15と、処理された情報を出力する出力部16と、使用者がテンプレート群を選択するためのテンプレート選択部14と、予め定義されたテンプレート群の中から選択されたテンプレート群をテンプレート記憶部13へ送信するテンプレート供給部21とを具備し、テンプレート供給部21と複数の関連情報検索部31-1〜31-n とは互いに独立に設けられている。
【選択図】 図1

Description

本発明は、情報呈示システムに関するものである。
日本国特許第3225882号公報は、サーバと、当該サーバと通信回線で接続された情報呈示端末とを含んだ景観ラベリングシステムにおいて、端末側でテンプレートマッチングを行い、必要な情報を抽出して重畳する方法を開示している。
日本国特許第3225882号公報
テンプレートマッチングを端末側で行うことは、応答性を高めるためには有効であるが、大量のテンプレートを携帯端末内に保持しておくことは困難である。
また、サーバ側でテンプレートマッチングを行う場合であっても、ユーザが使用するテンプレート群だけに絞り込んで処理しなければ、実用的な応答性を実現できない。
更に、テンプレートがコンテンツに含まれている場合、テンプレートマッチングをする同一の対象物であるにもかかわらず、コンテンツ毎に異なるテンプレートを利用しなければならなかった。このため、限られた記憶容量の携帯端末内に同一の内容を指し示す、異なるテンプレートを格納することになり、効率が良くなかった。また、サーバ側でテンプレートマッチングを行う場合であっても同様に、システム効率が低くなっていた。
本発明はこのような課題に着目してなされたものであり、テンプレートマッチングを用いた情報呈示システムにおいて、良好なシステム効率を有する情報呈示システムを提供することにある。
上記の目的を達成するために、第1の発明は、サーバと、当該サーバと通信回線で接続された情報呈示端末とを含み、テンプレートマッチングを用いた情報呈示システムであって、前記テンプレートマッチングの対象となる情報を入力する情報入力部と、テンプレート群を記憶するテンプレート記憶部と、前記情報入力部から入力された情報と、前記テンプレート記憶部に記憶されたテンプレート群とをテンプレートマッチングするテンプレートマッチング部と、前記テンプレートマッチング部のマッチング結果に基づいて関連する情報を検索する複数の関連情報検索部と、前記情報入力部から入力された情報と、前記テンプレートマッチング部のマッチング結果と、前記関連情報検索部の検索結果とから、出力する情報を処理する情報処理部と、前記情報処理部によって処理された情報を出力する出力部と、使用者がテンプレート群を選択するためのテンプレート選択部と、予め定義されたテンプレート群の中から前記テンプレート選択部で選択されたテンプレート群を前記テンプレート記憶部へ送信するテンプレート供給部とを具備し、前記テンプレート供給部と前記複数の関連情報検索部とは互いに独立して設けられている。
また、第2の発明は、第1の発明に係る情報呈示システムにおいて、前記テンプレート群は、前記情報呈示端末の位置および/または時刻によって分類されている。
また、第3の発明は、第1の発明に係る情報呈示システムにおいて、前記テンプレート群は、少なくとも店舗、施設、特定領域を表現するシンボルに基づくものであって、少なくともシンボルが表現する機能、業態・業種、対象とする利用者の種別によって分類されている。
また、第4の発明は、第1の発明に係る情報呈示システムにおいて、前記テンプレート供給部は、前記情報呈示端末の位置および/または時刻に応じて、前記テンプレート群を前記情報呈示端末に自動的に送信する。
また、第5の発明は、第1の発明に係る情報呈示システムにおいて、前記テンプレート供給部から前記情報呈示端末へのテンプレート群の供給に応じて課金する。
また、第6の発明は、情報呈示システムであって、本システムで利用するテンプレート群を記憶するサーバテンプレート記憶部と、前記情報入力部から入力された情報と、前記サーバテンプレート記憶部に記憶されたテンプレート群とをテンプレートマッチングするサーバテンプレートマッチング部と、を具備し、前記関連情報検索部は更に前記サーバテンプレートマッチング部の結果に基づいて関連する情報を検索し、検索結果に応じた情報を発信する。
また、第7の発明は、第6の発明に係る情報呈示システムにおいて、前記関連情報検索部は、前記サーバテンプレートマッチング部のマッチングに成功し、関連情報検索に成功した際に、情報呈示端末へテンプレート記憶部に記憶されていないテンプレートに関連情報が存在することを表現する情報を発信する。
また、第8の発明は、第6の発明に係る情報呈示システムにおいて、前記関連情報検索部は、前記サーバテンプレートマッチング部のマッチングに成功し、関連情報検索に失敗した際に、情報が関連付けられていないテンプレートが存在することを表現する情報を発信する。
本発明によれば、良好なシステム効率を備えた情報呈示システムを提供することが可能になる。
以下、図面を参照して本発明の実施形態を詳細に説明する。
(第1実施形態)
図1は本発明の第1実施形態に係る情報呈示システムの構成を示す図である。本実施形態に係る情報呈示システムは、情報呈示端末10とテンプレートサーバ20とコンテンツサーバ30とから構成され、画像情報を入力し、関連する情報を該画像情報に重畳して表示する。
ここで、情報呈示端末10は、カメラ等の情報入力部11と、該情報入力部11で入力された画像とテンプレートマッチングを行うテンプレートマッチング部12と、テンプレートマッチング部12の結果から情報呈示端末10の位置姿勢を計算し出力する情報を生成する情報処理部15と、該情報を表示するディスプレイ等の出力部16と、テンプレートマッチングのベースとなるテンプレート群を記憶するテンプレート記憶部13と、該テンプレート記憶部13に記憶させるテンプレート群を選択するテンプレート選択部14とを備えている。なお、上記情報呈示端末10は、例えば携帯電話や通信機能付きPDAの形態で提供されるもので、通信機能により、テンプレートサーバ20およびコンテンツサーバ30とデータの送受信が可能である。
テンプレートサーバ20は、上記情報呈示端末10のテンプレート選択部14の選択情報に基づいてテンプレート群を送信するテンプレート供給部21を備えている。なお、該テンプレート供給部21は、図1には図示しないが、本システムで利用可能な、予め定義されたテンプレート群を記憶するための記憶部を含む。ここで、テンプレートとは、テンプレートマッチング処理に利用するテンプレートデータの他に該テンプレートに対応付けられた位置情報を含んでいてもよい。例えば、テンプレート画像と該テンプレート画像が設置されている3次元座標や緯度・経度のデータセットを指す。また、テンプレートサーバ20は通信機能を有しており、情報呈示端末10とデータの送受信が可能である。
コンテンツサーバ30は、上記情報呈示端末10のテンプレートマッチング部12のマッチング結果に基づいて関連する情報を検索する複数の関連情報検索部31-1〜31-nから構成される。テンプレート供給部21と、各関連情報検索部31-1〜31-n とは互いに独立して設けられている。
なお、該関連情報検索部31-1〜31-n は、図1には図示しないが、テンプレートと関連付けた各種の情報、例えば、3Dオブジェクトの形状データ、動画、静止画、テキスト情報、URL等を含む。また、コンテンツサーバ30は通信機能を有しており、情報呈示端末10とデータの送受信が可能である。また、本実施形態では、複数の関連情報検索部31-1〜31-nがすべて1つのコンテンツサーバ30に設けられているが、これに限定されず、複数の関連情報検索部31-1〜31-nは、複数のコンテンツサーバに渡って任意の個数づつ設けられていても良い。
次に、このような構成の情報呈示システムにおける情報呈示端末10およびテンプレートサーバ20、コンテンツサーバ30の動作を、図2および図3のフローチャートを参照して説明する。
まず、図2を用いてテンプレート選択の際の動作を説明する。使用者は、情報呈示端末10内のテンプレート選択部14により、表示装置上のメニューから本システムが用意しているコンテンツを少なくとも1つ選択する (ステップS101) 。
ここで、テンプレート選択部14では、ステップS101において使用者が選択したコンテンツが利用しているテンプレート群を選択する (ステップS102)。このとき、ステップS101で複数のコンテンツが選択された場合、テンプレート選択部14は、各々のコンテンツが利用しているテンプレート群を抽出するが、図7のように、この中で重複しているテンプレートを1つにまとめ、重複要素を含まないテンプレート群を形成する。図7では、レジャー情報コンテンツ500が利用するテンプレート501,502,503、ナビゲーション情報コンテンツ600が利用するテンプレート601,602,603、ビジネス情報コンテンツ700が利用するテンプレート701,702,703,704があった場合に、重複しているテンプレート(図では501と601と704及び502と701及び503と603と702)は1つにまとめられて、図に示すような最終的に選択されたテンプレート群800が得られる。
その後、テンプレート選択部14は選択したテンプレート群の情報をテンプレートサーバ20のテンプレート供給部21へ送信する (ステップS103) 。次に、テンプレート供給部21は、受信したテンプレート群の情報に基づいて図示しない記憶部から該当するテンプレート群を選択し、情報呈示端末10のテンプレート記憶部13へ送信する (ステップS104) 。
そして、テンプレート記憶部13は、受信したテンプレート群を記憶する容量が十分に確保できるか否かを確認する (ステップS105) 。記憶容量は、情報呈示端末10上のハードウェアとしての搭載容量だけでなく、システムの内部条件によって制限されてもよい。例えば、コンテンツ利用契約のグレードによって、記憶容量が増減してもよい。
このとき、記憶容量が十分に確保されていれば、受信したテンプレート群を記憶する (ステップS106) 。
一方、記憶容量が十分に確保されていない場合には、既に記憶していたテンプレート群を消去し、容量を確保する (ステップS107) 。このとき、既に記憶していたテンプレート群全てを消去してもよい。また、既に記憶していたテンプレート群と新規に受信したテンプレート群とで重複したテンプレートを統合した上で、統合したテンプレート群が記憶部に収まるよう、古いテンプレートから消去してもよい。
ステップS107で容量を確保した後に、テンプレート記憶部13は受信したテンプレート群を記憶する (ステップS106) 。
次に、図3を用いて情報呈示の際の動作を説明する。まず、情報入力部11により図8 (A) に示すような看板302を含む画像を撮影する (ステップS201) 。例えば、図8 (A) に示すような入力画像301が得られる。
ここで、テンプレートマッチング部12は、上記入力画像301からテンプレートマッチングに利用する特徴部位を抽出する (ステップS202) 。例えば、看板302の四隅の点や内部の領域を抽出する。
本実施の形態において、「特徴部位」とは、撮影可能であり、画像から位置の特定が可能な部位のことであり、特徴領域、特徴点、特徴線分を含む。例えば、アルファベットを囲む四角形の黒枠をマーカとして利用するならば、その黒枠の四隅の頂点や黒枠の線分、黒枠に囲まれたアルファベットの画像を特徴部位とすることができる。これは、街頭の看板や標識であってもよい。また、登録済みの形状情報、例えば机等既知の設置物の表面形状も特徴部位として利用できる。
その後、テンプレートマッチング部12では、上記特徴部位をテンプレートマッチングする (ステップS203) 。この結果、システムは入力画像301に含まれている看板302を同定し、看板302の3次元情報を取得する。
次に、テンプレートマッチング部12は、上記看板302の3次元情報と上記特徴部位のうち位置姿勢算出のための特徴点情報とから情報呈示端末10の3次元的な位置および姿勢を算出する (ステップS204) 。
なお、ステップS204における3次元的な位置および姿勢の算出は、テンプレートマッチング部12によって抽出された特徴部位の座標情報と、同じくテンプレートマッチング部12によって確定されたマーカの座標情報とから、該マーカが定義された空間に対する相対的位置姿勢を計算することによってなされる。この際、3つ以上の特徴部位が特定されていればよい。なお、特徴部位 (マーカの特徴点) の位置姿勢の算出の手法については、例えば、特開2000-227309号公報や特開2001-126051号公報に記載の方法を利用すれば良い。
また、関連情報検索部31-1〜31-n は、テンプレートマッチング部12で同定したテンプレート情報に基づいて、関連する情報を検索する (ステップS205) 。関連する情報とは、例えば、テンプレートに対して相対的に配置された3次元オブジェクトやテンプレート周辺のアノテーション情報等を含む。
情報処理部15は、上記テンプレートマッチング部12の算出結果である情報呈示端末10の3次元的な位置姿勢に基づいて、上記情報入力部11が撮影した入力画像301と上記関連情報検索部31-1〜31-n の検索結果である関連情報とを処理する (ステップS206) 。この処理とは、例えば、図9 (A) に示すように、関連情報である3次元オブジェクトを情報呈示端末10の3次元的な位置姿勢に基づいて投影変換し、入力画像301に対して重畳する処理や図9 (B) に示すように、関連情報である3次元オブジェクトを情報呈示端末10の3次元的な位置姿勢に基づいて投影変換し、該投影変換結果のうち姿勢成分だけを反映させた3次元オブジェクトを入力画像31近傍に配置する処理等を含む。また、図9 (C) に示すように、関連情報である3次元オブジェクトを情報呈示端末10の3次元的な位置姿勢に基づいて投影変換し、該投影変換結果のうち位置成分だけを反映させた3次元オブジェクトを入力画像31近傍に配置する処理等を含む。
そしてその後、出力部16は上記情報処理部15が処理した結果を使用者に対して出力する (ステップS207)。例えば、上記情報処理部15の処理結果が入力画像301と関連情報との重畳画像である場合、これをディスプレイ上に表示する。
このとき、使用者が複数コンテンツサーバを利用するようにしている場合、つまり複数の独立なコンテンツ提供者を利用するようにしている場合がある。
従来であれば、独立なコンテンツ提供者は、各自のコンテンツに対応付けるテンプレートを各々定義していた。このため、同じ看板302に関連付けられているコンテンツであっても、看板302に対応するテンプレートをコンテンツ提供者の数だけ保持する必要があり、システムリソースの利用効率が低かった。
一方、本システムでは、テンプレートをコンテンツ提供者とは独立に提供しているため、複数の独立なコンテンツ提供者が同一のテンプレートに各々の情報を関連付けることが可能となり、システムリソースを効率的に利用できる。
従って、各コンテンツ提供者に対してテンプレート供給者はテンプレート使用料を課する事もあり得る。テンプレート自体の数量や、意匠・文字・表記法の組み合わせによる使用頻度からその使用料は異なる。
以下に、上記した第1実施形態の具体的な利用例について説明する。上記した第1実施形態の具体的な利用例として、例えば、カメラ付き携帯電話を用いたコンテンツ表示システムへの利用が考えられる。即ち、情報呈示端末10が携帯電話であり、該携帯電話に情報入力部11としてのカメラが接続されている。
本システムを利用するにあたって、まず使用者は利用コンテンツを携帯電話上のメニューから選択する。例えば、「コンビニエンスストアテンプレートセット」の「レジャー情報」、「ナビゲーション情報」、「ビジネス情報」のメニューを選択する。そして、これらコンテンツで利用するテンプレート群がテンプレートサーバ20を介して送られてくる。このとき、「レジャー情報」、「ナビゲーション情報」、「ビジネス情報」のコンテンツではコンビニエンスストアの看板302をテンプレートとして登録している(図7の501,601,704)。上記各コンテンツ提供者はそれぞれ独立にコンテンツを製作しているが、テンプレート提供者が1つになっているので、共通のテンプレートを利用することができる。つまり、1つのテンプレートで3つのコンテンツに接続することができるようになる。
携帯電話でテンプレートを受信したときに、本体内に記憶するテンプレート群の量は本システムの利用契約形態による。例えば、本システムでは、お試し契約で利用している場合には10個のテンプレートまでしか記憶できないが、月額使用料100円のスタンダード契約を利用している場合には50個のテンプレートが記憶でき、月額使用料300円のビジネス契約を利用している場合には、情報呈示端末10に装着された外部記憶装置も含め、記憶容量が許す限り記憶できるといった形態である。
使用者はテンプレートサーバ20からテンプレート群を受け取った量に応じて課金される。なお、課金形態は例えば月額使用料で量を無制限とする形態であってもよいし、月額使用料で受け取れる量は50枚/月までで、それ以上は1枚あたり0.5円としてもよい。
カメラは図8の入力画像301のように看板302の場所周辺を撮影する。テンプレートマッチング部12は携帯電話上で動作し、上記カメラが撮影した入力画像から看板の四隅、看板内部のパターンといった特徴部位を抽出し、テンプレートマッチングを行う。そして、テンプレートマッチング部12は、携帯電話の通信機能を利用し、マッチング結果をコンテンツサーバ30へ送信する。この際、使用者は、ディスプレイ上のメニューから、「レジャー情報」、「ナビゲーション情報」、「ビジネス情報」から所望のものを選択することによって、送信先となるコンテンツサーバ30は選択される。
一般に携帯電話の記憶容量は限られているため、多くのテンプレート群を記憶することは困難である。本システムでは看板302に対応するテンプレート1つで、複数のコンテンツ提供者のメニューから所望のものを選択できるので、限られた記憶容量を効率良く利用できる。
なお、本実施例ではテンプレートセットとして「コンビニエンスストアテンプレートセット」をあげたが、これはコンビニエンスストアの看板を登録したテンプレート群である。他にも、「銀行セット」、「ファストフードセット」、「道路標識セット」、「自動販売機セット」、「40代男性セット」、「晴天お散歩セット」といったように、業態・業種別や機能別、設置場所別、想定利用者別、気象条件別のテンプレート群等が考えられる。
また、図4に示すように、テンプレート記憶部41およびテンプレートマッチング部42がアプリケーションサーバ40上に分離していてもよい。例えば、情報呈示端末10が携帯電話の場合には、比較的限られた計算力しか搭載されていないので、テンプレートマッチング部42のように計算量が大きい部分を外部のサーバへ委譲することはシステムの応答性を高めるためには効果的である。この場合であっても、テンプレート供給部21がテンプレートマッチング部42および関連情報検索部31-1〜31-n とは独立に存在し、共通のテンプレート群を提供することは上記実施形態で述べた効果を産む。
(第2実施形態)
次に、本発明の第2実施形態を説明する。本実施形態に係る情報呈示システムにおいては、図5に示すようにアプリケーションサーバ40が第1実施形態の構成に加えられる。アプリケーションサーバ40は、サーバテンプレート記憶部41およびサーバテンプレートマッチング部42から構成されている。
サーバテンプレート記憶部41は、本システムが利用する全てのテンプレート群テンプレート供給部21より受信し記憶する。アプリケーションサーバ提供者は、テンプレート供給に応じて課金される。例えば、サーバテンプレート記憶部41に記憶されているテンプレート情報を常に最新の情報になるよう更新する契約であれば、ダウンロードしたテンプレートに対して従量制で課金される。
サーバテンプレートマッチング部42は情報呈示端末10に具備するテンプレートマッチング部12と同様の処理を行う。
次に、このような構成の情報呈示システムにおける情報呈示端末10およびコンテンツサーバ30、アプリケーションサーバ40の動作を、図6のフローチャートを参照して説明する。
まず、情報入力部11により図8 (A) に示すような看板302を含む画像を撮影する (ステップS301) 。例えば、図8 (A) に示すような入力画像301が得られる。
ここで、テンプレートマッチング部12は、上記入力画像301からテンプレートマッチングに利用する特徴部位を抽出する (ステップS302) 。例えば、看板302の四隅の点や内部の領域を抽出する。
本実施の形態において、「特徴部位」とは、撮影可能であり、画像から位置の特定が可能な部位のことであり、特徴領域、特徴点、特徴線分を含む。例えば、アルファベットを囲む四角形の黒枠をマーカとして利用するならば、その黒枠の四隅の頂点や黒枠の線分、黒枠に囲まれたアルファベットの画像を特徴部位とすることができる。これは、街頭の看板や標識であってもよい。また、登録済みの形状情報、例えば机等既知の設置物の表面形状も特徴部位として利用できる。
その後、テンプレートマッチング部12では、上記特徴部位をテンプレートマッチングする (ステップS303) 。ステップS304では、テンプレートマッチングが成功したか否かを判断する。ここで、マッチングに成功した場合、つまり、システムが入力画像301に含まれている看板302を同定した場合、テンプレートマッチング部12は看板302の3次元情報を取得し、上記看板302の3次元情報と上記特徴部位のうち位置姿勢算出のための特徴点情報とから情報呈示端末10の3次元的な位置および姿勢を算出する (ステップS305) 。
また、関連情報検索部31-1〜31-n は、テンプレートマッチング部12で同定したテンプレート情報に基づいて、関連する情報を検索する (ステップS306) 。関連する情報とは、例えば、テンプレートに対して相対的に配置された3次元オブジェクトやテンプレート周辺のアノテーション情報等を含む。
情報処理部15は、上記テンプレートマッチング部12の算出結果である情報呈示端末10の3次元的な位置姿勢に基づいて、上記情報入力部11が撮影した入力画像301と上記関連情報検索部31-1〜31-n の検索結果である関連情報とを処理する (ステップS307) 。この処理とは、例えば、図9 (A) に示すように、関連情報である3次元オブジェクトを情報呈示端末10の3次元的な位置姿勢に基づいて投影変換し、入力画像301に対して重畳する処理や図9 (B) に示すように、関連情報である3次元オブジェクトを情報呈示端末10の3次元的な位置姿勢に基づいて投影変換し、該投影変換結果のうち姿勢成分だけを反映させた3次元オブジェクトを入力画像31近傍に配置する処理等を含む。また、図9 (C) に示すように、関連情報である3次元オブジェクトを情報呈示端末10の3次元的な位置姿勢に基づいて投影変換し、該投影変換結果のうち位置成分だけを反映させた3次元オブジェクトを入力画像31近傍に配置する処理等を含む。
そしてその後、出力部16は上記情報処理部15が処理した結果を使用者に対して出力する (ステップS308) 。例えば、上記情報処理部15の処理結果が入力画像301と関連情報との重畳画像である場合、これをディスプレイ上に表示する。
一方、ステップS304の判断において、テンプレートマッチングが失敗した場合、情報呈示端末10は情報入力部11から入力された情報をアプリケーションサーバ40のサーバテンプレートマッチング部42に送信する。サーバテンプレートマッチング部42では、接続されているサーバテンプレート記憶部41に記憶されたテンプレート群を用いて、該情報とのテンプレートマッチングを行う (ステップS309) 。
ステップS310では、サーバテンプレートマッチング部42でのマッチング処理が成功したか否かを判断する。ここで、マッチングに失敗した場合、処理は終了する。一方、マッチングに成功した場合は、ステップS311で、関連情報があるか否かを判断する。この処理は、コンテンツサーバ30の関連情報検索部31-1〜31-nで行う。関連情報がある場合、関連情報検索部31-1〜31-nは未登録のコンテンツに関連情報が含まれていることを情報呈示端末10の情報処理部15へ通知する。情報処理部15では受信した情報に基づいて、未登録コンテンツに関連情報が含まれていることを示す情報を生成する (ステップS307) 。
関連情報がない場合、関連情報検索部31-1〜31-nはユーザが取得した情報内にコンテンツを関連付けていないテンプレートが存在したことをコンテンツサーバ提供者へ通知する (ステップS312) 。
以上の動作により、本実施形態では、第1実施形態で示した情報呈示端末10のテンプレート記憶部14を効率良く利用する効果に加え、使用者が登録していないコンテンツに情報が存在すること、つまり、登録することにより有用な情報が取得できることを情報呈示端末10の使用者へ伝えることができる。この結果、情報呈示端末10の使用者は、有用なコンテンツを確実に選択できる。
また、本実施形態では、コンテンツ提供者がコンテンツを関連付けていないテンプレートの利用頻度を知ることができる。この結果、ユーザが利用したいテンプレートに関連するコンテンツを確実に用意することができる。
以下に、上記した第2実施形態の具体的な利用例について説明する。上記した第2実施形態の具体的な利用例として、例えば、カメラ付き携帯電話を用いたコンテンツ表示システムへの利用が考えられる。
本実施形態では、携帯電話のカメラが図8の入力画像301のように看板302の場所周辺を撮影したが、看板302が登録したコンテンツに含まれていなかったとする。つまり、携帯電話内のテンプレート記憶部14に看板302に対応するテンプレートが存在していなかったとする。
このとき、サーバテンプレートマッチング部42は、テンプレートマッチング処理を行う。ここでマッチングに成功し、且つ関連情報も存在する場合、コンテンツサーバ30の関連情報検索部31-1〜31-nは携帯電話に対して、自コンテンツが関連情報を持っているが、未登録であるため利用できないことを通知する。携帯電話の使用者は、自分が望む情報を有したコンテンツ、もしくはテンプレートセットを登録していないことを知ることができる。例えば、ファストフード店に関連する情報を得ようと看板を撮影したが、自分はまだ「ファストフードテンプレートセット」を登録していない場合等である。
また、サーバテンプレートマッチング部42でのマッチングに成功したが、関連情報が存在しなかった場合には、コンテンツサーバ30は携帯電話使用者、つまりコンテンツサービスの顧客が要求しているテンプレートに、自コンテンツが未対応であったことを知ることができる。
なお、情報呈示端末10のテンプレートマッチング部12とアプリケーションサーバ40のサーバテンプレートマッチング部42とで、同時にテンプレートマッチングを行うようにしてもよい。この場合、アプリケーションサーバ40上でマッチングに成功し、且つユーザが該テンプレートを利用していない場合に、未登録テンプレートセットに情報が存在することを情報呈示端末10の使用者に通知する。
また、情報呈示端末10の使用者が未登録のテンプレートセットに情報が存在する場合、テンプレートサーバ20から該当するテンプレート群を自動的に送信してもよい。
また、テンプレート群は時刻、情報呈示端末10の空間的な位置、屋内か屋外かといった周辺状況に応じて分類されていてもよい。更に、テンプレートサーバ20は適したテンプレート群を情報呈示端末10の状態に応じて自動的に送信してもよい。
なお、ここまでは静止画像を入力情報とする場合について記述したが、同様の処理により、動画像および音声といった情報も扱うことが可能であることは勿論である。
本発明の一実施形態に係る情報呈示システムの構成図である。 情報呈示システムの処理(テンプレート選択)フローを示す図である。 情報呈示システムの処理(情報呈示)フローを示す図である。 情報呈示システムの構成の第1の変形例を示す構成図である。 情報呈示システムの構成の第2の変形例を示す構成図である。 情報呈示システムの、図5に示す構成に対応する処理(情報呈示)フローを示す図である。 重複するテンプレートを統合してテンプレート群を形成する手順を説明するための図である。 情報入力部に入力される画像の一例を示す図である。 情報処理部での処理の一例を説明するための図である。
符号の説明
10…情報呈示端末、11…情報入力部、12…テンプレートマッチング部、13…テンプレート記憶部、14…テンプレート選択部、15…情報処理部、16…出力部、20…テンプレートサーバ、21…テンプレート供給部、30…コンテンツサーバ、30−1〜30−n…関連情報検索部、40…アプリケーションサーバ、41…テンプレート記憶部、42…テンプレートマッチング部。

Claims (8)

  1. サーバと、当該サーバと通信回線で接続された情報呈示端末とを含み、テンプレートマッチングを用いた情報呈示システムであって、
    前記テンプレートマッチングの対象となる情報を入力する情報入力部と、
    テンプレート群を記憶するテンプレート記憶部と、
    前記情報入力部から入力された情報と、前記テンプレート記憶部に記憶されたテンプレート群とをテンプレートマッチングするテンプレートマッチング部と、
    前記テンプレートマッチング部のマッチング結果に基づいて関連する情報を検索する複数の関連情報検索部と、
    前記情報入力部から入力された情報と、前記テンプレートマッチング部のマッチング結果と、前記関連情報検索部の検索結果とから、出力する情報を処理する情報処理部と、
    前記情報処理部によって処理された情報を出力する出力部と、
    使用者がテンプレート群を選択するためのテンプレート選択部と、
    予め定義されたテンプレート群の中から前記テンプレート選択部で選択されたテンプレート群を前記テンプレート記憶部へ送信するテンプレート供給部と
    を具備し、
    前記テンプレート供給部と前記複数の関連情報検索部とは互いに独立して設けられていることを特徴とする情報呈示システム。
  2. 前記テンプレート群は、前記情報呈示端末の位置および/または時刻によって分類されていることを特徴とする請求項1に記載の情報呈示システム。
  3. 前記テンプレート群は、少なくとも店舗、施設、特定領域を表現するシンボルに基づくものであって、少なくともシンボルが表現する機能、業態・業種、対象とする利用者の種別によって分類されていることを特徴とする請求項1に記載の情報呈示システム。
  4. 前記テンプレート供給部は、前記情報呈示端末の位置および/または時刻に応じて、前記テンプレート群を前記情報呈示端末に自動的に送信することを特徴とする請求項1に記載の情報呈示システム。
  5. 前記テンプレート供給部から前記情報呈示端末へのテンプレート群の供給に応じて課金することを特徴とする請求項1に記載の情報呈示システム。
  6. 本システムで利用するテンプレート群を記憶するサーバテンプレート記憶部と、
    前記情報入力部から入力された情報と、前記サーバテンプレート記憶部に記憶されたテンプレート群とをテンプレートマッチングするサーバテンプレートマッチング部と、
    を具備し、
    前記関連情報検索部は更に前記サーバテンプレートマッチング部の結果に基づいて関連する情報を検索し、検索結果に応じた情報を発信することを特徴とする請求項1に記載の情報呈示システム。
  7. 前記関連情報検索部は、前記サーバテンプレートマッチング部のマッチングに成功し、関連情報検索に成功した際に、情報呈示端末へテンプレート記憶部に記憶されていないテンプレートに関連情報が存在することを表現する情報を発信することを特徴とする請求項6に記載の情報呈示システム。
  8. 前記関連情報検索部は、前記サーバテンプレートマッチング部のマッチングに成功し、関連情報検索に失敗した際に、情報が関連付けられていないテンプレートが存在することを表現する情報を発信することを特徴とする請求項6に記載の情報呈示システム。
JP2004012366A 2004-01-20 2004-01-20 情報呈示システム Expired - Fee Related JP4198071B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2004012366A JP4198071B2 (ja) 2004-01-20 2004-01-20 情報呈示システム
EP05703934A EP1727086A1 (en) 2004-01-20 2005-01-20 Information presentation system
PCT/JP2005/000706 WO2005069214A1 (ja) 2004-01-20 2005-01-20 情報呈示システム
CNB2005800001639A CN100336062C (zh) 2004-01-20 2005-01-20 信息呈现系统
US11/227,850 US7136529B2 (en) 2004-01-20 2005-09-15 Information presentation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004012366A JP4198071B2 (ja) 2004-01-20 2004-01-20 情報呈示システム

Publications (2)

Publication Number Publication Date
JP2005208761A true JP2005208761A (ja) 2005-08-04
JP4198071B2 JP4198071B2 (ja) 2008-12-17

Family

ID=34792374

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004012366A Expired - Fee Related JP4198071B2 (ja) 2004-01-20 2004-01-20 情報呈示システム

Country Status (5)

Country Link
US (1) US7136529B2 (ja)
EP (1) EP1727086A1 (ja)
JP (1) JP4198071B2 (ja)
CN (1) CN100336062C (ja)
WO (1) WO2005069214A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007108128A1 (ja) * 2006-03-23 2007-09-27 Olympus Corporation 情報呈示装置及び情報呈示端末
WO2007116500A1 (ja) * 2006-03-31 2007-10-18 Olympus Corporation 情報呈示システム、情報呈示端末及びサーバ
KR100915756B1 (ko) * 2006-03-23 2009-09-04 올림푸스 가부시키가이샤 정보 정시 장치 및 정보 정시 단말기
JP2014531664A (ja) * 2011-09-20 2014-11-27 クゥアルコム・インコーポレイテッドQualcomm Incorporated モバイル環境における漸進的パターンマッチングのための方法および装置
JP2020013556A (ja) * 2019-06-12 2020-01-23 Zホールディングス株式会社 情報処理装置、情報処理方法、プログラム、およびアプリケーションプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080003984A1 (en) * 2006-06-29 2008-01-03 Christian Kraft Method and system for improved handling of message templates
CN103003843B (zh) * 2010-05-28 2016-08-03 高通股份有限公司 用于跟踪具有动态变化部分的目标的数据集创建
CN102298533B (zh) * 2011-09-20 2015-05-13 宇龙计算机通信科技(深圳)有限公司 激活应用程序的方法及终端设备
KR101969583B1 (ko) 2012-01-10 2019-08-20 삼성전자주식회사 컨텐츠 관리 방법과 장치 및 기록 매체
US9940318B2 (en) * 2016-01-01 2018-04-10 Google Llc Generating and applying outgoing communication templates
CN106446291B (zh) * 2016-11-15 2020-04-07 百度在线网络技术(北京)有限公司 基于人工智能的图片内容页提供方法及装置
CN107491539A (zh) * 2017-08-24 2017-12-19 上海擎感智能科技有限公司 用于车机的搜索结果呈现方法及装置、存储介质、终端
JP6554193B1 (ja) * 2018-01-30 2019-07-31 三菱電機インフォメーションシステムズ株式会社 記入領域抽出装置および記入領域抽出プログラム
CN115484560B (zh) * 2022-09-13 2024-04-09 中国建设银行股份有限公司 智能短信的处理方法、装置、电子设备及存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6167517A (en) * 1998-04-09 2000-12-26 Oracle Corporation Trusted biometric client authentication
JP2000235583A (ja) * 1999-02-16 2000-08-29 Fujitsu Ltd 分散型検索システムのデータアクセス装置及びその方法
JP2001075980A (ja) * 1999-09-02 2001-03-23 Ntt Docomo Inc データベース検索支援装置及びその制御方法
US6760720B1 (en) * 2000-02-25 2004-07-06 Pedestrian Concepts, Inc. Search-on-the-fly/sort-on-the-fly search engine for searching databases
JP4226247B2 (ja) * 2002-01-15 2009-02-18 富士フイルム株式会社 画像処理装置
JP2003323440A (ja) * 2002-04-30 2003-11-14 Japan Research Institute Ltd 携帯端末を用いた撮影画像の情報提供システム、撮影画像の情報提供方法、およびその方法をコンピュータに実行させるプログラム
CN1405727A (zh) * 2002-11-07 2003-03-26 上海交通大学 基于遗传算法的图像内容检索方法
US20040122807A1 (en) * 2002-12-24 2004-06-24 Hamilton Darin E. Methods and systems for performing search interpretation

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007108128A1 (ja) * 2006-03-23 2007-09-27 Olympus Corporation 情報呈示装置及び情報呈示端末
KR100915756B1 (ko) * 2006-03-23 2009-09-04 올림푸스 가부시키가이샤 정보 정시 장치 및 정보 정시 단말기
WO2007116500A1 (ja) * 2006-03-31 2007-10-18 Olympus Corporation 情報呈示システム、情報呈示端末及びサーバ
JPWO2007116500A1 (ja) * 2006-03-31 2009-08-20 オリンパス株式会社 情報呈示システム、情報呈示端末及びサーバ
US7992181B2 (en) 2006-03-31 2011-08-02 Olympus Corporation Information presentation system, information presentation terminal and server
JP2014531664A (ja) * 2011-09-20 2014-11-27 クゥアルコム・インコーポレイテッドQualcomm Incorporated モバイル環境における漸進的パターンマッチングのための方法および装置
US9208392B2 (en) 2011-09-20 2015-12-08 Qualcomm Incorporated Methods and apparatus for progressive pattern matching in a mobile environment
JP2020013556A (ja) * 2019-06-12 2020-01-23 Zホールディングス株式会社 情報処理装置、情報処理方法、プログラム、およびアプリケーションプログラム
JP7160763B2 (ja) 2019-06-12 2022-10-25 ヤフー株式会社 情報処理装置、情報処理システム、情報処理方法、プログラム、およびアプリケーションプログラム

Also Published As

Publication number Publication date
US20060026148A1 (en) 2006-02-02
EP1727086A4 (en) 2006-11-29
US7136529B2 (en) 2006-11-14
EP1727086A1 (en) 2006-11-29
JP4198071B2 (ja) 2008-12-17
CN1771514A (zh) 2006-05-10
CN100336062C (zh) 2007-09-05
WO2005069214A1 (ja) 2005-07-28

Similar Documents

Publication Publication Date Title
US7136529B2 (en) Information presentation system
CN102542905B (zh) 图像处理装置和图像处理方法
CN103443589B (zh) 用于确定位置偏移信息的方法和装置
CN103119544A (zh) 展现基于位置的内容的方法和装置
CN103003847A (zh) 用于渲染基于位置的用户界面的方法和装置
CN103003786A (zh) 用于为基于位置的服务渲染具有主视图部分和预览部分的用户界面的方法和装置
CN102006548A (zh) 信息提供方法、设备和系统、信息显示方法和移动终端
KR20120027346A (ko) 방향 기반의 검색 시스템 및 방법
CN106197445A (zh) 一种路线规划的方法及装置
CN105205194A (zh) 景区地图生成系统及生成方法
CN105228105B (zh) 一种室内定位方法及用户终端
CN108388636B (zh) 基于自适应分段最小外接矩形的街景影像检索方法及装置
JP2006059106A (ja) ネットワークを介した位置情報の提供
CN116310295B (zh) 基于gis系统的离线区域街景漫游实现方法及系统
CN103188608A (zh) 基于用户位置的彩像图片生成方法、装置及系统
JP2006221109A (ja) 物件情報表示システム
KR20130068463A (ko) 위치 기반 정보 서비스를 이용한 역사 정보 제공 시스템 및 방법
JP2011095867A (ja) 見所スポット配信方法および装置
JP2007147632A (ja) 経路提供方法、経路案内方法、課金方法、経路提供サーバ、ユーザ端末、課金サーバおよびプログラム
JP4787724B2 (ja) 環状idマーク生成装置,環状idマーク生成方法及びその方法を実装したプログラム
JP7065455B2 (ja) スポット情報表示システム
JP2001124580A (ja) 経路情報提供方法及び装置
KR101005306B1 (ko) 약도정보 제공 방법 및 장치
JP2006011601A (ja) 電子申請支援方法、電子申請支援システム、および電子申請支援プログラム
JP2004062602A (ja) 画像表示装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080812

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080916

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080930

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4198071

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111010

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121010

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131010

Year of fee payment: 5

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees