JP2011170682A - 携帯端末、拡張現実システム、及び拡張現実情報表示方法 - Google Patents

携帯端末、拡張現実システム、及び拡張現実情報表示方法 Download PDF

Info

Publication number
JP2011170682A
JP2011170682A JP2010034839A JP2010034839A JP2011170682A JP 2011170682 A JP2011170682 A JP 2011170682A JP 2010034839 A JP2010034839 A JP 2010034839A JP 2010034839 A JP2010034839 A JP 2010034839A JP 2011170682 A JP2011170682 A JP 2011170682A
Authority
JP
Japan
Prior art keywords
information
augmented reality
mobile terminal
display
filtering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010034839A
Other languages
English (en)
Other versions
JP5521621B2 (ja
Inventor
Azusa Suzuki
梓 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2010034839A priority Critical patent/JP5521621B2/ja
Publication of JP2011170682A publication Critical patent/JP2011170682A/ja
Application granted granted Critical
Publication of JP5521621B2 publication Critical patent/JP5521621B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)
  • Indicating Measured Values (AREA)

Abstract

【課題】操作性を損なうことなくユーザの状態に応じた拡張現実情報の表示を行うこと
【解決手段】携帯端末10は、周辺画像を撮像したカメラ画像を生成する撮像部150を備える。センサ140は周辺状況及び生体情報の少なくともいずれか一方を取得する。拡張現実処理部180は、端末位置情報に対応する拡張現実情報をセンサ150が取得した情報を用いてフィルタリングする。ディスプレイ190は、カメラ画像上に、フィルタリングにより表示すると判断された拡張現実情報を重ね合せた表示画像を表示する。
【選択図】図9

Description

本発明は携帯端末、拡張現実システム、及び拡張現実情報表示方法に関する。
近年、カメラ等により撮像した実空間画像に仮想物体、情報を重畳して表示する技術である拡張現実(Augmented Reality)技術が広まっている。たとえば、ユーザは携帯電話のカメラ機能により周囲を撮像する。そして、携帯電話内の拡張現実機能によりタグ等の様々な付加情報(以下の記載では、拡張現実情報と記載する。)をカメラ画像に付与して表示することが行われている。
特許文献1に記載の携帯電話は、当該携帯電話に取り付けられたセンサにより取得した情報を用いて電話番号表示の順序を変更するものである。当該携帯電話には、体温センサ、心拍センサ、血圧センサが取り付けられている。当該携帯電話は、ユーザの電話番号表示命令時にこれらのセンサが取得した情報を用いて電話番号の表示順序を決定する。
特許文献2には、ユーザの現在の状況に合致した音楽コンテンツを自動的に提供することが出来る携帯端末装置に関する技術が開示されている。当該携帯端末装置は、現在の日時情報、天候情報、周囲の音声情報を取得する。そして、当該携帯端末装置は取得した情報に合致した音楽コンテンツを自動的に選択して再生する。
特開2007−034495号公報 特開2009−145785号公報
しかしながら、従来の拡張現実技術では、ユーザは画面上に表示する拡張現実情報の選択、または選択用フィルタの設定を行わなければならなかった。そのため、ユーザの設定の手間がかかり、操作性が悪いという問題があった。また、上述の特許文献には、拡張現実機能に関する示唆が無い。
本発明はこのような問題を解決するためになされたものであり、操作性を損なうことなくユーザの状態に応じた拡張現実情報の表示を行うことが出来る携帯端末、拡張現実情報システム、及び拡張現実情報提供方法を提供することを目的とする。
本発明にかかるフィルタリング装置の一態様は、端末位置情報に対応した拡張現実情報から、周辺状況及び生体情報の少なくとも一方の情報を用いて、周辺画像を撮像したカメラ画像上に表示される情報をフィルタリングする拡張現実処理部を備えるものである。
本発明にかかる携帯端末の一態様は、前記フィルタリング装置と、周辺画像を撮像したカメラ画像を生成するための撮像部と、周辺状況及び生体情報の少なくとも一方を取得するセンサ処理部と、前記撮像部が撮像したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示部と、を備えるものである。
本発明にかかる拡張現実情報表示方法の一態様は、周辺画像を撮像したカメラ画像を生成する撮像ステップと、周辺状況及び生体情報の少なくともいずれか一方を取得するセンサ情報取得ステップと、端末位置情報に対応する拡張現実情報を前記センサ情報取得ステップにおいて取得した情報を用いてフィルタリングする拡張現実処理ステップと、前記撮像ステップにおいて取得したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示ステップと、を備えるものである。
本発明によれば、ユーザの状態に応じた拡張現実情報の表示を行うことが出来る携帯端末、拡張現実情報システム、及び拡張現実情報提供方法を提供することができる。
実施の形態1にかかる携帯端末の構成図である。 実施の形態1にかかる拡張現実情報の図である。 実施の形態1にかかる拡張現実システムの構成図である。 実施の形態1にかかる携帯端末の処理を示すフローチャートである。 実施の形態1にかかる携帯端末の処理を示すフローチャートである。 実施の形態2にかかる拡張現実システムの構成図である。 実施の形態2にかかる携帯端末の処理を示すフローチャートである。 実施の形態2にかかる携帯端末の処理を示すフローチャートである。 実施の形態1にかかる携帯端末の構成図である。
実施の形態1
以下、図面を参照して本発明の実施の形態について説明する。図1は本実施の形態にかかる携帯端末1の構成を示すブロック図である。携帯端末10は、中央演算処理装置110と、メモリ120と、キー入力部130と、センサ140と、撮像部150と、通信部160と、位置情報取得部170と、拡張現実処理部180と、ディスプレイ190と、を備える。
中央演算処理装置110は、いわゆるCPU(Central Processing Unit)であり、制御プログラムに基づいてこの携帯端末10内の各種処理を実行する処理装置である。
メモリ120は、携帯電話10内でデータ、プログラム等を記憶する記憶装置である。メモリ120の一例としてRAM(Random Access Memory)、ROM(Read Only Memory)が挙げられる。
キー入力部130は、文字、数字等を入力するために用いられる操作部である。キー入力部130は、例えばテンキー、機能キーなどの各種キーによって構成される。
センサ140は、携帯端末10を使用するユーザの周囲の情報を取得するためのセンサである。ここで、周囲の情報とは、ユーザの生体情報と、周辺情報とを含む。ユーザの生体情報として、ユーザの脈拍、体温、発汗状態等が挙げられる。また周辺情報として、気温、湿度、高度等が挙げられる。なお、センサ140は当該情報を常時取得してもよく、一定間隔をあけて情報取得をしてもよい。
撮像部150は、動画像及び静止画像を撮像するためのカメラ機能を含み、任意の3次元空間を画像化したカメラ画像を生成する処理部である。
通信部160は、サーバ等と情報の送受信を行うための処理部である。具体的には、通信部160は、WLAN(Wireless Local Area Network)、UTRAN(UMTS Terrestrial Radio Access Network)、E−UTRAN(Evolved UTRAN)等による無線通信が可能な処理部である。なお、本実施の形態にかかる携帯端末10に備えられた通信部160は、赤外線通信、Bluetooth等の無線通信が可能な処理部であってもよい。通信部160は、後述の位置情報取得部170が取得した位置情報に対応する拡張現実情報をサーバから取得する。
位置情報取得部170は、携帯端末10の存在する位置情報を取得するための処理部である。位置情報取得部170は、たとえばGPS(Global Positioning System)機能またはWLANによる位置測位機能を有する処理部である。
なお図示していないが、携帯端末10は、地磁気センサ及び加速度センサを備える構成である。地磁気センサにより取得した情報を用いることにより、カメラ機能を動作している間の携帯端末10の端末方位を算出できる。また、加速度センサにより取得した情報を用いることにより、カメラ機能が動作している間の携帯端末10の端末姿勢を算出できる。ここで、携帯端末10のカメラ機能が撮像している範囲は、位置情報取得部170が取得した携帯端末10の位置情報と、携帯端末10の端末方位と、携帯端末10の端末姿勢と、カメラ機能の焦点距離と、を用いることにより算出できる。携帯端末10のカメラ機能が撮像している範囲に対応する拡張現実情報が、後述のフィルタ処理により表示されると判断された場合にディスプレイ190上に表示される。
拡張現実処理部180は、センサ140が取得した情報に基づいて、通信部170が取得した拡張現実情報から表示すべき情報を抽出する(フィルタリングする)処理部である。
拡張現実情報はオブジェクト毎に1つのテーブル形式のデータとなる。オブジェクトとは、拡張現実アプリケーションが起動している際に、携帯端末10のディスプレイ190に表示されるタグ等を含むデータセットを指す。図2に本実施の形態にかかる拡張現実情報のデータセットの例を示す。
拡張現実情報のデータセットには、タイトルと、フォーマットと、説明と、位置情報と、フィルタ情報と、が含まれる。タイトル及び説明は、拡張現実アプリケーションの起動中にカメラ画像に重ね合わせて表示される情報である。フォーマットは、当該表示の際のフォント等を指定する情報である。位置情報は、当該拡張現実情報がどの位置に関するものなのかを示す。フィルタ情報は、拡張現実アプリケーションの起動中に当該拡張現実情報が表示対象となるか否かの判定に用いる情報である。フィルタ情報には、複数の条件情報を設定することが可能である。また、フィルタ情報内には、キーワードを設定することも可能である。
なお、フィルタ情報の条件を複数設定する場合、各条件に優先度を設定してもよい。たとえば、条件1が「気温25度以上の時に情報を表示する」であり、条件2が「体温が37度以上の時に情報を表示する」であったとする。そして、気温が25度以上であり、体温が37度未満であったとする。この場合、条件1を優先する優先順位が付けられていれば、当該拡張現実情報が表示対象となる。
位置情報判定部181は、位置情報取得部170が取得した情報に基づいて携帯端末10が位置する位置情報をコンピュータ処理できる形式のデータに変換する。センサ情報処理部182は、センサ140が取得した各種データ(脈拍、体温、発汗状態、気温、湿度等)をメモリ120に格納する処理部である。表示フィルタ部183は、拡張現実情報を表示するか否かを判定する処理部である。
図2の例では、気温が25度以上の場合に、冷菓店の情報を画面上に表示するための拡張現実情報のデータセットが示されている。
なお、拡張現実処理部180は、センサ140が取得した情報(センシングデータ)に加えて、携帯端末10のユーザの行動履歴、テレビジョン視聴履歴、携帯端末10の備えられた非接触型ICカードによる購買情報、スケジューラソフトウェアに格納されたデータ等の嗜好情報をさらに考慮してフィルタリングを行ってもよい。たとえば、ユーザが視聴したテレビ番組情報から番組に関するキーワードを抽出し、当該キーワードをメモリ120内に格納する。そして拡張現実処理部180は、メモリ120内に格納したキーワードがフィルタリング情報内に設定されている拡張現実情報を表示対象とする。また、スケジューラソフトウェアに海外旅行に関するスケジュールが格納されていた場合、拡張現実処理部180は海外旅行に関する情報を表示するようにフィルタリングをしてもよい。
ディスプレイ190は、携帯端末10にかかる各種情報を表示するための表示部であり、たとえば液晶表示装置や有機EL(electroluminescence)表示装置が挙げられる。ディスプレイ190には、拡張現実処理部180がフィルタを行い、表示すべきと判断された拡張現実情報をカメラ画像に重ね合わせた画像が表示される。
続いて、図3を用いて本実施の形態にかかる携帯端末10を含む拡張現実システム1の構成について説明する。拡張現実システム1は、携帯端末10と、拡張現実サーバ20と、基地局30と、交換局40と、を備える。携帯端末10、基地局30、及び交換局40は任意の数だけ存在する構成である。
携帯端末10は、現在の位置情報を拡張現実サーバ20に送信する。また、携帯端末10は、当該位置に関連する拡張現実情報(図2)を拡張現実サーバ20から受信する。携帯端末10は、受信した拡張現実情報のフィルタリングを行い、表示する情報を決定する。
拡張現実サーバ20は、前述の拡張現実情報(図2)を複数保持するサーバである。拡張現実サーバ20は、携帯端末10からの位置情報を受信する。拡張現実サーバ20は、受信した当該位置情報に対応する拡張現実情報を携帯端末10に送信する。
基地局30及び交換局40は、携帯端末10と拡張現実サーバ20との通信を中継する装置である。
なお、携帯端末10は、位置情報に加えてセンサ140により取得したセンシング情報等を拡張現実サーバ20に送信してもよい。この場合、拡張現実サーバ20は、送信されたセンシング情報を用いて携帯端末10上に表示する拡張現実情報を算出する(フィルタリングを行う)。拡張現実サーバ20は、フィルタリング結果を携帯端末10に送信する。これにより、拡張現実サーバ20が送信するデータ量を削減することが出来る。
続いて、図4のフローチャートを用いて、本実施の形態にかかる携帯端末10のセンシングデータ(センサ140により取得したデータ)の処理手順を説明する。以下の例では、センサ140が気温データを取得する例について説明する。
センサ140は、気温情報を取得し(S101)、取得した気温情報をメモリ120に格納する(S102)。次に、センサ情報処理部182を起動し(S103)、取得した気温情報が所定の条件を満たしているか否かを判定する。センサ情報処理部182は、処理結果をメモリ120に格納する。図4の例では、センサ情報処理部182は気温が25度以上であるか否かを判定し(S104)、当該判定結果をメモリ120に格納している(S105、S106)。
次に、図5のフローチャートを用いて、拡張現実情報をフィルタリングする処理について説明する。以下の説明では、図2に示した拡張現実情報を処理する手順について説明する。
携帯端末10は、通信部160を介して自己の位置情報を拡張現実サーバ20に送信し、当該位置情報に対応する拡張現実情報を受信する(S201)。ここでは、図2に記載の拡張現実情報を受信したものとする。携帯端末10は受信した拡張現実情報をメモリ120に格納する(S202)。続いて、表示フィルタ部183を起動する(S203)。
表示フィルタ部183は、メモリ120内の拡張現実情報を取得し、当該情報内のフィルタ情報を抽出する(S204)。表示フィルタ部183は、抽出したフィルタ情報と、メモリ120内に格納された気温が25度以上であるか否かの判定結果と、を用いて当該拡張現実情報を表示するか否かを決定する(S205)。このように気温情報をフィルタリングに用いることにより、例えば冷たい食べ物を扱う飲食店の情報を拡張現実アプリケーションにおいて表示させることが出来る。また、温かい食べ物を扱う飲食店の情報を拡張現実アプリケーションにおいて表示させないことが可能になる。
気温が25度以上という判定結果がメモリ120内にある場合(S205:Yes)、表示フィルタ部183は当該拡張現実情報から表示すべき情報(タイトル、説明等)を抽出する(S206)。そして、表示フィルタ部183は、撮像部150が撮像した画像上に当該情報を重ね合わせた表示画像を生成する(S207)。当該表示画像は、ディスプレイ190上に表示される。
気温が25度以上という判定結果がメモリ120内にない場合(S205:No)、表示フィルタ部183は当該拡張現実情報を表示しないことを決定する(S208)。そして、撮像部150が撮像した画像上に当該情報を表示していない表示画像を生成する(S209)。当該表示画像は、ディスプレイ190上に表示される。
続いて、本実施の形態にかかる拡張現実システム1の効果について説明する。本実施の形態1にかかる携帯端末10は、撮像部150が生成したカメラ画像上に拡張現実情報を重ね合わせた表示画像をディスプレイ190(表示部)に表示する機能を有する。携帯端末10は、周辺状況(気温、湿度、高度等)、生体情報(体温、脈拍、発汗状態等)を検出するセンサ140を備える。携帯端末10は、センサ140が取得した各種情報を用いて携帯端末10の位置する場所に関連する拡張現実情報の中から表示すべき情報をフィルタリングする。これにより、ユーザがフィルタリングの設定等を行うことなく、ユーザの状態に応じた拡張現実情報の表示を行うことが出来る。
また、フィルタリングにユーザの嗜好情報(テレビジョンの視聴情報、スケジュール情報等)をさらに用いることにより、ユーザの状態により適した情報の表示をすることが可能になる。
実施の形態2
本発明の実施の形態2は、携帯端末10〜12が相互に通信を行うことを特徴とする。本実施の形態にかかる拡張現実システムについて、実施の形態1と異なる部分を中心に説明する。なお、携帯端末10〜12は、同一の機能を備える端末装置である。
図6は本実施の形態にかかる拡張現実システムの構成を示すブロック図である。携帯端末10〜12は、実施の形態1と同様に拡張現実サーバ20から拡張現実情報を取得できる。また、携帯端末10は当該携帯端末10の通信範囲に存在する他の携帯端末とWI−FI形式により認証された通信が可能である。
携帯端末10は、センサ140により取得したセンシングデータを他の携帯端末11に対して送信する。ここでは、携帯端末11がサーバとして機能するものとする。センシングデータを受信した携帯端末11は、自己のメモリ120内に格納されている拡張現実情報(図2)を受信したセンシングデータを用いてフィルタリングする。携帯端末11は、当該フィルタリングにより必要と判断された拡張現実情報(図2)のみを携帯端末10に送信する。
携帯端末10は、受信した拡張現実情報を用いて表示画面を生成する。また、携帯端末10のユーザは携帯端末11から提供された拡張現実情報が有効であったか否かを指定することが出来る。有効であった場合には、携帯端末10は当該携帯端末11から受信した拡張現実情報をメモリ120内に格納し続ける。一方、有効ではなかった場合には、携帯端末10内の拡張現実処理部180は当該携帯端末11から受信した拡張現実情報をメモリ120内から削除する。
続いて図7のフローチャートを用いて、本実施の形態にかかる携帯端末の拡張現実情報の表示動作を説明する。なお、以下の図7及び後述の図8の説明ではサーバとして動作する携帯端末を携帯端末11、クライアントとして動作する携帯端末を携帯端末10とする。
最初に通信可能な携帯端末の1つがサーバとして機能する状態となる(S301)。そして、携帯端末同士が接続を行う(S302)。クライアントとして動作する携帯端末10は、センサ140を用いてセンシングデータを取得する。携帯端末10は取得したセンシングデータを携帯端末11に送信する。
携帯端末11は、自己のメモリ120内に格納されている拡張現実情報(図2)を受信したセンシングデータを用いてフィルタリングする。そして、携帯端末11はフィルタリングに合致した拡張現実情報を携帯端末10に送信する(S305)。携帯端末10は受信した拡張現実情報を用いて表示画面を生成する(S306)。
次に図8のフローチャートを用いて、本実施の形態にかかる携帯端末の拡張現実情報の保存、及び拡張現実情報の表示動作を説明する。携帯端末10を使用するユーザは、拡張現実アプリケーション起動中の表示画面を参照し、携帯端末11から提供された拡張現実情報を参照する(S401)。そして、ユーザは当該拡張現実情報が有効か否かをキー入力部130の操作等により入力する。
携帯端末11から提供された拡張現実情報が有効である場合(S402:Yes)、携帯端末10は当該拡張現実情報をメモリ120内に格納し続ける(S404)。一方、携帯端末11から提供された拡張現実情報が有効ではない場合(S402:No)、拡張現実処理部180は当該拡張現実情報をメモリ120内から削除する(S403)。
携帯端末10を保持するユーザは、任意の場所に移動することが可能である(S405)。携帯端末10のユーザは、移動した場所で拡張現実アプリケーションを起動したとする。携帯端末10が位置情報取得部170の取得した位置情報と対応する拡張現実情報がメモリ120内に存在するか否か及びフィルタリング条件に合致するか否かを判定する(S406)。メモリ120内に存在し、フィルタリング条件に合致するする場合(S406:Yes)、ディスプレイ190上に当該拡張現実情報を表示する(S407)。一方条件を満たさない場合(S406:No)、ディスプレイ190上に当該拡張現実情報を表示しない(S408)。
続いて、本実施の形態にかかる拡張現実システムの効果について言及する。携帯端末10は、センシングデータを他の携帯端末11に送信し、フィルタリングに合致した拡張現実情報のみを受信する。これにより、携帯端末はフィルタリングに応じた拡張現実情報のみをWI−FIにより認証された無線通信により送受信できる。WI−FIにより認証された無線通信を用いた拡張現実情報の送受信により交換局等を介することなく拡張現実情報の送受信が可能となる。これにより、通信量の削減が可能となる。
また、携帯端末10はユーザに有効と判断された他の携帯端末から受信した拡張現実情報のみをメモリ120に格納し続ける。そのため、携帯端末10は有効な拡張現実情報を保持し続けることが出来、精度の高いフィルタリングが可能となる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。たとえば、各携帯端末上で図2に示した拡張現実情報を適宜生成できるようにしてもよい。
なお、図9に本実施の形態1にかかる携帯端末10に搭載されたフィルタリング装置を示す。当該フィルタリング装置は、携帯端末10に搭載されてもよく、サーバ上に配置されてもよい。
フィルタリング装置は、内部に拡張現実処理部180を備える。拡張現実処理部180は入力された端末位置情報に対応する拡張現実情報を取得する。拡張現実処理部180はこの拡張現実情報を、周辺状況及び生体情報の少なくとも一方の情報を用いてフィルタリングする。フィルタリングに合致した情報は、カメラ画像上に表示される。
上述のフィルタリング装置の構成によっても、センシングデータに基づいてユーザの状態に応じた拡張現実情報の表示を行うことが出来る。
上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
端末位置情報に対応した拡張現実情報から、周辺状況及び生体情報の少なくとも一方の情報を用いて、周辺画像を撮像したカメラ画像上に表示される情報をフィルタリングする拡張現実処理部を備えるフィルタリング装置。
(付記2)
前記フィルタリング装置と、
周辺画像を撮像したカメラ画像を生成するための撮像部と、
周辺状況及び生体情報の少なくとも一方を取得するセンサ処理部と、
前記撮像部が撮像したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示部と、を備える携帯端末。
(付記3)
前記拡張現実情報には、前記フィルタリングの条件を示すフィルタリング情報が含まれることを特徴とする付記2に記載の携帯端末。
(付記4)
前記拡張現実処理部は、前記センサ処理部が取得した情報、及び前記携帯端末の利用ユーザの嗜好情報を用いて前記フィルタリングを行うことを特徴とする付記2または付記3に記載の携帯端末。
(付記5)
端末位置情報を、前記拡張現実情報を保持する拡張現実サーバに送信し、当該拡張現実サーバから前記位置情報に対応する前記拡張現実情報を受信する通信部と、をさらに備えることを特徴とする付記2乃至付記4のいずれか1項に記載の携帯端末。
(付記6)
前記拡張現実サーバまたは他の携帯端末から受信した前記拡張現実情報を格納するための格納部を備え、
前記通信部は、他の携帯端末と無線通信により相互に通信できるように構成され、他の携帯端末の要求に応じて前記格納部内の前記拡張現実情報を当該他の携帯端末に送信することを特徴とする付記5に記載の携帯端末。
(付記7)
前記拡張現実処理部は、無効とユーザに判断された前記他の携帯端末からの前記拡張現実情報を前記格納部から削除することを特徴とする付記6に記載の携帯端末。
(付記8)
付記5乃至付記7のいずれか1項に記載の携帯端末と、付記5に記載の拡張現実サーバを備えた拡張現実システム。
(付記9)
周辺画像を撮像したカメラ画像を生成する撮像ステップと、
周辺状況及び生体情報の少なくともいずれか一方を取得するセンサ情報取得ステップと、
端末位置情報に対応する拡張現実情報を前記センサ情報取得ステップにおいて取得した情報を用いてフィルタリングする拡張現実処理ステップと、
前記撮像ステップにおいて取得したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示ステップと、を備える拡張現実情報表示方法。
(付記10)
前記拡張現実情報には、前記フィルタリングの条件を示すフィルタリング情報が含まれることを特徴とする付記9に記載の拡張現実情報表示方法。
(付記11)
前記拡張現実処理ステップでは、前記センサ処理部が取得した情報、及び前記携帯端末の利用ユーザの嗜好情報を用いて前記フィルタリングを行うことを特徴とする付記8または付記10に記載の拡張現実情報表示方法。
(付記12)
前記位置情報算出ステップにおいて算出した位置情報を、前記拡張現実情報を保持する拡張現実サーバに送信する送信ステップと、
当該拡張現実サーバから前記位置情報に対応する前記拡張現実情報を受信する受信ステップと、を備えることを特徴とする付記9乃至付記111のいずれか1項に記載の拡張現実情報表示方法。
(付記13)
前記拡張現実サーバまたは他の携帯端末から受信した前記拡張現実情報を格納する格納ステップと、
他の携帯端末に前記拡張現実情報の送信を要求する端末送信要求ステップと、
他の携帯端末からの送信要求に応じて、前記格納ステップにおいて格納した前記拡張現実情報を当該端末に送信する端末送信ステップと、を備えることを特徴とする付記12に記載の拡張現実情報表示方法。
(付記14)
前記拡張現実処理部は、無効とユーザに判断された前記他の携帯端末からの前記拡張現実情報を削除する情報削除ステップをさらに有することを特徴とする付記13に記載の拡張現実情報表示方法。
1 拡張現実システム
10 携帯端末
110 中央演算装置
120 メモリ
130 キー入力部
140 センサ
150 撮像部
160 通信部
170 位置情報取得部
180 拡張現実処理部
181 位置特定部
182 センサ情報処理部
183 表示フィルタ部
190 ディスプレイ
20 拡張現実サーバ
30 基地局
40 交換局

Claims (10)

  1. 端末位置情報に対応した拡張現実情報から、周辺状況及び生体情報の少なくとも一方の情報を用いて、周辺画像を撮像したカメラ画像上に表示される情報をフィルタリングする拡張現実処理部を備えるフィルタリング装置。
  2. 前記フィルタリング装置と、
    周辺画像を撮像したカメラ画像を生成するための撮像部と、
    周辺状況及び生体情報の少なくとも一方を取得するセンサ処理部と、
    前記撮像部が撮像したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示部と、を備える携帯端末。
  3. 前記拡張現実情報には、前記フィルタリングの条件を示すフィルタリング情報が含まれることを特徴とする請求項2に記載の携帯端末。
  4. 前記拡張現実処理部は、前記センサ処理部が取得した情報、及び前記携帯端末の利用ユーザの嗜好情報を用いて前記フィルタリングを行うことを特徴とする請求項2または請求項3に記載の携帯端末。
  5. 端末位置情報を、前記拡張現実情報を保持する拡張現実サーバに送信し、当該拡張現実サーバから前記位置情報に対応する前記拡張現実情報を受信する通信部と、をさらに備えることを特徴とする請求項2乃至請求項4のいずれか1項に記載の携帯端末。
  6. 前記拡張現実サーバまたは他の携帯端末から受信した前記拡張現実情報を格納するための格納部を備え、
    前記通信部は、他の携帯端末と無線通信により相互に通信できるように構成され、他の携帯端末の要求に応じて前記格納部内の前記拡張現実情報を当該他の携帯端末に送信することを特徴とする請求項5に記載の携帯端末。
  7. 前記拡張現実処理部は、無効とユーザに判断された前記他の携帯端末からの前記拡張現実情報を前記格納部から削除することを特徴とする請求項6に記載の携帯端末。
  8. 請求項5乃至請求項7のいずれか1項に記載の携帯端末と、請求項5に記載の拡張現実サーバを備えた拡張現実システム。
  9. 周辺画像を撮像したカメラ画像を生成する撮像ステップと、
    周辺状況及び生体情報の少なくともいずれか一方を取得するセンサ情報取得ステップと、
    端末位置情報に対応する拡張現実情報を前記センサ情報取得ステップにおいて取得した情報を用いてフィルタリングする拡張現実処理ステップと、
    前記撮像ステップにおいて取得したカメラ画像上に、前記フィルタリングにより表示すると判断された前記拡張現実情報を重ね合せた表示画像を表示する表示ステップと、を備える拡張現実情報表示方法。
  10. 前記拡張現実情報には、前記フィルタリングの条件を示すフィルタリング情報が含まれることを特徴とする請求項9に記載の拡張現実情報表示方法。
JP2010034839A 2010-02-19 2010-02-19 携帯端末、拡張現実システム、及び拡張現実情報表示方法 Expired - Fee Related JP5521621B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010034839A JP5521621B2 (ja) 2010-02-19 2010-02-19 携帯端末、拡張現実システム、及び拡張現実情報表示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010034839A JP5521621B2 (ja) 2010-02-19 2010-02-19 携帯端末、拡張現実システム、及び拡張現実情報表示方法

Publications (2)

Publication Number Publication Date
JP2011170682A true JP2011170682A (ja) 2011-09-01
JP5521621B2 JP5521621B2 (ja) 2014-06-18

Family

ID=44684731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010034839A Expired - Fee Related JP5521621B2 (ja) 2010-02-19 2010-02-19 携帯端末、拡張現実システム、及び拡張現実情報表示方法

Country Status (1)

Country Link
JP (1) JP5521621B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013108549A1 (ja) * 2012-01-16 2013-07-25 シャープ株式会社 Ar情報管理装置、ar情報管理方法
JP2014006601A (ja) * 2012-06-21 2014-01-16 Fujitsu Ltd コンテンツ配信装置、端末およびコンテンツ配信方法
JP2014182719A (ja) * 2013-03-21 2014-09-29 Yasuaki Iwai 仮想現実提示システム、仮想現実提示方法
JP2015502584A (ja) * 2011-10-05 2015-01-22 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 可搬装置、仮想現実システムおよび方法
JP2015050597A (ja) * 2013-08-30 2015-03-16 京セラドキュメントソリューションズ株式会社 文書閲覧システムおよび文書閲覧プログラム
JP2016511863A (ja) * 2013-01-10 2016-04-21 マイクロソフト テクノロジー ライセンシング,エルエルシー 複合現実感表示調整
JPWO2014017392A1 (ja) * 2012-07-24 2016-07-11 日本電気株式会社 情報処理装置、そのデータ処理方法、およびプログラム
US9395949B2 (en) 2013-06-19 2016-07-19 Fujitsu Limited Apparatus, method, and device for associating information with an object
JP2017508200A (ja) * 2014-01-24 2017-03-23 ピーシーエムエス ホールディングス インコーポレイテッド 現実世界の場所と関連する現実を拡張するための方法、装置、システム、デバイス、およびコンピュータプログラム製品
JP2018049618A (ja) * 2016-09-22 2018-03-29 ナビティア・エルエルシー バーチャルリアリティアーキテクチャにおける改善されたデータ統合のためのシステムおよび方法
JP2022179480A (ja) * 2016-09-22 2022-12-02 ナビティア・エルエルシー 拡張現実アーキテクチャにおける改善されたデータ統合のためのシステムおよび方法
US12032803B2 (en) 2020-09-23 2024-07-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
JP7537016B2 (ja) 2020-09-25 2024-08-20 アップル インコーポレイテッド 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008227813A (ja) * 2007-03-12 2008-09-25 Sony Corp 画像処理装置、画像処理方法、画像処理システム
WO2008124074A1 (en) * 2007-04-03 2008-10-16 Human Network Labs, Inc. Method and apparatus for acquiring local position and overlaying information
JP2009538487A (ja) * 2006-05-26 2009-11-05 アイティーティー マニュファクチャリング エンタープライジーズ, インコーポレイテッド 拡張現実を使用して装置の保守命令および動作命令を表示するシステムおよび方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009538487A (ja) * 2006-05-26 2009-11-05 アイティーティー マニュファクチャリング エンタープライジーズ, インコーポレイテッド 拡張現実を使用して装置の保守命令および動作命令を表示するシステムおよび方法
JP2008227813A (ja) * 2007-03-12 2008-09-25 Sony Corp 画像処理装置、画像処理方法、画像処理システム
WO2008124074A1 (en) * 2007-04-03 2008-10-16 Human Network Labs, Inc. Method and apparatus for acquiring local position and overlaying information

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
今枝卓也, 外2名: ""uMegane: AR技術を用いたセンサ情報可視化システム"", 情報処理学会研究報告, vol. 第2008巻, 第66号, JPN6013048396, 10 July 2008 (2008-07-10), JP, pages 39 - 44, ISSN: 0002767377 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015502584A (ja) * 2011-10-05 2015-01-22 フラウンホーファー−ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン 可搬装置、仮想現実システムおよび方法
US9216347B2 (en) 2011-10-05 2015-12-22 Fraunhofer-Gesellschaft Zur Foerderung Der Andewandten Forschung E.V. Portable device, virtual reality system and method
WO2013108549A1 (ja) * 2012-01-16 2013-07-25 シャープ株式会社 Ar情報管理装置、ar情報管理方法
JP2014006601A (ja) * 2012-06-21 2014-01-16 Fujitsu Ltd コンテンツ配信装置、端末およびコンテンツ配信方法
US9489702B2 (en) 2012-07-24 2016-11-08 Nec Corporation Information processing device, data processing method thereof, and program
JPWO2014017392A1 (ja) * 2012-07-24 2016-07-11 日本電気株式会社 情報処理装置、そのデータ処理方法、およびプログラム
JP2016511863A (ja) * 2013-01-10 2016-04-21 マイクロソフト テクノロジー ライセンシング,エルエルシー 複合現実感表示調整
JP2014182719A (ja) * 2013-03-21 2014-09-29 Yasuaki Iwai 仮想現実提示システム、仮想現実提示方法
US9395949B2 (en) 2013-06-19 2016-07-19 Fujitsu Limited Apparatus, method, and device for associating information with an object
JP2015050597A (ja) * 2013-08-30 2015-03-16 京セラドキュメントソリューションズ株式会社 文書閲覧システムおよび文書閲覧プログラム
JP2017508200A (ja) * 2014-01-24 2017-03-23 ピーシーエムエス ホールディングス インコーポレイテッド 現実世界の場所と関連する現実を拡張するための方法、装置、システム、デバイス、およびコンピュータプログラム製品
US11854130B2 (en) 2014-01-24 2023-12-26 Interdigital Vc Holdings, Inc. Methods, apparatus, systems, devices, and computer program products for augmenting reality in connection with real world places
JP2018049618A (ja) * 2016-09-22 2018-03-29 ナビティア・エルエルシー バーチャルリアリティアーキテクチャにおける改善されたデータ統合のためのシステムおよび方法
JP2022179480A (ja) * 2016-09-22 2022-12-02 ナビティア・エルエルシー 拡張現実アーキテクチャにおける改善されたデータ統合のためのシステムおよび方法
JP7475401B2 (ja) 2016-09-22 2024-04-26 ナビティア・エルエルシー 拡張現実アーキテクチャにおける改善されたデータ統合のためのシステムおよび方法
US12032803B2 (en) 2020-09-23 2024-07-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
JP7537016B2 (ja) 2020-09-25 2024-08-20 アップル インコーポレイテッド 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース

Also Published As

Publication number Publication date
JP5521621B2 (ja) 2014-06-18

Similar Documents

Publication Publication Date Title
JP5521621B2 (ja) 携帯端末、拡張現実システム、及び拡張現実情報表示方法
US10530998B2 (en) Image processing device, imaging device, image processing method, and program
US9736371B2 (en) Image management system, image management method, and computer program product
US9582937B2 (en) Method, apparatus and computer program product for displaying an indication of an object within a current field of view
US9652144B2 (en) Method and apparatus for providing POI information in portable terminal
JP6496671B2 (ja) 情報処理装置、端末装置、情報処理方法及びプログラム
JP4816789B2 (ja) 情報処理装置、情報処理方法、プログラムおよび情報処理システム
US8923805B2 (en) Emergency rescue system and help-seeking device and emergency rescue method
US20130147844A1 (en) Information processing apparatus, information processing method, and program
JP2010238098A (ja) 端末装置、情報提示システム及び端末画面表示方法
JP5528057B2 (ja) デバイス発見方法
CN109639569B (zh) 一种社交通信方法及终端
US20170011359A1 (en) Device maintenance server and device maintenance system
JP5512378B2 (ja) オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
CN109104564B (zh) 一种拍摄提示方法及终端设备
JP2014035642A (ja) 表示装置及びその制御方法、表示システム、プログラム
EP3077902A1 (en) Wearable map and image display
JP2011166589A (ja) 携帯端末および情報提示方法
JP2017211811A (ja) 表示制御プログラム、表示制御方法および表示制御装置
JP6617547B2 (ja) 画像管理システム、画像管理方法、プログラム
KR100672390B1 (ko) 약도 작성 기능을 갖는 이동통신 단말기 및 이를 이용한약도 작성 방법
JP5405412B2 (ja) オブジェクト表示装置及びオブジェクト表示方法
KR101706371B1 (ko) 라이프로그 서비스를 수행하는 이동 단말기 및 서버
CN110121027B (zh) 图像处理方法及终端
JP6208977B2 (ja) 情報処理装置、通信端末およびデータ取得方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140324

R150 Certificate of patent or registration of utility model

Ref document number: 5521621

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees