JP2012155654A - 情報処理装置、報知方法及びプログラム - Google Patents

情報処理装置、報知方法及びプログラム Download PDF

Info

Publication number
JP2012155654A
JP2012155654A JP2011016440A JP2011016440A JP2012155654A JP 2012155654 A JP2012155654 A JP 2012155654A JP 2011016440 A JP2011016440 A JP 2011016440A JP 2011016440 A JP2011016440 A JP 2011016440A JP 2012155654 A JP2012155654 A JP 2012155654A
Authority
JP
Japan
Prior art keywords
danger
user
information processing
processing apparatus
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011016440A
Other languages
English (en)
Other versions
JP5691568B2 (ja
JP2012155654A5 (ja
Inventor
Akihiko Kaino
彰彦 貝野
Yoshiaki Iwai
嘉昭 岩井
Kenichiro Oi
堅一郎 多井
Shunichi Honma
俊一 本間
Ka-Nyong Oh
嘉寧 呉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2011016440A priority Critical patent/JP5691568B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to US13/980,978 priority patent/US10909759B2/en
Priority to RU2013133883/08A priority patent/RU2013133883A/ru
Priority to KR1020137019080A priority patent/KR20140014117A/ko
Priority to EP11857123.1A priority patent/EP2668553B1/en
Priority to BR112013018603A priority patent/BR112013018603A2/pt
Priority to PCT/JP2011/007068 priority patent/WO2012101720A1/en
Priority to TW101100369A priority patent/TW201246008A/zh
Priority to CN201210018916.0A priority patent/CN102682571B/zh
Publication of JP2012155654A publication Critical patent/JP2012155654A/ja
Publication of JP2012155654A5 publication Critical patent/JP2012155654A5/ja
Application granted granted Critical
Publication of JP5691568B2 publication Critical patent/JP5691568B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Traffic Control Systems (AREA)
  • Alarm Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

【課題】拡張現実アプリケーションが提供されている間の実世界でのユーザの危険に対するリスクを低減すること。
【解決手段】実空間に仮想オブジェクトを重畳して表示する拡張現実アプリケーションをユーザに提供可能な情報処理装置であって、上記実空間において上記ユーザに及ぶ危険を認識する危険認識部と、上記拡張現実アプリケーションが上記ユーザに提供されている間に上記危険認識部により危険が認識された場合に、上記ユーザに危険の存在を報知する報知部と、を備える情報処理装置を提供する。
【選択図】図３

Description

本発明は、情報処理装置、報知方法及びプログラムに関する。
近年、実世界に付加的な情報を重畳してユーザに呈示する拡張現実（ＡＲ：Augmented Reality）のための様々なアプリケーションが提案されている。例えば、下記非特許文献１に記載されたアプリケーションでは、マップ上の任意の位置と関連付けられる仮想的なタグが予めシステムに登録される。そして、ユーザが携帯する端末により撮像される画像内で、当該画像に映る位置と関連付けられているタグがその位置に重畳して表示される。
「Sekai Camera Support Center」、［online］、［２０１０年１２月２２日検索］、インターネット＜URL：http://support.sekaicamera.com/en＞
拡張現実アプリケーションが提供されている間、ユーザは、アプリケーション画面に注意を奪われがちである。拡張現実アプリケーションの画面は、他の種類のアプリケーションの画面とは異なり、ユーザに実世界そのものを見ているという感覚を与える。この感覚は、ある側面においては危険である。即ち、実際には、携帯端末の画面又はヘッドマウントディスプレイの画面の画角は人間の視野角よりも狭い。また、拡張現実アプリケーションの付加的な情報によって、実世界に存在する物体がユーザの視界から隠されてしまう可能性もある。そのため、拡張現実アプリケーションが提供されている間、実世界に存在する危険にユーザが気付かない（又は気付くのが遅れる）というリスクはより高まる。
そこで、本発明は、拡張現実アプリケーションが提供されている間の実世界でのユーザの危険に対するリスクを低減させる、情報処理装置、報知方法及びプログラムを提供しようとするものである。
本発明のある実施形態によれば、実空間に仮想オブジェクトを重畳して表示する拡張現実アプリケーションをユーザに提供可能な情報処理装置であって、上記実空間において上記ユーザに及ぶ危険を認識する危険認識部と、上記拡張現実アプリケーションが上記ユーザに提供されている間に上記危険認識部により危険が認識された場合に、上記ユーザに危険の存在を報知する報知部と、を備える情報処理装置が提供される。
また、上記報知部は、上記拡張現実アプリケーションの表示を制御することにより、上記ユーザに危険の存在を報知してもよい。
また、上記報知部は、上記拡張現実アプリケーションに割り込むことにより、上記ユーザに危険の存在を報知してもよい。
また、上記報知部は、上記危険認識部により危険が認識された場合に、上記ユーザに提供されている上記拡張現実アプリケーションを中断し又は停止してもよい。
また、上記報知部は、上記危険認識部により危険が認識された場合に、上記ユーザに提供されている上記拡張現実アプリケーションにおいて表示中の仮想オブジェクトを点滅させ又は透過させてもよい。
また、上記報知部は、上記危険認識部により危険が認識された場合に、上記拡張現実アプリケーションが提供されている画面上に警報のためのオブジェクトを表示させてもよい。
また、上記警報のためのオブジェクトは、上記危険認識部により認識された危険の原因に対応する位置又は領域を指し示してもよい。
また、上記危険認識部は、上記実空間において上記ユーザと衝突する可能性のある物体の存在を危険として認識してもよい。
また、上記情報処理装置は、上記実空間における相対的に安全性の低い危険領域を定義する危険領域情報を取得する情報取得部、をさらに備え、上記危険認識部は、上記危険領域情報により定義された上記危険領域への上記ユーザの接近又は進入を危険として認識してもよい。
また、上記情報処理装置は、上記実空間において上記ユーザに危険を及ぼす可能性のある危険物体を定義する危険物体情報を取得する情報取得部、をさらに備え、上記危険認識部は、上記危険物体情報により定義された上記危険物体への上記ユーザの接近を危険として認識してもよい。
また、上記危険認識部は、表示される上記仮想オブジェクトの画面に占める割合が所定の閾値を上回る場合に、危険を認識してもよい。
また、上記報知部は、所定の上限値と等しい回数既に上記ユーザに報知された危険について当該危険の存在を上記ユーザに報知しなくてもよい。
また、上記報知部は、上記ユーザの行動履歴に含まれる行動と同様の行動をユーザが行っている場合には、上記ユーザに危険の存在を報知しなくてもよい。
また、上記情報処理装置は、上記ユーザにより予め指定される危険について上記報知部による報知を無効化する設定部、をさらに備えてもよい。
また、上記情報処理装置は、上記実空間内の物体と上記ユーザとの間の距離を測定する測距センサ、をさらに備え、上記危険認識部は、上記測距センサにより測定される各物体との間の距離に基づいて、上記ユーザに及ぶ危険を認識してもよい。
また、上記測距センサは、上記拡張現実アプリケーションの提供のために使用される撮像装置の光軸とは異なる方向に沿って距離を測定可能なように設けられてもよい。
また、上記情報処理装置は、外部装置から危険に関する情報を受信する通信部、をさらに備え、上記危険認識部は、上記通信部により受信される上記危険に関する情報を用いて、上記ユーザに及ぶ危険を認識してもよい。
また、上記外部装置は、上記ユーザに及ぶ危険の原因となる可能性のある物体又は領域に設置される装置であってもよい。
また、上記外部装置は、上記情報処理装置と同等の危険報知機能を有する他のユーザの装置であってもよい。
また、上記危険に関する情報は、上記ユーザに及ぶ危険の原因となる可能性のある物体又は領域の位置又は範囲を特定する情報であり、上記危険認識部は、上記危険に関する情報と上記ユーザの位置とに基づいて、上記ユーザに及ぶ危険を認識してもよい。
また、本発明の別の実施形態によれば、実空間に仮想オブジェクトを重畳して表示する拡張現実アプリケーションをユーザに提供可能な情報処理装置における報知方法であって、上記拡張現実アプリケーションが上記ユーザに提供されている間に、上記実空間において上記ユーザに及ぶ危険を認識するステップと、危険が認識された場合に、上記拡張現実アプリケーションに割り込むことにより上記ユーザに危険の存在を報知するステップと、を含む報知方法が提供される。
また、本発明の別の実施形態によれば、実空間に仮想オブジェクトを重畳して表示する拡張現実アプリケーションをユーザに提供可能な情報処理装置を制御するコンピュータを、上記実空間において上記ユーザに及ぶ危険を認識する危険認識部と、上記拡張現実アプリケーションが上記ユーザに提供されている間に上記危険認識部により危険が認識された場合に、上記拡張現実アプリケーションに割り込むことにより上記ユーザに危険の存在を報知する報知部と、として機能させるためのプログラムが提供される。
本発明に係る情報処理装置、報知方法及びプログラムによれば、拡張現実アプリケーションが提供されている間の実世界でのユーザの危険に対するリスクを低減させることができる。
拡張現実アプリケーションが利用され得る状況の一例を示す説明図である。 一実施形態に係る情報処理装置の構成の一例を示すブロック図である。 一実施形態に係る情報処理装置の制御部により実現される機能の構成の一例を示すブロック図である。 一実施形態に係る情報処理装置における撮像装置及び測距センサの配置について説明するための第１の説明図である。 一実施形態に係る情報処理装置における撮像装置及び測距センサの配置について説明するための第２の説明図である。 一実施形態において危険を認識するために使用され得るパラメータの例について説明するための説明図である。 一実施形態において認識され得る危険の種別について説明するための説明図である。 一実施形態において危険に関する情報を送信する装置の第１の例を示す説明図である。 一実施形態において危険に関する情報を送信する装置の第２の例を示す説明図である。 一実施形態において危険に関する情報を送信する装置の第３の例を示す説明図である。 一実施形態における報知部による報知の第１の例を示す説明図である。 一実施形態における報知部による報知の第２の例を示す説明図である。 一実施形態における報知部による報知の第３の例を示す説明図である。 一実施形態における報知部による報知の第４の例を示す説明図である。 第１のシナリオにおける危険報知処理の流れの例を示すフローチャートである。 第２のシナリオにおける危険報知処理の流れの例を示すフローチャートである。 第３のシナリオにおける危険報知処理の流れの例を示すフローチャートである。 第４のシナリオにおける危険報知処理の流れの例を示すフローチャートである。 第５のシナリオにおける危険報知処理の流れの例を示すフローチャートである。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．一実施形態に係る情報処理装置の概要
２．一実施形態に係る情報処理装置の構成例
３．一実施形態に係る処理の流れ
４．まとめ
＜１．一実施形態に係る情報処理装置の概要＞
図１は、拡張現実（ＡＲ）アプリケーションが利用され得る状況の一例を示す説明図である。図１を参照すると、実空間１において、ユーザＵａが歩道上を歩いており、ユーザＵａの前方にはブロック１０及び階段１２が存在する。また、ユーザＵａは、情報処理装置１００を保持している。情報処理装置１００は、ＡＲアプリケーションを提供可能な装置である。情報処理装置１００は、スマートフォン、ＰＣ（Personal Computer）、ゲーム端末又は携帯型音楽プレーヤなどであってよい。情報処理装置１００によりユーザＵａにＡＲアプリケーションが提供されている間、ユーザＵａは、情報処理装置１００の画面に注意を奪われがちである。情報処理装置１００の画面には、実世界の様子が映し出される。しかし、画面の画角はユーザＵａの視野角よりも狭く、付加的な情報も画面上に表示されるため、ＡＲアプリケーションが提供されている間、ユーザＵａが実空間１に存在する危険に気付かない（又は気付くのが遅れる）というリスクは高まる。例えば、ユーザＵａは、ブロック１０につまずく可能性がある。また、ユーザＵａは、階段１２にぶつかる可能性もある。また、ユーザＵａは、歩道から外れて車道に進入する可能性もある。図１に示した例の他にも、実世界には様々な危険が存在する。本発明の一実施形態に係る情報処理装置１００は、以下に説明する仕組みによって、これら危険の存在をユーザに報知する。
＜２．一実施形態に係る情報処理装置の構成例＞
［２−１．ハードウェア構成］
図２は、図１に示した情報処理装置１００の構成の一例を示すブロック図である。図２を参照すると、情報処理装置１００は、撮像部１０２、センサ部１０４、測位部１０６、通信部１０８、記憶部１１０、入力部１１２、表示部１１４、音声出力部１１６、振動部１１８、バス１１９及び制御部１２０を備える。
（撮像部）
撮像部１０２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有するカメラモジュールである。撮像部１０２は、実空間１を撮像することにより一連の入力画像を生成する。撮像部１０２により生成される入力画像は、ＡＲアプリケーションの提供のために利用されることに加えて、ユーザ位置の推定及び入力画像に映る物体の位置の推定などの目的で利用され得る。撮像部１０２は、情報処理装置１００とは別体に構成され、ＡＲアプリケーションの提供の際に情報処理装置１００と接続されてもよい。
（センサ部）
センサ部１０４は、情報処理装置１００による危険の認識を支援するセンサ群である。例えば、センサ部１０４は、ジャイロセンサ、加速度センサ及び地磁気センサの少なくとも１つを含み、情報処理装置１００の傾き角、３軸加速度又は方位を測定する。情報処理装置１００の傾き角、３軸加速度又は方位は、情報処理装置１００の姿勢を推定するために使用され得る。
また、センサ部１０４は、実空間内の物体とユーザとの間の距離を測定するレーザ方式又は赤外線方式の測距センサを含んでよい。測距センサは、典型的には、撮像部１０２の向き（光軸）とは異なる方向に沿って距離を測定可能なように設けられる（図４参照）。それにより、情報処理装置１００の画角から外れる位置に存在する障害物（例えば、ブロック１０）の存在を情報処理装置１００が認識することができる（図５参照）。測距センサにより測定される距離と情報処理装置１００の姿勢とに基づいて、情報処理装置１００と障害物との間の相対的な位置関係を推定することも可能である。なお、測距センサは、図５に例示した下方向ではなく他の任意の方向を向くように設けられてよい。
（測位部）
測位部１０６は、情報処理装置１００の位置を測定するモジュールである。測位部１０６は、例えば、ＧＰＳ（Global Positioning System）信号を受信して情報処理装置１００の緯度、経度及び高度を測定するＧＰＳモジュールであってよい。その代わりに、測位部１０６は、無線アクセスポイントから受信される無線信号の強度に基づいて情報処理装置１００の位置を測定するPlaceEngine（登録商標）などの測位モジュールであってもよい。
（通信部）
通信部１０８は、情報処理装置１００が他の装置と通信するための通信インタフェースである。例えば、通信部１０８は、外部装置から危険に関する情報を外部情報として受信する。また、通信部１０８は、情報処理装置１００と同等の危険報知機能を有する近傍の装置へ、危険に関する情報を送信してもよい。
（記憶部）
記憶部１１０は、半導体メモリ又はハードディスクなどの記憶媒体を用いて、情報処理装置１００による処理のためのプログラム及びデータを記憶する。例えば、記憶部１１０は、撮像部１０２により生成される入力画像、センサ部１０４から出力されるセンサデータ、測位部１０６により測定される位置データ、及び通信部１０８により受信される外部情報を記憶する。また、記憶部１１０は、後に説明する画像認識処理のための特徴データを記憶する。記憶部１１０により記憶される特徴データは、実空間内の１つ以上の物体の外観の特徴を表すデータである。
（入力部）
入力部１１２は、情報処理装置１００のユーザが情報処理装置１００を操作し又は情報処理装置１００へ情報を入力するために使用される。入力部１１２は、例えば、キーパッド、ボタン、スイッチ又はタッチパネルなどを含み得る。入力部１１２は、入力画像に映るユーザのジェスチャを認識するジェスチャ認識モジュールを含んでもよい。
（表示部）
表示部１１４は、ＡＲアプリケーションにより生成され実空間に重畳される仮想オブジェクトを表示する画面を有する表示モジュールである。表示部１１４の画面上には、ユーザに危険の存在を報知する警報のためのオブジェクトも表示され得る。表示部１１４の画面は、シースルー型であってもよく、非シースルー型であってもよい。また、表示部１１４は、情報処理装置１００とは別体に構成され、ＡＲアプリケーションの提供の際に情報処理装置１００と接続されてもよい。
（音声出力部）
音声出力部１１６は、典型的には、ユーザに向けて音又は音声を出力するスピーカであってよい。音声出力部１１６は、ユーザの聴覚を通じてユーザに危険の存在を報知するために使用され得る。
（振動部）
振動部１１８は、典型的には、電気的に駆動される偏心モータなどのバイブレータであってよい。振動部１１８は、ユーザの触覚を通じてユーザに危険の存在を報知するために使用され得る。
（バス）
バス１１９は、撮像部１０２、センサ部１０４、測位部１０６、通信部１０８、記憶部１１０、入力部１１２、表示部１１４、音声出力部１１６、振動部１１８及び制御部１２０を相互に接続する。
（制御部）
制御部１２０は、ＣＰＵ（Central Processing Unit）又はＤＳＰ（Digital Signal Processor）などのプロセッサに相当する。制御部１２０は、記憶部１１０により記憶されるプログラムを実行することにより、次に説明する情報処理装置１００の様々な機能を動作させる。
［２−２．機能構成］
図３は、図２に示した情報処理装置１００の制御部１２０により実現される機能の構成の一例を示すブロック図である。図３を参照すると、制御部１２０は、アプリケーション部１３０、画像認識部１４０、推定部１５０、マップ記憶部１５２、情報取得部１６０、危険認識部１７０、報知部１８０及び設定部１９０を含む。
（アプリケーション部）
アプリケーション部１３０は、実空間に仮想オブジェクトを重畳して表示するＡＲアプリケーションをユーザに提供する。アプリケーション部１３０により提供されるＡＲアプリケーションは、例えば、道案内、作業支援、情報提供又はゲームなど、任意の目的を有するアプリケーションであってよい。アプリケーション部１３０は、入力画像に映る物体と関連付けてユーザに呈示すべき仮想オブジェクトを生成する。そして、アプリケーション部１３０は、生成した仮想オブジェクトを表示する画像を、表示部１１４へ出力する。アプリケーション部１３０は、仮想オブジェクトの表示位置を、入力画像についての画像認識の結果に基づいて決定し得る。
（画像認識部）
画像認識部１４０は、撮像部１０２により撮像される入力画像について画像認識処理を行う。例えば、画像認識部１４０は、入力画像から抽出される特徴データと記憶部１１０により予め記憶される特徴データとを照合し、入力画像に映る実空間内の物体又は領域を認識する。画像認識部１４０による特徴データの照合は、例えば、David G. Loweによる“Distinctive Image Features from Scale-Invariant Keypoints”（the International Journal of Computer Vision, 2004）に記載されたＳＩＦＴ（Scale Invariant Feature Transform）法に従って行われてもよい。また、画像認識部１４０による特徴データの照合は、例えば、Mustafa Oezuysalらによる“Fast Keypoint Recognition using Random Ferns”（IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.32, Nr.3, pp.448-461, March 2010）に記載されたRandom Ferns法に従って行われてもよい。また、画像認識部１４０は、実空間内の物体又は領域の外観に現れるマーカ（人工マーカ又は自然マーカ）を認識してもよい。画像認識部１４０は、画像認識の結果として認識した物体又は領域を特定する情報（例えば、識別子及び入力画像内の位置又は範囲）を、推定部１５０へ出力する。
（推定部）
推定部１５０は、画像認識部１４０による画像認識の結果に基づいて、実空間内に存在する各物体の位置及び各物体と撮像部１０２との間の距離を推定する。例えば、推定部１５０は、各物体（又はマーカ）の実際の大きさと入力画像内での大きさとを比較することにより、各物体と撮像部１０２との間の距離を推定する。そして、推定部１５０は、推定した距離と撮像部１０２の位置及び姿勢（情報処理装置１００の位置及び姿勢）とに応じて、情報処理装置１００を基準とした各物体の相対的な位置を推定する。また、推定部１５０は、ＳＬＡＭ技術の原理に従って、実空間内の各物体と情報処理装置１００との間の相対的な位置関係を動的に推定してもよい。ＳＬＡＭ技術の原理は、Andrew J.Davisonによる“Real-Time Simultaneous Localization and Mapping with a Single Camera”（Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410）において詳細に説明されている。実空間内の物体と情報処理装置１００との間の距離は、危険の認識において、実空間内の物体とユーザとの間の距離に相当するものとして扱われ得る。
なお、推定部１５０は、撮像部１０２からズーム率などのカメラパラメータを取得し、取得したカメラパラメータに応じて、各物体の位置及び各物体との間の距離についての推定結果を補正してもよい。
（マップ記憶部）
マップ記憶部１５２は、半導体メモリ又はハードディスクなどの記憶媒体を用いて、推定部１５０により推定される各物体の位置を記憶する。それにより、一度画像認識部１４０により認識された物体又は領域を、情報処理装置１００が移動することで当該物体又は領域が入力画像から消えた後でも、情報処理装置１００は認識することができる。
（情報取得部）
情報取得部１６０は、危険認識部１７０による危険の認識のために使用される危険に関する情報を取得する。危険に関する情報は、予め記憶部１１０により記憶されてもよく、又は通信部１０８を介して外部装置から動的に取得されてもよい。
例えば、情報取得部１６０は、実空間における相対的に安全性の低い危険領域を定義する危険領域情報を取得する。危険領域とは、例えば、階段、エスカレータ、車道、横断歩道、プラットフォーム又は工事現場などであってよい。危険領域情報は、各危険領域の識別子及び各危険領域の範囲を示す座標データを含み得る。
また、情報取得部１６０は、実空間においてユーザに危険を及ぼす可能性のある危険物体を定義する危険物体情報を取得する。危険物体とは、実空間内の静的物体及び動的物体のうち、特にユーザに危険を及ぼす可能性の高い物体をいう。危険物体は、例えば、路上の設置物、落下物、看板、柱又は壁などの静的な障害物であってもよい。また、危険物体は、例えば、自動車、自転車又は列車などの高速に移動可能な動的物体であってもよい。危険物体情報は、各危険物体の識別子、特徴データ、又は各危険物体の位置を示す座標データなどを含み得る。
（危険認識部）
危険認識部１７０は、実空間においてユーザに及ぶ危険を認識する。危険認識部１７０は、ＡＲアプリケーションの提供のために使用される入力画像についての画像認識の結果に基づいて危険を認識してもよい。また、危険認識部１７０は、入力画像を用いて認識されない危険を、センサ部１０４の測距センサにより測定される各物体との間の距離に基づいて認識してもよい。さらに、危険認識部１７０は、ユーザに及ぶ危険の原因に対応する実空間の位置又は領域を認識する。そして、危険認識部１７０は、危険を認識すると、危険の内容を表す情報、及び対応する実空間内の位置又は領域を、報知部１８０へ出力する。
図６は、本実施形態において危険認識部１７０が危険を認識するために使用し得るパラメータの例について説明するための説明図である。図６を参照すると、危険認識部１７０が使用し得るパラメータの例として、以下に説明する１２通りのパラメータが示されている。
（１）ユーザ位置
ユーザ位置とは、情報処理装置１００を携帯するユーザの位置である。ユーザの絶対的な位置は、測位部１０６によりＧＰＳ信号を用いて測定され得る。また、近傍の物体又は領域に対するユーザの相対的な位置は、画像認識部１４０による画像認識の結果に基づいて、推定部１５０により推定され得る。近傍のランドマークの絶対的な位置が既知である場合には、ユーザのランドマークからの相対的な位置と既知のランドマークの位置とに基づいて、ユーザの絶対的な位置が算出されてもよい。本実施形態では、ユーザ位置、情報処理装置１００の位置及び撮像部１０２の位置は、近似的に互いに等しいものとして扱われる。
（２）ユーザの移動速度
ユーザの移動速度は、ユーザ位置の時間的変化から算出され得る。また、センサ部１０４が加速度センサを含む場合には、ユーザの移動速度は、加速度センサの出力値の積分によって算出されてもよい。
（３）静的物体の位置
静的物体の相対位置は、画像認識部１４０による画像認識の結果に基づいて、推定部１５０により推定され得る。既知の静的物体の位置は、記憶部１１０により記憶される位置データにより予め定義されてもよい。また、静的物体の位置は、後に例示する外部装置から取得される位置データを用いて認識されてもよい。
（４）静的物体との距離
静的物体とユーザとの間の距離は、ユーザ位置に対する静的物体の相対位置から算出され得る。また、静的物体とユーザとの間の距離は、センサ部１０４に含まれる測距センサを用いて計測されてもよい。
（５）静的物体への接近速度
静的物体へのユーザの接近速度（あるいはユーザへの静的物体の接近速度）は、静的物体とユーザとの間の距離の時間的変化から算出され得る。
（６）動的物体の位置
動的物体の相対位置は、画像認識部１４０による画像認識の結果に基づいて、推定部１５０により推定され得る。また、動的物体の位置は、後に例示する外部装置から取得される位置データを用いて認識されてもよい。
（７）動的物体との距離
動的物体とユーザとの間の距離は、ユーザ位置に対する動的物体の相対位置から算出され得る。また、動的物体とユーザとの間の距離は、センサ部１０４に含まれる測距センサを用いて計測されてもよい。
（８）動的物体への接近速度
動的物体へのユーザの接近速度（あるいはユーザへの動的物体の接近速度）は、動的物体とユーザとの間の距離の時間的変化から算出され得る。
（９）危険物体の存在
危険物体の存在は、画像認識部１４０による画像認識の結果として認識され得る。認識された物体が危険物体か否かは、例えば、認識された物体の識別子を既知の識別子のリストと照合することにより判定されてもよい。その代わりに、移動速度が所定の閾値を上回っている物体が一時的に危険物体として認識されてもよい。
また、危険物体の存在は、危険物体が発するビーコンを通信部１０８が受信することにより認識されてもよい。入力画像に映らない近傍の危険物体の存在は、ユーザ位置とマップ記憶部１５２により記憶されている危険物体の位置との間の距離から認識されてもよい。
（１０）危険物体の位置
危険物体の位置は、静的物体の位置又は動的物体の位置と同様に認識され得る。
（１１）危険領域の範囲
危険領域の範囲は、画像認識部１４０による画像認識の結果として認識され得る。危険領域の範囲は、記憶部１１０により記憶される危険領域情報により予め定義されてもよい。また、危険領域の範囲は、外部装置から取得される危険領域情報を用いて認識されてもよい。
（１２）オブジェクト占拠率
オブジェクト占拠率は、表示される仮想オブジェクトの画面に占める割合を表すパラメータである。危険認識部１７０は、例えば、仮想オブジェクトの表示量を示す情報（例えば、仮想オブジェクトの画面上でのサイズの合計値）をアプリケーション部１３０から取得する。そして、危険認識部１７０は、仮想オブジェクトの表示量を入力画像のサイズ（又は画面サイズ）で除算することにより、オブジェクト占拠率を算出する。
危険認識部１７０は、これら１２通りのパラメータのうち少なくとも１つを使用して、実空間においてユーザに及ぶ危険を認識する。
図７は、本実施形態において危険認識部１７０により認識され得る危険の種別について説明するための説明図である。図７を参照すると、危険認識部１７０により認識され得る危険は、「静的物体との衝突」、「動的物体との衝突」、「危険物体への接近」、「危険領域への接近・侵入」及び「ユーザの注意力の阻害」という５通りの種別に分類される。
（１）静的物体との衝突
危険認識部１７０は、例えば、ある静的物体とユーザとの間の距離が所定の閾値を下回る場合に、ユーザが当該物体に衝突する可能性があると判定してもよい。また、危険認識部１７０は、ある静的物体への接近速度が所定の閾値を上回る場合に、ユーザが当該物体に衝突する可能性があると判定してもよい。そして、危険認識部１７０は、ユーザと衝突する可能性のある静的物体の存在を危険として認識し得る。
（２）動的物体との衝突
危険認識部１７０は、例えば、ある動的物体とユーザとの間の距離が所定の閾値を下回る場合に、ユーザが当該物体に衝突する可能性があると判定してもよい。また、危険認識部１７０は、ある動的物体への接近速度（あるいは当該動的物体のユーザへの接近速度）が所定の閾値を上回る場合に、ユーザが当該物体に衝突する可能性があると判定してもよい。動的物体についての判定の閾値は、上述した静的物体についての判定の閾値とは異なる値であってよい。そして、危険認識部１７０は、ユーザと衝突する可能性のある動的物体の存在を危険として認識し得る。
（３）危険物体への接近
危険認識部１７０は、危険物体へのユーザの接近を危険として認識してもよい。危険認識部１７０は、例えば、画像認識又は危険物体からのビーコンの受信により危険物体の存在を検知した場合に、危険物体へユーザが接近したと判定し得る。また、危険認識部１７０は、危険物体とユーザとの間の距離を所定の閾値と比較することにより、危険物体へユーザが接近したと判定し得る。
（４）危険領域への接近・侵入
危険認識部１７０は、危険領域へのユーザの接近又は進入を危険として認識してもよい。危険認識部１７０は、現在のユーザ位置が危険領域の内部である場合に、危険領域へユーザが進入したと判定し得る。また、危険認識部１７０は、危険領域の境界と現在のユーザ位置との間の距離を所定の閾値と比較することにより、危険領域へユーザが接近したと判定し得る。また、危険認識部１７０は、床面（又は地面）の高さが大きく変化している領域を危険領域として認識してもよい。
（５）ユーザの注意力の阻害
危険認識部１７０は、ユーザの注意力が阻害され得る状態を危険として認識してもよい。危険認識部１７０は、例えば、上述したオブジェクト占拠率が所定の閾値を上回る場合に、ユーザの注意力がＡＲアプリケーションにより阻害され得ると判定してもよい。また、危険認識部１７０は、ユーザの移動速度が所定の閾値を上回る場合に、ユーザの注意力が阻害され得ると判定してもよい。
危険認識部１７０は、これら５通りの種別のいずれかに該当する危険を認識すると、認識した危険の内容を表す情報（例えば、危険の種別、危険物体又は危険領域の識別子若しくは名称など）及び対応する実空間内の位置又は領域を、報知部１８０へ出力する。
（外部装置の例）
外部装置が情報処理装置１００へ危険に関する情報を提供することにより、情報処理装置１００の危険を認識する能力を高めることが可能である。図８〜図１０は、そのような外部装置の例をそれぞれ示している。
図８を参照すると、階段１２に無線送信機２０ａが設置されている。階段１２は、ユーザＵａに及ぶ危険の原因となる可能性のある物体又は領域である。無線送信機２０ａは、周囲の装置へ、危険を知らせるためのビーコンを周期的に送信する。当該ビーコンは、例えば、階段１２の識別子及び位置データを含む。情報処理装置１００の情報取得部１６０は、通信部１０８によりビーコンが受信されると、ビーコンに含まれる情報を外部情報として取得し、取得した情報を危険認識部１７０へ出力する。それにより、危険認識部１７０は、階段１２の存在及びその位置を認識することができる。
図９を参照すると、ユーザＵｂが情報処理装置２０ｂを保持している。情報処理装置２０ｂは、情報処理装置１００と同等の危険報知機能を有する装置である。ユーザＵｂは、ユーザＵａの位置する方向へ向かって走っている。情報処理装置２０ｂは、かかるユーザＵｂの移動速度が所定の閾値を上回ることを認識し、周囲の装置へ危険を知らせるためのビーコンを送信する。当該ビーコンは、例えば、情報処理装置２０ｂの識別子、位置データ及び速度データを含む。情報処理装置１００の情報取得部１６０は、通信部１０８によりビーコンが受信されると、ビーコンに含まれる情報を外部情報として取得し、取得した情報を危険認識部１７０へ出力する。それにより、危険認識部１７０は、ユーザＵａがユーザＵｂと衝突する可能性があることを認識することができる。
図１０を参照すると、情報処理装置１００との間で通信可能なデータサーバ２０ｃが示されている。データサーバ２０ｃは、ユーザに及ぶ危険の原因となる可能性のある物体又は領域を特定するデータ（例えば物体又は領域の識別子）を位置データと関連付けて保持するサーバである。データサーバ２０ｃにより保持されるデータは、例えば、上述した危険物体情報及び危険領域情報に相当する。情報処理装置１００の情報取得部１６０は、通信部１０８を介して、データサーバ２０ｃから危険物体情報及び危険領域情報（図中のダウンロードデータ２２）をダウンロードする。それにより、危険認識部１７０は、ダウンロードされた危険物体情報及び危険領域情報を用いて危険を認識することができる。
（報知部）
報知部１８０は、ＡＲアプリケーションがユーザに提供されている間に危険認識部１７０により危険が認識された場合に、ユーザに危険の存在を報知する。例えば、報知部１８０による報知は、ＡＲアプリケーションの表示を制御することにより行われてもよい。より具体的には、本実施形態において、報知部１８０は、危険認識部１７０により危険が認識されると、ＡＲアプリケーションに割り込みを行う。そして、報知部１８０は、ＡＲアプリケーションの表示を制御する。ＡＲアプリケーションの表示の制御とは、単純にＡＲアプリケーションを中断させ又は停止させることであってもよい。また、報知部１８０は、ＡＲアプリケーションにおいて表示中の仮想オブジェクトの表示を弱めてもよい。一例として、報知部１８０は、表示中の仮想オブジェクトを点滅させ又は透過させる。さらに、報知部１８０は、ＡＲアプリケーションが提供されている表示部１１４の画面上に、警報のためのオブジェクトを表示させてもよい。警報のためのオブジェクトは、例えば、危険認識部１７０により認識された危険の位置又は領域をユーザに示すオブジェクトであってよい。
代替的に又は追加的に、報知部１８０による報知は、ＡＲアプリケーションの表示の制御以外の手段により行われてもよい。例えば、報知部１８０は、スピーカ部１１６から警告音又は警告メッセージを出力させることにより、ユーザに危険の存在を報知してもよい。また、報知部１８０は、振動部１１８を振動させることにより、ユーザに危険の存在を報知してもよい。
報知部１８０は、ＡＲアプリケーションに依存することなく独立して情報処理装置１００に設けられる機能であってもよい。その代わりに、情報処理装置１００に搭載されるいずれかのＡＲアプリケーションが、報知部１８０としての機能を有していてもよい。
図１１〜図１４は、本実施形態における報知部１８０による危険の存在の報知の例をそれぞれ示している。
（１）第１の例
図１１の左の画像Ｉｍ１１は、ＡＲアプリケーションにより表示され得る出力画像の一例である。画像Ｉｍ１１において、実空間内の建物に仮想オブジェクトＴ１が重畳されている。仮想オブジェクトＴ１は、例えば、建物内のレストランの評価に関する情報を表現するオブジェクトである。
図１１の右の画像Ｉｍ１２は、画像Ｉｍ１１が表示された後、ユーザＵａが階段１２に近付いた結果として報知部１８０により報知が行われる際の出力画像の例である。画像Ｉｍ１２において、仮想オブジェクトＴ１は透過的に表示されている。それにより、危険の原因となる可能性のある物体又は領域が仮想オブジェクトＴ１により隠されることがない。また、階段の位置（領域）をユーザに示すオブジェクトＡ１、及びユーザに注意を喚起するメッセージを示すオブジェクトＡ２が表示されている。それにより、ユーザは、自らに及ぶ危険を迅速かつ的確に認識することができる。
（２）第２の例
図１２の左の画像Ｉｍ２１は、ＡＲアプリケーションにより表示され得る出力画像の一例である。画像Ｉｍ２１においても、実空間内の建物に仮想オブジェクトＴ１が重畳されている。また、画像Ｉｍ２１には、ユーザＵａにとって障害物となる可能性のあるブロック１０が映っている。
図１２の右の画像Ｉｍ２２は、画像Ｉｍ２１が表示された後、ユーザＵａがブロック１０に近付いた結果として報知部１８０により報知が行われる際の出力画像の例である。画像Ｉｍ２２において、仮想オブジェクトＴ１は画面から消去されている。また、ブロック１０の位置をユーザに示すと共にユーザに注意を喚起するメッセージを示すオブジェクトＡ３が表示されている。ブロック１０は画面の画角から外れているが、例えば、センサ部１０４の測距センサがブロック１０との間の距離を測定することで、又はマップ記憶部１５２がブロック１０の位置を記憶していることで、危険認識部１７０は、ブロック１０がユーザＵａに及ぼす危険を認識することができる。
（３）第３の例
図１３の左の画像Ｉｍ３１は、ＡＲアプリケーションにより表示され得る出力画像の一例である。画像Ｉｍ３１においても、実空間内の建物に仮想オブジェクトＴ１が重畳されている。
図１３の右の画像Ｉｍ３２は、画像Ｉｍ３１が表示された後、ユーザＵａが走り出した結果として、報知部１８０により報知が行われる際の出力画像の例である。画像Ｉｍ３２において、仮想オブジェクトＴ１は画面から消去され、ＡＲアプリケーションは停止している。このように、報知部１８０は、単純にＡＲアプリケーションを中断し又は停止することにより、ユーザに注意を喚起してもよい。
（４）第４の例
図１４の左の画像Ｉｍ４１は、ＡＲアプリケーションにより表示され得る出力画像の一例である。画像Ｉｍ４１においても、実空間内の建物に仮想オブジェクトＴ１が重畳されている。また、ユーザＵａの前方には、溝１４が存在する。このような溝１４もまた、危険物体又は危険領域として認識され得る。
図１４の右の画像Ｉｍ４２は、画像Ｉｍ４１が表示された後、ユーザＵａが溝１４へ接近した結果として、報知部１８０により報知が行われる際の出力画像の例である。画像Ｉｍ４２においても、仮想オブジェクトＴ１は透過的に表示されている。さらに、報知部１８０は、振動部１１８を振動させると共に、スピーカ部１１６から警告メッセージを出力させている。このように、視覚的な報知のみならず触覚又は聴覚を介する報知を行うことで、より強くユーザに注意を喚起することができる。
（設定部）
設定部１９０は、危険認識部１７０による危険認識処理及び報知部１８０による報知処理に関する設定を管理する。例えば、設定部１９０は、危険認識部１７０により危険が認識された際にどの手法で報知が行われるべきかを管理する。設定部１９０は、認識される危険の種別ごとに異なる手法で報知部１８０に報知を行わせてもよい。また、設定部１９０は、入力部１１２を介して報知の手法をユーザに指定させてもよい。
また、例えば、設定部１９０は、同じ危険についてユーザに報知を行う回数の上限値を保持する。報知部１８０は、危険物体及び危険領域の識別子又は位置ごとに、報知の回数をカウントする。そして、報知部１８０は、上限値と等しい回数既にユーザに報知された危険について、当該危険の存在をユーザに報知しなくてもよい。また、例えば、設定部１９０は、ユーザの行動履歴を記録する。ユーザの行動履歴とは、例えば、測位部１０６により測定されるユーザの移動の履歴であってよい。そして、報知部１８０は、ユーザの行動履歴に含まれる行動と同様の行動をユーザが行っている場合には、ユーザに危険の存在を報知しなくてもよい。このような報知の無効化により、ユーザにとって既に認識済みの危険について過剰な報知が行われることを防止することができる。
また、設定部１９０は、報知を無効化すべき危険物体又は危険領域の識別子若しくは位置を入力部１１２を介してユーザに予め指定させてもよい。この場合には、ユーザにより明示的に指定された危険物体又は危険領域についての報知部１８０による報知が無効化される。
＜３．一実施形態に係る処理の流れ＞
次に、本実施形態に係る情報処理装置１００による処理の流れの例を、図１５〜図１９を用いて、５つのシナリオに沿ってそれぞれ説明する。なお、情報処理装置１００は、これら５つのシナリオのいずれか１つの処理のみを実行してもよく、複数の処理を実行してもよい。また、情報処理装置１００は、ここに例示される処理とは異なる流れを有する処理を実行してもよい。
［３−１．第１のシナリオ］
図１５は、第１のシナリオにおける危険報知処理の流れの例を示すフローチャートである。第１のシナリオでは、入力画像についての画像認識の結果に基づく危険の認識が行われる。
図１５を参照すると、まず、画像認識部１４０により入力画像が取得される（ステップＳ１１０）。次に、画像認識部１４０は、取得した入力画像に映る物体を認識する（ステップＳ１１２）。次に、推定部１５０は、画像認識部１４０により認識された各物体の位置及びユーザ位置を推定する（ステップＳ１１４）。次に、推定部１５０は、推定した各物体の位置及びユーザ位置に基づいて、各物体とユーザとの間の距離を算出し、さらに各物体へのユーザの接近速度を算出する（ステップＳ１１６）。
そして、危険認識部１７０は、推定部１５０により推定され又は算出された各物体とユーザとの間の距離及び各物体へのユーザの接近速度をそれぞれ所定の閾値と比較することにより、危険の存在を判定する（ステップＳ１６０）。例えば、ある物体へのユーザの接近速度が所定の閾値を上回る場合には、危険認識部１７０は、当該物体にユーザが衝突する可能性があると判定し得る。また、ある危険物体とユーザとの間の距離が所定の閾値を下回る場合には、危険認識部１７０は、危険物体にユーザが接近していると判定し得る。
ステップＳ１６０において危険認識部１７０により危険が存在すると判定されると、報知部１８０は、アプリケーション部１３０により提供されているＡＲアプリケーションに割り込みを行う（ステップＳ１７０）。そして、報知部１８０は、図１１〜図１４に例示した手法又は他の手法で、危険の存在をユーザに報知する（ステップＳ１８０）。一方、ステップＳ１６０において危険認識部１７０により危険が存在しないと判定されると、処理はステップＳ１１０へ戻る。
［３−２．第２のシナリオ］
図１６は、第２のシナリオにおける危険報知処理の流れの例を示すフローチャートである。第２のシナリオでは、データサーバから受信される危険に関する情報を用いた危険の認識が行われる。
図１６を参照すると、まず、情報取得部１６０は、通信部１０８を介して外部装置から危険に関する情報を取得する（ステップＳ１２０）。ここでは、一例として、図１０に例示したデータサーバ２０ｃから、危険物体を定義する危険物体情報及び危険領域を定義する危険領域情報が取得されるものとする。情報取得部１６０は、ステップＳ１２０において取得した危険領域情報を記憶部１１０に記憶させる（ステップＳ１２２）。次に、測位部１０６は、ユーザ位置を測定する（ステップＳ１２４）。ステップＳ１２４において、測位部１０６によりユーザ位置が測定される代わりに、入力画像についての画像認識の結果に基づいて、推定部１５０によりユーザ位置が推定されてもよい。
そして、危険認識部１７０は、危険領域情報及び危険物体情報とユーザ位置とに基づいて、危険の存在を判定する（ステップＳ１６２）。例えば、危険領域情報により示される危険領域の範囲にユーザ位置が含まれる場合、又は危険領域の境界とユーザ位置との間の距離が所定の閾値を下回る場合には、危険認識部１７０は、ユーザが危険領域に進入し又は接近していると判定し得る。また、危険物体情報により示される危険物体の位置とユーザ位置との間の距離が所定の閾値を下回る場合には、危険認識部１７０は、ユーザの近傍に危険物体が存在していると判定し得る。
ステップＳ１６２において危険認識部１７０により危険が存在すると判定されると、報知部１８０は、アプリケーション部１３０により提供されているＡＲアプリケーションに割り込みを行う（ステップＳ１７０）。そして、報知部１８０は、図１１〜図１４に例示した手法又は他の手法で、危険の存在をユーザに報知する（ステップＳ１８０）。一方、ステップＳ１６２において危険認識部１７０により危険が存在しないと判定されると、処理はステップＳ１２４へ戻る。
［３−３．第３のシナリオ］
図１７は、第３のシナリオにおける危険報知処理の流れの例を示すフローチャートである。第３のシナリオでは、データサーバとは異なる外部装置から受信される情報に基づく危険の認識が行われる。
図１７を参照すると、まず、情報取得部１６０は、通信部１０８を介して外部装置から危険に関する情報を受信する（ステップＳ１３０）。ここでは、一例として、図８に例示した無線送信機２０ａ又は図９に例示した情報処理装置２０ｂから、危険を知らせるビーコンが受信されるものとする。情報取得部１６０により危険を知らせるビーコンが受信されると、危険認識部１７０は、危険を認識する（ステップＳ１６４）。危険認識部１７０は、ビーコンの受信に応じて即座に危険を認識してもよく、又は当該ビーコンに含まれる位置データとユーザ位置とに基づいて危険の存在を判定してもよい。
ステップＳ１６４において危険認識部１７０により危険が認識されると、報知部１８０は、アプリケーション部１３０により提供されているＡＲアプリケーションに割り込みを行う（ステップＳ１７０）。そして、報知部１８０は、図１１〜図１４に例示した手法又は他の手法で、危険の存在をユーザに報知する（ステップＳ１８０）。
［３−４．第４のシナリオ］
図１８は、第４のシナリオにおける危険報知処理の流れの例を示すフローチャートである。第４のシナリオでは、入力画像についての画像認識の結果に基づいて生成されるマップを用いた危険の認識が行われる。
図１８を参照すると、まず、画像認識部１４０により入力画像が取得される（ステップＳ１４０）。次に、画像認識部１４０は、取得した入力画像に映る物体を認識する（ステップＳ１４２）。次に、推定部１５０は、画像認識部１４０により認識された各物体の位置及びユーザ位置を推定する（ステップＳ１４４）。次に、推定部１５０は、推定した各物体の位置及びユーザ位置をマップ記憶部１５２に記憶させる（ステップＳ１４６）。次に、推定部１５０は、マップ記憶部１５２に記憶されている各物体の位置と最新のユーザ位置との間の距離を算出し、さらに各物体へのユーザの接近速度を算出する（ステップＳ１４８）。
そして、危険認識部１７０は、推定部１５０により推定され又は算出された各物体とユーザとの間の距離及び各物体へのユーザの接近速度をそれぞれ所定の閾値と比較することにより、危険の存在を判定する（ステップＳ１６６）。ここで、危険認識部１７０により危険が存在すると判定されると、報知部１８０は、アプリケーション部１３０により提供されているＡＲアプリケーションに割り込みを行う（ステップＳ１７０）。そして、報知部１８０は、図１１〜図１４に例示した手法又は他の手法で、危険の存在をユーザに報知する（ステップＳ１８０）。一方、ステップＳ１６６において危険認識部１７０により危険が存在しないと判定されると、処理はステップＳ１４０へ戻る。
［３−５．第５のシナリオ］
図１９は、第５のシナリオにおける危険報知処理の流れの例を示すフローチャートである。第５のシナリオでは、アプリケーション部１３０から取得される情報を用いた危険の認識が行われる。
図１９を参照すると、まず、危険認識部１７０は、アプリケーション部１３０から、仮想オブジェクトの表示量を示す情報を取得する（ステップＳ１５０）。次に、危険認識部１７０は、仮想オブジェクトの表示量を入力画像のサイズ（又は画面サイズ）で除算することにより、オブジェクト占拠率を算出する（ステップＳ１５２）。
そして、危険認識部１７０は、オブジェクト占拠率を所定の閾値と比較することにより、危険の存在を判定する（ステップＳ１６８）。ここで、危険認識部１７０により危険が存在すると判定されると、報知部１８０は、アプリケーション部１３０により提供されているＡＲアプリケーションに割り込みを行う（ステップＳ１７０）。そして、報知部１８０は、図１１〜図１４に例示した手法又は他の手法で、危険の存在をユーザに報知する（ステップＳ１８０）。一方、ステップＳ１６８において危険認識部１７０により危険が存在しないと判定されると、処理はステップＳ１５０へ戻る。
＜４．まとめ＞
ここまで、図１〜図１９を用いて、本発明の一実施形態について詳細に説明した。本実施形態に係る情報処理装置１００によれば、ＡＲアプリケーションがユーザに提供されている間に実空間においてユーザに及ぶ危険が認識された場合に、ユーザに危険の存在が報知される。それにより、実世界でのユーザの危険に対するリスクが低減される。その結果、ユーザがより安心してＡＲアプリケーションを利用することが可能となる。
また、本実施形態によれば、ユーザへの報知は、ＡＲアプリケーションの表示を制御することにより行われ得る。それにより、ＡＲアプリケーションを利用しているユーザは、報知を見逃すことなく、迅速に危険を認識することができる。
また、本実施形態によれば、報知はＡＲアプリケーションへの割り込みにより行われ得る。従って、どのようなＡＲアプリケーションが情報処理装置１００に搭載されるとしても、ＡＲアプリケーションが提供されている間にユーザに危険の存在を報知することができる。また、ＡＲアプリケーションに依存しない独立した機能として上述した報知機能を実現することもできる。その場合には、個々のＡＲアプリケーションが個別に危険へのリスクを低減させる対策を講じなくてもよいため、ＡＲアプリケーションの開発の自由度も高められる。
また、本実施形態によれば、ＡＲアプリケーションの提供のために使用される入力画像についての画像認識の結果に基づいて、ユーザに及ぶ危険が認識され得る。即ち、画像認識の結果に基づいて、実空間内の物体とユーザとの間の距離、各物体へのユーザの接近速度、又はユーザの移動速度などのパラメータが推定される。そして、推定されたパラメータを用いて危険が認識される。この場合には、ＡＲアプリケーションを提供可能な装置を少ないコストで拡張することにより、上述した危険報知処理を容易に実現することができる。
また、本実施形態によれば、実空間においてユーザと衝突する可能性のある障害物の存在が危険として認識され得る。従って、ＡＲアプリケーションにユーザが注意を奪われている間にユーザが障害物に衝突するリスクが低減される。
また、本実施形態によれば、危険領域へのユーザの接近若しくは進入、又は危険物体への接近も危険として認識され得る。従って、ＡＲアプリケーションにユーザが注意を奪われている間にユーザが危険領域に接近し若しくは進入し又はユーザが危険物体に接近するリスクが低減される。
また、本実施形態によれば、危険に関する情報が外部装置から提供され得る。危険領域又は危険物体を定義する情報がデータサーバから提供される場合には、情報処理装置１００が単独で危険を認識しようとする場合と比較して、情報処理装置１００の危険認識能力が高められる。また、情報処理装置１００と同等の危険報知機能を有する他のユーザの装置が危険に関する情報を提供する場合には、装置間での協調によって、危険をより確実に認識することができる。また、危険の原因となる可能性のある物体又は領域に危険に関する情報を発信する装置が設置される場合には、危険度の高い場所において危険を一層確実に認識することが可能となる。
また、本実施形態によれば、撮像装置の光軸とは異なる方向に沿って実空間内の物体との間の距離を測定可能な測距センサが、危険の認識のために活用される。従って、画像認識のみでは認識し得ない危険をも認識することができる。
また、本実施形態によれば、表示される仮想オブジェクトの画面に占める割合に基づいて、ユーザの注意力が阻害されているか否かが判定される。従って、過剰な数の仮想オブジェクトが画面上に表示されることによりユーザが実世界に存在する危険に気付くのが遅れるというリスクも低減される。
また、本実施形態によれば、報知の回数、ユーザの行動履歴又はユーザによる明示的な設定に基づいて、ユーザにとって不要な報知が無効化される。従って、ユーザにとって望ましくない報知が行われることでユーザによるＡＲアプリケーションの利用が阻害されることが防止される。
また、本実施形態によれば、危険が認識されると、ＡＲアプリケーションは中断され又は停止され得る。この場合には、認識された危険にユーザの注意をより確実に向かわせることができる。また、ＡＲアプリケーションにより表示中の仮想オブジェクトは、点滅され又は透過され得る。従って、入力画像に映る危険の存在が仮想オブジェクトによって完全に隠されることがない。
また、本実施形態によれば、危険が認識されると、画面上に警報のためのオブジェクトが表示され得る。警報のためのオブジェクトは、認識された危険の位置又は領域をユーザに報知し得る。従って、ユーザが危険の原因を迅速に認識することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
１ 実空間
１０ ブロック（危険物体の例）
１２ 階段（危険領域の例）
２０ａ〜ｃ 外部装置
１００ 情報処理装置
１０２ 撮像部
１０４ センサ部
１０６ 測位部
１０８ 通信部
１１０ 記憶部
１５０ 推定部
１６０ 情報取得部
１７０ 危険認識部
１８０ 報知部
１９０ 設定部

Claims (22)

  1. 実空間に仮想オブジェクトを重畳して表示する拡張現実アプリケーションをユーザに提供可能な情報処理装置であって、
    前記実空間において前記ユーザに及ぶ危険を認識する危険認識部と、
    前記拡張現実アプリケーションが前記ユーザに提供されている間に前記危険認識部により危険が認識された場合に、前記ユーザに危険の存在を報知する報知部と、
    を備える情報処理装置。
  2. 前記報知部は、前記拡張現実アプリケーションの表示を制御することにより、前記ユーザに危険の存在を報知する、請求項１に記載の情報処理装置。
  3. 前記報知部は、前記拡張現実アプリケーションに割り込むことにより、前記ユーザに危険の存在を報知する、請求項１に記載の情報処理装置。
  4. 前記報知部は、前記危険認識部により危険が認識された場合に、前記ユーザに提供されている前記拡張現実アプリケーションを中断し又は停止する、請求項１に記載の情報処理装置。
  5. 前記報知部は、前記危険認識部により危険が認識された場合に、前記ユーザに提供されている前記拡張現実アプリケーションにおいて表示中の仮想オブジェクトを点滅させ又は透過させる、請求項１に記載の情報処理装置。
  6. 前記報知部は、前記危険認識部により危険が認識された場合に、前記拡張現実アプリケーションが提供されている画面上に警報のためのオブジェクトを表示させる、請求項１に記載の情報処理装置。
  7. 前記警報のためのオブジェクトは、前記危険認識部により認識された危険の原因に対応する位置又は領域を指し示す、請求項６に記載の情報処理装置。
  8. 前記危険認識部は、前記実空間において前記ユーザと衝突する可能性のある物体の存在を危険として認識する、請求項１に記載の情報処理装置。
  9. 前記情報処理装置は、前記実空間における相対的に安全性の低い危険領域を定義する危険領域情報を取得する情報取得部、をさらに備え、
    前記危険認識部は、前記危険領域情報により定義された前記危険領域への前記ユーザの接近又は進入を危険として認識する、
    請求項１に記載の情報処理装置。
  10. 前記情報処理装置は、前記実空間において前記ユーザに危険を及ぼす可能性のある危険物体を定義する危険物体情報を取得する情報取得部、をさらに備え、
    前記危険認識部は、前記危険物体情報により定義された前記危険物体への前記ユーザの接近を危険として認識する、
    請求項１に記載の情報処理装置。
  11. 前記危険認識部は、表示される前記仮想オブジェクトの画面に占める割合が所定の閾値を上回る場合に、危険を認識する、請求項１に記載の情報処理装置。
  12. 前記報知部は、所定の上限値と等しい回数既に前記ユーザに報知された危険について当該危険の存在を前記ユーザに報知しない、請求項１に記載の情報処理装置。
  13. 前記報知部は、前記ユーザの行動履歴に含まれる行動と同様の行動をユーザが行っている場合には、前記ユーザに危険の存在を報知しない、請求項１に記載の情報処理装置。
  14. 前記情報処理装置は、前記ユーザにより予め指定される危険について前記報知部による報知を無効化する設定部、をさらに備える、請求項１に記載の情報処理装置。
  15. 前記情報処理装置は、前記実空間内の物体と前記ユーザとの間の距離を測定する測距センサ、をさらに備え、
    前記危険認識部は、前記測距センサにより測定される各物体との間の距離に基づいて、前記ユーザに及ぶ危険を認識する、
    請求項１に記載の情報処理装置。
  16. 前記測距センサは、前記拡張現実アプリケーションの提供のために使用される撮像装置の光軸とは異なる方向に沿って距離を測定可能なように設けられる、請求項１５に記載の情報処理装置。
  17. 前記情報処理装置は、外部装置から危険に関する情報を受信する通信部、をさらに備え、
    前記危険認識部は、前記通信部により受信される前記危険に関する情報を用いて、前記ユーザに及ぶ危険を認識する、
    請求項１に記載の情報処理装置。
  18. 前記外部装置は、前記ユーザに及ぶ危険の原因となる可能性のある物体又は領域に設置される装置である、請求項１７に記載の情報処理装置。
  19. 前記外部装置は、前記情報処理装置と同等の危険報知機能を有する他のユーザの装置である、請求項１７に記載の情報処理装置。
  20. 前記危険に関する情報は、前記ユーザに及ぶ危険の原因となる可能性のある物体又は領域の位置又は範囲を特定する情報であり、
    前記危険認識部は、前記危険に関する情報と前記ユーザの位置とに基づいて、前記ユーザに及ぶ危険を認識する、
    請求項１７に記載の情報処理装置。
  21. 実空間に仮想オブジェクトを重畳して表示する拡張現実アプリケーションをユーザに提供可能な情報処理装置における報知方法であって、
    前記拡張現実アプリケーションが前記ユーザに提供されている間に、前記実空間において前記ユーザに及ぶ危険を認識するステップと、
    危険が認識された場合に、前記拡張現実アプリケーションに割り込むことにより前記ユーザに危険の存在を報知するステップと、
    を含む報知方法。
  22. 実空間に仮想オブジェクトを重畳して表示する拡張現実アプリケーションをユーザに提供可能な情報処理装置を制御するコンピュータを、
    前記実空間において前記ユーザに及ぶ危険を認識する危険認識部と、
    前記拡張現実アプリケーションが前記ユーザに提供されている間に前記危険認識部により危険が認識された場合に、前記拡張現実アプリケーションに割り込むことにより前記ユーザに危険の存在を報知する報知部と、
    として機能させるためのプログラム。
JP2011016440A 2011-01-28 2011-01-28 情報処理装置、報知方法及びプログラム Active JP5691568B2 (ja)

Priority Applications (9)

Application Number Priority Date Filing Date Title
JP2011016440A JP5691568B2 (ja) 2011-01-28 2011-01-28 情報処理装置、報知方法及びプログラム
RU2013133883/08A RU2013133883A (ru) 2011-01-28 2011-12-19 Устройство обработки информации, способ сигнализирования и программа
KR1020137019080A KR20140014117A (ko) 2011-01-28 2011-12-19 정보 처리 장치, 통지 방법, 및 프로그램
EP11857123.1A EP2668553B1 (en) 2011-01-28 2011-12-19 Information processing device, alarm method, and program
BR112013018603A BR112013018603A2 (pt) 2011-01-28 2011-12-19 aparelho, método e, meio legível por computador
PCT/JP2011/007068 WO2012101720A1 (en) 2011-01-28 2011-12-19 Information processing device, alarm method, and program
US13/980,978 US10909759B2 (en) 2011-01-28 2011-12-19 Information processing to notify potential source of interest to user
TW101100369A TW201246008A (en) 2011-01-28 2012-01-04 Information processing device, alarm method, and program
CN201210018916.0A CN102682571B (zh) 2011-01-28 2012-01-20 信息处理装置、报警方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011016440A JP5691568B2 (ja) 2011-01-28 2011-01-28 情報処理装置、報知方法及びプログラム

Publications (3)

Publication Number Publication Date
JP2012155654A true JP2012155654A (ja) 2012-08-16
JP2012155654A5 JP2012155654A5 (ja) 2014-01-30
JP5691568B2 JP5691568B2 (ja) 2015-04-01

Family

ID=46580333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011016440A Active JP5691568B2 (ja) 2011-01-28 2011-01-28 情報処理装置、報知方法及びプログラム

Country Status (9)

Country Link
US (1) US10909759B2 (ja)
EP (1) EP2668553B1 (ja)
JP (1) JP5691568B2 (ja)
KR (1) KR20140014117A (ja)
CN (1) CN102682571B (ja)
BR (1) BR112013018603A2 (ja)
RU (1) RU2013133883A (ja)
TW (1) TW201246008A (ja)
WO (1) WO2012101720A1 (ja)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5346115B1 (ja) * 2012-12-17 2013-11-20 治幸 岩田 携帯型移動支援装置
JP2015515044A (ja) * 2012-02-24 2015-05-21 エンパイア テクノロジー ディベロップメント エルエルシー ジェスチャー・ベースのゲーム・システムのための安全な方式
WO2015093130A1 (ja) * 2013-12-17 2015-06-25 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2015125464A (ja) * 2013-12-25 2015-07-06 Kddi株式会社 ウェアラブルデバイス
US9126115B2 (en) 2011-12-02 2015-09-08 Empire Technology Development Llc Safety scheme for gesture-based game system
JP2015197860A (ja) * 2014-04-02 2015-11-09 キヤノン株式会社 表示装置、表示制御方法及びプログラム
US9266019B2 (en) 2011-07-01 2016-02-23 Empire Technology Development Llc Safety scheme for gesture-based game
JP2016058042A (ja) * 2014-09-12 2016-04-21 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP2016062593A (ja) * 2015-07-09 2016-04-25 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP2016110565A (ja) * 2014-12-10 2016-06-20 富士通株式会社 表示制御方法、情報処理プログラム、及び情報処理装置
JP2016122085A (ja) * 2014-12-25 2016-07-07 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US9390318B2 (en) 2011-08-31 2016-07-12 Empire Technology Development Llc Position-setup for gesture-based game system
JP2016541035A (ja) * 2013-09-30 2016-12-28 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイのユーザー向けカメラベース安全機構
JP2017060033A (ja) * 2015-09-17 2017-03-23 カシオ計算機株式会社 携帯情報機器、携帯情報システム、表示方法及びプログラム
WO2017051570A1 (ja) * 2015-09-24 2017-03-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2017057055A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報端末、及び、情報処理方法
JP2017091433A (ja) * 2015-11-17 2017-05-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
JP2018005743A (ja) * 2016-07-06 2018-01-11 富士ゼロックス株式会社 情報処理装置、画像形成システムおよびプログラム
WO2018008208A1 (ja) * 2016-07-05 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018113572A (ja) * 2017-01-11 2018-07-19 京セラドキュメントソリューションズ株式会社 携帯端末装置、及び安全管理システム
WO2018173399A1 (ja) * 2017-03-21 2018-09-27 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018200631A (ja) * 2017-05-29 2018-12-20 エヌ・ティ・ティ・コミュニケーションズ株式会社 危険判定システム、危険判定方法及びコンピュータプログラム
JP2019166992A (ja) * 2018-03-23 2019-10-03 パナソニックＩｐマネジメント株式会社 車両制御装置およびコンピュータプログラム
KR20210005858A (ko) 2018-04-25 2021-01-15 소니 주식회사 정보 처리 장치, 정보 처리 방법, 정보 처리 프로그램
US12027082B2 (en) 2022-05-24 2024-07-02 Seiko Epson Corporation Display method and display system

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899977B1 (ko) * 2012-07-10 2018-09-19 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
JP5659195B2 (ja) * 2012-07-17 2015-01-28 株式会社東芝 画像提示装置及び方法
US8953841B1 (en) * 2012-09-07 2015-02-10 Amazon Technologies, Inc. User transportable device with hazard monitoring
KR101989893B1 (ko) * 2012-10-29 2019-09-30 엘지전자 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법
CN110084878B (zh) * 2012-12-21 2023-07-07 苹果公司 用于在真实环境中表示虚拟信息的方法
CN103116451B (zh) * 2013-01-25 2018-10-26 腾讯科技（深圳）有限公司 一种智能终端的虚拟角色交互方法、装置和系统
US9878235B2 (en) * 2013-06-07 2018-01-30 Sony Interactive Entertainment Inc. Transitioning gameplay on a head-mounted display
JP6160290B2 (ja) * 2013-06-21 2017-07-12 富士通株式会社 情報処理装置、判定方法および判定プログラム
US9729864B2 (en) * 2013-09-30 2017-08-08 Sony Interactive Entertainment Inc. Camera based safety mechanisms for users of head mounted displays
US20150123992A1 (en) * 2013-11-04 2015-05-07 Qualcomm Incorporated Method and apparatus for heads-down display
JP2015134079A (ja) * 2014-01-17 2015-07-27 株式会社ユニバーサルエンターテインメント ゲーミングマシン
US9654675B2 (en) * 2014-03-25 2017-05-16 Kessler Optics & Photonics Solutions Ltd. Optical attachment for deviating field of view
US10600245B1 (en) * 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
JP2016004493A (ja) * 2014-06-18 2016-01-12 キヤノン株式会社 画像処理装置およびその制御方法
KR102276847B1 (ko) * 2014-09-23 2021-07-14 삼성전자주식회사 가상 오브젝트 제공 방법 및 그 전자 장치
CN104333654B (zh) * 2014-10-14 2018-01-23 京东方科技集团股份有限公司 危险提醒方法及装置以及便携式电子设备
US9582976B2 (en) * 2014-10-16 2017-02-28 Elwha Llc Systems and methods for detecting and reporting hazards on a pathway
US9311802B1 (en) * 2014-10-16 2016-04-12 Elwha Llc Systems and methods for avoiding collisions with mobile hazards
WO2016073783A1 (en) 2014-11-05 2016-05-12 Valve Corporation Sensory feedback systems and methods for guiding users in virtual reality environments
US9881422B2 (en) * 2014-12-04 2018-01-30 Htc Corporation Virtual reality system and method for controlling operation modes of virtual reality system
JP6528409B2 (ja) 2015-01-13 2019-06-12 日本電気株式会社 対象表示システム、管理装置、対象表示方法及び管理プログラム
JP6600945B2 (ja) * 2015-01-20 2019-11-06 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US9760790B2 (en) * 2015-05-12 2017-09-12 Microsoft Technology Licensing, Llc Context-aware display of objects in mixed environments
CN105139576A (zh) * 2015-07-09 2015-12-09 小米科技有限责任公司 路况提示方法及装置
US10416306B2 (en) 2015-08-17 2019-09-17 Texas Instruments Incorporated Methods and apparatus to measure and analyze vibration signatures
US9836652B2 (en) 2016-02-02 2017-12-05 International Business Machines Corporation Showing danger areas associated with objects using augmented-reality display techniques
JP6232649B2 (ja) * 2016-02-18 2017-11-22 国立大学法人名古屋大学 仮想空間表示システム
US9939635B2 (en) 2016-02-29 2018-04-10 Brillio LLC Method for providing notification in virtual reality device
JP2017183828A (ja) * 2016-03-28 2017-10-05 京セラ株式会社 ヘッドマウントディスプレイ
US10200581B2 (en) * 2016-03-31 2019-02-05 Peter G. Hartwell Heads down intelligent display and processing
GB201608886D0 (en) 2016-05-20 2016-07-06 Nokia Technologies Oy Virtual reality display
CN106125927B (zh) * 2016-06-23 2019-11-29 捷开通讯(深圳)有限公司 图像处理系统及方法
US20170372499A1 (en) * 2016-06-27 2017-12-28 Google Inc. Generating visual cues related to virtual objects in an augmented and/or virtual reality environment
DE102016217263A1 (de) 2016-09-09 2018-03-15 Continental Teves Ag & Co. Ohg Verfahren zum Warnen einer Person vor einer Gefahrenquelle
CN106652332A (zh) * 2016-12-15 2017-05-10 英业达科技有限公司 虚拟实景装置的安防系统
US10311304B2 (en) 2017-02-07 2019-06-04 International Business Machines Corporation Mobile device accident avoidance system
US11488369B2 (en) 2017-02-07 2022-11-01 Teledyne Flir Detection, Inc. Systems and methods for identifying threats and locations, systems and method for augmenting real-time displays demonstrating the threat location, and systems and methods for responding to threats
WO2018148316A1 (en) 2017-02-07 2018-08-16 Flir Detection, Inc. Systems and methods for identifying threats and locations, systems and method for augmenting real-time displays demonstrating the threat location, and systems and methods for responding to threats
US10169973B2 (en) 2017-03-08 2019-01-01 International Business Machines Corporation Discontinuing display of virtual content and providing alerts based on hazardous physical obstructions
US10360437B2 (en) * 2017-03-22 2019-07-23 T-Mobile Usa, Inc. Collision avoidance system for augmented reality environments
US10726792B2 (en) * 2017-04-17 2020-07-28 Intel Corporation Glare and occluded view compensation for automotive and other applications
WO2019000429A1 (en) * 2017-06-30 2019-01-03 Guangdong Virtual Reality Technology Co., Ltd. METHODS AND SYSTEMS FOR OPERATING AN APPARATUS THROUGH INCREASED REALITY
US10691945B2 (en) * 2017-07-14 2020-06-23 International Business Machines Corporation Altering virtual content based on the presence of hazardous physical obstructions
US20190094955A1 (en) * 2017-09-27 2019-03-28 Apple Inc. Range finding and accessory tracking for head-mounted display systems
EP3483104B1 (en) 2017-11-10 2021-09-01 Otis Elevator Company Systems and methods for providing information regarding elevator systems
CN109905262A (zh) * 2017-12-11 2019-06-18 上海逸云信息科技发展有限公司 一种cdn设备服务的监控系统及监控方法
US10726765B2 (en) 2018-02-15 2020-07-28 Valve Corporation Using tracking of display device to control image display
JP2019146022A (ja) * 2018-02-21 2019-08-29 オリンパス株式会社 撮像装置及び撮像方法
US11032403B2 (en) * 2018-03-22 2021-06-08 Daniel L C Leung Method to aid the walking-while-texting smart phone user navigate around obstacles in the forward path
CN110322669B (zh) * 2018-03-31 2022-01-04 汉唐传媒股份有限公司 一种基于现实投影游戏场的预警方法
US20190042843A1 (en) * 2018-04-05 2019-02-07 Intel Corporation Cable detection for ar/vr computing method and apparatus
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
WO2019245550A1 (en) * 2018-06-20 2019-12-26 Hewlett-Packard Development Company, L.P. Alerts of mixed reality devices
WO2019245543A1 (en) * 2018-06-20 2019-12-26 Hewlett-Packard Development Company, L.P. Alerts of mixed reality devices
DE102018213368A1 (de) * 2018-08-09 2020-02-13 Audi Ag System, Verfahren und Absicherungsvorrichtung für einen kraftfahrzeuglosen Verkehrsteilnehmer sowie Servervorrichtung für das System
CN110097736B (zh) * 2019-04-23 2021-11-30 维沃移动通信有限公司 报警方法及报警装置
US10832484B1 (en) * 2019-05-09 2020-11-10 International Business Machines Corporation Virtual reality risk detection
US11468604B2 (en) * 2019-06-25 2022-10-11 Google Llc Methods and systems for providing a notification in association with an augmented-reality view
KR102614495B1 (ko) * 2019-08-02 2023-12-15 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법
US11991263B2 (en) * 2019-09-17 2024-05-21 Hewlett-Packard Development Company, L.P. Notification delivery in a virtual space based on a user being in a flow state
CN110641607B (zh) * 2019-10-08 2021-04-02 深圳市乐骑智能科技有限公司 基于位置检测数据的滑板车行驶辅助系统及电动滑板车
US20200045240A1 (en) * 2019-10-12 2020-02-06 Adam Diamond Hood with Multiple Cameras
CN110718043B (zh) * 2019-10-17 2021-07-30 辽宁中航信诺科技有限公司 基于ar人工智能设备的危险区域的检查报警方法
WO2021124299A1 (en) * 2019-12-21 2021-06-24 Elon Littwitz Walking assisting systems and methods
CN111564027B (zh) * 2020-05-08 2022-05-13 北京深演智能科技股份有限公司 报警信息处理方法及装置
US11561611B2 (en) * 2020-10-29 2023-01-24 Micron Technology, Inc. Displaying augmented reality responsive to an input
TWI758970B (zh) * 2020-11-24 2022-03-21 鴻海精密工業股份有限公司 可移動障礙物位置判斷方法、裝置、電子設備及系統
US20220188545A1 (en) * 2020-12-10 2022-06-16 International Business Machines Corporation Augmented reality enhanced situational awareness
US11393315B1 (en) * 2020-12-31 2022-07-19 Micron Technology, Inc. Hazard indicator
US11872486B2 (en) 2021-05-27 2024-01-16 International Business Machines Corporation Applying augmented reality-based gamification to hazard avoidance
US11663790B2 (en) * 2021-08-18 2023-05-30 Optum, Inc. Dynamic triggering of augmented reality assistance mode functionalities
US20230138204A1 (en) * 2021-11-02 2023-05-04 International Business Machines Corporation Augmented reality object interaction and notification
US11983922B2 (en) * 2022-01-27 2024-05-14 Rovi Guides, Inc. Smart home management system for generating augmented reality scene of potentially hazardous condition
US11995739B2 (en) * 2022-02-09 2024-05-28 At&T Intellectual Property I, L.P. System for contextual diminished reality for meta verse immersions
US11747891B1 (en) * 2022-07-15 2023-09-05 Google Llc Content output management in a head mounted wearable device
WO2024043527A1 (ko) * 2022-08-25 2024-02-29 삼성전자 주식회사 가상 현실 장치를 제어하는 방법 및 이를 이용하는 가상 현실 장치

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001006096A (ja) * 1999-06-23 2001-01-12 Honda Motor Co Ltd 車両の周辺監視装置
US20020196202A1 (en) * 2000-08-09 2002-12-26 Bastian Mark Stanley Method for displaying emergency first responder command, control, and safety information using augmented reality
JP2003240850A (ja) * 2002-02-18 2003-08-27 Nec Corp 前方障害物検出機能付き携帯情報端末
JP2003284120A (ja) * 2002-03-20 2003-10-03 Fuji Photo Film Co Ltd 携帯通信端末用警告装置
JP2006174288A (ja) * 2004-12-17 2006-06-29 Sharp Corp 携帯端末装置、衝突防止方法、衝突防止プログラムおよび記録媒体
JP2006301924A (ja) * 2005-04-20 2006-11-02 Canon Inc 画像処理方法および画像処理装置
JP2008199286A (ja) * 2007-02-13 2008-08-28 Nec Corp 携帯端末
JP2008230296A (ja) * 2007-03-16 2008-10-02 Mazda Motor Corp 車両用運転支援システム
JP2009206868A (ja) * 2008-02-28 2009-09-10 Kyocera Corp 携帯通信端末、着信報知方法
US20090293012A1 (en) * 2005-06-09 2009-11-26 Nav3D Corporation Handheld synthetic vision device

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030210228A1 (en) * 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
US20030218638A1 (en) * 2002-02-06 2003-11-27 Stuart Goose Mobile multimodal user interface combining 3D graphics, location-sensitive speech interaction and tracking technologies
US7762665B2 (en) * 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7142231B2 (en) * 2003-12-29 2006-11-28 Nokia Corporation Method and apparatus for improved handset multi-tasking, including pattern recognition and augmentation of camera images
US7283064B2 (en) * 2005-04-12 2007-10-16 Honeywell International, Inc. System and method for facilitating target aiming and aircraft control using aircraft displays
EP1926048B1 (en) * 2006-11-21 2010-02-24 Harman Becker Automotive Systems GmbH Presenting video images of a vehicle environment
DE102007033391A1 (de) 2007-07-18 2009-01-22 Robert Bosch Gmbh Informationsvorrichtung, Verfahren zur Information und/oder Navigation von einer Person sowie Computerprogramm
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
DE102008002322A1 (de) * 2008-06-10 2009-12-17 Robert Bosch Gmbh Tragbare Vorrichtung mit Warnsystem und Verfahren
DE102008002560A1 (de) * 2008-06-20 2009-12-24 Robert Bosch Gmbh Bilddatenvisualisierung
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
US8164543B2 (en) * 2009-05-18 2012-04-24 GM Global Technology Operations LLC Night vision on full windshield head-up display
CN201689517U (zh) * 2010-05-10 2010-12-29 佛山市神信锦盟科技有限公司 一种放射源智能监控装置及系统

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001006096A (ja) * 1999-06-23 2001-01-12 Honda Motor Co Ltd 車両の周辺監視装置
US20020196202A1 (en) * 2000-08-09 2002-12-26 Bastian Mark Stanley Method for displaying emergency first responder command, control, and safety information using augmented reality
JP2003240850A (ja) * 2002-02-18 2003-08-27 Nec Corp 前方障害物検出機能付き携帯情報端末
JP2003284120A (ja) * 2002-03-20 2003-10-03 Fuji Photo Film Co Ltd 携帯通信端末用警告装置
JP2006174288A (ja) * 2004-12-17 2006-06-29 Sharp Corp 携帯端末装置、衝突防止方法、衝突防止プログラムおよび記録媒体
JP2006301924A (ja) * 2005-04-20 2006-11-02 Canon Inc 画像処理方法および画像処理装置
US20090293012A1 (en) * 2005-06-09 2009-11-26 Nav3D Corporation Handheld synthetic vision device
JP2008199286A (ja) * 2007-02-13 2008-08-28 Nec Corp 携帯端末
JP2008230296A (ja) * 2007-03-16 2008-10-02 Mazda Motor Corp 車両用運転支援システム
JP2009206868A (ja) * 2008-02-28 2009-09-10 Kyocera Corp 携帯通信端末、着信報知方法

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9266019B2 (en) 2011-07-01 2016-02-23 Empire Technology Development Llc Safety scheme for gesture-based game
US9823740B2 (en) 2011-07-01 2017-11-21 Empire Technology Development Llc Safety scheme for gesture-based game
US9390318B2 (en) 2011-08-31 2016-07-12 Empire Technology Development Llc Position-setup for gesture-based game system
US9126115B2 (en) 2011-12-02 2015-09-08 Empire Technology Development Llc Safety scheme for gesture-based game system
JP2015515044A (ja) * 2012-02-24 2015-05-21 エンパイア テクノロジー ディベロップメント エルエルシー ジェスチャー・ベースのゲーム・システムのための安全な方式
WO2014098033A1 (ja) * 2012-12-17 2014-06-26 Iwata Haruyuki 携帯型移動支援装置
JP2014120006A (ja) * 2012-12-17 2014-06-30 Haruyuki Iwata 携帯型移動支援装置
JP5346115B1 (ja) * 2012-12-17 2013-11-20 治幸 岩田 携帯型移動支援装置
JP2020175204A (ja) * 2013-09-30 2020-10-29 株式会社ソニー・インタラクティブエンタテインメント 物理オブジェクトの画像をフェードアウトする方法
JP7028917B2 (ja) 2013-09-30 2022-03-02 株式会社ソニー・インタラクティブエンタテインメント 物理オブジェクトの画像をフェードアウトする方法
JP2016541035A (ja) * 2013-09-30 2016-12-28 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイのユーザー向けカメラベース安全機構
WO2015093130A1 (ja) * 2013-12-17 2015-06-25 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2015125464A (ja) * 2013-12-25 2015-07-06 Kddi株式会社 ウェアラブルデバイス
JP2015197860A (ja) * 2014-04-02 2015-11-09 キヤノン株式会社 表示装置、表示制御方法及びプログラム
JP2016058042A (ja) * 2014-09-12 2016-04-21 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US9784972B2 (en) 2014-09-12 2017-10-10 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
JP2016110565A (ja) * 2014-12-10 2016-06-20 富士通株式会社 表示制御方法、情報処理プログラム、及び情報処理装置
JP2016122085A (ja) * 2014-12-25 2016-07-07 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
JP2016062593A (ja) * 2015-07-09 2016-04-25 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
JP2017060033A (ja) * 2015-09-17 2017-03-23 カシオ計算機株式会社 携帯情報機器、携帯情報システム、表示方法及びプログラム
WO2017051570A1 (ja) * 2015-09-24 2017-03-30 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10855925B2 (en) 2015-09-24 2020-12-01 Sony Corporation Information processing device, information processing method, and program
WO2017057055A1 (ja) * 2015-09-30 2017-04-06 ソニー株式会社 情報処理装置、情報端末、及び、情報処理方法
JP2017091433A (ja) * 2015-11-17 2017-05-25 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
WO2018008208A1 (ja) * 2016-07-05 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018005743A (ja) * 2016-07-06 2018-01-11 富士ゼロックス株式会社 情報処理装置、画像形成システムおよびプログラム
JP2018113572A (ja) * 2017-01-11 2018-07-19 京セラドキュメントソリューションズ株式会社 携帯端末装置、及び安全管理システム
WO2018173399A1 (ja) * 2017-03-21 2018-09-27 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2018200631A (ja) * 2017-05-29 2018-12-20 エヌ・ティ・ティ・コミュニケーションズ株式会社 危険判定システム、危険判定方法及びコンピュータプログラム
JP2019166992A (ja) * 2018-03-23 2019-10-03 パナソニックＩｐマネジメント株式会社 車両制御装置およびコンピュータプログラム
KR20210005858A (ko) 2018-04-25 2021-01-15 소니 주식회사 정보 처리 장치, 정보 처리 방법, 정보 처리 프로그램
US12027082B2 (en) 2022-05-24 2024-07-02 Seiko Epson Corporation Display method and display system

Also Published As

Publication number Publication date
TW201246008A (en) 2012-11-16
RU2013133883A (ru) 2015-01-27
WO2012101720A1 (en) 2012-08-02
CN102682571A (zh) 2012-09-19
CN102682571B (zh) 2016-12-14
US20130293586A1 (en) 2013-11-07
EP2668553A1 (en) 2013-12-04
KR20140014117A (ko) 2014-02-05
EP2668553A4 (en) 2014-08-20
US10909759B2 (en) 2021-02-02
JP5691568B2 (ja) 2015-04-01
BR112013018603A2 (pt) 2019-09-24
EP2668553B1 (en) 2017-10-11

Similar Documents

Publication Publication Date Title
JP5691568B2 (ja) 情報処理装置、報知方法及びプログラム
JP2012155655A (ja) 情報処理装置、報知方法及びプログラム
US9975483B1 (en) Driver assist using smart mobile devices
US9420559B2 (en) Obstacle detection and warning system using a mobile device
US9451062B2 (en) Mobile device edge view display insert
US8953841B1 (en) User transportable device with hazard monitoring
WO2018156549A1 (en) Personal navigation system
KR101218257B1 (ko) 레이더를 이용한 야생동물 침입 탐지 방법 및 그 시스템
JPWO2010035434A1 (ja) 死角車両検出装置及びその方法
Tung et al. Use of phone sensors to enhance distracted pedestrians’ safety
JP2016066231A (ja) 衝突防止装置、衝突防止方法、衝突防止プログラムおよび記録媒体
EP2846172A1 (en) Warning system and method
CN106713639A (zh) 避障提醒方法、避障提醒装置和移动终端
KR101862986B1 (ko) 스마트 폰을 사용하며 보행중인 사용자 경보 시스템 및 방법
Datta et al. Towards city-scale smartphone sensing of potentially unsafe pedestrian movements
US20220092981A1 (en) Systems and methods for controlling vehicle traffic
JP4277678B2 (ja) 車両運転支援装置
CN107548466A (zh) 一种检测道路障碍物的方法及装置
US20160335916A1 (en) Portable device and control method using plurality of cameras
JP2018116323A (ja) 処理装置、干渉管理システム及び干渉管理方法
JP2015153208A (ja) 注意喚起システム
Wei et al. Automatic accident detection and alarm system
JP2018206210A (ja) 衝突事故抑制システム及び衝突事故抑制方法
JP6874456B2 (ja) 衝突防止装置、通信システム、衝突防止方法、およびコンピュータプログラム
CN101363738A (zh) 便携式导航仪

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131209

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141021

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150106

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150119

R151 Written notification of patent or utility model registration

Ref document number: 5691568

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250