JP2012155654A - 情報処理装置、報知方法及びプログラム - Google Patents
情報処理装置、報知方法及びプログラム Download PDFInfo
- Publication number
- JP2012155654A JP2012155654A JP2011016440A JP2011016440A JP2012155654A JP 2012155654 A JP2012155654 A JP 2012155654A JP 2011016440 A JP2011016440 A JP 2011016440A JP 2011016440 A JP2011016440 A JP 2011016440A JP 2012155654 A JP2012155654 A JP 2012155654A
- Authority
- JP
- Japan
- Prior art keywords
- danger
- user
- information processing
- processing apparatus
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Traffic Control Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Studio Devices (AREA)
- Alarm Systems (AREA)
Abstract
【解決手段】実空間に仮想オブジェクトを重畳して表示する拡張現実アプリケーションをユーザに提供可能な情報処理装置であって、上記実空間において上記ユーザに及ぶ危険を認識する危険認識部と、上記拡張現実アプリケーションが上記ユーザに提供されている間に上記危険認識部により危険が認識された場合に、上記ユーザに危険の存在を報知する報知部と、を備える情報処理装置を提供する。
【選択図】図3
Description
1.一実施形態に係る情報処理装置の概要
2.一実施形態に係る情報処理装置の構成例
3.一実施形態に係る処理の流れ
4.まとめ
図1は、拡張現実(AR)アプリケーションが利用され得る状況の一例を示す説明図である。図1を参照すると、実空間1において、ユーザUaが歩道上を歩いており、ユーザUaの前方にはブロック10及び階段12が存在する。また、ユーザUaは、情報処理装置100を保持している。情報処理装置100は、ARアプリケーションを提供可能な装置である。情報処理装置100は、スマートフォン、PC(Personal Computer)、ゲーム端末又は携帯型音楽プレーヤなどであってよい。情報処理装置100によりユーザUaにARアプリケーションが提供されている間、ユーザUaは、情報処理装置100の画面に注意を奪われがちである。情報処理装置100の画面には、実世界の様子が映し出される。しかし、画面の画角はユーザUaの視野角よりも狭く、付加的な情報も画面上に表示されるため、ARアプリケーションが提供されている間、ユーザUaが実空間1に存在する危険に気付かない(又は気付くのが遅れる)というリスクは高まる。例えば、ユーザUaは、ブロック10につまずく可能性がある。また、ユーザUaは、階段12にぶつかる可能性もある。また、ユーザUaは、歩道から外れて車道に進入する可能性もある。図1に示した例の他にも、実世界には様々な危険が存在する。本発明の一実施形態に係る情報処理装置100は、以下に説明する仕組みによって、これら危険の存在をユーザに報知する。
[2−1.ハードウェア構成]
図2は、図1に示した情報処理装置100の構成の一例を示すブロック図である。図2を参照すると、情報処理装置100は、撮像部102、センサ部104、測位部106、通信部108、記憶部110、入力部112、表示部114、音声出力部116、振動部118、バス119及び制御部120を備える。
撮像部102は、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子を有するカメラモジュールである。撮像部102は、実空間1を撮像することにより一連の入力画像を生成する。撮像部102により生成される入力画像は、ARアプリケーションの提供のために利用されることに加えて、ユーザ位置の推定及び入力画像に映る物体の位置の推定などの目的で利用され得る。撮像部102は、情報処理装置100とは別体に構成され、ARアプリケーションの提供の際に情報処理装置100と接続されてもよい。
センサ部104は、情報処理装置100による危険の認識を支援するセンサ群である。例えば、センサ部104は、ジャイロセンサ、加速度センサ及び地磁気センサの少なくとも1つを含み、情報処理装置100の傾き角、3軸加速度又は方位を測定する。情報処理装置100の傾き角、3軸加速度又は方位は、情報処理装置100の姿勢を推定するために使用され得る。
測位部106は、情報処理装置100の位置を測定するモジュールである。測位部106は、例えば、GPS(Global Positioning System)信号を受信して情報処理装置100の緯度、経度及び高度を測定するGPSモジュールであってよい。その代わりに、測位部106は、無線アクセスポイントから受信される無線信号の強度に基づいて情報処理装置100の位置を測定するPlaceEngine(登録商標)などの測位モジュールであってもよい。
通信部108は、情報処理装置100が他の装置と通信するための通信インタフェースである。例えば、通信部108は、外部装置から危険に関する情報を外部情報として受信する。また、通信部108は、情報処理装置100と同等の危険報知機能を有する近傍の装置へ、危険に関する情報を送信してもよい。
記憶部110は、半導体メモリ又はハードディスクなどの記憶媒体を用いて、情報処理装置100による処理のためのプログラム及びデータを記憶する。例えば、記憶部110は、撮像部102により生成される入力画像、センサ部104から出力されるセンサデータ、測位部106により測定される位置データ、及び通信部108により受信される外部情報を記憶する。また、記憶部110は、後に説明する画像認識処理のための特徴データを記憶する。記憶部110により記憶される特徴データは、実空間内の1つ以上の物体の外観の特徴を表すデータである。
入力部112は、情報処理装置100のユーザが情報処理装置100を操作し又は情報処理装置100へ情報を入力するために使用される。入力部112は、例えば、キーパッド、ボタン、スイッチ又はタッチパネルなどを含み得る。入力部112は、入力画像に映るユーザのジェスチャを認識するジェスチャ認識モジュールを含んでもよい。
表示部114は、ARアプリケーションにより生成され実空間に重畳される仮想オブジェクトを表示する画面を有する表示モジュールである。表示部114の画面上には、ユーザに危険の存在を報知する警報のためのオブジェクトも表示され得る。表示部114の画面は、シースルー型であってもよく、非シースルー型であってもよい。また、表示部114は、情報処理装置100とは別体に構成され、ARアプリケーションの提供の際に情報処理装置100と接続されてもよい。
音声出力部116は、典型的には、ユーザに向けて音又は音声を出力するスピーカであってよい。音声出力部116は、ユーザの聴覚を通じてユーザに危険の存在を報知するために使用され得る。
振動部118は、典型的には、電気的に駆動される偏心モータなどのバイブレータであってよい。振動部118は、ユーザの触覚を通じてユーザに危険の存在を報知するために使用され得る。
バス119は、撮像部102、センサ部104、測位部106、通信部108、記憶部110、入力部112、表示部114、音声出力部116、振動部118及び制御部120を相互に接続する。
制御部120は、CPU(Central Processing Unit)又はDSP(Digital Signal Processor)などのプロセッサに相当する。制御部120は、記憶部110により記憶されるプログラムを実行することにより、次に説明する情報処理装置100の様々な機能を動作させる。
図3は、図2に示した情報処理装置100の制御部120により実現される機能の構成の一例を示すブロック図である。図3を参照すると、制御部120は、アプリケーション部130、画像認識部140、推定部150、マップ記憶部152、情報取得部160、危険認識部170、報知部180及び設定部190を含む。
アプリケーション部130は、実空間に仮想オブジェクトを重畳して表示するARアプリケーションをユーザに提供する。アプリケーション部130により提供されるARアプリケーションは、例えば、道案内、作業支援、情報提供又はゲームなど、任意の目的を有するアプリケーションであってよい。アプリケーション部130は、入力画像に映る物体と関連付けてユーザに呈示すべき仮想オブジェクトを生成する。そして、アプリケーション部130は、生成した仮想オブジェクトを表示する画像を、表示部114へ出力する。アプリケーション部130は、仮想オブジェクトの表示位置を、入力画像についての画像認識の結果に基づいて決定し得る。
画像認識部140は、撮像部102により撮像される入力画像について画像認識処理を行う。例えば、画像認識部140は、入力画像から抽出される特徴データと記憶部110により予め記憶される特徴データとを照合し、入力画像に映る実空間内の物体又は領域を認識する。画像認識部140による特徴データの照合は、例えば、David G. Loweによる“Distinctive Image Features from Scale-Invariant Keypoints”(the International Journal of Computer Vision, 2004)に記載されたSIFT(Scale Invariant Feature Transform)法に従って行われてもよい。また、画像認識部140による特徴データの照合は、例えば、Mustafa Oezuysalらによる“Fast Keypoint Recognition using Random Ferns”(IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.32, Nr.3, pp.448-461, March 2010)に記載されたRandom Ferns法に従って行われてもよい。また、画像認識部140は、実空間内の物体又は領域の外観に現れるマーカ(人工マーカ又は自然マーカ)を認識してもよい。画像認識部140は、画像認識の結果として認識した物体又は領域を特定する情報(例えば、識別子及び入力画像内の位置又は範囲)を、推定部150へ出力する。
推定部150は、画像認識部140による画像認識の結果に基づいて、実空間内に存在する各物体の位置及び各物体と撮像部102との間の距離を推定する。例えば、推定部150は、各物体(又はマーカ)の実際の大きさと入力画像内での大きさとを比較することにより、各物体と撮像部102との間の距離を推定する。そして、推定部150は、推定した距離と撮像部102の位置及び姿勢(情報処理装置100の位置及び姿勢)とに応じて、情報処理装置100を基準とした各物体の相対的な位置を推定する。また、推定部150は、SLAM技術の原理に従って、実空間内の各物体と情報処理装置100との間の相対的な位置関係を動的に推定してもよい。SLAM技術の原理は、Andrew J.Davisonによる“Real-Time Simultaneous Localization and Mapping with a Single Camera”(Proceedings of the 9th IEEE International Conference on Computer Vision Volume 2, 2003, pp.1403-1410)において詳細に説明されている。実空間内の物体と情報処理装置100との間の距離は、危険の認識において、実空間内の物体とユーザとの間の距離に相当するものとして扱われ得る。
マップ記憶部152は、半導体メモリ又はハードディスクなどの記憶媒体を用いて、推定部150により推定される各物体の位置を記憶する。それにより、一度画像認識部140により認識された物体又は領域を、情報処理装置100が移動することで当該物体又は領域が入力画像から消えた後でも、情報処理装置100は認識することができる。
情報取得部160は、危険認識部170による危険の認識のために使用される危険に関する情報を取得する。危険に関する情報は、予め記憶部110により記憶されてもよく、又は通信部108を介して外部装置から動的に取得されてもよい。
危険認識部170は、実空間においてユーザに及ぶ危険を認識する。危険認識部170は、ARアプリケーションの提供のために使用される入力画像についての画像認識の結果に基づいて危険を認識してもよい。また、危険認識部170は、入力画像を用いて認識されない危険を、センサ部104の測距センサにより測定される各物体との間の距離に基づいて認識してもよい。さらに、危険認識部170は、ユーザに及ぶ危険の原因に対応する実空間の位置又は領域を認識する。そして、危険認識部170は、危険を認識すると、危険の内容を表す情報、及び対応する実空間内の位置又は領域を、報知部180へ出力する。
ユーザ位置とは、情報処理装置100を携帯するユーザの位置である。ユーザの絶対的な位置は、測位部106によりGPS信号を用いて測定され得る。また、近傍の物体又は領域に対するユーザの相対的な位置は、画像認識部140による画像認識の結果に基づいて、推定部150により推定され得る。近傍のランドマークの絶対的な位置が既知である場合には、ユーザのランドマークからの相対的な位置と既知のランドマークの位置とに基づいて、ユーザの絶対的な位置が算出されてもよい。本実施形態では、ユーザ位置、情報処理装置100の位置及び撮像部102の位置は、近似的に互いに等しいものとして扱われる。
ユーザの移動速度は、ユーザ位置の時間的変化から算出され得る。また、センサ部104が加速度センサを含む場合には、ユーザの移動速度は、加速度センサの出力値の積分によって算出されてもよい。
静的物体の相対位置は、画像認識部140による画像認識の結果に基づいて、推定部150により推定され得る。既知の静的物体の位置は、記憶部110により記憶される位置データにより予め定義されてもよい。また、静的物体の位置は、後に例示する外部装置から取得される位置データを用いて認識されてもよい。
静的物体とユーザとの間の距離は、ユーザ位置に対する静的物体の相対位置から算出され得る。また、静的物体とユーザとの間の距離は、センサ部104に含まれる測距センサを用いて計測されてもよい。
静的物体へのユーザの接近速度(あるいはユーザへの静的物体の接近速度)は、静的物体とユーザとの間の距離の時間的変化から算出され得る。
動的物体の相対位置は、画像認識部140による画像認識の結果に基づいて、推定部150により推定され得る。また、動的物体の位置は、後に例示する外部装置から取得される位置データを用いて認識されてもよい。
動的物体とユーザとの間の距離は、ユーザ位置に対する動的物体の相対位置から算出され得る。また、動的物体とユーザとの間の距離は、センサ部104に含まれる測距センサを用いて計測されてもよい。
動的物体へのユーザの接近速度(あるいはユーザへの動的物体の接近速度)は、動的物体とユーザとの間の距離の時間的変化から算出され得る。
危険物体の存在は、画像認識部140による画像認識の結果として認識され得る。認識された物体が危険物体か否かは、例えば、認識された物体の識別子を既知の識別子のリストと照合することにより判定されてもよい。その代わりに、移動速度が所定の閾値を上回っている物体が一時的に危険物体として認識されてもよい。
危険物体の位置は、静的物体の位置又は動的物体の位置と同様に認識され得る。
危険領域の範囲は、画像認識部140による画像認識の結果として認識され得る。危険領域の範囲は、記憶部110により記憶される危険領域情報により予め定義されてもよい。また、危険領域の範囲は、外部装置から取得される危険領域情報を用いて認識されてもよい。
オブジェクト占拠率は、表示される仮想オブジェクトの画面に占める割合を表すパラメータである。危険認識部170は、例えば、仮想オブジェクトの表示量を示す情報(例えば、仮想オブジェクトの画面上でのサイズの合計値)をアプリケーション部130から取得する。そして、危険認識部170は、仮想オブジェクトの表示量を入力画像のサイズ(又は画面サイズ)で除算することにより、オブジェクト占拠率を算出する。
危険認識部170は、例えば、ある静的物体とユーザとの間の距離が所定の閾値を下回る場合に、ユーザが当該物体に衝突する可能性があると判定してもよい。また、危険認識部170は、ある静的物体への接近速度が所定の閾値を上回る場合に、ユーザが当該物体に衝突する可能性があると判定してもよい。そして、危険認識部170は、ユーザと衝突する可能性のある静的物体の存在を危険として認識し得る。
危険認識部170は、例えば、ある動的物体とユーザとの間の距離が所定の閾値を下回る場合に、ユーザが当該物体に衝突する可能性があると判定してもよい。また、危険認識部170は、ある動的物体への接近速度(あるいは当該動的物体のユーザへの接近速度)が所定の閾値を上回る場合に、ユーザが当該物体に衝突する可能性があると判定してもよい。動的物体についての判定の閾値は、上述した静的物体についての判定の閾値とは異なる値であってよい。そして、危険認識部170は、ユーザと衝突する可能性のある動的物体の存在を危険として認識し得る。
危険認識部170は、危険物体へのユーザの接近を危険として認識してもよい。危険認識部170は、例えば、画像認識又は危険物体からのビーコンの受信により危険物体の存在を検知した場合に、危険物体へユーザが接近したと判定し得る。また、危険認識部170は、危険物体とユーザとの間の距離を所定の閾値と比較することにより、危険物体へユーザが接近したと判定し得る。
危険認識部170は、危険領域へのユーザの接近又は進入を危険として認識してもよい。危険認識部170は、現在のユーザ位置が危険領域の内部である場合に、危険領域へユーザが進入したと判定し得る。また、危険認識部170は、危険領域の境界と現在のユーザ位置との間の距離を所定の閾値と比較することにより、危険領域へユーザが接近したと判定し得る。また、危険認識部170は、床面(又は地面)の高さが大きく変化している領域を危険領域として認識してもよい。
危険認識部170は、ユーザの注意力が阻害され得る状態を危険として認識してもよい。危険認識部170は、例えば、上述したオブジェクト占拠率が所定の閾値を上回る場合に、ユーザの注意力がARアプリケーションにより阻害され得ると判定してもよい。また、危険認識部170は、ユーザの移動速度が所定の閾値を上回る場合に、ユーザの注意力が阻害され得ると判定してもよい。
外部装置が情報処理装置100へ危険に関する情報を提供することにより、情報処理装置100の危険を認識する能力を高めることが可能である。図8〜図10は、そのような外部装置の例をそれぞれ示している。
報知部180は、ARアプリケーションがユーザに提供されている間に危険認識部170により危険が認識された場合に、ユーザに危険の存在を報知する。例えば、報知部180による報知は、ARアプリケーションの表示を制御することにより行われてもよい。より具体的には、本実施形態において、報知部180は、危険認識部170により危険が認識されると、ARアプリケーションに割り込みを行う。そして、報知部180は、ARアプリケーションの表示を制御する。ARアプリケーションの表示の制御とは、単純にARアプリケーションを中断させ又は停止させることであってもよい。また、報知部180は、ARアプリケーションにおいて表示中の仮想オブジェクトの表示を弱めてもよい。一例として、報知部180は、表示中の仮想オブジェクトを点滅させ又は透過させる。さらに、報知部180は、ARアプリケーションが提供されている表示部114の画面上に、警報のためのオブジェクトを表示させてもよい。警報のためのオブジェクトは、例えば、危険認識部170により認識された危険の位置又は領域をユーザに示すオブジェクトであってよい。
図11の左の画像Im11は、ARアプリケーションにより表示され得る出力画像の一例である。画像Im11において、実空間内の建物に仮想オブジェクトT1が重畳されている。仮想オブジェクトT1は、例えば、建物内のレストランの評価に関する情報を表現するオブジェクトである。
図12の左の画像Im21は、ARアプリケーションにより表示され得る出力画像の一例である。画像Im21においても、実空間内の建物に仮想オブジェクトT1が重畳されている。また、画像Im21には、ユーザUaにとって障害物となる可能性のあるブロック10が映っている。
図13の左の画像Im31は、ARアプリケーションにより表示され得る出力画像の一例である。画像Im31においても、実空間内の建物に仮想オブジェクトT1が重畳されている。
図14の左の画像Im41は、ARアプリケーションにより表示され得る出力画像の一例である。画像Im41においても、実空間内の建物に仮想オブジェクトT1が重畳されている。また、ユーザUaの前方には、溝14が存在する。このような溝14もまた、危険物体又は危険領域として認識され得る。
設定部190は、危険認識部170による危険認識処理及び報知部180による報知処理に関する設定を管理する。例えば、設定部190は、危険認識部170により危険が認識された際にどの手法で報知が行われるべきかを管理する。設定部190は、認識される危険の種別ごとに異なる手法で報知部180に報知を行わせてもよい。また、設定部190は、入力部112を介して報知の手法をユーザに指定させてもよい。
次に、本実施形態に係る情報処理装置100による処理の流れの例を、図15〜図19を用いて、5つのシナリオに沿ってそれぞれ説明する。なお、情報処理装置100は、これら5つのシナリオのいずれか1つの処理のみを実行してもよく、複数の処理を実行してもよい。また、情報処理装置100は、ここに例示される処理とは異なる流れを有する処理を実行してもよい。
図15は、第1のシナリオにおける危険報知処理の流れの例を示すフローチャートである。第1のシナリオでは、入力画像についての画像認識の結果に基づく危険の認識が行われる。
図16は、第2のシナリオにおける危険報知処理の流れの例を示すフローチャートである。第2のシナリオでは、データサーバから受信される危険に関する情報を用いた危険の認識が行われる。
図17は、第3のシナリオにおける危険報知処理の流れの例を示すフローチャートである。第3のシナリオでは、データサーバとは異なる外部装置から受信される情報に基づく危険の認識が行われる。
図18は、第4のシナリオにおける危険報知処理の流れの例を示すフローチャートである。第4のシナリオでは、入力画像についての画像認識の結果に基づいて生成されるマップを用いた危険の認識が行われる。
図19は、第5のシナリオにおける危険報知処理の流れの例を示すフローチャートである。第5のシナリオでは、アプリケーション部130から取得される情報を用いた危険の認識が行われる。
ここまで、図1〜図19を用いて、本発明の一実施形態について詳細に説明した。本実施形態に係る情報処理装置100によれば、ARアプリケーションがユーザに提供されている間に実空間においてユーザに及ぶ危険が認識された場合に、ユーザに危険の存在が報知される。それにより、実世界でのユーザの危険に対するリスクが低減される。その結果、ユーザがより安心してARアプリケーションを利用することが可能となる。
10 ブロック(危険物体の例)
12 階段(危険領域の例)
20a〜c 外部装置
100 情報処理装置
102 撮像部
104 センサ部
106 測位部
108 通信部
110 記憶部
150 推定部
160 情報取得部
170 危険認識部
180 報知部
190 設定部
Claims (22)
- 実空間に仮想オブジェクトを重畳して表示する拡張現実アプリケーションをユーザに提供可能な情報処理装置であって、
前記実空間において前記ユーザに及ぶ危険を認識する危険認識部と、
前記拡張現実アプリケーションが前記ユーザに提供されている間に前記危険認識部により危険が認識された場合に、前記ユーザに危険の存在を報知する報知部と、
を備える情報処理装置。 - 前記報知部は、前記拡張現実アプリケーションの表示を制御することにより、前記ユーザに危険の存在を報知する、請求項1に記載の情報処理装置。
- 前記報知部は、前記拡張現実アプリケーションに割り込むことにより、前記ユーザに危険の存在を報知する、請求項1に記載の情報処理装置。
- 前記報知部は、前記危険認識部により危険が認識された場合に、前記ユーザに提供されている前記拡張現実アプリケーションを中断し又は停止する、請求項1に記載の情報処理装置。
- 前記報知部は、前記危険認識部により危険が認識された場合に、前記ユーザに提供されている前記拡張現実アプリケーションにおいて表示中の仮想オブジェクトを点滅させ又は透過させる、請求項1に記載の情報処理装置。
- 前記報知部は、前記危険認識部により危険が認識された場合に、前記拡張現実アプリケーションが提供されている画面上に警報のためのオブジェクトを表示させる、請求項1に記載の情報処理装置。
- 前記警報のためのオブジェクトは、前記危険認識部により認識された危険の原因に対応する位置又は領域を指し示す、請求項6に記載の情報処理装置。
- 前記危険認識部は、前記実空間において前記ユーザと衝突する可能性のある物体の存在を危険として認識する、請求項1に記載の情報処理装置。
- 前記情報処理装置は、前記実空間における相対的に安全性の低い危険領域を定義する危険領域情報を取得する情報取得部、をさらに備え、
前記危険認識部は、前記危険領域情報により定義された前記危険領域への前記ユーザの接近又は進入を危険として認識する、
請求項1に記載の情報処理装置。 - 前記情報処理装置は、前記実空間において前記ユーザに危険を及ぼす可能性のある危険物体を定義する危険物体情報を取得する情報取得部、をさらに備え、
前記危険認識部は、前記危険物体情報により定義された前記危険物体への前記ユーザの接近を危険として認識する、
請求項1に記載の情報処理装置。 - 前記危険認識部は、表示される前記仮想オブジェクトの画面に占める割合が所定の閾値を上回る場合に、危険を認識する、請求項1に記載の情報処理装置。
- 前記報知部は、所定の上限値と等しい回数既に前記ユーザに報知された危険について当該危険の存在を前記ユーザに報知しない、請求項1に記載の情報処理装置。
- 前記報知部は、前記ユーザの行動履歴に含まれる行動と同様の行動をユーザが行っている場合には、前記ユーザに危険の存在を報知しない、請求項1に記載の情報処理装置。
- 前記情報処理装置は、前記ユーザにより予め指定される危険について前記報知部による報知を無効化する設定部、をさらに備える、請求項1に記載の情報処理装置。
- 前記情報処理装置は、前記実空間内の物体と前記ユーザとの間の距離を測定する測距センサ、をさらに備え、
前記危険認識部は、前記測距センサにより測定される各物体との間の距離に基づいて、前記ユーザに及ぶ危険を認識する、
請求項1に記載の情報処理装置。 - 前記測距センサは、前記拡張現実アプリケーションの提供のために使用される撮像装置の光軸とは異なる方向に沿って距離を測定可能なように設けられる、請求項15に記載の情報処理装置。
- 前記情報処理装置は、外部装置から危険に関する情報を受信する通信部、をさらに備え、
前記危険認識部は、前記通信部により受信される前記危険に関する情報を用いて、前記ユーザに及ぶ危険を認識する、
請求項1に記載の情報処理装置。 - 前記外部装置は、前記ユーザに及ぶ危険の原因となる可能性のある物体又は領域に設置される装置である、請求項17に記載の情報処理装置。
- 前記外部装置は、前記情報処理装置と同等の危険報知機能を有する他のユーザの装置である、請求項17に記載の情報処理装置。
- 前記危険に関する情報は、前記ユーザに及ぶ危険の原因となる可能性のある物体又は領域の位置又は範囲を特定する情報であり、
前記危険認識部は、前記危険に関する情報と前記ユーザの位置とに基づいて、前記ユーザに及ぶ危険を認識する、
請求項17に記載の情報処理装置。 - 実空間に仮想オブジェクトを重畳して表示する拡張現実アプリケーションをユーザに提供可能な情報処理装置における報知方法であって、
前記拡張現実アプリケーションが前記ユーザに提供されている間に、前記実空間において前記ユーザに及ぶ危険を認識するステップと、
危険が認識された場合に、前記拡張現実アプリケーションに割り込むことにより前記ユーザに危険の存在を報知するステップと、
を含む報知方法。 - 実空間に仮想オブジェクトを重畳して表示する拡張現実アプリケーションをユーザに提供可能な情報処理装置を制御するコンピュータを、
前記実空間において前記ユーザに及ぶ危険を認識する危険認識部と、
前記拡張現実アプリケーションが前記ユーザに提供されている間に前記危険認識部により危険が認識された場合に、前記拡張現実アプリケーションに割り込むことにより前記ユーザに危険の存在を報知する報知部と、
として機能させるためのプログラム。
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011016440A JP5691568B2 (ja) | 2011-01-28 | 2011-01-28 | 情報処理装置、報知方法及びプログラム |
US13/980,978 US10909759B2 (en) | 2011-01-28 | 2011-12-19 | Information processing to notify potential source of interest to user |
PCT/JP2011/007068 WO2012101720A1 (en) | 2011-01-28 | 2011-12-19 | Information processing device, alarm method, and program |
RU2013133883/08A RU2013133883A (ru) | 2011-01-28 | 2011-12-19 | Устройство обработки информации, способ сигнализирования и программа |
BR112013018603A BR112013018603A2 (pt) | 2011-01-28 | 2011-12-19 | aparelho, método e, meio legível por computador |
KR1020137019080A KR20140014117A (ko) | 2011-01-28 | 2011-12-19 | 정보 처리 장치, 통지 방법, 및 프로그램 |
EP11857123.1A EP2668553B1 (en) | 2011-01-28 | 2011-12-19 | Information processing device, alarm method, and program |
TW101100369A TW201246008A (en) | 2011-01-28 | 2012-01-04 | Information processing device, alarm method, and program |
CN201210018916.0A CN102682571B (zh) | 2011-01-28 | 2012-01-20 | 信息处理装置、报警方法和程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011016440A JP5691568B2 (ja) | 2011-01-28 | 2011-01-28 | 情報処理装置、報知方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2012155654A true JP2012155654A (ja) | 2012-08-16 |
JP2012155654A5 JP2012155654A5 (ja) | 2014-01-30 |
JP5691568B2 JP5691568B2 (ja) | 2015-04-01 |
Family
ID=46580333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011016440A Active JP5691568B2 (ja) | 2011-01-28 | 2011-01-28 | 情報処理装置、報知方法及びプログラム |
Country Status (9)
Country | Link |
---|---|
US (1) | US10909759B2 (ja) |
EP (1) | EP2668553B1 (ja) |
JP (1) | JP5691568B2 (ja) |
KR (1) | KR20140014117A (ja) |
CN (1) | CN102682571B (ja) |
BR (1) | BR112013018603A2 (ja) |
RU (1) | RU2013133883A (ja) |
TW (1) | TW201246008A (ja) |
WO (1) | WO2012101720A1 (ja) |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5346115B1 (ja) * | 2012-12-17 | 2013-11-20 | 治幸 岩田 | 携帯型移動支援装置 |
JP2015515044A (ja) * | 2012-02-24 | 2015-05-21 | エンパイア テクノロジー ディベロップメント エルエルシー | ジェスチャー・ベースのゲーム・システムのための安全な方式 |
WO2015093130A1 (ja) * | 2013-12-17 | 2015-06-25 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2015125464A (ja) * | 2013-12-25 | 2015-07-06 | Kddi株式会社 | ウェアラブルデバイス |
US9126115B2 (en) | 2011-12-02 | 2015-09-08 | Empire Technology Development Llc | Safety scheme for gesture-based game system |
JP2015197860A (ja) * | 2014-04-02 | 2015-11-09 | キヤノン株式会社 | 表示装置、表示制御方法及びプログラム |
US9266019B2 (en) | 2011-07-01 | 2016-02-23 | Empire Technology Development Llc | Safety scheme for gesture-based game |
JP2016058042A (ja) * | 2014-09-12 | 2016-04-21 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
JP2016062593A (ja) * | 2015-07-09 | 2016-04-25 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
JP2016110565A (ja) * | 2014-12-10 | 2016-06-20 | 富士通株式会社 | 表示制御方法、情報処理プログラム、及び情報処理装置 |
JP2016122085A (ja) * | 2014-12-25 | 2016-07-07 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
US9390318B2 (en) | 2011-08-31 | 2016-07-12 | Empire Technology Development Llc | Position-setup for gesture-based game system |
JP2016541035A (ja) * | 2013-09-30 | 2016-12-28 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイのユーザー向けカメラベース安全機構 |
JP2017060033A (ja) * | 2015-09-17 | 2017-03-23 | カシオ計算機株式会社 | 携帯情報機器、携帯情報システム、表示方法及びプログラム |
WO2017051570A1 (ja) * | 2015-09-24 | 2017-03-30 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
WO2017057055A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報端末、及び、情報処理方法 |
JP2017091433A (ja) * | 2015-11-17 | 2017-05-25 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム |
WO2018008208A1 (ja) * | 2016-07-05 | 2018-01-11 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2018005743A (ja) * | 2016-07-06 | 2018-01-11 | 富士ゼロックス株式会社 | 情報処理装置、画像形成システムおよびプログラム |
JP2018113572A (ja) * | 2017-01-11 | 2018-07-19 | 京セラドキュメントソリューションズ株式会社 | 携帯端末装置、及び安全管理システム |
WO2018173399A1 (ja) * | 2017-03-21 | 2018-09-27 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2018200631A (ja) * | 2017-05-29 | 2018-12-20 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 危険判定システム、危険判定方法及びコンピュータプログラム |
JP2019166992A (ja) * | 2018-03-23 | 2019-10-03 | パナソニックIpマネジメント株式会社 | 車両制御装置およびコンピュータプログラム |
KR20210005858A (ko) | 2018-04-25 | 2021-01-15 | 소니 주식회사 | 정보 처리 장치, 정보 처리 방법, 정보 처리 프로그램 |
US12027082B2 (en) | 2022-05-24 | 2024-07-02 | Seiko Epson Corporation | Display method and display system |
Families Citing this family (76)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101899977B1 (ko) * | 2012-07-10 | 2018-09-19 | 엘지전자 주식회사 | 이동 단말기 및 그것의 제어 방법 |
JP5659195B2 (ja) * | 2012-07-17 | 2015-01-28 | 株式会社東芝 | 画像提示装置及び方法 |
US8953841B1 (en) * | 2012-09-07 | 2015-02-10 | Amazon Technologies, Inc. | User transportable device with hazard monitoring |
KR101989893B1 (ko) * | 2012-10-29 | 2019-09-30 | 엘지전자 주식회사 | 헤드 마운트 디스플레이 및 이를 이용한 오디오 신호 출력 방법 |
CN104995666B (zh) * | 2012-12-21 | 2019-04-23 | 苹果公司 | 用于在真实环境中表示虚拟信息的方法 |
CN103116451B (zh) * | 2013-01-25 | 2018-10-26 | 腾讯科技(深圳)有限公司 | 一种智能终端的虚拟角色交互方法、装置和系统 |
US9878235B2 (en) * | 2013-06-07 | 2018-01-30 | Sony Interactive Entertainment Inc. | Transitioning gameplay on a head-mounted display |
JP6160290B2 (ja) * | 2013-06-21 | 2017-07-12 | 富士通株式会社 | 情報処理装置、判定方法および判定プログラム |
US9729864B2 (en) | 2013-09-30 | 2017-08-08 | Sony Interactive Entertainment Inc. | Camera based safety mechanisms for users of head mounted displays |
US20150123992A1 (en) * | 2013-11-04 | 2015-05-07 | Qualcomm Incorporated | Method and apparatus for heads-down display |
JP2015134079A (ja) * | 2014-01-17 | 2015-07-27 | 株式会社ユニバーサルエンターテインメント | ゲーミングマシン |
US9654675B2 (en) * | 2014-03-25 | 2017-05-16 | Kessler Optics & Photonics Solutions Ltd. | Optical attachment for deviating field of view |
US10600245B1 (en) | 2014-05-28 | 2020-03-24 | Lucasfilm Entertainment Company Ltd. | Navigating a virtual environment of a media content item |
JP2016004493A (ja) * | 2014-06-18 | 2016-01-12 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
KR102276847B1 (ko) * | 2014-09-23 | 2021-07-14 | 삼성전자주식회사 | 가상 오브젝트 제공 방법 및 그 전자 장치 |
CN104333654B (zh) * | 2014-10-14 | 2018-01-23 | 京东方科技集团股份有限公司 | 危险提醒方法及装置以及便携式电子设备 |
US9582976B2 (en) * | 2014-10-16 | 2017-02-28 | Elwha Llc | Systems and methods for detecting and reporting hazards on a pathway |
US9311802B1 (en) * | 2014-10-16 | 2016-04-12 | Elwha Llc | Systems and methods for avoiding collisions with mobile hazards |
WO2016073783A1 (en) * | 2014-11-05 | 2016-05-12 | Valve Corporation | Sensory feedback systems and methods for guiding users in virtual reality environments |
US9881422B2 (en) | 2014-12-04 | 2018-01-30 | Htc Corporation | Virtual reality system and method for controlling operation modes of virtual reality system |
JP6528409B2 (ja) * | 2015-01-13 | 2019-06-12 | 日本電気株式会社 | 対象表示システム、管理装置、対象表示方法及び管理プログラム |
JP6600945B2 (ja) * | 2015-01-20 | 2019-11-06 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム |
US9760790B2 (en) * | 2015-05-12 | 2017-09-12 | Microsoft Technology Licensing, Llc | Context-aware display of objects in mixed environments |
CN105139576A (zh) * | 2015-07-09 | 2015-12-09 | 小米科技有限责任公司 | 路况提示方法及装置 |
US10416306B2 (en) | 2015-08-17 | 2019-09-17 | Texas Instruments Incorporated | Methods and apparatus to measure and analyze vibration signatures |
US9836652B2 (en) | 2016-02-02 | 2017-12-05 | International Business Machines Corporation | Showing danger areas associated with objects using augmented-reality display techniques |
JP6232649B2 (ja) * | 2016-02-18 | 2017-11-22 | 国立大学法人名古屋大学 | 仮想空間表示システム |
US9939635B2 (en) | 2016-02-29 | 2018-04-10 | Brillio LLC | Method for providing notification in virtual reality device |
JP2017183828A (ja) * | 2016-03-28 | 2017-10-05 | 京セラ株式会社 | ヘッドマウントディスプレイ |
US10200581B2 (en) * | 2016-03-31 | 2019-02-05 | Peter G. Hartwell | Heads down intelligent display and processing |
GB201608886D0 (en) | 2016-05-20 | 2016-07-06 | Nokia Technologies Oy | Virtual reality display |
CN106125927B (zh) * | 2016-06-23 | 2019-11-29 | 捷开通讯(深圳)有限公司 | 图像处理系统及方法 |
US20170372499A1 (en) * | 2016-06-27 | 2017-12-28 | Google Inc. | Generating visual cues related to virtual objects in an augmented and/or virtual reality environment |
DE102016217263A1 (de) | 2016-09-09 | 2018-03-15 | Continental Teves Ag & Co. Ohg | Verfahren zum Warnen einer Person vor einer Gefahrenquelle |
CN106652332A (zh) * | 2016-12-15 | 2017-05-10 | 英业达科技有限公司 | 虚拟实景装置的安防系统 |
GB2573912B (en) * | 2017-02-07 | 2022-12-28 | Flir Detection Inc | Systems and methods for identifying threats and locations, systems and method for augmenting real-time displays demonstrating the threat location, and systems |
US11488369B2 (en) | 2017-02-07 | 2022-11-01 | Teledyne Flir Detection, Inc. | Systems and methods for identifying threats and locations, systems and method for augmenting real-time displays demonstrating the threat location, and systems and methods for responding to threats |
US10311304B2 (en) | 2017-02-07 | 2019-06-04 | International Business Machines Corporation | Mobile device accident avoidance system |
US10169973B2 (en) | 2017-03-08 | 2019-01-01 | International Business Machines Corporation | Discontinuing display of virtual content and providing alerts based on hazardous physical obstructions |
US10360437B2 (en) * | 2017-03-22 | 2019-07-23 | T-Mobile Usa, Inc. | Collision avoidance system for augmented reality environments |
US10726792B2 (en) * | 2017-04-17 | 2020-07-28 | Intel Corporation | Glare and occluded view compensation for automotive and other applications |
CN108700912B (zh) * | 2017-06-30 | 2022-04-01 | 广东虚拟现实科技有限公司 | 通过增强现实操作设备的方法和系统 |
US10691945B2 (en) * | 2017-07-14 | 2020-06-23 | International Business Machines Corporation | Altering virtual content based on the presence of hazardous physical obstructions |
US20190094955A1 (en) * | 2017-09-27 | 2019-03-28 | Apple Inc. | Range finding and accessory tracking for head-mounted display systems |
EP3483104B1 (en) | 2017-11-10 | 2021-09-01 | Otis Elevator Company | Systems and methods for providing information regarding elevator systems |
CN109905262A (zh) * | 2017-12-11 | 2019-06-18 | 上海逸云信息科技发展有限公司 | 一种cdn设备服务的监控系统及监控方法 |
US10726765B2 (en) | 2018-02-15 | 2020-07-28 | Valve Corporation | Using tracking of display device to control image display |
JP2019146022A (ja) * | 2018-02-21 | 2019-08-29 | オリンパス株式会社 | 撮像装置及び撮像方法 |
US11032403B2 (en) * | 2018-03-22 | 2021-06-08 | Daniel L C Leung | Method to aid the walking-while-texting smart phone user navigate around obstacles in the forward path |
CN110322669B (zh) * | 2018-03-31 | 2022-01-04 | 汉唐传媒股份有限公司 | 一种基于现实投影游戏场的预警方法 |
US20190042843A1 (en) * | 2018-04-05 | 2019-02-07 | Intel Corporation | Cable detection for ar/vr computing method and apparatus |
US20190385372A1 (en) * | 2018-06-15 | 2019-12-19 | Microsoft Technology Licensing, Llc | Positioning a virtual reality passthrough region at a known distance |
US11430215B2 (en) | 2018-06-20 | 2022-08-30 | Hewlett-Packard Development Company, L.P. | Alerts of mixed reality devices |
WO2019245543A1 (en) * | 2018-06-20 | 2019-12-26 | Hewlett-Packard Development Company, L.P. | Alerts of mixed reality devices |
DE102018213368A1 (de) * | 2018-08-09 | 2020-02-13 | Audi Ag | System, Verfahren und Absicherungsvorrichtung für einen kraftfahrzeuglosen Verkehrsteilnehmer sowie Servervorrichtung für das System |
CN110097736B (zh) * | 2019-04-23 | 2021-11-30 | 维沃移动通信有限公司 | 报警方法及报警装置 |
US10832484B1 (en) * | 2019-05-09 | 2020-11-10 | International Business Machines Corporation | Virtual reality risk detection |
US11468604B2 (en) * | 2019-06-25 | 2022-10-11 | Google Llc | Methods and systems for providing a notification in association with an augmented-reality view |
KR102614495B1 (ko) * | 2019-08-02 | 2023-12-15 | 엘지전자 주식회사 | Xr 디바이스 및 그 제어 방법 |
US11991263B2 (en) * | 2019-09-17 | 2024-05-21 | Hewlett-Packard Development Company, L.P. | Notification delivery in a virtual space based on a user being in a flow state |
CN110641607B (zh) * | 2019-10-08 | 2021-04-02 | 深圳市乐骑智能科技有限公司 | 基于位置检测数据的滑板车行驶辅助系统及电动滑板车 |
US20200045240A1 (en) * | 2019-10-12 | 2020-02-06 | Adam Diamond | Hood with Multiple Cameras |
CN110718043B (zh) * | 2019-10-17 | 2021-07-30 | 辽宁中航信诺科技有限公司 | 基于ar人工智能设备的危险区域的检查报警方法 |
WO2021124299A1 (en) * | 2019-12-21 | 2021-06-24 | Elon Littwitz | Walking assisting systems and methods |
CN111564027B (zh) * | 2020-05-08 | 2022-05-13 | 北京深演智能科技股份有限公司 | 报警信息处理方法及装置 |
US11561611B2 (en) | 2020-10-29 | 2023-01-24 | Micron Technology, Inc. | Displaying augmented reality responsive to an input |
TWI758970B (zh) * | 2020-11-24 | 2022-03-21 | 鴻海精密工業股份有限公司 | 可移動障礙物位置判斷方法、裝置、電子設備及系統 |
US20220188545A1 (en) * | 2020-12-10 | 2022-06-16 | International Business Machines Corporation | Augmented reality enhanced situational awareness |
US11393315B1 (en) * | 2020-12-31 | 2022-07-19 | Micron Technology, Inc. | Hazard indicator |
US11872486B2 (en) | 2021-05-27 | 2024-01-16 | International Business Machines Corporation | Applying augmented reality-based gamification to hazard avoidance |
US11663790B2 (en) * | 2021-08-18 | 2023-05-30 | Optum, Inc. | Dynamic triggering of augmented reality assistance mode functionalities |
US20230138204A1 (en) * | 2021-11-02 | 2023-05-04 | International Business Machines Corporation | Augmented reality object interaction and notification |
US11983922B2 (en) * | 2022-01-27 | 2024-05-14 | Rovi Guides, Inc. | Smart home management system for generating augmented reality scene of potentially hazardous condition |
US11995739B2 (en) * | 2022-02-09 | 2024-05-28 | At&T Intellectual Property I, L.P. | System for contextual diminished reality for meta verse immersions |
US11747891B1 (en) * | 2022-07-15 | 2023-09-05 | Google Llc | Content output management in a head mounted wearable device |
WO2024043527A1 (ko) * | 2022-08-25 | 2024-02-29 | 삼성전자 주식회사 | 가상 현실 장치를 제어하는 방법 및 이를 이용하는 가상 현실 장치 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001006096A (ja) * | 1999-06-23 | 2001-01-12 | Honda Motor Co Ltd | 車両の周辺監視装置 |
US20020196202A1 (en) * | 2000-08-09 | 2002-12-26 | Bastian Mark Stanley | Method for displaying emergency first responder command, control, and safety information using augmented reality |
JP2003240850A (ja) * | 2002-02-18 | 2003-08-27 | Nec Corp | 前方障害物検出機能付き携帯情報端末 |
JP2003284120A (ja) * | 2002-03-20 | 2003-10-03 | Fuji Photo Film Co Ltd | 携帯通信端末用警告装置 |
JP2006174288A (ja) * | 2004-12-17 | 2006-06-29 | Sharp Corp | 携帯端末装置、衝突防止方法、衝突防止プログラムおよび記録媒体 |
JP2006301924A (ja) * | 2005-04-20 | 2006-11-02 | Canon Inc | 画像処理方法および画像処理装置 |
JP2008199286A (ja) * | 2007-02-13 | 2008-08-28 | Nec Corp | 携帯端末 |
JP2008230296A (ja) * | 2007-03-16 | 2008-10-02 | Mazda Motor Corp | 車両用運転支援システム |
JP2009206868A (ja) * | 2008-02-28 | 2009-09-10 | Kyocera Corp | 携帯通信端末、着信報知方法 |
US20090293012A1 (en) * | 2005-06-09 | 2009-11-26 | Nav3D Corporation | Handheld synthetic vision device |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030210228A1 (en) * | 2000-02-25 | 2003-11-13 | Ebersole John Franklin | Augmented reality situational awareness system and method |
US20030218638A1 (en) * | 2002-02-06 | 2003-11-27 | Stuart Goose | Mobile multimodal user interface combining 3D graphics, location-sensitive speech interaction and tracking technologies |
US7762665B2 (en) * | 2003-03-21 | 2010-07-27 | Queen's University At Kingston | Method and apparatus for communication between humans and devices |
US7142231B2 (en) * | 2003-12-29 | 2006-11-28 | Nokia Corporation | Method and apparatus for improved handset multi-tasking, including pattern recognition and augmentation of camera images |
US7283064B2 (en) * | 2005-04-12 | 2007-10-16 | Honeywell International, Inc. | System and method for facilitating target aiming and aircraft control using aircraft displays |
ATE459061T1 (de) * | 2006-11-21 | 2010-03-15 | Harman Becker Automotive Sys | Darstellung von videobildern einer fahrzeugumgebung |
DE102007033391A1 (de) | 2007-07-18 | 2009-01-22 | Robert Bosch Gmbh | Informationsvorrichtung, Verfahren zur Information und/oder Navigation von einer Person sowie Computerprogramm |
US8605947B2 (en) * | 2008-04-24 | 2013-12-10 | GM Global Technology Operations LLC | Method for detecting a clear path of travel for a vehicle enhanced by object detection |
DE102008002322A1 (de) * | 2008-06-10 | 2009-12-17 | Robert Bosch Gmbh | Tragbare Vorrichtung mit Warnsystem und Verfahren |
DE102008002560A1 (de) * | 2008-06-20 | 2009-12-24 | Robert Bosch Gmbh | Bilddatenvisualisierung |
US20100238161A1 (en) * | 2009-03-19 | 2010-09-23 | Kenneth Varga | Computer-aided system for 360º heads up display of safety/mission critical data |
US8164543B2 (en) * | 2009-05-18 | 2012-04-24 | GM Global Technology Operations LLC | Night vision on full windshield head-up display |
CN201689517U (zh) * | 2010-05-10 | 2010-12-29 | 佛山市神信锦盟科技有限公司 | 一种放射源智能监控装置及系统 |
-
2011
- 2011-01-28 JP JP2011016440A patent/JP5691568B2/ja active Active
- 2011-12-19 BR BR112013018603A patent/BR112013018603A2/pt not_active IP Right Cessation
- 2011-12-19 EP EP11857123.1A patent/EP2668553B1/en not_active Not-in-force
- 2011-12-19 US US13/980,978 patent/US10909759B2/en active Active
- 2011-12-19 WO PCT/JP2011/007068 patent/WO2012101720A1/en active Application Filing
- 2011-12-19 RU RU2013133883/08A patent/RU2013133883A/ru not_active Application Discontinuation
- 2011-12-19 KR KR1020137019080A patent/KR20140014117A/ko not_active Application Discontinuation
-
2012
- 2012-01-04 TW TW101100369A patent/TW201246008A/zh unknown
- 2012-01-20 CN CN201210018916.0A patent/CN102682571B/zh active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001006096A (ja) * | 1999-06-23 | 2001-01-12 | Honda Motor Co Ltd | 車両の周辺監視装置 |
US20020196202A1 (en) * | 2000-08-09 | 2002-12-26 | Bastian Mark Stanley | Method for displaying emergency first responder command, control, and safety information using augmented reality |
JP2003240850A (ja) * | 2002-02-18 | 2003-08-27 | Nec Corp | 前方障害物検出機能付き携帯情報端末 |
JP2003284120A (ja) * | 2002-03-20 | 2003-10-03 | Fuji Photo Film Co Ltd | 携帯通信端末用警告装置 |
JP2006174288A (ja) * | 2004-12-17 | 2006-06-29 | Sharp Corp | 携帯端末装置、衝突防止方法、衝突防止プログラムおよび記録媒体 |
JP2006301924A (ja) * | 2005-04-20 | 2006-11-02 | Canon Inc | 画像処理方法および画像処理装置 |
US20090293012A1 (en) * | 2005-06-09 | 2009-11-26 | Nav3D Corporation | Handheld synthetic vision device |
JP2008199286A (ja) * | 2007-02-13 | 2008-08-28 | Nec Corp | 携帯端末 |
JP2008230296A (ja) * | 2007-03-16 | 2008-10-02 | Mazda Motor Corp | 車両用運転支援システム |
JP2009206868A (ja) * | 2008-02-28 | 2009-09-10 | Kyocera Corp | 携帯通信端末、着信報知方法 |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9266019B2 (en) | 2011-07-01 | 2016-02-23 | Empire Technology Development Llc | Safety scheme for gesture-based game |
US9823740B2 (en) | 2011-07-01 | 2017-11-21 | Empire Technology Development Llc | Safety scheme for gesture-based game |
US9390318B2 (en) | 2011-08-31 | 2016-07-12 | Empire Technology Development Llc | Position-setup for gesture-based game system |
US9126115B2 (en) | 2011-12-02 | 2015-09-08 | Empire Technology Development Llc | Safety scheme for gesture-based game system |
JP2015515044A (ja) * | 2012-02-24 | 2015-05-21 | エンパイア テクノロジー ディベロップメント エルエルシー | ジェスチャー・ベースのゲーム・システムのための安全な方式 |
WO2014098033A1 (ja) * | 2012-12-17 | 2014-06-26 | Iwata Haruyuki | 携帯型移動支援装置 |
JP2014120006A (ja) * | 2012-12-17 | 2014-06-30 | Haruyuki Iwata | 携帯型移動支援装置 |
JP5346115B1 (ja) * | 2012-12-17 | 2013-11-20 | 治幸 岩田 | 携帯型移動支援装置 |
JP2020175204A (ja) * | 2013-09-30 | 2020-10-29 | 株式会社ソニー・インタラクティブエンタテインメント | 物理オブジェクトの画像をフェードアウトする方法 |
JP7028917B2 (ja) | 2013-09-30 | 2022-03-02 | 株式会社ソニー・インタラクティブエンタテインメント | 物理オブジェクトの画像をフェードアウトする方法 |
JP2016541035A (ja) * | 2013-09-30 | 2016-12-28 | 株式会社ソニー・インタラクティブエンタテインメント | ヘッドマウントディスプレイのユーザー向けカメラベース安全機構 |
WO2015093130A1 (ja) * | 2013-12-17 | 2015-06-25 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP2015125464A (ja) * | 2013-12-25 | 2015-07-06 | Kddi株式会社 | ウェアラブルデバイス |
JP2015197860A (ja) * | 2014-04-02 | 2015-11-09 | キヤノン株式会社 | 表示装置、表示制御方法及びプログラム |
JP2016058042A (ja) * | 2014-09-12 | 2016-04-21 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
US9784972B2 (en) | 2014-09-12 | 2017-10-10 | Canon Kabushiki Kaisha | Information processing apparatus, information processing method, and storage medium |
JP2016110565A (ja) * | 2014-12-10 | 2016-06-20 | 富士通株式会社 | 表示制御方法、情報処理プログラム、及び情報処理装置 |
JP2016122085A (ja) * | 2014-12-25 | 2016-07-07 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
JP2016062593A (ja) * | 2015-07-09 | 2016-04-25 | キヤノン株式会社 | 情報処理装置、情報処理方法、プログラム |
JP2017060033A (ja) * | 2015-09-17 | 2017-03-23 | カシオ計算機株式会社 | 携帯情報機器、携帯情報システム、表示方法及びプログラム |
WO2017051570A1 (ja) * | 2015-09-24 | 2017-03-30 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
US10855925B2 (en) | 2015-09-24 | 2020-12-01 | Sony Corporation | Information processing device, information processing method, and program |
WO2017057055A1 (ja) * | 2015-09-30 | 2017-04-06 | ソニー株式会社 | 情報処理装置、情報端末、及び、情報処理方法 |
JP2017091433A (ja) * | 2015-11-17 | 2017-05-25 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム |
WO2018008208A1 (ja) * | 2016-07-05 | 2018-01-11 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2018005743A (ja) * | 2016-07-06 | 2018-01-11 | 富士ゼロックス株式会社 | 情報処理装置、画像形成システムおよびプログラム |
JP2018113572A (ja) * | 2017-01-11 | 2018-07-19 | 京セラドキュメントソリューションズ株式会社 | 携帯端末装置、及び安全管理システム |
WO2018173399A1 (ja) * | 2017-03-21 | 2018-09-27 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2018200631A (ja) * | 2017-05-29 | 2018-12-20 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | 危険判定システム、危険判定方法及びコンピュータプログラム |
JP2019166992A (ja) * | 2018-03-23 | 2019-10-03 | パナソニックIpマネジメント株式会社 | 車両制御装置およびコンピュータプログラム |
KR20210005858A (ko) | 2018-04-25 | 2021-01-15 | 소니 주식회사 | 정보 처리 장치, 정보 처리 방법, 정보 처리 프로그램 |
US12027082B2 (en) | 2022-05-24 | 2024-07-02 | Seiko Epson Corporation | Display method and display system |
Also Published As
Publication number | Publication date |
---|---|
US10909759B2 (en) | 2021-02-02 |
US20130293586A1 (en) | 2013-11-07 |
CN102682571B (zh) | 2016-12-14 |
JP5691568B2 (ja) | 2015-04-01 |
EP2668553A1 (en) | 2013-12-04 |
WO2012101720A1 (en) | 2012-08-02 |
KR20140014117A (ko) | 2014-02-05 |
BR112013018603A2 (pt) | 2019-09-24 |
RU2013133883A (ru) | 2015-01-27 |
TW201246008A (en) | 2012-11-16 |
EP2668553A4 (en) | 2014-08-20 |
EP2668553B1 (en) | 2017-10-11 |
CN102682571A (zh) | 2012-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5691568B2 (ja) | 情報処理装置、報知方法及びプログラム | |
JP2012155655A (ja) | 情報処理装置、報知方法及びプログラム | |
US9975483B1 (en) | Driver assist using smart mobile devices | |
US9420559B2 (en) | Obstacle detection and warning system using a mobile device | |
US9451062B2 (en) | Mobile device edge view display insert | |
US8953841B1 (en) | User transportable device with hazard monitoring | |
WO2018156549A1 (en) | Personal navigation system | |
KR101218257B1 (ko) | 레이더를 이용한 야생동물 침입 탐지 방법 및 그 시스템 | |
JPWO2010035434A1 (ja) | 死角車両検出装置及びその方法 | |
Tung et al. | Use of phone sensors to enhance distracted pedestrians’ safety | |
JP2016066231A (ja) | 衝突防止装置、衝突防止方法、衝突防止プログラムおよび記録媒体 | |
EP2846172A1 (en) | Warning system and method | |
US20220092981A1 (en) | Systems and methods for controlling vehicle traffic | |
CN106713639A (zh) | 避障提醒方法、避障提醒装置和移动终端 | |
KR101862986B1 (ko) | 스마트 폰을 사용하며 보행중인 사용자 경보 시스템 및 방법 | |
Datta et al. | Towards city-scale smartphone sensing of potentially unsafe pedestrian movements | |
WO2017185268A1 (zh) | 一种检测道路障碍物的方法及装置 | |
JP4277678B2 (ja) | 車両運転支援装置 | |
JP2015153208A (ja) | 注意喚起システム | |
US20160335916A1 (en) | Portable device and control method using plurality of cameras | |
Wei et al. | Automatic accident detection and alarm system | |
JP2018116323A (ja) | 処理装置、干渉管理システム及び干渉管理方法 | |
JP2018206210A (ja) | 衝突事故抑制システム及び衝突事故抑制方法 | |
JP6874456B2 (ja) | 衝突防止装置、通信システム、衝突防止方法、およびコンピュータプログラム | |
CN101363738A (zh) | 便携式导航仪 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131209 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141021 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150119 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5691568 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |