JP2011227879A - 情報提供装置、情報提供方法、及びプログラム - Google Patents
情報提供装置、情報提供方法、及びプログラム Download PDFInfo
- Publication number
- JP2011227879A JP2011227879A JP2011066594A JP2011066594A JP2011227879A JP 2011227879 A JP2011227879 A JP 2011227879A JP 2011066594 A JP2011066594 A JP 2011066594A JP 2011066594 A JP2011066594 A JP 2011066594A JP 2011227879 A JP2011227879 A JP 2011227879A
- Authority
- JP
- Japan
- Prior art keywords
- information
- dangerous
- danger
- range
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 48
- 238000001514 detection method Methods 0.000 claims description 39
- 230000008569 process Effects 0.000 claims description 35
- 238000003860 storage Methods 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000003384 imaging method Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 3
- 230000000007 visual effect Effects 0.000 abstract description 29
- 239000000126 substance Substances 0.000 description 72
- 230000010365 information processing Effects 0.000 description 23
- 239000000463 material Substances 0.000 description 19
- 230000006870 function Effects 0.000 description 17
- 238000005259 measurement Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 14
- 238000012545 processing Methods 0.000 description 14
- 239000011159 matrix material Substances 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 239000003550 marker Substances 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 4
- 239000012530 fluid Substances 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 239000013056 hazardous product Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Alarm Systems (AREA)
Abstract
【解決手段】危険対象の状態毎の危険な範囲を示す危険範囲情報、及び危険対象の位置を示す危険対象位置情報を読み込み、当該情報提供装置の位置を示す情報から算出された装置位置情報と、当該情報提供装置の方位を示す情報から算出された方位情報と、当該情報提供装置の姿勢を示す情報から算出された姿勢情報と、を取得し、取得した装置位置情報、方位情報、及び姿勢情報、並びに、予め規定された当該情報提供装置の視界情報に基づいて、当該情報提供装置の視野を特定し、装置位置情報、方位情報、姿勢情報、並びに、読込手段で読み込まれた危険範囲情報及び危険対象位置情報に基づいて、視野に含まれる危険対象を特定し、特定した危険対象について危険範囲画像を生成して表示部に表示することで課題を解決する。
【選択図】図1
Description
ところで、危険な個所は、常に危険である場合と、時間的に見て特定な時期だけ危険である場合とがある。例えば、工場内のクレーン作業が行われるような場所は、クレーンが稼働しているときだけ吊荷の下が危険な個所となる。
一方、移動式のクレーン車などの従来の危険個所表示においては、その使用される場所が固定されていないので、クレーン車に「半径10m以内立ち入り禁止」などを表示するが、危険な個所が視認できず、危険な個所が不明確になる問題がある。また、パイロン等で物理的に立ち入れないようにすることもあるが、その準備には手間がかかる問題がある。
図1は、本実施形態に係る情報提供システムの構成の一例を示す図である。情報提供システムは、AR提供装置100と情報処理装置200とを有する。AR提供装置100と情報処理装置200とは、ネットワークを介して通信可能に接続されている。
AR提供装置100は、情報提供装置(コンピュータ)の一例であり、HMD(Head Mounted Display)等であり、AR提供装置100を介して知覚できる現実空間に整合する位置に、AR提供装置100で生成した画像(コンピュータグラフィックス画像)を表示することにより、拡張された現実感(AR:Augmented Reality)を提供する。AR提供装置100は、例えば、現実空間のクレーン車300に、クレーン車300による危険な範囲を示す危険範囲画像310を重畳して表示する。なお、情報処理装置200は、例えばサーバコンピュータであり、クレーン車300等の危険物(危険対象の一例である。)に関する各種の情報を管理する。付言するならば、危険対象は、危険物そのものに限られるものではなく、不特定多数の危険物が頻繁に通る道路など、危険に係る場所や空間を含むものである。
AR提供装置100は、制御装置5、記憶装置10、通信装置15、表示装置20、方位検出装置25、姿勢検出装置30、及び撮影装置35を有する。
制御装置5は、例えばCPU(Central Processing Unit)であり、必要に応じて、記憶装置10よりプログラムを読み出して、プログラムを実行する。プログラムが実行されることで、AR提供装置100における後述の機能、及び後述のフローチャートに係る処理が実現される。
通信装置15は、情報処理装置200と有線又は無線で通信を行い、危険物に関する各種の情報を取得する。また、通信装置15は、位置検出装置の一例である衛星と通信を行い、軌道情報を取得する。
表示装置20は、表示部の一例であり、透過型の液晶ディスプレイ等であり、各種の画像を表示する。
姿勢検出装置30は、例えばジャイロセンサであり、物体の角速度を検知し、角速度を積分などして角度(AR提供装置100の姿勢(姿勢情報))を算出する。
撮影装置35は、現実空間の撮影を行う。
AR提供装置100は、計測部40、方位情報取得部45、姿勢情報取得部50、取込部55、視野特定部60、表示制御部65、及び映像取得部70を有する。
計測部40は、位置情報取得手段の一例であり、通信装置15を介して衛星から取得された軌道情報から、AR提供装置100の現在の位置を示す情報(装置位置情報の一例であるAR位置情報)を計測(算出して取得)する。
方位情報取得部45は、方位検出装置25で算出された方位情報を取得する。なお、方位情報取得部45は、方位検出装置25から地磁気などの検出された情報を受け取り、方位情報を算出してもよい。
姿勢情報取得部50は、姿勢検出装置30で算出された姿勢情報を取得する。なお、姿勢情報取得部50は、姿勢検出装置30から角速度などの検出された情報を受け取り、姿勢情報を算出してもよい。
視野特定部60は、方位情報取得部45で取得された方位情報、及び姿勢情報取得部50で取得された姿勢情報などに基づいて、AR提供装置100を装着しているユーザの視野(AR視野)を特定(推定)する。
現実空間と表示空間(仮想空間)との間の座標合わせ(幾何位置合わせ)を正確に行うためには、仮想空間の拡張画像を生成するためのパラメータ(内部パラメータ及び外部パラメータ)を、表示装置20のパラメータと一致させる必要がある。表示装置20の内部パラメータが既知であるので、幾何位置合わせの問題は、表示装置20の外部パラメータ(即ち、AR提供装置100の位置及び姿勢)を求める問題に帰結される。
本実施形態では、表示装置20の内部パラメータ(焦点距離、レンズ歪み、アスペクト比など)が事前にキャリブレーションされていることを前提として、表示制御部65は、計測されたAR提供装置100のAR位置情報、方位情報、及び姿勢情報を取得することで、仮想環境を表す仮想座標系と予め与えられた現実空間の基準座標系との間の幾何変換行列(仮想座標系と基準座標系との変換が対応付けられた変換情報)を求める方法を採用して説明を行う。
なお、上述したように、表示制御部65は、例えば、撮影された画像中に存在する何らかの指標を用いて表示装置20の外部パラメータ(位置及び姿勢)を実時間で推定することで、幾何変換行列を求めてもよい。このとき、AR提供装置100の位置及び姿勢を推定するための指標としては、意図的に付されたマーカなどの指標を用いていてもよいし、輪郭情報、輝度エッジ、特徴点などの自然特徴を用いてもよい。
映像取得部70は、撮影装置35で撮影された現実空間の映像データを取得する。
情報処理装置200は、制御装置75、記憶装置80、通信装置85、表示装置90、及び入力装置95を有する。
制御装置75は、例えばCPU(Central Processing Unit)であり、必要に応じて、記憶装置80よりプログラムを読み出して、プログラムを実行する。プログラムが実行されることで、情報処理装置200における後述の機能、及び後述のフローチャートに係る処理が実現される。
通信装置85は、危険物が稼働している状態(稼働状態)を検出する稼働状態検出センサと通信を行い、稼働状態検出センサから危険物の現在の位置を示す情報(危険対象位置情報の一例である危険物位置情報)等を取得する。
表示装置90は、液晶ディスプレイ等であり、各種の情報を表示する。
入力装置95は、ユーザが操作するキーボード及びマウス等であり、情報処理装置200に各種の情報を入力する。
位置固定対象テーブル210は、危険物ID、危険物名、危険種別、基準位置、状態、状態ごとの危険範囲、現状の情報を含んで構成される。現状の情報を除いた各種の情報は、例えば管理者により入力装置95等を介して設定されている。現状の情報についての設定については後述する。
危険物IDの情報は、危険物を識別するための識別情報である。危険物名の情報は、危険物の名称を示す情報である。危険種別の情報は、危険物による危険の種別を示す情報である。
基準位置の情報は、危険物が設置されている位置(緯度及び経度)を示す情報(設置位置情報)である。なお、設置位置情報は、固定されている危険物の位置を示す情報であり、危険物の現在の位置を示しているので、危険物位置情報と等価である。また、設置位置情報は、危険範囲画像を表示する位置を特定する情報(表示位置情報)としても用いられることがある。ここで、例えば、緯度が「35.354417」であり、経度が「139.867623」である位置情報の場合は、位置情報「35.354417,139.867623」として表すものとする。本実施形態では、説明の便宜上、危険物の高度については「0」であるものとして取り扱う。
状態ごとの危険範囲の情報は、危険範囲情報の一例であり、危険物の状態に対応した危険範囲を示す情報である。現状の情報は、危険物が稼働しているか否かを示す情報である。本実施形態では、危険物が稼働しているときは、情報処理装置200により、「○」が設定され、危険物が稼働していないときは何も設定されない(クリアされている)ものとする。
移動対象テーブル220は、危険物ID、危険物名、危険種別、測位基準、状態、状態ごとの危険範囲、現状、現在位置の情報を含んで構成される。現状の情報及び現在位置の情報を除いた各種の情報は、例えば管理者により入力装置95等を介して設定されている。現状の情報及び現在位置の情報の設定については後述する。
測位基準の情報は、危険範囲画像を表示する位置を示す情報(表示位置情報)である。現在位置の情報は、危険物の現在の位置を示す情報(危険物位置情報)である。なお、図5で示した項目と同一の項目については、説明を省略する。
ここで、本実施形態では、危険物に関する情報が、テーブルの形式で、かつ危険物の種類(固定された危険物であるか、移動する危険物であるか等)に応じて複数のテーブルに格納されているが、この構成に限られるものではない。例えば、危険物に関する情報を一又は複数のファイルとして格納する構成を採用してもよい。また、例えば、危険物に関する情報を一のテーブルとして格納する構成を採用してもよい。
はじめに、稼働状態設定部は、現在の時刻を取得する(ステップS5)。
次に、稼働状態設定部は、記憶装置80から危険物に関する情報を読み出す(ステップS10)。
次に、稼働状態設定部は、現在の時刻と危険物に関する情報とに基づいて、「現状」の設定を行い(ステップS15)、稼働状態設定処理を終了する。
より具体的には、稼働状態設定部は、危険物に関する情報を順次読み出し、状態の情報が、現在の時刻に基づいて危険物が稼働しているか否かを識別するための状態識別情報(時間帯)である場合は、現在の時刻がこの時間帯に含まれているか否かを判定する。このとき、稼働状態設定部は、現在の時刻がこの時間帯に含まれていると判定した場合は、「現状」に「○」を設定する。他方、稼働状態設定部は、現在の時刻がこの時間帯に含まれていないと判定した場合は、「現状」をクリアする。
まず、ステップS5では、稼働状態設定部は、現在の時刻「15:00」を取得する。
次に、ステップS10では、稼働状態設定部は、位置固定対象テーブル210及び移動対象テーブル220から、状態の情報を読み出す。
次に、ステップS15では、稼働状態設定部は、状態の情報に対応する「現状」を1件ずつ設定するが、例えば状態の情報として時間帯「9:00〜17:00」が読み出されたときは、現在の時刻「15:00」が時間帯「9:00〜17:00」に含まれているか否かを判定する。そして、稼働状態設定部は、現在の時刻「15:00」が時間帯「9:00〜17:00」に含まれていると判定し、状態の情報(時間帯「9:00〜17:00」)に対応する「現状」に「○」を設定する。
次に、稼働状態設定部は、記憶装置80から危険物に関する情報を読み出す(ステップS25)。より具体的には、稼働状態設定部は、危険物状態情報に含まれる危険物IDの情報に対応する危険物に関する情報を読み出す。
次に、稼働状態設定部は、受信した危険物状態情報と危険物に関する情報とに基づいて、「現状」の設定を行い(ステップS30)、稼働状態設定処理を終了する。
より具体的には、稼働状態設定部は、読み出した危険物に関する情報から危険物状態情報に含まれる稼働態様情報に対応する「状態」を特定できた場合は、特定した「状態」に対応する「現状」に「○」を設定する。他方、稼働状態設定部は、特定できなかった場合(稼働態様情報が、危険物が稼働していないことを示す情報であった場合)は、読み出した全ての「現状」をクリアする。
まず、ステップS20では、稼働状態設定部は、危険物ID「001」の危険物「クレーン」の稼働状態を検出する稼働状態検出センサより危険物状態情報を受信する。
次に、ステップS25では、稼働状態設定部は、位置固定対象テーブル210及び移動対象テーブル220から、危険物ID「001」に対応する状態「フル稼働時」及び「東側のみ稼働時」を読み出す。本実施形態では、状態「フル稼働時」としては、第1の態様での稼働として「1」が規定され、状態「東側のみ稼働時」としては、第2の態様での稼働として「2」が規定されているものとする。
次に、ステップS30では、稼働状態設定部は、読み出した状態「フル稼働時:1」及び「東側のみ稼働時:2」から危険物状態情報に含まれる稼働態様情報「2」に対応する状態「東側のみ稼働時」を特定し、特定した状態「東側のみ稼働時」に対応する「現状」に「○」を設定する。
はじめに、位置情報設定部は、危険物の位置を計測する計測器(或いは、計測器を有する危険物)より、危険物特定情報を受信する(ステップS35)。危険物特定情報には、危険物の現在の位置情報(危険物位置情報)と危険物IDの情報とが含まれる。なお、危険物位置情報に代えて、危険物位置情報を算出するための軌道情報等を受信し、位置情報設定部が危険物位置情報を算出する構成を採用してもよい。
次に、位置情報設定部は、受信した危険物位置情報と危険物に関する情報とに基づいて「現在位置」を設定(更新)し(ステップS40)、位置情報設定処理を終了する。
例えば、ステップS40では、位置情報設定部は、危険物ID「010」、危険物位置情報「35.355187,139.874618」が含まれる危険物特定情報を受信したときは、位置固定対象テーブル210及び移動対象テーブル220を参照し、危険物ID「010」に対応する「現在位置」に危険物位置情報「35.355187,139.874618」を設定する。
はじめに、ステップS45では、取込部55は、位置固定対象テーブル210及び移動対象テーブル220から現状「○」となっている対象データを情報処理装置200から取り込む(抽出する)。なお、位置固定対象テーブル210から抽出される対象データには、危険物ID、基準位置、及び状態ごとの危険範囲の情報が含まれる。また、移動対象テーブル220から抽出される対象データには、危険物ID、測位基準、状態ごとの危険範囲、現在位置の情報が含まれる。
本実施形態では、図5及び図6に示すように、現状「○」となっている対象データとして、4つ読み込まれる。例えば、危険物ID「001」の状態「2(東側のみ稼働)」により特定される対象データが読み込まれ、この対象データには、危険物ID「001」、基準位置「35.354417,139.867623」、及び状態ごとの危険範囲「半径15m、高さ20m、方位0°〜180°」が含まれる。
次に、ステップS55では、計測部40は、通信装置15を介して衛星から取得された軌道情報から、AR提供装置100の現在の位置を示す情報(AR位置情報)を計測する。
次に、ステップS60では、向き特定部(方位情報取得部45及び姿勢情報取得部50)は、AR提供装置100の向き(方位及び姿勢)を特定する。すなわち、方位情報取得部45は、方位検出装置25で算出された方位情報を取得し、姿勢情報取得部50は、姿勢検出装置30で算出された姿勢情報を取得する。
ここで、図11に、ユーザ400のAR視野Uの一例を示す。本実施形態では、危険物の高度は「0」と設定しているので、AR視野は平面的に(二次元で)特定されている。しかしながら、危険物位置情報に高度を加味する場合は、AR視野は立体的に(三次元で)特定されてもよい。
また、本実施形態では、ユーザ400の視界として、例えば、左右方向160°(高度を加味する場合は例えば上下方向120°)の範囲の情報(視界情報)が予め設定され、記憶装置10に格納されている。
例えば、視野特定部60は、AR位置情報410を基準とした予め定められた範囲(例えば、半径100m)内であって、方位情報420を中心とした視界をAR視野Uとして特定する。
より具体的には、まず、表示制御部65は、対象データに含まれる危険物位置情報がAR視野に含まれているときは、危険物位置情報に位置する危険物は、AR視野に含まれる危険物であると特定する。例えば、図11では、危険物位置情報430は、AR視野Uに含まれているので、危険物位置情報430に位置する危険物は、AR視野Uに含まれていると特定される。なお、危険物位置情報440は、AR視野Uに含まれていないので、危険物位置情報440に位置する危険物は、AR視野Uに含まれていないと特定される。
このとき、表示制御部65は、危険物が固定されている場合は、基準座標系における、危険物位置情報の座標に基づいて、特定した危険物に対応する状態ごとの危険範囲に対応する座標(範囲座標)を算出し、算出した範囲座標に幾何変換行列を適用して危険範囲画像(拡張画像)を生成する。
このとき、表示制御部65は、危険物が固定されている場合は、特定した危険物に対応する状態ごとの危険範囲に倍率を乗算して拡張画像を生成する。
他方、危険物が移動する場合は、表示制御部65は、映像データ(映像データを構成する画像データ)を解析して、特定した危険物に付された測位基準を示すマーカの基準座標系における座標を特定し、特定した座標に幾何変換行列を適用して仮想座標系における座標(表示座標)を算出し、算出した表示座標を基点として、特定した危険物に対応する状態ごとの危険範囲に倍率を乗算して拡張画像を生成する。
付言するならば、表示制御部65は、AR視野に含まれる危険物を複数、特定した場合は、複数の危険物の各々について拡張画像を生成して表示する。なお、表示制御部65は、生成した拡張画像を映像データに重畳して表示装置20に表示してもよい。
また、拡張画像を表示する方法は、上述した構成に限られるものではない。例えば、予め登録されている危険物を特定するための情報(特徴量など)が情報処理装置200から危険物IDに基づいて取得され、表示制御部65は、特徴量などを用いて映像データについて認識処理を行って危険物を特定し、特定した危険物の座標に危険範囲画像(拡張画像)を表示してもよい。この構成によれば、拡張画像を表示する位置を現実空間により適した位置に補正することができる。
また、図12Cに、危険物が移動する場合の表示例として、測位基準を示すマーカ620が付されたクレーン車(危険物ID「011」、状態「移動」)600に拡張画像610が重畳して表示されたときの一例を示す。
例えば、表示制御部65は、危険範囲画像を解析して危険範囲画像でない部分(危険範囲とされていない範囲)を安全な範囲として特定し、安全な範囲を示す画像(安全地帯画像)を生成する。また、例えば、表示制御部65は、予め設定された工場の出口の位置を示す位置情報とAR位置情報とに基づいて退避経路を算出し、算出した退避経路を示す画像(退避経路画像)を生成する。図12Dに、安全に関する画像が表示されたときの一例(退避経路画像700)を示す。
なお、ユーザは、安全表示モードを切り替えるスイッチ(図示せず)を押下することで、安全表示モードのON/OFFを切り替える。
はじめに、取込部55は、危険物の移動の予定を示す移動予定情報の一例である運行計画情報を情報処理装置200から取り込む(ステップS85)。運行計画情報には、危険物の運行予定の位置を示す運行位置情報とそのときの時刻を示す運行時刻情報とが含まれている。
次に、ステップS90では、表示制御部65は、危険予定範囲を特定する。より具体的には、表示制御部65は、危険物位置情報を中心に予め定められた範囲(例えば、半径50mの円の内側)を危険予定範囲として特定する。
ステップS100では、表示制御部65は、危険物が接近している旨の画像を表示装置20に表示する。より具体的には、表示制御部65は、取得した運行予定位置及び計測結果より、危険物が接近してくる方向を特定し、特定した方向から危険物が接近していることを報知する画像を表示装置20に表示する。図14に、ユーザの左側から危険物(AGV:Automatic Guided Vehicle)が接近しているときの表示の一例(警告表示画像800)を示す。
第1の実施形態では、AR提供装置100が撮影装置35を有する構成を採用したが、第2の実施形態に係るAR提供装置100は、撮影装置35を有していないことを特徴とする。以下では、第1の実施形態と異なる主な構成について説明する。
図15は、AR提供装置100における各機能により行われる表示処理に係るフローチャートの一例を示す図である。第1の実施形態の図10で示した処理と同一の処理については同一の符号を付し、説明を省略する。なお、AR提供装置100は、撮影装置35を有していないので、図10に示すステップS50の処理は行われない。
より具体的には、まず、表示制御部65は、対象データに含まれる危険物位置情報がAR視野に含まれているときは、危険物位置情報に位置する危険物は、AR視野に含まれる危険物であると特定する。
そして、表示制御部65は、AR位置情報、方位情報、及び姿勢情報に基づいて幾何変換行列を求める。
そして、表示制御部65は、基準座標系における、危険物位置情報の座標に基づいて、特定した危険物に対応する状態ごとの危険範囲に対応する範囲座標を算出し、算出した範囲座標に幾何変換行列を適用して拡張画像を生成する。なお、第1の実施形態では、危険物が固定されているか否かに応じて、異なる拡張画像の生成方法を採用したが、第2の実施形態では、マーカを撮影できないので、危険物が固定されているか否かに拘わらず、上述した方法で拡張画像を生成する。
上述したAR提供装置は、情報処理装置から危険物に関する情報などを取得して拡張画像を生成するが、これに限られるものではない。例えば、AR提供装置は、危険物を特定するための情報(特徴量、危険物の画像データなど)を記憶装置10に記憶し、撮影装置35で撮影した映像データを解析して、映像データに含まれる危険物を認識処理により特定し、特定した危険物が反復動作(回転運動、往復運動など)をしていると判断したときは、特定した危険物による危険範囲を想定して危険範囲画像(拡張画像)を生成してもよい。
また、AR提供装置としては、様々な形態のものを採用することができる。例えば、携帯端末型のAR提供装置を採用してもよい。この場合、透過型の液晶ディスプレイに代えて、非透過型の液晶ディスプレイを採用してもよい。また、例えば、光学的に透過して映し出される現実空間の対象物に拡張画像を合成表示するヘッドアップディスプレイ型のAR提供装置を採用してもよい。
更に、上述した実施形態では、AR提供装置100と情報処理装置200とで、それぞれ機能分担させたが、これらは1つの装置で行ってもよく、或いは、拡張画像をAR提供装置100ではなく情報処理装置200が生成するなど、本実施形態で示した装置とは別の装置が同様の機能を司るようにしてもよい。
例えば、AR提供装置100の視界に複数の危険物が捉えられたときに、それら全ての危険物について危険範囲が一斉に提示された場合、どこに注意するべきかユーザは混乱する可能性がある。より具体的には、現時点ではまだそれほどユーザにとって危険ではないような遠方にある危険物に対してまで危険範囲の拡張画像を生成して提示する必要はない。むしろ、そのようなあまり危険性のない危険物についてまで拡張画像を提示することで、ユーザは本当に注意する必要がある近くにある危険物についての拡張画像を見落としてしまう可能性もある。
この構成では、AR提供装置100は、例えばユーザの位置が危険物から所定の距離以下(予め定められた閾値以下)となった場合にのみ、ユーザに対して危険物の危険範囲の拡張画像を生成する。図16は、危険物に関する情報を格納するテーブルの一例(位置固定対象テーブル910)を示す図である。なお、図16に示すテーブルでは、図5に示すテーブルと比べて、表示条件の項目が追加されている。
位置固定対象テーブル910を用いる構成では、例えば、危険物ID「001」のクレーンの表示条件が30m以内となっているので、AR提供装置100は、危険物ID「001」のクレーンまでの距離が30m以内の場合のみ拡張画像を生成してユーザに提示する。その他の項目については、図5に示すテーブルと同じであるので、説明を省略する。
ステップS305では、表示制御部65は、AR視野に含まれる危険物を特定すると、危険物までの距離を取得する。
AR提供装置100と危険物との間の距離については、表示制御部65がAR提供装置100の現在の位置を示す情報(AR位置情報)と図16に示す危険物の基準位置とに基づいて算出する構成とすることができる。或いは、AR提供装置100に計測部を設けておき、計測部が対象の危険物に対してレーザーを発射し、発射されたレーザーが危険物で反射して計測部に戻ってくるまでの時間から距離を計測部が計測する構成であってもよい。なお、ステップS305以外のステップについては、図10に示すフローチャートと同じであるので、説明を省略する。
例えば、危険物ID「001」のクレーンである場合、表示制御部65は、AR視野に含まれるクレーンを特定すると、クレーンまでの距離を取得する。また、表示制御部65は、位置固定対象テーブル910から、危険物ID「001」のクレーンに対応する表示条件「30m以内」を読み出す。そして、表示制御部65は、取得したクレーンまでの距離が表示条件の「30m以内」であるか否かを判定する。判定の結果、30m以内の場合には、処理はステップS70に移り、表示制御部65は、危険物に対して危険範囲を表す拡張画像を生成し、重畳して表示する。一方、30mを超える場合には、処理はステップS45に戻ることになる。
また、上述した実施形態では、作業員に対して危険物に関する情報などを提示する構成であるが、作業員のほかにも作業現場を巡回する警備員に対して危険物に関する情報を提供する構成であってもよく、特に限定はされない。
上述した実施形態の構成によれば、危険な個所が時間的に変化する場面において、危険な個所をより適切に報知することができる。
200 情報処理装置
Claims (12)
- 表示部を有し、記憶部と通信可能に接続された情報提供装置であって、
前記記憶部に記憶された、危険対象の状態毎の危険な範囲を示す危険範囲情報、及び前記危険対象の位置を示す危険対象位置情報を読み込む読込手段と、
位置検出装置で検出された当該情報提供装置の位置を示す情報から算出された装置位置情報を取得する位置情報取得手段と、
方位検出装置で検出された当該情報提供装置の方位を示す情報から算出された方位情報を取得する方位情報取得手段と、
姿勢検出装置で検出された当該情報提供装置の姿勢を示す情報から算出された姿勢情報を取得する姿勢情報取得手段と、
前記位置情報取得手段で取得された装置位置情報、前記方位情報取得手段で取得された方位情報、前記姿勢情報取得手段で取得された姿勢情報、及び予め規定された当該情報提供装置の視界情報に基づいて、当該情報提供装置の視野を特定する特定手段と、
前記装置位置情報、前記方位情報、前記姿勢情報、並びに、前記読込手段で読み込まれた危険範囲情報及び危険対象位置情報に基づいて、前記視野に含まれる危険対象を特定し、特定した危険対象について危険範囲画像を生成して前記表示部に表示する表示制御手段と、
を有する情報提供装置。 - 前記表示制御手段は、前記装置位置情報、前記方位情報、及び前記姿勢情報に基づいて現実空間の座標系と表示空間の座標系との変換が対応付けられた変換情報を算出し、現実空間の座標系における前記危険対象位置情報の座標に基づいて、前記危険範囲情報に対応する範囲座標を算出し、算出した範囲座標に前記変換情報を適用して前記危険範囲画像を生成する請求項1に記載の情報提供装置。
- 撮影装置により撮影された映像を入力する入力手段を更に有し、
前記表示制御手段は、前記入力手段で入力された映像を解析して現実空間の座標系と表示空間の座標系との変換が対応付けられた変換情報を算出し、現実空間の座標系における前記危険対象位置情報の座標に基づいて、前記危険範囲情報に対応する範囲座標を算出し、算出した範囲座標に前記変換情報を適用して前記危険範囲画像を生成する請求項1に記載の情報提供装置。 - 撮影装置により撮影された映像を入力する入力手段を更に有し、
前記表示制御手段は、前記入力手段で入力された映像を解析して、現実空間の座標系と表示空間の座標系との変換が対応付けられた変換情報を算出すると共に、前記特定した危険対象に付された基準位置を示すマーカの現実空間の座標系における座標を特定し、特定した座標を起点として前記危険範囲情報に対応する範囲座標を算出し、算出した範囲座標に前記変換情報を適用して前記危険範囲画像を生成する請求項1に記載の情報提供装置。 - 前記表示制御手段は、前記表示部を透過制御して前記表示部を介して前記危険対象を視認可能にすると共に、前記危険範囲画像を表示する請求項2乃至4の何れか1項に記載の情報提供装置。
- 前記表示制御手段は、前記入力手段で入力された映像に前記危険範囲画像を重畳して表示する請求項3又は4に記載の情報提供装置。
- 前記読込手段は、前記記憶部に記憶された、前記危険対象が移動する予定を示す移動予定情報を更に読み込み、
前記表示制御手段は、前記視野に前記危険対象が存在しないと判断した場合、前記読込手段で読み込まれた移動予定情報、及び前記装置位置情報、並びに、現在の時刻に基づいて、前記危険対象が当該情報提供装置に接近していると判断したときは、前記危険対象による危険を報知する画像を生成して前記表示部に表示する請求項1乃至6の何れか1項に記載の情報提供装置。 - 前記表示制御手段は、複数の危険対象について危険範囲画像を生成する場合、前記複数の危険対象の各々について危険範囲画像を生成し、生成した複数の危険範囲画像を解析して前記複数の危険対象による危険が及ばない安全地帯、或いは退避経路を特定し、特定した安全地帯、或いは退避経路を示す画像を更に生成して前記表示部に表示する請求項1乃至7の何れか1項に記載の情報提供装置。
- 前記表示制御手段は、前記危険範囲画像を平面的または立体的に生成する請求項1乃至8の何れか1項に記載の情報提供装置。
- 前記表示制御手段は、前記危険対象までの距離が予め定められた閾値以下である場合、前記危険範囲画像を生成して前記表示部に表示する請求項1乃至9の何れか1項に記載の情報提供装置。
- 表示部を有し、記憶部と通信可能に接続された情報提供装置が実行する情報提供方法であって、
前記記憶部に記憶された、危険対象の状態毎の危険な範囲を示す危険範囲情報、及び前記危険対象の位置を示す危険対象位置情報を読み込む読込工程と、
位置検出装置で検出された前記情報提供装置の位置を示す情報から算出された装置位置情報を取得する位置情報取得工程と、
方位検出装置で検出された前記情報提供装置の方位を示す情報から算出された方位情報を取得する方位情報取得工程と、
姿勢検出装置で検出された前記情報提供装置の姿勢を示す情報から算出された姿勢情報を取得する姿勢情報取得工程と、
前記位置情報取得工程で取得された装置位置情報、前記方位情報取得工程で取得された方位情報、前記姿勢情報取得工程で取得された姿勢情報、及び予め規定された前記情報提供装置の視界情報に基づいて、前記情報提供装置の視野を特定する特定工程と、
前記装置位置情報、前記方位情報、前記姿勢情報、並びに、前記読込工程で読み込まれた危険範囲情報及び危険対象位置情報に基づいて、前記視野に含まれる危険対象を特定し、特定した危険対象について危険範囲画像を生成して前記表示部に表示する表示制御工程と、
を有する情報提供方法。 - 表示部を有し、記憶部と通信可能に接続されたコンピュータを、
前記記憶部に記憶された、危険対象の状態毎の危険な範囲を示す危険範囲情報、及び前記危険対象の位置を示す危険対象位置情報を読み込む読込手段と、
位置検出装置で検出された前記コンピュータの位置を示す情報から算出された装置位置情報を取得する位置情報取得手段と、
方位検出装置で検出された前記コンピュータの方位を示す情報から算出された方位情報を取得する方位情報取得手段と、
姿勢検出装置で検出された前記コンピュータの姿勢を示す情報から算出された姿勢情報を取得する姿勢情報取得手段と、
前記位置情報取得手段で取得された装置位置情報、前記方位情報取得手段で取得された方位情報、前記姿勢情報取得手段で取得された姿勢情報、及び予め規定された前記コンピュータの視界情報に基づいて、前記コンピュータの視野を特定する特定手段と、
前記装置位置情報、前記方位情報、前記姿勢情報、並びに、前記読込手段で読み込まれた危険範囲情報及び危険対象位置情報に基づいて、前記視野に含まれる危険対象を特定し、特定した危険対象について危険範囲画像を生成して前記表示部に表示する表示制御手段と、
して機能させるプログラム。
Priority Applications (12)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011066594A JP4950348B2 (ja) | 2010-03-30 | 2011-03-24 | 情報提供装置、情報提供方法、及びプログラム |
PCT/JP2011/057769 WO2011122610A1 (ja) | 2010-03-30 | 2011-03-29 | 情報処理装置、情報処理方法及びプログラム |
MYPI2012005208A MY173983A (en) | 2010-03-30 | 2011-03-29 | Information providing apparatus, information providing method and program |
MYPI2012700448A MY183362A (en) | 2010-03-30 | 2011-03-29 | Information processing apparatus, information processing method, and program |
EP11762834.7A EP2521109B1 (en) | 2010-03-30 | 2011-03-29 | Information processing apparatus, information processing method, and program |
SG2012051835A SG182514A1 (en) | 2010-03-30 | 2011-03-29 | Information processing apparatus, information processing method, and program |
CN2011800043251A CN102667881B (zh) | 2010-03-30 | 2011-03-29 | 信息处理装置、信息处理方法以及程序 |
CN201210175275XA CN102737476B (zh) | 2010-03-30 | 2011-03-29 | 信息提供装置及信息提供方法 |
SG2013003843A SG188076A1 (en) | 2010-03-30 | 2011-03-29 | Information processing apparatus, information processing method, and program |
EP12175201.8A EP2549352B1 (en) | 2010-03-30 | 2011-03-29 | Information processing apparatus, information processing method, and program |
US13/543,234 US9001152B2 (en) | 2010-03-30 | 2012-07-06 | Information processing apparatus, information processing method, and program |
US13/542,937 US9030494B2 (en) | 2010-03-30 | 2012-07-06 | Information processing apparatus, information processing method, and program |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010079219 | 2010-03-30 | ||
JP2010079219 | 2010-03-30 | ||
JP2011066594A JP4950348B2 (ja) | 2010-03-30 | 2011-03-24 | 情報提供装置、情報提供方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011227879A true JP2011227879A (ja) | 2011-11-10 |
JP4950348B2 JP4950348B2 (ja) | 2012-06-13 |
Family
ID=45043109
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011066594A Active JP4950348B2 (ja) | 2010-03-30 | 2011-03-24 | 情報提供装置、情報提供方法、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4950348B2 (ja) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013164737A (ja) * | 2012-02-10 | 2013-08-22 | Nec Corp | 障害物アラーム表示システム、情報処理装置、障害物アラーム表示方法および障害物アラーム表示プログラム |
JP2014119786A (ja) * | 2012-12-13 | 2014-06-30 | Seiko Epson Corp | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム |
JP2014120786A (ja) * | 2012-12-13 | 2014-06-30 | Seiko Epson Corp | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
US9448407B2 (en) | 2012-12-13 | 2016-09-20 | Seiko Epson Corporation | Head-mounted display device, control method for head-mounted display device, and work supporting system |
JP2017100206A (ja) * | 2015-11-30 | 2017-06-08 | 株式会社デンソーウェーブ | ロボット安全システム |
JP2017100205A (ja) * | 2015-11-30 | 2017-06-08 | 株式会社デンソーウェーブ | バーチャルフェンス表示システム |
JP2017102242A (ja) * | 2015-12-01 | 2017-06-08 | 株式会社デンソーウェーブ | 情報表示システム |
JP2017142790A (ja) * | 2017-02-01 | 2017-08-17 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム |
JP2019002747A (ja) * | 2017-06-13 | 2019-01-10 | 株式会社ソーシャル・キャピタル・デザイン | 目的地特定システム |
JP2019109850A (ja) * | 2017-12-20 | 2019-07-04 | セイコーエプソン株式会社 | 透過型表示装置、表示制御方法、およびコンピュータープログラム |
JP2019215871A (ja) * | 2016-03-23 | 2019-12-19 | 日本電気株式会社 | 眼鏡型ウェアラブル端末及びその制御プログラム並びに通知方法 |
WO2020066475A1 (ja) * | 2018-09-26 | 2020-04-02 | コベルコ建機株式会社 | 作業機械情報表示システム |
US11218480B2 (en) | 2015-09-21 | 2022-01-04 | Payfone, Inc. | Authenticator centralization and protection based on authenticator type and authentication policy |
US11223948B2 (en) | 2015-04-15 | 2022-01-11 | Payfone, Inc. | Anonymous authentication and remote wireless token access |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001134357A (ja) * | 1991-04-08 | 2001-05-18 | Hitachi Ltd | 映像操作方法,映像探索方法,映像処理定義方法,遠隔運転監視方法、および装置またはシステム |
JP2008026185A (ja) * | 2006-07-21 | 2008-02-07 | Tepco Systems Corp | 放射線可視化システム |
WO2011080882A1 (ja) * | 2009-12-28 | 2011-07-07 | パナソニック株式会社 | 動作空間提示装置、動作空間提示方法およびプログラム |
-
2011
- 2011-03-24 JP JP2011066594A patent/JP4950348B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001134357A (ja) * | 1991-04-08 | 2001-05-18 | Hitachi Ltd | 映像操作方法,映像探索方法,映像処理定義方法,遠隔運転監視方法、および装置またはシステム |
JP2008026185A (ja) * | 2006-07-21 | 2008-02-07 | Tepco Systems Corp | 放射線可視化システム |
WO2011080882A1 (ja) * | 2009-12-28 | 2011-07-07 | パナソニック株式会社 | 動作空間提示装置、動作空間提示方法およびプログラム |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013164737A (ja) * | 2012-02-10 | 2013-08-22 | Nec Corp | 障害物アラーム表示システム、情報処理装置、障害物アラーム表示方法および障害物アラーム表示プログラム |
JP2014119786A (ja) * | 2012-12-13 | 2014-06-30 | Seiko Epson Corp | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム |
JP2014120786A (ja) * | 2012-12-13 | 2014-06-30 | Seiko Epson Corp | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
US9448407B2 (en) | 2012-12-13 | 2016-09-20 | Seiko Epson Corporation | Head-mounted display device, control method for head-mounted display device, and work supporting system |
US11223948B2 (en) | 2015-04-15 | 2022-01-11 | Payfone, Inc. | Anonymous authentication and remote wireless token access |
US11991175B2 (en) | 2015-09-21 | 2024-05-21 | Payfone, Inc. | User authentication based on device identifier further identifying software agent |
US11218480B2 (en) | 2015-09-21 | 2022-01-04 | Payfone, Inc. | Authenticator centralization and protection based on authenticator type and authentication policy |
JP2017100206A (ja) * | 2015-11-30 | 2017-06-08 | 株式会社デンソーウェーブ | ロボット安全システム |
JP2017100205A (ja) * | 2015-11-30 | 2017-06-08 | 株式会社デンソーウェーブ | バーチャルフェンス表示システム |
JP2017102242A (ja) * | 2015-12-01 | 2017-06-08 | 株式会社デンソーウェーブ | 情報表示システム |
JP2019215871A (ja) * | 2016-03-23 | 2019-12-19 | 日本電気株式会社 | 眼鏡型ウェアラブル端末及びその制御プログラム並びに通知方法 |
US11132887B2 (en) | 2016-03-23 | 2021-09-28 | Nec Corporation | Eyeglasses-type wearable terminal, control method thereof, and control program |
JP2017142790A (ja) * | 2017-02-01 | 2017-08-17 | セイコーエプソン株式会社 | 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、作業支援システム |
JP2019002747A (ja) * | 2017-06-13 | 2019-01-10 | 株式会社ソーシャル・キャピタル・デザイン | 目的地特定システム |
JP2019109850A (ja) * | 2017-12-20 | 2019-07-04 | セイコーエプソン株式会社 | 透過型表示装置、表示制御方法、およびコンピュータープログラム |
JP7003633B2 (ja) | 2017-12-20 | 2022-01-20 | セイコーエプソン株式会社 | 透過型表示装置、表示制御方法、およびコンピュータープログラム |
WO2020066475A1 (ja) * | 2018-09-26 | 2020-04-02 | コベルコ建機株式会社 | 作業機械情報表示システム |
JP2020051092A (ja) * | 2018-09-26 | 2020-04-02 | コベルコ建機株式会社 | 作業機械情報表示システム |
CN112639898A (zh) * | 2018-09-26 | 2021-04-09 | 神钢建机株式会社 | 工程机械信息显示系统 |
EP3832617A4 (en) * | 2018-09-26 | 2021-10-13 | Kobelco Construction Machinery Co., Ltd. | SYSTEM FOR DISPLAYING INFORMATION ABOUT THE OPERATION OF A MACHINE |
Also Published As
Publication number | Publication date |
---|---|
JP4950348B2 (ja) | 2012-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4950348B2 (ja) | 情報提供装置、情報提供方法、及びプログラム | |
EP2549352B1 (en) | Information processing apparatus, information processing method, and program | |
CN110458961B (zh) | 基于增强现实的系统 | |
CN115597659B (zh) | 一种变电站智能安全管控方法 | |
CN108334678B (zh) | 施工管理系统和将建筑物部件定位在安装位置处的方法 | |
EP3606861B1 (en) | Driver assistance system and a method | |
Koch et al. | Natural markers for augmented reality-based indoor navigation and facility maintenance | |
US9250073B2 (en) | Method and system for position rail trolley using RFID devices | |
CN103207383A (zh) | 基于单个移动节点对一静止节点进行二维无线定位的方法 | |
CN103310589A (zh) | 一种报警信息生成方法及装置 | |
US10890430B2 (en) | Augmented reality-based system with perimeter definition functionality | |
WO2018169467A1 (en) | A vehicle with a crane with object detecting device | |
WO2019059091A1 (ja) | 電柱管理システム | |
JP6001914B2 (ja) | 目標位置特定装置、目標位置特定システム、および目標位置特定方法 | |
JP2015162886A (ja) | 障害物監視システム及びプログラム | |
US10310080B2 (en) | Three dimensional manufacturing positioning system | |
Chang et al. | [POSTER] Road Maintenance MR System Using LRF and PDR | |
JP2020098481A (ja) | 表示システム | |
CN114895713B (zh) | 飞行器着陆方法、系统、飞行器及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110809 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20110809 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20111101 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120228 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120308 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150316 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4950348 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |