JP2018531731A5 - - Google Patents

Claims (20)

1. 少なくとも１対の立体拡張現実眼鏡を備えるポータブルデバイスに動作可能に結合されるための遠隔援助ワークステーションであって、少なくとも１つの行為を実行するために初期対応者による使用のための前記ポータブルデバイスは、現場における第１のオブジェクトを、前記現場における（ｉ）対象者及び（ｉｉ）第２のオブジェクト、のうちの少なくとも１つと関連して使用するものであり、前記遠隔援助ワークステーションは、
   前記ポータブルデバイスから起きる遠隔援助リクエストに応答して前記ポータブルデバイスと通信するための通信モジュールであって、前記遠隔援助リクエストは、前記現場において前記立体拡張現実眼鏡のカメラを介して撮影されたライブビデオストリームを少なくとも含む、通信モジュールと、
   （ａ）遠隔援助者グラフィカルユーザインターフェースをディスプレイデバイスに描画するため、及び（ｂ）遠隔援助者からの遠隔援助者入力を受信するためのユーザインターフェースモジュールであって、前記遠隔援助者グラフィカルユーザインターフェースは、
   （ｉ）前記遠隔援助リクエストの前記ライブビデオストリームを表示するための３Ｄペインを含む、第１のペインと、
   （ｉｉ）前記現場における前記第１のオブジェクトの２Ｄ表現を表示するための２Ｄペインを含む、第２のペインであって、描画された前記２Ｄ表現は、１つ又は複数の遠隔援助者入力に応答して前記第２のペイン内で移動可能であり、前記遠隔援助者グラフィカルユーザインターフェースは更に、前記第１のペイン内に、前記第２のペイン内の前記現場における前記第１のオブジェクトの描画された前記２Ｄ表現に対応する、３Ｄ仮想コンテンツのアイテムを、前記第１のペイン内の少なくとも基準ポイントに対して相対的に描画するためのものであり、前記基準ポイントは、前記ライブビデオストリームのコンテンツに基づく、第２のペインと、
   を少なくとも含む、ユーザインターフェースモジュールと、
   前記初期対応者が、前記現場における前記対象者又は前記第２のオブジェクトに関連して、前記第１のオブジェクトを使用して前記少なくとも１つの行為を実行するのを援助するために、前記第２のペイン内で前記現場における前記第１のオブジェクトの描画された前記２Ｄ表現を移動させる前記１つ又は複数の遠隔援助者入力に応答して、前記３Ｄ仮想コンテンツのアイテムは、前記ライブビュー内の前記基準ポイントに対して正しい場所に現れるように、前記立体拡張現実眼鏡のカメラによって撮影された前記現場のライブビュー内の前記初期対応者に対して、前記３Ｄ仮想コンテンツのアイテムを前記立体拡張現実眼鏡に表示するために、前記ポータブルデバイスに前記通信モジュールを介して出力される１つ又は複数の遠隔援助信号を生成するためのコントローラと、
   を備える、遠隔援助ワークステーション。
2. 前記ポータブルデバイスは、自動体外式除細動器（ＡＥＤ）、心肺蘇生（ＣＰＲ）メトロノーム、及び心電図（ＥＣＧ）モニタ、のうちの少なくとも１つを含むポータブル医療デバイスを備え、前記現場における前記第１のオブジェクトは、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）前記ポータブルデバイスの少なくとも１つのアイテム、のうちの１つ又は複数を備える、請求項１に記載の遠隔援助ワークステーション。
3. 更に、前記３Ｄ仮想コンテンツのアイテムは、（ｉ）前記初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）前記ポータブルデバイスの少なくとも１つのアイテム、のうちの少なくとも１つを表す仮想表現輪郭を備える、請求項２に記載の遠隔援助ワークステーション。
4. 前記第１のペイン内に、少なくとも前記遠隔援助リクエストの前記ライブビデオストリームを描画するために動作可能である、ビデオ描画モジュールと、
   前記第２のペイン内に、少なくとも（ｉ）前記現場における前記対象者又は前記第２のオブジェクトの２Ｄ表現、及び（ｉｉ）前記現場における前記第１のオブジェクトの２Ｄ表現を描画するために動作可能である、２Ｄ図像ビュー描画モジュールと、
   前記第１のペインに表示された前記遠隔援助リクエストの前記ライブビデオストリームの前記コンテンツ内の前記基準ポイントを確立するために動作可能である、基準ポイントモジュールと、
   前記遠隔援助リクエストの前記ライブビデオストリームのための前記基準ポイントに少なくとも基づいて、前記第１のペイン内にＸＹ座標系を確立するために動作可能である、ＸＹ座標モジュールと、
   のうちの１つ又は複数を更に備える、請求項１に記載の遠隔援助ワークステーション。
5. 前記基準ポイントは、（ｉ）前記ライブビデオストリーム中の前記対象者の画像に適用された顔認識アルゴリズムを介して判定された前記対象者の顔、及び（ｉｉ）前記第１のペインに描画された前記ライブビデオストリームの前記コンテンツ内の遠隔援助者選択基準ポイント、のうちの少なくとも１つを備える、請求項４に記載の遠隔援助ワークステーション。
6. 更に、前記遠隔援助者選択基準ポイントは、（ｉ）前記現場における前記対象者又は第２のオブジェクト上の基準ポイント、（ｉｉ）前記ポータブルデバイス上の基準ポイント、及び（ｉｉｉ）前記第１のオブジェクト上の基準ポイント、のうちの少なくとも１つを備える、請求項５に記載の遠隔援助ワークステーション。
7. 前記遠隔援助者選択基準ポイントは垂直方向を更に備え、前記垂直方向は、前記第２のペインのビューを、前記ビューの前記垂直方向が前記現場における前記対象者又は前記第２のオブジェクトの中央軸に対応するように前記ビューを回転させることにより修正することによって選択される、請求項６に記載の遠隔援助ワークステーション。
8. 前記１つ又は複数の遠隔援助信号は更に、前記遠隔援助者グラフィカルユーザインターフェースの前記第１のペインに表示された前記ライブビデオストリームにおいて前記遠隔援助者がＸＹ座標を選択することを含む少なくとも１つの遠隔援助者入力に応答して、前記カメラによって撮影された前記現場の前記ライブビュー内の前記初期対応者に対して、前記立体拡張現実眼鏡に少なくとも１つのハイライトを表示し、更に、前記少なくとも１つのハイライトは、前記初期対応者によって見られる前記立体拡張現実眼鏡における合致するＸＹ座標に表示される、請求項４に記載の遠隔援助ワークステーション。
9. 更に、前記第２のペインは、前記現場における前記対象者又は第２のオブジェクトに関連して実行されるべき複数の種類の行為各々のための少なくとも１つのタブを含み、前記遠隔援助者が、前記遠隔援助者グラフィカルユーザインターフェースを介して、前記第２のペイン内の所与のタブを選択することに応じて、前記２Ｄ図像ビュー描画モジュールは、前記第２のペイン内に、対応する所与の種類の行為に関して前記遠隔援助者による使用のために利用可能な前記所与のタブに関連付けられた前記第１のオブジェクトの１つ又は複数の２Ｄ表現を描画する、請求項４に記載の遠隔援助ワークステーション。
10. 前記ポータブルデバイスは、自動体外式除細動器（ＡＥＤ）、心肺蘇生（ＣＰＲ）メトロノーム、及び心電図（ＥＣＧ）モニタ、のうちの少なくとも１つを含むポータブル医療デバイスを備え、更に、前記第１のオブジェクトの前記１つ又は複数の２Ｄ表現は、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）前記ポータブルデバイスの少なくとも１つのアイテム、のうちの１つ又は複数に対応する、請求項９に記載の遠隔援助ワークステーション。
11. 前記ポータブルデバイスの前記少なくとも１つのアイテムの１つ又は複数の２Ｄ表現は、ＡＥＤパッド配置、ＣＰＲ圧迫配置、及びＥＣＧセンサ配置からなる群から選択される少なくとも１つのものを更に表す、請求項１０に記載の遠隔援助ワークステーション。
12. 前記ディスプレイデバイスを更に備え、前記ディスプレイデバイスは、前記遠隔援助者入力を受信するためのタッチスクリーンデバイスを含む、請求項１に記載の遠隔援助ワークステーション。
13. 遠隔援助ワークステーション及びポータブルデバイスを介して遠隔援助を提供するための方法であって、前記ポータブルデバイスは、少なくとも１対の立体拡張現実眼鏡を備え、少なくとも１つの行為を実行するために初期対応者による使用のための前記ポータブルデバイスは、現場における第１のオブジェクトを、前記現場における（ｉ）対象者及び（ｉｉ）第２のオブジェクト、のうちの少なくとも１つと関連して使用するものであり、前記方法は、
    前記ポータブルデバイスから起きる遠隔援助リクエストに応答して、通信モジュールを介して前記遠隔援助ワークステーションを前記ポータブルデバイスに動作可能に結合するステップであって、前記遠隔援助リクエストは、前記現場において前記立体拡張現実眼鏡のカメラを介して撮影されたライブビデオストリームを少なくとも含む、ステップと、
    ユーザインターフェースモジュールを介して、遠隔援助者グラフィカルユーザインターフェースをディスプレイデバイスに描画し、及び遠隔援助者からの遠隔援助者入力を受信するステップであって、前記遠隔援助者グラフィカルユーザインターフェースは、
    （ｉ）前記遠隔援助リクエストの前記ライブビデオストリームを表示するための３Ｄペインを含む、第１のペインと、
    （ｉｉ）前記現場における前記第１のオブジェクトの２Ｄ表現を表示するための２Ｄペインを含む、第２のペインであって、描画された前記２Ｄ表現は、１つ又は複数の遠隔援助者入力に応答して前記第２のペイン内で移動可能であり、前記遠隔援助者グラフィカルユーザインターフェースは更に、前記第１のペイン内に、前記第２のペイン内の前記現場における前記第１のオブジェクトの描画された前記２Ｄ表現に対応する、３Ｄ仮想コンテンツのアイテムを、前記第１のペイン内の少なくとも基準ポイントに対して相対的に描画し、前記基準ポイントは、前記ライブビデオストリームのコンテンツに基づく、第２のペインと、
    を少なくとも含む、ステップと、
    前記初期対応者が、前記現場における前記対象者又は前記第２のオブジェクトに関連して、前記少なくとも１つの行為を実行するのを援助するために、前記第２のペイン内で前記現場における前記第１のオブジェクトの描画された前記２Ｄ表現を移動させる前記１つ又は複数の遠隔援助者入力に応答して、前記３Ｄ仮想コンテンツのアイテムは、前記ライブビュー内の前記基準ポイントに対して正しい場所に現れるように、前記立体拡張現実眼鏡のカメラによって撮影された前記現場のライブビュー内の前記初期対応者に対して、前記３Ｄ仮想コンテンツのアイテムを前記立体拡張現実眼鏡に表示するために、前記ポータブルデバイスに前記通信モジュールを介して出力される１つ又は複数の遠隔援助信号を、コントローラを介して生成するステップと、
    を有する、方法。
14. 前記ポータブルデバイスは、自動体外式除細動器（ＡＥＤ）、心肺蘇生（ＣＰＲ）メトロノーム、及び心電図（ＥＣＧ）モニタ、のうちの少なくとも１つを含むポータブル医療デバイスを備え、前記現場における前記第１のオブジェクトは、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）前記ポータブルデバイスの少なくとも１つのアイテム、のうちの１つ又は複数を備える、請求項１３に記載の方法。
15. 更に、前記３Ｄ仮想コンテンツのアイテムは、（ｉ）前記初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）前記ポータブルデバイスの前記少なくとも１つのアイテム、のうちの少なくとも１つを表す仮想表現輪郭を備える、請求項１４に記載の方法。
16. 前記コントローラを介して前記生成するステップは、前記遠隔援助者グラフィカルユーザインターフェースの前記第１のペインに表示された前記ライブビデオストリームにおいて前記遠隔援助者がＸＹ座標を選択することを含む少なくとも１つの遠隔援助者入力に応答して、前記カメラによって撮影された前記現場の前記ライブビュー内の前記初期対応者に対して、前記立体拡張現実眼鏡に少なくとも１つのハイライトを表示するための１つ又は複数の遠隔援助信号を生成するステップを更に含み、更に、前記少なくとも１つのハイライトは、前記初期対応者によって見られる前記立体拡張現実眼鏡における合致するＸＹ座標に表示される、請求項１３に記載の方法。
17. 前記基準ポイントは、
    （ｉ）前記第１のペインに描画された前記ライブビデオストリーム中の前記対象者の画像に適用された顔認識アルゴリズムを介して判定された前記対象者の顔の基準ポイント、及び
    （ｉｉ）前記第１のペインに描画された前記ライブビデオストリームの前記コンテンツ内の遠隔援助者選択基準ポイント、
    からなる群から選択されるものを備える、請求項１３に記載の方法。
18. 更に、前記遠隔援助者選択基準ポイントは、（ｉ）前記現場における前記対象者又は第２のオブジェクト上の基準ポイント、（ｉｉ）前記ポータブルデバイス上の基準ポイント、及び（ｉｉｉ）前記第１のオブジェクト上の基準ポイント、のうちの少なくとも１つを備え、前記遠隔援助者選択基準ポイントを選択することは、前記第２のペインのビューを、前記ビューの垂直方向が前記現場における前記対象者又は前記第２のオブジェクトの中央軸に対応するように前記ビューを回転させることによって修正することを更に含む、請求項１７に記載の方法。
19. プロセッサによって実行されたときに、請求項１３に記載の方法を前記プロセッサに実行させる命令が具現化された、非一時的コンピュータ読み取り可能媒体。
20. 請求項１に記載の遠隔援助ワークステーションと、
    ポータブルデバイスであって、少なくとも１対の立体拡張現実眼鏡を備え、前記現場における前記第１のオブジェクトは、（ｉ）初期対応者の片手若しくは両手又は他の初期対応者の身体の部位、及び（ｉｉ）少なくとも１つのアイテム、のうちの１つ又は複数を備え、更に、前記ポータブルデバイスは、現場における対象者及び第２のオブジェクトのうちの少なくとも１つに関連して、少なくとも１つの行為を実行するために、初期対応者によって使用されるものであり、前記ポータブルデバイスは、前記遠隔援助ワークステーションと通信するための通信モジュールを更に備え、前記少なくとも１つのアイテムは、前記現場における前記対象者又は第２のオブジェクトに対して前記少なくとも１つの行為を実行することに関連して前記初期対応者によって使用される少なくとも１つのワークピースを備え、前記初期対応者によって着用される前記少なくとも１対の立体拡張現実眼鏡は、前記現場における前記対象者又は第２のオブジェクトのリアルタイム画像を撮影するためのカメラを含む、ポータブルデバイスと、
    を備える、遠隔援助システム。