JP2020509272A - 材料移動機械のための拡張現実ディスプレイ - Google Patents

Abstract

器具と、カメラと、拡張ディスプレイと、画像生成器を含むコントローラとを含む、材料移動機械。上記コントローラは：地形の地下特徴の３次元モデルを保存し；上記器具及び上記地形を含む器具画像をキャプチャし；上記画像生成器を通して、上記器具画像の対応する部分と、地下特徴の上記３次元モデルとを重畳することによって、重畳画像を生成し；上記器具の上記位置に基づいて、仮想トレンチを生成し；上記仮想トレンチと、上記器具画像と地下特徴の上記３次元モデルとの重畳部分とを含む、拡張現実オーバレイ画像を生成するために、上記仮想トレンチを上記重畳画像の上に重ね；上記画像生成器を通して、上記拡張現実オーバレイ画像を生成し；上記拡張現実オーバレイ画像を上記拡張ディスプレイ上に表示するよう、プログラムされる。

Description

関連出願の相互参照

本開示は、２０１７年３月３日出願の米国特許出願第６２／４６６，５４２号「掘削機のための拡張現実ディスプレイ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｄｉｓｐｌａｙ ｆｏｒ Ｅｘｃａｖａｔｏｒｓ）」に対する優先権を主張するものであり、上記特許出願は、参照によりその全体が本出願に援用される。

本開示は、材料移動機械に関し、またいくつかの実施形態では、材料移動器具を含む材料移動機械、例えば掘削器具を含む掘削機に関する。

本出願の範囲の定義及び説明を目的として、このような掘削機は：揺動及び縦回転を受ける掘削機ブーム及び掘削機スティックと；上記掘削機ブーム及び掘削機スティック、又は揺動及び縦回転運動を実行するための他の類似構成部品の助けを借りて、揺動及び縦回転制御を受ける掘削器具とを備える。例えば限定するものではないが、多くのタイプの掘削機は、油圧又は空気圧又は電気制御型掘削器具を備え、これは、上記掘削機の掘削用リンケージ組立体の揺動及び縦回転機能を制御することによって操作できる。掘削機技術は例えば：Ｃａｔｅｒｐｉｌｌａｒ Ｔｒｉｍｂｌｅ Ｃｏｎｔｒｏｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＬＬＣに譲渡され、掘削機のセンサベース自動制御のための方法論を開示している、特許文献１；Ｃａｔｅｒｐｉｌｌａｒ Ｔｒｉｍｂｌｅ Ｃｏｎｔｒｏｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＬＬＣに譲渡され、掘削機バケットの切削縁部を極めて高い垂直方向精度でガイドするよう構成された掘削機３Ｄレーザシステム及び無線測位誘導システムを開示している、特許文献２；並びにＣａｔｅｒｐｉｌｌａｒ Ｔｒｉｍｂｌｅ Ｃｏｎｔｒｏｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＬＬＣに譲渡され、傾斜した場所に載置された掘削機の配向を決定するための掘削機制御システムに関する方法論を開示している、特許文献３に、十分に描写されている。

米国特許第８，６８９，４７１号明細書 米国公開特許第２００８／００４７１７０号明細書 米国公開特許第２００８／００００１１１号明細書

本開示の主題によると、掘削機は、機械シャーシ、掘削用リンケージ組立体、掘削器具、カメラ、ディスプレイ、及び誘導用構造を備え、上記掘削用リンケージ組立体は掘削機ブーム及び掘削機スティックを備え、これらは合わせて、複数のリンケージ組立体位置を画定する。上記掘削用リンケージ組立体は、上記機械シャーシと共に、又は上記機械シャーシに対して、揺動するよう構成される。上記掘削機スティックは、上記掘削機ブームに対して縦回転するよう構成される。上記掘削器具は、上記掘削機スティックに機械的に連結される。上記カメラは、上記カメラの視野が、上記掘削器具及び地形のビューを包含するように、上記掘削機上に位置決めされる。上記誘導用構造は：１つ以上の力学センサ；上記掘削用リンケージ組立体を、上記複数のリンケージ組立体位置を通して作動させるよう構成された、１つ以上のリンケージ組立体アクチュエータ；及び構造コントローラを備える。

本開示の実施形態によると、上記構造コントローラは：上記カメラから、上記地形に対する上記掘削器具を含むカメラ画像を生成し；上記掘削器具の前縁部上に配置されるよう構成された、仮想器具バーを生成し；上記掘削器具の位置に少なくとも部分的に基づいて、上記地形の一部として配置されるよう構成される、設計表面の仮想標的バーを生成し；上記仮想器具バー及び上記仮想標的バーを上記カメラ画像の上に重ねて、拡張現実オーバレイ画像を生成し；上記拡張現実オーバレイ画像を上記ディスプレイ上に表示するよう、プログラムされる。

本開示の他の実施形態によると、上記構造コントローラは：上記カメラから、上記地形に対する上記掘削器具を含むカメラ画像を生成し；上記掘削器具の位置に少なくとも部分的に基づいて、上記地形の一部として配置されるよう構成される仮想トレンチを生成し；上記仮想トレンチを上記カメラ画像の上に重畳し、拡張現実オーバレイ画像を生成し；上記拡張現実オーバレイ画像を上記ディスプレイ上に表示するよう、プログラムされる。

本開示の更に他の実施形態によると、上記構造コントローラは：上記地形の地下特徴の幾何学データを保存し；上記カメラから、上記地形に対する上記掘削器具を含むカメラ画像を生成し；上記掘削器具の位置の、重畳された部分に少なくとも部分的に基づいて、上記地形の一部として配置されるよう構成される仮想トレンチを生成するよう、プログラムされる。上記構造コントローラは更に：上記カメラ画像上への上記仮想トレンチの重畳画像を生成し；上記仮想トレンチ内の上記地下特徴を、上記重畳画像の上に重ねて、拡張現実オーバレイ画像を生成し；上記拡張現実オーバレイ画像を上記ディスプレイ上に表示するよう、プログラムされる。

本開示の実施形態によると、本明細書で図示及び説明されているような掘削機の操作方法は、本開示の範囲内である。

本開示の主題によると、材料移動機械は：材料移動器具；上記材料移動機械の上に位置決めされ、上記材料移動器具と、上記材料移動器具の作業領域内の地形とを包含する視野を備える、カメラ；拡張ディスプレイ；並びに上記材料移動器具の位置を表す位置信号を生成するよう構成された１つ以上の力学センサと、上記拡張ディスプレイに通信可能に連結されたメモリ及び画像生成器を備える構造コントローラとを備える、制御構造を備える。上記構造コントローラは：上記メモリに、上記地形の地下特徴の３次元モデルを保存し；上記カメラによって、上記材料移動器具と、上記材料移動器具の上記作業領域内の地形とを含む器具画像をキャプチャし；上記画像生成器を通して、上記器具画像の対応する部分と、地下特徴の上記３次元モデルとを重畳することによって、重畳画像を生成し；上記材料移動器具の上記位置に基づいて、仮想トレンチを生成し；上記仮想トレンチと、上記器具画像と地下特徴の上記３次元モデルとの重畳部分とを含む、拡張現実オーバレイ画像を生成するために、上記仮想トレンチを上記重畳画像の上に重ね；上記画像生成器を通して、上記拡張現実オーバレイ画像を生成し；上記拡張現実オーバレイ画像を上記拡張ディスプレイ上に表示するよう、プログラムされる。

本開示の他のある実施形態によると、掘削機は：機械シャーシ；掘削器具；掘削機ブーム及び掘削機スティックを備える、掘削用リンケージ組立体であって、上記掘削機ブーム及び上記掘削機スティックは合わせて、複数のリンケージ組立体位置を画定し、上記掘削用リンケージ組立体は、上記機械シャーシと共に、又は上記機械シャーシに対して、揺動するよう構成され、上記掘削機スティックは、上記掘削機ブームに対して縦回転するよう構成され、上記掘削器具は、上記掘削機スティックに機械的に連結される、掘削用リンケージ組立体；上記掘削機上に位置決めされ、上記掘削器具と、上記掘削器具の上記作業領域内の地形とを包含する視野を備える、カメラ；並びに制御構造であって、上記掘削器具の位置を表す位置信号を生成するよう構成された１つ以上の力学センサと、上記掘削用リンケージ組立体を、上記複数のリンケージ組立体位置を通して作動させるよう構成された、１つ以上のリンケージ組立体アクチュエータと、上記拡張ディスプレイに通信可能に連結されたメモリ及び画像生成器を備える構造コントローラとを備える、制御構造を備える。上記構造コントローラは：上記メモリに、上記地形の地下特徴の３次元モデルを保存し；上記カメラによって、上記掘削器具と、上記掘削器具の上記作業領域内の地形とを含む器具画像をキャプチャし；上記画像生成器を通して、上記器具画像の対応する部分と、地下特徴の上記３次元モデルとを重畳することによって、重畳画像を生成し；上記切削器具の器具前縁部の、上記器具前縁部の下に配置された上記地形の長手方向に配置された表面部分に関する位置に基づいて、仮想トレンチを生成し；上記画像生成器を通して、上記仮想トレンチと、上記器具画像と地下特徴の上記３次元モデルとの重畳部分とを含む、拡張現実オーバレイ画像を生成するために、上記仮想トレンチを上記重畳画像の上に重ねるよう、プログラムされる。仮想器具バーは、上記材料移動器具の器具前縁部に重畳され、仮想標的バーは、上記地形の長手方向に配置された表面部分に重畳される。上記構造コントローラは更に：上記地形上の上記仮想標的バーに対する上記仮想器具バーの位置に基づいて、上記仮想トレンチを調整し；上記拡張現実オーバレイ画像を上記拡張ディスプレイ上に表示するよう、プログラムされる。

本開示の別の実施形態によると、拡張ディスプレイを利用する材料移動機械を動作させる方法は：上記材料移動機械を地形上に配置するステップであって、上記材料移動機械は、材料移動器具、カメラ、上記拡張ディスプレイ、及び制御構造を備える、ステップを含む。上記カメラは上記掘削機上に位置決めされ、上記材料移動器具と、上記材料移動器具の作業領域内の地形とを包含する視野を備え、また上記制御構造は：上記材料移動器具の位置を表す位置信号を生成するよう構成された１つ以上の力学センサ；メモリ；及び上記拡張ディスプレイに通信可能に連結された画像生成器を備える。上記方法は更に：上記メモリに、上記地形の地下特徴の３次元モデルを保存するステップ；上記カメラによって、上記材料移動器具と、上記材料移動器具の上記作業領域内の地形とを含む器具画像をキャプチャするステップ；上記画像生成器を通して、上記器具画像の対応する部分と、地下特徴の上記３次元モデルとを重畳することによって、重畳画像を生成するステップ；上記材料移動器具の上記位置に基づいて、仮想トレンチを生成するステップ；上記仮想トレンチと、上記器具画像と地下特徴の上記３次元モデルとの重畳部分とを含む、拡張現実オーバレイ画像を生成するために、上記仮想トレンチを上記重畳画像の上に重ねるステップ；上記画像生成器を通して、上記拡張現実オーバレイ画像を生成するステップ；上記拡張現実オーバレイ画像を上記拡張ディスプレイ上に表示するするステップ；及び上記制御構造を利用して上記材料移動機械を動作させ、上記拡張現実オーバレイ画像に基づいて、上記材料移動器具を上記地形に対して移動させるステップを含む。

本明細書では、材料移動機械として図１に図示された掘削機を主に参照して、本開示の概念を説明するが、上記概念は、特定の機械的構成にかかわらず、いずれのタイプの材料移動機械に対する適用可能性を享受すると考えられる。例えば限定するものではないが、上記概念は、バックホウリンケージを含むバックホウローダーへの適用可能性も享受し得る。

本開示の具体的な実施形態に関する以下の詳細な説明は、以下の図面と併せて読むと最もよく理解できる。以下の図面では、類似の構造は類似の参照番号で示される。

本開示の態様を組み込んだ掘削機 本開示の態様を組み込んだ、仮想トレンチに対してある位置にある、図１の掘削機の掘削器具の概略表示図 本開示の態様を組み込んだ、仮想器具バー及び設計表面の仮想標的バーに対してある位置にある、図１の掘削機の掘削器具の概略表示図 本開示の態様を組み込んだ、仮想トレンチ及び地下特徴に対して第１の位置にある、図１の掘削機の掘削器具の概略表示図 本開示の態様を組み込んだ、仮想トレンチ及び地下特徴に対して第２の位置にある、図１の掘削機の掘削器具の概略表示図 本開示の態様を組み込んだ、仮想トレンチ及び地下特徴に対して第３の位置にある、図１の掘削機の掘削器具の概略表示図 本開示の態様による、拡張現実オーバレイ画像を表示するために図１の掘削機の誘導用構造によって実装できるプロセスを示す、フローチャート 本開示の態様による、拡張現実オーバレイ画像をディスプレイに表示するために図１の掘削機の誘導用構造によって実装できる別のプロセスを示す、フローチャート

本開示は、材料移動動作を伴うもの等の材料移動タスクを実行するために構成された、材料移動機械に関する。本開示の目的のために、材料移動機械は材料移動器具を備え、上記材料移動器具を用いて材料を掘削する、分配する、平滑化する、又はその他の様式で移動させるよう設計される。このような機械の例としては、限定するものではないが、掘削機、バックホウローダー、ドーザー、舗装機、モータグレーダー、ローダー、トレンチャー、スクレイパー、ドリル、クラッシャー、ドラグライン、又は材料を移動させるための器具を含むいずれのタイプの機械が挙げられる。考えられる材料としては、限定するものではないが：土壌又は他の地表材料；採掘された材料を含む地下材料；並びに例えば基板材料及び舗装材料を含む建築骨材が挙げられる。

より詳細には、材料移動機械は、適応制御を受ける構成要素を含む掘削機であってよい。例えば限定するものではないが、多くのタイプの掘削機は、典型的には、機械のオペレータ制御ステーションにおいてジョイスティック又は他の手段で操作できる、油圧制御型材料移動器具を有し、これもまた部分的に又は完全に自動化された適応制御を受ける。機械のユーザは、器具の持ち上げ、傾斜、角度、及びピッチを制御してよい。更に、機械の適応環境センサが感知又は受信した情報に基づいて、これらの変数のうちの１つ以上に、部分的に又は完全に自動化された適応制御を行うこともできる。

本明細書に記載の実施形態では、掘削機は、仮想器具バー、設計表面の仮想標的バー、及び／又は仮想トレンチを含む拡張現実オーバレイ画像を表示するよう構成された、ディスプレイを備える。実施形態では、仮想トレンチは地下特徴を含む。他の実施形態では、仮想トレンチは地下特徴を含まなくてよい。仮想トレンチは、掘削器具の位置に基づいて自動的に、調整可能に位置決めされる。例えば掘削器具の位置は、以下で更に詳細に説明するように、掘削機のカメラによってキャプチャされ、及び／又は１つ以上の力学センサからの信号によって決定される。あるいは、又は更に、仮想トレンチは、掘削機の回転に基づいて自動的に、調整可能に位置決めされる。このような拡張現実オーバレイ画像は、掘削機を動作させるために、掘削機コントロール及び／又は掘削機オペレータによって使用され得る。例えば、掘削機オペレータの現実世界のカメラビューに関して、物理的な地形の画像を仮想データによって拡張して、掘削機オペレータに、以下で更に詳細に説明される拡張現実オーバラップ画像としての拡張現実カメラビューを、提示する。

実施形態では、仮想トレンチは、掘られることになる実際の溝を表すことを意図したものであってよい。他の実施形態では、仮想トレンチは、掘られることになる実際の溝を表すことを意図したものでなくてよく、オペレータによる掘削器具のサイズ及び位置の理解を利用することによって直感的な深さの知覚が可能となるような様式で、設計表面を含む表面特徴を可視化することを意図したものであってよい。よって、仮想トレンチは、掘削器具が現在の位置から設計表面へと垂直に掘り下げを行い、続いて設計表面に沿って掘削機に向かって引き込まれた場合に、掘られることになるトレンチを表すものであってよい。いくつかの実施形態では、仮想トレンチは、掘削器具の器具前縁部と同一の幅を有し、器具前縁部が掘削機の中央に向かう方向に配向された状態で配置される。更に、掘削器具がオペレータに向かって若しくはオペレータから離れる方向に移動する際、及び／又は掘削機が回転する（即ち旋回する）際、仮想トレンチは、以下で更に詳細に説明するように、調整可能に移動する。

実施形態では、仮想トレンチの生成は、地形表面上の仮想トレンチの頂部を表す線を位置決め及び表示するための、地形表面位置に少なくとも部分的に基づき、上記地形表面位置は推定してもよく、又は測定してもよい。例えば、掘削機のロール又はピッチを投影することによって、掘削機の前方に平面を形成し、地形表面位置として利用してよい。更に、又はあるいは、このような地形表面位置データのために、ＬＩＤＡＲ、ＲＡＤＡＲ、又は写真測量ベースのスキャナといった表面スキャナを使用してよい。更に、ＧＮＳＳベースの車両マッピングを用いて、材料移動機械が当該場所周辺を移動する際に地形表面を測定してよく（トラックマッピングとしても公知）、地形表面を、器具の移動を測定することによって推定してよく、並びに／又は手動調査及び空中調査からの地形データのうちの少なくとも１つを使用してよく、これは、掘削機の誘導用構造に転送されて保存される。

まず図１を参照すると、掘削機１００は、機械シャーシ１０２、掘削用リンケージ組立体１０４、掘削器具１１４、カメラ１２４、ディスプレイ１２５、及び誘導用構造１０６を備える。実施形態では、誘導用構造は、レバー及び／若しくはリンケージの手動制御によるオペレータのアクションに応答する、並びに／又は掘削機１００のコントローラによる自動アクションに応答する、制御機構を備える。掘削用リンケージ組立体１０４は、掘削機ブーム１０８及び掘削機スティック１１０を備え、これらは合わせて、複数のリンケージ組立体位置を画定する。カメラ１２４は、カメラ１２４の視野が掘削器具１１４及び地形１２６のビューを包含するように、掘削機１００上に位置決めされる。

実施形態では、掘削機１００は、ブーム力学センサ１２０、スティック力学センサ１２２、器具力学センサ１２３、又はこれらの組み合わせを備える。ブーム力学センサ１２０は掘削機ブーム１０８上に位置決めされ、スティック力学センサ１２２は掘削機スティック１１０に位置決めされ、器具力学センサ１２３は掘削器具１１４に位置決めされる。力学センサ１２０、１２２、１２３は、全地球航法衛星システム（ＧＮＳＳ）レシーバ、全地球測位システム（ＧＰＳ）レシーバ、ユニバーサルトータルステーション（ＵＴＳ）及び機械標的、慣性測位ユニット（ＩＭＵ）、傾斜計、加速度計、ジャイロスコープ、角速度センサ、回転位置センサ、位置感知シリンダ、若しくはこれらの組み合わせ、又は掘削機１００等の材料移動機械の構成部品の動作特性を示す信号を提供するいずれのセンサ若しくはセンサの組み合わせを含んでよい。例えば力学センサ１２０、１２２、１２３は、３軸加速度計及び３軸ジャイロスコープを備えたＩＭＵを含んでよい。力学センサ１２０、１２２、１２３は、ｘ軸、ｙ軸及びｚ軸加速度値を含んでよい。

掘削用リンケージ組立体１０４は、リンケージ組立体機首方向

を画定して、掘削機１００の揺動軸Ｓの周りで、機械シャーシ１０２と共に又は機械シャーシ１０２に対して揺動するよう構成できる。掘削機スティック１１０は、掘削機ブーム１０８に対して縦回転するよう構成される。例えば掘削機スティック１１０は、掘削機１００の縦回転軸Ｃの周りで、掘削機ブーム１０８に対して縦回転するよう構成してよい。図１に示されている掘削機１００の掘削機ブーム１０８及び掘削機スティック１１０は、単純な機械的連結器でリンクされ、上記機械的連結器は、掘削機ブーム１０８に対する掘削機スティック１１０の１回転自由度での運動を可能とする。これらのタイプの掘削機では、リンケージ組立体機首方向

は、掘削機ブーム１０８の機首方向に対応する。しかしながら本開示は、複数のオフセットブームを備えた掘削機の使用も考慮し、この場合掘削機ブーム１０８及び掘削機スティック１１０は、２以上の回転自由度での運動を可能とする多方向連結器によってリンクされる。例えば米国特許第７，８６９，９２３号明細書（「旋回コントローラ、旋回制御方法、及び建設機械（Ｓｌｅｗｉｎｇ Ｃｏｎｔｒｏｌｌｅｒ、Ｓｌｅｗｉｎｇ Ｃｏｎｔｒｏｌ Ｍｅｔｈｏｄ， ａｎｄ Ｃｏｎｓｔｒｕｃｔｉｏｎ Ｍａｃｈｉｎｅ）」）に例示されている掘削機を参照。オフセットブームを備えた掘削機の場合、リンケージ組立体機首方向

は、掘削機スティック１１０の機首方向に対応することになる。

掘削器具１１４は、掘削機スティック１１０に機械的に連結される。例えば図１を参照すると、掘削器具１１４は、器具連結器１１２によって、掘削機スティック１１０に機械的に連結される。掘削器具１１４は、器具連結器１１２を介して掘削機スティック１１０に機械的に連結してよく、回転軸Ｒの周りで回転するよう構成してよい。ある実施形態では、回転軸Ｒは、掘削機スティック１１０と回転掘削器具１１４とを接合する器具連結器１１２によって画定できる。ある代替実施形態では、回転軸Ｒは、掘削機ブーム１０８と掘削機スティック１１０とを平面Ｐに沿って接合する多方向スティック連結器によって画定でき、これにより、掘削機スティック１１０が回転軸Ｒの周りで回転するよう構成される。スティック連結器によって画定された回転軸Ｒの周りで掘削機スティック１１０が回転することにより、掘削機スティック１１０に連結された回転掘削器具１１４の、スティック連結器によって画定された回転軸Ｒの周りでの対応する回転を得ることができる。

誘導用構造１０６は、１つ以上の力学センサ、１つ以上のリンケージ組立体アクチュエータ、及び図５Ａの制御スキーム１９０又は図５Ｂの制御スキーム２００（これらはそれぞれ以下で更に詳細に説明される）等の制御スキームのステップを実行するようプログラムされた構造コントローラを備える。誘導用構造１０６は、機械可読命令を含む、メモリ等の非一時的コンピュータ可読記憶媒体を備えてよい。誘導用構造１０６はまた、上記非一時的コンピュータ可読記憶媒体に通信可能に連結され、上記機械可読命令を実行するよう構成された、プロセッサを備えてよい。１つ以上のリンケージ組立体アクチュエータは、掘削用リンケージ組立体１０４の移動を促進する。１つ以上のリンケージ組立体アクチュエータは、油圧シリンダアクチュエータ、空気圧シリンダアクチュエータ、電気アクチュエータ、機械アクチュエータ、又はこれらの組み合わせを含む。

実施形態では、図２Ａ、及び図５Ａの制御スキーム１９０を参照すると、構造コントローラは、ステップ１９２において、器具画像１３０をカメラ１２４から生成するようプログラムされる。限定としてではなく一例として、構造コントローラは、器具画像をキャプチャ画像１３０としてキャプチャするようプログラムされ、上記器具画像は、掘削器具１１４と、掘削器具１１４の作業領域内の地形とを含む。器具画像１３０は、地形１２６に対する掘削器具１１４を含む。構造コントローラは更に、ステップ１９４において、掘削器具１１４の位置に少なくとも部分的に基づいて、地形１２６の一部として配置されるよう構成される仮想トレンチ１３２を生成するようプログラムされる。実施形態では、構造コントローラは、以下で更に詳細に説明するように、１つ以上の力学センサ１２０、１２２、１２３から、掘削器具１１４の位置及び／又は配向、並びに地形１２６に対する間隔を示す信号を生成してよい。構造コントローラは更に、ステップ１９６において、拡張現実オーバレイ画像１３４を生成するために、器具画像１３０の上に重畳された仮想トレンチ１３２の画像を生成するよう、及びステップ１９８において、拡張現実オーバレイ画像１３４をディスプレイ１２５上に表示するよう、プログラムされる。非限定的な例として、図２Ａは、地下特徴を伴わない仮想トレンチ１３２を含む拡張現実オーバレイ画像１３４のビューを示す。他の実施形態では、図２Ｃに示すように、拡張現実オーバレイ画像１３４Ａのビューは、地下特徴と共に示されてよい。構造コントローラは更に、仮想トレンチ１３２内の３次元モデルの地下特徴を見せ、また仮想トレンチ１３２の外側の３次元モデルの地下特徴を隠すように、拡張現実オーバレイ画像を生成するようプログラムしてもよい。

例えば、図２Ｃ〜４を参照すると、器具画像１３０は、地形１２６に対する掘削器具１１４を含み、また拡張現実オーバレイ画像１３４Ａ、１３４Ｂ、１３４Ｃは、ディスプレイ１２５上での表示のために、パイプ１９０、１９２等の地下特徴を含む仮想トレンチ１３２を表示する。非限定的な例として、図２Ｃは、このような拡張現実オーバレイ画像１３４Ａの第１のビューを示す。

実施形態では、図２Ａ〜２Ｂに示すように、拡張現実オーバレイ画像１３４、１３４’は、地下特徴を伴わずに表示してよい。例えば図２Ｂでは、拡張現実オーバレイ画像１３４’は、仮想トレンチ１３２又は地下特徴を伴わずに表示され、その一方で、以下で更に詳細に説明される、仮想器具バー１４４、及び設計表面１５０の仮想標的バー１４６を表示している。他の実施形態では、拡張現実オーバレイ画像は、仮想トレンチ１３２の１つ以上の部分を伴いながら、仮想トレンチ１３２の他の１つ以上の部分を省略して、表示してもよい。例えば、仮想トレンチ１３２の最も近いトレンチ境界を表示から省略してよく、これにより、仮想トレンチ１３２が掘削機１００の下及びカメラ１２４のビューの外側に延在するように見える。このような拡張現実オーバレイ画像の、部分視覚化及び／又は伸長可能な視覚化、例えば地下特徴を含む仮想トレンチ１３２の、図２Ｃに示されているような第１の表示を表示してもよく、これは、図２Ａに表示されているような、地下特徴を伴わない仮想トレンチ１３２の表示へと狭めることができ、及び／又は図２Ｂに表示されているような、仮想トレンチ１３２を伴わない仮想標的バー１４６の表示へと狭めることができる。更に、又はあるいは、このような表示を伸長させて、本明細書に記載の構成部品及び特徴を追加してよく、並びに／又はディスプレイ１２５の共有スクリーンスペースに表示してよい。

図２Ｃに示すように、拡張現実オーバレイ画像１３４Ａの第１のビューを、地下特徴と共に表示してよい。図２Ｃ〜４、及び図５Ｂの制御スキーム２００を参照すると、構造コントローラは、ステップ２０２において、地形１２６の地下特徴の幾何学データを保存するようプログラムされる。あるいは、又は更に、実施形態では、地下特徴の幾何学データを、２次元及び／又は３次元幾何学情報として保存してよい。更に、追加の地下特徴情報を、２次元及び／又は３次元モデルの表示に適合していてもしていなくてもよい構造コントローラによって、保存してよい。非限定的な例として、パイプ等の地下特徴の地下特徴情報は、パイプの始点及びパイプの終点に関する２次元及び／又は３次元座標を含んでよい。更に、拡張現実オーバレイ画像１３４Ａは、上述の座標点の間に挿入されるパイプを視覚的に表すために、陰影付きの及び／又は湾曲した、押出成形円筒形特徴を含んでよい。更なる実施形態では、地下特徴の幾何学データは、地下特徴の終点若しくはコーナーの２次元及び／若しくは３次元座標、パイプ若しくはケーブル等の地下特徴の直径、並びに／又は地下特徴としての水溜めの寸法等の他の寸法を含んでよい。

図５Ｂの制御スキーム２００のステップ２０４では、構造コントローラは、器具画像１３０をカメラ１２４から生成するようプログラムされる。上述のように、器具画像１３０は、地形１２６に対する掘削器具１１４を含む。更に、ステップ２０６では、構造コントローラは、掘削器具１１４の位置に少なくとも部分的に基づいて、地形１２６の一部として配置されるよう構成される仮想トレンチ１３２を生成するようプログラムされる。例えば構造コントローラは、以下で更に詳細に説明するように、１つ以上の力学センサ１２０、１２２、１２３から、掘削器具１１４の位置及び／又は配向、並びに地形１２６に対する間隔を示す信号を生成してよい。

更に、仮想トレンチ１３２の壁の間に画定される１つ以上の壁間隔を含む、仮想トレンチ１３２の境界を決定し、これにより、構造コントローラはステップ２０８において、器具画像上に仮想トレンチ１３２の重畳画像を生成するようプログラムされる。ステップ２１０及び２１２それぞれにおいて、構造コントローラは、拡張現実オーバレイ画像１３４Ａ、１３４Ｂ、１３４Ｃを生成するために、仮想トレンチ１３２内の地下特徴の少なくとも一部分を上記重畳画像の上に重ねるよう、及び拡張現実オーバレイ画像１３４Ａ、１３４Ｂ、１３４Ｃをディスプレイ１２５上に表示するよう、プログラムされる。

実施形態では、仮想トレンチ１３２内に表示される地下特徴を、仮想トレンチ１３２によって画定される壁間隔内において、切り詰めてよい。他の実施形態では、地下特徴の、仮想トレンチ１３２の境界を越えた部分を、このような部分が、仮想トレンチ１３２によって画定されるような壁空間内に表示される切り詰められた地下特徴部分から区別されるような方法で、表示してよい。非限定的な例として、地下特徴はパイプを含んでよく、仮想トレンチ１３２の外側に表示されたパイプの部分は、仮想トレンチ１３２内に表示されたパイプの切り詰められた部分とは異なる色及び／又は陰影を含んでよい。このような視覚的な区別は、仮想トレンチ１３２内のパイプの一部分の配置と、仮想トレンチ１３２の外側に配置されたパイプの１つ以上の部分の配置とに関する、対応する位置の違いを示すことができる。

以下で更に詳細に説明するように、図２Ｃは、拡張現実オーバレイ画像１３４Ａの第１のビューを示す。更に、図３は、拡張現実オーバレイ画像１３４Ｂの第２のビューを示し、図４は、拡張現実オーバレイ画像１３４Ｃの第３のビューを示す。図２Ｃ〜４を参照すると、実施形態では、地下特徴の切り詰められた部分１２８は、仮想トレンチ１３２内に位置決めされる。仮想トレンチ１３２は、掘削器具１１４の器具前縁部１４０の下に配置された、地形１２６の長手方向に配置された表面部分１４２に対する、掘削器具１１４の器具前縁部１４０の位置及び／又は配向に、少なくとも部分的に基づくものであってよい。

拡張現実オーバレイ画像１３４Ａ、１３４Ｂ、１３４Ｃは、掘削器具１１４の器具前縁部１４０上に重畳された仮想器具バー１４４を含んでよい。拡張現実オーバレイ画像１３４Ａ、１３４Ｂ、１３４Ｃは更に、以下で更に詳細に説明するように、深さ１６３、１７３、１８３における、地形１２６の長手方向に配置された表面部分１４２から長手方向に延在する前壁１５４の最下方の水平部分に重畳された、仮想標的バー１４６を含んでよい。

設計表面１５０の仮想標的バー１４６は、例えば、地形１２６に対する仮想器具バー１４４の位置、及び／又は設計表面１５０に関連する所定の切断深さに基づいて、拡張現実オーバレイ画像１３４Ａ、１３４Ｂ、１３４Ｃの位置を調整するよう、構成できる。実施形態では、設計表面１５０は、仮想標的バー１４６が配置される、観察者から最も離れた境界を有する、仮想トレンチ１３２の底部を示す。設計表面１５０は、定義された勾配及び／若しくは方向を含む単純な平面であってよく、道路状の設計を含んでよく、並びに／又は所定の切断深さを含んでよい。

図２Ｃ〜４はそれぞれ、仮想器具バー１４４と地形１２６の下方の仮想標的バー１４６との間の、異なるバー間隔１６０、１７０、１８０を示す。図２〜４それぞれに関して、仮想器具バー１４４と仮想標的バー１４６との間の各バー間隔１６０、１７０、１８０は、掘削器具１１４の器具前縁部１４０と、地形１２６の長手方向に配置された表面部分１４２との間の、対応する現実世界での間隔に対して、拡大縮小可能である。更に、側壁１５２Ａ、１５２Ｂのペアの、調整可能な長さ１６２、１７２、１８２はそれぞれ、バー間隔１６０、１７０、１８０に正比例し、また仮想標的バー１４６の調整可能な幅１６４、１７４、１８４はそれぞれ、バー間隔１６０、１７０、１８０に反比例する。よって、仮想トレンチ１３２の幅１６４、１７４、１８４は、バー間隔１６０、１７０、１８０に反比例する量で調節でき、仮想トレンチ１３２の側壁１５２Ａ、１５２Ｂの長さ１６２、１７２、１８２は、バー間隔１６０、１７０、１８０に正比例する量で調節できる。

更に、仮想トレンチ１３２の前壁１５４の調整可能な深さ１６３、１７３、１８３はそれぞれ、バー間隔１６０、１７０、１８０に反比例する。限定としてではなく一例として、仮想トレンチ１３２の深さ１６３、１７３、１８３は、仮想標的バー１４６と仮想器具バー１４４との間のバー間隔１６０、１７０、１８０に反比例する量で調整できる。よって、仮想器具バー１４４と仮想標的バー１４６との間のバー間隔１６０、１７０、１８０によって示されるように、器具前縁部１４０が地形１２６及び仮想標的バー１４６に近づくほど、仮想トレンチ１３２の長さは短く見え、また例えば観察者から最も離れて配置された仮想トレンチ１３２の後方部分において、仮想標的バー１４６の深さ及び幅は大きく見える。あるいは、仮想器具バー１４４と仮想標的バー１４６との間のバー間隔１６０、１７０、１８０によって示されるように、器具前縁部１４０が地形１２６及び仮想標的バー１４６から遠くに移動するほど、仮想トレンチ１３２の長さは長く見え、また仮想標的バー１４６の深さ及び幅は短く見える。このような視覚的調整は、例えば、視覚的画像のピクセル幅の変化による観察者の遠近感の変化を示すことができ、また、本明細書に記載の構成部品又は仮想トレンチ１３２に関連する寸法の現実世界での変化を必ずしも示すものではない。

例えば図２Ｃに関して、拡張現実オーバレイ画像１３４Ａは、バー間隔１６０、側壁１５２Ａ、１５２Ｂのペアそれぞれの調整可能な長さ１６２、及び仮想標的バー１４６の調整可能な幅１６４を含む。図２Ｃにおいてよりも器具前縁部１４０が地形１２６に近づいている図３に関して、拡張現実オーバレイ画像１３４Ｂは、図２Ｃのバー間隔１６０よりも小さなバー間隔１７０を含む。更に図３は、図２の調整可能な長さ１６２よりも小さな、側壁１５２Ａ、１５２Ｂのペアそれぞれの調整可能な長さ１７２、及び図２Ｃの調整可能な幅１６４よりも大きな、仮想標的バー１４６の調整可能な幅１７４を含む。同様に、図２Ｃ〜３においてよりも器具前縁部１４０が地形１２６に近づいている図４では、拡張現実オーバレイ画像１３４Ｃは、図３のバー間隔１７０よりも小さなバー間隔１８０を含む。更に図４は、図３の調整可能な長さ１７２よりも小さな、側壁１５２Ａ、１５２Ｂのペアそれぞれの調整可能な長さ１８２、及び図３の調整可能な幅１７４よりも大きな、仮想標的バー１４６の調整可能な幅１８４を含む。よって、各拡張現実オーバレイ画像１３４Ａ、１３４Ｂ、１３４Ｃにおいて、仮想器具バー１４４が地形１２６上の仮想標的バー１４６に近づくように移動するにつれて、仮想トレンチ１３２の動的に調整可能なビューは変化し、側壁１５２Ａ、１５２Ｂのペアの調整可能な長さ１６２、１７２、１８２をより短く、前壁１５４の調整可能な深さ１６３、１７３、１８３をより深く、そして仮想標的バー１４６の調整可能な幅１６４、１７４、１８４をより大きく表示する。構造コントローラ及び／又は掘削機のオペレータは、本明細書に記載されるような仮想トレンチ１３２に関する表示のための寸法の範囲を設定できる。仮想トレンチ１３２の３Ｄ可視化の明瞭さを向上させるために、例えば、仮想器具バー１４４が地形１２６上の仮想標的バー１４６に近づくように移動するに従って、仮想トレンチ１３２の深さが視覚的に増大するように見える場合があるが、（以下で更に詳細に説明するように）仮想トレンチ１３２内の地下特徴を示す、対応する現実世界の深さは、同一のままとなり得る。非限定的な例として、図２Ｃの前壁１５４の深さ１６３が、図４の前壁１５４の深さ１８３よりも視覚的には小さく見えるとしても、図２〜４はそれぞれ、地形１２６から仮想標的バー１４６までの５フィート（１．５２４ｍ）の現実世界の深さに対応し得る。このような例に関して、図２〜４に示されているような図等によって、地形１２６の表面から５フィート（１．５２４ｍ）以内の地下特徴が表示される。

実施形態では、仮想標的バー１４６は、仮想トレンチ１３２の前壁１５４の最下部を含む。仮想トレンチ１３２は、長手方向に配置された表面部分１４２の下の深さ１６３、１７３、１８３に配置された設計表面１５０、設計表面１５０が間に配置された側壁１５２Ａ、１５２Ｂのペア、及び側壁１５２Ａ、１５２Ｂのペアの間に配置されて仮想標的バー１４６の最下部を画定する前壁１５４を備える。仮想標的バー１４６の調整可能な幅１６４、１７４、１８４は、仮想トレンチ１３２の前壁１５４の幅に等しい。設計表面１５０、側壁１５２Ａ、１５２Ｂのペア、及び仮想トレンチ１３２の前壁１５４を含む仮想トレンチ１３２の境界は、拡張現実オーバレイ画像１３４Ａ、１３４Ｂ、１３４Ｃ内において破線１４８で示すことができる。実施形態では、前壁１５４の底部境界の仮想標的バー１４６は、実線及び／又は太線として示すことができる。仮想標的バー１４６と、仮想トレンチ１３２の境界とを含む、仮想トレンチ１３２は、仮想器具バー１４４の位置及び／又は配向に基づいて動的に調整され、動的に表示されるよう構成される。

ある実施形態では、拡張現実オーバレイ画像１３４Ａ、１３４Ｂ、１３４Ｃの、及び拡張現実オーバレイ画像１３４Ａ、１３４Ｂ、１３４Ｃ内の表示に関して、仮想器具バー１４４は、赤色の実線からなる。更に、仮想標的バー１４６は、緑色の実線からなってよい。仮想トレンチ１３２は、赤色の、又は他の好適な強調され区別される色の、複数の破線１４８によって画定できる。これらの表示可能な構成部品に関する他の色も、本開示の範囲内であることを理解されたい。

実施形態では、仮想トレンチ１３２内に地下特徴が表示され、これらは、拡張現実オーバレイ画像１３４Ａ、１３４Ｂ、１３４Ｃ内の仮想トレンチ１３２の動的調整と共に調整され、また深さの知覚を向上させることができるよう、仮想トレンチ１３２の壁において切り詰められる。これらの地下特徴は例えば、パイプ及び／若しくはケーブル、又は同様の地下構成部品を含んでよく、これらは、保存されている地下特徴の幾何学データに少なくとも部分的に基づいて、仮想トレンチ１３２の境界によって画定及び位置決めされるよう、切り詰められる。深さの知覚を更に向上させるために、地下特徴の表示は、仮想トレンチ１３２の壁境界に対する地下特徴の間隔及び／又は距離を示すものであってよい。例えば図２Ｃでは、パイプ１９０は、パイプ１９２よりも地形１２６の表面に近いものとして表示されており、その一方でパイプ１９２は、地形１２６の表面からより遠く離れ、設計表面１５０に近いものとして表示されている。実施形態では、仮想トレンチ１３２は、本明細書に記載されているように、地下特徴の表示を伴わずに表示される場合もある。

地下特徴は、地形の下方に配置されたパイプ１９０及びケーブルのうちの少なくとも１つを含んでよい。仮想トレンチ１３２は、拡張現実オーバレイ画像１３４Ａ、１３４Ｂ、１３４Ｃ内において、パイプ１９０及びケーブルのうちの少なくとも１つの少なくとも一部分を含んでよい。実施形態では、地下特徴は、地形１２６の下方に配置された少なくとも１ペアのパイプ１９０、１９２を含む。パイプ１９０、１９２のペアのうちの第１のパイプ１９０は、図２Ｃの拡張現実オーバレイ画像１３２Ａに示されているように、パイプ１９０、１９２のペアのうちの第２のパイプ１９２の上方に、第２のパイプ１９２に対して角度を有して配置されていてよい。例えばパイプ１９０、１９２のペアのうちの第１のパイプ１９０は、パイプ１９０、１９２のペアのうちの第２のパイプ１９２に対して垂直に配置されていてよい。パイプ１９０、１９２のペアのうちの一方のパイプ、例えば図２Ｃのパイプ１９０は、仮想トレンチ１３２の前壁１５４に対して交差する角度で配置されていてよい。この角度の表示は、拡張現実オーバレイ画像１３４Ａ、１３４Ｂ、１３４Ｃにおける仮想トレンチ１３２の寸法の表示に応じて変化し得る。更に、仮想トレンチ１３２は、図２Ｃに示すように、拡張現実オーバレイ画像１３４Ａ内において、パイプ１９０、１９２のペアそれぞれの少なくとも一部分を含んでよく、この図２Ｃでは、パイプ１９０、１９２のペアはそれぞれ、互いに異なる色で表示される。例えば、パイプ１９０、１９２のペアのうちの一方のパイプ、例えばパイプ１９０は、黄色を有してよく、パイプ１９０、１９２のペアのうちの他方のパイプ、例えばパイプ１９２は、緑色を有してよい。

本開示の実施形態は、掘削の計画における人的過誤のリスクを最小化する方法で、用地に対する掘削を計画するより効率的な方法を提供することを支援できる。例えば本明細書に記載の実施形態は、掘削時に地下特徴の位置決めをリアルタイムで推定及び／又は把握するにあたっての人的過誤のリスクを最小化するのを支援できる。掘削機のコントローラ、又は他の制御技術は、本明細書に記載されているような拡張現実オーバレイ画像を用いて改良でき、これにより、拡張現実オーバレイ画像に関連する処理システムが、効率、速度、安全性、生産性、及び精度に関して改善及び改良される。

信号は、センサの助けを借りた又は借りない、直接的又は間接的な計算又は測定によって、「生成（ｇｅｎｅｒａｔｅ）」できる。

本発明を説明及び定義する目的で、本明細書における、ある変数があるパラメータ又は別の変数「に基づく（ｂａｓｅｄ ｏｎ）」という本明細書中での言及は、該変数が、記載されているパラメータ又は変数のみに基づくことを指すことを意図したものではないことに留意されたい。そうではなく、ある変数がある記載されているパラメータ「に基づく」という本明細書中での言及は、非制限的なものであることを意図したものであり、従って該変数は、ある単一のパラメータに基づく場合も、又は複数のパラメータに基づく場合もある。

また、「少なくとも１つの（ａｔ ｌｅａｓｔ ｏｎｅ）」構成部品、要素等という本明細書中での記述は、冠詞「ａ」又は「ａｎ」の選択的な使用が単数の構成部品、要素等に限定されるべきであるという推論を生み出すために使用してはならないことにも留意されたい。

本開示のある構成部品が、ある特定の特質を具体化するため、又はある特定の方法で機能するために、ある特定の様式で「構成される（ｃｏｎｆｉｇｕｒｅｄ）」、又は「プログラムされる（ｐｒｏｇｒａｍｍｅｄ）」という本明細書中での記述は、意図されている用途に関する記述ではなく、構造に関する記述であることに留意されたい。より具体的には、ある構成部品が「構成される」又は「プログラムされる」様式に関する本明細書中での記述は、該構成部品の既存の物理的状態を指し、従って、該構成部品の構造的特徴の明確な記述として理解されるものとする。

本開示の主題を、その具体的実施形態を参照して詳細に説明してきたが、
これらの詳細が、本明細書に記載の様々な実施形態の必須の構成要素である要素に関連することを含意するものとして解釈してはならず、それは、ある特定の要素が、本説明に付随する複数の図面それぞれに図示されている場合であっても同様であることに留意されたい。更に、添付の請求項で定義されている実施形態を含むがこれらに限定されない本開示の範囲から逸脱することなく、修正及び変形が可能であることは明らかであろう。より具体的には、本開示のいくつかの態様を、好ましい又は特に有利なものとして本明細書中で特定しているものの、本開示はこれらの態様に必ずしも限定されないと考えられる。

以下の請求項のうちの１つ以上は、移行句として、用語「ここで（ｗｈｅｒｅｉｎ）」を使用することに留意されたい。本開示を定義するために、この用語は、非限定的な移行句として請求項に導入されており、これは、構造の一連の特徴に関する記述を導入するために使用されるものであり、より一般的に使用される非限定的な前置句「…を含む（ｃｏｍｐｒｉｓｉｎｇ）」と同様に解釈されるべきものであることに留意されたい。同様に、以下の請求項のうちの１つ以上は、用語「…に基づく（ｂａｓｅｄ ｏｎ）」を使用し、これも同様に、より一般的に使用される非限定的な前置句「…を含む（ｃｏｍｐｒｉｓｉｎｇ）」と同様に解釈されるべき、非限定的な句である。

１００ 掘削機
１０２ 機械シャーシ
１０４ 掘削用リンケージ組立体
１０６ 誘導用構造
１０８ 掘削機ブーム
１１０ 掘削機スティック
１１２ 器具連結器
１１４ 掘削器具、回転掘削器具
１２０ ブーム力学センサ
１２２ スティック力学センサ
１２３ 器具力学センサ
１２４ カメラ
１２５ ディスプレイ
１２６ 地形
１３０ 器具画像、キャプチャ画像
１３２ 仮想トレンチ
１３４、１３４’、１３４Ａ、１３４Ｂ、１３４Ｃ 拡張現実オーバレイ画像
１４０ 器具前縁部
１４２ 地形１２６の長手方向に配置された表面部分
１４４ 仮想器具バー
１４６ 仮想標的バー
１５０ 設計表面
１５２Ａ、１５２Ｂ 側壁
１５４ 前壁
１６０ バー間隔
１６２、１７２、１８２ 調整可能な長さ
１６３、１７３、１８３ 調整可能な深さ
１６４、１７４、１８４ 調整可能な幅
１７０、１８０ バー間隔
１９０、２００ 制御スキーム
１９０、１９２ パイプ

Claims (20)

1. 材料移動機械であって：
   材料移動器具；
   前記材料移動機械の上に位置決めされ、前記材料移動器具と、前記材料移動器具の作業領域内の地形とを包含する視野を備える、カメラ；
   拡張ディスプレイ；並びに
   前記材料移動器具の位置を表す位置信号を生成するよう構成された１つ以上の力学センサと、前記拡張ディスプレイに通信可能に連結されたメモリ及び画像生成器を備える構造コントローラとを備える、制御構造
   を備え、
   前記構造コントローラは：
   前記メモリに、前記地形の地下特徴の３次元モデルを保存し；
   前記カメラによって、前記材料移動器具と、前記材料移動器具の前記作業領域内の地形とを含む器具画像をキャプチャし；
   前記画像生成器を通して、前記器具画像の対応する部分と、地下特徴の前記３次元モデルとを重畳することによって、重畳画像を生成し；
   前記材料移動器具の前記位置に基づいて、仮想トレンチを生成し；
   前記仮想トレンチと、前記器具画像と地下特徴の前記３次元モデルとの重畳部分とを含む、拡張現実オーバレイ画像を生成するために、前記仮想トレンチを前記重畳画像の上に重ね；
   前記画像生成器を通して、前記拡張現実オーバレイ画像を生成し；
   前記拡張現実オーバレイ画像を前記拡張ディスプレイ上に表示する
   よう、プログラムされる、材料移動機械。
2. 前記構造コントローラは、前記仮想トレンチ内の前記３次元モデルの地下特徴を見せ、また前記仮想トレンチの外側の前記３次元モデルの地下特徴を隠すように、前記拡張現実オーバレイ画像を生成するようプログラムされる、請求項１に記載の材料移動機械。
3. 前記構造コントローラは、前記材料移動器具の前記器具前縁部の下に配置された前記地形の長手方向に配置された表面部分に対する、前記材料移動器具の器具前縁部の位置に基づいて、前記仮想トレンチを生成するようプログラムされる、請求項１に記載の材料移動機械。
4. 前記構造コントローラは：
   前記材料移動器具の前記器具前縁部に重畳された仮想器具バー；及び
   前記地形の前記長手方向に配置された表面部分に重畳された仮想標的バーであって、前記地形上の前記仮想標的バーに対する前記仮想器具バーの位置に基づいて、前記拡張現実オーバレイ画像内での位置を調整するよう構成される、仮想標的バー
   を備えるように、前記拡張現実オーバレイ画像を生成するようプログラムされる、請求項３に記載の材料移動機械。
5. 前記仮想器具バーは、赤色の実線からなり；
   前記仮想標的バーは、前記仮想トレンチの最下部を、緑色の実線として含み；
   前記仮想トレンチは、複数の赤色の破線によって画定される、請求項４に記載の材料移動機械。
6. 前記構造コントローラは、前記仮想標的バーが前記仮想トレンチの最下部を含み、かつ前記仮想トレンチが：
   地下表面；
   前記地下表面間に配置された側壁のペア；及び
   前記側壁のペアの間、かつ前記仮想標的バーの下方に配置された前壁
   を備えるように、前記仮想トレンチを生成するようプログラムされる、請求項４に記載の材料移動機械。
7. 前記構造コントローラは：
   前記仮想器具バーと前記仮想標的バーとの間のバー間隔であって、前記材料移動器具の前記器具前縁部と前記地形の前記長手方向に配置された表面部分との間の、対応する現実世界の間隔に対して、拡大縮小可能である、バー間隔；
   前記バー間隔に反比例する、前記仮想標的バーの調整可能な幅；及び
   前記バー間隔に正比例する、前記側壁のペアの調整可能な長さ
   を生成するようプログラムされる、請求項６に記載の材料移動機械。
8. 前記仮想標的バーの前記調整可能な幅は、前記仮想トレンチの前記前壁の幅に等しい、請求項７に記載の材料移動機械。
9. 前記構造コントローラは、前記地下表面、前記側壁のペア、及び前記仮想トレンチの前記前壁の境界を、前記拡張現実オーバレイ画像内に破線として描画するようプログラムされる、請求項６に記載の材料移動機械。
10. 前記構造コントローラは、前記仮想器具バーの前記位置に基づいて前記仮想トレンチを調整するようプログラムされる、請求項３に記載の材料移動機械。
11. 前記構造コントローラは、前記地下特徴を含む少なくとも１ペアのパイプを前記地形の下方に配置するようプログラムされる、請求項１に記載の材料移動機械。
12. 前記構造コントローラは、前記パイプのペアのうちの第１のパイプを、前記パイプのペアのうちの第２のパイプの上方に、前記第２のパイプに対して角度を有して配置するようプログラムされる、請求項１１に記載の材料移動機械。
13. 前記構造コントローラは、前記パイプのペアのうちの前記第１のパイプを、前記パイプのペアのうちの前記第２のパイプに対して垂直に配置するようプログラムされる、請求項１２に記載の材料移動機械。
14. 前記構造コントローラは：
    前記拡張現実オーバレイ画像内に、前記仮想トレンチを、前記パイプのペアそれぞれの少なくとも一部分を含むように生成し；
    前記パイプのペアそれぞれを、互いに異なる色で表示する
    ようプログラムされる、請求項１３に記載の材料移動機械。
15. 前記構造コントローラは：
    前記仮想トレンチを、前壁を備えるように生成し；
    前記パイプのペアのうちの一方のパイプを、前記仮想トレンチの前記前壁に対して交差する角度で配置する
    ようプログラムされる、請求項１３に記載の材料移動機械。
16. 前記材料移動機械は、機械シャーシ及び掘削用リンケージ組立体を備える掘削機であり；
    前記掘削用リンケージ組立体は、合わせて複数のリンケージ組立体位置を画定する掘削機ブーム及び掘削機スティックを備え；
    前記掘削用リンケージ組立体は、前記機械シャーシと共に、又は前記機械シャーシに対して、揺動するよう構成され；
    前記掘削機スティックは、前記掘削機ブームに対して縦回転するよう構成され；
    前記材料移動器具は、前記掘削機スティックに機械的に連結された掘削器具であり；
    前記制御構造は、前記複数のリンケージ組立体位置を通して前記掘削用リンケージ組立体を作動させるよう構成された、１つ以上のリンケージ組立体アクチュエータを備える、請求項１に記載の材料移動機械。
17. 掘削機であって：
    機械シャーシ；
    掘削器具；
    掘削機ブーム及び掘削機スティックを備える、掘削用リンケージ組立体であって、前記掘削機ブーム及び前記掘削機スティックは合わせて、複数のリンケージ組立体位置を画定し、前記掘削用リンケージ組立体は、前記機械シャーシと共に、又は前記機械シャーシに対して、揺動するよう構成され、前記掘削機スティックは、前記掘削機ブームに対して縦回転するよう構成され、前記掘削器具は、前記掘削機スティックに機械的に連結される、掘削用リンケージ組立体；
    前記掘削機上に位置決めされ、前記掘削器具と、前記掘削器具の前記作業領域内の地形とを包含する視野を備える、カメラ；並びに
    制御構造であって、前記掘削器具の位置を表す位置信号を生成するよう構成された１つ以上の力学センサと、前記掘削用リンケージ組立体を、前記複数のリンケージ組立体位置を通して作動させるよう構成された、１つ以上のリンケージ組立体アクチュエータと、前記拡張ディスプレイに通信可能に連結されたメモリ及び画像生成器を備える構造コントローラとを備える、制御構造
    を備え、
    前記構造コントローラは：
    前記メモリに、前記地形の地下特徴の３次元モデルを保存し；
    前記カメラによって、前記掘削器具と、前記掘削器具の前記作業領域内の地形とを含む器具画像をキャプチャし；
    前記画像生成器を通して、前記器具画像の対応する部分と、地下特徴の前記３次元モデルとを重畳することによって、重畳画像を生成し；
    前記切削器具の器具前縁部の、前記器具前縁部の下に配置された前記地形の長手方向に配置された表面部分に関する位置に基づいて、仮想トレンチを生成し；
    前記画像生成器を通して、前記仮想トレンチと、前記器具画像と地下特徴の前記３次元モデルとの重畳部分とを含む、拡張現実オーバレイ画像を生成するために、前記仮想トレンチを前記重畳画像の上に重ね、ここで仮想器具バーが、前記材料移動器具の器具前縁部に重畳され、仮想標的バーが、前記地形の長手方向に配置された表面部分に重畳され；
    前記地形上の前記仮想標的バーに対する前記仮想器具バーの位置に基づいて、前記仮想トレンチを調整し；
    前記拡張現実オーバレイ画像を前記拡張ディスプレイ上に表示する
    よう、プログラムされる、掘削機。
18. 拡張ディスプレイを利用する材料移動機械を動作させる方法であって：
    前記材料移動機械を地形上に配置するステップであって、前記材料移動機械は、材料移動器具、カメラ、前記拡張ディスプレイ、及び制御構造を備え、ここで：
    （ｉ）前記カメラは前記掘削機上に位置決めされ、前記材料移動器具と、前記材料移動器具の作業領域内の地形とを包含する視野を備え；
    （ｉｉ）前記制御構造は：前記材料移動器具の位置を表す位置信号を生成するよう構成された１つ以上の力学センサ；メモリ；及び前記拡張ディスプレイに通信可能に連結された画像生成器を備える、ステップ；
    前記メモリに、前記地形の地下特徴の３次元モデルを保存するステップ；
    前記カメラによって、前記材料移動器具と、前記材料移動器具の前記作業領域内の地形とを含む器具画像をキャプチャするステップ；
    前記画像生成器を通して、前記器具画像の対応する部分と、地下特徴の前記３次元モデルとを重畳することによって、重畳画像を生成するステップ；
    前記材料移動器具の前記位置に基づいて、仮想トレンチを生成するステップ；
    前記仮想トレンチと、前記器具画像と地下特徴の前記３次元モデルとの重畳部分とを含む、拡張現実オーバレイ画像を生成するために、前記仮想トレンチを前記重畳画像の上に重ねるステップ；
    前記画像生成器を通して、前記拡張現実オーバレイ画像を生成するステップ；
    前記拡張現実オーバレイ画像を前記拡張ディスプレイ上に表示するするステップ；並びに
    前記制御構造を利用して前記材料移動機械を動作させ、前記拡張現実オーバレイ画像に基づいて、前記材料移動器具を前記地形に対して移動させるステップ
    を含む、方法。
19. 前記材料移動器具の器具前縁部の、前記器具前縁部の下に配置された前記地形の長手方向に配置された表面部分に対する位置に基づいて、前記仮想トレンチを生成するステップ；
    前記材料移動器具の前記器具前縁部に重畳された仮想器具バー、及び前記地形の前記長手方向に配置された表面部分に重畳された仮想標的バーを含む、前記拡張現実オーバレイ画像を生成するステップ
    を更に含む、請求項１８に記載の方法。
20. 前記地形上の前記仮想標的バーに対する前記仮想器具バーの位置に基づいて、前記拡張現実オーバレイ画像内の前記仮想標的バーの位置を調整するステップ；
    前記仮想トレンチの深さを、前記仮想標的バーと前記仮想器具バーとの間のバー間隔に反比例する量で調整するステップ；
    前記仮想トレンチの幅を、前記バー間隔に反比例する量で調整するステップ；及び
    前記仮想トレンチの側壁の長さを、前記バー間隔に正比例する量で調整するステップ
    を更に含む、請求項１９に記載の方法。

Images