JP2019521403A

JP2019521403A - 車輌ウィンドスクリーン上における拡張現実表示の方法及び装置

Info

Publication number: JP2019521403A
Application number: JP2018550676A
Authority: JP
Inventors: バレリアノビッチエデルマン，レオニド; パグリアーニ，ダニエーレ
Original assignee: トプコンポジショニングシステムズ，インク．
Priority date: 2016-04-04
Filing date: 2016-04-04
Publication date: 2019-07-25
Also published as: EP3440496A1; KR20180133864A; KR102340298B1; WO2017176143A1; US10789744B2; EP3440496A4; AU2016402225A1; US20180144523A1; AU2016402225B2

Abstract

機械操縦者に周辺環境の拡張現実視界を提供する方法には、車輌の位置及び方向の決定が含まれる。車輌操縦者の眼球位置及び視線も併せて決定される。車輌操縦者に表示すべき作業情報は、車輌の位置及び方向に基づき決定される。作業情報は、車輌操縦者の眼球位置及び視線に基づき表示される。一実施形態によると、ウィンドスクリーン越しに視認可能な周辺環境特徴が決定される。操縦者に表示される作業情報は周辺環境特徴に基づき修正される。

Description

この開示は概して拡張現実（ＡＲ）表示に関するものであり、更に具体的には、建設用車輌のウィンドスクリーン用のＡＲ表示に関するものである。

拡張現実は、情報と使用者が知覚した周辺環境とを統合したものである。拡張現実はウィンドウを使用して実施可能であり、該ウィンドウを通じて使用者は周辺環境を目視することができる。たとえば投影機を使用して、情報をウィンドウ上に投影することができる。情報には、使用者がウィンドウ越しに目視可能ないくつかの物体を重ね合わせることができる。この情報は、不透明、透明、又は半透明の態様で表示することができる。拡張現実は、車輌と併せて使用し、車輌のウィンドスクリーン（ウィンドシールドとも呼ばれる）上に情報を投影することによって、使用者に追加情報を提供することができる。たとえば車輌の速度、磁針方角、その他に関する情報を車輌のウィンドスクリーン上に投影し、ヘッドアップディスプレイ（ＨＵＤ）によって使用者に提供することができる。ＨＵＤを使用することによって、使用者は車輌の計器盤ではなくウィンドスクリーン上の情報を目視することが可能になり、車輌操縦者は車輌のウィンドスクリーン越しに、連続的に周辺環境を目視することができる。

拡張現実表示は車輌パラメーター及び存在物についての追加情報を使用者に提供し、これらを追加情報が表示されるウィンドウ越しに視認することができる。

一実施形態によると、機械操縦者に周辺環境の拡張現実視界を提供する方法には、車輌の位置及び方向の決定が含まれる。車輌操縦者の眼球位置及び視線も併せて決定される。車輌操縦者に表示すべき作業情報は、車輌の位置及び車輌の方向に基づき決定される。作業情報は、車輌操縦者の眼球位置及び視線に基づき表示される。一実施形態によると、ウィンドスクリーン越しに視認可能な周辺環境特徴が決定される。作業情報の特定及び表示では、更に周辺環境特徴の決定にも基づいている。一実施形態によると、周辺環境特徴の決定は、車輌が位置する周辺環境内に所在する物体の検出に基づき行われる。作業情報には、建設パラメーター、農作業、及び／又は地面改良パラメーターを含むことができる。一実施形態によると、操縦者による入力によって具体的な作業が特定され、作業情報の特定も、更に操縦者による入力に基づいている。一実施形態によると、作業情報の表示は、操縦者の眼球位置及び視線に基づく周辺環境特徴を重ね合わせている作業情報に関する属性画像の表示からなる。属性画像のための位置は、周辺環境認識装置からのデータに基づき決定することができる。

図１は、拡張現実表示を機械操縦者に提供するシステムを示す。

図２は、拡張現実ディスプレイ及び関係する構成要素を装備した機械を示す。

図３は、機械操縦者に画像を表示する拡張現実システムの構成を示す。

図４は、眼球位置及び視線を考慮した修正を伴う又は伴わない拡張現実ディスプレイ上に表示された画像の例を示す。

図５は、一実施形態に係る機械操縦者に画像を表示する方法のフローチャートを示す。

図６は、コンピューターの高レベルブロックダイアグラムを示す。

拡張現実は、実行すべき作業に関する情報及び追加情報を車輌（たとえば建設機械などの機械）の操縦者に提供するために利用される。一実施形態によると、車輌の操縦者には、車輌のウィンドスクリーン（ウィンドシールドとも呼ばれる）上にヘッドアップディスプレイ（ＨＵＤ）が提供される。ＨＵＤは、地面改良、建設工事、地面工事など、作業に関する情報を操縦者に提供する。一実施形態によると、操縦者に表示される情報は、機械の位置及び方向に基づいている。機械操縦者はＨＵＤに表示される情報を利用して、作業を実行するために機械を操縦することができる。たとえば、ウィンドスクリーン上に表示される掘削用に指定された区域の仮想境界を操縦者に提供することができる。この区域の仮想境界は、ウィンドスクリーン越しの現実視界をウィンドスクリーン上に表示される情報と合致させる目的で、操縦者の眼球の位置及び視線に基づいて表示される。これによって操縦者は、ウィンドスクリーン越しに視認する現実の物体及び位置と合致した仮想情報を目視することが可能となる。仮想画像を表示するときに操縦者の眼球位置及び操縦者の視線が考慮されなければ、仮想画像はウィンドスクリーン越しに視認される現実の物体及び位置と合致しない。一実施形態によるとＨＵＤは、現状で存在していない所望の構造及び地面に関する具体的な区域についての情報を操縦者に提供する。機械操縦者に拡張現実視界を提供するためには、複数の装置が使用される。

図１は、車輌のウィンドスクリーン上における拡張現実表示のためのシステム１００を示す。一実施形態によると、位置・方向検出装置１０４は、この装置１０４が設置されている関係機械の位置及び方向を決定するために使用される１つ又は複数の装置である。機械の位置を決定するためには、全地球的航法衛星システム（ＧＮＳＳ）受信機を使用することができる。このＧＮＳＳ受信機（全地球測位システム（ＧＰＳ）受信機とも呼ばれる）は、機械の方向を決定するために使用することもできる。たとえば機械の方向を決定するために、どのように機械が移動可能であるのかについての知識を伴う機械の移動に関するＧＮＳＳデータを利用することができる。一実施形態によると、機械の位置を決定するためにＧＮＳＳ受信機を使用し、機械の方向を決定するためにその他の装置を使用することができる。

機械の方向を決定するために、慣性計測装置（ＩＭＵ）を使用することができる。ＩＭＵは、機械に搭載すること、又はその他の方法で機械に設置することができる。ＩＭＵは、機械の移動及び方向を決定する目的で、機械の加速度を計測する。たとえば機械の出発方向が判明していれば、機械の現在方向を決定する目的で、１つ若しくは複数の方向における機械の出発方向及び加速度に基づいて、ＩＭＵは異なる方向における機械の加速度を計測することができる。出発位置が判明していれば、ＩＭＵは更に、機械の位置を決定するために使用することもできる。たとえばＩＭＵが前進加速度を検出していれば、この加速度を利用して、機械が特定の速度で前進していることを検出可能である。機械の現在位置は、機械が移動している方向、そして特定の速度で機械が移動している時間に基づいて決定することができる。

機械の位置及び／又は方向を決定するために、レーザー追跡装置、光学追跡装置、及び／又はステレオカメラを使用することもできる。更に、ＧＮＳＳ受信機及びＩＭＵなど、これらの装置の組合せによって機械の位置及び場所を決定することができる。その他の装置の組合せも同様に使用することができる。

物体検出装置１０６は、機械が位置する区域における物体及び障害物を検出するために使用される。一実施形態によると、物体検出装置１０６は、機械が位置する区域を監視するための１つ又は複数のセンサーを有する。物体検出装置には、音波トランシーバー、レーザートランシーバー、光学感知装置（たとえばカメラ又はステレオカメラ）、レーダートランシーバーなど、あらゆる種類のハードウェアを使用することができる。機械が位置する区域における物体及び障害物を検出可能なあらゆる種類のセンサー若しくは装置、又はセンサー及び／若しくは装置の組合せを使用することができる。

周辺環境認識装置１０８は、使用者に表示される追加情報の配置を決定するために使用され、これによってその情報は、操縦者が視認する必要がある現実の物体と干渉しない。一実施形態によると、周辺環境認識装置１０８は、機械が位置する区域における物体及び障害物を検出するために使用される物体検出装置を有する。一実施形態によると、周辺環境認識装置１０８の物体検出装置は、物体検出装置１０６とは別個のものである。一実施形態によると、周辺環境認識装置は、物体検出装置１０６が取得したデータを利用する。その後、機械が位置する区域における物体に関する情報は、機械操縦者に表示するための追加情報の配置を決定するために利用され、それによって現実の物体は、機械のウィンドスクリーンを介して表示される追加情報によって隠されない。

眼球位置・視線検出装置１１０は、操縦者の眼球位置及び操縦者の視線の方向を決定するために使用される。一実施形態によると、操縦者の眼球位置はウィンドスクリーンとの関係で決定される。たとえば操縦者の眼球を、ウィンドスクリーンに対して中心に位置させることが考えられる。操縦者の眼球位置は、操縦者の頭部の動きによって変化する。たとえば操縦者が左又は右に傾くことによって、ウィンドスクリーンに対する操縦者の眼球位置は変化する。操縦者の視線は、操縦者が見ている場所である。たとえば操縦者は、前方、左側、右側、上方、下方を見ていることが考えられる。操縦者の眼球位置及び視線は、機械のウィンドスクリーン上に投影される画像を配置するために利用され、これによってウィンドスクリーン越しに視認可能な現実の物体に対する追加情報が調整される。たとえばウィンドスクリーン上に物体を指す引出線の画像を表示することが可能であり、これによって引出線は、操縦者の眼球位置及び視線方向に基づいて物体を指すことになる。一実施形態によると、眼球位置・視線検出装置１１０はステレオカメラからなるが、操縦者の眼球位置及び視線方向を検出可能なあらゆる装置又は装置グループからなるものが考えられる。

拡張現実装置１１２は、情報を機械操縦者に表示するために使用される装置である。一実施形態によると、拡張現実装置１１２は、拡張現実装置１１２が設置されている機械のウィンドスクリーン上に画像を投影するための投影機からなる。拡張現実装置１１２は、ウィンドスクリーンに取り付けられている透明フィルム上に画像を投影することができる。一実施形態によると、拡張現実装置１１２はウィンドスクリーン上に表示される画像の輝度及びコントラストを調整可能であり、これによって画像の目視性と、ウィンドスクリーンの外側にある現実世界の視認性とが向上する。表示される画像の輝度及び／又はコントラストは、操縦者の不快性を防止するために調整することもできる。表示される画像の輝度及び／又はコントラストの調整は、自動的に又は使用者の制御によって行うことができる。

作業情報データベース１１４は、機械の使用が必要となる作業に関する情報を保存するために使用される。作業情報データベース１１４は更に、機械が位置する周辺環境に関する情報を保存することもできる。たとえば掘削を実行すべき位置（たとえば周辺環境）に関する情報と共に、掘削に関する情報が作業情報データベース１１４に保存される。作業情報データベース１１４には、機械操縦者に対する情報の生成及び表示に使用される情報を取得する目的でアクセスすることができる。

位置・方向検出装置１０４、物体検出装置１０６、周辺環境認識装置１０８、眼球位置・視線検出装置１１０、拡張現実装置１１２、及び作業情報データベース１１４は、それぞれコントローラー１０２と通信する。一実施形態によると、コントローラー１０２はプロセッサーであり、各種装置からデータを受信し、作業情報データベース１１４にアクセスし、拡張現実装置１１２にデータを出力して関係する機械操縦者に対する画像を表示させる。一実施形態によると、コントローラー１０２、位置・方向検出装置１０４、物体検出装置１０６、周辺環境認識装置１０８、眼球位置・視線検出装置１１０、拡張現実装置１１２、及び作業情報データベース１１４は、建設機械などの機械に物理的に設置される。コントローラー１０２は、キーボード、カーソルコントローラー（たとえばマウス）、ディスプレイ（図示せず）などの周辺機器を有しており、使用者はコントローラー１０２と双方向作業することができる。コントローラー１０２は、有線又は無線ネットワークを介して、図１に示す１つ又は複数の構成要素と通信することができる。一実施形態によると、機械から隔離して１つ又は複数の装置を設置することができる。たとえば作業情報データベース１１４は、コントローラー１０２から隔離した場所に設置可能であり、２つの構成要素間でデータを送受信することができる。一実施形態によると、データは作業情報データベース１１４とコントローラー１０２との間で無線送信される。位置・方向検出装置に関しては、この装置の１つ又は複数の構成要素を、コントローラー１０２が設置されている場所から隔離して設置することができる。

図２は、拡張現実システム及び関係する構成要素を装備した機械１０１を示す。この実施形態では、コントローラー１０２、眼球位置・視線検出装置１１０、拡張現実装置１１２、及び作業情報データベース１１４が、機械１０１の操縦室内に設置されていることを示している。この実施形態では、位置・方向検出装置１０４、物体検出装置１０６、及び環境認識装置１０８が、機械１０１の操縦室の屋根上に設置されていることを示している。

図３は、機械１０１の操縦者に画像を表示する拡張現実システムの構成を示す。具体的に図３では、システム１００の構成要素の一部が設置されている機械１０１のウィンドスクリーン２０４を示している。操縦者２０２は、機械の操縦室内に位置しており、ウィンドスクリーン２０４越しに周辺環境特徴２０８を目視するものとして示されている。コントローラー１０２（図１及び図２に示す）は、眼球位置・視線検出装置１１０及び拡張現実装置１１２と通信する。位置・方向検出装置１０４及び物体検出装置１０６からのデータに基づいて、コントローラー１０２は操縦者２０２に表示すべき属性画像２１２を決定する。一実施形態によると、属性画像２１２の配置は、機械が位置している周辺環境に関する情報、並びに、眼球位置・視線検出装置１１０、周辺環境認識装置１０８及び作業情報データベース１１４からのデータに基づいて決定される。周辺環境認識装置１０８からのデータは、属性画像２１２の配置を決定するために利用され、これによって、障害物又は構造物など、操縦者２０２が視認しなければならない周辺環境の部分と干渉しないようになる。

図３において属性画像２１２は、ウィンドスクリーン２０４上に属性画像２１２を投影する拡張現実装置１１２によって、操縦者２０２に対して表示される。この例における属性画像２１２は矢印であり、操縦者が置かれている機械を使用して操縦者２０２が実行すべき操作を表示している。属性画像２１２は、投影線２１４によって示される具体的な配置内で、ウィンドスクリーン２０４上に投影される。属性画像２１２が表示されるウィンドスクリーン２０４上の具体的な配置は、操縦者２０２の眼球位置及び視線に基づいており、これによって属性画像２１２が、視野線２１０によって示される周辺環境特徴２０８に関して操縦者２０２が有する視界と合致する。

一実施形態によると属性画像２１２の配置は、作業情報データベース１１４からの情報に基づいて、位置・方向検出装置１０４からの機械の位置及び方向情報を利用して決定される。たとえば掘削が必要な区域は、機械の位置に基づいて、機械の近傍であると決定することができる。属性画像２１２の配置は、機械の方向に基づいて決定することができる。掘削すべき区域が、現状でウィンドスクリーン越しに操縦者の視界内にあれば、操縦者２０２の眼球位置及び視線に基づいて属性画像２１２が表示される。更に、物体検出装置１０６からの情報は、機械が位置する周辺環境における物体を特定するために利用される。属性画像２１２の配置は、操縦者２０２が視認しなければならない物体が遮られる状況を防止する目的で、周辺環境認識装置１０８からの情報に基づいて修正することができる。

一実施形態によると、ウィンドスクリーン２０４上の属性画像２１２の配置（すなわち、ウィンドスクリーン２０４上の具体的な配置内での属性画像２１２の投影）は、交線方式を用いて決定することができる。操縦者の視線方向において、操縦者の眼球位置から対象物（たとえば周辺環境特徴２０８）に延伸する線が計算される。一実施形態によると、この線は複数の点からなる。この線に沿いながら、線がウィンドスクリーンと交差する場所の点が決定される。その後、属性画像２１２とウィンドスクリーン２０４における線の交点とを合致させることによって、操縦者の眼球位置との関係で対象物と合致した属性画像２１２が、ウィンドスクリーン２０４上に配置（たとえば投影）される。一実施形態によると、操縦者が目視する対象物の画像の幾何学的中心が決定され、属性画像２１２の幾何学的中心は、その交点におけるウィンドスクリーン２０４上に配置される。この線は、操縦者の両目のうち１つの位置から延伸させること、又は操縦者の両目の中間点から延伸させることができる。一実施形態によると、操縦者の両目の中間点は、その中間点から対象物に延伸する線を計算する前に決定される。

図４は、操縦者の眼球位置及び配置が属性画像の配置を調整するために利用されない場合における拡張現実視界を示す。図４に示すように、ファントム属性画像４０４によって示される配置に属性画像が表示されるべきであるが、代わって属性画像４０２の配置に示すように、不正確な位置に表示されている。属性画像４０２の配置は、操縦者の眼球位置及び視線方向を考慮して調整されていない。ファントム属性画像４０４の配置は、操縦者の眼球位置及び視線方向に基づいて画像配置を修正していれば、画像が表示されていたであろう配置である。

図５は、機械操縦者に情報を表示するためにコントローラー１０２が実行する方法５００のフローチャートを示す。ステップ５０２においてコントローラー１０２はユーザー入力を受信する。一実施形態によるとユーザー入力は、操縦者が情報を希望する具体的な作業を特定する。たとえば操縦者が使用する機械の種類に応じて、操縦者は掘削情報、建設情報などを見ることを希望するであろう。ステップ５０４においてコントローラー１０２は、コントローラー１０２が設置されている車輌の位置を決定する。ステップ５０６においてコントローラー１０２は、コントローラー１０２が設置されている車輌の方向を決定する。一実施形態によると、位置及び方向情報は、位置・方向検出装置１０４からコントローラー１０２が受信する情報に基づいて決定される。

ステップ５０８においてコントローラー１０２は、操縦者の眼球位置を決定する。ステップ５１０においてコントローラー１０２は、操縦者の視線を決定する。一実施形態によると操縦者の眼球位置及び視線は、眼球位置・視線検出装置１１０からコントローラー１０２が受信した情報に基づいて決定される。

ステップ５１２においてコントローラー１０２は、車輌が位置する周辺環境の周辺環境特徴を決定する。一実施形態によるとコントローラー１０２は、物体検出装置１０６から受信した情報を利用して周辺環境特徴を決定する。たとえば隆起、陥没、装備、構造などの特徴は、物体検出装置１０６によって検出することができる。コントローラー１０２は物体に関して受信した情報を利用して、この情報を、作業情報データベース１１４に含まれている周辺環境データと比較することができる。たとえば周辺環境データを利用して、車輌が位置する周辺環境において検出された物体を特定することができる。

ステップ５１４においてコントローラー１０２は、使用者に表示すべき作業情報を特定する。一実施形態によるとコントローラー１０２は、作業情報データベース１１４に保存されている情報を利用して作業情報を特定する。たとえばコントローラー１０２は、車輌の位置及び方向を利用して、車輌が位置する周辺環境を特定することができる。操縦者が閲覧を希望する具体的な作業情報は、操縦者からのユーザー入力を利用して決定される。たとえば掘削作業であれば機械操縦者は、掘削区域の仮想境界及び必要な掘削深さの仮想表示を含むディスプレイを要求し、その提供を受けることができる。ブルドーザーによって実行される作業であれば操縦者は、作業現場の仮想境界、仮想切削表示、仮想投入表示を含むディスプレイを要求し、その提供を受けることができる。農業用トラクターによって実行される作業であればトラクター操縦者は、播種又は噴霧作業の仮想マップを要求し、その提供を受けることができる。

ステップ５１６において、ステップ５１４で特定された作業情報が操縦者に表示される。一実施形態によると、表示するために特定された作業情報はコントローラー１０２から拡張現実装置１１２に送信され、一実施形態によると、拡張現実装置１１２が車輌のウィンドスクリーン上に情報を投影する。

一実施形態によると、特定されて操縦者に表示される作業情報は、１つ又は複数の属性画像からなる。一実施形態によると、各属性画像は、１つの周辺環境特徴と関係している。たとえばコントローラー１０２は、１つの属性画像を、掘削が必要な１つの周辺環境の区域に割り当てることができる。この例として属性画像は、掘削が必要である深さを表示する１つの画像からなる。１つの具体的な周辺環境特徴に、１つ又は複数の属性画像を関係させることができる。

一実施形態によると、ウィンドスクリーン上に表示される属性画像の配置は、車輌が位置する周辺環境に基づいて修正することができる。一実施形態によると周辺環境に関する情報は、周辺環境認識装置１０８から受信する。たとえば周辺環境認識装置１０８によって検出された周辺環境中の物体が、車輌と相互作用すべきでない何かであると特定された場合、コントローラー１０２は１つ又は複数の属性画像の表示を修正し、相互作用すべきでない物体が遮られる又は隠される状況を防止することができる。一実施形態によると、ある属性の配置を指定することによって、物体が遮られる状況を防止することができる。属性画像の輝度及び／又は透明度を調整することによって、相互作用すべきでない物体について、操縦者の視界が妨害される状況を防止することもできる。

コントローラー１０２、位置・方向検出装置１０４、物体検出装置１０６、周辺環境認識装置１０８、眼球位置・視線検出装置１１０、拡張現実装置１１２、及び作業情報データベース１１４は、それぞれ１つのコンピューターを使用して実施することができる。このようなコンピューターの高レベルブロックダイアグラムを図６に示す。コンピューター６０２は、コンピューター６０２のオペレーション全体を制御するプロセッサー６０４を有しており、この制御は、そのオペレーションを定義するコンピュータープログラムによる指示の実行によって行われる。コンピュータープログラムによる指示は、保存装置６１２又はその他のコンピューター読取可能媒体（たとえば磁気ディスク、ＣＤＲＯＭなど）に保存可能であり、コンピュータープログラムによる指示の実行を希望するときに、メモリ６１０にロードすることができる。すなわち図５の方法ステップは、メモリ６１０及び／又は保存装置６１２に保存されているコンピュータープログラムによる指示によって定義され、そのコンピュータープログラムによる指示を実行するプロセッサー６０４によって制御されることができる。たとえばコンピュータープログラムによる指示は、図５の方法ステップによって定義されたアルゴリズムを実行するために当業者がプログラムしたコンピューター実行可能コードとして実施することができる。こうしてプロセッサー６０４は、コンピュータープログラムによる指示を実行することによって、図５の方法ステップによって定義されたアルゴリズムを実行する。コンピューター６０２は更に、ネットワークを介してその他の装置と通信する１つ又は複数のネットワークインターフェース６０６も有する。コンピューター６０２は更に、使用者のコンピューター６０２との双方向作業を可能とする入出力装置６０８（たとえばディスプレイ、キーボード、マウス、スピーカー、ボタンなど）も有している。当業者であれば、実際のコンピューターの実施にはその他の構成要素も含まれる可能性があることを認識し、図６は、そのようなコンピューターの構成要素の一部を参考的に高レベルで表示したものであると認識するものと考えられる。

上述した詳細な説明は、すべての点において例示的かつ類似的であるが、限定的なものではないと理解され、ここで開示された発明の範囲は詳細な説明から決定すべきでなく、むしろ、特許法で許される最大の幅によって解釈される請求の範囲から決定すべきである。ここで表示及び説明した各実施形態は本発明の原理を例示的に示したものに過ぎず、当業者であれば、発明の範囲及び要旨から逸脱することなく、各種変形例の実施が可能なものと理解される。当業者であれば、発明の範囲及び要旨から逸脱することなく、各種特徴のその他の組合せの実施が可能なものと考えられる。

Claims

車輌の位置を決定すること
前記車輌の方向を決定すること、
前記車輌の操縦者の眼球位置を決定すること、
前記車輌の操縦者の視線を決定すること、
前記車輌の位置及び前記車輌の方向に基づいて前記車輌のウィンドスクリーン上において前記操縦者に表示する作業情報を特定すること、及び
前記車輌の操縦者の眼球位置及び視線に基づいて前記ウィンドスクリーン上において前記操縦者に前記作業情報を表示すること、
を含む方法。
更に、前記ウィンドスクリーン越しに視認可能な周辺環境特徴を決定することを含み、
前記作業情報の特定及び前記作業情報の表示は、更に前記周辺環境特徴の決定に基づいている請求項１に記載の方法。
更に、前記車輌が位置する周辺環境内に位置する物体を検出することを含み、
前記周辺環境特徴の決定は、前記物体の検出及び前記作業情報に関係する周辺環境データに基づいている請求項２に記載の方法。
前記作業情報は、建設パラメーター、農作業、又は地面改良パラメーターのうちの１つである請求項３に記載の方法。
更に、具体的な作業を特定する操縦者による入力を受信することを含み、
前記作業情報の特定は、更に前記操縦者による入力に基づいている請求項１に記載の方法。
前記作業情報の表示は、更に、
前記操縦者の眼球位置及び視線に基づく周辺環境特徴を重ね合わせている作業情報に関する属性画像を表示することを含む請求項１に記載の方法。
更に、周辺環境認識装置からのデータに基づいて表示する属性画像のための位置を決定することを含む請求項６に記載の方法。
プロセッサー、及び
コンピュータープログラムによる指示を保存したメモリを備え、前記コンピュータープログラムによる指示が前記プロセッサー上で実行されるときに、前記プロセッサーは、
車輌の位置を決定すること
前記車輌の方向を決定すること、
前記車輌の操縦者の眼球位置を決定すること、
前記車輌の操縦者の視線を決定すること、
前記車輌の位置及び前記車輌の方向に基づいて前記車輌のウィンドスクリーン上において前記操縦者に表示する作業情報を特定すること、及び
前記車輌の操縦者の眼球位置及び視線に基づいて前記ウィンドスクリーン上において前記操縦者に前記作業情報を表示すること、
を含むオペレーションを実施する装置。
前記オペレーションは、更に、
前記ウィンドスクリーン越しに視認可能な周辺環境特徴を決定することを含み、
前記作業情報の特定及び前記作業情報の表示は、更に前記周辺環境特徴の決定に基づいている請求項８に記載の装置。
前記オペレーションは、更に、
前記車輌が位置する周辺環境内に位置する物体を検出することを含み、
前記周辺環境特徴の決定は、前記物体の検出及び前記作業情報に関係する周辺環境データに基づいている請求項９に記載の装置。
前記作業情報は、建設パラメーター、農作業、又は地面改良パラメーターのうちの１つである請求項１０に記載の装置。
前記オペレーションは、更に、
具体的な作業を特定する操縦者による入力を受信することを含み、
前記作業情報の特定は、更に前記操縦者による入力に基づいている請求項８に記載の装置。
前記作業情報の表示は、更に、
前記操縦者の眼球位置及び視線に基づく周辺環境特徴を重ね合わせている作業情報に関する属性画像を表示することを含む請求項８に記載の装置。
前記オペレーションは、更に、
周辺環境認識装置からのデータに基づいて表示する属性画像のための位置を決定することを含む請求項１３に記載の装置。
コンピュータープログラムによる指示を保存したコンピューター読取可能媒体であって、プロセッサー上で実行されるときに、前記プロセッサーに、
車輌の位置を決定すること
前記車輌の方向を決定すること、
前記車輌の操縦者の眼球位置を決定すること、
前記車輌の操縦者の視線を決定すること、
前記車輌の位置及び前記車輌の方向に基づいて前記車輌のウィンドスクリーン上において前記操縦者に表示する作業情報を特定すること、及び
前記車輌の操縦者の眼球位置及び視線に基づいて前記ウィンドスクリーン上において前記操縦者に前記作業情報を表示すること、
を含むオペレーションを実施させるコンピューター読取可能媒体。
前記オペレーションは、更に、
前記ウィンドスクリーン越しに視認可能な周辺環境特徴を決定することを含み、
前記作業情報の特定及び前記作業情報の表示は、更に周辺環境特徴の決定に基づいている請求項１５に記載のコンピューター読取可能媒体。
前記オペレーションは、更に、
前記車輌が位置する周辺環境内に位置する物体を検出することを含み、
前記周辺環境特徴の決定は、前記物体の検出及び前記作業情報に関係する周辺環境データに基づいている請求項１６に記載のコンピューター読取可能媒体。
前記作業情報は、建設パラメーター、農作業、又は地面改良パラメーターのうちの１つである請求項１７に記載のコンピューター読取可能媒体。
前記オペレーションは、更に、
具体的な作業を特定する操縦者による入力を受信することを含み、
前記作業情報の特定は、更に前記操縦者による入力に基づいている請求項１５に記載のコンピューター読取可能媒体。
前記作業情報の表示は、更に、
前記操縦者の眼球位置及び視線に基づく周辺環境特徴を重ね合わせている作業情報に関する属性画像を表示する請求項１５に記載のコンピューター読取可能媒体。