JP2020118020A - 車両の横転を防止するためのシステムおよび方法 - Google Patents

Abstract

【課題】車両の横転を防止するためのシステムが開示される。【解決手段】捕捉された画像が車両５０の一部および周囲領域の一部を含むように、車両５０の一部に取り付けられた少なくとも１つのカメラ（１１０ａ、１１０ｂ）と、通信モジュール５４と、制御装置１２０と、を備え、制御装置１２０は、少なくとも１つのカメラ（１１０ａ、１１０ｂ）から、通信モジュール５４を介して、少なくとも１つの画像を受信する；車両５０のパラメータに関連するデータを受信する；受信した少なくとも１つの画像に基づいて、車両５０と地面との間の相対位置を計算する；受信した少なくとも１つの画像と、車両５０のパラメータに関連するデータと、に基づいて、車両５０の重心位置を計算する；および計算された重心位置と相対位置とに基づいて、車両５０が横転する確率を決定する、ように構成されている。【選択図】図１

Description

本出願は、参照によりその全体が本明細書に組み込まれる、２０１８年１１月２９日に出願された「車両の横転を防止するためのシステムおよび方法」という表題の米国仮出願第６２／７７２，６８３号の利益を主張する。

本発明は、一般に、車両の横転を防止するためのシステムに関する。より詳細には、本発明は、画像解析を使用して車両の横転を防止するためのシステムおよび方法に関する。

地形および地面が平坦でなく、ぬかるんだ、隆起している作業現場での多数の事故は、車両の転覆または転倒としても当技術分野で知られている横転が原因である。車両（例えば、トラック）および重機械（例えば、ブルドーザー、掘削機、バックホウ、バックホウローダー等）または掘削またはその他の土木関連作業に関係するその他の車両は、横転の可能性がある。車両のモビリティユニット部と、荷重を支持するためのタスクプリフォームユニットとを有する車両は、荷重を支持するタスクプリフォームユニットの位置が車両の重心（ＣｏＧ）を動的に変化させるので、より横転しやすい。例えば、バックホウ／掘削機が、２つの部分からなる多関節アームの端部に位置する掘削バケットを使用して土をかき集める／掘削するとき、掘削バケットが掘削位置から落下位置に移動するにつれて、しばしば、バックホウ／掘削機の車両のモビリティユニット（例えば、車両のモビリティユニット（トラクタ、ハーフトラック等）が２つの部分からなる多関節アームを支持する）が動いているときに、バックホウのＣｏＧが変化する。同様の問題は、ブルドーザーおよび他の重機械の操作においても起こり得る。

現在の解決策は、横転を防止するために、あり得る横転シナリオを検出し、オペレータに警告する、および／または装置操作に積極的に介入することを目的とする。現在の保護システムは、横転の場合にオペレータを保護することを目的とするが、エアバッグなど、それを防止することを目的としない、完全に受動的なものである。あるいは、そのようなシステムは、車両の姿勢を推定するために、特定の車両用に選択された様々な専用センサを含むか、または必要とすることがあり、それは、異なる車両にスケーリングすること、および同じプラットフォームに追加の安全機能を追加することを困難にする。

従って、センサを車両に組み込むか、または車両のセンサを使用する必要なく、横転の確率を予測することができる、様々な異なる車両に組み立てることができるスタンドアローンシステムが必要とされている。

本発明の態様は、車両の横転を防止するシステムおよび方法を対象とし得る。システムは、カメラによって捕捉された画像が車両の一部および周囲領域の一部を含むように車両の一部に取り付けられた少なくとも１つのカメラと、通信ユニットと、以下の方法を実行するように構成された制御装置と、を含むことができ、以下の方法は、通信ユニットを介してカメラから少なくとも１つの画像を受信することと、車両のパラメータに関連するデータを受信することと、受信された少なくとも１つの画像に基づいて車両と地面との間の相対位置を計算することと、受信された少なくとも１つの画像および車両のパラメータに関連するデータに基づいて車両の重心の位置および／または速度を計算することと、計算された重心および相対位置に基づいて車両の転覆の確率を決定すること、である。

いくつかの実施形態では、受信された少なくとも１つの画像は、車両によって運ばれる荷重の一部をさらに含むことができ、受信されたパラメータは、荷重に関連するパラメータを含む。いくつかの実施形態では、車両のパラメータは、車両の寸法、車両によって支持される荷重の寸法、車両の慣性モーメント、各部品の質量、モータパラメータ、車両の動的要素の入力と出力との間の動力学を表す数学モデルなど、のうちの少なくとも１つを含むことができる。

いくつかの実施形態では、制御装置は、車両の少なくとも一部が動いている間に、少なくとも１つのカメラから画像のストリームを受信し、車両の重心の相対位置および場所、車両の相対姿勢、ならびに車両によって支持される荷重の位置および姿勢、のうちの少なくとも１つにおける時間的変化を識別し、時間的変化に基づいて車両の横転の確率を決定し、確率が閾値よりも高い場合に車両が横転するのを防ぐように、さらに構成され得る。いくつかの実施形態では、制御装置は、車両の姿勢を推定し、車両のパラメータに関連するデータを受信し、車両のペイロード質量を推定することによって、解析された画像から、重心の位置を計算するように、さらに構成され得る。

いくつかの実施形態では、制御装置は、地面に対する車両の傾斜角度を決定し、車両のハウスとクローラとの間のスイング角度を任意的に計算することによって、解析された画像から、車両と地面との間の相対位置を計算するように、さらに構成され得る。いくつかの実施形態では、制御装置は、１つ以上のセンサから受信されたデータに基づいて車両の横転の確率を決定するように、さらに構成され得る。いくつかの実施形態では、センサはジャイロスコープであってよく、制御装置は、ジャイロスコープから受信した読み取り値に基づいて、車両と地面との間の相対位置を計算するように、さらに構成され得る。

いくつかの実施形態では、少なくとも１つのカメラは、車両のモビリティユニットに配置されてよい。いくつかの実施形態では、少なくとも１つのカメラは、車両の既知の位置に配置されてよい。いくつかの実施形態では、制御装置は、障害物からの車両の距離を推定するように、さらに構成されてよい。いくつかの実施形態では、制御装置は、車両を操作するユーザの活動を検出するように、さらに構成されてよい。いくつかの実施形態では、制御装置は、車両に近い物体を検出するように、さらに構成されてよい。

本発明と見なされる対象は、本明細書の最後の部分において特に指摘され、明確に特許請求される。しかしながら、本発明は、その目的、特徴、および利点と共に、構成および操作方法の両方に関して、添付図面と共に読まれるときに以下の詳細な説明を参照することによって最も良く理解することができる。

本発明のいくつかの実施形態による、車両の横転を防止するためのシステムのブロック図を示す。 本発明のいくつかの実施形態による、車両の横転を防止するための方法のフローチャートである。 本発明のいくつかの実施形態による、地形上の車両およびそのような車両に作用する力の説明図である。 本発明のいくつかの実施形態による、地形上の車両およびそのような車両に作用する力の説明図である。 本発明のいくつかの実施形態による、地形上の車両の説明図である。

説明の明確化および簡潔さの観点から、図示されている要素は、必ずしも正確な縮尺率ではないことは明白であろう。例えば、いくつかの要素の寸法は、明確化のために、他の要素に対して誇張され得る。さらに、適切であると考えられる場合、参照符号は、対応するまたは類似の要素を示すために、図面の間で繰り返され得る。

以下の詳細な説明では、本発明の完全な理解を提供するために多くの具体的な詳細について述べる。しかしながら、当業者には、本発明がこれらの特定の詳細なしに実施され得ることが理解されるであろう。他の例では、周知の方法、手順、および構成要素は、本発明を分かりにくくしないように詳細には説明されていない。一実施形態に関して説明されたいくつかの特徴または要素は、他の実施形態に関して説明された特徴または要素と組み合わせることができる。明確にするために、同じまたは類似の特徴または要素の議論は、繰り返されないことがある。

本発明の実施形態は、この点に関して限定されないが、例えば、「処理する」、「算出する」、「計算する」、「決定する」、「確立する」、「分析する」、「チェックする」などの用語を利用する議論は、コンピュータのレジスタおよび／またはメモリ内の物理量（例えば、電子、ＧＰＵなど）として表されるデータを、コンピュータのレジスタおよび／またはメモリ内の物理量として同様に表される他のデータ、または動作および／またはプロセスを実行するための命令を記憶することができる他の情報の非一時記憶媒体に操作および／または変換する、コンピュータ、コンピューティングプラットフォーム、コンピューティングシステム、または他の電子コンピューティングデバイスの動作および／またはプロセスを指すことができる。本発明の実施形態はこれに関して限定されないが、本明細書で使用される「複数（ｐｌｕｒａｌｉｔｙ）」および「複数（ａ ｐｌｕｒａｌｉｔｙ）」という用語は、例えば、「多数（ｍｕｌｔｉｐｌｅ）」または「２つ以上」を含むことができる。「複数（ｐｌｕｒａｌｉｔｙ）」および「複数（ａ ｐｌｕｒａｌｉｔｙ）」という用語は、本明細書全体にわたって、２つ以上の構成要素、装置、要素、ユニット、パラメータなどを説明するために使用されてよい。用語集合は、本明細書で使用される場合、１つ以上の項目を含み得る。明示的に述べられていない限り、本明細書で説明される方法の実施形態は、特定の順序または順番に制約されない。さらに、記載された方法の実施形態またはその要素のいくつかは、同時に、同じ時点で、または並行して、起こり得るか、または実行され得る。

本発明のいくつかの態様は、車両の横転を防止するために、任意の車両に取り付ける／組み立てることができる独立型装置またはシステムを対象とし得る。本発明の実施形態による独立型装置またはシステムは、作業現場での車両の移動の安全性を保証するように、構成され得る。本明細書で使用されるように、「現場」という語は、例えば、建設現場、鉱山、港、物流倉庫、農業現場、空港、土木プロジェクトなどの、平坦でなく、ぬかるんだおよび／または隆起している地面および地形を有する任意の作業現場を対象とし得る。

そのようなシステムは、カメラによって撮影された画像が、車両の少なくとも一部、車両が荷重を運ぶ場合は荷重の一部、および周囲領域の一部を捕捉することができるように、車両の選択された位置に配置されたカメラを含むことができる。システムは、捕捉された画像に基づいて、車両の横転の確率を計算するように構成された制御装置を、さらに含むことができる。いくつかの実施形態では、横転の確率が所定の値よりも高い場合、システムは、横転を防止するために、オペレータに警告するか、または車両および／または車両の部品のいずれかを移動させるように車両の制御装置に指示することができる。

本明細書で使用されるように、車両は、車輪、キャタピラ軌道（連続軌道）またはそれらの組み合わせ（例えば、ハーフトラック）で走行する任意のモータ駆動車両を含んでよい。本発明の実施形態による車両は、車両が走行する地上／道路と接触したままであるように構成された車両のモビリティユニット（例えば、車台）と、車両が静止しているときおよび／または動いているときに、車両のモビリティユニットに対して移動するように構成されたタスクプリフォームユニット（例えば、回転プラットフォームに配置された関節アーム）と、を含むことができる。本発明の実施形態による車両の例は、トラック、セミトレーラ、ホイールローダ、掘削機、ブルドーザー、トラクタ、バックホウ、バックホウローダー、フォークリフトなどを含むことができる。

ここで、本発明のいくつかの実施形態による、車両の横転を防ぐためのシステム１００の高レベルブロック図である図１を参照する。車両の横転を防ぐためのシステム１００は、少なくとも１つのカメラ１１０ａおよび／またはカメラ１１０ｂと、少なくとも１つの制御装置１２０とを含むことができる。少なくとも１つのカメラ１１０ａおよび／またはカメラ１１０ｂは、カメラ１１０が車両５０の少なくとも一部（例えば、タスクプリフォームユニット５６の一部）および車両５０が動作している現場の少なくとも一部の画像を捕捉することを可能にする位置で、車両５０に取り付けられるように、構成され得る。カメラ１１０ａおよび／または１１０ｂは、可視光、赤外線、または任意の他の適切な波長でリアルタイムで画像を捕捉することができる任意の画像捕捉デバイスであってよく、例えば、温度カメラ、ステレオカメラ、単眼カメラ、深度カメラである。少なくとも１つのカメラ１１０ａおよび／または１１０ｂは、個別の（例えば、単一の）画像を捕捉することができる、または画像のストリーム（例えば、ビデオ）を撮影することができる。いくつかの実施形態では、カメラ１１０ａおよび／またはカメラ１１０ｂは、無線または有線通信のいずれかで、通信モジュール１２６を介して、捕捉された画像を少なくとも１つの制御装置１２０に送信するように構成されてよい。

いくつかの実施形態では、少なくとも１つのカメラ１１０ａおよび／または１１０ｂは、カメラ１１０が周囲領域の少なくとも一部および同じ枠内の車両５０の一部を捕捉することを可能にし得る車両５０の一部に配置され得る。例えば、カメラは、車両のモビリティユニット、例えば運転室のフレームヘッドに、取り付けることができる。いくつかの実施形態では、２つ以上のカメラ１１０ａおよび１１０ｂは、異なる角度からの画像の捕捉を可能にするように、車両５０上の異なる位置（例えば、部品）で、例えば、車両５０のフレームヘッドの２つの異なる側面から、配置されてよい。いくつかの実施形態では、少なくとも１つのカメラ１１０ａおよび／または１１０ｂは、アームまたはピボットに配置されるまたは組み立てられることができる。いくつかの実施形態では、アームまたはピボットは、カメラ１１０ａおよび／または１１０ｂが異なる角度から画像を捕捉することができるように、カメラ１１０ａおよび／または１１０ｂを移動させるように構成されたモータを含むことができる。

いくつかの実施形態では、少なくとも１つのカメラ１１０ａおよび／または１１０ｂは、少なくとも１つの制御装置１２０との通信（有線または無線のいずれか）が可能である。制御装置１２０は、データ（例えば、ビデオ）を処理し、命令を実行するように構成された任意の処理ユニット（例えば、チップ、ＧＰＵ、Ｓｏｃ、ＥＰＧＡ ＡＳＩＣなど）であり得るプロセッサ１２２と、命令および／またはデータを記憶するためのメモリ１２４と、他のデバイスと通信するための通信モジュール１２６と、を含んでよい。通信モジュール１２６は、有線および／または無線ネットワークインターフェースカード（ＮＩＣ）を含んでよい。

メモリ１２４は、本発明のいくつかの実施形態による方法のコードおよび／または命令、例えば、車両の横転を防ぐ方法を、含んでよい。メモリ１２４は、コンピュータまたはプロセッサの非一時的可読媒体、またはコンピュータの非一時的記憶媒体であってよい。いくつかの実施形態では、制御装置１２０は、通信中であってよいし、ローカルまたはクラウドデータベース１３０を含んでよい。

データベース１３０は、例えば製造業者から受け取った、車両のパラメータに関するデータを記憶することができる。データは、車両５０の各部分（例えば、アーム、車両のモビリティユニット、掘削バケットなど）の寸法および重量を含み得る。データベース１３０は、現場（単数または複数）に関連するデータ、例えば、現場の２次元（２Ｄ）および／または３次元（３Ｄ）計画、ポイントクラウドまたは任意の他の表現の方法で現場の２次元（２Ｄ）および／または３次元（３Ｄ）地形、土壌の性質（その固有密度）および現場の土地等を、さらに記憶することができる。通信モジュール１２６は、少なくとも１つのカメラ１１０ａおよび／または１１０ｂ、車両５０を制御するプロセッサ５２、データベース１３０、または任意の他の外部コンピュータ化デバイスとの、無線および／または有線通信のための任意のモジュール（単数または複数）を含むことができる。

いくつかの実施形態では、システム１００は、制御装置１２０に追加データを提供するための１つ以上のセンサ１１２を、さらに含んでよい。１つ以上のセンサ１１２を、車両５０または現場の他の場所に配置するまたは取り付けることができる。１つ以上のセンサ１１２は、ジャイロスコープ、光検出および測距（ＬＩＤＡＲ）センサ、グローバルポジショニングシステム（ＧＰＳ）、慣性測定ユニット（ＩＭＵ）、バロメータ、ＲＦ検出器、レーザ検出器、超音波センサ、マイクロフォン、温度および湿度センサ、加速度計、ＩＲカメラ、ステレオカメラ、エンコーダ、近接センサなどからなる群から選択され得る。

いくつかの実施形態では、車両５０は、タスクプリフォームユニット５６（例えば、車両５０の他の部品に対して）を含むことができ、例えば、掘削機の２つの部分からなる多関節アームは、タスクプリフォームユニットとみなすことができる。そのような２つの部分からなる多関節アームは、掘削するために関節運動するように構成されてよい。いくつかの掘削機では、２つの部分からなる多関節アームは、アームが妨げられることなく３６０°旋回することができるようにする中心ピンによって車台に接続されてよい。いくつかの実施形態では、車両５０は、タスクプリフォームユニットを支持するように構成された静止部分（図示せず）を含んでよく、例えば、トラクタ、連続軌道、または半軌道であり、２つの部分からなる多関節アームを支持する。

いくつかの実施形態では、車両５０は、例えば通信モジュール１２６を介してシステム１００と無線で通信するための通信モジュール５４を含むことができる。例えば、通信モジュール５４は、例えばインターネットなどの、通信ネットワークを介して遠隔装置と通信するためのセルラー送信機またはモデム、Ｗｉ−Ｆｉ通信ユニット、衛星通信ユニットなどを含むことができる。いくつかの実施形態では、通信モジュール５４は、車両５０のプロセッサ５２と通信するためのインターフェースユニットを含むことができる。

ここで、本発明のいくつかの実施形態による車両の横転を防ぐ方法のフローチャートである図２を参照する。図２の方法は、システム１００の制御装置１２０によって、または任意の他の適切な制御装置によって実行され得る。ステップ２１０では、少なくとも１つの画像が、少なくとも１つのカメラから受信され得る。いくつかの実施形態では、少なくとも１つの画像は、車両の一部と、同じ枠内に捕捉された周囲領域の一部とを含むことができる。例えば、掘削機の運転室のフレームヘッドに配置されたカメラ１１０ａは、２つの部分からなる多関節アーム、掘削バケット、およびバケットの背景に配置された領域を示す画像を捕捉することができる。いくつかの実施形態では、制御装置１２０は、例えば、車両５０が動いているとき、および／またはタスクプリフォームユニット５６が動いている（例えば、掘削している）ときに、画像のストリーム（例えば、ビデオ）を受信することができる。いくつかの実施形態では、画像のストリームは、カメラ１１０ａが枢動可能に動くように構成されている場合、異なる角度から受信されてよい。いくつかの実施形態では、２つ以上の画像が、２つの異なるカメラ、例えば、車両５０の異なる位置に配置されたカメラ１１０ａおよび１１０ｂから、受信されてよい。

ステップ２２０では、車両のパラメータに関連するデータは、例えば、データベース１３０から、または任意の他のデータベースから、またはカメラ１１０ａおよび／またはカメラ１１０ｂから受信した画像または画像ストリームの画像分析から、受け取ることができる。いくつかの実施形態では、車両のパラメータは、車両の寸法、車両によって運ばれる荷重の寸法、車両の慣性モーメント、各部品の質量、モータパラメータ、車両のプラント（動的システムの入力と出力との間の動力学を表す数学モデル）、のうちの少なくとも１つを含む。例えば、車両５０の製造業者によって提供される車両のパラメータに関するデータは、データベース１３０に記憶されてもよい。例えば、掘削機について、データは、多関節アーム内の各分岐の長さおよび断面などの大きさ、各アームの重量、車両のモビリティユニットのＣｏＧ、掘削バケットの寸法および体積などを、含むことができる。さらに別の例では、トラックについて、データは、車両のモビリティユニットのＣｏＧを含むことができ、このユニットは、とりわけ、キャブ、エンジン、および駆動系を含み、さらに、ダンプトラックに含まれるオープンボックスベッドの寸法および体積を含むことができる。

いくつかの実施形態では、車両のパラメータに関連するデータは、カメラ１１０ａおよび／またはカメラ１１０ｂから受信した画像または画像ストリームの画像解析から、受け取ることができる。例えば、車両の寸法を取得するために、任意の既知の画像分析方法が、カメラ１１０ａおよび／またはカメラ１１０ｂから受信した画像または画像ストリームを分析するのに使用されてよい。いくつかの実施形態では、車両５０は、荷重を運ぶことができ、従って、車両のパラメータに関連するデータは、荷重のパラメータに関連するデータをさらに含むことができ、それは、ユーザインターフェースを介してユーザによって挿入されたデータベースから受け取ることができる、または、カメラ１１０ａおよび／またはカメラ１１０ｂから受信した画像または画像ストリームの画像分析から受け取ることができる。

ステップ２３０では、車両のＣｏＧの位置および／または速度は、受信された少なくとも１つの画像および車両のパラメータに関連するデータに基づいて計算されてよい。いくつかの実施形態では、制御装置１２０は、データベース１３０から車両５０のモビリティユニットのＣｏＧの位置を受け取るように構成されてよい。次に、制御装置は、図３Ａに示すように、車両の姿勢を推定し、車両のペイロード質量を推定することができる。車両５０の固定部分に対する、または地面に対するタスクプリフォームユニット５６（例えば、図示された２つの部分からなる多関節アーム）の姿勢は、取得された少なくとも１つの画像から推定されてよい。タスクプリフォームユニット５６の少なくとも一部を含む画像は、車両５０のモビリティユニット上の既知の位置に配置されたカメラから取得されてよい。カメラの位置、タスクプリフォームユニットの寸法、およびカメラによって撮影された少なくとも１つの画像を知ることから、姿勢を推定することができる。いくつかの実施形態では、制御装置１２０は、カメラ１１０ａおよび／またはカメラ１１０ｂから、または測位センサから受信された画像のストリームに基づいて、ＣｏＧの速度を計算または推定するように構成され得る。

いくつかの実施形態では、制御装置１２０は、任意の既知の方法を使用して、受信した画像から車両のペイロード質量を推定することができる。いくつかの実施形態では、推定は、ペイロード質量の体積を推定し、続いてペイロード質量の重量を推定する、２つの段階を含んでよい。例えば、体積は、ペイロード質量および保持容器の分割（または物体検出）を使用して推定されてよく、その推定は、容器の既知の最大容量に基づいて行われるようになっている。いくつかの実施形態では、体積推定に続いて、重量は、その領域内に位置する砂／土／岩の種類に関連するデータを使用して、推定されてよい。別の例では、以前に収集されたデータに基づいて、学習アルゴリズムが使用されてよい（例えば、他の方法を使用してペイロード質量を測定し、測定されたペイロード質量とカメラ１１０ａによって撮影されたペイロードの画像との間で相互に関連付ける）。いくつかの実施形態では、本方法は、（例えば、推定の十分な精度に応じて、リグレッサーまたは分類器を使用して）画像から直接体積を推測することができる。

いくつかの実施形態では、車両の推定された姿勢、車両のモビリティユニットの列挙されたＣｏＧ、および推定されたペイロード質量は、車両５０の現在ＣｏＧ位置を計算するのに使用されてよい。いくつかの実施形態では、車両が動いている、および／または車両のタスクプリフォームユニットが動いている場合、ＣｏＧ位置の時間変化を決定する（例えば、時間依存ＣｏＧを計算する）ために、画像のストリームが必要とされ得る。画像のストリーム（例えば、ビデオ）は、車両／タスクプリフォームユニットが移動しているときにリアルタイムで取得されてよい、または、リアルタイムの時間的変化を計算するのに使用されてよい。

ステップ２４０では、車両と地面との間の相対位置は、受信された少なくとも１つの画像に基づいて計算されてよい。例えば、制御装置１２０は、図３Ａに示すように、地面に対する車両の傾斜角度を決定するように構成されてよい。例えば、剛体とみなすことができるトラック、ブルドーザー等について、車両５０のモビリティユニットの傾斜（例えば、ピッチ、ロール、ヨー角）は、車両５０のＣｏＧを通過する地面領域に対する法線と、ＣｏＧを通過する重力ベクトルとの間の角度として定義することができる。いくつかの実施形態では、車両５０が動いているとき、および／またはタスクプリフォームユニット５６が動いているときに、相対位置および傾斜角度の時間的変化は、車両／タスクプリフォームユニットが動いているときにリアルタイムで撮られた画像（たとえば、ビデオ）のストリームから識別され得る。

いくつかの実施形態では、様々な角度（アームの肢とアームとモビリティユニットとの間）および姿勢（モビリティユニットと地面の）におけるタスクプリフォームユニットの画像は、カメラ１１０ａによって撮影されてよい。画像は、カメラが車両５０の外部に位置するときに撮られた画像、幾何学的測定値など、他のセンサによって撮られた角度および姿勢の測定値と関連付けられてよい。いくつかの実施形態では、画像および対応する測定値は、データベース１３０に格納されてよく、リアルタイムで提供されてもよく、従って、プロセッサ１２２上で実行されるアルゴリズムが、リアルタイム画像、傾斜角度、および姿勢から計算することを可能にする。

いくつかの実施形態では、地面に対する車両の相対位置は、ジャイロスコープなどのセンサ（例えば、センサ１１２）から受信された読み取り値に基づいて決定されてよい。ジャイロスコープは、車両５０のモビリティユニット上の既知の位置、例えばカメラ１１０ａの隣に、取り付ける／組み立てることができる。ジャイロスコープは、地平線に対する車両の相対位置を提供することができ、地面の画像および／または地形データは、地平線に対する地表面の傾斜を提供することができる。

いくつかの実施形態では、車両の相対位置は、領域内に位置する固定物体に対して決定されてよい。例えば、カメラ１１０ａによって捕捉された少なくとも１つの画像は、既知の位置、既知の寸法、および既知の慣性を有する固定物体（例えば、建物、柱など）を含んでよい。固定物体に対する車両５０の位置（例えば、ＧＰＳセンサから）および車両５０の固定位置上のカメラ１１０ａの位置を知ることにより、制御装置１２０は、画像が水平線に対して撮影された角度を決定し、車両５０の傾斜角度を導出することができる。

ステップ２５０では、推定されたＣｏＧと、地面に対する車両の相対位置とに基づいて、車両の横転の確率を決定することができる。例えば、推定されたＣｏＧおよび相対位置は、車両５０に作用するモーメントを計算するのに使用されてよい。例えば、推定された相対位置は、図３Ｂに矢印線で示すように、ＣｏＧの位置で車両５０に作用する力の少なくとも一部の方向を示すことができる。いくつかの実施形態では、図３Ｂに示すように、推定されたＣｏＧおよび推定された相対位置の時間的変化は、車両５０が横転する可能性があるかどうかを判定するのに使用することができる。例えば、ＣｏＧ位置、軌道方向、および車両５０に作用するモーメントの時間的変化が、ＣｏＧが同じタスク／方向に続き、車両５０を横転させる可能性のある所定の位置を横断することが予期されるような場合である。そのような所定の位置は、製造業者によって決定されてよい。いくつかの実施形態では、ＣｏＧの時間的変化は、例えば、ＣｏＧの位置が所定の場所に向かって移動するか、または所定の場所を通過するときに、下部（例えば、車輪／キャタピラ軌道）の離脱を引き起こし得る。

いくつかの実施形態では、横転の確率が閾値よりも高い場合、制御装置１２０は、車両５０のプロセッサ５２に、車両５０が横転するのを防ぐことができるタスクを実行するように指示することができる。例えば、制御装置１２０は、車両５０に、その位置を変更させ、アームを伸ばし、または折り畳み、荷重を降ろすなどを行わせることができる。いくつかの実施形態では、制御装置１２０は、車両５０がそのタスクを継続する場合に、車両が横転する可能性があることを、車両５０を操作する操作者に警告することができる。いくつかの実施形態では、横転の確率が閾値よりも高く、横転を防ぐことができない場合、制御装置１２０は、自律的に、またはユーザにアクションを提案することによって、横転によって引き起こされる損傷を最小限に抑えることができるアクションを実行または提案することができる。例えば、掘削機が斜面で横転しそうであるとき、制御装置１２０は、掘削機のハウスを揺動させることができ、ブーム、アーム、およびバケットが斜面に面し、従って、掘削機のさらなる横転を防ぐためのストッパとして機能することができるようになっている。

さらに別の例では、横転の確率は、車両を転がすのに最低限必要なエネルギーに基づいて計算することができる。いくつかの実施形態では、制御装置１２０は、少なくとも、推定されたＣｏＧ、地面に対する車両の相対位置、および姿勢に基づいて、最低限必要なエネルギーを計算することができる。本発明の実施形態による姿勢は、車両のピッチ角およびロール角として定義することができる。姿勢は、カメラ１１０ａおよび／または１１０ｂから受信した１つ以上の画像を分析することから抽出することができる。いくつかの実施形態では、制御装置１２０は、１つ以上の画像から水平線の位置および方向を推定することができ、水平線に対するピッチ角およびロール角を計算することができる。

車両Ｅを横転させるために最低限必要なエネルギーは、図４に示すように、以下の式およびパラメータを用いて計算することができる。
（１）Ｅ＝ｄ’ｘＭｇ＝Ｈ（１−ｃｏｓβ）×Ｍｇ
ここで、Ｍは、車両およびペイロードの質量であり、Ｈは、地面に対する横転前のＣｏＧの垂直距離であり、ｄ’は、車両の横転中のＣｏＧの垂直シフトであり、βは、図４に示すように横転角度である。

いくつかの実施形態では、追加のデータ、例えば、車両のパラメータが必要とされてよい。掘削機などのいくつかの車両について、車両を横転させるのに最低限必要なエネルギーを計算することは、クローラとハウスとの間のスイング角度を計算するためにさらに必要とされ得る。当業者には理解されるように、各種類の車両は、最低限必要なエネルギーおよび／または確率を計算するために、異なる計算および異なるパラメータを必要とし得る。

いくつかの実施形態では、計算された最低限必要なエネルギーが閾値よりも低い場合、すなわち、車両（例えば、車両５０）が横転する確率が高い場合、制御装置１２０は、警告を送信することができる、または、本明細書で上述したように、車両５０が横転するのを防ぐことができるタスクを実行するように車両５０のプロセッサ５２に指示することができる。

いくつかの実施形態では、制御装置１２０は、障害物または危険領域からの車両の距離を推定するように、さらに構成されてよい。例えば、制御装置は、危険（例えば、障害物または危険領域）および車両の一部を示す画像を分析することによって、崖または穴からの車両５０の距離を推定することができる。追加的に、または代替的に、制御装置１２０は、ＧＰＳセンサからの車両５０の位置、およびそのエリアの地形／またはその地形を示すエリアの１つ以上の更新された航空写真などを含む地形図を、受信することができる。例えば、車両の現在位置および任意的に車両が向いている方向を知り、その位置を既知の障害物または危険領域と比較することにより、車両が危険領域に向いているかどうかを推定することができる。

いくつかの実施形態では、制御装置１２０は、車両を操作するユーザ（例えば、オペレータ）の活動を検出するように構成されてよい。例えば、第２のカメラ１１０ｂは、操作者に面する運転室内に配置することができ、制御装置１２０は、安全装置の存在、オペレータの位置、オペレータの活動（例えば、動き解析、ジェスチャ認識、アクション認識）、オペレータの覚醒レベル（オペレータが眠いか注意散漫かなどを判定するために、視覚追跡／顔の表情解析を使用することができる）、を見つけるために、視覚検出アルゴリズムを使用することができる。

いくつかの実施形態では、制御装置１２０は、車両５０の近くの１つ以上の物体を検出し、車両からの１つ以上の物体のそれぞれの距離を測定するように、構成することができる。いくつかの実施形態では、周囲に対する車両の位置は、すでに推定（またはＧＰＳセンサから受信）されている可能性があるので、３次元３Ｄ空間における車両５０の位置を計算することができる。さらに、制御装置は、カメラ１１０ａおよび／またはカメラ１１０ｂによって捕捉された車両５０の周囲の物体を示す画像を受信することができ、従って、車両に対する物体の距離を測定することができる。物体が移動している場合（例えば、車両５０の近くを歩いている人間）、制御装置１２０は、移動方向をさらに決定することができ、移動物体が車両５０に近づいているか、または車両５０から離れているかをさらに決定することができる。例えば、制御装置１２０は、２つ以上のタイムギャップのある画像を比較して、物体と車両５０との間の距離が増加するかまたは低下するかどうかを調べることができ、従って、移動物体が車両５０に接近するか、または車両５０から離れるかどうかを判定する。制御装置１２０は、物体（静止または移動）が所定の距離よりも近い場合に、車両５０のオペレータに警告し、車両５０の周りに安全マージンを設定することができる。いくつかの実施形態では、制御装置１２０は、車両５０の操作が、ヒト、木、壁などの危険であると識別される周囲の物体との車両５０またはその一部の衝突をもたらし得る場合に、車両５０の操作を妨げ得る。

本発明の特定の特徴が本明細書に例示され説明されてきたが、多くの修正、置換、変更、および均等物が当業者に気付かれ得る。従って、特許請求の範囲は、そのような修正および変更全てを本発明の真の趣旨に含まれるものとしてカバーすることを意図していることを理解されたい。

様々な実施形態が提示された。当然、これらの実施形態の各々は、提示された他の実施形態からの特徴を含んでよく、具体的に記載されていない実施形態は、本明細書に記載された様々な特徴を含んでよい。

Claims (20)

1. 車両の横転を防止するためのシステムであって、
   カメラによって捕捉された画像が車両の一部および周囲領域の一部を含むように、車両の一部に取り付けられた少なくとも１つのカメラと、
   通信モジュールと、
   制御装置と、
   を備え、
   前記制御装置は、
   少なくとも１つのカメラから、通信モジュールを介して、少なくとも１つの画像を受信する；
   車両のパラメータに関連するデータを受信する；
   受信した少なくとも１つの画像に基づいて、車両と地面との間の相対位置を計算する；
   受信した少なくとも１つの画像と、車両のパラメータに関連するデータと、に基づいて、車両の重心位置を計算する；および
   計算された重心位置と相対位置とに基づいて、車両が横転する確率を決定する、
   ように構成されている、システム。
2. 請求項１に記載のシステムであって、受信した少なくとも１つの画像は、車両によって運ばれる荷重の一部をさらに含み、受信したパラメータは、荷重に関連するパラメータを含む、システム。
3. 請求項１に記載のシステムであって、前記制御装置は、
   受信した少なくとも１つの画像と、車両のパラメータに関連するデータと、に基づいて、車両の重心の速度を計算する；および
   計算された重心速度にも基づいて、車両が横転する確率を決定する、
   ようにさらに構成されている、システム。
4. 請求項１に記載のシステムであって、前記制御装置は、
   車両が動いている間に、少なくとも１つのカメラから画像のストリームを受信する；
   車両の重心の相対位置および場所と、車両の相対姿勢と、車両によって運ばれる荷重の位置および姿勢と、のうちの少なくとも１つにおける時間的変化を識別する；
   時間的変化に基づいて車両が横転する確率を決定する；および
   その確率が閾値を超える場合、車両が動いている間に、車両が横転するのを防ぐ、
   ようにさらに構成されている、システム。
5. 請求項１に記載のシステムであって、前記制御装置は、
   車両の姿勢を推定すること；
   車両の寸法に関連するデータを受信すること；および
   車両のペイロードを推定すること、
   によって解析された画像から重心の位置を計算するように構成される、システム。
6. 請求項１に記載のシステムであって、車両のパラメータは、車両の寸法と、車両によって運ばれる荷重の寸法と、車両の慣性モーメントと、各部品の質量と、モータパラメータと、車両の動的要素の入力と出力との間の動力学を表す数学モデルと、のうちの少なくとも１つを含む、システム。
7. 請求項６に記載のシステムであって、車両のパラメータの少なくともいくつかは、データベースから受信される、システム。
8. 請求項６に記載のシステムであって、車両のパラメータの少なくともいくつかは、受信した少なくとも１つの画像から抽出される、システム。
9. 請求項１に記載のシステムであって、前記制御装置は、
   地面に対する車両の傾斜角度を決定すること；および任意的に、
   車両のハウスとクローラとの間のスイング角を計算すること、
   によって解析された画像から車両と地面との間の相対位置を計算するように構成されている、システム。
10. 請求項１に記載のシステムであって、１つ以上のセンサをさらに備え、前記制御装置は、１つ以上のセンサから受信したデータに基づいて、車両が横転する確率を決定するように構成されている、システム。
11. 請求項１０に記載のシステムであって、前記センサはジャイロスコープであり、前記制御装置は、前記ジャイロスコープから受信した読み取り値に基づいて、車両と地面との間の相対位置を計算するようにさらに構成されている、システム。
12. 請求項１に記載のシステムであって、カメラは、車両が静止しているときに移動するようには構成されていない、車両の一部に配置される、システム。
13. 請求項１に記載のシステムであって、カメラは、車両の既知の位置に配置される、システム。
14. 請求項１に記載のシステムであって、前記制御装置は、車両を操作するユーザの活動を検出するように構成されている、システム。
15. 車両の横転を防止するための方法であって、
    車両の一部に取り付けられた少なくとも１つのカメラから、車両の一部および周囲領域の一部を含む少なくとも１つの画像を受信すること；
    車両のパラメータに関連するデータを受信すること；
    受信した少なくとも１つの画像に基づいて、車両と地面との間の相対位置を計算すること；
    受信した少なくとも１つの画像と、車両のパラメータに関連するデータと、に基づいて、車両の重心位置を計算すること；および
    計算された重心位置と相対位置とに基づいて、車両が横転する確率を決定すること、
    を含む方法。
16. 請求項１５に記載の方法であって、受信した少なくとも１つの画像は、荷重の一部をさらに含み、受信したパラメータは、荷重に関連するパラメータを含む、方法。
17. 請求項１５に記載の方法であって、
    受信した少なくとも１つの画像と、車両のパラメータに関連するデータと、に基づいて、車両の重心の速度を計算すること；および
    計算された重心速度にも基づいて、車両が横転する確率を決定すること、
    をさらに含む方法。
18. 請求項１５に記載の方法であって、
    車両が動いている間に、少なくとも１つのカメラから画像のストリームを受信すること；
    車両の重心の相対位置および場所における時間的変化を識別すること；
    時間的変化に基づいて車両が横転する確率を決定すること；および
    その確率が閾値を超える場合、車両が動いている間に、車両が横転するのを防ぐこと、
    をさらに含む方法。
19. 請求項１５に記載の方法であって、
    車両が移動している間に、少なくとも１つのカメラから画像のストリームを受信すること；
    車両の重心の相対位置および場所における時間的変化を識別すること；
    時間的変化に基づいて車両が横転する確率を決定すること；および
    その確率が閾値を超える場合、車両が移動している間に、車両が横転するのを防ぐこと、
    をさらに含む方法。
20. 請求項１５に記載の方法であって、制御装置は、
    車両の姿勢を推定すること；
    車両の寸法に関連するデータを受信すること；および
    車両のペイロードを推定すること、
    によって解析された画像から重心の位置を計算するように構成されている、方法。