JP2016528569A - パターン認識による車両及びオペレータガイダンス - Google Patents

Abstract

パターン認識による車両及びオペレータガイダンスの方法は、車両及びオペレータパターンについてのデータを複数のセンサを通して収集することから開始する。収集されたデータは、パターン認識アルゴリズムで組み合わせられかつ解析される。組み合わせられかつ解析されたデータは、パターンデータベースの複数のパターンと比較される。データがパターンデータベースのパターンとマッチした場合、当該パターンが選択可能である。データがパターンデータベースのパターンにマッチしなかった場合、新たなパターンが形成及び選択可能である。選択されたパターンに基づいて、オペレータを受動的に支援する、オペレータを選択的に支援する、またはオペレータを受動的かつ能動的に支援するという決定がなされる。決定された動作は、次に、実装される。

Description

［関連出願］
本願は、２０１３年４月１２日に出願された米国特許出願第６１／８１１，２６４号の優先権及び利益を主張し、その全体は参照により明細書に組み込まれる。

車両生産性及びオペレータの快適性は、車両、車両コンポーネント及び／またはオペレータの複数の反復パターンを認識することによって向上可能である。パターンが認識された場合、生産性及び快適性向上のために、能動的及び／または受動的な動作を取ることができる。

複数の特定車両は、典型的なデューティサイクルの反復パターンで動作可能である。例えば、車両オペレータは、複数の同じ動作または移動を実行するように、または、反復的に同じルートに準拠するように、車両を用いることができる。ホイールローダー、フォークリフト等のような複数の車両は、このような態様で動作可能なオフロード車両の典型的な例である。車両は、これらのサイクルで複数の同じ動作を実行するが、車両及びオペレータの複数のコンポーネントも同様たり得ることが理解されるであろう。これらのパターンが認識され、次に車両制御に実装されることにより、制御が予測され得る場合、これは、車両及びオペレータの効率性及び生産性を向上させることとなる。

パターン認識による車両及びオペレータガイダンスの方法は、複数のセンサを通して複数の車両及びオペレータパターンについてのデータを収集する段階から開始する。収集されたデータは、パターン認識アルゴリズムによって、組み合わせられかつ解析される。組み合わせられかつ解析されたデータは、パターンデータベースの複数のパターンと比較される。データがパターンデータベースのパターンとマッチした場合、パターンが選択可能となる。データがパターンデータベースのパターンにマッチしなかった場合、新たなパターンが形成及び選択可能となる。選択されたパターンに基づいて、オペレータを受動的に支援し、オペレータを能動的に支援し、または、オペレータを受動的かつ能動的に支援するための決定がなされる。決定された動作は、次に、実装される。

本開示の複数の例示的な実施形態は、ここで、添付された複数の図面を参照して、例により説明される。
ホイールローダーのための短いＹサイクルの一実施形態を模式的に示す。 ホイールローダーのための傾斜掘削サイクルの一実施形態を模式的に示す。 フォークリフトのデューティサイクルの一実施形態を模式的に示す。 パターン認識による車両及びオペレータガイダンスの複数の段階の一実施形態を模式的に示すチャートである。 図４に示される様々なセンサを備える車両の一実施形態を模式的に示す。

オペレータの快適性及び車両生産性は、オペレータ及び／または車両の複数の反復パターンまたは移動が認識される場合に、向上可能である。例えば、オペレータの快適性及び／または車両生産性は、複数の車両制御パラメータが複数の反復パターンまたは移動を認識するように適応可能な場合に、向上することがある。複数の反復パターンまたは移動に有利に適応し得る複数の車両制御パラメータのいくつかは、限定されないが、複数のクラッチの複数の事前充填フェーズ、ギアの選択前における事前係合、（バケットの水平化のような）ホイールローダーのバケットの制御、またはフォークリフトの複数のフォーク及びマストの制御を含む。

複数のパターンは、土砂を積載及び荷降ろしする場合にホイールローダーによって準拠されるものと同様の、車両の複数の反復移動を表すことができる。図１及び図２は、ホイールローダーの２つの典型的な積載及び荷降ろしパターンを示す。図１のパターンは、短いＹサイクルである。図２のパターンは、傾斜掘削サイクルである。

上で示唆されたように、複数の反復パターンは、車両全体の複数の移動のみには限定されない。複数のパターンは、また、ホイールローダーのバケットまたはフォークリフトのマスト及びフォークのような、いくつかの機械コンポーネント（すなわち、複数の動作機能）によってなされる複数の反復移動であってもよい。

例により、図３は、フォークリフトの典型的パターンを示す。フォークリフトのオペレータは、典型的には、荷重を持ち上げるために、複数の動作の特定のリストに準拠する。これらの動作は、通常、荷重に低速で接近すること、マスト角度、フォーク位置及びフォーク幅を調節すること、荷重の下に複数のフォークを挿入すること、フォークを上昇させること、特定の角度で後方にマストを傾けること、逆方向に運転することなどを含む。

図１、２及び３における複数の番号、複数の矢印、複数の符号及び複数の異なる線のタイプは、各図において表される複数の典型的パターンを伝える。

パターンが一度認識されると、複数の受動的な動作（例えば、複数の特定のクラッチの事前係合）から複数の能動的な動作（例えば、複数のドライバ動作のガイド、もっと言えば、パターンの完全自動化）のような多数の動作が取られることがある。

図４は、概して、パターン認識の一実施形態を示す。車両は、様々なセンサを備える。複数のセンサは、概して、複数の車両センサ、複数のドライバ動作に対する複数のセンサ及び複数の集団管理センサであってもよい。

複数の車両センサの例は、内燃エンジン速度センサ、ハンドル速度センサ、クラッチ及び油圧シリンダ用圧力センサ、フォークリフトのマストの荷重センサ等を含む。ドライバ動作に対する複数のセンサの例は、ステアリング位置、スロットルへの圧力、及びレバーならびにジョイスティックの位置ならびに角度のセンサを含む。複数の集団管理センサの例は、車両位置特定、複数の他の車両の位置及び動作、するべき動作、及び荷重の位置ならびに重量等のために、ＧＰＳデータを収集及び処理する複数のセンサを含む。これらのセンサは、図５において、１つの例示的な車両上で示される。複数の車両センサ、複数の集団管理センサ及び複数のドライバ動作センサから収集された情報は、パターン認識アルゴリズムによって組み合わせられ、かつ処理される。車両の複数の移動に関するデータのセット（すなわち、練習用データ）が予め定められている（事前に手動ラベル付けされている）場合をカバーする、典型的な複数の監視学習アルゴリズムを用いて、複数のセンサによって取得された情報は、タスクの関連分類でラベル付けされる。このような車両の動作の例は、例えば、土砂掘削であるが、いくつかのタスクのシーケンスからなる。コントローラは、ラベル付けのシーケンスを実現するために、複数のセンサを介して解釈された複数の動作を、練習用データにマッチさせることを試みる。認識フェーズの結果として、アルゴリズムは、複数のパラメータ分類方法を用いて、無次元のデータのセット（左回転、右回転、前進移動、荷重の持ち上げ…）における複数の動作を解釈することによって、どのパターンが続いているかを決定する。

任意の数のパターン分類（すなわち、複数のタスクのシーケンス）は、車両コントローラの内部メモリに格納可能であることにより、複数のセンサ入力値に基づいて分類される。ＣＰＵ（すなわち、マスタ車両コントローラ）は、上述された複数のアルゴリズムを実行する。車両によって準拠されるパターンが練習用データ（すなわち、既に格納された）とマッチできない場合、クラスタリングされた（ラベル付けされていない）データの反復的な複数の動きを解釈することによって、パターン（複数のタスクのシーケンス）の新たな構成が形成され、機械に教えられる（すなわち、非監視機械学習）。

一実施形態において、４つのパターン分類、すなわち、（１）複数のオリジナルパターン、（２）複数の更新パターン、（３）集団管理から受信された複数のパターン、及び（４）複数の自己学習パターンが存在し得る。

複数のオリジナルパターンは、複数の予め定められたパターン（すなわち、ラベル付けされた練習用データ）を備えてもよく、これらは、図１、２および３に示されるように、制御系設計者によってオフラインの態様で実装される（例えば、総括的パターン）。

複数の更新パターンは、車両に対する既存の（または新たに取り付けられる）複数のセンサ測定結果（例えば、荷重重量またはルート距離…）に基づいて、車両動作及びオペレータ動作間に学習された、複数のオリジナルパターンに対する複数の向上を含んでもよい。

複数の受信パターンは、車両に取り付けられた通信システムを通して、集団管理サーバ及び／またはクラウドによって受信された情報（すなわち、複数の他の車両またはインフラからの情報）を含んでもよい。例えば、倉庫の入口でトラックからパレットを持ち上げ、特定の位置にあるラックにそれを格納するようなフォークリフトの動作は、複数のタスクの複数のシーケンスに新たなラベルを形成し、集団の全ての他の車両と共有可能である。複数の他の車両が初めて新たなパターンを学習すると、新たなパターンを直ちに認識することによって、これらは、第１の車両との置換という複数のタスクの同じシーケンスを、適切に動作させる。

複数の自己学習パターンは、元々インストールされていた複数のパターンに含まれない複数のパターンを含んでもよい。認識アルゴリズムは、車両またはオペレータによる複数の反復移動を検出及び記録してもよい。車両メモリ上の個別のスペースが、車両によって準拠される全ての新たなパターンを格納するために、漸次割り当てられる。コントローラは、複数の動作のこのシーケンスを、複数の方法をクラスタリングすることによって解釈し、これらの動作は、各特定の用途に割り当てられた関連する複数のパラメータ（例えば、動作の反復回数または各反復間のバリエーション等）をチェックすることによって、複数の新たなラベルを形成することができる。データベースにおけるパターンの数を限定するために、準拠されるパターンは、第１に、最も頻繁に使用されるパターンと比較されてもよく、あまり頻繁に使用されないまたは使用されないパターンは、複数のパターン認識アルゴリズムの迅速な応答及び信頼性を保証するために、データベースから除去されてもよい。

複数のセンサからの情報は、複数のパターン分類と比較され、適用可能なパターン分類に最もよくマッチしたものが選択される。パターン分類が一度選択されると、戦略（例えば、受動的支援、能動的な支援または完全自動化）に応じて、複数の関連する動作が決定され、最終的に、所望の複数の動作が、実装のために、複数の車両コンポーネントに送信される。複数の関連する動作は、受動的、能動的または任意の順序で取り得る自動化動作を混合したものを含んでもよい。

各車両は、少なくとも１つのコントローラを有し、これは、概して、機械及び／またはその様々なコンポーネントの制御及び動作を担う。車両コントローラは、ドライバをガイドし、生産性を向上させるために、複数のパターン認識を担う。複数のパターン認識の多数の異なる態様が、コントローラに実装可能である。

例えば、オペレータは、「レジスタモード」において、記録されることが望ましい複数の反復動作のセットを実行することによって、複数の新たなパターンを手動入力してもよい。複数のパターンが一度メモリに記録されると、コントローラは、以下の複数の動作において、これらを認識することができる。

さらに他の例として、複数のパターンは、集団の複数の他の車両のような車両の外にある複数の外部ソースから、または集団管理サーバから、学習されることもできる。テレマティックス手段を用いたこのようなパターン管理の結果、多数のオペレータによって用いられる複数のパターンを比較することによって、最適パターンが選択され、それが標準化され得る。

さらに、テレマティックスシステムは、テレマティックスプラットフォームを通してドライバをモニタリングし、複数の取るべき次なる動作（例えば、特定位置で荷重を持ち上げること）のような複数の命令を与えることができる。テレマティックスシステムから受信された情報の追加により、複数のパターン認識アルゴリズムの精度及び信頼性を向上させることができる。

これらパターン認識技術の全ては、ドライバの意図（スロットル、ジョイスティック及びレバー作動、ステアリングホイール…）の解析に基づくものであり、既存の複数のセンサ（エンジン速度、ハンドル速度センサ、クラッチ圧力…）及び追加的な複数のセンサ（車両位置特定のためのＧＰＳ、バケットの荷重を決定する荷重センサ…）からの情報を用いる。

パターンが一度認識されると、複数のとるべき動作は、状況に応じて異なる。可能な動作の例を、以下、少しだけ説明する。これらは、共に組み合わせられてもよく、個別に用いられてもよく、連続的にまたは任意のパターンで用いられてもよい。

ドライバは、パターンが一度認識されると予測される次なるドライバ動作に対して車両を用意することによって、受動的な態様で支援されることができる。例えば、フォークリフトのバックギアは、荷重が持ち上げられた後、事前係合されてもよく、及び／または、車両の内燃エンジンの速度は、パターン化された動作を予測して変化させられてもよい。

ドライバは、車両制御を支援するために、能動的に支援されてもよい。このパターン下における複数の動作は、車両がとる動作、ドライバの複数の動作及び車両のパターンに適したレベルに、車両速度を調節することを含む。これは、バケットまたはマスト及びフォークの複数の動作をさらに含むことがあり、ドライバが荷重低減制御に触れると、荷重を容易に低減させる。

本発明は、車両オペレータを、関与するパターンに応じて、車両及び機器に対するその複数の動作を標準化することによって、さらに支援してもよい。現在の動きが「トラックの荷降ろし」パターンにマッチするが、ドライバがパターンにおいて規定された速度より速く運転している場合、コントローラは、車両を強制的に減速させ、このパターンにおいて通常準拠される速度に近づける。ドライバは、制御に対する優先権をさらに有し、つまり、例えば、ドライバがアクセルを再びプレスした場合、コントローラは、その速度管理を中止し、ドライバは、再び完全に車両を管理する。

さらに、本発明は、パターンのわずかな部分を自動的に（例えば、バケットを降下させる、フォークを上昇させる…）、またはパターン全体（例えば、いくらかの土砂を積載する、移動する、荷降ろしをして、初期位置に戻る）を実行することによって、車両を制御することを含んでもよい。

自動または半自動車両制御の場合、パターン認識の終了を可能とし、かつ、ドライバが車両及びその複数のコンポーネントを完全に制御可能であるように、安全対策が実装されなければならない。

本発明と関連して、先行技術に対する複数の利益は、限定されないが、複数の次なる動作を予測し、ひいては複数の車両パラメータを適宜適合させることによる、生産性の向上及びドライバの快適性向上を含む。

Claims (13)

1. パターン認識による車両及びオペレータガイダンスの方法であって、
   複数の車両搭載センサを通して車両及びオペレータパターンのデータを受信する段階と、
   前記受信されたデータを、パターン認識アルゴリズムで組み合わせかつ解析する段階と、
   前記組み合わせられかつ解析されたデータを、パターンデータベースの複数のパターンで比較する段階と、
   前記組み合わせられかつ解析されたデータが前記パターンデータベースのパターンにマッチする場合に前記パターンを受容する、または、前記組み合わせられかつ解析されたデータを前記パターンデータベースにはない新たなパターンをマーキングして前記新たなパターンを受容する、段階と、
   前記パターンまたは新たなパターンに基づいて、前記オペレータを受動的に支援する、前記オペレータを能動的に支援する、または、前記オペレータを受動的かつ能動的に支援することを決定する段階と、
   前記決定された支援を実装する段階と、
   を備える、方法。
2. 前記複数の車両搭載センサは、複数の車両センサ、複数のドライバ動作に対する複数のセンサ、及び複数の集団管理システムセンサを含む、請求項１に記載の方法。
3. 前記パターンデータベースの前記複数のパターンは、複数のオリジナルパターン、複数の更新パターン、複数の受信されたパターン及び複数の自己学習パターンを含む、請求項１または２に記載の方法。
4. 前記複数の自己学習パターンは、前記パターン認識アルゴリズムによって、前記複数の車両搭載センサを通して車両またはオペレータの複数の移動を検出することと、検知されたデータを複数のパターンにグループ化することと、前記複数のパターンを前記パターンデータベースに記録することと、類似性を決定するために前記記録された複数のパターンを比較することと、によって形成される、請求項３に記載の方法。
5. 複数の類似パターンは、グループ化されて前記パターンデータベースに保存され、複数の非類似パターンは、前記パターンデータベースから除去される、請求項４に記載の方法。
6. 前記複数のオリジナルパターンは、前記パターンデータベースに予めロードされる、請求項３に記載の方法。
7. 前記複数の更新パターンは、車両動作及びオペレータ動作の間に学習された、前記複数の車両搭載センサからの複数の測定結果に基づいて、前記複数のオリジナルパターンを取ってこれらを更新する、請求項３に記載の方法。
8. 前記複数の受信されたパターンは、前記パターンデータベースのオリジナルではないが、複数の他の車両または集団管理システムから、前記複数の車両搭載センサによって受信される、請求項３に記載の方法。
9. オペレータは、前記実装された、決定された支援にオーバライドする、請求項１から８のいずれか１項に記載の方法。
10. 前記複数の受信されたパターンは、反復動作を実行する１つまたはそれより多くの集団車両によって形成され、他の集団車両によって共有される、請求項８に記載の方法。
11. 複数の新たなパターンは、実行された複数の反復動作のセットを前記オペレータが記録した場合に、前記パターンデータベースに入力される、請求項１から１０のいずれか１項に記載の方法。
12. 前記受動的な支援は、パターン認識に基づいて、複数の次なるドライバ動作を予測する、請求項１から１１のいずれか１項に記載の方法。
13. 前記能動的な支援は、パターン認識に基づいて、次なるドライバ動作を開始させる、請求項１から１２のいずれか１項に記載の方法。

Images