JP2023047120A - 作業機械および環境認識システム - Google Patents

Abstract

【課題】工場に不慣れなオペレータが運転する作業機械に対して、既存の作業機械が取得・蓄積した障害物情報を提供することを目的とする。【解決手段】本発明の作業機械は、周囲環境を観測するセンサと、自己位置推定部と、作業機械の通常動作記録部と、作業機械の異常動作検知部と、異常動作位置におけるセンサの観測結果を記録するセンサデータ記録部と、異常動作位置とセンサの観測結果と、他の作業機械において検出された異常動作位置とセンサの観測結果と、を用いて、作業機械の周囲環境の３次元形状を生成し、３次元形状から作業エリア内の障害物を認識する障害物認識部を有する。【選択図】図３

Description

本発明は、作業機械および環境認識システムに関する。

近年、工場や物流倉庫で稼働する作業機械にも、自動車に搭載されている障害物検知用のセンサ（カメラ、LIDAR、ミリ波等）が搭載されるようになり、それらを用いて安全に障害物を回避することが可能になってきている。

これらのセンサの検知性能には、主に検知範囲と検知精度（分解能）があるが、これらの２つの性能には、トレードオフの関係がある。すなわち、検知範囲を広くしようとすれば、検知精度が低くなり、逆に検知精度を高くすれば、検知範囲が狭くなる。このトレードオフの解消のため、検知範囲が広いセンサと検知精度が高いセンサの２種類を作業機械に搭載することも考えられるが、コストが大きくなる。このように、作業機械のセンサだけに頼った障害物検知には限界がある。

特許文献１には、移動体が、道路を含む画像を撮像するカメラで撮像された画像から道路上の物体を検出し、検出された物体が障害物であると判定された場合には、その障害物に関する情報を記憶するとともに、その情報を中央管理装置に送信し、中央管理装置が道路上に存在する障害物に関する情報を安全かつ迅速に他の車両に通知するシステムが記載されている。

特開2007-323117号公報

しかしながら、工場内で検知対象となる障害物には、段差や配線など、小さな障害物もあり、それらを検知するには高い分解能のセンサが求められる。

本発明はこの点を考慮してなされたもので、作業を行う現場に不慣れなオペレータが運転する作業機械や、現場に新たに導入された作業機械に対して、既存の作業機械が取得・蓄積した障害物情報を利用する作業機械および環境認識システムを提供することを目的とする。

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。
本発明は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、
作業エリア内を走行する作業機械であって、
該作業機械の周囲環境を観測するセンサと、
自己位置を推定する自己位置推定部と、
前記作業機械の通常動作を記録する通常動作記録部と、
前記通常動作記録部に記録された通常動作と比較して前記作業機械の異常動作を検知する異常動作検知部と、
前記自己位置の履歴に基づいて前記作業機械が異常動作を検知した異常動作位置を特定し、前記異常動作を検知した異常動作位置における前記センサの観測結果を記録するセンサデータ記録部と、
前記異常動作位置、及び、前記異常動作位置における前記センサの観測結果と、他の作業機械において検出された前記異常動作位置、及び、前記異常動作位置における前記センサの観測結果とを用いて、前記作業機械の周囲環境の３次元形状を生成し、該３次元形状から前記作業エリア内の障害物を認識する障害物認識部と、
を有する。

本発明によれば、作業を行う現場に不慣れなオペレータが運転する作業機械や、現場に新たに導入された作業機械に対して、既存の作業機械が取得・蓄積した障害物情報を提供することができる。本発明に関連する更なる特徴は、本明細書の記述、添付図面から明らかになるものである。また、上記した以外の、課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の作業機械の一例を示す図。 複数の作業機械が稼働する工場の一例を示す図。 実施例１における環境認識システムのシステム構成の一例を示す図。 実施例１における作業機械の周囲環境のセンサデータ蓄積・共有フローの一例を示す図。 実施例１の作業機械の障害物検知の処理フローの一例を示す図。 実施例１の作業機械の急旋回時におけるセンサデータ取得の一例を示す図。 実施例１の作業機械の急旋回時におけるセンサデータ蓄積の一例を示す図。 実施例１における作業機械のシステム構成の変形例を示す図。 実施例１における作業機械のシステム構成の変形例を示す図。

以下、本発明の実施の形態について図面を参照して説明する。

［実施例１］
最初に、環境認識システムの全体構成と、各構成要素について説明する。
図１は、本発明の作業機械の一例を示す図、図２は、複数の作業機械が稼働する現場の一例を示す図、図３は、実施例１における環境認識システムのシステム構成の一例を示す図である。

本実施例では、図２に示すように、工場や倉庫内など所定の作業エリア１０内を走行して作業を行う複数の作業機械１００の場合を例に説明する。複数の作業機械１００には、荷物１１を搬送するものとして、図１に示すような、オペレータによって操作される有人のフォークリフトや、プログラムに基づいて自動運転が行われる無人の搬送装置などが含まれている。図２では、作業機械１００Ａ～１００Ｃが従来から用いられている作業機械であり、作業機械１００Ｎが新たに作業エリア１０に導入される作業機械である。

本実施例の環境認識システムは、図３に示すように、複数の作業機械１００と、これら複数の作業機械１００との間で無線通信により情報の送受信を行うセンサデータサーバ１５０とを有する。作業機械１００には、複数のマイコンが搭載されている。作業機械１００は、マイコンの内部機能として作業機械制御部１１０、位置・姿勢・状態推定部１２０、環境認識部１３０、および報知部１４０を備えている。

作業機械制御部１１０は、作業機械制御演算部１１１、制駆動制御部１１３、操舵制御部１１５、作業動作制御部１１７、制駆動装置１１２、操舵装置１１４、および作業装置１１６を有する。作業機械制御演算部１１１は、オペレータによる作業機械１００の制駆動指示、操舵指示、リフト等の作業動作指示に基づいて制御量を演算し、制駆動制御部１１３、操舵制御部１１５、および作業動作制御部１１７は、作業機械制御演算部１１１により演算された制御量に基づいて、それぞれ作業機械の制駆動装置１１２、操舵装置１１４、および作業装置１１６を制御する。

位置・姿勢・状態推定部１２０は、作業機械１００の位置・姿勢、および角速度、加速度を算出する。例えば、作業機械制御部１１０から取得した車輪の回転量や操舵量によるオドメトリや、周囲環境観測部１３１で取得した周囲環境観測データと外部座標系で定義された周囲環境地図とのスキャンマッチングにより、作業機械１００の位置・姿勢を推定したり、作業機械に設置されたジャイロや加速度計から作業機械１００の周囲物体への接触による衝撃や、段差を乗り越えたことによるピッチングなどを計測するシステムである。

環境認識部１３０は、周囲環境観測部１３１、センサデータ記録部１３２、通信部１３３、異常動作検知部１３４、通常動作記録部１３５、３Ｄ形状生成部１３６、および障害物認識部１３７を有する。

周囲環境観測部１３１は、作業機械１００の前方に設置され、作業機械１００の周囲にある物体の位置や形状、色や反射強度などを取得するセンサであり、カメラやレーザレーダから構成される。周囲環境観測部１３１は、観測精度が作業機械１００ごとに異なるように、各作業機械１００に対してそれぞれ互いに異なる高さ位置に取り付けられている。また、周囲環境観測部１３１は、有人の作業機械１００に取り付けられているものの方が、無人の作業機械１００に取り付けられているものよりも、観測範囲が狭くかつ観測精度が高いものとなっている。

センサデータ記録部１３２は、異常動作検知部１３４で異常動作が検知された際に、周囲環境観測部１３１で取得したセンサデータを記録する。センサデータ記録部１３２は、自己の作業機械１００の位置の履歴に基づいて自己の作業機械１００が異常動作を検知した異常動作位置を特定し、異常動作を検知した異常動作位置における周囲環境観測部１３１の観測結果を記録する。

通信部１３３は、センサデータ記録部１３２に記録して蓄積されたセンサデータをセンサデータサーバ１５０に送信する。センサデータサーバ１５０に送信されたセンサデータは、他の作業機械１００との間で共有される。通信部１３３は、異常動作検知部１３４で検知された異常動作位置、及び、前記異常動作位置における前記センサの観測結果を他の作業機械に送信するとともに、作業エリア１０内の他の作業機械１００において検出された異常動作位置、及び、異常動作位置におけるセンサの観測結果を他の作業機械１００から受信する。

異常動作検知部１３４は、位置・姿勢・状態推定部１２０および作業機械制御部１１０から取得した位置・姿勢・状態の変化や制御量と、通常動作記録部１３５に記録された通常動作時のそれらとを比較し、自己の作業機械１００の異常動作を検知する。異常動作検知部１３４は、通常動作記録部１３５に記録されている通常動作時の位置・姿勢・状態の閾値と比較することによって異常動作か否かを判断する。

異常動作検知部１３４は、例えば、作業機械１００が通常動作により走行する経路を指定経路として設定し、作業機械１００が指定経路から逸脱した位置を走行した場合、もしくは、作業機械１００が指定経路を走行途中で後退して走行した場合に異常動作が行われたと判断する。また、作業機械１００の通常動作における基準加速度又は基準角速度から作業機械１００の実加速度又は実角速度が閾値以上離れた場合に、異常動作が行われたと判断する。

通常動作記録部１３５は、作業機械の通常動作を記録し、蓄積したデータに基づいて通常動作時の位置・姿勢・状態の閾値を更新する。

３Ｄ形状生成部１３６は、蓄積されたセンサの観測結果（センサデータ）を基に、障害物を含む周囲環境の３次元形状を生成する。具体的には、異常動作位置、及び、異常動作位置におけるセンサの観測結果と、他の作業機械において検出された異常動作位置、及び、異常動作位置におけるセンサの観測結果とを用いて、作業機械の周囲環境の３次元形状を生成する。

障害物認識部１３７は、３Ｄ形状生成部１３６が生成した周囲環境の３次元形状から作業機械１００の動作に支障がある障害物を認識する。障害物認識部１３７によって認識された障害物の情報は、報知部１４０に出力される。

報知部１４０は、報知管理部１４１、スピーカ１４２、およびディスプレイ１４３を有している。報知管理部１４１は、環境認識部１３０から取得した認識結果に基づき、スピーカ１４２による警告音を発生させたり、ディスプレイ１４３に障害物を表示させたりする制御を行い、オペレータに対して、障害物の存在を報知する。

センサデータサーバ１５０は、プロセッサとメモリなどのハードウエアとソフトウエアによって構成されており、内部機能として通信部１５１、センサデータ統合処理部１５２、およびセンサデータ統合記録部１５３を有する。センサデータサーバ１５０では、各作業機械１００のセンサデータ記録部１３２に記録された異常動作位置、及び、異常動作位置におけるセンサの観測結果を通信部１５１から取得し、センサデータ統合処理部１５２によりセンサデータ統合記録部１５３へ登録する。また、作業機械１００からの要求に応じて、センサデータ統合記録部１５３に登録されている異常動作位置、及び、異常動作位置におけるセンサの観測結果を通信部１５１から、要求元の作業機械１００に提供する。そして、センサデータ統合処理部１５２は、データの更新や古いデータの削除、統計的な処理による外れ値除去などを行う。

次に環境認識部１３０の動作を説明する。
図４は、環境認識部１３０により実行される処理手順の一例を示すフローチャート、図６は、実施例１の作業機械の急旋回時におけるセンサデータ取得の一例を示す図、図７は、実施例１の作業機械の急旋回時におけるセンサデータ蓄積の一例を示す図である。

ステップＳ１０１～Ｓ１０６では、異常動作時のセンサデータを蓄積・共有する。本処理は、周囲環境観測部１３１の計測周期ごとに実行される。

ステップＳ１０１では、位置・姿勢・状態推定部１２０、および作業機械制御部１１０から、位置・姿勢・状態（加速度、角速度等）および制御量（制駆動、操舵、作業動作）を取得する。

ステップＳ１０２では、異常動作検知部１３４にて、位置・姿勢・状態および制御量を、通常動作記録部１３５のデータと比較し、異常動作かどうかを判断する。異常動作としては、急制動、急旋回のようなオペレータの異常操作、工場内の指定経路から逸脱、搬送路途中での後退などが含まれる。また、オペレータが明確に意識しない異常動作も抽出するため、機械学習を利用することも考えられる。

制御量ではなく、状態量を観測することで、加速度や角速度の有意な変化をとらえ、周囲物体との接触や小段差の乗り越えなども作業機械１００の異常動作として検知することができる。

図６には、作業機械１００が走行中に、周囲環境観測部１３１の検出範囲２２内に障害物１２を検知し、作業機械１００のオペレータが障害物１２を回避するために、急旋回の軌道２１をとった状態が示されている。ここで、図６のような急旋回の場合、異常動作検出時点で、障害物が存在する領域がセンサの検出範囲外（死角）にあることがある。特に、有人の作業機械では、無人の作業機械と比較してセンサの検出範囲が狭いものが用いられているため、急旋回動作により検出範囲外に外れやすい。

そのため、図７のように、異常動作検出時点（Time_B）の位置がセンサの検出範囲２２内に含まれた時点（Time_A）から、通常動作への復帰時点(Time_C)までの間のセンサデータを蓄積するとよい。

ステップＳ１０３にて異常動作と判断されず通常動作と推測された場合には、通常動作として通常動作記録部１３５に記録する（ステップＳ１０４）。

一方、ステップＳ１０３にて異常動作と判断された場合には、周囲環境観測部１３１で取得したセンサデータをセンサデータ記録部１３２に記録する（ステップＳ１０５）。

次に、ステップＳ１０６では、センサデータ記録部１３２のデータを、通信部１３３を通してセンサデータサーバ１５０に送り、他の作業機械１００と共有する。

図５は、実施例１の作業機械の障害物検知の処理フローの一例を示す図である。
ステップＳ１０７～Ｓ１１０では、作業機械１００による障害物検知の処理が行われる。本処理は、ステップＳ１０３で異常動作が検知されるか、ステップＳ１０６で他の作業機械１００により周囲環境のセンサデータが更新された場合に実行される。

ステップＳ１０７では、センサデータ記録部１３２に記録された作業機械１００の周囲のセンサデータから、周囲環境の３次元形状を生成する。ステップＳ１０８では、障害物認識部１３７により、周囲環境の３次元形状から障害物を認識する。周囲環境の３次元形状から障害物を認識する方法は、公知のものを用いることができる。

周囲環境の３Ｄ形状を高精度で得るためには、できるだけ異なるセンサ位置からセンサデータセンサを蓄積することが望ましい。このような理由から、本実施例では、各作業機械１００において、センサを互いに異なる位置、特に高さ方向の位置が異なるように配置している。したがって、各作業機械１００が同じ経路を走行していても異なるセンサ位置からのセンサデータを取得でき、周囲環境の高精度な３次元形状を短期間で得ることができる。

ステップＳ１０９にて障害物を検知したと判断されると、報知部１４０により、障害物の位置・形状と合わせてオペレータに報知する（ステップＳ１１０）。作業機械１００は、障害物の近傍を通過しようとしている状態において報知部１４０によりオペレータに報知が行われる。

本実施例の作業機械１００によれば、自己の作業機械において検出された異常動作位置、及び、異常動作位置におけるセンサの観測結果と、他の作業機械において検出された異常動作位置、及び、異常動作位置におけるセンサの観測結果とを用いて、自己の作業機械の障害物を認識するので、作業機械１００の障害物検知性能を大きく向上させることができる。そして、作業を行う現場に不慣れなオペレータが運転する作業機械１００や、現場に新たに導入された作業機械１００に対して、既存の作業機械１００が取得・蓄積した障害物情報を供給することができる。

上述の実施例では、センサデータサーバ１５０を介して複数の作業機械１００の間で情報の送受信を行う環境認識システムの構成について説明したが、本実施例の変形例として、センサデータサーバ１５０を省略し、複数の作業機械１００の間で直接データのやり取りを行う構成とすることもできる。

図８は、他の作業機械１００との間で直接データのやり取りを行う作業機械１００の構成を示す図である。

通信部１３３は、他の作業機械１００から要求を受けた場合に、自己の作業機械１００が検出した異常動作位置、及び、異常動作位置におけるセンサの観測結果を直接送信する。また、作業エリア１０内の他の作業機械１００において検出された異常動作位置、及び、異常動作位置におけるセンサの観測結果を、他の作業機械１００に対して要求し、受信することができる。

本変形例では、センサデータ記録部１３２と通信部１３３との間に、センサデータ統合処理部１３８が設けられている。
センサデータ記録部１３２は、異常動作検知部１３４で異常動作が検知された際に、周囲環境観測部１３１で取得したセンサデータを記録し、そこで蓄積されたセンサデータは、センサデータ統合処理部１３８を通して通信部１３３により他作業機械との間で共有される。具体的には、センサデータ統合処理部１３８は、他の作業機械１００から通信部１３３が受信した、異常動作位置、及び、異常動作位置におけるセンサの観測結果の情報を記録する。また、自己の作業機械１００のセンサデータ記録部１３２に登録されている異常動作位置、及び、異常動作位置におけるセンサの観測結果を通信部１３３から、他の作業機械１００に提供する。そして、センサデータ統合処理部１３８は、データの更新や古いデータの削除、統計的な処理による外れ値除去などを行う。

障害物認識部１３７は、自己の作業機械１００によって検出した異常動作位置、及び、異常動作位置におけるセンサの観測結果と、他の作業機械１００において検出されて通信部１３３によって直接受信した異常動作位置、及び、異常動作位置におけるセンサの観測結果とを用いて、作業エリア１０内の障害物を認識する。したがって、自己の作業機械１００の障害物検知性能を大きく向上させることができる。

また、上述の各実施例では、複数の作業機械１００を有する場合について説明した。しかしながら、本実施例の変形例として、１台の作業機械１００に適用することもできる。

図９は、１台の作業機械により構成されるシステムの構成を示す図である。
作業機械１００は、上述の実施例における通信部１３３の代わりに、センサデータ管理部１３９を有している。センサデータ記録部１３２は、異常動作検知部１３４で異常動作が検知された際に、周囲環境観測部１３１で取得したセンサデータを記録し、そこで蓄積されたセンサデータは、センサデータ管理部１３９によって管理される。センサデータ管理部１３９は、センサデータ記録部１３２に記録された異常動作位置、及び、異常動作位置におけるセンサの観測結果を管理する。センサデータ管理部１３９は、データの更新や古いデータの削除、統計的な処理による外れ値除去などを行う。

障害物認識部１３７は、自己の作業機械１００によって検出してセンサデータ記録部１３２内に蓄積された異常動作位置、及び、異常動作位置におけるセンサの観測結果を用いて、作業エリア１０内の障害物を認識する。したがって、自己の作業機械１００の障害物検知性能を大きく向上させることができる。

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１００・・・作業機械、１１０・・・作業機械制御部、１１１・・・作業機械制御演算部、１１２・・・制駆動装置、１１３・・・制駆動制御部、１１４・・・操舵装置、１１５・・・操舵制御部、１１６・・・作業装置、１１７・・・作業動作制御部、１２０・・・位置・姿勢・状態推定部、１３０・・・環境認識部、１３１・・・周囲環境観測部（センサ）、１３２・・・センサデータ記録部、１３３・・・通信部、１３４・・・異常動作検知部、１３５・・・通常動作記録部、１３６・・・３Ｄ形状生成部、１３７・・・障害物認識部、１４０・・・報知部、１４１・・・報知管理部、１４２・・・スピーカ、１４３・・・ディスプレイ

Claims (7)

1. 作業エリア内を走行する作業機械であって、
   該作業機械の周囲環境を観測するセンサと、
   自己位置を推定する自己位置推定部と、
   前記作業機械の通常動作を記録する通常動作記録部と、
   前記通常動作記録部に記録された通常動作と比較して前記作業機械の異常動作を検知する異常動作検知部と、
   前記自己位置の履歴に基づいて前記作業機械が異常動作を検知した異常動作位置を特定し、前記異常動作を検知した異常動作位置における前記センサの観測結果を記録するセンサデータ記録部と、
   前記異常動作位置、及び、前記異常動作位置における前記センサの観測結果と、他の作業機械において検出された前記異常動作位置、及び、前記異常動作位置における前記センサの観測結果とを用いて、前記作業機械の周囲環境の３次元形状を生成し、該３次元形状から前記作業エリア内の障害物を認識する障害物認識部と、
   を有することを特徴とする作業機械。
2. 前記異常動作位置、及び、前記異常動作位置における前記センサの観測結果を前記他の作業機械に送信するとともに、前記作業エリア内の他の作業機械において検出された前記異常動作位置、及び、前記異常動作位置における前記センサの観測結果を前記他の作業機械から受信する通信部を有し、
   前記障害物認識部は、前記異常動作位置、及び、前記異常動作位置における前記センサの観測結果と、前記他の作業機械において検出されて前記通信部によって受信した前記異常動作位置、及び、前記異常動作位置における前記センサの観測結果とを用いて、前記作業エリア内の障害物を認識することを特徴とする請求項１に記載の作業機械。
3. 前記異常動作検知部は、前記作業機械が通常動作により走行する経路を指定経路として設定し、前記作業機械が前記指定経路から逸脱した位置を走行した場合、もしくは、前記作業機械が前記指定経路を走行途中で後退して走行した場合に、異常動作とすることを特徴とする請求項１に記載の作業機械。
4. 前記異常動作検知部は、前記作業機械の通常動作における基準加速度又は基準角速度から前記作業機械の実加速度又は実角速度が閾値以上離れた場合に、異常動作とすることを特徴とする請求項１に記載の作業機械。
5. 作業エリア内を走行する複数の作業機械と、該複数の作業機械との間で情報の送受信を行うサーバと、により構成される環境認識システムであって、
   前記複数の作業機械のうちの少なくとも１台の作業機械は、
   該作業機械の周囲環境を観測するセンサと、
   自己位置を推定する自己位置推定部と、
   前記作業機械の通常動作を記録する通常動作記録部と、
   前記通常動作記録部に記録された通常動作と比較して前記作業機械の異常動作を検知する異常動作検知部と、
   前記自己位置の履歴に基づいて前記作業機械が異常動作を検知した異常動作位置を特定し、前記異常動作を検知した異常動作位置における前記センサの観測結果を記録するセンサデータ記録部と、
   前記異常動作位置、及び、前記異常動作位置における前記センサの観測結果を前記サーバに送信するとともに、前記作業エリア内の自己又は他の作業機械において検出された前記異常動作位置、及び、異常動作位置における前記センサの観測結果を前記サーバから受信する通信部と、
   前記異常動作位置、及び、前記異常動作位置における前記センサの観測結果と、前記他の作業機械において検出された前記異常動作位置、及び、前記異常動作位置における前記センサの観測結果とを用いて、前記作業機械の周囲環境の３次元形状を生成し、該３次元形状から障害物を認識する障害物認識部と、を有し、
   前記サーバは、前記少なくとも１台の作業機械から受信した前記作業エリア内の自己又は他の作業機械において検出された前記異常動作位置、及び、異常動作位置における前記センサの観測結果を記録する統合記録部を有することを特徴とする作業機械の環境認識システム。
6. 前記複数の作業機械は、前記センサを互いに異なる高さ位置に取り付けていることを特徴とする請求項５に記載の作業機械の環境認識システム。
7. 前記複数の作業機械には、オペレータによって操作される有人の作業機械と、プログラムに基づいて自動運転が行われる無人の作業機械が含まれており、
   前記有人の作業機械に取り付けられているセンサは、前記無人の作業機械に取り付けられているセンサよりも、観測範囲が狭いことを特徴とする請求項５に記載の作業機械の環境認識システム。

Images