JP2022097149A - 走行車両 - Google Patents

Abstract

【課題】車両周辺領域における地面の陥没や石垣や斜面の崩れなどの状態変動を検知する走行車両を提供する。【解決手段】走行車両は、車体位置を算出する車体位置算出部６１と、車両周辺領域を撮影するカメラユニットと７、カメラユニット７からの複数の経時的な撮影画像に基づいて車両周辺領域における状態変化を検知して、状態変化情報を出力する周辺状態検知ユニットと、状態変化情報に基づいて、状態変化が異常事態の発生であるかどうかを判定する異常判定部６２と、異常事態の発生を示す報知情報を出力する報知情報出力部６４とを備える。【選択図】図５

Description

本発明は、車載カメラによる撮影画像に基づいて周辺状況の監視を行う走行車両に関する。

特許文献１には、車載カメラによる撮影画像を入力して、圃場に存在する、人物、倒伏穀稈、雑草、畦などの認識対象物を認識し、認識された認識対象物の地図上の位置を示す認識対象物位置情報を生成する収穫機が開示されている。生成された認識対象物位置情報に基づいて、予め設定された走行作業制御や警告報知が行われる。

特開２０１９－００４７７２号公報

特許文献１では、人物、倒伏穀稈、雑草、畦を認識対象物とする画像認識モジュールは、深層学習タイプのニューラルネットワークなど機械学習技術を用いて構築されている。この画像認識モジュールは、適切な学習を行うことで、圃場での人物、倒伏穀稈、雑草、畦を高い信頼性で認識することはできるが、認識対象が物体ではなく、地面の陥没や石垣や斜面の崩れなどの状態変動を認識することはできない。

上記実情に鑑み、本発明の目的は、車両周辺を監視する際に、車両周辺領域における地面の陥没や石垣や斜面の崩れなどの状態変動を検知する走行車両を提供することである。

本発明による、周辺状況の監視を行う走行車両は、車体位置を算出する車体位置算出部と、車両周辺領域を撮影するカメラユニットと、前記カメラユニットからの複数の経時的な撮影画像に基づいて前記車両周辺領域における状態変化を検知して、状態変化情報を出力する周辺状態検知ユニットと、前記状態変化情報に基づいて、前記状態変化が異常事態の発生であるかどうかを判定する異常判定部と、前記異常事態の発生を示す報知情報を出力する報知情報出力部とを備える。

この構成では、車両に搭載されたカメラユニットからの複数の経時的な撮影画像を比較することで、それらの撮影画像の時間間隔で生じた状態変化が検知される。その状態変化を示す情報（状態変化の検知対象となった撮影画像の各撮影時刻、各撮影間隔における２つの撮影画像の差分情報、検知された状態変化の空間位置など）に基づいて、その状態変化が異常事態の発生とみなされるかどうかが判定される。例えば、経時的な撮影画像間で色情報が異なっていても、それが時刻変化による色変化に基づくなら、その状態変化は異常事態ではない。撮影方向の微妙な違いに基づく特定の物体の少なくとも一部の消失や現出がわずかの位置ずれで当該物体の現出または消失とともに生じているような状態変化は、異常事態とはみなされない。差分情報や色情報によって、撮影時刻の遅い撮影画像において、特定の物体の少なくとも一部の消失や現出が確認される場合には、異常事態とみなされる。異常判定部によって、異常事態の発生とみなされた状態変化は、異常事態の発生として報知される。

複数の経時的な撮影画像から特定領域における小さな状態変化を検知するためには、大きな撮影視野を有する撮影画像よりは、小さな撮影視野であっても高解像度の撮影画像で車両周辺領域をカバーすることが好ましい。そのためには、複数の経時的な撮影画像が撮影視野別に区分けして経時的に取得され、比較されなければならない。このことから、本発明の好適な実施形態では、前記周辺状態検知ユニットは、撮影時の前記車体位置と前記カメラユニットの撮影方向とに基づいて前記撮影画像の撮影視野を算出する撮影視野算出部と、前記撮影画像に撮影時刻と前記撮影視野とを付与して格納する画像管理格納部と、前記撮影視野が同じかほぼ同じ前記撮影画像を経時的に比較して前記状態変化を検知する経時変化検知部とを含む。

さらに、状態変化は瞬間に生じることが多い。また、変化後の状態が直ぐに消えてしまうような状態変化は、無視できることが多い。したがって、特に必要とする状態変化に合った撮影タイミングで撮影することが好ましい。このことから、前記カメラユニットは、所定タイミングで、異なる撮影視野を有する複数の撮影画像を全周囲撮影画像として撮影するのが好適である。

走行車両が、農場や果樹園などの特定作業地で日々繰り返して使用される場合、作業が一旦終了し、次に作業が開始されるまでの作業が行われていない間の状態変化も検知することができる。作業終了と作業開始との間に、夜間を挟む場合、その間隔は長時間となり、多くの状態変化が発生する可能性が高い。この作業終了時から作業開始時までの間の生じた状態変化を迅速に検知するためには、作業終了時及び作業開始時に撮影画像が取得され、これらの撮影画像画を比較することが好ましい。このことから、好適な実施形態では、前記カメラユニットは、特定作業地での作業開始時及び作業終了時に前記全周囲撮影画像を撮影する。

周辺状況の監視を行う走行車両が森林や果樹園や農場に投入される場合、走行車両の周辺に現れた人物や動物を、警戒すべき状態変化とみなすことは、重要である。このことから好適な実施形態では、前記周辺状態検知ユニットは、前記状態変化の検知として、前記撮影画像から人物検知及び動物検知を行う画像認識部を含む。

走行車両の周辺に出現した人物は、走行車両との衝突の危険性があるため、車両の接近を当該人物に知らせる必要がある。また、走行車両の周辺に現れた動物は、車両との衝突だけでなく、走行車両の周辺にいる人物に危害を加える恐れがあるので、当該動物を追い払うための報知が必要となる。このことから、前記異常事態が前記人物検知または前記動物検知に基づく場合、警告音が出力されることが好適である。

異常事態の発生が判定された場合、当該異常事態に的確に対処する必要がある。このためには、判定された異常事態の発生場所が特定され、特定された発生場所も報知情報に含まれることが必要である。このことから、好適な実施形態では、前記異常事態の発生時の前記車体位置と前記カメラユニットの撮影方向とに基づいて前記異常事態の発生場所を特定する異常場所特定部が備えられ、前記発生場所が前記報知情報に含まれる。

果樹園で監視走行する作業車を示す模式図である。 作業車の全体側面図である。 作業車の全体平面図である。 作業車の制御系を示す機能ブロック図である。 監視制御におけるデータの流れを説明する模式図である。

以下では、本発明に係る走行車両の実施形態として、農場や果樹園や森林等の特定作業地で監視走行する作業車を取り上げる。尚、以下の説明においては、特に断りがない限り、図２と図３とに示す矢印Ｆの方向を「前」、矢印Ｂの方向を「後」とする。また、図３に示す矢印Ｌの方向を「左」、矢印Ｒの方向を「右」とする。また、図２に示す矢印Ｕの方向を「上」、矢印Ｄの方向を「下」とする。

図１に示すように、この作業車１は、果樹園及びその周辺領域の状況を監視しながら走行する。監視対象は、果樹園及びその周辺領域で生じた状態変化である。例えば、監視される状態変化には、人物や動物の果樹園への進入、果樹の倒れ、果樹の実り具合、柵や生垣の損傷、さらには、地面の陥没や石垣や斜面の崩れなどが含まれる。これらの状態変化は、撮影画像に基づいて検知される。作業車１は、単に監視だけの目的で走行してもよい。もちろん、監視走行時に、非図示の作業装置を搭載して、草刈り、薬剤散布、荷物搬送などの作業をおこなってもよい。

〔作業車の全体構成〕
図２及び図３に示すように、本実施形態における作業車１は、車体１０と、左右の前脚装置２と、左右の後脚装置３と、を備えている。車体１０は、箱状の外形を有している。前脚装置２は、車体１０の前端部における下端部から前下方へ延びる状態で設けられている。後脚装置３は、車体１０の後端部における下端部から後下方へ延びる状態で設けられている。前脚装置２は、車体１０の前部を支持している。また、後脚装置３は、車体１０の後部を支持している。

車体１０の上面部の中央には、作業車１の位置を測定するための衛星測位モジュール８が設けられている。衛星測位モジュール８には、ＧＮＳＳ（global navigation satellite system）信号（ＧＰＳ信号を含む）を受信するための衛星用アンテナが含まれている。車体１０の上面部の前端には、車両周辺領域を撮影するカメラユニット７が設けられている。

前脚装置２は、前アーム２１、前車輪２２、前モータ２３を有している。前アーム２１は、車体１０の前端部における下端部から前下方へ延びる長尺の部材である。前車輪２２及び前モータ２３は、前アーム２１の下端部に設けられている。即ち、前車輪２２及び前モータ２３は、前脚装置２の下部に設けられている。なお、本実施形態において、前モータ２３は、油圧モータである。

前車輪２２は、前アーム２１よりも車体左右方向内側に位置している。また、前モータ２３は、前アーム２１よりも車体左右方向外側に位置している。そして、前モータ２３の駆動力が前車輪２２に伝達されることにより、前車輪２２が駆動する。

後脚装置３は、後アーム３１、後車輪３２、後モータ３３を有している。後アーム３１は、車体１０の後端部における下端部から後下方へ延びる長尺の部材である。後車輪３２及び後モータ３３は、後アーム３１の下端部に設けられている。即ち、後車輪３２及び後モータ３３は、後脚装置３の下部に設けられている。なお、本実施形態において、後モータ３３は、油圧モータである。前モータ２３である油圧モータ及び後モータ３３である油圧モータへの油圧は、非図示のエンジンによって駆動する油圧ポンプによって供給される。

後車輪３２は、後アーム３１よりも車体左右方向内側に位置している。また、後モータ３３は、後アーム３１よりも車体左右方向外側に位置している。そして、後モータ３３の駆動力が後車輪３２に伝達されることにより、後車輪３２が駆動する。

図２及び図３に示すように、前アーム２１の上端部は、車体１０に接続している。即ち、前脚装置２の上部は、車体１０に接続している。前アーム２１は、機体左右方向に沿う第１軸芯Ｐ１周りに、車体１０に対して揺動可能である。また、前車輪２２及び前モータ２３は、前アーム２１と一体的に、第１軸芯Ｐ１周りに揺動する。

後アーム３１の上端部は、車体１０に接続している。即ち、後脚装置３の上部は、車体１０に接続している。後アーム３１は、機体左右方向に沿う第２軸芯Ｐ２周りに、車体１０に対して揺動可能である。また、後車輪３２及び後モータ３３は、後アーム３１と一体的に、第２軸芯Ｐ２周りに揺動する。

また、本実施形態において、前モータ２３及び後モータ３３は、何れも、正転駆動と逆転駆動とが可能である。前モータ２３及び後モータ３３が正転駆動することにより、作業車１は前進走行する。前モータ２３及び後モータ３３が逆転駆動することにより、作業車１は後進走行する。また、前モータ２３及び後モータ３３の駆動が停止することにより、作業車１は停車する。

〔制御系に関する構成〕
図４は、本発明に関係する制御機能部を示す制御機能ブロック図である。この制御系の中核要素である制御ユニット６は、電子回路及びコンピュータシステムから構成されており、入力処理部６Ａと出力処理部６Ｂとを備えている。入力処理部６Ａは、作業車１の各部に配置されたセンサやスイッチなどからなる走行状態検出センサ群４１や、車体１０の姿勢を検知する姿勢検出センサ群４２などから入力される信号を処理して、制御ユニット６の各機能部に転送する。出力処理部６Ｂは、制御ユニット６の各機能部で生成された信号を処理して、走行制御部６Ｃや報知デバイス４４に出力する。図５には、この制御系におけるデータの流れが示されている。

制御ユニット６には、車体位置算出部６１、周辺状態検知ユニット５、異常判定部６２、異常場所特定部６３、報知情報出力部６４、走行指令生成部６５が含まれている。車体位置算出部６１は、衛星測位モジュール８から逐次送られてくる測位データに基づいて、車体１０の地図座標（又は果樹園座標における位置座標）である車体位置を算出する。

周辺状態検知ユニット５は、カメラユニット７からの複数の経時的な撮影画像に基づいて車両周辺領域における状態変化を検知して、当該状態変化の内容を示す状態変化情報を出力する。この目的のため、周辺状態検知ユニット５は、撮影視野算出部５１と、画像管理格納部５２と、経時変化検知部５３と、画像認識部５４とを含む。なお、この実施形態では、前脚装置２及び後脚装置３の揺動位置によって、車体１０の姿勢が変動するので、車体１０の姿勢を姿勢検出センサ群４２からの信号に基づいて算出する車体姿勢算出部５５が、周辺状態検知ユニット５に含まれている。

撮影視野算出部５１は、車体位置算出部６１によって算出された撮影時の車体位置と、カメラユニット７の撮影方向と、車体姿勢算出部５５によって算出された車体姿勢に基づいて撮影画像の撮影視野を算出する。もちろん、撮影時の車体姿勢が常にデフォルトの姿勢に保持される場合には、撮影視野の算出において、車体姿勢は無視される。画像管理格納部５２は、撮影画像に撮影時刻と撮影視野とを付与して格納する。

経時変化検知部５３は、撮影視野が同じか、ほぼ同じ撮影画像を画像管理格納部５２から読み出して、それらの撮影画像を経時的に比較して、撮影画像に写されている車両周辺領域の状態変化を検知する。撮影画像の比較による状態変化の検知には、種々の方法を用いることができる。例えば、時間差のある２つの撮影画像の差分を演算し、その差分データから、状態変化を推定する方法、時間差のある２つの撮影画像を入力して、状態変化を出力するように学習されたニューラルネットワークを用いる方法などである。

画像認識部５４は、機械学習されたニューラルネットワーク認識機能を有しており、カメラユニット７から取得した撮影画像から人物検知及び動物検知を行う。周辺状態検知ユニット５は、画像認識部５４による認識結果も、車両周辺領域に生じた状態変化の検知として、取り扱う。したがって、周辺状態検知ユニット５は、経時変化検知部５３によって検知された状態変化及び画像認識部５４によって認識された人物や動物を示す情報を、状態変化情報として出力する。

図５に示されているように、周辺状態検知ユニット５から出力された状態変化情報は、異常判定部６２に送られる。異常判定部６２は、状態変化情報に基づいて、状態変化情報に示されている状態変化が異常事態の発生であるかどうかを判定する。状態変化の時間経過、状態変化した領域の大きさや色などのデータが入力されると、ルールベースアルゴリズム（ルールベースＡＩ）によって、異常事態の発生であるかどうかが判定される。異常状態が発生したとみなされた場合には、異常事態の内容を示す情報が出力される。異常事態としては、樹木の倒れ、果実の散乱、雑草の異常生育、柵や生垣の崩壊などの人為的災害や自然災害が挙げられる。画像認識部５４によって進行方向手前に存在する人物、クマやイノシシなどの大形の動物が認識されている場合は、即座に異常事態の発生とみなされる。もちろん、周辺状態検知ユニット５によって、人物や動物などの出現を状態変化として検知された場合にも同様の処理がなされる。

異常判定部６２によって異常事態の内容を示す情報が出力されると、報知情報出力部６４は、異常事態の発生を示す報知情報を出力する。報知情報出力部６４からの報知情報の出力先は、異常情報によっても異なる。例えば、異常事態が人物や動物の出現であれば、ブザーやスピーカなどの報知デバイス４４を通じて、警告音を発する。

異常事態が人為的災害や自然災害などであれば、報知情報出力部６４は、異常状態を示す情報に、異常場所特定部６３によって特定された異常事態の発生場所を含めた報知情報を生成し、内部メモリに記録する。さらに、報知情報は、リアルタイム処理またはバッチ処理で、外部通信部４３によるデータ通信により、作業管理センタコンピュータ１００の状況管理部１０１に送られ、そこで管理される。なお、異常場所特定部６３は、異常事態の発生時の車体位置と異常事態の発生時のカメラユニット７の撮影方向とに基づいて異常事態の発生場所を特定する。

さらに、異常事態が進行方向手前における人物や動物の出現の場合、作業車１は停車または減速する必要があるので、報知情報出力部６４または異常判定部６２は、そのような走行制御を要求する緊急指令を走行指令生成部６５に送る。走行指令生成部６５は、緊急指令に応答して、作業車１の停車や減速を命じる走行指令を生成し、走行制御部６Ｃに送る。走行制御部６Ｃは、走行指令に基づいて、車両走行機器群７Ａを制御する。

走行制御部６Ｃは、走行指令に基づいて、左前モータ２３ａ、右前モータ２３ｂ、左後モータ３３ａ、右後モータ３３ｂをそれぞれ独立して制御することができる。左前モータ２３ａ及び左後モータ３３ａの速度と、右前モータ２３ｂ及び右後モータ３３ｂの速度とに、差を与えることにより、作業車１の操舵を行うことができる。もちろん、前車輪２２や後車輪３２の操舵輪として構成することも可能である。

この作業車１は、予め設定された目標走行経路と、自車位置と、走行状態検出センサ群４１からの信号とに基づいて自動走行する自動走行モードと、リモコンを用いた遠隔手動走行モードとを有する。自動走行モードでは、走行指令生成部６５は、自動走行プログラムに基づいて、走行指令を生成して、走行制御部６Ｃに与える。遠隔手動走行モードでは、受信した作業者によるリモコン操作信号に基づいて、走行指令を生成して、走行制御部６Ｃに与える。

カメラユニット７の撮影視野が周辺領域の監視に不十分な場合は、カメラユニット７に複数のカメラが備えられるか、１台のカメラの撮影方向を変更するカメラ雲台が備えられる。この場合、カメラユニット７は、所定タイミングで、異なる撮影視野を有する複数の撮影画像を全周囲撮影画像として撮影することができ、周辺領域の監視範囲が拡大される。

作業車１による果樹園の監視作業が一旦終了し、次に監視作業が開始されるまで間に、この果樹園に生じた状態変化を迅速に検知するため、カメラユニット７は作業終了時及び作業開始時に撮影を行い、得られた監視作業終了時と監視作業開始時との撮影画像が比較される。監視作業終了時と監視作業開始時との間に種々の場所で種々の状態変化が生じる可能性が高いので、カメラユニット７は、作業開始時及び作業終了時に全周囲撮影画像を撮影する。

〔その他の実施形態〕
（１）上記実施形態において、周辺状況の監視を行う走行車両として、作業車１を例示したが、特別な作業を行わずに監視だけを行う車両であってもよい。

（２）前脚装置２の駆動装置である前モータ２３は、油圧モータに代えて、電気モータであっても良い。また、後脚装置３の駆動装置である後モータ３３も、油圧モータに代えて、電気モータであっても良い。電気モータへの給電には、エンジン式の自家発電機やバッテリが用いられる。

（３）カメラユニット７だけを車体１０に搭載し、周辺状態検知ユニット５や異常判定部６２を、車体１０との間で通信を用いたデータ交換可能な外部のコンピュータに備えてもよい。

尚、上述の実施形態（別実施形態を含む、以下同じ）で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能である。また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。

本発明は、カメラを搭載した全ての走行車両に適用できる。

１ ：作業車
５ ：周辺状態検知ユニット
６ ：制御ユニット
７ ：カメラユニット
８ ：衛星測位モジュール
１０ ：車体
４１ ：走行状態検出センサ群
４２ ：姿勢検出センサ群
４３ ：外部通信部
５１ ：撮影視野算出部
５２ ：画像管理格納部
５３ ：経時変化検知部
５４ ：画像認識部
５５ ：車体姿勢算出部
６０ ：走行制御部
６１ ：車体位置算出部
６２ ：異常判定部
６３ ：異常場所特定部
６４ ：報知情報出力部
６５ ：走行指令生成部
９１ ：報知デバイス
１００ ：作業管理センタコンピュータ
１０１ ：状況管理部

Claims (7)

1. 周辺状況の監視を行う走行車両であって、
   車体位置を算出する車体位置算出部と、
   車両周辺領域を撮影するカメラユニットと、
   前記カメラユニットからの複数の経時的な撮影画像に基づいて前記車両周辺領域における状態変化を検知して、状態変化情報を出力する周辺状態検知ユニットと、
   前記状態変化情報に基づいて、前記状態変化が異常事態の発生であるかどうかを判定する異常判定部と、
   前記異常事態の発生を示す報知情報を出力する報知情報出力部と、
   を備える走行車両。
2. 前記周辺状態検知ユニットは、撮影時の前記車体位置と前記カメラユニットの撮影方向とに基づいて前記撮影画像の撮影視野を算出する撮影視野算出部と、前記撮影画像に撮影時刻と前記撮影視野とを付与して格納する画像管理格納部と、前記撮影視野が同じかほぼ同じ前記撮影画像を経時的に比較して前記状態変化を検知する経時変化検知部とを含む請求項１に記載の走行車両。
3. 前記カメラユニットは、所定タイミングで、異なる撮影視野を有する複数の撮影画像を全周囲撮影画像として撮影する請求項２に記載の走行車両。
4. 前記カメラユニットが、特定作業地での作業開始時及び作業終了時に前記全周囲撮影画像を撮影する請求項３に記載の走行車両。
5. 前記周辺状態検知ユニットは、前記状態変化の検知として、前記撮影画像から人物検知及び動物検知を行う画像認識部を含む請求項１から４のいずれか一項に記載の走行車両。
6. 前記異常事態が前記人物検知または前記動物検知に基づく場合、警告音が出力される請求項５に記載の走行車両。
7. 前記異常事態の発生時の前記車体位置と前記カメラユニットの撮影方向とに基づいて前記異常事態の発生場所を特定する異常場所特定部が備えられ、前記発生場所が前記報知情報に含まれる請求項１から６のいずれか一項に記載の走行車両。

Images