JP2020194253A - 障害物判定システム及び自律走行システム - Google Patents

障害物判定システム及び自律走行システム Download PDF

Info

Publication number
JP2020194253A
JP2020194253A JP2019098259A JP2019098259A JP2020194253A JP 2020194253 A JP2020194253 A JP 2020194253A JP 2019098259 A JP2019098259 A JP 2019098259A JP 2019098259 A JP2019098259 A JP 2019098259A JP 2020194253 A JP2020194253 A JP 2020194253A
Authority
JP
Japan
Prior art keywords
obstacle
work machine
operation information
work
tractor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019098259A
Other languages
English (en)
Inventor
雅人 安達
Masato Adachi
雅人 安達
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanmar Power Technology Co Ltd
Original Assignee
Yanmar Power Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanmar Power Technology Co Ltd filed Critical Yanmar Power Technology Co Ltd
Priority to JP2019098259A priority Critical patent/JP2020194253A/ja
Priority to CN202080034683.6A priority patent/CN113825389A/zh
Priority to US17/614,506 priority patent/US20220201923A1/en
Priority to PCT/JP2020/010147 priority patent/WO2020240983A1/ja
Priority to KR1020217035737A priority patent/KR20220012843A/ko
Priority to EP20813687.9A priority patent/EP3977840A1/en
Publication of JP2020194253A publication Critical patent/JP2020194253A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01BSOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00Type of vehicle
    • B60Y2200/20Off-Road Vehicles
    • B60Y2200/22Agricultural vehicles
    • B60Y2200/221Tractors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Guiding Agricultural Machines (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)

Abstract

【課題】作業機の種類に関係なく、作業機が障害物と誤判定されにくくするとともに、作業車両の周囲の障害物の有無を判定することが可能な障害物判定システムを提供する。【解決手段】障害物判定システムは、作業機が取り付けられた作業車両の周囲の障害物の有無を判定する。この障害物判定システムは、障害物センサと、作成部と、判定部と、を備える。障害物センサは、障害物を検出するとともに検出範囲内に作業機が含まれている。作成部は、作業機を動かしながら当該作業機を障害物センサで検出することで、当該作業機の動きを示す動作情報を作成する。判定部は、動作情報と、障害物センサの検出結果と、に基づいて、作業機以外の物体を認識して障害物の有無を判定する。【選択図】図3

Description

本発明は、主として、作業車両の周囲の障害物の判定を行う障害物判定システムに関する。
特許文献1の作業車両には、障害物センサが設けられている。障害物センサは、障害物検出範囲に存在する障害物を検出する。また、この作業車両は、作業機(作業装置)により作業を行うことが可能である。また、障害物センサの障害物検出範囲に、作業機が位置することがある。そのため、この作業車両では、作業機が障害物と判定されることを防止するため、マスキング機能を有する。マスキング機能とは、障害物検出範囲のうちユーザが予め定めたマスキング範囲については、障害物の判定を行わない機能である。作業機が位置し得る範囲をマスキング範囲に設定することで、作業機が障害物と判定されることが抑制される。
特開2018−113937号公報
しかし、マスキング範囲を大きく設定し過ぎると、障害物センサが障害物を検出可能な範囲が狭くなる。一方で、マスキング範囲を小さく設定し過ぎると作業機が障害物として検出される可能性がある。
本発明は以上の事情に鑑みてされたものであり、その主要な目的は、作業機が障害物と誤判定されにくくするとともに、作業車両の周囲の広い範囲について障害物の有無を判定することが可能な障害物判定システムを提供することにある。
課題を解決するための手段及び効果
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。
本発明の第1の観点によれば、以下の構成の障害物判定システムが提供される。即ち、障害物判定システムは、作業機が取り付けられた作業車両の周囲の障害物の有無を判定する。この障害物判定システムは、障害物センサと、作成部と、判定部と、を備える。前記障害物センサは、障害物を検出するとともに検出範囲内に前記作業機が含まれている。前記作成部は、前記作業機を動かしながら当該作業機を前記障害物センサで検出することで、当該作業機の動きを示す動作情報を作成する。前記判定部は、前記動作情報と、前記障害物センサの検出結果と、に基づいて、前記作業機以外の物体を認識して障害物の有無を判定する。
これにより、作業機が障害物と誤認識される可能性を低くしつつ、かつ、作業車両の周囲の広い範囲について障害物の有無を判定することができる。従って、障害物の検出精度を高くすることができる。また、取り付ける作業機の形状に関係なく、障害物判定システムを機能させることができる。そのため、例えば、新たな作業機に交換されたり、作業機の形状が変更されたり、作業機に作業道具等が取り付けられたりした場合等においても、問題なく障害物判定を行うことができる。
前記の障害物判定システムにおいては、以下の構成とすることが好ましい。即ち、前記障害物センサは、検出対象物までの距離を測定可能である。前記作成部は、測定した距離が閾値未満の前記検出対象物を用いるとともに、測定した距離が閾値以上の前記検出対象物を用いることなく前記動作情報を作成する。
これにより、動作情報の作成時において、作業車両から遠い位置に物体が存在していた場合でも、適切な動作情報を作成できる。
前記の障害物判定システムにおいては、前記作成部は、当該作成部が作成した前記動作情報と、前記作業車両の作業中において前記障害物センサによる前記作業機の検出結果と、が異なると判定した場合、当該検出結果に基づいて、前記動作情報を更新することが好ましい。
これにより、作業機の形状が若干変化したり、作業機に別の物が新たに取り付けられたりした場合においても、それに応じた動作情報を用いて障害物の判定を行うことができる。
本発明の第2の観点によれば、前記の障害物判定システムを備え、以下の特徴を有する自律走行システムが提供される。即ち、前記作業車両は、測位衛星システムを利用して自律走行することが可能である。自律走行の実行中における障害物判定の有効又は無効を設定可能である。障害物判定が有効である場合は、前記動作情報の取得を、自律走行の開始条件として含める。障害物判定が無効である場合は、前記動作情報の取得を、自律走行の開始条件として含めない。
これにより、動作情報を取得した状態で自律走行を行うことをユーザに促すことができる。
本発明の一実施形態に係る障害物判定システムが適用されるトラクタの全体的な構成を示す側面図。 障害物判定システムを含む自律走行システムの主要な構成を示すブロック図。 障害物判定で用いる動作情報を作成する処理を示すフローチャート。 作業機が最も高い位置にある状態でリアカメラが検出した画像を示す図。 作業機が中途位置にある状態でリアカメラが検出した画像を示す図。 作業機が最も低い位置にある状態でリアカメラが検出した画像を示す図。 動作情報の準備が完了した後に自律走行を許可する処理を示すフローチャート。 障害物判定を示すフローチャート。 障害物判定時において、作業機以外の部分にある障害物を検出した際にリアカメラが検出した画像を示す図。
次に、本発明の実施形態について説明する。本実施形態の障害物判定システムは、自律走行を行う作業車両に適用されており、作業車両の周囲の障害物の有無を判定する。また、以下の説明では、作業車両を自律走行させるシステムを自律走行システムと称する。自律走行システムは、圃場(走行領域)で1台又は複数台の作業車両を自律的に走行させて、作業の全部又は一部を実行させるものである。本明細書において自律走行とは、作業車両が備える走行に関する構成がECU等の制御部により制御されることで、予め定められた経路に沿うように少なくとも操舵が自律的に行われることを意味する。また、操舵に加え、車速又は作業機による作業等が自律的に行われる構成であってもよい。自律走行には、作業車両に人が乗っている場合と、作業車両に人が乗っていない場合が含まれる。
本実施形態では、作業車両としてトラクタを例にして説明する。なお、トラクタ以外に、田植機、コンバイン、土木・建設車両、除雪車等にも本実施形態の障害物判定システムを適用可能である。例えば田植機の場合は苗を植え付ける植付部が作業機に相当し、コンバインの場合は穀稈を刈り取る刈取部が作業機に相当する。
次に、図1及び図2を参照して自律走行システム100について具体的に説明する。図1は、トラクタ1の全体的な構成を示す側面図である。図2は、障害物判定システム200を含む自律走行システム100の主要な構成を示すブロック図である。
図1に示すトラクタ1は、自律走行システム100で用いられる。トラクタ1は、無線通信端末70から受信した指示に基づいて動作可能に構成されている。トラクタ1は、圃場内を自律走行することが可能な走行機体(車体部)2を備える。走行機体2には、例えば農作業を行うための作業機3が着脱可能に取り付けられている。
この作業機3としては、例えば、耕耘機、プラウ、施肥機、草刈機、播種機等の種々の作業機があり、これらの中から選択された作業機3が走行機体2に装着される。図1には、作業機3として耕耘機が取り付けられた例が示されている。耕耘機はカバー3aの内側に耕耘爪3bが配置されており、この耕耘爪3bが車幅方向を回転中心として回転することによって圃場を耕耘する。
トラクタ1の構成について、図1を参照してより詳細に説明する。トラクタ1の走行機体2は、図1に示すように、その前部が左右1対の前輪(車輪)7,7で支持され、その後部が左右1対の後輪8,8で支持されている。
走行機体2の前部にはボンネット9が配置されている。このボンネット9内には、トラクタ1の駆動源であるエンジン10及び燃料タンク(図略)が収容されている。このエンジン10は、例えばディーゼルエンジンにより構成することができるが、これに限るものではなく、例えばガソリンエンジンにより構成してもよい。また、駆動源としては、エンジンに加えて、又はこれに代えて、電気モータを使用してもよい。
ボンネット9の後方には、ユーザが搭乗するためのキャビン11が配置されている。このキャビン11の内部には、ステアリングハンドル(操舵具)12と、座席13と、メータパネル14と、サブディスプレイ15と、その他の操作を行うための様々な操作具と、が主として設けられている。トラクタ1は、キャビン11を備えていてもよいし、キャビン11を備えていなくてもよい。
ステアリングハンドル12は、ユーザが操舵を行うための操作具である。座席13は、トラクタ1を操作したり自律走行を監視したりするユーザが着座する箇所である。メータパネル14は、走行速度、エンジン回転速度、作業機の状態、警告灯等を表示可能である。サブディスプレイ15は、自律走行に関する情報、トラクタ1又は作業機3の状態に関する情報等を表示可能である。
図1に示すように、走行機体2の下部には、トラクタ1のシャーシ20が設けられている。当該シャーシ20は、機体フレーム21、トランスミッション22、フロントアクスル23、及びリアアクスル24等から構成されている。
機体フレーム21は、トラクタ1の前部における支持部材であって、直接、又は防振部材等を介してエンジン10を支持している。トランスミッション22は、エンジン10からの動力を変化させてフロントアクスル23及びリアアクスル24に伝達する。フロントアクスル23は、トランスミッション22から入力された動力を前輪7に伝達するように構成されている。リアアクスル24は、トランスミッション22から入力された動力を後輪8に伝達するように構成されている。
図2に示すように、トラクタ1は、制御部4を備える。制御部4は公知のコンピュータとして構成されており、図示しないCPU等の演算装置、不揮発性メモリ等の記憶装置、及び入出力部等を備える。記憶装置には、各種のプログラム及びトラクタ1の制御に関するデータ等が記憶されている。演算装置は、各種のプログラムを記憶装置から読み出して実行することができる。上記のハードウェアとソフトウェアの協働により、制御部4を走行制御部4a、作業機制御部4b、作成部4c、判定部4d、登録部4eとして動作させることができる。
走行制御部4aは、走行機体2の走行(前進、後進、停止及び旋回等)を制御する。作業機制御部4bは、作業機3の動作(昇降、駆動及び停止等)を制御する。なお、制御部4は、これら以外の制御(例えば撮影した画像の解析等)を行うこともできる。また、制御部4は、1つのコンピュータから構成されていてもよいし、複数のコンピュータから構成されていてもよい。
走行制御部4aは、トラクタ1の車速を制御する車速制御と、トラクタ1を操舵する操舵制御と、を行う。制御部4は、車速制御を行う場合、エンジン10の回転速度及びトランスミッション22の変速比の少なくとも一方を制御する。
具体的には、エンジン10には、当該エンジン10の回転速度を変更させる図略のアクチュエータを備えたガバナ装置41が設けられている。走行制御部4aは、ガバナ装置41を制御することで、エンジン10の回転速度を制御することができる。また、エンジン10には、エンジン10の燃焼室内に噴射(供給)するための燃料の噴射時期・噴射量を調整する燃料噴射装置42が付設されている。走行制御部4aは、燃料噴射装置42を制御することで、例えばエンジン10への燃料の供給を停止させ、エンジン10の駆動を停止させることができる。
また、トランスミッション22には、例えば可動斜板式の油圧式無段変速装置である変速装置43が設けられている。走行制御部4aは、変速装置43の斜板の角度を図略のアクチュエータによって変更することで、トランスミッション22の変速比を変更する。以上の処理を行うことにより、トラクタ1が目標の車速に変更される。
走行制御部4aは、操舵制御を行う場合、ステアリングハンドル12の回動角度を制御する。具体的には、ステアリングハンドル12の回転軸(ステアリングシャフト)の中途部には、操舵アクチュエータ44が設けられている。この構成で、予め定められた経路をトラクタ1が走行する場合、制御部4は、当該経路に沿ってトラクタ1が走行するようにステアリングハンドル12の適切な回動角度を計算し、得られた回動角度となるように操舵アクチュエータ44を駆動し、ステアリングハンドル12の回動角度を制御する。
作業機制御部4bは、作業実行条件を満たすか否かに基づいて、PTOスイッチを制御することで、作業機3の駆動と停止を切り替える。また、作業機制御部4bは、作業機3の昇降を制御する。具体的には、トラクタ1は、作業機3を走行機体2に連結している3点リンク機構の近傍に、油圧シリンダ等からなる昇降アクチュエータ45を備えている。作業機制御部4bが昇降アクチュエータ45を駆動して作業機3を適宜に昇降動作させることにより、所望の高さで作業機3による作業を行うことができる。
作成部4c、判定部4d、登録部4eは、後述の障害物判定に関する処理を行う。
上述のような制御部4を備えるトラクタ1は、ユーザがキャビン11内に搭乗して各種操作をしなくとも、当該制御部4によりトラクタ1の各部(走行機体2、作業機3等)を制御して、圃場内を自律走行しながら自律作業を行うことができる。
次に、自律走行を行うために必要な情報を取得する構成について説明する。具体的には、本実施形態のトラクタ1は、図2等に示すように、測位用アンテナ61、無線通信用アンテナ63、慣性計測装置51、車速センサ52、及び舵角センサ53等を備える。
測位用アンテナ61は、例えば衛星測位システム(GNSS)等の測位システムを構成する測位衛星からの信号を受信するものである。測位用アンテナ61で受信された測位信号は、図2に示す位置検出部としての位置情報取得部62に入力される。位置情報取得部62は、トラクタ1の走行機体2(厳密には、測位用アンテナ61)の位置情報を、例えば緯度・経度情報として算出し、取得する。当該位置情報取得部62で取得された位置情報は、制御部4に入力されて、自律走行に利用される。
なお、本実施形態ではGNSS−RTK法を利用した高精度の衛星測位システムが用いられているが、これに限るものではなく、高精度の位置座標が得られる限りにおいて他の測位システムを用いてもよい。例えば、相対測位方式(DGPS)、又は静止衛星型衛星航法補強システム(SBAS)を使用することが考えられる。
無線通信用アンテナ63は、ユーザが操作する無線通信端末70との間でデータをやり取りするためのアンテナである。無線通信用アンテナ63で受信した無線通信端末70からの信号は、図2に示す通信処理部64で信号処理された後、制御部4に入力される。また、制御部4等から無線通信端末70に送信する信号は、通信処理部64で信号処理された後、無線通信用アンテナ63から送信されて無線通信端末70で受信される。
慣性計測装置51は、トラクタ1(走行機体2)の姿勢や加速度等を特定することが可能なセンサユニットである。具体的には、慣性計測装置51は、互いに直交する第1軸、第2軸、及び第3軸のそれぞれに対して、角速度センサと加速度センサとを取り付けたセンサ群を備える。なお、トラクタ1の姿勢とは、例えば、トラクタ1のロール角、ピッチ角、及びヨー角である。
また、測位用アンテナ61、位置情報取得部62、無線通信用アンテナ63、通信処理部64、及び慣性計測装置51は、図1に示すアンテナユニット6を構成している。また、アンテナユニット6には、携帯通信回線を介して外部のサーバ等と通信するためのアンテナが更に含まれていてもよい。
上記の車速センサ52は、トラクタ1の車速を検出するものであり、例えば前輪7,7の間の車軸に設けられる。車速センサ52で得られた検出結果のデータは、制御部4へ出力される。なお、トラクタ1の車速は車速センサ52で検出せずに、測位用アンテナ61に基づいて所定距離におけるトラクタ1の移動時間に基づいて算出してもよい。
舵角センサ53は、前輪7,7の舵角を検出するセンサである。本実施形態において、舵角センサ53は前輪7,7に設けられた図示しないキングピンに備えられている。舵角センサ53で得られた検出結果のデータは、制御部4へ出力される。なお、舵角センサ53をステアリングシャフトに備える構成としてもよい。
また、トラクタ1は、障害物センサとして、フロントカメラ54、リアカメラ55、フロントLiDAR56、及びリアLiDAR57を備える。
フロントカメラ54はトラクタ1の前方を撮影して、画像(又は動画)を取得する。リアカメラ55はトラクタ1の後方を撮影して、画像(又は動画)を取得する。ここで取得される画像は、画素毎に色情報(色相、彩度、及び明度)の情報が設定されたものである。フロントカメラ54及びリアカメラ55は、例えばトラクタ1のルーフ5に取り付けられている。フロントカメラ54及びリアカメラ55が取得した画像は、通信処理部64により、無線通信用アンテナ63から無線通信端末70に送信される。この画像を受信した無線通信端末70は、その内容を画面に表示する。また、フロントカメラ54及びリアカメラ55が取得した画像は、障害物判定にも用いられる(詳細は後述)。
フロントLiDAR56は、トラクタ1の前方を検出する。リアLiDAR57は、トラクタ1の後方を検出する。LiDARとは、パルス光を照射することで、周囲の物体の有無を反射光により検出する装置である。物体がある場合は、LiDARは、反射光を受光したときのパルス光の向きと、受光までの時間と、に基づいて、当該物体の方位と距離を検出する。LiDARは、この検出結果に基づいて、周囲に存在する物体を表す周囲データを作成する。また、フロントLiDAR56及びリアLiDAR57は、例えばトラクタ1のルーフ5に取り付けられている。フロントLiDAR56及びリアLiDAR57が検出した周囲データは、障害物判定に用いられる(詳細は後述)。周囲データの形式は様々であるが、距離画像の形式とすることができる。距離画像とは、画素毎に、LiDARから検出対象物までの距離の情報を設定した画像である。
図2に示す無線通信端末70は、ディスプレイ及びタッチパネルを備える。無線通信端末70は、タブレット端末であるが、スマートフォン又はノートPC等であってもよい。なお、トラクタ1にユーザが搭乗した状態でトラクタ1に自律走行を行わせる場合は、トラクタ1側(例えば制御部4)に無線通信端末70と同じ機能を持たせてもよい。ユーザは、無線通信端末70のディスプレイに表示された情報を参照して確認することができる。また、ユーザは、タッチパネル又はハードウェアキー等を操作して、トラクタ1の制御部4に、トラクタ1を制御するための制御信号(例えば、一時停止信号等)を送信することができる。また、無線通信端末70は、ユーザの操作に基づいて、トラクタ1を自律走行させるための経路を作成することもできる。
次に、図3から図9を参照して、障害物判定について説明する。障害物判定は、障害物判定システム200によって行われる。障害物判定システム200は、障害物センサ(フロントカメラ54、リアカメラ55、フロントLiDAR56、リアLiDAR57)と、制御部4(特に、作成部4c、判定部4d、登録部4e)と、によって行われる。本実施形態では、トラクタ1側の制御部4が障害物判定に関する演算処理を行うが、少なくとも一部の処理を無線通信端末70が行ってもよい。
初めに、図3から図6を参照して、障害物判定を行うための事前処理について説明する。以下では、トラクタ1の後方の障害物判定について説明するが、後述するように、トラクタ1の前方においても同様の障害物判定を行うことが可能である。
本実施形態では、作業機3がトラクタ1の後方に取り付けられている。また、リアカメラ55及びリアLiDAR57の検出範囲に作業機3が含まれている。そのため、本実施形態では、障害物センサの検出結果から作業機3を除くための情報(以下、動作情報)が作業機3毎に作成されて登録される。以下、動作情報の作成に関する流れについて説明する。
制御部4は、例えば作業機3の交換後、自律走行の準備中、トラクタ1の起動後等において、現在装着中の作業機3について、動作情報が登録済みか否かを判定する(S101)。制御部4は、例えばオペレータが入力した情報に基づいて、現在装着されている作業機3を認識できる。あるいは、制御部4は、作業機3と通信を行うことにより、現在装着されている作業機3を認識してもよい。制御部4は、現在装着中の作業機3に動作情報が登録済みである場合、新たな動作情報の作成は不要であるため、処理を終了する。
制御部4は、現在装着中の作業機3に動作情報が登録されていない場合、例えばサブディスプレイ15等にその旨を表示して、動作情報の登録を促す画面を表示する。そして、動作情報の登録を行う旨のユーザからの指示を受信したと判定した場合(S102)、動作情報の登録を行う。具体的には、制御部4は、ユーザの操作に基づいて又は自動で作業機3を動作させる(S103)。なお、動作情報の登録には、作業機3を実際に動作させる必要があるため、ステップS102のユーザの指示があった後に動作情報の登録を行うこととしている。
また、ステップS103で作業機3を動作させている間において、動作中の作業機3を障害物センサ(本実施形態ではリアカメラ55及びリアLiDAR57)で検出する(S104)。障害物センサによる検出は所定の時間間隔で行われ、作業機3の1つの動作につき、複数の色画像又は複数の距離画像(周囲データ)が取得される。
ここで、ステップS103において作業機3に行わせる動作は、作業機3によって異なる。例えば耕耘機のように昇降可能な作業機3の場合、作業機3を昇降させる。また、作業機3が開閉可能であったり、回転可能であったりする場合、作業機3を開閉又は回転させる。一方で、障害物センサの検出範囲において作業機3が占める領域が変化しない動作(例えば耕耘爪3bの回転)については、ステップS103において必ずしも行う必要がない。言い換えれば、障害物センサの検出範囲において作業機3が占める領域が変化する動作を行って、障害物センサで検出すれば十分である。なお、複数種類の動作を行う作業機3については、全ての種類の動作を障害物センサで検出することが好ましい。
図4から図6には、耕耘機としての作業機3を昇降させた際に、リアカメラ55が検出した画像が示されている。図4は、作業機3が最も高い位置にある状態でリアカメラ55が検出した画像である。図5は、作業機3が中途位置にある状態でリアカメラ55が検出した画像である。図6は、作業機3が最も低い位置にある状態でリアカメラ55が検出した画像である。本実施形態では、作業機3の昇降について、3枚の画像のみが示されているが、より多くの画像が取得されることが好ましい。
また、これらの図には、作業道具85が取り付けられた作業機3が示されている。作業道具85は、トラクタ1又は作業機3をメンテナンスするための道具、又は、圃場で作業を行うための道具等である。作業道具85は、作業機3の付属品ではなく、ユーザの判断で取り付けた物である。作業道具85は厳密には作業機3ではないが、作業機3に取り付けられており、作業機3と一体的に動作するため、障害物判定システム200の障害物判定では、作業機3の一部として取り扱われる。
次に、制御部4(作成部4c)は、ステップS104で得られた検出結果に基づいて、動作情報を作成する(S105)。動作情報は、作業機3が動作した際に、当該作業機3が障害物センサによってどのように検出されているかを示す情報である。障害物センサがカメラの場合、例えば、カメラが取得した色画像から作業機3を抽出した抽出画像が動作情報に該当する。また、障害物センサがLiDARの場合も、例えば、LiDARが取得した距離画像から作業機3を抽出した抽出画像が動作情報に該当する。カメラ又はLiDARは、様々な状態の作業機3を撮影しているため、動作情報に含まれる抽出画像も基本的には複数である。
なお、仮に、カメラ又はLiDARが作業機3だけでなく、トラクタ1(前輪7、後輪8、ボンネット9等)を検出している場合は、当該トラクタ1を動作情報に含めてもよい。特に、前方の障害物センサが前輪7を検出している場合、例えばステアリングハンドル12を動作させることで、舵角が異なる前輪7を動作情報として登録してもよい。従って、以下の動作情報の説明において、「作業機3」と記載されている箇所を「作業機3及びトラクタ1」等と読み替えることもできる。
動作情報の作成時において、障害物センサの検出結果(色画像又は距離画像)から、作業機3以外の情報を取り除く処理が行われる。作業機3以外の情報を取り除く方法としては、例えば距離に応じて選別を行う方法がある。近年では、単一のカメラで取得した画像であっても、画像内の対象物の距離を推定する方法が提案されている。また、LiDARであれば、距離画像の各画素の情報に基づいて、対象物までの距離を検出できる。作業機3は、他の対象物よりも障害物センサに近いと考えられるので、距離が閾値未満の対象物を用いて、かつ、距離が閾値以上の対象物を用いずに、動作情報を作成できる。これにより、障害物センサからの距離が閾値以上の遠い位置にある対象物(例えば図4に示すトラック81や、図略の建物等)を動作情報から除外することができる。なお、上述した作業道具85については、障害物センサまでの距離が作業機3と同じであるため、作業道具85を含めた作業機3について、動作情報を作成できる。
また、障害物センサがカメラの場合、画像認識によって作業機3を特定してもよい。即ち、様々な作業機3の様々な状態の画像を予め学習しておき、障害物センサとしてのカメラが検出した画像とのマッチング等を行うことで、当該画像に含まれる作業機3を特定できる。また、画像認識により、人を認識可能である場合、仮に障害物センサから人までの距離が近い場合でも、人が表れている範囲を抽出画像から除外することが好ましい。また、人以外についても、明らかに作業機3又は作業道具85等とは異なる物を認識可能であれば、これらの物を抽出画像から除外してもよい。
制御部4は、作成した動作情報を、作業機3を特定するための情報(識別情報)と対応付けて、登録部4eに登録する(S105)。
なお、動作情報の登録前に、動作情報をユーザに提示して確認を要求してもよい。つまり、動作情報は、色画像又は距離画像から作業機3を抽出した抽出画像の集合であるため、これらの抽出画像をサブディスプレイ15等に表示する。ユーザは、これらの抽出画像を見ることで、動作情報を確認できる。なお、障害物等が抽出画像に表れている場合や、作業機3の全体が抽出画像に表れていない場合、動作情報を修正することが好ましい。具体的には、ユーザは、修正が必要な範囲を選択すること等により、動作情報を修正可能である。
次に、図7を参照して、動作情報の登録の有無に基づいて、自律走行の開始を許可するか否か判定する処理について説明する。
障害物判定システム200による障害物判定は、主として自律走行中に行われる。また、例えばユーザがトラクタ1に乗車して自ら障害物の有無を判断する場合等は、障害物判定システム200による障害物判定がなくとも、自律走行が可能である。従って、障害物判定システム200による障害物判定は、有効又は無効を切替可能となっている。本実施形態では、障害物判定システム200による障害物判定が有効である場合は、動作情報が登録されている場合にのみ、自律走行が許可される。以下、具体的に説明する。
制御部4又は無線通信端末70は、自律走行の準備中等において、自律走行中の障害物判定が有効か否かを判定する(S201)。障害物判定が有効である場合、制御部4又は無線通信端末70は、現在装着中の作業機3の動作情報が登録済みか否かを判定する(S202)。動作情報が登録されていない場合は、障害物判定を適切に行うことができない。従って、制御部4又は無線通信端末70は、動作情報の登録をユーザに要請する(S203)。ユーザへの要請は、例えば、動作情報を登録しないと自律走行が開始できないことを無線通信端末70又はサブディスプレイ15等に表示することで行われる。
動作情報が登録された場合、又は、ステップS201で障害物判定が無効である場合、制御部4又は無線通信端末70は、他の自律走行の開始条件(例えば、トラクタ1がスタート地点に位置していること)を満たすか否かを判定する(S204)。他の自律走行条件を満たす場合、制御部4又は無線通信端末70は、自律走行を許可する(S205)。
次に、図8を参照して、障害物判定システム200による障害物判定について説明する。
制御部4は、障害物判定が有効か否かを判定し(S301)、有効である場合に、以下の処理を行う。初めに、制御部4の判定部4dは、障害物センサの検出結果を取得する(S302)。ここで取得する検出結果(色画像、距離画像)には、作業機3が含まれている。次に、判定部4dは、現在装着中の作業機3の動作情報に基づいて、検出結果の画像のうち作業機3を示す範囲を特定する。具体的には、判定部4dは、動作情報として登録されている複数の作業機3の画像と、検出結果の画像と、のマッチングを行うことにより、検出結果の画像に表れている作業機3を特定できる。
次に、判定部4dは、検出結果の画像のうち、作業機3以外の範囲に障害物(木、岩、建物、人等)が存在するか否かを判定する(S304)。判定部4dは、作業機3以外の範囲に障害物があると判定した場合、障害物対応処理を行う(S305)。障害物対応処理とは、ユーザに警告したり、トラクタ1を減速又は停止させたり、トラクタ1を旋回させて障害物を回避したりする処理である。障害物対応処理は、障害物までの距離及び障害物が位置する方向に応じて異なっていてもよい。
ここで、作業機の形状及び動きに基づいて、上述のマスキング範囲を作成することでも、作業機を除いた範囲における障害物の検出は可能である。しかし、マスキング範囲を作成する場合、作業機がどのような姿勢であってもマスキング範囲から逸脱しないように、大きなマスキング範囲を設定する必要がある。従って、障害物の検出精度が低くなる。また、特にトラクタでは様々な種類の作業機を取付可能であるため、それらの全てについて予めマスキング範囲を作成することは現実的でない。更に、作業機に作業道具等を取り付けた場合、作業道具を障害物として認識してしまうことがある。
これに対し、本実施形態では、作業機3を動作させて動作情報を作成するため、あらゆる作業機3に対して、作業機3を除いた範囲に対してのみ障害物の有無を判定できる。更に、作業道具85等が作業機3に取り付けられていても、作業道具85等が障害物として判定されることがない。
また、ステップS303において、動作情報に基づいて、作業機3の範囲を特定できない事態も考えられる。この場合、図9に示す処理を行ってもよい。以下、詳細に説明する。
初めに、制御部4は、障害物センサの検出結果に表れる作業機3と、動作情報に含まれる作業機3と、の一致度を算出する(S401)。この一致度が高いほど、障害物センサの検出結果に表れる作業機を確実に特定できていることとなる。
制御部4は、この一致度が第1閾値以上と判定した場合(S402)、障害物センサの検出結果に表れる作業機3を特定する精度が十分高いため、図8の障害物判定を続行する(S403)。一方、一致度が第1閾値未満である場合、制御部4は、一致度が第2閾値(<第1閾値)以下であるか否かを判定する(S404)。一致度が第2閾値以下である場合、障害物センサの検出結果に表れる作業機3を特定する精度が低過ぎるため、動作情報の再登録をユーザに要請する(S405)。ユーザへの要請は、例えば、取り付けた作業機3と、動作情報の作業機3と、が異なるため、動作情報の再登録が必要であることを無線通信端末70又はサブディスプレイ15等に表示することで行われる。
一方、一致度が第2閾値より大きく第1閾値未満である場合、障害物センサの検出結果に表れる作業機3と、動作情報に含まれる作業機3と、の違いは僅かである。例えば、作業道具85の位置が変わったり、作業機3のガタツキ等で僅かに位置が変わったりした程度の違いである。この場合、障害物センサの検出結果に基づいて、動作情報を修正できる。そのため、制御部4は、動作情報の修正の要否をユーザに問い合わせる(S406)。
制御部4は、ユーザから修正の指示があったと判定した場合(S407)、障害物センサの検出結果に基づいて、動作情報を修正する(S408)。制御部4は、ユーザから修正しない旨の指示があった場合、動作情報の再登録をユーザに要請する(S405)。
図9に示す処理を行うことにより、障害物センサの検出結果に表れる作業機3と、動作情報に含まれる作業機3と、の一致度が低い場合においても、適切な処理を行うことができる。
以上に説明したように、本実施形態の障害物判定システム200は、作業機3が取り付けられたトラクタ1の周囲の障害物の有無を判定する。この障害物判定システム200は、障害物センサ(フロントカメラ54、リアカメラ55、フロントLiDAR56、リアLiDAR57)と、作成部4cと、判定部4dと、を備える。障害物センサは、障害物を検出するとともに検出範囲内に作業機3が含まれている。作成部4cは、作業機3を動かしながら当該作業機3を障害物センサで検出することで、当該作業機3の動きを示す動作情報を作成する。判定部4dは、動作情報と、障害物センサの検出結果と、に基づいて、作業機3以外の物体を認識して障害物の有無を判定する。
これにより、作業機3が障害物と誤認識される可能性を低くしつつ、かつ、トラクタ1の周囲の広い範囲について障害物の有無を判定することができる。従って、障害物の検出精度を高くすることができる。また、取り付ける作業機3の形状に関係なく、障害物判定システム200を機能させることができる。そのため、例えば、新たな作業機3に交換されたり、作業機3の形状が変更されたり、作業機3に作業道具85等が取り付けられたりした場合等においても、問題なく障害物判定を行うことができる。
また、本実施形態の障害物判定システム200において、障害物センサは、検出対象物までの距離を測定可能である。作成部4cは、測定した距離が閾値未満の検出対象物を用いるとともに、測定した距離が閾値以上の検出対象物を用いることなく動作情報を作成する。
これにより、動作情報の作成時において、トラクタ1から遠い位置に物体が存在していた場合でも、適切な動作情報を作成できる。
また、本実施形態の障害物判定システム200において、作成部4cが作成した動作情報と、トラクタ1の作業中における障害物センサによる作業機3の検出結果と、が異なる場合、当該検出結果に基づいて、動作情報を更新する。
これにより、作業機3の形状が若干変化したり、作業機3に別の物が新たに取り付けられたりした場合においても、それに応じた動作情報を用いて障害物の判定を行うことができる。
また、本実施形態の自律走行システム100は、障害物判定システム200を備える。また、自律走行システム100により、トラクタ1は、測位衛星システムを利用して自律走行することが可能である。自律走行システム100では、自律走行の実行中における障害物判定の有効又は無効を設定可能である。障害物判定が有効である場合は、動作情報の取得を、自律走行の開始条件として含める。障害物判定が無効である場合は、動作情報の取得を、自律走行の開始条件として含めない。
これにより、動作情報を取得した状態で自律走行を行うことをユーザに促すことができる。
以上に本発明の好適な実施の形態を説明したが、上記の構成は例えば以下のように変更することができる。
上記実施形態では、トラクタ1の後方に作業機3が取り付けられており、この作業機3が障害物と判定されないように動作情報を作成する構成である。なお、トラクタ1は、前方にも作業機3(例えば、フロントローダ)を取付可能である。この場合においても、同様の処理を行うことで、前方の作業機3が障害物と判定されないようにすることができる。
上記実施形態で示したフローチャートは一例であり、一部の処理を省略したり、一部の処理の内容を変更したり、新たな処理を追加したりしてもよい。例えば、ステップS101において、動作情報が登録済みの場合は特に処理を行わないが、動作情報を再登録するかをユーザに問い合わせてもよい。
上記実施形態では、障害物センサとして、カメラ及びLiDARを備える構成を例として挙げて説明したが、カメラとLiDARの一方を省略してもよい。また、カメラとLiDAR以外のセンサ(例えば、赤外線センサ又はソナー)を障害物センサとして用いることもできる。
1 トラクタ(作業車両)
4 制御部
4c 作成部
4d 判定部
4e 登録部
54 フロントカメラ(障害物センサ)
55 リアカメラ(障害物センサ)
56 フロントLiDAR(障害物センサ)
57 リアLiDAR(障害物センサ)
100 自律走行システム
200 障害物判定システム

Claims (4)

  1. 作業機が取り付けられた作業車両の周囲の障害物の有無を判定する障害物判定システムにおいて、
    障害物を検出するとともに検出範囲内に前記作業機が含まれている障害物センサと、
    前記作業機を動かしながら当該作業機を前記障害物センサで検出することで、当該作業機の動きを示す動作情報を作成する作成部と、
    前記動作情報と、前記障害物センサの検出結果と、に基づいて、前記作業機以外の物体を認識して障害物の有無を判定する判定部と、
    を備えることを特徴とする障害物判定システム。
  2. 請求項1に記載の障害物判定システムであって、
    前記障害物センサは、検出対象物までの距離を測定可能であり、
    前記作成部は、測定した距離が閾値未満の前記検出対象物を用いるとともに、測定した距離が閾値以上の前記検出対象物を用いることなく前記動作情報を作成することを特徴とする障害物判定システム。
  3. 請求項1又は2に記載の障害物判定システムであって、
    前記作成部は、当該作成部が作成した前記動作情報と、前記作業車両の作業中における前記障害物センサによる前記作業機の検出結果と、が異なると判定した場合、当該検出結果に基づいて、前記動作情報を更新することを特徴とする障害物判定システム。
  4. 請求項1から3までの何れか一項に記載の障害物判定システムを備える自律走行システムであって、
    前記作業車両は、測位衛星システムを利用して自律走行することが可能であり、
    自律走行の実行中における障害物判定の有効又は無効を設定可能であり、
    障害物判定が有効である場合は、前記動作情報の取得を、自律走行の開始条件として含め、
    障害物判定が無効である場合は、前記動作情報の取得を、自律走行の開始条件として含めないことを特徴とする自律走行システム。
JP2019098259A 2019-05-27 2019-05-27 障害物判定システム及び自律走行システム Pending JP2020194253A (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2019098259A JP2020194253A (ja) 2019-05-27 2019-05-27 障害物判定システム及び自律走行システム
CN202080034683.6A CN113825389A (zh) 2019-05-27 2020-03-10 障碍物判定系统以及自主行驶系统
US17/614,506 US20220201923A1 (en) 2019-05-27 2020-03-10 Obstacle Determination System and Autonomous Travel System
PCT/JP2020/010147 WO2020240983A1 (ja) 2019-05-27 2020-03-10 障害物判定システム及び自律走行システム
KR1020217035737A KR20220012843A (ko) 2019-05-27 2020-03-10 장해물 판정 시스템 및 자율 주행 시스템
EP20813687.9A EP3977840A1 (en) 2019-05-27 2020-03-10 Obstacle determination system and autonomous travel system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019098259A JP2020194253A (ja) 2019-05-27 2019-05-27 障害物判定システム及び自律走行システム

Publications (1)

Publication Number Publication Date
JP2020194253A true JP2020194253A (ja) 2020-12-03

Family

ID=73547593

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019098259A Pending JP2020194253A (ja) 2019-05-27 2019-05-27 障害物判定システム及び自律走行システム

Country Status (6)

Country Link
US (1) US20220201923A1 (ja)
EP (1) EP3977840A1 (ja)
JP (1) JP2020194253A (ja)
KR (1) KR20220012843A (ja)
CN (1) CN113825389A (ja)
WO (1) WO2020240983A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023127557A1 (ja) * 2021-12-27 2023-07-06 株式会社クボタ 農業機械、農業機械に用いるセンシングシステムおよびセンシング方法
WO2023238827A1 (ja) * 2022-06-08 2023-12-14 株式会社クボタ 農業管理システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008006519A (ja) * 2006-06-27 2008-01-17 Toyota Motor Corp ロボット装置及びロボット装置の制御方法
JP2017211696A (ja) * 2016-05-23 2017-11-30 株式会社Subaru 車両の後側方検知装置
JP2018113937A (ja) * 2017-01-20 2018-07-26 株式会社クボタ 自動走行作業車
JP2019103422A (ja) * 2017-12-11 2019-06-27 井関農機株式会社 作業車両
JP2019103421A (ja) * 2017-12-11 2019-06-27 井関農機株式会社 作業車両の遠隔操作システム
JP2019174347A (ja) * 2018-03-29 2019-10-10 ヤンマー株式会社 障害物検知システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016071585A (ja) * 2014-09-30 2016-05-09 パナソニックIpマネジメント株式会社 運転制御システム、運転制御装置、および、遠隔操作装置
JP6640777B2 (ja) * 2017-03-17 2020-02-05 株式会社東芝 移動制御システム、移動制御装置及びプログラム
US11072368B2 (en) * 2019-01-22 2021-07-27 Deere & Company Dynamically augmented bird's-eye view

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008006519A (ja) * 2006-06-27 2008-01-17 Toyota Motor Corp ロボット装置及びロボット装置の制御方法
JP2017211696A (ja) * 2016-05-23 2017-11-30 株式会社Subaru 車両の後側方検知装置
JP2018113937A (ja) * 2017-01-20 2018-07-26 株式会社クボタ 自動走行作業車
JP2019103422A (ja) * 2017-12-11 2019-06-27 井関農機株式会社 作業車両
JP2019103421A (ja) * 2017-12-11 2019-06-27 井関農機株式会社 作業車両の遠隔操作システム
JP2019174347A (ja) * 2018-03-29 2019-10-10 ヤンマー株式会社 障害物検知システム

Also Published As

Publication number Publication date
KR20220012843A (ko) 2022-02-04
EP3977840A1 (en) 2022-04-06
CN113825389A (zh) 2021-12-21
WO2020240983A1 (ja) 2020-12-03
US20220201923A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
JP6682354B2 (ja) 自律走行経路生成システム
KR102287412B1 (ko) 병주 작업 시스템
US20220022361A1 (en) Autonomous Travel System
JP2017161987A (ja) 作業車両の走行領域形状登録システム
JP2017127289A (ja) 農業用作業車両
US11553635B2 (en) Work vehicle having a control unit
JP7068528B2 (ja) 領域登録システム
WO2020240983A1 (ja) 障害物判定システム及び自律走行システム
JP2021099844A (ja) 走行領域形状登録システム
JP2020119599A (ja) 自律走行システム
WO2020084962A1 (ja) 作業機昇降制御装置
JP6695297B2 (ja) 自律走行システム
JP2019120723A (ja) 作業場管理システム
WO2021106361A1 (ja) 領域登録システム
JP6980087B2 (ja) 自動走行作業車両のための衛星測位システム
JP2019135670A (ja) 作業車両の走行領域登録システム
JP7324330B2 (ja) 自律走行システム
JP6812303B2 (ja) 自動走行作業車両のための衛星測位システム
JP2020109693A (ja) 自律走行経路生成システム
JP2023005400A (ja) 管理システム
JP2023005574A (ja) 管理システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220630

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220913