JP2023160359A - 飛行体の制御方法、制御プログラム、及び記録媒体 - Google Patents
飛行体の制御方法、制御プログラム、及び記録媒体 Download PDFInfo
- Publication number
- JP2023160359A JP2023160359A JP2022070686A JP2022070686A JP2023160359A JP 2023160359 A JP2023160359 A JP 2023160359A JP 2022070686 A JP2022070686 A JP 2022070686A JP 2022070686 A JP2022070686 A JP 2022070686A JP 2023160359 A JP2023160359 A JP 2023160359A
- Authority
- JP
- Japan
- Prior art keywords
- speed
- work vehicle
- drone
- controlling
- combine harvester
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 59
- 235000013339 cereals Nutrition 0.000 description 41
- 238000001514 detection method Methods 0.000 description 9
- 238000003306 harvesting Methods 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 238000007599 discharging Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002023 wood Substances 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000002706 hydrostatic effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Abstract
【課題】作業車両の走行速度に関わらず、作業車両の周囲の状況をより的確に取得する。【解決手段】制御装置が、作業車両の位置情報を取得する車両位置取得工程と、飛行体の位置情報を取得する飛行体位置取得工程と、を備える(ステップS1)。制御装置が、走行経路に沿って設定された飛行経路において飛行体が飛行するように制御し、かつ、飛行体が飛行経路において作業車両の走行経路における走行位置よりも進行方向前方上空を飛行するように、飛行体の作業車両に対する相対位置を制御する飛行位置制御工程と、作業車両が直進走行する際に、作業車両の速度が第1速度であるときは作業車両と飛行体との離間距離が第1距離であり、作業車両の速度が第1速度より速い第2速度であるときは離間距離が第1距離より長い第2距離となるように、相対位置を変更する変更工程と、を備える(ステップS4)。【選択図】図4
Description
本発明は、農作業に用いられる作業車両に対して飛行させたカメラを搭載した飛行体の制御方法、制御プログラム、及び記録媒体に関する。
従来、農作業に用いられる作業車両の一例であるコンバインを圃場で使用する際に、コンバインの周囲の状況を取得するために、例えばカメラを搭載したドローン(飛行体)をコンバインの近傍に飛行させる技術が知られていた。そのような技術として、例えば、事前に入力した刈取経路に基づいて自律走行するコンバインに対し、機体前方上空を刈取経路に対応した飛行経路を設定して、この飛行経路でドローンを飛行させ、コンバインが圃場の障害物を回避できるように画像解析する技術が開発されている(特許文献1参照)。このドローンの制御方法によれば、自律走行するコンバインに対して、ドローンの相対位置を細かく設定する必要が無く飛行させることができる。
しかしながら、上述した特許文献1に記載したドローンの制御方法では、ドローンは予め決まった飛行経路を飛行するものの、例えば、コンバインの走行速度に応じたドローンの相対位置の微細な設定などはできなかった。このため、作業車両の走行速度によっては、作業車両の周囲の状況を的確に取得することは困難であった。
そこで、本発明は、作業車両の走行速度に関わらず、作業車両の周囲の状況をより的確に取得できる飛行体の制御方法、制御プログラム、及び記録媒体を提供することを目的とする。
本発明の飛行体(100)の制御方法は、圃場(30)を走行する作業車両(1)の位置に対して、カメラ(103)を搭載して飛行する飛行体(100)の飛行位置を制御装置(10)によって制御する飛行体(100)の制御方法であって、
前記制御装置(10)が、前記作業車両(1)の位置情報を取得する車両位置取得工程と、
前記制御装置(10)が、前記飛行体(100)の位置情報を取得する飛行体位置取得工程と、
前記制御装置(10)が、前記作業車両(1)が走行する所定の走行経路(P1)に沿って設定された飛行経路(P2)において前記飛行体(100)が飛行するように制御し、かつ、前記車両位置取得工程及び前記飛行体位置取得工程により得られた情報に基づいて、前記飛行体(100)が前記飛行経路(P2)において前記作業車両(1)の前記走行経路(P1)における走行位置よりも進行方向前方上空を飛行するように、前記飛行体(100)の前記作業車両(1)に対する相対位置を制御する飛行位置制御工程と、
前記制御装置(10)が、前記作業車両(1)が直進走行する際に、前記作業車両(1)の速度が第1速度であるときは前記作業車両(1)と前記飛行体(100)との距離が第1距離(L1)であり、前記作業車両(1)の速度が第1速度より速い第2速度であるときは前記距離が前記第1距離(L1)より長い第2距離(L2)となるように、前記相対位置を変更する変更工程と、を備える。
前記制御装置(10)が、前記作業車両(1)の位置情報を取得する車両位置取得工程と、
前記制御装置(10)が、前記飛行体(100)の位置情報を取得する飛行体位置取得工程と、
前記制御装置(10)が、前記作業車両(1)が走行する所定の走行経路(P1)に沿って設定された飛行経路(P2)において前記飛行体(100)が飛行するように制御し、かつ、前記車両位置取得工程及び前記飛行体位置取得工程により得られた情報に基づいて、前記飛行体(100)が前記飛行経路(P2)において前記作業車両(1)の前記走行経路(P1)における走行位置よりも進行方向前方上空を飛行するように、前記飛行体(100)の前記作業車両(1)に対する相対位置を制御する飛行位置制御工程と、
前記制御装置(10)が、前記作業車両(1)が直進走行する際に、前記作業車両(1)の速度が第1速度であるときは前記作業車両(1)と前記飛行体(100)との距離が第1距離(L1)であり、前記作業車両(1)の速度が第1速度より速い第2速度であるときは前記距離が前記第1距離(L1)より長い第2距離(L2)となるように、前記相対位置を変更する変更工程と、を備える。
例えば、図4を参照して、前記制御装置(10)が、前記作業車両(1)が前記走行経路(P1)に沿って自律走行するように制御する走行位置制御工程を備える。
例えば、図1及び図8を参照して、前記作業車両(1)は、前記圃場の穀稈の刈取り作業を行う刈取部(4)を有するコンバイン(1)であり、
前記制御装置(10)が、前記カメラ(103)から取得した穀稈の倒伏情報に基づいて、前記刈取部(4)における刈取速度と、前記作業車両(1)の車速と、を調節する調節工程を備える。
前記制御装置(10)が、前記カメラ(103)から取得した穀稈の倒伏情報に基づいて、前記刈取部(4)における刈取速度と、前記作業車両(1)の車速と、を調節する調節工程を備える。
例えば、図8を参照して、前記倒伏情報は、穀稈の倒れる方向に関する情報を含む。
本発明の制御プログラムは、上記に記載の飛行体(100)の制御方法の各工程を、コンピュータに実行させる。
本発明のコンピュータにより読み取り可能な記録媒体は、上記に記載の制御プログラムを記録している。
なお、上述カッコ内の符号は、図面と対照するためのものであるが、何ら本発明の構成を限定するものではない。
請求項1に係る本発明は、このため、走行速度が速くなるにつれて遠くを撮影するから、迅速な対応が可能となり、また、走行速度が遅くなるにつれて近くを撮影するから、畔際でデバイダ周辺の確認も行うことができる。したがって、作業車両の走行速度に関わらず、作業車両の周囲の状況をより的確に取得できるようになる。
請求項2に係る本発明は、オペレータの負荷を軽減することができる。
請求項3に係る本発明は、飛行体の画像データを解析することで、きめ細かい作業車両の設定を自動でできるため、オペレータの負荷が軽減されるよって、より適切な刈り取り作業を実行することができる。
請求項4に係る本発明は、特に倒伏材刈取などにおいて、より適切な刈り取り作業を実行することができる。
[コンバイン]
以下、図面に沿って、本発明の飛行体の制御システムを実行する飛行体の制御方法の実施形態について説明する。本実施形態では、本発明の飛行体の制御方法をコンバイン1の周囲を飛行するドローン100を制御する方法に適用している。本実施形態に係るコンバイン1は、図1に示すように、左右一対のクローラ式走行装置2に支持された走行機体3を有している。走行機体3の前方には、圃場の穀稈の刈取り作業を行う刈取部4が昇降自在に設けられており、走行機体3の前方一側方には、オペレータが着座してコンバイン1を操縦する運転操作部5が設けられている。走行機体3の他側方には、刈取部4で刈取り・搬送された穀稈を脱穀する脱穀部6が設けられていると共に、脱穀部6の下方には、脱穀された選別物を選別する選別部7が設けられている。
以下、図面に沿って、本発明の飛行体の制御システムを実行する飛行体の制御方法の実施形態について説明する。本実施形態では、本発明の飛行体の制御方法をコンバイン1の周囲を飛行するドローン100を制御する方法に適用している。本実施形態に係るコンバイン1は、図1に示すように、左右一対のクローラ式走行装置2に支持された走行機体3を有している。走行機体3の前方には、圃場の穀稈の刈取り作業を行う刈取部4が昇降自在に設けられており、走行機体3の前方一側方には、オペレータが着座してコンバイン1を操縦する運転操作部5が設けられている。走行機体3の他側方には、刈取部4で刈取り・搬送された穀稈を脱穀する脱穀部6が設けられていると共に、脱穀部6の下方には、脱穀された選別物を選別する選別部7が設けられている。
運転操作部5の後方には、選別部7で選別された脱穀した穀粒を貯留するグレンタンク8が配置されており、グレンタンク8の後方には、グレンタンク8内に貯留された穀粒を機外に排出する排出オーガ9が設けられている。なお、本実施形態では、水平に載置されたコンバイン1の運転操作部5に着座したオペレータが向いている正面方向を前方とする。走行機体3の右前部には不図示のエンジンが設けられ、エンジンで発生した動力は、走行系の動力と作業系の動力とに分岐される。走行系の動力は、左右のクローラ式走行装置2に伝動され、作業系の動力は、不図示の刈取クラッチを介して刈取部4に伝動される他、不図示の脱穀クラッチを介して脱穀部6及びグレンタンク8等に伝動される。
図2に示すように、コンバイン1には、走行機体3に接続されて走行機体3を制御する制御装置の一例であるECU(Electric Control Unit)10が搭載されている。ECU10は、CPUや、ROMやRAM等の記憶部11を含むマイクロコンピュータにより構成され、飛行体の制御方法を実行可能である。記憶部11は、予め取得した圃場マップ情報12(圃場情報)と、予め取得した走行経路情報13とを保存する。尚、本実施形態では、自律走行の場合は走行経路情報13に沿って自動走行するが、オペレータの運転による手動走行の場合は走行経路情報13をモニタ表示部19に表示してオペレータはそれに従って走行するようにできる。
また、記憶部11は、ドローン100から取得した画像情報を解析する画像解析処理部14を有し、ドローン100から取得した画像情報の解析により取得された穀稈の倒伏マップ情報15を保存する。更に、記憶部11は、刈取部4を調整する刈取調整部16と、クローラ式走行装置2を調整する走行調整部17とを有している。記憶部11は、コンバイン1及びドローン100の各部を制御するための制御プログラムが記憶されている。ECU10は、記憶部11に記憶されている制御プログラムを実行して、コンバイン1及びドローン100の各部を制御する。
本実施形態では、記憶部11としてRAMやROMを適用しているが、記憶媒体はこれらに限られず、例えば、磁気記憶媒体(フロッピーディスク、ハードディスク、磁気テープ等)、光ディスク(MOやPD等の光磁気ディスク、CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-R、DVD-RAM、DVD-R、DVD-RW、DVD+RW等)、半導体ストレージ、紙テープ、ROM素子などを挙げることができる。
尚、本実施形態に係る飛行体の制御方法を実現するためのECU10の処理プログラムは、ROMやRAMから成る記憶部11やHDDやSSDなどから成る記憶装置に格納しておくことができる。その場合、飛行体の制御方法を実現するためのECU10の処理プログラムは、ネットワークインターフェイスを介して、上記の各記憶部に供給し、また新しい別のプログラムに更新することができる。あるいは、飛行体の制御方法を実現するためのECU10の処理プログラムは、各種の磁気ディスクや光ディスク、フラッシュメモリなどの記憶手段と、そのためのドライブ装置を経由して、上記の各記憶部に供給し、またその内容を更新することができる。飛行体の制御方法を実現するためのECU10の処理を実行可能なプログラムを格納した状態における各種の記憶手段、記憶部、ないし記憶デバイスは、本発明の飛行体の制御方法、コンピュータ読み取り可能な記録媒体である。
ECU10には、ドローン100や不図示のインターネットに接続するためのアンテナや電装部品等のハードウェアとして通信部18と、運転操作部5に配置されてECU10からの出力を表示するモニタ表示部19と、警報などを報知するブザー20と、が接続されている。ECU10には、コンバイン1の稼働情報を検出するための各種のセンサが設けられており、例えば、GPSセンサ21やIMU22が設けられている。GPSセンサ21は、GPS衛星からの電波(データ)を受信する機体位置検出センサ(GNSS)であり、GPSによって走行機体3の位置を計測し、取得した位置情報をECU10に送信する。IMU22は3軸のジャイロと3方向の加速度計からなり、コンバイン1の姿勢情報を取得する。尚、本実施形態では、コンバイン1はオペレータの操作による手動走行と、オペレータの操作を要しない自動走行とのいずれも実施可能であるものとしている。自動走行の場合は、ECU10は、GPSセンサ21とIMU22から求められるコンバイン1の位置情報と姿勢情報を取得し、取得したコンバイン1の位置情報及び姿勢情報に基づいて、予め設定した走行経路情報13に沿ってクローラ式走行装置2が走行するように操舵量を演算し、この演算した操舵量を不図示の操舵部側制御部に伝える。操舵部側制御部42は、クローラ式走行装置2の操舵量が指示された操舵量になるように操舵する。
本実施形態では、モニタ表示部19にドローン100のバッテリ情報を表示するようにしている。これにより、オペレータは、コンバイン1で刈取しながら、ドローン100のバッテリ容量が少なくなったことを検知できるので、ダウンタイムの短縮につながる。
ECU10には、刈取部4における刈取搬送速度を調整可能な刈取搬送HST23と、走行速度を調整可能な走行HST24と、が接続されている。尚、HSTとは、油圧ポンプが有する斜板の角度に応じた供給油を油圧モータに供給することにより、エンジンからの動力を無段階に変速して刈取部4あるいはクローラ式走行装置2へ伝達する静油圧式無段変速装置である。また、ECU10には、刈取部4による刈取搬送速度を検出する刈取搬送速度センサ25と、走行機体3の走行速度を検出する走行速度センサ26と、が接続されている。刈取搬送HST23及び走行HST24は、刈取搬送速度センサ25及び走行速度センサ26により得られた情報や倒伏マップ情報15に基づき刈取搬送速度及び走行速度を調節する。
また、圃場情報については、例えば、単純に撮影した画像を運転操縦部のモニタ表示部19に表示するものとしてもよく、これによれば圃場情報を刈取作業に活かすことができる。あるいは、撮影画像を分析し、分析結果に基づき、コンバイン1の制御を自動的に調節するようにしてもよい。また、制御モードの切替については、切替スイッチを設けて手動で切り替える構成としても良い。あるいは、状況に応じて自動的に切り替わる構成としても良い。
[ドローン]
次に、飛行体の一例であるドローン100について、図1及び図3を用いて説明する。図1に示すように、ドローン100は、水平方向外側に向かって延びた形状のアーム部101と、アーム部101の先端に設けられたモータ119(図3参照)に取り付けられたプロペラ102と、下部に設けられたカメラ103と、を有している。本実施形態では、アーム部101が十字方向に延びて、各アーム部101の先端にそれぞれプロペラ102が支持されている。カメラ103は、ドローン100の下方を撮影可能であり、撮影方向は不図示の揺動機構により調整可能になっている。カメラ103としては、例えば、高感度カメラ、赤外線カメラ、マルチスペクトルカメラ等を適用することができる。
次に、飛行体の一例であるドローン100について、図1及び図3を用いて説明する。図1に示すように、ドローン100は、水平方向外側に向かって延びた形状のアーム部101と、アーム部101の先端に設けられたモータ119(図3参照)に取り付けられたプロペラ102と、下部に設けられたカメラ103と、を有している。本実施形態では、アーム部101が十字方向に延びて、各アーム部101の先端にそれぞれプロペラ102が支持されている。カメラ103は、ドローン100の下方を撮影可能であり、撮影方向は不図示の揺動機構により調整可能になっている。カメラ103としては、例えば、高感度カメラ、赤外線カメラ、マルチスペクトルカメラ等を適用することができる。
図3に示すように、ドローン100は、制御部110を有している。制御部110は、CPUや、ROMやRAM等の記憶部111を含むマイクロコンピュータにより構成されている。記憶部111は、予め取得した圃場マップ情報112と、予め取得した飛行経路情報113とを保存する。尚、本実施形態では、飛行経路はコンバイン1の位置によって変わるものであり、飛行経路情報113は無くてもよい。また、記憶部111は、ドローン100の目標位置を算出する目標位置算出部114と、飛行調整部115と、カメラ103により撮影された画像情報であるカメラ撮影情報116とを保存している。
制御部110には、コンバイン1に無線接続するためのアンテナや電装部品等のハードウェアとして通信部118と、プロペラ102を駆動するためのモータ119と、が接続されている。制御部110には、ドローン100の位置や傾斜を検出するための各種のセンサが設けられており、例えば、GPSセンサ121、IMU122、高度計123が設けられている。GPSセンサ121及びIMU122は、コンバイン1に搭載したGPSセンサ21及びIMU22と同様の構成であるので、詳細な説明を省略する。高度計123は、例えば、下方との距離を測定するレーダなどからなる。
本実施形態では、ドローン100で取得した画像データをコンバイン1へ通信させ、コンバイン1がデータ受け取れるようにする。そして、コンバイン1で画像データを解析して、コンバイン1の刈取速度・搬送速度や脱穀選別部の制御を自動的に行わせる。但し、画像データの解析は、ドローン側、又は通信手段を介してコンバイン1以外の外部端末側で行っても良い。また、予め入手している圃場情報と、ドローン情報の両方に基づいて制御を行っても良い。
[ドローンの飛行制御]
次に、本実施形態における飛行体の制御システムについて、図4~図8を用いて説明する。まず、本実施形態でのコンバイン1の走行経路P1とドローン100の飛行経路P2について、図6(a)~(c)を用いて説明する。図6(a)は、圃場30におけるコンバイン1と走行経路P1とを示す。圃場30は内部に作付け範囲31を有している。コンバイン1は、圃場30の作付け範囲31の中で作付けなどの作業を実行するものであり、例えば、コンバイン1が直進して作付け範囲31の境界線に近付くと旋回して反転するように走行経路P1が設定されている。図6(b)は、圃場30におけるドローン100と飛行経路P2とを示す。飛行経路P2は、コンバイン1が走行する所定の走行経路P1に沿って設定されている。図6(c)は、圃場30におけるコンバイン1及び走行経路P1とドローン100及び飛行経路P2とを示す。ドローン100は飛行経路P2に沿って自動的に飛行しながらも、コンバイン1の前方上空を飛行するように設定されている。尚、本実施形態では、コンバイン1は走行経路P1に沿って自律走行するものとしている。但し、コンバイン1が自律走行せずにオペレータが手動で走行させるものとしてもよい。
次に、本実施形態における飛行体の制御システムについて、図4~図8を用いて説明する。まず、本実施形態でのコンバイン1の走行経路P1とドローン100の飛行経路P2について、図6(a)~(c)を用いて説明する。図6(a)は、圃場30におけるコンバイン1と走行経路P1とを示す。圃場30は内部に作付け範囲31を有している。コンバイン1は、圃場30の作付け範囲31の中で作付けなどの作業を実行するものであり、例えば、コンバイン1が直進して作付け範囲31の境界線に近付くと旋回して反転するように走行経路P1が設定されている。図6(b)は、圃場30におけるドローン100と飛行経路P2とを示す。飛行経路P2は、コンバイン1が走行する所定の走行経路P1に沿って設定されている。図6(c)は、圃場30におけるコンバイン1及び走行経路P1とドローン100及び飛行経路P2とを示す。ドローン100は飛行経路P2に沿って自動的に飛行しながらも、コンバイン1の前方上空を飛行するように設定されている。尚、本実施形態では、コンバイン1は走行経路P1に沿って自律走行するものとしている。但し、コンバイン1が自律走行せずにオペレータが手動で走行させるものとしてもよい。
図4は、ドローン100の飛行を制御する飛行体の制御方法の手順を示すフローチャートである。ここでの飛行体の制御方法は、圃場を走行するコンバイン1の位置に対して、カメラ103を搭載して飛行するドローン100の飛行位置をECU10によって制御する制御方法である。図4に示すように、ECU10は、コンバイン1の作業中に情報の検出を実行する(ステップS1)。ここでは、例えば、圃場情報の検出、ドローン100の飛行経路情報の検出、コンバイン1の稼働情報や位置・向き・速度に関する情報の検出、ドローン100のカメラ103による撮像情報や位置・速度に関する情報の検出を実行する。即ち、ECU10は、コンバイン1の位置情報を取得する車両位置取得工程と、ドローン100の位置情報を取得する飛行体位置取得工程と、を実行する。
ECU10は、コンバイン1がグレンタンク8に貯留された穀粒を機外に排出する排出作業中であるか否かを判断する(ステップS2)。ECU10は、コンバイン1が排出作業中でないと判断した場合は(ステップS2のNO)、コンバイン1が走行中であるか否かを判断する(ステップS3)。本実施形態では、コンバイン1は自律走行するので、ここでの判断は、ECU10が、コンバイン1が走行経路P1に沿って自律走行するように制御する走行位置制御工程を実行しているか否かによって判断する。ECU10は、コンバイン1が走行中であると判断した場合は(ステップS3のYES)、ドローン100がコンバイン1から離間している距離を算出し、また、ドローン100の目標位置を算出する(ステップS4)。即ち、ECU10は、飛行経路P2においてドローン100が飛行するように制御し、かつ、車両位置取得工程及び飛行体位置取得工程により得られた情報に基づいて、ドローン100が飛行経路P2においてコンバイン1の走行経路P1における走行位置よりも進行方向前方上空を飛行するように、ドローン100のコンバイン1に対する相対位置を制御する飛行位置制御工程を実行する。尚、ドローン100の目標位置は、原則としてはコンバイン1の前方上空であるが、条件によっては前方上空ではない場合もあり、それについては後述する。
ここで、ドローン100の目標位置について図5(a)~(c)を用いて説明する。図5(a)は、コンバイン1が停止している状態、図5(b)はコンバイン1が低速(例えば、0.5m/s)で直線上を前進走行している状態、図5(c)はコンバイン1が高速(例えば、1.0m/s)で直線上を前進走行している状態をそれぞれ示す。この場合、図5(a)に示すように、コンバイン1が停止しているときは、コンバイン1が前進するのを待機するために、ドローン100はコンバイン1の前方のすぐ近の相対位置を目標位置とし、その位置でホバリング飛行(飛行位置を停止した飛行)をする。ここでは、コンバイン1の最前端からドローン100の中心位置までの水平距離をL0とする。
図5(b)に示すように、コンバイン1が低速前進しているときは、ドローン100はコンバイン1の前方の比較的近い相対位置を目標位置とし、その相対位置を維持するようにコンバイン1と同じ速度で前方に移動する。ここでは、コンバイン1の最前端からドローン100の中心位置までの水平距離をL1とする。図5(c)に示すように、コンバイン1が高速前進しているときは、ドローン100はコンバイン1の前方の比較的遠い相対位置を目標位置とし、その相対位置を維持するようにコンバイン1と同じ速度で前方に移動する。ここでは、コンバイン1の最前端からドローン100の中心位置までの水平距離をL2とする。これは、ドローン100で撮影した画像に基づいてコンバイン1の進行速度や作業内容を制御するためには、コンバイン1からできるだけ近い位置での現状を制御に反映させる方がより適切な制御を実現できるものの、進行速度が速い時には制御を反映させる時間に余裕が少なくなり、制御が間に合わなくなる可能性もあるため、コンバイン1の進行速度が速いほどドローン100の目標位置を離れたものとし、制御に余裕をもたせるようにする。
コンバイン1の前進速度とドローン100の離間距離との関係は、例えば、線形の関係としたり、前進速度を段階的に区切って段階ごとに離間距離を異ならせるようにしてもよく、予め設定したテーブルなどに記憶させておく。いずれの場合も、ECU10は、図4に示すステップS4において、コンバイン1が直進走行する際に、コンバイン1の速度が第1速度であるときはコンバイン1とドローン100との離間距離が第1距離L1であり、コンバイン1の速度が第1速度より速い第2速度であるときは離間距離が第1距離L1より長い第2距離L2となるように、相対位置を変更する変更工程を実行する。
図4に示すように、ECU10は、目標位置を算出した後、コンバイン1が旋回中であるか否かを判断する(ステップS5)。ECU10は、コンバイン1が旋回中でないと判断した場合は(ステップS5のNO)、ドローン100を目標位置に移動飛行させ(ステップS7)、処理を終了する。
一方、ECU10は、コンバイン1が旋回中であると判断した場合は(ステップS5のYES)、ドローン100はコンバイン1との距離を維持するために、飛行経路P2の途中の現在位置でホバリング飛行を実行する(ステップS8)。即ち、ECU10は、位置制御工程において、コンバイン1の旋回中にはドローン100をホバリング飛行させる。
また、ECU10は、コンバイン1が走行中でないと判断した場合は(ステップS3のNO)、図5(a)に示すように、コンバイン1の次の前進走行に備えるために、ドローン100は現在位置(ここではコンバイン1の直前)でホバリング飛行を実行する(ステップS8)。このため、コンバイン1が機体停止状態から発進する際に、コンバイン1の周囲状況を俯瞰的に把握できることで、安全性を向上することができる。
また、図7(a)、(b)に示すように、ECU10は、コンバイン1が排出作業中であると判断した場合は(ステップS2のYES)、ドローン100を排出オーガ9の先端部の上空でホバリング飛行させる(ステップS9)。ここで、コンバイン1が排出作業中である場合は、排出オーガ9を利用して、例えばトラック40に穀粒を排出する。このとき、トラック40の荷台に対して、穀粒の上面が平坦になるように排出オーガ9を移動させながら穀粒を排出することが望まれるが、積載状態の情報が無い場合は平坦になるように移動させることは困難である。そこで、ドローン100からの画像と高度計123の測定結果を利用して、穀粒の上面が平坦になるように排出オーガ9を移動させるため、ドローン100を排出オーガ9の先端の上空に位置させる。即ち、ECU10は、コンバイン1による穀粒排出時にドローン100が排出オーガ9の先端の上空でホバリング飛行するように制御する排出制御工程を実行する(ステップS9)。
具体的には、例えば、ドローン100の高度計123を用いて穀粒の上面の高さをリアルタイムで計測し、上面が低い場所に排出オーガ9の先端部を移動させるよう、モニタ表示部19にその方向を示すようにする。あるいは、単に画像のみをモニタ表示部19に表示して、オペレータの目測によって上面が低い場所に排出オーガ9の先端部を移動させるようにしてもよい。尚、ダウンウォッシュで穀粒を飛ばさないように、ドローン100の高度は必要以上に下げないようにすることが好ましい。
[刈取調整制御]
次に、本実施形態における飛行体の制御システムにおける刈取調整の制御について説明する。ここでは、ECU10は、カメラ103から取得した穀稈の倒伏情報に基づいて、刈取部4における刈取速度と、コンバイン1の車速と、を調節する調節工程を実行する。尚、ここでの倒伏情報は、穀稈の倒れる方向に関する情報を含むものとする。この調整工程について、図8に示すフローチャートを用いて説明する。尚、予め刈取前の植立穀稈を撮影し、画像解析により、早期の青材や倒伏材などの判別を行うようにしてもよい。また、既刈り地か未刈り地かを判別し、既刈り地のデータは使用しない。既刈り地又は未刈り地の判別は、撮影した画像データを解析して行っても良いし、圃場情報および機体走行経路情報に基づいて行っても良い。
次に、本実施形態における飛行体の制御システムにおける刈取調整の制御について説明する。ここでは、ECU10は、カメラ103から取得した穀稈の倒伏情報に基づいて、刈取部4における刈取速度と、コンバイン1の車速と、を調節する調節工程を実行する。尚、ここでの倒伏情報は、穀稈の倒れる方向に関する情報を含むものとする。この調整工程について、図8に示すフローチャートを用いて説明する。尚、予め刈取前の植立穀稈を撮影し、画像解析により、早期の青材や倒伏材などの判別を行うようにしてもよい。また、既刈り地か未刈り地かを判別し、既刈り地のデータは使用しない。既刈り地又は未刈り地の判別は、撮影した画像データを解析して行っても良いし、圃場情報および機体走行経路情報に基づいて行っても良い。
ECU10は、コンバイン1の作業中に情報の検出を実行する(ステップS10)。ここでは、例えば、圃場情報の検出、カメラ103の画像情報の検出を実行する。ECU10は、画像情報の処理を実行し、倒伏マップを作成する(ステップS11)。ECU10は、コンバイン1の位置を検出し、作成した倒伏マップの情報から刈取搬送速度を調節する(ステップS12)。
ECU10は、倒伏マップに基づいて、直後に刈取を実行する作物の倒伏の程度を判断する(ステップS13)。ECU10は、倒伏の程度が倒伏の無い立毛状態であると判断した場合は、刈取速度は標準モード、走行速度は標準、報知は特に無しとして刈取を実行する(ステップS14)。ECU10は、ステップS13において、倒伏の程度がやや倒伏である中倒伏であると判断した場合は、刈取方向について判断する(ステップS15)。ここで、刈取方向としては、向い刈り、右倒伏刈り、追い刈り、左倒伏刈りの4種が挙げられる。向い刈りは、運転席から見て手前側に穀稈の穂先が倒れた状態で刈るものであり、刈取部4に対して穂先側から入ってきて詰り易い。右倒伏刈りは、運転席から見て右側に穀稈の穂先が倒れた状態で刈るものであり、右側デバイダが稈に隠れて株元位置が見えず、また、刈取部4が左側にオフセットした機種では右クローラで踏む虞がある。追い刈りは、運転席から見て奥側に穀稈の穂先が倒れた状態で刈るものであり、株元側から入ってくるので引起しが可能であり、向い刈りより詰り難い。左倒伏刈りは、運転席から見て左側に穀稈の穂先が倒れた状態で刈るものであり、未刈り穀稈が左側に倒れるので未刈り穀稈の株元が見易く、右側デバイダの位置調整がし易く、右倒伏狩りより刈易い。
ECU10は、ステップS15において、刈取方向が右倒伏刈り、追い刈り、左倒伏刈りのいずれかであると判断した場合は、刈取速度は標準モード、走行速度は標準、報知は特に無しとして刈取を実行する(ステップS16)。ECU10は、ステップS15において、刈取方向が向い刈りであると判断した場合は、刈取速度は標準モード、走行速度は低速、報知は低速として刈取を実行する(ステップS17)。
ECU10は、ステップS13において、中倒伏より程度の高い倒伏であると判断した場合は、刈取方向について判断する(ステップS18)。ECU10は、ステップS18において、刈取方向が追い刈り又は左倒伏刈りであると判断した場合は、刈取速度は倒伏モード、走行速度は低速、報知は倒伏モードかつ低速として刈取を実行する(ステップS19)。ECU10は、ステップS18において、刈取方向が向い刈り又は右倒伏刈りであると判断した場合は、刈取速度は倒伏モード、走行速度は停止、報知は刈取不可として刈取を停止する(ステップS20)。
上述したように本実施形態の飛行体の制御方法によれば、変更工程において、コンバイン1に対するドローン100の相対位置を、コンバイン1の速度に応じて変更する。具体的には、コンバイン1が直進走行する際に、コンバイン1の速度が第1速度であるときはコンバイン1とドローン100との離間距離が第1距離L1であり、コンバイン1の速度が第1速度より速い第2速度であるときは離間距離が第1距離L1より長い第2距離L2となるように、相対位置を変更する。このため、走行速度が速くなるにつれて遠くを撮影するから、迅速な対応が可能となり、また、走行速度が遅くなるにつれて近くを撮影するから、畔際でデバイダ周辺の確認も行うことができる。また、コンバイン1の進行速度が速いほどドローン100の目標位置を離れたものとし、制御に余裕をもたせるようにできる。一方、走行速度が遅くなると機体に近づいて飛ぶため、コンバイン1が速度を落として旋回する時にドローン100も小回りになって追従性が良くなる。これらのことから、コンバイン1の走行速度に関わらず、コンバイン1の周囲の状況をより的確に取得できるようになる。
また、本実施形態の飛行体の制御方法によれば、ドローン100の飛行経路P2が予め設定されているので、飛行経路P2を設定せずにコンバイン1を基準とする相対位置で飛行位置を制御する場合に比べて、制御を簡易にすることができる。これにより、制御処理の負荷を軽減することができる。
また、本実施形態の飛行体の制御方法によれば、ドローン100の画像データを解析することで、きめ細かいコンバイン1の設定を自動でできるため、オペレータの負荷が軽減される。特に、倒伏材刈取や早期の青材刈取などに有効である。また、圃場条件での最適な刈取速度で作業が可能となり、作業能率や燃料消費率が向上する。更に、コンバイン1に備え付けのカメラでなく、機体の前方を飛ぶドローン100のカメラ103を用いているので、刈取前の植立穀稈の情報をいち早く検出し、且つ、機体周辺を舞う塵埃の影響を小さくして制御に活かすことができる。また、機体姿勢や機体振動等の影響を受けずに安定した撮影が可能となり、分析データの精度が向上して、安定したコンバイン1の刈取・脱穀性能を確保することができる。更に、ドローン100をコンバイン1から制御して自動で飛ばすようにしたので、操縦技量がなくてもドローンを活用できる。
また、本実施形態の飛行体の制御方法によれば、コンバイン1が走行経路P1に沿って自律走行するように制御されるので、オペレータの負荷を更に軽減することができる。
また、本実施形態の飛行体の制御方法によれば、コンバイン1による穀粒排出時にドローン100が排出オーガ9の先端の上空でホバリング飛行する。このため、ドローン100を利用してトラックの荷台を俯瞰的に見ることができるので、効率良く排出作業を行うことができる。また、刈取後のコンバイン1からの排出物を撮影し、画像解析により、穀粒ロスの多少を判別することができる。
また、本実施形態の飛行体の制御方法によれば、カメラ103から取得した穀稈の倒伏情報に基づいて、刈取部4における刈取速度と、コンバイン1の車速と、を調節する。これにより、ドローン100の画像データを解析することで、きめ細かいコンバイン1の設定を自動でできるため、オペレータの負荷が軽減される。しかも、倒伏情報は穀稈の倒れる方向に関する情報を含むので、特に、倒伏材刈取などに有効である。よって、より適切な刈り取り作業を実行することができる。
また、本実施形態の飛行体の制御方法によれば、ドローン100の風力を強くすることで、ダウンウォッシュにて朝露や粉塵を飛ばすこともでき、穀粒排出状況の確認を容易にできるようになる。
また、本実施形態の飛行体の制御方法によれば、ドローン100のカメラ103を用いてコンバイン1の各所の注意ラベルが剥がれていないか自動点検をできるようになる。具体的には、ドローン100に各所の注意ラベルの位置を予め入力しておき、自動飛行にてカメラ103を用いて注意ラベルを点検し、破損やはがれのある場合は写真を撮影して整備車に通知する。これにより、作業者がコンバイン1の各所に付された注意ラベルを1つずつ目視して回る場合に比べて、手間を減らすことができる。また、高所などでオペレータには点検しにくい場所であっても容易に点検できるようになる。
なお、上述した実施形態においては、作業車両としてコンバイン1について説明をしたが、これに限定されない。作業車両は、例えば、トラクタや田植え機等、他の作業車両であってもよい。
なお、本技術は以下のような構成も取ることができる。
(1)
圃場を走行する作業車両の位置に対して、カメラを搭載して飛行する飛行体の飛行位置を制御装置によって制御する飛行体の制御方法であって、
前記制御装置が、前記作業車両の位置情報を取得する車両位置取得工程と、
前記制御装置が、前記飛行体の位置情報を取得する飛行体位置取得工程と、
前記制御装置が、前記作業車両が走行する所定の走行経路に沿って設定された飛行経路において前記飛行体が飛行するように制御し、かつ、前記車両位置取得工程及び前記飛行体位置取得工程により得られた情報に基づいて、前記飛行体が前記飛行経路において前記作業車両の前記走行経路における走行位置よりも進行方向前方上空を飛行するように、前記飛行体の前記作業車両に対する相対位置を制御する飛行位置制御工程と、
前記制御装置が、前記作業車両が直進走行する際に、前記作業車両の速度が第1速度であるときは前記作業車両と前記飛行体との距離が第1距離であり、前記作業車両の速度が第1速度より速い第2速度であるときは前記距離が前記第1距離より長い第2距離となるように、前記相対位置を変更する変更工程と、を備える、
飛行体の制御方法。
(2)
前記制御装置が、前記作業車両が前記走行経路に沿って自律走行するように制御する走行位置制御工程を備える、
前記(1)に記載の飛行体の制御方法。
(3)
前記作業車両は、前記圃場の穀稈の刈取り作業を行う刈取部を有するコンバインであり、
前記制御装置が、前記カメラから取得した穀稈の倒伏情報に基づいて、前記刈取部における刈取速度と、前記作業車両の車速と、を調節する調節工程を備える、
前記(1)又は(2)に記載の飛行体の制御方法。
(4)
前記倒伏情報は、穀稈の倒れる方向に関する情報を含む、
前記(3)に記載の飛行体の制御方法。
(5)
前記(1)乃至(4)のいずれか1つに記載の飛行体の制御方法の各工程を、コンピュータに実行させるための制御プログラム。
(6)
前記(5)に記載の制御プログラムを記録した、前記コンピュータにより読み取り可能な記録媒体。
(1)
圃場を走行する作業車両の位置に対して、カメラを搭載して飛行する飛行体の飛行位置を制御装置によって制御する飛行体の制御方法であって、
前記制御装置が、前記作業車両の位置情報を取得する車両位置取得工程と、
前記制御装置が、前記飛行体の位置情報を取得する飛行体位置取得工程と、
前記制御装置が、前記作業車両が走行する所定の走行経路に沿って設定された飛行経路において前記飛行体が飛行するように制御し、かつ、前記車両位置取得工程及び前記飛行体位置取得工程により得られた情報に基づいて、前記飛行体が前記飛行経路において前記作業車両の前記走行経路における走行位置よりも進行方向前方上空を飛行するように、前記飛行体の前記作業車両に対する相対位置を制御する飛行位置制御工程と、
前記制御装置が、前記作業車両が直進走行する際に、前記作業車両の速度が第1速度であるときは前記作業車両と前記飛行体との距離が第1距離であり、前記作業車両の速度が第1速度より速い第2速度であるときは前記距離が前記第1距離より長い第2距離となるように、前記相対位置を変更する変更工程と、を備える、
飛行体の制御方法。
(2)
前記制御装置が、前記作業車両が前記走行経路に沿って自律走行するように制御する走行位置制御工程を備える、
前記(1)に記載の飛行体の制御方法。
(3)
前記作業車両は、前記圃場の穀稈の刈取り作業を行う刈取部を有するコンバインであり、
前記制御装置が、前記カメラから取得した穀稈の倒伏情報に基づいて、前記刈取部における刈取速度と、前記作業車両の車速と、を調節する調節工程を備える、
前記(1)又は(2)に記載の飛行体の制御方法。
(4)
前記倒伏情報は、穀稈の倒れる方向に関する情報を含む、
前記(3)に記載の飛行体の制御方法。
(5)
前記(1)乃至(4)のいずれか1つに記載の飛行体の制御方法の各工程を、コンピュータに実行させるための制御プログラム。
(6)
前記(5)に記載の制御プログラムを記録した、前記コンピュータにより読み取り可能な記録媒体。
1…コンバイン(作業車両)
4…刈取部
10…ECU(制御装置)
30…圃場
100…ドローン(飛行体)
103…カメラ
L1…第1距離
L2…第2距離
P1…走行経路
P2…飛行経路
4…刈取部
10…ECU(制御装置)
30…圃場
100…ドローン(飛行体)
103…カメラ
L1…第1距離
L2…第2距離
P1…走行経路
P2…飛行経路
Claims (6)
- 圃場を走行する作業車両の位置に対して、カメラを搭載して飛行する飛行体の飛行位置を制御装置によって制御する飛行体の制御方法であって、
前記制御装置が、前記作業車両の位置情報を取得する車両位置取得工程と、
前記制御装置が、前記飛行体の位置情報を取得する飛行体位置取得工程と、
前記制御装置が、前記作業車両が走行する所定の走行経路に沿って設定された飛行経路において前記飛行体が飛行するように制御し、かつ、前記車両位置取得工程及び前記飛行体位置取得工程により得られた情報に基づいて、前記飛行体が前記飛行経路において前記作業車両の前記走行経路における走行位置よりも進行方向前方上空を飛行するように、前記飛行体の前記作業車両に対する相対位置を制御する飛行位置制御工程と、
前記制御装置が、前記作業車両が直進走行する際に、前記作業車両の速度が第1速度であるときは前記作業車両と前記飛行体との距離が第1距離であり、前記作業車両の速度が第1速度より速い第2速度であるときは前記距離が前記第1距離より長い第2距離となるように、前記相対位置を変更する変更工程と、を備える、
ことを特徴とする飛行体の制御方法。 - 前記制御装置が、前記作業車両が前記走行経路に沿って自律走行するように制御する走行位置制御工程を備える、
ことを特徴とする請求項1に記載の飛行体の制御方法。 - 前記作業車両は、前記圃場の穀稈の刈取り作業を行う刈取部を有するコンバインであり、
前記制御装置が、前記カメラから取得した穀稈の倒伏情報に基づいて、前記刈取部における刈取速度と、前記作業車両の車速と、を調節する調節工程を備える、
ことを特徴とする請求項1に記載の飛行体の制御方法。 - 前記倒伏情報は、穀稈の倒れる方向に関する情報を含む、
ことを特徴とする請求項3に記載の飛行体の制御方法。 - 請求項1乃至4のいずれか1項に記載の飛行体の制御方法の各工程を、コンピュータに実行させるための制御プログラム。
- 請求項5に記載の制御プログラムを記録した、前記コンピュータにより読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022070686A JP2023160359A (ja) | 2022-04-22 | 2022-04-22 | 飛行体の制御方法、制御プログラム、及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022070686A JP2023160359A (ja) | 2022-04-22 | 2022-04-22 | 飛行体の制御方法、制御プログラム、及び記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023160359A true JP2023160359A (ja) | 2023-11-02 |
Family
ID=88515913
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022070686A Pending JP2023160359A (ja) | 2022-04-22 | 2022-04-22 | 飛行体の制御方法、制御プログラム、及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023160359A (ja) |
-
2022
- 2022-04-22 JP JP2022070686A patent/JP2023160359A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6958508B2 (ja) | 収穫作業システム | |
JP7034866B2 (ja) | 収穫機 | |
US11457563B2 (en) | Harvester stability monitoring and control | |
KR102394967B1 (ko) | 콤바인 | |
JP6688542B2 (ja) | 追従型コンバイン | |
US20150305238A1 (en) | Harvester with sensor-based adjustment of an operating parameter | |
JP2019216744A (ja) | コンバイン | |
BR102018010570B1 (pt) | Sistema e método agrícolas | |
JP6656047B2 (ja) | コンバイン | |
WO2020218464A1 (ja) | 収穫機、障害物判定プログラム、障害物判定プログラムを記録した記録媒体、障害物判定方法、農作業機、制御プログラム、制御プログラムを記録した記録媒体、制御方法 | |
JP2019062793A (ja) | コンバインの制御システム | |
CN109716917A (zh) | 带有云台摄像装置的收割机 | |
US20220212602A1 (en) | Harvester, System, Program, Recording Medium, and Method | |
JP2023160359A (ja) | 飛行体の制御方法、制御プログラム、及び記録媒体 | |
JP7149897B2 (ja) | 収穫機 | |
JP2020072740A (ja) | コンバイン | |
JP2023160358A (ja) | 飛行体の制御方法、制御プログラム、及び記録媒体 | |
WO2022123889A1 (ja) | 作業車、作物状態検出システム、作物状態検出方法、作物状態検出プログラム、及び作物状態検出プログラムが記録されている記録媒体 | |
WO2020218528A1 (ja) | 収穫機等の農作業機 | |
JP2020108407A (ja) | コンバインの連携システム | |
WO2022071373A1 (ja) | 収穫機 | |
BR102019000830A2 (pt) | colheitadeira e método para controlar uma colheitadeira | |
WO2022118566A1 (ja) | コンバイン及び走行制御方法 | |
WO2022181067A1 (ja) | 走行経路管理システム、走行経路管理プログラム、走行経路管理プログラムを記録した記録媒体、走行経路管理方法 | |
JP7433145B2 (ja) | 収穫機 |