JP2019083703A - Harvesting machine - Google Patents
Harvesting machine Download PDFInfo
- Publication number
- JP2019083703A JP2019083703A JP2017212021A JP2017212021A JP2019083703A JP 2019083703 A JP2019083703 A JP 2019083703A JP 2017212021 A JP2017212021 A JP 2017212021A JP 2017212021 A JP2017212021 A JP 2017212021A JP 2019083703 A JP2019083703 A JP 2019083703A
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- vehicle speed
- area
- unit
- alert
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003306 harvesting Methods 0.000 title claims abstract description 10
- 238000001514 detection method Methods 0.000 claims abstract description 45
- 230000000873 masking effect Effects 0.000 claims description 14
- 210000000744 eyelid Anatomy 0.000 claims description 5
- 238000000034 method Methods 0.000 claims description 5
- 235000013339 cereals Nutrition 0.000 description 21
- 238000007599 discharging Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 241000209140 Triticum Species 0.000 description 3
- 235000021307 Triticum Nutrition 0.000 description 3
- 244000068988 Glycine max Species 0.000 description 2
- 235000010469 Glycine max Nutrition 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 235000010716 Vigna mungo Nutrition 0.000 description 2
- 240000001417 Vigna umbellata Species 0.000 description 2
- 235000011453 Vigna umbellata Nutrition 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 239000010902 straw Substances 0.000 description 2
- 208000019300 CLIPPERS Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 208000021930 chronic lymphocytic inflammation with pontine perivascular enhancement responsive to steroids Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
Images
Abstract
Description
本発明は、カメラによって取得された撮影画像を用いて、圃場における障害物を検出する収穫機に関する。 The present invention relates to a harvester that detects an obstacle in a field using a captured image acquired by a camera.
圃場には、運転者以外の作業者や電柱などの障害物が存在している可能性があるので、圃場を作業走行するコンバインには、特許文献1に開示されているように、障害物を検出するための超音波式の障害物センサが備えられているものがある。障害物センサによって障害物が検出された場合、危険防止のためにエンジン等が停止される。
In the field, there may be an operator other than the driver or an obstacle such as an electric pole, so as shown in
特許文献2によるコンバインには、レーザースキャナが備えられている。このレーザースキャナは、刈取対象物が刈り取られることによって路面の大部分が露呈している領域に立ち入った人を検出するために、刈取部の右側部分に偏ってレーザーが照射されるように構成されている。また、特許文献2では、障害物を検出するために、レーザースキャナに代えて、ミリ波レーダを用いること、あるいはカメラ等を用いた画像処理を用いることも可能であると記載されている。 The combine according to Patent Document 2 is equipped with a laser scanner. This laser scanner is configured such that the laser is emitted toward the right side of the reaper in order to detect a person who has entered the area where most of the road surface is exposed by mowing the object to be removed. ing. Moreover, in patent document 2, in order to detect an obstacle, it is described in place of a laser scanner that it is also possible to use a millimeter-wave radar or to use image processing using a camera or the like.
小麦や稲や大豆などの農作物の収穫作業では、人などの障害物が部分的に農作物によって隠されてしまう可能性が高く、障害物検出精度が変動する。このため、障害物を検出する毎に機体を停車させ、検出された障害物を確認していると、作業性が低下する。
このような実情から、できるだけ作業性を低下させないで、障害物検出を行いながら収穫作業を実施するコンバインが要望されている。
In crop work of crops such as wheat, rice and soybeans, obstacles such as humans are likely to be partially obscured by crops, and obstacle detection accuracy fluctuates. For this reason, when the vehicle is stopped every time an obstacle is detected and the detected obstacle is confirmed, the workability is reduced.
From such a situation, there is a demand for a combine that carries out a harvesting operation while detecting an obstacle without lowering the workability as much as possible.
本発明による収穫機は、圃場における機体の進行方向前方を撮影するカメラと、前記カメラによる撮影画像を取得する画像取得部と、前記撮影画像を画像処理することにより障害物を検出する障害物検出部と、前記機体に対する位置に基づいて規定される障害物警戒領域を設定する警戒領域設定部と、前記障害物検出部によって検出される前記障害物が前記障害物警戒領域に存在する場合、前記障害物と前記機体との位置関係に応じて車速を変更する車速変更指令出力部とを備えている。 A harvester according to the present invention comprises: a camera for capturing an image of a forward direction of an aircraft in a field; an image acquisition unit for acquiring an image captured by the camera; and an obstacle detection for detecting an obstacle by performing image processing on the captured image. Section, an alert area setting section that sets an obstacle alert area defined based on the position with respect to the machine, and the obstacle detected by the obstacle detection section is present in the obstacle alert area; And a vehicle speed change command output unit configured to change the vehicle speed in accordance with the positional relationship between the obstacle and the vehicle body.
この構成によれば、検出された障害物が、機体に対する位置に基づいて設定された障害物警戒領域に存在するとみなされると、当該障害物と機体との位置関係に応じて車速が変更される。したがって、機体と障害物との位置関係から所定時間内での干渉可能性が大きい場合と、干渉可能性が小さい場合とによって車速の変更度合を相違させることができる。その際、例えば、機体と障害物との位置関係から相対的に短い時間内での干渉可能性が大きい場合での車速の変更は、車速ゼロへの変更、つまり機体を停止にさせることになる。これにより、機体と障害物との位置関係から相対的に短い時間内での干渉可能性が小さい場合でも、機体を停止させ、作業性を低下させるようなことは、低減される。さらには、障害物警戒領域が機体に対する位置に基づいて規定されることから、カメラの撮影視野に入っている領域であっても、機体と障害物とが干渉する可能性がほとんど無視することができる領域に対しては、障害物警戒領域から外すことができる。これにより、障害物検出の効率が向上する。 According to this configuration, when the detected obstacle is considered to be present in the obstacle warning area set based on the position with respect to the aircraft, the vehicle speed is changed according to the positional relationship between the obstacle and the aircraft. . Therefore, the degree of change of the vehicle speed can be made different depending on the positional relationship between the aircraft and the obstacle depending on whether the possibility of interference within a predetermined time is large or not. At that time, for example, the change of the vehicle speed in the case where the possibility of interference within a relatively short time is large due to the positional relationship between the vehicle and the obstacle will change the vehicle speed to zero, that is, stop the vehicle. . As a result, even if the possibility of interference within a relatively short time is small due to the positional relationship between the airframe and the obstacle, the possibility of stopping the airframe and reducing the workability is reduced. Furthermore, since the obstacle warning area is defined based on the position with respect to the airframe, it is possible to almost ignore the possibility that the airframe and the obstacle interfere with each other even in the area within the shooting field of view of the camera. For areas where it is possible, it can be removed from the obstacle warning area. This improves the efficiency of obstacle detection.
本発明の好適な実施形態の1つでは、前記障害物警戒領域は、前記機体との位置関係が異なる第1警戒領域と第2警戒領域とに区分けされ、前記車速変更指令出力部は、前記障害物が前記第1警戒領域に存在する場合に第1車速変更指令を出力し、前記第2警戒領域に存在する場合には前記第1車速変更指令より車速変更値が小さい第2車速変更指令を出力する。この構成では、例えば、障害物警戒領域を、機体と障害物とが干渉する可能性が高いと見なされる第1警戒領域と、機体と障害物とが干渉する可能性が第1警戒領域よりは低いと見なされる第2警戒領域とに区分けすることができる。そして、検出された障害物が第1警戒領域に存在する場合には、検出された障害物が第2警戒領域に存在する場合に比べて、車速を大きく減速(停止を含む)する。これにより、作業性と安全性とを適正に両立させることができる。 In one of the preferred embodiments of the present invention, the obstacle alert area is divided into a first alert area and a second alert area having different positional relationships with the vehicle, and the vehicle speed change command output unit A second vehicle speed change command that outputs a first vehicle speed change command when an obstacle exists in the first alert area, and a vehicle speed change value is smaller than the first vehicle speed change command when an obstacle exists in the second alert area Output In this configuration, for example, in the obstacle warning area, the first warning area that is considered to have a high possibility of interference between the airframe and the obstacle, and the possibility of interference between the airframe and the obstacle is more than the first warning area. It can be divided into a second alert area that is considered low. Then, when the detected obstacle is present in the first alert area, the vehicle speed is greatly reduced (including the stop) as compared with the case where the detected obstacle is present in the second alert area. This makes it possible to properly balance the workability and the safety.
作業幅で機体の進行方向前方に延びる領域は、機体と障害物とが干渉する可能性が高い領域なので、他の領域より警戒が必要となる。さらに、その前方からの距離が短いほど、機体と障害物との干渉までの時間的余裕が少なくなるので、より重度の警戒が必要となる。このことから、この時間的余裕を考慮して、機体の進行方向前方の警戒すべき距離を決定することが望ましい。したがって、本発明の好適な実施形態の1つでは、前記第1警戒領域は、機体前部に設けられた収穫部の作業幅と、前記カメラの画角と、前記機体から前記機体の進行方向前方への警戒距離とによって規定される領域である。 The area extending forward in the traveling direction of the airframe at the working width is an area where there is a high possibility of interference between the airframe and the obstacle, and therefore requires more vigilance than other areas. Furthermore, the shorter the distance from the front, the less time it takes for the vehicle to interfere with the obstacle, so more severe alerting is required. From this, it is desirable to determine the alerting distance ahead of the traveling direction of the aircraft, taking this time margin into consideration. Therefore, in one of the preferred embodiments of the present invention, the first alert area includes the working width of the harvester provided at the front of the machine, the angle of view of the camera, and the traveling direction of the machine from the machine. This is an area defined by the forward warning distance.
機体と障害物との干渉までの時間的余裕は、障害物が静止している場合には車速に依存するので、前記警戒距離は、前記車速によって変更されることが好適である。これにより、作業性と安全性が両立する。 It is preferable that the warning distance be changed according to the vehicle speed, since the time margin for the interference between the airframe and the obstacle depends on the vehicle speed when the obstacle is stationary. In this way, workability and safety are compatible.
圃場における小麦や稲や大豆などの農作物の収穫作業では、障害物と農作物との識別が難しく、農作物を障害物と誤検出する可能性がある。このような誤検出を低減するためには、最も注意しなければならない障害物である人間の平均高さと、これよりは低い農作物の平均高さとを考慮して、農作物が高い確率で存在している領域を障害物検出の対象外とすることも必要である。これは、圃場における機体の進行方向前方に拡がる空間を検出範囲とし、農作物が存在する空間をマスキングすることによって効果的に行うことができる。適切にマスキングすることより、農作物から突き出した人間などの障害物を確実に検出することができる。一方で、収穫後の圃場面の上方に存在する障害物は農作物に隠されることはないにもかかわらず、農作物の高さレベルの領域をマスキングすることは、背の低い障害物を見逃してしまうことになる。このため、本発明による好適な実施形態の1つでは、前記障害物検出部は、圃場面を1つの基準面とする3次元座標系で前記障害物を検出するとともに、前記圃場面からの高さで規定されたマスキング領域によって障害物検出範囲をマスキング処理する機能を有し、収穫後の前記圃場面の上方に存在する前記障害物に対しては前記マスキング処理が実行されないように構成されている。 In crop operations such as wheat, rice and soybeans in the field, it is difficult to distinguish between an obstacle and a crop, and there is a possibility that a crop may be erroneously detected as an obstacle. In order to reduce such false detections, there is a high probability that crops exist, taking into consideration the average height of humans, which are the obstacles that must be the most important, and the average height of crops that are lower than this. It is also necessary to exclude the target area from obstacle detection. This can be done effectively by masking the space where the crops are present, with the space extending forward in the traveling direction of the airframe in the field as the detection range. By appropriately masking, it is possible to reliably detect an obstacle such as a human being sticking out of a crop. On the other hand, even though the obstacles present above the cropping area are not hidden by the crop, masking the area at the height level of the crop misses the short obstacles It will be. For this reason, in one of the preferred embodiments according to the present invention, the obstacle detection unit detects the obstacle in a three-dimensional coordinate system in which the eyelid scene is one reference plane, and the height from the eyelid scene is high. Function of masking an obstacle detection range by a masking area defined by the data processing means, and the masking process is not performed on the obstacle existing above the scoop scene after harvest There is.
以下、本発明に係る収穫機の一例としてのコンバインの実施形態を図面に基づいて説明する。この実施形態で、機体1の前後方向を定義するときは、作業状態における機体進行方向に沿って定義する。図1に符号(F)で示す方向が機体前側、図1に符号(B)で示す方向が機体後側である。機体1の左右方向を定義するときは、機体進行方向視で見た状態で左右を定義する。「上側(上方)」または「下側(下方)」は、機体の鉛直方向(垂直方向)での位置関係であり、地上高さにおける関係を示す。
Hereinafter, an embodiment of a combine as an example of a harvester according to the present invention will be described based on the drawings. In this embodiment, when defining the front-rear direction of the
図1に示すように、コンバインでは、左右一対のクローラ走行装置10を備えた機体1の前部に横軸芯周りで昇降操作自在に刈取部2が連結されている。左右それぞれのクローラ走行装置10の速度差によって、機体1は左右旋回可能となる。機体1の後部には、機体横幅方向に並ぶ状態で脱穀装置11と、穀粒を貯留する穀粒タンク12とが備えられている。機体1の前部右側箇所に搭乗運転部14が備えられ、この搭乗運転部14の下方に図示されていないエンジンが備えられている。
As shown in FIG. 1, in the combine, the reaper 2 is connected to the front of the
図1に示すように、脱穀装置11は、刈取部2で刈り取られて後方に搬送されてきた刈取穀稈を内部に受け入れて、穀稈の株元をフィードチェーン111と挟持レール112とによって挟持して搬送しながら穂先側を扱胴113にて脱穀処理する。そして、扱胴113の下方に備えられた選別部にて脱穀処理物に対する穀粒選別処理が実行され、そこで選別された穀粒が穀粒タンク12へ搬送され、貯留される。また、詳述はしないが、穀粒タンク12にて貯留される穀粒を外部に排出する穀粒排出装置13が備えられている。
As shown in FIG. 1, the
刈取部2には、引起された植立穀稈の株元を切断するバリカン型の切断装置22、穀稈搬送装置23等が備えられている。穀稈搬送装置23は、株元が切断された縦姿勢の刈取穀稈を徐々に横倒れ姿勢に変更させながら、フィードチェーン111の始端部に向けて搬送する。
The reaper 2 is provided with a hair clipper
搭乗運転部14の天井部には、衛星測位モジュール80も設けられている。衛星測位モジュール80には、GNSS(global navigation satellite system)信号(GPS信号を含む)を受信するための衛星用アンテナが含まれている。衛星測位モジュール80による衛星航法を補完するために、ジャイロ加速度センサや磁気方位センサからなる慣性航法ユニットを衛星測位モジュール80に組み込んでもよい。もちろん、慣性航法ユニットは別の場所に配置できる。
A
図2に示すように、コンバインの前部には、障害物検出のために、圃場における機体1の進行方向前方を撮影するカメラであるステレオカメラ81が備えられている。ステレオカメラ81を用いた障害物検出では、三角測量の原理が用いられる。ステレオカメラ81左右のカメラユニットの撮影画像から視差データが生成され、ステレオカメラ81と検出物体までの距離が演算され、さらには、当該検出物体の3次元座標位置を算出される。この実施形態では、ステレオカメラ81の撮影視野の前後方向の広がりである画角は、40°程度であるが、障害物検出の仕様に応じて、さらに大きな画角、あるいは小さな画角を採用することも可能である。
As shown in FIG. 2, at the front of the combine, a
ステレオカメラ81を用いた障害物検出では、障害物の位置は3次元座標系で求めることができるが、この実施形態では、最終的な障害物検出制御においては、検出された障害物の位置は圃場面に沿った面における2次元座標系で決定される。このため、ステレオカメラ81によって検出した物体を障害物として検出し、障害物との干渉回避の制御が行われる障害物警戒領域は、図3に示すように、機体1の進行方向前方に広がる圃場面に対応する基準面(XY平面)上に規定される。ここでは、障害物警戒領域は、機体1との位置関係が異なる第1警戒領域(図3では濃く塗りつぶされ、符号Z1が付与されている)と第2警戒領域(図3では薄く塗りつぶされ、符号Z2が付与されている)とからなる。
In obstacle detection using the
第1警戒領域は、収穫部である刈取部2の作業幅と、機体1から機体1の進行方向前方への警戒距離(図3では符号L1で示されている)とによって規定される長方形から、ステレオカメラ81の画角によって決まる死角領域を切り取った先端楔状の領域である。言い換えると、第1警戒領域は、実質的にコンバインの走行軌跡幅である刈取部2の左右幅の一辺とし、機体1から進行方向前方への所定距離(警戒距離)を他辺とする長方形から、ステレオカメラ81の画角によって決まる死角領域を切り取った形状である。この第1警戒領域に存在する障害物は、コンバインの進行によりコンバインと接触することになる。したがって、その警戒距離は、コンバインの車速に応じて変更されるのが好ましいが、この実施形態では、作業走行速度が実質的に一定であるので、数mに設定されている。
The first alert area is a rectangle defined by the working width of the harvesting section 2 which is the harvest section and the alert distance forward of the traveling direction of the
第2警戒領域は、機体1の進行方向前方へ広がった平面における、ステレオカメラ81の画角によって決まる死角領域を切り取った先端楔状の領域から、第1警戒領域を切り取った領域ある。コンバインの左右方向に関して、第1警戒領域の3倍程度の幅を有し、機体1の進行方向前方に関して、第1警戒領域の2倍弱の長さ(図3では符号L2で示されている)を有する。第2警戒領域の左右方向広がりは、コンバインの旋回を考慮して設定され、第2警戒領域の進行方向の広がりは、機体1と障害物との干渉までに時間的に余裕が、第1警戒領域より大きくなるように設定されている。
The second alert area is an area obtained by cutting off the first alert area from a tip end area in the dead angle area determined by the angle of view of the
図3には、コンバインの制御系の機能ブロック図が示されている。この実施形態の制御系は、多数のECUと呼ばれる電子制御ユニットと、各種動作機器、センサ群やスイッチ群、それらの間のデータ伝送を行う車載LANなどの配線網から構成されている。報知デバイス84は、運転者等に障害物の検出結果や作業走行の状態などの警告を報知するためのデバイスであり、ブザー、ランプ、スピーカ、ディスプレイなどである。障害物の検出結果に関しては、障害物が第1警戒領域に存在している場合には、切迫した状態を示すような警告音や警告光や警告メッセージが緊急警戒報知として報知され、第1警戒領域に存在している場合には、緊急警戒報知よりは穏やかな注意音や注意光や注意メッセージが注意報知として報知される。
FIG. 3 shows a functional block diagram of the control system of the combine. The control system of this embodiment comprises an electronic control unit called a large number of ECUs, various operation devices, sensors, switches, and a wiring network such as a car-mounted LAN for data transmission between them. The
通信部85は、外部の通信機器との間でデータ交換するために用いられる。制御ユニット6は、この制御系の中核要素であり、複数のECUの集合体として示されている。衛星測位モジュール80からの測位データ、および、ステレオカメラ81からの撮影画像は、配線網を通じて制御ユニット6に入力される。
The
制御ユニット6は、入出力インタフェースとして、出力処理部6Bと入力処理部6Aとを備えている。出力処理部6Bは、車両走行機器群7Aおよび作業装置機器群7Bと接続している。車両走行機器群7Aには、車両走行に関する制御機器、例えばエンジン制御機器、変速制御機器、制動制御機器、操舵制御機器などが含まれている。作業装置機器群7Bには、刈取部2、脱穀装置11、穀粒排出装置13、穀稈搬送装置23における動力制御機器などが含まれている。
The control unit 6 includes an
入力処理部6Aには、走行系検出センサ群8Aや作業系検出センサ群8Bなどが接続されている。走行系検出センサ群8Aには、エンジン回転数調整具、アクセルペダル、ブレーキペダル、変速操作具などの状態を検出するセンサが含まれている。作業系検出センサ群8Bには、刈取部2、脱穀装置11、穀粒排出装置13、穀稈搬送装置23における装置状態および穀稈や穀粒の状態を検出するセンサが含まれている。
A traveling system detection sensor group 8A, a working system detection sensor group 8B, and the like are connected to the
制御ユニット6には、作業走行制御モジュール60、画像処理モジュール50、車速変更指令出力部65、機体位置算出部66、報知部67が備えられている。
The control unit 6 includes a work
報知部67は、制御ユニット6の各機能部からの要求に基づいて報知データを生成し、報知デバイス84に与える。機体位置算出部66は、衛星測位モジュール80から逐次送られてくる測位データに基づいて、機体1の地図座標(または圃場座標)である機体位置を算出する。
The
この実施形態のコンバインは自動走行(自動操舵)と手動走行(手動操舵)の両方で走行可能である。作業走行制御モジュール60には、走行制御部61と作業制御部62とに加えて、作業走行指令部63および走行経路設定部64が備えられている。自動操舵で走行する自動走行モードと、手動操舵で走行する手動操舵モードとのいずれかを選択する走行モードスイッチ(非図示)が搭乗運転部14内に設けられている。この走行モードスイッチを操作することで、手動操舵走行から自動操舵走行への移行、あるいは自動操舵走行から手動操舵走行への移行が可能である。
The combine according to this embodiment can travel in both automatic travel (automatic steering) and manual travel (manual steering). In addition to the
走行制御部61は、エンジン制御機能、操舵制御機能、車速制御機能などを有し、車両走行機器群7Aに走行制御信号を与える。作業制御部62は、刈取部2、脱穀装置11、穀粒排出装置13、穀稈搬送装置23などの動きを制御するために、作業装置機器群7Bに作業制御信号を与える。
The traveling
走行経路設定部64は、自動走行のための走行経路をメモリに展開する。メモリに展開された走行経路は、順次自動走行における目標走行経路として用いられる。この走行経路は、手動走行であっても、コンバインが当該走行経路に沿って走行するためのガイダンスのために利用することも可能である。
The travel
作業走行指令部63は、自動走行指令として、自動操舵指令および車速指令を生成して、走行制御部61に与える。自動操舵指令は、走行経路設定部64によって走行経路と、機体位置算出部66によって算出された自機位置との間の方位ずれおよび位置ずれを解消するように生成される。自動走行時には、車速指令は、前もって設定されている車速値に基づいて生成される。手動走行時には、車速指令は、手動車速操作に基づいて生成される。但し、障害物検出などの緊急事態が発生した場合は、強制的な停止を含む車速変更や、エンジン停止などが自動的に行われる。
The work
自動走行モードが選択されている場合、作業走行指令部63によって与えられる自動走行指令に基づいて、走行制御部61は、操舵に関する車両走行機器群7Aや車速に関する車両走行機器群7Aを制御する。手動走行モードが選択されている場合、運転者による操作に基づいて、走行制御部61が制御信号を生成し、車両走行機器群7Aを制御する。
When the automatic travel mode is selected, the
画像処理モジュール50は、ステレオカメラ81による撮影画像を画像処理して、圃場内の障害物(物体)を検出する機能を有する。画像処理モジュール50には、画像取得部51と、障害物検出部52と、警戒領域設定部53が含まれている。画像取得部51は、ステレオカメラ81による撮影画像を取得する。障害物検出部52は、撮影画像を画像処理することにより障害物を検出する。障害物検出部52における画像処理には、座標変換、ステレオマッチング、3次元特徴点算出などが含まれている。警戒領域設定部53は、機体1に対する位置に基づいて規定される障害物警戒領域を設定する。この実施形態では、障害物警戒領域は、図3を用いて述べたように、第1警戒領域と第2警戒領域に区分けされている。障害物検出部52は、検出される障害物が第1警戒領域と第2警戒領域とのどちらに存在するものであるかを判定し、障害物検出情報を生成する。
The
画像処理モジュール50で生成された障害物検出情報は、車速変更指令出力部65に送られる。車速変更指令出力部65は、受け取った障害物検出情報から、障害物が第1警戒領域に存在する場合には、車速変更値を含む第1車速変更指令を作業走行指令部63に出力し、障害物が第2警戒領域に存在する場合には、車速変更値を含む第2車速変更指令を作業走行指令部63に出力する。第1車速変更指令は、車速をゼロにする指令、つまり機体1を停止する命令である。もちろん、第1車速変更指令は、車速をゼロに近い値にする指令、あるいは、段階的に車速をゼロにする指令であってもよい。第2車速変更指令は、車速を微速、例えば時速1km程度に減速する減速値である。第2車速変更指令として、直前の車速の数分の1に減速するといった、直前車速に対する割合で決められた減速値であってもよい。いずれにせよ、第1車速変更指令による第1車速変更値は、第2車速変更指令による第2車速変更値より大きく、緊急避難のための指令となっている。車速変更指令出力部65によって決定された車速変更指令に基づいて、作業走行指令部63は、走行制御部61に制御指令を与えて、機体1を緊急的に減速させる。検出された障害物の存在が第1警戒領域から第2警戒領域に移行すれば、停止していた機体1は、第2車速変更指令で規定されている微速で前進する。さらには、障害物が警戒領域で、検出されなくなれば、通常の作業車速での走行に戻る。
The obstacle detection information generated by the
次に、上述した制御系における、障害物検出と車速減速との制御の流れの一例を示すフローチャートが図5に示されている。
この制御がスタートすれば、フラグや変数のリセットなどの初期設定が行われる(#01)。警戒領域の設定、つまり第1警戒領域と第2警戒領域が設定される(#02)。第1警戒領域が、車速によって変更される場合には、現在車速を取得して、その車速に基づいて、第1警戒領域が設定される。
Next, FIG. 5 shows a flowchart showing an example of control flow of obstacle detection and vehicle speed deceleration in the above-described control system.
When this control starts, initialization such as resetting of flags and variables is performed (# 01). The setting of the alert area, that is, the first alert area and the second alert area is set (# 02). When the first alert area is changed according to the vehicle speed, the current vehicle speed is acquired, and the first alert area is set based on the vehicle speed.
ステレオカメラ81から撮影画像を取得する(#03)。取得された2つの撮影画像は歪補正され(#04)、ステレオマッチングが行われる(#05)。その後、共通の空間座標に座標変換され、3次元特徴点算出が行われる(#06)。算出された特徴点は、図6で例示しているような3次元座標空間に分布する。この3次元座標空間多数の直方体セルに分割されている。その際、圃場面に対応するXY平面(2次元座標平面)から垂直で所定高さの領域は、マスキング領域であり、このマスキング領域を用いて、算出された3次元特徴点を障害物検出の対象から外すマスキング処理が行われる(#07)。収穫される農作物が稲や麦の場合、その所定高さや約1mである。したがって、図6に示すように、直方体セル群は、圃場面から上方に浮かんだ高さが1m弱の直方体形状となっている。各直方体に含まれる3次元特徴点の数、つまり点密度が所定のしきい値を超えると、当該直方体セルが障害物として取り扱われる。もちろん、予め、3次元座標空間に対してマスキングして、マスキング領域における3次元特徴点の検出を行わないようにしてもよい。 A photographed image is acquired from the stereo camera 81 (# 03). The two captured images obtained are subjected to distortion correction (# 04), and stereo matching is performed (# 05). Thereafter, coordinate conversion is performed to common space coordinates, and three-dimensional feature point calculation is performed (# 06). The calculated feature points are distributed in a three-dimensional coordinate space as illustrated in FIG. This three-dimensional coordinate space is divided into a large number of rectangular parallelepiped cells. At that time, an area of a predetermined height which is perpendicular to the XY plane (two-dimensional coordinate plane) corresponding to the scene of the eyebrows is a masking area, and this masking area is used to detect the three-dimensional feature point calculated as an obstacle. A masking process to exclude from the target is performed (# 07). When the crop to be harvested is rice or wheat, it has a predetermined height or about 1 m. Therefore, as shown in FIG. 6, the rectangular parallelepiped cell group has a rectangular parallelepiped shape having a height of about 1 m or less, which floats upward from the eyelid scene. When the number of three-dimensional feature points included in each rectangular solid, that is, the point density exceeds a predetermined threshold value, the rectangular solid cell is treated as an obstacle. Of course, the three-dimensional coordinate space may be masked in advance so that detection of three-dimensional feature points in the masking area is not performed.
なお、この実施形態の収穫機は、自機位置を算出することができるので、現在自機位置と圃場における作業済み領域との位置関係を把握することができる。作業済み領域(収穫後の圃場面)には高くの延びた農作物は存在しないので、上述した、高さ方向のマスキングは不要となる。つまり、収穫後の圃場面の上方に存在する障害物を確実に検出するために、高さ方向のマスキング処理は実行されない。 In addition, since the harvest machine of this embodiment can calculate a self-machine position, it can grasp | ascertain the positional relationship of the self-machine position and the operation completed area | region in a field. There is no high crop growth in the work area (the post-harvest weir scene), so the heightwise masking described above is not necessary. That is, the masking process in the height direction is not performed in order to reliably detect an obstacle present above the cropped straw scene.
次に、障害物セルが算出されたかどうか、つまり障害物が検出されたかどうか、判定される(#08)。障害物セルが算出されると(#08Yes分岐)、その障害物セルの圃場面に対応するXY座標平面での座標値が算出され、この座標値が障害物の2次元位置となる(#11)。 Next, it is determined whether an obstacle cell has been calculated, that is, whether an obstacle has been detected (# 08). When the obstacle cell is calculated (# 08 Yes branch), the coordinate value on the XY coordinate plane corresponding to the overhead scene of the obstacle cell is calculated, and this coordinate value becomes the two-dimensional position of the obstacle (# 11 ).
障害物が第1警戒領域に入っているかどうかチェックされる(#12)。障害物が第1警戒領域に入っていれば(#12Yes分岐)、車速変更指令出力部65が第1車速変更指令として、停止指令を作業走行指令部63に与える(#13)。さらに停止フラグをONにする(#14)。なお、ステップ#14において、減速フラグがONであるときは(第2警戒領域から第1境界領域に障害物が移動したときは)、減速フラグをOFFにして停止フラグをONにすることになる。これにより機体1は停止し、制御はステップ#02に戻る。
It is checked whether the obstacle is in the first alert area (# 12). If the obstacle is in the first alert area (# 12 Yes branch), the vehicle speed change
ステップ#12のチェックで障害物が第1警戒領域に入っていない場合(#12No分岐)、さらに、第2警戒領域に入っているかどうかチェックされる(#20)。障害物が第2警戒領域に入っていれば(#20Yes分岐)、車速変更指令出力部65が第2車速変更指令として、減速指令を作業走行指令部63に与える(#21)。さらに減速フラグをONにする(#22)。なお、ステップ#22において、停止フラグがONであるときは(第1警戒領域から第2境界領域に障害物が移動したときは)、停止フラグをOFFにして減速フラグをONにすることになる。これにより機体1は微速走行し(時速1km程度)、制御はステップ#02に戻る。
If the obstacle is not in the first alert area in the check of step # 12 (# 12 No branch), it is further checked whether it is in the second alert area (# 20). If the obstacle is in the second alert area (# 20 Yes branch), the vehicle speed change
ステップ#20のチェックで障害物が第2警戒領域に入っていない場合(#20No分岐)、警戒領域には障害物が存在しないことになる。このように警戒領域には障害物が存在しない場合、あるいは、そもそも障害物が検出されなかった場合(#08No分岐)、停止フラグの状態と減速フラグとの状態がチェックされ、その状態に応じたフラグ内容の書き換えが行われる。具体的には、その際に、停止フラグがONであれば(#30Yes分岐)、停止フラグはOFFに書き換えられ(#31)、さらに、走行指令が有効となり、機体1は通常走行を行う(#32)。次いで、制御はステップ#02に戻る。その際に、停止フラグがONでなければ(#30No分岐)、減速フラグの内容がチェックされる(#40)。減速フラグがONであれば(#40Yes分岐)、減速フラグはOFFに書き換えられる(#41)、さらに、走行指令が有効となり、機体1は通常走行を行う(#42)。通常走行とは、障害物等が検出されていない際の作業走行であり、その車速は、障害物が第2警戒領域に存在している際の車速より、速い速度である。次いで、制御はステップ#02に戻る。減速フラグがOFFであれば(#40No分岐)、もちろん走行指令は有効であり、機体1は通常走行を行う(#43)そのまま、制御はステップ#02に戻る。
If an obstacle does not enter the second alert area in the check of step # 20 (#No branch), there will be no obstacle in the alert area. As described above, when there is no obstacle in the alert area, or when no obstacle is detected in the first place (No at No. 08), the state of the stop flag and the state of the deceleration flag are checked, and the state is determined accordingly. The flag content is rewritten. Specifically, at that time, if the stop flag is ON (# 30 Yes branch), the stop flag is rewritten to OFF (# 31), and the traveling command becomes valid, and the
このような障害物検出と車速変更との制御により、収穫機の機体1の進行方向前方の警戒領域に圃場作業者が進入すると、収穫機は停止または減速し、警戒領域から圃場作業者が出ていくと、収穫機は、再び通常の車速での作業走行に復帰する。
When a field worker enters a warning area ahead of the advancing direction of the
この障害物検出に基づく車速減速の制御は、収穫機が自動走行であっても、手動走行であっても、実行させることが可能である。 The control of the vehicle speed reduction based on the obstacle detection can be performed regardless of whether the harvester is traveling automatically or is traveling manually.
上述した実施形態では、第1警戒領域と第2警戒領域とを設定し、障害物がそれぞれの警戒領域に存在した場合、機体1の停止、または通常走行より遅い車速への変更が行われた。これに代えて、警戒領域を3つ以上設け、それぞれの領域に応じて、機体1を停止または微速への変更が行われてもよい。さらには、警戒領域を無段階に設定し、機体1と障害物との距離に応じて、機体1の停止、あるいは通常走行より遅い車速への無段階の変更が行われてもよい。
In the above-described embodiment, the first alert area and the second alert area are set, and when an obstacle exists in each alert area, the
なお、上記実施形態(別実施形態を含む、以下同じ)で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能であり、また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。 Note that the configurations disclosed in the above-described embodiment (including the other embodiments, and the same hereinafter) can be applied in combination with the configurations disclosed in the other embodiments as long as no contradiction arises. The embodiment disclosed in the present specification is an exemplification, and the embodiment of the present invention is not limited thereto, and can be appropriately modified without departing from the object of the present invention.
本発明は、圃場で作業走行を行う収穫機に適用される。 The present invention is applied to a harvester that carries out work travel in a field.
1 :機体
2 :刈取部
50 :画像処理モジュール
51 :画像取得部
52 :障害物検出部
53 :警戒領域設定部
6 :制御ユニット
60 :作業走行制御モジュール
61 :走行制御部
62 :作業制御部
63 :作業走行指令部
64 :走行経路設定部
65 :車速変更指令出力部
66 :機体位置算出部
67 :報知部
80 :衛星測位モジュール
81 :ステレオカメラ(カメラ)
84 :報知デバイス
1: Machine body 2: Reaping unit 50: Image processing module 51: Image acquisition unit 52: Obstacle detection unit 53: Alert area setting unit 6: Control unit 60: Work travel control module 61: Travel control unit 62: Work control unit 63 : Work travel command unit 64: Travel route setting unit 65: Vehicle speed change command output unit 66: Vehicle position calculation unit 67: Notification unit 80: Satellite positioning module 81: Stereo camera (camera)
84: Notification device
Claims (5)
前記カメラによる撮影画像を取得する画像取得部と、
前記撮影画像を画像処理することにより障害物を検出する障害物検出部と、
前記機体に対する位置に基づいて規定される障害物警戒領域を設定する警戒領域設定部と、
前記障害物検出部によって検出される前記障害物が前記障害物警戒領域に存在する場合、前記障害物と前記機体との位置関係に応じて車速を変更する車速変更指令出力部と、を備えた収穫機。 A camera for capturing the forward direction of the traveling direction of the aircraft in the field;
An image acquisition unit that acquires an image captured by the camera;
An obstacle detection unit that detects an obstacle by performing image processing on the captured image;
An alert area setting unit that sets an obstacle alert area defined based on the position with respect to the aircraft;
A vehicle speed change command output unit that changes the vehicle speed according to the positional relationship between the obstacle and the vehicle when the obstacle detected by the obstacle detection unit is present in the obstacle alert area; Harvester.
前記車速変更指令出力部は、前記障害物が前記第1警戒領域に存在する場合に第1車速変更指令を出力し、前記第2警戒領域に存在する場合には前記第1車速変更指令より車速変更値が小さい第2車速変更指令を出力する請求項1に記載の収穫機。 The obstacle alert area is divided into a first alert area and a second alert area having different positional relationships with the airframe,
The vehicle speed change command output unit outputs a first vehicle speed change command when the obstacle is present in the first warning area, and when the obstacle is present in the second warning area, the vehicle speed is determined according to the first vehicle speed change command. The harvester according to claim 1, which outputs a second vehicle speed change command having a small change value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017212021A JP6904539B2 (en) | 2017-11-01 | 2017-11-01 | Harvester |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017212021A JP6904539B2 (en) | 2017-11-01 | 2017-11-01 | Harvester |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019083703A true JP2019083703A (en) | 2019-06-06 |
JP6904539B2 JP6904539B2 (en) | 2021-07-21 |
Family
ID=66761453
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017212021A Active JP6904539B2 (en) | 2017-11-01 | 2017-11-01 | Harvester |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6904539B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020262508A1 (en) * | 2019-06-28 | 2020-12-30 | 株式会社クボタ | Harvester, system, program, recording medium, and method |
JP2021003016A (en) * | 2019-06-25 | 2021-01-14 | 株式会社クボタ | Travel route generation system |
JP2021007311A (en) * | 2019-06-28 | 2021-01-28 | 株式会社クボタ | Game machine |
JP2021058099A (en) * | 2019-10-03 | 2021-04-15 | 国立大学法人京都大学 | Agricultural implement |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58211214A (en) * | 1982-06-03 | 1983-12-08 | Kubota Ltd | Running vehicle provided with obstacle detecting sensor |
JPH04210503A (en) * | 1990-12-11 | 1992-07-31 | Iseki & Co Ltd | Apparatus for avoiding obstacle in unmanned mobile lawn mower |
JPH04276804A (en) * | 1991-03-04 | 1992-10-01 | Yanmar Diesel Engine Co Ltd | Obstruction detection/automatic stop apparatus for radiocontrolled work vehicle |
JPH07306997A (en) * | 1994-05-13 | 1995-11-21 | Mazda Motor Corp | Estimating device for traveling course of automobile |
JPH0976850A (en) * | 1995-09-12 | 1997-03-25 | Yanmar Agricult Equip Co Ltd | Safety device for working running vehicle |
WO2015147082A1 (en) * | 2014-03-26 | 2015-10-01 | ヤンマー株式会社 | Autonomous travel working vehicle |
US20160106023A1 (en) * | 2014-10-15 | 2016-04-21 | Michael J. Roy | Remote steering control with row finder |
-
2017
- 2017-11-01 JP JP2017212021A patent/JP6904539B2/en active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58211214A (en) * | 1982-06-03 | 1983-12-08 | Kubota Ltd | Running vehicle provided with obstacle detecting sensor |
JPH04210503A (en) * | 1990-12-11 | 1992-07-31 | Iseki & Co Ltd | Apparatus for avoiding obstacle in unmanned mobile lawn mower |
JPH04276804A (en) * | 1991-03-04 | 1992-10-01 | Yanmar Diesel Engine Co Ltd | Obstruction detection/automatic stop apparatus for radiocontrolled work vehicle |
JPH07306997A (en) * | 1994-05-13 | 1995-11-21 | Mazda Motor Corp | Estimating device for traveling course of automobile |
JPH0976850A (en) * | 1995-09-12 | 1997-03-25 | Yanmar Agricult Equip Co Ltd | Safety device for working running vehicle |
WO2015147082A1 (en) * | 2014-03-26 | 2015-10-01 | ヤンマー株式会社 | Autonomous travel working vehicle |
US20160106023A1 (en) * | 2014-10-15 | 2016-04-21 | Michael J. Roy | Remote steering control with row finder |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021003016A (en) * | 2019-06-25 | 2021-01-14 | 株式会社クボタ | Travel route generation system |
JP7069087B2 (en) | 2019-06-25 | 2022-05-17 | 株式会社クボタ | Travel route generation system |
JP2022103238A (en) * | 2019-06-25 | 2022-07-07 | 株式会社クボタ | Travel route generating system |
JP7433362B2 (en) | 2019-06-25 | 2024-02-19 | 株式会社クボタ | Travel route generation system |
WO2020262508A1 (en) * | 2019-06-28 | 2020-12-30 | 株式会社クボタ | Harvester, system, program, recording medium, and method |
JP2021007311A (en) * | 2019-06-28 | 2021-01-28 | 株式会社クボタ | Game machine |
CN113811179A (en) * | 2019-06-28 | 2021-12-17 | 株式会社久保田 | Harvester, system, program, recording medium, and method |
CN113811179B (en) * | 2019-06-28 | 2024-03-08 | 株式会社久保田 | Harvester, system, program, recording medium, and method |
JP2021058099A (en) * | 2019-10-03 | 2021-04-15 | 国立大学法人京都大学 | Agricultural implement |
JP7246641B2 (en) | 2019-10-03 | 2023-03-28 | 国立大学法人京都大学 | agricultural machine |
Also Published As
Publication number | Publication date |
---|---|
JP6904539B2 (en) | 2021-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102589076B1 (en) | harvest | |
JP7034866B2 (en) | Harvester | |
JP7195543B2 (en) | harvester | |
WO2020261823A1 (en) | Obstacle detection system, agricultural work vehicle, obstacle detection program, recording medium on which obstacle detection program is recorded, and obstacle detection method | |
JP7029910B2 (en) | Information processing equipment, information processing methods and programs | |
CN108227703B (en) | Information processing apparatus and method, operated vehicle, and recording medium having program recorded thereon | |
JP2019083703A (en) | Harvesting machine | |
JP7104651B2 (en) | Vehicle control system | |
JP7174484B2 (en) | agricultural vehicle | |
JP6854713B2 (en) | combine | |
JP7433362B2 (en) | Travel route generation system | |
JP7381402B2 (en) | automatic driving system | |
JP2020158090A (en) | Vehicle control system | |
CN111768650A (en) | Advanced wildlife collision avoidance for vehicles | |
JP7246641B2 (en) | agricultural machine | |
JP2019004772A (en) | Harvesting machine | |
US20220346315A1 (en) | Harvesting Machine, Obstacle Determination Program, Recording Medium on Which Obstacle Determination Program is Recorded, Obstacle Determination Method, Agricultural Work Machine, Control Program, Recording Medium on Which Control Program is Recorded, and Control Method | |
US20220165160A1 (en) | Saddle-riding type vehicle | |
KR20200096491A (en) | Agricultural work car, work car collision boundary system and work car | |
US11590971B2 (en) | Apparatus and method for determining traveling position of vehicle | |
WO2020261824A1 (en) | Working vehicle, obstacle detection method, and obstacle detection program | |
JP7041889B2 (en) | Head harvester combine | |
WO2020218528A1 (en) | Agricultural machine such as harvester | |
JP7080042B2 (en) | Harvester collision warning system and harvester | |
JP7184694B2 (en) | vehicle control system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191225 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201210 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210518 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210615 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6904539 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |