JP2019083703A - Harvesting machine - Google Patents

Harvesting machine Download PDF

Info

Publication number
JP2019083703A
JP2019083703A JP2017212021A JP2017212021A JP2019083703A JP 2019083703 A JP2019083703 A JP 2019083703A JP 2017212021 A JP2017212021 A JP 2017212021A JP 2017212021 A JP2017212021 A JP 2017212021A JP 2019083703 A JP2019083703 A JP 2019083703A
Authority
JP
Japan
Prior art keywords
obstacle
vehicle speed
area
unit
alert
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017212021A
Other languages
Japanese (ja)
Other versions
JP6904539B2 (en
Inventor
飯田 訓久
Kunihisa Iida
訓久 飯田
諒 朝田
Ryo Asada
諒 朝田
隆志 中林
Takashi Nakabayashi
隆志 中林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kubota Corp
Kyoto University
Original Assignee
Kubota Corp
Kyoto University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kubota Corp, Kyoto University filed Critical Kubota Corp
Priority to JP2017212021A priority Critical patent/JP6904539B2/en
Publication of JP2019083703A publication Critical patent/JP2019083703A/en
Application granted granted Critical
Publication of JP6904539B2 publication Critical patent/JP6904539B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

To provide a combine-harvester capable of performing harvesting work, while detecting obstacles without lowering the workability.SOLUTION: The harvesting machine includes: a camera 81 for capturing a field ahead of the travel direction of a machine body in the field; an image acquisition unit 51 for acquiring a captured image by a camera 81; an obstacle detection unit 52 for detecting an obstacle by processing the captured image; a warning area setup unit 53 for setting up an obstacle warning area prescribed on the basis of a position relative to the machine body; and a vehicle speed change command output unit 65 that, when the obstacle detected by the obstacle detection unit is present in the obstacle warning area, changes the vehicle speed according to a physical relationship between the obstacle and the machine body.SELECTED DRAWING: Figure 4

Description

本発明は、カメラによって取得された撮影画像を用いて、圃場における障害物を検出する収穫機に関する。   The present invention relates to a harvester that detects an obstacle in a field using a captured image acquired by a camera.

圃場には、運転者以外の作業者や電柱などの障害物が存在している可能性があるので、圃場を作業走行するコンバインには、特許文献1に開示されているように、障害物を検出するための超音波式の障害物センサが備えられているものがある。障害物センサによって障害物が検出された場合、危険防止のためにエンジン等が停止される。   In the field, there may be an operator other than the driver or an obstacle such as an electric pole, so as shown in Patent Document 1, the combine for working on the field is an obstacle. Some are provided with ultrasonic obstacle sensors for detection. When an obstacle is detected by the obstacle sensor, the engine or the like is stopped to prevent danger.

特許文献2によるコンバインには、レーザースキャナが備えられている。このレーザースキャナは、刈取対象物が刈り取られることによって路面の大部分が露呈している領域に立ち入った人を検出するために、刈取部の右側部分に偏ってレーザーが照射されるように構成されている。また、特許文献2では、障害物を検出するために、レーザースキャナに代えて、ミリ波レーダを用いること、あるいはカメラ等を用いた画像処理を用いることも可能であると記載されている。   The combine according to Patent Document 2 is equipped with a laser scanner. This laser scanner is configured such that the laser is emitted toward the right side of the reaper in order to detect a person who has entered the area where most of the road surface is exposed by mowing the object to be removed. ing. Moreover, in patent document 2, in order to detect an obstacle, it is described in place of a laser scanner that it is also possible to use a millimeter-wave radar or to use image processing using a camera or the like.

特開平9−76850号公報JP-A-9-76850 特開2017−176007号公報JP, 2017-176007, A

小麦や稲や大豆などの農作物の収穫作業では、人などの障害物が部分的に農作物によって隠されてしまう可能性が高く、障害物検出精度が変動する。このため、障害物を検出する毎に機体を停車させ、検出された障害物を確認していると、作業性が低下する。
このような実情から、できるだけ作業性を低下させないで、障害物検出を行いながら収穫作業を実施するコンバインが要望されている。
In crop work of crops such as wheat, rice and soybeans, obstacles such as humans are likely to be partially obscured by crops, and obstacle detection accuracy fluctuates. For this reason, when the vehicle is stopped every time an obstacle is detected and the detected obstacle is confirmed, the workability is reduced.
From such a situation, there is a demand for a combine that carries out a harvesting operation while detecting an obstacle without lowering the workability as much as possible.

本発明による収穫機は、圃場における機体の進行方向前方を撮影するカメラと、前記カメラによる撮影画像を取得する画像取得部と、前記撮影画像を画像処理することにより障害物を検出する障害物検出部と、前記機体に対する位置に基づいて規定される障害物警戒領域を設定する警戒領域設定部と、前記障害物検出部によって検出される前記障害物が前記障害物警戒領域に存在する場合、前記障害物と前記機体との位置関係に応じて車速を変更する車速変更指令出力部とを備えている。   A harvester according to the present invention comprises: a camera for capturing an image of a forward direction of an aircraft in a field; an image acquisition unit for acquiring an image captured by the camera; and an obstacle detection for detecting an obstacle by performing image processing on the captured image. Section, an alert area setting section that sets an obstacle alert area defined based on the position with respect to the machine, and the obstacle detected by the obstacle detection section is present in the obstacle alert area; And a vehicle speed change command output unit configured to change the vehicle speed in accordance with the positional relationship between the obstacle and the vehicle body.

この構成によれば、検出された障害物が、機体に対する位置に基づいて設定された障害物警戒領域に存在するとみなされると、当該障害物と機体との位置関係に応じて車速が変更される。したがって、機体と障害物との位置関係から所定時間内での干渉可能性が大きい場合と、干渉可能性が小さい場合とによって車速の変更度合を相違させることができる。その際、例えば、機体と障害物との位置関係から相対的に短い時間内での干渉可能性が大きい場合での車速の変更は、車速ゼロへの変更、つまり機体を停止にさせることになる。これにより、機体と障害物との位置関係から相対的に短い時間内での干渉可能性が小さい場合でも、機体を停止させ、作業性を低下させるようなことは、低減される。さらには、障害物警戒領域が機体に対する位置に基づいて規定されることから、カメラの撮影視野に入っている領域であっても、機体と障害物とが干渉する可能性がほとんど無視することができる領域に対しては、障害物警戒領域から外すことができる。これにより、障害物検出の効率が向上する。   According to this configuration, when the detected obstacle is considered to be present in the obstacle warning area set based on the position with respect to the aircraft, the vehicle speed is changed according to the positional relationship between the obstacle and the aircraft. . Therefore, the degree of change of the vehicle speed can be made different depending on the positional relationship between the aircraft and the obstacle depending on whether the possibility of interference within a predetermined time is large or not. At that time, for example, the change of the vehicle speed in the case where the possibility of interference within a relatively short time is large due to the positional relationship between the vehicle and the obstacle will change the vehicle speed to zero, that is, stop the vehicle. . As a result, even if the possibility of interference within a relatively short time is small due to the positional relationship between the airframe and the obstacle, the possibility of stopping the airframe and reducing the workability is reduced. Furthermore, since the obstacle warning area is defined based on the position with respect to the airframe, it is possible to almost ignore the possibility that the airframe and the obstacle interfere with each other even in the area within the shooting field of view of the camera. For areas where it is possible, it can be removed from the obstacle warning area. This improves the efficiency of obstacle detection.

本発明の好適な実施形態の1つでは、前記障害物警戒領域は、前記機体との位置関係が異なる第1警戒領域と第2警戒領域とに区分けされ、前記車速変更指令出力部は、前記障害物が前記第1警戒領域に存在する場合に第1車速変更指令を出力し、前記第2警戒領域に存在する場合には前記第1車速変更指令より車速変更値が小さい第2車速変更指令を出力する。この構成では、例えば、障害物警戒領域を、機体と障害物とが干渉する可能性が高いと見なされる第1警戒領域と、機体と障害物とが干渉する可能性が第1警戒領域よりは低いと見なされる第2警戒領域とに区分けすることができる。そして、検出された障害物が第1警戒領域に存在する場合には、検出された障害物が第2警戒領域に存在する場合に比べて、車速を大きく減速(停止を含む)する。これにより、作業性と安全性とを適正に両立させることができる。   In one of the preferred embodiments of the present invention, the obstacle alert area is divided into a first alert area and a second alert area having different positional relationships with the vehicle, and the vehicle speed change command output unit A second vehicle speed change command that outputs a first vehicle speed change command when an obstacle exists in the first alert area, and a vehicle speed change value is smaller than the first vehicle speed change command when an obstacle exists in the second alert area Output In this configuration, for example, in the obstacle warning area, the first warning area that is considered to have a high possibility of interference between the airframe and the obstacle, and the possibility of interference between the airframe and the obstacle is more than the first warning area. It can be divided into a second alert area that is considered low. Then, when the detected obstacle is present in the first alert area, the vehicle speed is greatly reduced (including the stop) as compared with the case where the detected obstacle is present in the second alert area. This makes it possible to properly balance the workability and the safety.

作業幅で機体の進行方向前方に延びる領域は、機体と障害物とが干渉する可能性が高い領域なので、他の領域より警戒が必要となる。さらに、その前方からの距離が短いほど、機体と障害物との干渉までの時間的余裕が少なくなるので、より重度の警戒が必要となる。このことから、この時間的余裕を考慮して、機体の進行方向前方の警戒すべき距離を決定することが望ましい。したがって、本発明の好適な実施形態の1つでは、前記第1警戒領域は、機体前部に設けられた収穫部の作業幅と、前記カメラの画角と、前記機体から前記機体の進行方向前方への警戒距離とによって規定される領域である。   The area extending forward in the traveling direction of the airframe at the working width is an area where there is a high possibility of interference between the airframe and the obstacle, and therefore requires more vigilance than other areas. Furthermore, the shorter the distance from the front, the less time it takes for the vehicle to interfere with the obstacle, so more severe alerting is required. From this, it is desirable to determine the alerting distance ahead of the traveling direction of the aircraft, taking this time margin into consideration. Therefore, in one of the preferred embodiments of the present invention, the first alert area includes the working width of the harvester provided at the front of the machine, the angle of view of the camera, and the traveling direction of the machine from the machine. This is an area defined by the forward warning distance.

機体と障害物との干渉までの時間的余裕は、障害物が静止している場合には車速に依存するので、前記警戒距離は、前記車速によって変更されることが好適である。これにより、作業性と安全性が両立する。   It is preferable that the warning distance be changed according to the vehicle speed, since the time margin for the interference between the airframe and the obstacle depends on the vehicle speed when the obstacle is stationary. In this way, workability and safety are compatible.

圃場における小麦や稲や大豆などの農作物の収穫作業では、障害物と農作物との識別が難しく、農作物を障害物と誤検出する可能性がある。このような誤検出を低減するためには、最も注意しなければならない障害物である人間の平均高さと、これよりは低い農作物の平均高さとを考慮して、農作物が高い確率で存在している領域を障害物検出の対象外とすることも必要である。これは、圃場における機体の進行方向前方に拡がる空間を検出範囲とし、農作物が存在する空間をマスキングすることによって効果的に行うことができる。適切にマスキングすることより、農作物から突き出した人間などの障害物を確実に検出することができる。一方で、収穫後の圃場面の上方に存在する障害物は農作物に隠されることはないにもかかわらず、農作物の高さレベルの領域をマスキングすることは、背の低い障害物を見逃してしまうことになる。このため、本発明による好適な実施形態の1つでは、前記障害物検出部は、圃場面を1つの基準面とする3次元座標系で前記障害物を検出するとともに、前記圃場面からの高さで規定されたマスキング領域によって障害物検出範囲をマスキング処理する機能を有し、収穫後の前記圃場面の上方に存在する前記障害物に対しては前記マスキング処理が実行されないように構成されている。   In crop operations such as wheat, rice and soybeans in the field, it is difficult to distinguish between an obstacle and a crop, and there is a possibility that a crop may be erroneously detected as an obstacle. In order to reduce such false detections, there is a high probability that crops exist, taking into consideration the average height of humans, which are the obstacles that must be the most important, and the average height of crops that are lower than this. It is also necessary to exclude the target area from obstacle detection. This can be done effectively by masking the space where the crops are present, with the space extending forward in the traveling direction of the airframe in the field as the detection range. By appropriately masking, it is possible to reliably detect an obstacle such as a human being sticking out of a crop. On the other hand, even though the obstacles present above the cropping area are not hidden by the crop, masking the area at the height level of the crop misses the short obstacles It will be. For this reason, in one of the preferred embodiments according to the present invention, the obstacle detection unit detects the obstacle in a three-dimensional coordinate system in which the eyelid scene is one reference plane, and the height from the eyelid scene is high. Function of masking an obstacle detection range by a masking area defined by the data processing means, and the masking process is not performed on the obstacle existing above the scoop scene after harvest There is.

コンバインの全体側面図である。It is a whole side view of a combine. 機体前部に装備されたステレオカメラによる障害物検出範囲を示す模式図である。It is a schematic diagram which shows the obstacle detection range by the stereo camera with which the fuselage front part was equipped. ステレオカメラによる障害物検出に用いられる第1警戒領域と第2警戒領域とを示す平面図である。It is a top view which shows the 1st caution area | region and 2nd caution area | region which are used for the obstruction detection by a stereo camera. コンバインにおける制御系の機能ブロック図である。It is a functional block diagram of the control system in a combine. 障害物検出制御の流れを示すフローチャートである。It is a flowchart which shows the flow of obstacle detection control. 3次元の障害物検出空間座標での障害物検出結果から導出される、圃場面に沿った平面座標での障害物位置を示す模式図である。It is a schematic diagram which shows the obstacle position in the plane coordinate in alignment with the overhead scene derived | led-out from the obstacle detection result in a three-dimensional obstacle detection space coordinate.

以下、本発明に係る収穫機の一例としてのコンバインの実施形態を図面に基づいて説明する。この実施形態で、機体1の前後方向を定義するときは、作業状態における機体進行方向に沿って定義する。図1に符号(F)で示す方向が機体前側、図1に符号(B)で示す方向が機体後側である。機体1の左右方向を定義するときは、機体進行方向視で見た状態で左右を定義する。「上側(上方)」または「下側(下方)」は、機体の鉛直方向(垂直方向)での位置関係であり、地上高さにおける関係を示す。   Hereinafter, an embodiment of a combine as an example of a harvester according to the present invention will be described based on the drawings. In this embodiment, when defining the front-rear direction of the aircraft 1, it is defined along the aircraft traveling direction in the working state. The direction indicated by the symbol (F) in FIG. 1 is the front side of the vehicle, and the direction indicated by the symbol (B) in FIG. 1 is the rear side of the vehicle. When defining the left-right direction of the airframe 1, right and left are defined in the state seen in the advancing direction of the airframe. The “upper (upper)” or “lower (lower)” is a positional relationship in the vertical direction (vertical direction) of the airframe, and indicates a relationship in the ground level.

図1に示すように、コンバインでは、左右一対のクローラ走行装置10を備えた機体1の前部に横軸芯周りで昇降操作自在に刈取部2が連結されている。左右それぞれのクローラ走行装置10の速度差によって、機体1は左右旋回可能となる。機体1の後部には、機体横幅方向に並ぶ状態で脱穀装置11と、穀粒を貯留する穀粒タンク12とが備えられている。機体1の前部右側箇所に搭乗運転部14が備えられ、この搭乗運転部14の下方に図示されていないエンジンが備えられている。   As shown in FIG. 1, in the combine, the reaper 2 is connected to the front of the machine body 1 including the pair of left and right crawler traveling devices 10 so as to be able to move up and down around the horizontal axis. Due to the difference in speed between the left and right crawler traveling devices 10, the vehicle body 1 can turn left and right. A threshing device 11 and a grain tank 12 for storing grains are provided at the rear of the machine body 1 in a state of being aligned in the machine body width direction. A boarding driver 14 is provided at a front right side portion of the airframe 1, and an engine (not shown) is provided below the boarding driver 14.

図1に示すように、脱穀装置11は、刈取部2で刈り取られて後方に搬送されてきた刈取穀稈を内部に受け入れて、穀稈の株元をフィードチェーン111と挟持レール112とによって挟持して搬送しながら穂先側を扱胴113にて脱穀処理する。そして、扱胴113の下方に備えられた選別部にて脱穀処理物に対する穀粒選別処理が実行され、そこで選別された穀粒が穀粒タンク12へ搬送され、貯留される。また、詳述はしないが、穀粒タンク12にて貯留される穀粒を外部に排出する穀粒排出装置13が備えられている。   As shown in FIG. 1, the threshing device 11 internally receives the reaping grain crush which has been cut by the reaping section 2 and transported to the rear, and the origin of the grain clump is pinched by the feed chain 111 and the pinching rail 112 While carrying, the tip side is threshed with a threshing cylinder 113. Then, the grain sorting process is performed on the threshing treatment product in the sorting unit provided below the threshing drum 113, and the grain sorted there is transported to the grain tank 12 and stored. Although not described in detail, a grain discharging device 13 for discharging grains stored in the grain tank 12 to the outside is provided.

刈取部2には、引起された植立穀稈の株元を切断するバリカン型の切断装置22、穀稈搬送装置23等が備えられている。穀稈搬送装置23は、株元が切断された縦姿勢の刈取穀稈を徐々に横倒れ姿勢に変更させながら、フィードチェーン111の始端部に向けて搬送する。   The reaper 2 is provided with a hair clipper type cutting device 22 for cutting the origin of the cropped rice straw which has been raised, a grain transportation device 23 and the like. The grain conveying device 23 conveys the cropped grain weir in the vertical posture, in which the stock origin has been cut, to the tip end portion of the feed chain 111 while gradually changing it to the horizontal falling posture.

搭乗運転部14の天井部には、衛星測位モジュール80も設けられている。衛星測位モジュール80には、GNSS(global navigation satellite system)信号(GPS信号を含む)を受信するための衛星用アンテナが含まれている。衛星測位モジュール80による衛星航法を補完するために、ジャイロ加速度センサや磁気方位センサからなる慣性航法ユニットを衛星測位モジュール80に組み込んでもよい。もちろん、慣性航法ユニットは別の場所に配置できる。   A satellite positioning module 80 is also provided on the ceiling of the boarding and driving unit 14. The satellite positioning module 80 includes a satellite antenna for receiving global navigation satellite system (GNSS) signals (including GPS signals). In order to complement the satellite navigation by the satellite positioning module 80, an inertial navigation unit consisting of a gyro acceleration sensor and a magnetic direction sensor may be incorporated into the satellite positioning module 80. Of course, the inertial navigation unit can be located elsewhere.

図2に示すように、コンバインの前部には、障害物検出のために、圃場における機体1の進行方向前方を撮影するカメラであるステレオカメラ81が備えられている。ステレオカメラ81を用いた障害物検出では、三角測量の原理が用いられる。ステレオカメラ81左右のカメラユニットの撮影画像から視差データが生成され、ステレオカメラ81と検出物体までの距離が演算され、さらには、当該検出物体の3次元座標位置を算出される。この実施形態では、ステレオカメラ81の撮影視野の前後方向の広がりである画角は、40°程度であるが、障害物検出の仕様に応じて、さらに大きな画角、あるいは小さな画角を採用することも可能である。   As shown in FIG. 2, at the front of the combine, a stereo camera 81, which is a camera for photographing the forward direction of the airframe 1 in the field, is provided for obstacle detection. In obstacle detection using the stereo camera 81, the principle of triangulation is used. Parallax data is generated from images captured by the camera units on the left and right of the stereo camera 81, the distance between the stereo camera 81 and the detected object is calculated, and the three-dimensional coordinate position of the detected object is calculated. In this embodiment, the angle of view which is the extension in the front-rear direction of the imaging field of view of the stereo camera 81 is about 40 °, but a larger angle of view or a smaller angle of view is adopted according to the specification of obstacle detection. It is also possible.

ステレオカメラ81を用いた障害物検出では、障害物の位置は3次元座標系で求めることができるが、この実施形態では、最終的な障害物検出制御においては、検出された障害物の位置は圃場面に沿った面における2次元座標系で決定される。このため、ステレオカメラ81によって検出した物体を障害物として検出し、障害物との干渉回避の制御が行われる障害物警戒領域は、図3に示すように、機体1の進行方向前方に広がる圃場面に対応する基準面(XY平面)上に規定される。ここでは、障害物警戒領域は、機体1との位置関係が異なる第1警戒領域(図3では濃く塗りつぶされ、符号Z1が付与されている)と第2警戒領域(図3では薄く塗りつぶされ、符号Z2が付与されている)とからなる。   In obstacle detection using the stereo camera 81, the position of the obstacle can be determined in a three-dimensional coordinate system, but in this embodiment, in the final obstacle detection control, the position of the detected obstacle is It is determined in a two-dimensional coordinate system in the plane along the eyebrow scene. Therefore, as shown in FIG. 3, an obstacle warning area in which an object detected by the stereo camera 81 is detected as an obstacle and control for avoiding interference with the obstacle is performed is a field that extends forward in the traveling direction of the airframe 1. It is defined on a reference plane (XY plane) corresponding to the plane. Here, the obstacle alert area is a first alert area (filled in FIG. 3 with dark color and given the symbol Z1) and a second alert area (light in FIG. 3), which differ in positional relationship with the airframe 1. And Z2).

第1警戒領域は、収穫部である刈取部2の作業幅と、機体1から機体1の進行方向前方への警戒距離(図3では符号L1で示されている)とによって規定される長方形から、ステレオカメラ81の画角によって決まる死角領域を切り取った先端楔状の領域である。言い換えると、第1警戒領域は、実質的にコンバインの走行軌跡幅である刈取部2の左右幅の一辺とし、機体1から進行方向前方への所定距離(警戒距離)を他辺とする長方形から、ステレオカメラ81の画角によって決まる死角領域を切り取った形状である。この第1警戒領域に存在する障害物は、コンバインの進行によりコンバインと接触することになる。したがって、その警戒距離は、コンバインの車速に応じて変更されるのが好ましいが、この実施形態では、作業走行速度が実質的に一定であるので、数mに設定されている。   The first alert area is a rectangle defined by the working width of the harvesting section 2 which is the harvest section and the alert distance forward of the traveling direction of the airframe 1 from the airframe 1 (indicated by reference symbol L1 in FIG. 3) The blind spot area is a truncated area determined by the angle of view of the stereo camera 81. In other words, the first alert area is one side of the right and left width of the reaper 2 which is substantially the travel path width of the combine, and a rectangle whose other side is a predetermined distance (warning distance) forward from the airframe 1 The blind spot area determined by the angle of view of the stereo camera 81 is cut out. An obstacle existing in the first alert area comes into contact with the combine as the combine progresses. Therefore, the warning distance is preferably changed according to the vehicle speed of the combine, but in this embodiment, the work traveling speed is set to several meters because it is substantially constant.

第2警戒領域は、機体1の進行方向前方へ広がった平面における、ステレオカメラ81の画角によって決まる死角領域を切り取った先端楔状の領域から、第1警戒領域を切り取った領域ある。コンバインの左右方向に関して、第1警戒領域の3倍程度の幅を有し、機体1の進行方向前方に関して、第1警戒領域の2倍弱の長さ(図3では符号L2で示されている)を有する。第2警戒領域の左右方向広がりは、コンバインの旋回を考慮して設定され、第2警戒領域の進行方向の広がりは、機体1と障害物との干渉までに時間的に余裕が、第1警戒領域より大きくなるように設定されている。   The second alert area is an area obtained by cutting off the first alert area from a tip end area in the dead angle area determined by the angle of view of the stereo camera 81 in a plane extending forward in the traveling direction of the airframe 1. The width of the combine in the left and right direction is about three times the width of the first alert area, and the length in front of the forward direction of the airframe 1 is less than twice the length of the first alert area (shown by L2 in FIG. 3) ). The left-right spread of the second alert area is set in consideration of the turning of the combine, and the extension of the second alert area in the advancing direction is the time for the interference between the airframe 1 and the obstacle, but the first alert It is set to be larger than the area.

図3には、コンバインの制御系の機能ブロック図が示されている。この実施形態の制御系は、多数のECUと呼ばれる電子制御ユニットと、各種動作機器、センサ群やスイッチ群、それらの間のデータ伝送を行う車載LANなどの配線網から構成されている。報知デバイス84は、運転者等に障害物の検出結果や作業走行の状態などの警告を報知するためのデバイスであり、ブザー、ランプ、スピーカ、ディスプレイなどである。障害物の検出結果に関しては、障害物が第1警戒領域に存在している場合には、切迫した状態を示すような警告音や警告光や警告メッセージが緊急警戒報知として報知され、第1警戒領域に存在している場合には、緊急警戒報知よりは穏やかな注意音や注意光や注意メッセージが注意報知として報知される。   FIG. 3 shows a functional block diagram of the control system of the combine. The control system of this embodiment comprises an electronic control unit called a large number of ECUs, various operation devices, sensors, switches, and a wiring network such as a car-mounted LAN for data transmission between them. The notification device 84 is a device for notifying a driver or the like of a warning such as a detection result of an obstacle or a state of work traveling, and is a buzzer, a lamp, a speaker, a display or the like. As for the detection result of the obstacle, when the obstacle exists in the first alert area, a warning sound, a warning light or a warning message indicating an imminent state is notified as an emergency alert notification, and the first alert When it exists in the area, a gentle alert sound, a caution light or a alert message is alerted as an alert alert rather than the emergency alert alert.

通信部85は、外部の通信機器との間でデータ交換するために用いられる。制御ユニット6は、この制御系の中核要素であり、複数のECUの集合体として示されている。衛星測位モジュール80からの測位データ、および、ステレオカメラ81からの撮影画像は、配線網を通じて制御ユニット6に入力される。   The communication unit 85 is used to exchange data with an external communication device. The control unit 6 is a core element of this control system, and is shown as a collection of a plurality of ECUs. The positioning data from the satellite positioning module 80 and the photographed image from the stereo camera 81 are input to the control unit 6 through the wiring network.

制御ユニット6は、入出力インタフェースとして、出力処理部6Bと入力処理部6Aとを備えている。出力処理部6Bは、車両走行機器群7Aおよび作業装置機器群7Bと接続している。車両走行機器群7Aには、車両走行に関する制御機器、例えばエンジン制御機器、変速制御機器、制動制御機器、操舵制御機器などが含まれている。作業装置機器群7Bには、刈取部2、脱穀装置11、穀粒排出装置13、穀稈搬送装置23における動力制御機器などが含まれている。   The control unit 6 includes an output processing unit 6B and an input processing unit 6A as an input / output interface. The output processing unit 6B is connected to the vehicle travel device group 7A and the work device device group 7B. The vehicle travel device group 7A includes control devices related to vehicle travel, such as an engine control device, a shift control device, a braking control device, a steering control device, and the like. The work device group 7B includes power control devices and the like in the reaper 2, the threshing device 11, the grain discharging device 13, and the grain conveying device 23.

入力処理部6Aには、走行系検出センサ群8Aや作業系検出センサ群8Bなどが接続されている。走行系検出センサ群8Aには、エンジン回転数調整具、アクセルペダル、ブレーキペダル、変速操作具などの状態を検出するセンサが含まれている。作業系検出センサ群8Bには、刈取部2、脱穀装置11、穀粒排出装置13、穀稈搬送装置23における装置状態および穀稈や穀粒の状態を検出するセンサが含まれている。   A traveling system detection sensor group 8A, a working system detection sensor group 8B, and the like are connected to the input processing unit 6A. The traveling system detection sensor group 8A includes a sensor that detects the state of an engine speed adjuster, an accelerator pedal, a brake pedal, a gearshift operator, and the like. The working system detection sensor group 8B includes a cutting unit 2, a threshing device 11, a grain discharging device 13, and a device state in the grain conveying device 23 and a sensor for detecting the state of the grain or grain.

制御ユニット6には、作業走行制御モジュール60、画像処理モジュール50、車速変更指令出力部65、機体位置算出部66、報知部67が備えられている。   The control unit 6 includes a work travel control module 60, an image processing module 50, a vehicle speed change command output unit 65, a machine position calculation unit 66, and a notification unit 67.

報知部67は、制御ユニット6の各機能部からの要求に基づいて報知データを生成し、報知デバイス84に与える。機体位置算出部66は、衛星測位モジュール80から逐次送られてくる測位データに基づいて、機体1の地図座標(または圃場座標)である機体位置を算出する。   The notification unit 67 generates notification data on the basis of a request from each functional unit of the control unit 6, and gives the notification data to the notification device 84. The aircraft position calculation unit 66 calculates the aircraft position which is the map coordinates (or field coordinates) of the aircraft 1 based on the positioning data sequentially sent from the satellite positioning module 80.

この実施形態のコンバインは自動走行(自動操舵)と手動走行(手動操舵)の両方で走行可能である。作業走行制御モジュール60には、走行制御部61と作業制御部62とに加えて、作業走行指令部63および走行経路設定部64が備えられている。自動操舵で走行する自動走行モードと、手動操舵で走行する手動操舵モードとのいずれかを選択する走行モードスイッチ(非図示)が搭乗運転部14内に設けられている。この走行モードスイッチを操作することで、手動操舵走行から自動操舵走行への移行、あるいは自動操舵走行から手動操舵走行への移行が可能である。   The combine according to this embodiment can travel in both automatic travel (automatic steering) and manual travel (manual steering). In addition to the travel control unit 61 and the work control unit 62, the work travel control module 60 is provided with a work travel instruction unit 63 and a travel route setting unit 64. A traveling mode switch (not shown) for selecting one of an automatic traveling mode for traveling by automatic steering and a manual steering mode for traveling by manual steering is provided in the boarding operation unit 14. By operating the travel mode switch, it is possible to shift from manual steering travel to automatic steering travel, or shift from automatic steering travel to manual steering travel.

走行制御部61は、エンジン制御機能、操舵制御機能、車速制御機能などを有し、車両走行機器群7Aに走行制御信号を与える。作業制御部62は、刈取部2、脱穀装置11、穀粒排出装置13、穀稈搬送装置23などの動きを制御するために、作業装置機器群7Bに作業制御信号を与える。   The traveling control unit 61 has an engine control function, a steering control function, a vehicle speed control function, and the like, and provides a traveling control signal to the vehicle traveling device group 7A. The work control unit 62 provides a work control device group 7B with a work control signal in order to control the movement of the reaper 2, the threshing device 11, the grain discharging device 13, the grain feeding device 23, and the like.

走行経路設定部64は、自動走行のための走行経路をメモリに展開する。メモリに展開された走行経路は、順次自動走行における目標走行経路として用いられる。この走行経路は、手動走行であっても、コンバインが当該走行経路に沿って走行するためのガイダンスのために利用することも可能である。   The travel route setting unit 64 develops a travel route for automatic travel in the memory. The travel route developed in the memory is sequentially used as a target travel route in automatic travel. Even if this traveling route is manual traveling, it is also possible to use the guidance for the combine to travel along the traveling route.

作業走行指令部63は、自動走行指令として、自動操舵指令および車速指令を生成して、走行制御部61に与える。自動操舵指令は、走行経路設定部64によって走行経路と、機体位置算出部66によって算出された自機位置との間の方位ずれおよび位置ずれを解消するように生成される。自動走行時には、車速指令は、前もって設定されている車速値に基づいて生成される。手動走行時には、車速指令は、手動車速操作に基づいて生成される。但し、障害物検出などの緊急事態が発生した場合は、強制的な停止を含む車速変更や、エンジン停止などが自動的に行われる。   The work travel command unit 63 generates an automatic steering command and a vehicle speed command as an automatic travel command, and supplies the command to the travel control unit 61. The automatic steering command is generated by the traveling route setting unit 64 so as to eliminate the azimuth deviation and the positional deviation between the traveling route and the own machine position calculated by the machine position calculating unit 66. During automatic traveling, the vehicle speed command is generated based on a previously set vehicle speed value. During manual traveling, the vehicle speed command is generated based on the manual vehicle speed operation. However, when an emergency such as obstacle detection occurs, vehicle speed change including forced stop, engine stop, etc. are automatically performed.

自動走行モードが選択されている場合、作業走行指令部63によって与えられる自動走行指令に基づいて、走行制御部61は、操舵に関する車両走行機器群7Aや車速に関する車両走行機器群7Aを制御する。手動走行モードが選択されている場合、運転者による操作に基づいて、走行制御部61が制御信号を生成し、車両走行機器群7Aを制御する。   When the automatic travel mode is selected, the travel control unit 61 controls the vehicle travel device group 7A related to steering and the vehicle travel device group 7A related to vehicle speed based on the automatic travel command given by the work travel command unit 63. When the manual travel mode is selected, the travel control unit 61 generates a control signal based on the operation by the driver to control the vehicle travel device group 7A.

画像処理モジュール50は、ステレオカメラ81による撮影画像を画像処理して、圃場内の障害物(物体)を検出する機能を有する。画像処理モジュール50には、画像取得部51と、障害物検出部52と、警戒領域設定部53が含まれている。画像取得部51は、ステレオカメラ81による撮影画像を取得する。障害物検出部52は、撮影画像を画像処理することにより障害物を検出する。障害物検出部52における画像処理には、座標変換、ステレオマッチング、3次元特徴点算出などが含まれている。警戒領域設定部53は、機体1に対する位置に基づいて規定される障害物警戒領域を設定する。この実施形態では、障害物警戒領域は、図3を用いて述べたように、第1警戒領域と第2警戒領域に区分けされている。障害物検出部52は、検出される障害物が第1警戒領域と第2警戒領域とのどちらに存在するものであるかを判定し、障害物検出情報を生成する。   The image processing module 50 has a function of performing image processing on an image captured by the stereo camera 81 to detect an obstacle (object) in a field. The image processing module 50 includes an image acquisition unit 51, an obstacle detection unit 52, and a caution area setting unit 53. The image acquisition unit 51 acquires an image captured by the stereo camera 81. The obstacle detection unit 52 detects an obstacle by performing image processing on the captured image. The image processing in the obstacle detection unit 52 includes coordinate conversion, stereo matching, three-dimensional feature point calculation and the like. The alert area setting unit 53 sets an obstacle alert area defined based on the position with respect to the aircraft 1. In this embodiment, the obstacle alert area is divided into a first alert area and a second alert area, as described with reference to FIG. The obstacle detection unit 52 determines whether the detected obstacle is present in the first alert area or the second alert area, and generates obstacle detection information.

画像処理モジュール50で生成された障害物検出情報は、車速変更指令出力部65に送られる。車速変更指令出力部65は、受け取った障害物検出情報から、障害物が第1警戒領域に存在する場合には、車速変更値を含む第1車速変更指令を作業走行指令部63に出力し、障害物が第2警戒領域に存在する場合には、車速変更値を含む第2車速変更指令を作業走行指令部63に出力する。第1車速変更指令は、車速をゼロにする指令、つまり機体1を停止する命令である。もちろん、第1車速変更指令は、車速をゼロに近い値にする指令、あるいは、段階的に車速をゼロにする指令であってもよい。第2車速変更指令は、車速を微速、例えば時速1km程度に減速する減速値である。第2車速変更指令として、直前の車速の数分の1に減速するといった、直前車速に対する割合で決められた減速値であってもよい。いずれにせよ、第1車速変更指令による第1車速変更値は、第2車速変更指令による第2車速変更値より大きく、緊急避難のための指令となっている。車速変更指令出力部65によって決定された車速変更指令に基づいて、作業走行指令部63は、走行制御部61に制御指令を与えて、機体1を緊急的に減速させる。検出された障害物の存在が第1警戒領域から第2警戒領域に移行すれば、停止していた機体1は、第2車速変更指令で規定されている微速で前進する。さらには、障害物が警戒領域で、検出されなくなれば、通常の作業車速での走行に戻る。   The obstacle detection information generated by the image processing module 50 is sent to the vehicle speed change command output unit 65. The vehicle speed change command output unit 65 outputs a first vehicle speed change command including the vehicle speed change value to the work travel command unit 63, when the obstacle is present in the first alert area, from the received obstacle detection information. If the obstacle is present in the second alert area, a second vehicle speed change command including the vehicle speed change value is output to the work travel command unit 63. The first vehicle speed change command is a command to set the vehicle speed to zero, that is, a command to stop the machine 1. Of course, the first vehicle speed change command may be a command to make the vehicle speed close to zero, or a command to make the vehicle speed zero gradually. The second vehicle speed change command is a deceleration value that decelerates the vehicle speed to a low speed, for example, about 1 km / h. The second vehicle speed change command may be a deceleration value determined at a ratio to the immediately preceding vehicle speed, such as decelerating to a fraction of the immediately preceding vehicle speed. In any case, the first vehicle speed change value by the first vehicle speed change command is larger than the second vehicle speed change value by the second vehicle speed change command, and is a command for emergency evacuation. Based on the vehicle speed change command determined by the vehicle speed change command output unit 65, the work travel command unit 63 gives a control command to the travel control unit 61 to urgently decelerate the machine 1. When the presence of the detected obstacle shifts from the first alert area to the second alert area, the aircraft 1 which has been stopped advances at a low speed defined by the second vehicle speed change command. Furthermore, if an obstacle is not detected in the alert area, the operation returns to normal driving speed.

次に、上述した制御系における、障害物検出と車速減速との制御の流れの一例を示すフローチャートが図5に示されている。
この制御がスタートすれば、フラグや変数のリセットなどの初期設定が行われる(#01)。警戒領域の設定、つまり第1警戒領域と第2警戒領域が設定される(#02)。第1警戒領域が、車速によって変更される場合には、現在車速を取得して、その車速に基づいて、第1警戒領域が設定される。
Next, FIG. 5 shows a flowchart showing an example of control flow of obstacle detection and vehicle speed deceleration in the above-described control system.
When this control starts, initialization such as resetting of flags and variables is performed (# 01). The setting of the alert area, that is, the first alert area and the second alert area is set (# 02). When the first alert area is changed according to the vehicle speed, the current vehicle speed is acquired, and the first alert area is set based on the vehicle speed.

ステレオカメラ81から撮影画像を取得する(#03)。取得された2つの撮影画像は歪補正され(#04)、ステレオマッチングが行われる(#05)。その後、共通の空間座標に座標変換され、3次元特徴点算出が行われる(#06)。算出された特徴点は、図6で例示しているような3次元座標空間に分布する。この3次元座標空間多数の直方体セルに分割されている。その際、圃場面に対応するXY平面(2次元座標平面)から垂直で所定高さの領域は、マスキング領域であり、このマスキング領域を用いて、算出された3次元特徴点を障害物検出の対象から外すマスキング処理が行われる(#07)。収穫される農作物が稲や麦の場合、その所定高さや約1mである。したがって、図6に示すように、直方体セル群は、圃場面から上方に浮かんだ高さが1m弱の直方体形状となっている。各直方体に含まれる3次元特徴点の数、つまり点密度が所定のしきい値を超えると、当該直方体セルが障害物として取り扱われる。もちろん、予め、3次元座標空間に対してマスキングして、マスキング領域における3次元特徴点の検出を行わないようにしてもよい。   A photographed image is acquired from the stereo camera 81 (# 03). The two captured images obtained are subjected to distortion correction (# 04), and stereo matching is performed (# 05). Thereafter, coordinate conversion is performed to common space coordinates, and three-dimensional feature point calculation is performed (# 06). The calculated feature points are distributed in a three-dimensional coordinate space as illustrated in FIG. This three-dimensional coordinate space is divided into a large number of rectangular parallelepiped cells. At that time, an area of a predetermined height which is perpendicular to the XY plane (two-dimensional coordinate plane) corresponding to the scene of the eyebrows is a masking area, and this masking area is used to detect the three-dimensional feature point calculated as an obstacle. A masking process to exclude from the target is performed (# 07). When the crop to be harvested is rice or wheat, it has a predetermined height or about 1 m. Therefore, as shown in FIG. 6, the rectangular parallelepiped cell group has a rectangular parallelepiped shape having a height of about 1 m or less, which floats upward from the eyelid scene. When the number of three-dimensional feature points included in each rectangular solid, that is, the point density exceeds a predetermined threshold value, the rectangular solid cell is treated as an obstacle. Of course, the three-dimensional coordinate space may be masked in advance so that detection of three-dimensional feature points in the masking area is not performed.

なお、この実施形態の収穫機は、自機位置を算出することができるので、現在自機位置と圃場における作業済み領域との位置関係を把握することができる。作業済み領域(収穫後の圃場面)には高くの延びた農作物は存在しないので、上述した、高さ方向のマスキングは不要となる。つまり、収穫後の圃場面の上方に存在する障害物を確実に検出するために、高さ方向のマスキング処理は実行されない。   In addition, since the harvest machine of this embodiment can calculate a self-machine position, it can grasp | ascertain the positional relationship of the self-machine position and the operation completed area | region in a field. There is no high crop growth in the work area (the post-harvest weir scene), so the heightwise masking described above is not necessary. That is, the masking process in the height direction is not performed in order to reliably detect an obstacle present above the cropped straw scene.

次に、障害物セルが算出されたかどうか、つまり障害物が検出されたかどうか、判定される(#08)。障害物セルが算出されると(#08Yes分岐)、その障害物セルの圃場面に対応するXY座標平面での座標値が算出され、この座標値が障害物の2次元位置となる(#11)。   Next, it is determined whether an obstacle cell has been calculated, that is, whether an obstacle has been detected (# 08). When the obstacle cell is calculated (# 08 Yes branch), the coordinate value on the XY coordinate plane corresponding to the overhead scene of the obstacle cell is calculated, and this coordinate value becomes the two-dimensional position of the obstacle (# 11 ).

障害物が第1警戒領域に入っているかどうかチェックされる(#12)。障害物が第1警戒領域に入っていれば(#12Yes分岐)、車速変更指令出力部65が第1車速変更指令として、停止指令を作業走行指令部63に与える(#13)。さらに停止フラグをONにする(#14)。なお、ステップ#14において、減速フラグがONであるときは(第2警戒領域から第1境界領域に障害物が移動したときは)、減速フラグをOFFにして停止フラグをONにすることになる。これにより機体1は停止し、制御はステップ#02に戻る。   It is checked whether the obstacle is in the first alert area (# 12). If the obstacle is in the first alert area (# 12 Yes branch), the vehicle speed change command output unit 65 gives a stop command to the work travel command unit 63 as a first vehicle speed change command (# 13). Further, the stop flag is turned on (# 14). In step # 14, when the deceleration flag is ON (when an obstacle moves from the second alert area to the first boundary area), the deceleration flag is turned OFF and the stop flag is turned ON. . As a result, the machine 1 is stopped, and the control returns to step # 02.

ステップ#12のチェックで障害物が第1警戒領域に入っていない場合(#12No分岐)、さらに、第2警戒領域に入っているかどうかチェックされる(#20)。障害物が第2警戒領域に入っていれば(#20Yes分岐)、車速変更指令出力部65が第2車速変更指令として、減速指令を作業走行指令部63に与える(#21)。さらに減速フラグをONにする(#22)。なお、ステップ#22において、停止フラグがONであるときは(第1警戒領域から第2境界領域に障害物が移動したときは)、停止フラグをOFFにして減速フラグをONにすることになる。これにより機体1は微速走行し(時速1km程度)、制御はステップ#02に戻る。   If the obstacle is not in the first alert area in the check of step # 12 (# 12 No branch), it is further checked whether it is in the second alert area (# 20). If the obstacle is in the second alert area (# 20 Yes branch), the vehicle speed change command output unit 65 gives a deceleration command to the work travel command unit 63 as a second vehicle speed change command (# 21). Further, the deceleration flag is set to ON (# 22). In step # 22, when the stop flag is ON (when an obstacle moves from the first alert area to the second boundary area), the stop flag is turned OFF and the deceleration flag is turned ON. . Thus, the aircraft 1 travels at a very low speed (about 1 km / hour), and the control returns to step # 02.

ステップ#20のチェックで障害物が第2警戒領域に入っていない場合(#20No分岐)、警戒領域には障害物が存在しないことになる。このように警戒領域には障害物が存在しない場合、あるいは、そもそも障害物が検出されなかった場合(#08No分岐)、停止フラグの状態と減速フラグとの状態がチェックされ、その状態に応じたフラグ内容の書き換えが行われる。具体的には、その際に、停止フラグがONであれば(#30Yes分岐)、停止フラグはOFFに書き換えられ(#31)、さらに、走行指令が有効となり、機体1は通常走行を行う(#32)。次いで、制御はステップ#02に戻る。その際に、停止フラグがONでなければ(#30No分岐)、減速フラグの内容がチェックされる(#40)。減速フラグがONであれば(#40Yes分岐)、減速フラグはOFFに書き換えられる(#41)、さらに、走行指令が有効となり、機体1は通常走行を行う(#42)。通常走行とは、障害物等が検出されていない際の作業走行であり、その車速は、障害物が第2警戒領域に存在している際の車速より、速い速度である。次いで、制御はステップ#02に戻る。減速フラグがOFFであれば(#40No分岐)、もちろん走行指令は有効であり、機体1は通常走行を行う(#43)そのまま、制御はステップ#02に戻る。   If an obstacle does not enter the second alert area in the check of step # 20 (#No branch), there will be no obstacle in the alert area. As described above, when there is no obstacle in the alert area, or when no obstacle is detected in the first place (No at No. 08), the state of the stop flag and the state of the deceleration flag are checked, and the state is determined accordingly. The flag content is rewritten. Specifically, at that time, if the stop flag is ON (# 30 Yes branch), the stop flag is rewritten to OFF (# 31), and the traveling command becomes valid, and the machine 1 normally travels ( # 32). Control then returns to step # 02. At that time, if the stop flag is not ON (# 30 No branch), the content of the deceleration flag is checked (# 40). If the deceleration flag is ON (# 40 Yes branch), the deceleration flag is rewritten to OFF (# 41), and the traveling command becomes valid, and the vehicle 1 normally travels (# 42). The normal travel is work travel when an obstacle or the like is not detected, and the vehicle speed is higher than the vehicle speed when the obstacle is present in the second alert area. Control then returns to step # 02. If the deceleration flag is OFF (# 40 No branch), of course, the travel command is valid, and the vehicle 1 normally travels (# 43), and the control returns to step # 02.

このような障害物検出と車速変更との制御により、収穫機の機体1の進行方向前方の警戒領域に圃場作業者が進入すると、収穫機は停止または減速し、警戒領域から圃場作業者が出ていくと、収穫機は、再び通常の車速での作業走行に復帰する。   When a field worker enters a warning area ahead of the advancing direction of the harvester aircraft 1 by such control of obstacle detection and vehicle speed change, the harvester is stopped or decelerated, and a field worker leaves the warning area. Then, the harvester returns to work at normal vehicle speed.

この障害物検出に基づく車速減速の制御は、収穫機が自動走行であっても、手動走行であっても、実行させることが可能である。   The control of the vehicle speed reduction based on the obstacle detection can be performed regardless of whether the harvester is traveling automatically or is traveling manually.

上述した実施形態では、第1警戒領域と第2警戒領域とを設定し、障害物がそれぞれの警戒領域に存在した場合、機体1の停止、または通常走行より遅い車速への変更が行われた。これに代えて、警戒領域を3つ以上設け、それぞれの領域に応じて、機体1を停止または微速への変更が行われてもよい。さらには、警戒領域を無段階に設定し、機体1と障害物との距離に応じて、機体1の停止、あるいは通常走行より遅い車速への無段階の変更が行われてもよい。   In the above-described embodiment, the first alert area and the second alert area are set, and when an obstacle exists in each alert area, the vehicle 1 is stopped or the vehicle speed is changed to a slower speed than normal traveling. . Instead of this, three or more warning areas may be provided, and the machine 1 may be stopped or changed to low speed depending on the respective areas. Furthermore, the warning area may be set steplessly, and the stepless change to the vehicle speed slower than normal traveling may be performed depending on the distance between the machine 1 and the obstacle.

なお、上記実施形態(別実施形態を含む、以下同じ)で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能であり、また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。   Note that the configurations disclosed in the above-described embodiment (including the other embodiments, and the same hereinafter) can be applied in combination with the configurations disclosed in the other embodiments as long as no contradiction arises. The embodiment disclosed in the present specification is an exemplification, and the embodiment of the present invention is not limited thereto, and can be appropriately modified without departing from the object of the present invention.

本発明は、圃場で作業走行を行う収穫機に適用される。   The present invention is applied to a harvester that carries out work travel in a field.

1 :機体
2 :刈取部
50 :画像処理モジュール
51 :画像取得部
52 :障害物検出部
53 :警戒領域設定部
6 :制御ユニット
60 :作業走行制御モジュール
61 :走行制御部
62 :作業制御部
63 :作業走行指令部
64 :走行経路設定部
65 :車速変更指令出力部
66 :機体位置算出部
67 :報知部
80 :衛星測位モジュール
81 :ステレオカメラ(カメラ)
84 :報知デバイス
1: Machine body 2: Reaping unit 50: Image processing module 51: Image acquisition unit 52: Obstacle detection unit 53: Alert area setting unit 6: Control unit 60: Work travel control module 61: Travel control unit 62: Work control unit 63 : Work travel command unit 64: Travel route setting unit 65: Vehicle speed change command output unit 66: Vehicle position calculation unit 67: Notification unit 80: Satellite positioning module 81: Stereo camera (camera)
84: Notification device

Claims (5)

圃場における機体の進行方向前方を撮影するカメラと、
前記カメラによる撮影画像を取得する画像取得部と、
前記撮影画像を画像処理することにより障害物を検出する障害物検出部と、
前記機体に対する位置に基づいて規定される障害物警戒領域を設定する警戒領域設定部と、
前記障害物検出部によって検出される前記障害物が前記障害物警戒領域に存在する場合、前記障害物と前記機体との位置関係に応じて車速を変更する車速変更指令出力部と、を備えた収穫機。
A camera for capturing the forward direction of the traveling direction of the aircraft in the field;
An image acquisition unit that acquires an image captured by the camera;
An obstacle detection unit that detects an obstacle by performing image processing on the captured image;
An alert area setting unit that sets an obstacle alert area defined based on the position with respect to the aircraft;
A vehicle speed change command output unit that changes the vehicle speed according to the positional relationship between the obstacle and the vehicle when the obstacle detected by the obstacle detection unit is present in the obstacle alert area; Harvester.
前記障害物警戒領域は、前記機体との位置関係が異なる第1警戒領域と第2警戒領域とに区分けされ、
前記車速変更指令出力部は、前記障害物が前記第1警戒領域に存在する場合に第1車速変更指令を出力し、前記第2警戒領域に存在する場合には前記第1車速変更指令より車速変更値が小さい第2車速変更指令を出力する請求項1に記載の収穫機。
The obstacle alert area is divided into a first alert area and a second alert area having different positional relationships with the airframe,
The vehicle speed change command output unit outputs a first vehicle speed change command when the obstacle is present in the first warning area, and when the obstacle is present in the second warning area, the vehicle speed is determined according to the first vehicle speed change command. The harvester according to claim 1, which outputs a second vehicle speed change command having a small change value.
前記第1警戒領域は、機体前部に設けられた収穫部の作業幅と、前記カメラの画角と、前記機体から前記機体の進行方向前方への警戒距離とによって規定される領域である請求項2に記載の収穫機。   The first alert area is an area defined by a working width of a harvester provided at the front of the machine, an angle of view of the camera, and an alert distance from the machine to the forward direction of the machine. A harvester according to item 2. 前記警戒距離は、前記車速によって変更される請求項3に記載の収穫機。   The harvester according to claim 3, wherein the warning distance is changed according to the vehicle speed. 前記障害物検出部は、圃場面を1つの基準面とする3次元座標系で前記障害物を検出するとともに、前記圃場面からの高さで規定されたマスキング領域によって障害物検出範囲をマスキング処理する機能を有し、収穫後の前記圃場面の上方に存在する前記障害物に対しては前記マスキング処理が実行されない請求項1から4のいずれか一項に記載の収穫機。   The obstacle detection unit detects the obstacle in a three-dimensional coordinate system in which an eyelid scene is one reference plane, and masks an obstacle detection range with a masking area defined by the height from the eyelid scene The harvester according to any one of claims 1 to 4, wherein the masking process is not performed on the obstacle that has a function to be present and is present above the sown scene after harvest.
JP2017212021A 2017-11-01 2017-11-01 Harvester Active JP6904539B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017212021A JP6904539B2 (en) 2017-11-01 2017-11-01 Harvester

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017212021A JP6904539B2 (en) 2017-11-01 2017-11-01 Harvester

Publications (2)

Publication Number Publication Date
JP2019083703A true JP2019083703A (en) 2019-06-06
JP6904539B2 JP6904539B2 (en) 2021-07-21

Family

ID=66761453

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017212021A Active JP6904539B2 (en) 2017-11-01 2017-11-01 Harvester

Country Status (1)

Country Link
JP (1) JP6904539B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020262508A1 (en) * 2019-06-28 2020-12-30 株式会社クボタ Harvester, system, program, recording medium, and method
JP2021003016A (en) * 2019-06-25 2021-01-14 株式会社クボタ Travel route generation system
JP2021007311A (en) * 2019-06-28 2021-01-28 株式会社クボタ Game machine
JP2021058099A (en) * 2019-10-03 2021-04-15 国立大学法人京都大学 Agricultural implement

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58211214A (en) * 1982-06-03 1983-12-08 Kubota Ltd Running vehicle provided with obstacle detecting sensor
JPH04210503A (en) * 1990-12-11 1992-07-31 Iseki & Co Ltd Apparatus for avoiding obstacle in unmanned mobile lawn mower
JPH04276804A (en) * 1991-03-04 1992-10-01 Yanmar Diesel Engine Co Ltd Obstruction detection/automatic stop apparatus for radiocontrolled work vehicle
JPH07306997A (en) * 1994-05-13 1995-11-21 Mazda Motor Corp Estimating device for traveling course of automobile
JPH0976850A (en) * 1995-09-12 1997-03-25 Yanmar Agricult Equip Co Ltd Safety device for working running vehicle
WO2015147082A1 (en) * 2014-03-26 2015-10-01 ヤンマー株式会社 Autonomous travel working vehicle
US20160106023A1 (en) * 2014-10-15 2016-04-21 Michael J. Roy Remote steering control with row finder

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58211214A (en) * 1982-06-03 1983-12-08 Kubota Ltd Running vehicle provided with obstacle detecting sensor
JPH04210503A (en) * 1990-12-11 1992-07-31 Iseki & Co Ltd Apparatus for avoiding obstacle in unmanned mobile lawn mower
JPH04276804A (en) * 1991-03-04 1992-10-01 Yanmar Diesel Engine Co Ltd Obstruction detection/automatic stop apparatus for radiocontrolled work vehicle
JPH07306997A (en) * 1994-05-13 1995-11-21 Mazda Motor Corp Estimating device for traveling course of automobile
JPH0976850A (en) * 1995-09-12 1997-03-25 Yanmar Agricult Equip Co Ltd Safety device for working running vehicle
WO2015147082A1 (en) * 2014-03-26 2015-10-01 ヤンマー株式会社 Autonomous travel working vehicle
US20160106023A1 (en) * 2014-10-15 2016-04-21 Michael J. Roy Remote steering control with row finder

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021003016A (en) * 2019-06-25 2021-01-14 株式会社クボタ Travel route generation system
JP7069087B2 (en) 2019-06-25 2022-05-17 株式会社クボタ Travel route generation system
JP2022103238A (en) * 2019-06-25 2022-07-07 株式会社クボタ Travel route generating system
JP7433362B2 (en) 2019-06-25 2024-02-19 株式会社クボタ Travel route generation system
WO2020262508A1 (en) * 2019-06-28 2020-12-30 株式会社クボタ Harvester, system, program, recording medium, and method
JP2021007311A (en) * 2019-06-28 2021-01-28 株式会社クボタ Game machine
CN113811179A (en) * 2019-06-28 2021-12-17 株式会社久保田 Harvester, system, program, recording medium, and method
CN113811179B (en) * 2019-06-28 2024-03-08 株式会社久保田 Harvester, system, program, recording medium, and method
JP2021058099A (en) * 2019-10-03 2021-04-15 国立大学法人京都大学 Agricultural implement
JP7246641B2 (en) 2019-10-03 2023-03-28 国立大学法人京都大学 agricultural machine

Also Published As

Publication number Publication date
JP6904539B2 (en) 2021-07-21

Similar Documents

Publication Publication Date Title
KR102589076B1 (en) harvest
JP7034866B2 (en) Harvester
JP7195543B2 (en) harvester
WO2020261823A1 (en) Obstacle detection system, agricultural work vehicle, obstacle detection program, recording medium on which obstacle detection program is recorded, and obstacle detection method
JP7029910B2 (en) Information processing equipment, information processing methods and programs
CN108227703B (en) Information processing apparatus and method, operated vehicle, and recording medium having program recorded thereon
JP2019083703A (en) Harvesting machine
JP7104651B2 (en) Vehicle control system
JP7174484B2 (en) agricultural vehicle
JP6854713B2 (en) combine
JP7433362B2 (en) Travel route generation system
JP7381402B2 (en) automatic driving system
JP2020158090A (en) Vehicle control system
CN111768650A (en) Advanced wildlife collision avoidance for vehicles
JP7246641B2 (en) agricultural machine
JP2019004772A (en) Harvesting machine
US20220346315A1 (en) Harvesting Machine, Obstacle Determination Program, Recording Medium on Which Obstacle Determination Program is Recorded, Obstacle Determination Method, Agricultural Work Machine, Control Program, Recording Medium on Which Control Program is Recorded, and Control Method
US20220165160A1 (en) Saddle-riding type vehicle
KR20200096491A (en) Agricultural work car, work car collision boundary system and work car
US11590971B2 (en) Apparatus and method for determining traveling position of vehicle
WO2020261824A1 (en) Working vehicle, obstacle detection method, and obstacle detection program
JP7041889B2 (en) Head harvester combine
WO2020218528A1 (en) Agricultural machine such as harvester
JP7080042B2 (en) Harvester collision warning system and harvester
JP7184694B2 (en) vehicle control system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210518

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210615

R150 Certificate of patent or registration of utility model

Ref document number: 6904539

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150