JP2023005114A - Work support system - Google Patents
Work support system Download PDFInfo
- Publication number
- JP2023005114A JP2023005114A JP2021106829A JP2021106829A JP2023005114A JP 2023005114 A JP2023005114 A JP 2023005114A JP 2021106829 A JP2021106829 A JP 2021106829A JP 2021106829 A JP2021106829 A JP 2021106829A JP 2023005114 A JP2023005114 A JP 2023005114A
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- position data
- dimensional position
- work
- support system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 76
- 230000007423 decrease Effects 0.000 claims description 4
- 235000013339 cereals Nutrition 0.000 description 18
- 238000003306 harvesting Methods 0.000 description 16
- 238000000034 method Methods 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 9
- 238000013500 data storage Methods 0.000 description 4
- 238000000691 measurement method Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000007599 discharging Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000003337 fertilizer Substances 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
- G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D41/00—Combines, i.e. harvesters or mowers combined with threshing devices
- A01D41/12—Details of combines
- A01D41/127—Control or measuring arrangements specially adapted for combines
- A01D41/1278—Control or measuring arrangements specially adapted for combines for automatic steering
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
- A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
- A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
- A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
- G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2200/00—Type of vehicle
- B60Y2200/20—Off-Road Vehicles
- B60Y2200/22—Agricultural vehicles
- B60Y2200/222—Harvesters
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Electromagnetism (AREA)
- Environmental Sciences (AREA)
- Optics & Photonics (AREA)
- Mechanical Engineering (AREA)
- Soil Sciences (AREA)
- Guiding Agricultural Machines (AREA)
- Combines (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
本発明は、圃場を走行しながら作業を行う作業車のための作業支援システムに関する。
BACKGROUND OF THE
例えば特許文献1に開示されたシステムでは、作業車(文献では「農作業車」)の前方に位置する障害物を検出する障害物検出部(文献では「障害物検知ユニット」)が備えられている。
For example, the system disclosed in
特許文献1に開示されたシステムでは、障害物の検出に、機械学習されたニューラルネットワークが用いられている。しかし、ニューラルネットワークの機械学習には膨大な学習時間を要し、学習用の重み係数等が適切に設定されていなければ、適切な機械学習が必ずしも行われない虞がある。
The system disclosed in
本発明は、障害物の検出を容易に可能な作業支援システムを提供することにある。 An object of the present invention is to provide a work support system capable of easily detecting obstacles.
本発明は、圃場を走行しながら作業を行う作業車のための作業支援システムであって、前記作業車の位置情報を経時的に取得する位置情報取得部と、前記作業車に設けられ、前記作業車が前記圃場を走行している最中に前記作業車の進行方向前方に位置する物体の三次元位置データを経時的に取得する物体位置データ取得部と、前記三次元位置データを、データを取得した時間情報と関連付けて記憶する記憶部と、前記圃場における同一の位置に関して、異なるタイミングに取得した複数の前記三次元位置データを比較することによって、前記作業車の前方に位置する障害物を検出する障害物検出部と、が備えられていることを特徴とする。 The present invention is a work support system for a work vehicle that performs work while traveling in a field, comprising: a position information acquiring unit that acquires position information of the work vehicle over time; an object position data acquisition unit for acquiring temporally three-dimensional position data of an object positioned in front of the work vehicle in the direction in which the work vehicle travels while the work vehicle is traveling in the field; and an obstacle located in front of the work vehicle by comparing a plurality of the three-dimensional position data acquired at different timings with respect to the same position in the field. and an obstacle detection unit that detects the
本発明によると、物体位置データ取得部によって作業車前方の物体の三次元位置データを経時的に取得する構成であるため、三次元位置データの集合体に基づいて圃場及びその周囲の地形等の立体形状の構成が可能となる。そして、同一の位置における三次元位置データが異なるタイミングで取得され、異なるタイミングで取得された三次元位置データが比較されることによって、三次元位置データの集合体に基づく立体形状の相違箇所を抽出可能となる。これにより、障害物の検出を容易に可能な作業支援システムが実現される。 According to the present invention, since the object position data acquisition unit acquires the three-dimensional position data of the object in front of the work vehicle over time, it is possible to determine the topography of the field and its surroundings based on the set of three-dimensional position data. It is possible to construct a three-dimensional shape. Three-dimensional position data at the same position is acquired at different timings, and the three-dimensional position data acquired at different timings are compared, thereby extracting differences in the three-dimensional shape based on the set of three-dimensional position data. It becomes possible. This realizes a work support system that can easily detect obstacles.
本発明において、前記障害物検出部は、前記圃場における同一の位置に関して、前記複数の三次元位置データにおける高さ情報を比較して、後のタイミングに取得した前記三次元位置データにおける高さ情報が、前のタイミングに取得した前記三次元位置データにおける前記高さ情報よりも、予め定められた閾値以上に大きくなった場合に、前記障害物の存在を認定すると好適である。 In the present invention, the obstacle detection unit compares height information in the plurality of three-dimensional position data with respect to the same position in the field, and height information in the three-dimensional position data acquired at a later timing. is greater than the height information in the three-dimensional position data acquired at the previous timing by a predetermined threshold or more, it is preferable to recognize the presence of the obstacle.
障害物が存在すると、高さ情報に大きな変化が生じる。このため、本構成であれば、三次元位置データにおける横方向の情報や奥行き方向の情報が比較される構成と比較して、障害物の検出が容易になる。そして、後のタイミングにおける高さ情報が、前のタイミングにおける高さ情報よりも大きくなった場合に、障害物の存在を認定することによって、前のタイミングには存在しなかった障害物を検出できる。 The existence of an obstacle causes a large change in height information. Therefore, with this configuration, obstacle detection becomes easier than with a configuration in which lateral information and depth information in the three-dimensional position data are compared. Then, when the height information at the later timing becomes larger than the height information at the earlier timing, by recognizing the existence of the obstacle, the obstacle that did not exist at the earlier timing can be detected. .
本発明において、前記障害物検出部は、圃場平面上で一定範囲以上の面積領域において前記高さ情報が高くなる変化があったときに、前記障害物の存在を認定すると好適である。 In the present invention, it is preferable that the obstacle detection unit recognizes the presence of the obstacle when the height information changes to become higher in an area area larger than a certain range on the plane of the farm field.
三次元位置データの集合体のうち、高さ情報が高くなる変化があった三次元位置データが一部分のみである場合には、誤検知の可能性が考えられる。本構成であれば、高さ情報が高くなる変化があった三次元位置データが一定範囲以上の面積領域に亘る場合に障害物の存在が認定されるため、誤検知の虞が軽減される。 If only a portion of the 3D position data has a change in which the height information is increased in the set of 3D position data, there is a possibility of erroneous detection. With this configuration, the presence of an obstacle is recognized when the three-dimensional position data in which the height information has changed to a higher level extends over a certain area or more, so that the risk of false detection is reduced.
本発明において、前記障害物検出部は、圃場平面上で一定範囲よりも小さい面積領域において前記高さ情報が高くなる変化があったときに、前記障害物の存在を認定しつつ、検出確率が低いことを認定すると好適である。また、本発明において、前記障害物検出部は、面積領域の面積サイズに応じて前記検出確率を増減すると好適である。 In the present invention, the obstacle detection unit recognizes the existence of the obstacle when there is a change in which the height information increases in an area area smaller than a certain range on the plane of the agricultural field, and the detection probability is increased. It is preferred to qualify as low. Further, in the present invention, it is preferable that the obstacle detection section increases or decreases the detection probability according to the area size of the area area.
高さ情報が高くなる変化があった三次元位置データが一定範囲よりも小さい面積領域であると、本当に障害物が存在するか、誤検知であるか判然としない場合が考えられる。本構成であれば、可能性が低くても面積領域の面積サイズに応じて障害物が存在する可能性を認定できるため、管理者等に注意を促すことが可能となる。 If the three-dimensional position data in which the height information has increased is an area area smaller than a certain range, it may be unclear whether an obstacle really exists or whether it is an erroneous detection. With this configuration, even if the possibility is low, it is possible to recognize the possibility that an obstacle exists according to the area size of the area area, so it is possible to alert the administrator or the like.
本発明において、前記作業車に、前記障害物検出部が前記障害物を認定したときに前記障害物の存在を報知する報知部が備えられていると好適である。 In the present invention, it is preferable that the working vehicle is provided with a notification section that notifies the existence of the obstacle when the obstacle detection section recognizes the obstacle.
本構成によって、管理者等に注意を促すことが可能となる。 With this configuration, it is possible to alert the administrator or the like.
本発明において、前記障害物検出部が前記障害物を認定したときに前記作業車の走行に関する制御パラメータを自動的に変更する走行制御部が備えられていると好適である。 In the present invention, it is preferable that a travel control unit is provided that automatically changes control parameters relating to travel of the work vehicle when the obstacle detection unit recognizes the obstacle.
本構成によると、制御パラメータが障害物の認定状況に応じて変更され、作業車の走行状態が制御パラメータの変更に応じて変更される。このため、障害物の存在が認定されると作業車の走行状態が臨機応変に変化し、障害物の有無に合わせて作業車の適切な走行が実現される。 According to this configuration, the control parameters are changed according to the obstacle recognition status, and the traveling state of the work vehicle is changed according to the change of the control parameters. Therefore, when the presence of an obstacle is recognized, the running state of the work vehicle changes according to circumstances, and appropriate running of the work vehicle is realized according to the presence or absence of the obstacle.
本発明において、前記障害物検出部は、前記圃場における前記障害物を認定した位置に関して、障害物認定後に取得した前記三次元位置データにおける高さ情報が、前記障害物を認定した際の前記三次元位置データにおける高さ情報よりも小さくなった場合に、前記障害物の認定を取り消すと好適である。 In the present invention, the obstacle detection unit determines that the height information in the three-dimensional position data acquired after obstacle identification, regarding the position at which the obstacle has been identified in the agricultural field, corresponds to the height information at the time when the obstacle has been identified. It is preferable to cancel the identification of the obstacle when it becomes smaller than the height information in the original position data.
上述したように、障害物が存在すると、高さ情報に大きな変化が生じる。障害物認定後に取得した前記三次元位置データにおける高さ情報が、障害物認定時の高さ情報よりも小さくなる場合には、当該障害物が無くなったことが考えられる。このため、本構成であれば、一度認定された障害物が取り消されるため、障害物の認定状況を最新の情報に合わせてフレキシブルに変更する構成が可能となる。 As described above, the existence of an obstacle causes a large change in height information. If the height information in the three-dimensional position data acquired after obstacle identification is smaller than the height information at the time of obstacle identification, it is conceivable that the obstacle has disappeared. For this reason, with this configuration, an obstacle that has been certified once is cancelled, so it is possible to flexibly change the status of obstacle certification according to the latest information.
本発明を実施するための形態について、図面に基づき説明する。なお、以下の説明においては、特に断りがない限り、図1及び図2に示す矢印Fの方向を「前」、矢印Bの方向を「後」として、図2に示す矢印Lの方向を「左」、矢印Rの方向を「右」とする。また、図1に示す矢印Uの方向を「上」、矢印Dの方向を「下」とする。 A mode for carrying out the present invention will be described based on the drawings. In the following description, unless otherwise specified, the direction of arrow F shown in FIGS. Let the direction of the arrow R be "right". The direction of arrow U shown in FIG. 1 is defined as "up", and the direction of arrow D is defined as "down".
本発明の作業支援システムが適用される作業車の一例である普通型のコンバイン1について説明する。図1及び図2に示すように、コンバイン1の機体10は、機体フレーム9、収穫部H、クローラ式の走行装置11、運転部12、脱穀装置13、穀粒タンク14、搬送部16、穀粒排出装置18、衛星測位モジュール80、距離センサ81を備えている。
A general-
走行装置11は、コンバイン1の機体10における下部に備えられている。また、走行装置11は、エンジン(図示せず)からの動力によって駆動する。そして、コンバイン1は、走行装置11によって自走可能である。
The
また、運転部12、脱穀装置13、穀粒タンク14は、走行装置11の上側に備えられている。また、運転部12、脱穀装置13、穀粒タンク14は、機体フレーム9に支持されている。運転部12には、コンバイン1を操作または監視するオペレータが搭乗可能である。なお、オペレータは、コンバイン1の機外からコンバイン1の作業を監視していても良い。
The
図1及び図2に示すように、穀粒排出装置18は、穀粒タンク14の上側に設けられている。また、衛星測位モジュール80及び距離センサ81は、運転部12の上面に取り付けられている。なお、衛星測位モジュール80による衛星航法を補完するために、ジャイロ加速度センサや磁気方位センサを組み込んだ慣性航法ユニットが衛星測位モジュール80に組み込まれている。もちろん、慣性航法ユニットは、コンバイン1において衛星測位モジュール80と別の箇所に配置されても良い。
As shown in FIGS. 1 and 2 , the
収穫部Hは、機体10における前部に備えられている。収穫部Hは、刈取シリンダ15Aを介して機体フレーム9に対して昇降可能に構成されている。そして、搬送部16は、収穫部Hの後側に設けられている。また、収穫部Hは、刈取装置15及びリール17を含んでいる。
The harvesting part H is provided in the front part of the
刈取装置15は、圃場5(図3及び図4参照)の植立穀稈を刈り取る。また、リール17は、機体左右方向に沿うリール軸芯17b周りに回転駆動しながら収穫対象の植立穀稈を掻き込む。刈取装置15により刈り取られた刈取穀稈は、搬送部16へ送られる。
The reaping
この構成により、収穫部Hは、圃場5の作物を収穫する。そして、コンバイン1は、刈取装置15によって圃場5の植立穀稈を刈り取りながら走行装置11によって走行する刈取走行が可能である。
With this configuration, the harvesting section H harvests the crops in the
収穫部Hにより収穫された刈取穀稈は、搬送部16によって機体後方へ搬送される。これにより、刈取穀稈は脱穀装置13へ搬送される。
The reaping grain culms harvested by the harvesting unit H are conveyed to the rear of the machine body by the conveying
脱穀装置13において、刈取穀稈は脱穀処理される。脱穀処理により得られた穀粒は、穀粒タンク14に貯留される。穀粒タンク14に貯留された穀粒は、必要に応じて、穀粒排出装置18によって機外に排出される。
In the threshing
ここで、コンバイン1は、図3及び図4に示すように、外縁領域6の内側に位置する圃場5において、作物を収穫するように構成されている。なお、外縁領域6は、圃場5を囲む状態で設けられている。外縁領域6には、例えば、畦畔61、給排水ポンプ(不図示)、水口(不図示)等が含まれている。
Here, the
コンバイン1は、図3に示すように、圃場5の外周領域SA(図4参照)において作業走行を実行可能に構成されている。外周領域SAにおけるコンバイン1の周回数は二回~三回である。なお、周回数は、二回以上のいかなる回数であっても良い。そして、コンバイン1は、外周領域SAにおいて作業走行を行った後、図4に示すように、外周領域SAよりも内側の作業対象領域CAにおいて作業走行を行う。
As shown in FIG. 3, the
なお、本実施形態における「作業走行」は、具体的には、上述の刈取走行である。なお、「作業走行」は、走行しながら、植立穀稈の刈り取り以外の作業を行うものであっても良い。 Note that the "work travel" in the present embodiment is specifically the reaping travel described above. Note that the "work travel" may be performed while traveling while performing work other than harvesting planted grain culms.
〔作業支援システムの構成について〕
図5~図7に基づいて本発明の作業支援システムの構成を説明する。図5に示すように、本発明の作業支援システムに、制御ユニット20とマップ生成ユニット30とが備えられている。コンバイン1には、多数のECUと呼ばれる電子制御ユニットが備えられている。制御ユニット20は電子制御ユニットの一構成であって、コンバイン1の各種入出力機器等と車載LANなどの配線網を通じて信号通信(データ通信)を可能に構成されている。マップ生成ユニット30は、コンバイン1に備えられず、例えば遠隔地に設けられた管理コンピュータに組み込まれたものであって、制御ユニット20と通信ネットワークを介してデータの送受信を可能に構成されている。なお、マップ生成ユニット30は、コンバイン1の電子制御ユニットの一構成であっても良い。
[Regarding the configuration of the work support system]
The configuration of the work support system of the present invention will be described with reference to FIGS. 5 to 7. FIG. As shown in FIG. 5, the work support system of the present invention comprises a
コンバイン1は、制御ユニット20を備えている。制御ユニット20に、位置情報取得部21、物体位置データ取得部22、記憶部23、障害物検出部24、報知部25,及び、走行制御部26が備えられている。コンバイン1に距離センサ81が備えられている。
The
距離センサ81は、例えば、ToF(Time of Flight)測定方式の測定装置である二次元スキャンLiDARであって、赤外線レーザー光のような空中伝搬する信号を検出信号として送信する。検出信号が検出対象物に照射されると、検出信号は検出対象物の表面で反射する。距離センサ81は、検出対象物の表面で反射した検出信号を、反射信号として取得する。そして、距離センサ81は、検出信号を送信してから反射信号を取得するまでの時間に基づいて、距離センサ81と検出対象物との距離を算出するように構成されている。このため、距離センサ81は、ToF測定方式の測定結果に基づいて前方領域FA(図1及び図2参照)に存在する物体の位置及び高さを検出可能である。距離センサ81の検出結果は、経時的に物体位置データ取得部22へ送られる。なお、距離センサ81は三次元スキャンLiDARであっても良い。また、距離センサ81の測定方式は、ToF測定方式に限定されず、ステレオマッチング測定方式等であっても良い。
The
図1に示すように、衛星測位モジュール80は、GPS(グローバル・ポジショニング・システム)で用いられる人工衛星GSからのGPS信号を受信する。そして、図5に示すように、衛星測位モジュール80は、受信したGPS信号に基づいて、コンバイン1の自車位置を示す測位データを位置情報取得部21へ送る。なお、衛星測位モジュール80は、GPSを利用するものでなくても良い。例えば、衛星測位モジュール80は、GPS以外のGNSS(GLONASS、Galileo、QZSS、BeiDou、等)を利用するものであっても良い。
As shown in FIG. 1, the
位置情報取得部21は、衛星測位モジュール80により出力された測位データに基づいて、コンバイン1の位置情報を経時的に取得する。
The position
物体位置データ取得部22は、コンバイン1に設けられ、コンバイン1が圃場5を走行している最中にコンバイン1の進行方向前方に位置する物体の三次元位置データを経時的に取得する。例えば物体位置データ取得部22は、外縁領域6のうち、コンバイン1の進行方向前方における畦畔61(図1及び図2参照)や給排水ポンプ(不図示)、水口(不図示)等の三次元位置データを取得する。
The object position
もちろん、本実施形態における物体位置データ取得部22は、外縁領域6だけでなく、圃場5の物体の三次元データも取得可能に構成されている。例えば、物体位置データ取得部22は、圃場5における植立穀稈や倒伏穀稈、雑草等の三次元データも取得可能である。
Of course, the object position
なお、本発明に係る「圃場走行」は、圃場5において走行することを意味する。例えば、圃場5における最外周部分を走行することは、本発明に係る「圃場走行」の具体例である。また、圃場5における最外周部分よりも内側を走行することも、本発明に係る「圃場走行」の具体例である。
It should be noted that the term “field running” according to the present invention means running in the
物体位置データ取得部22によって取得された三次元位置データは、経時的に記憶部23へ送られる。また、位置情報取得部21により算出されたコンバイン1の位置座標は、経時的に記憶部23へ送られる。
The three-dimensional position data acquired by the object position
記憶部23は、三次元位置データ記憶部23Aと、障害物記憶部23Bと、を有する。三次元位置データ記憶部23Aは、物体位置データ取得部22によって取得された三次元位置データを、取得したタイミングにおける時間情報と、取得したタイミングにおいて位置情報取得部21によって取得された位置情報と、取得したタイミングにおける慣性航法ユニットの検出結果(例えばピッチ角、ロール角、ヨー角)と、に関連付けて記憶する。なお、取得したタイミングにおける位置情報が、慣性航法ユニットの検出結果に基づいて補正される構成であっても良い。つまり、衛星測位モジュール80によって測位された位置情報はコンバイン1の傾斜分だけ誤差を生じるが、この傾斜分の誤差を有する位置情報が、慣性航法ユニットの検出結果に応じて補正可能である。また、三次元位置データが、慣性航法ユニットの検出結果に基づいて補正される構成であっても良い。三次元位置データ記憶部23Aには多数の三次元位置データが記憶されている。
The
図3に基づいて上述したように、コンバイン1は、圃場5の外周領域SAにおいて二回~三回の周回走行を行う。また、コンバイン1は、圃場5の往復走行を行う。往復走行とは、コンバイン1が圃場5の作業対象領域CAにおいて直進または略直進の作業走行を行い、外周領域SAにおいて180度の旋回走行を行って再び作業対象領域CAにおいて作業走行を行う走行である。このため、三次元位置データ記憶部23Aには、同一の位置に関する三次元位置データが重複して記憶される。
As described above with reference to FIG. 3, the
障害物検出部24は、図6のフローチャートに基づいて、コンバイン1の前方に位置する障害物を検出する。図6のフローチャートに示される処理は、圃場5や外縁領域6において予め設定された区画領域ごとに行われ、また、周期処理で行われる。
The
ステップ#01において障害物検出部24は、圃場5における同一の位置に関して、異なるタイミングに取得した複数の三次元位置データを比較して、複数の三次元位置データの夫々の座標情報に変化があるかどうかを判定する。
In
図7には、圃場5における同一の位置に関して、異なるタイミングに取得した二つの三次元位置データが示されている。図7では、二つの三次元座標が示され、夫々の三次元座標上に点状の三次元位置データがプロットされている。図7において、右側の三次元座標に示される三次元位置データが、左側の三次元座標に示される三次元位置データよりも後のタイミングに取得されている。
FIG. 7 shows two pieces of three-dimensional position data acquired at different timings with respect to the same position in the
「異なるタイミング」とは、例えばコンバイン1が圃場5の外周領域SAを周回走行する際の一周目の走行タイミングと二周目の走行タイミングとが該当する。この場合、障害物検出部24は、圃場5における同一の位置に関して、一周目と二周目との夫々の走行タイミングに取得した複数の三次元位置データを比較する。
“Different timings” correspond to, for example, the travel timing of the first round and the travel timing of the second round when the
また、「異なるタイミング」とは、例えばコンバイン1が圃場5の作業対象領域CAを往復走行する際の往路の走行タイミングと復路の走行タイミングとが該当する。この場合、障害物検出部24は、圃場5における同一の位置に関して、往路と復路との夫々の走行タイミングに取得した複数の三次元位置データを比較する。
Further, the “different timing” corresponds to, for example, the traveling timing of the forward trip and the traveling timing of the return trip when the
当該異なるタイミングの間に障害物が現れると、三次元位置データにおける高さ情報が大きく変化する。このため、ステップ#02において障害物検出部24は、後のタイミングに取得した三次元位置データにおける高さ情報が、前のタイミングに取得した三次元位置データにおける高さ情報よりも、予め定められた閾値以上に大きくなったかどうかを判定する。
If an obstacle appears between the different timings, the height information in the three-dimensional position data will change significantly. Therefore, in
ステップ#01における当該高さ情報の判定処理は、予め設定された区画領域における三次元位置データの集合体に対して行われる。当該区画領域における三次元位置データの集合体のうち、特定の領域における複数の三次元位置データにおける高さ情報が予め定められた閾値以上に大きくなった場合に、ステップ#02でYesの判定処理が行われる。
The determination processing of the height information in
なお、当該区画領域における三次元位置データの集合体のうち、例えば当該閾値を超えた三次元位置データが一つのみである場合には、ステップ#02でNoの判定処理が行われる構成であっても良い。これにより、ステップ#01の判定処理において誤判定の虞が軽減される。
If, for example, only one piece of three-dimensional position data exceeds the threshold value among the set of three-dimensional position data in the partitioned area, the determination process of No is performed in
ステップ#02でYesの判定になると、障害物検出部24は、当該区画領域における三次元位置データの集合体のうち、圃場平面上で一定範囲以上の面積領域に亘って高さ情報が高くなったかどうかを判定する(ステップ#03)。一定範囲以上の面積領域に亘って高さ情報が高くなった場合(ステップ#03:Yes)、障害物検出部24は、当該区画領域における一定範囲の面積領域に障害物が存在することを認定する(ステップ#04)。つまり、障害物検出部24は、圃場平面上で一定範囲以上の面積領域において高さ情報が高くなる変化があったときに、障害物の存在を認定する。
When the determination is Yes in
このように、障害物検出部24は、圃場5における同一の位置に関して、複数の三次元位置データにおける高さ情報を比較して、後のタイミングに取得した三次元位置データにおける高さ情報が、前のタイミングに取得した三次元位置データにおける高さ情報よりも、予め定められた閾値以上に大きくなった場合に、障害物の存在を認定する。
In this way, the
また、ステップ#04の処理において認定された障害物の情報が障害物記憶部23Bに記憶される。また、ステップ#04の処理と同時に、当該障害物に関する報知が報知部25によって行われる。
Further, the information of the obstacle recognized in the process of
高さ情報が高くなった三次元位置データが一定範囲未満の面積領域である場合(ステップ#03:No)、異なるタイミングに取得した複数の三次元位置データの座標情報の誤差によって、障害物が誤検知されている虞が考えられる。このような場合、障害物検出部24は、当該区画領域における一定範囲の面積領域に障害物が存在することを認定するとともに、当該障害物の検出確率が低いことを認定する(ステップ#05)。つまり、障害物検出部24は、圃場平面上で一定範囲よりも小さい面積領域において高さ情報が高くなる変化があったときに、障害物の存在を認定しつつ、検出確率が低いことを認定する。また、障害物検出部24は、面積領域の面積サイズに応じて検出確率を増減する構成であっても良い。
If the three-dimensional position data with increased height information is an area area less than a certain range (step #03: No), errors in the coordinate information of multiple three-dimensional position data acquired at different timings may cause obstacles to appear. It is conceivable that erroneous detection is made. In such a case, the
図7には、左右の三次元座標の夫々にプロットされた三次元座標データのうち、高さ情報が高く変化している部分が障害物として抽出されていることが示されている。この障害物の情報が、当該障害物の検出確率が高いか低いかの情報も含めて障害物記憶部23Bに記憶され、報知部25によって報知される。報知部25は、コンバイン1に備えられ、障害物検出部24が障害物を認定したときに障害物の存在を報知する。
FIG. 7 shows that, of the three-dimensional coordinate data plotted on the left and right three-dimensional coordinates, the portions where the height information changes to high are extracted as obstacles. This obstacle information is stored in the
報知部25は、ディスプレー画面で報知するものであっても良いし、音声案内やブザーで報知するものであっても良い。報知部25がディスプレー画面で報知する構成である場合、図7に示す障害物が画面に強調表示される構成であっても良い。また、当該障害物の検出確率が低い場合と、そうでない場合と、で画面に示す障害物の色が変化する構成であっても良い。障害物検出部24が面積領域の面積サイズに応じて検出確率を増減する構成である場合、画面に示す障害物の色の濃淡が,検出確率の大小に応じて変化する構成であっても良い。
The
また、ステップ#02でNoの判定が行われると、ステップ#06において障害物検出部24は、後のタイミングに取得した三次元位置データにおける高さ情報が、前のタイミングに取得した三次元位置データにおける高さ情報よりも、予め定められた閾値以上に小さくなったかどうかを判定する。
Further, when the determination of No is made in
ステップ#06においてYesの判定が行われると、ステップ#07において障害物検出部24は、その三次元位置データに対応する位置に障害物の存在が認定されているかどうかを判定する。一度障害物の存在が認定された位置において、後のタイミングに取得した三次元位置データにおける高さ情報が、前のタイミングに取得した三次元位置データにおける高さ情報よりも低くなっていると、その位置における障害物が除去されたことが考えられる。障害物記憶部23Bには当該位置における障害物の認定情報が記憶されているため、ステップ#08において障害物検出部24は、障害物記憶部23Bに記憶された当該認定情報を取り消す。このように、障害物検出部24は、圃場5における障害物を認定した位置に関して、障害物認定後に取得した三次元位置データにおける高さ情報が、障害物を認定した際の三次元位置データにおける高さ情報よりも小さくなった場合に、障害物の認定を取り消す。
When a determination of Yes is made in
障害物検出部24が障害物を認定した情報は経時的に障害物記憶部23Bに記憶され、障害物記憶部23Bに記憶された認定情報は経時的に走行制御部26によって読み出される。走行制御部26は、障害物検出部24が障害物を認定したときに作業車の走行に関する制御パラメータを自動的に変更するように構成されている。制御パラメータは、例えば記憶部23に記憶されている。制御パラメータに、走行装置11の速度に関するパラメータ、走行装置11の旋回走行に関するパラメータ、収穫部Hの収穫高さに関するパラメータ等が含まれる。
Information indicating that the
走行制御部26が制御パラメータを自動的に変更することによって、例えばコンバイン1の走行装置11が停止したり、コンバイン1が障害物を迂回する走行を行ったり、収穫部Hが障害物よりも上側に上昇したりする。これにより、コンバイン1と障害物との接触が回避される。
By automatically changing the control parameters by the traveling
また、障害物検出部24による障害物の認定手法は、畦畔61においてコンバイン1の越境不能な境界を示すマップを生成する際にも活用できる。畦畔61には、他の農作業者や運搬トラック、苗箱や種袋等が一時的に配置される場合も考えられ、これらを障害物と認定することが可能である。畦畔61に一時的に配置されたものに起因して当該境界が不意に畦際に設定され、農作業車の走行範囲が不意に制限される虞が考えられる。畦畔61に一時的に配置されたものを障害物検出部24が障害物と認定する構成によって、越境不能な境界を示すマップの生成において一時的な障害物が境界として認識されなくなる。これにより、マップの生成精度が向上する。
Further, the method of recognizing obstacles by the
〔別実施形態〕
本発明は、上述の実施形態に例示された構成に限定されるものではなく、以下、本発明の代表的な別実施形態を例示する。
[Another embodiment]
The present invention is not limited to the configurations exemplified in the above-described embodiments, and other representative embodiments of the present invention will be exemplified below.
(1)走行制御部26は、自動走行を可能な構成であっても良いし、手動走行をアシストする構成であっても良い。
(1) The
(2)上述の実施形態では、障害物検出部24は、障害物を認定した位置に関して、障害物認定後に取得した三次元位置データにおける高さ情報が、障害物を認定した際の前記三次元位置データにおける高さ情報よりも小さくなった場合に、障害物の認定を取り消す。しかし例えば、障害物を認定していない同一の位置に関して、後のタイミングに取得した三次元位置データにおける高さ情報が、前のタイミングに取得した三次元位置データにおける高さ情報よりも小さくなった場合が考えられる。このような場合、障害物検出部24は、前のタイミングに取得した三次元位置データに障害物が含まれていたことを遡及して認定する構成であっても良い。この構成を有する場合、畦畔61においてコンバイン1の越境不能な境界を示すマップを生成する際に、当該境界を広げる構成も可能である。
(2) In the above-described embodiment, the
(3)障害物検出部24は、複数の三次元位置データにおける高さ情報を比較する。この実施形態に限定されず、例えば障害物検出部24は、複数の三次元位置データにおける三方向のうち二方向以上の情報を比較する構成であっても良い。この場合、障害物検出部24は、圃場5における同一の位置に関して、複数の三次元位置データにおける少なくとも二方向の情報を比較して、後のタイミングに取得した三次元位置データにおける同情報(少なくとも二方向の情報)が、前のタイミングに取得した三次元位置データにおける同情報(少なくとも二方向の情報)よりも、予め定められた閾値以上に大きくなった場合に、障害物の存在を認定する構成であっても良い。
(3) The
(4)上述の実施形態では、障害物検出部24は、圃場平面上で一定範囲以上の面積領域において高さ情報が高くなる変化があったときに、障害物の存在を認定する。この実施形態に限定されず、例えば、障害物検出部24は、高さ情報が高くなる変化があった領域が圃場平面上で一定密度以上の領域であれば、障害物の存在を認定する構成であっても良い。
(4) In the above-described embodiment, the
(5)図5に示す位置情報取得部21と物体位置データ取得部22との少なくとも一方は、制御ユニット20ではなくマップ生成ユニット30に設けられても良い。
(5) At least one of the position
(6)報知部25は備えられない構成であっても良い。
(6) The configuration may be such that the
(7)位置情報取得部21と衛星測位モジュール80とが、本発明の位置情報取得部として一体的に構成されても良い。
(7) The location
(8)物体位置データ取得部22と距離センサ81とが、本発明の物体位置データ取得部として一体的に構成されても良い。
(8) The object position
(9)上述の実施形態では、作業車としてコンバイン1が例示されたが、作業車は、作業機が装着されたトラクタ、田植機、肥料散布機、管理機等であっても良い。
(9) In the above-described embodiment, the
なお、上述の実施形態(別実施形態を含む、以下同じ)で開示される構成は、矛盾が生じない限り、他の実施形態で開示される構成と組み合わせて適用することが可能である。また、本明細書において開示された実施形態は例示であって、本発明の実施形態はこれに限定されず、本発明の目的を逸脱しない範囲内で適宜改変することが可能である。 It should be noted that the configurations disclosed in the above-described embodiments (including other embodiments; the same shall apply hereinafter) can be applied in combination with configurations disclosed in other embodiments unless there is a contradiction. Moreover, the embodiments disclosed in this specification are merely examples, and the embodiments of the present invention are not limited thereto, and can be modified as appropriate without departing from the scope of the present invention.
本発明は、圃場を走行しながら作業を行う作業車のための作業支援システムに適用できる。 INDUSTRIAL APPLICABILITY The present invention can be applied to a work support system for a work vehicle that performs work while traveling in a field.
1 :コンバイン(作業車)
21 :位置情報取得部
22 :物体位置データ取得部
23 :記憶部
24 :障害物検知部
25 :報知部
26 :走行制御部
1: Combine (work vehicle)
21: Position information acquisition unit 22: Object position data acquisition unit 23: Storage unit 24: Obstacle detection unit 25: Notification unit 26: Travel control unit
Claims (8)
前記作業車の位置情報を経時的に取得する位置情報取得部と、
前記作業車に設けられ、前記作業車が前記圃場を走行している最中に前記作業車の進行方向前方に位置する物体の三次元位置データを経時的に取得する物体位置データ取得部と、
前記三次元位置データを、データを取得した時間情報と関連付けて記憶する記憶部と、
前記圃場における同一の位置に関して、異なるタイミングに取得した複数の前記三次元位置データを比較することによって、前記作業車の前方に位置する障害物を検出する障害物検出部と、が備えられている作業支援システム。 A work support system for a work vehicle that performs work while traveling in a field,
a position information acquisition unit that acquires position information of the work vehicle over time;
an object position data acquisition unit provided in the work vehicle for acquiring, over time, three-dimensional position data of an object positioned in front of the work vehicle in the traveling direction of the work vehicle while the work vehicle is traveling in the field;
a storage unit that stores the three-dimensional position data in association with time information at which the data was acquired;
an obstacle detection unit that detects an obstacle positioned in front of the work vehicle by comparing a plurality of the three-dimensional position data obtained at different timings with respect to the same position in the field. Work support system.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021106829A JP7482838B2 (en) | 2021-06-28 | 2021-06-28 | Work Support System |
KR1020220070030A KR20230001514A (en) | 2021-06-28 | 2022-06-09 | Work support system |
CN202210704962.XA CN115599085A (en) | 2021-06-28 | 2022-06-21 | Work support system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021106829A JP7482838B2 (en) | 2021-06-28 | 2021-06-28 | Work Support System |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023005114A true JP2023005114A (en) | 2023-01-18 |
JP7482838B2 JP7482838B2 (en) | 2024-05-14 |
Family
ID=84841927
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021106829A Active JP7482838B2 (en) | 2021-06-28 | 2021-06-28 | Work Support System |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP7482838B2 (en) |
KR (1) | KR20230001514A (en) |
CN (1) | CN115599085A (en) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016224854A (en) | 2015-06-03 | 2016-12-28 | シャープ株式会社 | Autonomous travel device |
JP7068781B2 (en) | 2017-06-23 | 2022-05-17 | 株式会社クボタ | Harvester |
JP2019139304A (en) | 2018-02-06 | 2019-08-22 | シャープ株式会社 | Travel device, obstacle determination method of travel device and obstacle determination program of travel device |
JP2020119241A (en) | 2019-01-23 | 2020-08-06 | ヤンマーパワーテクノロジー株式会社 | Operation restriction system |
JP7195543B2 (en) | 2019-04-26 | 2022-12-26 | 国立大学法人京都大学 | harvester |
JP2021006011A (en) | 2019-06-27 | 2021-01-21 | 株式会社クボタ | Obstacle detection system for farm working vehicle |
JP2021093984A (en) | 2019-12-18 | 2021-06-24 | 株式会社クボタ | Work vehicle |
-
2021
- 2021-06-28 JP JP2021106829A patent/JP7482838B2/en active Active
-
2022
- 2022-06-09 KR KR1020220070030A patent/KR20230001514A/en unknown
- 2022-06-21 CN CN202210704962.XA patent/CN115599085A/en active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20230001514A (en) | 2023-01-04 |
CN115599085A (en) | 2023-01-13 |
JP7482838B2 (en) | 2024-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3841859B1 (en) | Harvester, surrounding condition detection system, surrounding condition detection program, recording medium recording the surrounding condition detection program and surrounding condition detection method | |
US11170547B2 (en) | Combine, method of generating field farming map, program for generating the field farming map and storage medium recording the field farming map generating program | |
US20220230444A1 (en) | Obstacle Detection System, Agricultural Work Vehicle, Obstacle Detection Program, Recording Medium on Which Obstacle Detection Program is Recorded, and Obstacle Detection Method | |
WO2020218464A1 (en) | Harvester, obstacle determination program, recording medium on which obstacle determination program is recorded, obstacle determination method, agricultural work machine, control program, recording medium on which control program is recorded, and control method | |
JP2019004772A (en) | Harvesting machine | |
CN111343853B (en) | Agricultural operation vehicle, operation vehicle collision warning system and operation vehicle | |
JP2021007385A (en) | Farm implement | |
JP7482838B2 (en) | Work Support System | |
JP2020178619A (en) | Agricultural work machine | |
JP2020178617A (en) | Harvester | |
US20220210971A1 (en) | Agricultural Work Machine Such as Harvester | |
JP7321125B2 (en) | Driving route management system | |
WO2020262287A1 (en) | Farm operation machine, autonomous travel system, program, recording medium in which program is recorded, and method | |
JP7466276B2 (en) | Work vehicle coordination system | |
JP2022092391A (en) | Mobile vehicle | |
JP2023097980A (en) | Traveling management system | |
JP2023005113A (en) | Work support system | |
JP2023101240A (en) | Travel control system | |
WO2023276340A1 (en) | Management system for agricultural machines | |
WO2022181067A1 (en) | Travel route management system, travel route management program, recording medium having travel route management program recorded thereon, and travel route management method | |
KR20230001515A (en) | Work support system | |
JP2023097981A (en) | system | |
CN116456820A (en) | Agricultural machine, agricultural machine control program, recording medium on which agricultural machine control program is recorded, and agricultural machine control method | |
JP2022163534A (en) | Route generation system | |
CN116456821A (en) | Field map generation system, field work vehicle, field map generation method, field map generation program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230623 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240209 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240430 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7482838 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |