JP2022088098A - Self-driving system, self-driving method, and self-driving program - Google Patents
Self-driving system, self-driving method, and self-driving program Download PDFInfo
- Publication number
- JP2022088098A JP2022088098A JP2020200357A JP2020200357A JP2022088098A JP 2022088098 A JP2022088098 A JP 2022088098A JP 2020200357 A JP2020200357 A JP 2020200357A JP 2020200357 A JP2020200357 A JP 2020200357A JP 2022088098 A JP2022088098 A JP 2022088098A
- Authority
- JP
- Japan
- Prior art keywords
- route
- work vehicle
- work
- traveling
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000012545 processing Methods 0.000 claims abstract description 182
- 238000001514 detection method Methods 0.000 claims abstract description 100
- 230000008859 change Effects 0.000 claims description 22
- 238000012544 monitoring process Methods 0.000 claims description 11
- 238000003384 imaging method Methods 0.000 claims description 10
- 230000008569 process Effects 0.000 description 31
- 238000004891 communication Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 10
- 238000009434 installation Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 2
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000003337 fertilizer Substances 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 239000002828 fuel tank Substances 0.000 description 1
- 239000003502 gasoline Substances 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000009331 sowing Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/222—Remote-control arrangements operated by humans
- G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
- G05D1/2244—Optic
- G05D1/2245—Optic providing the operator with a purely computer-generated representation of the environment of the vehicle, e.g. virtual reality
- G05D1/2246—Optic providing the operator with a purely computer-generated representation of the environment of the vehicle, e.g. virtual reality displaying a map of the environment
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/617—Safety or protection, e.g. defining protection zones around obstacles or avoiding hazards
- G05D1/622—Obstacle avoidance
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/60—Intended control result
- G05D1/648—Performing a task within a working area or space, e.g. cleaning
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
- A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
- A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
- A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2105/00—Specific applications of the controlled vehicles
- G05D2105/15—Specific applications of the controlled vehicles for harvesting, sowing or mowing in agriculture or forestry
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2107/00—Specific environments of the controlled vehicles
- G05D2107/20—Land use
- G05D2107/21—Farming, e.g. fields, pastures or barns
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D2109/00—Types of controlled vehicles
- G05D2109/10—Land vehicles
Landscapes
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mechanical Engineering (AREA)
- Soil Sciences (AREA)
- Environmental Sciences (AREA)
- Guiding Agricultural Machines (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
本発明は、作業車両を自動走行させる自動走行システム、自動走行方法、及び自動走行プログラムに関する。 The present invention relates to an automatic traveling system for automatically traveling a work vehicle, an automatic traveling method, and an automatic traveling program.
作業車両は、赤外線センサ、超音波センサなどの障害物センサを搭載し、自動走行中に検出エリア内の障害物を検出する。前記検出エリアは、例えば平面視で障害物センサから前方に所定距離(例えば10m)の範囲に扇形状に設定される。従来のシステムでは、例えば、作業車両の自動走行中に障害物が検出エリア内に進入すると、オペレータに報知し、さらに作業車両を停止状態とする衝突回避制御等を行っている(例えば特許文献1参照)。 The work vehicle is equipped with obstacle sensors such as infrared sensors and ultrasonic sensors, and detects obstacles in the detection area during automatic driving. The detection area is set in a fan shape, for example, within a predetermined distance (for example, 10 m) in front of the obstacle sensor in a plan view. In the conventional system, for example, when an obstacle enters the detection area during the automatic traveling of the work vehicle, the operator is notified, and collision avoidance control or the like for stopping the work vehicle is performed (for example, Patent Document 1). reference).
ところで、障害物センサはオプションによって追加することが可能であり、死角が生じないように作業車両の四方に設置することができる。しかし、作業内容によっては死角が生じる場合がある。例えば、草刈作業のように作業機が作業車両から左右一方側にオフセットした状態で使用されるような場合には、オフセット方向に死角が生じてしまう。オフセット方向の死角をなくすためには作業機にも障害物センサを設置する必要がある。このように、全ての作業に対応できるように障害物センサを設置すると、障害物センサの数が多くなりコストが増大してしまう。一方で、障害物センサを少なくすると、死角が増えるため安全性が低下してしまう。 By the way, obstacle sensors can be added as an option, and can be installed on all sides of the work vehicle so that blind spots do not occur. However, a blind spot may occur depending on the work content. For example, when the work machine is used in a state of being offset to one side from the work vehicle to the left or right as in mowing work, a blind spot is generated in the offset direction. In order to eliminate the blind spot in the offset direction, it is necessary to install an obstacle sensor on the work equipment as well. In this way, if the obstacle sensors are installed so as to be able to handle all the work, the number of obstacle sensors increases and the cost increases. On the other hand, if the number of obstacle sensors is reduced, the blind spots are increased and the safety is lowered.
本発明の目的は、作業車両の安全性を確保しつつ、コストの増大を防ぐことが可能な自動走行システム、自動走行方法、及び自動走行プログラムを提供することにある。 An object of the present invention is to provide an automated driving system, an automated driving method, and an automated driving program capable of preventing an increase in cost while ensuring the safety of a work vehicle.
本発明に係る自動走行システムは、経路取得処理部と報知する報知処理部とを備える。前記経路取得処理部は、作業車両の走行経路を取得する。前記報知処理部は、前記経路取得処理部により取得される前記走行経路に、前記作業車両に設置され、前記作業車両の周囲の障害物を検出する検出部の検出エリアの方向とは異なる方向の第1走行経路が含まれる場合に、前記作業車両の自動走行を開始するか否かの問い合わせを報知する。 The automatic traveling system according to the present invention includes a route acquisition processing unit and a notification processing unit for notifying. The route acquisition processing unit acquires the travel route of the work vehicle. The notification processing unit is installed in the work vehicle on the travel path acquired by the route acquisition processing unit, and is in a direction different from the direction of the detection area of the detection unit that detects obstacles around the work vehicle. When the first traveling route is included, an inquiry as to whether or not to start the automatic traveling of the work vehicle is notified.
本発明に係る自動走行方法は、一又は複数のプロセッサーが、作業車両の走行経路を取得することと、前記走行経路に、前記作業車両に設置され、前記作業車両の周囲の障害物を検出する検出部の検出エリアの方向とは異なる方向の第1走行経路が含まれる場合に、前記作業車両の自動走行を開始するか否かの問い合わせを報知することと、を実行する方法である。 In the automatic traveling method according to the present invention, one or a plurality of processors acquire a traveling route of a work vehicle, and the traveling route is installed in the working vehicle to detect obstacles around the working vehicle. This is a method of notifying an inquiry as to whether or not to start automatic traveling of the work vehicle when a first traveling route in a direction different from the direction of the detection area of the detection unit is included.
本発明に係る自動走行プログラムは、作業車両の走行経路を取得することと、前記走行経路に、前記作業車両に設置され、前記作業車両の周囲の障害物を検出する検出部の検出エリアの方向とは異なる方向の第1走行経路が含まれる場合に、前記作業車両の自動走行を開始するか否かの問い合わせを報知することと、を一又は複数のプロセッサーに実行させるためのプログラムである。 The automatic traveling program according to the present invention acquires a traveling route of a working vehicle and a direction of a detection area of a detection unit installed on the working vehicle and detecting an obstacle around the working vehicle on the traveling route. This is a program for causing one or a plurality of processors to notify an inquiry as to whether or not to start automatic traveling of the work vehicle when a first traveling route in a direction different from the above is included.
本発明によれば、作業車両の安全性を確保しつつ、コストの増大を防ぐことが可能な自動走行システム、自動走行方法、及び自動走行プログラムを提供することができる。 According to the present invention, it is possible to provide an automatic traveling system, an automatic traveling method, and an automatic traveling program capable of preventing an increase in cost while ensuring the safety of a work vehicle.
以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定するものではない。 The following embodiments are examples that embody the present invention and do not limit the technical scope of the present invention.
図1に示されるように、本発明の実施形態に係る自動走行システム1は、作業車両10と操作端末20とを含んでいる。作業車両10及び操作端末20は、通信網N1を介して通信可能である。例えば、作業車両10及び操作端末20は、携帯電話回線網、パケット回線網、又は無線LANを介して通信可能である。
As shown in FIG. 1, the
本実施形態では、作業車両10がトラクタである場合を例に挙げて説明する。なお、他の実施形態として、作業車両10は、田植機、コンバイン、建設機械、又は除雪車などであってもよい。作業車両10は、圃場F(図3参照)内を予め設定された走行経路Rに沿って自動走行(自律走行)可能な構成を備える、所謂ロボットトラクタである。例えば、作業車両10は、測位装置17により算出される作業車両10の現在位置の位置情報に基づいて、圃場Fに対して予め生成された走行経路Rに沿って自動走行することが可能である。
In the present embodiment, the case where the
例えば、作業車両10は、図3に示す圃場Fの作業領域において、作業開始位置Sから作業終了位置Gに向けて平行に往復走行する。圃場Fの外周側は例えば枕地領域であり、作業車両10は旋回走行する。走行経路Rは、図3に示す経路に限定されず、作業内容に応じて適宜設定される。
For example, the
[作業車両10]
図1及び図2に示すように、作業車両10は、車両制御装置11、記憶部12、走行装置13、作業機14、カメラ15、通信部16、測位装置17、障害物センサ18、及び検出処理装置19などを備える。車両制御装置11は、記憶部12、走行装置13、作業機14、及び測位装置17などに電気的に接続されている。なお、車両制御装置11及び測位装置17は、無線通信可能であってもよい。また、カメラ15及び障害物センサ18は、検出処理装置19に電気的に接続されている。
[Working vehicle 10]
As shown in FIGS. 1 and 2, the
記憶部12は、各種の情報を記憶するHDD(Hard Disk Drive)又はSSD(Solid State Drive)などの不揮発性の記憶部である。記憶部12には、車両制御装置11に後述の自動走行処理(図11参照)を実行させるための自動走行プログラムなどの制御プログラムが記憶されている。例えば、前記自動走行プログラムは、CD又はDVDなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、所定の読取装置(不図示)で読み取られて記憶部12に記憶される。なお、前記自動走行プログラムは、サーバー(不図示)から通信網N1を介して作業車両10にダウンロードされて記憶部12に記憶されてもよい。また、記憶部12には、操作端末20において生成される走行経路Rのデータなどが記憶される。
The
走行装置13は、作業車両10を走行させる駆動部である。図2に示すように、走行装置13は、エンジン131、前輪132、後輪133、トランスミッション134、フロントアクスル135、リアアクスル136、ハンドル137などを備える。なお、前輪132及び後輪133は、作業車両10の左右にそれぞれ設けられている。また、走行装置13は、前輪132及び後輪133を備えるホイールタイプに限らず、作業車両10の左右に設けられるクローラを備えるクローラタイプであってもよい。
The traveling
エンジン131は、不図示の燃料タンクに補給される燃料を用いて駆動するディーゼルエンジン又はガソリンエンジンなどの駆動源である。走行装置13は、エンジン131とともに、又はエンジン131に代えて、電気モーターを駆動源として備えてもよい。なお、エンジン131には、不図示の発電機が接続されており、当該発電機から作業車両10に設けられた車両制御装置11等の電気部品及びバッテリー等に電力が供給される。なお、前記バッテリーは、前記発電機から供給される電力によって充電される。そして、作業車両10に設けられている車両制御装置11及び測位装置17等の電気部品は、エンジン131の停止後も前記バッテリーから供給される電力により駆動可能である。
The
エンジン131の駆動力は、トランスミッション134及びフロントアクスル135を介して前輪132に伝達され、トランスミッション134及びリアアクスル136を介して後輪133に伝達される。また、エンジン131の駆動力は、PTO軸(不図示)を介して作業機14にも伝達される。作業車両10が自動走行を行う場合、走行装置13は、車両制御装置11の命令に従って走行動作を行う。
The driving force of the
作業機14は、例えば草刈機、耕耘機、プラウ、施肥機、又は播種機などであって、作業車両10に着脱可能である。これにより、作業車両10は、作業機14各々を用いて各種の作業を行うことが可能である。本実施形態では、作業機14は草刈機である場合を例に挙げて説明する。
The working
例えば、作業機14は、作業車両10に対して左右一方側にオフセットして装着される。例えば、作業車両10は、左右一方側にオフセットして直装型の作業機14を装着して圃場内を走行することにより草刈作業などを行う。なお、作業機14は、作業車両10に固定される直装型の作業機(図2参照)に限定されず、作業車両10に牽引される牽引型の作業機であってもよい。
For example, the
障害物センサ18は、赤外線、超音波などを利用して所定の検出エリアK0の障害物を検出するセンサである。例えば、障害物センサ18は、レーザを用いて測定対象物(障害物)までの距離を3次元で測定可能なライダーセンサ(距離センサ)であってもよいし、超音波を用いて測定対象物までの距離を測定可能な複数のソナーを有するソナーセンサであってもよい。障害物センサ18は、作業車両10の機体の前部に設置され(図2及び図4A参照)、作業車両10の前方の障害物を検出する。
The
また、障害物センサ18は、予め設定された所定の検出エリアK0の障害物を検出可能に構成されている。例えば図4Aに示すように、障害物センサ18は、作業車両10の前方約10m、横幅約4mの検出エリアK0の障害物を検出可能に構成されている。障害物センサ18は、検出エリアK0に進入した物体、人などを検出する。障害物センサ18は、測定情報を検出処理装置19に送信する。
Further, the
例えば、障害物センサ18は、作業車両10の前部のみに設置される。これにより、障害物センサ18を複数設置する場合と比較して作業車両10のコストを抑えることができる。なお、障害物センサ18は、作業車両10の前部以外の場所に設置することも可能である。例えば、障害物センサ18は、作業車両10の後部、右側部、左側部、作業機14などに設置することができる。ユーザー(オペレータ)は、作業内容に応じて障害物センサ18を追加設置することもできる。また、複数の作業車両10を所有するオペレータは、作業内容に応じて作業車両10ごとに異なる位置に障害物センサ18を設置することもできる。障害物センサ18は、本発明の検出部の一例である。
For example, the
なお、検出処理装置19は、障害物センサ18が作業車両10に電気的に接続されることにより障害物センサ18と通信可能になる。検出処理装置19は、障害物センサ18と通信可能になると、障害物センサ18の個数と、各障害物センサ18の識別情報(機器情報)とを取得する。
The
カメラ15は、被写体の画像を撮像してデジタル画像データとして出力するデジタルカメラである。カメラ15は、被写体を所定のフレームレートで連続して撮像し、所定の解像度のフレーム画像を生成して逐次、検出処理装置19に送信する。カメラ15は、本発明の監視部及び撮像部の一例である。なお、本発明の監視部は、カメラ15に限定されず、障害物センサ18とは機能が異なるセンサ(例えば障害物センサ18よりも検出精度の低いセンサ)であってもよい。
The
本実施形態では、5個のカメラ15が、作業車両10の異なる場所に設置されている。具体的には、図4Bに示すように、作業車両10の前部にカメラ15F(以下「カメラ1」ともいう。)が設置され、作業車両10の後部にカメラ15B(以下「カメラ2」ともいう。)が設置され、作業車両10の右側部にカメラ15R(以下「カメラ3」ともいう。)が設置され、作業車両10の左側部にカメラ15L(以下「カメラ4」ともいう。)が設置され、作業機14の右前部にカメラ15C(以下「カメラ5」ともいう。)が設置されている。なお、カメラ15は、例えば両面テープなどにより作業車両10に設置されてもよい。
In this embodiment, five
また、各カメラ15には、撮像可能な所定の撮像範囲(検出エリア)が設定されている。例えばカメラ15Fは作業車両10の前方の撮像エリアK1を撮像し、カメラ15Bは作業車両10の後方の撮像エリアK2を撮像し、カメラ15Rは作業車両10の右側方の撮像エリアK3を撮像し、カメラ15Lは作業車両10の左側方の撮像エリアK4を撮像し、カメラ15Cは作業機14の右側前方の撮像エリアK5を撮像する。各カメラ15は、各撮像エリアを所定のフレームレートで撮像し、撮像画像を逐次、検出処理装置19に送信する。検出処理装置19は、前記撮像画像及び後述する検出結果(判定結果)を車両制御装置11及び操作端末20に送信する。
Further, each
なお、検出処理装置19は、カメラ15が作業車両10に電気的に接続されることによりカメラ15と通信可能になる。検出処理装置19は、カメラ15と通信可能になると、カメラ15の個数と、各カメラ15の識別情報(機器情報)とを取得する。また、検出処理装置19は、取得したカメラ15の個数情報及び識別情報を車両制御装置11に出力し、車両制御装置11は当該個数情報及び識別情報を操作端末20に出力する。オペレータは、カメラ15を追加したり、設置位置を変更したりすることができる。
The
ハンドル137は、オペレータ又は車両制御装置11によって操作される操作部である。例えば走行装置13では、車両制御装置11によるハンドル137の操作に応じて、不図示の油圧式パワーステアリング機構などによって前輪132の角度が変更され、作業車両10の進行方向が変更される。
The
また、走行装置13は、ハンドル137の他に、車両制御装置11によって操作される不図示のシフトレバー、アクセル、ブレーキ等を備える。そして、走行装置13では、車両制御装置11による前記シフトレバーの操作に応じて、トランスミッション134のギアが前進ギア又はバックギアなどに切り替えられ、作業車両10の走行態様が前進又は後進などに切り替えられる。また、車両制御装置11は、前記アクセルを操作してエンジン131の回転数を制御する。また、車両制御装置11は、前記ブレーキを操作して電磁ブレーキを用いて前輪132及び後輪133の回転を制動する。
In addition to the
測位装置17は、測位制御部171、記憶部172、通信部173、及び測位用アンテナ174などを備える通信機器である。例えば、測位装置17は、図2に示すように、オペレータが搭乗するキャビン138の上部に設けられている。また、測位装置17の設置場所はキャビン138に限らない。さらに、測位装置17の測位制御部171、記憶部172、通信部173、及び測位用アンテナ174は、作業車両10において異なる位置に分散して配置されていてもよい。なお、前述したように測位装置17には前記バッテリーが接続されており、当該測位装置17は、エンジン131の停止中も稼働可能である。また、測位装置17として、例えば携帯電話端末、スマートフォン、又はタブレット端末などが代用されてもよい。
The
測位制御部171は、一又は複数のプロセッサーと、不揮発性メモリ及びRAMなどの記憶メモリとを備えるコンピュータシステムである。記憶部172は、測位制御部171に測位処理を実行させるためのプログラム、及び測位情報、移動情報などのデータを記憶する不揮発性メモリなどである。例えば、前記プログラムは、CD又はDVDなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、所定の読取装置(不図示)で読み取られて記憶部172に記憶される。なお、前記プログラムは、サーバー(不図示)から通信網N1を介して測位装置17にダウンロードされて記憶部172に記憶されてもよい。
The
通信部173は、測位装置17を有線又は無線で通信網N1に接続し、通信網N1を介して基地局サーバーなどの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
The
測位用アンテナ174は、衛星から発信される電波(GNSS信号)を受信するアンテナである。
The
測位制御部171は、測位用アンテナ174が衛星から受信するGNSS信号に基づいて作業車両10の現在位置を算出する。例えば、作業車両10が圃場F内を自動走行する場合に、測位用アンテナ174が複数の衛星のそれぞれから発信される電波(発信時刻、軌道情報など)を受信すると、測位制御部171は、測位用アンテナ174と各衛星との距離を算出し、算出した距離に基づいて作業車両10の現在位置(緯度及び経度)を算出する。また、測位制御部171は、作業車両10に近い基地局(基準局)に対応する補正情報を利用して作業車両10の現在位置を算出する、リアルタイムキネマティック方式(RTK-GPS測位方式(RTK方式))による測位を行ってもよい。このように、作業車両10は、RTK方式による測位情報を利用して自動走行を行う。
The
車両制御装置11及び検出処理装置19は、CPU、ROM、及びRAMなどの制御機器を有する。前記CPUは、各種の演算処理を実行するプロセッサーである。前記ROMは、前記CPUに各種の演算処理を実行させるためのBIOS及びOSなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記RAMは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記CPUが実行する各種の処理の一時記憶メモリー(作業領域)として使用される。そして、車両制御装置11及び検出処理装置19は、前記ROM又は記憶部12に予め記憶された各種の制御プログラムを前記CPUで実行することにより作業車両10を制御する。
The
検出処理装置19は、障害物センサ18から測定情報を取得し、当該測定情報に基づいて検出エリアK0に障害物が含まれるか否かを判定する。具体的には、図1に示すように、検出処理装置19は、取得処理部111、検出処理部112などの各種の処理部を含む。検出処理装置19は、CPUで前記自動走行プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、一部又は全部の前記処理部が電子回路で構成されていてもよい。なお、前記自動走行プログラムは、複数のプロセッサーを前記処理部として機能させるためのプログラムであってもよい。
The
取得処理部111は、一又は複数の障害物センサ18から測定情報を取得する。具体的には、取得処理部111は、作業車両10の前部に設置された障害物センサ18から検出エリアK0の測定情報を取得する。例えば、検出エリアK0に障害物(人)が進入した場合に、取得処理部111は、障害物センサ18により測定される測定距離を取得する。
The
また、取得処理部111は、一又は複数のカメラ15から撮像画像を取得する。例えば、取得処理部111は、作業車両10及び作業機14に設置された5個のカメラ15F,15B,15R,15L,15Cのそれぞれから撮像エリアK1~K5のぞれぞれの撮像画像をフレームごとに取得する。取得処理部111は、取得した前記撮像画像を撮像時刻とともに記憶部12に記憶する。また、取得処理部111は、取得した前記撮像画像の画像データを操作端末20に出力する。
Further, the
検出処理部112は、取得処理部111により取得される前記測定情報に基づいて障害物を検出する。具体的には、検出処理部112は、前記測定情報に基づいて検出エリアK0に障害物が含まれるか否かを判定する。検出処理部112は、検出結果を操作端末20に出力する。
The
車両制御装置11は、作業車両10に対する各種のユーザー操作に応じて当該作業車両10の動作を制御する。また、車両制御装置11は、測位装置17により算出される作業車両10の現在位置と、予め生成される走行経路Rとに基づいて、当該作業車両10の自動走行処理を実行する。
The
図1に示すように、車両制御装置11は、走行処理部113などの各種の処理部を含む。なお、車両制御装置11は、前記CPUで前記自動走行プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、一部又は全部の前記処理部が電子回路で構成されていてもよい。なお、前記自動走行プログラムは、複数のプロセッサーを前記処理部として機能させるためのプログラムであってもよい。
As shown in FIG. 1, the
走行処理部113は、作業車両10の走行を制御する。具体的には、走行処理部113は、操作端末20から作業開始指示を取得すると作業車両10の自動走行を開始させる。例えば、操作端末20の操作画面においてオペレータが作業開始ボタンを押下すると、操作端末20は作業開始指示を作業車両10に出力する。走行処理部113は、操作端末20から作業開始指示が取得すると、作業車両10の自動走行を開始させる。これにより、作業車両10は、走行経路Rに従って自動走行を開始し、作業機14による作業を開始する。なお、作業車両10が走行する走行経路Rは、例えば操作端末20により生成される。作業車両10は、操作端末20から走行経路Rを取得して、走行経路Rに従って圃場F内を自動走行する。
The
また、走行処理部113は、操作端末20から走行停止指示を取得すると作業車両10の自動走行を停止させる。例えば、操作端末20の操作画面においてオペレータが走行停止ボタンを押下すると、操作端末20は走行停止指示を作業車両10に出力する。
Further, the traveling
また、走行処理部113は、検出処理部112が障害物を検出した場合に作業車両10の自動走行を停止させる。例えば、検出処理部112が作業車両10の前方3m~8mの範囲で障害物を検出した場合に、走行処理部113は、作業車両10を減速走行させる。また検出処理部112が作業車両10の前方3mまでの範囲で障害物を検出した場合に、走行処理部113は、作業車両10を停止(緊急停止)させる。
Further, the traveling
[操作端末20]
図1に示すように、操作端末20は、操作制御部21、記憶部22、操作表示部23、及び通信部24などを備える情報処理装置である。操作端末20は、タブレット端末、スマートフォンなどの携帯端末で構成されてもよい。
[Operation terminal 20]
As shown in FIG. 1, the
通信部24は、操作端末20を有線又は無線で通信網N1に接続し、通信網N1を介して一又は複数の作業車両10などの外部機器との間で所定の通信プロトコルに従ったデータ通信を実行するための通信インターフェースである。
The
操作表示部23は、各種の情報を表示する液晶ディスプレイ又は有機ELディスプレイのような表示部と、操作を受け付けるタッチパネル、マウス、又はキーボードのような操作部とを備えるユーザーインターフェースである。オペレータは、前記表示部に表示される操作画面において、前記操作部を操作して各種情報(後述の作業車両情報、圃場情報、作業情報など)を登録する操作を行うことが可能である。また、オペレータは、前記操作部を操作して作業車両10に対する作業開始指示、走行停止指示などを行うことが可能である。さらに、オペレータは、作業車両10から離れた場所において、操作端末20に表示される走行軌跡により、圃場F内を走行経路Rに従って自動走行する作業車両10の走行状態を把握することが可能である。
The
記憶部22は、各種の情報を記憶するHDD又はSSDなどの不揮発性の記憶部である。記憶部22には、操作制御部21に後述の自動走行処理(図11参照)を実行させるための自動走行プログラムなどの制御プログラムが記憶されている。例えば、前記自動走行プログラムは、CD又はDVDなどのコンピュータ読取可能な記録媒体に非一時的に記録されており、所定の読取装置(不図示)で読み取られて記憶部22に記憶される。なお、前記自動走行プログラムは、サーバー(不図示)から通信網N1を介して操作端末20にダウンロードされて記憶部22に記憶されてもよい。
The
また、記憶部22には、作業車両10に関する情報である作業車両情報D1、走行経路に関する情報である走行経路情報D2、作業車両10が走行経路を走行可能であるか否かを示す情報である走行可否情報D3などのデータが記憶される。
Further, the
図5は、作業車両情報D1の一例である。図5に示すように、作業車両情報D1には、作業車両10ごとに、車両番号、型式、障害物センサ18の設置位置、走行可能経路などの情報が含まれる。前記車両番号は、作業車両10の識別情報である。前記型式は、作業車両10の型式である。障害物センサ18の設置位置は、作業車両10における障害物センサ18の設置位置である。
FIG. 5 is an example of the work vehicle information D1. As shown in FIG. 5, the work vehicle information D1 includes information such as a vehicle number, a model, an installation position of the
前記走行可能経路は、障害物センサ18の設置位置に応じて設定される、作業車両10が走行可能な走行経路である。例えば、障害物センサ18が作業車両10の前部のみに設置されている場合(図4A参照)、作業車両10は、前進走行時に障害物を検出することが可能であるが、後進走行時及び内回り走行時には走行方向の障害物を検出することができない。このため、例えば障害物センサ18が作業車両10の前部のみに設置されている作業車両T4に対しては、後進経路及び内回り経路に「不可」が登録される。また、例えば障害物センサ18が作業車両10の前部及び後部に設置されている作業車両T2に対しては、後進経路に「可」が登録され、内回り経路に「不可」が登録される。
The travelable route is a travel route on which the
なお、記憶部22には、1台の作業車両10に関する作業車両情報D1が記憶されてもよいし、複数台の作業車両10に関する作業車両情報D1が記憶されてもよい。例えば、特定のオペレータが複数台の作業車両10を所有する場合、各作業車両10に関する作業車両情報D1が記憶部22に記憶される。
The
図6は、走行経路情報D2の一例である。図6に示すように、走行経路情報D2には、走行経路ごとに、経路名、圃場名、住所、圃場面積、作業時間、経路内容などの情報が含まれる。前記経路名は、操作端末20において生成された走行経路Rの経路名である。前記圃場名は、前記走行経路が設定された作業対象の圃場の名称である。前記住所は、前記圃場の住所であり、前記圃場面積は、前記圃場の面積である。前記作業時間は、作業車両10により前記圃場の作業に要する時間である。前記経路内容は、前記走行経路に後進経路が含まれるか否か、及び、前記走行経路に内回り経路が含まれるか否かを示す情報である。前記走行経路に後進経路が含まれる場合、前記経路内容の「後進」に「あり」が登録され、前記走行経路に後進経路が含まれない場合、前記経路内容の「後進」に「なし」が登録される。また、前記走行経路に内回り経路が含まれる場合、前記経路内容の「内回り」に「あり」が登録され、前記走行経路に内回り経路が含まれない場合、前記経路内容の「内回り」に「なし」が登録される。
FIG. 6 is an example of the travel route information D2. As shown in FIG. 6, the travel route information D2 includes information such as a route name, a field name, an address, a field area, a working time, and a route content for each travel route. The route name is a route name of the traveling route R generated by the
なお、記憶部22には、一つの走行経路に関する走行経路情報D2が記憶されてもよいし、複数の走行経路に関する走行経路情報D2が記憶されてもよい。例えば、特定のオペレータが、自身が所有する一又は複数の圃場に対して複数の走行経路を生成した場合、各走行経路に関する走行経路情報D2が記憶部22に記憶される。なお、一つの圃場に対して一つの走行経路が設定されてもよいし、複数の走行経路が設定されてもよい。
The
図7は、走行可否情報D3の一例である。図7に示すように、走行可否情報D3には、作業車両情報D1に登録された作業車両10ごとに、作業車両10が走行経路情報D2に登録された各走行経路を走行可能か否かを示す情報が登録される。例えば、作業車両T4は、後進経路及び内回り経路が「不可」に設定されているため(図5参照)、「後進」及び「内回り」の少なくともいずれかを含む走行経路R1,R2について「不可」が登録され、「後進」及び「内回り」の両方を含まない走行経路R3について「可」が登録される。また例えば、作業車両T2は、後進経路が「可」に設定され、内回り経路が「不可」に設定されているため(図5参照)、「内回り」を含む走行経路R2について「不可」が登録され、「内回り」を含まない走行経路R1,R3について「可」が登録される。
FIG. 7 is an example of the travelability information D3. As shown in FIG. 7, the travelability information D3 indicates whether or not the
なお、他の実施形態として、作業車両情報D1、走行経路情報D2、及び走行可否情報D3などの情報の一部又は全部が、操作端末20からアクセス可能なサーバーに記憶されてもよい。オペレータは、前記サーバー(例えばパーソナルコンピュータ)において作業車両情報D1、走行経路情報D2、及び走行可否情報D3を登録する操作を行ってもよい。この場合、操作制御部21は、前記サーバーから前記情報を取得して、後述の自動走行処理(図11参照)などの各処理を実行してもよい。
As another embodiment, a part or all of the information such as the work vehicle information D1, the travel route information D2, and the travelability information D3 may be stored in the server accessible from the
操作制御部21は、CPU、ROM、及びRAMなどの制御機器を有する。前記CPUは、各種の演算処理を実行するプロセッサーである。前記ROMは、前記CPUに各種の演算処理を実行させるためのBIOS及びOSなどの制御プログラムが予め記憶される不揮発性の記憶部である。前記RAMは、各種の情報を記憶する揮発性又は不揮発性の記憶部であり、前記CPUが実行する各種の処理の一時記憶メモリー(作業領域)として使用される。そして、操作制御部21は、前記ROM又は記憶部22に予め記憶された各種の制御プログラムを前記CPUで実行することにより操作端末20を制御する。
The
図1に示すように、操作制御部21は、車両設定処理部211、圃場設定処理部212、作業設定処理部213、経路生成処理部214、経路取得処理部215、判定処理部216、報知処理部217、出力処理部218、表示処理部219などの各種の処理部を含む。なお、操作制御部21は、前記CPUで前記制御プログラムに従った各種の処理を実行することによって前記各種の処理部として機能する。また、一部又は全部の前記処理部が電子回路で構成されていてもよい。なお、前記制御プログラムは、複数のプロセッサーを前記処理部として機能させるためのプログラムであってもよい。
As shown in FIG. 1, the
車両設定処理部211は、作業車両10に関する情報(以下、作業車両情報という。)を設定する。車両設定処理部211は、作業車両10の機種、作業車両10において測位用アンテナ174が取り付けられている位置、作業機14の種類、作業機14のサイズ及び形状、作業機14の作業車両10に対する位置、作業車両10の作業中の車速及びエンジン回転数、作業車両10の旋回中の車速及びエンジン回転数等の情報について、オペレータが操作端末20において登録する操作を行うことにより当該情報を設定する。
The vehicle
圃場設定処理部212は、圃場Fに関する情報(以下、圃場情報という。)を設定する。圃場設定処理部212は、圃場Fの位置及び形状、作業を開始する作業開始位置S及び作業を終了する作業終了位置G(図3参照)、作業方向等の情報について、操作端末20において登録する操作を行うことにより当該情報を設定する。
The field
なお、作業方向とは、圃場Fから枕地、非耕作地等の非作業領域を除いた領域である作業領域において、作業機14で作業を行いながら作業車両10を走行させる方向を意味する。
The working direction means a direction in which the
圃場Fの位置及び形状の情報は、例えばオペレータが作業車両10に搭乗して圃場Fの外周に沿って一回り周回するように運転し、そのときの測位用アンテナ174の位置情報の推移を記録することで、自動的に取得することができる。また、圃場Fの位置及び形状は、操作端末20に地図を表示させた状態でオペレータが操作端末20を操作して当該地図上の複数の点を指定することで得られた多角形に基づいて取得することもできる。取得された圃場Fの位置及び形状により特定される領域は、作業車両10を走行させることが可能な領域(走行領域)である。
For the information on the position and shape of the field F, for example, the operator gets on the
作業設定処理部213は、作業を具体的にどのように行うかに関する情報(以下、作業情報という。)を設定する。作業設定処理部213は、作業情報として、作業車両10(無人トラクタ)と有人の作業車両10の協調作業の有無、作業車両10が枕地において旋回する場合にスキップする作業経路の数であるスキップ数、枕地の幅、及び非耕作地の幅等を設定可能に構成されている。
The work
経路生成処理部214は、前記設定情報に基づいて、作業車両10を自動走行させる経路である走行経路Rを生成する。走行経路Rは、例えば作業開始位置Sから作業終了位置Gまでの作業経路である(図3参照)。図3に示す走行経路Rは、圃場Fの作業領域において作業車両10を平行に往復走行させる経路である。経路生成処理部214は、車両設定処理部211、圃場設定処理部212及び作業設定処理部213で設定された前記各設定情報に基づいて、作業車両10の走行経路Rを生成して記憶することができる。
The route
具体的には、経路生成処理部214は、圃場設定で登録した作業開始位置S及び作業終了位置Gに基づいて走行経路R(図3参照)を生成する。走行経路Rは、図3に示す経路に限定されない。
Specifically, the route
操作制御部21は、作業車両情報D1(図5参照)、走行経路情報D2(図6参照)、及び走行可否情報D3(図7参照)を記憶部22に記憶する。具体的には、操作制御部21は、車両設定処理部211、圃場設定処理部212及び作業設定処理部213で設定された前記各設定情報に基づいて、作業車両情報D1、走行経路情報D2、及び走行可否情報D3を記憶部22に記憶する。
The
経路取得処理部215は、作業車両10の走行経路Rを取得する。具体的には、オペレータは、所定の圃場Fにおいて作業車両10による作業を開始させる場合に、操作端末20に表示される経路選択画面P1(図8A等参照)において、経路生成処理部214により生成された複数の走行経路Rを含む経路一覧A1の中から所望の走行経路Rを選択する。経路取得処理部215は、オペレータにより選択された経路(以下、選択経路という。)を取得する。図8Aには、オペレータにより1号圃場に対して「経路001」の選択経路が選択された状態を示している。また図8Bには、オペレータにより1号圃場に対して「経路002」の選択経路が選択された状態を示している。なお、経路一覧A1において走行経路の詳細ボタンを押下すると、走行経路の詳細情報が表示される。経路取得処理部215は、本発明の経路取得処理部の一例である。
The route
判定処理部216は、経路取得処理部215により取得される前記選択経路に、障害物センサ18の検出エリアK0の方向とは異なる方向の走行経路(本発明の第1走行経路に相当)が含まれるか否かを判定する。例えば、作業を行う作業車両10が、障害物センサ18を前部のみに備える作業車両T4(図5参照)である場合において、経路取得処理部215により取得された前記選択経路が経路名「R1」(図6参照)の走行経路である場合、判定処理部216は、障害物センサ18の検出エリアK0の方向(前方)とは異なる後方の走行経路(後進経路)が含まれると判定する。前記後進経路は、本発明の第1走行経路の一例である。
The
また例えば、作業を行う作業車両10が、障害物センサ18を前部のみに備える作業車両T4(図5参照)である場合において、経路取得処理部215により取得された前記選択経路が経路名「R2」(図6参照)の走行経路である場合、判定処理部216は、障害物センサ18の検出エリアK0の方向(前方)とは異なる内側の走行経路(内回り経路)が含まれると判定する。前記内回り経路は、本発明の第1走行経路の一例である。
Further, for example, when the
報知処理部217は、経路取得処理部215により取得される前記選択経路に、障害物センサ18の検出エリアK0の方向とは異なる方向の走行経路が含まれる場合に、作業車両10の自動走行を開始するか否かの問い合わせを報知する。例えば図8Aに示すように、オペレータが作業車両T4(図5参照)による作業において経路「001」(経路名「R1」に対応)を選択して経路決定ボタンB1を押下した場合、前記選択経路に検出エリアK0の方向(前方)とは異なる方向の走行経路(後進経路)が含まれるため、報知処理部217は、図9Aに示す問い合わせを操作端末20に表示させる。報知処理部217は、本発明の報知処理部の一例である。
The
例えば、報知処理部217は、前記選択経路の自動走行を開始させる作業開始指示、又は、前記選択経路を変更する経路変更指示を選択可能な選択画面P2を操作端末20に表示させる。また、報知処理部217は、前記選択経路の自動走行を開始させる場合の注意を喚起する警告情報を選択画面P2に表示させる。例えば、報知処理部217は、選択画面P2に、後進経路の走行に必要な後部の障害物センサ18が設置されていないこと、後部の障害物センサ18が設置されていない状態で自動走行を開始する場合には使用者が監視して安全を担保すること、後部の障害物センサ18が設置されていない状態での自動走行を許可すること、免責事項などを含む警告メッセージM1を表示させる。また、報知処理部217は、選択画面P2に、このままの状態(後部の障害物センサ18が設置されていない状態)で自動走行を開始させる指示(作業開始指示)を行う作業開始ボタンB2と、前記選択経路の設定を変更する指示(経路変更指示)を行う変更ボタンB3とを表示させる。
For example, the
なお、例えば図8Bに示すように、オペレータが作業車両T4(図5参照)による作業において経路「002」(経路名「R2」に対応)を選択して経路決定ボタンB1を押下した場合には、前記選択経路に検出エリアK0の方向(前方)とは異なる方向の走行経路(内回り経路)が含まれるため、報知処理部217は、図9Bに示す選択画面P2を操作端末20に表示させる。
For example, as shown in FIG. 8B, when the operator selects the route "002" (corresponding to the route name "R2") and presses the route determination button B1 in the work by the work vehicle T4 (see FIG. 5). Since the selected route includes a traveling route (inner loop route) in a direction different from the direction (forward) of the detection area K0, the
オペレータが選択画面P2において変更ボタンB3を押下すると、報知処理部217は、再び経路選択画面P1(図8A、図8B参照)を操作端末20に表示させる。オペレータは、経路選択画面P1において、前記選択経路を変更することができる。
When the operator presses the change button B3 on the selection screen P2, the
他の実施形態として、報知処理部217は、図8Aに示す経路選択画面P1においてオペレータにより変更ボタンB3が選択(経路変更指示)された場合に、後進経路を含まない走行経路を提示してもよい。また、報知処理部217は、図8Bに示す経路選択画面P1においてオペレータにより変更ボタンB3が選択(経路変更指示)された場合に、内回り経路を含まない走行経路を提示してもよい。すなわち、報知処理部217は、前記経路変更指示が選択された場合に、障害物センサ18の検出エリアK0の方向とは異なる方向の走行経路(本発明の第1走行経路)を含まない走行経路を提示する。これにより、障害物センサ18の検出エリアK0の方向とは異なる方向の走行経路(例えば後進経路、内回り経路)を含む走行経路が前記選択経路として選択されることを防ぐことができる。
As another embodiment, the
出力処理部218は、オペレータが選択画面P2において作業開始ボタンB2を押下すると、前記選択経路の情報を作業車両10に出力する。
When the operator presses the work start button B2 on the selection screen P2, the
作業車両10は、操作端末20において生成された走行経路R(選択経路)のデータが作業車両10に転送され、記憶部12に記憶されるとともに、測位用アンテナ174により作業車両10の現在位置を検出しつつ走行経路Rに沿って自律的に走行可能に構成されている。なお、作業車両10の現在位置は、通常は測位用アンテナ174の位置と一致している。
In the
作業車両10は、現在位置が圃場F内に位置している場合に自動走行できるように構成されており、現在位置が圃場F外(公道等)に位置している場合には自動走行できないように構成されている。また、作業車両10は、例えば現在位置が作業開始位置Sと一致している場合に、自動走行できるように構成されている。
The
作業車両10は、現在位置が作業開始位置Sと一致している場合に、オペレータにより操作画面において作業開始ボタンが押されて作業開始指示が与えられると、走行処理部113によって、自動走行を開始し、作業機14(図2参照)による作業を開始する。すなわち、操作制御部21は、現在位置が作業開始位置Sと一致していることを条件に作業車両10の自動走行を許可する。なお、作業車両10の自動走行を許可する条件は、前記条件に限定されない。
When the current position of the
作業車両10の走行処理部113は、操作端末20から取得する走行経路R(選択経路)に基づいて、作業車両10を作業開始位置Sから作業終了位置Gまで自動走行させる。また、走行処理部113は、作業車両10が作業を終了すると、作業終了位置Gから圃場Fの入口まで自動走行させてもよい。作業車両10が自動走行している場合、操作制御部21は、作業車両10の状態(位置、走行速度等)を作業車両10から受信して操作表示部23に表示させることができる。
The
他の実施形態として、操作制御部21は、障害物センサ18の検出エリアK0の方向とは異なる方向の所定エリアを監視可能な監視部(カメラ、センサなど)が作業車両10に設置されている場合に、自動走行の作業開始指示を選択可能としてもよい。例えば、報知処理部217は、障害物センサ18の検出エリアK0の方向とは異なる方向を撮像エリアに含むカメラ15(本発明の監視部の一例)が作業車両10に設置されている場合に、自動走行の作業開始指示を選択可能とする。例えば、報知処理部217は、障害物センサ18の検出エリアK0が作業車両10の前方であり、前記選択経路に後進経路が含まれる場合において、後方を撮像エリアK2に設定されたカメラ15Bが作業車両10に設置されている場合に、報知処理部217は、作業開始ボタンB2を選択画面P2に表示させる。一方、カメラ15Bが作業車両10に設置されていない場合には、報知処理部217は、作業開始ボタンB2を選択画面P2に表示させない。このように、操作制御部21は、障害物センサ18及びカメラ15の少なくともいずれかにより所定エリアを監視可能な場合に当該所定エリアの方向への走行を許可する構成としてもよい。
As another embodiment, the
表示処理部219は、作業車両10が自動走行中にカメラ15により撮像された撮像画像を操作端末20に表示させる。具体的には、表示処理部219は、図10Aに示すように、作業車両10の自動走行の状態を表示する走行状態画面P3に、各カメラ15の撮像画像を表示するカメラ画像表示欄C1を表示させる。走行状態画面P3には、自動走行中の作業車両10の現在の状態がリアルタイムに表示される。オペレータは、走行状態画面P3において、作業車両10の現在の走行状況及び作業状況を把握することができる。
The
表示処理部219は、カメラ画像表示欄C1に、予め設定されたレイアウトに応じて各画像表示欄L1を表示させる。図10Aには、各画像表示欄L1に撮像画像が表示された走行状態画面P3の一例を示している。各画像表示欄L1に表示される撮像画像は、リアルタイムに更新される。各画像表示欄L1の番号「1」~「5」は、図4Bに示すカメラ15F(カメラ1)、15B(カメラ2)、15R(カメラ3)、15L(カメラ4)、15C(カメラ5)に対応する。なお、図10A等では実際の撮像画像の表示例を省略している。
The
また、表示処理部219は、走行状態画面P3において、障害物センサ18の検出エリアK0の方向とは異なる方向を撮像エリアに含むカメラ15による撮像画像を強調して表示させる。例えば図10Bに示すように、障害物センサ18の検出エリアK0が作業車両10の前方であり、前記選択経路に後進経路が含まれる場合に、表示処理部219は、後方を撮像エリアK2に含むカメラ15B(カメラ2)による撮像画像を拡大して表示させる。なお、表示処理部219は、カメラ15B(カメラ2)に対応する画像表示欄L1をカラー表示、点灯、又は点滅させてもよい。また、表示処理部219は、カメラ画像表示欄C1に、カメラ15B(カメラ2)に対応する画像表示欄L1のみ表示させて、他のカメラ15に対応する画像表示欄L1を非表示にしてもよい。表示処理部219は、本発明の表示処理部の一例である。
Further, the
例えば、障害物センサ18の検出エリアK0が作業車両10の前方であり、前記選択経路に内回り経路が含まれる場合には、図10Cに示すように、表示処理部219は、右側方を撮像エリアK3に含むカメラ15R(カメラ3)による撮像画像と、作業機14の前方を撮像エリアK5に含むカメラ15C(カメラ5)による撮像画像とを拡大して表示させる。これにより、オペレータは、作業車両10が障害物センサ18の検出エリアK0の方向とは異なる方向に走行する場合に、当該方向を撮像したカメラ15による撮像画像により当該方向を監視することができる。
For example, when the detection area K0 of the
他の実施形態として、作業車両10の検出処理部112は、障害物センサ18の検出エリアK0の方向とは異なる方向を撮像するカメラ15の撮像画像に基づいて障害物を検出してもよい。例えば、検出処理部112は、撮像画像を画像解析して人、物体などの特定の障害物を検出する。また、走行処理部113は、検出処理部112が前記撮像画像に基づいて障害物を検出した場合に作業車両10の自動走行を停止させてもよい。
As another embodiment, the
なお、操作端末20は、サーバー(不図示)が提供する農業支援サービスのウェブサイト(農業支援サイト)に通信網N1を介してアクセス可能であってもよい。この場合、操作端末20は、操作制御部21によってブラウザプログラムが実行されることにより、前記サーバーの操作用端末として機能することが可能である。そして、前記サーバーは、上述の各処理部を備え、各処理を実行する。
The
他の実施形態として、上述した車両制御装置11及び検出処理装置19の各機能は、操作端末20の操作制御部21に含まれてもよい。すなわち、例えば操作制御部21は、作業車両10の各障害物センサ18から測定情報を取得して、障害物を検出する処理を実行してもよい。また、検出処理装置19の各機能(取得処理部111及び検出処理部112)は、車両制御装置11に含まれてもよい。
As another embodiment, each function of the
[自動走行処理]
以下、図11を参照しつつ、車両制御装置11、検出処理装置19、及び操作制御部21によって実行される前記自動走行処理の一例について説明する。例えば、前記自動走行処理は、オペレータが作業車両10の走行経路を設定する操作を開始した場合に車両制御装置11、検出処理装置19、及び操作制御部21によって開始される。
[Automatic driving processing]
Hereinafter, an example of the automatic driving process executed by the
なお、本願発明は、車両制御装置11、検出処理装置19、及び操作制御部21が前記自動走行処理の一部又は全部を実行する自動走行方法の発明、又は、当該自動走行方法の一部又は全部を車両制御装置11及び操作制御部21に実行させるための自動走行プログラムの発明として捉えてもよい。また、前記自動走行処理は、一又は複数のプロセッサーが実行してもよい。
The present invention is an invention of an automatic driving method in which the
ステップS1において、操作制御部21は、経路選択画面P1(図8A等参照)を操作端末20に表示させる。
In step S1, the
次にステップS2において、操作制御部21は、経路選択画面P1において、経路生成処理により生成された複数の走行経路Rを含む経路一覧A1の中からオペレータにより選択された選択経路を取得する。
Next, in step S2, the
次にステップS3において、操作制御部21は、取得した前記選択経路に、障害物センサ18の検出エリアK0の方向とは異なる方向の走行経路が含まれるか否かを判定する。
Next, in step S3, the
例えば、作業を行う作業車両10が、障害物センサ18を前部のみに備える作業車両T4(図4A及び図5参照)である場合において、操作制御部21は、取得した前記選択経路が経路名「R1」の走行経路(図6参照)である場合に、障害物センサ18の検出エリアK0の方向(前方)とは異なる後方の走行経路(後進経路)が含まれると判定する。
For example, when the
また例えば、作業を行う作業車両10が、障害物センサ18を前部のみに備える作業車両T4(図4A及び図5参照)である場合において、操作制御部21は、取得した前記選択経路が経路名「R2」の走行経路(図6参照)である場合に、障害物センサ18の検出エリアK0の方向(前方)とは異なる内側の走行経路(内回り経路)が含まれると判定する。
Further, for example, when the
前記選択経路に、障害物センサ18の検出エリアK0の方向とは異なる方向の走行経路が含まれる場合(S3:Yes)、処理はステップS4に移行する。一方、前記選択経路に、障害物センサ18の検出エリアK0の方向とは異なる方向の走行経路が含まれない場合(S3:No)、処理はステップS6に移行する。 When the selected route includes a traveling route in a direction different from the direction of the detection area K0 of the obstacle sensor 18 (S3: Yes), the process proceeds to step S4. On the other hand, when the selected route does not include a traveling route in a direction different from the direction of the detection area K0 of the obstacle sensor 18 (S3: No), the process proceeds to step S6.
ステップS4では、操作制御部21は、作業車両10の自動走行を開始するか否かの問い合わせを報知する。例えば図8Aに示すように、オペレータが作業車両T4(図5参照)による作業において経路「001」(経路名「R1」に対応)を選択して経路決定ボタンB1を押下した場合に、操作制御部21は、図9Aに示す選択画面P2を操作端末20に表示させる。また例えば図8Bに示すように、オペレータが作業車両T4(図5参照)による作業において経路「002」(経路名「R2」に対応)を選択して経路決定ボタンB1を押下した場合に、操作制御部21は、図9Bに示す選択画面P2を操作端末20に表示させる。
In step S4, the
また、操作制御部21は、選択画面P2に、警告メッセージM1と、このままの状態(後部の障害物センサ18が設置されていない状態)で自動走行を開始する指示(作業開始指示)を行う作業開始ボタンB2と、前記選択経路の設定を変更(経路変更指示)する変更ボタンB3とを表示させる。
Further, the
次にステップS5において、操作制御部21は、前記作業開始指示を受け付けたか否かを判定する。選択画面P2(図9A、図9B参照)においてオペレータが作業開始ボタンB2を押下して操作制御部21が前記作業開始指示を受け付けた場合(S5:Yes)、処理はステップS6に移行する。操作制御部21が前記作業開始指示を受け付けない場合(S5:No)、処理はステップS51に移行する。
Next, in step S5, the
ステップS51では、操作制御部21は、前記経路変更指示を受け付けたか否かを判定する。選択画面P2(図9A、図9B参照)においてオペレータが変更ボタンB3を押下して操作制御部21が前記経路変更指示を受け付けた場合(S51:Yes)、処理はステップS1に戻る。操作制御部21が前記経路変更指示を受け付けない場合(S51:No)、処理はステップS5に戻る。
In step S51, the
ステップS6では、車両制御装置11は、作業車両10の自動走行を開始させる。具体的には、操作制御部21が前記選択経路の情報を作業車両10に出力すると、車両制御装置11は前記選択経路を取得して前記選択経路に沿って自動走行を開始させる。
In step S6, the
次にステップS7において、操作制御部21は、走行状態画面P3において、障害物センサ18の検出エリアK0の方向とは異なる方向を撮像エリアに含むカメラ15による撮像画像を強調して表示させる。例えば図10Bに示すように、障害物センサ18の検出エリアK0が作業車両10の前方であり、前記選択経路に後進経路が含まれる場合に、操作制御部21は、後方を撮像エリアK2に含むカメラ15B(カメラ2)による撮像画像を拡大して表示させる。
Next, in step S7, the
次にステップS8において、検出処理装置19は、障害物を検出したか否かを判定する。具体的には、検出処理装置19は、障害物センサ18の前記測定情報に基づいて検出エリアK0に障害物が含まれるか否かを判定する。検出処理装置19が障害物を検出した場合(S8:Yes)、処理はステップS9に移行する。一方、検出処理装置19が障害物を検出しない場合(S8:No)、処理はステップS10に移行する。
Next, in step S8, the
ステップS9では、車両制御装置11は、作業車両10の自動走行を停止させる。その後、障害物が排除された場合には、車両制御装置11は、例えばオペレータの指示に基づいて自動走行を再開させる。
In step S9, the
次にステップS10において、車両制御装置11は、作業車両10が作業を終了したか否かを判定する。作業車両10が作業を終了した場合(S10:Yes)、処理は終了する。一方、作業車両10が作業を終了していない場合(S10:No)処理はステップS7に戻る。このように、検出処理装置19は、障害物を検出しない場合には所定の作業が終了するまで障害物センサ18及びカメラ15による監視を行いながら走行及び作業を行う。車両制御装置11、検出処理装置19、及び操作制御部21は、以上のようにして前記自動走行処理を実行する。
Next, in step S10, the
以上説明したように、本実施形態に係る自動走行システム1は、作業車両10の走行経路(選択経路)を取得し、前記選択経路に、作業車両10に設置され、作業車両10の周囲の障害物を検出する障害物センサ18の検出エリアK0の方向とは異なる方向の走行経路が含まれる場合に、作業車両10の自動走行を開始するか否かの問い合わせを報知する。このように、自動走行システム1は、前記選択経路に障害物センサ18の検出エリアK0の方向とは異なる方向の走行経路が含まれる場合に、警告メッセージM1を含む選択画面P2(図9A、図9B参照)を操作端末20に表示させてオペレータに注意喚起することにより、作業車両10の安全性を確保する。オペレータは、障害物センサ18で検出できないエリアを監視することにより作業車両10の自動走行を開始させることができる。また、自動走行システム1は、障害物センサ18で検出できないエリアをカメラ15で撮像し、撮像画像を操作端末20に表示させることにより、安全性を確保することができる。よって、障害物センサ18を作業車両10の全ての方向に設置する必要がないため、作業車両10の安全性を確保しつつ、コストの増大を防ぐことが可能となる。
As described above, the
本発明は上述の実施形態に限定されず、以下の実施形態であってもよい。 The present invention is not limited to the above-described embodiment, and may be the following embodiments.
上述の実施形態では、報知処理部217は、作業車両10の自動走行を開始する時点において、作業車両10の自動走行を開始するか否かの問い合わせを報知している。具体的には、報知処理部217は、作業車両10に作業開始指示を行う時点で、前記選択経路の自動走行を開始させる作業開始指示、又は、前記選択経路を変更する経路変更指示を選択可能な選択画面P2を操作表示部23に表示させている。
In the above-described embodiment, the
本発明の他の実施形態として、報知処理部217は、作業車両10の走行経路を生成した時点において、作業車両10の自動走行を開始するか否かの問い合わせを報知してもよい。具体的には、報知処理部217は、作業車両10の経路を生成した時点で、前記選択経路の自動走行を開始させる作業開始指示、又は、前記生成した経路を変更する経路変更指示を選択可能な選択画面P2を操作表示部23に表示させてもよい。これにより、経路生成した時点で前記問い合わせを報知することにより、作業開始時点よりも前にオペレータに注意喚起することができる。
As another embodiment of the present invention, the
また、報知処理部217は、作業車両10の走行経路を生成した時点及び作業車両10の自動走行を開始する時点のそれぞれにおいて、前記問い合わせを報知してもよい。これにより、走行経路を生成した時点と自動走行を開始させる時点とで作業車両10が異なる場合であっても、両方の時点で前記問い合わせを報知することによりオペレータに注意喚起して安全性を確保することができる。
Further, the
本発明の他の実施形態として、複数の作業車両10のそれぞれに対応して前記選択経路が設定されている場合に、報知処理部217は、前記選択経路ごとに、前記問い合わせを報知してもよい。1台の操作端末20において、複数の作業車両10のそれぞれについて、前記選択経路を設定することができる。この場合に、操作端末20の報知処理部217は、前記選択経路ごとに、前記選択経路の自動走行を開始させる作業開始指示、又は、前記選択経路を変更する経路変更指示を選択可能な選択画面P2を操作表示部23に表示させる。これにより、作業車両10ごとに、前記選択経路の自動走行の可否を設定することができる。よって、複数の作業車両10の安全性を確保することができる。
As another embodiment of the present invention, when the selection route is set corresponding to each of the plurality of
また、本発明の他の実施形態として、操作制御部21は、複数の作業車両10のうち前記選択経路に適した作業車両10をオペレータに提示してもよい。例えば、オペレータが複数の作業車両10を所有し、各作業車両10が異なる位置に障害物センサ18を備える場合において、オペレータが圃場及び走行経路を選択すると、操作制御部21は、当該走行経路の方向を検出エリアK0に含む障害物センサ18を備える作業車両10を抽出して、オペレータに提示する。これにより、走行経路に死角を生じない作業車両10で作業を行うことができる。なお、操作制御部21は、作業車両情報D1、走行経路情報D2、及び走行可否情報Dを参照して、走行経路(選択経路)に最適な作業車両10を決定することができる。
Further, as another embodiment of the present invention, the
また、本発明の他の実施形態として、操作制御部21は、複数の走行経路のうち作業車両10に適した走行経路をオペレータに提示してもよい。例えば、オペレータが複数の走行経路を設定した場合において、オペレータが圃場、作業車両10、及び作業機14を選択すると、操作制御部21は、当該作業車両10で走行可能な走行経路を抽出して、オペレータに提示する。これにより、作業車両10は死角を生じない走行経路を走行することができる。なお、操作制御部21は、作業車両情報D1、走行経路情報D2、及び走行可否情報Dを参照して、作業車両10に最適な走行経路(選択経路)を決定することができる。
Further, as another embodiment of the present invention, the
1 :自動走行システム
10 :作業車両
11 :車両制御装置
13 :走行装置
14 :作業機
15 :カメラ(監視部)
17 :測位装置
18 :障害物センサ(検出部)
19 :検出処理装置
20 :操作端末
21 :操作制御部
23 :操作表示部
111 :取得処理部
112 :検出処理部
113 :走行処理部
211 :車両設定処理部
212 :圃場設定処理部
213 :作業設定処理部
214 :経路生成処理部
215 :経路取得処理部
216 :判定処理部
217 :報知処理部
218 :出力処理部
219 :表示処理部
1: Automatic driving system 10: Working vehicle 11: Vehicle control device 13: Traveling device 14: Working machine 15: Camera (monitoring unit)
17: Positioning device 18: Obstacle sensor (detection unit)
19: Detection processing device 20: Operation terminal 21: Operation control unit 23: Operation display unit 111: Acquisition processing unit 112: Detection processing unit 113: Travel processing unit 211: Vehicle setting processing unit 212: Field setting processing unit 213: Work setting Processing unit 214: Route generation processing unit 215: Route acquisition processing unit 216: Judgment processing unit 217: Notification processing unit 218: Output processing unit 219: Display processing unit
Claims (10)
前記経路取得処理部により取得される前記走行経路に、前記作業車両に設置され、前記作業車両の周囲の障害物を検出する検出部の検出エリアの方向とは異なる方向の第1走行経路が含まれる場合に、前記作業車両の自動走行を開始するか否かの問い合わせを報知する報知処理部と、
を備える自動走行システム。 A route acquisition processing unit that acquires the travel route of the work vehicle,
The travel route acquired by the route acquisition processing unit includes a first travel route installed in the work vehicle and in a direction different from the direction of the detection area of the detection unit that detects obstacles around the work vehicle. In that case, a notification processing unit that notifies an inquiry as to whether or not to start automatic traveling of the work vehicle, and
An automatic driving system equipped with.
請求項1に記載の自動走行システム。 The notification processing unit displays a selection screen on which a work start instruction for starting the automatic traveling of the traveling route or a route changing instruction for changing the traveling route can be selected.
The automated driving system according to claim 1.
請求項2に記載の自動走行システム。 The notification processing unit further displays warning information on the selection screen that calls attention when starting the automatic driving of the traveling route.
The automated driving system according to claim 2.
請求項2又は3に記載の自動走行システム。 When the route change instruction is selected, the notification processing unit presents a travel route that does not include the first travel route.
The automated driving system according to claim 2 or 3.
請求項2~4のいずれかに記載の自動走行システム。 When a monitoring unit capable of monitoring a predetermined area in the direction of the first traveling route is installed in the work vehicle, the work start instruction can be selected.
The automated driving system according to any one of claims 2 to 4.
前記撮像部による撮像画像を強調して表示させる表示処理部をさらに備える、
請求項5に記載の自動走行システム。 The monitoring unit is an imaging unit that captures an image of the predetermined area.
A display processing unit for highlighting and displaying an image captured by the imaging unit is further provided.
The automated driving system according to claim 5.
前記報知処理部は、前記走行経路ごとに、前記第1走行経路が含まれる場合に前記問い合わせを報知する、
請求項1~6のいずれかに記載の自動走行システム。 When the travel route is set corresponding to each of the plurality of work vehicles,
The notification processing unit notifies the inquiry when the first travel route is included for each travel route.
The automated driving system according to any one of claims 1 to 6.
請求項1~7のいずれかに記載の自動走行システム。 The notification processing unit notifies the inquiry at each of the time when the traveling route is generated and the time when the automatic traveling is started.
The automated driving system according to any one of claims 1 to 7.
作業車両の走行経路を取得することと、
前記走行経路に、前記作業車両に設置され、前記作業車両の周囲の障害物を検出する検出部の検出エリアの方向とは異なる方向の第1走行経路が含まれる場合に、前記作業車両の自動走行を開始するか否かの問い合わせを報知することと、
を実行する自動走行方法。 One or more processors
Acquiring the travel route of the work vehicle and
When the traveling path includes a first traveling path that is installed in the working vehicle and has a direction different from the direction of the detection area of the detection unit that detects obstacles around the working vehicle, the working vehicle is automatically automatic. Notifying you of an inquiry as to whether or not to start driving,
Autonomous driving method to execute.
前記走行経路に、前記作業車両に設置され、前記作業車両の周囲の障害物を検出する検出部の検出エリアの方向とは異なる方向の第1走行経路が含まれる場合に、前記作業車両の自動走行を開始するか否かの問い合わせを報知することと、
を一又は複数のプロセッサーに実行させるための自動走行プログラム。 Acquiring the travel route of the work vehicle and
When the traveling path includes a first traveling path that is installed in the working vehicle and has a direction different from the direction of the detection area of the detection unit that detects obstacles around the working vehicle, the working vehicle is automatically automatic. Notifying you of an inquiry as to whether or not to start driving,
An automated driving program for running one or more processors.
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020200357A JP7485591B2 (en) | 2020-12-02 | 2020-12-02 | Autonomous driving system, automatic driving method, and automatic driving program |
PCT/JP2021/043531 WO2022118772A1 (en) | 2020-12-02 | 2021-11-29 | Automatic traveling system, automatic traveling method, and automatic traveling program |
CN202180076410.2A CN116569122A (en) | 2020-12-02 | 2021-11-29 | Automatic travel system, automatic travel method, and automatic travel program |
KR1020237015509A KR20230113535A (en) | 2020-12-02 | 2021-11-29 | Automatic driving system, automatic driving method, and automatic driving program |
EP21900525.3A EP4256927A1 (en) | 2020-12-02 | 2021-11-29 | Automatic traveling system, automatic traveling method, and automatic traveling program |
US18/039,948 US20240004390A1 (en) | 2020-12-02 | 2021-11-29 | Automatic traveling system, automatic traveling method, and automatic traveling program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020200357A JP7485591B2 (en) | 2020-12-02 | 2020-12-02 | Autonomous driving system, automatic driving method, and automatic driving program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022088098A true JP2022088098A (en) | 2022-06-14 |
JP7485591B2 JP7485591B2 (en) | 2024-05-16 |
Family
ID=81854124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020200357A Active JP7485591B2 (en) | 2020-12-02 | 2020-12-02 | Autonomous driving system, automatic driving method, and automatic driving program |
Country Status (6)
Country | Link |
---|---|
US (1) | US20240004390A1 (en) |
EP (1) | EP4256927A1 (en) |
JP (1) | JP7485591B2 (en) |
KR (1) | KR20230113535A (en) |
CN (1) | CN116569122A (en) |
WO (1) | WO2022118772A1 (en) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPWO2015147149A1 (en) | 2014-03-28 | 2017-04-13 | ヤンマー株式会社 | Autonomous traveling work vehicle |
DE102015118767A1 (en) | 2015-11-03 | 2017-05-04 | Claas Selbstfahrende Erntemaschinen Gmbh | Environment detection device for agricultural machine |
JP2017221222A (en) | 2017-09-13 | 2017-12-21 | ヤンマー株式会社 | Autonomous travel work system |
JP6919531B2 (en) | 2017-11-30 | 2021-08-18 | 井関農機株式会社 | Work vehicle |
JP7016751B2 (en) | 2018-03-29 | 2022-02-07 | ヤンマーパワーテクノロジー株式会社 | Driving support system |
JP7179638B2 (en) | 2019-02-14 | 2022-11-29 | 株式会社クボタ | Agricultural machines |
JP7069256B2 (en) | 2020-07-16 | 2022-05-17 | 株式会社クボタ | Self-driving work vehicle |
-
2020
- 2020-12-02 JP JP2020200357A patent/JP7485591B2/en active Active
-
2021
- 2021-11-29 CN CN202180076410.2A patent/CN116569122A/en active Pending
- 2021-11-29 EP EP21900525.3A patent/EP4256927A1/en active Pending
- 2021-11-29 KR KR1020237015509A patent/KR20230113535A/en unknown
- 2021-11-29 US US18/039,948 patent/US20240004390A1/en active Pending
- 2021-11-29 WO PCT/JP2021/043531 patent/WO2022118772A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
KR20230113535A (en) | 2023-07-31 |
CN116569122A (en) | 2023-08-08 |
JP7485591B2 (en) | 2024-05-16 |
US20240004390A1 (en) | 2024-01-04 |
EP4256927A1 (en) | 2023-10-11 |
WO2022118772A1 (en) | 2022-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022118772A1 (en) | Automatic traveling system, automatic traveling method, and automatic traveling program | |
WO2022118771A1 (en) | Automatic traveling system, automatic traveling method, and automatic traveling program | |
US20240004396A1 (en) | Autonomous Travel System, Autonomous Travel Method, And Autonomous Travel Program | |
WO2022130945A1 (en) | Automatic traveling system, automatic traveling method, and automatic traveling program | |
WO2022118773A1 (en) | Automatic traveling system, automatic traveling method, and automatic traveling program | |
JP7492469B2 (en) | Autonomous driving method, automatic driving system, and automatic driving program | |
US20240004384A1 (en) | Autonomous travel method, autonomous travel system, and autonomous travel program | |
EP4295655A1 (en) | Display method, display terminal, and display program | |
US20240040948A1 (en) | Setting method, automatic run method, setting system, and setting program | |
JP2023010152A (en) | Automatic traveling method, automatic traveling system, and automatic traveling program | |
US20240046716A1 (en) | Automatic run method, automatic run system, and automatic run program | |
JP2022061394A (en) | Autonomous traveling system, autonomous traveling method, and autonomous traveling program | |
JP2022078440A (en) | Control system of work vehicle | |
JP2023127874A (en) | Automatic travelling method, automatic travelling system, and automatic travelling program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210226 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240502 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7485591 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |