JP2023005574A

JP2023005574A - management system

Info

Publication number: JP2023005574A
Application number: JP2021107576A
Authority: JP
Inventors: 智志山下; Tomoshi Yamashita; 将基矢野; Masaki Yano; 永權安; Youngkwon An; 隆照本間; Takateru Homma; 昌也畑邊; Masaya Hatanabe
Original assignee: Iseki and Co Ltd; Iseki Agricultural Machinery Mfg Co Ltd
Current assignee: Iseki and Co Ltd; Iseki Agricultural Machinery Mfg Co Ltd
Priority date: 2021-06-29
Filing date: 2021-06-29
Publication date: 2023-01-18

Abstract

To provide a management system capable of easily grasping an actual turning point of a work vehicle with respect to an actual travel route.SOLUTION: A management system according to an embodiment comprises a work vehicle equipped with a first positioning device and configured to autonomously travel on a preset travel route while measuring positions with the first positioning device, a flying object equipped with a second positioning device and a camera capable of changing the shooting direction according to a result of positioning from the second positioning device, and a terminal device configured to display on a display unit a composite image obtained by merging a virtual route representing a virtual travel route with a camera image on the basis of position information on the flying object based on the second positioning device and the shooting direction of the camera. The terminal device generates a composite image including a turning point displayed on the travel route.SELECTED DRAWING: Figure 3

Description

本発明は、管理システムに関する。 The present invention relates to management systems.

作業車両に搭載した第一測位装置と無人航空機に搭載した第二測位装置の測位情報を比較して無人航空機に搭載したカメラの撮影方向を調整し、端末装置に作業車両から受信した車速情報を含む車両情報と、無人航空機から受信したカメラ映像を同時に表示する作業車両の管理システムが公知である（たとえば、特許文献１参照）。 By comparing the positioning information of the first positioning device mounted on the work vehicle and the second positioning device mounted on the unmanned aerial vehicle, the camera mounted on the unmanned aerial vehicle adjusts the shooting direction, and the vehicle speed information received from the work vehicle is sent to the terminal device. A work vehicle management system is known that simultaneously displays vehicle information including vehicle information and a camera image received from an unmanned aerial vehicle (see, for example, Patent Document 1).

特開２０１９－１７６４１８号公報JP 2019-176418 A

しかしながら、上記したような従来技術では、カメラ映像を見ても自動運転により走行する作業車両が、走行予定経路においてどのタイミングで旋回するのか容易に確認することができなかった。 However, with the above-described conventional technology, it was not possible to easily confirm at what timing the work vehicle traveling by automatic operation will turn on the planned traveling route even by looking at the camera image.

本発明は、上記に鑑みてなされたものであって、実際の走行経路に対する作業車両の実際の旋回位置を容易に把握することができる管理システムを提供することを目的とする。 SUMMARY OF THE INVENTION It is an object of the present invention to provide a management system capable of easily grasping the actual turning position of a work vehicle with respect to the actual traveling route.

上述した課題を解決し、目的を達成するために、実施形態に係る管理システムは、第１測位装置を備え、前記第１測位装置により測位しながら予め設定された走行経路を自律的に走行する作業車両と、第２測位装置と、前記第２測位装置の測位結果に基づいて撮影方向を変更可能なカメラとを備える飛行体と、前記第２測位装置に基づく前記飛行体の位置情報と、前記カメラの前記撮影方向とに基づいて、前記カメラの映像に仮想的な前記走行経路である仮想経路を合成した合成画像を表示部に表示する端末装置とを備え、前記端末装置は、前記走行経路における旋回位置の表示を含む前記合成画像を生成することを特徴とする。 In order to solve the above-described problems and achieve the object, the management system according to the embodiment includes a first positioning device, and autonomously travels along a preset travel route while positioning with the first positioning device. A flying object comprising a work vehicle, a second positioning device, and a camera capable of changing a shooting direction based on the positioning result of the second positioning device; position information of the flying object based on the second positioning device; a terminal device for displaying a composite image obtained by synthesizing a virtual route, which is a virtual route, with an image of the camera based on the imaging direction of the camera, and wherein the terminal device is configured to display a synthesized image on a display unit. It is characterized by generating the composite image including an indication of the turning position on the route.

実施形態に係る管理システムによれば、実際の走行経路に対する作業車両の実際の旋回位置を容易に把握することができる。 According to the management system according to the embodiment, it is possible to easily grasp the actual turning position of the work vehicle with respect to the actual travel route.

図１は、実施形態に係る作業車両を示す概略左側面図である。FIG. 1 is a schematic left side view showing the work vehicle according to the embodiment. 図２は、飛行体の外観の一例を示す斜視図である。FIG. 2 is a perspective view showing an example of the appearance of the aircraft. 図３は、実施形態に係る管理システムを示すブロック図である。FIG. 3 is a block diagram showing the management system according to the embodiment. 図４は、携帯端末装置の表示部に表示される合成画像の一例を示す図である。FIG. 4 is a diagram showing an example of a composite image displayed on the display unit of the mobile terminal device. 図５は、管理システムの処理手順を示すフローチャートである。FIG. 5 is a flow chart showing the processing procedure of the management system.

以下、添付図面を参照して本願の開示する管理システムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。 Hereinafter, embodiments of the management system disclosed in the present application will be described in detail with reference to the accompanying drawings. In addition, this invention is not limited by embodiment shown below.

＜作業車両（トラクタ）の概要＞
まず、図１を参照して実施形態に係る作業車両１の概要について説明する。図１は、実施形態に係る作業車両１を示す概略左側面図である。なお、以下では、作業車両１としてトラクタを例に説明する。また、作業車両であるトラクタ１は、自走しながら圃場で農作業を行う農業用トラクタである。 <Outline of work vehicle (tractor)>
First, an overview of a work vehicle 1 according to an embodiment will be described with reference to FIG. FIG. 1 is a schematic left side view showing a work vehicle 1 according to the embodiment. In addition, below, the tractor is demonstrated as an example as the work vehicle 1. As shown in FIG. Moreover, the tractor 1, which is a work vehicle, is an agricultural tractor that performs agricultural work in a field while self-propelled.

また、作業車両であるトラクタ１は、操縦者（作業者ともいう）が搭乗して圃場内を走行しながら所定の作業を実行する他、後述する制御部２００（図３参照）を中心とする制御系による各部の制御により、圃場内を自律走行しながら所定の作業を実行する。 The tractor 1, which is a work vehicle, carries a driver (also referred to as a worker) on board and performs a predetermined work while traveling in a field. Each part is controlled by the control system to perform a predetermined work while autonomously traveling in the field.

なお、以下の説明において、前後方向とは、トラクタ１の直進時における進行方向であり、進行方向の前方側を「前」、後方側を「後」と規定する。トラクタ１の進行方向とは、トラクタ１の直進時において後述する操縦席８からステアリングホイール９へと向かう方向である。 In the following description, the front-rear direction is the traveling direction of the tractor 1 when it travels straight, and the front side of the traveling direction is defined as "front" and the rear side is defined as "rear". The traveling direction of the tractor 1 is the direction from the driver's seat 8 to the steering wheel 9 when the tractor 1 travels straight.

また、左右方向とは、前後方向に対して水平に直交する方向である。以下では、「前」側へ向けて左右を規定する。すなわち、操縦者が操縦席８に着席して前方を向いた状態で、左手側が「左」、右手側が「右」である。上下方向とは、鉛直方向である。前後方向、左右方向および上下方向は、互いに３次元で直交する。また、以下の説明において、トラクタ１または走行車体２を指して「機体」という場合がある。 Moreover, the left-right direction is a direction horizontally perpendicular to the front-rear direction. In the following, left and right are defined with respect to the "front" side. That is, when the operator sits in the operator's seat 8 and faces forward, the left hand side is "left" and the right hand side is "right". The vertical direction is the vertical direction. The front-back direction, the left-right direction, and the up-down direction are three-dimensionally orthogonal to each other. Further, in the following description, the tractor 1 or the traveling vehicle body 2 may be referred to as a "body".

図１に示すように、トラクタ１は、走行車体２と、作業機６とを備える。走行車体２は、圃場内を走行可能であり、前輪３と、後輪４とを備える。前輪３は、左右一対で設けられた操舵用の車輪（操舵輪）である。後輪４は、左右一対で設けられた駆動用の車輪（駆動輪）である。なお、走行車体２は、車輪（前輪３および後輪４の少なくともいずれか）に代えてクローラ装置を備えてもよい。この場合、走行クローラが駆動輪である。 As shown in FIG. 1 , the tractor 1 includes a traveling vehicle body 2 and a work implement 6 . The traveling vehicle body 2 is capable of traveling in the field, and has front wheels 3 and rear wheels 4 . The front wheels 3 are a pair of left and right steering wheels (steering wheels). The rear wheels 4 are driving wheels (driving wheels) provided in a pair on the left and right sides. The traveling vehicle body 2 may be provided with a crawler device instead of the wheels (at least one of the front wheels 3 and the rear wheels 4). In this case, the traveling crawler is the driving wheel.

駆動輪である後輪４には、ボンネット５内に収容された駆動源であるエンジンＥで発生した回転動力が、動力伝達装置（ミッションケース）１２内に設けられた変速装置（トランスミッション）１２１（図３参照）で適宜減速されて伝達される。後輪４は、エンジンＥから伝達された回転動力によって駆動される。変速装置１２１は、エンジンＥから伝達される回転動力を複数（たとえば、１速～８速）の変速段のうちいずれかの変速段に切り替える。 The rear wheels 4, which are driving wheels, receive rotational power generated by the engine E, which is a driving source housed in the bonnet 5, through a transmission 121 (transmission) provided in a power transmission device (mission case) 12. (see FIG. 3), the speed is appropriately reduced and transmitted. The rear wheels 4 are driven by rotational power transmitted from the engine E. The transmission 121 switches the rotational power transmitted from the engine E to one of a plurality of gear stages (eg, 1st to 8th gears).

走行車体２は、エンジンＥで発生し、かつ、変速装置１２１で減速された動力を、４ＷＤクラッチを介して前輪３にも伝達可能に構成される。この場合、４ＷＤクラッチが動力を伝達すると、エンジンＥから伝達される動力によって前輪３および後輪４の四輪が駆動される。また、４ＷＤクラッチが動力の伝達を遮断すると、エンジンＥから伝達される動力によって後輪４のみの二輪が駆動される。このように、走行車体２は、二輪駆動（２ＷＤ）と四輪駆動（４ＷＤ）とを切り替え可能に構成される。 The traveling vehicle body 2 is configured to be able to transmit power generated by the engine E and reduced in speed by the transmission 121 to the front wheels 3 via the 4WD clutch. In this case, when the 4WD clutch transmits power, the power transmitted from the engine E drives the front wheels 3 and the rear wheels 4 . Further, when the 4WD clutch cuts off the power transmission, the power transmitted from the engine E drives only the rear wheels 4 . Thus, the traveling vehicle body 2 is configured to be switchable between two-wheel drive (2WD) and four-wheel drive (4WD).

走行車体２の後部には、圃場内で作業を行う作業機６が連結され、作業機６を駆動する動力を伝達するＰＴＯ（Power take-off）軸７１を有するＰＴＯ装置７が設けられる。走行車体２の中央部には、操縦者がトラクタ１を操縦する場合に座る操縦席８が設けられる。 A PTO device 7 having a PTO (Power take-off) shaft 71 for transmitting power for driving the working machine 6 is connected to the rear part of the traveling vehicle body 2 for working in the field. An operator's seat 8 is provided in the central portion of the traveling vehicle body 2 so that the operator sits when operating the tractor 1 .

操縦席８の前方には、前輪３の操舵用のハンドルであるステアリングホイール９が設けられる。なお、ステアリングホイール９や、ステアリングホイール９を駆動する駆動部などは、ステアリング装置１２２（図３参照）を構成する。ステアリングホイール９は、ハンドルポスト１０の上端部に設けられる。ハンドルポスト１０の下方であり、操縦席８に操縦者が座った場合における操縦者の足元付近には、各種操作ペダル１１（アクセルペダルやブレーキペダル、クラッチペダル）が設けられる。 A steering wheel 9 , which is a handle for steering the front wheels 3 , is provided in front of the operator's seat 8 . Note that the steering wheel 9, a driving unit for driving the steering wheel 9, and the like constitute a steering device 122 (see FIG. 3). A steering wheel 9 is provided at the upper end of the handle post 10 . Various operation pedals 11 (an accelerator pedal, a brake pedal, and a clutch pedal) are provided below the handle post 10 and near the operator's feet when the operator is seated in the operator's seat 8 .

また、走行車体２の後部には、作業機６を昇降させる昇降装置１３が設けられる。昇降装置１３は、作業機６を上昇させることで、作業機６を非作業位置に移動させる。また、昇降装置１３は、作業機６を下降させることで、作業機６を対地作業位置に移動させる。昇降装置１３は、油圧式の昇降シリンダ１３１と、リフトアーム１３２と、リフトロッド１３３と、ロアリンク１３４と、トップリンク１３５を備える。 A lifting device 13 for lifting and lowering the working machine 6 is provided at the rear portion of the traveling vehicle body 2 . The lifting device 13 lifts the work machine 6 to move the work machine 6 to the non-working position. Further, the lifting device 13 lowers the work machine 6 to move the work machine 6 to the ground work position. The lifting device 13 includes a hydraulic lifting cylinder 131 , a lift arm 132 , a lift rod 133 , a lower link 134 and a top link 135 .

リフトアーム１３２は、昇降シリンダ１３１に作動油が供給されると、軸ＡＸまわりに作業機６を上昇させるように回動し、昇降シリンダ１３１から作動油が排出されると、軸ＡＸまわりに作業機６を下降させるように回動する。なお、リフトアーム１３２の基部（軸ＡＸ付近）には、リフトアーム１３２の回動角度を検出するリフトアームセンサが設けられる。作業機６の高さは、リフトアームセンサの検出値に基づいて算出される。 When hydraulic oil is supplied to the lifting cylinder 131, the lift arm 132 rotates about the axis AX so as to lift the work implement 6, and when the hydraulic oil is discharged from the lifting cylinder 131, the lift arm 132 rotates about the axis AX. It rotates so that the machine 6 may be lowered. A lift arm sensor that detects the rotation angle of the lift arm 132 is provided at the base of the lift arm 132 (near the axis AX). The height of work implement 6 is calculated based on the detection value of the lift arm sensor.

また、リフトアーム１３２は、リフトロッド１３３を介してロアリンク１３４に連結される。このように、昇降装置１３は、ロアリンク１３４とトップリンク１３５とで、走行車体２に対して作業機６を昇降可能に連結する。 Also, the lift arm 132 is connected to a lower link 134 via a lift rod 133 . Thus, the lifting device 13 connects the work implement 6 to the traveling vehicle body 2 so as to be able to move up and down with the lower link 134 and the top link 135 .

なお、図１に示す例においては、作業機６がロータリ耕耘機の場合を例示している。ロータリ耕耘機は、ＰＴＯ装置７のＰＴＯ軸７１から伝達された動力によって耕耘爪６１が回転することで、圃場面（土壌）を耕起する。 Note that the example shown in FIG. 1 illustrates the case where the working machine 6 is a rotary tiller. The rotary tiller plows the field (soil) by rotating the tillage tines 61 by power transmitted from the PTO shaft 71 of the PTO device 7 .

また、トラクタ１は、制御部２００（図３参照）を備える。制御部２００は、エンジンＥを制御するとともに、走行車体２の走行速度を制御する。また、制御部２００は、作業機６を制御する。 The tractor 1 also includes a control unit 200 (see FIG. 3). The control unit 200 controls the engine E and the traveling speed of the traveling vehicle body 2 . Further, the control unit 200 controls the working machine 6 .

また、トラクタ１は、測位装置１５０を備える。測位装置１５０は、第１測位装置であり、走行車体２の上部に設けられ、走行車体２の位置を所定の周期で測定し、走行車体２の自己位置の情報（たとえば、緯度および経度）を取得する。測位装置１５０は、たとえば、ＧＮＳＳ（Global Navigation Satellite System）であり、上空を周回している航法衛星Ｓからの電波を受信して測位および計時することができる。 The tractor 1 also includes a positioning device 150 . The positioning device 150 is a first positioning device and is provided on the upper part of the traveling vehicle body 2. The positioning device 150 measures the position of the traveling vehicle body 2 at a predetermined cycle, and obtains the self-position information (for example, latitude and longitude) of the traveling vehicle body 2. get. The positioning device 150 is, for example, a GNSS (Global Navigation Satellite System), and can receive radio waves from navigation satellites S orbiting in the sky to perform positioning and timekeeping.

また、トラクタ１は、作業者による携帯端末装置１６０の操作で特定の圃場における各種作業の設定を行うことができる。携帯端末装置１６０は、たとえば、タブレット端末であり、インターネットなどの通信ネットワークに接続可能であり、通信ネットワークを介して作業管理装置と互いに接続可能である。この場合、作業管理装置は、いわゆるクラウドコンピューティングが可能なシステムである。携帯端末装置１６０と作業管理装置とは、たとえば、無線ＬＡＮ（Local Area Network）で接続される。 In addition, the tractor 1 can be set for various types of work in a specific field by the operator's operation of the mobile terminal device 160 . The mobile terminal device 160 is, for example, a tablet terminal, can be connected to a communication network such as the Internet, and can be connected to the work management device via the communication network. In this case, the work management device is a system capable of so-called cloud computing. The mobile terminal device 160 and the work management device are connected by, for example, a wireless LAN (Local Area Network).

携帯端末装置１６０は、たとえば、ハードディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などで構成される記憶部と、タッチパネルにより構成される表示部および操作部とを備える。なお、操作部として、各種キーやボタンなどが別に設けられてもよい。また、携帯端末装置１６０は、後述する制御部２００と同様、電子制御によって各部を制御可能なように、ＣＰＵ（Central Processing Unit）などを有する処理部を備えてもよい。 Portable terminal device 160 includes, for example, a storage unit configured by a hard disk, ROM (Read Only Memory), RAM (Random Access Memory), etc., and a display unit and an operation unit configured by a touch panel. Various keys and buttons may be separately provided as the operation unit. Further, the mobile terminal device 160 may include a processing section having a CPU (Central Processing Unit) or the like so that each section can be electronically controlled, similar to the control section 200 to be described later.

作業管理装置は、ＣＰＵなどを有する処理装置やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）などの記憶装置、さらには、入出力装置が設けられたコンピュータなどである。 The work management device is a processing device having a CPU, etc., a storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard Disk Drive), or a computer equipped with an input/output device. be.

また、トラクタ１は、方位角取得手段１７０（図２参照）を備える。方位角取得手段１７０は、走行車体の方位角を取得する。方位角取得手段１７０は、たとえば、方位角センサである。以下、方位角取得手段１７０を方位角センサという。 The tractor 1 also includes an azimuth angle acquisition means 170 (see FIG. 2). The azimuth angle acquisition means 170 acquires the azimuth angle of the running vehicle body. Azimuth angle acquisition means 170 is, for example, an azimuth angle sensor. Hereinafter, the azimuth angle acquisition means 170 will be referred to as an azimuth angle sensor.

方位角センサ１７０は、たとえば、走行車体２の進行方向の絶対方位角（たとえば、「北」を０°（３６０°）として、「東」を９０°、「南」を１８０°、「西」を２７０°）を検出する。方位角センサ１７０は、一定時間ごとに絶対方位角を検出し、検出した絶対方位角を制御部２００などに送信する。なお、方位角取得手段１７０としては、方位角センサの他、たとえば、地磁気センサなどがある。 The azimuth angle sensor 170 detects, for example, the absolute azimuth angle of the traveling direction of the traveling vehicle body 2 (for example, "north" is 0° (360°), "east" is 90°, "south" is 180°, and "west" is 180°). 270°) is detected. The azimuth angle sensor 170 detects an absolute azimuth angle at regular time intervals, and transmits the detected absolute azimuth angle to the control unit 200 or the like. In addition to the azimuth angle sensor, the azimuth angle acquisition means 170 includes, for example, a geomagnetic sensor.

また、トラクタ１は、飛行体３００と通信可能に接続される。飛行体３００は、携帯端末装置１６０とも通信可能に接続される。飛行体３００は、例えば、ドローン等の無人の飛行体であり、トラクタ１に追従するよう制御される。飛行体３００は、飛行体３００の周囲を撮像するカメラ３１０を備える。飛行体３００は、測位装置３３０（図３参照）を備える。測位装置３３０は、第２測位装置であり、飛行体３００に設けられ、飛行体３００の位置を所定の周期で測定し、飛行体３００の自己位置の情報（たとえば、緯度および経度）を取得する。測位装置３３０は、たとえば、ＧＮＳＳ（Global Navigation Satellite System）であり、上空を周回している航法衛星Ｓからの電波を受信して測位および計時することができる。 Also, the tractor 1 is communicably connected to the aircraft 300 . The aircraft 300 is also communicably connected to the mobile terminal device 160 . The flying object 300 is, for example, an unmanned flying object such as a drone, and is controlled to follow the tractor 1 . The flying object 300 includes a camera 310 that captures images of the surroundings of the flying object 300 . The flying vehicle 300 includes a positioning device 330 (see FIG. 3). Positioning device 330 is a second positioning device and is provided in flying object 300. Positioning device 330 measures the position of flying object 300 at a predetermined cycle, and obtains self-position information (for example, latitude and longitude) of flying object 300. . The positioning device 330 is, for example, a GNSS (Global Navigation Satellite System), and can receive radio waves from navigation satellites S orbiting in the sky to perform positioning and timekeeping.

飛行体３００は、トラクタ１の位置と飛行体３００の位置との比較結果に基づいて、トラクタ１を撮像するようにカメラ３１０の撮影方向を調整する。なお、カメラ３１０の撮影方向は、図２に示すような、サーボモータ３２０によって行われる。 The aircraft 300 adjusts the photographing direction of the camera 310 so as to capture an image of the tractor 1 based on the comparison result between the position of the tractor 1 and the position of the aircraft 300 . The photographing direction of the camera 310 is determined by a servomotor 320 as shown in FIG.

図２は、飛行体３００の外観の一例を示す斜視図である。図２に示すように、カメラ３１０は、飛行体３００の下部に設置され、飛行体３００の下方を主に撮像する。サーボモータ３２０は、カメラ３１０の撮影方向を変更する。具体的には、サーボモータ３２０は、互いに直交する２軸の回転軸によりカメラ３１０を回転させることで撮影方向を変更する。これにより、飛行体３００は、トラクタ１との位置関係に応じて撮影方向を変更することで、トラクタ１を常時撮影することができる。 FIG. 2 is a perspective view showing an example of the appearance of the flying object 300. As shown in FIG. As shown in FIG. 2 , the camera 310 is installed at the bottom of the flying object 300 and mainly captures an image of the downward direction of the flying object 300 . A servo motor 320 changes the shooting direction of the camera 310 . Specifically, the servomotor 320 changes the imaging direction by rotating the camera 310 with two rotation axes orthogonal to each other. Accordingly, the flying object 300 can constantly photograph the tractor 1 by changing the photographing direction according to the positional relationship with the tractor 1 .

＜作業車両（トラクタ）の管理システム＞
次に、図３を参照して実施形態に係る作業車両の管理システム１００、すなわち、制御部２００を中心とする作業車両（トラクタ）１の制御系について説明する。図３は、実施形態に係る管理システム１００を示すブロック図である。図３に示すように、制御部２００は、エンジンＥＣＵ（Electronic Control Unit）２０１と、走行系ＥＣＵ２０２と、作業機昇降系ＥＣＵ２０３とを備える。 <Work vehicle (tractor) management system>
Next, a work vehicle management system 100 according to the embodiment, that is, a control system of the work vehicle (tractor) 1 centering on the control unit 200 will be described with reference to FIG. FIG. 3 is a block diagram showing the management system 100 according to the embodiment. As shown in FIG. 3 , the control unit 200 includes an engine ECU (Electronic Control Unit) 201 , a traveling system ECU 202 , and a work machine lifting system ECU 203 .

エンジンＥＣＵ２０１は、エンジンＥの回転数を制御する。走行系ＥＣＵ２０２は、駆動輪（後輪４）の回転を制御することで、走行車体２（図１参照）の走行速度を制御する。作業機昇降系ＥＣＵ２０３は、昇降装置１３を制御して作業機６の昇降駆動する。 The engine ECU 201 controls the rotation speed of the engine E. The traveling system ECU 202 controls the traveling speed of the traveling vehicle body 2 (see FIG. 1) by controlling the rotation of the driving wheels (rear wheels 4). The work machine lifting system ECU 203 controls the lifting device 13 to drive the work machine 6 to go up and down.

制御部２００は、電子制御によって各部を制御することが可能であり、ＣＰＵ（Central Processing Unit）などを有する処理部をはじめ、各種プログラムや圃場ごとに予め設定された走行車体２の予定走行経路（以下、走行経路という）などの必要なデータ類が記憶される、たとえば、ハードディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などで構成される記憶部などを備える。 The control unit 200 can control each part by electronic control, and includes a processing unit having a CPU (Central Processing Unit), various programs, and a planned traveling route ( hereinafter referred to as a travel route), for example, includes a storage unit including a hard disk, a ROM (Read Only Memory), a RAM (Random Access Memory), and the like.

図３に示すように、制御部２００には、測位装置（ＧＮＳＳ）１５０、方位角センサ１７０、エンジン回転センサ１１０、車速センサ１１１、変速センサ１１２、切れ角センサ１１３などが接続される。また、制御部２００には、エンジンＥ、変速装置１２１、ステアリング装置１２２、昇降装置１３などが接続される。 As shown in FIG. 3, the controller 200 is connected with a positioning device (GNSS) 150, an azimuth sensor 170, an engine rotation sensor 110, a vehicle speed sensor 111, a shift sensor 112, a steering angle sensor 113, and the like. Also, the control unit 200 is connected to the engine E, the transmission device 121, the steering device 122, the lifting device 13, and the like.

エンジン回転センサ１１０は、エンジンＥの回転数を検出する。車速センサ１１１は、走行車体２（図１参照）の走行速度（車速）を検出する。変速センサ１１２は、変速装置１２１において複数の変速段のうちいずれの変速段であるかを検出する。切れ角センサ１１３は、操舵輪である前輪３（図１参照）の切れ角を検出する。 The engine rotation sensor 110 detects the engine E rotation speed. The vehicle speed sensor 111 detects the traveling speed (vehicle speed) of the traveling vehicle body 2 (see FIG. 1). The shift sensor 112 detects which shift stage among a plurality of shift stages in the transmission 121 . The steering angle sensor 113 detects the steering angle of the front wheels 3 (see FIG. 1), which are steered wheels.

制御部２００には、測位装置１５０から圃場などにおける走行車体２の位置（自己位置）情報、エンジン回転センサ１１０からエンジンＥの回転数、車速センサ１１１から走行車体２の車速、変速センサ１１２から現在の変速段、切れ角センサ１１３から前輪３の切れ角がそれぞれ入力される。なお、制御部２００は、走行車体２を自律走行させる場合、上記したように、切れ角センサ１１３の検出値を用いて、前輪３の切れ角をフィードバックしながらステアリングホイール９（図１参照）に連結されたステアリングシリンダを制御することで、ステアリングホイール９を操舵する。 The control unit 200 receives position (self-position) information of the traveling vehicle body 2 in a field or the like from the positioning device 150, the rotation speed of the engine E from the engine speed sensor 110, the vehicle speed of the traveling vehicle body 2 from the vehicle speed sensor 111, and the current speed from the shift sensor 112. , and the steering angle of the front wheels 3 are input from the steering angle sensor 113, respectively. When the traveling vehicle body 2 is caused to travel autonomously, the control unit 200 uses the detection value of the steering angle sensor 113 to feed back the steering angle of the front wheels 3 to the steering wheel 9 (see FIG. 1) as described above. The steering wheel 9 is steered by controlling the connected steering cylinder.

また、制御部２００においては、エンジンＥＣＵ１０１がエンジンＥに接続され、走行系ＥＣＵ１０２が変速装置１２１やステアリング装置１２２に接続され、作業機昇降系ＥＣＵ１０３が昇降装置１３に接続される。なお、作業機昇降系ＥＣＵ１０３は、昇降装置１３を介して作業機を昇降させる。 In the control unit 200 , the engine ECU 101 is connected to the engine E, the traveling system ECU 102 is connected to the transmission 121 and the steering device 122 , and the working machine lifting system ECU 103 is connected to the lifting device 13 . The work machine lifting system ECU 103 raises and lowers the work machine via the lifting device 13 .

また、制御部２００においては、走行車体２を自律走行させる場合には、作業機６による作業内容に応じた走行経路が予め圃場ごとに定められ、データ化されて記憶部に記憶される。制御部２００は、測位装置１５０の測定結果に基づいて、記憶部に記憶された走行経路に沿って走行しながら作業を行うように、エンジンＥ、変速装置１２１、ステアリング装置１２２、昇降装置１３などを制御する。走行経路は、圃場の形状、大きさ、圃場内に形成された畝の幅、長さおよび本数、さらには、作物の種類などに応じて設定される。また、制御部２００は、トラクタ１（走行車体２）の圃場内における移動時の旋回半径を予め設定する。 In addition, in the control unit 200, when the traveling vehicle body 2 is caused to travel autonomously, a travel route corresponding to the work content of the working machine 6 is determined in advance for each field, converted into data, and stored in the storage unit. Based on the measurement result of the positioning device 150, the control unit 200 controls the engine E, the transmission device 121, the steering device 122, the lifting device 13, etc. so as to perform work while traveling along the travel route stored in the storage unit. to control. The travel route is set according to the shape and size of the field, the width, length and number of ridges formed in the field, the type of crop, and the like. Further, the control unit 200 presets a turning radius when the tractor 1 (the traveling vehicle body 2) moves within the field.

また、上記したように、制御部２００は、たとえば、作業者が携行可能な携帯端末装置（タブレット端末）１６０と無線接続される。制御部２００は、作業者の操作による携帯端末装置１６０からの指示信号に基づいて、トラクタ１の各部を制御する。なお、制御部２００は、トラクタ１の機体情報データベースを有し、型式などの情報の受け渡しを携帯端末装置１６０などから行えるように構成されてもよい。 Further, as described above, the control unit 200 is wirelessly connected to, for example, a mobile terminal device (tablet terminal) 160 that can be carried by the worker. The control section 200 controls each section of the tractor 1 based on an instruction signal from the mobile terminal device 160 operated by the operator. Note that the control unit 200 may be configured to have a machine body information database of the tractor 1 and to transfer information such as the model from the mobile terminal device 160 or the like.

また、上記したように、制御部２００は、飛行体３００と無線接続される。制御部２００は、測位装置１５０によって測位したトラクタ１の位置情報を飛行体３００へ送信する。 Also, as described above, the control unit 200 is wirelessly connected to the aircraft 300 . The control unit 200 transmits the position information of the tractor 1 positioned by the positioning device 150 to the aircraft 300 .

次に、飛行体３００の構成について説明する。図３に示すように、飛行体３００は、カメラ３１０と、サーボモータ３２０と、測位装置３３０（第２測位装置）と、制御部３４０とを備える。制御部３４０は、電子制御によって各部を制御することが可能であり、ＣＰＵ（Central Processing Unit）などを有する処理部をはじめ、各種プログラムなどの必要なデータ類が記憶される、たとえば、ハードディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などで構成される記憶部などを備える。 Next, the configuration of the flying object 300 will be described. As shown in FIG. 3 , the flying object 300 includes a camera 310 , a servo motor 320 , a positioning device 330 (second positioning device), and a control section 340 . The control unit 340 can control each unit by electronic control, including a processing unit having a CPU (Central Processing Unit), etc., and necessary data such as various programs are stored, for example, hard disk, ROM (Read Only Memory), RAM (Random Access Memory), and the like.

制御部３４０は、トラクタ１および飛行体３００の位置情報を比較して、カメラ３１０がトラクタ１を撮像するようにサーボモータ３２０を制御する。また、制御部３４０は、カメラ３１０によって撮像された映像を携帯端末装置１６０へ送信する。 The control unit 340 compares the position information of the tractor 1 and the flying object 300 and controls the servo motor 320 so that the camera 310 takes an image of the tractor 1 . Also, the control unit 340 transmits the image captured by the camera 310 to the mobile terminal device 160 .

携帯端末装置１６０は、測位装置３３０に基づく飛行体３００の位置情報と、カメラ３１０の撮影方向とに基づいて、カメラ３１０の映像に仮想的な走行経路である仮想経路を合成した合成画像を表示部に表示する。また、携帯端末装置１６０は、図４に示す合成画像５００の生成に必要な各種情報をトラクタ１や飛行体３００から取得する。 The mobile terminal device 160 displays a composite image obtained by synthesizing a virtual route, which is a virtual travel route, with the image of the camera 310 based on the position information of the flying object 300 based on the positioning device 330 and the imaging direction of the camera 310. display in the Also, the mobile terminal device 160 acquires various kinds of information necessary for generating the composite image 500 shown in FIG.

図４は、携帯端末装置１６０の表示部に表示される合成画像５００の一例を示す図である。図４に示すように、合成画像５００は、トラクタ画像５１０を含むカメラ３１０の映像に仮想的な走行経路である仮想経路５２０を重畳した画像である。これにより、携帯端末装置１６０を扱う管理者等がトラクタ１が走行経路の上を走行していることを容易に把握することができる。 FIG. 4 is a diagram showing an example of a composite image 500 displayed on the display section of the mobile terminal device 160. As shown in FIG. As shown in FIG. 4, the synthesized image 500 is an image obtained by superimposing a virtual route 520, which is a virtual travel route, on the image of the camera 310 including the tractor image 510. FIG. As a result, the administrator or the like who handles the mobile terminal device 160 can easily grasp that the tractor 1 is traveling on the traveling route.

また、携帯端末装置１６０は、カメラ３１０の映像における色情報（例えば、ＲＧＢ情報）に基づいて、映像から地面が映った領域（地面領域）を抽出し、地面領域における仮想経路５２０と、地面領域以外の非地面領域における仮想経路５２０とで表示形態を変更する。例えば、映像から地面の土の色（例えば、茶色）を地面領域として抽出し、土の色以外の領域を非地面領域として抽出する。 In addition, mobile terminal device 160 extracts an area (ground area) in which the ground is reflected from the image based on color information (eg, RGB information) in the image of camera 310, and extracts a virtual route 520 in the ground area and a ground area. The display form is changed with the virtual route 520 in the non-ground area. For example, the soil color (eg, brown) of the ground is extracted from the image as the ground area, and the area other than the soil color is extracted as the non-ground area.

すなわち、図４に示す例では、仮想経路５２０は、トラクタ画像５１０と重なる領域（非地面領域）については破線で表示され、トラクタ画像５１０と重ならない領域（地面領域）については実線で表示される。なお、非地面領域における仮想経路５２０は、一点鎖線等のような破線以外の断続線であってもよい。あるいは、非地面領域における仮想経路５２０は、非表示であってもよい。 That is, in the example shown in FIG. 4, the virtual route 520 is displayed with a broken line for the area (non-ground area) that overlaps the tractor image 510, and is displayed with a solid line for the area (ground area) that does not overlap with the tractor image 510. . Note that the virtual route 520 in the non-ground area may be a discontinuous line other than a dashed line such as a dashed line. Alternatively, virtual path 520 in non-ground areas may be hidden.

このように、地面領域における仮想経路５２０と、非地面領域における仮想経路５２０との表示形態を変更することで、実際に仮想経路５２０が地面に敷かれているような映像（合成画像）を表示できる。 In this way, by changing the display form of the virtual route 520 in the ground area and the virtual route 520 in the non-ground area, an image (composite image) in which the virtual route 520 is actually laid on the ground is displayed. can.

地面領域における仮想経路５２０と、非地面領域における仮想経路５２０とは異なる色の線で表示されたり、異なる太さの線で表示されたりしてもよい。 The virtual route 520 in the ground area and the virtual route 520 in the non-ground area may be displayed with lines of different colors or different thicknesses.

また、携帯端末装置１６０は、走行経路における起伏情報に応じた仮想経路５２０を合成した合成画像５００を表示してもよい。具体的には、携帯端末装置１６０は、地面に大きな起伏が有る場合、かかる起伏の傾斜に合わせて線の角度を調整した仮想経路５２０を合成する。これにより、実際の走行経路と違和感のない仮想経路５２０を合成することができる。 Moreover, the mobile terminal device 160 may display a composite image 500 obtained by combining a virtual route 520 according to undulation information on the travel route. Specifically, when there is a large undulation on the ground, the mobile terminal device 160 synthesizes the virtual route 520 by adjusting the angle of the line according to the inclination of the undulation. As a result, it is possible to synthesize the virtual route 520 that does not feel out of place with the actual travel route.

なお、起伏情報は、事前に計測した情報を不図示の記憶部に記憶して用いてもよく、ＬｉＤＡＲ（Light Detection and Ranging）等によりリアルタイムに起伏を計測するようにしてもよい。 The undulation information may be information measured in advance and stored in a storage unit (not shown), or the undulation may be measured in real time by LiDAR (Light Detection and Ranging) or the like.

なお、仮想経路５２０は、走行済の経路と走行予定の経路とで表示形態を変更してもよい。つまり、トラクタ画像５１０に対して進行方向側の仮想経路５２０と、進行方向とは反対方向側の仮想経路５２０とで表示形態を変更する。 Note that the virtual route 520 may be displayed in different forms depending on whether the route has already been traveled or the route to be traveled. That is, the display form is changed between the virtual route 520 on the traveling direction side and the virtual route 520 on the side opposite to the traveling direction with respect to the tractor image 510 .

また、図４に示す例では、圃場全体の走行経路のうち、一部の走行経路に対応する仮想経路５２０のみが表示される。換言すれば、携帯端末装置１６０は、トラクタ１の現在の位置に対して所定時間前後の走行経路に対応する仮想経路５２０を合成した合成画像５００を生成する。これにより、合成画像５００に必要以上に長い仮想経路５２０が表示されなくなるため、走行経路の把握を容易化できる。 In addition, in the example shown in FIG. 4, only the virtual route 520 corresponding to a portion of the travel routes of the entire field is displayed. In other words, the mobile terminal device 160 generates the synthesized image 500 by synthesizing the virtual route 520 corresponding to the traveling route before and after the predetermined time with respect to the current position of the tractor 1 . As a result, since the virtual route 520 that is longer than necessary is not displayed in the synthesized image 500, it is possible to easily grasp the travel route.

また、合成画像５００は、走行経路の進行方向を示す進行方向５３０の表示を含む。図４に示す例では、進行方向５３０は、２つの三角矢印で示されている。このように、進行方向５３０の表示を含むことで、管理者がトラクタ１の進行方向を容易に判別することができる。なお、進行方向５３０の表示は進行方向に向かって動くアニメーションにより表現されてもよい。これにより、進行方向の判別がより容易になる。 The synthesized image 500 also includes a display of a traveling direction 530 indicating the traveling direction of the travel route. In the example shown in FIG. 4, the direction of travel 530 is indicated by two triangular arrows. By including the display of the traveling direction 530 in this way, the administrator can easily determine the traveling direction of the tractor 1 . Note that the display of the traveling direction 530 may be represented by an animation that moves in the traveling direction. This makes it easier to determine the traveling direction.

また、合成画像５００は、走行経路における旋回の開始位置５４０ａおよび終了位置５４０ｂの表示を含む。これにより、管理者が次の旋回における開始位置５４０ａおよび終了位置５４０ｂを容易に把握することができる。 The synthesized image 500 also includes a display of a turn start position 540a and a turn end position 540b on the travel route. This allows the administrator to easily grasp the start position 540a and the end position 540b of the next turn.

また、図４に示す例では、開始位置５４０ａに旋回方向を示す吹き出し画像５４１ａが表示される。これにより、旋回方向を容易に把握することができる。また、図４に示す例では、開始位置５４０ａおよび終了位置５４０ｂに作業機６の昇降タイミング（昇降位置）を示す吹き出し画像５４２ａ，５４１ｂが表示される。具体的には、開始位置５４０ａには、作業機６を上昇させるタイミングを示す吹き出し画像５４２ａが表示され、終了位置５４０ｂには、作業機６を下降させるタイミングを示す吹き出し画像５４１ｂが表示される。つまり、開始位置５４０ａおよび終了位置５４０ｂは、作業機６の昇降タイミングを兼ねた表示である。なお、開始位置５４０ａおよび終了位置５４０ｂと、作業機６の昇降タイミングとが異なる場合には、別々の表示（別々の点）がなされてもよい。 Also, in the example shown in FIG. 4, a balloon image 541a indicating the turning direction is displayed at the start position 540a. This makes it possible to easily grasp the turning direction. In the example shown in FIG. 4, balloon images 542a and 541b are displayed at the start position 540a and the end position 540b to indicate the lift timing (lift position) of the work implement 6. FIG. Specifically, a balloon image 542a indicating the timing for raising the work implement 6 is displayed at the start position 540a, and a balloon image 541b indicating the timing for lowering the work implement 6 is displayed at the end position 540b. In other words, the start position 540a and the end position 540b are displays that also serve as the elevation timing of the work implement 6 . Note that when the start position 540a and the end position 540b are different from the lift timing of the work implement 6, separate displays (separate points) may be made.

管理者はかかるタイミングで操作ボタン５９０を操作して作業機６を昇降させる。これにより、管理者が作業機６の昇降タイミングを間違うことを高精度に回避することができる。 At such timing, the manager operates the operation button 590 to raise and lower the working machine 6 . As a result, it is possible to prevent the administrator from making a mistake in the lifting/lowering timing of the work implement 6 with high accuracy.

また、合成画像５００は、走行経路における前後進の切替位置５５０ａ，５５０ｂの表示を含む。図４に示す例では、切替位置５５０ａは、前進から後進への切替を示し、切替位置５５０ｂは、後進から前進への切替を示す。また、図４に示す例では、切替位置５５０ａ、５５０ｂそれぞれに、切替先の方向を示す吹き出し画像５５１ａ、５５１ｂが表示される。これにより、管理者が切替方向を容易に把握することができる。 The synthesized image 500 also includes display of forward/backward switching positions 550a and 550b on the travel route. In the example shown in FIG. 4, switching position 550a indicates switching from forward to reverse, and switching position 550b indicates switching from reverse to forward. In the example shown in FIG. 4, balloon images 551a and 551b indicating the switching destination direction are displayed at switching positions 550a and 550b, respectively. This allows the administrator to easily grasp the switching direction.

また、図４に示す例において、切替位置５５０ａには、トラクタ１の燃料補給位置の表示である吹き出し画像５５２ａが表示される。つまり、携帯端末装置１６０は、トラクタ１から取得した燃料残量情報に基づいて、トラクタ１の燃料補給位置（切替位置５５０ａ）の表示を含む合成画像５００を生成する。具体的には、携帯端末装置１６０は、燃料残量情報に基づいて、残りの走行可能な距離を算出し、かかる距離に基づいて燃料補給位置を決定する。なお、燃料補給位置は、作業を行う経路上ではなく、開始位置５４０ａから終了位置５４０ｂまでの旋回途中の位置が好ましい。 In the example shown in FIG. 4, a balloon image 552a indicating the refueling position of the tractor 1 is displayed at the switching position 550a. That is, the mobile terminal device 160 generates the composite image 500 including the indication of the refueling position (switching position 550a) of the tractor 1 based on the remaining fuel amount information acquired from the tractor 1 . Specifically, the mobile terminal device 160 calculates the remaining travelable distance based on the remaining fuel amount information, and determines the refueling position based on the calculated distance. It should be noted that the fuel replenishment position is preferably not on the work route, but on the middle of turning from the start position 540a to the end position 540b.

また、合成画像５００は、トラクタ１に対する飛行体３００（カメラ３１０）の相対位置５６０の表示を含む。図４に示す例では、飛行体３００がトラクタ１の後方に位置してカメラ３１０を撮像している場合を示している。これにより、飛行体３００とトラクタ１との位置関係や、カメラ３１０の撮影方向を容易に把握することができる。 The composite image 500 also includes an indication of the relative position 560 of the vehicle 300 (camera 310 ) with respect to the tractor 1 . The example shown in FIG. 4 shows the case where the flying object 300 is positioned behind the tractor 1 and the camera 310 is capturing an image. This makes it possible to easily grasp the positional relationship between the flying object 300 and the tractor 1 and the imaging direction of the camera 310 .

また、合成画像５００は、トラクタ１の走行状態５７０の表示を含む。走行状態５７０には、車速、ＰＴＯ軸の回転数、副変速の変速状態、残燃料、油温、総走行時間、自動運転の有無の情報が表示される。これにより、トラクタ１の走行状態５７０を容易に把握することができる。 The composite image 500 also includes a representation of the running state 570 of the tractor 1 . The running state 570 displays information on the vehicle speed, PTO shaft rotation speed, sub-transmission shift state, remaining fuel, oil temperature, total running time, and whether or not the vehicle is automatically driven. As a result, the running state 570 of the tractor 1 can be easily grasped.

また、合成画像５００は、トラクタ１の制御状態５８０の表示を含む。図４では、各制御状態５８０がスライドバーで表示されており、かかるスライドバーを操作することで、各制御状態５８０を変更することができる。 The composite image 500 also includes a representation of the control state 580 of the tractor 1 . In FIG. 4, each control state 580 is displayed by a slide bar, and each control state 580 can be changed by operating the slide bar.

また、合成画像５００は、作業機６の昇降を遠隔操作する操作ボタン５９０の表示を含む。図４に示す例では、作業機６を上昇させるボタンと、下降させるボタンとが表示される。 The composite image 500 also includes a display of an operation button 590 for remote-controlling the raising and lowering of the working machine 6 . In the example shown in FIG. 4, a button for raising the work implement 6 and a button for lowering it are displayed.

次に、図５を用いて、実施形態に係る管理システム１００において実行される処理の処理手順について説明する。図５は、管理システム１００の処理手順を示すフローチャートである。 Next, using FIG. 5, a processing procedure of processing executed in the management system 100 according to the embodiment will be described. FIG. 5 is a flow chart showing the processing procedure of the management system 100. As shown in FIG.

図５に示すように、携帯端末装置１６０は、設定された走行経路の情報を取得する（ステップＳ１０１）。 As shown in FIG. 5, the mobile terminal device 160 acquires information on the set travel route (step S101).

つづいて、携帯端末装置１６０は、飛行体３００およびトラクタ１の位置情報を取得する（ステップＳ１０２）。 Subsequently, the mobile terminal device 160 acquires the position information of the flying object 300 and the tractor 1 (step S102).

つづいて、携帯端末装置１６０は、カメラ３１０の撮影方向およびカメラ３１０の映像を取得する（ステップＳ１０３）。 Subsequently, the mobile terminal device 160 acquires the shooting direction of the camera 310 and the image of the camera 310 (step S103).

つづいて、携帯端末装置１６０は、カメラ３１０の映像に基づいて地面領域と非地面領域とを抽出する（ステップＳ１０４）。 Subsequently, mobile terminal device 160 extracts a ground area and a non-ground area based on the image of camera 310 (step S104).

つづいて、携帯端末装置１６０は、ステップＳ１０１～Ｓ１０４で取得（抽出）した情報に基づいて、カメラ３１０の映像に仮想経路を合成した合成画像を生成する（ステップＳ１０５）。 Subsequently, based on the information obtained (extracted) in steps S101 to S104, the mobile terminal device 160 generates a synthesized image by synthesizing the image of the camera 310 with the virtual route (step S105).

つづいて、携帯端末装置１６０は、生成した合成画像を表示部に表示し（ステップＳ１０６）、処理を終了する。 Subsequently, the mobile terminal device 160 displays the generated synthetic image on the display unit (step S106), and ends the process.

上述してきた実施形態により、以下の管理システム１００が実現される。 The following management system 100 is realized by the embodiment described above.

（１）実施形態に係る管理システム１００は、作業車両（トラクタ１）と、飛行体３００と、端末装置（携帯端末装置１６０）を備える。トラクタ１は、第１測位装置１５０を備え、第１測位装置１５０により測位しながら予め設定された走行経路を自律的に走行する。飛行体３００は、第２測位装置３３０と、第２測位装置３３０の測位結果に基づいて撮影方向を変更可能なカメラ３１０とを備える。携帯端末装置１６０は、第２測位装置３３０に基づく飛行体３００の位置情報と、カメラ３１０の撮影方向とに基づいて、カメラ３１０の映像に仮想的な走行経路である仮想経路５２０を合成した合成画像５００を表示部に表示する。 (1) A management system 100 according to the embodiment includes a work vehicle (tractor 1), an aircraft 300, and a terminal device (portable terminal device 160). The tractor 1 includes a first positioning device 150 and autonomously travels along a preset travel route while performing positioning with the first positioning device 150 . The flying object 300 includes a second positioning device 330 and a camera 310 capable of changing the shooting direction based on the positioning result of the second positioning device 330 . The mobile terminal device 160 synthesizes a virtual route 520, which is a virtual travel route, with the image of the camera 310 based on the position information of the flying object 300 based on the second positioning device 330 and the shooting direction of the camera 310. An image 500 is displayed on the display.

これにより、実際の走行経路に対するトラクタ１の実際の走行位置を容易に把握することができる。 This makes it possible to easily grasp the actual traveling position of the tractor 1 with respect to the actual traveling route.

（２）上記（１）において、携帯端末装置１６０は、カメラ３１０の映像における色情報に基づいて、映像から地面領域を抽出し、地面領域における仮想経路５２０と、地面領域以外の非地面領域における仮想経路５２０とで表示形態を変更する。 (2) In (1) above, the mobile terminal device 160 extracts the ground area from the image based on the color information in the image of the camera 310, and extracts the virtual route 520 in the ground area and the non-ground area other than the ground area. The display form is changed with the virtual route 520 .

これにより、仮想経路５２０が実際に地面に敷かれているような合成画像５００を表示することができる。 Thereby, it is possible to display the synthesized image 500 in which the virtual route 520 is actually laid on the ground.

（３）上記（２）において、携帯端末装置１６０は、非地面領域における仮想経路５２０を非表示とする。 (3) In (2) above, the mobile terminal device 160 hides the virtual route 520 in the non-ground area.

これにより、映像で実際に見える走行経路のみを仮想経路５２０とした合成画像５００を表示することができる。 As a result, it is possible to display the composite image 500 in which only the travel route that is actually visible in the video is the virtual route 520 .

（４）上記（２）において、携帯端末装置１６０は、地面領域における仮想経路５２０を実線で表示し、非地面領域における仮想経路５２０を断続線で表示する。 (4) In (2) above, the mobile terminal device 160 displays the virtual route 520 in the ground area with a solid line, and displays the virtual route 520 in the non-ground area with a discontinuous line.

これにより、トラクタ１等に重なった走行経路であるか否かを容易に判別することができる。 This makes it possible to easily determine whether or not the travel route overlaps the tractor 1 or the like.

（５）上記（１）～（４）のいずれか１つにおいて、携帯端末装置１６０は、走行経路における起伏情報に応じた仮想経路５２０を合成した合成画像５００を表示する。 (5) In any one of (1) to (4) above, the mobile terminal device 160 displays a synthesized image 500 in which a virtual route 520 is synthesized according to undulation information on the travel route.

これにより、実際の起伏に合わせた仮想経路５２０を表示できるため、管理者の違和感を低減することができる。 As a result, the virtual route 520 can be displayed according to the actual undulations, so that the administrator's sense of discomfort can be reduced.

（６）実施形態に係る管理システム１００は、作業車両（トラクタ１）と、飛行体３００と、端末装置（携帯端末装置１６０）を備える。トラクタ１は、第１測位装置１５０を備え、第１測位装置１５０により測位しながら予め設定された走行経路を自律的に走行する。飛行体３００は、第２測位装置３３０と、第２測位装置３３０の測位結果に基づいて撮影方向を変更可能なカメラ３１０とを備える。携帯端末装置１６０は、第２測位装置３３０に基づく飛行体３００の位置情報と、カメラ３１０の撮影方向とに基づいて、カメラ３１０の映像に仮想的な走行経路である仮想経路５２０を合成した合成画像５００を表示部に表示する。携帯端末装置１６０は、走行経路における旋回位置（開始位置５４０ａ、終了位置５４０ｂ）の表示を含む合成画像５００を生成する。 (6) The management system 100 according to the embodiment includes a work vehicle (tractor 1), an aircraft 300, and a terminal device (portable terminal device 160). The tractor 1 includes a first positioning device 150 and autonomously travels along a preset travel route while performing positioning with the first positioning device 150 . The flying object 300 includes a second positioning device 330 and a camera 310 capable of changing the shooting direction based on the positioning result of the second positioning device 330 . The mobile terminal device 160 synthesizes a virtual route 520, which is a virtual travel route, with the image of the camera 310 based on the position information of the flying object 300 based on the second positioning device 330 and the shooting direction of the camera 310. An image 500 is displayed on the display. The mobile terminal device 160 generates a composite image 500 including display of turning positions (start position 540a, end position 540b) on the travel route.

これにより、トラクタ１が次に旋回する位置を容易に把握することができる。 This makes it possible to easily grasp the position at which the tractor 1 will turn next.

（７）上記（６）において、トラクタ１は、走行経路において作業を行う昇降可能な作業機６を備える。携帯端末装置１６０は、走行経路における作業機６の昇降位置の表示を含む合成画像５００を生成する。 (7) In (6) above, the tractor 1 is equipped with a work machine 6 that can move up and down to perform work on the traveling route. Portable terminal device 160 generates composite image 500 including display of the elevation position of work implement 6 on the travel route.

これにより、トラクタ１が次に作業機６を昇降する位置を容易に把握することができる。 As a result, the position at which the tractor 1 raises and lowers the work implement 6 next can be easily grasped.

（８）上記（７）において、携帯端末装置１６０は、作業機６の昇降を遠隔操作する操作ボタン５９０の表示を含む合成画像５００を生成する。 (8) In (7) above, the mobile terminal device 160 generates the composite image 500 including the display of the operation button 590 for remotely controlling the elevation of the working machine 6 .

これにより、管理者がトラクタ１の映像を見つつ作業機６を手動で遠隔操作することができる。 As a result, the administrator can manually remotely control the working machine 6 while viewing the image of the tractor 1 .

（９）上記（６）～（８）において、携帯端末装置１６０は、トラクタ１から取得した燃料残量情報に基づいて、トラクタ１の燃料補給位置（切替位置５５０ａ）の表示を含む合成画像５００を生成する。 (9) In (6) to (8) above, the mobile terminal device 160 generates a composite image 500 including a display of the refueling position (switching position 550a) of the tractor 1 based on the remaining amount of fuel information obtained from the tractor 1. to generate

これにより、トラクタ１の映像を見つつ燃料補給が必要となる位置を把握することができる。 As a result, it is possible to grasp the position where refueling is required while viewing the image of the tractor 1 .

（１０）上記（６）～（９）において、携帯端末装置１６０は、トラクタ１の現在の位置に対して所定時間前後の走行経路に対応する仮想経路５２０を合成した合成画像５００を生成する。 (10) In (6) to (9) above, the mobile terminal device 160 generates a composite image 500 by combining the virtual route 520 corresponding to the travel route before and after the predetermined time with respect to the current position of the tractor 1 .

これにより、合成画像５００に表示物が多くなることで複雑化することを回避することができる。 Accordingly, it is possible to avoid complication due to an increase in the number of displayed objects in the synthesized image 500 .

（１１）上記（６）～（１０）において、携帯端末装置１６０は、走行経路における進行方向５３０の表示を含む合成画像５００を合成する。 (11) In (6) to (10) above, the mobile terminal device 160 synthesizes the composite image 500 including the display of the travel direction 530 on the travel route.

これにより、トラクタ１の進行方向を容易に把握することができる。 Thereby, the traveling direction of the tractor 1 can be easily grasped.

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。 Further effects and modifications can be easily derived by those skilled in the art. Therefore, the broader aspects of the invention are not limited to the specific details and representative embodiments so shown and described. Accordingly, various changes may be made without departing from the spirit or scope of the general inventive concept defined by the appended claims and equivalents thereof.

１トラクタ
２走行車体
３前輪
４後輪
５ボンネット
６作業機
７ＰＴＯ装置
８操縦席
９ステアリングホイール
１０ハンドルポスト
１１操作ペダル
１３昇降装置
６１耕耘爪
７１ＰＴＯ軸
１００管理システム
１０１エンジンＥＣＵ
１０２走行系ＥＣＵ
１０３作業機昇降系ＥＣＵ
１１０エンジン回転センサ
１１１車速センサ
１１２変速センサ
１１３切れ角センサ
１２１変速装置
１２２ステアリング装置
１３１昇降シリンダ
１３２リフトアーム
１３３リフトロッド
１３４ロアリンク
１３５トップリンク
１５０測位装置
１６０携帯端末装置
１７０方位角センサ
２００制御部
２０１エンジンＥＣＵ
２０２走行系ＥＣＵ
２０３作業機昇降系ＥＣＵ
３００飛行体
３１０カメラ
３２０サーボモータ
３３０測位装置
３４０制御部
５００合成画像
５１０トラクタ画像
５２０仮想経路
５３０進行方向
５６０相対位置
５７０走行状態
５８０制御状態
５９０操作ボタン
Ｅエンジン
Ｓ航法衛星 1 Tractor 2 Traveling Vehicle Body 3 Front Wheels 4 Rear Wheels 5 Bonnet 6 Work Machine 7 PTO Device 8 Cockpit 9 Steering Wheel 10 Handle Post 11 Operation Pedal 13 Lifting Device 61 Tillage Claw 71 PTO Axis 100 Management System 101 Engine ECU
102 Driving system ECU
103 Work equipment lifting system ECU
110 Engine rotation sensor 111 Vehicle speed sensor 112 Shift sensor 113 Steering angle sensor 121 Transmission 122 Steering device 131 Elevating cylinder 132 Lift arm 133 Lift rod 134 Lower link 135 Top link 150 Positioning device 160 Portable terminal device 170 Azimuth sensor 200 Control unit 201 Engine ECU
202 travel system ECU
203 Work equipment lifting system ECU
300 flying object 310 camera 320 servo motor 330 positioning device 340 control unit 500 composite image 510 tractor image 520 virtual path 530 traveling direction 560 relative position 570 running state 580 control state 590 operation button E engine S navigation satellite

Claims

a work vehicle that includes a first positioning device and autonomously travels along a preset travel route while positioning with the first positioning device;
a flying object comprising a second positioning device and a camera capable of changing a shooting direction based on the positioning result of the second positioning device;
A display for displaying a synthesized image obtained by synthesizing a virtual route, which is the virtual travel route, with an image of the camera, based on the position information of the flying object based on the second positioning device and the shooting direction of the camera. a terminal device comprising a unit;
with
The terminal device
A management system that generates the synthetic image including a display of a turning position on the travel route.

The work vehicle is
Equipped with a work machine that can be lifted and lowered to perform work on the travel route,
The terminal device
2. The management system according to claim 1, wherein said synthetic image is generated including a display of an elevation position of said work implement on said travel route.

The terminal device
3. The management system according to claim 2, wherein said composite image is generated including a display of an operation button for remotely controlling lifting and lowering of said working machine.

The terminal device
The management according to any one of claims 1 to 3, wherein the synthetic image including a display of a refueling position of the work vehicle is generated based on remaining fuel information obtained from the work vehicle. system.

The terminal device
The composite image according to any one of claims 1 to 4, wherein the composite image is generated by combining the virtual route corresponding to the travel route before and after a predetermined time with respect to the current position of the work vehicle. management system.

The terminal device
6. The management system according to any one of claims 1 to 5, wherein the synthetic image is generated including a display of the direction of travel on the travel route.