JP2023087424A

JP2023087424A - Management system for work vehicle

Info

Publication number: JP2023087424A
Application number: JP2021201791A
Authority: JP
Inventors: 隆照本間; Takateru Homma; 昌也畑邊; Masaya Hatanabe; 智志山下; Tomoshi Yamashita; 将基矢野; Masaki Yano; 永權安; Youngkwon An
Original assignee: Iseki and Co Ltd; Iseki Agricultural Machinery Mfg Co Ltd
Current assignee: Iseki and Co Ltd; Iseki Agricultural Machinery Mfg Co Ltd
Priority date: 2021-12-13
Filing date: 2021-12-13
Publication date: 2023-06-23

Abstract

To provide a management system for allowing a monitoring person to easily confirm vehicle information in remotely monitoring a work vehicle using a head-mounted display.SOLUTION: A management system for a work vehicle includes a work vehicle, a flight vehicle, a head-mounted display, and a control apparatus. The work vehicle can autonomously travel along a scheduled path on the basis of position information thereof acquired by a first positioning apparatus. The flight vehicle acquires position information thereof with a second positioning apparatus and performs imaging with a camera while flying. The head-mounted display displays, on a display unit, a camera video image captured by the camera in accordance with detection of a motion sensor. The control apparatus generates a display object to display information on the work vehicle and arranges the display object in a virtual space. The control apparatus arranges the display object so as to depart from a line that connects the position of the work vehicle and the position of the camera, to synthesize the display object on the camera video image.SELECTED DRAWING: Figure 5

Description

本発明は、作業車両の管理システムに関する。 The present invention relates to a work vehicle management system.

従来、作業車両に搭載された第１測位装置と無人航空機に搭載された第２測位装置とのそれぞれで取得した位置情報を比較して無人航空機に搭載されたカメラの撮影方向を制御し、無人航空機から受信したカメラ映像に作業車両から受信した車速情報を含む車両情報を合成して画面の一部（たとえば、画面左上）に表示する作業車両の管理システムが知られている（たとえば、特許文献１参照）。 Conventionally, position information acquired by a first positioning device mounted on a work vehicle and a second positioning device mounted on an unmanned aerial vehicle are compared to control the shooting direction of a camera mounted on the unmanned aerial vehicle. 2. Description of the Related Art There is known a work vehicle management system that synthesizes vehicle information including vehicle speed information received from a work vehicle with a camera image received from an aircraft and displays it on a part of the screen (for example, the upper left corner of the screen). 1).

特開２０１９－１７６４１８号公報JP 2019-176418 A

ところで、作業車両の遠隔監視を行うにあたり、監視者の頭部に装着され、監視者が頭部を動かして視線を移した方向の映像（カメラ映像）を画面に表示するヘッドマウントディスプレイを用いることで、その場にいるような感覚の中で監視者が車両情報を取得することができる。 By the way, when remotely monitoring a work vehicle, a head-mounted display is used that is worn on the head of a supervisor and displays on the screen an image (camera image) in the direction in which the supervisor moves his/her head to shift his/her line of sight. Therefore, the monitor can obtain the vehicle information while feeling as if he/she is there.

しかしながら、上記したような従来の作業車両の管理システムにおいてヘッドマウントディスプレイを用いても、カメラ映像を表示する画面の一部に車両情報が固定されることになるため、監視者が車両情報を確認しにくいものとなる。 However, even if a head-mounted display is used in the above-described conventional work vehicle management system, the vehicle information is fixed to a part of the screen displaying the camera image. It becomes difficult.

本発明は、上記に鑑みてなされたものであって、ヘッドマウントディスプレイを用いて作業車両の遠隔監視を行う場合に監視者が車両情報を容易に確認することができる作業車両の管理システムを提供することを目的とする。 SUMMARY OF THE INVENTION The present invention has been made in view of the above, and provides a work vehicle management system that enables a supervisor to easily check vehicle information when remotely monitoring a work vehicle using a head-mounted display. intended to

上述した課題を解決し、目的を達成するために、実施形態に係る作業車両の管理システム（１）は、第１測位装置（４１）を有し、前記第１測位装置（４１）で取得した自己位置情報に基づいて、予め設定された予定走行経路（Ｒ）に沿って自律走行が可能な作業車両（１０）と、第２測位装置（４２）および広範囲の撮影が可能なカメラ（７０）を有し、前記第２測位装置（４２）で自己位置情報を取得するとともに、飛行しながら前記カメラ（７０）による撮影を行う飛行体（５０）と、モーションセンサ（１３２）および表示部（１３３）を有し、前記モーションセンサ（１３２）の検知に応じて前記カメラ（７０）で撮影されたカメラ映像を前記表示部（１３３）に表示するヘッドマウントディスプレイ（１３０）と、前記作業車両（１０）に関する情報を表示する表示オブジェクト（８０）を生成して仮想空間に前記表示オブジェクト（８０）を配置する制御装置（１００）とを備え、前記制御装置（１００）は、前記作業車両（１０）の自己位置（Ｐ１）と前記飛行体（５０）の自己位置（Ｐ２）から算出した前記カメラ（７０）の位置（Ｐ_Ｃ）とを結んだ線（Ｌ_Ｖ）上から外れるように前記表示オブジェクト（８０）を配置するとともに、前記カメラ映像に前記表示オブジェクト（８０）を合成することを特徴とする。 In order to solve the above-described problems and achieve the object, the work vehicle management system (1) according to the embodiment has a first positioning device (41), and the first positioning device (41) obtains A work vehicle (10) capable of autonomous travel along a preset planned travel route (R) based on self-location information, a second positioning device (42), and a camera (70) capable of photographing a wide range. and acquires self-location information with the second positioning device (42) and takes pictures with the camera (70) while flying, a motion sensor (132) and a display unit (133 ), and displays a camera image taken by the camera (70) in response to the detection of the motion sensor (132) on the display unit (133); the work vehicle (10 a control device (100) for generating a display object (80) displaying information related to the work vehicle (10) and arranging the display object (80) in a virtual space; and the position (P _C ) of the camera (70) calculated from the self-position ( _P2 ) of the flying object (50). (80) is arranged, and the display object (80) is combined with the camera image.

実施形態に係る作業車両の管理システムによれば、ヘッドマウントディスプレイを用いて作業車両の遠隔監視を行う場合に監視者が車両情報を容易に確認することができる。 According to the work vehicle management system according to the embodiment, a supervisor can easily confirm vehicle information when remotely monitoring a work vehicle using a head-mounted display.

図１は、実施形態に係る作業車両の管理システムの概要説明図である。FIG. 1 is a schematic explanatory diagram of a work vehicle management system according to an embodiment. 図２は、実施形態に係る作業車両の管理システムの機能ブロック図である。FIG. 2 is a functional block diagram of the work vehicle management system according to the embodiment. 図３は、ヘッドマウントディスプレイの機能ブロック図である。FIG. 3 is a functional block diagram of the head mounted display. 図４は、作業車両および飛行体の相対位置の説明図である。FIG. 4 is an explanatory diagram of the relative positions of the work vehicle and the aircraft. 図５は、作業車両および監視者の視点の相対位置の説明図である。FIG. 5 is an explanatory diagram of the relative positions of the viewpoints of the work vehicle and the observer. 図６は、表示オブジェクトの配置（その１）の説明図である。FIG. 6 is an explanatory diagram of the arrangement of display objects (part 1). 図７は、表示オブジェクトの配置（その２）の説明図である。FIG. 7 is an explanatory diagram of the arrangement of display objects (part 2). 図８は、表示オブジェクトの配置（その３）の説明図である。FIG. 8 is an explanatory diagram of arrangement of display objects (part 3). 図９は、表示オブジェクトの配置（その４）の説明図である。FIG. 9 is an explanatory diagram of arrangement of display objects (Part 4). 図１０は、表示オブジェクトの配置（その５）の説明図である。FIG. 10 is an explanatory diagram of arrangement of display objects (No. 5).

以下、添付図面を参照して本願の開示する作業車両の管理システムの実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。 Hereinafter, embodiments of a work vehicle management system disclosed in the present application will be described in detail with reference to the accompanying drawings. In addition, this invention is not limited by embodiment shown below.

＜作業車両の管理システムの概要＞
まず、図１および２を参照して作業車両の管理システム１の概要について説明する。図１は、実施形態に係る作業車両の管理システム１の概要説明図である。図２は、実施形態に係る作業車両の管理システム１の機能ブロック図である。 <Overview of work vehicle management system>
First, an overview of a work vehicle management system 1 will be described with reference to FIGS. FIG. 1 is a schematic explanatory diagram of a work vehicle management system 1 according to an embodiment. FIG. 2 is a functional block diagram of the work vehicle management system 1 according to the embodiment.

なお、図１を含む各図には、鉛直上向き（上方）を正方向とするＺ軸を含む３次元の直交座標系を示している場合がある。また、以下では、Ｘ軸の正方向を左方、Ｘ軸の負方向を右方、Ｙ軸の正方向を前方、Ｙ軸の負方向を後方と規定し、Ｘ軸方向を左右方向、Ｙ軸方向を前後方向、Ｚ軸方向を上下方向という場合がある。 Each figure including FIG. 1 may show a three-dimensional orthogonal coordinate system including a Z-axis whose positive direction is vertically upward (upward). Further, hereinafter, the positive direction of the X axis is defined as left, the negative direction of the X axis is defined as right, the positive direction of the Y axis is defined as forward, and the negative direction of the Y axis is defined as rearward. The axial direction may be referred to as the front-rear direction, and the Z-axis direction may be referred to as the vertical direction.

図１に示すように、実施形態に係る作業車両の管理システム（以下、単に、管理システムという）１は、農業用トラクタなどの作業車両（以下、トラクタという）１０と、トラクタ１０の現在位置を示す自己位置情報（自己位置Ｐ１）を取得する第１測位装置４１と、カメラ７０を有する飛行体５０と、飛行体５０（カメラ７０）の現在位置を示す自己位置情報（自己位置Ｐ２）を取得する第２測位装置４２と、トラクタ１０による作業関連情報を生成可能な制御ユニットである制御装置１００（図２参照）と、制御装置１００と通信可能な情報処理端末１２０と、ヘッドマウントディスプレイ１３０とを備える。 As shown in FIG. 1, a work vehicle management system (hereinafter simply referred to as a management system) 1 according to the embodiment includes a work vehicle (hereinafter referred to as a tractor) 10 such as an agricultural tractor and the current position of the tractor 10. a first positioning device 41 for obtaining self-position information (self-position P1) indicated by the arrow, a flying object 50 having a camera 70, and obtaining self-position information (self-position P2) indicating the current position of the flying object 50 (camera 70) a second positioning device 42, a control device 100 (see FIG. 2) which is a control unit capable of generating work-related information by the tractor 10, an information processing terminal 120 capable of communicating with the control device 100, and a head mounted display 130 Prepare.

トラクタ１０は、圃場Ｆを走行可能な走行車体２０と、作業機３０とを備える。走行車体２０は、たとえば、左右一対の前輪と、左右一対の後輪とを備える。この場合、前輪は、たとえば、操舵輪であり、後輪は、たとえば、駆動輪である。なお、以下では、トラクタ１０や走行車体２０のことを「機体」という場合がある。 The tractor 10 includes a traveling vehicle body 20 capable of traveling in a field F and a working machine 30 . The traveling vehicle body 20 includes, for example, a pair of left and right front wheels and a pair of left and right rear wheels. In this case, the front wheels are, for example, steering wheels, and the rear wheels are, for example, driving wheels. In addition, below, the tractor 10 and the traveling vehicle body 20 may be referred to as a "body".

また、走行車体２０は、動力源であるエンジンＥ（図２参照）と、エンジンＥの動力を駆動輪や作業機３０へと伝達する動力伝達装置（機体の走行速度（車速）を変更（変速）する変速装置６１（図２参照）を含む）と、機体を操舵するステアリング装置６２（図２参照）とを備え、圃場Ｆ内や農道を自由に走行することができる。なお、エンジンＥには、ディーゼル機関やガソリン機関などの熱機関が用いられる。 In addition, the traveling vehicle body 20 includes an engine E (see FIG. 2) that is a power source, and a power transmission device that transmits the power of the engine E to the driving wheels and the working machine 30 (changing the traveling speed (vehicle speed) of the machine body (transmission speed). ) and a steering device 62 (see FIG. 2) for steering the machine body, the robot can freely travel in the field F or on the farm road. As the engine E, a heat engine such as a diesel engine or a gasoline engine is used.

また、たとえば、走行車体２０の後部には、後述する作業機３０を装着可能なＰＴＯ（Power Take-Off）軸（図示せず）を有するＰＴＯ装置が設けられる。なお、走行車体２０は、作業機３０を昇降させるための昇降装置６３（図２参照）を備える。昇降装置６３は、たとえば、リフトアームと、油圧シリンダとを備え、リフトアームに対して油圧による駆動力を付与することで、作業機３０を昇降する。 Further, for example, a PTO device having a PTO (Power Take-Off) shaft (not shown) to which a working machine 30 described below can be attached is provided at the rear portion of the traveling vehicle body 20 . The traveling vehicle body 20 includes an elevating device 63 (see FIG. 2) for elevating the working machine 30. As shown in FIG. The lifting device 63 includes, for example, a lift arm and a hydraulic cylinder, and applies a hydraulic driving force to the lift arm to lift the work implement 30 .

作業機３０は、たとえば、走行車体２０の後部に取り付けられるロータリ耕耘機である。ロータリ耕耘機は、走行車体２０のＰＴＯ軸からの動力で回転する耕耘爪を備え、耕耘爪によって土壌を耕起する。なお、作業機３０としては、ロータリ耕耘機の他にも、たとえば、作業車両が田植機の場合の苗植付装置、作業車両が施肥機の場合の施肥装置などがある。また、たとえば、作業車両がコンバインの場合は、刈取り部や脱穀部などが作業機３０となる。上記した例は一例であり、圃場Ｆにおいて農作業を行うための作業機３０であればとくに限定されるものではない。 Work implement 30 is, for example, a rotary tiller attached to the rear portion of traveling vehicle body 20 . The rotary tiller has tillage tines that are rotated by power from the PTO shaft of the traveling vehicle body 20, and plows the soil with the tillage tines. In addition to the rotary tiller, the working machine 30 may be, for example, a seedling planting device when the working vehicle is a rice transplanter, or a fertilizing device when the working vehicle is a fertilizer applicator. Further, for example, when the working vehicle is a combine harvester, the working machine 30 is a harvesting section, a threshing section, or the like. The example described above is only an example, and the work machine 30 for performing farm work in the field F is not particularly limited.

また、作業機３０は、昇降装置６３を介して、走行車体２０に昇降可能に取り付けられる。 In addition, the working machine 30 is attached to the traveling vehicle body 20 via the lifting device 63 so as to be able to move up and down.

第１測位装置４１は、トラクタ１０（走行車体２０）に設けられ、トラクタ１０（走行車体２０）の自己位置情報を取得する。第１測位装置４１は、たとえば、ＧＮＳＳ（Global Navigation Satellite System）制御装置であり、地球上を周回している航法衛星１５０からの電波を受信してトラクタ１０（走行車体２０）の自己位置Ｐ１を測位可能であり、かつ、計時することができる。 The first positioning device 41 is provided in the tractor 10 (running vehicle body 20) and acquires the self-location information of the tractor 10 (running vehicle body 20). The first positioning device 41 is, for example, a GNSS (Global Navigation Satellite System) control device, receives radio waves from a navigation satellite 150 orbiting the earth, and determines the self-position P1 of the tractor 10 (the traveling vehicle body 20). It is positionable and can be timed.

飛行体５０は、たとえば、ドローンなどの無人飛行体である。飛行体（以下、ドローンという）５０は、トラクタ１０に追従するようにトラクタ１０の周囲を飛行したり、トラクタ１０から離れて圃場Ｆの上空を飛行したりするよう制御される。ドローン５０には、第２測位装置４２と、カメラ７０が設けられる。 The flying object 50 is, for example, an unmanned flying object such as a drone. A flying object (hereinafter referred to as a drone) 50 is controlled to fly around the tractor 10 so as to follow the tractor 10 or fly over the field F away from the tractor 10 . The drone 50 is provided with a second positioning device 42 and a camera 70 .

第２測位装置４２は、ドローン５０（すなわち、ドローン５０に搭載されるカメラ７０）の自己位置情報を取得する。第２測位装置４２は、たとえば、ＧＮＳＳ制御装置であり、地球上を周回している航法衛星１５０からの電波を受信してドローン５０（カメラ７０）の自己位置Ｐ２を測位可能であり、かつ、計時することができる。 The second positioning device 42 acquires the self-location information of the drone 50 (that is, the camera 70 mounted on the drone 50). The second positioning device 42 is, for example, a GNSS control device, is capable of receiving radio waves from a navigation satellite 150 orbiting the earth and positioning the self-position P2 of the drone 50 (camera 70), and can be timed.

カメラ７０は、上記したように、ドローン５０に搭載され、ドローン５０からの圃場Ｆの様子を撮影する。すなわち、カメラ７０は、作業者がドローンから圃場Ｆを見たのと同じような映像となるように撮影を行う。また、カメラ７０は、広範囲の撮影が可能な、いわゆる３６０°カメラである。 The camera 70 is mounted on the drone 50 and photographs the state of the farm field F from the drone 50, as described above. That is, the camera 70 shoots an image similar to that of the field F viewed by the operator from a drone. Also, the camera 70 is a so-called 360° camera capable of photographing in a wide range.

制御装置１００（図２参照）は、トラクタ１０が自律走行可能な走行エリア情報を含む作業関連情報や、トラクタ１０における車速やＰＴＯ回転数などの車両情報を生成することができる。なお、走行エリア情報とは、たとえば、図１に示すように、所定の圃場Ｆにおいて、トラクタ１０が自律走行することにより圃場Ｆ内における有効な耕地の最外側縁から逸脱することなく、安全に無人走行可能な経路（後述する予定走行経路Ｒ）を含む情報である。 The control device 100 (see FIG. 2) can generate work-related information including travel area information in which the tractor 10 can autonomously travel, and vehicle information such as the vehicle speed and PTO rotation speed of the tractor 10 . For example, as shown in FIG. 1, the tractor 10 autonomously travels safely in a predetermined field F without deviating from the outermost edge of the effective cultivated land in the field F. This information includes a route on which unmanned travel is possible (scheduled travel route R described later).

情報処理端末１２０は、たとえば、農作業支援サーバやパーソナルコンピュータを備える。また、情報処理端末１２０は、制御部１２１（図２参照）を備える。情報処理端末１２０として、農作業支援サーバやパーソナルコンピュータ（制御部１２１）は、通信ネットワーク２００（図２参照）を介して、トラクタ１０の制御部１１０や後述するヘッドマウントディスプレイ１３０の制御部１３１（図３参照）などと接続される。なお、本実施形態では、たとえば、図１に示すように、パーソナルコンピュータからなる１つの情報処理端末１２０が、圃場Ｆを含む複数の圃場を管理する管理舎Ｈ内に設置される。 The information processing terminal 120 includes, for example, an agricultural work support server and a personal computer. The information processing terminal 120 also includes a control unit 121 (see FIG. 2). As the information processing terminal 120, an agricultural work support server or a personal computer (control unit 121) communicates with the control unit 110 of the tractor 10 or a control unit 131 (FIG. 3) and so on. In this embodiment, for example, as shown in FIG. 1, one information processing terminal 120 composed of a personal computer is installed in a management building H that manages a plurality of farm fields including farm field F. FIG.

なお、情報処理端末１２０は、圃場Ｆを含む複数の圃場について、それぞれ圃場識別情報に関連付けられた圃場地図情報を記憶している。また、情報処理端末１２０は、たとえば、各種情報を取得して、複数の圃場ごとに独立して記憶することができる。また、情報処理端末１２０は、たとえば、作業者が携行可能なタブレット端末などであってもよい。 Note that the information processing terminal 120 stores farm field map information associated with each of the farm field identification information for a plurality of farm fields including the farm field F. FIG. In addition, the information processing terminal 120 can, for example, acquire various types of information and store them independently for each of a plurality of farm fields. Also, the information processing terminal 120 may be, for example, a tablet terminal that can be carried by the worker.

ヘッドマウントディスプレイ１３０は、たとえば、管理舎Ｈなどの舎内にいながらトラクタ１０の自律作業を遠隔監視する作業者（監視者）Ｗの頭部に装着される。ヘッドマウントディスプレイ１３０は、監視者Ｗが頭部を動かして視線を移した方向の映像（カメラ７０で撮影された映像であり、以下、カメラ映像という）を表示部１３３（図３参照）において表示する。ヘッドマウントディスプレイ１３０を用いることで、監視者Ｗが飛行するドローン５０から見下ろすような臨場感で遠隔監視を行うことができる。 The head-mounted display 130 is worn on the head of a worker (monitor) W who remotely monitors the autonomous work of the tractor 10 while in a building such as the management building H, for example. The head-mounted display 130 displays an image (image captured by the camera 70, hereinafter referred to as a camera image) in the direction in which the observer W moves his/her head to shift his line of sight, on the display unit 133 (see FIG. 3). do. By using the head-mounted display 130 , remote monitoring can be performed with a sense of realism as if the observer W were looking down from the flying drone 50 .

図２に示すように、管理システム１は、トラクタ１０が、通信ネットワーク２００を介して、情報処理端末１２０、ヘッドマウントディスプレイ１３０およびドローン５０と互いに接続可能な状態で構築されている。なお、管理システム１は、トラクタ１０の制御部１１０、情報処理端末１２０の制御部１２１、ヘッドマウントディスプレイ１３０の制御部１３１を備え、いわゆるクラウドコンピューティング（Cloud Computing）が可能なシステムである。 As shown in FIG. 2 , the management system 1 is constructed such that the tractor 10 can be connected to the information processing terminal 120 , the head mounted display 130 and the drone 50 via the communication network 200 . The management system 1 includes the control unit 110 of the tractor 10, the control unit 121 of the information processing terminal 120, and the control unit 131 of the head mounted display 130, and is a system capable of so-called cloud computing.

また、図２に示すように、制御部１１０は、エンジンＥＣＵ（Electronic Control Unit）１１１と、走行系ＥＣＵ１１２と、作業機昇降系ＥＣＵ１１３とを備える。エンジンＥＣＵ１１１は、エンジンＥの回転数を制御する。走行系ＥＣＵ１１２は、駆動輪（後輪）の回転を制御することで、トラクタ１０の走行速度を制御する。作業機昇降系ＥＣＵ１１３は、昇降装置６３を制御して作業機３０の昇降を制御する。 Further, as shown in FIG. 2 , the control unit 110 includes an engine ECU (Electronic Control Unit) 111 , a traveling system ECU 112 , and a work machine lifting system ECU 113 . The engine ECU 111 controls the engine E rotation speed. The travel system ECU 112 controls the travel speed of the tractor 10 by controlling the rotation of the drive wheels (rear wheels). The work machine lifting system ECU 113 controls the lifting device 63 to control the lifting of the work machine 30 .

制御部１１０は、電子制御によって各部を制御することが可能であり、ＣＰＵ（Central Processing Unit）などを有する処理部をはじめ、各種プログラムや、たとえば、圃場Ｆごとに予め設定された予定走行経路Ｒ（図１参照）などの必要なデータ類が記憶される、たとえば、ハードディスク、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などで構成される記憶部などを備える。 The control unit 110 can control each part by electronic control, including a processing unit having a CPU (Central Processing Unit), various programs, for example, a planned traveling route R set in advance for each field F (See FIG. 1) and other necessary data are stored.

制御部１１０には、第１測位装置（ＧＮＳＳ）４１、方位角センサ６４、エンジン回転センサ６５、車速センサ６６、操舵角センサ６７、ＰＴＯ回転数センサ６８などが接続される。また、制御部１１０には、エンジンＥ、変速装置６１、ステアリング装置６２、昇降装置６３などが接続される。 A first positioning device (GNSS) 41, an azimuth sensor 64, an engine speed sensor 65, a vehicle speed sensor 66, a steering angle sensor 67, a PTO speed sensor 68, and the like are connected to the control unit 110. FIG. Also, the control unit 110 is connected to the engine E, the transmission device 61, the steering device 62, the lifting device 63, and the like.

方位角センサ６４は、トラクタ１０の方位角を検出する。方位角センサ６４は、たとえば、トラクタ１０の進行方向の絶対方位角（たとえば、「北」を０°（３６０°）として、「東」を９０°、「南」を１８０°、「西」を２７０°）を検出する。方位角センサ６４は、一定時間ごとに絶対方位角を検出し、検出した絶対方位角を制御部１１０などへ送信する。なお、方位角センサ６４に代えて、たとえば、地磁気センサなどで方位角を検出することも可能である。 Azimuth angle sensor 64 detects the azimuth angle of tractor 10 . The azimuth angle sensor 64 detects, for example, the absolute azimuth angle of the traveling direction of the tractor 10 (for example, "north" is 0° (360°), "east" is 90°, "south" is 180°, and "west" is 270°) is detected. Azimuth angle sensor 64 detects an absolute azimuth angle at regular time intervals, and transmits the detected absolute azimuth angle to control unit 110 or the like. Instead of the azimuth angle sensor 64, it is also possible to detect the azimuth angle with, for example, a geomagnetic sensor.

エンジン回転センサ６５は、エンジンＥの回転数を検出する。車速センサ６６は、トラクタ１０の走行速度（車速）を検出する。操舵角センサ６７は、操舵輪（前輪）の切れ角を検出する。ＰＴＯ回転数センサ６８は、ＰＴＯ軸の回転数を検出する。 The engine rotation sensor 65 detects the engine E rotation speed. A vehicle speed sensor 66 detects the travel speed (vehicle speed) of the tractor 10 . A steering angle sensor 67 detects the steering angle of the steered wheels (front wheels). A PTO rotation speed sensor 68 detects the rotation speed of the PTO shaft.

制御部１１０には、第１測位装置４１から圃場Ｆ（図１参照）などにおけるトラクタ１０の自己位置情報（自己位置Ｐ１）、エンジン回転センサ６５からエンジンＥの回転数、車速センサ６６からトラクタ１０の車速、操舵角センサ６７から操舵輪（前輪）の切れ角がそれぞれ入力される。なお、制御部１１０は、トラクタ１０を自律走行させる場合、上記したように、操舵角センサ６７の検出値を用いて、操舵輪（前輪）の切れ角をフィードバックしながらステアリングホイール（図示せず）に連結されたステアリングシリンダ（図示せず）を制御することで、ステアリングホイールを操舵する。 The control unit 110 receives the self-position information (self-position P1) of the tractor 10 in the field F (see FIG. 1) from the first positioning device 41, the rotation speed of the engine E from the engine rotation sensor 65, and the tractor 10 from the vehicle speed sensor 66. , and the steering angle of the steered wheels (front wheels) from the steering angle sensor 67 are input. When the tractor 10 is caused to travel autonomously, the control unit 110 uses the detection value of the steering angle sensor 67 to feed back the turning angle of the steered wheels (front wheels) as described above. The steering wheel is steered by controlling a steering cylinder (not shown) connected to the .

また、制御部１１０においては、エンジンＥＣＵ１１１がエンジンＥに接続され、走行系ＥＣＵ１１２が変速装置６１やステアリング装置６２に接続され、作業機昇降系ＥＣＵ１１３が昇降装置６３に接続される。なお、作業機昇降系ＥＣＵ１１３は、昇降装置６３を介して作業機３０を昇降させる。 In the control unit 110 , an engine ECU 111 is connected to the engine E, a traveling system ECU 112 is connected to the transmission 61 and the steering device 62 , and a work machine lifting system ECU 113 is connected to the lifting device 63 . The work machine lifting system ECU 113 raises and lowers the work machine 30 via the lifting device 63 .

また、制御部１１０においては、トラクタ１０を自律走行させる場合には、作業機３０による作業内容に応じた予定走行経路Ｒ（図１参照）が圃場ごとに定められ、データ化されて記憶部に記憶される。制御部１１０は、第１測位装置４１の測定結果に基づいて作成した予定走行経路Ｒに沿って走行しながら作業を行うように、エンジンＥ、変速装置６１、ステアリング装置６２、昇降装置６３などを制御する。 Further, in the control unit 110, when the tractor 10 is caused to travel autonomously, a planned travel route R (see FIG. 1) corresponding to the work performed by the working machine 30 is determined for each field, converted into data, and stored in the storage unit. remembered. The control unit 110 controls the engine E, the transmission device 61, the steering device 62, the lifting device 63, and the like so as to perform work while traveling along the planned travel route R created based on the measurement result of the first positioning device 41. Control.

予定走行経路Ｒは、圃場Ｆ（図１参照）の形状、大きさ、圃場Ｆ内に形成された畝の幅、長さおよび本数、さらには、作物の種類などに応じて設定される。図１に示すように、予定走行経路Ｒは、直進経路Ｒ_Ｓと、直進経路Ｒ_Ｓから次の直進経路Ｒ_Ｓへ移動するために２つの直進経路Ｒ_Ｓを接続する旋回経路Ｒ_Ｔとを有する。そして、制御部１１０は、予定走行経路Ｒに沿って自律走行させるようトラクタ１０を制御する。 The planned travel route R is set according to the shape and size of the field F (see FIG. 1), the width, length and number of ridges formed in the field F, the type of crop, and the like. As shown in FIG. 1, the planned travel route R includes a straight route _RS and a turning route _RT that connects the two straight routes RS to move from one straight route _RS to the next straight route _RS _. have. Then, the control unit 110 controls the tractor 10 to autonomously travel along the planned travel route R.

ドローン５０は、上記したように、第２測位装置４２と、カメラ７０とを備える。ドローン５０では、ドローン５０の現在の自己位置情報（自己位置Ｐ２）およびカメラ７０で撮影した映像（カメラ映像）を制御装置１００へ向けて送信する。 The drone 50 includes the second positioning device 42 and the camera 70 as described above. The drone 50 transmits the current self-position information (self-position P2) of the drone 50 and the image (camera image) captured by the camera 70 to the control device 100 .

また、図２に示すように、制御部１１０は、情報処理端末１２０（制御部１２１）、ヘッドマウントディスプレイ（制御部１３１）およびドローン５０と通信ネットワーク２００を介して無線接続される。管理システム１において、制御装置１００は、トラクタ１０の制御部１１０と、情報処理端末１２０の制御部１２１と、ヘッドマウントディスプレイ１３０の制御部１３１とによって構成される。なお、制御装置１００は、３つの制御部１１０，１２１，１３１のうちいずれか１つ、または２つで構成されてもよい。たとえば、制御装置１００がトラクタ１０の制御部１１０のみで構成される場合、情報処理端末１２０（制御部１２１）やヘッドマウントディスプレイ１３０（制御部１３１）が行う処理も制御部１１０で行う。 Also, as shown in FIG. 2 , the control unit 110 is wirelessly connected to the information processing terminal 120 (control unit 121 ), the head mounted display (control unit 131 ), and the drone 50 via the communication network 200 . In the management system 1 , the control device 100 is configured by the control section 110 of the tractor 10 , the control section 121 of the information processing terminal 120 , and the control section 131 of the head mounted display 130 . Note that the control device 100 may be configured with one or two of the three control units 110 , 121 , and 131 . For example, when the control device 100 is composed only of the control unit 110 of the tractor 10, the processing performed by the information processing terminal 120 (control unit 121) and the head mounted display 130 (control unit 131) is also performed by the control unit 110.

なお、制御装置１００（たとえば、情報処理端末１２０の制御部１２１）は、たとえば、トラクタ１０の機体情報データベースを有し、機体の型式などの情報の受け渡しを、作業者が携行するタブレット端末などから行えるように構成されてもよい。 Note that the control device 100 (for example, the control unit 121 of the information processing terminal 120) has, for example, a machine information database of the tractor 10, and exchanges information such as the model of the machine from a tablet terminal or the like carried by the operator. It may be configured to allow

また、情報処理端末１２０の制御部１２１は、上記した制御部１１０と同様、電子制御によって各部を制御することが可能であり、ＣＰＵなどを有する処理部をはじめ、各種プログラムやトラクタ１０の予定走行経路Ｒなどの必要なデータ類が記憶される、たとえば、ハードディスク、ＲＯＭ、ＲＡＭなどで構成される記憶部などを備える。 In addition, the control unit 121 of the information processing terminal 120, like the control unit 110 described above, can control each unit by electronic control. For example, a storage unit configured by a hard disk, ROM, RAM, etc. is provided in which necessary data such as the route R are stored.

＜ヘッドマウントディスプレイ＞
次に、図３を参照してヘッドマウントディスプレイ１３０について説明する。図３は、ヘッドマウントディスプレイ１３０の機能ブロック図である。 <Head-mounted display>
Next, the head mounted display 130 will be described with reference to FIG. FIG. 3 is a functional block diagram of the head mounted display 130. As shown in FIG.

ヘッドマウントディスプレイ１３０は、作業者（監視者）Ｗに対して、現実の映像、すなわち、カメラ７０で撮影された映像（カメラ映像）に、架空の映像（後述する表示オブジェクト８０）を重ねて（カメラ映像と表示オブジェクト８０とを合成して）表示部１３３に表示する。 The head-mounted display 130 superimposes a fictitious image (a display object 80 to be described later) on a real image, that is, an image (camera image) taken by the camera 70 to the worker (monitor) W ( The camera image and the display object 80 are combined) and displayed on the display unit 133 .

ヘッドマウントディスプレイ１３０は、制御部１３１と、モーションセンサ１３２と、表示部１３３とを備える。制御部１３１は、たとえば、カメラ映像および監視者Ｗの頭部の動きにあわせて、表示オブジェクト８０を表示させる位置や、表示オブジェクト８０の表示サイズなどを制御する。 Head-mounted display 130 includes control unit 131 , motion sensor 132 , and display unit 133 . The control unit 131 controls, for example, the position where the display object 80 is displayed, the display size of the display object 80, and the like in accordance with the camera image and the movement of the head of the monitor W. FIG.

制御部１３１は、たとえば、映像取得部１３１１と、情報取得部１３１２と、表示生成部１３１３と、表示合成部１３１４と、映像出力部１３１５とを備える。 The control unit 131 includes, for example, a video acquisition unit 1311, an information acquisition unit 1312, a display generation unit 1313, a display synthesis unit 1314, and a video output unit 1315.

映像取得部１３１１は、カメラ７０で撮影されたカメラ映像（映像データ）を取得する。情報取得部１３１２は、たとえば、トラクタ１０（図１参照）や情報処理端末１２０（図２参照）が有する、エンジン回転数や車速などの走行状況、ＰＴＯ回転数や作業機３０（図１参照）の高さなどの作業状況などのトラクタ１０に関する情報（以下、車両情報という）などを、トラクタ１０や情報処理端末１２０から取得する。 The video acquisition unit 1311 acquires camera video (video data) captured by the camera 70 . The information acquisition unit 1312 obtains, for example, the driving conditions such as the engine rotation speed and vehicle speed, the PTO rotation speed, and the working machine 30 (see FIG. 1), which the tractor 10 (see FIG. 1) and the information processing terminal 120 (see FIG. 2) have. Information about the tractor 10 such as working conditions such as the height of the tractor (hereinafter referred to as vehicle information) is acquired from the tractor 10 and the information processing terminal 120 .

なお、車両情報としては、エンジン回転数情報、車速情報、ＰＴＯ回転数情報の他にも、主変速情報、副変速情報、エンジン温度情報、燃料残量情報、トラクタの累積稼働時間情報などがある。 In addition to the engine speed information, vehicle speed information, and PTO speed information, the vehicle information includes main transmission information, sub-transmission information, engine temperature information, remaining amount of fuel information, accumulated operating time information of the tractor, and the like. .

表示生成部１３１３は、上記した車両情報などを表示する表示オブジェクト８０（図５参照）を生成する。表示合成部１３１４は、カメラ映像と、表示生成部１３１３で生成した表示オブジェクト８０とを合成する。 The display generation unit 1313 generates the display object 80 (see FIG. 5) that displays the vehicle information described above. The display synthesizing unit 1314 synthesizes the camera image and the display object 80 generated by the display generating unit 1313 .

この場合、制御部１３１は、トラクタ１０（図１参照）で作業を行う圃場Ｆ（図１参照）の位置情報および形状情報を有し、表示合成部１３１４において、圃場Ｆと対応する仮想空間に、生成した表示オブジェクト８０を配置する。なお、圃場Ｆの位置情報および形状情報などは、たとえば、情報処理端末１２０の制御部１２１（図２参照）が有し、圃場Ｆの位置情報および形状情報などをヘッドマウントディスプレイ１３０側で受け取るように構成されてもよい。 In this case, the control unit 131 has position information and shape information of the field F (see FIG. 1) to be worked by the tractor 10 (see FIG. 1). , to place the generated display object 80 . It should be noted that the position information and shape information of the farm field F are owned by, for example, the control unit 121 (see FIG. 2) of the information processing terminal 120, and the position information and shape information of the farm field F are received by the head mounted display 130 side. may be configured to

映像出力部１３１５は、表示合成部１３１４で合成された映像を後述する表示部１３３へ出力する。 The video output unit 1315 outputs the video synthesized by the display synthesizing unit 1314 to the display unit 133 which will be described later.

また、制御部１３１は、上記した制御部１１０，１２１と同様、電子制御によって各部を制御することが可能であり、ＣＰＵなどを有する処理部をはじめ、各種プログラムやトラクタ１０の予定走行経路Ｒなどの必要なデータ類が記憶される、たとえば、ハードディスク、ＲＯＭ、ＲＡＭなどで構成される記憶部などを備える。 Further, the control unit 131, like the control units 110 and 121 described above, can control each unit by electronic control. A storage unit configured by, for example, a hard disk, a ROM, a RAM, etc. is provided in which necessary data are stored.

モーションセンサ１３２は、たとえば、角速度センサである。なお、モーションセンサ１３２は、加速度センサでもよいし、角速度センサと加速度センサとを組み合わせた複合センサでもよい。モーションセンサ１３２は、たとえば、ヘッドマウントディスプレイ１３０の本体に組み込まれる。なお、モーションセンサ１３２は、ヘッドマウントディスプレイ１３０を監視者Ｗの頭部に装着するためのバンド部分に組み込まれてもよい。 Motion sensor 132 is, for example, an angular velocity sensor. Note that the motion sensor 132 may be an acceleration sensor or a composite sensor combining an angular velocity sensor and an acceleration sensor. Motion sensor 132 is incorporated into the main body of head mounted display 130, for example. Note that the motion sensor 132 may be incorporated in a band portion for mounting the head-mounted display 130 on the head of the observer W.

モーションセンサ１３２は、監視者Ｗの頭部の動きを検出することで、監視者Ｗが現実の画像（カメラ映像）のどこを見ているかを推定する。たとえば、モーションセンサ１３２が角速度センサの場合、トラクタ１０の左右いずれかへの旋回に伴い監視者Ｗが左右いずれかを向いた場合には、監視者Ｗの頭部が回転する。モーションセンサ１３２は、監視者Ｗの頭部の回転を検出して、監視者Ｗの視点の位置を推定することができる。 The motion sensor 132 detects the movement of the head of the supervisor W, thereby estimating where the supervisor W is looking in the actual image (camera image). For example, when the motion sensor 132 is an angular velocity sensor, the head of the observer W rotates when the observer W turns left or right as the tractor 10 turns left or right. The motion sensor 132 can detect the rotation of the head of the observer W and estimate the position of the observer W's viewpoint.

また、たとえば、モーションセンサ１３２が加速度センサの場合、たとえば、Ｚ軸方向の加速度を検出して監視者Ｗの頭部の上下方向の変位を検出し、Ｘ軸方向の加速度を検出して監視者Ｗの頭部の左右方向の変位を検出する。このように、モーションセンサ１３２は、監視者Ｗの頭部の上下左右の変位を検出して、監視者Ｗの視点の位置を推定することができる。なお、モーションセンサ１３２が複合センサの場合には、監視者Ｗの頭部の回転と監視者Ｗの頭部の上下左右の変位との両方を検出して、監視者Ｗの視点の位置を推定することができる。 Further, for example, when the motion sensor 132 is an acceleration sensor, for example, the acceleration in the Z-axis direction is detected to detect the vertical displacement of the head of the observer W, and the acceleration in the X-axis direction is detected to detect the displacement of the observer W's head. The lateral displacement of W's head is detected. In this way, the motion sensor 132 can detect the vertical and horizontal displacements of the head of the observer W and estimate the position of the observer W's viewpoint. If the motion sensor 132 is a compound sensor, the position of the observer W's viewpoint is estimated by detecting both the rotation of the observer W's head and the vertical and horizontal displacement of the observer W's head. can do.

表示部１３３は、表示画面（表示ディスプレイ）であり、カメラ映像や表示オブジェクト８０を表示する。 The display unit 133 is a display screen (display), and displays camera images and display objects 80 .

＜表示オブジェクトの配置＞
次に、図４～１０を参照して表示オブジェクト８０の配置について説明する。図４は、作業車両（トラクタ）１０および飛行体（ドローン）５０の相対位置の説明図である。図５は、作業車両（トラクタ）１０および監視者Ｗの視点の相対位置の説明図である。 <Placement of display objects>
Next, the arrangement of the display objects 80 will be described with reference to FIGS. 4 to 10. FIG. FIG. 4 is an explanatory diagram of the relative positions of the work vehicle (tractor) 10 and the flying object (drone) 50. As shown in FIG. FIG. 5 is an explanatory diagram of the relative positions of the viewpoints of the work vehicle (tractor) 10 and the observer W. FIG.

図４に示すように、トラクタ１０とドローン５０との相対位置は、第１測位装置４１によって取得されたトラクタ１０の自己位置Ｐ１と、第２測位装置４２（図１参照）によって取得されたドローン５０の自己位置Ｐ２とから算出から算出される。 As shown in FIG. 4, the relative positions of the tractor 10 and the drone 50 are the self-position P1 of the tractor 10 obtained by the first positioning device 41 and the position of the drone obtained by the second positioning device 42 (see FIG. 1). It is calculated from the self-position P2 of 50 and the calculation from the calculation.

この場合、たとえば、トラクタ１０を基準とするドローン５０の左右方向相対位置ｄｘは、トラクタ１０の自己位置Ｐ１を中心としてトラクタ１０の右方向を正とした値で算出される。前後方向相対位置ｄｙは、トラクタ１０の後方向を正とした値で算出される。なお、上下方向相対位置ｄｚは、たとえば、ドローン５０のレーダ（図示せず）で取得される地面との距離が適用される。 In this case, for example, the relative position dx in the left-right direction of the drone 50 with respect to the tractor 10 is calculated as a value with the self-position P1 of the tractor 10 as the center and the right direction of the tractor 10 as positive. The front-rear direction relative position dy is calculated as a value with the rearward direction of the tractor 10 being positive. For the vertical relative position dz, for example, the distance to the ground obtained by a radar (not shown) of the drone 50 is applied.

ドローン５０のヨー角に関するカメラ７０の位置（カメラ位置）Ｐ_Ｃは、前後方向相対位置ｄｙおよび左右方向相対位置ｄｘの比から求められる角度ａ１に基づいて制御される。また、ドローン５０のピッチ角に関するカメラ位置Ｐ_Ｃは、上下方向相対位置ｄｚおよび前後方向相対位置ｄｙの比から求められる角度ａ２に基づいて制御される。このように、カメラ７０は、常にトラクタ１０を撮影するようにその向きが制御される。これにより、ヘッドマウントディスプレイ１３０の表示部１３３（図５参照）には、常にトラクタ１０が表示される。なお、カメラ７０の向きの制御は、サーボモータ（図示せず）によって行う。 The position (camera position) _PC of the camera 70 with respect to the yaw angle of the drone 50 is controlled based on the angle a1 obtained from the ratio of the longitudinal relative position dy and the lateral relative position dx. Also, the camera position P _C with respect to the pitch angle of the drone 50 is controlled based on the angle a2 obtained from the ratio of the vertical relative position dz and the longitudinal relative position dy. In this way, the orientation of the camera 70 is controlled so as to always photograph the tractor 10 . As a result, the tractor 10 is always displayed on the display section 133 (see FIG. 5) of the head mounted display 130 . The orientation of the camera 70 is controlled by a servomotor (not shown).

図５に示すように、監視者Ｗは、ヘッドマウントディスプレイ１３０の表示部１３３を介して、トラクタ１０を監視可能となる。この場合、制御装置１００は、トラクタ１０の自己位置Ｐ１と、ドローン５０（図４参照）の自己位置Ｐ２（図４参照）から算出したカメラ位置Ｐ_Ｃとを結んだ線Ｌ_Ｖ上から外れるように表示オブジェクト８０を配置する。なお、制御装置１００は、上記したように、カメラ映像と表示オブジェクト８０とを合成して表示する。 As shown in FIG. 5 , the supervisor W can monitor the tractor 10 via the display section 133 of the head mounted display 130 . In this case, the control device 100 deviates from the _{line LV} _connecting the self-position P1 of the tractor 10 and the camera position PC calculated from the self-position P2 (see FIG. 4) of the drone 50 (see FIG. 4). , the display object 80 is arranged. Note that, as described above, the control device 100 synthesizes and displays the camera image and the display object 80 .

図６～１０は、表示オブジェクト８０の配置の説明図である。なお、図６～８には、圃場Ｆを斜め上方から見た状態を示し、圃場Ｆの内外に表示オブジェクト８０が配置された状態を仮想的に示している。また、図９および１０には、圃場Ｆを走行するトラクタ１０を後方から見た状態を示し、圃場Ｆと共に表示オブジェクト８０が配置された状態を仮想的に示している。 6 to 10 are explanatory diagrams of the layout of the display object 80. FIG. 6 to 8 show the state of the farm field F viewed obliquely from above, and show a state in which the display objects 80 are arranged inside and outside the farm field F in a virtual manner. 9 and 10 show the state of the tractor 10 traveling in the field F viewed from the rear, and virtually show the state in which the display object 80 is arranged together with the field F. FIG.

なお、表示オブジェクト８０は、たとえば、パネル状のオブジェクトであり、上記したように、ＰＴＯ回転数情報などを含む車両情報を表示する。また、表示オブジェクト８０が配置される位置や、表示オブジェクト８０の表示サイズなどは、制御装置１００（図２参照）のうち、たとえば、ヘッドマウントディスプレイ１３０の制御部１３１（図２参照）によって制御される。 The display object 80 is, for example, a panel-shaped object, and displays vehicle information including PTO rotation speed information and the like, as described above. Further, the position where the display object 80 is arranged, the display size of the display object 80, and the like are controlled by, for example, the control unit 131 (see FIG. 2) of the head mounted display 130 in the control device 100 (see FIG. 2). be.

また、表示オブジェクト８０を表示させるか非表示させるかは、監視者Ｗが任意に切り替えることができる。また、表示オブジェクト８０は、カメラ映像と合成された状態で、その透明度を変更することができる。 The observer W can arbitrarily switch whether the display object 80 is displayed or hidden. In addition, the display object 80 can change its transparency while being combined with the camera image.

図６に示すように、トラクタ１０の自律作業中、圃場Ｆ外となる領域に表示オブジェクト８０が配置される。このように、トラクタ１０の作業中、監視者Ｗが確認したい場所を遮蔽しないように表示オブジェクト８０が配置される。これにより、監視者Ｗが車両情報を確認しやすくなる。 As shown in FIG. 6, a display object 80 is arranged in an area outside the field F during the autonomous work of the tractor 10 . In this way, the display object 80 is arranged so as not to block the location that the supervisor W wants to check while the tractor 10 is working. This makes it easier for the observer W to check the vehicle information.

また、図７に示すように、トラクタ１０の自律作業中、トラクタ１０の既作業領域Ａ_Ｗ１に表示オブジェクト８０が配置されてもよい。なお、既作業領域Ａ_Ｗ１のうち、２工程以上前の既作業領域Ａ_Ｗ１に表示オブジェクト８０が配置されることが好ましい。この場合、制御装置１００は、トラクタ１０による作業走行軌跡情報を有している。このように、トラクタ１０の作業中、監視者Ｗが確認したい場所を遮蔽しないように表示オブジェクト８０が配置される。これにより、監視者Ｗが車両情報を確認しやすくなる。 Further, as shown in FIG. 7, a display object 80 may be placed in the already-worked area _AW1 of the tractor 10 during the autonomous work of the tractor 10 . In addition, it is preferable that the display object 80 is arranged in the already-worked area _AW1 that is two or more processes earlier than the already-worked area _AW1 . In this case, the control device 100 has work travel locus information by the tractor 10 . In this way, the display object 80 is arranged so as not to block the location that the supervisor W wants to check while the tractor 10 is working. This makes it easier for the observer W to check the vehicle information.

また、図８に示すように、トラクタ１０の自律作業中、トラクタ１０の未作業領域Ａ_Ｗ２に表示オブジェクト８０が配置されてもよい。この場合も、制御装置１００は、トラクタ１０による作業走行軌跡情報を有している。このように、トラクタ１０の作業中、監視者Ｗが確認したい場所を遮蔽しないように表示オブジェクト８０が配置される。これにより、監視者Ｗが車両情報を確認しやすくなる。 Further, as shown in FIG. 8, a display object 80 may be placed in the unworked area _AW2 of the tractor 10 during the autonomous work of the tractor 10 . In this case as well, the control device 100 has work travel locus information by the tractor 10 . In this way, the display object 80 is arranged so as not to block the location that the supervisor W wants to check while the tractor 10 is working. This makes it easier for the observer W to check the vehicle information.

なお、図６～８に示す例のような場合、地平線を認識し、地平線よりも上空となる領域に表示オブジェクト８０が配置されることが好ましい。 In the case of the examples shown in FIGS. 6 to 8, it is preferable to recognize the horizon and arrange the display object 80 in an area above the horizon.

また、図９に示すように、トラクタ１０の自律作業中、トラクタ１０を後方から見て、圃場Ｆの奥に表示されるように、表示オブジェクト８０が配置されてもよい。この場合も、制御装置１００は、トラクタ１０による作業走行軌跡情報を有している。このように、トラクタ１０の作業中、監視者Ｗが確認したい場所を遮蔽しないように表示オブジェクト８０が配置される。これにより、監視者Ｗが車両情報を確認しやすくなる。 Further, as shown in FIG. 9 , the display object 80 may be arranged so as to be displayed at the back of the field F when the tractor 10 is viewed from behind during the autonomous work of the tractor 10 . In this case as well, the control device 100 has work travel locus information by the tractor 10 . In this way, the display object 80 is arranged so as not to block the location that the supervisor W wants to check while the tractor 10 is working. This makes it easier for the observer W to check the vehicle information.

なお、図９に示す例のような場合、山や建物（たとえば、管理舎Ｈ）の稜線Ｌ_Ｒを認識し、稜線Ｌ_Ｒよりも上空となる領域に表示オブジェクト８０が配置されることが好ましい。 In the case of the example shown in FIG. 9, it is preferable to recognize the ridgeline _LR of a mountain or a building (for example, the management building H) and arrange the display object 80 in an area above the ridgeline _LR . .

また、図１０に示すように、トラクタ１０の自律作業中、トラクタ１０を後方から見て、圃場Ｆ上においてトラクタ１０を挟んでトラクタ１０の左右側方に表示されるように、表示オブジェクト８０が配置されてもよい。この場合も、制御装置１００は、トラクタ１０による作業走行軌跡情報を有している。このように、トラクタ１０の作業中、監視者Ｗが確認したい場所を遮蔽しないように表示オブジェクト８０が配置される。これにより、監視者Ｗが車両情報を確認しやすくなる。 Further, as shown in FIG. 10, when the tractor 10 is being operated autonomously, the display objects 80 are displayed on the left and right sides of the tractor 10 on the farm field F with the tractor 10 interposed therebetween. may be placed. In this case as well, the control device 100 has work travel locus information by the tractor 10 . In this way, the display object 80 is arranged so as not to block the location that the supervisor W wants to check while the tractor 10 is working. This makes it easier for the observer W to check the vehicle information.

また、制御装置１００は、トラクタ１０の自己位置Ｐ１（図１参照）に対して所定の位置関係を保つように、表示オブジェクト８０を配置する。このように、表示オブジェクト８０による情報表示の対象となるトラクタ１０に追従して動くように表示オブジェクト８０が表示されるようになるため、たとえば、複数のトラクタ１０が存在する場合においてもいずれのトラクタ１０の車両情報であるかを監視者Ｗが容易に把握することができる。 Also, the control device 100 arranges the display object 80 so as to maintain a predetermined positional relationship with respect to the self-position P1 (see FIG. 1) of the tractor 10 . In this way, the display object 80 is displayed so as to move following the tractor 10 whose information is to be displayed by the display object 80. 10 vehicle information can be easily grasped by the observer W.

また、制御装置１００は、監視者Ｗが頭部を前方へ移動して、ヘッドマウントディスプレイ１３０が表示オブジェクト８０へ近づくように移動されると、表示オブジェクト８０を拡大表示する。この場合、ヘッドマウントディスプレイ１３０の表示オブジェクト８０への近づき度合いに応じて表示オブジェクト８０が拡大される。 Further, when the head of the observer W moves forward and the head-mounted display 130 moves closer to the display object 80 , the control device 100 enlarges and displays the display object 80 . In this case, the display object 80 is enlarged according to the degree of proximity of the head mounted display 130 to the display object 80 .

また、たとえば、監視者Ｗが頭部を後方へ移動して、ヘッドマウントディスプレイ１３０が表示オブジェクト８０から遠ざかるように移動されると、表示オブジェクト８０が縮小表示する。この場合、ヘッドマウントディスプレイ１３０の表示オブジェクト８０への遠ざかり度合いに応じて表示オブジェクト８０が縮小される。 Further, for example, when the observer W moves his head backward and the head mounted display 130 moves away from the display object 80, the display object 80 is displayed in a reduced size. In this case, the display object 80 is reduced according to the distance of the head mounted display 130 from the display object 80 .

このように、ヘッドマウントディスプレイ１３０の前後の移動に応じて表示オブジェクト８０の表示サイズが変更されることで、カメラ映像を拡大または縮小できない場合などに表示オブジェクト８０を拡大または縮小して、監視者Ｗが表示オブジェクト８０の詳細を確認しやすくなる。 In this way, by changing the display size of the display object 80 in accordance with the movement of the head-mounted display 130 back and forth, the display object 80 can be enlarged or reduced when the camera image cannot be enlarged or reduced. It becomes easier for W to check the details of the display object 80 .

また、制御装置１００は、表示オブジェクト８０の表示面（車両情報が表示された面）が常にカメラ７０（図１参照）を向くように、表示オブジェクト８０を配置する。 Further, the control device 100 arranges the display object 80 so that the display surface of the display object 80 (the surface on which the vehicle information is displayed) always faces the camera 70 (see FIG. 1).

なお、上記した実施形態において、リモコンを別途備え、監視者Ｗが手元でリモコンを操作することで、ドローン５０のカメラ映像と他の映像（たとえば、トラクタ１０のキャビン内に設置されたカメラの映像）とを切り替え可能に構成されてもよい。 In the above-described embodiment, a remote controller is provided separately, and the monitor W operates the remote controller at hand, so that the camera image of the drone 50 and other images (for example, the image of the camera installed in the cabin of the tractor 10) ) may be configured to be switchable.

また、上記した実施形態において、ヘッドマウントディスプレイ１３０の表示部１３３の映像の中で左右のいずれか側方に寄せて、トラクタ１０の操作に関する情報を表示する表示オブジェクトをさらに配置する構成としてもよい。 Further, in the above-described embodiment, a display object for displaying information related to the operation of the tractor 10 may be further arranged in the image on the display unit 133 of the head-mounted display 130 to either the left or right side. .

上述してきた実施形態により、以下の作業車両の管理システム１が実現される。 The following work vehicle management system 1 is realized by the above-described embodiment.

（１）第１測位装置４１を有し、第１測位装置４１で取得した自己位置情報に基づいて、予め設定された予定走行経路Ｒに沿って自律走行が可能な作業車両１０と、第２測位装置４２および広範囲の撮影が可能なカメラ７０を有し、第２測位装置４２で自己位置情報を取得するとともに、飛行しながらカメラ７０による撮影を行う飛行体５０と、モーションセンサ１３２および表示部１３３を有し、モーションセンサ１３２の検知に応じてカメラ７０で撮影されたカメラ映像を表示部１３３に表示するヘッドマウントディスプレイ１３０と、作業車両１０に関する情報を表示する表示オブジェクト８０を生成して仮想空間に表示オブジェクト８０を配置する制御装置１００とを備え、制御装置１００は、作業車両１０の自己位置Ｐ１と飛行体５０の自己位置Ｐ２から算出したカメラ７０の位置Ｐ_Ｃとを結んだ線Ｌ_Ｖ上から外れるように表示オブジェクト８０を配置するとともに、カメラ映像に表示オブジェクト８０を合成する、作業車両の管理システム１。 (1) A work vehicle 10 having a first positioning device 41 and capable of autonomously traveling along a preset planned travel route R based on self-location information acquired by the first positioning device 41; A flying object 50 having a positioning device 42 and a camera 70 capable of photographing a wide range, acquiring self-location information with a second positioning device 42, and photographing with the camera 70 while flying, a motion sensor 132, and a display unit. 133, a head-mounted display 130 for displaying a camera image captured by the camera 70 in response to detection by the motion sensor 132 on the display unit 133, and a display object 80 for displaying information about the work vehicle 10 are generated to create a virtual and a control device 100 for arranging a display object 80 in space _. A work vehicle management system 1 that arranges a display object 80 so as to deviate from _{a V} and synthesizes the display object 80 with a camera image.

このような作業車両の管理システム１によれば、ヘッドマウントディスプレイ１３０を用いて作業車両１０の遠隔監視を行う場合に、ヘッドマウントディスプレイ１３０を装着した監視者Ｗが飛行体５０から俯瞰視で見るような感覚でカメラ映像を見ることができる中で、カメラ映像内に存在するように表示オブジェクト８０を表示させることができる。すなわち、表示オブジェクト８０（たとえば、ＰＴＯ回転数などの車両情報）を違和感なく表示させることができ、これにより、監視者Ｗが車両情報を容易に確認することができる。 According to such a work vehicle management system 1, when the work vehicle 10 is remotely monitored using the head-mounted display 130, the supervisor W wearing the head-mounted display 130 looks down from the flying object 50. The display object 80 can be displayed as if it exists in the camera image while the camera image can be viewed with such a feeling. That is, the display object 80 (for example, vehicle information such as the PTO rotation speed) can be displayed without discomfort, so that the observer W can easily check the vehicle information.

また、作業車両１０と飛行体５０とを結んだ線Ｌ_Ｖに被らないように表示オブジェクト８０が配置されるため、作業車両１０が表示オブジェクト８０に隠れて見えなくなるのを防止することができる。 In addition, since the display object 80 is arranged so as not to cover the line _LV connecting the work vehicle 10 and the aircraft 50, it is possible to prevent the work vehicle 10 from being hidden behind the display object 80 and becoming invisible. .

（２）上記（１）において、制御装置１００は、作業車両１０で作業を行う圃場Ｆの位置情報および形状情報を有し、圃場Ｆ外となる領域に表示オブジェクト８０を配置する、作業車両の管理システム１。 (2) In (1) above, the control device 100 has position information and shape information of the farm field F on which the work vehicle 10 works, and arranges the display object 80 in an area outside the farm field F. management system 1;

このような作業車両の管理システム１によれば、作業車両１０の作業中、監視者Ｗが確認したい場所を遮蔽しないように表示オブジェクト８０が配置されるため、監視者Ｗが車両情報を確認しやすくなる。 According to the work vehicle management system 1, the display object 80 is arranged so as not to block the location that the supervisor W wants to check while the work vehicle 10 is working, so that the supervisor W can check the vehicle information. easier.

（３）上記（１）において、制御装置１００は、作業車両１０による作業走行軌跡情報を有し、作業車両１０の未作業領域Ａ_Ｗ２に表示オブジェクト８０を配置する、作業車両の管理システム１。 (3) The work vehicle management system 1 in the above (1), wherein the control device 100 has work travel locus information by the work vehicle 10 and arranges the display object 80 in the unworked area _AW2 of the work vehicle 10 .

（４）上記（１）において、制御装置１００は、作業車両１０の自己位置Ｐ１に対して所定の位置関係を保つように表示オブジェクトを配置する、作業車両の管理システム１。 (4) In the above (1), the control device 100 arranges the display object so as to maintain a predetermined positional relationship with respect to the own position P1 of the work vehicle 10, the work vehicle management system 1 .

このような作業車両の管理システム１によれば、表示オブジェクト８０による情報表示の対象となる作業車両１０に追従して動くようにこの表示オブジェクト８０が表示されるようになるため、たとえば、複数の作業車両１０が存在する場合においてもいずれの作業車両１０の情報（車両情報）であるかを監視者Ｗが容易に把握することができる。 According to the work vehicle management system 1 described above, the display object 80 is displayed so as to follow the work vehicle 10 whose information is to be displayed by the display object 80 . Even when the work vehicle 10 exists, the observer W can easily grasp which work vehicle 10 the information (vehicle information) is.

（５）上記（１）～（４）のいずれかにおいて、制御装置１００は、ヘッドマウントディスプレイ１３０が表示オブジェクト８０へ近づくように移動されると、表示オブジェクト８０を拡大し、ヘッドマウントディスプレイ１３０が表示オブジェクト８０から遠ざかるように移動されると、表示オブジェクト８０を縮小する、作業車両の管理システム１。 (5) In any one of (1) to (4) above, when head mounted display 130 is moved to approach display object 80, control device 100 enlarges display object 80, and head mounted display 130 A work vehicle management system 1 that shrinks a display object 80 when moved away from the display object 80. - 特許庁

このような作業車両の管理システム１によれば、カメラ映像を拡大または縮小することができない場合などに表示オブジェクト８０だけでも拡大または縮小されることで、監視者Ｗが表示オブジェクトの詳細を確認しやすくなる。 According to such a work vehicle management system 1, when the camera image cannot be enlarged or reduced, even the display object 80 is enlarged or reduced, so that the supervisor W can check the details of the display object. easier.

（６）上記（１）～（５）のいずれかにおいて、制御装置１００は、表示オブジェクト８０の表示面が常にカメラを向くように表示オブジェクト８０を配置する、作業車両の管理システム１。 (6) In any one of (1) to (5) above, the control device 100 arranges the display object 80 so that the display surface of the display object 80 always faces the camera.

このような作業車両の管理システム１によれば、表示オブジェクト８０による表示の視認性を向上させることができ、監視者Ｗが車両情報を確認しやすくなる。 According to such a work vehicle management system 1, the visibility of the display by the display object 80 can be improved, and the supervisor W can easily check the vehicle information.

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。 Further effects and modifications can be easily derived by those skilled in the art. Therefore, the broader aspects of the invention are not limited to the specific details and representative embodiments so shown and described. Accordingly, various changes may be made without departing from the spirit or scope of the general inventive concept defined by the appended claims and equivalents thereof.

１作業車両の管理システム
１０作業車両（トラクタ）
４１第１測位装置（ＧＮＳＳ）
４２第２測位装置（ＧＮＳＳ）
５０飛行体（ドローン）
７０カメラ
８０表示オブジェクト
１００制御装置
１３０ヘッドマウントディスプレイ
１３２モーションセンサ
１３３表示部
Ａ_Ｗ２未作業領域
Ｆ圃場
Ｌ_Ｖ線
Ｐ_Ｃ位置（カメラ位置）
Ｐ１自己位置（トラクタ位置）
Ｐ２自己位置（ドローン位置）
Ｒ予定走行経路
Ｗ監視者 1 Work vehicle management system 10 Work vehicle (tractor)
41 first positioning system (GNSS)
42 second positioning system (GNSS)
50 flying object (drone)
70 camera 80 display object 100 control device 130 head mounted display 132 motion sensor 133 display unit A _W2 unworked area F field L _V line P _C position (camera position)
P1 self position (tractor position)
P2 self position (drone position)
R Planned travel route W Observer

Claims

a work vehicle having a first positioning device and capable of autonomously traveling along a preset planned travel route based on self-location information acquired by the first positioning device;
a flying object that has a second positioning device and a camera capable of capturing a wide range of images, acquires self-location information with the second positioning device, and captures images with the camera while flying;
a head-mounted display having a motion sensor and a display unit, and displaying a camera image captured by the camera on the display unit in response to detection by the motion sensor;
a control device that generates a display object that displays information about the work vehicle and arranges the display object in a virtual space;
The control device is
The display object is arranged so as to deviate from a line connecting the self-position of the work vehicle and the position of the camera calculated from the self-position of the flying object, and the display object is synthesized with the camera image. A work vehicle management system.

The control device is
2. The work vehicle management system according to claim 1, wherein the work vehicle has position information and shape information of a farm field to be worked by the work vehicle, and the display object is arranged in an area outside the farm field.

The control device is
2. The work vehicle management system according to claim 1, wherein the work vehicle travel locus information is provided, and the display object is arranged in an unworked area of the work vehicle.

The control device is
The work vehicle management system according to claim 1, wherein the display object is arranged so as to maintain a predetermined positional relationship with respect to the self-position of the work vehicle.

The control device is
enlarging the display object when the head-mounted display is moved closer to the display object;
The work vehicle management system according to any one of claims 1 to 4, wherein the display object is reduced when the head-mounted display is moved away from the display object.

The control device is
The work vehicle management system according to any one of claims 1 to 5, wherein the display object is arranged so that the display surface of the display object always faces the camera.