JP6982558B2 - Aerial image processing device - Google Patents

Aerial image processing device Download PDF

Info

Publication number
JP6982558B2
JP6982558B2 JP2018171695A JP2018171695A JP6982558B2 JP 6982558 B2 JP6982558 B2 JP 6982558B2 JP 2018171695 A JP2018171695 A JP 2018171695A JP 2018171695 A JP2018171695 A JP 2018171695A JP 6982558 B2 JP6982558 B2 JP 6982558B2
Authority
JP
Japan
Prior art keywords
aerial
work vehicle
image
vehicle
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018171695A
Other languages
Japanese (ja)
Other versions
JP2020042728A (en
Inventor
圭志 中村
圭司 久本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanmar Co Ltd
Original Assignee
Yanmar Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanmar Co Ltd filed Critical Yanmar Co Ltd
Priority to JP2018171695A priority Critical patent/JP6982558B2/en
Publication of JP2020042728A publication Critical patent/JP2020042728A/en
Application granted granted Critical
Publication of JP6982558B2 publication Critical patent/JP6982558B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Description

この発明は、空撮画像処理装置に関する。 The present invention relates to an aerial image processing apparatus.

特許文献１には、高精度な航空写真画像データを取得する方法が開示されている。具体的には、写真撮影エリア内において、正確な位置情報が特定されている位置に対空標識を設置する。そして、対空標識を被写体に含めた航空写真を撮影し、対空標識の正確な位置を利用して、航空写真からオルソ画像（orthochromatic image）を作成する。 Patent Document 1 discloses a method for acquiring highly accurate aerial photograph image data. Specifically, an anti-aircraft sign is installed at a position in the photography area where accurate position information is specified. Then, an aerial photograph including the anti-aircraft sign is taken as a subject, and an orthochromatic image is created from the aerial photograph by using the accurate position of the anti-aircraft sign.

特開２００９−２０７７９号公報Japanese Unexamined Patent Publication No. 2009-20779

特許文献１に記載の発明では、高精度な航空写真画像データを取得するためには、写真撮影エリア内に、対空標識を設置する必要がある。
この発明の目的は、圃場近傍に対空標識を設置することなく、精度の高い圃場の全体撮像画像を生成できる空撮画像処理装置を提供することにある。 In the invention described in Patent Document 1, it is necessary to install an anti-aircraft sign in the photography area in order to acquire highly accurate aerial photograph image data.
An object of the present invention is to provide an aerial image processing apparatus capable of generating a highly accurate whole field image without installing an anti-aircraft marker in the vicinity of the field.

この発明による空撮画像処理装置は、空撮対象圃場内を走行する作業車両の時刻毎の位置情報を、時刻情報とともに記憶する第１記憶部と、前記空撮対象圃場内を前記作業車両が走行しているときに、前記空撮対象圃場の全体を網羅するように複数回にわたって空撮された部分撮影画像であって、少なくとも２回の異なるタイミングで空撮されかつ前記作業車両を内含する複数の車両内含画像を含む複数の部分撮影画像を、撮影位置情報および撮影時刻情報とともに記憶する第２記憶部と、前記複数の車両内含画像のうちの少なくとも２つの前記車両内含画像内の作業車両の位置を、これらの各車両内含画像の撮影時刻情報に対応する前記作業車両の位置情報に基づいて特定する位置特定部と、前記複数の部分撮影画像と、前記位置特定部によって特定された、前記少なくとも２つの車両内含画像内の作業車両の位置とに基づいて、前記空撮対象圃場全体に対する全体撮影画像を生成する全体画像生成部とを含む。 In the aerial image processing apparatus according to the present invention, the work vehicle has a first storage unit that stores the position information of the work vehicle traveling in the aerial image target field for each time together with the time information, and the work vehicle in the aerial image target field. It is a partial aerial image taken aerial multiple times so as to cover the entire field to be aerial photographed while traveling, and is aerial photographed at least twice at different timings and includes the work vehicle. A second storage unit that stores a plurality of partially captured images including a plurality of in-vehicle inclusion images together with shooting position information and shooting time information, and at least two of the plurality of in-vehicle inclusion images. A position specifying unit that specifies the position of the work vehicle in the vehicle based on the position information of the work vehicle corresponding to the shooting time information of each of the images including the inside of the vehicle, the plurality of partially captured images, and the position specifying unit. Includes an overall image generator that generates an overall captured image for the entire aerial subject field based on the position of the work vehicle within the at least two in-vehicle images identified by.

この構成では、複数の車両内含画像のうちの少なくとも２つの車両内含画像内の作業車両の位置を、対空標識として用いることができる。これにより、圃場近傍に対空標識を設置することなく、精度の高い圃場の全体撮像画像を生成できる。
この発明の一実施形態では、前記全体画像生成部は、前記複数の部分撮影画像を合成して合成撮影画像を生成する合成撮影画像生成部と、前記位置特定部によって特定された前記少なくとも２つの車両内含画像内の作業車両の位置を対空標識の位置情報として用いて、前記合成撮影画像からオルソ画像を生成するオルソ画像生成部とを含む。 In this configuration, the position of the work vehicle in at least two in-vehicle images of the plurality of in-vehicle images can be used as an anti-aircraft marker. As a result, it is possible to generate a highly accurate whole image of the field without installing an anti-aircraft marker in the vicinity of the field.
In one embodiment of the present invention, the whole image generation unit includes a composite imaging image generation unit that synthesizes the plurality of partially captured images to generate a composite imaging image, and at least two of the above identification units specified by the position specifying unit. It includes an ortho image generation unit that generates an ortho image from the composite photographed image by using the position of the work vehicle in the in-vehicle image as the position information of the anti-aircraft marker.

この発明の一実施形態では、前記複数の部分撮影画像は、前記空撮対象圃場内を前記作業車両が自動走行経路に沿って自動走行されているときに、前記空撮対象圃場が空撮されることによって生成される。 In one embodiment of the present invention, in the plurality of partially photographed images, the aerial photography target field is aerial photographed when the work vehicle is automatically traveling along the automatic travel path in the aerial photography target field. It is generated by

図１は、この発明の一実施形態に係る空撮画像処理装置が適用された空撮画像処理システムの構成を示す模式図である。FIG. 1 is a schematic diagram showing a configuration of an aerial image processing system to which the aerial image processing apparatus according to the embodiment of the present invention is applied. 図２は、作業車両が空撮対象圃場内を自動走行する様子を説明するための模式図である。FIG. 2 is a schematic diagram for explaining how the work vehicle automatically travels in the field subject to aerial photography. 図３は、空撮対象圃場に対して撮影される部分撮影画像の領域を示す模式図である。FIG. 3 is a schematic diagram showing a region of a partially photographed image taken with respect to a field to be aerial photographed. 図４は、作業車両および制御端末の電気的構成を示す電気ブロック図である。FIG. 4 is an electric block diagram showing an electrical configuration of a work vehicle and a control terminal. 図５は、サーバの電気的構成を示す電気ブロック図である。FIG. 5 is an electric block diagram showing the electrical configuration of the server. 図６は、空撮画像処理部の動作を説明するためのフローチャートである。FIG. 6 is a flowchart for explaining the operation of the aerial image processing unit.

以下では、この発明の実施形態を、添付図面を参照して詳細に説明する。
図１は、この発明の一実施形態に係る空撮画像処理装置が適用された空撮画像処理システムの構成を示す模式図である。
空撮画像処理システム１は、通信端末３が搭載された作業車両２と、制御端末４と、空撮装置６が搭載された飛行体５と、空撮画像処理装置としてのサーバ７とを含む。この実施形態では、作業車両２は、トラクタである。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 is a schematic diagram showing a configuration of an aerial image processing system to which the aerial image processing apparatus according to the embodiment of the present invention is applied.
The aerial image processing system 1 includes a work vehicle 2 equipped with a communication terminal 3, a control terminal 4, an air vehicle 5 equipped with an aerial image device 6, and a server 7 as an aerial image processing device. .. In this embodiment, the work vehicle 2 is a tractor.

作業車両２は、圃場内を走行する車体部としての走行機体８を備えている。走行機体８には、例えば、耕耘機、プラウ、施肥機、草刈機、播種機等の種々の作業機９を選択して装着することができるようになっている。本実施形態においては、作業機９として耕耘機が装着されている。
作業車両２は、自動走行および手動走行が可能である。自動走行とは、作業車両２に備えられた制御部２２および作業車両制御装置２１（図４参照）によって作業車両２の操舵機構等が制御されて、予め設定された自動走行経路に沿って作業車両２が走行することをいう。これに対して、手動走行とは、作業車両２が備える各機構がユーザにより操作されることによって、作業車両２が走行することをいう。 The work vehicle 2 includes a traveling machine body 8 as a vehicle body portion traveling in the field. Various working machines 9 such as a cultivator, a plow, a fertilizer applicator, a grass mower, and a sowing machine can be selected and mounted on the traveling machine 8. In the present embodiment, a cultivator is attached as the working machine 9.
The work vehicle 2 is capable of automatic traveling and manual traveling. In automatic driving, the steering mechanism of the work vehicle 2 is controlled by the control unit 22 and the work vehicle control device 21 (see FIG. 4) provided in the work vehicle 2, and the work is performed along a preset automatic travel path. It means that the vehicle 2 runs. On the other hand, manual traveling means that the working vehicle 2 travels by operating each mechanism included in the working vehicle 2 by the user.

図２は、作業車両２が空撮対象圃場Ｆ内を自動走行する様子を説明するための模式図である。
空撮対象圃場Ｆは、作業が行われる作業領域Ｗと、作業が行われない非作業領域Ｎとに分けられる。作業領域Ｗは、例えば、平面視で矩形である。
圃場Ｆには、つづら折り状の自動走行経路Ｒが設定されている。この自動走行経路Ｒは、直線状の複数の作業路Ｒ１と、互いに隣接する２つの作業路Ｒ１の端部同士を交互に接続する接続路Ｒ２とから構成されている。複数の作業路Ｒ１は作業領域Ｗに設定され、複数の接続路Ｒ２は圃非作業領域Ｎに設定される。作業車両２は、自動走行経路Ｒの一端Ｓから他端Ｅに向かって走行する。 FIG. 2 is a schematic diagram for explaining how the work vehicle 2 automatically travels in the field F subject to aerial photography.
The field F to be aerial photographed is divided into a work area W where work is performed and a non-work area N where work is not performed. The work area W is, for example, rectangular in a plan view.
A zigzag-shaped automatic traveling route R is set in the field F. The automatic traveling path R is composed of a plurality of linear work paths R1 and a connection path R2 that alternately connects the ends of two work paths R1 adjacent to each other. The plurality of work paths R1 are set in the work area W, and the plurality of connection paths R2 are set in the field non-work area N. The work vehicle 2 travels from one end S of the automatic traveling path R toward the other end E.

図１に戻り、通信端末３は、基準局１１および測位衛星１２を利用して作業車両２の位置を測位する位置検出部３１（図４参照）を備えている。通信端末３は、電話回線網１３を介して、サーバ７との間で通信可能である。また、通信端末３は、制御端末４との間で無線通信可能である。
制御端末４は、スマートフォン、タブレット型パーソナルコンビュータ（タブレット型ＰＣ）等の携帯型端末からなる。制御端末４は、作業車両２を遠隔制御するものであり、通信端末３との間で無線通信可能である。制御端末４は、ユーザの家や事務所に設けられた無線ＬＡＮルータ等のアクセスポイント１４に通信接続されることによって、インターネット回線１５を介してサーバ７との間で通信可能である。 Returning to FIG. 1, the communication terminal 3 includes a position detection unit 31 (see FIG. 4) for positioning the position of the work vehicle 2 using the reference station 11 and the positioning satellite 12. The communication terminal 3 can communicate with the server 7 via the telephone line network 13. Further, the communication terminal 3 can wirelessly communicate with the control terminal 4.
The control terminal 4 includes a portable terminal such as a smartphone or a tablet-type personal computer (tablet-type PC). The control terminal 4 remotely controls the work vehicle 2 and enables wireless communication with the communication terminal 3. The control terminal 4 can communicate with the server 7 via the Internet line 15 by being communicatively connected to an access point 14 such as a wireless LAN router provided in a user's house or office.

飛行体５は、例えばドローンである。飛行体５に搭載された空撮装置６は、図示しないが、カメラ、測位衛星１２を利用して飛行体５の位置（撮影位置）を測位する位置検出装置、方位等を検出するための慣性計測装置（IMU: Inertial measurement unit）、記憶装置等を含む。この実施形態では、空撮装置６内の位置検出装置は、単独測位システムによって撮影位置を測位するものであり、作業車両２に搭載されている位置検出部３１に比べて、位置検出精度は低い。 The flying object 5 is, for example, a drone. Although not shown, the aerial photography device 6 mounted on the flight object 5 is a position detection device for positioning the position (shooting position) of the flight object 5 using a camera and a positioning satellite 12, and an inertia for detecting an orientation or the like. Includes measurement unit (IMU: Inertial measurement unit), storage device, etc. In this embodiment, the position detection device in the aerial photography device 6 positions the shooting position by a single positioning system, and the position detection accuracy is lower than that of the position detection unit 31 mounted on the work vehicle 2. ..

空撮装置６は、この実施形態では、空撮対象圃場Ｆ内を作業車両２が自動走行しているときに、空撮対象圃場の全体を網羅するように、空撮対象圃場Ｆの各部を重複して空撮する。そして、空撮装置６は、撮影された部分撮影画像を、方位情報（撮影方向情報）、撮影位置情報（経度、緯度および高度情報）および撮影時刻情報とともに、空撮画像ファイルとして記憶装置に記憶する。空撮装置６内の記憶装置に記憶された空撮画像ファイルは、任意の方法および任意のタイミングで、サーバ７の位置情報記憶部６５（図５参照）に記憶される。 In this embodiment, the aerial photography apparatus 6 covers each part of the aerial photography target field F so as to cover the entire aerial photography target field F when the work vehicle 2 automatically travels in the aerial photography target field F. Duplicate aerial shots. Then, the aerial photography device 6 stores the photographed partially photographed image as an aerial image file in the storage device together with the azimuth information (shooting direction information), the photographing position information (longitude, latitude and altitude information) and the photographing time information. do. The aerial image file stored in the storage device in the aerial photography device 6 is stored in the position information storage unit 65 (see FIG. 5) of the server 7 at an arbitrary method and at an arbitrary timing.

図３に、空撮対象圃場Ｆに対して撮影される部分撮影画像の領域ｆを示す。図３では、説明の便宜上、隣接する部分撮影画像の領域ｆは互いに重複していないが、実際には隣接する部分撮影画像は互いに重複している。
図４は、作業車両２および制御端末４の電気的構成を示す電気ブロック図である。
作業車両２は、作業車両制御装置２１と、作業車両２に搭載された通信端末３を備えている。作業車両制御装置２１は、走行機体８の動作（前進、後進、停止、旋回等の動作）と、作業機９の動作（昇降、駆動、停止等の動作）とを制御する。作業車両制御装置２１には、作業車両２の各部を制御するための複数のコントローラ（図示略）が電気的に接続されている。 FIG. 3 shows a region f of a partially photographed image taken with respect to the field F to be photographed aerial. In FIG. 3, for convenience of explanation, the regions f of the adjacent partially photographed images do not overlap each other, but the adjacent partially photographed images actually overlap each other.
FIG. 4 is an electric block diagram showing an electrical configuration of the work vehicle 2 and the control terminal 4.
The work vehicle 2 includes a work vehicle control device 21 and a communication terminal 3 mounted on the work vehicle 2. The work vehicle control device 21 controls the operation of the traveling machine 8 (movements such as forward, reverse, stop, and turn) and the operation of the work machine 9 (operations such as elevating, driving, and stopping). A plurality of controllers (not shown) for controlling each part of the work vehicle 2 are electrically connected to the work vehicle control device 21.

複数のコントローラは、エンジンの回転数等を制御するエンジンコントローラ、作業車両の車速を制御する車速コントローラ、作業車両２の前輪の転舵角を制御する操向コントローラ、作業機９の昇降を制御する昇降コントローラ、ＰＴＯ軸の回転を制御するＰＴＯコントローラ等を含む。
通信端末３は、制御部２２を備えている。制御部２２には、位置検出部３１、慣性計測装置３２、通信部３３、無線通信部３４、操作表示部３５、操作部３６、記憶部３７等が接続されている。 The plurality of controllers control an engine controller that controls the number of revolutions of the engine, a vehicle speed controller that controls the vehicle speed of the work vehicle, a steering controller that controls the steering angle of the front wheels of the work vehicle 2, and an ascending / descending control of the work machine 9. It includes an elevating controller, a PTO controller that controls the rotation of the PTO axis, and the like.
The communication terminal 3 includes a control unit 22. A position detection unit 31, an inertial measurement unit 32, a communication unit 33, a wireless communication unit 34, an operation display unit 35, an operation unit 36, a storage unit 37, and the like are connected to the control unit 22.

位置検出部３１は、衛星測位システムに基づいて作業車両２の位置情報を算出する。衛星測位システムは、例えば、ＲＴＫ（Real Time Kinematic）−ＧＮＳＳ（Global Navigation Satellite System）である。ＲＴＫ−ＧＮＳＳ（リアルタイム・キネマティクＧＮＳＳ）では、所定位置に設置された基準局１１（図１参照）が利用される。基準局１１は、所定時間間隔毎に、複数の測位衛星１２（図１参照）から受信されたＧＮＳＳ衛星信号に基づいて算出した当該基準局１１の測位情報と、予め認識している自己の位置（認識自己位置）との差分を演算し、その差分情報を測位補正信号として送信する。 The position detection unit 31 calculates the position information of the work vehicle 2 based on the satellite positioning system. The satellite positioning system is, for example, RTK (Real Time Kinematic) -GNSS (Global Navigation Satellite System). In RTK-GNSS (real-time kinematic GNSS), a reference station 11 (see FIG. 1) installed at a predetermined position is used. The reference station 11 has the positioning information of the reference station 11 calculated based on the GNSS satellite signals received from the plurality of positioning satellites 12 (see FIG. 1) at predetermined time intervals, and its own position (recognition) recognized in advance. The difference from the self-position) is calculated, and the difference information is transmitted as a positioning correction signal.

衛星信号受信用アンテナ１６は、測位衛星１２からの衛星信号を受信する。基準局信号受信用アンテナ１７は、基準局１１からの測位補正情報を受信する。位置検出部３１は、衛星信号受信用アンテナ１６を介して、複数のＧＮＳＳ衛星からの衛星信号を取得する。また、位置検出部３１は、基準局信号受信用アンテナ１７を介して、所定の基準局１１からの測位補正情報を取得する。位置検出部３１は、複数の測位衛星から取得された衛星信号に基づいて作業車両２の測位情報を算出し、得られた作業車両２の測位情報を、基準局１１から取得された測位補正情報を用いて補正することにより、作業車両２の位置を表す位置情報を算出する。位置情報は、例えば、経度、緯度および高度情報からなる。 The satellite signal receiving antenna 16 receives the satellite signal from the positioning satellite 12. The reference station signal receiving antenna 17 receives the positioning correction information from the reference station 11. The position detection unit 31 acquires satellite signals from a plurality of GNSS satellites via the satellite signal reception antenna 16. Further, the position detection unit 31 acquires the positioning correction information from the predetermined reference station 11 via the reference station signal reception antenna 17. The position detection unit 31 calculates the positioning information of the work vehicle 2 based on the satellite signals acquired from a plurality of positioning satellites, and obtains the positioning information of the work vehicle 2 and the positioning correction information acquired from the reference station 11. The position information indicating the position of the work vehicle 2 is calculated by using and correcting. The location information consists of, for example, longitude, latitude and altitude information.

慣性計測装置３２は、作業車両２の姿勢（向き）や加速度等を計測することが可能な計測ユニットである。
通信部３３は、制御部２２が電話回線網１３を介してサーバ７と通信するための通信インタフェースである。
無線通信部３４は、制御部２２が制御端末４と無線通信するための通信インタフェースである。無線通信部３４は、例えば、無線ＬＡＮルータから構成されている。無線通信部３４には、無線通信用アンテナ１８が接続されている。 The inertial measurement unit 32 is a measurement unit capable of measuring the posture (direction), acceleration, and the like of the work vehicle 2.
The communication unit 33 is a communication interface for the control unit 22 to communicate with the server 7 via the telephone line network 13.
The wireless communication unit 34 is a communication interface for the control unit 22 to wirelessly communicate with the control terminal 4. The wireless communication unit 34 is composed of, for example, a wireless LAN router. A wireless communication antenna 18 is connected to the wireless communication unit 34.

操作表示部３５は、例えば、タッチパネル式ディスプレイからなる。操作部３６は、例えば、１または複数の操作ボタン等を含む。
記憶部３７は、不揮発性メモリ等の記憶デバイスから構成されている。記憶部３７には、位置情報記憶部３８、自動走行経路記憶部３９等が設けられている。位置情報記憶部３８には、位置検出部３１によって算出された時刻毎の位置情報が時刻情報とともに記憶される。自動走行経路記憶部３９には、制御端末４によって生成された自動走行経路が記憶される。 The operation display unit 35 is, for example, a touch panel type display. The operation unit 36 includes, for example, one or a plurality of operation buttons.
The storage unit 37 is composed of a storage device such as a non-volatile memory. The storage unit 37 is provided with a position information storage unit 38, an automatic traveling route storage unit 39, and the like. The position information storage unit 38 stores the position information for each time calculated by the position detection unit 31 together with the time information. The automatic traveling route storage unit 39 stores the automatic traveling route generated by the control terminal 4.

制御部２２は、ＣＰＵおよびメモリ（ＲＯＭ、ＲＡＭ、不揮発性メモリ等）を備えたマイクロコンピュータを含む。
制御部２２は、位置情報記憶部３７に記憶された位置情報をリアルタイムまたは所定のタイミングで読み出して、制御端末４に送信する。また、制御部２２は、作業車両制御装置２１を制御することにより、作業車両２を予め生成された自動走行経路に沿って自動走行させたり、自動走行を停止させたりする。 The control unit 22 includes a microcomputer equipped with a CPU and a memory (ROM, RAM, non-volatile memory, etc.).
The control unit 22 reads out the position information stored in the position information storage unit 37 in real time or at a predetermined timing, and transmits the position information to the control terminal 4. Further, by controlling the work vehicle control device 21, the control unit 22 automatically causes the work vehicle 2 to travel along the automatically generated automatic travel path, or stops the automatic travel.

制御端末４は、制御部４０を備えている。制御部４０には、無線通信部４１、操作表示部４２、操作部４３、記憶部４４等が接続されている。
無線通信部４１は、制御端末４が作業車両２の通信端末３と通信するための通信インタフェースである。無線通信部４１は、例えば、無線ＬＡＮアダプタから構成されている。無線通信部４１には、無線通信用アンテナ１９が接続されている。 The control terminal 4 includes a control unit 40. A wireless communication unit 41, an operation display unit 42, an operation unit 43, a storage unit 44, and the like are connected to the control unit 40.
The wireless communication unit 41 is a communication interface for the control terminal 4 to communicate with the communication terminal 3 of the work vehicle 2. The wireless communication unit 41 is composed of, for example, a wireless LAN adapter. A wireless communication antenna 19 is connected to the wireless communication unit 41.

操作表示部４２は、各種データを表示したり、ユーザによる操作を受け付けたりするものである。操作表示部４２は、例えば、タッチパネル式ディスプレイからなる。操作部４３は、例えば、１または複数の操作ボタン等を含む。
記憶部４４は、不揮発性メモリ等の記憶デバイスから構成されている。記憶部４４には、位置情報記憶部４５、自動走行経路記憶部４６等が設けられている。 The operation display unit 42 displays various data and accepts operations by the user. The operation display unit 42 includes, for example, a touch panel display. The operation unit 43 includes, for example, one or a plurality of operation buttons.
The storage unit 44 is composed of a storage device such as a non-volatile memory. The storage unit 44 is provided with a position information storage unit 45, an automatic traveling route storage unit 46, and the like.

位置情報記憶部４５には、通信端末３から受信した時刻毎の位置情報が記憶される。時刻毎の位置情報は、例えば、受信した位置情報に含まれる時刻情報と位置情報とから構成される。通信端末３の制御部２２が記憶部３７に記憶された位置情報をリアルタイムで制御端末４に送信する場合には、時刻毎の位置情報は、受信した位置情報に制御端末４側の時刻情報が付加された情報から構成されてもよい。 The position information storage unit 45 stores the position information for each time received from the communication terminal 3. The position information for each time is composed of, for example, the time information and the position information included in the received position information. When the control unit 22 of the communication terminal 3 transmits the position information stored in the storage unit 37 to the control terminal 4 in real time, the position information for each time includes the time information on the control terminal 4 side in the received position information. It may be composed of added information.

自動走行経路記憶部４６には、制御部４０によって生成された自動走行経路が記憶される。
制御部４０は、ＣＰＵおよびメモリ（ＲＯＭ、ＲＡＭ、不揮発性メモリ等）を備えたマイクロコンピュータを含む。
位置情報記憶部４５内の時刻毎の位置情報は、ユーザの家や事務所に設けられたアクセスポイント１４（図１参照）に制御部４０が通信接続されている状態で、ユーザによる位置情報送信指令が入力されたときに、インターネット回線１５を介してサーバ７に送信される。 The automatic traveling route storage unit 46 stores the automatic traveling route generated by the control unit 40.
The control unit 40 includes a microcomputer equipped with a CPU and a memory (ROM, RAM, non-volatile memory, etc.).
The position information for each time in the position information storage unit 45 is transmitted by the user in a state where the control unit 40 is communicated and connected to the access point 14 (see FIG. 1) provided in the user's house or office. When the command is input, it is transmitted to the server 7 via the Internet line 15.

制御部４０は、サーバ７への位置情報の送信の他、自動走行経路の生成、自動走行のための各種設定の受付、作業車両２の通信端末３との通信等を行う。
図５は、サーバ７の電気的構成を示す電気ブロック図である。
サーバ７は、制御部５０を備えている。制御部５０には、通信部６１、操作表示部６２、操作部６３、記憶部６４等が接続されている。 In addition to transmitting position information to the server 7, the control unit 40 generates an automatic traveling route, accepts various settings for automatic traveling, communicates with the communication terminal 3 of the work vehicle 2, and the like.
FIG. 5 is an electric block diagram showing an electrical configuration of the server 7.
The server 7 includes a control unit 50. A communication unit 61, an operation display unit 62, an operation unit 63, a storage unit 64, and the like are connected to the control unit 50.

通信部６１は、制御部５０が作業車両２の通信端末３や制御端末４と通信するための通信インタフェースである。
操作表示部６２は、各種データを表示したり、担当者による操作を受け付けたりするものである。操作表示部６２は、例えば、タッチパネル式ディスプレイからなる。操作部６３は、例えば、１または複数の操作ボタン等を含む。 The communication unit 61 is a communication interface for the control unit 50 to communicate with the communication terminal 3 and the control terminal 4 of the work vehicle 2.
The operation display unit 62 displays various data and accepts operations by a person in charge. The operation display unit 62 includes, for example, a touch panel display. The operation unit 63 includes, for example, one or a plurality of operation buttons.

記憶部６４は、ハードディスク、不揮発性メモリ等の記憶デバイスから構成されている。記憶部６４には、位置情報記憶部６５、空撮画像記憶部６６等が設けられている。位置情報記憶部６５は本発明の第１記憶部の一例である。空撮画像記憶部６６は、本発明の第２記憶部の一例である。
位置情報記憶部６５には、制御端末４から受信した時刻毎の位置情報が記憶される。ここでは、空撮対象圃場Ｆ内を作業車両２が自動走行によって作業を行っているときに、位置検出部３１によって算出された時刻毎の位置情報が、位置情報記憶部６５に記憶されているものとする。 The storage unit 64 is composed of a storage device such as a hard disk and a non-volatile memory. The storage unit 64 is provided with a position information storage unit 65, an aerial image storage unit 66, and the like. The position information storage unit 65 is an example of the first storage unit of the present invention. The aerial image storage unit 66 is an example of the second storage unit of the present invention.
The position information storage unit 65 stores the position information for each time received from the control terminal 4. Here, when the work vehicle 2 is automatically traveling in the field F subject to aerial photography, the position information for each time calculated by the position detection unit 31 is stored in the position information storage unit 65. It shall be.

空撮画像記憶部６６には、空撮画像ファイルが記憶される。ここでは、空撮対象圃場Ｆ内を作業車両２が自動走行によって作業を行っているときに、空撮対象圃場Ｆを空撮することによって得られた空撮画像ファイルが空撮画像記憶部６６に記憶されているものとする。空撮画像ファイルは、複数の部分撮影画像ファイルからなる。各部分撮影画像ファイルは、部分撮影画像と、方位情報、撮影位置情報および撮影時刻情報とを含む。 An aerial image file is stored in the aerial image storage unit 66. Here, the aerial image file obtained by aerial photography of the aerial image target field F while the work vehicle 2 is automatically traveling in the aerial image target field F is the aerial image storage unit 66. It is assumed that it is remembered in. The aerial image file is composed of a plurality of partially photographed image files. Each partially captured image file includes a partially captured image and orientation information, shooting position information, and shooting time information.

空撮画像ファイルに含まれる複数の部分撮影画像は、少なくとも２回の異なるタイミングで空撮されかつ作業車両２を内含する複数の車両内含画像を含んでいる。この実施形態では、空撮画像ファイルに含まれる複数の部分撮影画像は、少なくとも２回の異なるタイミングで空撮されかつ作業車両２がほぼ中央に写っている複数の車両内含画像を含んでいる。 The plurality of partially captured images included in the aerial image file includes a plurality of in-vehicle inclusion images taken at least twice at different timings and including the work vehicle 2. In this embodiment, the plurality of partially captured images included in the aerial image file includes a plurality of in-vehicle inclusion images in which the work vehicle 2 is photographed at least twice at different timings and the work vehicle 2 is substantially in the center. ..

制御部５０は、ＣＰＵおよびメモリ（ＲＯＭ、ＲＡＭ、不揮発性メモリ等）５１を備えたマイクロコンピュータを含む。制御部５０は、空撮画像記憶部６６に記憶されている空撮画像ファイルに含まれている複数の部分撮影画像に対して画像処理を行う空撮画像処理部５２を含む。
空撮画像処理部５２は、位置特定部５２Ａと全体画像生成部５２Ｂと含む。 The control unit 50 includes a microcomputer provided with a CPU and a memory (ROM, RAM, non-volatile memory, etc.) 51. The control unit 50 includes an aerial image processing unit 52 that performs image processing on a plurality of partially captured images included in the aerial image file stored in the aerial image storage unit 66.
The aerial image processing unit 52 includes a position specifying unit 52A and an overall image generation unit 52B.

位置特定部５２Ａは、複数の車両内含画像のうちの少なくとも２つの車両内含画像内の作業車両２の位置を、これらの各車両内含画像の撮影時刻情報に対応する作業車両２の位置情報に基づいて特定する。
全体画像生成部５２Ｂは、空撮画像ファイルに含まれる複数の部分撮影画像と、位置特定部５２Ａによって特定された、少なくとも２つの車両内含画像内の作業車両２の位置とに基づいて、空撮対象圃場Ｆ全体に対する全体撮影画像を生成する。 The position specifying unit 52A sets the position of the work vehicle 2 in at least two in-vehicle images of the plurality of in-vehicle images as the position of the work vehicle 2 corresponding to the shooting time information of each of these in-vehicle images. Informedly identify.
The whole image generation unit 52B is empty based on a plurality of partially captured images included in the aerial image file and the position of the work vehicle 2 in at least two in-vehicle images specified by the position specifying unit 52A. An overall photographed image is generated for the entire field F to be photographed.

図６は、空撮画像処理部５２の動作を説明するためのフローチャートである。
空撮画像処理部５２は、位置情報記憶部６５内の時刻毎の位置情報および空撮画像記憶部６６内の空撮画像ファイルをメモリ（作業メモリ）５１に読み込む（ステップＳ１）。
次に、空撮画像処理部５２内の位置特定部５２Ａは、空撮画像ファイルに含まれている複数の部分撮像画像のうちから、作業車両２がほぼ中央に写っている少なくとも２つの車両内含画像を選択する（ステップＳ２）。 FIG. 6 is a flowchart for explaining the operation of the aerial image processing unit 52.
The aerial image processing unit 52 reads the position information for each time in the position information storage unit 65 and the aerial image file in the aerial image storage unit 66 into the memory (working memory) 51 (step S1).
Next, the position specifying unit 52A in the aerial image processing unit 52 is located in at least two vehicles in which the work vehicle 2 is substantially in the center from among the plurality of partially captured images included in the aerial image file. The included image is selected (step S2).

次に、位置特定部５２Ａは、ステップＳ２で選択された各車両内含画像内の作業車両２の位置を、これらの各車両内含画像の撮影時刻情報に対応する作業車両２の位置情報に基づいて特定する（ステップＳ３）。
この実施形態では、ステップＳ２において、例えば次のような２つの部分撮影画像Ｇａ，Ｇｂが、作業車両２がほぼ中央に写っている車両内含画像として選択されたとする。部分撮影画像Ｇａは、作業車両２が図２の実線で示す位置Ｐａに存在している時刻ｔａにおいて、作業車両２の天井の真上位置から撮影された部分撮影画像である。部分撮影画像Ｇｂは、作業車両２が図２の鎖線で示す位置Ｐｂに存在している時刻ｔｂにおいて、作業車両２の天井の真上位置から撮影された部分撮影画像である。 Next, the position specifying unit 52A changes the position of the work vehicle 2 in each vehicle inclusion image selected in step S2 to the position information of the work vehicle 2 corresponding to the shooting time information of each vehicle inclusion image. Specify based on (step S3).
In this embodiment, it is assumed that in step S2, for example, the following two partially photographed images Ga and Gb are selected as in-vehicle images in which the work vehicle 2 is substantially in the center. The partially photographed image Ga is a partially photographed image taken from a position directly above the ceiling of the work vehicle 2 at the time ta when the work vehicle 2 exists at the position Pa shown by the solid line in FIG. The partially photographed image Gb is a partially photographed image taken from a position directly above the ceiling of the work vehicle 2 at the time tb when the work vehicle 2 exists at the position Pb shown by the chain line in FIG.

この場合、ステップＳ３では、ステップＳ１でメモリ５１に読み込まれた時刻毎の位置情報のうち、時刻ｔａに対応する作業車両２の位置情報が、部分撮影画像Ｇａに対応する作業車両２の位置Ｐａとして特定される。また、ステップＳ１でメモリ５１に読み込まれた時刻毎の位置情報のうち、時刻ｔｂに対応する作業車両２の位置情報が、部分撮影画像Ｇｂに対応する作業車両２の位置Ｐｂとして特定される。 In this case, in step S3, among the position information for each time read in the memory 51 in step S1, the position information of the work vehicle 2 corresponding to the time ta is the position Pa of the work vehicle 2 corresponding to the partially captured image Ga. Specified as. Further, among the position information for each time read in the memory 51 in step S1, the position information of the work vehicle 2 corresponding to the time tb is specified as the position Pb of the work vehicle 2 corresponding to the partially photographed image Gb.

次に、空撮画像処理部５２内の全体画像生成部５２Ｂは、空撮画像ファイルに含まれる複数の部分撮影画像と、ステップＳ３で特定された各車両内含画像内の作業車両２の位置とに基づいて、空撮対象圃場Ｆ全体に対する全体撮影画像を生成する。
具体的には、全体画像生成部５２Ｂは、まず、空撮画像ファイルに含まれる複数の部分撮影画像の方位情報および撮影位置情報に基づいて、これらの複数の部分撮影画像を合成して合成撮影画像を生成する（ステップＳ４）。 Next, the whole image generation unit 52B in the aerial image processing unit 52 is the position of the plurality of partially photographed images included in the aerial image file and the work vehicle 2 in each vehicle including image specified in step S3. Based on the above, an overall photographed image for the entire field F to be aerial photographed is generated.
Specifically, the whole image generation unit 52B first synthesizes and composites these plurality of partially captured images based on the orientation information and the shooting position information of the plurality of partially captured images included in the aerial image file. Generate an image (step S4).

次に、全体画像生成部５２Ｂは、ステップＳ３で特定された各車両内含画像内の作業車両２の位置を対空標識の位置情報（基準となる経度、緯度、高度情報）として用いて、合成撮影画像からオルソ画像を生成する（ステップＳ５）。
ステップＳ５の処理は、例えば、次のように行われる。すなわち、全体画像生成部５２Ｂは、まず、ステップＳ４で生成された合成撮影画像と、ステップＳ３で特定された各車両内含画像内の作業車両２の位置とを用いて、空撮対象圃場Ｆにおける地表の三次元形状を表した地形図データを生成する。そして、全体画像生成部５２Ｂは、ステップＳ４で生成された合成撮影画像と地形図データとを用いて、オルソ画像を生成する。 Next, the whole image generation unit 52B synthesizes by using the position of the work vehicle 2 in each vehicle including image specified in step S3 as the position information (reference longitude, latitude, altitude information) of the anti-aircraft sign. An ortho image is generated from the captured image (step S5).
The process of step S5 is performed as follows, for example. That is, the whole image generation unit 52B first uses the composite photographed image generated in step S4 and the position of the work vehicle 2 in each in-vehicle included image specified in step S3 to capture the field F for aerial photography. Generates topographic map data showing the three-dimensional shape of the ground surface in. Then, the whole image generation unit 52B generates an ortho image by using the composite photographed image generated in step S4 and the topographic map data.

以上、この発明の実施形態について説明したが、この発明はさらに他の形態で実施することもできる。例えば、前述の実施形態では、全体画像生成部５２Ｂは、全体撮影画像としてオルソ画像を生成している。しかし、全体画像生成部５２Ｂは、空撮対象圃場Ｆにおける地表の三次元形状を表した前述の地形図データを、全体撮影画像として生成するものであってもよい。 Although the embodiment of the present invention has been described above, the present invention can also be implemented in other embodiments. For example, in the above-described embodiment, the overall image generation unit 52B generates an ortho image as an overall captured image. However, the overall image generation unit 52B may generate the above-mentioned topographic map data representing the three-dimensional shape of the ground surface in the aerial image target field F as an overall image.

また、前述の実施形態では、空撮装置６は、空撮対象圃場Ｆ内を作業車両２が自動走行しているときに、空撮対象圃場Ｆを空撮している。しかし、空撮装置６は、空撮対象圃場Ｆ内を作業車両２が手動走行しているときに、空撮対象圃場Ｆを空撮するようにしてもよい。
また、前述の実施形態では、空撮装置６内の位置検出装置は、単独測位システムによって撮影位置を測位するものであったが、ＲＴＫ−ＧＮＳＳ等のような相対測位システムによって撮影位置を測位するものであってもよい。 Further, in the above-described embodiment, the aerial photography device 6 takes an aerial photograph of the aerial photography target field F while the work vehicle 2 is automatically traveling in the aerial photography target field F. However, the aerial photography device 6 may take an aerial photograph of the aerial photography target field F while the work vehicle 2 is manually traveling in the aerial photography target field F.
Further, in the above-described embodiment, the position detection device in the aerial photography device 6 positions the shooting position by a single positioning system, but the shooting position is positioned by a relative positioning system such as RTK-GNSS. It may be a thing.

前述の実施形態では、作業車両はトラクタであるが、作業車両は、田植え機、コンバイン、土木・建設作業装置、除雪車、乗用型作業機、歩行型作業機等であってもよい。
その他、特許請求の範囲に記載された事項の範囲で種々の設計変更を施すことが可能である。 In the above-described embodiment, the work vehicle is a tractor, but the work vehicle may be a rice transplanter, a combine, a civil engineering / construction work device, a snowplow, a passenger-type work machine, a walking-type work machine, or the like.
In addition, various design changes can be made within the scope of the matters described in the claims.

１ 空撮画像処理システム
２ 作業車両
３ 通信端末
４ 制御端末
５ 飛行体
６ 空撮装置
７ サーバ
２１ 作業車両制御装置
２２ 制御部
３１ 位置検出部
３４ 無線通信部
３８ 位置情報記憶部
３９ 自動走行経路記憶部
４０ 制御部
４１ 無線通信部
４５ 位置情報記憶部
４６ 自動走行経路記憶部
５０ 制御部
５１ メモリ
５２ 空撮画像処理部
５２Ａ 位置特定部
５２Ｂ 全体画像生成部
６１ 通信部
６５ 位置情報記憶部
６６ 空撮画像記憶部 1 Aerial image processing system 2 Work vehicle 3 Communication terminal 4 Control terminal 5 Flying object 6 Aerial device 7 Server 21 Work vehicle control device 22 Control unit 31 Position detection unit 34 Wireless communication unit 38 Position information storage unit 39 Automatic travel route storage Unit 40 Control unit 41 Wireless communication unit 45 Position information storage unit 46 Automatic driving route storage unit 50 Control unit 51 Memory 52 Aerial image processing unit 52A Position identification unit 52B Overall image generation unit 61 Communication unit 65 Position information storage unit 66 Aerial photography Image storage

Claims (3)

空撮対象圃場内を走行する作業車両の時刻毎の位置情報を、時刻情報とともに記憶する第１記憶部と、
前記空撮対象圃場内を前記作業車両が走行しているときに、前記空撮対象圃場の全体を網羅するように複数回にわたって空撮された部分撮影画像であって、少なくとも２回の異なるタイミングで空撮されかつ前記作業車両を内含する複数の車両内含画像を含む複数の部分撮影画像を、撮影位置情報および撮影時刻情報とともに記憶する第２記憶部と、
前記複数の車両内含画像のうちの少なくとも２つの前記車両内含画像内の作業車両の位置を、これらの各車両内含画像の撮影時刻情報に対応する前記作業車両の位置情報に基づいて特定する位置特定部と、
前記複数の部分撮影画像と、前記位置特定部によって特定された、前記少なくとも２つの車両内含画像内の作業車両の位置とに基づいて、前記空撮対象圃場全体に対する全体撮影画像を生成する全体画像生成部とを含む、空撮画像処理装置。 The first storage unit that stores the position information of the work vehicle traveling in the field to be aerial photographed at each time together with the time information.
When the work vehicle is traveling in the field to be aerial photographed, it is a partial photographed image taken aerial multiple times so as to cover the entire field to be aerial photographed, and at least two different timings. A second storage unit that stores a plurality of partially captured images including a plurality of vehicle interior images taken aerial and including the work vehicle together with shooting position information and shooting time information.
The positions of at least two of the plurality of vehicle inclusion images of the work vehicle in the vehicle inclusion images are specified based on the position information of the work vehicle corresponding to the shooting time information of each of the vehicle inclusion images. The position identification part to be used and
Based on the plurality of partially photographed images and the position of the work vehicle in the at least two in-vehicle images specified by the position specifying unit, the entire image for generating the entire field to be aerial photographed is generated. An aerial image processing device including an image generator. 前記全体画像生成部は、
前記複数の部分撮影画像を合成して合成撮影画像を生成する合成撮影画像生成部と、
前記位置特定部によって特定された前記少なくとも２つの車両内含画像内の作業車両の位置を対空標識の位置情報として用いて、前記合成撮影画像からオルソ画像を生成するオルソ画像生成部とを含む、請求項１に記載の空撮画像処理装置。 The whole image generation unit is
A composite shooting image generation unit that synthesizes the plurality of partially shot images to generate a composite shooting image, and
The ortho image generation unit that generates an ortho image from the composite photographed image by using the position of the work vehicle in the at least two in-vehicle images specified by the position specifying unit as the position information of the anti-aircraft sign. The aerial image processing apparatus according to claim 1. 前記複数の部分撮影画像は、前記空撮対象圃場内を前記作業車両が自動走行経路に沿って自動走行されているときに、前記空撮対象圃場が空撮されることによって生成される、請求項１または２に記載の空撮画像処理装置。 The plurality of partially photographed images are generated by aerial photography of the aerial photography target field when the work vehicle is automatically traveling along the automatic traveling path in the aerial photography target field. Item 2. The aerial image processing apparatus according to Item 1 or 2.
JP2018171695A 2018-09-13 2018-09-13 Aerial image processing device Active JP6982558B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018171695A JP6982558B2 (en) 2018-09-13 2018-09-13 Aerial image processing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018171695A JP6982558B2 (en) 2018-09-13 2018-09-13 Aerial image processing device

Publications (2)

Publication Number Publication Date
JP2020042728A JP2020042728A (en) 2020-03-19
JP6982558B2 true JP6982558B2 (en) 2021-12-17

Family

ID=69798439

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018171695A Active JP6982558B2 (en) 2018-09-13 2018-09-13 Aerial image processing device

Country Status (1)

Country Link
JP (1) JP6982558B2 (en)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001120042A (en) * 1999-10-22 2001-05-08 Hokuriku Natl Agricultural Experiment Station Image mapping system
US10295653B2 (en) * 2015-04-27 2019-05-21 Northrop Grumman Systems Corporation Moving target indication (MTI) system
US9745060B2 (en) * 2015-07-17 2017-08-29 Topcon Positioning Systems, Inc. Agricultural crop analysis drone
JP6773523B2 (en) * 2016-11-09 2020-10-21 ヤンマーパワーテクノロジー株式会社 Field registration system
JP6805928B2 (en) * 2017-03-28 2020-12-23 井関農機株式会社 Work management system for work vehicles

Also Published As

Publication number Publication date
JP2020042728A (en) 2020-03-19

Similar Documents

Publication Publication Date Title
US10648809B2 (en) Adaptive compass calibration based on local field conditions
US20210385386A1 (en) Aerial video based point, distance, and velocity real-time measurement system
EP2728308B1 (en) Aerial photogrammetry and aerial photogrammetric system
JP6390013B2 (en) Control method for small unmanned aerial vehicles
US9013576B2 (en) Aerial photograph image pickup method and aerial photograph image pickup apparatus
US20160327389A1 (en) Calibration Transfer Between Two Devices
JP5748561B2 (en) Aerial photography imaging method and aerial photography imaging apparatus
CN107918397A (en) The autonomous camera system of unmanned plane mobile image kept with target following and shooting angle
CN108021145A (en) The autonomous camera system of unmanned plane mobile image kept with target following and shooting angle
JP6138326B1 (en) MOBILE BODY, MOBILE BODY CONTROL METHOD, PROGRAM FOR CONTROLLING MOBILE BODY, CONTROL SYSTEM, AND INFORMATION PROCESSING DEVICE
JP2006027331A (en) Method for collecting aerial image information by utilizing unmanned flying object
JP6930840B2 (en) Surveying system
US11122209B2 (en) Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium
JP7050425B2 (en) Surveying system
JP6670789B2 (en) GNSS base station system
US20210208608A1 (en) Control method, control apparatus, control terminal for unmanned aerial vehicle
JP2020170213A (en) Drone-work support system and drone-work support method
WO2018150492A1 (en) Image display method, image display system, flying object, program, and recording medium
CN110785720A (en) Information processing device, information presentation instruction method, program, and recording medium
JP6982558B2 (en) Aerial image processing device
JP2020036163A (en) Information processing apparatus, photographing control method, program, and recording medium
JP7014261B2 (en) Control method and control device
Elbahnasawy GNSS/INS-assisted multi-camera mobile mapping: System architecture, modeling, calibration, and enhanced navigation
JP7105659B2 (en) Image information synthesizing device
CN110892353A (en) Control method, control device and control terminal of unmanned aerial vehicle

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211119

R150 Certificate of patent or registration of utility model

Ref document number: 6982558

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150