JP2018128376A - Arithmetic unit, arithmetic method and program - Google Patents

Arithmetic unit, arithmetic method and program Download PDF

Info

Publication number
JP2018128376A
JP2018128376A JP2017022189A JP2017022189A JP2018128376A JP 2018128376 A JP2018128376 A JP 2018128376A JP 2017022189 A JP2017022189 A JP 2017022189A JP 2017022189 A JP2017022189 A JP 2017022189A JP 2018128376 A JP2018128376 A JP 2018128376A
Authority
JP
Japan
Prior art keywords
optical device
sun
flight plan
uav
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017022189A
Other languages
Japanese (ja)
Other versions
JP6783681B2 (en
Inventor
信幸 西田
Nobuyuki Nishida
信幸 西田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2017022189A priority Critical patent/JP6783681B2/en
Publication of JP2018128376A publication Critical patent/JP2018128376A/en
Application granted granted Critical
Publication of JP6783681B2 publication Critical patent/JP6783681B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Navigation (AREA)

Abstract

PROBLEM TO BE SOLVED: To solve such a problem that tracking becomes difficult due to influence of the sun in a technology for optically tracking aircraft flying in accordance with a flight plan.SOLUTION: When tracking UAV200 flying according to a flight plan by TS (total station) 100, a position of TS100 where the field of view of TS100 enters the sun is calculated on the basis of the flight schedule of UAV200 and positional information of the sun in the celestial sphere.SELECTED DRAWING: Figure 4

Description

本発明は、飛行する航空機を光学的に追跡する技術に関する。   The present invention relates to a technique for optically tracking a flying aircraft.

無人航空機(UAV(Unmanned aerial vehicle))を測量に用いる技術が知られている。この技術では、GNSS(Global Navigation Satellite System)を用いた位置測定装置(所謂GPS受信機)、IMU(慣性航法装置)、高度計、カメラを搭載したUAVを予め定めた経路に沿って飛行させて地上の撮影を行い、航空写真測量等を行う。   A technique using an unmanned aerial vehicle (UAV) for surveying is known. In this technology, a UAV equipped with a position measuring device (so-called GPS receiver), IMU (inertial navigation device), altimeter, and camera using a GNSS (Global Navigation Satellite System) is allowed to fly along a predetermined route to the ground. And take aerial photogrammetry.

対空標識を不要もしくはその数を減らした写真測量では、カメラの位置データの精度が重要となる。ところで、UAVは、GNSSを利用して自身の位置を特定できるが、その精度は水平方向で1m程度、垂直方向で3m程度であり、写真測量に求められる精度は得られない。GNSSを利用したより高精度の位置測定機器をUAVに搭載する方法もあるが、機器の重量や消費電力の点で汎用のUAVに搭載するは難しい。この問題に対する対応して、TS(トータルステーション)で飛行するUAVを追尾し、TSが備えるレーザー測距機能を用いてUAVの位置を特定する方法がある(例えば、特許文献1を参照)。   In photogrammetry with no or fewer anti-air signs, the accuracy of camera position data is important. By the way, although UAV can identify its position using GNSS, its accuracy is about 1 m in the horizontal direction and about 3 m in the vertical direction, and the accuracy required for photogrammetry cannot be obtained. There is a method of mounting a higher-accuracy position measuring device using GNSS in the UAV, but it is difficult to mount it in a general-purpose UAV in terms of the weight of the device and power consumption. In response to this problem, there is a method of tracking a UAV flying in a TS (total station) and specifying the position of the UAV using a laser ranging function provided in the TS (see, for example, Patent Document 1).

US2014/0210663号公報US2014 / 0210663 Publication

上記のTSでUAVを追尾する方法では、TSが備えるターゲットの自動追尾機能が利用される。この技術では、探索用レーザー光でUAVを捕捉および追尾する。UAVは、探索用レーザー光を入射方向に反射する反射プリズムを備え、この反射プリズムからの反射光をTS側で検出することで、TSによるUAVの追尾が行われる。   In the method of tracking UAV with the above-described TS, an automatic tracking function of a target included in the TS is used. In this technique, a UAV is captured and tracked with a search laser beam. The UAV includes a reflecting prism that reflects search laser light in the incident direction, and the UAV is tracked by the TS by detecting reflected light from the reflecting prism on the TS side.

ところで、TSから見たUAVの方向に太陽があると、探索用レーザー光の反射光よりも太陽光の方が高強度なので、探索用レーザー光の検出ができなくなる場合がある。これは、測距用のレーザー光においても同じである。   By the way, if the sun is in the UAV direction as viewed from the TS, the intensity of sunlight is higher than the reflected light of the search laser light, and thus the search laser light may not be detected. The same applies to the laser beam for distance measurement.

よって、UAVをTSにより追跡している状況において、TSからUAVを見た視線上に太陽があると、TSにおけるUAVから反射した探索用レーザー光および測距用レーザー光の検出が困難になり、UAVを見失い、またUAVの位置測定ができなくなる。これは、カメラを用いて飛行するUAVを追跡する場合も同様である。   Therefore, in the situation where the UAV is tracked by the TS, if the sun is on the line of sight of the UAV from the TS, it becomes difficult to detect the search laser beam and the ranging laser beam reflected from the UAV in the TS. The UAV is lost and the UAV position cannot be measured. The same applies to the case of tracking a flying UAV using a camera.

このような背景において、本発明は飛行計画に従って飛行する航空機を光学的に追跡する技術において、太陽の影響により追跡が困難になる問題を解決することを目的とする。   In such a background, an object of the present invention is to solve a problem that tracking becomes difficult due to the influence of the sun in a technique for optically tracking an aircraft flying according to a flight plan.

請求項1に記載の発明は、飛行計画に従って飛行する航空機を光学装置によって追跡する際に、前記光学装置の視野に太陽が入る前記光学装置の位置を、前記飛行計画および天球における太陽の位置情報に基づき算出する算出部を備えた演算装置である。   According to the first aspect of the present invention, when an aircraft flying according to a flight plan is tracked by an optical device, the position of the optical device at which the sun enters the field of view of the optical device is determined. It is an arithmetic unit provided with the calculation part which calculates based on this.

請求項2に記載の発明は、請求項1に記載の発明において、前記光学装置の視野に太陽が入る前記光学装置の位置は、太陽と前記飛行計画に従って飛行する前記航空機を結ぶ線上の位置に基づいて算出されることを特徴とする。   According to a second aspect of the present invention, in the first aspect of the present invention, the position of the optical device where the sun enters the field of view of the optical device is a position on a line connecting the sun and the aircraft flying according to the flight plan. It is calculated based on.

請求項3に記載の発明は、請求項2に記載の発明において、前記光学装置の視野に太陽が入る前記光学装置の位置は、太陽と前記飛行計画に従って飛行する前記航空機を結ぶ線上の位置を含むことを特徴とする。   The invention according to claim 3 is the invention according to claim 2, wherein the position of the optical device where the sun enters the field of view of the optical device is a position on a line connecting the sun and the aircraft flying according to the flight plan. It is characterized by including.

請求項4に記載の発明は、請求項1〜3のいずれか一項に記載の発明において、前記算出部で算出された位置に基づき、前記航空機を追跡する光学装置の設置が不適な位置を算出する光学装置設置不適位置算出部を備えることを特徴とする。   According to a fourth aspect of the present invention, in the invention according to any one of the first to third aspects of the present invention, a position where the installation of the optical device that tracks the aircraft is inappropriate is based on the position calculated by the calculation unit. An optical device installation inappropriate position calculating unit for calculating is provided.

請求項5に記載の発明は、請求項1〜4のいずれか一項に記載の発明において、前記航空機を追跡する光学装置の設置位置の情報を受け付ける光学装置の設置位置取得部と、前記算出部で算出された位置と前記光学装置の前記設置位置とを比較し、前記光学装置による前記航空機の追跡において、前記光学装置の前記設置位置が太陽光の影響を受けるか否かを判定する判定部とを備えることを特徴とする。   The invention according to claim 5 is the invention according to any one of claims 1 to 4, wherein the installation position acquisition unit of the optical device that receives information of the installation position of the optical device that tracks the aircraft, and the calculation A determination of whether or not the installation position of the optical device is affected by sunlight in the tracking of the aircraft by the optical device by comparing the position calculated by the optical unit and the installation position of the optical device And a section.

請求項6に記載の発明は、飛行計画に従って飛行する航空機を光学装置によって追跡する際に、前記光学装置の視野に太陽が入るか否かを前記飛行計画および天球における太陽の位置情報に基づき判定する判定部を備えた演算装置である。   The invention according to claim 6 determines whether or not the sun enters the visual field of the optical device based on the flight plan and position information of the sun in the celestial sphere when the aircraft flying according to the flight plan is tracked by the optical device. It is an arithmetic unit provided with the determination part to perform.

請求項7に記載の発明は、請求項6に記載の発明において、前記光学装置の視野に太陽が入るか否かの判定は、前記光学装置から見た太陽の方向と、前記飛行計画に従って飛行する航空機を追跡する前記光学装置の光軸の方向とが特定の関係を満たすか否かを判定することで行われることを特徴とする。   According to a seventh aspect of the present invention, in the sixth aspect of the present invention, the determination as to whether or not the sun enters the field of view of the optical device is performed according to the direction of the sun viewed from the optical device and the flight plan. It is performed by determining whether or not the direction of the optical axis of the optical device that tracks the aircraft to be fulfilled has a specific relationship.

請求項8に記載の発明は、請求項6または7に記載の発明において、前記飛行計画における前記光学装置の視野に太陽が入るタイミングにおける前記航空機の高度を変更する高度変更部を備えることを特徴とする。   The invention according to claim 8 is the invention according to claim 6 or 7, further comprising an altitude changing unit that changes the altitude of the aircraft at a timing when the sun enters the field of view of the optical device in the flight plan. And

請求項9に記載の発明は、飛行計画に従って飛行する航空機を光学装置によって追跡する際に、前記光学装置の視野に太陽が入る前記光学装置の位置を、前記飛行計画および天球における太陽の位置情報に基づき算出する算出ステップを有する演算方法である。   According to the ninth aspect of the present invention, when the aircraft flying according to the flight plan is tracked by the optical device, the position of the optical device where the sun enters the field of view of the optical device is determined. It is the calculation method which has the calculation step which calculates based on.

請求項10に記載の発明は、コンピュータに読み取らせて実行させるプログラムであって、コンピュータを飛行計画に従って飛行する航空機を光学装置によって追跡する際に、前記光学装置の視野に太陽が入る前記光学装置の位置を、前記飛行計画および天球における太陽の位置情報に基づき算出する算出部として動作させるプログラムである。   The invention according to claim 10 is a program for causing a computer to read and execute the optical device, wherein the sun enters the field of view of the optical device when the computer tracks an aircraft flying according to a flight plan. Is a program that operates as a calculation unit that calculates the position based on the flight plan and the position information of the sun on the celestial sphere.

本発明によれば、飛行計画に従って飛行する航空機を光学的に追跡する技術において、太陽の影響により追跡が困難になる問題が解決される。   According to the present invention, in the technique of optically tracking an aircraft flying according to a flight plan, the problem that tracking becomes difficult due to the influence of the sun is solved.

実施形態の概念図である。It is a conceptual diagram of embodiment. TS(トータルステーション)の一例のブロック図である。It is a block diagram of an example of TS (total station). 実施形態の演算装置のブロック図である。It is a block diagram of the arithmetic unit of the embodiment. 実施形態の概念図である。It is a conceptual diagram of embodiment. 処理の一例を示すフローチャートである。It is a flowchart which shows an example of a process. 処理の一例を示すフローチャートである。It is a flowchart which shows an example of a process. 処理の一例を示すフローチャートである。It is a flowchart which shows an example of a process. 実施形態の概念図である。It is a conceptual diagram of embodiment. 実施形態の概念図である。It is a conceptual diagram of embodiment.

1.第1の実施形態
(概要)
以下UAV(Unmanned aerial vehicle)をTS(トータルステーション)により追跡する場合を例に挙げ説明する。ここでは、UAVを追跡する光学装置としてTSの場合を説明するが、カメラが撮影した画像に基づき、UAVを追跡する形態の光学装置を利用することもできる。
1. First embodiment (outline)
Hereinafter, a case where UAV (Unmanned aerial vehicle) is tracked by a TS (total station) will be described as an example. Here, the case of a TS as an optical device that tracks UAV will be described. However, an optical device that tracks UAV based on an image captured by a camera can also be used.

図1には、飛行するUAV (Unmanned aerial vehicle)200、地上に配置されたTS(トータルステーション)100、太陽光の影響に係るTS100の設置位置の妥当性に関する処理を行う演算装置300が示されている。ここで、ノート型のPC(パーソナルコンピュータ)を利用して演算装置300を構成した例が示されている。TS100と演算装置300とは、適当な通信規格を利用した通信を行え、両者の間におけるデータの通信や演算装置300を構成するPCを用いたTS100の遠隔装置が可能とされている。また、演算装置300に係る各種の操作は、演算装置300を構成するPCを操作することで行われる。   FIG. 1 shows a flying UAV (Unmanned aerial vehicle) 200, a TS (total station) 100 arranged on the ground, and an arithmetic device 300 that performs processing related to the validity of the installation position of the TS 100 related to the influence of sunlight. Yes. Here, an example in which the arithmetic device 300 is configured using a notebook PC (personal computer) is shown. The TS 100 and the computing device 300 can communicate using an appropriate communication standard, and data communication between them and a remote device of the TS 100 using a PC constituting the computing device 300 are possible. Various operations related to the arithmetic device 300 are performed by operating a PC constituting the arithmetic device 300.

UAV200は、市販のものであり、予め定めた飛行ルートを自律飛行し、航空写真測量のための撮影を行う。もちろん、UAV200の無線操縦による飛行制御も可能である。UAV200は、カメラ、GNSSを利用した位置測定装置(例えば、GPS受信機)、IMU(慣性航法装置)、高度計、予め定めた飛行経路および飛行ログを記憶する記憶部、飛行のための制御装置を備えている。   The UAV 200 is commercially available, autonomously flies over a predetermined flight route, and performs shooting for aerial photogrammetry. Of course, flight control by radio control of the UAV 200 is also possible. The UAV 200 includes a camera, a position measurement device (for example, a GPS receiver) using GNSS, an IMU (inertial navigation device), an altimeter, a storage unit that stores a predetermined flight path and a flight log, and a control device for flight. I have.

UAV200は、自身が備えた位置特定装置とIMUの機能を利用して、予め定められた航路を予め定められた速度で飛行する。なお、位置特定装置の測定誤差があるので、予め定められた航路と実際に飛ぶ航路との間には、ある程度の誤差がある。飛行の経過は、飛行ログに記憶される。飛行ログには、時刻とUAVの位置(緯度・経度・高度)の情報が関連付けされて記憶される。   The UAV 200 flies at a predetermined speed on a predetermined route using the position specifying device and the function of the IMU. Since there is a measurement error of the position specifying device, there is a certain amount of error between a predetermined route and a route that actually flies. The progress of the flight is stored in the flight log. In the flight log, time and UAV position (latitude, longitude, altitude) information are stored in association with each other.

UAV200は、外部から見やすい場所(TSから探索され易い場所、例えばUAV200の下部)にTS100からの探索用レーザー光と測距用レーザー光を受光し反射する専用の反射プリズムが取り付けられている。この反射プリズムは、TS100による測量用の専用ターゲットであり、入射したレーザー光を入射した方向に反射する。   In the UAV 200, a dedicated reflecting prism that receives and reflects the search laser light and the ranging laser light from the TS 100 is attached to a place that can be easily seen from the outside (a place that can be easily searched from the TS, for example, the lower part of the UAV 200). This reflecting prism is a dedicated target for surveying by TS100 and reflects incident laser light in the incident direction.

TS100は、GNSSを用いた位置測定装置、画像を取得するカメラ、ターゲット(上記の反射プリズム)を探索する探索用レーザースキャン機能、測距用レーザー光を用いてターゲットまでの距離を測距するレーザー測距機能、レーザー測距されたターゲットの方向(水平角と垂直角(仰角または俯角))を計測する機能を有する。ターゲットまでの距離と方向を計測することで、TS100に対するターゲットの位置を測定できる。ここで、TS100の位置が判っていれば、ターゲット(この場合はUAV)の地図座標系における位置(緯度・経度・高度もしくは直交座標系上のXYZ座標)を知ることができる。これらの機能は、市販のTSが持っている機能であり、特別なものではない。これらTSに関する技術としては、例えば、特開2009-229192号公報や特開2012-202821号公報等に記載されている。なお、地図座標系というのは、地図情報を扱う座標系(例えば、緯度,経度,高度(標高))であり、例えばGNSSで得られる位置情報は通常地図座標系で記述される。   TS100 is a position measuring device using GNSS, a camera for acquiring an image, a laser scanning function for searching for a target (the above-described reflecting prism), and a laser for measuring a distance to a target using a distance measuring laser beam. It has a distance measuring function and a function of measuring the direction (horizontal angle and vertical angle (elevation angle or depression angle)) of the target subjected to laser distance measurement. By measuring the distance and direction to the target, the position of the target with respect to TS100 can be measured. Here, if the position of TS100 is known, the position (latitude / longitude / altitude or XYZ coordinates on the Cartesian coordinate system) of the target (in this case, UAV) in the map coordinate system can be known. These functions are functions that the commercial TS has and are not special. The techniques relating to these TSs are described in, for example, Japanese Unexamined Patent Application Publication Nos. 2009-229192 and 2012-202821. Note that the map coordinate system is a coordinate system that handles map information (for example, latitude, longitude, altitude (elevation)). For example, position information obtained by GNSS is usually described in a map coordinate system.

以下、本実施形態で利用するTS(トータルステーション)100の一例を説明する。図2には、TS100のブロック図が示されている。TS100は、カメラ101、ターゲット探索部102、測距部103、水平・垂直方向検出部104、水平・垂直方向駆動部105、データ記憶部106、位置測定部107、通信部108、ターゲット位置算出部109を備えている。   Hereinafter, an example of the TS (total station) 100 used in the present embodiment will be described. FIG. 2 shows a block diagram of TS100. The TS 100 includes a camera 101, a target searching unit 102, a distance measuring unit 103, a horizontal / vertical direction detecting unit 104, a horizontal / vertical direction driving unit 105, a data storage unit 106, a position measuring unit 107, a communication unit 108, and a target position calculating unit. 109.

カメラ101は、ターゲット等の測量対象の動画像または静止画像を撮影する。カメラ101が撮影した画像のデータは、測距対象に係る測定時刻、測定方向、測定距離、測定対象の位置等のデータと関連付けされて適当な記憶領域に記憶される。本実施形態の場合、カメラ101により、UAV200の画像が取得される。ターゲット探索部102は、扇形ビームを有した探索用レーザー光を用いたタ−ゲットの探索を行う。測距部103は、測距用レーザー光を用いたターゲットまでの距離の計測を行う。水平・垂直方向検出部104は、測距部103が測距したターゲットの水平方向角と垂直方向角(仰角および俯角)を計測する。ターゲット探索部102および測距部103の光学系を備えた筐体部分は、水平回転および仰角(俯角)制御が可能であり、水平方向角と垂直方向角は、エンコーダにより計測される。このエンコーダの出力が水平・垂直方向角検出部104で検出され、水平方向角と垂直方向角(仰角および俯角)の計測が行われる。   The camera 101 captures a moving image or a still image of a survey target such as a target. Data of an image captured by the camera 101 is stored in an appropriate storage area in association with data such as a measurement time, a measurement direction, a measurement distance, and a position of the measurement object related to the distance measurement object. In the case of this embodiment, the camera 101 acquires an image of the UAV 200. The target search unit 102 searches for a target using a search laser beam having a fan beam. The distance measuring unit 103 measures the distance to the target using the distance measuring laser beam. The horizontal / vertical direction detection unit 104 measures the horizontal direction angle and the vertical direction angle (elevation angle and depression angle) of the target measured by the distance measurement unit 103. The casing portion having the optical system of the target search unit 102 and the distance measuring unit 103 can be controlled in horizontal rotation and elevation angle (decline angle), and the horizontal direction angle and the vertical direction angle are measured by an encoder. The output of the encoder is detected by the horizontal / vertical direction angle detection unit 104, and the horizontal direction angle and the vertical direction angle (elevation angle and depression angle) are measured.

水平・垂直方向駆動部105は、ターゲット探索部102および測距部103の光学系を備えた筐体部分の水平回転および仰角制御(および俯角制御)を行うモータ、該モータの駆動回路、該駆動回路の制御回路を含む。データ記憶部106は、TS100の動作に必要な制御プログラム、各種のデータ、測量結果等を記憶する。   The horizontal / vertical direction drive unit 105 includes a motor that performs horizontal rotation and elevation angle control (and depression angle control) of the housing portion including the optical system of the target search unit 102 and the distance measurement unit 103, a drive circuit for the motor, and the drive Includes circuit control circuitry. The data storage unit 106 stores a control program necessary for the operation of the TS 100, various data, survey results, and the like.

位置測定部107は、GNSSを用いたTS100の位置の測定を行う。位置測定部107は、相対測位と単独測位の両方を行う機能を有する。相対測位を行える環境であれば、相対測位を用いたTS100の位置の測定が好ましいが、相対測位が困難な場合は単独測位によるTS100の位置の測定が行われる。   The position measuring unit 107 measures the position of the TS 100 using GNSS. The position measuring unit 107 has a function of performing both relative positioning and single positioning. In an environment where relative positioning is possible, measurement of the position of TS100 using relative positioning is preferable. However, when relative positioning is difficult, the position of TS100 is measured by independent positioning.

通信部108は、演算装置300や外部の機器との間で通信を行う。TS100は、外部の端末(専用端末、PC、タブレット、スマートフォン等)による操作が可能であり、この際の通信が通信部108を用いて行われる。また、通信部108は、TS100の動作に必要な各種のデータの受け付け、およびTS100が取得した各種のデータの外部への出力を行う。通信の形態としては、無線通信や光通信が挙げられる。   The communication unit 108 communicates with the arithmetic device 300 and external devices. The TS 100 can be operated by an external terminal (dedicated terminal, PC, tablet, smartphone, etc.), and communication at this time is performed using the communication unit 108. In addition, the communication unit 108 receives various data necessary for the operation of the TS 100 and outputs various data acquired by the TS 100 to the outside. Examples of communication forms include wireless communication and optical communication.

ターゲット位置算出部109は、ターゲット(この場合は、UAV搭載の反射プリズム)までの距離と方向からTS100に対するターゲットの位置(座標)を算出する。ここで、ターゲットまでの距離は、測距部103で得られ、ターゲットの方向は水平・垂直方向検出部104で得られる。TS100の位置は、位置測定部107で特定されるので、TS100に対するターゲットの位置を求めることで、ターゲットの地図座標系における位置を求めることができる。   The target position calculation unit 109 calculates the position (coordinates) of the target with respect to the TS 100 from the distance and direction to the target (in this case, the UAV-mounted reflecting prism). Here, the distance to the target is obtained by the distance measuring unit 103, and the direction of the target is obtained by the horizontal / vertical direction detecting unit 104. Since the position of the TS 100 is specified by the position measurement unit 107, the position of the target in the map coordinate system can be obtained by obtaining the position of the target with respect to the TS 100.

(演算装置)
図3には、演算装置300が示されている。演算装置300は、TS100によるUAV200の追跡の際に、太陽の存在がUAV200の追跡の障害になる場合を予測あるいは判定する演算を行う。以下、演算装置300について説明する。図3には、演算装置300のブロック図が示されている。
(Arithmetic unit)
FIG. 3 shows an arithmetic device 300. The arithmetic device 300 performs an operation of predicting or determining when the presence of the sun becomes an obstacle to the tracking of the UAV 200 when the TS 100 tracks the UAV 200. Hereinafter, the arithmetic device 300 will be described. FIG. 3 shows a block diagram of the arithmetic device 300.

この例では、図1に示すように、演算装置300は、ノート型のPC(パーソナルコンピュータ)により構成されている。演算装置300は、CPU、記憶部、各種のインターフェースを備えたコンピュータであり、汎用(例えば、PC)あるいは専用のハードウェアによって構成することができる。   In this example, as shown in FIG. 1, the arithmetic device 300 is configured by a notebook PC (personal computer). The arithmetic device 300 is a computer including a CPU, a storage unit, and various interfaces, and can be configured by general-purpose (for example, a PC) or dedicated hardware.

図3に示す各機能部の一部または全部を専用の演算回路によって構成してもよい。また、ソフトウェア的に構成された機能部と、専用の演算回路によって構成された機能部を組み合わせてもよい。   A part or all of the functional units shown in FIG. 3 may be configured by a dedicated arithmetic circuit. Further, a functional unit configured in software and a functional unit configured by a dedicated arithmetic circuit may be combined.

例えば、図示する各機能部は、CPU(Central Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)に代表されるPLD(Programmable Logic Device)などの電子回路により構成される。また、一部の機能を専用のハードウェアで構成し、他の一部を汎用のマイコンにより構成することも可能である。   For example, each functional unit shown in the figure is configured by an electronic circuit such as a CPU (Central Processing Unit), an ASIC (Application Specific Integrated Circuit), and a PLD (Programmable Logic Device) represented by an FPGA (Field Programmable Gate Array). It is also possible to configure some functions with dedicated hardware and configure other parts with general-purpose microcomputers.

各機能部を専用のハードウェアで構成するのか、CPUにおけるプログラムの実行によりソフトウェア的に構成するのかは、要求される演算速度、コスト、消費電力等を勘案して決定される。なお、機能部を専用のハードウェアで構成することとソフトウェア的に構成することは、特定の機能を実現するという観点からは、等価である。   Whether each functional unit is configured by dedicated hardware or by software by executing a program in the CPU is determined in consideration of required calculation speed, cost, power consumption, and the like. Note that configuring the functional unit with dedicated hardware and configuring it with software are equivalent from the viewpoint of realizing a specific function.

飛行計画データ受付部301は、UAV200の飛行計画のデータを受け付ける。飛行計画では、飛行開始の時刻、通過する複数のポイントPnの座標(緯度,経度,高度)と隣接するポイント間の速度が指定されている。この飛行計画に従ってUAV200は自律飛行する。ここで、Pnの位置と飛行時間とから指定する時刻における位置を求めることができる。飛行開始の時刻は、現場で任意の時刻を指定することが可能であり、通常は飛行を開始した時刻を時間軸上の原点として、その時点から上述した飛行計画に従って飛行が開始される。飛行計画としては、飛行開始からの時刻と位置の関係を規定した形態も可能である。   The flight plan data reception unit 301 receives flight plan data of the UAV 200. In the flight plan, the flight start time, the coordinates (latitude, longitude, altitude) of a plurality of passing points Pn and the speed between adjacent points are specified. The UAV 200 performs autonomous flight according to this flight plan. Here, the position at the specified time can be obtained from the position of Pn and the flight time. An arbitrary time can be specified at the site as the flight start time. Normally, the flight is started according to the flight plan described above from the time when the flight is started as the origin on the time axis. As a flight plan, the form which prescribed | regulated the relationship between the time from the flight start and a position is also possible.

飛行計画は、測量対象となる地形の状況等に鑑み、技術者が事前に設定する。勿論、測量現場で飛行計画を作成する場合もある。また、予め作成しておいた飛行計画を測量現場の状況に応じて修正し、その後に修正された飛行計画がUAV200に入力され、飛行が行われる場合もある。   The flight plan is set in advance by an engineer in consideration of the conditions of the topography to be surveyed. Of course, a flight plan may be created at the surveying site. In addition, the flight plan prepared in advance may be corrected according to the situation at the surveying site, and then the corrected flight plan may be input to the UAV 200 for flight.

算出部302は、飛行計画データ受付部301が受け付けた飛行計画に従って飛行するUAV200と太陽を結ぶ線上の位置を算出する。図4に演算部302が行う演算に関する概念図を示す。図4の例では、飛行計画における飛行予定経路に起因する太陽光の影を地上に投影し、地上に形成される影の跡の座標を算出する。この地上に投影された影のトレース跡が地上におけるUAV200の影の経路となる。   The calculation unit 302 calculates the position on the line connecting the UAV 200 and the sun flying according to the flight plan received by the flight plan data receiving unit 301. FIG. 4 shows a conceptual diagram regarding the calculation performed by the calculation unit 302. In the example of FIG. 4, the shadow of sunlight caused by the planned flight route in the flight plan is projected on the ground, and the coordinates of the shadow trace formed on the ground are calculated. The trace trace of the shadow projected on the ground becomes the shadow path of the UAV 200 on the ground.

以下、UAV200の飛行に伴って地上に形成される(正確には形成されるであろう)
UAVの影の跡の経路に係る計算の一例を説明する。まず、仮想空間に三次元座標系を設定し、この仮想空間に測量対象となる土地を設定する。測量対象の土地の起伏の情報等はこの段階で概略判明しているものを用いても良い。
In the following, it will be formed on the ground with the flight of UAV200 (it will be formed accurately)
An example of the calculation related to the path of the shadow trail of the UAV will be described. First, a three-dimensional coordinate system is set in the virtual space, and a land to be surveyed is set in the virtual space. Information that is roughly known at this stage may be used for the undulation information of the land to be surveyed.

次に、UAV200の飛行計画から飛行ルートの情報を取得し、上述した仮想空間の中にUAV200の飛行ルートを設定する。飛行ルートを設定したら、飛行開始の時刻を原点として、UAV200を上記飛行ルート上で仮想的に移動させ、その際に生じる影の地上における位置をプロットしてゆく。   Next, flight route information is acquired from the flight plan of the UAV 200, and the flight route of the UAV 200 is set in the virtual space described above. When the flight route is set, the UAV 200 is virtually moved on the flight route with the flight start time as the origin, and the positions of the shadows generated at that time are plotted.

具体的には、太陽とUAV200を結ぶ直線の方程式を求め、その直線と地表面とが交わる位置をUAV200の影が形成される位置とする演算を行う。この処理を時間軸上に沿って特定の間隔で行うことで、地表面に形成されるUAV200に影の軌跡が得られる。   Specifically, an equation of a straight line connecting the sun and the UAV 200 is obtained, and a calculation is performed with a position where the straight line intersects the ground surface as a position where the shadow of the UAV 200 is formed. By performing this process at specific intervals along the time axis, a shadow locus is obtained on the UAV 200 formed on the ground surface.

例えば、時刻tを考える。ここで時刻tにおける飛行ルート上におけるUAV200の空中における位置Pは、飛行計画から求められる。また、時刻tに位置Pから見た太陽の方向(天球における太陽の位置)は、天文計算等によって求める。   For example, consider time t. Here, the position P in the air of the UAV 200 on the flight route at time t is obtained from the flight plan. Moreover, the direction of the sun (the position of the sun in the celestial sphere) viewed from the position P at time t is obtained by astronomical calculation or the like.

位置Pから見た太陽の方向が判れば、位置Pと太陽を結ぶ直線を求め、この直線と地表面との交点の位置がUAVの影の位置Uとなる。そして、位置Uを時刻t1、t2、t3・・・において(例えば、1秒毎に)求めることで、太陽光に起因するUAVの影の位置の軌跡を示す位置Ui(i=1,2,3・・・)が求まる。   If the direction of the sun viewed from the position P is known, a straight line connecting the position P and the sun is obtained, and the position of the intersection of this straight line and the ground surface becomes the UAV shadow position U. Then, by obtaining the position U at times t1, t2, t3... (For example, every second), a position Ui (i = 1, 2, indicating the locus of the shadow position of the UAV caused by sunlight). 3 ...) is obtained.

なお、現状の技術では、バッテリーの容量の問題から、UAV100の飛行時間は最大30分程度である。よって、上記の処理において、飛行経路の中間地点における太陽の位置を採用し、太陽が動かない前提で計算を行ってもよい。   In the current technology, the flight time of the UAV 100 is about 30 minutes at the maximum due to the problem of battery capacity. Therefore, in the above processing, the position of the sun at the midpoint of the flight path may be adopted and the calculation may be performed on the assumption that the sun does not move.

位置Uiが描く軌跡上では、その位置を視点としてUAV200を見ると、当該視点とUAV200を結ぶ線上に太陽が見える状態となる。よって位置Uiは、飛行計画に従って飛行するUAV200をTS100によって追跡する際に、TS100の視野に太陽が入る位置となる。当然この位置は、UAV200を追跡する視点としては適切でない位置となる。   On the locus drawn by the position Ui, when the UAV 200 is viewed with the position as the viewpoint, the sun can be seen on the line connecting the viewpoint and the UAV 200. Therefore, the position Ui is a position where the sun enters the field of view of the TS 100 when the TS 100 tracks the UAV 200 flying according to the flight plan. Naturally, this position is not suitable as a viewpoint for tracking the UAV 200.

光学装置設置不適位置算出部303は、算出部302で算出された位置Uiに基づき、UAV100を追跡するTSの設置が不適な位置を算出する。以下、具体的な処理の内容について説明する。図4には、UAV200の影の光軸を中心として角度θの開き角の円錐401を設定し、それが地面に投影された円形または楕円形の投影領域をTS100の設置に不適な位置(範囲)として算出する例が示されている。ここで、UAV200の影の光軸は、UAV200とUiを結ぶ線として算出される。   Based on the position Ui calculated by the calculation unit 302, the optical apparatus installation inappropriate position calculation unit 303 calculates a position where the installation of the TS that tracks the UAV 100 is inappropriate. Hereinafter, specific processing contents will be described. In FIG. 4, an open angle cone 401 having an angle θ centered on the optical axis of the shadow of the UAV 200 is set, and a circular or elliptical projection area projected onto the ground is positioned at an inappropriate position (range) for the TS 100. ) Is shown as an example. Here, the optical axis of the shadow of the UAV 200 is calculated as a line connecting the UAV 200 and Ui.

この場合、符号402の範囲内が、UAV200を見た場合に太陽が視野に入る可能性がある視点の範囲となる。θの値は、UAV200の飛行高度、UAV200とTS100の間の距離、TS100の探索モードにおける視野に基づいて決定される。簡易的には、θを固定値として、飛行計画の高度に合わせて複数用意し、飛行計画の高度の情報に基づき設定される形態が挙げられる。   In this case, the range of the reference numeral 402 is a viewpoint range in which the sun may enter the field of view when the UAV 200 is viewed. The value of θ is determined based on the flight altitude of the UAV 200, the distance between the UAV 200 and the TS 100, and the field of view in the search mode of the TS 100. For simplicity, there is a form in which θ is a fixed value, a plurality is prepared according to the altitude of the flight plan, and is set based on the altitude information of the flight plan.

また、Uiを中心とした特定の範囲(例えば半径rの円の領域)をTS100の設置に不適な位置(範囲)として算出する形態も可能である。また、より簡便には、影の軌跡を含む領域をTS設置禁止区域403と設定する形態も考えられる。この場合、例えば、Uiと領域403の外縁の最小距離を特定の距離(例えば、30mや50m)とすることでTS設置禁止区域403を設定する。   In addition, a form in which a specific range centered on Ui (for example, a circular region having a radius r) is calculated as a position (range) inappropriate for the installation of the TS 100 is also possible. More simply, a mode in which a region including a shadow locus is set as a TS installation prohibited area 403 is also conceivable. In this case, for example, the TS installation prohibited area 403 is set by setting a minimum distance between Ui and the outer edge of the region 403 to a specific distance (for example, 30 m or 50 m).

光学装置の設置位置取得部304は、TS100の設置位置に係る情報を取得する。TS100の位置を取得する形態には、TS100を実際に設置した状態においてTS100の位置情報を取得する第1の形態と、TS100の設置を予定する位置を取得する第2の形態が挙げられる。   The installation position acquisition unit 304 of the optical device acquires information related to the installation position of the TS 100. The form for acquiring the position of the TS100 includes a first form for acquiring the position information of the TS100 in a state where the TS100 is actually installed, and a second form for acquiring the position where the TS100 is scheduled to be installed.

第1の形態では、TS100の位置が位置測定部107(図2参照)を用いて取得され、それが光学装置の設置位置取得部304に送信される。TS100の測位を専用機器やスマートフォンのGPS機能等を用いて行い、それを演算装置300の設置位置取得部304に送信する形態も可能である。第2の形態では、TS100の設置を予定する位置の測位を、TS100が有する測量機能、携帯型GPS、スマートフォンのGPS機能等を用いて行う。この場合も測位データは、設置位置取得部304に送られる。   In the first mode, the position of the TS 100 is acquired using the position measurement unit 107 (see FIG. 2), and is transmitted to the installation position acquisition unit 304 of the optical device. A mode is also possible in which positioning of the TS 100 is performed using the GPS function of a dedicated device or a smartphone, and the result is transmitted to the installation position acquisition unit 304 of the arithmetic device 300. In the second form, positioning of the position where TS100 is scheduled to be installed is performed using a surveying function of TS100, a portable GPS, a GPS function of a smartphone, or the like. In this case as well, the positioning data is sent to the installation position acquisition unit 304.

判定部305は、算出部302で算出された位置UiとTS100の設置位置とを比較し、TS100によるUAV200の追跡において、TS100の設置位置が太陽光の影響を受けるか否かを判定する。   The determination unit 305 compares the position Ui calculated by the calculation unit 302 with the installation position of the TS100, and determines whether the installation position of the TS100 is affected by sunlight in the tracking of the UAV 200 by the TS100.

以下、判定部305における処理について説明する。この場合、TSの設置位置あるいは設置予定位置が、光学装置設置不適位置算出部303が算出した位置に含まれるか否か、が判定される。例えば、図4のTS設置禁止区域403の範囲にTS100の設置位置が含まれるか否か、の判定が判定部305で行われる。この判定の処理は、TS100の設置予定位置が指定された場合も同じである。   Hereinafter, the process in the determination part 305 is demonstrated. In this case, it is determined whether the TS installation position or the planned installation position is included in the position calculated by the optical apparatus installation inappropriate position calculation unit 303. For example, the determination unit 305 determines whether the TS 100 installation position is included in the TS installation prohibited area 403 in FIG. This determination process is the same when the planned installation position of the TS 100 is designated.

角度算出部306は、飛行計画に従って飛行するUAV200を追跡するTS100の視線の方向と、TSから見た太陽の方向とがなす角度αを差出する。この処理では、飛行開始時刻を指定し、UAV200が飛行計画に従って飛行した場合におけるTS100の視線(UAV200を追跡するTSの光軸)の向きの変化をシミュレートする。このシミュレートによりUAV200の追跡を行うTS100の光軸の向きの範囲が得られる。   The angle calculation unit 306 calculates an angle α formed by the direction of the line of sight of the TS 100 that tracks the UAV 200 flying according to the flight plan and the direction of the sun as viewed from the TS. In this process, the flight start time is designated, and the change in the direction of the line of sight of the TS 100 (the optical axis of the TS that tracks the UAV 200) when the UAV 200 flies in accordance with the flight plan is simulated. By this simulation, the range of the direction of the optical axis of the TS 100 that tracks the UAV 200 is obtained.

他方で、TS100の位置のデータを入力し、TS100の設置場所あるいは設置予定位置から見た上記の飛行期間における太陽の方向を計算する。なお、太陽は無限遠にあるので、太陽を見る視点の位置は、UAV200が飛行する範囲(TS100が追跡できる程度の距離)内の適当な位置でよい。   On the other hand, data on the position of TS100 is input, and the direction of the sun in the above flight period as viewed from the installation location or the planned installation position of TS100 is calculated. Since the sun is at infinity, the position of the viewpoint for viewing the sun may be an appropriate position within the range in which the UAV 200 flies (a distance that can be tracked by the TS 100).

例えば、上記のシミュレーションの結果、UAV200の追跡時にTS100は、北を0°とした時計回りで考えた水平角Δθ1の範囲、水平方向からの仰角Δφ1の範囲で光軸の方向が変化する、といった結果が得られる。また、太陽の方向は、水平角Δθ2の範囲、水平方向からの仰角Δφ2の範囲で変化する、といった結果が得られる。なお、UAVの飛行時間は、最大でも30分程度であるので、飛行期間の中間時刻における太陽の方向を採用してもよい。   For example, as a result of the above simulation, when tracking UAV 200, TS100 changes the direction of the optical axis in the range of horizontal angle Δθ1 considered in the clockwise direction with north being 0 °, and in the range of elevation angle Δφ1 from the horizontal direction. Results are obtained. Further, the result is that the direction of the sun changes in the range of the horizontal angle Δθ2 and the elevation angle Δφ2 from the horizontal direction. Since the flight time of UAV is about 30 minutes at the maximum, the sun direction at the intermediate time of the flight period may be adopted.

TS100の光軸(光軸1)の変化範囲と太陽の方向(光軸2)の変化範囲を得たら、2つの光軸のなす角度の最小値αを計算する。以上の処理が角度算出部306において行われる。2つの光軸のなす角度の比較は、時刻を合わせて行うと高い精度が得られるが、時刻に関係なく角度だけを比較するのでもよい。   When the change range of the optical axis (optical axis 1) of TS100 and the change range of the sun direction (optical axis 2) are obtained, the minimum value α of the angle formed by the two optical axes is calculated. The above processing is performed in the angle calculation unit 306. The comparison of the angle formed by the two optical axes can be obtained with high accuracy when the time is matched, but only the angle may be compared regardless of the time.

時刻を合わせて2つの光軸のなす角度の比較は、以下のようにして行われる。この場合、時刻t1におけるUAV200を追跡するTS100の光軸の方向と太陽の方向との比較、時刻t2におけるUAV200を追跡するTS100の光軸の方向と太陽の方向との比較、時刻t3におけるUAV200を追跡するTS100の光軸の方向と太陽の方向との比較、・・・を行う。そして、各時刻での2つの光軸のなす角度を求め、更にその最小値αを求める。   Comparison of the angle formed by the two optical axes at the same time is performed as follows. In this case, the direction of the optical axis of the TS100 that tracks the UAV 200 at time t1 is compared with the direction of the sun, the direction of the optical axis of the TS100 that tracks UAV200 at time t2 is compared with the direction of the sun, and the UAV200 at time t3 is Comparison between the direction of the optical axis of the TS 100 to be tracked and the direction of the sun is performed. Then, the angle formed by the two optical axes at each time is obtained, and the minimum value α is further obtained.

時刻に関係なく2つの光軸のなす角度の比較は、以下のようにして行われる。この場合、UAV200の飛行中におけるTS100の光軸の方向の範囲を求め、更にその際の太陽の方向の範囲(あるいは中間時刻における太陽の方向)を求める。そして、2つの光軸のなす角度を求め、更にその最小値αを求める。   Comparison of the angle formed by the two optical axes is performed as follows regardless of the time. In this case, the range of the direction of the optical axis of the TS 100 during the flight of the UAV 200 is obtained, and further the range of the sun direction at that time (or the direction of the sun at the intermediate time) is obtained. Then, the angle formed by the two optical axes is obtained, and the minimum value α is further obtained.

角度算出部306を用いた場合、判定部305は、前記角度αが予め定めた閾値Th以下である場合(α<Th)に、TS100の位置が太陽光の影響を受ける位置である旨を判定する。例えば、光軸1と光軸2のなす角度が0°の時刻が存在する場合、その時刻でTS100は太陽を指向していることになり、探索用レーザー光や測距用レーザー光に比較してはるかに強い太陽光の影響でUAV200の光学的な追跡および測距はできなくなる。上記の閾値は、TS100のターゲット探索機能の視野にもよるが、例えば5°程度が採用される。   When the angle calculation unit 306 is used, the determination unit 305 determines that the position of the TS100 is a position affected by sunlight when the angle α is equal to or smaller than a predetermined threshold Th (α <Th). To do. For example, if there is a time when the angle between the optical axis 1 and the optical axis 2 is 0 °, the TS 100 is directed to the sun at that time, and compared to the search laser light and the distance measuring laser light. The optical tracking and ranging of the UAV 200 cannot be performed due to the influence of much stronger sunlight. Although the above threshold value depends on the field of view of the target search function of TS100, for example, about 5 ° is adopted.

通信部307は、TS100を初め他の機器との間で通信を行う。記憶部308は、演算装置300の動作に必要な各種のデータ、動作用プログラム、太陽の軌道に関するデータや計算プログラム、演算装置300での処理の結果のデータ等が記憶される。   The communication unit 307 communicates with TS100 and other devices. The storage unit 308 stores various data necessary for the operation of the arithmetic device 300, an operation program, data and calculation programs related to the sun's orbit, data of processing results in the arithmetic device 300, and the like.

表示制御部309は、表示部310に表示される地図データ上に太陽光の影響でTS100の設置に不適な範囲を表示する。このTS100の設置に不適な範囲は、光学装置設置不適位置算出部303で算出される。例えば、表示制御部309の機能により、表示部310に表示される地図画面上に図4のTS設置禁止区域403が表示される。   The display control unit 309 displays a range unsuitable for the installation of the TS 100 due to the influence of sunlight on the map data displayed on the display unit 310. The unsuitable range for the installation of the TS 100 is calculated by the optical device installation inappropriate position calculation unit 303. For example, the TS installation prohibited area 403 of FIG. 4 is displayed on the map screen displayed on the display unit 310 by the function of the display control unit 309.

例えば、市販の地図ソフトやネット上から入手できる地図ソフトを用い、地図画面を作成し、この地図画面を表示部310に表示する。そして、この地図画面上に上記のTS設置禁止区域を表示させる。この処理が、表示制御部309で行われる。   For example, a map screen is created using commercially available map software or map software available on the net, and this map screen is displayed on the display unit 310. Then, the TS installation prohibited area is displayed on the map screen. This process is performed by the display control unit 309.

表示部310は、演算装置300を構成するPCのディスプレイである。演算装置300が表示部310を必ずしも備える必要はなく、外部の表示装置を利用してもよい。   The display unit 310 is a display of a PC that constitutes the arithmetic device 300. The arithmetic device 300 does not necessarily include the display unit 310, and an external display device may be used.

飛行高度変更部311は、UAV200を追跡するTS100の光軸上に太陽がこないように飛行計画で定められた飛行高度を変更する。図8に示すように、飛行経路上でTS100とUAV200を結ぶ線上に太陽がある場合、UAV200の高度を変更(図8の場合は、高度を下げた場合)すると、TS100とUAV200を結ぶ線上から太陽を外すことができる。   The flight altitude changing unit 311 changes the flight altitude determined in the flight plan so that the sun does not come on the optical axis of the TS 100 that tracks the UAV 200. As shown in FIG. 8, when the sun is on the line connecting TS100 and UAV200 on the flight path, the altitude of UAV200 is changed (in the case of FIG. 8, when the altitude is lowered), from the line connecting TS100 and UAV200. The sun can be removed.

例えば、飛行計画、飛行開始時間、TS100の設置位置を指定した際に、図6や図7の処理により、TS100の視野に太陽が入る状況が予想されたとする。この場合、太陽とTS100を結ぶ線上に位置する飛行計画におけるUAV200の高度を変更し、TS100、UAV200および太陽が一直線上に並ばないようにする。この処理が飛行高度変更部311で行われる。なお高度を変更すると、図9に示す撮影範囲が変更されるので、撮影されない範囲が生じないように高度の修正を行う。   For example, when the flight plan, the flight start time, and the installation position of the TS 100 are designated, it is assumed that the situation where the sun enters the field of view of the TS 100 is predicted by the processing of FIGS. In this case, the altitude of the UAV 200 in the flight plan located on the line connecting the sun and the TS 100 is changed so that the TS 100, the UAV 200, and the sun do not line up in a straight line. This process is performed by the flight altitude changing unit 311. Note that when the altitude is changed, the shooting range shown in FIG. 9 is changed, so that the altitude is corrected so that a non-photographed range does not occur.

(処理の例1)
以下、図3の演算装置300で行われる処理の一例を説明する。図5は、演算装置300で行われる処理の手順の一例が示されている。図5の処理を実行するためのプログラムは、演算装置300の記憶部308や適当な記憶媒体、あるいはネットワーク上のサーバ等に記憶され、そこから提供される。これは、他の処理の例でも同じである。
(Processing example 1)
Hereinafter, an example of processing performed by the arithmetic device 300 in FIG. 3 will be described. FIG. 5 shows an example of a procedure of processing performed by the arithmetic device 300. The program for executing the processing of FIG. 5 is stored in and provided from the storage unit 308 of the arithmetic device 300, an appropriate storage medium, or a server on the network. The same applies to other processing examples.

この例では、飛行計画を立てる際に、太陽光の影響を受けるTSの設置位置の範囲をユーザに提示する場合を説明する。処理が開始されると、まず飛行計画が飛行計画データ受付部301で受け付けられる(ステップS101)。   In this example, a case will be described in which a range of the installation position of a TS affected by sunlight is presented to the user when making a flight plan. When the process is started, a flight plan is first received by the flight plan data receiving unit 301 (step S101).

飛行計画を取得したら、飛行開始の時刻を指定する(ステップS102)。これは、ユーザが行う。なお、飛行開始時刻が飛行計画で指定されている場合は、その時刻が飛行開始時刻として指定される。   When the flight plan is acquired, the flight start time is designated (step S102). This is done by the user. When the flight start time is specified in the flight plan, that time is specified as the flight start time.

飛行開始時刻を指定したら、UAVの飛行をシミュレートし、図4に示す原理により、太陽光に起因するUAVが作る影の軌跡Uiを算出する(ステップS103)。この処理は、算出部302で行われる。   When the flight start time is designated, UAV flight is simulated, and a shadow locus Ui created by the UAV caused by sunlight is calculated based on the principle shown in FIG. 4 (step S103). This process is performed by the calculation unit 302.

UAVが作る影の軌跡Uiを算出したら、図4に関連して説明した原理に基づき、TSの設置に適切でない位置を算出する(ステップS104)。この処理は、光学装置設置不適位置算出部303で行われる。   When the shadow locus Ui created by the UAV is calculated, a position that is not appropriate for the installation of the TS is calculated based on the principle described with reference to FIG. 4 (step S104). This process is performed by the optical device installation inappropriate position calculation unit 303.

TSの設置に適切でない位置を算出したら、その領域を地図データ上に表示する(ステップS105)。この処理は、表示制御部309で行われる。   When the position that is not appropriate for the installation of the TS is calculated, the area is displayed on the map data (step S105). This process is performed by the display control unit 309.

図5の処理によれば、UAVの飛行計画に対するTSの適切な設置位置の範囲を把握することが容易となる。   According to the processing of FIG. 5, it becomes easy to grasp the range of the appropriate installation position of the TS with respect to the UAV flight plan.

(処理の例2)
図6の処理では、TSの設置位置を指定した場合に、その位置が太陽光の影響を受ける位置であるか否か(つまり、適切な設置位置であるか否か)の判定が行われ、その結果がユーザに報知される。
(Processing example 2)
In the process of FIG. 6, when the installation position of the TS is designated, it is determined whether or not the position is a position affected by sunlight (that is, whether or not it is an appropriate installation position) The result is notified to the user.

図6の処理が開始されると、まず飛行計画受付部301において、飛行計画の取得が行われる(ステップS201)。次いで飛行開始時刻が指定される(ステップS202)。その後、飛行計画に従って飛行を行った場合がシミュレートされ、その際に地上に形成されるUAVの影の軌跡が計算される(ステップS203)。この処理は、算出部302で行われる。   When the process of FIG. 6 is started, the flight plan reception unit 301 first acquires a flight plan (step S201). Next, the flight start time is designated (step S202). Thereafter, the case of flying according to the flight plan is simulated, and the UAV shadow trajectory formed on the ground at that time is calculated (step S203). This process is performed by the calculation unit 302.

UAV200の影の軌跡を計算したら、TS100の設置位置(または設置予定の位置)を指定する(ステップS204)。例えば、TS100を仮設置し、TS100の位置をTS100が有するGNSSを用いた単独測位機能を用いて測定し、その測定値を光学装置の設置位置取得部304に送る。勿論、可能であるなら相対測位による測位を行う。また、TS100の設置を予定している地点の測量をTS100の測量機能を用いて行い、その測量データを光学装置の設置位置取得部304に送ってもよい。   When the shadow locus of the UAV 200 is calculated, the installation position (or the installation planned position) of the TS 100 is designated (step S204). For example, the TS 100 is temporarily installed, the position of the TS 100 is measured using a single positioning function using the GNSS of the TS 100, and the measured value is sent to the installation position acquisition unit 304 of the optical device. Of course, positioning is performed by relative positioning if possible. Further, surveying at a point where the TS 100 is scheduled to be installed may be performed using the surveying function of the TS 100, and the survey data may be sent to the installation position acquisition unit 304 of the optical device.

次に、判定部205において、UAV200の影の位置とステップS204で得たTS100の設置位置とが比較され(ステップS205)、TS100の設置位置が太陽光の影響を受ける位置か否か、が判定される(ステップS206)。この判定では、例えば、TS100の設置位置が図4の符号403のエリアに入るか否かが判定される。   Next, the determination unit 205 compares the shadow position of the UAV 200 with the installation position of the TS100 obtained in step S204 (step S205), and determines whether the installation position of the TS100 is affected by sunlight. (Step S206). In this determination, for example, it is determined whether or not the installation position of the TS 100 falls within the area indicated by reference numeral 403 in FIG.

ここで、TS100の設置位置が太陽光の影響を受けない位置であれば、ステップS207に進み、太陽の影響を受ける位置であれば、ステップS208に進む。ステップS207では、表示部310にTS100の設置位置が適切である旨の報知表示が行われる。また、ステップS208では、表示部310にTS100の設置位置が不適切である旨の報知表示が行われる。   If the installation position of the TS100 is not affected by sunlight, the process proceeds to step S207. If the position is affected by the sun, the process proceeds to step S208. In step S207, a notification display that the installation position of the TS 100 is appropriate is displayed on the display unit 310. In step S208, a notification display that the installation position of the TS 100 is inappropriate is displayed on the display unit 310.

なお、再度TS100の設置位置に関する判定を行う場合は、ステップS204以下の処理が繰り返される。   In addition, when determining regarding the installation position of TS100 again, the process after step S204 is repeated.

(処理の例3)
図7の処理は、TS100の設置位置を指定した場合に、その位置が太陽光の影響を受ける位置であるか否か(つまり、適切な設置位置であるか否か)の判定が行われ、その結果がユーザに報知される。処理の目的と得られる結果は、図6の処理と同じである。しかしながら、図7の処理は、処理の方法が図6の場合と異なる。
(Processing example 3)
In the process of FIG. 7, when the installation position of the TS 100 is designated, it is determined whether or not the position is affected by sunlight (that is, whether or not it is an appropriate installation position) The result is notified to the user. The purpose of the process and the results obtained are the same as those of FIG. However, the processing of FIG. 7 is different from the case of FIG.

図7の処理では、まずUAV200の飛行計画を取得する(ステップS301)。そして、飛行開始時刻を指定する(ステップS302)。次に、TS100を設置する位置を指定する(ステップS303)。ステップS301はステップS201(ステップS101)と同じであり、ステップS302はステップS202(ステップS102)と同じであり、ステップS303はステップS204と同じである。   In the process of FIG. 7, first, a flight plan of the UAV 200 is acquired (step S301). Then, the flight start time is designated (step S302). Next, the position where TS100 is installed is designated (step S303). Step S301 is the same as step S201 (step S101), step S302 is the same as step S202 (step S102), and step S303 is the same as step S204.

次にステップS304〜S307の処理が角度算出部306で行われる。ステップS304では、ステップS303で指定した位置から飛行計画に従って飛行するUAV200をTS100により追跡した場合におけるTS100の光軸の変化の範囲を算出する。   Next, the angle calculation part 306 performs the process of step S304-S307. In step S304, the range of change in the optical axis of TS100 when the UAV 200 flying according to the flight plan from the position specified in step S303 is tracked by the TS100 is calculated.

ステップS305では、UAV200の飛行期間における対象となる地域から見た太陽の方向の範囲を算出する。ステップS306では、ステップS304で算出したTS100の光軸方向の変化の範囲(第1の光軸の向きの範囲)と太陽の方向(第2の光軸の向きの範囲)の範囲とを比較し、2つの光軸のなす角度の最小値αを算出する。   In step S305, the range of the direction of the sun seen from the target area in the flight period of the UAV 200 is calculated. In step S306, the range of change in the optical axis direction of TS100 calculated in step S304 (the range of the first optical axis direction) and the range of the sun direction (the range of the second optical axis direction) are compared. The minimum value α of the angle formed by the two optical axes is calculated.

αを算出したら、αが予め定めた閾値以下であるか否かを判定が判定部305で行われる(ステップS307)。ここで、αが閾値を越える値であれば、ステップS303で指定したTS100の設置位置が適切である旨の報知が行われる(ステップS308)。αが閾値以下であれば、ステップS303で指定したTS100の設置位置が適切でない旨の報知(警告報知)が行われる(ステップS309)。   When α is calculated, the determination unit 305 determines whether α is equal to or less than a predetermined threshold (step S307). If α is a value exceeding the threshold value, a notification that the installation position of the TS 100 designated in step S303 is appropriate is performed (step S308). If α is equal to or smaller than the threshold, a notification (warning notification) that the installation position of the TS 100 designated in step S303 is not appropriate is performed (step S309).

(処理の例4)
この例では、飛行計画、飛行開始時間、TS100の設置位置に不都合(太陽光が障害となる不都合)がある場合に、飛行計画におけるUAV200の高度を変更することで、上記の不都合を回避する処理に関する。
(Processing example 4)
In this example, when there is an inconvenience in the flight plan, the flight start time, and the installation position of the TS100 (inconvenience in which sunlight becomes an obstacle), the processing for avoiding the above inconvenience by changing the altitude of the UAV 200 in the flight plan. About.

この場合、飛行計画、飛行開始時間、TS100の設置位置が指定されると、図6または図7の処理により、図8に示すような、UAV200を追尾するTS100の視野に太陽が入るか否かが調べられる。そして、TS100の視野に太陽が入る状況が予想される場合、その位置におけるUAVの高度を上または下にずらした航路を設定し、TS100、UAV200および太陽が一直線上に並ぶ状況が回避される航路を探索する。   In this case, when the flight plan, the flight start time, and the installation position of the TS 100 are specified, whether the sun enters the field of view of the TS 100 that tracks the UAV 200 as shown in FIG. Is examined. When a situation where the sun enters the field of view of TS100 is expected, a route where the altitude of the UAV at that position is shifted up or down is set, and a route where TS100, UAV200 and the sun are aligned in a straight line is avoided. Explore.

TS100、UAV200および太陽が一直線上に並ぶ状況が回避できる飛行計画が設定できる場合、その内容に当所の飛行計画を修正し、それをユーザに提示する。この際、図9に示す地上の撮影範囲が変更されることに留意して、新たな高度の設定を行う。この新たな高度の設定が飛行高度修正部311で行われる。なお、高度の変更は、問題となる飛行予定航路の位置で最低限行われればよい。もちろん、飛行計画における予定航路の他の部分や飛行計画の全体で高度の変更を行うことも可能である。また、急激な高度の変更に伴うUAV200の姿勢の安定性の低下や撮影範囲の急激な変化を避けるために、高度を変更する位置の前後において緩やかに高度が変化する飛行コースを設定することも可能である。   When the flight plan that can avoid the situation where the TS100, the UAV200, and the sun are aligned in a straight line can be set, the flight plan of this place is corrected to the content and presented to the user. At this time, a new altitude is set in consideration that the ground photographing range shown in FIG. 9 is changed. This new altitude setting is performed by the flight altitude correction unit 311. The altitude may be changed at least at the position of the planned flight route in question. Of course, it is possible to change the altitude in other parts of the planned route in the flight plan or in the entire flight plan. In addition, in order to avoid a decrease in the stability of the posture of the UAV 200 and a sudden change in the shooting range due to a sudden change in altitude, a flight course in which the altitude changes slowly before and after the position where the altitude is changed may be set. Is possible.

2.その他
識別装置300を専用のハードウェアで構成することもできる。識別装置300を通信回線で結ばれた複数のハードウェアで構成したシステムとして構築することも可能である。例えば、識別装置300の機能の一部をPCで構成し、他の一部をサーバで構成し、また表示部としてタブレットを用い、通信回線を介して全体として識別装置300として機能するシステムを構成する例が挙げられる。
2. Others The identification device 300 can also be configured with dedicated hardware. It is also possible to construct the identification device 300 as a system composed of a plurality of hardware connected by a communication line. For example, a part of the function of the identification apparatus 300 is configured by a PC, the other part is configured by a server, and a tablet is used as a display unit, and a system that functions as the identification apparatus 300 as a whole via a communication line is configured. An example is given.

識別装置300の機能の少なくとも一部をTS100に組み込んだ構成も可能である。例えば、図3の識別装置300における表示制御部309と表示部310以外の機能をTS100に組み込み、表示制御部309と表示部310の機能はノート型PCやタブレットを用いて実現する。   A configuration in which at least part of the functions of the identification device 300 is incorporated in the TS 100 is also possible. For example, functions other than the display control unit 309 and the display unit 310 in the identification device 300 of FIG. 3 are incorporated in the TS 100, and the functions of the display control unit 309 and the display unit 310 are realized using a notebook PC or tablet.

また、UAVの活用方法としては、測量に限定されず、各種の空撮、警備、監視等が挙げられる。この際、飛行するUAVの地上からの監視が必要となる場合がある。この技術にTSあるいはTSが備えるような探索機能を有する光学機器を用いる場合がある。この技術に本発明を利用することができる。   In addition, UAV utilization methods are not limited to surveying, and include various types of aerial photography, security, monitoring, and the like. At this time, it may be necessary to monitor the flying UAV from the ground. In some cases, this technology uses an optical device having a search function as provided by TS or TS. The present invention can be used for this technique.

TS100にUAV200の飛行計画のデータを入力し、この飛行計画のデータに基づき、TS100によるUAV200の追尾を行ってもよい。この場合、TS100によるUAV200の追跡は容易となるが、それでもUAV200自身の測位機能の誤差の影響で予定したコースから外れた飛行を行う場合があり、その際にTS100のターゲット探索機能によるUAV200の探索が必要となる。よって、この場合もTSによるUAVの追尾および測位における太陽の影響が問題となり、本発明は有効となる。   The UAV 200 flight plan data may be input to the TS 100 and the UAV 200 may be tracked by the TS 100 based on the flight plan data. In this case, the tracking of the UAV 200 by the TS 100 is facilitated, but there are still cases where the flight is out of the planned course due to the influence of the error of the positioning function of the UAV 200 itself. Is required. Therefore, also in this case, the influence of the sun in tracking and positioning of UAV by TS becomes a problem, and the present invention is effective.

Claims (10)

飛行計画に従って飛行する航空機を光学装置によって追跡する際に、前記光学装置の視野に太陽が入る前記光学装置の位置を、前記飛行計画および天球における太陽の位置情報に基づき算出する算出部を備えた演算装置。   When tracking an aircraft flying according to a flight plan by an optical device, the optical device includes a calculation unit that calculates the position of the optical device where the sun enters the field of view of the optical device based on the flight plan and position information of the sun in the celestial sphere. Arithmetic unit. 前記光学装置の視野に太陽が入る前記光学装置の位置は、太陽と前記飛行計画に従って飛行する前記航空機を結ぶ線上の位置に基づいて算出される請求項1に記載の演算装置。   The computing device according to claim 1, wherein the position of the optical device where the sun enters the visual field of the optical device is calculated based on a position on a line connecting the sun and the aircraft flying according to the flight plan. 前記光学装置の視野に太陽が入る前記光学装置の位置は、太陽と前記飛行計画に従って飛行する前記航空機を結ぶ線上の位置を含む請求項2に記載の演算装置。   The computing device according to claim 2, wherein the position of the optical device where the sun enters the visual field of the optical device includes a position on a line connecting the sun and the aircraft flying according to the flight plan. 前記算出部で算出された位置に基づき、前記航空機を追跡する光学装置の設置が不適な位置を算出する光学装置設置不適位置算出部を備える請求項1〜3のいずれか一項に記載の演算装置。   The calculation according to any one of claims 1 to 3, further comprising an optical device installation inappropriate position calculation unit that calculates a position where the installation of the optical device that tracks the aircraft is inappropriate based on the position calculated by the calculation unit. apparatus. 前記航空機を追跡する光学装置の設置位置の情報を受け付ける光学装置の設置位置取得部と、
前記算出部で算出された位置と前記光学装置の前記設置位置とを比較し、前記光学装置による前記航空機の追跡において、前記光学装置の前記設置位置が太陽光の影響を受けるか否かを判定する判定部と
を備える請求項1〜4のいずれか一項に記載の演算装置。
An installation position acquisition unit of an optical device that receives information of an installation position of an optical device that tracks the aircraft; and
The position calculated by the calculation unit and the installation position of the optical device are compared, and it is determined whether or not the installation position of the optical device is affected by sunlight in tracking the aircraft by the optical device. An arithmetic unit according to any one of claims 1 to 4, further comprising:
飛行計画に従って飛行する航空機を光学装置によって追跡する際に、前記光学装置の視野に太陽が入るか否かを前記飛行計画および天球における太陽の位置情報に基づき判定する判定部を備えた演算装置。   An arithmetic device comprising: a determination unit that determines, based on the flight plan and position information of the sun on the celestial sphere, whether or not the sun enters the field of view of the optical device when an aircraft flying according to a flight plan is tracked by the optical device. 前記光学装置の視野に太陽が入るか否かの判定は、前記光学装置から見た太陽の方向と、前記飛行計画に従って飛行する航空機を追跡する前記光学装置の光軸の方向とが特定の関係を満たすか否かを判定することで行われる請求項6に記載の演算装置。   Whether or not the sun enters the field of view of the optical device has a specific relationship between the direction of the sun seen from the optical device and the direction of the optical axis of the optical device that tracks an aircraft flying according to the flight plan The arithmetic device according to claim 6, wherein the arithmetic device is performed by determining whether or not the above condition is satisfied. 前記光学装置の視野に太陽が入るタイミングにおける前記航空機の高度を変更する高度変更部を備える請求項6または7に記載の演算装置。   The computing device according to claim 6, further comprising an altitude changing unit that changes the altitude of the aircraft at a timing when the sun enters the field of view of the optical device. 飛行計画に従って飛行する航空機を光学装置によって追跡する際に、前記光学装置の視野に太陽が入る前記光学装置の位置を、前記飛行計画および天球における太陽の位置情報に基づき算出する算出ステップ
を有する演算方法。
A calculation step of calculating the position of the optical device where the sun enters the field of view of the optical device based on the flight plan and position information of the sun in the celestial sphere when the aircraft flying according to the flight plan is tracked by the optical device. Method.
コンピュータに読み取らせて実行させるプログラムであって、
コンピュータを
飛行計画に従って飛行する航空機を光学装置によって追跡する際に、前記光学装置の視野に太陽が入る前記光学装置の位置を、前記飛行計画および天球における太陽の位置情報に基づき算出する算出部
として動作させることを特徴とするプログラム。
A program that is read and executed by a computer,
As a calculation unit that calculates the position of the optical device where the sun enters the field of view of the optical device based on the flight plan and position information of the sun in the celestial sphere when the computer tracks an aircraft flying according to a flight plan A program characterized by being operated.
JP2017022189A 2017-02-09 2017-02-09 Arithmetic logic unit, arithmetic method and program Active JP6783681B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017022189A JP6783681B2 (en) 2017-02-09 2017-02-09 Arithmetic logic unit, arithmetic method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017022189A JP6783681B2 (en) 2017-02-09 2017-02-09 Arithmetic logic unit, arithmetic method and program

Publications (2)

Publication Number Publication Date
JP2018128376A true JP2018128376A (en) 2018-08-16
JP6783681B2 JP6783681B2 (en) 2020-11-11

Family

ID=63172573

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017022189A Active JP6783681B2 (en) 2017-02-09 2017-02-09 Arithmetic logic unit, arithmetic method and program

Country Status (1)

Country Link
JP (1) JP6783681B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020075868A1 (en) * 2018-10-12 2020-04-16 株式会社ナイルワークス Cultivated field image analysis method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1195315A (en) * 1997-09-19 1999-04-09 Fuji Photo Optical Co Ltd Remote control universal head device
JP2000121360A (en) * 1997-12-05 2000-04-28 Wall:Kk Method for forming three-dimensional city map data base and equipment for measuring three-dimensional city map data base
JP2000159199A (en) * 1998-11-26 2000-06-13 Mitsubishi Electric Corp Guiding control device for spacecraft
JP2009250836A (en) * 2008-04-08 2009-10-29 Sokkia Topcon Co Ltd Surveying instrument
JP2015145784A (en) * 2014-01-31 2015-08-13 株式会社トプコン Measurement system
US20150264267A1 (en) * 2014-03-12 2015-09-17 Samsung Electronics Co., Ltd. Method for guiding shooting location of electronic device and apparatus therefor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1195315A (en) * 1997-09-19 1999-04-09 Fuji Photo Optical Co Ltd Remote control universal head device
JP2000121360A (en) * 1997-12-05 2000-04-28 Wall:Kk Method for forming three-dimensional city map data base and equipment for measuring three-dimensional city map data base
JP2000159199A (en) * 1998-11-26 2000-06-13 Mitsubishi Electric Corp Guiding control device for spacecraft
JP2009250836A (en) * 2008-04-08 2009-10-29 Sokkia Topcon Co Ltd Surveying instrument
JP2015145784A (en) * 2014-01-31 2015-08-13 株式会社トプコン Measurement system
US20150264267A1 (en) * 2014-03-12 2015-09-17 Samsung Electronics Co., Ltd. Method for guiding shooting location of electronic device and apparatus therefor

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020075868A1 (en) * 2018-10-12 2020-04-16 株式会社ナイルワークス Cultivated field image analysis method
JPWO2020075868A1 (en) * 2018-10-12 2021-02-15 株式会社ナイルワークス Field image analysis method

Also Published As

Publication number Publication date
JP6783681B2 (en) 2020-11-11

Similar Documents

Publication Publication Date Title
US10636171B2 (en) Device, method, and system for tracking unmanned aerial vehicle, and program therefor
KR102463176B1 (en) Device and method to estimate position
US8279412B2 (en) Position and orientation determination using movement data
EP3506042A1 (en) Three-dimensional information processing unit, apparatus having three-dimensional information processing unit, unmanned aerial vehicle, informing device, method and program for controlling mobile body using three-dimensional information processing unit
JP6817806B2 (en) Arithmetic logic units, arithmetic methods, arithmetic systems and programs
US20170010615A1 (en) Control device, imaging device, control method, imaging method, and computer program
US20170169582A1 (en) Information processing device, information processing method, and computer program
EP2458406A1 (en) Satellite signal multipath mitigation in GNSS devices
US8767072B1 (en) Geoposition determination by starlight refraction measurement
US7792330B1 (en) System and method for determining range in response to image data
CN105242682B (en) Target drone target signature measurement system
US10313575B1 (en) Drone-based inspection of terrestrial assets and corresponding methods, systems, and apparatuses
JP7007137B2 (en) Information processing equipment, information processing methods and programs for information processing
US10146230B2 (en) Control device, optical device, and control method for tracking unmanned aerial vehicle, and system and program therefor
JP7141538B2 (en) A method for forest measurement, a forest measurement system, a method for determining a flight path of an unmanned aerial vehicle, a photographing method, a spraying method, and a computer program
JP2018112445A (en) Arithmetic unit, arithmetic method, arithmetic system, and program
US20210208608A1 (en) Control method, control apparatus, control terminal for unmanned aerial vehicle
CN111983936A (en) Semi-physical simulation system and evaluation method for unmanned aerial vehicle
CN113295174B (en) Lane-level positioning method, related device, equipment and storage medium
JP2018119852A (en) Position specification device, position specification method, position specification system, program for position specification, unmanned aircraft, and target for identifying unmanned aircraft
Al-Darraji et al. A technical framework for selection of autonomous uav navigation technologies and sensors
KR100515162B1 (en) System for realtime monitoring of disaster by global positioning system and inertial navigation system and method for management thereof
JP6783681B2 (en) Arithmetic logic unit, arithmetic method and program
JP2019039867A (en) Position measurement device, position measurement method and program for position measurement
JP2021143861A (en) Information processor, information processing method, and information processing system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191203

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201022

R150 Certificate of patent or registration of utility model

Ref document number: 6783681

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250