JP2018100931A - 演算装置、演算方法、演算システムおよびプログラム - Google Patents

演算装置、演算方法、演算システムおよびプログラム Download PDF

Info

Publication number
JP2018100931A
JP2018100931A JP2016247917A JP2016247917A JP2018100931A JP 2018100931 A JP2018100931 A JP 2018100931A JP 2016247917 A JP2016247917 A JP 2016247917A JP 2016247917 A JP2016247917 A JP 2016247917A JP 2018100931 A JP2018100931 A JP 2018100931A
Authority
JP
Japan
Prior art keywords
search
uav
unmanned aircraft
surveying device
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016247917A
Other languages
English (en)
Other versions
JP6817806B2 (ja
Inventor
信幸 西田
Nobuyuki Nishida
信幸 西田
康夫 寺島
Yasuo Terashima
康夫 寺島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Topcon Corp
Original Assignee
Topcon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Topcon Corp filed Critical Topcon Corp
Priority to JP2016247917A priority Critical patent/JP6817806B2/ja
Priority to US15/838,754 priority patent/US10732298B2/en
Publication of JP2018100931A publication Critical patent/JP2018100931A/ja
Application granted granted Critical
Publication of JP6817806B2 publication Critical patent/JP6817806B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/51Relative positioning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C15/00Surveying instruments or accessories not provided for in groups G01C1/00 - G01C13/00
    • G01C15/002Active optical surveying means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/42Simultaneous measurement of distance and other co-ordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66Tracking systems using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G01S19/07Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers providing data for correcting measured positioning data, e.g. DGPS [differential GPS] or ionosphere corrections
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • G01S19/14Receivers specially adapted for specific applications
    • G01S19/15Aircraft landing systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/48Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/03Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers
    • G01S19/10Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers providing dedicated supplementary positioning signals
    • G01S19/11Cooperating elements; Interaction or communication between different cooperating elements or between cooperating elements and receivers providing dedicated supplementary positioning signals wherein the cooperating elements are pseudolites or satellite radio beacon positioning system signal repeaters

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】測量装置で無人航空機を追尾する技術において、見失った無人航空機の検出をより確実に行う。【解決手段】予め定めた航路で飛行する無人航空機の探索に利用されるUAV探索用制御部200であって、レーザー光を用いて前記無人航空機の位置を測量する測量装置の位置のデータおよび前記予め定めた航路のデータに基づき、特定の時刻における前記測量装置から見た前記無人航空機の方向を推定する推定部と、前記推定部で推定した方向に基づき、前記測量装置による前記無人航空機の探索を制御する探索制御部とを備える。【選択図】図3

Description

本発明は、無人航空機の位置を特定する技術に関する。
無人航空機(UAV:(Unmanned aerial vehicle))を測量に用いる技術が知られている。この技術では、GNSS(Global Navigation Satellite System)を用いた位置測定装置(所謂GPS受信機)、IMU(慣性航法装置)、高度計、カメラを搭載したUAVを予め定めた経路に沿って飛行させて地上の撮影を行い、航空写真測量等を行う。
写真測量では、カメラの位置データの精度が重要となる。ところで、UAVは、GNSSを利用して自身の位置を特定できるが、その精度は水平方向で1m程度、垂直方向で3m程度であり、写真測量に求められる精度は得られない。GNSSを利用したより高精度の位置測定機器をUAVに搭載する方法もあるが、機器の重量や消費電力の点で汎用のUAVに搭載するは難しい。この問題に対する対応して、TS(トータルステーション)で飛行するUAVを追尾し、TSが備えるレーザー測距機能を用いてUAVの位置を特定する方法がある(例えば、特許文献1を参照)。
US2014/0210663号公報
上記のTSでUAVを追尾する方法では、TSが備えるターゲットの自動追尾機能が利用される。この技術では、探索用レーザー光でUAVを捕捉および追尾する。UAVは、探索用レーザー光を入射方向に反射する反射プリズムを備え、この反射プリズムからの反射光をTS側で検出することで、TSによるUAVの追尾が行われる。
ところでUAVは、風の影響等で予期しない動きをする場合があり、TSがUAVを見失う場合がある。また、TSによるUAVの追尾中に、TSとUAVの間に木の枝や葉、鳥、電柱や電線といった障害物が入り込み、TSがUAVを見失う場合もある。
TSはターゲットを探索する機能を備えているが、相手が空中を移動するUAVの場合、見失ったUAVを再び捕捉するのが困難な場合が多々ある(もちろん、上手くゆく場合もある)。このような背景において、本発明は、測量装置で無人航空機を追尾する技術において、見失った無人航空機の検出をより確実に行う技術の提供を目的とする。
請求項1に記載の発明は、予め定めた航路で飛行する無人航空機の探索に利用される演算装置であって、レーザー光を用いて前記無人航空機の位置を測量する測量装置の位置のデータおよび前記予め定めた航路のデータに基づき、特定の時刻における前記測量装置から見た前記無人航空機の方向を推定する推定部と、前記推定部で推定した方向に基づき、前記測量装置による前記無人航空機の探索を制御する探索制御部とを備える演算装置である。
請求項2に記載の発明は、請求項1に記載の発明において、前記予め定めた航路のデータに基づき、前記測量装置から見た前記無人航空機の見かけの速度を予想する見かけの速度予想部を備え、前記測量装置による前記無人航空機の探索において、前記探索制御部は、前記速度予想部で予想された前記無人航空機の見かけの速度よりも速い見かけの速度で前記測量装置の可動部を動かす制御を行うことを特徴とする。
請求項3に記載の発明は、請求項1または2に記載の発明において、前記探索制御部による前記無人航空機の探索を行うタイミングとして、前記速度予想部で予想された前記見かけの速度が予め定めた値以下となるタイミング、前記推定部が推定した前記無人航空機が旋回飛行をするタイミング、前記推定部が推定した前記無人航空機が前記測量装置から遠ざかる飛行をするタイミング、前記推定部が推定した前記無人航空機が前記測量装置から予め定めた距離よりも遠くを飛行しているタイミングの中の一または複数が選択されることを特徴とする。
請求項4に記載の発明は、請求項1〜3のいずれか一項に記載の発明において、前記無人航空機の探索が、前記測量装置が前記無人航空機を捕捉している状態から見失った場合に行われることを特徴とする。請求項5に記載の発明は、請求項1〜4のいずれか一項に記載の発明において、前記推定部は、前記無人航空機が旋回飛行をする空域、前記無人航空機が前記測量装置から遠ざかる飛行をする空域、前記無人航空機が前記測量装置から予め定めた距離よりも遠くを飛行する空域の少なくとも一つを推定し、前記探索制御部は、前記推定された少なくとも一つの空域に絞って前記無人航空機の探索の制御を行うことを特徴とする。
請求項6に記載の発明は、予め定めた航路で飛行する無人航空機の探索に利用される演算方法であって、レーザー光を用いて前記無人航空機の位置を測量する測量装置の位置のデータおよび前記予め定めた航路のデータに基づき、特定の時刻における前記測量装置から見た前記無人航空機の方向を推定する推定ステップと、前記推定ステップで推定した方向に基づき、前記測量装置による前記無人航空機の探索を制御する探索制御ステップとを有する演算方法である。
請求項7に記載の発明は、予め定めた航路で飛行する無人航空機の探索に利用される演算システムであって、レーザー光を用いて前記無人航空機の位置を測量する測量装置の位置のデータおよび前記予め定めた航路のデータに基づき、特定の時刻における前記測量装置から見た前記無人航空機の方向を推定する推定部と、前記推定部で推定した方向に基づき、前記測量装置による前記無人航空機の探索を制御する探索制御部とを備える演算システムである。
請求項8に記載の発明は、予め定めた航路で飛行する無人航空機の探索に利用されるプログラムであって、コンピュータに読み取らせて、コンピュータを(1)レーザー光を用いて前記無人航空機の位置を測量する測量装置の位置のデータおよび前記予め定めた航路のデータに基づき、特定の時刻における前記測量装置から見た前記無人航空機の方向を推定する推定部と、(2)前記推定部で推定した方向に基づき、前記測量装置による前記無人航空機の探索を制御する探索制御部として動作させる演算用プログラムである。
本発明によれば、測量装置で無人航空機を追尾する技術において、見失った無人航空機の検出がより確実に行える。
UAVの位置の測定に係る原理図である。 トータルステーションのブロック図である。 UAV探索用制御部のブロック図である。 TSから見たUAVの見かけの速度を求める原理を示す原理図(A)および(B)である。 処理の手順の一例を示すフローチャートである。
1.第1の実施形態
(概要)
図1には、飛行するUAV (Unmanned aerial vehicle)と地上に配置されたTS(トータルステーション)が示されている。UAVは、市販のものであり、予め定めた飛行ルートを自律飛行し、航空写真測量のための撮影を行う。もちろん、UAVの無線操縦による飛行制御も可能である。UAVは、カメラ、GNSSを利用した位置測定装置(例えば、GPS受信機)、IMU(慣性航法装置)、高度計、予め定めた飛行経路および飛行ログを記憶する記憶部、飛行のための制御装置を備えている。
UAVは、自身が備えた位置特定装置とIMUの機能を利用して、予め定められた航路を予め定められた速度で飛行する。なお、位置特定装置の測定誤差があるので、予め定められた航路と実際に飛ぶ航路との間には、ある程度の誤差がある。飛行の経過は、飛行ログに記憶される。飛行ログには、時刻とUAVの位置(緯度・経度・高度)の情報が関連付けされて記憶される。
UAVは、外部から見やすい場所(TSから探索され易い場所、例えばUAVの下部)にTSからの探索用レーザー光と測距用レーザー光を受光し反射する専用の反射プリズムが取り付けられている。この反射プリズムは、TSによる測量用の専用ターゲットであり、入射したレーザー光を入射した方向に反射する。
TSは、GNSSを用いた高精度な位置測定装置、画像を取得するカメラ、ターゲット(上記の反射プリズム)を探索する探索用レーザースキャン機能、測距用レーザー光を用いてターゲットまでの距離を測距するレーザー測距機能、レーザー測距されたターゲットの方向(水平角と垂直角(仰角または俯角))を計測する機能を有する。ターゲットまでの距離と方向を計測することで、TSに対するターゲットの位置を測定できる。ここで、TSの位置が判っていれば、ターゲット(この場合はUAV)の地図座標系における位置(緯度・経度・高度もしくは直交座標系上のXYZ座標)を知ることができる。これらの機能は、市販のTSが持っている機能であり、特別なものではない。これらTSに関する技術としては、例えば、特開2009-229192号公報や特開2012-202821号公報等に記載されている。なお、地図座標系というのは、地図情報を扱う座標系(例えば、緯度,経度,高度(標高))であり、例えばGNSSで得られる位置情報は通常地図座標系で記述される。
以下、本実施形態で利用するTS(トータルステーション)の一例を説明する。図2には、TS(トータルステーション)100のブロック図が示されている。TS100において、探索制御部200以外の部分は、市販のTSと同じである。TS100は、カメラ101、ターゲット探索部102、測距部103、水平・垂直方向検出部104、水平・垂直方向駆動部105、UAV探索用制御部200、データ記憶部106、位置特定部107、通信部108、ターゲット位置算出部109を備えている。
カメラ101は、ターゲット等の測量対象の動画像または静止画像を撮影する。カメラ101が撮影した画像のデータは、測距対象に係る測定時刻、測定方向、測定距離、測定対象の位置等のデータと関連付けされて適当な記憶領域に記憶される。本実施形態の場合、カメラ101により、UAVの画像が取得される。ターゲット探索部102は、扇形ビームを有した探索用レーザー光を用いたタ−ゲットの探索を行う。探索用レーザー光により、測距部103は、測距用レーザー光を用いたターゲットまでの距離の計測を行う。水平・垂直方向検出部104は、測距部103が測距したターゲットの水平方向角と垂直方向角(仰角および俯角)を計測する。ターゲット探索部102および測距部103の光学系を備えた筐体部分は、水平回転および仰角(俯角)制御が可能であり、水平方向角と垂直方向角は、エンコーダにより計測される。このエンコーダの出力が水平・垂直方向角検出部104で検出され、水平方位角と垂直方位角(仰角および俯角)の計測が行われる。
水平・垂直方向駆動部105は、ターゲット探索部102および測距部103の光学系を備えた筐体部分の水平回転および仰角制御(および俯角制御)を行うモータ、該モータの駆動回路、該駆動回路の制御回路を含む。UAV探索用制御部200は、飛行するUAVを探索する。UAV探索用制御部200については後述する。データ記憶部106は、TS100の動作に必要な制御プログラム、各種のデータ、測量結果等を記憶する。
位置特定部107は、GNSSを用いたTS100の位置の特定を行う。位置特定部107は、誤差補正信号や補助航法衛星のデータを用いた高精度な位置の測定を行う。通信部108は、外部の機器との間で通信を行う。TS100は、外部の端末(専用端末やスマートフォン等)による操作が可能であり、この際の通信を行う。通信の形態としては、無線通信や光通信が挙げられる。ターゲット位置算出部109は、ターゲット(この場合は、UAV)までの距離と方向からTS100に対するターゲットの位置(座標)を算出する。ここで、ターゲットまでの距離は、測距部103で得られ、ターゲットの方向は水平・垂直方向検出部104で得られる。TS100の位置は、位置特定部107で特定されるので、TS100に対するターゲットの位置を求めることで、ターゲットの地図座標系における位置を求めることができる。
(UAV探索用制御部の構成)
以下、UAV探索用制御部200について説明する。図3には、UAV探索用制御部200のブロック図が示されている。UAV探索用制御部200は、CPU、記憶部、各種のインターフェースを備えたコンピュータであり、専用のハードウェアによって構成されている。
図3に示す各機能部の一部または全部を専用の演算回路によって構成してもよい。また、ソフトウェア的に構成された機能部と、専用の演算回路によって構成された機能部を組み合わせてもよい。
例えば、図示する各機能部は、CPU(Central Processing Unit)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)に代表されるPLD(Programmable Logic Device)などの電子回路により構成される。また、一部の機能を専用のハードウェアで構成し、他の一部を汎用のマイコンにより構成することも可能である。
各機能部を専用のハードウェアで構成するのか、CPUにおけるプログラムの実行によりソフトウェア的に構成するのかは、要求される演算速度、コスト、消費電力等を勘案して決定される。なお、機能部を専用のハードウェアで構成することとソフトウェア的に構成することは、特定の機能を実現するという観点からは、等価である。
UAV探索用制御部200は、機能部として記憶部201、推定部202、探索制御部203、速度予想部204、探索タイミング選択部205、探索範囲設定部206を備える。記憶部201は、UAVに記憶される予め定めた航路のデータと同じものが記憶される。このデータは飛行計画のデータであり、通過する複数のポイントPnの座標(緯度,経度,高度)と隣接するポイント間の速度が指定されている。この飛行計画に従ってUAVは自律飛行する。ここで、Pnの位置と飛行時間とから指定する時刻における位置を求めることができる。
また、記憶部201には、UAV探索用制御部200を備えるTS100(図2参照)の位置のデータが記憶される。TS100の位置は、予め高精度GNSSを用いてTS100の位置特定部107により測定、または、基準点を用いてTS100の座標を測量により求める。なお、飛行計画のデータを他の記憶装置や記憶媒体からUAV探索用制御部200にダウンロードし、それを記憶部201に一時的に記憶する形態も可能である。
推定部202は、記憶部201に記憶されたTS100の位置データおよび予め定めた航路のデータ(飛行計画のデータ)に基づき、特定の時刻におけるTS100から見たUAVの方向を推定する。以下、図4を用いてTS100から見たUAVの方向を推定する原理を説明する。なお、以下に説明するのは、基本的な原理であり、多様な方法があることはいうまでもない。
図4(A)には、3次元直交座標表示の場合が示され、図4(B)には、極座標表示の場合が示されている。図4(A)と図4(B)は、利用する座標系が異なるだけであり、原点Oと点Pの関係は両者で同じである。
図4(A)および(B)において、原点OがTSの位置(測定の原点)であり、点Pが特定の時刻におけるUAVの位置である。ここで、UAVの位置は、予め定めた航路のデータから決められる。よって、ここで扱うUAVの位置は、予定(飛行計画)に基づくものであり、その意味で以下に説明する処理は位置の推定に係る処理となる。
以下、時刻t1におけるTS100から見たUAVの方向を推定する場合を説明する。まず、飛行予定データから、時刻t1における点Pの位置(UAVの位置)のデータを得る。この段階では、図4(A)に示すように、点Pの座標は(緯度,経度,高度)によって特定されている。
次いで、図4(A)→図4(B)に示すように、三次元直交座標系を極座標系に変換する。この変換は、初歩的な数学的な操作により行われる。図4(B)に示す極座標系に変換することで、水平角φ(この場合は、x軸から反時計回りに計った角度)と仰角θが求まる。ここで、(φ,θ)が時刻t1におけるTSから見たUAVの推定される方向となる。そして同様な原理により、t1,t2,t3・・・におけるUAVの方向を求めることで、指定した時刻におけるUAVのTS100から見た方向を推定することができる。また、各時刻におけるベクトルr(図4(B)参照)が求まる。ベクトルrは、TS100から見たUAVの方向と距離を示すベクトルである。以上の原理による(r,φ,θ)を求める処理が推定部202において行われる。
探索制御部203は、推定部202で推定した方向に基づくUAVの探索を制御する処理を行う。TS100の可動部は、水平方向における回転、仰角および俯角の動作をモータにより行う。このモータの動作を制御する制御信号が探索制御部203から出力される。
基本的な前提として、飛行するUAVの追尾は、TS100が備えているターゲットの自動追尾機能を用いる。この機能により、探索用のレーザー光のスキャンおよびターゲット(この場合は、専用の反射プリズム)からの反射光の検出により、飛行するUAVをTS100が自動で追尾する。ただし、飛行開始から追尾を行わない場合、あるいは自動追尾が上手くゆかず、TS100がUAVを見失った場合、飛行しているUAVをTS100が捕捉する必要がある。この際の処理に探索制御部203が利用させる。探索は任意のタイミングで行うことができるが、特に後述するタイミングで行うことが好ましい。
速度予想部204は、TSから見たUAVの見かけの速度を予想する。TSから見たUAVの見かけの速度は、UAVのTSから見た視線方向の変化率として定義される。例えば、図4(B)の場合でいうと、UAVを追うTSからの視線の変化率は、時間に対するφの変化率(dφ/dt)とθの変化率(dθ/dt)で表される。すなわち、角度φ方向における時間に対する角度変化率(dφ/dt)と角度θ方向における時間に対する角度変化率(dθ/dt)を合成したものがTSから見たUAVの見かけの速度となる。(φ,θ)の変化率、すなわち、(dφ/dt)と (dθ/dt)を求める計算が速度予想部204で行われる。
探索タイミング選択部205は、後述する探索タイミングの中から一つを選択する。選択基準としては、時間的に最初に到来するタイミングを選択する場合や時間と予め定めた優先順位を勘案して選択する場合等が挙げられる。また、2以上のタイミングを選択し、選択した複数のタイミングにおける処理を順次実行する形態も可能である。探索を開始する時刻の指定は、UAVをロストしてから(見失ってから)ΔT秒後、飛行開始からΔT’秒後、TS100やUAV探索用制御部200が搭載する時計で○○時○○分○○秒といった形態で行われる。
以下、好ましい探索タイミングについて説明する。以下に説明する好ましい探索タイミングは、飛行計画のデータに基づいて推定される。
(第1の好ましい探索タイミング)
第1の好ましい探索タイミングは、速度予想部204で推定された見かけの速度が予め定めた値以下となるタイミングである。TS100から見た見かけの速度が速いと、UAVが探索用レーザー光の照射範囲(探索範囲)を通過する(横切る)スピードがそれだけ速くなるので、探索用レーザー光がUAVを捕捉する確率が低下する。
他方で、TS100から見た見かけの速度が遅いと、UAVが探索用レーザー光の照射範囲(探索範囲)を通過する(横切る)スピードがそれだけ遅くなるので、探索用レーザー光がUAVを捕捉する確率は高くなる。よって、UAVの見かけの速度が予め定めた閾値以下と推定される場合に、飛行計画から予想される空域に狙いを定めてUAVの探索を行うと、UAVを捕捉できる確率が高くなる。
例えば、ある時点でTSがUAVを見失ったとする。この場合、UAVの見かけの速度が予め定めた閾値以下となる空域を飛行計画に基づき計算により推定し、その空域にTS100を向け、その空域に飛んでくるであろうUAVを事前に待ち構える。こうすることで、見失ったUAVを再捕捉できる可能性を高めることができる。この飛行計画から推定した空域で待ち構えてUAVを捕捉する手法は、他の好ましい探索タイミングにおいても有効である。
(第2の好ましい探索タイミング)
第2の好ましい探索タイミングは、UAVが旋回飛行を行うと推定されるタイミングである。旋回をする際、UAVの速度は低下する。また、TSから見た単位時間当たりの見かけの移動量は、直線飛行をする場合に比較して少なくなる。よって、UAVが旋回するタイミングでUAVの探索を行うことで、UAVを捕捉できる確率が高くなる。
(第3の好ましい探索タイミング)
第3の好ましい探索タイミングは、UAVがTSから遠ざかる飛行を行うと推定されるタイミングである。TSから見て、UAVが遠ざかる飛行を行う場合、TSから見た単位時間当たりの見かけの移動量は、徐々に小さくなる。よって、UAVが遠ざかるタイミングでUAVの探索を行うことで、UAVを捕捉できる確率が高くなる。
(第4の好ましい探索タイミング)
第4の好ましい探索タイミングは、UAVがTSに対して予め定めた距離よりも遠くを飛行すると推定されるタイミングである。同じ視野で考えた場合、UAVが遠くを飛行している場合は、近くを飛行している場合に比較して、視野内を通過するUAVの像の動きは遅くなる。このため、予め定めた距離よりも遠くを飛行することが予定飛行ルートから推定される場合、その推定された飛行ルート付近で待ち構えてUAVの探索を行うことで、UAVを見つけ出す確率が高くなる。
探索範囲設定部206は、探索タイミング選択部205で選択された探索タイミングに基づき、UAVの探察範囲を設定する。探索の範囲の設定は、以下のようにして行われる。まず、探索タイミングが選択されることで、そのタイミングにおける飛行予定の航路が飛行計画から得られる。飛行予定の航路が判れば、その航路を飛行するUAVのTSから見た方向(φ,θ)の範囲が求められる。この範囲を基にある程度の幅を持たせた範囲が探索範囲となる。この処理が探索範囲設定部206で行われる。
(処理の一例)
図3のUAV探索用制御部200で行われる処理の一例を説明する。図5は、UAV探索用制御部200で行われる処理の手順の一例が示されている。図5の処理を実行するためのプログラムは、UAV探索用制御部200の記憶部201や適当な記憶媒体、あるいはネットワーク上のサーバ等に記憶され、そこから提供される。
図5の処理は、TS(ト―タルステーション)100がUAVを捕捉していない状態で開始される。このような場合として、TS100がUAVを捕捉していない状態でUAVが飛行を始めた場合、あるいはTS100がUAVを捕捉追尾している状態でUAVを見失った場合が挙げられる。
処理が開始されると、その時点でUAVが飛行しているか否かが判定される(ステップS101)。この判定は、飛行計画(予め定められた飛行ルートと飛行時間の関係を定めたデータ)に基づいて行われる。飛行が終了していないと判定された場合、ステップS102に進み、飛行が終了している判定される場合、処理を終了する。
ステップS102では、飛行計画に基づき、その時点から最も近い将来に到来する探索タイミングを選択する。ここで候補となる探索タイミングは、上述した第1〜第4の好ましい探索タイミングの4形態である。この際、複数の探索タイミングが同時に抽出される場合も有り得る。この場合は、見かけの速度が最小となる探索タイミングを選択する。
この処理では、選択された探索タイミングの範囲に含まれる特定の時刻が選択される。選択される特定の時刻としては、UAVをロストしてから(見失ってから)ΔT秒後、飛行開始からΔT’秒後、TS100やUAV探索用制御部200が搭載する時計で○○時○○分○○秒といったものが選択される。
例えば、飛行計画では、飛行ルートの位置・経路における速度が設定されている。よって、例えばUAVをロストしてからΔT秒後に特定の方向の範囲における探索の実行が指定されることで、飛行空域を予想したUAVの追っかけ探索が実行される。
ステップS102の処理は、図3の探索タイミング選択部205で行われる。また、見かけの速度は、ベクトルrを推定部202で推定し、(φ,θ)の変化率を速度予想部204で予想することで得られる。
探索タイミングを選択したら、飛行計画に基づき探索範囲を設定する(ステップS103)。この処理では、ステップS102で選択された探索タイミングを含む一定の期間を選択し、飛行計画からその期間におけるベクトルrを求める。そしてベクトルrによって予想される飛行予定経路を含むある程度の範囲をφとθの角度範囲として設定する。こうして探索範囲を設定する。ステップS103の処理は、探索範囲設定部206で行われる。
探索範囲を設定したら、その範囲にUAVが到達する予定時刻の少し前の段階(例えば2秒〜5秒前の段階)からその範囲でのUAVの探索を行う(ステップS104)。この処理は、探索制御部203からの制御信号に基づき、TS100が備えたターゲットの探索機能を用いて行う。UAVの探索は、TS100が撮影した画像の解析に基づき行ってもよい。
上記の探索の際、当該探索範囲におけるUAVの見かけの速度Vを速度予想部204で算出し、UAVの予想移動方向に沿ってv=2Vの見かけの走査速度で探索を行う。すなわち、推定されるUAVの見かけの速度の2倍の見かけの速度でTS100の可動部が動くように(つまり2倍の速度で探索用の視線が動くように)、TS100の動作制御が行われる。
上記の制御が行われることで、見かけの速度で考えて、UAVを2倍の速度で追いかける状態となり、走査されて照射される探索用レーザー光がUAVに追い付かず、探索ができなくなる事態が避けられる。ここで、探索の走査方向をUAVの移動方向に沿って複数設定することで、UAVを捕捉する確立を高めることができる。
走査速度は、UAVの見かけの速度の2倍程度が適当であるが、2倍に限定されるものではない。また、TSから見たUAVの見かけの速度の変化が大きい場合、各時刻(例えば、3秒毎)における推定される見かけの速度を計算し、それに基づきTSの制御を行う。
探索の結果、UAVが捕捉できれば、ステップS105の後、処理を終了し、UAVが捕捉できなければ、ステップS106に進む。ここで、ステップS103で設定した探索範囲におけるUAVの飛行が終了したと推定されるか否か(UAVを捕捉できなければ、この時点では、飛行が推定される状態)が判定され(ステップS106)、探索範囲における飛行が終了していると判定された場合は、ステップS102の前段階に戻り、再度の探索範囲の選択を行う。探索範囲における飛行が終了していないと判定された場合は、ステップS104の探索制御を続行する。
以上のようにして、TS側でUAVの飛行計画を予め把握し、この飛行計画に基づき、TSが捕捉していないUAVの探索が行われる。
2.第2の実施形態
図3のUAV探索用制御部200を独立した制御装置として構成することも可能である。この場合、図3に関連して説明したUAV探索用制御部200が独立した装置となる。この制御装置は、TS(トータルステーション)と無線通信等の適当な通信回線で接続され、TSの動作を制御する制御信号をTSに向かって出力する。この場合、TSは外部からの動作制御が可能な形態のものを用いる。
UAV探索用制御部200を備えた制御装置は、専用のハードウェアで構成されていてよいし、PC,タブレット,スマートフォン等に動作用ソフトウェアをインストールすることで、図3の機能を実現する形態でもよい。また例えば、タブレットを用いる場合に、タブレットでは困難な演算は、外付け機器で行う形態とし、この外付け機器とタブレットを組み合わせてUAV探索用制御部をシステムとして構成することも可能である。これは、タブレットに限らず、PCやスマートフォンの場合も同じである。また、遠隔地に配置されたサーバをUAV探索用制御部200として動作させ、そこにインターネット回線等を介してタブレットやスマートフォンを用いてアクセスし、当該タブレットやスマートフォンを端末として、操作を行う形態も可能である。
また、図3の機能部を通信回線で接続された複数の独立したハードウェアで実現するシステムを構成することも可能である。例えば、操作端末としてスマートフォンを用い、記憶部201としてサーバやPCを用い、その他の機能部を実現するハードウェアをTSに接続されるアダプタ形式の筐体に収めた補助装置とする。この補助装置は、上述したスマートフォンやサーバとインターネット回線等を利用して通信が可能であり、利用に際しては、飛行計画のデータを上述したサーバから補助機器にダウンロードし、スマートフォンを操作端末として、第1の実施形態で説明した動作を行う。この場合、分散配置された機能部が通信を介して統合されて機能するシステムが構成される。そしてこのシステムにおいて、図5の処理が実行される。

Claims (8)

  1. 予め定めた航路で飛行する無人航空機の探索に利用される演算装置であって、
    レーザー光を用いて前記無人航空機の位置を測量する測量装置の位置のデータおよび前記予め定めた航路のデータに基づき、特定の時刻における前記測量装置から見た前記無人航空機の方向を推定する推定部と、
    前記推定部で推定した方向に基づき、前記測量装置による前記無人航空機の探索を制御する探索制御部と
    を備える演算装置。
  2. 前記予め定めた航路のデータに基づき、前記測量装置から見た前記無人航空機の見かけの速度を予想する見かけの速度予想部を備え、
    前記測量装置による前記無人航空機の探索において、前記探索制御部は、前記速度予想部で予想された前記無人航空機の見かけの速度よりも速い見かけの速度で前記測量装置の可動部を動かす制御を行う請求項1に記載の演算装置。
  3. 前記探索制御部による前記無人航空機の探索を行うタイミングとして、
    前記速度予想部で予想された前記見かけの速度が予め定めた値以下となるタイミング、
    前記推定部が推定した前記無人航空機が旋回飛行をするタイミング、
    前記推定部が推定した前記無人航空機が前記測量装置から遠ざかる飛行をするタイミング、
    前記推定部が推定した前記無人航空機が前記測量装置から予め定めた距離よりも遠くを飛行しているタイミング
    の中の一または複数が選択される請求項1または2に記載の演算装置。
  4. 前記無人航空機の探索が、前記測量装置が前記無人航空機を捕捉している状態から見失った場合に行われる請求項1〜3のいずれか一項に記載の演算装置。
  5. 前記推定部は、
    前記無人航空機が旋回飛行をする空域、
    前記無人航空機が前記測量装置から遠ざかる飛行をする空域、
    前記無人航空機が前記測量装置から予め定めた距離よりも遠くを飛行する空域
    の少なくとも一つを推定し、
    前記探索制御部は、前記推定された少なくとも一つの空域に絞って前記無人航空機の探索の制御を行う請求項1〜4のいずれか一項に記載の演算装置。
  6. 予め定めた航路で飛行する無人航空機の探索に利用される演算方法であって、
    レーザー光を用いて前記無人航空機の位置を測量する測量装置の位置のデータおよび前記予め定めた航路のデータに基づき、特定の時刻における前記測量装置から見た前記無人航空機の方向を推定する推定ステップと、
    前記推定ステップで推定した方向に基づき、前記測量装置による前記無人航空機の探索を制御する探索制御ステップと
    を有する演算方法。
  7. 予め定めた航路で飛行する無人航空機の探索に利用される演算システムであって、
    レーザー光を用いて前記無人航空機の位置を測量する測量装置の位置のデータおよび前記予め定めた航路のデータに基づき、特定の時刻における前記測量装置から見た前記無人航空機の方向を推定する推定部と、
    前記推定部で推定した方向に基づき、前記測量装置による前記無人航空機の探索を制御する探索制御部と
    を備える演算システム。
  8. 予め定めた航路で飛行する無人航空機の探索に利用されるプログラムであって、
    コンピュータに読み取らせて、コンピュータを
    レーザー光を用いて前記無人航空機の位置を測量する測量装置の位置のデータおよび前記予め定めた航路のデータに基づき、特定の時刻における前記測量装置から見た前記無人航空機の方向を推定する推定部と、
    前記推定部で推定した方向に基づき、前記測量装置による前記無人航空機の探索を制御する探索制御部と
    して動作させるプログラム。
JP2016247917A 2016-12-21 2016-12-21 演算装置、演算方法、演算システムおよびプログラム Active JP6817806B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016247917A JP6817806B2 (ja) 2016-12-21 2016-12-21 演算装置、演算方法、演算システムおよびプログラム
US15/838,754 US10732298B2 (en) 2016-12-21 2017-12-12 Operating device, operating method, operating system, and operating program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016247917A JP6817806B2 (ja) 2016-12-21 2016-12-21 演算装置、演算方法、演算システムおよびプログラム

Publications (2)

Publication Number Publication Date
JP2018100931A true JP2018100931A (ja) 2018-06-28
JP6817806B2 JP6817806B2 (ja) 2021-01-20

Family

ID=62562388

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016247917A Active JP6817806B2 (ja) 2016-12-21 2016-12-21 演算装置、演算方法、演算システムおよびプログラム

Country Status (2)

Country Link
US (1) US10732298B2 (ja)
JP (1) JP6817806B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200009638A (ko) * 2018-07-19 2020-01-30 정성철 근거리용 드론 감지 장치
US10565730B2 (en) 2017-09-06 2020-02-18 Topcon Corporation Survey data processing device, survey data processing method, and survey data processing program
JP2021001775A (ja) * 2019-06-20 2021-01-07 三菱電機株式会社 形状測定システム
US11221216B2 (en) 2018-02-14 2022-01-11 Topcon Corporation Placement table for unmanned aerial vehicle, surveying method, surveying device, surveying system and program

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020036683A1 (en) * 2018-08-13 2020-02-20 Bae Systems Information And Electronic Systems Integration Inc. Tiered unassisted discovery in directional rf networks
CN110118999A (zh) * 2019-06-11 2019-08-13 威海程航航空科技有限公司 一种无人机搜索系统及方法
CN112106448A (zh) * 2019-10-31 2020-12-18 深圳市大疆创新科技有限公司 一种灯光控制方法、可移动平台及灯光控制系统
CN112001309A (zh) * 2020-08-21 2020-11-27 上海特金无线技术有限公司 基于无人机集群的目标搜索方法、装置、设备及存储介质
CN114003060A (zh) * 2021-11-04 2022-02-01 西安石油大学 基于改进全局最优头脑风暴算法的多无人机任务分配方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0628030A (ja) * 1992-07-09 1994-02-04 Fujita Corp 移動体の位置出し装置
JP2004020185A (ja) * 2002-06-12 2004-01-22 Oerlikon Contraves Ag 標的追跡方法および標的追跡システム
JP2004132914A (ja) * 2002-10-11 2004-04-30 Topcon Corp 位置測定装置
JP2009081696A (ja) * 2007-09-26 2009-04-16 Toshiba Corp 航空機通信システムとそのアンテナ指向制御方法
US20140032021A1 (en) * 2011-04-14 2014-01-30 Hexagon Technology Center Gmbh System and method for controlling an unmanned air vehicle
JP2015145784A (ja) * 2014-01-31 2015-08-13 株式会社トプコン 測定システム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2511658A1 (de) 2011-04-14 2012-10-17 Hexagon Technology Center GmbH Vermessungssystem und Verfahren zur Neupunktbestimmung
EP3062066A1 (en) * 2015-02-26 2016-08-31 Hexagon Technology Center GmbH Determination of object data by template-based UAV control
EP3265885A4 (en) * 2015-03-03 2018-08-29 Prenav Inc. Scanning environments and tracking unmanned aerial vehicles
US20160349746A1 (en) * 2015-05-29 2016-12-01 Faro Technologies, Inc. Unmanned aerial vehicle having a projector and being tracked by a laser tracker
US10242581B2 (en) * 2016-10-11 2019-03-26 Insitu, Inc. Method and apparatus for target relative guidance

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0628030A (ja) * 1992-07-09 1994-02-04 Fujita Corp 移動体の位置出し装置
JP2004020185A (ja) * 2002-06-12 2004-01-22 Oerlikon Contraves Ag 標的追跡方法および標的追跡システム
JP2004132914A (ja) * 2002-10-11 2004-04-30 Topcon Corp 位置測定装置
JP2009081696A (ja) * 2007-09-26 2009-04-16 Toshiba Corp 航空機通信システムとそのアンテナ指向制御方法
US20140032021A1 (en) * 2011-04-14 2014-01-30 Hexagon Technology Center Gmbh System and method for controlling an unmanned air vehicle
JP2015145784A (ja) * 2014-01-31 2015-08-13 株式会社トプコン 測定システム

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10565730B2 (en) 2017-09-06 2020-02-18 Topcon Corporation Survey data processing device, survey data processing method, and survey data processing program
US11221216B2 (en) 2018-02-14 2022-01-11 Topcon Corporation Placement table for unmanned aerial vehicle, surveying method, surveying device, surveying system and program
KR20200009638A (ko) * 2018-07-19 2020-01-30 정성철 근거리용 드론 감지 장치
KR102112340B1 (ko) * 2018-07-19 2020-05-18 정성철 근거리용 드론 감지 장치
JP2021001775A (ja) * 2019-06-20 2021-01-07 三菱電機株式会社 形状測定システム

Also Published As

Publication number Publication date
JP6817806B2 (ja) 2021-01-20
US20180172843A1 (en) 2018-06-21
US10732298B2 (en) 2020-08-04

Similar Documents

Publication Publication Date Title
JP6817806B2 (ja) 演算装置、演算方法、演算システムおよびプログラム
KR102463176B1 (ko) 위치 추정 장치 및 방법
JP6826888B2 (ja) 測量装置、無人航空機の探索方法、測量システムおよびプログラム
US10636171B2 (en) Device, method, and system for tracking unmanned aerial vehicle, and program therefor
US20190103032A1 (en) Unmanned aerial vehicle, data processing device, path selection device, processing method and processing program
KR100995362B1 (ko) 무인 비행체의 비행고도 제어장치
US10146230B2 (en) Control device, optical device, and control method for tracking unmanned aerial vehicle, and system and program therefor
CN110889808B (zh) 一种定位的方法、装置、设备及存储介质
US7792330B1 (en) System and method for determining range in response to image data
JP7007137B2 (ja) 情報処理装置、情報処理方法および情報処理用プログラム
US20190086548A1 (en) Data processing device, data processing method, and data processing program
US20120232717A1 (en) Remote coordinate identifier system and method for aircraft
JP2016188806A (ja) 移動体及びシステム
JP2017182692A (ja) 自律移動ロボット
JP2018119852A (ja) 位置特定装置、位置特定方法、位置特定システム、位置特定用プログラム、無人航空機および無人航空機識別用ターゲット
US11598878B2 (en) Vision-cued random-access lidar system and method for localization and navigation
JP6934367B2 (ja) 位置測定装置、位置測定方法および位置測定用プログラム
WO2024009855A1 (ja) 制御方法、制御装置、及びコンピュータプログラム
CN113848541A (zh) 一种标定的方法、装置、无人机及计算机可读存储介质
US20230083021A1 (en) Surveying data processor, surveying data processing method, and surveying data processing program
KR101911353B1 (ko) Gnss 신호 손실시 자율 비행 방법 및 이를 위한 무인 비행체
JP6783681B2 (ja) 演算装置、演算方法およびプログラム
KR102036080B1 (ko) 휴대형 위치 결정 장치 및 휴대형 위치 결정 장치 동작 방법
JP6664258B2 (ja) 自己位置推定装置
Putra et al. Autonomous drone indoor navigation based on virtual 3D map reference

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201225

R150 Certificate of patent or registration of utility model

Ref document number: 6817806

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250