JP2017076302A - 小型無人飛行機の制御方法 - Google Patents

小型無人飛行機の制御方法 Download PDF

Info

Publication number
JP2017076302A
JP2017076302A JP2015204303A JP2015204303A JP2017076302A JP 2017076302 A JP2017076302 A JP 2017076302A JP 2015204303 A JP2015204303 A JP 2015204303A JP 2015204303 A JP2015204303 A JP 2015204303A JP 2017076302 A JP2017076302 A JP 2017076302A
Authority
JP
Japan
Prior art keywords
flight
small unmanned
unmanned airplane
multicopter
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015204303A
Other languages
English (en)
Other versions
JP2017076302A5 (ja
JP6390013B2 (ja
Inventor
和雄 市原
Kazuo Ichihara
和雄 市原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Prodrone Co Ltd
Original Assignee
Prodrone Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Prodrone Co Ltd filed Critical Prodrone Co Ltd
Priority to JP2015204303A priority Critical patent/JP6390013B2/ja
Priority to AU2016339451A priority patent/AU2016339451B2/en
Priority to US15/768,785 priority patent/US20180305012A1/en
Priority to PCT/JP2016/079915 priority patent/WO2017065103A1/ja
Publication of JP2017076302A publication Critical patent/JP2017076302A/ja
Publication of JP2017076302A5 publication Critical patent/JP2017076302A5/ja
Application granted granted Critical
Publication of JP6390013B2 publication Critical patent/JP6390013B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/14Flying platforms with four distinct rotor axes, e.g. quadcopters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004Transmission of traffic-related information to or from an aircraft
    • G08G5/0013Transmission of traffic-related information to or from an aircraft with a ground station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0017Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information
    • G08G5/0021Arrangements for implementing traffic-related aircraft activities, e.g. arrangements for generating, displaying, acquiring or managing traffic information located in the aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0052Navigation or guidance aids for a single aircraft for cruising
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0073Surveillance aids
    • G08G5/0086Surveillance aids for monitoring terrain
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/04Anti-collision systems
    • G08G5/045Navigation or guidance aids, e.g. determination of anti-collision manoeuvers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/32UAVs specially adapted for particular uses or applications for imaging, photography or videography for cartography or topography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • B64U2201/104UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS] using satellite radio beacon positioning systems, e.g. GPS
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U50/00Propulsion; Power supply
    • B64U50/30Supply or distribution of electrical power
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)

Abstract

【課題】その時点での地上の状態に応じて飛行経路を定めて、小型無人飛行機を飛行させることができる小型無人飛行機の制御方法を提供する。【解決手段】複数の回転翼と、下方に対する画像を撮影できる撮影部30と、を有する小型無人飛行機91の飛行を制御する方法において、小型無人飛行機を地上から上昇させ、撮影部によって地上の状態を撮影して撮影像Iを得る情報取得工程と、撮影像I上に、小型無人飛行機を飛行させる飛行経路Rを設定する経路設定工程と、小型無人飛行機を飛行経路Rに従って飛行させる飛行工程と、を実行する。【選択図】図5

Description

本発明は、小型無人飛行機の制御方法に関し、さらに詳しくは、小型無人飛行機の飛行経路を設定して飛行させる制御の方法に関するものである。
航空機等の飛行装置において、飛行経路を設定し、自動的にその飛行経路に沿った飛行を行わせるシステムや、操縦者がその飛行経路に沿った操縦を行うのを支援するシステムが知られている。この種のシステムにおいては、例えば特許文献1に開示されるように、既知の地形情報や地図情報に基づいて、飛行経路の設定および制御を行う。
近年、産業用無人ヘリコプターに代表される小型の無人飛行機(UAV)、特に小型のマルチコプターが、急速に普及し、広範な分野への導入が試行されている。マルチコプターは複数のロータが搭載されたヘリコプターの一種であり、これら各ロータの回転速度を調節することにより機体のバランスをとりながら飛行するものである。操縦者の操縦によるのではなく、GPSに代表される全地球航法衛星システム(GNSS)や高度センサを用いて、一定の範囲で小型無人飛行機を自律的に飛行させる機構も導入が進んでいる。
この種の小型無人飛行機においても、地形情報や地図情報に基づいて、飛行経路が設定される場合がある。例えば、インターネット等で公開されている航空写真(例えばグーグルマップ)の上で、所望の経路を設定し、小型無人飛行機を自律飛行によってその経路に沿って飛行させるという手法が用いられる。
特開2004−233082号公報
インターネット等で公開されている航空写真は、ある時期に撮影した情報を所定期間にわたって利用するものであり、時々刻々の情報を反映したものではない。場所によっては、数か月あるいは1年以上以前の情報しか得られない場合もある。よって、航空写真を利用する時点において、その航空写真が撮影された時から、地上の状態が変化している場合がある。そのような変化としては、新たな建造物の建設や、植物の生育状態の変化、自然災害による地形の変化等が考えられる。
航空写真を利用して小型無人飛行機の飛行経路を設定するに際し、航空写真が撮影された時点から地上の状態が変化していると、設定した飛行経路に従って小型無人飛行を飛行させた際に、その変化に起因して支障が生じる場合がある。例えば、設定した飛行経路上に、航空写真が撮影された時点では存在しなかった建造物が建設されている場合や、航空写真が撮影されてから大きく生長した樹木が存在している場合には、設定した飛行経路に従って飛行した小型無人飛行機が、それら建造物や樹木に衝突してしまう可能性がある。
本発明が解決しようとする課題は、その時点での地上の状態に応じて飛行経路を定めて、小型無人飛行機を飛行させることができる小型無人飛行機の制御方法を提供することにある。
上記課題を解決するため、本発明の小型無人飛行機の制御方法は、複数の回転翼と、下方に対する画像を撮影できる撮影部と、を有する小型無人飛行機の飛行を制御する方法において、前記小型無人飛行機を地上から上昇させ、前記撮影部によって地上の状態を撮影して撮影像を得る情報取得工程と、前記撮影像上に、前記小型無人飛行機を飛行させる飛行経路を設定する経路設定工程と、前記小型無人飛行機を前記飛行経路に従って飛行させる飛行工程と、を実行するものである。
ここで、前記飛行工程は、前記小型無人飛行機が飛行位置を自律的に制御する自律飛行によって行われるとよい。
また、前記経路設定工程において、前記飛行経路として、前記小型無人飛行機を通過させる複数の基準点を前記撮影像上に設定し、前記飛行工程において、前記小型無人飛行機は、前記複数の基準点の相対的な位置関係に基づいて、飛行を行うとよい。
また、前記飛行工程において、前記撮影像上に設定した前記飛行経路と、前記小型無人飛行機が実際に飛行している経路とを、画像パターンの認識によって対応させるとよい。
また、前記情報取得工程において、前記小型無人飛行機は、定点にて前記撮影部による撮影を行うとよい。
上記発明にかかる小型無人飛行機の制御方法においては、最初に情報取得工程を実施し、その時点での地上の状態を上空から撮影して、撮影像を得る。そして、経路設定工程において、その撮影像の上に、飛行経路を設定する。よって、撮影像を取得した時点での実際の地上の状態に応じて、飛行経路を設定することができる。例えば、その時点で実際に存在する障害物への衝突や接触を避けるように、飛行経路を設定することができる。そして、飛行工程において、設定した飛行経路に従って、小型無人飛行機が実際の飛行を行うので、その時点での地上の状態に即して、障害物との衝突等を起こさずに、飛行を行うことができる。
ここで、飛行工程が、小型無人飛行機が飛行位置を自律的に制御する自律飛行によって行われる場合には、自律飛行に先立って、自律飛行の前提となる飛行経路を的確に設定しておく必要があるが、上記のように、情報取得工程において撮影した撮影像を基礎情報として用いることで、経路設定工程において飛行経路を的確に設定することができるので、自律飛行中の障害物との衝突を確実に回避するなど、自律飛行を高精度に進めることができる。
また、経路設定工程において、飛行経路として、小型無人飛行機を通過させる複数の基準点を撮影像上に設定し、飛行工程において、小型無人飛行機が、複数の基準点の相対的な位置関係に基づいて、飛行を行う場合には、設定した飛行経路どおりに小型無人飛行機を飛行させるのに、最初の基準点さえ通過させれば、残りの経路の飛行を、GNSS情報等、外部の情報に依存することなく、情報取得工程で撮影した撮影像の情報のみによって行うことができる。これにより、GNSS信号のずれ等、外部的な要因により、飛行経路にずれが生じるのを防止することができる。
また、飛行工程において、撮影像上に設定した飛行経路と、小型無人飛行機が実際に飛行している経路とを、画像パターンの認識によって対応させる場合には、撮影像に写っている物体の形状等に基づいて、撮影像上と実際の地上で、飛行経路を対応付けるこることになる。この対応付けを位置の情報に基づいて行おうとすれば、撮影部のレンズの歪み等に起因して、撮影像上の位置を実際の地上における位置に変換する際に誤差が生じてしまうが、画像パターンの情報を用いることで、そのような撮影条件等の影響を受けずに、撮影像上で設定した飛行経路に高精度に即して、小型無人飛行機を飛行させることができる。
また、情報取得工程において、小型無人飛行機が、定点にて撮影部による撮影を行う場合には、飛行経路の設定に使用する撮影像を簡便に得ることができる。
本発明の一実施形態にかかる制御方法を適用する小型無人飛行機の一例について、概略を示す外観斜視図である。 上記小型無人飛行機の概略を示すブロック図である。 本発明の一実施形態にかかる小型無人飛行機の制御方法における情報取得工程を示す概念図である。 上記制御方法における経路設定工程について、飛行経路が設定された撮影像を示す図である。 上記制御方法における飛行工程の一部を示す概念図である。 既存の航空写真を用いて飛行経路を設定する場合について、飛行経路が設定された航空写真を示す図である。
以下、本発明の一実施形態にかかる小型無人飛行機の制御方法について、図面を用いて詳細に説明する。本実施形態にかかる小型無人飛行機の制御方法は、小型無人飛行機を飛行させるべき経路を設定し、その経路に沿って小型無人飛行機を飛行させるための制御方法に関する。
[小型無人飛行機の構成]
図1は本発明の一実施形態にかかる制御方法を適用するマルチコプター(小型無人飛行機)91の外観を示す斜視図である。マルチコプター91は、複数(ここでは4つ)の回転翼911を備える飛行装置である。マルチコプター91は、下方にカメラ(撮影部)30を備えている。カメラ30は、撮影面を下方に向けて取り付けられており、マルチコプター91の下方の領域を撮影することができる。
図2はマルチコプター91の機能構成を示すブロック図である。マルチコプター91は、主に、空中におけるマルチコプター91の姿勢や飛行動作を制御するフライトコントローラ83、回転することによりマルチコプター91に揚力を発生させる複数の回転翼911、操縦者(送受信器81)との無線通信を行う送受信器82、撮影部としてのカメラ30、およびこれらに電力を供給するバッテリー84により構成される。
フライトコントローラ83は、マイクロコントローラである制御部831を備えている。制御部831は、中央処理装置であるCPU、記憶装置であるRAM/ROM、および、DCモータ86を制御するPWMコントローラを備えている。DCモータ86は、各回転翼911に結合されており、PWMコントローラからの指示により、ESC(Electric Speed Controller)85を介して、各DCモータ86の回転速度が制御される。4つの回転翼911の回転速度のバランスにより、マルチコプター91の姿勢や移動が制御される。
フライトコントローラ83はセンサ群832およびGNSS受信器833を備えており、これらは制御部831に接続されている。マルチコプター91のセンサ群832には、加速度センサ、ジャイロセンサ(角速度センサ)、気圧センサ、地磁気センサ(電子コンパス)などが含まれている。
制御部831のRAM/ROMには、マルチコプター91の飛行時における飛行制御アルゴリズムが実装された飛行制御プログラムが記憶される。制御部831はセンサ群832から取得した情報を用いて飛行制御プログラムによりマルチコプター91の姿勢および位置を制御することができる。本実施形態においては、マルチコプター91の飛行操作を、操縦者が、送受信器81を介して、手動で行うことができる。加えて、飛行位置(GNSS座標および高度)、飛行ルートなどの飛行計画がパラメータ化された自律飛行プログラムを別途実装し、自律的に飛行させることもできる(オートパイロット)。
カメラ30は、制御部831からの指令を受けて、画像の撮影を行う。そして、カメラ30で撮影された画像は、制御部831および送受信器82を介して、操縦者側の送受信器81に送信される。
マルチコプター91には、操縦者が遠隔で操作可能な別体の操作装置40が付属されている。操作装置40には、上記の送受信器81に加え、CPU等によって演算・制御処理を行う制御部41と、画像を表示可能な表示部42と、操作者がパラメータ等を入力することができる入力部43が備えられている。例えば、表示部42と入力部43を兼ねる装置として、タッチパネルを用いることができる。送受信器81を介して送信されたカメラ30における画像は、表示部42に表示される。入力部43は、操縦者が、上記のように手動でマルチコプター91の飛行を制御する際の制御パラメータを入力できるのに加え、オートパイロットによる飛行を行う際に、表示部42に表示された画像上で、マルチコプター91を自律的に飛行させたい飛行経路R等の飛行条件を指定することができる。入力部43を用いて、操縦者は、カメラ30による撮影の実行や撮影条件の変更についても指示することができる。
[小型無人飛行機の制御方法]
次に、上記で説明したようなマルチコプター91に対して適用される、本発明の一実施形態にかかる制御方法について説明する。
本実施形態にかかる制御方法においては、(1)情報取得工程と、(2)経路設定工程と、(3)飛行工程とを、この順に実施する。(1)情報取得工程においては、マルチコプター91を飛行させるべき領域における地上の状態について、制御の基礎となる情報を得る。そして、(2)経路設定工程においては、得られた情報に基づいて、マルチコプター91を飛行させる経路を設定する。最後に、(3)飛行工程において、設定された経路に基づいて、実際にマルチコプター91を飛行させる。各工程は、連続的に実施され、前の工程が完了すると、即時に次の工程を開始する。ここで、「連続的」あるいは「即時」との概念には、マルチコプター91を飛行させる領域の地上において、マルチコプター91の飛行に影響を与える可能性のある物体(自然物および人工物)に実質的な変化が起こらない程度の間隔を設ける形態も含まれる。その間隔としては、典型的には、数時間、さらには1日程度の時間の経過は許容される。また、上記3つの工程の一貫性を保つことができるのであれば、マルチコプター91のメンテナンス等、間に別の工程を実施してもよい。以下に、各工程について説明する。
(1)情報取得工程
情報取得工程においては、マルチコプター91を地上から上昇させ、カメラ30によって上空から地上の状態を撮影し、撮影像Iを取得する。具体的には、操縦者が、操作装置40を用いてマルチコプター91を上昇させ、適切な位置でカメラ30による撮影を指示する。この際、マルチコプター91は、定点において滞空し(ホバリング)、下方に設けられたカメラ30によって、鉛直方向直下の状態を撮影する。これにより、カメラ30の視野Fの範囲内における地上の状態を写した撮影像Iが得られる。なお、「定点」には、撮影像Iにおいて必要な解像度が得られる程度の位置の変動を含んでもよい。
撮影像Iを撮影する際のマルチコプター91の位置は、後の飛行工程で飛行を想定している範囲が撮影像I内に含まれるように選択すればよい。特に、高さ方向の位置に関しては、飛行を想定している範囲の全体が、カメラ30の視野Fの中に収まるように定めればよい。
本工程においてカメラ30で撮影された撮影像Iは、送受信器81,82を介して、操作装置40に送られる。そして、表示部42にて操縦者が確認することができる。例えば、図3のように、住宅a1〜a3とビルb、河川cを含む領域を視野Fに収め、撮影を行った場合に、図4のような撮影像Iがカメラ30にて撮影され、表示部42に表示される。
なお、撮影像Iを取得するにあたり、定点で鉛直方向直下に対して撮影を行う以外に、マルチコプター91を移動させながら、撮影を行ってもよい。例えば、所望される撮影範囲が広い場合に、複数の定点で鉛直方向直下に撮影した画像を相互につなぎ合わせて、1つの大きな撮影像Iを構成するようにしてもよい。あるいは、マルチコプター91を移動させながら、またカメラ30による撮影方向を変化させながら撮影を行い、適切な画像処理を施すことで、3次元マッピングによる撮影像Iを構築してもよい。すると、マルチコプター91の飛行に対して障害物となる物体の高さをはじめとする3次元情報が得られ、続く経路設定工程および飛行工程において利用できる情報の量が多くなる。ただし、現在のところ公知の3次元マッピング法においては、得られる画像の質が十分に高いとは言えず、続く経路設定工程および飛行工程に対して、2次元画像に比べて著しい利便性を与えるものとはなりにくい。そこで、上記のように、定点で鉛直方向直下に2次元的に撮影を行って撮影像Iを得る方が、簡便性の点から優れている。また、上記では、情報取得工程におけるマルチコプター91の制御を、操縦者が手動にて行っているが、自律飛行によってこれを行ってもよい。なお、複数の定点での撮影や3次元マッピングのためにマルチコプター91を移動させる場合には、地上に存在する障害物等と接触や衝突を起こすことがないように、存在する可能性がある障害物の高さよりも十分に高い位置で飛行させるか、手動操作にて慎重にマルチコプター91の位置を確認しながら飛行させる必要がある。
(2)経路設定工程
次に、経路設定工程において、上記情報取得工程で得られた撮影像Iに基づいて、続く飛行工程でマルチコプター91を飛行させるべき飛行経路Rを設定する。具体的には、操縦者が、表示部42に表示された撮影像I上で、上空にマルチコプター91を通過させたいウェイポイント(基準点)を指定する。また、各ウェイポイントにおいて、マルチコプター91を飛行させる高度を指定するとともに、撮影、着陸、物品の投下等、マルチコプター91に実施させたい動作があれば、それらの操作を指定する。操縦者が経路設定の操作を行う間、マルチコプター91は、上空に待機させておいても、一旦地上に帰還させてもよい。
ここで、ウェイポイントを撮影像I上で指定するに当たり、地上に存在する障害物にマルチコプター91が衝突や接触、過度の接近等を起こさないようにする必要がある。例えば、図3に示した例において、住宅a1〜a3よりは高いがビルbよりは低い高度でマルチコプター91を飛行させることを想定している場合に、ビルbから水平方向に十分に離れた位置を飛行させるか、ビルbの近くを飛行する必要がある場合には、水平方向あるいは鉛直方向に、ビルbを迂回させることが必要となる。
例えば、図4において、撮影像I上に、ウェイポイントP1〜P6を配置し、飛行経路Rを設定している。ここでは、マルチコプター91が、最初のウェイポイントP1を出発し、2つのウェイポイントP2,P3を順に通って、最初のウェイポイントP1に帰還するという経路を想定しているが、点線で示すように、ウェイポイントP3とウェイポイントP1の間に直線的に飛行経路R’を設定すると、飛行経路R’がビルbと重なる。すると、続く飛行工程でこの飛行経路R’に従って飛行したマルチコプター91が、ビルbに衝突する可能性がある。そこで、ウェイポイントP1〜P3に加え、ウェイポイントP4〜P6を配置する。そして、P1→P2→P3→P4→P5→P6→P1のように飛行経路Rを設定すれば、マルチコプター91にビルbを迂回させることができるので、ビルbよりも低い高度であっても、ビルbに衝突、接触等することなく、飛行を行うことができる。
上記の例では、飛行経路Rを水平方向に調整してビルbを迂回させることで、ビルbとの衝突や接触の回避を図っているが、ビルbの存在する水平位置あるいはその近傍を通過するときだけ飛行経路Rの高度を上げる等、鉛直方向への飛行経路Rの調整によって、ビルbとの衝突や接触の回避を図ってもよい。水平方向と鉛直方向の両方の調整を併用してもよい。
(3)飛行工程
続く飛行工程において、上記で設定した飛行経路Rに従って、マルチコプター91を実際に飛行させる。マルチコプター91は、水平方向には、各ウェイポイントP1〜P6を結びながら、また鉛直方向には各ウェイポイントP1〜P6に対して設定された高度に従って、飛行を行う。また、各ウェイポイントP1〜P6において、撮影、着陸、物品の投下等、指定された動作があれば行う。飛行工程を開始するにあたり、マルチコプター91は、情報取得工程において上空に上昇して待機していた状態からそのまま飛行経路Rに従った飛行を開始してもよいし、一旦地上に帰還した状態から再度離陸してもよい。
飛行工程においては、経路設定工程において設定された飛行経路Rを参照しながら、操縦者が手動にてマルチコプター91の運動を制御してもよいがオートパイロットによって、設定した飛行経路Rに沿って自律的にマルチコプター91を飛行させることが好ましい。この場合には、経路設定工程において設定した飛行経路R等に関する情報を、送受信器81,82を介して操作装置40からマルチコプター91の制御部831に入力し、飛行制御プログラムに反映させたうえで、オートパイロットによる制御を行わせる。経路設定工程において、飛行経路R等の飛行条件を詳細に設定しており、しかもビルb等の障害物との接触を避けるよう飛行経路Rを設定しているので、設定した飛行経路R等の飛行条件をオートパイロットによって実行させれば、障害物との衝突のような突発的な事態を避けながら、高精度に、また簡便にマルチコプター91を飛行経路Rに沿って飛行させることができるからである。
ここで、経路設定工程において撮影像I上に設定したウェイポイントP1〜P6を、実際の地面上の地点としてマルチコプター91の制御部831に認識させ、認識した各地点にマルチコプター91を移動させる必要がある。そのために、撮影像I上のウェイポイントP1〜P6の位置を、地上における絶対値としての座標値(緯度および経度)に変換するという処理方法が考えられる。しかし、座標値の管理に利用されるGPS等のGNSS信号には、現在のところ、時刻や季節、電離層の状態、周辺環境等によって、不可避的にずれが存在することが知られており、座標値によってマルチコプター91が通過すべき位置を認識すると、実際にマルチコプター91が飛行する経路にずれが生じてしまうことがある。すると、経路設定工程において障害物を避けるように飛行経路Rを設定しておいたとしても、ずれの影響で、意図したとおり十分に障害物を避けられない等の支障が生じる可能性がある。そこで、撮影像I上に設定したウェイポイントP1〜P6を、絶対的な座標値ではなく、複数のウェイポイントP1〜P6の間の相対的な位置関係によって認識させるようにすればよい。撮影像I上における複数のウェイポイントP1〜P6の相対的な位置関係は、自己完結的な情報として、一意に定まるものであり、最初のウェイポイント(図の例ではウェイポイントP1)さえ正しく通過させれば、その後は、GNSS信号等、外部的な要因による飛行位置のずれの影響を受けずに、各ウェイポイント(P2〜P6)をたどることができる。なお、位置情報として、ウェイポイントP1〜P6間の相対的位置関係のみならず、GNSS情報も補助的に利用し、実際の位置制御の検証に用いてもよい。特に短時間の測定においては、GNSS情報があまり大きく揺らがないため、相対位置の正確さの検証に使うことができる。
さらに、撮影像I上に設定した飛行経路Rを、マルチコプター91が実際に飛行する経路と対応させる際に、撮影像I上でのウェイポイントP1〜P6の位置を、地上における位置に変換して認識させるのではなく、撮影像I上の画像パターンを認識して、実際の地上の構造のパターンと対応付けることが好ましい。画像パターンとは、カメラ30で撮影した画像に写った物体(自然物および人工物)、例えば住宅a1〜a3の屋根や河川c等の形状や色彩、特に形状であり、事前に情報取得工程においてカメラ30で撮影された撮影像Iにおける画像パターンと、飛行工程の最中にカメラ30でリアルタイムに撮影された映像における画像パターンとを照合し、対応付けを行えばよい。
カメラ30においては、レンズの収差や歪み等により、得られた画像中における2点間の距離と、地面等、実際の撮影対象における2点間の距離との関係は、画像の各部で必ずしも同じではない。例えば、画像中のある長さに対応する実際の撮影対象における距離は、画像の中心部よりも周縁部において長くなることが多い。よって、撮影像I上のウェイポイントP1〜P6の位置を地上における位置に正確に変換するためには、個別のカメラ30の特性を考慮した補正を行う必要が生じる。これに対し、画像をパターンとして認識し、画像上のウェイポイントP1〜P6をはじめとする飛行経路R上の任意の点におけるパターンを、実際の地上のパターンと対応付けることで、このような補正を必要とせず、簡便な工程で、設定した飛行経路Rに沿ってマルチコプター91を正確に飛行させる制御が可能となる。このように、画像パターンを位置の基準として用いる手法は、GCP(Ground Control Point)という概念で、地形測量等にも利用されている。なお、より精度の高い位置の制御をマルチコプター91に対して行う観点から、画像パターンに基づく認識と、位置情報の認識の両方を併用して、撮影像I上の飛行経路Rと実際にマルチコプターが飛行する経路との対応付けを行ってもよい。この場合の位置情報として、上記のように、ウェイポイントP1〜P6間の相対的位置関係、さらにはGNSS情報を利用することができる。
以上のように、本実施形態にかかる制御方法においては、航空写真等、事前に作成された既存の情報を用いてマルチコプター91の飛行経路を設定するのではなく、情報取得工程において、その時点での地上の状態を確認したうえで、即時に、経路設定工程において飛行経路Rを定め、飛行工程において、その飛行経路Rに沿って実際の飛行を行う。これにより、上記の例におけるビルb等、その時点で地上に実際に存在し、マルチコプター91の飛行に対して障害となりうる物体を認識し、その物体との接触や衝突を回避するように、飛行経路Rを定め、実際にマルチコプター91を飛行させることができる。
図5に示すように、直前の情報取得工程を経ずに、インターネット等で提供されている航空写真M等、既存の地形情報や地図情報を用いて飛行経路を設定する場合には、その時点での地上の状態が、その航空写真M等によって正確に把握されているとは限らない。例えば、実際には図3のようにビルbが存在するにもかかわらず、航空写真Mが撮影された時点ではそのビルbがまだ建設されていなかったとすれば、図5のように、既存の航空写真Mにおいてはビルbが存在していないことになっている。この航空写真Mをもとに、住宅a1〜a3よりも高い高度に、3つのウェイポイントP1〜P3を通る飛行経路R”を設定したい場合に、P1→P2→P3→P1と、直線的に経路を設定するのが普通である。そして、このように設定した飛行経路R”に従って実際にマルチコプター91を飛行させると、P3→P1の経路の途中に、航空写真Mでは認識されていないビルbが存在することになる。その結果、マルチコプター91の高度がビルbよりも低いと、マルチコプター91がビルbに衝突してしまうことになる。
上記の情報取得工程を含む制御方法おいては、飛行を行う直前の地上の情報に基づいて飛行経路Rを確認することで、このような事態を回避している。特に、上記のように、撮影像I上で設定したウェイポイントP1〜P6と実際の地上における地点を対応させるのに、ウェイポイントP1〜P6の絶対的な座標ではなく、相対的な位置関係を用い、さらには画像パターンの認識によって対応付けを行っていることにより、設定した飛行経路Rに従って正確にマルチコプター91を飛行させることが可能となっている。
マルチコプター91は、周辺の物体までの距離を計測する測距センサをさらに備えてもよく、上記のように、経路設定工程において、撮影像I上で障害物を回避するように飛行経路Rを設定するとともに、飛行工程において、測距センサによって障害物までの距離を常時計測し、障害物との接触が実際に起こらないかをリアルタイムに確認しながらマルチコプター91の飛行を行ってもよい。しかし、上記のように、直前に取得した撮影像Iをもとに飛行経路Rを定めておくことで、このようなリアルタイムでの障害物の検知を行わなくても、十分に高精度に障害物の回避を達成することができる。このように、本実施形態にかかる制御方法を用いることで、測距センサを備えない、あるいは備えていても低性能であるような低廉なマルチコプターを用いる場合にも、障害物等、周囲の物体との位置関係を高精度に規定した飛行を行うことができる。
情報取得工程、経路設定工程、飛行工程の3つの工程を連続的に実施する本実施形態にかかる制御方法は、飛行工程における障害物の回避に限らず、マルチコプター91の飛行を行う時点における実際の地上の状態を把握することが有効な種々の用途に用いることができる。例えば、広い範囲から特定の状態を有する場所を探し出し、その特定の場所に対して何らかの動作を行う必要がある場合に、情報取得工程で広範囲の撮影像Iを撮影し、その撮影像Iの中で特定の状態を有する場所を探し出してから、経路設定工程において、その場所に向かう飛行経路Rを撮影像I上で設定したうえで、飛行工程でその場所に向けてマルチコプター91を飛行させることができる。具体例としては、どこにいるか分からない遭難者を探し、探し出した遭難者がいる場所の周辺の状況を詳しく撮影したり、その場所に物資を投下したりしようとする場合に、広範囲の撮影像Iから遭難者がいる場所の見当をつけたうえで、その場所にマルチコプター91を向かわせることができる。特に、災害の発生等により、地上の状態が短時間で大きく変わってしまったような場合に、本実施形態にかかる制御方法は有用である。
以上、本発明の実施の形態について説明したが、本発明は上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲で種々の改変が可能である。
30 カメラ(撮影部)
40 操作装置
91 マルチコプター(小型無人飛行機)
a1,a2,a3 住宅
b ビル
c 河川
I 撮影像
M 航空写真
R、R’,R” 飛行経路

Claims (5)

  1. 複数の回転翼と、下方に対する画像を撮影できる撮影部と、を有する小型無人飛行機の飛行を制御する方法において、
    前記小型無人飛行機を地上から上昇させ、前記撮影部によって地上の状態を撮影して撮影像を得る情報取得工程と、
    前記撮影像上に、前記小型無人飛行機を飛行させる飛行経路を設定する経路設定工程と、
    前記小型無人飛行機を前記飛行経路に従って飛行させる飛行工程と、を実行することを特徴とする小型無人飛行機の制御方法。
  2. 前記飛行工程は、前記小型無人飛行機が飛行位置を自律的に制御する自律飛行によって行われることを特徴とする請求項1に記載の小型無人飛行機の制御方法。
  3. 前記経路設定工程において、前記飛行経路として、前記小型無人飛行機を通過させる複数の基準点を前記撮影像上に設定し、
    前記飛行工程において、前記小型無人飛行機は、前記複数の基準点の相対的な位置関係に基づいて、飛行を行うことを特徴とする請求項1または2に記載の小型無人飛行機の制御方法。
  4. 前記飛行工程において、前記撮影像上に設定した前記飛行経路と、前記小型無人飛行機が実際に飛行している経路とを、画像パターンの認識によって対応させることを特徴とする請求項1から3のいずれか1項に記載の小型無人飛行機の制御方法。
  5. 前記情報取得工程において、前記小型無人飛行機は、定点にて前記撮影部による撮影を行うことを特徴とする請求項1から4のいずれか1項に記載の小型無人飛行機の制御方法。
JP2015204303A 2015-10-16 2015-10-16 小型無人飛行機の制御方法 Active JP6390013B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2015204303A JP6390013B2 (ja) 2015-10-16 2015-10-16 小型無人飛行機の制御方法
AU2016339451A AU2016339451B2 (en) 2015-10-16 2016-10-07 Method for controlling small-size unmanned aerial vehicle
US15/768,785 US20180305012A1 (en) 2015-10-16 2016-10-07 Method for controlling small-size unmanned aerial vehicle
PCT/JP2016/079915 WO2017065103A1 (ja) 2015-10-16 2016-10-07 小型無人飛行機の制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015204303A JP6390013B2 (ja) 2015-10-16 2015-10-16 小型無人飛行機の制御方法

Publications (3)

Publication Number Publication Date
JP2017076302A true JP2017076302A (ja) 2017-04-20
JP2017076302A5 JP2017076302A5 (ja) 2018-05-24
JP6390013B2 JP6390013B2 (ja) 2018-09-19

Family

ID=58518154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015204303A Active JP6390013B2 (ja) 2015-10-16 2015-10-16 小型無人飛行機の制御方法

Country Status (4)

Country Link
US (1) US20180305012A1 (ja)
JP (1) JP6390013B2 (ja)
AU (1) AU2016339451B2 (ja)
WO (1) WO2017065103A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019008748A (ja) * 2017-06-28 2019-01-17 株式会社クボタ 農業支援システム
WO2019189381A1 (ja) * 2018-03-30 2019-10-03 株式会社ニコン 移動体、制御装置、および制御プログラム
JP2020056696A (ja) * 2018-10-02 2020-04-09 パイオニア株式会社 飛行ルート処理装置、飛行ルート処理方法、及びプログラム
JP6684012B1 (ja) * 2019-10-04 2020-04-22 株式会社トラジェクトリー 情報処理装置および情報処理方法
JP2020106919A (ja) * 2018-12-26 2020-07-09 学校法人立命館 飛翔体の地理座標推定装置、地理座標推定システム、地理座標推定方法、及びコンピュータプログラム
EP3690861A1 (en) 2019-01-29 2020-08-05 Subaru Corporation Flight support system of aircraft, method of supporting flight of aircraft, flight support program of aircraft, and aircraft
JP2021026483A (ja) * 2019-08-05 2021-02-22 株式会社フジタ 複数台の車両の管理装置
JP2021047794A (ja) * 2019-09-20 2021-03-25 株式会社フジタ 複数台の車両の管理システム
JP2021111090A (ja) * 2020-01-09 2021-08-02 三菱電機株式会社 飛行ルート学習装置、飛行ルート決定装置及び飛行装置
WO2022070851A1 (ja) * 2020-09-30 2022-04-07 株式会社Clue 方法、システムおよびプログラム

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11150089B2 (en) * 2015-12-31 2021-10-19 Skydio, Inc. Unmanned aerial vehicle control point selection system
US10825345B2 (en) * 2017-03-09 2020-11-03 Thomas Kenji Sugahara Devices, methods and systems for close proximity identification of unmanned aerial systems
US10387727B2 (en) 2017-09-13 2019-08-20 Wing Aviation Llc Backup navigation system for unmanned aerial vehicles
JP6821220B2 (ja) * 2017-11-28 2021-01-27 株式会社自律制御システム研究所 無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラム
US12033516B1 (en) 2018-09-22 2024-07-09 Pierce Aerospace Incorporated Systems and methods for remote identification of unmanned aircraft systems
US11972009B2 (en) 2018-09-22 2024-04-30 Pierce Aerospace Incorporated Systems and methods of identifying and managing remotely piloted and piloted air traffic
CN112639651A (zh) * 2020-04-27 2021-04-09 深圳市大疆创新科技有限公司 信息处理方法、信息处理装置和可移动设备
JP7184381B2 (ja) * 2020-12-24 2022-12-06 株式会社Acsl 無人航空機、無人航空機の飛行制御装置、無人航空機の飛行制御方法、及びプログラム
CN113791631A (zh) * 2021-09-09 2021-12-14 常州希米智能科技有限公司 一种基于北斗的无人机定位飞行控制方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002211494A (ja) * 2001-01-17 2002-07-31 Todaka Seisakusho:Kk 無人ヘリコプタ用飛行計画装置
JP2009031884A (ja) * 2007-07-25 2009-02-12 Toyota Motor Corp 自律移動体、自律移動体におけるマップ情報作成方法および自律移動体における移動経路特定方法
JP2014040231A (ja) * 2012-07-13 2014-03-06 Honeywell Internatl Inc 自主的な空間飛行計画および仮想空間抑制システム
JP2014063411A (ja) * 2012-09-24 2014-04-10 Casio Comput Co Ltd 遠隔制御システム、制御方法、及び、プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7970532B2 (en) * 2007-05-24 2011-06-28 Honeywell International Inc. Flight path planning to reduce detection of an unmanned aerial vehicle
US20100286859A1 (en) * 2008-11-18 2010-11-11 Honeywell International Inc. Methods for generating a flight plan for an unmanned aerial vehicle based on a predicted camera path

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002211494A (ja) * 2001-01-17 2002-07-31 Todaka Seisakusho:Kk 無人ヘリコプタ用飛行計画装置
JP2009031884A (ja) * 2007-07-25 2009-02-12 Toyota Motor Corp 自律移動体、自律移動体におけるマップ情報作成方法および自律移動体における移動経路特定方法
JP2014040231A (ja) * 2012-07-13 2014-03-06 Honeywell Internatl Inc 自主的な空間飛行計画および仮想空間抑制システム
JP2014063411A (ja) * 2012-09-24 2014-04-10 Casio Comput Co Ltd 遠隔制御システム、制御方法、及び、プログラム

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019008748A (ja) * 2017-06-28 2019-01-17 株式会社クボタ 農業支援システム
WO2019189381A1 (ja) * 2018-03-30 2019-10-03 株式会社ニコン 移動体、制御装置、および制御プログラム
JP2020056696A (ja) * 2018-10-02 2020-04-09 パイオニア株式会社 飛行ルート処理装置、飛行ルート処理方法、及びプログラム
JP2020106919A (ja) * 2018-12-26 2020-07-09 学校法人立命館 飛翔体の地理座標推定装置、地理座標推定システム、地理座標推定方法、及びコンピュータプログラム
JP7345153B2 (ja) 2018-12-26 2023-09-15 学校法人立命館 飛翔体の地理座標推定装置、地理座標推定システム、地理座標推定方法、及びコンピュータプログラム
US11249493B2 (en) 2019-01-29 2022-02-15 Subaru Corporation Flight support system of aircraft, method of supporting flight of aircraft, flight support medium of aircraft, and aircraft
EP3690861A1 (en) 2019-01-29 2020-08-05 Subaru Corporation Flight support system of aircraft, method of supporting flight of aircraft, flight support program of aircraft, and aircraft
JP2021026483A (ja) * 2019-08-05 2021-02-22 株式会社フジタ 複数台の車両の管理装置
JP7377642B2 (ja) 2019-08-05 2023-11-10 株式会社フジタ 複数台の車両の管理装置
JP2021047794A (ja) * 2019-09-20 2021-03-25 株式会社フジタ 複数台の車両の管理システム
JP6684012B1 (ja) * 2019-10-04 2020-04-22 株式会社トラジェクトリー 情報処理装置および情報処理方法
WO2021064982A1 (ja) * 2019-10-04 2021-04-08 株式会社トラジェクトリー 情報処理装置および情報処理方法
JP2021111090A (ja) * 2020-01-09 2021-08-02 三菱電機株式会社 飛行ルート学習装置、飛行ルート決定装置及び飛行装置
JP7384042B2 (ja) 2020-01-09 2023-11-21 三菱電機株式会社 飛行ルート学習装置、飛行ルート決定装置及び飛行装置
WO2022070851A1 (ja) * 2020-09-30 2022-04-07 株式会社Clue 方法、システムおよびプログラム

Also Published As

Publication number Publication date
AU2016339451A1 (en) 2018-05-24
WO2017065103A1 (ja) 2017-04-20
AU2016339451B2 (en) 2019-06-20
JP6390013B2 (ja) 2018-09-19
US20180305012A1 (en) 2018-10-25

Similar Documents

Publication Publication Date Title
JP6390013B2 (ja) 小型無人飛行機の制御方法
US12007761B2 (en) Unmanned aerial vehicle inspection system
US9513635B1 (en) Unmanned aerial vehicle inspection system
US8666571B2 (en) Flight control system for flying object
JP6055274B2 (ja) 航空写真測定方法及び航空写真測定システム
EP2772725B1 (en) Aerial Photographing System
KR101494654B1 (ko) 무인항공기 착륙유도 방법 및 장치와 착륙제어 방법 및 장치
US20180005534A1 (en) Autonomous navigation of an unmanned aerial vehicle
JP2019032234A (ja) 表示装置
JP2023041675A (ja) ドローン作業支援システム及びドローン作業支援方法
WO2021237462A1 (zh) 无人飞行器的限高方法、装置、无人飞行器及存储介质
CN113079698A (zh) 进行航空器的飞行控制的控制装置、及控制方法
WO2020062356A1 (zh) 控制方法、控制装置、无人飞行器的控制终端
KR20220086479A (ko) 항공기 센서 시스템 동기화
JP6973829B2 (ja) 圃場撮影用カメラ
JP7031997B2 (ja) 飛行体システム、飛行体、位置測定方法、プログラム
KR102467855B1 (ko) 자율항법지도를 설정하는 방법 및 무인비행체가 자율항법지도에 기초하여 자율 비행하는 방법 및 이를 구현하는 시스템
JP2022028894A (ja) 光学情報処理装置、光学情報処理方法および光学情報処理用プログラム
Ax et al. Optical position stabilization of an UAV for autonomous landing
CN110892353A (zh) 控制方法、控制装置、无人飞行器的控制终端
JP2019168229A (ja) Uavを用いた標点マーキングシステム
US20220230550A1 (en) 3d localization and mapping systems and methods
EP3331758B1 (en) An autonomous vehicle control system
KR20230126649A (ko) 드론 제어 방법 및 그 장치
Sethuramasamyraja et al. Development of Unmanned Aerial Vehicle Systems for Terrain Mapping and Geospatial Data Management

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180405

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180405

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180405

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180626

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180725

R150 Certificate of patent or registration of utility model

Ref document number: 6390013

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250