JP2021162572A - Position calculation method and information processing system - Google Patents
Position calculation method and information processing system Download PDFInfo
- Publication number
- JP2021162572A JP2021162572A JP2021001173A JP2021001173A JP2021162572A JP 2021162572 A JP2021162572 A JP 2021162572A JP 2021001173 A JP2021001173 A JP 2021001173A JP 2021001173 A JP2021001173 A JP 2021001173A JP 2021162572 A JP2021162572 A JP 2021162572A
- Authority
- JP
- Japan
- Prior art keywords
- user terminal
- dimensional coordinate
- information
- calculation method
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 67
- 230000010365 information processing Effects 0.000 title claims abstract description 16
- 238000000034 method Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 238000007689 inspection Methods 0.000 description 3
- VZSRBBMJRBPUNF-UHFFFAOYSA-N 2-(2,3-dihydro-1H-inden-2-ylamino)-N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]pyrimidine-5-carboxamide Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)C(=O)NCCC(N1CC2=C(CC1)NN=N2)=O VZSRBBMJRBPUNF-UHFFFAOYSA-N 0.000 description 2
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- HMUNWXXNJPVALC-UHFFFAOYSA-N 1-[4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]piperazin-1-yl]-2-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound C1C(CC2=CC=CC=C12)NC1=NC=C(C=N1)N1CCN(CC1)C(CN1CC2=C(CC1)NN=N2)=O HMUNWXXNJPVALC-UHFFFAOYSA-N 0.000 description 1
- YLZOPXRUQYQQID-UHFFFAOYSA-N 3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)-1-[4-[2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidin-5-yl]piperazin-1-yl]propan-1-one Chemical compound N1N=NC=2CN(CCC=21)CCC(=O)N1CCN(CC1)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F YLZOPXRUQYQQID-UHFFFAOYSA-N 0.000 description 1
- MKYBYDHXWVHEJW-UHFFFAOYSA-N N-[1-oxo-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propan-2-yl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C(C(C)NC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 MKYBYDHXWVHEJW-UHFFFAOYSA-N 0.000 description 1
- NIPNSKYNPDTRPC-UHFFFAOYSA-N N-[2-oxo-2-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethyl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C(CNC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 NIPNSKYNPDTRPC-UHFFFAOYSA-N 0.000 description 1
- AFCARXCZXQIEQB-UHFFFAOYSA-N N-[3-oxo-3-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propyl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C(CCNC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 AFCARXCZXQIEQB-UHFFFAOYSA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/10—Simultaneous control of position or course in three dimensions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G5/00—Traffic control systems for aircraft, e.g. air-traffic control [ATC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04Q—SELECTING
- H04Q9/00—Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
Abstract
Description
本発明は、位置算出方法及び情報処理システムに関する。
The present invention relates to a position calculation method and an information processing system.
近年、ドローン(Drone)や無人航空機(UAV:Unmanned Aerial Vehicle)などの飛行体(以下、「飛行体」と総称する)が産業に利用され始めている。こうした中で、特許文献1には、プロポ等の専用装置による飛行体の制御方法が開示されている。
In recent years, air vehicles (hereinafter collectively referred to as "air vehicles") such as drones and unmanned aerial vehicles (UAVs) have begun to be used in industry. Under these circumstances,
しかしながら、上記特許文献1の開示技術では、プロポ等の専用装置による操作は容易ではなく、特に点検等の作業のために飛行体を制御するためには熟練の技術が必要である。
However, in the disclosed technique of
一方で、事前に飛行経路を指定し、当該飛行経路に沿って自動的に飛行体を制御する方法もあるが、現場外で飛行経路を指定することが通常であり、現場の状況に対する柔軟性に欠けるものであった。
On the other hand, there is also a method of designating a flight path in advance and automatically controlling the flying object along the flight path, but it is usual to specify the flight path outside the site, and flexibility to the situation at the site. It was lacking in.
本発明はこのような背景を鑑みてなされたものであり、簡易に現場で飛行体の制御が可能な位置算出方法及び飛行制御方法、情報処理システムを提供することを目的とする。
The present invention has been made in view of such a background, and an object of the present invention is to provide a position calculation method, a flight control method, and an information processing system capable of easily controlling an air vehicle on site.
上記課題を解決するための本発明の主たる発明は、ユーザ端末の画面上で指定された位置の算出方法であって、前記ユーザ端末の画面上で、撮影部により取得された撮影画像上の所定の位置を指定するステップと、前記所定の位置に対応する前記ユーザ端末の画面上の二次元座標位置、及び、前記所定の位置を指定した際の、少なくとも撮影画角、撮影角度、撮影方位、ユーザ端末位置情報を含む撮影状態情報を取得するステップと、前記二次元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次元座標位置から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置への角度及び方位を算出するステップと、少なくとも前記ユーザ端末位置情報が示す三次元座標位置、及び、前記算出された角度及び方位を前記仮想空間内の三次元座標に対応付け、前記ユーザ端末位置情報が示す三次元座標位置から、前記算出された角度及び方位へ仮想的な直線を延ばした際に、前記直線と最初に接触した点データが示す三次元座標位置を、前記ユーザが指定した位置に対応する、前記仮想空間内の仮想指定位置として算出するステップと、前記仮想空間上の三次元座標と、現実空間上の三次元座標との対応関係に基づき、前記仮想指定位置から現実空間上におけるユーザが指定した指定位置の三次元座標位置を算出するステップと、を含む、ことを特徴とする位置算出方法、である。
The main invention of the present invention for solving the above problems is a method of calculating a position designated on the screen of a user terminal, which is a predetermined position on a captured image acquired by a photographing unit on the screen of the user terminal. The step of specifying the position, the two-dimensional coordinate position on the screen of the user terminal corresponding to the predetermined position, and at least the shooting image angle, the shooting angle, and the shooting direction when the predetermined position is specified. Two dimensions on the screen of the user terminal from the step of acquiring the shooting state information including the user terminal position information and the three-dimensional coordinate position indicated by the user terminal position information based on the two-dimensional coordinate position and the shooting state information. The step of calculating the angle and orientation to the three-dimensional coordinate position corresponding to the coordinate position, at least the three-dimensional coordinate position indicated by the user terminal position information, and the calculated angle and orientation are ternary in the virtual space. When a virtual straight line is extended from the three-dimensional coordinate position indicated by the user terminal position information to the calculated angle and orientation in association with the original coordinates, the three-dimensional shape indicated by the point data that first contacts the straight line. The step of calculating the coordinate position as a virtual designated position in the virtual space corresponding to the position specified by the user, and the correspondence between the three-dimensional coordinates in the virtual space and the three-dimensional coordinates in the real space. Based on this, it is a position calculation method including a step of calculating a three-dimensional coordinate position of a designated position designated by a user in a real space from the virtual designated position.
本発明によれば、簡易に現場で飛行体の制御が可能な位置算出方法及び情報処理システムを提供することができる。
According to the present invention, it is possible to provide a position calculation method and an information processing system capable of easily controlling an air vehicle on site.
本発明の実施形態の内容を列記して説明する。本発明の実施の形態による位置算出方法及び情報処理システムは、以下のような構成を備える。
[項目1]
ユーザ端末の画面上で指定された位置の算出方法であって、
前記ユーザ端末の画面上で、撮影部により取得された撮影画像上の所定の位置を指定するステップと、
前記所定の位置に対応する前記ユーザ端末の画面上の二次元座標位置、及び、前記所定の位置を指定した際の、少なくとも撮影画角、撮影角度、撮影方位、ユーザ端末位置情報を含む撮影状態情報を受信するステップと、
前記二次元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次元座標位置から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置への角度及び方位を算出するステップと、
少なくとも前記ユーザ端末位置情報が示す三次元座標位置、及び、前記算出された角度及び方位を仮想空間内の三次元座標に対応付け、前記ユーザ端末位置情報が示す三次元座標位置から、前記算出された角度及び方位へ仮想的な直線を延ばした際に、前記直線と最初に接触した点データが示す三次元座標位置を、前記ユーザが指定した位置に対応する、前記仮想空間内の仮想指定位置として算出するステップと、
前記仮想空間上の三次元座標と、現実空間上の三次元座標との対応関係に基づき、前記仮想指定位置から現実空間上におけるユーザが指定した指定位置の三次元座標位置を算出するステップと、を含む、
ことを特徴とする位置算出方法。
[項目2]
項目1に記載の位置算出方法であって、
前記点データは、仮想空間内の三次元点群データのうちの一つである、
ことを特徴とする位置算出方法。
[項目3]
項目1または2に記載の位置算出方法であって、
前記点データは、飛行体において記憶されている、
ことを特徴とする位置算出方法。
[項目4]
項目1または2に記載の位置算出方法であって、
前記点データは、ユーザ端末において記憶されている、
ことを特徴とする位置算出方法。
[項目5]
項目1ないし4に記載の位置算出方法であって、
前記撮影部は、ユーザ端末に備えられている、
ことを特徴とする位置算出方法。
[項目6]
項目1ないし4に記載の位置算出方法であって、
前記撮影部は、飛行体に備えられている、
ことを特徴とする位置算出方法。
[項目7]
ユーザ端末の画面上で指定された位置を算出する情報処理システムであって、
前記情報処理システムは、撮影部と、指定位置情報取得部と、撮影状態情報受信部と、位置算出部を備え、
前記指定位置情報取得部は、
前記ユーザ端末の画面上で、前記撮影部により取得された撮影画像上のユーザが指定した所定の位置に対応する前記ユーザ端末の画面上の二次元座標位置を取得し、
前記撮影状態情報受信部は、
前記所定の位置を指定した際の、少なくとも撮影画角、撮影角度、撮影方位、ユーザ端末位置情報を含む撮影状態情報を受信し、
前記位置算出部は、
前記二次元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次元座標位置から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置への角度及び方位を算出し、
少なくとも前記ユーザ端末位置情報が示す三次元座標位置、及び、前記算出された角度及び方位を仮想空間内の三次元座標に対応付け、前記ユーザ端末位置情報が示す三次元座標位置から、前記算出された角度及び方位へ仮想的な直線を延ばした際に、前記直線と最初に接触した点データが示す三次元座標位置を、前記ユーザが指定した位置に対応する、前記仮想空間内の仮想指定位置として算出し、
前記仮想空間上の三次元座標と、現実空間上の三次元座標との対応関係に基づき、前記仮想指定位置から現実空間上におけるユーザが指定した指定位置の三次元座標位置を算出する、
ことを特徴とする情報処理システム。
The contents of the embodiments of the present invention will be described in a list. The position calculation method and the information processing system according to the embodiment of the present invention have the following configurations.
[Item 1]
It is a calculation method of the position specified on the screen of the user terminal.
A step of designating a predetermined position on a captured image acquired by the photographing unit on the screen of the user terminal, and
A two-dimensional coordinate position on the screen of the user terminal corresponding to the predetermined position, and a shooting state including at least a shooting angle of view, a shooting angle, a shooting direction, and user terminal position information when the predetermined position is specified. Steps to receive information and
Based on the two-dimensional coordinate position and the shooting state information, the angle and orientation from the three-dimensional coordinate position indicated by the user terminal position information to the three-dimensional coordinate position corresponding to the two-dimensional coordinate position on the screen of the user terminal. And the steps to calculate
At least the three-dimensional coordinate position indicated by the user terminal position information and the calculated angle and orientation are associated with the three-dimensional coordinates in the virtual space, and the calculation is made from the three-dimensional coordinate position indicated by the user terminal position information. When a virtual straight line is extended to the angle and orientation, the three-dimensional coordinate position indicated by the point data that first contacts the straight line corresponds to the position specified by the user, which is the virtual designated position in the virtual space. And the steps to calculate as
Based on the correspondence between the three-dimensional coordinates in the virtual space and the three-dimensional coordinates in the real space, the step of calculating the three-dimensional coordinate position of the user-designated designated position in the real space from the virtual designated position, and including,
A position calculation method characterized by this.
[Item 2]
The position calculation method according to
The point data is one of the three-dimensional point cloud data in the virtual space.
A position calculation method characterized by this.
[Item 3]
The position calculation method according to
The point data is stored in the air vehicle,
A position calculation method characterized by this.
[Item 4]
The position calculation method according to
The point data is stored in the user terminal.
A position calculation method characterized by this.
[Item 5]
The position calculation method according to
The photographing unit is provided in the user terminal.
A position calculation method characterized by this.
[Item 6]
The position calculation method according to
The photographing unit is provided on the flying object.
A position calculation method characterized by this.
[Item 7]
An information processing system that calculates a specified position on the screen of a user terminal.
The information processing system includes a shooting unit, a designated position information acquisition unit, a shooting state information receiving unit, and a position calculation unit.
The designated position information acquisition unit
On the screen of the user terminal, a two-dimensional coordinate position on the screen of the user terminal corresponding to a predetermined position specified by the user on the captured image acquired by the photographing unit is acquired.
The shooting state information receiving unit is
Upon receiving the shooting state information including at least the shooting angle of view, the shooting angle, the shooting direction, and the user terminal position information when the predetermined position is specified,
The position calculation unit
Based on the two-dimensional coordinate position and the shooting state information, the angle and orientation from the three-dimensional coordinate position indicated by the user terminal position information to the three-dimensional coordinate position corresponding to the two-dimensional coordinate position on the screen of the user terminal. Is calculated and
At least the three-dimensional coordinate position indicated by the user terminal position information and the calculated angle and orientation are associated with the three-dimensional coordinates in the virtual space, and the calculation is made from the three-dimensional coordinate position indicated by the user terminal position information. When a virtual straight line is extended to the angle and orientation, the three-dimensional coordinate position indicated by the point data that first contacts the straight line corresponds to the position specified by the user, which is the virtual designated position in the virtual space. Calculated as
Based on the correspondence between the three-dimensional coordinates in the virtual space and the three-dimensional coordinates in the real space, the three-dimensional coordinate position of the user-designated designated position in the real space is calculated from the virtual designated position.
An information processing system characterized by this.
<実施の形態の詳細>
以下、本発明の実施の形態による位置算出方法及び飛行体制御方法、情報処理システムについての実施の形態を説明する。添付図面において、同一または類似の要素には同一または類似の参照符号及び名称が付され、各実施形態の説明において同一または類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。
<Details of the embodiment>
Hereinafter, embodiments of a position calculation method, an air vehicle control method, and an information processing system according to an embodiment of the present invention will be described. In the accompanying drawings, the same or similar elements are given the same or similar reference numerals and names, and duplicate description of the same or similar elements may be omitted in the description of each embodiment. In addition, the features shown in each embodiment can be applied to other embodiments as long as they do not contradict each other.
<構成>
図1に示されるように、本実施の形態における管理システムは、管理サーバ1と、一以上のユーザ端末2と、一以上の飛行体4と、一以上の飛行体格納装置5とを有している。管理サーバ1と、ユーザ端末2と、飛行体4と、飛行体格納装置5は、ネットワークを介して互いに通信可能に接続されている。なお、図示された構成は一例であり、これに限らず、例えば、飛行体格納装置5を有さずに、ユーザにより持ち運びされる構成などでもよい。
<Structure>
As shown in FIG. 1, the management system according to the present embodiment includes a
<管理サーバ1>
図2は、管理サーバ1のハードウェア構成を示す図である。なお、図示された構成は一例であり、これ以外の構成を有していてもよい。
<
FIG. 2 is a diagram showing a hardware configuration of the
図示されるように、管理サーバ1は、複数のユーザ端末2と、飛行体4、飛行体格納装置5と接続され本システムの一部を構成する。管理サーバ1は、例えばワークステーションやパーソナルコンピュータのような汎用コンピュータとしてもよいし、或いはクラウド・コンピューティングによって論理的に実現されてもよい。
As shown in the figure, the
管理サーバ1は、少なくとも、プロセッサ10、メモリ11、ストレージ12、送受信部13、入出力部14等を備え、これらはバス15を通じて相互に電気的に接続される。
The
プロセッサ10は、管理サーバ1全体の動作を制御し、各要素間におけるデータの送受信の制御、及びアプリケーションの実行及び認証処理に必要な情報処理等を行う演算装置である。例えばプロセッサ10はCPU(Central Processing Unit)および/またはGPU(Graphics Processing Unit)であり、ストレージ12に格納されメモリ11に展開された本システムのためのプログラム等を実行して各情報処理を実施する。
The processor 10 is an arithmetic unit that controls the operation of the
メモリ11は、DRAM(Dynamic Random Access Memory)等の揮発性記憶装置で構成される主記憶と、フラッシュメモリやHDD(Hard Disc Drive)等の不揮発性記憶装置で構成される補助記憶と、を含む。メモリ11は、プロセッサ10のワークエリア等として使用され、また、管理サーバ1の起動時に実行されるBIOS(Basic Input / Output System)、及び各種設定情報等を格納する。
The memory 11 includes a main memory composed of a volatile storage device such as a DRAM (Dynamic Random Access Memory) and an auxiliary memory composed of a non-volatile storage device such as a flash memory or an HDD (Hard Disk Drive). .. The memory 11 is used as a work area or the like of the processor 10, and also stores a BIOS (Basic Input / Output System) executed when the
ストレージ12は、アプリケーション・プログラム等の各種プログラムを格納する。各処理に用いられるデータを格納したデータベースがストレージ12に構築されていてもよい。
The storage 12 stores various programs such as application programs. A database storing data used for each process may be built in the storage 12.
送受信部13は、管理サーバ1をネットワークおよびブロックチェーンネットワークに接続する。なお、送受信部13は、Bluetooth(登録商標)及びBLE(Bluetooth Low Energy)の近距離通信インターフェースを備えていてもよい。
The transmission / reception unit 13 connects the
入出力部14は、キーボード・マウス類等の情報入力機器、及びディスプレイ等の出力機器である。
The input / output unit 14 is an information input device such as a keyboard and a mouse, and an output device such as a display.
バス15は、上記各要素に共通に接続され、例えば、アドレス信号、データ信号及び各種制御信号を伝達する。
The bus 15 is commonly connected to each of the above elements and transmits, for example, an address signal, a data signal, and various control signals.
<ユーザ端末2>
図3に示されるユーザ端末2もまた、プロセッサ20、メモリ21、ストレージ22、送受信部23、入出力部24、撮影部26、撮影状態情報取得部27等を備え、これらはバス25を通じて相互に電気的に接続される。各要素の機能は、上述した管理サーバ1と同様に構成することが可能であることから、同様の構成の詳細な説明は省略する。
<
The
撮影部26は、例えば可視光カメラや赤外線カメラであり、撮影画像(例えば、静止画像、動画像等)を取得する。
The photographing unit 26 is, for example, a visible light camera or an infrared camera, and acquires a photographed image (for example, a still image, a moving image, etc.).
<飛行体4>
図4は、飛行体4のハードウェア構成を示すブロック図である。フライトコントローラ41は、プログラマブルプロセッサ(例えば、中央演算処理装置(CPU))などの1つ以上のプロセッサを有することができる。
<
FIG. 4 is a block diagram showing a hardware configuration of the
また、フライトコントローラ41は、メモリ411を有しており、当該メモリにアクセス可能である。メモリ411は、1つ以上のステップを行うためにフライトコントローラが実行可能であるロジック、コード、および/またはプログラム命令を記憶している。また、フライトコントローラ41は、慣性センサ(加速度センサ、ジャイロセンサ)、GPSセンサ、近接センサ(例えば、ライダー)等のセンサ類412を含みうる。
Further, the flight controller 41 has a memory 411 and can access the memory. Memory 411 stores logic, code, and / or program instructions that the flight controller can execute to perform one or more steps. Further, the flight controller 41 may include sensors 412 such as an inertial sensor (accelerometer, gyro sensor), GPS sensor, proximity sensor (for example, rider) and the like.
メモリ411は、例えば、SDカードやランダムアクセスメモリ(RAM)などの分離可能な媒体または外部の記憶装置を含んでいてもよい。撮影部/センサ類42から取得したデータは、メモリ411に直接に伝達されかつ記憶されてもよい。例えば、撮影部等で撮影した静止画・動画データが内蔵メモリ又は外部メモリに記録されてもよいが、これに限らず、撮影部/センサ42または内蔵メモリからネットワークNWを介して、少なくとも管理サーバ1やユーザ端末2、飛行体格納装置5のいずれかに記録されてもよい。撮影部42は飛行体4にジンバル43を介して設置される。
Memory 411 may include, for example, a separable medium such as an SD card or random access memory (RAM) or an external storage device. The data acquired from the photographing unit /
フライトコントローラ41は、飛行体の状態を制御するように構成された図示しない制御モジュールを含んでいる。例えば、制御モジュールは、6自由度(並進運動x、y及びz、並びに回転運動θx、θy及びθz)を有する飛行体の空間的配置、速度、および/または加速度を調整するために、ESC44(Electric Speed Controller)を経由して飛行体の推進機構(モータ45等)を制御する。バッテリー48から給電されるモータ45によりプロペラ46が回転することで飛行体の揚力を生じさせる。制御モジュールは、搭載部、センサ類の状態のうちの1つ以上を制御することができる。
The flight controller 41 includes a control module (not shown) configured to control the state of the flying object. For example, the control module adjusts the spatial placement, velocity, and / or acceleration of an air vehicle with six degrees of freedom (translational motion x, y and z, and rotational motion θ x , θ y and θ z). , ESC44 (Electric Speed Controller) to control the propulsion mechanism (
フライトコントローラ41は、1つ以上の外部のデバイス(例えば、送受信機(プロポ)49、端末、表示装置、または他の遠隔の制御器)からのデータを送信および/または受け取るように構成された送受信部47と通信可能である。送受信機49は、有線通信または無線通信などの任意の適当な通信手段を使用することができる。
The flight controller 41 is configured to transmit and / or receive data from one or more external devices (eg, a transceiver (propo) 49, a terminal, a display device, or another remote control). It is possible to communicate with the unit 47. The
例えば、送受信部47は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信などのうちの1つ以上を利用することができる。
For example, the transmission / reception unit 47 uses one or more of a local area network (LAN), a wide area network (WAN), infrared rays, wireless, WiFi, a point-to-point (P2P) network, a telecommunications network, cloud communication, and the like. can do.
送受信部47は、センサ類42で取得したデータ、フライトコントローラ41が生成した処理結果、所定の制御データ、端末または遠隔の制御器からのユーザコマンドなどのうちの1つ以上を送信および/または受け取ることができる。
The transmission / reception unit 47 transmits and / or receives one or more of the data acquired by the
本実施の形態によるセンサ類42は、慣性センサ(加速度センサ、ジャイロセンサ)、GPSセンサ、近接センサ(例えば、ライダー)、またはビジョン/イメージセンサ(例えば、カメラ)を含み得る。
<各構成に実装される機能>
図5は、本実施の形態における、管理サーバ1、ユーザ端末2、飛行体4に実装される機能を例示したブロック図である。
<Functions implemented in each configuration>
FIG. 5 is a block diagram illustrating the functions implemented in the
まず、管理サーバ1に実装される機能として、プロセッサ10は、フライトミッション生成部110を備えており、ストレージ12は、飛行経路情報記憶部122、フライトログ記憶部124を備えており、送受信部13は、通信部130を備えている。また、フライトミッション生成部110は、飛行経路生成部112を含む。なお、ストレージ12は、フライトミッションを実行するために必要な情報を記憶する記憶部をさらに有していてもよく、例えば、飛行条件に関する情報(例えば、飛行速度やウェイポイント間隔など)や、後述の仮想空間情報(例えば、三次元点群データなど)を記憶する記憶部(不図示)をそれぞれ有していてもよい。
First, as a function implemented in the
フライトミッション生成部110は、フライトミッションを生成する。フライトミッションは、少なくともウェイポイント情報(例えば緯度経度情報及び飛行高度情報を含む)を含む飛行経路などの情報である。飛行経路の設定は、例えば、後述のように、対象物の三次元点群モデル情報と、機体の現在位置と、フライトミッション開始位置、対象物からの距離などを取得して飛行経路生成部112により自動でウェイポイントを算出して設定したりしてもよい。生成された飛行経路に関する情報は、飛行経路情報記憶部(不図示)に記憶されていてもよい。また、フライトミッションは、例えばユーザが指定した作業(例えば、撮像、点検、警備など)を含んでいてもよく、フライトミッション開始位置から上記作業を開始するように飛行体を制御してもよい。各フライトミッションを実行するための詳細な設定は、予め管理サーバ1等に登録されていてもよい。
The flight
なお、飛行経路は、例えば、飛行体格納装置5を有さずに、ユーザ付近にホバリングして待機している位置や、ユーザにより機体を持ち運びされた位置を現在位置として飛行開始位置としたり、飛行終了位置においてユーザが機体を回収したりする構成などでもよいし、管理サーバ1により管理された飛行体格納装置5の情報(例えば、位置情報や格納状態情報、格納機体情報など)を基に、飛行開始位置、途中経由地または飛行終了位置として選択された飛行体格納装置5の位置も含めた飛行経路として生成される構成でもよい。
The flight path may be, for example, a flight start position with the position where the aircraft is hovering and waiting near the user or the position where the aircraft is carried by the user as the current position without having the flight
飛行経路情報記憶部122は、フライトミッション生成部110で生成された飛行体の飛行経路情報を記憶している。フライトログ記憶部124は、例えば、フライトミッションにて設定された飛行経路上にて、飛行体4により取得された情報(例えば、離陸から着陸までに経由した位置の情報、静止画像、動画像、音声その他の情報)を記憶している。
The flight path
通信部130は、ユーザ端末2や、飛行体4、飛行体格納装置5と通信を行う。通信部130は、ユーザ端末2から、フライト依頼を受け付ける受付部としても機能する。
The communication unit 130 communicates with the
次に、ユーザ端末2に実装される機能として、プロセッサ20は、撮影状態情報取得部220、指定位置情報取得部240を備えており、ストレージ22は、撮影状態情報記憶部222を備えており、送受信部23は、通信部230を備えている。また、ストレージ22は、指定位置情報取得部240で取得した指定位置情報を記憶する記憶部(不図示)をさらに有していてもよい。
Next, as a function implemented in the
撮影状態情報取得部220は、例えばGPSやジャイロセンサ、気圧センサ、温度センサなどのセンサ類、端末の撮影部26に関する情報(例えば、撮影画角情報など)を記憶した記憶部(メモリ21やストレージ22の一部であってもよい)などから、撮影画像を取得した際のユーザ端末の撮影画角情報や撮影角度情報、撮影方位情報、ユーザ端末位置情報(例えば、緯度経度情報と高度情報など)などを撮影状態情報として取得する。なお、ユーザ端末位置情報に含まれる高度情報は、上述の気圧センサや温度センサに基づき算出された高度情報や、ユーザに設定させた高度情報でもよいが、例えば、ユーザに設定させた身長情報、または、ユーザの性別に応じた平均的な身長情報から、想定されるユーザ端末位置に応じて所定の高さだけ上下方向にオフセットした値を高度情報としてもよい。
The shooting state information acquisition unit 220 is a storage unit (memory 21 or storage) that stores information (for example, shooting angle of view information) related to sensors such as GPS, gyro sensor, pressure sensor, temperature sensor, and the shooting unit 26 of the terminal. (It may be a part of 22), etc., the shooting angle of view information, shooting angle information, shooting orientation information, user terminal position information (for example, latitude / longitude information and altitude information, etc.) of the user terminal when the shot image is acquired. ) Etc. are acquired as shooting status information. The altitude information included in the user terminal position information may be altitude information calculated based on the above-mentioned barometric pressure sensor or temperature sensor, or altitude information set by the user, but for example, height information set by the user, Alternatively, the altitude information may be a value offset in the vertical direction by a predetermined height according to the assumed position of the user terminal from the average height information according to the gender of the user.
指定位置情報取得部240は、ユーザが指定した画面上の位置(例えば、所定の位置を原点として、画面の幅方向をx軸、画面の高さ方向をy軸として設定されたxy座標位置)を指定位置情報として取得する。ユーザが画面上の位置を指定する方法は、例えば、タッチディスプレイを指でタッチして指定したり、ポインタなどのオブジェクトを操作して指定したり、ユーザ端末2を動かして指定したい位置に画面の特定の位置(例えば、中心)を合わせて決定動作を実行することで指定したりすることにより実現できる。
The designated position information acquisition unit 240 is a position on the screen designated by the user (for example, an xy coordinate position set with a predetermined position as the origin, the width direction of the screen as the x-axis, and the height direction of the screen as the y-axis). Is acquired as the specified position information. The method for the user to specify the position on the screen is, for example, touching the touch display with a finger to specify, operating an object such as a pointer to specify, or moving the
撮影状態情報記憶部222は、図6に示すように、撮影画角情報記憶部2221、撮影角度情報記憶部2222、撮影方位情報記憶部2223、ユーザ端末位置情報記憶部2224を少なくとも含み、対象とする撮影状態情報をそれぞれ記憶する。
As shown in FIG. 6, the shooting state
通信部230は、管理サーバ1や、飛行体4、飛行体格納装置5と通信を行う。
The communication unit 230 communicates with the
次に、飛行体4に実装される機能として、プロセッサ413は、撮影状態情報受信部415と、位置算出部417を備えており、メモリ411は、仮想空間情報記憶部421を備えており、送受信部47は、通信部470を備えている。また、メモリ411は、撮影状態情報受信部415で受信した撮影状態情報を記憶する記憶部(不図示)をさらに有していてもよい。
Next, as a function implemented in the
撮影状態情報受信部415は、ユーザ端末2の撮影状態情報取得部220で取得した撮影状態情報を通信部470を介して受信する。
The shooting state information receiving unit 415 receives the shooting state information acquired by the shooting state information acquisition unit 220 of the
位置算出部417は、少なくともユーザ端末2の撮影状態情報と指定位置情報、仮想空間情報421に記憶される仮想空間情報(例えば三次元点群データ)、飛行体4の現在位置情報(例えばGPSから取得する)に基づき、ユーザ端末2の画面上でユーザが指定した指定位置が、仮想空間または現実空間の何れの位置であるかを算出する。詳細な算出方法については、後述する。
The position calculation unit 417 has at least the shooting state information and the designated position information of the
仮想空間情報記憶部421は、例えばユーザ端末2から撮影可能な範囲の三次元点群データを含む仮想空間情報を記憶する。三次元点群データは、例えばLIDAR(Light Detection and Ranging)やDepthを測定できる撮影部またはセンサにより取得した仮想空間内の三次元座標データであり、事前に飛行して取得したり、ネットワークを介して、例えば管理サーバ1などから必要な範囲のデータを取得してきてもよい。また、事前に飛行体4の現実空間の三次元座標と、仮想空間内の三次元座標の対応付けを行い、これを仮想空間情報記憶部421に記憶しておいてもよい。
The virtual space information storage unit 421 stores virtual space information including three-dimensional point cloud data in a range that can be photographed from, for example, the
なお、本実施の形態においては、飛行体4上のプロセッサ413の機能として、位置算出部417を備えている例を基に説明しているが、これに限らず、例えばユーザ端末2のプロセッサ20や管理サーバ1のプロセッサ10、飛行体格納装置5のプロセッサなどの機能として備え、位置算出に必要な情報を該当プロセッサに読み出して算出するようにしてもよい。これにより、位置算出のための処理負荷を所望のプロセッサに担わせることができる。
In the present embodiment, the function of the processor 413 on the flying
また、ユーザ端末2の撮影部26の撮影画像を基に位置算出及び飛行体を制御しているが、これに代えて、飛行体4の撮影部の撮影画像を基に位置算出及び飛行体を制御するようにしてもよい。この際、ユーザ端末2の撮影部26による撮影画像と同様に、飛行体4の撮影部の撮影画像をユーザ端末2の画面上に表示させることで位置算出を実現してもよい。ユーザ端末2の撮影部26による撮影画像を基にした場合には、ユーザが撮影環境を目視しながら、そこにユーザ端末2の撮影部26を向けて、客観的かつ直感的に位置を指定することで飛行体4を制御することが可能であるが、飛行体4の撮影部の撮影画像を基にした場合には、あたかもユーザが直接動いているかのように、主観的かつ直感的に位置を指定することで飛行体の制御することが可能となる。
Further, the position calculation and the flying object are controlled based on the captured image of the photographing unit 26 of the
<位置算出方法の一例>
図7−10を参照して、本実施形態にかかる位置算出方法について説明する。図7には、本実施形態にかかる位置算出方法のフローチャートが例示されている。図8−10は、本発明の実施の形態にかかる位置算出方法に関する説明の一例を示す図である。また、一例として、飛行体4上のプロセッサ413の機能として、位置算出部417を備え、ユーザ端末2の撮影部26の撮影画像を基に位置算出を行う構成により説明する。
<Example of position calculation method>
The position calculation method according to the present embodiment will be described with reference to FIGS. 7-10. FIG. 7 illustrates a flowchart of the position calculation method according to the present embodiment. FIG. 8-10 is a diagram showing an example of an explanation regarding the position calculation method according to the embodiment of the present invention. Further, as an example, a configuration will be described in which a position calculation unit 417 is provided as a function of the processor 413 on the flying
まず、図8に示されるように、ユーザ端末2の画面上で、撮影部26により取得された撮影画像S上の所定の位置をポインタP等で指定する(SQ101)。
First, as shown in FIG. 8, on the screen of the
次に、飛行体4は、撮影状態情報受信部415により、SQ101においてユーザ端末2の画面上で指定した所定の位置(画面上のxy座標位置)及び所定の位置を指定した際の撮影状態情報(撮影画角、撮影角度、撮影方位、ユーザ端末位置情報)を取得する(SQ102)。
Next, the flying
次に、飛行体4は、位置算出部417により、上述のxy座標位置と撮影状態情報に基づき、ユーザ端末の位置(三次元座標)から、画面上で指定した所定の位置(画面上のxy座標位置)に対応する、少なくとも仮想空間内での位置(三次元座標)への角度及び方位を算出する(SQ103)。
Next, the flying
より具体的には、図9を用いてy軸方向の角度の算出方法について例示する。
More specifically, FIG. 9 will be used to illustrate a method of calculating the angle in the y-axis direction.
まず、撮影部の中心からのずれ幅dyは、画面上のy座標の原点を上端とした場合、画面上のy軸方向の指定位置yから、解像度で決まる高さdhの半値を引いた値の絶対値であり、下記数1の関係が成り立つ。
First, the deviation width d y from the center of the photographing unit is obtained by subtracting the half value of the height d h determined by the resolution from the specified position y in the y-axis direction on the screen when the origin of the y coordinate on the screen is set as the upper end. It is the absolute value of the value, and the relationship of the
次に、撮影部の向きからのずれ角度αhを基に、下記数2の関係が成り立つ。
Next, the following relationship (2) is established based on the deviation angle α h from the direction of the photographing unit.
次に、画角FOVhの半値を基に、下記数3の関係が成り立つ。
Next, based on the half value of the angle of view FOV h , the relationship of the
ここで、例えば、数2に記載の数式に数3に記載の数式を距離distanceを基に代入し、撮影部の向きからのずれ角度αhについて整理すると、下記数4の関係が成り立つ。
Here, for example, by substituting the formula described in
なお、この時、撮影部の向きからのずれ角度αhは、下記数5の関係も満たすものである。
At this time, the deviation angle α h from the direction of the photographing unit also satisfies the relationship of the following equation (5).
最後に、取得可能な値を上記数4に代入していくことで、y軸方向における撮影部の向きからのずれ角度αhが算出される。
Finally, by substituting the acquireable value into the
また、x軸方向の方位も、これと同様の算出方法により、x軸方向における撮影部の向きからのずれ方位αwが算出される。
Further, for the orientation in the x-axis direction, the deviation orientation α w from the orientation of the photographing unit in the x-axis direction is calculated by the same calculation method.
再度図7のフローチャートに戻り、位置算出方法について説明する。次に、飛行体4は、位置算出部417により、ユーザ端末2の位置Ps及びSQ103で算出したずれ角度αh並びにずれ方位αw、飛行体4の位置Pdを仮想空間内の三次元座標に対応付け、ユーザ端末2の位置Psからずれ角度αh並びにずれ方位αwへ直線を延ばした際に、最初に接触した点データD(または点群モデルM)をユーザが指定した位置(または対象物)として算出する(SQ104)。
Returning to the flowchart of FIG. 7, the position calculation method will be described. Next, the flying
より具体的には、図10を用いてユーザが指定した位置の算出方法について例示する。説明を簡略化するために、まずはx軸方向において説明する。
More specifically, the calculation method of the position designated by the user will be illustrated with reference to FIG. In order to simplify the explanation, first, the explanation will be given in the x-axis direction.
図10の左図には、ユーザ端末2の位置Psと上述の数式等により算出したずれ方位αw、画像上で指定した対象物及び指定した位置との関係が示されている。そして、これらの値及び飛行体4の位置Pdは、飛行体4の位置算出部417により、例えば三次元点群データがマッピングされた仮想空間内に適用され、図10の右図のような位置関係となる。
The left figure of FIG. 10 shows the relationship between the position P s of the user terminal 2, the deviation direction α w calculated by the above mathematical formula, the object specified on the image, and the specified position. Then, these values and the position P d of the flying
ここで、ユーザ端末2の位置Psからずれ方位αwの方向に仮想的な直線を延ばし、最初に接触した点データDの位置が、ユーザが指定した位置として算出される。同様に、ずれ角度αhを用いてy軸方向においても同様のことが並行して行われているため、結果として、ユーザが指定した位置に対応する、仮想空間上における点データの三次元座標位置(仮想指定位置)が算出される。
Here, a virtual straight line is extended in the direction of the deviation direction α w from the position P s of the
最後に、飛行体4の位置Pdに基づき、仮想空間上の三次元座標と、現実空間上の三次元座標との対応関係から、現実空間上におけるユーザが指定した位置を算出する(SQ105)。なお、本実施の形態においては、飛行体4が仮想空間情報を有しているために飛行体4の位置Pdに基づき現実空間上の位置を算出しているが、ユーザ端末2が仮想空間情報を有している場合には、必ずしも飛行体4の位置Pdに関する情報は必要ではなく、ユーザ端末2の位置Psのみで足り得る。
Finally, based on the position P d of the flying
これにより、ユーザがユーザ端末2の画面上で指定した位置を、現実空間上の三次元座標位置として算出することが可能となり、これを用いて様々な飛行体の制御が簡易に可能となる。
As a result, the position specified by the user on the screen of the
<飛行体の制御例1−1>
例えば、上述のユーザ端末2の画面上で指定された位置の現実空間上の三次元座標を用いて、その位置へ飛行体4を飛行させるように制御してもよい。当該制御は、飛行体4のプロセッサ413やユーザ端末2のプロセッサ20により実行されてもよいし、管理サーバ1のプロセッサ10により実行されてもよい。これにより、三次元点群データを取得済みの対象物の近くであれば、ユーザ端末2の画面上で指定をするだけで、容易にその位置まで飛行体4を飛行させることが可能になる。
<Aircraft control example 1-1>
For example, the flying
<飛行体の制御例1−2>
上述の飛行体の制御例1−1では、ユーザが指定した位置まで飛行体4を飛行させていたが、それに加えて、その位置を含む対象物の形状を判別し、ユーザが指定した位置(及びそこから所定距離オフセットした位置)から点検等のフライトミッションを実行するようにしてもよい。対象物の形状は、三次元点群データを参照してもよいし、飛行体4に搭載のLIDAR等により対象物の三次元点群データをその場で取得してもよい。そして、例えばユーザが指定した位置をフライトミッション開始位置として、対象物の三次元点群データを基に飛行経路を決定し、フライトミッションを実行するようにしてもよい。これらの処理は、例えば管理サーバ1においても、飛行体4が記憶している仮想空間情報を記憶しておき、飛行経路生成部112において当該飛行経路を生成するようにしてもよい。また、フライトミッションの指定は、ユーザが位置を指定するまでにいずれかのフライトミッションが指定されていればよい。
<Aircraft control example 1-2>
In the above-mentioned control example 1-1 of the flying object, the flying
<飛行体の制御例1−3>
上述の飛行体の制御例1−1、1−2では、ユーザが指定した位置として点データの三次元座標を用いているが、これに代えて、当該点データを含む対象物を判定し、当該対象物の形状を三次元点群データから判別し、当該対象物に対するフライトミッションのための飛行経路を予め生成するようにしてもよい。これにより、ユーザは飛行体を制御する位置の指定を厳密に行わずとも対象物へのフライトミッションを実行することができる。
<Flight object control example 1-3>
In the above-mentioned control examples 1-1 and 1-2 of the flying object, the three-dimensional coordinates of the point data are used as the positions specified by the user. Instead, the object including the point data is determined. The shape of the object may be determined from the three-dimensional point cloud data, and a flight path for a flight mission to the object may be generated in advance. As a result, the user can execute a flight mission to the object without strictly specifying the position for controlling the flying object.
<飛行体の制御例1−4>
例えば、ユーザが指定した位置へ飛行体4を飛行させた後、飛行体4と通信可能な装置と通信を行ってもよい。例えば、当該装置は、飛行体格納装置5であり、飛行体4において取得した情報を飛行体格納装置5を介して管理サーバ1等に送信したり、飛行体格納装置5に格納されるための通信処理を行ったり、飛行体格納装置5内の飛行体と交代または共同してフライトミッションを行うための通信処理を行うなどしてもよい。これらいずれの動作を行うかは、ユーザがユーザ端末2の画面上で位置を指定する際に、ユーザ端末2において動作も指定するように構成してもよい。
<Flying object control example 1-4>
For example, after flying the flying
<飛行体の制御例2−1> 例えば、上述のように、ユーザ端末2の画面上で指定された位置の現実空間上の三次元座標を算出する際に、仮想空間上でユーザ端末位置Psから仮想的な直線を延ばした際に、何れの三次元点群データにも接触しない場合、または、所定距離延ばしても三次元点群データに接触しない場合には、飛行体4は所定のフェイルセーフ動作を行うようにしてもよい。当該フェイルセーフ動作としては、例えばその場または最後にユーザが指定した位置やユーザ端末2の位置まで飛行してホバリングを行ったり、着陸を行ったりしてもよい。また、ユーザ端末2へのアラート表示(例えば、三次元点群データに接触しない旨、位置算出ができない旨の表示)を行ってもよい。
<Aircraft Control Example 2-1> For example, as described above, when calculating the three-dimensional coordinates of the position specified on the screen of the
<飛行体の制御例2−2>
例えば、上述のように、ユーザが指定した位置まで飛行体4を飛行制御している際に、飛行体4に搭載の撮影部またはセンサにより障害物を判定した時には、所定のフェイルセーフ動作(その場で停止してホバリングを行ったり、着陸を行ったりしてもよいし、直前に指定された位置やユーザ端末2の位置まで戻ってもよいし、三次元点群データで障害物の形状が判別可能な場合には、障害物を避けるように飛行を続けてもよい)やアラート表示を実行するようにしてもよい。また、例えば図11に記載されるような位置関係である場合には、ユーザが指定した位置にある対象物自体が障害物となり得るため、同様に所定のフェイルセーフ動作(特に、飛行経路を変更する場合は、三次元点群データを利用して、対象物の周りを周回するルートや上空側を超えるルートを生成するなど)やアラート表示を実行するようにしてもよい。さらに、例えば、飛行体4の搭載の撮影部で色情報を判定し、予め登録された色の割合が高い場合(例えば、芝生や木の葉っぱの方向へ進んでしまった場合を想定して緑色を登録したり、地面等の土の色である茶色を登録したりしてもよい)にも、所定のフェイルセーフ動作やアラート表示を行うようにしてもよい。
<Aircraft control example 2-2>
For example, as described above, when the
<飛行体の制御例2−3>
上述の飛行体4の制御は、主にユーザが指定した位置まで飛行体4を直進させることを想定しているが、例えばユーザが位置を指定した際に、予め取得した三次元点群データによって、ユーザが指定した位置へ直進した場合に、指定位置よりも前に障害物に衝突することが判別可能な場合には、ユーザが位置を指定した段階で、障害物の形状を三次元点群データより判別し、それを避ける飛行経路を生成してもよい。また、アラート表示(例えば、障害物に衝突してしまう旨や飛行経路を変更した旨など)してもよい。
<Flying object control example 2-3>
The above-mentioned control of the
<飛行体の制御例3−1>
上述の実施の形態では、一例として、ユーザ端末2の撮影部26の撮影画像を基に位置算出を行う構成を説明していたが、これに代えて、飛行体4の撮影部の撮影画像を基に位置算出を行うようにしてもよい。この構成は、壁を含む物体を何れの方向でも指定可能な屋内(例えば、居室内や倉庫内、工場内、ビル内など)において特に効果を発揮し、飛行体4の撮影部による視点から主観的かつ直感的に、飛行体4の進行方向を指定することが可能である。なお、例えば、ユーザが指定した位置まで飛行している途中で、飛行体4の撮影部の方向を変えて、ユーザが位置を再指定することで、飛行体4の進行方向を変更するように制御してもよい。
<Flight body control example 3-1>
In the above-described embodiment, as an example, a configuration in which the position is calculated based on the captured image of the photographing unit 26 of the
このように、簡易に現場で飛行体の制御が可能な位置算出方法及び飛行体制御方法、情報処理システムを提供することが可能となる。
In this way, it is possible to provide a position calculation method, an air vehicle control method, and an information processing system that can easily control the air vehicle on site.
上述した実施の形態は、本発明の理解を容易にするための例示に過ぎず、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良することができると共に、本発明にはその均等物が含まれることは言うまでもない。
The above-described embodiments are merely examples for facilitating the understanding of the present invention, and are not intended to limit the interpretation of the present invention. It goes without saying that the present invention can be modified and improved without departing from the spirit thereof, and the present invention includes an equivalent thereof.
1 管理サーバ
2 ユーザ端末
4 飛行体
1 Management server
2 User terminal
4 flying object
Claims (7)
ユーザ端末の画面上で指定された位置の算出方法であって、
前記ユーザ端末の画面上で、撮影部により取得された撮影画像上の所定の位置を指定するステップと、
前記所定の位置に対応する前記ユーザ端末の画面上の二次元座標位置、及び、前記所定の位置を指定した際の、少なくとも撮影画角、撮影角度、撮影方位、ユーザ端末位置情報を含む撮影状態情報を受信するステップと、
前記二次元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次元座標位置から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置への角度及び方位を算出するステップと、
少なくとも前記ユーザ端末位置情報が示す三次元座標位置、及び、前記算出された角度及び方位を仮想空間内の三次元座標に対応付け、前記ユーザ端末位置情報が示す三次元座標位置から、前記算出された角度及び方位へ仮想的な直線を延ばした際に、前記直線と最初に接触した点データが示す三次元座標位置を、前記ユーザが指定した位置に対応する、前記仮想空間内の仮想指定位置として算出するステップと、
前記仮想空間上の三次元座標と、現実空間上の三次元座標との対応関係に基づき、前記仮想指定位置から現実空間上におけるユーザが指定した指定位置の三次元座標位置を算出するステップと、を含む、
ことを特徴とする位置算出方法。
It is a calculation method of the position specified on the screen of the user terminal.
A step of designating a predetermined position on a captured image acquired by the photographing unit on the screen of the user terminal, and
A two-dimensional coordinate position on the screen of the user terminal corresponding to the predetermined position, and a shooting state including at least a shooting angle of view, a shooting angle, a shooting direction, and user terminal position information when the predetermined position is specified. Steps to receive information and
Based on the two-dimensional coordinate position and the shooting state information, the angle and orientation from the three-dimensional coordinate position indicated by the user terminal position information to the three-dimensional coordinate position corresponding to the two-dimensional coordinate position on the screen of the user terminal. And the steps to calculate
At least the three-dimensional coordinate position indicated by the user terminal position information and the calculated angle and orientation are associated with the three-dimensional coordinates in the virtual space, and the calculation is made from the three-dimensional coordinate position indicated by the user terminal position information. When a virtual straight line is extended to the angle and orientation, the three-dimensional coordinate position indicated by the point data that first contacts the straight line corresponds to the position specified by the user, which is the virtual designated position in the virtual space. And the steps to calculate as
Based on the correspondence between the three-dimensional coordinates in the virtual space and the three-dimensional coordinates in the real space, the step of calculating the three-dimensional coordinate position of the user-designated designated position in the real space from the virtual designated position, and including,
A position calculation method characterized by this.
請求項1に記載の位置算出方法であって、
前記点データは、仮想空間内の三次元点群データのうちの一つである、
ことを特徴とする位置算出方法。
The position calculation method according to claim 1.
The point data is one of the three-dimensional point cloud data in the virtual space.
A position calculation method characterized by this.
請求項1または2に記載の位置算出方法であって、
前記点データは、飛行体において記憶されている、
ことを特徴とする位置算出方法。
The position calculation method according to claim 1 or 2.
The point data is stored in the air vehicle,
A position calculation method characterized by this.
請求項1または2に記載の位置算出方法であって、
前記点データは、ユーザ端末において記憶されている、
ことを特徴とする位置算出方法。
The position calculation method according to claim 1 or 2.
The point data is stored in the user terminal.
A position calculation method characterized by this.
請求項1ないし4に記載の位置算出方法であって、
前記撮影部は、ユーザ端末に備えられている、
ことを特徴とする位置算出方法。
The position calculation method according to claims 1 to 4.
The photographing unit is provided in the user terminal.
A position calculation method characterized by this.
請求項1ないし4に記載の位置算出方法であって、
前記撮影部は、飛行体に備えられている、
ことを特徴とする位置算出方法。
The position calculation method according to claims 1 to 4.
The photographing unit is provided on the flying object.
A position calculation method characterized by this.
ユーザ端末の画面上で指定された位置を算出する情報処理システムであって、
前記情報処理システムは、撮影部と、指定位置情報取得部と、撮影状態情報受信部と、位置算出部を備え、
前記指定位置情報取得部は、
前記ユーザ端末の画面上で、前記撮影部により取得された撮影画像上のユーザが指定した所定の位置に対応する前記ユーザ端末の画面上の二次元座標位置を取得し、
前記撮影状態情報受信部は、
前記所定の位置を指定した際の、少なくとも撮影画角、撮影角度、撮影方位、ユーザ端末位置情報を含む撮影状態情報を受信し、
前記位置算出部は、
前記二次元座標位置と前記撮影状態情報に基づき、前記ユーザ端末位置情報が示す三次元座標位置から、前記ユーザ端末の画面上の二次元座標位置に対応する、三次元座標位置への角度及び方位を算出し、
少なくとも前記ユーザ端末位置情報が示す三次元座標位置、及び、前記算出された角度及び方位を仮想空間内の三次元座標に対応付け、前記ユーザ端末位置情報が示す三次元座標位置から、前記算出された角度及び方位へ仮想的な直線を延ばした際に、前記直線と最初に接触した点データが示す三次元座標位置を、前記ユーザが指定した位置に対応する、前記仮想空間内の仮想指定位置として算出し、
前記仮想空間上の三次元座標と、現実空間上の三次元座標との対応関係に基づき、前記仮想指定位置から現実空間上におけるユーザが指定した指定位置の三次元座標位置を算出する、
ことを特徴とする情報処理システム。
An information processing system that calculates a specified position on the screen of a user terminal.
The information processing system includes a shooting unit, a designated position information acquisition unit, a shooting state information receiving unit, and a position calculation unit.
The designated position information acquisition unit
On the screen of the user terminal, a two-dimensional coordinate position on the screen of the user terminal corresponding to a predetermined position specified by the user on the captured image acquired by the photographing unit is acquired.
The shooting state information receiving unit is
Upon receiving the shooting state information including at least the shooting angle of view, the shooting angle, the shooting direction, and the user terminal position information when the predetermined position is specified,
The position calculation unit
Based on the two-dimensional coordinate position and the shooting state information, the angle and orientation from the three-dimensional coordinate position indicated by the user terminal position information to the three-dimensional coordinate position corresponding to the two-dimensional coordinate position on the screen of the user terminal. Is calculated and
At least the three-dimensional coordinate position indicated by the user terminal position information and the calculated angle and orientation are associated with the three-dimensional coordinates in the virtual space, and the calculation is made from the three-dimensional coordinate position indicated by the user terminal position information. When a virtual straight line is extended to the angle and orientation, the three-dimensional coordinate position indicated by the point data that first contacts the straight line corresponds to the position specified by the user, which is the virtual designated position in the virtual space. Calculated as
Based on the correspondence between the three-dimensional coordinates in the virtual space and the three-dimensional coordinates in the real space, the three-dimensional coordinate position of the user-designated designated position in the real space is calculated from the virtual designated position.
An information processing system characterized by this.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021001173A JP2021162572A (en) | 2020-04-03 | 2021-01-07 | Position calculation method and information processing system |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/015433 WO2021199449A1 (en) | 2020-04-03 | 2020-04-03 | Position calculation method and information processing system |
JP2020545756A JP6829513B1 (en) | 2020-04-03 | 2020-04-03 | Position calculation method and information processing system |
JP2021001173A JP2021162572A (en) | 2020-04-03 | 2021-01-07 | Position calculation method and information processing system |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020545756A Division JP6829513B1 (en) | 2020-04-03 | 2020-04-03 | Position calculation method and information processing system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021162572A true JP2021162572A (en) | 2021-10-11 |
Family
ID=74529697
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020545756A Active JP6829513B1 (en) | 2020-04-03 | 2020-04-03 | Position calculation method and information processing system |
JP2021001173A Pending JP2021162572A (en) | 2020-04-03 | 2021-01-07 | Position calculation method and information processing system |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020545756A Active JP6829513B1 (en) | 2020-04-03 | 2020-04-03 | Position calculation method and information processing system |
Country Status (2)
Country | Link |
---|---|
JP (2) | JP6829513B1 (en) |
WO (1) | WO2021199449A1 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7307927B2 (en) | 2021-11-11 | 2023-07-13 | 株式会社TechFirst Leaders | drone control system |
JP7233515B1 (en) | 2021-12-24 | 2023-03-06 | 楽天グループ株式会社 | Information processing system, release location setting method, and program |
JP7170369B1 (en) * | 2022-04-14 | 2022-11-14 | 株式会社センシンロボティクス | Information processing system and mobile body, information processing method, and program |
CN117054047B (en) * | 2023-10-11 | 2023-12-22 | 泰州市银杏舞台机械工程有限公司 | Stage lamp detection method and system based on detection of deflection of lamp inner plate |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6377103B2 (en) * | 2016-07-15 | 2018-08-22 | 株式会社Subaru | Flight path setting device, flight path setting method, and flight path setting program |
CN109564434B (en) * | 2016-08-05 | 2023-07-25 | 深圳市大疆创新科技有限公司 | System and method for positioning a movable object |
JP6866203B2 (en) * | 2017-03-28 | 2021-04-28 | 株式会社ゼンリンデータコム | Drone navigation device, drone navigation method, drone navigation program, search data formation device and search data formation program |
JP7055324B2 (en) * | 2017-08-08 | 2022-04-18 | 株式会社プロドローン | Display device |
-
2020
- 2020-04-03 WO PCT/JP2020/015433 patent/WO2021199449A1/en active Application Filing
- 2020-04-03 JP JP2020545756A patent/JP6829513B1/en active Active
-
2021
- 2021-01-07 JP JP2021001173A patent/JP2021162572A/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JPWO2021199449A1 (en) | 2021-10-07 |
WO2021199449A1 (en) | 2021-10-07 |
JP6829513B1 (en) | 2021-02-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6829513B1 (en) | Position calculation method and information processing system | |
CN108351653B (en) | System and method for UAV flight control | |
CN107209514B (en) | Selective processing of sensor data | |
US20200026720A1 (en) | Construction and update of elevation maps | |
US20210208608A1 (en) | Control method, control apparatus, control terminal for unmanned aerial vehicle | |
JP6661187B1 (en) | Aircraft management server and management system | |
JP6730763B1 (en) | Flight body flight path creation method and management server | |
JP7004374B1 (en) | Movement route generation method and program of moving object, management server, management system | |
JP6730764B1 (en) | Flight route display method and information processing apparatus | |
JP6991525B1 (en) | Waypoint height coordinate setting method and management server, information processing system, program | |
WO2020042186A1 (en) | Control method for movable platform, movable platform, terminal device and system | |
JP2020012774A (en) | Method for measuring building | |
JP6818379B1 (en) | Flight route creation method and management server for aircraft | |
JP2020036163A (en) | Information processing apparatus, photographing control method, program, and recording medium | |
JP2021100234A (en) | Aircraft imaging method and information processing device | |
WO2021064982A1 (en) | Information processing device and information processing method | |
JP2019082837A (en) | Information processing apparatus, flight control instruction method, program, and recording medium | |
WO2020225979A1 (en) | Information processing device, information processing method, program, and information processing system | |
WO2021029065A1 (en) | Management server and management system for flying object | |
JP6934646B1 (en) | Flight restriction area setting method, waypoint setting method and management server, information processing system, program | |
JP6899108B1 (en) | Instrument reading method and management server, instrument reading system, program | |
JP6810498B1 (en) | Flight route creation method and management server for aircraft | |
WO2021124579A1 (en) | Image capturing method of flight vehicle and information processing device | |
JP6810497B1 (en) | Flight route creation method and management server for aircraft | |
JP6978026B1 (en) | Waypoint setting method and waypoint correction method, management server, information processing system, program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230330 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240201 |