JP2023079733A - Mobile device and control method - Google Patents
Mobile device and control method Download PDFInfo
- Publication number
- JP2023079733A JP2023079733A JP2021193336A JP2021193336A JP2023079733A JP 2023079733 A JP2023079733 A JP 2023079733A JP 2021193336 A JP2021193336 A JP 2021193336A JP 2021193336 A JP2021193336 A JP 2021193336A JP 2023079733 A JP2023079733 A JP 2023079733A
- Authority
- JP
- Japan
- Prior art keywords
- drone
- mobile device
- flight
- captured image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 105
- 238000003384 imaging method Methods 0.000 claims abstract description 60
- 238000001514 detection method Methods 0.000 claims abstract description 18
- 238000004891 communication Methods 0.000 claims description 50
- 230000033001 locomotion Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 description 95
- 238000010586 diagram Methods 0.000 description 35
- 230000010006 flight Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 3
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006837 decompression Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
Images
Abstract
Description
本発明は、移動装置（ドローンなど）および当該移動装置の制御方法に関するものである。 The present invention relates to a mobile device (such as a drone) and a control method for the mobile device.
特許文献１には、無人航空機の移動速度を利用する場所に応じて抑制する方法が記載されている。特許文献２には、過去と現在の空撮画像を比較して対象物の劣化状態を診断する際に、診断の効率または精度を高める方法が記載されている。
しかしながら、特許文献１および２に記載の方法では、再撮影を行うか否かの判定を移動装置（ドローンなど）でリアルタイムに判定することまではできないという課題があった。
However, the methods described in
そこで、本発明は、再撮影を行うか否かの判定を移動装置でリアルタイムに判定できるようにすることを目的とする。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to enable a mobile device to determine in real time whether or not to perform re-imaging.
本発明に係る移動装置は、撮像部と、位置、高度および飛行姿勢を検出する検出部とを有し、飛行中に検出された位置、高度および飛行姿勢を外部装置に送信し、前記外部装置が前記外部装置に送信された位置、高度および飛行姿勢に基づいて選択した過去の撮像画像を前記外部装置から受信し、前記外部装置から受信された過去の撮像画像と現在の撮像画像との比較結果に基づき、再撮影を行うか否かの判定を行う。 A mobile device according to the present invention includes an imaging unit and a detection unit that detects a position, altitude, and flight attitude, transmits the position, altitude, and flight attitude detected during flight to an external device, receives from the external device a past captured image selected based on the position, altitude and flight attitude transmitted to the external device, and compares the past captured image received from the external device with the current captured image Based on the result, it is determined whether or not to perform re-imaging.
本発明によれば、再撮影を行うか否かの判定を移動装置でリアルタイムに判定することができる。 According to the present invention, it is possible to determine in real time whether or not to perform re-imaging by the mobile device.
以下、図面を参照して本発明の実施形態を説明する。ただし、本発明は以下の実施形態に限定されるものではない。 Embodiments of the present invention will be described below with reference to the drawings. However, the present invention is not limited to the following embodiments.
［実施形態１］
図１は、実施形態１におけるドローン制御システムの構成要素を説明するための図である。図１に示すように、実施形態１におけるドローン制御システムは、移動装置であるドローン１と、制御装置であるドローンコントローラ２、５Ｇ基地局３、外部装置であるサーバー／クラウド４とを有する。
[Embodiment 1]
FIG. 1 is a diagram for explaining components of a drone control system according to
手動にてドローン１を制御する場合には、ドローンコントローラ２により、操作者の指示により、ドローン１の飛行制御、並びに、撮影制御を行う。ドローン１を自動で走行する場合には、走行プログラムをドローン１に事前に設定しておいて、ドローン１は、ドローンコントローラ２からの起動が選択された場合に、ドローン１は、自動で走行する。ここで、ドローン１のカメラでの画像撮影は、ドローン１での判定で自動で行うケース、あるいは、ドローンコントローラ２からの操作者の指示により画像を撮影するケースがある。サーバー／クラウド４には、以前に、ドローン１で撮影した情報が格納されている。サーバー／クラウド４に格納されている情報は、５Ｇ基地局３を介して、ドロー１、あるいは、ドローンコントローラ２に高速大容量の伝送が実行される。
When the
図２は、ドローン制御システムの制御フローを説明するための図である。図２には、ドローンコントローラ２からの制御を含んだドローン１、５Ｇ基地局３、サーバー／クラウド４での流れを説明する。
FIG. 2 is a diagram for explaining the control flow of the drone control system. FIG. 2 illustrates the flow in the
ドローン１は、飛行ルートを事前に入力し、ＧＰＳセンサを含む位置検出部、高度検出部、飛行姿勢検出部、撮像部、画像比較部、通知部、撮影情報記憶部を有する。サーバー／クラウド４は、ドローン１のＧＰＳセンサの位置、高度および飛行姿勢から過去の飛行時の撮像画像を取り出す。ドローン１は、飛行ルートに従い、飛行中に、位置、高度および飛行姿勢に対応して撮影を行うと共に、位置、高度および飛行姿勢を５Ｇ通信（５Ｇ基地局３を介した通信）を用いて、サーバー／クラウド４に指定することができる。ドローン１はさらに、現在の撮像画像の位置、高度および飛行姿勢に対応する過去の撮像画像をサーバー／クラウド４から５Ｇ通信（５Ｇ基地局３を介した通信）を用いて受信し、現在の撮像画像と過去の撮像画像との違いを判定する。ドローン１は、現在の撮像画像と過去の撮像画像との違いを判定する。そして、ドローン１は、現在の撮像画像と過去の撮像画像との違いを検出した場合にはアラームを通知する。ドローン１はさらに、現在の撮像画像と過去の撮像画像との違いを検出していない場合には、ドローン１での撮影を継続し、現在の撮像画像と過去の撮像画像との違いを検出した場合には、ドローン１での念入りの撮影を行う。念入りの撮影とは、複数枚の注目画像を複数枚、角度を変えて撮影することである。
The
現在の撮像画像の位置、高度および飛行姿勢に対応する過去の撮像画像は、高精細な画像であるので、５Ｇ通信（５Ｇ基地局３を介した通信）を用いての通信は有効である。５Ｇ通信では、下りの速度が４Ｇに比べて、かなり早いので、遅延の少ない制御が可能になった。 Since the past captured images corresponding to the position, altitude, and flight attitude of the current captured image are high-definition images, communication using 5G communication (communication via the 5G base station 3) is effective. In 5G communication, the downlink speed is considerably faster than that of 4G, so control with less delay has become possible.
再撮影を行う場合は、再撮影が正常に完了するまで、再撮影を行うべき撮影位置またはその近傍から移動しないようにドローン１の位置、高度および飛行姿勢が維持されるようにドローン１の飛行状態を制御する。すなわち、再撮影を行うべき撮影位置またはその近傍から移動しないとは、撮影画角が所定値以上ズレないようにする。そして、再撮影を行う場合は、再撮影が正常に完了するまで、少なくとも次の撮影位置まで移動しない。
In the case of re-shooting, the
再撮影は、再撮影を行うか否かの判定、再撮影、再撮影時の飛行状態制御、次の撮影位置の移動制御の４つの一連の動作を、リアルタイムに順次を行うことである。 Re-imaging is to sequentially perform a series of four operations in real time: determination of whether or not re-imaging is to be performed, re-imaging, flight state control at the time of re-imaging, and movement control of the next imaging position.
ドローン１は、飛行ルートに基づいて、飛行し、撮影をしながら、以前に撮影した画像をサーバー／クラウド４から５Ｇ通信で受信して、これらの画像を比較する。
While the
図３および図４は、ドローン１の構成要素を説明するためのブロック図である。
3 and 4 are block diagrams for explaining the components of the
図３において、１０２は、記憶媒体であり、ドローン１で撮影した動画、静止画がフォーマット化されて格納される。
In FIG. 3, 102 is a storage medium in which the moving images and still images taken by the
１０３は、センサであり、撮影したときの画像を光信号から電気信号に変換して、さらに、この情報をアナログ情報からデジタル情報に変換して出力するものである。
A
１０４は、信号処理部であり、センサで読み取ったデジタル情報に対して、デバイスの補正をして出力するものである。
A
１０５は、センサ処理部であり、センサから情報を読み出すためのライン管理情報、センサがテータを出力するタイミング等を作成して、センサ１０３に入力する。
A
１０６は、操作部である。ドローン１は、飛行ルート、あるいは、撮影ポイントを事前に設定する。あるいは、ドローン１への一般的な設定を行う。このような設定を操作部１０６によって行われる。
106 is an operation unit. The
１０７は、無線通信部であり、ドローンコントローラ２との通信、サーバー／クラウド４との通信を実行する場合にこの無線通信部を使用する。ドローン１は、サーバー／クラウド４で撮影した画像を受信したり、ドローン１で撮影した画像をドローンコントローラ２に送信することも行う。
A
１０８は、ジンバルであり、ドローン１で撮影する場合などの振れを補正するものである。
１０９は、ドローン１に設定する場合に設定された情報を表示したり、ドローン１で撮影された画像などを表示したりする表示部である。
A
１１０は、ドローン１内の画像センサからのデータは、ＲＡＷデータを現像処理後、圧縮してＪＰＥＧ画像ファイルやＨＥＩＦ画像ファイルにする、あるいは、ＲＡＷデータのまま圧縮してＲＡＷ画像ファイルにする圧縮伸張部である。圧縮伸張部１１０は、ＲＡＷ画像ファイルをカメラ内で現像処理してＪＰＥＧ画像ファイルやＨＥＩＦ画像ファイルを生成する場合、圧縮されている情報を伸張してＲＡＷデータに戻す処理を行う。圧縮伸張部１１０は、静止画だけでなく、動画の圧縮、伸張も実行する。
110 compresses the data from the image sensor in the
１１１は、センサであり、加速度センサ・ジャイロセンサがあり、ドローン１の状態を認識することなどに使用される。
A
１１２は、モーターＮで、例えば、Ｎは、１から４であり、４つのモーターである。 112 is motor N, for example N is 1 to 4, 4 motors.
１１３は、プロペラＮで、例えば、Ｎは、１から４であり、４枚のプロペラである。これらの４枚のプロペラは、１１２のモータＮによって、制御される。 113 is a propeller N, for example, N is 1 to 4, which is a 4-plate propeller. These four propellers are controlled by a 112 motor N.
１１４は、ドローン１の飛行位置、高度および飛行姿勢を検出する検出部である。これらの情報は、ドローンコントローラ２に送られ、ドローン１を制御している人がドローン１の飛行の位置、高度および飛行姿勢を認識できる。検出部１１４で検出した情報は、信号線１５０に出力されて、後述するＣＰＵ１１９でこれらの情報を取り込む。
A
１１５は、ドローン１が撮影している画像とドローン１が位置、高度および飛行姿勢をサーバー／クラウド４に送り、サーバー／クラウド４から位置、高度および飛行姿勢に基づいた過去の高精細な画像を比較する画像比較部である。画像が異なる部分を信号線１５０に出力される。
115 sends the image taken by the
１１６は、ドローン１を飛行する場合などに使用するバッテリである。ドローン１は、電源の状態を検出している。また、電源スイッチがオフの状態では、電源ボタンの押下のみを検出する。そして、電源ボタンの押下があると、ドローン１は、全体に電源を供給する。
116 is a battery used when the
１１７は、センサで読み取り信号処理した情報を入力して、画像処理された情報を信号線１５０に出力する画像処理部である。
An
１１９は、後述するプログラムメモリ１１９上の制御プログラムに基づいて、以下に示す制御を実行するＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。ＣＰＵ１１９は、表示制御部を兼ねており、表示部１０９に表示する撮像画像および情報を制御する。ＣＰＵ１１９はさらに、フライトコントローラとして機能する。
プログラムメモリ１２０は、制御を実行するためのプログラムが格納されている。
The
データメモリ１２１は、ドローン１の飛行設定、ドローン１のカメラ機能の設定条件を格納したり、撮影した静止画、動画、さらには、静止画、動画の属性情報などを格納するためのデータメモリである。
The
図４において、１２２は、撮影レンズ（レンズユニット）である。撮影レンズ（レンズユニット）は、固定１群レンズ１２３、ズームレンズ１２４、絞り１２７、固定３群レンズ１３０、フォーカスレンズ１３１、ズームモーター１２５、絞りモーター１２８、およびフォーカスモータ１３２を有する。固定１群レンズ１２３、ズームレンズ１２８、絞り１２７、固定３群レンズ１３０、フォーカスレン１３１は撮影光学系を構成する。なお、便宜上レンズ１２３、１２４、１３０、１３１は、１枚のレンズとして図示しているが、それぞれ複数のレンズで構成されてもよい。また、撮影レンズ１２２は、着脱可能な交換レンズとして構成されてもよい。
In FIG. 4, 122 is a photographing lens (lens unit). The taking lens (lens unit) has a fixed
絞り制御部１２９は、絞り１２７を駆動する絞りモータ１２８の動作を制御し、絞り１２７の開口径を変更する。
A
ズーム制御部１２６は、ズームレンズ１２４を駆動するズームモータ１２５の動作を制御し、撮影レンズ１２２の焦点距離（画角）を変更する。
A
フォーカス制御部１３３は、センサ１０３から得られる１対の焦点検出用信号（Ａ像およびＢ像）の位相差に基づいて撮影レンズ１２２のデフォーカス量およびデフォーカス方角を算出する。そしてフォーカス制御部１３３は、デフォーカス量およびデフォーカス方角をフォーカスモータ１３２の駆動量および駆動方角に変換する。この駆動量および駆動方角に基づいてフォーカス制御部１３３はフォーカスモータ１３２の動作を制御し、フォーカスレンズ１３１を駆動することにより、撮影レンズ１２２の焦点を制御する。このように、フォーカス制御部１３３は位相差検出方式の自動焦点（ＡＦ）を行う。なお、フォーカス制御部１３３は、センサ１０３から得られる画像信号が得られるコントラスト評価値に基づくコントラスト検出方式のＡＦを実行してもよい。
The
図５は、サーバー／クラウド４の構成要素を説明するためのブロック図である。
FIG. 5 is a block diagram for explaining the components of the server/
５０２は、入力部である。過去の撮影情報などをサーバー／クラウド４が取り込むことを示している。
502 is an input unit. It shows that the server/
５０３（基地局）は、ドローン１、あるいは、ドローンコントローラ２と無線で通信を行い、サーバー／クラウド４から画像をドローン１、あるいは、ドローンコントローラ２に画像を送る。
A
５０４は、ドローン１で撮影している画像を検出する撮像画像検出部である。検出部５０４は、例えば、ドローン１から送られる飛行位置、高度および飛行姿勢を受信して、ドローン１で撮影している画像を検出する。
A captured
５０５は、画像読み出しアドレス検出部であり、過去の飛行フライトの画像を読み出す場合にこのアドレスからの読み出しを行う。
５０６は、ドローン１が飛行している位置、高度および飛行姿勢を受信する受信部である。位置、高度および飛行姿勢は、信号線５１５に出力されて、後述するＣＰＵ５１１で位置、高度および飛行姿勢を取り込む。
A receiving
５０７は、過去の飛行情報記憶部であり、ドローン１などから位置、高度および飛行姿勢が指定されると、この位置、高度および飛行姿勢に基づいた情報を出力する。
A past flight
５０８は、過去の飛行情報を記憶する記憶部であり、信号線４１５を使用して、書き込んだり、読み出したりする。 A storage unit 508 stores past flight information, which is written and read using a signal line 415 .
５１０は、表示部であり、サーバー／クラウド４への設定をする場合に表示したり、ドローン１で撮影した画像を表示する場合などに使用する。
A
５１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、後述するプログラムメモリ５１２上の制御プログラムに基づいて、以下に示す制御を実行する中央演算処理装置である。
プログラムメモリ５１２は、制御を実行するためのプログラムが格納されている。
A
データメモリ５１３は、過去にドローン１が撮影した画像、そのメタデータなどを格納するためのデータメモリである。
The
図６は、ドローンコントローラ２の構成要素を説明するためのブロック図である。
FIG. 6 is a block diagram for explaining the components of the
図６おいて、ドローンコントローラ２は、ドローン１の飛行をコントロールしたり、ドローン１からの画像を受信して、表示するなどの制御を実行する。
In FIG. 6, the
６０１は、操作部入力部である。ドローン１は、飛行ルート、あるいは、撮影ポイントをドローンコントローラ２から事前に設定する。あるいは、ドローンコントローラ２への一般的な設定を行う。
601 is an operation unit input unit. The
６０２は、無線通信部であり、ドローン１との通信、サーバー／クラウド４との通信を実行する場合にこの無線通信部を使用する。ドローンコントローラ２は、サーバー／クラウド４で過去に撮影された画像を受信したり、ドローン１で撮影した画像をドローンコントローラ２に送信することも行う。
A
６０３は、制御スティックであり、ドローン１で撮影する場合などにおいてドローン１の飛行を制御するものであり、ドローン１の遠隔制御をすることである。
A
６０４は、操作部出力部であり、ドローンコントローラ２に設定する場合に設定された情報を表示したり、ドローン１で撮影した情報などを受信して表示する表示部などがある。
６０５は、ドローン１をホームポジションに戻るように指示するリターンホームボタンである。
605 is a return home button for instructing the
６０６は、ドローン１での撮影を指示するボタンである。
A
６０７は、ドローン１から送られる信号を受信して、ドローン１の飛行位置、高度および飛行姿勢を受信する受信部である。
A receiving
６０８は、ドローンコントローラ２を外に持ち出して、ドローン１を飛行する場合などに使用する電源管理部である。ドローンコントローラ２は、電源の状態を検出している。また、電源スイッチがオフの状態では、電源ボタン６０９の押下のみを検出する。そして、電源ボタンの押下があると、ドローンコントローラ２は、ドローンコントローラ２の構成要素に電力を供給する。
A
６１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、後述するプログラムメモリ６１１上の制御プログラムに基づいて、以下に示す制御を実行する中央演算処理装置である。また、表示制御部を兼ねており、表示部も兼ねている操作部６０４に表示する情報を制御する。
プログラムメモリ６１１は、制御を実行するためのプログラムが格納されている。
A
データメモリ６１２は、ドローンコントローラ２の設置情報を格納したり、ドローン１の飛行設定、ドローン１のカメラ機能の設定条件を格納したりするためのデータメモリである。
The
６１３は、記憶媒体であり、ドローン１、あるいは、サーバー／クラウド４から送られた動画、静止画を格納する。
A
図７～図１１は、ドローン１の制御フローを説明するための図である。図１２～図１３はサーバー／クラウド４の制御フローを説明するための図である。
7 to 11 are diagrams for explaining the control flow of the
手動にてドローン１を制御する場合には、ドローンコントローラ２により、操作者の指示により、ドローン１の飛行制御、並びに、撮影制御を行う。ドローン１を自動で走行する場合には、走行プログラムをドローン１に事前に設定しておいて、ドローン１は、ドローンコントローラ２からの起動が選択された場合に、ドローン１は、自動で走行する。ここで、ドローン１のカメラでの撮影は、ドローン１のカメラの判定で自動で行うケース、あるいは、ドローンコントローラ２からの操作者の指示により画像を撮影するケースがある。サーバー／クラウド４には、以前に、ドローン１で撮影した情報が格納されている。サーバー／クラウド４に格納されている情報は、５Ｇ基地局３を介して、ドロー１、あるいは、ドローンコントローラ２に高速大容量の伝送が実行される。
When the
実施形態１においてのポイントは、再撮影を行うか否かの判定は、ドローン１がリアルタイムに行い、再撮影を行うか否かの判定は、クラウドからリアルタイムに取得した過去の撮像画像と、ドローン１で撮像した画像とを用いて行うことである。
The point in the first embodiment is that the
また、再撮影を行う場合は、再撮影が正常に完了するまで、再撮影を行うべき撮影位置またはその近傍から移動しないように、ドローン１の位置、高度および飛行姿勢が維持されるようにドローン１の飛行状態を制御することである。ここで、その近傍から移動しないとは、撮影画角が所定値以上ズレないようにすることである。さらに、少なくとも次の撮影位置まで移動しないことである。例えば、再撮影を行うか否かの判定（Ｓ１１８）、再撮影（Ｓ１１９）、再撮影時の飛行状態制御（Ｓ１１４）、次の撮影位置の移動制御（Ｓ１２６）の４つの一連の動作を、リアルタイムに順次を行う制御を実行する。これらにより、再撮影が正常に完了するまで、次の撮影位置に移動しないように制御することができる。位置、高度および飛行姿勢が維持されるような制御は、ドローン１だからこそ可能であり、このような制御にはドローン１の無駄な移動制御（Ｕターン移動など）が抑制できるというメリットがある。
Also, when performing re-shooting, the position, altitude, and flight attitude of the
図７のＳ１０１では、初期化処理を行う。Ｓ１０２では、ドローン１の操作部１０６により、飛行ルートの登録が選択されたか否かが判定される。飛行ルートの登録が選択されると、Ｓ１０３に進み、飛行ルートの登録が選択されていないとＳ１０９に進み、その他の処理を行う。
In S101 of FIG. 7, an initialization process is performed. In S102, it is determined whether or not flight route registration has been selected by the
Ｓ１０３では、飛行ルートに基づく飛行を記憶する。 In S103, the flight based on the flight route is stored.
Ｓ１０４では、飛行ルートに基づく飛行が選択されたか否かが判定される。飛行ルートに基づく飛行が選択されるとＳ１０５に進み、飛行ルートに基づく飛行が選択されていないとＳ１０２に進む。 At S104, it is determined whether or not flight based on the flight route has been selected. If the flight based on the flight route is selected, the process proceeds to S105, and if the flight based on the flight route is not selected, the process proceeds to S102.
Ｓ１０５では、現在の位置を鑑み、適切な飛行ルートの情報が記憶されているか否かが判定される。現在の位置を鑑み、適切な飛行ルートの情報が記憶されているとＳ１０６に進み、現在の位置を鑑み、適切な飛行ルートの情報が記憶されていないとＳ１０８に進む。 In S105, it is determined whether or not appropriate flight route information is stored in view of the current position. If appropriate flight route information is stored in view of the current position, the process proceeds to S106, and if appropriate flight route information is not stored in view of the current position, the process proceeds to S108.
Ｓ１０６では、飛行ルートを飛行した場合にバッテリはあるか否かが判定される。飛行ルートを飛行した場合にバッテリはあれば、Ｓ１１３に進み、飛行ルートを飛行した場合にバッテリは無くなる状況であるとＳ１０７に進む。 In S106, it is determined whether or not there is a battery when the flight route is flown. If there is a battery when the flight route is flown, the process proceeds to S113, and when the battery runs out when the flight route is flown, the process proceeds to S107.
Ｓ１０７では、手持ちの充電が終了しているバッテリに交換することを促す情報を表示部１０９に表示する。
In S107, information is displayed on the
Ｓ１０８では、飛行ルートの設定が必要であることを示す情報を表示部１０９に表示する。
In S108, the
図８のＳ１１０では、充電済みのバッテリはあるか否かが判定される。充電済みのバッテリはあれば、Ｓ１１１に進み、充電済みのバッテリがなければ、Ｓ１１５に進む。 In S110 of FIG. 8, it is determined whether or not there is a charged battery. If there is a charged battery, the process proceeds to S111, and if there is no charged battery, the process proceeds to S115.
Ｓ１１１においては、充電済みのバッテリへの交換は終了したか否かが判定される。充電済みのバッテリへの交換は終了するとＳ１１２に進み、充電済みのバッテリへの交換は終了していないとＳ１１１に進む。 In S111, it is determined whether or not the replacement with a charged battery has been completed. If the replacement with the charged battery has been completed, the process proceeds to S112, and if the replacement with the charged battery has not been completed, the process proceeds to S111.
Ｓ１１２では、飛行ルートにおけるバッテリ容量はあるか否かが判定される。飛行ルートにおけるバッテリ容量があるとＳ１１３に進み、飛行ルートにおけるバッテリ容量がないとＳ１１５に進む。 In S112, it is determined whether or not there is battery capacity on the flight route. If there is battery capacity on the flight route, the process proceeds to S113, and if there is no battery capacity on the flight route, the process proceeds to S115.
Ｓ１１３では、ドローン１は、飛行ルートに基づく飛行を開始する。位置、高度および飛行姿勢を５Ｇ通信を介して、サーバー／クラウド４に送る（位置情報通知）。これにより、サーバー／クラウド４に過去の撮像画像の送信を依頼する。
In S113, the
Ｓ１１４では、ドローン１は、ドローン１の位置、高度および飛行姿勢が維持されるようにドローン１の飛行状態を制御する。
In S114, the
Ｓ１１５では、ドローン１は、サーバー／クラウド４から送られる飛行の位置、高度および飛行姿勢に基づいた過去の高精細な画像を５Ｇ通信を介して受信する。
At S115, the
Ｓ１１６では、「飛行ルートを切り替えますか？」を示す情報を表示部１０９に表示する。
In S116, the
図９のＳ１１７では、ドローン１で撮影している画像とサーバー／クラウド４から５Ｇ回線を介して受信した画像を比較する。
In S117 of FIG. 9, the image captured by the
Ｓ１１８では、Ｓ１１７において画像を比較した結果が異なるか否かが判定される。Ｓ１１７において画像を比較した結果が異なるとＳ１１９に進み、Ｓ１１７において画像を比較した結果が同じであるとＳ１２３に進む。 In S118, it is determined whether or not the results of comparing the images in S117 are different. If the result of comparing the images in S117 is different, the process proceeds to S119, and if the result of comparing the images in S117 is the same, the process proceeds to S123.
Ｓ１１９では、ドローン１は、自身のエッジドローン１で、画像の異なっている箇所、並びに周辺を飛行して撮影する（再撮影）。
In S119, the
Ｓ１２０では、Ｓ１１７において画像を比較した結果が異なっている周辺の情報をドローンコントローラ２にも送る。
In S120, the
Ｓ１２１では、飛行の工程は終了したか否かが判定される。飛行の工程は終了するとＳ１２２に進み、飛行の工程は終了していないとＳ１１３に進む。 At S121, it is determined whether or not the flight process has ended. If the flight process is completed, the process proceeds to S122, and if the flight process is not completed, the process proceeds to S113.
Ｓ１２２では、再撮影にて、前回の撮影との異なる点を明確にできる必要な情報を記憶する。 In S122, necessary information is stored that can clarify points of difference from the previous photographing in the re-photographing.
図１０のＳ１２３では、飛行の工程は終了したか否かが判定される。飛行の工程は終了するとＳ１２４に進み、飛行の工程は終了していないとＳ１２６に進む。 In S123 of FIG. 10, it is determined whether or not the flight process has ended. If the flight process is completed, the process proceeds to S124, and if the flight process is not completed, the process proceeds to S126.
Ｓ１２４では、ドローン１は、飛行工程が終了したことをサーバー／クラウド４、ドローンコントローラ２に通知する。
At S124, the
Ｓ１２５では、ドローン１は、再撮影にて、前回の撮影との異なる点を明確にできる必要な情報を記憶する。この情報をサーバー／クラウド４、ドローンコントローラ２に送る。
In S125, the
Ｓ１２６では、ドローン１は、飛行ルートに基づき、位置、高度、飛行姿勢を移動する。次の撮影位置への移動制御を行う。
In S126, the
図１１のＳ１２７では、肯定応答であるか否かが判定される。Ｓ１１６の飛行ルートを切り替えますかの表示に対して、肯定応答であるとＳ１２８に進み、Ｓ１１６の飛行ルートを切り替えますかの表示に対して、肯定応答でないと、Ｓ１３０に進む。 In S127 of FIG. 11, it is determined whether or not there is an affirmative response. If there is an affirmative response to the display of whether to switch the flight route at S116, the process proceeds to S128.
Ｓ１２８では、飛行ルートを電源の容量から決定する。 At S128, the flight route is determined from the capacity of the power supply.
Ｓ１２９では、ドローン１は、決定した飛行ルートに基づく飛行に変更する。飛行の位置、高度および飛行姿勢を５Ｇ通信を介して、サーバー／クラウド４に送る。
In S129, the
Ｓ１３０では、ドローン１は、飛行を終了することをサーバー／クラウド４、ドローンコントローラ２に通知する。
At S130, the
Ｓ１３１では、ドローン１は、飛行を終了する。
At S131, the
図１２のＳ２０１では、初期化処理を行う。Ｓ２０２では、入力部６０１により、飛行ルートに基づいた画像、メタデータの登録が選択されたか否かが判定される。飛行ルートに基づいた画像、メタデータの登録が選択されているとＳ２０３に進み、飛行ルートに基づいた画像、メタデータの登録が選択されていないとＳ２０８に進み、その他の処理をする。
In S201 of FIG. 12, initialization processing is performed. In S202, the
Ｓ２０３では、サーバー／クラウド４は、ドローン１で記憶された飛行ルートに基づいた画像を記憶する。合わせて、飛行の位置、高度および飛行姿勢のメタデータも過去の飛行情報を記憶部５０８に記憶する。
At S<b>203 , the server/
Ｓ２０４では、５Ｇ通信を介して、ドローン１から過去の飛行の画像の要求があるか否かが判定される。５Ｇ通信を介して、ドローン１から過去の飛行の画像の要求があるとＳ２０５に進み、５Ｇ回線を介して、ドローン１から過去の飛行の画像の要求がないとＳ２０２に進む。
In S204, it is determined whether or not there is a request for past flight images from the
Ｓ２０５では、ドローン１から飛行の位置、高度および飛行姿勢５Ｇ回線を介して受信する。
In S205, the flight position, altitude and flight attitude are received from the
Ｓ２０６では、ドローン１から指定のあった飛行の位置、高度および飛行姿勢に基づいた過去の高精細な画像を５Ｇ回線を介して、ドローン１に送る。
In S206, past high-definition images based on the flight position, altitude, and flight attitude specified by the
Ｓ２０７では、ドローン１から飛行が終了した通知があるか否かが判定される。ドローン１から飛行が終了した通知があるとＳ２０２に進み、ドローン１から飛行が終了した通知がないとＳ２０４に進む。
In S207, it is determined whether or not there is a notification from the
図１３のＳ２０８では、ドローン１から、再撮影にて、前回の撮影との異なる点を明確にできる必要な情報を受信したか否かが判定される。ドローン１から、再撮影にて、前回の撮影との異なる点を明確にできる必要な情報を受信するとＳ２０９に進み、ドローン１から、再撮影にて、前回の撮影との異なる点を明確にできる必要な情報を受信していないとＳ２１０に進む。
In S208 of FIG. 13, it is determined whether or not necessary information has been received from the
Ｓ２０９では、サーバー／クラウド４は、ドローン１から、再撮影にて、前回の撮影との異なる点を明確にできる必要な情報を記憶する。
In S209, the server/
Ｓ２１０においては、ドローン１から、飛行が終了した通知があるか否かが判定される。ドローン１から、飛行が終了した通知があるとＳ２０２に進み、ドローン１から、飛行が終了した通知がないと、Ｓ２０４に進む。
In S210, it is determined whether or not there is a notification from the
実施形態１によれば、ドローン１は、飛行ルートを入力する飛行ルート入力部、ＧＰＳセンサでの位置検出部、高度検出部、飛行姿勢検出部、撮像部、画像比較部、通知部、撮影情報記憶部を有する。サーバー／クラウド４は、ドローン１のＧＰＳセンサの位置、高度および飛行姿勢から過去の飛行時の撮像画像を取り出す。ドローン１は、飛行ルートに従い、飛行中に、位置、高度および飛行姿勢に対応して撮影を行うと共に、位置、高度および飛行姿勢をサーバー／クラウド４に指定することができる。ドローン１はさらに、現在の撮像画像の位置、高度および飛行姿勢に対応する過去の撮像画像をサーバー／クラウド４から受信し、現在の撮像画像と過去の撮像画像との違いを判定する。これにより、実施形態１によれば、エッジであるところのドローン１にて、リアルタイムで、現在の撮像画像と過去の撮像画像とを比較でき、リアルタイムで、分析に必要な画像を獲得することが可能になった。
According to the first embodiment, the
実施形態１によれば、ドローン１は、現在の撮像画像と過去の撮像画像との違いを判定は、ドローン１がリアルタイムに行うことが可能になった。
According to the first embodiment, the
実施形態１によれば、再撮影を行うか否かの判定は、サーバー／クラウド４からリアルタイムに取得した過去の撮像画像と、ドローン１で撮像した画像とを用いて行うことが可能になった。
According to the first embodiment, it is possible to determine whether or not to retake an image using the past captured image obtained in real time from the server/
実施形態１によれば、再撮影を行う場合は、再撮影が正常に完了するまで、再撮影を行うべき撮影位置またはその近傍から移動しないようにドローン１の位置、高度および飛行姿勢が維持されるようにドローン１の飛行状態を制御することが可能になった。
According to the first embodiment, when performing re-imaging, the position, altitude, and flight attitude of the
実施形態１によれば、再撮影を行うべき撮影位置またはその近傍から移動しないとは、撮影画角が所定値以上ズレないようにすることが可能になった。 According to the first embodiment, it is possible to prevent the imaging angle of view from deviating by a predetermined value or more by not moving from the imaging position where re-imaging should be performed or in the vicinity thereof.
実施形態１によれば、再撮影を行う場合は、再撮影が正常に完了するまで、少なくとも次の撮影位置まで移動しないことが可能になった。 According to the first embodiment, when re-imaging is performed, it is possible not to move at least to the next imaging position until re-imaging is normally completed.
実施形態１によれば、再撮影は、再撮影を行うか否かの判定、再撮影、再撮影時の飛行状態制御、次の撮影位置の移動制御の４つの一連の動作を、リアルタイムに順次を行うことが可能になった。 According to the first embodiment, re-imaging involves sequentially performing a series of four operations in real time: determining whether or not re-imaging is to be performed, re-imaging, flight state control at the time of re-imaging, and movement control of the next imaging position. has become possible.
なお、位置、高度および飛行姿勢が維持されるような制御はドローン１だからこそ可能であり、ドローン１の無駄な移動制御（Ｕターン移動など）も抑制できるようになった。
It should be noted that control that maintains the position, altitude, and flight attitude is possible because of the
［実施形態２］
実施形態１では、過去の飛行で撮影した画像と今回の飛行による撮影で画像が異なる場合に、ドローン１がエッジとなり、画像の撮影などの制御を自ら行った。この画像が異なるときに、ドローンコントローラ２にドローン１の遠隔での制御権を渡して、ドローンコントローラ２を使用している人によって、分析してもよい。
[Embodiment 2]
In the first embodiment, when the image captured in the past flight and the image captured in the current flight are different, the
実施形態２では、ドローン１を制御するドローンコントローラ２は、ドローン１の画像を５Ｇ通信（５Ｇ基地局３を介した通信）を用いて受信して表示し、ドローン１の飛行を５Ｇ通信を用いて制御し、ドローン１での画像撮影を５Ｇ通信を用いて指定する。ドローン１は、飛行ルートに従い、飛行中に、解像度を落とした撮像画像を、位置、高度および飛行姿勢と共に５Ｇ通信を用いて、ドローンコントローラ２に送ることをしながら、現在の撮像画像と過去の撮像画像との違いを判定する。そして、ドローン１は、現在の撮像画像と過去の撮像画像との違いを検出していない場合には、ドローン１での撮影を継続し、現在の撮像画像と過去の撮像画像との違いを検出した場合には、ドローン１の制御権をドローンコントローラ２に渡す。
In the second embodiment, the
ドローンコントローラ２は、ドローン１の飛行をコントロールし、ドローン１に撮影指示を行い、ドローン１からの画像を５Ｇ通信を用いて受信し、ドローン１の飛行を制御しながらドローン１からの画像を受信する。
The
ドローンコントローラ２は、ドローン１の飛行を制御しながら、ドローン１からの現在の撮像画像と、現在の撮像画像に対応する過去の飛行時の撮像画像とを５Ｇ通信（５Ｇ基地局３を介した通信）を用いて受信する。
While controlling the flight of the
ドローンコントローラ２は、ドローン１に、画像受信の場合の解像度を選択し、この解像度の選択情報をドローン１に５Ｇ通信（５Ｇ基地局３を介した通信）を用いて送信する。ドローン１からの画像を受信する場合、ドローンコントローラ２は、高精細での画像を５Ｇ通信（５Ｇ基地局３を介した通信）を用いて受信して表示する。
The
ここで、ドローン１からサーバー／クラウド４に通知される位置、高度および飛行姿勢は、５Ｇ無線通信区間の上りで通知される。サーバー／クラウド４からドローン１に送信される過去の撮像画像であってドローン１から指定のあった過去の撮像画像は、５Ｇ無線通信区間の下りで送信されるため、４Ｇ通信に比べて、高速大容量通信が可能である。実施形態２におけるドローン制御システムは、５Ｇの通信性能を最大限、生かすことができるシステムである。
Here, the position, altitude and flight attitude notified from the
図１４～図１８は、ドローン１の制御フローを説明するための図である。図１９～図２０はサーバー／クラウド４の制御フローを説明するための図である。
14 to 18 are diagrams for explaining the control flow of the
図１４のＳ３０１では、初期化処理を行う。Ｓ３０２では、ドローン１の操作部１０６により、飛行ルートの登録が選択されたか否かが判定される。飛行ルートの登録が選択されると、Ｓ３０３に進み、飛行ルートの登録が選択されていないとＳ３０９に進み、その他の処理を行う。
In S301 of FIG. 14, initialization processing is performed. In S302, the
Ｓ３０３では、飛行ルートに基づく飛行を記憶する。 In S303, the flight based on the flight route is stored.
Ｓ３０４では、飛行ルートに基づく飛行が選択されたか否かが判定される。飛行ルートに基づく飛行が選択されるとＳ３０５に進み、飛行ルートに基づく飛行が選択されていないとＳ３０２に進む。 At S304, it is determined whether flight based on the flight route has been selected. If the flight based on the flight route is selected, the process proceeds to S305, and if the flight based on the flight route is not selected, the process proceeds to S302.
Ｓ３０５では、現在の位置を鑑み、適切な飛行ルートの情報が記憶されているか否かが判定される。現在の位置を鑑み、適切な飛行ルートの情報が記憶されているとＳ３０６に進み、現在の位置を鑑み、適切な飛行ルートの情報が記憶されていないとＳ３０８に進む。 In S305, it is determined whether or not appropriate flight route information is stored in view of the current position. If appropriate flight route information is stored in view of the current position, the process proceeds to S306, and if appropriate flight route information is not stored in view of the current position, the process proceeds to S308.
Ｓ３０６では、飛行ルートを飛行した場合にバッテリはあるか否かが判定される。飛行ルートを飛行した場合にバッテリはあれば、Ｓ３１３に進み、飛行ルートを飛行した場合にバッテリは無くなる状況であるとＳ３０７に進む。 In S306, it is determined whether or not the battery will be present when the flight route is flown. If there is a battery when the flight route is flown, the process proceeds to S313, and if the battery runs out when the flight route is flown, the process proceeds to S307.
Ｓ３０７では、手持ちの充電が終了しているバッテリに交換することを促す情報を表示部１０９に表示する。
In S<b>307 , information is displayed on the
Ｓ３０８では、飛行ルートの設定が必要であることを示す情報を表示部１０９に表示する。
In S308, the
図１５のＳ３１０では、充電済みのバッテリはあるか否かが判定される。充電済みのバッテリはあれば、Ｓ３１１に進み、充電済みのバッテリがなければ、Ｓ３１７に進む。 In S310 of FIG. 15, it is determined whether or not there is a charged battery. If there is a charged battery, the process proceeds to S311, and if there is no charged battery, the process proceeds to S317.
Ｓ３１１においては、充電済みのバッテリへの交換は終了したか否かが判定される。充電済みのバッテリへの交換は終了するとＳ３１２に進み、充電済みのバッテリへの交換は終了していないとＳ３１１に進む。 In S311, it is determined whether or not the replacement with a charged battery has been completed. If the replacement with the charged battery has been completed, the process proceeds to S312, and if the replacement with the charged battery has not been completed, the process proceeds to S311.
Ｓ３１２では、飛行ルートにおけるバッテリ容量はあるか否かが判定される。飛行ルートにおけるバッテリ容量があるとＳ３１３に進み、飛行ルートにおけるバッテリ容量がないとＳ３１６に進む。 At S312, it is determined whether or not there is battery capacity on the flight route. If there is battery capacity on the flight route, the process proceeds to S313, and if there is no battery capacity on the flight route, the process proceeds to S316.
Ｓ３１３では、ドローン１は、飛行ルートに基づく飛行を開始する。飛行の位置、高度および飛行姿勢を５Ｇ通信を介して、サーバー／クラウド４に送る（位置情報通知）。また、サーバー／クラウド４に過去の撮像画像の送信を依頼する。サーバー／クラウド４に、過去の撮像画像の送信をドローンコントローラ２にも送るように依頼する。
In S313, the
Ｓ３１４では、ドローン１は、ドローン１の位置、高度および飛行姿勢が維持されるようにドローン１の飛行状態を制御する。
In S314, the
Ｓ３１５では、解像度を落とした画像を位置、高度および飛行姿勢と共に、ドローンコントローラ２に送る。
At S315, the reduced resolution image is sent to the
Ｓ３１６では、ドローン１は、サーバー／クラウド４から送られる位置、高度および飛行姿勢に基づいた過去の高精細な画像を５Ｇ通信を介して受信する。
At S316, the
Ｓ３１７では、「飛行ルートを切り替えますか？」を示す情報を表示部１０９に表示する。
In S317, the
図１６のＳ３１８では、ドローン１で撮影している画像とサーバー／クラウド４から５Ｇ回線を介して受信した画像を比較する。
In S318 of FIG. 16, the image captured by the
Ｓ３１９では、Ｓ３１８で得られた比較結果が異なるか否か（再撮影を行うか否か）が判定される。Ｓ３１７において画像を比較した結果が異なるとＳ３２０に進み、Ｓ３１８で得られた比較結果が同じであるとＳ３２６に進む。 In S319, it is determined whether or not the comparison result obtained in S318 is different (whether or not re-imaging is to be performed). If the results of comparing the images in S317 are different, the process proceeds to S320, and if the comparison results obtained in S318 are the same, the process proceeds to S326.
Ｓ３２０では、ドローンコントローラ２に再撮影の結果が異なることを通知する。
In S320, the
Ｓ３２１においては、ドローンコントローラ２から制御権のリクエストがあるか否かが判定される。ドローンコントローラ２から制御権のリクエストがあるとＳ３２２に進み、ドローンコントローラ２から制御権のリクエストがないとＳ３２６に進む。
In S<b>321 , it is determined whether or not there is a request for control rights from the
Ｓ３２２では、ドローン１の制御権をドローンコントローラ２に渡す。
In S322, the control right of the
Ｓ３２３では、ドローン１は、ドローンコントローラ２の指定に基づいて、飛行して撮影する（再撮影）。
In S323, the
Ｓ３２４では、ドローン１は、ドローンコントローラ２の指定に基づいて、撮影した画像を５Ｇ回線を介して送信する。
In S324, the
Ｓ３２５では、ドローンコントローラ２から、この位置での撮影が終了（再撮影は正常に終了）した通知があるか否かが判定される。ドローンコントローラ２から、この位置での撮影が終了（再撮影は正常に終了）した通知があるとＳ３２６に進み、ドローンコントローラ２から、この位置での撮影が終了（再撮影は正常に終了）した通知がないとＳ３２３に進む。
In S325, it is determined whether or not there is a notification from the
図１７のＳ３２６では、飛行の工程は終了するか否かが判定される。飛行の工程は終了するとＳ３２７に進み、飛行の工程は終了するのでないとＳ３２９に進む。 In S326 of FIG. 17, it is determined whether or not the flight process is finished. If the flight process is completed, the process proceeds to S327, and if the flight process is not completed, the process proceeds to S329.
Ｓ３２７では、ドローン１は、飛行工程が終了したことをサーバー／クラウド４、ドローンコントローラ２に通知する。
At S327, the
Ｓ３２８では、ドローン１は、再撮影にて、前回の撮影との異なる点を明確にできる必要な情報を記憶する。この情報をサーバー／クラウド４、ドローンコントローラ２に送る。
In S328, the
Ｓ３２９では、ドローン１は、飛行ルートに基づき、位置、高度、飛行姿勢を移動する。これは、次の撮影位置への移動制御である。
In S329, the
図１８のＳ３３０では、肯定応答であるか否かが判定される。Ｓ３１７の飛行ルートを切り替えますかの表示に対して、肯定応答であるとＳ３３１に進み、Ｓ３１７の飛行ルートを切り替えますかの表示に対して、肯定応答でないと、Ｓ３３３に進む。 In S330 of FIG. 18, it is determined whether or not it is an affirmative response. If there is an affirmative response to the display of whether to switch the flight route at S317, the process proceeds to S331, and if there is no positive response to the display of whether to switch the flight route at S317, the process proceeds to S333.
Ｓ３３１では、ドローン１にセットされている電池の容量から飛行ルートを決定する。
In S331, the flight route is determined from the capacity of the battery set in the
Ｓ３３２では、ドローン１は、決定した飛行ルートに基づく飛行を開始する。飛行の位置、高度および飛行姿勢を５Ｇ通信を介して、サーバー／クラウド４に送る。
In S332, the
Ｓ３３３では、ドローン１は、飛行を終了することをサーバー／クラウド４、ドローンコントローラ２に通知する。
At S333, the
Ｓ３３４では、ドローン１は、飛行を終了する。
At S334, the
図１９および図２０は、サーバー／クラウド４の制御フローを説明するための図である。
19 and 20 are diagrams for explaining the control flow of the server/
図１９のＳ４０１では、初期化処理を行う。Ｓ４０２では、入力部６０１により、飛行ルートに基づいた画像、メタデータの登録が選択されたか否かが判定される。飛行ルートに基づいた画像、メタデータの登録が選択されているとＳ４０３に進み、飛行ルートに基づいた画像、メタデータの登録が選択されていないとＳ４０８に進み、その他の処理をする。
In S401 of FIG. 19, initialization processing is performed. In S402, the
Ｓ４０３では、サーバー／クラウド４は、ドローン１で記憶された飛行ルートに基づいた画像を記憶する。合わせて、飛行の位置、高度および飛行姿勢のメタデータも過去の飛行情報記憶部５０８に記憶する。
At S<b>403 , the server/
Ｓ４０４では、５Ｇ通信を介して、ドローン１から過去の飛行の画像の要求があるか否かが判定される。５Ｇ通信を介して、ドローン１から過去の飛行の画像の要求があるとＳ４０５に進み、５Ｇ回線を介して、ドローン１から過去の飛行の画像の要求がないとＳ４０８に進む。
In S404, it is determined whether or not there is a request for past flight images from the
Ｓ４０５では、ドローン１から飛行の位置、高度および飛行姿勢を５Ｇ回線を介して受信する。
In S405, the flight position, altitude and flight attitude are received from the
Ｓ４０６では、ドローン１から指定のあった飛行の位置、高度および飛行姿勢に基づいた過去の高精細な画像を５Ｇ回線を介して、ドローン１に送る。
In S406, past high-definition images based on the flight position, altitude, and flight attitude specified by the
Ｓ４０７では、ドローン１から飛行が終了した通知があるか否かが判定される。ドローン１から飛行が終了した通知があるとＳ４０２に進み、ドローン１から飛行が終了した通知がないとＳ４０４に進む。
In S407, it is determined whether or not there is a notification from the
図２０のＳ４０９では、ドローンコントローラ２から過去の飛行の画像要求があるか否かが判定される。ドローンコントローラ２から過去の飛行の画像要求があるとＳ４１０に進み、ドローンコントローラ２から過去の飛行の画像要求がないとＳ４０４に進む。
In S409 of FIG. 20, it is determined whether or not the
Ｓ４１０では、ドローンコントローラ２から飛行の位置、高度および飛行姿勢を５Ｇ回線を介して受信する。
In S410, the flight position, altitude and flight attitude are received from the
Ｓ４１１では、ドローンコントローラ２から指定のあった位置、高度および飛行姿勢に基づいた過去の高精細な画像を５Ｇ回線を介して、ドローンコントローラ２に送る。
In S411, past high-definition images based on the position, altitude, and flight attitude specified by the
Ｓ４１２では、ドローンコントローラ２から、この位置での撮影が終了した通知があるか否かが判定される。ドローンコントローラ２から、この位置での撮影が終了した通知があるとＳ４０４に進み、ドローンコントローラ２から、この位置での撮影が終了した通知がないとＳ４０９に進む。
In S412, it is determined whether or not there is a notification from the
図２１～図２４は、ドローンコントローラ２の制御フローを説明するための図である。
21 to 24 are diagrams for explaining the control flow of the
図２１のＳ５０１では、初期化処理を行う。Ｓ５０２では、飛行ルートに基づく飛行が選択されたか否かが判定される。飛行ルートに基づく飛行が選択されるとＳ５０３に進み、飛行ルートに基づく飛行が選択されていないと、Ｓ５０６に進み、その他の処理をする。 In S501 of FIG. 21, initialization processing is performed. At S502, it is determined whether flight based on the flight route has been selected. If the flight based on the flight route is selected, the process proceeds to S503, and if the flight based on the flight route is not selected, the process proceeds to S506 to perform other processing.
Ｓ５０３では、ドローン１から送られている情報を表示する。
In S503, information sent from the
Ｓ５０４においては、ドローン１から再撮影の結果が異なることの通知があったか否かが判定される。ドローン１から再撮影の結果が異なることの通知があるとＳ５０５に進み、ドローン１から再撮影の結果が異なることの通知がないとＳ５０３に進む。
In S504, it is determined whether or not there has been a notification from the
Ｓ５０５では、ドローンコントローラ２でのドローン１制御が選択されたか否かが判定される。ドローンコントローラ２でのドローン１制御が選択されるとＳ５０７に進み、ドローンコントローラ２でのドローン１制御が選択されていないとＳ５０３に進む。
In S505, it is determined whether or not
図２２のＳ５０７では、ドローンコントローラ２はドローン１に制御権をリクエストする。
In S507 of FIG. 22, the
Ｓ５０８では、ドローンコントローラ２はドローン１に飛行、撮影を指定する。
In S508, the
Ｓ５０９では、ドローンコントローラ２の指定に基づいて、撮影した画像をドローン１から５Ｇ回線を介して受信する。受信する画像の解像度は、ドローンコントローラ２から指摘できる。これは、再撮影である。
In S509, based on the designation of the
Ｓ５１０では、ドローンコントローラ２は、飛行の位置、高度および飛行姿勢を５Ｇ通信を介して、サーバー／クラウド４に送る。
At S510, the
Ｓ５１１では、ドローンコントローラ２は、サーバー／クラウド４から送られる位置、高度および飛行姿勢に基づいた過去の高精細な画像を５Ｇ通信を介して受信する。
At S511, the
図２３のＳ５１２では、ドローン１で撮影している画像とサーバー／クラウド４から５Ｇ回線を介して受信した画像を比較する。
In S512 of FIG. 23, the image captured by the
Ｓ５１３においては、ドローンコントローラ２でのこの位置での撮影は終了したか否かが判定される。ドローンコントローラ２でのこの位置での撮影が終了するとＳ５１４に進み、ドローンコントローラ２から、この位置での撮影が終了していないとＳ５０８進む。
In S513, it is determined whether or not the
Ｓ５１４では、ドローンコントローラ２は、ドローン１にこの位置での撮影が終了した（再撮影は正常に終了した）旨を通知する。これにより、ドローン１は、飛行工程に戻る。
In S514, the
図２４のＳ５１５では、飛行の工程は終了するか否かが判定される。飛行の工程は終了するとＳ５１６に進み、飛行の工程は終了しないとＳ５１８に進む。 At S515 of FIG. 24, it is determined whether or not the flight process is finished. If the flight process is completed, the process proceeds to S516, and if the flight process is not completed, the process proceeds to S518.
Ｓ５１６では、ドローンコントローラ２は、飛行工程が終了したことをサーバー／クラウド４、ドローン１に通知する。
At S516, the
Ｓ５１７では、ドローンコントローラ２は、再撮影にて、前回の撮影との異なる点を明確にできる必要な情報を記憶する。この情報をサーバー／クラウド４、ドローン１に送る。
In S517, the
Ｓ５１８では、ドローンコントローラ２は、ドローン１に、飛行ルートに基づき、位置、高度、飛行姿勢を移動する指定をする。これは、次の撮影位置への移動制御を表している。
In S518, the
ドローン１の飛行ルートに従い、ドローン１の撮影情報と以前の撮像画像を比較でき、異なるときに、ドローン１は、詳細の状況を把握する。ドローン１は、エッジとして動作し、リアルタイムでの現場での分析を可能にした。ここで、実施形態２のように、ドローンコントローラ２からドローン１制御を行ってもよい。ドローン１からドローンコントローラ２へは、現在の撮影情報と以前の撮影情報を送っている。ドローンコントローラ２側で、リアルタイムでの比較が容易になるという効果がある。
According to the flight route of the
実施形態２によれば、５Ｇ通信の下りで、画像を送るため、５Ｇの高速大容量の特長を最大限に生かすことができる。ドローン１は、クラウドからは高精細画像を受信し、ドローンコントローラ２には、ラフ画像を送る。必要な情報のみを高精細で送る。例えば、静止画比較情報である。これにより、ドローンコントローラ２にスループットでの負担がかからないというメリットがある。過去の飛行時の撮像画像は、サーバー／クラウド４から５Ｇ通信の下り回線を利用して、受信するのでドローン１のバッファ少なくてよいという効果がある。過去の飛行ルートに基づいて、現在の状況を撮影しているので、状況報告のレポート、状況を分析した詳細画像を含んだレポートを自動で作成でき、これは、顧客のニーズでもある。
According to the second embodiment, since images are sent in the downlink of 5G communication, it is possible to make the most of the high-speed, large-capacity features of 5G. The
実施形態２によれば、ドローン１は、現在の撮像画像と過去の撮像画像の違いを判定し、これらの画像の違いを検出した場合にはアラームを通知することが可能になった。
According to the second embodiment, the
実施形態２によれば、ドローン１は、現在の撮像画像と過去の撮像画像の画像の違いを判定する。そして、ドローン１は、これらの画像の違いを検出していない場合には、ドローン１での撮影を継続し、これらの画像の違いを検出した場合には、ドローン１側での念入りの撮影を行うが可能になった。
According to the second embodiment, the
実施形態２によれば、念入りの撮影とは、複数枚の注目画像を複数枚、角度を変えて撮影することが可能になった。 According to the second embodiment, careful shooting means that a plurality of images of interest can be shot at different angles.
実施形態２によれば、現在の撮像画像の位置、高度および飛行姿勢に対応する過去の撮像画像は、高精細な画像であることが可能になった。 According to the second embodiment, the past captured image corresponding to the position, altitude and flight attitude of the current captured image can be a high-definition image.
実施形態２によれば、ドローンコントローラ２は、ドローン１の画像を受信して表示する表示部、ドローン１の飛行を制御する制御部、ドローン１での画像撮影を指定する指定部を有する。ドローン１は、飛行ルートに従い、飛行中に、解像度を落とした撮像画像を、位置、高度および飛行姿勢と共にコントロールに送ることをしながら、現在の撮像画像と過去の撮像画像との違いを判定することができる。これにより、現在の撮像画像と過去の撮像画像との違いを検出していない場合には、ドローン１での撮影を継続し、現在の撮像画像と過去の撮像画像との違いを検出した場合には、ドローン１の制御権をドローンコントローラ２に渡すことが可能になった。
According to the second embodiment, the
実施形態２によれば、ドローンコントローラ２は、ドローン１の飛行をコントロールし、ドローン１に撮影指示を行い、ドローン１からの画像を受信し、ドローン１の飛行を制御しながらドローン１からの画像を受信することが可能になった。
According to the second embodiment, the
実施形態２によれば、ドローンコントローラ２は、ドローン１の飛行を制御しながら、ドローン１からの現在の撮像画像と、現在の撮像画像に対応する過去の飛行時の撮像画像とを受信することが可能になった。
According to the second embodiment, the
実施形態２によれば、ドローンコントローラ２は、ドローン１の飛行を制御しながら、念入りのドローン１からの画像を受信することが可能になった。
According to the second embodiment, the
実施形態２によれば、ドローンコントローラ２は、ドローン１からの画像を受信する場合、現在のドローン１が撮影している画像と共に、以前に撮影した画像を同時に受信し、表示することが可能になった。
According to the second embodiment, when receiving an image from the
実施形態２によれば、ドローンコントローラ２は、ドローン１に、画像受信時の解像度を選択する部により、この解像度の選択情報をドローン１に送り、ドローン１からの画像を受信する場合、高精細での画像を受信し、表示することが可能になった。
According to the second embodiment, the
実施形態２によれば、ドローンコントローラ２は、ドローン１に、再撮影終了後は、ドローン１の飛行計画に基づいてドローン１は飛行して、ドローン１からの画像を受信し、表示することが可能になった。
According to the second embodiment, the
実施形態２によれば、ドローン１からサーバー／クラウド４に通知される位置、高度および飛行姿勢は、５Ｇ無線通信区間の上りで通知される。サーバー／クラウド４からドローン１に送信される過去の撮像画像であってドローン１から指定のあった過去の撮像画像は、５Ｇ無線通信区間の下りで送信される。
According to
実施形態２によれば、ドローン１が飛行工程を組んで、撮影をして前回の画像と異なる場合に、ドローンコントローラ２の人にドローン１の制御権を渡すことができる。これにより、ドローンコントローラ２を操作する人が、現在の撮像画像と過去の撮像画像との違いを認識することが可能になった。その後、ドローン１の飛行計画に従っての撮影に移行することが可能になった。
According to the second embodiment, when the
［実施形態３］
上述の実施形態で説明した様々な機能、処理または方法は、パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはマイクロプロセッサがプログラムを実行することによって実現することもできる。以下、実施形態３では、パーソナルコンピュータ、マイクロコンピュータ、ＣＰＵまたはマイクロプロセッサを「コンピュータＸ」と呼ぶ。実施形態３では、コンピュータＸを制御するためのプログラムであって、上述の実施形態で説明した様々な機能、処理または方法を実現するためのプログラムを「プログラムＹ」と呼ぶ。
[Embodiment 3]
Various functions, processes, or methods described in the above-described embodiments can also be realized by a personal computer, microcomputer, CPU (Central Processing Unit), or microprocessor executing a program. Hereinafter, in
上述の実施形態で説明した様々な機能、処理または方法は、コンピュータＸがプログラムＹを実行することによって実現される。この場合において、プログラムＹは、コンピュータ読み取り可能な記憶媒体を介してコンピュータＸに供給される。実施形態３におけるコンピュータ読み取り可能な記憶媒体は、ハードディスク装置、磁気記憶装置、光記憶装置、光磁気記憶装置、メモリカード、揮発性メモリ、不揮発性メモリなどの少なくとも一つを含む。実施形態３におけるコンピュータ読み取り可能な記憶媒体は、ｎｏｎ－ｔｒａｎｓｉｔｏｒｙな記憶媒体である。
Various functions, processes or methods described in the above-described embodiments are realized by computer X executing program Y. In this case, program Y is supplied to computer X via a computer-readable storage medium. A computer-readable storage medium in
１ ドローン１（移動装置）
２ ドローンコントローラ２（制御装置）
３ ５Ｇ基地局３
４ サーバー／クラウド４
1 Drone 1 (mobile device)
2 Drone controller 2 (control device)
3
4 Server/
Claims (19)
位置、高度および飛行姿勢を検出する検出部と
を有し、
飛行中に検出された位置、高度および飛行姿勢を外部装置に送信し、前記外部装置が前記外部装置に送信された位置、高度および飛行姿勢に基づいて選択した過去の撮像画像を前記外部装置から受信し、前記外部装置から受信された過去の撮像画像と現在の撮像画像との比較結果に基づき、再撮影を行うか否かの判定を行うことを特徴とする移動装置。 an imaging unit;
a detection unit that detects position, altitude and flight attitude,
Position, altitude, and flight attitude detected during flight are transmitted to an external device, and past captured images selected by the external device based on the position, altitude, and flight attitude transmitted to the external device are sent from the external device. and determining whether or not to re-capture based on a comparison result between a past captured image received from the external device and a current captured image.
前記移動装置は、飛行ルートに従い、飛行中に、位置、高度および飛行姿勢に対応して撮影を行うが解像度を落とした画像を、位置、高度および飛行姿勢と共にコントロールに送ることをしながら、過去の撮像画像と現在の撮像画像との違いを判定し、過去の撮像画像と現在の撮像画像との違いを検出していない場合には、前記移動装置での撮影を継続し、過去の撮像画像と現在の撮像画像との違いを検出した場合には、前記移動装置の制御権を前記制御装置に渡すことを特徴とする請求項１～１０のいずれか１項に記載の移動装置。 further comprising a controller;
The mobile device follows the flight route and, during flight, takes pictures corresponding to the position, altitude and flight attitude, but sends reduced resolution images to the control along with the position, altitude and flight attitude. determining the difference between the captured image and the current captured image, and if the difference between the past captured image and the current captured image is not detected, continue shooting with the mobile device, and the past captured image 11. The mobile device according to any one of claims 1 to 10, wherein the control right of the mobile device is passed to the control device when detecting a difference between the captured image and the current captured image.
飛行中に検出された位置、高度および飛行姿勢を外部装置に送信し、前記外部装置が前記外部装置に送信された位置、高度および飛行姿勢に基づいて選択した過去の撮像画像を前記外部装置から受信し、前記外部装置から受信された過去の撮像画像と現在の撮像画像との比較結果に基づき、再撮影を行うか否かの判定を行うことを特徴とする制御方法。 A control method for a mobile device having an imaging unit and a detection unit for detecting position, altitude and flight attitude,
Position, altitude, and flight attitude detected during flight are transmitted to an external device, and past captured images selected by the external device based on the position, altitude, and flight attitude transmitted to the external device are sent from the external device. and determining whether or not to perform re-shooting based on a comparison result between a past captured image received from the external device and a current captured image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021193336A JP2023079733A (en) | 2021-11-29 | 2021-11-29 | Mobile device and control method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021193336A JP2023079733A (en) | 2021-11-29 | 2021-11-29 | Mobile device and control method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023079733A true JP2023079733A (en) | 2023-06-08 |
Family
ID=86647351
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021193336A Pending JP2023079733A (en) | 2021-11-29 | 2021-11-29 | Mobile device and control method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2023079733A (en) |
-
2021
- 2021-11-29 JP JP2021193336A patent/JP2023079733A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP3635950B1 (en) | Imaging device, camera-equipped drone, and mode control method, and program | |
| JP2017011469A (en) | Photographing device, photographing method, and program | |
| CN110383810B (en) | Information processing apparatus, information processing method, and information processing program | |
| CN111567032A (en) | Specifying device, moving object, specifying method, and program | |
| CN111630838B (en) | Specifying device, imaging system, moving object, specifying method, and program | |
| JP6098104B2 (en) | Auxiliary imaging device and program | |
| JP2023079733A (en) | Mobile device and control method | |
| JP5428821B2 (en) | Analysis device, imaging device, server device, analysis method, program, and analysis system | |
| JP6726649B2 (en) | Flight device, management device, shooting control method, and shooting control program | |
| JP2012029033A (en) | Camera | |
| US20220417431A1 (en) | Control device, control method, and information processing system | |
| CN110622496A (en) | Image fusion method, shooting device and movable platform system | |
| JP5869046B2 (en) | Imaging apparatus, control method thereof, and program | |
| JP2019018664A (en) | Imaging control system | |
| JPWO2018198317A1 (en) | Unmanned airborne aerial imaging system, method and program | |
| CN110574365B (en) | Image generation device and image generation method | |
| CN111373735A (en) | Shooting control method, movable platform and storage medium | |
| US11810386B2 (en) | Image capture apparatus and control method | |
| JP2012216885A (en) | Imaging apparatus and image sharing system | |
| US11765454B2 (en) | Image control method and device, and mobile platform | |
| JP6899473B2 (en) | Flight equipment, imaging control methods, and imaging control programs | |
| JP2019008176A (en) | Imaging device and control method of the same, lens device and control method of the same, and imaging system | |
| JP2011197467A (en) | Photographic device | |
| JP6121004B2 (en) | Imaging apparatus, control method thereof, and program | |
| JP6528760B2 (en) | INFORMATION PROCESSING APPARATUS, CONTROL METHOD THEREOF, AND PROGRAM |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20231213 |