JP2020050261A - 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体 - Google Patents

情報処理装置、飛行制御指示方法、プログラム、及び記録媒体 Download PDF

Info

Publication number
JP2020050261A
JP2020050261A JP2018183570A JP2018183570A JP2020050261A JP 2020050261 A JP2020050261 A JP 2020050261A JP 2018183570 A JP2018183570 A JP 2018183570A JP 2018183570 A JP2018183570 A JP 2018183570A JP 2020050261 A JP2020050261 A JP 2020050261A
Authority
JP
Japan
Prior art keywords
flight
flying object
speed
flight speed
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018183570A
Other languages
English (en)
Other versions
JP6878375B2 (ja
Inventor
磊 顧
Lei Gu
磊 顧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to JP2018183570A priority Critical patent/JP6878375B2/ja
Publication of JP2020050261A publication Critical patent/JP2020050261A/ja
Priority to JP2021031963A priority patent/JP2021096865A/ja
Application granted granted Critical
Publication of JP6878375B2 publication Critical patent/JP6878375B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】飛行体が移動することによるモーションブラーの発生を抑制できることが望ましい。【解決手段】飛行体による飛行の制御を指示する情報処理装置であって、処理部を備え、処理部は、飛行体が撮像するためのシャッタスピードの情報を取得し、飛行体が撮像する撮像画像における1画素あたりの実空間での距離の情報を取得し、シャッタスピードと1画素あたりの実空間での距離に基づいて、飛行体の飛行速度の上限値を決定し、飛行体の飛行速度の上限値以下の飛行速度となるように、飛行速度の制御を指示する。【選択図】図8

Description

本開示は、飛行体による飛行の制御を指示する情報処理装置、飛行制御指示方法、プログラム、及び記録媒体に関する。
従来、予め設定された固定経路を通りながら撮像を行うプラットフォーム(無人機)が知られている(特許文献1参照)。このプラットフォームは、地上基地から撮像指示を受け、撮像対象を撮像する。このプラットフォームは、撮像対象を撮像する場合、固定経路を飛行しながら、プラットフォームと撮像対象との位置関係により、プラットフォームの撮像機器を傾けて撮像する。
特開2010−61216号公報
無人機による撮像時にこの無人機が移動することによりモーションブラーが発生すると、撮像画像の画質が低下する。そのため、例えば複数の撮像画像に基づいて合成画像の生成や地形の形状推定を行う場合、合成画像の画質低下や形状推定の推定精度の低下が生じ得る。したがって、画像を撮像する無人機の移動に起因するモーションブラーにより撮像画像の画質が劣化することを抑制できることが望ましい。
一態様において、飛行体による飛行の制御を指示する情報処理装置であって、処理部を備え、処理部は、飛行体が撮像するためのシャッタスピードの情報を取得し、飛行体が撮像する撮像画像における1画素あたりの実空間での距離の情報を取得し、シャッタスピードと1画素あたりの実空間での距離に基づいて、飛行体の飛行速度の上限値を決定し、飛行体の飛行速度の上限値以下の飛行速度となるように、飛行速度の制御を指示する。
処理部は、飛行体の飛行高度を取得し、飛行体が撮像するための画角を取得し、撮像画像の画素数を取得し、飛行体の飛行高度、画角、撮像画像の画素数に基づいて、1画素あたりの実空間での距離を算出してよい。
処理部は、飛行体による1回の撮像期間に飛行体が移動する距離が、撮像画像における1画素に対応する実空間での距離以内となってよい。
一態様において、飛行体による飛行の制御を指示する情報処理装置であって、処理部を備え、処理部は、飛行体が備える照度センサにより検出された飛行体の周囲の照度を取得し、照度と、飛行体の飛行速度の上限値と、の関係を示す関係情報を取得し、関係情報に基づいて、取得された照度に対応する飛行体の飛行速度の上限値を導出し、飛行体の飛行速度の上限値以下の飛行速度となるように、飛行速度の制御を指示する。
処理部は、照度が大きい程、飛行体の飛行速度の上限値を大きくし、照度が小さい程、飛行体の飛行速度の上限値を小さくしてよい。
情報処理装置は、飛行体でよい。処理部は、飛行速度の上限値に基づいて、飛行速度を調整して飛行してよい。
処理部は、飛行体の飛行速度を変更するための操作情報を取得し、操作情報に基づいて、飛行体の飛行速度の上限値以下の飛行速度となるように、飛行速度を調整して飛行を制御してよい。
一態様において、飛行体による飛行の制御を指示する情報処理装置における飛行制御指示方法であって、飛行体が撮像するためのシャッタスピードの情報を取得するステップと、飛行体が撮像する撮像画像における1画素あたりの実空間での距離の情報を取得するステップと、シャッタスピードと1画素あたりの実空間での距離に基づいて、飛行体の飛行速度の上限値を決定するステップと、飛行体の飛行速度の上限値以下の飛行速度となるように、飛行速度の制御を指示するステップと、を含む飛行制御指示方法。
距離の情報を取得するステップは、飛行体の飛行高度を取得するステップと、飛行体が撮像するための画角を取得するステップと、撮像画像の画素数を取得するステップと、飛行体の飛行高度、画角、撮像画像の画素数に基づいて、1画素あたりの実空間での距離を算出するステップと、を含んでよい。
飛行体による1回の撮像期間に飛行体が移動する距離が、撮像画像における1画素に対応する実空間での距離以内となってよい。
一態様において、飛行体による飛行の制御を指示する情報処理装置における飛行制御指示方法であって、飛行体が備える照度センサにより検出された飛行体の周囲の照度を取得するステップと、照度と、飛行体の飛行速度の上限値と、の関係を示す関係情報を取得するステップと、関係情報に基づいて、取得された照度に対応する飛行体の飛行速度の上限値を導出するステップと、飛行体の飛行速度の上限値以下の飛行速度となるように、飛行速度の制御を指示するステップと、を有する。
照度が大きい程、飛行体の飛行速度の上限値を大きくし、照度が小さい程、飛行体の飛行速度の上限値を小さくしてよい。
情報処理装置は、飛行体でよい。飛行制御指示方法は、飛行速度の上限値に基づいて、飛行速度を調整して飛行するステップ、を更に含んでよい。
飛行速度を調整して飛行を制御するステップは、飛行体の飛行速度を変更するための操作情報を取得するステップと、操作情報に基づいて、飛行体の飛行速度の上限値以下の飛行速度となるように、飛行速度を調整して飛行を制御するステップと、を含んでよい。
一態様において、プログラムは、飛行体による飛行の制御を指示する情報処理装置に、飛行体が撮像するためのシャッタスピードの情報を取得するステップと、飛行体が撮像する撮像画像における1画素あたりの実空間での距離の情報を取得するステップと、シャッタスピードと1画素あたりの実空間での距離に基づいて、飛行体の飛行速度の上限値を決定するステップと、飛行体の飛行速度の上限値以下の飛行速度となるように、飛行速度の制御を指示するステップと、を実行させるためのプログラムである。
一態様において、記録媒体は、飛行体による飛行の制御を指示する情報処理装置に、飛行体が撮像するためのシャッタスピードの情報を取得するステップと、飛行体が撮像する撮像画像における1画素あたりの実空間での距離の情報を取得するステップと、シャッタスピードと1画素あたりの実空間での距離に基づいて、飛行体の飛行速度の上限値を決定するステップと、飛行体の飛行速度の上限値以下の飛行速度となるように、飛行速度の制御を指示するステップと、を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。
なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
第1の実施形態における飛行システムの第1構成例を示す模式図 第1の実施形態における飛行システムの第2構成例を示す模式図 無人航空機の具体的な外観の一例を示す図 無人航空機のハードウェア構成の一例を示すブロック図 端末のハードウェア構成の一例を示すブロック図 撮像部のハードウェア構成を示す図 無人航空機が飛行する際の最大飛行速度の導出例を説明する図 第2の実施形態における無人航空機による飛行制御手順の一例を示すシーケンス図 第2の実施形態における、照度と最大飛行速度との対応関係の一例を示すテーブル 第2の実施形態における無人航空機による飛行制御手順の一例を示すシーケンス図 第3の実施形態における飛行システムの構成例を示す図 送信機のハードウェア構成例を示すブロック図
以下、発明の実施形態を通じて本開示を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する
以下の実施形態では、飛行体として、無人航空機(UAV:Unmanned Aerial Vehicle)を例示する。無人航空機は、空中を移動する航空機を含む。本明細書に添付する図面では、無人航空機を「UAV」とも表記する。情報処理装置として、例えば端末を例示するが、他の装置(例えば送信機、PC(Personal Computer)、無人航空機、その他の情報処理装置)でもよい。飛行制御指示方法は、情報処理装置の動作が規定されたものである。また、記録媒体は、プログラム(例えば情報処理装置に各種の処理を実行させるプログラム)が記録されたものである。
(第1の実施形態)
図1は、第1の実施形態における飛行システム10の第1構成例を示す図である。飛行システム10は、無人航空機100及び端末80を備える。無人航空機100及び端末80は、相互に有線通信又は無線通信(例えば無線LAN(Local Area Network))により通信可能である。図1では、端末80が携帯端末(例えばスマートフォン、タブレット端末)であることを例示している。無人航空機100は、情報処理装置の一例である。
図2は、第1の実施形態における飛行システム10の第2構成例を示す模式図である。図2では、端末80がPCであることを例示している。図1及び図2のいずれであっても、端末80が有する機能は同じでよい。
図3は、無人航空機100の具体的な外観の一例を示す図である。図3には、無人航空機100が移動方向STV0に飛行する場合の斜視図が示される。無人航空機100は飛行体の一例である。
図3に示すように、地面と平行であって移動方向STV0に沿う方向にロール軸(x軸参照)が設定されてよい。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸(y軸参照)が設定され、更に、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸(z軸参照)が設定されてよい。
無人航空機100は、UAV本体102と、ジンバル200と、撮像部220と、複数の撮像部230とを含む構成である。
UAV本体102は、複数の回転翼(プロペラ)を備える。UAV本体102は、複数の回転翼の回転を制御することにより無人航空機100を飛行させる。UAV本体102は、例えば4つの回転翼を用いて無人航空機100を飛行させる。回転翼の数は、4つに限定されない。また、無人航空機100は、回転翼を有さない固定翼機でよい。
撮像部220は、所望の撮像範囲に含まれる被写体(例えば、空撮対象となる上空の様子、山や川等の景色、地上の建物)を撮像する撮像用のカメラである。
複数の撮像部230は、無人航空機100の飛行を制御するために無人航空機100の周囲を撮像するセンシング用のカメラである。2つの撮像部230が、無人航空機100の機首である正面に設けられてよい。さらに、他の2つの撮像部230が、無人航空機100の底面に設けられてよい。正面側の2つの撮像部230はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像部230もペアとなり、ステレオカメラとして機能してよい。複数の撮像部230により撮像された画像に基づいて、無人航空機100の周囲の3次元空間データが生成されてよい。なお、無人航空機100が備える撮像部230の数は4つに限定されない。無人航空機100は、少なくとも1つの撮像部230を備えていればよい。無人航空機100は、無人航空機100の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像部230を備えてよい。撮像部230で設定できる画角は、撮像部220で設定できる画角より広くてよい。撮像部230は、単焦点レンズ又は魚眼レンズを有してよい。
図4は、無人航空機100のハードウェア構成の一例を示すブロック図である。無人航空機100は、UAV制御部110と、通信インタフェース150と、メモリ160と、ストレージ170と、照度センサ190と、ジンバル200と、回転翼機構210と、撮像部220と、撮像部230と、GPS受信機240と、慣性計測装置(IMU:Inertial Measurement Unit)250と、磁気コンパス260と、気圧高度計270と、超音波センサ280と、レーザー測定器290と、を含む構成である。
UAV制御部110は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成される。UAV制御部110は、無人航空機100の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
UAV制御部110は、メモリ160に格納されたプログラムに従って無人航空機100の飛行を制御する。UAV制御部110は、飛行を制御してよい。UAV制御部110は、画像を撮像(例えば空撮)してよい。
UAV制御部110は、無人航空機100の位置を示す位置情報を取得する。UAV制御部110は、GPS受信機240から、無人航空機100が存在する緯度、経度及び高度を示す位置情報を取得してよい。UAV制御部110は、GPS受信機240から無人航空機100が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計270から無人航空機100が存在する高度を示す高度情報をそれぞれ位置情報として取得してよい。UAV制御部110は、超音波センサ280による超音波の放射点と超音波の反射点との距離を高度情報として取得してよい。
UAV制御部110は、磁気コンパス260から無人航空機100の向きを示す向き情報を取得してよい。向き情報は、例えば無人航空機100の機首の向きに対応する方位で示されてよい。
UAV制御部110は、撮像部220が撮像すべき撮像範囲を撮像する時に無人航空機100が存在すべき位置を示す位置情報を取得してよい。UAV制御部110は、無人航空機100が存在すべき位置を示す位置情報をメモリ160から取得してよい。UAV制御部110は、無人航空機100が存在すべき位置を示す位置情報を、通信インタフェース150を介して他の装置から取得してよい。UAV制御部110は、3次元地図データベースを参照して、無人航空機100が存在可能な位置を特定して、その位置を無人航空機100が存在すべき位置を示す位置情報として取得してよい。
UAV制御部110は、撮像部220及び撮像部230のそれぞれの撮像範囲を示す撮像範囲情報を取得してよい。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像部220及び撮像部230の画角を示す画角情報を撮像部220及び撮像部230から取得してよい。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像部220及び撮像部230の撮像方向を示す情報を取得してよい。UAV制御部110は、例えば撮像部220の撮像方向を示す情報として、ジンバル200から撮像部220の姿勢の状態を示す姿勢情報を取得してよい。撮像部220の姿勢情報は、ジンバル200のピッチ軸及びヨー軸の基準回転角度からの回転角度を示してよい。
UAV制御部110は、撮像範囲を特定するためのパラメータとして、無人航空機100が存在する位置を示す位置情報を取得してよい。UAV制御部110は、撮像部220及び撮像部230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて、撮像部220が撮像する地理的な範囲を示す撮像範囲を画定し、撮像範囲情報を生成することで、撮像範囲情報を取得してよい。
UAV制御部110は、メモリ160から撮像範囲情報を取得してよい。UAV制御部110は、通信インタフェース150を介して撮像範囲情報を取得してよい。
UAV制御部110は、ジンバル200、回転翼機構210、撮像部220及び撮像部230を制御する。UAV制御部110は、撮像部220の撮像方向又は画角を変更することによって、撮像部220の撮像範囲を制御してよい。UAV制御部110は、ジンバル200の回転機構を制御することで、ジンバル200に支持されている撮像部220の撮像範囲を制御してよい。
撮像範囲とは、撮像部220又は撮像部230により撮像される地理的な範囲をいう。撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度、及び高度で定義される3次元空間データにおける範囲でよい。撮像範囲は、緯度及び経度で定義される2次元空間データにおける範囲でよい。撮像範囲は、撮像部220又は撮像部230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて特定されてよい。撮像部220及び撮像部230の撮像方向は、撮像部220及び撮像部230の撮像レンズが設けられた正面が向く方位と俯角とから定義されてよい。撮像部220の撮像方向は、無人航空機100の機首の方位と、ジンバル200に対する撮像部220の姿勢の状態とから特定される方向でよい。撮像部230の撮像方向は、無人航空機100の機首の方位と、撮像部230が設けられた位置とから特定される方向でよい。
UAV制御部110は、複数の撮像部230により撮像された複数の画像を解析することで、無人航空機100の周囲の環境を特定してよい。UAV制御部110は、無人航空機100の周囲の環境に基づいて、例えば障害物を回避して飛行を制御してよい。
UAV制御部110は、無人航空機100の周囲に存在するオブジェクトの立体形状(3次元形状)を示す立体情報(3次元情報)を取得してよい。オブジェクトは、例えば、建物、道路、車、木等の風景の一部でよい。立体情報は、例えば、3次元空間データである。UAV制御部110は、複数の撮像部230から得られたそれぞれの画像から、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を生成することで、立体情報を取得してよい。UAV制御部110は、メモリ160又はストレージ170に格納された3次元地図データベースを参照することにより、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を取得してよい。UAV制御部110は、ネットワーク上に存在するサーバが管理する3次元地図データベースを参照することで、無人航空機100の周囲に存在するオブジェクトの立体形状に関する立体情報を取得してよい。
UAV制御部110は、回転翼機構210を制御することで、無人航空機100の飛行を制御する。つまり、UAV制御部110は、回転翼機構210を制御することにより、無人航空機100の緯度、経度、及び高度を含む位置を制御する。UAV制御部110は、無人航空機100の飛行を制御することにより、撮像部220の撮像範囲を制御してよい。UAV制御部110は、撮像部220が備えるズームレンズを制御することで、撮像部220の画角を制御してよい。UAV制御部110は、撮像部220のデジタルズーム機能を利用して、デジタルズームにより、撮像部220の画角を制御してよい。
撮像部220が無人航空機100に固定され、撮像部220を動かせない場合、UAV制御部110は、特定の日時に特定の位置に無人航空機100を移動させることにより、所望の環境下で所望の撮像範囲を撮像部220に撮像させてよい。あるいは撮像部220がズーム機能を有さず、撮像部220の画角を変更できない場合でも、UAV制御部110は、特定された日時に、特定の位置に無人航空機100を移動させることで、所望の環境下で所望の撮像範囲を撮像部220に撮像させてよい。
通信インタフェース150は、端末80と通信する。通信インタフェース150は、任意の無線通信方式により無線通信してよい。通信インタフェース150は、任意の有線通信方式により有線通信してよい。通信インタフェース150は、撮像画像や撮像画像に関する付加情報(メタデータ)を、端末80に送信してよい。
メモリ160は、UAV制御部110がジンバル200、回転翼機構210、撮像部220、撮像部230、GPS受信機240、慣性計測装置250、磁気コンパス260、気圧高度計270、超音波センサ280、及びレーザー測定器290を制御するのに必要なプログラム等を格納する。メモリ160は、コンピュータ読み取り可能な記録媒体でよく、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、及びUSB(Universal Serial Bus)メモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ160は、無人航空機100から取り外し可能であってよい。メモリ160は、作業用メモリとして動作してよい。なお、第1の実施形態では、メモリ160が後述するテーブルTbを保持しなくてよい。
ストレージ170は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、SDカード、USBメモリ、その他のストレージの少なくとも1つを含んでよい。ストレージ170は、各種情報、各種データを保持してよい。ストレージ170は、無人航空機100から取り外し可能であってよい。ストレージ170は、撮像画像を記録してよい。
メモリ160又はストレージ170は、端末80又は無人航空機100により生成された撮像位置や撮像経路(飛行経路)の情報を保持してよい。撮像位置や撮像経路の情報は、無人航空機100により予定された撮像に係る撮像パラメータ、又は、無人航空機100により予定された飛行に係る飛行パラメータ、の1つとして、UAV制御部110により設定されてよい。この設定情報は、メモリ160又はストレージ170に保持されてよい。また、メモリ160には、テーブルTb(図9参照))が登録される記憶領域が割り当てられてよい。
照度センサ190は、無人航空機100におけるいずれかの位置に設置されてよい。照度センサ190は、無人航空機100の周囲の照度(明るさ)を検出してよく、例えば撮像方向における照度を検出してよい。よって、無人航空機100の周囲の照度は、撮像部220で撮像される被写体の照度を含んでよい。照度センサ190は、無人航空機100に備えられなくてもよい。
ジンバル200は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像部220を回転可能に支持してよい。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像部220を回転させることで、撮像部220の撮像方向を変更してよい。
回転翼機構210は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータと、を有する。回転翼機構210は、UAV制御部110により回転を制御されることにより、無人航空機100を飛行させる。回転翼211の数は、例えば4つでよいし、その他の数でよい。また、無人航空機100は、回転翼を有さない固定翼機でよい。
撮像部220は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。撮像部220の撮像により得られた画像データ(例えば空撮画像)は、撮像部220が有するメモリ、又はストレージ170に格納されてよい。
撮像部230は、無人航空機100の周囲を撮像して撮像画像のデータを生成する。撮像部230の画像データは、ストレージ170に格納されてよい。
GPS受信機240は、複数の航法衛星(つまり、GPS衛星)から発信された時刻及び各GPS衛星の位置(座標)を示す複数の信号を受信する。GPS受信機240は、受信された複数の信号に基づいて、GPS受信機240の位置(つまり、無人航空機100の位置)を算出する。GPS受信機240は、無人航空機100の位置情報をUAV制御部110に出力する。なお、GPS受信機240の位置情報の算出は、GPS受信機240の代わりにUAV制御部110により行われてよい。この場合、UAV制御部110には、GPS受信機240が受信した複数の信号に含まれる時刻及び各GPS衛星の位置を示す情報が入力される。
慣性計測装置250は、無人航空機100の姿勢を検出し、検出結果をUAV制御部110に出力する。慣性計測装置250は、無人航空機100の姿勢として、無人航空機100の前後、左右、及び上下の3軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の3軸方向の角速度とを検出してよい。
磁気コンパス260は、無人航空機100の機首の方位を検出し、検出結果をUAV制御部110に出力する。
気圧高度計270は、無人航空機100が飛行する高度を検出し、検出結果をUAV制御部110に出力する。
超音波センサ280は、超音波を放射し、地面や物体により反射された超音波を検出し、検出結果をUAV制御部110に出力する。検出結果は、無人航空機100から地面までの距離つまり高度を示してよい。検出結果は、無人航空機100から物体(被写体)までの距離を示してよい。
レーザー測定器290は、物体にレーザー光を照射し、物体で反射された反射光を受光し、反射光により無人航空機100と物体(被写体)との間の距離を測定する。レーザー光による距離の測定方式は、一例として、タイムオブフライト方式でよい。
図5は、端末80のハードウェア構成の一例を示すブロック図である。端末80は、端末制御部81、操作部83、通信部85、メモリ87、表示部88、及びストレージ89を備える。端末80は、無人航空機100の飛行制御の指示を希望するユーザに所持され得る。
端末制御部81は、例えばCPU、MPU又はDSPを用いて構成される。端末制御部81は、端末80の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
端末制御部81は、通信部85を介して、無人航空機100からのデータや情報(各種計測データ、撮像画像、その付加情報、等)を取得してよい。端末制御部81は、操作部83を介して入力されたデータや情報(例えば各種パラメータ)を取得してよい。端末制御部81は、メモリ87に保持されたデータや情報を取得してよい。端末制御部81は、通信部85を介して、無人航空機100へ、データや情報(例えば位置、速度、飛行経路の情報)を送信させてよい。端末制御部81は、データや情報を表示部88に送り、このデータや情報に基づく表示情報を表示部88に表示させてよい。
端末制御部81は、無人航空機100に対する、飛行制御を行うためのアプリケーションを実行してよい。端末制御部81は、アプリケーションで用いられる各種のデータを生成してよい。
操作部83は、端末80のユーザにより入力されるデータや情報を受け付けて取得する。操作部83は、ボタン、キー、タッチスクリーン、マイクロホン、等の入力装置を含んでよい。ここでは、主に、操作部83と表示部88とがタッチパネルにより構成されることを例示する。この場合、操作部83は、タッチ操作、タップ操作、ドラック操作等を受付可能である。操作部83は、各種パラメータの情報を受け付けてよい。操作部83により入力された情報は、無人航空機100へ送信されてよい。各種パラメータは、飛行制御に関するパラメータを含んでよい。
通信部85は、各種の無線通信方式により、無人航空機100との間で無線通信する。この無線通信の無線通信方式は、例えば、無線LAN、Bluetooth(登録商標)、又は公衆無線回線を介した通信を含んでよい。通信部85は、任意の有線通信方式により有線通信してよい。
メモリ87は、例えば端末80の動作を規定するプログラムや設定値のデータが格納されたROMと、端末制御部81の処理時に使用される各種の情報やデータを一時的に保存するRAMを有してよい。メモリ87は、ROM及びRAM以外のメモリが含まれてよい。メモリ87は、端末80の内部に設けられてよい。メモリ87は、端末80から取り外し可能に設けられてよい。プログラムは、アプリケーションプログラムを含んでよい。
表示部88は、例えばLCD(Liquid Crystal Display)を用いて構成され、端末制御部81から出力された各種の情報やデータを表示する。表示部88は、アプリケーションの実行に係る各種データや情報を表示してよい。
ストレージ89は、各種データ、情報を蓄積し、保持する。ストレージ89は、HDD、SSD、SDカード、USBメモリ、等でよい。ストレージ89は、端末80の内部に設けられてよい。ストレージ89は、端末80から取り外し可能に設けられてよい。ストレージ89は、無人航空機100から取得された空撮画像や付加情報を保持してよい。付加情報は、メモリ87に保持されてよい。
図6は、撮像部220のハードウェア構成を示す図である。撮像部220は、筐体220zを有する。撮像部220は、筐体220zの内部に、カメラプロセッサ11、シャッタ12、撮像素子13、画像処理部14、メモリ15、シャッタ駆動部19、素子駆動部20、ゲイン制御部21、及びフラッシュ18を有する。カメラプロセッサ11は、UAV制御部110の指示に従って動作してよい。なお、撮像部220のこれらの構成部の一部は、省略されてもよい。
カメラプロセッサ11は、露光時間(シャッタスピード)、絞り(アイリス)、等の撮影条件(各種撮像に関するパラメータ)を決定する。カメラプロセッサ11は、露光(AE:Automatic Exposure)制御を行う。露光制御には、絞りの値を優先した露光制御(絞り固定、シャッタスピード可変)やシャッタスピードを優先した露光制御(絞り可変、シャッタスピード固定)が含まれてよい。また、カメラプロセッサ11は、NDフィルタによる減光分を加味して、露光制御を行ってもよい。
カメラプロセッサ11は、画像処理部14から出力された画像データから明度レベル(例えば画素値)を算出してよい。カメラプロセッサ11は、算出した明度レベルに基づいて撮像素子13に対するゲインの値を算出し、この算出結果をゲイン制御部21に送出してよい。カメラプロセッサ11は、算出した明度レベルに基づいてシャッタ12を開閉するためのシャッタスピードの値を算出し、算出結果をシャッタ駆動部19に送出してよい。カメラプロセッサ11は、撮像素子13にタイミング信号を供給する素子駆動部20に撮像の指示を送出してよい。
シャッタ12は、例えばフォーカルプレーンシャッタであり、シャッタ駆動部19により駆動される。シャッタ12の開放時に入射した光は、撮像素子13の撮像面上に結像する。撮像素子13は、撮像面上に結像した光学像を光電変換し、画像信号として出力する。撮像素子13には、CCD(Charge Coupled Device:電荷結合素子)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor:相補型MOS)イメージセンサが用いられてよい。
ゲイン制御部21は、撮像素子13から入力された画像信号に対してノイズを低減し、撮像信号を増幅するゲイン(利得)を制御する。画像処理部14は、ゲイン制御部21によって増幅された撮像信号に対し、アナログデジタル変換を行って画像データを生成する。画像処理部14は、シェーディング補正、色補正、輪郭強調、ノイズ除去、ガンマ補正、ディベイヤ、圧縮等の各処理を行ってよい。
メモリ15は、各種データや画像データを記憶する記憶媒体である。メモリ15は、例えば、シャッタスピードss、F値(絞りの値)、ISO感度、を基に露光量Eを算出するための露光制御情報を保持してよい。ISO感度は、ゲインに対応する値である。ND値は減光フィルタによる減光度を表す。
シャッタ駆動部19は、カメラプロセッサ11から指示されたシャッタスピードでシャッタ12を開閉する。素子駆動部20は、タイミングジェネレータであり、カメラプロセッサ11からの撮像の指示に従い、撮像素子13にタイミング信号を供給し、撮像素子13の電荷の蓄積動作、読み出し動作、リセット動作等を行う。
フラッシュ18は、カメラプロセッサ11の指示に従い、夜間撮像時や逆光補正時に閃光し、被写体を照明する。フラッシュ18には、例えばLEDライトが用いられる。フラッシュ18は光源の一例である。なお、撮像部220はフラッシュ18を備えなくてもよい。
また、撮像部220は、筐体220zの内部に、NDフィルタ32、絞り33、レンズ群34、レンズ駆動部36、ND駆動部38、及び絞り駆動部40を有する。レンズ群34は、被写体からの光を集光して撮像素子13に結像する。レンズ群34は、フォーカスレンズ、ズームレンズ、像振れ補正用レンズ、等を含んでよい。レンズ群34は、レンズ駆動部36によって駆動される。レンズ駆動部36は、モータ(図示せず)を有し、カメラプロセッサ11からの制御信号を入力すると、ズームレンズ及びフォーカスレンズを含むレンズ群34を光軸opの方向(光軸方向)に移動させてよい。レンズ駆動部36は、ズームレンズを移動させてズーム倍率を変更するズーミング動作を行う場合、筐体220zの一部でありレンズ群34を収容する鏡筒を前後方向に伸縮させてよい。
絞り33は、絞り駆動部40によって駆動される。絞り駆動部40は、モータ(図示せず)を有し、カメラプロセッサ11からの制御信号を入力すると、絞り33の開口を拡縮する。
NDフィルタ32は、光軸opの方向(光軸方向)において、例えば絞り33の近傍に配置され、入射する光の量を制限する減光を行う。ND駆動部38は、モータ(図示せず)を有し、カメラプロセッサ11からの制御信号を入力すると、NDフィルタ32を光軸op上に挿抜してよい。なお、撮像部220は、NDフィルタ32及びND駆動部38を備えなくてもよい。
図7は、無人航空機100が飛行する際の最大飛行速度Vmの導出例を説明する図である。最大飛行速度Vmは、無人航空機100の飛行速度として許容される最高速度である。最大飛行速度Vmは、シャッタスピードssと地上分解能Rとに基づく。図7では、無人航空機100が飛行速度で移動し上空から地表面やその他の被写体を撮像する場合を想定する。ここで、地上分解能Rは、無人航空機100の撮像部220が撮像(例えば空撮)する場合、撮像画像における1画素当たりの地上での距離を表す。シャッタスピードssは、撮像素子13が露光される時間(時間)を表す。
UAV制御部110は、飛行高度h、画角FOV(field of view)及び撮像素子13の画素数を用いて、式(1)に従って、地上分解能Rを算出してよい。
地上分解能R = 飛行高度h × 画角FOV/画素数 ……(1)
なお、飛行高度hは、無人航空機100の撮像時の飛行高度である。画素数は、撮像画像の画素数である。画角FOVは、撮像部220の画角でよく、撮像画像に写り込んだ地理的範囲を示す撮像範囲の基となる。例えば、画角FOVは、撮像部220による撮像範囲の水平方向成分ph1及び撮像距離としての飛行高度hを用いて、FOV=ph1/hで近似してよい。よって、画角FOVは、長さ(距離)の比によって示されてよい。
UAV制御部110は、飛行高度h、画素数、及び画角FOVを、メモリ160から取得してよい。UAV制御部110は、飛行高度h、画素数、及び画角FOVを、通信インタフェース150を介して端末80から取得してよい。この場合、端末80の端末制御部81が、飛行高度h、画素数、及び画角FOVの情報を算出してもよいし、操作部83を介して取得してもよい。
また、UAV制御部110は、シャッタスピードssと地上分解能Rとを用いて、式(2)に従って最大飛行速度Vmを算出してよい。
最大飛行速度Vm = 地上分解能R / シャッタスピードss ……(2)
最大飛行速度Vmは、無人航空機100が飛行中に撮像部220で撮像する場合、モーションブラーが好適に抑制されると想定される飛行速度の上限値である。式(2)に従うことで、シャッタスピードssが速い程、最大飛行速度Vmは小さくなる。また、地上分解能Rが大きい程、最大飛行速度Vmは大きくなる。
最大飛行速度Vmで無人航空機100が飛行する場合、撮像部220による1回の撮像期間に無人航空機100が移動する距離は、撮像画像における1画素に対応する実空間での距離に相当する。したがって、無人航空機100が最大飛行速度Vm以下で飛行する場合、無人航空機100が1回の撮像期間に移動する距離は、1画素に対応する距離以内となるので、モーションブラーは発生しない。
なお、最大飛行速度Vmは、無人航空機100が1回の撮像期間に移動する距離が1画素に対応する距離を超えても、例えば2画素や3画素に対応する距離になってもよい。つまり、飛行速度の上限値が、式(2)で表される最大飛行速度Vmよりも大きな値に設定されてよい。また、UAV制御部110は、モーションブラーの許容に関する許容情報(例えば許容量)を設定してもよく、この許容情報がメモリ160から取得されてもよいし、通信インタフェース150を介して端末80から取得されてもよい。UAV制御部110は、この許容情報が示す許容範囲の上限に、飛行速度の上限値を設定することも可能である。この場合でも、モーションブラーの発生の抑制に繋がる。
図8は、飛行システム10による飛行制御手順の一例を示すフローチャートである。この飛行制御処理は、主に無人航空機100によって行われることを例示する。無人航空機100が撮像位置(WayPoint)に向かう途中に、露光制御が行われ、シャッタスピードの調整(自動調整)が行われてよい。シャッタスピードの調整は、最初の撮像位置から最後の撮像位置まで連続して行われてよい。また、シャッタスピードは、一度調整された後には、各撮像位置での撮像(一連の撮像)のために変更されなくてよいし、各撮像位置での撮像のために例えば毎回変更されてもよい。
UAV制御部110は、飛行範囲の情報を取得する(T1)。飛行範囲は、無人航空機100が飛行する地理的な範囲でよい。UAV制御部110は、端末80において操作部83を介してユーザ入力を受けて飛行範囲が指定され。通信インタフェース150を介して飛行範囲を取得してよい。また、UAV制御部110は、通信インタフェース150を介して、外部サーバから地図情報を取得してよい。飛行範囲の情報は、例えば、飛行範囲を矩形の範囲に設定する場合、操作部83を介してユーザが地図情報における矩形の四隅の位置(緯度,経度)を入力することで、得られてよい。また、飛行範囲の情報は、飛行範囲を円形の範囲に設定する場合、操作部83を介してユーザが飛行位置を中心とする円の半径を入力することで、得られてよい。また、飛行範囲の情報は、操作部83を介してユーザが地域や特定の地名(例えば東京)等の情報を入力することで、地図情報を基に得られてよい。また、UAV制御部110は、メモリ160に保持された飛行範囲を、メモリ160から取得してよい。
また、UAV制御部110は、飛行範囲の情報を基に、地形情報を取得してよい。例えば、UAV制御部110は、通信インタフェース150を介して接続されたネットワーク上の地図サーバと連動し、飛行範囲の地形情報を取得してよい。地形情報は、飛行範囲の各位置の位置情報(緯度、経度、高度)を含んでよい。各位置の位置情報を集約することで、飛行範囲の3次元形状を示してよい。また、地形情報は、建物、山、森林、鉄塔等の地表面の形状の情報やオブジェクトの情報を含んでよい。
UAV制御部110は、各種パラメータを取得する(T2)。パラメータは、撮像部220による撮像や無人航空機100の飛行に関するパラメータでよい。このパラメータは、例えば、撮像位置、撮像日時、被写体までの距離、撮像画角(画角)、シャッタスピード、露出値、撮像モード、等を含んでよい。撮像モードは、例えば、露光制御に関するモードを含んでよく、例えば、シャッタ速度優先AEモード、絞り優先AEモードを含んでよい。UAV制御部110は、端末80において操作部83を介してユーザ入力を受けて各種パラメータの値が指定され、通信インタフェース150を介してパラメータを取得してよい。UAV制御部110は、メモリ160に保持された各種パラメータを、メモリ160から取得してよい。
UAV制御部110は、飛行高度の情報を取得する(T3)。UAV制御部110は、端末80において操作部83を介してユーザ入力を受けて飛行高度が指定され、通信インタフェース150を介して飛行高度を取得してよい。UAV制御部110は、通信インタフェース150を介して外部サーバから飛行高度を取得してよい。UAV制御部110は、メモリ160に保持された飛行高度の情報を取得してよい。また、UAV制御部110は、飛行範囲の地形情報や、取得されたパラメータに含まれる被写体までの距離等の情報を基に、飛行高度を算出してよい。UAV制御部110は、公知の方法に従って、飛行高度を算出してよい。
UAV制御部110は、飛行経路の情報を取得する(T4)。UAV制御部110は、は、端末80において操作部83を介してユーザ入力を受けて飛行経路が指定され、通信インタフェース150を介して飛行経路を取得してよい。UAV制御部110は、通信インタフェース150を介して外部サーバから飛行経路を取得してよい。UAV制御部110は、メモリ160に保持された飛行経路を取得してよい。また、UAV制御部110は、飛行範囲、地形情報及び飛行高度を基に、飛行経路を生成してよい。生成される飛行経路は、例えば飛行範囲内の地形を撮像するための3次元空間における撮像位置を通ってよい。飛行経路の情報は、撮像位置の情報や飛行高度の情報を含んでよい。UAV制御部110は、公知の方法に従って、飛行経路を生成してよい。
撮像部220のカメラプロセッサ11は、パラメータに含まれる撮像モードを参照する。ここでは撮像モードが絞り優先モードであることを想定する。カメラプロセッサ11は、撮像モードを絞り優先AEモードに設定する。よって、カメラプロセッサ11は、絞り値を固定し、シャッタスピードssを調整する(T5)。カメラプロセッサ11は、例えば露光制御するための露光制御情報に従って、照度センサ190により検出された照度を基に、シャッタスピードssを調整してよい。また、カメラプロセッサ11は、画像処理部14から出力された画像データの明度レベル(例えば画素値)を基に、シャッタスピードssを調整してよい。カメラプロセッサ11は、撮像位置毎に、シャッタスピードssを調整してよい。カメラプロセッサ11は、調整されたシャッタスピードssをメモリ15に記憶させる。また、カメラプロセッサ11は、メモリ15に記憶された、各撮像位置で調整されたシャッタスピードssをUAV制御部110に送る。
UAV制御部110は、地上分解能Rを導出してよい。この場合、UAV制御部110は、例えばメモリ160に保持された飛行高度h、画角FOV、画素数の情報を取得してよい。UAV制御部110は、式(1)に従って、飛行高度h、画角FOV、画素数に基づいて、地上分解能Rを算出してよい。
UAV制御部110は、最大飛行速度Vmを導出してよい。この場合、UAV制御部110は、シャッタスピードss(例えば各撮像位置で調整されたシャッタスピードss)と地上分解能Rとを基に、式(2)に従って、最大飛行速度Vmを算出してよい(T6)。
UAV制御部110は、導出された最大飛行速度Vmを基に、例えば式(3)に従い、飛行速度Voを調整する(T7)。飛行速度Voは、無人航空機100が飛行する際の速度であり、最大飛行速度Vm以下の速度である。
Vo = k×Vm ……(3)
なお、kは0〜1の範囲で任意に設定可能な係数であり、つまり可変値である。ここでは、一例として、k=0.5に設定されてよい。
UAV制御部110は、飛行経路に沿って、導出(調整)された飛行速度Voで飛行しながら、撮像部220により、導出されたシャッタスピードssで空撮を行う(T8)。つまり、UAV制御部110が、シャッタスピードss、最大飛行速度Vm、飛行速度Vo、等の情報を設定し、この設定情報をメモリ160に保持することが、無人航空機100の飛行の制御を指示することに相当してよい。UAV制御部110は、メモリ160に保持された情報(設定情報)を基に、この無人航空機100の飛行の制御の指示に従って、動作可能である。
UAV制御部110は、例えばメモリ160に保持された飛行経路を参照し、GPS受信機等240等を介して取得された無人航空機100の位置情報を参照し、無人航空機100が飛行経路の終点に達し、飛行完了となったか否かを判別する(T9)。飛行完了でない場合、UAV制御部110は、手順T5に戻り、次の撮像位置での撮像に備えてシャッタスピード調整や飛行速度の調整を行う。一方、飛行完了である場合、UAV制御部110は、図8の処理を終了する。
このように、無人航空機100は、図8に示した飛行制御手順を実施することで、画像を撮像する無人航空機100の移動に起因するモーションブラーが発生することを抑制でき、撮像画像の画質の低下を抑制できる。そのため、無人航空機100は、例えば複数の撮像画像に基づいて合成画像の生成や地形の形状推定を行っても、合成画像の画質低下や形状推定の推定精度の低下を抑制できる。
また、無人航空機100の飛行時間が長い場合、無人航空機100の周囲(例えば被写体)の明暗が変化し易い。すると、最初に計算したモーションブラー抑制のためのシャッタスピードssが適切でなくなることがある。例えば絞り優先AEモードでは、絞りが固定で、シャッタスピードssが自動調整される。明暗の変化があると、明るさ(照度)を維持するために、シャッタスピードssが変化する。この場合でも、無人航空機100は、露光制御により逐次シャッタスピードssを調整し、この調整に合わせて最大飛行速度Vmや飛行速度を調整することで、モーションブラーの発生を低減できる。
また、一例として、最大飛行速度Vmが、1回の撮像期間内に撮像画像の1画素分の距離(分解能)を移動する速度に設定されることを例示した。これに限らず、1回の撮像期間内に所定画素数(2画素以上)の距離を移動できる速度に設定されてもよい。つまり、1回の撮像期間内に移動する距離は、モーションブラーが抑制されたとして許容される画素数分の距離に設定されてもよい。
なお、実空間における無人航空機100の飛行中にリアルタイムに図8の処理が行われることを例示したが、無人航空機100が飛行していない状態で図8の処理が行われてもよい。つまり、無人航空機100の各種情報(例えば各種パラメータ、飛行高度h、シャッタスピードss、最大飛行速度Vm、飛行速度Vo)を演算により導出し、無人航空機100の飛行の状態を推定してよい。このように、モーションブラーが抑制できるように、仮想空間においてシミュレーションしてよい。このようなシミュレーションは、端末80により行われてもよい。
このように、無人航空機100(情報処理装置の一例)は、無人航空機100(飛行体の一例)による飛行の制御を指示し、UAV制御部110(制御部の一例)を備える。UAV制御部110は、無人航空機100が撮像するためのシャッタスピードssの情報を取得(例えば算出)してよい。UAV制御部110は、無人航空機100が撮像する撮像画像における1画素あたりの実空間での距離の情報を取得(例えば算出)してよい。UAV制御部110は、シャッタスピードssと1画素あたりの実空間での距離に基づいて、無人航空機100の最大飛行速度Vm(飛行速度の上限値の一例)を決定してよい。UAV制御部110は、無人航空機100の最大飛行速度Vm以下の飛行速度Voとなるように、飛行速度の制御を指示してよい。
これにより、無人航空機100は、シャッタスピードssや無人航空機100が撮像する撮像画像における1画素あたりの実空間での距離を加味して、無人航空機100の飛行速度を制限できる。例えば、定められたシャッタスピードssで画像を撮像する間に無人航空機100が移動しても、決定された飛行速度以内の飛行速度Voで無人航空機100が飛行することで、無人航空機100の移動を、撮像画像における連続する所定数の画素以内での移動に留めることができる。よって、無人航空機100は、無人航空機100による撮像時にこの無人航空機100が移動することによるモーションブラーの発生を抑制でき、撮像画像の画質が低下することを抑制できる。
また、UAV制御部110は、無人航空機100の飛行高度hを取得してよい。UAV制御部110は、無人航空機100が撮像するための画角(例えば画角FOV)を取得してよい。UAV制御部110は、撮像画像の画素数を取得してよい。UAV制御部110は、無人航空機100の飛行高度h、画角、撮像画像の画素数に基づいて、1画素あたりの実空間での距離を算出してよい。
これにより、無人航空機100が容易に取得可能なパラメータを用いて、1画素あたりの実空間での距離を容易に算出できる。
また、UAV制御部110は、無人航空機100による1回の撮像期間に無人航空機100が移動する距離が、撮像画像における1画素に対応する実空間での距離以内でよい。
これにより、無人航空機100は、例えば定められたシャッタスピードssで画像を撮像する間に無人航空機100が移動しても、決定された飛行速度以内の飛行速度Voで無人航空機100が飛行すること、撮像画像における1画素内の範囲での移動に留めることができる。よって、無人航空機100は、この飛行速度Voで飛行することで、モーションブラーの発生を確実に回避できる。
また、UAV制御部110は、飛行速度の上限値に基づいて、飛行速度を調整して飛行してよい。
これにより、無人航空機100自身が、飛行速度の上限値を演算し、飛行速度Voを調整できる。よって、飛行速度Voの決定から飛行制御まで無人航空機100のみで完結できる。
(第2の実施形態)
第1の実施形態では、無人航空機100がシャッタスピードssを算出し、このシャッタスピードssに対応する最大飛行速度Vmを導出した。第2の実施形態では、撮像部220の周囲の照度Lを基に最大飛行速度Vmを導出する場合を示す。
また、第2の実施形態の飛行システムは、第1の実施形態とほぼ同一の構成を有する。第1の実施形態と同一の構成要素については同一の符号を用いることで、その説明を省略又は簡略化する。
図9は、照度Lと最大飛行速度Vmとの対応関係の一例を示すテーブルTbである。このテーブルTbは、無人航空機100のメモリ160に保持されてよい。照度Lは、照度センサ190によって検出されてよい。なお、照度センサ190を用いる代わりに、UAV制御部110又は撮像部220のカメラプロセッサ11が、撮像部220の撮像素子13で撮像される画像の輝度を基に照度Lを算出してよい。
テーブルTbでは、照度LがL1,L2,…,Lkと大きくなる程、無人航空機100の最大飛行速度Vmが、V1,V2,…,Vkと大きくなるように設定される。つまり、無人航空機100の周囲が明るい程、単位時間あたりの撮像素子13の入射光量が増えるので、露光制御によりシャッタスピードssが速くなる。シャッタスピードssが速い場合、撮像画像において1画素分移動する無人航空機100の飛行速度Voは、高速となる。一方、無人航空機100の周囲が暗い程、単位時間あたりの撮像素子13の入射光量が減少するので、露光制御によりシャッタスピードssが遅くなる。シャッタスピードssが遅い場合、撮像画像において1画素分移動する無人航空機100の飛行速度Voは、低速となる。
テーブルTbに保持される照度L及び最大飛行速度Vmの対応関係では、撮像部220の撮像パラメータ(例えばシャッタスピードss)は考慮されていない。一方、本実施形態における照度Lに対応するシャッタスピードssと最大飛行速度Vmとの対応関係は、第1の実施形態におけるシャッタスピードssと最大飛行速度Vmとの対応関係と同様になる。照度Lに対応するシャッタスピードssは、絞り優先AEモードに従った露光制御により自動調整される。つまり、第1の実施形態におけるシャッタスピードssと最大飛行速度Vmとの対応関係が、無人航空機100の周囲の照度L(明るさ)と最大飛行速度Vmとの対応関係に変換されたような対応関係の情報が、メモリ160に保持されてよい。つまり、メモリ160は、第1の実施形態での露光制御に対応するような照度Lに対応する速度の関係の情報を保持する。
UAV制御部110は、テーブルTbの情報を、メモリ160以外から取得してよい。この場合、UAV制御部110は、テーブルTbの情報を、通信インタフェース150を介して外部サーバから取得してよい。
図10は、第2の実施形態における無人航空機100による飛行制御手順の一例を示すフローチャートである。図10において、第1の実施形態の図8と同一の処理については、同一のステップ番号を付すことで、その説明を省略又は簡略化する。
まず、無人航空機100は、手順T1〜T4の処理を行う。UAV制御部110は、照度センサ190によって検出される照度Lを取得する(T5A)。UAV制御部110は、メモリ160に登録されたテーブルTb1を参照し、照度Lに対応する最大飛行速度Vmを取得する(T6A)。手順T7では、UAV制御部110は、取得された最大飛行速度Vmを基に、飛行速度Voを調整する。手順T7以降の処理については、第1の実施形態と同様である。
このように、第2の実施形態の飛行システム10では、UAV制御部110は、照度センサ190により検出された無人航空機100の周囲の照度L、例えば撮像部220の被写体の照度Lを取得してよい。UAV制御部110は、例えばメモリ160に記憶されたテーブルに保持された、照度Lと無人航空機100の最大飛行速度Vm(飛行速度の上限値の一例)との関係を示す関係情報を取得してよい。UAV制御部110は、この関係情報を基に、照度センサ190により取得された照度Lに対応する無人航空機100の最大飛行速度Vmを導出してよい。UAV制御部110は、最大飛行速度Vm以下の飛行速度Voとなるように、飛行速度の制御を指示してよい。
これにより、無人航空機100は、照度Lと無人航空機100の飛行速度の上限値との関係性を示す関係情報を参照して、無人航空機100の周囲の照度(明るさ)を基に、無人航空機100の飛行速度を制限できる。関係情報は、例えば、取得された照度Lに応じたシャッタスピードssで画像を撮像する間に無人航空機100が移動しても、制限された飛行速度以内の飛行速度Voで無人航空機100が飛行することで、無人航空機100の移動を、撮像画像における連続する所定数の画素以内での移動に留めることができるような情報である。よって、無人航空機100は、無人航空機100による撮像時にこの無人航空機100が移動することによるモーションブラーの発生を抑制でき、撮像画像の画質が低下することを抑制できる。
また、UAV制御部110は、照度Lが大きい程、無人航空機100の飛行速度の上限値を大きくし、照度Lが小さい程、無人航空機100の飛行速度の上限値を小さくしてよい。
例えば、絞り優先で露光制御する場合、照度Lが大きいと、シャッタスピードssが高速化される。この場合、無人航空機100による1回の撮像期間が短くなる。一方、1画素あたりの実空間の距離は、撮像画角、撮像画像の画素数、飛行高度、等のパラメータが変更されない場合には不変である。よって、無人航空機100は、照度Lが大きい程、無人航空機100の飛行速度の上限値を大きくしても、モーションブラーの発生を抑制できる。
例えば、絞り優先で露光制御する場合、照度Lが小さいと、シャッタスピードssが低速化される。この場合、無人航空機100による1回の撮像期間が長くなる。一方、1画素あたりの実空間の距離は、撮像画角、撮像画像の画素数、飛行高度、等のパラメータが変更されない場合には不変である。よって、無人航空機100は、照度Lが大きい程、無人航空機100の飛行速度の上限値を小さくすることで、モーションブラーの発生を抑制できる。
(第3の実施形態)
第1、第2の実施形態では、無人航空機100が、飛行経路に沿って、ユーザによる操作(操縦)を受けずに自動飛行することを例示した。第3の実施形態では、無人航空機100が、ユーザによる操作(操縦)を受けて手動飛行することを例示する。
本実施形態では、ユーザが送信機(プロポ)を用いて無人航空機100の飛行を操作(飛行の制御を指示)する際に、最大飛行速度Vmが制限される。最大飛行速度Vmの導出方法は、第1の実施形態又は第2の実施形態で説明した最大飛行速度Vmの導出方法と同様でよい。
図11は、第3の実施形態における飛行システム10Bの構成例を示す図である。なお、図11において、図1と同様の構成については、同一の符号を付してその説明を省略又は簡略化する。
飛行システム10Bは、無人航空機100、送信機50(プロポ)、及び端末80を備えた構成であってよい。端末80は、例えばスマートフォン、タブレット端末、PC、等でよい。送信機50は、送信機50の前面に配置された左右の制御棒を使って、ユーザの操作を受け付けて無人航空機100の飛行の制御を指示可能である。無人航空機100、送信機50、及び端末80は、相互に有線通信又は無線通信により通信可能である。
無人航空機100では、通信インタフェース150は、送信機50と通信を行い、遠隔の送信機50からUAV制御部110に対する各種の命令や情報を受信してよい。UAV制御部110は、通信インタフェース150を介して遠隔の送信機50から受信した命令に従って、無人航空機100の飛行を制御する。
図12は、送信機50のハードウェア構成例を示すブロック図である。送信機50は、左制御棒53Lと、右制御棒53Rと、送信機制御部61と、通信部63と、メモリ67、等を備える。送信機50は、上記以外のその他の構成部(例えばボタン等の操作部、LED等の表示部)を備えてもよい。
左制御棒53Lは、例えば操作者の左手により、無人航空機100の移動を遠隔で制御するための操作に使用される。右制御棒53Rは、例えば操作者の右手により、無人航空機100の移動を遠隔で制御するための操作に使用される。無人航空機100の移動は、例えば前進する方向の移動、後進する方向の移動、左方向の移動、右方向の移動、上昇する方向の移動、下降する方向の移動、左方向に無人航空機100を回転する移動、右方向に無人航空機100を回転する移動のうちいずれか又はこれらの組み合わせでよい。
通信部63は、各種の無線通信方式により、無人航空機100や端末80との間で無線通信する。この無線通信の無線通信方式は、例えば、無線LAN、Bluetooth(登録商標)、又は公衆無線回線を介した通信を含んでよい。通信部85は、任意の有線通信方式により有線通信してよい。通信部85は、端末80を介して、無人航空機100との間で通信してよい。送信機50と端末80とがケーブル(例えばUSBケーブル)で接続されてもよい。
メモリ67は、例えば送信機50の動作を規定するプログラムや設定値のデータが格納されたROMと、送信機制御部61の処理時に使用される各種の情報やデータを一時的に保存するRAMを有してよい。メモリ67は、ROM及びRAM以外のメモリが含まれてよい。メモリ67は、送信機50の内部に設けられてよい。メモリ67は、送信機50から取り外し可能に設けられてよい。
送信機制御部61は、プロセッサ(例えばCPU、MPU又はDSP)を用いて構成される。送信機制御部61は、送信機50の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
送信機制御部61は、操作者の左制御棒53L又は右制御棒53Rの操作により指定された無人航空機100の飛行を制御するための指示信号を生成してよい。送信機制御部61は、この指示信号を、通信部63を介して、無人航空機100に送信して無人航空機100を遠隔制御してよい。これにより、送信機50は、無人航空機100の移動を遠隔で制御できる。
例えば、ユーザが左制御棒53L又は右制御棒53Rを操作し、無人航空機100の飛行速度又は飛行加速度を変更する操作を行うと、送信機制御部61は、左制御棒53L又は右制御棒53Rによる操作の指示信号を受け取る。つまり、左制御棒53L又は右制御棒53Rの操作は、無人航空機100の飛行速度を変更する操作であっても無人航空機100の飛行加速度を変更する操作であってもよい。言い換えると、左制御棒53L又は右制御棒53Rは、速度を指示しても加速度を指示してもよい。送信機制御部61は、通信部63を介して、この指示信号を無人航空機100に送信する。
飛行速度又は飛行加速度を変更する操作は、飛行速度又は飛行加速度を大きくする加速操作と、飛行速度又は飛行加速度を小さくする減速操作と、を含んでよい。UAV制御部110は、左制御棒53L又は右制御棒53Rによる加速操作の操作量に応じて、無人航空機100の飛行速度又は飛行加速度を決定してよい。また、UAV制御部110は、飛行加速度を決定する操作の操作量の累積値に応じて、無人航空機100の飛行速度を決定してよい。
無人航空機100では、UAV制御部110は、通信インタフェース150を介して、送信機50からの指示信号を取得する。UAV制御部110は、指示信号に従い、回転翼機構210の駆動を制御し、無人航空機100の飛行速度又は飛行加速度を変更する。この場合、UAV制御部110は、無人航空機100の飛行速度を、最大飛行速度Vm以下の飛行速度Voに制限する。
次に、飛行システム10Bによる無人航空機100の飛行速度の制限について説明する。
UAV制御部110は、実際の無人航空機100の飛行速度を取得(例えば算出)してよい。UAV制御部110は、例えば、GPS受信機等240等を介して複数の時点で無人航空機100の位置情報を取得し、複数の時点の位置情報を基に飛行速度を算出してよい。また、慣性計測装置250等を介して無人航空機100の加速度を取得し、無人航空機100の加速度を積分して無人航空機100の飛行速度を算出してよい。
UAV制御部110は、送信機50からの加速操作の指示信号を取得した場合、無人航空機100の飛行速度が最大飛行速度Vm以下の飛行速度Voとなるように制御する。この場合、UAV制御部110は、無人航空機100の飛行速度が最大飛行速度Vmに到達している状態では、送信機50からの加速操作の指示信号に応じた加速を制限(例えば禁止)してよい。
例えば、UAV制御部110は、速度を指示する加速操作の場合に、左制御棒53L又は右制御棒53Rによる加速操作の最大操作量(例えば制御棒を最大限前方向に倒した場合の操作量)の場合の飛行速度Voを、最大飛行速度Vmと同値に設定してよい。この設定情報がメモリ160に保持され、UAV制御部110により参照されてよい。UAV制御部110は、この設定情報に従って加速操作に応じた加速を行うことで、速度による加速操作を受ける場合でも、無人航空機100の飛行速度を最大飛行速度Vm以下の飛行速度Voに制限できる。
例えば、UAV制御部110は、加速度を指示する加速操作の場合に、左制御棒53L又は右制御棒53Rによる加速操作を取得した場合、無人航空機100の加速操作に応じた飛行時の飛行速度を、最大飛行速度Vm以下の飛行速度Voとなるように制御してよい。この場合、UAV制御部110は、加速操作前の飛行速度に加速操作に応じた速度を合計した速度が、最大飛行速度Vm以上となる場合、加速操作に応じた加速を制限してよい。この場合、UAV制御部110は、加速操作前の飛行速度を加速すること自体を禁止してもよいし、最大飛行速度Vmに到達するまでの加速分を許可し、最大飛行速度Vmに到達した後の加速分を禁止してもよい。これにより、無人航空機100は、加速度による加速操作を受ける場合でも、無人航空機100の飛行速度を最大飛行速度Vm以下の飛行速度Voに制限できる。
なお、無人航空機100側で無人航空機100の飛行速度を制限する代わりに、送信機50側で無人航空機100の飛行速度を制限してもよい。この場合、UAV制御部110が、通信インタフェース150を介して、最大飛行速度Vmや無人航空機100の飛行速度(実測値)の情報を送信機50に通知し、送信機50のメモリ67に保持しておいてよい。送信機50の送信機制御部61は、メモリ67に保持された最大飛行速度Vmを参照し、左制御棒53L又は右制御棒53Rによる操作の操作量に基づいて、又は操作量と取得された飛行速度の実測値に基づいて、無人航空機100の飛行速度Vo(指示値)を算出してよい。送信機50の送信機制御部61は、無人航空機100の飛行速度(指示値)が最大飛行速度Vmより大きい場合、通信部63を介した加速操作の指示信号の送信を禁止してもよい。また、送信機制御部61は、最大飛行速度Vmに到達するまでの加速分の指示信号の送信を許可し、最大飛行速度Vmに到達した後の加速分の指示信号の送信を禁止してもよい。これにより、送信機50は、速度又は加速度による加速操作を行う場合でも、無人航空機100の飛行速度を最大飛行速度Vm以下に制限できる。
このように、第3の実施形態の飛行システム10Bによれば、ユーザは、送信機50を用いて無人航空機100の飛行を手動操作でき、つまり手動で無人航空機100の飛行の制御を指示する。よって、送信機50は、ユーザによる無人航空機100の飛行の手動操作を受ける場合でも、無人航空機100が移動することによるモーションブラーの発生を抑制でき、撮像画像の画質の低下を抑制できる。
第3の実施形態では、飛行システム10Bが送信機50を備え、送信機50が無人航空機100の飛行を手動操作し、手動で無人航空機100の飛行の制御を指示することを示したが、これ以外でもよい。例えば、飛行システム10Bが送信機50を備えず、端末80が無人航空機100の飛行を手動操作し、手動で無人航空機100の飛行の制御を指示してもよい。例えば、端末80の操作部83が、送信機50の左制御棒53L又は右制御棒53Rによる操作と同様の無人航空機100の移動のための操作を受けて、無人航空機100の速度や加速度を変更させてよい。この場合でも、端末80は、無人航空機100が移動することによるモーションブラーの発生を抑制でき、撮像画像の画質の低下を抑制できる。
このように、UAV制御部110は、例えば通信インタフェース150を介して、無人航空機100の飛行速度を変更するための操作情報を取得してよい。UAV制御部110は、操作情報に基づいて、無人航空機100の飛行速度の上限値以下の飛行速度Voとなるように、飛行速度を調整して飛行を制御してよい。
これにより、無人航空機100は、送信機50等から飛行速度を変更するための遠隔操作を受けた場合でも、最大飛行速度Vmを加味しながら、飛行速度を調整して飛行制御できる。よって、無人航空機100は、送信機50等を用いた手動操作を受ける場合でも、モーションブラーの発生を抑制できる。
なお、飛行システム10Bでは、端末80が実行する処理を送信機50が実行してもよい。この場合、送信機50は、端末80と同様に、操作部、表示部、等も有してよい。飛行システム10Bが送信機50を有する場合、端末80が設けられなくてもよい。
以上、本開示を実施形態を用いて説明したが、本開示の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
第1,第2の実施形態では、無人航空機100が主導で最大飛行速度Vmの導出や飛行速度Voの調整を行うことを例示したが、端末80が主導で最大飛行速度Vmの導出や飛行速度Voの調整を行ってもよい。この場合、端末80の端末制御部81が、通信部85を介して無人航空機100が保持する情報を取得してよい。例えば、露光制御を行うための露光制御情報(例えば露光制御アルゴリズムの情報)、無人航空機100の周囲の照度の情報(例えば照度センサ190で検出された照度)、照度Lと最大飛行速度Vmとの対応関係の情報を保持するテーブルTb、を端末80のメモリ87に保持しておいてよい。端末制御部81は、T5〜T7の処理を演算により仮想的に行い、通信部85を介して、撮像位置や飛行経路や飛行速度Vo(指示値)の情報を無人航空機100へ送信してよい。無人航空機100では、UAV制御部110は、飛行経路に沿って、導出(調整)された飛行速度Voで飛行しながら、撮像部220により、導出されたシャッタスピードssで撮像位置において空撮を行ってよい。
このように、端末80(情報処理装置の一例)は、無人航空機100(飛行体の一例)による飛行の制御を指示し、端末制御部81(処理部の一例)を備えてよい。端末制御部81は、無人航空機100が撮像するためのシャッタスピードssの情報を取得してよい。端末制御部81は、無人航空機100が撮像する撮像画像における1画素あたりの実空間での距離の情報を取得してよい。端末制御部81は、シャッタスピードssと1画素あたりの実空間での距離に基づいて、無人航空機100の最大飛行速度Vm(飛行速度の上限値の一例)を決定してよい。端末制御部81は、無人航空機100の最大飛行速度Vm以下の飛行速度Voとなるように、飛行速度の制御を指示してよい。
これにより、端末80は、シャッタスピードssや無人航空機100が撮像する撮像画像における1画素あたりの実空間での距離を加味して、無人航空機100の飛行速度を制限できる。例えば、定められたシャッタスピードssで画像を撮像する間に無人航空機100が移動しても、決定された飛行速度以内の飛行速度Voで無人航空機100が飛行することで、端末80は、無人航空機100の移動を、撮像画像における連続する所定数の画素以内での移動に留めることができる。よって、端末80は、無人航空機100による撮像時にこの無人航空機100が移動することによるモーションブラーの発生を抑制でき、撮像画像の画質が低下することを抑制できる。
また、飛行システム10では、端末制御部81は、照度センサ190により検出された無人航空機100の周囲の照度L、例えば撮像部220の被写体の照度Lを取得してよい。端末制御部81は、例えばメモリ87に記憶されたテーブルTbに保持された、照度Lと無人航空機100の飛行速度の上限値との関係を示す関係情報を取得してよい。端末制御部81は、この関係情報を基に、照度センサ190により取得された照度Lに対応する無人航空機100の最大飛行速度Vmを導出(例えば算出)してよい。端末制御部81は、最大飛行速度Vm以下の飛行速度Voとなるように、飛行速度の制御を指示してよい。
これにより、端末80は、照度Lと無人航空機100の飛行速度の上限値との関係性を示す関係情報を参照して、無人航空機100の周囲の照度(明るさ)を基に、無人航空機100の飛行速度を制限できる。関係情報は、例えば、取得された照度Lに応じたシャッタスピードssで画像を撮像する間に無人航空機100が移動しても、制限された飛行速度以内の飛行速度Voで無人航空機100が飛行することで、無人航空機100の移動を、撮像画像における連続する所定数の画素以内での移動に留めることができるような情報である。よって、端末80は、無人航空機100による撮像時にこの無人航空機100が移動することによるモーションブラーの発生を抑制でき、撮像画像の画質が低下することを抑制できる。
10,10B 飛行システム
11 カメラプロセッサ
12 シャッタ
13 撮像素子
14 画像処理部
15 メモリ
18 フラッシュ
19 シャッタ駆動部
20 素子駆動部
21 ゲイン制御部
32 NDフィルタ
33 絞り
34 レンズ群
36 レンズ駆動部
38 ND駆動部
40 絞り駆動部
50 送信機
53L 左制御棒
53R 右制御棒
61 送信機制御部
63 通信部
67 メモリ
80 端末
81 端末制御部
83 操作部
85 通信部
87 メモリ
88 表示部
89 ストレージ
100 無人航空機
110 UAV制御部
150 通信インタフェース
160 メモリ
170 ストレージ
190 照度センサ
200 ジンバル
210 回転翼機構
220,230 撮像部
220z 筐体
240 GPS受信機
250 慣性計測装置
260 磁気コンパス
270 気圧高度計
280 超音波センサ
290 レーザー測定器
h 飛行高度
L 照度
Tb テーブル
Vm 最大飛行速度
Vo 飛行速度

Claims (16)

  1. 飛行体による飛行の制御を指示する情報処理装置であって、
    処理部を備え、
    前記処理部は、
    前記飛行体が撮像するためのシャッタスピードの情報を取得し、
    前記飛行体が撮像する撮像画像における1画素あたりの実空間での距離の情報を取得し、
    前記シャッタスピードと前記1画素あたりの実空間での距離に基づいて、前記飛行体の飛行速度の上限値を決定し、
    前記飛行体の飛行速度の上限値以下の飛行速度となるように、前記飛行速度の制御を指示する、
    情報処理装置。
  2. 前記処理部は、
    前記飛行体の飛行高度を取得し、
    前記飛行体が撮像するための画角を取得し、
    前記撮像画像の画素数を取得し、
    前記飛行体の飛行高度、前記画角、前記撮像画像の画素数に基づいて、前記1画素あたりの実空間での距離を算出する、
    請求項1に記載の情報処理装置。
  3. 前記飛行体による1回の撮像期間に前記飛行体が移動する距離が、前記撮像画像における1画素に対応する実空間での距離以内である、
    請求項1または2に記載の情報処理装置。
  4. 飛行体による飛行の制御を指示する情報処理装置であって、
    処理部を備え、
    前記処理部は、
    前記飛行体が備える照度センサにより検出された前記飛行体の周囲の照度を取得し、
    照度と、前記飛行体の飛行速度の上限値と、の関係を示す関係情報を取得し、
    前記関係情報に基づいて、取得された前記照度に対応する前記飛行体の飛行速度の上限値を導出し、
    前記飛行体の飛行速度の上限値以下の飛行速度となるように、前記飛行速度の制御を指示する、
    情報処理装置。
  5. 前記処理部は、
    前記照度が大きい程、前記飛行体の飛行速度の上限値を大きくし、
    前記照度が小さい程、前記飛行体の飛行速度の上限値を小さくする、
    請求項4に記載の情報処理装置。
  6. 前記情報処理装置は、前記飛行体であり、
    前記処理部は、前記飛行速度の上限値に基づいて、前記飛行速度を調整して飛行を制御する、
    請求項1〜5のいずれか1項に記載の情報処理装置。
  7. 前記処理部は、
    前記飛行体の飛行速度を変更するための操作情報を取得し、
    前記操作情報に基づいて、前記飛行体の飛行速度の上限値以下の飛行速度となるように、前記飛行速度を調整して飛行を制御する、
    請求項6に記載の情報処理装置。
  8. 飛行体による飛行の制御を指示する情報処理装置における飛行制御指示方法であって、
    前記飛行体が撮像するためのシャッタスピードの情報を取得するステップと、
    前記飛行体が撮像する撮像画像における1画素あたりの実空間での距離の情報を取得するステップと、
    前記シャッタスピードと前記1画素あたりの実空間での距離に基づいて、前記飛行体の飛行速度の上限値を決定するステップと、
    前記飛行体の飛行速度の上限値以下の飛行速度となるように、前記飛行速度の制御を指示するステップと、
    を含む飛行制御指示方法。
  9. 前記距離の情報を取得するステップは、
    前記飛行体の飛行高度を取得するステップと、
    前記飛行体が撮像するための画角を取得するステップと、
    前記撮像画像の画素数を取得するステップと、
    前記飛行体の飛行高度、前記画角、前記撮像画像の画素数に基づいて、前記1画素あたりの実空間での距離を算出するステップと、を含む、
    請求項8に記載の飛行制御指示方法。
  10. 前記飛行体による1回の撮像期間に前記飛行体が移動する距離が、前記撮像画像における1画素に対応する実空間での距離以内となる、
    請求項8または9に記載の飛行制御指示方法。
  11. 飛行体による飛行の制御を指示する情報処理装置における飛行制御指示方法であって、
    前記飛行体が備える照度センサにより検出された前記飛行体の周囲の照度を取得するステップと、
    照度と、前記飛行体の飛行速度の上限値と、の関係を示す関係情報を取得するステップと、
    前記関係情報に基づいて、取得された前記照度に対応する前記飛行体の飛行速度の上限値を導出するステップと、
    前記飛行体の飛行速度の上限値以下の飛行速度となるように、前記飛行速度の制御を指示するステップと、
    を有する飛行制御指示方法。
  12. 前記照度が大きい程、前記飛行体の飛行速度の上限値を大きくし、
    前記照度が小さい程、前記飛行体の飛行速度の上限値を小さくする、
    請求項11に記載の飛行制御指示方法。
  13. 前記情報処理装置は、前記飛行体であり、
    前記飛行速度の上限値に基づいて、前記飛行速度を調整して飛行を制御するステップ、を更に含む、
    請求項8〜12のいずれか1項に記載の飛行制御指示方法。
  14. 前記飛行速度を調整して飛行を制御するステップは、
    前記飛行体の飛行速度を変更するための操作情報を取得するステップと、
    前記操作情報に基づいて、前記飛行体の飛行速度の上限値以下の飛行速度となるように、前記飛行速度を調整して飛行を制御するステップと、を含む、
    請求項13に記載の飛行制御指示方法。
  15. 飛行体による飛行の制御を指示する情報処理装置に、
    前記飛行体が撮像するためのシャッタスピードの情報を取得するステップと、
    前記飛行体が撮像する撮像画像における1画素あたりの実空間での距離の情報を取得するステップと、
    前記シャッタスピードと前記1画素あたりの実空間での距離に基づいて、前記飛行体の飛行速度の上限値を決定するステップと、
    前記飛行体の飛行速度の上限値以下の飛行速度となるように、前記飛行速度の制御を指示するステップと、
    を実行させるためのプログラム。
  16. 飛行体による飛行の制御を指示する情報処理装置に、
    前記飛行体が撮像するためのシャッタスピードの情報を取得するステップと、
    前記飛行体が撮像する撮像画像における1画素あたりの実空間での距離の情報を取得するステップと、
    前記シャッタスピードと前記1画素あたりの実空間での距離に基づいて、前記飛行体の飛行速度の上限値を決定するステップと、
    前記飛行体の飛行速度の上限値以下の飛行速度となるように、前記飛行速度の制御を指示するステップと、
    を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
JP2018183570A 2018-09-28 2018-09-28 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体 Active JP6878375B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018183570A JP6878375B2 (ja) 2018-09-28 2018-09-28 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JP2021031963A JP2021096865A (ja) 2018-09-28 2021-03-01 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018183570A JP6878375B2 (ja) 2018-09-28 2018-09-28 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021031963A Division JP2021096865A (ja) 2018-09-28 2021-03-01 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
JP2020050261A true JP2020050261A (ja) 2020-04-02
JP6878375B2 JP6878375B2 (ja) 2021-05-26

Family

ID=69995522

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018183570A Active JP6878375B2 (ja) 2018-09-28 2018-09-28 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JP2021031963A Pending JP2021096865A (ja) 2018-09-28 2021-03-01 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2021031963A Pending JP2021096865A (ja) 2018-09-28 2021-03-01 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体

Country Status (1)

Country Link
JP (2) JP6878375B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024038647A1 (ja) * 2022-08-16 2024-02-22 富士フイルム株式会社 撮像支援装置、撮像装置、撮像支援方法、及びプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023209772A1 (ja) * 2022-04-25 2023-11-02 楽天グループ株式会社 無人機及び配送システム

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005354477A (ja) * 2004-06-11 2005-12-22 Sony Corp 撮像装置
JP2010061216A (ja) * 2008-09-01 2010-03-18 Hitachi Ltd 撮影計画作成システム
JP2011233947A (ja) * 2010-04-23 2011-11-17 Pasco Corp 航空写真撮影方法
US20150097975A1 (en) * 2013-10-08 2015-04-09 Raytheon Company Integrating image frames
US20150341540A1 (en) * 2014-05-22 2015-11-26 Lg Electronics Inc. Portable device controlling unmanned aerial vehicle and method of controlling therefor
WO2016059877A1 (ja) * 2014-10-17 2016-04-21 ソニー株式会社 制御装置、制御方法および飛行体デバイス
US20160212345A1 (en) * 2015-01-21 2016-07-21 Izak Jan van Cruyningen Forward Motion Compensated Flight Path
JP2017072986A (ja) * 2015-10-07 2017-04-13 パナソニックIpマネジメント株式会社 自律飛行装置、自律飛行装置の制御方法及びプログラム
JP2017076084A (ja) * 2015-10-16 2017-04-20 株式会社プロドローン 情報伝達装置
WO2017179378A1 (ja) * 2016-04-14 2017-10-19 国立大学法人北海道大学 スペクトルカメラ制御装置、スペクトルカメラ制御プログラム、スペクトルカメラ制御システム、このシステムを搭載した飛行体およびスペクトル画像撮像方法
JP2018500853A (ja) * 2014-10-08 2018-01-11 スプークフィッシュ イノヴェーションズ プロプライエタリー リミテッド 航空カメラシステム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004021774A (ja) * 2002-06-19 2004-01-22 Matsushita Electric Ind Co Ltd 移動作業ロボット
JP2005247008A (ja) * 2004-03-01 2005-09-15 Yamaha Motor Co Ltd 無人ヘリコプタ用制御装置
JP6682381B2 (ja) * 2015-08-06 2020-04-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 無人飛行体、飛行制御方法及び飛行制御プログラム
US10587790B2 (en) * 2015-11-04 2020-03-10 Tencent Technology (Shenzhen) Company Limited Control method for photographing using unmanned aerial vehicle, photographing method using unmanned aerial vehicle, mobile terminal, and unmanned aerial vehicle

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005354477A (ja) * 2004-06-11 2005-12-22 Sony Corp 撮像装置
JP2010061216A (ja) * 2008-09-01 2010-03-18 Hitachi Ltd 撮影計画作成システム
JP2011233947A (ja) * 2010-04-23 2011-11-17 Pasco Corp 航空写真撮影方法
US20150097975A1 (en) * 2013-10-08 2015-04-09 Raytheon Company Integrating image frames
US20150341540A1 (en) * 2014-05-22 2015-11-26 Lg Electronics Inc. Portable device controlling unmanned aerial vehicle and method of controlling therefor
JP2018500853A (ja) * 2014-10-08 2018-01-11 スプークフィッシュ イノヴェーションズ プロプライエタリー リミテッド 航空カメラシステム
WO2016059877A1 (ja) * 2014-10-17 2016-04-21 ソニー株式会社 制御装置、制御方法および飛行体デバイス
US20160212345A1 (en) * 2015-01-21 2016-07-21 Izak Jan van Cruyningen Forward Motion Compensated Flight Path
JP2017072986A (ja) * 2015-10-07 2017-04-13 パナソニックIpマネジメント株式会社 自律飛行装置、自律飛行装置の制御方法及びプログラム
JP2017076084A (ja) * 2015-10-16 2017-04-20 株式会社プロドローン 情報伝達装置
WO2017179378A1 (ja) * 2016-04-14 2017-10-19 国立大学法人北海道大学 スペクトルカメラ制御装置、スペクトルカメラ制御プログラム、スペクトルカメラ制御システム、このシステムを搭載した飛行体およびスペクトル画像撮像方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024038647A1 (ja) * 2022-08-16 2024-02-22 富士フイルム株式会社 撮像支援装置、撮像装置、撮像支援方法、及びプログラム

Also Published As

Publication number Publication date
JP6878375B2 (ja) 2021-05-26
JP2021096865A (ja) 2021-06-24

Similar Documents

Publication Publication Date Title
US11722647B2 (en) Unmanned aerial vehicle imaging control method, unmanned aerial vehicle imaging method, control terminal, unmanned aerial vehicle control device, and unmanned aerial vehicle
WO2019227441A1 (zh) 可移动平台的拍摄控制方法和设备
WO2020011230A1 (zh) 控制装置、移动体、控制方法以及程序
JP6733106B2 (ja) 決定装置、移動体、決定方法、及びプログラム
US20210014427A1 (en) Control device, imaging device, mobile object, control method and program
JP2021096865A (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
CN111344650B (zh) 信息处理装置、飞行路径生成方法、程序以及记录介质
JP6265576B1 (ja) 撮像制御装置、影位置特定装置、撮像システム、移動体、撮像制御方法、影位置特定方法、及びプログラム
JP2020036163A (ja) 情報処理装置、撮影制御方法、プログラム及び記録媒体
JP7501535B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム
JP6949930B2 (ja) 制御装置、移動体および制御方法
JP6790318B2 (ja) 無人航空機、制御方法、及びプログラム
US20210092306A1 (en) Movable body, image generation method, program, and recording medium
WO2021115192A1 (zh) 图像处理装置、图像处理方法、程序及记录介质
US20210112202A1 (en) Control apparatuses, mobile bodies, control methods, and programs
WO2020246261A1 (ja) 移動体、位置推定方法、およびプログラム
JP6641574B1 (ja) 決定装置、移動体、決定方法、及びプログラム
WO2021026754A1 (zh) 一种拍摄装置的对焦控制方法、装置及无人飞行器
JP2019212961A (ja) 移動体、光量調整方法、プログラム、及び記録媒体
CN112313942A (zh) 一种进行图像处理和框架体控制的控制装置
JP6803960B1 (ja) 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP2020122911A (ja) カメラレンズの合焦装置、合焦方法、合焦プログラム
JP6569157B1 (ja) 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP6997170B2 (ja) 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体
JP2021193412A (ja) 装置、撮像装置、撮像システム、移動体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210301

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210428

R150 Certificate of patent or registration of utility model

Ref document number: 6878375

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150