JP2017085551A - ドローンに搭載されたカメラの露出時間を決定する方法、および関連するドローン - Google Patents

Abstract

【課題】実質的に鉛直視のカメラを有するドローンで実施される画像の撮像のための露出時間を動的に決定する方法を提供する。【解決手段】ドローンの水平変位速度を測定するステップ２１と、ドローンと地面との間の距離（Ｚ）を測定するステップ２２と、ドローンの測定された変位速度と、ドローンと地面との間の測定された距離（Ｚ）と、予め定められたぼかし量（ｄｕ）と、カメラの焦点距離（ｆ）とに基づいて、露出時間を決定するステップ２３を備える。【選択図】図２

Description

本発明は、ドローンに搭載されたカメラによる画像の撮像のためのシーンの露出時間を動的に決定する方法、および、カメラを搭載してそのような方法を備えたドローンに関連する。

フランスのパリのＰａｒｒｏｔ社のＡＲ．Ｄｒｏｎｅ２．０またはＢｅｂｏｐ Ｄｒｏｎｅ、もしくはスイスのＳｅｎｓｅＦｌｙ社のｅＢｅｅは、ドローンの典型例である。それらには、一連のセンサ（加速度計、３軸ジャイロメータ、高度計）と、少なくとも１つのカメラとが設けられている。このカメラは、たとえば上空を飛行される地面の画像を撮像する鉛直視カメラ、またはドローンの前方のシーンの画像を撮像する前方視カメラである。これらのドローンには、１つのモータまたはそれぞれのモータにより駆動される複数のロータが設けられており、それらは、所定の高度および速度でドローンを操縦するように区別されたやり方で制御され得る。

地面に対するドローンの速度を評価するために下方に向けられた鉛直視のカメラと、超音波テレメータと、地面に対するドローンの高度を予測するための測定値を提供する搭載気圧センサとを有するドローンが、特に文献ＵＳ２０１３／３２５２１７から知られている。

上記発明は、より詳しくは、上空を飛行される地面または前方カメラにより観察されるシーンの画像を撮像するために、ドローンに搭載されたカメラによる画像の撮像に適用されるべき露出時間を動的に決定する方法に関連する。

「露出」という用語は、撮影中に、感知面、特にデジタルカメラのデジタルセンサにより受けられる光の総量を意味する。

そして、露出時間は、撮影中にカメラのシャッタが光を通過させる時間間隔であり、したがって、デジタルカメラの場合には、センサが光を受ける期間である。

露出は、また、感度パラメータに依存する。ＩＳＯで表現される感度は、デジタルセンサの光に対する感度の測定値である。これは、正確な露出の決定に必須のデータ要素である。

感知面が良好な量の光を受けるとき、撮像された画像は正確に露出され、それは、明るすぎず暗すぎない画像を取得することを許容する。

この正確な露出を取得するために、カメラには、自動露出（ＡＥ）アルゴリズムが備えられており、それは、目標輝度でいかなるシーンをも感知するために、露出時間およびセンサ感度からなる対を選択するための関数を有している。

そのようなカメラが設けられたこれらのドローンは、制御装置を介して、または、ドローンが自律的にあとをたどる軌跡の読み込みを通して、マップされるべき土地の上を飛行中に制御される。

画像の撮像は、ドローンに備えられたカメラの連続的なトリガー、または、たとえばドローンのユーザからのカメラトリガー命令の受信、のいずれかにより実行される。

露出決定方法が、露出時およびセンサ感度に対する妥当性の間隔に基づいていることが公知である。

さらに、センサ感度とシーンの輝度に応じた露出時間との間の対応表を設定する露出決定方法が公知である。これらの方法は、したがって、複数の工程を有し、よくても、撮像されるべきシーンの輝度に対してセンサ感度／露出時間の対を適合させることを許容する。

これらの解決策は、事前に固定されているパラメータ、特に感度／露出時間の対の狭いセットに基づく欠点を有している。撮像時に予測されるシーン輝度は、パラメータ化されたすべての対の中からセンサ感度／露出時間のより良い対を決定することを許容する。

ドローンに搭載されたカメラでのそれらの実装中にこれらの公知の方法を使用する場合、長すぎる露出時間が、特に回転および平行移動の両方でのカメラの動きのために、ぼかし画像を引き起こすことが観察される。

同様に、センサ感度が高いとき、シーンのノイズが増えることが観察される。ノイズは、デジタル的に撮像されたシーンの詳細にランダムに追加される偽の情報の存在である。それは、より詳しくは、シグナル／ノイズの割合が低いあまりライトアップされていない領域だけでなく、青空のような一様な部分でも見ることができる。それは、したがって、結果的に、詳細の明確性の欠如を含んでいる。

撮像された画像が最小のノイズおよび受け入れ可能なぼかしを有しているとき、露出は正確である。

ドローンに搭載されたカメラのフレームワークの範囲内で、カメラは、ドローンの回転動き、および平行移動の動きを経験する。

自動露出の公知の方法は、ドローンの動きの制限に対する露出時間の適合を許容しない。

本発明の目的は、最小のノイズおよび受け入れ可能なぼかしを有する画像を撮像するためにドローンで実施される画像の撮像のための露出時間を動的に決定することを許容する解決策を提案することにより、これらの欠点を補うことである。

その目的のために、本発明は、実質的に鉛直視のカメラを有するドローンで実施される画像の撮像のための露出時間を動的に決定する方法を提案する。

本発明は、
前記ドローンの水平変位速度を測定するステップと、
前記ドローンと地面との間の距離（Ｚ）を測定するステップと、
前記ドローンの測定された変位速度と、前記ドローンと地面との間の測定された距離（Ｚ）と、予め定められたぼかし量（ｄｕ）と、前記カメラの焦点距離（ｆ）とに基づいて、前記露出時間を決定するステップと、
を備えたことを特徴とする。

一実施形態によれば、前記露出時間（Ｔ_exp）は、前記ドローンと地面との間の測定された距離をＺ、前記ぼかし量をｄｕ、前記焦点距離をｆ、前記ドローンの水平変位速度を||ｖ||としたときに、
により規定される。

特定の実施形態では、本方法は、前記カメラの焦点距離（ｆ）と、予め定められたぼかし量（ｄｕ）と、前記ドローンの回転速度（ω）とに基づいて、第２露出時間を決定するステップをさらに備える。

一実施形態によれば、前記第２露出時間（Ｔ_exp）は、前記ぼかし量をｄｕ、前記ドローンの回転速度をω、前記焦点距離をｆとしたときに、
により規定される。

特定の実施形態によれば、前記ぼかし量（ｄｕ）は、露出の開始の瞬間と終了の瞬間との間の画像平面におけるシーンの変位により決定される。

一実施形態によれば、前記カメラの焦点距離と前記ぼかし量とは、ピクセルで表現される。

特定の実施形態によれば、ピクセルで表現された前記焦点距離（ｆ_pixel）は、ミリメートルで表現された前記カメラの焦点距離をｆｍｍ、前記シーンのミリメートルでの画像平面における１ピクセルのサイズをｐｉｘＰｉｔｃｈとしたときに、
により規定される。

また、本発明は、実質的に鉛直視のカメラを有するドローンで実施される画像の撮像のための露出時間を動的に決定する方法であって、有効露出時間を決定するステップを備え、前記有効露出時間は、上述された発明に応じて決定される露出時間と、上述された発明に応じて決定される第２露出時間と、の間の最小継続時間であることを特徴とする方法を提案する。

また、本発明は、上述された発明に応じたカメラによる画像の撮像のための露出時間を動的に決定する方法を実施するように適合された実質的に鉛直視のカメラを備えたドローンを提案する。

本発明の実施の一例は、添付の図面を参照して、ここに説明されよう。

図１は、ドローンとマップされるべき土地とを示している。 図２は、本発明による露出時間を決定する方法を示している。 図３は、本発明による有効露出時間を決定する方法を示している。

ここで本発明の例示の実施形態が説明されよう。

図１では、符号１０がドローンを概して示している。図１に示された例によれば、それは、スイスのＳｅｎｓｅＦｌｙ社のｅＢｅｅモデルのようなフライング・ウィングである。

別の例示の実施形態によれば、ドローンは、フランスのパリのＰａｒｒｏｔ社のＢｅｂｏｐ ｄｒｏｎｅモデルのようなクアドリコプタである。このドローンは、それらのモータが統合ナビゲーションおよび姿勢制御システムにより互いに独立に操縦される同一平面内にある４つのロータを含んでいる。

クアドリコプタの例示の実施形態では、ドローンには、ドローンの角速度および姿勢角度、すなわち固定地球座標系ＵＶＷの水平面に対するドローンの傾きを記述するオイラー角（ピッチφ、ロールθおよびヨーψ）を一定の精度で測定することを可能にする慣性センサ（加速度計およびジャイロメータ）が設けられており、水平速度の２つの縦および横要素は、２つのピッチおよびロール軸のそれぞれの回りの傾きに密接にリンクしていることが理解される。この実施形態によれば、ドローン１０は、統合加速度計を有するタッチスクリーンのマルチメディア電話またはタブレット、たとえばｉＰｈｏｎｅ（登録商標）タイプなどの携帯電話またはｉＰａｄ（登録商標）タイプなどのタブレットのような遠隔制御装置により操縦される。それは、標準的なデバイスであり、ドローン１０の操縦を制御するための特定のアプリケーションソフトウェアの読み込み以外は改変されていない。

図１に示された例示の実施形態では、ドローンは、特に非常に長い距離からのドローンの制御を許容する特定の遠隔制御装置により操縦される。

ユーザは、遠隔制御装置を介してドローン１０の変位をリアルタイムで制御し得る、または離陸の前にドローンに読み込まれる決められたルートをプログラムし得る。

遠隔制御装置は、Ｗｉ−Ｆｉ（ＩＥＥＥ８０２．１１）またはＢｌｕｅｔｏｏｔｈ（登録商標）ローカルネットワークタイプの無線リンクによりデータの双方向の交換を介してドローン１０と通信する。

ドローン１０には、一組の画像、たとえばドローンにより上空を飛行される、マップされるべき土地１６の画像を取得することを可能にする搭載の鉛直視カメラ１４が設けられている。

ドローン１０には、また、ドローンの前方のシーンの撮像を許容する搭載の前方カメラが設けられ得る。

本発明によれば、ドローンは、カメラ、特に実質的に鉛直視のカメラを有するドローンで実施される画像の撮像のための露出時間を動的に決定する方法を備える。

画像の撮像のための露出時間を動的に決定するこの方法は、特定の実施形態によれば、ドローンに搭載されたカメラ１４で実施される。

本発明によれば、露出時間を動的に決定する方法は、ドローンの飛行パラメータおよびカメラの特性に応じて連続的に露出時間を決定することを許容する。

実際、ドローンの平行移動の動きは、撮像されるべきシーンの距離、レンズの焦点距離、露出時間、およびドローンの変位速度（水平および鉛直）に依存する振幅を有する動きにより、ぼかしを生成することが観察されている。

さらに、ドローンの回転の動きは、レンズの焦点距離、露出時間、およびドローンの角速度に依存する振幅を有する動きにより、ぼかしを生成することが観察されている。

したがって、良好な品質の画像の撮像を行うためにカメラ１４のセンサの露出時間を動的に決定するためにドローンの飛行パラメータとカメラ１４の特性とを考慮することが必要である。

そのように、露出時間は、前もって規定されずに画像の撮像中に動的に決定され、ドローンの動的特性および撮像されるべきシーンに応じて決定される。

特に、露出時間は、ドローン１０の変位速度、ドローンと地面との間の距離Ｚ、予め定められたぼかし量ｄｕ、およびカメラ１４の焦点距離ｆに基づいて決定されよう。

露出時間を決定するために、特にドローンの平行移動の移動を考慮するために、ドローンと地面との間の距離Ｚが決定される。

ドローンと地面との間の距離Ｚは、また、ドローンに搭載されたカメラと地面との間の距離により延長される。

第１の実施形態によれば、ドローンと地面との間の距離Ｚは、離陸時および飛行中に一定の間隔で、たとえばドローンに設けられたＧＰＳモジュールにより与えられる高度の測定により決定され得る。そのように、ドローンと地面との間の距離Ｚは、近似的に決定される。この実施形態は、ドローンが平坦な地面の上を飛んでいるときに特に関連する。

別の実施形態によれば、ドローンと地面との間の距離Ｚは、ドローン高度予測装置により決定される。この装置は、たとえば、特にＰａｒｒｏｔ社の名前で文献ＥＰ２６４４２４０に記載されたような気圧センサおよび超音波センサの測定値に基づく高度予測システムを有する。

ドローンと地面との間の距離Ｚは、メートルで表現される。

以上に見られるように、露出時間は、特に受け入れ可能なぼかし量に応じて決定されよう。

ぼかし量ｄｕは、カメラ１４のレンズの焦点距離ｆ、ドローンと地面との間の距離、および露出の開始の瞬間と終了の瞬間との間の、特に画像平面における、シーンの変位ｄＸの関数である。

したがって、ぼかし量は、カメラの焦点距離をｆ、露出の開始の瞬間と終了の瞬間との間のシーンの変位の距離をｄＸ、ドローンの高度をＺとしたときに、
という式に応じて規定される。

ぼかし量ｄｕおよび焦点距離ｆは、ミリメートルで表現され得る。別の実施形態によれば、ぼかし量ｄｕおよび焦点距離ｆは、ピクセルで表現される。

ピクセルで表現された焦点距離（ｆ_pixel）は、ミリメートルで表現されたカメラの焦点距離をｆｍｍ、シーンのミリメートルでの画像平面における１ピクセルのサイズをｐｉｘＰｉｔｃｈとしたときに、
により規定される。

露出の開始の瞬間と終了の瞬間との間の、特に画像平面における、シーンの変位ｄＸは、特に図１に示されたフライング・ウィングの場合に、特にシーンの水平変位に対応する。

シーンの変位ｄＸは、特にドローン１０の水平変位速度に依存する。一実施形態によれば、当該速度は、ドローン１０に搭載された慣性ユニットにより測定される。別の実施形態によれば、当該速度は、土地の上空を飛行される部分の変位を解析することにより測定される。

したがって、露出の開始の瞬間と終了の瞬間との間のシーンの変位の距離ｄＸは、ドローンの水平変位速度を｜｜ｖ｜｜、露出時間をＴ_expとしたときに、式：
により決定される。

水平速度は、メートル毎秒で表現され、露出時間は、秒で表現される。

したがって、ドローン、特にカメラ１４で実施される画像の撮像のための露出時間を動的に決定する方法は、本発明によれば、図２に示すように、ドローンの水平変位速度を測定するステップ２１と、ドローンと地面との間の距離Ｚを測定するステップ２２と、ドローンの測定された変位速度、ドローンと地面との間の測定された距離Ｚ、予め定められたぼかし量ｄｕ、およびカメラの焦点距離ｆに基づいて露出時間を決定するステップ２３と、を備える。

ドローンの水平変位速度を測定するステップ２１と、ドローンと地面との間の距離Ｚを測定するステップ２２とは、反対方向に、または平行に、実行され得る。

ステップ２３の間に規定される露出時間Ｔ_expは、特定の実施形態によれば、ドローンと地面との間の測定された距離をＺ、ぼかし量をｄｕ、焦点距離をｆ、ドローンの水平変位速度を｜｜ｖ｜｜としたときに、等式：
に応じて決定される。

したがって、動的に決定される露出時間は、画像の撮像の瞬間におけるドローン１０の飛行パラメータ、カメラ１４のパラメータ、および受け入れ可能なぼかし量の関数である。ぼかし量は、画像の最終的なアプリケーションに応じて決定され、したがって、異なる値、たとえば１ピクセルまたは４ピクセルを取り得る。

特定の実施形態によれば、決定する方法は、本発明によれば、特にドローン１０の回転の移動を考慮するために第２露出時間を決定するように適合される。

したがって、第２露出時間は、カメラの焦点距離ｆ、予め定められたぼかし量ｄｕ、およびドローンの回転速度ωに基づいて決定される。

ピクセルでの観測される角度を決定するために、変数ｄＲｅｓＡｎｇが、ピクセルで表現されるカメラの焦点距離をｆ_pxとしたときに、以下の式：
に応じて規定される。

次に、露出時間に対してカバーされる角度ｄθが、ドローンの回転速度をω、露出時間をＴ_expとしたときに、式：
に応じて決定される。

したがって、たとえばピクセルで表現される、露出時間に対してカバーされる距離ｄｕは、露出時間に対してカバーされる角度をｄθ、露出時間をＴ_exp、ピクセルで表現された焦点距離をｆ_px、ドローンの回転速度をω、ピクセルでの観察される角度をｄＲｅｓＡｎｇとしたときに、以下の式：
に応じて決定される。

ドローン１０の回転速度ωは、たとえば、画像の撮像のトリガーの前に決定され得る、または、予め定められた期間にわたって平均化され得る。この速度は、度毎秒で表現される。

したがって、ドローン１０の回転の移動を考慮するために、第２露出時間Ｔ_expが、ぼかし量をｄｕ、ドローンの回転速度をω、カメラの焦点距離をｆとしたときに、
により規定されることが導出される。

ドローンの回転移動を考慮するために露出時間を決定するように適合された、この決定する方法は、実質的に鉛直視のカメラおよび実質的に水平視のカメラに適用可能である。

特定の実施形態によれば、ドローン１０、特にカメラ１４で実施される画像の撮像のための露出時間を動的に決定する方法は、図２に示すように、カメラの焦点距離ｆ、予め定められたぼかし量ｄｕ、およびドローン１０の回転速度ωに基づいて、第２露出時間を決定するステップ２４をさらに備える。

ステップ２４は、ステップ２１〜２３の前または後に順次実行され得る、またはステップ２１〜２３と平行に実行され得る。

特定の実施形態によれば、本発明は、実質的に鉛直視のカメラ１４を有するドローン１０で実施される画像の撮像のための有効露出時間を動的に決定する方法をさらに備える。

この方法は、図３に示すように、ドローン１０の平行移動の移動を考慮するために画像の撮像のための第１露出時間を決定するステップ３１を備える。このステップ３１は、図２の上述されたステップ２１〜２３により実施される。

有効露出時間を動的に決定する方法は、ドローン１０の回転の移動を考慮するために画像の撮像のための第２露出時間を決定するステップ３２を備える。このステップ３２は、図２の上述されたステップ２４により実施される。

ステップ３１およびステップ３２は、順次または平行して実行され得る。

ステップ３１およびステップ３２に続いて、有効露出時間を決定するステップ３３が行われ、有効露出時間は、ステップ３１で決定される第１露出時間とステップ３２で決定される第２露出時間との間の最小時間である。

本発明は、また、カメラによる画像の撮像のための露出時間を動的に決定する上述の方法を実施するように適合されたカメラ１４、たとえば実質的に鉛直視のカメラ、を備えたドローン１０に関連する。

非限定的な例として、瞬間ｔにおいて、搭載されたカメラ１４を有し、上述されたような本発明に応じた露出時間を動的に決定する方法が備えられたドローン１０が、３６ｋｍ／ｈの速度で飛行し、受け入れ可能なぼかしが２ピクセルであり、ドローと地面との間の距離が５０メートルであり、回転速度が１００°／秒であることが考えられる。

この例によれば、３．９８ｍｍの焦点距離と、３．７５マイクロメートルの、シーンのミリメートルでの画像平面における１ピクセルのサイズとを有するカメラの場合には、本発明によるセンサの露出時間は、ドローンの平行移動の移動を考慮するために９．４２ミリ秒であり、ドローンの回転の移動を考慮するために１．０８ミリ秒である。

ドローンの上記考えられる例によれば、４．８８ｍｍの焦点距離と、１．３４マイクロメートルの、シーンのミリメートルでの画像平面における１ピクセルのサイズとを有するカメラの場合には、本発明によるセンサの露出時間は、ドローンの平行移動の移動を考慮するために２．７５ミリ秒であり、ドローンの回転の移動を考慮するために０．３１ミリ秒である。

Claims (9)

1. 実質的に鉛直視のカメラを有するドローンで実施される画像の撮像のための露出時間を動的に決定する方法であって、
   前記ドローンの水平変位速度を測定するステップ（２１）と、
   前記ドローンと地面との間の距離（Ｚ）を測定するステップ（２２）と、
   前記ドローンの測定された変位速度と、前記ドローンと地面との間の測定された距離（Ｚ）と、予め定められたぼかし量（ｄｕ）と、前記カメラの焦点距離（ｆ）とに基づいて、前記露出時間を決定するステップ（２３）と、
   を備えたことを特徴とする方法。
2. 前記露出時間（Ｔ_exp）は、前記ドローンと地面との間の測定された距離をＺ、前記ぼかし量をｄｕ、前記焦点距離をｆ、前記ドローンの水平変位速度を||ｖ||としたときに、
   により規定される
   ことを特徴とする請求項１に記載の決定方法。
3. 前記カメラの焦点距離（ｆ）と、予め定められたぼかし量（ｄｕ）と、前記ドローンの回転速度（ω）とに基づいて、第２露出時間（２４）を決定するステップ
   をさらに備えたことを特徴とする請求項１または２に記載の決定方法。
4. 前記第２露出時間（Ｔ_exp）は、前記ぼかし量をｄｕ、前記ドローンの回転速度をω、前記焦点距離をｆとしたときに、
   により規定される
   ことを特徴とする請求項３に記載の決定方法。
5. 前記ぼかし量（ｄｕ）は、露出の開始の瞬間と終了の瞬間との間の画像平面におけるシーンの変位により決定される
   ことを特徴とする請求項１〜４のいずれかに記載の決定方法。
6. 前記カメラの焦点距離と前記ぼかし量とは、ピクセルで表現される
   ことを特徴とする請求項１〜５のいずれかに記載の決定方法。
7. ピクセルで表現された前記焦点距離（ｆ_pixel）は、ミリメートルで表現された前記カメラの焦点距離をｆｍｍ、前記シーンのミリメートルでの画像平面における１ピクセルのサイズをｐｉｘＰｉｔｃｈとしたときに、
   により規定される
   ことを特徴とする請求項６に記載の決定方法。
8. 実質的に鉛直視のカメラを有するドローンで実施される画像の撮像のための露出時間を動的に決定する方法であって、
   有効露出時間を決定するステップを備え、
   前記有効露出時間は、
   請求項１または２もしくは請求項１または２を引用する請求項５〜７のいずれかにより決定される露出時間と、
   請求項３または４もしくは請求項３または４を引用する請求項５〜７のいずれかにより決定される第２露出時間と、
   の間の最小継続時間である
   ことを特徴とする方法。
9. 請求項１〜８のいずれかによるカメラによる画像の撮像のための露出時間を動的に決定する方法を実施するように適合された実質的に鉛直視のカメラを備えたドローン。