JP2016193720A - 水平速度の推定のために瞬間的な回転が補償された垂直視ビデオカメラを備えたドローン - Google Patents
水平速度の推定のために瞬間的な回転が補償された垂直視ビデオカメラを備えたドローン Download PDFInfo
- Publication number
- JP2016193720A JP2016193720A JP2016070013A JP2016070013A JP2016193720A JP 2016193720 A JP2016193720 A JP 2016193720A JP 2016070013 A JP2016070013 A JP 2016070013A JP 2016070013 A JP2016070013 A JP 2016070013A JP 2016193720 A JP2016193720 A JP 2016193720A
- Authority
- JP
- Japan
- Prior art keywords
- drone
- gyrometer
- signal
- camera
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000006073 displacement reaction Methods 0.000 claims abstract description 11
- 230000010363 phase shift Effects 0.000 claims abstract description 11
- 238000012937 correction Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 7
- 238000000034 method Methods 0.000 description 11
- 238000005259 measurement Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 230000000630 rising effect Effects 0.000 description 4
- 241000287531 Psittacidae Species 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 206010034719 Personality change Diseases 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P3/00—Measuring linear or angular speed; Measuring differences of linear or angular speeds
- G01P3/64—Devices characterised by the determination of the time taken to traverse a fixed distance
- G01P3/68—Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
- G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D13/00—Control of linear speed; Control of angular speed; Control of acceleration or deceleration, e.g. of a prime mover
- G05D13/62—Control of linear speed; Control of angular speed; Control of acceleration or deceleration, e.g. of a prime mover characterised by the use of electric means, e.g. use of a tachometric dynamo, use of a transducer converting an electric value into a displacement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
- B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Aviation & Aerospace Engineering (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Gyroscopes (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【課題】垂直視カメラによって与えられる2つの連続した画像を解析することで、画像のこの見かけの変位を距離に変換し、さらに速度に変換する。」
【解決手段】ビデオカメラは、ドローンが上方を飛行する地面の画像信号を伝送する。ジャイロメータセンサ102は、ドローンの姿勢を特徴付けるオイラー角(φ、θ、ψ)を測定し、瞬間的な回転を表すジャイロメータ信号を伝送する。回転補償手段136は、画像信号およびジャイロメータ信号を受信し、その後にドローンの水平速度を推定するために使用される、回転が補償されたリタイミングされた画像データを伝送する。カメラおよび慣性ユニットは、共通のクロック160によって動かされる。ジャイロメータ信号と画像信号の間の移相の値を決定し、この移相値を回転補償手段の入力に適用して、リタイミングされた画像データを計算する前に、画像信号をジャイロメータ信号に再同期させる回路がさらに設けられる。
【選択図】図3
【解決手段】ビデオカメラは、ドローンが上方を飛行する地面の画像信号を伝送する。ジャイロメータセンサ102は、ドローンの姿勢を特徴付けるオイラー角(φ、θ、ψ)を測定し、瞬間的な回転を表すジャイロメータ信号を伝送する。回転補償手段136は、画像信号およびジャイロメータ信号を受信し、その後にドローンの水平速度を推定するために使用される、回転が補償されたリタイミングされた画像データを伝送する。カメラおよび慣性ユニットは、共通のクロック160によって動かされる。ジャイロメータ信号と画像信号の間の移相の値を決定し、この移相値を回転補償手段の入力に適用して、リタイミングされた画像データを計算する前に、画像信号をジャイロメータ信号に再同期させる回路がさらに設けられる。
【選択図】図3
Description
本発明は、ドローン、特にクアドリコプタなどの回転翼ドローンなどの電動式飛行デバイスの操縦に関する。
フランスのパリに本社を置くParrot社製のAR.Drone2.0またはBebop Droneは、このようなクアドリコプタの代表例である。これらは、一連のセンサ(加速度計、3軸ジャイロメータ、高度計)、ドローンが向けられている方向の光景の画像を撮像する前方カメラ、および眼下の地面の画像を撮像する垂直視カメラを備える。これらは、それぞれのモータによって駆動される複数のロータを備え、これらのモータを差動的に制御して、ドローンを所定の姿勢および速度で操縦することができる。このようなドローンの様々な態様は、特に、EP2 364 757A1、EP2 400 460A1、EP2 613 213A1またはEP2 644 240A1、EP2 613 214A1(Parrot社)に記載されている。
本発明は、より詳しくは、垂直視カメラによって撮像された一連の画像を解析する計算機による、垂直視カメラから提供される画像の使用に基本的に基づく、ドローンの水平速度の測定に関する。カメラの推定変位から、慣性センサ(加速度計)から独立して、2つの方向へのドローンの水平移動の測定値が得られる。
より詳しくは、カメラによって与えられる2つの連続した画像を解析することで、絶対地球基準系の一方または他方の水平次元の見かけの変位がピクセル数で得られる。高度が既知である(ドローンに搭載された超音波センサおよび気圧センサにより与えられる)場合には、これらの画像のこの見かけの変位を距離に変換し、2つの連続した画像を隔てる時間間隔が分かっていれば、さらに速度に変換することができる。
上述のEP2 400 460A1には、いわゆる「オプティカルフロー」型のアルゴリズムに基づいて水平速度を測定するこのような技術が記載され、また、オプティカルフローアルゴリズムでは十分に信頼できる結果が得られないときに、動的な制御によって「ポイント検出器」または「関心点検出」型の別のアルゴリズムに切り替えることができることが記載されている。
オプティカルフロー方法には多数の利点があり、特に、コントラストおよび光景の内容に関する制約が非常に少ないということ、ならびに「複数解像度」型の手法により、高速および低速の両方を推定することができるということがある。一方で、この方法は、回転および姿勢の変化に非常に敏感であり、伝送される結果の品質を本質的に検証することができない、すなわち、このアルゴリズムは、十分な数の点が高い勾配を示す瞬間の結果を伝送するが、この結果は、それが意味をなさない場合でも伝送される。
事実上、伝送される結果は、特に低速の場合には、必ずしも信頼できるものとは限らず、またそれほど精度も高くない。現在では、ホバー飛行時の自動安定化を効率的かつ敏感に制御するためには、正確で、敏感で(均衡点付近における直線速度は非常に低速である可能性があるため)、かつ実時間で利用できる水平速度の測定値を有することが必要である。
ドローンの水平速度の測定値に影響を及ぼす可能性があるこれらの回転および姿勢変化は、慣性ユニットによって実時間で測定することができる。オプティカルフローアルゴリズムの実施は、それ自体既知の方法で、連続して使用される画像の間の回転を補償するステップをさらに含む。その目的のために、入る可能性のある誤差(画像平面と回転軸に直交する平面との間の交線に沿った成分を追加する回転)を、2つの連続する画像の間の回転による光学中心の変位を推定オプティカルフローに追加することによって補償する。換言すれば、カメラによって撮像された光景の2つの連続する画像の間に回転がある場合には、直前の画像と比較する前に、ドローンの信号プロセッサ内のソフトウェアによって実時間で実行される射影行列計算によって、その画像の新たなバージョンを生成する。この回転補償により、速度計算を、特にホバー飛行時に起こる回転に対してロバストにし、ドローンの変位の線型モデルを保持することができる。
この回転補償技術を実施する際の問題は、慣性ユニットがアルゴリズムに与える回転角(特にロール角およびピッチ角)の値の誤差が、画像の横方向移動と同じ結果を生じること、および回転補償アルゴリズムが一方の画像を他方の画像に対して完璧にリタイミングするときであっても、最小限の誤差でも、水平速度の成分の推定にバイアスを生じる可能性があることである。
こうした最小限の誤差は、特に、垂直カメラから伝送される画像信号と慣性ユニットから伝送されるジャイロメータ信号との間の同期の欠陥から生じる可能性がある。
回転補償プロセスにおけるいかなる誤差も回避することが望ましい場合には、したがって、画像ごとに、これら2つの信号の間の極めて正確な同期を保証することが重要である。
Myung Hwangboによる「Robust Monocular Vision−based Navigation for a Miniature Fixed−Wing Aircraft」、カーネギーメロン大学ロボット研究所、2009年9月15日、4.2.3章、「Camera−IMU synchronization」には、画像信号とジャイロメータ信号の間のずれを測定する単純な技術が記載されている。この技術は、この時間のずれが常に一定であるという仮定に基づくものである。この技術は、事前の較正ステップで、ドローンに正弦波状の動きを付与し、この正弦波状の動きのオプティカルフローの計算に基づいて動きを推定することにある。この動き推定結果を、次いで、ジャイロメータの測定結果と比較し、2つの正弦波形信号(画像信号およびジャイロメータ信号)をリタイミングすることにより、探索した位相を与える。この測定した位相は、較正ステップ後は一定であると考えられ、その後の飛行フェーズでは永続的かつ静的に適用される。
しかし、実際には、永続的に変化する可能性がある様々な要因、特に信号のソフトウェア処理における特定の待ち時間により、同期の誤差が生じ得る。この待ち時間は、一定でなく、特に所与の瞬間のプロセッサの作業負荷に応じて予測不能な形で変化するからである。
上述の単純な事前較正技術は、時間的なずれが常に一定であるという仮定に基づくものであり、これらの動的な現象を考慮することは全くできない。
本発明は、ドローン飛行中の任意の時点において、実時間で、垂直カメラから伝送される画像信号とドローンの慣性ユニットから伝送されるジャイロメータ信号との間の極めて正確な同期を保証することを可能にする解決策を提案することによって、上述の欠点を解消することを目的とする。また、これは、連続した画像の間の回転の補正に任意のバイアスが入ることを回避するために、ドローンの水平速度成分の推定の確度に関する上記で示した重要な結果を有する。
この目的のために、本発明は、
ドローンが上方を飛行する地面の光景の方を向き、この光景の一連の画像を撮像し、対応するデジタル画像信号を出力として伝送するように適合された垂直視ビデオカメラと、
絶対地球基準系に対するドローンの姿勢を特徴付けるオイラー角を測定し、ドローンの瞬間的な回転を表すジャイロメータ信号を出力として伝送するように適合されたジャイロメータセンサを含む慣性ユニットと、
i)カメラから伝送された画像信号、およびii)慣性ユニットから伝送されたジャイロメータ信号を入力として受信し、1つの画像から次の画像までの間のドローンの回転が補償されたリタイミングされた画像データを出力として伝送する回転補償手段と、
カメラによって撮像された光景の1つの画像から次の画像までの間の変位に基づいてドローンの水平速度を推定する手段であって、上記のリタイミングされた画像データを入力として受信する推定手段と
を、上述のEP2 400 460A1からそれ自体既知の方法で含むドローンを提案する。
ドローンが上方を飛行する地面の光景の方を向き、この光景の一連の画像を撮像し、対応するデジタル画像信号を出力として伝送するように適合された垂直視ビデオカメラと、
絶対地球基準系に対するドローンの姿勢を特徴付けるオイラー角を測定し、ドローンの瞬間的な回転を表すジャイロメータ信号を出力として伝送するように適合されたジャイロメータセンサを含む慣性ユニットと、
i)カメラから伝送された画像信号、およびii)慣性ユニットから伝送されたジャイロメータ信号を入力として受信し、1つの画像から次の画像までの間のドローンの回転が補償されたリタイミングされた画像データを出力として伝送する回転補償手段と、
カメラによって撮像された光景の1つの画像から次の画像までの間の変位に基づいてドローンの水平速度を推定する手段であって、上記のリタイミングされた画像データを入力として受信する推定手段と
を、上述のEP2 400 460A1からそれ自体既知の方法で含むドローンを提案する。
本発明の特徴として、
カメラおよび慣性ユニットは、共通のクロックによって動かされ、
ジャイロメータセンサの取得周波数は、カメラの画像信号の伝送の周波数の倍数であり、
慣性ユニットから伝送されたジャイロメータ信号をカメラから伝送された画像信号と比較し、
これらの信号の間の移相の値を決定し、
この移相値を回転補償手段の入力に適用する
ように適合された回路がさらに設けられ、
回転補償手段は、上記のリタイミングされた画像データを計算する前に、慣性ユニットから伝送されたジャイロメータ信号への、カメラから伝送された画像信号の再同期の事前補正を実行するようにさらに適合されている。
カメラおよび慣性ユニットは、共通のクロックによって動かされ、
ジャイロメータセンサの取得周波数は、カメラの画像信号の伝送の周波数の倍数であり、
慣性ユニットから伝送されたジャイロメータ信号をカメラから伝送された画像信号と比較し、
これらの信号の間の移相の値を決定し、
この移相値を回転補償手段の入力に適用する
ように適合された回路がさらに設けられ、
回転補償手段は、上記のリタイミングされた画像データを計算する前に、慣性ユニットから伝送されたジャイロメータ信号への、カメラから伝送された画像信号の再同期の事前補正を実行するようにさらに適合されている。
非常に好ましくは、慣性ユニットから伝送されたジャイロメータ信号をカメラから伝送された画像信号と比較し、これらの各信号の間の移相の値を決定し、この移相値を回転補償手段の入力に適用するように適合された上記の回路は、ハードウェア技術回路である。
好ましくは、このドローンは、慣性ユニットから伝送されたジャイロメータ信号を、上記の一連の画像のうちの2つの連続した画像に対応する画像信号の伝送の間に含まれる時間間隔にわたって積分するように適合された積分手段をさらに含む。
次に、本発明の例示的な実施形態について、添付の図面を参照して説明する。全ての図面を通じて、同じ参照番号は、同じ要素、または機能的に同様の要素を指している。
次に、本発明の例示的な実施形態について説明する。図1において、参照番号10は、ドローンの全体を示し、このドローンは、例えばフランスのパリに本社を置くParrot社製のBebop Droneなどのクアドリコプタである。このドローンは、一体型ナビゲーションおよび姿勢制御システムによって互いに独立して動かされるモータを有する4つの同一平面ロータ12を含む。このドローンは、例えば30fps(フレーム/秒)のビデオフローのリフレッシュ周波数を有する1920×1080ピクセルの解像度のCMOSセンサを備えた高精細度広角カメラなど、ドローンが向けられている方向の光景の画像を取得することを可能にする前方視カメラ14を備える。このドローンは、上方を飛行される地面Tの連続的な画像を撮像するように適合され、特に地面に対するドローンの速度を評価するために使用される、下向きの垂直視カメラ16も備える。このカメラは、例えば、60fpsのビデオフローのリフレッシュ周波数および64°の画角を有するQVGA解像度(320×240ピクセル)のCMOSセンサを備えたカメラである。
このドローンは、ドローンの角速度および偏心角、すなわち固定地球基準系UVWの水平平面に対するドローンの傾きを記述するオイラー角(ピッチφ、ロールθおよびヨーψ)を特定の確度で測定することを可能にする慣性センサ(加速度計およびジャイロメータ)も備える。水平速度の前後方向成分および左右方向成分の2つの成分は、それぞれピッチ軸およびロール軸の2つの軸の方向の傾きと密接に関係していることが分かっている。
ドローン10は、例えばiPhone(登録商標)タイプなどのスマートフォンまたはiPad(登録商標)タイプなどのタブレットなど、加速度計が一体化されたタッチスクリーン式マルチメディア電話またはタブレットなどの遠隔の遠隔制御デバイス18によって操縦される。これは、ドローン10の操縦と搭載された前方カメラ14によって撮影された画像の視覚化とを制御するための移動アプリケーションAR Free Flight(登録商標)など特定のアプリケーションソフトウェアがロードされていることを除けば改変されていない、標準的なデバイスである。デバイス18は、本体20と、前方カメラ14によって撮像された光景の画像を、単にユーザの指24がスクリーンに表示されたシンボルに触れるだけで操縦コマンド(上昇/下降など)を起動できるようにする特定数のシンボルを重畳して表示するタッチスクリーン22とを含む。デバイス18は、ロール軸およびピッチ軸の方向の対応する傾きをデバイスに付与してドローンを前進または後退させることによってドローンの姿勢を制御することを可能にする傾きセンサも備える。ユーザのアクションは、それらをドローンへのコマンド信号に変換する特定のアプリケーションソフトウェアによって解釈される。
図2は、本発明の技術によるドローンの制御、サーボ制御および操縦ならびに画像の変位の補正のための様々な部材を示すブロック図である(なお、これらの機構は、相互接続された回路として示してあるが、これらの様々な機能の実装は、基本的にソフトウェアに基づくものであり、この図は単なる例示に過ぎない)。
一般に、操縦システムは、水平速度、角速度、ドローンの姿勢、および高度の変化を、自動的に、またはユーザの制御下で制御するための、いくつかのインターリーブされたループを含む。
最も中央のループは、角速度制御ループ100であり、このループは、一方ではジャイロメータ102から供給される信号を使用し、他方では角速度セットポイント104からなる基準を使用する。この情報は、角速度補正のステージ106の入力に適用され、角速度補正のステージ106自体は、モータ110の制御のステージ108を動かして、様々なモータのレジームを別個に制御して、これらのモータによって駆動されるロータの全体としての動きによってドローンの角速度を補正するものである。
角速度制御ループ100は、ジャイロメータ102および加速度計114から供給される指示に基づいて動作する姿勢制御ループ112とインターリーブされる。これらのセンサから入来するデータは、ドローンの実際の姿勢の推定を生成するステージ118に適用され、このドローンの実際の姿勢の推定は、姿勢補正のステージ120に適用される。このステージ120は、ドローンの実際の姿勢を、ユーザ124によって直接与えられるコマンドに基づいて、かつ/またはドローンの自動操縦によって水平速度補正回路126を介して内部で生成されるデータに基づいて、回路122によって生成される角度セットポイントと比較する。回路120に適用され、ドローンの実際の姿勢と比較され、場合によって補正されるセットポイントは、モータを適宜制御するために、回路120から回路104に伝送される。
水平速度制御ループ130は、垂直ビデオカメラ16と、超音波遠隔測定センサ132と、高度計として働く気圧センサ134とを含む。回路136は、垂直カメラ16によって生成された画像を、加速度計114および姿勢推定回路118の信号と組み合わせて処理することができるようにして、回路138がドローンのピッチ軸およびロール軸の2つの軸に沿った水平速度VxおよびVyの推定を得ることを可能にするデータを生成する。推定した水平速度VxおよびVyは、回路140によって与えられる垂直速度Vzの推定と、センサ132および134の情報に基づいて回路142によって与えられる高度zの値の推定とによって補正される。
ドローンの垂直変位を制御するために、ユーザ124は、高度セットポイントを計算する回路144にコマンドを与え、この高度セットポイントは、回路142によって与えられる推定高度値を受信する高度補正回路148を介して、上昇速度セットポイントVzを計算する回路146に与えられる。このようにして計算された上昇速度Vzは、回路150に与えられ、回路150は、この上昇速度Vzを、回路140によって推定された対応する速度と比較し、その結果に応じて全てのモータで同時に回転速度を上げる、または下げることによってモータコマンドデータ(回路108)を修正して、上昇速度セットポイントと測定した上昇速度の間の差が最小になるようにする。
前方ビデオカメラ14について述べると、この前方ビデオカメラ14は、生ビデオデータ(ピクセルデータ)を、慣性ユニット154(ジャイロメータ102、加速度計114および姿勢推定回路118など)によって決定されたキャプチャゾーン内の有用なピクセルの選択を保証するウィンドウ生成回路152に伝送する。キャプチャゾーン内に記入されたビデオデータは、修正されたビデオデータを生成する幾何学的歪み補正回路156に与えられ、この修正されたビデオデータは、ユーザが保持している遠隔の遠隔制御デバイスへのビデオ画像の伝送を保証する発振回路158に伝送される。
次に、回路138によって推定される水平速度の計算のためのジャイロメータ信号と垂直カメラの画像信号の同期に関する様々な態様について、図3を参照して、さらに詳細に説明する。
ジャイロメータ102、前方カメラ(水平カメラ)14および垂直視カメラ16は、共通のクロック回路160によって動かされ、ジャイロメータならびにカメラ14および16のそれぞれの動作周波数は、このクロック160の周波数CLKの整数分の1である。
したがって、ジャイロメータ102および垂直視カメラ16は、
Fgyro=K.FcamV
となるように構成される。ここで、
Fgyroは、ジャイロメータの取得周波数であり、
FcamVは、カメラ16による画像の取得周波数であり(通常はFcamV=60Hz)、
Kは、正の整数である。
Fgyro=K.FcamV
となるように構成される。ここで、
Fgyroは、ジャイロメータの取得周波数であり、
FcamVは、カメラ16による画像の取得周波数であり(通常はFcamV=60Hz)、
Kは、正の整数である。
Kが整数であり、ベースクロックがジャイロメータとカメラとで同じであることにより、ドリフトがなく、角度の測定が常に同じ瞬間に行われる状態で、常に信号ScamVの画像あたりK個のジャイロメータ信号Sgyroのサンプルがあることが保証される。
水平カメラ14は、上述のウィンドウ生成回路152および歪み補正回路156に信号ScamHを伝送して、ビデオ画像がユーザに対して出力される前に、ビデオ画像を安定させ、ビデオ画像の様々なアーチファクトを補正することを可能にする。この画像信号ScamHは、同期信号Vsync_CamHと関連付けられた画像コンテンツ信号を含む。
ジャイロメータ102は、上述のドローン姿勢推定回路118に伝送される信号Sgyroを伝送し、このドローン姿勢推定回路118は、3つの軸方向のドローンの回転φ、θおよびψを推定し、これらを回路152、156および136に伝送する。ジャイロメータ信号Sgyroは、同期信号Vsync_Gyroと関連付けられたコンテンツ信号(回転の測定値)を含む。
垂直カメラ16は、上述の回路136に印加される信号ScamVを伝送し、この回路136は、いくつかあるビデオ処理動作の中で、特にドローンが上方を飛行する地面の2つの連続した画像の間の見かけの変位を比較することにより動作するオプティカルフローアルゴリズムを含む様々なアルゴリズムを適用することによって水平速度VxおよびVyを計算する前に、画像ごとに回路118から伝送される回転推定に応じて、ある画像から次の画像への回転を補償することを保証する。この画像信号ScamVは、同期信号Vsync_CamVと関連付けられた画像コンテンツ信号を含む。
図4は、
水平カメラ14の同期信号Vsync_CamH、
ジャイロメータ102の同期信号Vsync_Gyro、および
垂直カメラ16の同期信号Vsync_CamV
を対比して示す一連のクロノグラムを示す。
水平カメラ14の同期信号Vsync_CamH、
ジャイロメータ102の同期信号Vsync_Gyro、および
垂直カメラ16の同期信号Vsync_CamV
を対比して示す一連のクロノグラムを示す。
水平カメラから伝送されるフレームレートは、通常は30Hzであり、垂直カメラから伝送されるフレームレートは、60Hzである。
これらのクロノグラムから分かるように、水平カメラは、比較的低速で取得を行い、画像の取得は、信号Vsync_CamHの立ち上がり縁部で開始され、同じ信号の立ち下がり縁部で終了する。水平カメラの画像は、このようにジャイロメータの有意な数のサンプルに対応する(この簡略化した例では、信号Sgyroのサンプルを6個示すが、現実には、通常は30個のサンプルがある)。
垂直カメラについて述べると、取得は、信号Vsync_CamVの立ち上がり縁部と立ち下がり縁部との間ではるかに早く行われ、速度推定アルゴリズムは、2つの連続した画像の間におけるドローンの姿勢の差を、可能な限り正確に把握していなければならない。図示の例では、この取得は、ジャイロメータ信号の1つのサンプルにしか対応していない(現実には、通常は4つのサンプルに対応する)。
2つの連続した画像の間におけるドローンの姿勢の変化は、各ジャイロメータから伝送されるジャイロメータ信号Sgyroの積分で計算すると有利である(図4のクロノグラムInteger_Sgyro)。しかし、何よりも、ジャイロメータ信号Sgyroと垂直カメラから伝送される画像信号ScamVとの間に、極めて正確な同期があることが不可欠である。
この点で、ジャイロメータセンサの信号Sgyroおよびカメラ16の信号ScamVは同じレート(1つの整数倍内)で伝送されるが、これは、これら2つの信号の位相が一致すること、すなわちこれらが現実に同期することについて保証するものではない。
さらに厳密には、共通のクロックは、ジャイロメータ信号Sgyroがビデオ信号ScamVに対して「スライド」しないように作用する。つまり、新たな画像が利用可能であるときに、ジャイロメータが新たなデータを伝送する前に、常に同じ時間間隔が経過する。一方、ジャイロメータセンサはビデオカメラと同時に始動しているわけではないので、この時間間隔は、ドローンごとに、また操縦シーケンスごとに異なる。
実際に、ビデオ取得とジャイロメータ取得は、ソフトウェアによってトリガされ、したがって、これら2つの取得が同時に始動するかどうかは不確かであり、これら2つの始動を隔てる時間間隔が、ドローンごとに、また同じドローンでも操縦シーケンスごとに一定であるかどうかは不確かである。
完璧な同期を保証するために、本発明は、信号SgyroとScamVの間の位相の測定にハードウェア構成要素170を使用することを提案することを特徴とする。この構成要素は、そのハードウェアである性質上、高い確度で、かつ非常に高速に、信号Vsync_CamVとVsync_Gyro(図4)の間の時間のずれΔを測定することができる。クロックがドリフトしないように設定されているので、1回の測定で十分であることに留意されたい。
2つの上記の機構、すなわち共通のクロック160およびハードウェアの移相測定回路170は、画像開始の取得の瞬間と、ジャイロメータのサンプリング周期の終了時との間の移相の極めて正確な測定を実現し、これにより、ジャイロメータ信号とビデオ信号とを、実時間で、1クロックサイクル内の極めて高い確度で、時間的に関連付けることが可能になる。
システムクロック160は数メガヘルツで動作し、このことは、ビデオ信号とジャイロメータ信号の間のタイミングに数ナノ秒の誤差があることを意味するが、これは非常に小さく、これにより極めて正確かつ効率的な補正を行うことができる。
一方、この機構がない場合には、ジャイロメータの新たなデータそれぞれの伝送の瞬間および取得した新たな画像のそれぞれの伝送の瞬間をソフトウェアによって記録することが必要となる。このような方法は、システムの反応時間に敏感になるのではるかに正確になり、かつ不規則になり、また100μs程度の確度しか実現できない。
Claims (3)
- ドローン(10)であって、
前記ドローンが上方を飛行する地面(T)の光景の方を向き、前記光景の一連の画像を撮像し、対応するデジタル画像信号(ScamV)を出力として伝送するように適合された垂直視ビデオカメラ(16)と、
絶対地球基準系(UVW)に対する前記ドローンの姿勢を特徴付けるオイラー角(φ、θ、ψ)を測定し、前記ドローンの瞬間的な回転を表すジャイロメータ信号(Sgyro)を出力として伝送するように適合されたジャイロメータセンサ(102)を含む慣性ユニット(154)と、
i)前記カメラから伝送された画像信号(ScamV)、およびii)前記慣性ユニットから伝送されたジャイロメータ信号(Sgyro)を入力として受信し、1つの画像から次の画像までの間の前記ドローンの回転が補償されたリタイミングされた画像データを出力として伝送する回転補償手段(136)と、
前記カメラによって撮像された前記光景の1つの画像から次の画像までの間の変位に基づいて前記ドローンの水平速度を推定する手段(138)であって、前記リタイミングされた画像データを入力として受信する推定手段と
を備え、
前記カメラおよび前記慣性ユニットは、共通のクロック(160)によって動かされ、
前記ジャイロメータセンサの取得周波数が、前記カメラの画像信号の伝送の周波数の倍数であり、
前記慣性ユニットから伝送された前記ジャイロメータ信号(Sgyro)を前記カメラから伝送された前記画像信号(ScamV)と比較し、
これらの信号の間の移相の値を決定し、
この移相値を前記回転補償手段(136)の入力に適用する
ように適合された回路(170)がさらに設けられ、
前記回転補償手段(136)が、前記リタイミングされた画像データを計算する前に、前記慣性ユニットから伝送された前記ジャイロメータ信号への、前記カメラから伝送された前記画像信号(ScamV)の再同期の事前補正を実行するようにさらに適合されている、
ことを特徴とするドローン(10)。 - 前記慣性ユニットから伝送された前記ジャイロメータ信号を前記カメラから伝送された前記画像信号と比較し、これらの信号の間の移相の値を決定し、この移相値を前記回転補償手段の入力に適用するように適合された前記回路(170)は、ハードウェア技術回路である、
請求項1に記載のドローン。 - 前記慣性ユニットから伝送された前記ジャイロメータ信号を、前記一連の画像のうちの2つの連続した画像に対応する画像信号の伝送の間に含まれる時間間隔にわたって積分するように適合された積分手段
をさらに備えた請求項1に記載のドローン。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1552813 | 2015-04-01 | ||
FR1552813A FR3034554B1 (fr) | 2015-04-01 | 2015-04-01 | Drone muni d'une camera video a visee verticale compensee des rotations instantanees pour l'estimation des vitesses horizontales |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016193720A true JP2016193720A (ja) | 2016-11-17 |
Family
ID=54545198
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016070013A Withdrawn JP2016193720A (ja) | 2015-04-01 | 2016-03-31 | 水平速度の推定のために瞬間的な回転が補償された垂直視ビデオカメラを備えたドローン |
Country Status (5)
Country | Link |
---|---|
US (1) | US9797728B2 (ja) |
EP (1) | EP3076258B1 (ja) |
JP (1) | JP2016193720A (ja) |
CN (1) | CN106053874A (ja) |
FR (1) | FR3034554B1 (ja) |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR3037672B1 (fr) * | 2015-06-16 | 2017-06-16 | Parrot | Drone comportant des moyens perfectionnes de compensation du biais de la centrale inertielle en fonction de la temperature |
USD795967S1 (en) * | 2016-01-27 | 2017-08-29 | Horizon Hobby, LLC | Quadcopter |
US10212346B2 (en) * | 2016-06-08 | 2019-02-19 | Amazon Technologies, Inc. | Multi-sensor image stabilization techniques |
USD830946S1 (en) * | 2016-06-23 | 2018-10-16 | Teal Drones, Inc. | Quadrotor |
US10139836B2 (en) * | 2016-09-27 | 2018-11-27 | International Business Machines Corporation | Autonomous aerial point of attraction highlighting for tour guides |
WO2018071970A1 (en) * | 2016-10-18 | 2018-04-26 | Deakin University | Thrust vectored multicopters |
FR3060178A1 (fr) * | 2016-12-09 | 2018-06-15 | Parrot Drones | Dispositif electronique de pilotage d'un drone, drone, procede de pilotage et programme d'ordinateur associes |
EP3559597B1 (en) | 2016-12-20 | 2023-08-02 | Smart Skin Technologies Inc. | Packaging device for measuring motion in manufacture |
CN110057352B (zh) * | 2018-01-19 | 2021-07-16 | 北京图森智途科技有限公司 | 一种相机姿态角确定方法及装置 |
US20190324447A1 (en) * | 2018-04-24 | 2019-10-24 | Kevin Michael Ryan | Intuitive Controller Device for UAV |
CN113141459B (zh) * | 2020-10-16 | 2022-04-05 | 北京理工大学 | 一种无人机机载视觉智能处理系统及方法 |
CN114383575B (zh) * | 2021-12-22 | 2024-03-22 | 中国测绘科学研究院 | 一种陀螺仪辅助近景测量的地质灾害监测方法 |
CN115790574B (zh) * | 2023-02-14 | 2023-04-28 | 飞联智航(北京)科技有限公司 | 一种无人机的光流定位方法、装置及无人机 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2961601B1 (fr) * | 2010-06-22 | 2012-07-27 | Parrot | Procede d'evaluation de la vitesse horizontale d'un drone, notamment d'un drone apte au vol stationnaire autopilote |
FR2988868B1 (fr) * | 2012-03-30 | 2015-04-24 | Parrot | Procede de pilotage d'un drone a voilure tournante a rotors multiples avec estimation et compensation du vent lateral |
-
2015
- 2015-04-01 FR FR1552813A patent/FR3034554B1/fr not_active Expired - Fee Related
-
2016
- 2016-03-30 EP EP16162801.1A patent/EP3076258B1/fr not_active Not-in-force
- 2016-03-31 JP JP2016070013A patent/JP2016193720A/ja not_active Withdrawn
- 2016-03-31 US US15/087,883 patent/US9797728B2/en not_active Expired - Fee Related
- 2016-04-01 CN CN201610403579.5A patent/CN106053874A/zh not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
EP3076258B1 (fr) | 2018-08-01 |
CN106053874A (zh) | 2016-10-26 |
EP3076258A1 (fr) | 2016-10-05 |
FR3034554B1 (fr) | 2017-04-28 |
US20160290809A1 (en) | 2016-10-06 |
US9797728B2 (en) | 2017-10-24 |
FR3034554A1 (fr) | 2016-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016193720A (ja) | 水平速度の推定のために瞬間的な回転が補償された垂直視ビデオカメラを備えたドローン | |
US9555897B2 (en) | Rotary-wing drone provided with a video camera delivering stabilized sequences of images | |
US10666868B2 (en) | Fast attitude error correction | |
CN106546238B (zh) | 可穿戴设备及在可穿戴设备中确定用户位移的方法 | |
EP3073285B1 (en) | Methods and apparatus for providing a snapshot truthing system for a tracker | |
US20180113462A1 (en) | Position-based soft stop for a 3-axis gimbal | |
US9900511B2 (en) | Method, system, and device for controlling a stabilized camera remotely | |
WO2017197651A1 (en) | Systems and methods for rolling shutter correction | |
WO2016086494A1 (zh) | 一种智能移动终端的视频呈现方法 | |
WO2019144300A1 (zh) | 目标检测方法、装置和可移动平台 | |
US10506163B2 (en) | Systems and methods for synchronizing sensor data | |
CN111723624B (zh) | 一种头部运动跟踪方法和系统 | |
WO2019104583A1 (zh) | 最高温度点跟踪方法、装置和无人机 | |
JP2018084528A (ja) | 航空写真測量装置及び航空写真測量方法 | |
WO2021084896A1 (ja) | 同期装置、同期方法、および同期プログラム | |
CN107942090B (zh) | 一种基于模糊星图提取光流信息的航天器角速度估计方法 | |
CN110702139A (zh) | 一种时延标定方法、装置、电子设备和介质 | |
KR101722993B1 (ko) | 전자광학추적기 | |
CN112985359A (zh) | 影像获取方法及影像获取设备 | |
KR102107923B1 (ko) | 동영상 하이라이트 부분을 식별하기 위한 머리 회전 추적 기기 | |
JP2011257342A (ja) | ヘッドトラッキング装置及びヘッドトラッキング方法 | |
CN114078142A (zh) | 主动式万向支架稳定的航空视觉惯性导航系统 | |
Kornilova et al. | Real-time digital video stabilization using MEMS-sensors | |
US20230199326A1 (en) | Systems and methods for capturing stabilized images | |
US20230359286A1 (en) | Tracking algorithm for continuous ar experiences |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190205 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20190627 |