JP2016193720A - 水平速度の推定のために瞬間的な回転が補償された垂直視ビデオカメラを備えたドローン - Google Patents

水平速度の推定のために瞬間的な回転が補償された垂直視ビデオカメラを備えたドローン Download PDF

Info

Publication number
JP2016193720A
JP2016193720A JP2016070013A JP2016070013A JP2016193720A JP 2016193720 A JP2016193720 A JP 2016193720A JP 2016070013 A JP2016070013 A JP 2016070013A JP 2016070013 A JP2016070013 A JP 2016070013A JP 2016193720 A JP2016193720 A JP 2016193720A
Authority
JP
Japan
Prior art keywords
drone
gyrometer
signal
camera
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2016070013A
Other languages
English (en)
Inventor
エリネ ピエール
Eline Pierre
エリネ ピエール
カロウ フランソワ
Francois Callou
カロウ フランソワ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Parrot Drones SAS
Original Assignee
Parrot Drones SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Parrot Drones SAS filed Critical Parrot Drones SAS
Publication of JP2016193720A publication Critical patent/JP2016193720A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/64Devices characterised by the determination of the time taken to traverse a fixed distance
    • G01P3/68Devices characterised by the determination of the time taken to traverse a fixed distance using optical means, i.e. using infrared, visible, or ultraviolet light
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D13/00Control of linear speed; Control of angular speed; Control of acceleration or deceleration, e.g. of a prime mover
    • G05D13/62Control of linear speed; Control of angular speed; Control of acceleration or deceleration, e.g. of a prime mover characterised by the use of electric means, e.g. use of a tachometric dynamo, use of a transducer converting an electric value into a displacement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/14Flying platforms with four distinct rotor axes, e.g. quadcopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Gyroscopes (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】垂直視カメラによって与えられる2つの連続した画像を解析することで、画像のこの見かけの変位を距離に変換し、さらに速度に変換する。」
【解決手段】ビデオカメラは、ドローンが上方を飛行する地面の画像信号を伝送する。ジャイロメータセンサ102は、ドローンの姿勢を特徴付けるオイラー角(φ、θ、ψ)を測定し、瞬間的な回転を表すジャイロメータ信号を伝送する。回転補償手段136は、画像信号およびジャイロメータ信号を受信し、その後にドローンの水平速度を推定するために使用される、回転が補償されたリタイミングされた画像データを伝送する。カメラおよび慣性ユニットは、共通のクロック160によって動かされる。ジャイロメータ信号と画像信号の間の移相の値を決定し、この移相値を回転補償手段の入力に適用して、リタイミングされた画像データを計算する前に、画像信号をジャイロメータ信号に再同期させる回路がさらに設けられる。
【選択図】図3

Description

本発明は、ドローン、特にクアドリコプタなどの回転翼ドローンなどの電動式飛行デバイスの操縦に関する。
フランスのパリに本社を置くParrot社製のAR.Drone2.0またはBebop Droneは、このようなクアドリコプタの代表例である。これらは、一連のセンサ(加速度計、3軸ジャイロメータ、高度計)、ドローンが向けられている方向の光景の画像を撮像する前方カメラ、および眼下の地面の画像を撮像する垂直視カメラを備える。これらは、それぞれのモータによって駆動される複数のロータを備え、これらのモータを差動的に制御して、ドローンを所定の姿勢および速度で操縦することができる。このようなドローンの様々な態様は、特に、EP2 364 757A1、EP2 400 460A1、EP2 613 213A1またはEP2 644 240A1、EP2 613 214A1(Parrot社)に記載されている。
本発明は、より詳しくは、垂直視カメラによって撮像された一連の画像を解析する計算機による、垂直視カメラから提供される画像の使用に基本的に基づく、ドローンの水平速度の測定に関する。カメラの推定変位から、慣性センサ(加速度計)から独立して、2つの方向へのドローンの水平移動の測定値が得られる。
より詳しくは、カメラによって与えられる2つの連続した画像を解析することで、絶対地球基準系の一方または他方の水平次元の見かけの変位がピクセル数で得られる。高度が既知である(ドローンに搭載された超音波センサおよび気圧センサにより与えられる)場合には、これらの画像のこの見かけの変位を距離に変換し、2つの連続した画像を隔てる時間間隔が分かっていれば、さらに速度に変換することができる。
上述のEP2 400 460A1には、いわゆる「オプティカルフロー」型のアルゴリズムに基づいて水平速度を測定するこのような技術が記載され、また、オプティカルフローアルゴリズムでは十分に信頼できる結果が得られないときに、動的な制御によって「ポイント検出器」または「関心点検出」型の別のアルゴリズムに切り替えることができることが記載されている。
オプティカルフロー方法には多数の利点があり、特に、コントラストおよび光景の内容に関する制約が非常に少ないということ、ならびに「複数解像度」型の手法により、高速および低速の両方を推定することができるということがある。一方で、この方法は、回転および姿勢の変化に非常に敏感であり、伝送される結果の品質を本質的に検証することができない、すなわち、このアルゴリズムは、十分な数の点が高い勾配を示す瞬間の結果を伝送するが、この結果は、それが意味をなさない場合でも伝送される。
事実上、伝送される結果は、特に低速の場合には、必ずしも信頼できるものとは限らず、またそれほど精度も高くない。現在では、ホバー飛行時の自動安定化を効率的かつ敏感に制御するためには、正確で、敏感で(均衡点付近における直線速度は非常に低速である可能性があるため)、かつ実時間で利用できる水平速度の測定値を有することが必要である。
ドローンの水平速度の測定値に影響を及ぼす可能性があるこれらの回転および姿勢変化は、慣性ユニットによって実時間で測定することができる。オプティカルフローアルゴリズムの実施は、それ自体既知の方法で、連続して使用される画像の間の回転を補償するステップをさらに含む。その目的のために、入る可能性のある誤差(画像平面と回転軸に直交する平面との間の交線に沿った成分を追加する回転)を、2つの連続する画像の間の回転による光学中心の変位を推定オプティカルフローに追加することによって補償する。換言すれば、カメラによって撮像された光景の2つの連続する画像の間に回転がある場合には、直前の画像と比較する前に、ドローンの信号プロセッサ内のソフトウェアによって実時間で実行される射影行列計算によって、その画像の新たなバージョンを生成する。この回転補償により、速度計算を、特にホバー飛行時に起こる回転に対してロバストにし、ドローンの変位の線型モデルを保持することができる。
この回転補償技術を実施する際の問題は、慣性ユニットがアルゴリズムに与える回転角(特にロール角およびピッチ角)の値の誤差が、画像の横方向移動と同じ結果を生じること、および回転補償アルゴリズムが一方の画像を他方の画像に対して完璧にリタイミングするときであっても、最小限の誤差でも、水平速度の成分の推定にバイアスを生じる可能性があることである。
こうした最小限の誤差は、特に、垂直カメラから伝送される画像信号と慣性ユニットから伝送されるジャイロメータ信号との間の同期の欠陥から生じる可能性がある。
回転補償プロセスにおけるいかなる誤差も回避することが望ましい場合には、したがって、画像ごとに、これら2つの信号の間の極めて正確な同期を保証することが重要である。
Myung Hwangboによる「Robust Monocular Vision−based Navigation for a Miniature Fixed−Wing Aircraft」、カーネギーメロン大学ロボット研究所、2009年9月15日、4.2.3章、「Camera−IMU synchronization」には、画像信号とジャイロメータ信号の間のずれを測定する単純な技術が記載されている。この技術は、この時間のずれが常に一定であるという仮定に基づくものである。この技術は、事前の較正ステップで、ドローンに正弦波状の動きを付与し、この正弦波状の動きのオプティカルフローの計算に基づいて動きを推定することにある。この動き推定結果を、次いで、ジャイロメータの測定結果と比較し、2つの正弦波形信号(画像信号およびジャイロメータ信号)をリタイミングすることにより、探索した位相を与える。この測定した位相は、較正ステップ後は一定であると考えられ、その後の飛行フェーズでは永続的かつ静的に適用される。
しかし、実際には、永続的に変化する可能性がある様々な要因、特に信号のソフトウェア処理における特定の待ち時間により、同期の誤差が生じ得る。この待ち時間は、一定でなく、特に所与の瞬間のプロセッサの作業負荷に応じて予測不能な形で変化するからである。
上述の単純な事前較正技術は、時間的なずれが常に一定であるという仮定に基づくものであり、これらの動的な現象を考慮することは全くできない。
本発明は、ドローン飛行中の任意の時点において、実時間で、垂直カメラから伝送される画像信号とドローンの慣性ユニットから伝送されるジャイロメータ信号との間の極めて正確な同期を保証することを可能にする解決策を提案することによって、上述の欠点を解消することを目的とする。また、これは、連続した画像の間の回転の補正に任意のバイアスが入ることを回避するために、ドローンの水平速度成分の推定の確度に関する上記で示した重要な結果を有する。
この目的のために、本発明は、
ドローンが上方を飛行する地面の光景の方を向き、この光景の一連の画像を撮像し、対応するデジタル画像信号を出力として伝送するように適合された垂直視ビデオカメラと、
絶対地球基準系に対するドローンの姿勢を特徴付けるオイラー角を測定し、ドローンの瞬間的な回転を表すジャイロメータ信号を出力として伝送するように適合されたジャイロメータセンサを含む慣性ユニットと、
i)カメラから伝送された画像信号、およびii)慣性ユニットから伝送されたジャイロメータ信号を入力として受信し、1つの画像から次の画像までの間のドローンの回転が補償されたリタイミングされた画像データを出力として伝送する回転補償手段と、
カメラによって撮像された光景の1つの画像から次の画像までの間の変位に基づいてドローンの水平速度を推定する手段であって、上記のリタイミングされた画像データを入力として受信する推定手段と
を、上述のEP2 400 460A1からそれ自体既知の方法で含むドローンを提案する。
本発明の特徴として、
カメラおよび慣性ユニットは、共通のクロックによって動かされ、
ジャイロメータセンサの取得周波数は、カメラの画像信号の伝送の周波数の倍数であり、
慣性ユニットから伝送されたジャイロメータ信号をカメラから伝送された画像信号と比較し、
これらの信号の間の移相の値を決定し、
この移相値を回転補償手段の入力に適用する
ように適合された回路がさらに設けられ、
回転補償手段は、上記のリタイミングされた画像データを計算する前に、慣性ユニットから伝送されたジャイロメータ信号への、カメラから伝送された画像信号の再同期の事前補正を実行するようにさらに適合されている。
非常に好ましくは、慣性ユニットから伝送されたジャイロメータ信号をカメラから伝送された画像信号と比較し、これらの各信号の間の移相の値を決定し、この移相値を回転補償手段の入力に適用するように適合された上記の回路は、ハードウェア技術回路である。
好ましくは、このドローンは、慣性ユニットから伝送されたジャイロメータ信号を、上記の一連の画像のうちの2つの連続した画像に対応する画像信号の伝送の間に含まれる時間間隔にわたって積分するように適合された積分手段をさらに含む。
次に、本発明の例示的な実施形態について、添付の図面を参照して説明する。全ての図面を通じて、同じ参照番号は、同じ要素、または機能的に同様の要素を指している。
図1は、遠隔制御デバイスによって操縦されるドローンを示す全体図である。 図2は、ドローンの制御、サーボ制御および操縦を行うための様々な部材を示すブロック図である。 図3は、ビデオカメラとジャイロメータの間の同期機構に関わる様々な要素を示すブロック図である。 図4は、カメラおよびジャイロメータから伝送される信号の間の時間関係を示す様々なクロノグラムである。
次に、本発明の例示的な実施形態について説明する。図1において、参照番号10は、ドローンの全体を示し、このドローンは、例えばフランスのパリに本社を置くParrot社製のBebop Droneなどのクアドリコプタである。このドローンは、一体型ナビゲーションおよび姿勢制御システムによって互いに独立して動かされるモータを有する4つの同一平面ロータ12を含む。このドローンは、例えば30fps(フレーム/秒)のビデオフローのリフレッシュ周波数を有する1920×1080ピクセルの解像度のCMOSセンサを備えた高精細度広角カメラなど、ドローンが向けられている方向の光景の画像を取得することを可能にする前方視カメラ14を備える。このドローンは、上方を飛行される地面Tの連続的な画像を撮像するように適合され、特に地面に対するドローンの速度を評価するために使用される、下向きの垂直視カメラ16も備える。このカメラは、例えば、60fpsのビデオフローのリフレッシュ周波数および64°の画角を有するQVGA解像度(320×240ピクセル)のCMOSセンサを備えたカメラである。
このドローンは、ドローンの角速度および偏心角、すなわち固定地球基準系UVWの水平平面に対するドローンの傾きを記述するオイラー角(ピッチφ、ロールθおよびヨーψ)を特定の確度で測定することを可能にする慣性センサ(加速度計およびジャイロメータ)も備える。水平速度の前後方向成分および左右方向成分の2つの成分は、それぞれピッチ軸およびロール軸の2つの軸の方向の傾きと密接に関係していることが分かっている。
ドローン10は、例えばiPhone(登録商標)タイプなどのスマートフォンまたはiPad(登録商標)タイプなどのタブレットなど、加速度計が一体化されたタッチスクリーン式マルチメディア電話またはタブレットなどの遠隔の遠隔制御デバイス18によって操縦される。これは、ドローン10の操縦と搭載された前方カメラ14によって撮影された画像の視覚化とを制御するための移動アプリケーションAR Free Flight(登録商標)など特定のアプリケーションソフトウェアがロードされていることを除けば改変されていない、標準的なデバイスである。デバイス18は、本体20と、前方カメラ14によって撮像された光景の画像を、単にユーザの指24がスクリーンに表示されたシンボルに触れるだけで操縦コマンド(上昇/下降など)を起動できるようにする特定数のシンボルを重畳して表示するタッチスクリーン22とを含む。デバイス18は、ロール軸およびピッチ軸の方向の対応する傾きをデバイスに付与してドローンを前進または後退させることによってドローンの姿勢を制御することを可能にする傾きセンサも備える。ユーザのアクションは、それらをドローンへのコマンド信号に変換する特定のアプリケーションソフトウェアによって解釈される。
図2は、本発明の技術によるドローンの制御、サーボ制御および操縦ならびに画像の変位の補正のための様々な部材を示すブロック図である(なお、これらの機構は、相互接続された回路として示してあるが、これらの様々な機能の実装は、基本的にソフトウェアに基づくものであり、この図は単なる例示に過ぎない)。
一般に、操縦システムは、水平速度、角速度、ドローンの姿勢、および高度の変化を、自動的に、またはユーザの制御下で制御するための、いくつかのインターリーブされたループを含む。
最も中央のループは、角速度制御ループ100であり、このループは、一方ではジャイロメータ102から供給される信号を使用し、他方では角速度セットポイント104からなる基準を使用する。この情報は、角速度補正のステージ106の入力に適用され、角速度補正のステージ106自体は、モータ110の制御のステージ108を動かして、様々なモータのレジームを別個に制御して、これらのモータによって駆動されるロータの全体としての動きによってドローンの角速度を補正するものである。
角速度制御ループ100は、ジャイロメータ102および加速度計114から供給される指示に基づいて動作する姿勢制御ループ112とインターリーブされる。これらのセンサから入来するデータは、ドローンの実際の姿勢の推定を生成するステージ118に適用され、このドローンの実際の姿勢の推定は、姿勢補正のステージ120に適用される。このステージ120は、ドローンの実際の姿勢を、ユーザ124によって直接与えられるコマンドに基づいて、かつ/またはドローンの自動操縦によって水平速度補正回路126を介して内部で生成されるデータに基づいて、回路122によって生成される角度セットポイントと比較する。回路120に適用され、ドローンの実際の姿勢と比較され、場合によって補正されるセットポイントは、モータを適宜制御するために、回路120から回路104に伝送される。
水平速度制御ループ130は、垂直ビデオカメラ16と、超音波遠隔測定センサ132と、高度計として働く気圧センサ134とを含む。回路136は、垂直カメラ16によって生成された画像を、加速度計114および姿勢推定回路118の信号と組み合わせて処理することができるようにして、回路138がドローンのピッチ軸およびロール軸の2つの軸に沿った水平速度VおよびVの推定を得ることを可能にするデータを生成する。推定した水平速度VおよびVは、回路140によって与えられる垂直速度Vの推定と、センサ132および134の情報に基づいて回路142によって与えられる高度zの値の推定とによって補正される。
ドローンの垂直変位を制御するために、ユーザ124は、高度セットポイントを計算する回路144にコマンドを与え、この高度セットポイントは、回路142によって与えられる推定高度値を受信する高度補正回路148を介して、上昇速度セットポイントVを計算する回路146に与えられる。このようにして計算された上昇速度Vは、回路150に与えられ、回路150は、この上昇速度Vを、回路140によって推定された対応する速度と比較し、その結果に応じて全てのモータで同時に回転速度を上げる、または下げることによってモータコマンドデータ(回路108)を修正して、上昇速度セットポイントと測定した上昇速度の間の差が最小になるようにする。
前方ビデオカメラ14について述べると、この前方ビデオカメラ14は、生ビデオデータ(ピクセルデータ)を、慣性ユニット154(ジャイロメータ102、加速度計114および姿勢推定回路118など)によって決定されたキャプチャゾーン内の有用なピクセルの選択を保証するウィンドウ生成回路152に伝送する。キャプチャゾーン内に記入されたビデオデータは、修正されたビデオデータを生成する幾何学的歪み補正回路156に与えられ、この修正されたビデオデータは、ユーザが保持している遠隔の遠隔制御デバイスへのビデオ画像の伝送を保証する発振回路158に伝送される。
次に、回路138によって推定される水平速度の計算のためのジャイロメータ信号と垂直カメラの画像信号の同期に関する様々な態様について、図3を参照して、さらに詳細に説明する。
ジャイロメータ102、前方カメラ(水平カメラ)14および垂直視カメラ16は、共通のクロック回路160によって動かされ、ジャイロメータならびにカメラ14および16のそれぞれの動作周波数は、このクロック160の周波数CLKの整数分の1である。
したがって、ジャイロメータ102および垂直視カメラ16は、
gyro=K.FcamV
となるように構成される。ここで、
gyroは、ジャイロメータの取得周波数であり、
camVは、カメラ16による画像の取得周波数であり(通常はFcamV=60Hz)、
Kは、正の整数である。
Kが整数であり、ベースクロックがジャイロメータとカメラとで同じであることにより、ドリフトがなく、角度の測定が常に同じ瞬間に行われる状態で、常に信号ScamVの画像あたりK個のジャイロメータ信号Sgyroのサンプルがあることが保証される。
水平カメラ14は、上述のウィンドウ生成回路152および歪み補正回路156に信号ScamHを伝送して、ビデオ画像がユーザに対して出力される前に、ビデオ画像を安定させ、ビデオ画像の様々なアーチファクトを補正することを可能にする。この画像信号ScamHは、同期信号Vsync_CamHと関連付けられた画像コンテンツ信号を含む。
ジャイロメータ102は、上述のドローン姿勢推定回路118に伝送される信号Sgyroを伝送し、このドローン姿勢推定回路118は、3つの軸方向のドローンの回転φ、θおよびψを推定し、これらを回路152、156および136に伝送する。ジャイロメータ信号Sgyroは、同期信号Vsync_Gyroと関連付けられたコンテンツ信号(回転の測定値)を含む。
垂直カメラ16は、上述の回路136に印加される信号ScamVを伝送し、この回路136は、いくつかあるビデオ処理動作の中で、特にドローンが上方を飛行する地面の2つの連続した画像の間の見かけの変位を比較することにより動作するオプティカルフローアルゴリズムを含む様々なアルゴリズムを適用することによって水平速度VおよびVを計算する前に、画像ごとに回路118から伝送される回転推定に応じて、ある画像から次の画像への回転を補償することを保証する。この画像信号ScamVは、同期信号Vsync_CamVと関連付けられた画像コンテンツ信号を含む。
図4は、
水平カメラ14の同期信号Vsync_CamH
ジャイロメータ102の同期信号Vsync_Gyro、および
垂直カメラ16の同期信号Vsync_CamV
を対比して示す一連のクロノグラムを示す。
水平カメラから伝送されるフレームレートは、通常は30Hzであり、垂直カメラから伝送されるフレームレートは、60Hzである。
これらのクロノグラムから分かるように、水平カメラは、比較的低速で取得を行い、画像の取得は、信号Vsync_CamHの立ち上がり縁部で開始され、同じ信号の立ち下がり縁部で終了する。水平カメラの画像は、このようにジャイロメータの有意な数のサンプルに対応する(この簡略化した例では、信号Sgyroのサンプルを6個示すが、現実には、通常は30個のサンプルがある)。
垂直カメラについて述べると、取得は、信号Vsync_CamVの立ち上がり縁部と立ち下がり縁部との間ではるかに早く行われ、速度推定アルゴリズムは、2つの連続した画像の間におけるドローンの姿勢の差を、可能な限り正確に把握していなければならない。図示の例では、この取得は、ジャイロメータ信号の1つのサンプルにしか対応していない(現実には、通常は4つのサンプルに対応する)。
2つの連続した画像の間におけるドローンの姿勢の変化は、各ジャイロメータから伝送されるジャイロメータ信号Sgyroの積分で計算すると有利である(図4のクロノグラムInteger_Sgyro)。しかし、何よりも、ジャイロメータ信号Sgyroと垂直カメラから伝送される画像信号ScamVとの間に、極めて正確な同期があることが不可欠である。
この点で、ジャイロメータセンサの信号Sgyroおよびカメラ16の信号ScamVは同じレート(1つの整数倍内)で伝送されるが、これは、これら2つの信号の位相が一致すること、すなわちこれらが現実に同期することについて保証するものではない。
さらに厳密には、共通のクロックは、ジャイロメータ信号Sgyroがビデオ信号ScamVに対して「スライド」しないように作用する。つまり、新たな画像が利用可能であるときに、ジャイロメータが新たなデータを伝送する前に、常に同じ時間間隔が経過する。一方、ジャイロメータセンサはビデオカメラと同時に始動しているわけではないので、この時間間隔は、ドローンごとに、また操縦シーケンスごとに異なる。
実際に、ビデオ取得とジャイロメータ取得は、ソフトウェアによってトリガされ、したがって、これら2つの取得が同時に始動するかどうかは不確かであり、これら2つの始動を隔てる時間間隔が、ドローンごとに、また同じドローンでも操縦シーケンスごとに一定であるかどうかは不確かである。
完璧な同期を保証するために、本発明は、信号SgyroとScamVの間の位相の測定にハードウェア構成要素170を使用することを提案することを特徴とする。この構成要素は、そのハードウェアである性質上、高い確度で、かつ非常に高速に、信号Vsync_CamVとVsync_Gyro(図4)の間の時間のずれΔを測定することができる。クロックがドリフトしないように設定されているので、1回の測定で十分であることに留意されたい。
2つの上記の機構、すなわち共通のクロック160およびハードウェアの移相測定回路170は、画像開始の取得の瞬間と、ジャイロメータのサンプリング周期の終了時との間の移相の極めて正確な測定を実現し、これにより、ジャイロメータ信号とビデオ信号とを、実時間で、1クロックサイクル内の極めて高い確度で、時間的に関連付けることが可能になる。
システムクロック160は数メガヘルツで動作し、このことは、ビデオ信号とジャイロメータ信号の間のタイミングに数ナノ秒の誤差があることを意味するが、これは非常に小さく、これにより極めて正確かつ効率的な補正を行うことができる。
一方、この機構がない場合には、ジャイロメータの新たなデータそれぞれの伝送の瞬間および取得した新たな画像のそれぞれの伝送の瞬間をソフトウェアによって記録することが必要となる。このような方法は、システムの反応時間に敏感になるのではるかに正確になり、かつ不規則になり、また100μs程度の確度しか実現できない。

Claims (3)

  1. ドローン(10)であって、
    前記ドローンが上方を飛行する地面(T)の光景の方を向き、前記光景の一連の画像を撮像し、対応するデジタル画像信号(ScamV)を出力として伝送するように適合された垂直視ビデオカメラ(16)と、
    絶対地球基準系(UVW)に対する前記ドローンの姿勢を特徴付けるオイラー角(φ、θ、ψ)を測定し、前記ドローンの瞬間的な回転を表すジャイロメータ信号(Sgyro)を出力として伝送するように適合されたジャイロメータセンサ(102)を含む慣性ユニット(154)と、
    i)前記カメラから伝送された画像信号(ScamV)、およびii)前記慣性ユニットから伝送されたジャイロメータ信号(Sgyro)を入力として受信し、1つの画像から次の画像までの間の前記ドローンの回転が補償されたリタイミングされた画像データを出力として伝送する回転補償手段(136)と、
    前記カメラによって撮像された前記光景の1つの画像から次の画像までの間の変位に基づいて前記ドローンの水平速度を推定する手段(138)であって、前記リタイミングされた画像データを入力として受信する推定手段と
    を備え、
    前記カメラおよび前記慣性ユニットは、共通のクロック(160)によって動かされ、
    前記ジャイロメータセンサの取得周波数が、前記カメラの画像信号の伝送の周波数の倍数であり、
    前記慣性ユニットから伝送された前記ジャイロメータ信号(Sgyro)を前記カメラから伝送された前記画像信号(ScamV)と比較し、
    これらの信号の間の移相の値を決定し、
    この移相値を前記回転補償手段(136)の入力に適用する
    ように適合された回路(170)がさらに設けられ、
    前記回転補償手段(136)が、前記リタイミングされた画像データを計算する前に、前記慣性ユニットから伝送された前記ジャイロメータ信号への、前記カメラから伝送された前記画像信号(ScamV)の再同期の事前補正を実行するようにさらに適合されている、
    ことを特徴とするドローン(10)。
  2. 前記慣性ユニットから伝送された前記ジャイロメータ信号を前記カメラから伝送された前記画像信号と比較し、これらの信号の間の移相の値を決定し、この移相値を前記回転補償手段の入力に適用するように適合された前記回路(170)は、ハードウェア技術回路である、
    請求項1に記載のドローン。
  3. 前記慣性ユニットから伝送された前記ジャイロメータ信号を、前記一連の画像のうちの2つの連続した画像に対応する画像信号の伝送の間に含まれる時間間隔にわたって積分するように適合された積分手段
    をさらに備えた請求項1に記載のドローン。
JP2016070013A 2015-04-01 2016-03-31 水平速度の推定のために瞬間的な回転が補償された垂直視ビデオカメラを備えたドローン Withdrawn JP2016193720A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1552813 2015-04-01
FR1552813A FR3034554B1 (fr) 2015-04-01 2015-04-01 Drone muni d'une camera video a visee verticale compensee des rotations instantanees pour l'estimation des vitesses horizontales

Publications (1)

Publication Number Publication Date
JP2016193720A true JP2016193720A (ja) 2016-11-17

Family

ID=54545198

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016070013A Withdrawn JP2016193720A (ja) 2015-04-01 2016-03-31 水平速度の推定のために瞬間的な回転が補償された垂直視ビデオカメラを備えたドローン

Country Status (5)

Country Link
US (1) US9797728B2 (ja)
EP (1) EP3076258B1 (ja)
JP (1) JP2016193720A (ja)
CN (1) CN106053874A (ja)
FR (1) FR3034554B1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3037672B1 (fr) * 2015-06-16 2017-06-16 Parrot Drone comportant des moyens perfectionnes de compensation du biais de la centrale inertielle en fonction de la temperature
USD795967S1 (en) * 2016-01-27 2017-08-29 Horizon Hobby, LLC Quadcopter
US10212346B2 (en) * 2016-06-08 2019-02-19 Amazon Technologies, Inc. Multi-sensor image stabilization techniques
USD830946S1 (en) * 2016-06-23 2018-10-16 Teal Drones, Inc. Quadrotor
US10139836B2 (en) * 2016-09-27 2018-11-27 International Business Machines Corporation Autonomous aerial point of attraction highlighting for tour guides
WO2018071970A1 (en) * 2016-10-18 2018-04-26 Deakin University Thrust vectored multicopters
FR3060178A1 (fr) * 2016-12-09 2018-06-15 Parrot Drones Dispositif electronique de pilotage d'un drone, drone, procede de pilotage et programme d'ordinateur associes
EP3559597B1 (en) 2016-12-20 2023-08-02 Smart Skin Technologies Inc. Packaging device for measuring motion in manufacture
CN110057352B (zh) * 2018-01-19 2021-07-16 北京图森智途科技有限公司 一种相机姿态角确定方法及装置
US20190324447A1 (en) * 2018-04-24 2019-10-24 Kevin Michael Ryan Intuitive Controller Device for UAV
CN113141459B (zh) * 2020-10-16 2022-04-05 北京理工大学 一种无人机机载视觉智能处理系统及方法
CN114383575B (zh) * 2021-12-22 2024-03-22 中国测绘科学研究院 一种陀螺仪辅助近景测量的地质灾害监测方法
CN115790574B (zh) * 2023-02-14 2023-04-28 飞联智航(北京)科技有限公司 一种无人机的光流定位方法、装置及无人机

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2961601B1 (fr) * 2010-06-22 2012-07-27 Parrot Procede d'evaluation de la vitesse horizontale d'un drone, notamment d'un drone apte au vol stationnaire autopilote
FR2988868B1 (fr) * 2012-03-30 2015-04-24 Parrot Procede de pilotage d'un drone a voilure tournante a rotors multiples avec estimation et compensation du vent lateral

Also Published As

Publication number Publication date
EP3076258B1 (fr) 2018-08-01
CN106053874A (zh) 2016-10-26
EP3076258A1 (fr) 2016-10-05
FR3034554B1 (fr) 2017-04-28
US20160290809A1 (en) 2016-10-06
US9797728B2 (en) 2017-10-24
FR3034554A1 (fr) 2016-10-07

Similar Documents

Publication Publication Date Title
JP2016193720A (ja) 水平速度の推定のために瞬間的な回転が補償された垂直視ビデオカメラを備えたドローン
US9555897B2 (en) Rotary-wing drone provided with a video camera delivering stabilized sequences of images
US10666868B2 (en) Fast attitude error correction
CN106546238B (zh) 可穿戴设备及在可穿戴设备中确定用户位移的方法
EP3073285B1 (en) Methods and apparatus for providing a snapshot truthing system for a tracker
US20180113462A1 (en) Position-based soft stop for a 3-axis gimbal
US9900511B2 (en) Method, system, and device for controlling a stabilized camera remotely
WO2017197651A1 (en) Systems and methods for rolling shutter correction
WO2016086494A1 (zh) 一种智能移动终端的视频呈现方法
WO2019144300A1 (zh) 目标检测方法、装置和可移动平台
US10506163B2 (en) Systems and methods for synchronizing sensor data
CN111723624B (zh) 一种头部运动跟踪方法和系统
WO2019104583A1 (zh) 最高温度点跟踪方法、装置和无人机
JP2018084528A (ja) 航空写真測量装置及び航空写真測量方法
WO2021084896A1 (ja) 同期装置、同期方法、および同期プログラム
CN107942090B (zh) 一种基于模糊星图提取光流信息的航天器角速度估计方法
CN110702139A (zh) 一种时延标定方法、装置、电子设备和介质
KR101722993B1 (ko) 전자광학추적기
CN112985359A (zh) 影像获取方法及影像获取设备
KR102107923B1 (ko) 동영상 하이라이트 부분을 식별하기 위한 머리 회전 추적 기기
JP2011257342A (ja) ヘッドトラッキング装置及びヘッドトラッキング方法
CN114078142A (zh) 主动式万向支架稳定的航空视觉惯性导航系统
Kornilova et al. Real-time digital video stabilization using MEMS-sensors
US20230199326A1 (en) Systems and methods for capturing stabilized images
US20230359286A1 (en) Tracking algorithm for continuous ar experiences

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190205

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20190627