JP2016082589A - 移動装置、特に、ウォブル効果が動的補正された一連の画像を伝達するビデオカメラを備える回転翼無人機 - Google Patents

移動装置、特に、ウォブル効果が動的補正された一連の画像を伝達するビデオカメラを備える回転翼無人機 Download PDF

Info

Publication number
JP2016082589A
JP2016082589A JP2015200693A JP2015200693A JP2016082589A JP 2016082589 A JP2016082589 A JP 2016082589A JP 2015200693 A JP2015200693 A JP 2015200693A JP 2015200693 A JP2015200693 A JP 2015200693A JP 2016082589 A JP2016082589 A JP 2016082589A
Authority
JP
Japan
Prior art keywords
filter
image
gyro
exposure time
wobble
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2015200693A
Other languages
English (en)
Inventor
エリーン ピエール
Eline Pierre
エリーン ピエール
ホン スロン エン
Hong Sron Eng
ホン スロン エン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Parrot SA
Original Assignee
Parrot SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Parrot SA filed Critical Parrot SA
Publication of JP2016082589A publication Critical patent/JP2016082589A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64DEQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00Equipment not otherwise provided for
    • B64D47/08Arrangements of cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689Motion occurring during a rolling shutter mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00Constructional aspects of UAVs
    • B64U20/80Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87Mounting of imaging devices, e.g. mounting of gimbals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Gyroscopes (AREA)

Abstract

【課題】画像のぼけや歪みの影響であるウォブルとして知られる欠陥をなくす装置を提案することである。【解決手段】この装置は、ビデオデータ(Scam)をライン毎に伝達するローリングシャッタタイプの機構によって読み取られるデジタルセンサを備えたカメラ(10)を備える。露光制御回路(22)は、取り込まれる景色の照度レベルに応じて露光時間(texp)を動的に調整する。ジャイロユニット(12)は、カメラの姿勢(φ、θ、ψ)の瞬時変動を表すジャイロ信号(Sgyro)を送り出し、ビデオデータ(Scam)およびジャイロ信号(Sgyro)を受信する処理回路(18)が、装置に特有の振動によって生じるアーチファクトが処理および補正されたビデオデータを出力として伝達する。アンチウォブルフィルタ(24)は、露光時間が長くなるとフィルタの利得を低減するように、またその逆を行うように、露光時間(texp)に応じてジャイロ信号の利得を動的に修正する。【選択図】図4

Description

本発明は、移動装置、特に、無人機などの電動式飛行装置に搭載されたカメラによって取り込まれたデジタル画像の処理に関する。
本発明は、好適には、クアッドリコプター(quadricopter:4翼ヘリコプター)などの回転翼無人機の前面カメラによって収集される画像に適用される。このような無人機の一般的な例に、Parrot SA(フランス、パリ)が提供するAR.Drone 2.0があり、この無人機は、一連のセンサ(加速度計、3軸ジャイロ、高度計)と、進行方向の景色の画像を取り込む前面カメラと、上空飛行時の地面の画像を取り込む垂直視野カメラとを装備したクアッドリコプターである。無人機は、複数のモータによってそれぞれ駆動される複数のロータを備え、これらのモータは、姿勢や速度を制御しながら無人機の操縦を行うように個別に制御可能なものである。
特許文献1、特許文献2または特許文献3(Parrot SA)に、上記無人機のさまざまな態様が記載されている。
前面ビデオカメラは、「没入モード」の操縦、すなわち、ユーザが無人機に実際に乗っているような感覚でカメラの画像を利用する操縦モードで使用することができる。
また、前面ビデオカメラは、無人機の進行方向にある景色の一連の画像を取り込む機能を有してもよい。このように、ユーザは、カメラやカムコーダを手に持つ代わりに、無人機に搭載した状態と同じように無人機を使用することができる。収集された画像は、記録された後、配信、ビデオシーケンスホスティングウェブサイト上でのオンライン保存、他のインターネットユーザに向けた送信、ソーシャルネットワークでの共有などがなされうる。
国際公開第2010/061099号 欧州特許出願公開第2364757号 欧州特許出願公開第2613214号
これらの画像は、記録や通信を目的としたものであり、画像の欠陥、特に、例えば、無人機の挙動によって生じる欠陥であって、カメラによって取り込まれた画像に揺れや歪みまたはタイミング悪く生じるその他のアーチファクトを発生しうる欠陥をできるだけ抑制することが望ましい。
このような欠陥は、「没入操縦」構成のものであれば許容できる場合もある。しかしながら、一連の画像を取り込むために移動ビデオカメラとして無人機を使用し、取り込まれた画像を記録再生する場合、これらの欠点は画像を非常に損なうものとなるため、最小限に抑えることが望ましい。
本発明の目的は、特に、画像のぼけや歪みの影響であるウォブル(wobble)として知られる欠陥をなくすことである。このような影響は、カメラの支持体に伝わる高周波・低振幅振動、一般的に、モータの振動が存在するさいに現れ、結果的に直線が変形されて、画像に起伏が現れ、波が形成される。このような影響は、それほど顕著なものでない場合であっても、見ればすぐに気がつきやすいため、画像の視覚的品質を急激に低下させてしまう。
この特定のアーチファクトは、無人機に搭載されるようなカメラのセンサによって使用されるローリングシャッタタイプ(および非グローバルシャッタタイプ)の機構によるもので、この機構では、画像を構成するラインは、画像の画素すべてに対して同時に得られるのではなく、順に得られる。したがって、画像の取り込み時に振動が生じると、あるラインから次のラインへ同じものではない変形が画像に発生し、ひいては、起伏が現れる。
ウォブル効果に対して行われるライン毎の補正(「ライン間補正」)は、ジャイロの測定値を用いて行われてもよく、ジャイロは、3軸における無人機、ひいては、カメラの瞬間回転を表す信号を伝達する。この瞬間回転には、振動が原因で生じる高速振動などがある。ジャイロの測定値に逆変換をかけると、ライン毎に無人機の姿勢を正確に取得できる瞬間から、カメラのセンサと同期させて、ウォブル効果をある程度補償することができる。
このタイプの技術は、特に、本願と同一の出願人により2014年7月2日に出願された、「Drone a voilure tournante muni d'une camera video delivrant des Sequences d'images stabilisees」という発明の名称の仏国特許出願第1456302号に記載されている。
米国特許出願公開第2012/0242847号には、カメラを体から少し離した距離に保持したユーザの動きや揺れの影響下で生じる歪みを補正するための、ローリングシャッタビデオカメラに適用されたものと同じ性質を備えた技術が記載されている。カメラはジャイロセンサを備えているため、センサの瞬間回転を評価し、センサによって送り出された画像信号を適切に電子処理することによって、これらの動きを実時間で補償することができる。
しかしながら、以下、詳細な説明においてより明確に説明するように、ジャイロ信号を用いたこのようなウォブル補償方法は、ある条件下において新しいアーチファクトを生成する過補償を生じやすく、その結果、補正した画像が補正前の原画像よりも劣化してしまうという矛盾した事態を招きうる。
本発明の着想は、このような現象が、カメラの露光時間に関係するものであり、景色が暗い場合に相当する短露光時間のさいにのみ起こることを観察したことから得られたものである。
実際、カメラが受ける振動(すなわち、低減が望まれるウォブルを生じさせる振動)の期間に露光時間が近い場合、ウォブルは、カメラの長露光時間によって自然にフィルタリングされる。原画像には、動きによるぼけはあるが、起伏はほとんどないか、まったくない。しかしながら、カメラの振動の影響を反映するが、長露光時間によるフィルタリング効果を考慮しないジャイロ信号からの逆補正が適用される場合、この逆補正は、動きによるわずかなぼけの他に、原画像には存在しなかった起伏も画像上に現れてしまう。
本発明の基本原理は、ジャイロ信号を伝達する回路と歪み補正回路との間の画像安定化経路にフィルタを挿入することで、振動によるカメラの瞬間回転を反映させるジャイロ信号が、現行画像に対してカメラの露光時間に依存する変換関数を用いてフィルタリングされることである。各画像に対して、補正信号(ジャイロ信号)から、露光時間が長くなることで自然にフィルタリングされるカメラの動きを漸進的に抑制し、結果を劣化させる誤り補正を導入しないように、露光時間に反比例するカットオフ周波数でフィルタが生成される。
より詳細には、本発明によれば、既知の方法、特に、上述した米国特許出願公開第2012/0242847号から知られているように、レンズを備えるカメラと、所与の露光時間中に景色の画像が形成されるデジタルセンサと、ビデオデータをライン毎に出力として伝達するローリングシャッタタイプのセンサ読み取り機構と、露光制御回路とを備える移動装置、特に、無人機などの電動式飛行装置であって、取り込まれる景色の照度レベルに応じて露光時間を動的に調整するように構成されたサーボ機構を備える移動装置を提案する。ジャイロユニットが、移動装置の姿勢の瞬時変動を表すジャイロ信号を伝達する。アンチウォブルフィルタ(anti-wobble filter)を備える画像処理回路が、ビデオデータおよびジャイロ信号を入力として受け取り、移動装置特有の振動によって発生したアーチファクトに対して処理および補正が施されたビデオデータを出力として伝達する。
本発明の特質上、アンチウォブルフィルタは、露光時間が長くなるほどフィルタの利得を低減するように、またその逆を行うように、露光制御回路によって決定された露光時間に応じて画像処理回路の入力に適用されたジャイロ信号の利得を動的に修正する。
さまざまな好適な副次的特性によれば、
−フィルタの利得変動法則は単調な変動法則であり、最大利得である1と最小利得である0との間の範囲内のものであり、
−アンチウォブルフィルタは、所与の画像に対してローパスバターワースフィルタを生成するように構成されたデジタルフィルタであって、ローパスバターワースフィルタの次数は予め定義されており、ローパスバターワースフィルタのカットオフ周波数は、当該所与の画像に対して決められた露光時間に応じて変動するデジタルフィルタであり、
−露光時間texpに応じたバターワースフィルタのカットオフ周波数Fcの変動法則は、Fc=1/2.texp型の法則であり、
−デジタルフィルタは、ジャイロ信号に二度、すなわち順方向と逆方向に適用され、
−カメラは、取得ウィンドウの持続時間、ビデオデータを出力として送出し、所与の画像に対して、当該画像の取得ウィンドウの前に開始し、当該画像の取得ウィンドウ後に終了する処理ウィンドウの持続時間、アンチウォブルフィルタが適用される。
以下、同一の参照番号が図面を通して同一または機能的に同様の要素を示す添付の図面を参照しながら、本発明の例示的な実施形態について説明する。
図1a〜1cは、任意の補正フィルタリングを適用する前に、チェッカーボードの画像で観察されうるゼリー(jelly)およびウォブルタイプのアーチファクトを示す。 図2a〜2dは、短露光時間の場合にさまざまな歪み補正技術を適用することによって得られた高コントラストな垂直バーの画像を示す。 図3a〜3dは、図2a〜2dのものとそれぞれ同じ画像を示すが、カメラが受ける振動の期間に近い長露光時間の場合の画像を示す。 本発明による、ウォブルタイプのアーチファクトを補正およびフィルタリングする異なる要素を示すブロック図である。 実験的に記録され、最適特性のモデリングが可能な数学関数によって近似された、カメラが受ける特徴的な振動周波数の最適な利得/露光時間特性を示す。 短露光時間で画像が取り込まれた場合の本発明の動的フィルタの作用を示すクロノグラムである。 図6に類似しているが、露光時間が長い場合のクロノグラムである。
図1には、図1aに示すチェッカーボードの画像上で観察可能なゼリーおよびウォブルと呼ばれる歪みが示されている。
これらのアーチファクトは、ローリングシャッタタイプ(および非グローバルシャッタタイプ)のセンサ特有のものであり、これらのタイプのセンサでは、画像を構成するラインは、画像の画素のすべてに対して同時に得られるのではなく、ラインliに垂直な方向DBに沿って進むセンサの走査に伴い、ライン毎(またはライン群毎)に連続して得られる。したがって、無人機の動きや画像の取り込み中に起こる振動により、あるラインから次のラインへ同じものにはならない変形が画像のどこかに発生してしまう。
図1bに見られるゼリー効果は、振幅が大きく周波数が比較的低いカメラの動きの存在下、例えば、無人機の重要な回転の存在下において現れ、無人機が回転すると、ローリングシャッタによるセンサの探査の開始から終了までの間、画像は、数画素分(図1bの例において、画像の上部と下部との間のチェッカーボードの約1マス分)変位する。この現象は、センサの走査DBの進行に伴い適切なオフセットを画像の各ラインliで適応させることによって補償されえ、このライン毎の補正により、無人機の高速回転によって生じたゼリーアーチファクトを打ち消すことができる。
図1cは、本発明に関わる「ウォブル効果」と呼ばれる他のタイプのアーチファクトを示す。
無人機が回転移動して生じる低周波数・高振幅のゼリー効果とは異なり、ウォブル効果は、主に、モータの振動によって生じ、高周波数(通常、120Hzオーダー)・低振幅の揺れを生じさせる。
例えば、国際公開第2011/058255号(Parrot SA)に記載されているように、ウォブル効果は、カメラの支持体を適切に機械的に制動して、モータの振動のフィルタリングを可能にすることによって部分的に補正される。
しかしながら、実際には、このような機械的フィルタリングは十分ではなく、残りのウォブル効果をなくす必要があり、振動によって生じる無人機の瞬間回転を表す無人機の慣性ユニットによって送り出される測定値を用いて、およびライン毎の補正を適用することによって実行されてもよい。
実際、慣性ユニットのジャイロにより、ラインのそれぞれに対して無人機の正確な姿勢の指示が得られるため、取り込み対象の景色、すなわち、この例の図1aのチェッカーボードに可能な限り接近した画像を生成するために互いに対して連続したラインを再調整するように、ライン毎に「画像間」補正を行うことができる。
2014年7月2日に出願された上述した仏国特許出願第1456302号には、以下、図4を参照しながら説明する技術である無人機の慣性ユニットのジャイロによって送り出される信号を用いて、ゼリーおよびウォブル効果を補正するための技術が記載されている。
しかしながら、この技術は、図2および図3を参照しながら以下に説明するように、ある条件下において欠点が生じるのは避けられない。
図2において、直線を有する高コントラストの景色が模擬されている。
−図2aは、オリジナルの景色、すなわち、基準として作用する実際の表示である。
−図2bは、図2aの景色を撮影するカメラであって、重要な振動を受けたカメラのローリングシャッタセンサで得られる画像である。最初の直線は、ローリングシャッタカメラの特性である技術により、ラインliが同時に取得されず、方向DBにおいて連続的に操作されることによりねじれて現れている。
−図2cは、カメラと一体化されたジャイロで測定された振動の逆の動きを適用することによる補正後の図2bの画像である。図から観察されるように、起伏が消えており、ラインの厚みがわずかに増すという犠牲はわずかに伴うものの、画像の認知を視覚的に損なう程ではない。
−図2dは、図2aの景色を撮影するカメラのグローバルシャッタセンサで得られる図2aの景色の画像である。センサのラインは、ここでは、ブロック毎に同時に読み取られるため、ウォブル効果を受けていない。このタイプの画像は、理想的なものであって、この画像に近くなることが求められる。
図2の表示は、天候の良いときに屋外で受けうる典型的な撮影条件に相当する1msオーダーの非常に短い露光時間で作成されたものである。
図3は、カメラが受ける振動の期間(すなわち、120Hzの振動に対して8.33ms)に近いより長い露光時間、例えば、8msで得られる結果を示す。
図3bから分かるように、ウォブルは、カメラによって自然にフィルタリングされており、起伏が消失し、アーチファクトは、進行中のぼけとしてのみ生じているが、あまり視覚的な妨げになるものではない。さらに、この結果は、図3dに示すように、グローバルシャッタセンサで得られるものと完全に同等のものであり、また、コントラスト領域での移動によるぼけを示す。
一方で、図3cに示すように、カメラが受け、ジャイロが測定する逆の動きが適用された画像は、グローバルシャッタセンサで得られる図3dの画像から構成される理想のものとはまったくかけ離れた低品質の結果となる。
この例は、逆ジャイロ信号の適用による耐ウォブル補正の限界を示している。勿論、ジャイロは、センサ画像の走査中にカメラが受ける動きをすべて測定するが、これらの動きの周波数および露光時間に応じて、これらの動きは、ある程度の視覚的な歪みを発生しやすいことから、ある一定の動きを過度に補正し、新しいアーチファクトを発生することとなる。したがって、補正を適用することにより、逆に、別の補正が適用された場合(図3b)よりも得られる画像(図3c)が低品質なものとなる。
上述したことは、本発明が解決しようとする課題である。
図4は、ローリングシャッタタイプのセンサを備えるカメラ10によって送り出される画像信号Scamに及ぼすウォブル効果を補正可能な画像処理回路の異なる要素を示すブロック図である。
このカメラは、高振幅・低周波数(無人機の変位)および低振幅・高周波数(モータの振動)の角変位を受ける。カメラが受けるこれらの動きは、無人機の姿勢を推定するための回路14に測定値が適用される慣性ユニット12によって測定され、慣性ユニット12は、無人機、ひいては、カメラの瞬間回転を表すジャイロ信号Sgyroを出力する。慣性ユニット12およびカメラ10は、互いに対して機械的に一体化されている。これらの回転は、固定された地球基準座標系(オイラー角)に関して三次元における無人機の傾きを表すピッチ角φ、ロール角θ、ヨー角ψによって与えられる。
ジャイロ信号Sgyroは、画像信号Scamのアーチファクトを安定化し補正するための回路18に適用されて、補正され安定化された画像信号を出力として取得し、この画像信号は、スクリーン上で視覚化されるようにユーザに送信され、デジタルメモリに記録され、またはその他同様の処理がなされうる。
カメラ10および慣性ユニット12は、共通のクロック回路16によって操縦され、慣性ユニットおよびカメラのそれぞれの動作周波数は、このクロック16の周波数CLKの約数である。言い換えれば、カメラ10および慣性ユニット12は、Fgyro=K.Fcamが成り立つように構成され、式中、Fgyroは、ジャイロの取得周波数(典型的に、Fgyro=990Hz)であり、Fcamは、ビデオカメラによる画像の取得周波数(典型的に、Fcam=30Hz)であり、Kは正の整数(典型的に、K=33)である。Kが整数であり、基本クロックがジャイロおよびカメラに対して同じであることから、角度測定は常に同時であるずれがない状態で、画像Scam当たりジャイロ信号Sgyroのサンプル数が常にK個存在する。
しかしながら、この機構により、ジャイロセンサによって送り出される信号Sgyroおよびカメラによって送り出される信号Scamが同期していれば、これらの信号の相の一致については保証されない。完全な同期をとるために、ハードウェアコンポーネント20は、ジャイロ信号Sgyroとビデオ信号Scamとの間の時間間隔Δを高精度に測定する。このため、共通のクロック回路16および位相シフト測定ハードウェア回路20により、1クロックサイクル内まで非常に高精度に時間を合わせてジャイロ信号およびビデオ信号を関連させることができる。なお、クロックは、ずれないように設定されているため、信号の測定は十分である。
この構成は、上述した仏国特許出願第1456302号に記載されたものであるが、図2および図3を参照しながら示されているように、長露光時間の場合、許容可能なウォブル補正は得られず、逆に、過度の補正効果によって新たなアーチファクトが生じてしまう。
このことから、本発明は、画像の露光時間に応じてジャイロ補正の効果を動的に変調することを提案する。
露光時間texpは、カメラ10が取り込む景色の照度レベルに応じて露光時間を動的に調整可能なサーボ機構を備える露光制御回路22によって画像毎に決定される。信号Scamの解析によって決定されたこの照度レベルに応じて、露光制御回路22は、センサによって画像を再生する最適な条件において照度レベルを維持するために、露光時間を変化させるようにカメラを操縦する。
特質上、本発明は、慣性ユニット12とデジタル画像補正回路18との間に、露光制御回路22によって決定された露光時間texpに応じて動的に制御されるフィルタ24を挿入することを提案する。このフィルタリングは、結果を劣化させる誤補正を導入しないように、露光時間が長い場合、ジャイロ信号、ひいては、ジャイロ信号により画像に導入される補正をさらに減衰させるように、各画像に対して、カットオフ周波数が露光時間と反比例して変化するデジタルフィルタを生成させる適応フィルタリングである。
以下、図5を参照しながら、フィルタの変換関数が規定される方法について説明する。
第1の時間において、ジャイロからのデータSgyroに適用される最適な減衰は、さまざまな露光に対して、プロペラの周波数の関数として実験的に決定される(ある実施例においては、所定の点において、プロペラは120Hzで回転し、この値は、ダイナミックフィルタの特性を調整するために使用される周波数である)。
このため、無人機は、テストチャートの前方を飛行するようにされ、信号Sgyroの異なる減衰値が検討され、画像の起伏の振幅が測定される。この振幅が最小のとき、最適利得値Aiが得られると考えられる。
3ms,4ms,...,10msと経過する露光時間に対して異なる値A1,A2,...,A7を記録すると、図5に示す最適な利得曲線が得られる。
図から分かるように、露光時間が3msより短い場合、利得は1に等しく、すなわち、プロペラの振動を反映する信号Sgyroのすべてが、フィルタリングなしにアーチファクト補正回路18に適用される。一方で、露光時間が8ms以上である場合、信号Sgyroはすべてフィルタリングされ、すなわち、アーチファクトを補正するためにジャイロ信号はまったく考慮されない。これらの間、すなわち、平均露光時間が5msの場合、最良の利得は約0.5であり、この値は、言い換えれば、補正信号Sgyroの振幅は、半分減衰される必要があるということである。
以下のステップは、実験的に記録された特性をモデリングすること、すなわち、各画像に適用されるデジタルフィルタの生成法則を決定することを含む。
利得応答の品質のために、通過域において可能な限りコントラストのあるバターワースタイプのフィルタが選択されることが好適な場合もある。
位相シフトの問題を保証するために、フィルタはジャイロデータSgyroに二度、すなわち、まず順方向に、次は逆方向にかけられる。より正確に言えば、
−ジャイロ信号は、一連のサンプルe0,e1,...,enを生成する。
−フィルタは、第1の時間にこのサンプルに適用され、フィルタ値F0,F1,...,Fnを与える。
−これらの値の順序が逆にされ、シーケンスFn,...,F1,F0を与える。
−フィルタは、第2の時間に適用され、新しいフィルタ値F’4,...,F’1,F’0を生成する。
−これらのサンプルの順序が逆にされ、値F’0,F’1,...,F’nを与え、これらの値は、最後に、アーチファクト補正回路によって使用される(フィルタされた信号Sgyro)。
このようなダブルフィルタリングには、画像を取り込む前後で未加工のジャイロ信号Sgyroのサンプルを有する必要がある。このように、耐ウォブル処理は、バッファにおいてジャイロ信号の十分なサンプルを蓄積する時間である数ミリ秒遅延する。
ローパスバターワースフィルタの合成は、以下の2つの入力パラメータを伴う。
−超過すると信号の減衰が必要になるカットオフ周波数。
−通過域と遮断域との間の移行帯域の幅、すなわち、この移行の急峻度の程度を決定する次数。
次数2を選択し、カットオフ周波数に対して以下の型の法則を定める。
c=1/2.texp
式中、Fcはバターワースフィルタのカットオフ周波数であり、
expは露光時間の現行値である。
上記により、図5に示すモデリング利得の連続曲線が得られ、この曲線は、実験的に記録された特性を完全に適切な方法で近似する。
図6および図7は、短い露光時間で画像を取り込んだ場合と、長い露光時間で画像を取り込んだ場合の本発明の動的フィルタの作用をそれぞれ示すクロノグラムである。
これらの図において、領域Aは、画像取得ウィンドウに相当し、曲線「Sgyro(未加工)」は、フィルタをかける前のジャイロ信号に相当する。
本発明による補正を行うためには、画像のデータのみに相当するウィンドウAより広いウィンドウ(前方サンプルPおよび後方サンプルP’)でジャイロ信号のサンプル履歴を収集する必要がある。
図6は、振動の影響を低減させるように部分的にフィルタをかけた、露光時間が短い場合を示す。2つの曲線「Sgyro(未加工)」と「Sgyro(フィルタ済み)」とを比較することによって、低周波起伏が残ったまま、高周波起伏が部分的に減衰され、全体の位相シフトはないことが観察されうる。
図7は図6に類似しているが、露光時間が非常に長い場合の図である。この場合、ジャイロ信号の高周波はフィルタによって全体的に抑制される。一方で、低周波変動は残ったままである。ゼリー効果を表すこれらの緩い変動は、画像の連続したラインをライン毎に調整する従来の技術によって補正可能であろう。

Claims (8)

  1. 移動装置、特に、無人機などの電動式飛行装置であって、
    レンズと、所与の露光時間(texp)の間、景色の画像が形成されるデジタルセンサと、ビデオデータ(Scam)をライン毎に出力として伝達するローリングシャッタタイプの前記センサの読み取り機構とを備えるカメラ(10)と、
    取り込まれる景色の照度レベルに応じて前記露光時間(texp)を動的に調整するように構成されたサーボ機構を備える露光制御回路(22)と、
    当該移動装置の姿勢(φ、θ、ψ)の瞬時変動を表すジャイロ信号(Sgyro)を伝達するように構成されたジャイロユニット(12)と、
    前記ビデオデータ(Scam)および前記ジャイロ信号(Sgyro)を入力として受け取り、前記移動装置に特有の振動によって生じるアーチファクトが処理および補正されたビデオデータを出力として伝達するアンチウォブルフィルタ(24)を備える画像処理回路(18)とを備え、
    前記アンチウォブルフィルタ(24)は、前記露光時間が増加するときは前記フィルタの利得を低減し、またその逆を行うように、前記露光制御回路によって決定された前記露光時間(texp)に応じて前記画像処理回路の入力に適用された前記ジャイロ信号の利得を動的に修正するように構成されていることを特徴とする移動装置。
  2. 前記フィルタの利得変動法則は、単調な変動法則である、請求項1に記載の移動装置。
  3. 前記フィルタの前記利得変動法則は、最大利得1と最小利得0との間の範囲である変動法則である、請求項2に記載の移動装置。
  4. 前記アンチウォブルフィルタ(24)は、所与の画像に対して、ローパスバターワースフィルタを生成するように構成されたデジタルフィルタであり、前記ローパスバターワースフィルタの次数は予め定義されており、前記ローパスバターワースフィルタのカットオフ周波数(Fc)は、前記所与の画像に対して決定された前記露光時間(texp)に応じて変動する、請求項2に記載の移動装置。
  5. 前記露光時間(texp)に応じた前記バターワースフィルタの前記カットオフ周波数(Fc)の変動法則は、Fc=1/2.texp型の法則である、請求項4に記載の移動装置。
  6. 前記デジタルフィルタは、前記ジャイロ信号に二度、すなわち順方向と逆方向に適用される、請求項4に記載の移動装置。
  7. 前記カメラは、取得ウィンドウ(A)の持続時間、前記ビデオデータを出力として伝達するように構成され、
    この画像の取得の前記ウィンドウの前に開始する処理ウィンドウ(P、A、P’)の持続時間、所与の画像に対して、前記アンチウォブルフィルタを適用するように構成されている手段が設けられる、請求項1に記載の移動装置。
  8. 前記手段は、前記画像の取得の前記ウィンドウの後に終了する前記処理ウィンドウ(P、A、P’)の持続時間、前記アンチウォブルフィルタを適用するように構成される、請求項7に記載の移動装置。
JP2015200693A 2014-10-10 2015-10-09 移動装置、特に、ウォブル効果が動的補正された一連の画像を伝達するビデオカメラを備える回転翼無人機 Withdrawn JP2016082589A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1459720 2014-10-10
FR1459720A FR3027143B1 (fr) 2014-10-10 2014-10-10 Appareil mobile, notamment drone a voilure tournante, muni d'une camera video delivrant des sequences d'images corrigees dynamiquement de l'effet "wobble"

Publications (1)

Publication Number Publication Date
JP2016082589A true JP2016082589A (ja) 2016-05-16

Family

ID=52450315

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015200693A Withdrawn JP2016082589A (ja) 2014-10-10 2015-10-09 移動装置、特に、ウォブル効果が動的補正された一連の画像を伝達するビデオカメラを備える回転翼無人機

Country Status (5)

Country Link
US (1) US9826202B2 (ja)
EP (1) EP3007429B1 (ja)
JP (1) JP2016082589A (ja)
CN (1) CN105516583A (ja)
FR (1) FR3027143B1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106797438B (zh) 2014-10-17 2020-03-06 索尼公司 控制设备、控制方法和飞行器设备
US9934559B2 (en) * 2016-02-19 2018-04-03 Fotonation Limited Method for correcting an acquired image
WO2017197651A1 (en) * 2016-05-20 2017-11-23 SZ DJI Technology Co., Ltd. Systems and methods for rolling shutter correction
FR3052556B1 (fr) * 2016-06-13 2018-07-06 Parrot Drones Ensemble d'imagerie pour drone et systeme comprenant un tel ensemble monte sur un drone volant
WO2018053786A1 (en) 2016-09-23 2018-03-29 Qualcomm Incorporated Adaptive motion filtering in an unmanned autonomous vehicle
CN109792484B (zh) 2016-09-23 2021-03-09 高通股份有限公司 无人自主飞行器中的图像处理
US20180186471A1 (en) * 2017-01-03 2018-07-05 Qualcomm Incorporated 360 Degree Camera Mount for Drones and Robots
CN108120452B (zh) * 2017-12-21 2021-12-24 吉林大学 Mems陀螺仪动态数据的滤波方法
EP3550506B1 (en) 2018-04-05 2021-05-12 Everdrone AB A method for improving the interpretation of the surroundings of a uav, and a uav system
CN109379536B (zh) * 2018-12-29 2020-07-31 深圳看到科技有限公司 画面生成方法、装置、终端及对应的存储介质
WO2020220292A1 (zh) * 2019-04-30 2020-11-05 深圳市大疆创新科技有限公司 电子增稳方法、图像采集设备、可移动平台
EP3761220A1 (en) 2019-07-05 2021-01-06 Everdrone AB Method for improving the interpretation of the surroundings of a vehicle
CN110636223B (zh) * 2019-10-16 2021-03-30 Oppo广东移动通信有限公司 防抖处理方法和装置、电子设备、计算机可读存储介质
WO2021138768A1 (zh) * 2020-01-06 2021-07-15 深圳市大疆创新科技有限公司 图像处理方法、设备、可移动平台、成像装置及存储介质
TWM614138U (zh) * 2020-07-23 2021-07-01 神亞科技股份有限公司 影像感測裝置
CN112689084B (zh) * 2020-12-08 2022-11-18 武汉华中天经通视科技有限公司 一种机载光电侦察成像系统及电子稳像方法
CN114353833A (zh) * 2021-12-31 2022-04-15 昆山丘钛微电子科技股份有限公司 一种摄像头模组及其陀螺增益确定方法、装置和芯片
CN115633122B (zh) * 2022-12-07 2023-03-28 广州市影擎电子科技有限公司 基于手机的伺服运动轨迹录制方法及装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA792305A (en) 1964-12-03 1968-08-13 N.V. Philips Gloeilampenfabrieken Transmitting arrangement for use in tone frequency pushbutton selection systems
JP4086605B2 (ja) * 2002-09-24 2008-05-14 キヤノン株式会社 撮像装置
JP3829843B2 (ja) * 2003-12-08 2006-10-04 ソニー株式会社 画像処理装置
JP4530961B2 (ja) * 2005-06-30 2010-08-25 オリンパスイメージング株式会社 電子的ぶれ補正装置
US8068140B2 (en) * 2006-08-07 2011-11-29 Avago Technologies General Ip (Singapore) Pte. Ltd. Still image stabilization suitable for compact camera environments
WO2008039551A1 (en) * 2006-09-25 2008-04-03 Qualcomm Incorporated A hand jitter reduction system for cameras
FR2938774A1 (fr) 2008-11-27 2010-05-28 Parrot Dispositif de pilotage d'un drone
FR2952787B1 (fr) 2009-11-13 2012-07-27 Parrot Support de carte electronique de navigaton pour drone a voilure tournante
JP5424835B2 (ja) * 2009-11-30 2014-02-26 キヤノン株式会社 画像処理装置、画像処理方法
FR2957266B1 (fr) 2010-03-11 2012-04-20 Parrot Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante.
JP5249377B2 (ja) * 2011-03-22 2013-07-31 キヤノン株式会社 撮像装置、及びその制御方法、プログラム
US8913140B2 (en) * 2011-08-15 2014-12-16 Apple Inc. Rolling shutter reduction based on motion sensors
FR2985581B1 (fr) 2012-01-05 2014-11-28 Parrot Procede de pilotage d'un drone a voilure tournante pour operer une prise de vue par une camera embarquee avec minimisation des mouvements perturbateurs
JP6087671B2 (ja) * 2013-03-12 2017-03-01 キヤノン株式会社 撮像装置およびその制御方法
WO2014140354A1 (en) * 2013-03-15 2014-09-18 Freefly Systems Inc. Method and system for correcting camera pointing angle in an actively stabilized system to compensate for translational movements
JP6242145B2 (ja) * 2013-10-10 2017-12-06 キヤノン株式会社 像振れ補正装置、その制御方法および撮像装置

Also Published As

Publication number Publication date
US9826202B2 (en) 2017-11-21
EP3007429A1 (fr) 2016-04-13
US20160105648A1 (en) 2016-04-14
CN105516583A (zh) 2016-04-20
FR3027143B1 (fr) 2016-11-11
EP3007429B1 (fr) 2016-12-28
FR3027143A1 (fr) 2016-04-15

Similar Documents

Publication Publication Date Title
JP2016082589A (ja) 移動装置、特に、ウォブル効果が動的補正された一連の画像を伝達するビデオカメラを備える回転翼無人機
EP3171589B1 (fr) Drone muni d'une camera video delivrant des sequences d'images corrigees de l'effet wobble
EP3048789B1 (fr) Drone muni d'une caméra video et de moyens de compensation des artefacts produits aux angles de roulis les plus importants
EP2933775B1 (fr) Drone à voilure tournante muni d'une caméra video délivrant des séquences d'images stabilisées
EP3142354B1 (fr) Drone avec caméra à visée frontale avec segmentation de l'image du ciel pour le contrôle de l'autoexposition
US9743001B1 (en) Method of stabilizing a sequence of images
US9762799B2 (en) Received video stabilization
CN102694979B (zh) 摄像设备和摄像设备的控制方法
JP6478504B2 (ja) 撮像装置およびその制御方法
EP3142353A1 (fr) Drone avec caméra à visée frontale dont les paramètres de contrôle,notamment l'autoexposition, sont rendus indépendants de l'attitude
US10515439B2 (en) Method for correcting an acquired image
JP7356557B2 (ja) ぶれ補正装置、撮像装置、監視システム、及びプログラム
JP2019145958A (ja) 撮像装置およびその制御方法ならびにプログラム
JP2016208483A (ja) 映像システムおよびそれを用いた空撮システム
JP2007214662A (ja) 固体撮像装置
JP5621089B2 (ja) 移動体の振動状態下における画像補正方法
FR3052678A1 (fr) Drone muni d'une camera video frontale avec compensation des rotations instantanees du drone et correction des artefacts
FR3020168A1 (fr) Drone a voilure tournante muni d'une camera video delivrant des sequences d'images stabilisees

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20170222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170425

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180827

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20190527