JP2016082589A - 移動装置、特に、ウォブル効果が動的補正された一連の画像を伝達するビデオカメラを備える回転翼無人機 - Google Patents
移動装置、特に、ウォブル効果が動的補正された一連の画像を伝達するビデオカメラを備える回転翼無人機 Download PDFInfo
- Publication number
- JP2016082589A JP2016082589A JP2015200693A JP2015200693A JP2016082589A JP 2016082589 A JP2016082589 A JP 2016082589A JP 2015200693 A JP2015200693 A JP 2015200693A JP 2015200693 A JP2015200693 A JP 2015200693A JP 2016082589 A JP2016082589 A JP 2016082589A
- Authority
- JP
- Japan
- Prior art keywords
- filter
- image
- gyro
- exposure time
- wobble
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 230000000694 effects Effects 0.000 title abstract description 23
- 238000012937 correction Methods 0.000 title description 28
- 238000012545 processing Methods 0.000 claims abstract description 13
- 238000005096 rolling process Methods 0.000 claims abstract description 10
- 230000007246 mechanism Effects 0.000 claims abstract description 7
- 230000002441 reversible effect Effects 0.000 claims description 4
- 230000007547 defect Effects 0.000 abstract description 6
- 238000001914 filtration Methods 0.000 description 11
- 238000000034 method Methods 0.000 description 9
- 235000015110 jellies Nutrition 0.000 description 7
- 239000008274 jelly Substances 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C39/00—Aircraft not otherwise provided for
- B64C39/02—Aircraft not otherwise provided for characterised by special use
- B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
- B64D47/00—Equipment not otherwise provided for
- B64D47/08—Arrangements of cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/689—Motion occurring during a rolling shutter mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
- Gyroscopes (AREA)
Abstract
【課題】画像のぼけや歪みの影響であるウォブルとして知られる欠陥をなくす装置を提案することである。【解決手段】この装置は、ビデオデータ(Scam)をライン毎に伝達するローリングシャッタタイプの機構によって読み取られるデジタルセンサを備えたカメラ(10)を備える。露光制御回路(22)は、取り込まれる景色の照度レベルに応じて露光時間(texp)を動的に調整する。ジャイロユニット(12)は、カメラの姿勢(φ、θ、ψ)の瞬時変動を表すジャイロ信号(Sgyro)を送り出し、ビデオデータ(Scam)およびジャイロ信号(Sgyro)を受信する処理回路(18)が、装置に特有の振動によって生じるアーチファクトが処理および補正されたビデオデータを出力として伝達する。アンチウォブルフィルタ(24)は、露光時間が長くなるとフィルタの利得を低減するように、またその逆を行うように、露光時間(texp)に応じてジャイロ信号の利得を動的に修正する。【選択図】図4
Description
本発明は、移動装置、特に、無人機などの電動式飛行装置に搭載されたカメラによって取り込まれたデジタル画像の処理に関する。
本発明は、好適には、クアッドリコプター(quadricopter:4翼ヘリコプター)などの回転翼無人機の前面カメラによって収集される画像に適用される。このような無人機の一般的な例に、Parrot SA(フランス、パリ)が提供するAR.Drone 2.0があり、この無人機は、一連のセンサ(加速度計、3軸ジャイロ、高度計)と、進行方向の景色の画像を取り込む前面カメラと、上空飛行時の地面の画像を取り込む垂直視野カメラとを装備したクアッドリコプターである。無人機は、複数のモータによってそれぞれ駆動される複数のロータを備え、これらのモータは、姿勢や速度を制御しながら無人機の操縦を行うように個別に制御可能なものである。
特許文献1、特許文献2または特許文献3(Parrot SA)に、上記無人機のさまざまな態様が記載されている。
前面ビデオカメラは、「没入モード」の操縦、すなわち、ユーザが無人機に実際に乗っているような感覚でカメラの画像を利用する操縦モードで使用することができる。
また、前面ビデオカメラは、無人機の進行方向にある景色の一連の画像を取り込む機能を有してもよい。このように、ユーザは、カメラやカムコーダを手に持つ代わりに、無人機に搭載した状態と同じように無人機を使用することができる。収集された画像は、記録された後、配信、ビデオシーケンスホスティングウェブサイト上でのオンライン保存、他のインターネットユーザに向けた送信、ソーシャルネットワークでの共有などがなされうる。
これらの画像は、記録や通信を目的としたものであり、画像の欠陥、特に、例えば、無人機の挙動によって生じる欠陥であって、カメラによって取り込まれた画像に揺れや歪みまたはタイミング悪く生じるその他のアーチファクトを発生しうる欠陥をできるだけ抑制することが望ましい。
このような欠陥は、「没入操縦」構成のものであれば許容できる場合もある。しかしながら、一連の画像を取り込むために移動ビデオカメラとして無人機を使用し、取り込まれた画像を記録再生する場合、これらの欠点は画像を非常に損なうものとなるため、最小限に抑えることが望ましい。
本発明の目的は、特に、画像のぼけや歪みの影響であるウォブル(wobble)として知られる欠陥をなくすことである。このような影響は、カメラの支持体に伝わる高周波・低振幅振動、一般的に、モータの振動が存在するさいに現れ、結果的に直線が変形されて、画像に起伏が現れ、波が形成される。このような影響は、それほど顕著なものでない場合であっても、見ればすぐに気がつきやすいため、画像の視覚的品質を急激に低下させてしまう。
本発明の目的は、特に、画像のぼけや歪みの影響であるウォブル(wobble)として知られる欠陥をなくすことである。このような影響は、カメラの支持体に伝わる高周波・低振幅振動、一般的に、モータの振動が存在するさいに現れ、結果的に直線が変形されて、画像に起伏が現れ、波が形成される。このような影響は、それほど顕著なものでない場合であっても、見ればすぐに気がつきやすいため、画像の視覚的品質を急激に低下させてしまう。
この特定のアーチファクトは、無人機に搭載されるようなカメラのセンサによって使用されるローリングシャッタタイプ(および非グローバルシャッタタイプ)の機構によるもので、この機構では、画像を構成するラインは、画像の画素すべてに対して同時に得られるのではなく、順に得られる。したがって、画像の取り込み時に振動が生じると、あるラインから次のラインへ同じものではない変形が画像に発生し、ひいては、起伏が現れる。
ウォブル効果に対して行われるライン毎の補正(「ライン間補正」)は、ジャイロの測定値を用いて行われてもよく、ジャイロは、3軸における無人機、ひいては、カメラの瞬間回転を表す信号を伝達する。この瞬間回転には、振動が原因で生じる高速振動などがある。ジャイロの測定値に逆変換をかけると、ライン毎に無人機の姿勢を正確に取得できる瞬間から、カメラのセンサと同期させて、ウォブル効果をある程度補償することができる。
ウォブル効果に対して行われるライン毎の補正(「ライン間補正」)は、ジャイロの測定値を用いて行われてもよく、ジャイロは、3軸における無人機、ひいては、カメラの瞬間回転を表す信号を伝達する。この瞬間回転には、振動が原因で生じる高速振動などがある。ジャイロの測定値に逆変換をかけると、ライン毎に無人機の姿勢を正確に取得できる瞬間から、カメラのセンサと同期させて、ウォブル効果をある程度補償することができる。
このタイプの技術は、特に、本願と同一の出願人により2014年7月2日に出願された、「Drone a voilure tournante muni d'une camera video delivrant des Sequences d'images stabilisees」という発明の名称の仏国特許出願第1456302号に記載されている。
米国特許出願公開第2012/0242847号には、カメラを体から少し離した距離に保持したユーザの動きや揺れの影響下で生じる歪みを補正するための、ローリングシャッタビデオカメラに適用されたものと同じ性質を備えた技術が記載されている。カメラはジャイロセンサを備えているため、センサの瞬間回転を評価し、センサによって送り出された画像信号を適切に電子処理することによって、これらの動きを実時間で補償することができる。
しかしながら、以下、詳細な説明においてより明確に説明するように、ジャイロ信号を用いたこのようなウォブル補償方法は、ある条件下において新しいアーチファクトを生成する過補償を生じやすく、その結果、補正した画像が補正前の原画像よりも劣化してしまうという矛盾した事態を招きうる。
本発明の着想は、このような現象が、カメラの露光時間に関係するものであり、景色が暗い場合に相当する短露光時間のさいにのみ起こることを観察したことから得られたものである。
本発明の着想は、このような現象が、カメラの露光時間に関係するものであり、景色が暗い場合に相当する短露光時間のさいにのみ起こることを観察したことから得られたものである。
実際、カメラが受ける振動(すなわち、低減が望まれるウォブルを生じさせる振動)の期間に露光時間が近い場合、ウォブルは、カメラの長露光時間によって自然にフィルタリングされる。原画像には、動きによるぼけはあるが、起伏はほとんどないか、まったくない。しかしながら、カメラの振動の影響を反映するが、長露光時間によるフィルタリング効果を考慮しないジャイロ信号からの逆補正が適用される場合、この逆補正は、動きによるわずかなぼけの他に、原画像には存在しなかった起伏も画像上に現れてしまう。
本発明の基本原理は、ジャイロ信号を伝達する回路と歪み補正回路との間の画像安定化経路にフィルタを挿入することで、振動によるカメラの瞬間回転を反映させるジャイロ信号が、現行画像に対してカメラの露光時間に依存する変換関数を用いてフィルタリングされることである。各画像に対して、補正信号(ジャイロ信号)から、露光時間が長くなることで自然にフィルタリングされるカメラの動きを漸進的に抑制し、結果を劣化させる誤り補正を導入しないように、露光時間に反比例するカットオフ周波数でフィルタが生成される。
より詳細には、本発明によれば、既知の方法、特に、上述した米国特許出願公開第2012/0242847号から知られているように、レンズを備えるカメラと、所与の露光時間中に景色の画像が形成されるデジタルセンサと、ビデオデータをライン毎に出力として伝達するローリングシャッタタイプのセンサ読み取り機構と、露光制御回路とを備える移動装置、特に、無人機などの電動式飛行装置であって、取り込まれる景色の照度レベルに応じて露光時間を動的に調整するように構成されたサーボ機構を備える移動装置を提案する。ジャイロユニットが、移動装置の姿勢の瞬時変動を表すジャイロ信号を伝達する。アンチウォブルフィルタ(anti-wobble filter)を備える画像処理回路が、ビデオデータおよびジャイロ信号を入力として受け取り、移動装置特有の振動によって発生したアーチファクトに対して処理および補正が施されたビデオデータを出力として伝達する。
本発明の特質上、アンチウォブルフィルタは、露光時間が長くなるほどフィルタの利得を低減するように、またその逆を行うように、露光制御回路によって決定された露光時間に応じて画像処理回路の入力に適用されたジャイロ信号の利得を動的に修正する。
本発明の特質上、アンチウォブルフィルタは、露光時間が長くなるほどフィルタの利得を低減するように、またその逆を行うように、露光制御回路によって決定された露光時間に応じて画像処理回路の入力に適用されたジャイロ信号の利得を動的に修正する。
さまざまな好適な副次的特性によれば、
−フィルタの利得変動法則は単調な変動法則であり、最大利得である1と最小利得である0との間の範囲内のものであり、
−アンチウォブルフィルタは、所与の画像に対してローパスバターワースフィルタを生成するように構成されたデジタルフィルタであって、ローパスバターワースフィルタの次数は予め定義されており、ローパスバターワースフィルタのカットオフ周波数は、当該所与の画像に対して決められた露光時間に応じて変動するデジタルフィルタであり、
−露光時間texpに応じたバターワースフィルタのカットオフ周波数Fcの変動法則は、Fc=1/2.texp型の法則であり、
−デジタルフィルタは、ジャイロ信号に二度、すなわち順方向と逆方向に適用され、
−カメラは、取得ウィンドウの持続時間、ビデオデータを出力として送出し、所与の画像に対して、当該画像の取得ウィンドウの前に開始し、当該画像の取得ウィンドウ後に終了する処理ウィンドウの持続時間、アンチウォブルフィルタが適用される。
−フィルタの利得変動法則は単調な変動法則であり、最大利得である1と最小利得である0との間の範囲内のものであり、
−アンチウォブルフィルタは、所与の画像に対してローパスバターワースフィルタを生成するように構成されたデジタルフィルタであって、ローパスバターワースフィルタの次数は予め定義されており、ローパスバターワースフィルタのカットオフ周波数は、当該所与の画像に対して決められた露光時間に応じて変動するデジタルフィルタであり、
−露光時間texpに応じたバターワースフィルタのカットオフ周波数Fcの変動法則は、Fc=1/2.texp型の法則であり、
−デジタルフィルタは、ジャイロ信号に二度、すなわち順方向と逆方向に適用され、
−カメラは、取得ウィンドウの持続時間、ビデオデータを出力として送出し、所与の画像に対して、当該画像の取得ウィンドウの前に開始し、当該画像の取得ウィンドウ後に終了する処理ウィンドウの持続時間、アンチウォブルフィルタが適用される。
以下、同一の参照番号が図面を通して同一または機能的に同様の要素を示す添付の図面を参照しながら、本発明の例示的な実施形態について説明する。
図1には、図1aに示すチェッカーボードの画像上で観察可能なゼリーおよびウォブルと呼ばれる歪みが示されている。
これらのアーチファクトは、ローリングシャッタタイプ(および非グローバルシャッタタイプ)のセンサ特有のものであり、これらのタイプのセンサでは、画像を構成するラインは、画像の画素のすべてに対して同時に得られるのではなく、ラインliに垂直な方向DBに沿って進むセンサの走査に伴い、ライン毎(またはライン群毎)に連続して得られる。したがって、無人機の動きや画像の取り込み中に起こる振動により、あるラインから次のラインへ同じものにはならない変形が画像のどこかに発生してしまう。
図1bに見られるゼリー効果は、振幅が大きく周波数が比較的低いカメラの動きの存在下、例えば、無人機の重要な回転の存在下において現れ、無人機が回転すると、ローリングシャッタによるセンサの探査の開始から終了までの間、画像は、数画素分(図1bの例において、画像の上部と下部との間のチェッカーボードの約1マス分)変位する。この現象は、センサの走査DBの進行に伴い適切なオフセットを画像の各ラインliで適応させることによって補償されえ、このライン毎の補正により、無人機の高速回転によって生じたゼリーアーチファクトを打ち消すことができる。
図1cは、本発明に関わる「ウォブル効果」と呼ばれる他のタイプのアーチファクトを示す。
無人機が回転移動して生じる低周波数・高振幅のゼリー効果とは異なり、ウォブル効果は、主に、モータの振動によって生じ、高周波数(通常、120Hzオーダー)・低振幅の揺れを生じさせる。
無人機が回転移動して生じる低周波数・高振幅のゼリー効果とは異なり、ウォブル効果は、主に、モータの振動によって生じ、高周波数(通常、120Hzオーダー)・低振幅の揺れを生じさせる。
例えば、国際公開第2011/058255号(Parrot SA)に記載されているように、ウォブル効果は、カメラの支持体を適切に機械的に制動して、モータの振動のフィルタリングを可能にすることによって部分的に補正される。
しかしながら、実際には、このような機械的フィルタリングは十分ではなく、残りのウォブル効果をなくす必要があり、振動によって生じる無人機の瞬間回転を表す無人機の慣性ユニットによって送り出される測定値を用いて、およびライン毎の補正を適用することによって実行されてもよい。
しかしながら、実際には、このような機械的フィルタリングは十分ではなく、残りのウォブル効果をなくす必要があり、振動によって生じる無人機の瞬間回転を表す無人機の慣性ユニットによって送り出される測定値を用いて、およびライン毎の補正を適用することによって実行されてもよい。
実際、慣性ユニットのジャイロにより、ラインのそれぞれに対して無人機の正確な姿勢の指示が得られるため、取り込み対象の景色、すなわち、この例の図1aのチェッカーボードに可能な限り接近した画像を生成するために互いに対して連続したラインを再調整するように、ライン毎に「画像間」補正を行うことができる。
2014年7月2日に出願された上述した仏国特許出願第1456302号には、以下、図4を参照しながら説明する技術である無人機の慣性ユニットのジャイロによって送り出される信号を用いて、ゼリーおよびウォブル効果を補正するための技術が記載されている。
しかしながら、この技術は、図2および図3を参照しながら以下に説明するように、ある条件下において欠点が生じるのは避けられない。
図2において、直線を有する高コントラストの景色が模擬されている。
−図2aは、オリジナルの景色、すなわち、基準として作用する実際の表示である。
−図2bは、図2aの景色を撮影するカメラであって、重要な振動を受けたカメラのローリングシャッタセンサで得られる画像である。最初の直線は、ローリングシャッタカメラの特性である技術により、ラインliが同時に取得されず、方向DBにおいて連続的に操作されることによりねじれて現れている。
−図2cは、カメラと一体化されたジャイロで測定された振動の逆の動きを適用することによる補正後の図2bの画像である。図から観察されるように、起伏が消えており、ラインの厚みがわずかに増すという犠牲はわずかに伴うものの、画像の認知を視覚的に損なう程ではない。
−図2dは、図2aの景色を撮影するカメラのグローバルシャッタセンサで得られる図2aの景色の画像である。センサのラインは、ここでは、ブロック毎に同時に読み取られるため、ウォブル効果を受けていない。このタイプの画像は、理想的なものであって、この画像に近くなることが求められる。
−図2aは、オリジナルの景色、すなわち、基準として作用する実際の表示である。
−図2bは、図2aの景色を撮影するカメラであって、重要な振動を受けたカメラのローリングシャッタセンサで得られる画像である。最初の直線は、ローリングシャッタカメラの特性である技術により、ラインliが同時に取得されず、方向DBにおいて連続的に操作されることによりねじれて現れている。
−図2cは、カメラと一体化されたジャイロで測定された振動の逆の動きを適用することによる補正後の図2bの画像である。図から観察されるように、起伏が消えており、ラインの厚みがわずかに増すという犠牲はわずかに伴うものの、画像の認知を視覚的に損なう程ではない。
−図2dは、図2aの景色を撮影するカメラのグローバルシャッタセンサで得られる図2aの景色の画像である。センサのラインは、ここでは、ブロック毎に同時に読み取られるため、ウォブル効果を受けていない。このタイプの画像は、理想的なものであって、この画像に近くなることが求められる。
図2の表示は、天候の良いときに屋外で受けうる典型的な撮影条件に相当する1msオーダーの非常に短い露光時間で作成されたものである。
図3は、カメラが受ける振動の期間(すなわち、120Hzの振動に対して8.33ms)に近いより長い露光時間、例えば、8msで得られる結果を示す。
図3bから分かるように、ウォブルは、カメラによって自然にフィルタリングされており、起伏が消失し、アーチファクトは、進行中のぼけとしてのみ生じているが、あまり視覚的な妨げになるものではない。さらに、この結果は、図3dに示すように、グローバルシャッタセンサで得られるものと完全に同等のものであり、また、コントラスト領域での移動によるぼけを示す。
一方で、図3cに示すように、カメラが受け、ジャイロが測定する逆の動きが適用された画像は、グローバルシャッタセンサで得られる図3dの画像から構成される理想のものとはまったくかけ離れた低品質の結果となる。
この例は、逆ジャイロ信号の適用による耐ウォブル補正の限界を示している。勿論、ジャイロは、センサ画像の走査中にカメラが受ける動きをすべて測定するが、これらの動きの周波数および露光時間に応じて、これらの動きは、ある程度の視覚的な歪みを発生しやすいことから、ある一定の動きを過度に補正し、新しいアーチファクトを発生することとなる。したがって、補正を適用することにより、逆に、別の補正が適用された場合(図3b)よりも得られる画像(図3c)が低品質なものとなる。
上述したことは、本発明が解決しようとする課題である。
図4は、ローリングシャッタタイプのセンサを備えるカメラ10によって送り出される画像信号Scamに及ぼすウォブル効果を補正可能な画像処理回路の異なる要素を示すブロック図である。
図4は、ローリングシャッタタイプのセンサを備えるカメラ10によって送り出される画像信号Scamに及ぼすウォブル効果を補正可能な画像処理回路の異なる要素を示すブロック図である。
このカメラは、高振幅・低周波数(無人機の変位)および低振幅・高周波数(モータの振動)の角変位を受ける。カメラが受けるこれらの動きは、無人機の姿勢を推定するための回路14に測定値が適用される慣性ユニット12によって測定され、慣性ユニット12は、無人機、ひいては、カメラの瞬間回転を表すジャイロ信号Sgyroを出力する。慣性ユニット12およびカメラ10は、互いに対して機械的に一体化されている。これらの回転は、固定された地球基準座標系(オイラー角)に関して三次元における無人機の傾きを表すピッチ角φ、ロール角θ、ヨー角ψによって与えられる。
ジャイロ信号Sgyroは、画像信号Scamのアーチファクトを安定化し補正するための回路18に適用されて、補正され安定化された画像信号を出力として取得し、この画像信号は、スクリーン上で視覚化されるようにユーザに送信され、デジタルメモリに記録され、またはその他同様の処理がなされうる。
カメラ10および慣性ユニット12は、共通のクロック回路16によって操縦され、慣性ユニットおよびカメラのそれぞれの動作周波数は、このクロック16の周波数CLKの約数である。言い換えれば、カメラ10および慣性ユニット12は、Fgyro=K.Fcamが成り立つように構成され、式中、Fgyroは、ジャイロの取得周波数(典型的に、Fgyro=990Hz)であり、Fcamは、ビデオカメラによる画像の取得周波数(典型的に、Fcam=30Hz)であり、Kは正の整数(典型的に、K=33)である。Kが整数であり、基本クロックがジャイロおよびカメラに対して同じであることから、角度測定は常に同時であるずれがない状態で、画像Scam当たりジャイロ信号Sgyroのサンプル数が常にK個存在する。
しかしながら、この機構により、ジャイロセンサによって送り出される信号Sgyroおよびカメラによって送り出される信号Scamが同期していれば、これらの信号の相の一致については保証されない。完全な同期をとるために、ハードウェアコンポーネント20は、ジャイロ信号Sgyroとビデオ信号Scamとの間の時間間隔Δを高精度に測定する。このため、共通のクロック回路16および位相シフト測定ハードウェア回路20により、1クロックサイクル内まで非常に高精度に時間を合わせてジャイロ信号およびビデオ信号を関連させることができる。なお、クロックは、ずれないように設定されているため、信号の測定は十分である。
しかしながら、この機構により、ジャイロセンサによって送り出される信号Sgyroおよびカメラによって送り出される信号Scamが同期していれば、これらの信号の相の一致については保証されない。完全な同期をとるために、ハードウェアコンポーネント20は、ジャイロ信号Sgyroとビデオ信号Scamとの間の時間間隔Δを高精度に測定する。このため、共通のクロック回路16および位相シフト測定ハードウェア回路20により、1クロックサイクル内まで非常に高精度に時間を合わせてジャイロ信号およびビデオ信号を関連させることができる。なお、クロックは、ずれないように設定されているため、信号の測定は十分である。
この構成は、上述した仏国特許出願第1456302号に記載されたものであるが、図2および図3を参照しながら示されているように、長露光時間の場合、許容可能なウォブル補正は得られず、逆に、過度の補正効果によって新たなアーチファクトが生じてしまう。
このことから、本発明は、画像の露光時間に応じてジャイロ補正の効果を動的に変調することを提案する。
露光時間texpは、カメラ10が取り込む景色の照度レベルに応じて露光時間を動的に調整可能なサーボ機構を備える露光制御回路22によって画像毎に決定される。信号Scamの解析によって決定されたこの照度レベルに応じて、露光制御回路22は、センサによって画像を再生する最適な条件において照度レベルを維持するために、露光時間を変化させるようにカメラを操縦する。
特質上、本発明は、慣性ユニット12とデジタル画像補正回路18との間に、露光制御回路22によって決定された露光時間texpに応じて動的に制御されるフィルタ24を挿入することを提案する。このフィルタリングは、結果を劣化させる誤補正を導入しないように、露光時間が長い場合、ジャイロ信号、ひいては、ジャイロ信号により画像に導入される補正をさらに減衰させるように、各画像に対して、カットオフ周波数が露光時間と反比例して変化するデジタルフィルタを生成させる適応フィルタリングである。
以下、図5を参照しながら、フィルタの変換関数が規定される方法について説明する。
第1の時間において、ジャイロからのデータSgyroに適用される最適な減衰は、さまざまな露光に対して、プロペラの周波数の関数として実験的に決定される(ある実施例においては、所定の点において、プロペラは120Hzで回転し、この値は、ダイナミックフィルタの特性を調整するために使用される周波数である)。
第1の時間において、ジャイロからのデータSgyroに適用される最適な減衰は、さまざまな露光に対して、プロペラの周波数の関数として実験的に決定される(ある実施例においては、所定の点において、プロペラは120Hzで回転し、この値は、ダイナミックフィルタの特性を調整するために使用される周波数である)。
このため、無人機は、テストチャートの前方を飛行するようにされ、信号Sgyroの異なる減衰値が検討され、画像の起伏の振幅が測定される。この振幅が最小のとき、最適利得値Aiが得られると考えられる。
3ms,4ms,...,10msと経過する露光時間に対して異なる値A1,A2,...,A7を記録すると、図5に示す最適な利得曲線が得られる。
図から分かるように、露光時間が3msより短い場合、利得は1に等しく、すなわち、プロペラの振動を反映する信号Sgyroのすべてが、フィルタリングなしにアーチファクト補正回路18に適用される。一方で、露光時間が8ms以上である場合、信号Sgyroはすべてフィルタリングされ、すなわち、アーチファクトを補正するためにジャイロ信号はまったく考慮されない。これらの間、すなわち、平均露光時間が5msの場合、最良の利得は約0.5であり、この値は、言い換えれば、補正信号Sgyroの振幅は、半分減衰される必要があるということである。
図から分かるように、露光時間が3msより短い場合、利得は1に等しく、すなわち、プロペラの振動を反映する信号Sgyroのすべてが、フィルタリングなしにアーチファクト補正回路18に適用される。一方で、露光時間が8ms以上である場合、信号Sgyroはすべてフィルタリングされ、すなわち、アーチファクトを補正するためにジャイロ信号はまったく考慮されない。これらの間、すなわち、平均露光時間が5msの場合、最良の利得は約0.5であり、この値は、言い換えれば、補正信号Sgyroの振幅は、半分減衰される必要があるということである。
以下のステップは、実験的に記録された特性をモデリングすること、すなわち、各画像に適用されるデジタルフィルタの生成法則を決定することを含む。
利得応答の品質のために、通過域において可能な限りコントラストのあるバターワースタイプのフィルタが選択されることが好適な場合もある。
位相シフトの問題を保証するために、フィルタはジャイロデータSgyroに二度、すなわち、まず順方向に、次は逆方向にかけられる。より正確に言えば、
−ジャイロ信号は、一連のサンプルe0,e1,...,enを生成する。
−フィルタは、第1の時間にこのサンプルに適用され、フィルタ値F0,F1,...,Fnを与える。
−これらの値の順序が逆にされ、シーケンスFn,...,F1,F0を与える。
−フィルタは、第2の時間に適用され、新しいフィルタ値F’4,...,F’1,F’0を生成する。
−これらのサンプルの順序が逆にされ、値F’0,F’1,...,F’nを与え、これらの値は、最後に、アーチファクト補正回路によって使用される(フィルタされた信号Sgyro)。
−ジャイロ信号は、一連のサンプルe0,e1,...,enを生成する。
−フィルタは、第1の時間にこのサンプルに適用され、フィルタ値F0,F1,...,Fnを与える。
−これらの値の順序が逆にされ、シーケンスFn,...,F1,F0を与える。
−フィルタは、第2の時間に適用され、新しいフィルタ値F’4,...,F’1,F’0を生成する。
−これらのサンプルの順序が逆にされ、値F’0,F’1,...,F’nを与え、これらの値は、最後に、アーチファクト補正回路によって使用される(フィルタされた信号Sgyro)。
このようなダブルフィルタリングには、画像を取り込む前後で未加工のジャイロ信号Sgyroのサンプルを有する必要がある。このように、耐ウォブル処理は、バッファにおいてジャイロ信号の十分なサンプルを蓄積する時間である数ミリ秒遅延する。
ローパスバターワースフィルタの合成は、以下の2つの入力パラメータを伴う。
−超過すると信号の減衰が必要になるカットオフ周波数。
−通過域と遮断域との間の移行帯域の幅、すなわち、この移行の急峻度の程度を決定する次数。
−超過すると信号の減衰が必要になるカットオフ周波数。
−通過域と遮断域との間の移行帯域の幅、すなわち、この移行の急峻度の程度を決定する次数。
次数2を選択し、カットオフ周波数に対して以下の型の法則を定める。
Fc=1/2.texp
式中、Fcはバターワースフィルタのカットオフ周波数であり、
texpは露光時間の現行値である。
上記により、図5に示すモデリング利得の連続曲線が得られ、この曲線は、実験的に記録された特性を完全に適切な方法で近似する。
Fc=1/2.texp
式中、Fcはバターワースフィルタのカットオフ周波数であり、
texpは露光時間の現行値である。
上記により、図5に示すモデリング利得の連続曲線が得られ、この曲線は、実験的に記録された特性を完全に適切な方法で近似する。
図6および図7は、短い露光時間で画像を取り込んだ場合と、長い露光時間で画像を取り込んだ場合の本発明の動的フィルタの作用をそれぞれ示すクロノグラムである。
これらの図において、領域Aは、画像取得ウィンドウに相当し、曲線「Sgyro(未加工)」は、フィルタをかける前のジャイロ信号に相当する。
本発明による補正を行うためには、画像のデータのみに相当するウィンドウAより広いウィンドウ(前方サンプルPおよび後方サンプルP’)でジャイロ信号のサンプル履歴を収集する必要がある。
図6は、振動の影響を低減させるように部分的にフィルタをかけた、露光時間が短い場合を示す。2つの曲線「Sgyro(未加工)」と「Sgyro(フィルタ済み)」とを比較することによって、低周波起伏が残ったまま、高周波起伏が部分的に減衰され、全体の位相シフトはないことが観察されうる。
図7は図6に類似しているが、露光時間が非常に長い場合の図である。この場合、ジャイロ信号の高周波はフィルタによって全体的に抑制される。一方で、低周波変動は残ったままである。ゼリー効果を表すこれらの緩い変動は、画像の連続したラインをライン毎に調整する従来の技術によって補正可能であろう。
Claims (8)
- 移動装置、特に、無人機などの電動式飛行装置であって、
レンズと、所与の露光時間(texp)の間、景色の画像が形成されるデジタルセンサと、ビデオデータ(Scam)をライン毎に出力として伝達するローリングシャッタタイプの前記センサの読み取り機構とを備えるカメラ(10)と、
取り込まれる景色の照度レベルに応じて前記露光時間(texp)を動的に調整するように構成されたサーボ機構を備える露光制御回路(22)と、
当該移動装置の姿勢(φ、θ、ψ)の瞬時変動を表すジャイロ信号(Sgyro)を伝達するように構成されたジャイロユニット(12)と、
前記ビデオデータ(Scam)および前記ジャイロ信号(Sgyro)を入力として受け取り、前記移動装置に特有の振動によって生じるアーチファクトが処理および補正されたビデオデータを出力として伝達するアンチウォブルフィルタ(24)を備える画像処理回路(18)とを備え、
前記アンチウォブルフィルタ(24)は、前記露光時間が増加するときは前記フィルタの利得を低減し、またその逆を行うように、前記露光制御回路によって決定された前記露光時間(texp)に応じて前記画像処理回路の入力に適用された前記ジャイロ信号の利得を動的に修正するように構成されていることを特徴とする移動装置。 - 前記フィルタの利得変動法則は、単調な変動法則である、請求項1に記載の移動装置。
- 前記フィルタの前記利得変動法則は、最大利得1と最小利得0との間の範囲である変動法則である、請求項2に記載の移動装置。
- 前記アンチウォブルフィルタ(24)は、所与の画像に対して、ローパスバターワースフィルタを生成するように構成されたデジタルフィルタであり、前記ローパスバターワースフィルタの次数は予め定義されており、前記ローパスバターワースフィルタのカットオフ周波数(Fc)は、前記所与の画像に対して決定された前記露光時間(texp)に応じて変動する、請求項2に記載の移動装置。
- 前記露光時間(texp)に応じた前記バターワースフィルタの前記カットオフ周波数(Fc)の変動法則は、Fc=1/2.texp型の法則である、請求項4に記載の移動装置。
- 前記デジタルフィルタは、前記ジャイロ信号に二度、すなわち順方向と逆方向に適用される、請求項4に記載の移動装置。
- 前記カメラは、取得ウィンドウ(A)の持続時間、前記ビデオデータを出力として伝達するように構成され、
この画像の取得の前記ウィンドウの前に開始する処理ウィンドウ(P、A、P’)の持続時間、所与の画像に対して、前記アンチウォブルフィルタを適用するように構成されている手段が設けられる、請求項1に記載の移動装置。 - 前記手段は、前記画像の取得の前記ウィンドウの後に終了する前記処理ウィンドウ(P、A、P’)の持続時間、前記アンチウォブルフィルタを適用するように構成される、請求項7に記載の移動装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR1459720 | 2014-10-10 | ||
FR1459720A FR3027143B1 (fr) | 2014-10-10 | 2014-10-10 | Appareil mobile, notamment drone a voilure tournante, muni d'une camera video delivrant des sequences d'images corrigees dynamiquement de l'effet "wobble" |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016082589A true JP2016082589A (ja) | 2016-05-16 |
Family
ID=52450315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015200693A Withdrawn JP2016082589A (ja) | 2014-10-10 | 2015-10-09 | 移動装置、特に、ウォブル効果が動的補正された一連の画像を伝達するビデオカメラを備える回転翼無人機 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9826202B2 (ja) |
EP (1) | EP3007429B1 (ja) |
JP (1) | JP2016082589A (ja) |
CN (1) | CN105516583A (ja) |
FR (1) | FR3027143B1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106797438B (zh) | 2014-10-17 | 2020-03-06 | 索尼公司 | 控制设备、控制方法和飞行器设备 |
US9934559B2 (en) * | 2016-02-19 | 2018-04-03 | Fotonation Limited | Method for correcting an acquired image |
WO2017197651A1 (en) * | 2016-05-20 | 2017-11-23 | SZ DJI Technology Co., Ltd. | Systems and methods for rolling shutter correction |
FR3052556B1 (fr) * | 2016-06-13 | 2018-07-06 | Parrot Drones | Ensemble d'imagerie pour drone et systeme comprenant un tel ensemble monte sur un drone volant |
WO2018053786A1 (en) | 2016-09-23 | 2018-03-29 | Qualcomm Incorporated | Adaptive motion filtering in an unmanned autonomous vehicle |
CN109792484B (zh) | 2016-09-23 | 2021-03-09 | 高通股份有限公司 | 无人自主飞行器中的图像处理 |
US20180186471A1 (en) * | 2017-01-03 | 2018-07-05 | Qualcomm Incorporated | 360 Degree Camera Mount for Drones and Robots |
CN108120452B (zh) * | 2017-12-21 | 2021-12-24 | 吉林大学 | Mems陀螺仪动态数据的滤波方法 |
EP3550506B1 (en) | 2018-04-05 | 2021-05-12 | Everdrone AB | A method for improving the interpretation of the surroundings of a uav, and a uav system |
CN109379536B (zh) * | 2018-12-29 | 2020-07-31 | 深圳看到科技有限公司 | 画面生成方法、装置、终端及对应的存储介质 |
WO2020220292A1 (zh) * | 2019-04-30 | 2020-11-05 | 深圳市大疆创新科技有限公司 | 电子增稳方法、图像采集设备、可移动平台 |
EP3761220A1 (en) | 2019-07-05 | 2021-01-06 | Everdrone AB | Method for improving the interpretation of the surroundings of a vehicle |
CN110636223B (zh) * | 2019-10-16 | 2021-03-30 | Oppo广东移动通信有限公司 | 防抖处理方法和装置、电子设备、计算机可读存储介质 |
WO2021138768A1 (zh) * | 2020-01-06 | 2021-07-15 | 深圳市大疆创新科技有限公司 | 图像处理方法、设备、可移动平台、成像装置及存储介质 |
TWM614138U (zh) * | 2020-07-23 | 2021-07-01 | 神亞科技股份有限公司 | 影像感測裝置 |
CN112689084B (zh) * | 2020-12-08 | 2022-11-18 | 武汉华中天经通视科技有限公司 | 一种机载光电侦察成像系统及电子稳像方法 |
CN114353833A (zh) * | 2021-12-31 | 2022-04-15 | 昆山丘钛微电子科技股份有限公司 | 一种摄像头模组及其陀螺增益确定方法、装置和芯片 |
CN115633122B (zh) * | 2022-12-07 | 2023-03-28 | 广州市影擎电子科技有限公司 | 基于手机的伺服运动轨迹录制方法及装置 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA792305A (en) | 1964-12-03 | 1968-08-13 | N.V. Philips Gloeilampenfabrieken | Transmitting arrangement for use in tone frequency pushbutton selection systems |
JP4086605B2 (ja) * | 2002-09-24 | 2008-05-14 | キヤノン株式会社 | 撮像装置 |
JP3829843B2 (ja) * | 2003-12-08 | 2006-10-04 | ソニー株式会社 | 画像処理装置 |
JP4530961B2 (ja) * | 2005-06-30 | 2010-08-25 | オリンパスイメージング株式会社 | 電子的ぶれ補正装置 |
US8068140B2 (en) * | 2006-08-07 | 2011-11-29 | Avago Technologies General Ip (Singapore) Pte. Ltd. | Still image stabilization suitable for compact camera environments |
WO2008039551A1 (en) * | 2006-09-25 | 2008-04-03 | Qualcomm Incorporated | A hand jitter reduction system for cameras |
FR2938774A1 (fr) | 2008-11-27 | 2010-05-28 | Parrot | Dispositif de pilotage d'un drone |
FR2952787B1 (fr) | 2009-11-13 | 2012-07-27 | Parrot | Support de carte electronique de navigaton pour drone a voilure tournante |
JP5424835B2 (ja) * | 2009-11-30 | 2014-02-26 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
FR2957266B1 (fr) | 2010-03-11 | 2012-04-20 | Parrot | Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante. |
JP5249377B2 (ja) * | 2011-03-22 | 2013-07-31 | キヤノン株式会社 | 撮像装置、及びその制御方法、プログラム |
US8913140B2 (en) * | 2011-08-15 | 2014-12-16 | Apple Inc. | Rolling shutter reduction based on motion sensors |
FR2985581B1 (fr) | 2012-01-05 | 2014-11-28 | Parrot | Procede de pilotage d'un drone a voilure tournante pour operer une prise de vue par une camera embarquee avec minimisation des mouvements perturbateurs |
JP6087671B2 (ja) * | 2013-03-12 | 2017-03-01 | キヤノン株式会社 | 撮像装置およびその制御方法 |
WO2014140354A1 (en) * | 2013-03-15 | 2014-09-18 | Freefly Systems Inc. | Method and system for correcting camera pointing angle in an actively stabilized system to compensate for translational movements |
JP6242145B2 (ja) * | 2013-10-10 | 2017-12-06 | キヤノン株式会社 | 像振れ補正装置、その制御方法および撮像装置 |
-
2014
- 2014-10-10 FR FR1459720A patent/FR3027143B1/fr active Active
-
2015
- 2015-09-15 US US14/855,287 patent/US9826202B2/en active Active
- 2015-09-25 CN CN201510783482.7A patent/CN105516583A/zh active Pending
- 2015-09-30 EP EP15187543.2A patent/EP3007429B1/fr active Active
- 2015-10-09 JP JP2015200693A patent/JP2016082589A/ja not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
US9826202B2 (en) | 2017-11-21 |
EP3007429A1 (fr) | 2016-04-13 |
US20160105648A1 (en) | 2016-04-14 |
CN105516583A (zh) | 2016-04-20 |
FR3027143B1 (fr) | 2016-11-11 |
EP3007429B1 (fr) | 2016-12-28 |
FR3027143A1 (fr) | 2016-04-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016082589A (ja) | 移動装置、特に、ウォブル効果が動的補正された一連の画像を伝達するビデオカメラを備える回転翼無人機 | |
EP3171589B1 (fr) | Drone muni d'une camera video delivrant des sequences d'images corrigees de l'effet wobble | |
EP3048789B1 (fr) | Drone muni d'une caméra video et de moyens de compensation des artefacts produits aux angles de roulis les plus importants | |
EP2933775B1 (fr) | Drone à voilure tournante muni d'une caméra video délivrant des séquences d'images stabilisées | |
EP3142354B1 (fr) | Drone avec caméra à visée frontale avec segmentation de l'image du ciel pour le contrôle de l'autoexposition | |
US9743001B1 (en) | Method of stabilizing a sequence of images | |
US9762799B2 (en) | Received video stabilization | |
CN102694979B (zh) | 摄像设备和摄像设备的控制方法 | |
JP6478504B2 (ja) | 撮像装置およびその制御方法 | |
EP3142353A1 (fr) | Drone avec caméra à visée frontale dont les paramètres de contrôle,notamment l'autoexposition, sont rendus indépendants de l'attitude | |
US10515439B2 (en) | Method for correcting an acquired image | |
JP7356557B2 (ja) | ぶれ補正装置、撮像装置、監視システム、及びプログラム | |
JP2019145958A (ja) | 撮像装置およびその制御方法ならびにプログラム | |
JP2016208483A (ja) | 映像システムおよびそれを用いた空撮システム | |
JP2007214662A (ja) | 固体撮像装置 | |
JP5621089B2 (ja) | 移動体の振動状態下における画像補正方法 | |
FR3052678A1 (fr) | Drone muni d'une camera video frontale avec compensation des rotations instantanees du drone et correction des artefacts | |
FR3020168A1 (fr) | Drone a voilure tournante muni d'une camera video delivrant des sequences d'images stabilisees |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20170222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170425 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180827 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20190527 |