JP2016140069A - ビデオカメラと、最大ロール角で生じるアーチファクトの補償手段とを備えた無人機 - Google Patents

ビデオカメラと、最大ロール角で生じるアーチファクトの補償手段とを備えた無人機 Download PDF

Info

Publication number
JP2016140069A
JP2016140069A JP2016011421A JP2016011421A JP2016140069A JP 2016140069 A JP2016140069 A JP 2016140069A JP 2016011421 A JP2016011421 A JP 2016011421A JP 2016011421 A JP2016011421 A JP 2016011421A JP 2016140069 A JP2016140069 A JP 2016140069A
Authority
JP
Japan
Prior art keywords
drone
capture area
configuration
image
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2016011421A
Other languages
English (en)
Inventor
エリーヌ ピエール
Eline Pierre
エリーヌ ピエール
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Parrot SA
Original Assignee
Parrot SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Parrot SA filed Critical Parrot SA
Publication of JP2016140069A publication Critical patent/JP2016140069A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H27/00—Toy aircraft; Other flying toys
    • A63H27/12—Helicopters ; Flying tops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H30/00—Remote-control arrangements specially adapted for toys, e.g. for toy vehicles
    • A63H30/02—Electrical arrangements
    • A63H30/04—Electrical arrangements using wireless transmission
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C27/00—Rotorcraft; Rotors peculiar thereto
    • B64C27/04—Helicopters
    • B64C27/08—Helicopters with two or more rotors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/028—Micro-sized aircraft
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00—UAVs characterised by their flight controls
    • B64U2201/20—Remote controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U30/00—Means for producing lift; Empennages; Arrangements thereof
    • B64U30/20—Rotors; Rotor supports

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

【課題】無人機が大きく横に傾いた場合に、無人機が一定の展開を行うさいに現れる特定の欠陥を解消することである。
【解決手段】無人機は、カメラと、無人機の角度を測定する慣性ユニットと、センサのキャプチャ領域（ＺＣ）内に規定された縮小サイズを有する画像領域（ＺＩ）のデータを送る抽出モジュールとを備える。フィードバック制御モジュールは、慣性ユニットによって測定された角度の変化の方向とは反対の方向に、キャプチャ領域内の画像領域の位置および向きを動的に修正する。センサは、ロール角（θ）の値が小さい場合にベースキャプチャ領域（ＺＣＢ）を用いる基本構成と、ロール角（θ）の値が大きい場合にベースキャプチャ領域（ＺＣＢ）より大きいサイズの拡張キャプチャ領域（ＺＣＥ）を用いる少なくとも１つの劣化モード構成とを含む、動的に選択可能な複数の異なる構成に応じて動作してもよい。
【選択図】図８ｃ

Description

本発明は、移動体装置、特に、無人機などの電動飛行機に搭載されたカメラによって撮像されたデジタル画像の処理に関する。
本発明は、好適には、クアッドリコプター（ｑｕａｄｒｉｃｏｐｔｅｒ：４翼ヘリコプター）などの回転翼無人機の前面カメラによって収集される画像に適用される。
Ｐａｒｒｏｔ ＳＡ（フランス、パリ）のＡＲ．Ｄｒｏｎｅ ２．０またはＢｅｂｏｐ Ｄｒｏｎｅは、このようなクアッドリコプターの一般的な例である。これらの無人機は、一連のセンサ（加速度計、３軸ジャイロ、高度計）と、無人機の進行方向の景色の画像を撮像する前面カメラと、上空飛行時の地面の画像を撮像する垂直視野カメラとを装備している。このような無人機は、複数のモータによってそれぞれ駆動される複数のロータを備え、姿勢や速度についてこれらのモータを個別に制御して、無人機の操縦が行われる。特に、特許文献１、特許文献２、特許文献３または特許文献４（Ｐａｒｒｏｔ ＳＡ）に、上記無人機のさまざまな態様が記載されている。
非特許文献１には、特に、画像安定化制御システムに関連する魚眼レンズを備えた無人機である上述したＢｅｂｏｐ Ｄｒｏｎｅ装置が記載されている。
前面ビデオカメラは、特に、「没入モード」の操縦、すなわち、ユーザが無人機に実際に乗っているような感覚でカメラの画像を利用する操縦モードで使用することができる。また、前面ビデオカメラは、無人機の進行方向にある景色の一連の画像を撮像する機能を有してもよい。このように、ユーザは、カメラやカムコーダを手に持つ代わりに、無人機に搭載した状態と同じように無人機を使用することができる。取得した画像は、記録された後、配信、ビデオシーケンスホスティングウェブサイト上でのオンライン保存、他のインターネットユーザに向けた送信、ソーシャルネットワークでの共有などがなされうる。
これらの画像は、記録や通信を意図したものであるため、画像の欠陥、特に、例えば、無人機の挙動によって生じる欠陥であって、カメラによって撮像された画像に揺れや歪みまたはタイミング悪く生じるその他のアーチファクトを発生しうる欠陥をできるだけ抑制することが望ましい。しかしながら、このようなアーチファクトの出現は、無人機の展開モード固有のものであり、無人機が前方、後方または横へ線形変位するさいには、無人機が傾き、ひいては、カメラが取得した画像に、シフト、回転、揺動などの無人機の傾きに関連する望ましくない影響が生じる。
これらの欠陥は、「没入操縦」構成のものであれば許容できる。一方で、一連の画像を撮像するために移動ビデオカメラとして無人機を使用し、撮像された画像を記録描写する場合、これらの欠陥は大きな問題となるため、最小限に抑えられることが望ましい。
上述したＢｅｂｏｐ Ｄｒｏｎｅの場合、この無人機が実装するカメラは、約１８０°の視野をカバーした魚眼タイプの半球視野レンズを備えているが、撮像された視野のうち、従来のカメラによって撮像された角度セクタにほぼ相当する一部の視野しか使用されない。
この目的のために、センサによって出力として送られた原画像（以下、センサの表面に形成された半球画像全体の一部分である「キャプチャ領域」）において、特定のウィンドウ（以下、「画像領域」）が選択される。特徴として、このウィンドウは、慣性の中心により決定される無人機の動きに応じて、検出された変位とは反対の方向に回転移動および平行移動して永続的に変位される可動ウィンドウである。魚眼レンズによって取得される画像も従来のカメラと同様の揺動や回転の動きを受けることは避けられないが、画像領域の変位は、これらの動きを補償し、ひいては、無人機の動きに対して安定化された画像を生成するようにフィードバック制御される。
したがって、「仮想カメラ」は、撮像された景色（キャプチャ領域）から、キャプチャ領域において無人機の動きとは反対の方向に回転および平行移動して動的に変位されることで、画像に観察されていたであろう揺動をなくす特定の領域（画像領域）を抜き出すことによって規定される。
この技術は、特許文献５（Ｐａｒｒｏｔ）に記載されている。
国際公開第２０１０／０６１０９９（Ａ２）号パンフレット 欧州特許出願公開第２３６４７５７（Ａ１）号明細書 欧州特許出願公開第２６１３２１３（Ａ１）号明細書 欧州特許出願公開第２６１３２１４（Ａ１）号明細書 欧州特許出願公開第２９３３７７５（Ａ１）号明細書
Ｔｉｍｏｔｈｙ ＭｃＤｏｕｇａｌ、インターネット上に公開、「Ｔｈｅ Ｎｅｗ Ｐａｒｒｏｔ Ｂｅｂｏｐ Ｄｒｏｎｅ： Ｂｕｉｌｔ ｆｏｒ Ｓｔａｂｉｌｉｚｅｄ Ａｅｒｉａｌ Ｖｉｄｅｏ」、２０１４年６月１０日（ＸＰ０５５２３３８６２）
本発明の目的は、無人機が大きく横に傾いた場合に、無人機が一定の展開を行うさいに現れる特定の欠陥を解消することである。
このような状況は、特に、無人機が左右に突然平行移動するときや急旋回するときに起こる。これらの動きは、特に、無人機のロール軸回りの旋回によって生じ、この旋回は、ひいては、カメラによって取り込まれる景色が、画像において一方向または他方向に回転することになる旋回である。
これらの回転は、キャプチャ領域にある画像領域の反対方向に回転することによって補償されてもよい。しかしながら、それでも、無人機の傾斜角が大きい場合、修正済み表示を完全に生成できる画像領域の位置は存在しない。実際、画像領域の回転が大きすぎると、この画像領域の対向角や対向縁が、半球画像に規定されたキャプチャ領域を「越えた範囲に及ぶ」ことで、補正モジュールの出力に送られた修正画像の角や縁がグレーになって現れるようになる。これらのグレー領域は、無人機の姿勢の傾斜度が軽減して姿勢が戻ると自然になくなるが、記録し、後で再生することが意図された一連の画像に、問題となるアーチファクトが生じ、見える状態で残ることになる。
また、この状況は、モータを停止させた状態でユーザが無人機を手に持ち、システムの動的安定化から得られる利点を利用して景色を撮影するために従来のカメラとして無人機を使用する場合にも起きる。例えば、ユーザが一定のしきい値を超えて無人機を傾けると、欠落画素がある領域が画像の境界に現れるが、安定化用システムは、カメラが傾いていないという錯覚を与える。
本発明は、まず、センサの動作構成を複数与え、無人機の傾斜角に応じて最良に適応された構成を動的に選択することを実質的に含み、傾斜補正処理において、画像領域が、画像を生成するように初期選択されたセンサの領域を越えた範囲に及ばないようにする。
「動作構成」という用語は、
−カメラによって出力として送信される画像（画像領域）の出力解像度、すなわち、画素単位で表されるサイズと、
−センサ表面で取得される範囲（キャプチャ領域）のキャプチャ解像度、すなわち、画素単位で表されるサイズと、
−キャプチャ解像度から出力解像度へ切り換えを可能にする処理と、
を含む、カメラのキャプチャパラメータのセットを意味する。
キャプチャモードは、特に、「ノーマル」（すべての取得画素をそのまま出力として送信。出力解像度およびキャプチャ解像度は同一）、「ビニング」（取得画素をまとめてグループ化してマクロ画素にし、出力として送出）、「スケーリング」（画素毎に画像の隣り合う画素を考慮しながらフィルタリングをかけて画素をまとめる）と呼ばれるモードを含む。ビニングおよびスケーリングの技術は、ノーマルモードに比べ、特に、幅広いキャプチャ表面から画像を生成できるが、精細度の低下を招く。
通常、これらのキャプチャパラメータは、カメラの初期化時に決定される。具体的に言えば、上述したＢｅｂｏｐ Ｄｒｏｎｅに相当する構成の場合、ノーマルモードでは、画素がない領域を導入することなく、±１５°のロール角を補償することが可能である。
本発明の課題は、画素の損失なしに（すなわち、角や縁がグレーになって現れることなく）、そしてビデオフローの流動性の劣化なしに（すなわち、一定のフレームレート）、この範囲を超える安定化ドメインを増大させることである。
上記目的を達成するために、本発明は、センサのいくつかの動作構成を使用し、画像撮影の過程で、最適な画質を有する全修正視野を生成するための最良に適応された構成を、無人機のロール角に応じて動的に選択することを本質的に提案する。
この原理では、例えば、無人機がセンサの異なるモード（ノーマル・ビニング・スケーリング）で作用することで、無人機が大きく傾くと、（例えば、ノーマルモードからビニングモードまたはスケーリングモードへ切り換えることによって）キャプチャ表面を一時的に増大させる。このような修正では、画質が一時的に劣化するという代償がつきものであるが（ビニングモードやスケーリングモードの実施により）、アーチファクト（縁部や角隅部のグレー化）が生じず、フレームレートの修正もないため、ビデオフローの流動性の劣化がない。
さらに正確に言えば、本発明により、撮像画像の安定化用システムを備えた電動飛行機であって、公知の方法で、特に、上述した非特許文献１の記事に記載されている方法で、
‐魚眼タイプの半球視野レンズと、半球視野レンズによって形成された画像を取得するデジタルセンサとを備え、デジタルセンサに形成された画像の画素のうち、キャプチャ領域内に位置する一部のみが、原画素データを送るために取り込まれる、無人機の本体に接続されたカメラと、
‐絶対地球基準系に対して無人機の瞬間姿勢を表すオイラー角を測定するように構成された慣性ユニットと、
‐キャプチャ領域の原画素データを入力として受信し、キャプチャ領域内にあり、従来のカメラによって撮像された角度セクタに相当する縮小サイズの画像領域の画素データを出力として送り出す抽出モジュールと、
‐慣性ユニットから送られる角度値を入力として受信し、慣性ユニットによって測定された角度値の変化の方向とは反対の方向に、キャプチャ領域内の画像領域の位置および向きを動的に修正するように構成されたフィードバック制御モジュールとを備える電動飛行機が提供される。
本発明の特徴として、
‐デジタルセンサは、複数の異なる動作構成に応じて動作可能であって、カメラの同一の画像撮像シーケンス中に動的に選択可能であるセンサであり、前記動作構成は、
・キャプチャ領域としてベースキャプチャ領域を用いる基本構成と、
・ベースキャプチャ領域より大きいサイズの拡張キャプチャ領域をキャプチャ領域として用いる少なくとも１つの劣化モード構成であって、拡張キャプチャ領域のサイズをベースキャプチャ領域のサイズに縮小する変換処理を拡張キャプチャ領域の画素に適用する少なくとも１つの劣化モード構成とを備え、
‐慣性ユニットから送られる無人機の連続したロール角値を入力として受信し、
・ロール角値が第１の限界値より低い場合、デジタルセンサが基本構成に応じて動作し、
・ロール角値が第２の限界値より高い場合、デジタルセンサが劣化モード構成に応じて動作するように、デジタルセンサの現行の動作構成を動的に修正するように構成された補償モジュールをさらに備える。
好ましくは、ロール効果補償手段は、デジタルセンサの現行の動作構成を、ロール角値が第１の所定のしきい値を上回ると、基本構成から劣化モード構成へ動的に修正し、無人機のロール角が第２の所定のしきい値を下回ると、劣化モード構成から基本構成へ動的に修正するように構成され、第２のしきい値は第１のしきい値とは異なり、第１のしきい値より低い。
動作構成は、
・ベースキャプチャ領域をキャプチャ領域として用いる基本構成と、
・ベースキャプチャ領域より大きいサイズの第１の拡張キャプチャ領域をキャプチャ領域として用いる中度劣化モード構成であって、第１の拡張キャプチャ領域のサイズをベースキャプチャ領域のサイズに縮小するするように構成された第１の変換処理を第１の拡張キャプチャ領域の画素に適用する中度劣化モード構成と、
・第１の拡張キャプチャ領域よりサイズが大きい第２の拡張キャプチャ領域をキャプチャ領域として用いる強度劣化モード構成であって、第１の処理とは異なる第２の変換処理であって第２の拡張キャプチャ領域のサイズをベースキャプチャ領域のサイズに縮小するように構成された第２の変換処理を、第２の拡張キャプチャ領域の画素に適用する強度劣化モード構成とを備える。
補償モジュールは、デジタルセンサがロール角値が前記第１の限界値より低い場合、基本構成に応じて動作し、ロール角値が第２の限界値より高く第３の限界値より低い場合、中度劣化モード構成に応じて動作し、ロール角値が第３の限界値より高い場合、強度劣化モード構成に応じて動作するように、センサの現行の動作構成を動的に修正するようにさらに構成される。
以下、図面を通して同一の参照番号が同一または機能的に同様の要素を示す添付の図面を参照しながら、本発明の例示的な実施形態について説明する。
無人機と、無人機に対応付けられ、無人機の遠隔制御が可能な遠隔制御装置とを示す全体図である。 例えば、加速段階中などに無人機が前方に傾くことによって生じるカメラの視野方向の変形例を示す。 例えば、加速段階中などに無人機が前方に傾くことによって生じるカメラの視野方向の変形例を示す。 無人機カメラのセンサに形成された画像に対してウィンドウ処理および歪み補正を適用して修正画像を生成するための連続したステップ（ａ）〜（ｄ）を示す、無人機カメラのセンサに形成された画像の一例である。 無人機のロール角が大きく、全体修正表示を生成可能なキャプチャウィンドウの位置が存在しない場合に生じる現象を示す。 無人機のロール角が大きく、全体修正表示を生成可能なキャプチャウィンドウの位置が存在しない場合に生じる現象を示す。 本発明によるセンサの動作構成の動的選択を実行可能な異なる要素を示すブロック図である。 無人機のロール角に応じて２つの異なる可能な構成からの選択を示す概略図である。 無人機のロール角に応じて３つの異なる可能な構成からの選択を示す概略図である。 無人機が水平方向から横揺れ運動し、元の姿勢に戻る一例の場合のセンサの動作構成を修正する後続のステップを説明する図である。 無人機が水平方向から横揺れ運動し、元の姿勢に戻る一例の場合のセンサの動作構成を修正する後続のステップを説明する図である。 無人機が水平方向から横揺れ運動し、元の姿勢に戻る一例の場合のセンサの動作構成を修正する後続のステップを説明する図である。 無人機が水平方向から横揺れ運動し、元の姿勢に戻る一例の場合のセンサの動作構成を修正する後続のステップを説明する図である。 無人機が水平方向から横揺れ運動し、元の姿勢に戻る一例の場合のセンサの動作構成を修正する後続のステップを説明する図である。
以下、本発明の例示的な実施形態について説明する。
図１において、参照符号１０は、概して、無人機を示し、この無人機は、例えば、Ｐａｒｒｏｔ ＳＡ（フランス、パリ）のＢｅｂｏｐ Ｄｒｏｎｅモデルなどのクアッドリコプターである。この無人機は、一体型の航行姿勢制御システムによってそれぞれ独立して操縦されるモータを有する４つの同一平面ロータ１２を備える。無人機は、進行方向の景色の画像を得ることが可能な前面視野カメラ１４を備える。
また、無人機は、下向きの垂直視野カメラ（図示せず）を備え、この垂直視野カメラは、上空飛行中に地上の画像を連続して撮像するように構成され、特に、地面に対して無人機の速度を評価するために使用される。慣性センサ（加速度計およびジャイロ）では、無人機の角速度および姿勢、すなわち、固定された地球基準系の水平面に対する無人機の傾きを表すオイラー角（ピッチφ、ロールθ、ヨーψ）を一定の精度で測定することができる。また、無人機の下に配設された超音波遠隔計器が、地面に対する高度の測定を行う。
無人機１０は、搭載された前面カメラ１４の画像と、ユーザが指２０でタッチスクリーン１８に触れるだけでコマンドを作動可能な一定数の記号とを重ねて表示するタッチスクリーン１８を備えた遠隔制御装置１６によって操縦される。遠隔制御装置１６は、無人機１０から遠隔制御装置１６へデータを双方向にやり取りするために、特に、カメラ１４によって撮像された画像を送信したり、遠隔制御装置１６から操縦コマンドを無人機１０へ送ったりするために、例えば、Ｗｉ−Ｆｉ（ＩＥＥＥ８０２．１１）ローカルネットワークタイプなど、無人機との無線リンク手段を備える。
また、遠隔制御装置１６は、ロール軸およびピッチ軸回りの対応する傾きを制御装置に与えることによって無人機姿勢の制御を可能にする傾きセンサを備える。なお、無人機１０の水平速度の縦軸成分および横軸成分の２つの成分が、２つのそれぞれのピッチ軸およびロール軸回りの傾きに密接に関わりがあることを理解されたい。無人機の操縦では、以下によって無人機を展開させる。
ａ）無人機を前後に移動させるためのピッチ軸２２回りの回転、
ｂ）無人機を左右にシフトさせるためのロール軸２４回りの回転、
ｃ）無人機の主軸を左右に旋回させるためのヨー軸２６回りの回転、
ｄ）ガス制御を変化させて、無人機の高度をそれぞれ下げたり上げたりする下方または上方の平行移動。
これらの操縦コマンドは、遠隔制御装置１６からユーザによって適用される場合、ピッチ軸２２およびロール軸２４回りを旋回するコマンドａ）およびｂ）は、遠隔制御装置１６を長軸２８および短軸３０回りでそれぞれ傾けることによって得られる。例えば、無人機を前方に動かすためには、遠隔制御装置１６を長軸２８回りに傾斜させて遠隔制御装置１６を前方に傾ければよく、無人機を右側へ寄せて移動させるために、遠隔制御装置１６を短軸３０回りに傾斜させて遠隔制御装置１６を傾ければよく、他も同様である。コマンドｃ）およびｄ）は、タッチスクリーン１８の対応する特定領域をユーザが指２０で触れることで適用される操作から生じる。
無人機は、ホバリング飛行時の安定化を行う自動自立システムを備え、この自動自立システムの作動は、特に、遠隔制御装置のタッチスクリーンからユーザが指を離すとすぐに行われるか、離陸段階完了時に自動的に行われるか、または遠隔制御装置と無人機との間の無線リンクが途切れた場合に行われる。
図２Ａは、リフト状態にある無人機の静止時の姿勢のプロファイルを概略的に示す図である。
従来のタイプの前面カメラ１４がカバーする視野、例えば、５４°の視野をカバーし、中心に合った視野軸δを有するカメラがカバーする視野を参照符号３６で図式化されている。
図２ｂに示すように、無人機が計画的に非ゼロ水平速度で前進している場合、無人機のヨー軸２６は、垂直方向Ｖに対して角度φ（ピッチ角）だけ前方に傾く。矢印３８で概略的に示したこのような前方への傾きは、矢印４０で概略的に示すように、カメラの視野軸δが水平方向ＨＺの平面に対する同じ値の傾きに関係する。したがって、無人機の加速、減速など、無人機の展開中、視野軸δが水平方向ＨＺ回りを永続的に揺動することで、画像も永続的な上向きおよび下向きの揺動の動きを受けることになる。
同様に、無人機が左右に寄せて移動する場合、ロール軸２４回りの旋回によってこのような動きが起こり、画像はカメラによって取り込まれる景色の一方向または他方向における回転を受けることになる。
上記の欠点を補償するために、上述した特許文献５において説明されているように、図２ａの参照符号４２で概略的に示すような、約１８０°の視野をカバーする魚眼タイプの半球視野レンズを備えたカメラを設けることが提案されてきた。このような魚眼レンズを備えるカメラによって撮像された画像も、従来のカメラと同じ揺動および回転の動きを受けることに違いはないが、従来のカメラによって取り込まれる角度セクタ３６に相当する「キャプチャ領域」と呼ばれる特定のウィンドウを選択することで、このカメラの撮像視野の一部のみしか使用されず、慣性中心によって決定される無人機の動きに対して反対方向に半球状画像において動的に変位されることで、画像にて観察されることになっていたであろう揺動がなくなる。
したがって、無人機が垂直方向Ｖに対してピッチ角φ（矢印３８）だけ下方に急降下する図２ｂに示す場合において、キャプチャウィンドウは、同じ値の角度だけ上向き（矢印４４）に変位され、したがって、画像領域に相当する視野をカバーする「仮想カメラ」のセクタ３６の中心軸を水平方向ＨＺの方へ戻す。
図面に示すように、無人機の前方運動の頻度が後方運動より高く、また、対象となる領域（上空飛行時の地上）が無人機の上方ではなく無人機のレベルより低い位置にある限り、無人機のさまざまな数の展開構成をカバーし、「仮想カメラ」のキャプチャ領域に相当するセクタ３６が魚眼レンズの視野４２に常に留まるようにするように、魚眼レンズの主軸Δを（例えば、−２０°の高低角だけ）下向きに傾けることが好適なこともある。
図３は、魚眼レンズを備えたビデオカメラのセンサで検出した景色の一例を示す。
図から分かるように、この景色の画像Ｉは、センサの平面で修正される有効範囲であって、魚眼レンズの半球状または準半球状の有効範囲に固有の非常に高い幾何学的歪みを含む。
魚眼レンズによって生成される画像Ｉの一部分のみしか使用されない。この部分は、ｉ）「仮想カメラ」の向き、ｉｉ）「仮想カメラ」の視野（図２ａおよび図２ｂの参照符号３６で概略的に示す）、ｉｉｉ）「仮想カメラ」の縦横比に応じて決定される。 原画素データを含む「キャプチャ領域」ＺＣはこのようにして規定され、この領域は、魚眼レンズによって生じる幾何学的歪みを補償した後、仮想カメラの視野に相当する「有効領域」ＺＵを含む。
なお、センサに形成された画像Ｉの画素のすべてを撮像することは有益ではなく、キャプチャ領域ＺＣに相当するこれらの画素の一部のみを撮像すればよい。したがって、例えば、ＨＤ画質（１９２０×１０８０画素、すなわち、有効領域ＺＵに対して２Ｍ画素）の画像を得ることが望ましい場合、仮想カメラの向きに関わらず高品質のＨＤ表示を抽出可能なように、非常に高解像度の魚眼画像を最初に有する必要があり、これは、通常、１４Ｍ画素（４６０８×３２８８画素）の解像度を有するセンサを備えることを意味する。このような状況において、画像Ｉの全体を処理に回す場合、このような処理は画像毎に１４Ｍ画素の画素データの流れに相当し、この解像度で毎秒約６画素（ｉｐｓ）のフレームレートになり、（３０ｉｐｓに近いフレームレートを課す）流動的なビデオシーケンスには不十分なものになる。したがって、キャプチャ領域ＺＣの中から実際に必要な画素データのみ、例えば、約２Ｍ画素のキャプチャウィンドウＺＣを回すことで、特に問題なく３０ｉｐｓのレートでリフレッシュされうる。したがって、高画像フローレートを維持しながら、高解像度センサが選択されてもよい。
図３の図（ａ）〜（ｄ）は、幾何学的歪みが補償された最終画像を得るために、キャプチャ領域ＺＣの画素データに対して実行したさまざまな処理を示す。
この処理では、キャプチャ領域ＺＣ（図（ｂ））から転送した画素データに基づいて、原有効領域ＺＵB（図（ｃ））から画素データを抽出し、抽出した画素データに三角メッシュ技術（既知の技術）を適用する。三角メッシュ技術では、各三角形を伸張させ画像を修正することで、修正された画素データを有する修正済み有効画像ＺＵR（図（ｄ））を与えることができる。特に、魚眼画像の湾曲が強い横線を直線にし、幾何学的歪みのない自然な視野に相当する画像を生成するように補正する。
本発明の目的は、無人機のロール角（長軸２４回りの回転）が大きい場合、一般的には、およそ１５°の値を超える場合、キャプチャ領域ＺＣから画像領域ＺＩを抽出するさいに現れる特定の欠点を解消することである。このような欠点は、特に、無人機が左右へ横方向に突然触れたり、一方向から他方向へ急旋回するさいに起こることがある（ロール角に応じた傾きが、無人機の水平速度が速いほど大きくなるピッチ角に応じた傾きと組み合わさる）。
図４ａおよび図４ｂにこの現象を例示する。例えば、無人機のピッチが水平（ホバリング飛行に相当する姿勢）の場合、センサの表面で取得した画像は、図４ａに示すものとなり、同図において、矩形状のキャプチャ領域ＺＣは、魚眼レンズによって生成される半球状の画像の中心にあり、より小さいサイズの矩形状の画像領域ＺＩは、キャプチャ領域ＺＣ内に位置し、同様に中心に位置する。
ロール軸回りの無人機の左右の回転に伴い、例えば、図４ｂに示すように、無人機が右に角度θだけ回転して無人機の姿勢が変化する場合、センサに形成された画像は、その変化に対応する回転を受ける。
しかし、ロール角の値があるしきい値を超えている場合、画像領域ＺＩは、キャプチャ領域ＺＣ内にすべて収まりきれず、この画像領域ＺＩの２つの対向角がキャプチャ領域ＺＣを越えた範囲に及んでしまう。これらの領域ＺＸにおいて、画素データは送られないため（カメラの出力で抽出され送られるセンサの画素がキャプチャ領域ＺＣに制限されているため）、これらの領域に対応する２つの対向角が２つのグレー領域になった最終画像となる。これらのグレー領域は、無人機の展開中に非常に稀にしか現れないとしても、記録し後で再生することが意図された一連の画像に見える状態で残るアーチファクトとなり、問題である。
無人機が単に停止状態で使用され、手に持って単なるカメラとし使用される場合にも同じ現象が現れる。例えば、無人機（カメラ）が長軸回りに大きく傾けられると、このような過度の傾きが続く限りグレー領域ＺＸのアーチファクトが存在することになる。
このような欠点を解消するために、本発明は、センサの異なる動作構成を動的に切り換えることを提案する。
「動作構成」とは、本明細書の冒頭で示したように、
‐カメラによって出力として送信される画像（画像領域ＺＩ）の画素単位で表される出力解像度、すなわち、サイズと、
‐センサの表面にて取得される領域（キャプチャ領域ＺＣ）の画素単位で表されるキャプチャ解像度、すなわち、サイズと、
‐キャプチャモード、すなわち、キャプチャ解像度から出力解像度への切り換えを可能にする処理と、
を含むカメラのキャプチャパラメータセットを意味する。
上記キャプチャパラメータについて、デジタルカメラは、いくつかのビデオデータ取得モードを提案し、そのうち最も一般的なものは、
‐所与のウィンドウ内で取得したすべての画素がセンサの出力として送信される「ノーマル」モード。したがって、キャプチャ解像度は、出力解像度と同一であり、画像の品質は最大である。
‐隣り合う画素を電気的にまとめてマクロ画素を形成し、これらのマクロ画素を画素データとして出力にて送られる、いわゆる、「ビニング」モード。したがって、より広範な表面の撮像を同等の取得時間で行うことが可能になるが（したがって、映像シーケンスの流動性に影響なし）、引き替えに少なくとも５０％の重大な精細度損失を被ることになる。実際、水平方向および／または垂直方向に画素を少なくとも２×２にまとめて、個々の画素を平均化することによってマクロ画素を形成する。
‐ビニングモードより低減レベルをさらに微調整することができる、いわゆる、「スケーリング」モード。実際、ビニングは、ピクセルのグループ化によって作用することから、２nタイプの比率に限定されるが、一方で、スケーリングの操作では、隣り合う画素の値に応じて各画素を個別にフィルタリングでソフトウェア低減させる。このように、３／４、２／３などの倍率の低減が行われ、ビニングモードより品質の良い画像が生成される。一方で、このスケーリングモードは、画質低減のために必要な計算が多いため速度が遅く、フィルタリングを実行するためには、キャプチャ表面の画素をすべて取得しなければならない。
図５は、本発明により、動作構成の動的切り換えを制御することが可能な画像処理回路の異なる要素を示すブロック図である。
無人機のカメラ１４は、角変位を受ける。これらの変位は、無人機、ひいては、カメラの瞬間的な回転を表す信号を送る慣性ユニットＩＭＵ５０によって測定され、慣性ユニット５０およびカメラ１４は機械的に固定されている。これらの回転は、固定された地球基準系（オイラー角）に関して三次元における無人機の傾きを表すピッチ角φ、ロール角θ、ヨー角ψによって与えられる。
これらの回転測定値は、ビデオ処理モジュール５２に適用され、ウィンドウ調整、画像の安定化およびカメラ１４によって送られる原画像信号のアーチファクトの補正を確保する。ビデオ処理モジュール５２は、補正され安定化された画像信号を出力として送り、遠隔画面上での視覚化、デジタルメモリへの記録などのためにユーザに送信される。ビデオ処理モジュール５２によって実行されるウィンドウ処理は、予測モジュール５６によって送られた回転角φ、θ、ψの予測値から、デジタルセンサに形成された半球状の画像におけるキャプチャウィンドウＺＣの位置の計算を行うモジュール５４によって制御され、予測モジュール５６は、慣性ユニット５０によって送られる無人機の回転の瞬間的な値を入力として受信する。このデータは、ビデオカメラによる画像の取得周波数、一般的に、３０Ｈｚの周波数より非常に高いジャイロの取得周波数、一般的に、９９０Ｈｚの周波数で送られる。
本発明の特徴として、モジュール５４は、予測モジュール５６によって予測されるロール角に応じてセンサの最良の構成を選択するためのモジュール５８さらに含む。
図６は、無人機のロール角に応じて、２つの異なる可能な構成の選択がどのように行われるかを概略的に示す。ここで、２つの異なる可能な構成は、例えば、以下の２つである。
‐ロール角θが１５°未満の場合の「ノーマルモード」構成。選択された構成により、例えば、１４０８×２１１２画素に等しい出力キャプチャ解像度の最高品質が得られる。
‐劣化モード構成。例えば、ロール角が、全画像領域を生成できないしきい値（例えば、しきい値θ＝１５°）を超える場合の「水平ビニング」モード（図４ａおよび図４ｂを参照して上記において記載）。劣化モード構成では、１４０８×２１１２画素の出力解像度を得るために、例えば、２８１６×２１１２画素のキャプチャ解像度が得られる。
しきい値を超えると、モジュール５８は、低品質であるが、キャプチャ領域がさらに拡張されてカメラを動作させるセンサ再構成の信号をカメラ１４に送る。ビニングモードのこのような低品質構成は、ロール角θが上述したしきい値を超える限り維持される。好ましくは、しきい値付近での複数のスイッチング現象を解消するために、ロール角が、例えば、１２°を下回る場合のみノーマルモード構成への復帰を引き起こすことによって、ヒステリシスを導入することが可能である（一方で、ロール角が１５°を超えると、逆の傾きが制御される）。
図７は、図６に類似しており、３つの異なる可能な構成について、例えば、ノーマルモードの最高品質とビニングモードのより強い劣化の品質との間の中間である弱い劣化の品質のスケーリングモードの中間構成を備える。
３つのモード間の切り換えは上述したものと同じように操作され、例えば、ノーマルモードの０〜１５°のロール角範囲、スケーリングモードの１５〜２５°、ビニングモードの２５〜４５°に基づいて操作され、いずれの場合も、ある構成から他の構成への切り換え時にヒステリシスが導入される。
図８ａから図８ｅは、無人機はまずフラット状態にあり、わずかに傾いた後、さらに顕著に傾いた後、フラット状態に戻る工程で、２つの異なる構成である最高および低の間で切り換える一例を示す。
これらの図において、画像領域ＺＩは点線で示され、キャプチャ領域は鎖線で示される。このキャプチャ領域は、カメラがノーマルモードで操作される場合、ベースキャプチャ領域ＺＣＢであってもよく、カメラが劣化モードで操作される場合、例えば、ベースキャプチャ領域ＺＣＢの４倍拡張された拡張キャプチャ表面ＺＣＥを有する２×２ビニングモードにおいて、このキャプチャ領域は、拡張キャプチャ領域ＺＣＥであってもよい。
最初（図８ａ）、無人機は水平であり、一般的に、ホバリング飛行状況に相当する。ロール角θは０°であり、ベースキャプチャ領域の軸Ｄおよび画像領域ＺＩの軸Ｂ’は一致している。
ロール角θが１５°未満、例えば、ロール角θ＝１２°に無人機がわずかに傾くと（図８ｂ）、画像領域ＺＩは、ベースキャプチャ領域ＺＣＢにすべて収まったままである。
無人機がさらに顕著に傾くと（図８ｃ）、例えば、ロール角θ＝３０°に傾くと、ベースキャプチャ領域ＺＣＢは画像領域ＺＩを含まなくなり、画像領域ＺＩは、ベースキャプチャ領域を越えて非キャプチャ領域ＺＸに及ぶ。センサは、ほとんどの極限構成（θ＝４５°まで）でも、画像領域ＺＩを常に含むことが可能な拡張キャプチャ領域ＺＣＥを有する劣化構成（ビニングまたはスケーリング）に切り換わる。
無人機が逆動作を行うと、この構成は、ロール角θ＝１２°に達するまで維持される（図８ｄ）。なお、図８ｄにおいて、傾きは図８ｂと同じであるが、キャプチャ領域は、拡張キャプチャ領域ＺＣＥのままである（ヒステリシス効果）。実際、早急にノーマルモードに戻ると、許容誤差が低すぎて、キャプチャ領域の表面が画像領域を常に含むことができるか確実ではなくなることがある。
ノーマルモードへの切り換えは、許容誤差が十分に高い場合のみにすることで（図８ｅ）、ノーマルモードへのセンサの逆切り換え操作を最高品質で行うことが可能になる。
したがって、いずれの場合も、ロールが大きい場合であっても、画像に欠落ピクセルが生じることなく安定化された視野が常に生成されることが分かる。ビニングモードが使用される場合（図８ｃおよび図８ｄの状況）、当然ながら画像のぼけはわずかに強くなるが、このような修正は一時的なもので、いずれにせよ、ピクセルが欠落してユーザに渡る最終画像の帯や角がグレーになる場合と比較するとほとんど気が付きにくい。

Claims (3)

  1. 撮像画像の安定化用システムを備えた無人機（１０）などの電動飛行機であって、
    前記無人機の本体に接続されたカメラ（１４）であって、魚眼タイプの半球視野レンズと、前記半球視野レンズによって形成された画像を取得するデジタルセンサとを備え、前記デジタルセンサに形成された前記画像の画素のうち、キャプチャ領域（ＺＣ）内に位置する一部のみが、原画素データを送るために取り込まれるカメラと、
    絶対地球基準系に対して前記無人機の瞬間姿勢を表すオイラー角（φ、θ、ψ）を測定するように構成された慣性ユニット（５０）と、
    前記キャプチャ領域（ＺＣ）の前記原画素データを入力として受信し、前記キャプチャ領域内にあり且つ従来のカメラによって撮像された角度セクタ（３６）に相当する縮小サイズの画像領域（ＺＩ）の画素データを出力として送り出す抽出モジュール（５２）と、
    前記慣性ユニットから送られる角度値を入力として受信し、前記慣性ユニットによって測定された前記角度値の変化の方向とは反対の方向に、前記キャプチャ領域内の前記画像領域の位置および向きを動的に修正するように構成されたフィードバック制御モジュール（５４、５６）と、
    を備え、
    前記デジタルセンサは、複数の異なる動作構成に応じて動作可能であって、前記カメラの同一の画像撮像シーケンス中に動的に選択可能であるセンサであり、前記動作構成は、
    キャプチャ領域（ＺＣ）としてベースキャプチャ領域（ＺＣＢ）を用いる基本構成と、
    前記ベースキャプチャ領域（ＺＣＢ）より大きいサイズの拡張キャプチャ領域（ＺＣＥ）をキャプチャ領域（ＺＣ）として用いる少なくとも１つの劣化モード構成であって、前記拡張キャプチャ領域のサイズを前記ベースキャプチャ領域のサイズに縮小する変換処理を前記拡張キャプチャ領域の画素に適用する少なくとも１つの劣化モード構成とを備え、
    前記慣性ユニットから送られる前記無人機の連続したロール角値（θ）を入力として受信し、
    前記ロール角値（θ）が第１の限界値より低い場合、前記デジタルセンサが前記基本構成に応じて動作し、且つ前記ロール角値（θ）が第２の限界値より高い場合、前記デジタルセンサが劣化モード構成に応じて動作するように、前記デジタルセンサの現行の動作構成を動的に修正するように構成された補償モジュール（５８）をさらに備えることを特徴とする電動飛行機。
  2. ロール効果補償手段は、前記デジタルセンサの前記現行の動作構成を、前記ロール角値が第１の所定のしきい値を上回ると、前記基本構成から前記劣化モード構成へ動的に修正し、前記無人機の前記ロール角が第２の所定のしきい値を下回ると、前記劣化モード構成から前記基本構成へ動的に修正するように構成され、
    前記第２のしきい値は前記第１のしきい値とは異なり、前記第１のしきい値より低い、請求項１に記載の無人機。
  3. 前記動作構成は、
    前記ベースキャプチャ領域（ＺＣＢ）をキャプチャ領域（ＺＣ）として用いる前記基本構成（第１構成）と、
    前記ベースキャプチャ領域より大きいサイズの第１の拡張キャプチャ領域をキャプチャ領域（ＺＣ）として用いる中度劣化モード構成であって、前記第１の拡張キャプチャ領域のサイズを前記ベースキャプチャ領域のサイズに縮小するように構成された第１の変換処理を前記第１の拡張キャプチャ領域の画素に適用する中度劣化モード構成（第２構成）と、
    前記第１の拡張キャプチャ領域よりサイズが大きい第２の拡張キャプチャ領域をキャプチャ領域（ＺＣ）として用いる強度劣化モード構成であって、前記第１の処理とは異なる第２の変換処理であって前記第２の拡張キャプチャ領域のサイズを前記ベースキャプチャ領域のサイズに縮小するように構成された第２の変換処理を、前記第２の拡張キャプチャ領域の画素に適用する強度劣化モード構成（第３構成）とを備え、
    前記補償モジュールは、前記デジタルセンサが、前記ロール角値が前記第１の限界値より低い場合、前記基本構成に応じて動作し、前記ロール角値が前記第２の限界値より高く第３の限界値より低い場合、前記中度劣化モード構成に応じて動作し、前記ロール角値が前記第３の限界値より高い場合、前記強度劣化モード構成に応じて動作するように、前記センサの前記現行の動作構成を動的に修正するようにさらに構成された請求項１に記載の無人機。
JP2016011421A 2015-01-26 2016-01-25 ビデオカメラと、最大ロール角で生じるアーチファクトの補償手段とを備えた無人機 Withdrawn JP2016140069A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1550568 2015-01-26
FR1550568A FR3032052B1 (fr) 2015-01-26 2015-01-26 Drone muni d'une camera video et de moyens de compensation des artefacts produits aux angles de roulis les plus importants

Publications (1)

Publication Number Publication Date
JP2016140069A true JP2016140069A (ja) 2016-08-04

Family

ID=52737342

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016011421A Withdrawn JP2016140069A (ja) 2015-01-26 2016-01-25 ビデオカメラと、最大ロール角で生じるアーチファクトの補償手段とを備えた無人機

Country Status (5)

Country Link
US (2) US9876959B2 (ja)
EP (1) EP3048789B1 (ja)
JP (1) JP2016140069A (ja)
CN (1) CN105915786A (ja)
FR (1) FR3032052B1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018119555A1 (zh) * 2016-12-26 2018-07-05 深圳市大疆创新科技有限公司 无人机

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3032052B1 (fr) * 2015-01-26 2017-03-10 Parrot Drone muni d'une camera video et de moyens de compensation des artefacts produits aux angles de roulis les plus importants
FR3055075B1 (fr) * 2016-08-09 2021-09-17 Vincent Boucher Dispositif de prise de vue stabilisee et omnidirectionnelle a 4 pi steradians permettant d'obtenir une image fixe lorsque ledit dispositif est en mouvement
FR3055078B1 (fr) * 2016-08-11 2019-05-31 Parrot Drones Procede de capture d'image(s), programme d'ordinateur, et systeme electronique de capture d'une video associes
FR3055077B1 (fr) * 2016-08-11 2018-10-05 Parrot Drones Procede de capture d'une video, programme d'ordinateur, et systeme electronique de capture d'une video associes
KR102514566B1 (ko) * 2016-08-23 2023-03-27 삼성전자주식회사 전자 장치 및 그의 동작 방법
AU2016424004B2 (en) 2016-09-23 2021-10-14 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for transmitting SRS, network device and terminal device
BR112019005759A2 (pt) * 2016-09-23 2019-06-11 Qualcomm Inc processamento de imagem em um veículo autônomo não tripulado
WO2018053786A1 (en) 2016-09-23 2018-03-29 Qualcomm Incorporated Adaptive motion filtering in an unmanned autonomous vehicle
CN109792530A (zh) * 2016-09-23 2019-05-21 高通股份有限公司 无人自主交通工具中的自适应图像处理
CN106375669B (zh) * 2016-09-30 2019-08-06 天津远度科技有限公司 一种稳像方法、装置和无人机
KR102599776B1 (ko) * 2016-11-15 2023-11-08 삼성전자 주식회사 전자 장치 및 이를 이용한 동체를 제어하는 방법
KR20180068411A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 무인 비행 전자 장치의 운행 제어 방법 및 이를 지원하는 전자 장치
US20180231379A1 (en) * 2017-02-14 2018-08-16 Honeywell International Inc. Image processing system
WO2018176233A1 (zh) * 2017-03-28 2018-10-04 深圳市大疆灵眸科技有限公司 基于云台的安装状态的控制方法及飞行器
CN107632974B (zh) * 2017-08-08 2021-04-13 北京微瑞思创信息科技股份有限公司 适用于多领域的中文分析平台
CN109600543B (zh) * 2017-09-30 2021-01-22 京东方科技集团股份有限公司 用于移动设备拍摄全景图像的方法以及移动设备
KR101951666B1 (ko) * 2017-10-05 2019-02-25 윤태기 촬영용 드론 및 그 제어 방법
US10502819B2 (en) * 2017-12-21 2019-12-10 GM Global Technology Operations LLC Systems and methods for aligning an inertial measurement unit in a vehicle
EP3550506B1 (en) 2018-04-05 2021-05-12 Everdrone AB A method for improving the interpretation of the surroundings of a uav, and a uav system
US10917573B1 (en) * 2019-05-21 2021-02-09 Gopro, Inc. Systems and methods for stabilizing videos
US20220114382A1 (en) * 2019-06-05 2022-04-14 Hewlett-Packard Development Company, L.P. Structural measurement using a fixed pattern
EP3761220A1 (en) 2019-07-05 2021-01-06 Everdrone AB Method for improving the interpretation of the surroundings of a vehicle
US11677912B2 (en) * 2019-10-23 2023-06-13 Alarm.Com Incorporated Robot sensor installation
US11706527B1 (en) * 2022-04-06 2023-07-18 Gopro, Inc. Systems and methods for stabilizing videos

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6672538B2 (en) * 2002-05-23 2004-01-06 Sikorsky Aircraft Corporation Transmission for a coaxial counter rotating rotor system
JP2007306353A (ja) * 2006-05-12 2007-11-22 Opt Kk 動画の表示方法、動画表示システムおよび広角動画撮像装置
FR2938774A1 (fr) 2008-11-27 2010-05-28 Parrot Dispositif de pilotage d'un drone
US20110128350A1 (en) * 2009-11-30 2011-06-02 Motorola, Inc. Method and apparatus for choosing a desired field of view from a wide-angle image or video
FR2957266B1 (fr) 2010-03-11 2012-04-20 Parrot Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante.
FR2961601B1 (fr) * 2010-06-22 2012-07-27 Parrot Procede d'evaluation de la vitesse horizontale d'un drone, notamment d'un drone apte au vol stationnaire autopilote
EP3549872B1 (en) * 2011-09-09 2021-02-24 SZ DJI Osmo Technology Co., Ltd. Dual-axis platform for use in a small unmanned aerial vehicle and tri-axis platform for use in a small unmanned aerial vehicle
CN102566441A (zh) * 2011-12-29 2012-07-11 成都飞机工业（集团）有限责任公司 用于无人机的可视仿真试验系统
FR2985329B1 (fr) 2012-01-04 2015-01-30 Parrot Procede de pilotage intuitif d'un drone au moyen d'un appareil de telecommande.
FR2985581B1 (fr) * 2012-01-05 2014-11-28 Parrot Procede de pilotage d'un drone a voilure tournante pour operer une prise de vue par une camera embarquee avec minimisation des mouvements perturbateurs
WO2014058511A2 (en) * 2012-08-01 2014-04-17 Bye Uas, Inc. Small uas with high definition video
US9070289B2 (en) * 2013-05-10 2015-06-30 Palo Alto Research Incorporated System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform
US8903568B1 (en) * 2013-07-31 2014-12-02 SZ DJI Technology Co., Ltd Remote control method and terminal
FR3020169A1 (fr) 2014-04-16 2015-10-23 Parrot Drone a voilure tournante muni d'une camera video delivrant des sequences d'images stabilisees
CN106471337B (zh) * 2014-04-28 2020-12-18 深圳市大疆创新科技有限公司 可替换的安装平台
KR102219698B1 (ko) * 2014-04-30 2021-02-24 엘지전자 주식회사 무인 항공기 제어 장치 및 방법
US9586683B1 (en) * 2014-12-22 2017-03-07 Amazon Technologies, Inc. Transitioning an unmanned aerial vehicle to horizontal flight
FR3032052B1 (fr) * 2015-01-26 2017-03-10 Parrot Drone muni d'une camera video et de moyens de compensation des artefacts produits aux angles de roulis les plus importants

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018119555A1 (zh) * 2016-12-26 2018-07-05 深圳市大疆创新科技有限公司 无人机

Also Published As

Publication number Publication date
FR3032052B1 (fr) 2017-03-10
US10326939B2 (en) 2019-06-18
FR3032052A1 (fr) 2016-07-29
CN105915786A (zh) 2016-08-31
US9876959B2 (en) 2018-01-23
EP3048789B1 (fr) 2016-12-28
US20180109731A1 (en) 2018-04-19
US20160219223A1 (en) 2016-07-28
EP3048789A1 (fr) 2016-07-27

Similar Documents

Publication Publication Date Title
JP2016140069A (ja) ビデオカメラと、最大ロール角で生じるアーチファクトの補償手段とを備えた無人機
JP2017103751A (ja) 姿勢に依存しない制御パラメータ、特に自動露出制御を伴う前方視カメラを含むドローン
JP2015204633A (ja) 安定化した一続きの画像を提供するビデオカメラが設けられた回転翼無人機
EP3078402B1 (fr) Système de pilotage de drone en immersion
US9747725B2 (en) Video system for piloting a drone in immersive mode
JP2017085550A (ja) 自動露光制御のために空の画像の区分を用いる前方視カメラ付きドローン
US10659690B2 (en) Systems and methods for mobile platform imaging
JP2017142226A (ja) ウォブル効果を訂正された画像のシーケンスを送信するビデオカメラが設けられたドローン
US11076082B2 (en) Systems and methods for digital video stabilization
US20200154026A1 (en) Imaging control method, imaging device and unmanned aerial vehicle
JP2019080226A (ja) 撮像装置、撮像装置の制御方法、及びプログラム
KR102381007B1 (ko) 이중 폴딩 랜딩기어 및 이를 구비한 무진동 짐벌 장치
CN106233714B (zh) 图像输出装置、图像输出方法以及存储介质
JP7242320B2 (ja) 撮像装置、制御方法およびプログラム
JP7191257B1 (ja) ドローン
WO2018179403A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
JP2018078388A (ja) 映像投射システム
FR3020168A1 (fr) Drone a voilure tournante muni d'une camera video delivrant des sequences d'images stabilisees

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20170222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170425

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181015

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20190527