JP2017103751A - 姿勢に依存しない制御パラメータ、特に自動露出制御を伴う前方視カメラを含むドローン - Google Patents

姿勢に依存しない制御パラメータ、特に自動露出制御を伴う前方視カメラを含むドローン Download PDF

Info

Publication number
JP2017103751A
JP2017103751A JP2016175147A JP2016175147A JP2017103751A JP 2017103751 A JP2017103751 A JP 2017103751A JP 2016175147 A JP2016175147 A JP 2016175147A JP 2016175147 A JP2016175147 A JP 2016175147A JP 2017103751 A JP2017103751 A JP 2017103751A
Authority
JP
Japan
Prior art keywords
drone
roi
image
area
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2016175147A
Other languages
English (en)
Inventor
バリー アクセル
Balley Axel
バリー アクセル
ポション ベノワ
Pochon Benoit
ポション ベノワ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Parrot Drones SAS
Original Assignee
Parrot Drones SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Parrot Drones SAS filed Critical Parrot Drones SAS
Publication of JP2017103751A publication Critical patent/JP2017103751A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64C—AEROPLANES; HELICOPTERS
    • B64C39/00—Aircraft not otherwise provided for
    • B64C39/02—Aircraft not otherwise provided for characterised by special use
    • B64C39/024—Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64D—EQUIPMENT FOR FITTING IN OR TO AIRCRAFT; FLIGHT SUITS; PARACHUTES; ARRANGEMENT OR MOUNTING OF POWER PLANTS OR PROPULSION TRANSMISSIONS IN AIRCRAFT
    • B64D47/00—Equipment not otherwise provided for
    • B64D47/08—Arrangements of cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00—Type of UAV
    • B64U10/10—Rotorcrafts
    • B64U10/13—Flying platforms
    • B64U10/14—Flying platforms with four distinct rotor axes, e.g. quadcopters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)

Abstract

【課題】ドローンの特定の移動中に現れる特定の欠陥を排除することを目的とする。【解決手段】ドローンは、カメラ（１４）と、ドローン角度を測定する慣性ユニット（４６）と、慣性ユニットにより測定される角度変化の方向とは反対の方向で動的に変位される減少されたサイズの可動捕捉領域の画像データを配信する抽出モジュール（５２）とを備える。補償手段（５２）が、現在のドローン姿勢データを入力として受けるとともに、捕捉領域内に含まれる画像データに応じて計算される、自動露出、ホワイトバランス、又は、自動焦点合わせなどの撮像パラメータの現在の値（５４）に動的に作用する。【選択図】図５

Description

本発明は、以下において「ドローン」と呼ばれる遠隔操縦移動装置、特に飛行ドローン又はＵＡＶ（無人航空機）などの電動飛行車両に搭載されるカメラによって捕えられたデジタル画像の処理に関する。
しかしながら、本発明は、飛行装置によって収集される画像に限定されず、本発明は、遠隔操作者の制御下で地上を移動する転動装置又は水域上を移動する浮動装置にも適用され、用語「ドローン」は、その最も一般的な意味で理解されなければならない。
本発明は、好適には、クアドリコプタなどの回転翼ドローンのフロントカメラにより収集される画像に適用される。
フランスのパリにあるＰａｒｒｏｔ ＳＡのＡＲ．Ｄｒｏｎｅ２．０又はＢｅｂｏｐ Ｄｒｏｎｅがそのようなクアドリコプタの典型的な例である。これらのドローンには、一連のセンサ（加速度計、３軸ジャイロメータ、高度計）と、ドローンが向かうシーンの画像を捕えるフロントカメラと、上空を飛行した地上の画像を捕える垂直視カメラとが設けられる。そのようなドローンには、ドローンを所定の姿勢及び速度で操縦するべく差別化された態様で制御され得るそれぞれのモータにより駆動される複数のロータが設けられる。そのようなドローンの様々な態様は、特に、国際公開第２０１０／０６１０９９号パンフレット、欧州特許出願公開第２３６４７５７号明細書、欧州特許出願公開第２６１３２１３号明細書、又は、欧州特許出願公開第２６１３２１４号明細書（Ｐａｒｒｏｔ ＳＡ）に記載される。
２０１４年１０月６日付けからインターネットで公開された「Ｔｈｅ Ｎｅｗ Ｐａｒｒｏｔ Ｂｅｂｏｐ Ｄｒｏｎｅ：Ｂｕｉｌｔ ｆｏｒ Ｓｔａｂｉｌｉｚｅｄ Ａｅｒｉａｌ Ｖｉｄｅｏ」と題されるＴｉｍｏｔｈｙ ＭｃＤｏｕｇａｌの論文（ＸＰ０５５２３３８６２）は、特に、画像安定化・制御システムと関連付けられる魚眼レンズを備えるドローンである前述のＢｅｂｏｐ Ｄｒｏｎｅ装置について記載する。
フロントビデオカメラは、ドローンの「没入モード」操縦、すなわち、ユーザがあたかも自分自身でドローンに乗っているかのような同じ態様でカメラの画像を使用する操縦のために使用され得る。また、フロントビデオカメラは、ドローンが向かうシーンの一連の画像を捕える役目を果たしてもよい。そのため、ユーザは、カメラ又はカムコーダーと同じ態様でドローンを使用でき、このカメラ又はカムコーダーは、手で保持されるのではなく、ドローンによって支持される。取得される画像は、記録された後にブロードキャストされ、オンラインでビデオシーケンスホスティングウェブサイトに置かれ、他のインターネットユーザへ送られ、ソーシャルネットワーク等で共有され得る。
これらの画像が記録されて通信されるようになっている場合には、これらの画像に想定し得る欠陥、特にドローンの挙動により引き起こされる欠陥が殆どないようにすることが望ましい。すなわち、確かに、ドローンの前方、後方、又は、脇への任意の直線変位は、ドローンの傾動を伴い、そのため、実際にはユーザに対して表示される最終画像中に様々な時機を失したアーチファクトをもたらすカメラにより取得される画像のずれ、回転、振動．．．といった望ましくない対応をする影響を伴う。
これらの欠陥は、「没入操縦」形態において許容できる場合がある。その一方で、記録されてその後にレンダリングされるシーケンスを捕えるために事態がドローンを移動ビデオカメラとして使用するようになっている場合には、これらの欠陥が極めて厄介であり、そのため、これらの欠陥を最小限まで減らすことが望ましい。
前述のＢｅｂｏｐ Ｄｒｏｎｅの場合、後者は、約１８０°の視野をカバーする魚眼タイプの半球状視野レンズを備えるカメラを実装するが、その捕えられる視野の一部分だけが使用され、この部分は、従来のカメラにより捕えられる角度セクターにほぼ対応する。
その目的のため、センサの表面で形成される半球状画像全体の中で特定の窓（以下、「捕捉領域」）が選択される。この窓は、回転移動及び並進移動することができるとともに、慣性ユニットにより決定されるドローンの動きに応じてこれらの動きに対して反対方向に恒久的に変位される。無論、魚眼レンズにより取得される画像は、従来のカメラと同じ振動動作及び回転動作を受けるが、画像領域の変位は、これらの移動を補償し、したがってドローン移動に対して安定させられる画像を生み出すために、フィードバック制御される。
捕捉領域の画像、より正確には、捕捉領域の画像の有用部分（以下、「有用領域」）は、その後、魚眼レンズによりもたらされる幾何学的歪みを補償するための再投影プロセス、すなわち、レンズにより曲げられた直線の直線化された画像の中心と外周との間の均一な拡大の再設定などに晒される。得られた最終画像（「直線化された有用領域」）は、その後、スクリーン上に表示されるべくユーザへ送信され、記録されるなどする。
したがって、特定領域（捕捉領域）の捕えられたシーン全体からの抽出によって「仮想カメラ」が規定され、特定領域は、さもなければユーザに対して表示される最終画像中で観察される振動を消滅させ、その後、画像直線化プロセスの適用によって幾何学的な歪みも他の歪みも伴わないシーンの表示を得るために、初期の画像において、ドローンの移動と反対の方向に動的に回転変位及び並進変位される。
この技術は、２０１５年１０月２１日に公開された欧州特許出願公開第２９３３７７５号明細書（Ｐａｒｒｏｔ）に記載される。
また、同等の技術が、２００７年１２月１５日−１８日に行われたロボット工学及びバイオミメティックスに関する２００７ ＩＥＥＥ国際会議の議事録におけるＭｉｙａｕｃｈｉ Ｒらの論文「Development of Omni-Directional Image Stabilization System Using Camera Posture Information」の９２０−９２５頁にも記載され、この論文は、「魚眼」タイプの半球状視野レンズ、すなわち、約１８０°の視野をカバーする半球状視野レンズを備えるカメラにより捕えられる画像に対してそのようなＥＩＳ（Electronic Image Stabilization）技術を適用することを提案する。生の画像は、取得されて、（魚眼歪みを補償するために）直線化プロセスに晒された後、カメラを支持するロボットの移動に応じて動的な窓処理のプロセスに晒される。補償は、センサが安定化画像に対応する副部分のみを送信することに対して補償がなされるように移動と反対の方向での取得領域への捕捉領域の並進によって行われる。
国際公開第２０１０／０６１０９９号パンフレット 欧州特許出願公開第２３６４７５７号明細書 欧州特許出願公開第２６１３２１３号明細書 欧州特許出願公開第２６１３２１４号明細書 欧州特許出願公開第２９３３７７５号明細書
「The New Parrot Bebop Drone:Built for Stabilized Aerial Video」と題されるTimothy McDougalの論文（ＸＰ０５５２３３８６２） Miyauchi Rらの論文「Development of Omni-Directional Image Stabilization System Using Camera Posture Information」の９２０−９２５頁
本発明は、ドローンの特定の移動中に現れる特定の欠陥を排除することを目的とする。
この欠陥は、カメラの特定数の動作パラメータ、すなわち、自動露出（ＡＥ、画像の異なるポイントの輝度の解析に基づく）のアルゴリズム、自動ホワイトバランス（ＡＷＢ、画像の異なるポイントの比色分析に基づく）のアルゴリズム、又は、自動焦点合わせ（ＡＦ、画像の異なるポイントのコントラストの解析に基づく）のアルゴリズムなどの画像解析アルゴリズムにより自動的に調整されるパラメータの動的な制御に関連する。
ＡＥアルゴリズム及びＡＷＢアルゴリズムの例は米国特許出願公開第２０１５／０２２２８１６号明細書において見出され、また、ＡＦアルゴリズムの例は米国特許出願公開第２０１３／００２１５２０号明細書において見出され得る。
以下の説明では、典型的な特定のケースとして、露出の自動制御が挙げられるが、本発明は、このパラメータの制御に限定されず、また、理解されるように、ホワイトバランス及び焦点合わせなど、画像の解析に基づいて他のパラメータの自動制御に適用されてもよい。
自動露出（ＡＥ）アルゴリズムの原理は、センサに関して、同じ目標輝度をもって任意のシーンを捕えることができるようにする組｛露出時間、ゲイン｝を選択することである。この選択は、サブサンプリング又はデシメーションにより得られる以下で「サムネイル」と呼ばれる画像の低解像度バージョン（例えば６４×４８ピクセル）の解析に基づいて行われ、それにより、輝度ヒストグラム及び場合により他のパラメータが抽出され、そのような異なる開始データは、以下、画像の「統計量」という一般的な用語により参照される。
センサにより収集される画像全体から抽出される捕捉領域の前述のケースにおいて、これは、自動露出の制御のパラメータを計算するのに役立つ統計量をもたらす捕捉領域のコンテンツである。
しかし、先に説明されたように、この捕捉領域は、ユーザに対して表示される最終有用領域よりも大きく、それにより、自動露出アルゴリズムは、ユーザが見えないシーンの要素、すなわち、捕捉領域の内側に位置するが有用領域の外側に位置する要素に基づいて決定を行うことができる。
ここで、正確に露出されることが望ましいシーンは、ユーザによって見えるシーン（有用領域）であり、それとは異なる捕捉領域ではない。
空の部分と地面の部分とを備える画像の例では、空と地面との間の割合が、カメラの傾きにしたがって、そのため、ドローンの姿勢にしたがって変化する。そのようにしてドローンがホバリング飛行姿勢から下方へ傾けられた姿勢（この傾きは前方直線変位をもたらす）へと移行する場合、地面へ向けて傾けられるカメラは（それがドローン本体に連結されるため）かなり高い割合の地面を捕える。地面が更に暗くなるにつれて、自動露出アルゴリズムの制御は、この輝度変化を露出時間及び／又はゲインの増大によって補償するようになる。
しかしながら、初期画像における捕捉領域の変位とそこから有用領域を抽出するように行われる再投影とに起因して、ユーザは常に同じシーンを見る。しかし、このシーンは、自動露出の補正作用に起因して一時的に過度に露出され、露出過度は、ドローンがその初期姿勢へ戻るときに消失し、そうでなければ、ユーザにより見える画像の輪郭が変化する。
本発明が解決しようとするのがそのような問題である。
その目的のため、本発明は、特にＭｉｙａｕｃｈｉらの前述した論文からそれ自体知られる態様で、
−ドローン本体に結合したカメラ（１４）であって、ドローン本体に対して固定の方向を向く魚眼タイプの半球状視野レンズ、及び、レンズにより形成される画像を収集して原画像データを配信するデジタルセンサを備えるカメラと、
−絶対地球座標系に対するドローンの瞬間の姿勢を特徴付けるオイラー角を測定するようになっており、且つ現在のドローン姿勢データを出力として配信する慣性ユニットと、
−センサの範囲にわたって形成される前記画像内で、低減したサイズの捕捉領域の位置を規定するようになっている抽出手段と、
−現在のドローン姿勢データを入力として受け、且つ慣性ユニットにより測定される角度の値の変化の方向とは反対の方向に前記画像中の捕捉領域の位置及び方向を動的に変更するようになっている制御手段と、
−捕捉領域から抽出されるユーザ領域の画像データを入力として受け、且つ魚眼レンズによりもたらされる幾何学的歪みが補償される、対応する直線化された画像データを出力として配信する再投影手段と、
を備えるドローンを提案する。
本発明の特徴として、カメラは、自動露出、ホワイトバランス、及び、自動焦点合わせのうちの少なくとも１つの撮像パラメータの動的制御のための手段を更に備え、ドローンは、
−少なくとも１つの低減した解像度のサムネイルを捕捉領域内で規定するとともに、前記サムネイル中に含まれる画像データに応じて前記撮像パラメータの現在の値を配信するようになっている解析手段と、
−補償手段であって、そのような手段は、慣性ユニットにより配信される現在のドローン姿勢データを入力として受け、且つ解析手段により配信される撮像パラメータの前記値の、ドローンの姿勢の瞬間の変化により引き起こされ易い変化とは反対の方向に、これらの現在の姿勢データに応じて、解析手段と動的に相互作用するようになっている、補償手段と、
を更に備える。
そのようにして、撮像パラメータは、ドローンの姿勢の瞬間の変化に実質的に依存しない値を維持する。
好適には、解析手段は、更に、捕捉領域からくるサムネイル中に含まれる前記画像データから、センサ上にレンズにより形成された画像の領域の外側に位置する原画像データを排除するようになっている。
第１の実施形態によれば、補償手段は、抽出手段により配信される、捕捉領域からくるサムネイル中に含まれる画像データを入力として受け、また、解析手段は、捕捉領域にわたって分布する複数の関心領域ＲＯＩをそれぞれのＲＯＩごとに対応するサムネイルで各画像中において動的に規定するとともに、それぞれの対応するサムネイルごとに前記撮像パラメータの現在の値を配信するようになっている手段を備える。このとき、補償手段は、現在のドローン姿勢データに応じた捕捉領域内のＲＯＩのサイズ及び／又は位置の変更によって解析手段と動的に相互作用するようになっている手段を備える。
好適には、補償手段は、捕捉領域中に含まれる現在のユーザ領域の外側に位置するＲＯＩの規定をＲＯＩの規定から予め排除するようになっている手段を備える。
補償手段は、捕捉領域の内側で規定される現在のユーザ領域とＲＯＩとのだいたい大きな度合いの重なり合いの関数である固有の重み値を各ＲＯＩに割り当てるようになっている手段を備え、この値は、現在のユーザ領域内に完全に含まれるＲＯＩに関しては最大であり、現在のユーザ領域の内側及び外側の両方に延在する重なり合うＲＯＩに関してはより低い。
補償手段は、ＲＯＩのだいたい大きな表面の関数である固有の重み値を各ＲＯＩに割り当てるようになっている手段を備えてもよい。
第２の実施形態によれば、補償手段は、抽出手段により配信される、捕捉領域からくるサムネイルに含まれる画像データを入力として受け、また、解析手段は、捕捉領域にわたって均一な所定の態様で分布する関心領域ＲＯＩのグリッドをそれぞれのＲＯＩごとに対応するサムネイルで規定し、且つそれぞれの対応するサムネイルごとに前記撮像パラメータの現在の値を配信するようになっている手段を備える。補償手段は、捕捉領域の内側で規定される現在のユーザ領域とＲＯＩとの重なり合いの度合いの関数である固有の重み値を各ＲＯＩに割り当てることによって解析手段と動的に相互作用するようになっている手段を備え、この値は、現在のユーザ領域内に含まれるＲＯＩに関しては最大であり、現在のユーザ領域の外側のＲＯＩに関しては最小であり、現在のユーザ領域の内側及び外側の両方に延在する重なり合うＲＯＩに関しては中間である。
第３の実施形態によれば、補償手段は、再投影手段によって配信される魚眼レンズによりもたらされる幾何学的歪みが補償された直線化された画像データを入力として受ける。
この場合、解析手段は、直線化された画像にわたって分布する複数の関心領域ＲＯＩをそれぞれのＲＯＩごとに対応するサムネイルで各画像中において動的に規定するとともに、それぞれの対応するサムネイルごとに前記撮像パラメータの現在の値を配信するようになっている手段を備える。このとき、補償手段は、現在のドローン姿勢データに応じた直線化された画像内のＲＯＩのサイズ及び／又は位置の変更によって解析手段と動的に相互作用するようになっている手段を備える。
ここで、図の全体にわたって同じ参照符号が同一の要素又は機能的に同様の要素を示す添付図面を参照して、本発明の実施の一例について説明する。
ドローン及びドローンの遠隔操縦を可能にする関連する遠隔制御装置を示す全体図である。 例えば加速段階中のドローンの前傾により引き起こされるカメラの観察方向の変化を示す。 例えば加速段階中のドローンの前傾により引き起こされるカメラの観察方向の変化を示す。 直線化された画像をもたらすためにドローンカメラのセンサで形成される画像に適用される歪みの補正及び窓処理の一連のステップを（ａ１）−（ａ３）において示し、また、カメラが地面へ向けて傾けられた状態でドローン姿勢が変更されるときの対応するステップを（ｂ１）−（ｂ３）において示す。 図３の捕捉領域（ａ２）及び（ｂ２）の解析によりそれぞれ得られる輝度ヒストグラムを（ａ）及び（ｂ）において示す。 本発明の実施に関与する様々なモジュールをブロック図として示す。 本発明の第１及び第２の実施形態における本発明の実施の主要な一連のステップを説明するフロー図である。 本発明の第１の実施形態に係る捕捉領域の解析領域をこの捕捉領域の内側で自動的に規定される関心領域に基づいて示す。 本発明の第２の実施形態に係る捕捉領域の解析領域をこの捕捉領域内でのグリッドの形成に基づいて示す。 本発明の第３の実施形態における本発明の実施の主要な一連のステップを説明するフロー図である。
ここで、本発明の実施の例について説明する。
図１において、参照符号１０はドローンを全体的に示し、このドローンは、例えば、フランスのパリにあるＰａｒｒｏｔ ＳＡのモデルＢｅｂｏｐ Ｄｒｏｎｅなどのクアドリコプタである。このドローンは４つの同一平面内ロータ１２を含み、これらのロータのモータは、組み込まれたナビゲーション及び姿勢制御システムによって互いに独立に操縦される。ドローンには、ドローンが向かうシーンの画像を得ることができるようにする前方視カメラ１４が設けられる。
また、ドローンは下方を向く垂直視カメラ（図示せず）も含み、この垂直視カメラは、上空を飛行した陸地の一連の画像を捕えるようになっているとともに、特に、地面に対するドローンの速度を評価するために使用される。慣性センサ（加速度計及びジャイロメータ）がドローンの角速度及び姿勢角、すなわち、固定された地球座標系における水平面に対するドローンの傾きを表わすオイラー角（ピッチΦ、ロールθ、及びヨーψ）を特定の精度で測定できるようにする。ドローンの下側に配置される超音波テレメータが地面に対する高度の測定値を更に与える。
ドローン１０は、タッチスクリーン１８を備える遠隔制御装置１６によって操縦され、タッチスクリーン１８は、ユーザの指２０をタッチスクリーン１８上に単に接触させるだけで操縦コマンドの起動を可能にする特定数の記号を重ね合わせ、搭載されるフロントカメラ１４の画像を表示する。特にカメラ１４により捕えられる画像の送信のためのドローン１０から装置１６への及び操縦コマンドの送信のための装置１６からドローン１０へのデータの双方向のやりとりのために、装置１６には、ドローンとの例えばＷｉ−Ｆｉ（ＩＥＥＥ８０２．１１）ローカルネットワークタイプの無線リンクのための手段が設けられる。
また、遠隔制御装置１６には傾斜センサも設けられ、該傾斜センサは、ロール軸及びピッチ軸周りの対応する傾斜を装置に与えることによってドローン姿勢を制御できるようにし、ここで、ドローン１０の水平速度の２つの縦方向成分及び横方向成分が２つのそれぞれのピッチ軸及びロール軸周りの傾斜と密接に関連付けられることが理解されるべきである。ドローンの操縦は、
ａ）ドローンを前方又は後方に移動させるためのピッチ軸２２周りの回転、
ｂ）ドローンを右又は左にずらすためのロール軸２４周りの回転、
ｃ）ドローンの主軸を右又は左に回動させるためのヨー軸２６周りの回転、及び、
ｄ）ドローンの高度をそれぞれ下げる又は上げるためのガス制御を変更することによる下向き又は上向きの並進、
によってドローンを進めることにある。
これらの操縦コマンドがユーザによって遠隔制御装置１６から印加されると、ピッチ軸２２及びロール軸２４周りで回動するというコマンドａ）及びｂ）は、装置１６のその縦軸２８及びその横軸３０の周りの傾動によってそれぞれ得られる。すなわち、例えば、ドローンを前方に移動させるためには、軸２８周りで遠隔制御装置を傾動させることにより遠隔制御装置１６を前方に傾けるだけで済み、ドローンを右の脇に移動させるためには、遠隔制御装置を軸３０周りで右に向かって傾動させることにより遠隔制御装置１６を傾けるだけで済み、以下同様である。コマンドｃ）及びｄ）は、それら自体、タッチスクリーン１８の対応する特定の領域に対するユーザの指２０の接触によって適用される動作によりもたらされる。
また、ドローンは、ホバリング飛行安定化の自動・自律システムも有し、このシステムは、特に、ユーザが自分の指を装置のタッチスクリーンから離すと直ぐに、或いは、離陸段階の終了時に自動的に、或いは、装置とドローンとの間の無線リンクの中断の場合に、起動される。
図２ａは、ドローンが上昇状態で静止しているときのドローンの姿勢を横から概略的に示す。
従来のタイプのフロントカメラ１４によりカバーされる視野、例えば、５４°の視野をカバーし且つその視軸δが水平線を中心として位置付けられるカメラによってカバーされる視野が３６で図式化される。
図２ｂに示されるように、ドローンが意図的にゼロ以外の水平速度で前方に移動する場合、ドローンの軸２６は、垂線Ｖに対して角度Φ（ピッチ角）だけ前方に傾けられる。矢印３８により図式化されるこの前方への傾斜は、水平線ＨＺの平面に対するカメラの軸δの矢印４０により図式化される同じ値の傾斜を伴う。したがって、ドローンの進行、すなわち、ドローンの加速、減速等にわたって、軸δは、水平線ＨＺの方向を中心に恒久的に振動し、それにより、恒久的な上下方向の振動動作が画像にもたらされることになることが理解される。
同様に、ドローンが右又は左の脇に移動する場合には、この移動がロール軸２４周りの回動によって達成され、それにより、カメラにより捕えられるシーンの一方向又は他の方向の回転が画像にもたらされることになる。
これらの欠点を補償するため、前述した欧州特許出願公開第２９３３７７５号明細書（２０１５年１０月２１日公開）で説明されるように、図２ａにおいて４２で図式化するように約１８０°の視野をカバーする魚眼タイプの半球状視野レンズを有するカメラを設けることが提案されてきた。この魚眼レンズが設けられるカメラによって捕えられる画像は、勿論、従来のカメラと同じ振動動作及び回転動作に晒されるが、このカメラにより捕えられる視野の一部分のみが、従来のカメラにより捕えられる角度セクター３６に対応する特定の窓を選択することによって使用され、その部分は、さもなければ画像中で観察される振動を消滅させるべく、慣性中心により決定されるドローンの移動とは反対の方向に半球状画像中で動的に変位される。
したがって、ドローンが垂線Ｖに対してピッチ角Φだけ下方に急降下する（矢印３８）図２ｂに示される場合には、捕捉窓が同じ値の角度だけ上方に変位され（矢印４４）、そのため、画像領域に対応する視野をカバーする「仮想カメラ」のセクター３６の中心軸が元の水平線ＨＺへ向けて戻される。
ここで、図３を参照して、本発明の課題について説明する。
図３は、魚眼レンズが設けられるビデオカメラのセンサにより収集されるシーンの一例を（ａ１）に示す。
図示のように、このシーンの画像Ｉは、センサの平坦な表面上で直線化される、魚眼レンズの半球状又は準半球状のカバレッジに固有の非常に激しい幾何学的歪みを含む。
魚眼レンズによりもたらされるこの画像Ｉの一部分だけが使用される。この一部分は、ｉ）「仮想カメラ」が向く方向と、ｉｉ）仮想カメラの視野の方向（図２ａ及び図２ｂに３６で図式化される）と、ｉｉｉ）その幅／高さ比率とに応じて決定される。それにより、魚眼レンズによってもたらされる幾何学的歪みの補償後の「仮想カメラ」の視野に対応する生の「有用領域」ＺＵBを包含する生のピクセルデータを含む「捕捉領域」ＺＣが規定される。
センサ上に形成される画像Ｉの全てのピクセルを捕えることが有用ではなく、捕捉領域ＺＣに対応するこれらのピクセルの一部のみ、例えば、その解像度が一般に１４メガピクセル（４６０８×３２８８ピクセル）であるセンサによりもたらされるＨＤ品質（１９２０×１０８０ピクセル）の画像Ｉから抽出される約２メガピクセルの窓ＺＣを捕えることが有用であることに留意されたい。そのため、捕捉領域ＺＣの実際に必要とされるピクセルデータのみが転送され、そのピクセルデータは、その後、特定の困難を伴うことなく３０フレーム／秒のリズムでリフレッシュされてもよい。したがって、高い画像流量を維持しつつ高解像度センサを選択できる。
図３のビュー（ａ２）及び（ａ３）は、幾何学的歪みが補償された最終画像を得るために捕捉領域ＺＣのピクセルデータに関して行われる処理工程を示す。すなわち、捕捉領域ＺＣ（ビュー（ａ２））から転送されるピクセルデータに基づいて、アルゴリズムは、生の有用領域ＺＵBのピクセルデータを抽出して、それに対して三角形メッシュ法（それ自体知られる技術）を適用した後、各三角形を伸長させることにより画像を直線化して、修正されたピクセルデータを伴う直線化された有用画像ＺＵR（ビュー（ａ３））を与える。魚眼画像の激しく湾曲された水平線は、その後、それらを直線状にして幾何学的歪みのない自然視に対応する画像をもたらすように補正される。
図３のビュー（ｂ１）−（ｂ３）は形態がビュー（ａ１）−（ａ３）に類似しており、この場合、ドローンの姿勢は、ドローンの前傾（ドローンのピッチ軸周りの回転）、例えばホバリング飛行における静止形態からの切り換えにしたがう傾斜、前方へ移動する形態（ドローンの直線速度はなお一層大きくなり、その傾きが強くなる）に起因して変更される。
（ｂ１）に示されるように、ドローンのこの下向きの傾斜を補償するために、捕捉領域ＺＣは、画像の上端へ向けて、したがってドローンの傾斜とは反対の方向に移動される。生の有用領域ＺＵBの相対位置が（標的のシーンの追従を可能にするべく）捕捉領域ＺＣの内側でほぼ同じままであれば、このとき、捕捉領域は、一方で、空Ｃよりもかなり大きな地面Ｓの部分を含む。すなわち、ビュー（ａ２）とビュー（ｂ２）とを比較すれば、初期形態（ビュー（ａ２））では、空／地面割合が約５０／５０％であるのに対し、変更された形態（ビュー（ｂ２））では、空／地面割合が約２５／７５％であることが分かる。また、捕捉領域が上方へ大きく変位されるため、捕捉領域は、センサ上に魚眼レンズにより形成される円形画像の領域の外側に位置する領域Ｘを含む場合がある。
一方で、直線化された有用領域（ビュー（ｂ３））の最終画像ＺＵRは、ドローンの前方への傾斜前だったもの（ビュー（ａ３））とほぼ同一である。
図４は、捕捉領域ＺＣからくるサムネイルのピクセルの輝度の解析によって得られるヒストグラムを、ビュー（ａ２）の場合には（ａ）に、ビュー（ｂ２）の場合には（ｂ）にそれぞれ示す。
この図において分かるように、ドローンの前方への傾斜は、領域ＺＣの画像中の地面／空比率の増大に起因して、平均値Ｍの左側へ向かうオフセットを伴って、輝度ヒストグラムの大きな変化をもたらすことになる。
自動露出アルゴリズムは、平均値Ｍのこの変化を、露出時間の増大及び／又はカメラ感度の増大により自動的に補償される画像の暗化として解釈する。
そのようにして得られる最終画像（ａ３）及び（ｂ３）（直線化された有用領域ＺＵRの画像）はそれぞれ、それらがシーンの同じフレーミングをユーザに対して表示するが、それらの露出設定によって互いに異なり、ビュー（ｂ３）の画像はビュー（ａ３）のそれよりもはっきりしている。
本発明は、この欠陥を補正するという目的を有する。
図５は、本発明の実施に関与する様々なモジュールをブロック図として示す。
ドローンのフロントカメラ１４は、画像Ｉに対応する生の画像信号を配信する。ドローン本体に機械的に連結されるこのカメラは、ドローン本体に連結され、したがってカメラに連結される慣性ユニット（ＩＭＵ）１２により測定される角度変位に晒される。カメラの回転は、固定された地球座標系に対するドローンの傾斜を三次元で表わすピッチ角Φ、ロール角θ、及び、ヨー角ψ（オイラー角）によって与えられる。これらのデータは、画像Ｉ中における捕捉領域ＺＣの位置の計算のモジュールを操作する角度予測モジュール４８に印加される。ビデオ処理モジュール５２が、生の画像信号Ｉを入力として受けるとともに、モジュール５０により計算される捕捉領域ＺＣの位置に応じた窓処理、画像安定化、有用領域の抽出及び直線化の様々な作業を行って、ユーザへ送信されるべき、場合により表示されて記録されるべき有用画像信号ＺＵRをユーザへ出力として配信する。
また、モジュール５２は、カメラ動作パラメータの制御（戻り５４により図式化される）、特に自動露出（ＡＥ）の制御、ホワイトバランスＡＷＢの制御、及び、自動焦点合わせＡＦの制御も行う。また、モジュール５２は、本発明によれば、後述するように、これらのカメラ動作パラメータの自動計算に関する前述の欠陥の補正も確保する。
図６は、本発明の第１及び第２の実施形態における本発明の実施の主要な一連のステップを説明するフロー図である。
このフロー図１００は、カメラによる原画像Ｉの収集の初期ステップ（ブロック１０２）を備え、その後に、慣性ユニットＩＭＵにより配信されるドローン姿勢データに応じた捕捉領域ＺＣのこの原画像からの抽出のステップ（ブロック１０４）が続く。
以下のステップ（ブロック１０６）、すなわち、本発明の特徴は、カメラ制御パラメータ、特に自動露出パラメータの配信のための図７及び図８に関連して以下で詳しく明らかにされる態様での捕捉領域の画像データの解析にある。
捕捉領域ＺＣのコンテンツは、その後、ユーザへ配信される最終直線化された画像に対応する直線化された有用領域ＺＵRを与えるために、生の有料領域ＺＵBの抽出及びこの生の有用領域ＺＵBの再投影の処理（ブロック１０８）を受ける。
ここで、図７及び図８を参照して、ブロック１０６により行われるデータ解析の２つの想定し得る実施態様について更に詳しく説明する。
ところで、この解析が、再投影ステップ（ブロック１０８）の前に（ブロック１０４よりも下流側で）捕捉領域ＺＣに最初に含まれる画像からくるサムネイルに基づいて、したがって画像の変形されたバージョンに基づいて行われることに留意されたい。
図７は、本発明の第１の実施形態に係る捕捉領域の解析の領域を示し、そのような解析は、捕捉領域からくるサムネイルの内側で自動的に規定される関心領域ＲＯＩに基づいて行われる。
この実施形態において、画像解析装置は、解析されるべき画像中の小さいサイズの領域の幾何学的な選択物である複数の関心領域ＲＯＩを（更に詳しく説明されないそれ自体知られた技術にしたがって）規定し、これらのそれぞれの領域ごとに輝度ヒストグラムが定められる。自動露出アルゴリズムは、異なるＲＯＩに対応するヒストグラムを解析して比較し、それに応じて、それら自体同様に知られる解析の技術にしたがって、露出のレベルを調整する。
本発明の特徴として、ＲＯＩは、生の有用領域ＺＵBの内側に全体的に或いは部分的に位置するように捕捉領域からくるサムネイル内に分布する。すなわち、ＲＯＩ規定アルゴリズムが生の有用領域ＺＵBの外側でＲＯＩを生成する場合、これらのＲＯＩは、自動露出制御のためのその後の解析から排除される。いかなる場合でも、レンズによりセンサ上に形成される画像の領域（図３のビュー（ｂ１）及び（ｂ２）の領域Ｘ）の外側に位置するピクセルデータは、解析から排除される。言い換えると、画像円の外側に位置するピクセルは、自動露出の計算において無視される。
また、関心領域のそれぞれＲＯＩ1．．．．ＲＯＩnには、捕捉領域の内側で規定される生のユーザ有用領域ＺＵBと関連するＲＯＩとのだいたい大きな度合いの重なり合いを考慮に入れる重み値が割り当てられる。すなわち、重みは、領域ＺＵB内に完全に含まれるＲＯＩに関しては最大であり、領域ＺＵBの完全に外側に位置するＲＯＩ（それらを解析から排除するようになる）に関してはゼロであり、領域ＺＵB内に部分的に含まれるＲＯＩに関しては中間（領域ＺＵBの内側に位置するＲＯＩの表面積の割合が高ければ高いほど重みが高くなる）である。
図８は第２の実施形態を示し、この実施形態において、ＲＯＩは、もはや動的に規定されず、サイズの変化を伴うが捕捉領域ＺＣからくるサムネイル中に規則正しいグリッドとして規定され、この場合、グリッドＧＲは、そのそれぞれの基本正方形又は基本長方形ＲＯＩ（Ｉ，ｊ）が、図７に関連して明らかにされた第１の実施形態における場合と同様の態様で、そのだいたい領域ＺＵBと重なり合う特徴に応じた可変重みによって影響される。
図９は、本発明の第３の実施形態における本発明の実施の主要な一連のステップを説明するフロー図である。
この第３の実施形態において、画像データ解析は、重み付けが各関心領域に適用される画像の変形された初期バージョン（捕捉領域ＺＣ及び生の有用領域ＺＵB）からくるサムネイルに関して行われず、再投影ステップ後の直線化された画像からくるサムネイルに関して行われる。
フロー図２００において、ブロック２０２（画像収集）、ブロック２０４（捕捉領域ＺＣの抽出）、及び、ブロック２０６（ユーザ領域の抽出及び再投影）は、図６のそれぞれのブロック１０２，１０４，１０８と同様である。
一方、カメラ自動露出パラメータの制御のためのデータ解析ステップ（ブロック２０８）は、ブロック２０６よりも下流側で、すなわち、画像の直線化バージョンに関して行われる。このとき、自動露出は、従来のように作用し（ＲＯＩの自動規定等）、生の有用領域ＺＵBに対するこのＲＯＩの位置を反映する重み値を各ＲＯＩに適用することを要しない。

Claims (10)

  1. ドローン（１０）であって、
    前記ドローン本体に結合したカメラ（１４）であって、
    前記ドローン本体に対して固定の方向を向く魚眼タイプの半球状視野レンズ、及び、
    前記レンズにより形成される画像（Ｉ）を収集して原画像データを配信するデジタルセンサ、を備えるカメラ（１４）と、
    絶対地球座標系に対する前記ドローンの瞬間の姿勢を特徴付けるオイラー角（Φ、θ、ψ）を測定するようになっており、且つ現在のドローン姿勢データを出力として配信する慣性ユニット（１６）と、
    前記センサの範囲にわたって形成される前記画像（Ｉ）内で、低減したサイズの捕捉領域（ＺＣ）の位置を規定するようになっている抽出手段（５２）と、
    現在のドローン姿勢データを入力として受け、且つ前記慣性ユニットにより測定される角度の値の変化の方向とは反対の方向に前記画像（Ｉ）中の前記捕捉領域（ＺＣ）の位置及び方向を動的に変更するようになっている制御手段（４８，５０，５２）と、
    前記捕捉領域（ＺＣ）から抽出されるユーザ領域（ＺＵB）の画像データを入力として受け、且つ前記魚眼レンズによりもたらされる幾何学的歪みが補償される、対応する直線化された画像データ（ＺＵR）を出力として配信する再投影手段（５２）と、
    を備え、
    前記カメラ（１４）は、
    自動露出、ホワイトバランス、及び、自動焦点合わせのうちの少なくとも１つの撮像パラメータの動的制御のための手段を更に含み、
    当該ドローンは、
    少なくとも１つの低減した解像度のサムネイルを前記捕捉領域（ＺＣ）内で規定するとともに、前記サムネイル中に含まれる画像データに応じて前記撮像パラメータの現在の値を配信（５４）するようになっている解析手段と、
    補償手段（５２）であって、そのような手段は、前記慣性ユニットにより配信される現在のドローン姿勢データを入力として受け、且つ前記ドローンの姿勢の瞬間の変化から実質的に独立した値に前記撮像パラメータを維持するために、前記解析手段により配信される前記撮像パラメータの前記値の、前記ドローンの姿勢の瞬間の変化により引き起こされ易い変化とは反対の方向に、これらの現在の姿勢データに応じて、前記解析手段と動的に相互作用するようになっている補償手段（５２）と、
    を更に備えることを特徴とするドローン（１０）。
  2. 前記解析手段は、前記捕捉領域（ＺＣ）からくる前記サムネイル中に含まれる前記画像データから、前記センサ上に前記レンズにより形成された画像の領域の外側（Ｘ）に位置する前記原画像データを更に排除するようになっている、請求項１に記載のドローン。
  3. 前記補償手段は、前記抽出手段により配信される、前記捕捉領域（ＺＣ）からくる前記サムネイル中に含まれる画像データを入力（１０４）として受ける請求項１に記載のドローン。
  4. 前記解析手段は、前記捕捉領域（ＺＣ）にわたって分布する複数の関心領域ＲＯＩ（ＲＯＩ1．．．ＲＯＩ7）をそれぞれのＲＯＩごとに対応するサムネイルで各画像中において動的に規定するとともに、それぞれの対応するサムネイルごとに前記撮像パラメータの現在の値を配信するようになっている手段を備え、
    前記補償手段は、現在のドローン姿勢データに応じて前記捕捉領域内のＲＯＩのサイズ及び／又は位置の変更によって前記解析手段と動的に相互作用するようになっている手段を備える、
    請求項３に記載のドローン。
  5. 前記補償手段は、前記捕捉領域（ＺＣ）中に含まれる現在のユーザ領域（ＺＵB）の外側に位置するＲＯＩの規定をＲＯＩの規定から予め排除するようになっている手段を備える請求項４に記載のドローン。
  6. 前記補償手段は、前記捕捉領域の内側で規定される現在のユーザ領域（ＺＵB）とＲＯＩとのだいたい大きな度合いの重なり合いの関数である固有の重み値を各ＲＯＩに割り当てる（１０６）ようになっている手段を備え、この値は、現在のユーザ領域内に完全に含まれるＲＯＩに関しては最大であり、現在のユーザ領域の内側及び外側の両方に延在する重なり合うＲＯＩに関してはより低い、請求項５に記載のドローン。
  7. 前記補償手段は、ＲＯＩのだいたい大きな表面の関数である固有の重み値を各ＲＯＩに割り当てるようになっている手段を備える請求項５に記載のドローン。
  8. 前記解析手段は、前記捕捉領域（ＺＣ）にわたって均一な所定の態様で分布する関心領域ＲＯＩ（ＲＯＩ（ｉ，ｊ））のグリッド（ＧＲ）をそれぞれのＲＯＩごとに対応するサムネイルで各画像中において規定し、且つそれぞれの対応するサムネイルごとに前記撮像パラメータの現在の値を配信するようになっている手段を備え、
    前記補償手段は、前記捕捉領域（ＺＣ）の内側で規定される現在のユーザ領域（ＺＵB）とＲＯＩとの重なり合いの度合いの関数である固有の重み値を各ＲＯＩに割り当てる（１０６）ことによって前記解析手段と動的に相互作用するようになっている手段を備え、この値は、現在のユーザ領域内に含まれるＲＯＩに関しては最大であり、現在のユーザ領域の外側のＲＯＩに関しては最小であり、現在のユーザ領域の内側及び外側の両方に延在する重なり合うＲＯＩに関しては中間である、
    請求項３に記載のドローン。
  9. 前記補償手段は、前記再投影手段によって配信される前記魚眼レンズによりもたらされる幾何学的歪みが補償された直線化された画像データ（ＺＵR）を入力（２０６）として受ける請求項１に記載のドローン。
  10. 前記解析手段は、直線化された画像（ＺＵR）にわたって分布する複数の関心領域ＲＯＩをそれぞれのＲＯＩごとに対応するサムネイルで各画像中において動的に規定するとともに、それぞれの対応するサムネイルごとに前記撮像パラメータの現在の値を配信するようになっている手段を備え、
    前記補償手段は、現在のドローン姿勢データに応じた前記直線化された画像（ＺＵR）内のＲＯＩのサイズ及び／又は位置の変更によって前記解析手段と動的に相互作用するようになっている手段を備える、
    請求項９に記載のドローン。
JP2016175147A 2015-09-10 2016-09-08 姿勢に依存しない制御パラメータ、特に自動露出制御を伴う前方視カメラを含むドローン Withdrawn JP2017103751A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1558420 2015-09-10
FR1558420A FR3041134B1 (fr) 2015-09-10 2015-09-10 Drone avec camera a visee frontale dont les parametres de controle, notamment l'autoexposition, sont rendus independant de l'attitude.

Publications (1)

Publication Number Publication Date
JP2017103751A true JP2017103751A (ja) 2017-06-08

Family

ID=54545300

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016175147A Withdrawn JP2017103751A (ja) 2015-09-10 2016-09-08 姿勢に依存しない制御パラメータ、特に自動露出制御を伴う前方視カメラを含むドローン

Country Status (5)

Country Link
US (1) US20170236291A1 (ja)
EP (1) EP3142353B1 (ja)
JP (1) JP2017103751A (ja)
CN (1) CN106534627A (ja)
FR (1) FR3041134B1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6324649B1 (ja) * 2017-10-25 2018-05-16 楽天株式会社 検出システム、検出方法、及びプログラム
JP2019009508A (ja) * 2017-06-20 2019-01-17 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、監視システム
JP6459012B1 (ja) * 2017-10-30 2019-01-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、飛行体、制御方法、及びプログラム
JP2019083390A (ja) * 2017-10-30 2019-05-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、移動体、制御方法、及びプログラム
WO2021162274A1 (ko) * 2020-02-11 2021-08-19 삼성전자 주식회사 화질 조정을 지원하는 전자 장치 및 그 방법

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3038482B1 (fr) * 2015-06-30 2017-08-11 Parrot Bloc camera apte a etre embarque dans un drone pour cartographier un terrain et procede de gestion de capture d'images par un bloc camera
JP6942940B2 (ja) * 2016-03-14 2021-09-29 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム
WO2018034033A1 (ja) * 2016-08-16 2018-02-22 本郷飛行機株式会社 通信制御装置
US10538326B1 (en) * 2016-08-31 2020-01-21 Amazon Technologies, Inc. Flare detection and avoidance in stereo vision systems
US20180210442A1 (en) * 2017-01-23 2018-07-26 Qualcomm Incorporated Systems and methods for controlling a vehicle using a mobile device
JP7057637B2 (ja) 2017-08-23 2022-04-20 キヤノン株式会社 制御装置、制御システム、制御方法、プログラム、及び記憶媒体
JP6656214B2 (ja) * 2017-09-04 2020-03-04 キヤノン株式会社 飛行体、移動装置、制御方法、プログラム、及び記憶媒体
JP7086552B2 (ja) * 2017-09-22 2022-06-20 キヤノン株式会社 情報処理装置、撮像装置、情報処理方法及びプログラム
CN113141472A (zh) * 2017-09-30 2021-07-20 深圳市大疆创新科技有限公司 补光控制方法、补光控制模块及无人飞行器
CN107977993A (zh) * 2017-11-17 2018-05-01 杨俊刚 一种针对光场阵列相机的基于重投影的重聚焦方法及系统
JP6688277B2 (ja) * 2017-12-27 2020-04-28 本田技研工業株式会社 プログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置
RU183717U1 (ru) * 2018-06-26 2018-10-01 Российская Федерация, от имени которой выступает ФОНД ПЕРСПЕКТИВНЫХ ИССЛЕДОВАНИЙ Беспилотный летательный аппарат мультироторного типа
CN109698913B (zh) * 2018-12-29 2020-12-04 深圳市道通智能航空技术有限公司 一种图像显示方法、装置和电子设备
CN111316636B (zh) * 2019-03-27 2021-11-16 深圳市大疆创新科技有限公司 旋转式拍摄方法、控制装置、可移动平台及存储介质
CN111345031B (zh) * 2019-04-25 2021-10-15 深圳市大疆创新科技有限公司 无人机及其拍摄控制方法
CN111131721B (zh) * 2019-12-30 2022-04-15 深圳市道通智能航空技术股份有限公司 图像曝光方法及装置、无人机
EP4238304A1 (en) * 2020-10-27 2023-09-06 QUALCOMM Incorporated Lens distortion correction for image processing

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4012749B2 (ja) * 2002-03-14 2007-11-21 国立大学法人 奈良先端科学技術大学院大学 遠隔操縦システム
JP4931055B2 (ja) * 2006-11-22 2012-05-16 ソニー株式会社 画像処理装置及び画像処理方法
FR2938774A1 (fr) 2008-11-27 2010-05-28 Parrot Dispositif de pilotage d'un drone
JP2011015244A (ja) * 2009-07-03 2011-01-20 Sanyo Electric Co Ltd ビデオカメラ
FR2957266B1 (fr) 2010-03-11 2012-04-20 Parrot Procede et appareil de telecommande d'un drone, notamment d'un drone a voilure tournante.
TW201249713A (en) * 2011-06-02 2012-12-16 Hon Hai Prec Ind Co Ltd Unmanned aerial vehicle control system and method
KR101971535B1 (ko) * 2011-07-20 2019-08-14 삼성전자주식회사 이미지 촬영 장치에서 자동 초점 조절 장치 및 방법
FR2985329B1 (fr) 2012-01-04 2015-01-30 Parrot Procede de pilotage intuitif d'un drone au moyen d'un appareil de telecommande.
FR2985581B1 (fr) 2012-01-05 2014-11-28 Parrot Procede de pilotage d'un drone a voilure tournante pour operer une prise de vue par une camera embarquee avec minimisation des mouvements perturbateurs
JP6065474B2 (ja) * 2012-09-11 2017-01-25 株式会社リコー 撮像制御装置、撮像制御方法およびプログラム
JP2014127744A (ja) * 2012-12-25 2014-07-07 Casio Comput Co Ltd 撮像装置、撮像制御方法、及びプログラム
FR3000813B1 (fr) * 2013-01-04 2016-04-15 Parrot Drone a voilure tournante comprenant des moyens de determination autonome de position dans un repere absolu lie au sol.
FR3020169A1 (fr) 2014-04-16 2015-10-23 Parrot Drone a voilure tournante muni d'une camera video delivrant des sequences d'images stabilisees

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019009508A (ja) * 2017-06-20 2019-01-17 キヤノン株式会社 画像処理装置およびその制御方法、撮像装置、監視システム
US10593013B2 (en) 2017-06-20 2020-03-17 Canon Kabushiki Kaisha Image processing apparatus and method for controlling the same, imaging apparatus, and monitoring system
JP6324649B1 (ja) * 2017-10-25 2018-05-16 楽天株式会社 検出システム、検出方法、及びプログラム
WO2019082301A1 (ja) * 2017-10-25 2019-05-02 楽天株式会社 無人航空機制御システム、無人航空機制御方法、及びプログラム
JP6459012B1 (ja) * 2017-10-30 2019-01-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、飛行体、制御方法、及びプログラム
JP2019083390A (ja) * 2017-10-30 2019-05-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、移動体、制御方法、及びプログラム
JP2019083392A (ja) * 2017-10-30 2019-05-30 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 制御装置、撮像装置、飛行体、制御方法、及びプログラム
WO2021162274A1 (ko) * 2020-02-11 2021-08-19 삼성전자 주식회사 화질 조정을 지원하는 전자 장치 및 그 방법

Also Published As

Publication number Publication date
EP3142353B1 (fr) 2019-12-18
EP3142353A1 (fr) 2017-03-15
FR3041134A1 (fr) 2017-03-17
FR3041134B1 (fr) 2017-09-29
US20170236291A1 (en) 2017-08-17
CN106534627A (zh) 2017-03-22

Similar Documents

Publication Publication Date Title
JP2017103751A (ja) 姿勢に依存しない制御パラメータ、特に自動露出制御を伴う前方視カメラを含むドローン
US10171746B2 (en) Drone with a front-view camera with segmentation of the sky image for auto-exposure control
US10326939B2 (en) Drone provided with a video camera and means for compensating for the artefacts produced at the highest roll angles
US10659690B2 (en) Systems and methods for mobile platform imaging
JP2015204633A (ja) 安定化した一続きの画像を提供するビデオカメラが設けられた回転翼無人機
JP6234679B2 (ja) 外乱を引き起こす動きを最小化しながら搭載型カメラによる撮影を行うための回転翼無人機の操縦方法
CN108363946B (zh) 基于无人机的人脸跟踪系统及方法
CN103905792B (zh) 一种基于ptz监控摄像机的3d定位方法及装置
WO2019227441A1 (zh) 可移动平台的拍摄控制方法和设备
US20180095469A1 (en) Autonomous system for shooting moving images from a drone, with target tracking and holding of the target shooting angle
JP2017015704A (ja) ドローンに搭載されて土地をマッピングするように適合されたカメラユニット、およびカメラユニットによる画像撮像管理方法
US20180024557A1 (en) Autonomous system for taking moving images, comprising a drone and a ground station, and associated method
JP2017085551A (ja) ドローンに搭載されたカメラの露出時間を決定する方法、および関連するドローン
US20170102715A1 (en) Autonomous flying device, control method of autonomous flying device, and non-transitory recording medium
CN110291780B (zh) 图像增稳控制方法、拍摄设备和可移动平台
AU2019212641B2 (en) Voronoi cropping of images for post field generation
CN110291777B (zh) 图像采集方法、设备及机器可读存储介质
CN112204946A (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
WO2022000137A1 (zh) 可移动平台系统及其控制方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180723

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20190627