JP2018534599A - 対象物体を撮像するシステム - Google Patents

対象物体を撮像するシステム Download PDF

Info

Publication number
JP2018534599A
JP2018534599A JP2018511094A JP2018511094A JP2018534599A JP 2018534599 A JP2018534599 A JP 2018534599A JP 2018511094 A JP2018511094 A JP 2018511094A JP 2018511094 A JP2018511094 A JP 2018511094A JP 2018534599 A JP2018534599 A JP 2018534599A
Authority
JP
Japan
Prior art keywords
imaging device
target object
parameters
item
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018511094A
Other languages
English (en)
Other versions
JP6596745B2 (ja
Inventor
カオ、ジーシェン
バオ、リンチャオ
パン、ポール
マオ、チェンリン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2018534599A publication Critical patent/JP2018534599A/ja
Application granted granted Critical
Publication of JP6596745B2 publication Critical patent/JP6596745B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/006Apparatus mounted on flying objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2205/00Adjustment of optical system relative to image or object surface other than for focusing
    • G03B2205/0007Movement of one or more optical elements for control of motion blur
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Focusing (AREA)

Abstract

カメラパラメータを設定するシステム、方法、及び装置が提供される。一態様では、移動体により支持された撮像装置を使用して対象物体を撮像するシステムは、移動体の動作情報を検出するように構成された1つ又は複数のセンサと、1つ又は複数のセンサから移動体の動作情報を受信し、動作情報に基づき移動体と対象物体との空間的関係の変化を判断し、移動体と対象物体との空間的関係の判断された変化に基づき、撮像装置が対象物体上に合焦されるように撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサとを含む。

Description

多種多様の民間、商業及び軍事用途の監視、偵察及び探査タスクを行うための無人航空機(UAV:unmanned aerial vehicle)などの無人機が使用され得る。UAVは遠隔ユーザにより手動で制御され得る、又は半自律的又は完全自律的やり方で動作し得る。このようなUAVは、対象物体の画像データを取得するカメラなどの撮像装置を支持するために使用され得る。
UAVにより支持される撮像装置のパラメータを設定するための従来の手法は幾つかの例では最適ではないかもしれない。例えば、撮像装置を合焦させる従来の方法はUAVが動作中の状況には適応化され得なく、生成画像データの品質を低減し得る。
本開示は、無人航空機(UAV)などの移動体により支持された撮像装置の制御及び操作に関係するシステム、方法及び装置を提供する。幾つかの実施形態では、本明細書で説明するシステム、方法及び装置は、1つ又は複数のセンサを使用することによりUAVの動作を検出し、検出された動作を、撮像装置が対象物体上に合焦されるように、UAVにより支持された撮像装置の1つ又は複数のパラメータを修正するための基準として使用する。有利には、この手法は、UAVが対象物体に対して移動したとしても撮像装置を合焦状態のままにすることができ、したがってUAVにより撮像を行う柔軟性と便利さを強化するだけでなく生成画像データの品質を改善する。
一態様では、移動体により支持された撮像装置を使用して対象物体を撮像するシステムが提供される。このシステムは、移動体の動作情報を検出するように構成された1つ又は複数のセンサと、1つ又は複数のセンサから移動体の動作情報を受信し、動作情報に基づき移動体と対象物体との空間的関係の変化を判断し、撮像装置が対象物体上に合焦されるように、移動体と対象物体との空間的関係の判断された変化に基づき撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサとを含む。
幾つかの実施形態では、移動体は無人航空機である。
幾つかの実施形態では、撮像装置は固定焦点長を含む。
幾つかの実施形態では、撮像装置は可変焦点長を含む。
幾つかの実施形態では、撮像装置は画像センサを含む。
幾つかの実施形態では、1つ又は複数のセンサは移動体により支持される。
幾つかの実施形態では、1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む。
幾つかの実施形態では、1つ又は複数のセンサは複数の異なるセンサタイプを含む。幾つかの実施形態では、1つ又は複数のプロセッサは更に、動作情報を判断するようにセンサフュージョンアルゴリズム(sensor fusion algorithm)を使用して複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される。
幾つかの実施形態では、動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む。
幾つかの実施形態では、移動体と対象物体との空間的関係は移動体と対象物体との間の距離を含む。幾つかの実施形態では、1つ又は複数のプロセッサは更に、移動体と対象物体との間の距離を判断するように構成される。
幾つかの実施形態では、1つ又は複数のパラメータは撮像装置の光学アセンブリの光学中心と撮像装置の画像センサとの間の距離を含む。
幾つかの実施形態では、1つ又は複数のパラメータは撮像装置の焦点長を含む。
幾つかの実施形態では、1つ又は複数のパラメータは撮像装置の視野を維持するように修正される。
幾つかの実施形態では、1つ又は複数のプロセッサは更に、1つ又は複数のパラメータのそれぞれの初期値を受信するように構成される。幾つかの実施形態では、初期値はユーザにより入力される。幾つかの実施形態では、初期値は移動体と通信する遠隔端末を介しユーザにより入力される。幾つかの実施形態では、1つ又は複数のパラメータは焦点を含み、焦点の初期値はオートフォーカス方法を使用して判断される。
幾つかの実施形態では、対象物体は静止している。
幾つかの実施形態では、対象物体は移動している。幾つかの実施形態では、1つ又は複数のプロセッサは更に、移動体に対する対象物体の移動を示す追跡情報を受信するように構成され、空間的関係の変化は追跡情報に基づき判断される。幾つかの実施形態では、追跡情報は対象物体の画像データに基づき生成される。
幾つかの実施形態では、1つ又は複数のプロセッサは更に、1つ又は複数の修正パラメータを有する撮像装置を使用して対象物体の画像データを生成するように構成される。
別の態様では、移動体により支持された撮像装置を使用して対象物体を撮像する方法が提供される。本方法は、1つ又は複数のセンサを使用して移動体の動作情報を検出するステップと、動作情報に基づき且つ1つ又は複数のプロセッサの助けを借りて移動体と対象物体との空間的関係の変化を判断するステップと、撮像装置が対象物体上に合焦されるように、1つ又は複数のプロセッサの助けを借りて、移動体と対象物体との空間的関係の判断された変化に基づき撮像装置の1つ又は複数のパラメータを修正するステップとを含む。
幾つかの実施形態では、移動体は無人航空機である。
幾つかの実施形態では、撮像装置は固定焦点長を含む。
幾つかの実施形態では、撮像装置は可変焦点長を含む。
幾つかの実施形態では、撮像装置は画像センサを含む。
幾つかの実施形態では、1つ又は複数のセンサは移動体により支持される。
幾つかの実施形態では、1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む。
幾つかの実施形態では、1つ又は複数のセンサは複数の異なるセンサタイプを含む。
幾つかの実施形態では、本方法は更に、動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するステップを含む。
幾つかの実施形態では、動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む。
幾つかの実施形態では、移動体と対象物体との空間的関係は移動体と対象物体との間の距離を含む。幾つかの実施形態では、本方法は更に、移動体と対象物体との間の距離を判断するステップを含む。
幾つかの実施形態では、1つ又は複数のパラメータは撮像装置の光学アセンブリの光学中心と撮像装置の画像センサとの間の距離を含む。
幾つかの実施形態では、1つ又は複数のパラメータは撮像装置の焦点長を含む。
幾つかの実施形態では、1つ又は複数のパラメータは撮像装置の視野を維持するように修正される。
幾つかの実施形態では、本方法は1つ又は複数のパラメータのそれぞれの初期値を受信するステップを更に含む。幾つかの実施形態では、初期値はユーザにより入力される。幾つかの実施形態では、初期値は移動体と通信する遠隔端末を介しユーザにより入力される。幾つかの実施形態では、1つ又は複数のパラメータは焦点を含み、焦点の初期値はオートフォーカス方法を使用して判断される。
幾つかの実施形態では、対象物体は静止している。
幾つかの実施形態では、対象物体は移動している。幾つかの実施形態では、本方法は移動体に対する対象物体の移動を示す追跡情報を受信するステップを更に含み、空間的関係の変化は追跡情報に基づき判断される。幾つかの実施形態では、追跡情報は対象物体の画像データに基づき生成される。
幾つかの実施形態では、本方法は1つ又は複数の修正パラメータを有する撮像装置を使用することにより対象物体の画像データを生成するステップを更に含む。
別の態様では、対象物体を撮像するための、移動体により支持された撮像装置が提供される。撮像装置は、移動体上に又はその中に搭載された1つ又は複数のセンサから移動体の動作情報を受信し、動作情報に基づき移動体と対象物体との空間的関係の変化を判断し、移動体と対象物体との空間的関係の判断された変化に基づき、撮像装置が対象物体上に合焦されるように撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサを含む。
幾つかの実施形態では、移動体は無人航空機である。
幾つかの実施形態では、撮像装置は対象物体からの光を収束するように構成された光学アセンブリを更に含む。幾つかの実施形態では、光学アセンブリは固定焦点長を含む。幾つかの実施形態では、光学アセンブリは可変焦点長を含む。
幾つかの実施形態では、撮像装置は対象物体の画像データを生成するように構成された画像センサを更に含む。
幾つかの実施形態では、1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む。
幾つかの実施形態では、1つ又は複数のセンサは複数の異なるセンサタイプを含む。幾つかの実施形態では、1つ又は複数のプロセッサは更に、動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される。
幾つかの実施形態では、動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む。
幾つかの実施形態では、移動体と対象物体との空間的関係は移動体と対象物体との間の距離を含む。幾つかの実施形態では、1つ又は複数のプロセッサは更に、移動体と対象物体との間の距離を判断するように構成される。
幾つかの実施形態では、撮像装置は更に光学アセンブリと画像センサを含み、1つ又は複数のパラメータは光学アセンブリの光学中心と画像センサとの間の距離を含む。
幾つかの実施形態では、撮像装置は対象物体からの光を収束するように構成された光学アセンブリを更に含み、1つ又は複数のパラメータは光学アセンブリの焦点長を含む。
幾つかの実施形態では、撮像装置は視野を有する光学アセンブリを更に含み、1つ又は複数のパラメータは光学アセンブリの視野を維持するように修正される。
幾つかの実施形態では、1つ又は複数のプロセッサは更に、1つ又は複数のパラメータのそれぞれの初期値を受信するように構成される。幾つかの実施形態では、初期値はユーザにより入力される。幾つかの実施形態では、初期値は移動体と通信する遠隔端末を介しユーザにより入力される。幾つかの実施形態では、1つ又は複数のパラメータは焦点を含み、焦点の初期値はオートフォーカス方法を使用して判断される。
幾つかの実施形態では、対象物体は静止している。
幾つかの実施形態では、対象物体は移動している。幾つかの実施形態では、1つ又は複数のプロセッサは更に、移動体に対する対象物体の移動を示す追跡情報を受信するように構成され、空間的関係の変化は追跡情報に基づき判断される。幾つかの実施形態では、追跡情報は対象物体の画像データに基づき生成される。
幾つかの実施形態では、1つ又は複数のプロセッサは更に、1つ又は複数の修正パラメータに従って対象物体の画像データを生成するように構成される。
別の態様では、対象物体を撮像する撮像装置が提供される。撮像装置は、撮像装置の動作情報を検出するように構成された1つ又は複数のセンサと、1つ又は複数のセンサから撮像装置の動作情報を受信し、動作情報に基づき撮像装置と対象物体との空間的関係の変化を判断し、撮像装置が対象物体上に合焦されるように、撮像装置と対象物体との空間的関係の判断された変化に基づき撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサとを含む。
幾つかの実施形態では、撮像装置は移動体により支持される。幾つかの実施形態では、移動体は無人航空機である。
幾つかの実施形態では、撮像装置は対象物体からの光を収束するように構成された光学アセンブリを更に含む。幾つかの実施形態では、光学アセンブリは固定焦点長を含む。幾つかの実施形態では、光学アセンブリは可変焦点長を含む。
幾つかの実施形態では、撮像装置は対象物体の画像データを生成するように構成された画像センサを更に含む。
幾つかの実施形態では、1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む。
幾つかの実施形態では、1つ又は複数のセンサは複数の異なるセンサタイプを含む。幾つかの実施形態では、1つ又は複数のプロセッサは更に、動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される。
幾つかの実施形態では、動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む。
幾つかの実施形態では、撮像装置と対象物体との空間的関係は撮像装置と対象物体との間の距離を含む。幾つかの実施形態では、1つ又は複数のプロセッサは更に、撮像装置と対象物体との間の距離を判断するように構成される。
幾つかの実施形態では、撮像装置は更に光学アセンブリと画像センサを含み、1つ又は複数のパラメータは光学アセンブリの光学中心と画像センサとの間の距離を含む。
幾つかの実施形態では、撮像装置は対象物体からの光を収束するように構成された光学アセンブリを更に含み、1つ又は複数のパラメータは光学アセンブリの焦点長を含む。
幾つかの実施形態では、撮像装置は視野を有する光学アセンブリを更に含み、1つ又は複数のパラメータは光学アセンブリの視野を維持するように修正される。
幾つかの実施形態では、1つ又は複数のプロセッサは更に、1つ又は複数のパラメータのそれぞれの初期値を受信するように構成される。幾つかの実施形態では、初期値はユーザにより入力される。幾つかの実施形態では、初期値は撮像装置と通信する遠隔端末を介しユーザにより入力される。幾つかの実施形態では、1つ又は複数のパラメータは焦点を含み、焦点の初期値はオートフォーカス方法を使用して判断される。
幾つかの実施形態では、対象物体は静止している。
幾つかの実施形態では、対象物体は移動している。幾つかの実施形態では、1つ又は複数のプロセッサは更に、移動体に対する対象物体の移動を示す追跡情報を受信するように構成され、空間的関係の変化は追跡情報に基づき判断される。幾つかの実施形態では、追跡情報は対象物体の画像データに基づき生成される。
幾つかの実施形態では、1つ又は複数のプロセッサは更に、1つ又は複数の修正パラメータに従って対象物体の画像データを生成するように構成される。
別の態様では、移動体により支持された撮像装置を使用して対象物体を撮像するシステムが提供される。このシステムは、移動体の動作情報を検出するように構成された1つ又は複数のセンサと、1つ又は複数のセンサから移動体の動作情報を受信し、動作情報に基づき移動体の空間的配置の変化を判断し、撮像装置が対象物体上に合焦されるように、移動体の空間的配置の判断された変化に基づき撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサとを含む。
幾つかの実施形態では、移動体は無人航空機である。
幾つかの実施形態では、撮像装置は固定焦点長を含む。
幾つかの実施形態では、撮像装置は可変焦点長を含む。
幾つかの実施形態では、撮像装置は画像センサを含む。
幾つかの実施形態では、1つ又は複数のセンサは移動体により支持される。
幾つかの実施形態では、1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む。
幾つかの実施形態では、1つ又は複数のセンサは複数の異なるセンサタイプを含む。幾つかの実施形態では、1つ又は複数のプロセッサは更に、動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される。
幾つかの実施形態では、動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む。
幾つかの実施形態では、空間的配置は3つの自由度に関する移動体の位置と、3つの自由度に関する移動体の配向とを含む。
幾つかの実施形態では、空間的配置は移動体の経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数を含む。
幾つかの実施形態では、1つ又は複数のパラメータは撮像装置の光学アセンブリの光学中心と撮像装置の画像センサとの間の距離を含む。
幾つかの実施形態では、1つ又は複数のパラメータは撮像装置の焦点長を含む。
幾つかの実施形態では、1つ又は複数のパラメータは撮像装置の視野を維持するように修正される。
幾つかの実施形態では、1つ又は複数のプロセッサは更に、1つ又は複数のパラメータのそれぞれの初期値を受信するように構成される。幾つかの実施形態では、初期値はユーザにより入力される。幾つかの実施形態では、初期値は移動体と通信する遠隔端末を介しユーザにより入力される。幾つかの実施形態では、1つ又は複数のパラメータは焦点を含み、焦点の初期値はオートフォーカス方法を使用して判断される。
幾つかの実施形態では、対象物体は静止している。
幾つかの実施形態では、対象物体は移動している。幾つかの実施形態では、1つ又は複数のプロセッサは更に、移動体に対する対象物体の移動を示す追跡情報を受信するように構成され、1つ又は複数のパラメータは追跡情報に基づき修正される。幾つかの実施形態では、追跡情報は対象物体の画像データに基づき生成される。
幾つかの実施形態では、1つ又は複数のプロセッサは更に、1つ又は複数の修正パラメータを有する撮像装置を使用して対象物体の画像データを生成するように構成される。
別の態様では、移動体により支持された撮像装置を使用して対象物体を撮像する方法が提供される。本方法は、1つ又は複数のセンサを使用して移動体の動作情報を検出するステップと、動作情報に基づき且つ1つ又は複数のプロセッサの助けを借りて移動体と対象物体との空間的関係の変化を判断するステップと、撮像装置が対象物体上に合焦されるように、1つ又は複数のプロセッサの助けを借りて、移動体と対象物体との空間的関係の判断された変化に基づき撮像装置の1つ又は複数のパラメータを修正するステップとを含む。
幾つかの実施形態では、移動体は無人航空機である。
幾つかの実施形態では、撮像装置は固定焦点長を含む。
幾つかの実施形態では、撮像装置は可変焦点長を含む。
幾つかの実施形態では、撮像装置は画像センサを含む。
幾つかの実施形態では、1つ又は複数のセンサは移動体により支持される。
幾つかの実施形態では、1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む。
幾つかの実施形態では、1つ又は複数のセンサは複数の異なるセンサタイプを含む。幾つかの実施形態では、本方法は更に、動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するステップを含む。
幾つかの実施形態では、動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む。
幾つかの実施形態では、空間的配置は3つの自由度に関する移動体の位置と、3つの自由度に関する移動体の配向とを含む。
幾つかの実施形態では、空間的配置は移動体の経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数を含む。
幾つかの実施形態では、1つ又は複数のパラメータは撮像装置の光学アセンブリの光学中心と撮像装置の画像センサとの間の距離を含む。
幾つかの実施形態では、1つ又は複数のパラメータは撮像装置の焦点長を含む。
幾つかの実施形態では、1つ又は複数のパラメータは撮像装置の視野を維持するように修正される。
幾つかの実施形態では、本方法は1つ又は複数のパラメータのそれぞれの初期値を受信するステップを更に含む。幾つかの実施形態では、初期値はユーザにより入力される。幾つかの実施形態では、初期値は移動体と通信する遠隔端末を介しユーザにより入力される。幾つかの実施形態では、1つ又は複数のパラメータは焦点を含み、焦点の初期値はオートフォーカス方法を使用して判断される。
幾つかの実施形態では、対象物体は静止している。
幾つかの実施形態では、対象物体は移動している。幾つかの実施形態では、本方法は移動体に対する対象物体の移動を示す追跡情報を受信するステップを更に含み、1つ又は複数のパラメータは追跡情報に基づき修正される。幾つかの実施形態では、追跡情報は対象物体の画像データに基づき生成される。
幾つかの実施形態では、本方法は1つ又は複数の修正パラメータを有する撮像装置を使用することにより対象物体の画像データを生成するステップを更に含む。
別の態様では、対象物体を撮像するための、移動体により支持された撮像装置が提供される。撮像装置は、移動体上に又はその中に搭載された1つ又は複数のセンサから移動体の動作情報を受信し、動作情報に基づき移動体と対象物体との空間的関係の変化を判断し、移動体と対象物体との空間的関係の判断された変化に基づき、撮像装置が対象物体上に合焦されるように撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサを含む。
幾つかの実施形態では、移動体は無人航空機である。
幾つかの実施形態では、撮像装置は対象物体からの光を収束するように構成された光学アセンブリを更に含む。幾つかの実施形態では、光学アセンブリは固定焦点長を含む。幾つかの実施形態では、光学アセンブリは可変焦点長を含む。
幾つかの実施形態では、撮像装置は対象物体の画像データを生成するように構成された画像センサを更に含む。
幾つかの実施形態では、1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む。
幾つかの実施形態では、1つ又は複数のセンサは複数の異なるセンサタイプを含む。幾つかの実施形態では、1つ又は複数のプロセッサは更に、動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される。
幾つかの実施形態では、動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む。
幾つかの実施形態では、空間的配置は3つの自由度に関する移動体の位置と、3つの自由度に関する移動体の配向とを含む。
幾つかの実施形態では、空間的配置は移動体の経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数を含む。
幾つかの実施形態では、撮像装置は更に光学アセンブリと画像センサを含み、1つ又は複数のパラメータは撮像装置の光学アセンブリの光学中心と撮像装置の画像センサとの間の距離を含む。
幾つかの実施形態では、撮像装置は対象物体からの光を収束するように構成された光学アセンブリを更に含み、1つ又は複数のパラメータは光学アセンブリの焦点長を含む。
幾つかの実施形態では、撮像装置は視野を有する光学アセンブリを更に含み、1つ又は複数のパラメータは光学アセンブリの視野を維持するように修正される。
幾つかの実施形態では、1つ又は複数のプロセッサは更に、1つ又は複数のパラメータのそれぞれの初期値を受信するように構成される。幾つかの実施形態では、初期値はユーザにより入力される。幾つかの実施形態では、初期値は移動体と通信する遠隔端末を介しユーザにより入力される。幾つかの実施形態では、1つ又は複数のパラメータは焦点を含み、焦点の初期値はオートフォーカス方法を使用して判断される。
幾つかの実施形態では、対象物体は静止している。
幾つかの実施形態では、対象物体は移動している。幾つかの実施形態では、1つ又は複数のプロセッサは更に、移動体に対する対象物体の移動を示す追跡情報を受信するように構成され、1つ又は複数のパラメータは追跡情報に基づき修正される。幾つかの実施形態では、追跡情報は対象物体の画像データに基づき生成される。
幾つかの実施形態では、1つ又は複数のプロセッサは更に、1つ又は複数の修正パラメータに従って対象物体の画像データを生成するように構成される。
別の態様では、対象物体を撮像する撮像装置が提供される。撮像装置は、撮像装置の動作情報を検出するように構成された1つ又は複数のセンサと、1つ又は複数のセンサから撮像装置の動作情報を受信し、動作情報に基づき撮像装置と対象物体との空間的関係の変化を判断し、撮像装置が対象物体上に合焦されるように、撮像装置と対象物体との空間的関係の判断された変化に基づき撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサとを含む。
幾つかの実施形態では、撮像装置は移動体により支持される。幾つかの実施形態では、移動体は無人航空機である。
幾つかの実施形態では、撮像装置は対象物体からの光を収束するように構成された光学アセンブリを更に含む。幾つかの実施形態では、光学アセンブリは固定焦点長を含む。幾つかの実施形態では、光学アセンブリは可変焦点長を含む。
幾つかの実施形態では、撮像装置は対象物体の画像データを生成するように構成された画像センサを更に含む。
幾つかの実施形態では、1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む。
幾つかの実施形態では、1つ又は複数のセンサは複数の異なるセンサタイプを含む。幾つかの実施形態では、1つ又は複数のプロセッサは更に、動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される。
幾つかの実施形態では、動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む。
幾つかの実施形態では、空間的配置は3つの自由度に関する撮像装置の位置と、3つの自由度に関する撮像装置の配向とを含む。
幾つかの実施形態では、空間的配置は移動体の経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数を含む。
幾つかの実施形態では、撮像装置は更に光学アセンブリと画像センサを含み、1つ又は複数のパラメータは光学アセンブリの光学中心と画像センサとの間の距離を含む。
幾つかの実施形態では、撮像装置は対象物体からの光を収束するように構成された光学アセンブリを更に含み、1つ又は複数のパラメータは光学アセンブリの焦点長を含む。
幾つかの実施形態では、撮像装置は視野を有する光学アセンブリを更に含み、1つ又は複数のパラメータは光学アセンブリの視野を維持するように修正される。
幾つかの実施形態では、1つ又は複数のプロセッサは更に、1つ又は複数のパラメータのそれぞれの初期値を受信するように構成される。幾つかの実施形態では、初期値はユーザにより入力される。幾つかの実施形態では、初期値は撮像装置と通信する遠隔端末を介しユーザにより入力される。幾つかの実施形態では、1つ又は複数のパラメータは焦点を含み、焦点の初期値はオートフォーカス方法を使用して判断される。
幾つかの実施形態では、対象物体は静止している。
幾つかの実施形態では、対象物体は移動している。幾つかの実施形態では、1つ又は複数のプロセッサは更に、移動体に対する対象物体の移動を示す追跡情報を受信するように構成され、1つ又は複数のパラメータは追跡情報に基づき修正される。幾つかの実施形態では、追跡情報は対象物体の画像データに基づき生成される。
幾つかの実施形態では、1つ又は複数のプロセッサは更に、1つ又は複数の修正パラメータに従って対象物体の画像データを生成するように構成される。
別の態様では、移動体により支持された撮像装置を使用して対象物体を撮像するシステムが提供される。このシステムは、移動体の動作を検出するように構成された1つ又は複数のセンサと、移動体が第1の空間的配置である場合に撮像装置が対象物体上に合焦されるように撮像装置の1つ又は複数のパラメータを設定し、1つ又は複数のセンサを使用して第1の空間的配置から第2の空間的配置への移動体の移動を検出し、移動体が第2の空間的配置である場合撮像装置が対象物体上に合焦されるように、検出された移動に応じて撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサとを含む。
幾つかの実施形態では、移動体は無人航空機である。
幾つかの実施形態では、撮像装置は固定焦点長を含む。
幾つかの実施形態では、撮像装置は可変焦点長を含む。
幾つかの実施形態では、撮像装置は画像センサを含む。
幾つかの実施形態では、1つ又は複数のセンサは移動体により支持される。
幾つかの実施形態では、1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む。
幾つかの実施形態では、1つ又は複数のセンサは複数の異なるセンサタイプを含む。幾つかの実施形態では、1つ又は複数のプロセッサは更に、移動を検出するようにセンサフュージョンアルゴリズムを使用して、複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される。
幾つかの実施形態では、第2の空間的配置は1つ又は複数の位置又は配向に関し第1の空間的配置とは異なる。
幾つかの実施形態では、第2の空間的配置は経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数に関し第1の空間的配置とは異なる。
幾つかの実施形態では、1つ又は複数のパラメータは撮像装置の光学アセンブリの光学中心と撮像装置の画像センサとの間の距離を含む。
幾つかの実施形態では、1つ又は複数のパラメータは撮像装置の焦点長を含む。
幾つかの実施形態では、1つ又は複数のパラメータは撮像装置の視野を維持するように修正される。
幾つかの実施形態では、修正ステップは、検出された動作に基づき1つ又は複数のパラメータの修正を判断するステップを含む。幾つかの実施形態では、修正は対象物体を撮像すること無く判断される。幾つかの実施形態では、修正は撮像装置の焦点を変更すること無く判断される。幾つかの実施形態では、修正はユーザからの入力を利用すること無く判断される。
幾つかの実施形態では、設定ステップは1つ又は複数のパラメータのそれぞれの初期値を受信するステップを含む。幾つかの実施形態では、初期値はユーザにより入力される。幾つかの実施形態では、初期値は移動体と通信する遠隔端末を介しユーザにより入力される。
幾つかの実施形態では、設定ステップは、撮像装置を対象物体上に合焦させるためにオートフォーカス方法を使用するステップを含む。
幾つかの実施形態では、対象物体は静止している。
幾つかの実施形態では、対象物体は移動している。幾つかの実施形態では、1つ又は複数のプロセッサは更に、移動体に対する対象物体の移動を示す追跡情報を受信するように構成され、空間的関係の変化は追跡情報に基づき判断される。幾つかの実施形態では、追跡情報は対象物体の画像データに基づき生成される。
幾つかの実施形態では、1つ又は複数のプロセッサは更に、1つ又は複数の修正パラメータを有する撮像装置を使用して対象物体の画像データを生成するように構成される。
別の態様では、移動体により支持された撮像装置を使用して対象物体を撮像する方法は、移動体が第1の空間的配置である場合に撮像装置が対象物体上に合焦されるように撮像装置の1つ又は複数のパラメータを1つ又は複数のプロセッサの助けを借りて設定するステップと、1つ又は複数のセンサを使用して第1の空間的配置から第2の空間的配置への移動体の移動を検出するステップと、移動体が第2の空間的配置である場合撮像装置が対象物体上に合焦されるように、検出された移動に応じて撮像装置の1つ又は複数のパラメータを1つ又は複数のプロセッサの助けを借りて修正するステップとを含む。
幾つかの実施形態では、移動体は無人航空機である。
幾つかの実施形態では、撮像装置は固定焦点長を含む。
幾つかの実施形態では、撮像装置は可変焦点長を含む。
幾つかの実施形態では、撮像装置は画像センサを含む。
幾つかの実施形態では、1つ又は複数のセンサは移動体により支持される。
幾つかの実施形態では、1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む。
幾つかの実施形態では、1つ又は複数のセンサは複数の異なるセンサタイプを含む。幾つかの実施形態では、本方法は更に、移動を検出するようにセンサフュージョンアルゴリズムを使用して、複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するステップを含む。
幾つかの実施形態では、第2の空間的配置は1つ又は複数の位置又は配向に関し第1の空間的配置とは異なる。
幾つかの実施形態では、第2の空間的配置は経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数に関し第1の空間的配置とは異なる。
幾つかの実施形態では、1つ又は複数のパラメータは撮像装置の光学アセンブリの光学中心と撮像装置の画像センサとの間の距離を含む。
幾つかの実施形態では、1つ又は複数のパラメータは撮像装置の焦点長を含む。
幾つかの実施形態では、1つ又は複数のパラメータは撮像装置の視野を維持するように修正される。
幾つかの実施形態では、1つ又は複数のパラメータを修正するステップは、検出された動作に基づき1つ又は複数のパラメータの修正を判断するステップを含む。幾つかの実施形態では、修正は対象物体を撮像すること無く判断される。幾つかの実施形態では、修正は撮像装置の焦点を変更すること無く判断される。幾つかの実施形態では、修正はユーザからの入力を利用すること無く判断される。
幾つかの実施形態では、1つ又は複数のパラメータを設定するステップは1つ又は複数のパラメータのそれぞれの初期値を受信するステップを含む。幾つかの実施形態では、初期値はユーザにより入力される。幾つかの実施形態では、初期値は移動体と通信する遠隔端末を介しユーザにより入力される。
幾つかの実施形態では、1つ又は複数のパラメータを設定するステップは、撮像装置を対象物体上に合焦させるためにオートフォーカス方法を使用するステップを含む。
幾つかの実施形態では、対象物体は静止している。
幾つかの実施形態では、対象物体は移動している。幾つかの実施形態では、本方法は移動体に対する対象物体の移動を示す追跡情報を受信するステップを更に含み、空間的関係の変化は追跡情報に基づき判断される。幾つかの実施形態では、追跡情報は対象物体の画像データに基づき生成される。
幾つかの実施形態では、本方法は1つ又は複数の修正パラメータを有する撮像装置を使用することにより対象物体の画像データを生成するステップを更に含む。
別の態様では、対象物体を撮像するための、移動体により支持された撮像装置が提供される。撮像装置は、移動体が第1の空間的配置である場合に撮像装置が対象物体上に合焦されるように撮像装置の1つ又は複数のパラメータを設定し、1つ又は複数のセンサを使用して第1の空間的配置から第2の空間的配置への移動体の移動を検出し、移動体が第2の空間的配置である場合に撮像装置が対象物体上に合焦されるように、検出された移動に応じて撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサを含む。
幾つかの実施形態では、移動体は無人航空機である。
幾つかの実施形態では、撮像装置は対象物体からの光を収束するように構成された光学アセンブリを更に含む。幾つかの実施形態では、光学アセンブリは固定焦点長を含む。幾つかの実施形態では、光学アセンブリは可変焦点長を含む。
幾つかの実施形態では、撮像装置は対象物体の画像データを生成するように構成された画像センサを更に含む。
幾つかの実施形態では、1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む。
幾つかの実施形態では、1つ又は複数のセンサは複数の異なるセンサタイプを含む。幾つかの実施形態では、1つ又は複数のプロセッサは更に、移動を検出するようにセンサフュージョンアルゴリズムを使用して、複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される。
幾つかの実施形態では、第2の空間的配置は1つ又は複数の位置又は配向に関し第1の空間的配置とは異なる。
幾つかの実施形態では、第2の空間的配置は経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数に関し第1の空間的配置とは異なる。
幾つかの実施形態では、撮像装置は更に光学アセンブリと画像センサを含み、1つ又は複数のパラメータは光学アセンブリの光学中心と画像センサとの間の距離を含む。
幾つかの実施形態では、撮像装置は対象物体からの光を収束するように構成された光学アセンブリを更に含み、1つ又は複数のパラメータは光学アセンブリの焦点長を含む。
幾つかの実施形態では、撮像装置は視野を有する光学アセンブリを更に含み、1つ又は複数のパラメータは光学アセンブリの視野を維持するように修正される。
幾つかの実施形態では、修正ステップは、検出された動作に基づき1つ又は複数のパラメータの修正を判断するステップを含む。幾つかの実施形態では、修正は対象物体を撮像すること無く判断される。幾つかの実施形態では、修正は撮像装置の焦点を変更すること無く判断される。幾つかの実施形態では、修正はユーザからの入力を利用すること無く判断される。
幾つかの実施形態では、設定ステップは1つ又は複数のパラメータのそれぞれの初期値を受信するステップを含む。幾つかの実施形態では、初期値はユーザにより入力される。幾つかの実施形態では、初期値は移動体と通信する遠隔端末を介しユーザにより入力される。
幾つかの実施形態では、設定ステップは、撮像装置を対象物体上に合焦させるためにオートフォーカス方法を使用するステップを含む。
幾つかの実施形態では、対象物体は静止している。
幾つかの実施形態では、対象物体は移動している。
幾つかの実施形態では、1つ又は複数のプロセッサは更に、移動体に対する対象物体の移動を示す追跡情報を受信するように構成され、1つ又は複数のパラメータは追跡情報に基づき修正される。幾つかの実施形態では、追跡情報は対象物体の画像データに基づき生成される。
幾つかの実施形態では、1つ又は複数のプロセッサは更に、1つ又は複数の修正パラメータに従って対象物体の画像データを生成するように構成される。
別の態様では、対象物体を撮像する撮像装置が提供される。撮像装置は、撮像装置の動作情報を検出するように構成された1つ又は複数のセンサと、撮像装置が第1の空間的配置である場合に撮像装置が対象物体上に合焦されるように撮像装置の1つ又は複数のパラメータを設定し、1つ又は複数のセンサを使用して第1の空間的配置から第2の空間的配置への撮像装置体の移動を検出し、撮像装置が第2の空間的配置である場合撮像装置が対象物体上に合焦されるように、検出された移動に応じて撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサとを含む。
幾つかの実施形態では、撮像装置は移動体により支持される。幾つかの実施形態では、移動体は無人航空機である。
幾つかの実施形態では、撮像装置は対象物体からの光を収束するように構成された光学アセンブリを更に含む。幾つかの実施形態では、光学アセンブリは固定焦点長を含む。幾つかの実施形態では、光学アセンブリは可変焦点長を含む。
幾つかの実施形態では、撮像装置は対象物体の画像データを生成するように構成された画像センサを更に含む。
幾つかの実施形態では、1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む。
幾つかの実施形態では、1つ又は複数のセンサは複数の異なるセンサタイプを含む。幾つかの実施形態では、1つ又は複数のプロセッサは更に、移動を検出するようにセンサフュージョンアルゴリズムを使用して、複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される。
幾つかの実施形態では、第2の空間的配置は1つ又は複数の位置又は配向に関し第1の空間的配置とは異なる。
幾つかの実施形態では、第2の空間的配置は経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数に関し第1の空間的配置とは異なる。
幾つかの実施形態では、撮像装置は更に光学アセンブリと画像センサを含み、1つ又は複数のパラメータは光学アセンブリの光学中心と画像センサとの間の距離を含む。
幾つかの実施形態では、撮像装置は対象物体からの光を収束するように構成された光学アセンブリを更に含み、1つ又は複数のパラメータは光学アセンブリの焦点長を含む。
幾つかの実施形態では、撮像装置は視野を有する光学アセンブリを更に含み、1つ又は複数のパラメータは光学アセンブリの視野を維持するように修正される。
幾つかの実施形態では、修正ステップは、検出された動作に基づき1つ又は複数のパラメータの修正を判断するステップを含む。幾つかの実施形態では、修正は対象物体を撮像すること無く判断される。幾つかの実施形態では、修正は撮像装置の焦点を変更すること無く判断される。幾つかの実施形態では、修正はユーザからの入力を利用すること無く判断される。
幾つかの実施形態では、設定ステップは1つ又は複数のパラメータのそれぞれの初期値を受信するステップを含む。幾つかの実施形態では、初期値はユーザにより入力される。幾つかの実施形態では、初期値は移動体と通信する遠隔端末を介しユーザにより入力される。
幾つかの実施形態では、設定ステップは、撮像装置を対象物体上に合焦させるためにオートフォーカス方法を使用するステップを含む。
幾つかの実施形態では、対象物体は静止している。
幾つかの実施形態では、対象物体は移動している。幾つかの実施形態では、1つ又は複数のプロセッサは更に、撮像装置に対する対象物体の移動を示す追跡情報を受信するように構成され、1つ又は複数のパラメータは追跡情報に基づき修正される。幾つかの実施形態では、追跡情報は対象物体の画像データに基づき生成される。
幾つかの実施形態では、1つ又は複数のプロセッサは更に、1つ又は複数の修正パラメータに従って対象物体の画像データを生成するように構成される。
本発明の他の目的と特徴は、本明細書、特許請求の範囲、添付図面の精査により明白になる。
参照による援用
本明細書で述べられる全ての刊行物、特許、及び特許出願は、個々の刊行物、特許、又は特許出願が参照により援用されるように具体的かつ個々に示されたと同程度に、参照により本明細書に援用される。
本発明の新規な特徴は添付の特許請求の範囲における特殊性によって記載される。本発明の特徴及び利点のさらなる理解は、本発明の原理が利用される例示的な実施形態を記載する以下の詳細説明と添付図面とを参照することにより得られる。
幾つかの実施形態による光学アセンブリの単純化モデルを示す。 幾つかの実施形態による、移動体により支持された撮像装置による対象物体の撮像を概略的に示す。 幾つかの実施形態による、移動体により支持された撮像装置を使用して対象物体を撮像する方法を示す。 幾つかの実施形態による、物体距離の変化を計算するための単純化モデルを示す。 幾つかの実施形態による、焦点長と像距離の変化を計算するための単純化モデルを示す。 幾つかの実施形態による、移動体により支持された撮像装置を使用して対象物体を撮像する方法を示す。 幾つかの実施形態による、対象物体を撮像するシステムを概略的に示す。 幾つかの実施形態による、対象物体を撮像するシステムを概略的に示す。 幾つかの実施形態による、対象物体を撮像するシステムを概略的に示す。 幾つかの実施形態によるUAVを示す。 幾つかの実施形態による、支持機構と搭載物とを含む移動体を示す。 幾つかの実施形態による、移動体を制御するシステムを示す。
本開示のシステム、方法及び装置は、無人航空機(UAV)などの移動体により支持された撮像装置の操作を改善するために使用され得る。幾つかの実施形態では、本明細書において提供されるシステム、方法及び装置は、撮像装置を対象物体上に合焦させるために、移動体の動作を示すセンサデータを利用して撮像装置の1つ又は複数のパラメータに対する修正を判断する。本開示の実施形態は、移動体が動作中でも対象物体の鮮明な像が生成されるように、撮像装置が動的かつ自動的に合焦され得るようにする。本明細書で説明するシステム、方法及び装置は、UAV及び他のタイプの移動体により支持された撮像装置を使用して取得された画像データの品質及び精度を改善するために使用され得る。
例えば、幾つかの実施形態では、UAV上に搭載されたカメラは地上の対象物体の写真及び/又は映像を撮るために使用される。カメラは、UAVがほぼ静止(例えば、地上で静止、又は適所に空中静止)している間に対象物体上に当初合焦される。次に、UAVは空中に飛ばされ(例えば、所定の飛行経路に従って又はユーザにより手動制御されて)、したがってカメラと対象物体との空間的関係は変化する。UAVは、UAVの動作を示すデータを提供する慣性センサ及びGPSセンサを含み得、この動作情報は、カメラがUAVの飛行中に対象物体上に合焦されたままとなるように、カメラの焦点合わせを更新するために使用され得る。
本開示のシステム、方法及び装置は様々な種類の対象物体を撮像するために使用され得る。対象物体は、地理的特徴(例えば、山脈、植物、谷、湖、河川など)、建物(例えば、住居用建物、商業用建物、工業用建物、政府建物など)、車両(例えば、航空機、船、自動車、トラック、バス、バン型車、オートバイなど)などの任意の自然又は人為物又は構造を含み得る。対象物体はまた、人又は動物など生きた対象物を含み得る。対象物体は、地上、空中、宇宙空間、水上、水中、地下、室内環境及び/又は室外環境に内に位置し得る。幾つかの実施形態では、対象物体は、複数の物体、単一物体、又は物体の一部(例えば、物体の表面)を包含し得る。対象物体は、1つ又は複数の点、1つ又は複数の領域、1つ又は複数の容積、又はそれらの組み合わせを含み得る。対象物体は撮像装置に対して移動していてもよいし静止していてもよい。幾つかの実施形態では、対象物体は、例えば撮像装置と通信する遠隔端末又は他のコントローラのユーザインターフェースを介しユーザにより選択される。代替的に、対象物体は自動的に選択され得る(例えば、1つ又は複数のプロセッサが、対象物体を識別及び/又は追跡するためにマシンビジョン(machine vision)ベースアルゴリズムを実施することにより)。
対象物体は撮像装置により撮像され得る。カメラ、スキャナなどを含む様々な種類の撮像装置が、本明細書で提示される実施形態と共に使用され得る。撮像装置は、電磁放射線(例えば、可視光、赤外光及び/又は紫外光)を検出し、検出された電磁放射線に基づき画像データを生成するように構成され得る。例えば、撮像装置は、電荷結合素子(CCD:charge−coupled device)センサ、相補型金属酸化膜半導体(CMOS:complementary metal−oxide−semiconductor)センサなど光の波長に応じて電気信号を生成する画像センサを含み得る。幾つかの実施形態では、画像センサは、それぞれが検出光に応じてそれぞれの電気信号を生成するように構成された個々のセンサ素子のアレイを含む。その結果の電気信号は画像データを生成するために処理され得る。撮像装置により生成される画像データは、静止画像(例えば、写真)、動画像(例えば、映像)、又は好適なそれらの組み合わせであり得る1つ又は複数の画像を含み得る。画像データは多色(例えば、RGB、CMYK、HSV)又は単色(例えば、グレイスケール、白黒、セピア)であり得る。
幾つかの実施形態では、撮像装置は、対象物体から光を受けるとともに受けた光を画像センサ上へ収束するように構成された光学アセンブリを含む。光学アセンブリは、1つ又は複数のレンズ(例えば、凸及び/又は凹レンズ)、シャッタ、絞り、ミラーなど1つ又は複数の光学部品を含み得る。光学アセンブリの光学部品は全て同じ光軸に沿って位置合わせされ得る。代替的に、光学アセンブリの光学部品の一部又は全ては同じ光軸に沿って位置合わせされなくてもよい。幾つかの実施形態では、光学アセンブリは複数のレンズを含み、レンズのそれぞれは異なる光学特徴(例えば、異なる焦点長)を有し得る、又はレンズの一部又は全ては同じ光学特徴(例えば、同じ焦点長)を有し得る。光学部品の構成は、光学アセンブリの光学特徴を判断し得、ひいては、焦点長(例えば、最大焦点長、最小焦点長)、絞りサイズ(例えば、最大絞りサイズ)、焦点範囲(例えば、最小焦点距離)など撮像装置全体の光学特徴を判断する。幾つかの実施形態では、光学アセンブリの1つ又は複数の光学特徴は可変焦点長であり得、例えばズームレンズのように可変であり得る。幾つかの実施形態では、光学アセンブリの1つ又は複数の光学特徴は固定であり得、例えば常用レンズのように固定焦点長を有し得る。
幾つかの実施形態では、光学アセンブリは撮像装置へ着脱可能に結合される別個の部品として設けられる。例えば、撮像装置は画像センサを含むカメラ本体を含み得、光学アセンブリはレンズマウント又は他の結合インターフェースを介しカメラ本体に結合されるカメラレンズアセンブリであり得る。このような実施形態では、撮像装置の光学特徴を変更するために様々な光学アセンブリが撮像装置と交換可能に使用され得る。代替的に、光学アセンブリは、撮像装置に恒久的に固定され得る、又は単独一体部品として撮像装置と一体的に形成され得(例えば、内蔵ズーム又は常用レンズを有するカメラ)、したがって光学アセンブリは、装置を損傷又は破壊すること無く取り外すことはできない。
図1は、幾つかの実施形態による光学アセンブリ100の単純化モデルを示す。光学アセンブリ100は主軸104及び光軸106を有する単レンズ102を含む。光学アセンブリにより撮像される対象物体108は、光軸106に沿ってレンズ102から距離(本明細書では「物体距離」とも呼ばれる)uだけ離れている。物体108を起源とする例示的な光線110a、110bがレンズ102の反対側に画像112を形成するようにレンズ102により収束される。画像112は光軸106に沿ってレンズ102から距離(本明細書では「像距離」とも呼ぶ)vだけ離れている。物体108上の点は1対1の関係で画像112上の点に対応する。物体距離uが変更されれば、像距離vはそれに応じて変化する。無限遠の物体に対応する像点は「焦点」と呼ばれ、光軸106に沿った焦点とレンズ102間の距離fは「焦点長」と呼ばれる。物体距離u、像距離v、焦点長fは次式を満足する。
描写された実施形態は単レンズを有する光学アセンブリ100を例示するが、当業者は、本明細書で説明する原理がまた、複数のレンズを有するより複雑な光学アセンブリに適用され得るということを認識する。例えば、光学アセンブリは、単レンズとして働くと考えられ得る複数のレンズを含み得、このようなアセンブリの物体距離u、像距離v、焦点長fは複数のレンズの実効光学中心に対して定義され得る。幾つかの実施形態では、単レンズの光学中心はレンズの幾何学的中心であり、一方、複数のレンズの光学中心は光学アセンブリに入射する全ての光線が通過する理論的位置である。
幾つかの実施形態では、撮像装置は、当該像距離vが画像センサの位置に一致すると物体距離uに位置する対象物体上に合焦されたと考えられる。任意選択的に、撮像装置は像距離が画像センサ位置に十分に近い場合に対象物体上に合焦したと考えられ得、したがって対象物体の生成画像は人間の眼に焦点が合ったように見える。例えば、対象物体の各像点の錯乱円の大きさは、錯乱円直径限界(人間の眼により点として感知される最大ぼやけ点)以下であり得る。図1の実施形態を再び参照すると、画像センサは、対象物体108の合焦画像を生成するために光軸106に沿った画像112の位置に又はその近くに配置され得る。合焦した画像の部分は合焦していない画像の部分より明瞭かつ鮮明であり得る。画像の一部が人間の眼に焦点が合ったように見えれば画像の一部は合焦したと考えられ、画像の一部が人間の眼に焦点が合っていないように見えれば画像の一部は合焦していないと考えられ得る。
撮像装置は、光学アセンブリの構成を調整することにより様々な距離における物体上に合焦され得る。撮像装置を特定の標的上に合焦させるために、様々な機構が使用され光学構成を調整し得る。例えば、撮像装置の焦点は、光学アセンブリの実効光学中心と撮像装置の画像センサとの間の距離を(例えば、光軸に沿った前方又は後方へ)変更することによりシフトされ得る(例えば、撮像装置のより近くに、又はそれからより遠くに)。幾つかの実施形態では、光学アセンブリは合焦光学系として働く1つ又は複数のレンズを含み、光学中心と画像センサとの間の距離は、光軸に沿った合焦光学系のレンズの一部又は全てを移動することにより変更され得る(例えば、モータ、圧電素子、又は他の好適なアクチュエータを使用することにより)。代替的に、合焦光学系は、光軸に沿った移動無しに距離が変更され得るようにする1つ又は複数の可変焦点レンズを含み得る。合焦光学系は内焦式光学系であり得、したがって合焦手順は光学アセンブリの最も外側のレンズの位置を変更しない。
対象物体上への撮像装置の合焦は様々なやり方で行われ得る。幾つかの実施形態では、オートフォーカス方法が使用される。オートフォーカス方法は、ユーザからの入力を利用すること無く撮像装置の焦点を判断するために1つ又は複数のプロセッサを利用し得る。オートフォーカス方法は、正しい焦点を判断するために、撮像装置から対象物体までの距離を測定するために別個のセンサ(例えば、超音波センサ、赤外線センサ)を利用する能動オートフォーカス方法であり得る。代替的に、オートフォーカス方法は、正しい焦点を判断するために、撮像装置により取得された対象物体の画像データを利用する受動オートフォーカス方法であり得る。例えば、コントラスト検出オートフォーカスは、一定範囲の距離にわたって焦点を変更し、そして画像データ内の最大コントラスト値を生ずる光学構成を選択する。別の例として、位相検出オートフォーカスは、入力光を2つの別々のセンサ上に向けられる2つのビームに分割し、正しい光学構成を判断するために各センサにより生成された信号間の位相差を利用する。幾つかの実施形態では、2つ以上のオートフォーカス方法を合成するハイブリッドオートフォーカス方法(例えば、能動及び受動方式、位相検出及びコントラスト検出方法)が使用され得る。
本明細書で説明する合焦手順はまた、光学アセンブリの焦点長を変更するステップ(「ズーム機能」)を含んでもよいし含まなくてもよい。合焦はズーミングとは独立に行われ得、逆もまた同様である。幾つかの実施形態では、光学アセンブリは、撮像装置の焦点を変更するために使用される合焦光学系と、撮像装置の焦点長を変更するために使用されるズーム光学系との両方を含み得る。代替的に、光学アセンブリは合焦光学系だけ又はズーム光学系だけを含み得る。
幾つかの実施形態では、対象物体を撮像する撮像装置は移動体により支持される。本開示の撮像装置は、本明細書で更に説明される移動体の1つ又は複数など様々な種類の移動体により支持され得る。撮像装置は、移動体の上、下、側面、又はその中など移動体の任意の好適な部分上に位置し得る。幾つかの撮像装置は、移動体の空間的配置及び/又は動作が撮像装置の空間的配置及び/又は動作に対応するように、移動体へ機械的に結合され得る。撮像装置は固定継手を介し移動体に結合され得、したがって撮像装置は取り付けられる移動体の一部分に対して移動しない。代替的に、撮像装置と移動体との間の結合は移動体に対する撮像装置の移動を許容し得る。結合は恒久的結合であってもよいし非恒久的(例えば、解除可能)結合であってもよい。好適な結合方法は、接着剤、ボンディング、溶着及び/又はファスナ(例えば、ねじ、釘、ピン)を含み得る。任意選択的に、撮像装置は移動体の一部と一体的に形成され得る。更に、撮像装置は、撮像装置により収集されたデータが移動体の様々な機能(例えば、航行、制御、推進、ユーザ又は他の装置との通信など)に使用され得るように、移動体の一部(例えば、処理ユニット、制御システム、データストレージ)と電気的に結合され得る。
任意選択的に、撮像装置は移動体に対する撮像装置の動作を許容する支持機構を介し移動体に取り付けられ得る。支持機構は、ロール軸、ピッチ軸、及び/又はヨー軸に沿った移動体に対する撮像装置の回転を許容するジンバルアセンブリであり得る。加えて、支持機構は、移動体から撮像装置への動力の伝達及び制御信号の送信と、撮像装置から移動体への画像データの送信とを可能にする電気的インターフェースを含み得る。幾つかの実施形態では、制御信号は撮像装置の1つ又は複数のパラメータを制御するために支持機構を介し移動体から撮像装置へ送信される。本開示の実施形態と共に使用されるのに好適な例示的な支持機構の追加の説明につついては、本明細書で更に論述される。
幾つかの実施形態では、撮像装置を支持するために使用される移動体はUAVである。例えば、UAVは小型の(例えば、10kg以下の重量であり、1.5m以下の最大次元を有する)UAVであり得る。UAVは、複数のプロペラにより空中を移動するように推進されるマルチロータ航空機(例えば、クワドロコプター)などの回転翼機であり得る。本明細書で説明するUAVは、完全に自律的に(例えば、車上制御装置などの好適なコンピュータシステムにより)、半自律的に、又は手動で(例えば、人間のユーザにより)動作させられ得る。UAVは、好適なエンティティ(例えば、人間のユーザ又は自律制御システム)から命令を受信し、1つ又は複数の動作を行うことによりこのような命令に応答し得る。例えば、UAVは、地上から離陸する、空中を移動する(例えば、並進の最大3つの自由度と回転の最大3つの自由度とに関し)、標的位置又は一連の標的位置へ移動する、空中静止する、地上に着地するなどのように制御され得る。別の例として、UAVは、特定の速度及び/又は加速度で(例えば、並進の最大3つの自由度と回転の最大3つの自由度とに関し)又は特定の移動経路に沿って移動するように制御され得る。更に、本明細書で説明する部品(例えば、センサ、アクチュエータ、推進装置、搭載物など)など1つ又は複数のUAV部品を制御するために命令が使用され得る。
本明細書の幾つかの実施形態はUAVの文脈で提示されるが、本開示のシステム、方法及び装置は地上車両などの他のタイプの移動体と共に使用するようにされ得るということを理解すべきである。本明細書で提供されるシステム、方法及び装置と共に使用するのに好適な移動体の追加例は、以下に更に詳細に説明される。
本開示のシステム、方法及び装置は、移動体により支持された撮像装置を動作させるための1つ又は複数のパラメータを判断するために使用され得る。このようなパラメータの例としては、限定するものではないが、焦点、焦点長、ズームレベル、絞りサイズ、露光時間、シャッタ速度、レンズ速度、撮像モード、白バランス、ISO、又はフラッシュが挙げられる。撮像装置のパラメータは、焦点、視野、被写界深度、コントラスト、輝度、解像度、鮮明度、雑音レベル、又はこれらの組み合わせなど生成画像データの1つ又は複数の特徴を修正するために調整され得る。例えば、撮像装置を対象物体上に合焦させるために撮像装置の1つ又は複数のパラメータが判断され得る。代替的に又は組み合わせて、所望の視野又はズームレベルで画像データを生成するために1つ又は複数のパラメータが調整され得る。撮像装置のパラメータに対する調整は、手動で、自動的に、又は半自動的に行われ得る。例えば、撮像装置の焦点は、手動で(例えば、ユーザがレンズアセンブリの焦点リングを調整する)、自動的に(例えば、プロセッサがコントラスト検出オートフォーカス、位相検出オートフォーカス、又はハイブリッドオートフォーカスなどのオートフォーカス方法を実施する)、又は半自動的に(例えば、ユーザが標的を選択し、プロセッサが、選択された標的に好適な焦点を自動的に判断する)設定され得る。幾つかのパラメータは、例えば撮像装置の特定の構成に基づき一定範囲の値に制限され得る。例えば、常用レンズを有する撮像装置は単一焦点長に制限され得、一方、ズームレンズを有する撮像装置の焦点長はズームレンズの最小及び最大焦点長により定義された範囲内で可変であり得る。別の例として、撮像装置の焦点は、使用される特定のレンズアセンブリの最小焦点距離により制約され得る。
幾つかの実施形態では、撮像装置のパラメータは、移動体がほぼ静止(例えば、表面に静止、適所に空中静止)している間に判断される。しかし、幾つかの状況では、移動体が動作中(例えば、空中を飛行中)に対象物体の画像を生成することが望ましい又は必要であるかもしれない。移動体は、併進方向、回転方向、又はそれらの組み合せ方向に移動し得る。移動量、方向、速度及び/又は加速度は絶対的に(例えば、グローバル基準座標系に対して)及び相対的に(例えば、対象物体の基準座標系など局所基準座標系に対して)測定され得る。移動体の動作は、ユーザにより手動で(例えば、遠隔端末を介し移動体へ送信されるユーザ命令を介し)、自動的に(例えば、移動体に搭載されたプロセッサにより)、又は半自動的に制御され得る。例えば、移動体は標的方向に及び/又は標的位置方向に所定の軌道に沿って自動的に航行するようにプログラムされ得る。別の例として、ユーザは位置及び/又は配向の最大3つの自由度に関する移動体の移動を適切に制御し得る。幾つかの実施形態では、動作の幾つかの態様は自動的に制御され得、一方他の態様は手動で制御され得る。例えば、ユーザがUAVの移動方向を制御し得、移動速度は自動的に制御される。
図2は、幾つかの実施形態による、移動体204により支持された撮像装置202による対象物体200の撮像を概略的に示す。移動体204及び撮像装置202は当初第1の空間的配置206aである。空間的配置は位置の3つの自由度(例えば、経度、緯度、高度)及び配向の3つの自由度(例えば、ロール角、ピッチ角、ヨー角)に関して定義され得る。第1の空間的配置206aである場合、移動体204及び撮像装置202は対象物体200と第1の空間的関係にある。例えば、描写された実施形態では、移動体204及び撮像装置202は対象物体200から第1の距離208aだけ離れている。
移動体204は、対象物体200が一定の速度及び加速度で移動軌道210に沿って撮像装置202により撮像されている間に移動し得る。移動軌道120は移動の方向及び距離により特徴付けられ得る。移動軌道に沿った移動体204の移動の結果、移動体204は第2の空間的配置206bとなり得る。第2の空間的配置206bである場合、移動体204及び撮像装置202は対象物体200と第2の空間的関係にある。例えば、描写された実施形態では、移動体204及び撮像装置202は対象物体200から第2の距離208bだけ離れている。第2の空間的配置206bは、第1の空間的配置206aとは異なり得(例えば、配向の最大3つの自由度及び/又は位置の最大3つの自由度に関して)、したがって移動体204及び撮像装置202と対象物体200との空間的関係が変化する。しかし、移動体204及び撮像装置202の移動は、対象物体200自体も可動であれば、対象物体200との空間的関係の変化を必ずしも生じないかもしれない。例えば、対象物体200が移動体204及び撮像装置202と同様な移動軌道に沿って移動すれば、空間的関係の変化はほとんど無い又は全く無いかもしれない。逆に、空間的関係は、移動体204及び撮像装置202が静止したままでも対象物体200が移動すれば変化し得る。
対象物体と撮像装置との空間的関係の変化は、撮像パラメータに対する調整がなされなければ生成画像データに対する望ましくない変化を生じ得る。例えば、幾つかの例を挙げると、対象物体の焦点がより合わなくなり得る又は焦点がずれ得る、非対象物体の焦点が更に合う又は焦点が合う、視野が増加又は低下し得る、コントラストが増加又は低下し得る、輝度が増加又は低下し得る、鮮明度が増加又は低下し得る、解像度が低下し得る、又は雑音レベルが増加し得る。幾つかの実施形態では、撮像装置と対象物体とのある空間的関係に対して判断及び/又は最適化された撮像パラメータは、異なる空間的関係の撮像装置を動作させるのに好適及び/又は最適でないかもしれない。
本開示は、移動体の移動中及び/又は移動後の撮像装置の1つ又は複数のパラメータを判断するための改善されたシステム、方法及び装置を提供する。幾つかの実施形態では、撮像装置の1つ又は複数のパラメータは、移動体(又は撮像装置)の空間的配置の変化及び/又は、移動体、撮像装置及び/又は対象物体の移動の結果として発生する移動体(又は撮像装置)と対象物体との空間的関係の変化に応じて修正される。このような修正は、そうでなければ、変更された空間的配置及び/又は空間的関係のために発生するであろう1つ又は複数の特徴の変化を補償するために行われ得る。例えば、1つ又は複数のパラメータは、物体距離が変化したとしても撮像装置が対象物体上に合焦されたままであるように修正され得る。代替的に又は組み合わせて、1つ又は複数のパラメータは、移動体が対象物体のより近くに又はそれからより遠くに移動する場合でも一定の視野又はズームレベルを維持するように修正され得る。本明細書で説明する実施形態は、移動体及び撮像装置が動作中でも高品質撮像を維持するために、撮像パラメータに対する動的かつ連続的調整を行う。
図3は、幾つかの実施形態による、移動体により支持された撮像装置を使用して対象物体を撮像する方法を示す。方法300は、本明細書で説明するシステム及び装置の任意の実施形態を使用することにより行われ得る。幾つかの実施形態では、方法300のステップの一部又は全ては1つ又は複数のプロセッサ(例えば、移動体及び/又は撮像装置上に支持された)の助けを借りて行われる。
ステップ310では、撮像装置の1つ又は複数のパラメータが設定される。パラメータは焦点、焦点長、ズームレベル、絞りサイズ、露光時間、シャッタ速度、レンズ速度、撮像モード、白バランス、ISO、又はフラッシュのうちの1つ又は複数を含み得る。幾つかの実施形態では、ステップ310は1つ又は複数のパラメータのそれぞれの初期値を受信するステップとパラメータのそれぞれをそれぞれの初期値に設定するステップとを含む。初期値は例えば移動体及び/又は撮像装置と通信する遠隔端末を介しユーザにより入力され得る。代替的に、初期値は自動的に判断され得る。
例えば、幾つかの実施形態では、1つ又は複数のパラメータは撮像装置を対象物体上に合焦させるために設定される。このような実施形態では、ステップ310は、例えば撮像装置の光学アセンブリの光学中心と撮像装置の画像センサとの間の距離を調整することにより撮像装置を対象物体上に合焦させるステップを含み得る。撮像装置の焦点は様々なやり方で設定され得る。例えば、ユーザが合焦対象物体を手動で識別し得る。幾つかの実施形態では、ディスプレイ上に表示された1つ又は複数の画像の少なくとも1つの領域であって対象物体に対応する領域をユーザが選択することにより、対象物体のユーザ選択が実現される。例えば、ユーザは指又はスタイラスを使用してタッチスクリーンに直接接触することにより対象物体を選択し得る。別の例として、ユーザはマウス、ジョイスティック、ジェスチャ、又は音声命令を使用することにより対象物体を選択し得る。更に別の実施形態では、ユーザはヘルメット、バーチャルリアリティゴーグルなどの装着型装置を介し対象物体を選択し得る。対象物体の選択は、本明細書で説明する任意の好適な入力方法に関連付けられた接触又はタッピング、スワイピング、サークリング、クリッキングなどを含む任意の好適な動作を伴い得る。次に、撮像装置は選択された対象物体上に合焦され得る。例えば、初期焦点値を設定するために能動オートフォーカス方法、受動オートフォーカス方法、コントラスト検出オートフォーカス方法、位相検出オートフォーカス方法、又はハイブリッドオートフォーカス方法などのオートフォーカス方法が使用され得る。代替的に又は組み合わせて、ユーザは例えば遠隔端末を介し焦点値を手動で設定及び/又は調整し得る。
代替的に又は組み合わせて、幾つかの実施形態では、1つ又は複数のパラメータは撮像装置が一定の視野又はズームレベルを有するよう設定される。これは、例えば対象物体が画像データ内で一定の大きさ(例えば、長さ、高さ及び/又は幅)を有するということを保証するために行われ得る。幾つかの実施形態では、撮像装置の焦点長は所望の視野又はズームレベルに対応する初期値に設定される。初期焦点長はユーザにより手動で設定されてもよいし自動的に判断されてもよい。
方法300の幾つかの実施形態では、ステップ310は省略され、したがって方法300はパラメータの初期値を設定すること無く行われ得る。
ステップ320では、移動体及び/又は撮像装置の動作情報が検出される。動作情報は移動体及び/又は撮像装置の空間的配置の変化を示す任意のデータを含み得る。代替的に又は組み合わせて、動作情報は移動体と対象物体との及び/又は撮像装置と対象物体との空間的関係の変化を示す任意のデータを含み得る。例えば、動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含み得る。
幾つかの実施形態では、移動体及び/又は撮像装置の動作情報は1つ又は複数のセンサを使用して検出される。本明細書において開示される実施形態と共に使用するのに好適な例示的なセンサは、限定するものではないが、位置センサ(例えば、全地球測位システム(GPS:global positioning system)センサ、位置三角測量を可能にする携帯装置送信器)、画像又は視覚センサ(例えば、可視光、赤外線光、又は紫外線光を検出することができる撮像装置(カメラなど))、近接又は測距センサ(例えば、超音波センサ、ライダー(lidar)、飛行時間計測式(time−of−flight)カメラ又は深さカメラ)、慣性センサ(例えば、加速度計、ジャイロスコープ、慣性測定ユニット(IMU:inertial measurement unit))、高度センサ(例えば、高度計)、姿勢センサ(例えば、コンパス)、圧力センサ(例えば、気圧計)、音声センサ(例えば、マイクロホン)、電界/磁界センサ(例えば、磁力計、電磁気センサ)を含む。1、2、3、4、5、又はそれ以上のセンサなど任意の好適な数及び組み合わせのセンサが使用され得る。任意選択的に、データは様々なタイプ(例えば、2、3、4、5、又はそれ以上のタイプ)のセンサから受信され得る。異なるタイプのセンサは、異なるタイプの信号又は情報(例えば、位置、配向、速度、加速度、近接性、圧力など)を測定し得、及び/又はデータを取得するために異なるタイプの測定技術を利用し得る。例えば、センサは、能動センサ(例えば、それ自身のエネルギー源からエネルギーを生成して測定するセンサ)と受動センサ(例えば、有効エネルギを検出するセンサ)の任意の好適な組み合わせを含み得る。別の例として、幾つかのセンサは、グローバル座標系で提供される絶対測定データ(例えば、GPSセンサにより提供される位置データ、コンパス又は磁力計により提供される姿勢情報)を生成し得る。一方、他のセンサは、局所座標系で提供される相対測定データ(例えば、ジャイロスコープにより提供される相対的角速度、加速度計により提供される相対的並進加速度、画像センサにより提供される特定周囲環境の投影図、超音波センサ、ライダー、又は飛行時間計測式カメラにより提供される相対的距離情報)を生成し得る。幾つかの例では、局所座標系は移動体に対して定義されるボディ座標系であり得る。
例えば、GPSセンサと他の位置センサは移動体及び/又は撮像装置の位置を示すデータを提供するために使用され得、動作情報は異なる時間点における位置を比較することにより判断され得る。高度センサ及び/又は圧力センサは移動体及び/又は撮像装置の高度を示すデータを提供するために使用され得、動作情報は異なる時間点における高度を比較することにより判断され得る。姿勢センサは移動体及び/又は撮像装置の配向を示すデータを提供するために使用され得、動作情報は異なる時間点における配向を比較することにより判断され得る。慣性センサは移動体及び/又は撮像装置の速度(例えば、角速度)と加速度(例えば、並進加速度)を示すデータを提供するために使用され得る。画像センサは移動体及び/又は撮像装置の位置、速度、加速度を示すデータを提供するために使用され得る。
幾つかの実施形態では、動作情報はマルチセンサにより取得されたセンサデータを合成することにより生成される(「センサフュージョン」としても知られる)。例えば、センサフュージョンは、GPSセンサ、慣性センサ及び/又は画像センサなどの異なるセンサタイプにより取得された感知データを合成するために使用され得る。別の例として、センサフュージョンは、絶対測定データ(例えば、GPSデータなどのグローバル座標系に対して提供されるデータ)及び相対測定データ(例えば、視野感知データ、ライダーデータ又は超音波感知データなどの局所座標系に対して提供されるデータ)などの異なるタイプの感知データを合成するために使用され得る。マルチセンサからのセンサデータの融合は、カルマンフィルタベースアルゴリズム又は最適化アルコリズムなどの様々な種類のセンサフュージョンアルゴリズムを使用して行われ得る。センサフュージョンは、個々のセンサタイプに伴う制限又は不正確性を補償しこれにより最終感知結果の精度と信頼性を改善するために使用され得る。
幾つかの実施形態では、センサフュージョンアルゴリズムは、動作情報を判断するために複数の異なるセンサタイプのそれぞれからのデータを処理するために使用される。例えば、センサフュージョンアルゴリズムはGPSセンサからの位置データと慣性センサからの速度及び/又は加速度情報とを合成するために使用され得る。任意選択的に、センサフュージョンアルゴリズムはまた、カメラからの又は撮像装置であってもなくてもよい他の視野センサからの位置、速度及び/又は加速度データを使用し得る。幾つかの実施形態では、センサフュージョンアルゴリズムの出力は、複数の異なる時間点にわたる移動体及び/又は撮像装置の位置及び/又は配向の推定値である。
任意選択的に、移動体の動作情報は撮像装置の動作情報を判断するために使用され得る、又は逆もまた同様である。例えば、移動体と撮像装置との空間的関係は、撮像装置の当該動作情報を判断するために移動体の動作情報と組み合わせて判断及び使用され得る。逆に、移動体と撮像装置との空間的関係は、移動体の当該動作情報を判断するために撮像装置の動作情報と組み合わせて判断及び使用され得る。移動体と撮像装置との空間的関係は、センサデータ、ユーザ入力に基づき判断され得る、又は所定値であり得る(例えば、移動体と撮像装置が固定された空間的関係であれば)。
センサは様々なやり方で構成され得る。幾つかの実施形態では、センサデータは、移動体により支持された1つ又は複数のセンサ、撮像装置により支持された1つ又は複数のセンサ、又はそれらの組み合わせのセンサから受信される。例えば、センサは移動体だけにより又は撮像装置だけにより支持され得る。代替的に、1つ又は複数のセンサが移動体により支持され得、1つ又は複数の他のセンサが撮像装置により支持され得る。任意選択的に、1つ又は複数のセンサは移動体と撮像装置間の継手により支持され得る(例えばジンバル又は他の支持機構により支持され得る)。
センサは移動体、撮像装置、支持機構、又はそれらの組み合せの任意の好適な部分上(移動体、撮像装置又は支持機構の本体の上、下、側面、又はその中など)に位置し得る。幾つかの実施形態では、1つ又は複数のセンサは移動体、撮像装置又は支持機構の筐体内に密閉され得る、又は筐体の外に配置され得る、筐体の面(例えば、内面又は外面)へ結合され得る、又は筐体の一部を形成し得る。幾つかのセンサは、移動体、撮像装置又は支持機構の空間的配置及び/又は動作がセンサの空間的配置及び/又は動作に対応するように移動体、撮像装置又は支持機構へ機械的に結合され得る。センサは固定継手を介し移動体、撮像装置又は支持機構へ結合され得、したがってセンサは取り付けられる移動体、撮像装置、支持機構の部分に対して移動しない。代替的に、センサと、移動体、撮像装置又は支持機構との間の継手は移動体、撮像装置又は支持機構に対するセンサの移動を許容し得る。継手は恒久的継手であってもよいし非恒久的(例えば、解除可能)継手であってもよい。好適な結合方法は、接着剤、ボンディング、溶着及び/又はファスナ(例えば、ねじ、釘、ピン)を含み得る。幾つかの実施形態では、センサと、移動体、撮像装置又は支持機構との間の継手は、振動又は他の望ましくない機械的動作が移動体、撮像装置又は支持機構本体からセンサへ伝わるのを低減する緩衝器又はダンパーを含む。任意選択的に、センサは移動体、撮像装置又は支持機構の一部と一体的に形成され得る。
ステップ330では、空間的配置及び/又は空間的関係の変化がステップ320からの動作情報に基づき判断される。空間的配置は移動体、撮像装置、又はその両方の空間的配置であり得る。例えば、空間的配置は、3つの自由度(例えば、経度、緯度、高度)に対する移動体の位置、3つの自由度(例えば、ロール角、ピッチ角、ヨー角)に関する移動体の配向、3つの自由度(例えば、経度、緯度、高度)に関する撮像装置の位置、及び/又は3つの自由度(例えば、ロール角、ピッチ角、ヨー角)に関する撮像装置の配向であり得る。空間的配置の変化は移動体の経度、緯度、高度、ロール角、ピッチ角及び/又はヨー角の変化であり得る。空間的配置の変化は撮像装置の経度、緯度、高度、ロール角、ピッチ角及び/又はヨー角の変化であり得る。幾つかの実施形態では、空間的配置の変化は複数の異なる時間点からの位置及び/又は配向データを比較することにより判断される。
空間的関係は、移動体と対象物体との空間的関係、撮像装置と対象物体との空間的関係、又はその両方であり得る。例えば、空間的関係は、移動体と対象物体との間の距離、移動体と対象物体との角度、撮像装置と対象物体との間の距離、及び/又は撮像装置と対象物体との角度であり得る。空間的関係の変化は、移動体と対象物体との距離の変化、移動体と対象物体との角度の変化、撮像装置と対象物体との距離の変化、及び/又は撮像装置と対象物体との角度の変化であり得る。幾つかの実施形態では、空間的関係の変化は複数の異なる時間点からの距離及び/又は角度を比較することにより判断される。
ステップ340では、撮像装置の1つ又は複数のパラメータが、ステップ330で判断された空間的配置及び/又は空間的関係の変化に基づき修正される。パラメータは焦点、焦点長、ズームレベル、絞りサイズ、露光時間、シャッタ速度、レンズ速度、撮像モード、白バランス、ISO、又はフラッシュのうちの1つ又は複数を含み得る。修正パラメータは、ステップ310で当初設定されたのと同じパラメータであってもよいし、異なるパラメータであってもよい。
例えば、幾つかの実施形態では、1つ又は複数のパラメータは、撮像装置が対象物体上に合焦されるように、空間的配置及び/又は空間的関係の判断された変化に基づき修正される。任意選択的に、撮像装置は対象物体上に既に合焦されているかもしれなく(例えば、ステップ310で)、ステップ340は合焦を維持するために1つ又は複数のパラメータを修正するステップを含み得る。幾つかの実施形態では、判断された変化は、撮像装置を対象物体上に合焦させるために、例えば撮像装置の光学アセンブリの光学中心と撮像装置の画像センサとの間の距離を修正することにより、撮像装置の焦点を修正するために使用される。ステップ340は更に、空間的配置及び/又は空間的関係の変化に基づき、撮像装置を対象物体上に合焦させるために、1つ又は複数のパラメータ(例えば、焦点)に対する修正を判断するステップを含む。このような判断を行う例示的な方法が以下に提示される。
上述のように、撮像装置は、例えば対象物体の画像データが人間の眼に焦点が合ったように見えるように、当該画像距離vが画像センサの位置に一致する又はそれに十分に近い場合、物体距離uに位置する対象物体上に合焦させられると考えられ得る。固定焦点長f(例えば、常用レンズ)を有する撮像装置に関し、物体距離uが量Δuだけ変化すれば、合焦を維持するための画像距離vに対する当該変動量Δvは次のように判断され得る。
ステップ310において行われた初期合焦から初期画像距離v及び焦点長fの値は知られており、初期の物体距離uはそれに応じて判断され得る。物体距離の変化Δuは次に述べるように計算され得る。
図4は、幾つかの実施形態による、物体距離の変化を計算するための単純化モデル400を示す。図4について本明細書では移動体と対象物体との空間的関係に関して説明されるが、当業者は、モデル400に関して説明された原理がまた撮像装置と対象物体との空間的関係を説明するために使用され得るということを認識する。
モデル400では、対象物体は点Tに位置する。移動体は、点Mに当初位置し、次に点M'へ移動する。点MとM'の地上への投影はそれぞれ点AとBである。点MとM'の位置は位置データ(例えば、GPSセンサからの)を使用することにより判断され得る。地上からの点Mの高さhと地上からの点M'の高さh'は高度データ(例えば、高度センサ、圧力センサなどからの)を使用することにより判断され得る。任意選択的に、マルチセンサ(例えば、GPSセンサ、慣性センサ、視野センサ及び/又は高度センサ)からのデータのセンサフュージョンが点MとM'の空間的配置を判断するために使用され得る。
次に、次式はピタゴラスの定理を使用して得ることができる。
次のステップは、点Bと対象物体点T間の距離BTを計算することである。これは、三角形ABTの幾何学形状を判断することにより(例えば距離ABと、線TAと線ABとの角度θとを判断することにより)達成され得る。これらの値は、点Mから点M'への移動体の空間的配置の変化に関係し、したがってステップ320とステップ330に関して先に説明したようにセンサデータに基づき得る。その後、ΔuとΔvの値が判断され得、Δvは、撮像装置を対象物体上に合焦させるために、撮像パラメータに対する調整(例えば、光学アセンブリと画像センサの光学中心との間の距離の変化)を判断するために使用され得る。
別の例として、幾つかの実施形態では、1つ又は複数のパラメータは撮像装置の視野を維持するために空間的配置及び/又は空間的関係の判断された変化に基づき修正される。任意選択的に、撮像装置の視野は既に設定されているかもしれなく(例えば、ステップ310で)、ステップ340は視野を維持するために1つ又は複数のパラメータを修正するステップを含み得る。幾つかの実施形態では、判断された変化は、例えば光学アセンブリのズーム光学系の構成を変更することにより撮像装置の焦点長を修正するために使用される。ステップ340は更に、空間的配置及び/又は空間的関係の変化に基づき、視界を維持するために、1つ又は複数のパラメータ(例えば、焦点長)に対する修正を判断するステップを含む。このような判断を行う例示的な方法が以下に提示される。
可変焦点長を有する撮像装置(例えば、ズームレンズ)に関して、焦点長fと画像距離vの両方は視野と対象物体上の合焦とを維持するために変更され得る。視野は、画像データ内の対象物体の大きさ(例えば、高さ)を維持するためにほぼ一定に保たれ得る。焦点長Δf及び画像距離Δvの変化は視野と合焦とを維持するために次のように計算され得る。
図5は、幾つかの実施形態による、焦点長及び像距離の変化を計算するための単純化モデル500を示す。モデル500は光軸504を有する光学アセンブリ(本明細書では単レンズ502として表される)を含む。高さhを有する対象物体506は、第1の物体距離uと第2の目的距離u+Δuにおいて撮像され、第1の画像距離vと第2の画像距離v+Δvそれぞれに位置する高さh'を有する当該画像508を生じる。画像508の高さh'を一定に維持するために、光学アセンブリの焦点長はf+Δfから変更されたfである。したがって、次の関係が得られる。
これは次式となる。
hとh'は消去され次式を得る。
初期画像距離v及び焦点長fの値はステップ310で行われた初期合焦から分かる。初期物体距離uと物体距離変化Δuは固定焦点長装置に関して先に説明したように計算され得る。したがって、ΔvとΔfの値が判断され得る。Δvは合焦パラメータに対する調整を判断するために使用され得、Δfは焦点長に対する調整を表す。
幾つかの実施形態では、本明細書で説明する手法はまた、移動体及び/又は撮像装置に対する対象物体の移動に対処し得る。例えば、方法300は、移動体及び/又は撮像装置に対する対象物体の移動を示す追跡情報を受信するステップを含み得、ステップ340は更に、追跡情報に基づき1つ又は複数のパラメータを修正するステップを含み得る。幾つかの実施形態では、追跡情報は、撮像装置により捕捉された対象物体の画像データに基づき生成される(例えば、画像データ内の対象物体の位置及び/又は大きさを監視する追跡アルゴリズムを使用することにより)。幾つかの実施形態では、移動体及び/又は撮像装置に対する対象物体の移動は画像データ内の対象物体の大きさ(例えば、長さ、幅、高さ)の変化を生じ、大きさ情報は移動の量を判断するために使用され得る。例えば、対象物体が第1の時点で得られた画像内の第1の高さH1と第2の時点で得られた画像内の第2の高さH2を有すれば、2つの時点間の物体距離の変化Δuは次のように判断され得る。
任意選択的に、ステップ340は更に、1つ又は複数のパラメータが修正されなければならない速度を判断するステップを含み得る。幾つかの実施形態では、パラメータを修正値に直接設定するのではなくむしろパラメータの値を徐々に増加又は低下することが望ましいかもしれない。速度プロファイルはまた、空間的配置及び/又は空間的関係の変化に基づき判断され得る。
ステップ350では、画像データは、ステップ340で判断された修正済みの1つ又は複数のパラメータを有する撮像装置を使用して生成される。方法300の幾つかの実施形態では、ステップ350は省略され、したがって方法300は画像データを生成すること無く行われ得る。
方法300のステップの一部又は全ては撮像パラメータ(例えば、焦点、焦点長)に対する動的調整を行うために連続的に又は所定時間間隔で繰り返され得る。例えば、ステップ320〜340は移動体の動作中に約30Hzの速度で又は約10Hzから約50Hzの範囲内で繰り返され得る。
方法300は、撮像装置の1つ又は複数のパラメータを設定するための他の手法と比較して様々な利点を与える。例えば、方法300は、最適焦点位置を識別するために対象物体を撮像する又は撮像装置の焦点を変更すること無く合焦に対する調整を可能にし、したがって合焦速度を改善し得る。別の例として、方法300は対象物体と撮像装置との距離を検出するセンサを使用すること無く行われ得、したがってハードウェア及び空間要件を減らし得る。方法300のステップの一部又は全てはユーザからの入力を利用すること無く自動的に行われ得、したがって使いやすさを改善し得る。
図6は、幾つかの実施形態による、移動体により支持された撮像装置を使用して対象物体を撮像する方法600を示す。方法600は、本明細書で説明するシステム及び装置の任意の実施形態を使用することにより行われ得る。幾つかの実施形態では、方法600のステップの一部又は全ては1つ又は複数のプロセッサ(例えば、移動体及び/又は撮像装置上に支持された)の助けを借りて行われ得る。
ステップ610では、撮像装置の1つ又は複数のパラメータが設定される。パラメータは焦点、焦点長、ズームレベル、絞りサイズ、露光時間、シャッタ速度、レンズ速度、撮像モード、白バランス、ISO、又はフラッシュのうちの1つ又は複数を含み得る。幾つかの実施形態では、ステップ610は1つ又は複数のパラメータのそれぞれの初期値を受信するステップと、パラメータのそれぞれをそれぞれの初期値に設定するステップとを含む。初期値は、例えば移動体及び/又は撮像装置と通信する遠隔端末を介し、ユーザにより入力され得る。代替的に、初期値は自動的に判断され得る。
例えば、幾つかの実施形態では、1つ又は複数のパラメータは、撮像装置及び/又は移動体が第1の空間的配置である場合に撮像装置を対象物体上に合焦させるために設定される。合焦は、方法300のステップ310に関して本明細書で先に説明したように行われ得る。
代替的に又は組み合わせて、幾つかの実施形態では、方法300のステップ310に関して本明細書で先に説明したように、1つ又は複数のパラメータは、撮像装置及び/又は移動体が第1の空間的配置である場合に撮像装置が一定の視野又はズームレベルを有するよう設定される。
方法600の幾つかの実施形態では、ステップ610は省略され、したがって方法600はパラメータの初期値を設定すること無く行われ得る。
ステップ620では、第1の空間的配置から第2の空間的配置への撮像装置及び/又は移動体の移動が検出される。第1の空間的配置はステップ610と同じ空間的配置であってもなくてもよい。第1の空間的配置は位置(例えば、経度、緯度及び/又は高度)及び/又は配向(例えば、ロール角、ピッチ角及び/又はヨー角)に関して第2の空間的配置とは異なり得る。幾つかの実施形態では、移動は、第1の空間的配置と第2の空間的配置からの位置及び/又は配向データを比較することにより検出される。この移動を検出するステップは、第1の空間的配置から第2の空間的配置への移動距離及び/又は移動方向を判断するステップを含み得る。
幾つかの実施形態では、撮像装置及び/又は移動体の移動は1つ又は複数のセンサを使用して検出される。センサは、方法300のステップ320に関して本明細書で先に説明したセンサのうちの任意ものを含み得る。任意選択的に、移動を検出するために、複数の異なるセンサタイプ(例えば、GPSセンサ、慣性センサ、視野センサ及び/又は高度センサ)のそれぞれからのデータを処理するためにセンサフュージョンアルゴリズムが使用され得る。
ステップ630では、撮像装置の1つ又は複数のパラメータは検出された移動に応じて修正される。パラメータは焦点、焦点長、ズームレベル、絞りサイズ、露光時間、シャッタ速度、レンズ速度、撮像モード、白バランス、ISO、又はフラッシュのうちの1つ又は複数を含み得る。修正パラメータは、ステップ610で当初設定されたのと同じパラメータであってもよいし、異なるパラメータであってもよい。
例えば、幾つかの実施形態では、1つ又は複数のパラメータは、撮像装置及び/又は移動体が第2の空間的配置である場合に撮像装置が対象物体上に合焦させられるように修正される。任意選択的に、撮像装置は対象物体上に既に合焦されているかもしれなく(例えば、ステップ610で)、ステップ630は合焦を維持するために1つ又は複数のパラメータを修正するステップを含み得る。幾つかの実施形態では、検出された移動は、撮像装置を対象物体上に合焦させるために、例えば撮像装置の光学アセンブリの光学中心と撮像装置の画像センサとの間の距離を修正することにより、撮像装置の焦点を修正するために使用される。ステップ630は更に、検出された移動に基づき、撮像装置を対象物体上に合焦させるために、1つ又は複数のパラメータ(例えば、焦点)に対する修正を判断するステップを含む。この判断は方法300のステップ340に関して本明細書で先に説明したように行われ得る。
別の例として、幾つかの実施形態では、1つ又は複数のパラメータは、撮像装置及び/又は移動体が第2の空間的配置である場合に撮像装置の視野を維持するために修正される。任意選択的に、撮像装置の視野は既に設定されているかもしれなく(例えば、ステップ610で)、ステップ630は視野を維持するために1つ又は複数のパラメータを修正するステップを含み得る。幾つかの実施形態では、検出された移動は、例えば光学アセンブリのズーム光学系の構成を変更することにより撮像装置の焦点長を修正するために使用される。ステップ630は更に、検出された移動に基づき、視界を維持するために、1つ又は複数のパラメータ(例えば、焦点長)に対する修正を判断するステップを含む。この判断は方法300のステップ340に関して本明細書で先に説明したように行われ得る。
幾つかの実施形態では、本明細書で説明する手法はまた、移動体及び/又は撮像装置に対する対象物体の移動に対処し得る。例えば、方法600は移動体及び/又は撮像装置に対する対象物体の移動を示す追跡情報を受信するステップを含み得、ステップ630は更に、追跡情報に基づき1つ又は複数のパラメータを修正するステップを含み得る。幾つかの実施形態では、追跡情報は撮像装置により捕捉された対象物体の画像データに基づき生成される(例えば、画像データ内の対象物体の位置及び/又は大きさを監視する追跡アルゴリズムを使用することにより)。幾つかの実施形態では、移動体及び/又は撮像装置に対する対象物体の移動は画像データ内の対象物体の大きさ(例えば、長さ、幅、高さ)の変化を生じ、大きさ情報は移動の量を判断するために使用され得る。この判断は方法300のステップ340に関して本明細書で先に説明したように行われ得る。
任意選択的に、ステップ630は更に、1つ又は複数のパラメータが修正されなければならない速度を判断するステップを含み得る。幾つかの実施形態では、パラメータを修正値に直接設定するのではなくむしろパラメータの値を徐々に増加又は低下することが望ましいかもしれない。速度プロファイルはまた、空間的配置及び/又は空間的関係の変化に基づき判断され得る。
幾つかの実施形態では、ステップ630は、最適焦点位置を識別するために対象物体を撮像すること無く又は撮像装置の焦点を変更すること無く行われ得、したがって合焦速度を改善し得る。幾つかの実施形態では、ステップ630は対象物体と撮像装置との距離を検出するセンサを使用すること無く行われ得、したがってハードウェア及び空間要件を減らし得る。ステップ630はユーザからの入力を利用すること無く自動的に行われ得、したがって使いやすさを改善し得る。
ステップ640では、画像データは、ステップ630で判断された修正済みの1つ又は複数のパラメータを有する撮像装置を使用して生成される。方法600の幾つかの実施形態では、ステップ640は省略され、したがって方法300は画像データを生成すること無く行われ得る。
方法600のステップの一部又は全ては撮像パラメータ(例えば、焦点、焦点長)に対する動的調整を行うために連続的に又は所定時間間隔で繰り返され得る。例えば、ステップ620〜630は移動体の動作中に約30Hzの速度で又は約10Hzから約50Hzの範囲内で繰り返され得る。
図7〜図9は、本明細書で説明した方法の任意の実施形態を行うために使用され得る例示的なシステムを示す。
図7は、幾つかの実施形態による、対象物体を撮像するシステム700を概略的に示す。システム700は、移動体702と移動体により支持された撮像装置704とを含む。移動体702は1つ又は複数のプロセッサ706と1つ又は複数のセンサ708とを含み得る。撮像装置704は、対象物体の画像データを生成するための画像センサ710と、画像センサ710上に光を収束するための光学アセンブリ712とを含み得る。幾つかの実施形態では、移動体702の1つ又は複数のセンサ708は第1の空間的配置から第2の空間的配置への移動体702の移動など移動体702の動作情報を検出するために使用される。
幾つかの実施形態では、移動体702の1つ又は複数のプロセッサ706は本明細書で説明した方法(方法300又は方法600など)の任意の実施形態を行うように構成される。例えば、1つ又は複数のプロセッサ706は撮像装置704の1つ又は複数のパラメータに対する修正を判断するためにセンサ708から動作情報を受信し処理し得る。1つ又は複数のプロセッサ706は、判断された修正(例えば、光学アセンブリ712の構成を調整することによる修正)を撮像装置704に実施させる制御信号を送信するために撮像装置704へ動作可能に結合され得る。1つ又は複数のプロセッサ706は撮像装置704により生成された画像データを受信するために撮像装置704へ動作可能に結合され得る。任意選択的に、1つ又は複数のプロセッサ706は端末から制御信号を受信する及び/又は端末へ画像データを送信するために遠隔端末(図示せず)と通信し得る。
図8は、幾つかの実施形態による、対象物体を撮像するシステム800を概略的に示す。システム800は、移動体802と移動体により支持された撮像装置804とを含む。移動体802は1つ又は複数のセンサ806を含み得る。撮像装置804は、1つ又は複数のプロセッサ808、対象物体の画像データを生成するための画像センサ810、画像センサ810上に光を収束するための光学アセンブリ812を含み得る。幾つかの実施形態では、移動体802の1つ又は複数のセンサ806は第1の空間的配置から第2の空間的配置への移動体802の移動など移動体802の動作情報を検出するために使用される。
幾つかの実施形態では、撮像装置804の1つ又は複数のプロセッサ808は、本明細書で説明した方法(方法300又は方法600など)の任意の実施形態を行うように構成される。1つ又は複数のプロセッサ808は撮像装置804の1つ又は複数のパラメータに対する修正を判断するためにセンサ806から動作情報を受信し処理し得る。1つ又は複数のプロセッサ808は、判断された修正(例えば、光学アセンブリ812の構成を調整することによる修正)を撮像装置804に実施させる制御信号を生成し得る。1つ又は複数のプロセッサ808は撮像装置804の画像センサ810により生成された画像データを受信し得る。任意選択的に、1つ又は複数のプロセッサ808は端末から制御信号を受信する及び/又は端末へ画像データを送信するために遠隔端末(図示せず)と通信し得る。
図9は、幾つかの実施形態による、対象物体を撮像するシステム900を概略的に示す。システム900は、移動体902と、移動体902により支持された撮像装置904とを含む。撮像装置904は、1つ又は複数のプロセッサ906、1つ又は複数のセンサ908、対象物体の画像データを生成するための画像センサ910、画像センサ910上に光を収束するための光学アセンブリ912を含み得る。幾つかの実施形態では、撮像装置904の1つ又は複数のセンサ908は第1の空間的配置から第2の空間的配置への撮像装置904の移動など撮像装置904の動作情報を検出するために使用される。
幾つかの実施形態では、撮像装置904の1つ又は複数のプロセッサ906は本明細書で説明した方法(方法300又は方法600など)の任意の実施形態を行うように構成される。1つ又は複数のプロセッサ906は撮像装置904の1つ又は複数のパラメータに対する修正を判断するためにセンサ908から動作情報を受信し処理し得る。1つ又は複数のプロセッサ906は判断された修正(例えば、光学アセンブリ912の構成を調整することによる修正)を撮像装置904に実施させる制御信号を生成し得る。1つ又は複数のプロセッサ906は撮像装置912の画像センサ910により生成された画像データを受信し得る。任意選択的に、1つ又は複数のプロセッサ906は端末から制御信号を受信する及び/又は端末へ画像データを送信するために遠隔端末(図示せず)と通信し得る。
図7〜図9に示された実施形態は単なる例として提供され限定することを目的としないということを理解すべきである。当業者は、システム700、800、900の様々な部品の構成は所望により変更され得るということを認識するだろう。例えば、部品の位置は、例えば移動体内に配置されて示された部品がその代りに撮像装置内に配置され得る(逆もまた同様である)ように変更され得る。幾つかの部品は他の部品と組み合わせられ得る。代替的に、幾つかの部品は副部品に分割され得、副部品の位置は所望により変更され得る。
本明細書で説明したシステム、装置及び方法は多種多様の移動体に適用され得る。前述のように、航空機に関する本明細書中の任意の記載は任意の移動体に適用され使用され得る。本発明の移動体は、空中(例えば、固定翼航空機、回転翼航空機、又は固定翼も回転翼も有しない航空機)で、水中(例えば、船又は潜水艦)で、地上(例えば、自動車などのモータ車両、トラック、バス、バン型車、オートバイ、棒、釣り竿などの可動構造又は枠、又は列車)で、地下(例えば、地下道)で、宇宙空間(例えば、宇宙飛行機、衛星、又は探査衛星)で、又はこれらの環境の任意の組み合わせなど任意の好適な環境内で移動するように構成され得る。移動体は本明細書中の別の箇所において説明した車両などの車両であり得る。幾つかの実施形態では、移動体は人又は動物などの生体上に搭載され得る。好適な動物としては、山羊類、犬類、猫類、馬類、牛類、羊類、豚類、イルカ、ネズミ類又は昆虫類が挙げられる。
移動体は6つの自由度(例えば、並進の3つの自由度と回転の3つの自由度)に関し環境内で自由に移動し得る。代替的に、移動体の移動は、予め決められた経路、トラック又は配向など1つ又は複数の自由度に関し制約され得る。移動はエンジン又はモータなどの任意の好適な作動機構により作動され得る。移動体の作動機構は、電気エネルギー、磁気エネルギー、太陽エネルギー、風エネルギー、重力エネルギー、化学エネルギー、核エネルギー又はそれらの任意の好適な組み合せなど任意の好適なエネルギー源により動力を供給され得る。移動体は、本明細書の他の箇所で説明したように推進系を介し自力推進され得る。推進系は任意選択的に、電気エネルギー、磁気エネルギー、太陽エネルギー、風エネルギー、重力エネルギー、化学エネルギー、核エネルギー又はそれらの任意の好適な組み合せなどのエネルギー源で動作し得る。代替的に、移動体は生物により支持され得る。
幾つかの例では、移動体は車両であり得る。好適な車両は水上機、航空機、宇宙船又は地上車両を含み得る。例えば、航空機は、固定翼航空機(例えば、飛行機、グライダ)、回転翼航空機(例えば、ヘリコプタ、回転翼機)、固定翼と回転翼の両方を有する航空機、又は何れも有しない航空機(例えば、小形飛行船、熱気球)であり得る。車両は、空中、水上又は水中、宇宙空間、地上又は地下を自力推進し得る。自力推進車両は、1つ又は複数のエンジン、モータ、車輪、車軸、磁石、回転子、プロペラ、回転翼、ノズル、又はそれらの任意の好適な組み合せを含む推進系などの推進系を利用し得る。幾つかの例では、推進系は、移動体が表面から離陸する、表面に着地する、その現在位置及び/又は配向を維持する(例えば、空中静止する)、配向を変更する、及び/又は位置を変更することを可能にするために使用され得る。
移動体は、ユーザにより遠隔的に制御されてもよいし、移動体内の又はその上の乗員により局所的に制御されてもよい。幾つかの実施形態では、移動体はUAVなどの無人移動体である。UAVなどの無人移動体は乗員を有しなくてもよい。移動体は、人、又は自律制御システム(例えば、コンピュータ制御システム)、又はそれらの任意の好適な組み合せにより制御され得る。移動体は、人工知能により構成されたロボットなどの自律的又は半自律的ロボットであり得る。
移動体は任意の好適な大きさ及び/又は次元を有し得る。幾つかの実施形態では、移動体は車両内又はその上に人間の乗員を有するための大きさ及び/又は次元のものであり得る。代替的に、移動体は車両内又はその上の人間の乗員を有することができるものより小さな大きさ及び/又は次元のものであり得る。移動体は人間により持ち上げられる又は支持されるのに好適な大きさ及び/又は次元のものであり得る。代替的に、移動体は人間により持ち上げられる又は支持されるのに好適な大きさ及び/又は次元より大きいかもしれない。幾つかの例では、移動体は約2cm、5cm、10cm、50cm、1m、2m、5m、又は10m以下の最大次元(例えば、長さ、幅、高さ、直径、対角線)を有し得る。最大次元は約2cm、5cm、10cm、50cm、1m、2m、5m、又は10m以上であり得る。例えば、移動体の対向回転子の軸間の距離は約2cm、5cm、10cm、50cm、1m、2m、5m、又は10m以下であり得る。代替的に、対向回転子の軸間の距離は約2cm、5cm、10cm、50cm、1m、2m、5m、又は10m以上であり得る。
幾つかの実施形態では、移動体は100cm×100cm×100cm未満、50cm×50cm×30cm未満、5cm×5cm×3cm未満の体積を有し得る。移動体の全容積は約1cm、2cm、5cm、10cm、20cm、30cm、40cm、50cm、60cm、70cm、80cm、90cm、100cm、150cm、200cm、300cm、500cm、750cm、1000cm、5000cm、10,000cm、100,000cm、1m、又は10m以下であり得る。逆に、移動体の全容積は約1cm、2cm、5cm、10cm、20cm、30cm、40cm、50cm、60cm、70cm、80cm、90cm、100cm、150cm、200cm、300cm、500cm、750cm、1000cm、5000cm、10,000cm、100,000cm、1m、又は10m以上であり得る。
幾つかの実施形態では、移動体は約32,000cm、20,000cm、10,000cm、1,000cm、500cm、100cm、50cm、10cm、又は5cm以下のフットプリント(移動体により包含される横方向断面積と呼ばれることがある)を有し得る。逆に、フットプリントは約32,000cm、20,000cm、10,000cm、1,000cm、500cm、100cm、50cm、10cm又は5cm以上であり得る。
幾つかの例では、移動体は1000kg以下の重量であり得る。移動体の重量は約1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg、0.05kg又は0.01kg以下であり得る。逆に、重量は約1000kg、750kg、500kg、200kg、150kg、100kg、80kg、70kg、60kg、50kg、45kg、40kg、35kg、30kg、25kg、20kg、15kg、12kg、10kg、9kg、8kg、7kg、6kg、5kg、4kg、3kg、2kg、1kg、0.5kg、0.1kg, 0.05kg又は0.01kg以上であり得る。
幾つかの実施形態では、移動体は移動体により支持される積荷に比べて小さくてもよい。負荷は以下に更に詳細に説明されるように搭載物及び/又は支持機構を含み得る。幾つかの例では、負荷重量に対する移動体重量の比は約1:1より大きくても、小さくても、又は等しくてもよい。幾つかの例では、負荷重量に対する移動体重量の比は約1:1より大きくても、小さくても、又は等しくてもよい。任意選択的に、負荷重量に対する支持機構重量の比は約1:1より大きくても、小さくても、又は等しくてもよい。必要に応じて、負荷重量に対する支持機構重量の比は1:2、1:3、1:4、1:5、1:10以下又は更にそれ未満であり得る。逆に、負荷重量に対する移動体重量の比は1:2、1:3、1:4、1:5、1:10以上又は更にそれを超え得る。
幾つかの実施形態では、移動体は低エネルギー消費量を有し得る。例えば、移動体は約5W/h、4W/h、3W/h、2W/h、1W/h未満、又は更にそれ未満を使用し得る。幾つかの例では、移動体の搬送体は低エネルギー消費量を有し得る。例えば、支持機構は約5W/h、4W/h、3W/h、2W/h、1W/h未満、又はそれ未満を使用し得る。任意選択的に、移動体の搭載物は約5W/h、4W/h、3W/h、2W/h、1W/h未満、又はそれ未満などの低エネルギー消費量を有し得る。
図10は本発明の実施形態による無人航空機(UAV)1000を示す。UAVは本明細書に記載のような移動体の例であり得る。UAV1000は4つの回転子1002、1004、1006、1008を有する推進系を含み得る。任意の数(例えば、1、2、3、4、5、6、又はそれ以上)の回転子が設けられ得る。無人航空機の回転子、回転子アセンブリ、又は他の推進系は、無人航空機が空中静止し/位置を維持し、配向を変更し、及び/又は位置を変更できるようにし得る。対向回転子の軸間の距離は任意の好適な長さ1010であり得る。例えば、長さ1010は2m以下又は5m以下であり得る。幾つかの実施形態では、長さ1010は40cm〜1m、10cm〜2m、又は5cm〜5mの範囲内であり得る。UAVの本明細書の任意の記載は異なるタイプの移動体などの移動体に適用し得、逆もまた同様である。
幾つかの実施形態では、移動体は負荷を支持するように構成され得る。負荷は1又は複数の乗客、貨物、装備、機器などを含み得る。負荷は筐体内に設けられ得る。筐体は移動体の筐体とは別であってもよいし移動体の筐体の一部であってもよい。代替的に、負荷は筐体を備え得るが、移動体は筐体を有しない。代替的に、負荷の一部又は全負荷は筐体無しに設けられ得る。負荷は移動体へ強固に固定され得る。任意選択的に、負荷は移動体に対して可動(例えば、移動体に対して併進可能又は回転可能)であり得る。
幾つかの実施形態では、負荷は搭載物を含む。搭載物はいかなる動作又は機能も行わないように構成され得る。代替的に、搭載物は動作又は機能を行うように構成された搭載物(機能的搭載物としても知られる)であり得る。例えば、搭載物は1つ又は複数の標的を測量するための1つ又は複数のセンサを含み得る。画像捕捉装置(例えば、カメラ)、音声捕捉装置(例えば、放物面マイクロフォン)、赤外線撮像装置、又は紫外線撮像装置などの任意の好適なセンサが搭載物内に取り込まれ得る。センサは静的感知データ(例えば、写真)又は動的感知データ(例えば、映像)を提供し得る。幾つかの実施形態では、センサは搭載物の標的の感知データを提供する。代替的に又は組み合わせて、搭載物は1つ又は複数の標的へ信号を提供するための1つ又は複数の発射手段を含み得る。照明光源又は音源などの任意の好適な発射手段が使用され得る。幾つかの実施形態では、搭載物は移動体から遠く離れたモジュールとの通信のためなどの1つ又は複数の送受信器を含む。任意選択的に、搭載物は環境又は標的と相互作用するように構成され得る。例えば、搭載物はロボットアームなどの物体を操作することができる道具、機器、又は機構を含み得る。
任意選択的に、負荷は支持機構を含み得る。支持機構は搭載物に設けられ得、搭載物は支持機構を介し直接的に(例えば、移動体と直接接触して)又は間接的に(例えば、移動体と接触すること無く)のいずれかで移動体へ結合され得る。逆に、搭載物は支持機構を必要とすること無く移動体上に搭載され得る。搭載物は支持機構と一体的に形成され得る。代替的に、搭載物は支持機構へ着脱自在に結合され得る。幾つかの実施形態では、搭載物は1つ又は複数の搭載物要素を含み得、搭載物要素の1つ又は複数は上述のように移動体及び/又は支持機構に対し可動であり得る。
支持機構は移動体と一体的に形成され得る。代替的に、支持機構は移動体へ着脱自在に結合され得る。支持機構は移動体へ直接又は間接的に結合され得る。支持機構は搭載物を支持し得る(例えば、搭載物の重量の少なくとも一部を支持し得る)。支持機構は搭載物の移動を安定化及び/又は指示することができる好適な取り付け構造(例えば、ジンバルプラットフォーム)を含み得る。幾つかの実施形態では、支持機構は移動体に対する搭載物の状態(例えば、位置及び/又は配向)を制御するようにされ得る。例えば、支持機構は、搭載物が移動体の移動にもかかわらず好適な基準座標系に対するその位置及び/又は配向を維持するように移動体に対して(例えば、並進の1、2又は3つの自由度に関して及び/又は回転の1、2又は3つの自由度に関して)移動するように構成され得る。基準座標系は固定基準座標系(例えば、周囲環境)であり得る。代替的に、基準座標系は動く基準座標系(例えば、移動体、搭載物標的)であり得る。
幾つかの実施形態では、支持機構は、支持機構及び/又は移動体に対する搭載物の移動を許容するように構成され得る。移動は最大3つの自由度(例えば、1、2又は3つの軸に沿った)に関する並進、又は最大3つの自由度(例えば、約1、2又は3つの軸)に関する回転、又はそれらの任意の好適な組み合せであり得る。
幾つかの例では、支持機構は支持機構フレームアセンブリと支持機構作動アセンブリ(carrier actuation assembly)とを含み得る。支持機構フレームアセンブリは構造的支持を搭載物へ与え得る。支持機構フレームアセンブリは個々の支持機構フレーム部品を含み得、そのうちの幾つかは互いに対して可動であり得る。支持機構作動アセンブリは個々の支持機構フレーム部品の移動を作動させる1つ又は複数のアクチュエータ(例えば、モータ)を含み得る。アクチュエータは複数の支持機構フレーム部品の移動を同時に許容し得る、又は一回の単一の支持機構フレーム部品の移動を許容するように構成され得る。支持機構フレーム部品の移動は、それに応じた搭載物の移動を生じ得る。例えば、支持機構作動アセンブリは1つ又は複数の回転軸(例えば、ロール軸、ピッチ軸、又はヨー軸)を中心とする1つ又は複数の支持機構フレーム部品の回転を作動させ得る。1つ又は複数の支持機構フレーム部品の回転は、移動体に対し、搭載物を1つ又は複数の回転軸を中心として回転させ得る。代替的に又は組み合わせて、支持機構作動アセンブリは1つ又は複数の併進軸に沿った1つ又は複数の支持機構フレーム部品の並進を作動させ得、したがって移動体に対し、1つ又は複数の当該軸に沿った搭載物の並進を生じ得る。
幾つかの実施形態では、固定基準座標系(例えば、周囲環境)に対する及び/又は互いに対する移動体、支持機構、及び搭載物の移動は端末により制御され得る。端末は、移動体、支持機構及び/又は搭載物から離れた位置における遠隔制御装置であり得る。端末は支持プラットフォーム上に配置又はそれへ固定され得る。代替的に、端末は携帯型又は装着型装置であり得る。例えば、端末は、スマートフォン、タブレット、ラップトップ、コンピュータ、眼鏡、グローブ、ヘルメット、マイクロホン、又は好適なそれらの組み合わせを含み得る。端末は、キーボード、マウス、ジョイスティック、タッチスクリーン又はディスプレイなどのユーザインターフェースを含み得る。端末と相互作用するために、手動入力命令、音声制御、ジェスチャ制御、又は位置制御(例えば、端末の移動、位置、又は傾斜を介した)など任意の好適なユーザ入力が利用され得る。
端末は、移動体、支持機構及び/又は搭載物の任意の好適な状態を制御するために使用され得る。例えば、端末は、固定基準に対する及び/又は互いに対する移動体、支持機構及び/又は搭載物の位置及び/又は配向を制御するために使用され得る。幾つかの実施形態では、端末は、移動体、支持機構及び/又は搭載物の個々の要素(支持機構の作動アセンブリ、搭載物のセンサ、又は搭載物の発射手段など)を制御するために使用され得る。端末は、移動体、支持機構又は搭載物のうちの1つ又は複数と通信するようにされた無線通信装置を含み得る。
端末は、移動体、支持機構及び/又は搭載物の情報を見るのに好適な表示装置を含み得る。例えば、端末は、位置、併進速度、並進加速度、配向、角速度、角加速度又は任意の好適なそれらの組み合わせに関する移動体、支持機構及び/又は搭載物の情報を表示するように構成され得る。幾つかの実施形態では、端末は、機能的搭載物により提供されるデータ(例えば、カメラ又は他の撮像装置により記録された画像)など搭載物により提供される情報を表示し得る。
任意選択的に、同じ端末が、移動体、支持機構及び/又は搭載物を制御する又は移動体、支持機構及び/又は搭載物の状態を制御することと、移動体、支持機構及び/又は搭載物からの情報を受信及び/又は表示することとの両方を行い得る。例えば、端末は、搭載物により捕捉された画像データ又は搭載物の位置についての情報を表示しながら環境に対する搭載物の位置を制御し得る。代替的に、様々な端末が様々な機能に使用され得る。例えば、第1の端末が移動体、支持機構及び/又は搭載物移動又は状態を制御し得、一方第2の端末が移動体、支持機構及び/又は搭載物からの情報を表示及び/又は受信し得る。例えば、第2の端末が搭載物により捕捉された画像データを表示する間、第1の端末は環境に対する搭載物の位置決めを制御するために使用され得る。様々な通信方式が、移動体と移動体を制御しデータを受信する統合端末との間又は移動体と移動体を制御しデータを受信する複数の端末との間で利用され得る。例えば、少なくとも2つの異なる通信方式が、移動体を制御することと移動体からデータを受信することとの両方を行う端末と移動体との間に形成され得る。
図11は、幾つかの実施形態による、支持機構1102及び搭載物1104を含む移動体1100を示す。移動体1100は航空機として描写されるが、本明細書で先に説明したようにこの描写は限定することを意図していなく、任意の好適なタイプの移動体が使用され得る。当業者は、航空機システムの文脈で本明細書に記載された実施形態のうちの任意のものが任意の好適な移動体(例えば、UAV)へ適用され得るということを認識するであろう。幾つかの例では、搭載物1104は支持機構1102を必要とすること無く移動体1100上に設けられ得る。移動体1100は推進機構1106、感知システム1108、通信システム1110を含み得る。
推進機構1106は、先に説明したように回転子、プロペラ、回転翼、エンジン、モータ、車輪、車軸、磁石又はノズルのうちの1つ又は複数を含み得る。例えば、推進機構1106は、本明細書の他の箇所で説明したように自動引き締め式回転子(self−tightening rotor)、回転子アセンブリ又は他の回転推進装置であり得る。移動体は1つ又は複数、2つ以上、3以上、又は4つ以上の推進機構を有し得る。推進機構は全て同じタイプであり得る。代替的に、1つ又は複数の推進機構は異なるタイプの推進機構であり得る。推進機構1106は、本明細書の他の箇所で説明したような支持要素(例えば、駆動軸)など任意の好適な手段を使用することにより移動体1100上に搭載され得る。推進機構1106は、移動体1100の上部、下部、前部、後部、側部又は好適なそれらの組み合わせなど任意の好適な部分上に搭載され得る。
幾つかの実施形態では、推進機構1106は、移動体1100が移動体1100のいかなる水平動作も必要とすること無く(例えば、滑走路を走行すること無く)表面から垂直方向に離陸又は表面上に垂直方向に着陸できるようにし得る。任意選択的に、推進機構1106は、移動体1100が所定位置及び/又は配向で空中静止できるように動作可能であり得る。1つ又は複数の推進機構1100が他の推進機構とは独立に制御され得る。代替的に、推進機構1100は同時に制御されるように構成され得る。例えば、移動体1100は、移動体へ揚力及び/又は推力を与え得る複数の水平面指向回転子(horizontally oriented rotor)を有し得る。移動体1100へ垂直離陸、垂直着陸及び空中静止能力を与えるためにマルチ水平面指向回転子が作動され得る。幾つかの実施形態では、マルチ水平面指向回転子の1つ又は複数が時計回り方向にスピンし得、マルチ水平面指向回転子の1つ又は複数は反時計回転の方向にスピンし得る。例えば、時計回り回転子の数は反時計回り回転子の数に等しくてもよい。水平面指向回転子のそれぞれの回転速度は、各回転子により生成された揚力及び/又は推力を制御するために独立に変更され得、これにより移動体1100の空間的配置、速度、及び/又は加速度を調整する(例えば、並進の最大3つの自由度と回転の最大3つの自由度に関して)。
感知システム1108は、移動体1100の空間的配置、速度、及び/又は加速度を(例えば、並進の最大3つの自由度と回転の最大3つの自由度に関して)感知し得る1つ又は複数のセンサを含み得る。1つ又は複数のセンサは、全地球測位システム(GPS)センサ、動作センサ、慣性センサ、近接センサ又は画像センサを含み得る。感知システム1108により提供される感知データは、移動体1100の空間的配置、速度、及び/又は配向を制御する(例えば、以下に述べるような好適な処理ユニット及び/又は制御モジュールを使用することにより)ために使用され得る。代替的に、感知システム1108は、移動体を取り囲む環境に関するデータ(天候状況、潜在的障害物への近接性、地理的特徴の位置、人工構造の位置など)を提供するために使用され得る。
通信システム1110は、通信システム1114を有する端末1112との無線信号1116を介した通信を可能にする。通信システム1110、1114は任意の数の送信器、受信器及び/又は無線通信に好適な送受信器を含み得る。通信は一方向通信であり得、したがってデータは一方向だけに送信され得る。例えば、一方向通信は、移動体1100だけが端末1112へデータを送信する(又は逆もまた同様である)ステップを含み得る。データは、通信システム1110の1つ又は複数の送信器から通信システム1112の1つ又は複数の受信器へ送信され得る(又は逆もまた同様)。代替的に、通信は双方向通信であり得、したがってデータは移動体と端末1112間の両方向に送信され得る。双方向通信は、通信システム1110の1つ又は複数の送信器から通信システム1114の1つ又は複数の受信器へデータを送信する(逆もまた同様である)ステップを含み得る。
幾つかの実施形態では、端末1112は、移動体1100、支持機構1102、搭載物1104のうちの1つ又は複数へ制御データを提供し得、移動体1100、支持機構1102、搭載物1104のうちの1つ又は複数から情報(例えば、移動体、支持機構又は搭載物の位置及び/又は動作情報、搭載物カメラにより捕捉された画像データなどの搭載物により感知されたデータ)を受信し得る。幾つかの例では、端末からの制御データは、移動体、支持機構及び/又は搭載物の相対位置、移動、作動又は制御のための命令を含み得る。例えば、制御データは、移動体の位置及び/又は配向の修正(例えば、推進機構1106の制御を介した)、又は移動体に対する搭載物の移動(例えば、支持機構1102の制御を介した)を生じ得る。端末からの制御データは、カメラ又は他の撮像装置の動作の制御など搭載物の制御(例えば、静止画又は動画を撮影する、ズームイン又はズームアウトする、ターンオン又はオフする、撮像モードを切り替える、被写界深度を変更する、焦点を変更する、画像解像度を変更する、露光時間を変更する、視角又は視野を変更する)を生じ得る。幾つかの例では、移動体、支持機構及び/又は搭載物からの通信は1つ又は複数のセンサからの情報(例えば、感知システム1108又は搭載物1104に関する)を含み得る。通信は1つ又は複数の異なるタイプのセンサ(例えば、GPSセンサ、動作センサ、慣性センサ、近接センサ又は画像センサ)からの感知情報を含み得る。このような情報は移動体、支持機構及び/又は搭載物の位置(例えば、位置、配向)、移動又は加速度に関し得る。搭載物からのこのような情報は搭載物より捕捉されたデータ又は搭載物の感知状態を含み得る。端末1112により送信され提供される制御データは移動体1100、支持機構1102又は搭載物1104のうちの1つ又は複数の状態を制御するように構成され得る。代替的に又は組み合わせて、支持機構1102と搭載物1104はまたそれぞれ、端末1112と通信するように構成された通信モジュールを含み得、したがって端末は移動体1100、支持機構1102、搭載物1104のそれぞれと独立に通信し、それぞれを制御し得る。
幾つかの実施形態では、移動体1100は端末1112に加えて又は端末1112の代わりに別の遠隔装置と通信するように構成され得る。端末1112はまた、移動体1100だけでなく別の遠隔装置とも通信するように構成され得る。例えば、移動体1100及び/又は端末1112は別の移動体と又は別の移動体の支持機構又は搭載物と通信し得る。必要に応じて、遠隔装置は第2の端末又は他のコンピュータ装置(例えば、コンピュータ、ラップトップ、タブレット、スマートフォン又は他の携帯装置)であり得る。遠隔装置は、データを移動体1100へ送信し、データを移動体1100から受信し、データを端末1112へ送信し、及び/又はデータを端末1112から受信するように構成され得る。任意選択的に、遠隔装置はインターネット又は他の電気通信ネットワークへ接続され得、したがって移動体1100及び/又は端末1112から受信されたデータはウェブサイト又はサーバーへアップロードされ得る。
図12は、幾つかの実施形態による、移動体を制御するためのシステム1200のブロック図による概略図である。システム1200は、本明細書において開示されたシステム、装置及び方法の任意の好適な実施形態と組み合わせて使用され得る。システム1200は感知モジュール1202、処理ユニット1204、非一時的コンピュータ可読媒体1206、制御モジュール1208、通信モジュール1210を含み得る。
感知モジュール1202は、移動体に関係する情報を収集する様々なタイプのセンサを様々なやり方で利用し得る。様々なタイプのセンサが様々な源から様々なタイプの信号又は信号を感知し得る。例えば、センサは慣性センサ、GPSセンサ、近接センサ(例えば、ライダー)又は視野/画像センサ(例えば、カメラ)を含み得る。感知モジュール1202は複数のプロセッサを有する処理ユニット1204へ作動可能に結合され得る。幾つかの実施形態では、感知モジュールは、好適な外部装置又はシステムへ感知データを直接送信するように構成された送信モジュール1212(例えば、Wi−Fi映像電送モジュール)へ作動可能に結合され得る。例えば、送信モジュール1212は感知モジュール1202のカメラにより捕捉された画像を遠隔端末へ送信するために使用され得る。
処理ユニット1204はプログラム可能プロセッサ(例えば、中央処理装置(CPU))など1つ又は複数のプロセッサを有し得る。処理ユニット1204は非一時的コンピュータ可読媒体1206へ作動可能に結合され得る。非一時的コンピュータ可読媒体1206は、1つ又は複数のステップを行うための処理ユニット1204により実行可能なロジック、コード及び/又はプログラム命令を格納し得る。非一時的コンピュータ可読媒体は1つ又は複数のメモリユニット(例えば、SDカード又はランダムアクセスメモリ(RAM)など取り外し可能な媒体又は外部記憶装置)を含み得る。幾つかの実施形態では、感知モジュール1202からのデータは非一時的コンピュータ可読媒体1206のメモリユニットへ直接運ばれその中に格納され得る。非一時的コンピュータ可読媒体1206のメモリユニットは、本明細書で説明した方法の任意の好適な実施形態を行うために処理ユニット1204により実行可能なロジック、コード、プログラム命令を及び/又はコードを格納し得る。例えば、処理ユニット1204は、処理ユニット1204の1つ又は複数のプロセッサに感知モジュールにより生成された感知データを解析させる命令を実行するように構成され得る。メモリユニットは、処理ユニット1204により処理される感知モジュールからの感知データを格納し得る。幾つかの実施形態では、非一時的コンピュータ可読媒体1206のメモリユニットは処理ユニット1204により生成された処理結果を格納するために使用され得る。
幾つかの実施形態では、処理ユニット1204は移動体の状態を制御するように構成された制御モジュール1208へ作動可能に結合され得る。例えば、制御モジュール1208は、6つの自由度に関する移動体の空間的配置、速度、及び/又は加速度を調整するように移動体の推進機構を制御するように構成され得る。代替的に又は組み合わせて、制御モジュール1208は支持機構、搭載物又は感知モジュールの状態のうちの1つ又は複数を制御し得る。
処理ユニット1204は、1つ又は複数の外部装置(例えば、端末、表示装置又は他の遠隔制御装置)からデータを送信及び/又は受信するように構成された通信モジュール1210へ作動可能に結合され得る。有線通信又は無線通信など任意の好適な通信手段が使用され得る。例えば、通信モジュール1210は、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、赤外線、無線、WiFi、ポイントツーポイント(P2P)ネットワーク、通信ネットワーク、クラウド通信などのうちの1つ又は複数を利用し得る。任意選択的に、塔、衛星又は移動局などの中継局が使用され得る。無線通信は近接性依存であっても近接性非依存であってもよい。幾つかの実施形態では、通信のための見通し線が要求されてもされなくてもよい。通信モジュール1210は、感知モジュール1202からの感知データ、処理ユニット1204により生成された処理結果、所定の制御データ、端末又は遠隔制御装置からのユーザ命令などのうちの1つ又は複数を送信及び/又は受信し得る。
システム1200の部品は任意の好適な構成で配置され得る。例えば、システム1200の部品の1つ又は複数は、移動体、支持機構、搭載物、端末、感知システム、又はこれらのうちの1つ又は複数と通信する追加外部装置上に配置され得る。加えて、図12は単一処理ユニット1204及び単一非一時的コンピュータ可読媒体1206を描写するが、当業者は、これに限定されることを意図していないということと、システム1200が複数の処理ユニット及び/又は非一時的コンピュータ可読媒体を含み得るということとを認識するだろう。幾つかの実施形態では、複数の処理ユニット及び/又は非一時的コンピュータ可読媒体のうちの1つ又は複数は、移動体、支持機構、搭載物、端末、感知モジュール、上記の1つ又は複数と通信する追加外部装置、又は好適なそれらの組み合わせ上など様々な位置に存在し得、したがってシステム1200により行われる処理及び/又はメモリ機能のうちの任意の好適な態様は前述の位置の1つ又は複数で発生し得る。
本明細書で使用されるように、A及び/又はBは、A又はB、A及びBなどのそれらの組み合わせのうちの1つ又は複数を包含する。
本明細書では本発明の好ましい実施形態が示され説明されたが、このような実施形態が単に一例として提供されたということは当業者にとって明白となる。今や、当業者には、本発明から逸脱すること無く非常に多くの変形、変更、及び置換が思い浮かぶことになる。本明細書に記載の本発明の実施形態の様々な代替案が本発明を実施する際に採用され得るということを理解すべきである。本明細書で説明した実施形態の非常に多くの異なる組み合わせが存在し得、このような組み合わせは本開示の一部と考えられる。加えて、任意の1つの実施形態に関連して本明細書で論述された全ての特徴は、本明細書に記載の他の実施形態における使用に容易に適応化され得る。以下の特許請求の範囲は本発明の範囲を定義し、これらの特許請求の範囲に入る方法と構造及びそれらの同等物はこれによりカバーされるように意図されている。
本明細書では本発明の好ましい実施形態が示され説明されたが、このような実施形態が単に一例として提供されたということは当業者にとって明白となる。今や、当業者には、本発明から逸脱すること無く非常に多くの変形、変更、及び置換が思い浮かぶことになる。本明細書に記載の本発明の実施形態の様々な代替案が本発明を実施する際に採用され得るということを理解すべきである。本明細書で説明した実施形態の非常に多くの異なる組み合わせが存在し得、このような組み合わせは本開示の一部と考えられる。加えて、任意の1つの実施形態に関連して本明細書で論述された全ての特徴は、本明細書に記載の他の実施形態における使用に容易に適応化され得る。以下の特許請求の範囲は本発明の範囲を定義し、これらの特許請求の範囲に入る方法と構造及びそれらの同等物はこれによりカバーされるように意図されている。
[項目1]
移動体により支持された撮像装置を使用して対象物体を撮像するシステムであって、
上記移動体の動作情報を検出するように構成された1つ又は複数のセンサと、
1つ又は複数のプロセッサであって、
上記1つ又は複数のセンサから上記移動体の動作情報を受信し、
上記動作情報に基づき上記移動体と上記対象物体との空間的関係の変化を判断し、
上記移動体と上記対象物体との上記空間的関係の上記判断された変化に基づき、上記撮像装置が上記対象物体上に合焦されるように、上記撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサと
を含むシステム。
[項目2]
上記移動体は無人航空機である、項目1に記載のシステム。
[項目3]
上記撮像装置は固定焦点長を含む、項目1に記載のシステム。
[項目4]
上記撮像装置は可変焦点長を含む、項目1に記載のシステム。
[項目5]
上記撮像装置は画像センサを含む、項目1に記載のシステム。
[項目6]
上記1つ又は複数のセンサは上記移動体により支持される、項目1に記載のシステム。
[項目7]
上記1つ又は複数のセンサは慣性センサ、GPSセンサ又はビジョンカメラのうちの1つ又は複数を含む、項目1に記載のシステム。
[項目8]
上記1つ又は複数のセンサは複数の異なるセンサタイプを含む、項目1に記載のシステム。
[項目9]
上記1つ又は複数のプロセッサは更に、上記動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、上記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される、項目8に記載のシステム。
[項目10]
上記動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む、項目1に記載のシステム。
[項目11]
上記移動体と上記対象物体との上記空間的関係は上記移動体と上記対象物体との間の距離を含む、項目1に記載のシステム。
[項目12]
上記1つ又は複数のプロセッサは更に、上記移動体と上記対象物体との間の上記距離を判断するように構成される、項目11に記載のシステム。
[項目13]
上記1つ又は複数のパラメータは上記撮像装置の光学アセンブリの光学中心と上記撮像装置の画像センサとの間の距離を含む、項目1に記載のシステム。
[項目14]
上記1つ又は複数のパラメータは上記撮像装置の焦点長を含む、項目1に記載のシステム。
[項目15]
上記1つ又は複数のパラメータは上記撮像装置の視野を維持するように修正される、項目1に記載のシステム。
[項目16]
上記1つ又は複数のプロセッサは上記1つ又は複数のパラメータのそれぞれの初期値を受信するように更に構成される、項目1に記載のシステム。
[項目17]
上記初期値はユーザにより入力される、項目16に記載のシステム。
[項目18]
上記初期値は上記移動体と通信する遠隔端末を介し上記ユーザにより入力される、項目17に記載のシステム。
[項目19]
上記1つ又は複数のパラメータは焦点を含み、上記焦点の上記初期値はオートフォーカス方法を使用することにより判断される、項目16に記載のシステム。
[項目20]
上記対象物体は静止している、項目1に記載のシステム。
[項目21]
上記対象物体は移動している、項目1に記載のシステム。
[項目22]
上記1つ又は複数のプロセッサは上記移動体に対する上記対象物体の移動を示す追跡情報を受信するように更に構成され、空間的関係の上記変化は追跡情報に基づき判断される、項目21に記載のシステム。
[項目23]
上記追跡情報は上記対象物体の画像データに基づき生成される、項目22に記載のシステム。
[項目24]
上記1つ又は複数のプロセッサは更に、上記1つ又は複数の修正パラメータを有する上記撮像装置を使用して上記対象物体の画像データを生成するように構成される、項目1に記載のシステム。
[項目25]
移動体により支持された撮像装置を使用して対象物体を撮像する方法であって、
1つ又は複数のセンサを使用して上記移動体の動作情報を検出するステップと、
上記移動体と上記対象物体との空間的関係の変化を上記動作情報に基づき且つ1つ又は複数のプロセッサの助けを借りて判断するステップと、
上記移動体と上記対象物体との上記空間的関係の上記判断された変化に基づき、上記撮像装置が上記対象物体上に合焦されるように、上記撮像装置の1つ又は複数のパラメータを1つ又は複数のプロセッサの助けを借りて修正するステップと
を含む方法。
[項目26]
上記移動体は無人航空機である、項目25に記載の方法。
[項目27]
上記撮像装置は固定焦点長を含む、項目25に記載の方法。
[項目28]
上記撮像装置は可変焦点長を含む、項目25に記載の方法。
[項目29]
上記撮像装置は画像センサを含む、項目25に記載の方法。
[項目30]
上記1つ又は複数のセンサは上記移動体により支持される、項目25に記載の方法。
[項目31]
上記1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む、項目25に記載の方法。
[項目32]
上記1つ又は複数のセンサは複数の異なるセンサタイプを含む、項目25に記載の方法。
[項目33]
上記動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、上記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するステップを更に含む、項目32に記載の方法。
[項目34]
上記動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む、項目25に記載の方法。
[項目35]
上記移動体と上記対象物体との上記空間的関係は上記移動体と上記対象物体との間の距離を含む、項目25に記載の方法。
[項目36]
上記移動体と上記対象物体との間の上記距離を判断するステップを更に含む、項目35に記載の方法。
[項目37]
上記1つ又は複数のパラメータは上記撮像装置の光学アセンブリの光学中心と上記撮像装置の画像センサとの間の距離を含む、項目25に記載の方法。
[項目38]
上記1つ又は複数のパラメータは上記撮像装置の焦点長を含む、項目25に記載の方法。
[項目39]
上記1つ又は複数のパラメータは上記撮像装置の視野を維持するように修正される、項目25に記載の方法。
[項目40]
上記1つ又は複数のパラメータのそれぞれの初期値を受信するステップを更に含む、項目25に記載の方法。
[項目41]
上記初期値はユーザにより入力される、項目40に記載の方法。
[項目42]
上記初期値は上記移動体と通信する遠隔端末を介し上記ユーザにより入力される、項目41に記載の方法。
[項目43]
上記1つ又は複数のパラメータは焦点を含み、上記焦点の上記初期値はオートフォーカス方法を使用することにより判断される、項目41に記載の方法。
[項目44]
上記対象物体は静止している、項目25に記載の方法。
[項目45]
上記対象物体は移動している、項目25に記載の方法。
[項目46]
上記移動体に対する上記対象物体の移動を示す追跡情報を受信するステップを更に含み、空間的関係の上記変化は上記追跡情報に基づき判断される、項目45に記載の方法。
[項目47]
上記追跡情報は上記対象物体の画像データに基づき生成される、項目46に記載の方法。
[項目48]
上記1つ又は複数の修正パラメータを有する上記撮像装置を使用することにより上記対象物体の画像データを生成するステップを更に含む、項目25に記載の方法。
[項目49]
対象物体を撮像するための、移動体により支持された撮像装置であって、
上記移動体上に又はその中に搭載された1つ又は複数のセンサから上記移動体の動作情報を受信し、
上記動作情報に基づき上記移動体と上記対象物体との空間的関係の変化を判断し、
上記移動体と上記対象物体との上記空間的関係の上記判断された変化に基づき、上記撮像装置が上記対象物体上に合焦されるように、上記撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサを含む撮像装置。
[項目50]
上記移動体は無人航空機である、項目49に記載の撮像装置。
[項目51]
上記対象物体からの光を収束するように構成された光学アセンブリを更に含む、項目49に記載の撮像装置。
[項目52]
上記光学アセンブリは固定焦点長を含む、項目51に記載の撮像装置。
[項目53]
上記光学アセンブリは可変焦点長を含む、項目51に記載の撮像装置。
[項目54]
上記対象物体の画像データを生成するように構成された画像センサを更に含む、項目49に記載の撮像装置。
[項目55]
上記1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む、項目49に記載の撮像装置。
[項目56]
上記1つ又は複数のセンサは複数の異なるセンサタイプを含む、項目49に記載の撮像装置。
[項目57]
上記1つ又は複数のプロセッサは更に、上記動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、上記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される、項目56に記載の撮像装置。
[項目58]
上記動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む、項目49に記載の撮像装置。
[項目59]
上記移動体と上記対象物体との上記空間的関係は上記移動体と上記対象物体との間の距離を含む、項目49に記載の撮像装置。
[項目60]
上記1つ又は複数のプロセッサは上記移動体と上記対象物体との間の上記距離を判断するように更に構成される、項目59に記載の撮像装置。
[項目61]
光学アセンブリと画像センサとを更に含み、上記1つ又は複数のパラメータは上記光学アセンブリの光学中心と上記画像センサとの間の距離を含む、項目49に記載の撮像装置。
[項目62]
上記対象物体からの光を収束するように構成された光学アセンブリを更に含み、上記1つ又は複数のパラメータは上記光学アセンブリの焦点長を含む、項目49に記載の撮像装置。
[項目63]
視野を有する光学アセンブリを更に含み、上記1つ又は複数のパラメータは上記光学アセンブリの上記視野を維持するように修正される、項目49に記載の撮像装置。
[項目64]
上記1つ又は複数のプロセッサは上記1つ又は複数のパラメータのそれぞれの初期値を受信するように更に構成される、項目49に記載の撮像装置。
[項目65]
上記初期値はユーザにより入力される、項目64に記載の撮像装置。
[項目66]
上記初期値は上記移動体と通信する遠隔端末を介し上記ユーザにより入力される、項目65に記載の撮像装置。
[項目67]
上記1つ又は複数のパラメータは焦点を含み、上記焦点の上記初期値はオートフォーカス方法を使用することにより判断される、項目65に記載の撮像装置。
[項目68]
上記対象物体は静止している、項目49に記載の撮像装置。
[項目69]
上記対象物体は移動している、項目49に記載の撮像装置。
[項目70]
上記1つ又は複数のプロセッサは上記移動体に対する上記対象物体の移動を示す追跡情報を受信するように更に構成され、空間的関係の上記変化は上記追跡情報に基づき判断される、項目69に記載の撮像装置。
[項目71]
上記追跡情報は上記対象物体の画像データに基づき生成される、項目70に記載の撮像装置。
[項目72]
上記1つ又は複数のプロセッサは上記1つ又は複数の修正パラメータに従って上記対象物体の画像データを生成するように更に構成される、項目49に記載の撮像装置。
[項目73]
対象物体を撮像するための撮像装置であって、
上記撮像装置の動作情報を検出するように構成された1つ又は複数のセンサと、
1つ又は複数のプロセッサであって、
上記1つ又は複数のセンサから上記撮像装置の上記動作情報を受信し、
上記動作情報に基づき上記撮像装置と上記対象物体との空間的関係の変化を判断し、
上記撮像装置が上記対象物体上に合焦されるように、上記撮像装置と上記対象物体との上記空間的関係の上記判断された変化に基づき上記撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサと
を含む撮像装置。
[項目74]
上記撮像装置は上記移動体により支持される、項目73に記載の撮像装置。
[項目75]
上記移動体は無人航空機である、項目74に記載の撮像装置。
[項目76]
上記対象物体からの光を収束するように構成された光学アセンブリを更に含む、項目73に記載の撮像装置。
[項目77]
上記光学アセンブリは固定焦点長を含む、項目76に記載の撮像装置。
[項目78]
上記光学アセンブリは可変焦点長を含む、項目76に記載の撮像装置。
[項目79]
上記対象物体の画像データを生成するように構成された画像センサを更に含む、項目73に記載の撮像装置。
[項目80]
上記1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む、項目73に記載の撮像装置。
[項目81]
上記1つ又は複数のセンサは複数の異なるセンサタイプを含む、項目73に記載の撮像装置。
[項目82]
上記1つ又は複数のプロセッサは更に、上記動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、上記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される、項目81に記載の撮像装置。
[項目83]
上記動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む、項目82に記載の撮像装置。
[項目84]
上記撮像装置と上記対象物体との上記空間的関係は上記撮像装置と上記対象物体との間の距離を含む、項目73に記載の撮像装置。
[項目85]
上記1つ又は複数のプロセッサは上記撮像装置と上記対象物体との間の上記距離を判断するように更に構成される、項目84に記載の撮像装置。
[項目86]
光学アセンブリと画像センサとを更に含み、上記1つ又は複数のパラメータは上記光学アセンブリの光学中心と上記画像センサとの間の距離を含む、項目73に記載の撮像装置。
[項目87]
上記対象物体からの光を収束するように構成された光学アセンブリを更に含み、上記1つ又は複数のパラメータは上記光学アセンブリの焦点長を含む、項目73に記載の撮像装置。
[項目88]
視野を有する光学アセンブリを更に含み、上記1つ又は複数のパラメータは上記光学アセンブリの上記視野を維持するように修正される、項目73に記載の撮像装置。
[項目89]
上記1つ又は複数のプロセッサは上記1つ又は複数のパラメータのそれぞれの初期値を受信するように更に構成される、項目73に記載の撮像装置。
[項目90]
上記初期値はユーザにより入力される、項目90に記載の撮像装置。
[項目91]
上記初期値は上記撮像装置と通信する遠隔端末を介し上記ユーザにより入力される、項目91に記載の撮像装置。
[項目92]
上記1つ又は複数のパラメータは焦点を含み、上記焦点の上記初期値はオートフォーカス方法を使用することにより判断される、項目90に記載の撮像装置。
[項目93]
上記対象物体は静止している、項目73に記載の撮像装置。
[項目94]
上記対象物体は移動している、項目73に記載の撮像装置。
[項目95]
上記1つ又は複数のプロセッサは上記移動体に対する上記対象物体の移動を示す追跡情報を受信するように更に構成され、空間的関係の上記変化は追跡情報に基づき判断される、項目94に記載の撮像装置。
[項目96]
上記追跡情報は上記対象物体の画像データに基づき生成される、項目95に記載の撮像装置。
[項目97]
上記1つ又は複数のプロセッサは上記1つ又は複数の修正パラメータに従って上記対象物体の画像データを生成するように更に構成される、項目73に記載の撮像装置。
[項目98]
移動体により支持された撮像装置を使用して対象物体を撮像するシステムであって、
上記移動体の動作情報を検出するように構成された1つ又は複数のセンサと、
1つ又は複数のプロセッサであって、
上記1つ又は複数のセンサから上記移動体の動作情報を受信し、
上記動作情報に基づき上記移動体の空間的配置の変化を判断し、
上記撮像装置が上記対象物体上に合焦されるように、上記移動体の空間的配置の上記判断された変化に基づき上記撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサと
を含むシステム。
[項目99]
上記移動体は無人航空機である、項目98に記載のシステム。
[項目100]
上記撮像装置は固定焦点長を含む、項目98に記載のシステム。
[項目101]
上記撮像装置は可変焦点長を含む、項目98に記載のシステム。
[項目102]
上記撮像装置は画像センサを含む、項目98に記載のシステム。
[項目103]
上記1つ又は複数のセンサは上記移動体により支持される、項目98に記載のシステム。
[項目104]
上記1つ又は複数のセンサは慣性センサ、GPSセンサ又はビジョンカメラのうちの1つ又は複数を含む、項目98に記載のシステム。
[項目105]
上記1つ又は複数のセンサは複数の異なるセンサタイプを含む、項目98に記載のシステム。
[項目106]
上記1つ又は複数のプロセッサは更に、上記動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、上記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される、項目105に記載のシステム。
[項目107]
上記動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む、項目98に記載のシステム。
[項目108]
上記空間的配置は3つの自由度に関する上記移動体の位置と、3つの自由度に関する上記移動体の配向とを含む、項目98に記載のシステム。
[項目109]
上記空間的配置は移動体の経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数を含む、項目98に記載のシステム。
[項目110]
上記1つ又は複数のパラメータは上記撮像装置の光学アセンブリの光学中心と上記撮像装置の画像センサとの間の距離を含む、項目98に記載のシステム。
[項目111]
上記1つ又は複数のパラメータは上記撮像装置の焦点長を含む、項目98に記載のシステム。
[項目112]
上記1つ又は複数のパラメータは上記撮像装置の視野を維持するように修正される、項目98に記載のシステム。
[項目113]
上記1つ又は複数のプロセッサは上記1つ又は複数のパラメータのそれぞれの初期値を受信するように更に構成される、項目98に記載のシステム。
[項目114]
上記初期値はユーザにより入力される、項目113に記載のシステム。
[項目115]
上記初期値は上記移動体と通信する遠隔端末を介し上記ユーザにより入力される、項目114に記載のシステム。
[項目116]
上記1つ又は複数のパラメータは焦点を含み、上記焦点の上記初期値はオートフォーカス方法を使用することにより判断される、項目113に記載のシステム。
[項目117]
上記対象物体は静止している、項目98に記載のシステム。
[項目118]
上記対象物体は移動している、項目98に記載のシステム。
[項目119]
上記1つ又は複数のプロセッサは上記移動体に対する上記対象物体の移動を示す追跡情報を受信するように更に構成され、上記1つ又は複数のパラメータは上記追跡情報に基づき修正される、項目118に記載のシステム。
[項目120]
上記追跡情報は上記対象物体の画像データに基づき生成される、項目119に記載のシステム。
[項目121]
上記1つ又は複数のプロセッサは更に、上記1つ又は複数の修正パラメータを有する上記撮像装置を使用して上記対象物体の画像データを生成するように構成される、項目98に記載のシステム。
[項目122]
移動体により支持された撮像装置を使用して対象物体を撮像する方法であって、
1つ又は複数のセンサを使用して上記移動体の動作情報を検出するステップと、
上記移動体と上記対象物体との空間的関係の変化を上記動作情報に基づき且つ1つ又は複数のプロセッサの助けを借りて判断するステップと、
上記移動体と上記対象物体との上記空間的関係の上記判断された変化に基づき、上記撮像装置が上記対象物体上に合焦されるように、上記撮像装置の1つ又は複数のパラメータを1つ又は複数のプロセッサの助けを借りて修正するステップと
を含む方法。
[項目123]
上記移動体は無人航空機である、項目122に記載の方法。
[項目124]
上記撮像装置は固定焦点長を含む、項目122に記載の方法。
[項目125]
上記撮像装置は可変焦点長を含む、項目122に記載の方法。
[項目126]
上記撮像装置は画像センサを含む、項目122に記載の方法。
[項目127]
上記1つ又は複数のセンサは上記移動体により支持される、項目122に記載の方法。
[項目128]
上記1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む、項目122に記載の方法。
[項目129]
上記1つ又は複数のセンサは複数の異なるセンサタイプを含む、項目122に記載の方法。
[項目130]
上記動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、上記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するステップを更に含む、項目129に記載の方法。
[項目131]
上記動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む、項目122に記載の方法。
[項目132]
上記空間的配置は3つの自由度に関する上記移動体の位置と、3つの自由度に関する上記移動体の配向とを含む、項目122に記載の方法。
[項目133]
上記空間的配置は上記移動体の経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数を含む、項目122に記載の方法。
[項目134]
上記1つ又は複数のパラメータは上記撮像装置の光学アセンブリの光学中心と上記撮像装置の画像センサとの間の距離を含む、項目122に記載の方法。
[項目135]
上記1つ又は複数のパラメータは上記撮像装置の焦点長を含む、項目122に記載の方法。
[項目136]
上記1つ又は複数のパラメータは撮像装置の視野を維持するように修正される、項目122に記載の方法。
[項目137]
上記1つ又は複数のパラメータのそれぞれの初期値を受信するステップを更に含む、項目122に記載の方法。
[項目138]
上記初期値はユーザにより入力される、項目137に記載の方法。
[項目139]
上記初期値は上記移動体と通信する遠隔端末を介し上記ユーザにより入力される、項目138に記載の方法。
[項目140]
上記1つ又は複数のパラメータは焦点を含み、上記焦点の上記初期値はオートフォーカス方法を使用することにより判断される、項目137に記載の方法。
[項目141]
上記対象物体は静止している、項目122に記載の方法。
[項目142]
上記対象物体は移動している、項目122に記載の方法。
[項目143]
上記移動体に対する上記対象物体の移動を示す追跡情報を受信するステップを更に含み、上記1つ又は複数のパラメータは上記追跡情報に基づき修正される、項目142に記載の方法。
[項目144]
上記追跡情報は上記対象物体の画像データに基づき生成される、項目143に記載の方法。
[項目145]
上記1つ又は複数の修正パラメータを有する上記撮像装置を使用することにより上記対象物体の画像データを生成するステップを更に含む、項目122に記載の方法。
[項目146]
対象物体を撮像するための、移動体により支持された撮像装置であって、
上記移動体上に又はその中に搭載された1つ又は複数のセンサから上記移動体の動作情報を受信し、
上記動作情報に基づき上記移動体と上記対象物体との空間的関係の変化を判断し、
上記移動体と上記対象物体との上記空間的関係の上記判断された変化に基づき、上記撮像装置が上記対象物体上に合焦されるように、上記撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサを含む、撮像装置。
[項目147]
上記移動体は無人航空機である、項目146に記載の撮像装置。
[項目148]
上記対象物体からの光を収束するように構成された光学アセンブリを更に含む、項目146に記載の撮像装置。
[項目149]
上記光学アセンブリは固定焦点長を含む、項目148に記載の撮像装置。
[項目150]
上記光学アセンブリは可変焦点長を含む、項目148に記載の撮像装置。
[項目151]
上記対象物体の画像データを生成するように構成された画像センサを更に含む、項目146に記載の撮像装置。
[項目152]
上記1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む、項目146に記載の撮像装置。
[項目153]
上記1つ又は複数のセンサは複数の異なるセンサタイプを含む、項目146に記載の撮像装置。
[項目154]
上記1つ又は複数のプロセッサは更に、上記動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、上記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される、項目153に記載の撮像装置。
[項目155]
上記動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む、項目146に記載の撮像装置。
[項目156]
上記空間的配置は3つの自由度に関する上記移動体の位置と、3つの自由度に関する上記移動体の配向とを含む、項目146に記載の撮像装置。
[項目157]
上記空間的配置は上記移動体の経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数を含む、項目146に記載の撮像装置。
[項目158]
光学アセンブリと画像センサとを更に含み、上記1つ又は複数のパラメータは上記撮像装置の上記光学アセンブリの光学中心と上記撮像装置の上記画像センサとの間の距離を含む、項目146に記載の撮像装置。
[項目159]
上記対象物体からの光を収束するように構成された光学アセンブリを更に含み、上記1つ又は複数のパラメータは上記光学アセンブリの焦点長を含む、項目146に記載の撮像装置。
[項目160]
視野を有する光学アセンブリを更に含み、上記1つ又は複数のパラメータは上記光学アセンブリの視野を維持するように修正される、項目146に記載の撮像装置。
[項目161]
上記1つ又は複数のプロセッサは上記1つ又は複数のパラメータのそれぞれの初期値を受信するように更に構成される、項目146に記載の撮像装置。
[項目162]
上記初期値はユーザにより入力される、項目161に記載の撮像装置。
[項目163]
上記初期値は上記移動体と通信する遠隔端末を介し上記ユーザにより入力される、項目162に記載の撮像装置。
[項目164]
上記1つ又は複数のパラメータは焦点を含み、上記焦点の上記初期値はオートフォーカス方法を使用することにより判断される、項目161に記載の撮像装置。
[項目165]
上記対象物体は静止している、項目146に記載の撮像装置。
[項目166]
上記対象物体は移動している、項目146に記載の撮像装置。
[項目167]
上記1つ又は複数のプロセッサは上記移動体に対する上記対象物体の移動を示す追跡情報を受信するように更に構成され、上記1つ又は複数のパラメータは上記追跡情報に基づき修正される、項目166に記載の撮像装置。
[項目168]
上記追跡情報は上記対象物体の画像データに基づき生成される、項目167に記載の撮像装置。
[項目169]
上記1つ又は複数のプロセッサは上記1つ又は複数の修正パラメータに従って上記対象物体の画像データを生成するように更に構成される、項目146に記載の撮像装置。
[項目170]
対象物体を撮像するための撮像装置であって、
上記撮像装置の動作情報を検出するように構成された1つ又は複数のセンサと、
1つ又は複数のプロセッサであって、
上記1つ又は複数のセンサから上記撮像装置の上記動作情報を受信し、
上記動作情報に基づき上記撮像装置と上記対象物体との空間的関係の変化を判断し、
上記撮像装置が上記対象物体上に合焦されるように、上記撮像装置と上記対象物体との上記空間的関係の上記判断された変化に基づき上記撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサと
を含む撮像装置。
[項目171]
上記撮像装置は上記移動体により支持される、項目170に記載の撮像装置。
[項目172]
上記移動体は無人航空機である、項目171に記載の撮像装置。
[項目173]
上記対象物体からの光を収束するように構成された光学アセンブリを更に含む、項目170に記載の撮像装置。
[項目174]
上記光学アセンブリは固定焦点長を含む、項目173に記載の撮像装置。
[項目175]
上記光学アセンブリは可変焦点長を含む、項目173に記載の撮像装置。
[項目176]
上記対象物体の画像データを生成するように構成された画像センサを更に含む、項目170に記載の撮像装置。
[項目177]
上記1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む、項目170に記載の撮像装置。
[項目178]
上記1つ又は複数のセンサは複数の異なるセンサタイプを含む、項目170に記載の撮像装置。
[項目179]
上記1つ又は複数のプロセッサは更に、上記動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、上記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される、項目178に記載の撮像装置。
[項目180]
上記動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む、項目179に記載の撮像装置。
[項目181]
上記空間的配置は3つの自由度に関する上記撮像装置の位置と、3つの自由度に関する上記撮像装置の配向とを含む、項目170に記載の撮像装置。
[項目182]
上記空間的配置は上記移動体の経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数を含む、項目170に記載の撮像装置。
[項目183]
光学アセンブリと画像センサとを更に含み、上記1つ又は複数のパラメータは上記光学アセンブリの光学中心と上記画像センサとの間の距離を含む、項目170に記載の撮像装置。
[項目184]
上記対象物体からの光を収束するように構成された光学アセンブリを更に含み、上記1つ又は複数のパラメータは上記光学アセンブリの焦点長を含む、項目170に記載の撮像装置。
[項目185]
視野を有する光学アセンブリを更に含み、上記1つ又は複数のパラメータは上記光学アセンブリの視野を維持するように修正される、項目170に記載の撮像装置。
[項目186]
上記1つ又は複数のプロセッサは上記1つ又は複数のパラメータのそれぞれの初期値を受信するように更に構成される、項目170に記載の撮像装置。
[項目187]
上記初期値はユーザにより入力される、項目186に記載の撮像装置。
[項目188]
上記初期値は上記撮像装置と通信する遠隔端末を介し上記ユーザにより入力される、項目188に記載の撮像装置。
[項目189]
上記1つ又は複数のパラメータは焦点を含み、上記焦点の上記初期値はオートフォーカス方法を使用することにより判断される、項目186に記載の撮像装置。
[項目190]
上記対象物体は静止している、項目170に記載の撮像装置。
[項目191]
上記対象物体は移動している、項目170に記載の撮像装置。
[項目192]
上記1つ又は複数のプロセッサは上記移動体に対する上記対象物体の移動を示す追跡情報を受信するように更に構成され、上記1つ又は複数のパラメータは上記追跡情報に基づき修正される、項目191に記載の撮像装置。
[項目193]
上記追跡情報は上記対象物体の画像データに基づき生成される、項目192に記載の撮像装置。
[項目194]
上記1つ又は複数のプロセッサは上記1つ又は複数の修正パラメータに従って上記対象物体の画像データを生成するように更に構成される、項目170に記載の撮像装置。
[項目195]
移動体により支持された撮像装置を使用して対象物体を撮像するシステムであって、
上記移動体の動作を検出するように構成された1つ又は複数のセンサと、
1つ又は複数のプロセッサであって、
上記移動体が第1の空間的配置である場合に上記撮像装置が上記対象物体上に合焦されるように上記撮像装置の1つ又は複数のパラメータを設定し、
1つ又は複数のセンサを使用して、上記第1の空間的配置から第2の空間的配置への上記移動体の移動を検出し、
上記移動体が上記第2の空間的配置である場合に上記撮像装置が上記対象物体上に合焦されるように、検出された移動に応じて上記撮像装置の上記1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサと
を含むシステム。
[項目196]
上記移動体は無人航空機である、項目195に記載のシステム。
[項目197]
上記撮像装置は固定焦点長を含む、項目195に記載のシステム。
[項目198]
上記撮像装置は可変焦点長を含む、項目195に記載のシステム。
[項目199]
上記撮像装置は画像センサを含む、項目195に記載のシステム。
[項目200]
上記1つ又は複数のセンサは上記移動体により支持される、項目195に記載のシステム。
[項目201]
上記1つ又は複数のセンサは慣性センサ、GPSセンサ又はビジョンカメラのうちの1つ又は複数を含む、項目195に記載のシステム。
[項目202]
上記1つ又は複数のセンサは複数の異なるセンサタイプを含む、項目195に記載のシステム。
[項目203]
上記1つ又は複数のプロセッサは更に、上記移動を検出するようにセンサフュージョンアルゴリズムを使用して、上記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される、項目202に記載のシステム。
[項目204]
上記第2の空間的配置は位置又は配向のうちの1つ又は複数に関し上記第1の空間的配置と異なる、項目195に記載のシステム。
[項目205]
上記第2の空間的配置は経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数に関し上記第1の空間的配置と異なる、項目195に記載のシステム。
[項目206]
上記1つ又は複数のパラメータは上記撮像装置の光学アセンブリの光学中心と上記撮像装置の画像センサとの間の距離を含む、項目195に記載のシステム。
[項目207]
上記1つ又は複数のパラメータは上記撮像装置の焦点長を含む、項目195に記載のシステム。
[項目208]
上記1つ又は複数のパラメータは上記撮像装置の視野を維持するように修正される、項目195に記載のシステム。
[項目209]
上記修正ステップは上記検出された移動に基づき上記1つ又は複数のパラメータに対する修正を判断するステップを含む、項目195に記載のシステム。
[項目210]
上記修正は上記対象物体を撮像すること無く判断される、項目209に記載のシステム。
[項目211]
上記修正は上記撮像装置の焦点を変更すること無く判断される、項目209に記載のシステム。
[項目212]
上記修正はユーザからの入力を利用すること無く判断される、項目209に記載のシステム。
[項目213]
上記設定ステップは上記1つ又は複数のパラメータのそれぞれの初期値を受信するステップを含む、項目195に記載のシステム。
[項目214]
上記初期値はユーザにより入力される、項目213に記載のシステム。
[項目215]
上記初期値は上記移動体と通信する遠隔端末を介し上記ユーザにより入力される、項目214に記載のシステム。
[項目216]
上記設定ステップは、上記撮像装置を上記対象物体上に合焦させるためにオートフォーカス方法を使用するステップを含む、項目195に記載のシステム。
[項目217]
上記対象物体は静止している、項目195に記載のシステム。
[項目218]
上記対象物体は移動している、項目195に記載のシステム。
[項目219]
上記1つ又は複数のプロセッサは上記移動体に対する上記対象物体の移動を示す追跡情報を受信するように更に構成され、空間的関係の上記変化は上記追跡情報に基づき判断される、項目218に記載のシステム。
[項目220]
上記追跡情報は上記対象物体の画像データに基づき生成される、項目219に記載のシステム。
[項目221]
上記1つ又は複数のプロセッサは更に、上記1つ又は複数の修正パラメータを有する上記撮像装置を使用して上記対象物体の画像データを生成するように構成される、項目195に記載のシステム。
[項目222]
移動体により支持された撮像装置を使用して対象物体を撮像する方法であって、
上記移動体が第1の空間的配置である場合に上記撮像装置が上記対象物体上に合焦されるように上記撮像装置の1つ又は複数のパラメータを1つ又は複数のプロセッサの助けを借りて設定するステップと、
1つ又は複数のセンサを使用して、上記第1の空間的配置から第2の空間的配置への上記移動体の移動を検出するステップと、
上記移動体が上記第2の空間的配置である場合に上記撮像装置が上記対象物体上に合焦されるように、検出された移動に応じて上記撮像装置の1つ又は複数のパラメータを1つ又は複数のプロセッサの助けを借りて修正するステップと
を含む方法。
[項目223]
上記移動体は無人航空機である、項目222に記載の方法。
[項目224]
上記撮像装置は固定焦点長を含む、項目222に記載の方法。
[項目225]
上記撮像装置は可変焦点長を含む、項目222に記載の方法。
[項目226]
上記撮像装置は画像センサを含む、項目222に記載の方法。
[項目227]
上記1つ又は複数のセンサは上記移動体により支持される、項目222に記載の方法。
[項目228]
上記1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む、項目222に記載の方法。
[項目229]
上記1つ又は複数のセンサは複数の異なるセンサタイプを含む、項目222に記載の方法。
[項目230]
上記移動を検出するようにセンサフュージョンアルゴリズムを使用して、上記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するステップを更に含む、項目229に記載の方法。
[項目231]
上記第2の空間的配置は位置又は配向のうちの1つ又は複数に関し上記第1の空間的配置と異なる、項目222に記載の方法。
[項目232]
上記第2の空間的配置は経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数に関し上記第1の空間的配置と異なる、項目222に記載の方法。
[項目233]
上記1つ又は複数のパラメータは上記撮像装置の光学アセンブリの光学中心と上記撮像装置の画像センサとの間の距離を含む、項目222に記載の方法。
[項目234]
上記1つ又は複数のパラメータは上記撮像装置の焦点長を含む、項目222に記載の方法。
[項目235]
上記1つ又は複数のパラメータは撮像装置の視野を維持するように修正される、項目222に記載の方法。
[項目236]
上記1つ又は複数のパラメータを修正する上記ステップは上記検出された移動に基づき上記1つ又は複数のパラメータに対する修正を判断するステップを含む、項目222に記載の方法。
[項目237]
上記修正は上記対象物体を撮像すること無く判断される、項目236に記載の方法。
[項目238]
上記修正は上記撮像装置の焦点を変更すること無く判断される、項目236に記載の方法。
[項目239]
上記修正はユーザからの入力を利用すること無く判断される、項目236に記載の方法。
[項目240]
上記1つ又は複数のパラメータを設定するステップは上記1つ又は複数のパラメータのそれぞれの初期値を受信するステップを含む、項目222に記載の方法。
[項目241]
上記初期値はユーザにより入力される、項目240に記載の方法。
[項目242]
上記初期値は上記移動体と通信する遠隔端末を介し上記ユーザにより入力される、項目241に記載の方法。
[項目243]
上記1つ又は複数のパラメータを設定するステップは上記撮像装置を上記対象物体上に合焦させるためにオートフォーカス方法を使用するステップを含む、項目222に記載の方法。
[項目244]
上記対象物体は静止している、項目222に記載の方法。
[項目245]
上記対象物体は移動している、項目222に記載の方法。
[項目246]
上記移動体に対する上記対象物体の移動を示す追跡情報を受信するステップを更に含み、空間的関係の上記変化は上記追跡情報に基づき判断される、項目245に記載の方法。
[項目247]
上記追跡情報は上記対象物体の画像データに基づき生成される、項目246に記載の方法。
[項目248]
上記1つ又は複数の修正パラメータを有する上記撮像装置を使用することにより上記対象物体の画像データを生成するステップを更に含む、項目222に記載の方法。
[項目249]
対象物体を撮像するための、移動体により支持された撮像装置であって、
上記移動体が第1の空間的配置である場合に上記撮像装置が上記対象物体上に合焦されるように上記撮像装置の1つ又は複数のパラメータを設定し、
1つ又は複数のセンサを使用して、上記第1の空間的配置から第2の空間的配置への上記移動体の移動を検出し、
上記移動体が上記第2の空間的配置である場合に上記撮像装置が上記対象物体上に合焦されるように、検出された移動に応じて上記撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサを含む撮像装置。
[項目250]
上記移動体は無人航空機である、項目249に記載の撮像装置。
[項目251]
上記対象物体からの光を収束するように構成された光学アセンブリを更に含む、項目249に記載の撮像装置。
[項目252]
上記光学アセンブリは固定焦点長を含む、項目251に記載の撮像装置。
[項目253]
上記光学アセンブリは可変焦点長を含む、項目251に記載の撮像装置。
[項目254]
上記対象物体の画像データを生成するように構成された画像センサを更に含む、項目249に記載の撮像装置。
[項目255]
上記1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む、項目249に記載の撮像装置。
[項目256]
上記1つ又は複数のセンサは複数の異なるセンサタイプを含む、項目249に記載の撮像装置。
[項目257]
上記1つ又は複数のプロセッサは更に、上記移動を検出するようにセンサフュージョンアルゴリズムを使用して、上記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される、項目256に記載の撮像装置。
[項目258]
上記第2の空間的配置は位置又は配向のうちの1つ又は複数に関し上記第1の空間的配置と異なる、項目249に記載の撮像装置。
[項目259]
上記第2の空間的配置は経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数に関し上記第1の空間的配置と異なる、項目249に記載の撮像装置。
[項目260]
光学アセンブリと画像センサとを更に含み、上記1つ又は複数のパラメータは上記光学アセンブリの光学中心と上記画像センサとの間の距離を含む、項目249に記載の撮像装置。
[項目261]
上記対象物体からの光を収束するように構成された光学アセンブリを更に含み、上記1つ又は複数のパラメータは上記光学アセンブリの焦点長を含む、項目249に記載の撮像装置。
[項目262]
視野を有する光学アセンブリを更に含み、上記1つ又は複数のパラメータは上記光学アセンブリの視野を維持するように修正される、項目249に記載の撮像装置。
[項目263]
上記修正ステップは上記検出された移動に基づき上記1つ又は複数のパラメータに対する修正を判断するステップを含む、項目249に記載の撮像装置。
[項目264]
上記修正は上記対象物体を撮像すること無く判断される、項目263に記載の撮像装置。
[項目265]
上記修正は上記撮像装置の焦点を変更すること無く判断される、項目263に記載の撮像装置。
[項目266]
上記修正はユーザからの入力を利用すること無く判断される、項目263に記載の撮像装置。
[項目267]
上記設定ステップは上記1つ又は複数のパラメータのそれぞれの初期値を受信するステップを含む、項目249に記載の撮像装置。
[項目268]
上記初期値はユーザにより入力される、項目267に記載の撮像装置。
[項目269]
上記初期値は上記移動体と通信する遠隔端末を介し上記ユーザにより入力される、項目268に記載の撮像装置。
[項目270]
上記設定ステップは、上記撮像装置を上記対象物体上に合焦させるためにオートフォーカス方法を使用するステップを含む、項目249に記載の撮像装置。
[項目271]
上記対象物体は静止している、項目249に記載の撮像装置。
[項目272]
上記対象物体は移動している、項目249に記載の撮像装置。
[項目273]
上記1つ又は複数のプロセッサは上記移動体に対する上記対象物体の移動を示す追跡情報を受信するように更に構成され、上記1つ又は複数のパラメータは上記追跡情報に基づき修正される、項目272に記載の撮像装置。
[項目274]
上記追跡情報は上記対象物体の画像データに基づき生成される、項目273に記載の撮像装置。
[項目275]
上記1つ又は複数のプロセッサは上記1つ又は複数の修正パラメータに従って上記対象物体の画像データを生成するように更に構成される、項目249に記載の撮像装置。
[項目276]
対象物体を撮像するための撮像装置であって、
上記撮像装置の動作情報を検出するように構成された1つ又は複数のセンサと、
1つ又は複数のプロセッサであって、
上記撮像装置が第1の空間的配置である場合に上記撮像装置が上記対象物体上に合焦されるように上記撮像装置の1つ又は複数のパラメータを設定し、
1つ又は複数のセンサを使用して、上記第1の空間的配置から第2の空間的配置への上記撮像装置の移動を検出し、
上記撮像装置が上記第2の空間的配置である場合に上記撮像装置が上記対象物体上に合焦されるように、検出された移動に応じて上記撮像装置の上記1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサと
を含む撮像装置。
[項目277]
上記撮像装置は上記移動体により支持される、項目276に記載の撮像装置。
[項目278]
上記移動体は無人航空機である、項目277に記載の撮像装置。
[項目279]
上記対象物体からの光を収束するように構成された光学アセンブリを更に含む、項目276に記載の撮像装置。
[項目280]
上記光学アセンブリは固定焦点長を含む、項目279に記載の撮像装置。
[項目281]
上記光学アセンブリは可変焦点長を含む、項目279に記載の撮像装置。
[項目282]
上記対象物体の画像データを生成するように構成された画像センサを更に含む、項目276に記載の撮像装置。
[項目283]
上記1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む、項目276に記載の撮像装置。
[項目284]
上記1つ又は複数のセンサは複数の異なるセンサタイプを含む、項目276に記載の撮像装置。
[項目285]
上記1つ又は複数のプロセッサは更に、上記移動を検出するようにセンサフュージョンアルゴリズムを使用して、上記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される、項目284に記載の撮像装置。
[項目286]
上記第2の空間的配置は、位置又は配向のうちの1つ又は複数に関し上記第1の空間的配置と異なる、項目276に記載の撮像装置。
[項目287]
上記第2の空間的配置は経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数に関し上記第1の空間的配置と異なる、項目276に記載の撮像装置。
[項目288]
光学アセンブリと画像センサとを更に含み、上記1つ又は複数のパラメータは上記光学アセンブリの光学中心と上記画像センサとの間の距離を含む、項目276に記載の撮像装置。
[項目289]
上記対象物体からの光を収束するように構成された光学アセンブリを更に含み、上記1つ又は複数のパラメータは上記光学アセンブリの焦点長を含む、項目276に記載の撮像装置。
[項目290]
視野を有する光学アセンブリを更に含み、上記1つ又は複数のパラメータは上記光学アセンブリの視野を維持するように修正される、項目276に記載の撮像装置。
[項目291]
上記修正ステップは上記検出された移動に基づき上記1つ又は複数のパラメータに対する修正を判断するステップを含む、項目276に記載の撮像装置。
[項目292]
上記修正は上記対象物体を撮像すること無く判断される、項目291に記載の撮像装置。
[項目293]
上記修正は上記撮像装置の焦点を変更すること無く判断される、項目291に記載の撮像装置。
[項目294]
上記修正はユーザからの入力を利用すること無く判断される、項目291に記載の撮像装置。
[項目295]
上記設定ステップは上記1つ又は複数のパラメータのそれぞれの初期値を受信するステップを含む、項目276に記載の撮像装置。
[項目296]
上記初期値はユーザにより入力される、項目295に記載の撮像装置。
[項目297]
上記初期値は上記移動体と通信する遠隔端末を介し上記ユーザにより入力される、項目296に記載の撮像装置。
[項目298]
上記設定ステップは、上記撮像装置を上記対象物体上に合焦させるためにオートフォーカス方法を使用するステップを含む、項目276に記載の撮像装置。
[項目299]
上記対象物体は静止している、項目276に記載の撮像装置。
[項目300]
上記対象物体は移動している、項目276に記載の撮像装置。
[項目301]
上記1つ又は複数のプロセッサは上記撮像装置に対する上記対象物体の移動を示す追跡情報を受信するように更に構成され、上記1つ又は複数のパラメータは上記追跡情報に基づき修正される、項目300に記載の撮像装置。
[項目302]
上記追跡情報は上記対象物体の画像データに基づき生成される、項目301に記載の撮像装置。
[項目303]
上記1つ又は複数のプロセッサは上記1つ又は複数の修正パラメータに従って上記対象物体の画像データを生成するように更に構成される、項目276に記載の撮像装置。

Claims (303)

  1. 移動体により支持された撮像装置を使用して対象物体を撮像するシステムであって、
    前記移動体の動作情報を検出するように構成された1つ又は複数のセンサと、
    1つ又は複数のプロセッサであって、
    前記1つ又は複数のセンサから前記移動体の動作情報を受信し、
    前記動作情報に基づき前記移動体と前記対象物体との空間的関係の変化を判断し、
    前記移動体と前記対象物体との前記空間的関係の前記判断された変化に基づき、前記撮像装置が前記対象物体上に合焦されるように、前記撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサと
    を含むシステム。
  2. 前記移動体は無人航空機である、請求項1に記載のシステム。
  3. 前記撮像装置は固定焦点長を含む、請求項1に記載のシステム。
  4. 前記撮像装置は可変焦点長を含む、請求項1に記載のシステム。
  5. 前記撮像装置は画像センサを含む、請求項1に記載のシステム。
  6. 前記1つ又は複数のセンサは前記移動体により支持される、請求項1に記載のシステム。
  7. 前記1つ又は複数のセンサは慣性センサ、GPSセンサ又はビジョンカメラのうちの1つ又は複数を含む、請求項1に記載のシステム。
  8. 前記1つ又は複数のセンサは複数の異なるセンサタイプを含む、請求項1に記載のシステム。
  9. 前記1つ又は複数のプロセッサは更に、前記動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、前記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される、請求項8に記載のシステム。
  10. 前記動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む、請求項1に記載のシステム。
  11. 前記移動体と前記対象物体との前記空間的関係は前記移動体と前記対象物体との間の距離を含む、請求項1に記載のシステム。
  12. 前記1つ又は複数のプロセッサは更に、前記移動体と前記対象物体との間の前記距離を判断するように構成される、請求項11に記載のシステム。
  13. 前記1つ又は複数のパラメータは前記撮像装置の光学アセンブリの光学中心と前記撮像装置の画像センサとの間の距離を含む、請求項1に記載のシステム。
  14. 前記1つ又は複数のパラメータは前記撮像装置の焦点長を含む、請求項1に記載のシステム。
  15. 前記1つ又は複数のパラメータは前記撮像装置の視野を維持するように修正される、請求項1に記載のシステム。
  16. 前記1つ又は複数のプロセッサは前記1つ又は複数のパラメータのそれぞれの初期値を受信するように更に構成される、請求項1に記載のシステム。
  17. 前記初期値はユーザにより入力される、請求項16に記載のシステム。
  18. 前記初期値は前記移動体と通信する遠隔端末を介し前記ユーザにより入力される、請求項17に記載のシステム。
  19. 前記1つ又は複数のパラメータは焦点を含み、前記焦点の前記初期値はオートフォーカス方法を使用することにより判断される、請求項16に記載のシステム。
  20. 前記対象物体は静止している、請求項1に記載のシステム。
  21. 前記対象物体は移動している、請求項1に記載のシステム。
  22. 前記1つ又は複数のプロセッサは前記移動体に対する前記対象物体の移動を示す追跡情報を受信するように更に構成され、空間的関係の前記変化は追跡情報に基づき判断される、請求項21に記載のシステム。
  23. 前記追跡情報は前記対象物体の画像データに基づき生成される、請求項22に記載のシステム。
  24. 前記1つ又は複数のプロセッサは更に、前記1つ又は複数の修正パラメータを有する前記撮像装置を使用して前記対象物体の画像データを生成するように構成される、請求項1に記載のシステム。
  25. 移動体により支持された撮像装置を使用して対象物体を撮像する方法であって、
    1つ又は複数のセンサを使用して前記移動体の動作情報を検出するステップと、
    前記移動体と前記対象物体との空間的関係の変化を前記動作情報に基づき且つ1つ又は複数のプロセッサの助けを借りて判断するステップと、
    前記移動体と前記対象物体との前記空間的関係の前記判断された変化に基づき、前記撮像装置が前記対象物体上に合焦されるように、前記撮像装置の1つ又は複数のパラメータを1つ又は複数のプロセッサの助けを借りて修正するステップと
    を含む方法。
  26. 前記移動体は無人航空機である、請求項25に記載の方法。
  27. 前記撮像装置は固定焦点長を含む、請求項25に記載の方法。
  28. 前記撮像装置は可変焦点長を含む、請求項25に記載の方法。
  29. 前記撮像装置は画像センサを含む、請求項25に記載の方法。
  30. 前記1つ又は複数のセンサは前記移動体により支持される、請求項25に記載の方法。
  31. 前記1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む、請求項25に記載の方法。
  32. 前記1つ又は複数のセンサは複数の異なるセンサタイプを含む、請求項25に記載の方法。
  33. 前記動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、前記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するステップを更に含む、請求項32に記載の方法。
  34. 前記動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む、請求項25に記載の方法。
  35. 前記移動体と前記対象物体との前記空間的関係は前記移動体と前記対象物体との間の距離を含む、請求項25に記載の方法。
  36. 前記移動体と前記対象物体との間の前記距離を判断するステップを更に含む、請求項35に記載の方法。
  37. 前記1つ又は複数のパラメータは前記撮像装置の光学アセンブリの光学中心と前記撮像装置の画像センサとの間の距離を含む、請求項25に記載の方法。
  38. 前記1つ又は複数のパラメータは前記撮像装置の焦点長を含む、請求項25に記載の方法。
  39. 前記1つ又は複数のパラメータは前記撮像装置の視野を維持するように修正される、請求項25に記載の方法。
  40. 前記1つ又は複数のパラメータのそれぞれの初期値を受信するステップを更に含む、請求項25に記載の方法。
  41. 前記初期値はユーザにより入力される、請求項40に記載の方法。
  42. 前記初期値は前記移動体と通信する遠隔端末を介し前記ユーザにより入力される、請求項41に記載の方法。
  43. 前記1つ又は複数のパラメータは焦点を含み、前記焦点の前記初期値はオートフォーカス方法を使用することにより判断される、請求項41に記載の方法。
  44. 前記対象物体は静止している、請求項25に記載の方法。
  45. 前記対象物体は移動している、請求項25に記載の方法。
  46. 前記移動体に対する前記対象物体の移動を示す追跡情報を受信するステップを更に含み、空間的関係の前記変化は前記追跡情報に基づき判断される、請求項45に記載の方法。
  47. 前記追跡情報は前記対象物体の画像データに基づき生成される、請求項46に記載の方法。
  48. 前記1つ又は複数の修正パラメータを有する前記撮像装置を使用することにより前記対象物体の画像データを生成するステップを更に含む、請求項25に記載の方法。
  49. 対象物体を撮像するための、移動体により支持された撮像装置であって、
    前記移動体上に又はその中に搭載された1つ又は複数のセンサから前記移動体の動作情報を受信し、
    前記動作情報に基づき前記移動体と前記対象物体との空間的関係の変化を判断し、
    前記移動体と前記対象物体との前記空間的関係の前記判断された変化に基づき、前記撮像装置が前記対象物体上に合焦されるように、前記撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサを含む撮像装置。
  50. 前記移動体は無人航空機である、請求項49に記載の撮像装置。
  51. 前記対象物体からの光を収束するように構成された光学アセンブリを更に含む、請求項49に記載の撮像装置。
  52. 前記光学アセンブリは固定焦点長を含む、請求項51に記載の撮像装置。
  53. 前記光学アセンブリは可変焦点長を含む、請求項51に記載の撮像装置。
  54. 前記対象物体の画像データを生成するように構成された画像センサを更に含む、請求項49に記載の撮像装置。
  55. 前記1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む、請求項49に記載の撮像装置。
  56. 前記1つ又は複数のセンサは複数の異なるセンサタイプを含む、請求項49に記載の撮像装置。
  57. 前記1つ又は複数のプロセッサは更に、前記動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、前記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される、請求項56に記載の撮像装置。
  58. 前記動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む、請求項49に記載の撮像装置。
  59. 前記移動体と前記対象物体との前記空間的関係は前記移動体と前記対象物体との間の距離を含む、請求項49に記載の撮像装置。
  60. 前記1つ又は複数のプロセッサは前記移動体と前記対象物体との間の前記距離を判断するように更に構成される、請求項59に記載の撮像装置。
  61. 光学アセンブリと画像センサとを更に含み、前記1つ又は複数のパラメータは前記光学アセンブリの光学中心と前記画像センサとの間の距離を含む、請求項49に記載の撮像装置。
  62. 前記対象物体からの光を収束するように構成された光学アセンブリを更に含み、前記1つ又は複数のパラメータは前記光学アセンブリの焦点長を含む、請求項49に記載の撮像装置。
  63. 視野を有する光学アセンブリを更に含み、前記1つ又は複数のパラメータは前記光学アセンブリの前記視野を維持するように修正される、請求項49に記載の撮像装置。
  64. 前記1つ又は複数のプロセッサは前記1つ又は複数のパラメータのそれぞれの初期値を受信するように更に構成される、請求項49に記載の撮像装置。
  65. 前記初期値はユーザにより入力される、請求項64に記載の撮像装置。
  66. 前記初期値は前記移動体と通信する遠隔端末を介し前記ユーザにより入力される、請求項65に記載の撮像装置。
  67. 前記1つ又は複数のパラメータは焦点を含み、前記焦点の前記初期値はオートフォーカス方法を使用することにより判断される、請求項65に記載の撮像装置。
  68. 前記対象物体は静止している、請求項49に記載の撮像装置。
  69. 前記対象物体は移動している、請求項49に記載の撮像装置。
  70. 前記1つ又は複数のプロセッサは前記移動体に対する前記対象物体の移動を示す追跡情報を受信するように更に構成され、空間的関係の前記変化は前記追跡情報に基づき判断される、請求項69に記載の撮像装置。
  71. 前記追跡情報は前記対象物体の画像データに基づき生成される、請求項70に記載の撮像装置。
  72. 前記1つ又は複数のプロセッサは前記1つ又は複数の修正パラメータに従って前記対象物体の画像データを生成するように更に構成される、請求項49に記載の撮像装置。
  73. 対象物体を撮像するための撮像装置であって、
    前記撮像装置の動作情報を検出するように構成された1つ又は複数のセンサと、
    1つ又は複数のプロセッサであって、
    前記1つ又は複数のセンサから前記撮像装置の前記動作情報を受信し、
    前記動作情報に基づき前記撮像装置と前記対象物体との空間的関係の変化を判断し、
    前記撮像装置が前記対象物体上に合焦されるように、前記撮像装置と前記対象物体との前記空間的関係の前記判断された変化に基づき前記撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサと
    を含む撮像装置。
  74. 前記撮像装置は前記移動体により支持される、請求項73に記載の撮像装置。
  75. 前記移動体は無人航空機である、請求項74に記載の撮像装置。
  76. 前記対象物体からの光を収束するように構成された光学アセンブリを更に含む、請求項73に記載の撮像装置。
  77. 前記光学アセンブリは固定焦点長を含む、請求項76に記載の撮像装置。
  78. 前記光学アセンブリは可変焦点長を含む、請求項76に記載の撮像装置。
  79. 前記対象物体の画像データを生成するように構成された画像センサを更に含む、請求項73に記載の撮像装置。
  80. 前記1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む、請求項73に記載の撮像装置。
  81. 前記1つ又は複数のセンサは複数の異なるセンサタイプを含む、請求項73に記載の撮像装置。
  82. 前記1つ又は複数のプロセッサは更に、前記動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、前記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される、請求項81に記載の撮像装置。
  83. 前記動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む、請求項82に記載の撮像装置。
  84. 前記撮像装置と前記対象物体との前記空間的関係は前記撮像装置と前記対象物体との間の距離を含む、請求項73に記載の撮像装置。
  85. 前記1つ又は複数のプロセッサは前記撮像装置と前記対象物体との間の前記距離を判断するように更に構成される、請求項84に記載の撮像装置。
  86. 光学アセンブリと画像センサとを更に含み、前記1つ又は複数のパラメータは前記光学アセンブリの光学中心と前記画像センサとの間の距離を含む、請求項73に記載の撮像装置。
  87. 前記対象物体からの光を収束するように構成された光学アセンブリを更に含み、前記1つ又は複数のパラメータは前記光学アセンブリの焦点長を含む、請求項73に記載の撮像装置。
  88. 視野を有する光学アセンブリを更に含み、前記1つ又は複数のパラメータは前記光学アセンブリの前記視野を維持するように修正される、請求項73に記載の撮像装置。
  89. 前記1つ又は複数のプロセッサは前記1つ又は複数のパラメータのそれぞれの初期値を受信するように更に構成される、請求項73に記載の撮像装置。
  90. 前記初期値はユーザにより入力される、請求項90に記載の撮像装置。
  91. 前記初期値は前記撮像装置と通信する遠隔端末を介し前記ユーザにより入力される、請求項91に記載の撮像装置。
  92. 前記1つ又は複数のパラメータは焦点を含み、前記焦点の前記初期値はオートフォーカス方法を使用することにより判断される、請求項90に記載の撮像装置。
  93. 前記対象物体は静止している、請求項73に記載の撮像装置。
  94. 前記対象物体は移動している、請求項73に記載の撮像装置。
  95. 前記1つ又は複数のプロセッサは前記移動体に対する前記対象物体の移動を示す追跡情報を受信するように更に構成され、空間的関係の前記変化は追跡情報に基づき判断される、請求項94に記載の撮像装置。
  96. 前記追跡情報は前記対象物体の画像データに基づき生成される、請求項95に記載の撮像装置。
  97. 前記1つ又は複数のプロセッサは前記1つ又は複数の修正パラメータに従って前記対象物体の画像データを生成するように更に構成される、請求項73に記載の撮像装置。
  98. 移動体により支持された撮像装置を使用して対象物体を撮像するシステムであって、
    前記移動体の動作情報を検出するように構成された1つ又は複数のセンサと、
    1つ又は複数のプロセッサであって、
    前記1つ又は複数のセンサから前記移動体の動作情報を受信し、
    前記動作情報に基づき前記移動体の空間的配置の変化を判断し、
    前記撮像装置が前記対象物体上に合焦されるように、前記移動体の空間的配置の前記判断された変化に基づき前記撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサと
    を含むシステム。
  99. 前記移動体は無人航空機である、請求項98に記載のシステム。
  100. 前記撮像装置は固定焦点長を含む、請求項98に記載のシステム。
  101. 前記撮像装置は可変焦点長を含む、請求項98に記載のシステム。
  102. 前記撮像装置は画像センサを含む、請求項98に記載のシステム。
  103. 前記1つ又は複数のセンサは前記移動体により支持される、請求項98に記載のシステム。
  104. 前記1つ又は複数のセンサは慣性センサ、GPSセンサ又はビジョンカメラのうちの1つ又は複数を含む、請求項98に記載のシステム。
  105. 前記1つ又は複数のセンサは複数の異なるセンサタイプを含む、請求項98に記載のシステム。
  106. 前記1つ又は複数のプロセッサは更に、前記動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、前記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される、請求項105に記載のシステム。
  107. 前記動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む、請求項98に記載のシステム。
  108. 前記空間的配置は3つの自由度に関する前記移動体の位置と、3つの自由度に関する前記移動体の配向とを含む、請求項98に記載のシステム。
  109. 前記空間的配置は移動体の経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数を含む、請求項98に記載のシステム。
  110. 前記1つ又は複数のパラメータは前記撮像装置の光学アセンブリの光学中心と前記撮像装置の画像センサとの間の距離を含む、請求項98に記載のシステム。
  111. 前記1つ又は複数のパラメータは前記撮像装置の焦点長を含む、請求項98に記載のシステム。
  112. 前記1つ又は複数のパラメータは前記撮像装置の視野を維持するように修正される、請求項98に記載のシステム。
  113. 前記1つ又は複数のプロセッサは前記1つ又は複数のパラメータのそれぞれの初期値を受信するように更に構成される、請求項98に記載のシステム。
  114. 前記初期値はユーザにより入力される、請求項113に記載のシステム。
  115. 前記初期値は前記移動体と通信する遠隔端末を介し前記ユーザにより入力される、請求項114に記載のシステム。
  116. 前記1つ又は複数のパラメータは焦点を含み、前記焦点の前記初期値はオートフォーカス方法を使用することにより判断される、請求項113に記載のシステム。
  117. 前記対象物体は静止している、請求項98に記載のシステム。
  118. 前記対象物体は移動している、請求項98に記載のシステム。
  119. 前記1つ又は複数のプロセッサは前記移動体に対する前記対象物体の移動を示す追跡情報を受信するように更に構成され、前記1つ又は複数のパラメータは前記追跡情報に基づき修正される、請求項118に記載のシステム。
  120. 前記追跡情報は前記対象物体の画像データに基づき生成される、請求項119に記載のシステム。
  121. 前記1つ又は複数のプロセッサは更に、前記1つ又は複数の修正パラメータを有する前記撮像装置を使用して前記対象物体の画像データを生成するように構成される、請求項98に記載のシステム。
  122. 移動体により支持された撮像装置を使用して対象物体を撮像する方法であって、
    1つ又は複数のセンサを使用して前記移動体の動作情報を検出するステップと、
    前記移動体と前記対象物体との空間的関係の変化を前記動作情報に基づき且つ1つ又は複数のプロセッサの助けを借りて判断するステップと、
    前記移動体と前記対象物体との前記空間的関係の前記判断された変化に基づき、前記撮像装置が前記対象物体上に合焦されるように、前記撮像装置の1つ又は複数のパラメータを1つ又は複数のプロセッサの助けを借りて修正するステップと
    を含む方法。
  123. 前記移動体は無人航空機である、請求項122に記載の方法。
  124. 前記撮像装置は固定焦点長を含む、請求項122に記載の方法。
  125. 前記撮像装置は可変焦点長を含む、請求項122に記載の方法。
  126. 前記撮像装置は画像センサを含む、請求項122に記載の方法。
  127. 前記1つ又は複数のセンサは前記移動体により支持される、請求項122に記載の方法。
  128. 前記1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む、請求項122に記載の方法。
  129. 前記1つ又は複数のセンサは複数の異なるセンサタイプを含む、請求項122に記載の方法。
  130. 前記動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、前記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するステップを更に含む、請求項129に記載の方法。
  131. 前記動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む、請求項122に記載の方法。
  132. 前記空間的配置は3つの自由度に関する前記移動体の位置と、3つの自由度に関する前記移動体の配向とを含む、請求項122に記載の方法。
  133. 前記空間的配置は前記移動体の経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数を含む、請求項122に記載の方法。
  134. 前記1つ又は複数のパラメータは前記撮像装置の光学アセンブリの光学中心と前記撮像装置の画像センサとの間の距離を含む、請求項122に記載の方法。
  135. 前記1つ又は複数のパラメータは前記撮像装置の焦点長を含む、請求項122に記載の方法。
  136. 前記1つ又は複数のパラメータは撮像装置の視野を維持するように修正される、請求項122に記載の方法。
  137. 前記1つ又は複数のパラメータのそれぞれの初期値を受信するステップを更に含む、請求項122に記載の方法。
  138. 前記初期値はユーザにより入力される、請求項137に記載の方法。
  139. 前記初期値は前記移動体と通信する遠隔端末を介し前記ユーザにより入力される、請求項138に記載の方法。
  140. 前記1つ又は複数のパラメータは焦点を含み、前記焦点の前記初期値はオートフォーカス方法を使用することにより判断される、請求項137に記載の方法。
  141. 前記対象物体は静止している、請求項122に記載の方法。
  142. 前記対象物体は移動している、請求項122に記載の方法。
  143. 前記移動体に対する前記対象物体の移動を示す追跡情報を受信するステップを更に含み、前記1つ又は複数のパラメータは前記追跡情報に基づき修正される、請求項142に記載の方法。
  144. 前記追跡情報は前記対象物体の画像データに基づき生成される、請求項143に記載の方法。
  145. 前記1つ又は複数の修正パラメータを有する前記撮像装置を使用することにより前記対象物体の画像データを生成するステップを更に含む、請求項122に記載の方法。
  146. 対象物体を撮像するための、移動体により支持された撮像装置であって、
    前記移動体上に又はその中に搭載された1つ又は複数のセンサから前記移動体の動作情報を受信し、
    前記動作情報に基づき前記移動体と前記対象物体との空間的関係の変化を判断し、
    前記移動体と前記対象物体との前記空間的関係の前記判断された変化に基づき、前記撮像装置が前記対象物体上に合焦されるように、前記撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサを含む、撮像装置。
  147. 前記移動体は無人航空機である、請求項146に記載の撮像装置。
  148. 前記対象物体からの光を収束するように構成された光学アセンブリを更に含む、請求項146に記載の撮像装置。
  149. 前記光学アセンブリは固定焦点長を含む、請求項148に記載の撮像装置。
  150. 前記光学アセンブリは可変焦点長を含む、請求項148に記載の撮像装置。
  151. 前記対象物体の画像データを生成するように構成された画像センサを更に含む、請求項146に記載の撮像装置。
  152. 前記1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む、請求項146に記載の撮像装置。
  153. 前記1つ又は複数のセンサは複数の異なるセンサタイプを含む、請求項146に記載の撮像装置。
  154. 前記1つ又は複数のプロセッサは更に、前記動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、前記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される、請求項153に記載の撮像装置。
  155. 前記動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む、請求項146に記載の撮像装置。
  156. 前記空間的配置は3つの自由度に関する前記移動体の位置と、3つの自由度に関する前記移動体の配向とを含む、請求項146に記載の撮像装置。
  157. 前記空間的配置は前記移動体の経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数を含む、請求項146に記載の撮像装置。
  158. 光学アセンブリと画像センサとを更に含み、前記1つ又は複数のパラメータは前記撮像装置の前記光学アセンブリの光学中心と前記撮像装置の前記画像センサとの間の距離を含む、請求項146に記載の撮像装置。
  159. 前記対象物体からの光を収束するように構成された光学アセンブリを更に含み、前記1つ又は複数のパラメータは前記光学アセンブリの焦点長を含む、請求項146に記載の撮像装置。
  160. 視野を有する光学アセンブリを更に含み、前記1つ又は複数のパラメータは前記光学アセンブリの視野を維持するように修正される、請求項146に記載の撮像装置。
  161. 前記1つ又は複数のプロセッサは前記1つ又は複数のパラメータのそれぞれの初期値を受信するように更に構成される、請求項146に記載の撮像装置。
  162. 前記初期値はユーザにより入力される、請求項161に記載の撮像装置。
  163. 前記初期値は前記移動体と通信する遠隔端末を介し前記ユーザにより入力される、請求項162に記載の撮像装置。
  164. 前記1つ又は複数のパラメータは焦点を含み、前記焦点の前記初期値はオートフォーカス方法を使用することにより判断される、請求項161に記載の撮像装置。
  165. 前記対象物体は静止している、請求項146に記載の撮像装置。
  166. 前記対象物体は移動している、請求項146に記載の撮像装置。
  167. 前記1つ又は複数のプロセッサは前記移動体に対する前記対象物体の移動を示す追跡情報を受信するように更に構成され、前記1つ又は複数のパラメータは前記追跡情報に基づき修正される、請求項166に記載の撮像装置。
  168. 前記追跡情報は前記対象物体の画像データに基づき生成される、請求項167に記載の撮像装置。
  169. 前記1つ又は複数のプロセッサは前記1つ又は複数の修正パラメータに従って前記対象物体の画像データを生成するように更に構成される、請求項146に記載の撮像装置。
  170. 対象物体を撮像するための撮像装置であって、
    前記撮像装置の動作情報を検出するように構成された1つ又は複数のセンサと、
    1つ又は複数のプロセッサであって、
    前記1つ又は複数のセンサから前記撮像装置の前記動作情報を受信し、
    前記動作情報に基づき前記撮像装置と前記対象物体との空間的関係の変化を判断し、
    前記撮像装置が前記対象物体上に合焦されるように、前記撮像装置と前記対象物体との前記空間的関係の前記判断された変化に基づき前記撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサと
    を含む撮像装置。
  171. 前記撮像装置は前記移動体により支持される、請求項170に記載の撮像装置。
  172. 前記移動体は無人航空機である、請求項171に記載の撮像装置。
  173. 前記対象物体からの光を収束するように構成された光学アセンブリを更に含む、請求項170に記載の撮像装置。
  174. 前記光学アセンブリは固定焦点長を含む、請求項173に記載の撮像装置。
  175. 前記光学アセンブリは可変焦点長を含む、請求項173に記載の撮像装置。
  176. 前記対象物体の画像データを生成するように構成された画像センサを更に含む、請求項170に記載の撮像装置。
  177. 前記1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む、請求項170に記載の撮像装置。
  178. 前記1つ又は複数のセンサは複数の異なるセンサタイプを含む、請求項170に記載の撮像装置。
  179. 前記1つ又は複数のプロセッサは更に、前記動作情報を判断するようにセンサフュージョンアルゴリズムを使用して、前記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される、請求項178に記載の撮像装置。
  180. 前記動作情報は併進速度、並進加速度、角速度、角加速度、現時点の位置、現時点の配向、前時点の位置、又は前時点の配向のうちの1つ又は複数を含む、請求項179に記載の撮像装置。
  181. 前記空間的配置は3つの自由度に関する前記撮像装置の位置と、3つの自由度に関する前記撮像装置の配向とを含む、請求項170に記載の撮像装置。
  182. 前記空間的配置は前記移動体の経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数を含む、請求項170に記載の撮像装置。
  183. 光学アセンブリと画像センサとを更に含み、前記1つ又は複数のパラメータは前記光学アセンブリの光学中心と前記画像センサとの間の距離を含む、請求項170に記載の撮像装置。
  184. 前記対象物体からの光を収束するように構成された光学アセンブリを更に含み、前記1つ又は複数のパラメータは前記光学アセンブリの焦点長を含む、請求項170に記載の撮像装置。
  185. 視野を有する光学アセンブリを更に含み、前記1つ又は複数のパラメータは前記光学アセンブリの視野を維持するように修正される、請求項170に記載の撮像装置。
  186. 前記1つ又は複数のプロセッサは前記1つ又は複数のパラメータのそれぞれの初期値を受信するように更に構成される、請求項170に記載の撮像装置。
  187. 前記初期値はユーザにより入力される、請求項186に記載の撮像装置。
  188. 前記初期値は前記撮像装置と通信する遠隔端末を介し前記ユーザにより入力される、請求項188に記載の撮像装置。
  189. 前記1つ又は複数のパラメータは焦点を含み、前記焦点の前記初期値はオートフォーカス方法を使用することにより判断される、請求項186に記載の撮像装置。
  190. 前記対象物体は静止している、請求項170に記載の撮像装置。
  191. 前記対象物体は移動している、請求項170に記載の撮像装置。
  192. 前記1つ又は複数のプロセッサは前記移動体に対する前記対象物体の移動を示す追跡情報を受信するように更に構成され、前記1つ又は複数のパラメータは前記追跡情報に基づき修正される、請求項191に記載の撮像装置。
  193. 前記追跡情報は前記対象物体の画像データに基づき生成される、請求項192に記載の撮像装置。
  194. 前記1つ又は複数のプロセッサは前記1つ又は複数の修正パラメータに従って前記対象物体の画像データを生成するように更に構成される、請求項170に記載の撮像装置。
  195. 移動体により支持された撮像装置を使用して対象物体を撮像するシステムであって、
    前記移動体の動作を検出するように構成された1つ又は複数のセンサと、
    1つ又は複数のプロセッサであって、
    前記移動体が第1の空間的配置である場合に前記撮像装置が前記対象物体上に合焦されるように前記撮像装置の1つ又は複数のパラメータを設定し、
    1つ又は複数のセンサを使用して、前記第1の空間的配置から第2の空間的配置への前記移動体の移動を検出し、
    前記移動体が前記第2の空間的配置である場合に前記撮像装置が前記対象物体上に合焦されるように、検出された移動に応じて前記撮像装置の前記1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサと
    を含むシステム。
  196. 前記移動体は無人航空機である、請求項195に記載のシステム。
  197. 前記撮像装置は固定焦点長を含む、請求項195に記載のシステム。
  198. 前記撮像装置は可変焦点長を含む、請求項195に記載のシステム。
  199. 前記撮像装置は画像センサを含む、請求項195に記載のシステム。
  200. 前記1つ又は複数のセンサは前記移動体により支持される、請求項195に記載のシステム。
  201. 前記1つ又は複数のセンサは慣性センサ、GPSセンサ又はビジョンカメラのうちの1つ又は複数を含む、請求項195に記載のシステム。
  202. 前記1つ又は複数のセンサは複数の異なるセンサタイプを含む、請求項195に記載のシステム。
  203. 前記1つ又は複数のプロセッサは更に、前記移動を検出するようにセンサフュージョンアルゴリズムを使用して、前記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される、請求項202に記載のシステム。
  204. 前記第2の空間的配置は位置又は配向のうちの1つ又は複数に関し前記第1の空間的配置と異なる、請求項195に記載のシステム。
  205. 前記第2の空間的配置は経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数に関し前記第1の空間的配置と異なる、請求項195に記載のシステム。
  206. 前記1つ又は複数のパラメータは前記撮像装置の光学アセンブリの光学中心と前記撮像装置の画像センサとの間の距離を含む、請求項195に記載のシステム。
  207. 前記1つ又は複数のパラメータは前記撮像装置の焦点長を含む、請求項195に記載のシステム。
  208. 前記1つ又は複数のパラメータは前記撮像装置の視野を維持するように修正される、請求項195に記載のシステム。
  209. 前記修正ステップは前記検出された移動に基づき前記1つ又は複数のパラメータに対する修正を判断するステップを含む、請求項195に記載のシステム。
  210. 前記修正は前記対象物体を撮像すること無く判断される、請求項209に記載のシステム。
  211. 前記修正は前記撮像装置の焦点を変更すること無く判断される、請求項209に記載のシステム。
  212. 前記修正はユーザからの入力を利用すること無く判断される、請求項209に記載のシステム。
  213. 前記設定ステップは前記1つ又は複数のパラメータのそれぞれの初期値を受信するステップを含む、請求項195に記載のシステム。
  214. 前記初期値はユーザにより入力される、請求項213に記載のシステム。
  215. 前記初期値は前記移動体と通信する遠隔端末を介し前記ユーザにより入力される、請求項214に記載のシステム。
  216. 前記設定ステップは、前記撮像装置を前記対象物体上に合焦させるためにオートフォーカス方法を使用するステップを含む、請求項195に記載のシステム。
  217. 前記対象物体は静止している、請求項195に記載のシステム。
  218. 前記対象物体は移動している、請求項195に記載のシステム。
  219. 前記1つ又は複数のプロセッサは前記移動体に対する前記対象物体の移動を示す追跡情報を受信するように更に構成され、空間的関係の前記変化は前記追跡情報に基づき判断される、請求項218に記載のシステム。
  220. 前記追跡情報は前記対象物体の画像データに基づき生成される、請求項219に記載のシステム。
  221. 前記1つ又は複数のプロセッサは更に、前記1つ又は複数の修正パラメータを有する前記撮像装置を使用して前記対象物体の画像データを生成するように構成される、請求項195に記載のシステム。
  222. 移動体により支持された撮像装置を使用して対象物体を撮像する方法であって、
    前記移動体が第1の空間的配置である場合に前記撮像装置が前記対象物体上に合焦されるように前記撮像装置の1つ又は複数のパラメータを1つ又は複数のプロセッサの助けを借りて設定するステップと、
    1つ又は複数のセンサを使用して、前記第1の空間的配置から第2の空間的配置への前記移動体の移動を検出するステップと、
    前記移動体が前記第2の空間的配置である場合に前記撮像装置が前記対象物体上に合焦されるように、検出された移動に応じて前記撮像装置の1つ又は複数のパラメータを1つ又は複数のプロセッサの助けを借りて修正するステップと
    を含む方法。
  223. 前記移動体は無人航空機である、請求項222に記載の方法。
  224. 前記撮像装置は固定焦点長を含む、請求項222に記載の方法。
  225. 前記撮像装置は可変焦点長を含む、請求項222に記載の方法。
  226. 前記撮像装置は画像センサを含む、請求項222に記載の方法。
  227. 前記1つ又は複数のセンサは前記移動体により支持される、請求項222に記載の方法。
  228. 前記1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む、請求項222に記載の方法。
  229. 前記1つ又は複数のセンサは複数の異なるセンサタイプを含む、請求項222に記載の方法。
  230. 前記移動を検出するようにセンサフュージョンアルゴリズムを使用して、前記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するステップを更に含む、請求項229に記載の方法。
  231. 前記第2の空間的配置は位置又は配向のうちの1つ又は複数に関し前記第1の空間的配置と異なる、請求項222に記載の方法。
  232. 前記第2の空間的配置は経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数に関し前記第1の空間的配置と異なる、請求項222に記載の方法。
  233. 前記1つ又は複数のパラメータは前記撮像装置の光学アセンブリの光学中心と前記撮像装置の画像センサとの間の距離を含む、請求項222に記載の方法。
  234. 前記1つ又は複数のパラメータは前記撮像装置の焦点長を含む、請求項222に記載の方法。
  235. 前記1つ又は複数のパラメータは撮像装置の視野を維持するように修正される、請求項222に記載の方法。
  236. 前記1つ又は複数のパラメータを修正する前記ステップは前記検出された移動に基づき前記1つ又は複数のパラメータに対する修正を判断するステップを含む、請求項222に記載の方法。
  237. 前記修正は前記対象物体を撮像すること無く判断される、請求項236に記載の方法。
  238. 前記修正は前記撮像装置の焦点を変更すること無く判断される、請求項236に記載の方法。
  239. 前記修正はユーザからの入力を利用すること無く判断される、請求項236に記載の方法。
  240. 前記1つ又は複数のパラメータを設定するステップは前記1つ又は複数のパラメータのそれぞれの初期値を受信するステップを含む、請求項222に記載の方法。
  241. 前記初期値はユーザにより入力される、請求項240に記載の方法。
  242. 前記初期値は前記移動体と通信する遠隔端末を介し前記ユーザにより入力される、請求項241に記載の方法。
  243. 前記1つ又は複数のパラメータを設定するステップは前記撮像装置を前記対象物体上に合焦させるためにオートフォーカス方法を使用するステップを含む、請求項222に記載の方法。
  244. 前記対象物体は静止している、請求項222に記載の方法。
  245. 前記対象物体は移動している、請求項222に記載の方法。
  246. 前記移動体に対する前記対象物体の移動を示す追跡情報を受信するステップを更に含み、空間的関係の前記変化は前記追跡情報に基づき判断される、請求項245に記載の方法。
  247. 前記追跡情報は前記対象物体の画像データに基づき生成される、請求項246に記載の方法。
  248. 前記1つ又は複数の修正パラメータを有する前記撮像装置を使用することにより前記対象物体の画像データを生成するステップを更に含む、請求項222に記載の方法。
  249. 対象物体を撮像するための、移動体により支持された撮像装置であって、
    前記移動体が第1の空間的配置である場合に前記撮像装置が前記対象物体上に合焦されるように前記撮像装置の1つ又は複数のパラメータを設定し、
    1つ又は複数のセンサを使用して、前記第1の空間的配置から第2の空間的配置への前記移動体の移動を検出し、
    前記移動体が前記第2の空間的配置である場合に前記撮像装置が前記対象物体上に合焦されるように、検出された移動に応じて前記撮像装置の1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサを含む撮像装置。
  250. 前記移動体は無人航空機である、請求項249に記載の撮像装置。
  251. 前記対象物体からの光を収束するように構成された光学アセンブリを更に含む、請求項249に記載の撮像装置。
  252. 前記光学アセンブリは固定焦点長を含む、請求項251に記載の撮像装置。
  253. 前記光学アセンブリは可変焦点長を含む、請求項251に記載の撮像装置。
  254. 前記対象物体の画像データを生成するように構成された画像センサを更に含む、請求項249に記載の撮像装置。
  255. 前記1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む、請求項249に記載の撮像装置。
  256. 前記1つ又は複数のセンサは複数の異なるセンサタイプを含む、請求項249に記載の撮像装置。
  257. 前記1つ又は複数のプロセッサは更に、前記移動を検出するようにセンサフュージョンアルゴリズムを使用して、前記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される、請求項256に記載の撮像装置。
  258. 前記第2の空間的配置は位置又は配向のうちの1つ又は複数に関し前記第1の空間的配置と異なる、請求項249に記載の撮像装置。
  259. 前記第2の空間的配置は経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数に関し前記第1の空間的配置と異なる、請求項249に記載の撮像装置。
  260. 光学アセンブリと画像センサとを更に含み、前記1つ又は複数のパラメータは前記光学アセンブリの光学中心と前記画像センサとの間の距離を含む、請求項249に記載の撮像装置。
  261. 前記対象物体からの光を収束するように構成された光学アセンブリを更に含み、前記1つ又は複数のパラメータは前記光学アセンブリの焦点長を含む、請求項249に記載の撮像装置。
  262. 視野を有する光学アセンブリを更に含み、前記1つ又は複数のパラメータは前記光学アセンブリの視野を維持するように修正される、請求項249に記載の撮像装置。
  263. 前記修正ステップは前記検出された移動に基づき前記1つ又は複数のパラメータに対する修正を判断するステップを含む、請求項249に記載の撮像装置。
  264. 前記修正は前記対象物体を撮像すること無く判断される、請求項263に記載の撮像装置。
  265. 前記修正は前記撮像装置の焦点を変更すること無く判断される、請求項263に記載の撮像装置。
  266. 前記修正はユーザからの入力を利用すること無く判断される、請求項263に記載の撮像装置。
  267. 前記設定ステップは前記1つ又は複数のパラメータのそれぞれの初期値を受信するステップを含む、請求項249に記載の撮像装置。
  268. 前記初期値はユーザにより入力される、請求項267に記載の撮像装置。
  269. 前記初期値は前記移動体と通信する遠隔端末を介し前記ユーザにより入力される、請求項268に記載の撮像装置。
  270. 前記設定ステップは、前記撮像装置を前記対象物体上に合焦させるためにオートフォーカス方法を使用するステップを含む、請求項249に記載の撮像装置。
  271. 前記対象物体は静止している、請求項249に記載の撮像装置。
  272. 前記対象物体は移動している、請求項249に記載の撮像装置。
  273. 前記1つ又は複数のプロセッサは前記移動体に対する前記対象物体の移動を示す追跡情報を受信するように更に構成され、前記1つ又は複数のパラメータは前記追跡情報に基づき修正される、請求項272に記載の撮像装置。
  274. 前記追跡情報は前記対象物体の画像データに基づき生成される、請求項273に記載の撮像装置。
  275. 前記1つ又は複数のプロセッサは前記1つ又は複数の修正パラメータに従って前記対象物体の画像データを生成するように更に構成される、請求項249に記載の撮像装置。
  276. 対象物体を撮像するための撮像装置であって、
    前記撮像装置の動作情報を検出するように構成された1つ又は複数のセンサと、
    1つ又は複数のプロセッサであって、
    前記撮像装置が第1の空間的配置である場合に前記撮像装置が前記対象物体上に合焦されるように前記撮像装置の1つ又は複数のパラメータを設定し、
    1つ又は複数のセンサを使用して、前記第1の空間的配置から第2の空間的配置への前記撮像装置の移動を検出し、
    前記撮像装置が前記第2の空間的配置である場合に前記撮像装置が前記対象物体上に合焦されるように、検出された移動に応じて前記撮像装置の前記1つ又は複数のパラメータを修正するように構成された1つ又は複数のプロセッサと
    を含む撮像装置。
  277. 前記撮像装置は前記移動体により支持される、請求項276に記載の撮像装置。
  278. 前記移動体は無人航空機である、請求項277に記載の撮像装置。
  279. 前記対象物体からの光を収束するように構成された光学アセンブリを更に含む、請求項276に記載の撮像装置。
  280. 前記光学アセンブリは固定焦点長を含む、請求項279に記載の撮像装置。
  281. 前記光学アセンブリは可変焦点長を含む、請求項279に記載の撮像装置。
  282. 前記対象物体の画像データを生成するように構成された画像センサを更に含む、請求項276に記載の撮像装置。
  283. 前記1つ又は複数のセンサは慣性センサ、GPSセンサ、又はビジョンカメラのうちの1つ又は複数を含む、請求項276に記載の撮像装置。
  284. 前記1つ又は複数のセンサは複数の異なるセンサタイプを含む、請求項276に記載の撮像装置。
  285. 前記1つ又は複数のプロセッサは更に、前記移動を検出するようにセンサフュージョンアルゴリズムを使用して、前記複数の異なるセンサタイプのそれぞれから受信されたセンサデータを処理するように構成される、請求項284に記載の撮像装置。
  286. 前記第2の空間的配置は、位置又は配向のうちの1つ又は複数に関し前記第1の空間的配置と異なる、請求項276に記載の撮像装置。
  287. 前記第2の空間的配置は経度、緯度、高度、ロール角、ピッチ角、又はヨー角のうちの1つ又は複数に関し前記第1の空間的配置と異なる、請求項276に記載の撮像装置。
  288. 光学アセンブリと画像センサとを更に含み、前記1つ又は複数のパラメータは前記光学アセンブリの光学中心と前記画像センサとの間の距離を含む、請求項276に記載の撮像装置。
  289. 前記対象物体からの光を収束するように構成された光学アセンブリを更に含み、前記1つ又は複数のパラメータは前記光学アセンブリの焦点長を含む、請求項276に記載の撮像装置。
  290. 視野を有する光学アセンブリを更に含み、前記1つ又は複数のパラメータは前記光学アセンブリの視野を維持するように修正される、請求項276に記載の撮像装置。
  291. 前記修正ステップは前記検出された移動に基づき前記1つ又は複数のパラメータに対する修正を判断するステップを含む、請求項276に記載の撮像装置。
  292. 前記修正は前記対象物体を撮像すること無く判断される、請求項291に記載の撮像装置。
  293. 前記修正は前記撮像装置の焦点を変更すること無く判断される、請求項291に記載の撮像装置。
  294. 前記修正はユーザからの入力を利用すること無く判断される、請求項291に記載の撮像装置。
  295. 前記設定ステップは前記1つ又は複数のパラメータのそれぞれの初期値を受信するステップを含む、請求項276に記載の撮像装置。
  296. 前記初期値はユーザにより入力される、請求項295に記載の撮像装置。
  297. 前記初期値は前記移動体と通信する遠隔端末を介し前記ユーザにより入力される、請求項296に記載の撮像装置。
  298. 前記設定ステップは、前記撮像装置を前記対象物体上に合焦させるためにオートフォーカス方法を使用するステップを含む、請求項276に記載の撮像装置。
  299. 前記対象物体は静止している、請求項276に記載の撮像装置。
  300. 前記対象物体は移動している、請求項276に記載の撮像装置。
  301. 前記1つ又は複数のプロセッサは前記撮像装置に対する前記対象物体の移動を示す追跡情報を受信するように更に構成され、前記1つ又は複数のパラメータは前記追跡情報に基づき修正される、請求項300に記載の撮像装置。
  302. 前記追跡情報は前記対象物体の画像データに基づき生成される、請求項301に記載の撮像装置。
  303. 前記1つ又は複数のプロセッサは前記1つ又は複数の修正パラメータに従って前記対象物体の画像データを生成するように更に構成される、請求項276に記載の撮像装置。
JP2018511094A 2015-10-20 2015-10-20 対象物体を撮像するシステム Expired - Fee Related JP6596745B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/092344 WO2017066927A1 (en) 2015-10-20 2015-10-20 Systems, methods, and devices for setting camera parameters

Publications (2)

Publication Number Publication Date
JP2018534599A true JP2018534599A (ja) 2018-11-22
JP6596745B2 JP6596745B2 (ja) 2019-10-30

Family

ID=58556642

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018511094A Expired - Fee Related JP6596745B2 (ja) 2015-10-20 2015-10-20 対象物体を撮像するシステム

Country Status (4)

Country Link
US (2) US10447912B2 (ja)
JP (1) JP6596745B2 (ja)
CN (1) CN108351574B (ja)
WO (1) WO2017066927A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020052255A (ja) * 2018-09-27 2020-04-02 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 移動体、制御方法、及びプログラム
JP2021018309A (ja) * 2019-07-19 2021-02-15 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 位相差検出装置、撮像装置、撮像システム、移動体、位相差検出方法、及びプログラム
JP2024091745A (ja) * 2018-02-08 2024-07-05 ビタ インクリナータ アイピー ホールディングス エルエルシー 吊荷安定システム及び方法

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9891630B2 (en) * 2014-10-24 2018-02-13 Clearpath Robotics, Inc. Variable reference frames in unmanned vehicles
US11586208B2 (en) 2014-10-24 2023-02-21 Clearpath Robotics Inc. Systems and methods for executing a task with an unmanned vehicle
US10178293B2 (en) * 2016-06-22 2019-01-08 International Business Machines Corporation Controlling a camera using a voice command and image recognition
CN109479086B (zh) * 2016-07-20 2021-08-10 深圳市大疆创新科技有限公司 相对于物体变焦的方法和设备
CN109643129A (zh) * 2016-08-26 2019-04-16 深圳市大疆创新科技有限公司 自主着陆的方法和系统
CN110119154A (zh) * 2016-11-30 2019-08-13 深圳市大疆创新科技有限公司 飞行器的控制方法、装置和设备以及飞行器
US10585440B1 (en) 2017-01-23 2020-03-10 Clearpath Robotics Inc. Systems and methods for using human-operated material-transport vehicles with fleet-management systems
CN109479088A (zh) * 2017-06-02 2019-03-15 深圳市大疆创新科技有限公司 基于深度机器学习和激光雷达进行多目标跟踪和自动聚焦的系统和方法
JP7057637B2 (ja) * 2017-08-23 2022-04-20 キヤノン株式会社 制御装置、制御システム、制御方法、プログラム、及び記憶媒体
JP6957304B2 (ja) * 2017-10-13 2021-11-02 アルパイン株式会社 架線撮影システム及び架線撮影方法
JP6565072B2 (ja) * 2017-10-30 2019-08-28 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 制御装置、レンズ装置、飛行体、制御方法、及びプログラム
WO2019160778A1 (en) * 2018-02-14 2019-08-22 University Of Massachusetts Image capturing system, method, and analysis of objects of interest
JP7079123B2 (ja) * 2018-03-15 2022-06-01 キヤノン株式会社 撮像装置及びその制御方法、撮像システム
CN111052020B (zh) 2018-04-02 2024-09-13 深圳市大疆创新科技有限公司 导航设备
JP6878736B2 (ja) * 2018-07-13 2021-06-02 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 制御装置、移動体、制御方法、及びプログラム
EP3847439A2 (en) 2018-09-09 2021-07-14 Viewnetic Ltd. System and method for monitoring plants in plant growing areas
WO2020061857A1 (en) 2018-09-26 2020-04-02 SZ DJI Technology Co., Ltd. Autofocusing camera and systems
CN111837054A (zh) * 2018-09-28 2020-10-27 深圳市大疆创新科技有限公司 一种激光测距装置及移动设备
JP6746856B2 (ja) * 2018-12-19 2020-08-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 制御装置、撮像システム、移動体、制御方法、及びプログラム
TWI693829B (zh) * 2018-12-24 2020-05-11 緯創資通股份有限公司 電子裝置及其影像測距方法
WO2020133175A1 (en) * 2018-12-28 2020-07-02 Intel Corporation Tracking objects using sensor rotation
WO2021026754A1 (zh) * 2019-08-13 2021-02-18 深圳市大疆创新科技有限公司 一种拍摄装置的对焦控制方法、装置及无人飞行器
CN110466763B (zh) * 2019-08-23 2021-09-21 深圳市道通智能航空技术股份有限公司 一种辅助对焦方法、装置及无人飞行器
WO2021035744A1 (zh) * 2019-08-30 2021-03-04 深圳市大疆创新科技有限公司 可移动平台的图像采集方法、设备及存储介质
JP6828205B1 (ja) * 2020-05-14 2021-02-10 エヌ・ティ・ティ・コミュニケーションズ株式会社 遠隔作業装置とそのプログラム
US11394865B1 (en) 2021-06-28 2022-07-19 Western Digital Technologies, Inc. Low-power, fast-response machine learning autofocus enhancements
US12254655B2 (en) 2021-06-29 2025-03-18 Western Digital Technologies, Inc. Low-power fast-response machine learning variable image compression

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09297261A (ja) * 1996-04-30 1997-11-18 Koden Electron Co Ltd 撮像装置
JP2001359083A (ja) * 2000-06-13 2001-12-26 Minolta Co Ltd 移動体に搭載された撮像装置
JP2004040514A (ja) * 2002-07-04 2004-02-05 Nippon Hoso Kyokai <Nhk> 自動追尾撮像装置及び自動追尾撮像方法
JP2006027448A (ja) * 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422828A (en) 1991-12-18 1995-06-06 Choate; William C. Method and system for image-sequence-based target tracking and range estimation
US6130705A (en) 1998-07-10 2000-10-10 Recon/Optical, Inc. Autonomous electro-optical framing camera system with constant ground resolution, unmanned airborne vehicle therefor, and methods of use
US20020185586A1 (en) * 2001-04-03 2002-12-12 Majewski Robert E. System and mehod for optimizing the focusing capability of electromagnetic sensors
CA2422459A1 (en) * 2003-03-18 2004-09-18 Dan Keith Andersen Method of aerial photography with digital stills
EP2253932A1 (de) * 2009-05-19 2010-11-24 Leica Geosystems AG Luftbildkamera-System und Verfahren zum Korrigieren von Verzerrungen in einer Luftbildaufnahme
CN101872105A (zh) * 2010-06-02 2010-10-27 华为终端有限公司 一种照相的方法和装置
JP5618840B2 (ja) * 2011-01-04 2014-11-05 株式会社トプコン 飛行体の飛行制御システム
WO2013033954A1 (zh) 2011-09-09 2013-03-14 深圳市大疆创新科技有限公司 陀螺式动态自平衡云台
JP6389121B2 (ja) 2011-09-09 2018-09-12 エスゼット ディージェイアイ オスモ テクノロジー カンパニー リミテッドSZ DJI Osmo Technology Co., Ltd. 小型無人航空機に使用するための3軸架台
EP2759479B1 (en) 2011-09-09 2017-03-15 SZ DJI Technology Co., Ltd. Dual-axis ball head for use in unmanned aerial vehicle, triple-axis ball head for use in unmanned aerial vehicle, and multi-rotor aerial vehicle
CN103149939B (zh) * 2013-02-26 2015-10-21 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
JP6045430B2 (ja) * 2013-04-18 2016-12-14 オリンパス株式会社 撮像装置及びその像ブレ補正方法
WO2015085483A1 (en) 2013-12-10 2015-06-18 SZ DJI Technology Co., Ltd. Sensor fusion
WO2015165008A1 (zh) * 2014-04-28 2015-11-05 深圳市大疆创新科技有限公司 测量装置及无人飞行器
CN104062977B (zh) * 2014-06-17 2017-04-19 天津大学 基于视觉slam的四旋翼无人机全自主飞行控制方法
US9798322B2 (en) * 2014-06-19 2017-10-24 Skydio, Inc. Virtual camera interface and other user interaction paradigms for a flying digital assistant
CN107168352B (zh) 2014-07-30 2020-07-14 深圳市大疆创新科技有限公司 目标追踪系统及方法
CN112097789B (zh) * 2014-10-27 2023-02-28 深圳市大疆创新科技有限公司 无人飞行器飞行显示

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09297261A (ja) * 1996-04-30 1997-11-18 Koden Electron Co Ltd 撮像装置
JP2001359083A (ja) * 2000-06-13 2001-12-26 Minolta Co Ltd 移動体に搭載された撮像装置
JP2004040514A (ja) * 2002-07-04 2004-02-05 Nippon Hoso Kyokai <Nhk> 自動追尾撮像装置及び自動追尾撮像方法
JP2006027448A (ja) * 2004-07-16 2006-02-02 Chugoku Electric Power Co Inc:The 無人飛行体を利用した空撮方法及びその装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024091745A (ja) * 2018-02-08 2024-07-05 ビタ インクリナータ アイピー ホールディングス エルエルシー 吊荷安定システム及び方法
JP7766953B2 (ja) 2018-02-08 2025-11-11 ビタ インクリナータ アイピー ホールディングス エルエルシー 吊荷安定システム及び方法
JP2020052255A (ja) * 2018-09-27 2020-04-02 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 移動体、制御方法、及びプログラム
JP2021018309A (ja) * 2019-07-19 2021-02-15 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 位相差検出装置、撮像装置、撮像システム、移動体、位相差検出方法、及びプログラム

Also Published As

Publication number Publication date
CN108351574A (zh) 2018-07-31
US10447912B2 (en) 2019-10-15
US20200007746A1 (en) 2020-01-02
JP6596745B2 (ja) 2019-10-30
US20170195549A1 (en) 2017-07-06
WO2017066927A1 (en) 2017-04-27
CN108351574B (zh) 2020-12-22

Similar Documents

Publication Publication Date Title
JP6596745B2 (ja) 対象物体を撮像するシステム
US11649052B2 (en) System and method for providing autonomous photography and videography
US11283986B2 (en) Systems and methods for multi-target tracking and autofocusing based on deep machine learning and laser radar
US10860040B2 (en) Systems and methods for UAV path planning and control
JP6735821B2 (ja) Uav経路を計画し制御するシステム及び方法
US10549846B2 (en) UAV with transformable arms
JP6835392B2 (ja) 撮像装置により取得された画像を制御するためのシステム及び方法
JP6816156B2 (ja) Uav軌道を調整するシステム及び方法
ES2902469T3 (es) Métodos y sistemas para el control del movimiento de dispositivos voladores
CN109219785B (zh) 一种多传感器校准方法与系统
EP3485462B1 (en) Processing images to obtain environmental information
US20160033077A1 (en) Systems and methods for payload stabilization
CN111226154B (zh) 自动对焦相机和系统
JP2018504652A (ja) 顕著特徴ベースの移動体測位
JP2019050007A (ja) 移動体の位置を判断する方法および装置、ならびにコンピュータ可読媒体
JP2021073796A (ja) 制御装置、及び画像を取得する方法
JP2021064951A (ja) システム、方法、装置、および非一時的コンピュータ読取可能媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180308

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190903

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190910

R150 Certificate of patent or registration of utility model

Ref document number: 6596745

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees