JP2017529710A - 検索エリアを評価する方法 - Google Patents

検索エリアを評価する方法 Download PDF

Info

Publication number
JP2017529710A
JP2017529710A JP2016551702A JP2016551702A JP2017529710A JP 2017529710 A JP2017529710 A JP 2017529710A JP 2016551702 A JP2016551702 A JP 2016551702A JP 2016551702 A JP2016551702 A JP 2016551702A JP 2017529710 A JP2017529710 A JP 2017529710A
Authority
JP
Japan
Prior art keywords
search area
video frame
video
readable medium
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016551702A
Other languages
English (en)
Inventor
ウー，ヤンナン
タン，シャオジェン
チェン，ウェイ
ツァオ，ジーシェン
ワン，ミンユー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2017529710A publication Critical patent/JP2017529710A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/57—Motion estimation characterised by a search window with variable size or shape
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Traffic Control Systems (AREA)

Abstract

ビデオを符号化する検索エリアを評価する方法及びシステムが提供される。方法は、画像取得デバイスによって取得された、ビデオフレーム構成要素を含むビデオを受信するステップを含む。さらに、方法は、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するステップを含み、オプティカルフロー場データの少なくとも一部はセンサによって取得される。方法は、オプティカルフロー場データに基づいて検索エリアを決定するステップも含む。【選択図】図１３

Description

無人航空機（ＵＡＶ）等の航空車両は、監視動作、捜索動作、及び救護動作、探索、及び他の分野を含む広範囲の用途のために開発された。そのようなＵＡＶは多くの場合、ビデオ取得のために搭載されたカメラモジュールを担持し得る。
ＵＡＶによって取得されたビデオは、様々な方法によって符号化され得る。しかし、ＵＡＶのビデオ符号化方法及びシステムは、理想に満たないことがある。例えば、特にビデオが大量の移動を含む場合、ＵＡＶからの取得ビデオが符号化され送信される際、パケット損失が生じることがある。
ビデオ取得デバイスから得られるビデオを符号化する改善された方法及びシステムが必要とされる。ビデオ取得デバイスは、無人航空機（ＵＡＶ）等の無人車両によって担持し得る。ＵＡＶに関連付けられたセンサからの情報を利用することにより、ＵＡＶ上のビデオ取得デバイス等のビデオ取得デバイスにより取得されるビデオを符号化する方法が提供される。ある実施形態では、ビデオ取得デバイスは、動きデータを含むビデオを取得し得る。さらに、ＵＡＶは、ＵＡＶに関連付けられたセンサを使用して、オプティカルフロー場の生成に使用し得る情報を取得し得る。取得されたビデオが、ビデオと同様のときに取得されたセンサ情報に基づく相関付けられたオプティカルフロー場と位置合わせされる場合、その結果生成される情報を使用して、ビデオデータを効率的に符号化し得る。特に、位置合わせされたビデオ及びオプティカルフロー場データを使用して、ビデオ内の運動ベクトルのロケーションを効率的に特定し得る。そして、運動ベクトルを使用して、ビデオ符号化のプロセス中、予測ビデオフレームと知覚ビデオフレームとの差から生じる残差データを低減し得る。したがって、運動ベクトルを正確且つ効率的に識別することに関する方法は、ビデオ符号化プロセスの効率及び有用性を増大させ得る。
ＵＡＶからのセンサデータを使用して生成されるオプティカルフロー場を使用して、生成されたオプティカルフロー場と位置合わせされたビデオデータを効率的に符号化し得る。ビデオデータは、ＵＡＶにおけるプロセッサ、ビデオ取得デバイス、又はＵＡＶ搭載のキャリアによって符号化し得る。ビデオデータは、ＵＡＶに通信可能に接続されるユーザ端末等のＵＡＶ外部のプロセッサによって符号化され得る。さらに、オプティカルフロー場はＵＡＶにおいて生成し得る。代替的には、オプティカルフロー場は、ＵＡＶに通信可能に接続される外部ロケーションにおいて生成し得る。オプティカルフロー場の生成に使用されるセンサ情報は、ＵＡＶにおいて検出し得る。追加又は代替として、オプティカルフロー場の生成に使用されるセンサ情報は、ＵＡＶに通信可能に接続される外部ソースからＵＡＶに提供し得る。したがって、ビデオ取得デバイスによって取得されるビデオデータは、ＵＡＶに関連付けられたセンサデータに基づいて生成されるオプティカルフロー場を使用して、効率的に符号化し得る。
特に、ＵＡＶによって取得されたビデオデータに対応するオプティカルフロー場を使用して、ビデオデータ内のビデオフレーム構成要素に関連付けられた運動ベクトルのロケーションを効率的に識別し得る。ビデオデータを符号化する際、各フレームを何度も繰り返して符号化するよりも、ビデオデータをビデオフレーム構成要素に分割し、ビデオフレーム構成要素間の認識された類似性を符号化することが有益であり得る。しかし、幾つかのビデオデータは大きな移動を有し得るため、２つのビデオフレーム間に大量の類似性がある場合であっても、第１のビデオフレームのブロックを第２のビデオフレームのブロックに関連付けることが難しいことがある。これは、大きな移動に伴い、ビデオフレーム内の類似要素のバイアスがビデオフレームにわたってシフトし得るためである。例えば、カメラが右にシフトすると、前はビデオフレームの右縁部にあったビデオの物体は左にシフトすることになる。しかし、ビデオデータを符号化する従来の方法は、第１のビデオフレーム上の特定のロケーションにあるブロックが、第２のビデオフレーム上の同じ特定のロケーションにあるブロックに関連するという仮定に基づく。従来の方法は、検索エリアを利用して、第２のビデオフレーム上のブロックの初期の同じ場所にある点の周囲の関心のあるエリアを識別するが、使用される検索エリアのサイズ及びロケーションは、カメラの移動に鑑みて変更されない。したがって、異なるビデオフレーム間での類似ブロック間の、共有運動ベクトルの識別等の結び付きを見つけるために従来の方法を使用することは一般に、ビデオデータに関連付けられた大きな移動両がある場合、不足している。
ビデオデータを符号化する従来の方法のこの欠点に基づいて、本発明の態様は、オプティカルフロー場データを使用して、ビデオデータをコンテキスト化することを提供する。特に、ビデオデータと位置合わせされたオプティカルフロー場を使用して、運動ベクトル等のビデオフレームにわたるブロック間の結び付け情報を識別するために使用される検索エリアのサイズ及び形状を変更し得る。さらに、オプティカルフロー場は、ビデオフレームのブロックに関連付けられた運動ベクトルの検索エリアの初期開始点をバイアス／シフトして、ブロック内の運動ベクトルをより正確に識別することにも使用し得る。
本発明の態様は、ビデオを符号化する検索エリアを評価する方法を含み得る。本方法は、画像取得デバイスによって取得された、ビデオフレーム構成要素を含むビデオを受信するステップを含み得る。さらに、本方法は、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するステップを含み得、オプティカルフロー場データの少なくとも一部はセンサによって取得される。本方法は、オプティカルフロー場データに基づいて検索エリアを決定するステップを含むこともできる。
さらに、本発明の態様は、ビデオを符号化する検索エリアを評価するプログラム命令を含む非一時的コンピュータ可読媒体を含み得る。本コンピュータ可読媒体は、画像取得デバイスによって取得された、ビデオフレーム構成要素を含むビデオを受信するプログラム命令を含み得る。本コンピュータ可読媒体は、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するプログラム命令を含むこともでき、オプティカルフロー場データの少なくとも一部はセンサによって取得される。さらに、本コンピュータ可読媒体は、オプティカルフロー場データに基づいて検索エリアを決定するプログラム命令を含み得る。
本発明の態様は、ビデオを符号化する検索エリアを評価するシステムを含むこともできる。本システムは、ビデオを取得するように構成される画像取得デバイスを含み得る。さらに、本システムは、オプティカルフロー場データを取得するように構成される１つ又は複数のセンサを含み得る。本システムは、１つ又は複数のプロセッサを含むこともできる。１つ又は複数のプロセッサは、個々に又は集合的に、画像取得デバイスによって取得されたビデオを受信するように構成され得る。ビデオはビデオフレーム構成要素を含み得る。さらに、１つ又は複数のプロセッサは、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するように構成され、オプティカルフロー場データの少なくとも一部は１つ又は複数のセンサによって取得される。１つ又は複数のプロセッサは、オプティカルフロー場データに基づいて検索エリアを決定するようも構成され得る。
本発明の態様は、ビデオフレーム構成要素の運動ベクトルを識別する方法を更に含み得る。本方法は、画像取得デバイスによって取得された、ビデオフレーム構成要素を含むビデオを受信するステップを含み得る。さらに、本方法は、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するステップを含み得る。本方法は、運動ベクトルを査定する検索エリアを決定するステップを含むこともでき、検索エリアは、受信したオプティカルフロー場データに基づく。
さらに、本発明の態様は、ビデオフレーム構成要素の運動ベクトルを特定するプログラム命令を含む非一時的コンピュータ可読媒体を含み得る。本コンピュータ可読媒体は、画像取得デバイスによって取得された、ビデオフレーム構成要素を含むビデオを受信するプログラム命令を含み得る。本コンピュータ可読媒体は、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するプログラム命令を含むこともできる。さらに、本コンピュータ可読媒体は、運動ベクトルを査定する検索エリアを決定するプログラム命令を含み得、検索エリアは、受信したオプティカルフロー場データに基づく。
本発明の態様は、ビデオフレーム構成要素の運動ベクトルを識別するシステムを含むこともできる。本システムは、ビデオを取得するように構成される画像取得デバイスを含み得る。本システムは、オプティカルフロー場データを取得するように構成される１つ又は複数のセンサを含むこともできる。さらに、本システムは１つ又は複数のプロセッサを含み得る。１つ又は複数のプロセッサは、画像取得デバイスによって取得されたビデオを受信するように構成し得、ビデオはビデオフレーム構成要素を含む。１つ又は複数のプロセッサは、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するようにも構成し得る。さらに、１つ又は複数のプロセッサは、運動ベクトルを査定する検索エリアを決定するように構成し得、検索エリアは初期点を含み、検索エリアの寸法は、受信したオプティカルフロー場データに基づく。
本発明の更なる態様では、ビデオを符号化する検索エリアを決定する方法を含み得る。本方法は、画像取得デバイスによって取得されたビデオを受信するステップを含み得、ビデオはビデオフレームを含む。本方法は、ビデオフレームに関連付けられた動きデータを受信するステップを含むこともでき、動きデータはセンサによって取得される。さらに、本方法は、動きデータに基づいてビデオフレーム内の検索エリアを決定するステップを含み得、検索エリアは、画像取得デバイスによって取得されるビデオの動きを評価するのに使用される。
本発明の追加の態様は、ビデオを符号化する検索エリアを決定するプログラム命令を含む非一時的コンピュータ可読媒体を含み得る。本コンピュータ可読媒体は、画像取得デバイスによって取得された、ビデオフレームを含むビデオを受信するプログラム命令を含み得る。さらに、本コンピュータ可読媒体は、ビデオフレームに関連付けられた動きデータを受信するプログラム命令を含み得、動きデータはセンサによって取得され、ビデオフレームは複数のブロックを含む。さらに、本コンピュータ可読媒体は、動きデータに基づいてビデオフレーム内の検索エリアを決定するプログラム命令を含み得る。
本発明の態様は、ビデオを符号化する検索エリアを決定するシステムを含むこともできる。本システムは、ビデオを取得するように構成される画像取得デバイスを含み得る。さらに、本システムは、動きデータを取得するように構成される１つ又は複数のセンサを含み得る。本システムは、１つ又は複数のプロセッサを含むこともできる。１つ又は複数のプロセッサは、画像取得デバイスによって取得された、ビデオフレームを含むビデオを受信するように構成され得る。１つ又は複数のプロセッサは、ビデオフレームに関連付けられた動きデータを受信するようにも構成され、動きデータはセンサによって取得され、ビデオフレームは複数のブロックを含む。さらに、１つ又は複数のプロセッサは、動きデータに基づいて、ビデオフレーム内の検索エリアを決定するように構成され得る。
本発明の更なる態様は、ビデオを符号化する検索エリアを決定する方法を含み得る。本方法は、画像取得デバイスによって取得されたビデオを受信するステップを含み得、ビデオは、第１のビデオフレーム及び第２のビデオフレームを含み、ビデオフレームの各々は複数のブロックを含む。本方法は、第２のビデオフレームに関連付けられた動きデータを受信するステップを含むこともでき、動きデータはセンサによって取得される。さらに、本方法は、第２のビデオフレームに関連付けられた動きデータに基づいて、第１のビデオフレーム内の検索エリアを決定するステップを含み得る。
本発明の更なる態様は、ビデオを符号化する検索エリアを決定するプログラム命令を含む非一時的コンピュータ可読媒体でを含み得る。本コンピュータ可読媒体は、画像取得デバイスによって取得されたビデオを受信するプログラム命令を含み得、ビデオは、第１のビデオフレーム及び第２のビデオフレームを含み、ビデオフレームの各々は複数のブロックを含む。さらに、本コンピュータ可読媒体は、第２のビデオフレームに関連付けられた動きデータを受信するプログラム命令を含み得、動きデータはセンサによって取得される。さらに、本コンピュータ可読媒体は、第２のビデオフレームに関連付けられた動きデータに基づいて、第１のビデオフレーム内の検索エリアを決定するプログラム命令を含み得る。
本発明の態様は、ビデオを符号化する検索エリアを決定するシステムを含むこともできる。本システムは、ビデオを取得するように構成される画像取得デバイスを含み得る。さらに、本システムは、動きデータを取得するように構成される１つ又は複数のセンサを含み得る。本システムは、１つ又は複数のプロセッサを含むこともできる。１つ又は複数のプロセッサは、画像取得デバイスによって取得されたビデオを受信するように構成し得、ビデオは、第１のビデオフレーム及び第２のビデオフレームを含み、ビデオフレームの各々は複数のブロックを含む。１つ又は複数のプロセッサは、第２のビデオフレームに関連付けられた動きデータを受信するようにも構成し得、動きデータはセンサによって取得される。さらに、１つ又は複数のプロセッサは、第２のビデオフレームに関連付けられた動きデータに基づいて、第１のビデオフレーム内の検索エリアを決定するように構成し得る。
本発明の別の態様は、航空車両によって取得されるビデオを符号化する方法を含み得る。本方法は、航空車両に搭載された画像取得デバイスによって取得されたビデオを受信するステップを含み得、ビデオはビデオフレーム構成要素を含む。さらに、本方法は、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するステップを含み得、オプティカルフロー場データの少なくとも一部は、航空車両に搭載されるセンサによって取得される。本方法は、オプティカルフロー場データに基づいて、画像取得デバイスによって取得されたビデオの動きをビデオ符号化に関して評価するステップを含むこともできる。
さらに、本発明の態様は、航空車両によって取得されるビデオを符号化するプログラム命令を含む非一時的コンピュータ可読媒体を含み得る。本コンピュータ可読媒体は、航空車両に搭載された画像取得デバイスによって取得されたビデオを受信するプログラム命令を含み得、ビデオはビデオフレーム構成要素を含む。本コンピュータ可読媒体は、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するプログラム命令を含み得、オプティカルフロー場データの少なくとも一部は、航空車両に搭載されるセンサによって取得される。本コンピュータ可読媒体は、オプティカルフロー場データに基づいて、画像取得デバイスによって取得されたビデオの動きをビデオ符号化に関して評価するプログラム命令を含むこともできる。
本発明の態様は、航空車両によって取得されるビデオを符号化するシステムを含むこともできる。本システムは、航空車両に搭載される画像取得デバイスを含み得、上記画像取得デバイスは、ビデオを取得するように構成される。さらに、本システムは、航空車両に搭載される１つ又は複数のセンサを含み得、上記１つ又は複数のセンサは、オプティカルフロー場データを取得するように構成される。本システムは、１つ又は複数のプロセッサを含むこともできる。１つ又は複数のプロセッサは、個々に又は集合的に、画像取得デバイスによって取得されたビデオを受信するように構成し得、ビデオはビデオフレーム構成要素を含む。さらに、１つ又は複数のプロセッサは、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するように構成し得、オプティカルフロー場データの少なくとも一部は、センサによって取得される。１つ又は複数のプロセッサは、オプティカルフロー場データに基づいて、画像取得デバイスによって取得されたビデオの動きをビデオ符号化に関して評価するようにも構成し得る。
本発明の異なる態様が個々に、集合的に、又は互いに組み合わせて理解され得ることが理解されるものとする。本明細書に記載される本発明の様々な態様は、以下に記載される任意の特定の用途又は任意の他のタイプの移動可能物体に適用し得る。無人航空機等の航空車両の本明細書での任意の説明は、任意の車両等の任意の移動可能物体に適用し得、使用され得る。さらに、ビデオ取得デバイスが航空移動（例えば、飛行）のビデオデータを取得している間にビデオを符号化する文脈の中で本明細書に開示されるシステム、デバイス、及び方法は、ビデオ取得デバイスが地上又は水上、水中の移動、又は宇宙空間での移動等の他のタイプの移動のビデオ取得を取得している間にビデオを符号化する文脈でも適用し得る。
本発明の他の目的及び特徴は、本明細書、特許請求の範囲、及び添付図の検討により明白になろう。
本明細書において言及される全ての公開物、特許、及び特許出願は、まるで個々の各公開物、特許、又は特許出願が特に個々に、参照により援用されるものとして示されるかのような程度まで、参照により本明細書に援用される。
本発明の新規の特徴は、特に添付の特許請求の範囲に記載される。本発明の特徴及び利点のよりよい理解は、本発明の原理が利用される例示的な実施形態を記載する以下の詳細な説明及び添付図面を参照することによって得られよう。
本発明の実施形態による、ビデオ取得に使用されるビデオ取得デバイスを担持する無人航空機（ＵＡＶ）の概略図を示す。 本発明の実施形態によるビデオ符号化の一般的なプロセスを示す。 本発明の実施形態による、ビデオフレーム構成要素におけるブロック内のピクセルのイントラ符号化の例を示す。 本発明の実施形態による、ビデオフレームにわたり同じ場所に配置されたブロックをリンクする運動ベクトルを示す。 従来技術において提供されるようなフレーム間のブロックを符号化するために提供される検索エリアの構造を示す。 本発明の実施形態による、フレーム間のブロックを符号化するために提供される検索エリアを変更する構造を示す。 本発明の実施形態による、上からの回転図に関連付けられたオプティカルフロー場を示す。 本発明の実施形態による、カメラに関連付けられたズームイン特徴に関連付けられたオプティカルフロー場を示す。 本発明の実施形態による、異なる度物体移動を有する大域的オプティカルフロー場を提供する。 本発明の実施形態による超高速大域的カメラ移動を示す。 本発明の実施形態による傾斜大域的移動を示す。 本発明の実施形態による初期検索点とバイアス検索点との比較を示す。 本発明の実施形態による、オプティカルフロー場データに基づいて、ビデオ符号化について検索エリアを評価する方法を示すフローチャートである。 本発明の実施形態による、オプティカルフロー場データに基づいて、ビデオフレーム構成要素の運動ベクトルを識別する方法を示すフローチャートである。 本発明の実施形態による、動きデータに基づいてビデオ符号化の検索エリアを決定する方法を示すフローチャートである。 本発明の実施形態による、動きデータに基づいてビデオ符号化の検索エリアを決定する別の方法を示すフローチャートである。 本発明の実施形態による、オプティカルフロー場データに基づいて航空車両によって取得されたビデオを符号化する別の方法を示すフローチャートである。 本発明の実施形態によるＵＡＶの装置を示す。 本発明の実施形態によるキャリア及び搭載物を含む移動可能物体を示す。 本発明の実施形態による、移動可能物体を制御するシステムのブロック図による概略図である。
本明細書に記載される方法、デバイス、及び端末は、無人航空機（ＵＡＶ）に搭載されたビデオ取得デバイス等のビデオ取得デバイスによって取得されたビデオを効率的に符号化する効果的な手法を提供する。本明細書に記載される方法、デバイス、及び端末は、ビデオデータを取得し、ＵＡＶに関連付けられたセンサデータに基づいてオプティカルフロー場を生成し、生成されたオプティカルフロー場に基づいて、ビデオデータの符号化に使用する検索エリアを変更するのに使用し得る。本明細書に開示される方法、デバイス、及び端末は、任意の適する移動可能物体又は静止物体に取り付けられるビデオ取得デバイスによって取得されるビデオに適用し得る。移動可能物体は、自己推進移動可能（例えば、車両）であり得、一方、静止物体は自己推進移動可能ではないことがある。ある実施形態では、移動可能物体は無人航空機（ＵＡＶ）であり得る。
したがって、提供される方法を使用して、ビデオデータを効率的に符号化し得る。ビデオデータがより効率的に符号化される場合、設定量の記憶空間を所与として、より多量のビデオデータを記録し得る。代替的には、従来は同量の一般ビデオデータのみを記録可能であった同量の記憶空間内に、容量を増大したビデオを記録し得る。これは、高精細ビデオの記録又は高度の動きを有するビデオの記録において有益である。
本発明の方法がビデオデータを効率的に符号化可能な方法は、時間にわたりビデオフレームのアスペクトをリンクする運動ベクトルを効率的に検索することによる。特に、これらのリンクするアスペクトを検索する方法は、ビデオ取得デバイスの移動に関連付けられた影響等のビデオデータで取得中の物体に影響を及ぼす他の影響に基づいてコンテキスト化される。このようにして、ビデオ取得デバイスの移動と、ビデオ取得デバイスの搭載に使用されるＵＡＶのセンサによって取得される他の影響とを用いて運動ベクトルをコンテキスト化することにより、これらのリンクする運動ベクトルの識別に必要な検索エリアが最小化される。したがって、ビデオデータの符号化に必要な労力が最小化される。
図１は、本発明の実施形態による、ビデオ取得に使用されるビデオ取得デバイス１４０を担持する無人航空機（ＵＡＶ）１００の概略図を示す。ＵＡＶは、ＵＡＶ本体１１０と、ＵＡＶの移動を行い得る１つ又は複数の推進ユニット１２０とを有し得る。ＵＡＶは１つ又は複数のセンサを有し得る。１つ又は複数のセンサは、オプティカルフロー場を生成するためにＵＡＶによって使用されるデータの収集に使用し得る。ＵＡＶは任意選択的に、オンボードオプティカルフロー場生成器１３０を有し得る。そして、ＵＡＶによって生成されるオプティカルフロー場は、ＵＡＶによって取得されるビデオの効率的な符号化に使用し得る。符号化プロセッサ１５０は任意選択的に、ＵＡＶによって担持され、ビデオの符号化に使用し得る。
ビデオは、ビデオ取得デバイス１４０を使用して取得し得る。ビデオ取得デバイスは、静止物体又はＵＡＶ等の移動可能物体上に支持し得る。ＵＡＶの本明細書での任意の説明は、ビデオ取得デバイスの任意の支持構造を含み得るＵＡＶ１００の本明細書での任意の説明は、航空車両等の任意のタイプの移動可能物体に適用し得る。ＵＡＶの説明は、任意のタイプの無人移動可能物体（例えば、空中、陸上、水中、又は空間を移動し得る）に適用し得る。ＵＡＶは、リモートコントローラからのコマンドに応答可能であり得る。リモートコントローラは、ＵＡＶに接続されなくてもよく、むしろ、リモートコントローラは、遠くのＵＡＶと無線で通信し得る。場合によっては、ＵＡＶは、自律的又は半自律的に動作可能であり得る。ＵＡＶは、１組の予めプログラムされた命令に従うことが可能であり得る。場合によっては、ＵＡＶは、リモートコントローラからの１つ又は複数のコマンドに応答し、その他の場合には自律的に動作することにより、半自律的に動作し得る。例えば、リモートコントローラからの１つ又は複数のコマンドは、１つ又は複数のパラメータに従ってＵＡＶによる一連の自律動作又は半自律動作を開始し得る。ある実施形態では、ＵＡＶの本明細書での任意の説明は、ビデオ取得デバイスの支持体（例えば、スタンド、支柱、フェンス、建物、壁、天井、屋根、床、地面、家具、照明器具、木、植物、石、又は任意の他の静止物体）等の任意の静止物体に適用し得る。
ビデオ取得デバイスは、ビデオ取得デバイスによって取得される視野（ＦＯＶ）を変更可能であり得る。ビデオ取得デバイスは、並進移動（例えば、左右、前後、上下、又はそれらの任意の組合せ）を有して、ビデオ取得デバイスのＦＯＶを変更し得る。ビデオ取得デバイスは、回転移動（例えば、ビデオ取得デバイスのヨー軸、ピッチ軸、又はロール軸回り）を有して、ビデオ取得デバイスのＦＯＶを変更し得る。場合によっては、ビデオ取得デバイスは、回転移動なしで並進移動のみを有し得、並進移動なしで回転移動のみを有し得、又は並進移動及び回転移動の両方を有し得る。ビデオ取得デバイスからのビデオによって取得された移動は、ビデオ取得デバイスＦＯＶの変更を示し得る。ビデオ符号化システム及び方法を使用して、本明細書の他の箇所に更に詳細に説明するように、ビデオ取得デバイスによって取得されたビデオを符号化し得る。
ビデオ取得デバイスは任意選択的に、ＵＡＶ１００又は任意の他の支持構造体によって支持し得る。ＵＡＶは本体１１０を有し得る。場合によっては、本体は、１つ又は複数の分岐部材又は「アーム」を有し得る中央体であり得る。アームは、半径方向に本体から外側に延び、本体を介して結合し得る。アームの数は、ＵＡＶの推進ユニット又はロータの数に一致し得る。本体は筐体を備え得る。筐体は、筐体内にＵＡＶの１つ又は複数の構成要素を囲み得る。場合によっては、ＵＡＶの１つ又は複数の電気構成要素を筐体内に提供し得る。例えば、ＵＡＶの飛行コントローラが、筐体内に提供され得る。飛行コントローラは、ＵＡＶの１つ又は複数の推進ユニット１２０の動作を制御し得る。推進ユニットは各々、ロータ及びモータの少なくとも一方を含み得る。さらに、１つ又は複数の推進ユニットは、ＵＡＶが空中であちこち移動できるようにし得る。１つ又は複数の推進ユニットは、ＵＡＶのアームに提供し得る。アームは、アームの基端部でＵＡＶの本体に接続し得る。１つ又は複数の推進ユニットは、アームの先端部に接続し得る。１つ又は複数の推進ユニットは、ＵＡＶが１つ又は複数、２つ以上、３つ以上、４つ以上、５つ以上、６つ以上の自由度で動き回れるようにし得る。場合によっては、ＵＡＶは、１つ、２つ、３つ以上の回転軸の回りで回転可能であり得る。回転軸は、互いに直交し得る。回転軸は、ＵＡＶの飛行の過程全体を通して互いに直交した状態を保ち得る。回転軸は、ピッチ軸、ロール軸、及び／又はヨー軸を含み得る。ＵＡＶは、１つ又は複数の次元に沿って移動可能であり得る。例えば、ＵＡＶは、１つ又は複数のロータによって生成される揚力に起因して、上方に移動可能であり得る。場合によっては、ＵＡＶは、Ｚ軸（ＵＡＶの向きに相対して上であり得る）、Ｘ軸及びＹ軸（横方向であり得る）の少なくとも一方に沿って移動可能であり得る。ＵＡＶは、互いに直交し得る１つ、２つ、又は３つの軸に沿って移動可能であり得る。
ＵＡＶはロータクラフトであり得る。場合によっては、ＵＡＶは、複数のロータを含み得るマルチロータクラフトであり得る。複数のロータは、回転してＵＡＶの揚力を生成することが可能であり得る。ロータは、ＵＡＶが、空中を自在にあちこち移動できるようにし得る推進ユニットであり得る。ロータは、同じ速度で回転し、且つ／又は同量の揚力又は推進力を生成し得る。ロータは任意選択的に、可変速度で回転し得、可変速度は異なる量の揚力又は推進力を生成し、且つ／又はＵＡＶが回転することができるようにし得る。場合によっては、１つ、２つ、３つ、４つ、５つ、６つ、７つ、８つ、９つ、１０、又は１１以上のロータをＵＡＶに提供し得る。ロータは、回転軸が互いに平行するように構成し得る。場合によっては、ロータは、互いに相対して任意の角度の回転軸を有し得、これはＵＡＶの移動に影響し得る。
示されるＵＡＶは複数のロータを有し得る。ロータはＵＡＶの本体に接続し得、ＵＡＶの本体は、制御ユニットと、１つ又は複数のセンサと、プロセッサと、電源とを備え得る。センサは、ＵＡＶ環境についての情報を収集し得る視覚センサ及び／又は他のセンサを含み得る。センサからの情報を使用して、ＵＡＶのロケーションを特定し得る。ロータは、本体の中央部から分岐し得る１つ又は複数のアーム又は延長部を介して本体に接続し得る。例えば、１つ又は複数のアームは、ＵＡＶの中央本体から半径方向に延び得、アームの端部又はその近傍にロータを有し得る。
ＵＡＶの垂直位置及び速度の少なくとも一方は、ＵＡＶの１つ又は複数の推進ユニットへの出力を維持及び／又は調整することによって制御し得る。例えば、ＵＡＶの１つ又は複数のロータの回転速度の増大は、ＵＡＶに高度を増大させること、又はより高速で高度を増大させることを支援し得る。１つ又は複数のロータの回転速度の増大は、ロータの推進力を増大させ得る。ＵＡＶの１つ又は複数のロータの回転速度の低減は、ＵＡＶに高度を低減させること、又はより高速で高度を低減させることを支援し得る。１つ又は複数のロータの回転速度の低減は、１つ又は複数のロータの推進力を低減させ得る。ＵＡＶが離陸中の場合、推進ユニットに提供される出力は、前の地上状態から増大させ得る。ＵＡＶが着陸中の場合、推進ユニットに提供される出力は、前の飛行状態から低減させ得る。ＵＡＶは、略垂直に離陸及び／又は着陸するように構成し得る。
ＵＡＶの横方向位置及び速度の少なくとも一方は、ＵＡＶの１つ又は複数の推進ユニットへの出力を維持及び／又は調整することによって制御し得る。ＵＡＶの高度及びＵＡＶの１つ又は複数のロータの回転速度は、ＵＡＶの横方向移動に影響を及ぼし得る。例えば、ＵＡＶは、特定の方向に傾斜して、その方向に移動し得、ＵＡＶのロータの速度は、横方向移動の速度及び／又は移動の軌道に影響を及ぼし得る。ＵＡＶの横方向位置及び速度の少なくとも一方は、ＵＡＶの１つ又は複数のロータの回転速度を変更又は維持することによって制御し得る。
ＵＡＶのアームは管又はロッドであり得る。ＵＡＶのアームは、円形断面を有し得る。ＵＡＶのアームは、正方形又は矩形断面を有し得る。ＵＡＶのアームは、楕円形断面を有し得る。ＵＡＶのアームは中空管であり得る。ＵＡＶのアームは中実管であり得る。ＵＡＶのアームは、金属、プラスチック、又は複合材料から形成し得る。ＵＡＶのアームは、軽量材料から形成し得る。ＵＡＶのアームは、炭素繊維から形成し得る。ＵＡＶのアームは、ＵＡＶの中央本体と一体形成し得る。代替的には、ＵＡＶのアームは、ＵＡＶと別個に形成されてもよく、又はＵＡＶとは別個であってもよい。
ＵＡＶは、１００ｃｍ以下の最大寸法（例えば、長さ、幅、高さ、対角線、直径）を有し得る。場合によっては、最大寸法は、１ｍｍ以下、５ｍｍ以下、１ｃｍ以下、３ｃｍ以下、５ｃｍ以下、１０ｃｍ以下、１２ｃｍ以下、１５ｃｍ以下、２０ｃｍ以下、２５ｃｍ以下、３０ｃｍ以下、３５ｃｍ以下、４０ｃｍ以下、４５ｃｍ以下、５０ｃｍ以下、５５ｃｍ以下、６０ｃｍ以下、６５ｃｍ以下、７０ｃｍ以下、７５ｃｍ以下、８０ｃｍ以下、８５ｃｍ以下、９０ｃｍ以下、９５ｃｍ以下、１００ｃｍ以下、１１０ｃｍ以下、１２０ｃｍ以下、１３０ｃｍ以下、１４０ｃｍ以下、１５０ｃｍ以下、１６０ｃｍ以下、１７０ｃｍ以下、１８０ｃｍ以下、１９０ｃｍ以下、２００ｃｍ以下、２２０ｃｍ以下、２５０ｃｍ以下、又は３００ｃｍ以下であり得る。任意選択的に、ＵＡＶの最大寸法は、本明細書に記載される任意の値以上であり得る。ＵＡＶは、本明細書に記載される値の任意の２つ間の範囲内の最大寸法を有し得る。ＵＡＶは軽量ＵＡＶであり得る。例えば、ＵＡＶは、１ｍｇ以下、５ｍｇ以下、１０ｍｇ以下、５０ｍｇ以下、１００ｍｇ以下、５００ｍｇ以下、１ｇ以下、２ｇ以下、３ｇ以下、５ｇ以下、７ｇ以下、１０ｇ以下、１２ｇ以下、１５ｇ以下、２０ｇ以下、２５ｇ以下、３０ｇ以下、３５ｇ以下、４０ｇ以下、４５ｇ以下、５０ｇ以下、６０ｇ以下、７０ｇ以下、８０ｇ以下、９０ｇ以下、１００ｇ以下、１２０ｇ以下、１５０ｇ以下、２００ｇ以下、２５０ｇ以下、３００ｇ以下、３５０ｇ以下、４００ｇ以下、４５０ｇ以下、５００ｇ以下、６００ｇ以下、７００ｇ以下、８００ｇ以下、９００ｇ以下、１ｋｇ以下、１．１ｋｇ以下、１．２ｋｇ以下、１．３ｋｇ以下、１．４ｋｇ以下、１．５ｋｇ以下、１．７ｋｇ以下、２ｋｇ以下、２．２ｋｇ以下、２．５ｋｇ以下、３ｋｇ以下、３．５ｋｇ以下、４ｋｇ以下、４．５ｋｇ以下、５ｋｇ以下、５．５ｋｇ以下、６ｋｇ以下、６．５ｋｇ以下、７ｋｇ以下、７．５ｋｇ以下、８ｋｇ以下、８．５ｋｇ以下、９ｋｇ以下、９．５ｋｇ以下、１０ｋｇ以下、１１ｋｇ以下、１２ｋｇ以下、１３ｋｇ以下、１４ｋｇ以下、１５ｋｇ以下、１７ｋｇ以下、又は２０ｋｇ以下の重量であり得る。ＵＡＶは、本明細書に記載される任意の値以上の重量を有し得る。ＵＡＶは、本明細書に記載される値の任意の２つ間の範囲内の重量を有し得る。
ＵＡＶは、ビデオ取得デバイス１４０を担持し得る。ビデオ取得デバイスは、移動する（例えば、ＵＡＶ）か、又は静止した任意の支持構造体によって支持し得る。ある実施形態では、ビデオ取得デバイスはカメラであり得る。本明細書でのカメラの任意の説明は、任意のタイプのビデオ取得デバイスに適用し得る。カメラは、支持構造体にしっかりと結合し得る。代替的には、カメラは、最大で自由度６まで支持構造体に相対して移動可能であり得る。カメラは、支持構造体に直接搭載されてもよく、又は支持構造体に搭載されたキャリアに結合してもよい。ある実施形態では、キャリアはジンバルであり得る。ある実施形態では、カメラは、ＵＡＶ等の支持構造体の搭載物の要素であり得る。
カメラは、ＵＡＶの環境の画像（例えば、ビデオ等の動的画像又はスナップショット等の静止画像）を取得し得る。カメラは、画像（例えば、ビデオ）を連続して取得し得る。代替的には、カメラは、指定された頻度で画像（例えば、ビデオ）を取得して、時間の経過に伴う一連の画像データ（例えば、ビデオデータ）を生成し得る。本明細書でのビデオの任意の説明は、動的画像、静止画像等、時間の経過に伴って取得される一連の画像等の任意のタイプの画像に適用し得る。画像は、ビデオレート（例えば、２５Ｈｚ、５０Ｈｚ、７５Ｈｚ、１００Ｈｚ、１２５Ｈｚ、１５０Ｈｚ、１７５Ｈｚ、２００Ｈｚ、２２５Ｈｚ、又は２５０Ｈｚ）で取得し得る。ある実施形態では、ビデオは、環境音の録音と同時に取得し得る。
ある実施形態では、取得されたビデオはＵＡＶ搭載のメモリに記憶し得る。メモリは、１つ又は複数のメモリユニット（例えば、セキュアデジタル（ＳＤ）カード等のリムーバブル媒体若しくは外部記憶装置又はランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、若しくはフラッシュメモリ）を含み得る非一時的コンピュータ可読媒体であり得る。代替的には、取得されるビデオ及び／又は画像はリモート端末に送信し得る。取得されるビデオ及び／又は画像の送信は、無線周波数（ＲＦ）リンク、ＷｉＦｉ（登録商標）リンク、ブルートゥース（登録商標）リンク、２Ｇリンク、３Ｇリンク、又はＬＴＥリンクを含むが、これらに限定されない無線リンクを介して実施し得る。メモリは、ＵＡＶによって担持されるカメラ、ＵＡＶのキャリア、及び／又はＵＡＶそれ自体（例えば、ＵＡＶ本体内又はＵＡＶのアーム）に存在し得る。メモリは、ＵＡＶ、キャリア、又はカメラから取り外し可能又は分離可能であってもよく、又はなくてもよい。
カメラは、画像センサと、１つ又は複数のレンズとを備え得る。１つ又は複数のレンズは、画像センサに光を向けるように構成し得る。画像センサは、光学画像を電子信号に変換するデバイスである。カメラの画像センサは、電荷結合デバイス（ＣＣＤ）型、相補形金属酸化物半導体（ＣＭＯＳ）型、Ｎ型金属酸化物半導体（ＮＭＯＳ）型、又は背面照明ＣＭＯＳ（ＢＳＩ−ＣＭＯＳ）型であり得る。
カメラは、焦点距離又は焦点距離範囲を有し得る。光学系の焦点距離は、システムがどの程度強く光を集中又は拡散させるかの尺度であり得る。カメラに関連付けられた焦点距離は、カメラによって取得されたビデオを使用して生成される、結果として生成されるオプティカルフロー場に影響を及ぼし得る。レンズの焦点距離は、最初にコリメートされた光線が焦点に集められる距離であり得る。カメラは、固定焦点レンズ又はズームレンズ等の任意のタイプのレンズを有し得る。固定焦点レンズは固定焦点距離を有し得、焦点距離は単一の焦点距離を包み得る。ズームレンズは可変焦点距離を有し得、焦点距離は複数の焦点距離を含み得る。
ビデオ取得デバイスは、経時変化し得るＦＯＶを有し得る。視野（ＦＯＶ）は、空間中で特定の位置及び特定の向きでカメラを通して見える世界の部分であり得、写真撮影時にＦＯＶ外部の物体は、ビデオデータに記録されない。これは、ビューコーンの角度サイズ、視角として表現されることが最も多い。通常のレンズの場合、視野はＦＯＶ＝２ａｒｃｔａｎ（ｄ／２ｆ）として計算し得、式中、ｄは画像センササイズであり、ｆはレンズの焦点距離である。固定サイズを有する画像センサの場合、単焦点レンズは固定ＦＯＶを有し得、ＦＯＶは単一のＦＯＶ角度を含み得る。固定サイズを有する画像センサの場合、ズームレンズは可変ＦＯＶ角度範囲を有し得、ＦＯＶ角度範囲は複数のＦＯＶ角度を含み得る。ＦＯＶのサイズ及びロケーションの少なくとも一方は変更し得る。ビデオ取得デバイスのＦＯＶは、ＦＯＶのサイズを増減（例えば、ズームイン又はアウト）し、且つ／又はＦＯＶの中心点を変更する（例えば、ビデオ取得デバイスを並進移動及び／又は回転移動させる）ように変更し得る。ＦＯＶの変更は、ビデオ内に移動を生じさせ得る。
カメラに関連付けられたセンサからのデータを使用して、カメラによって取得されるビデオデータの符号化に有用なオプティカルフロー場の生成を支援し得る。カメラに関連付けられたセンサは、カメラ、カメラの支持構造体（例えば、ＵＡＶ）、及び／又は支持構造体上のカメラを支持するキャリア（例えば、ジンバル）に搭載し得る。代替的には、カメラに関連付けられたセンサは、カメラ、キャリア、及び／又はカメラの支持構造体からリモートであり得る。
例えば、カメラの支持構造体は１つ又は複数のセンサを支持し得る。例では、支持構造体はＵＡＶであり得る。ＵＡＶのセンサの任意の説明は、カメラの任意のタイプの支持構造体に適用し得る。ＵＡＶは、画像センサ等の１つ又は複数の視角センサを備え得る。例えば、画像センサは、単眼カメラ、立体視カメラ、レーダ、ソナー、又は赤外線カメラであり得る。ＵＡＶは、全地球測位システム（ＧＰＳ）センサ、慣性測定ユニット（ＩＭＵ）の一部又は別個に使用し得る慣性センサ（例えば、加速度計、ジャイロスコープ、磁力計）、ライダー、超音波センサ、音響センサ、ＷｉＦｉセンサ等のＵＡＶのロケーションの特定に使用し得るか、又はオプティカルフロー場情報の生成に有用であり得る他のセンサを更に備え得る。ＵＡＶは、追加の情報又は処理のためにＵＡＶからオフボードの追加構成要素と交信せずに、環境から直接情報を収集するＵＡＶ搭載のセンサを有し得る。例えば、環境で直接データを収集するセンサは、視覚センサ又は聴覚センサであり得る。
代替的には、ＵＡＶは、ＵＡＶ搭載であるが、ＵＡＶオフボードの１つ又は複数の構成要素と交信して、環境についてのデータを収集するセンサを有し得る。例えば、ＵＡＶオフボードの構成要素と交信して、環境についてのデータを収集するセンサは、衛星、塔、ルータ、サーバ、又は他の外部デバイス等の別のデバイスへの接続に頼るＧＰＳセンサ又は別のセンサであり得る。センサの様々な例は、ロケーションセンサ（例えば、全地球測位システム（ＧＰＳ）センサ、ロケーション三角測量を可能にするモバイルデバイス送信器）、視覚センサ（例えば、カメラ等の可視光、赤外線光、又は紫外線光を検出可能な撮像デバイス）、近接又は距離センサ（例えば、超音波センサ、ライダー、飛行時間又はデプスカメラ）、慣性センサ（例えば、加速度計、ジャイロスコープ、慣性測定ユニット（ＩＭＵ））、高度センサ、姿勢センサ（例えば、コンパス）、圧力センサ（例えば、気圧計）、聴覚センサ（例えば、マイクロホン）、又はフィールドセンサ（例えば、磁力計、電磁センサ）を含み得るが、これらに限定されない。１つ、２つ、３つ、４つ、５つ、又は６つ以上のセンサ等の任意の適する数及び組合せのセンサを使用し得る。任意選択的に、データは、異なるタイプ（例えば、２つ、３つ、４つ、５つ、又は６つ以上のタイプ）のセンサから受信し得る。異なるタイプのセンサは、異なるタイプの信号又は情報（例えば、位置、向き、速度、加速度、近接度、圧力等）を測定し、且つ／又は異なるタイプの測定技法を利用して、データを取得し得る。
これらの任意のセンサは、ＵＡＶからオフボードで提供することもできる。センサにはＵＡＶを関連付け得る。例えば、センサは、ＵＡＶの位置、ＵＡＶの速度、ＵＡＶの加速度、ＵＡＶの向き、ＵＡＶによって生成されるノイズ、ＵＡＶから発せられるか、又は反射される光、ＵＡＶによって生成される熱、又はＵＡＶの任意の他の特性等のＵＡＶの特性を検出し得る。センサはデータを収集し得、このデータを単独又はＵＡＶ搭載のセンサからのセンサデータと組み合わせて使用して、オプティカルフロー場情報を生成し得る。
センサは、能動センサ（例えば、エネルギーを生成し、各自のエネルギー源からのエネルギーを測定するセンサ）と受動センサ（例えば、利用可能なエネルギーを検出するセンサ）との任意の適する組合せを含み得る。別の例として、幾つかのセンサは、グローバル座標システムに関して提供される絶対測定データ（例えば、ＧＰＳセンサによって提供される位置データ、コンパス又は磁力計によって提供される姿勢データ）を生成し得、一方、他のセンサは、ローカル座標系に関して提供される相対測定データ（例えば、ジャイロスコープによって提供される相対角速度、加速度計によって提供される相対並進移動加速度、視覚センサによって提供される相対姿勢情報、超音波センサ、ライダー、又は飛行時間カメラによって提供される相対距離情報）を生成し得る。ＵＡＶ搭載又はＵＡＶオフボードのセンサは、ＵＡＶのロケーション、他の物体のロケーション、ＵＡＶ１００の向き、又は環境情報等の情報を収集し得る。単一のセンサが、環境内の情報一式を収集することが可能であり得る、又は一群のセンサが一緒に機能して、環境内の情報一式を収集し得る。センサは、ロケーションのマッピング、ロケーション間のナビゲーション、障害物の検出、又はターゲットの検出に使用し得る。さらに、本発明によれば、センサを使用して、ＵＡＶによって取得されたビデオデータの効率的な符号化に使用されるオプティカルフロー場の生成に使用されるデータを収集し得る。
したがって、ＵＡＶはオプティカルフロー場生成器１３０を有することもできる。オプティカルフロー場生成器は、ＵＡＶに搭載して（例えば、ＵＡＶ本体若しくはアーム、カメラ上、又はキャリア上）提供され得る。代替的には、生成されたオプティカルフロー場は、ＵＡＶにオフロードで（例えば、リモートサーバ、クラウド計算基盤、リモート端末、又は陸上局に）提供され得る。オプティカルフロー場生成器は、ＵＡＶに関連付けられたセンサデータに基づいてオプティカルフロー場を生成するように個々に又は集合的に構成される１つ又は複数のプロセッサを有し得る。オプティカルフロー場は、ビデオフレーム内で光がどのように流れるかを示す。この光の流れは、取得物体がビデオフレーム間でいかに移動しているかを示す。特に、オプティカルフロー場は、ビデオ取得デバイスによって取得される物体がいかに移動しているかの特徴を記述することが可能である。例えば、ビデオ取得デバイスのＦＯＶ内で取得されたビデオは、１つ又は複数の静止物体又は可動物体を含み得る。例では、オプティカルフロー場を使用して、ビデオで移動中の物体の速度又は加速度を特定し得る。オプティカルフロー場を使用して、ビデオ内にある物体の移動方向を示すこともできる。ビデオ内で移動中の物体を記述するオプティカルフロー場の例については、図７〜図１１に関して以下に説明する。
オプティカルフロー場の生成に使用されるセンサデータは、ＵＡＶに関連付けられた１つ又は複数のセンサによって取得され得る。追加又は代替として、センサデータは、外部モニタシステム等の外部ソースによって取得され得る。外部センサデータは、通信チャネルを使用してＵＡＶに提供され得る。したがって、オプティカルフロー場はＵＡＶにおいて生成され得る。代替的には、オプティカルフロー場は、ＵＡＶ外部で生成され得る。特に、ＵＡＶは、ＵＡＶに関連付けられたセンサ情報を１つ又は複数の外部プロセッサに提供し得る。次に、１つ又は複数の外部プロセッサは、ＵＡＶに関連付けられたセンサデータを使用して、オプティカルフロー場を生成し得る。さらに、１つ又は複数の外部プロセッサは、生成されたオプティカルフロー場をＵＡＶに提供し得る。オプティカルフロー場生成器は、ＵＡＶ搭載であるか、それともオフボードであるかに関係なく、ＵＡＶに関連付けられたセンサからデータを受信し得（センサが搭載されるか、オフボードであるか、それともそれらの任意の組合せであるかに関係なく）、そのデータを使用してオプティカルフロー場を生成し得る。
センサデータは任意選択的に、カメラの空間配置（例えば、座標、並進移動位置、高さ、向き）又はカメラの移動（例えば、線形速度、角速度、線形加速度、角加速度）についての情報を含み得る。センサデータは、カメラのズーム状態（例えば、焦点距離、どのくらいズームイン又はアウトするか）を検出可能であり得る。センサデータは、カメラのＦＯＶをいかに変更し得るかの計算に有用であり得る。
本発明の実施形態により、符号化プロセッサ１５０を提供し得る。符号化プロセッサを使用して、ビデオ取得デバイスによって取得されたビデオの符号化し得る。エントロピー符号化ツールの例としては、ハフマン符号化、ランレベル符号化、及び算術符号化が挙げられる。本明細書で考察される例では、コンテキスト適応可変長符号化（ＣＡＶＬＣ）及びコンテキスト適応二進算術符号化（ＣＡＢＡＣ）をＨ２６４において使用し得る。
さらに、符号化プロセッサは、ビデオに関連付けられたオプティカルフロー場を使用し得る。特に、オプティカルフロー場を使用して、ビデオを効率的に符号化し得る。符号化プロセッサは、オプティカルフロー場情報を受信し、オプティカルフロー場情報を使用して、ビデオを符号化し得る。
符号化プロセッサは、ビデオを符号化し得る１つ又は複数のプロセッサを含み得る。符号化プロセッサは、オプティカルフロー場生成器とは別個であってもよく、又はオプティカルフロー場生成器と同じ構成要素内にあってもよい。符号化プロセッサは、オプティカルフロー場生成器の１つ又は複数のプロセッサに重複しない１つ又は複数のプロセッサを含み得る。代替的には、符号化プロセッサの１つ又は複数のプロセッサは、オプティカルフロー場生成器の１つ又は複数のプロセッサと同じであり得る。場合によっては、符号化プロセッサの全てのプロセッサは、オプティカルフロー場生成器のプロセッサと同じであり得る。
符号化プロセッサは任意選択的に、ＵＡＶに搭載して提供し得る。例えば、符号化プロセッサは、ＵＡＶ本体若しくはアーム内にあってもよく、カメラ搭載であってもよく、又はカメラを支持するキャリア搭載であってもよい。代替的には、符号化プロセッサは、ＵＡＶオフボードで提供し得る。例えば、符号化プロセッサは、リモートサーバ、クラウド計算基盤、リモート端末、又は陸上局に提供し得る。符号化プロセッサは、オプティカルフロー場生成器と同じ又は異なるロケーションに提供し得る。
図２は、本発明の実施形態によるビデオ符号化の一般的なプロセス２００を示す。ビデオデータを符号化する場合、ビデオデータのビデオフレームはまず、ブロックに分割し得る（２０２）。次に、これらのブロックは、イントラフレームデータ及びインターフレームデータの少なくとも一方に基づいて圧縮し得る。イントラフレームデータは、フレーム内のブロック間の空間関係に向けられる。逆に、インターフレームデータは、ビデオフレームにわたるブロック間の時間関係に向けられる。
図２に示されるように、入力ビデオ信号が受信される。入力ビデオ信号は、ビデオ取得デバイスから受信し得る。ビデオ取得デバイスは、ＵＡＶ等の支持構造体によって支持し得る。追加又は代替として、入力ビデオ信号は、ＵＡＶオフボードの外部デバイスから受信し得る。受信したビデオはマクロブロック２０２に分割し得る。マクロブロックは、任意の重複部分を有してもよく、又は有さなくてもよい。ビデオは、任意の数のマクロブロックに分割し得る。例えば、ビデオは、ｍ×ｎマクロブロックアレイに分割し得、ここで、ｍは、１以上、２以上、３以上、４以上、５以上、６以上、７以上、８以上、９以上、１０以上、１２以上、１５以上、１６以上、１８以上、２０以上、２５以上、３０以上、４０以上、５０以上、６０以上、７０以上、８０以上、９０以上、１００以上、１２０以上、１５０以上、２００以上、２５０以上、又は３００以上の値を有し、ｎは、１以上、２以上、３以上、４以上、５以上、６以上、７以上、８以上、９以上、１０以上、１２以上、１５以上、１６以上、１８以上、２０以上、２５以上、３０以上、４０以上、５０以上、６０以上、７０以上、８０以上、９０以上、１００以上、１２０以上、１５０以上、２００以上、２５０以上、又は３００以上の値を有する。マイクロブロックは、矩形、正方形、円形、又は任意の他の形状を有し得る。一実施形態では、マクロブロックは１６×１６ピクセルの寸法を有し得る。マクロブロックは、ｐ×ｑピクセル等の任意の寸法を有し得、ここで、ｐは、１以上、２以上、３以上、４以上、５以上、６以上、７以上、８以上、９以上、１０以上、１２以上、１５以上、１６以上、１８以上、２０以上、２５以上、３０以上、３２以上、４０以上、５０以上、６０以上、６４以上、７０以上、８０以上、９０以上、１００以上、１２０以上、１２８以上、１５０以上、２００以上、２５０以上、２５６以上、又は３００以上の値を有し、ｑは、１以上、２以上、３以上、４以上、５以上、６以上、７以上、８以上、９以上、１０以上、１２以上、１５以上、１６以上、１８以上、２０以上、２５以上、３０以上、３２以上、４０以上、５０以上、６０以上、６４以上、７０以上、８０以上、９０以上、１００以上、１２０以上、１２８以上、１５０以上、２００以上、２５０以上、２５６以上、又は３００以上の値を有する。近代のビデオ符号化規格では、７２０Ｐ又は１０８０Ｐの解像度を有するビデオフレームは、まず、ビデオフレームを小さなブロックに分割することによって符号化し得る。Ｈ２６４の場合、ブロックサイズは１６×１６ピクセルであり得、ＨＥＶＣの場合、ブロックサイズは６４×６４であり得る。各マクロブロックは、同じ寸法及び形状の少なくとも一方を有し得る。代替的には、２つ以上のマクロブロックは異なる寸法及び形状の少なくとも一方を有し得る。マクロブロックは、「ブロック」と呼ばれることもある。
ビデオエンコーダを使用して、ブロックの相関を空間的及び／又は時間的に除去し得る。したがって、ビデオフレームが小さなブロックに分割された後、ビデオデータのブロックは、図２に提供されるようなビデオ符号化アーキテクチャを受ける。
特に、ビデオデータは符号化制御装置２０４に進み得る。符号化制御装置を使用して、ビデオデータを直接、例えば、いかなる追加の変換ステップもなく変換するか、それともデータを変換／スケーリング／量子化（ＴＳＱ）構成要素に送信するかを判断し得る。例では、符号化制御装置は、ビデオデータをエントロピー符号化構成要素２０６に直接渡し得る。他の例では、符号化制御装置は、変換データをエントロピー符号化構成要素に提供する前に、ビデオデータをＴＳＱ構成要素２０８に渡し得る。ＴＳＱ構成要素において、ビデオデータは、ブロック等の空間及び時間的に関連するビデオフレーム構成要素間での類似性を圧縮するように変換し得る。このプロセスは、元々の入力ビデオ信号からのビデオを使用し得る。さらに、このプロセスは、前に符号化されたビデオデータを利用して、変換プロセスをより効率的にし得る。さらに、この圧縮プロセスは量子化及び変換係数２１０を生成し得、この係数は次に、エントロピー符号化構成要素に提供し得る。
ビデオデータを変換する場合、ビデオデータは、デコーダ２１２において再評価され、フィードバックとしてＴＳＱ構成要素に提供される前に変換されたビデオデータに鑑みて処理し得る。特に、変換されたビデオデータをＴＳＱ構成要素からスケーリング及び反転変換（ＳＩＴ）構成要素２１４に提供することにより、ビデオ圧縮フィードバックを生成し得る。ＳＩＴ構成要素において、ビデオデータの変換プロセスを逆にし得る。次に、このビデオデータは非ブロック化フィルタ２１６に提供し得、このフィルタ２１６を使用して、出力ビデオ信号２１８を生成し得る。次に、出力ビデオ信号は、動き補償構成要素２２０において動き補償係数を生成するための構成要素として使用し得る。
例では、動き補償構成要素は、出力ビデオ信号からの動きデータ及び運動推定構成要素２２２から生成される動きデータを使用し得る。特に、運動推定構成要素は、初期入力ビデオ信号から入力ビデオデータを受信し得る。次に、運動推定構成要素は、ビデオデータに基づいて動きデータを生成し得る。次に、この動きデータは、動き補償構成要素及びエントロピー符号化構成要素に提供し得る。
復号化ビデオデータが提供され、動き補償構成要素からの動きデータに基づいてコンテキスト化されると、ビデオデータは、イントラフレーム予測構成要素２２４を使用してイントラフレーム予測について評価され得る。インターフレーム予測について、追加の予測を生成することもできる。これらの予測は、フィードバックとしてＴＳＱ構成要素及び非ブロック化フィルタに提供し得る。したがって、ＴＳＱ構成要素から生成される量子化係数及び変換係数並びに非ブロック化フィルタによって生成される出力信号は、処理されたビデオデータからのフィードバックに基づいて改善し得る。
したがって、ビデオエンコーダを使用して、異なるビデオフレームのブロック間（時間的圧縮）及び同じビデオフレーム内のブロック間（空間的圧縮）の両方で重複する情報を簡略化して、情報を凝縮し得る。ビデオデータが凝縮されると、図２のアーキテクチャを利用して符号化されたビデオフレームは、１Ｄビットストリームに形成され得る。
イントラ符号化を使用して、空間相関を凝縮し得る。ビデオフレーム内のブロックの場合、ブロック内のピクセル値の予測子は隣接ピクセルから推定し得る。例えば、ピクセル値の予測値は、左上、右上、及び左下の隣接ピクセル等の隣接ピクセルから推定し得る。これらの予測の例は、ピクセルブロック内のパターンに対応するように方向性を有し得る。Ｈ．２６４方向性イントラ予測の実証を図３に提供する。
図３は、本発明の実施形態による、ビデオフレーム構成要素におけるブロック内のピクセルのイントラ符号化の例を示す。図３に見られるように、ブロックに隣接するピクセルを使用して、ブロック内のピクセルの動きを予測し得る。特に、イントラ符号化が使用される場合、ブロックに隣接ピクセルが、動きデータについて査定される。図３では、査定されるピクセルは、ブロックの左側の列及びブロックの上の列にある。ブロックの査定される動きには、符号化プロセッサによって使用される特定のモードが関連付けられ得る。隣接ピクセルの全てが同じ運動情報を有するわけではないため、隣接ピクセルが、特定のモードに関連付けられた閾値数のピクセルを有する場合、査定動きのモードをブロックに割り当てられ得る。例では、隣接ピクセルの１００％、９５％以上、９０％以上、８５％以上、８０％以上、７５％以上、７０％以上、６５％以上、６０％以上、５５％以上、５０％超え、５０％、又は大部分のうちの任意の割合が特定のモードに関連付けられる場合、隣接ピクセルにその特定のモードを割り当てられ得る。
さらに、隣接ピクセルに割り当てられるモードを使用して、ブロック内のピクセルの予測動きを特定し得る。例えば、モード０において、ブロックに隣接するピクセルは、下向きの動きを有するものとして査定され得る。図３に示されるように、下向きの動きを使用して、予測ピクセルを通して下向きの動きを予測し得る。図３に提供されるように、予測ピクセルを通しての下向きの動きは全体的に、ブロックの上の隣接ピクセルの上列の査定動きに基づく。
モード１において、ブロックに隣接するピクセルは、横向きの動きを有するものとして査定され得る。図３に示されるように、この横向きの動きを使用して、予測ピクセル全体を通して右への動きを予測し得る。図３に提供されるように、予測ピクセルを通しての横向きの動きは全体的に、ブロックの隣の隣接ピクセルの左列の査定動きに基づく。
モード２では、ブロックに隣接するピクセルは、通常又は中性の動きを有するものとして査定され得る。この査定に基づいて、ブロック内のピクセルは、中性移動を有するものとして同様にされ得る。例では、ブロック内のピクセルは、ビデオ取得デバイス内に取得された物体が移動していない場合、ビデオ取得デバイス内に取得された物体が、物体の動きが移動中の画像取得デバイスの動きに等しいため、動いているように見えない場合、又はビデオ取得デバイス内に取得された物体が、あまりに遠く、離れた物体に関連しての増分的移動が比較的静止している背景を背にして見られるため、移動しているように見えない場合、中性の動きを有するものとして査定され得る。
モード３では、ブロックに隣接し、ブロックの上部に近いピクセルは、斜め左の動きを有するものとして査定され得る。図３に見られるように、この斜め左の動きを使用して、予測ピクセル全体を通しての斜め左への動きを予測し得る。図３に提供されるように、予測ピクセルを通しての斜め下への動きは全体的に、ブロックの隣の隣接ピクセルの上列及びブロックの近傍にあるピクセルの上列の査定動きに基づく。同様に、モード７では、ブロックに隣接するピクセルはまた、斜め左下の動きを有するものとして査定され得る。しかし、モード７で見られる斜め左下の動きの角度は、モード３で見られる斜め下の動きよりも急であり得る。
モード４では、ブロックに隣接するピクセルは、斜め右の動きを有するものとして査定され得る。図３に見られるように、斜め右の動きを使用して、予測ピクセル全体を通して右下への動きを予測し得る。同様に、モード５では、ブロックに隣接するピクセルはまた、斜め右の動きを有するものとして査定され得るが、モード５に示される斜めの動きは、モード４での斜めの動きよりも急である。さらに、モード６では、ブロックに隣接するピクセルはまた、斜め右の動きを有するものとして査定され得るが、モード６に示される斜めの動きは、モード４又は５の斜めの動きよりも浅い。
さらに、モード８は、隣接ピクセルを上向き且つ右側への動きを示すブロックに提供する。しかし、モード８は、ブロックの一部のみを予測可能であるという点で前のモードとは異なる。ブロック内の追加の予測ピクセルを査定するために、他の補助方法を使用し得る。
イントラ符号化は、現在ブロックの左列及び上行のピクセル等のブロックの隣接ピクセルを利用するが、ブロックの中央ピクセル内に含まれる相当量の残差情報が存在し得る。例では、ブロックの中央ピクセルは、イントラ符号化を使用して容易に予測することができないことがあるテクスチャ、オブジェクト、及び他の情報を含み得る。この情報を取得するために、フレーム間の情報（例えば、時間的圧縮）を凝縮し符号化し得る。
インター符号化を使用して、時間的相関を凝縮し得る。ビデオフレーム内のブロックについて、ブロック内のピクセル値の予測子は、前のフレーム内の相関付けブロックから推定し得る。ビデオフレームは数百万分の１秒しか隔てられていないことがあるため、フレーム間のブロックは一般に、あまり違わない。しかし、インター符号化の使用は、イントラフレーム符号化を使用して取得されないブロック内の細部の予測に有用であり得る。特に、これらの細部は、近傍のビデオフレームからのブロックを参照することによって予測される。特に、フレーム間で相関するブロックは、運動ベクトルを使用してリンクし得る。
インター符号化を実施する場合、まず、インターフレーム運動推定を符号化ブロックに対して実行し得る。運動推定プロセスは、現在ブロックに最も類似し、且つ最もコストがかからないと見なし得るピクセルのグリッドを特定し得る。特に、運動推定は、ビデオフレームの検索エリア内で検索を行うことにより、最も類似すると見なされるピクセルのグリッドを特定し得る。現在ブロックに最も類似し、且つ最もコストがかからないと見なされるピクセルのグリッドが特定されると、運動ベクトルを計算し得る。特に、運動ベクトルは、第１のフレームの現在ブロックと、第１のフレームに時間的に関連するビデオフレームの参照ブロックとの間に２Ｄピクセルロケーション差を含むものとして計算し得る。例では、２Ｄピクセルロケーション差がサブピクセル補間を使用して、整数ピクセル、半ピクセル、１／４ピクセル等によりフレーム間の動きを定義し得る。運動ベクトルを計算する図を図４に示す。
図４は、本発明の実施形態による、ビデオフレームにわたって同じ場所にあるブロックをリンクする運動ベクトルを示す。図４に示されるように、運動ベクトル４１０は、ビデオフレームにわたってブロック４２０〜４４０をリンクし得る。特に、ブロック４２０〜４４０は、一連のビデオフレームに関連付けられたビデオデータの一部の図を形成する。運動ベクトルを使用して、計算運動ベクトルは、計算される逆方向運動ベクトル（ＭＶ）４１２及び計算される順方向ＭＶ４１４によって示されるように、隣接するビデオフレームが時間的に先行する場合であっても、それらの隣接するビデオフレーム及び／又は近傍のビデオフレームから予測し得る。これは、インター符号化間の情報の圧縮に起因し得る。特に、インター符号化中、時間情報は、特に、運動ベクトル及び他の関連情報を使用してブロックを一緒にリンクすることにより圧縮し得る。
運動ベクトルが特定されると、運動ベクトルは符号化システム内のデコーダ側に提供し得る。デコーダがこの情報を受信すると、デコーダは、処理中のブロックにリンクし得る参照フレーム上の第１のブロックの対応するロケーションを見つけ得る。このようにして、デコーダは運動ベクトルを使用して、参照を見つけ得る。続けて、参照と現在ブロックとの差（例えば、運動ベクトル）を処理し、送信し得る。
ヘッダ情報符号化は、ビデオデータの効率的な符号化に使用することもできる。特に、運動ベクトルに関連するヘッダ情報及びスキップモードに関連するヘッダ情報を使用して、ＵＡＶによって取得されるビデオデータを符号化し得る。
運動ベクトルに関して、同じビデオフレーム内の現在ブロック及び空間的に隣接するブロックは、同じ運動ベクトルを共有する高い確率を有し得る。さらに、現在ブロックに時間的に対応する運動ベクトルは、現在ブロックの運動ベクトルの予測子としても機能し得る。したがって、現在ブロックの運動ベクトル予測子（ＭＶＰ）は、現在ブロックの空間的に隣接するブロック及び時間的に隣接するブロックに基づいて計算し得る。ＭＶＰの計算は、符号化プロセッサの規格に依存し得る。
さらに、スキップモードに関して、現在ブロックのヘッダ内にある追加情報を隣接ブロックから予測することもできる。さらに、現在ブロックを隣接ブロックから完全に予測し得る例では、現在ブロックのヘッダはスキップブロックとして記され得る。特に、スキップブロックを使用して、残差情報が送信されないことを示し得る。例では、現在ブロックの隣接ブロックの情報に基づいて、現在ブロック内の情報を計算し得る場合、スキップを使用し得る。
簡潔に参照すると、元のブロックと予測子との差を残差と呼び得る。例では、ブロック間の残差は係数として表し得る。例では、この残差係数は直接符号化し得る。
他の例では、残差係数が計算された後であっても、残差係数は、除去可能であり得る幾らかの空間冗長性を有し得る。例では、変換を使用して、エネルギーを低周波数に凝縮し得る。ビデオ符号化が、標準が何であれ、量子化内で不可逆的圧縮ツールを使用する処理ステップを経る場合、凝縮エネルギーは可逆的であり得る。例えば、１０個の数［１，１，１，１，１，１，１，１，１，１］が１０を用いて量子化される場合、１０個の数は０になり、したがって、誤り率１００％を生じさせる。これとは対照的に、変換が適用される場合、１０個の数は［１０，０，０，０，０，０，０，０，０，０］になる。次に、その結果が１０を用いて量子化される場合、何も失われず、それにより、０％の誤り率を有する。量子化は有用な不可逆的圧縮ツールであるため、これは有用である。したがって、量子化パラメータの制御により、データストリーム全体のビットレートを制御することができ得る。
ビデオ符号化プロセスは図２において概説されるが、本発明の実施形態は、ブロック間の運動ベクトルを効率的に特定する方法に関する。特に、本発明の実施形態は、符号化プロセッサによって符号化されるビデオ内の運動ベクトルの識別に使用される検索エリアを変更することに関する。したがって、図５は、本発明の実施形態による運動推定プロセス５００の例を提供する。特に、図５は、ビデオ取得デバイスによって取得されたビデオ内の２つのビデオフレームを示す。２つのビデオフレームは、木々、海岸、及びボート等の物体を含む。特に、第１のフレーム５１０は現在符号化フレームであり得、第２のフレーム５２０は予測フレームであり得る。さらに、現在符号化フレームである第１のフレームのブロック５１５には、運動ベクトル（図示せず）を関連付け得る。特に、運動ベクトルを使用して、第１のフレームに隣接する第２のフレーム内のブロックにブロック５１５をリンクし得る。場合によっては、第１のフレーム内のブロックは、隣接フレームの同じ場所にあるブロックと運動ベクトルを共有し得る。特に、同じ場所にあるブロックは、フレーム内又はフレームにわたり一致する座標を共有するリンクブロックであり得る。
したがって、ブロック５１５を第２のフレーム上の関連付けられたブロックにリンクする動きブロックを検索する場合、第１のフレームのブロック５１５と同じ場所にある第２のフレームのブロック５２５を識別し得る。第１のフレームのブロック５１５を第２のフレーム内のブロックにリンクする運動ベクトルを検索する場合、ブロック５２５を使用して、検索エリア５３０を定義し得る。特に、検索エリア５３０は、同じ場所にあるブロックの左上隅にある初期検索点５２２に基づき、同じ場所にあるブロックの下方及び右側に拡張されて、同じ場所にあるブロック内のエリア及び検査し得る追加エリアを包含する。例では、検索エリアは、初期開始点から下方及び右側、下方、下方及び左側、左側、上方及び右側、上方、上方及び左側、右側、又はそれらの方向の組合せに拡張し得る。例では、開始点は、ブロックの隅又はブロックの中心等のブロック内にあり得る。検索エリアは、ブロック全体、ブロックの一部を包含してもよく、ブロックと重なってもよく、又はブロックと少なくとも部分的に重ならなくてもよい。
第２のブロックを符号化された第１のブロック５１５にリンクする運動ベクトルについて第２のフレーム５２０を評価する場合、第２のフレーム５２０上の検索エリア５３０を査定し得る。特に、運動推定予測を既に符号化された（「ｃｏｄｅｄ（５１０）」とも呼ばれる）第１のビデオフレーム５１０と第２の隣接するフレーム５２０との間で行い、５２０の予測（「ｐｒｅｄ（５２０）」とも呼ばれる）を形成し得る。隣接フレーム５２０は符号化されてもよく、又はされなくてもよい。さらに、隣接フレーム５２０は、ビデオ内の第１のビデオフレーム５１０の直後に取得されたフレームであり得る。ある実施形態では、第１のビデオフレーム５１０は、隣接フレームであってもよく、又はなくてもよい後続フレームｘｔと比較し得る。後続フレームは、隣接フレームであってもよく（ｔ＝１）、隣接フレーム直後のフレームであってもよく（ｔ＝２）、又はその後の任意のフレームであってもよい（ｔ＝３，４，５，６，７，８，９，１０，又は１１以上）。場合によっては、後続フレームは、次のフレームの予測「ｐｒｅｄ（ｘｔ）」を行うのに適切に、第１のフレームに時間的に近くにあり得る。例えば、ｔは、５０以下、４０以下、３０以下、２０以下、１０以下、７以下、５以下、３以下、２以下、又は１であり得る。後続フレームは、最初のフレームから５秒未満で取得し得る。例では、後続フレームは、５秒未満、４秒未満、３秒未満、２秒未満、１秒未満、０．９秒未満、０．８秒未満、０．７秒未満、０．６秒未満、０．５秒未満、０．４秒未満、０．３秒未満、０．２秒未満、０．１秒未満、０．０５秒未満、及び０．０１秒未満で取得し得る。
隣接フレーム２５０の本明細書での任意の説明は、後続フレームｘｔにも適用し得る。この運動推定予測は、図５に見られるように、符号化フレーム５１０と予測フレーム５２０との間で示され得る。例では、運動推定予測は、隣接フレーム５２０内の複数のフロックの各ブロックを、第１のビデオフレーム５１０上の相関付けられたブロックを用いて評価することによって生成し得る。場合によっては、フレームのありとあらゆるブロックを評価し得る。代替的には、フレームのブロックのサブセットを評価し得る。場合によっては、代表的なブロックのサブセットをフレーム内の複数のブロックから選択し、評価し得る。場合によっては、１つ置きのブロックを選択し得る。場合によっては、ブロックは、ブロックの位置、画像内容、又は任意の他の要因に基づいて選択し得る。
従来のビデオ符号化プロセスでは、隣接フレーム５２０内の関連付けられたブロックに相関する第１のビデオフレーム５１０上のブロックがフレームの同じエリア内に配置されると仮定する。したがって、標準検索エリアは、時間的に隣接するビデオフレームの既に符号化されたブロックと同じ場所にあるブロックの周囲に生成し得る。同じ場所にあるブロックの周囲に生成される標準検索エリアの例は、図５において検索エリア５３０として示される。しかし、第２のフレーム５２０の同じ場所にあるブロック５２５等の同じ場所にあるブロックを囲む、検索エリア５３０等の検索エリアがある場合であっても、既に符号化されたフレーム５１０の同じ場所にあるブロック５１５に関連付けられた運動ベクトルは、所与の検索エリア外にあることがある。これは図５の場合であり、この場合、ビデオフレーム５１０上で既に符号化されたブロック５１５に関連付けられたボートは既に、第２のビデオフレーム５２０上の同じ場所にあるビデオフレーム５２５の検索エリア５３０外である。
しかし、図５に提供される検索エリアは、本発明の実施形態により、図５に提供される検索構造を使用して、検索エリアを評価する初期開始点を決定し得るという点で有用であり得る。したがって、図５は、本発明の実施形態による、ブロックを符号化する初期検索エリアを決定するために提供される検索エリアの構造を示す。図５に見られるように、隣接フレーム５２０のブロックに関連付けられた検索エリア５３０の初期検索点は、フレーム５２０とフレーム５１０の点５１２との間で同じ場所にある点５２２にある。検索エリア５３０が提供されるが、検索エリアは標準サイズ及び形状のものであり得る。特に、検索エリアの標準サイズはｍ×ｎピクセルを含み得、ここで、ｍは１以上、２以上、３以上、４以上、５以上、６以上、７以上、８以上、９以上、１０以上、１２以上、１５以上、１６以上、１８以上、２０以上、２５以上、３０以上、４０以上、５０以上、６０以上、７０以上、８０以上、９０以上、１００以上、１２０以上、１５０以上、２００以上、２５０以上、又は３００以上の値であり、ｎは１以上、２以上、３以上、４以上、５以上、６以上、７以上、８以上、９以上、１０以上、１２以上、１５以上、１６以上、１８以上、２０以上、２５以上、３０以上、４０以上、５０以上、６０以上、７０以上、８０以上、９０以上、１００以上、１２０以上、１５０以上、２００以上、２５０以上、又は３００以上の値を有する。検索エリアの標準サイズは、矩形、正方形、円形、又は任意の他の形状を有し得る。一実施形態では、検索エリアの標準サイズは１６×１６ピクセルの寸法を有し得る。
さらに、検索エリアのサイズ及び形状は、フレーム５１０とフレーム５２０との間の運動推定予測から独立し得る。従来の運動推定評価プロセスでは、検索点５２２等の初期検索点及び検索エリア５３０等の検索エリアが、フレーム５２０について決定されると、運動推定予測は、検索エリアのピクセル又はサブピクセルを評価して、第１のフレーム５１０内のブロックに最も類似するピクセル又はサブピクセルを識別し得る。例では、フレーム５１０上の対応するブロックへのフレーム５２０上のブロックの類似性は、式によって推定し得る。例えば、フレーム５１０及び５２０の対応するブロックの類似性は、第１のフレーム５１０のブロックが、隣接フレーム５２０上の対応するブロックから特定の距離にある対応するブロックを有することを示す式によって示され得る。
第１のフレーム内のブロック及び第２の隣接フレーム内のブロックの不正確な関連付けを回避するために、図６は、本発明の実施形態による、フレーム間のブロックを符号化するために提供される検索エリアを変更する構造６００を示す。特に、図６は、ＵＡＶによって取得されたビデオ内の２つのビデオフレームを示す。２つのビデオフレームは、木々、海岸、及びボート等の物体を含む。特に、第１のフレーム６１０は現在符号化フレームであり、第２の隣接フレーム６２０は予測フレームである。第２のフレーム又は隣接フレームの任意の説明は、任意の後続フレームにも適用し得る。さらに、現在符号化フレームのブロック６１５には、特定の運動ベクトルが関連付けられる。
本明細書で考察されるように、図６は、隣接フレーム６２０のブロックに関連付けられた検索エリアを変更して、第２のフレーム内のブロックに対応する運動ベクトルを識別する運動推定予測評価の機会を増大させる例を提供する。ブロック６２５を符号化ブロック６１５にリンクする運動ベクトルについてフレーム６２０を評価する場合、検索エリア６３０を査定し得る。特に、符号化プロセッサは、ビデオデータ内に大量の動きがあることの指示を受信し得る。［発明者ら：符号化プロセッサがこの指示を受信し得る方法は何であるか］。この場合、符号化プロセッサは、フレーム６２０のブロックに関連付けられた検索エリアのサイズを増大させ得る。これは図６に示され、図６では、検索エリア６３０は、図５に提供される各検索エリア５３０よりも大きい。他の例では、検索エリアを検索してもよく、所与の方向に伸ばしてもよく、又は新しいロケーションに移動させてもよい。さらに、図６の検索エリア６３０は、第１のフレーム６１０のブロック内のボートの隅に類似する第２の隣接フレーム６２０内のボートの隅を取得することに続く。
したがって、符号化プロセッサは、ＵＡＶに関連付けられたセンサ情報に基づいて生成されるオプティカルフロー場を分析することにより、フレーム６２０のブロックに関連付けられた検索エリアのサイズを調整し得る。特に、オプティカルフロー場は、カメラの移動に基づいて生成し得る。さらに、オプティカルフロー場は、カメラ等のビデオ取得デバイスのＦＯＶ設定の調整を示し得る。オプティカルフロー場が、ビデオ取得デバイスの移動及び／又は航空車両の移動に基づいて以下に調整し得るかの例は、図７〜図１１に提供される。
例では、符号化プロセッサは、０．１％、０．２％、０．３％、０．４％、０．５％、０．６％、０．７％、０．８％、０．９％、１％、２％、３％、４％、５％、６％、７％、８％、９％、１０％、１５％、２０％、２５％、３０％、３５％、４０％、４５％、５０％、５５％、６０％、６５％、７０％、７５％、８０％、８５％、９０％、９５％、１００％、１２０％、１４０％、１６０％、１８０％、２００％、２５０％、５００％、又は５００％超だけ、検索エリアのサイズを増大させ得る。代替的には、符号化プロセッサは、０．１％、０．２％、０．３％、０．４％、０．５％、０．６％、０．７％、０．８％、０．９％、１％、２％、３％、４％、５％、６％、７％、８％、９％、１０％、１５％、２０％、２５％、３０％、３５％、４０％、４５％、５０％、５５％、６０％、６５％、７０％、７５％、８０％、８５％、９０％、９５％、１００％、１２０％、１４０％、１６０％、１８０％、２００％、２５０％、５００％、又は５００％超だけ、検索エリアのサイズを低減させ得る。
したがって、エンコーダは、ＵＡＶに関連付けられたセンサデータに基づいて生成されるオプティカルフロー場に基づいて、検索エリアの形状を調整し得る。例では、検索エリアは、円形、正方形、矩形、三角形、菱形、平行四辺形、台形、長円形、楕円形、８の字形、又は別の形状等の形状であり得る。
エンコーダは、検索エリアを新しいロケーションに移動させることもできる。特に、エンコーダは、検索エリアを初期開始位置から所与の方向に移動させ得る。例では、エンコーダは、検索エリアを検索エリアの開始位置から左、右、上、下、又は斜めに移動させ得る。
さらに、エンコーダは、ＵＡＶに関連付けられたセンサデータに基づいて生成されるオプティカルフロー場に基づいて、検索エリアの寸法を調整し得る。オプティカルフロー場は、フレーム上の点の方向及び／又は速度を記述し得る。ある例では、オプティカルフロー場は、フレーム上の全ての点の方向及び速度を記述し得る。ＵＡＶに関連付けられたセンサを使用して、オプティカルフロー場を生成し得る。特に、オプティカルフロー場の生成に使用し得るセンサは、ＧＰＳ、ジャイロスコープ、ＭＶＯ、カメラの角度、高さ情報、又は本明細書に記載される任意の他のセンサを含み得る。
図６に見られるような検索エリアサイズの増大は、フレーム６２０のブロックに関連付けられた運動ベクトルがブロック６２０の検索エリア内で見つけられる確率を増大させ得るが、これは、運動推定器予測構成要素に重いタスクを更に課し得る。したがって、フレーム６２０のブロックに関連付けられた初期検索点を移動させることが有益であることもある。
符号化プロセッサは、生成されるオプティカルフロー場を使用して、初期運動ベクトルの正確性を増大させ得る。したがって、検索エリアのサイズ、形状、及び／又はロケーションは、ＵＡＶに関連付けられたセンサデータに基づいて生成されるオプティカルフロー場に基づいて変更し得る。図７〜図１１は、符号化プロセッサがビデオ内の動きデータの知識を有さない場合、符号化が困難であり得るオプティカルフロー場の図を提供する。さらに、図７〜図１１は、オプティカルフロー場に基づいて検索エリアをいかに変更し得るかの図を提供する。
オプティカルフロー場７００の例を図７に提供する。特に、図７は、本発明の実施形態による、上から、回転図に関連付けられたオプティカルフロー場を示す。オプティカルフロー場内の動きは矢印を使用して示される。矢印の長さは、オプティカルフロー場にわたって生じている動きの量を示し、矢印の湾曲は、オプティカルフロー場にわたって生じている動きの方向を示す。さらに、図７は、オプティカルフロー場７００に基づいて初期検索エリア７１０をいかに変更し得るかの図を提供する。特に、初期検索エリアは、動き矢印の湾曲に沿って変更検索エリア７２０の位置に並進移動し得る。特に、初期検索エリアは、ビデオに取得された１つ又は複数の物体に関して画像取得デバイスが回転する速度に基づいて、動き矢印の湾曲に沿って並進移動し得る。オプティカルフロー場は、ロール軸の回りでビデオ取得デバイスを回転させることにより、カメラロール軸の回りでＵＡＶを回転させることにより、又はこれら両方により、生成し得る。追加の例では、生成されたオプティカルフロー場は、移動中の物体の速度、ビデオ取得デバイスからの移動中の物体の距離、移動中の物体の湾曲移動、移動中の物体の方向性、及びオプティカルフロー場内の物体の移動の他の特徴に関連する移動アスペクトを含み得る。
さらに、変更検索エリア７２０が並進移動する距離は、画像取得デバイスで取得されるビデオに相対して物体がどれくらい高速で移動しているように見えるかに基づき得る。この速度は、ビデオフレームに関連付けられたタイムスタンプによってコンテキスト化されるものと同様の物体の移動距離に基づいて査定し得る。このようにして、タイムスタンプしたがって、例えば経過時間）との関連で物体移動距離は速度を示し得る。さらに、図７に提供されるように、変更検索エリア７２０は、初期検索エリア７１０と同じ寸法であり得るが、オプティカルフロー場に従って並進移動し得る。
図８もオプティカルフロー場の例を提供する。特に、図８は、本発明の実施形態による、カメラに関連付けられたズームイン特徴に関連付けられたオプティカルフロー場を示す。例では、ズームイン特徴は、物体ズームインするビデオ取得デバイス、カメラをより近くに移動させることができる航空車両の支持エリア、又はこれら２つの組合せに基づいて行われ得る。図８に見られるように、オプティカルフロー場での縁部での移動は、オプティカルフロー場の中央での移動よりも大きい。さらに、ズームインの方向性は、オプティカルフロー場にわたって等しい。換言すれば、各方向は同様に移動しているため、垂直距離又は水平距離に明らかなバイアスはない。しかし、特定の方向に明らかなバイアスがある場合であっても、運動ベクトル検索エリアが、オプティカルフロー場８００の中央エリア等の密なオプティカルフロー場の部分に、オプティカルフロー場８００の外側部分等のより低密度のオプティカルフロー場の部分に並進移動するにつれて、より大きな検索エリアが必要とされ得る。したがって、図８は、オプティカルフロー場の中心により近い初期検索エリア８１０と、オプティカルフロー場の縁部により近いより大きな変更検索エリア８２０とを示す。
オプティカルフロー場内の物体の知覚されるサイズの関係は、オプティカルフロー場内の物体のロケーションに基づいて様々であり得る。例えば、オプティカルフロー場がズームイン動作に基づいて生成される場合、現実世界で同じサイズの物体は、オプティカルフロー場の縁部から遠くにあるほど大きく見え得る。これは図８に示され、図８は、オプティカルフロー場の中心にある正規化最小近傍にある第１のボール８３０と、オプティカルフロー場の周縁近傍にある第２のボール８４０とを示す。第１のボール８３０及び第２のボール８４０は等しいサイズであるが、オプティカルフロー場に関連して見る場合、異なるサイズに見える。したがって、物体の知覚されるサイズは、オプティカルフロー場にわたって変化し得る。特に、物体の知覚されるサイズは、線形に正比例若しくは反比例するように、又は物体がオプティカルフロー場にわたって異なるロケーションに配置される場合、別の式によってモデリングされるように変化し得る。
フレーム内の物体に関連付けられた異なる移動速度を有するオプティカルフロー場の例を図９に提供する。特に、図９は、本発明の実施形態による、異なる程度の物体移動を有する大域的オプティカルフロー場９００を提供する。図９に見られるように、オプティカルフロー場の上部に近い幾つかの物体は比較的静止している。特に、同じ速度で移動している物体は、ビデオ取得デバイスからの物体の距離に基づいて異なる知覚速度を有するため、比較的静止して見える物体は画像取得デバイスから遠くにあり得る。代替的には、一定速度で移動している物体は、ビデオ取得デバイスが物体と同じ速度で同じ方向に移動している場合、比較的静止して見え得る。例では、ビデオ取得デバイスは、ビデオ取得デバイスに取り付けられるＵＡＶの移動に基づいて特定の速度で移動中であり得る。代替的には、ビデオ取得デバイスは、取り付けられたＵＡＶに相対してビデオ取得デバイスそれ自体の移動に基づいて特定の速度で移動中であり得る。
これとは対照的に、オプティカルフロー場の中央下部にある幾つかの物体は、比較的高速で移動している。特に、物体は、ビデオ取得デバイスに相対する移動に基づいて比較的高速で移動するように見え得る。特に、ビデオ取得デバイスが静止物体を通り越して素早く移動している場合、静止物体は、ビデオ取得デバイスの移動に基づいて素早く移動しているように見え得る。例では、物体の知覚される移動は、ビデオ取得デバイスの移動に関連付けられた動き成分を有し得、且つ／又はビデオ取得デバイスが取り付けられる、ＵＡＶ等の移動可能物体の移動に関連付けられた動き成分を有し得る。さらに、図９は、オプティカルフロー場に基づいて、検索エリア９１０をいかに調整可能であるかの例を提供する。特に、水平バイアスを有する変更検索エリア９２０が提供される。変更検索エリアの水平バイアスは、図９に提供されるように、動き矢印の水平拡張に基づく。図９に見られる水平バイアスは、ビデオがオプティカルフロー場の下縁部により近い物体を取得中に見られる垂直ズームインアスペクトに起因する。物体は、オプティカルフロー場の下縁部に向かって下がるほど、大きくなるように見える。これは、オプティカルフロー場に提供される動き矢印のより幅広の拡大に反映される。したがって、運動ベクトルを検索する場合、変更検索エリアは、水平方向に拡大して、オプティカルフロー場の下部で比較的同量のエリアを検索し得、オプティカルフロー場の下部では、同じサイズの物体はオプティカルフロー場のより高い部分よりも大きく見え得、オプティカルフロー場のより高い部分では、同じサイズの物体はより小さく見え得る。
図１０は、本発明の実施形態による超高速大域的カメラ移動を示す。特に、図１０に提供されるオプティカルフロー場１０００は、均一に下向きの方向を有する。さらに、動き矢印の下向き方向は、矢印の密度により高速であるものとして示される。例では、オプティカルフロー場の下向き方向は、ビデオ取得デバイスを通り越して素早く移動している１つ又は複数の物体に基づいて、ビデオデータにおいて高速であるように見え得る。他の例では、オプティカルフロー場の下向き方向は、取得されたビデオデータ内の物体に相対するビデオ取得デバイスの移動に基づいて、ビデオデータにおいて高速であるように見え得る。更なる例では、オプティカルフロー場内の動き矢印の下向きの方向は、ビデオ取得デバイスを通り過ぎて素早く移動している物体と、ビデオ取得デバイスそれ自体の高速移動との組合せに基づいて、ビデオデータにおいて高速に見え得る。
図１０は、オプティカルフロー場１０００において提供される垂直移動に基づいて調整される初期検索エリア１０１０も示す。特に、図１０のオプティカルフロー場は垂直バイアスを有する。したがって、変更検索エリア１０２０は、初期検索エリア１０１０よりも長くなり得る。特に、変更検索エリア１０２０には、追加の高さが与えられて、初期検索エリア１０１０と同じ場所にあるブロックで見られる運動ベクトルに相関する運動ベクトルを識別する確率を上げ得る。
さらに、図１１は、本発明の実施形態による斜めの大域的移動を示す。特に、図１１に提供されるオプティカルフロー場１１００は、オプティカルフロー場の右下隅に向かって均一に傾斜する方向を有する。例では、オプティカルフロー場内の動き矢印の方向は、ビデオ取得デバイスを通り過ぎて斜めに移動している１つ又は複数の物体に基づいて、ビデオデータにおいて傾斜して見え得る。他の例では、オプティカルフロー場内の動き矢印の方向は、取得されたビデオデータ内の物体に相対するビデオ取得デバイスの斜め移動に基づいて、ビデオデータにおいて傾斜して見え得る。さらなる例では、オプティカルフロー場内の動き矢印の方向は、ビデオ取得デバイスを通り過ぎて斜めに移動している物体と、ビデオ取得デバイスそれ自体の移動との組合せに基づいて、ビデオデータにおいて傾斜して見え得る。
したがって、初期検索エリア１１１０は、オプティカルフロー場１１００内の移動エリアに沿って並進移動して、変更検索エリア１１２０を示し得る。並進移動の程度は、フレーム間の物体の速度に基づき得る。例えば、ビデオ内の物体が比較的低速で移動している場合、変更検索エリアは、初期検索エリアの比較的近くにあり得る。しかし、ビデオ内の物体が比較的高速で移動している場合、変更検索エリアは、初期検索エリアから比較的離れて配置され得る。図１１に見られるように、オプティカルフロー場は、動き矢印が４５度角度であるため、垂直又は水平バイアスを有さない。
追加のオプティカルフロー場が、ロール軸の回りでビデオ取得デバイスを回転させることにより、カメラロール軸の回りでＵＡＶを回転させることにより、又はこれら両方により、生成され得る。追加の例では、生成されたオプティカルフロー場は、移動中の物体の速度、ビデオ取得デバイスからの移動中の物体の距離、移動中の物体の湾曲移動、移動中の物体の方向性、及びオプティカルフロー場内の物体の移動の他の特徴に関連する移動アスペクトを含み得る。
別の例では、検索エリアのバイアスの図１２００が図１２に提供される。特に、図１２は、本発明の実施形態による、初期検索点とバイアス検索点との比較を示す。初期検索点とバイアス検索点との比較を使用して、初期検索点を変更し、フレーム間のブロックを符号化するために提供される検索エリアを変更する構造を示し得る。オプティカルフロー場は、センサを用いて既に構築され得る。
図１２に示されるように、既に符号化されたビデオフレーム１２１０が、予測ビデオフレーム１２２０と共に提供される。既に符号化されたビデオフレーム１２１０を使用して、ビデオフレーム１２２０内の運動ベクトルを検索する初期検索点１２３５を決定し得る。特に、初期検索点は、既に符号化されたビデオフレーム１２１０のブロックと同じ場所にあるブロックのロケーションに基づいて決定し得る。例では、初期検索点１０３５等の初期検索点は、同じ場所にあるブロックの左上隅にあり得る。しかし、初期検索点１２３５は、オプティカルフロー場に基づいてバイアスし得る。この例では、初期検索点１２３５は、図１１のオプティカルフロー場１１００によってバイアスされ、それにより、初期検索点１２３５の右下にあるロケーションにバイアス検索点１２４０を提供し得る。符号化プロセッサは、バイアス検索点の計算前に、この場１１００についての情報を受信又は生成し得る。したがって、オプティカルフロー場１１００において知覚される移動の方向及び速度を使用して、特定の値によって初期検索点をバイアスし、より大きな検索窓内で検索し得る。さらに、ブロック１２２５を符号化ブロック１２１５にリンクする運動ベクトルについてフレーム１２２０を評価する場合、検索エリア１２３０を査定し得る。検索エリア１２３０はより大きく、運動推定により、既に符号化されたビデオフレーム１２１０の対応する部分に関連付けられた運動ベクトルを含む最近傍ブロックを見つけることができる確率を上げ得る。さらに、検索エリア１２３０は、初期検索点１２３５ではなくむしろバイアス検索点１２４０に基づいてセンタリングし得る。
例では、オプティカルフロー場内の動きは、ＭＶｏ＝［ＸＭＶｏ，ＹＭＶｏ］という名称のベクトルを使用して査定し得る。さらに、運動ベクトルの正確性はγであると特定し得る。この事前知識を利用するために、初期点は量γ＊ＭＶｏでバイアスし得る。
さらに、検索範囲について、１組の検索範囲を予め定義し得る。例では、検索範囲の形状は、正方形に限定されない。しかし、例において、正方形を使用し得る。検索範囲は２次元である場合、各次元は３つのスケールを有し得る。正方形検索範囲の例では、幅寸法は寸法Ｗｓｍａｌｌ、Ｗｎｏｒｍａｌ、及びＷｌａｒｇｅを有し得る。さらに、垂直方向は寸法Ｈｓｍａｌｌ、Ｈｎｏｒｍａｌ、及びＨｌａｒｇｅを有し得る。このようにして、２次元検索範囲は９つのタイプの検索窓を有し得る。例では、２次元検索範囲は、５０以下、４０以下、３０以下、２５以下、２０以下、１５以下、１４以下、１３以下、１２以下、１０以下、９以下、８以下、７以下、６以下、５以下、４以下、３以下、２以下等の幾つかの予め定義される検索サイズを有してもよく、１つの予め定義される検索シーズ又は２次元検索範囲は、予め定義される検索サイズを有さなくてもよい。
さらに、予め定義される閾値を使用して、動きが激しいか否かを判断し得る。例では、閾値はθｌｏｗ及びθｈｉｇｈとして示され得る。さらに、検索窓の寸法［Ｗ，Ｈ］は、幅

に関連する関係を使用して決定し得る。
さらに、高さＨの計算も同様に行い得る。例では、初期検索点が移され、検索窓が拡大される場合、最良の運動ベクトルを見つける確率を高くし得る。
上記の場合、フレーム全体での動きは固有であり得る。しかし、ある別の場合には、初期運動ベクトル及び検索範囲は、オプティカルフロー場に大域的及び局所的に適合し得る。場合によっては、ビデオフレームの上部での動きは、同じビデオフレームの下部よりも静止し得る。ある別の場合には、フレームの中央から離れた物体は、フレーム中央に近い物体よりも高速で移動し得る。
図１３は、本発明の実施形態による、オプティカルフロー場データに基づいてビデオを符号化する検索エリアを評価する方法１３００を示すフローチャートである。ブロック１３１０において、画像取得デバイスによって取得されたビデオが受信される。画像取得デバイスはビデオ取得デバイスであり得る。さらに、画像取得デバイスは、無人航空機等の移動可能物体に設置し得る。さらに、ビデオはビデオフレーム構成要素を含み得る。ブロック１３２０において、ビデオフレーム構成要素の初期検索エリアが提供される。初期検索エリアは、隣接ビデオフレーム上の対応するロケーションと同じ場所にあり得る。さらに、初期検索エリアは標準サイズを有し得る。ブロック１３３０において、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データが受信される。オプティカルフロー場データの少なくとも一部は、センサによって取得される。特に、オプティカルフロー場データの少なくとも一部は、ＵＡＶに関連付けられたセンサによって取得し得る。さらに、ブロック１３４０において、初期検索エリアは、オプティカルフロー場データに基づいて変更又は維持し得る。例では、初期検索エリアは、オプティカルフロー場データに基づいて拡大し得る。他の例では、初期検索エリアは、ビデオフレームにわたって並進移動し得る。初期検索エリアの変更又は維持は、変更検索エリアを生成する。ブロック１３５０において、変更検索エリアは、画像取得デバイスによって取得されたビデオの符号化された運動情報であるものとして評価される。特に、変更検索エリアは評価されて、画像取得デバイスによって取得されたビデオ内の運動ベクトルを符号化し得る。
図１４は、本発明の実施形態による、オプティカルフロー場データに基づいてビデオフレーム構成要素の運動ベクトルを識別する方法１４００を示すフローチャートである。ブロック１４１０において、画像取得デバイスによって取得されたビデオが受信される。特に、ビデオはビデオフレーム構成要素を含む。画像取得デバイスは、無人航空機等の移動可能物体に設置し得る。さらに、取得されるビデオは、ＵＡＶが飛行中に画像取得デバイスによって取得され得る。ブロック１４２０において、ビデオフレーム構成要素内の運動ベクトルを査定する初期点を決定し得る。特に、ビデオフレーム構成要素内の運動ベクトルを査定する初期点は、隣接するビデオフレームを参照することによって決定し得る。さらに、ブロック１４３０において、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データが受信される。オプティカルフロー場データに、ズームイン効果を使用してビデオデータを取得しているカメラを関連付け得る。特に、カメラは、物体近くに移動することにより、ズームイン効果を使用し得る。さらに、カメラは、物体の倍率を上げることによってズームイン効果を使用し得る。ブロック１４４０において、運動ベクトルを見つけるための検索エリアが決定される。特に、検索エリアは初期点を含む。さらに、検索エリアは、受信するオプティカルフロー場データに基づく。例では、検索エリアを決定することは、検索エリアの形状を決定することを含み得る。他の例では、検索エリアを決定することは、検索エリアのロケーションを決定することを含み得る。さらに、ブロック１４５０において、検索エリアは評価されて、運動ベクトルを識別する。
図１５は、本発明の実施形態による、動きデータに基づいてビデオを符号化する検索エリアを決定する方法１５００を示すフローチャートである。ブロック１５１０において、画像取得デバイスによって取得されたビデオが受信される。ビデオはビデオフレームを含む。ビデオは、画像取得デバイスによって取得し得る。ブロック１５２０において、ビデオフレームに関連付けられた動きデータが受信される。動きデータはセンサによって取得される。例では、センサは画像取得デバイスに取り付けられ得る。他の例では、センサは画像取得デバイス外部にあり得る。更なる例では、センサは、画像取得デバイスからリモートの場所にあり得る。さらに、ビデオフレームは複数のブロックを含む。例では、複数のブロックは、ビデオフレーム内にアレイを形成し得る。さらに、ブロック１５３０において、ビデオフレーム内の検索エリアは、動きデータに基づいて決定される。検索エリアを使用して、画像取得デバイスによって取得されるビデオの動きを評価する。例では、検索エリアを使用して、画像取得デバイスによって取得されるビデオの動きを評価し、運動ベクトルを識別する。
図１６は、本発明の実施形態による、動きデータに基づいてビデオを符号化する検索エリアを決定する方法１６００を示すフローチャートである。ブロック１６１０において、画像取得デバイスによって取得されたビデオが受信される。ビデオは、第１のビデオフレームと、第２のビデオフレームとを含む。例では、第１のビデオフレームは、第２のビデオフレームに時間的に隣接し得る。第１のビデオフレームは、第２のビデオフレームの前にあり得る。代替的には、第１のビデオフレームは第２のビデオフレームの後にあり得る。さらに、第１のビデオフレーム及び第２のビデオフレームの各々は、複数のブロックを含む。
ブロック１６２０において、第２のビデオフレームに関連付けられた運動ベクトルが受信される。運動ベクトルはセンサによって取得される。特に、センサは画像取得デバイス内にあり得る。代替的には、センサは画像取得デバイスからリモートであり得る。ブロック１６３０において、第１のビデオフレーム内の検索エリアは、第２のビデオフレームに関連付けられた動きデータに基づいて決定される。例では、検索エリアのサイズは、第２のビデオフレームに関連付けられた動きデータに基づいて決定し得る。更なる例では、第１のビデオフレーム上の検索エリアのロケーションは、第２のビデオフレームに関連付けられた動きデータに基づいて決定し得る。さらに、検索エリアを使用して、画像取得デバイスによって取得されたビデオの動きを評価する。例では、検索エリアを使用して、画像取得デバイスによって取得されたビデオの動きを評価して、ビデオ内の運動ベクトルを識別する。
図１７は、本発明の実施形態による、オプティカルフロー場データに基づいて航空車両によって取得されたビデオを符号化する別の方法１７００を示すフローチャートである。ブロック１７１０において、航空車両に搭載された画像取得デバイスによって取得されたビデオが受信される。ビデオはビデオフレーム構成要素を含む。例では、ビデオは、航空車両が飛行中にオンボード画像取得デバイスによって取得され得る。ブロック１７２０において、ビデオフレーム構成要素に関連付けられたオプティカルフロー場データが受信される。オプティカルフロー場データの少なくとも一部は、航空車両に搭載されるセンサによって取得される。センサを使用して、航空車両のロケーション情報を取得し得る。例では、センサを使用して、航空車両の回転情報を取得し得る。さらに、ブロック１７３０において、画像取得デバイスによって取得されたビデオの動きが、オプティカルフロー場データに基づくビデオ符号化について評価される。例では、ビデオの動きは評価されて、ビデオフレーム構成要素に内に関連付けられた運動ベクトルを決定し得る。
ビデオ符号化に関して本明細書に記載されるシステム、デバイス、及び方法は、様々な物体によって支持されるビデオ取得デバイスによって取得される任意のビデオに適用し得る。特に、ビデオは、航空車両によって支持されるビデオ取得デバイスによって取得し得る。上述したように、ＵＡＶ等の航空車両の本明細書での任意の説明は、任意の移動可能物体に適用し得、使用し得る。航空車両の本明細書での任意の説明は、特にＵＡＶに適用し得る。本発明の移動可能物体は、空中（例えば、固定翼機、回転翼機、又は固定翼若しくは回転翼の何れも有さない航空機）、水中（例えば、船又は潜水艦）、陸上（例えば、車、トラック、バス、バン、オートバイ、自転車等の動力車、スティック、釣り竿等の移動可能構造若しくはフレーム、又は列車）、地中（例えば、地下鉄）、宇宙空間（例えば、宇宙飛行機、衛星、又は宇宙探査機）、又はこれらの環境の任意の組合せ等の任意の適する環境内で移動するように構成し得る。移動可能物体は、本明細書の他の箇所で記載される車両等の車両であり得る。幾つかの実施形態では、移動可能物体は、人間又は動物等の生体によって携帯されるか、又は生体から離陸し得る。適する動物は、アビネス（ａｖｉｎｅｓ）、イヌ科、ネコ科、ウマ科、ウシ科、ヒツジ科、ブタ科、イルカ科、齧歯類、又は昆虫を含み得る。
移動可能物体は、自由度６に関して環境内で自在に移動可能であり得る（例えば、並進移動での自由度３及び回転での自由度３）。代替的には、移動可能物体の移動は、所定の経路、トラック、又は向きになるなど、１つ又は複数の自由度に関して制限され得る。移動は、エンジン又はモータ等の任意の適する作動機構によって作動し得る。移動可能物体の作動機構は、電気エネルギー、磁気エネルギー、太陽エネルギー、風力、重力エネルギー、化学エネルギー、核エネルギー、又はそれらの任意の適する組合せ等の任意の適するエネルギー源によってエネルギー供給し得る。移動可能物体は、本明細書の他の箇所に記載のように、推進システムを介して自己推進し得る。推進システムは任意選択的に、電気エネルギー、磁気エネルギー、太陽エネルギー、風力、重力エネルギー、化学エネルギー、核エネルギー、又はそれらの任意の適する組合せ等のエネルギー源を燃料とし得る。代替的には、移動可能物体は生体によって運ばれ得る。
場合によっては、移動可能物体は航空車両であり得る。例えば、航空車両は、固定翼航空機（例えば、飛行機、グライダー）、回転翼航空機（例えば、ヘリコプター、ロータクラフト）、固定翼及び回転翼の両方を有する航空機、又は何れも有さない航空機（例えば、小型飛行船、熱気球）であり得る。航空車両は、空気を通しての自己推進等の自己推進式であり得る。自己推進式航空車両は、１つ又は複数のエンジン、モータ、車輪、車軸、磁石、ロータ、プロペラ、ブレード、ノズル、又はそれらの任意の適する組合せを含む推進システム等の推進システムを利用し得る。場合によっては、推進システムを使用して、移動可能物体が表面から離陸し、表面に着陸し、現在位置及び向きの少なくとも一方を維持し（例えば、ホバリング）、向きを変更し、且つ／又は位置を変更できるようにし得る。
移動可能物体は、ユーザによってリモートに、又は移動可能物体内又は上の占有者によってローカルに制御され得る。移動可能物体は、別個の車両内の占有者を介してリモートに制御され得る。幾つかの実施形態では、移動可能物体は、ＵＡＶ等の無人移動可能物体である。ＵＡＶ等の無人移動可能物体は、移動可能物体に搭乗する占有者を有さなくてもよい。移動可能物体は、人間、自律制御システム（例えば、コンピュータ制御システム）、又はそれらの任意の適する組合せによって制御し得る。移動可能物体は、人工知能が構成されたロボット等の自律又は半自律ロボットであり得る。
移動可能物体は、任意の適するサイズ及び寸法の少なくとも一方を有し得る。ある実施形態では、移動可能物体は、車両内又は車両上に人間の占有者を有するサイズ及び寸法の少なくとも一方のものであり得る。代替的には、移動可能物体は、車両内又は車両上に人間の占有者を有することが可能なものより小さなサイズ及び寸法の少なくとも一方であり得る。移動可能物体は、人間により持ち上げられるか、又は運ばれるのに適するサイズ及び寸法の少なくとも一方のものであり得る。代替的には、移動可能物体は、人間によって持ち上げられるか、又は運ばれるのに適するサイズ及び寸法の少なくとも一方よりも大きなものであり得る。場合によっては、移動可能物体は、約２ｃｍ以下、約５ｃｍ以下、約１０ｃｍ以下、約５０ｃｍ以下、約１ｍ以下、約２ｍ以下、約５ｍ以下、又は約１０ｍ以下の最大寸法（例えば、長さ、幅、高さ、直径、対角線）を有し得る。最大寸法は、約２ｃｍ以上、約５ｃｍ以上、約１０ｃｍ以上、約５０ｃｍ以上、約１ｍ以上、約２ｍ以上、約５ｍ以上、又は約１０ｍ以上であり得る。例えば、移動可能物体の対向するロータのシャフト間の距離は、約２ｃｍ以下、約５ｃｍ以下、約１０ｃｍ以下、約５０ｃｍ以下、約１ｍ以下、約２ｍ以下、約５ｍ以下、又は約１０ｍ以下であり得る。代替的には、対向するロータ間の距離は、約２ｃｍ以上、約５ｃｍ以上、約１０ｃｍ以上、約５０ｃｍ以上、約１ｍ以上、約２ｍ以上、約５ｍ以上、又は約１０ｍ以上であり得る。
ある実施形態では、移動可能物体は、１００ｃｍ×１００ｃｍ×１００ｃｍ未満、５０ｃｍ×５０ｃｍ×３０ｃｍ未満、又は５ｃｍ×５ｃｍ×３ｃｍ未満の容積を有し得る。移動可能物体の総容積は、約１ｃｍ３、約２ｃｍ３、約５ｃｍ３、約１０ｃｍ３、約２０ｃｍ３、約３０ｃｍ３、約４０ｃｍ３、約５０ｃｍ３、約６０ｃｍ３、約７０ｃｍ３、約８０ｃｍ３、約９０ｃｍ３、約１００ｃｍ３、約１５０ｃｍ３、約２００ｃｍ３、約３００ｃｍ３、約５００ｃｍ３、約７５０ｃｍ３、約１０００ｃｍ３、約５０００ｃｍ３、約１０，０００ｃｍ３、約１００，０００ｃｍ３３、約１ｍ３、又は約１０ｍ３以下であり得る。逆に、移動可能物体の総容積は、約１ｃｍ３、約２ｃｍ３、約５ｃｍ３、約１０ｃｍ３、約２０ｃｍ３、約３０ｃｍ３、約４０ｃｍ３、約５０ｃｍ３、約６０ｃｍ３、約７０ｃｍ３、約８０ｃｍ３、約９０ｃｍ３、約１００ｃｍ３、約１５０ｃｍ３、約２００ｃｍ３、約３００ｃｍ３、約５００ｃｍ３、約７５０ｃｍ３、約１０００ｃｍ３、約５０００ｃｍ３、約１０，０００ｃｍ３、約１００，０００ｃｍ３、約１ｍ３、又は約１０ｍ３以上であり得る。
ある実施形態では、移動可能物体は、約３２，０００ｃｍ２以下、約２０，０００ｃｍ２以下、約１０，０００ｃｍ２以下、約１，０００ｃｍ２以下、約５００ｃｍ２以下、約１００ｃｍ２以下、約５０ｃｍ２以下、約１０ｃｍ２以下、又は約５ｃｍ２以下のフットプリント（移動可能物体により包含される横方向断面積と呼ばれ得る）を有し得る。逆に、フットプリントは、約３２，０００ｃｍ２以上、約２０，０００ｃｍ２以上、約１０，０００ｃｍ２以上、約１，０００ｃｍ２以上、約５００ｃｍ２以上、約１００ｃｍ２以上、約５０ｃｍ２以上、約１０ｃｍ２以上、又は約５ｃｍ２以上であり得る。
場合によっては、移動可能物体は１０００ｋｇ以下の重量であり得る。移動可能物体の重量は、約１０００ｋｇ以下、約７５０ｋｇ以下、約５００ｋｇ以下、約２００ｋｇ以下、約１５０ｋｇ以下、約１００ｋｇ以下、約８０ｋｇ以下、約７０ｋｇ以下、約６０ｋｇ以下、約５０ｋｇ以下、約４５ｋｇ以下、約４０ｋｇ以下、約３５ｋｇ以下、約３０ｋｇ以下、約２５ｋｇ以下、約２０ｋｇ以下、約１５ｋｇ以下、約１２ｋｇ以下、約１０ｋｇ以下、約９ｋｇ以下、約８ｋｇ以下、約７ｋｇ以下、約６ｋｇ以下、約５ｋｇ以下、約４ｋｇ以下、約３ｋｇ以下、約２ｋｇ以下、約１ｋｇ以下、約０．５ｋｇ以下、約０．１ｋｇ以下、約０．０５ｋｇ以下、又は約０．０１ｋｇ以下であり得る。逆に、重量は、約１０００ｋｇ以上、約７５０ｋｇ以上、約５００ｋｇ以上、約２００ｋｇ以上、約１５０ｋｇ以上、約１００ｋｇ以上、約８０ｋｇ以上、約７０ｋｇ以上、約６０ｋｇ以上、約５０ｋｇ以上、約４５ｋｇ以上、約４０ｋｇ以上、約３５ｋｇ以上、約３０ｋｇ以上、約２５ｋｇ以上、約２０ｋｇ以上、約１５ｋｇ以上、約１２ｋｇ以上、約１０ｋｇ以上、約９ｋｇ以上、約８ｋｇ以上、約７ｋｇ以上、約６ｋｇ以上、約５ｋｇ以上、約４ｋｇ以上、約３ｋｇ以上、約２ｋｇ以上、約１ｋｇ以上、約０．５ｋｇ以上、約０．１ｋｇ以上、約０．０５ｋｇ以上、又は約０．０１ｋｇ以上であり得る。
ある実施形態では、移動可能物体は、移動可能物体によっては込まれる負荷に相対して小さなものであり得る。負荷は、本明細書の他の箇所で更に詳細に記載されるように、搭載物及びキャリアの少なくとも一方を含み得る。幾つかの例では、移動可能物体の重量と負荷の重量との比は、約１：１超、約１：１未満、又は約１：１に等しいものであり得る。場合によっては、移動可能物体の重量と負荷の重量との比は、約１：１超、約１：１未満、又は約１：１に等しいものであり得る。任意選択的に、キャリアの重量と負荷の重量との比は、約１：１超、約１：１未満、又は約１：１に等しいものであり得る。所望の場合、移動可能物体の重量と負荷の重量との比は、約１：２以下、約１：３以下、約１：４以下、約１：５以下、約１：１０以下、又は約１：１０未満であり得る。逆に、移動可能物体の重量と負荷の重量との比は、約約２：１以上、約３：１以上、約４：１以上、約５：１以上、約１０：１以上、又は約１０：１超であり得る。
ある実施形態では、移動可能物体は低いエネルギー消費を有し得る。例えば、移動可能物体は、約５Ｗ／ｈ未満、約４Ｗ／ｈ未満、約３Ｗ／ｈ未満、約２Ｗ／ｈ未満、約１Ｗ／ｈ未満を使用し得る。場合によっては、移動可能物体のキャリアは低いエネルギー消費を有し得る。例えば、キャリアは、約５Ｗ／ｈ未満、約４Ｗ／ｈ未満、約３Ｗ／ｈ未満、約２Ｗ／ｈ未満、約１Ｗ／ｈ未満を使用し得る。任意選択的に、移動可能物体の搭載物は、約５Ｗ／ｈ未満、約４Ｗ／ｈ未満、約３Ｗ／ｈ未満、約２Ｗ／ｈ未満、約１Ｗ／ｈ未満等の低いエネルギー消費を有し得る。
図１８は、本発明の実施形態による無人航空機（ＵＡＶ）１８００を示す。ＵＡＶは、本明細書に記載される移動可能物体の例であり得る。ＵＡＶ１８００は、４つのロータ１８０２、１８０４、１８０６、及び１８０８を有する推進システムを含み得る。任意の数のロータを提供し得る（例えば、１つ、２つ、３つ、４つ、５つ、６つ、又は７つ以上）。無人航空機のロータ、ロータ組立体、又は他の推進システムは、無人航空機が、ホバリング／位置を維持し、向きを変更し、且つ／又はロケーションを変更できるようにし得る。対向するロータのシャフト間の距離は、任意の適する長さ４１０であり得る。例えば、長さ１８１０は２ｍ以下又は５ｍ以下であり得る。ある実施形態では、長さ１８１０は、４０ｃｍ〜１ｍ、１０ｃｍ〜２ｍ、又は５ｃｍ〜５ｍの範囲内であり得る。ＵＡＶの本明細書での任意の説明は、異なるタイプの移動可能物体等の移動可能物体に適用し得、この逆も同様である。ＵＡＶは、本明細書に記載される補助装置付き離陸システム又は方法を使用し得る。
ある実施形態では、移動可能物体は負荷を搬送するように構成し得る。負荷は、乗客、貨物、機器、器具等の１つ又は複数を含み得る。負荷は境界内に提供し得る。筐体は、移動可能物体の筐体とは別個であってもよく、又は移動可能物体の筐体の部分であってもよい。代替的には、負荷に筐体を提供し得、一方、移動可能物体は筐体を有さない。代替的には、負荷の部分又は負荷全体は、筐体なしで提供し得る。負荷は、移動可能物体にしっかりと固定し得る。任意選択的には、負荷は、移動可能物体に対して移動可能（例えば、移動可能物体に対して並進移動可能又は回転可能）であり得る。負荷は、本明細書の他の箇所に記載されるように、搭載物及びキャリアの少なくとも一方を含み得る。
ある実施形態では、固定参照枠（例えば、周囲環境）及び／又は互いに対する移動可能物体、キャリア、及び搭載物の移動は、端末によって制御し得る。端末は、移動可能物体、キャリア、及び搭載物の少なくともいずれかから離れたロケーションにあるリモート制御デバイスであり得る。端末は、支持プラットフォームに配置されてもよく、又は支持プラットフォームに固定されてもよい。代替的には、端末はハンドヘルドデバイス又はウェアラブルデバイスであり得る。例えば、端末は、スマートフォン、タブレット、ラップトップ、コンピュータ、眼鏡、手袋、ヘルメット、マイクロホン、又はそれらの任意の適する組合せを含み得る。端末は、キーボード、マウス、ジョイスティック、タッチスクリーン、又はディスプレイ等のユーザインターフェースを含み得る。手動入力コマンド、音声制御、ジェスチャ制御、又は位置制御（例えば、端末の移動、ロケーション、又は傾斜を介する）等の任意の適するユーザ入力を使用して、端末を対話し得る。
端末を使用して、移動可能物体、キャリア、及び搭載物の少なくともいずれかの任意の適する状態を制御し得る。例えば、端末を使用して、互いから及び／又は互いへの固定参照に対する移動可能物体、キャリア、及び搭載物の少なくともいずれかの位置及び向きの少なくとも一方を制御し得る。ある実施形態では、端末を使用して、キャリアの作動組立体、搭載物のセンサ、又は搭載物のエミッタ等の移動可能物体、キャリア、及び搭載物の少なくともいずれかの個々の要素を制御し得る。端末は、移動可能物体、キャリア、又は搭載物の１つ又は複数と通信するように構成される無線通信デバイスを含み得る。
端末は、可動物体、キャリア、及び搭載物の少なくともいずれかの情報の閲覧に適する表示ユニットを含み得る。例えば、端末は、位置、並進移動速度、並進移動加速度、向き、角速度、角加速度、又はそれらの任意の適する組合せに関して可動物体、キャリア、及び搭載物の少なくともいずれかの情報を表示するように構成し得る。ある実施形態では、端末は、機能搭載物によって提供されるデータ等の搭載物によって提供される情報（例えば、カメラ又は他の画像取得装置によって記録される画像）を表示し得る。
任意選択的に、同じ端末が、可動物体、キャリア、及び／又は搭載物又は可動物体、キャリア、及び／又は搭載物の状態を制御するとともに、可動物体、キャリア、及び搭載物の少なくともいずれかから情報を受信し、且つ／又は表示し得る。例えば、端末は、搭載物によって取得された画像データ又は搭載物の位置についての情報を表示しながら、環境に相対する搭載物のポジショニングを制御し得る。代替的には、異なる端末を異なる機能に使用し得る。例えば、第１の端末は、可動物体、キャリア、及び／又は搭載物の移動又は状態を制御し得、一方、第２の端末は、可動物体、キャリア、及び搭載物の少なくともいずれかから情報を受信し、且つ／又は表示し得る。例えば、第１の端末を使用して、環境に対する搭載物のポジショニングを制御し得、一方、第２の端末は、搭載物によって取得された画像データを表示する。様々な通信モードが、両方とも可動物体を制御し、データを受信する可動物体と統合された端末との間、又は両方とも可動物体を制御し、データを受信する可動物体と複数の端末との間に利用可能である。例えば、少なくとも２つの異なる通信モードが、両方とも可動物体を制御し、可動物体からデータを受信する可動物体と端末との間に形成し得る。
図１９は、本発明の実施形態による、キャリア１９０２と搭載物１９０４とを含む可動物体１９００を示す。可動物体１９００は航空機として示されるが、この図は限定を意図せず、本明細書において上述したように、任意の適するタイプの可動物体を使用し得る。航空機システムの文脈で本明細書に記載される任意の実施形態を任意の適する可動物体（例えば、ＵＡＶ）に適用し得ることを当業者は理解する。場合によっては、搭載物１９０４は、キャリア１９０２を必要とせずに、可動物体１９００に提供し得る。可動物体１９００は、推進機構１９０６、検知システム１９０８、及び通信システム１９１０を含み得る。
推進機構１９０６は、上述したように、ロータ、プロペラ、ブレード、エンジン、モータ、車輪、車軸、磁石、又はノズルの１つ又は複数を含み得る。可動物体は、１つ又は複数、２つ以上、３つ以上、又は４つ以上の推進機構を有し得る。推進機構は全て同じタイプであり得る。代替的には、１つ又は複数の推進機構は、異なるタイプの推進機構であり得る。推進機構１９０６は、本明細書の他の箇所に記載のように、支持要素（例えば、駆動シャフト）等の任意の適する手段を使用して、可動物体１９００に搭載し得る。推進機構１９０６は、上部、下部、前部、後部、側部、又はそれらの任意の適する組合せ等の可動物体１９００の任意の適する部分に搭載し得る。
ある実施形態では、推進メカニズム１９０６は、可動物体１９００が、可動物体１９００の任意の水平移動を必要とせずに（例えば、滑走路を下って移動せずに）、表面から垂直に離陸するか、又は表面に垂直に着陸できるようにし得る。任意選択的に、推進機構１９０６は、可動物体１９００が特定の位置及び向きの少なくとも一方で空中でホバリングできるようにするように動作可能であり得る。推進機構１９００の１つ又は複数は、その他の推進機構から独立して制御し得る。代替的には、推進機構１９００は、同時に制御されるように構成し得る。例えば、可動物体１９００は、揚力及び推進力の少なくとも一方を可動物体に提供し得る複数の水平を向いたロータを有し得る。複数の水平を向いたロータを作動させて、垂直離陸機能、垂直直立機能、ホバリング機能を可動物体１９００に提供し得る。ある実施形態では、水平を向いたロータの１つ又は複数は、時計回り方向にスピンし得、一方、水平を向いたロータの１つ又は複数は反時計回り方向にスピンし得る。例えば、時計回りロータの数は、反時計回りロータの数に等しいことができる。水平を向いたロータのそれぞれの回転率は、独立して変更して、各ロータによって生成される余力及び推進力の少なくとも一方を制御し、それにより、可動物体１９００の空間配置、速度、及び加速度の少なくともいずれかを調整し得る（例えば、最高で３度の並進移動及び最高で３度の回転に関して）。
検知システム１９０８は、可動物体１９００の空間配置、速度、及び加速度の少なくともいずれかを検知し得る（例えば、最高で３度の並進移動及び最高で３度の回転に関して）１つ又は複数のセンサを含み得る。１つ又は複数のセンサは、全地球測位システム（ＧＰＳ）センサ、移動センサ、慣性センサ、近接度センサ、又は画像センサを含み得る。検知システム１９０８によって提供される検知データを使用して、可動物体１９００の空間配置、速度、及び向きの少なくともいずれかを制御し得る（例えば、後述するように、適する処理ユニット及び制御モジュールの少なくとも一方を使用して）。代替的には、検知システム１９０８を使用して、天候状況、潜在的な障害物への近接度、地理的特徴のロケーション、人造物のロケーション等の可動物体を取り巻く環境に関するデータを提供し得る。
通信システム１９１０は、無線信号１９１６を介して通信システム１９１４を有する端末１９１２と通信できるようにする。通信システム１９１０、１９１４は、無線通信に適する任意の数の送信器、受信器、及び送受信器の少なくともいずれかを含み得る。通信は、データを一方向でのみ送信し得るように、単方向通信であり得る。例えば、単方向通信は、可動物体１９００のみがデータを端末１９１２に送信するか、又はこの逆を含み得る。データは、通信システム１９１０の１つ又は複数の送信器から通信システム１９１２の１つ又は複数の受信器に送信し得、又はその逆であり得る。代替的には、通信は、データを可動物体１９００と端末１９１２との間で両方向で送信し得るように、双方向通信であり得る。双方向通信は、通信システム１９１０の１つ又は複数の送信器から通信システム１９１４の１つ又は複数の受信器にデータを送信すること、又はその逆を含み得る。
ある実施形態では、端末１９１２は、可動物体１９００、キャリア１９０２、及び搭載物１９０４の１つ又は複数に制御データを提供し、可動物体１９００、キャリア１９０２、及び搭載物１９０４の１つ又は複数から情報（例えば、可動物体、キャリア、又は搭載物の位置及び／又は移動情報、搭載物カメラによって取得される画像データ等の搭載物によって検知されるデータ）を受信し得る。場合によっては、端末からの制御データは、可動物体、キャリア、及び／又は搭載物の相対位置、移動、作動、又は制御についての命令を含み得る。例えば、制御データは、可動物体のロケーション及び／又は向きを変更させるか（例えば、推進機構１９０６の制御を介して）、又は可動物体に関する搭載物を移動させる（例えば、キャリア１９０２の制御を介して）。端末からの制御データは、カメラ又は他の画像取得装置の動作の制御（例えば、静止画又は動画の撮影、ズームイン又はアウト、電源オンオフ、画像モードの切り換え、画像解像度の変更、フォーカスの変更、被写界深度の変更、露光時間の変更、視野角又は視野の変更）等の搭載物の制御を生じさせ得る。場合によっては、可動物体、キャリア、及び搭載物の少なくともいずれかからの通信は、１つ又は複数のセンサ（例えば、検知システム１９０８又は搭載物１９０４の）からの情報を含み得る。通信は、１つ又は複数の異なるタイプのセンサ（例えば、ＧＰＳセンサ、移動センサ、慣性センサ、近接度センサ、又は画像センサ）からの検知情報を含み得る。そのような情報は、可動物体、キャリア、及び搭載物の少なくともいずれかの位置（例えば、ロケーション、向き）、移動、又は加速度に関連し得る。搭載物からのそのような情報は、搭載物によって取得されたデータ又は搭載物の検知状態を含み得る。端末１９１２によって提供され送信される制御データは、可動物体１９００、キャリア１９０２、又は搭載物１９０４の１つ又は複数の状態を制御するように構成し得る。代替的又は組み合わせて、キャリア１９０２及び搭載物１９０４もそれぞれ、端末１９１２と通信するように構成される通信モジュールを含み得、それにより、端末は、可動物体１９００、キャリア１９０２、及び搭載物１９０４のそれぞれと独立して通信し制御し得る。
ある実施形態では、可動物体１９００は、端末１９１２に加えて、又は端末１９１２の代わりに、別のリモート装置と通信するように構成し得る。端末１９１２は、別のリモート装置及び可動物体１９００と通信するように構成することもできる。例えば、可動物体１９００及び／又は端末１９１２は、別の可動物体又は別の可動物体のキャリア若しくは搭載物と通信し得る。所望の場合、リモート装置は第２の端末又は他の計算装置（例えば、コンピュータ、ラップトップ、タブレット、スマートフォン、又は他のモバイル装置）であり得る。リモート装置は、可動物体１９００にデータを送信し、可動物体１９００からデータを受信し、データを端末１９１２に送信し、且つ／又はデータを端末１９１２から受信するように構成し得る。任意選択的に、リモート装置は、インターネット又は他の電気通信ネットワークに接続し得、それにより、可動物体１９００及び／又は端末１９１２から受信されるデータは、ウェブサイト又はサーバにアップロードし得る。
図２０は、実施形態による可動物体を制御するシステム２０００のブロック図による概略図である。システム２０００は、本明細書に開示されるシステム、装置、及び方法の任意の適する実施形態と組み合わせて使用し得る。システム２０００は、検知モジュール２００２、処理ユニット２００４、非一時的コンピュータ可読媒体２００６、制御モジュール２００８、及び通信モジュール２０１０を含み得る。
検知モジュール２００２は、可動物体に関連する情報を異なる方法で収集する異なるタイプのセンサを利用し得る。異なるタイプのセンサは、異なるタイプの信号又は異なるソースからの信号を検知し得る。例えば、センサは、慣性センサ、ＧＰＳセンサ、近接度センサ（例えば、ライダー）、又はビジョン／画像センサ（例えば、カメラ）を含み得る。検知モジュールは、複数のプロセッサを有する処理ユニット２００４に動作可能に結合し得る。ある実施形態では、検知モジュール２００２は、適する外部装置又はシステムに検知データを直接送信するように構成された送信モジュール２０１２（例えば、ＷｉＦｉ画像送信モジュール）に動作可能に結合し得る。例えば、送信モジュール２０１２を使用して、検知モジュール２００２のカメラによって取得された画像をリモート端末に送信し得る。
処理ユニット２００４は、プログラマブルプロセッサ等の１つ又は複数のプロセッサ（例えば、中央演算処理装置（ＣＰＵ））を有し得る。処理ユニット２００４は、非一時的コンピュータ可読媒体２００６に動作可能に結合し得る。非一時的コンピュータ可読媒体２００６は、処理ユニット２００４によって実行可能であり、１つ又は複数のステップを実行する論理、コード、及びプログラム命令の少なくともいずれかを記憶し得る。非一時的コンピュータ可読媒体は、１つ又は複数のメモリユニット（例えば、ＳＤカード又はランダムアクセスメモリ（ＲＡＭ）等のリムーバブル媒体又は外部記憶装置）を含み得る。ある実施形態では、検知モジュール２００２からのデータは、非一時的コンピュータ可読媒体２００６のメモリユニットに直接伝達され、記憶し得る。非一時的コンピュータ可読媒体２００６のメモリユニットは、処理ユニット２００４によって実行可能であり、本明細書に記載の方法の任意の適する実施形態を実行する論理、コード、及びプログラム命令の少なくともいずれかを記憶し得る。例えば、処理ユニット２００４は、処理ユニット２００４の１つ又は複数のプロセッサに、検知モジュールによって生成される検知データを分析させる命令を実行するように構成し得る。メモリユニットは、処理ユニット２００４によって処理される検知モジュールからの検知データを記憶し得る。ある実施形態では、非一時的コンピュータ可読媒体２００６のメモリユニットを使用して、処理ユニット２００４によって生成される処理結果を記憶し得る。
ある実施形態では、処理ユニット２００４は、可動物体の状態を制御するように構成される制御モジュール２００８に動作可能に結合し得る。例えば、制御モジュール２００８は、可動物体の推進機構を制御して、自由度６に関して可動物体の空間配置、速度、及び加速度の少なくともいずれかを調整し得る。代替的には、又は組み合わせて、制御モジュール２００８は、キャリア、搭載物、又は検知モジュールの１つ又は複数を制御し得る。
処理ユニット２００４は、１つ又は複数の外部装置（例えば、端末、表示装置、又は他のリモートコントローラ）からのデータを送信し、且つ／又は受信するように構成される通信モジュール２０１０に動作可能に結合し得る。優先通信又は無線通信等の任意の適する通信手段を使用し得る。例えば、通信モジュール２０１０は、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、赤外線、電波、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信等のうちの１つ又は複数を利用し得る。任意選択的に、タワー、衛星、又は移動局塔の中継局を使用し得る。無線通信は、近接度に依存してもよく、又は依存しなくてもよい。ある実施形態では、視線が通信に必要であってもよく、又はなくてもよい。通信モジュール２０１０は、検知モジュール２００２からの検知データ、処理ユニット２００４によって生成される処理結果、所定の制御データ、端末又はリモートコントローラからのユーザコマンド等の１つ又は複数を送信し、且つ／又は受信し得る。
システム２０００の構成要素は、任意の適する構成で配置し得る。例えば、システム２０００の構成要素の１つ又は複数は、可動物体、キャリア、搭載物、端末、検知システム、又は上記の１つ若しくは複数と通信する追加の外部装置に配置し得る。さらに、図２０は単一の処理ユニット２００４及び単一の非一時的コンピュータ可読媒体２００６を示すが、これは限定を意図せず、システム２０００が複数の処理ユニット及び非一時的コンピュータ可読媒体の少なくとも一方を含み得ることを当業者は理解する。ある実施形態では、複数の処理ユニット及び非一時的コンピュータ可読媒体の少なくとも一方の１つ又は複数は、可動物体、キャリア、搭載物、端末、検知モジュール、上記の１つ又は複数と通信する追加の外部装置、又はそれらの適する組合せ等の異なるロケーションに配置し得、したがって、システム２０００によって実行される処理及びメモリ機能の少なくとも一方の任意の適する態様は、上記ロケーションの１つ又は複数で行われ得る。
本発明の好ましい実施形態を本明細書に示し説明したが、そのような実施形態が単なる例として提供されることが当業者には明らかであろう。ここで、本発明から逸脱せずに、多くの変形、変更、及び置換を当業者は思い付くであろう。本発明を実施するに当たり、本明細書に記載された本発明の実施形態への様々な代替を利用し得ることを理解されたい。以下の請求項が本発明の範囲を規定し、これらの請求項及びそれらの均等物の範囲内の方法及び構造がそれにより包含されることが意図される。

Claims (387)

  1. ビデオを符号化する検索エリアを評価する方法であって、
    画像取得デバイスによって取得された、ビデオフレーム構成要素を含むビデオを受信するステップと、
    前記ビデオフレーム構成要素の少なくとも一部がセンサによって取得され、前記ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するステップと、
    前記オプティカルフロー場データに基づいて検索エリアを決定するステップと
    を含む、方法。
  2. 前記検索エリアを決定するステップは、前記オプティカルフロー場データに基づいて所定の初期検索エリアを変更又は維持して、変更検索エリアを生成するステップを含む請求項１に記載の方法。
  3. 前記画像取得デバイスによって取得された前記ビデオの符号化された運動情報に対して前記変更検索エリアを評価するステップを更に含む請求項２に記載の方法。
  4. 前記画像取得デバイスはビデオ取得デバイスである請求項１に記載の方法。
  5. 前記画像取得デバイスは移動可能物体に設置される請求項１に記載の方法。
  6. 移動可能物体は無人航空機（ＵＡＶ）であり、かつ前記移動可能物体は前記画像取得デバイスを支持し、前記変更検索エリアを評価するステップは前記移動可能物体が飛行中に行われる請求項３に記載の方法。
  7. 前記変更検索エリアは、運動推定エンジンによって評価される請求項３に記載の方法。
  8. 前記初期検索エリアは、前記オプティカルフロー場データが前記初期検索エリアから離れた前記ビデオフレーム構成要素の検索エリアに移す場合に変更される請求項２に記載の方法。
  9. 前記初期検索エリアを変更するステップは、前記初期検索エリアの寸法を変更するステップを含む請求項２に記載の方法。
  10. 前記初期検索エリアを変更するステップは、前記初期検索エリアの形状を変更するステップを含む請求項２に記載の方法。
  11. 前記初期検索エリアを変更するステップは、前記初期検索エリアのロケーションを変更するステップを含む、請求項２に記載の方法。
  12. 前記オプティカルフロー場データは、前フレームの運動ベクトルに基づいて前記初期検索エリアの初期点の前記ロケーションを移す請求項１１に記載の方法。
  13. 前記オプティカルフロー場データは、後続フレームの運動ベクトルに基づいて、前記初期検索エリアの初期点の前記ロケーションを移す請求項１１に記載の方法。
  14. 前記初期検索エリアを変更するステップは、前記オプティカルフロー場データに基づいて、前記初期検索エリアを垂直方向に引き延ばすステップを含む請求項２に記載の方法。
  15. 前記オプティカルフロー場データは垂直バイアスである請求項１４に記載の方法。
  16. 前記初期検索エリアを変更するステップは、回転を示すオプティカルフロー場データに基づいて、円弧に沿ってビデオフレーム構成要素上の前記初期検索エリアの位置を移動するステップを含む請求項２に記載の方法。
  17. 前記変更検索エリアは、前記ビデオフレーム構成要素内の運動ベクトルを識別することで評価される請求項３に記載の方法。
  18. 前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ、及び高度計の少なくとも１つを含む請求項１に記載の方法。
  19. 前記オプティカルフロー場データに基づいて前記初期検索エリアを変更するステップは、前記オプティカルフロー場内の垂直バイアスに基づいて、前記初期検索エリアを引き延ばすステップを含む請求項２に記載の方法。
  20. 前記オプティカルフロー場データに基づいて前記初期検索エリアを変更するステップは、前記オプティカルフロー場内の水平バイアスに基づいて、前記初期検索エリアを広げるステップを含む請求項２に記載の方法。
  21. 前記ビデオフレーム構成要素はビデオフレームである請求項１に記載の方法。
  22. 前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである請求項１に記載の方法。
  23. 前記ブロックは符号化ビデオブロックである請求項２２に記載の方法。
  24. 前記ビデオフレーム構成要素の第２の初期検索エリアが提供される請求項２に記載の方法。
  25. 前記第２の初期検索エリアが前記オプティカルフロー場データに基づいて変更又は維持されることにより、第２の変更検索エリアが生成される請求項２４に記載の方法。
  26. 前記第２の変更検索エリアは、前記変更検索エリアよりも小さい請求項２５に記載の方法。
  27. ビデオを符号化する検索エリアを評価するプログラム命令を含む非一時的コンピュータ可読媒体であって、
    画像取得デバイスによって取得された、ビデオフレーム構成要素を含むビデオを受信するプログラム命令と、
    前記ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するプログラム命令であって、前記オプティカルフロー場データの少なくとも一部はセンサによって取得される、受信するプログラム命令と、
    前記オプティカルフロー場データに基づいて検索エリアを決定するプログラム命令と
    を含む、コンピュータ可読媒体。
  28. 前記決定するステップは、前記オプティカルフロー場データに基づいて所定の初期検索エリアを変更又は維持して、変更検索エリアを生成するステップを含む、請求項２７に記載のコンピュータ可読媒体。
  29. 前記画像取得デバイスによって取得された前記ビデオの符号化された運動情報として前記変更検索エリアを評価するプログラム命令を更に含む、請求項２８に記載のコンピュータ可読媒体。
  30. 前記画像取得デバイスはビデオ取得デバイスである、請求項２７に記載のコンピュータ可読媒体。
  31. 前記画像取得デバイスは移動可能物体に設置される、請求項２７に記載のコンピュータ可読媒体。
  32. 前記変更検索エリアを評価するステップは、前記画像取得デバイスを支持する移動可能物体が飛行中に行われる、請求項２９に記載のコンピュータ可読媒体。
  33. 前記変更検索エリアは、運動推定エンジンによって評価される、請求項２９に記載のコンピュータ可読媒体。
  34. 前記初期検索エリアは、前記オプティカルフロー場データが、前記初期検索エリアから離れた前記ビデオフレーム構成要素の検索エリアを移すと判断される場合、変更される、請求項２８に記載のコンピュータ可読媒体。
  35. 前記初期検索エリアを変更するステップは、前記初期検索エリアの寸法を変更するステップを含む、請求項２８に記載のコンピュータ可読媒体。
  36. 前記初期検索エリアを変更するステップは、前記初期検索エリアの形状を変更するステップを含む、請求項２８に記載のコンピュータ可読媒体。
  37. 前記初期検索エリアを変更するステップは、前記初期検索エリアのロケーションを変更するステップを含む、請求項２８に記載のコンピュータ可読媒体。
  38. 前記オプティカルフロー場データは、前フレームの運動ベクトルに基づいて前記初期検索エリアの初期点の前記ロケーションを移す、請求項３７に記載のコンピュータ可読媒体。
  39. 前記オプティカルフロー場データは、後続フレームの運動ベクトルに基づいて、前記初期検索エリアの初期点の前記ロケーションを移す、請求項３７に記載のコンピュータ可読媒体。
  40. 前記初期検索エリアを変更するステップは、前記オプティカルフロー場データに基づいて、前記初期検索エリアを垂直に引き延ばすステップを含む、請求項２８に記載のコンピュータ可読媒体。
  41. 前記オプティカルフロー場データは垂直バイアスを示す、請求項４０に記載のコンピュータ可読媒体。
  42. 前記初期検索エリアを変更するステップは、回転を示すオプティカルフロー場データに基づいて、円弧に沿ってビデオフレーム構成要素上の前記初期検索エリアの位置を移動するステップを含む、請求項２８に記載のコンピュータ可読媒体。
  43. 前記変更検索エリアは評価されて、前記ビデオフレーム構成要素内の運動ベクトルを識別する、請求項２９に記載のコンピュータ可読媒体。
  44. 前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項２７に記載のコンピュータ可読媒体。
  45. 前記オプティカルフロー場データに基づいて前記初期検索エリアを変更するステップは、前記オプティカルフロー場内の垂直バイアスに基づいて、前記初期検索エリアを引き延ばすステップを含む、請求項２８に記載のコンピュータ可読媒体。
  46. 前記オプティカルフロー場データに基づいて前記初期検索エリアを変更するステップは、前記オプティカルフロー場内の水平バイアスに基づいて、前記初期検索エリアを広げるステップを含む、請求項２８に記載のコンピュータ可読媒体。
  47. 前記ビデオフレーム構成要素はビデオフレームである、請求項２７に記載のコンピュータ可読媒体。
  48. 前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項２７に記載のコンピュータ可読媒体。
  49. 前記ブロックは符号化ビデオブロックである、請求項４８に記載のコンピュータ可読媒体。
  50. 前記ビデオフレーム構成要素の第２の初期検索エリアが提供される、請求項２８に記載のコンピュータ可読媒体。
  51. 前記第２の初期検索エリアは、前記オプティカルフロー場データに基づいて変更又は維持されて、第２の変更検索エリアを生成する、請求項５０に記載のコンピュータ可読媒体。
  52. 前記第２の変更検索エリアは、前記変更検索エリアよりも小さい、請求項５１に記載のコンピュータ可読媒体。
  53. ビデオを符号化する検索エリアを評価するシステムであって、
    ビデオを取得するように構成される画像取得デバイスと、
    オプティカルフロー場データを取得するように構成される１つ又は複数のセンサと、
    １つ又は複数のプロセッサであって、個々に又は集合的に、
    前記画像取得デバイスによって取得された、ビデオフレーム構成要素を含むビデオを受信するステップ、
    前記ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するステップであって、前記オプティカルフロー場データの少なくとも一部は前記１つ又は複数のセンサによって取得される、受信するステップ、及び
    前記オプティカルフロー場データに基づいて検索エリアを決定するステップ
    を実行するように構成される、１つ又は複数のプロセッサと
    を備える、システム。
  54. 検索エリアを決定するように構成される前記１つ又は複数のプロセッサは、前記オプティカルフロー場データに基づいて所定の初期検索エリアを変更又は維持して、変更検索エリアを生成するように構成される、
    請求項５３に記載のシステム。
  55. 前記１つ又は複数のプロセッサは、個々に又は集合的に、
    前記画像取得デバイスによって取得された前記ビデオの符号化された運動情報として前記変更検索エリアを評価するステップ
    を実行するように更に構成される、請求項５４に記載のシステム。
  56. 前記画像取得デバイスはビデオ取得デバイスである、請求項５３に記載のシステム。
  57. 前記画像取得デバイスは移動可能物体に設置される、請求項５３に記載のシステム。
  58. 前記変更検索エリアを評価するステップは、前記画像取得デバイスを支持する移動可能物体が飛行中に行われる、請求項５５に記載のシステム。
  59. 前記変更検索エリアは、運動推定エンジンによって評価される、請求項５４に記載のシステム。
  60. 前記初期検索エリアは、前記オプティカルフロー場データが、前記初期検索エリアから離れた前記ビデオフレーム構成要素の検索エリアを移すと判断される場合、変更される、請求項５４に記載のシステム。
  61. 前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、前記初期検索エリアの寸法を変更するように構成される、請求項５４に記載のシステム。
  62. 前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、前記初期検索エリアの形状を変更するように構成される、請求項５４に記載のシステム。
  63. 前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、前記初期検索エリアのロケーションを変更するように構成される、請求項５４に記載のシステム。
  64. 前記オプティカルフロー場データは、前フレームの運動ベクトルに基づいて前記初期検索エリアの初期点の前記ロケーションを移す、請求項６３に記載のシステム。
  65. 前記オプティカルフロー場データは、後続フレームの運動ベクトルに基づいて、前記初期検索エリアの初期点の前記ロケーションを移す、請求項６３に記載のシステム。
  66. 前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、前記オプティカルフロー場データに基づいて、前記初期検索エリアを垂直に引き延ばすように構成される、請求項５４に記載のシステム。
  67. 前記オプティカルフロー場データは垂直バイアスを示す、請求項６６に記載のシステム。
  68. 前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、回転を示すオプティカルフロー場データに基づいて、円弧に沿ってビデオフレーム構成要素上の前記初期検索エリアの位置を移動するように構成される、請求項５４に記載のシステム。
  69. 前記変更検索エリアは評価されて、前記ビデオフレーム構成要素内の運動ベクトルを識別する、請求項５５に記載のシステム。
  70. 前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項５３に記載のシステム。
  71. 前記オプティカルフロー場データに基づいて前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、前記オプティカルフロー場内の垂直バイアスに基づいて、前記初期検索エリアを引き延ばすように構成される、請求項５４に記載のシステム。
  72. 前記オプティカルフロー場データに基づいて前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、前記オプティカルフロー場内の水平バイアスに基づいて、前記初期検索エリアを広げるように構成される、請求項５４に記載のシステム。
  73. 前記ビデオフレーム構成要素はビデオフレームである、請求項５３に記載のシステム。
  74. 前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項５３に記載のシステム。
  75. 前記ブロックは符号化ビデオブロックである、請求項７４に記載のシステム。
  76. 前記ビデオフレーム構成要素の第２の初期検索エリアが提供される、請求項５４に記載のシステム。
  77. 前記第２の初期検索エリアは、前記オプティカルフロー場データに基づいて変更又は維持されて、第２の変更検索エリアを生成する、請求項７６に記載のシステム。
  78. 前記第２の変更検索エリアは、前記変更検索エリアよりも小さい、請求項７７に記載のシステム。
  79. ビデオフレーム構成要素の運動ベクトルを識別する方法であって、
    画像取得デバイスによって取得された、前記ビデオフレーム構成要素を含むビデオを受信するステップと、
    前記ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するステップと、
    運動ベクトルを査定する検索エリアを決定するステップであって、前記検索エリアは前記受信したオプティカルフロー場データに基づく、決定するステップと
    を含む、方法。
  80. 前記検索エリアは、前記運動ベクトルを査定する初期点を含む、請求項７９に記載の方法。
  81. 前記検索エリアを評価して、前記運動ベクトルを識別するステップを更に含む、請求項８０に記載の方法。
  82. 前記画像取得デバイスはビデオ取得デバイスである、請求項７９に記載の方法。
  83. 前記画像取得デバイスは移動可能物体に設置される、請求項７９に記載の方法。
  84. 前記変更検索エリアを評価するステップは、前記移動可能物体が飛行中に行われる、請求項８１に記載の方法。
  85. 前記検索エリアを決定するステップは、前記検索エリアの寸法を決定するステップを含む、請求項７９に記載の方法。
  86. 前記検索エリアを決定するステップは、前記検索エリアの形状を決定するステップを含む、請求項７９に記載の方法。
  87. 前記検索エリアを決定するステップは、前記ビデオフレーム構成要素上での前記検索エリアのロケーションを決定するステップを含む、請求項７９に記載の方法。
  88. 前記検索エリアは運動推定エンジンによって評価される、請求項８１に記載の方法。
  89. 前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項７９に記載の方法。
  90. 前記オプティカルフロー場データに基づいて前記検索エリアを決定するステップは、前記オプティカルフロー場データ内の移動度に基づいて検索エリアのロケーションを決定するステップを含む、請求項７９に記載の方法。
  91. 前記オプティカルフロー場データに基づいて前記検索エリアを決定するステップは、前記オプティカルフロー場データ内の移動度に基づいて検索エリアの形状を決定するステップを含む、請求項７９に記載の方法。
  92. 前記ビデオフレーム構成要素はビデオフレームである、請求項７９に記載の方法。
  93. 前記ビデオフレーム構成要素はブロックである、請求項７９に記載の方法。
  94. ビデオフレーム構成要素の運動ベクトルを特定するプログラム命令を含む非一時的コンピュータ可読媒体であって、
    画像取得デバイスによって取得された、前記ビデオフレーム構成要素を含むビデオを受信するプログラム命令と、
    前記ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するプログラム命令と、
    運動ベクトルを査定する検索エリアを決定するプログラム命令であって、前記検索エリアは前記受信したオプティカルフロー場データに基づく、決定するプログラム命令と
    を含む、コンピュータ可読媒体。
  95. 前記検索エリアは、前記運動ベクトルを査定する所定の初期点を含む、請求項９４に記載のコンピュータ可読媒体。
  96. 前記検索エリアを評価して、前記運動ベクトルを識別するプログラム命令を更に含む、請求項９５に記載のコンピュータ可読媒体。
  97. 前記画像取得デバイスはビデオ取得デバイスである、請求項９４に記載のコンピュータ可読媒体。
  98. 前記画像取得デバイスは移動可能物体に設置される、請求項９４に記載のコンピュータ可読媒体。
  99. 前記変更検索エリアを評価するステップは、前記移動可能物体が飛行中に行われる、請求項９６に記載のコンピュータ可読媒体。
  100. 前記検索エリアを決定するステップは、前記検索エリアの寸法を決定するステップを含む、請求項９４に記載のコンピュータ可読媒体。
  101. 前記検索エリアを決定するステップは、前記検索エリアの形状を決定するステップを含む、請求項９４に記載のコンピュータ可読媒体。
  102. 前記検索エリアを決定するステップは、前記ビデオフレーム構成要素上での前記検索エリアのロケーションを決定するステップを含む、請求項９４に記載のコンピュータ可読媒体。
  103. 前記検索エリアは運動推定エンジンによって評価される、請求項９６に記載のコンピュータ可読媒体。
  104. 前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項９４に記載のコンピュータ可読媒体。
  105. 前記オプティカルフロー場データに基づいて前記検索エリアを決定するステップは、前記オプティカルフロー場データ内の移動度に基づいて検索エリアのロケーションを決定するステップを含む、請求項９４に記載のコンピュータ可読媒体。
  106. 前記オプティカルフロー場データに基づいて前記検索エリアを決定するステップは、前記オプティカルフロー場データ内の移動度に基づいて検索エリアの形状を決定するステップを含む、請求項９４に記載のコンピュータ可読媒体。
  107. 前記ビデオフレーム構成要素はビデオフレームである、請求項９４に記載のコンピュータ可読媒体。
  108. 前記ビデオフレーム構成要素はブロックである、請求項９４に記載のコンピュータ可読媒体。
  109. ビデオフレーム構成要素の運動ベクトルを識別するシステムであって、
    ビデオを取得するように構成される画像取得デバイスと、
    オプティカルフロー場データを取得するように構成される１つ又は複数のセンサと、
    １つ又は複数のプロセッサであって、
    画像取得デバイスによって取得された、前記ビデオフレーム構成要素を含むビデオを受信するステップと、
    前記ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するステップと、
    運動ベクトルを査定する検索エリアを決定するステップであって、前記検索エリアは初期点を含み、前記検索エリアの寸法は、前記受信したオプティカルフロー場データに基づく、決定するステップと、
    を実行するように構成される、１つ又は複数のプロセッサと
    を備える、システム。
  110. 前記検索エリアは、前記運動ベクトルを査定する初期点を含む、請求項１０９に記載のシステム。
  111. 前記１つ又は複数のプロセッサは、前記検索エリアを評価して、前記運動ベクトルを識別するように更に構成される、請求項１１０に記載のシステム。
  112. 前記画像取得デバイスはビデオ取得デバイスである、請求項１０９に記載のシステム。
  113. 前記画像取得デバイスは移動可能物体に設置される、請求項１０９に記載のシステム。
  114. 前記変更検索エリアを評価するステップは、前記移動可能物体が飛行中に行われる、請求項１１１に記載のシステム。
  115. 前記検索エリアを決定するステップは、前記検索エリアの寸法を決定するステップを含む、請求項１０９に記載のシステム。
  116. 前記検索エリアを決定するステップは、前記検索エリアの形状を決定するステップを含む、請求項１０９に記載のシステム。
  117. 前記検索エリアを決定するステップは、前記ビデオフレーム構成要素上での前記検索エリアのロケーションを決定するステップを含む、請求項１０９に記載のシステム。
  118. 前記検索エリアは運動推定エンジンによって評価される、請求項１１１に記載のシステム。
  119. 前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項１０９に記載のシステム。
  120. 前記オプティカルフロー場データに基づいて前記検索エリアを決定するように構成される前記１つ又は複数のプロセッサは、前記オプティカルフロー場データ内の移動度に基づいて検索エリアのロケーションを決定するように構成される、請求項１０９に記載のシステム。
  121. 前記オプティカルフロー場データに基づいて前記検索エリアを決定するように構成される前記１つ又は複数のプロセッサは、前記オプティカルフロー場データ内の移動度に基づいて検索エリアの形状を決定するように構成される、請求項１０９に記載のシステム。
  122. 前記ビデオフレーム構成要素はビデオフレームである、請求項１０９に記載のシステム。
  123. 前記ビデオフレーム構成要素はブロックである、請求項１０９に記載のシステム。
  124. ビデオを符号化する検索エリアを決定する方法であって、
    画像取得デバイスによって取得された、ビデオフレームを含むビデオを受信するステップと、
    前記ビデオフレームに関連付けられた動きデータを受信するステップであって、前記動きデータはセンサによって取得される、動きデータを受信するステップと、
    前記動きデータに基づいて前記ビデオフレーム内の検索エリアを決定するステップであって、前記検索エリアは、前記画像取得デバイスによって取得される前記ビデオの動きを評価するのに使用される、決定するステップと
    を含む、方法。
  125. 前記検索エリアに基づいて、前記画像取得デバイスによって取得される前記ビデオの前記動きを評価するステップを更に含む、請求項１２４に記載の方法。
  126. 前記検索エリアは、前記ビデオフレームの選択されたブロックについて決定され、前記ビデオフレームに関連付けられた前記動きデータには、前記ビデオフレームの前記選択されたブロックが関連付けられる、請求項１２４に記載の方法。
  127. 前記検索エリアは、前記ビデオフレームの第１のブロックについて決定され、前記ビデオフレームに関連付けられた前記動きデータには、前記ビデオフレームの第２のブロックが関連付けられ、前記動きデータには、前記ビデオフレームの前記第１のブロック以外の前記ビデオフレームの複数のブロックが関連付けられる、請求項１２４に記載の方法。
  128. 前記複数のブロックは前記ビデオフレーム内のアレイを形成する、請求項１２４に記載の方法。
  129. 複数の検索エリアは、前記ビデオフレーム内で決定される、請求項１２４に記載の方法。
  130. 前記複数の検索エリアは、異なるブロック内で提供される、請求項１２９に記載の方法。
  131. 前記複数の検索エリアは、異なる寸法及び／又は形状を有する、請求項１２９に記載の方法。
  132. 前記ビデオフレーム内の運動ベクトルを査定する初期点を決定するステップを更に含む、請求項１２４に記載の方法。
  133. 前記決定される検索エリアは前記初期点を含む、請求項１３２に記載の方法。
  134. 前記検索エリアは、前記検索エリアを評価して、前記運動ベクトルを識別することによって前記動きを評価するのに使用される、請求項１３３に記載の方法。
  135. 前記運動ベクトル及び前記検索エリアはブロック内にある、請求項１３４に記載の方法。
  136. 前記検索エリアを評価して、運動ベクトルを識別するステップを更に含む、請求項１２４に記載の方法。
  137. 前記検索エリアは、運動推定エンジンによって評価される、請求項１２４に記載の方法。
  138. 前記検索エリアを決定するステップは、前記動きデータが前記初期点から離れた前記ビデオフレーム構成要素の検索エリアをバイアスするとの判断に基づいて、前記初期点を変更するステップを含む、請求項１３２に記載の方法。
  139. 前記検索エリアを決定するステップは、前記検索エリアの寸法を決定するステップを含む、請求項１２４に記載の方法。
  140. 前記検索エリアを決定するステップは、前記検索エリアの少なくとも１つの形状を決定するステップを含む、請求項１２４に記載の方法。
  141. 前記検索エリアを決定するステップは、前記検索エリアの前記ロケーションを決定するステップを含む、請求項１２４に記載の方法。
  142. 前記動きデータは、前フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションをバイアスする、請求項１４１に記載の方法。
  143. 前記動きデータは、後続フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションをバイアスする、請求項１４１に記載の方法。
  144. 前記検索エリアを決定するステップは、前記動きデータに基づいて前記検索エリアの垂直長尺状構成要素を決定するステップを含む、請求項１２４に記載の方法。
  145. 前記動きデータは垂直バイアスを示す、請求項１４４に記載の方法。
  146. 前記検索エリアを決定するステップは、回転を示す動きデータに基づいて、円弧に沿ってビデオ構成要素上の前記初期点の位置を移動させるステップを含む、請求項１２４に記載の方法。
  147. 前記検索エリアは評価されて、前記ビデオフレーム構成要素内の運動ベクトルを識別する、請求項１２５に記載の方法。
  148. 前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項１２４に記載の方法。
  149. 前記検索エリアを決定するステップは、前記検索エリアの形状を決定するステップを含む、請求項１２４に記載の方法。
  150. 前記検索エリアの前記形状は、円形、正方形、楕円形、三角形、平行四辺形、台形、八角形、及び矩形の群から選択される、請求項１４９に記載の方法。
  151. 前記ビデオフレーム構成要素はビデオフレームである、請求項１２４に記載の方法。
  152. 前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項１２４に記載の方法。
  153. 前記ブロックは符号化ビデオブロックである、請求項１５２に記載の方法。
  154. 前記ビデオフレーム構成要素の第２の検索エリアが提供される、請求項１２４に記載の方法。
  155. 前記第２の検索エリアは、前記動きデータに基づいて変更又は維持される、請求項１５４に記載の方法。
  156. 前記第２の検索エリアは、前記決定される検索エリアよりも小さい、請求項１５５に記載の方法。
  157. ビデオを符号化する検索エリアを決定するプログラム命令を含む非一時的コンピュータ可読媒体であって、
    画像取得デバイスによって取得された、ビデオフレームを含むビデオを受信するプログラム命令と、
    前記ビデオフレームに関連付けられた動きデータを受信するプログラム命令であって、前記動きデータはセンサによって取得され、前記ビデオフレームは複数のブロックを含む、動きデータを受信するプログラム命令と、
    前記動きデータに基づいて前記ビデオフレーム内の検索エリアを決定するプログラム命令と
    を含む、コンピュータ可読媒体。
  158. 前記検索エリアに基づいて、前記画像取得デバイスによって取得される前記ビデオの前記動きを評価するプログラム命令を更に含む、請求項１５７に記載のコンピュータ可読媒体。
  159. 前記検索エリアは、前記ビデオフレームの選択されたブロックについて決定され、前記ビデオフレームに関連付けられた前記動きデータには、前記ビデオフレームの前記選択されたブロックが関連付けられる、請求項１５７に記載のコンピュータ可読媒体。
  160. 前記検索エリアは、前記ビデオフレームの第１のブロックについて決定され、前記ビデオフレームに関連付けられた前記動きデータには、前記ビデオフレームの第２のブロックが関連付けられ、前記動きデータには、前記ビデオフレームの前記第１のブロック以外の前記ビデオフレームの複数のブロックが関連付けられる、請求項１５７に記載のコンピュータ可読媒体。
  161. 前記複数のブロックは前記ビデオフレーム内のアレイを形成する、請求項１５７に記載のコンピュータ可読媒体。
  162. 複数の検索エリアは、前記ビデオフレーム内で決定される、請求項１５７に記載のコンピュータ可読媒体。
  163. 前記複数の検索エリアは、異なるブロック内で提供される、請求項１６２に記載のコンピュータ可読媒体。
  164. 前記複数の検索エリアは、異なる寸法及び／又は形状を有する、請求項１６２に記載のコンピュータ可読媒体。
  165. 前記ビデオフレーム内の運動ベクトルを査定する初期点を決定するプログラム命令を更に含む、請求項１５７に記載のコンピュータ可読媒体。
  166. 前記決定される検索エリアは前記初期点を含む、請求項１６５に記載のコンピュータ可読媒体。
  167. 前記検索エリアは、前記検索エリアを評価して、運動ベクトルを識別することによって前記動きを評価するのに使用される、請求項１６６に記載のコンピュータ可読媒体。
  168. 前記運動ベクトル及び前記検索エリアはブロック内にある、請求項１６７に記載のコンピュータ可読媒体。
  169. 前記検索エリアを評価して、運動ベクトルを識別するプログラム命令を更に含む、請求項１５７に記載のコンピュータ可読媒体。
  170. 前記検索エリアは、運動推定エンジンによって評価される、請求項１５７に記載のコンピュータ可読媒体。
  171. 前記検索エリアを決定するステップは、前記動きデータが前記初期点から離れた前記ビデオフレーム構成要素の検索エリアを移すとの判断に基づいて、前記初期点を変更するステップを含む、請求項１６５に記載のコンピュータ可読媒体。
  172. 前記検索エリアを決定するステップは、前記検索エリアの寸法を決定するステップを含む、請求項１５７に記載のコンピュータ可読媒体。
  173. 前記検索エリアを決定するステップは、前記検索エリアの少なくとも１つの形状を決定するステップを含む、請求項１５７に記載のコンピュータ可読媒体。
  174. 前記検索エリアを決定するステップは、前記検索エリアの前記ロケーションを決定するステップを含む、請求項１５７に記載のコンピュータ可読媒体。
  175. 前記動きデータは、前フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションを移す、請求項１７４に記載のコンピュータ可読媒体。
  176. 前記動きデータは、後続フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションを移す、請求項１７４に記載のコンピュータ可読媒体。
  177. 前記検索エリアを決定するステップは、前記動きデータに基づいて前記検索エリアの垂直長尺状構成要素を決定するステップを含む、請求項１５７に記載のコンピュータ可読媒体。
  178. 前記動きデータは垂直バイアスを示す、請求項１７７に記載のコンピュータ可読媒体。
  179. 前記検索エリアを決定するステップは、回転を示すオプティカルフロー場データに基づいて、円弧に沿ってビデオ構成要素上の前記初期点の位置を移動させるステップを含む、請求項１６５に記載のコンピュータ可読媒体。
  180. 前記検索エリアは評価されて、前記ビデオフレーム構成要素内の運動ベクトルを識別する、請求項１５７に記載のコンピュータ可読媒体。
  181. 前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項１５７に記載のコンピュータ可読媒体。
  182. 前記検索エリアを決定するステップは、前記検索エリアの形状を決定するステップを含む、請求項１５７に記載のコンピュータ可読媒体。
  183. 前記検索エリアの前記形状は、円形、正方形、楕円形、三角形、平行四辺形、台形、八角形、及び矩形の群から選択される、請求項１８２に記載のコンピュータ可読媒体。
  184. 前記ビデオフレーム構成要素はビデオフレームである、請求項１５７に記載のコンピュータ可読媒体。
  185. 前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項１５７に記載のコンピュータ可読媒体。
  186. 前記ブロックは符号化ビデオブロックである、請求項１８５に記載のコンピュータ可読媒体。
  187. 前記ビデオフレーム構成要素の第２の検索エリアが提供される、請求項１５７に記載のコンピュータ可読媒体。
  188. 前記第２の検索エリアは、前記動きデータに基づいて変更又は維持される、請求項１８７に記載のコンピュータ可読媒体。
  189. 前記第２の検索エリアは、前記決定される検索エリアよりも小さい、請求項１８８に記載のコンピュータ可読媒体。
  190. ビデオを符号化する検索エリアを決定するシステムであって、
    ビデオを取得するように構成される画像取得デバイスと、
    動きデータを取得するように構成される１つ又は複数のセンサと、
    １つ又は複数のプロセッサであって、
    前記画像取得デバイスによって取得された、ビデオフレームを含む前記ビデオを受信するステップ、
    前記ビデオフレームに関連付けられた動きデータを受信するステップであって、前記動きデータはセンサによって取得され、前記ビデオフレームは複数のブロックを含む、動きデータを受信するステップ、及び
    前記動きデータに基づいて、前記ビデオフレーム内の検索エリアを決定するステップ
    を実行するように構成される、１つ又は複数のプロセッサと
    を備える、システム。
  191. 前記１つ又は複数のプロセッサは、前記検索エリアに基づいて、前記画像取得デバイスによって取得される前記ビデオの前記動きを評価するように更に構成される、請求項１９０に記載のシステム。
  192. 前記検索エリアは、前記ビデオフレームの選択されたブロックについて決定され、前記ビデオフレームに関連付けられた前記動きデータには、前記ビデオフレームの前記選択されたブロックが関連付けられる、請求項１９０に記載のシステム。
  193. 前記検索エリアは、前記ビデオフレームの第１のブロックについて決定され、前記ビデオフレームに関連付けられた前記動きデータには、前記ビデオフレームの第２のブロックが関連付けられ、前記動きデータには、前記ビデオフレームの前記第１のブロック以外の前記ビデオフレームの複数のブロックが関連付けられる、請求項１９０に記載のシステム。
  194. 前記複数のブロックは前記ビデオフレーム内のアレイを形成する、請求項１９０に記載のシステム。
  195. 複数の検索エリアは、前記ビデオフレーム内で決定される、請求項１９０に記載のシステム。
  196. 前記複数の検索エリアは、異なるブロック内で提供される、請求項１９５に記載のシステム。
  197. 前記複数の検索エリアは、異なる寸法及び／又は形状を有する、請求項１９５に記載のシステム。
  198. 前記１つ又は複数のプロセッサは、前記ビデオフレーム内の運動ベクトルを査定する初期点を決定するように更に構成される、請求項１９０に記載のシステム。
  199. 前記決定される検索エリアは前記初期点を含む、請求項１９８に記載のシステム。
  200. 前記検索エリアは、前記検索エリアを評価して、前記運動ベクトルを識別することによって前記動きを評価するのに使用される、請求項１９９に記載のシステム。
  201. 前記運動ベクトル及び前記検索エリアはブロック内にある、請求項２００に記載のシステム。
  202. 前記１つ又は複数のプロセッサは、前記検索エリアを評価して、運動ベクトルを識別するように更に構成される、請求項１９０に記載のシステム。
  203. 前記検索エリアは、運動推定エンジンによって評価される、請求項１９１に記載のシステム。
  204. 前記検索エリアを決定するように構成される前記１つ又は複数のプロセッサは、前記動きデータが前記初期点から離れた前記ビデオフレーム構成要素の検索エリアを移すとの判断に基づいて、前記初期点を変更するようにも構成される、請求項１９８に記載のシステム。
  205. 前記検索エリアを決定するステップは、前記検索エリアの寸法を決定するステップを含む、請求項１９０に記載のシステム。
  206. 前記検索エリアを決定するステップは、前記検索エリアの少なくとも１つの形状を決定するステップを含む、請求項１９０に記載のシステム。
  207. 前記検索エリアを決定するステップは、前記検索エリアの前記ロケーションを決定するステップを含む、請求項１９０に記載のシステム。
  208. 前記動きデータは、前フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションをバイアスする、請求項２０７に記載のシステム。
  209. 前記動きデータは、後続フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションをバイアスする、請求項２０７に記載のシステム。
  210. 前記検索エリアを決定するステップは、前記動きデータに基づいて前記検索エリアの垂直長尺状構成要素を決定するステップを含む、請求項１９０に記載のシステム。
  211. 前記動きデータは垂直バイアスを示す、請求項２１０に記載のシステム。
  212. 前記検索エリアを決定するステップは、回転を示す動きデータに基づいて、円弧に沿ってビデオ構成要素上の前記初期点の位置を移動させるステップを含む、請求項１９８に記載のシステム。
  213. 前記検索エリアは評価されて、前記ビデオフレーム構成要素内の運動ベクトルを識別する、請求項１９１に記載のシステム。
  214. 前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項１９０に記載のシステム。
  215. 前記検索エリアを決定するように構成される前記１つ又は複数のプロセッサは、前記検索エリアの形状を決定するように構成される、請求項１９０に記載のシステム。
  216. 前記検索エリアの前記形状は、円形、正方形、楕円形、三角形、平行四辺形、台形、八角形、及び矩形の群から選択される、請求項２１５に記載のシステム。
  217. 前記ビデオフレーム構成要素はビデオフレームである、請求項１９０に記載のシステム。
  218. 前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項１９０に記載のシステム。
  219. 前記ブロックは符号化ビデオブロックである、請求項２１８に記載のシステム。
  220. 前記ビデオフレーム構成要素の第２の検索エリアが提供される、請求項１９０に記載のシステム。
  221. 前記第２の検索エリアは、前記動きデータに基づいて変更又は維持される、請求項２２０に記載のシステム。
  222. 前記第２の検索エリアは、前記決定される検索エリアよりも小さい、請求項２２１に記載のシステム。
  223. ビデオを符号化する検索エリアを決定する方法であって、
    画像取得デバイスによって取得されたビデオを受信するステップであって、前記ビデオは、第１のビデオフレーム及び第２のビデオフレームを含み、前記ビデオフレームの各々は複数のブロックを含む、ビデオを受信するステップと、
    前記第２のビデオフレームに関連付けられた動きデータを受信するステップであって、前記動きデータはセンサによって取得される、動きデータを受信するステップと、
    前記第２のビデオフレームに関連付けられた前記動きデータに基づいて、前記第１のビデオフレーム内の検索エリアを決定するステップと
    を含む、方法。
  224. 前記検索エリアに基づいて、前記画像取得デバイスによって取得された前記ビデオの動きを評価するステップを更に含む、請求項２２３に記載の方法。
  225. 前記検索エリアは、前記第１のビデオフレームの選択されたブロックについて決定され、前記第２のビデオフレームに関連付けられた前記動きデータには、前記第１のビデオフレームの前記選択されたブロックに対応する前記第２のビデオフレームのブロックが関連付けられる、請求項２２３に記載の方法。
  226. 前記検索エリアは、前記第１のビデオフレームの第１のブロックについて決定され、前記第２のビデオフレームに関連付けられた前記動きデータには、前記第１のビデオフレームの前記第１のブロックに対応しない前記第２のビデオフレームの第２のブロックが関連付けられ、前記動きデータには、前記第２のビデオフレームの複数のブロックが関連付けられる、請求項２２３に記載の方法。
  227. 複数の検索エリアが、前記第１のビデオフレーム内で決定される、請求項２２３に記載の方法。
  228. 前記複数の検索エリアは、異なるブロック内で提供される、請求項２２７に記載の方法。
  229. 前記複数の検索エリアは、異なる寸法及び／又は形状を有する、請求項２２７に記載の方法。
  230. 前記第１のビデオフレーム内の運動ベクトルを査定する初期点を決定するステップを更に含む、請求項２２３に記載の方法。
  231. 前記決定される検索エリアは前記初期点を含む、請求項２３０に記載の方法。
  232. 前記検索エリアは、前記検索エリアを評価して、前記運動ベクトルを識別するステップによって前記動きを評価するのに使用される、請求項２３１に記載の方法。
  233. 前記運動ベクトル及び前記検索エリアはブロック内にある、請求項２３２に記載の方法。
  234. 前記検索エリアは、運動推定エンジンによって評価される、請求項２２４に記載の方法。
  235. 前記検索エリアを決定するステップは、前記動きデータが前記初期点から離れた前記ビデオフレーム構成要素の検索エリアをバイアスするとの判断に基づいて、前記初期点を変更するステップを含む、請求項２３０に記載の方法。
  236. 前記検索エリアを決定するステップは、前記検索エリアの寸法を決定するステップを含む、請求項２２３に記載の方法。
  237. 前記検索エリアを決定するステップは、前記検索エリアの少なくとも１つの形状を決定するステップを含む、請求項２２３に記載の方法。
  238. 前記検索エリアを決定するステップは、前記検索エリアの前記ロケーションを決定するステップを含む、請求項２２３に記載の方法。
  239. 前記動きデータは、前フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションをバイアスする、請求項２３８に記載の方法。
  240. 前記動きデータは、後続フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションをバイアスする、請求項２３８に記載の方法。
  241. 前記検索エリアを決定するステップは、前記動きデータに基づいて前記検索エリアの垂直長尺状構成要素を決定するステップを含む、請求項２２３に記載の方法。
  242. 前記動きデータは垂直バイアスを示す、請求項２４１に記載の方法。
  243. 前記検索エリアを決定するステップは、回転を示す動きデータに基づいて、円弧に沿ってビデオ構成要素上の前記初期点の位置を移動させるステップを含む、請求項２３０に記載の方法。
  244. 前記検索エリアは評価されて、前記ビデオフレーム構成要素内の運動ベクトルを識別する、請求項２２４に記載の方法。
  245. 前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項２２３に記載の方法。
  246. 前記第２のビデオフレームに関連付けられた前記動きデータに基づいて、前記第１のビデオフレーム内の前記検索エリアを決定するステップは、前記第２のフレームに関連付けられた動きデータのズームインに応答して、前記検索エリアを拡大するステップを含み、前記第２のフレームは、時間的に前記第１のビデオフレームに先行する、請求項２２３に記載の方法。
  247. 前記第２のビデオフレームに関連付けられた前記動きデータに基づいて、前記第１のビデオフレーム内の前記検索エリアを決定するステップは、前記第２のフレームに関連付けられた動きデータのズームアウトに応答して、前記検索エリアを縮小するステップを含み、前記第２のフレームは、時間的に前記第１のビデオフレームに先行する、請求項２２３に記載の方法。
  248. 前記ビデオフレーム構成要素はビデオフレームである、請求項２２３に記載の方法。
  249. 前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項２２３に記載の方法。
  250. 前記ブロックは符号化ビデオブロックである、請求項２４９に記載の方法。
  251. 前記ビデオフレーム構成要素の第２の検索エリアが提供される、請求項２２３に記載の方法。
  252. 前記第２の検索エリアは、前記動きデータに基づいて変更又は維持される、請求項２５１に記載の方法。
  253. 前記第２の検索エリアは、前記決定される検索エリアよりも小さい、請求項２５２に記載の方法。
  254. ビデオを符号化する検索エリアを決定するプログラム命令を含む非一時的コンピュータ可読媒体であって、
    画像取得デバイスによって取得されたビデオを受信するプログラム命令であって、前記ビデオは、第１のビデオフレーム及び第２のビデオフレームを含み、前記ビデオフレームの各々は複数のブロックを含む、ビデオを受信するプログラム命令と、
    前記第２のビデオフレームに関連付けられた動きデータを受信するプログラム命令であって、前記動きデータはセンサによって取得される、動きデータを受信するプログラム命令と、
    前記第２のビデオフレームに関連付けられた前記動きデータに基づいて、前記第１のビデオフレーム内の検索エリアを決定するプログラム命令と
    を含む、コンピュータ可読媒体。
  255. 前記検索エリアに基づいて、前記画像取得デバイスによって取得された前記ビデオの動きを評価するプログラム命令を更に含む、請求項２５４に記載のコンピュータ可読媒体。
  256. 前記検索エリアは、前記第１のビデオフレームの選択されたブロックについて決定され、前記第２のビデオフレームに関連付けられた前記動きデータには、前記第１のビデオフレームの前記選択されたブロックに対応する前記第２のビデオフレームのブロックが関連付けられる、請求項２５４に記載のコンピュータ可読媒体。
  257. 前記検索エリアは、前記第１のビデオフレームの第１のブロックについて決定され、前記第２のビデオフレームに関連付けられた前記動きデータには、前記第１のビデオフレームの前記第１のブロックに対応しない前記第２のビデオフレームの第２のブロックが関連付けられ、前記動きデータには、前記第２のビデオフレームの複数のブロックが関連付けられる、請求項２５４に記載のコンピュータ可読媒体。
  258. 複数の検索エリアが、前記第１のビデオフレーム内で決定される、請求項２５４に記載のコンピュータ可読媒体。
  259. 前記複数の検索エリアは、異なるブロック内で提供される、請求項２５８に記載のコンピュータ可読媒体。
  260. 前記複数の検索エリアは、異なる寸法及び／又は形状を有する、請求項２５８に記載のコンピュータ可読媒体。
  261. 前記第１のビデオフレーム内の運動ベクトルを査定する初期点を決定するプログラム命令を更に含む、請求項２５４に記載のコンピュータ可読媒体。
  262. 前記決定される検索エリアは前記初期点を含む、請求項２７０に記載のコンピュータ可読媒体。
  263. 前記検索エリアは、前記検索エリアを評価して、前記運動ベクトルを識別することによって前記動きを評価するのに使用される、請求項２５５に記載のコンピュータ可読媒体。
  264. 前記運動ベクトル及び前記検索エリアはブロック内にある、請求項２７２に記載のコンピュータ可読媒体。
  265. 前記検索エリアは、運動推定エンジンによって評価される、請求項２５５に記載のコンピュータ可読媒体。
  266. 前記検索エリアを決定するステップは、前記動きデータが前記初期点から離れた前記ビデオフレーム構成要素の検索エリアをバイアスするとの判断に基づいて、前記初期点を変更するステップを含む、請求項２７０に記載のコンピュータ可読媒体。
  267. 前記検索エリアを決定するステップは、前記検索エリアの寸法を決定するステップを含む、請求項２５４に記載のコンピュータ可読媒体。
  268. 前記検索エリアを決定するステップは、前記検索エリアの少なくとも１つの形状を決定するステップを含む、請求項２５４に記載のコンピュータ可読媒体。
  269. 前記検索エリアを決定するステップは、前記検索エリアの前記ロケーションを決定するステップを含む、請求項２５４に記載のコンピュータ可読媒体。
  270. 前記動きデータは、前フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションを移す、請求項２７８に記載のコンピュータ可読媒体。
  271. 前記動きデータは、後続フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションを移す、請求項２７８に記載のコンピュータ可読媒体。
  272. 前記検索エリアを決定するステップは、前記動きデータに基づいて前記検索エリアの垂直長尺状構成要素を決定するステップを含む、請求項２５４に記載のコンピュータ可読媒体。
  273. 前記動きデータは垂直バイアスを示す、請求項２８１に記載のコンピュータ可読媒体。
  274. 前記検索エリアを決定するステップは、回転を示す動きデータに基づいて、円弧に沿ってビデオ構成要素上の前記初期点の位置を移動させるステップを含む、請求項２７０に記載のコンピュータ可読媒体。
  275. 前記検索エリアは評価されて、前記ビデオフレーム構成要素内の運動ベクトルを識別する、請求項２５５に記載のコンピュータ可読媒体。
  276. 前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項２５４に記載のコンピュータ可読媒体。
  277. 前記第２のビデオフレームに関連付けられた前記動きデータに基づいて、前記第１のビデオフレーム内の前記検索エリアを決定するステップは、前記第２のフレームに関連付けられた動きデータのズームインに応答して、前記検索エリアを拡大するステップを含み、前記第２のフレームは、時間的に前記第１のビデオフレームに先行する、請求項２５４に記載のコンピュータ可読媒体。
  278. 前記第２のビデオフレームに関連付けられた前記動きデータに基づいて、前記第１のビデオフレーム内の前記検索エリアを決定するステップは、前記第２のフレームに関連付けられた動きデータのズームアウトに応答して、前記検索エリアを縮小するステップを含み、前記第２のフレームは、時間的に前記第１のビデオフレームに先行する、請求項２５４に記載のコンピュータ可読媒体。
  279. 前記ビデオフレーム構成要素はビデオフレームである、請求項２５４に記載のコンピュータ可読媒体。
  280. 前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項２５４に記載のコンピュータ可読媒体。
  281. 前記ブロックは、符号化されたビデオブロックである、請求項２８９に記載のコンピュータ可読媒体。
  282. 前記ビデオフレーム構成要素の第２の検索エリアが提供される、請求項２５４に記載のコンピュータ可読媒体。
  283. 前記第２の検索エリアは、前記動きデータに基づいて変更又は維持される、請求項２９１に記載のコンピュータ可読媒体。
  284. 前記第２の検索エリアは、前記決定される検索エリアよりも小さい、請求項２９２に記載のコンピュータ可読媒体。
  285. ビデオを符号化する検索エリアを決定するシステムであって、
    ビデオを取得するように構成される画像取得デバイスと、
    動きデータを取得するように構成される１つ又は複数のセンサと、
    １つ又は複数のプロセッサであって、
    前記画像取得デバイスによって取得された前記ビデオを受信するステップであって、前記ビデオは、第１のビデオフレーム及び第２のビデオフレームを含み、前記ビデオフレームの各々は複数のブロックを含む、ビデオを受信するステップ、
    前記第２のビデオフレームに関連付けられた動きデータを受信するステップであって、前記動きデータはセンサによって取得される、動きデータを受信するステップ、及び
    前記第２のビデオフレームに関連付けられた前記動きデータに基づいて、前記第１のビデオフレーム内の検索エリアを決定するステップ
    を実行するように構成される、１つ又は複数のプロセッサと
    を備える、システム。
  286. 前記１つ又は複数のプロセッサは、前記検索エリアに基づいて、前記画像取得デバイスによって取得された前記ビデオの動きを評価するように更に構成される、請求項２９４に記載のシステム。
  287. 前記検索エリアは、前記第１のビデオフレームの選択されたブロックについて決定され、前記第２のビデオフレームに関連付けられた前記動きデータには、前記第１のビデオフレームの前記選択されたブロックに対応する前記第２のビデオフレームのブロックが関連付けられる、請求項２９４に記載のシステム。
  288. 前記検索エリアは、前記第１のビデオフレームの第１のブロックについて決定され、前記第２のビデオフレームに関連付けられた前記動きデータには、前記第１のビデオフレームの前記第１のブロックに対応しない前記第２のビデオフレームの第２のブロックが関連付けられ、前記動きデータには、前記第２のビデオフレームの複数のブロックが関連付けられる、請求項２９４に記載のシステム。
  289. 複数の検索エリアが、前記第１のビデオフレーム内で決定される、請求項２９４に記載のシステム。
  290. 前記複数の検索エリアは、異なるブロック内で提供される、請求項２９８に記載のシステム。
  291. 前記複数の検索エリアは、異なる寸法及び／又は形状を有する、請求項２９８に記載のシステム。
  292. 前記１つ又は複数のプロセッサは、前記第１のビデオフレーム内の運動ベクトルを査定する初期点を決定するように更に構成される、請求項２９４に記載のシステム。
  293. 前記決定される検索エリアは前記初期点を含む、請求項３０１に記載のシステム。
  294. 前記検索エリアは、前記検索エリアを評価して、前記運動ベクトルを識別することによって前記動きを評価するのに使用される、請求項３０２に記載のシステム。
  295. 前記運動ベクトル及び前記検索エリアはブロック内にある、請求項３０３に記載のシステム。
  296. 前記検索エリアは、運動推定エンジンによって評価される、請求項２９５に記載のシステム。
  297. 前記検索エリアを決定するステップは、前記動きデータが前記初期点から離れた前記ビデオフレーム構成要素の検索エリアをバイアスするとの判断に基づいて、前記初期点を変更するステップを含む、請求項３０１に記載のシステム。
  298. 前記検索エリアを決定するステップは、前記検索エリアの寸法を決定するステップを含む、請求項２９４に記載のシステム。
  299. 前記検索エリアを決定するステップは、前記検索エリアの少なくとも１つの形状を決定するステップを含む、請求項２９４に記載のシステム。
  300. 前記検索エリアを決定するステップは、前記検索エリアの前記ロケーションを決定するステップを含む、請求項２９４に記載のシステム。
  301. 前記動きデータは、前フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションを移す、請求項３０９に記載のシステム。
  302. 前記動きデータは、後続フレームの運動ベクトルに基づいて、前記検索エリア内の初期点の前記ロケーションを移す、請求項３０９に記載のシステム。
  303. 前記検索エリアを決定するステップは、前記動きデータに基づいて前記検索エリアの垂直長尺状構成要素を決定するステップを含む、請求項２９４に記載のシステム。
  304. 前記動きデータは垂直バイアスを示す、請求項３１２に記載のシステム。
  305. 前記検索エリアを決定するステップは、回転を示す動きデータに基づいて、円弧に沿ってビデオ構成要素上の前記初期点の位置を移動させるステップを含む、請求項３０１に記載のシステム。
  306. 前記検索エリアは評価されて、前記ビデオフレーム構成要素内の運動ベクトルを識別する、請求項２９５に記載のシステム。
  307. 前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項２９４に記載のシステム。
  308. 前記第２のビデオフレームに関連付けられた前記動きデータに基づいて、前記第１のビデオフレーム内の前記検索エリアを決定するように構成される前記１つ又は複数のプロセッサは、前記第２のフレームに関連付けられた動きデータのズームインに応答して、前記検索エリアを拡大するように構成され、前記第２のフレームは、時間的に前記第１のビデオフレームに先行する、請求項２９４に記載のシステム。
  309. 前記第２のビデオフレームに関連付けられた前記動きデータに基づいて、前記第１のビデオフレーム内の前記検索エリアを決定するように構成される前記１つ又は複数のプロセッサは、前記第２のフレームに関連付けられた動きデータのズームアウトに応答して、前記検索エリアを縮小するように構成され、前記第２のフレームは、時間的に前記第１のビデオフレームに先行する、請求項２９４に記載のシステム。
  310. 前記ビデオフレーム構成要素はビデオフレームである、請求項２９４に記載のシステム。
  311. 前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項２９４に記載のシステム。
  312. 前記ブロックは、符号化されたビデオブロックである、請求項３２０に記載のシステム。
  313. 前記ビデオフレーム構成要素の第２の検索エリアが提供される、請求項２９４に記載のシステム。
  314. 前記第２の検索エリアは、前記動きデータに基づいて変更又は維持される、請求項３２２に記載のシステム。
  315. 前記第２の検索エリアは、前記決定される検索エリアよりも小さい、請求項３２３に記載のシステム。
  316. 航空車両によって取得されるビデオを符号化する方法であって、
    前記航空車両に搭載された画像取得デバイスによって取得されたビデオを受信するステップであって、前記ビデオはビデオフレーム構成要素を含む、受信するステップと、
    ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するステップであって、前記オプティカルフロー場データの少なくとも一部は、前記航空車両に搭載されるセンサによって取得される、オプティカルフロー場データを受信するステップと、
    前記オプティカルフロー場データに基づいて、前記画像取得デバイスによって取得された前記ビデオの動きをビデオ符号化に関して評価するステップと
    を含む、方法。
  317. 前記航空車両は無人航空機である、請求項３２５に記載の方法。
  318. 前記ビデオの前記動きは、前記ビデオのビデオフレーム構成要素内の検索エリア内で評価される、請求項３２５に記載の方法。
  319. 前記検索エリアの寸法、形状、又はロケーションは、前記オプティカルフロー場データに基づいて決定される、請求項３２７に記載の方法。
  320. 前記ビデオの前記動きは、運動推定エンジンによって評価される、請求項３２５に記載の方法。
  321. 前記ビデオの動きを評価するステップは、前記ビデオのビデオフレーム構成要素内の検索エリアを評価するステップを含み、前記検索エリアは、前記オプティカルフロー場データが、初期検索エリアから離れた前記ビデオフレーム構成要素の検索エリアをバイアスすると判断される場合、変更される、請求項３２５に記載の方法。
  322. 前記検索エリアを変更するステップは、前記検索エリアの前記寸法を変更するステップを含む、請求項３３０に記載の方法。
  323. 前記検索エリアを変更するステップは、前記検索エリアの前記形状を変更するステップを含む、請求項３３０に記載の方法。
  324. 前記検索エリアを変更するステップは、前記検索エリアの前記ロケーションを変更するステップを含む、請求項３３０に記載の方法。
  325. 前記オプティカルフロー場データは、前フレームの運動ベクトルに基づいて、前記検索エリアの初期点の前記ロケーションをバイアスする、請求項３３３に記載の方法。
  326. 前記オプティカルフロー場データは、後続フレームの運動ベクトルに基づいて、前記検索エリアの初期点の前記ロケーションを移す、請求項３３３に記載の方法。
  327. 前記検索エリアを変更するステップは、前記オプティカルフロー場データに基づいて、前記検索エリアを垂直に引き延ばすステップを含む、請求項３３０に記載の方法。
  328. 前記オプティカルフロー場データは垂直バイアスを示す、請求項３３６に記載の方法。
  329. 前記検索エリアを変更するステップは、回転を示すオプティカルフロー場データに基づいて、円弧に沿ってビデオ構成要素上の前記検索エリアの位置を移動するステップを含む、請求項３３０に記載の方法。
  330. 前記ビデオの前記動きは評価されて、前記ビデオのビデオフレーム構成要素内の運動ベクトルを識別する、請求項３２５に記載の方法。
  331. 前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項３２５に記載の方法。
  332. 前記オプティカルフロー場データの一部は、外部ソースから受信される、請求項３２５に記載の方法。
  333. 前記外部ソースから受信される前記オプティカルフロー場データの前記一部は、陸上局から前記航空車両に通信される、請求項３４１に記載の方法。
  334. 前記ビデオフレーム構成要素はビデオフレームである、請求項３３９に記載の方法。
  335. 前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項３３９に記載の方法。
  336. 前記ブロックは、符号化されたビデオブロックである、請求項３４４に記載の方法。
  337. 前記ビデオフレーム構成要素の検索エリアが提供される、請求項３３９に記載の方法。
  338. 前記検索エリアは、前記オプティカルフロー場データに基づいて変更又は維持されて、変更検索エリアを生成する、請求項３４６に記載の方法。
  339. 前記変更検索エリアは、初期検索エリアよりも小さい、請求項３４７に記載の方法。
  340. 航空車両によって取得されるビデオを符号化するプログラム命令を含む非一時的コンピュータ可読媒体であって、
    前記航空車両に搭載された画像取得デバイスによって取得されたビデオを受信するプログラム命令であって、前記ビデオはビデオフレーム構成要素を含む、受信するプログラム命令と、
    ビデオフレーム構成要素に関連付けられたオプティカルフロー場データを受信するプログラム命令であって、前記オプティカルフロー場データの少なくとも一部は、前記航空車両に搭載されるセンサによって取得される、オプティカルフロー場データを受信するプログラム命令と、
    前記オプティカルフロー場データに基づいて、前記画像取得デバイスによって取得された前記ビデオの動きをビデオ符号化に関して評価するプログラム命令と
    を含む、コンピュータ可読媒体。
  341. 前記航空車両は無人航空機である、請求項３４９に記載のコンピュータ可読媒体。
  342. 前記ビデオの前記動きは、前記ビデオのビデオフレーム構成要素内の検索エリア内で評価される、請求項３４９に記載のコンピュータ可読媒体。
  343. 前記検索エリアの寸法、形状、又はロケーションは、前記オプティカルフロー場データに基づいて決定される、請求項３５１に記載のコンピュータ可読媒体。
  344. 前記ビデオの前記動きは、運動推定エンジンによって評価される、請求項３４９に記載のコンピュータ可読媒体。
  345. 前記ビデオの動きを評価するステップは、前記ビデオのビデオフレーム構成要素内の検索エリアを評価するステップを含み、前記検索エリアは、前記オプティカルフロー場データが、初期検索エリアから離れた前記ビデオフレーム構成要素の検索エリアをバイアスすると判断される場合、変更される、請求項３４９に記載のコンピュータ可読媒体。
  346. 前記検索エリアを変更するステップは、前記検索エリアの前記寸法を変更するステップを含む、請求項３５４に記載のコンピュータ可読媒体。
  347. 前記検索エリアを変更するステップは、前記検索エリアの前記形状を変更するステップを含む、請求項３５４に記載のコンピュータ可読媒体。
  348. 前記検索エリアを変更するステップは、前記検索エリアの前記ロケーションを変更するステップを含む、請求項３５４に記載のコンピュータ可読媒体。
  349. 前記オプティカルフロー場データは、前フレームの運動ベクトルに基づいて、前記検索エリアの初期点の前記ロケーションを移す、請求項３５７に記載のコンピュータ可読媒体。
  350. 前記オプティカルフロー場データは、後続フレームの運動ベクトルに基づいて、前記検索エリアの初期点の前記ロケーションを移す、請求項３５７に記載のコンピュータ可読媒体。
  351. 前記検索エリアを変更するステップは、前記オプティカルフロー場データに基づいて、前記検索エリアを垂直に引き延ばすステップを含む、請求項３５４に記載のコンピュータ可読媒体。
  352. 前記オプティカルフロー場データは垂直バイアスを示す、請求項３６０に記載のコンピュータ可読媒体。
  353. 前記検索エリアを変更するステップは、回転を示すオプティカルフロー場データに基づいて、円弧に沿ってビデオ構成要素上の前記検索エリアの位置を移動するステップを含む、請求項３５４に記載のコンピュータ可読媒体。
  354. 前記検索エリアは評価されて、前記ビデオのビデオフレーム構成要素内の運動ベクトルを識別する、請求項３５４に記載のコンピュータ可読媒体。
  355. 前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項３５４に記載のコンピュータ可読媒体。
  356. 前記オプティカルフロー場データの一部は、外部ソースから受信される、請求項３４９に記載のコンピュータ可読媒体。
  357. 前記外部ソースから受信される前記オプティカルフロー場データの前記一部は、陸上局から前記航空車両に通信される、請求項３６５に記載のコンピュータ可読媒体。
  358. 前記ビデオフレーム構成要素はビデオフレームである、請求項３６３に記載のコンピュータ可読媒体。
  359. 前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項３６３に記載のコンピュータ可読媒体。
  360. 前記ブロックは、符号化されたビデオブロックである、請求項３６８に記載のコンピュータ可読媒体。
  361. 前記ビデオフレーム構成要素の検索エリアが提供される、請求項３６３に記載のコンピュータ可読媒体。
  362. 前記検索エリアは、前記オプティカルフロー場データに基づいて変更又は維持されて、変更検索エリアを生成する、請求項３７０に記載のコンピュータ可読媒体。
  363. 前記変更検索エリアは、初期検索エリアよりも小さい、請求項３７１に記載のコンピュータ可読媒体。
  364. 航空車両によって取得されるビデオを符号化するシステムであって、
    航空車両に搭載される画像取得デバイスであって、ビデオを取得するように構成される、画像取得デバイスと、
    前記航空車両に搭載される１つ又は複数のセンサであって、オプティカルフロー場データを取得するように構成される、１つ又は複数のセンサと、
    １つ又は複数のプロセッサであって、個々に又は集合的に、
    前記画像取得デバイスによって取得された前記ビデオを受信するステップであって、前記ビデオはビデオフレーム構成要素を含む、受信するステップ、
    ビデオフレーム構成要素に関連付けられた前記オプティカルフロー場データを受信するステップであって、前記オプティカルフロー場データの少なくとも一部は、前記センサによって取得される、オプティカルフロー場データを受信するステップ、及び
    前記オプティカルフロー場データに基づいて、前記画像取得デバイスによって取得された前記ビデオの動きをビデオ符号化に関して評価するステップ
    を実行するように構成される、１つ又は複数のプロセッサと
    を備える、システム。
  365. 前記航空車両は無人航空機である、請求項３７３に記載のシステム。
  366. 前記ビデオの前記動きは、前記ビデオのビデオフレーム構成要素内の検索エリア内で評価される、請求項３７３に記載のシステム。
  367. 前記検索エリアの寸法、形状、又はロケーションは、前記オプティカルフロー場データに基づいて決定される、請求項３７５に記載のシステム。
  368. 前記ビデオの前記動きは、運動推定エンジンによって評価される、請求項３７３に記載のシステム。
  369. 前記ビデオの前記動きを評価するように構成される前記１つ又は複数のプロセッサは、前記ビデオのビデオフレーム構成要素内の検索エリアを評価するように構成され、前記検索エリアは、前記オプティカルフロー場データが、初期検索エリアから離れた前記ビデオフレーム構成要素の検索エリアをバイアスすると判断される場合、変更される、請求項３７３に記載のシステム。
  370. 前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、前記初期検索エリアの前記寸法を変更するように構成される、請求項３７８に記載のシステム。
  371. 前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、前記初期検索エリアの前記形状を変更するように構成される、請求項３７８に記載のシステム。
  372. 前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、前記初期検索エリアの前記ロケーションを変更するように構成される、請求項３７８に記載のシステム。
  373. 前記オプティカルフロー場データは、前フレームの運動ベクトルに基づいて、前記検索エリアの初期点の前記ロケーションを移す、請求項３８１に記載のシステム。
  374. 前記オプティカルフロー場データは、後続フレームの運動ベクトルに基づいて、前記検索エリアの初期点の前記ロケーションを移す、請求項３８１に記載のシステム。
  375. 前記初期検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、前記オプティカルフロー場データに基づいて、前記検索エリアを垂直に引き延ばすように構成される、請求項３７８に記載のシステム。
  376. 前記オプティカルフロー場データは垂直バイアスを示す、請求項３８４に記載のシステム。
  377. 前記検索エリアを変更するように構成される前記１つ又は複数のプロセッサは、回転を示すオプティカルフロー場データに基づいて、円弧に沿ってビデオ構成要素上の前記検索エリアの位置を移動するように構成される、請求項３７８に記載のシステム。
  378. 前記検索エリアは評価されて、前記ビデオのビデオフレーム構成要素内の運動ベクトルを識別する、請求項３７８に記載のシステム。
  379. 前記センサは、光学センサ、超音波センサ、ＭＶＯ、ジャイロスコープ、ＧＰＳ及び高度計の少なくとも１つを含む、請求項３７３に記載のシステム。
  380. 前記オプティカルフロー場データの一部は、外部ソースから受信される、請求項３７３に記載のシステム。
  381. 前記外部ソースから受信される前記オプティカルフロー場データの前記一部は、陸上局から前記航空車両に通信される、請求項３８９に記載のシステム。
  382. 前記ビデオフレーム構成要素はビデオフレームである、請求項３８７に記載のシステム。
  383. 前記ビデオフレーム構成要素は、ビデオフレーム内のブロックである、請求項３８７に記載のシステム。
  384. 前記ブロックは、符号化されたビデオブロックである、請求項３９２に記載のシステム。
  385. 前記ビデオフレーム構成要素の検索エリアが提供される、請求項３８７に記載のシステム。
  386. 前記検索エリアは、前記オプティカルフロー場データに基づいて変更又は維持されて、変更検索エリアを生成する、請求項３９４に記載のシステム。
  387. 前記変更検索エリアは、初期検索エリアよりも小さい、請求項３９５に記載のシステム。
JP2016551702A 2015-07-31 2015-07-31 検索エリアを評価する方法 Pending JP2017529710A (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/085762 WO2017020184A1 (en) 2015-07-31 2015-07-31 Methods of modifying search areas

Publications (1)

Publication Number Publication Date
JP2017529710A true JP2017529710A (ja) 2017-10-05

Family

ID=57942154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016551702A Pending JP2017529710A (ja) 2015-07-31 2015-07-31 検索エリアを評価する方法

Country Status (5)

Country Link
US (2) US10708617B2 (ja)
EP (1) EP3207708B1 (ja)
JP (1) JP2017529710A (ja)
CN (1) CN107852508A (ja)
WO (1) WO2017020184A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109665099A (zh) * 2017-10-13 2019-04-23 阿尔派株式会社 架线摄影系统以及架线摄影方法
US10485495B2 (en) 2014-12-04 2019-11-26 Trophy Hand positioner for cephalometric extra oral dental imaging devices

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102121829B (zh) 2010-08-09 2013-06-12 汪滔 一种微型惯性测量系统
US9664516B2 (en) * 2014-04-25 2017-05-30 SZ DJI Technology Co., Ltd. Inertial sensing device
US9678506B2 (en) 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9798322B2 (en) 2014-06-19 2017-10-24 Skydio, Inc. Virtual camera interface and other user interaction paradigms for a flying digital assistant
JP6391694B2 (ja) 2015-07-31 2018-09-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ビデオ符号化方法及びシステム
US10435176B2 (en) 2016-05-25 2019-10-08 Skydio, Inc. Perimeter structure for unmanned aerial vehicle
US10520943B2 (en) 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
US11295458B2 (en) 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
US10345825B2 (en) * 2017-01-03 2019-07-09 International Business Machines Corporation Detecting an illumination need
WO2020182043A1 (en) * 2019-03-08 2020-09-17 Huawei Technologies Co., Ltd. Search region for motion vector refinement
CN110751022B (zh) * 2019-09-03 2023-08-22 平安科技（深圳）有限公司 基于图像识别的城市宠物活动轨迹监测方法及相关设备
CN111932949A (zh) * 2020-07-10 2020-11-13 中国航空工业集团公司西安飞行自动控制研究所 一种直升机搜救方法及嵌入搜救方法的飞行管理系统
US11640668B2 (en) * 2021-06-10 2023-05-02 Qualcomm Incorporated Volumetric sampling with correlative characterization for dense estimation

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004221757A (ja) * 2003-01-10 2004-08-05 Renesas Technology Corp 動き検出装置及び探索領域形状可変動き検出器
JP2005287031A (ja) * 2004-03-29 2005-10-13 Hewlett-Packard Development Co Lp 圧縮方法および圧縮アルゴリズムを使用するデジタル画像デバイス
JP2005323021A (ja) * 2004-05-07 2005-11-17 Fuji Photo Film Co Ltd 車載撮像システム、および撮像方法
JP2007150458A (ja) * 2005-11-24 2007-06-14 Canon Inc 画像処理装置、画像処理方法
JP2008104181A (ja) * 2006-10-17 2008-05-01 Harman Becker Automotive Systems Gmbh センサ支援ビデオ圧縮
JP2009212937A (ja) * 2008-03-05 2009-09-17 Nec Corp 無人移動体のデータ伝送装置および方法
JP2014192704A (ja) * 2013-03-27 2014-10-06 Mega Chips Corp 動画像符号化処理装置、プログラムおよび集積回路
WO2015079470A2 (en) * 2013-11-29 2015-06-04 Protodesign S.R.L. Video coding system for images and video from air or satellite platform assisted by sensors and by a geometric model of the scene

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2514115B2 (ja) 1991-02-15 1996-07-10 株式会社グラフィックス・コミュニケーション・テクノロジーズ 画像信号符号化装置
JPH06233270A (ja) 1993-02-03 1994-08-19 Hitachi Ltd 画像符号化方法およびその装置
US6192075B1 (en) 1997-08-21 2001-02-20 Stream Machine Company Single-pass variable bit-rate control for digital video coding
JPH11168730A (ja) * 1997-12-04 1999-06-22 Nec Corp 画像圧縮装置
US6741282B1 (en) * 1998-05-05 2004-05-25 Intel Corporation Method and apparatus for processing a photocurrent in both discrete and continuous time
JP4289727B2 (ja) 1999-07-06 2009-07-01 キヤノン株式会社 画像符号化装置、方法及びコンピュータ読み取り可能な記憶媒体
JP2001086512A (ja) 1999-09-14 2001-03-30 Nec Corp 可変ビットレート符号化装置
AU2003280512A1 (en) 2002-07-01 2004-01-19 E G Technology Inc. Efficient compression and transport of video over a network
US20050024487A1 (en) 2003-07-31 2005-02-03 William Chen Video codec system with real-time complexity adaptation and region-of-interest coding
JP4591657B2 (ja) 2003-12-22 2010-12-01 キヤノン株式会社 動画像符号化装置及びその制御方法、プログラム
KR20050090841A (ko) 2004-03-10 2005-09-14 엘지전자 주식회사 비트율 제어 방법
US7447337B2 (en) * 2004-10-25 2008-11-04 Hewlett-Packard Development Company, L.P. Video content understanding through real time video motion analysis
KR100606140B1 (ko) 2004-11-09 2006-08-01 (주)씨앤에스 테크놀로지 적응적 모드 결정에 의한 움직임 예측방법
TW200704200A (en) 2005-03-10 2007-01-16 Qualcomm Inc Content classification for multimedia processing
US7733380B1 (en) 2005-07-19 2010-06-08 Maxim Integrated Products, Inc. Method and/or architecture for controlling encoding parameters using integrated information from camera ISP
US8031777B2 (en) 2005-11-18 2011-10-04 Apple Inc. Multipass video encoding and rate control using subsampling of frames
GB2435360B (en) * 2006-02-16 2009-09-23 Imagination Tech Ltd Method and apparatus for determining motion between video images
CN100508608C (zh) 2006-06-02 2009-07-01 清华大学 一种无预测循环的抗误码视频编解码方法
US7653130B2 (en) 2006-12-27 2010-01-26 General Instrument Corporation Method and apparatus for bit rate reduction in video telephony
US8630346B2 (en) * 2007-02-20 2014-01-14 Samsung Electronics Co., Ltd System and method for introducing virtual zero motion vector candidates in areas of a video sequence involving overlays
KR101366244B1 (ko) * 2007-04-24 2014-02-21 삼성전자주식회사 레지듀얼 데이터를 이용한 영상의 에러 은닉 방법 및 장치
JP4636064B2 (ja) * 2007-09-18 2011-02-23 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
US8374388B2 (en) * 2007-12-28 2013-02-12 Rustam Stolkin Real-time tracking of non-rigid objects in image sequences for which the background may be changing
CN101325711A (zh) 2008-07-16 2008-12-17 上海大学 基于时空掩盖效应的自适应码率控制方法
US20100079605A1 (en) * 2008-09-29 2010-04-01 William Marsh Rice University Sensor-Assisted Motion Estimation for Efficient Video Encoding
JP2010199656A (ja) 2009-02-23 2010-09-09 Panasonic Corp 動画撮像装置
US8363721B2 (en) * 2009-03-26 2013-01-29 Cisco Technology, Inc. Reference picture prediction for video coding
US8854458B2 (en) * 2009-04-15 2014-10-07 Toyota Jidosha Kabushiki Kaisha Object detection device
JP4788798B2 (ja) * 2009-04-23 2011-10-05 トヨタ自動車株式会社 物体検出装置
WO2010129907A2 (en) * 2009-05-08 2010-11-11 Scientific Systems Company Inc. Method and system for visual collision detection and estimation
US9307251B2 (en) * 2009-08-19 2016-04-05 Sharp Laboratories Of America, Inc. Methods and systems for determining data-adaptive weights for motion estimation in a video sequence
KR101441874B1 (ko) 2009-08-21 2014-09-25 에스케이텔레콤 주식회사 적응적 움직임 벡터 해상도를 이용한 영상 부호화/복호화 방법 및 장치
US9118912B2 (en) * 2009-12-14 2015-08-25 Thomson Licensing Object-aware video encoding strategies
WO2011123758A1 (en) * 2010-04-03 2011-10-06 Centeye, Inc. Vision based hover in place
US20110249959A1 (en) 2010-04-09 2011-10-13 Korea Electronics Technology Institute Video storing method and device based on variable bit allocation and related video encoding and decoding apparatuses
US8406506B2 (en) * 2010-05-18 2013-03-26 Honda Motor Co., Ltd. Fast sub-pixel optical flow estimation
EP2591354B1 (en) * 2010-07-07 2016-09-07 Ardelyx, Inc. Compounds and methods for inhibiting phosphate transport
US8736767B2 (en) * 2010-09-29 2014-05-27 Sharp Laboratories Of America, Inc. Efficient motion vector field estimation
CN103430546B (zh) 2011-03-09 2017-08-04 日本电信电话株式会社 视频编码装置、视频编码方法以及视频编码程序
JP2012257198A (ja) * 2011-05-17 2012-12-27 Canon Inc 立体画像符号化装置、その方法、および立体画像符号化装置を有する撮像装置
JP2013081101A (ja) 2011-10-04 2013-05-02 Nikon Corp 画像処理装置、撮像装置およびプログラム
US8660374B1 (en) * 2011-12-23 2014-02-25 Massachusetts Institute Of Technology Selecting transform paths for compressing visual data
JP5792091B2 (ja) * 2012-02-16 2015-10-07 富士通テン株式会社 物体検出装置及び物体検出方法
JP6085620B2 (ja) * 2012-03-05 2017-02-22 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 超解像度処理のための方法、システム及び装置
JP5867273B2 (ja) * 2012-04-27 2016-02-24 富士通株式会社 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
US9451163B2 (en) 2012-05-11 2016-09-20 Qualcomm Incorporated Motion sensor assisted rate control for video encoding
US20140029664A1 (en) 2012-07-27 2014-01-30 The Hong Kong University Of Science And Technology Frame-level dependent bit allocation in hybrid video encoding
US20140177706A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video
JP2014132706A (ja) 2013-01-04 2014-07-17 Mitsubishi Electric Corp 監視カメラおよび監視カメラ用プログラム
US9171213B2 (en) * 2013-03-15 2015-10-27 Xerox Corporation Two-dimensional and three-dimensional sliding window-based methods and systems for detecting vehicles
CN103347185B (zh) 2013-06-28 2016-08-10 北京航空航天大学 基于选择性块变换的无人机侦察图像综合压缩编码方法
US20150030208A1 (en) * 2013-07-29 2015-01-29 Irida Labs S.A. System and a method for motion estimation based on a series of 2d images
CN103533359B (zh) 2013-10-16 2016-06-15 武汉大学 一种h.264码率控制方法
US9158971B2 (en) * 2014-03-03 2015-10-13 Xerox Corporation Self-learning object detectors for unlabeled videos using multi-task learning
KR102156410B1 (ko) * 2014-04-14 2020-09-15 삼성전자주식회사 오브젝트 움직임을 고려한 영상 처리 장치 및 방법
US9681150B2 (en) * 2014-06-13 2017-06-13 Texas Instruments Incorporated Optical flow determination using pyramidal block matching
EP3180918A1 (en) * 2014-08-12 2017-06-21 Intel Corporation System and method of motion estimation for video coding
JP6394876B2 (ja) * 2014-09-17 2018-09-26 株式会社ソシオネクスト 符号化回路、符号化方法
US10462480B2 (en) 2014-12-31 2019-10-29 Microsoft Technology Licensing, Llc Computationally efficient motion estimation
EP3054685A1 (en) * 2015-02-04 2016-08-10 Thomson Licensing Hierarchical motion estimation and video segmentation in presence of more than one moving object in a block
US10321128B2 (en) 2015-02-06 2019-06-11 Sony Corporation Image encoding apparatus and image encoding method
JP6086619B2 (ja) 2015-03-27 2017-03-01 株式会社日立国際電気 符号化装置および符号化方法
JP6391694B2 (ja) 2015-07-31 2018-09-19 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ ビデオ符号化方法及びシステム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004221757A (ja) * 2003-01-10 2004-08-05 Renesas Technology Corp 動き検出装置及び探索領域形状可変動き検出器
JP2005287031A (ja) * 2004-03-29 2005-10-13 Hewlett-Packard Development Co Lp 圧縮方法および圧縮アルゴリズムを使用するデジタル画像デバイス
JP2005323021A (ja) * 2004-05-07 2005-11-17 Fuji Photo Film Co Ltd 車載撮像システム、および撮像方法
JP2007150458A (ja) * 2005-11-24 2007-06-14 Canon Inc 画像処理装置、画像処理方法
JP2008104181A (ja) * 2006-10-17 2008-05-01 Harman Becker Automotive Systems Gmbh センサ支援ビデオ圧縮
JP2009212937A (ja) * 2008-03-05 2009-09-17 Nec Corp 無人移動体のデータ伝送装置および方法
JP2014192704A (ja) * 2013-03-27 2014-10-06 Mega Chips Corp 動画像符号化処理装置、プログラムおよび集積回路
WO2015079470A2 (en) * 2013-11-29 2015-06-04 Protodesign S.R.L. Video coding system for images and video from air or satellite platform assisted by sensors and by a geometric model of the scene

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10485495B2 (en) 2014-12-04 2019-11-26 Trophy Hand positioner for cephalometric extra oral dental imaging devices
CN109665099A (zh) * 2017-10-13 2019-04-23 阿尔派株式会社 架线摄影系统以及架线摄影方法
JP2019073096A (ja) * 2017-10-13 2019-05-16 アルパイン株式会社 架線撮影システム及び架線撮影方法
US11490005B2 (en) 2017-10-13 2022-11-01 Alpine Electronics, Inc. Overhead line image capturing system and overhead line image capturing method
CN109665099B (zh) * 2017-10-13 2024-02-23 阿尔派株式会社 无人航空器以及架线摄影方法

Also Published As

Publication number Publication date
US10708617B2 (en) 2020-07-07
US20170180754A1 (en) 2017-06-22
CN107852508A (zh) 2018-03-27
WO2017020184A1 (en) 2017-02-09
US20200329254A1 (en) 2020-10-15
EP3207708A4 (en) 2017-11-29
EP3207708B1 (en) 2021-10-13
EP3207708A1 (en) 2017-08-23

Similar Documents

Publication Publication Date Title
JP6391694B2 (ja) ビデオ符号化方法及びシステム
US20200329254A1 (en) Methods of modifying search areas
US20210065400A1 (en) Selective processing of sensor data
US11879737B2 (en) Systems and methods for auto-return
US10599149B2 (en) Salient feature based vehicle positioning
CN107850902B (zh) 可移动物体上的相机配置
CN108139799B (zh) 基于用户的兴趣区(roi)处理图像数据的系统和方法
CN109987226B (zh) Uav全景成像
CN108351574B (zh) 用于设置相机参数的系统、方法和装置
JP6080189B2 (ja) インラインセンサの較正方法及び較正装置
US11288824B2 (en) Processing images to obtain environmental information
CN109219785B (zh) 一种多传感器校准方法与系统
JP6275887B2 (ja) センサ較正方法及びセンサ較正装置

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170926

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20171205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180221

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20180305

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20180323