JP2020522002A - 移動ターゲットを認識、追跡、および合焦するための方法及びシステム - Google Patents

Abstract

移動ターゲットを認識、追跡、および合焦するためのシステムおよび方法が開示される。開示される実施形態によれば、システムおよび方法は、撮像デバイスに対して移動する移動ターゲットを認識すること、移動ターゲットを追跡すること、および撮像デバイスから移動ターゲットまでの距離を決定することができる。

Description

本特許文書の開示の一部は、著作権保護の対象となる資料が含まれている。著作権者は、特許商標庁の特許ファイルまたは記録に表示されているときに特許書類または特許開示を何人かが複製することに対しては異議を唱えないが、それ以外には全ての著作権を留保する。

本開示は、一般に撮像技術に関し、より詳細には、深層機械学習およびレーザレーダに基づくマルチターゲット追跡およびオートフォーカスのための方法およびシステムに関する。

無人航空機（「ＵＡＶ」）（時として「ドローン」と呼ばれる）などの可動物体は、ユーザが遠隔操作することができる、および／または自動飛行用にプログラムすることができる様々なサイズおよび構成のパイロット不要の航空機を含む。ＵＡＶは、人が捕捉するのは困難な、固定の観点および／または移動する観点からの場面を捕捉するために撮像デバイスを備えることがある。さらに、ＵＡＶは、特定の期間にわたって、またはある位置から別の位置への移動時間にわたって撮像データを収集するように装備されることがある。これらの状況では、ＵＡＶは、光学または感知機器を使用して収集された情報に関連付けて制御されて、人、車両、移動物体、静止物体などのターゲット物体（「ターゲット」）を認識、追従（「追跡」）、および合焦して、高品質の所望の画像を実現することができる。

本明細書で開示される実施形態における深層機械学習およびレーザレーダに基づくマルチターゲット追跡および合焦のための方法およびシステムは、従来のシステムの欠点を克服する。

一態様では、本開示は、移動ターゲットを認識、追跡、および合焦するための方法に関する。この方法は、撮像デバイスに対して移動する移動ターゲットを認識するステップと、移動ターゲットを追跡するステップと、撮像デバイスから移動ターゲットまでの距離を決定するステップとを含む。

別の態様では、本開示は、移動ターゲットを認識、追跡、および合焦するためのシステムに関する。このシステムは、１つまたは複数のプロセッサを有する制御装置を含む。この制御装置は、撮像デバイスに対して移動する移動ターゲットを認識すること、移動ターゲットを追跡すること、および撮像デバイスから移動ターゲットまでの距離を決定することを行うように構成することができる。

さらに別の態様において、本開示は、無人航空機（ＵＡＶ）システムに関する。ＵＡＶシステムは、複数のデバイスと通信する制御装置を含むことがある。この制御装置は、撮像デバイスに対して移動する移動ターゲットを認識すること、移動ターゲットを追跡すること、および撮像デバイスから移動ターゲットまでの距離を決定することを行うように構成することができる。

さらに別の態様では、本開示は、実行されるときに、移動ターゲットを認識、追跡、合焦する方法をコンピュータに実施させる命令を記憶する非一時的なコンピュータ可読媒体に関する。この方法は、撮像デバイスに対して移動する移動ターゲットを認識するステップと、移動ターゲットを追跡するステップと、撮像デバイスから移動ターゲットまでの距離を決定するステップとを含む。

本開示の実施形態による、支持機構および搭載物ならびに制御端末を有する例示的な可動物体の概略図である。 本開示による実施形態で使用され得る例示的な制御端末の概略図である。 本開示による実施形態で使用され得る例示的な制御端末の概略図である。 本開示の実施形態で使用されることがある例示的な制御装置の概略図である。 本開示の実施形態による、深層機械学習のニューラルネットワークによって複数のターゲットが認識される概略図である。 本開示の実施形態による、フレームレートを改良するための深層機械学習のニューラルネットワークによって複数のターゲットが認識される概略図である。 本開示の実施形態による例示的なターゲット追跡技法の概略図である。 本開示の実施形態による、ターゲットを使用して生成され得る例示的な像を示す概略図である。 本開示の実施形態による、ターゲットの移動後の図６Ａのターゲットの例示的な像を示す概略図である。 本開示の実施形態による、ターゲットに関して決定され得る例示的な方向を示す概略図である。 本開示の実施形態による、図７Ａのターゲットまでの距離の例示的な測定を示す概略図である。 本開示の実施形態による、移動ターゲットの認識、追跡、および合焦のために実施され得る例示的な方法の流れ図である。

以下の詳細な説明では添付図面を参照する。図面および以下の説明では、可能な限り、同一または同様の部分を表すために同一の参照番号が使用される。本明細書ではいくつかの例示的実施形態を述べるが、修正形態、適応形態、および他の実装形態も可能である。例えば、図面に示されている構成要素に置換、追加、または修正を施すことができる。本明細書で述べる例示的な方法は、開示する方法のステップに対して置換、並べ替え、除去、または追加を行うことによって修正することができる。したがって、以下の詳細な説明は、開示する実施形態および実施例に限定されない。そうではなく、適切な範囲は、添付の特許請求の範囲によって定義される。

移動物体／ターゲットを特定、追跡、および合焦するための従来の手法がある。例えば、カムシフトアルゴリズムは、赤外線撮像を使用してポートレイト認識および追跡を実現する。カムシフトアルゴリズムは、テンプレートマッチングに基づいてフォーカスウィンドウを選択し、移動物体を撮像するために赤外線を使用するときのオートフォーカスに関連する問題を解決することができる。カムシフトアルゴリズムは、単純な場合にはターゲットを追跡するのに適しているが、より複雑な状況では物体を追跡できない。隅、ライン、または縁など物体の自然な特徴部を検出することによって、物体の自動合焦（「オートフォーカス」）および追跡を実現することができる。さらに、Ｋａｎａｄｅ−Ｌｕｃａｓ−Ｔｏｍａｓｉアルゴリズムに基づく特徴点マッチングを使用して、カメラ運動ベクトルを推定することができ、空間位置不変基準を使用して、マッチング点をチェックし、エラーマッチングされた点を効果的に削除することができる。これらの従来の手法は、移動物体を効果的に追跡することができるが、複雑なシーンでは、追跡精度は高くなく、計算プロセスがより複雑になる。さらに、オートフォーカスプロセスでは、ターゲットの動きがフォーカスウィンドウ内のシーンを変えることがあり、それにより、フォーカスウィンドウ内で背景の一部が変化することがあり、合焦ができなかったり不安定になったりする。

開示する本開示の実施形態は、深層機械学習およびレーザレーダに基づくマルチターゲット追跡および合焦のための方法およびシステムを提供する。開示する方法およびシステムは、追跡および合焦技術用のデジタル画像処理に基づくことがあり、カメラやビデオ記録など様々なタイプの画像および撮像システムに適用されることがある。深層機械学習に基づくデジタル画像処理は、複数のターゲットを効果的に認識し、ターゲットを正確に追跡することができる。シーン全体ではなく、認識されたターゲットのみに関してレーザレーダによって得られる正確な距離測定値をさらに組み合わせることによって、デバイスに関連するコストを低減することができ、マルチターゲット追跡および合焦を実現することができる。したがって、低いターゲット認識率、追跡の不安定性、および合焦の不安定性または合焦の不良など、移動物体の追跡および合焦に関連する従来の問題を解決することができる。開示する実施形態で使用するとき、「ターゲット」は、追跡される物体であり、「移動ターゲット」は、追跡に使用される撮像システムに対して移動している追跡対象の物体であり、したがって、撮像システムとターゲット物体の少なくとも一方が他方に対して移動している。

一般に、レーザレーダ距離測定は、例えば光検出および測距（ＬｉＤＡＲ）技法を使用して、ターゲットにパルスレーザ光を照射し、センサを用いて反射パルスを測定することによって、そのターゲットまでの距離を測定するためのプロセスを表す。例えば、赤外線レーザデバイスは、物体に向けて細いビームとしてレーザパルスを送信することができ、パルスが物体で反射されてレーザパルスの送信元に戻されるまでにかかる時間が求められる。物体からレーザデバイスまでの距離は、パルスが送信された時とその反射パルスが受信された時との間の測定された経過時間と、光速とに基づいて計算することができる。開示する本開示の実施形態を、そのようなレーザレーダ距離測定を使用して述べるが、超音波距離測定など他の適切な距離測定技法を使用することもできる。

深層機械学習は、例えば画像特徴部抽出および／または変換を実施するように構成された線形および／または非線形処理デバイスまたはソフトウェアの相互接続された「層」を使用し得る機械学習アルゴリズムのクラスを表すことがあり、ここで、連続する層はそれぞれ、その入力として、前の層からの出力を使用する。深層機械学習は、教師あり（例えば分類）または教師なし（例えばパターン解析）でよく、より高次の特徴部をより低次の特徴部から導出して、データの階層表現（例えば画像の画素）を形成することができる。深層機械学習によって処理される観察データ（例えば画像や音声データなど）は、例えば画素毎の強度値のベクトル、エッジの集合、特定の形状の領域、サンプリングされた信号、スペクトル周波数など、多くの形で表現されていてよい。深層機械学習アーキテクチャは、深層ニューラルネットワーク、畳込み深層ニューラルネットワーク、ディープビリーフネットワーク（ｄｅｅｐ ｂｅｌｉｅｆ ｎｅｔｗｏｒｋ）、再帰型ニューラルネットワークなどを含むことがある。

ニューラルネットワークは、個々のニューラルユニット（すなわちニューロン）の集合に基づく計算モデルまたはシステムである。ニューラルユニットの集合は、ニューラルユニットの異なる層、例えば、入力層、１つまたは複数の隠れ層、および出力層として編成することができる。各ニューラルユニットは、異なる層の多くの他のニューラルユニットと接続されて、活性化関数（例えば総和関数）を使用して計算されることがある。観察データ（例えば画像データまたはパターン）は、入力層を介してニューラルネットワークに提示されることがあり、入力層は、その観察データに対応する情報を１つまたは複数の隠れ層に通信し、隠れ層で、活性化関数と重み付き接続のモデルとを使用して実際の処理を行うことができる。隠れ層は、出力層にリンクすることがあり、出力層は、観察データの処理から決定された出力を提供することができる。いくつかの実施形態では、ニューラルネットワークは、自己学習型であって、例を用いて訓練されることもある。例えば、ニューラルネットワークに学習規則を適用して、入力された観察データに従って接続の１つまたは複数の重み付け（例えばスカラパラメータ）を修正することができる。

開示する実施形態では、適切なニューラルネットワークが選択され、ネットワーク内の対応する層の特性が理解される。ニューラルネットワークは、例えば、様々な環境で収集された多数のサンプルを使用して訓練されることが好ましい。訓練から得られた重み付けは、ニューラルネットワークに入力された画像データ内のターゲットを認識するために使用されることがある。さらに、様々な環境での物体の画像と、ネットワークの訓練から決定された重み付けパラメータとを使用してニューラルネットワークを試験することによって、追跡アルゴリズムを使用して画像データ内の１つまたは複数のターゲット物体を追跡することができる。いくつかの実施形態では、レーザレーダによる１つまたは複数の距離測定を使用して、撮像デバイスから、ユーザが関心を持つ特定のターゲット物体のみまでの距離を測定することができる。撮像デバイスによる所望のターゲット物体への自動合焦は、測定された距離に基づいて撮像デバイスの焦点距離を自動的に調整することによって実現することができる。

所望のターゲット物体を含む固定フォーカスウィンドウを選択するなど、対象のターゲット物体のみに合焦することによって、ターゲット物体の追跡および合焦に関連する時間および計算コストを大幅に低減することができ、背景情報による干渉を大幅に減少させることができ、リアルタイムでのターゲット追跡を可能にし、柔軟にかつ選択的に、１つまたは複数の所望のターゲット物体のみに対して合焦することを可能にする。

以下の例示的実施形態はＵＡＶなど可動物体の文脈で述べるが、他の実装形態も可能であり、ＵＡＶを使用せずに代替の実施形態を採用することもできることを当業者は理解されよう。例えば、本明細書で開示するシステムおよび方法は、例えば移動物体もしくは静止物体に対して様々な撮像システムを使用して実施することができ、または開示する実施形態に従うより大きなシステムの一部として実施することもできる。

図１に、環境内を移動または走行するように構成され得る例示的な可動物体１０を示す。可動物体１０は、適切な媒体（例えば、表面、空気、水、レール、宇宙空間、地下など）の上または中を走行するように構成された任意の適切な物体、デバイス、メカニズム、システム、または機械でよい。例えば、可動物体１０はＵＡＶでよい。本明細書における例示の目的で、本明細書では可動物体１０をＵＡＶとして図示して述べるが、本開示によるいくつかの実施形態では、追加または代替として、他のタイプの可動物体（例えば、ホイール付きの物体、海上物体、移動物体、他の空中物体など）が使用されてもよい。本明細書で使用するとき、ＵＡＶという用語は、（例えば電子制御システムを介して）自動的に、および／またはオフボード人員によって手動で操作および／または制御されるように構成された空中デバイスを表すことがある。

可動物体１０は、１つまたは複数の推進デバイス１２を含むことがあり、搭載物１４を搬送するように構成されてもよい。いくつかの実施形態では、図１に示されるように、搭載物１４は、支持機構１６によって可動物体１０に接続される、または取り付けられることがある。支持機構１６は、搭載物１４と可動物体１０との間での１つまたは複数の相対移動度を実現することがある。他の実施形態では、搭載物１４は、支持機構１６なしで可動物体１０に直接取り付けられてもよい。また、可動物体１０は、他の構成要素と通信する検知システム１８、通信システム２０、および制御装置２２を含むこともある。

可動物体１０は、可動物体１０を推進および操舵するために様々な位置（例えば可動物体１０の上、横、前、後ろ、および／または下）に位置決めされた１つまたは複数（例えば、１、２、３、３、４、５、１０、１５、２０個）の推進デバイス１２を含み得る。推進デバイス１２は、制御された飛行を持続するための力を生成するように動作可能なデバイスまたはシステムでよい。推進デバイス１２は、動力源を共有することがあり、または動力源をそれぞれ個別に含むことがあり、または動力源に動作可能に接続されることがある。動力源は、例えばモータ（例えば電気モータ、油圧モータ、空気圧モータなど）、エンジン（例えば内燃機関、タービンエンジンなど）、バッテリバンクなど、またはそれらの組合せである。また、各推進デバイス１２は、１つまたは複数の回転構成要素２４を含むこともあり、回転構成要素２４は、動力源に駆動可能に接続され、制御された飛行を持続するための力の発生に関与するように構成される。例えば、回転構成要素２４は、ロータ、プロペラ、ブレード、ノズルなどを含むことがあり、これらは、動力源から動力を伝達するように構成されたシャフト、軸、ホイール、油圧システム、空気圧システム、もしくは他の構成要素もしくはシステムにおいて、またはそれらによって駆動されることがある。推進デバイス１２および／または回転構成要素２４は、互いに対しておよび／または可動物体１０に対して調整可能（例えば傾斜可能）でよい。代替として、推進デバイス１２および回転構成要素２４は、互いに対しておよび／または可動物体１０に対して固定された向きを有することがある。いくつかの実施形態では、各推進デバイス１２は同じタイプでよい。他の実施形態では、推進デバイス１２は複数の異なるタイプでよい。いくつかの実施形態では、全ての推進デバイス１２が一斉に（例えば、全て同じ速度および／または角度で）制御されることがある。他の実施形態では、１つまたは複数の推進デバイスが、例えば速度および／または角度に関して独立して制御されることもある。

推進デバイス１２は、可動物体１０を１つまたは複数の垂直方向および水平方向に推進するように、ならびに可動物体１０を１つまたは複数の軸の周りで回転させるように構成されてもよい。すなわち、推進デバイス１２は、可動物体１０の並進運動および回転運動を生成して維持するための揚力および／または推力を提供するように構成されてもよい。例えば、推進デバイス１２は、可動物体１０が所望の高度を実現して維持できるようにし、全方向への移動のための推力を提供し、可動物体１０の操舵を可能にするように構成されてもよい。いくつかの実施形態では、推進デバイス１２は、可動物体１０が垂直離陸および着陸（すなわち、水平推力なしの離陸および着陸）を行うことを可能にすることがある。他の実施形態では、可動物体１０は、飛行を実現して持続するために、一定の最小水平推力を必要とすることがある。推進デバイス１２は、複数の軸に沿ったおよび／または複数の軸の周りでの可動物体１０の動きを可能にするように構成されてもよい。

搭載物１４は、１つまたは複数の感知デバイス１９を含み得る。感知デバイス１９は、ターゲット（例えば物体、風景、写真またはビデオ撮影の被写体など）の画像またはビデオの調査、追跡、および捕捉など、データまたは情報を収集または生成するためのデバイスを含み得る。感知デバイス１９は、画像を生成するために使用することができるデータを収集するように構成された撮像デバイスを含み得る。例えば、撮像デバイスは、写真カメラ、ビデオカメラ、赤外線撮像デバイス、紫外線撮像デバイス、Ｘ線デバイス、超音波撮像デバイス、レーダデバイスなどを含み得る。追加または代替として、感知デバイス１９は、マイクロフォンまたは超音波検出器など、音声データを捕捉するためのデバイスを含むこともある。追加または代替として、感知デバイス１９は、視覚信号、音声信号、および／または電磁信号を捕捉するための他の適切なセンサを含むこともある。撮像デバイスは、望ましい画像品質でターゲットを撮像するために焦点距離を調整することによって、ターゲットへのオートフォーカスを実施することが可能であり得る。感知デバイス１９は、撮像デバイスからターゲットまでの距離を測定する１つまたは複数の距離測定デバイスを含むことがある。距離測定デバイスは、レーザレーダデバイス、超音波デバイス、および／またはそれらの組合せを実装することがある。

支持機構１６は、搭載物１４を保持するように、および／または可動物体１０に対して搭載物１４を調整（例えば回転）できるように構成された１つまたは複数のデバイスを含み得る。例えば、支持機構１６はジンバルでよい。支持機構１６は、以下に述べるように、搭載物１４を１つまたは複数の軸の周りで回転させるように構成されてもよい。いくつかの実施形態では、支持機構１６は、搭載物１４の観点をより大きく制御できるようにするために、各軸の周りで３６０°の回転を可能にするように構成されてもよい。他の実施形態では、支持機構１６は、搭載物１４の回転範囲を、搭載物１４の軸の１つまたは複数の周りで３６０°未満（例えば、≦２７０°、≦２１０°、≦１８０°、≦１２０°、≦９０°、≦４５°、≦３０°、≦１５°など）に制限することがある。

支持機構１６は、フレームアセンブリ２６と、１つまたは複数のアクチュエータ部材２８と、１つまたは複数の支持機構センサ３０とを含み得る。フレームアセンブリ２６は、搭載物１４を可動物体１０に結合し、いくつかの実施形態では、可動物体１０に対して搭載物１４が動くことを可能にするように構成されてもよい。いくつかの実施形態では、フレームアセンブリ２６は、互いに対して可動な１つまたは複数のサブフレームまたは構成要素を含み得る。作動部材２８は、可動物体１０に対する搭載物１４の並進運動および／または回転運動を可能にするために、フレームアセンブリの構成要素を互いに対して駆動させるように構成されてもよい。他の実施形態では、アクチュエータ部材２８は、搭載物１４に直接作用して、フレームアセンブリ２６および可動物体１０に対する搭載物１４の運動を生じさせるように構成されてもよい。アクチュエータ部材２８は、適切なアクチュエータおよび／または力伝達構成要素でよく、またはそれらを含んでいてもよい。例えば、アクチュエータ部材２８は、電気モータを含むことがあり、電気モータは、軸、シャフト、レール、ベルト、チェーン、ギア、および／または他の構成要素と協働して、フレームアセンブリ２６および／または搭載物１４の構成要素に直線運動または回転運動を行わせるように構成される。

支持機構センサ３０は、支持機構１６および／または搭載物１４の状態情報を測定、検知、検出、または決定するように構成されたデバイスを含み得る。状態情報は、位置情報（例えば相対位置、向き、姿勢、直線変位、角度変位など）、速度情報（例えば直線速度、角速度など）、加速度情報（例えば直線加速度、角加速度など）、および／または可動物体１０に対する支持機構１６または搭載物１４の動き制御に関する他の情報を含み得る。支持機構センサ３０は、ポテンショメータ、光センサ、ビジョンセンサ、磁気センサ、運動または回転センサ（例えばジャイロスコープ、加速度計、慣性センサなど）など、１つまたは複数のタイプの適切なセンサを含み得る。支持機構センサ３０は、フレームアセンブリ２６の構成要素もしくはアクチュエータ部材２８など支持機構１６の様々な構成要素、もしくは可動物体１０に関連付けられるか、またはそれらに取り付けられることがある。支持機構センサ３０は、有線または無線接続（例えばＲＦＩＤ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、ラジオ、携帯電話など）を介してデータおよび情報を制御装置２２と通信するように構成されてもよい。支持機構センサ３０によって生成され、制御装置２２に通信されるデータおよび情報は、可動物体１０および／またはターゲットの状態情報の決定など、さらなる処理のために制御装置２２によって使用されることがある。

支持機構１６は、１つまたは複数の減衰要素を介して可動物体１０に結合されることがあり、減衰要素は、可動物体１０から搭載物１４への望ましくない衝撃または他の力伝達を低減または除去するように構成される。減衰要素は、能動的、受動的、またはハイブリッド（すなわち能動的な特性と受動的な特性とを備える）でよい。減衰要素は、固体、液体、および気体を含む任意の適切な材料または材料の組合せから形成されることがある。ゴム、ばね、ゲル、発泡材、および／または他の材料など圧縮可能または変形可能な材料が、減衰要素として使用されることがある。減衰要素は、搭載物１４を可動物体１０から隔離する、および／または可動物体１０から搭載物１４への力の伝播を消散させる働きをすることがある。また、減衰要素は、ピストン、ばね、油圧デバイス、空気圧デバイス、ダッシュポット、ショックアブソーバ、および／または他のデバイス、またはそれらの組合せなど、減衰効果を提供するように構成されたメカニズムまたはデバイスを含むこともある。

検知システム１８は、可動デバイス１０の１つまたは複数の構成要素または他のシステムに関連する１つまたは複数のセンサを含み得る。例えば、検知システムは、可動物体１０および／またはターゲットに関する位置情報、速度情報、および加速度情報を決定するためのセンサを含み得る。いくつかの実施形態では、検知システムは、支持機構センサ３０を含むこともある。検知システム１８の構成要素は、可動物体１０、その構成要素、またはそのターゲットに関する追加情報を決定するために使用される（例えば制御装置２２または別のデバイスによって処理される）ことがあるデータおよび情報を生成するように構成されてもよい。検知システム１８は、可動物体１０の動きの１つまたは複数の態様を検知するための１つまたは複数のセンサを含み得る。例えば、検知システム１８は、上で論じた搭載物１４に関連する感知デバイス、および／または追加の感知デバイス、例えば、測位システム（例えばＧＰＳ、ＧＬＯＮＡＳＳ、Ｇａｌｉｌｅｏ、Ｂｅｉｄｏｕ、ＧＡＧＡＮなど）用の測位センサ、運動センサ、慣性センサ（例えばＩＭＵセンサ）、近接センサ、イメージセンサなどを含み得る。検知システム１８はまた、天候情報（例えば温度、気圧、湿度など）、照明条件（例えば光源周波数）、空気成分、もしくは近くの障害物（例えば物体、構造物、人物、他の車両など）など、周囲環境に関係するデータもしくは情報を提供するためにセンサを含むこともあり、またはそのようなデータもしくは情報を提供するように構成されることもある。

検知システム１８は、可動物体からターゲット物体までの距離を決定するためにＬｉＤＡＲ測定を行うなど、レーザレーダ距離測定を実施するための１つまたは複数の発光素子およびセンサを含むことがある。いくつかの実施形態では、ＬｉＤＡＲレーザおよび対応するセンサは、可動物体１０の任意の場所に取り付けられることがあり、または、別個のモジュールとして（例えば支持機構１６を用いて）可動物体に取り付けられる、もしくは可動物体にある任意の他のデバイスもしくはセンサに含まれることがある。

通信システム２０は、制御装置２２とオフボードエンティティとの間でデータ、情報、コマンド、および／または他のタイプの信号の通信を可能にするように構成されてもよい。通信システム２０は、１方向または２方向通信を行うように構成された受信機、送信機、または送受信機など、信号を送信および／または受信するように構成された１つまたは複数の構成要素を含み得る。通信システム２０の構成要素は、データ、情報、もしくはコマンドを示す信号、および／または他の信号を送信するのに有用な１つまたは複数の通信ネットワーク（ラジオ、携帯電話、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、ＲＦＩＤ、および／または他のタイプの通信ネットワークなど）を介してオフボードエンティティと通信するように構成されてもよい。例えば、通信システム２０は、飛行中に可動物体１０を制御するための入力を提供するためのデバイス、例えば制御端末（「端末」）３２との通信を可能にするように構成されてもよい。

端末３２は、ユーザからの入力（すなわちユーザ入力）などの入力を受信し、入力を示す信号を制御装置２２に通信するように構成されてもよい。端末３２は、入力を受信して、１つまたは複数のタイプの情報を示す対応する信号を生成するように構成されることがあり、そのような情報は、例えば、（例えば推進デバイス１２を介して）可動デバイス１０、搭載物１４、および／または支持機構１６を動かすまたは操縦するための制御データ（例えば信号）などである。また、端末３２は、動作データ、例えば位置データ、速度データ、加速度データ、感知データ、ならびに可動物体１０、その構成要素、および／またはその周囲環境に関係する他のデータおよび情報など、可動物体１０からのデータおよび情報を受信するように構成されることもある。端末３２は、飛行パラメータを制御するように構成された物理的スティックを備えたリモートコントローラでよく、または同じ目的のための仮想制御機能を備えたタッチスクリーンデバイス（例えばスマートフォンもしくはタブレット）でよく、ならびにスマートフォンもしくはタブレット上のアプリケーション、またはそれらの組合せに用いられてもよい。

いくつかの実施形態では、端末３２はスマートアイグラスでよい。本明細書で使用するとき、スマートアイグラスは、着用者が見る画像またはシーンに追加情報を提供することができる任意のウェアラブルコンピュータグラスまたは他のウェアラブルアイテムを含むことがある。スマートアイグラスは、透明ヘッドアップディスプレイ（ＨＵＤ）または拡張現実（ＡＲ）オーバレイ機能を有する光学ヘッドマウントディスプレイ（ＯＨＭＤ）または組込みワイヤレスグラスを含むことがあり、そのようなディスプレイは、投影されたデジタル画像を反射する機能を有し、また、ユーザがディスプレイを通して見る、またはディスプレイを用いてより良く見ることができるようにする機能を有する。スマートアイグラスは、例えば、セルラ技術またはＷｉ−Ｆｉを介して可動物体１０から受信された画像、ビデオ、および他のデータまたは情報のためのフロントエンドディスプレイとして機能することがある。いくつかの実施形態では、スマートアイグラスは、自然言語音声コマンドおよび／またはスマートアイグラスのタッチボタンの使用によって可動物体１０を制御することもできる。

図２Ａおよび２Ｂに示される例では、端末３２は、端末３２と可動物体１０または別の端末３２など他のエンティティとの間での情報の通信を容易にする通信デバイス３４を含み得る。通信デバイス３４は、信号を送信または受信するように構成されたアンテナまたは他のデバイスを含み得る。また、端末３２は、可動物体１０に通信するためにユーザからの入力を受信するように構成された１つまたは複数の入力デバイス３６を含むこともある。図２Ａは、可動物体１０またはその構成要素の所望の動きを示すユーザ入力を受信するように構成された複数の入力デバイス３８、４０、４２、および４４を備える入力デバイス３６を有する端末３２の一例示的実施形態を示す。しかし、端末の他の可能な実施形態またはレイアウトも可能であり得て、本開示の範囲内にあることを理解されたい。

端末３２は、入力デバイスを含むことがあり、入力デバイスは、例えば、入力レバー３８および４０、ボタン４２、トリガ４４、および／またはユーザから１つもしくは複数の入力を受信するための他のタイプの入力デバイスである。端末３２の各入力デバイスは、制御装置２２に通信可能であり、処理のための入力として制御装置２２によって使用可能な入力信号を生成するように構成されてもよい。飛行制御入力に加えて、端末３２は、手動制御設定、自動制御設定、制御支援設定など他の情報のユーザ入力を受信するために使用されることもあり、これらのユーザ入力は、例えばボタン４２および／またはトリガ４４を介して受信されることがある。端末３２は、ボタン、スイッチ、ダイヤル、レバー、トリガ、タッチパッド、タッチスクリーン、ソフトキー、マウス、キーボード、音声認識デバイス、および／または他のタイプの入力デバイスなど、他のまたは追加の入力デバイスを含むことがあることを理解されたい。

図２Ｂに示されるように、端末３２はまた、ユーザへのおよび／またはユーザからの情報を表示および／または受信するように構成されたディスプレイデバイス４６を含むこともある。例えば、端末３２は、可動物体１０から信号を受信するように構成されることがあり、この信号は、可動物体１０の動きに関する情報もしくはデータ、および／または（例えば搭載物１４と共に）可動物体１０を使用して捕捉されたデータ（例えば撮像データ）を示すことがある。いくつかの実施形態では、ディスプレイデバイス４６は、多機能画面４８上に情報を表示し、多機能画面４８を介してユーザ入力を受信するように構成された多機能ディスプレイデバイスでよい。例えば、一実施形態では、ディスプレイデバイス４６は、多機能画面４８を介して１つまたは複数のユーザ入力を受信するように構成されてもよい。別の実施形態では、多機能画面４８は、ユーザ入力を受信するための唯一の入力デバイスであり得る。

いくつかの実施形態では、端末３２は、１つまたは複数のユーザ入力を受信するための対話式グラフィカルインタフェースでよく、またはそれを含んでいてもよい。すなわち、端末３２は、グラフィカルユーザインタフェース（ＧＵＩ）でよく、および／またはユーザ入力を受信するための入力デバイス３６の１つまたは複数のグラフィカルバージョンを含んでいてもよい。端末３２および／または入力デバイス３６のグラフィカルバージョンは、ディスプレイデバイス（例えばディスプレイデバイス４６）または多機能画面（例えば多機能画面４８）に表示可能であり、対話式グラフィカルフィーチャ（例えばグラフィカルボタン、テキストボックス、ドロップダウンメニュー、対話式画像など）のグラフィカルフィーチャを含む。例えば、一実施形態では、端末３２は、入力レバー３８および４０、ボタン４２、ならびにトリガ４４のグラフィカル表現を含むことがあり、これらのグラフィカル表現は、多機能画面４８に表示され、多機能画面４８を介してユーザ入力を受信するように構成されてもよい。いくつかの実施形態では、端末３２は、入力デバイス３６のグラフィカルバージョンなど、グラフィカル入力デバイスを介して全てのユーザ入力を受信するように構成されてもよい。端末３２は、任意の適切な電子デバイス（例えば携帯電話やタブレットなど）のディスプレイデバイスまたは多機能画面に対話式インターフェースを提供するために、コンピュータアプリケーション（例えば「アプリ」）と協働して入力デバイス３６のグラフィカルバージョンを生成するように構成されてもよい。

いくつかの実施形態では、ディスプレイデバイス４６は、端末３２の一体構成要素でよい。すなわち、ディスプレイデバイス４６は、端末３２に取り付けられる、または固定されることがある。他の実施形態では、ディスプレイデバイスは、端末３２に接続可能（および端末３２から切断可能）でよい。すなわち、端末３２は、（例えば接続ポートまたは無線通信リンクを介して）ディスプレイデバイス４６に電子的に接続可能であり、および／または他の方法で、取付デバイス５０によって、例えばクランプ留め、クリップ留め、掛け留め、フック留め、接着、または他のタイプの取付デバイスによって端末３２に接続可能である。

いくつかの実施形態では、端末３２は、可動物体１０の動きおよび／または他の動作態様を制御するように構成可能な電子デバイスと通信するように構成されてもよい。例えば、ディスプレイデバイス４６は、携帯電話、タブレット、パーソナルデジタルアシスタント、ラップトップコンピュータ、または他のデバイスなど、電子デバイスのディスプレイ構成要素でよい。このようにすると、ユーザは、他の電子デバイスの機能を可動物体１０の制御の態様に組み込むことができることがあり、これは、より柔軟で適応性のある制御方式を使用できるようにする。例えば、端末３２は、メモリおよび少なくとも１つのプロセッサを有する電子デバイスと通信するように構成されることがあり、このとき、これらの制御デバイスを使用して、電子デバイスに関連する入力デバイス（例えば多機能ディスプレイ、ボタン、記憶されたアプリ、ウェブベースのアプリケーションなど）を介してユーザ入力を提供することができる。また、端末３２と電子デバイスとの間の通信は、ソフトウェア更新パッケージおよび／または他の情報を受信し、次いで（例えば通信システム２０を介して）制御装置２２に通信できるように構成されることもある。

望みであれば、端末３２を介して受信された入力を可動デバイス１０の所望のまたは実際の動きに関係付ける他の制御規則が使用されることもあることに留意されたい。

図３に示されるように、制御装置２２は、１つまたは複数の構成要素、例えばメモリ５２および少なくとも１つのプロセッサ５４を含み得る。メモリ５２は、非一時的なコンピュータ可読媒体でよく、またはそれを含んでいてよく、さらに、非一時的なコンピュータ可読媒体の１つまたは複数のメモリユニットを含むことができる。メモリ５２の非一時的なコンピュータ可読媒体は、フロッピーディスク、光ディスク、ＤＶＤ、ＣＤ−ＲＯＭ、マイクロドライブ、および光磁気ディスク、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＤＲＡＭ、ＶＲＡＭ、フラッシュメモリデバイス、磁気または光カード、ナノシステム（分子メモリＩＣを含む）、または命令および／またはデータを記憶するのに適した任意のタイプの媒体もしくはデバイスを含めた任意のタイプの揮発性または不揮発性メモリデバイスでよく、またはそれを含んでいてよい。メモリユニットは、非一時的なコンピュータ可読媒体の永久的部分および／またはリムーバブル部分（例えば、ＳＤカードやＲＡＭなどのリムーバブルメディアまたは外部ストレージ）を含み得る。

検知システム１８からの情報およびデータは、メモリ５２の非一時的なコンピュータ可読媒体に通信されて記憶されることがある。また、メモリ５２に関連付けられたコンピュータ可読媒体は、本明細書で述べる方法の任意の適切な実施形態を実施するためにプロセッサ５４によって実行可能な論理、コード、および／またはプログラム命令を記憶するように構成されることもある。例えば、メモリ５２に関連付けられたコンピュータ可読媒体は、プロセッサ５４によって実行されるときに、１つまたは複数のステップを含む方法をプロセッサに実施させるコンピュータ可読命令を記憶するように構成されてもよい。非一時的なコンピュータ可読媒体に記憶されている命令に基づいてプロセッサによって実施される方法は、メモリ５２の非一時的なコンピュータ可読媒体に記憶されているデータまたは情報の入力、端末３２から受信された入力、検知システム１８から受信された入力（例えば、検知システムから直接受信されるか、またはメモリから検索される）、および／または通信システム２０を介して受信された他の入力などの入力を処理することを含み得る。非一時的なコンピュータ可読媒体は、処理ユニットによって処理すべき検知モジュールからの検知データを記憶するように構成されてもよい。いくつかの実施形態では、非一時的なコンピュータ可読媒体を使用して、処理ユニットによって生成された処理結果を記憶することができる。

図１での感知デバイス１９は、図３の例示的実施形態での撮像システム１９によって具現化されることがある。開示するこの実施形態では、撮像システム１９は、画像を生成するために使用することができるデータを収集して、ターゲット（例えば、物体、風景、写真またはビデオ撮影の被写体など）の画像またはビデオを調査、追跡、および捕捉するように構成された撮像デバイスを含むことがある。例えば、撮像デバイスは、写真カメラ、ビデオカメラ、赤外線撮像デバイス、紫外線撮像デバイス、Ｘ線デバイス、超音波撮像デバイス、レーダデバイスなどを含むことがある。この例示的実施形態では、撮像デバイスは、ターゲットを識別および追跡するためにターゲットの光学データを生成するように構成されることがある。例えば、撮像デバイスは、カメラまたはビデオカメラなどの光学デバイスでよい。撮像デバイスは、ターゲットの１つまたは複数の特徴部を示す撮像データを生成するように構成されることがある。撮像システム１９は、有線または無線接続（例えば、ＲＦＩＤ、Ｂｌｕｅｔｏｏｔｈ、Ｗｉ−Ｆｉ、ラジオ、セルラなど）を介して制御装置２２とデータ（例えば画像フレーム）および情報を通信するようにさらに構成されることがある。撮像システム１９によって生成され、制御装置２２に通信されるデータおよび情報は、さらなる処理のために制御装置２２が使用することができる。

プロセッサ５４は、１つまたは複数のプロセッサを含むことがあり、プログラム可能なプロセッサ、例えば中央処理装置（ＣＰＵ）を具現化することがある。プロセッサ５４は、メモリ５２または別のメモリデバイスに動作可能に結合されることがあり、このメモリは、１つまたは複数の方法ステップを実施するためにプロセッサ５４によって実行可能なプログラムまたは命令を記憶するように構成される。本明細書で述べる方法ステップは、メモリ５２に記憶され、プロセッサ５４によって実施されるように構成されることがあり、プロセッサ５４によって方法ステップが実施されることに留意されたい。

いくつかの実施形態では、プロセッサ５４は、ターゲット認識モジュール５６、ターゲット追跡モジュール５８、ターゲット距離モジュール６０、およびターゲット合焦モジュール６２など、１つまたは複数の制御モジュールを含むことがあり、および／または代替としてそれらの制御モジュールに動作可能に結合されることがある。ターゲット認識モジュール５６、ターゲット追跡モジュール５８、ターゲット距離モジュール６０、およびターゲット合焦モジュール６２は、プロセッサ５４で実行するためのソフトウェアとして実装されても、プロセッサ５４（図示せず）とは別のハードウェアおよび／またはソフトウェアコンポーネントとして実装されてもよい。

ターゲット認識モジュール５６は、撮像システム１９によって捕捉された画像またはビデオに現れる１つまたは複数のターゲットを認識するように構成されることがある。ターゲット認識モジュールは、限定はしないが深層機械学習を含む任意の適切な技法によって実装されることがある。例えば、深層機械学習の例では、入力として完全な画像またはビデオフレームがニューラルネットワークによって受信され、ニューラルネットワークは、完全な画像またはビデオフレームを様々な領域に分割することができる。ニューラルネットワークはさらに、各領域のバウンディングボックスと、領域内にターゲットが現れる確率とを予測することができる。本明細書で使用される深層機械学習アルゴリズムは、任意の適切な深層機械学習アルゴリズムでよく、そのような深層機械学習アルゴリズムは、市販の深層機械学習ソフトウェアパッケージ、例えばＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）リアルタイムターゲット検出システムを含むことがある。

例えば、ＹＯＬＯ（バージョン２）のニューラルネットワークは３２層を含み、ここで、２２層が畳込み層であり、これらの層は、ターゲットを効率的に識別し、ターゲット物体を含むターゲット領域を検出することができる。このニューラルネットワークを使用して、開示する実施形態に従ってターゲットを正確に追跡することができる。

いくつかの実施形態では、深層機械学習のニューラルネットワークのオフライン訓練を行うことができる。例えば、様々な訓練サンプルを用意して、それらにラベルを付けることができる。訓練サンプルは、様々な環境、状況、シーンで捕捉された多数のサンプルを含むことがある。ラベルを付けられた訓練サンプルは、多数の物体特徴部を学習するためにオフライン訓練用にニューラルネットワークに入力することができ、それにより、多数のターゲットをＵＡＶによってリアルタイムで正確に認識することができる。訓練後の重み付けを試験することができる。複数回反復した後、入力された訓練サンプルに基づいて、有効な重み付けパラメータセットを得ることができる。図４Ａは、ニューラルネットワークを使用して画像内の複数の物体（例えば犬、車、自転車）およびそれらの対応する領域（バウンディングボックス）が識別され得る概略図を示す。次いで、これらの識別された物体の１つまたは複数を、追跡対象のターゲット物体として指定することができる。

いくつかの実施形態では、画像フレームレート処理を改良するために異なるニューラルネットワークを使用することができる。例えば、Ｔｉｎｙ ＹＯＬＯニューラルネットワークを利用することができ、これは、８層の畳込み層を含めた１７層を含む。図４Ｂは、画像フレームレート処理を改良するように構成されたニューラルネットワークを使用して、画像内の複数のターゲット物体（例えば、牛、人、羊）およびそれらの対応する領域（バウンディングボックス）が識別され得る概略図を示す。

ターゲット追跡モジュール５８は、ターゲット認識モジュール５６によって既に正確に認識されている１つまたは複数のターゲットを追跡するように構成することができる。１つまたは複数のターゲットが認識されると、ターゲット追跡モジュール５８は、ターゲット追跡アルゴリズムを使用してターゲットを追跡することができる。そのような追跡アルゴリズムは、可動物体１０の推進デバイス１２の制御を助け、６自由度（例えば、可動物体１０の座標軸に沿った３つの並進方向および可動物体１０の座標軸の周りでの３つの回転方向）に関する可動物体１０の空間的配置、速度、および／または加速度を調整して、可動物体１０が所望のターゲット物体を自動的に追跡できるようにする。

図５を参照すると、ターゲット追跡は、可動物体１０に接続されたカメラ６４などの感知デバイス（すなわち、図１での感知デバイス１９および図３での撮像システム１９）と共に実施することができる。カメラ６４は、画像座標系６７の像面６６で、ターゲット物体（例えば、図４Ａでの犬または図４Ｂでの羊）を含む画像を捕捉するように構成されることがある。ターゲット物体のターゲット画像６５が像面６６内に形成されることがあり、ターゲット画像６５の周囲にバウンディングボックス６８が生成されることがある。

ターゲット画像６５は、開口撮像モデルに基づいて表されることがあり、このモデルは、３次元空間内の物体点からの光線を２次元像面上に投影して画像点を形成することができると仮定する。カメラ６４は、例えばカメラの中心７０から測定される光軸６９と、焦点距離７２とを含むことがある。光軸６９がカメラ中心７０と像面６６の中心との両方を通過するとき、カメラ中心７０と像面６６の中心との間の距離は、カメラの焦点距離７２と等しい、または実質的に同じ距離になり得る。

次いで、カメラ中心７０とターゲット８０との間の地面上での投影相対距離７４（例えば、カメラ６４からターゲット物体までの距離）を、幾何学的関係および座標変換に基づいて決定することができる。例えば、ターゲット８０は、ワールド座標系における上側ターゲットポイント（ｘ_ｔ，ｙ_ｔ，ｚ_ｔ）および下側ターゲットポイント（ｘ_ｂ，ｙ_ｂ，ｚ_ｂ）を有することがあり、これらは、それぞれ上側画像点（ｕ_ｔ，ｖ_ｔ）および下側画像点（ｕ_ｂ，ｖ_ｂ）として像面６６上に投影することができる。上側の線は、ワールド座標系のＺ軸に対して第１の傾斜角７６でカメラ中心７０および上側画像点を通過する。また、下側の線は、Ｚ軸からの第２の傾斜角７８でカメラ中心７０および下側画像点を通過する。

カメラ６４からターゲット画像６５の上側および下側までの上側および下側の線を表す方向ベクトル

は、以下のように表すことができる。

ここで、Ｋはカメラの固有の行列を表し、Ｒはカメラの回転を表す。

次いで、カメラの高さｈ_ｃと画像座標系６７でのバウンディングボックス６８の位置とに基づいて、ターゲットまでの距離７４を決定することができる。例えば、ターゲット物体８０までの距離７４は、ｄ＝−ｈ_ｃ／ｚ_ｂ＊Ｐ_ｂとして計算することができ、ターゲット高さは、ｈ_ｏ＝ｈ_ｃ＋ｚ_ｔｄ／Ｐ_ｔとして計算することができ、ここで、ｈ_ｃは、測定されたまたは実効のカメラ高さであり、Ｐ_ｂは、地面での

の投影長さであり、Ｐ_ｔは、地面での

の投影長さである。これらは以下のように定義される。

その後、システムは、ターゲット高度が変化する（例えば、ターゲットが荒い地形、傾斜、階段を通って進む、物体に登る、様々な高度で浮遊または飛行する）ときでさえ、ターゲットまでの（例えばＸ軸に沿った）直線距離７４を推定することができる。ターゲット物体８０と可動物体１０との間の地面での投影相対距離７４は、ｈ_ｃ／ｄｈとして計算することができ、ここで、ｄｈは、カメラから単位距離にあるターゲットの推定高さを表し、以下の式を使用して計算することができる。

いくつかの実施形態によれば、ターゲット追跡を可能にするために、制御装置２２は、飛行中に所望の値またはデフォルト値で一定の距離７４を維持するために、ターゲット追跡モジュール６０によって推進デバイス１２を自動的に制御するように構成することができる。例えば、ターゲット追跡モジュール６０は、距離７４を連続的または定期的に計算し、フィードバック制御（例えばＰＩＤ制御）を使用して、距離７４を所望の値（例えば端末３２を介してユーザによって入力される）またはデフォルト値で保つように構成することができる。ターゲット追跡中に可動物体が荒れた地形、斜面、その他の物体を横切るときなど、可動物体１０の高さが変化するときでさえ、ターゲット追跡を行うことができる。

いくつかの実施形態では、撮像システム１９が１つまたは複数の画像を捕捉するプロセス中であっても、追跡を行うことができる。１つまたは複数の画像は、画像内の第１のターゲットに焦点を有することがあり、その一方で、いくつかの他のターゲットについて追跡を行うことができる。例えば、各ターゲットは、それぞれのバウンディングボックスで取り囲まれている。そのような実施形態では、第１のターゲットから、いくつかの他のターゲットの１つである第２のターゲット（例えば１つまたは複数の画像内の別のターゲット）に焦点が切り替えられるとき、システムは、第２のターゲットに対して測定された距離に基づいて再合焦操作を行うことができる。開示したこれらの実施形態に加えて、第２のターゲットまでの距離の測定は、画像の全領域を走査するのではなく、第２のターゲットを取り囲むバウンディングボックス内の領域を走査することによって決定することもできる。したがって、これらの実施形態でのシステムは、処理時間およびコストの低減の面でさらなる利点を有することができる。

また、いくつかの実施形態では、例えばコストを低減し、フレームレートを増加させるために、対象のターゲットに関してのみ追跡を行うことができる。そのようなシナリオでは、対象のターゲットは、画像の特定の領域内の対象のターゲットを認識する（例えば図４Ａでのバウンディングボックス内の犬を認識する）深層機械学習のニューラルネットワークによって識別されることがある。そのような実施形態では、システムは、対象のターゲットを追跡、合焦、および撮像するための計算コストを低減することができる。これらの実施形態に加えて、対象のターゲットが例えば第１のターゲット（例えば図４Ａでの犬）から第２のターゲット（例えば図４Ａでの車）に切り替えられるとき、第２のターゲット（例えば車）の追跡は、第２のターゲットが第１のターゲットに近接しているので迅速かつ効率的に行うことができ、それにより、第２のターゲットの追跡、合焦、および撮像に関連する計算コストを低減するだけでなく、撮像ターゲットのフレームレートを増加させる。

いくつかの実施形態では、追跡は、ＵＡＶの動きを伴うことがあり、または静止物体から行われることもある。

ターゲット距離モジュール６０は、例えば撮像システム１９からターゲット物体までの距離を決定するように構成されることがある。ターゲットが識別、認識、および追跡された後、ターゲットの高品質画像を取得するために正確な合焦が用いられる。ターゲット物体と可動物体１０との相対運動により、撮像システム１９からターゲット物体までの距離は絶えず変化し得る。ターゲットへの正確な合焦を得るためには、ターゲットまでの距離をリアルタイムで測定する必要がある。

図６Ａは、ターゲット物体に対して移動する前にターゲット物体の画像を生成するための例示的実施形態の概略図を示す。図６Ａに示されるように、撮像面上にターゲットＳの像Ｓ_０'が形成される。ターゲット物体および像から像面までの距離は、それぞれ−ｌおよび−ｌ'である。画像Ｓ_０'の高さは、式（１）で定義されるように、−ｈ_０'である。

ここで、

は像倍率である。ターゲット物体が動くと、図６Ｂに示されるように、物体距離および像距離がそれぞれ−ｌ＋Δｌ'およびｌ'−Δｌ'に変化する。ターゲットＳの像Ｓ_１'の高さは、式（２）で定義されるように、−ｈ_１'に変わる。

ここで、

は、ターゲットの移動後の像倍率である。ターゲットの移動により、ターゲット像が変化していることが分かる。

式（１）と（２）を組み合わせることによって、以下のように式（３）を決定することができる。

したがって、像高のオフセットは、以下のように式（４）で表すことができる。

式（４）から、初期像高と画角が同じであるターゲットでは、ターゲット物体距離が大きくなるほど像高オフセットが小さくなることが分かる。しかし、ターゲット物体距離が無限遠であっても、式（５）で示されるように像高オフセットが依然として存在する。

したがって、ターゲットが動くとき、ターゲット物体距離を正確に測定しなければならず、その測定した物体距離に基づいて、撮像システム１９内のフォーカス制御メカニズムを駆動させることによって正確な合焦を実現することができる。

いくつかの実施形態では、コストを低減し、フレームレートを増加させるために、距離測定は、対象のターゲット物体に関してのみ行われることがある。例えば、深層機械学習のニューラルネットワークは、対象のターゲットと、対象のターゲットを含む領域（すなわちバウンディングボックス）とを認識する。バウンディングボックスに従って、図７Ａに示されるように、ターゲット物体の中心位置と中心位置の方向とを計算することができる。図７Ａでは、ターゲット物体の中心位置ｔが、中心点Ｐおよび画像座標系を有する像面上に示されており、カメラの中心Ｃ（例えば、撮像システム１９）をターゲット物体の中心位置ｔにつなぐことによって、中心位置の方向が示されている。図７Ｂで、画像座標系でのターゲット中心位置ｔの画素位置を（ｕ，ｖ）と仮定すると、ｖは、式（６）で表すことができる。

ここで、ｆは、カメラを較正することによって得ることができるカメラの焦点距離であり、ＹおよびＺは、カメラ座標系（すなわちワールド座標系）での座標である。ターゲットの中心位置ｔの方向の角度αは、以下のように式（７）で決定することができる。

中心位置方向の範囲内でターゲットまでの距離を測定するために、図７Ｂに示されるようなレーザレーダなどの距離測定デバイスが使用される。測定デバイスをカメラのごく近傍に配置することができ、それにより、レーザレーダは、例えば図７Ｂに示されるΨの角度範囲内で、中心位置方向の角度αに基づいて特定の範囲を走査することによって、対象のターゲットまでの距離を測定することができる。ターゲット合焦モジュール６２は、撮像システム１９内のフォーカス制御メカニズム／モジュールを制御するように構成することができる。フォーカス制御メカニズムは、撮像システム１０の内蔵メカニズムでよく、または当業者に知られている任意のフォーカス制御メカニズムでもよい。ターゲット物体までの距離が決定された後、フォーカス制御メカニズムを作動させて、撮像システム１９の焦点距離を自動的に調整して、測定された距離に応じて対象のターゲットに対する正確な合焦を実現することができる。

プロセッサ５４は、通信システム２０に動作可能に結合して、１つまたは複数の外部デバイス（例えば端末３２、ディスプレイデバイス４６、または他のリモートコントローラ）からデータを送信および／または受信するように構成することができる。有線通信または無線通信など任意の適切な通信手段を使用して、制御装置２２との間でデータおよび情報を転送することができる。例えば、通信システム２０は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、赤外線、無線、Ｗｉ−Ｆｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信などの１つまたは複数を利用することができる。任意選択で、タワー、衛星、または移動局などの中継局を使用することができる。無線通信は、近接依存性でも近接独立性でもよい。いくつかの実施形態では、通信のために視線が必要とされることも、必要とされないこともある。通信システム２０は、検知システム１８からの検知データ、プロセッサ５４によって生成された処理結果、所定の制御データ、端末３２またはリモートコントローラからのユーザコマンドなどの１つまたは複数を送信および／または受信することができる。

制御装置２２の構成要素は、任意の適切な構成で配置することができる。例えば、制御装置２２の構成要素の１つまたは複数は、可動物体１０、支持機構１６、搭載物１４、端末３２、検知システム１８、または上記の１つもしくは複数と通信する追加の外部デバイスに位置させることができる。いくつかの実施形態では、１つまたは複数のプロセッサまたはメモリデバイスは、可動物体１０、支持機構１６、搭載物１４、端末３２、検知システム１８、上記の１つまたは複数と通信する追加の外部デバイス、またはそれらの適切な組合せなど、様々な位置に配置することができ、それにより、システムによって実施される処理および／またはメモリ機能の任意の適切な態様が前述の位置の１つまたは複数で行われ得る。

開示する実施形態によれば、図８は、深層機械学習およびレーザレーダに基づいてターゲットを認識、追跡、および合焦するために使用され得る例示的な方法８００を示す。ここでは、単に例として１つのターゲットを述べるが、方法８００を複数のターゲットに適用することもできる。

ステップ８０２において、ターゲット物体が画像内で認識される。ターゲットは、図４Ａでの犬または車など、画像内で識別された任意の物体でよく、撮像システムに対して移動することがある。ターゲット物体は、撮像システムによって、１つまたは複数の画像、またはビデオに捕捉されることがある。上述したように、ターゲット物体は、ニューラルネットワークおよび深層機械学習技法のアルゴリズムによって、１つまたは複数の画像またはビデオフレーム内で識別および認識することができる。深層機械学習技法のニューラルネットワークおよびアルゴリズムは、可動物体１０の制御装置２２に実装することができる。

ステップ８０４で、ターゲットが追跡される。上述したように、ターゲットが移動している間にターゲットを追跡することは、可動物体１０の推進デバイス１２を制御して、６自由度（例えば、可動物体１０の座標軸に沿った３つの並進方向および可動物体１０の座標軸の周りでの３つの回転方向）に関して可動物体１０の空間的配置、速度、および／または加速度を調整して、可動物体１０がターゲットを自動的に追跡できるようにすることによって実現することができる。

ステップ８０６で、撮像システム１９からターゲットまでの距離を決定することができる。対象のターゲットを追跡することができると、例えばレーザレーダデバイスによって、撮像システム１０からターゲットまでの距離を測定することができる。レーザレーダデバイスは、撮像システム１９に埋め込まれても、撮像システム１９に取り付けられてもよい。代替として、レーザレーダシステムは、距離を測定するために撮像システムと連係動作するスタンドアローンデバイスでもよい。レーザレーダデバイスは、赤外線レーザパルスまたは任意の他のレーザパルスもしくはビームを所望の周波数でターゲットに向けて放出し、ターゲット物体で反射した光ビームを受光することができる。ターゲットとレーザレーダデバイスとの間を往復する光ビームの総移動時間と、光速とを用いて、レーザレーダデバイス／撮像システム１９からターゲットまでの距離を計算することができる。

ステップ８０８で、決定された距離に基づいてターゲットへの合焦が行われる。移動ターゲットに関して距離が決定されると、測定された距離に基づいて、撮像システム１９のフォーカス制御メカニズムによって撮像システムの焦点距離を自動的に調整することができる。

開示する本開示の実施形態は、深層機械学習のニューラルネットワークに基づいて複数のターゲットを識別および認識するための方法およびシステムを提供する。様々な環境、状況、およびシーンで複数のターゲットを効果的に認識することができる。レーザレーダデバイスは、単純であり信頼性が高く、レーザレーダデバイスによって決定される距離に基づいて正確な合焦を自動的に実現することができる。高品質の撮像デバイスを使用して、移動ターゲット物体の画像を捕捉することができる。さらに、暗色の物体またはガラスの後ろの物体も、開示する実施形態に従ってオートフォーカスすることができる。したがって、開示する本開示の実施形態は、レーザ測距と、物体追跡のためのニューラルネットワーク／深層学習との組合せを採用する。

開示する方法およびシステムに対して様々な変更および変形を施すことができることが当業者には明らかであろう。他の実施形態は、本明細書の考察、ならびに開示する方法およびシステムの実施から当業者には明らかになろう。本明細書および上記の例は、単に例示とみなされ、真の範囲は、添付の特許請求の範囲およびそれらの均等物によって示されることが意図される。

開示する方法およびシステムに対して様々な変更および変形を施すことができることが当業者には明らかであろう。他の実施形態は、本明細書の考察、ならびに開示する方法およびシステムの実施から当業者には明らかになろう。本明細書および上記の例は、単に例示とみなされ、真の範囲は、添付の特許請求の範囲およびそれらの均等物によって示されることが意図される。
［項目１］
移動ターゲットを認識、追跡、および合焦するための方法であって、
撮像デバイスに対して移動する上記移動ターゲットを認識するステップと、
上記移動ターゲットを追跡するステップと、
上記撮像デバイスから上記移動ターゲットまでの距離を決定するステップと
を含む方法。
［項目２］
上記決定された距離に基づいて上記移動ターゲットに合焦するステップをさらに含む、項目１に記載の方法。
［項目３］
上記移動ターゲットを認識するステップが深層機械学習のニューラルネットワークによって行われる、項目１に記載の方法。
［項目４］
上記ニューラルネットワークが１つまたは複数の畳込み層を含む、項目３に記載の方法。
［項目５］
上記ニューラルネットワークが多数のサンプル画像によって訓練される、項目３に記載の方法。
［項目６］
上記撮像デバイスが可動物体に設置される、項目１に記載の方法。
［項目７］
上記移動ターゲットを追跡するステップが、上記可動物体の推進デバイスを制御することによって行われる、項目６に記載の方法。
［項目８］
上記距離を決定するステップがレーザ測定デバイスによって行われる、項目１に記載の方法。
［項目９］
上記距離を決定するステップが超音波測定デバイスによって行われる、項目１に記載の方法。
［項目１０］
上記移動ターゲットに合焦するステップが、上記撮像デバイスの焦点距離を調整することによって行われる、項目２に記載の方法。
［項目１１］
上記移動ターゲットが、複数の移動ターゲットのうちの１つまたは複数である、項目１に記載の方法。
［項目１２］
移動ターゲットを認識、追跡、および合焦するためのシステムであって、
制御装置を備え、上記制御装置が、１つまたは複数のプロセッサを有し、
撮像デバイスに対して移動する上記移動ターゲットを認識すること、
上記移動ターゲットを追跡すること、および
上記撮像デバイスから上記移動ターゲットまでの距離を決定すること
を行うように構成される、システム。
［項目１３］
上記制御装置が、上記決定された距離に基づいて上記移動ターゲットに合焦するようにさらに構成される、項目１２に記載のシステム。
［項目１４］
上記移動ターゲットの認識が深層機械学習のニューラルネットワークによって行われる、項目１２に記載のシステム。
［項目１５］
上記ニューラルネットワークが１つまたは複数の畳込み層を含む、項目１４に記載のシステム。
［項目１６］
上記ニューラルネットワークが多数のサンプル画像によって訓練される、項目１４に記載のシステム。
［項目１７］
上記撮像デバイスが可動物体に設置される、項目１２に記載のシステム。
［項目１８］
上記移動ターゲットを追跡することが、上記可動物体の推進デバイスを制御することによって行われる、項目１７に記載のシステム。
［項目１９］
上記距離を決定することがレーザ測定デバイスによって行われる、項目１２に記載のシステム。
［項目２０］
上記距離を決定することが超音波測定デバイスによって行われる、項目１２に記載のシステム。
［項目２１］
上記制御装置が、上記撮像デバイスの焦点距離を調整するようにさらに構成される、項目１３に記載のシステム。
［項目２２］
上記移動ターゲットが、複数の移動ターゲットの１つまたは複数である、項目１２に記載のシステム。
［項目２３］
複数のデバイスと通信し、移動ターゲットを認識、追跡、および合焦するように構成された制御装置を備える無人航空機（ＵＡＶ）システムであって、上記制御装置が、１つまたは複数のプロセッサを備え、上記プロセッサが、
撮像デバイスに対して移動する上記移動ターゲットを認識すること、
上記移動ターゲットを追跡すること、および
上記撮像デバイスから上記移動ターゲットまでの距離を決定すること
を行うように構成される、無人航空機（ＵＡＶ）システム。
［項目２４］
上記制御装置が、上記決定された距離に基づいて上記移動ターゲットに合焦するようにさらに構成される、項目２３に記載のＵＡＶ。
［項目２５］
上記移動ターゲットを認識することが深層機械学習のニューラルネットワークによって行われる、項目２３に記載のＵＡＶ。
［項目２６］
上記ニューラルネットワークが１つまたは複数の畳込み層を含む、項目２５に記載のＵＡＶ。
［項目２７］
上記ニューラルネットワークが多数のサンプル画像によって訓練される、項目２５に記載のＵＡＶ。
［項目２８］
上記距離を決定することがレーザ測定デバイスによって行われる、項目２３に記載のＵＡＶ。
［項目２９］
上記制御装置が、上記撮像デバイスの焦点距離を調整するようにさらに構成される、項目２４に記載のＵＡＶ。
［項目３０］
実行されるときに、移動ターゲットを認識、追跡、合焦するための方法をコンピュータに実施させる命令を記憶する非一時的なコンピュータ可読媒体であって、上記方法が、
撮像デバイスに対して移動する上記移動ターゲットを認識するステップと、
上記移動ターゲットを追跡するステップと、
上記撮像デバイスから上記移動ターゲットまでの距離を決定するステップと
を含む、非一時的なコンピュータ可読媒体。

Claims (30)

1. 移動ターゲットを認識、追跡、および合焦するための方法であって、
   撮像デバイスに対して移動する前記移動ターゲットを認識するステップと、
   前記移動ターゲットを追跡するステップと、
   前記撮像デバイスから前記移動ターゲットまでの距離を決定するステップと
   を含む方法。
2. 前記決定された距離に基づいて前記移動ターゲットに合焦するステップをさらに含む、請求項１に記載の方法。
3. 前記移動ターゲットを認識するステップが深層機械学習のニューラルネットワークによって行われる、請求項１に記載の方法。
4. 前記ニューラルネットワークが１つまたは複数の畳込み層を含む、請求項３に記載の方法。
5. 前記ニューラルネットワークが多数のサンプル画像によって訓練される、請求項３に記載の方法。
6. 前記撮像デバイスが可動物体に設置される、請求項１に記載の方法。
7. 前記移動ターゲットを追跡するステップが、前記可動物体の推進デバイスを制御することによって行われる、請求項６に記載の方法。
8. 前記距離を決定するステップがレーザ測定デバイスによって行われる、請求項１に記載の方法。
9. 前記距離を決定するステップが超音波測定デバイスによって行われる、請求項１に記載の方法。
10. 前記移動ターゲットに合焦するステップが、前記撮像デバイスの焦点距離を調整することによって行われる、請求項２に記載の方法。
11. 前記移動ターゲットが、複数の移動ターゲットのうちの１つまたは複数である、請求項１に記載の方法。
12. 移動ターゲットを認識、追跡、および合焦するためのシステムであって、
    制御装置を備え、前記制御装置が、１つまたは複数のプロセッサを有し、
    撮像デバイスに対して移動する前記移動ターゲットを認識すること、
    前記移動ターゲットを追跡すること、および
    前記撮像デバイスから前記移動ターゲットまでの距離を決定すること
    を行うように構成される、システム。
13. 前記制御装置が、前記決定された距離に基づいて前記移動ターゲットに合焦するようにさらに構成される、請求項１２に記載のシステム。
14. 前記移動ターゲットの認識が深層機械学習のニューラルネットワークによって行われる、請求項１２に記載のシステム。
15. 前記ニューラルネットワークが１つまたは複数の畳込み層を含む、請求項１４に記載のシステム。
16. 前記ニューラルネットワークが多数のサンプル画像によって訓練される、請求項１４に記載のシステム。
17. 前記撮像デバイスが可動物体に設置される、請求項１２に記載のシステム。
18. 前記移動ターゲットを追跡することが、前記可動物体の推進デバイスを制御することによって行われる、請求項１７に記載のシステム。
19. 前記距離を決定することがレーザ測定デバイスによって行われる、請求項１２に記載のシステム。
20. 前記距離を決定することが超音波測定デバイスによって行われる、請求項１２に記載のシステム。
21. 前記制御装置が、前記撮像デバイスの焦点距離を調整するようにさらに構成される、請求項１３に記載のシステム。
22. 前記移動ターゲットが、複数の移動ターゲットの１つまたは複数である、請求項１２に記載のシステム。
23. 複数のデバイスと通信し、移動ターゲットを認識、追跡、および合焦するように構成された制御装置を備える無人航空機（ＵＡＶ）システムであって、前記制御装置が、１つまたは複数のプロセッサを備え、前記プロセッサが、
    撮像デバイスに対して移動する前記移動ターゲットを認識すること、
    前記移動ターゲットを追跡すること、および
    前記撮像デバイスから前記移動ターゲットまでの距離を決定すること
    を行うように構成される、無人航空機（ＵＡＶ）システム。
24. 前記制御装置が、前記決定された距離に基づいて前記移動ターゲットに合焦するようにさらに構成される、請求項２３に記載のＵＡＶ。
25. 前記移動ターゲットを認識することが深層機械学習のニューラルネットワークによって行われる、請求項２３に記載のＵＡＶ。
26. 前記ニューラルネットワークが１つまたは複数の畳込み層を含む、請求項２５に記載のＵＡＶ。
27. 前記ニューラルネットワークが多数のサンプル画像によって訓練される、請求項２５に記載のＵＡＶ。
28. 前記距離を決定することがレーザ測定デバイスによって行われる、請求項２３に記載のＵＡＶ。
29. 前記制御装置が、前記撮像デバイスの焦点距離を調整するようにさらに構成される、請求項２４に記載のＵＡＶ。
30. 実行されるときに、移動ターゲットを認識、追跡、合焦するための方法をコンピュータに実施させる命令を記憶する非一時的なコンピュータ可読媒体であって、前記方法が、
    撮像デバイスに対して移動する前記移動ターゲットを認識するステップと、
    前記移動ターゲットを追跡するステップと、
    前記撮像デバイスから前記移動ターゲットまでの距離を決定するステップと
    を含む、非一時的なコンピュータ可読媒体。

Images