JP2015535925A - ３次元測定システムから取得された画像の解像度を上げること - Google Patents

Abstract

システムは、ターゲットの６自由度軌道（６ＤＯＦ）を推定するために、ライダーシステムからの距離およびドップラ速度測定、並びに、ビデオシステムからの画像を用いる。６ＤＯＦ変換パラメータは、複数の画像を選択された画像のフレーム時間に変換するのに使用され、依って、同じフレーム時間における複数の画像を取得する。これらの複数の画像は、超解像度画像を収集して、各フレーム時間における画像の解像度を上げるために使用されてもよい。

Description

（関連出願の相互参照）
(01)本願は、その全てをここに参照することでここに組み込まれている２０１２年９月４日に出願された米国特許仮出願第６１／６９６４４７号、および、２０１３年３月１５日に出願された米国特許出願第１３／８４１６２０号に対し優先権を主張する。

（発明の分野）
(02)本発明は、一般的に、ターゲットの３次元画像を生成するために、ライダー（すなわち、レーザ・ライダー）測定およびビデオ画像を結合すること、並びに、とりわけ３次元画像の解像度を上げることに関連している。

(03)画像の解像度を上げるための様々な従来の技術（techniques）が、知られている。しかしながら、これらの技術は、主には、２Ｄビデオ画像、典型的には、低および高解像度カメラからのデータに依存している。

(04)求められているものは、ライダーおよびビデオ測定を使用して３次元画像（３Ｄ）を取り込み、ライダーおよびビデオ測定を使用して３Ｄ画像の解像度を上げるシステムおよび方法である。

(05)本発明の様々な実施は、ターゲットの動き(motion)を記述する（describe）６自由度（６ＤＯＦ）軌道を分析する（resolve）ために、ライダーシステムによって生成された測定をビデオシステムによって生成された画像と結合する。この軌道が分析されると、ターゲットの正確な３次元画像が、生成され得る。６ＤＯＦ変換パラメータは、複数の画像を、選択された画像のフレーム時間に変換するために使用され、依って、同じフレーム時間における複数の画像を取得する。これらの複数の画像は、超解像度画像を収集して、各フレーム時間における画像の解像度を上げるために使用されてもよい。

(06)本発明のこれらの実施、その特徴、および他の態様は、さらに詳細に以下に記述されている。

(07)本発明の様々な実施に従って、結合されたライダーとビデオカメラシステムを例示している。 (08)本発明の様々な実施に従って、ライダー（すなわち、レーザライダー）を例示している。 (09)本発明の様々な実施に従って、２つのライダービームを用いるライダーサブシステムのスキャンパターンを例示している。 (10)本発明の様々な実施に従って、４つのライダービームを用いるライダーサブシステムのスキャンパターンを例示している。 (11)本発明の様々な実施に従って、ターゲットの角速度のｘコンポーネントを推定するのに使用されてもよい、実質的に同じ時間例（instance）における個々のビームからライダーサブシステムから捉えたポイントの間の関係を例示している。 (12)本発明の様々な実施に従って、ターゲットの角速度のｙコンポーネントを推定するのに使用されてもよい、実質的に同じ時間段階における個々のビームからライダーサブシステムから捉えたポイントの間の関係を例示している。 (13)本発明の様々な実施に従って、２次元（例えば、ｘおよびｙコンポーネント）並進速度、および、ターゲットの角速度のｚコンポーネントを推定するのに使用されてもよい、ビデオサブシステムから捉えたポイントの間の関係を例示している。 (14)本発明の様々な実施に従って、ライダービームのスキャンパターンを例示している。 (15)本発明の様々な実施に従って、ライダーサブシステムから測定に関連付けられた様々なタイミング態様を記述するのに有効であってもよいタイミング図を例示している。 (16)本発明の様々な実施に従って、ビデオサブシステムからの測定に関してライダーサブシステムからの測定に関連付けられた様々なタイミング態様を記述するのに有効であるタイミング図を例示している。 (17)本発明の様々な実施に従って、ライダー測定およびビデオ画像を処理するのに有効なブロック図を例示している。 (18)本発明の様々な実施に従って、ライダー測定およびビデオ画像を処理するのに有効なブロック図を例示している。 (19)本発明の様々な実施に従って、ライダー測定およびビデオ画像を処理するのに有効なブロック図を例示している。 (20)本発明の様々な実施に従って、ライダー測定およびビデオ画像を処理するのに有効なブロック図を例示している。 (21)本発明の様々な実施に従って、ライダー測定およびビデオ画像を処理するのに有効なブロック図を例示している。 (22)本発明の様々な態様に従って、３Ｄ画像の解像度を上げるシステムによって実行された実例動作を描くフローチャートを例示している。

(23)図１は、本発明の様々な実施に従って、結合されたライダーとビデオカメラシステム１００（３次元測定システム１００）を例示している。本発明の様々な実施は、ライダーまたはビデオカメラどちらか単独で可能でない程度まで、ターゲットの動きに対し６自由度を分析するために、ライダー測定とビデオ画像との間の相乗作用を利用する。

(24)結合されたシステム１００は、ライダーサブシステム１３０、ビデオサブシステム１５０、および、処理システム１６０を含む。例示されたように、ライダーサブシステム１３０は、２つ以上のライダービーム出力１１２（ビーム１１２Ａ、ビーム１１２Ｂ、ビーム１１２（ｎ−１）、および、ビーム１１２ｎとして例示されている）、ビーム１１２のうちの１つに各々対応する２つ以上の反射ビーム入力１１４、（反射ビーム１１４Ａ、反射ビーム１１４Ｂ、反射ビーム１１４（ｎ−１）、および、反射ビーム１１４ｎとして例示されている）、ビーム１１２／反射ビーム１１４のペアに各々関連付けられている２つ以上のライダー出力１１６（ビーム１１２Ａ／反射ビーム１１４Ａに関連付けられたライダー出力１１６Ａ、ビーム１１２Ｂ／反射ビーム１１４Ｂに関連付けられたライダー出力１１６Ｂ、ビーム１１２（ｎ−１）／反射ビーム１１４（ｎ−１）に関連付けられたライダー出力１１６（ｎ−１）、ビーム１１２ｎ／反射ビーム１１４ｎに関連付けられたライダー出力１１６ｎ）を含んでいる。

(25)本発明のいくつかの実施において、ビームステアリングメカニズム１４０は、１つまたは複数のビーム１１２を、ターゲット１９０に向かってステアリングするために用いられてもよい。本発明のいくつかの実施において、ビームステアリングメカニズム１４０は、各々が独立してビーム１１２をターゲット１９０にステアリングする、ステアリングメカニズム１４０Ａ、ステアリングメカニズム１４０Ｂ、ステアリングメカニズム１４０Ｃ、およびステアリングメカニズム１４０Ｄのような個々のメカニズムを含んでもよい。本発明のいくつかの実施において、１つのビームステアリングメカニズム１４０は、独立して、ビーム１１２のペアまたはグループをターゲット１９０に向かって、ステアリングしてもよい。

(26)本発明のいくつかの実施において、ビームステアリングメカニズム１４０は、各々が個々に、制御されてもよく、または、制御されなくてもよい１つまたは複数の鏡を含んでもよく、各鏡は、１つまたは複数のビーム１１２をターゲット１９０にステアリングする。本発明のいくつかの実施において、ビームステアリングメカニズム１４０は、鏡を使用せずに、ビーム１１２の光ファイバを直接ステアリングしてもよい。本発明のいくつかの実施において、ビームステアリングメカニズム１４０は、方位および／または高度でビーム１１２をステアリングするように制御されてもよい。理解されるように、ビーム１１２をターゲット１９０に向けてステアリングするために、様々な技術が、ビームステアリングメカニズム１４０によって使用され得る。

(27)本発明のいくつかの実施において、ビームステアリングメカニズム１４０は、２つのビーム１１２の方位角および仰角の両方をターゲットに向かって制御するために使用されてもよい。方位角および仰角の両方を制御することによって、２つのビーム１１２は、潜在的なターゲット、または、ターゲット１９０のような特定なターゲットについてボリュームをスキャンするために使用されてもよい。他のスキャニングメカニズムは、理解されるように用いられてもよい。本発明のいくつかの実施において、２つのビーム１１２は、お互いにオフセットされてもよい。本発明のいくつかの実施において、２つのビーム１１２は、所定のオフセットおよび／または所定の角度によって、お互い垂直に（例えば、高度）、または、水平に（例えば、方位）オフセットされてもよく、そのどちらかは、調整可能であるか、または制御されてもよい。

(28)本発明のいくつかの実施において、ビームステアリングメカニズム１４０は、４つのビーム１１２の方位角および仰角の両方をターゲットに向かって制御するために使用されてもよい。いくつかの実施において、４つのビーム１１２は、水平に、および、垂直に分離して配置されてもよい。いくつかの実施において、４つのビームは、少なくとも２つの直交分離を形成するために配置されてもよい。いくつかの実施において、４つのビームは、垂直におよび水平にお互いオフセットされたビーム１１２のペアを有する矩形のパターンで配置されてもよい。いくつかの実施において、４つのビームは、お互いにオフセットされたビーム１１２のペアで、他のパターンで配置されてもよい。４つのビーム１１２の分離は、固定され、調整可能で、および／または制御され得る、所定のオフセットおよび／または所定の角度であってもよい。

(29)各ビーム１１２の一定の部分は、反射ビーム１１４のように、ターゲット１９０からライダーサブシステム１３０へ反射して戻る。本発明のいくつかの実施において、図１に例示されているように、反射ビーム１１４は、ビーム１１２と同じ光路（逆であるが）をたどる。本発明のいくつかの実施において、分離した光路は、反射ビーム１１４に合わせるために、ライダーサブシステム１３０で、または、結合されたシステム１００で提供される。

(30)本発明の幾つかの実施において、ライダーサブシステム１３０は各ビーム１１２に対応する反射ビーム１１４を受信し、反射ビーム１１４を処理し、処理システム１６０にライダー出力１１６を出力する。

(31)結合されたシステム１００はまた、ビデオサブシステム１５０を含む。ビデオサブシステム１５０は、ターゲット１９０の２次元画像１５５を取り込むビデオカメラを含んでもよい。理解されるように、様々なカメラが使用されてもよい。本発明のいくつかの実施において、ビデオカメラは、特定の解像度で、および、特定の画像またはフレームレートで、画素として画像１５５を出力してもよい。ビデオサブシステム１５０によって取り込まれたビデオ画像１５５は、処理システム１６０に転送される。本発明のいくつかの実施において、ライダーサブシステム１３０およびビデオサブシステム１５０は、位置と方向について、お互いにオフセットされる。特に、ビデオ画像は、典型的に、２次元（例えば、ｘおよびｙ）に対応するが、ライダー測定は、典型的に、３次元（例えば、ｘ、ｙ、およびｚ）に対応する。発明の様々な実施は、理解されるように、各システムによって提供されたデータが所与の座標系における同じロケーションにあてはまることを確実にするために、ライダーサブシステム１３０を、ビデオサブシステム１５０とキャリブレートする。

(32)結合されたシステム１１０は、理解されるように、異なる位置、遠近法、または角度から、追加のターゲット１９０の２次元画像１５５を取り込むために、１つまたは複数の任意のビデオサブシステム（例示されていないけれども）を含んでもよい。

(33)本発明のいくつかの実施において、処理システム１６０は、ライダーサブシステム１３０からライダー出力１１６を、ビデオサブシステム１５０から画像１５５を受信し、それらを、続く処理のためにメモリまたは他の記憶デバイス１６５に記憶する。処理システム１６０は、ライダー出力１１６および画像１５５を処理して、ターゲット１９０の３次元画像を生成する。本発明のいくつかの実施において、処理システム１６０は、ライダー出力１１６と画像１５５との組み合わせからターゲット１９０の軌道を決定し、軌道を使用しターゲット１９０の動き安定化３次元画像を生成する。

(34)本発明のいくつかの実施は、ライダーサブシステム１３０は、ビーム１１２の各々について、ターゲット１９０上のポイントの距離およびドップラ速度の両方を明白に、同時に測定することが可能である、デュアル周波数、チャープコヒーレントレーザレーダシステムを含んでもよい。このようなレーザレーダシステムは、その全体を参照することによってここに組み込まれている、”Chirped Coherent Laser Radar System and Method”（「チャープライダー明細書」）と題された同時係属の米国出願第１１／３５３１２３号に記述されている。明瞭にするために、チャープライダー明細書で言及されている「ビーム」は、本記述で言及されている「ビーム」とは同一でない。さらに詳しくは、チャープライダー明細書において、２つのビームが、レーザレーダシステムからの出力、すなわち、ターゲット上のポイントで同時に一致し、ターゲット上のポイントの距離およびドップラ速度の両方の同時測定を提供する、第１の周波数（チャープまたはそうでないか）を有する第１のビーム、第２の周波数（チャープまたはそうでないか）を有する第２のビームとして記述されている。簡潔および明瞭にするために、ここで議論されるような単数の「ビーム」は、チャープライダー明細書に記述されたレーザレーダシステムからの結合された第１および第２のビーム出力のことを指してもよい。チャープライダー明細書で議論されている個々のビームを、ここでは以降「信号」と呼ぶ。それでもなお、本発明の様々な実施は、これらのビームが、ターゲット上のポイントで同時の距離およびドップラ速度測定を提供すると仮定すると、チャープライダー明細書で記述されているビーム以外のビームを用いてもよい。

(35)図２は、本発明の様々な実施にしたがって、ライダー出力１１６を提供するために、ビーム１１２および反射ビーム１１４を生成および処理するために使用されてもよいライダー２１０を例示している。各ライダー２１０は、ライダー２１０に関連するターゲット上のポイントの距離およびドップラ速度を明白に決定する。ライダー２１０は、第１の周波数ライダー小区分２７４および第２の周波数ライダー小区分２７６を含む。第１の周波数ライダー小区分２７４は、ターゲット１９０に向かって第１の周波数ターゲット信号２１２を発し、第２の周波数ライダー小区分２７６は、ターゲット１９０に向かって第２の周波数ターゲット信号２１４を発する。第１のターゲット信号２１２および第２のターゲット信号２１４の周波数は、デュアルチャープシステムを作成するようにチャープされてもよい。

(36)第１の周波数ライダー小区分２７４は、レーザソースコントローラ２３６、第１のレーザソース２１８、第１の光学カプラ２２２、第１の信号遅延２４４、第１の局部発振器光学カプラ２３０、および／または、他のコンポーネントを含んでもよい。第２の周波数ライダー小区分276は、レーザソースコントローラ238、第２のレーザソース２２０、第２の光学カプラ224、第２の信号遅延250、第２の局部発振器光学カプラ232、および／または、他のコンポーネントを含んでもよい。

(37)第１の周波数ライダー小区分２７４は、第１のターゲット信号２１２および第１の参照信号２４２を生成する。第１のターゲット信号２１２および第１の参照信号２４２は、第１のチャープレートで変調されてもよい第１の周波数で、第１のレーザソース２１８によって生成されてもよい。第１のターゲット信号２１２は、独立して、または、第２のターゲット信号２１４と結合されるかして、ターゲット１９０上の測定ポイントに向かって向けられても良い。第１の周波数ライダー小区分２７４は、ターゲット１９０から反射されたターゲット信号２５６を、周知のまたはそうでなければ固定された経路長さを有する経路を通じて向けられる第１の参照信号２４２と結合し、結合された第１のターゲット信号２６２をもたらしてもよい。

(38)第２の周波数ライダー小区分２７６は、第１の周波数ライダー小区分２７４を基準にして、一緒に置かれ固定されてもよい（すなわち、ライダー２１０内）。さらに詳しくは、それぞれのレーザ信号を送信および受信するための関連する光学コンポーネントが、一緒に置かれ固定されてもよい。第２の周波数ライダー小区分276は、第２のターゲット信号214および第２の参照信号248を生成されてもよい。第２のターゲット信号214および第２の参照信号248は、第２のチャープレートで変調されてもよい第２の周波数で、第２のレーザソース220によって生成されてもよい。本発明のいくつかの実施は、第２のチャープレートが、第１のチャープレートと異なる。

(39)第２のターゲット信号２１４は、第１のターゲットビーム２１２と同じターゲット１９０上の測定ポイントに向かって向けられてもよい。第２の周波数ライダー小区分276は、ターゲット１９０から反射されたターゲット信号２５６の１つの部分を、周知のまたはそうでなければ固定された経路長さを有する経路を通じて向けられる第２の参照信号248と結合し、結合された第２のターゲット信号264をもたらしてもよい。

(40)プロセッサ２３４は、結合された第１のターゲット信号２６２および結合された第２のターゲット信号２６４を受信し、反射ターゲット信号の各々とその対応する参照信号との間の経路長さにおける差によって、および、ライダー２１０に関連するターゲットの動きによって作成される何らかのドップラ周波数によって引き起こされるうなり（beat）周波数を測定する。うなり周波数は、チャープライダー明細書に記載されているように、ターゲット１９０の距離およびドップラ速度の明白な決定を生成するために、線状に結合されてもよい。いくつかの実施において、プロセッサ２３４は、処理システム１６０に対し距離およびドップラ速度測定を提供する。いくつかの実施において、プロセッサ２３４は、処理システム１６０に結合され、このような実施において、処理システム１６０は、結合された第１のターゲット信号２６２および結合された第２のターゲット信号２６４を受信し、それらを使用し、距離およびドップラ速度を決定する。

(41)記述したように、各ビーム１１２は、ライダー２１０に関連するターゲット１９０上のポイントの距離およびドップラ速度の同時測定を提供する。本発明の様々な実施にしたがって、ビーム１１２の様々な数が、ターゲット１９０のこれらの測定を提供するために使用されてもよい。本発明のいくつかの実施において、２つ以上のビーム１１２が使用されてもよい。本発明のいくつかの実施において、３つ以上のビーム１１２が使用されてもよい。本発明のいくつかの実施において、４つ以上のビーム１１２が使用されてもよい。本発明のいくつかの実施において、５つ以上のビーム１１２が使用されてもよい。

(42)本発明の様々な実施において、ビーム１１２は、異なる目的のために測定を収集するために使用されてもよい。例えば、本発明のいくつかの実施において、特定のビーム１１２は、ターゲット１９０を含むボリュームをスキャンするために使用されてもよい。本発明のいくつかの実施において、複数のビーム１１２は、このようなスキャンを遂行するために使用されてもよい。本発明のいくつかの実施において、特定のビーム１１２は、ターゲット１９０上の特別な特徴または位置をモニタするために使用されてもよい。本発明のいくつかの実施において、複数のビーム１１２は、ターゲット１９０上の１つまたは複数の特徴および／または位置を個別にモニタするために使用されてもよい。本発明のいくつかの実施において、１つまたは複数のビーム１１２は、ターゲット１９０をスキャンするために使用されてもよく、一方、１つまたは複数の他のビームは、ターゲット１９０上の１つまたは複数の特徴および／または位置をモニタするために使用されてもよい。

(43)本発明のいくつかの実施において、１つまたは複数のビーム１１２は、ターゲット１９０の３次元画像を取得するためにターゲット１９０をスキャンされてもよく、一方、１つまたは複数の他のビーム１１２は、ターゲット１９０上の１つまたは複数の特徴および／または位置をモニタしてもよい。本発明のいくつかの実施において、ターゲット１９０の３次元画像が取得された後で、１つまたは複数のビーム１１２は、ターゲット１９０の動き態様をモニタおよび／または更新するために、ターゲット１９０をスキャンし続けてもよく、一方、１つまたは複数の他のビーム１１２が、ターゲット１１０上の１つまたは複数の特徴および／または位置をモニタしてもよい。

(44)本発明のいくつかの実施において、ターゲット１９０の動き態様をモニタおよび／または更新するために使用された１つまたは複数のビーム１１２を介して取得された測定は、ターゲット１９０上の１つまたは複数の特徴および／または位置をモニタするのに使用される、１つまたは複数の他のビーム１１２を介して取得された測定を補償するのに使用されてもよい。本発明のこれらの実施において、ターゲット１９０の大まかな動きは、ターゲット１９０上の特定のポイントまたは領域の細かい動きを取得するために、ターゲット１９０上の様々な特徴および／または位置に関連付けられた測定から取り除かれても良い。本発明の様々な実施において、ターゲット１９０の細かい動きは、例えば、質量中心、回転の中心に関連するターゲット１９０の表面上のある位置、ターゲット１９０の表面上の別の位置または他の位置の様々な振動、発振または動きを含んでもよい。本発明の様々な実施において、ターゲット１９０の細かい動きは、例えば、目、まぶた、唇、口角、顔面筋または神経、鼻孔、首表面など、または、ターゲット１９０の他の特徴のような様々な特徴の関連する動きを含んでもよい。

(45)本発明のいくつかの実施において、ターゲット１９０の大まかな動きおよび／または細かい動きに基づいて、ターゲット１９０の１つまたは複数の生理学的機能および／または身体的活動は、モニタされてもよい。例えば、その全体を参照することによってここに組み込まれている、”System and Method for Remotely Monitoring Physiological Functions”と題された同時係属の米国特許出願第１１／２３０５４６号は、個人の生理学の機能および／または身体的活動をモニタする様々なシステムおよび方法を記述している。

(46)本発明のいくつかの実施形態において、１つまたは複数のビーム１１２は、ターゲット１９０の眼球上の１つまたは複数の位置をモニタするために使用され、これらの位置の各々において、眼球の様々な位置および動き態様を測定してもよい。その全体を参照することによってここに組み込まれている、”System and Method for Tracking Eyeball Motion”と題された同時係属の米国特許出願第１１／６１０８６７号は、眼球の運動を追跡する様々なシステムおよび方法を記述している。

(47)本発明のいくつかの実施形態において、１つまたは複数のビーム１１２は、ターゲット１９０の顔面上の様々な特徴または位置に焦点を合わせ、ターゲット１９０の顔面上の特徴または位置に対して顔の様々な態様を測定するために使用されてもよい。例えば、ある顔面の特徴または顔面の表情は、ターゲット１９０の精神状態を推論し、ターゲット１９０の意思を推論し、ターゲット１９０の欺きレベルを推論し、または、ターゲット１９０に関連付けられた事象を予言するために（例えば、ある顔面筋が、表情の変化の直前または発話の前にピクピク動くかもしれない）、時間期間にわたって、モニタされてもよい。
(48)本発明のいくつかの実施において、１つまたは複数のビーム１１２は、ターゲット１９０の首の上の１つまたは複数の位置をモニタするために使用されてもよい。ターゲット１９０の首の測定された動き態様は、喉の運動パターン、声帯振動、脈拍数、および／または呼吸数を決定するために使用されてもよい。本発明のいくつかの実施において、１つまたは複数のビーム１１２は、ターゲット１９０の発話に関連付けられた振動を検出および測定するために、ターゲット１９０の上唇の１つまたは複数の位置をモニタするために使用されてもよい。これらの振動は、ターゲット１９０の発話を実質的に再現するのに使用されてもよい。

(49)本発明のいくつかの実施において、１つまたは複数のビーム１１２は、結合されたシステム１００の動作の第１の期間またはモードの間１つの目的に役立ってもよく、結合されたシステム１００の動作の第２の期間またはモードの間異なる目的に役立つように切り替わってもよい。例えば、本発明のいくつかの実施において、処理システム１６０が、ターゲット１９０の軌道を決定または捉えてもよいように、複数のビーム１１２は、ターゲット１９０の様々な動き態様を測定するために使用されてもよい。ターゲット１９０の軌道が捉えられると、複数のビーム１１２のいくつかは、ターゲット１９０の一定の他の面または特徴をモニタすることに切り替わり、一方、複数のビーム１１２のうち他のいくつかは、軌道が維持されることができるようにターゲット１９０の動き態様を測定する。

(50)本発明のいくつかの実施において、５つのビーム１１２は、ターゲット１９０の３次元画像を取得するために、ターゲット１９０をスキャンする。これらの実施において、これらのビーム１１２のうちの４つはそれぞれ、（さらに詳細に以下に記述されているように様々なスキャニングパターンを使用して）ターゲット１９０の部分をスキャンし、一方、５つ目のビーム１１２は、ターゲット１９０の「オーバスキャン」を実行する。オーバスキャンは、円形(circular)、卵形(oval)、楕円形(elliptical)もしくは類似の円形(round)のスキャンパターン、または、矩形(rectangular)、正方形(square)、ひし形(diamond)もしくは類似のスキャンパターン、または、比較的短い時間間隔内で、ターゲット１９０上の様々なポイント（または少なくともお互いに近接近内のポイント）の複数の測定を取り込むのに有効である他のスキャンパターンであってもよい。これらの複数の測定は、５つ目のビーム１１２によって成される他の測定（すなわち、５つ目のビーム１１２による同じポイントへの複数訪問）、または、他の４つのビーム１１２のうち１つまたは複数によって成される測定（すなわち、５つ目のビームおよび他の４つのビーム１１２のうち１つまたは複数による同じポイントへの訪問）に対応してもよい。いくつかの実施において、オーバスキャンのパターンは、ターゲット１９０の測定間で追加の垂直および／または水平広がりを提供するために選択されてもよい。複数の測定および追加の広がりの両方は、ターゲット１９０の動きの推定値を改善するために使用されてもよい。ターゲット１９０をオーバスキャンするために５番目のビーム１１２を使用することは、上記に言及した動作の異なるモードの各々の間に発生してもよい。

(51)本発明のいくつかの実施において、ターゲット１９０の軌道が十分に捉えられると、１つまたは複数のビーム１１２は、ターゲット１９０の特徴の他の態様をモニタするのと同様に、ターゲット１９０の軌道を維持するのに有効である測定を提供してもよい。このような実施において、他のビーム１１２は、ボリュームをスキャンする際に、他のターゲットについてスキャンするために使用されてもよい。

(52)図１に例示されるように、ターゲット座標フレーム１８０は、ターゲット１９０に関連付けられた様々な測定を表示するために使用されてもよい。理解されるように、様々な座標フレームが使用されてもよい。本発明のいくつかの実施において、理解されるように、サブシステム１３０、１５０のうちの様々なものは、ターゲット座標フレーム１８０以外の座標フレームにおけるターゲット１９０の態様を表してもよい。例えば、本発明のいくつかの実施において、球状の座標フレーム（例えば、方位、高度、距離）は、ライダーサブシステム１３０を介して取得された測定を表すために使用されてもよい。同様に、例えば、本発明のいくつかの実施において、２次元の画素に基づく座標フレームは、ビデオサブシステム１５０を介して取得された画像１５５を表すために使用されてもよい。理解されるように、本発明の様々な実施は、処理の様々なステージで、これらの座標フレームの１つまたは複数、または、他の座標フレームを使用してもよい。

(53)理解されるように、本発明のいくつかの実施において、様々な座標変換は、ライダーサブシステム１３０（ライダー測定空間とも呼ばれる）に関して球座標で表されてもよいライダーサブシステム１３０からの測定を、ターゲット１９０（ターゲット空間とも呼ばれる）に関してカルテシアン座標で表されてもよいターゲット１９０の動き態様に変換することが要求され得る。同様に、様々な座標変換は、ビデオサブシステム１５０（ビデオ測定空間とも呼ばれる）に関連して、カルテシアンまたは画素座標で表されてもよいビデオサブシステム１５０からの測定を、ターゲット１９０の動き態様に変換するように要求される。加えて、結合されたシステム１００からの測定は、補助ビデオ、赤外線、ハイパースペクトル、マルチスペクトル、または、他の補助イメージングシステムのような外部測定システムに関連付けられた座標フレームに変換されてもよい。座標変換は、一般的に、良く知られている。

(54)理解されるように、本発明のいくつかの実施において、様々な座標変換は、ライダーサブシステム１３０および／またはビデオサブシステム１５０からの測定を、各々のこのようなサブシステム１３０、１５０の位置および／または方向における差を説明するために、変換することが要求されてもよい。

(55)図３は、本発明の様々な実施にしたがって、ターゲット１９０のボリュームをスキャンするために使用されてもよいスキャンパターン３００を例示している。スキャンパターン３００は、第１のスキャンパターンセクション３１０および第２のスキャンパターンセクション３２０を含んでもよい。第１のスキャンパターンセクション３１０は、ボリューム（またはその一部）をスキャンするのに使用されてもよい第１のビーム１１２（例えば、ビーム１１２Ａ）のスキャンパターンに対応してもよい。第２のスキャンパターンセクション320は、ボリューム（またはその一部）をスキャンするのに使用されてもよい第２のビーム１１２（例えば、ビーム１１２Ｂ）のスキャンパターンに対応してもよい。

(56)図３に例示されているように、第２のビーム１１２が、スキャンパターン３００の下部領域をスキャンするのに対して、第１のビーム１１２は、スキャンパターン３００の上部領域をスキャンする。本発明のいくつかの実施において、スキャンパターンセクション３１０、３２０は、重複領域３３０を含んでもよい。重複領域３３０は、第１のスキャンパターンセクション３１０を第２のスキャンパターンセクション３２０と直線に並べるか、または、「まとめる（stitch together）」ために使用されてもよい。本発明のいくつかの実施において、スキャンパターン３１０、３２０は、重複領域３３０を形成するために重複していない（例示されていないけれども）。

(57)ライダーサブシステム１３０が垂直に変位されたスキャンパターン３００（図３に例示されているように）を用いる本発明の実施において、第１のビーム１１２は、第２のビーム１１２から垂直に（すなわち、いくつかの垂直距離、仰角、または他の垂直変位によって）変位される。このようにして、ビーム１１２のペアは、周知の、またはそうれなければ、確定できる垂直の変位でスキャンされてもよい。

(58)スキャンパターン３００は、図３において、垂直に変位されたスキャンパターンセクション３１０、３２０を有するように例示されているが、本発明のいくつかの実施において、スキャンパターンは、水平に変位されたスキャンセクションを有してもよい。ライダーサブシステム１３０が水平に変位されたスキャンパターン（例示されていないけれども）を用いる本発明の実施において、第１のビーム１１２は、第２のビーム１１２から水平に（すなわち、いくつかの水平距離、方位の角度、または他の水平変位）変位される。このようにして、ビーム１１２のペアは、周知の、またはそうれなければ、確定できる水平の変位でスキャンされてもよい。

(59)理解されるように、図３は、２つの垂直に変位されたスキャンパターンセクション３１０、３２０をともなうスキャンパターン３００を例示するが、様々な数のビームが、対応する数のスキャンパターンセクションを作成するために積み重ねられてもよい。例えば、３つのビームは、３つのスキャンパターンセクションを提供するために、垂直変位または水平変位のどちらかで構成されてもよい。理解されるように、他の数のビームは、水平または垂直どちらかで使用されてもよい。

(60)図４は、本発明の様々な実施に従って、４つのビーム１１２を用いるライダーサブシステム１３０のスキャンパターン４００を例示している。図４で例示されるように、ライダーサブシステム１３０は、スキャンパターン４００をスキャンするように配置された４つのビーム１１２を含む。スキャンパターン４００は、お互いに水平に変位された第１のビームのペア１１２と、お互いに水平におよび第１のビームのペア１１２から垂直に変位された第２のビームのペア１１２とを有することによって達成され、依って、矩形スキャニング配置を形成する。理解されるように、他のスキャニング幾何学が使用されてもよい。スキャンパターン４００は、ビームスキャニングメカニズム１４０を介して、ペアとして（水平にまたは垂直のどちらかで）、または、集合的に、ビームをお互い独立して制御することにより達成されてもよい。

(61)スキャンパターン４００は、第１のスキャンパターンセクション４１０、第２のスキャンパターンセクション４２０、第３のスキャンパターンセクション４３０、および、第４のスキャンパターンセクション４４０を含んでもよい。本発明のいくつかの実施において、それぞれスキャンパターンセクション４１０、４２０、４３０、４４０は、ある量だけ、隣接するスキャンパターン部分と重複してもよい（重複領域４５０として図４に集合的に例示されている）。例えば、本発明のいくつかの実施において、スキャンパターン４００は、第１のスキャンパターンセクション４１０および第３のスキャンパターンセクション４３０間の重複領域４５０を含む。同様に、重複領域４５０は、第１のスキャンパターンセクション410と第２のスキャンパターンセクション420との間に存在する。本発明のいくつかの実施において、これらの重複領域４５０の様々なものは、発生しないかもしれない、またはそうでなければ、利用されなくてもよい。本発明のいくつかの実施において、例えば、垂直重複領域４５０だけが、発生するか、または、利用されてもよい。本発明のいくつかの実施において、水平の重複領域４５０だけが、発生するか、または、使用されてもよい。本発明のいくつかの実施において、水平の重複領域４５０は、発生せしないか、または、使用されなくてもよい。本発明のいくつかの実施において、重複領域４５０の他の組み合わせが、使用されてもよい。

(62)図３および図４に例示されるように、複数のビーム１１２のライダーサブシステム１３０による使用は、特定のボリューム（またはボリューム内の固有のターゲット）がスキャンされ得るレートで増加してもよい。例えば、所与のボリュームは、１つのビーム１１２で同じボリュームをスキャンするのに対し、２つのビーム１１２を使用して、２倍の速さでスキャンされてもよい。同じく、所与のボリュームは、２つのビーム１１２で同じボリュームをスキャンするのに対し、４つのビーム１１２を使用して、２倍の速さで、および、１つのビーム１１２で同じボリュームをスキャンするより４倍の速さでスキャンされてもよい。加えて、複数のビーム１１２は、下記にさらに詳細に議論されるように、ターゲット１９０の動きに関連付けられた様々なパラメータを測定または推定するのに使用されてもよい。

(63)本発明の様々な実施にしたがって、特定のスキャンパターン（およびその対応するビームコンフィギュレーション）は、ターゲット１９０の動き態様の測定値および／または推定値を提供するのに使用されてもよい。上述されているように、各ビーム１１２は、スキャンされた各ポイントで、距離測定およびドップラ速度測定を同時に提供するために使用されてもよい。

(64)本発明のいくつかの実施例において、各ビーム１１２について、そのビーム１１２によってスキャンされたポイントは、方位角、仰角、および、時間で記述されてもよい。各ビーム１１２は、そのポイントおよび時間において、距離測定およびドップラ速度測定を提供する。本発明のいくつかの実施において、ビーム１１２によってスキャンされた各ポイントは、方位角、仰角、距離測定、ドップラ速度測定、および、時間として表されてもよい。本発明のいくつかの実施において、ビーム１１２によってスキャンされた各ポイントは、位置（ｘ、ｙ、ｚ）、ドップラ速度、および、時間としてカルテシアン座標で表されてもよい。

(65)本発明の様々な実施にしたがって、ライダーサブシステム１３０からの測定（すなわち、ライダー出力１１６）およびビデオサブシステム１５０からの測定（フレーム１５５）は、ターゲット１９０の様々な方向および／または動き態様を測定および／または推定するために使用されてもよい。ターゲット１９０のこれらの方向および／または動き態様は、位置、速度、加速度、角度位置、角速度、角加速度、などを含んでもよい。これらの方向および／または動き態様は、測定および／または推定されるので、ターゲット１９０の軌道は、決定されるか、またはそうでなければ、近似されてもよい。本発明のいくつかの実施において、ターゲット１９０は、所与の時間間隔を通して剛体とみなされ得て、その動きは、ｖｘ^trans、ｖｙ^trans、およびｖｚ^transとして３次元で表される並進(translational)速度コンポーネント、並びに、所与の時間間隔を通して、ω_ｘ、ω_ｙ、およびω_ｚとして３次元で表される角速度コンポーネントとして表されてもよい。ひとまとめにして、これらの並進速度および角速度は、特定の時間間隔にわたる、ターゲット１９０の動きの６自由度に対応する。本発明のいくつかの実施において、これらの６コンポーネントの測定値および／または推定値は、ターゲット１９０の軌道を表すために使用されてもよい。本発明のいくつかの実施において、これらの６コンポーネントの測定値および／または推定値が、ターゲット１９０の３次元ビデオ画像を生成するために、ライダーサブシステム１３０から取得されたターゲット１９０の３次元画像を、ビデオサブシステム１５０から取得されたターゲット１９０の３次元画像と合併させるために使用されてもよい。

(66)本発明のいくつかの実施において、明白なように、ターゲット１９０上のポイントの瞬間速度コンポーネントｖ_ｚ(ｔ)は、ライダーサブシステム１３０からの距離測定、ドップラ速度測定、方位角、および仰角に基づいて、計算されてもよい。

(67)ライダーサブシステム１３０は、ターゲット１９０の並進速度ｖ_ｚ ^trans、および、２つの角速度、すなわちω_ｘおよびω_ｙを測定および／または推定するのに使用されてもよい。例えば、図５は、本発明の様々な実施にしたがって、ターゲット１９０の角速度のｘおよびｙコンポーネントを推定するのに使用されてもよい２つのビーム１１２からの対応する測定値をともなうポイントの間の例である関係を例示している。さらに詳しくは、一般的に言えば、図５で例示されているように、ビーム１１２が、ｙ軸に沿ってお互い変位されている実施において、第１のビーム１１２を介して決定されたポイントP_Ａのｚ軸に沿った局部速度、第２のビーム１１２を介して決定されるポイントP_Ｂの速度、および、P_AおよびP_B間の隔たり（distance）は、理解されるように、ｘ軸についてこれらのポイントの角速度（ここでは、ω_ｘと呼ぶ）を推定するのに使用されてもよい。本発明のいくつかの実施において、これらの測定は、ω_ｘの最初の推定値を提供するのに使用されてもよい。

(68)図６は、本発明の様々な実施にしたがって、角速度を推定するために使用されてもよい２つのビーム１１２からの対応する測定値を伴うポイントの間の別の例である関係を例示している。さらに詳しくは、図６で例示されているように、ビーム１１２が、ｘ軸に沿ってターゲット１９０上で、お互い変位されている実施において、第１のビーム１１２を介して決定されたポイントP_Ａの速度、第２のビーム１１２によって決定されたポイントP_Ｂの速度、ｘ軸に沿ったターゲット１９０上のP_ＡおよびP_Ｂ間の隔たりは、ｙ軸についてこれらのポイントの角速度（ここでは、ω_ｙと呼ぶ）を推定するのに使用されてもよい。本発明のいくつかの実施において、これらの測定は、ω_ｙの最初の推定値を提供するのに使用されてもよい。

(69)図５および６は、２つのビーム１１２が、それぞれ垂直軸または水平軸に沿ってお互いに変位され、各ポイントにおける（３次元座標のｘ、ｙ、およびｚで表され得る）対応する距離およびドップラ速度が、実質的に同じ時間で測定される発明の実施を例示している。単一軸に沿ってビーム１１２を用いる本発明の実施において（例示されていないけれども）、角速度は、単一の軸に沿って、異なる時間で、異なるポイントで測定されたドップラ速度に基づいて推定されてもよい。理解されるように、角速度のよりよい推定値は、１）ターゲット１９０の範囲のポイントでの測定値（すなわち、お互いより大きな隔たり）、および２）最小時間間隔内で取られた測定値（加速度による何らかの効果を最小にするため）、を使用して、取得されてもよい。

(70)図５および６は、異なる軸、すなわち、ｘ軸およびｙ軸、について角速度の概念的な推定を例示している。一般的に、第１のビーム１１２が、第２のビーム１１２から第１の軸に沿ってターゲット１９０上で変位されるところで、第１の軸に直交する第２の軸に関する角速度は、それぞれのポイントの各々で、第１および第２の軸の両方に直交する第３の軸に沿った速度から決定され得る。

(71)本発明のいくつかの実施において、２つのビームが、お互いにｙ軸に沿って変位され（すなわち、垂直に変位される）、スキャン間の垂直分離を有して水平にスキャンされ、ω_ｘおよびω_ｙの両方の推定値が出されてもよい。ｘ軸に沿った同時測定は、利用できなくても、加速度効果を無視する様々な実施において、時間的に十分近いべきである。２つのビーム１１２がお互いにｘ軸に沿って変位され、少なくとも第３のビーム１１２が、ビーム１１２のペアからｙ軸に沿って変位される本発明のいくつかの実施において、ω_ｘ、ω_ｙ、および、ｖ_ｚ ^transの推定値が出されてもよい。本発明のいくつかの実施において、矩形式に配置された４つのビーム１１２を使用して、ω_ｘ、ω_ｙ、および、ｖ_ｚ ^transの両方の測定値が、出されてもよい。このような実施において、４つのビーム１１２から取得された測定は、ω_ｘ、ω_ｙ、および、ｖ_ｚ ^transを推定するために必要であるより多くの情報を含む。理解されるように、この所謂「過剰決定系（overdetermined system）」は、ω_ｘ、ω_ｙ、および、ｖ_ｚ ^transの推定値を改善するために使用されてもよい。

(72)記述したように、ライダーサブシステム１３０によって、様々な方位角および仰角で、並びに、様々な時間におけるポイントで取られた距離およびドップラ速度測定は、弾道的な動きを受ける剛体について、並進速度ｖ_ｚ ^transを推定し、２つの角速度、すなわち、ω_ｘおよびω_ｙを推定するために使用されてもよい。

(73)本発明のいくつかの実施において、理解されるように、ω_ｘ、ω_ｙおよびｖ_ｚ ^transは、様々なポイントで取得された測定から各測定時間で決定されてもよい。本発明のいくつかの実施において、ω_ｘ、ω_ｙおよびｖ_ｚ ^transは、特定の時間の間隔にわたって、一定であるものとしてもよい。本発明のいくつかの実施において、理解されるように、ω_ｘ、ω_ｙおよびｖ_ｚ ^transは、様々な測定時間で決定され、続いて、特定の時間の間隔を通して平均され、その特定の時間の間隔のω_ｘ、ω_ｙおよびｖ_ｚ ^transの推定値を提供してもよい。本発明のいくつかの実施において、特定の時間間隔は、例えば、ターゲット１９０の動き態様に依存して固定される、または、可変であってもよい。本発明のいくつかの実施において、理解されるように、最小二乗推定器は、特定の時間の間隔にわたって、ω_ｘ、ω_ｙおよびｖ_ｚ ^transの推定値を提供するのに使用されてもよい。理解されるように、ω_ｘ、ω_ｙおよびｖ_ｚ ^transの推定値は、他の仕方で取得されてもよい。

(74)本発明のいくつかの実施において、ビデオサブシステム１５０からの画像は、所与の時間の間隔を通じて、ターゲット１９０の３つの他の動き態様、すなわち、並進速度コンポーネントｖ_ｘ ^transおよびｖ_ｙ ^transおよび角速度コンポーネントω_ｚを推定するのに使用されてもよい。本発明のいくつかの実施において、ビデオサブシステム１５０によって取り込まれたフレーム１５５は、ターゲット１９０がフレーム１５５間で動くので、ターゲット１９０のポイントに対する、速度のｘおよびｙコンポーネントを推定するのに使用されてもよい。図７は、時間Ｔにおけるフレーム１５５と続く時間Ｔ＋Δtにおけるフレーム１５５との間の特定のポイントまたは特徴(feature) I_Aの位置における変化を例示する。

(75)本発明のいくつかの実施において、この位置の変化は、フレーム１５５における少なくとも２つの特定のポイントまたは特徴の各々について決定される（例示されていないけれども）。本発明のいくつかの実施において、位置の変化は、多くのポイントまたは特徴の各々のために決定される。本発明のいくつかの実施において、ターゲット１９０の並進速度コンポーネントｖ_ｘ ^transおよびｖ_ｙ ^trans、ならびに、角速度コンポーネントω_ｚは、フレーム１５５間の特徴I_A(T)とI_A(T+Δt)との位置における差と、時間Δtにおける差とに基づいて推定されてもよい。位置および時間におけるこれらの差は、特徴の一定の速度、すなわち、ターゲット１９０の並進速度コンポーネントｖ_ｘ ^transおよびｖ_ｙ ^trans、並びに、角速度コンポーネントω_ｚを推定するのに順に使用され得るｖ_ｘ ^featおよびｖ_ｙ ^featを決定するのに使用されてもよい。理解されるように、画像フレーム間のこのような速度の推定および特徴の角速度は、一般的に解釈される。

(76)本発明のいくつかの実施において、ターゲット１９０の多くの特徴は、連続フレーム１５５から抽出される。連続フレーム１５５間の時間間隔にわたってこれらの特徴の速度ｖ_ｘ ^featおよびｖ_ｙ ^featは、連続フレーム１５５間の各それぞれの特徴の位置における変化に基づいて決定されてもよい。最小二乗推定器は、抽出された特徴各々の位置変化から、並進速度ｖ_ｘ ^transおよびｖ_ｙ ^trans、並びに、角速度ω_ｚを推定するために使用されてもよい。

(77)本発明のいくつかの実施において、最小二乗推定器は、ターゲット１９０の並進速度ｖ_ｘ ^{ｔｒａｎｓ}、ｖ_ｙ ^trans、およびｖ_ｚ ^trans、並びに、角速度ω_ｘ、ω_ｙ、ω_ｚを推定するために、ライダーサブシステム１３０からの測定と、ビデオサブシステム１５０からのフレーム１５５における特徴の位置における変化とを使用してもよい。

(78)上述したように、ライダーサブシステム１３０およびビデオサブシステム１５０は、ターゲット１９０の動きを記述するために使用されてもよい６つのコンポーネントを推定するために使用されてもよい。これらの動きのコンポーネントは、ターゲット１９０の軌道を計算するために経時的に収集されてもよい。この軌道は、ターゲット１９０の動き安定化３次元画像を取得するために、ターゲット１９０の動きを補うために使用されてもよい。本発明の様々な実施において、ターゲット１９０の軌道は、様々な時間の間隔にわたって、軌道の動きを描くものとされてもよい。ターゲット１９０のさらに正確な軌道が決定されると、さらに正確な結合されたシステム１００が、例えば、ターゲット１９０の３次元画像、または、他の態様を描くために、ターゲット１９０の測定を調整してもよい。

(79)本発明の様々な実施において、ライダーサブシステム１３０によって測定がされるレートは、ビデオサブシステム１５０によってフレーム１５５が取り込まれるレートとは異なる。本発明のいくつかの実施において、ライダーサブシステム１３０によって測定がされるレートは、ビデオサブシステム１５０によってフレーム１５５が取り込まれるレートより実質的に高い。加えて、ビーム１１２は、ライダーサブシステム１３０によってスキャンボリュームを通してスキャンされるので、スキャンボリュームにおける異なるポイントにおける測定は、お互いに異なる時間で行われてもよいが、しかし、所与のフレーム１５５の画素は、実質的に同時に取り込まれる（ビデオ画像のコンテクスト内で）。本発明の様々な実施において、これらの時間の差は、ターゲット１９０のさらに正確な軌道を提供するために、分析される。

(80)図８に例示されるように、本発明のいくつかの実施において、スキャンパターン８４０は、ターゲットについてボリュームをスキャンするのに使用されてもよい。説明のために、スキャンパターン８４０は、単一のビームによってされた測定のパターンを描く。いくつかの実施において、明白であるように、複数のビームが、その対応するスキャンパターンを伴って各々使用されてもよい。例示されているように、特定のスキャンボリュームがスキャンされるまで、スキャンパターン８４０は、第１の高度８３１における方位で左から右へ、第２の高度８３２における方位で右から左へ、第３の高度８３３における方位で左から右に等、測定された個々のポイント８１０を含む。いくつかの実施において、スキャンパターン８４０は、結合されたシステム１００に関連付けられた様々なタイミング態様に対応する間隔に分割されてもよい。例えば、本発明のいくつかの実施において、スキャンパターン８４０は、ビデオサブシステム１５０のフレームレートに関連付けられた時間間隔に分割されてもよい。本発明のいくつかの実施において、スキャンパターン８４０は、特定の高度をスキャンすること（すなわち、全体の左から右、または、右から左スキャン）に関連付けられた時間間隔に分割されてもよい。本発明のいくつかの実施において、スキャンパターン８４０は、１つまたは複数の高度（すなわち、同じまたは異なる高度どちらかで、左から右、復路右から左スキャン）での往復スキャン８２０（往復スキャン８２０Ａ、往復スキャン８２０Ｂ、往復スキャン８２０Ｃとして図８に例示されている）に関連付けられた時間間隔に分割されてもよい。同様のタイミング態様は、（方位において水平にするのに対し）高度において垂直にスキャンする実施において使用されてもよい。他のタイミング態様が、同様に使用されてもよい。

(81)図８において例示されるように、再び目的のために、各間隔は、単一のスキャン（例えば、８３１、８３２、８３３など）または往復スキャン８２０におけるポイント８１０の数に順に対応し得るＮポイント８１０を含んでもよい。特定の間隔でのポイント８１０の収集は、ここではサブ‐ポイントクラウドと呼び、完全なスキャンパターン８４０のポイント８１０の収集は、ここでポイントクラウドと呼ぶ。本発明のいくつかの実施において、各ポイント８１０は、特定の方位、高度での距離およびドップラ速度のライダー測定、および、測定がされた時間に対応する。本発明のいくつかの実施において、各ポイント８１０は、距離（ｘ、ｙ、ｚ座標表された）およびドップラ速度のライダー測定、並びに、測定がされた時間に対応する。

(82)図９は、本発明の様々な実施に従って、ライダーサブシステム１３０からの測定に関連付けられた様々なタイミング態様を記述するのに有効であるタイミング図９００を例示している。タイミングダイアグラム９００は、ビーム１１２によってスキャンされたポイント８１０、それぞれのサブ‐ポイントクラウド９２０に対応する間隔にわたって収集された複数のポイント８１０から形成されたサブ‐ポイントクラウド９２０、および、スキャンパターンを通して収集された複数のサブ‐ポイントクラウド９２０から形成されたポイントクラウド９３０を含む。タイミングダイアグラム９００は、理解されるように、複数のビーム１１２によってスキャンされたポイント８１０を取り囲むように拡張されてもよい。

(83)各ポイント８１０は、ビーム１１２によってスキャンされ、各ポイント８１０に関連付けられた測定は、ライダーサブシステム１３０によって決定される。本発明のいくつかの実施において、ポイント８１０は、スキャンパターン（またはスキャンパターンセクション）を介してスキャンされる。ライダーサブシステム１３０が特定のサブ‐ポイントクラウド９２０のための測定を収集する間隔は、T_SPCと呼ばれる時間持続を有してもよい。本発明のいくつかの実施において、サブ‐ポイントクラウド９２０における個々のポイント８１０に関連付けられた測定のタイミングの差は、サブ‐ポイントクラウド９２０の特定の基準時間（例えば、t_RSPC）にポイントを調整するために、各ポイントに対する動き態様（例えば、並進速度および角速度）を使用することによって合わせられてもよい（例えば、並進速度および角速度）。この処理は、ターゲット１９０の動き態様に対し、個々のポイント８１０を安定化するものとして言及されてもよい。

(84)本発明のいくつかの実施において、速度は、時間間隔（すなわち、時間持続T_SPC間）にわたって一定であるものとしてもよい。本発明のいくつかの実施において、理解されるように、速度は、スキャンパターンの期間の間一定であるものとしてもよく、加速度効果は、基準時間に対するポイント８１０の測定を調整することが考慮される必要があるかもしれない。本発明のいくつかの実施において、時間間隔の副分割のための調整はまた、合わせられる必要があってもよい。図９に例示されるように、各サブ‐ポイントクラウド９２０の基準時間は、間隔のと中心点で選択されてもよい、しかし、他の基準時間が使用されてもよい。

(85)本発明のいくつかの実施において、サブ‐ポイントクラウド９２０をポイントクラウド９３０に結合する場合に、類似の調整が、なされてもよい。さらに詳しくは、本発明のいくつかの実施において、ポイントクラウド９３０におけるサブ‐ポイントクラウド９２０に関連付けられた測定のタイミングにおける差が、測定に関連付けられた動き態様を使用することにより合わせられてもよい。

(86)本発明のいくつかの実施において、ポイントクラウド９３０に合併された各サブポイントクラウド９２０に関連付けられた測定は、ポイントクラウド９３０に関連付けられた基準時間に個別に調整される。本発明のいくつかの実施において、基準時間は、フレーム時間（例えば、フレーム１５５に関連付けられた時間）に対応する。本発明の他の実施において、基準時間は、ポイントクラウド９３０におけるポイント１１１０の最も早い測定時間に、ポイントクラウド９３０におけるポイント１１１０の最も遅い測定時間に、ポイントクラウド９３０におけるポイント１１１０の測定時間の平均もしくは中心点に、または、ポイントクラウド９３０に関連付けられた他の基準時間に対応する。

(87)例示されてないけれども、本発明のいくつかの実施において、類似の調整は、個々のビーム１１２からのポイントクラウド９３０を、特定の基準時間における集計されたポイントクラウドに結合するようにされてもよい。本発明のいくつかの実施において、理解されるように、これは個々のポイントレベル、サブ‐ポイントクラウドレベルまたはポイントクラウドレベルで遂行されてもよい。この記述の残りのために、サブ‐ポイントクラウド９２０およびポイントクラウド９３０は、ターゲット１９０をスキャンするために、ライダーサブシステム１３０によって用いられたビーム１１２の各々から、それぞれの基準時間における、ポイント８１０の収集を参照する。

(88)本発明のいくつかの実施において、ターゲット１９０の動き態様は、様々な時間間隔にわたって一定であるものとしてもよい。例えば、ターゲット１９０の動き態様は、T_SPCまたは他の時間持続を通して一定であるものとしてもよい。本発明のいくつかの実施において、ターゲット１９０の動き態様は、所与のT_SPCにわたって一定であるが、必ずしもT_PCにわたって一定でないとものとしてもよい。本発明のいくつかの実施において、ターゲット１９０の動き態様は、T_SPCの増加部分にわたって一定であるが、必ずしもT_SPCにわたって一定でないものとしてもよい。結果として、本発明のいくつかの実施において、ターゲット１９０の軌道は、各々の個々の時間間隔にわたったターゲット１９０の動き態様に対応する各「区分（piece）」を有する、時間の区分的関数（piece-wise function）として表されてもよい。

(89)いくつかの実施において、動きを補償するためのタイミング調整は、第１の時間から第２の時間へのポイントの動きを説明する変換として表されてもよい。この変換は、例えばライダーサブシステム１３０からの測定に適用されるとき、所望の基準時間まで、特定のポイント（またはサブ‐ポイントクラウドまたはポイントクラウド、など）に関連付けられた測定時間からタイミング調整を実行してもよい。その上、測定は、ベクトルとして表される場合、この変換は、変換行列として表されてもよい。このような変換行列およびその特質は、一般的に知られている。

(90)理解されるように、変換行列は、ターゲット１９０の動きに基づいて、いずれかの時間におけるポイントの位置および方向ベクトルを、時間的に前か後いずれかの他の時間におけるそのポイントにとって対応する位置および方向ベクトルに置くのに容易に使用されてもよい。変換行列は、同様にサブ‐ポイントクラウド、複数のサブ‐ポイントクラウド、およびポイントクラウドに適用されてもよい。いくつかの実施において、変換行列は、ある間隔に表されたポイントクラウドを次の順次間隔で表されたポイントクラウドに調整するのに使用されるように、各間隔（またはサブ間隔）のために決定されてもよい。これらの実施において、各間隔は、ターゲット１９０の軌道のためのポイントクラウドを次の間隔に調整するために、関連付けられた変換行列を有する。いくつかの実施において、変換行列は、ある間隔に表されたポイントクラウドを前の順次間隔で表されたポイントクラウドに調整のに使用されるように、各間隔（またはサブ間隔）のために決定されてもよい。様々な間隔に変換行列を用いて、ポイントクラウドは、前か後いずれかの時間に対し、参照されてもよい。

(91)図１０は、本発明の様々な実施に従って、ビデオサブシステム１５０からの測定に関連するライダーサブシステム１３０からの測定に関連付けられた様々なタイミング態様を記述するのに有効であるタイミング図１０００を例示している。本発明のいくつかの実施において、ポイントクラウド９３０は、フレーム１５５間の時間間隔またはフレーム１５５間の他の時間の中心点に対し参照されてもよい。本発明のいくつかの実施において、ポイントクラウド９３０は、特定のフレーム１５５に対応するフレーム時間に対し参照されてもよい。理解されるように、ポイントクラウド９３０は、特定のフレーム１５５に関する他の仕方で参照されてもよい。

(92)図１０に例示されるように、PC_m-1は、フレームI_n-1のフレーム時間で参照されるポイントクラウド９３０の表現であり、PC_mは、フレームI_nのフレーム時間で参照されるクラウド９３０の表現であり、PC_m+1は、フレームI_n+1のフレーム時間で参照されるポイントクラウド９３０の表現であり、PC_m+2は、フレームI_n+2のフレーム時間で参照されるポイントクラウド９３０の表現である。いくつかの実施例において、理解されるように、ポイントクラウド９３０は、フレームに関連する他の時間およにフレーム時間で参照されてもよい。

(93)上述されているように、変換行列T_i,i+1は、i^thフレーム時間におけるポイントクラウド表現を、(i+1)^thフレーム時間におけるポイントクラウド９３０の表現に変換するために、決定されてもよい。図１０を参照すると、変換行列T_m-1,mは、PC_m-1をPC_mに変換するように使用されてもよく、変換行列T_m,m+1は、PC_mをPC_m+1に変換するのに使用されてもよく、変換行列T_m+1,m+2は、PC_m+1をPC_m+2に変換するのに使用されてもよい。このように、変換行列は、フレーム１５５に対応する異なる時間のポイントクラウド９３０を表すのに使用されてもよい。

(94)本発明の様々な実施にしたがって、第１の時間から第２の時間へポイントクラウド９３０を表すために、ポイントクラウド９３０に適用される変換行列は、異なる処理ステージで決定される。一般的に言えば、変換行列は、６度の動きパラメータω_ｘ、ω_ｙ、ω_ｚ、ｖ_ｘ ^trans、ｖ_ｙ ^trans、およびｖ_ｚ ^trans―これは、２つのステップで計算されてもよい：ライダーサブシステムからの第１にω_ｘ、ω_ｙおよびｖ_ｚ ^trans、並びに、ビデオサブシステムからの第２にｖ_ｘ ^trans、ｖ_ｙ ^transおよびω_ｚ―と直接関連する。

(95)図１１は、本発明の様々な実施にしたがって、ターゲット１９０の軌道を推定するために第１の処理ステージの第１フェーズの間使用されてもよい、処理システム１６０のコンフィギュレーションのブロック図を例示する。本発明のいくつかの実施において、第１ステージの第１フェーズの間、一連の初期の変換行列（ここではT_i,i+1 ⁽⁰⁾と呼ぶ）は、ターゲット１９０の動き態様の様々な測定値から決定される。例示されるように、ライダーサブシステム１３０は、一連の時間間隔の各々を通して、角速度ω_ｘおよびω_ｙ、並びに、並進速度v_z ^transを推定するように構成された最小二乗推定器１１１０への入力として各ポイントにおいての距離、ドップラ速度、方位、高度、および時間を提供する。本発明のいくつかの実施において、明らかなように、角速度ω_ｘおよびω_ｙ、並びに、並進速度v_z ^transは、各特定の時間間隔についての最小二乗推定器１１１０からの何らかの残余のエラーが、許容レベルに到達するまで、上述したように、時間間隔のサイズを変える（または、時間間隔をサブ間隔に分ける）ことによって反復して推定される。この処理は、ライダーサブシステム１３０によってターゲット１９０の測定がされる時間の間各継続時間について繰り返されてもよい。

(96)ターゲット１９０が、弾道的な動きを受ける（すなわち、加速度なしの一定の速度）剛体（すなわち、ターゲット１９０の表面上のポイントは、お互いに関して固定されたままである）として所与の時間間隔を通して描かれることができるとすると、ターゲット１９０上の所与のポイント８１０の瞬間速度は、次のように表される：
v = v^trans + [ω x (R − Rc − v^{trans *} Δt)] 数式（１）
ここで、
ｖは、所与のポイントの瞬間速度ベクトルであり、
v^transは、剛体の並進速度ベクトルであり、
ωは、剛体の回転速度ベクトルであり、
Ｒは、ターゲット上の所与のポイントの位置であり、
Ｒ_ｃは、ターゲットの回転の中心であり、
Δtは、所与の基準時間からの各測定時間の時間差である。

(97)ライダーサブシステム１３０から利用可能である測定があれば、瞬間速度のｚコンポーネントは、次のように表される：
v_z = v_z ^trans + [ω x (R − Rc − v^{trans *} Δt)] _z 数式（２）
ｖ_ｚは、瞬間速度ベクトルのｚコンポーネントであり、
ｖ_ｚ ^transは、並進速度ベクトルのｚコンポーネントであり、
[ω x (R − Rc − v^{trans *} Δt)] _zは、クロス積のｚコンポーネントである。

(98)本発明のいくつかの実施において、画像１５５からの様々な特徴に対応するフレーム間測定がなされてもよい。これらの測定は、特徴の各々に対し、および各フレーム間時間間隔に対し位置（例えば、x^feat、y^feat）、および、速度（例えば、ｖ_ｘ ^feat、ｖ_ｙ ^feat）に対応してもよい。位置のｚ座標は、ビデオサブシステム１５０から利用可能でない実施において、ｚの初期推定値は、例えば、ライダーサブシステム１３０からのポイントから平均ｚコンポーネントを使用してなされてもよい。最小二乗推定器１１２０は、関連する時間間隔の各々に対し、変換行列T_i,i+1 ⁽⁰⁾として表されてもよい、角速度ω_ｘ、ω_ｙ、および、ω_ｚ、並びに、並進速度ｖ_ｘ ^trans、ｖ_ｙ ^trans、およびｖ_ｚ ^transを推定する。本発明のいくつかの実施において、任意のフレーム間時間間隔に対応する累積する変換行列が、決定されてもよい。

(99)図１２は、本発明の様々な実施にしたがって、ターゲット１９０の軌道を推定するために第１の処理ステージの第２フェーズの間使用されてもよい、処理システム１６０のコンフィギュレーションのブロック図を例示する。本発明のいくつかの実施において、第１ステージの第２フェーズの間、新しい変換行列（ここではT_i,i+1 ⁽¹⁾と呼ぶ）は、ターゲット１９０の動き態様の様々な推定値から決定される。例示されているように、Ｎポイントの各々について、距離、ドップラ速度、方位、高度、および、時間のライダーサブシステム１３０からの測定は、第１フェーズの間上述されたような仕方と類似の仕方で、一連の時間間隔の各々にわたって、角速度ω_ｘおよびω_ｙ、並びに、並進速度ｖ_ｚ ^transを推定するために、変換行列T_i,i+1 ⁽⁰⁾に沿って、処理システム１６０の最小二乗推定器１１１０に入力される。

(100)第２のフェーズと第１のフェーズとの間の主要な差は、最小二乗推定器１１２０が、ｚ位置の単なる平均とは対照的に、T_i,i+1 ⁽⁰⁾に基づいた特徴の計算された特徴のｚ位置を使用するものである。最小二乗推定器１１２０は、関連する時間間隔の各々について、変換行列T_i,i+1 ⁽¹⁾として表され得る新しい角速度ω_ｘ、ω_ｙ、および、ω_ｚ、並びに、新しい並進速度ｖ_ｘ ^trans、ｖ_ｙ ^trans、およびｖ_ｚ ^transを推定する。また、本発明のいくつかの実施において、フレーム間時間間隔に対応する累積する変換行列が、決定されてもよい。

(101)図１３は、本発明の様々な実施にしたがって、ターゲット１９０の軌道を推定するために第１の処理ステージの第３フェーズの間使用されてもよい、処理システム１６０のコンフィギュレーションのブロック図を例示する。本発明のいくつかの実施において、第１ステージの第３フェーズの間、新しい変換行列（ここではT_i,i+1 ⁽²⁾と呼ぶ）は、ターゲット１９０の動き態様の様々な推定値から決定される。例示されるように、ライダーサブシステム１３０は、第１フェーズの間、上述された仕方と類似の仕方で、一連の時間間隔の各々にわたって、角速度ω_ｘ、ω_ｙ、および、並進速度ｖ_ｚ ^transを推定するために最小二乗推定器１１１０への入力として、各ポイントについての距離、ドップラ速度、方位、高度、および時間を提供する。このフェーズにおいて、前のフェーズの間に決定されたようなT_i,i+1 ⁽¹⁾に基づく各ポイントに対するｖ_ｘおよびｖ_ｙの計算された値が、上記で使用された特徴測定に対し、最小二乗推定器１１２０に入力される。

(102)第３フェーズと第２フェーズとの間の主要な差は、関連するフレーム１５５の間の動きを記述するためにT_i,i+1 ⁽¹⁾を使用することである。最小二乗推定器１１１０、１１２０は、関連する時間間隔の各々に対する変換行列T_i,i+1 ⁽²⁾として表され得る新しい角速度ω_ｘ、ω_ｙ、および、ω_ｚ、並びに、新しい並進速度ｖ_ｘ ^trans、ｖ_ｙ ^trans、およびｖ_ｚ ^transを推定する。また、本発明のいくつかの実施において、フレーム間時間間隔に対応する累積する変換行列が、決定されてもよい。

(103)本発明の様々な実施において、第１の処理ステージのフェーズのいずれかは、追加の情報が、ターゲット１９０の動きに関して取得されると、何回でも繰り返され得る。例えば、変換行列が改善されると、各ポイント８１０は、その測定時間に関して、所与の基準時間でよりよく表されてもよい。

(104)第１の処理ステージの間、各ポイントの並進速度は（ライダー測定から利用可能ではないが）、フレーム１５５からの特徴を利用して推定されてもよい。全ての速度コンポーネントが、各ポイントに対し知られ、推定されると、変換行列は、図１３に例示されるように、特徴測定を使用せずに決定されてもよい。

(105)図１４は、本発明の様々な実施にしたがって、ターゲット１９０の軌道を精密化（refine）するために第２の処理ステージの第１フェーズの間使用されてもよい、処理システム１６０のコンフィギュレーションのブロック図を例示する。第１の処理ステージは、画像１５５がフレーム時間のいずれかで画像にマップされることが可能になるのに十分な変換行列を提供する。そのようにマップされると、同じフレーム時間に変換された異なる画像からの（画像１５５における特徴とは対照的に）画素自身における差は、ターゲット１９０の軌道をさらに精密化するのに使用されてもよい。いくつかの実施において、様々な複数フレーム修正が決定されてもよく、これは、順に、最小二乗推定器を通して、連続画像の間のオフセットΔx_i,i+1、Δy_i,i+1、Δθz_i,i+1を取得するために使用されることができる。これらの修正は、変換行列を精密化するのに使用されてもよい（例えば、行列T_i,i+1 ⁽²⁾からT_i,i+1 ⁽³⁾へ）。本発明のいくつかの実施において、第２の処理ステージの第１フェーズの間、一連の新しい変換行列（ここでは、T_i,i+1 ⁽³⁾と呼ぶ）は、画像I_iおよび画像I_j、すなわち、Δx_i,j、Δy_i,j、Δθz_i,j、の間のオフセットに基づくT_i,i+1 ⁽²⁾の精密化である。例示されているように、推定器１４１０は、同じフレーム時間の画像を表すために、適切な変換行列T_i,j ⁽²⁾ を使用して、画像I_iと画像I_jとの間の差を決定する。

(106)図１５は、本発明の様々な実施にしたがって、ターゲット１９０の軌道をさらに精密化するために第２の処理ステージの第２フェーズの間使用されてもよい、処理システム１６０のコンフィギュレーションのブロック図を例示する。更なる正確性が必要である限りにおいて、第２の処理ステージの第１フェーズ（例えば、T_i,i+1 ⁽³⁾）からの変換行列は、さらに変換行列を精密化するために（ここでは、T_i,i+1 ⁽⁴⁾と呼ぶ）ライダーサブシステム１３０からの測定と関係して、使用されてもよい。本発明のいくつかの実施において、このフェーズの間、何れかの重複領域３６０、４５０内で発生するライダーサブシステム１３０からの測定が、使用される。これらの測定は、異なる時間の、同じポイント（または実質的に同じポイント）についてされた複数の測定に対応する。このフェーズは、異なる時間でされたターゲット１９０上の同じポイントの座標測定が、完璧な変換行列でお互いに精密に変換するべきであるという前提に基づいている。すなわち、同じｘおよびｙ座標を有する異なる時間に測定されたポイントは、同じｚ座標を有するべきである。言い換えると、基礎的ポイントの全ての座標は、時間的に異なるポイントでお互いに直接マップされるべきである。異なる時間の測定間のｚ座標における差（すなわち、修正）は、抽出され、最小二乗推定器に入力される。最小二乗推定器を通じて、連続フレーム間の変換パラメータに対する修正は、取得されてもよく、Δz_i,i+1、Δθx_i,i+1、およびΔθy_i,i+1として表されてもよい。これらの修正は、変換行列を行列T_i,i+1 ⁽³⁾ からT_i,i+1 ⁽⁴⁾へ精密化するのに使用されてもよい。本発明のいくつかの実施において、オーバスキャンビームの使用に対応する複数の測定は、類似の仕方で使用されてもよい。

(107)ここで記述されているように、正確な変換パラメータを取得することは、一方で、ターゲットの６自由度（６DOF）トラッキングを可能にし、他方で、スキャンの間いずれかのフレーム時間に再現されることができるターゲットの動き補償３Ｄ画像の生成を可能にする。各フレーム時間で動き補償画像を有することはまた、それぞれの画素の運動の情報を携えており、各それぞれの画像についての動きのぼけを取り除くために使用されることができる。ターゲットの各静止した３Ｄ画像はまた、いずれかの所与の時間で、姿勢について調整されることができる。加えて、変換パラメータは、複数の画像を、選択された画像のフレーム時間に変換するために使用され、依って、同じフレーム時間における複数の画像を取得する。これらの複数の画像は、超解像度画像を収集して、各フレーム時間における画像の解像度を上げるために使用されてもよい。本発明の様々な実施にしたがって、解像向上は、６ＤＯＦトラッキングおよび３Ｄ画像の安定化を通して発生する。いくつかの実施において、ライダーサブシステム１３０からの３Ｄ測定およびビデオサブシステム１５０からの２Ｄビデオ画像は、画像の解像および質を向上するのに使用されてもよい。

(108)ここに記述されているように、動いているターゲットのスキャンの間、一連のビデオ画像は、ライダーサブシステム１３０から３Ｄポイントクラウドを形成する一連のポイントに沿って、ビデオサブシステム１５０によって取得される。典型的に、ビデオ画像は、１．５秒の典型的なスキャン時間を通して４６ビデオ画像またはフレームが取得され得るように（ｔ＝０ｓおよびｔ＝１．５ｓの両方におけるフレームを説明する）、毎秒３０フレームのレートで取得され得る。動き安定化の処理の間、静止した３Ｄ画像は、各フレーム時間で決定されてもよく、このような３Ｄ画像のうちの４６画像は、スキャン時間を通して決定されてもよい。いくつかの実施において、このことは、本質的に、いずれかのポイントの軌道を定義し、その動きが、いずれかのフレーム時間（または他の時間）で決定されるのを可能にする様々な変換パラメータ（すなわち、ｖ_ｘ、ｖ_ｙ、ｖ_ｚ、ω_ｘ、ω_ｙおよびω_ｚ）を決定することによって遂行されてもよい。いくつかの実施において、変換パラメータは、スキャン時間の間に取られた各画像における各画素の動きを定義するのに使用されてもよく、依って、各フレーム時間の各画像におけるその位置を決定する。一般性を失うことなく、これらの３Ｄビデオ画像の各々はまた、オリジナルの画像が任意のおよび／または可変の位置で取り込まれたとしても、「関心のある姿勢（posture of interest）」（例えば、正面像、側面像など）に変換されることができる。

(109)いくつかの実施において、画像における各ポイントの軌道を知ることで、処理システム１６０が、関心のある姿勢における各像から動きのぼけを取り除くために様々なぼけ除去技術を適用することを可能にする。

(110)「System and Method for Refining Coordinate-Based Three-Dimensional Images Obtained from a Three-Dimensional Measurement System」と題された関連する米国特許出願に記述されるように、いくつかの実施において、処理システム１６０は、ライダーパラメータ（例えばライダーサブシステム１３０によってなされた３Ｄ測定から取得されるｖ_ｚ、ω_ｘ、ω_ｙ）、および、ビデオパラメータ（例えば、ビデオサブシステム１５０からの２Ｄビデオ画像に関連付けられた測定から取得されるｖ_ｘ、ｖ_ｙ、ω_ｚ）を精密化することにより、（フレーム間のポイントの軌道を定義する）変換パラメータを精密化してもよい。いくつかの実施において、変換パラメータは、変換された画像（すなわち、所与のフレーム時間に変換された画像）が、その所与のフレーム時間におけるオリジナル画像（すなわち、所与のフレーム時間に実際に取り込まれた画像）に一致するように、精密化されてもよい。この処理は、オリジナル画像のフレーム時間に変換された”積み重ねられた(stacked)”４５の独立した画像のセットを（および、４６番目の独立した画像も）もたらす。言い換えると、（スキャン時間にわたって）各フレーム時間で決定された３Ｄ画像は、オリジナル画像のフレーム時間（すなわち、オリジナル２Ｄ画像が、ビデオサブシステムによって取り込まれるフレーム時間、および／または、オリジナル２Ｄ画像のオリジナル２Ｄ画像／フレーム時間に対応するオリジナル３Ｄ画像のフレーム時間）に変換されてもよい。

(111)いくつかの実施において、処理システム１６０は、変換された３Ｄ画像に基づいて、向上した(enhanced)情報を決定してもよい。いくつかの実施において、変換された画像は、向上した情報が、いずれかの所与のフレーム時間における変換された画像の１つまたは複数のポイント（座標および／または画素位置）で決定されてもよいように、”積み重ねられ”てもよい。いくつかの実施において、いずれかの所与のフレーム時間における向上した情報の積み重ねは、オリジナル３Ｄ画像の解像を向上するために、標準超解像方法論（例えば、バックプロパゲーション）で使用されてもよい。いくつかの実施において、向上した情報は、各変換された画像のポイントに関連付けられた、ライダーに基づくまたはビデオに基づく測定における変化、差、および／または向上を含んでもよい。いくつかの実施において、向上した情報は、ポイントに関連付けられた画素強度情報および／または他の情報を含んでもよい。いくつかの実施において、向上した情報は、画像の解像を上げるためにオリジナル３Ｄ画像に追加されてもよい。いくつかの実施において、標準超解像アプローチとは対照的に、積み重ねられた変換された画像は、１つまたは複数の関心のビデオフレームに変換されてもよい。

(112)いくつかの実施において、追加の／さらに高い解像が達成される向上した情報を提供するために、ターゲットは、スキャン時間（並進もしくは回転のどちらか、または、両方）の間動いているべきである。代替的に、静止したターゲットの場合では、獲得システム１００が（すなわち、結合されたライダーおよびビデオシステム）、ターゲットに関して動く場合、画像のさらに高い解像度は、取得されることができる。いくつかの実施において、さらに高い解像度を達成するのに必要な運動の量は、連続ビデオフレーム間の画素のおおよそ少なくとも小数部（０．５）である。

(113)図１６は、本発明の様々な態様に従って、３Ｄ画像の解像度を上げるシステムによって実行された実例動作を描くフローチャートを例示している。いくつかの実施において、記述された動作は、ここに記述されたコンポーネントの１つまたは複数を使用して遂行されてもよい。いくつかの実施において、様々な動作は、異なるシーケンスで実行されてもよい。他の実施において、追加の動作は、図１６に示された動作のいくつかまたは全てに沿って実行されてもよい。さらに他の実施において、１つまたは複数の動作は、同時に実行されてもよい。さらに他の実施において、１つまたは複数の動作は、実行されなくてもよい。これにしたがって、図１６に記述された動作および他の図面の図は、本質的に例であり、そのようにして、制限としてみなされるべきでない。

(114)いくつかの実施において、動作１６０２では、処理１６００は、ターゲット上の複数のポイントに対する（例えば、ライダーサブシステム１３０からの）複数の３Ｄ測定、および、（例えば、ビデオサブシステム１５０からの）ターゲットの複数の２Ｄ画像を受信してもよい。

(115)いくつかの実施において、動作１６０４では、処理１６００は、複数の３Ｄ測定および複数の２Ｄ画像に基づいてターゲットの複数の３Ｄ画像を生成してもよい。いくつかの実施において、各３Ｄ画像は、ターゲットの各２Ｄ画像に関連付けられたフレーム時間に生成される。

(116)いくつかの実施において、動作１６０６では、処理１６００は、複数の３Ｄ画像の各々における動きのぼけを取り除いてもよい。いくつかの実施において、処理１６００は、６ＤＯＦトラッキング（すなわち、６ＤＯＦ変換パラメータ）から取得されたそれぞれの画素速度の基礎的情報に基づいて全ての２Ｄ画像の動きのぼけを取り除いてもよい。

(117)いくつかの実施において、動作１６０８では、処理１６００は、６ＤＯＦ変換パラメータに基づいて、複数の３Ｄ画像の各々を、選択された画像（例えば、オリジナルの３Ｄ画像または２Ｄ画像）のフレーム時間に変換してもよい。

(118)いくつかの実施において、動作１６１０において、処理１６００は、同じフレーム時間に変換された、変換された複数の画像に基づいて向上した情報を決定し、各画素における強度の正確さを上げ、および／またはオリジナル画像の解像を上げ、最終的に３Ｄ画像の向上した解像を備えてもよい。言い換えると、処理１６００は、変換された複数の画像に基づいて所与のフレーム時間における元の画像に対する向上した情報を決定してもよい。

(119)本発明は、様々な実施についてここに記述されているが、そのように制限されずに、当業者に明白であるように、続く特許請求の範囲の範囲によってのみ制限される。本発明のこれらのおよび他の実施は、上記に提供された開示および添付の図面を熟慮して、明らかになるだろう。加えて、本発明の１つの実施に関して記述された様々なコンポーネントおよび特徴は、同様に他の実施で使用されてもよい。

Claims (4)

1. ターゲットの３次元画像の解像度を上げるシステムであって、
   前記システムは、
   前記ターゲットに向かって少なくとも２つのビームを向け、および、前記少なくとも２つのビームの各々について前記ターゲット上の複数のポイントに対し複数の３次元（３Ｄ）測定を生成するように構成されたライダーサブシステムと、
   前記ターゲットの複数の２次元（２Ｄ）画像を提供するように構成されたビデオサブシステムと、
   前記ライダーサブシステムから、前記ターゲット上の前記複数のポイントに対する前記３Ｄ測定を受信し、
   前記ビデオサブシステムから、前記ターゲットの前記複数の２Ｄ画像を受信し、
   前記ターゲット上の複数のポイントに対する前記３Ｄ測定と、前記ターゲットの前記２Ｄ画像とに基づいて、前記ターゲットの複数の３次元（３Ｄ）画像を生成し、前記３Ｄ画像の各々は、前記ターゲットの前記２Ｄ画像の各々に関連付けられたフレーム時間で生成され、
   前記複数の３Ｄ画像の各々において、動きのぼけを取り除き、
   前記複数の３Ｄ画像の各々を、複数の変換パラメータに基づいてオリジナルの３Ｄ画像のフレーム時間に変換し、
   前記変換された複数の３Ｄ画像の各々に基づいて、前記オリジナルの３Ｄ画像について向上した情報を決定する
   ように構成されたプロセッサと
   を備える、システム。
2. 前記ターゲットは、動くターゲットである請求項１に記載のシステム。
3. 前記ターゲットは、静止したターゲットであり、ここで、前記ライダーサブシステムおよび前記ビデオサブシステムは、前記静止したターゲットに関連して動く請求項１に記載のシステム。
4. 動きのぼけを取り除くように構成された前記プロセッサは、
   前記複数の変換パラメータから取得された画素速度情報に基づいて動きのぼけを取り除くようにさらに構成された請求項１に記載のシステム。

Images