JP2006520042A - スキャニング装置及び方法 - Google Patents

Abstract

移動物体をスキャニングする装置は、物体がセンサ視野(16)を通過するときに物体の一連の映像を収集するように配向された可視波長帯域センサ(12)を備えている。映像プロセッサ(14)は、これら一連の映像を使用して、複合映像を形成する。又、映像プロセッサ(14)は、一連の映像の現在映像及びその先駆体映像に対する映像ピクセルデータを記憶する。現在映像及びその先駆体映像の情報を使用して、映像を分析すると共に、現在映像のピクセルが物体の部分に対応する確率を指示する見込み尺度を導出する。更に、映像プロセッサ(14)は、見込みで重み付けされたピクセルから現在映像とその先駆体との間の動きを推定する。次いで、物体映像の動きの各推定に基づいて位置するフレームから複合映像を発生する。或いは又、映像の動きは、物体の動きを直接感知して映像タイミング信号を与えるドップラーレーダー(200)のような速度センサにより検出されてもよい。

Description

本発明は、スキャニング装置及びスキャニング方法に係り、より詳細には、物体とスキャニング装置との間に相対的な移動が生じたときにとられる一連の映像として物体を像形成するように意図された装置に係る。

物体とセンサとの間の相対的移動に基づいて物体のスキャニングを行う像形成装置が知られている。物体がセンサの視野を横切って移動する場合、物体の区分の一連の映像又はフレームとして物体の映像を収集することができる。これは、物体の運動方向に延びるフレームシーケンスを生じさせる。このような像形成装置は、比較的狭い検出器を使用して、各フレーム映像を収集することが多く、狭い検出器の寸法に平行な方向に次々のフレームが変位され、そしてスキャンは、プッシュ−ブルーム（押し箒）スキャンと称される。この構成は、スキャンされるべき物体にセンサを接近させる必要がある場合、或いは高い倍率を使用して、充分な解像度を与えるべき場合に、一般に使用される。しかしながら、単一のフレームで物体全体を像形成できるに充分な広い視野を検出器に与えることは、実際的でないか、又は不可能なこともある。その例として、ハンドバッグを検査するための空港用Ｘ線システムや、衛星地上スキャニングイメージャーが含まれる。

特許文献１（ＷＯ０３／００３３１１号）は、移動ターゲットを監視するためのターゲット追跡システムを開示している。ＪＰ７２８４０１６号は、デジタル映像安定化システムのための適応運動ベクトルの決定を開示している。ＧＢ２２２２５００号は、２つの画像の領域を相関させて運動ベクトルを発生することによりテレビ画像の動き評価を開示している。

物体全体を単一のフレームで像形成できない像形成システムでは問題に遭遇する。その第１の問題は、物体がセンサを越えて移動するときに像形成システムによりとられる個々のフレームから物体の複合映像を組み立てねばならないことである。複合映像における各フレームの位置付けは、厳密にスキャン速度に依存する。実際のスキャン速度が、映像の再構成において仮定された速度に充分厳密に一致しない場合には、複合映像が歪んで見え、その特徴を識別するのが困難なことがある。これは、一定速度で移動している物体、例えば、全てが同じ低い速度で移動するコンベア上の物品、を監視するのに使用されるスキャナにとっては、問題にならない。しかしながら、スキャニングシステムとは独立して速度が制御される場合には、著しい問題になり得る。これは、コンベアがランダムに移動するローラーに置き換えられた場合、又はスキャン装置のオペレータではなく乗物の運転者がスキャン速度を制御するような移動乗物をスキャニングする場合である。

この形式のイメージャーに対する第２の問題として、スキャニングの目的が、多くの場合に、便利な放射波長において不透明な容器の内容物を識別することである。容器は、通常、Ｘ線を透過するが、Ｘ線は、潜在的に有害なもので、健康や安全上大きな問題を生じるだけでなく、容器の内容物にダメージを及ぼすこともあるので、常に適当ではない。例えば、ボックスが敏感な電子装置と共に正しくパッケージされたことをチェックすることが要求される場合に、Ｘ線検査は、パッケージを確認するが、装置にダメージを及ぼすことがある。更に、単一のスキャニング波長は理想的なものではなく、従って、調査及び検査システムは、例えば、可視帯域像形成、Ｘ線像形成、二酸化炭素検出、ミリメーター波像形成、及び熱式像形成のような技術を組み合わせて使用することが意図されている。これらの技術は、全て、種々の利点と欠点を持ち合わせている。

可視帯域イメージャーは、移動容器の外部の高解像度映像を発生できるが、それが透明でない限り（これはあり得ない）、その内容物は見えない。このような像形成は、付加的な（能動的な）照明が使用されない限り、夜間に使用することはできず、そして日光の中で屋外に使用した場合には、太陽光線がイメージャーの光学系に入り込むと、眩光を受け易くなる。固定位置カメラは、太陽が空を横切って移動するので、一日中、眩光を回避するために、非常に入念に位置設定することを必要とする。

Ｘ線像形成は、Ｘ線吸収材料と整列されない限り、多数の容器形式の内容物の適度な解像度の像を形成することができる。累積的露出は、生きた組織にとって危険であり、従って、著しい安全性の問題が生じる。

二酸化炭素検出は、動物生命（例えば、密輸されるペット）の存在を検出するのに有用であるが、検出器を容器内に手で挿入しなければならないという点で侵襲的技術である。

ミリメーター波像形成は、ある容器、例えば、織物又は薄いボール紙で作られた容器の内容物の低解像度映像を与えることができる。ミリメーター波イメージャーは、多くの場合に、付加的な放射器を必要とせずに、自然の周囲エネルギーの反射を像形成するだけであるという点で、受動的モードで動作され、従って、この技術は、Ｘ線の健康上の問題をもたない。しかしながら、この波帯域では、専門的でない観察者により予想されるものについて物体が非常に異なって見えるので、映像を解釈することが困難である。更に、技術的又は財務的な事柄から、解像度、視野及び／又は視界深度が限定された像形成センサの選択を招き、これらは、全て、単一のセンサ映像から全体的なシーンを見ることを困難にする。

熱式像形成は、熱波長帯域（即ち、３−５μｍ又は８−１２μｍ）において容器の外部の中間解像度映像を形成することができる。これは、金属外皮容器の内部にもたれかかった内容物の何らかの異常を検出することができる。

ＷＯ０３／００３３１１号公報

一般に、像形成が不完全であるか、又は内容物が、付加的な問題を引き起こす技術により像形成され、即ち、上述したように、Ｘ線は潜在的に有害であり、そして二酸化炭素検出は侵襲的で、トラフィックフローを中断させる。受動的感知は、健康上及び安全上の観点から望ましく、特に、大衆がチェックポイントにアクセスできるときに望ましいが、単一の受動的イメージャーでは、おそらく遭遇する全ての容器の内容物の映像を撮影できない。従って、受動的感知は、多数のセンサを使用して、多数の波長帯域における映像を収集する場合にのみ効果的に使用される。このような構成は、単一センサで達成できる以上の完全な検査又は監視を与える。

各々が各センサモードをもつ複数の線スキャンイメージャーを使用して、異なる波長帯域の映像を与える場合には、付加的な問題が生じる。例えば、可視、熱式及びミリメーター波長帯域における映像がオペレータに一緒に表示されて比較を容易にするのが効果的である。これは、容器の見掛け及び内容物の異常を検出する上でオペレータを助成する。例えば、可視又はミリメーター波長帯域で観察される形状が、それ自身無害に見えるが、この知識が、容器の映像の対応部分も熱的符号を有することと結合された場合には、オペレータに警告を与え、容器が疑わしいと指示することができる。逆に、１つの帯域において疑わしく見えるもの（例えば、熱的符号）が、別の帯域における映像（例えば、異なる熱放射率を有する異なるカラーペイント）により説明できる場合には、無駄な手動サーチを回避することができる。このような有用な比較を容易にするために、３つ全部の各波長帯域において異なる検出器で収集された移動容器の映像をスケーリングして位置合わせする必要がある。更に、これは、リアルタイムシステムにおいて有用であるに充分な短い時間スケールで行う必要がある。これは、従来技術では、パワフルで且つ高価な計算リソースに依存しないと、不可能である。

異なるセンサモードを使用して得られた映像を位置合わせするための２つの主たる障害は、センサのスキャンパターンが異なることと、物体が移動することである。上述した潜在的に変化する物体速度の問題は、異なる映像の比較を容易にする上で対処しなければならない１つの観点に過ぎない。

全ての像形成技術は、物体の速度が映像捕獲速度に不一致である場合、映像欠陥が生じるという潜在的な問題で悩まされている。例えば、物体のサンプリングが過少である場合には、映像にギャップが現れる。このような欠陥は、映像の利用性を低減させる。更に、異なるセンサモードは、異なる仕方で影響され、異なる映像の位置合わせを複雑にする。

スキャン速度は一定と仮定されるが、センサを通過する真の物体速度が変化する場合には、速度の低下又は上昇により、物体の移動方向に沿って再構成される映像に各々伸張又は圧縮が生じる。この場合も、映像のクオリティ及び利用性が低下する。センサの異なるモードは、おそらく、異なるスキャンレートを有するので、それらの映像は、この速度変化により異なる仕方で影響される。この場合も、映像の位置合わせは、より困難になる。

最後に、センサは、潜在的に異なる解像度をもつ異なる動作波長を有する。これも、映像の位置合わせを複雑にする。

従って、映像を処理して複合映像を形成するスキャニングシステムであって、スキャニング速度の変化により生じる著しい映像低下を回避するようなスキャニングシステムを提供する要望があることが認められる。

本発明は、移動物体をスキャニングするための装置であって、物体がセンサ視野を通過するときに物体の一連の映像を収集するように配向されたセンサと、その一連の映像を入力しそしてそこから複合映像を形成するように構成された映像処理手段とを備えた装置において、この映像処理手段が、
ａ）一連の映像内の映像と映像との間の物体映像の動きの推定を発生するための動き推定手段と、
ｂ）その推定された物体映像の動きから導出された位置において一連の映像が貢献するところの複合映像を発生するための表示処理手段と、
を備えたことを特徴とする装置を提供する。

本発明による装置は、一定であることが要求されない速度で装置を越えて移動する物体を像形成するのに使用できるという効果を発揮する。その結果、本発明は、運転者制御型移動乗物のような物体を像形成するのに特に適しており、即ち乗物の速度が装置のオペレータにより制御されるのではないときに特に適している。例えば、空港や料金所や混雑する充電ポイントや計量台等において、車両、バン、トラック及び他の移動乗物を有効にスキャニングする需要が増大している。更に、本発明は、映像情報を迅速に処理することができる。これは、異なるセンサが異なる波長で動作するマルチセンサ像形成システムへの使用を初めて実現可能にした。

好ましい実施形態では、動き推定手段は、一連の映像からの現在映像内の多数のピクセルの各々に対し、各映像ピクセルが物体の一部分に対応する見込みを指示する見込み尺度を導出するための映像アナライザを備え、そして動き推定手段は、その見込み尺度に基づいて重み付けされた映像ピクセルから、現在映像とその先駆体との間の物体映像の動きの推定を発生するように構成される。

この実施形態では、物体がセンサの瞬時視野を埋める必要がなく、即ち映像ピクセルは、物体の一部分に関連したものであるか、又はそれが現れるシーンに関連したものであると分類され、この分類は、映像内に含まれた情報を使用して行われる。

センサは、スキャニングされるべき移動物体に対して予め構成された動き方向に実質的に垂直に整列された光学軸を有してもよい。一連の映像における現在映像の先駆体は、直前の映像でよい。

映像アナライザは、現在映像におけるピクセルの強度と、現在映像の先駆体において同等に位置するピクセルの強度との比較に基づいて、各ピクセルに対する見込み尺度を導出するように構成できる。見込み尺度は、現在映像におけるピクセルの強度と、それと同等に位置するピクセルの強度との間の差の二乗に比例するものでよい。映像アナライザは、現在映像ピクセルの強度と、現在映像ピクセルにより像形成されるものと同じである物体領域を像形成すべく推定された先駆体におけるピクセルの強度との比較に更に基づいて、各ピクセルに対する見込み尺度を導出するように構成でき、先駆体におけるピクセルは、物体映像の動きの現在推定が真の映像の動きを表わすという仮定に基づいて動き補償により導出された位置を有する。

或いは又、見込み尺度は、現在映像ピクセルの強度と、その先駆体に同等に位置する第２ピクセルの強度と、該先駆体内の第３ピクセルであって、現在映像ピクセルにより像形成されるものと同じである物体領域を像形成すると推定される第３ピクセルの強度と、から導出でき、該第３ピクセルは、物体の動きの補償により導出される位置を有し、そして見込み尺度（ｗ_f(ｘ，ｙ)）は、負でない定数をｃとし、そして例えば、１から４又は１．５から２．５の範囲の正の数をｎとすれば、次の式で与えられる。

或いは又、第３ピクセルは、物体の動きの補償により導出される位置を有してもよく、そして見込み尺度は、物体映像強度におけるノイズの標準偏差σ_f及び背景映像強度におけるノイズの標準偏差σ_bの推定値を使用して、次の方程式に基づいて導出される。

但し、

及び

映像アナライザは、物体の動きの第１の推定を使用して、第２のそのような推定を計算し、その後、以前の繰り返しにおいて動き推定手段により発生された物体の動きの推定に基づいて見込み尺度を繰り返し計算するように構成されてもよく、そして動き推定手段は、各々の以前の動き推定を使用して更新された見込み尺度に基づいて現在の繰り返しに対する物体の動きの推定を繰り返し発生するよう構成される。

センサは、実質的に長方形の視野をもつフレーミングセンサでよく、そして表示処理手段は、一連の映像の各々に対し、センサの視野内で複数のストリップから映像データを取り出し、そして各映像における各ストリップからの貢献を各々有する対応する複数の複合映像を発生するよう構成される。又、センサは、第１センサでよく、前記装置は、物体が少なくとも１つの他のセンサの視野を通過するときに物体の各一連の映像を得るように配向された少なくとも１つの他のセンサを備え、そして表示処理手段は、更に、第１センサの一連の映像から導出された映像の動きの推定に基づいて各一連の映像から各複合映像を発生するように構成される。少なくとも１つの他のセンサは、第１のセンサとは異なる波長で像形成でき且つ異なる方向に沿って配向された少なくとも１つのセンサでよい。又、第１のセンサは、可視帯域イメージャーでよく、そして少なくとも１つの付加的なセンサは、可視帯域イメージャー、ミリメーター波イメージャー及び熱式イメージャーの少なくとも１つである。

動き推定手段は、物体の速度に比例する周波数をもつ出力信号を与えるドップラーレーダーのような物体速度センサでよい。前記装置は、ドップラーレーダーの出力信号をタイミングどりするための共通のクロック信号を与えると共に、これらクロック信号パルスのカウントに関して一連の映像における映像を収集するように構成できる。又、各々のフレーム信号を与えて、ドップラーレーダー出力信号から導出された映像及び時間／位置データをタイミングどりして、物体移動をタイミングどりし、更に、補間を行って映像のタイミングを物体の位置に関係付け、そして物体の位置に基づいた位置にある映像から複合映像を形成するように構成できる。

更に別の態様において、本発明は、運転者により制御される移動乗物をスキャニングするための装置であって、乗物がセンサ視野を通過するときに乗物の一連の映像を収集するように配向されたセンサと、この一連のセンサ映像を入力しそしてそこから乗物の複合映像を形成するように構成された映像処理手段とを備えた装置において、映像処理手段が、
ａ）一連の映像の中の現在映像内の多数のピクセルの各々に対し、そのピクセルが乗物の一部分に対応する見込みを指示する各々の見込み尺度を導出するための映像分析手段であって、現在映像及びその先駆体内に含まれた情報を使用するように構成された映像分析手段と、
ｂ）その見込み尺度に基づいて重み付けされた映像ピクセルから現在映像とその先駆体との間の物体映像の動きの推定を発生するための動き推定手段と、
ｃ）その推定された物体映像の動きから導出された位置において一連のフレームが貢献するところの複合映像を発生するための表示処理手段と、
を備えたことを特徴とする装置を提供する。

別の態様において、本発明は、物体がセンサ視野を通して移動するときにセンサに得られる一連の映像から複合映像を構成する方法において、
ａ）現在映像を処理のために入力するステップと、
ｂ）物体映像の動きの推定を導出するステップと、
ｃ）一連の映像に対して前記ステップａ）及びｂ）を繰り返すステップと、
ｄ）物体映像の動きの推定から導出された位置において一連の映像フレームが貢献するところの複合映像を構成するステップと、
を備えたことを特徴とする方法を提供する。

好ましい実施形態において、前記方法のステップｂ）は、
ｂ１）現在映像におけるピクセルに対し、各ピクセルが物体の部分に対応する見込みを指示する見込み尺度を導出する段階と、
ｂ２）その見込み尺度に基づいて重み付けされた映像ピクセル情報から、物体映像の動きの推定を導出する段階と、
ｂ３）前記推定が収斂するか又は予め構成された繰り返し限界に達するまで、前記段階（ｂ２）で導出された物体映像の動きの推定を使用して、前記段階（ｂ１）及び（ｂ２）を繰り返して、前記段階（ｂ１）で導出された見込み尺度を更新し、これにより、現在映像に対する物体映像の動きの第１推定を発生する段階と、
を備え、更に、前記ステップｄ）は、物体映像の動きの最終推定から導出される位置において、一連の映像が貢献するところの複合映像を構成する段階を含む。

前記ステップ（ｂ）は、現在映像内に含まれた情報と、その先駆体内に含まれた情報とを比較して、見込み尺度を導出する段階を含んでもよい。更に、現在映像の各ピクセルに対し、ピクセル強度と、その先駆体の同等の位置におけるピクセル強度との比較を行い、そしてこのような比較を使用して見込み尺度を導出する段階を含んでもよい。

見込み尺度は、現在映像におけるピクセルの強度と、その先駆体の同等の位置のピクセルの強度との間の差の二乗に比例するものでよい。

現在映像におけるピクセルに対し、前記ステップ（ｂ）は、更に、
ｂ４）現在映像とその先駆体との間の物体映像の相対的な動きを、映像の真の動きを表わす物体映像の動きの現在推定に基づいて補償する段階と、
ｂ５）現在映像のピクセルの強度と、その先駆体における各同等の映像ピクセルの強度との比較を行う段階と、
ｂ６）現在映像及びその先駆体における同等の位置のピクセル及び同等の像形成ピクセルの両方との比較から、見込み尺度を導出する段階と、
を備えてもよい。

各ピクセルに対する見込み尺度は、現在映像におけるピクセル強度と、その先駆体における同等の位置のピクセルの強度と、該先駆体における同等の像形成ピクセルの強度とから、負でない定数をｃとし、そしてｎ＞０とすれば、次の方程式により導出できる。

又、各ピクセルに対する前景見込みの尺度は、前景及び背景ノイズ強度の標準偏差σ_f及びσ_dの推定から、次の方程式に基づいて導出できる。

先駆体（predecessor）は、現在映像の直前のものでよい。
前記方法は、物体が通過する視野を有する少なくとも１つの付加的なセンサから各複合映像を構成する付加的なステップを備えてもよく、各複合映像は、少なくとも１つのセンサからの各現在映像を、前記ステップ（ｄ）で発生された物体映像の動きの関連収斂推定から導出された各位置に入れることにより構成される。

物体映像の動きの推定を導出する前記ステップ（ｂ）は、例えば、物体速度に比例する周波数をもつ出力信号を発生するドップラーレーダーのような物体速度センサを使用して実施してもよい。前記方法は、共通のクロック信号を使用して、ドップラーレーダーの出力信号をタイミングどりし、そしてクロック信号パルスのカウントに関して一連の映像における映像を収集してもよい。又、各フレーム信号を使用して、ドップラーレーダー出力信号から導出された映像及び時間／位置データをタイミングどりして、物体の移動をタイミングどりし、更に、補間を行って、映像のタイミングを物体の位置に関係付け、そして物体位置に基づいた位置にある映像から複合映像を形成してもよい。

更に別の態様において、本発明は、物体がセンサ視野を経て移動するときに、センサにより捕獲される一連の映像から複合映像を構成する方法において、
ａ）物体映像の動きの各推定を、現在映像と指示されたときの各映像に関連付けるステップと、
ｂ）現在映像を、その現在映像に対する物体映像の動きの推定と、一連の映像における早期捕獲映像に対して得られる同様の推定との和から導出されるデータアキュムレータ内の各位置に関連付けるステップと、
ｃ）一連の映像に対して前記ステップａ）及びｂ）を繰り返し、そして各位置に基づいた位置にある映像中央部分から複合映像を形成するステップと、
を備えた方法を提供する。

各映像中央部分は、少なくとも、物体映像の動きの関連推定と同程度の巾でよい。又、前記ステップ（ｂ）は、データがデータアキュムレータに追加される位置に対応するピクセル位置でカウントアキュムレータを、各ピクセルに対するこのような追加の回数を示すのに適するように増加する段階を備えてもよく、そして前記ステップ（ｃ）は、データアキュムレータのピクセル値を、各々の対応的に位置するカウントアキュムレータのピクセル値で除算する段階を含んでもよい。

前記方法は、カウントアキュムレータの増分、及び現在映像の中央部分におけるピクセル値を、左及び右の重み付けファクタで重み付けして、各々、重み付けされた増分及び重み付けされたピクセル値を発生するステップを備え、その重み付けされた増分は、カウントアキュムレータにおける第１及び第２の整数ピクセル位置に追加され、そしてその重み付けされたピクセル値は、データアキュムレータにおける同様に位置されたピクセル位置に追加され、整数ピクセル位置は、現在映像及びその先駆体に対する物体映像の動きの加算から導出された推定真のピクセル位置に隣接する位置であり、そして左及び右の重み付けファクタは、真のピクセル位置と、それに隣接する整数ピクセル位置との間の差に対して決定される。

前記方法は、カウントアキュムレータの増分、及び現在映像の中央部分におけるピクセル値を、重み付けファクタにより重み付けして、積を形成し、これらの積を、各アキュムレータ内の対応する整数ピクセル位置に追加するステップを備え、整数ピクセル位置は、現在映像及び早期捕獲映像に対する物体映像の動きの和から導出される推定真のピクセル位置に隣接する位置であり、そして一連の重み付けファクタは、滑らかな補間関数に基づいて決定される。

前記ステップ（ｃ）は、
（ｃｉ）データアキュムレータ及びカウントアキュムレータのデータに空間的平滑化フィルタを適用する段階と、
（ｃii）各々のカウントアキュムレータピクセル値が各ケースにおいて非ゼロであるかどうかに基づいて、データアキュムレータのピクセル値を各々の対応的に位置されたカウントアキュムレータのピクセル値で除算するか、又はフィルタされたデータアキュムレータのピクセル値を各々の対応的に位置されたフィルタされたカウントアキュムレータのピクセル値で除算することにより、複合映像を形成する段階と、
を含むことができる。

或いは又、前記ステップ（ｃ）は、
（ｃ１）カウントアキュムレータの各ピクセルに対して１つのピクセルの初期隣接範囲をセットする段階と、
（ｃ２）カウントアキュムレータの各ピクセルに対してその各々の隣接範囲内でピクセル値のカウントアキュムレータ加算を実施する段階と、
（ｃ３）カウントアキュムレータ加算が著しい非ゼロであるかどうかに関してチェックを実施する段階と、
（ｃ４）チェックの結果が真でなく、カウントアキュムレータ加算が著しい非ゼロでないことを示す場合には、チェックが真になるまで、隣接範囲を増加しながら前記段階（ｃ２）及び（ｃ３）を繰り返す段階と、
（ｃ５）前記段階（ｃ２）で参照されたカウントアキュムレータピクセルに対して同等の位置にあるデータアキュムレータピクセルに対し、前記チェックで著しい非ゼロの加算が指示されたものに等しい隣接範囲内でピクセル値にわたってデータアキュムレータ加算を実施する段階と、
（ｃ６）そのデータアキュムレータ加算を、前記著しい非ゼロのカウントアキュムレータ加算で除算することにより、除算結果を得る段階と、
（ｃ７）その除算結果を、前記段階（ｃ２）で参照されたカウントアキュムレータピクセルに対応的に位置された複合映像におけるピクセルに加算する段階と、
を含んでもよい。

前記方法は、複数のセンサを使用することができ、複合映像を形成するための映像を得るセンサは、第１センサであり、更に、前記センサは、前景映像の動きの推定を発生するためのデータを得る第２センサも含み、そしてこの推定は、各映像に関連付けされる前に再スケーリング又は補間される。

前記方法は、速度センサを使用して物体速度を測定し、そしてこの測定値から一連の映像の各々に関連した前景映像の動きの各推定を導出するステップを含むことができる。

センサは、実質的に長方形の視野をもつフレーミングセンサでよく、又、前記ステップ（ｂ）は、一連の映像の各々内に含まれたデータの少なくとも１つの同じ位置の非中央部分を、更に別の各々の映像データアキュムレータ手段に書き込む付加的な段階を含むことができ、そして前記ステップ（ｃ）は、各々の映像データアキュムレータアレーに含まれたデータから複数の複合映像を形成する段階を含むことができる。

更に別の態様において、本発明は、コンピュータ処理装置により実行するためのプログラムコード命令を実施するコンピュータ読み取り可能な媒体であって、前記命令は、物体が移動する視野を有するセンサを使用して得られた映像データの処理に関連したものである媒体において、このコンピュータ読み取り可能な媒体で実施される前記命令は、
ａ）一連の映像における現在映像を処理のために入力するステップと、
ｂ）物体映像の動きの推定を導出するステップと、
ｃ）一連の映像に対して前記ステップａ）及びｂ）を繰り返すステップと、
ｄ）物体映像の動きの各推定から導出された位置において一連の映像フレームが貢献するところの複合映像を構成するステップと、
を行わせることを特徴とするコンピュータ読み取り可能な媒体を提供する。

更に別の態様において、本発明は、コンピュータプロセッサにより実行するためのプログラム命令を実施するコンピュータ読み取り可能な媒体であって、前記命令は、物体が移動する視野を有するセンサを使用して得られた映像データの処理に関連したものである媒体において、このコンピュータ読み取り可能な媒体で実施される前記命令は、
ａ）一連の映像における現在映像に関連したピクセルデータにアクセスするステップと、
ｂ）現在映像におけるピクセルが、物体映像の一部分である見込みを示す見込み尺度を導出するステップであって、その見込み尺度は、一連の映像における現在映像及びその先駆体映像に含まれた情報から導出されるステップと、
ｃ）対応する見込み尺度に基づいて重み付けされた映像ピクセル情報から物体映像の動きの推定を導出するステップと、
ｄ）収斂又は予め構成された繰り返し限界のいずれかが最初に生じるまで、前記ステップ（ｂ）及び（ｃ）を繰り返すステップと、
ｅ）前記ステップ（ｃ）で導出された前景の動きの推定を使用して、前記ステップ（ｂ）で導出された見込み尺度を更新し、これにより、現在映像に対する前景映像の動きの最終推定を発生するステップと、
ｆ）一連の映像における次々の現在映像に対して前記ステップ（ａ）から（ｅ）を繰り返すステップと、
ｇ）一連の映像が貢献するところの複合映像を構成するステップであって、各映像は、前景映像の動きの各々の最終推定に基づいて位置されるものであるステップと、
を行わせることを特徴とするコンピュータ読み取り可能な媒体を提供する。

以下、添付図面を参照して、本発明の実施形態を一例として詳細に説明する。
図１は、容器６の形態の物体をスキャニングするための本発明装置の第１実施形態４を示す。１組のローラー８が、容器６及び他の容器（図示せず）を、スキャニング装置４の視線１１に一般的に垂直の方向１０に搬送する。スキャニング装置４は、可視帯域センサ１２及び映像処理ユニット１４を備えている。センサ１２は、各々が単一のピクセル出力を発生する検出素子（図示せず）の実質的に直線的なアレーで構成され、ここで、「直線的」という表現は、アレーの第１方向（長軸）における検出素子の数が、その第１方向に垂直なアレーの第２方向（短軸）における数より大きいことを意味する。アレーの長軸は、例えば、その程度が１０２４ピクセルまででよく、そして短軸は、その程度が１、３、８ピクセル以上でよい。短軸に２つ以上のピクセルを使用すると、ノイズ性能が改善され、即ち速度測定装置を必要とせずに、容器移動感知にも映像データを使用できるようになる。「短」軸が比較的長い場合には、多数の複合映像を発生することができる。これら別の態様は、以下に例示する。アレーは、その短軸が容器６の水平移動方向１０に平行で且つその長軸が垂直方向となるように整列される。アレーの長軸に沿ったピクセルの数は、センサ１２が、ローラーの位置において、スキャニングされるべき容器に予想される最大高さより若干大きな垂直高さを包囲する視野（１６のような破線で示す）を有することを確保するに充分なものである。図１に示す特定の時点では、センサ視野１６は、斜線領域２０で指示された容器のエリアをカバーする。

ローラー８が回転すると、容器６のような容器は、センサ１２を越えて搬送される。物体（容器６）とセンサ１２との間の相対的移動により、センサ１２は、容器６のプッシュ−ブルーム（押し箒）スキャンを実行して、その映像を一連の映像フレームとして記録することができる。即ち、スキャンが進行するにつれて、容器６の次々の領域２０が直線的アレーにおける各映像フレームとして像形成される。映像処理ユニット１４は、個々の映像フレームから物体全体の複合映像を再構成するように形成される。複合映像は、次いで、ディスプレイ（図示せず）に送信される。

完全な複合映像を再構成するために、次々のフレームを互いに位置合わせして配置しなければならない。即ち、変化するスキャン速度（例えば、ローラーの動き）による歪みや、フレームの重畳を排除しなければならない。これを行うために、フレームとフレームとの間の容器６の動きの推定が要求される。従って、記録される映像フレームごとに、像処理ユニット１４は、容器６の動きの推定を導出する。次いで、容器の推定される動きを考慮した各位置において複合映像内に各フレームを配置することにより、複合映像が組み立てられる。物体の環境を前もって知らずに、又、その動きの性質を仮定もせずに、この映像再構成を達成する仕方が、本発明の新規な特徴である。詳細は以下で述べるが、この実施形態では、映像処理ユニット１４は、個々の映像フレーム内に含まれた情報のみから複合映像を再構成する。特に、スキャニング中に容器６を一定速度で移動させたり又は特定の形状をもたせたりする必要はない。

本発明は、相対的移動を与える手段に関わらず、センサに対して移動する物体のスキャニングに適用することができる。図１（及び図２及び３）に示す容器６及びローラー８の構成体は、例示に過ぎない。乗物の動きが使用される別の構成体も、図１２を参照して以下に説明する。更に、実質的に直線的な検出器アレーを参照するが、これは、好ましい実施形態に過ぎない。もちろん、広いアレーを使用し、そして必要に応じて、ピクセルの特定サブセットの外側の映像情報を破棄することもできる。本発明のある用途では、水平方向に著しい巾をもち、おそらく、垂直方向より水平方向により多くのピクセルをもつセンサを使用するのが好ましい。

移動物体６をスキャニングするための別の形態の装置２２が図２に示されている。この図において、上述したものと同等のコンポーネントは、同様に参照される。この場合も、移動物体は、ローラー８に取り付けられた容器６として示されている。しかしながら、この実施形態では、スキャニング装置２２は、可視帯域センサ１２及び映像処理ユニット１４に加えて、熱式イメージャー２４も備えている。スキャンを実行する際に、熱式イメージャー２４は、可視センサ１２に接近配置され、そして平行な方向に（即ち、光学軸２５が容器６の移動方向１０に垂直になるように）整列される。熱式イメージャー２４は、感知素子（ピクセル）の実質的に直線的な（背が高くて狭い）アレー２６を備えている。垂直方向におけるピクセルの数は、イメージャー２４の視野２８が、ローラーの位置において、スキャニングされることが予想される容器の最大高さより若干大きな垂直高さを包囲することを確保するに充分なものである。図２に示す特定の時点で、可視センサの視野１６は、斜線領域２０で示された容器の第１エリアをカバーし、熱式イメージャーの視野２８は、斜線領域３０で示された容器の第２エリアをカバーする。斜線領域２０と３０の巾の比較から明らかなように、各像形成アレーの短軸が容器６において等しい巾をもつ必要はない。

この実施形態２２では、矢印１０の方向における容器６の移動は、両センサ１２及び２４によるプッシュ−ブルームスキャンを行わせる。このスキャンが進行するにつれて、容器の次々の領域２０が可視センサ１２により像形成され、そして次々の領域３０が熱式イメージャー２４により像形成される。それ故、２つの個別の一連の映像フレームが捕獲されて、映像処理ユニット１４へ分析のために通される。映像処理ユニット１４は、これら一連のフレームから容器６の２つの個別の映像を再構成し、これら映像の第１は可視波帯域にあり、そして第２は熱波帯域にある。これら２つの複合映像は、スケーリングされて、ディスプレイへ出力される。スケーリングは、映像がより小さなサイズで表示されることを確保し、これは、映像と映像との間の情報を比較する上で助けとなる。ユーザ選択オプションは、異なるセンサモードからの２つの複合映像を同じディスプレイスクリーン上に表示するように映像処理ユニット１４に命令する。ここに述べる実施形態では、熱的映像及び可視帯域映像の両方が、互いに上下に、一緒に表示される。

この実施形態２２では、映像を正しく位置合わせできるのが重要であることが明らかであろう。容器６の歪のない映像、即ち動きによる欠陥やフレームの重畳を伴わない映像を見ることが望まれるだけでなく、オペレータが、異なる波長で得られた２つの映像を互いに直接的に比較できることも重要である。例えば、熱的映像の中心点に異常が現れた場合に、可視映像の同じ領域を直ちにクロスチェックできることが非常に有用である。これは、異常を更に検査する方が良いかどうか決定する上で助けとなる。

第１センサ１２で検出された可視映像フレームは、この実施形態では、容器の動きを推定するのに使用される。これらの映像フレームは、可視波帯域の方が他の波帯域よりも解像度が一般的に高いので、好ましい。２つのセンサ１２と２４との間の変位は既知であり且つ固定されているので、容器の動きを適切な時間フレームに対して外挿し、且つ熱的映像の各フレームに歪修正を適用することができる。動きの修正に映像が使用されるセンサにおいて直線的検出器アレーのサイズが重要である。垂直（ｙ）方向にはスキャンが実行されず、従って、この軸に沿ったピクセルの数は、スキャンの高さを決定し、ひいては、像形成できる容器の最大高さを決定する。以下に詳細に述べるように、このアレーは、動きの推定を映像情報のみから導出すべき場合、単一ピクセル巾より大きい水平（ｘ方向）の広がりを有していなければならない。これは、動きの修正を正確に行うために、センサからの次々の映像に、対応する物体部分をもつ必要があるからである。センサが狭いほど、即ち短軸が小さいほど、必要とされるセンサのリフレッシュレートが速くなる。又、センサが広いほど、一度に１つの移動物体しかフレームにないという限定ファクタを受けて得られる映像の動きの推定が良好なものになる。それ故、選択されるセンサの特定のサイズは、想像される用途に依存する。像形成される容器と容器との間に大きなギャップがある場合、特に、容器が高速で移動し及び／又は目立たない場合には、より広いアレーが好ましく、このような状況では、容器の動きを決定するに充分な情報が映像内に存在しないことがある。一方、容器が互いに接近して続く場合には、広いアレーは、動きの推定を崩壊する危険が大きく、狭いアレーが好ましい。容器が著しい表面の手触りをもつことを更に保証できる種類のものである場合には、１０２４ｘ１６ピクセルの大きさのアレーを使用してもよい。

図２に示すものとは別の実施形態では、プッシュ−ブルームスキャンの１つの間に収集されるものを使用するのではなく、個別のセンサを使用して動き修正のためのフレームが与えられる。これは、全二次元（２−Ｄ）フレーミングカメラを動き推定センサとして使用できるようにする。それ故、この状況では、例えば、２５フレーム／秒で動作する７８０ｘ６４０ピクセルの解像度の標準ＣＣＤビデオカメラを使用することができる。水平短軸の大きさが垂直長軸に近いことにより、このカメラは、おそらく、良好な動き推定を行い得る映像を与える。しかしながら、この実施形態は、既に混雑した動作環境であるところに別のセンサを挿入することを一般的に必要とするという欠点で悩まされている。

更に別の態様は、計算上より大変であるが、両フレームシリーズにおいて独立して容器６の動きを補償することである。即ち、各センサ１２及び２４に記録されるフレーム内に映像再構成が完全に自蔵されてもよい。

上述したセンサ形式は、他の形式を使用する可能性を除外することを意図していない。これは、第２のセンサ２４が、第１のセンサ１２により形成されるものの相補的情報を与える映像を形成する場合に有用である。１つのセンサ１２が可視帯域で動作するのが好ましいが、第２のセンサ２４は、上述したように、熱式イメージャーであってもよいし、或いはミリメーター波イメージャー、又は別の波長帯域で動作するイメージャーであってもよい。熱式イメージャーが使用される場合には、３−５μｍ又は８−１２μｍの波長帯域で動作しなければならない。これらの波長帯域は、周囲温度スペクトル範囲内にあり、そして低コストの半導体検出器でアクセスできるものである。しかしながら、８−１２μｍの波長帯域では太陽放射が強くなく、従って、反射性の容器を像形成するのに本発明を使用すべき場合には、この波長帯域が好ましい。これは、反射した太陽光線から偽信号が生じる範囲を減少する。

２つのセンサ１２及び２４は、横に並んで（図示されたように）又は互いに上下に配置されてもよい。この後者の場合には、容器の像形成エリア２０、３０が部分的に一致し、単一映像を使用した動き補償が簡単化される。或いは又、第２センサ２４が容器６の反対側に配置され、その視線が第１センサ１２の視線１１と逆平行になるようにしてもよい。この構成では、像形成エリア３０は、可視波長帯域で形成される像形成エリア２０に対して物体の反対側にあり、ここでも、単一映像を使用して推定される場合には、動き補償が簡単化される。

本発明による第３の実施形態のスキャニング装置３１が図３に示されている。この場合も、図１又は２と同等の図３の装置３１のコンポーネントが同様に参照される。このスキャニング装置３１は、図２の可視帯域センサ１２及び熱的イメージャー２４の両方を備え、更に、第３のセンサ３２がケーブル３３を経て映像処理ユニット１４に接続される。この第３センサ３２は、可視帯域でもよいし、ミリメーター波帯域でもよいし、又は他の波長範囲でもよい。この第３センサ３２は、これがミリメーター波イメージャーでない場合には、感知素子の実質的な直線アレー３４も備えている。一方、ミリメーター波イメージャーが使用される場合には、そのコンフィギュレーションがより複雑になるが、感知素子のアレー３４は、依然、実質的に直線的な視野３８をカバーするように構成される。いずれにせよ、第３センサ３２は、移動容器６の上で、視線３６が垂直方向下方に向けられ、即ち容器の移動方向１０及び第１センサ１２の視線１１の両方に垂直に向けられるように配向される。第３センサ３２のアレー３４は、その視野３８が、容器の高さにおいて、スキャニングされることが予想される容器の最大巾より若干大きい水平巾を包囲するよう確保するに充分な感知素子（ピクセル）をその長手軸に沿って有している。図３に示す特定の時点では、可視センサの視野１６が、斜線領域２０で示された容器の第１エリアをカバーし、熱式イメージャーの視野２８が、斜線領域３０で示された容器の第２エリアをカバーし、そして第３センサの視野３８が、斜線領域４０で示された容器の第３エリアをカバーする。

本発明のこの実施形態３１では、矢印１０の方向における容器６の移動が３つ全部のセンサ１２、２４及び３２によりプッシュ−ブルームスキャンを行わせる。このスキャンが進行するにつれて、容器の次々の側部領域２０、３０が可視・熱式センサ１２及び２４により像形成される。容器の壁が、第３センサ３２が感知するところの放射に対して不透明である場合には、このセンサは、容器の次々の上面領域４０の映像を与える。或いは又、第３センサ３２がミリメーター波センサである場合には、それが容器の内部容積の映像を発生する。それ故、３つの映像フレームシリーズが捕獲されて、映像処理ユニット１４へ分析のために通される。映像処理ユニット１４は、２つの側部視点及び１つの上部視点からの容器６の３つの無歪の個別映像を再構成するように形成される。

この場合も、３つの映像が正しく位置合わせされることが重要である。第３センサ３２からの上部映像は、側部映像に現れる異常をクロスチェックするための異なる視点を与える。異なる複合映像の直接的な比較を容易にするために、移動による欠陥が除去された実質的に無歪の映像を見るのが望ましい。

以下に述べる映像再構成では、本発明に使用するためのセンサの向き、形式又は個数に何ら制約が課せられない。実際には、１つのセンサが使用されてもよいし、或いは相補的な映像を与えるセンサの構成が更に有用である。図１から３は、単に３つの可能性を示す。忠告できることとして、第１に、各実施形態の映像処理ユニット１４は、各センサによりスキャニングされる物体の実質的に無歪の映像を発生するように構成され、第２に、動き推定の計算が不必要に複雑でない場合に、センサは、好ましくは、その全部が、それらの視線がスキャニングされる物体（１つ又は複数）の移動方向に実質的に垂直になるよう配向されねばならない。既に述べたように、映像修正プロセスは、像形成波長、スキャニングされる物体及びその環境、スキャニング速度、特に、スキャニング中に生じる速度の変化とは独立したものである。

別の考えられる構成は、第２センサ２４又はその後続センサ３２を、その視線がその視野を通る垂直平面を横切って対角に下方に向けられ、即ち容器６のエッジに向けられるように配置することである。このようにして、その視野は、容器の側部及び頂部の両方の領域を包囲し、潜在的により有用な映像を発生する。

映像の再構成に含まれる処理ステップの説明を助けるために、表示を次のように定義する。図４は、センサ時間ｔ（上図）及びｔ−１（下図）における容器６及びセンサ視野２０を概略的に示す。センサ時間ｔにおいて、映像フレームＩ^tが記録され、これは、視野２０に重畳して示されている。下図に示すように、その直前の映像フレームＩ^t-1がセンサ時間ｔ−１に記録される。これらの両映像フレームに加えて、カルテシアン座標の原点Ｏが左下角に示されている。２つのフレーム時間ｔ−１とｔとの間に、容器６は、矢印４１で示す平均速度ｖにおいて図面の左に向かって（図１から３に示すものとは異なる方向に）進行するように示されている。スキャニング装置の好ましい実施形態４、２２及び３１において、センサ１２、２４、３２は、容器６が水平（ｘ）方向に移動するように配向されている。それ故、容器は、ｔ−１とｔとのフレーム間に距離Δｘだけ変位して見える。

映像フレームＩ^tは、適当な波長帯域で、各検出ピクセルにおいて記録された放射強度に関連した情報を含む。各ピクセルは、そのｘ及びｙ座標で識別され、インデックスされる。センサ１２、２４、３２がカラーイメージャーである場合には、各ピクセルは、カラープレーン値（赤、緑及び青のピクセル値）によって更にインデックスされねばならない。即ち、ピクセル化映像情報は、Ｉ^t（ｘ、ｙ）又はＩ^t（ｘ、ｙ、カラープレーン）又は（省略してＩ^t）として、より完全に特定される。便宜上、ここでは、Ｉ^t（ｘ、ｙ）及びＩ^t表示だけを使用するが、本発明がカラー映像に適用されるとすれば、これは、暗示的に、Ｉ^t（ｘ、ｙ、カラープレーン）ピクセル識別子を含むことを理解されたい。フレームＩ^t内の個々のピクセルを参照するときには、これらは、サブスクリプトインデックスｐ：Ｉ^t _p（ｘ、ｙ）により示される。

再び図４を参照すれば、現在映像フレームＩ^tの単一ピクセルＩ^t _p（ｘ、ｙ）は、物体６の特定領域の映像に対応する。時間ｔ−１に、その同じ物体領域は、手前のフレームＩ^t-1においてピクセルＩ^t-1 _p（ｘ＋Δｘ、ｙ）として像形成されると推定され、即ち現在映像フレームのピクセルＩ^t _p（ｘ、ｙ）及び手前のフレームのＩ^t-1ピクセルＩ^t-1 _p（ｘ＋Δｘ、ｙ）は、「同等に像形成」されると推定される。それ故、映像Ｉ^t（ｘ、ｙ）内の各物体映像ピクセルは、その直前の映像フレームＩ^t-1（ｘ＋Δｘ、ｙ）におけるその位置に対して、ピクセル数として表わされた映像距離Δｘだけ、シフトされると推定される。

この点において、映像Ｉ^tの成分の性質を区別することが必要である。移動する容器６を像形成するときには、各センサは、１つの次元において容器より大きな視野２０、３０、４０を有する。それ故、像形成されるシーンの全部が動くのではない。即ち、映像のある部分（容器の背景に対応する部分）は、静止して見え、一方、他の部分（容器／前景に対応する部分）フレームとフレームとの間で動くように見える。これらの映像成分を含むピクセルは、必要に応じて、背景ピクセル及び物体ピクセルを参照することにより区別される。

図５は、捕獲した映像フレームから移動物体の無歪映像を発生するときに図１から３の映像処理ユニット１４により実行されるステップのフローチャートである。図示されたステップは、映像フレームＩ^tが記録されるセンサ時間ｔに関連している。映像処理の新規性をより明確に示すために、変化するのは、映像の各ピクセルのｘ位置だけであると仮定する。即ち、センサは、それらの視線が、スキャニングされる物体の移動方向に実質的に垂直になるように配向されると仮定する。当業者に明らかなように、物体とセンサとの間の垂直距離がスキャニング中に変化する場合には、ここに述べる動きモデルがこの第２次元における動きを含むように適応させることができる。しかしながら、この適応及びそれにより生じるアルゴリズムは若干複雑であり、基本的な発明の理解を助けるものでない。従って、それらはここでは述べない。このように適応されたモデルに基づくプロセスの成功性は、一連の映像フレームを捕獲するに必要な時間中、容器６の収束映像を維持するに充分な焦点深度を有するセンサ１２、２４及び３２に依存することに注意されたい。

図５を参照すれば、ステップ５０において、映像フレームＩ^tが映像処理ユニット１４へ通され、該ユニットは、ピクセル位置（ｘ、ｙ）及び強度をメモリに読み込んで、処理の準備をする。ステップ５２において、カウントパラメータｉが０にセットされ、そして動き推定Δｘ_iが初期推定値Δｘ₀にセットされ、ここで、Δｘ_iは、直前の映像フレームＩ^t-1における位置から現在フレームＩ^tにおける位置への容器６のシフトのｉ番目の推定である。初期推定Δｘ₀は、ローラーの平均又は予想速度の知識から、又は直前のフレームＩ^t-1において推定された動きに等しいという仮定から、或いは他の便利な基礎から、得ることができる。他の用途、例えば、乗物の像形成では、乗物が予め構成された速度限界で走行するという仮定により、映像シフトの良好な第１推定Δｘ₀を得ることができる。又、独立した速度センサ、例えば、レーダー銃又はライダーセンサを使用して、初期推定Δｘ₀を与えることもできる。ここに述べる本発明の実施形態では、Δｘ₀は、全てのフレームに対して０とされる。一般的に真の映像シフトをより厳密に近似する、直前のフレームでなされた最終的な推定を使用すると、反復計算が有利になるが、この方法は、エラーが永続してその後の反復を覆すことがあるので、好ましいものではない。

ステップ５４において、勾配映像が計算される。勾配映像は、映像フレームＩ^t（ｘ、ｙ）の場合に、ｘに対する映像フレームの導関数として定義され、即ち

として定義される。この導関数は、この実施形態では、単純な限定差フィルタを使用して計算される（他の標準的な数値方法も使用できるが）。典型的に、このフィルタは、中央差フィルタであり、即ち（−１／２、０、＋１／２）のカーネルが、３つの次々のフレームＩ^t（ｘ−１、ｙ）Ｉ^t（ｘ、ｙ）及びＩ^t（ｘ＋１、ｙ）のセットの乗数を指示するものであり、即ち

それ故、このステップ５４では、映像のｘ方向を横切るピクセル強度の変化が計算される。

ステップ５６から６８は、理想的には、繰り返される推定が単一の値に収斂するまで、物体の動きの推定を繰り返し計算するところの手順を表わす。最初に、現在映像内の各ピクセルＩ^t _p（ｘ、ｙ）に対し、ステップ５６から６２が実行される。分析されるべきピクセルＩ^t _p（ｘ、ｙ）は、ステップ５６においてアドレスされる。

ステップ５８において、第１ピクセル差Ｄ１が計算される。

Ｄ１は、シーン領域を像形成する現在映像における位置（ｘ、ｙ）の映像ピクセルと、同じシーン領域が像形成されたと推定される直前のフレームにおける相対的にシフトされた位置（ｘ＋Δｘ_i、ｙ）の同等の像形成ピクセルとの間の強度差である。動き補償された手前の映像をここで定義する。これは、現在フレームにおけるピクセルの像形成された強度を、それらが直前のフレームにおいて像形成されたと推定される各々の対応するピクセル位置（Δｘ_iだけ相対的にシフトされた）へ投影して戻すことにより発生される映像フレームである。これは、容器の移動のために手前のフレームに対応ピクセルをもたないものを除き、現在フレームの全ピクセルに対して実行される。動きが充分正確に推定される場合には、２つのフレームにおける対応ピクセルの強度が、移動する容器６を表示する全ピクセルに対して等しくなければならず（次々のフレーム間の間隔にわたるシーンの強度変動を無視して）、そして差Ｄ１がゼロに向かうことになる。

ステップ６０において、第２のピクセル差が計算される。

これは、異なるフレームにおける同等に位置するピクセル、即ち次々の映像フレームにおける同じフレーム位置のピクセル間の強度差を表わす。像形成されるシーンが静止している場合には、差Ｄ２がゼロである（フレーム間のシーン強度変動を無視して）。

最終的に、ピクセルごとに、ステップ６２では、重みｗ_f（ｘ、ｙ）が計算されるか、又はルックアップテーブル（図示せず）から抽出される。これらの重みを計算できる種々の方法は、以下で説明する。重みｗ_f（ｘ、ｙ）は、現在動き推定Δｘ_iを使用して導出されるもので、特定のピクセルＩ^t _p（ｘ、ｙ）が前景（移動物体を像形成する）であるか又は背景（シーンの静止部分を像形成する）であるかの見込みを表わす。重み１は、前景ピクセルを指示し、そして０は、背景ピクセルを指示する。

ステップ６４において、移動推定の現在値Δｘ_iに対する更新Δｘ_uが、強度エラー関数Ｅ（Δｘ_u）を最小にすることにより計算され、この関数は、次のように、全ピクセルにわたって計算された重み付けされた二乗ピクセル強度差である。

現在フレームＩ^tに対する動き推定更新Δｘ_uの作用を仮定することが望ましい。というのは、これは、各繰り返しにおける空間強度勾配

を再計算する必要性を回避するからである。２つの近似が行われる。第１に、一方の映像フレームＩ^t-1に適用されるシフトΔｘ_uは、他方の映像フレームＩ^tに適用される等しく且つ逆のシフト−Δｘ_uに対して同様の作用を有し、これは、式（４）のΔｘ_u項を、Ｉ^t-1に対する表現から削除し、そしてＩ^tに対する表現において−Δｘ_uに置き換えるのを許す。第２に、空間的強度勾配を導入するテイラー展開を使用して小さなシフトの作用を近似することができる。

式（５）から、動き推定更新Δｘ_uは、直線的最小二乗最適化を使用して直接推定することができる。これは、更新Δｘ_uに対する強度エラー関数Ｅ（Δｘ_u）の導関数をゼロにセットすることで達成され、これは、Ｅ（Δｘ_u）を極端化する。それにより得られる極値は、Ｅ（Δｘ_u）の二次導関数が正であるから、最小値である。更新Δｘ_uは、次の線型方程式から決定される。

式（６）の２行目の左側の加算項を移動して、右側の分母になるようにすると、次のようになる。

式（７）の分子及び分母における加算は、映像フレームＩ^t及びＩ^t-1の中央部分に位置するピクセルにわたって行われる。この中央部分が使用されるのは、動きの補償が適用されると、対応ピクセルが見つからない領域が生じ得るからである。動き推定更新Δｘ_uを計算するときには、少なくともΔｘ_iに等しい巾のストリップが映像の右側又は左側から破棄される（センサを横切る物体の移動方向に基づいて）。実際には、巾が最大の映像動きを越えると予想される映像Ｉ^tの固定の中央領域を使用するのが簡単である。

ステップ６６において、現在の動き推定Δｘ_iがΔｘ_uで更新されて、次の繰り返しのための準備が次のようになされる。
Δｘ_i+1＝Δｘ_i＋Δｘ_u (8)
次いで、ステップ６８において、カウントインジケータｉが１だけ増加される。

ステップ７０において、映像処理ユニット１４は、動き推定が収斂したかどうか、即ち

であるかどうか、或いはカウントインジケータｉがある予め構成された限界に到達したかどうかのチェックを行う。これらの条件がいずれも満足されない場合には、映像処理ユニットは、ステップ５６に復帰し、そして更新された推定Δｘ_i+1を使用して動き推定更新プロセスを繰り返し、Δｘ_uの新たな値を計算する。プロセスが無限ループにはまり込むのを回避するために、最大繰り返しカウントがセットされる。この状態は、繰り返しにより互いに近い一連の解が発生して映像処理ユニット１４がそれらの間を弁別できない場合に生じることがある。又、最大繰り返しカウントは、収斂が低速であるときにリアルタイム実施の特性も保持する。動き推定Δｘ_i等は、厳密に言うと、変位であるが、フレーム時間である固定時間Δｔにおける変位であるから、速度にも等しい。フレーム時間当りの変位は、速度の単位、ひいては、動き推定の表現を有する。

繰り返しステップ５６から６８は、映像フレームそれ自体の中に含まれた情報のみを使用して物体動き推定を抽出できるようにする手順を形成する。動きがフレーム間で一定であるという仮定はなく、即ち各フレーム対Ｉ^t；Ｉ^t-1及びＩ^t+1；Ｉ^tに対し、動き推定が異なってもよい。又、背景と前景の厳格な分類もない。ピクセルの重みｗ_f（ｘ、ｙ）は、フレームごとに計算され、以下で明らかとなるように、そのフレームにおいて得られる以外の更なる情報は使用しない。

予想される動きが、動き推定手順の収斂の範囲により受け容れできるものに比して比較的高い速度であると期待される状況では、上述した解決策を適応させねばならない。このような状況では、動き推定が多解像度フレームワークに埋め込まれる。多数の解像度の映像は、推定される動きを次第に洗練するのに使用される。多解像度の映像は、単一センサの解像度を、ピクセルの平均化又は映像のフィルタリングにより所要レベルへと人為的に低下させることで、与えることができる。高速度の動きは、先ず、低解像度の映像から推定され（比較的低い精度で）、次いで、次第に高い解像度で洗練されて、以前に破棄されていた情報を使用する。多解像度及び多スケールのアルゴリズムは、映像処理の分野、特に、光学的フロー方法の分野で良く知られており、従って、この適応は、これ以上説明しない。

動き推定が収斂するか又は最大繰り返し数に達した場合には、Δｘ_i+1の現在値が、センサ時間ｔにおける現在フレームの実際の動き推定Δｘ_c（ｔ）として得られる。映像処理ユニット１４は、次いで、データフィルタリングステップ７２へ進む。このステップにおいて、好ましい実施形態では、次々のフレームからの動き推定が中間フィルタに通される。このフィルタは、奇数個（５、７又は９）の次々の推定を含み、これらから、中間推定が返送される。その使用は、誤った結果の限定された割合を除去できるようにする。フィルタは、映像の処理にある程度の待ち時間を導入し、即ち動き推定は、現在フレームを取得した幾つかのフレーム後でなければ得られないことに注意されたい。又、このステップ７２では、動き推定Δｘ_c（ｔ）におけるジッターを減少するために直線的平滑化フィルタが適用されてもよい。

最終的に、ステップ７４において、フィルタされた収斂した動き推定Δｘ_c（ｔ）を使用して、現在フレームＩ^tを複合映像内の正しい位置に表示のために入れる。２つ以上のセンサがスキャニング装置に存在する場合には、本発明の実施形態では、この動き推定Δｘ_c（ｔ）が適当な再スケーリングと共に使用され、他のセンサの各々からの時間ｔにおける映像フレームＩ₁ ^t、Ｉ₂ ^t、Ｉ₃ ^t、・・・を、これらセンサの各複合映像の正しい位置に入れる。

容器の映像速度が容器の物理的速度及びセンサからのその距離の両方の関数であることから再スケーリングの問題が生じる。必要となる条件は、例えば、異なるセンサが、動き推定Δｘ_c（ｔ）を与えるのに使用されたセンサとは異なる視野を有し、及び／又はそれらが、スキャニングされている物体から異なる距離に配置されることである。この距離がセンサ間で変化しても、物体が各センサから常に固定距離にある場合には、映像速度の差を修正することは簡単である。これは、物体がセンサに近づくか又は離れるように移動し、従って、映像速度が一定の実世界速度に対して変化するケースでは、より複雑になる。このような状況では、レンジファインダ装置（例えば、ライダー、超音波エコー探索、等）を使用して、センサと物体との距離を決定し、ひいては、センサごとに適当な動き推定再スケーリングを決定する。

図５を参照して説明した技術により得られる動き推定Δｘ_c（ｔ）は、ピクセルの断片でもよいし又はそれを含んでもよい映像ピクセルの数として表わされた距離である。これは、予想最大化(Expectation Maximisation)（ＥＭ）解決策に基づく。即ち、動き推定Δｘ_iは、現在重みｗ_f（ｘ、ｙ）が与えられると、更新され、次いで、この重みｗ_f（ｘ、ｙ）は、現在動き推定Δｘ_iが与えられると、更新される。これは、１ＧＨｚＰｅｎｔｉｕｍ（登録商標）プロセッサにおいて実施することができる。

本発明のこの例の中心は、各ピクセルに与えられるべき重みｗ_f（ｘ、ｙ）を決定して、動き推定において映像の静止部分又は移動部分として考えられるところの程度を分類することである。この例では、映像の背景は静止であり、そして映像の前景は、像形成されるべき移動物体を潜在的に含むと仮定される。ピクセルを背景又は前景として明確に分類できない場合には、それが動き推定に誤って貢献するか、又は貢献し損なうことがある。映像内に含まれた情報に基づく分類プロセスは、本来、ノイズに敏感である。映像内のノイズレベルは、照明レベルに基づいて急激に変化し、それ故、ノイズレベルを首尾良く一定と仮定できることはあり得ないことに注意されたい。ピクセルに分類を割り当てできる仕方は、多数あり、ここでは、３つの好ましい方法を説明するが、各々、利点と欠点を有する。

重みｗ_f（ｘ、ｙ）を推定する第１の方法は、慣習的なＥＭ解決策を反映するものである。特定の映像ピクセルが前景の一部分である見込みｐ_f（ｘ、ｙ、Δｘ_i）は、次の式から計算される。

同様に、そのピクセルが背景であるという見込みｐ_b（ｘ、ｙ）は、次の式により与えられる。

但し、σ_f及びσ_bは、各々、前景及び背景強度におけるノイズの標準偏差の推定であり、上述したように、Δｘ_iは、映像処理のステップ５６から６８において繰り返しｉの前景の動きの推定であり、そしてＩ_p ^t及びＩ_p ^t-1は、各々、フレームシリーズにおける現在及びその直前の映像フレームＩ^t及びＩ^t-1のピクセルを指している。動き推定Δｘ_iが更新されるときには、前景見込みｐ_fだけが変化する。背景見込みｐ_bは、一定のままである。前景見込みｐ_fは、物体上のポイントに関連した現在映像ピクセルＩ_p ^tと、物体上の同じポイントに対応すると推定される直前のピクセルＩ_p ^t-1との間の強度差（Ｄ１、式（２））に基づいたものである。これらピクセルＩ_p ^t及びＩ_p ^t-1の強度が等しい場合には、ピクセルが物体の動きの結果として移動し、それ故、前景である見込みが高くなる。これらの２つのピクセル間の強度差が大きいほど、前景移動物体上の同じポイントに対応するおそれが低くなり、従って、関連する見込み推定ｐ_fは、比較的低くなる。同様に、背景見込みｐ_bは、ある映像の現在ピクセルの強度と、その直前の映像の同じ位置の強度との比較に基づいたものである（強度差Ｄ２、式（３））。これら２つのピクセルの強度が同じである場合には、そのピクセル位置で像形成されるシーンの一部分が移動せず、それ故、ピクセルが背景に対応する見込みが比較的高くなる（それら強度が異なる場合に比して）。これら確率ｐ_f及びｐ_bから、各ピクセル（座標ｘ、ｙ）に対して重みｗ_f（ｘ、ｙ）が導出され、これは、動き推定への貢献を決定する。

重みｗ_f（ｘ、ｙ）は、０から１の範囲に存在するように拘束される。

図６のステップ６２に戻ると、ｗ_f（ｘ、ｙ）の値は、計算されるか、又はルックアップテーブルから抽出される。ノイズの標準偏差は、センサシステムの関数であり、一定であると仮定する。ルックアップテーブルを使用する場合には、差Ｄ１及びＤ２が、重みｗ_f（ｘ、ｙ）の最終的な計算において唯一の変数となる。それ故、差Ｄ１及びＤ２は、ルックアップテーブルの記憶位置に対するインデックス又はアドレスとして使用される。この方法は、差Ｄ１、Ｄ２の対ごとに計算を実行するものよりも、迅速で且つあまり計算に集中しなくてよい。

慣習的なＥＭ重み計算の欠点は、それらが、ピクセル重みを導出する確率分布関数に基づいていることである。これらの関数は、通常、多数のフリーパラメータを有し、映像処理の用途では、これらフリーパラメータは、映像ノイズの予想レベルを指してもよい。これらパラメータの選択を誤ると、性能低下を招く。ここに述べる重みｗ_f（ｘ、ｙ）を計算する第２及び第３の両方法の効果は、どちらもフリーパラメータに依存しないことである。

第２の方法の背後にある原理は、背景ピクセルがフレームごとに比較的小さな強度差しかもたないことである。これに対して、前景ピクセルは、物体の異なる領域に対応するので、著しい強度変化を示す。従って、この方法では、各ピクセルに関連した重みｗ_f（ｘ、ｙ）は、次のようになる。

この方法は、図５のステップ６０で計算された第２のピクセル差Ｄ２しか使用せず、これは、特定のピクセルが前景である見込みの尺度を与えるように直接使用される。この方法は、計算の観点から実施が簡単であり、従って、控えめなハードウェアでのリアルタイム映像再構成が必要とされる場合に魅力的である。これは、第１（ＥＭ）方法より正しい動き推定に関して良好な結果を示し、映像ノイズの良好な推定に依存しない。その欠点は、各重みｗ_f（ｘ、ｙ）が拘束されず、たとえ異常ピクセルが物体の真の動きを表わさなくても、そのようなピクセルに大きな重みが与えられることである。このため、この第２の方法は、異常、例えば、太陽の輝きがスキャン中にシーンに影響することが予想される場合には、使用すべきでない。

第３の重み付け構成は、第２のものより頑丈で、且つ映像ノイズの標準偏差を推定する必要性を回避するものが使用されている。これは、インデックスｎの値が増加するにつれて前景と背景との間の選択性を高めることのできる一般的なフォーマットで実施できる。この構成では、重みｗ_f（ｘ、ｙ）は、次のように計算される。

但し、ｃは、負でない小さな定数であり、ゼロで除算する潜在的な問題を防止するために含まれている。ｎの値が２に等しい場合に、良好に機能すると分かっているが、選択性の変化は、多少ノイズのある映像において有益であると分かっていることを銘記されたい。

式（１０）の絶対値符号｜｜ⁿから式（１１）のかっこ（）²への変化は、二乗により項が正になり、絶対値が不要になったためである。この第３の方法の背景にある原理も、現在ピクセルの強度と、その直前の映像フレームにおける同等の位置のピクセルの強度との間の差（Ｄ２）が顕著である場合に動きが指示されるというものである。これは、現在ピクセルと、その直前の映像フレームの同等の像形成ピクセル（即ち同じ物体領域を像形成する）との間の強度の差（Ｄ１）が小さい場合に特に言えることである。従って、この重み付け構成には両方の差が組み込まれる。逆に、現在映像フレーム及びその直前の映像フレームにおける同等の位置のピクセル間の強度差が小さい場合には、ピクセルがおそらく背景となる。この例では、前記重みが０に向かう。図５に示された各入力映像フレームＩ^tに対する最初の繰り返しでは、動き推定Δｘ_iがその初期値Δｘ₀にセットされたときに、これらの重みが０．５にセットされる。その後、映像処理ユニット１４によりＤ１及びＤ２が決定されると、Ｄ１及びＤ２は、ルックアップテーブルへのインデックスとして使用され、重みの値ｗ_f（ｘ、ｙ）が返送される。

再び図３を参照すると、全てのセンサ１２、２４、３２に対し、各映像フレームＩ^tは、物体の一部分２０、３０、４０しかカバーしない。各センサを越える容器６の移動は、スキャニング運動を与え、容器全体を一連のフレームにおいて像形成できるようにする。従って、センサ時間ｔにセンサ１２、２４及び３２により得られる各映像フレームを、映像処理ユニット１４により、その対応複合映像の正しい位置に含ませることができるには、容器６がセンサ時間ｔに進行する距離を知ることが必要になる。本発明のこの実施形態では、センサ１２から得られる映像フレームＩ^tを使用して、各フレーム時間に容器６に対する動き推定Δｘ_c（ｔ）を導出する。図５を参照して述べた技術を使用して発生される値Δｘ_c（ｔ）は、可視波長帯域センサ１２のピクセルの単位である。これらの値は、ピクセルの断片の解像度に対して決定される。

図６ａ及び６ｂは、複合映像アレー８２、９２内の位置に入れられる映像フレーム８０、９０を概略的に示す。複合映像アレー８２、９２の左下側に原点Ｏが示された複合映像座標系を参照する。図６ａにおいて、映像フレームは、図３の可視波長帯域センサ１２のようなセンサで得られる。即ち、映像データの細いストリップの形態である。図６ｂにおいて、映像フレーム９０は、実質的に線スキャンの可視波長帯域センサ１２ではなく、フレーミングセンサ（長辺及び短辺又は同等の大きさをもつ全体的に長方形の映像フレームを捕獲するセンサ）により得られる。従って、巾の広い映像フレーム９０が示され、破線９４は、以下に述べる理由で、この巾の広い映像フレームを、更なるデータ処理の前に、どこで切り取るか指示する。

複合映像座標系については、容器６がセンサ時間ｔにｘ方向に移動した距離を、現在フレーム及びそれ以前の全てのフレームから抽出される全ての動き推定Δｘ_c（ｔ）の次々の加算により計算することができる。即ち、

但し、ｔ₀は、最初の映像フレームが収集された時間を表わす。映像処理ユニット１４は、スキャニング装置の各センサ１２、２４、３２に対して複合映像アレー８２、９２を含む。図６ａ及び６ｂの説明上、映像が再構成されるセンサは、動き推定のためのフレームも与えるセンサであると仮定する。即ち、図６ａの場合は、可視波長帯域センサ１２である。図６ａ及び６ｂの複合映像アレー８２、９２は、ピクセル位置のアレーで、その解像度は、各々の場合の各記録センサのピクセル解像度に等しい。データは、断片的ピクセル位置には書き込めないので、式（１２）の距離ｘ（ｔ）（ピクセル単位）は、最も近い整数に丸められる。

図６ａを参照すれば、センサ時間ｔに得られた映像フレーム８０は、原点Ｏから多数のピクセルｘ’（ｔ）において複合映像アレー８２の対応ピクセルに書き込まれる。

図６ｂを参照すれば、映像フレーム９０は、上述したように、フレーミングセンサ（図示せず）を使用して記録される。ここに述べる動き推定を使用して複合映像を再構成することにより、容器６は、それに垂直の細い光線束を使用して像形成されると仮定される。この仮定は、線スキャンセンサを使用してデータが収集されるときには有効であるが、センサが、容器の移動方向に広い視野を有するフレーミングセンサであるときにはそうではない。この場合、映像９０は、細い光線束内に記録されるデータだけが複合映像に使用されるよう確保するために、破線９４で示すように水平に切り取られる。センサ映像９０は、現在動き推定Δｘ_c（ｔ）に基づく領域を選択することにより９４において適応式に切り取られるのが好ましい。即ち、線９４間の切り取られる領域の巾は、動き推定Δｘ_c（ｔ）に依存する。容器が迅速に移動する場合には、複合映像にギャップが現れるのを回避するために、巾の広いデータセクションが使用される。逆に、容器６が低速で移動する場合には、考えられる最も細い光線束及びそれに伴う映像の幾何学的忠実さへ制限するために巾の狭いデータセクションが使用される。使用するデータセクションの巾は、整数個のピクセルとなるように拘束され、従って、図６ｂに示すように、動き推定Δｘ_c（ｔ）に対して次に最大の（大きさが）整数であるΔｘ’（ｔ）にセットされる。これは、センサ視野の中心付近から選択されるのが好ましい。というのは、これは、容器６にほぼ垂直の光線に対応するからである。図６ａの場合と同様に、フレームデータは、位置ｘ’（ｔ）において複合映像アレー９２に書き込まれる。

本発明の他の実施形態では、各データストリップの位置が一貫して選択されるとすれば、フレーミングセンサの視野内のどこかから抽出されたデータを使用して映像を再構成することができる。センサが水平方向に著しい巾を有する（即ち広い光線束を受け容れる）場合には、容器６の異なる眺望を各々もつ複数の映像を再構成することもできる。即ち、センサの視野の各エリアに含まれた映像情報から各々組み立てられる多数の複合映像を、上述した方法を使用して、再構成することができる。視野の中心から取得したデータは、容器６の垂直の眺めを与え、視野の縁から取得したデータは、非垂直光線を使用して容器６の斜めの眺望を与える。これらの複合映像は、異なる視点から像形成される容器６を効果的に表わす。容器６に関する眺めを与える能力は、容器が平坦な側面をもたない場合に特に効果的であり、例えば、欠陥又は異常検出の助けとなる。この方法で異なる有効視点から複合映像を構成することは、ここに述べるように単一の垂直の視点から映像を構成するのに必要なもの以外の付加的な情報（例えば、容器の三次元構造）を必要とせずに達成される。

図６ａ及び６ｂを参照して述べた複合映像再構成が、動き推定Δｘ_c（ｔ）を導出するのに使用されるセンサ１２に加えて、１つ以上のセンサ２４、３２に対して実行される場合には、ある程度の再スケーリング及び／又は補間が必要とされる。像形成センサ２４、３２の角度的ピクセル解像度が、動き推定に使用されるセンサ１２と異なる場合には、これらセンサに適した映像速度（１つ又は複数）を与えるように動き推定Δｘ_c（ｔ）が再スケーリングされる。再スケーリングは、角度的ピクセル解像度の比のファクタを動き推定Δｘ_c（ｔ）に乗算することを含む。即ち、センサ２４又は３２の場合に、Δｘ_c（ｔ）にＡＰＲ₂₄／ＡＰＲ₁₂又はＡＰＲ₃₂／ＡＰＲ₁₂を乗算することにより、各々、Δｘ_c（ｔ）の等効物であるΔｘ_c（ｔ）₂₄又はΔｘ_c（ｔ）₃₂が得られる。ここで、ＡＰＲ（ｎ＝１２、２４又は３２）は、センサｎの角度的ピクセル解像度（ピクセル／度）を表わす。

複合映像が、動き推定Δｘ_c（ｔ）を与えるのに使用されるものより高いフレームレートを有するセンサで収集されるデータから再構成される場合には、次々の動き推定Δｘ_c（ｔ）が補間されて、動き推定に関連したフレームの中間フレームに適した推定値を与える。像形成センサのフレーム番号（ｔ＋α）、α＜１、において簡単な直線的補間が適用され、ここで、インデックスｔは、動き推定センサにおけるフレーム番号を指示する。
ｘ（ｔ＋α）＝ｘ（ｔ）＋αΔｘ_c（ｔ） (14)

ｘ（ｔ＋α）は、複合映像アレーにおけるフレーム位置を与えるために最も近い整数に丸められる。又、例えば、加速度をモデルに合体する非直線的補間を使用してもよい。しかしながら、容器の速度変化がフレーム間で著しくない限り、これは、映像のクオリティを著しく改善することはない。

複合映像を発生する別の方法が図７に概略的に示されている。この図では、映像処理ユニット１４（図示せず）は、複合映像アレー１０４に加えて、映像データアキュムレータアレー１００及びカウントアキュムレータアレー１０２を備えている。これらデータ及びカウントアキュムレータアレー１００、１０２の両方における全てのピクセルの値は、最初、０にセットされる。除算器１０６が３つの全アレー１００、１０２、１０４に接続される。到来する映像フレーム１０８内のデータは、上述したように、位置ｘ’（ｔ）に書き込まれるが、本発明のこの実施形態では、映像データアキュムレータアレー１００の各ピクセルに現在保持されている値にピクセル強度値が追加される。データがデータアキュムレータアレー１００に追加される位置に対応する位置におけるカウントアキュムレータアレー１０２の全ピクセルは、その値が１だけ増加される。現在アドレスされているセンサからの全てのフレームデータが組み立てられて、映像データアキュムレータアレー１００へ書き込まれると、除算器１０６は、データアキュムレータアレー１００の各ピクセル値を、カウントアキュムレータアレー１０２の同じ位置にある又は対応するピクセル値で除算する。この累積作用は、カウントアキュムレータアレー１０２の各ピクセルが、データアキュムレータアレー１００の各同じ位置のピクセルにデータが追加された回数に等しい整数を含むことである。この整数は、次いで、１０６において、データアキュムレータアレーのピクセル値の除数として使用され、それ故、このようにして得られた比は、２つ以上のフレームに対する平均である。それにより得られる比は、複合映像アレー１０４に書き込まれる。

複合映像を組み立てるこの方法は、センサデータの積分を与え、それ故、映像ノイズを減少する。データは、映像データアキュムレータアレー１００において累積加算される。物体領域が２つ以上の映像フレームのピクセルに対して像形成される場合には、この方法は、その領域に関する全てのピクセル情報を複合映像の発生に使用するのを許す。カウントアキュムレータアレー１０２は、複合映像のピクセルに情報が何回書き込まれたか記録する。それ故、最終的な複合映像のピクセルは、各々の場合の貢献するセンサデータピクセルにわたって平均化された強度にあり、そして貢献するピクセルの数は、異なる複合映像ピクセル間で異なってもよい。この改善された映像再構成方法により与えられるノイズ減少の程度は、容器６が移動するところの速度に依存する。即ち、低速移動容器の場合には、複合映像のピクセルは、多数のセンサデータ映像ピクセルを使用して発生されてもよい。

図８は、第２の別の複合映像発生方法を概略的に示し、図７に示したものと同等の要素は、同様に参照される。この図に示すように、映像処理ユニット１４（図示せず）は、この場合も、映像データアキュムレータアレー１００と、カウントアキュムレータアレー１０２と、複合映像アレー１０４と、除算器１０６とを備えている。又、処理ユニット１４は、第１及び第２の乗算器１１０及び１１２も備えている。センサ時間ｔにおける映像フレームの中央フレーム部分１１４（１つ以上の映像フレーム列）は、先ず、両乗算器１１０及び１１２に入力される。第１の乗算器１１０において、フレーム部分１１４の各ピクセルは、左の重み付けファクタｗ_l（ｔ）で乗算される。第２の乗算器１１２において、フレーム部分１１４の各ピクセルは、右の重み付けファクタｗ_r（ｔ）で乗算される。これら重み付けファクタｗ_l（ｔ）、ｗ_r（ｔ）は、累算的映像位置ｘ（ｔ）から次の式に基づいて計算される。

ｗ_r（ｔ）＝ｘ（ｔ）−ｘ’（ｔ） (16)
ｗ_l（ｔ）＝１−ｗ_r（ｔ） (17)

現在アドレスされているセンサからの全てのフレームが組み立てられて、映像データアキュムレータアレー１００に書き込まれると、除算器１０６は、データアキュムレータアレー１００のコンテンツを、図７を参照して上述したように、カウントアキュムレータアレー１０２の対応するコンテンツで除算する。この除算の結果が複合映像アレー１０４に書き込まれる。

この複合映像発生方法は、センサデータを、最も近い整数位置に丸めるのではなく、複合映像の断片的ピクセル位置に書き込むのを許す。従って、複合映像の幾何学的忠実性が改善される。ここに述べる補間構成は、フレームデータが複合映像の２つの列のみに書き込まれるという点で直線的補間のみを含む。もちろん、単一センサ列からのデータが、適当な重み付けで、アキュムレータ１００、１０２の多数の列に書き込まれるより高次の補間方法も考えられる。しかしながら、このような方法は、計算という点でより高価で、且つおそらく、映像のクオリティに控え目な改善以上のものは得られない。それ故、ほとんどの用途では、非直線的補間の付加的な複雑さが正当化されることはおそらくない。

従って、完全な容器の複合映像を作るに必要な全ての情報を含む映像フレームの集合の捕獲を許すために、センサのリフレッシュレート及び容器の速度が各々充分に高く及び低くされると仮定されている。もちろん、これは、必ずしもそうでない場合もある。容器が高速で移動する場合には、映像の取得が、容器の全エリアの像形成を確保するに充分なほど高速でないことがある。実際に、複合映像は、サンプリングが過少である。容器の移動を減少するか又はセンサの映像取得レート及び／又は視野を増加することが実際的でない場合には、映像処理により欠落情報を補間することができる。

図９は、図７及び８の処理アレー１００、１０２、１０４を使用して発生された複合映像のギャップを埋める第１の方法に含まれるステップを示すフローチャートである。図９において、全ての映像フレームが処理された後であって、除算器１０６により複合映像が形成される前に、先ず、フィルタリングステップ１２０が実行される。このステップ１２０の後に、映像データアキュムレータアレー１００及びカウントアキュムレータアレー１０２のコンテンツに空間的平滑化フィルタが適用される。これは、コンテンツを平滑化して、ギャップを減少させる。使用する平滑化フィルタのサイズは、橋絡できるギャップの最大サイズを定義する。大きなフィルタは、大きなギャップを除去するが、映像のディテールが低下する。フィルタされたデータは、個別アレー（図示せず）に書き込まれる。

ステップ１２２において、映像処理ユニットは、複合映像アレー１０４のピクセルを順次アドレスする。各ピクセルに対し、ステップ１２４において、カウントアキュムレータアレー１０２の対応ピクセルの値がチェックされる。このカウントアキュムレータ値が著しく非ゼロである場合には、プロセッサ１４は、ステップ１２６へ進み、そして除算器１０６は、映像アキュムレータアレー１００のピクセル値を、カウントアキュムレータアレー１０２の同じ位置にあるピクセル値で除算する。ステップ１２８において、この除算の結果が複合映像アレー１０４の適当なピクセルに書き込まれる。このように、そのピクセルの強度に充分な貢献がある（１つ以上の映像フレームから）場合には、平滑化が不要であり、そしてフィルタされないアレー１００、１０２からデータが抽出される。

或いは又、ステップ１２４において、カウントアキュムレータのピクセル値が著しい非ゼロでないと分かった場合には、プロセッサは、ステップ１３０へ進む。このステップ１３０において、フィルタされたカウントアキュムレータアレーの同じ位置にあるピクセルの値がチェックされる。このフィルタされた値が著しく非ゼロである場合には、プロセッサ１４は、ステップ１３２へ進み、除算器１０６が、そのフィルタされた映像アキュムレータアレーのピクセル値を、そのフィルタされたカウントアキュムレータアレーの同じ位置にあるピクセル値で除算する。次いで、プロセッサ１４は、ステップ１２８へ復帰し、そしてこの除算の結果が複合映像アレー１０４の適当なピクセルに書き込まれる。一方、フィルタされたカウントアキュムレータアレーの値がゼロ又はほぼゼロである場合には、プロセッサ１４は、ステップ１３４において、第１フィルタより大きい第２フィルタを、映像データアキュムレータアレー１００及びカウントアキュムレータアレー１０２のコンテンツに適用する。フィルタサイズチェック及び増加ステップ１３０及び１３４は、アキュムレータアレー１００及び１０２が充分に平滑化されてギャップが橋絡され且つカウントアキュムレータアレー１０２の当該ピクセルの値が著しく非ゼロになるまで、繰り返される。この点において、最も最近フィルタされたアレーのデータと、１２８において複合映像アレー１０４に書き込まれた結果とを使用して、除算が実行される。

それ故、図９に示す映像充填プロセスは、各ピクセル値に充分な貢献がある場合に複合映像を直接発生することにより最大に鮮明な映像を発生する。さもなければ、各ピクセル値の推定を発生するに充分なほどデータが補間されるまで、平滑化の量が次第に増加される。

映像充填のための別の解決策が図１０のフローチャートに示されている。これは、多数の領域がそれらのデータにギャップをもたないことに関わらず、第１の解決策で行われていた、全アレーコンテンツをフィルタリングする計算上の費用を回避する。この実施形態のステップ１４０において、映像処理ユニットは、複合映像アレー１０４のピクセルに順次アドレスする。各ピクセルに対して、ステップ１４２において、初期隣接部範囲が単一（現在）ピクセルにセットされる。この範囲は、その後の繰り返し中に複数のピクセルを含むように拡張できる。ステップ１４４において、カウントアキュムレータアレー１０２の対応ピクセル隣接部がチェックされ、そしてその隣接部内の全ピクセルの値が加算される。ステップ１４６において、この加算値は、著しい非ゼロであるかどうかについてチェックされる。加算値が著しい非ゼロである場合には、プロセッサ１４は、ステップ１４８へ進み、映像データアキュムレータアレー１００の対応ピクセル隣接部に保持された値が加算される。ステップ１５０において、除算器１０６は、映像アキュムレータアレー１００からの加算ピクセル値を、カウントアキュムレータアレー１０２の同じ位置にある加算ピクセル値で除算する。ステップ１５２において、この除算の結果が複合映像アレー１０４の適当なピクセルに書き込まれる。

或いは又、隣接部内で加算されたカウントピクセル値が、ステップ１４６において著しい非ゼロでないと分かる合計値を生じる場合には、プロセッサは、ステップ１５４へ進む。このステップ１５４において、隣接部範囲が増加され、そしてプロセッサは、再び、ステップ１４４の加算を実行し、今度は、より大きな隣接部を検査する。隣接部サイズがステップ１４６において著しい非ゼロの和を与えるに充分であるときには、映像アキュムレータアレー１００及びカウントアキュムレータアレー１０２の両方の隣接部内の値が、１４８において加算され、１５０において除算され、そして１５２において複合映像アレー１０４の適当なピクセルに書き込まれる。

本発明のこの実施形態では、必要とされる領域のギャップ処理だけで複合映像が形成される。現在ピクセルを中心とする適当なサイズの領域を使用して、複合映像ピクセルが計算される。この解決策の欠点は、異なる容器の処理時間が、必要なフィルタリングの量に基づいて、著しく変化することである。

ほとんどの実施形態では、フィルタリングは、容器の移動方向に映像に適用するだけでよいことが予想される（実際にフィルタリングが万事必要とされる場合）。しかしながら、若干のセンサ、例えば、ベイヤ(Bayer)フィルタを伴うカラーセンサの場合には、列が濃密にサンプルされなくてもよい。それ故、移動に対して垂直方向の付加的なフィルタリングが必要とされる。このフィルタは、移動方向に適用されるものと同じサイズである必要はない。

映像処理機能を要約する助けとして、映像処理ユニット１４のコンポーネントが図１１に概略的に示されている。処理ユニット１４は、処理されるべき映像情報を記憶するための映像記憶ユニット１６２を備えている。このユニット１６２は、２つの映像フレームバッファ（図示せず）、即ち現在映像フレームＩ^tを記憶するための現在映像バッファと、その直前のフレームＩ^t-1を記憶するための手前の映像バッファとを備えている。記憶ユニット１６２は、勾配プロセッサ１６４にリンクされ、該プロセッサは、映像バッファ１６２に保持される現在映像フレームＩ^tの勾配を計算し（図５のステップ５４）そして記憶する。映像バッファ１６２内のデータは、動き推定プロセッサ１６６及び映像アナライザ１６８の両方によりアクセスできる。動き推定プロセッサ１６６は、更に、勾配プロセッサ１６４にリンクされ、そして映像アナライザ１６８は、重みデータベース１７０（これは任意である）にアドレスしそしてアクセスすることができる。

映像アナライザ１６８は、映像バッファ１６２のデータを使用し、そしてデータベース１７０を、シーンの背景に対応する映像ピクセルと、像形成されている物体（前景）に対応する映像ピクセルとの間を区別するように重み付けする。動き推定プロセッサ１６６は、映像バッファ１６２及び勾配プロセッサ１６４内の映像データを、映像アナライザ１６８により与えられる区別の尺度に基づいて処理する。これは、現在映像フレームＩ^tと、その直前の映像フレームＩ^t-1との間の物体の動きの推定を発生する。動きの推定が完了した後に、現在映像バッファ１６２の映像フレーム及びその映像フレームに対する動きの現在推定が、フィルタ１７２を経て、ディスプレイプロセッサ１７４へ通される。容器６を像形成する全てのフレームが動き推定プロセッサ１６６により処理されると、ディスプレイプロセッサ１７４は、各映像フレームに対して導出された動き推定に基づいて容器の複合映像を構成する。このプロセスは、図６から１０を参照して既に詳細に説明した。１つ以上の付加的なセンサ２４及び３２からのフレーム出力は、ディスプレイプロセッサ１７４に入力することもでき、これは、次いで、各センサに対する各複合映像を、上述したように動き推定プロセッサ１６６により発生されて必要に応じて再スケーリングされた動き推定に基づいて形成する。

図５及び１１を再び参照すれば、動き推定プロセスの始めに、新たな映像フレームＩ^tに関連したデータが映像記憶ユニット１６２に入力される。このデータは、現在映像バッファに記憶され、そしてその直前の映像フレームＩ^t-1に関連したデータは、手前の映像のバッファに記憶される。データは、これらバッファ間で物理的に転送されてもよいが、実際には、それらの役割を交換するのが好ましい。即ち、現在映像フレームが処理された後に、それが保持されていたバッファは、手前の映像のバッファと再呼称され、そして他方が現在映像バッファとなる。これは、例えば、ソフトウェアでは、各フレームの開始を指すアドレスポイントをスワップすることで達成されてもよいし、又はハードウェアでは、マルチプレクサを使用して２つの映像フレームバッファ間を交番することで達成されてもよい。

ステップ５４において、勾配プロセッサ１６４は、現在映像フレームバッファ内の情報を抽出し、そして映像勾配を計算する。処理されるべきピクセルごとに、映像アナライザ１６８は、先ず、式（２）及び（３）を使用してピクセル差Ｄ１及びＤ２を計算する。本発明のこの実施形態がルックアップテーブルを使用する場合には、Ｄ１及びＤ２を使用して、重みデータベース１７０をアドレスし、そこから、当該エントリーを映像アナライザ１６８へ返送する。或いは又、Ｄ１及びＤ２を映像アナライザ１６８により使用して、使用すべき所定の構成に基づき重みを直接計算する。いずれにせよ、その繰り返しサイクルにおける各ピクセルの重みは、映像アナライザ１６８により発生され、これは、各ピクセルが前景の一部分となる見込みを指示する尺度となる。この重みと、Ｄ１及びＤ２の計算は、動き推定プロセッサ１６６へ通され、該プロセッサは、ステップ６６及び６８（図５）に基づき、それらを使用して、動き推定を更新すると共に、その繰り返しカウントを増加する。動き推定プロセッサ１６６は、収斂又は最大カウントに達するまで繰り返しを続ける。各映像フレームＩ^tのデータは、次いで、フィルタ１７２へ通され、該フィルタは、動き推定を平滑化すると共に、その結果をディスプレイプロセッサ１７４へ通し、ここで、ステップ７４において複合映像が構成される。

図６から１０を参照して説明した方法から明らかなように、一連の映像フレームから複合映像を再構成するには、各対の隣接フレーム間でセンサに対する物体の動きΔｘ_c（ｔ）を推定することが必要である。上述した本発明の実施形態では、動き推定Δｘ_c（ｔ）は、映像フレーム自体内に含まれた情報を使用して得られる。このプロセスは、外部センサを参照せずにフレーム間の動きを推定するための従来技術よりも、計算の観点で低廉である。

しかしながら、本発明のある用途では、動き推定を与えるために映像情報に完全に依存する必要はなく、即ち他の情報ソースを利用し、そこから、動き推定を得ることもできる。これは、初期の動き推定に値を指定することに関連して既に述べた。個別の速度センサからの情報を使用することもできる。図１２には、乗物をスキャニングするのに特に適した本発明の第４の実施形態が１８０で一般的に示されている。この図では、トラック１８２が門１８４を通して運転されて示されており、門には、第１、第２、第３及び第４のセンサ１８６、１８８、１９０及び１９２が取り付けられている。第１及び第２のセンサ１８６及び１８８は、ミリメーター波イメージャーであり、第１のミリメーター波イメージャー１８６は、トラック１８２の上に配置されて、垂直方向下方を見ている。第２のミリメーター波イメージャー１８８は、門１８４の上角に向けて配置されて、門１８４の縦断面を横切って対角方向を指している。これは、トラックの内部をカバーするように下方に向けられる。第１及び第２のミリメーター波イメージャー１８６及び１８８は、位置及び向きを調整できるように各スキャナ及び取り付け台に取り付けられる。

第３のセンサ１９０は、横を向いた可視帯域センサで、これは、それ自体熱式（赤外線）イメージャーである第４のセンサ１９２に隣接配置される。可視帯域センサ１９０及び熱式イメージャー１９２は、像形成されるべきトラックに予想される高さのほぼ半分において門１８４に取り付けられる。この構成は、幾何学的歪を最小にする。側部に取り付けられた第２、第３及び第４のセンサ１８８、１９０及び１９２により見られるトラックの側部を付加的に照明するために、ライト１９４が門１８４に取り付けられる。トラックの側部から強い赤外線ソースが反射することによる眩しさを防止する（できるだけ）ために、赤外線放射シールド１９６が熱式イメージャー１９２を取り巻いている。これは、主として、日光の反射を打ち消すことを意図しているが、その後方に位置する他の高温物体からの赤外線放射の反射も減少する。処理電子装置は、便利に配置された電子装置ベイ１９８に収容される。

トラック（lorry）１８２は、その運転者により門（portal）１８４を通して運転される。トラックの速度は、運転者により制御され、スキャニングオペレータの制御下になく、従って、一定とは考えられない。実際に、トラックの運転者は、映像データを妥協することを試みて常軌を逸した運転をすることがある。しかしながら、ここに述べる本発明に基づいて映像が収集されそして処理される場合には、トラックの４つの複合映像が再構成されて、リアルタイム実施に適したレートで容易に比較するように表示される。更に、ライト１９４は、日中及び夜間の両方に乗物のスキャンを実行して、暗闇に覆われることでスキャンを回避しようとする試みを除外することができる。与えられる照明は、可視波長帯域内であるか又は近赤外線（ＮＩＲ、０．７−１．０μｍ）帯域内でよい。可視センサ１９０がＮＩＲカットオフフィルタを有していない場合には、ＮＩＲ照明（運転者には見えない）をこのセンサにより検出できる。この実施形態に適した典型的な門の大きさが図示されている。

図１３は、レーダー又はライダーセンサ或いはビームブレーカのような個別の速度センサ２００を組み込むように変更された図１２の装置の態様を示す。前述したものと同等の部分は、同様に参照される。速度センサ２００は、映像フレーム捕獲のタイミングと同期して周期的に物体の速度を測定するように構成される。即ち、フレームごとに反復計算を実行するのではなく、複合映像にフレームを入れる必要があるときに、物体の動きの推定が速度センサ２００から直接収集される。

本発明の第４の実施形態のこの変形において、物体の速度は、第１のコンピュータベースのシステム（図示されていない速度測定システム）を使用して測定され、そしてその速度は、第２のコンピュータベースのシステム（図示されていない映像捕獲システム）により捕獲されて記憶された映像フレームに関連付けられる。

速度測定システムは、カウンタタイマーカードを組み込んだパーソナルコンピュータ（ＰＣ）にインターフェイスされたドップラーレーダー２００の形態の速度センサを使用している。ドップラーレーダー２００は、スキャニングされる物体の中心に置かれた位置を通る垂直線２０２から２．６ｍ横方向にオフセットされている。この垂直線２０２は、あるポイントにおいて乗物が移動する表面に合流し、そしてそのポイントを通して物体移動方向に延びる水平線を、以下、物体の「中心線」と称する。ドップラーレーダー２００は、移動物体から反射させるためのレーダービームを発生し、このビームは、連続波出力の形態の信号で構成される。レーダービームは、垂直線２０２と、可視帯域センサ１９０の視野の中心との交点に向けて水平に向けられる。又、これは、ビームの中心と、物体の中心線に平行な線との間に２０度から３０度の範囲の角度を与えるためにセンサ１８６−１９２から長手方向に離れるように向けられる。ドップラーレーダー２００は、物体がセンサ１９０等でスキャニングされるときにそのレーダービーム巾で物体をカバーするような高さにおいてポスト２０４に配置される。又、このレーダーは、電気的方形波出力パルス列も発生し、方形波の周波数は、レーダー信号を反射する移動物体の速度に正比例する。

方形波の周波数は、物体の速度に正比例し、従って、物体の速度に係数を乗算し、又、各々の場合に、方形波の周波数にその係数を乗算すると共に、その周期をその係数で除算する。更に、物体の速度に係数を乗算し、物体があるポイントを通過するのに要する時間をその係数で除算し、物体が進行した距離と方形波の周期との間の直接的な関係を与える。その結果、物体は、方形波の周波数に関わりなく、次々の各対の方形波立ち上り縁の間に等しい距離を進行する。物体が予め構成されたポイントを通過し始めるときに始めて、各立ち上り縁までの各経過時間が測定される。速度測定システムは、任意の対の次々の方形波立ち上り縁間に移動した物体距離が分かるように校正され、これは、約５ｍｍである。それ故、物体が予め構成されたポイントを越えて移動する累積距離は、各時間値に対して得ることができる。

速度測定システムは、クロック周波数のパルスより成るタイミング信号（システムクロック）を発生するカウンタタイマーカードを有し、このシステムクロックは、映像捕獲システムに分布される。速度測定システムの一部分であるスキャニングレーザー２０６は、映像捕獲システムの視野における物体の存在を検出するのに使用される。スキャニングレーザー２０６は、ドップラーレーダー２００の真上に配置され、そしてそこから、垂直線２０２と、物体がこの線に沿って６ｍの距離まで移動する表面との交点に向かって延びる領域内で物体を検出する。これは、１８０度の弧より成るスキャンエリアにわたってそのレーザービームの繰り返し一次元スキャニングを行うように構成される。このスキャンエリアは、物体移動方向に沿って３ｍ延びそして物体が移動する表面に向かって高さが６ｍ延びる長方形ゾーンへと細分化される。速度測定システムがこの長方形ゾーン内から戻りレーザービーム（戻り信号）を受信すると、これは、物体がレーザービームを反射し、ひいては、映像捕獲システムの視野内に物体が存在することを指示する。長方形ゾーン内からの戻り信号の開始を使用して、映像捕獲システムをアクチベートすると共に、システムクロックをカウントするカウンタタイマーカードのカウンタをスタートさせる。同様に、映像捕獲システムは、スキャニングされるべき物体が存在しないことを指示する戻り信号終了の受信に応答してデアクチベートされる。

速度測定システムにおいて、カウンタタイマーカードは、戻り信号の開始以来生じたシステムクロックのパルス数をカウントし、この開始は、以下、スタート信号と称する。これらカウントは、ドップラーレーダーからの各方形波出力パルスの立ち上り縁と同期して速度測定システムにより記憶される。この記憶されたカウントは、スタート信号から各方形波立ち上り縁まで経過した時間を表わす。このスタート信号から各立ち上り縁まで経過した時間は、予め構成されたポイントからの物体位置変位に比例し、従って、各カウントは、物体位置が一定の距離増分だけ変化した各時間を表わす。時間及び位置は、時間／位置データのテーブルに周期的に追加されて、それを更新する。

映像捕獲システムは、速度測定システムからスタート信号及びシステムクロックを受信する。又、時間／位置データのテーブルも、更新時に、周期的に受信する。各映像フレームのスタートが捕獲されると、そのスタート信号以来生じたクロック周波数のパルス数がカウントされて記録される。カウントは、システムクロックの現在カウントをラッチするために映像フレームのスタートから導出されるタイミング信号を使用して、映像捕獲システムのカウンタタイマーカードにより行われる。これは、捕獲時間を、速度測定システムにより使用される時間原点に対して各映像フレームに関連付け、即ち時間原点は、レーザー戻り信号の開始により与えられるスタート信号である。

映像フレームから映像を適当に構築するために、映像捕獲システムは、フレームに対して記録された捕獲時間を、速度測定システムにより送信された関連時間／位置データと比較する。映像捕獲システムは、１つは記録されたフレーム捕獲時間の前で且つ１つはその後である２つの隣接時間値を見出し、それに関連する位置の値を読み取り、そして２つの位置の値の間の直線的補間を実行して、各映像フレームの捕獲時間における移動物体の位置を決定する。

映像の空間解像度が速度測定システムより低いシステムの場合、映像捕獲システムにとって、フレーム捕獲時間に最も近い時間を選択し、そしてその時間に関連した位置の値をフレーム位置として使用するのがより簡単である。

次いで、各映像フレームを、上述したようにそれに対して決定された各映像位置に指定することにより、映像捕獲システム内で複合映像が構成される。時間／位置データのテーブルは、物体がセンサを通過するときに送信され、従って、物体が像形成されるときに映像を空間的に修正することができる。それ故、物体が映像捕獲システムの視野内にあるほとんどの時間は、映像の記憶及び映像の捕獲に使用することができ、これは、次いで、速度測定システム及び映像捕獲システムの組合体のスループットを高める。これは、変化する速度で移動する物体を像形成するための非接触方法である。これは、数値的に大きなアスペクト比（巾対高さ）を有する物体を像形成するのに特に適している。

映像処理を使用して各映像フレームの位置的変位を決定する速度測定システム（上述した）では、映像フレームのスタートから導出されたタイミング信号を使用して、システムクロックカウントをラッチすることができる。これは、物体の速度／位置が推定された時間と同じである各フレームの捕獲時間を与える。個別の速度センサを使用するシステムについて述べたものと同一の方法により、個別の映像捕獲システムが、発生された時間／位置データを使用して、それ自身の映像を空間的に修正することができる。

速度センサの出力は、実世界の速度（例えば、マイル／時）でよく、この場合に、これは、映像処理に必要とされるように、映像平面を横切る対応速度（例えば、ピクセル数／秒）に変換される。これは、像形成幾何学しか含まないスカラー変換である。しかしながら、これは、物体をスキャンする各センサの配置及び特性に対して決定され、そして必要とされる変換は、映像処理の計算に容易に組み込まれる。

先に述べた実施形態と比較すると、速度センサを使用する欠点は、このようなセンサを設ける必要性であり、これはシステムのサイズを増大する。しかしながら、複合映像を再構成するのに必要な分析は、映像情報のみから動きが推定される実施形態よりも、計算上需要が低い。物体速度を直接的に測定すると、各センサをより高いフレームレートで動作することができ、ひいては、より高速に移動する物体をスキャニングすることができる。この構成の制限ファクタは、速度センサ自体の応答時間と、装置が完全な複合映像を再構成できないほど高速で物体が移動しないよう確保する必要性とである。従って、図９及び１０を参照して述べた補間についてのギャップ充填方法の１つを組み込む場合に、この実施形態の効果が更に発揮される。

速度センサ情報を使用する映像処理が要求される場合には、約７００ストリップ／秒のフレームレートにおける標準的パーソナルコンピュータ（ＰＣ）ハードウェア（おそらくデュアルプロセッサＰＣ）を使用したリアルタイム映像再構成を行い得ることが想像される。この装置を乗物のスキャニングに使用し、道路の縁に配置した場合には、このフレームレートは、乗物が３ｍ離れて１４０ｍｐｈで走行することに等しい。逆に、ここに述べる映像データからの動き推定を使用する装置のリアルタイム動作は、３０ｍｐｈ領域の最大速度で走行する乗物でしかスキャニングを確実に実行できないようにフレームレートを制限する。

以上の説明で取り上げた計算は、自動的な仕方で、即ち適当な搬送媒体で実施されて従来のコンピュータシステムで実行されるプログラムコード命令を含む適当なコンピュータプログラムにより、明確に評価することができる。このコンピュータプログラムは、メモリ、フロッピー（登録商標）、或いはコンパクト又は光学ディスク又は他のハードウェア記録媒体、或いは電気的又は光学的信号で実施されてもよい。このようなプログラムは、良く知られた計算手順を含むので、熟練したプログラマにとって、前記説明に基づいて実施することが容易である。

本発明によるスキャニング装置の第１実施形態を示す概略図である。 本発明によるスキャニング装置の第２実施形態を示す概略図である。 本発明によるスキャニング装置の第３実施形態を示す概略図である。 図１から３のスキャニング装置のセンサコンポーネントの視野内を移動する物体を示す概略図である。 図１、２及び３に示すスキャニング装置に収集されたデータから映像を再構成するプロセスステップを示すフローチャートである。 図１から３のスキャニング装置の１つから得た線スキャン映像フレームが複合映像アレー内の位置に入れられるところを示す概略図である。 フレーミングセンサから得られた映像フレームが複合映像アレー内の位置に適応配置されるところを示す概略図である。 積分を使用して複合映像を再構成する方法を示す概略図である。 直線補間を使用して複合映像を再構成する方法を示す概略図である。 図７及び８に示すように発生された複合映像のギャップを埋める第１の方法に含まれるプロセスステップを示すフローチャートである。 複合映像のギャップを埋める別の方法に含まれるプロセスステップを示すフローチャートである。 図１から３に示す映像処理ユニットのコンポーネントを示す概略図である。 乗物のスキャンを実行するように適応された本発明のスキャニング装置の第４実施形態を示す図である。 図１２の実施形態を、個別の速度センサを組み込むように変更した変形態様を示す図である。

Claims (47)

1. 移動物体(6)をスキャニングするための装置(4)であって、前記物体(6)がセンサ視野(20)を通過するときに前記物体の一連の映像を収集するように配向されたセンサ(12)と、前記一連の映像を入力しそしてそこから複合映像を形成するように構成された映像処理手段(14)とを備えた装置において、前記映像処理手段(14)が、
   ａ）前記一連の映像内の映像と映像との間の物体映像の動き（Δｘ_c(ｔ)）の推定を発生するための動き推定手段(166)と、
   ｂ）前記推定された物体映像の動き（Δｘ_c(ｔ)）から導出された位置において前記一連の映像が貢献するところの複合映像を発生するための表示処理手段(174)と、
   を備えたことを特徴とする装置。
2. ａ）前記動き推定手段は、前記一連の映像からの現在映像内の多数のピクセルの各々に対し、各映像ピクセルが前記物体の一部分に対応する見込みを指示する見込み尺度（ｗ_f(ｘ，ｙ)）を導出するための映像アナライザ(168)を備え、そして
   ｂ）前記動き推定手段(166)は、前記見込み尺度（ｗ_f(ｘ，ｙ)）に基づいて重み付けされた映像ピクセルから、前記現在映像とその先駆体との間の物体映像の動き（Δｘ_c(ｔ)）の推定を発生するように構成された、
   請求項１に記載の装置。
3. 前記センサ(12)は、スキャニングされるべき移動物体(6)に対して予め構成された動き方向(10)に実質的に垂直に整列された光学軸(11)を有する、請求項２に記載の装置。
4. 前記一連の映像における前記現在映像の先駆体は、直前の映像である、請求項２に記載の装置。
5. 前記映像アナライザ(168)は、現在映像におけるピクセルの強度Ｉ_p ^t(ｘ，ｙ)と、前記現在映像の先駆体において同等に位置するピクセルの強度Ｉ_p ^t-1(ｘ，ｙ)との比較に基づいて、各ピクセルに対する見込み尺度（ｗ_f(ｘ，ｙ)）を導出するように構成された、請求項４に記載の装置。
6. 各ピクセルに対する前記見込み尺度（ｗ_f(ｘ，ｙ)）は、前記現在映像におけるピクセルの強度Ｉ_p ^t(ｘ，ｙ)と、それと同等に位置するピクセルの強度Ｉ_p ^t-1(ｘ，ｙ)との間の差の二乗に比例する、請求項５に記載の装置。
7. 前記映像アナライザ(168)は、前記現在映像ピクセルの強度Ｉ_p ^t(ｘ，ｙ)と、前記現在映像ピクセルにより像形成されるものと同じである物体領域を像形成すべく推定された先駆体におけるピクセルの強度Ｉ_p ^t-1(ｘ＋Δｘ_i，ｙ)との比較に更に基づいて、各ピクセルに対する見込み尺度（ｗ_f(ｘ，ｙ)）を導出するように構成され、前記先駆体におけるピクセルは、物体映像の動き（Δｘ_i）の現在推定が真の映像の動きを表わすという仮定に基づいて動き補償により導出された位置を有する、請求項５に記載の装置。
8. 前記見込み尺度（ｗ_f(ｘ，ｙ)）は、現在映像ピクセルの強度Ｉ_p ^t(ｘ，ｙ)と、前記現在映像ピクセルと同等に前記先駆体に位置する第２ピクセルの強度Ｉ_p ^t-1(ｘ，ｙ)と、前記先駆体内の第３ピクセルであって、前記現在映像ピクセルにより像形成されるものと同じである物体領域を像形成すると推定される第３ピクセルの強度Ｉ_p ^t-1(ｘ＋Δｘ_i，ｙ)と、から導出され、前記第３ピクセルは、物体の動きの補償により導出される位置を有し、そして前記見込み尺度は、物体映像強度におけるノイズの標準偏差σ_f及び背景映像強度におけるノイズの標準偏差σ_bの推定値を使用して、次の方程式に基づいて導出される、
   

   

   但し、
   

   

   及び
   

   

   請求項７に記載の装置。
9. 前記見込み尺度（ｗ_f(ｘ，ｙ)）は、現在映像ピクセルの強度Ｉ_p ^t(ｘ，ｙ)と、その先駆体に同等に位置する第２ピクセルの強度Ｉ_p ^t-1(ｘ，ｙ)と、前記先駆体内の第３ピクセルであって、前記現在映像ピクセルにより像形成されるものと同じである物体領域を像形成すると推定される第３ピクセルの強度Ｉ_p ^t-1(ｘ＋Δｘ_i，ｙ)と、から導出され、前記第３のピクセルは、物体の動きの補償により導出された位置を有し、そして前記見込み尺度（ｗ_f(ｘ，ｙ)）は、正の数をｎとし、そして負でない定数をｃとすれば、
   

   

   により与えられる、請求項５に記載の装置。
10. １＜ｎ≦４である、請求項１１に記載の装置。
11. １．５＜ｎ＜２．５である、請求項１０に記載の装置。
12. 前記映像アナライザ(168)は、物体の動き（Δｘ₀）の第１の推定を使用して、第２のそのような推定（Δｘ₁）を計算し、その後、以前の繰り返しにおいて動き推定手段(166)により発生された物体の動き（Δｘ_i-1）の推定に基づいて見込み尺度（ｗ_f(ｘ，ｙ)）を繰り返し計算するように構成され、そして前記動き推定手段(166)は、各々の以前の動き推定（Δｘ_i-1）を使用して更新された見込み尺度（ｗ_f(ｘ，ｙ)）に基づいて現在の繰り返しに対する物体の動き（Δｘ_i）の推定を繰り返し発生するよう構成された、請求項２に記載の装置。
13. 前記センサ(12)は、実質的に長方形の視野(90)をもつフレーミングセンサであり、前記表示処理手段(174)は、一連の映像の各々に対し、前記センサの視野内で複数のストリップ(94)から映像データを取り出し、そして各映像における各ストリップ(94)からの貢献を各々有する対応する複数の複合映像を発生するよう構成された、請求項２に記載の装置。
14. 前記センサ(12)は、第１センサであり、前記装置(22,31)は、前記物体が少なくとも１つの他のセンサの視野(30,40)を通過するときに前記物体(6)の各一連の映像を得るように配向された少なくとも１つの他のセンサ(24,32)を備え、そして前記表示処理手段(174)は、更に、前記第１のセンサの一連の映像から導出された映像の動き（Δｘ_c(ｔ)）の推定に基づいて各一連の映像から各複合映像を発生するように構成された、請求項２に記載の装置。
15. 前記少なくとも１つの他のセンサ(24,32)は、前記第１のセンサ(12)とは異なる波長で像形成でき且つ異なる方向に沿って配向された少なくとも１つのセンサである、請求項１４に記載の装置。
16. 前記第１のセンサ(12)は、可視帯域イメージャーであり、前記少なくとも１つの付加的なセンサ(24,32)は、可視帯域イメージャー、ミリメーター波イメージャー及び熱式イメージャーの少なくとも１つである、請求項１４に記載の装置。
17. 前記動き推定手段は、物体速度センサである、請求項１に記載の装置。
18. 前記物体速度センサは、物体の速度に比例する周波数をもつ出力信号を与えるドップラーレーダーである、請求項１７に記載の装置。
19. 前記ドップラーレーダーの出力信号をタイミングどりするための共通のクロック信号を与えると共に、これらクロック信号パルスのカウントに関して前記一連の映像における映像を収集するように構成された、請求項１８に記載の装置。
20. 各々のフレーム信号を与えて、前記ドップラーレーダーの出力信号から導出された映像及び時間／位置データをタイミングどりして、物体移動をタイミングどりし、更に、補間を行って映像のタイミングを物体の位置に関係付け、そして物体の位置に基づいた位置にある映像から複合映像を形成するように構成された、請求項１９に記載の装置。
21. 運転者により制御される移動乗物(182)をスキャニングするための装置(180)であって、前記乗物がセンサ視野(20)を通過するときに前記乗物(182)の一連の映像を収集するように配向されたセンサ(186,188,190,192)と、前記一連のセンサ映像を入力しそしてそこから前記乗物の複合映像を形成するように構成された映像処理手段(14)とを備えた装置において、前記映像処理手段(14)が、
    ａ）前記一連の映像の中の現在映像内の多数のピクセルの各々に対し、そのピクセルが前記乗物の一部分に対応する見込みを指示する各々の見込み尺度（ｗ_f(ｘ，ｙ)）を導出するための映像分析手段(168)であって、前記現在映像及びその先駆体内に含まれた情報を使用するように構成された映像分析手段(168)と、
    ｂ）前記見込み尺度（ｗ_f(ｘ，ｙ)）に基づいて重み付けされた映像ピクセルから前記現在映像とその先駆体との間の物体映像の動き（Δｘ_c(ｔ)）の推定を発生するための動き推定手段(166)と、
    ｃ）前記推定された物体映像の動き（Δｘ_c(ｔ)）から導出された位置において前記一連のフレームが貢献するところの複合映像を発生するための表示処理手段(174)と、
    を備えたことを特徴とする装置。
22. 物体(6)がセンサ視野(20)を通して移動するときにセンサ(12)に得られる一連の映像から複合映像を構成する方法において、
    ａ）現在映像を処理のために入力するステップと、
    ｂ）物体映像の動きの推定を導出するステップと、
    ｃ）一連の映像に対して前記ステップａ）及びｂ）を繰り返すステップと、
    ｄ）前記物体映像の動きの推定から導出された位置において前記一連の映像フレームが貢献するところの複合映像を構成するステップと、
    を備えたことを特徴とする方法。
23. 前記ステップｂ）は、
    ｂ１）前記現在映像フレーム（Ｉ^t）のピクセル（Ｉ_p ^t(ｘ，ｙ)）に対し、各ピクセル（Ｉ_p ^t(ｘ，ｙ)）が前記物体(6)の部分に対応する見込みを指示する見込み尺度（ｗ_f(ｘ，ｙ)）を導出する段階と、
    ｂ２）前記見込み尺度（ｗ_f(ｘ，ｙ)）に基づいて重み付けされた映像ピクセル情報（Ｉ_p ^t(ｘ，ｙ), Ｉ_p ^t-1(ｘ，ｙ)）から、物体映像の動きの推定（Δｘ_i）を導出する段階と、
    ｂ３）前記推定（Δｘ_i）が収斂するか又は予め構成された繰り返し限界に達するまで、前記段階（ｂ２）で導出された物体映像の動き（Δｘ_i）の推定を使用して、前記段階（ｂ１）及び（ｂ２）を繰り返して、前記段階（ｂ１）で導出された見込み尺度（ｗ_f(ｘ，ｙ)）を更新し、これにより、前記現在映像フレームに対する物体映像の動き（Δｘ_c）の第１推定を発生する段階と、
    を備え、更に、前記ステップｄ）は、前記物体映像の動き（Δｘ_c）の最終推定から導出される位置において、前記一連の映像フレーム（Ｉ^t）が貢献するところの複合映像を構成する段階を含む、請求項２２に記載の方法。
24. 前記ステップ（ｂ）は、前記現在映像（Ｉ^t）内に含まれた情報と、先駆体（Ｉ^t-1）内に含まれた情報とを比較して、前記見込み尺度（ｗ_f(ｘ，ｙ)）を導出する段階を含む、請求項２３に記載の方法。
25. 前記ステップ（ｂ）は、前記現在映像（Ｉ^t）の各ピクセル（Ｉ_p ^t(ｘ，ｙ)）に対し、ピクセル強度（Ｉ_p ^t(ｘ，ｙ)）と、前記先駆体の同等の位置におけるピクセル強度（Ｉ_p ^t-1(ｘ，ｙ)）との比較を行い、そしてこのような比較を使用して前記見込み尺度（ｗ_f(ｘ，ｙ)）を導出する段階を含む、請求項２４に記載の方法。
26. 前記見込み尺度（ｗ_f(ｘ，ｙ)）は、前記現在映像におけるピクセルの強度Ｉ_p ^t(ｘ，ｙ)と、前記先駆体の同等の位置のピクセルの強度Ｉ_p ^t-1(ｘ，ｙ)との間の差の二乗に比例する、請求項２５に記載の方法。
27. 前記現在映像（Ｉ^t）におけるピクセル（Ｉ_p ^t(ｘ，ｙ)）に対し、前記ステップ（ｂ）は、更に、
    ｂ４）前記現在映像とその先駆体との間の物体映像の相対的な動きを、映像の真の動きを表わす物体映像の動きの現在推定（Δｘ_i）に基づいて補償する段階と、
    ｂ５）前記現在映像のピクセルの強度Ｉ_p ^t(ｘ，ｙ)と、前記先駆体における各同等の映像ピクセルの強度Ｉ_p ^t-1(ｘ＋Δｘ_i，ｙ)との比較を行う段階と、
    ｂ６）前記現在映像及びその先駆体における同等の位置のピクセル及び同等の像形成ピクセルの両方との比較から、前記見込み尺度（ｗ_f(ｘ，ｙ)）を導出する段階と、
    を備えた請求項２５に記載の方法。
28. 各ピクセルに対する前記見込み尺度（ｗ_f(ｘ，ｙ)）は、前記現在映像におけるピクセル強度（Ｉ_p ^t(ｘ，ｙ)）と、その先駆体における同等の位置のピクセルの強度Ｉ_p ^t-1(ｘ，ｙ)と、前記先駆体における同等の像形成ピクセルの強度Ｉ_p ^t-1(ｘ＋Δｘ_i，ｙ)とから、負でない定数をｃとし、そしてｎ＞０とすれば、次の方程式により導出される、
    

    

    請求項２７に記載の方法。
29. 各ピクセルに対する前景見込み（ｗ_f(ｘ，ｙ)）の尺度は、前景及び背景ノイズ強度の標準偏差σ_f及びσ_dの推定から、次の方程式に基づいて導出される、
    

    

    
    

    

    
    

    

    請求項２７に記載の方法。
30. 前記先駆体（Ｉ^t-1）は、前記現在映像（Ｉ^t）の直前のものである、請求項２３に記載の方法。
31. 前記物体(６)が通過する視野を有する少なくとも１つの付加的なセンサ(24,32)から各複合映像を構成する付加的なステップを備え、各複合映像は、少なくとも１つのセンサからの各現在映像（Ｉ₁ ^t,Ｉ₂ ^t）を、前記ステップ（ｄ）で発生された物体映像の動きの関連収斂推定（Δｘ_c）から導出された各位置に入れることにより構成される、請求項２３に記載の方法。
32. 物体映像の動きの推定を導出する前記ステップ（ｂ）は、物体速度センサにより実施される、請求項２２に記載の方法。
33. 前記物体速度センサは、物体速度に比例する周波数をもつ出力信号を発生するドップラーレーダーである、請求項３２に記載の方法。
34. 共通のクロック信号を使用して、ドップラーレーダーの出力信号をタイミングどりし、そして前記クロック信号パルスのカウントに関して一連の映像における映像を収集する、請求項３３に記載の方法。
35. 各フレーム信号を使用して、前記ドップラーレーダー出力信号から導出された映像及び時間／位置データをタイミングどりして、物体の移動をタイミングどりし、更に、補間を行って、映像のタイミングを物体の位置に関係付け、そして物体位置に基づいた位置にある映像から複合映像を形成する、請求項３４に記載の方法。
36. 物体がセンサ視野(20)を経て移動するときに、センサ(12)により捕獲される一連の映像から複合映像を構成する方法において、
    ａ）物体映像の動き（Δｘ_c(ｔ)）の各推定を、現在映像として指定されるときの各映像（Ｉ^t）に関連付けるステップと、
    ｂ）前記現在映像を、その現在映像（Ｉ^t）に対する物体映像の動き（Δｘ_c(ｔ)）の推定と、前記一連の映像における早期捕獲映像に対して得られる同様の推定との和から導出されるデータアキュムレータ(100)内の各位置ｘ’(ｔ)に関連付けるステップと、
    ｃ）前記一連の映像（Ｉ^t）に対して前記ステップａ）及びｂ）を繰り返し、そして各位置ｘ’(ｔ)に基づいた位置にある映像中央部分(80,90,108)から複合映像を形成するステップと、
    を備えた方法。
37. 各映像中央部分(90)は、少なくとも、物体映像の動き（Δｘ_c(ｔ)）の関連推定と同程度の巾である、請求項３６に記載の方法。
38. 前記ステップ（ｂ）は、データが前記データアキュムレータ(100)に追加される位置に対応するピクセル位置でカウントアキュムレータ(102)を、各ピクセルに対するこのような追加の回数を示すのに適するように増加する段階も備え、そして前記ステップ（ｃ）は、前記データアキュムレータのピクセル値を、各々の対応的に位置するカウントアキュムレータのピクセル値で除算する段階を含む、請求項３６に記載の方法。
39. 前記カウントアキュムレータの増分、及び前記現在映像（Ｉ^t）の中央部分におけるピクセル値を、左及び右の重み付けファクタｗ_l（ｔ）(110)及びｗ_r（ｔ）(112)で重み付けして、各々、重み付けされた増分及び重み付けされたピクセル値を発生するステップを備え、前記重み付けされた増分は、前記カウントアキュムレータ(102)における第１及び第２の整数ピクセル位置に追加され、そして前記重み付けされたピクセル値は、前記データアキュムレータ(100)における同様に位置されたピクセル位置に追加され、前記整数ピクセル位置は、前記現在映像（Ｉ^t）及び先駆体（Ｉ^t-n）に対する物体映像の動き（Δｘ_c(ｔ)）の加算から導出された推定真のピクセル位置に隣接する位置であり、そして前記左及び右の重み付けファクタｗ_l（ｔ）及びｗ_r（ｔ）は、前記真のピクセル位置と、それに隣接する整数ピクセル位置との間の差に対して決定される、請求項３８に記載の方法。
40. 前記カウントアキュムレータの増分、及び前記現在映像（Ｉ^t）の中央部分におけるピクセル値を、重み付けファクタにより重み付けして、積を形成し、これらの積を、各々のアキュムレータ(100,102)内の対応する整数ピクセル位置に追加するステップを備え、前記整数ピクセル位置は、前記現在映像（Ｉ^t）及び早期捕獲映像（Ｉ^t-n）に対する物体映像の動き（Δｘ_c(ｔ)）の和から導出される推定真のピクセル位置に隣接する位置であり、そして前記一連の重み付けファクタは、滑らかな補間関数に基づいて決定される、請求項３８に記載の方法。
41. 前記ステップ（ｃ）は、
    （ｃｉ）前記データアキュムレータ(100)及びカウントアキュムレータ(102)のデータに空間的平滑化フィルタを適用する段階と、
    （ｃii）各々のカウントアキュムレータピクセル値が各ケースにおいて非ゼロであるかどうかに基づいて、前記データアキュムレータのピクセル値を各々の対応的に位置されたカウントアキュムレータのピクセル値で除算するか、又はフィルタされたデータアキュムレータのピクセル値を各々の対応的に位置されたフィルタされたカウントアキュムレータのピクセル値で除算することにより、前記複合映像を形成する段階と、
    を備えた請求項３８に記載の方法。
42. 前記ステップ（ｃ）は、
    （ｃ１）前記カウントアキュムレータ(102)の各ピクセルに対し１つのピクセルの初期隣接範囲をセットする段階と、
    （ｃ２）前記カウントアキュムレータ(102)において各ピクセルに対するその各々の隣接範囲内でピクセル値のカウントアキュムレータ加算を実施する段階と、
    （ｃ３）前記カウントアキュムレータ加算が著しい非ゼロであるかどうかに関してチェックを実施する段階と、
    （ｃ４）前記チェックの結果が真でなく、前記カウントアキュムレータ加算が著しい非ゼロでないことを示す場合には、前記チェックが真になるまで、前記隣接範囲を増加しながら前記段階（ｃ２）及び（ｃ３）を繰り返す段階と、
    （ｃ５）前記段階（ｃ２）で参照された前記カウントアキュムレータピクセルに対して同等の位置にあるデータアキュムレータピクセルに対し、前記チェックで著しい非ゼロの加算が指示されたものに等しい隣接範囲内でピクセル値にわたってデータアキュムレータ加算を実施する段階と、
    （ｃ６）前記データアキュムレータ加算を、前記著しい非ゼロのカウントアキュムレータ加算で除算することにより、除算結果を得る段階と、
    （ｃ７）前記除算結果を、前記段階（ｃ２）で参照された前記カウントアキュムレータピクセルに対応的に位置された複合映像(104)におけるピクセルに加算する段階と、
    を含む請求項３８に記載の方法。
43. 複数のセンサを組み込んでおり、複合映像を形成するための映像を得る前記センサ(12)は、第１センサであり、更に、前記センサは、物体映像の動き（Δｘ_c(ｔ)）の推定を発生するためのデータを得る第２センサも含み、そしてこの推定は、各々の映像（Ｉ^t）に関連付けされる前に再スケーリング又は補間される、請求項３６に記載の方法。
44. 速度センサを使用して物体速度を測定し、そしてこの測定値から前記一連の映像の各々（Ｉ^t）に関連した物体映像の動き（Δｘ_c(ｔ)）の各推定を導出するステップを備えた、請求項３６に記載の方法。
45. 前記センサ(12)は、実質的に長方形の視野(90)をもつフレーミングセンサであり、又、前記ステップ（ｂ）は、前記一連の映像の各々（Ｉ^t）内に含まれたデータの少なくとも１つの同じ位置の非中央部分を、更に別の各々の映像データアキュムレータ手段に書き込む付加的な段階を含み、そして前記ステップ（ｃ）は、各々の映像データアキュムレータアレイに含まれたデータから複数の複合映像を形成する段階を含む、請求項３６に記載の方法。
46. コンピュータ処理装置により実行するためのプログラムコード命令を実施するコンピュータ読み取り可能な媒体であって、前記命令は、物体が移動する視野を有するセンサを使用して得られた映像データの処理に関連したものである媒体において、このコンピュータ読み取り可能な媒体で実施される前記命令は、
    ａ）一連の映像における現在映像を処理のために入力するステップと、
    ｂ）物体映像の動きの推定を導出するステップと、
    ｃ）一連の映像に対して前記ステップａ）及びｂ）を繰り返すステップと、
    ｄ）物体映像の動きの各推定から導出された位置において、前記一連の映像フレームが貢献するところの複合映像を構成するステップと、
    を行わせることを特徴とするコンピュータ読み取り可能な媒体。
47. コンピュータプロセッサにより実行するためのプログラムコード命令を実施するコンピュータ読み取り可能な媒体であって、前記命令は、物体(6)が移動する視野(20)を有するセンサ(12)を使用して得られた映像データの処理に関連したものである媒体において、このコンピュータ読み取り可能な媒体で実施される前記命令は、
    ａ）一連の映像における現在映像（Ｉ^t）に関連したピクセルデータにアクセスするステップと、
    ｂ）前記現在映像におけるピクセル（Ｉ_p ^t(ｘ，ｙ)）が、前記物体映像の一部分である見込みを示す見込み尺度（ｗ_f(ｘ，ｙ)）を導出するステップであって、前記見込み尺度は、前記一連の映像における現在映像（Ｉ^t）及びその先駆体映像（Ｉ^t-1）に含まれた情報から導出されるステップと、
    ｃ）対応する見込み尺度（ｗ_f(ｘ，ｙ)）に基づいて重み付けされた映像ピクセル情報（Ｉ_p ^t(ｘ，ｙ), Ｉ_p ^t-1(ｘ，ｙ)）から物体映像の動き（Δｘ_i）の推定を導出するステップと、
    ｄ）収斂又は予め構成された繰り返し限界のいずれかが最初に生じるまで、前記ステップ（ｂ）及び（ｃ）を繰り返すステップと、
    ｅ）前記ステップ（ｃ）で導出された前景の動きの推定（Δｘ_i）を使用して、前記ステップ（ｂ）で導出された前記見込み尺度（ｗ_f(ｘ，ｙ)）を更新し、これにより、前記現在映像に対する前景映像の動き（Δｘ_c）の最終推定を発生するステップと、
    ｆ）前記一連の映像における次々の現在映像に対して前記ステップ（ａ）から（ｅ）を繰り返すステップと、
    ｇ）前記一連の映像（Ｉ^t）から複合映像を構成するステップであって、各映像は、前景映像の動き（Δｘ_c）の各々の最終推定に基づいて前記複合映像に位置されるものであるステップと、
    を行わせることを特徴とするコンピュータ読み取り可能な媒体。

Images