JP2008503916A

JP2008503916A - リアルタイム安定化

Info

Publication number: JP2008503916A
Application number: JP2007516479A
Authority: JP
Inventors: ジーンアーサーグリンドスタッフ，; シェイラジー．ウィテーカー，; スーザンヒースカルバンフレッチャー，
Original assignee: インターグラフソフトウェアーテクノロジーズカンパニー
Priority date: 2004-06-21
Filing date: 2005-04-22
Publication date: 2008-02-07
Anticipated expiration: 2025-04-22
Also published as: EP1766961A1; JP4653807B2; US20050285947A1; BRPI0512390A; CN101006715B; AU2005262899B2; WO2006007006A1; NZ552310A; IL180154A0; CN101006715A; IL180154A; AU2005262899A1

Abstract

本発明は記録材料の画像安定化に関する。記録材料は、画像に入るオブジェクトに関するより多くの情報を得るために、画像が安定化される。本方法は、第一デジタルビデオ画像および第二デジタルビデオ画像を得ることから始まる。第一画像からの小区分と同一のアドレス可能な記憶場所を持つ第二画像の小区分が選択される。第二画像の小区分は所定の方向にずらされる。リージョンをずらした後で、エラー値は第一画像の小区分と第二画像のずらされた小区分の比較に基づき計算される。エラーが所定の閾値より低い場合、第二画像のデジタルデータは、小区分を新しく定義するデータが第一画像からの小区分をオーバーレイするように再アドレスされる。

Description

技術分野および背景技術
本発明は記録材料の画像安定化に関する。記録材料は、画像に入るオブジェクトに関するより多くの情報を得るために、画像が安定化される。ビデオ撮影の間、撮影されたオブジェクトは動くこともあり、従って、撮影された画像が不鮮明となって現れるか、または画像は不安定となる。その結果、動くオブジェクトに関する情報は、ビデオのいくつかのフレームに広がるが、これはビデオの視聴者には認識出来ない。機械的手段およびデジタル信号処理によりビデオの安定化を行なうことが当技術分野で知られているが、技術は複雑であり、また多くの場合動き検出やベクトル解析に基づいている。

発明の開示
本発明の第一の実施例では、コンピュータシステム内のデジタルビデオ画像を構成するための方法が提供されている。前記デジタルビデオ画像は表示装置上に表示されることが可能であり、また前記表示装置上の基準点に関してアドレス可能である、アドレス可能なデジタル画像を含む。前記方法は、前記コンピュータシステム内のプロセッサにより実行されるコンピュータ可読媒体上のコンピュータコード内に統合されてもよい。前記コンピュータコードはデジタルビデオ画像ストリームから動きを取り除く。前記デジタル画像ストリームから動きを取り除くことによって、前記画像が順序どおりに表示されると、複数の画像に広がる追加の情報および詳細を観察することができる。同様に、複数の画像から動きを取り除くことによって、いかなる単一画像よりも多くの情報を有する画像を作成するために、デジタル単一処理技術を利用して前記画像を合成することができる。

前記方法は、第一デジタルビデオ画像および第二デジタルビデオ画像を得ることから始まる。前記画像は、メモリから、または入出力ポートを通して、コンピュータコードを実行するプロセッサの中に入れられてもよい。小区分は、前記基準点に対するアドレス可能な記憶場所の前記第一デジタル画像内に定義されてもよい。前記小区分は、位置決め装置を使用して小区分を図式的に選択することにより定義されてもよく、あるいは小区分のリージョンの選択が所定であり自動的に選択されてもよい。前記第一デジタル画像からの前記小区分と同一のアドレス可能な記憶場所を有する前記第二デジタル画像の小区分が選択される。「アドレス可能な」という単語は図式的な表示装置上の前記アドレスのことを指す。前記第二デジタルビデオ画像の前記小区分は、長方形の小区分の幅を右側に拡大することのように、所定の方向に拡大される。前記リージョンが拡大された後、エラー値は、前記第一デジタル画像の前記小区分と前記第二デジタルビデオ画像の拡大された小区分の比較を基にして計算される。前記エラー値は、前記第二デジタルビデオ画像の前記リージョンの前記データと前記第一デジタルビデオ画像の前記リージョンからの前記データが示す相関量を定義する。前記第二デジタルビデオ画像の前記小区分は、前記拡大の方向へデジタルデータを含むために新しく定義される。その他の実施例では、前記リージョンは前記第二デジタルビデオ画像にずらされ、前記第一デジタルビデオ画像からの前記小区分と前記第二デジタルビデオ画像の前記ずらされたリージョンの前記小区分は比較され、またエラー値が決定される。前記エラーが所定の閾値未満の場合、前記第二デジタルビデオ画像の前記デジタルデータは、表示装置に表示されるとき、小区分を新しく定義する前記データが前記第一デジタルビデオ画像からの小区分をオーバーレイするように再アドレスされる。前記デジタルデータは、前記第二デジタル画像が拡大される方向と反対の方向へ再配置される。前記リージョンが拡大されるよりもむしろずらされる場合、前記第二リージョンからの前記画像データは、前記画像データが、前記第一画像の前記最初に選択されたリージョンからの前記画像データからの前記画像データをオーバーレイするように再アドレスされる。

その他の実施例では、前記第二デジタルビデオ画像の前記小区分は、前記第一方向の拡大と異なる第二方向へ拡大される。第二エラー値は、前記第一デジタル画像からの前記小区分と、第二方向へ拡大された前記第二デジタルビデオ画像の前記小区分との比較に基づき計算される。前記第一および第二エラー値は比較され、より低いエラー値が決定される。前記より低いエラー値は、より多くの相関があるかを示す。新しい小区分は、前記より低いエラー値に関連した前記拡大の方向にデジタルデータを含む前記第二デジタルビデオ画像から選択される。一つの実施例では、前記小区分の拡大とエラー値を決定する前記プロセスは、四つの基本方向の一つに反復して実行される。前記エラー値はその後全て比較され、また最も低いエラー値が選択される。最初の小区分の位置と異なり、また最も低いエラー値を有していた前記小区分が拡大された方向へ最初の位置から離れて設定される第二デジタルビデオ内の新しい小区分は選択される。最も低いエラー値は、その後所定の閾値と比較される。最も低いエラーが所定の閾値未満の場合、前記第二デジタルビデオ画像の前記データは再アドレスされる。前記第二デジタルビデオ画像は、表示装置上に表示されるとき、前記第二デジタルビデオ画像の前記現在の小区分が前記第一デジタルビデオ画像からの前記小区分の上にオーバーレイするように再アドレスされる。

前記プロセスは、それぞれの複数の方向に前記小区分を拡大することにより、および前記最も低いエラー値が前記所定の閾値より下に下がるまで、または前記ステップが所定回数まで実行されるまでそれぞれの前記方向に対してエラー値を決定することにより、前記最も低いエラー値に対して前記拡大の前記方向にデータが含まれるように、前記小区分をずらすことにより反復して繰り返されてもよい。前記最も低いエラー値が前記所定の閾値より下に下がらない場合、前記デジタルビデオ画像の新しい小区分は選択され、また前記プロセスは再び実行される。

その他の実施例では、前記小区分はある方向に拡大されず、しかし代わりに前記リージョンはある方向に移動し、また前記小区分は比較される。このようにして、前記新しく定義された小区分は、拡大される前記小区分が、前記最初のデータ値および新しいデータ値を含む前記小区分である実施例とは異なり、前記最初の小区分のデータ値を同一の数のデータ値を有し、従って、前記小区分は前記最初の小区分よりもより多くのデータ値を有する。前記リージョンがそれぞれの四つの基本方向へずらされた後、エラー値は計算され、また前記第二画像の前記リージョンは前記最も低い可能性のあるエラーを伴う前記リージョンであると設定される。前記第二画像の前記新しいリージョンが、それぞれ四つの基本方向へずらされ、またエラー値が決定される前記プロセスは継続する。一部の実施例では、前記ずらしの前記大きさは、前記第二画像の前記リージョンが設定された後、減少される。従って、前記検索は、前記第一画像の前記最初に選択されたリージョンを伴うデータの最も多い量を共有する前記第二画像の前記小区分を対象とする。その他の実施例では、前記プロセスは、前記画像ストリーム内の全ての前記画像が処理されるまで継続する。本実施例では、前記第一画像の前記小区分は、前記第二画像の前記小区分と比較される。動きがこれらの画像の間に捕らえられるとすぐに、前記第二画像の前記小区分は、前記第三の画像が動きを補うために再アドレスされるまで、前記第三画像からの小区分と比較される。これは全体のビデオ画像ストリームのために継続する。

さらに、前記小区分とリージョンの拡大およびずらしの方向は、基本方向以外の方向であってもよく、前記小区分とリージョンの形は正方形または長方形以外の形であってもよいことに注目すべきである。さらに、前記小区分とリージョンは好ましくは同一の形、ひいては同一の数のデータ値を有するが、これは必ずしもそうである必要はない。

具体的な実施例の詳細な説明
定義。本説明および添付の請求項では、前後関係により別の意味が必要とならない限り、以下の用語は以下に示される意味を有する。ここで使用される用語「フレーム」は、デジタルビデオフレームおよびデジタルビデオフィールドの両方に適用される。ビデオのフレームは、フレームの奇数ラインが第一フィールドを示し、また偶数ラインが第二フィールドを示す二つのビデオフィールドとして示されてもよい。画像の「小区分」という用語は、表示装置上に表示されるときの画像のエリアであり、またそのエリアからのピクセルデータを含む。前記エリアは全体の画像に満たない。用語「リージョン」または「検索エリア」は、小区分を定義するために使用される画像のエリアを指すが、ピクセルデータは含まない。用語「エラー値」は、データの第二セットに対してデータの第一セットが有する相関量の指標である。ここで使用されるように、第一エラー値が第二エラー値未満の場合、第一エラー値を計算している時に比較されるデータセットは、第二エラー値を計算するために使用されるデータセットよりもより大きな相関量を示す。

図１は、デジタルビデオ画像ストリームとともに使用するためのコンピュータシステムを示す。コンピュータシステムはプロセッサ１００および関連メモリ１１０を含む。プロセッサ１００はメモリ１２０からコンピュータプログラムを読み込み、またコンピュータプログラムのステップを実行する。コンピュータプログラムは、デジタル画像ストリームを備える一連の画像からの動きを取り除くために、デジタル画像ストリームが処理されることを可能にする。デジタルビデオ画像ストリームは、ポート１３０を通してコンピュータシステムの中へインポートされ、またプロセッサに提供されるか、または、関連メモリ１１０内に記憶され、またプロセッサ１００によりメモリ１１０から要求される。デジタルビデオ画像を作り上げるデータはピクセルデータである。それぞれのピクセルは、表示装置上に異なる記憶場所を示す。例えば、表示装置は８００×６００ピクセルを表示することができる。それぞれのピクセルは、座標システムによって定義されるアドレス可能な記憶場所を有する。座標システムは、それぞれの画像が表示装置１３０上に表示されてもよいように、基準点を有する。任意の時に表示されるビデオ画像のピクセルデータは、ビデオフレームと定義される。基準点および座標システムは、それぞれのビデオフレームに対して一貫して使用される。ビデオフレーム／画像が表示装置１３０上に表示されてもよく、またユーザーは、以下に説明されるように、今後の処理のために画像データの小区分を定義する画像のリージョンを選択するために、入力デバイス１４０を使用してもよい。

ユーザーが基準画像のリージョンを選択するか、またはコンピュータシステムが自動的に画像のリージョンを選択する。リージョンは、座標システムに基づくアドレスに関連する表示装置上の記憶場所により定義されてもよい。リージョンが第一フレーム内で選択された後、小区分を識別するピクセルデータが決定される。コンピュータコードを実行するコンピュータシステムは、第二画像の小区分を定義する対応するピクセルデータとともに、第二フレーム内の同一のリージョンを選択する。このようにして、第一フレームのための同様なアドレス指定情報は第二フレームに対しても使用される。

コンピュータプログラムはその後、第二フレームの小区分を拡大する。第二小区分は上向き方向に拡大される。選択されたリージョンのピクセルの総数は、その結果増加する。従って、最初のリージョンが１００ピクセル×１００ピクセルを含む場合、新しいリージョンは１２０ピクセル×１００ピクセルとなる場合がある。コンピュータプログラムはその後、二つの小区分間のエラーを決定するために、第一フレーム内の小区分と第二フレームからの拡大されたリージョンによって定義される小区分を比較する。小区分を比較するために利用される方法は、リージョンに対する平均の色値、または最も大きな一致数を決定するためのピクセル×ピクセルの値の比較であってもよい。ピクセル値を比較するその他の技術が利用されてもよい。コンピュータシステムはその後、第二方向内の最初のリージョンを拡大する。第二フレームからの最初のリージョンは、新しい小区分を定義するために、右方向へ拡大される。明らかなように、リージョンは１００ピクセル×１２０ピクセルとなる。コンピュータシステムは再び、エラー値を決定するために、第一フレーム内の第一リージョンからのデータと第二フレーム内の拡大されたリージョンを比較する。このプロセスはその後、基本方向の一つへのリージョンのそれぞれの拡大に対してエラー値が集計できるように、第三および第四方向に実行される。リージョンのその他の方向または拡大が拡大するために選択されることが想像できる。例えば、リージョンは、基本軸に対して４５度であってもよく、またリージョンは形に関して均一でなくてもよい。例えば、拡大の形は、矢じりの形に類似して成形されてもよい。エラーが最少量のリージョン内のデータを有する拡大されたリージョンが選択される。先に述べたように、エラー値が低ければ低いほど、第一および第二画像からのリージョン内のデータ間の相関は高くなる。

第二フレーム内のリージョンはその後、より低いエラーの方向へ移動され（第二画像内の新しい小区分が、示された例では、１００×１００ピクセルを有することができるように）、また、第一フレームからの小区分がその後第二フレーム内の新しく定義される小区分の拡大されたバージョンと比較されるプロセスが繰り返される。

このプロセスはエラーの量が閾値より下に下がるまで継続するか、または拡大されたリージョンが比較されている間、エラー値が減少しない場合は、プロセスは停止する。第二画像内のリージョンを再定義、移動、およびそれぞれの基本方向へエラーを比較することにより、動きの方向は容易に発見できる。第二フレーム内の小区分が、第一画像の小区分と比較して最少量のエラーを有していると分かるとすぐに、第二画像内のピクセルのアドレスは、表示装置上に同時に表示されるとき、第一画像の小区分および第二画像の小区分が重複するように再アドレスされる。

メモリからのコンピュータコードと連動するプロセッサにより実行される手順の一つの実施例を図２Ａに示す。第一に、第一デジタルビデオ画像および第二デジタルビデオ画像が得られる（２００）。デジタルビデオ画像は、プロセッサに電気的に連結される入出力ポートからストリーミングによって受信されてもよく、またデジタルビデオ画像はメモリから読み込まれてよい。リージョンは第一デジタルビデオ画像内で選択される（２０５）。リージョンは、表示装置上に表示されるとき、リージョンのアドレス記憶場所により定義される。このステップは、ユーザーが、入力デバイスを使用して、表示装置上に表示される画像のリージョンを選択することを必要としてもよい。ユーザーは、リージョンを取り囲み、その結果として、リージョン内のデジタルデータを選択することによってリージョンを選択するために、マウスのような入力デバイスを使用してもよい。ユーザーにとって画像のリージョンの選択を可能にするコンピュータコードは、当業者には既知である。コンピュータコードは自動的にリージョンまたは附随データを選択してもよい。例えば、コンピュータコードは、画像の中央のリージョンまたは画像のその他のどのような部分を選択してもよい。コンピュータプログラムはその後、リージョンがピクセルデータのアドレスによって定義される第二デジタルビデオ画像内の同一のリージョンを選択する。

第二デジタルビデオ画像の小区分は、小区分がより多くのデータを含むことができるように、拡大される（２１０）。拡大されたリージョンは、第二デジタルビデオ画像の最初に選択されたリージョンよりも、より多くのピクセル値またはデータポイントを含む。エラー値は、第一デジタル画像からの小区分と第二デジタルビデオ画像の拡大された小区分の比較に基づき決定される（２１５）。エラー値は第一画像からの小区分および第二画像からの拡大された小区分におけるピクセル値情報に基づき計算されてもよい。ピクセルデータは、ピクセル内の色値に対する一致を探すために、ピクセル×ピクセルベースで比較されてもよい。従って、エラー値は、第一小区分と拡大された第二小区分間の不一致のパーセントとなる。このようにして、エラー値は逆に相関の指標となる。第二画像の小区分が拡大される方向に動きが起こる場合、少なくともいくつかのピクセル一致があるものと予想される。エラー値または対応する一致値は、本発明を逸脱しない範囲で、比較に使用されることもあり得ることは理解されるべきである。一致値は、一致しない量ではなく、一致するピクセル／色のパーセンテージということになる。

その他の比較技術は、小区分に対して平均の単一の色値または複数の色値を決定するステップ、その後平均の色値に関するエラーを決定するステップを含んでもよい。一般に、ピクセル値はピクセルと関連する一つまたは複数の色値を有する。小区分を比較する時、平均値はそれぞれの色、例えば、赤、緑および青に対して計算されることもあり得るし、またこれらのそれぞれの色からのパーセントエラーが決定されることもあり得る。その他の変形として、色値はあいまいなスケール値に変えられ、またピクセル×ピクセルベースで、または平均のあいまいなスケール値に基づき比較されることもあり得る。

その他の実施例では、第二デジタルビデオ画像の小区分のデータを定義するリージョンは拡大されず、むしろリージョンはある方向に移動され、またその後第一ビデオ画像からの小区分と第二ビデオ画像からの新しい小区分間が直接比較される。

エラー値または対応する一致値が決定された後、第二画像からの最初のリージョンは、ステップ２２０での方向以外の方向へ拡大される。第一画像からの第一小区分はその後、第二ビデオ画像内の拡大された小区分と比較される。エラー値は第一画像からの小区分および第二画像からの拡大された小区分間で決定される。エラー値は、第一小区分と、第一方向に拡大された第二画像の拡大された小区分との比較のために使用される同一の技術を使用して計算される。

様々なフィルターまたは補正技術は比較に先立ち使用されてもよいことがいずれかの当業者により理解されるべきである。例えば、第一画像の小区分内のピクセルに対する平均の強度値および第二画像の小区分のピクセル値に対する平均の強度値は計算される。平均の強度値はそれぞれのピクセル強度値から差し引かれる。このステップは、突然の光フラッシュのようなフレーム間の明度におけるどのような変化も捕らえるために値を標準化する。従って、二つの画像の中央値に関する変形の絶対値のみが比較される。この標準化は、ユーザーが選択したエリアに対する平均の強度とは対照的に、ＲＭＳ値を利用することを含めて、当業者には既知の数ある方法のうち、どの方法によって実行されてもよい。

プロセッサはその後、第一および第二エラー値を比較する（２３０）。エラー値がどのように定義されるかによって、より低いエラーが選択される。これは第一小区分とともにより多い量の情報を共有する第二の拡大された小区分に相当する。

プロセッサはその後、より低いエラー値が所定の閾値未満であるかどうか確認する（２４０）。より低いエラー値が所定の閾値未満である場合、第二画像は再配置される。第二画像に対する新しいリージョンは最初に、拡大の方向にリージョンを移動することによって定義される（２３５）。例えば、最初の小区分が、１０はｘ方向にあり、１５はｙ方向にある場合のアドレス（１０、１５）で始まる１００×１００のピクセルである場合、リージョンが正のｘ方向に拡大される時、より低い値が検出される場合、新しい小区分はその後、（２０、１５）で始まる１００×１００ピクセルであるということになる。この全体の第二画像はその後、第一小区分および第二画像からの新しい小区分が同一のアドレスを共有するように再アドレスされる。第二画像に再アドレスすることによって、動きは、第一画像が示され、その後第二画像が示される時、ビデオ画像ストリームから取り除かれる。

より低いエラー値が所定の閾値より下でない場合、方法はその後、第二画像の小区分が、第二小区分が既に拡大している方向と異なる方向に再び拡大されるステップ２２０へ戻る。説明された多くのステップは、本発明の範囲から逸脱することなく、その他の順番で実行されてもよいことが理解されるべきである。例えば、エラー値は、四つの基本方向の小区分のそれぞれの拡大に対して決定されてもよい。エラー値は比較され、また最も低いエラーレベルに基づいてもよく、第二画像の小区分は最も低いエラー値の方向に再配置されてもよい。すでに述べたように、再配置された第二小区分は、第一画像内の第一小区分と同一の大きさを維持することになる。このプロセスは、エラーレベルが所定の閾値より下となるまで、エラーレベルの低下が停止するまで、または第二画像が所定の回数、例えば二十回、再配置されるまで、継続されてもよい。第二画像が特定の回数再配置された場合、プロセッサは、選択されるべき新しい小区分を引き起こしてもよく、またプロセスは再び開始することになる。エラー値が所定の閾値より下に下がった場合、第二画像はその後、第一および第二リージョンが表示装置に同時に表示されるとき、重複するように再アドレスされることになる。プロセスは、第三画像内の小区分および第二画像内の小区分を比較して継続される。この手順は、全ての画像が処理され、また画像の大部分が再アドレスされるまで、繰り返される。

画像を再アドレスすることにより、画像内の動きは補正されることになる。例えば、人が画面を横切って動き、またその人の顔の特徴をビデオ内のどれか一つの画像の中で識別することが困難な場合、その人の顔がそのまま静止した状態に見えるような方法で、動きがビデオシーケンスから取り除かれ、またそれぞれの画像が重ね撮りされる場合、その人の顔はより認識できることになる。より多くの情報は、一つの個別の画像によってよりも全ての画像によって提供される。画像処理技術はその結果、追加情報を含む単一静止画像を作成するために、画像に適用するのに使用されることもあり得る。

図３は、開示された方法の若干異なる変形を示す。第一に、基準画像の小区分は選択される。例えば、小区分に対応するリージョンは、グラフィック表示上のビデオ画像のリージョンを選択して、ユーザーにより選ばれてもよく、またプロセッサは、リージョンのアドレスを提供するコンピュータコードを実行してもよい（３０５）。現在の画像となる第二画像の小区分はその後選択される。第二画像の小区分は基準画像からの小区分と同一のアドレスを有するが、第二画像と関連するデータを含む（３１０）。カウンターＮは零の値に設定される（３１５）。カウンターは、現在の画像の小区分が拡大される、異なる方向の数を数えるために使用される。現在の画像の小区分はその後、拡大されていない小区分と比べてより多くのピクセル情報を含むように、第一の方向へ拡大される。カウンターはインクリメントされ、エラー値はその後計算される。エラー値は、基準画像からの小区分と現像の画像の拡大された小区分間の非共有情報の量も示す。前に述べたように、エラー値は共有情報の量を示してもよい。小区分間で共有される情報が多ければ多いほど、現在の画像の小区分が拡大される方向に起こる動きの可能性はより高くなる。エラー値はその後、後で読み出すために記憶される。プロセッサはカウンターが所定の閾値数に達したかどうか確認する。例えば、小区分が基本方向へ拡大されている場合、その結果Ｘは四に相当することになる。その他の実施例では、Ｘは、複数のエラー値が比較のために保存されるように、二を超えるどのような値であってもよい。

エラー値は読み出されまた比較される。プロセッサ上で実行されるコンピュータプログラムは、基準小区分と現在の画像の拡大された小区分間の共有情報の最も多い量を示す最も低いエラー値を決定する。現在の画像内の最初に選択されたリージョンはその後、拡大の方向へずらされる。上記に説明したように、最も低いエラーが正のＹ方向（Ｘ−Ｙ座標システム）への拡大のため検出される場合、リージョンはその後、基準画像内のリージョンと同一の比例形を維持しながら、正のＹ方向へ移動される。このようにして、現在の画像の最初の拡大されていないリージョンが１０×１０ピクセルである場合、ずらされたリージョンもまた１０×１０ピクセルとなる。ずらされたリージョンの小区分はその後、今後の比較のために使用される。最も低いエラー値はその後、閾値と比較される。エラー値が閾値未満である場合、現在の画像は、基準画像の小区分内のピクセルのアドレスおよび現在の画像のずらされた小区分内のピクセルが同一のアドレスを共有できるように、再配置される。これは、第二画像のピクセル値を再アドレスすることによって、容易に達成することができる。閾値は高く設定され、また小区分が一致すること、また追加検索が必要ないことを決定するために使用される。

最も低いエラー値が、閾値より下に下がらない場合は、プロセスは継続し、またカウンターはリセットされる。第二画像の小区分はそれぞれの方向へ拡大され、またエラー値は、基準画像小区分とそれぞれの拡大されたリージョンを比較して計算される。このプロセスは、エラー値が閾値より下に下がるまで継続される。いくつかの実施例では、追加ステップが含まれてもよい。この追加ステップでは、カウンターが所定の試みの回数に達した場合、または最も低いエラー値が減少し続けない場合は、プロセッサが現在の画像の小区分リージョンのずらしを停止することを引き起こすカウンターが含まれる。

現在の画像が再アドレスされた後、現在の画像は基準画像となり、また画像ストリーム内の次の画像は現在の画像となる。現在の画像の小区分はその後拡大され、また前述同様に、基準画像の小区分と比較される。このプロセスは画像ストリーム内の全ての画像を通して継続される。従って、画像は再アドレスされ、また整然と表示装置に表示される時、動きはシーケンスから取り除かれ、また縮小される。

このプロセスは、比較および計算は限定された回数のみ必要とされるので、画像ストリーム上でリアルタイムで実行されてもよい。アナログビデオカメラによって録画された画像はデジタル画像ストリームに変換されてもよく、またプロセスは使用されてもよく、またはデジタルビデオカメラからのデジタル画像ストリームはプロセッサに提供されてもよく、また動きは結果として生じる画像ストリームから取り除かれてもよい。

図４のフローチャートに示されるような他の実施例では、現在の画像の小区分は拡大されず、小区分を定義するリージョンがずらされる。例えば、最初の小区分が２０×２０ピクセル小区分である場合、この２０×２０リージョンは、四つの基本方向の一つのような所定の方向へピクセル数がずらされる。これはステップ４２０で実行される。このようにして、最初の小区分内の最初のピクセルの全てが、このずらされたリージョンに含まれるとは限らない。エラー値はその後、基準リージョンからのデータおよび現在の画像のずらされたリージョンからのデータ間で計算される（４３０）。最も低いエラーを持つ現在の画像のずらされたリージョンは選択され、また対応する小区分は、基準画像の小区分との今後の比較のために使用される（４８０）。基準画像からの小区分および現在の画像の小区分は、リージョン内のピクセルの数に関して言えば同一であるエリアを有しているが、比較されているリージョンの大きさは同一である必要がないことが理解されるべきである。例えば、基準画像からの小区分は、現在の画像の小区分が１２０×１２０ピクセルを有してもよいのに対して、１００×１００であってもよい。最も低いエラー値が閾値未満になるか、または所定の回数のずらしが起こるまで、プロセスは継続され、また現在の画像のずらされたリージョンからのデータおよび基準画像からのリージョン間の比較が実行される。

図５は、フローチャートが図４のより詳細な実施例を示すその他の実施例のフローチャートを示す。それぞれのフローチャートは、コンピュータコードおよびプロセッサ上のソフトウェアオペレーティングにより実行される実行可能なステップを示すことができることに注目すべきである。図５の検索手段は、基準画像内のリージョンと、設定されたピクセルの数によって四つの基本方向の一つのそれぞれの比較に対してずらされる現在の画像内のリージョンと比較して、らせんパターンで機能する。現在のフレーム内のずらされたリージョンと基準のフレームのそれとの間の最も低いピクセルごとのエラーは決定される。リージョンはその後、現在の画像に対し、ピクセルごとのエラーが最も低い状態で、ずらされたリージョンの位置に再び合わせられる。プログラムはその後、前回の回数より少ない多くのピクセルによって、それぞれの四つの基本方向に再び検索する。そのような方法で、検索ルーチンは最少量のエラーを有するエリアを対象とする。

プロセスは以下の方法で動作する。第一に、媒体ファイルまたは生の情報源からの画像はプロセッサの中に受信される。媒体ファイルまたは生の情報源は、データから成る一つまたは複数の画像を含むかまたは作成する。それぞれの画像は複数のピクセルデータで構成されてもよい。媒体の特徴は、生の情報源またはファイルのデータ用に取得される（５０１）。例えば、ビットマップファイルのために、ソフトウェアと連動するプロセッサはデータの色形式を取得する。データは、ＲＧＢおよびＹＵＶ色成分のような多くの形式のどれであってもよい。色成分はその後、さらに処理されるためにＲＧＢに変換される。画像を形成する単一フレームまたはフィールドのどちらかは処理されてもよく、またはファイル内の全ての画像は処理されてもよい。成分がＲＧＢ色成分へ変換されるが、その他のあらゆる色形式は、本発明から逸脱しない範囲でプロセスによって使用されてもよい。方法およびコードが単一形式のみを処理するために内部で書き込まれる一方で、プログラムが数ある形式のうちいずれの形式でもよい媒体ファイル上で動作できるように、変換が実行される。

プログラムはその後、ユーザーに変換されたデータは保存されるべきかどうかを尋ねる（５０２）。ユーザーがデータは保存されるべきであると指示する場合は、媒体データはプロセッサの関連メモリに保存される（５０３）。ユーザーが媒体データを保存しないと指示する場合は、プログラムは、フレームカウンターが再同期化されることが必要かどうかを確認する（５０４）。例えば、生の情報源が処理されている場合、画像は処理の間脱落することもあり得る。プログラムはその後、いくつかのフレームが脱落したかどうかを識別するためにデータを確認し、またフレームが脱落している場合は、適宜にインクリメントによりカウンターを増加する（５０５）。

プログラムはその後、ユーザーが検索エリアを選択できるインターフェースを提供するか、またはシステムはデフォルト検索エリアを備えるよう前もってプログラムされている（５０６）。例えば、システムがデフォルトの検索エリアになる場合、エリアは、表示装置に表示される時、画像の中央５０％に対応するデータを含んでもよい。ユーザーは入力デバイスを使用してリージョンを選択する、および入力デバイスを使用して表示画面のリージョンを選択する資格を与えられてもよい。例えば、ユーザーは、１００ピクセル×１００ピクセル平方のような画面上にリージョンを定義するためにマウスをクリックおよびドラッグするためにマウスを使用してもよい。ユーザーは、検索リージョンとして画面のどのエリアを選択してもよい。プロセッサはその後、ファイルまたは生の情報源のどちらかから、基準画像として見なされることができるローカルメモリ５０７へ第一画像を保存する。プログラムはその後、現在の画像であり、また基準画像の小区分との比較に使用するためにローカルメモリ内の現在の画像を記憶する次の画像を取得する（５０８）。プログラムはその後、ユーザーが検索エリアを選択することを可能してもよい。

画像（基準および現在の画像）は、色画像が最初にグレースケール画像へ変換される正常化プロセスを受ける（５０９）。画像がグレースケールへ変換された後、平均の強度値は画像に対して計算され、その後その値は、照明の効果のための画像を正常化するためにそれぞれのピクセル値から差し引かれる。最初の画像の基点は、検索エリアのオフセットとともにメモリ内に記憶される（５１０）。これは検索のための出発点を定義する。現在の画像は読み出される。プログラムはその後、比較が最大数までされたかどうかを確認する（５１１）。比較の最大数は、自動的に設定されるか、またはユーザーが定義してもよい可変の数である。答えがいいえであり、またカウンターが最大数の比較に達していない場合は、検索エリアの記憶場所は更新される（５１２）。検索は、基準フレームの検索エリア内のデータが現在のフレームの検索エリアのデータと比較されるように実施される。検索エリアは、四つの基本方向の一つに多くのピクセルにより移動される。例えば、検索エリアが１００×１００ピクセルの平方と仮定して、検索エリアは１０ピクセルを単位として右側に移動されてもよい。比較はその後、基準フレームからの、また現在のフレームからの１００×１００平方の中のピクセル間でなされる。システムはその後、これが最後の検索エリアかどうか決定する（５１４）。システムはそれぞれの基本方向で検索を実行し、従って、カウンターは１から４の間でインクリメントされる。プログラムがそれぞれの四つの基本方向で検索しない場合は、差が、基準フレームおよび現在のフレームのピクセル値間で決定される（５１５）。その後エラーのパーセントが計算され、ピクセル×ピクセルベースで決定されてもよく、また二つのリージョン間のエラーを計算するためのその他の多くの方法のどれかで決定されてもよい（５１６）。エラーは総じて全体のリージョンに対してであってもよく、またはピクセルごとの平均エラーであってもよい。プログラムはその後、全ての四つの方向が検索されるまで、ループし続ける。プログラムは、四つの基本方向の中で最も低いエラーを決定する（５２０）。新しい基点はその後決定される（５２１）。検索エリアがずらされる（オフセット）ピクセルの数もまた多様であってもよい。一つの実施例では、検索プロセス（５１１から５２１）を経るたびに、オフセットは大きさが減る。例えば、検索エリアが第一回目のループの間２０ピクセルによってオフセットされる検索が実行されてもよく、オフセットは第二回目のループの間１０ピクセルに、また第三回目のループの間５ピクセルに減少されてもよい。このように減少がある場合、プログラムは、基準画像の小区分と比較される時、最大数の比較が起きるか、または現在の画像の小区分および基準画像の検索エリア内のピクセル間での完全な一致が検出されるまで、ピクセルごとの最も低いエラーを有する現在の画像の小区分を対象にする。

プログラムはループバックし、最大数の比較が起きたか、または一致がステップで検出されたかどうか決定する（５１１）。最大数の比較は定められた数である。最大数の比較に達した場合、基準画像および現在の画像の最後に比較のための平均のエラー／ピクセルは許容値と比較される（５１７）。平均のエラー／ピクセルが許容値よりも大きくなる場合、画像データはその後、基準フレームからの検索エリアの記憶場所および最も低いエラーを有する現在のフレームからのずらされた検索エリアは一列に並べられるように、再アドレスされる（５１８）。平均のエラー／ピクセルが許容値よりも大きいことが事実として参照されるとき、これは、許容値によって定義される最小値よりも、基準の画像および現在の画像の検索エリア内のデータ間により多い一致があることを意味することが当業者の一人によって理解されるべきである。一致が起こる場合、平均のエラー／ピクセルが許容値よりも大きいことも当業者の一人によって理解されるべきである。プログラムはその後、最初にループバックできる。次のフレームの検索エリア内のデータはその後、基準フレームの検索エリア内のデータと比較される。特定の実施例では、現在のフレームは基準フレームとして更新され、また現在のフレームのずらされた検索エリアは、次のフレームのための新しい検索エリアとなる。

平均のエラー／ピクセルが許容値よりも大きくない場合、プログラムはその後、画像をずらし、また画像がずらされた量はエラーが起こるほど大きくなるかを確認する（５２２）。例えば、画像の端では、検索エリアは、検索エリアの部分にはどのようなデータも含まず、また画像から離れるようにずらされてもよい。この場合には、部分的な最大ずらし値は削減される（５２３）。システムはその後、ずらしはまだ大き過ぎるか、またデータを含んでいないかどうか確認し（５２４）、答えがいいえである場合、オフセットは更新される（５２５）。答えがはいである場合、システムはその後、前の画像のための前のずらしに基づき新しいずらしを推定する（５２７）。例えば、ピクセル値のずらしの量は、前の三つの画像の平均のずらしに基づいてもよい。ずらし値は、後で使用するためにメモリ５２８に保存される。現在の画像のピクセルは、現在の画像は前のずらしに基づき多くのピクセルがずらされるように、再アドレスされる（５２９）。例えば、前の三つの画像のデータはそれぞれ８ピクセル右側にずれされ、またその記憶場所に再アドレスされた場合、プログラムは現在の画像に対して同じことをすることになる。プログラムはその後、スタートに戻る。ユーザーは、一致が検出されることができず、また、ファイルまたは生の情報源のどちらかからの次の画像を継続する前に、推定が実行されることを知らされる。ユーザーはその後、１）新しい検索リージョンが基準画像から選択されるべきかどうか、２）システムが、基準画像からの同一の検索エリアを使用して進み続けるべきかどうか、または３）現在の画像の検索エリアが更新されるべきかどうか決定できる。その他の実施例では、このプロセスは自動化され、またシステムは自動的に、三つのシナリオの一つにデフォルトされる。

ずらしが大き過ぎない場合は、オフセットは保存され、また小区分のずらされた送り先は送信されるか、またはメモリに記憶され（５２５）、またプログラムはその後、スタートに戻る（５２６）。ユーザーは、許容値内の一致が、基準画像の検索エリアの中のデータおよび現在の画像内のデータ間で検出できないことを警告される。ユーザーはその後、１）基準画像からのその他の検索エリアを選択するか、またその後同一の現在の画像上のプログラムのステップを再実行するかどうか、２）プログラムが現在の画像を処分し、基準画像からの同一の検索エリアを使用し、画像ファイルからまたは生の情報源からのその他の画像を選択し、また比較を実行すべきかどうか、３）現在の画像が基準画像化すべきか、またユーザーが、比較がされる前に、新しい基準画像からの新しい検索エリアを選択すべきかどうか決定できる。基準画像からおよび現在のフレームからのデータ間で一致がない場合は、プロブラムのユーザーは基準のフレームまたは現在のフレームを処分することができ、また再びプロセスを始めることができる。

従って、プロセスは、画像の全てが一列に並ぶか、または一致が検出されない場合、処分されるまで継続する。画像はその後、表示装置上に表示されてもよく、また画像の動きは取り除かれるかまたは最小限に抑えられるべきである。画像が再アドレスされると、画像は、複数の低解像度ビデオ画像から単一の高解像度画像を引き出すために処理されてもよい。解像度は、一つの画像内の情報がもう一方の画像内に含まれないこともあり得るので、向上することができ、従って、この追加情報が解像度を向上させる。

本発明のその他の実施例では、エラー値が基準画像および現在の画像の小区分間で計算される比較をするよりも、比較は、相関関数を利用すること、また二つの小区分からのピクセル間の相関量を決定することによりなされる。その他の全ての点では、上記に説明されて提案されている実施例のどれも用いることができる。このようにして、第一画像からのリージョンは選択され、また第二画像からのリージョンは選択され、また相関値は決定される。従って、相関値はエラー値と置き換わることになり、また相関閾値があることになる。より高い相関値は、第一画像からのリージョンおよび第二画像からのリージョン／ずらされたリージョン間の相関のより大きな指標となるものである。

フローダイヤグラムは、本発明の様々な特徴を明らかにするためにここに使用され、また、本発明をどのような特定の論理の流れまたは論理の遂行に対して限定するものと解釈されるべきではない。説明される論理は、総合的な結果を変えることなく、または別の方法で本発明の意図された範囲を逸脱することなく、異なる論理ブロック（例えば、プログラム、モジュール、関数、またはサブルーチン）に分割されてもよい。多くの場合、論理素子は、総合的な結果を変えることなく、または別の方法で本発明の意図された範囲を逸脱することなく、追加、修正、省略、異なる順番での実行、または異なる論理構成（例えば、論理ゲート、ルーピングプリミティブ、条件付き論理およびその他の論理構成）を利用して実践されもよい。

本発明は、プロセッサとともに使用するためのコンピュータプログラム論理（例えば、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサまたは汎用コンピュータ）、プログラマブル論理デバイスとともに使用するためのプログラマブル論理（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはその他のプログラマブル論理デバイス）、個別部品、集積回路（例えば、特定用途向け集積回路（ＡＳＩＣ））、またはそれらのあらゆる組み合わせも含むその他のいかなる方法を含むが全く限定されない多くの異なる形式で具現されてもよい。

ここで前に説明された機能性の全部または一部を実践するコンピュータプログラム論理は、ソースコード形式、コンピュータ実行形式および様々な中間形式（例えば、アセンブラ、コンパイラ、リンカー、およびロケータによって作成される形式）を含むが全く限定されない様々な形式で具現されてもよい。ソースコードは、様々なオペレーティングシステムまたはオペレーティング環境とともに使用される様々なプログラミング言語（例えば、オブジェクトコード、アセンブリ言語、またはフォートラン、Ｃ、Ｃ＋＋、ジャバ、またはＨＴＭＬのような高級言語）のうちいずれかによって実践される一連のコンピュータプログラム命令を含んでもよい。ソースコードは、様々なデータ構造および通信メッセージを定義または使用してもよい。ソースコードは、コンピュータ実行形式（例えば、インタープリター経由で）であってよく、またはソースコードはコンピュータ実行形式に変換されてもよい（例えば、変換装置、アセンブラまたはコンパイラ経由で）。

コンピュータプログラムは、恒久的にまたは一時的に、半導体記憶装置（例えば、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュプログラマブルＲＡＭ）、磁気記憶装置（例えば、ディスケットまたは固定ディスク）、光学記憶装置（例えば、ＣＤ−ＲＯＭ）、ＰＣカード（例えば、ＰＣＭＣＩＡカード）、またはその他の記憶装置などの実現可能な記憶媒体のどのような形式（例えば、ソースコード形式、コンピュータ実行形式または中間形式）に固定されてもよい。コンピュータプログラムは、アナログ技術、デジタル技術、光学技術、ワイヤレス技術、ネットワーキング技術およびインターネットワーキング技術を含むが全く限定されない様々な通信技術のうちいずれかを使用してコンピュータに送信できる信号のいかなる形式に固定されてもよい。コンピュータプログラムは、印刷文書または電子文書を伴うリムーバブル記憶媒体（例えば、市販のソフトウェアまたは磁気テープ）のようなどのような形式で配信されてもよく、コンピュータシステム（例えば、システムＲＯＭまたは固定ディスク上で）をプレロードされてもよく、またはサーバーまたは通信システム（インターネットまたはワールドワイドウェブ）上の電子掲示板から配信されてもよい。

ここで前に説明された機能性の全部または一部を実践するハードウェア論理（プログラマブル論理デバイスとともに使用するためのプログラマブル論理を含む）は、従来の手動方法を使用して設計されてもよく、またはコンピュータ支援設計（ＣＡＤ）、ハードウェア記述言語（例えば、ＶＨＤＬまたはＡＨＤＬ）、またはＰＬＤプログラミング言語（例えば、ＰＡＬＡＳＭ、ＡＢＥＬ、またはＣＵＰＬ）のような様々なツールを使用して、電子的に設計、記録、シミュレートまたは文書化されもよい。

本発明は、本発明の意図された範囲を逸脱することなく、その他の特定の形式に具現されてもよい。説明された実施例は、全ての点において説明に役立つものとしてのみ考慮されるべきであり、限定的ではない。

本発明の前述の特徴は、以下の詳細な説明を参照することによって、以下の添付の図面を参照することによってより容易に理解される。
図１は、デジタルビデオ画像ストリームとともに使用するためのコンピュータシステムを示す。図２Ａ−Ｃは、本発明の一つの実施例を示すフローチャートである。図２Ａは、エラー値を決定するために、第一および第二画像のサブセットエリアを比較する。図２Ａ−Ｃは、本発明の一つの実施例を示すフローチャートである。図２Ｂは、２Ａに向かって伸び、また第一画像内のエリアと比較される第二画像内の新しいエリアをもたらす。図２Ａ−Ｃは、本発明の一つの実施例を示すフローチャートである。図２Ｃは、第二デジタルビデオ画像のデジタルデータの再配置に先立ち、リージョンを決定するための反復のプロセスを示す。図３は、小区分が拡大される本発明の代替の実施例を示すフローチャートである。図４は、リージョンがずらされる本発明の代替の実施例を示すフローチャートである。図５は、本発明のその他の実施例を示すフローチャートである。図５は、本発明のその他の実施例を示すフローチャートである。図５は、本発明のその他の実施例を示すフローチャートである。

Claims

デジタルビデオ画像を構成する方法であって、前記デジタルビデオ画像は、基準点に対して表示装置上にそれぞれ表示可能であり、前記デジタルビデオ画像は、複数のピクセルデータから成り、前記方法は、
第一デジタルビデオ画像および第二デジタルビデオ画像を得るステップと、
前記基準点に対して前記第一デジタル画像内のリージョンを選択し、前記第一デジタル画像内の前記リージョンと同一の前記基準点に対する同一の記憶場所を有する前記第二デジタルビデオ画像内のリージョンを選択するステップと、
前記第二デジタルビデオ画像の前記リージョンを、ある方向へずらすステップと、
前記第一デジタル画像からの前記リージョン内のデータと、前記第二デジタル画像からの前記ずらされたリージョン内のデータの比較に基づくエラー値を決定するステップと、
を含むデジタルビデオ画像を構成する方法。
前記エラー値が閾値より低い場合、前記第二デジタルビデオ画像の前記ずらされたリージョンからのデータが、前記第一デジタルビデオ画像の前記リージョンからのデータがアドレスされるアドレスと同一のアドレスにアドレスされるように、前記第二デジタルビデオ画像のデータを再アドレスする、請求項１に記載の方法。
前記第一および第二デジタルビデオ画像を標準化するステップ
をさらに含む、請求項１に記載の方法。
前記第二デジタルビデオ画像の前記リージョンを第二方向へずらすステップと、
前記第一デジタルビデオ画像からの前記リージョン内のデータと、前記第二方向にずらされた前記第二デジタルビデオ画像の前記リージョンのデータとの比較に基づき第二エラー値を決定するステップと、
より低いエラー値を決定するために前記第一および第二エラー値を比較するステップと、
前記第二デジタルビデオ画像内で、前記より低いエラー値に関連した方向にずらされた新しいリージョンを選択するステップと、
をさらに含む、請求項１に記載の方法。
前記ずらすステップと決定するステップは反復して実行され、前記第二デジタルビデオ画像の前記リージョンは反復の間、四つの基本方向の一つにずらされる、請求項１に記載の方法。
前記ずらすステップと決定するステップは反復して実行され、前記第二デジタルビデオ画像が、反復の間複数の方向の一つにずらされるようにする、請求項１に記載の方法。
それぞれのエラー値を比較するステップと、
最も低いエラーを有する前記エラー値に関連した方向に前記第二デジタルビデオ画像内の新しいリージョンを選択するステップと、
をさらに含む、請求項５に記載の方法。
それぞれのエラー値を比較するステップと、
最も低いエラー値を有する前記エラー値に基づいた前記第二デジタルビデオ画像内の新しいリージョンを選択するステップと、
をさらに含む、請求項６に記載の方法。
最も低いエラー値と所定の閾値とを比較するステップと、
前記最も低いエラー値が前記所定の閾値未満の場合は、前記第二画像の現在のリージョンのデータが表示装置上に表示されるとき、前記データが第一画像の前記リ−ジョンからのデータと同一の記憶場所に備わることが出来るように、前記第二画像の前記現在のリージョンのデータを少なくとも再配置するステップと、
をさらに含む、請求項７に記載の方法。
最も低いエラー値と所定の閾値とを比較するステップと、
前記最も低いエラー値が前記所定の閾値未満の場合は、前記第二画像の現在のリージョンからのデータが表示装置上に表示されるとき、前記データが第一画像の前記リ−ジョンからのデータと同一の記憶場所に備わることが出来るように、前記第二画像の前記現在のリージョンからのデータを少なくとも再配置するステップと、
をさらに含む、請求項８に記載の方法。
より低いエラー値と所定の閾値とを比較するステップと、
前記より低いエラー値が前記所定の閾値以上の場合は、前記より低い値が前記所定の閾値より下となるまで、前記ずらすステップ、前記決定するステップ、前記比較するステップおよび前記選択するステップを反復して実行するステップと、
をさらに含む、請求項４に記載の方法。
より低いエラー値と所定の閾値とを比較するステップと、
前記より低いエラー値が前記所定の閾値以上の場合は、前記より低い値が前記所定の閾値より下となるまで、前記ずらすステップ、前記決定するステップ、前記比較するステップおよび前記選択するステップを反復して実行するステップと、
をさらに含むか、または前記ステップは所定の回数実行される、請求項４に記載の方法。
前記ステップが所定の回数実行された後、より低いエラー値が、所定の閾値以上の場合、前記第一画像内の新しいリージョンを選択し、前記第一画像の前記新しいリージョンで残りのステップを実行するステップを含む、請求項１０に記載の方法。
デジタルビデオ画像を構成するための方法であって、前記デジタルビデオ画像はそれぞれ複数のピクセルから成り、前記デジタルビデオ画像はそれぞれ基準点に対して表示装置上に表示可能であり、前記方法は、
前記基準点に対する基準画像内の第一エリアおよび前記基準点に対して同様な記憶場所を有する第二画像内の第一エリアを選択するステップと、
前記基準画像の第一エリアと前記第二画像の第一エリアに加えて第二画像の拡大区分を反復して比較するステップであって、前記拡大区分は反復の間変化するステップと、
前記標準フレームの第一エリアと第二画像の第一エリアに加えて各反復の拡大区分の第一エリアとの差を計算するステップと、
最も低い差に基づき、前記第二画像の新しいエリアの選択するステップと、最も低い差が所定の値よりも低くなるまで比較するステップおよび計算するステップを反復して実行するステップと、
を含む方法。
デジタルビデオ画像を構成するための方法であって、前記デジタルビデオ画像はそれぞれ複数のピクセルから成り、前記デジタルビデオ画像はそれぞれ基準点に対して表示装置上に表示可能であり、前記方法は、
前記基準点に対する基準画像内のエリアおよび前記基準点に対して同様な記憶場所を有する第二画像内のエリアを選択するステップと、
前記第二画像内の前記エリアの前記デジタルビデオ画像内の前記記憶場所を反復して、横方向にずらすステップと、
前記標準フレームのエリアと各反復の前記第二画像のエリアとの差を計算するステップと、
最も低い差に基づき、前記第二画像の新しいエリアを選択し、反復して比較するステップと計算するステップを実行するステップと、
を含む方法。
前記第二画像の新しいエリアを選択するステップにおいて、選択されたエリアは前記横方向のずらしの方向に基づく、請求項１５に記載の方法。
前記最も低い差が所定の閾値より下となる場合は、前記第二デジタルビデオ画像は、前記画像が表示装置上に表示されるとき、前記第二画像内の前記新しいエリアと前記第一画像内の前記エリアが重複するように再配置される、請求項１６に記載の方法。
デジタルビデオ画像を構成するための、コンピュータ可読媒体上にコンピュータプログラムを有するコンピュータプログラム製品であって、前記デジタルビデオ画像は基準点に対して表示装置上にそれぞれ表示可能であり、前記デジタルビデオ画像は複数のピクセルデータより成り、前記コンピュータプログラムは、
第一デジタルビデオ画像および第二デジタルビデオ画像を得るためのコンピュータコードと、
前記基準点に対する前記第一デジタル画像のリージョンを選択するため、および前記第一デジタル画像内の前記リージョンと同一の前記基準点に対する記憶場所を有する前記第二デジタルビデオ画像内のリージョンを選択するためのコンピュータコードと、
前記第二デジタルビデオ画像の前記リージョンを、ある方向へずらすためのコンピュータコードと、
前記第一デジタル画像の前記リージョンからの前記データと前記第二デジタル画像からの前記ずらされたリージョンからの前記データの比較に基づいてエラー値を決定するためのコンピュータコードと、
を備える、コンピュータプログラム。
前記エラー値が閾値未満の場合、前記第二デジタルビデオ画像がずらされた方向へ前記第二デジタルビデオ画像のデータを再配置するためのコンピュータコードをさらに備える、請求項１８に記載のコンピュータプログラム製品。
前記コンピュータコードは、前記第一および第二デジタルビデオ画像を標準化するためのコンピュータコードをさらに備える、請求項１８に記載のコンピュータプログラム製品。
前記第二デジタルビデオ画像の前記リージョンを、第二方向へずらすためのコンピュータコードと、
前記第一デジタル画像からの前記リージョンからのデータと、前記第二方向へずらされた前記第二デジタルビデオ画像の前記ずらされたリージョンからのデータとの比較に基づき、第二エラー値を決定するためのコンピュータコードと、
より低いエラー値を決定するために前記第一および第二エラー値を比較するためのコンピュータコードと、
前記より低いエラー値に関連した方向にずらされた前記第二デジタルビデオ画像内の新しいリージョンを選択するためのコンピュータコードと、
をさらに備える、請求項１８に記載のコンピュータプログラム製品。
前記ずらすためおよび前記決定するためのコンピュータコードは反復して実行され、反復の間、四つの基本方向の一つに前記第二デジタルビデオ画像の前記リージョンがずらされる、請求項１８に記載のコンピュータプログラム製品。
前記ずらすことおよび決定することが反復して実行され、反復の間、前記第二デジタルビデオ画像が複数の方向の一つにずらされるようにする、請求項１８に記載のコンピュータプログラム製品。
それぞれのエラー値を比較するためのコンピュータコードと、
最初のリージョンに対して、最も低いエラー値に関連した方向にずらされた前記第二デジタルビデオ画像内の新しいリージョンを選択するためのコンピュータコードと、
をさらに備える、請求項２２に記載のコンピュータプログラム製品。
それぞれのエラー値を比較するためのコンピュータコードと、
最初のリージョンに対して、最も低いエラー値に関連した方向にずらされた前記第二デジタルビデオ画像内の新しいリージョンを選択するためのコンピュータコードと、
をさらに備える、請求項２３に記載のコンピュータプログラム製品。
前記最も低いエラー値を所定の閾値と比較し、前記最も低いエラー値が前記所定の閾値未満の場合は、前記第二画像の前記現在のリージョンからのデータが表示装置上に表示されるとき、前記第二画像の前記現在のリージョンからのデータが前記第一画像の前記リージョンからのデータと同一の記憶場所に備わることが出来るように、前記第二画像の前記現在のリージョンからのデータを少なくとも再配置する、コンピュータコードをさらに備える、請求項２４に記載のコンピュータプログラム製品。
前記最も低いエラー値を所定の閾値と比較し、前記最も低いエラー値が前記所定の閾値未満の場合は、前記第二画像の前記現在のリージョンのデータが表示装置上に表示されるとき、前記第二画像の前記現在のリージョンからのデータが前記第一画像の前記リージョンからのデータと同一の記憶場所に備わることが出来るように、前記第二画像の前記現在のリージョンからのデータを少なくとも再配置する、コンピュータコードをさらに備える、請求項２５に記載のコンピュータプログラム製品。
前記より低いエラー値と所定の閾値とを比較するためのコンピュータコードと、
前記より低いエラー値が前記所定の閾値以上の場合、前記より低い値が前記所定の閾値より下となるまで、前記ずらすステップ、前記決定するステップ、前記比較するステップおよび前記選択するステップを反復して実行するコンピュータコードと、
をさらに備える、請求項２１に記載のコンピュータプログラム製品。
前記より低いエラー値と所定の閾値とを比較するためのコンピュータコードと、
前記より低いエラー値が前記所定の閾値以上の場合、前記より低いエラー値が前記所定の閾値より下となるまで、前記ずらすステップ、前記決定するステップ、前記比較するステップおよび前記選択するステップを反復して実行する、または所定の回数前記ステップを反復して実行するためのコンピュータコードと、
をさらに備える、請求項２１に記載のコンピュータプログラム製品。
前記ステップが所定の回数実行された後、前記より低いエラー値が所定の閾値以上の場合、前記第一画像の新しいリージョンを選択し、前記第一画像の前記新しいリージョンで前記残りのステップを実行するためのコンピュータコードをさらに備える、請求項２９に記載のコンピュータプログラム製品。
デジタルビデオ画像を構成するためのコンピュータ可読のプログラムを有するコンピュータプログラム製品であって、前記デジタルビデオ画像はそれぞれ複数のピクセルデータより成り、前記デジタルビデオ画像は基準点に対して表示装置上にそれぞれ表示可能であり、前記コンピュータプログラムは、
前記基準点に対する基準画像内の第一エリアおよび前記基準点に対する同一の記憶場所を有する第二画像内の第一エリアを選択するためのコンピュータコードと、
前記基準画像の前記第一エリアと、前記第二画像の前記第一エリアに加えて前記第二画像の横方向の拡張区分を反復して比較するコンピュータコードであって、前記横方向の拡張区分は反復の間変化する、コンピュータコードと、
前記標準フレームの第一エリアと、前記第二画像の前記第一エリアに加えて各反復の前記横方向の拡張区分との差を計算するためのコンピュータコードと、
最も低い差に基づき、前記第二画像の新しいエリアを選択するため、および最も低い差が所定の値よりも低くなるまで反復して比較および計算するステップを実行するためのコンピュータコードと、
を備える、コンピュータプログラム製品。
デジタルビデオ画像を構成するためのコンピュータ可読のコードを有するコンピュータプログラム製品であって、前記デジタルビデオ画像はそれぞれ複数のピクセルデータより成り、前記デジタルビデオ画像は基準点に対して表示装置上にそれぞれ表示可能であり、前記コンピュータコードは、
前記基準点に対する基準画像内のエリアおよび前記基準点に対する同一の記憶場所を有する第二画像内のエリアを選択するためのコンピュータコードと、
前記第二画像内の前記エリアの前記デジタルビデオ画像内の前記記憶場所を反復して横方向にずらすためのコンピュータコードと
前記標準フレームの前記エリアと各反復の前記第二画像の前記エリアとの差を計算するためのコンピュータコードと、
最も低い差に基づき、前記第二画像の新しいエリアを選択するため、および反復して比較および計算するステップを実行するためのコンピュータコードと、
を備える、コンピュータプログラム製品。
前記第二画像の新しいエリアを選択するためのコンピュータコードにおいて、前記選択されたエリアは前記横方向のずらしの方向に基づいている、請求項３２に記載のコンピュータプログラム製品。
前記最も低い差が所定の閾値より下となる場合は、前記第二デジタルビデオ画像は、前記画像が表示装置上に表示されるとき、前記第二画像内の前記新しいエリアと前記第一画像内の前記エリアが重複するように再配置される、請求項３２に記載のコンピュータプログラム製品。
デジタルビデオ画像を構成するための方法であって、前記デジタルビデオ画像は基準点に対して表示装置上にそれぞれ表示可能であり、前記デジタルビデオ画像は複数のピクセルデータより成り、前記方法は、
第一デジタルビデオ画像および第二デジタルビデオ画像を得るステップと、
前記基準点に対する前記第一デジタル画像のリージョンを選択するステップ、および前記第一デジタル画像内の前記リージョンと同一の前記基準点に対する記憶場所を有する前記第二デジタルビデオ画像内のリージョンを選択するステップと、
前記第二デジタルビデオ画像の前記リージョンを、ある方向へずらすステップと、
前記第一デジタル画像からの前記リージョン内のデータと前記第二デジタル画像からの前記ずらされたリージョン内のデータの比較に基づいて相関値を決定するステップと、
を含む、デジタルビデオ画像を構成するための方法。
デジタルビデオ画像を構成するためのコンピュータ可読媒体上のコンピュータプログラムを有するコンピュータプログラム製品であって、前記デジタルビデオ画像は基準点に対して表示装置上にそれぞれ表示可能であり、前記デジタルビデオ画像は複数のピクセルデータより成り、前記コンピュータプログラムは、
第一デジタルビデオ画像および第二デジタルビデオ画像を得るためのコンピュータコードと、
前記基準点に対する前記第一デジタル画像のリージョンを選択するため、および前記第一デジタル画像内の前記リージョンと同一の前記基準点に対する記憶場所を有する前記第二デジタルビデオ画像内のリージョンを選択するためのコンピュータコードと、
前記第二デジタルビデオ画像の前記リージョンを、ある方向へずらすためのコンピュータコードと、
前記第一デジタル画像の前記リージョンからの前記データと前記第二デジタル画像からの前記ずらされたリージョンからの前記データの比較に基づいて相関値を決定するためのコンピュータコードと
を備える、コンピュータプログラム製品。
前記第二デジタル画像の前記リージョンからの前記データと前記第一デジタル画像の前記リージョンからの前記データが相関閾値を超えて相互に関連付けられる場合、前記第二デジタルビデオ画像の方向へ前記第二デジタルビデオ画像の前記データを再配置するコンピュータコードをさらに備える、請求項３６に記載のコンピュータプログラム製品。
前記コンピュータコードは、
前記第一および前記第二デジタルビデオ画像を標準化するためのコンピュータコードをさらに備える、請求項３６に記載のコンピュータプログラム製品。
前記第二デジタルビデオ画像の前記リージョンを第二方向へずらすためのコンピュータコードと、
前記第一デジタル画像からの前記リージョンからの前記データと、前記第二方向にずらされた前記第二デジタルビデオ画像の前記ずらされたリージョンからの前記データに基づいた第二相関値を決定するためのコンピュータコードと、
前記第一ビデオ画像の前記リージョンと前記第二ビデオ画像の前記ずらされたリージョンの前記データ間のデータのより大きな相関を有する相関値を決定するために前記第一および第二相関値を比較するためのコンピュータコードと、
前記より大きな相関を有する前記相関値に関連した方向にずらされた前記第二ビデオ画像内の新しいリージョンを決定するためのコンピュータコードと、
をさらに備える、請求項３６に記載のコンピュータプログラム製品。
前記ずらすためのコンピュータコードと決定するためのコンピュータコードは反復して実行され、反復の間、四つの基本方向の一つに前記第二デジタルビデオ画像の前記リージョンがずらされる、請求項３６に記載のコンピュータプログラム製品。
ずらすステップと決定するステップが反復して実行され、反復の間、前記第二デジタルビデオ画像が複数の方向の一つにずらされるようにする、請求項３６に記載のコンピュータプログラム製品。
前記相関値のそれぞれを比較するためのコンピュータコードと、
前記相関値の中でデータの最も大きな相関を示す相関値に関連した方向へ前記最初のリージョンに関してずらされた前記第二デジタルビデオ画像内の新しいリージョンを選択するためのコンピュータコードと、
をさらに備える、請求項４１に記載のコンピュータプログラム製品。
前記相関値のそれぞれを比較するためのコンピュータコードと、
前記相関値の中でデータの最も大きな相関を示す相関値に関連した方向へ前記最初のリージョンに関してずらされた前記第二デジタルビデオ画像内の新しいリージョンを選択するためのコンピュータコードと、
をさらに備える、請求項４２に記載のコンピュータプログラム製品。
前記所定の相関値の中でデータの最も大きな相関を示す前記相関値と所定の閾値を比較し、前記所定の相関値の中でデータの最も大きな相関を示す前記相関値が、前記所定の相関閾値より大きい場合は、前記第二画像の現在のリージョンのデータが表示装置上に表示されるとき、前記データが第一画像の前記リ−ジョンのデータと同一の記憶場所に備わることが出来るように、第二画像の前記現在のリージョンからのデータを少なくとも再配置するためのコンピュータコード、
をさらに備える、請求項４３に記載のコンピュータプログラム製品。
前記所定の相関値の中でデータの最も大きな相関を示す前記相関値と所定の閾値を比較し、前記所定の相関値の中でデータの最も大きな相関を示す前記相関値が、前記所定の相関閾値より大きい場合は、前記第二画像の現在のリージョンからのデータが表示装置上に表示されるとき、前記データが第一画像の前記リ−ジョンからのデータと同一の記憶場所に備わることが出来るように、第二画像の前記現在のリージョンからのデータを少なくとも再配置するためのコンピュータコード、
をさらに備える、請求項４４に記載のコンピュータプログラム製品。
前記所定の相関値の中でデータの最も大きな相関を示す相関値と所定の相関閾値を比較するためのコンピュータコードと、
前記所定の相関値の中でデータの最も大きな相関を示す前記相関値が、前記所定の相関閾値より大きくなるまで、前記ずらすステップ、決定するステップ、比較するステップおよび選択するステップを反復して実行するためのコンピュータコードと、
をさらに備える、請求項３９に記載のコンピュータプログラム製品。
前記所定の相関値の中でデータの最も大きな相関を示す相関値と所定の相関閾値を比較するためのコンピュータコードと、
前記所定の相関値の中でデータの最も大きな相関を示す前記相関値が、前記所定の相関閾値より大きくなるまで、前記ずらすステップ、決定するステップ、比較するステップおよび選択するステップを反復して実行するか、または前記相関値が前記閾相関値よりも決して大きくならない場合、ステップを所定の回数実行するためのコンピュータコードと、
をさらに備える、請求項３９に記載のコンピュータプログラム製品。
前記第一画像内の新しいリージョンを選択し、前記ステップが所定の回数実行された後、前記相関値が前記閾相関値よりも大きくならない場合、前記第一画像内の前記新しいリージョンに対し前記残りのステップを実行するためのコンピュータコードをさらに備える、請求項４７に記載のコンピュータプログラム製品。