JP2013080467A - 超解像を利用したビデオ補正 - Google Patents

Abstract

【課題】超解像を利用して行う移動オブジェクト群を含むビデオの補正の方法及び装置を提供する。
【解決手段】一連の画像から選択された画像内で、移動オブジェクトの存在部分が特定されている。関心領域内のピクセルは選択画像内で特定される。画像群と第１変換群を使用して、ピクセルの第１の部分に対して第１の値が特定される。ピクセルの第１の部分は選択画像の背景に対応する。第１変換は、画像群内の１つの画像と選択された画像との間で、背景の特徴の位置を合わせるように構成されている。画像群と第２変換群を使用して、ピクセルの第２の部分に対して第２の値が特定される。ピクセルの第２の部分は選択された画像の移動オブジェクトに対応する。第２変換は、画像群内の１つの画像と選択された画像との間で、移動オブジェクトの特徴の位置を合わせるように構成されている。
【選択図】なし

Description

本発明は概して画像処理に関し、具体的には超解像を利用した画像補正に関する。さらに具体的には、本発明は超解像を利用して行う移動オブジェクト群を含むビデオの補正の方法及び装置に関する。

現在、超解像を実施するため、多数の様々なアルゴリズムが利用可能である。超解像は、同一シーンの画像群に使用して、当該シーンの画像群の解像度よりも高い解像度で画像を再構築する処理技術である。本明細書で使用しているように、「解像度」という用語は「空間分解能」を意味する。空間解像度は、画像内で検出可能な最も小さな特徴を指している。例えば、解像度の低い画像群と比較して、より高い解像度を有する画像群では、より小さい特徴を検出することができる。

超解像により、あるシーンに対して複数の低解像度（ＬＲ）画像を使用して、高解像度（ＨＲ）の画像を再構築することができる。さらに、超解像では、高解像度画像の構築に使用される低解像度画像群をすべて同一のものとすることはできない。これらの低解像度画像群の間には、変動が存在することが必要である。例えば、低解像度画像群は時間を変えて、条件を変えて、あるいはその両方を変えて収集することができる。

典型的には、超解像の実行に使用される低解像度画像群は、ビデオの形態の一連の画像から収集される。一連の画像とは、時間順に並べられた複数の画像である。これらの画像に存在する様々な種類の変動には、例えば、並進運動、回転運動、視角の変化、他の種類の運動、又はこれらの様々な種類の変動の任意の組合せが含まれる。２つの画像間の並進運動は、あるシーンの現在の画像を、画像平面と平行な同一シーンの過去の画像に対して移動するときに発生する。回転運動は、現在の画像を過去の画像に対して回転するときに発生する。場合によっては、現在の画像が過去の画像と比較して、シーンのより近い位置から生成されるとき、又はより遠い位置から生成されるときに変動が生じる。

超解像により、低解像度画像群は選択された基準座標系に対して最初にレジストレーション（位置合わせ）される。このような低解像度画像群のレジストレーションは、基準座標系に対する画像群の位置合わせを含む。例えば、第１画像の特徴と第２画像の同じ特徴の位置を合わせることができる。しかしながら、シーンの背景に対して移動するオブジェクトがシーン内に存在する場合には、このシーンの低解像度画像群のレジストレーションは移動オブジェクトを考慮しないことがある。その結果、これらの低解像度画像群から構築される高解像度画像は、所望よりも精度が落ちることがある。

したがって、少なくとも上述の問題点の幾つか、並びに起こりうるその他の問題点を考慮に入れた方法及び装置を有することは有利であろう。

１つの有利な実施形態では、画像群を処理する方法が提供される。選択された画像内で移動オブジェクトが存在する部分が特定される。選択された画像は一連の画像の１つである。移動オブジェクトは選択された画像の背景に対して移動する。関心領域内の複数のピクセルは選択された画像内で特定される。一連の画像と第１変換群を使用して、複数のピクセルの第１の部分に対して第１の値が特定される。複数のピクセルの第１の部分は選択された画像の背景に対応する。第１変換群の中の１つの第１変換は、一連の画像の中の１つの画像の背景の特徴と選択された画像の背景の特徴の位置を合わせるように構成されている。一連の画像と第２変換群を使用して、複数のピクセルの第２の部分に対して第２の値が特定される。複数のピクセルの第２の部分は選択された画像の移動オブジェクトに対応する。第２変換群の中の１つの第２変換は、一連の画像の中の１つの画像の移動オブジェクトの特徴と選択された画像の移動オブジェクトの特徴の位置を合わせるように構成されている。

別の有利な実施形態では、画像を補正する方法が提供される。選択された画像内で移動オブジェクトが存在する部分が特定される。選択された画像は一連の画像の１つである。移動オブジェクトは選択された画像の背景に対して移動する。関心領域内の複数のピクセルは選択された画像内で特定される。一連の画像と第１変換群を使用して、複数のピクセルの第１の部分に対して第１の値が特定される。複数のピクセルの第１の部分は選択された画像の背景に対応する。第１変換群の中の１つの第１変換は、一連の画像の中の１つの画像の背景の特徴と選択された画像の背景の特徴の位置を合わせるように構成されている。選択された画像を使用して、複数のピクセルの第２の部分に対して第２の値が特定される。複数のピクセルの第２の部分は選択された画像の移動オブジェクトに対応する。

さらに別の有利な実施形態では、装置はオブジェクト追跡モジュールと補正モジュールを含む。オブジェクト追跡モジュールは移動オブジェクトが存在する選択された画像の一部を特定するように構成されている。選択された画像は一連の画像の１つである。移動オブジェクトは選択された画像の背景に対して移動する。補正モジュールは選択された画像の関心領域内の複数のピクセルを特定するように構成されている。補正モジュールはさらに、一連の画像と第１変換群を使用して、複数のピクセルの第１の部分に対して第１の値を特定するように構成されている。複数のピクセルの第１の部分は選択された画像の背景に対応する。第１変換群の中の１つの第１変換は、一連の画像の中の１つの画像の背景の特徴と選択された画像の背景の特徴の位置を合わせるように構成されている。補正モジュールはさらに、一連の画像と第２変換群を使用して、複数のピクセルの第２の部分に対して第２の値を特定するように構成されている。複数のピクセルの第２の部分は選択された画像の移動オブジェクトに対応する。第２変換群の中の１つの第２変換は、一連の画像の中の１つの画像の移動オブジェクトの特徴と選択された画像の移動オブジェクトの特徴の位置を合わせるように構成されている。

特徴、機能及び利点は、本発明の様々な実施形態で独立に実現することが可能であるか、以下の説明及び図面を参照してさらなる詳細が理解されうる、さらに別の実施形態で組み合わせることが可能である。

有利な実施形態の特徴と考えられる新規の機能は、添付の特許請求の範囲に明記される。しかしながら、有利な実施形態と、好ましい使用モードと、さらにはその目的及び利点とは、添付図面を参照して本発明の有利な一実施形態の以下の詳細な説明を読むことにより最もよく理解される。

有利な実施形態で実装されうる画像処理環境を示したものである。 有利な実施形態による画像処理環境のブロック図を示したものである。 有利な実施形態による画像バッファ及び背景変換バッファを示したものである。 有利な実施形態による画像バッファ、オブジェクトマスクバッファ、及びオブジェクト変換バッファを示したものである。 有利な実施形態による撮像システムによって作成された画像を示したものである。 有利な実施形態による補正画像を示したものである。 有利な実施形態による選択された画像のピクセルを示したものである。 有利な実施形態による画像処理のプロセスのフロー図を示したものである。 有利な実施形態によるビデオ補正のプロセスのフロー図を示したものである。 有利な実施形態により関心領域の補正画像内の各ピクセルの値を推定するため、一連の画像の中でピクセルを選択するプロセスのフロー図を示したものである。 有利な実施形態により関心領域の補正画像内の各ピクセルの値を推定するため、一連の画像の中でピクセルを選択するプロセスのフロー図を示したものである。 有利な実施形態によるデータ処理システムを示したものである。

種々の有利な実施形態は、幾つかの種々の検討事項を認識し、且つ考慮している。例えば、種々の有利な実施形態は、超解像を実現するため、現時点では多数の様々なアルゴリズムが使用可能であることを認識し、且つ考慮している。しかしながら、種々の有利な実施形態は、これらの現在利用可能なアルゴリズムの一部がシーンの背景に対して移動するオブジェクトを含むシーンのビデオを取り扱うことができないことを認識し、且つ考慮している。１つに例示的な実施例では、これらの現在利用可能な超解像のためのアルゴリズムの一部は、シーンの中でハイウェイを走る車両の動きを考慮することができない。

種々の有利な実施形態は、現在利用可能な超解像実現の方法によっては、画像群内での動きの量に制限があることを認識し、且つ考慮している。種々の有利な実施形態は、画像群内での動きの量に制限を設けることなく、超解像を利用してビデオを補正できる方法を有することが好ましいことを認識し、且つ考慮している。

さらに、種々の有利な実施形態は、移動オブジェクトを含むビデオの補正に現在利用可能な他の方法は、ビデオ内で特定されるオプティカルフローを使用できることを認識し、且つ考慮している。ビデオ内のオプティカルフローは、ビデオカメラとシーンとの間の相対的な動きによって生ずる視覚的なシーンの中でのオブジェクト、表面、及びエッジの明らかな動きのパターンである。種々の有利な実施形態は、オプティカルフローを使用するビデオ補正に現在利用可能な方法は所望以上のエラーを伴うことを認識し、且つ考慮している。さらに、これらの方法は、所望以上に時間、処理リソース、あるいはその両方を要することがある。

したがって、種々の有利な実施形態は、超解像を使用してビデオを補正する方法及び装置を提供する。具体的には、種々の有利な実施形態は、超解像技術を使用して、オブジェクトがシーンの背景に対して移動するシーンのビデオを補正する方法及び装置を提供する。

１つの有利な実施形態では、画像群を処理する方法が提供される。選択された画像内で移動オブジェクトが存在する部分が特定される。選択された画像は一連の画像の１つである。移動オブジェクトは選択された画像の背景に対して移動する。関心領域内の複数のピクセルは選択された画像内で特定される。一連の画像と第１変換群を使用して、複数のピクセルの第１の部分に対して第１の値が特定される。複数のピクセルの第１の部分は選択された画像の背景に対応する。

第１変換群の中の１つの第１変換は、一連の画像の中の１つの画像の背景の特徴と選択された画像の背景の特徴の位置を合わせるように構成されている。一連の画像と第２変換群を使用して、複数のピクセルの第２の部分に対して第２の値が特定される。複数のピクセルの第２の部分は選択された画像の移動オブジェクトに対応する。第２変換群の中の１つの第２変換は、一連の画像の中の１つの画像の移動オブジェクトの特徴と選択された画像の移動オブジェクトの特徴の位置を合わせるように構成されている。

ここで図１を参照すると、有利な実施形態による画像処理環境が図解されている。この例示的な実施例では、画像処理環境１００は撮像システム１０２、撮像システム１０３、及びコンピュータシステム１０４を含む。コンピュータシステム１０４は、この実施例ではコンピュータステーション１０５に配置されている。コンピュータシステム１０４は、撮像システム１０２及び撮像システム１０３によって生成される画像を処理するように構成されている。

図示されているように、撮像システム１０２は無人飛行機（ＵＡＶ）１０６に据付られている。撮像システム１０２は、無人飛行機１０６がシーン１０８の上を飛行するにつれて、シーン１０８の画像群を生成する。この例示的な実施例では、移動オブジェクト群１１０はシーン１０８内に存在する。シーン１０８の移動オブジェクト群１１０は車両１１２及び人１１４を含む。

撮像システム１０２によって生成される画像群はシーン１０８のビデオを形成する。ビデオとは、時間順に整理された一連の画像である。無人飛行機１０６がシーン１０８の上空を飛行するにつれて、生成された画像群は長時間にわたりシーン１０８の様々な部分を取り込むか、シーン１０８に対して様々な視角からシーン１０８を取り込むか、又はその両方を取り込む。その結果、撮像システム１０２によって生成される画像群の間には変動が存在する。

さらに撮像システム１０３は建物１１１に据付られている。撮像システム１０３はまた、シーン１０８のビデオを形成する画像群を生成するように構成されている。さらに、撮像システム１０３はシーン１０８のビデオが生成されるにつれて移動することができる。例えば、撮像システム１０３はシーン１０８をパンニング撮影することができる。このように、撮像システム１０３は長時間にわたりシーン１０８の様々な部分を取り込むか、シーン１０８に対して様々な視角からシーン１０８を取り込むか、又はその両方を取り込む画像群を生成することができる。その結果、撮像システム１０３によって生成される画像群の間には変動が存在する。

撮像システム１０２及び撮像システム１０３は、シーン１０８に対して生成された画像群を処理するためコンピュータシステム１０４に送信する。具体的には、撮像システム１０２及び撮像システム１０３は、それぞれ無線通信リンク１１６及び無線通信リンク１１８を使用して、これらの画像群をコンピュータシステム１０４に送信する。この例示的な実施例では、撮像システム１０２及び撮像システム１０３は、シーン１０８に対して生成された画像群を実質的にリアルタイムでコンピュータシステム１０４に送信する。すなわち、これらの撮像システムは、画像が生成されるにつれて、これらの画像群をコンピュータシステム１０４に送信することができる。

コンピュータシステム１０４は、撮像システム１０２及び撮像システム１０３によって生成された画像群を処理して、撮像システム１０２及び撮像システム１０３によって生成された画像群と比べて高い解像度を有するシーン１０８の画像群を構築するように構成されている。具体的には、コンピュータシステム１０４は超解像を使用して、撮像システム１０２によって生成されたビデオ及び撮像システム１０３によって生成されたビデオを補正することができる。

さらに、コンピュータシステム１０４は、撮像システム１０２によって生成されたビデオ及び撮像システム１０３によって生成されたビデオを補正する際、シーン１０８内の移動オブジェクト群１１０の存在を考慮する。具体的には、コンピュータシステム１０４は、超解像を利用してビデオ内に取り込まれた移動オブジェクト群１１０に対応するビデオの部分とは独立に、ビデオの背景に対応するビデオの部分を補正する。

ここで図２を参照すると、有利な実施形態による画像処理環境のブロック図が示されている。図１の画像処理環境１００は、画像処理環境２００の実装の一例である。これらの例示的な実施例では、画像処理環境２００は撮像システム２０２及び画像処理システム２０４を含む。画像処理システム２０４は、撮像システム２０２で生成された画像群２０６を処理するように構成されている。

図示されたように、撮像システム２０２はシーン２０８の画像群２０６を生成するように構成されている。シーン２０８は、例えば、限定しないが、街の中の領域、近隣ブロック、森の中の領域、砂漠の上の領域、上空の領域、宇宙の領域、ハイウェイの一部、製造施設内部など、任意の物理的関心領域であってもよい。

図示されたように、シーン２０８の画像群２０６の中の各画像は背景２０９及び前景２１０を含む。背景２０９は、画像によって取り込まれた一又は複数の関心オブジェクトの外に位置する画像の部分である。画像内の背景２０９は、例えば、限定しないが、シーン２０８に応じて、陸地、林、低木地、砂漠、水面、屋外、宇宙空間、雲、道路、山、谷、川、海、建物、人工構造物、他の種類のオブジェクトなどのいずれか又はこれらの組合せを含んでいてもよい。

画像によって取り込まれたシーン２０８内の一又は複数の関心オブジェクトは、画像の前景を形成する。例えば、画像群２０６の１つの画像の前景は、シーン２０８の任意の数の移動オブジェクトを取り込むことがある。本明細書で使用している「任意の数のアイテム」は、一又は複数のアイテムを意味する。このように、任意の数の移動オブジェクトは一又は複数の移動オブジェクトを意味する。

任意の数の移動オブジェクト２１１は、例えば、限定しないが、車両、航空機、人、動物、移動式プラットフォーム、又は移動することができる他の適切な種類のオブジェクトのうちの少なくとも１つを含むことができる。本明細書で使用しているように、列挙されたアイテムと共に使用される「〜のうちの少なくとも１つ」という表現は、列挙されたアイテムの一又は複数の様々な組み合わせが使用可能であり、且つ列挙されたアイテムのいずれかが１つだけあればよいということを意味する。

例えば、「アイテムＡ、アイテムＢ、及びアイテムＣのうちの少なくとも１つ」は、例えば、限定しないが、「アイテムＡ」、又は「アイテムＡとアイテムＢ」を含む。この例は、「アイテムＡとアイテムＢとアイテムＣ」、又は「アイテムＢとアイテムＣ」も含む。他の例として、「〜のうちの少なくとも１つ」は、例えば、限定しないが、「２個のアイテムＡと１個のアイテムＢと１０個のアイテムＣ」、「４個のアイテムＢと７個のアイテムＣ」、並びに他の適切な組み合わせを含む。

これらの例示的な実施例では、撮像システム２０２はビデオ２１２を形成する画像群２０６を生成するように構成されている。カメラシステムがビデオ２１２の形態で画像群２０６を生成する場合、撮像システム２０２はカメラシステム又はビデオカメラシステムと呼ばれることがある。さらに、ビデオ２１２の画像群２０６は、例えば、限定しないが、撮像システムの種類に応じて、可視光画像、赤外線画像、レーダー画像、及び／又は他の適切な種類の画像の形態をとりうる。

これらの例示的な実施例では、撮像システム２０２はプラットフォーム２１４に関連することがある。プラットフォーム２１４は、例えば、限定しないが、移動式プラットフォーム、固定式プラットフォーム、陸上構造物、水上構造物、宇宙構造物、航空機、水上艦、戦車、人員運搬車、列車、宇宙船、宇宙ステーション、衛星、潜水艦、自動車、発電所、橋、ダム、製造施設、建物、及び他の適切な形式のプラットフォームの中の１つとして選ばれることがある。

撮像システム２０２とプラットフォーム２１４との間の関係は、これらの図示されている例の物理的な関係である。図１の無人航空機１０６の据付けられた撮像システム１０２及び建物１１１に据付けられた撮像システム１０３は、プラットフォーム２１４に関連する撮像システム２０２の実装の例である。

これらの例示的な実施例では、撮像システム２０２のような第１コンポーネントは、第２コンポーネントに固定されること、第２コンポーネントに接着されること、第２コンポーネントに据付られること、第２コンポーネントに溶接されること、第２コンポーネントに結び付けられること、他の適切な方法で第２コンポーネントに接続されること、又は適切な方法の組合せによって、プラットフォーム２１４のような第２コンポーネントと関連しているとみなされることがある。
第１コンポーネントはまた、第３コンポーネントを使用して、第２コンポーネントに接続されることがある。第１コンポーネントは、第２コンポーネントの一部及び／又は延長として形成されることにより、第２コンポーネントと関連付けられると考えることもできる。

撮像システム２０２は処理のためビデオ２１２を画像処理システム２０４に送信する。画像処理システム２０４は、ハードウェア、ソフトウェア、または両者の組み合わせを使用して実装される。これらの例示的な実施例では、画像処理システム２０４はコンピュータシステム２１６の中に実装されている。コンピュータシステム２１６は、任意の数のコンピュータを含むことがある。コンピュータシステム２１６内に複数のコンピュータが存在する場合には、これらのコンピュータは相互に通信することができる。

図示されたように、画像処理システム２０４はレジストレーションモジュール２１８、オブジェクト追跡モジュール２２０、及び補正モジュール２２２を含む。レジストレーションモジュール２１８は処理のためビデオ２１２の画像群２０６を受信する。

１つの例示的な実施例では、レジストレーションモジュール２１８はこれらの画像が生成されるにつれて、ビデオ２１２の画像群２０６を受信する。すなわち、レジストレーションモジュール２１８は実質的にリアルタイムで画像群２０６を受信する。言うまでもなく、他の例示的な実施例では、レジストレーションモジュール２１８は、画像群２０６のすべてが生成された後にビデオ２１２の画像群２０６を受信してもよい。

レジストレーションモジュール２１８はイメージバッファ２２４に画像群２０６を保存する。具体的には、画像バッファは長さＮを有する。すなわち、画像バッファ２２４はＮ個の要素を含む。画像バッファ２２４は、これらＮ個の要素に任意の時点でＮ個までの画像を保存することができる。画像バッファ２２４は、これらの例示的な実施例では環状バッファの形態をとる。環状バッファは、バッファが一杯になったとき、最も古いデータを上書きする固定長のバッファである。

これらの例示的な実施例では、画像バッファ２２４に保存されている一又は複数の画像は、画像バッファ２２４内に一連の画像２２６を形成する。一連の画像２２６は、１からＮ個の連続画像を含みうる。具体的には、一連の画像２２６は現在の画像２２８及び一組の過去の画像２３０を含む。本明細書で使用している「一組の」のアイテムは、０個以上のアイテムを意味する。例えば、一組の過去の画像は、０個、１個、又はそれ以上の過去の画像である。このように、一組の過去の画像は、０個すなわち空の組であってもよい。

現在の画像２２８は画像バッファの第１要素に保存され、一方、一組の過去の画像２３０は画像バッファ２２４の第１要素以降の要素に保存される。幾つかの例示的な実施例では、一連の画像２２６は「ジョイントフレーム」と呼ばれることがあり、又、画像バッファ２２４は「ジョイントフレームバッファ」と呼ばれることがある。

さらに、レジストレーションモジュール２１８は、画像群２０６の各々の背景２０９に関する画像群２０６のレジストレーションに対する第１変換群２３２を特定する。画像のレジストレーションは、共通の特徴、共通の座標系、その他の共通基準系、又は複数の基準系に対する画像の位置合わせを含む。第１変換２３４は第１変換群２３２の一例である。第１変換２３４は、画像群２０６の１つの画像の背景２０９の特徴と画像群２０６の別の画像の背景２０９の特徴の位置を合わせるように構成されている。

これらの例示的な実施例では、第１変換群２３２は、アフィン変換、ホモグラフィ変換、他の適切な種類の変換、又は変換の組合せを含む群から選択された変換の形態をとることがある。アフィン変換は、一又は複数の線形変換、回転、拡大、並進、及びせん断変換を含むことがある。

レジストレーションモジュール２１８は、背景変換バッファ２３６のレジストレーションモジュール２１８によって生成される第１変換群２３２を保存するように構成されている。これらの例示的な実施例では、背景変換バッファ２３６は長さＮを有し、且つ環状バッファの形態をとることができる。レジストレーションモジュール２１８は、第１変換群２３２が生成されるにつれて、背景変換バッファ２３６に第１変換群２３２を保存することができる。

オブジェクト追跡モジュール２２０は、一又は複数の画像２０６の中のシーン２０８の任意の数の移動オブジェクト２１１の数を検出し、追跡するように構成されている。オブジェクト追跡モジュール２２０は、画像群２０６の中の任意の数の移動オブジェクトの検出及び追跡に対して現在利用可能な任意の数の方法を含みうる。例えば、オブジェクト追跡モジュール２２０は、移動オブジェクト検出アルゴリズム、オブジェクト分割アルゴリズム、平均シフト追跡アルゴリズム、ルーカス・カナデ法、他の適切な形態のアルゴリズムを単独で、又は組み合わせて使用し、任意の数の移動オブジェクト２１１を検出し、追跡することができる。

具体的には、オブジェクト追跡モジュール２２０は、画像群２０６を使用してオブジェクトマスク群２３８を生成する。オブジェクトマスクは、オブジェクトマップと呼ばれることもある。オブジェクトマスク２４０はオブジェクトマスク群２３８の一例である。オブジェクトマスク２４０は、画像バッファ２２４に対して処理され、追加された画像群２０６の中の１つの画像に対して生成される。これらの例示的な実施例では、オブジェクトマスク２４０は２値画像である。２値画像は、各ピクセルが論理値「１」又は論理値「０」のいずれかの値を有する画像である。

例えば、オブジェクトマスク２４０は、移動オブジェクト群を表わす一組の領域２４１を含むことができる。具体的には、一組の領域２４１の各領域は、オブジェクトマスク２４０が生成された画像の中で検出された移動オブジェクトを表わす。一組の領域２４１内のピクセルの各々は、論理値「１」を有し、一組の領域２４１外のピクセルの各々は、論理値「０」を有する。このように、オブジェクトマスク２４０内に論理値「１」を有するピクセルは、対応する画像内の前景２１０を表わす。さらに、オブジェクトマスク２４０内に論理値「０」を有するピクセルは、対応する画像内の背景２０９を表わす。

オブジェクト追跡モジュール２２０は、オブジェクトマスクバッファ２４６内のオブジェクト追跡モジュール２２０によって生成されたオブジェクトマスク群２３８を保存する。オブジェクトマスクバッファ２４６は長さＮを有し、且つ環状バッファの形態をとることができる。オブジェクト追跡モジュール２２０は、オブジェクトマスク２３８が生成されるにつれて、オブジェクトマスク群２３８を保存する。

加えて、オブジェクト追跡モジュール２２０はまた、画像群２０６内で検出された移動オブジェクト群に対して一組の軌跡２４２を生成するように形成されうる。一組の軌跡２４２は、オブジェクトマスク群２３８、画像群２０６、又は両方を使用して生成することができる。これらの例示的な実施例では、一組の軌跡２４２の各軌跡は画像群２０６の中の１画像に対応している。さらに、一組の軌跡の中の各軌跡は、対応する画像の中で検出される移動オブジェクトに対して存在する。このように、一組の軌跡２４２の各軌跡は一組の領域に対応することがある。すなわち、一組の軌跡２４２の中の１つの軌跡は、対応する画像の中の対応する一組の領域２４１の中に表わされるオブジェクトに対して生成されることがある。

軌跡２４４は、画像に対して生成された一組の軌跡２４２の中の軌跡の一例である。オブジェクト追跡モジュール２２０は、移動オブジェクト２４５が画像群２０６の中の１つの画像で検出されると、軌跡２４４を生成する。これらの例示的な実施例では、軌跡２４４は移動オブジェクト２４５に特有の軌跡識別子を含む。すなわち、種々の画像に対して生成される軌跡は、これらの軌跡が種々の画像の同一移動オブジェクトに対して生成されるときに、同一軌跡識別子を有することがある。

さらに、軌跡２４４は、対応する画像の中で移動オブジェクト２４５が描画される位置を含むことができる。この位置は、例えば、対応する画像の中の移動オブジェクト２４５の中心として選択されることがある。これらの例示的な実施例では、この位置は、例えば、画像に対するｘ−ｙ座標系、他の適切な座標系、又は画像に対する座標系の組合せを使用して定義される。

軌跡２４４はまた、対応する画像内に移動オブジェクト２４５の大きさを含むことができる。オブジェクトの大きさは、移動オブジェクト２４５のｘ及びｙ座標の双方についての最小値と最大値で定義することができる。他の例示的な実施例では、軌跡２４４に含まれる位置、大きさ、又は移動オブジェクト２４５の位置及び大きさは、対応する画像で生成されるオブジェクトマスク群２３８のオブジェクトマスクのｘ−ｙ座標系に関して定義される。

幾つかの例示的な実施例では、オブジェクト追跡モジュール２２０は、オブジェクトマスク２４０の一組の領域２４１の中の１つの領域のピクセル値を、当該領域に対応する軌跡の軌跡識別子で置き換えることができる。例えば、オブジェクトマスク２４０の一組の領域２４１の中の１領域は移動オブジェクト２４５を表わすことがある。オブジェクト追跡モジュール２２０は、この領域のピクセルの値を移動オブジェクト２４５の軌跡２４４に対する軌跡識別子で置き換えることができる。この種のオブジェクトマスクは拡張オブジェクトマスクと呼ばれることがある。

このように、オブジェクトマスクの各ピクセルは第１の値及び第２の値から選択された１つの値を有することができる。オブジェクトマスクが標準オブジェクトマスクの場合、第１の値は論理値「０」で、第２の値は論理値「１」であってもよい。オブジェクトマスクが拡張オブジェクトマスクの場合、第１の値は論理値「０」で、第２の値は軌跡識別子であってもよい。

レジストレーションモジュール２１８は、画像群２０６、オブジェクトマスク群２３８、及び一組の軌跡２４２を使用して、一連の画像２２６の中に検出された任意の数の移動オブジェクトの１つずつに対して第２変換群２５０を生成する。第１変換群２３２と同様にして、第２変換群２５０は、例えば、限定しないが、アフィン変換、ホモグラフィ変換、他の適切な種類の変換、又はこれらの変換の組合せを含む群から選択された変換の形態をとることがある。

１つの例示的な実施例として、第２変換群２５０が移動オブジェクト２４５に対して生成されることがある。第２変換２５１は第２変換群２５０の一例である。第２変換２５１は、画像群２０６の１つの画像の移動オブジェクト２４５の特徴と画像群２０６の別の画像の移動オブジェクト２４５の特徴の位置を合わせるように構成されることがある。

これらの例示的な実施例では、レジストレーションモジュール２１８は、オブジェクト変換バッファ２５２の移動オブジェクト２４５に対して第２変換群２５０を保存する。オブジェクト変換バッファ２５２は長さＮを有し、且つ環状バッファの形態をとることができる。画像群２０６内に検出された各移動オブジェクトに対して、異なるオブジェクト変換バッファが生成されることがある。レジストレーションモジュール２１８は、第２変換群２５０が生成されるにつれて、オブジェクト変換バッファ２５２に第２変換群２５０を保存する。

これらの例示的な実施例では、補正モジュール２２２は、画像バッファ２２４に保存された一連の画像２２６、背景変換バッファ２３６に保存された第１変換群２３２、及びオブジェクト変換バッファ２５２に保存された第２変換群２５０を使用して、撮像システム２０２によって生成されたビデオ２１２を補正する。具体的には、補正モジュール２２２は、一連の画像２２６、第１変換群２３２、及び第２変換群２５０を使用して、一連の画像２２６の中の選択された画像２５６に対して関心領域２５４の補正を行う。

例えば、補正モジュール２２２は、補正のため選択された画像２５６の中の関心領域２５４を選択する。選択された画像２５６は、例えば、画像バッファ２２４に保存された一連の画像の中の現在の画像２２８であってもよい。言うまでもなく、他の例示的な実施例では、選択された画像２５６は一連の画像２２６の任意の１つであってもよい。これらの例示的な実施例では、関心領域２５４は、移動オブジェクト２４５が検出された選択画像２５６内の領域を含むことがある。関心領域２５４の補正は、選択された画像２５６の他の部分と比較して、関心領域２５４の解像度の向上を含む。

このような実施例では、補正モジュール２２２は、移動オブジェクト２４５に対応する関心領域２５４の第２の部分とは無関係に、選択された画像２５６の背景２０９に対応する関心領域２５４の第１の部分を補正する超解像を実施する現在利用可能な方法を使用する。関心領域２５４のこれら２つの部分の超解像は、ここで結合されて補正画像２５８を構成する。関心領域２５４の補正画像２５８は、選択された画像２５６の関心領域２５４と比較して高い解像度を有する。

１つの例示的な実施例では、補正モジュール２２２は、関心領域２５４を複数のピクセル２６０に分割する。補正モジュール２２２は、倍率２６２を使用して関心領域２５４を複数のピクセル２６０に分割することもできる。倍率２６２は、選択された画像２５６の単一ピクセルを何個の複数ピクセル２６０で構成するかを決定する。例えば、選択された画像２５６は１０×１０個のグリッドに配置された１００個のピクセルを有することがある。倍率２６２を３に選択すると、選択された画像の各ピクセルは３×３個のグリッドに配置された９個のピクセルに分割される。

補正モジュール２２２は、複数のピクセル２６０のどのピクセルが選択された画像２５６の背景２０９に対応する複数のピクセル２６０の第１の部分２６５を形成し、又、どのピクセルが選択された画像２５６の移動オブジェクト２４５に対応する複数のピクセル２６０の第２の部分２６７を形成するのかを特定する。具体的には、補正モジュール２２２は、選択された画像２５６に対して生成されたオブジェクトマスク群２３８内の対応するオブジェクトマスクを使用して、第１の部分２６５と第２の部分２６７を特定する。

これらの例示的な実施例では、オブジェクトマスク２４０は選択された画像２５６に対応してもよい。さらに、オブジェクトマスク２４０の中の一組の領域２４１は、選択された画像２５６の中に現れる移動オブジェクト２４５を表わす１つの領域であってもよい。論理値が「０」であるオブジェクトマスク２４０の中に対応するピクセルを有する複数のピクセル２６０の中の１つのピクセルは、第１の部分２６５に含まれている。論理値が「１」であるオブジェクトマスク２４０の中に対応するピクセルを有する複数のピクセル２６０の中の１つのピクセルは、第２の部分２６７に含まれている。

補正モジュール２２２は、一連の画像２２６と第１変換群２３２を使用して、選択された画像２５６の背景２０９に対応する複数のピクセル２６０の第１の部分２６５に対して、第１の値２６４を特定する。さらに、補正モジュール２２２は、一連の画像２２６と第２変換群２５０を使用して、選択された画像２５６の移動オブジェクト２４５に対応する複数のピクセル２６０の第２の部分２６７に対して、第２の値２６６を特定する。

これらの例示的な実施例では、補正モジュール２２２は、第１の値２６４と第２の値２６６を使用して、関心領域２５４の補正画像２５８を構築する。画像群２０６の中の新しい画像を受信すると、この新しい画像は現在の画像２２８として画像バッファ２２４に追加されることがある。さらに、画像バッファ２２４に保存された画像は、画像バッファ２２４に保存されている最も古い画像が画像バッファ２２４から押し出されるようにシフトされ、新しい一連の画像が形成される。

この新しい一連の画像に対して選択された画像２５６は、現在の画像２２８として追加された新しい画像であってもよい。補正モジュール２２２は、新しい一連の画像を使用して新しい補正画像を生成するように構成されている。新しい補正画像は、関心領域２５４又は新しい関心領域に対して生成されることがある。場合によっては、新しい倍率が選択されることもある。

図２の画像処理環境２００の図解は、有利な実施形態が実装されうる方法に対する物理的又は構造的な制限を示唆することを意図していない。図示したコンポーネントに加えて又は代えて、他のコンポーネントを使用することができる。幾つかのコンポーネントは不必要になることもある。また、幾つかの機能コンポーネントを示すためにブロックが表示されている。有利な実施形態で実装される場合、一又は複数のこれらのブロックは結合されること、分割されること、又は異なるブロックに結合及び分割されることがありうる。

例えば、幾つかの例示的な実施例では、一組の軌跡２４２は付加的なバッファ又は他の適切な種類のデータ構造に保存されることがある。他の例示的な実施例では、レジストレーションモジュール２１８の代わりに画像バッファ２２４に画像群２０６を保存するように構成されることもある。

ここで図３を参照すると、有利な実施形態による画像バッファ及び背景変換バッファが図解されている。この例示的な実施例では、画像バッファ３００は、図２の画像バッファ２２４の実装の一例である。さらに、背景変換バッファ３０２は、図２の背景変換バッファ２３６の実装の一例である。画像バッファ３００及び背景変換バッファ３０２は、この図解例では環状バッファになっている。

図２のレジストレーションモジュール２１８は、画像バッファ３００の中に、図２の画像群２０６などの画像を保存する。画像バッファ３００に保存された画像群は、図２の一連の画像２２６を形成する。さらに、図２のレジストレーションモジュール２１８は、背景変換バッファ３０２の中に、図２の第１変換群２３２などの変換群を保存する。

図示されたように、画像バッファ３００は、要素３０４、３０６、３０８、３１０、及び３１２を含む。画像バッファ３００の中では、要素３０４は画像バッファ３００の中の最も古い画像を保存し、一方要素３１２は最も新しい画像を保存する。画像３１４、３１６、３１８、３２０、及び３２２は、それぞれ要素３０４、３０６、３０８、３１０、及び３１２に保存されている。画像３１４、３１６、３１８、３２０、及び３２２は、図２の一連の画像２２６の中の画像の例である。

この例示的な実施例では、要素３０４に保存されている画像３１４は、画像バッファ３００に保存されている最も古い画像である。要素３１２に保存されている画像３２２は、画像バッファ３００に保存されている最も新しい画像であり、処理されている現在の画像である。

背景変換バッファ３０２は、要素３２４、３２６、３２８、３３０、及び３３２を含む。背景変換バッファ３０２の中では、要素３２４は最も古い変換を保存するように構成されており、一方、要素３３２は最も新しい変換を保存するように構成されている。

図示されたように、変換３３４、３３６、３３８、３４０、及び３２２は、それぞれ要素３２４、３２６、３２８、３３０、及び３３２に保存されている。変換３３４、３３６、３３８、３４０、及び３４２は、図２の第１変換群２３２の例である。これらの変換は、画像バッファ３００に追加された最も新しい画像、すなわち画像３２２に関して、図２のレジストレーションモジュール２１８によって特定されている。

図示されたこの実施例では、変換３３４、３３６、３３８、３４０、及び３４２は、それぞれ画像３１４、３１６、３１８、３２０、及び３２２に対応している。具体的には、変換３３４、３３６、３３８、３４０、及び３４２は、それぞれ画像３１４、３１６、３１８、３２０、及び３２２の背景の特徴と画像３２２の背景の特徴の位置を合わせるように構成されている。

１つの例示的な実施例として、変換３３４は、画像３１４の背景の特徴と、画像３１４に変換３３４が適用された際の画像３２２の背景の特徴の位置を合わせるように構成されている。別の実施例として、変換３４０は、画像３２０の背景の特徴と、画像３２０に変換３４０が適用された際の画像３２２の背景の特徴の位置を合わせるように構成されている。さらに、変換３４２は、この例示的な実施例では画像３２２に対する恒等変換である。すなわち、変換３４２は画像３２２を変更しない。

画像３４４などの新しい画像が画像バッファ３００に追加されると、画像バッファ３００の要素に過去に保存された画像群は、画像バッファ３００に保存されている最も古い画像が画像バッファ３００から押し出されるように１要素分だけシフトされる。具体的には、画像バッファ３００に画像３４４が追加されると、画像３１６は要素３０６に保存されている状態から要素３０４に保存されている状態にシフトする。このように、画像３４４が画像バッファ３００に追加されると、画像３１４は要素３０４に上書きされる。

さらに、画像３４４が画像バッファ３００に追加されると、図２のレジストレーションモジュール２１８は、画像３４４に対応する新しい恒等変換を背景変換バッファ３０２に追加する。この新しい恒等変換は、変換３５０として要素３３２の中に保存される。その後、背景変換バッファ３０２に保存されている過去に特定された変換は１要素分だけシフトされ、新しい変換を形成するように更新される。過去に特定された変換がシフトされると、変換３３４は背景変換バッファ３０２から削除される。

具体的には、図２のレジストレーションモジュール２１８は、画像３２２の背景の特徴と画像３４４の背景の特徴の位置を合わせるように構成されている新しい変換を特定する。この新しい変換は変換３４２と結合されて、変換３５２を形成する。変換３５２は要素３３０に保存される。

さらに、新しい変換は変換３４０とも結合されて、変換３５４を形成する。変換３５４はここで要素３２８に保存される。新しい変換は変換３３８と結合されて、変換３５６を形成する。変換３５６はここで要素３２６に保存される。加えて、新しい変換は変換３３６と結合されて、変換３５８を形成する。変換３５８は要素３２４に保存される。

このように、画像バッファ３００及び背景変換バッファ３０２は、新しい画像が画像バッファ３００に追加されるたびに更新される。

ここで図４を参照すると、有利な実施形態による画像バッファ、オブジェクトマスクバッファ、及びオブジェクト変換バッファが図解されている。この例示的な実施例では、図３の画像バッファ３００が描かれている。さらに、オブジェクトマスクバッファ４００及びオブジェクト変換バッファ４０２も描かれている。オブジェクトマスクバッファ４００は、図２のオブジェクトマスクバッファ２４６の実装の一例である。オブジェクト変換バッファ４０２は、図２のオブジェクト変換バッファ２５２の実装の一例である。

オブジェクトマスクバッファ４００は、要素４０４、４０６、４０８、４１０、及び４１２を含む。図２のオブジェクト追跡モジュール２２０は、オブジェクトマスクバッファ４００のオブジェクトマスク４１４、４１６、４１８、４２０、及び４２２を、それぞれ要素４０４、４０６、４０８、４１０、及び４１２の中に保存するように構成されている。

オブジェクトマスク４１４、４１６、４１８、４２０、及び４２２は、それぞれ画像３１４、３１６、３１８、３２０、及び３２２に対応している。例えば、オブジェクトマスク４１６は画像３１６に対応する。図２のオブジェクト追跡モジュール２２０は、画像３１６を使用してオブジェクトマスク４１６を生成する。

この例示的な実施例では、図２の移動オブジェクト２４５などの移動オブジェクトは、画像３１４、３１６、３１８、３２０、及び３２２のそれぞれに検出される。その結果、オブジェクトマスク４１４、４１６、４１８、４２０、及び４２２は、論理値「１」のピクセルを有する少なくとも１つの領域を含む。

加えて、オブジェクト変換バッファ４０２は、要素４２４、４２６、４２８、４３０、及び４３２を含む。図２のレジストレーションモジュール２１８は、オブジェクト変換４３４、４３６、４３８、４４０、及び４４２を特定し、且つこれらのオブジェクト変換を、それぞれ要素４２４、４２６、４２８、４３０、及び４３２の中に保存するように構成されている。オブジェクト変換４３４、４３６、４３８、４４０、及び４４２は、図２の移動オブジェクト２４５に対する第２変換群２５０の例である。オブジェクト変換４３４、４３６、４３８、４４０、及び４４２は、それぞれ画像３１４、３１６、３１８、３２０、及び３２２に対応している。

例えば、オブジェクト変換４３６は、移動オブジェクトが検出される画像３１６の領域と、同一の移動オブジェクトが検出された画像３２２の領域の位置を合わせるように構成されている。同様に、オブジェクト変換４３８は、移動オブジェクトが検出された画像３１８の領域と、同一の移動オブジェクトが検出された画像３２２の領域の位置を合わせるように構成されている。

図２のレジストレーションモジュール２１８は、画像バッファ３００に保存されている画像とオブジェクトマスクバッファ４００に保存されているオブジェクトマスクを使用して、オブジェクト変換４３４、４３６、４３８、４４０、及び４４２を特定する。例えば、オブジェクト変換４３８を特定する場合、レジストレーションモジュール２１８は、論理値「１」を有するオブジェクトマスク４１８の中に対応するピクセルを有する画像３１８の中のピクセル、及び論理値「１」を有するオブジェクトマスク４２２の中に対応するピクセルを有する画像３２２の中のピクセルのみを考慮する。

画像３４４が画像バッファ３００に追加されると、図２のオブジェクト追跡モジュール２２０は画像３４４に対してオブジェクトマスク４４３を生成し、オブジェクトマスク４１４が上書きされるように、オブジェクトマスクバッファ４００に保存されているオブジェクトマスク群を１要素分シフトする。加えて、オブジェクトバッファ４００にオブジェクトマスク４１４が追加されると、図２のレジストレーションモジュール２１８は、オブジェクトバッファ４０２に保存されているオブジェクト変換を更新する。具体的には、レジストレーションモジュール２１８は、要素４２４、４２６、４２８、４３０、及び４３２にそれぞれ保存されているオブジェクト変換４４４、４４６、４４８、４５０、及び４５２でオブジェクト変換バッファ４０２を更新する。

この例示的な実施例では、オブジェクト変換４４４、４４６、４４８、４５０、及び４５２は、画像３１６、３１８、３２０、３２２、及び３４４の中で検出された移動オブジェクトの特徴と画像３４４の中で検出された移動オブジェクトの特徴の位置を合わせるように構成されている。このように、オブジェクト変換４５２は恒等変換であってもよい。

さらに、この例示的な実施例では、オブジェクト変換バッファ４０２に保存されているオブジェクト変換群は、画像バッファ３００に新しい画像が追加されるたびに、個別に再計算されることがある。このように、画像バッファ３００に保存されている画像の１つの中の移動オブジェクトの検出が失われた場合には、オブジェクト変換バッファ４０２の中の１要素のみが未確定となる。

ここで図５を参照すると、有利な実施形態にしたがって、撮像システムによって生成された画像が図解されている。この例示的な実施例では、画像５００は、図２のビデオ２１２の画像群２０６の１つに対する実装の一例である。画像５００は、図２の撮像システム２０２などの撮像システムによって生成されたビデオの一部である。図示されたように、移動オブジェクト５０２は画像５００に取り込まれている。この例示的な実施例では、移動オブジェクト５０２は車両である。

次に図６に移ると、有利な実施形態による補正画像が示されている。この例示的な実施例では、補正画像６００は、図２の補正画像２５８の実装の一例である。補正画像６００は、図５の画像５００及び撮像システムによって生成されたビデオの過去の画像群を使用して生成される。

図示されたように、補正画像６００は、図５の画像５００と比較して高い解像度を有する。さらに、画像５００の移動オブジェクト５０２に対応する補正画像６００の一部は、軌跡６０２を使用して追跡されている。

ここで図７を参照すると、有利な一実施形態による選択された画像のピクセルが描かれている。選択された画像７００は低解像度画像である。具体的には、ここに描かれている実施例では、選択された画像７００は、図２の選択された画像２５６に対する実装の一例である。具体的には、選択された画像７００は、図２の画像バッファ２２４に保存された一連の画像２２６の中の現在の画像２２８である。

この例示的な実施例では、選択された画像７００は正方形７０３のグリッド７０２に分割されている。選択された画像７００の各ピクセルは、グリッド７０２の正方形の中心である。例えば、グリッド７０２の正方形７０６の中心７０４はピクセル７０８である。正方形７０６に対するピクセル７０８は、選択された画像７００の背景又は移動オブジェクトに対応することがある。

図示されたように、図２の補正モジュール２２２は、補正のために選択された画像７００の中の関心領域７１０を選択することがある。補正モジュール２２２は、より小さな正方形７１３のグリッド７１２を形成するための倍率を使用して、関心領域７１０の正方形７０３の一部をより小さな正方形に分割する。

この例示的な実施例では、倍率４が使用されている。この倍率により、関心領域７１０内の４×４個の正方形からなるセクションを形成するため、関心領域７１０のグリッド７０２の各正方形はより小さな正方形に分割される。これらの種々のセクションは、関心領域７１０に対してグリッド７１２を形成する。１つの例示的な実施例として、グリッド７０２の正方形７１４は分割されて、４×４個の正方形からなるセクションを形成する。

図２の補正モジュール２２２は、例えば、図２の補正画像２５８などの補正画像を形成するため、関心領域７１０に対してグリッド７１２を使用する。具体的には、グリッド７１２は、補正画像の各ピクセルがグリッド７１２の正方形の中心となっている補正画像を形成するように使用されている。これらの例示的な実施例では、補正画像内の各ピクセルは超解像（SR ）ピクセルと呼ばれることがある。場合によっては、補正画像の各ピクセルは高解像度（HR ）ピクセルと呼ばれることがある。

例えば、グリッド７１２の中の正方形７１６の中心はピクセル７１８である。ピクセル７１８は超解像ピクセルと呼ばれることがある。補正モジュール２２２は、図２の画像バッファ２２４に保存されている一組の過去の画像２３０を使用して、ピクセル７１８に対して最終値を推定する。

具体的には、補正モジュール２２２は、グリッド７１２の正方形７１６の中のピクセル７１８に対応するグリッド７０２の中の正方形７１４のピクセル７２０が、選択された画像７００の背景のものかどうか、又は選択された画像７００の移動オブジェクトのものかどうかを判定する。補正モジュール２２２は、正方形７１４のピクセル７２０の値が、ピクセル７２０が背景のものであること、又はピクセル７２０が移動オブジェクトのものであることを示しているがどうかを判定するため、選択された画像７００に対して生成されたオブジェクトマスクを使用する。

ピクセル７２０が選択された画像７００の背景のものである場合には、補正モジュール２２２は、図２の背景変換バッファ２３６に保存されている第１変換群２３２を使用して、ピクセル７２０に対応する画像バッファ２２４に保存されている一連の画像２２６に含まれる一組の過去の画像２３０の各々の中での位置を特定する。すなわち、ピクセル７１８が選択された画像７００の背景のものである場合には、補正モジュール２２２は、第１変換群２３２を使用して一連の画像２２６に含まれる他の画像の中でピクセル７１８の位置を特定する。

ピクセル７２０が選択された画像７００の移動オブジェクトのものである場合には、補正モジュール２２２は、図２のオブジェクト変換バッファ２５２に保存されている第２変換群２５０を使用して、ピクセル７２０に対応する画像バッファ２２４に保存されている一連の画像２２６に含まれる一組の過去の画像２３０の各々の中での位置を特定する。すなわち、ピクセル７１８が選択された画像７００の移動オブジェクトのものである場合には、補正モジュール２２２は、第２変換群２５０を使用して一連の画像２２６に含まれる他の画像の中でピクセル７１８の位置を特定する。

さらに、補正モジュール２２２は、一組の過去の画像２３０の各々に対して生成されたオブジェクトマスクを使用して、ピクセル７１８の最終値の評価に一組の過去の画像２３０の各々について特定された位置で当該ピクセルを使用するかどうかを判定する。

例えば、ピクセル７２０が背景のものである場合には、補正モジュール２２２は、一組の過去の画像２３０の各々の画像に対応するオブジェクトマスクが、過去の画像の中で特定された位置にあるピクセルも背景のものであることを示しているかどうかを判定する。過去の画像のピクセルが背景のものである場合には、当該ピクセルはピクセル７１８の最終値の推定の中に含まれている。過去の画像のピクセルが背景のものでない場合には、当該ピクセルは推定の中に含まれていない。

同様に、ピクセル７００が移動オブジェクトのものである場合には、補正モジュール２２２は、一組の過去の画像２３０の各々の過去の画像に対応するオブジェクトマスクが、過去の画像の中で特定された位置にあるピクセルも移動オブジェクトのものであることを示しているかどうかを判定する。過去の画像のピクセルが移動オブジェクトのものである場合には、当該ピクセルはピクセル７１８の最終値の推定の中に含まれている。過去の画像のピクセルが移動オブジェクトのものでない場合には、当該ピクセルは含まれていない。

補正モジュール２２２は、ピクセル７１８の最終値の推定に対して、含まれているピクセルの値を決定する。これらのピクセルの値は、例えば、限定しないが、最近傍アルゴリズム、線形補間アルゴリズム、三次補間アルゴリズム、又は他の適切な種類のアルゴリズムなどの補間アルゴリズムを使用して決定することができる。補正モジュール２２２は、重みづけ、平均化、分布に基づく異常値の除外、その他の技法、またはこれらの技法の組合せを使用して、ピクセル７１８の最終値を推定することができる。

次に図８を参照すると、有利な実施形態に従って描かれた画像処理のプロセスのフロー図が示されている。図８に示されたプロセスは、図２の画像処理システム２０４を使用して実装可能である。具体的には、このプロセスは図２のレジストレーションモジュール２１８、オブジェクト追跡モジュール２２０、及び補正モジュール２２２を使用して実装することができる。

プロセスは一連の画像に対する第１変換群を特定することによって開始される（工程８００）。一連の画像は、例えば、図２の一連の画像２２６であってもよい。第１変換群の各々は、一連の画像の中の１つの画像の背景の特徴と選択された画像の背景の特徴の位置を合わせるように構成されている。

プロセスは次に、一連の画像に対する第２変換群を特定する（工程８０２）。第２変換群の各々は、一連の画像の中の１つの画像の移動オブジェクトの特徴と選択された画像の移動オブジェクトの特徴の位置を合わせるように構成されている。

次に、プロセスは、移動オブジェクトが存在する選択された画像の部分を関心領域として特定する（工程８０４）。選択された画像は一連の画像の１つである。これらの例示的な実施例では、選択された画像は一連の画像の中の最新画像であってもよい。さらに、移動オブジェクトは選択された画像の背景に対して移動する。

その後、プロセスは、選択された画像の関心領域の複数のピクセルを特定する（工程８０６）。プロセスは、一連の画像と第１変換群を使用して、複数のピクセルの第１の部分に対して第１の値を特定する（工程８０８）。複数のピクセルの第１の部分は選択された画像の背景に対応する。次に、プロセスは、一連の画像と第２変換群を使用して、複数のピクセルの第２の部分に対して第２の値を特定する（工程８１０）。複数のピクセルの第２の部分は選択された画像の移動オブジェクトに対応する。

プロセスは、関心領域の複数のピクセルの第１の部分の第１の値及び関心領域の複数のピクセルの第２の部分を使用して補正画像を生成し（工程８１２）、その後プロセスは停止する。

次に図９を参照すると、有利な実施形態に従って描かれたビデオ補正のプロセスのフロー図が示されている。図９に示されたプロセスは、図２の画像処理システム２０４を使用して実装可能である。具体的には、このプロセスは図２のレジストレーションモジュール２１８、オブジェクト追跡モジュール２２０、及び補正モジュール２２２を使用して実装することができる。

プロセスは処理用の画像バッファに現在の画像を追加することによって開始される（工程９００）。画像バッファは一連の画像を保存する。現在の画像は、図２のビデオ２１２の形態の画像群２０６の１つであってもよい。具体的には、現在の画像は図２の一連の画像２２６の現在の画像２２８であってもよい。

プロセスは次に、過去の画像の背景の特徴と現在の画像の背景の特徴の位置を合わせるための第１変換を特定する（工程９０２）。過去の画像は、現在の画像に先立って画像バッファに追加された画像であってもよい。次に、プロセスは、第１変換を使用して、背景変換バッファの変換群を更新する（工程９０４）。

その後、プロセスは現在の画像を使用して、オブジェクトマスクを生成する（工程９０６）。オブジェクトマスクは、現在の画像の中に一又は複数の移動オブジェクトが検出されているかどうかを示す。プロセスは次に、現在の画像とオブジェクトマスクを使用して、一連の画像に検出された移動オブジェクト群に対して生成された一組の軌跡を更新する（工程９０８）。工程９０８では、一組の軌跡を更新するステップは、新たに検出された移動オブジェクトに対して新しい軌跡を追加するステップを含むことがある。

次に、プロセスは、現在の画像の中に任意の移動オブジェクトが検出されるかどうかを判定する（工程９１０）。現在の画像の中に任意の移動オブジェクトが検出される場合には、このプロセスは移動オブジェクト群の各々に対して第２変換を特定する（工程９１２）。

各変換は、一連の画像の中の過去の画像の移動オブジェクトに対応する特徴と現在の画像の移動オブジェクトの特徴の位置を合わせるように構成されている。その後、プロセスは、移動オブジェクト群の各々に対して生成された各第２変換を使用して、任意の数のオブジェクト変換バッファに保存されているオブジェクト変換群を更新する（工程９１４）。

プロセスは次に現在の画像の関心領域を選択する（工程９１６）。プロセスは、倍率を使用して、関心領域を複数のピクセルに分割する（工程９１８）。プロセスは次に、一連の画像と背景変換バッファに保存されている変換群を使用して、現在の画像の背景に対応する複数のピクセルの第１の部分の第１の値を特定する（工程９２０）。

プロセスはまた、一連の画像とオブジェクト変換バッファに保存されているオブジェクト変換を使用して、現在の画像の一又は複数の移動オブジェクトに対応する複数のピクセルの第２の部分の第２の値を特定する（工程９２２）。

プロセスは次に、複数のピクセルの第１の部分の第１の値及び複数のピクセルの第２の部分の第２の値を使用して補正画像を生成し（工程９２４）、その後プロセスは停止する。これらの例示的な実施例では、補正画像は関心領域のためのものであって、現在の画像の関心領域と比較して高い解像度を有している。

工程９１０を再度参照して、現在の画像の中に一又は複数の移動オブジェクトが検出されない場合には、プロセスは上述のように工程９１６へ進む。これらの例示的な実施例では、図９に記載されているプロセスは、画像バッファに新しい画像が追加されると反復されることがある。

次に図１０Ａ及び１０Ｂを参照すると、有利な実施形態により関心領域の補正画像内の各ピクセルの値を推定するための、一連の画像の中でピクセルを選択するプロセスのフロー図が示されている。図１０Ａ及び１０Ｂに示されたプロセスは、図２の画像処理システム２０４を使用して実装可能である。

プロセスは一連の画像の中の選択された画像の中に、関心領域の補正画像を生成するためのグリッドを形成することによって開始される（工程１０００）。工程１０００では、一連の画像は図２の一連の画像２２６であってもよく、且つ選択された画像は図２の選択された画像２５６であってもよい。具体的には、選択された画像は図２の一連の画像２２６の現在の画像２２８であってもよい。

さらに、工程１０００では、グリッドは複数の行及び複数の列に配置されたピクセルを含む。グリッドは倍率を使用して形成される。図７のグリッド７１２は工程１０００で形成されたグリッドの実装の一例である。これらの例示的な実施例では、グリッド内のピクセルは超解像（SR ）ピクセルと呼ばれることがある。

プロセスは次にグリッド内の行を選択する（工程１００２）。次に、プロセスはグリッド内の選択された行に対して列を選択する（工程１００４）。ここで、プロセスは一連の画像の中の特定の画像を選択する（工程１００６）。特定の画像は一連の画像の中の現在の画像、又は一連の画像の一組の過去の画像の中の１つの画像であってもよい。

プロセスは、選択された行及び選択された列での超解像ピクセルが背景のものであるかどうかを判定する（工程１００８）。工程１００８では、プロセスはグリッド内の選択された行及び選択された列での超解像ピクセルに対応する、選択された画像内のピクセルを特定する。選択された画像内の対応するピクセルが背景のものである場合には、超解像ピクセルは背景のものとなる。同様に、選択された画像内の対応するピクセルが移動オブジェクトのものである場合には、超解像ピクセルは移動ピクセルのものとなる。

工程１００８では、プロセスは選択された画像に対応する拡張オブジェクトマスクを使用して、選択された画像内の対応するピクセルが背景のものであるか移動オブジェクトのものであるかを判定する。拡張オブジェクトマスクは、選択された画像内のピクセルに対応するピクセルを有する。

拡張オブジェクトマスク内のピクセルは、拡張オブジェクトマスク内のピクセルが論理値「０」を有する場合には、選択された画像内の対応するピクセルが背景のものであることを示す。拡張オブジェクトマスク内のピクセルは、拡張オブジェクトマスク内のピクセルが軌跡識別子である場合には、選択された画像内の対応するピクセルが背景のものではなく移動オブジェクトのものであることを示す。軌跡識別子は、移動オブジェクトに対して生成された軌跡を特定する。

超解像ピクセルに対応する選択された画像内のピクセルに対応する拡張オブジェクトマスク内のピクセルが論理値「０」を有する場合、超解像ピクセルは背景のものである。超解像ピクセルに対応する選択された画像内のピクセルに対応する拡張オブジェクトマスク内のピクセルが軌跡に対して軌跡識別子となる値を有する場合、超解像ピクセルは当該軌跡によって追跡される移動オブジェクトのものである。

工程１００８を再度参照して、超解像ピクセルが背景のものである場合には、プロセスは第１変換を使用して、特定の画像内の対応するピクセルの位置を特定する（工程１０１０）。工程１０１０では、第１変換は、例えば、図２の第１変換群２３２の１つである。

プロセスは次に特定の画像内の対応するピクセルが背景のものかどうかを判定する（工程１０１２）。工程１０１２は、特定の画像に対応する拡張オブジェクトマスクを使用して実施することができる。特定の画像内の対応するピクセルが背景のものである場合には、グリッド内の選択された行及び選択された列での超解像ピクセルの値の推定に含めるため、プロセスは対応するピクセルを追加する。

プロセスは次に、任意の追加された未処理の画像が、グリッド内の選択された行及び選択された列での超解像ピクセルに対応する一連の画像の中に存在するかどうかを判定する。追加された未処理の画像が存在する場合には、プロセスは工程１００６に戻る。

追加された未処理の画像が存在しない場合には、グリッド内の選択された行及び選択された列での超解像ピクセルの値の推定に含めるための、一連の画像の中の画像からのピクセルの選択は完了する。選択されたピクセルに対する値は次に、超解像ピクセルの値の推定に使用される。

工程１０１６を再度参照して、追加された未処理の画像が一連の画像の中に存在しない場合には、プロセスはグリッド内の選択された行に未処理の列が存在するどうかを判定する。未処理の列が存在する場合には、上述のようにプロセスは工程１００４に戻る。未処理の列が存在しない場合には、プロセスはグリッド内に任意の追加された未処理の行が存在するかどうかを判定する（工程１０２０）。未処理の行が存在する場合には、上述のようにプロセスは工程１００２に戻る。未処理の行が存在しない場合には、プロセスは終了する。

工程１０１２を再度参照して、特定の画像内の対応するピクセルが背景のものでない場合には、プロセスは次に上述のように工程１０１６へ進む。さらに、工程１００８を再度参照して、グリッド内の選択された行及び選択された列での超解像ピクセルが背景のものではない場合には、超解像ピクセルは選択された画像に対応する拡張オブジェクトマスク内で特定された特定の軌跡識別子を有する移動オブジェクトのものである。

工程１００８では、超解像ピクセルが背景のものでない場合には、プロセスは第２変換を使用して、特定の画像内の対応するピクセルの位置を特定する（工程１０２２）。第２変換は、例えば、図２の第２変換群２５０の１つであってもよい。

プロセスは次に特定の画像内の対応するピクセルが移動オブジェクトのものかどうかを判定する（工程１０２４）。特定の画像内の対応するピクセルが移動オブジェクトのものである場合には、プロセスは、特定の画像内の対応するピクセルの軌跡識別子が、超解像ピクセルの軌跡識別子と同一のものであるかどうかを判定する（工程１０２６）。

工程１０２６では、特定の画像内の対応するピクセルに対する軌跡識別子は、特定の画像内の対応するピクセルに対応する特定の画像に対する拡張オブジェクトマスク内のピクセルの値となる。工程１０２６では、軌跡識別子が同一の場合には、グリッド内の選択された行及び選択された列での超解像ピクセルの値の推定に含めるため、プロセスは特定の画像に対応するピクセルを追加する。

プロセスは次に、上述のように工程１０１６に進む。工程１０２６を再度参照して、軌跡識別子が同一でない場合には、プロセスは上述のように直ちに工程１０１６へ進む。さらに、工程１０２４を再度参照して、特定の画像内の対応するピクセルが移動オブジェクトのものでない場合には、プロセスはまた上述のように直ちに工程１０１６へ進む。

表示された種々な実施形態のフローチャート及びブロック図は、有利な実施形態における装置及び方法の幾つかの実施可能な構造、機能性、及び操作を説明するものである。その際、フロー図又はブロック図の各ブロックは、工程又はステップのモジュール、セグメント、機能及び／又は部分を表わすことができる。例えば、一又は複数のブロックは、ハードウェア内のプログラムコードとして、又はプログラムコードとハードウェアの組合せとして実装可能である。ハードウェア内に実装した場合、ハードウェアは、例えば、フロー図又はブロック図の一又は複数の工程を実施するように製造又は構成された集積回路の形態をとりうる。

幾つかの有利な実施形態の代替的な実装では、ブロックに記載された機能又は機能群は、図の中に記載の順序を逸脱して現れることがある。例えば、場合によっては、連続して示されている二つのブロックがほぼ同時に実行されること、又は時には含まれる機能によってはブロックが逆順に実施されることもありうる。また、フロー図又はブロック図に描かれているブロックに加えて他のブロックが追加されることもありうる。

例えば、幾つかの例示的な実施例では、図１０Ａ及び１０Ｂで示されているプロセスは、超解像が移動オブジェクト群に対してではなく背景に対してのみ実施されるように修正されることがある。この場合、グリッド内の選択された行及び選択された列での超解像ピクセルが移動オブジェクトのものでない場合には、超解像ピクセルの値は選択された画像内の対応するピクセルの値になる。

すなわち、図１０Ａ及び１０Ｂで示されているプロセスは修正されることがあり、これにより工程１００８を参照して、グリッド内の選択された行及び選択された列での超解像ピクセルが背景のものでない場合には、プロセスは超解像ピクセルの値の推定に含めるため選択された画像内の対応するピクセルを含めるが、一連の画像の中の他の画像内の対応する画像を除外するようになる。この工程は、図１０Ａ及び１０Ｂの工程１０２２、１０２４、１０２６、及び１０２８の代わりに実施されることがある。

図１０Ａ及び１０Ｂで示されているプロセスに対するこれらの修正は、任意の数の様々な種類の状況に応じて実施されることがある。例えば、移動オブジェクトが一連の画像の中の選択された数よりも多く画像で検出されていない場合には、これらの修正は図１０Ａ及び１０Ｂで示されているプロセスに対して行われることがある。移動オブジェクトが他のオブジェクトによって妨げられることに対応して、一連の画像の中で移動オブジェクトが検出されないことがある。さらに、図２のオブジェクト追跡モジュール２２０によって生成された情報が信頼できない、又は利用できないと判断される場合にも、このような修正が行われることがある。

次に図１１に注目すると、有利な実施形態に従って図解されたデータ処理システムが示されている。この例示的な実施例では、データ処理システム１１００を使用して、図２のコンピュータシステム２１６に一又は複数のコンピュータを実装することができる。データ処理システム１１００は通信ファブリック１１０２を含み、これによりプロセッサ装置１１０４、メモリ１１０６、固定記憶域１１０８、通信装置１１１０、入出力（Ｉ／Ｏ）装置１１１２、及びディスプレイ１１１４の間の通信を可能にする。

プロセッサ装置１１０４は、メモリ１１０６に読み込まれうるソフトウェアに対する命令を実行するように働く。プロセッサ装置１１０４は、特定の実装に応じて、任意の数のプロセッサ、マルチプロセッサコア、又は他の形式のプロセッサであってもよい。本明細書でアイテムを参照する際に使用している「任意の数の」は、一又は複数のアイテムを意味する。さらに、プロセッサ装置１１０４は、単一チップ上でメインプロセッサが二次プロセッサと共存する異種プロセッサシステムを任意の個数だけ使用して実装することもできる。別の例示的な実施例では、プロセッサ装置１１０４は同一形式の複数のプロセッサを含む対称型マルチプロセッサシステムであってもよい。

メモリ１１０６及び固定記憶域１１０８は記憶デバイス１１１６の例である。記憶デバイスは、例えば、限定しないが、データ、機能的な形態のプログラムコードなどの情報、他の適切な情報、又は情報の組合せを、一時的に、永続的に、又はその双方の形で保存することができる任意のハードウェア部分である。記憶デバイス１１１６は、これらの実施例ではコンピュータで読取可能な記憶デバイスと呼ばれることもある。これらの例では、メモリ１１０６は、例えば、ランダムアクセスメモリ又は他の適切な揮発性又は不揮発性の記憶デバイスであってもよい。固定記憶域１１０８は具体的な実装に応じて様々な形態をとりうる。

例えば、固定記憶域１１０８は、一又は複数のコンポーネント又はデバイスを含むことができる。例えば、固定記憶域１１０８は、ハードドライブ、フラッシュメモリ、書換え形光ディスク、書換え可能磁気テープ、又はそれらの何らかの組み合わせであってもよい。固定記憶域１１０８によって使用される媒体は着脱式であってもよい。例えば、着脱式ハードドライブは固定記憶域１１０８に使用しうる。

通信装置１１１０はこれらの例では、他のデータ処理システム又はデバイスとの通信を行う。これらの例では、通信装置１１１０はネットワークインターフェースカードである。通信装置１１１０は、物理的及び無線の通信リンクのいずれか一方又は両方を使用して、通信を行うことができる。

入出力装置１１１２により、データ処理システム１１００に接続可能な他のデバイスによるデータの入力及び出力が可能になる。例えば、入出力装置１１１２は、キーボード、マウス、他の幾つかの適切な入力デバイス、又はデバイスの組合せを介してユーザ入力への接続を提供することができる。さらに、入出力装置１１１２は出力をプリンタに送ってもよい。ディスプレイ１１１４はユーザに情報を表示する機構を提供する。

オペレーティングシステム、アプリケーション、プログラムに対する命令は、通信ファブリック１１０２を介してプロセッサ装置１１０４と通信する記憶媒体１１１６内に、単独で又は組み合わせて配置することができる。これらの例示的な実施例では、命令は固定記憶域１１０８上の機能的な形態になっている。これらの命令は、プロセッサ装置１１０４によって実行するため、メモリ１１０６に読み込むことができる。異なる実施形態のプロセスは、メモリ１１０６などのメモリに配置可能な命令を実装したコンピュータを使用して、プロセッサ装置１１０４によって実行することができる。

これらの命令は、プログラムコード、コンピュータで使用可能なプログラムコード、又はコンピュータで読取可能なプログラムコードと呼ばれ、プロセッサ装置１１０４内のプロセッサによって読取及び実行することができる。異なる実施形態のプログラムコードは、メモリ１１０６又は固定記憶域１１０８など、異なる物理的な又はコンピュータで読取可能な媒体上に具現化することができる。

プログラムコード１１１８は、選択的に着脱可能でコンピュータで読取可能な媒体１１２０上に機能的な形態で配置され、プロセッサ装置１１０４での実行用のデータ処理システム１１００に読込み又は転送することができる。プログラムコード１１１８及びコンピュータで読取可能な媒体１１２０は、これらの実施例ではコンピュータプログラム製品１１２２を形成する。一実施例では、コンピュータで読取可能な媒体１１２０は、コンピュータで読取可能な記憶媒体１１２４又はコンピュータで読取可能な信号媒体１１２６であってもよい。コンピュータで読取可能な記憶媒体１１２４は、例えば、固定記憶域１１０８の一部であるハードドライブなどのように、記憶デバイス上に転送するための固定記憶域１１０８の一部であるドライブ又は他のデバイスに挿入又は配置される光ディスク又は磁気ディスクなどを含むことができる。

コンピュータで読取可能な記憶媒体１１２４はまた、データ処理システム１１００に接続されているハードドライブ、サムドライブ、又はフラッシュメモリなどの固定記憶域の形態をとることができる。幾つかの例では、コンピュータで読取可能な記憶媒体１１２４はデータ処理システム１１００から着脱可能ではないことがある。これらの実施例では、コンピュータで読取可能な記憶媒体１１２４は、プログラムコード１１１８を伝搬又は転送する媒体よりはむしろプログラムコード１１１８を保存するために使用される物理的な又は有形の記憶デバイスである。コンピュータで読取可能な記憶媒体１１２４は、コンピュータで読取可能な有形の記憶デバイス又はコンピュータで読取可能な物理的な記憶デバイスと呼ばれることもある。すなわち、コンピュータで読取可能な記憶媒体１１２４は、人が触れることのできる媒体である。

代替的に、プログラムコード１１１８はコンピュータで読取可能な信号媒体１１２６を用いてデータ処理シスム１１００に転送可能である。コンピュータで読取可能な信号媒体１１２６は、例えば、プログラムコード１１１８を含む伝播されたデータ信号であってもよい。例えば、コンピュータで読取可能な信号媒体１１２６は、電磁信号、光信号、他の適切な形式の信号、又は信号の組合せであってもよい。これらの信号は、無線通信リンク、光ファイバケーブル、同軸ケーブル、有線などの通信リンク、他の適切な形式の通信リンク、又はこれらのリンクの組合せなどの通信リンクによって転送可能である。すなわち、これらの実施例では、通信リンクは物理的なものでも、無線でもよい。

幾つかの有利な実施形態では、プログラムコード１１１８は、データ処理システム１１００内で使用するため、コンピュータで読取可能な信号媒体１１２６を経由する別のデバイス又はデータ処理システムから、ネットワークを介して固定記憶域１１０８へダウンロードすることができる。例えば、サーバーデータ処理システムのコンピュータで読取可能な記憶媒体に保存されたプログラムコードは、ネットワークを介してサーバーからデータ処理システム１１００にダウンロードすることができる。プログラムコード１１１８を提供するデータ処理システムは、サーバーコンピュータ、クライアントコンピュータ、又はプログラムコード１１１８を保存及び転送することができる他のデバイスであってもよい。

データ処理システム１１００に対して例示されている種々のコンポーネントは、異なる実施形態が実装しうる方法に対して構造上の制限を設けることを意図していない。種々の有利な実施形態は、データ処理システム１１００に対して図解されているコンポーネントに対して追加的又は代替的なコンポーネントを含むデータ処理システム内に実装することができる。図１１に示した他のコンポーネントは、本明細書に示した例示的な実施例とは異なることがある。種々の実施形態は、プログラムコードを実行しうる任意のハードウェアデバイス又はシステムを使用して実装することができる。１つの実施例として、データ処理システムは無機コンポーネントと一体化した有機コンポーネントを含むこと、又は人間を除く有機コンポーネントを完全に含むことができる。例えば、記憶デバイスは有機半導体を含んでいてもよい。

別の例示的な実施例では、プロセッサ装置１１０４は、特定の用途のために製造又は構成された回路を有するハードウェア装置の形態をとってもよい。この形式のハードウェアは、工程を実施するために構成される記憶デバイスからメモリにプログラムコードを読み込まずに工程を実施することができる。

例えば、プロセッサ装置１１０４がハードウェア装置の形態をとる場合、プロセッサ装置１１０４は回路システム、特定用途向け集積回路（ＡＳＩＣ）、プログラマブル論理デバイス、又は任意の数の工程を実施するために構成された他の適切な形式のハードウェアであってもよい。プログラマブル論理デバイスにより、デバイスは任意の数の工程を実施するように構成されている。このデバイスはその後再構成すること、又は任意の数の工程を実施するために永続的に構成することができる。プログラマブル論理デバイスの例は、例えば、プログラマブル論理アレイ、プログラマブルアレイロジック、フィールドプログラマブルロジックアレイ、フィールドプログラマブルゲートアレイ、及び他の適切なハードウェアデバイスを含む。この形式の実装により、異なる実施形態のプロセスはハードウェア装置に実装されるため、プログラムコード１１１８は除外されうる。

さらに別の例示的な実施例では、プロセッサ装置１１０４は、コンピュータ及びハードウェア装置の中に見出されるプロセッサの組み合わせを使用して実装可能である。プロセッサ装置１１０４は、任意の数のハードウェア装置及びプログラムコード１１１８を実行するように構成されている任意の数のプロセッサを有していてもよい。ここに描かれている実施例では、プロセスの一部は任意の数のハードウェア装置に実装することが可能であるが、一方、他のプロセスは任意の数のプロセッサに実装可能である。

別の実施例では、バスシステムは、通信ファブリック１１０２を実施するために使用することができ、システムバス又は入出力バスなどの一又は複数のバスを含むことができる。言うまでもなく、バスシステムは、バスシステムに取り付けられた種々のコンポーネント又はデバイスの間でのデータ伝送を行う任意の適切な種類のアーキテクチャを使用して実施することができる。

加えて、通信装置は、データの送信、データの受信、又はデータの送受信を行う任意の数のデバイスを含むことがある。通信装置は例えば、モデム又はネットワークアダプタ、２個のネットワークアダプタ、又はこれらの組み合わせであってもよい。さらに、メモリは例えば、通信ファブリック１１０２に備わっていることがあるインターフェース及びメモリ制御装置ハブにみられるような、メモリ１１０６又はキャッシュであってもよい。

したがって、種々の有利な実施形態は、超解像を使用してビデオを補正する方法及び装置を提供する。具体的には、種々の有利な実施形態は、超解像技術を使用して、オブジェクト群がシーンの背景に対して移動するシーンのビデオを補正する方法及び装置を提供する。

１つの有利な実施形態では、画像を処理する方法が提供される。選択された画像内で移動オブジェクトが存在する部分が特定される。選択された画像は一連の画像の１つである。移動オブジェクトは選択された画像の背景に対して移動する。関心領域内の複数のピクセルは選択された画像内で特定される。一連の画像と第１変換群を使用して、複数のピクセルの第１の部分に対して第１の値が特定される。複数のピクセルの第１の部分は選択された画像の背景に対応する。第１変換群の中の１つの第１変換は、一連の画像の中の１つの画像の背景の特徴と選択された画像の背景の特徴の位置を合わせるように構成されている。一連の画像と第２変換群を使用して、複数のピクセルの第２の部分に対して第２の値が特定される。複数のピクセルの第２の部分は選択された画像の移動オブジェクトに対応する。第２変換群の中の１つの第２変換は、一連の画像の中の１つの画像の移動オブジェクトの特徴と選択された画像の移動オブジェクトの特徴の位置を合わせるように構成されている。

種々の有利な実施形態の説明は、例示及び説明を目的として提示されているものであり、網羅的な説明であること、又は開示された形態に実施形態を限定することを意図していない。当業者には、多数の修正例及び変形例が明らかであろう。さらに、種々の有利な実施形態は、他の有利な実施形態に照らして別の利点を提供することができる。選択された一又は複数の実施形態は、実施形態の原理、実際の用途を最もよく説明するため、及び他の当業者に対し、様々な実施形態の開示と、考慮される特定の用途に適した様々な修正との理解を促すために選択及び記述されている。

本発明の一態様に従って、本明細書に開示されるのは、画像処理の方法であって、この方法は、移動オブジェクトが存在する選択された画像内の部分を特定し、前記選択された画像が一連の画像の中の１つであり、且つ移動オブジェクトが選択された画像の背景に対して移動するステップと；選択された画像の関心領域内の複数のピクセルを特定するステップと；一連の画像と第１変換群を使用して複数のピクセルの第１の部分に対する第１の値を特定し、前記複数のピクセルの第１の部分が選択された画像の背景に対応しており、且つ第１変換群の中の第１変換が、一連の画像の中の１つの画像の背景の特徴と選択された画像の背景の特徴の位置を合わせるように構成されているステップと；さらに一連の画像と第２変換群を使用して複数のピクセルの第２の部分に対する第２の値を特定し、前記複数のピクセルの第２の部分が選択された画像の移動オブジェクトに対応しており、且つ第２変換群の中の第２変換が、一連の画像の中の１つの画像の移動オブジェクトの特徴と選択された画像の移動オブジェクトの特徴の位置を合わせるように構成されているステップと、を含む。

上述で開示した方法は、関心領域の複数のピクセルの第１の部分の第１の値及び関心領域の複数のピクセルの第２の部分を使用して、補正画像を生成するステップであって、前記補正画像が選択された画像と比較して高い解像度を有するステップをさらに含むことがある。

上述で開示した方法は、選択された画像の関心領域の複数のピクセル内の１つのピクセルを選択するステップと；関心領域内の複数のピクセルの中の前記ピクセルが選択された画像の背景に対応しているかどうかを判定するステップと；さらに関心領域内の複数のピクセルの中の前記ピクセルが選択された画像の移動オブジェクトに対応しているかどうかを判定するステップと、をさらに含むことがある。

一連の画像と第１変換群を使用して、複数のピクセルの第１の部分に対する第１の値を特定するステップが、ピクセルが選択された画像の背景に対応するとき、第１変換群を使用して一連の画像の中の他の画像の複数のピクセルから選択された前記ピクセルに対する位置を特定するステップと；前記位置を使用して前記ピクセルに対する値を特定するステップと；前記ピクセルに対して特定された前記値を使用して関心領域内の複数のピクセルの中の前記ピクセルに対する最終値を推定するステップと；さらにピクセルが選択された画像の背景に対応するとき、第１変換群を使用して一連の画像の中の他の画像の複数のピクセルから選択されたピクセルに対する位置を特定するステップ、前記位置を使用して前記ピクセルに対する値を特定するステップ、選択された画像の背景に対応する関心領域内の複数のピクセルから選択された各ピクセルの中の前記ピクセルに対して特定された値を使用して関心領域内の複数のピクセルの中の前記ピクセルに対する最終値を推定するステップを反復するステップと、を含む上述で開示した方法。

一連の画像と第２変換群を使用して、複数のピクセルの第２の部分に対する第２の値を特定するステップが、ピクセルが選択された画像の移動オブジェクトに対応するとき、第２変換群を使用して一連の画像の中の他の画像の前記ピクセルに対する位置を特定するステップと；前記位置を使用して前記ピクセルに対する値を特定するステップと；前記ピクセルに対して特定された前記値を使用して関心領域内の複数のピクセルの中の前記ピクセルに対する最終値を推定するステップと；さらに一連の画像の中の他の画像の中の前記ピクセルに対する位置を特定するステップ、第２変換群を使用して前記位置の前記ピクセルの値を特定するステップ、さらに選択された画像の移動オブジェクトに対応する関心領域内の複数のピクセルから選択された各ピクセルに対して特定された値を使用して関心領域内の複数のピクセルの中の前記ピクセルに対する最終値を推定するステップを反復するステップと、を含む上述で開示した方法。

第１変換群及び第２変換群が、アフィン変換、ホモグラフィ変換、及び線形変換からなる１つの変換群から選択された変換である、上述で開示した方法。

上述で開示した方法は、一連の画像に対してオブジェクトマスク群を生成するステップであって、前記オブジェクトマスク群の中の１つのオブジェクトマスクが一連の画像の中の１つの画像に対応し、且つ前記オブジェクトマスク群の中の１つのオブジェクトマスクの各ピクセルが、画像の背景と画像の移動オブジェクトの中の１つに各ピクセルが対応することを示す値を有するステップと、一又は複数の一連の画像に対して生成された移動オブジェクトについて、オブジェクトマスク群、一連の画像、及び軌跡を使用して、第２変換群を特定するステップと、をさらに含むことがある。

一連の画像に対してオブジェクトマスク群を生成するステップが、一連の画像の中の対応する画像に対するオブジェクトマスク群の中の１つのオブジェクトマスクを生成するステップと、オブジェクトマスク内のピクセルに値を割り当てるステップであって、前記値が第１の値及び第２の値の中から選択された１つであり、第１の値が論理値「０」で且つ第２の値が論理値「１」及び軌跡識別子の中から選択されるステップとを含む、上述で開示した方法。

上述で開示した方法は、画像バッファに一連の画像を保存するステップ、背景変換バッファに第１変換群を保存するステップ、オブジェクトマスクバッファにオブジェクトマスク群を保存するステップ、並びにオブジェクト変換バッファに第２変換群を保存するステップをさらに含むことがある。

上述で開示した方法は、画像が生成されるにつれて画像バッファに一連の画像の中の画像を保存するステップであって、前記画像が移動式プラットフォームに関連する撮像システムによって生成されるステップをさらに含むことがある。

本発明の一態様に従って、本明細書に開示されるのは、画像補正の方法であって、この方法は、移動オブジェクトが存在する選択された画像内の部分を特定し、前記選択された画像が一連の画像の中の１つであり、且つ移動オブジェクトが選択された画像の背景に対して移動するステップと；選択された画像の関心領域内の複数のピクセルを特定するステップと；一連の画像と第１変換群を使用して複数のピクセルの第１の部分に対する第１の値を特定し、前記複数のピクセルの第１の部分が選択された画像の背景に対応しており、且つ第１変換群の中の第１変換が、一連の画像の中の一画像の背景の特徴と選択された画像の背景の特徴の位置を合わせるように構成されているステップと；さらに選択された画像を使用して複数のピクセルの第２の部分を特定し、前記複数のピクセルの第２の部分が選択された画像の移動オブジェクトに対応しているステップと、を含む。

上述で開示した方法は、一連の画像の中の選択された任意の数の画像で移動オブジェクトが検出されるかどうかを判定するステップをさらに含み、且つ選択された画像を使用して複数のピクセルの第２の部分に対する第２の値を特定するステップが、一連の画像の中の選択された任意の数の画像の中に移動オブジェクトが検出されたときに一連の画像と第２変換群を使用して複数のピクセルの第２の部分に対する第２の値を特定するステップを含み、前記複数のピクセルの第２の部分が選択された画像内の移動オブジェクトに対応し、且つ前記第２変換群の１つの第２変換が、一連の画像の中の１つの画像の移動オブジェクトの特徴と選択された画像の移動オブジェクトの特徴の位置を合わせるように構成されている。

本発明で開示されている一態様に従って、装置は、移動オブジェクトが存在する選択された画像内の部分を特定し、前記選択された画像が一連の画像の中の１つであり、且つ移動オブジェクトが選択された画像の背景に対して移動するように構成されたオブジェクト追跡モジュールと；選択された画像の関心領域内の複数のピクセルを特定し、一連の画像と第１変換群を使用して複数のピクセルの第１の部分に対する第１の値を特定するように構成された補正モジュールとを含み、前記複数のピクセルの第１の部分が選択された画像の背景に対応し、且つ前記第１変換群の中の第１変換が、一連の画像の中の１つの画像の背景の特徴と選択された画像の背景の特徴の位置を合わせるように構成されており；さらに一連の画像と第２変換群を使用して複数のピクセルの第２の部分に対する第２の値を特定し、前記複数のピクセルの第２の部分が選択された画像の移動オブジェクトに対応しており、且つ第２変換群の中の第２変換が、一連の画像の中の１つの画像の移動オブジェクトの特徴と選択された画像の移動オブジェクトの特徴の位置を合わせるように構成されている。

前記補正モジュールがさらに、関心領域の複数のピクセルの第１の部分の第１の値及び関心領域の複数のピクセルの第２の部分を使用して、補正画像を生成し、前記補正画像が選択された画像と比較して高い解像度を有するように構成されている、上述で開示した装置。

前記補正モジュールがさらに、選択された画像の関心領域の複数のピクセルの中の１つのピクセルを選択し、関心領域内の複数のピクセルの中の前記ピクセルが選択された画像の背景に対応しているかどうかを判定し、且つ関心領域の複数のピクセルの中の前記ピクセルを選択が選択された画像内の移動オブジェクトに対応しているかどうかを判定するように構成されている、上述で開示した装置。

一連の画像と第１変換群を使用して複数のピクセルの第１の部分に対する第１の値を特定するように構成されており、ピクセルが選択された画像の背景に対応しているとき、第１変換群を使用して一連の画像の中の他の画像の複数のピクセルから選択された前記ピクセルに対する位置を特定し、前記位置を使用して前記ピクセルに対する値を特定し、前記ピクセルに対して特定された値を使用して関心領域の複数のピクセルの中の前記ピクセルに対する最終値を推定するように補正モジュールが構成されている、上述で開示した装置。

一連の画像と第１変換群を使用して複数のピクセルの第１の部分に対する第１の値を特定するように構成されており、ピクセルが選択された画像の移動オブジェクトに対応しているとき、第２変換群を使用して一連の画像の中の他の画像の前記ピクセルに対する位置を特定し、前記位置を使用して前記ピクセルに対する値を特定し、前記ピクセルに対して特定された値を使用して関心領域の複数のピクセルの中の前記ピクセルに対する最終値を推定するように補正モジュールが構成されている、上述で開示した装置。

上述で開示した装置は、一連の画像の中の画像を生成するように構成されている撮像システムをさらに含むことがある。

上述で開示した装置は、一連の画像を保存するように構成された画像バッファ、第１変換群を保存するように構成された背景変換バッファ、及び第２変換群を保存するように構成されたオブジェクト変換バッファをさらに含むことがある。

前記オブジェクト追跡モジュールがさらに、一連の画像に対してオブジェクトマスク群を生成するように構成され、前記オブジェクトマスク群の中の１つのオブジェクトマスクが一連の画像の中の１つの画像に対応し、前記オブジェクトマスク群の中の１つのオブジェクトマスクの各ピクセルが、画像内の背景及び画像内の移動オブジェクトのうちの１つに対応することを示す値を有する、上述で開示した装置。

１００ 画像処理環境
１０２、１０３ 撮像システム
１０４ コンピュータシステム
１０５ コンピュータステーション
１０６ 無人飛行機
１０８ シーン
１１０ 移動オブジェクト
１１１ 建物
１１２ 車両
１１４ 人
１１６、１１８ 無線通信リンク
３００ 画像バッファ
３０２ 背景変換バッファ
３０４、３０６、３０８、３１０、３１２、３２４、３２６、３２８、３３０、３３２ 要素
４００ オブジェクトマスクバッファ
４０２ オブジェクト変換バッファ
４０４、４０６、４０８、４１０、４１２、４２４、４２６、４２８、４３０、４３２ 要素
５００ 画像
５０２ 移動オブジェクト
６００ 補正画像
６０２ 軌跡
７００ 選択された画像
７０２ グリッド
７０３ 正方形部分
７０４ 正方形の中心
７０６ 正方形
７０８ ピクセル
７１０ 関心領域
７１２ 小さい正方形のグリッド
７１３ 小さい正方形
７１４ 正方形
７１６ 小さい正方形の中心
７１８、７２０ ピクセル
１１０２ 通信ファブリック

Claims (10)

1. 画像群（２０６）を処理する方法であって、
   移動オブジェクト（２４５）が存在する選択された画像（２５６）内の部分を特定するステップであって、前記選択された画像（２５６）が一連の画像（２２６）の中の１つで
   あり、且つ移動オブジェクト（２４５）が選択された画像（２５６）の前記背景（２０９）に対して移動するステップと；
   選択された画像（２５６）の関心領域（２５４）内の複数のピクセル（２６０）を特定するステップと；
   前記一連の画像（２２６）と第１変換群（２３２）を使用して前記複数のピクセル（２６０）の第１の部分（２６５）に対する第１の値（２６４）を特定するステップであって、前記複数のピクセル（２６０）の前記第１の部分（２６５）が前記選択された画像（２５６）の前記背景（２０９）に対応し、且つ前記第１変換群（２３２）の中の第１変換が、前記一連の画像（２２６）の中の１つの画像の前記背景（２０９）の特徴と前記選択された画像（２５６）の前記背景（２０９）の特徴の位置を合わせるように構成されているステップと；
   前記一連の画像（２２６）と第２変換群（２５０）を使用して前記複数のピクセル（２６０）の第２の部分（２６７）に対する第２の値（２６６）を特定するステップであって、前記複数のピクセル（２６０）の前記第２の部分（２６７）が前記選択された画像（２５６）の前記移動オブジェクト（２４５）に対応しており、且つ前記第２変換群（２５０）の中の第２変換が、前記一連の画像（２２６）の中の１つの画像の前記移動オブジェクト（２４５）の特徴と前記選択された画像（２５６）の前記移動オブジェクト（２４５）の特徴の位置を合わせるように構成されているステップと、を含む方法。
2. 前記関心領域（２５４）内の前記複数のピクセル（２６０）の前記第１の部分（２６５）に対する前記第１の値（２６４）及び前記関心領域（２５４）内の前記複数のピクセル（２６０）の前記第２の部分（２６７）を使用して、補正画像（２５８）を生成するステップであって、前記補正画像（２５８）が前記選択された画像（２５６）と比較して高い解像度を有するステップ、
   をさらに含む、請求項１に記載の方法。
3. 前記選択された画像（２５６）の前記関心領域（２５４）内の複数のピクセル（２６０）の中の１つのピクセルを選択するステップと；
   前記関心領域（２５４）内の前記複数のピクセル（２６０）の中の前記ピクセルが前記選択された画像（２５６）の前記背景（２０９）に対応しているかどうかを判定するステップと；
   前記関心領域（２５４）内の前記複数のピクセル（２６０）の中の前記ピクセルが前記選択された画像（２５６）の前記移動オブジェクト（２４５）に対応しているかどうかを判定するステップと
   をさらに含む、請求項１又は２に記載の方法。
4. 前記一連の画像（２２６）と前記第１変換群（２３２）を使用して、前記複数のピクセル（２６０）の前記第１の部分（２６５）に対する前記第１の値（２６４）を特定するステップが、
   前記ピクセルが前記選択された画像（２５６）の前記背景（２２６）に対応するとき、前記第１変換群（２３２）を使用して前記一連の画像（２２６）の中の他の画像群（２０６）の前記複数のピクセル（２６０）から選択された前記ピクセルに対する第１の位置を特定するステップと；
   前記第１の位置を使用して前記ピクセルに対する値を特定するステップと；
   前記ピクセルに対して特定された前記値を使用して前記関心領域（２５４）内の前記複数のピクセル（２６０）の中の前記ピクセルに対する最終値を推定するステップと；
   前記ピクセルが前記選択された画像（２５６）の前記背景（２０９）に対応するとき、前記第１変換群（２３２）を使用して前記一連の画像（２２６）の中の他の画像群（２０６）の前記複数のピクセル（２６０）から選択された前記ピクセルに対する前記第１の位置を特定するステップ；前記第１の位置を使用して前記ピクセルに対する値を特定するステップ；前記選択された画像（２５６）の前記背景（２０９）に対応する前記関心領域（２５４）内の複数のピクセル（２６０）から選択された各ピクセルのピクセル対して特定された値を使用して前記関心領域（２５４）内の前記複数のピクセル（２６０）の中のピクセルに対する最終値を推定するステップを反復するステップと
   を含む、請求項１〜３のうちのいずれか一項に記載の方法。
5. 前記一連の画像（２２６）と前記第２変換群（２５０）を使用して、前記複数のピクセル（２６０）の前記第２の部分（２６７）に対する前記第２の値（２６６）を特定するステップが、
   前記ピクセルが前記選択された画像（２５６）の前記移動オブジェクト（２４５）に対応するとき、前記第２変換群（２５０）を使用して前記一連の画像（２２６）の中の他の画像群（２０６）の前記ピクセルに対する第２の位置を特定するステップと；
   前記第２の位置を使用して前記ピクセルに対する値を特定するステップと；
   前記ピクセルに対して特定された前記値を使用して前記関心領域（２５４）内の複数のピクセル（２６０）の中の前記ピクセルに対する最終値を推定するステップと；
   前記一連の画像（２２６）の中の他の画像群（２０６）の前記ピクセルに対する前記第２の位置を特定するステップ；前記第２変換群（２５０）を使用して前記第２の位置での前記ピクセルの値を特定するステップ；前記選択された画像（２５６）の前記移動オブジェクト（２４５）に対応する前記関心領域（２５４）内の複数のピクセル（２６０）から選択された各ピクセルのピクセル対して特定された値を使用して前記関心領域（２５４）内の前記複数のピクセル（２６０）の中の前記ピクセルに対する最終値を推定するステップを反復するステップと
   を含む、請求項１〜４のうちのいずれか一項に記載の方法。
6. 前記第１変換群（２３２）及び前記第２変換群（２５０）が、アフィン変換、ホモグラフィ変換、及び線形変換からなる１つの変換群から選択された変換である、請求項１〜５のうちのいずれか一項に記載の方法。
7. 前記一連の画像（２２６）に対してオブジェクトマスク群（２３８）を生成するステップであって、前記オブジェクトマスク群（２３８）の中の１つのオブジェクトマスクが前記一連の画像（２２６）の中の１つの画像に対応し、且つ前記オブジェクトマスクの各ピクセルが、前記画像の前記背景（２０９）及び前記画像の前記移動オブジェクト（２４５）のうちの１つに各ピクセルが対応することを示す値を有するステップと；
   一又は複数の前記一連の画像（２２６）に対して生成された前記移動オブジェクト（２４５）について、前記オブジェクトマスク群（２３８）、前記一連の画像（２２６）、及び軌跡（２４４）を使用して、前記第２変換群（２５０）を特定するステップと
   をさらに含む、請求項１〜６のうちのいずれか一項に記載の方法。
8. 前記一連の画像（２２６）に対して前記オブジェクトマスク群（２３８）を生成するステップが、
   前記一連の画像（２２６）の中の対応する画像に対する前記オブジェクトマスク群（２３８）の中の１つのオブジェクトマスク（２４０）を生成するステップと；
   前記オブジェクトマスク内の１つのピクセルに前記値を割り当てるステップであって、前記値が第１の値及び第２の値の中から選択された１つであり、前記第１の値が論理値「０」で且つ前記第２の値が論理値「１」及び軌跡（２４４）識別子の中から１つが選択されるステップと
   を含む、請求項７に記載の方法。
9. 前記一連の画像（２２６）を画像バッファ（２２４）に保存するステップと；
   前記第１変換群（２３２）を背景変換バッファ（２３６）に保存するステップと；
   前記オブジェクトマスク群（２３８）をオブジェクトマスクバッファ（２４６）に保存するステップと；
   前記第２変換群（２５０）をオブジェクト変換バッファ（２５２）保存するステップと
   をさらに含む、請求項７に記載の方法。
10. 前記画像群（２０６）が生成されるにつれて画像バッファ（２２４）に前記一連の画像（２２６）の中の前記画像群（２０６）を保存するステップであって、前記画像群（２０６）が移動式プラットフォームに関連する撮像システム（２０２）によって生成されるステップ
    をさらに含む、請求項１〜７又は９のうちのいずれか一項に記載の方法。

Images