JP2005515675A - ビデオの空間または時間解像度を高めるためのシステムおよび方法 - Google Patents

ビデオの空間または時間解像度を高めるためのシステムおよび方法 Download PDF

Info

Publication number
JP2005515675A
JP2005515675A JP2003560847A JP2003560847A JP2005515675A JP 2005515675 A JP2005515675 A JP 2005515675A JP 2003560847 A JP2003560847 A JP 2003560847A JP 2003560847 A JP2003560847 A JP 2003560847A JP 2005515675 A JP2005515675 A JP 2005515675A
Authority
JP
Japan
Prior art keywords
resolution
image
time
sequence
spatial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003560847A
Other languages
English (en)
Other versions
JP2005515675A5 (ja
Inventor
ミチャル イラニ，
ヤロン カスピ，
エリ シェヒトマン，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yeda Research and Development Co Ltd
Original Assignee
Yeda Research and Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yeda Research and Development Co Ltd filed Critical Yeda Research and Development Co Ltd
Publication of JP2005515675A publication Critical patent/JP2005515675A/ja
Publication of JP2005515675A5 publication Critical patent/JP2005515675A5/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
    • G06T3/4069—Super resolution, i.e. output image resolution higher than sensor resolution by subpixel displacement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/12—Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal

Abstract

動きベクトルの計算無しで単一の出力が向上した精度および鮮鋭度を表示するように、異なる空間−時間解像度を持つ多数の入力源（１００，１１８）の結合によって、画像シーケンスの空間および／または時間解像度を高めるためのシステム（図７ｂ）および方法。この向上システム（図７ｂ）はデジタルビデオ、アナログビデオ、いかなるフォーマットの静止画像を含むがこれらに限定されないいかなる光学的記録装置（１１１）で用いられることができる。本発明は単一フレーム解像度増加、多数の静止画像の組合せ、空間的または時間的向上の校正に対するオプションまたはそれらのいかなる組合せ、向上追加として高解像度スチルカメラ（１１８）を用いることによる増大されたビデオ解像度の如き特徴のための支持を含み、所望によりカメラ同期化法を用いて実行されることができる。

Description

本発明は、単一の出力が向上した精度および鮮鋭度を表示するように、異なる空間−時間解像度を持つ複数の入力源の結合によって、空間または時間解像度を高めるためのシステムおよび方法に関する。
ビデオ画像キャプチャの分野において、空間的および時間的に連続したシーンは、色、明るさ、およびグリッド上の位置（ｘ，ｙ）をはじめ、多数の特性を各々に有する離散画素のグリッドと表現するのが最も適した情報の電子セットに変換される。以下、グリッドをラスタ画像と呼び、画素をピクセルと呼ぶ。ピクセルのラスタをフレームと呼び、それらが迅速に連続して表示されたときに、それらが動画像の錯覚を生じるように、以下でビデオストリームを一続きのフレームと定義する。該方法はデジタルビデオの基礎を形成するものであり、当業界では周知である。
異なるフォーマットのビデオは異なる空間解像度を持つ。例えば、ＮＴＳＣは６４０×４８０ピクセルを持ち、ＰＡＬは７６８×５７６ピクセルを持ち、その他諸々である。これらの要素は画像で視覚的に検知することができる物体のサイズまたは空間的特徴を制限する。これらの制限は、静止画像撮影の技術にも当てはまる。
ビデオ撮影の技術では、解像度の問題はさらに、ビットマップ画像をカメラで捕捉することのできる速度、すなわちフレームレートによっても影響を受ける。以下、それを離散ビットマップがカメラによって生成される速度と定義する。フレームレートはビデオ画像の時間解像度を制限する。異なるフォーマットのビデオは、異なる時間解像度を持つ。例えばＮＴＳＣは毎秒３０フレームを有し、ＰＡＬは毎秒２５フレームを有し、その他諸々である。
画像の時間および空間解像度の制限は、ビデオストリームとしてビットマップ画像の表示によって生じる錯視に知覚エラーを生じる。ビデオカメラのフレームレートより高速で発生する迅速な動的事象は不可視であるか、あるいは録画ビデオシーケンスに正しく捕捉されない。この問題は、高速で動くボールの完全な動きまたは挙動を見ることが不可能であるスポーツビデオでしばしば明白である。
非常に高速な動きによって生じるビデオシーケンスには、二つの典型的な視覚効果がある。そのうち、最も一般的なものは、カメラの露光時間によって引き起こされるモーションブラーである。カメラは、露光時間の長さ全体にわたってシーンからの光を取り込んでフレーム（ビットマップ画像）を生成する。この露光時間中の動きの結果、高速で動く物体は、その軌跡に沿って目立つブラーを生じ、結果的に往々にして歪むかまたは認識不能の物体形状をもたらす。物体の動きが速ければ速いほど、この効果が強くなることが分かっている。
当業界でモーションブラーを低減するための従来の方法は、動く物体の事前のセグメント化およびそれらの動きの推定を必要とする。そのような動き解析は、激しい形状歪みの存在下では不可能であるかもしれず、あるいはモーションエイリアシングの存在下でモーションブラーを低減するのには無益である。したがって、静的および動的シーン構成要素を分離したりそれらの動きを推定する必要なく、複数のビデオシーケンスからの情報を使用してビデオストリームの時間的解像度を高めるシステムおよび方法に対する、まだ満たされていない要求がある。
カメラのフレームレートによって生じる第二の視覚効果は、モーションエイリアシングと呼ばれる時間的現象である。動きに基づく（時間的）エイリアシングは、高速で動く物体によって生じる軌跡が、カメラのフレームレートより高い周波数によって特徴付けられる場合に発生する。これが発生すると、高い時間周波数が低い時間周波数に「折り返され」、動く物体の歪んだまたは誤った軌跡さえ生じる。この効果は、車輪が高い周波数で回転するが、特定の速度を越えると間違った方向に回転しているように見え、あるいは回転していないようにさえ見える、当業界で周知の「ワゴンホイール効果」として知られる現象に最もよく示される。
モーションエイリアシングを免れないビデオをスローモーションで再生した場合、当業界に存在するフレームレートを高めるあらゆる高度の時間的補間を使用してこれを行なったときでも、この現象は是正されない。これは、遅くかつタイミングを誤ったサンプリングおよびブラーのため、単一ビデオシーケンスに含まれる情報が、非常に高速の動的事象の欠落情報を回復するには不十分であるためである。
当業界の伝統的な空間超解像は画像に基づいており、しかも空間だけである。サブピクセル変位で得られた多数の低解像度画像からの情報の結合によって、画像の空間解像度を高めるための方法は存在する。しかし、これらは静的シーンを前提としており、動的シーンに見られる制限された時間解像度は扱っていない。空間解像度と時間解像度は性質が異なるが、それらはビデオの分野では相互に関係しており、これは空間と時間との間で行なわれるトレードオフの選択肢を生み出す。今までのところ、同じ組の入力シーケンスに対し異なる出力シーケンス解像度の生成を可能にし、空間的鮮鋭度を犠牲にして時間解像度の大きい増加を達成することができ、あるいはその逆のことを達成できる、当業界で利用可能な超解像システムは無い。
当業界で公知の画像に基づく方法は、異なる空間−時間解像度の入力の登場により、有用性がさらに低下した。伝統的な画像に基づく超解像では、高解像度画像が低解像度画像に含まれる情報を組み込むので、異なる解像度の入力画像を結合する誘因が無い。これは、異なるカメラによって提供される相補的情報を利用することができ、（非常に高い空間解像度を持つ）高品質スチルカメラによって得られた情報を、（空間解像度は低いが、時間解像度が高い）ビデオカメラによって得られた情報と結合して、高い空間および時間解像度の改善されたビデオシーケンスを生成することができる、システムおよび方法に対する当業界の要求を一層重くしている。
発明の概要
動きベクトルの計算無しで単一の出力が向上した精度および鮮鋭度を表示するように、異なる空間−時間解像度を持つ多数の入力源の結合によって、空間および／または時間解像度を高めるためのシステムおよび方法に対する、まだ満たされていない要求があり、それを持つことは非常に有用であろう。
本発明の好適な実施形態では、シーンの多数の低解像度ビデオデータストリームが、それらの時間、空間、または時間および空間解像度を高めるために、結合される。解像度は任意選択的に、空間および時間の両方を様々な程度に高めることができ、かつ任意選択的に一方を他方より大きく高めることができる。本発明の一実施形態では、より高い品質の新しく考案されたストリームを生成するために、空間の解像度を犠牲にして時間の解像度を高めることができ、その逆も然りである。
本発明の好適な実施形態では、これらのカメラは相互に物理的に近接していることが好ましく、多数の低解像度ビデオデータストリームは、空間または時間の少なくとも一方において元の入力ストリームのどれよりも高いサンプリングレートを有することによって特徴付けられる、単一のより高い解像度のビデオデータストリームに結合される。低解像度データストリームは任意選択的に、かつ好ましくは、異なる空間−時間解像度を持つことができ、ＮＴＳＣ、ＰＡＬ、ＨＤＴＶ、ＳＥＣＡＭ、その他のビデオフォーマット、または静止画像の少なくとも二つからのデータを含むことが最も好ましい。
本発明の好適な実施形態では、解像度の所望の増加を達成するために、低解像度ビデオストリームの必要最小限の数を算出することができる。加えて、超解像のための空間または時間の少なくとも一方における変換を任意選択的に決定することができる。
本発明の好適な実施形態では、二つまたはそれ以上の低解像度ビデオストリームの各々について空間および時間座標が算出され、任意選択的に必要な場合には調整によって、超解像を達成するために、空間および時間座標の少なくとも一つの間のアラインメントが生じる。調整が時間である場合、それは任意選択的に時間の一次元アフィン変換によって行なうことができる。調整が空間である場合、それは任意選択的に、各源の相対物理位置を突きとめ、次いで相対位置に従って空間座標を調整することによって行なうことができる。例えば各カメラのような各源の相対物理位置は任意選択的に、事前校正プロセスで得られる。
校正係数は任意選択的に各因子毎に決定することができ、空間座標はこの係数に従って調整することができる。
本発明の好適な実施形態では、ビデオ源からのデータを畳み込むためのカーネルが任意選択的に設けられ、該カーネルは任意選択的に、データの別個の部分のための領域カーネルを含むことができる。
本発明の好適な実施形態では、離散化は任意選択的に方程式
本発明の好適な実施形態では、空間−時間正則化項はさらに方向性正則化項
を含むことができる。
本発明の好適な実施形態では、出力ストリームにおけるピクセルのダイナミックレンジは任意選択的に、入力シーケンスのそれより大きくすることができる。
ブラー効果は、各フレームの各ピクセルの色が、動的シーンＳの空間−時間領域の色の積分であると言う事実に起因する。この積分は単一ピクセルの領域全体にわたる固定離散数を有するが、実際には、ピクセルは空間−時間の領域の離散化であるので、ピクセル全体では矛盾があるかもしれない。この領域の時間的範囲は、ビデオカメラの露光時間によって決定され、この領域の空間的範囲は、レンズおよび検出器の特性によって決定されるカメラの空間点広がり関数によって決定される。
二台またはそれ以上のビデオカメラによって録画されたビデオシーケンスは結合されて、高い空間−時間解像度のシーケンスＳｈを構築する。そのようなシーケンスは任意選択的により小さいブラー効果、または任意選択的に空間、時間、または二つのいずれかの校正組合せにおけるより細かいサンプリングを持ち、シーンまたは高速の動的事象から、低解像度シーケンスでは捕捉することができない微細な空間的特徴を捕捉する利点を有する。
任意選択的に、かつ好ましくは、多数の高解像度シーケンスＳｈは、空間的および時間的に異なる空間−時間ボリュームの空間−時間サンプリングレート（離散化）により生成することができる。したがって本発明は任意選択的に、非常に高い空間解像度を持つが時間解像度が低いビデオシーケンスＳｈ、高い時間解像度を持つが空間解像度が低いＳｈ、または二つの任意の組合せを生成することができる。
二台またはそれ以上のビデオカメラによって録画された各々のビデオの空間−時間解像度は、カメラのブラーおよびサブサンプリングによって決定される。これらは時間的および空間的に異なる特性を有する。露光時間によって誘発される時間的ブラーは、単一フレーム時間より一般的に小さい矩形カーネルの形状を有する（Τ＜フレーム時間）一方、空間的ブラーは数ピクセルの半径を持つガウス形状を有する（σ＞１ピクセル）。本発明はしたがって、得られる時間解像度の上限が、得られる空間解像度より高い。すなわち、時間解像度の改善に事実上寄与することができるシーケンスの数が、時間解像度の改善の場合、空間解像度の改善の場合より大きい。時間的ブラーの矩形の形状の公知の欠点は、物体に偽ハロー効果を与えるリンギング効果であり、それは正則化によって制御される。
以下、解像度に関連する用語「向上」は、少なくとも一つの入力における多数の空間−時間点の少なくとも一部分が、少なくとも一つの他の入力の空間−時間点と同一にならないように、少なくとも一つの入力の少なくとも一つの次元に対する解像度の増加を含む。以下、用語「超解像」は、全入力の少なくとも一つの次元に対する解像度の増加を含む。
以下、用語「コントラスト」は、色解像度、グレースケール解像度、およびダイナミックレンジのうちの一つまたはそれ以上を含むことができる。
本発明は、画像のシーケンスのどんなデータでも、かつ／またはそのようなデータのどんな源でも、例えば画像カメラのシーケンスに、作動可能であることに注目されたい。以下でさらに詳述する通り、好適であるが非限定的な例として、画像データのシーケンスとしてのビデオデータ、および／または画像カメラのシーケンスとしてのビデオカメラがある。
異なる空間−時間解像度を持つデータ源からの情報を結合する能力は、画像／ビデオカメラの分野における幾つかの新しい用途およびビデオカメラ用の新しい撮像センサを導く。新しいカメラは任意選択的に、同一または異なる空間−時間解像度の幾つかのセンサを組み込むことができ、そこで出力シーケンスは、個々のセンサのどれよりも高い時間および／または空間解像度を持つことができる。同様の原理は任意選択的に、異なるグループの検出器のフレームレートおよび露光時間を制御する能力、ならびに提案されるアルゴリズムの利用により、オンセンサ圧縮を通して数ビットのデータで動作可能である高品質（おそらく時間超解像による）の出力ビデオシーケンスを導くことができる、個々の撮像センサの新しい設計を生み出すために使用することができる。
本発明をここで、単なる例として、添付の図面を参照しながら説明する。
図１は本発明に係る例示的システムの系統図。
図２は本発明に係る例示的システムの略ブロック図。
図３は本発明に係る例示的システムの代替的略ブロック図。
図４は本発明に係る提示実施形態のフローチャート。
図５は８台の低解像度カメラを持つ本発明に係る例示的システム。
図６はカメラが同期する本発明に係る例示的システムの系統図。
図７は異なる空間−時間入力を持つ本発明に係る例示的システムの系統図。
図８は本発明の好適な実施形態に係るマルチセンサカメラおよび／または単一センサの任意選択的構成を持つ単一カメラの例示的系統図。
本発明は、静止画像、一連の画像、ビデオ録画、検出器からのデータのストリーム、単一センサ上に配列された検出器のアレイからのデータのストリーム、それらの組合せ等々をはじめ、それらに限らず、空間−時間ビジュアルエンティティの空間および時間の両方の解像度を高めるために統一フレームワークを提供する。高められた解像度の空間−時間ビジュアルエンティティは、多数のサブピクセル空間およびサブフレーム時間のミスアラインメントで得られる、動的シーンの複数のビデオシーケンスからの情報を結合することによって形成される。この時空超解像は、空間的ブラー、空間アーチファクト、モーションブラー、モーションエイリアシング等々をはじめ、それらに限らず、多数の効果を低減する。
本発明の好適な実施形態では、シーンの多数の低解像度ビデオデータストリームが、それらの時間、空間、または時間および空間解像度を高めるために、結合される。解像度は任意選択的に、空間および時間で異なる程度に高め、任意選択的に一方を他方より大きく高め、任意選択的に一方を他方の比例的犠牲により高めることができる。本発明の一実施形態では、空間の解像度を犠牲にして時間の解像度を高めることができ、その逆も然りである。本発明の別の実施形態では、カメラは意図的に、サブフレームまたはサブピクセルのミスアラインメントまたは両方で、位置がずらされる。これらのミスアラインメントは、任意選択的に装置の台数に応じて、任意選択的に予め定めておくことができる。
しかし、代替的に、この多数のビデオカメラの相対時間順序は、時間解像度を高めるために提供され、かつ／または決定され、かつ／または得られる。
本発明の好適な実施形態では、好ましくは相互に物理的に近接する任意の多数のビデオカメラがある場合、多数の低解像度ビデオデータストリームは、空間または時間の少なくとも一方において元の入力ストリームのどれよりも高いサンプリングレートを持つことを特徴とする、単一の高解像度ビデオデータストリームに結合される。入力ストリームが源から生じる場合、適切なアラインメントおよび／または対応付け方法を使用し、源間の点毎の空間−時間変換が既知であり、以下にリストするアルゴリズムに追加することができれば、これは克服することができる。低解像度データストリームは任意選択的に異なる空間−時間解像度とすることができ、次のデータ源すなわちＮＴＳＣ、ＰＡＬ、ＨＤＴＶ、ＳＥＣＡＭ、その他のビデオフォーマット、または静止画像の少なくとも二つからのデータを含むことができる。
本発明の好適な実施形態では、解像度の所望の増加を達成するために、低解像度ビデオストリームの必要最小限の数を算出することができる。加えて、ビデオの相対物理位置を決定した後、超解像のためのサブピクセルおよびサブフレーム精度で空間または時間の変換が決定される。これらはサブユニットの例であり、各空間−時間ビジュアルエンティティは少なくとも一つのユニットを含み、各ユニットは多数のサブユニットを含む。したがって、多数の空間−時間ビジュアルエンティティは任意選択的に、例えば変換による情報の結合が任意選択的にサブユニットミスアラインメントに従って実行されるように、サブユニットレベルで位置をずらすことができる。サブユニットミスアラインメントは任意選択的に、空間および／または時間ミスアライメントのうちの一つまたは両方を含むことができる。また、サブユニットミスアラインメントは任意選択的に予め定めておくことができ、あるいは代替的にデータから回復することができる。サブユニット自体は任意選択的にサブピクセルデータ、および／またはサブフレームまたはフレーム間ユニットの少なくとも一つを含むことができる。
様々な空間−時間ビジュアルエンティティの視野に沿って任意選択的に変動することができる空間点広がり関数は任意選択的に、予め定められたヒューリスティック実時間計算に従って近似化することができる。
時間解像度も空間−時間ビジュアルエンティティの間で変動することができる。時間解像度は任意選択的に事前に知ることができ、露光時間を制御することによって決定することができ、出現するデータに従って近似化することなどができる。
本発明の好適な実施形態では、二つまたはそれ以上の低解像度ビデオストリームの各々の間で空間および時間座標変換が計算され、必要な場合任意選択的に調整によって、任意選択的に後述するワープによって、超解像を達成するために、空間および時間座標の少なくとも一つの間でミスアラインメントが生み出される。調整が時間である場合、それは任意選択的に時間の一次元アフィン変換によって行なうことができる。調整が空間である場合、それは任意選択的に、各源の相対物理位置を突きとめ、次いで相対位置に従って空間座標を調整することによって調整することができる。任意選択的にカメラが相互に近接している場合には、この調整は任意選択的に２Ｄホモグラフィとして表現することができる。任意選択的にカメラが相互に近接していない場合には、調整は３Ｄ変換として実行することが好ましい。例えばスケーリングのような校正調整は任意選択的に、出力位置（出力シーケンス座標）に対する相対位置（基準入力シーケンス座標）から決定することができ、空間座標はこの校正調整に従って調整することができる。空間ミスアラインメント回復も任意選択的に、合同光学系を持つ単一カメラを使用することにより、容易に実行する（または完全に回避する）ことができる。
本願と同一人が所有し、少なくとも一名の同一発明者を有し、あたかも全文がここに記載されているかのようにここに参照によって組み込む、２００１年５月１０日に出願した公開米国特許出願第２００２００９４１３５号は、実際のビデオデータから正しいアラインメントを決定することによって、空間および／または時間ミスアラインメントのミスアラインメント回復のための方法を記載している。この方法は任意選択的に、本発明と共に使用することもできる。
本発明の好適な実施形態では、ビデオ源からのデータを畳み込むためのカーネルが任意選択的に提供され、カーネルは任意選択的に、データの別個の部分用の領域カーネルを含むことができる。
本発明の好適な実施形態は任意選択的に方程式
本発明の好適な実施形態では、空間−時間正則化項はさらに方向性正則化項
を含むことができる。それは、任意選択的に主軸に沿って、または任意選択的に対角線に沿って、上記方程式に対する滑らかな解の選好を追加し、低位の二次導関数を有する。
この正則化項は、様々なビデオエンティティからのデータの特性に応じて、任意選択的にビデオデータ（または画像のシーケンス）の一次または二次導関数に応じて、任意選択的に少なくとも一つの重みで加重することができる。この重みは任意選択的に、画像のシーケンスの多数の源から、例えばビデオデータの多数の源からのデータに応じて決定することができる。方程式を反復的に解く場合、重みは任意選択的に前の反復から決定することができる。
超解像は任意選択的に、コントラストの光学特性に関して行なうこともできる。そのような超解像では、色解像度、グレースケール解像度、ダイナミックレンジ等をはじめ、それらに限らず、空間−時間ビジュアルエンティティの多数の特性が改善され、あるいは整列される。例えば、コントラストは任意選択的に、ダイナミックレンジを調整することによって調整される。次に、ダイナミックレンジは任意選択的に、一画素当たりのビット数を増加することによって調整することができる。
方程式を反復的に解く場合、重みは前の反復から決定することができる。
本発明の原理および動作は、図面および随伴する説明を参照することによっていっそうよく理解することができる。
図面を参照すると、図１ａは、本発明に係る例示的システムの系統図であり、多数の、少なくとも二台の低解像度ビデオカメラ１００がケーブル１０６を解して例示的記録装置１１１に接続されている。装置１１１は任意選択的に、かつ好ましくは、プロセッサ１１０、メモリ１１４、および例示的長期格納媒体１１２を含み、そのうちの後者は、いかようにも限定の意図無く、テープによって示されている。該システムは、実際の空間−時間シーン１０４の事象を記録する。
図１ｂでは、少なくとも二台の低解像度ビデオカメラ１００のうちの一台が、カメラ１００の関連コンポーネント内にシーン１０４の表現のデータを表示するように拡大されている。シーン１０４を記録することから得られたデータは、色、明るさ、および空間−時間グリッド上の位置および時間（ｘ，ｙ，ｔ）をはじめとする多数の特性を各々有する画素（ピクセル１０２）の三次元シーケンス１０５として、ビデオカメラ１００の装置内に捕捉される。図１ｂでは、図１ａからのシーン１０４の連続空間−時間ボリュームが、空間的および時間的に異なるブロックに離散化される。すなわち、ビデオフレームピクセルの強度値によって表わされる離散統一空間−時間ブロックに切断される。これらの離散ブロックは時間的および空間的に矩形である。すなわち、それらは固定境界と、サンプリングレート（一秒当たりのフレーム数）に従ってそれらが変化する特定の瞬間とを有し、したがってシーン１０４の記録のデータの離散化と記述される。本発明は、最終結果の現実感を改善するために、これらの離散化ブロックをシーン１０４のより小さく、より正確、かつより高い周波数の離散化に整形するシステムおよび方法に関する。
図３に、領域１３０の二つの新しい離散を示す。持続時間１３４を同様の持続時間にマッピングする代わりに、持続時間１３４は、明らかに非常に異なる持続時間１３８および１４２にマッピングされる。同じことが、空間のｘおよびｙサイズにも行なわれる。それらは非互換性のｘおよびｙグリッド１４４および１４６にマッピングされ、処理しなければならない可視のサブピクセルサイズのサンプル領域１４８が残る。高解像度ピクセル１３６／１４０も示される。
二つの入力シーケンスＴｉ＝１の間の空間−時間座標変換の必要性は、二台またはそれ以上のカメラの異なるセッティングの結果である。二つまたはそれ以上のシーケンス間の時間ミスアラインメントは、例えばカメラが同時に起動されなかったため、それらが異なるフレームレート（例えばＰＡＬおよびＮＴＳＣ）、異なる内部および外部校正パラメータ等を持つために、それらの間に時間ずれまたはオフセットがある場合に発生する。カメラのこれらの異なる機能特性は、結果的に時間ミスアラインメントを生じることがある。シーケンス間の時間ミスアラインメントは任意選択的に、同期ハードウェアの使用によって制御することができる。そのようなハードウェアは好ましくはカメラの多数の画像のシーケンスのサンプリング時間の間の位相シフトを実行することができ、時間超解像を実行するために必要である。
本発明の好適な実施形態では、そのような時間ミスアラインメントは、最も好ましくはサブフレーム時間単位で、時間の一次元アフィン変換によって、すなわち計算を主として点間のベクトルに対して実行し、点自体に対してはまばらに実行し、モデル化することができる。カメラの中心が好適に近くに集まっている場合、またはシーンが平面的である場合、空間変換は任意選択的に、標準画像アラインメント技術では基本的要件であるコヒーレントな外観の必要性を、任意選択的により容易に満たすことができるコヒーレントな時間挙動の要件に置き換えることによって可能になる、シーケンス間に共通の空間情報が無い場合でも二つのシーケンスの空間および時間アラインメントを可能にする手法、カメラ間ホモグラフィによってモデル化することができる。
図４は、時空超解像に影響する方程式１の使用時のステップを示す。図４ａに示す通り、段階１で、低解像度ビデオストリームが生成される。段階１０で解かれる線形方程式１を段階３で構築し始めるために、段階２で、ピクセルの光学濃度（レンズおよびセンサの光学特性によって誘導される点広がり関数）および様々な源の露光時間が測定され、あるいは外部からインポートされる。線形方程式の構築における選択肢について図４ｂで論じ、解の選択肢については図４ｄおよび４ｅで論じる。
本発明の好適な実施形態では、段階２で点広がり関数によって生じる空間的ブラーの典型的な支持体は数ピクセルであり（σ＞１ピクセル）、露光時間は通常単一フレームより小さい（Ｔ＜フレーム時間）。したがって本発明は、全ての入力カメラが同一フレームレートおよび露光時間を有する非限定の例示的事例で、追加的ブラーを生じる危険を冒さないために、出力時間サンプリングレートを少なくとも１／［（入力フレームレート）＊（入力露光時間）］だけ増加しなければならない。
方向性正則化（段階９）は任意選択的に、ｘ，ｙ，ｔ方向から、Ｌｉを使用して表わすこともできる幾つかの他の空間−時間対角線に延長することができ、それにより、動き推定を適用する必要なく、小中の動きの改善された処理が可能になる。正則化演算子（現在低位の二次導関数カーネルである）は、不均一に分散された低解像度データからの高解像度画像の推定を改善するために、任意選択的に変形することができる。低解像度は撮像プロセスの限界の結果生じることに注目されたい。低解像度からの時間および空間のこの解像度低下は任意選択的に、かつ好ましくは、低位の既知のカーネルによる畳み込みによってモデル化される。また、空間の空間解像度低下は任意選択的に（追加的に、または代替的に）、点広がり関数によってモデル化される。段階９の任意選択的正則化は、少なくとも、方程式の数より多くの未知の変数（未知数）が方程式系に存在するときに、実行することが好ましい。
段階５で、空間および時間増加係数が選択され、その後、段階６で、要求される出力の座標が選択される。
本発明の好適な実施形態では、異なるカメラの測光反応に差異が見られる場合には、システムは追加前処理段階７を追加することが好ましい。全ての低解像度シーケンスに対し方程式１における関係の一貫性を保証するために、この任意選択的段階は結果的に、二つまたはそれ以上の低解像度シーケンスのヒストグラム等化をもたらす。任意選択的ヒストグラム等化の後に、段階３のアルゴリズムは、出力高解像度シーケンスにおける入力カメラ間の残留局所色差を平坦化する。
段階８で、任意選択的な動きに基づく補間が（およびおそらく動きに基づく正則化も）実行される。この選択肢は、高速物体の動きの場合にのみ使用することが好ましい。方程式１の時間的離散（段階３）の背後にある暗黙の前提は、（各低解像度ピクセルの空間−時間近傍の）グレーレベルの補間によって、低解像度シーケンスを高解像度シーケンスから補間することができることである。物体の動きが（グレーレベルエイリアシングがあるほど）高解像度フレームレートより高速である場合、「動きに基づく」補間をアルゴリズムに使用することが好ましい（段階８）。この場合、低解像度シーケンスの隣接フレーム間の物体の動きが計算される。次いで、「新しい」入力フレームが、動き推定を使用して、低解像度フレームから補間（ワープ）される。高解像度フレームからの補間によって、「新しい」フレームが高解像度フレームのタイムスロットに生成されるので、グレーレベルエイリアシングはほとんどまたは全く無い。次いで、新しいフレームに対し方程式１が構築される。任意選択的に従来の方法と一緒に適用することができる、別の任意選択的方法は、「動きに基づく正則化」を含む。ｘ，ｙ，ｚ軸および／または空間−時間対角線に沿って平坦化するのではなく、正則化は動き推定（またはオプチカルフロー推定）を使用して適用される。したがって平坦化は、物体の動きの方向に（かつ静的物体／背景の時間軸に沿って）実行される。
任意選択的に、段階９で、正則化が実行される。任意選択的正則化の様々な可能性および選択肢については、図４ｃに関連して論じる。説明した通り、段階１０で、方程式が全体的に、または段階１１でブロック緩和によって解かれ、段階１２で出力ストリームが生成される。方程式の解については図４ｄでさらに詳述し、ブロック緩和のプロセスについては図４ｅで詳述する。
今、図４ｃに目を向けると、段階３の方程式構築の一般的方法の代わりに、段階１０で方程式を解く前に実行することができる系の任意選択的正則化が示されている。
本発明の好適な実施形態では、物理的に有意義な離散的空間−時間正則化の適用にいっそうの柔軟性をもたらす追加的時間次元の結果、二台またはそれ以上の低解像度ビデオカメラが任意選択的に冗長データを生成することができる。したがって、高い空間解像度（顕著な特殊機能）を持つが、動きがほとんど無い領域では、空間−時間解像度を低下することなく、任意選択的に強い時間正則化を適用することができる。同様に、高速の動的変化があるが、空間解像度の低い領域では、空間−時間解像度を低下することなく、任意選択的に強い空間正則化を使用することができ。それにより、画像に基づく超解像と画像に基づく正則化によって得られるより高い空間−時間解像度の回復がもたらされる。
本発明の最も好適な実施形態では、正則化は任意選択的に、段階２０で計算された最も近い低解像度データ点からのその距離に応じて、各高解像度点に個別に行なわれる段階２０の加重Ｗｉを含むことができ、それにより、低解像度点１０２に収斂する高解像度点１２０が主として画像化方程式によって影響されることが可能になる一方、遠い点は任意選択的に正則化によってより大きく制御される。空間および時間正則化間のトレードオフおよび正則化の大域的量は、異なる大域的加重λｉによって適用することができる（段階１９）。ここで、
もまた、ノイズの自動相関行列の逆数である誤差行列Ｎを介して、空間−時間座標変換の未知の誤差を利用することができ、それにより、空間−時間正則化行列が計算されるときに（段階２０）、それらの測定位置に高い不確実性を持つ低解像度シーケンスの空間−時間点には、方程式系で任意選択的により低い加重が割り当てられる。
本発明の別の実施形態では、二台またはそれ以上のビデオカメラは、空間−時間ボリュームまたはその一部分だけのいずれかの解像度の所望の改善に対して、台数が不十分である。その場合、上記方程式系の解は任意選択的に、かつ好ましくは、段階２０で任意選択的に方向性空間−時間正則化項を加えることによって追加の数値安定性が提供され、それは、導関数が低位であり、空間−時間エッジにまたがって平滑化せず（すなわち高解像度画素１３６／１４０にまたがって平滑化しようとしない）、かつ前述の通り時間的ブラーの矩形の形状によって生じるリンギング効果を制御する場合に、情報が不充分な空間−時間領域の解Ｓｈに平滑性を与える。本発明はしたがって任意選択的に、次の誤差項：
上記最適化は大きい次元を持つことがあり、図４でに概説する解法で解かれる骨の折れる計算問題をもたらすことがある。
本発明の代替実施形態では、方程式は任意選択的に不正確であることを想定しており、段階２０（図４ｃ）で右辺にランダム変数ノイズ（誤差）項が追加される。この任意選択的形式主義は、任意選択的に誤差項が独立かつ同一（ｉ．ｉ．ｄ．）であり、ガウス分布（Ｎ（ｏ，σ２））を有することを想定して、超解像の問題に古典的復元問題モデルの形を与える。ここで解は、事実上、正則化項のない
である（段階１０、方程式３）。
図４ｄに目を向けると、段階１０の様々な解が示されており、それに従って最適な有効解が得られる方法を選択することが好ましい。
行列Ａがまばらかつ局所的である（すなわち非零エントリが幾つかの対角線に閉じ込められる）場合、系は任意選択的に、かつ最も好ましくは、全計算法ではなく、段階１２のボックス緩和法（図４ｅにより詳細に示す）、または他の高速数値法アルゴリズムを使用して解かれる。ボックス緩和技術は任意選択的に、多くの他の解法と共に使用することもできる。
任意選択的に、高解像度の未知のシーケンスは、方程式３を高解像度シーケンスのＭＡＰ（最大アポステリオリ）推定量（段階２３）として示すランダムプロセス（非零平均ベクトルおよび自動相関行列を持つガウスランダムベクトル）であると想定することができる。この好適な手法は、正則化の形の出力高解像度シーケンスの局所的適応形事前知識を利用する。それはおそらく出力の自動相関行列に接続され、次の通り前項を介して外部から制御可能である。
段階１１の出力シーケンスはまた任意選択的に、ＩＢＰ（段階２１）（Ｍ．ＩｒａｎｉおよびＳ．Ｐｅｌｅｇ「Ｉｍｐｒｏｖｉｎｇ ｒｅｓｏｌｕｔｉｎ ｂｙ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ」ＣＶＧＩＰ：ＧＭ，５３：２３１｛２３９，１９９１年５月｝）、ＰＯＣＳ（段階２２）（Ａ．Ｊ．Ｐａｔｔｉ、 Ｍ．Ｉ．Ｓｅｚｅｎ、およびＡ．Ｍ．Ｔｅｋａｌｐ「Ｓｕｐｅｒｒｅｓｏｌｕｔｉｏｎ ｖｉｄｅｏ ｒｅｃｏｓｔｒｕｃｔｉｏｎ ｗｉｔｈ ａｒｂｉｔｒａｒｙ ｓａｍｐｌｉｎｇ ｌａｔｔｉｃｅｓ ａｎｄ ｎｏｎｚｅｒｏａｐｅｒｔｕｒｅ ｔｉｍｅ」ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、第６巻１０６４頁｛１０７６，１９９７年８月｝）、および例えばＳ．ＢｏｒｍａｎおよびＲ．Ｓｔｅｖｅｎｓｏｎ「Ｓｐａｔｉａｌ ｒｅｓｏｌｕｔｉｏｎ ｅｎｈａｎｃｅｍｅｎｔ ｏｆ ｌｏｗ−ｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ｓｅｑｕｅｎｃｅｓ−ａ ｃｏｍｐｒｅｈｅｎｓｉｖｅ ｒｅｖｉｅｗ ｗｉｔｈ ｄｉｒｅｃｔｉｏｎｓ ｆｏｒ ｆｕｔｕｒｅ ｒｅｓｅａｒｃｈ」Ｔｅｃｈｎｉｃａｌ ｒｅｐｏｒｔ、ノートルダム大学、画像信号解析研究所（ＬＩＳＡ）、ノートルダム、１９９８年７月）に記載されているような他の方法によって計算することもできる。
段階２５で、方程式は、好ましくは反復最小二乗誤差最小化と正則化を使用することによって解かれる（正則化については段階９に関連して記述した）。好ましい反復法は「共役勾配法」であるが、「最急降下法」、「ヤコビ法」、「ガウス−サイデル法」、または他の公知の反復法（例えばＲ．Ｌ．ＬａｇｅｎｄｉｊｋおよびＪ．Ｂｉｅｍｏｎｄ「Ｉｔｅｒａｔｉｖｅ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ａｎｄ Ｒｅｓｔｏｒａｔｉｏｎ ｏｆ Ｉｍａｇｅｓ」Ｋｌｕｗｅｒ Ａｃａｄｅｍｉｃ Ｐｕｂｌｉｓｈｅｒｓ，Ｂｓｔｏｎ／Ｄｏｒｄｒｅｃｈｔ／Ｌｏｎｄｏｎ，１９９１を参照されたい）のような他の標準的方法を任意選択的に使用することができる。
図４ｅは、今日利用可能なプロセッサの制約内でその巨大な次元を克服するために、全計算法ではなく、方程式系を解くために使用される高速計算法である、「ボックス緩和」の方法（全体的に段階１２に示す）のフローチャートである（例えばＵ．Ｔｒｏｔｔｅｎｂｅｒ、Ｃ．ＯｏｓｔｅｒｌｅｅおよびＡ．Ｓｃｈｕｌｌｅｒ「Ｍｕｌｔｉｇｒｉｄ」Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ，２０００を参照されたい）。段階２６で、高解像度シーケンスは、例えば二つのフレームのサイズ７×７×１０ピクセルの小さい空間−時間ボックスに分割される。段階２７で、これらの小ボックスの各々の周囲の重複サイズが選択される。それは例えばブラーカーネルサイズの少なくとも半分であることが好ましい。段階２８で、ボックスを解く順序が、任意選択的に次の順序：すなわちＸ−＞Ｙ−＞Ｔに従って選択され、それによって数フレーム幅の時間「スライス」が解かれる。ここで各「スライス」のブロック順序は「行単位」である。
段階２９で、段階３０〜３３に続く反復処理の基礎を形成する初期高解像度シーケンスが、入力から生成される。このプロセスで、好ましくは段階２５の反復法を使用することによって、または任意選択的に直接行列反転（各ボックスの未知数の数が少数であるため可能である）によって、各重複ボックスが段階３０で解かれる。ステップ３１で解に達し、段階３２で残留誤差が測定される。段階３３で、次の反復の基礎として前の解を使用して、解法が反復される。
これは、任意選択的に残留誤差が予め定められた値未満になるまで、または所定の反復回数だけ、または選択されたいずれかの他の制約条件に従って、計算が段階３４で終了して、超解像出力シーケンスが段階１１で得られるまで、続けることができる。
図５で、追加の例として、何ら限定の意図なく、ビデオカメラ１００を使用して動的シーン１０４を記録するシステムを今提示する。本発明の好適な実施形態では、空間サンプリングレートだけをｘおよびｙで√８に増加するか、または時間フレームレートだけを８倍に増加するか、または両方を任意に組合せて、例えばサンプリングレートを三つの次元の全てで２倍に増加することができる。標準空間超解像では、画像ピクセルのアスペクト比を維持し、かつ歪んで見える画像を防止するために、サンプリングレートの増加は、全ての空間次元で等しいことが最も好ましい一方、空間および時間次元の増加は異なることができる。空間−時間正則化を使用する場合、これらの因子は任意選択的に増加することができるが、時間および空間の増加間の固有のトレードオフは残る。
今、図６に目を向けると、本発明に係る系統図が示されており、システムは同期シーケンスを格納する容量を持つ。本発明の追加の好適な実施形態では、脱モーションブラーの品質を高め、モーションエイリアシングを解消するために、二台またはそれ以上の低解像度カメラ１００からの入力シーケンスの時間超解像は、様々なカメラのサブフレームシフトを時間的に等間隔に配置することによって最適化される。これは任意選択的に、マスタ同期入力から信号を受け取るバイナリカウンタ１１６を使用し、それによりバイナリカウンタが、マスタ入力信号のビデオライン（または水平同期信号）を計数し、かつ図示するようにこれらのカメラを起動させる「ＥＰＲＯＭ」を任意選択的に使用して、各カメラの専用信号を送信することによって、幾つかの一様に拡散した同期信号を生成することによって実現され、あるいは任意選択的に、電子工学の技術分野で周知の原理に従って電子ハードウェアおよびソフトウェアの任意の組合せを使用して実現される。
本発明の別の好適な実施形態では、空間解像度の改善だけを希望する極端な場合、全ての画像が厳密に同時に撮影され、したがって時間解像度が改善されず、最適空間解像度が達成されるように、二台またはそれ以上のカメラ１００を同期させることが最も好ましい。
図７ａは、異なる空間−時間入力を持つシステムを提示する。低空間解像度ビデオカメラ１００（高い時間解像度を持つ）に加えて、今や、シーンの静止画像（非常に低いか零の時間解像度を持つ）を捕捉する、追加の高空間解像度スチルカメラ１１８もある。そのような静止画像は任意選択的に、連続的にではなく、時々、または周期的に捕捉する。
図７ｂは、低解像度カメラのピクセル１０２と高解像度カメラのピクセル１０２／１０３との間のサイズの相違を示す。シーン１０４からのデータは、カメラ１１８では平坦な単一のビットマップ画像として表示される一方、ビデオカメラ１００では、このデータは時間周波数を表わす層を有する。これらの源は異なる露光時間を持つこともできる。本発明に係る方法を使用して両方のデータ源からの情報を結合することによって、空間解像度がビデオ源に比較して向上し（フレームサイズは静止画像源と同じ）、かつ時間解像度が静止画像源より高い（フレームレートはビデオ源と同じ）新しいビデオシーケンスを形成することができる。各種の源を二つ以上使用することによって、出力ビデオの空間および／または時間解像度は、源のいずれかの（空間および／または時間の）最高解像度を越えることもできる（「真の超解像」）。
図８Ａは、本発明の好適な実施形態に係る合同光学系を持つ単一カメラの系統図である。光は、グローバルレンズとして働き全ての検出器に影響を及ぼす入力レンズ１５０を通して、カメラ１００に入射する。レンズ１５０を通して入射した光はビームスプリッタ１５１に達し、それは光を様々なセンサ１５３の間に分配するが、それらのセンサのうちの二つが非限定例として図示されている。各センサ１５３は、必要に応じて焦点または彩色または点広がり関数に影響を及ぼすために、それ自体のレンズまたはフィルタ１５２を持つことがある。センサ１５３は任意選択的に、同期装置１５４によって時間的同期することができ、または空間的に相互にオフセットすることができ、または両方とすることができ、あるいは異なる空間解像度とすることができる。センサ１５３は光を電子情報に変換し、それはマイクロチップ／デジタルプロセッサ１５５に運ばれ、それは上の図で概説したアルゴリズムに従ってセンサからの入力を結合して、改善された出力ストリームにする。
図８Ａ〜Ｆの全てに示す通り、一つまたはそれ以上の対応する検出器１５３の組によって捕捉される各画像フレームの露光時間の持続時間は、露光時間２００として示される。下の軸は時間軸上の検出器１５３の動作の射影であり、右の軸は空間軸の射影である。
カメラ１００は任意選択的にアナログカメラ（図示せず）とすることもできることに気付かれるであろう。アナログの場合、カメラは発振器、またはメモリ無しの集積回路を装備することができる。そうするとアナログ信号は本発明の好適な実施形態に従って結合されて、超解像に影響を及ぼす。図８Ｂ〜Ｆは、検出器１５３の非限定的な例証としての構成例およびそれらの出力ストリームに対する作用を示す。これらの構成は模範的な単一カメラの実施形態の一環として提示するが、これらの同じ構成の検出器を複数のカメラの間に配置することができることを念頭に置かれたい。これらの構成はまた任意選択的に、適切な空間―時間ミスアラインメント状態の多数の検出器を有する単一画像アレイセンサ（例えば電荷結合素子（ＣＣＤ）、相補形金属酸化膜半導体（ＣＭＯＳ）、ＣＭＯＳ「アクティブピクセル」センサ（ＡＰＳ）、半導体に基づく近／中／遠赤外線センサ（ＩＲ）（例えばＩｎＳｂ、ＰｔＳｉ、Ｓｉ、Ｇｅ、ＧａＡｓ、ＩｎＰ、ＧａＰ、ＧａＳｂ、ＩｎＡｓおよびその他）、紫外線（ＵＶ）センサ、および／またはいずれかの他の適切な撮像センサ）でも実現することができる。単一検出器（ピクセル）または一組の検出器の露光時間（およびダイナミックレンジ）を制御する能力は、文献および産業界ですでに示されている（例えば、Ｏ．Ｙａｄｉｄ−Ｐｅｃｈｔ、Ｂ．Ｐａｉｎ、Ｃ．Ｓｔａｌｌｅｒ、Ｃ．Ｃｌａｒｋ、Ｅ．Ｆｏｓｓｕｍの「ＣＭＯＳ ａｃｔｉｖｅ ｐｉｘｅｌ ｓｅｎｓｏｒ ｓｔａｒ ｔｒａｃｋｅｒ ｗｉｔｈ ｒｅｇｉｎａｌ ｅｌｅｃｔｒｏｎｉｃ ｓｈｕｔｔｅｒ（ｈｔｔｐ：／／ｗｗｗ．ｅｅ．ｂｇｕ．ａｃ．ｊｌ／〜Ｏｒｌｙ ｌａｂ／ｐｕｂｌｉｃａｔｉｏｎｓ／ＣＭＯＳ ａｃｔｉｖｅ ｐｉｘｅｌ ｓｅｎｓｏｒ ｓｔａｒ ｔｒａｃｋｅｒ ｗｉｔｈ ｒｅｇｉｏｎａｌ ｅｌｅｃｔｒｏｎｉｃｓ ｓｈｕｔｔｅｒ．ｐｄｆ）」、ＩＥＥＥ Ｊ．Ｓｏｌｉｄ Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ第３２巻第２号２８５〜２８８頁、１９９７年２月；およびＯ．Ｙａｄｉｄ−Ｐｅｃｈｔの「Ｗｉｄｅ ｄｙｎａｍｉｃ ｒａｎｇｅ ｓｅｎｓｏｒｓ（ｈｔｔｐ：／／ｗｗｗ．ｅｅ．ｂｇｕ．ａｃ．ｊｌ／〜Ｏｒｌｙ ｌａｂ／ｐｕｂｌｉｃａｔｉｏｎｓ／ＷＤＲ ｍａａｍａｒ．ｐｄｆ）」、Ｏｐｔｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ第３８巻第１０号１６５０〜１６６０頁、１０００年１０月を参照されたい）。「多重解像度」センサ付きカメラも学術文献および産業界の両方で公知である（例えば、Ｆ．Ｓａｆｆｉｈ、Ｒ．Ｈｏｒｎｓｅｙ（２００２）の「Ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ ＣＭＯＳ ｉｍａｇｅ ｓｅｎｓｏｒ（ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｙｏｒｋｕ．ｃａ／〜ｈｏｒｎｓｅｙ／ｐｄｆ／ＯＰＴＯ−Ｃａｎａｄａ０２Ｍｕｌｔｉｒｅｓ．ｐｄｆ）」、Ｔｅｃｈｎｉｃａｌ Ｄｉｇｅｓｔ ｏｆ ＳＰＩＥ Ｏｐｔｏ−Ｃａｎａｄａ ２００２、カナダ国オンタリオ州オタワ２００２年５月９〜１０日４２５頁；Ｓ．Ｅ．Ｋｅｍｅｎｙ、Ｒ．Ｐａｎｉｃａｃｃｉ、Ｂ．Ｐａｉｎ、Ｌ．Ｍａｔｔｈｉｅｓ、およびＥ．ＲＦｏｓｓｕｍ「Ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ｓｅｎｓｏｒ」、ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ第７巻（４）、５７５〜５８３頁、１９９７年；および２００２年１２月１１日現在のｈｔｔｐ：／／ｉｒｉｓ．ｕｓｃ．ｅｄｕ／Ｖｉｓｉｏｎ−Ｎｏｔｅｓ／ｂｉｂｌｉｏｇｒａｐｈｙ／ｃｏｍｐｕｔｅ６５．ｈｔｍｌをも参照されたい）。そのようなセンサを持つ製品に関する情報は任意選択的に、２００２年１２月１１日現在でｈｔｔｐ：／／ｗｗｗ．ａｆｒｌｈｏｒｉｚｏｎｓ．ｃｏｍ／Ｂｒｉｅｆｓ／０００９／ＭＮ０００１．ｈｔｍｌ（Ｃｏｍｐｔｅｋ Ａｍｈｅｒｓｔ Ｓｙｓｔｅｍｓ，Ｉｎｃ．）および２００２年１２月１１日現在でｈｔｔｐ：；；ｍｉｓｈｋｉｎ．ｊｐｌ．ｎａｓａ．ｇｏｖ／ｅｓｍｔｐａｇｅｓ／ＡＰＳ／ｓｔａｔｕｓ／ａｐｓ ｍｕｌｔｉｒｅｓ．ｈｔｍｌ（ＮＡＳＡ）に見出すことができる。これらの文献は、いかようにも限定の意図なく、単なる情報として掲げたものであることに留意されたい。
これらのセンサは幾つかの解像度モード間で切り替えることができ、最高解像度の場合、映像フレームレートは最低であり、最低解像度モードの場合（部分ピクセルセットだけが起動されるか、あるいは検出器はブロック群で平均される）、より高速のビデオフレームレートが可能である。
図８Ｂは、同一空間―時間解像度を持つ検出器１５３のシステムを示す。すなわち、露光時間２００は図示する通りｘ、ｙ、および時間次元で同一サイズであるが、これらの次元でオフセットされる。これらの検出器１５３はおそらく空間的にかつ／または時間的にずらされる。この構成は、同一の入力解像度を持つ複数のカメラを時間および／または空間超解像のために結合する、全ての用途に適している。
図８Ｃは、様々な空間―時間解像度センサを持つシステムを示す。
この構成は、異なる解像度を持つ検出器１５３からの情報を結合する用途に適している。検出器１５３の異なるサイズはｘ−ｙ平面のみならず時間的にもはっきりと見て取ることができ、ここで露光時間２００の数はそれらの周波数を示す。そして、この構成は、可変の空間―時間入力を持つ図７に示したシステムと同様の機能性を示す。
図８Ｄは、ｘ−ｙ平面には異なる空間解像度を持つが、時間平面には時間的重複が無い検出器１５３を持つシステムを示す。高い空間解像度および低い時間解像度を持つ検出器１５３源、および高い時間解像度および低い空間解像度を持つ検出器１５３源は任意選択的に、異なる露光時間２００を持つ単一のセンサに結合することができる。異なる検出器セットは、右側の図の異なる色ドットで示される。検出器の粗なセット（赤色）は、再び図７のビデオカメラのように、高い時間解像度および低い空間解像度を持ち、密なセット（青の検出器）は、機能的に図７に関して概説したスチルカメラと同様に、高い空間解像度および低い時間解像度を持つ。
図８ｅは、同一の空間―時間解像度を持ち、ｘ−ｙ平面で空間的にシフトし、重複する露光を持つ検出器１５３セットを持つシステムを示す。四色検出器１５３セットは、ｘ−ｙ平面に同一空間解像度を持つ２＊２ブロックに配設され、時間的露光は重複している。この構成は、シーンの少なくとも静的領域に「全」空間解像（密なグリッド）を達成しながら、時間超解像を可能にする。これらの重複露光は、比較的暗いシーンを効果的に捕捉して、出力のモーションブラーを低減するのに最も良く適している。
図８ｆは、異なる空間−時間解像度を持つ検出器１５３セットを持ち、一部のセットがｘ−ｙ平面で空間的にシフトし、一部のセットが時間平面で重なり合う露光を持つシステムを示す。これは事実上前の二つの構成の組合せであり、赤、黄、および緑色検出器１５３は低い空間解像度であり、露光が重なり合い、青色検出器は高い空間解像度であり、露光の重なりは無く、おそらく他とは異なる露光を持つ。
単一カメラは任意選択的に、より多くの利点を得るために、かつカラービデオの異なる処理のために、「不規則サンプリング」センサ（８ｄ〜８ｆ）の幾つかおよび「規則的」センサの組合せを持つこともできる。すなわち、各色帯域は任意選択的に、異なるセンサによって、または同一センサ内の異なる検出器セットによって、独立して処理することができる。例えば、Ｇ帯域は最も重要であり、したがってＲおよびＢ帯域より高い空間解像度（より密な検出器グリッドまたはより多くの検出器）を使用することが好ましいことが知られている。
本発明を限定数の実施形態に関して説明したが、本発明の多くの変形、変更、および他の応用を実行することができることは理解されるであろう。
本発明に係る例示的システムの系統図。 本発明に係る例示的システムの系統図。 本発明に係る例示的システムの略ブロック図。 本発明に係る例示的システムの代替的略ブロック図。 本発明に係る例示的システムの代替的略ブロック図。 本発明に係る提示実施形態のフローチャート。 本発明に係る提示実施形態のフローチャート。 本発明に係る提示実施形態のフローチャート。 本発明に係る提示実施形態のフローチャート。 本発明に係る提示実施形態のフローチャート。 ８台の低解像度カメラを持つ本発明に係る例示的システム。 カメラが同期する本発明に係る例示的システムの系統図。 異なる空間−時間入力を持つ本発明に係る例示的システムの系統図。 異なる空間−時間入力を持つ本発明に係る例示的システムの系統図。 本発明の好適な実施形態に係るマルチセンサカメラおよび／または単一センサの任意選択的構成を持つ単一カメラの例示的系統図。 本発明の好適な実施形態に係るマルチセンサカメラおよび／または単一センサの任意選択的構成を持つ単一カメラの例示的系統図。 本発明の好適な実施形態に係るマルチセンサカメラおよび／または単一センサの任意選択的構成を持つ単一カメラの例示的系統図。 本発明の好適な実施形態に係るマルチセンサカメラおよび／または単一センサの任意選択的構成を持つ単一カメラの例示的系統図。 本発明の好適な実施形態に係るマルチセンサカメラおよび／または単一センサの任意選択的構成を持つ単一カメラの例示的系統図。 本発明の好適な実施形態に係るマルチセンサカメラおよび／または単一センサの任意選択的構成を持つ単一カメラの例示的系統図。

Claims (116)

  1. 空間−時間ビジュアルエンティティの時間および／または空間の解像度の少なくとも一つのアスペクトを調整するための方法であって、
    複数の空間−時間ビジュアルエンティティを提供するステップと、
    前記複数の空間−時間ビジュアルエンティティからの情報を結合して前記解像度の少なくとも一つのアスペクトを調整するステップと、
    を含む方法。
  2. 前記複数の空間−時間ビジュアルエンティティの各々が、シーンの画像シーケンス、静止画像、ビジュアル検出器からのデータのストリーム、シーンのビデオデータ、またはそれらの組合せのうちの少なくとも一つを含む、請求項１に記載の方法。
  3. 前記複数の空間−時間ビジュアルエンティティの各々がシーンの画像シーケンスを含む、請求項２に記載の方法。
  4. 前記情報を結合して単一の画像シーケンスを形成する、請求項３に記載の方法。
  5. 前記解像度が、複数の低解像度の画像シーケンス源からの情報を結合して、高解像度の画像シーケンスを構築することによって、時間および空間の少なくとも一つで増加する、請求項２ないし４のいずれかに記載の方法。
  6. 前記低解像度の画像シーケンス源が異なる空間−時間解像度を特徴とする、請求項５に記載の方法。
  7. 前記低解像度の画像シーケンス源が、ＮＴＳＣ、ＰＡＬ、ＨＤＴＶ、ＳＥＣＡＭ、適切なビデオフォーマットまたは静止画像のうちの少なくとも二つからのビデオデータを含む、請求項６に記載の方法。
  8. 前記シーンのデータを得るために複数の画像カメラのシーケンスを提供する、請求項２ないし７のいずれかに記載の方法。
  9. 前記複数の画像シーケンスの源を提供する前記ステップが、
    前記複数の画像カメラのシーケンスの相対物理位置を得るステップ、
    をさらに含む、請求項８に記載の方法。
  10. 前記複数の画像シーケンスの源を提供する前記ステップが、
    前記複数の画像シーケンスの時間的関係を獲得するステップ、
    をさらに含む、請求項８に記載の方法。
  11. 前記時間解像度を高めるために多数の画像カメラのシーケンスを決定するステップ、
    をさらに含む、請求項１ないし１０に記載の方法。
  12. 前記相対物理位置を事前校正プロセスで獲得する、請求項９に記載の方法。
  13. 前記獲得ステップが、画像カメラのシーケンスの各対間のミスアラインメントを検出するステップ、および前記ミスアラインメントに対しミスアラインメント回復を実行するステップをさらに含む、請求項９ないし１０のいずれかに記載の方法。
  14. 少なくとも一シーケンスの画像カメラが複数の合同光学系を有する、請求項８ないし１３のいずれかに記載の方法。
  15. 少なくとも二シーケンスの画像カメラが合同光学系を共用する、請求項８ないし１３のいずれかに記載の方法。
  16. 前記複数の画像源のシーケンスを提供する前記ステップが、
    前記複数の画像シーケンスの相対的時間順序を得るステップ、
    をさらに含む、請求項８ないし１５のいずれかに記載の方法。
  17. 前記ミスアラインメントが少なくとも時間的ミスアラインメントを含み、前記ミスアラインメント回復が、
    前記複数の画像カメラのシーケンスを同期するための時間同期ハードウェアを提供するステップ、
    を含むようにした、請求項１３に記載の方法。
  18. 前記時間同期ハードウェアが前記複数の画像カメラのシーケンスのサンプリング時間の間の位相シフトを実行する、請求項１７に記載の方法。
  19. 前記ミスアラインメントが少なくとも時間的ミスアラインメントを含み、前記ミスアラインメント回復が、
    前記画像シーケンスから正確な時間的アラインメントを決定するステップ、
    を含むようにした、請求項１３に記載の方法。
  20. 前記解像度の調整が時間および空間の両方で行なわれる、請求項１ないし１９のいずれかに記載の方法。
  21. 前記解像度が時間または空間の一方でより大きく増加する、請求項１ないし２０のいずれかに記載の方法。
  22. 時間の解像度の増加が一つまたはそれ以上の空間アーチファクトを低減する、請求項１ないし２１のいずれかに記載の方法。
  23. 前記解像度の調整が少なくともコントラストを調整することによって行なわれる、請求項１ないし２２のいずれかに記載の方法。
  24. 前記コントラストが、色解像度またはグレースケール解像度の少なくとも一つを調整することによって調整される、請求項２３に記載の方法。
  25. 前記色解像度または前記グレースケール解像度の少なくとも一つが向上する、請求項２４に記載の方法。
  26. 前記コントラストが、ダイナミックレンジを調整することによって調整される、請求項２３に記載の方法。
  27. 前記コントラストの調整が、１画素当たりのビット数を増加することを含む、請求項２６に記載の方法。
  28. 前記ダイナミックレンジが向上する、前記請求項２７に記載の方法。
  29. 前記解像度の調整が超解像の達成を含む、請求項１ないし２８のいずれかに記載の方法。
  30. 超解像が高解像度周波数を再構築する能力を含み、前記高解像度周波数が前記複数の空間−時間ビジュアルエンティティのいずれでも表わされない、請求項２９に記載の方法。
  31. 超解像が空間超解像を含む、請求項２９または３０に記載の方法。
  32. 超解像が時間超解像を含む、請求項２９または３０に記載の方法。
  33. 前記時間超解像が、前記複数の空間−時間ビジュアルエンティティからモーションエイリアシングを解消することを含む、請求項３２に記載の方法。
  34. 前記時間超解像が、前記複数の空間−時間ビジュアルエンティティからモーションブラーを低減することを含む、請求項３２に記載の方法。
  35. 前記超解像が空間および時間の両方で実行される、請求項２９または３０のいずれかに記載の方法。
  36. 前記複数の空間−時間ビジュアルエンティティの各々が少なくとも一つのユニットを含み、各ユニットが複数のサブユニットを含み、前記複数の空間−時間ビジュアルエンティティがサブユニットレベルのミスアラインメントを生じ、前記情報がサブユニットミスアラインメントに応じて結合される、請求項１ないし３５のいずれかに記載の方法。
  37. 前記サブユニットミスアラインメントが空間または時間ミスアラインメントの少なくとも一つを含む、請求項３６に記載の方法。
  38. 前記サブユニットミスアラインメントが空間および時間ミスアラインメントの両方を含む、請求項３７に記載の方法。
  39. 前記サブユニットミスアラインメントが予め定められる、請求項３６ないし３８のいずれかに記載の方法。
  40. 前記複数の空間−時間エンティティが複数の画像データシーケンスの源を含み、データの画像のシーケンスの各源は、空間の第一関連サンプリングレートおよび時間の第二関連サンプリングレートを持ち、解像度が複数の前記空間の第一関連サンプリングレートおよび前記時間の第二関連サンプリングレートに従って増加する、請求項１ないし３９のいずれかに記載の方法。
  41. 前記複数の画像データシーケンスの源から前記情報を結合する前記ステップが、
    前記複数の画像データのシーケンスの源をより高解像度の画像データのシーケンスに変換するために、空間および時間の少なくとも一つに従って変換を決定するステップ、
    を含む、請求項４０に記載の方法。
  42. 前記高解像度の画像データのシーケンスが時間のサンプリングレートおよび空間のサンプリングレートを持つことによって特徴付けられ、前記時間のサンプリングレートおよび空間のサンプリングレートが前記複数の前記空間の第一関連サンプリングレートおよび前記時間の第二関連サンプリングレートの各々の最高値より高い、請求項４１に記載の方法。
  43. 前記高解像の画像データのシーケンスが時間のサンプリングレートおよび空間のサンプリングレートを持つことによって特徴付けられ、前記画像データのシーケンスの少なくとも一つにおける前記時間のサンプリングレートが、画像データの残りのシーケンスの各々の対応するレートより高く、前記画像データのシーケンスの少なくとも一つにおける前記時間のサンプリングレートが、高い時間サンプリングレートを持つ画像データのシーケンス以外の少なくとも一つのシーケンスの画像データの対応するレートより高い、請求項４１に記載の方法。
  44. 前記変換を決定する前記ステップが、
    前記複数の画像シーケンスの源の各々に対し空間座標および時間座標の少なくとも一つを決定するステップと、
    前記複数の画像シーケンスの源の各々に対する空間座標および時間座標の前記少なくとも一つの間のアラインメントを決定するステップと、
    を含む、請求項４１に記載の方法。
  45. 前記時間座標が前記複数の画像シーケンスの源の各々に対し決定され、前記変換が時間の一次元アフィン変換を含む、請求項４４に記載の方法。
  46. 前記空間座標が前記複数の画像シーケンスの源の各々に対し決定され、前記変換が二次元射影変換を含む、請求項４４に記載の方法。
  47. 前記空間座標が前記複数の画像シーケンスの源の各々に対し決定され、前記変換が、
    画像シーケンスの各源を得るために相対物理位置を回復するステップ、
    を含む、請求項４４に記載の方法。
  48. 画像シーケンスの各源がカメラから得られ、前記変換がさらに、
    各カメラに少なくとも一つの校正係数を決定するステップと、
    前記少なくとも一つの校正係数に従って前記空間座標を調整するステップと、
    を含む、請求項４６または４７のいずれかに記載の方法。
  49. 撮像プロセスの制限から結果的に低解像度が生じ、前記低解像度からの時間および空間の解像度の低下がカーネルの畳み込みによってモデル化される、請求項１ないし４４のいずれかに記載の方法。
  50. 前記カーネルが、前記複数の画像シーケンスの源からの前記データの別個部分に対し複数の領域カーネルを含む、請求項４９に記載の方法。
  51. 前記空間の解像度の低下が点広がり関数によってモデル化される、請求項５０に記載の方法。
  52. 前記空間点広がり関数が、前記複数の画像シーケンスの源の視野に沿って変化する、請求項５１に記載の方法。
  53. 前記複数の画像シーケンスの源の各々の畳み込みカーネルが既知である、請求項４９ないし５２のいずれかに記載の方法。
  54. 前記複数の画像シーケンスの源の各々の空間点広がり関数が、予め定められたヒューリスティックに従って近似される、請求項５１に記載の方法。
  55. 前記複数の画像シーケンスの源の各々の空間点広がり関数が、事前校正ステップで測定される、請求項５３に記載の方法。
  56. 前記複数の画像シーケンスの源の各々の空間点広がり関数が、実時間計算に従って近似される、請求項４９ないし５３のいずれかに記載の方法。
  57. 時間の解像度の低下が、時間点広がり関数として露光時間関数によってモデル化される、請求項４９に記載の方法。
  58. 前記複数の画像シーケンスの源の各々の時間広がり関数が既知である、請求項５７に記載の方法。
  59. 前記時間広がり関数が、前記複数の画像シーケンスの源の各々の露光時間を制御することによって決定される、請求項５７に記載の方法。
  60. 前記時間広がり関数が、前記複数の画像シーケンスの源の各々からのデータに従って近似される、請求項５７に記載の方法。
  61. 前記ビジュアル空間−時間エンティティが入力画像シーケンスであり、前記入力画像シーケンスと前記高解像度出力との間の関係が積分方程式として表わされ、前記方法が前記積分方程式を解くステップをさらに含む、請求項１ないし６０のいずれかに記載の方法。
  62. 前記積分方程式が、
    を含む、請求項６１に記載の方法。
  63. 前記関係が前記空間および時間変換ならびに前記時間および空間広がり関数の両方を含む、請求項６１に記載の方法。
  64. 前記ビジュアル空間−時間エンティティが複数の入力画像シーケンスを含み、前記積分方程式を解く前記ステップがさらに、請求項６１ないし６３のいずれかの方程式をシミュレートする一組の方程式を構築するステップと、前記方程式を解くステップとを含み、前記組の方程式の未知数が出力画像シーケンスを構成する、請求項１ないし６３のいずれかに記載の方法。
  65. 前記構築するステップが、入力画像シーケンスの源からの画素に対する空間−時間点広がり関数の近似化を実行することによって、前記複数の入力画像シーケンスの各々からのデータに対して実行される、請求項６４に記載の方法。
  66. 前記構築するステップが、前記複数の画像シーケンスの源の各々からのデータを単一座標系に変換し、かつ前記変換のための各源の空間−時間点広がり関数に均等または不均等近似化の一方を実行することによって、前記複数の画像シーケンスの源の各々からのデータに対して実行される、請求項６４ないし６５のいずれかに記載の方法。
  67. 均等または不均等近似化の反対が空間および時間に対して実行される、請求項６６に記載の方法。
  68. 前記複数の画像シーケンスの源からの前記情報を結合する前記ステップがさらに、
    一組の線形方程式：
  69. 前記方程式がさらに正則化項を含む、請求項６１ないし６８のいずれかに記載の方法。
  70. 前記正則化項が前記方程式の滑らかな解への選好を追加する、請求項６９に記載の方法。
  71. 前記選好が少なくとも主軸に沿った滑らかさとして表現される、請求項６９または７０のいずれかに記載の方法。
  72. 前記選好が滑らかさとして表現され、空間−時間対角方向に沿って実行される、請求項６９ないし７１のいずれかに記載の方法。
  73. 前記選好が低位二次導関数を持つものとして表現される、請求項６９ないし７２のいずれかに記載の方法。
  74. 前記正則化項が少なくとも一つの重みに従って加重される、請求項６９ないし７３のいずれかに記載の方法。
  75. 前記少なくとも一つの重みが前記複数の画像シーケンスの源からのデータに従って決定される、請求項７４に記載の方法。
  76. 前記方程式が反復的に解かれ、前記少なくとも一つの重みが前の反復から決定される、請求項７４に記載の方法。
  77. 前記少なくとも一つの重みが前記複数の画像シーケンスの源からのデータの一次または二次導関数または前の反復またはそれらの両方に従って決定される、請求項７４ないし７６のいずれかに記載の方法。
  78. 前記空間−時間正則化項がさらに、
    に従って方向性正則化項を含む、請求項６９ないし７７のいずれかに記載の方法。
  79. 画像シーケンスの時間解像度を高めることを含む、画像シーケンスの空間アーチファクトを処理するための方法。
  80. 複数のカメラから情報を得る、請求項７９に記載の方法。
  81. 各シーケンスがピクセルを含み、出力シーケンスのピクセルが入力シーケンスのピクセルより高い時間解像度を有する、請求項７９または８０のいずれかに記載の方法。
  82. 複数の画像シーケンスを捕捉した後、複数の画像シーケンスの時間解像度を高めることを含む、複数の画像シーケンスのモーションブラーを低減するための方法。
  83. 画像シーケンスの時間解像度を高めることを含む、画像シーケンスの誘発空間ブラーを低減するための方法。
  84. 増加した解像度の画像シーケンスを提供するためのカメラであって、
    （ａ）初期画像シーケンスを提供するための画像カメラのシーケンスと、
    （ｂ）静止画像データを提供するためのスチルカメラと、
    （ｃ）増加した解像度の画像シーケンスを提供するために前記静止画像データおよび前記初期画像シーケンスを積分するための積分器と、
    を含むカメラ。
  85. 前記スチルカメラが前記画像カメラのシーケンスに物理的に近接して配置される、請求項８４に記載のカメラ。
  86. 前記スチルカメラおよび前記画像カメラのシーケンスが、同一光学系を有する同一装置内に配置される、請求項８４に記載のカメラ。
  87. 前記静止画像および前記画像シーケンスが、同一画像センサアレイの異なるサンプリングパターンによって生成される、請求項８４に記載のカメラ。
  88. 前記積分器が、前記複数の画像シーケンスの各々からの信号を受け取るための計算装置と、前記信号からの情報を結合して解像度の少なくとも一つのアスペクトを調整することによって、前記信号の時間および空間の解像度の少なくとも一つのアスペクトを結合するためのスチルカメラとを含む、請求項８４に記載のカメラ。
  89. （ｄ）前記画像カメラのシーケンスおよび前記スチルカメラを収容するためのハウジング、
    をさらに含む、請求項８４ないし８８のいずれかに記載のカメラ。
  90. 前記積分器が合同光学積分器を含む、請求項８４ないし８７のいずれかに記載のカメラ。
  91. 前記積分器がチップを含む、請求項８４ないし８７のいずれかに記載のカメラ。
  92. 前記センサが時間または空間の少なくとも一つに異なる解像度を有する、請求項８４ないし９１のいずれかに記載のカメラ。
  93. 前記センサが少なくとも一つの異なる特性を持ち、前記異なる特性が空間サンプリングレート、空間点拡散機能、フレームレート、空間解像度、ダイナミックレンジ、および露光時間の少なくとも一つを含む、請求項８４ないし９２のいずれかに記載のカメラ。
  94. 前記複数のセンサの数が所望の解像度の増加に従って決定される、請求項８４ないし９４のいずれかに記載のカメラ。
  95. シャッタをさらに含み、前記シャッタが、画像シーケンスの時間解像度が様々なブラーを生じるようなシャッタ速度で開閉する、請求項８４ないし９４に記載のカメラ。
  96. 画像シーケンスの増加した解像度を提供するためのカメラシステムであって、
    （ａ）物理的に分離した複数のカメラと、
    （ｂ）前記信号からの情報を結合して解像度の少なくとも一つのアスペクトを調整することによって、前記複数のカメラの各々からの信号を受け取り、かつ前記信号の時間および／または空間の解像度の少なくとも一つのアスペクトを調整するための計算装置と、
    を含むシステム。
  97. 前記複数のカメラが同様の特性を有する複数の画像カメラのシーケンスを含む、請求項９６に記載のシステム。
  98. 前記同様の特性が空間解像度、フレームレート、および露光時間の少なくとも一つを含む、請求項９７に記載のシステム。
  99. 前記複数のカメラが少なくとも一つの異なる特性を有する複数の画像カメラのシーケンスを含む、請求項９６に記載のシステム。
  100. 前記少なくとも一つの異なる特性が、空間サンプリングレート、空間点広がり関数、フレームレート、空間解像度、ダイナミックレンジ、および露光時間の少なくとも一つを含む、請求項９９に記載のシステム。
  101. 前記複数の画像カメラのシーケンスが、異なるビデオフォーマットを持つ複数のビデオカメラを含む、請求項９６ないし１００のいずれかに記載のシステム。
  102. 前記複数のカメラが少なくとも一シーケンスの画像カメラおよび少なくとも一つのスチルカメラを含む、請求項９６に記載のシステム。
  103. 前記センサが時間または空間の少なくとも一つで異なる解像度を持つ、請求項９６ないし１０２のいずれかに記載のシステム。
  104. 前記センサが少なくとも一つの異なる特性を持ち、前記異なる特性が空間サンプリングレート、空間点広がり関数、フレームレート、空間解像度、ダイナミックレンジ、および露光時間の少なくとも一つを含む、請求項９６ないし１０３に記載のシステム。
  105. 前記複数のセンサの数が所望の解像度の増加に従って決定される、請求項９６ないし１０４に記載のシステム。
  106. シャッタをさらに含み、前記シャッタが、画像シーケンスの時間解像度が様々なブラーを生じるようなシャッタ速度で開閉する、請求項９６ないし１０５に記載のシステム。
  107. 増加した解像度の画像シーケンスを提供するためのカメラシステムであって、
    （ａ）視覚信号を捕捉するための複数のセンサと、
    （ｂ）前記視覚信号を積分するための積分器と、
    （ｃ）前記信号からの情報を結合して解像度の少なくとも一つのアスペクトを増加することによって、前記信号の時間および／または空間の解像度の少なくとも一つのアスペクトを増加するために、前記積分された信号を受け取るための計算装置と、
    を含むカメラシステム。
  108. 前記積分器が合同光学セットを含む、請求項１０７に記載のシステム。
  109. 前記合同光学セットがビームスプリッタを含む、請求項１０８に記載のシステム。
  110. 前記センサが異なる特性を有し、前記積分器がチップを含む、請求項１０７ないし１０９のいずれかに記載のシステム。
  111. 前記センサが、時間または空間の少なくとも一つでシフトされるデータを生成する、請求項１０７ないし１１０のいずれかに記載のシステム。
  112. 前記センサが時間または空間の少なくとも一つで異なる解像度を有する、請求項１０７ないし１１１のいずれかに記載のシステム。
  113. 前記センサが少なくとも一つの異なる特性を有し、前記異なる特性が空間サンプリングレート、空間点広がり関数、フレームレート、空間解像度、ダイナミックレンジ、および露光時間の少なくとも一つを含む、請求項１０７ないし１１２に記載のシステム。
  114. 前記複数のセンサが単一センサおよび複数の検出器として構成され、前記複数の検出器が時間または空間の少なくとも一つでシフトされる、請求項１０７ないし１１３に記載のシステム。
  115. 前記複数のセンサの数が所望の解像度の増加に従って決定される、請求項１０７に記載のシステム。
  116. シャッタをさらに含み、前記シャッタが、画像シーケンスの時間解像度が様々なブラーを生じるようなシャッタ速度で開閉する、請求項１０７に記載のシステム。
JP2003560847A 2001-12-26 2002-12-26 ビデオの空間または時間解像度を高めるためのシステムおよび方法 Pending JP2005515675A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US34212101P 2001-12-26 2001-12-26
PCT/IL2002/001039 WO2003060823A2 (en) 2001-12-26 2002-12-26 A system and method for increasing space or time resolution in video

Publications (2)

Publication Number Publication Date
JP2005515675A true JP2005515675A (ja) 2005-05-26
JP2005515675A5 JP2005515675A5 (ja) 2006-01-05

Family

ID=23340421

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003560847A Pending JP2005515675A (ja) 2001-12-26 2002-12-26 ビデオの空間または時間解像度を高めるためのシステムおよび方法

Country Status (5)

Country Link
US (1) US7428019B2 (ja)
EP (1) EP1491038A2 (ja)
JP (1) JP2005515675A (ja)
AU (1) AU2002366985A1 (ja)
WO (1) WO2003060823A2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008090730A1 (ja) * 2007-01-23 2008-07-31 Nikon Corporation 画像処理装置、電子カメラ、画像処理方法および画像処理プログラム
JP2008252640A (ja) * 2007-03-30 2008-10-16 Fujifilm Corp 動画転送システム及びテレビ会議システム
WO2009019824A1 (ja) 2007-08-07 2009-02-12 Panasonic Corporation 撮像処理装置および撮像装置、画像処理方法およびコンピュータプログラム
WO2009019823A1 (ja) 2007-08-07 2009-02-12 Panasonic Corporation 撮像処理装置および撮像装置、画像処理方法およびコンピュータプログラム
JP2009522825A (ja) * 2006-05-08 2009-06-11 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド シーンの画像におけるぶれを低減する方法及びシーンの画像のぶれを除去する方法
JP2011523485A (ja) * 2008-05-27 2011-08-11 ソニー エリクソン モバイル コミュニケーションズ， エービー 写真を生成するためのシステム及び方法
JP2014508455A (ja) * 2011-01-28 2014-04-03 コーニンクレッカ フィリップス エヌ ヴェ 動くオブジェクトの動きベクトルに基づく比較
JP5931302B2 (ja) * 2013-11-08 2016-06-08 三菱電機株式会社 アニメーション装置及びアニメーション方法
WO2017086156A1 (ja) * 2015-11-17 2017-05-26 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
KR20170120972A (ko) * 2016-04-22 2017-11-01 에스케이텔레콤 주식회사 네트워크 상에서 실시간 멀티미디어 서비스의 품질을 제어하는 방법 및 이를 위한 장치
KR101915302B1 (ko) * 2017-07-03 2018-11-06 건국대학교 산학협력단 증강된 해상도 데이터 생성 장치 및 방법
KR20200057834A (ko) * 2018-11-15 2020-05-27 (주)지와이네트웍스 딥러닝 기반 음영영상의 시공간적 특성 분석을 활용한 폭력검출 프레임워킹 방법
WO2021060445A1 (ja) * 2019-09-27 2021-04-01 国立大学法人大阪大学 画像処理装置、ニューラルネットワークおよび画像処理方法
KR20220058740A (ko) * 2020-10-30 2022-05-10 한국전자기술연구원 스캔을 이용한 로봇의 캘리브레이션 시스템 및 방법

Families Citing this family (137)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000028309A1 (en) * 1998-11-05 2000-05-18 Samsung Electronics Co., Ltd. Method for inspecting inferiority in shape
US7522186B2 (en) * 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
US7113885B2 (en) * 2004-08-25 2006-09-26 Microsoft Corporation Relative range camera calibration
US6993204B1 (en) * 2002-01-04 2006-01-31 Pixon Llc High speed signal enhancement using pixons
EP1372335B1 (en) * 2002-06-12 2005-03-09 STMicroelectronics S.r.l. Processing method for obtaining a high-resolution digital image
WO2004114648A2 (en) * 2003-06-19 2004-12-29 L-3 Communications Corporation Method and apparatus for providing a scalable multi-camera distributed video processing and visualization surveillance system
US8417055B2 (en) * 2007-03-05 2013-04-09 DigitalOptics Corporation Europe Limited Image processing method and apparatus
US9160897B2 (en) * 2007-06-14 2015-10-13 Fotonation Limited Fast motion estimation method
US8180173B2 (en) 2007-09-21 2012-05-15 DigitalOptics Corporation Europe Limited Flash artifact eye defect correction in blurred images using anisotropic blurring
US7636486B2 (en) * 2004-11-10 2009-12-22 Fotonation Ireland Ltd. Method of determining PSF using multiple instances of a nominally similar scene
US8199222B2 (en) * 2007-03-05 2012-06-12 DigitalOptics Corporation Europe Limited Low-light video frame enhancement
US8264576B2 (en) * 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
US7639889B2 (en) * 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method of notifying users regarding motion artifacts based on image analysis
US8989516B2 (en) * 2007-09-18 2015-03-24 Fotonation Limited Image processing method and apparatus
US7506267B2 (en) * 2003-12-23 2009-03-17 Intel Corporation Compose rate reduction for displays
JP2007531380A (ja) * 2004-03-23 2007-11-01 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート 量的表現を有する強化された関係モデルの構造並びに、これを適用したテレビエニータイムサービスシステム及び方法
US20050219642A1 (en) * 2004-03-30 2005-10-06 Masahiko Yachida Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
JP5062968B2 (ja) * 2004-08-11 2012-10-31 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7639888B2 (en) * 2004-11-10 2009-12-29 Fotonation Ireland Ltd. Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
US8666196B2 (en) * 2005-01-19 2014-03-04 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US8577184B2 (en) * 2005-01-19 2013-11-05 The United States Of America As Represented By The Secretary Of The Army System and method for super-resolution imaging from a sequence of color filter array (CFA) low-resolution images
US9325781B2 (en) 2005-01-31 2016-04-26 Invention Science Fund I, Llc Audio sharing
US9124729B2 (en) * 2005-01-31 2015-09-01 The Invention Science Fund I, Llc Shared image device synchronization or designation
US7920169B2 (en) * 2005-01-31 2011-04-05 Invention Science Fund I, Llc Proximity of shared image devices
US8606383B2 (en) 2005-01-31 2013-12-10 The Invention Science Fund I, Llc Audio sharing
US20060187228A1 (en) * 2005-01-31 2006-08-24 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Sharing including peripheral shared image device
US20060173972A1 (en) * 2005-01-31 2006-08-03 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Audio sharing
US9082456B2 (en) * 2005-01-31 2015-07-14 The Invention Science Fund I Llc Shared image device designation
US20070236505A1 (en) * 2005-01-31 2007-10-11 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Resampling of transformed shared image techniques
US20060187227A1 (en) * 2005-01-31 2006-08-24 Jung Edward K Storage aspects for imaging device
US20060174203A1 (en) * 2005-01-31 2006-08-03 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Viewfinder for shared image device
US9489717B2 (en) * 2005-01-31 2016-11-08 Invention Science Fund I, Llc Shared image device
US7876357B2 (en) * 2005-01-31 2011-01-25 The Invention Science Fund I, Llc Estimating shared image device operational capabilities or resources
US20060187230A1 (en) * 2005-01-31 2006-08-24 Searete Llc Peripheral shared image device sharing
US8902320B2 (en) * 2005-01-31 2014-12-02 The Invention Science Fund I, Llc Shared image device synchronization or designation
US9910341B2 (en) * 2005-01-31 2018-03-06 The Invention Science Fund I, Llc Shared image device designation
US20060221209A1 (en) * 2005-03-29 2006-10-05 Mcguire Morgan Apparatus and method for acquiring and combining images of a scene with multiple optical characteristics at multiple resolutions
JP4306638B2 (ja) * 2005-04-14 2009-08-05 ソニー株式会社 画像処理システム，撮像装置，撮像方法，画像再生装置および画像再生方法
US20070222865A1 (en) * 2006-03-15 2007-09-27 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Enhanced video/still image correlation
US20070098348A1 (en) * 2005-10-31 2007-05-03 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Degradation/preservation management of captured data
US9942511B2 (en) 2005-10-31 2018-04-10 Invention Science Fund I, Llc Preservation/degradation of video/audio aspects of a data stream
US9967424B2 (en) * 2005-06-02 2018-05-08 Invention Science Fund I, Llc Data storage usage protocol
US9191611B2 (en) * 2005-06-02 2015-11-17 Invention Science Fund I, Llc Conditional alteration of a saved image
US20070008326A1 (en) * 2005-06-02 2007-01-11 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Dual mode image capture technique
US7782365B2 (en) * 2005-06-02 2010-08-24 Searete Llc Enhanced video/still image correlation
US8681225B2 (en) * 2005-06-02 2014-03-25 Royce A. Levien Storage access technique for captured data
US9451200B2 (en) * 2005-06-02 2016-09-20 Invention Science Fund I, Llc Storage access technique for captured data
US8253821B2 (en) * 2005-10-31 2012-08-28 The Invention Science Fund I, Llc Degradation/preservation management of captured data
US8964054B2 (en) * 2006-08-18 2015-02-24 The Invention Science Fund I, Llc Capturing selected image objects
US7872675B2 (en) 2005-06-02 2011-01-18 The Invention Science Fund I, Llc Saved-image management
US20070109411A1 (en) * 2005-06-02 2007-05-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Composite image selectivity
US9819490B2 (en) * 2005-05-04 2017-11-14 Invention Science Fund I, Llc Regional proximity for shared image device(s)
US20090144391A1 (en) * 2007-11-30 2009-06-04 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Audio sharing
US20070139529A1 (en) * 2005-06-02 2007-06-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Dual mode image capture technique
US9001215B2 (en) 2005-06-02 2015-04-07 The Invention Science Fund I, Llc Estimating shared image device operational capabilities or resources
US10003762B2 (en) 2005-04-26 2018-06-19 Invention Science Fund I, Llc Shared image devices
US20060274153A1 (en) * 2005-06-02 2006-12-07 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Third party storage of captured data
KR101075047B1 (ko) * 2005-06-03 2011-10-19 미디어팟 엘엘씨 다차원 이미징 시스템 및 방법
US20070127909A1 (en) * 2005-08-25 2007-06-07 Craig Mowry System and apparatus for increasing quality and efficiency of film capture and methods of use thereof
JP2009511938A (ja) * 2005-08-25 2009-03-19 メディアポッド リミテッド ライアビリティ カンパニー フィルム取り込みの品質及び効率を改善するためのシステム及び装置及びその使用方法
US7889950B2 (en) * 2005-08-30 2011-02-15 The Regents Of The University Of California, Santa Cruz Kernel regression for image processing and reconstruction
JP5087548B2 (ja) * 2005-10-24 2012-12-05 トライデント マイクロシステムズ インコーポレイテッド 動きベクトル場リタイマー
JP4706466B2 (ja) * 2005-12-16 2011-06-22 株式会社日立製作所 撮像装置
US7639289B2 (en) * 2006-05-08 2009-12-29 Mitsubishi Electric Research Laboratories, Inc. Increasing object resolutions from a motion-blurred image
US7889264B2 (en) * 2006-05-12 2011-02-15 Ricoh Co., Ltd. End-to-end design of superresolution electro-optic imaging systems
US7893999B2 (en) * 2006-05-22 2011-02-22 Broadcom Corporation Simultaneous video and sub-frame metadata capture system
IES20070229A2 (en) * 2006-06-05 2007-10-03 Fotonation Vision Ltd Image acquisition method and apparatus
US20080212895A1 (en) * 2007-01-09 2008-09-04 Lockheed Martin Corporation Image data processing techniques for highly undersampled images
US8747952B2 (en) * 2007-01-19 2014-06-10 Airbus Operations Gmbh Materials and processes for coating substrates having heterogeneous surface properties
US7889207B2 (en) * 2007-02-08 2011-02-15 Nikon Corporation Image apparatus with image noise compensation
US7978239B2 (en) * 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US7773118B2 (en) * 2007-03-25 2010-08-10 Fotonation Vision Limited Handheld article with movement discrimination
US8379677B2 (en) * 2007-04-30 2013-02-19 Vixs Systems, Inc. System for combining a plurality of video streams and method for use therewith
US20080309770A1 (en) * 2007-06-18 2008-12-18 Fotonation Vision Limited Method and apparatus for simulating a camera panning effect
JP4356777B2 (ja) * 2007-06-18 2009-11-04 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
US8412000B2 (en) * 2007-11-30 2013-04-02 Texas Instruments Incorporated System and method for reducing motion artifacts by displaying partial-resolution images
JP4551486B2 (ja) * 2007-12-04 2010-09-29 パナソニック株式会社 画像生成装置
US8457208B2 (en) * 2007-12-19 2013-06-04 Dolby Laboratories Licensing Corporation Adaptive motion estimation
US8237820B2 (en) 2008-02-04 2012-08-07 Panasonic Corporation Image synthesis device for generating a composite image using a plurality of continuously shot images
US8379152B2 (en) * 2008-03-31 2013-02-19 Sharp Laboratories Of America, Inc. Systems and methods for increasing the temporal resolution of video data
US8200046B2 (en) 2008-04-11 2012-06-12 Drs Rsta, Inc. Method and system for enhancing short wave infrared images using super resolution (SR) and local area processing (LAP) techniques
US20100149338A1 (en) * 2008-12-16 2010-06-17 Mamigo Inc Method and apparatus for multi-user user-specific scene visualization
EP2334085B1 (en) * 2009-02-05 2019-10-02 Panasonic Intellectual Property Management Co., Ltd. Imaging processor
US8520736B2 (en) * 2009-04-14 2013-08-27 Fastvdo, Llc Real-time superresolution and video transmission
US8989519B2 (en) 2009-04-20 2015-03-24 Yeda Research & Development Co. Ltd. Super resolution from a single signal
US9474440B2 (en) 2009-06-18 2016-10-25 Endochoice, Inc. Endoscope tip position visual indicator and heat management system
US10524645B2 (en) 2009-06-18 2020-01-07 Endochoice, Inc. Method and system for eliminating image motion blur in a multiple viewing elements endoscope
US8400473B2 (en) * 2009-06-24 2013-03-19 Ariel Shamir Multi-operator media retargeting
US8405681B2 (en) * 2009-06-24 2013-03-26 Ariel Shamir Image comparison by asymmetric dynamic warping
US8223259B2 (en) * 2009-09-30 2012-07-17 Mitsubishi Electric Research Laboratories, Inc. Increasing temporal resolution of signals
EP2454876B1 (en) * 2009-10-21 2013-12-04 Ron Banner Real-time video deblurring
WO2011053678A1 (en) 2009-10-28 2011-05-05 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
US8558899B2 (en) * 2009-11-16 2013-10-15 The Aerospace Corporation System and method for super-resolution digital time delay and integrate (TDI) image processing
JP2011151269A (ja) * 2010-01-22 2011-08-04 Rohm Co Ltd 撮像装置
CN102783155A (zh) * 2010-07-12 2012-11-14 松下电器产业株式会社 图像生成装置
US10663714B2 (en) 2010-10-28 2020-05-26 Endochoice, Inc. Optical system for an endoscope
US9706908B2 (en) * 2010-10-28 2017-07-18 Endochoice, Inc. Image capture and video processing systems and methods for multiple viewing element endoscopes
US8411980B1 (en) * 2010-11-12 2013-04-02 Adobe Systems Incorporated Removing motion blur from unaligned multiple blurred images
US8368774B2 (en) 2010-11-22 2013-02-05 The Aerospace Corporation Imaging geometries for scanning optical detectors with overlapping fields of regard and methods for providing and utilizing same
FR2968876B1 (fr) * 2010-12-14 2013-02-15 Thales Sa Systeme d'acquisition d'images presentant une dynamique elevee
JP6134650B2 (ja) * 2011-01-28 2017-05-24 アイ アイオー, リミテッド・ライアビリティ・カンパニーEye Io, Llc シーンに基づく適用性のあるビットレート制御
US10517464B2 (en) 2011-02-07 2019-12-31 Endochoice, Inc. Multi-element cover for a multi-camera endoscope
US20140192235A1 (en) * 2011-02-25 2014-07-10 Sony Corporation Systems, methods, and media for reconstructing a space-time volume from a coded image
WO2012154154A1 (en) * 2011-05-06 2012-11-15 Empire Technology Development Llc Higher resolution still image generation from lower resolution video camera frames
CN102368375B (zh) * 2011-09-16 2015-04-08 广东威创视讯科技股份有限公司 点阵显示屏分辨率倍增的方法、装置及点阵显示屏系统
US9398229B2 (en) 2012-06-18 2016-07-19 Microsoft Technology Licensing, Llc Selective illumination of a region within a field of view
US9674436B2 (en) * 2012-06-18 2017-06-06 Microsoft Technology Licensing, Llc Selective imaging zones of an imaging sensor
EP2677733A3 (en) * 2012-06-18 2015-12-09 Sony Mobile Communications AB Array camera imaging system and method
US10595714B2 (en) 2013-03-28 2020-03-24 Endochoice, Inc. Multi-jet controller for an endoscope
US9636003B2 (en) 2013-06-28 2017-05-02 Endochoice, Inc. Multi-jet distributor for an endoscope
US9667935B2 (en) 2013-05-07 2017-05-30 Endochoice, Inc. White balance enclosure for use with a multi-viewing elements endoscope
US10064541B2 (en) 2013-08-12 2018-09-04 Endochoice, Inc. Endoscope connector cover detection and warning system
US9943218B2 (en) 2013-10-01 2018-04-17 Endochoice, Inc. Endoscope having a supply cable attached thereto
US9432720B2 (en) 2013-12-09 2016-08-30 Empire Technology Development Llc Localized audio source extraction from video recordings
US9478010B2 (en) 2013-12-12 2016-10-25 Google Technology Holdings LLC Generating an enhanced image of a predetermined scene from a plurality of images of the predetermined
US9968242B2 (en) 2013-12-18 2018-05-15 Endochoice, Inc. Suction control unit for an endoscope having two working channels
DE102013226789B4 (de) 2013-12-19 2017-02-09 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Mehrkanaloptik-Bildaufnahmevorrichtung und Mehrkanaloptik-Bildaufnahmeverfahren
WO2015112747A2 (en) 2014-01-22 2015-07-30 Endochoice, Inc. Image capture and video processing systems and methods for multiple viewing element endoscopes
US20150262380A1 (en) * 2014-03-17 2015-09-17 Qualcomm Incorporated Adaptive resolution in optical flow computations for an image processing system
EP3689219B1 (en) 2014-07-21 2023-08-30 EndoChoice, Inc. Multi-focal, multi-camera endoscope systems
CN106687024B (zh) 2014-08-29 2020-10-09 恩多巧爱思股份有限公司 改变内窥镜插入管的刚度的系统和方法
EP3235241B1 (en) 2014-12-18 2023-09-06 EndoChoice, Inc. System for processing video images generated by a multiple viewing elements endoscope
US10376181B2 (en) 2015-02-17 2019-08-13 Endochoice, Inc. System for detecting the location of an endoscopic device during a medical procedure
US10078207B2 (en) 2015-03-18 2018-09-18 Endochoice, Inc. Systems and methods for image magnification using relative movement between an image sensor and a lens assembly
WO2016171088A1 (ja) * 2015-04-23 2016-10-27 富士フイルム株式会社 撮像装置及び撮像装置の画像処理方法及びプログラム
US10401611B2 (en) 2015-04-27 2019-09-03 Endochoice, Inc. Endoscope with integrated measurement of distance to objects of interest
CN114795472A (zh) 2015-10-28 2022-07-29 安多卓思公司 用于在患者体内跟踪内窥镜的位置的装置和方法
WO2017091459A1 (en) 2015-11-24 2017-06-01 Endochoice, Inc. Disposable air/water and suction valves for an endoscope
US10488648B2 (en) 2016-02-24 2019-11-26 Endochoice, Inc. Circuit board assembly for a multiple viewing element endoscope using CMOS sensors
WO2017160792A1 (en) 2016-03-14 2017-09-21 Endochoice, Inc. System and method for guiding and tracking a region of interest using an endoscope
CN109310408B (zh) 2016-06-21 2021-11-23 安多卓思公司 具有与不同的视频数据信号源连接的多个连接接口的内窥镜系统
CN108449564B (zh) * 2017-02-16 2020-03-06 视联动力信息技术股份有限公司 一种支持视频解码芯片自适应视频源分辨率的方法及系统
US10846824B2 (en) * 2017-12-08 2020-11-24 Tata Consultancy Services Limited Systems and methods for reconstructing super-resolution images under total aliasing based upon translation values
CN110322400B (zh) * 2018-03-30 2021-04-27 京东方科技集团股份有限公司 图像处理方法及装置、图像处理系统及其训练方法
BR112020022560A2 (pt) 2018-09-30 2021-06-01 Boe Technology Group Co., Ltd. aparelho e método para processamento de imagens e sistema para rede neural de treinamento
JP6765494B1 (ja) 2019-10-31 2020-10-07 パナソニックｉ−ＰＲＯセンシングソリューションズ株式会社 ３板式カメラ
CN116012230B (zh) * 2023-01-17 2023-09-29 深圳大学 一种时空视频超分辨率方法、装置、设备及存储介质

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4652909A (en) * 1982-09-14 1987-03-24 New York Institute Of Technology Television camera and recording system for high definition television having imagers of different frame rate
US4685002A (en) * 1985-02-13 1987-08-04 Rca Corporation Slow motion television system having variable interlace
US4797942A (en) * 1987-03-02 1989-01-10 General Electric Pyramid processor for building large-area, high-resolution image by parts
US4785323A (en) * 1987-12-28 1988-11-15 Eastman Kodak Company Exposure control
GB8814288D0 (en) * 1988-06-16 1988-07-20 Crosfield Electronics Ltd Method & apparatus for generating composite images
US5657402A (en) * 1991-11-01 1997-08-12 Massachusetts Institute Of Technology Method of creating a high resolution still image using a plurality of images and apparatus for practice of the method
DE69313694T2 (de) * 1992-03-23 1998-02-19 Canon Kk Bildaufnahmevorrichtung mit mehreren Linsen und Korrektur von Falschregistrierung
GB2267194B (en) * 1992-05-13 1995-10-04 Sony Broadcast & Communication Apparatus and method for processing image data
US5689302A (en) * 1992-12-10 1997-11-18 British Broadcasting Corp. Higher definition video signals from lower definition sources
JP3438205B2 (ja) * 1993-02-25 2003-08-18 株式会社リコー デジタル電子カメラ装置
US6128416A (en) * 1993-09-10 2000-10-03 Olympus Optical Co., Ltd. Image composing technique for optimally composing a single image from a plurality of digital images
US5694165A (en) * 1993-10-22 1997-12-02 Canon Kabushiki Kaisha High definition image taking apparatus having plural image sensors
US5757423A (en) * 1993-10-22 1998-05-26 Canon Kabushiki Kaisha Image taking apparatus
US5523786A (en) * 1993-12-22 1996-06-04 Eastman Kodak Company Color sequential camera in which chrominance components are captured at a lower temporal rate than luminance components
US5517251A (en) * 1994-04-28 1996-05-14 The Regents Of The University Of California Acquisition of video images simultaneously with analog signals
JPH08116490A (ja) * 1994-10-14 1996-05-07 Olympus Optical Co Ltd 画像処理装置
US5696848A (en) * 1995-03-09 1997-12-09 Eastman Kodak Company System for creating a high resolution image from a sequence of lower resolution motion images
JPH08275063A (ja) * 1995-04-04 1996-10-18 Minolta Co Ltd 撮像装置
US6023535A (en) * 1995-08-31 2000-02-08 Ricoh Company, Ltd. Methods and systems for reproducing a high resolution image from sample data
US5852565A (en) * 1996-01-30 1998-12-22 Demografx Temporal and resolution layering in advanced television
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
US5870502A (en) * 1996-04-08 1999-02-09 The Trustees Of Columbia University In The City Of New York System and method for a multiresolution transform of digital image information
DE69732089T2 (de) * 1996-10-04 2005-12-08 Nippon Telegraph And Telephone Corp. Vorrichtung und verfahren zur zeitlichen und räumlichen integration und verwaltung einer vielzahl von videos sowie speichermedium zur speicherung eines programms dafür
JP3974964B2 (ja) * 1996-11-08 2007-09-12 オリンパス株式会社 画像処理装置
US5982941A (en) * 1997-02-07 1999-11-09 Eastman Kodak Company Method of producing digital image with improved performance characteristic
CA2232978C (en) * 1997-03-27 2001-01-16 Peter H. Gregson Analog video merging system
US6249616B1 (en) * 1997-05-30 2001-06-19 Enroute, Inc Combining digital images based on three-dimensional relationships between source image data sets
JP3684525B2 (ja) * 1998-02-19 2005-08-17 富士通株式会社 多画面合成方法及び多画面合成装置
US6639626B1 (en) * 1998-06-18 2003-10-28 Minolta Co., Ltd. Photographing apparatus with two image sensors of different size
US6535650B1 (en) * 1998-07-21 2003-03-18 Intel Corporation Creating high resolution images
US6269175B1 (en) * 1998-08-28 2001-07-31 Sarnoff Corporation Method and apparatus for enhancing regions of aligned images using flow estimation
US6285804B1 (en) * 1998-12-21 2001-09-04 Sharp Laboratories Of America, Inc. Resolution improvement from multiple images of a scene containing motion at fractional pixel values
US6570613B1 (en) * 1999-02-26 2003-05-27 Paul Howell Resolution-enhancement method for digital imaging
US7015954B1 (en) * 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6466618B1 (en) * 1999-11-19 2002-10-15 Sharp Laboratories Of America, Inc. Resolution improvement for multiple images
EP1150252B1 (en) * 2000-04-28 2018-08-15 Panasonic Intellectual Property Management Co., Ltd. Synthesis of image from a plurality of camera views
US7149262B1 (en) * 2000-07-06 2006-12-12 The Trustees Of Columbia University In The City Of New York Method and apparatus for enhancing data resolution
WO2002047031A2 (en) * 2000-12-05 2002-06-13 Yeda Research And Development Co. Ltd. Apparatus and method for alignment of spatial or temporal non-overlapping image sequences
US7123780B2 (en) * 2001-12-11 2006-10-17 Sony Corporation Resolution enhancement for images stored in a database

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009522825A (ja) * 2006-05-08 2009-06-11 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド シーンの画像におけるぶれを低減する方法及びシーンの画像のぶれを除去する方法
JP4672060B2 (ja) * 2006-05-08 2011-04-20 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド シーンの画像におけるぶれを低減する方法及びシーンの画像のぶれを除去する方法
WO2008090730A1 (ja) * 2007-01-23 2008-07-31 Nikon Corporation 画像処理装置、電子カメラ、画像処理方法および画像処理プログラム
US8149283B2 (en) 2007-01-23 2012-04-03 Nikon Corporation Image processing device, electronic camera, image processing method, and image processing program
JP2008252640A (ja) * 2007-03-30 2008-10-16 Fujifilm Corp 動画転送システム及びテレビ会議システム
WO2009019824A1 (ja) 2007-08-07 2009-02-12 Panasonic Corporation 撮像処理装置および撮像装置、画像処理方法およびコンピュータプログラム
WO2009019823A1 (ja) 2007-08-07 2009-02-12 Panasonic Corporation 撮像処理装置および撮像装置、画像処理方法およびコンピュータプログラム
US8018500B2 (en) 2007-08-07 2011-09-13 Panasonic Corporation Image picking-up processing device, image picking-up device, image processing method and computer program
US8248495B2 (en) 2007-08-07 2012-08-21 Panasonic Corporation Image picking-up processing device, image picking-up device, image processing method and computer program
JP2011523485A (ja) * 2008-05-27 2011-08-11 ソニー エリクソン モバイル コミュニケーションズ， エービー 写真を生成するためのシステム及び方法
JP2014508455A (ja) * 2011-01-28 2014-04-03 コーニンクレッカ フィリップス エヌ ヴェ 動くオブジェクトの動きベクトルに基づく比較
JP5931302B2 (ja) * 2013-11-08 2016-06-08 三菱電機株式会社 アニメーション装置及びアニメーション方法
US9922440B2 (en) 2013-11-08 2018-03-20 Mitsubishi Electric Corporation Animation device and animation method to make a seeming moving direction agree with a determined moving direction of the animation
WO2017086156A1 (ja) * 2015-11-17 2017-05-26 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
US10650268B2 (en) 2015-11-17 2020-05-12 Sony Semiconductor Solutions Corporation Image processing apparatus and image processing method
KR20170120972A (ko) * 2016-04-22 2017-11-01 에스케이텔레콤 주식회사 네트워크 상에서 실시간 멀티미디어 서비스의 품질을 제어하는 방법 및 이를 위한 장치
KR102491247B1 (ko) * 2016-04-22 2023-01-25 에스케이텔레콤 주식회사 네트워크 상에서 실시간 멀티미디어 서비스의 품질을 제어하는 방법 및 이를 위한 장치
KR101915302B1 (ko) * 2017-07-03 2018-11-06 건국대학교 산학협력단 증강된 해상도 데이터 생성 장치 및 방법
KR20200057834A (ko) * 2018-11-15 2020-05-27 (주)지와이네트웍스 딥러닝 기반 음영영상의 시공간적 특성 분석을 활용한 폭력검출 프레임워킹 방법
KR102134902B1 (ko) * 2018-11-15 2020-07-17 (주)지와이네트웍스 딥러닝 기반 음영영상의 시공간적 특성 분석을 활용한 폭력검출 프레임워킹 방법
WO2021060445A1 (ja) * 2019-09-27 2021-04-01 国立大学法人大阪大学 画像処理装置、ニューラルネットワークおよび画像処理方法
KR20220058740A (ko) * 2020-10-30 2022-05-10 한국전자기술연구원 스캔을 이용한 로봇의 캘리브레이션 시스템 및 방법
KR102422990B1 (ko) 2020-10-30 2022-07-21 한국전자기술연구원 스캔을 이용한 로봇의 캘리브레이션 시스템 및 방법

Also Published As

Publication number Publication date
US20050057687A1 (en) 2005-03-17
WO2003060823A3 (en) 2004-01-08
AU2002366985A8 (en) 2003-07-30
AU2002366985A1 (en) 2003-07-30
EP1491038A2 (en) 2004-12-29
US7428019B2 (en) 2008-09-23
WO2003060823A2 (en) 2003-07-24

Similar Documents

Publication Publication Date Title
JP2005515675A (ja) ビデオの空間または時間解像度を高めるためのシステムおよび方法
US7477802B2 (en) Robust reconstruction of high resolution grayscale images from a sequence of low resolution frames
Ben-Ezra et al. Motion deblurring using hybrid imaging
Zhao et al. Is super-resolution with optical flow feasible?
CN1734500B (zh) 利用基于模型的稳健贝叶斯估算的图像处理的方法和系统
US7412107B2 (en) System and method for robust multi-frame demosaicing and color super-resolution
JP2005515675A5 (ja)
JP2000188680A (ja) 高解像度画像の生成方法及びシステム
Takeda et al. Removing motion blur with space–time processing
Joshi et al. Super-resolution imaging: use of zoom as a cue
US20090310872A1 (en) Sparse integral image descriptors with application to motion analysis
JP2002524930A (ja) 画像を電子的に拡張する方法および装置
Keller et al. Video super-resolution using simultaneous motion and intensity calculations
Pickup et al. Optimizing and Learning for Super-resolution.
Al Ismaeil et al. Enhancement of dynamic depth scenes by upsampling for precise super-resolution (UP-SR)
Simpkins et al. An introduction to super-resolution imaging
Punnappurath et al. Rolling shutter super-resolution
Al Ismaeil et al. Dynamic super resolution of depth sequences with non-rigid motions
Omer et al. Region-based weighted-norm with adaptive regularization for resolution enhancement
Caner et al. Super resolution recovery for multi-camera surveillance imaging
Mohan Adaptive super-resolution image reconstruction with lorentzian error norm
Dellaert et al. Mosaicing a large number of widely dispersed, noisy, and distorted images: A bayesian approach
Shih et al. Generating high-resolution image and depth map using a camera array with mixed focal lengths
Gunturk Super-resolution imaging
Patanavijit et al. An iterative super-resolution reconstruction of image sequences using a Bayesian approach with BTV prior and affine block-based registration

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051020

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080401

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080902