JP2005020761A - データ圧縮処理された低解像度の映像から超解像度の映像復元及び再構成方法 - Google Patents

Abstract

【課題】本発明は超解像度(super-resolution)映像の復元及び/または再構成方法に関することで、特にデジタルビデオレコーダー(DVR; digital video recorder)環境で圧縮された低解像度の映像などを超解像度の映像に復元及び/または再構成する方法に関する。
【解決手段】本発明はデジタルビデオレコーダー(DVR)監視システムでカメラの小型化による光学的限界、CCD/CMOSイメージセンサーの画素数の不足による空間の解像度の限界、映像圧縮、電送及び貯蔵過程で発生する雑音によるビデオシークエンスのブラー(blur)現象を除去することで、低解像度映像(とくに、犯人の人相と身なりまたは自動車ナンバープレートの数字)に高周波成分を復元させて超解像度の映像での復元及び再構成をできるようにする。 その結果、本発明はDVRに貯蔵された低解像度の映像を事後に関心領域に対して高解像度での拡大ができるようにして、低価の低解像度カメラを使用しても高価の高解像度カメラを使用することと同様な効果を発生させる。
【選択図】図5

Description

本発明は超解像度(super-resolution)映像復元及び/または再構成方法に関することで、とくにデジタルビデオレコーダー(DVR; digital video recorder)環境で圧縮された低解像度映像などを超解像度映像で復元及び/または再構成する方法に関する。

最近になって、無人監視システムに対する社会的関心と需要が増加することによって、デジタルビデオレコーダー(DVR)に記録された映像の画質向上に対した必要性がしみじみ要求されている。 無人監視システムで要求されるカメラの小型化によった光学的限界、即ち低価CCD/CMOSイメージセンサーの画素数不足による空間解像度(spatial resolution)の限界、映像の圧縮/貯蔵/電送過程で発生する雑音によって記録された映像の画質は大きくて低下される。 このような画質の劣化原因中で無人監視システムで必ず克服しなければいけない部分は空間解像度の低下である。

なぜならば、空間解像度は映像内の単位面積当たり画素(pixel)個数を意味するが、低解像度(low-resolution)映像には高解像度(high-resolution)映像で存在する元来映像の高周波成分及び微細な成分などが毀損されて映像を分析、解釈するときに難関があるからである。例えば、犯罪現場が貯蔵された映像でもっとも大事な犯人の人相と身なりとか自動車ナンバープレートを低解像度映像では確認することができない場合がしばしばあって、こんな場合、監視システムの効果がやはり半分以上に減ることである。

映像の画質低下を改善する方法には簡単に高価の高性能カメラを装着する方法があるが、無人監視システムに適したカメラの小型化と低価化等の経済的側面を考慮する時、このような方法は適してはない。従って、低価のカメラで高価のカメラの解像度を代替することができるデジタル映像処理アルゴリズムの開発は必ず要る。

従って、本発明の第1目的は低解像度映像入力装置で得る低解像度映像などを高解像度映像入力装置で得ることができる水準の画質に再構成及び復元させてくれる方法を提供することである。
本発明の第2目的は上記第1目的に付加して、映像入力装置のレンズが小型化されながら発生する光学的の限界のために現われる映像のブラー(blur：にじみ)問題を映像の輪郭線を保存しながら除去する方法を提供することである。

本発明の第3目的は上記第1目的に付加して、映像入力装置の画素数不足で発生するエイリアシング(aliasing)効果を除去することで低解像度映像、即ち画素数が少ない映像などから高解像度映像、即ち画素数が多い映像に拡大及び再構成する方法を提供することである。
本発明の第4目的は上記第1目的に付加して、デジタルビデオレコーダーに映像を貯蔵するためのデータ圧縮過程で発生する圧縮雑音、即ちブロッキングアーティファクト(blocking artifact)及びリングインアーティファクト(ringing artifact)を映像の輪郭線を保存しながら除去することができる方法を提供することである。

上記目的を達成するために、本発明は
大きさを持つ
個の低解像度映像から
大きさを持つ高解像度映像を復元再生する方法において、複数個の独立的ブロックに分割されて、DCT変換されて量子化された上記の低解像度映像に対したDCT計数の量子化雑音をガウシアン分布を持つ離散変数にモデリングして、上記
個の低解像度映像など間の副画素単位の動きは基準映像を決めた後に残り映像などの間の動きパラメーターをテーラー級数展開を通じて最小自乗推定値を得て推定して、上記高解像度映像の事前知識を示す平滑化束縛条件を非静的ガウシアン分布に示して、雑音の平均値が零(zero)になる適応的の平滑化束縛条件を認可することで映像の輪郭線を保存しながら圧縮雑音を除去する超解像度映像復元方法を提供する。

DVRに装着されたコデックス(CODEC)は映像入力装置から送られるデジタル映像のシークエンスをデータ圧縮して貯蔵するようになるが、このようなデータ圧縮過程で遂行する量子化(quantization)処理過程によって映像の高周波成分を相当部分除去するようになる。
さて、このように除去される高周波成分の中で、DVRに貯蔵された情報からさがしだそうとする細部情報(例えば、犯人容疑者の車両ナンバープレート情報、犯人の人相と身なり等)が入っているから、上記高周波成分の復元を遂行する方法を本発明は提供する。

本発明は既にコデックス(CODEC)環境下にDVRに貯蔵された複数個の映像シークエンスから、一場面(scene)を撮ったシークエンスに対して各々のフレームなどはデータ圧縮によって高周波成分を失っても一律的に同一で除去されるのではなくて、お互い独立的に失われるから失われた高周波成分がお互い違うという点に着眼して、複数個のシークエンスから高解像度の映像に復元する方法に基礎している。

以下では添付図面図1ないし図8を参照して、本発明によってデータ圧縮処理された低解像度の映像を高解像度の映像に復元及び再構成する映像処理方法を詳しく説明する。
図1は本発明によって複数個の低解像度の映像などから超解像度の映像を復元及び再構成するアルゴリズムを示す図面である。本発明で提案する映像復元及び再構成のための映像処理技法は映像復元(image restoration)技法と補間法(interpolation)を使用することを特徴とする。

ここで、映像復元技法は光学的限界によって発生する映像のブラー(blur)現象と映像を貯蔵及び電送する過程で発生する雑音を除去して、元来の映像に復元する過程として、本発明の超解像度の映像復元及び再構成方法の基本要素になる。即ち、映像復元方法は映像の空間解像度を増加させないという側面で超解像度映像復元及び再構成技術の一方法である。
映像復元技法は光学的限界で発生する映像のブラー(blur)現象と映像を貯蔵/電送する過程で発生する雑音を除去して元来の映像に復元する技術として、超解像度映像復元/再構成アルゴリズムの基盤になる技術とすることができる。映像復元技法は映像の空間解像度を増加させないという側面で超解像度映像復元/再構成技術の一例だと思われることができる。

超解像度映像復元/再構成アルゴリズムと関連された他の一技術には一映像から画素数を増やして映像を拡大する補間法がある。しかし、理想的なシンク(sinc)関数基盤の補間法を使用してもエイリアシング(aliasing)が発生した低解像度映像を拡大した映像の画質には限界がある。
即ち、補間法を使用しては低解像度映像入力システムの画素数の制限に失ったり毀損された元来映像の高周波成分は復元することが不可能して、このような理由のために補間法を超解像度映像復元/再構成アルゴリズムに分類しない。
単一映像を利用した補間法の限界を克服するために本発明によった超解像度映像復元/再構成方法は同じ場面(scene)であるが、副画素(subpixel)単位のお互い違う情報を持っている低解像度映像などを分析及び復元して高解像度の映像を再構成することを特徴とする。

図1は本発明による超解像度の映像復元及び再構成方法の原理を説明した図面である。図1を参照すると、本発明による超解像度の映像復元/再構成アルゴリズムでの低解像度映像などは同じ場面を撮ったお互い違う低解像度映像などを意味する。さらに、低解像度映像などは目で見る時には同じのように見えるが、お互い違う副画素単位の動きを持ちながらナイキスト票本化率(Nyquist sampling rate)以下にサンプリングされてエイリアシング(aliasing)を持っている映像などに定義される。
ここで、もし低解像度映像などがお互い整数単位の動きを持っていると、各々の映像が全部同じ情報を持っていて、現在の解像度水準より高い解像度を再構成することができない。

もっとも、低解像度映像などがお互い違う副画素単位の動きを持っていると、各々の映像が全部違う情報を持っていて、一映像で違う映像を示すことができない。こんな場合、各映像などの間の動きを予め分かっていったり推定することができたら、各々の低解像度映像が持っている新しい情報たちを利用して図1のように高解像度映像を再構成することができるようになる。
ここで、提案する本発明による超解像度の映像復元/再構成方法は図1の基本原理によって、デジタルビデオレコーダー(DVR)に貯蔵された複数のビデオシークエンスから高解像度映像を再構成する同時に、レンズの限界にできる映像のブラー(blur)及びDVR貯蔵のための圧縮過程で発生する圧縮雑音(error)を映像の輪郭線を保存しながら除去する新しいアルゴリズムである。
とくに、本発明はDCT領域での量子化(quantization)によった圧縮雑音をモデリングすることでこのを再構成/復元過程で除去する特徴がある。

図2は本発明によった超解像度映像復元及び再構成のために低解像度映像を獲得する過程をモデリングした図面である。本発明によって低解像度映像などから高解像度の映像を復元/再構成するためには先にこの間の関係を定義しなければいけない。
推定しようとする高解像度映像の大きさ(size)を
としてこれを辞書編纂式(lexicographically)で配列したベクトルを
として、即ち、
はブラー(blur)及び雑音によって毀損されなくて、ナイキスト標本化率(Nyquist sampling rate)より大きいにサンプリングされてエイリアシングがない高解像度映像である。

低解像度映像入力システムを通じて獲得された
番目の低解像度映像は図2のように
が副画素単位に動かした後、光学係でブラー(blur)が発生されて、
要素(factor)で低標本化(under sampling)された映像でモデリングされることができる。
このような
番目低解像度映像の獲得過程を数式で表現すると次のようだ。
数学式1

ここで、
の大きさの
個の獲得された低解像度映像の中で
番目低解像度映像は辞書編纂式で配列された
で表現されて、
は相対的な動き差異を示す幾何学的ワーピング(warping)行列で、
はブラー(blur)を示す行列で、
は高解像度映像から低解像度映像までの低標本化率(under sampling)を示す行列で、
は圧縮雑音を含んだ雑音を示す。
数学式1で使われたシステム行列を敷衍説明すると次のようだ。 即ち、ワーピング(warping)行列
は副画素単位の幾何学的ワ─ピング(warping)変換を示す。ここで注意する点は動きの単位が低解像度映像の格子で定められるという点である。
例えば、低解像度映像格子で横方向に一画素ほど動かしたら、この時動き大きさは横方向に１になることを示して、副画素単位で動かしたということは動き大きさが少数単位になるという意味である。また、副画素単位の動きが高解像度映像格子に一致していないと、高解像度映像格子での補間(interpolation)が要求される。

図3は本発明によって遂行されるワ─ピング(warping)過程からの補間 (interpolation)処理の必要性を示す図面である。図3を参照すると、低標本化(under sampling)要素が横と縦方向に各々2個である時(即ち、低解像度映像が高解像度映像より横と縦方向に大きさが半分の時)の場合として、図3でダイヤモンドに表記された高解像度映像は横と縦方向に各々一画素ほど動かしたので、低解像度の格子基準で動きベクトルが(0.5、0.5)になって、三角に表記された高解像度映像は(0.5、0.5)より小さく動くベクトルを持つ。図3でダイヤモンドに表記された画素などは高解像度映像格子に一致するので補間(interpolation)が必要ないが、三角に表記された画素などは高解像度格子に一致しないので、この値を補間処理して求めなければいけない。

また、ブラー(blur)行列
はレンズの回折、焦点が合わなかった時、早い動きがある時等のブラー(blur)現象などと低解像度センサーPSF(Point Spread Function)によったブラー(blur)を示す。
図4は低解像度センサーPSFを示す図面である。低解像度センサーPSFということは図4のようにイメージセンサー表面でモデリングされる高解像度の画素と低階層度の画素間の関係を示すブラー(blur)として、超解像度の映像復元及び再構成アルゴリズムで必須的に存在するブラー(blur)である。提案する超解像度の映像復元及び再構成アルゴリズムは先に低解像度映像間の動きベクトルを推定した後、数学式1でモデリングされた高解像度映像
vをベイジアン方法(Bayesian approach)で推定する。
数学式1からモデリングされた高解像度映像
を推定するためには、先に雑音
の確率的の特性を反映する確率密度関数(probability density function)をモデリングしなければいけない。雑音
は様々なソースで発生するが、ここでは圧縮過程で発生する圧縮雑音が相対的に影響が大きいという仮定下に圧縮雑音だけを扱う。

既存のアルゴリズムでは便宜のために圧縮雑音を空間領域で白色ガウシアン雑音(white Gaussian noise)と仮定する限界がある。もっとも、圧縮雑音は空間領域ではっきりホワイト(white)しないために、もっとよい性能を出すためには圧縮雑音に対する統計的特性を分析して、このを復元/再構成過程で利用しなければいけない。
ほとんどの動映像圧縮アルゴリズムは映像を独立的なブロック(block)単位に分けた後、このブロックなどを独立的にDCT(Discrete Cosine Transform)変換してDCT係数(coefficient)を量子化する。圧縮された映像で俗に見ることができるブロッキングアーティファクト(blocking artifact)及びリングインアーティファクト(ringing artifact)のような圧縮雑音などは、このようなDCT領域で量子化によった量子化雑音(quantization noise)にモデリングされることができる。

DCT領域で量子化雑音の確率密度関数を直接誘導するためには映像のDCT計数の確率密度関数を正確に分からなければいけないが、このを正確に決めることは事実上不可能である。量子化雑音の確率密度関数を直接モデリングすることは難しいが、映像のDCT係数がお互い独立的(independent)だから、これの確率密度関数が対称という仮定下にDCT計数の量子化雑音もお互い独立的だと仮定することができる。
空間領域(spatial domain)からの圧縮雑音はDCT領域での量子化雑音の逆DCT変換によった線形組合(linear combination)に示されるので、空間領域での圧縮雑音は中央限界整理(central limit theorem)によってガウシアン(Gaussian)分布を持つ離散変数(random variable)にモデリングされることができる。従って、映像の任意の一ブロック内からの圧縮雑音を辞書編纂式で配列したベクトルを
とすると、これの確率密度関数は次のように定義される。

数学式2
ここで、
は全体確率値を1とするための正規化常数(normalizing constant)で、
の相関関係を示す共分散行列(covariance matrix)である。数学式2で提案する圧縮雑音のモデリングは映像のDCT係数の確率分布に依存しないことを確認することができる。
数学式2の空間領域での圧縮雑音に対する確率密度関数を完成するためには共分散行列の逆行列の
を求めなければいけない。
はDCT領域で量子化雑音の分散を推定した後、空間領域に変換して求めることもできるが、この方法は映像の DCT係数が量子化間隔(quantization interval)内で均一な分布を持つという仮定をするために実際場合に適しない。

また、全てブロックで
が同一な形態を持つためにブロックの特性を適応的に反映することができない限界がある。このような点を克服するために本発明で
を次のように空間領域で直接モデリングする。
DCT領域で各係数などの量子化雑音はお互い独立関係だからこれの共分散行列は対角行列(diagonal matrix)になる。従って、空間領域での
はDCTベイシス関数(basis function)等によって必ず対角化(diagonalization)にならなければいけない。本発明ではこのような特性を利用して
をDCTベイシス関数が固有ベクト(eigenvector)に持つ行列にモデリングする。その結果、
は次のようにトリ−ダイヤゴナルジャコビ−行列 (tridiagonal Jacobi matrix)の特定な形態をクロネッカ掛け算(kronecker product)を取ったことでモデリングされる。

数学式3
ここで、
数学式4
であって、
は1次マルコープ過程(first-order Markov process)での単位ステップ相関パラメーター(one-step correlation parameter)を示して、各ブロック内で次のようにバイアスされたサンプル演算字(biased sample operator)を使用して推定する。

数学式5
ここで、
数学式6
であって、ブロックのサイズは
である。
数学式2ないし数学式6を通じた圧縮雑音の共分散行列の推定過程は超解像度の映像再構成過程でブロックの特性によって大きい適応力を持つようになる。即ち、平坦なブロックではDCT係数の低周波成分の方で量子化雑音の分散が大きくて、微細成分が多いブロックでは高周波成分の方で量子化雑音の分散が大きいことを考慮するようになることである。

さらに、平坦なブロックでは
が正数に推定されるから数学式3の
は高周波濾過器(high-pass filter)役割を微細成分が多いブロックでは
が負数に推定されるから数学式3の
は低周波濾過器(low-pass filter)の役割をするようになって、再構成過程で圧縮雑音を適応的に白色化(whitening)させるようになる。
超解像度映像を復元/再構成するためには先に低解像度映像間の副画素単位の動きを分からなければいけない。一般的に、このような動きは予め分かることができないから推定しなければいけないが、このような動き推定をレジストレイション(registration)という。副画素単位の動きを推定する方法として、本発明はテーラーシリーズ(Taylor Series)の拡張を利用した方法を使用することを特徴とする。

副画素単位の動きを推定するためには先に基準映像(reference image)を定めた後、この基準映像と残り映像などの間の動きパラメーターを求めなければいけない。数学式1の観察モデルで
を基準映像として、便宜上の水平垂直方向への動きだけを考慮したら残り映像などは次のように表現されることができる。
数学式7
数学式7はテーラーシリーズの初め三個の項を利用して次のように簡略化されることができる。
数学式8

数学式8の関係に基づいて動きベクトルの最小自乗推定値(least squares)は次のような式に表現される。
数学式9
ここで、
である。従って、動き推定パラメーター
は
数学式13
になる。
数学式13の動き推定は便宜上の横と縦方向の動きだけ考慮したが回動等と同様な異なる動きをやはり考慮されることができ、好ましい実施例として、動きをもっと精密に推定するために、数学式13の演算を誤差が小さくなる時まで反復的に行なう。

数学式1の観察モデルと数学式13から推定した動きパラメーターを基礎に本発明は超解像度の映像
を推定するためにMAP方法を使用する。
に対したMAP推定値は事後(a posterior)確率分布を最大化させる
に次のように定義する。
数学式14
ここで、
に属した雑音などがお互い独立的であるという仮定下に
ができる。また、
は映像の任意のあるブロックで、数学式 2のような確率分布を持つ。一方、
は映像の事前知識を示す平滑化拘束条件 (smoothing constraint)として一般的に映像の高周波成分のエネルギーが制限されていることを示す。

本発明では再構成した高解像度映像で輪郭線を保存することができるように
を非静的ガウシアン(nonstationary Gaussian)分布に次のようにモデリングすることができる。
数学式15
ここで、
の非静的平均値(nonstationary mean)を示して映像の輪郭線を保存しながら平滑化束縛を加えることができるように雑音の平均値が零というの仮定下に次のように推定される。
数学式16
ここで、
はローカルウィンドー(local window)のサポ−ト(support)をしめし、
は加重値関数(weighting function)で、
は推定した動きパラメーターに低解像度映像などを合成した初期高解像度の映像である。
はブロックの内部で映像の輪郭線もともに平滑化されることを防止するための加重値として次のように定義される。

数学式17
ここで、Tは映像の輪郭線の大きさを決定するための臨界値(threshold value)である。数学式16と数学式17から定義された映像の非静的平均値(nonstationary mean)推定は圧縮過程を考慮した平滑化束縛をできるようにして、次のような意味を持つ。数学式16でブロックの境界面(boundary)では平均を正方形ウィンドーで推定するので、圧縮によってできるブロッキングアーティファクト(blocking artifact)を平滑化させる。
反面に、ブロックの内部では輪郭線を横切らない範囲で平均を推定するので、ブロック内部の微細成分などは弱くて平滑化させて保存するようになる。このように、本発明による適応的平滑化拘束条件と数学式3の圧縮雑音共分散行列を使用することで映像の輪郭線を保存しながら圧縮雑音を効率的に除去させることができる。

数学式14のMAP推定値は数学式2と数学式15の確率密度関数を基礎に次のようなコスト関数(cost functional)を最小化させる
を探すことで得ることができる。
数学式18
ここで、
は映像内での圧縮雑音に対した共分散行列として任意のブロックで数学式3と同じ作用する。数学式18で
は正規化関数 (regularization functional)として低解像度の映像に対した超解像度映像の充実度 (fidelity)と平滑化束縛間のバランス(balance)を調節する。

この二項の間のバランスを調節するため、予め決めた正規化常数(regularization parameter)を使用する場合、正規化常数を適切な値より小さくて決めた時には復元される映像で雑音ができることができて、大きくて決めた時には復元される映像が過度に平滑化されることができる問題がある。このような点を克服して任意の映像に対して最適の正規化常数を探すために、本発明は数学式18のように正規化関数
を使用し
は次のように定義される。
数学式19
ここで、
はコスト関数(cost functional)数学式19のコンベクシティー (convexity)及び収斂条件を満たしてグロバル(global minimum)を保障するパラメーターである。 数学式19の正規化関数を使用することで本発明では正規化常数値が各反復演算ステップ(iteration step)で適応的に決められる。
即ち、この様な反復演算ステップで低解像度映像に対したエラーが大きかったら (雑音の量が大きかったら)
値が大きくなって次ステップでもっと平滑化させ、反対にエラーが小さかったら(雑音の量が小さかったら)
値が小さくなって次のステップではあまり平滑化させない。

また、このような反復演算ステップで映像の高周波成分のエネルギーが小さくなると
値が小さくなって次のステップではあまり平滑化させない。このような適応的の
の使用は本発明の特徴的要所になる。
数学式18のコスト関数(cost functional)を最小化させる
は数学式18の微分を通じて得ることができて、次のような方程式を満足させる。
数学式20
数学式20の超解像度映像の推定値
は、次のような反復演算技法を通じて求めることができる。
数学式21
ここで、
は収斂速度を調節するためのパラメーターである。

図5は本発明による反復演算方法を示したブロック図面である。図5に示した反復演算処理順序を説明すると、次のようだ。
第1段階: 任意初期値映像(例えば、低解像度映像一枚を補間法で拡大して)を決める。
第2段階: 高解像度映像
をk番目低解像度映像
の動きパラメーター推定値によりレジステレイション(registration)させる(段階 S101)。
第3段階: 第2段階(段階 S101)でレジストレイションさせた映像をブラー(blur; 段階 S102)ダウンサンプリング(down sampling; 段階 S103)させた後、
との差異を求める(段階 S104)。
第4段階: 上記3段階(段階 S102、段階 S103、段階 S104)で求めた差異映像にブロック単位に数学式5の
を推定した後、数学式3の共分散行列と掛ける(段階 S105)。ここで共分散行列と掛けることは簡単にコンボルルション(convolution)に表現される。
第5段階: 上記第4段階(段階S105)の映像を アップサンプリング化(up sampling; 段階 S106)及びブラー(blur; 段階 S107)させる。

第6段階: 上記第5段階(段階S106及び段階S107)の映像を
の動きパラメーター推定値により逆レジストレイション(registration)させる(段階S108)。
第7段階: 正規化関数
を数学式19によって求める(段階S112)。
第8段階:
の差異映像を求めた後(段階 S111)
を掛ける(段階 S113)。
第9段階: 上記第6段階で求めた映像と上記第8段階で求めた映像の差異映像を求める(段階 S114)。
第10段階: 上記第2段階ないし上記第9段階の過程を全て低解像度映像(k=1,……, p)に対して求めた後、合わせる(段階S109)。
第11段階: 上記第10段階で求めた映像に
に足す。
第12段階: 反復演算技法が収斂する時まで第2段階ないし第11段階を繰り返す。

図6aないし図6dは、本発明による超解像度映像復元方法を適用した場合の解像度向上シミュレーション(simulation)結果を示した図面である。図6aは提案したアルゴリズムを通じた解像度向上のシミュレーション結果を示す。
図6aは128x128大きさの圧縮された複数の低解像度映像を示した。この解像度映像は一映像を基準に各々{(0, 0)、(0.5, 0)、(0, 0.5)、(0.5, 0.5)}大きさの副画素の動きを持っている。この映像などのうちの一つの映像を最隣接補間法(nearest neighborhood interpolation)に拡大した映像が図6bで、双一次補間法(bilinear interpolation)に拡大した映像が図6cである。
図6b及び図6cを参照すると、補間法だけを利用した解像度の向上試図は元来の解像度映像から失ったり損傷された高周波成分を探すことができないために解像度向上に大きい限界がある。しかし、本発明による超解像度映像再構成/復元アルゴリズムを利用して解像度が向上された図6dでは図6b及び図6cで見えない高周波成分が生きていることを確認することができる。

また、本発明では圧縮雑音、映像の非静的(nonstationary)特性を再構成過程に含ませたために、図6bと図6cで見えるブロッキングアーティファクト(blocking artifact)及びリングインアーティファクト(ringing artifact)のような圧縮雑音が元来映像の輪郭線を保存しながら除去されたことを確認することができる。
図7は本発明による超解像度の映像復元方法を適用するためのシステムソフトウェアインターフェースを示した図面である。図7に示したプログラムを利用して低解像度の映像を高解像度の映像に復元することができる。

図8は図7に示した低解像度映像を本発明による超解像度映像の復元方法を適用して、高解像度に復元する実施例を示した図面である。
図8aは従来技術による最上隣接補間法(nearest neighborhood interpolation)を利用して単純拡大された映像で、図8bは本発明を通じて復元/再構成された映像である。図8aでは低解像度の映像が持っている情報の限界によって、エイリアシング(aliasing)を除去することができなくて、高周波成分のナンバープレートの数字などがよく見えない。
反面に、本発明を適用した図8bでは低解像度映像などの間のお互い違う情報を利用して、エイリアシング(aliasing)が除去されたために図8aでは確認しにくいナンバープレートの数字などがよく確認される。

前述した内容は後述する発明の特許請求範囲をよりよく理解することができるように本発明の特徴と技術的長所を多少幅広く概設した。本発明の特許請求範囲を構成する附加的な特徴と長所などは以下にで詳述した。開示された本発明の概念と特定実施例は本発明と類似目的を行うための他の構造の設計または修正の基本として手早く使用できることが当該技術分野における熟練者等により認識されるべきてある。

また、本発明で開示された発明の概念と実施例は、本発明の同一目的を遂行するため、異なる構造に修正または設計するための基礎として、当該技術分野の熟練者により使用されるであろう。更に、当該技術分野の熟練者によるそのような修正または変更された等価構造は特許請求範囲において記述した発明の思想や範囲をはずれない限度内で多様な変化、置換および変更は可能である。

以上のように、本発明はデジタルビデオレコーダー(DVR)監視システムでカメラの小型化によった光学的限界、CCD/CMOSイメージセンサーの画素数の不足による空間の解像度の限界、映像圧縮、電送及び貯蔵過程で発生する雑音によるビデオシークエンスのブラー(blur)現象を除去することで、低解像度映像(とくに、犯人の人相と身なりまたは自動車ナンバープレートの数字)に高周波成分を復元させて超解像度の映像での復元及び再構成をできるようにする。その結果、本発明はDVRに貯蔵された低解像度の映像を事後に関心領域に対して高解像度での拡大ができるようにして、低価の低解像度カメラを使用しても高価の高解像度カメラを使用することと同様な効果を発生させる。

本発明による複数個の低解像度映像から超解像度映像を復元及び再構成するアルゴリズムを示す図面。 本発明による超解像度映像復元及び再構成のために低解像度映像を獲得する過程のモデリングを示す図面。 本発明によって遂行されるワーピング過程において、補間処理の必要性を示す図面。 低解像度センサーPSFを示す図面。 本発明による反復演算方法を示すブロック図面。 本発明による超解像度映像復元方法を適用した場合の解像度向上シミュレーション結果を示す図面。 本発明による超解像度映像復元方法を適用した場合の解像度向上シミュレーション結果を示す図面。 本発明による超解像度映像復元方法を適用した場合の解像度向上シミュレーション結果を示す図面。 本発明による超解像度映像復元方法を適用した場合の解像度向上シミュレーション結果を示す図面。 本発明による超解像度の映像復元方法を適用するためのシステムソフトウェアインターフェースを示す図面。 図7に示す低解像度の映像を、従来技術による最上の隣接補間法を利用して単純拡大された映像度を示す図面。 図7に示す低解像度の映像を本発明による超解像の映像復元方法を適用して高解像度に復元/再構成される映像度を示す図面。

Claims (10)

1. 大きさを持つ
   個の低解像度(LR)映像から
   大きさを持つ高解像度(HR)映像を復元再生する方法において、複数個の独立的ブロックに分割されて、DCT変換されて量子化された上記の低解像度映像に対したDCT係数の量子化雑音をガウシアン(Gaussian)分布を持つ離散変数にモデリングして、
   上記
   個の低解像度映像間の副画素(subpixel)単位の動きは基準映像を決めた後に残り映像などの間の動きパラメーターをテーラー級数(Taylor Series)展開を通じて最小自乗推定値を得て推定して、上記高解像度映像の事前知識を示す平滑化束縛条件を非静的(nonstationary)ガウシアン分布に示して、雑音の平均値が零(zero)になる適応的の平滑化束縛条件を適用する(apply)ことで映像の輪郭線を保存しながら圧縮雑音を除去する超解像度映像復元方法。
2. 第1項において、上記低解像度映像
   は高解像度映像
   と
   の関係式（
   は相対的動き差異を示す幾何学的ワ─ピング行列、
   はブラー(blur)を示す行列、
   は高解像度映像から低解像度映像までのアンダ−サンプリング(under sampling)を示す行列、
   は圧縮雑音を含んだ雑音)でモデリングすることを特徴とする超解像度映像復元方法。
3. 第1項において、上記超解像度映像復元方法は
   (a)上記p個の低解像度映像中の任意の一つの低解像度映像を補間法に拡大して初期値高解像度映像
   に設定する段階;
   (b)上記段階(a)の高解像度映像
   をk番目低解像度映像
   の動きパラメーター推定値によりレジストレイション(registration)して得た映像をブラー(blur)処理及びダウンサンプリングさせた後、k番目低解像度映像
   との差異映像を算出する段階;
   (c)上記段階(b)の差異映像にブロック単位に第1次マルコープ(Markov)過程でのワンステップ連関パラメーター(one-step correlation parameter)を推定した後、共分散行列を掛けて、アップサンプリング化(up sampling)過程及びブラー処理(blur)過程を遂行する段階;
   (d)上記段階(c)結果映像をk番目低解像度映像
   の動きパラメーター推定値により逆レジストレイションする段階;
   (e)正規化関数
   を算出する段階;
   (f)上記段階(a)の高解像度映像
   と上記高解像度映像の非静的平均
   の差異を演算して上記段階(e)の
   を掛ける段階;
   (g)上記段階(d)で算出した映像と上記段階(f)で算出した映像の差異映像を演算する段階;
   (h)上記段階(a)ないし段階(g)の過程を低解像度映像
   に対して繰り返して演算した後、これを全部合算する段階;
   (i)上記段階(h)の演算結果に収斂速度調節パラメーターを掛けて段階(a)の高解像度映像
   を足すことで新しい
   v を獲得する段階; 及び
   (j)上記段階(a)ないし段階(i)の過程を
   が
   で収斂する時まで繰り返して高解像度映像
   を得る段階
   を含むことを特徴とする超解像度映像復元方法。
4. 第3項において、上記圧縮雑音を映像の任意ーブロックで辞書編纂式に配列するベクトル
   に表示して、DCT領域での量子化雑音の確率密度関数を
   にモデリングすること(
   は正規化常数、
   は共分散行列)を特徴とする超解像度映像復元方法。
5. 第4項において、上記共分散行列の逆行列
   をDCTベイシス関数を固有ベクトルに持つ行列にモデリングすることを特徴とする超解像度映像復元方法。
6. 第3項において、上記ワンステップ連関パラメーターは各DCTブロック内でバイアスされたサンプル演算字を使用して推定することを特徴とする超解像度映像復元方法。
7. 第1項において、上記動きパラメーター推定値
   は
   に表現されることを特徴とする超解像度映像復元方法。
8. 第1項において、上記圧縮雑音は辞書編纂式に配列したベクトル
   に示す時に、上記
   の相関関係を示す共分散行列の逆行列はDCTベイシス関数を固有ベクトルにして、トリ−ダイアゴナルジャコビ(tri-diagonal Jacobi)行列をクロネッカ(kronecker)掛け算をしたことでモデリングすることを特徴とする超解像度映像復元方法。
9. 第1項において、上記平滑化束縛条件は
   ここで、
   の非静的平均を示して、
   加重値
   は
   に表現されることを特徴とする超解像度映像復元方法。
10. 第1項において、上記超解像度映像復元方法は
    を使用して映像充実度と平滑化束縛の間のバランスを調節する段階をさらに含む超解像度映像復元方法。