JP2011055244A - エラーコンシールメント処理装置とこの装置を用いた動画像復号器、動画像復号方法及び動画像復号プログラム - Google Patents
エラーコンシールメント処理装置とこの装置を用いた動画像復号器、動画像復号方法及び動画像復号プログラム Download PDFInfo
- Publication number
- JP2011055244A JP2011055244A JP2009202118A JP2009202118A JP2011055244A JP 2011055244 A JP2011055244 A JP 2011055244A JP 2009202118 A JP2009202118 A JP 2009202118A JP 2009202118 A JP2009202118 A JP 2009202118A JP 2011055244 A JP2011055244 A JP 2011055244A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- motion vector
- error
- pixel
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】動き補償フレーム間予測により圧縮符号化された動画像信号の消失領域を高精度に復元する。
【解決手段】各時刻におけるフレーム内の全画素について、誤差分散保持マップを作成し、このマップをカルマンフィルタ・アルゴリズムにより更新していく。具体的には、初期値として推定誤差共分散行列Pax,y(t)と対角行列Qu(t)を設定し（Ｓ３１）、状態遷移結果At(Xx+dx,y+dy(t-1))を用いて推定誤差共分散行列Pbx,y(t)を求める（Ｓ３２）。次に、対角行列Qv(t)，観測行列Hx,y(t)を用いてKx,y(t)を求め（Ｓ３３）、再度状態遷移結果を用いて動きベクトルX- x,y(t)を求め（Ｓ３４）、再度観測行列を用いて推定現画像X^ x,y(t)を求める（Ｓ３５）。以後、この推定原画像を用いて推定誤差共分散行列Pax,y(t)を更新し（Ｓ３６）、Ｓ３２から上記の処理を繰り返し実行する。
【選択図】 図５
【解決手段】各時刻におけるフレーム内の全画素について、誤差分散保持マップを作成し、このマップをカルマンフィルタ・アルゴリズムにより更新していく。具体的には、初期値として推定誤差共分散行列Pax,y(t)と対角行列Qu(t)を設定し（Ｓ３１）、状態遷移結果At(Xx+dx,y+dy(t-1))を用いて推定誤差共分散行列Pbx,y(t)を求める（Ｓ３２）。次に、対角行列Qv(t)，観測行列Hx,y(t)を用いてKx,y(t)を求め（Ｓ３３）、再度状態遷移結果を用いて動きベクトルX- x,y(t)を求め（Ｓ３４）、再度観測行列を用いて推定現画像X^ x,y(t)を求める（Ｓ３５）。以後、この推定原画像を用いて推定誤差共分散行列Pax,y(t)を更新し（Ｓ３６）、Ｓ３２から上記の処理を繰り返し実行する。
【選択図】 図５
Description
本発明は、フレーム単位で符号化された動画像信号を復号する動画像復号器、動画像復号方法及び動画像復号プログラムに係り、特に伝送中の障害等によって復号画像に誤り領域あるいは消失領域が発生した際の復元処理に寄与するカルマンフィルタ・アルゴリズムを用いたエラーコンシールメント処理に関する。
フレーム単位で符号化された動画像を復号する動画像復号器では、一般に、符号化に際して計算された動きベクトルと動き補償予測誤差を用いて復号処理が行なわれる。しかしながら、これらの手法だけでは、伝送中の障害等によって受信信号が正しく復調できなかった場合に、動きベクトルや動き補償予測誤差のデータが失われてしまい、結果として復号画像に誤りによる歪みや消失が生じた領域（以下、消失領域で総称する）が発生する。
この問題を解決する手段として、消失領域の近傍領域の動きベクトルから消失領域の動きベクトルを推定して、前のフレームから輝度値を補間する手法が提案されている（例えば、非特許文献１を参照）。しかしながら、この手法では近傍ブロックが使用できない場合は復元が困難であり、また動物体を含むフレームでは、再推定される動きベクトルの精度が低く、高精度な復元ができない等の問題がある。
また、消失領域が存在するフレームと同じフレーム内だけの情報を用いて、空間領域で消失ブロックの輝度値を補間する手法も提案されている。このような手法としては、周りの画素を使って境界の誤差が最小になるように補間する方法（例えば、非特許文献２を参照）と、周りの画素のエッジ情報を利用する方法（例えば、非特許文献３を参照）が提案されている。しかしながら、これらの手法はフレーム間の相関を消失ブロックの輝度値の推定に用いていないため、高精度の復元を行うことができないという問題がある。
そこで、フレーム間の相関を用いた方法として、バウンダリ・マッチング・アルゴリズムが提案されている。この方法では、消失領域の近傍に存在する輝度値が既知の領域から消失領域の動きベクトルを推定し、推定された動きベクトルによって対応づけられる前フレームの領域の輝度値を消失領域に対して補間する（例えば、非特許文献４を参照）。しかしながら、このバウンダリ・マッチング・アルゴリズムでは、前フレームの対応領域の輝度値を消失領域に補間する際に生じる誤差を考慮していないため、以降に復元されるフレームに誤差が伝搬するという新たな問題が発生する。
一方、上記のように、動きベクトルや動き補償予測誤差のデータが失われてしまった場合でも消失領域を復元する技術として、エラーコンシールメント処理が提案されている（例えば、非特許文献５を参照）。このエラーコンシールメント処理は、消失領域の動きベクトルを高精度に求め、誤差が最小となる輝度値の補間を行うもので、この処理を行ってバウンダリ・マッチング・アルゴリズムを行えば、以降に復元されるフレームに伝搬される誤差を低減することが可能となる。したがって、このエラーコンシールメント処理をより高精度に行うことが課題となっている。
M. Ghanbari and V. Seferidis, "Cell loss concealment in ATM video codecs," IEEE Trans. Circuit System Video Technol., vol. 3, pp. 238-247, June 1993.
S. S. Hemami and T. H. Y. Meng, "Transform coded image reconstruction exploiting interblock correlations," IEEE Trans. Image Processing, vol. 4, pp. 1023-1027, July 1995.
H. Sun and W. Kwok, "Concealment of damaged block transform coded images using projection onto convex sets," IEEE Trans. Image Processing, vol. 4, pp. 470-477, Apr. 1995.
W.M.Lam, A.R.Reibman and B.Liu, ‘Recovery of lost or erroneously received motion vectors,’ Proc. ICASSP 1993, vol.5, pp.417-420.
高橋茂樹・小川貴弘・田中宏和・長谷山美紀：‘カルマンフィルタを用いたエラーコンシールメントに関する一検討、’電子情報通信学会技術報告、IE2007-64, pp.13-16, Feb.2008.
以上述べたように、従来の動画像復号器では、動きベクトルや動き補償予測誤差のデータが失われてしまった場合でも、消失領域を復元するために、エラーコンシールメント処理をより高精度に行うことが重要な課題となっている。
本発明は上記の課題に鑑みてなされたもので、動きベクトルや動き補償予測誤差のデータが失われてしまった消失領域について、推定した動きベクトルによる補間結果の誤差を考慮して、最終的に消失領域の輝度値をより高精度に補間することのできるエラーコンシールメント処理装置を提供すると共に、このエラーコンシールメント処理装置を用いることで、受信信号が正しく復調できなかった場合でも消失領域をより高精度に復元することのできる動画像復号器、動画像復号方法及び動画像復号プログラムを提供することを目的とする。
上記問題を解決するために、本発明は、以下のような特徴的構成を備える。
（１）ブロック単位で動き補償フレーム間予測により圧縮符号化された動画像信号から第１フレーム上の動きベクトルを検出し、前記検出された動きベクトルとそれに対応する動き補償値から第２フレームを生成することで元の動画像信号を復号する動画像復号器に用いられ、前記第２フレームの復号信号から前記動きベクトル及び動き補償値の消失又は誤りを検出し、前記第２フレーム上での前記消失又は誤りの位置を特定し復元するエラーコンシールメント処理装置であって、
前記第２フレームにおける消失又は誤りの不良領域を検出して当該不良領域をN×N（Nは２以上の自然数）画素の領域毎に分割し、分割された不良領域それぞれに対して第１の動きベクトルを推定することで第１フレーム上の対応するN×N画素の領域を推定し、その推定された領域における各画素の輝度値で前記第２フレーム上の分割不良領域を補間する補間手段と、
前記第２フレーム上の分割不良領域それぞれについて、前記分割不良領域内の各画素を中心としたL×L（LはN以下の自然数）画素の小領域Xx,y(t)に対して、それぞれ第２の動きベクトル(vx,vy)を計算し、この第２の動きベクトルに基づいて前記第１のフレーム上の対応するL×L画素の小領域の輝度値Xx+dx,y+dy(t-1)を計算し、前記小領域の輝度値Xx+dx,y+dy(t-1)から前記第２フレーム上の小領域の輝度値Xx,y(t)を推定する行列Atを求める行列演算手段と、
前記第２のフレーム上におけるL×L画素の小領域の輝度値Xx,y(t)と前記観測画像Zx,y(t)を与える観測行列Hx,y(t)を用いてZx,y(t)- Hx,y(t)・Xx,y(t)と表される誤差ベクトルV(t)を推定する推定手段と、
前記推定手段の推定結果に基づいて各時刻におけるフレーム内の全画素について誤差分散を保持するマップを作成し、前記マップをカルマンフィルタ・アルゴリズムにより更新するマップ作成・更新手段と
を具備し、
前記補間手段は、前記マップをカルマンフィルタ・アルゴリズムにより更新していくことで前記行列Atによって得られた動きベクトルに合わせて、第１フレームの参照領域の誤差分散行列から第２フレームの誤差共分散行列を推定し、この推定誤差分散行列に基づいて前記第２フレーム上の分割不良領域における各画素の輝度値Xx,y(t)を補間することを特徴とする。
前記第２フレームにおける消失又は誤りの不良領域を検出して当該不良領域をN×N（Nは２以上の自然数）画素の領域毎に分割し、分割された不良領域それぞれに対して第１の動きベクトルを推定することで第１フレーム上の対応するN×N画素の領域を推定し、その推定された領域における各画素の輝度値で前記第２フレーム上の分割不良領域を補間する補間手段と、
前記第２フレーム上の分割不良領域それぞれについて、前記分割不良領域内の各画素を中心としたL×L（LはN以下の自然数）画素の小領域Xx,y(t)に対して、それぞれ第２の動きベクトル(vx,vy)を計算し、この第２の動きベクトルに基づいて前記第１のフレーム上の対応するL×L画素の小領域の輝度値Xx+dx,y+dy(t-1)を計算し、前記小領域の輝度値Xx+dx,y+dy(t-1)から前記第２フレーム上の小領域の輝度値Xx,y(t)を推定する行列Atを求める行列演算手段と、
前記第２のフレーム上におけるL×L画素の小領域の輝度値Xx,y(t)と前記観測画像Zx,y(t)を与える観測行列Hx,y(t)を用いてZx,y(t)- Hx,y(t)・Xx,y(t)と表される誤差ベクトルV(t)を推定する推定手段と、
前記推定手段の推定結果に基づいて各時刻におけるフレーム内の全画素について誤差分散を保持するマップを作成し、前記マップをカルマンフィルタ・アルゴリズムにより更新するマップ作成・更新手段と
を具備し、
前記補間手段は、前記マップをカルマンフィルタ・アルゴリズムにより更新していくことで前記行列Atによって得られた動きベクトルに合わせて、第１フレームの参照領域の誤差分散行列から第２フレームの誤差共分散行列を推定し、この推定誤差分散行列に基づいて前記第２フレーム上の分割不良領域における各画素の輝度値Xx,y(t)を補間することを特徴とする。
（２）M×M（Mは２以上の自然数）画素のブロック単位で動き補償フレーム間予測により圧縮符号化された動画像信号を入力して、第１フレーム上の動きベクトルを検出し、前記第１フレームから検出された動きベクトルとそれに対応する動き補償予測値から第２フレームを生成することで元の動画像信号を復号する動画像復号器であって、
前記第２フレームにおける消失又は誤りの不良領域Ψを検出して当該不良領域ΨをN×N（N≦M）画素を単位とする複数の不良領域ωtに分割し、分割された不良領域ωtそれぞれに対して第１の動きベクトル（d＝(dx,dy)）を推定することで第１フレーム上の対応するN×N画素の複数の領域ωt-1を推定し、その推定された領域ωt-1における各画素の輝度値で前記第２フレーム上の分割不良領域ωtを補間するマッチング処理手段と、
前記第２フレーム上の分割不良領域ωtにおいて、前記分割不良領域内の各画素を中心としたL×L画素（L≦N）の小不良領域γtに対してそれぞれ第２の動きベクトル（v＝(vx,vy)）を計算し、この第２の動きベクトルに基づいて前記第１フレーム上のL×L画素の複数の小領域γt-1を推定し、前記第１フレーム上の複数の小推定領域γt-1それぞれの画素における輝度値Xx+vx,y+vy(t-1)から前記第２フレームの複数の小不良領域γtの原画像における画素の輝度値Xx,y(t)を推定する行列Atを求める前処理手段と、
前記第２フレーム上におけるL×L画素の小不良領域γtの推定輝度値Xx,y(t)から前記観測画像Zx,y(t)を与える観測行列Hx,y(t)を用いて、Zx,y(t)−Hx,y(t) Xx,y(t)と表される誤差ベクトルを推定する推定手段と、
前記推定手段の推定結果に基づいて各時刻における踏む内の全画素について誤差分散を保持するマップを作成し、前記マップをカルマンフィルタ・アルゴリズムにより更新するマップ作成・更新手段と
を具備し、
前記マッチング処理手段は、前記マップをカルマンフィルタ・アルゴリズムにより更新していくことで前記行列Atによって得られた動きベクトルに合わせて、第１フレームの参照領域の誤差分散行列から第２フレームの誤差共分散行列を推定し、この推定誤差分散行列に基づいて前記第２フレーム上の分割不良領域における各画素の輝度値Xx,y(t)を補間して元の動画像信号を復号することを特徴とする。
前記第２フレームにおける消失又は誤りの不良領域Ψを検出して当該不良領域ΨをN×N（N≦M）画素を単位とする複数の不良領域ωtに分割し、分割された不良領域ωtそれぞれに対して第１の動きベクトル（d＝(dx,dy)）を推定することで第１フレーム上の対応するN×N画素の複数の領域ωt-1を推定し、その推定された領域ωt-1における各画素の輝度値で前記第２フレーム上の分割不良領域ωtを補間するマッチング処理手段と、
前記第２フレーム上の分割不良領域ωtにおいて、前記分割不良領域内の各画素を中心としたL×L画素（L≦N）の小不良領域γtに対してそれぞれ第２の動きベクトル（v＝(vx,vy)）を計算し、この第２の動きベクトルに基づいて前記第１フレーム上のL×L画素の複数の小領域γt-1を推定し、前記第１フレーム上の複数の小推定領域γt-1それぞれの画素における輝度値Xx+vx,y+vy(t-1)から前記第２フレームの複数の小不良領域γtの原画像における画素の輝度値Xx,y(t)を推定する行列Atを求める前処理手段と、
前記第２フレーム上におけるL×L画素の小不良領域γtの推定輝度値Xx,y(t)から前記観測画像Zx,y(t)を与える観測行列Hx,y(t)を用いて、Zx,y(t)−Hx,y(t) Xx,y(t)と表される誤差ベクトルを推定する推定手段と、
前記推定手段の推定結果に基づいて各時刻における踏む内の全画素について誤差分散を保持するマップを作成し、前記マップをカルマンフィルタ・アルゴリズムにより更新するマップ作成・更新手段と
を具備し、
前記マッチング処理手段は、前記マップをカルマンフィルタ・アルゴリズムにより更新していくことで前記行列Atによって得られた動きベクトルに合わせて、第１フレームの参照領域の誤差分散行列から第２フレームの誤差共分散行列を推定し、この推定誤差分散行列に基づいて前記第２フレーム上の分割不良領域における各画素の輝度値Xx,y(t)を補間して元の動画像信号を復号することを特徴とする。
（３）M×M（Mは２以上の自然数）画素のブロック単位で動き補償フレーム間予測により圧縮符号化された動画像信号を入力して、第１フレーム上の動きベクトルを検出し、前記第１フレームから検出された動きベクトルとそれに対応する動き補償予測値から第２フレームを生成することで元の動画像信号を復号する動画像復号方法であって、
前記第２フレームにおける消失又は誤りの不良領域Ψを検出して当該不良領域ΨをN×N（N≦M）画素を単位とする複数の不良領域ωtに分割し、分割された不良領域ωtそれぞれに対して第１の動きベクトル（d＝(dx,dy)）を推定することで第１フレーム上の対応するN×N画素の複数の領域ωt-1を推定し、その推定された領域ωt-1における各画素の輝度値で前記第２フレーム上の分割不良領域ωtを補間するマッチング処理を行い、
前記第２フレーム上の分割不良領域ωtにおいて、前記分割不良領域内の各画素を中心としたL×L画素（L≦N）の小不良領域γtに対してそれぞれ第２の動きベクトル（v＝(vx,vy)）を計算し、この第２の動きベクトルに基づいて前記第１フレーム上のL×L画素の複数の小領域γt-1を推定し、前記第１フレーム上の複数の小推定領域γt-1それぞれの画素における輝度値Xx+vx,y+vy(t-1)から前記第２フレームの複数の小不良領域γtの原画像における画素の輝度値Xx,y(t)を推定する行列Atを求める前処理を行い、
前記第２フレーム上におけるL×L画素の小不良領域γtの推定輝度値Xx,y(t)から前記観測画像Zx,y(t)を与える観測行列Hx,y(t)を用いて、Zx,y(t)−Hx,y(t) Xx,y(t)と表される誤差ベクトルを推定する推定処理を行い、
前記推定処理結果に基づいて各時刻における踏む内の全画素について誤差分散を保持するマップを作成し、前記マップをカルマンフィルタ・アルゴリズムにより更新するマップ作成・更新処理を行いこととし、
前記マッチング処理は、前記マップをカルマンフィルタ・アルゴリズムにより更新していくことで前記行列Atによって得られた動きベクトルに合わせて、第１フレームの参照領域の誤差分散行列から第２フレームの誤差共分散行列を推定し、この推定誤差分散行列に基づいて前記第２フレーム上の分割不良領域における各画素の輝度値Xx,y(t)を補間して元の動画像信号を復号することを特徴とする。
前記第２フレームにおける消失又は誤りの不良領域Ψを検出して当該不良領域ΨをN×N（N≦M）画素を単位とする複数の不良領域ωtに分割し、分割された不良領域ωtそれぞれに対して第１の動きベクトル（d＝(dx,dy)）を推定することで第１フレーム上の対応するN×N画素の複数の領域ωt-1を推定し、その推定された領域ωt-1における各画素の輝度値で前記第２フレーム上の分割不良領域ωtを補間するマッチング処理を行い、
前記第２フレーム上の分割不良領域ωtにおいて、前記分割不良領域内の各画素を中心としたL×L画素（L≦N）の小不良領域γtに対してそれぞれ第２の動きベクトル（v＝(vx,vy)）を計算し、この第２の動きベクトルに基づいて前記第１フレーム上のL×L画素の複数の小領域γt-1を推定し、前記第１フレーム上の複数の小推定領域γt-1それぞれの画素における輝度値Xx+vx,y+vy(t-1)から前記第２フレームの複数の小不良領域γtの原画像における画素の輝度値Xx,y(t)を推定する行列Atを求める前処理を行い、
前記第２フレーム上におけるL×L画素の小不良領域γtの推定輝度値Xx,y(t)から前記観測画像Zx,y(t)を与える観測行列Hx,y(t)を用いて、Zx,y(t)−Hx,y(t) Xx,y(t)と表される誤差ベクトルを推定する推定処理を行い、
前記推定処理結果に基づいて各時刻における踏む内の全画素について誤差分散を保持するマップを作成し、前記マップをカルマンフィルタ・アルゴリズムにより更新するマップ作成・更新処理を行いこととし、
前記マッチング処理は、前記マップをカルマンフィルタ・アルゴリズムにより更新していくことで前記行列Atによって得られた動きベクトルに合わせて、第１フレームの参照領域の誤差分散行列から第２フレームの誤差共分散行列を推定し、この推定誤差分散行列に基づいて前記第２フレーム上の分割不良領域における各画素の輝度値Xx,y(t)を補間して元の動画像信号を復号することを特徴とする。
（４）M×M（Mは２以上の自然数）画素のブロック単位で動き補償フレーム間予測により圧縮符号化された動画像信号を入力して、第１フレーム上の動きベクトルを検出し、前記第１フレームから検出された動きベクトルとそれに対応する動き補償予測値から第２フレームを生成することで元の動画像信号を復号する動画像復号処理をコンピュータに実行させる動画像復号プログラムであって、
前記第２フレームにおける消失又は誤りの不良領域Ψを検出して当該不良領域ΨをN×N（N≦M）画素を単位とする複数の不良領域ωtに分割し、分割された不良領域ωtそれぞれに対して第１の動きベクトル（d＝(dx,dy)）を推定することで第１フレーム上の対応するN×N画素の複数の領域ωt-1を推定し、その推定された領域ωt-1における各画素の輝度値で前記第２フレーム上の分割不良領域ωtを補間するマッチング処理を実行させ、
前記第２フレーム上の分割不良領域ωtにおいて、前記分割不良領域内の各画素を中心としたL×L画素（L≦N）の小不良領域γtに対してそれぞれ第２の動きベクトル（v＝(vx,vy)）を計算し、この第２の動きベクトルに基づいて前記第１フレーム上のL×L画素の複数の小領域γt-1を推定し、前記第１フレーム上の複数の小推定領域γt-1それぞれの画素における輝度値Xx+vx,y+vy(t-1)から前記第２フレームの複数の小不良領域γtの原画像における画素の輝度値Xx,y(t)を推定する行列Atを求める前処理を実行させ、
前記第２フレーム上におけるL×L画素の小不良領域γtの推定輝度値Xx,y(t)から前記観測画像Zx,y(t)を与える観測行列Hx,y(t)を用いて、Zx,y(t)−Hx,y(t) Xx,y(t)と表される誤差ベクトルを推定する推定処理を実行させ、
前記推定処理結果に基づいて各時刻における踏む内の全画素について誤差分散を保持するマップを作成し、前記マップをカルマンフィルタ・アルゴリズムにより更新するマップ作成・更新処理を実行させることとし、
前記マッチング処理は、前記マップをカルマンフィルタ・アルゴリズムにより更新していくことで前記行列Atによって得られた動きベクトルに合わせて、第１フレームの参照領域の誤差分散行列から第２フレームの誤差共分散行列を推定し、この推定誤差分散行列に基づいて前記第２フレーム上の分割不良領域における各画素の輝度値Xx,y(t)を補間して元の動画像信号の復号処理を実行させることを特徴とする。
前記第２フレームにおける消失又は誤りの不良領域Ψを検出して当該不良領域ΨをN×N（N≦M）画素を単位とする複数の不良領域ωtに分割し、分割された不良領域ωtそれぞれに対して第１の動きベクトル（d＝(dx,dy)）を推定することで第１フレーム上の対応するN×N画素の複数の領域ωt-1を推定し、その推定された領域ωt-1における各画素の輝度値で前記第２フレーム上の分割不良領域ωtを補間するマッチング処理を実行させ、
前記第２フレーム上の分割不良領域ωtにおいて、前記分割不良領域内の各画素を中心としたL×L画素（L≦N）の小不良領域γtに対してそれぞれ第２の動きベクトル（v＝(vx,vy)）を計算し、この第２の動きベクトルに基づいて前記第１フレーム上のL×L画素の複数の小領域γt-1を推定し、前記第１フレーム上の複数の小推定領域γt-1それぞれの画素における輝度値Xx+vx,y+vy(t-1)から前記第２フレームの複数の小不良領域γtの原画像における画素の輝度値Xx,y(t)を推定する行列Atを求める前処理を実行させ、
前記第２フレーム上におけるL×L画素の小不良領域γtの推定輝度値Xx,y(t)から前記観測画像Zx,y(t)を与える観測行列Hx,y(t)を用いて、Zx,y(t)−Hx,y(t) Xx,y(t)と表される誤差ベクトルを推定する推定処理を実行させ、
前記推定処理結果に基づいて各時刻における踏む内の全画素について誤差分散を保持するマップを作成し、前記マップをカルマンフィルタ・アルゴリズムにより更新するマップ作成・更新処理を実行させることとし、
前記マッチング処理は、前記マップをカルマンフィルタ・アルゴリズムにより更新していくことで前記行列Atによって得られた動きベクトルに合わせて、第１フレームの参照領域の誤差分散行列から第２フレームの誤差共分散行列を推定し、この推定誤差分散行列に基づいて前記第２フレーム上の分割不良領域における各画素の輝度値Xx,y(t)を補間して元の動画像信号の復号処理を実行させることを特徴とする。
以上のように、本発明は、エラーコンシールメント処理において、各時刻におけるフレーム内の全画素について、誤差分散を保持するマップを作成し、このマップをカルマンフィルタ・アルゴリズムにより更新していくことで、動きベクトルに合わせた誤差共分散行列の推定を可能とする。この結果、動きベクトルや動き補償予測誤差のデータが失われてしまった場合でも、消失領域について推定した動きベクトルによる補間結果の誤差を考慮した補正を行い、かつ領域間で推定誤差共分散行列を対応付けることができるようになる。
したがって、本発明によれば、動きベクトルや動き補償予測誤差のデータが失われてしまった場合でも、消失領域の動きベクトルを高精度に推定して、誤差が最小となるように消失領域の輝度値を補間することのできるエラーコンシールメント処理装置を提供することができ、このエラーコンシールメント処理装置を用いることで、受信信号が正しく復調できなかった場合でもより高精度に消失領域を復元することのできる動画像復号器、動画像復号方法及び動画像復号プログラムを提供することができる。
以下、図面を参照して本発明の実施の形態について説明する。尚、ここでは、受信された動画像の符号化系列に誤りがあり、復号画像に消失部分が発生した際の、本発明による消失領域補間手順を、以下図面を用いて具体的に説明する。
図１は、本発明の一実施形態として、本発明の特徴をなすエラーコンシールメント処理を含む動画像復号器の基本構成を示すブロック図である。図１において、信号分解部１１は、図示しない受信部で復調された、M×M（Mは２以上の自然数）画素のブロック単位で動き補償フレーム間予測により圧縮符号化された動画像信号を入力し、この動画像信号を動きベクトルとＤＣＴ（Discrete Cosine Transform：離散コサイン変換）係数に分解する。このうちＤＣＴ係数は逆ＤＣＴ演算部１２に送られる。この逆ＤＣＴ演算部１２は、入力されたＤＣＴ係数の逆ＤＣＴを演算することによって予測誤差を求めるもので、この予測誤差は動きベクトルと共にフレーム間予測復号部１３に送られる。
このフレーム間予測復号部１３は、フレームメモリ１４に保存される前フレーム画像を取り込み、この前フレーム画像と新たに入力される動きベクトルと予測誤差から次フレーム画像を復号する。この復号処理には、エラーコンシールメント処理が含まれる。このエラーコンシールメント処理は、図２に示すマッチング処理Ｓ１、推定前処理Ｓ２、原画像推定処理Ｓ３を順に実行することで、消失領域の復元を行う。
上記フレーム間予測復号部１３のエラーコンシールメント処理について、図３乃至図５を参照してその手順を説明する。
図３は図２に示すマッチング処理Ｓ１の様子を示す概念図、図４は図２に示す推定前処理Ｓ２の様子を示す概念図、図５は図２に示す推定処理に用いられるカルマンフィルタ処理の手順を示すフローチャートである。尚、ここでは説明を簡単にするため、時刻tの動画像フレームをFrame tとし、その１フレーム前の時刻t-1の動画像フレームをFrame t-1として表す。
まず、マッチング処理Ｓ１では、図３に示すように、ブロック・マッチング法を用いて、Frame tの消失領域ΨをN×N（N≦M）画素単位で分割して分割消失領域ωtを求め、個々の分割消失領域ωtを先に復元されたFrame t-1の推定画像の対応領域ωt-1から再構成する。
次に、推定前処理Ｓ２では、図４に示すように、ブロック・マッチング法を用いてFrame tの分割消失領域ωtの局所領域γtに対応するFrame t-1の推定画像の局所領域γt-1を求める。そして、分割消失領域ωtの局所領域γtに含まれるN×N画素のブロックより小さい小ブロックの全ての画素L×Lについて、Frame t-1の領域ωt-1の対応付けられた局所領域γt-1内から画素単位で第２の動きベクトルv＝(vx,vy)を算出する。
最後に、原画像推定処理Ｓ３では、推定前処理Ｓ２で得られた結果から遷移モデルと観測モデルを定義し、図５に示すカルマンフィルタ・アルゴリズムを用いて原画像の推定を行う。このカルマンフィルタ・アルゴリズムは、前の時刻の画像と次の時刻の画像との変化を動きベクトルを用いて表す状態遷移モデルと、原画像と観測画像との対応関係を観測行列を用いて表す観測モデルとを使用して、ブロック単位（ここではN×N画素）で画像を推定する手法である。尚、カルマンフィルタ・アルゴリズムの詳細については、新版「応用カルマンフィルタ」片山徹著、2000年1月20日朝倉書店発行に紹介されている。
以下、上述の処理手順Ｓ１〜Ｓ３で実行される処理の内容をより詳しく説明する。
［マッチング処理Ｓ１］
上記マッチング処理Ｓ１では、分割消失領域ωtにおける画素(x,y)の輝度値をft(x,y)とし、分割消失領域ωtの第１の動きベクトル（d＝(dx,dy)）を以下のように推定する。尚、ここでは、バウンダリ・マッチング・アルゴリズムを用いるが、前のフレームから動きベクトルを推定して、現フレームの画素値を推定する他の方法でもよい。
上記マッチング処理Ｓ１では、分割消失領域ωtにおける画素(x,y)の輝度値をft(x,y)とし、分割消失領域ωtの第１の動きベクトル（d＝(dx,dy)）を以下のように推定する。尚、ここでは、バウンダリ・マッチング・アルゴリズムを用いるが、前のフレームから動きベクトルを推定して、現フレームの画素値を推定する他の方法でもよい。
Frame tの消失領域Ψを分割したN×N画素の分割消失領域ωtと同じ位置に相当するFrame t-1のN×N画素の分割推定領域をωt-1とし、及び分割推定領域ωt-1を含むその近傍領域をΩとすると、Frame tの分割消失領域ωtは、Frame t-1ではこの領域Ω内に存在したものと推定される。
ここで、領域ωt，ωt-1それぞれの左上端の画素の位置を(x0,y0)とし、右上端を(x0＋N,y0)、左下端を(x0,y0＋N)とする。そして、分割推定領域ωt-1の上辺画素の画素値ft-1(x,y0)（x0≦x≦x0＋N−1）と分割消失領域ωtの上辺より１画素上の画素の輝度値ft(x,y0−1)（x0≦x≦x0＋N−1）との間の分散値をCA、分割推定領域ωt-1の左辺の画素の輝度値ft-1(x0,y)（y0≦y≦y0＋N−1）とωtの左辺より１画素左の画素の輝度値ft(x0−1,y)（y0≦y≦y0＋N−1）との間の分散値をCL、分割推定領域ωt-1の下辺の画素の輝度値ft-1(x,y0＋N−１)（x0≦x≦x0＋N−1）と分割消失領域ωtの下辺より１画素下の画素の輝度値ft(x,y0＋N)（x0≦x≦x0＋N−1）との間の分散値をCBとすると、各分散値CA，CL及びCBはそれぞれ下記のように計算することができる。
画素(x,y)の位置を近傍領域Ω内で順次移動させ、各画素(x,y)に対して上記分散値CA，CL及びCBを計算し、全分散値C＝CA＋CL＋CBが最小となる位置(x＋dx,y＋dy)から第１の動きベクトルd＝(dx,dy)を推定する。そして位置(x＋dx,y＋dy)を中心とするN×N画素の領域の画素値を分割消失領域ωtに対して補間する。
［推定前処理Ｓ２］
上記推定前処理Ｓ２では、図４に示すように、マッチング処理Ｓ１により復元されたFrame tの画像において、分割消失領域ωtに補間されたN×N画素の各画素を中心とするL×L画素（L≦N）の局所領域γtを構成し、この局所領域γt単位でブロック・マッチング法を行い、局所領域γtの動きベクトルv＝(vx,vy)とFrame t上の局所領域γtに対するFrame t-1上の局所領域γt-1を求める。
上記推定前処理Ｓ２では、図４に示すように、マッチング処理Ｓ１により復元されたFrame tの画像において、分割消失領域ωtに補間されたN×N画素の各画素を中心とするL×L画素（L≦N）の局所領域γtを構成し、この局所領域γt単位でブロック・マッチング法を行い、局所領域γtの動きベクトルv＝(vx,vy)とFrame t上の局所領域γtに対するFrame t-1上の局所領域γt-1を求める。
次に、それら２つの局所領域γt，γt-1の間における画素どうしの対応を求めることで、対象とするFrame tの画素おける輝度値Xx,y(t)をFrame t-1の画素における輝度値Xx+vx,y+vy(t-1)から推定する。この処理において、Frame tの各局所領域γtの原画像の画素の輝度値Xx,y(t)を推定する行列Ax,y(t)のk行l列目要素は、Xx,y(t)のk番目の要素とXx+vx,y+vy(t-1)のl番目の要素が対応する場合には１となり、そうでない場合には０となる。
［原画像推定処理Ｓ３］
まず、原画像および観測画像から切り出される局所領域γt内の各画素の輝度値をXx,y(t)、Zx,y(t)とすると、状態遷移モデルおよび観測モデルはそれぞれ以下のように表わされる。
まず、原画像および観測画像から切り出される局所領域γt内の各画素の輝度値をXx,y(t)、Zx,y(t)とすると、状態遷移モデルおよび観測モデルはそれぞれ以下のように表わされる。
ここで、Xx,y(t)およびZx,y(t)は、それぞれFrame tにおいて、原画像および観測画像の画素(x,y)を中心とする消失領域における各画素の輝度値をラスタ走査したベクトルである。
さらにその他の行列およびベクトルは以下のように定義される。
・At：各要素が０または１であり、動きベクトル(vx,vy)によって対応付けられるFrame t-1の局所領域γt-1における各画素の輝度値Xx+vx,y+vy(t-1)から、Frame tの局所領域γtにおける各画素の輝度値Xx,y(t)を推定する行列。
・U(t)：Xx,y(t)−Ax,y(t) Xx+vx,y+vy(t-1)を表す誤差ベクトル。
・Hx,y(t)：原画像から観測画像を与える観測行列。
・V(t)：Zx,y(t)−Hx,y(t) Xx,y(t)を表す誤差ベクトル。
・At：各要素が０または１であり、動きベクトル(vx,vy)によって対応付けられるFrame t-1の局所領域γt-1における各画素の輝度値Xx+vx,y+vy(t-1)から、Frame tの局所領域γtにおける各画素の輝度値Xx,y(t)を推定する行列。
・U(t)：Xx,y(t)−Ax,y(t) Xx+vx,y+vy(t-1)を表す誤差ベクトル。
・Hx,y(t)：原画像から観測画像を与える観測行列。
・V(t)：Zx,y(t)−Hx,y(t) Xx,y(t)を表す誤差ベクトル。
ここで、局所領域では、動きベクトルと動き補償予測誤差が失われてしまうと、行列At、動き補償予測誤差Wx,y(t)を決定することができない。このような遷移を行うためには、局所領域の動きベクトルを推定し、行列Atを決定する必要がある。
しかしながら、動きベクトルの推定により得られた行列Atによる状態遷移の結果At(Xx+dx,y+dy(t-1))と輝度値Xx,y(t)との間には誤差が存在する。そこで、推定した動きベクトルによる補間結果の誤差をシステムノイズとしてU(t)で表す。また、動き補償予測誤差Wx,y(t)は失われるのでその要素は全て0とする。一方、動きベクトルと動き補償予測誤差が失われていない局所領域についてはシステムノイズU(t)の要素を全て0とし、同様に考える。
上記のように状態遷移モデルと観測モデルを定義した場合、カルマンフィルタ・アルゴリズムを表現すると以下のようになる。
ただし、Pbx,y(t)とPax,y(t)は次式で与えられる推定誤差の共分散行列である。
ここで、QU(t)とQV(t)は、平均０、分散σu 2およびσv 2を対角要素とする対角行列である。
行列Atによって得られた動きベクトルに合わせて、前の時刻の参照局所領域の誤差分散行列Pax,y(t-1)を推定誤差共分散行列Pbx,y(t)に対応づける。この対応づけを可能とするため、各時刻におけるフレーム内の全画素について、誤差分散を保持するマップを作成し、このマップをカルマンフィルタ・アルゴリズムにより更新していく。これにより、動きベクトルに合わせた誤差共分散行列Pbx,y(t)の推定が可能となる。
観測画像Zx,y(t)に消失領域がある場合には、観測行列Hx,y(t)の消失領域に対応する行の全ての要素が０となる。その結果、その行に対応するKx,y(t)の行の要素も０となり、補正をすることができない。そこで、この問題を解決するための１手法として、ここでは消失領域を凸射影法により再構成した結果を観測画像Zx,y(t)とする。すなわち、フレーム全体をローパスフィルタ特性で処理した画像のままでもよいが、さらに凸射影法により再構成した画像を用いれば、より精度の高い推定が可能となる。ただし、本発明はこの手法に限定されない。他の方法としては、例えばフレーム内補間が挙げられる。
具体的には、マッチング処理Ｓ１により、消失領域に対して動きベクトルの補償のためにブロック・マッチング法を用いて復元した結果を初期値とし、観測行列でローパスフィルタ特性が与えられた画像から、凸射影法を用いて小不良領域γtの原画像における各画素の輝度値Xx,y(t)を推定する。そして、以下の２つの拘束条件下で、凸射影法により収束する結果を再構成結果とする。
（１）復元対象画像中で既知の画素の輝度値は原画像の値であり、変化しない。
（２）周波数領域において低周波成分は変化せず、高周波成分は０となるものとする。
このようにすると、凸射影法により再構成された観測画像において、消失領域の存在した領域における画素の輝度値は、原画像の輝度値がローパスフィルタ処理により劣化してノイズがのったものとなる。よって、観測行列Hx,y(t)はローパスフィルタを行列で近似したものとしてよく、各行にローパスフィルタの係数が入った行列となる。
（１）復元対象画像中で既知の画素の輝度値は原画像の値であり、変化しない。
（２）周波数領域において低周波成分は変化せず、高周波成分は０となるものとする。
このようにすると、凸射影法により再構成された観測画像において、消失領域の存在した領域における画素の輝度値は、原画像の輝度値がローパスフィルタ処理により劣化してノイズがのったものとなる。よって、観測行列Hx,y(t)はローパスフィルタを行列で近似したものとしてよく、各行にローパスフィルタの係数が入った行列となる。
また、観測雑音を要素とする誤差ベクトルVx,y(t)の各要素は、N(0,σv 2)に従う白色雑音であるとすると、σv 2(＝σv 2 1, σv 2 2,…,σv 2 L)は凸射影法による再構成結果の画素値Zx,y(t)と原画像における画素の輝度値Xx,y(t)に観測行列Hx,y(t)をかけた結果との差、すなわちVx,y＝Zx,y(t)−Hx,y(t) Xx,y(t)（（５）式）により求めることができる。Qv(t)はσv 2の各要素を対角成分とする対角行列である。これにより、（６）式〜（１２）式からL×L画素の消失領域における推定現画像X^ x,y(t)を導出することができる。
カルマンフィルタ・アルゴリズムでは、中心画素(x,y)を１画素ずつずらし、N×N画素全てに対してこの処理を行い、さらにFrame t内の誤り領域・消失領域における全てのN×N画素の領域に対して同様の処理を行う。
具体的には、図５に示すように、初期値として推定誤差共分散行列Pax,y(t)と対角行列Qu(t)を設定し（ステップＳ３１）、状態遷移結果At(Xx+dx,y+dy(t-1))を用いて推定誤差共分散行列Pbx,y(t)を求める（ステップＳ３２）。次に、対角行列Qv(t)，観測行列Hx,y(t)を用いてKx,y(t)を求め（ステップＳ３３）、再度状態遷移結果At(Xx+dx,y+dy(t-1))を用いて動きベクトルX- x,y(t)を求め（ステップＳ３４）、再度観測行列Hx,y(t)を用いて推定現画像X^ x,y(t)を求める（ステップＳ３５）。以後、この推定原画像X^ x,y(t)を用いて推定誤差共分散行列Pax,y(t)を更新し（ステップＳ３６）、ステップＳ３２から上記の処理を繰り返し実行する。
以上の処理Ｓ１〜Ｓ３を実行することにより、高精度な誤り及び消失の復元が可能となる。
したがって、上記構成による動画像復号器によれば、動きベクトルや動き補償予測誤差のデータが失われてしまった場合でも、消失領域を前フレームの画像から極めて高精度に復元することができ、しかも前フレームの対応領域の画素値を消失領域に補間する際に生じる誤差を考慮しているため、以降に復元されるフレームに誤差が伝搬することはなく、高精度な復元を継続して行うことができる。
尚、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
１１…信号分解部、１２…逆ＤＣＴ演算部、１３…フレーム間予測復号部（エラーコンシールメント処理）、１４…フレームメモリ。
Claims (4)
- ブロック単位で動き補償フレーム間予測により圧縮符号化された動画像信号から第１フレーム上の動きベクトルを検出し、前記検出された動きベクトルとそれに対応する動き補償値から第２フレームを生成することで元の動画像信号を復号する動画像復号器に用いられ、前記第２フレームの復号信号から前記動きベクトル及び動き補償値の消失又は誤りを検出し、前記第２フレーム上での前記消失又は誤りの位置を特定し復元するエラーコンシールメント処理装置であって、
前記第２フレームにおける消失又は誤りの不良領域を検出して当該不良領域をN×N（Nは２以上の自然数）画素の領域毎に分割し、分割された不良領域それぞれに対して第１の動きベクトルを推定することで第１フレーム上の対応するN×N画素の領域を推定し、その推定された領域における各画素の輝度値で前記第２フレーム上の分割不良領域を補間する補間手段と、
前記第２フレーム上の分割不良領域それぞれについて、前記分割不良領域内の各画素を中心としたL×L（LはN以下の自然数）画素の小領域Xx,y(t)に対して、それぞれ第２の動きベクトル(vx,vy)を計算し、この第２の動きベクトルに基づいて前記第１のフレーム上の対応するL×L画素の小領域の輝度値Xx+dx,y+dy(t-1)を計算し、前記小領域の輝度値Xx+dx,y+dy(t-1)から前記第２フレーム上の小領域の輝度値Xx,y(t)を推定する行列Atを求める行列演算手段と、
前記第２のフレーム上におけるL×L画素の小領域の輝度値Xx,y(t)と前記観測画像Zx,y(t)を与える観測行列Hx,y(t)を用いてZx,y(t)- Hx,y(t)・Xx,y(t)と表される誤差ベクトルV(t)を推定する推定手段と、
前記推定手段の推定結果に基づいて各時刻におけるフレーム内の全画素について誤差分散を保持するマップを作成し、前記マップをカルマンフィルタ・アルゴリズムにより更新するマップ作成・更新手段と
を具備し、
前記補間手段は、前記マップをカルマンフィルタ・アルゴリズムにより更新していくことで前記行列Atによって得られた動きベクトルに合わせて、第１フレームの参照領域の誤差分散行列から第２フレームの誤差共分散行列を推定し、この推定誤差分散行列に基づいて前記第２フレーム上の分割不良領域における各画素の輝度値Xx,y(t)を補間することを特徴とするエラーコンシールメント処理装置。 - M×M（Mは２以上の自然数）画素のブロック単位で動き補償フレーム間予測により圧縮符号化された動画像信号を入力して、第１フレーム上の動きベクトルを検出し、前記第１フレームから検出された動きベクトルとそれに対応する動き補償予測値から第２フレームを生成することで元の動画像信号を復号する動画像復号器であって、
前記第２フレームにおける消失又は誤りの不良領域Ψを検出して当該不良領域ΨをN×N（N≦M）画素を単位とする複数の不良領域ωtに分割し、分割された不良領域ωtそれぞれに対して第１の動きベクトル（d＝(dx,dy)）を推定することで第１フレーム上の対応するN×N画素の複数の領域ωt-1を推定し、その推定された領域ωt-1における各画素の輝度値で前記第２フレーム上の分割不良領域ωtを補間するマッチング処理手段と、
前記第２フレーム上の分割不良領域ωtにおいて、前記分割不良領域内の各画素を中心としたL×L画素（L≦N）の小不良領域γtに対してそれぞれ第２の動きベクトル（v＝(vx,vy)）を計算し、この第２の動きベクトルに基づいて前記第１フレーム上のL×L画素の複数の小領域γt-1を推定し、前記第１フレーム上の複数の小推定領域γt-1それぞれの画素における輝度値Xx+vx,y+vy(t-1)から前記第２フレームの複数の小不良領域γtの原画像における画素の輝度値Xx,y(t)を推定する行列Atを求める前処理手段と、
前記第２フレーム上におけるL×L画素の小不良領域γtの推定輝度値Xx,y(t)から前記観測画像Zx,y(t)を与える観測行列Hx,y(t)を用いて、Zx,y(t)−Hx,y(t) Xx,y(t)と表される誤差ベクトルを推定する推定手段と、
前記推定手段の推定結果に基づいて各時刻における踏む内の全画素について誤差分散を保持するマップを作成し、前記マップをカルマンフィルタ・アルゴリズムにより更新するマップ作成・更新手段と
を具備し、
前記マッチング処理手段は、前記マップをカルマンフィルタ・アルゴリズムにより更新していくことで前記行列Atによって得られた動きベクトルに合わせて、第１フレームの参照領域の誤差分散行列から第２フレームの誤差共分散行列を推定し、この推定誤差分散行列に基づいて前記第２フレーム上の分割不良領域における各画素の輝度値Xx,y(t)を補間して元の動画像信号を復号することを特徴とする動画像復号器。 - M×M（Mは２以上の自然数）画素のブロック単位で動き補償フレーム間予測により圧縮符号化された動画像信号を入力して、第１フレーム上の動きベクトルを検出し、前記第１フレームから検出された動きベクトルとそれに対応する動き補償予測値から第２フレームを生成することで元の動画像信号を復号する動画像復号方法であって、
前記第２フレームにおける消失又は誤りの不良領域Ψを検出して当該不良領域ΨをN×N（N≦M）画素を単位とする複数の不良領域ωtに分割し、分割された不良領域ωtそれぞれに対して第１の動きベクトル（d＝(dx,dy)）を推定することで第１フレーム上の対応するN×N画素の複数の領域ωt-1を推定し、その推定された領域ωt-1における各画素の輝度値で前記第２フレーム上の分割不良領域ωtを補間するマッチング処理を行い、
前記第２フレーム上の分割不良領域ωtにおいて、前記分割不良領域内の各画素を中心としたL×L画素（L≦N）の小不良領域γtに対してそれぞれ第２の動きベクトル（v＝(vx,vy)）を計算し、この第２の動きベクトルに基づいて前記第１フレーム上のL×L画素の複数の小領域γt-1を推定し、前記第１フレーム上の複数の小推定領域γt-1それぞれの画素における輝度値Xx+vx,y+vy(t-1)から前記第２フレームの複数の小不良領域γtの原画像における画素の輝度値Xx,y(t)を推定する行列Atを求める前処理を行い、
前記第２フレーム上におけるL×L画素の小不良領域γtの推定輝度値Xx,y(t)から前記観測画像Zx,y(t)を与える観測行列Hx,y(t)を用いて、Zx,y(t)−Hx,y(t) Xx,y(t)と表される誤差ベクトルを推定する推定処理を行い、
前記推定処理結果に基づいて各時刻における踏む内の全画素について誤差分散を保持するマップを作成し、前記マップをカルマンフィルタ・アルゴリズムにより更新するマップ作成・更新処理を行いこととし、
前記マッチング処理は、前記マップをカルマンフィルタ・アルゴリズムにより更新していくことで前記行列Atによって得られた動きベクトルに合わせて、第１フレームの参照領域の誤差分散行列から第２フレームの誤差共分散行列を推定し、この推定誤差分散行列に基づいて前記第２フレーム上の分割不良領域における各画素の輝度値Xx,y(t)を補間して元の動画像信号を復号することを特徴とする動画像復号方法。 - M×M（Mは２以上の自然数）画素のブロック単位で動き補償フレーム間予測により圧縮符号化された動画像信号を入力して、第１フレーム上の動きベクトルを検出し、前記第１フレームから検出された動きベクトルとそれに対応する動き補償予測値から第２フレームを生成することで元の動画像信号を復号する動画像復号処理をコンピュータに実行させる動画像復号プログラムであって、
前記第２フレームにおける消失又は誤りの不良領域Ψを検出して当該不良領域ΨをN×N（N≦M）画素を単位とする複数の不良領域ωtに分割し、分割された不良領域ωtそれぞれに対して第１の動きベクトル（d＝(dx,dy)）を推定することで第１フレーム上の対応するN×N画素の複数の領域ωt-1を推定し、その推定された領域ωt-1における各画素の輝度値で前記第２フレーム上の分割不良領域ωtを補間するマッチング処理を実行させ、
前記第２フレーム上の分割不良領域ωtにおいて、前記分割不良領域内の各画素を中心としたL×L画素（L≦N）の小不良領域γtに対してそれぞれ第２の動きベクトル（v＝(vx,vy)）を計算し、この第２の動きベクトルに基づいて前記第１フレーム上のL×L画素の複数の小領域γt-1を推定し、前記第１フレーム上の複数の小推定領域γt-1それぞれの画素における輝度値Xx+vx,y+vy(t-1)から前記第２フレームの複数の小不良領域γtの原画像における画素の輝度値Xx,y(t)を推定する行列Atを求める前処理を実行させ、
前記第２フレーム上におけるL×L画素の小不良領域γtの推定輝度値Xx,y(t)から前記観測画像Zx,y(t)を与える観測行列Hx,y(t)を用いて、Zx,y(t)−Hx,y(t) Xx,y(t)と表される誤差ベクトルを推定する推定処理を実行させ、
前記推定処理結果に基づいて各時刻における踏む内の全画素について誤差分散を保持するマップを作成し、前記マップをカルマンフィルタ・アルゴリズムにより更新するマップ作成・更新処理を実行させることとし、
前記マッチング処理は、前記マップをカルマンフィルタ・アルゴリズムにより更新していくことで前記行列Atによって得られた動きベクトルに合わせて、第１フレームの参照領域の誤差分散行列から第２フレームの誤差共分散行列を推定し、この推定誤差分散行列に基づいて前記第２フレーム上の分割不良領域における各画素の輝度値Xx,y(t)を補間して元の動画像信号の復号処理を実行させることを特徴とする動画像復号プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009202118A JP2011055244A (ja) | 2009-09-01 | 2009-09-01 | エラーコンシールメント処理装置とこの装置を用いた動画像復号器、動画像復号方法及び動画像復号プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009202118A JP2011055244A (ja) | 2009-09-01 | 2009-09-01 | エラーコンシールメント処理装置とこの装置を用いた動画像復号器、動画像復号方法及び動画像復号プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011055244A true JP2011055244A (ja) | 2011-03-17 |
Family
ID=43943798
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009202118A Pending JP2011055244A (ja) | 2009-09-01 | 2009-09-01 | エラーコンシールメント処理装置とこの装置を用いた動画像復号器、動画像復号方法及び動画像復号プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011055244A (ja) |
-
2009
- 2009-09-01 JP JP2009202118A patent/JP2011055244A/ja active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6115503A (en) | Method and apparatus for reducing coding artifacts of block-based image encoding and object-based image encoding | |
| CN101422047B (zh) | 图像边界处的运动估计方法及显示设备 | |
| US8331451B2 (en) | Method and apparatus for enhancing resolution of video image | |
| KR100301833B1 (ko) | 오류은폐방법 | |
| JP2011529593A (ja) | 画像補正に対する修復技術の使用 | |
| US20090147851A1 (en) | Motion vector field projection dealing with covering and uncovering | |
| US8897364B2 (en) | Method and device for sequence decoding with error concealment | |
| JP2007053767A (ja) | 画像または画像シーケンスについて、各画像を分割したブロックに割り当てられる動きベクトルからグローバル動きパラメータの集合を反復的に計算する方法および装置 | |
| CN111127376B (zh) | 一种数字视频文件修复方法及装置 | |
| US20100303154A1 (en) | method and device for video sequence decoding with error concealment | |
| JP2007281692A (ja) | 画像補正装置および画像補正方法 | |
| KR100640498B1 (ko) | 프레임의 오류 은닉 장치 및 방법 | |
| JPWO2009048112A1 (ja) | 動画像復号器、動画像復号方法及び動画像復号プログラム | |
| WO2016131270A1 (zh) | 一种错误隐藏的方法和装置 | |
| JP2007142883A (ja) | 画像処理装置及び画像処理方法 | |
| US8451900B2 (en) | System and method for global motion estimation using profile matching | |
| JP2007329678A (ja) | 輝度マスキング及び輝度補償を用いた超解像処理方法及び装置 | |
| KR100587274B1 (ko) | 엠펙２ 압축복원시스템에서의 오류 은폐방법 | |
| JP2011055244A (ja) | エラーコンシールメント処理装置とこの装置を用いた動画像復号器、動画像復号方法及び動画像復号プログラム | |
| JP2007502042A (ja) | グラフィクス重畳検出 | |
| CN102970541B (zh) | 图像滤波方法及装置 | |
| US20090225832A1 (en) | Error concealment technique for inter-coded sequences | |
| KR100860689B1 (ko) | 동영상 복호화시 프레임 손실 은폐 방법 및 장치 | |
| KR101548269B1 (ko) | 블록 분할 및 결합을 통한 움직임 추정 장치 및 방법 | |
| JP2011055245A (ja) | 動きベクトル推定方法とこの方法を用いた画像処理装置、画像処理方法及び画像処理プログラム |