JP2005244943A - 移動通信システムの画像ブロックエラー隠匿装置及びその方法 - Google Patents

移動通信システムの画像ブロックエラー隠匿装置及びその方法 Download PDF

Info

Publication number
JP2005244943A
JP2005244943A JP2005003843A JP2005003843A JP2005244943A JP 2005244943 A JP2005244943 A JP 2005244943A JP 2005003843 A JP2005003843 A JP 2005003843A JP 2005003843 A JP2005003843 A JP 2005003843A JP 2005244943 A JP2005244943 A JP 2005244943A
Authority
JP
Japan
Prior art keywords
block
pixel
error
mobile communication
communication system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005003843A
Other languages
English (en)
Other versions
JP4462551B2 (ja
Inventor
Sung Kyu Lee
性 圭 李
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of JP2005244943A publication Critical patent/JP2005244943A/ja
Application granted granted Critical
Publication of JP4462551B2 publication Critical patent/JP4462551B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/533Motion estimation using multistep search, e.g. 2D-log search or one-at-a-time search [OTS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

【課題】移動通信システムの画像フレームのエラーを隠匿するとき、演算処理量を減少することで、実時間に処理し得る移動通信システムの画像ブロックエラー隠匿装置及びその方法を提供する。
【解決手段】エラーの発生した画素/ブロックを、高速動き推定方法により以前及び次のフレームを順次検索することでエラー補正するエラー隠匿部130と、前記エラー隠匿部によりエラー補正された画素/ブロックと垂直方向に隣接した各画素/ブロックとの間に、人間の目に敏感に作用する差がある場合、垂直方向に適応加重和メディアンフィルタリングを実行することで、前記エラー補正された画素/ブロックを再補正するエラー再補正部140とを有して構成される。
【選択図】図1

Description

本発明は、マルチメディアサービスを提供する移動通信システムに係るもので、詳しくは、移動通信システムの画像ブロックエラー隠匿装置及びその方法に関するものである。
現在、移動通信は、新しい主要通信メディアとして世界的に需要が急増している。移動通信の発展は、確実に“通信の個人化”を加速させ、全ての使用者にサービスの携帯性を提供し得る個人移動通信社会を実現する。更に、通信の個人化は、音声通信の領域だけでなく、データ及び画像情報をも統合的に取扱うマルチメディア無線アクセス携帯端末機の需要を加速させている。
従って、移動通信端末機を通して映画、音楽、アニメーション及びゲームなどのマルチメディアコンテンツの伝送が可能になり、移動通信システムは、マルチメディアサービスを提供するようになってきている。
図7は従来の移動通信システムの画像復号装置を示したブロック図である。図に示すように、従来の移動通信システムの画像復号装置は、画像フレームをデコーディングするビデオコーデックデコーダ10と、デコーディングされた画像フレームをディスプレイフォーマットに変換するディスプレイインターフェース部20と、ディスプレイインターフェース部20から出力される画像フレームをディスプレイするディスプレイ部30とを有して構成されている。
以下、従来の移動通信システムの画像復号装置の動作を説明すると、ビデオコーデックデコーダ10は画像フレームをデコーディングし、ディスプレイインターフェース部20はデコーディングされた画像フレームをディスプレイフォーマットに変換し、ディスプレイ部30は変換された画像フレームをディスプレイすることで、移動通信端末機のLCDに画像がディスプレイされる(例えば、特許文献1、2、3、4参照)。
韓国特許第0349058号明細書 韓国特許第0357093号明細書 特開2000−041252号公報 米国特許第6078616号明細書
しかしながら、従来の移動通信システムの画像復号装置においては、マルチメディアをサービスするとき、画像フレームのブロックエラーが発生すると、画質の劣化が発生することで、小さなブロックエラーによっても使用者の視覚に敏感に反応するため、サービスの品質の信頼性を弱化させるという問題点があった。
つまり、移動通信システムに容易に適用されるように、エラー補正演算処理量を減少することで、実時間に処理し、且つ画質を改善し得る画像フレームのブロックエラー補正方法が要求されている。
そこで、本発明は上記従来の移動通信システムの画像ブロックエラー隠匿装置及びその方法における問題点に鑑みてなされたものであって、本発明の目的は、移動通信システムの画像フレームのエラーを隠匿するとき、演算処理量を減少することで、実時間に処理し得る移動通信システムの画像ブロックエラー隠匿装置及びその方法を提供することにある。
又、本発明の他の目的は、動き推定及び動き補償を利用することで、エラー隠匿次元を越えて画像フレームのブロックエラーを補正し、エラー補正された値と垂直方向に隣接する各値との差値によって可変的に適応加重和メディアンフィルタリングを行い、自然なイメージに作ることで、画質を改善し得る移動通信システムの画像ブロックエラー隠匿装置及びその方法を提供することにある。
上記目的を達成するためになされた本発明による移動通信システムの画像ブロックエラー隠匿装置は、エラーの発生した画素/ブロックを、高速動き推定方法により以前及び次のフレームを順次検索することでエラー補正するエラー隠匿(concealing)部と、前記エラー隠匿部によりエラー補正された画素/ブロックと垂直方向に隣接した各画素/ブロックとの間に、人間の目に敏感に作用(work)する差がある場合、垂直方向に適応加重和メディアンフィルタリング(adaptive weight sum median filtering)を実行することで、前記エラー補正された画素/ブロックを再補正するエラー再補正部とを有して構成されることを特徴とする。
上記目的を達成するためになされた本発明による移動通信システムの画像ブロックエラー隠匿方法は、画素/ブロックにエラーが発生した場合、以前及び次のフレームを順次高速動き推定することで動きベクトルを生成する段階と、動き補償された画素/ブロックを利用して、前記エラーの発生した画素/ブロックを復元する段階と、前記エラーの発生した画素/ブロックを復元する段階で復元された画素/ブロックと垂直方向に隣接した各画素/ブロックの平均値との差の値に従って適応加重和メディアンフィルタリングを行うことで、前記復元された画素/ブロックを再補正する段階とを有することを特徴とする。
又、上記目的を達成するためになされた本発明による移動通信システムの画像ブロックエラー隠匿方法は、移動通信端末機の画像フレームのブロックエラー補正において、エラー補正された画素/ブロックと垂直方向に隣接した各画素/ブロックとの差が人間の目に敏感に作用するほど大きい場合、適応加重和メディアンフィルタリングを行うことで、前記エラー補正された画素/ブロックを再補正することを特徴とする。
本発明に係る移動通信システムの画像ブロックエラー隠匿装置及びその方法によれば、エラーの発生した画素/ブロックを、動き推定及び動き補償を利用してエラー補正するとき、以前及び次のフレームを同時に検索せずに以前のフレームを検索し、以前のフレームから所望の画素/ブロックを探し得なかった場合、次のフレームを検索し、且つ、全体検索(full searching)方法でなく、3−ステップ又は5−ステップ動き推定方法により検索することで、演算処理量を減少して実時間に処理し得るという効果がある。
又、動き推定及び動き補償を利用することで、画素/ブロックのエラーの隠匿次元を越えて補正し得るという効果がある。
又、エラー補正された画素/ブロックの値と、垂直方向に隣接する各画素/ブロック値間の差値によって可変的に適応加重和メディアンフィルタリングを行って、前記エラー補正された画素/ブロックを再補正することで、元の画像に近い自然な画像を復元し得るという効果がある。
次に、本発明に係る移動通信システムの画像ブロックエラー隠匿装置及びその方法を実施するための最良の形態の具体例を図面を参照しながら説明する。
図1は本発明に係る移動通信システムの画像ブロックエラー隠匿装置を示したブロック図である。
図に示すように、本発明に係る移動通信システムの画像ブロックエラー隠匿装置は、画像フレームをデコーディングするビデオコーデックデコーダ10と、デコーディングされた画像フレームからエラーの発生した画素/ブロックを検出するエラー検出部100と、検出された画素/ブロックにエラーがあるか否かを再確認するエラー確認部110と、確認情報によって、エラー確認部110から出力される画素/ブロックをエラー補正経路及びバイパス経路中何れか一方に出力する第1ソフトスイッチ120と、エラー補正経路124を通して伝送される画素/ブロックを、以前及び次のフレームの順次検索により、動き推定及び動き補正を利用してエラー補正し、バイパス経路122を通して伝送される画素/ブロック及びエラー補正された画素/ブロックにフレームを復元するエラー隠匿部130と、エラー補正された画素/ブロックと垂直方向に隣接した画素/ブロック間の差値によって可変的に適応加重和メディアンフィルタリングを行って、自然なイメージを作るエラー再補正部140と、エラー再補正部140から出力される画像フレームをディスプレイフォーマットに変換するディスプレイインターフェース部20と、変換された画像フレームをディスプレイするディスプレイ部30とを含んで構成されている。
又、エラー隠匿部130は、以前のフレームを格納するための第1フレーム遅延部131と、次のフレームを格納するための第2フレーム遅延部132と、それら第1フレーム遅延部131及び第2フレーム遅延部132に対する動き推定を順次行って、エラー補正に利用される画素/ブロックの動きベクトルを生成する動き推定部133と、動きベクトルにより動き補償された画素/ブロックを利用して、エラーの発生した画素/ブロックを復元する画素/ブロック復元部134と、画素/ブロック復元部134で復元された画素/ブロック及びバイパス経路122を通して伝送される画素/ブロックを利用してフレームを復元する第2ソフトスイッチ135とから構成される。
以下、上記のように構成された本発明に係る移動通信システムの画像ブロックエラー隠匿装置の動作を図1、図2、及び図3を参照して説明する。
図2は、本発明に係る移動通信システムの画像ブロックエラー隠匿方法を示したフローチャートである。
図に示すように、本発明に係る移動通信システムの画像ブロックエラー隠匿方法は、デコーディングされた画像フレームからエラーの発生した画素/ブロックを検出し(ステップS10)、検出された画素/ブロックにエラーがあるか否かを再確認し(ステップS20)、エラーの発生した画素/ブロックである場合、以前及び次のフレームを順次3−ステップ動き推定することで動きベクトルを生成し(ステップS30)、動き補償された画素/ブロックを利用して、エラーの発生した画素/ブロックを復元し(ステップS40)、復元された画素/ブロックと、垂直方向に隣接した各画素/ブロックの平均値との差値によって、適応加重和メディアンフィルタリングを行う(ステップS50)。
例えば、移動通信端末機の画像フレームのブロックエラー隠匿方法を説明すると、まず、移動通信端末機のエラー検出部100は、ビデオコーデックデコーダ10からデコーディングされた画像フレーム中、エラーの発生した画素又はブロックを検出する。ここで、エラーの発生した画素を復元する場合を説明すると、エラーの発生した画素は“255”の値を有して黒色にディスプレイされ、エラー検出部100は“255”の値を有する画素を検出する(ステップS10)。
次いで、エラー確認部110は、検出された画素が実際にエラーの発生された画素であるか否かを確認する(ステップS20)。
図3は、検出された画素のエラー再確認方法を示したフローチャートで、エラー確認部110は、検出された画素(P(x,y))に隣接した各画素の平均値(Ps(x,y))を以下の式のように計算する(ステップS21)。
(数4)
Ps(x,y)={P(x−1,y−1)+P(x,y−1)+P(x+1,y−1)}/3+{P(x−1,y)+P(x+1,y)}/2+{P(x−1,y+1)+P(x,y+1)+P(x+1,y+1)}/3
その後、エラー確認部110は、検出された画素(P(x,y))と平均値(Ps(x,y))との差値の絶対値(abs[P(x,y)−Ps(x,y)])を計算し、正常な画素であると判断するためのしきい値と絶対値(abs[P(x,y)−Ps(x,y)])とを比較する(ステップS22)。
上記比較の結果、絶対値(abs[P(x,y)−Ps(x,y)])がしきい値より小さいと(ステップS23)、エラー確認部110は、検出された画素(P(x,y))の右側の画素(P(x+1,y))の値をチェックする(ステップS24)。且つ、右側の画素(P(x+1,y))の値がエラー値を有すると、エラー確認部110は、検出された画素(P(x,y))がエラーの発生した画素であると判断する(ステップS25)。
しかし、ステップS23で絶対値(abs[P(x,y)−Ps(x,y)])がしきい値より小さくないか、又は、ステップS24で右側の画素(P(x+1,y))の値がエラー値でない場合、エラー確認部110は、検出された画素(P(x,y))が正常な画素であると判断する(ステップS26)。
次に、第1ソフトスイッチ120は、エラー確認部110の確認情報によって、エラーの発生した画素を動き推定部133に伝送し、正常な画素をバイパスする。このように正常な画素は、エラー補正経路を経ずにバイパスするため、本発明は、エラー補正性能(throughput)を向上することができる。
エラー隠匿部130の動き推定部133は、まず、現在のフレームに対して以前のフレームが格納された第1フレーム遅延部131を3−ステップ動き推定により検索する。このとき、全体検索を利用すると、演算処理量が多くなるだけでなく、実時間に処理することが困難であるため、動き推定部133は、3−ステップ又は5−ステップ動き推定を利用する。
図4は、3−ステップ動き推定方法を示した図であり、以前のフレームから現在のフレームのエラー補正されるブロックと同様なブロックが検索されると、動き推定部133は、検索されたブロック(又は画素)の動きベクトルを生成する。しかし、以前のフレームから同様なブロックが検索されないと、動き推定部133は、現在のフレームに対して次のフレームが格納された第2フレーム遅延部132の検索を開始し、次のフレームからエラー補正されたブロックと同様なブロックを検索する。このように、第1フレーム遅延部131及び第2フレーム遅延部132を同時に検索せずに、第1フレーム遅延部131を3−ステップ又は5−ステップに検索した後、所望のブロックの画素を検索し得ない場合、第2フレーム遅延部132を検索するため、本発明は、エラーを補正するための演算処理量及び所要時間を減少し、且つ、実時間に処理することができる(ステップS30)。
次いで、動き推定部133により動きベクトルが生成されると、画素/ブロック復元部134は、動きベクトルを利用して動き補償されたブロックの画素値を求め、求められた画素値を利用してエラー画素を復元する(ステップS40)。
次いで、第2ソフトスイッチ135は、復元された画素及びバイパス経路122を通して伝送された正常な画素を利用してフレームを復元する。
次いで、エラー再補正部140は、第2ソフトスイッチ135から出力されるフレーム中、復元された該当の画素に対し適応加重和メディアンフィルタリングすることで、自然な画像フレームを生成する(ステップS50)。
図5は、エラー再補正部140の適応加重和メディアンフィルタリング方法を示したフローチャートであり、エラー再補正部140は、エラー隠匿部130でエラー補正された画素(Pcandidate(i,j))の垂直方向に隣接した所定個数の画素の平均値(Pav(i,j))を以下の式のように計算する。
(数5)
Pav(i,j)={SUM(P(i,j+k)(from k=−n to n,except 0))}1/2n
例えば、適応加重和メディアンフィルタが9タップである場合、nは4になる。又、平均値(Pav(i,j))は、エラー補正された画素(Pcandidate(i,j))を除いた2n個の画素の平均値である。
その後、エラー再補正部140は、エラー補正された画素(Pcandidate(i,j))と平均値(Pav(i,j))との差(Ppixel_diff)を以下の式のように計算する(ステップS51)。
(数6)
Ppixel_diff=Pcandidate(i,j)−Pav(i,j)
次いで、エラー再補正部140は、差(Ppixel_diff)と平均値(Pav(i,j))とを比較し(ステップS52)、このとき、差(Ppixel_diff)が平均値(Pav(i,j))より小さいと、エラー再補正部140は、エラー補正された画素(Pcandidate(i,j))の値を、以下の式のような適応加重和メディアンフィルタリングにより増加させる。
(数7)
Ppixel_refine=[{2^(n−1)×P(i,j)}+
{[2^(n−2)×P(i,j−1)]+[2^(n−2)×P(i,j+1)]}+
{[2^(n−3)×P(i,j−2)]+[2^(n−3)×P(i,j+2)]}+
{[2^(n−4)×P(i,j−3)]+[2^(n−4)×P(i,j+3)]}+
・・・(until n−k=−1)]×1/(2n+1)
即ち、図6の(a)に示すように、エラー再補正部140は、エラー補正された画素(Pcandidate(i,j))との垂直方向の隣接程度に相応する加重値を隣接した各画素に割り当てる。即ち、エラー再補正部140は、エラー補正された画素(Pcandidate(i,j))に最も大きい加重値を乗算し、垂直方向に直に隣接した2個の画素(P(i,j−1),P(i,j+1))にその次に大きい加重値を乗算する方式により、適応加重和メディアンフィルタリングを行う。
図6の(a)は、適応加重和9タップメディアンフィルタ(Adaptive Weight Sum 9−tap Median Filter)を例示した図であり、このとき、(数7)の式のnは4になる。次いで、エラー再補正部140は、エラー補正された画素(Pcandidate(i,j))を、適応加重和メディアンフィルタリングにより生成された画素(Ppixed_refine)の値を利用して再補正する(ステップS53)。
ただし、ステップS52で、差(Ppixel_diff)が平均値(Pav(i,j))より小さくない場合、エラー再補正部140は、以下の式のような平均和メディアンフィルタリングによりエラー補正された画素(Pcandidate(i,j))を再補正する。
(数8)
Ppixel_refine={SUM(P(i,j+k)(from k=−n to n))}×1/(2n+1)
即ち、図6の(b)に示すように、エラー再補正部140は、エラー補正された画素(Pcandidate(i,j))及び垂直方向に隣接された各画素に同様な加重値を乗算することで、平均和メディアンフィルタリングを行う。次いで、エラー再補正部140は、平均和メディアンフィルタリングにより生成された画素(Ppixel_refine)の値を利用して、エラー補正された画素(Pcandidate(i,j))を再補正する(ステップS54)。
上述したように、本発明は、動き推定及び動き補償によりエラー補正された画素と、垂直方向に隣接された各画素間に、人間の目に敏感に作用する差があると、エラー補正された画素の垂直方向に適応加重和メディアンフィルタリングを行うことで、エラー補正された画素を再補正し、元の画像に近い自然なイメージを復元することができる。
尚、本発明は、上述の実施例に限られるものではない。本発明の技術的範囲から逸脱しない範囲内で多様に変更実施することが可能である。
本発明に係る移動通信システムの画像ブロックエラー隠匿装置を示したブロック図である。 本発明に係る移動通信システムの画像ブロックエラー隠匿方法を示したフローチャートである。 エラー状態であるとして検出された画素のエラーを再確認する方法を示したフローチャートである。 3−ステップ動き推定方法を示した図である。 適応加重和メディアンフィルタリングを利用して、エラー補正された画素を再補正する方法を示したフローチャートである。 (a)は加重和を利用したメディアンフィルタリングを例示した図であり、(b)は平均和を利用したメディアンフィルタリングを例示した図である。 従来の移動通信システムの画像復号装置を示したブロック図である。
符号の説明
10 ビデオコーデックデコーダ
20 ディスプレイインターフェース部
30 ディスプレイ部
100 エラー検出部
110 エラー確認部
120 第1ソフトスイッチ
122 バイパス経路
124 エラー補正経路
130 エラー隠匿部
131 第1フレーム遅延部
132 第2フレーム遅延部
133 動き推定部
134 画素/ブロック復元部
135 第2ソフトスイッチ
140 エラー再補正部

Claims (22)

  1. エラーの発生した画素/ブロックを、高速動き推定方法により以前及び次のフレームを順次検索することでエラー補正するエラー隠匿(concealing)部と、
    前記エラー隠匿部によりエラー補正された画素/ブロックと垂直方向に隣接した各画素/ブロックとの間に、人間の目に敏感に作用(work)する差がある場合、垂直方向に適応加重和メディアンフィルタリング(adaptive weight sum median filtering)を実行することで、前記エラー補正された画素/ブロックを再補正するエラー再補正部とを有して構成されることを特徴とする移動通信システムの画像ブロックエラー隠匿装置。
  2. 前記エラー隠匿部は、以前のフレームを格納するための第1フレーム遅延部と、
    次のフレームを格納するための第2フレーム遅延部と、
    前記第1フレーム遅延部及び第2フレーム遅延部に対する高速動き推定を順次行って、エラー補正に利用される画素/ブロックの動きベクトルを生成する動き推定部と、
    前記動きベクトルにより動き補償された画素/ブロックを利用して、前記エラーの発生した画素/ブロックを復元する画素/ブロック復元部と、
    前記画素/ブロック復元部で復元された画素/ブロックとバイパス路により伝送された正常な画素/ブロックとによりフレームを復元する第1ソフトスイッチとを有して構成されることを特徴とする請求項1記載の移動通信システムの画像ブロックエラー隠匿装置。
  3. 前記動き推定部は、前記第1フレーム遅延部を高速動き推定により検索し、前記第1フレーム遅延部から所望の画素/ブロックが検索されない場合、前記第2フレーム遅延部を高速動き推定により検索することを特徴とする請求項2記載の移動通信システムの画像ブロックエラー隠匿装置。
  4. 前記高速動き推定は、3−ステップ動き推定方法及び5−ステップ動き推定方法中の何れか一つであることを特徴とする請求項2又は3に記載の移動通信システムの画像ブロックエラー隠匿装置。
  5. デコーディングされた画像フレームからエラーの発生した画素/ブロックを検出するエラー検出部と、
    前記エラー検出部で検出された画素/ブロックにエラーがあるか否かを再確認するエラー確認部と、
    前記エラー確認部から出力される正常な画素/ブロックをエラー補正なしにバイパスするための第2ソフトスイッチとを更に有することを特徴とする請求項1記載の移動通信システムの画像ブロックエラー隠匿装置。
  6. 前記人間の目に敏感に作用する差は、前記エラー補正された画素/ブロックと垂直方向に隣接した各画素/ブロックの第1平均値の大きさと、前記エラー補正された画素/ブロックを含んだ垂直方向に隣接した各画素/ブロックの第2平均値の大きさとを比較して判断されることを特徴とする請求項1記載の移動通信システムの画像ブロックエラー隠匿装置。
  7. 前記人間の目に敏感に作用する差の値が前記第2平均値より小さい場合、前記エラー再補正部は、適応加重和メディアンフィルタリングを行い、前記差の値が前記第2平均値より小さくない場合、前記エラー再補正部は、平均和メディアンフィルタリング(average sum median filtering)を行うことを特徴とする請求項6記載の移動通信システムの画像ブロックエラー隠匿装置。
  8. 前記適応加重和メディアンフィルタリングの加重値は、前記エラー補正された画素/ブロックに最も大きい加重値が割り当てられ、垂直方向の隣接程度に相応して隣接した各画素/ブロックに割り当てられる加重値の大きさが決定されることを特徴とする請求項7記載の移動通信システムの画像ブロックエラー隠匿装置。
  9. 前記適応加重和メディアンフィルタリングは、下記の式の方法により行われることを特徴とする請求項7記載の移動通信システムの画像ブロックエラー隠匿装置。
    (数1)
    [{2^(n−1)×P(i,j)}+
    {[2^(n−2)×P(i,j−1)]+[2^(n−2)×P(i,j+1)]}+
    {[2^(n−3)×P(i,j−2)]+[2^(n−3)×P(i,j+2)]}+
    {[2^(n−4)×P(i,j−3)]+[2^(n−4)×P(i,j+3)]}+
    ・・・(until n−k=−1)]×1/(2n+1)
    式中、P(i,j)は、前記エラー隠匿部によりエラー補正された画素を示す。
  10. 前記平均和メディアンフィルタリングは、前記エラー補正された画素/ブロックを含んだ垂直方向に隣接した全ての画素/ブロックに同じ加重値を加えた後、平均和メディアンフィルタリングを行うことを特徴とする請求項7記載の移動通信システムの画像ブロックエラー隠匿装置。
  11. 画素/ブロックにエラーが発生した場合、以前及び次のフレームを順次高速動き推定することで動きベクトルを生成する段階と、
    動き補償された画素/ブロックを利用して、前記エラーの発生した画素/ブロックを復元する段階と、
    前記エラーの発生した画素/ブロックを復元する段階で復元された画素/ブロックと垂直方向に隣接した各画素/ブロックの平均値との差の値に従って適応加重和メディアンフィルタリングを行うことで、前記復元された画素/ブロックを再補正する段階とを有することを特徴とする移動通信システムの画像ブロックエラー隠匿方法。
  12. デコーディングされた画像フレームからエラーの発生した画素/ブロックを検出する段階と、
    前記エラーの発生した画素/ブロックを検出する段階で検出された画素/ブロックが実際にエラーの発生した画素/ブロックであるか否かを再確認する段階とを更に有することを特徴とする請求項11記載の移動通信システムの画像ブロックエラー隠匿方法。
  13. 前記再確認する段階は、前記検出された画素/ブロックと隣接した各画素/ブロックの平均値との間の差値が正常状態であると判断される許容範囲に属する場合、前記検出された画素/ブロックの右側の画素/ブロックが正常であるか否かを確認する段階と、
    前記右側の画素/ブロックが正常である場合、前記検出された画素/ブロックは正常であると判断する段階と、
    前記差値が正常状態であると判断される許容範囲に属しないか、又は、前記右側の画素/ブロックが正常でない場合、前記検出された画素/ブロックはエラー発生状態であると判断する段階とを有することを特徴とする請求項12記載の移動通信システムの画像ブロックエラー隠匿方法。
  14. 前記検出された画素/ブロックがP(x,y)であるとき、前記隣接した各画素/ブロックの平均値は、下記の式により計算されることを特徴とする請求項13記載の移動通信システムの画像ブロックエラー隠匿方法。
    (数2)
    {P(x−1,y−1)+P(x,y−1)+P(x+1,y−1)}/3+
    {P(x−1,y)+P(x+1,y)}/2+
    {P(x−1,y+1)+P(x,y+1)+P(x+1,y+1)}/3
  15. 前記動きベクトルを生成する段階は、以前のフレームに対して高速動き推定を行う段階と、
    以前のフレームから所望の画素/ブロックが検索されないとき、次のフレームに対して高速動き推定を行う段階とを有することを特徴とする請求項11記載の移動通信システムの画像ブロックエラー隠匿方法。
  16. 前記高速動き推定は、3−ステップ動き推定及び5−ステップ動き推定中の何れか一つであることを特徴とする請求項15記載の移動通信システムの画像ブロックエラー隠匿方法。
  17. 前記復元された画素/ブロックを再補正する段階は、垂直方向に隣接した各画素/ブロックの第1平均値と前記復元された画素/ブロックとの差値が、前記復元された画素/ブロックと隣接した各画素/ブロックとの第2平均値より小さい場合、適応加重和メディアンフィルタリングを行う段階と、
    前記適応加重和メディアンフィルタリングにより得られた値を利用して再補正を行う段階と、
    前記差値が前記第2平均値より小さくない場合、平均和メディアンフィルタリングを行う段階と、
    前記平均和メディアンフィルタリングにより得られた値を利用して再補正を行う段階とを有することを特徴とする請求項11記載の移動通信システムの画像ブロックエラー隠匿方法。
  18. 前記適応加重和メディアンフィルタリングは、下記の式により行われることを特徴とする請求項17記載の移動通信システムの画像ブロックエラー隠匿方法。
    (数3)
    [{2^(n−1)×P(i,j)}+
    {[2^(n−2)×P(i,j−1)]+[2^(n−2)×P(i,j+1)]}+
    {[2^(n−3)×P(i,j−2)]+[2^(n−3)×P(i,j+2)]}+
    {[2^(n−4)×P(i,j−3)]+[2^(n−4)×P(i,j+3)]}+
    ・・・(until n−k=−1)]×1/(2n+1)
    式中、nは、垂直方向に隣接した各画素/ブロックの個数の1/2値を示す。
  19. 前記平均和メディアンフィルタリングは、メディアンフィルタのタップ係数の全てに同じ加重値を割り当てることを特徴とする請求項17記載の移動通信システムの画像ブロックエラー隠匿方法。
  20. 移動通信端末機の画像フレームのブロックエラー補正において、
    エラー補正された画素/ブロックと垂直方向に隣接した各画素/ブロックとの差が人間の目に敏感に作用するほど大きい場合、適応加重和メディアンフィルタリングを行うことで、前記エラー補正された画素/ブロックを再補正することを特徴とする移動通信システムの画像ブロックエラー隠匿方法。
  21. 前記エラー補正された画素/ブロックと垂直方向に隣接した各画素/ブロックとの差が、前記エラー補正された画素/ブロックと隣接した各画素/ブロックとの平均値より小さい場合、前記エラー補正された画素/ブロックには最も大きい加重値を、隣接した各画素/ブロックには隣接程度に相応する加重値をそれぞれ割り当てて適応加重和メディアンフィルタリングを行い、フィルタリングにより得られた値を利用して前記エラー補正された画素/ブロックを再補正することを特徴とする請求項20記載の移動通信システムの画像ブロックエラー隠匿方法。
  22. 前記エラー補正された画素/ブロックと垂直方向に隣接した各画素/ブロックとの差が、前記平均値より小さくない場合、前記各画素/ブロックに同じ加重値を割り当てて平均和メディアンフィルタリングを行い、フィルタリングにより得られた値を利用して前記エラー補正された画素/ブロックを再補正することを特徴とする請求項21記載の移動通信システムの画像ブロックエラー隠匿方法。
JP2005003843A 2004-02-26 2005-01-11 移動通信システムの画像ブロックエラー隠匿装置及びその方法 Expired - Fee Related JP4462551B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2004-0013185A KR100531895B1 (ko) 2004-02-26 2004-02-26 이동통신 시스템에서의 영상 블럭 오류 은닉 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2005244943A true JP2005244943A (ja) 2005-09-08
JP4462551B2 JP4462551B2 (ja) 2010-05-12

Family

ID=34858851

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005003843A Expired - Fee Related JP4462551B2 (ja) 2004-02-26 2005-01-11 移動通信システムの画像ブロックエラー隠匿装置及びその方法

Country Status (5)

Country Link
US (1) US7773677B2 (ja)
EP (1) EP1581009A3 (ja)
JP (1) JP4462551B2 (ja)
KR (1) KR100531895B1 (ja)
CN (1) CN100380987C (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015144391A (ja) * 2014-01-31 2015-08-06 ローム株式会社 画像データの受信回路およびそれを用いた電子機器、画像データの伝送方法
JP2015144392A (ja) * 2014-01-31 2015-08-06 ローム株式会社 シリアルデータの送信回路および受信回路、それらを用いた伝送システム、電子機器、シリアルデータの伝送方法

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007067271A2 (en) * 2005-12-07 2007-06-14 Thomson Licensing Method and apparatus for video error concealment using reference frame selection rules
JP2007318455A (ja) * 2006-05-25 2007-12-06 Matsushita Electric Ind Co Ltd トランスコーデック装置
JP4369948B2 (ja) * 2006-09-20 2009-11-25 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
JP4303743B2 (ja) * 2006-10-04 2009-07-29 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法
US8509313B2 (en) * 2006-10-10 2013-08-13 Texas Instruments Incorporated Video error concealment
EP2082583A2 (en) 2006-11-08 2009-07-29 THOMSON Licensing Methods and apparatus for in-loop de-artifact filtering
US8811495B1 (en) * 2007-02-06 2014-08-19 Geo Semiconductor Inc. Skipped video data recovery using multiple alternative recovery modes
KR101086435B1 (ko) * 2007-03-29 2011-11-25 삼성전자주식회사 영상 데이터 스트림의 에러 검출 방법 및 그 장치
CN101472054B (zh) * 2007-12-24 2011-05-25 义晶科技股份有限公司 加强数字视频的方法以及使用该方法的装置
US8184705B2 (en) * 2008-06-25 2012-05-22 Aptina Imaging Corporation Method and apparatus for motion compensated filtering of video signals
US8385404B2 (en) * 2008-09-11 2013-02-26 Google Inc. System and method for video encoding using constructed reference frame
JP5229036B2 (ja) * 2009-03-19 2013-07-03 富士通株式会社 伝送装置評価方法及び評価ユニット
US8503528B2 (en) 2010-09-15 2013-08-06 Google Inc. System and method for encoding video using temporal filter
US9154799B2 (en) 2011-04-07 2015-10-06 Google Inc. Encoding and decoding motion via image segmentation
US8638854B1 (en) 2011-04-07 2014-01-28 Google Inc. Apparatus and method for creating an alternate reference frame for video compression using maximal differences
CN103369327B (zh) * 2012-03-27 2016-12-07 华为软件技术有限公司 一种错误遮蔽方法和通信设备
WO2013162980A2 (en) 2012-04-23 2013-10-31 Google Inc. Managing multi-reference picture buffers for video data coding
US9609341B1 (en) 2012-04-23 2017-03-28 Google Inc. Video data encoding and decoding using reference picture lists
US9014266B1 (en) 2012-06-05 2015-04-21 Google Inc. Decimated sliding windows for multi-reference prediction in video coding
US9756331B1 (en) 2013-06-17 2017-09-05 Google Inc. Advance coded reference prediction
US9872046B2 (en) * 2013-09-06 2018-01-16 Lg Display Co., Ltd. Apparatus and method for recovering spatial motion vector
KR102441052B1 (ko) * 2016-09-02 2022-09-06 현대자동차주식회사 Avm 영상 변환 장치 및 방법
CN109686286A (zh) * 2018-12-24 2019-04-26 武汉华星光电半导体显示技术有限公司 图像信号处理方法和装置、oled显示器

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737022A (en) * 1993-02-26 1998-04-07 Kabushiki Kaisha Toshiba Motion picture error concealment using simplified motion compensation
GB2316570B (en) 1993-04-30 1998-04-08 Samsung Electronics Co Ltd Digital signal processing system
US6134352A (en) 1996-05-21 2000-10-17 Lucent Technologies Inc. Spatial error concealment for image processing
US6078616A (en) 1997-03-13 2000-06-20 Sony Corporation Methods and apparatus for error concealment utilizing temporal domain motion vector estimation
JP4026238B2 (ja) 1998-07-23 2007-12-26 ソニー株式会社 画像復号装置及び画像復号方法
GB2343321B (en) * 1998-11-02 2003-03-26 Nokia Mobile Phones Ltd Error concealment in a video signal
KR100357093B1 (ko) 1999-06-02 2002-10-18 엘지전자 주식회사 동영상 압축 복원시스템에서의 오류 은폐장치 및 방법
KR100296596B1 (ko) * 1999-07-14 2001-07-12 윤종용 4방향 일차원 고역 통과 필터링에 의한 윤곽선 강조 방법
KR100349058B1 (ko) 2000-06-15 2002-08-21 (주)씨앤에스 테크놀로지 영상압축복원장치
CN1134174C (zh) * 2001-06-08 2004-01-07 清华大学 地面数字电视广播中的视频差错隐藏方法
US7116838B2 (en) * 2002-10-25 2006-10-03 Eastman Kodak Company Enhancing the tonal and spatial characteristics of digital images using selective spatial filters
MXPA05007447A (es) * 2003-01-10 2005-09-12 Thomson Licensing Sa Aparato de decodificador y metodo para suavizar artefactos creados durante el ocultamiento de error.
US7043089B2 (en) * 2003-02-27 2006-05-09 Hewlett-Packard Development Company, L.P. Overflow error diffusion
KR100504824B1 (ko) 2003-04-08 2005-07-29 엘지전자 주식회사 이미지 신호 블록오류 보정 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015144391A (ja) * 2014-01-31 2015-08-06 ローム株式会社 画像データの受信回路およびそれを用いた電子機器、画像データの伝送方法
JP2015144392A (ja) * 2014-01-31 2015-08-06 ローム株式会社 シリアルデータの送信回路および受信回路、それらを用いた伝送システム、電子機器、シリアルデータの伝送方法

Also Published As

Publication number Publication date
US7773677B2 (en) 2010-08-10
US20050190843A1 (en) 2005-09-01
CN1662070A (zh) 2005-08-31
EP1581009A3 (en) 2005-12-07
EP1581009A2 (en) 2005-09-28
CN100380987C (zh) 2008-04-09
KR20050087407A (ko) 2005-08-31
KR100531895B1 (ko) 2005-11-29
JP4462551B2 (ja) 2010-05-12

Similar Documents

Publication Publication Date Title
JP4462551B2 (ja) 移動通信システムの画像ブロックエラー隠匿装置及びその方法
US8559527B2 (en) Image display apparatus
US8369649B2 (en) Image processing apparatus, image processing method, and computer program for performing super-resolution process
US8532193B1 (en) Block error compensating apparatus of image frame and method thereof
US8472530B2 (en) Selective error concealment method and apparatus for moving picture frame
CN107369454B (zh) 语音频码流的解码方法及装置
EP2701386A1 (en) Video processing apparatus and method
US20060171475A1 (en) Error concealment apparatus and method
US9294676B2 (en) Choosing optimal correction in video stabilization
JPH08251422A (ja) ブロック歪み補正器及び画像信号伸張装置
JP2012235407A (ja) 画像処理装置および画像処理方法
JP2001186521A (ja) 画像復号化装置及び方法
US11948278B2 (en) Image quality improvement method and image processing apparatus using the same
US8045817B2 (en) Method for improving image quality, and image signal processing apparatus and AV device using the same
JP2012034198A (ja) フレーム補間装置
Hsieh et al. Grey temporal error concealment
JP2008508787A (ja) インター符号化系列向けのエラー隠蔽技術
JP2004187023A (ja) 動画像符号化装置及び動画像復号化装置
JP2001339368A (ja) 誤り補償回路及び誤り補償機能を備えた復号装置
JP5968067B2 (ja) 画像処理装置及びその制御方法
JP2008227896A (ja) データ処理装置及び電子機器
JP2004180344A (ja) 動画像信号処理装置
JP2009130571A (ja) 画像復号化装置および方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080428

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080728

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080731

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080828

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080902

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080929

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20081002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091215

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100112

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100212

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140226

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees