JP2001186521A - 画像復号化装置及び方法 - Google Patents

画像復号化装置及び方法

Info

Publication number
JP2001186521A
JP2001186521A JP36562399A JP36562399A JP2001186521A JP 2001186521 A JP2001186521 A JP 2001186521A JP 36562399 A JP36562399 A JP 36562399A JP 36562399 A JP36562399 A JP 36562399A JP 2001186521 A JP2001186521 A JP 2001186521A
Authority
JP
Japan
Prior art keywords
block
illegal
image
error
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP36562399A
Other languages
English (en)
Inventor
Takahiro Kimoto
崇博 木本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP36562399A priority Critical patent/JP2001186521A/ja
Priority to US09/741,065 priority patent/US7072403B2/en
Publication of JP2001186521A publication Critical patent/JP2001186521A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Abstract

(57)【要約】 【課題】 回線品質の低い通信路で伝送された画像信号
に対し、誤りの発生した箇所を効率的に検出し、画像信
号が劣化するのを抑制する画像復号化装置を提供する。 【解決手段】 複数のブロックデータと誤り検出符号と
からなる入力信号に対して誤り検出部１０１により誤り
検出を行った後に、パケット分割部１０２により個々の
ブロックに分割して、画像復号部１０３にて画像の復号
を行う。また、第１不正ブロック判定部１０４が、誤り
検出を行った結果誤りの含まれている可能性のあるブロ
ックに対してのみ、それが不正に復号されたブロックか
否かの判定を行い、第１不正ブロック隠蔽部１０５が、
その判定結果に従って不正ブロックの画素値の修正を行
う。従って、第１不正ブロック判定部１０４が処理量を
大きく要することなく不正ブロックを特定することがで
きる。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、画像復号化装置及
び方法に関し、特に回線品質の低い通信路において伝送
された画像データの劣化を抑制する画像復号化装置及び
方法に関する。
【０００２】
【従来の技術】圧縮符号化した画像信号を回線品質の低
い伝送路環境で通信する場合、伝送時に混入する誤りに
より復号後の画像信号が著しく劣化してしまう。
【０００３】これを抑制するためには、画像信号のうち
誤りの発生した箇所を特定する検出処理、及び誤りの発
生した箇所の画素値を修正し、誤りを隠蔽する隠蔽処理
が必要となる。
【０００４】このうち、検出処理の技術として、復号時
の状態や復号後の画像から誤りを検出する第１の方法
と、伝送時に予め誤り検出用の符号を挿入しておき、画
像復号化装置側でその符号を用いた誤り検出を行う第２
の方法とがある。
【０００５】図６を参照しながら、上述した第１の方法
を用いて画像の復号を行う画像復号化装置の構成、及び
動作を説明する。
【０００６】図６に示されるように、この画像復号化装
置は、入力信号２０００を入力するパケット分割部２０
１と、パケット分割部２０１の出力する信号２００１を
入力し、復号後の画像信号２０１１を出力する画像復号
部２０２と、画像復号部２０２の後述するフレームメモ
リ２０６から画像信号２００７を読み出し、処理後の信
号２００８を第１不正ブロック判定部２０４に出力する
不正ブロック判定部２０３と、不正ブロック判定部２０
３の出力する信号２００８と、画像復号部２０２のフレ
ームメモリ２０６から読み出した画像信号２００９とを
入力し、処理後の画像信号２０１０をフレームメモリ２
０６に出力する第１不正ブロック隠蔽部２０４とから構
成される。
【０００７】また、画像復号部２０２は、パケット分割
部２０１の出力する信号２００１と、フレームメモリ２
０６から読み出した画像信号２００３とを入力するブロ
ックデータ復号部２０５と、ブロックデータ復号部２０
５の出力する画像信号２００２と、第１不正ブロック隠
蔽部２０４の出力する画像信号２０１０と、第２不正ブ
ロック隠蔽部２０７の出力する画像信号２００６とを格
納するフレームメモリ２０６と、ブロックデータ復号部
２０５の出力する信号２００４と、フレームメモリ２０
６から読み出した画像信号２００５とを入力し、処理後
の画像信号２００６をフレームメモリ２０６に出力する
第２不正ブロック隠蔽部２０７とから構成される。
【０００８】入力信号２０００は、画像信号の符号化単
位である画素ブロックを符号化したブロックデータを複
数個まとめたパケットの形で到着する。
【０００９】パケット分割部２０１は、そのパケットを
個々のブロックデータに分割する。ブロックデータ復号
部２０５は、パケット分割部２０１から出力されるブロ
ックデータ２００１を入力して復号し、復号結果をフレ
ームメモリ２０６に格納する。
【００１０】誤りにより復号不能であったりパケットが
未到着でデータの存在しないブロックについては、第２
不正ブロック隠蔽部２０７がフレームメモリ２０６に格
納された前時刻のフレームから適当な位置にあるブロッ
クを複写してそれを修正値とする。
【００１１】不正ブロック判定部２０３は、フレームメ
モリ２０６に格納された復号後の画像について、それが
誤って復号された不正ブロックであるか否かを判定し、
その判定結果２００８を第１不正ブロック隠蔽部２０４
に出力する。
【００１２】第１不正ブロック隠蔽部２０４は、該当す
るブロックについて、その周囲のブロックもしくは前時
刻のフレームの位置にあるブロックから修正値を算出す
る。
【００１３】このようにして、ブロックデータ復号部２
０５により復号され、第１不正ブロック隠蔽部２０４、
及び第２不正ブロック隠蔽部２０７により隠蔽処理を施
された復号画像２０１１が、画像復号部２０２より出力
される。
【００１４】次に、図７を参照しながら上述した第２の
方法を用いて画像の復号を行う画像復号化装置の構成及
び動作について説明する。
【００１５】図７に示されるように、この画像復号化装
置は、入力信号３０００を入力する誤り検出部３０１
と、誤り検出部３０１から出力される信号３００１、及
び３００２を入力するパケット分割部３０２と、パケッ
ト分割部３０２から出力される信号３００３を入力し、
復号後の画像信号３００９を出力する画像復号部３０３
と、パケット分割部３０２の出力する信号３００４、及
び画像復号部３０３のフレームメモリ３０６から読み出
した画像信号３００７を入力し、処理後の画像信号３０
０８をフレームメモリ３０６に出力する不正ブロック隠
蔽部３０４とを有して構成される。
【００１６】また、画像復号部３０３は、パケット分割
部３０２の出力する信号３００３、及び後述するフレー
ムメモリ３０６から読み出した画像信号３００６を入力
するブロックデータ復号部３０５と、ブロックデータ復
号部３０５の出力する復号画像信号３００５と、不正ブ
ロック隠蔽部３０４の出力する画像信号３００８とを入
力するフレームメモリ３０６とを有して構成される。
【００１７】入力信号３０００には、ＣＲＣなどの誤り
検出符号が追加されている。誤り検出部３０１は、この
誤り検出符号を用いて各パケットに誤りが混入していな
いかを判定し、その判定結果を表す信号３００２と、入
力信号から誤り検出符号を除いたパケット３００１をパ
ケット分割部３０２に出力する。
【００１８】パケット分割部３０２は、パケットをブロ
ックに分割し、誤りの混入しているパケットについて
は、対応するブロックのアドレス３００４を不正ブロッ
ク隠蔽部３０４に出力する。
【００１９】画像復号部３０３のブロックデータ復号部
３０５は、正常であるブロックデータについて復号を行
い、復号画像をフレームメモリ３０６に格納する。
【００２０】不正ブロック隠蔽部３０４は、パケット分
割部３０２からの不正ブロックのアドレス信号３００４
を参照して、誤りの混入している可能性のあるブロック
について、周囲のブロックもしくは前時刻のフレームの
適当な位置にあるブロックから修正値を算出する。
【００２１】このようにして、ブロックデータ復号部３
０５により復号され、不正ブロック隠蔽部３０４により
隠蔽処理を施された復号画像３００９が、画像復号部３
０３により出力される。
【００２２】
【発明が解決しようとする課題】しかしながら、上述し
た第１の方法を用いて画像の復号を行う画像復号化装置
は、不正ブロック判定部２００７が復号後の全てのブロ
ックについて判定処理を行う。そのため正常に復号でき
ているはずのブロックに対して誤検出を行う可能性があ
り、また、処理量も膨大になるという問題がある。
【００２３】一方、上述した第２の方法を用いて画像の
復号を行う画像復号化装置では、パケット長を長くとる
と実際には誤りが混入していないブロックについても隠
蔽処理を行ってしまう。その一方、パケット長を短くと
ると、誤り検出符号に要する符号量が増大し、符号化効
率が低下するという問題がある。
【００２４】本発明は上記事情に鑑みてなされたもので
あり、圧縮符号化した画像信号を回線品質の低い伝送路
環境で通信した際に、誤りの発生した箇所を効率的に検
出し、画像信号が劣化するのを防止する画像復号化装置
及び方法を提供することを目的とする。
【００２５】
【課題を解決するための手段】かかる目的を達成するた
めに請求項１記載の発明は、複数の画素からなるブロッ
クを単位として符号化された画像信号を復号する画像復
号化装置であって、複数のブロックデータからなる入力
信号に対して、誤りが発生しているか否かを検出して、
誤りの発生している領域を示す誤り検出手段と、誤り検
出手段による誤り検出後の画像信号を、個々のブロック
のデータに分割すると共に、誤り検出手段によって得ら
れた誤りの発生している領域に対応するブロックのアド
レスを送出するパケット分割手段と、ブロックデータを
順次復号し、復号画像を生成する画像復号手段と、画像
復号手段によって得られた復号画像のうち、パケット分
割手段の出力するアドレスに該当するブロックについ
て、隣接するブロックの画素値から該当するブロックが
不正に復号されたか否かを判定する第１の不正ブロック
判定手段と、第１の不正ブロック判定手段により不正に
復号されたブロックであると判定されたブロックに対し
て、誤りを隠蔽するような画素値の修正を施す第１の不
正ブロック隠蔽手段と、を有することを特徴とする。
【００２６】請求項２記載の発明は、請求項１記載の発
明において、画像復号手段は、前時刻における復号画像
と、現時刻における復号済ブロックとを格納する第１の
記憶手段と、第１の記憶手段の格納する前時刻における
復号画像を参照して、符号化されたブロックデータを復
号し、ブロックデータに誤りが混入していたため復号不
能だった場合には、対応するブロックのアドレスを送出
するブロックデータ復号手段と、復号画像のうちアドレ
スの指定するブロックに対して、誤りを隠蔽するような
画素値の修正を施す第２の不正ブロック隠蔽手段と、を
有することを特徴とする。
【００２７】請求項３記載の発明は、請求項１記載の発
明において、画像復号手段は、前時刻における復号画像
と、現時刻における復号済ブロックとを格納する第１の
記憶手段と、第１の記憶手段に記憶された前時刻におけ
る復号画像を参照して、符号化されたブロックデータを
復号し、ブロックデータに誤りが混入していたため復号
不能だった場合には、対応するブロックのアドレスを送
出するブロックデータ復号手段と、第１の記憶手段に格
納された復号画像のうちアドレスに指定する該当ブロッ
クについて、誤りを隠蔽するような画素値の修正を施す
第２の不正ブロック隠蔽手段と、復号画像のうちアドレ
スの指定する該当ブロックに対して、隠蔽後の該当ブロ
ックの画素値が適当であるか否かを、隣接するブロック
の画素値から判定する第２の不正ブロック判定手段と、
第１の記憶手段に格納された復号画像のうち、第２の不
正ブロック判定手段により適当でないと判定された該当
ブロックに対して、誤りを隠蔽するような画素値の修正
を施す第３の不正ブロック隠蔽手段と、を有することを
特徴とする。
【００２８】請求項４記載の発明は、複数の画素からな
るブロックを単位として符号化された画像信号を復号す
る画像復号化装置であって、複数のブロックデータから
なる入力信号に対して、誤りが発生しているか否かを検
出して、誤りの発生している領域を示す誤り検出手段
と、誤り検出手段による誤り検出後の画像信号を、個々
のブロックのデータに分割すると共に、誤り検出手段に
よって得られた誤りの発生している領域に対応するブロ
ックのアドレスを送出するパケット分割手段と、ブロッ
クデータを順次復号し、復号画像を生成する画像復号手
段と、を有し、画像復号手段は、前時刻における復号画
像と、現時刻における復号済ブロックとを格納する第１
の記憶手段と、第１の記憶手段に格納された前時刻にお
ける復号画像を参照して、符号化されたブロックデータ
を復号し、ブロックデータに誤りが混入していたため復
号不能であった場合には、対応するブロックのアドレス
を送出するブロックデータ復号手段と、第１の記憶手段
に格納された復号画像のうちアドレスの指定する該当ブ
ロックについて、誤りを隠蔽するような画素値の修正を
施す第２の不正ブロック隠蔽手段と、復号画像のうちア
ドレスの指定する該当ブロックに対して、隠蔽後の該当
ブロックの画素値が適当であるか否かを、隣接するブロ
ックの画素値から判定する第２の不正ブロック判定手段
と、第１の記憶手段に格納された復号画像のうち、第２
の不正ブロック判定手段が適当でないと判定した該当ブ
ロックに対して、誤りを隠蔽するような画素値の修正を
施す第３の不正ブロック隠蔽手段と、を有することを特
徴とする。
【００２９】請求項５記載の発明は、請求項１から３の
何れか一項に記載の発明において、第１の不正ブロック
隠蔽手段は、不正ブロックと判定された該当ブロックに
対し、該当ブロックの近傍に位置するブロックの画素値
からの補間処理によって該当ブロックの画素値を修正す
るフレーム内隠蔽処理か、不正ブロックと判定された該
当ブロックに対し、第１の記憶手段に格納されている前
時刻の復号画像において該当ブロックと同じ位置にある
ブロックあるいはその近傍ブロックの画素値を複写する
ことで、該当するブロックの画素値を修正するフレーム
間隠蔽処理の何れかを用いて画素値の修正を行うことを
特徴とする。
【００３０】請求項６記載の発明は、請求項２記載の発
明において、第２の不正ブロック隠蔽手段は、不正ブロ
ックと判定された該当ブロックに対し、該当ブロックの
近傍に位置するブロックの画素値からの補間処理によっ
て該当ブロックの画素値を修正するフレーム内隠蔽処理
か、不正ブロックと判定された該当ブロックに対し、第
１の記憶手段に格納されている前時刻の復号画像におい
て該当ブロックと同じ位置にあるブロックあるいはその
近傍ブロックの画素値を複写することで、該当するブロ
ックの画素値を修正するフレーム間隠蔽処理の何れかを
用いて画素値の修正を行うことを特徴とする。
【００３１】請求項７記載の発明は、請求項３または４
記載の発明において、第２の不正ブロック隠蔽手段は、
不正ブロックと判定された該当ブロックに対し、該当ブ
ロックの近傍に位置するブロックの画素値から補間処理
によって該当ブロックの画素値を修正するフレーム間隠
蔽処理を用いて画素値の修正を行い、第３の不正ブロッ
ク隠蔽手段は、不正ブロックと判定された該当ブロック
に対し、第１の記憶手段に格納されている前時刻の復号
画像において該当ブロックと同じ位置にあるブロックあ
るいはその近傍ブロックの画素値を複写することで、該
当ブロックの画素値を修正するフレーム間隠蔽処理を用
いて画素値の修正を行うことを特徴とする。
【００３２】請求項８記載の発明は、請求項１、２、
３、５、６の何れか一項に記載の発明において、第１の
不正ブロック判定手段は、パケット分割手段の算出した
ブロックアドレスに基づいて、復号画像内の対応するブ
ロックおよびその近傍ブロックの画素値を参照し、その
変動の不連続性の指標となる判定値を算出する判定値算
出手段と、判定値算出手段により算出した判定値と所定
の閾値とを比較する第１の閾値処理手段と、第１の閾値
処理手段による閾値との比較結果を表すフラグを格納す
る第２の記憶手段と、第２の記憶手段に格納されたフラ
グの値と所定の閾値との比較を行う第２の閾値処理手段
と、を有することを特徴とする。
【００３３】請求項９記載の発明は、請求項３、４、７
の何れか一項に記載の発明において、第２の不正ブロッ
ク判定手段は、パケット分割手段の算出したブロックア
ドレスに基づいて、復号画像内の対応するブロックおよ
びその近傍ブロックの画素値を参照し、その変動の不連
続性の指標となる判定値を算出する判定値算出手段と、
判定値算出手段により算出した判定値と所定の閾値とを
比較する第１の閾値処理手段と、第１の閾値処理手段に
よる閾値との比較結果を表すフラグを格納する第２の記
憶手段と、第２の記憶手段に格納されたフラグの値と所
定の閾値との比較を行う第２の閾値処理手段と、を有す
ることを特徴とする。
【００３４】請求項１０記載の発明は、複数の画素から
なるブロックを単位として符号化された画像信号を復号
する画像復号化方法であって、複数のブロックデータか
らなる入力信号に対して、誤りが発生しているか否かを
検出して、誤りの発生している領域を示す誤り検出工程
と、誤り検出工程による誤り検出後の画像信号を、個々
のブロックのデータに分割すると共に、誤り検出工程に
よって得られた誤りの発生している領域に対応するブロ
ックのアドレスを送出するパケット分割工程と、ブロッ
クデータを順次復号し、復号画像を生成する画像復号工
程と、画像復号工程によって復号された復号画像のう
ち、パケット分割工程の出力するアドレスに該当するブ
ロックについて、隣接するブロックの画素値から該当す
るブロックが不正に復号されたか否かを判定する第１の
不正ブロック判定工程と、第１の不正ブロック判定工程
により不正に復号されたブロックであると判定されたブ
ロックに対して、誤りを隠蔽するような画素値の修正を
施す第１の不正ブロック隠蔽工程と、を有することを特
徴とする。
【００３５】請求項１１記載の発明は、請求項１０記載
の発明において、画像復号工程は、前時刻における復号
画像と、現時刻における復号済ブロックとを第１の記憶
手段に格納する第１の記憶工程と、第１の記憶手段の格
納する前時刻における復号画像を参照して、符号化され
たブロックデータを復号し、ブロックデータに誤りが混
入していたため復号不能だった場合には、対応するブロ
ックのアドレスを送出するブロックデータ復号工程と、
復号画像のうちアドレスの指定するブロックに対して、
誤りを隠蔽するような画素値の修正を施す第２の不正ブ
ロック隠蔽工程と、を有することを特徴とする。
【００３６】請求項１２記載の発明は、請求項１０記載
の発明において、画像復号工程は、前時刻における復号
画像と、現時刻における復号済ブロックとを第１の記憶
手段に格納する第１の記憶工程と、第１の記憶手段に記
憶された前時刻における復号画像を参照して、符号化さ
れたブロックデータを復号し、ブロックデータに誤りが
混入していたため復号不能だった場合には、対応するブ
ロックのアドレスを送出するブロックデータ復号工程
と、第１の記憶手段に格納された復号画像のうちアドレ
スに指定する該当ブロックについて、誤りを隠蔽するよ
うな画素値の修正を施す第２の不正ブロック隠蔽工程
と、復号画像のうちアドレスの指定する該当ブロックに
対して、隠蔽後の該当ブロックの画素値が適当であるか
否かを、隣接するブロックの画素値から判定する第２の
不正ブロック判定工程と、第１の記憶手段に格納された
復号画像のうち、第２の不正ブロック判定工程により適
当でないと判定された該当ブロックに対して、誤りを隠
蔽するような画素値の修正を施す第３の不正ブロック隠
蔽工程と、を有することを特徴とする。
【００３７】請求項１３記載の発明は、複数の画素から
なるブロックを単位として符号化された画像信号を復号
する画像復号化方法であって、複数のブロックデータか
らなる入力信号に対して、誤りが発生しているか否かを
検出して、誤りの発生している領域を示す誤り検出工程
と、誤り検出工程による誤り検出後の画像信号を、個々
のブロックのデータに分割すると共に、誤り検出工程に
よって得られた誤りの発生している領域に対応するブロ
ックのアドレスを送出するパケット分割工程と、ブロッ
クデータを順次復号し、復号画像を生成する画像復号工
程と、を有し、画像復号工程は、前時刻における復号画
像と、現時刻における復号済ブロックとを第１の記憶手
段に格納する第１の記憶工程と、第１の記憶手段に格納
された前時刻における復号画像を参照して、符号化され
たブロックデータを復号し、ブロックデータに誤りが混
入していたため復号不能であった場合には、対応するブ
ロックのアドレスを送出するブロックデータ復号工程
と、第１の記憶手段に格納された復号画像のうちアドレ
スの指定する該当ブロックについて、誤りを隠蔽するよ
うな画素値の修正を施す第２の不正ブロック隠蔽工程
と、復号画像のうちアドレスの指定する該当ブロックに
対して、隠蔽後の該当ブロックの画素値が適当であるか
否かを、隣接するブロックの画素値から判定する第２の
不正ブロック判定工程と、第１の記憶手段に格納された
復号画像のうち、第２の不正ブロック判定工程が適当で
ないと判定した該当ブロックに対して、誤りを隠蔽する
ような画素値の修正を施す第３の不正ブロック隠蔽工程
と、を有することを特徴とする。
【００３８】請求項１４記載の発明は、請求項１０から
１２の何れか一項に記載の発明において、第１の不正ブ
ロック隠蔽工程は、不正ブロックと判定された該当ブロ
ックに対し、該当ブロックの近傍に位置するブロックの
画素値からの補間処理によって該当ブロックの画素値を
修正するフレーム内隠蔽処理か、不正ブロックと判定さ
れた該当ブロックに対し、第１の記憶手段に格納されて
いる前時刻の復号画像において該当ブロックと同じ位置
にあるブロックあるいはその近傍ブロックの画素値を複
写することで、該当するブロックの画素値を修正するフ
レーム間隠蔽処理の何れかを用いて画素値の修正を行う
ことを特徴とする。
【００３９】請求項１５記載の発明は、請求項１１記載
の発明において、第２の不正ブロック隠蔽工程は、不正
ブロックと判定された該当ブロックに対し、該当ブロッ
クの近傍に位置するブロックの画素値からの補間処理に
よって該当ブロックの画素値を修正するフレーム内隠蔽
処理か、不正ブロックと判定された該当ブロックに対
し、第１の記憶手段に格納されている前時刻の復号画像
において該当ブロックと同じ位置にあるブロックあるい
はその近傍ブロックの画素値を複写することで、該当す
るブロックの画素値を修正するフレーム間隠蔽処理の何
れかを用いて画素値の修正を行うことを特徴とする。
【００４０】請求項１６記載の発明は、請求項１２また
は１３記載の発明において、第２の不正ブロック隠蔽工
程は、不正ブロックと判定された該当ブロックに対し、
該当ブロックの近傍に位置するブロックの画素値から補
間処理によって該当ブロックの画素値を修正するフレー
ム間隠蔽処理を用いて画素値の修正を行い、第３の不正
ブロック隠蔽工程は、不正ブロックと判定された該当ブ
ロックに対し、第１の記憶手段に格納されている前時刻
の復号画像において該当ブロックと同じ位置にあるブロ
ックあるいはその近傍ブロックの画素値を複写すること
で、該当ブロックの画素値を修正するフレーム間隠蔽処
理を用いて画素値の修正を行うことを特徴とする。
【００４１】請求項１７記載の発明は、請求項１０、１
１、１２、１４、１５の何れか一項に記載の発明におい
て、第１の不正ブロック判定工程は、パケット分割工程
の算出したブロックアドレスに基づいて、復号画像内の
対応するブロックおよびその近傍ブロックの画素値を参
照し、その変動の不連続性の指標となる判定値を算出す
る判定値算出工程と、判定値算出工程により算出した判
定値と所定の閾値とを比較する第１の閾値処理工程と、
第１の閾値処理工程による閾値との比較結果を表すフラ
グを格納する第２の記憶工程と、第２の記憶工程に格納
されたフラグの値と、所定の閾値との比較を行う第２の
閾値処理工程と、を有することを特徴とする。
【００４２】請求項１８記載の発明は、請求項１２、１
３、１６の何れか一項に記載の発明において、第２の不
正ブロック判定工程は、パケット分割工程の算出したブ
ロックアドレスに基づいて、復号画像内の対応するブロ
ックおよびその近傍ブロックの画素値を参照し、その変
動の不連続性の指標となる判定値を算出する判定値算出
工程と、判定値算出工程により算出した判定値と所定の
閾値とを比較する第１の閾値処理工程と、第１の閾値処
理工程による閾値との比較結果を表すフラグを格納する
第２の記憶工程と、第２の記憶工程に格納されたフラグ
の値と、所定の閾値との比較とを行う第２の閾値処理工
程と、を有することを特徴とする。
【００４３】従って、本発明によれば、誤り検出手段に
より特定された、誤りが混入している可能性があるブロ
ックに対してのみ不正ブロックの判定を行うことによ
り、正常に復号されているブロックに対して不要な判定
処理を行うことがなく、誤検出の低下や処理量の削減の
効果が得られる。
【００４４】
【発明の実施の形態】次に添付図面を参照しながら本発
明の画像復号化装置及び方法に係る実施の形態を詳細に
説明する。図１〜図５を参照すると本発明の画像復号化
装置及び方法に係る実施形態が示されている。
【００４５】まず、図１を参照しながら本発明の画像復
号化装置及び方法に係る第１の実施形態の構成を詳細に
説明する。
【００４６】図１に示されるように本発明に係る第１の
実施形態は、入力信号１０００を入力して、信号１００
１と１００２とを出力する誤り検出部１０１と、誤り検
出部１０１からの信号１００１と信号１００２とを入力
して、信号１００３と信号１００４とを出力するパケッ
ト分割部１０２と、パケット分割部１０２からの信号１
００３を入力して、出力画像１０１４を生成する画像復
号部１０３と、パケット分割部１０２からの信号１００
４と、画像復号部１０３の後述するフレームメモリ１０
７から読み出した画像信号１０１０とを入力して、信号
１０１１を出力する第１不正ブロック判定部１０４と、
第１不正ブロック判定部１０４からの信号１０１１と、
フレームメモリ１０７から読み出した画像信号１０１２
とを入力して、処理後の画像信号１０１３をフレームメ
モリ１０７に返す第１不正ブロック隠蔽部１０５と、を
有して構成される。
【００４７】誤り検出部１０１は、入力信号１０００に
付加されている誤り検出符号から、入力信号に伝送誤り
が発生しているか否かを判定して、その判定結果を表す
判定信号１００２と共に、入力信号から誤り検出符号を
除いたパケット信号１００１を出力する。
【００４８】パケット分割部１０２は、誤り検出部１０
１からのパケット信号１００１を個々のブロックに分割
してブロックデータ１００３を出力すると共に、判定信
号１００２を参照して誤りが含まれている可能性のある
ブロックのアドレスを表すアドレス信号１００４を出力
する。
【００４９】画像復号部１０３は、前時刻における復号
画像を保持しておくと共に、パケット分割部１０２から
のブロックデータ１００３を受け取って、保持した前時
刻における復号画像１００６を参照して出力画像１０１
４を生成する。
【００５０】第１不正ブロック判定部１０４は、画像復
号部１０３のフレームメモリ１０７に記憶されている復
号画像のうち、アドレス信号１００４の示すブロック
が、誤りによって画質の劣化している不正ブロックであ
るか否かを判定し、判定結果を表す判定信号１０１１を
第１不正ブロック隠蔽部１０５に出力する。
【００５１】第１不正ブロック隠蔽部１０５は、フレー
ムメモリ１０７に記憶されている復号画像のうち、第１
不正ブロック判定部１０４からの判定信号１０１１によ
り不正なブロックであると判定されたブロックに対して
隠蔽処理を行う。ここでの隠蔽処理には、現在フレーム
における周囲ブロックを用いるフレーム内隠蔽処理か、
前時刻での復号画像を用いるフレーム間隠蔽処理の何れ
かが用いられる。隠蔽処理後の画像信号１０１３はフレ
ームメモリ１０７に格納される。
【００５２】また、画像復号部１０３は、パケット分割
部１０２からのブロックデータ信号１００３と、後述す
るフレームメモリ１０７からの画像信号１００６とを入
力して、復号画像信号１００５と、判定信号１００７と
を出力するブロックデータ復号部１０６と、ブロックデ
ータ復号部１０６からの復号画像信号１００５と、第２
不正ブロック隠蔽部１０８からの隠蔽処理後の画像信号
１００９と、第１不正ブロック隠蔽部１０５からの隠蔽
処理後の画像信号１０１３とを格納するフレームメモリ
１０７と、ブロックデータ復号部１０６からの信号１０
０７と、フレームメモリ１０７から読み出した画像信号
１００８とを入力とし、処理後の画像信号１００９をフ
レームメモリ１０７に出力する第２不正ブロック隠蔽部
１０８とを有して構成される。
【００５３】ブロックデータ復号部１０６は、パケット
分割部１０２から受けとったブロックデータ１００３
を、フレームメモリ１０７に保持された前時刻の復号画
像１００６を参照して画像に復号する。復号した画像デ
ータ１００５は、フレームメモリ１０７に格納される。
【００５４】フレームメモリ１０７は、前時刻における
復号画像を保持しておくと同時に、ブロックデータ復号
部１０６により復号されたブロックの画像データ１００
５を保持する。
【００５５】また、フレームメモリ１０７は、第１不正
ブロック隠蔽部１０５、及び第２不正ブロック隠蔽部１
０８により隠蔽処理を施された画像信号を格納する。
【００５６】第２不正ブロック隠蔽部１０８は、ブロッ
クデータ復号部１０６の出力する不正ブロックのアドレ
スを受け取って、フレームメモリ１０７の格納する復号
画像のうち不正ブロックに該当するアドレスのブロック
について誤りを隠蔽する処理を行う。この隠蔽処理に
も、現在フレームにおける周囲ブロックを用いるフレー
ム内隠蔽処理か、前時刻での復号画像を用いるフレーム
間隠蔽処理の何れかが用いられる。
【００５７】ここで、第１不正ブロック隠蔽部１０５、
及び第２不正ブロック隠蔽部１０８において適用される
フレーム内隠蔽処理、及びフレーム間隠蔽処理について
説明する。
【００５８】まず、図２を参照しながらフレーム内隠蔽
処理について具体的に説明する。図２は、隠蔽対象とな
るブロックと、その隠蔽対象ブロックに隣接するブロッ
クにおける画素の配置を示す図である。フレーム内隠蔽
処理は、周囲の画素値からの補間処理によって該当ブロ
ック画素値を予測する方法である。
【００５９】図２に示されたＣ００〜Ｃ７７，Ｔ７０〜
Ｔ７７，Ｒ００〜Ｒ７０，Ｂ００〜Ｂ０７，Ｌ０７〜Ｌ
７７は何れも個々の画素を示すものとする。ブロックは
８画素×８画素の形を取っており、隠蔽対象となる画素
はＣ００〜Ｃ７７の画素である。その他の画素は、この
隠蔽対象画素に隣接しているものとする。
【００６０】フレーム内隠蔽処理では、隠蔽対象画素に
隣接する画素を用いて、隠蔽対象画素Ｃ００〜Ｃ７７の
画素値修正を行う。
【００６１】まず、隠蔽対象画素の左右の両隣のブロッ
クの何れかが不正ブロックであった場合には、上下に隣
接する画素Ｔ７０〜Ｔ７７、及びＢ００〜Ｂ０７を用い
る。Ｔ７０〜Ｔ７７の画素値の平均値をＴＭ、Ｂ００〜
Ｂ０７の画素値の平均値をＢＭとして、隠蔽対象となる
ブロックの上半分の画素、即ち、Ｃ００〜Ｃ３７の画素
値をＴＭで置き換え、下半分の画素、即ち、Ｃ４０〜Ｃ
７７の画素値をＢＭで置き換える。この場合、さらに上
下両隣のブロックの何れかが不正ブロックであった場合
には、もう一方のブロック内の境界上の画素平均値、つ
まり下隣のブロックが不正ブロックならばＴＭでＣ００
〜Ｃ７７の画素値を置き換える。四方向に隣接するすべ
てのブロックが不正ブロックであるならば、予め定めら
れた固定値でＣ００からＣ７７の画素値を置き換える。
【００６２】一方、左右の両隣のブロックのいずれもが
不正ブロックでなかった場合には、左右に隣接する画素
Ｌ０７〜Ｌ７７，及びＲ００〜Ｒ７０を用いる。Ｌ０７
〜Ｌ７７の画素値の平均値をＬＭ，Ｒ００〜Ｒ７０の画
素値の平均値をＲＭとして、隠蔽対象となるブロックの
左半分の画素、即ちＣ００〜Ｃ０３，Ｃ１０〜Ｃ１３，
Ｃ２０〜Ｃ２３、Ｃ３０〜Ｃ３３，Ｃ４０〜Ｃ４３、Ｃ
５０〜Ｃ５３，Ｃ６０〜Ｃ６３，Ｃ７０〜Ｃ７３の画素
値をＬＭで置き換え、右半分の画素、即ちＣ０４〜Ｃ０
７，Ｃ１４〜Ｃ１７，Ｃ２４〜Ｃ２７、Ｃ３４〜Ｃ３
７，Ｃ４４〜Ｃ４７，Ｃ５４〜Ｃ５７，Ｃ６４〜Ｃ６
７，Ｃ７４〜Ｃ７７の画素値をＲＭで置き換える。な
お、以上の説明では、ブロックが８画素×８画素の場合
について説明したが、例えば、１６画素×１６画素のよ
うに他のサイズのブロックについても同様に処理でき
る。
【００６３】また、他のフレーム内隠蔽処理としては、
上に挙げた例のように隣接ブロックの境界上画素値から
補間する方法の他に、隣接ブロックのエッジ成分を抽出
して、それを外挿する形で補間する方法、あるいは、IC
IP'96 でのP.Salamaらの"A baysian approacl to error
concealment In encoded video streams", のように隣
接するブロックの画素分布から基底関数の重ね合わせと
して該当するブロックの画素分布を推定する方法等が挙
げられる。
【００６４】一方、フレーム間隠蔽処理は、前時刻フレ
ームにおいて同じ位置、あるいは動き補償予測によって
得られるブロックの画素値を新たな修正値として用いる
方法である。
【００６５】上述したフレーム内隠蔽処理、及びフレー
ム間隠蔽処理は、第１不正ブロック隠蔽部１０５及び第
２不正ブロック隠蔽部１０８における隠蔽処理方法とし
て何れも適用可能である。
【００６６】次に、図３を参照しながら第１不正ブロッ
ク判定部１０４の詳細な処理について説明する。図３に
は、不正ブロック判定部１０４の詳細な構成が示されて
いる。
【００６７】図３に示されるように第１不正ブロック判
定部１０４は、パケット分割部１０２からの不正ブロッ
クのアドレス信号１００４を入力して、そのアドレスに
対応するブロックの画素値あるいはその周囲のブロック
の画素値１０１０を参照し、該当ブロックが不正か否か
を判定するための判定値を算出する判定値算出処理部１
０９と、判定値算出処理部１０９により算出された判定
値１０１５を所定の閾値と比較する閾値処理部１１０
と、閾値処理部１１０による閾値比較結果を表すフラグ
を格納するメモリ１１１と、メモリ１１１に格納された
フラグの値を所定の閾値と比較する閾値処理部１１２と
を有して構成される。
【００６８】図２に示されたブロック内画素の配置図を
参照しながら第１不正ブロック判定部１０４による処理
について説明する。
【００６９】判定値算出処理部１０９は、境界上で隣接
する画素値の絶対値差分、すなわち、｜Ｃ００−Ｔ７０
｜，｜Ｃ０１−Ｔ７１｜，・・・，｜Ｃ００−Ｌ７０｜
を判定値として出力する。
【００７０】閾値処理部１１０は、これらの判定値を所
定の閾値ＴＨ１と比較する。判定値が閾値ＴＨ１よりも
大きい場合には、隣接する画素同士が不連続であるとし
て、メモリ１１１に格納しているフラグの値をインクリ
メントしていく。
【００７１】すべの判定値に対する閾値処理が終了する
と、メモリ１１１に格納されたフラグの値を、閾値処理
部１１２の保持する閾値ＴＨ２と比較する。フラグの値
が閾値ＴＨ２よりも大きい場合には、このブロックの境
界が隣接するブロックの画素値と比較して不連続である
と判定して、不正ブロックと見なす。
【００７２】なお、不正ブロックの判定方法の他の例と
して、１９９８年画像符号化シンポジウム（ＰＳＣＪ９
８）、Ｐ−３．０３、「画像信号特性を利用した動画像
誤り検出手段の一検討」のように、ブロック内の画素値
変動の不連続性を判定するため、境界近傍での画素値変
動量の差分絶対値およびその和を用いる方法や、特表平
９−５０３８９０号公報のようにブロック内の統計的分
布の不連続性を用いる方法、あるいはエッジ成分などブ
ロック内の画素分布の不連続性を用いる方法などがあ
る。
【００７３】上記構成からなる本実施形態は、圧縮符号
化した画像信号を回線品質の低い伝送路環境で通信した
場合に、誤りの発生した箇所を効率的に検出し、画像信
号が劣化するのを抑制することを目的とする。
【００７４】この目的を達成するために、第１不正ブロ
ック判定部１０４が、誤り検出部１０１によって検出し
たエラー発生領域の情報を参照し、このエラー発生領域
に限定して不正ブロックであるか否かを判定する。従っ
て、処理量を大きく要することなく不正ブロックを特定
することができる。
【００７５】例えば、伝送路での誤りが１０のマイナス
４乗の確立で発生する場合、不正ブロックの判定処理
は、図６に示された従来の画像復号化装置による画像復
号化方法と比較して、およそ０．０５％にまで減少する
ことが実験により明らかとなった。ブロックの判定処理
は、境界上にある全ての画素に対して閾値判定を行うも
のであるため、予めエラー発生領域を限定して不正ブロ
ックであるか否かを判定することにより、処理量を大幅
に削減することが可能となる。
【００７６】また、図６に示された従来の画像復号化装
置においては、復号画像において、正常に復号されてい
るはずのブロックに対しても不正ブロック判定部２０３
により判定処理を行っているため、原画像の分布によっ
ては、不正ブロックを誤って検出する可能性があった。
【００７７】これに対し本実施形態は、上述したように
判定対象となるブロックを誤りの発生している可能性の
あるものに限定しているため、誤検出する可能性を極め
て低く抑えることができる。
【００７８】また、図７に示された従来の画像符号化装
置では、誤り検出用コードのみを用いてブロックの誤り
を検出していたため、すべてのブロックに対して誤り検
出用コードを付加しなければならなかった。
【００７９】これに対して本実施形態は、ブロックデー
タ復号部１０６と、第１不正ブロック判定部１０４とに
より２段階でブロックの誤りを検出し、第２不正ブロッ
ク隠蔽部１０８、第１不正ブロック隠蔽部１０５で、検
出した不正ブロックに対して誤りを隠蔽する処理を行う
ことにより、複数のブロックからなる画像データパケッ
トに対して誤り検出用コードを付加するだけで、ブロッ
クの画像データの誤りを検出することが可能となる。従
って、符号量の増加を大きく抑えることができ、伝送時
の総符号量が制限されるような環境において、特に有効
な手段となる。
【００８０】次に図４を参照しながら本発明に係る第２
の実施形態について説明する。なお、上述した第１の実
施形態と同一の装置については同一の符号を付してい
る。
【００８１】図４に示された第２の実施形態は、上述し
た第１の実施形態とは画像復号部の構成が異なる。図４
に示されるように本実施形態は、画像復号部１１３に、
ブロックデータ復号部１０６からの判定信号１００７を
入力し、判定信号１０１９を出力する第２不正ブロック
判定部１１４と、第２不正ブロック判定部１１４からの
判定信号１０１９と、フレームメモリ１０７から読み出
した画像信号１０２０とを入力し、隠蔽処理後の画像信
号をフレームメモリ１０７に出力する第３不正ブロック
隠蔽部１１５とを設けたことを特徴としている。
【００８２】ブロックデータ復号部１０６は、ブロック
データ１００３と、フレームメモリ１０７に格納された
前時刻の復号画像とを参照して、ブロックデータの復号
を行う。この際、誤りにより正常に復号できなかったブ
ロックに対して、そのアドレスを第２不正ブロック隠蔽
部１０８に出力する。
【００８３】第２不正ブロック隠蔽部１０８は、ブロッ
クデータ復号部１０６より送られる不正ブロックのアド
レス１００７に該当するブロックに対して、フレーム間
隠蔽処理を行う。
【００８４】第２不正ブロック判定部１１４は、ブロッ
クデータ復号部１０６より出力される、誤りによって正
常に復号できなかった不正ブロックのアドレスから、該
当するブロックの画素値１０１８を参照して、第２不正
ブロック隠蔽部１０８の隠蔽処理により修正されたブロ
ックに隣接するブロックとの間に不連続が生じていない
かを判定する。なお、この第２不正ブロック判定部１１
４による判定方法は、上述した第１不正ブロック判定部
１０４による判定方法と同一であるので、説明を省略す
る。
【００８５】第３不正ブロック隠蔽部１１５は、第２不
正ブロック判定部１１４により不連続であると判定され
たブロックに対して、フレーム内隠蔽処理を行う。
【００８６】本実施形態は、上述した第１の実施形態に
より得られる効果に加えて、フレーム間隠蔽処理によっ
て修正されたブロックが周囲のブロックに対して不連続
である場合に、フレーム内隠蔽処理を施すことにより、
隠蔽処理が不適切であったため隠蔽後も劣化の見られる
ブロックを大きく減少させることが可能となる。従っ
て、誤りにより劣化したブロックに対する隠蔽処理を適
応的に選択することができる。
【００８７】なお、上述した第２の実施形態の変形例と
して、図５に示されるように第２の実施形態から第１不
正ブロック判定部１０４と、第１不正ブロック隠蔽部１
０５とを省いた構成としてもよい。
【００８８】このような構成であっても、図６に示され
た従来の画像符号化装置と比較して、誤りによる画質の
劣化を抑制することができる。また、上述した第２の実
施形態と同様に、フレーム間隠蔽処理によって修正され
たブロックが周囲のブロックに対して不連続である場合
に、フレーム内隠蔽処理を施すことにより、隠蔽処理が
不適切であったため隠蔽後も劣化の見られるブロックを
大きく減少させることが可能となる。
【００８９】なお、上述した実施形態は、本発明の好適
な実施の形態である。但し、これに限定されるものでは
なく、本発明の要旨を逸脱しない範囲内において種々変
形実施が可能である。
【００９０】
【発明の効果】以上の説明より明らかなように本発明
は、第１不正ブロック判定手段が、誤り検出手段によっ
て検出したエラー発生領域の情報を参照し、このエラー
発生領域に限定して不正ブロックであるか否かを判定す
る。従って、処理量を大きく要することなく不正ブロッ
クを特定することができる。
【００９１】例えば、伝送路での誤りが１０のマイナス
４乗の確立で発生する場合、不正ブロックの判定処理
は、図６に示された従来の画像復号化装置による画像復
号化方法と比較して、およそ０．０５％にまで減少する
ことが実験により明らかとなった。ブロックが不正ブロ
ックであるか否かの判定処理は、境界上にある全ての画
素に対して閾値判定を行うものであるため、予めエラー
発生領域を限定して不正ブロックであるか否かを判定す
ることにより、処理量を大幅に削減することが可能とな
る。
【００９２】また、図６に示された従来の画像復号化装
置においては、復号画像において、正常に復号されてい
るはずのブロックに対しても不正ブロック判定部２０３
により判定処理を行っているため、原画像の分布によっ
ては、不正ブロックを誤って検出する可能性があった。
【００９３】これに対し本発明は、上述したように判定
対象となるブロックを誤りの発生している可能性のある
ものに限定しているため、誤検出する可能性を極めて低
く抑えることができる。
【００９４】また、図７に示された従来の画像復号化装
置では、誤り検出用コードのみを用いてブロックの誤り
を検出していたため、すべてのブロックに対して誤り検
出用コードを付加しなければならなかった。
【００９５】これに対して本発明は、ブロックデータ復
号手段と、第１不正ブロック判定手段とにより２段階で
ブロックの誤りを検出し、第２不正ブロック隠蔽手段
と、第１不正ブロック隠蔽手段で、検出した不正ブロッ
クに対して誤りを隠蔽する処理を行うことにより、複数
のブロックからなる画像データパケットに対して誤り検
出用コードを付加するだけで、ブロックの画像データの
誤りを検出することが可能となる。従って、符号量の増
加を大きく抑えることができ、伝送時の総符号量が制限
されるような環境において、特に有効となる。
【００９６】また、フレーム間隠蔽処理を用いる第２不
正ブロック隠蔽手段により修正されたブロックが周囲の
ブロックに対して不連続である場合に、フレーム内隠蔽
処理を用いる第３不正ブロック隠蔽手段によって修正を
行うことにより、隠蔽処理が不適切であったため隠蔽後
も劣化の見られるブロックを大きく減少させることが可
能となる。
【図面の簡単な説明】
【図１】本発明に係る第１の実施形態の構成を表すブロ
ック図である。
【図２】不正ブロック隠蔽処理、不正ブロック検出処理
について説明するためのブロック内画素の配置図であ
る。
【図３】不正ブロック判定部の構成を表すブロック図で
ある。
【図４】本発明に係る第２実施形態の構成を表すブロッ
ク図である。
【図５】第２実施形態の変形例の構成を表すブロック図
である。
【図６】従来の画像復号化装置の構成を表すブロック図
である。
【図７】従来の画像符号化装置の構成を表すブロック図
である。
【符号の説明】
１０１ 誤り検出部 １０２ パケット分割部 １０３、１１３ 画像復号部 １０４ 第１不正ブロック判定部 １０５ 第１不正ブロック隠蔽部 １０６ ブロックデータ復号部 １０７ フレームメモリ １０８ 第２不正ブロック隠蔽部 １０９ 判定値算出処理部 １１０、１１２ 閾値処理部 １１１ メモリ １１４ 第２不正ブロック判定部 １１５ 第３不正ブロック隠蔽部

Claims (18)

    【特許請求の範囲】
  1. 【請求項１】 複数の画素からなるブロックを単位とし
    て符号化された画像信号を復号する画像復号化装置であ
    って、 複数のブロックデータからなる入力信号に対して、誤り
    が発生しているか否かを検出して、誤りの発生している
    領域を示す誤り検出手段と、 前記誤り検出手段による誤り検出後の画像信号を、個々
    のブロックのデータに分割すると共に、前記誤り検出手
    段によって得られた誤りの発生している領域に対応する
    ブロックのアドレスを送出するパケット分割手段と、 前記ブロックデータを順次復号し、復号画像を生成する
    画像復号手段と、 前記画像復号手段によって得られた復号画像のうち、前
    記パケット分割手段の出力する前記アドレスに該当する
    ブロックについて、隣接するブロックの画素値から前記
    該当するブロックが不正に復号されたか否かを判定する
    第１の不正ブロック判定手段と、 前記第１の不正ブロック判定手段により不正に復号され
    たブロックであると判定されたブロックに対して、誤り
    を隠蔽するような画素値の修正を施す第１の不正ブロッ
    ク隠蔽手段と、を有することを特徴とする画像復号化装
    置。
  2. 【請求項２】 前記画像復号手段は、 前時刻における復号画像と、現時刻における復号済ブロ
    ックとを格納する第１の記憶手段と、 前記第１の記憶手段の格納する前時刻における復号画像
    を参照して、符号化されたブロックデータを復号し、前
    記ブロックデータに誤りが混入していたため復号不能だ
    った場合には、対応するブロックのアドレスを送出する
    ブロックデータ復号手段と、 前記復号画像のうち前記アドレスの指定するブロックに
    対して、誤りを隠蔽するような画素値の修正を施す第２
    の不正ブロック隠蔽手段と、 を有することを特徴とする請求項１記載の画像復号化装
    置。
  3. 【請求項３】 前記画像復号手段は、 前時刻における復号画像と、現時刻における復号済ブロ
    ックとを格納する第１の記憶手段と、 前記第１の記憶手段に記憶された前時刻における復号画
    像を参照して、符号化されたブロックデータを復号し、
    前記ブロックデータに誤りが混入していたため復号不能
    だった場合には、対応するブロックのアドレスを送出す
    るブロックデータ復号手段と、 前記第１の記憶手段に格納された復号画像のうち前記ア
    ドレスに指定する該当ブロックについて、誤りを隠蔽す
    るような画素値の修正を施す第２の不正ブロック隠蔽手
    段と、 前記復号画像のうち前記アドレスの指定する該当ブロッ
    クに対して、隠蔽後の前記該当ブロックの画素値が適当
    であるか否かを、隣接するブロックの画素値から判定す
    る第２の不正ブロック判定手段と、 前記第１の記憶手段に格納された復号画像のうち、前記
    第２の不正ブロック判定手段により適当でないと判定さ
    れた該当ブロックに対して、誤りを隠蔽するような画素
    値の修正を施す第３の不正ブロック隠蔽手段と、 を有することを特徴とする請求項１記載の画像復号化装
    置。
  4. 【請求項４】 複数の画素からなるブロックを単位とし
    て符号化された画像信号を復号する画像復号化装置であ
    って、 複数のブロックデータからなる入力信号に対して、誤り
    が発生しているか否かを検出して、誤りの発生している
    領域を示す誤り検出手段と、 前記誤り検出手段による誤り検出後の画像信号を、個々
    のブロックのデータに分割すると共に、前記誤り検出手
    段によって得られた誤りの発生している領域に対応する
    ブロックのアドレスを送出するパケット分割手段と、 前記ブロックデータを順次復号し、復号画像を生成する
    画像復号手段と、 を有し、 前記画像復号手段は、 前時刻における復号画像と、現時刻における復号済ブロ
    ックとを格納する第１の記憶手段と、 前記第１の記憶手段に格納された前時刻における復号画
    像を参照して、符号化されたブロックデータを復号し、
    前記ブロックデータに誤りが混入していたため復号不能
    であった場合には、対応するブロックのアドレスを送出
    するブロックデータ復号手段と、 前記第１の記憶手段に格納された復号画像のうち前記ア
    ドレスの指定する該当ブロックについて、誤りを隠蔽す
    るような画素値の修正を施す第２の不正ブロック隠蔽手
    段と、 前記復号画像のうち前記アドレスの指定する該当ブロッ
    クに対して、隠蔽後の前記該当ブロックの画素値が適当
    であるか否かを、隣接するブロックの画素値から判定す
    る第２の不正ブロック判定手段と、 前記第１の記憶手段に格納された復号画像のうち、前記
    第２の不正ブロック判定手段が適当でないと判定した該
    当ブロックに対して、誤りを隠蔽するような画素値の修
    正を施す第３の不正ブロック隠蔽手段と、 を有することを特徴とする画像復号化装置。
  5. 【請求項５】 前記第１の不正ブロック隠蔽手段は、 不正ブロックと判定された該当ブロックに対し、該当ブ
    ロックの近傍に位置するブロックの画素値からの補間処
    理によって前記該当ブロックの画素値を修正するフレー
    ム内隠蔽処理か、 不正ブロックと判定された該当ブロックに対し、前記第
    １の記憶手段に格納されている前時刻の復号画像におい
    て前記該当ブロックと同じ位置にあるブロックあるいは
    その近傍ブロックの画素値を複写することで、前記該当
    するブロックの画素値を修正するフレーム間隠蔽処理の
    何れかを用いて画素値の修正を行うことを特徴とする請
    求項１から３の何れか一項に記載の画像復号化装置。
  6. 【請求項６】 前記第２の不正ブロック隠蔽手段は、 不正ブロックと判定された該当ブロックに対し、該当ブ
    ロックの近傍に位置するブロックの画素値からの補間処
    理によって前記該当ブロックの画素値を修正するフレー
    ム内隠蔽処理か、 不正ブロックと判定された該当ブロックに対し、前記第
    １の記憶手段に格納されている前時刻の復号画像におい
    て前記該当ブロックと同じ位置にあるブロックあるいは
    その近傍ブロックの画素値を複写することで、前記該当
    するブロックの画素値を修正するフレーム間隠蔽処理の
    何れかを用いて画素値の修正を行うことを特徴とする請
    求項２記載の画像復号化装置。
  7. 【請求項７】 前記第２の不正ブロック隠蔽手段は、 不正ブロックと判定された該当ブロックに対し、該当ブ
    ロックの近傍に位置するブロックの画素値から補間処理
    によって前記該当ブロックの画素値を修正するフレーム
    間隠蔽処理を用いて画素値の修正を行い、 前記第３の不正ブロック隠蔽手段は、 不正ブロックと判定された該当ブロックに対し、前記第
    １の記憶手段に格納されている前時刻の復号画像におい
    て前記該当ブロックと同じ位置にあるブロックあるいは
    その近傍ブロックの画素値を複写することで、前記該当
    ブロックの画素値を修正するフレーム間隠蔽処理を用い
    て画素値の修正を行うことを特徴とする請求項３または
    ４記載の画像復号化装置。
  8. 【請求項８】 前記第１の不正ブロック判定手段は、 前記パケット分割手段の算出したブロックアドレスに基
    づいて、復号画像内の対応するブロックおよびその近傍
    ブロックの画素値を参照し、その変動の不連続性の指標
    となる判定値を算出する判定値算出手段と、 前記判定値算出手段により算出した判定値と所定の閾値
    とを比較する第１の閾値処理手段と、 前記第１の閾値処理手段による閾値との比較結果を表す
    フラグを格納する第２の記憶手段と、 前記第２の記憶手段に格納されたフラグの値と所定の閾
    値との比較を行う第２の閾値処理手段と、 を有することを特徴とする請求項１、２、３、５、６の
    何れか一項に記載の画像復号化装置。
  9. 【請求項９】 前記第２の不正ブロック判定手段は、 前記パケット分割手段の算出したブロックアドレスに基
    づいて、復号画像内の対応するブロックおよびその近傍
    ブロックの画素値を参照し、その変動の不連続性の指標
    となる判定値を算出する判定値算出手段と、 前記判定値算出手段により算出した判定値と所定の閾値
    とを比較する第１の閾値処理手段と、 前記第１の閾値処理手段による閾値との比較結果を表す
    フラグを格納する第２の記憶手段と、 前記第２の記憶手段に格納されたフラグの値と所定の閾
    値との比較を行う第２の閾値処理手段と、 を有することを特徴とする請求項３、４、７の何れか一
    項に記載の画像復号化装置。
  10. 【請求項１０】 複数の画素からなるブロックを単位と
    して符号化された画像信号を復号する画像復号化方法で
    あって、 複数のブロックデータからなる入力信号に対して、誤り
    が発生しているか否かを検出して、誤りの発生している
    領域を示す誤り検出工程と、 前記誤り検出工程による誤り検出後の画像信号を、個々
    のブロックのデータに分割すると共に、前記誤り検出工
    程によって得られた誤りの発生している領域に対応する
    ブロックのアドレスを送出するパケット分割工程と、 前記ブロックデータを順次復号し、復号画像を生成する
    画像復号工程と、 前記画像復号工程によって復号された復号画像のうち、
    前記パケット分割工程の出力する前記アドレスに該当す
    るブロックについて、隣接するブロックの画素値から前
    記該当するブロックが不正に復号されたか否かを判定す
    る第１の不正ブロック判定工程と、 前記第１の不正ブロック判定工程により不正に復号され
    たブロックであると判定されたブロックに対して、誤り
    を隠蔽するような画素値の修正を施す第１の不正ブロッ
    ク隠蔽工程と、 を有することを特徴とする画像復号化方法。
  11. 【請求項１１】 前記画像復号工程は、 前時刻における復号画像と、現時刻における復号済ブロ
    ックとを第１の記憶手段に格納する第１の記憶工程と、 前記第１の記憶手段の格納する前時刻における復号画像
    を参照して、符号化されたブロックデータを復号し、前
    記ブロックデータに誤りが混入していたため復号不能だ
    った場合には、対応するブロックのアドレスを送出する
    ブロックデータ復号工程と、 前記復号画像のうち前記アドレスの指定するブロックに
    対して、誤りを隠蔽するような画素値の修正を施す第２
    の不正ブロック隠蔽工程と、 を有することを特徴とする請求項１０記載の画像復号化
    方法。
  12. 【請求項１２】 前記画像復号工程は、 前時刻における復号画像と、現時刻における復号済ブロ
    ックとを第１の記憶手段に格納する第１の記憶工程と、 前記第１の記憶手段に記憶された前時刻における復号画
    像を参照して、符号化されたブロックデータを復号し、
    前記ブロックデータに誤りが混入していたため復号不能
    だった場合には、対応するブロックのアドレスを送出す
    るブロックデータ復号工程と、 前記第１の記憶手段に格納された復号画像のうち前記ア
    ドレスに指定する該当ブロックについて、誤りを隠蔽す
    るような画素値の修正を施す第２の不正ブロック隠蔽工
    程と、 前記復号画像のうち前記アドレスの指定する該当ブロッ
    クに対して、隠蔽後の前記該当ブロックの画素値が適当
    であるか否かを、隣接するブロックの画素値から判定す
    る第２の不正ブロック判定工程と、 前記第１の記憶手段に格納された復号画像のうち、前記
    第２の不正ブロック判定工程により適当でないと判定さ
    れた該当ブロックに対して、誤りを隠蔽するような画素
    値の修正を施す第３の不正ブロック隠蔽工程と、 を有することを特徴とする請求項１０記載の画像復号化
    方法。
  13. 【請求項１３】 複数の画素からなるブロックを単位と
    して符号化された画像信号を復号する画像復号化方法で
    あって、 複数のブロックデータからなる入力信号に対して、誤り
    が発生しているか否かを検出して、誤りの発生している
    領域を示す誤り検出工程と、 前記誤り検出工程による誤り検出後の画像信号を、個々
    のブロックのデータに分割すると共に、前記誤り検出工
    程によって得られた誤りの発生している領域に対応する
    ブロックのアドレスを送出するパケット分割工程と、 前記ブロックデータを順次復号し、復号画像を生成する
    画像復号工程と、 を有し、 前記画像復号工程は、 前時刻における復号画像と、現時刻における復号済ブロ
    ックとを第１の記憶手段に格納する第１の記憶工程と、 前記第１の記憶手段に格納された前時刻における復号画
    像を参照して、符号化されたブロックデータを復号し、
    前記ブロックデータに誤りが混入していたため復号不能
    であった場合には、対応するブロックのアドレスを送出
    するブロックデータ復号工程と、 前記第１の記憶手段に格納された復号画像のうち前記ア
    ドレスの指定する該当ブロックについて、誤りを隠蔽す
    るような画素値の修正を施す第２の不正ブロック隠蔽工
    程と、 前記復号画像のうち前記アドレスの指定する該当ブロッ
    クに対して、隠蔽後の前記該当ブロックの画素値が適当
    であるか否かを、隣接するブロックの画素値から判定す
    る第２の不正ブロック判定工程と、 前記第１の記憶手段に格納された復号画像のうち、前記
    第２の不正ブロック判定工程が適当でないと判定した該
    当ブロックに対して、誤りを隠蔽するような画素値の修
    正を施す第３の不正ブロック隠蔽工程と、 を有することを特徴とする画像復号化方法。
  14. 【請求項１４】 前記第１の不正ブロック隠蔽工程は、 不正ブロックと判定された該当ブロックに対し、該当ブ
    ロックの近傍に位置するブロックの画素値からの補間処
    理によって前記該当ブロックの画素値を修正するフレー
    ム内隠蔽処理か、 不正ブロックと判定された該当ブロックに対し、前記第
    １の記憶手段に格納されている前時刻の復号画像におい
    て前記該当ブロックと同じ位置にあるブロックあるいは
    その近傍ブロックの画素値を複写することで、前記該当
    するブロックの画素値を修正するフレーム間隠蔽処理の
    何れかを用いて画素値の修正を行うことを特徴とする請
    求項１０から１２の何れか一項に記載の画像復号化方
    法。
  15. 【請求項１５】 前記第２の不正ブロック隠蔽工程は、 不正ブロックと判定された該当ブロックに対し、該当ブ
    ロックの近傍に位置するブロックの画素値からの補間処
    理によって前記該当ブロックの画素値を修正するフレー
    ム内隠蔽処理か、 不正ブロックと判定された該当ブロックに対し、前記第
    １の記憶手段に格納されている前時刻の復号画像におい
    て前記該当ブロックと同じ位置にあるブロックあるいは
    その近傍ブロックの画素値を複写することで、前記該当
    するブロックの画素値を修正するフレーム間隠蔽処理の
    何れかを用いて画素値の修正を行うことを特徴とする請
    求項１１記載の画像復号化方法。
  16. 【請求項１６】 前記第２の不正ブロック隠蔽工程は、 不正ブロックと判定された該当ブロックに対し、該当ブ
    ロックの近傍に位置するブロックの画素値から補間処理
    によって前記該当ブロックの画素値を修正するフレーム
    間隠蔽処理を用いて画素値の修正を行い、 前記第３の不正ブロック隠蔽工程は、 不正ブロックと判定された該当ブロックに対し、前記第
    １の記憶手段に格納されている前時刻の復号画像におい
    て前記該当ブロックと同じ位置にあるブロックあるいは
    その近傍ブロックの画素値を複写することで、前記該当
    ブロックの画素値を修正するフレーム間隠蔽処理を用い
    て画素値の修正を行うことを特徴とする請求項１２また
    は１３記載の画像復号化方法。
  17. 【請求項１７】 前記第１の不正ブロック判定工程は、 前記パケット分割工程の算出したブロックアドレスに基
    づいて、復号画像内の対応するブロックおよびその近傍
    ブロックの画素値を参照し、その変動の不連続性の指標
    となる判定値を算出する判定値算出工程と、 前記判定値算出工程により算出した判定値と所定の閾値
    とを比較する第１の閾値処理工程と、 前記第１の閾値処理工程による閾値との比較結果を表す
    フラグを格納する第２の記憶工程と、 前記第２の記憶工程に格納されたフラグの値と、所定の
    閾値との比較を行う第２の閾値処理工程と、 を有することを特徴とする請求項１０、１１、１２、１
    ４、１５の何れか一項に記載の画像復号化方法。
  18. 【請求項１８】 前記第２の不正ブロック判定工程は、 前記パケット分割工程の算出したブロックアドレスに基
    づいて、復号画像内の対応するブロックおよびその近傍
    ブロックの画素値を参照し、その変動の不連続性の指標
    となる判定値を算出する判定値算出工程と、 前記判定値算出工程により算出した判定値と所定の閾値
    とを比較する第１の閾値処理工程と、 前記第１の閾値処理工程による閾値との比較結果を表す
    フラグを格納する第２の記憶工程と、 前記第２の記憶工程に格納されたフラグの値と、所定の
    閾値との比較とを行う第２の閾値処理工程と、 を有することを特徴とする請求項１２、１３、１６の何
    れか一項に記載の画像復号化方法。
JP36562399A 1999-12-22 1999-12-22 画像復号化装置及び方法 Withdrawn JP2001186521A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP36562399A JP2001186521A (ja) 1999-12-22 1999-12-22 画像復号化装置及び方法
US09/741,065 US7072403B2 (en) 1999-12-22 2000-12-21 Device, method and record medium for video decoding capable of conducting error detection process and concealment process effectively

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP36562399A JP2001186521A (ja) 1999-12-22 1999-12-22 画像復号化装置及び方法

Publications (1)

Publication Number Publication Date
JP2001186521A true JP2001186521A (ja) 2001-07-06

Family

ID=18484716

Family Applications (1)

Application Number Title Priority Date Filing Date
JP36562399A Withdrawn JP2001186521A (ja) 1999-12-22 1999-12-22 画像復号化装置及び方法

Country Status (2)

Country Link
US (1) US7072403B2 (ja)
JP (1) JP2001186521A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7221710B2 (en) 2003-04-08 2007-05-22 Lg Electronics Inc. Block error compensating apparatus of image frame and method thereof
JP2009206990A (ja) * 2008-02-28 2009-09-10 Fujitsu Ltd 画像復号化装置、画像暗号化装置、画像復号化方法および画像復号化プログラム
JP2011044767A (ja) * 2009-08-19 2011-03-03 Canon Inc 画像補正装置及び画像補正方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3584913B2 (ja) * 2001-09-21 2004-11-04 ソニー株式会社 データ出力方法、記録方法および装置、再生方法および装置、データ送信方法および受信方法
US7773112B2 (en) * 2002-08-20 2010-08-10 Tektronix, Inc. Automatic measurement of video parameters
US20060146940A1 (en) * 2003-01-10 2006-07-06 Thomson Licensing S.A. Spatial error concealment based on the intra-prediction modes transmitted in a coded stream
FR2880462A1 (fr) * 2005-01-06 2006-07-07 Thomson Licensing Sa Procede de reproduction de documents comprenant des sequences alterees et, dispositif de reproduction associe
US20060188025A1 (en) * 2005-02-18 2006-08-24 Nokia Corporation Error concealment
US8238442B2 (en) * 2006-08-25 2012-08-07 Sony Computer Entertainment Inc. Methods and apparatus for concealing corrupted blocks of video data
US8767839B2 (en) * 2007-01-22 2014-07-01 Qualcomm Incorporated Error filter to differentiate between reverse link and forward link video data errors
US9578337B2 (en) * 2007-01-31 2017-02-21 Nec Corporation Image quality evaluating method, image quality evaluating apparatus and image quality evaluating program
FR2942095A1 (fr) * 2009-02-09 2010-08-13 Canon Kk Procede et dispositif d'identification de pertes de donnees video
US9386326B2 (en) * 2012-10-05 2016-07-05 Nvidia Corporation Video decoding error concealment techniques

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5933567A (en) * 1993-01-13 1999-08-03 Hitachi America, Ltd. Method and apparatus for controlling the position of the heads of a digital video tape recorder during trick play operation and for recording digital data on a tape
US5442400A (en) * 1993-04-29 1995-08-15 Rca Thomson Licensing Corporation Error concealment apparatus for MPEG-like video data
CA2166884C (en) 1993-07-19 1999-12-28 Angela Ruth Murphy Detecting errors in video images
US5745169A (en) 1993-07-19 1998-04-28 British Telecommunications Public Limited Company Detecting errors in video images
US5550847A (en) * 1994-10-11 1996-08-27 Motorola, Inc. Device and method of signal loss recovery for realtime and/or interactive communications
JPH08149474A (ja) * 1994-11-17 1996-06-07 Hitachi Ltd 動画像復号化装置
US5621467A (en) * 1995-02-16 1997-04-15 Thomson Multimedia S.A. Temporal-spatial error concealment apparatus and method for video signal processors
US5724369A (en) * 1995-10-26 1998-03-03 Motorola Inc. Method and device for concealment and containment of errors in a macroblock-based video codec
US5910827A (en) * 1997-02-26 1999-06-08 Kwan; Katherine W. Video signal decoding arrangement and method for improved error concealment
US6304607B1 (en) * 1997-03-18 2001-10-16 Texas Instruments Incorporated Error resilient video coding using reversible variable length codes (RVLCS)
US6040879A (en) * 1997-04-21 2000-03-21 Samsung Electronics Co., Ltd. Method for decoding video data corrupted by channel noise
US6404817B1 (en) * 1997-11-20 2002-06-11 Lsi Logic Corporation MPEG video decoder having robust error detection and concealment
KR100301825B1 (ko) * 1997-12-29 2001-10-27 구자홍 엠펙비디오디코디시스템및엠펙비디오디코딩시스템의오버플로우처리방법

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8571109B2 (en) 2003-04-08 2013-10-29 Lg Electronics Inc. Block error compensating apparatus of image frame and method thereof
US8428141B2 (en) 2003-04-08 2013-04-23 Lg Electronics Inc. Block error compensating apparatus of image frame and method thereof
US8532193B1 (en) 2003-04-08 2013-09-10 Lg Electronics Inc. Block error compensating apparatus of image frame and method thereof
US8565316B2 (en) 2003-04-08 2013-10-22 Lg Electronics Inc. Block error compensating apparatus of image frame and method thereof
US7221710B2 (en) 2003-04-08 2007-05-22 Lg Electronics Inc. Block error compensating apparatus of image frame and method thereof
US8571110B2 (en) 2003-04-08 2013-10-29 Lg Electronics Inc. Block error compensating apparatus of image frame and method thereof
US8625675B2 (en) 2003-04-08 2014-01-07 Lg Electronics Inc. Block error compensating apparatus of image frame and method thereof
US8731063B2 (en) 2003-04-08 2014-05-20 Lg Electronics Inc. Block error compensating apparatus of image frame and method thereof
US8743966B2 (en) 2003-04-08 2014-06-03 Lg Electronics Inc. Block error compensating apparatus of image frame and method thereof
US8902990B2 (en) 2003-04-08 2014-12-02 Lg Electronics Inc. Block error compensating apparatus of image frame and method thereof
US8953691B2 (en) 2003-04-08 2015-02-10 Lg Electronics Inc. Block error compensating apparatus of image frame and method thereof
JP2009206990A (ja) * 2008-02-28 2009-09-10 Fujitsu Ltd 画像復号化装置、画像暗号化装置、画像復号化方法および画像復号化プログラム
JP2011044767A (ja) * 2009-08-19 2011-03-03 Canon Inc 画像補正装置及び画像補正方法

Also Published As

Publication number Publication date
US20010005399A1 (en) 2001-06-28
US7072403B2 (en) 2006-07-04

Similar Documents

Publication Publication Date Title
JP5021494B2 (ja) ビデオ通信のための動作ベクトルの時間的推定
US8559527B2 (en) Image display apparatus
KR101622363B1 (ko) 필름 모드 또는 카메라 모드의 검출을 위한 방법
JP2001186521A (ja) 画像復号化装置及び方法
JP2005244943A (ja) 移動通信システムの画像ブロックエラー隠匿装置及びその方法
US8135076B2 (en) Error concealment apparatus and method
WO2010032334A1 (ja) 品質指標値算出方法、情報処理装置、動画配信システムおよび品質指標値算出プログラム
JP3621038B2 (ja) デジタルビデオコーディング方法及び装置
WO2006112139A1 (ja) 動画像再生装置
JP2004529585A (ja) 誤り隠蔽方法及び装置
JP4509809B2 (ja) ディジタル画像復号装置及び方法
JP4344951B2 (ja) メディア符号化データ送信方法および装置ならびにプログラム
JP5183309B2 (ja) 映像復号化装置及び方法
JPH07111654A (ja) 動画像伝送システム
JP3304415B2 (ja) ブロック変換符号の復号装置
JPH0472985A (ja) フレーム内挿方式
JP2006246400A (ja) 映像データ修復装置と修復方法、及びそれを用いた映像圧縮符号化システム
JP6188550B2 (ja) 画像復号装置
KR20040097519A (ko) 패킷 전송망에서 영상 데이터의 에러 처리 방법 및 장치
JP3270861B2 (ja) ブロック変換符号の復号装置
JP2001148859A (ja) エラーコンシールメント装置、エラーコンシールメント方法、およびプログラム記録媒体
JP2006196960A (ja) 動画データ受信装置
JP2007267009A (ja) エラー隠蔽方法及び画像データ復号装置
JP2006128920A (ja) 画像信号復号化システムにおけるエラー隠蔽方法および装置
JPH06105295A (ja) 直交変換符号化画像データの誤り修正方式

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040405

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040622

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20040722

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040813

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040722

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20040907

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20041001

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050311

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20061019