JP2004032792A - 画像復号化方法及び装置 - Google Patents
画像復号化方法及び装置 Download PDFInfo
- Publication number
- JP2004032792A JP2004032792A JP2003189068A JP2003189068A JP2004032792A JP 2004032792 A JP2004032792 A JP 2004032792A JP 2003189068 A JP2003189068 A JP 2003189068A JP 2003189068 A JP2003189068 A JP 2003189068A JP 2004032792 A JP2004032792 A JP 2004032792A
- Authority
- JP
- Japan
- Prior art keywords
- code string
- decoding
- basic
- additional
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/46—Embedding additional information in the video signal during the compression process
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Detection And Prevention Of Errors In Transmission (AREA)
- Television Systems (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Abstract
【課題】誤りにより情報が失われた場合でも早期に回復可能で、かつ周期リフレッシュや誤り訂正ほどの符号量の増加がない画像復号化装置を提供する。
【解決手段】入力符号列２１３１に対して基本符号列か該基本符号列を遅延させた付加符号列かの判定を行う符号列判定器２１０１と、基本符号列復号器２１０３と、付加符号列復号器２１０４と、入力符号列が基本符号列と判定された場合は入力符号列を基本符号列復号器２１０３に入力し、入力符号列が付加符号列と判定された場合は該入力符号列を付加符号列復号器２１０４に入力する符号列切替器２１０２と、符号列判定器２１０１の判定結果と基本符号列復号器２１０３および付加符号列復号器２１０４の復号状態に基づき、基本符号列復号器２１０３の復号値および付加符号列復号器２１０４の復号値のいずれかを選択して出力する復号値選択器２１０５及び符号列切替器２１０６を有する。
【選択図】 図１６
【解決手段】入力符号列２１３１に対して基本符号列か該基本符号列を遅延させた付加符号列かの判定を行う符号列判定器２１０１と、基本符号列復号器２１０３と、付加符号列復号器２１０４と、入力符号列が基本符号列と判定された場合は入力符号列を基本符号列復号器２１０３に入力し、入力符号列が付加符号列と判定された場合は該入力符号列を付加符号列復号器２１０４に入力する符号列切替器２１０２と、符号列判定器２１０１の判定結果と基本符号列復号器２１０３および付加符号列復号器２１０４の復号状態に基づき、基本符号列復号器２１０３の復号値および付加符号列復号器２１０４の復号値のいずれかを選択して出力する復号値選択器２１０５及び符号列切替器２１０６を有する。
【選択図】 図１６
Description
【０００１】
【発明の属する技術分野】
本発明は、画像を少ない情報量に圧縮符号化し、また圧縮符号化により得られた符号列を復号して画像を再生する画像復号化方法及び装置に係り、特に無線伝送路のような誤りが生じやすい媒体を介して符号化画像を伝送／蓄積する場合でも誤り耐性が強く高品質に伝送／蓄積を行なうことができる画像復号化方法及び装置に関する。
【０００２】
【従来の技術】
ＴＶ電話、ＴＶ会議システム、携帯情報端末、ディジタルビデオディスクシステムおよびディジタルＴＶ放送システムのような画像を伝送したり蓄積するシステムにおいて、伝送または蓄積のために画像を少ない情報量に圧縮符号化する技術として、動き補償、離散コサイン変換、サブバンド符号化およびピラミッド符号化等の方式や、これらを組み合わせた方式など様々な方式が開発されている。また、動画像の圧縮符号化の国際標準方式としてＩＳＯ・ＭＰＥＧ１，ＭＰＥＧ２，ＩＴＵ−Ｔ・Ｈ．２６１，Ｈ．２６２が規定されている。これらはいずれも動き補償適応予測と離散コサイン変換を組み合わせた圧縮符号化方式であり、文献１（安田浩編著、“マルチメディア符号化の国際標準”、丸善、平成３年６月）等に詳細が述べられている。
【０００３】
図２９に、従来の動画像符号化装置の例として動き補償適応予測と離散コサイン変換を用いた符号化装置の基本構成を示す。入力画像信号１２３１は、領域分割器１２０１で予め定められた複数の領域に分割された後、まず動き補償適応予測が行われる。すなわち、動き補償適応予測器１２０２において入力画像信号１２３１とフレームメモリ１２０３中に蓄えられている既に符号化および局部復号化が行われた前フレームの参照画像信号との間の動きベクトルが検出され、この動きベクトルを用いて参照画像信号に対して動き補償が行われることにより予測信号１２３３が作成される。ただし、動き補償適応予測器１２０２では、動き補償予測と入力画像信号１２３１をそのまま符号化に用いるフレーム内符号化（予測信号＝０）のうち、好適な方の予測モードが選択され、その予測モードに対応する予測信号１２３３が出力される。
【０００４】
次に、減算器１２０４において入力画像信号１２３１から予測信号１２３３が減算され、予測残差信号１２３４が出力される。予測残差信号１２３４は、離散コサイン変換器１２０５において一定の大きさのブロック単位で離散コサイン変換（ＤＣＴ）が行われる。この離散コサイン変換により得られたＤＣＴ係数は、量子化器１２０１２で量子化される。量子化器１２０６で量子化されたＤＣＴ係数は二分岐され、一方において可変長符号化器１２１３で符号化された後、多重化器１２０９において可変長符号化器１２１４で符号化された動きベクトル情報と多重化されて符号列として出力され、他方において逆量子化器１２１０で逆量子化された後、さらに逆離散コサイン変換器１２１１で逆離散コサイン変換（逆ＤＣＴ）される。逆離散コサイン変換器１２１１からの出力は加算器１２１２で適応予測信号１２３３と加算されて局部復号信号となり、フレームメモリ１２０３に参照画像信号として記憶される。
【０００５】
図３０は、図２９の動画像符号化装置に対応する動画像復号化装置の基本構成を示す図である。動画像符号化装置から伝送／蓄積された符号列は、逆多重化器１３１９において量子化されたＤＣＴ係数と動きベクトル情報に分離される。量子化されたＤＣＴ係数情報は可変長復号化器１３２０、逆量子化器１３１０、逆離散コサイン変換器１３１１を経て予測誤差信号となる。動きベクトル情報は可変長復号化器１３２１で復号された後、動き補償予測器１３０２に入力される。動き補償予測器１３０２では動きベクトルを用いてフレームメモリ１３０３内の前フレームの参照画像信号に動き補償が行われ、予測信号が生成される。次に、加算器１３１２において予測誤差信号と予測信号が加算され、画像信号が再生される。再生された画像信号は、装置外へ出力されると共にフレームメモリ１３０３に参照画像信号として記憶される。
【０００６】
しかし、このような従来の動画像符号化／復号化装置には、以下のような問題がある。
【０００７】
無線通信路等の誤りが混入する可能性のある通信路では、上記のような符号化を行っただけでは、誤りが生じた場合に復号画像品質が著しく劣化する。特に、同期信号、モード情報および動きベクトルといった信号が誤った場合の画質劣化は著しい。
【０００８】
また、動画像符号化では前述した通り、動き補償適応予測符号化が頻繁に用いられるが、この動き補償適応予測符号化ではフレーム間の差分のみを符号化するため、誤りが生じるとそのフレームが誤るだけではなく、誤った画像がフレームメモリに蓄えられ、その誤った画像を用いて予測画像を作成し、残差が加えられることとなる。そのため、これ以降のフレームが正しく復号されたとしても、フレーム間差分を用いずフレーム内のみで符号化されているモード（イントラモード）で情報が送られてくるか、徐々に誤りの影響が減衰して元に戻るかのどちらか以外、それ以降のフレームも正しい復号画像は得られなくなる。
【０００９】
図３１は、この様子を図示したものである。この例は黒い円が動いていく様子を示しており、通常は次フレームの円を表す残差信号（残差信号の黒い円で表してあるもの）と、前フレームの円を消すための残差信号（残差信号の点線の円で表してあるもの）が含まれたものがフレーム間差分信号として出てくる。ここでは、簡略化のため動き補償はせず、ＭＶ（動きベクトル）＝０としてフレーム間差分をとっている。
【００１０】
ここで、誤りにより１フレーム分情報が失われたとすると、２番目のフレームは全く復号されず、例えば１番目のフレームのまま出力される。３番目のフレームでは、２番目のフレームに加えて始めて正しく復号できる残差を１番目のフレームに加えてしまい、全く別の画像となってしまう。これ以降、誤った画像に残差を加えていくため、基本的に誤りが消えず正しい復号画像を再生することは出来なくなる。
【００１１】
この問題点を解決するため、従来では一定周期毎にイントラモードで符号化するリフレッシュと呼ばれる手法が通常用いられる。この場合、イントラモードで符号化すると符号量が増加して誤りのない時の画質を著しく低下させてしまうため、画面全体を一度にリフレッシュするのではなく、１フレームに数マクロブロックずつリフレッシュする周期リフレッシュ等の方法が通常用いられる。しかしながら、この周期リフレッシュでは符号量の増加は抑えられる反面、正常な状態に回復するまでに長い時間がかかるという問題が起こる。
【００１２】
他の誤り対策としては、誤り訂正符号の利用があるが、これではランダムに生じる誤りは訂正出来ても、バースト的に連続して数百ビットといった誤りが生じるような場合には対処が難しく、たとえ対処できたとしても、やはりかなりの冗長度を必要とする。
【００１３】
【発明が解決しようとする課題】
上述したように、画像符号化、特に動画像符号化では誤りによる情報の消失が大きな画質劣化の要因となる。また、誤りにより消失した情報を回復する従来の周期リフレッシュ等の方式では、符号化効率を考えると回復までに長い時間を要し、回復に要する時間を短縮しようとすると符号量が増加して効率を悪くするといった問題点があった。
【００１４】
本発明は、誤りにより情報が失われた場合でも早期に回復可能で、かつリフレッシュや誤り訂正ほどの符号量の増加がない画像復号化方法及び装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明は、基本符号列と該基本符号列を遅延させた付加符号列を含む入力符号列に対して基本符号列か該基本符号列を遅延させた付加符号列かの判定を行う符号列判定ステップと、前記基本符号列を復号する基本符号列復号ステップと、前記付加符号列を復号する付加符号列復号ステップと、前記符号列判定ステップにより前記入力符号列が基本符号列と判定された場合は該入力符号列を前記基本符号列復号ステップに入力し、前記入力符号列が付加符号列と判定された場合は該入力符号列を前記付加符号列復号ステップに入力する符号列切替ステップと、前記符号列判定ステップの判定結果と前記基本符号列復号ステップの復号状態および前記付加符号列復号ステップの復号状態に基づき、前記基本符号列復号ステップの復号値および前記付加符号列復号ステップの復号値のいずれかを選択して出力するステップとを有する。
【００１６】
【発明の実施の形態】
以下、本発明の実施形態を説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像符号化装置のブロック図である。入力画像信号１３１は符号化器１０１において符号化され、符号列（これを基本符号列という）１３２として出力される。この基本符号列１３２はそのまま符号列合成器１０３に入力されると共に、メモリを用いた符号列遅延器１０２に入力され、ここで一定時間記憶保持された後、出力される。
【００１７】
すなわち、符号列遅延器１０２では一定時間経過後、保持していた過去の符号列（これを付加符号列という）１３３を出力する。この付加符号列１３３も、符号列合成器１０３に入力される。符号列合成器１０３では、符号化器から出力された基本符号列１３２と符号列遅延器１０２から出力された付加符号列１３３を合成し、出力符号列１３４として出力する。
【００１８】
図２は、従来方式（ａ）と本実施形態による出力符号列（ｂ）（ｃ）の構成を示した図である。符号列合成器１０３での符号列の合成の方法には様々な方法があるが、ここでは例として二種類の方式を示している。また、図中のＰＳＣ（Ｐｉｃｔｕｒｅ Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ Ｃｏｄｅ）は、同期信号を表している。
【００１９】
図２（ｂ）で提案方式１として例示するものは、最初に符号列遅延器１０２を介さずに出力される基本符号列１３２の直後に、符号列遅延器１０２から出力されたこれと全く同じ付加符号列１３３を再度出力する方式である。この提案方式１では、一つのフレームの中に同じ符号列の情報が二度含まれているため、片方の符号列の情報に誤りが生じた場合にも、他方の符号列の情報を利用することで復号側で正しく復号することができる。
【００２０】
ただし、符号列に可変長符号を用いている場合には、一度誤りが生じると符号の切れ目が分からなくなり、それ以後全く正しく復号できない同期外れといわれる状態になってしまうことがある。よって提案方式１を可変長符号を利用しているシステムに使用すると、先頭の基本符号列に誤りが生じた場合その後に続く付加符号列も正しく復号できないことになってしまうので、本方式は固定長の符号を用いたシステム、または逆方向にも復号可能な符号列の構成を用いた場合に有効である。
【００２１】
また、全く同じ符号列を二度並べることから、一つの同期区間（同期信号から同期信号まで）のビット数を求め、それを二等分することでも各々の符号列を分離することはできる。ただし、同期信号が失われた時や疑似同期信号が生じた場合などでは正しい同期区間の符号量が求められず誤動作することに注意する必要がある。
【００２２】
次に、図２（ｃ）に示す提案方式２は通常の可変長符号を用いた場合でも利用できる方式である。この方式は、入力画像信号の第ｎフレームを符号化した符号列を基本符号列とし、入力画像信号の第ｎ−１フレームを符号化した符号列を付加符号列として一つのフレームに合成するものである。この方式では前述の提案方式１と異なり、第ｎ＋１番目の同期区間の中に第ｎフレームを符号化した符号列を付加符号列として再度出力している。これにより第ｎ番目の同期区間で誤りが生じた情報が失われた場合でも、同じ情報が次の第ｎ＋１番目の同期区間に存在し、それを用いることによって正しく復号することができる。
【００２３】
この提案方式２では、次の同期区間に二度目の符号列を合成することから、誤りが生じても次の同期信号を一緒に破壊しない限り次の同期区間まで誤りが及ぶことはなく、提案方式１のような可変長符号の同期外れの問題を特に考慮する必要はない。ただし、誤り時に正しく復号できるのが次の同期区間の信号を復号してからになるため、復号器の構成法によっては復号画像信号の出力するタイミングが本来のものより遅くなる。
【００２４】
次に、本実施形態に係る画像復号化装置について説明する。図３は、図１に示した画像符号化装置に対応する本実施形態の画像復号化装置の構成を示すブロック図である。図１の画像符号化装置から出力され、図示しない伝送系または蓄積系を介して入力される入力符号列４３６は、付加符列分離器４０６により基本符号列と付加符号列に分離される。通常は切替器４０７で基本符号列４３２が選択され、復号器４０８に入力される。
【００２５】
復号器４０８は、基本符号列４３２を復号すると共に、その復号状態を示す復号状態信号４３９を誤り検出器４０９へ出力する。誤り検出器４０９では、復号状態信号４３９から入力符号列４３６に誤りがないか、そして復号器４０８の復号結果に誤りがないかどうか等を調べ、誤りの有無を示す誤り検出信号４４０を復号器４０８に出力する。復号器４０８は、誤り検出信号４４０から誤りがある場合は基本符号列４３２の復号結果を復号画像信号４３７として出力し、誤りがある場合は復号結果を出力しない。
【００２６】
また、誤り検出器４０９はさらに切替器制御信号４３８を切替器４０７に出力し、誤りがある場合は切替器４０７を切替えて付加符号列４３３を選択させ、これを復号器４０８へ入力させる。この場合、復号器４０８は付加符号列４３３を復号し、誤り検出器４０９で誤りが検出されなければその復号結果を基本符号列４２３の復号結果に代えて復号画像信号４３７として出力する。
【００２７】
なお、基本符号列４３２および付加符号列４３３の両方が誤った場合には、復号器４０８で一つ前のフレームをそのまま出力するなどの処理を行えばよい。
【００２８】
次に、本発明の他の実施形態について説明する。なお、以降の実施形態において第１の実施形態を示した図１および図３と同一名称が記載されたブロックは、第１の実施形態で説明した通りの機能を有するものとする。
【００２９】
（第２の実施形態）
図４は、本発明の第２の実施形態に係る画像符号化装置のブロック図である。第１の実施形態との相違点は、入力画像信号１３１を符号化器２０１により符号化して得られた基本符号列２３２を符号列簡略化器２０４において符号量を削減するために簡略化した符号列２３５に変換してから、符号列遅延器２０２に入力する点である。簡略化符号列２３５は符号列遅延器２０２により一定時間遅延されて付加符号列２３３となり、符号列合成器２０２において基本符号列２３２と合成され、出力符号列２３４として出力される。
【００３０】
符号列簡略化器２０４は、結果的に付加符号列２３３の符号量を削減するためのものであるから、その位置は図４のように符号列遅延器２０２の前でなくともよく、符号列遅延器２０２の後でもよい。
【００３１】
本実施形態によると、付加符号列２３３の符号量が基本符号列２３２のそれより少ないため、従来法に対して少ない符号量の増加で第１の実施形態と同程度の誤り耐性を実現できる。また、符号量の増加が少ないことから、第１の実施形態よりも誤りが少ない場合、より高画質な復号画像を得ることができる。
【００３２】
一方、誤り時に基本符号列２３２が破壊され、付加符号列２３３の方で復号を行うと、付加符号列２３３を簡略化して情報量を削減していることから、復号結果にある程度の歪みが残る場合がある。しかし、符号列の簡略化方法を工夫することで、歪みが視覚的にほとんど問題にならない程度にすることができる。以下にその方式について具体例を説明する。
【００３３】
まず第１の簡略化方式は、基本符号列２３２（符号化情報）の中で重要な情報のみを選択する方式である。基本符号列２３２は、前述したようにモード情報、動きベクトル、予測残差信号といった性質の異なる信号から構成されている。符号列簡略化器２０４では、基本符号列２３２を構成するこれらの信号のうち重要度の高い信号のみを選択して簡略化符号列２３５として出力し、符号列遅延器２０２は簡略化符号列２３５を遅延して付加符号列２３３を出力する。
【００３４】
例えば、図５（ａ）に示す通常の符号列の例を考えてみる。図２９、図３０で説明したように、動き補償適応予測符号化を用いた画像符号化／復号化装置の場合、最初のステップとして動き補償による予測信号の作成があり、次のステップで予測信号に予測残差信号を加算することになる。この場合、復号化装置では予測信号まで作成できればある程度の復号画像信号が得られることから、動き補償による予測信号が作成できるレベルの情報のみに限定して簡略化符号列２３５すなわち付加符号列２３３を構成する。また、ＩＮＴＲＡ（イントラ）モードのブロックは予測信号では表現できないため、ＩＮＴＲＡモードのブロックの直流成分（ＤＣ）を付加符号列２３３に加えることで、ＩＮＴＲＡモードにも対応させるようにする。このように付加符号列２３３を構成し、基本符号列２３２と合成することで、効率良く誤り耐性能力を強化することができる。
【００３５】
図５（ｂ）（ｃ）に示す提案方式１’、２’は、それぞれ第１の実施形態で説明した図２（ｂ）（ｃ）の提案方式１、２に対応する符号列の構成を示したものである。図中の各ブロックの右下に表記してあるｎ−１、ｎ、及びｎ＋１はその情報が何番目のフレームに相当する情報であるかを示している。
【００３６】
次に、第２の簡略化方式について説明をする。上述した第１の簡略化方式は、低ビットレートでの符号化時には効果的であるが、高いビットレートの場合、予測信号だけ再生しても元の画像とかなりの相違がある場合が多い。そこで、ある程度の予測残差信号も付加符号列２３３の中に組み込む必要がある。その場合、予測残差信号のレベルの大きなブロックのみを選択したり、離散コサイン変換により得られたＤＣＴ係数の低域に近い成分、すなわちＤＣＴ係数を表す図６の斜線で示した係数に相当する成分を選択して出力することで符号量の増加を抑えることができる。
【００３７】
上述した第２の簡略化方式では、単純に信号を選択するだけでは符号量が目的としている量まで減少しない場合もある。その場合の対処法として、以下に第３の簡略化方式を示す。第３の簡略化方式では、上記のように信号を選択した後そのまま簡略化符号列２３５として出力するのではなく、精度を落してから簡略化符号列２３５として出力する。例えば、半画素単位の動きベクトルを整数画素単位の動きベクトルに再量子化し、これを簡略化符号列２３５として出力する。
【００３８】
また、予測残差信号も簡略化符号列２３５として出力する方は、通常の量子化幅よりも大きな量子化幅で再量子化して出力することで、符号量を第１および第２の簡略化方式に比べて少なくすることができる。再量子化は、ＤＣＴした係数のレベルや、動き補償まで戻って新しく大きな量子化幅で量子化する方が精度が良いが、処理に時間がかかるため、量子化された値を半分にするなどしてさらに量子化するといった方式をとることもできる。
【００３９】
次に、本実施形態に係る画像復号化装置について説明する。図７は、図４に示した画像符号化装置に対応する本実施形態の画像復号化装置の構成を示すブロック図である。各部の基本的動作は、図３に示した第１の実施形態の画像復号化装置と同様であるため、相違点のみを以下に述べる。
【００４０】
本実施形態が第１の実施形態と相違する点は、誤り時に復号器５０８からの復号状態信号４３９に基づく誤り検出器５０９からの切替器制御信号５３８で第１の切替器５０７を付加符号列５３３側に切替えた後、付加符号列５３３を復号器５０８に直接入力するのではなく、一旦付加符号列補間器５１０に入力する点である。この付加符号列補間器５１０では、前述した第１〜第３の簡略化方式により簡略化された符号列５３３を復号器５０８で復号できるように、欠けている情報を付け加えたり、再量子化等で変形した情報を元に戻す等の処理を行う。
【００４１】
もし、画像符号化装置の方でそのまま復号器５０８に入力しても構わない符号列構成としている場合は、この付加符号列補間器５１０を設ける必要なく、図３に示した第１の実施形態と同様の画像復号化装置で復号できる。例えば、予測残差信号を省く場合、モード情報を書き換えて予測残差のないモードに予め設定しておき、付加符号列を構成すればよい。
【００４２】
また、付加符号列５３３が簡略化されている場合、画像復号化装置において付加符号列のみで基本符号列を置き換えて復号してしまうと、簡略化されている分だけ復号画像の品質が誤り無しの時の復号画像の品質に比べ劣化する。そこで、第１の実施形態の画像復号化装置と同様に、基本符号列を第２の切替器５１１を介して復号器５０８に入力して復号した際、正しく復号された信号はそのまま復号画像信号５３７として出力し、誤りによって失われた情報のみ付加符号列を復号器５０８で復号した信号を復号画像信号５３７として出力する処理を行う。このようにすれば、付加符号列を簡略化することで失われた情報の影響を少なく抑えることができる。
【００４３】
（第３の実施形態）
図８は、本発明の第３の実施形態に係る画像符号化装置のブロック図である。本実施形態は、同期信号付加器３０５を新たに加えたことが特徴である。ここでは図１に示した第１の実施形態を基本にして同期信号付加器３０５を加えた構成を示しているが、図４に示した符号列簡略化器を有する第２の実施形態を基本にした構成も実現できる。
【００４４】
第１および第２の実施形態との相違点は、符号列遅延器３０２を介して付加符号列３３３を出力する際、同期信号付加器３０５において付加符号列３３３に同期信号を付加する点である。この方式の利点は、同期信号の付加により付加符号列３３３のみで一つの同期区間を構成しているため、基本符号列３３２から付加符号列３３３が独立し、他の同期区間で生じた誤りが付加符号列３３３に及ばないことである。また、付加符号列３３３で生じた誤りは、この中で閉じたものとなるので、他の同期区間に影響を及ぼさない。よって、第１および第２の実施形態に比較して誤りの影響が少なく、誤り耐性能力がさらに強化される。
【００４５】
また、画像復号化装置で付加符号列を分離する際、同期区間単位で処理することができ、分離が容易になる。ただし、読み込んだ一同期区間の情報が基本符号列に相当するものか、または付加符号列に相当するものかを判別する情報が必要になる。その判別方法として、ここでは以下に二通りの方法を挙げる。
【００４６】
まず、第１の判別方法は同期信号で基本符号列と付加符号列を判別する方法である。すなわち、同期信号として基本符号列と付加符号列とで異なったものを用意し、使い分けることで判別する。第２の判別方法は、基本符号列と付加符号列に同期信号には同じものを用い、その後のヘッダ情報で基本符号列と付加符号列を判別する方法である。
【００４７】
これら第１および第２の判別方法を比較すると、符号化の効率という点では第１の判別方法のように同期信号を二つ用意する方が良い場合が多いが、同期信号は他の符号と全く一致しないものを選ぶ必要がある。このように新しくもう一つの同期信号を作成するより、同期信号を一つにしておき、その後ろのヘッダ情報で区別する第２の判別方法の方が容易に実現できる。
【００４８】
しかし、ヘッダ情報までを含んで同期信号と解釈するならば、長い同期信号で区別していることとなり、これら第１および第２の判別方法は本質的には同じこととなる。よって、本実施形態における符号列の構成を示す図９では、同期信号が２つある場合のみを示してある。図９において、図中の各ブロックの右下に表記してあるｎ、及びｎ＋１は、図８と同様その情報が何番目のフレームに相当する情報かを示している。
【００４９】
次に、本実施形態に係る画像復号化装置について説明する。図１０は、図８に示した画像符号化装置に対応する本実施形態の画像復号化装置の構成を示すブロック図である。図１および図４に示した第１および第２の実施形態における画像復号化装置との相違点は、入力符号列６３６から基本符号列と付加符号列を分離して出力するための付加符号列分離器６０６に同期信号判定器６１２を有し、この同期信号判定器６１２によって入力符号列６３６が基本符号列か付加符号列かの判別を行い、これに基づいて基本符号列６３２と付加符号列６３３を分離して出力する切替器６１３を制御する点である。
【００５０】
その他の構成、すなわち基本符号列６３２と付加符号列６３３を復号器６０８に切り替えて入力する切替器６０７と復号器６０８および誤り検出器６０９は、第１および第２の実施形態における画像復号化装置と同様である。
【００５１】
また、本実施形態でも第２の実施形態の画像復号化装置で示した基本符号列の正しく復号できた部分を用い、誤りにより復号できなかった部分のみを付加符号列の復号によって得られた情報で置き換える処理を行うことにより、復号画像の品質を上げることができる。
【００５２】
さらに、本実施形態において基本符号列中の予測残差信号の前に同期信号を挿入することで、さらに強力な誤り耐性を実現できる。
【００５３】
図１１は、この方式による符号列の構成を示した図である。符号量の無駄を省くため、第１同期信号による同期区間は動き適応予測による予測画像が作成できる最低限の情報のみで構成し、続く第２の同期信号による同期区間に残差信号に関係するモード情報、残差信号等を組み込む。そして、前述したように第３の同期信号による同期区間に付加符号列に相当するものを組み込む。
【００５４】
復号時は、第１の同期区間に誤りが生じた場合には第３の同期区間の付加符号列で予測画像を作成し、第２の同期区間の残差信号を加えることで復号画像信号を作成する。このとき、付加符号列の予測信号作成に関する情報が第１の同期区間のものと同じ場合は、完全に正しく復号することができる。第２の同期区間に誤りが生じた場合は、第１の同期区間の情報で予測画像を作成し、第２の同期区間の情報で正しく復号されたものと第３の同期区間の付加符号列に含まれた残信号に関する情報を合わせて復号画像信号を作成する。第３の同期区間に誤りが生じた場合は、第１、第２同期区間の情報をそのまま復号すれば良いので、完全に正しく復号できる（図１２〜図１４参照）
このように、基本符号列中に誤りが生じた場合、単純に付加符号列に切り替えるのでなく、基本符号列中で正しく復号できた個所を利用し、それに付加符号列の内容を加えて復号することで、復号できた情報を最大限に活用することができる。
【００５５】
（第４の実施形態）
次に、本発明の第４の実施形態として、第２の実施形態で説明した符号列簡略化器２０４の具体例について説明する。図１５は、この符号列簡略化器の構成を示すブロック図である。図示しない符号化器からの入力符号列２０３１は、この実施形態では例えば図２９に示した動画像符号化装置において、可変長符号化器１２１３，１２１４で可変長符号化される前の量子化されたＤＣＴ係数や動きベクトル情報である。この入力符号列２０３１は重要情報選択器２００１に入力され、ここで相対的に重要な重要情報２０３２のみが選択された後、符号列変換器２００２に入力される。符号列変換器２００２は、入力された重要情報２０３２を符号表（例えば可変長符号表）を用いて他の符号列２０３３（例えば可変長符号の符号列）に変換する。符号表は、符号化対象値と符号語（例えば可変長符号語）との対応関係をメモリに記述したものであり、この例では重要情報２０３２が符号化対象値として入力されると、これに対応する符号語が符号列２０３３として出力される。
【００５６】
重要情報選択器２００１は、例えば符号化器が図２９に示した動き補償予測と予測残差符号化を用いた動画像符号化方式の場合、予測残差信号である量子化されたＤＣＴ係数よりも動きベクトル情報が重要であることから、符号化に関する情報を集めたヘッダ部と動きベクトル情報のみを重要情報として選択する。この場合、符号化器がフレーム内符号化（イントラ符号化）モードのときは動きベクトルは存在しないため、重要情報選択器２００１で全く情報が選択されないことになる。そこで、フレーム内符号化モードでは、動きベクトル情報の代わりにＤＣＴ係数の直流成分を選択する。これにより、フレーム間符号化モードおよびフレーム内符号化モードの両モードにおいて重要情報を選択できる。
【００５７】
その他、重要情報選択器２００１において予測残差信号のＤＣＴ係数の低域に近い成分までを重要情報として選択したり、あるいは全ての動きベクトル情報を選択するのではなく、一部間引いた動きベクトル情報を重要情報として選択する方法等をとってもよい。例えば、８画素×８画素毎に求められていた動きベクトルを１６画素×１６画素の動きベクトルに変換し、これを重要情報とする。
【００５８】
符号列変換器２００２は、重要情報２０３２を前述したように可変長符号表などの符号表を用いて符号列に変換する。ここで、符号列変換器２００２内の符号表、すなわち付加符号列生成用の符号表は、基本符号列生成用の符号表と異なっていてもよいし、同一であってもよい。これらはいずれも一長一短があるので、目的に応じて使い分ければよい。
【００５９】
（１）まず、符号列変換器２００２に基本符号列生成用の符号表と異なる専用の符号表を用いた場合について説明する。
通常、基本符号列を生成する際には、重要情報以外の情報まで考慮して最適になるように作成された符号表を用いるため、符号列変換器２００２で重要情報のみを符号列に変換する場合に、この基本符号列生成用の符号表をそのまま利用すると冗長な部分がある。そこで、伝送路の符号化レートを重要視する場合には、基本符号列の符号表とは別に付加符号列に最適な符号表を符号列変換器２００２に用いて重要情報２０３２の符号列変換を行う。このようにすることで、効率のよい符号化が可能である。
【００６０】
（２）次に、符号列変換器２００２に基本符号列生成用の符号表と同一の符号表を用いた場合について説明する。
このように基本符号列生成用の符号表と付加符号列生成用の符号表を共通にすると、後述するように付加符号列用の復号のための復号器を特別に用意する必要がなくなるため、復号器の回路規模を従来と同じにすることができる。これを実現するためには、例えば予測残差信号のＤＣＴ係数を送らず、動きベクトル情報のみを重要情報として選択し、符号列変換器２００２を通して付加符号列として送る際には、基本符号列で予測残差信号があることを示しているモード情報を予測残差信号がないことを示すモード情報に変換して、付加符号列を生成する。これにより、基本符号列と同じ符号表を用いて付加符号列を生成することが可能である。
【００６１】
（第５の実施形態）
図１６は、本発明の第５の実施形態に係る画像復号化装置のブロック図である。入力符号列２１３１は、符号列判定器２１０１において基本符号列か付加符号列かの判定が行われ、さらに付加符号列と判定された場合は前に復号した基本符号列に対応した付加符号列であるかどうかが判定される。これらの判定結果を基に符号列切替器２１０２が切り替え制御され、入力符号列２１３１が基本符号列の場合は基本符号列復号器２１０３に入力され、また付加符号列の場合は付加符号列復号器２１０４に符号列２１３１が入力される。
【００６２】
基本符号列復号器２１０３および付加符号列復号器２１０４は、出力として復号値２１３５および２１３６とは別に、復号状態情報２１３３および２１３４を出力するように構成されている。復号状態情報２１３３および２１３４は、復号が正しく行われたか否かを示す情報であり、例えば基本符号列復号器２１０３および付加符号列復号器２１０４で得られる誤り検出情報である。
【００６３】
復号値選択器２１０５は、符号列判定器２１０１の判定結果２１３２と、基本符号列復号器２１０３の復号状態情報２１３３および付加符号列復号器２１０４の復号状態情報２１３４とから、基本符号列復号器２１３３の復号値２１３５および付加符号列復号器２１３４の復号値２１３６のうち正しいと推定される方の復号値を選択し、その選択した復号値が出力符号値２１３８として出力されるように復号値切替器２１０６を制御する。すなわち、復号値切替器２１０６では、復号値選択器２１０５からの復号値切替器制御信号２１３７を、用いて基本符号列および付加符号列の復号値２１３５，２１３６のいずれかを切り替えて出力する。
【００６４】
本実施形態によると、基本符号列復号器２１０３および付加符号列復号器２１０４からの誤り情報などの復号状態情報２１３３および２１３４を利用して、これらの復号器２１０３および２１０４から出力される復号値２１３５および２１３６のうち正しい復号値を出力することが可能である。本実施形態は、第５の実施形態における（１）の場合、すなわち画像符号化装置で得られる基本符号列と付加符号列が異なる符号表で符号化されている場合の画像復号化装置に特に有効である。
【００６５】
（第６の実施形態）
図１７は、本発明の第６の実施形態に係る画像復号化装置のブロック図である。入力符号列２２３１は、符号列判定器２２０１において基本符号列か付加符号列の判定が行われ、さらに付加符号列と判定された場合は前に復号した基本符号列に対応した付加符号列であるかどうかが判定される。また、入力符号列２２３１は符号列復号器２２０２により復号され、さらに基本符号列の場合は復号値蓄積器２２０４に復号値２２３４が蓄積される。符号列復号器２２０２は、出力として復号値２２３４とは別に、復号が正しく行われたか否かを示す誤り情報などの復号状態情報２２３３を出力する。
【００６６】
復号値選択器２２０３は、符号列判定器２２０１の判定結果２２３２と、符号列復号器２２０２からの復号状態情報２２３３とから、基本符号列の復号値および付加符号列の復号値２２３４のうち正しいと推定される方の復号値を選択し、その選択した復号値が出力符号値２２３７として出力されるように復号値切替器２２０５を制御する。すなわち、復号値切替器２２０５では、復号値選択器２２０３からの選択制御信号２２３６を用いて、復号値蓄積器２２０４からの基本符号列の復号値２２３５および符号列復号器２２０２から出力される付加符号列の復号値２２３４いずれかを切り替えて出力する。
【００６７】
本実施形態によると、同一の符号列復号器２２０２で基本符号列および付加符号列を復号することが可能であるため、復号器を従来方式と同程度の回路規模で実現することができる。本実施形態は、第４の実施形態における（２）の場合、すなわち画像符号化装置で得られる基本符号列と付加符号列が同一の符号表で符号化されている場合の画像復号化装置に特に有効である。
【００６８】
（第７の実施形態）
次に、本発明の第７の実施形態として、第５および第６の実施形態で用いた符号列判定器２１０１，２２０１の判定アルゴリズムについて説明する。
【００６９】
図１８は、符号列の基本構造の例を表したものである。符号列の先頭には同期信号（ＰＳＣ）が配置され、続いて基本符号列または付加符号列を判定するＩＤおよび符号列の時間的位置を示す情報ＴＲが順次配置され、最後に符号化された情報ＤＡＴＡが配置されている。
【００７０】
符号列判定器では、ＩＤにより入力符号列が基本符号列か付加符号列かの判定を行う。また、ＩＤにより付加符号列と判定した場合には、さらにその符号列がＴＲにより前回復号した基本符号列と同じ時間的位置に当たるものかどうかの判定を行う。これにより、基本符号列とそれに対応した付加符号列の判定を行うことができる。
【００７１】
しかし、この方法では伝送路で誤りが生じた場合、基本符号列と付加符号列との対応を間違えることによる誤動作が生じる場合がある。例えば、図１９の最上段に示された本来の符号列に対して、図１９（ａ）に示すように基本符号列１と付加符号列２だけが復号され、しかも付加符号列の時間的位置情報ＴＲが誤って基本符号列１のＴＲと一致した場合を考える。この場合には、正しくは基本符号列１で１枚の画像を構成して出力し、その後、付加符号列のみで１枚の画像を構成し出力するべきところ、基本符号列１と付加符号列２で正しく復号できた部分を合わせて１枚の画像として出力してしまう。
【００７２】
また、図１９（ｂ）に示すように、基本符号列２のＴＲが誤り、付加符号列２に対応した基本符号列と判定されなくなった場合を考える。この場合、本来は基本符号列２と付加符号列２を合わせて１枚の画像が構成されるべきところ、２枚の別々の画像が構成されることとなる。
【００７３】
このような不都合を避けるため、例えば図２０に示すアルゴリズムに従って基本符号列と付加符号列の関係を判定する。ここでは、基本符号列の時間的位置情報ＴＲをＴＲ１、付加符号列のＴＲをＴＲ２、一つ前に復号したＴＲをＰｒｅ＿ＴＲとする。また、固定フレームレートで符号化されている場合には、Ｐｒｅ＿ＴＲと正しいＴＲ１，ＴＲ２との差分値Ｓｋｉｐ＿Ｔｉｍｅも既知である。
【００７４】
そこで、図２０のアルゴリズムでは、まずＴＲ１とＴＲ２と一致するかを調べ（ステップＳ１１）、一致すれば復号した付加符号列は直前に復号された基本符号列に対応した符号列であると判定する。一方、ＴＲ１とＴＲ２が不一致の場合は、次に差分値Ｓｋｉｐ＿Ｔｉｍｅが既知かどうかを調べ（ステップＳ１２）、既知の場合はＰｒｅ＿ＴＲにＳｋｉｐ＿Ｔｉｍｅを加算したものとＴＲ２を比較し（ステップＳ１３）、同じならば符号列の並びとして、その間に挟まれている基本符号列のＴＲ１が誤っていると判定する。そして、ＴＲ１をＴＲ２に修正して（ステップＳ１４）、復号した付加符号列は直前に復号された基本符号列に対応した符号列であると判定する。この様子を図２１に示す。
【００７５】
ステップＳ１２においてＳｋｉｐ＿Ｔｉｍｅが既知でない場合、およびステップＳ１３においてＰｒｅ＿ＴＲにＳｋｉｐ＿Ｔｉｍｅを加算したものとＴＲ２が不一致の場合は、復号した付加符号列は直前に復号された基本符号列と対応しないと判定する。
【００７６】
図２０のアルゴリズムでは、基本符号列の時間的位置情報ＴＲが誤った場合には対応できるが、それ以外の誤りに関しては対応できない。そこで、それ以上の誤り耐性を考える必要がある場合には、図２２に示すアルゴリズムにより基本符号列と付加符号列の関係を判定する。ここで、Ｓｉｎｇｌｅ＿Ｅｒｒｏｒ＿Ｃｈｅｃｋ（Ａ，Ｂ）は、Ａに１ビット誤りを付加したものとＢが一致するかどうかを判定する関数とする。
【００７７】
すなわち、まずＴＲ１とＴＲ２と一致するかを調べ（ステップＳ２１）、一致すれば符号列１は符号列２の基本符号列であると判定する。一方、ＴＲ１とＴＲ２が不一致の場合は、次にＴＲ１に１ビット誤りを付加したものとＴＲ２が一致するかどうかを調べ（ステップＳ２２）、一致すれば符号列１は符号列２の基本符号列であると判定し、不一致であれば次に差分値Ｓｋｉｐ＿Ｔｉｍｅが既知かどうかを調べ（ステップＳ２３）、既知の場合はさらにＰｒｅ＿ＴＲとＳｋｉｐ＿Ｔｉｍｅの加算値に１ビット誤りを付加したものとＴＲ２が一致するかどうかを調べ（ステップＳ２４）、一致していれば基本符号列のＴＲ１が誤っていると判定して、ＴＲ１をＴＲ２に修正し（ステップＳ２５）、符号列１は符号列２の基本符号列であると判定する。
【００７８】
ステップＳ２３においてＳｋｉｐ＿Ｔｉｍｅが既知でない場合、およびステップＳ２４においてＰｒｅ＿ＴＲとＳｋｉｐ＿Ｔｉｍｅの加算値に１ビット誤りを付加したものとＴＲ２が不一致の場合は、符号列１は符号列２の基本符号列ではないと判定する。
【００７９】
このようなアルゴリズムにより、ＴＲに１ビット誤りが挿入した場合も正しく判定することが可能である。この様子を図２３に示す。なお、１ビットより多い誤りも判定したい場合には、この関数を許容誤り数に対応したものに変更すればよい。
【００８０】
（第８の実施形態）
次に、本発明の第８の実施形態として、第５および第６の実施形態で用いた復号値選択器２１０５，２２０３の具体例について説明する。図２４および図２５は、本実施形態における復号値選択器の選択方法の例を示した図である。
【００８１】
まず、図２４で示す復号値選択方法は、基本符号列および付加符号列の画像の小領域毎の誤り情報を図１６の基本符号列復号器２１０３および付加符号列復号器２１０４、または図１７の符号列復号器２２０２から受け取る。この誤り情報は、図１６の場合は復号状態情報２１３３，２１３４に含まれ、図１７の場合は復号状態情報２２３３に含まれている。
【００８２】
そして、これらの誤り情報と図１６の符号列判定器２１０１または図１７の符号列判定器２２０１の判定結果から、画像の小領域単位に基本符号列の復号値を用いるか、付加符号列の復号値を用いるかを決定する。図２４では、×を付した領域が誤っていることを表す。通常、付加符号列は基本符号列の簡略化されたものであるので、基本符号列で正しく復号できている領域は基本符号列の復号値を選択する。基本符号列が誤っている領域であって、付加符号列が正しく復号できている領域は、付加符号列の復号値を選択する。基本符号列および付加符号列の双方の復号値に誤りが存在する領域は、前フレームをそのまま使うモードにする（Ｎｏｔ Ｃｏｄｅｄ）。
【００８３】
このように小領域単位に基本符号列および付加符号列の復号値を切り替えて利用することにより、一方の復号値のみを利用する場合に比較して、より多くの領域を復号することが可能となる。但し、誤り率が高い通信状態の場合、誤りが発見されずに復号されている領域が存在する可能性がある。その場合は、領域単位に選択せず、完全に復号できたフレーム単位で復号値を利用することができる。
【００８４】
次に、図２５の復号値選択方法について説明する。上述した図２４の復号値選択方法の場合、基本符号列の復号時に発見できなかった誤りは、そのまま誤った復号値として出力されてしまう。これに対して、図２５に示した復号値選択方法では、復号時の誤り情報に併せて、復号情報も利用して復号値の選択を行う。復号情報とは、例えばフレーム内符号化（イントラ）、フレーム間符号化（インター）といった符号化モードを示すモード情報などである。
【００８５】
この復号情報を基本符号列および付加符号列の小領域単位に整合性を調べ、例えばある小領域でモード情報が変化した場合には、その領域に誤りが生じたと判定する。こうすることにより、誤りを見逃す確率を減少することが可能である。また、付加符号列に誤り訂正符号等を利用し、付加符号列の信頼度を高くすることで、モード情報が変化した小領域については付加符号列の情報を選択する方式を用いることが可能である。さらに、付加符号列に例えばイントラモード数を付加することで、モードが誤って他のモードになることによる誤りに対する検出精度を上げることもできる。
【００８６】
（第９の実施形態）
図２６は、本発明の第９の実施形態に係る画像符号化装置の要部の構成を示すブロック図であり、特に符号化器３１０１と簡略化制御器３１０２および符号列簡略化器３１０３について示している。符号列簡略化器３１０３は、図４に示した符号列簡略化器２０４と基本的に同じである。
【００８７】
入力画像信号３１３１は、符号化器３１０１により符号化される。簡略化制御器３１０２は、符号化器３１０１から符号３１３２とは別に出力される符号化情報３１３３を用いて、簡略化方式制御信号３１３４により符号列簡略化器３１０３での簡略化方式を決定する。符号列簡略化器３１０３は、この決定された簡略化方式により符号化器３１０１からの符号列３１３２を簡略化する。
【００８８】
ここで、符号化情報とは、例えば（ａ） 符号化器３１０１が発生する符号量と、（ｂ） 符号化器３１０１で用いる動きベクトルの大きさ、（ｃ） フレーム内符号化領域の数、（ｄ） 予測残差信号の大小を示す情報であり、（ｂ） 〜（ｄ） はいずれもこれらが大きくなるほど誤りが生じた場合の影響が大きくなるので、誤り耐性に関する情報といえる。簡略化制御器３１０２は、この符号化情報、すなわち符号列の符号量に関する情報および該符号列の誤り耐性に関する情報に基づいて、符号列簡略化器３１０３を制御する。
【００８９】
具体的には、例えば符号量に余裕がある場合には、動きベクトルのみでなく、予測残差信号のＤＣＴ係数までを重要情報として選択したり、予測残差信号の大きな領域はＤＣＴ係数を重要情報と選択するようにする。また、予測残差信号のＤＣＴ係数を重要情報として選択する場合は、基本符号列中の予測残差信号と同じ予測残差信号でなく、符号化器３１０１で基本符号列を符号化する際に用いた量子化幅よりも大きな量子化幅で粗く予測残差信号を量子化することで、符号量を削減する等の方式を用いると効果的である。さらに、誤りが生じた場合に大きな影響を及ぼすイントラモードの予測残差信号をインターモードの予測残差信号より、多く選択するなどの処理も可能となる。また、符号量に余裕のない場合、付加符号列を生成し、出力するかどうか自体を切り替えることも可能である。
【００９０】
本実施形態によると、符号化の状況に合わせてフレーム単位などの簡略化により発生符号量を調節したり、大きな誤りを引き起こす原因となる個所だけを強く保護するようにすることが可能である。
【００９１】
以上、本発明による実施形態を説明したが、上記実施形態で示した基本符号列と付加符号列の合成の仕方に限定するものではなく、その他様々な合成の仕方が適用できる。また、本実施形態では動画像符号化を対象に説明したが、特に動画像符号化に特化するものではなく、静止画像符号化にも本発明を同様に適用することができる。さらに、画像符号化だけではなく、音声符号化等の他の符号化に対しても本発明を適用することが可能である。
【００９２】
次に、本発明の応用例として、本発明の画像符号化／復号化装置を適用した動画像伝送システムの実施形態を図２７を用いて説明する。パーソナルコンピュータ（ＰＣ）１１０１に備え付けられたカメラ１１０２より入力された動画像信号は、ＰＣ１１０１に組み込まれた画像符号化装置によって符号化される。この画像符号化装置から出力される符号化データは、他の音声やデータの情報と多重化された後、無線機１１０３により無線で送信され、他の無線機１１０４によって受信される。無線機１１０４で受信された信号は、動画像信号の符号化データおよび音声やデータの情報に分解される。これらのうち、動画像信号の符号化データはワークステーション（ＥＷＳ）１１０５に組み込まれた画像復号化装置によって復号され、ＥＷＳ１１０５のディスプレイに表示される。
【００９３】
一方、ＥＷＳ１１０５に備え付けられたカメラ１１０６より入力された動画像信号は、ＥＷＳ１１０５に組み込まれた画像符号化装置を用いて上記と同様に符号化される。動画像信号の符号化データは、他の音声やデータの情報と多重化され、無線機１１０４により無線で送信され、無線機１１０３によって受信される。無線機１１０３によって受信された信号は、動画像信号の符号化データおよび音声やデータの情報に分割される。これらのうち、動画像信号の符号化データはＰＣ１１０１に組み込まれた画像復号化装置によって復号され、ＰＣ１１０１のディスプレイに表示される。
【００９４】
図２８（ａ）（ｂ）は、図２７におけるＰＣ１００１およびＥＷＳ１００５に組み込まれた画像符号化装置および画像復号化装置の構成を概略的に示すブロック図である。
【００９５】
図２８（ａ）に示す画像符号化装置は、カメラなどの画像入力部１１０１からの画像信号を入力して誤り耐性処理部１１０３を有する情報源符号化部１１０２と、伝送路符号化部１１０４を有し、情報源符号化部１１０１においては予測残差信号の離散コサイン変換（ＤＣＴ）と生成されたＤＣＴ係数の量子化などが行われ、伝送路符号化部１１０４においては可変長符号化や符号化データの誤り検出および誤り訂正符号化などが行われる。伝送路符号化部１１０４から出力される符号化データは無線機１１０５に送られ、送信される。
【００９６】
一方、図２８（ｂ）に示す画像復号化装置は、無線機１２０１によって受信された符号化データを入力して伝送路符号化部１１０４と逆の処理を行う伝送路復号化部１２０２と、伝送路復号化部１２０１の出力信号を入力して情報源符号化部１１０２と逆の処理を行う誤り耐性処理部１２０４を有する情報源復号化部１２０３を有し、情報源復号化部１２０３で復号化された画像はディスプレイなどの画像出力部１０２５によって出力される。
【００９７】
【発明の効果】
以上説明したように、本発明によれば伝送／蓄積の際に生じる誤りにより情報が失われた場合でも早期に回復可能で、復号画像の品質劣化が小さく、しかも従来の誤り対策である周期リフレッシュや誤り訂正のような符号量の大きな増加がなく、符号化効率の高い画像復号化方法及び装置を提供することができる。
【図面の簡単な説明】
【図１】第１の実施形態に係る画像符号化装置の構成を示すブロック図
【図２】第１の実施形態における符号列の構成を示す図
【図３】第１の実施形態に係る画像復号化装置の構成を示すブロック図
【図４】第２の実施形態に係る画像符号化装置の構成を示すブロック図
【図５】第２の実施形態における符号列の配列を示す図
【図６】第２の実施形態における予測残差信号の帯域に関する選択方法の例を示す図
【図７】第２の実施形態に係る画像復号化装置の構成を示すブロック図
【図８】第３の実施形態に係る画像符号化装置の構成を示すブロック図
【図９】第３の実施形態における符号列の構成を示す図
【図１０】第３の実施形態に係る画像復号化装置の構成を示すブロック図
【図１１】第３の実施形態における符号列の他の構成を示す図
【図１２】第３の実施形態における誤り時の復号方法を示す図
【図１３】第３の実施形態における誤り時の復号方法を示す図
【図１４】第３の実施形態における誤り時の復号方法を示す図
【図１５】第４の実施形態に係る符号列簡略化器の構成を示すブロック図
【図１６】第５の実施形態に係る画像復号化装置の構成を示すブロック図
【図１７】第６の実施形態に係る画像復号化装置の構成を示すブロック図
【図１８】第７の実施形態を説明するための符号列の構成例を示す図
【図１９】第７の実施形態を説明するための符号列判定器が誤動作した場合の動作例を示す図
【図２０】第７の実施形態における符号列判定器のアルゴリズムを示すフローチャート
【図２１】第７の実施形態における付加符号列に対応した基本符号列の判定例を示す図
【図２２】第７の実施形態における符号列判定器の誤りを考慮したアルゴリズムを示すフローチャート
【図２３】第７の実施形態における誤りを考慮して判定を行う方式の例を示す図
【図２４】第８の実施形態における復号値選択器の復号値選択方法を示す図
【図２５】第８の実施形態における復号時に発見できなかった誤りを考慮した復号値選択方法の例を示す図
【図２６】第９の実施形態に係る画像符号化装置における簡略化制御部の構成を示すブロック図
【図２７】本発明の応用例に係るシステムの例を示すブロック図
【図２８】図２７のシステムで使用される画像符号化装置および画像復号装置の概略構成を示すブロック図
【図２９】従来の画像符号化装置の構成を示すブロック図
【図３０】従来の画像復号化装置の構成を示すブロック図
【図３１】従来技術における誤りの影響を説明するための図
【符号の説明】
１０１，２０１，３０１，３１０１…符号化器
１０２，２０２，３０２…符号列遅延器
１０３，２０３，３０３…符号列合成器
２０４，３１０３…符号列簡略化器
３０５…同期信号付加器
１３１，２３１，３３１，３１３１…入力画像信号
１３２，２３２，３３２，３１３２…基本符号列
１３３，２３３，３３３，３１３５…付加符号列
１３４，２３４，３３４…符号化信号（合成符号列）
２３５…簡略化符号列
４０６，５０６，６０６…付加符号列分離器
４０７，５０７，５１１，６０７，６１３…切替器
４０８，５０８，６０８…復号器
４０９，５０９，６０９…誤り検出器
５１０…付加符号列補間器
６１２…同期信号判定器
４３６，５３６，６３６…入力符号化信号
４３２，５３２，６３２…基本符号列
４３３，５３３，６３３…付加符号列
４３７，５３７，６３７…復号画像信号
４３８，５３８，６３８，６４１…切替器制御信号
４３９…復号状態信号
４４０…誤り検出信号
１１０１…パーソナルコンピュータ（ＰＣ）
１１０２，１１０６…カメラ
１１０３，１１０４…無線機
１１０５…ワークステーション（ＥＷＳ）
１２０１…領域分割器
１２０２，１３０２…動き補償器
１２０２，１３０２…フレームメモリ
１２０４…差分器
１２０５…離散コサイン変換器
１２０６…量子化器
１２０９…多重化器
１２１０，１３１０…逆量子化器
１２１１，１３１１…逆離散コサイン変換器
１２１２，１３１２…加算器
１２１３，１２１４…可変長符号化器
１３１９…逆多重化器
１３２０，１３２１…可変長復号化器
１２３１…入力画像信号
１２３３…予測信号
１２３４…予測残差信号
２００１…重要情報選択器
２００２…符号列変換器
２０３１…入力符号列
２０３２…重要情報
２０３３…変換後の符号列
２１０１…符号列判定器
２１０２…符号列切替器
２１０３…符号列基本符号列復号器
２１０４…付加符号列復号器
２１０５，２２０３…復号値選択器
２１０６，２２０５…復号値切替器
２１３１，２２３１…入力符号列
２１３２，２２３２…判定結果
２１３３，２１３４，２２３３…復号状態情報
２１３５，２１３６，２２３４，２２３５…復号値
２１３７，２２３６…復号値切替器制御信号
２１３８，２２３７…復号画像信号
２２０３…符号列復号器
３１０２…簡略化制御器
３１３３…符号化情報
３１３４…簡略化方式制御信号
【発明の属する技術分野】
本発明は、画像を少ない情報量に圧縮符号化し、また圧縮符号化により得られた符号列を復号して画像を再生する画像復号化方法及び装置に係り、特に無線伝送路のような誤りが生じやすい媒体を介して符号化画像を伝送／蓄積する場合でも誤り耐性が強く高品質に伝送／蓄積を行なうことができる画像復号化方法及び装置に関する。
【０００２】
【従来の技術】
ＴＶ電話、ＴＶ会議システム、携帯情報端末、ディジタルビデオディスクシステムおよびディジタルＴＶ放送システムのような画像を伝送したり蓄積するシステムにおいて、伝送または蓄積のために画像を少ない情報量に圧縮符号化する技術として、動き補償、離散コサイン変換、サブバンド符号化およびピラミッド符号化等の方式や、これらを組み合わせた方式など様々な方式が開発されている。また、動画像の圧縮符号化の国際標準方式としてＩＳＯ・ＭＰＥＧ１，ＭＰＥＧ２，ＩＴＵ−Ｔ・Ｈ．２６１，Ｈ．２６２が規定されている。これらはいずれも動き補償適応予測と離散コサイン変換を組み合わせた圧縮符号化方式であり、文献１（安田浩編著、“マルチメディア符号化の国際標準”、丸善、平成３年６月）等に詳細が述べられている。
【０００３】
図２９に、従来の動画像符号化装置の例として動き補償適応予測と離散コサイン変換を用いた符号化装置の基本構成を示す。入力画像信号１２３１は、領域分割器１２０１で予め定められた複数の領域に分割された後、まず動き補償適応予測が行われる。すなわち、動き補償適応予測器１２０２において入力画像信号１２３１とフレームメモリ１２０３中に蓄えられている既に符号化および局部復号化が行われた前フレームの参照画像信号との間の動きベクトルが検出され、この動きベクトルを用いて参照画像信号に対して動き補償が行われることにより予測信号１２３３が作成される。ただし、動き補償適応予測器１２０２では、動き補償予測と入力画像信号１２３１をそのまま符号化に用いるフレーム内符号化（予測信号＝０）のうち、好適な方の予測モードが選択され、その予測モードに対応する予測信号１２３３が出力される。
【０００４】
次に、減算器１２０４において入力画像信号１２３１から予測信号１２３３が減算され、予測残差信号１２３４が出力される。予測残差信号１２３４は、離散コサイン変換器１２０５において一定の大きさのブロック単位で離散コサイン変換（ＤＣＴ）が行われる。この離散コサイン変換により得られたＤＣＴ係数は、量子化器１２０１２で量子化される。量子化器１２０６で量子化されたＤＣＴ係数は二分岐され、一方において可変長符号化器１２１３で符号化された後、多重化器１２０９において可変長符号化器１２１４で符号化された動きベクトル情報と多重化されて符号列として出力され、他方において逆量子化器１２１０で逆量子化された後、さらに逆離散コサイン変換器１２１１で逆離散コサイン変換（逆ＤＣＴ）される。逆離散コサイン変換器１２１１からの出力は加算器１２１２で適応予測信号１２３３と加算されて局部復号信号となり、フレームメモリ１２０３に参照画像信号として記憶される。
【０００５】
図３０は、図２９の動画像符号化装置に対応する動画像復号化装置の基本構成を示す図である。動画像符号化装置から伝送／蓄積された符号列は、逆多重化器１３１９において量子化されたＤＣＴ係数と動きベクトル情報に分離される。量子化されたＤＣＴ係数情報は可変長復号化器１３２０、逆量子化器１３１０、逆離散コサイン変換器１３１１を経て予測誤差信号となる。動きベクトル情報は可変長復号化器１３２１で復号された後、動き補償予測器１３０２に入力される。動き補償予測器１３０２では動きベクトルを用いてフレームメモリ１３０３内の前フレームの参照画像信号に動き補償が行われ、予測信号が生成される。次に、加算器１３１２において予測誤差信号と予測信号が加算され、画像信号が再生される。再生された画像信号は、装置外へ出力されると共にフレームメモリ１３０３に参照画像信号として記憶される。
【０００６】
しかし、このような従来の動画像符号化／復号化装置には、以下のような問題がある。
【０００７】
無線通信路等の誤りが混入する可能性のある通信路では、上記のような符号化を行っただけでは、誤りが生じた場合に復号画像品質が著しく劣化する。特に、同期信号、モード情報および動きベクトルといった信号が誤った場合の画質劣化は著しい。
【０００８】
また、動画像符号化では前述した通り、動き補償適応予測符号化が頻繁に用いられるが、この動き補償適応予測符号化ではフレーム間の差分のみを符号化するため、誤りが生じるとそのフレームが誤るだけではなく、誤った画像がフレームメモリに蓄えられ、その誤った画像を用いて予測画像を作成し、残差が加えられることとなる。そのため、これ以降のフレームが正しく復号されたとしても、フレーム間差分を用いずフレーム内のみで符号化されているモード（イントラモード）で情報が送られてくるか、徐々に誤りの影響が減衰して元に戻るかのどちらか以外、それ以降のフレームも正しい復号画像は得られなくなる。
【０００９】
図３１は、この様子を図示したものである。この例は黒い円が動いていく様子を示しており、通常は次フレームの円を表す残差信号（残差信号の黒い円で表してあるもの）と、前フレームの円を消すための残差信号（残差信号の点線の円で表してあるもの）が含まれたものがフレーム間差分信号として出てくる。ここでは、簡略化のため動き補償はせず、ＭＶ（動きベクトル）＝０としてフレーム間差分をとっている。
【００１０】
ここで、誤りにより１フレーム分情報が失われたとすると、２番目のフレームは全く復号されず、例えば１番目のフレームのまま出力される。３番目のフレームでは、２番目のフレームに加えて始めて正しく復号できる残差を１番目のフレームに加えてしまい、全く別の画像となってしまう。これ以降、誤った画像に残差を加えていくため、基本的に誤りが消えず正しい復号画像を再生することは出来なくなる。
【００１１】
この問題点を解決するため、従来では一定周期毎にイントラモードで符号化するリフレッシュと呼ばれる手法が通常用いられる。この場合、イントラモードで符号化すると符号量が増加して誤りのない時の画質を著しく低下させてしまうため、画面全体を一度にリフレッシュするのではなく、１フレームに数マクロブロックずつリフレッシュする周期リフレッシュ等の方法が通常用いられる。しかしながら、この周期リフレッシュでは符号量の増加は抑えられる反面、正常な状態に回復するまでに長い時間がかかるという問題が起こる。
【００１２】
他の誤り対策としては、誤り訂正符号の利用があるが、これではランダムに生じる誤りは訂正出来ても、バースト的に連続して数百ビットといった誤りが生じるような場合には対処が難しく、たとえ対処できたとしても、やはりかなりの冗長度を必要とする。
【００１３】
【発明が解決しようとする課題】
上述したように、画像符号化、特に動画像符号化では誤りによる情報の消失が大きな画質劣化の要因となる。また、誤りにより消失した情報を回復する従来の周期リフレッシュ等の方式では、符号化効率を考えると回復までに長い時間を要し、回復に要する時間を短縮しようとすると符号量が増加して効率を悪くするといった問題点があった。
【００１４】
本発明は、誤りにより情報が失われた場合でも早期に回復可能で、かつリフレッシュや誤り訂正ほどの符号量の増加がない画像復号化方法及び装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明は、基本符号列と該基本符号列を遅延させた付加符号列を含む入力符号列に対して基本符号列か該基本符号列を遅延させた付加符号列かの判定を行う符号列判定ステップと、前記基本符号列を復号する基本符号列復号ステップと、前記付加符号列を復号する付加符号列復号ステップと、前記符号列判定ステップにより前記入力符号列が基本符号列と判定された場合は該入力符号列を前記基本符号列復号ステップに入力し、前記入力符号列が付加符号列と判定された場合は該入力符号列を前記付加符号列復号ステップに入力する符号列切替ステップと、前記符号列判定ステップの判定結果と前記基本符号列復号ステップの復号状態および前記付加符号列復号ステップの復号状態に基づき、前記基本符号列復号ステップの復号値および前記付加符号列復号ステップの復号値のいずれかを選択して出力するステップとを有する。
【００１６】
【発明の実施の形態】
以下、本発明の実施形態を説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像符号化装置のブロック図である。入力画像信号１３１は符号化器１０１において符号化され、符号列（これを基本符号列という）１３２として出力される。この基本符号列１３２はそのまま符号列合成器１０３に入力されると共に、メモリを用いた符号列遅延器１０２に入力され、ここで一定時間記憶保持された後、出力される。
【００１７】
すなわち、符号列遅延器１０２では一定時間経過後、保持していた過去の符号列（これを付加符号列という）１３３を出力する。この付加符号列１３３も、符号列合成器１０３に入力される。符号列合成器１０３では、符号化器から出力された基本符号列１３２と符号列遅延器１０２から出力された付加符号列１３３を合成し、出力符号列１３４として出力する。
【００１８】
図２は、従来方式（ａ）と本実施形態による出力符号列（ｂ）（ｃ）の構成を示した図である。符号列合成器１０３での符号列の合成の方法には様々な方法があるが、ここでは例として二種類の方式を示している。また、図中のＰＳＣ（Ｐｉｃｔｕｒｅ Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ Ｃｏｄｅ）は、同期信号を表している。
【００１９】
図２（ｂ）で提案方式１として例示するものは、最初に符号列遅延器１０２を介さずに出力される基本符号列１３２の直後に、符号列遅延器１０２から出力されたこれと全く同じ付加符号列１３３を再度出力する方式である。この提案方式１では、一つのフレームの中に同じ符号列の情報が二度含まれているため、片方の符号列の情報に誤りが生じた場合にも、他方の符号列の情報を利用することで復号側で正しく復号することができる。
【００２０】
ただし、符号列に可変長符号を用いている場合には、一度誤りが生じると符号の切れ目が分からなくなり、それ以後全く正しく復号できない同期外れといわれる状態になってしまうことがある。よって提案方式１を可変長符号を利用しているシステムに使用すると、先頭の基本符号列に誤りが生じた場合その後に続く付加符号列も正しく復号できないことになってしまうので、本方式は固定長の符号を用いたシステム、または逆方向にも復号可能な符号列の構成を用いた場合に有効である。
【００２１】
また、全く同じ符号列を二度並べることから、一つの同期区間（同期信号から同期信号まで）のビット数を求め、それを二等分することでも各々の符号列を分離することはできる。ただし、同期信号が失われた時や疑似同期信号が生じた場合などでは正しい同期区間の符号量が求められず誤動作することに注意する必要がある。
【００２２】
次に、図２（ｃ）に示す提案方式２は通常の可変長符号を用いた場合でも利用できる方式である。この方式は、入力画像信号の第ｎフレームを符号化した符号列を基本符号列とし、入力画像信号の第ｎ−１フレームを符号化した符号列を付加符号列として一つのフレームに合成するものである。この方式では前述の提案方式１と異なり、第ｎ＋１番目の同期区間の中に第ｎフレームを符号化した符号列を付加符号列として再度出力している。これにより第ｎ番目の同期区間で誤りが生じた情報が失われた場合でも、同じ情報が次の第ｎ＋１番目の同期区間に存在し、それを用いることによって正しく復号することができる。
【００２３】
この提案方式２では、次の同期区間に二度目の符号列を合成することから、誤りが生じても次の同期信号を一緒に破壊しない限り次の同期区間まで誤りが及ぶことはなく、提案方式１のような可変長符号の同期外れの問題を特に考慮する必要はない。ただし、誤り時に正しく復号できるのが次の同期区間の信号を復号してからになるため、復号器の構成法によっては復号画像信号の出力するタイミングが本来のものより遅くなる。
【００２４】
次に、本実施形態に係る画像復号化装置について説明する。図３は、図１に示した画像符号化装置に対応する本実施形態の画像復号化装置の構成を示すブロック図である。図１の画像符号化装置から出力され、図示しない伝送系または蓄積系を介して入力される入力符号列４３６は、付加符列分離器４０６により基本符号列と付加符号列に分離される。通常は切替器４０７で基本符号列４３２が選択され、復号器４０８に入力される。
【００２５】
復号器４０８は、基本符号列４３２を復号すると共に、その復号状態を示す復号状態信号４３９を誤り検出器４０９へ出力する。誤り検出器４０９では、復号状態信号４３９から入力符号列４３６に誤りがないか、そして復号器４０８の復号結果に誤りがないかどうか等を調べ、誤りの有無を示す誤り検出信号４４０を復号器４０８に出力する。復号器４０８は、誤り検出信号４４０から誤りがある場合は基本符号列４３２の復号結果を復号画像信号４３７として出力し、誤りがある場合は復号結果を出力しない。
【００２６】
また、誤り検出器４０９はさらに切替器制御信号４３８を切替器４０７に出力し、誤りがある場合は切替器４０７を切替えて付加符号列４３３を選択させ、これを復号器４０８へ入力させる。この場合、復号器４０８は付加符号列４３３を復号し、誤り検出器４０９で誤りが検出されなければその復号結果を基本符号列４２３の復号結果に代えて復号画像信号４３７として出力する。
【００２７】
なお、基本符号列４３２および付加符号列４３３の両方が誤った場合には、復号器４０８で一つ前のフレームをそのまま出力するなどの処理を行えばよい。
【００２８】
次に、本発明の他の実施形態について説明する。なお、以降の実施形態において第１の実施形態を示した図１および図３と同一名称が記載されたブロックは、第１の実施形態で説明した通りの機能を有するものとする。
【００２９】
（第２の実施形態）
図４は、本発明の第２の実施形態に係る画像符号化装置のブロック図である。第１の実施形態との相違点は、入力画像信号１３１を符号化器２０１により符号化して得られた基本符号列２３２を符号列簡略化器２０４において符号量を削減するために簡略化した符号列２３５に変換してから、符号列遅延器２０２に入力する点である。簡略化符号列２３５は符号列遅延器２０２により一定時間遅延されて付加符号列２３３となり、符号列合成器２０２において基本符号列２３２と合成され、出力符号列２３４として出力される。
【００３０】
符号列簡略化器２０４は、結果的に付加符号列２３３の符号量を削減するためのものであるから、その位置は図４のように符号列遅延器２０２の前でなくともよく、符号列遅延器２０２の後でもよい。
【００３１】
本実施形態によると、付加符号列２３３の符号量が基本符号列２３２のそれより少ないため、従来法に対して少ない符号量の増加で第１の実施形態と同程度の誤り耐性を実現できる。また、符号量の増加が少ないことから、第１の実施形態よりも誤りが少ない場合、より高画質な復号画像を得ることができる。
【００３２】
一方、誤り時に基本符号列２３２が破壊され、付加符号列２３３の方で復号を行うと、付加符号列２３３を簡略化して情報量を削減していることから、復号結果にある程度の歪みが残る場合がある。しかし、符号列の簡略化方法を工夫することで、歪みが視覚的にほとんど問題にならない程度にすることができる。以下にその方式について具体例を説明する。
【００３３】
まず第１の簡略化方式は、基本符号列２３２（符号化情報）の中で重要な情報のみを選択する方式である。基本符号列２３２は、前述したようにモード情報、動きベクトル、予測残差信号といった性質の異なる信号から構成されている。符号列簡略化器２０４では、基本符号列２３２を構成するこれらの信号のうち重要度の高い信号のみを選択して簡略化符号列２３５として出力し、符号列遅延器２０２は簡略化符号列２３５を遅延して付加符号列２３３を出力する。
【００３４】
例えば、図５（ａ）に示す通常の符号列の例を考えてみる。図２９、図３０で説明したように、動き補償適応予測符号化を用いた画像符号化／復号化装置の場合、最初のステップとして動き補償による予測信号の作成があり、次のステップで予測信号に予測残差信号を加算することになる。この場合、復号化装置では予測信号まで作成できればある程度の復号画像信号が得られることから、動き補償による予測信号が作成できるレベルの情報のみに限定して簡略化符号列２３５すなわち付加符号列２３３を構成する。また、ＩＮＴＲＡ（イントラ）モードのブロックは予測信号では表現できないため、ＩＮＴＲＡモードのブロックの直流成分（ＤＣ）を付加符号列２３３に加えることで、ＩＮＴＲＡモードにも対応させるようにする。このように付加符号列２３３を構成し、基本符号列２３２と合成することで、効率良く誤り耐性能力を強化することができる。
【００３５】
図５（ｂ）（ｃ）に示す提案方式１’、２’は、それぞれ第１の実施形態で説明した図２（ｂ）（ｃ）の提案方式１、２に対応する符号列の構成を示したものである。図中の各ブロックの右下に表記してあるｎ−１、ｎ、及びｎ＋１はその情報が何番目のフレームに相当する情報であるかを示している。
【００３６】
次に、第２の簡略化方式について説明をする。上述した第１の簡略化方式は、低ビットレートでの符号化時には効果的であるが、高いビットレートの場合、予測信号だけ再生しても元の画像とかなりの相違がある場合が多い。そこで、ある程度の予測残差信号も付加符号列２３３の中に組み込む必要がある。その場合、予測残差信号のレベルの大きなブロックのみを選択したり、離散コサイン変換により得られたＤＣＴ係数の低域に近い成分、すなわちＤＣＴ係数を表す図６の斜線で示した係数に相当する成分を選択して出力することで符号量の増加を抑えることができる。
【００３７】
上述した第２の簡略化方式では、単純に信号を選択するだけでは符号量が目的としている量まで減少しない場合もある。その場合の対処法として、以下に第３の簡略化方式を示す。第３の簡略化方式では、上記のように信号を選択した後そのまま簡略化符号列２３５として出力するのではなく、精度を落してから簡略化符号列２３５として出力する。例えば、半画素単位の動きベクトルを整数画素単位の動きベクトルに再量子化し、これを簡略化符号列２３５として出力する。
【００３８】
また、予測残差信号も簡略化符号列２３５として出力する方は、通常の量子化幅よりも大きな量子化幅で再量子化して出力することで、符号量を第１および第２の簡略化方式に比べて少なくすることができる。再量子化は、ＤＣＴした係数のレベルや、動き補償まで戻って新しく大きな量子化幅で量子化する方が精度が良いが、処理に時間がかかるため、量子化された値を半分にするなどしてさらに量子化するといった方式をとることもできる。
【００３９】
次に、本実施形態に係る画像復号化装置について説明する。図７は、図４に示した画像符号化装置に対応する本実施形態の画像復号化装置の構成を示すブロック図である。各部の基本的動作は、図３に示した第１の実施形態の画像復号化装置と同様であるため、相違点のみを以下に述べる。
【００４０】
本実施形態が第１の実施形態と相違する点は、誤り時に復号器５０８からの復号状態信号４３９に基づく誤り検出器５０９からの切替器制御信号５３８で第１の切替器５０７を付加符号列５３３側に切替えた後、付加符号列５３３を復号器５０８に直接入力するのではなく、一旦付加符号列補間器５１０に入力する点である。この付加符号列補間器５１０では、前述した第１〜第３の簡略化方式により簡略化された符号列５３３を復号器５０８で復号できるように、欠けている情報を付け加えたり、再量子化等で変形した情報を元に戻す等の処理を行う。
【００４１】
もし、画像符号化装置の方でそのまま復号器５０８に入力しても構わない符号列構成としている場合は、この付加符号列補間器５１０を設ける必要なく、図３に示した第１の実施形態と同様の画像復号化装置で復号できる。例えば、予測残差信号を省く場合、モード情報を書き換えて予測残差のないモードに予め設定しておき、付加符号列を構成すればよい。
【００４２】
また、付加符号列５３３が簡略化されている場合、画像復号化装置において付加符号列のみで基本符号列を置き換えて復号してしまうと、簡略化されている分だけ復号画像の品質が誤り無しの時の復号画像の品質に比べ劣化する。そこで、第１の実施形態の画像復号化装置と同様に、基本符号列を第２の切替器５１１を介して復号器５０８に入力して復号した際、正しく復号された信号はそのまま復号画像信号５３７として出力し、誤りによって失われた情報のみ付加符号列を復号器５０８で復号した信号を復号画像信号５３７として出力する処理を行う。このようにすれば、付加符号列を簡略化することで失われた情報の影響を少なく抑えることができる。
【００４３】
（第３の実施形態）
図８は、本発明の第３の実施形態に係る画像符号化装置のブロック図である。本実施形態は、同期信号付加器３０５を新たに加えたことが特徴である。ここでは図１に示した第１の実施形態を基本にして同期信号付加器３０５を加えた構成を示しているが、図４に示した符号列簡略化器を有する第２の実施形態を基本にした構成も実現できる。
【００４４】
第１および第２の実施形態との相違点は、符号列遅延器３０２を介して付加符号列３３３を出力する際、同期信号付加器３０５において付加符号列３３３に同期信号を付加する点である。この方式の利点は、同期信号の付加により付加符号列３３３のみで一つの同期区間を構成しているため、基本符号列３３２から付加符号列３３３が独立し、他の同期区間で生じた誤りが付加符号列３３３に及ばないことである。また、付加符号列３３３で生じた誤りは、この中で閉じたものとなるので、他の同期区間に影響を及ぼさない。よって、第１および第２の実施形態に比較して誤りの影響が少なく、誤り耐性能力がさらに強化される。
【００４５】
また、画像復号化装置で付加符号列を分離する際、同期区間単位で処理することができ、分離が容易になる。ただし、読み込んだ一同期区間の情報が基本符号列に相当するものか、または付加符号列に相当するものかを判別する情報が必要になる。その判別方法として、ここでは以下に二通りの方法を挙げる。
【００４６】
まず、第１の判別方法は同期信号で基本符号列と付加符号列を判別する方法である。すなわち、同期信号として基本符号列と付加符号列とで異なったものを用意し、使い分けることで判別する。第２の判別方法は、基本符号列と付加符号列に同期信号には同じものを用い、その後のヘッダ情報で基本符号列と付加符号列を判別する方法である。
【００４７】
これら第１および第２の判別方法を比較すると、符号化の効率という点では第１の判別方法のように同期信号を二つ用意する方が良い場合が多いが、同期信号は他の符号と全く一致しないものを選ぶ必要がある。このように新しくもう一つの同期信号を作成するより、同期信号を一つにしておき、その後ろのヘッダ情報で区別する第２の判別方法の方が容易に実現できる。
【００４８】
しかし、ヘッダ情報までを含んで同期信号と解釈するならば、長い同期信号で区別していることとなり、これら第１および第２の判別方法は本質的には同じこととなる。よって、本実施形態における符号列の構成を示す図９では、同期信号が２つある場合のみを示してある。図９において、図中の各ブロックの右下に表記してあるｎ、及びｎ＋１は、図８と同様その情報が何番目のフレームに相当する情報かを示している。
【００４９】
次に、本実施形態に係る画像復号化装置について説明する。図１０は、図８に示した画像符号化装置に対応する本実施形態の画像復号化装置の構成を示すブロック図である。図１および図４に示した第１および第２の実施形態における画像復号化装置との相違点は、入力符号列６３６から基本符号列と付加符号列を分離して出力するための付加符号列分離器６０６に同期信号判定器６１２を有し、この同期信号判定器６１２によって入力符号列６３６が基本符号列か付加符号列かの判別を行い、これに基づいて基本符号列６３２と付加符号列６３３を分離して出力する切替器６１３を制御する点である。
【００５０】
その他の構成、すなわち基本符号列６３２と付加符号列６３３を復号器６０８に切り替えて入力する切替器６０７と復号器６０８および誤り検出器６０９は、第１および第２の実施形態における画像復号化装置と同様である。
【００５１】
また、本実施形態でも第２の実施形態の画像復号化装置で示した基本符号列の正しく復号できた部分を用い、誤りにより復号できなかった部分のみを付加符号列の復号によって得られた情報で置き換える処理を行うことにより、復号画像の品質を上げることができる。
【００５２】
さらに、本実施形態において基本符号列中の予測残差信号の前に同期信号を挿入することで、さらに強力な誤り耐性を実現できる。
【００５３】
図１１は、この方式による符号列の構成を示した図である。符号量の無駄を省くため、第１同期信号による同期区間は動き適応予測による予測画像が作成できる最低限の情報のみで構成し、続く第２の同期信号による同期区間に残差信号に関係するモード情報、残差信号等を組み込む。そして、前述したように第３の同期信号による同期区間に付加符号列に相当するものを組み込む。
【００５４】
復号時は、第１の同期区間に誤りが生じた場合には第３の同期区間の付加符号列で予測画像を作成し、第２の同期区間の残差信号を加えることで復号画像信号を作成する。このとき、付加符号列の予測信号作成に関する情報が第１の同期区間のものと同じ場合は、完全に正しく復号することができる。第２の同期区間に誤りが生じた場合は、第１の同期区間の情報で予測画像を作成し、第２の同期区間の情報で正しく復号されたものと第３の同期区間の付加符号列に含まれた残信号に関する情報を合わせて復号画像信号を作成する。第３の同期区間に誤りが生じた場合は、第１、第２同期区間の情報をそのまま復号すれば良いので、完全に正しく復号できる（図１２〜図１４参照）
このように、基本符号列中に誤りが生じた場合、単純に付加符号列に切り替えるのでなく、基本符号列中で正しく復号できた個所を利用し、それに付加符号列の内容を加えて復号することで、復号できた情報を最大限に活用することができる。
【００５５】
（第４の実施形態）
次に、本発明の第４の実施形態として、第２の実施形態で説明した符号列簡略化器２０４の具体例について説明する。図１５は、この符号列簡略化器の構成を示すブロック図である。図示しない符号化器からの入力符号列２０３１は、この実施形態では例えば図２９に示した動画像符号化装置において、可変長符号化器１２１３，１２１４で可変長符号化される前の量子化されたＤＣＴ係数や動きベクトル情報である。この入力符号列２０３１は重要情報選択器２００１に入力され、ここで相対的に重要な重要情報２０３２のみが選択された後、符号列変換器２００２に入力される。符号列変換器２００２は、入力された重要情報２０３２を符号表（例えば可変長符号表）を用いて他の符号列２０３３（例えば可変長符号の符号列）に変換する。符号表は、符号化対象値と符号語（例えば可変長符号語）との対応関係をメモリに記述したものであり、この例では重要情報２０３２が符号化対象値として入力されると、これに対応する符号語が符号列２０３３として出力される。
【００５６】
重要情報選択器２００１は、例えば符号化器が図２９に示した動き補償予測と予測残差符号化を用いた動画像符号化方式の場合、予測残差信号である量子化されたＤＣＴ係数よりも動きベクトル情報が重要であることから、符号化に関する情報を集めたヘッダ部と動きベクトル情報のみを重要情報として選択する。この場合、符号化器がフレーム内符号化（イントラ符号化）モードのときは動きベクトルは存在しないため、重要情報選択器２００１で全く情報が選択されないことになる。そこで、フレーム内符号化モードでは、動きベクトル情報の代わりにＤＣＴ係数の直流成分を選択する。これにより、フレーム間符号化モードおよびフレーム内符号化モードの両モードにおいて重要情報を選択できる。
【００５７】
その他、重要情報選択器２００１において予測残差信号のＤＣＴ係数の低域に近い成分までを重要情報として選択したり、あるいは全ての動きベクトル情報を選択するのではなく、一部間引いた動きベクトル情報を重要情報として選択する方法等をとってもよい。例えば、８画素×８画素毎に求められていた動きベクトルを１６画素×１６画素の動きベクトルに変換し、これを重要情報とする。
【００５８】
符号列変換器２００２は、重要情報２０３２を前述したように可変長符号表などの符号表を用いて符号列に変換する。ここで、符号列変換器２００２内の符号表、すなわち付加符号列生成用の符号表は、基本符号列生成用の符号表と異なっていてもよいし、同一であってもよい。これらはいずれも一長一短があるので、目的に応じて使い分ければよい。
【００５９】
（１）まず、符号列変換器２００２に基本符号列生成用の符号表と異なる専用の符号表を用いた場合について説明する。
通常、基本符号列を生成する際には、重要情報以外の情報まで考慮して最適になるように作成された符号表を用いるため、符号列変換器２００２で重要情報のみを符号列に変換する場合に、この基本符号列生成用の符号表をそのまま利用すると冗長な部分がある。そこで、伝送路の符号化レートを重要視する場合には、基本符号列の符号表とは別に付加符号列に最適な符号表を符号列変換器２００２に用いて重要情報２０３２の符号列変換を行う。このようにすることで、効率のよい符号化が可能である。
【００６０】
（２）次に、符号列変換器２００２に基本符号列生成用の符号表と同一の符号表を用いた場合について説明する。
このように基本符号列生成用の符号表と付加符号列生成用の符号表を共通にすると、後述するように付加符号列用の復号のための復号器を特別に用意する必要がなくなるため、復号器の回路規模を従来と同じにすることができる。これを実現するためには、例えば予測残差信号のＤＣＴ係数を送らず、動きベクトル情報のみを重要情報として選択し、符号列変換器２００２を通して付加符号列として送る際には、基本符号列で予測残差信号があることを示しているモード情報を予測残差信号がないことを示すモード情報に変換して、付加符号列を生成する。これにより、基本符号列と同じ符号表を用いて付加符号列を生成することが可能である。
【００６１】
（第５の実施形態）
図１６は、本発明の第５の実施形態に係る画像復号化装置のブロック図である。入力符号列２１３１は、符号列判定器２１０１において基本符号列か付加符号列かの判定が行われ、さらに付加符号列と判定された場合は前に復号した基本符号列に対応した付加符号列であるかどうかが判定される。これらの判定結果を基に符号列切替器２１０２が切り替え制御され、入力符号列２１３１が基本符号列の場合は基本符号列復号器２１０３に入力され、また付加符号列の場合は付加符号列復号器２１０４に符号列２１３１が入力される。
【００６２】
基本符号列復号器２１０３および付加符号列復号器２１０４は、出力として復号値２１３５および２１３６とは別に、復号状態情報２１３３および２１３４を出力するように構成されている。復号状態情報２１３３および２１３４は、復号が正しく行われたか否かを示す情報であり、例えば基本符号列復号器２１０３および付加符号列復号器２１０４で得られる誤り検出情報である。
【００６３】
復号値選択器２１０５は、符号列判定器２１０１の判定結果２１３２と、基本符号列復号器２１０３の復号状態情報２１３３および付加符号列復号器２１０４の復号状態情報２１３４とから、基本符号列復号器２１３３の復号値２１３５および付加符号列復号器２１３４の復号値２１３６のうち正しいと推定される方の復号値を選択し、その選択した復号値が出力符号値２１３８として出力されるように復号値切替器２１０６を制御する。すなわち、復号値切替器２１０６では、復号値選択器２１０５からの復号値切替器制御信号２１３７を、用いて基本符号列および付加符号列の復号値２１３５，２１３６のいずれかを切り替えて出力する。
【００６４】
本実施形態によると、基本符号列復号器２１０３および付加符号列復号器２１０４からの誤り情報などの復号状態情報２１３３および２１３４を利用して、これらの復号器２１０３および２１０４から出力される復号値２１３５および２１３６のうち正しい復号値を出力することが可能である。本実施形態は、第５の実施形態における（１）の場合、すなわち画像符号化装置で得られる基本符号列と付加符号列が異なる符号表で符号化されている場合の画像復号化装置に特に有効である。
【００６５】
（第６の実施形態）
図１７は、本発明の第６の実施形態に係る画像復号化装置のブロック図である。入力符号列２２３１は、符号列判定器２２０１において基本符号列か付加符号列の判定が行われ、さらに付加符号列と判定された場合は前に復号した基本符号列に対応した付加符号列であるかどうかが判定される。また、入力符号列２２３１は符号列復号器２２０２により復号され、さらに基本符号列の場合は復号値蓄積器２２０４に復号値２２３４が蓄積される。符号列復号器２２０２は、出力として復号値２２３４とは別に、復号が正しく行われたか否かを示す誤り情報などの復号状態情報２２３３を出力する。
【００６６】
復号値選択器２２０３は、符号列判定器２２０１の判定結果２２３２と、符号列復号器２２０２からの復号状態情報２２３３とから、基本符号列の復号値および付加符号列の復号値２２３４のうち正しいと推定される方の復号値を選択し、その選択した復号値が出力符号値２２３７として出力されるように復号値切替器２２０５を制御する。すなわち、復号値切替器２２０５では、復号値選択器２２０３からの選択制御信号２２３６を用いて、復号値蓄積器２２０４からの基本符号列の復号値２２３５および符号列復号器２２０２から出力される付加符号列の復号値２２３４いずれかを切り替えて出力する。
【００６７】
本実施形態によると、同一の符号列復号器２２０２で基本符号列および付加符号列を復号することが可能であるため、復号器を従来方式と同程度の回路規模で実現することができる。本実施形態は、第４の実施形態における（２）の場合、すなわち画像符号化装置で得られる基本符号列と付加符号列が同一の符号表で符号化されている場合の画像復号化装置に特に有効である。
【００６８】
（第７の実施形態）
次に、本発明の第７の実施形態として、第５および第６の実施形態で用いた符号列判定器２１０１，２２０１の判定アルゴリズムについて説明する。
【００６９】
図１８は、符号列の基本構造の例を表したものである。符号列の先頭には同期信号（ＰＳＣ）が配置され、続いて基本符号列または付加符号列を判定するＩＤおよび符号列の時間的位置を示す情報ＴＲが順次配置され、最後に符号化された情報ＤＡＴＡが配置されている。
【００７０】
符号列判定器では、ＩＤにより入力符号列が基本符号列か付加符号列かの判定を行う。また、ＩＤにより付加符号列と判定した場合には、さらにその符号列がＴＲにより前回復号した基本符号列と同じ時間的位置に当たるものかどうかの判定を行う。これにより、基本符号列とそれに対応した付加符号列の判定を行うことができる。
【００７１】
しかし、この方法では伝送路で誤りが生じた場合、基本符号列と付加符号列との対応を間違えることによる誤動作が生じる場合がある。例えば、図１９の最上段に示された本来の符号列に対して、図１９（ａ）に示すように基本符号列１と付加符号列２だけが復号され、しかも付加符号列の時間的位置情報ＴＲが誤って基本符号列１のＴＲと一致した場合を考える。この場合には、正しくは基本符号列１で１枚の画像を構成して出力し、その後、付加符号列のみで１枚の画像を構成し出力するべきところ、基本符号列１と付加符号列２で正しく復号できた部分を合わせて１枚の画像として出力してしまう。
【００７２】
また、図１９（ｂ）に示すように、基本符号列２のＴＲが誤り、付加符号列２に対応した基本符号列と判定されなくなった場合を考える。この場合、本来は基本符号列２と付加符号列２を合わせて１枚の画像が構成されるべきところ、２枚の別々の画像が構成されることとなる。
【００７３】
このような不都合を避けるため、例えば図２０に示すアルゴリズムに従って基本符号列と付加符号列の関係を判定する。ここでは、基本符号列の時間的位置情報ＴＲをＴＲ１、付加符号列のＴＲをＴＲ２、一つ前に復号したＴＲをＰｒｅ＿ＴＲとする。また、固定フレームレートで符号化されている場合には、Ｐｒｅ＿ＴＲと正しいＴＲ１，ＴＲ２との差分値Ｓｋｉｐ＿Ｔｉｍｅも既知である。
【００７４】
そこで、図２０のアルゴリズムでは、まずＴＲ１とＴＲ２と一致するかを調べ（ステップＳ１１）、一致すれば復号した付加符号列は直前に復号された基本符号列に対応した符号列であると判定する。一方、ＴＲ１とＴＲ２が不一致の場合は、次に差分値Ｓｋｉｐ＿Ｔｉｍｅが既知かどうかを調べ（ステップＳ１２）、既知の場合はＰｒｅ＿ＴＲにＳｋｉｐ＿Ｔｉｍｅを加算したものとＴＲ２を比較し（ステップＳ１３）、同じならば符号列の並びとして、その間に挟まれている基本符号列のＴＲ１が誤っていると判定する。そして、ＴＲ１をＴＲ２に修正して（ステップＳ１４）、復号した付加符号列は直前に復号された基本符号列に対応した符号列であると判定する。この様子を図２１に示す。
【００７５】
ステップＳ１２においてＳｋｉｐ＿Ｔｉｍｅが既知でない場合、およびステップＳ１３においてＰｒｅ＿ＴＲにＳｋｉｐ＿Ｔｉｍｅを加算したものとＴＲ２が不一致の場合は、復号した付加符号列は直前に復号された基本符号列と対応しないと判定する。
【００７６】
図２０のアルゴリズムでは、基本符号列の時間的位置情報ＴＲが誤った場合には対応できるが、それ以外の誤りに関しては対応できない。そこで、それ以上の誤り耐性を考える必要がある場合には、図２２に示すアルゴリズムにより基本符号列と付加符号列の関係を判定する。ここで、Ｓｉｎｇｌｅ＿Ｅｒｒｏｒ＿Ｃｈｅｃｋ（Ａ，Ｂ）は、Ａに１ビット誤りを付加したものとＢが一致するかどうかを判定する関数とする。
【００７７】
すなわち、まずＴＲ１とＴＲ２と一致するかを調べ（ステップＳ２１）、一致すれば符号列１は符号列２の基本符号列であると判定する。一方、ＴＲ１とＴＲ２が不一致の場合は、次にＴＲ１に１ビット誤りを付加したものとＴＲ２が一致するかどうかを調べ（ステップＳ２２）、一致すれば符号列１は符号列２の基本符号列であると判定し、不一致であれば次に差分値Ｓｋｉｐ＿Ｔｉｍｅが既知かどうかを調べ（ステップＳ２３）、既知の場合はさらにＰｒｅ＿ＴＲとＳｋｉｐ＿Ｔｉｍｅの加算値に１ビット誤りを付加したものとＴＲ２が一致するかどうかを調べ（ステップＳ２４）、一致していれば基本符号列のＴＲ１が誤っていると判定して、ＴＲ１をＴＲ２に修正し（ステップＳ２５）、符号列１は符号列２の基本符号列であると判定する。
【００７８】
ステップＳ２３においてＳｋｉｐ＿Ｔｉｍｅが既知でない場合、およびステップＳ２４においてＰｒｅ＿ＴＲとＳｋｉｐ＿Ｔｉｍｅの加算値に１ビット誤りを付加したものとＴＲ２が不一致の場合は、符号列１は符号列２の基本符号列ではないと判定する。
【００７９】
このようなアルゴリズムにより、ＴＲに１ビット誤りが挿入した場合も正しく判定することが可能である。この様子を図２３に示す。なお、１ビットより多い誤りも判定したい場合には、この関数を許容誤り数に対応したものに変更すればよい。
【００８０】
（第８の実施形態）
次に、本発明の第８の実施形態として、第５および第６の実施形態で用いた復号値選択器２１０５，２２０３の具体例について説明する。図２４および図２５は、本実施形態における復号値選択器の選択方法の例を示した図である。
【００８１】
まず、図２４で示す復号値選択方法は、基本符号列および付加符号列の画像の小領域毎の誤り情報を図１６の基本符号列復号器２１０３および付加符号列復号器２１０４、または図１７の符号列復号器２２０２から受け取る。この誤り情報は、図１６の場合は復号状態情報２１３３，２１３４に含まれ、図１７の場合は復号状態情報２２３３に含まれている。
【００８２】
そして、これらの誤り情報と図１６の符号列判定器２１０１または図１７の符号列判定器２２０１の判定結果から、画像の小領域単位に基本符号列の復号値を用いるか、付加符号列の復号値を用いるかを決定する。図２４では、×を付した領域が誤っていることを表す。通常、付加符号列は基本符号列の簡略化されたものであるので、基本符号列で正しく復号できている領域は基本符号列の復号値を選択する。基本符号列が誤っている領域であって、付加符号列が正しく復号できている領域は、付加符号列の復号値を選択する。基本符号列および付加符号列の双方の復号値に誤りが存在する領域は、前フレームをそのまま使うモードにする（Ｎｏｔ Ｃｏｄｅｄ）。
【００８３】
このように小領域単位に基本符号列および付加符号列の復号値を切り替えて利用することにより、一方の復号値のみを利用する場合に比較して、より多くの領域を復号することが可能となる。但し、誤り率が高い通信状態の場合、誤りが発見されずに復号されている領域が存在する可能性がある。その場合は、領域単位に選択せず、完全に復号できたフレーム単位で復号値を利用することができる。
【００８４】
次に、図２５の復号値選択方法について説明する。上述した図２４の復号値選択方法の場合、基本符号列の復号時に発見できなかった誤りは、そのまま誤った復号値として出力されてしまう。これに対して、図２５に示した復号値選択方法では、復号時の誤り情報に併せて、復号情報も利用して復号値の選択を行う。復号情報とは、例えばフレーム内符号化（イントラ）、フレーム間符号化（インター）といった符号化モードを示すモード情報などである。
【００８５】
この復号情報を基本符号列および付加符号列の小領域単位に整合性を調べ、例えばある小領域でモード情報が変化した場合には、その領域に誤りが生じたと判定する。こうすることにより、誤りを見逃す確率を減少することが可能である。また、付加符号列に誤り訂正符号等を利用し、付加符号列の信頼度を高くすることで、モード情報が変化した小領域については付加符号列の情報を選択する方式を用いることが可能である。さらに、付加符号列に例えばイントラモード数を付加することで、モードが誤って他のモードになることによる誤りに対する検出精度を上げることもできる。
【００８６】
（第９の実施形態）
図２６は、本発明の第９の実施形態に係る画像符号化装置の要部の構成を示すブロック図であり、特に符号化器３１０１と簡略化制御器３１０２および符号列簡略化器３１０３について示している。符号列簡略化器３１０３は、図４に示した符号列簡略化器２０４と基本的に同じである。
【００８７】
入力画像信号３１３１は、符号化器３１０１により符号化される。簡略化制御器３１０２は、符号化器３１０１から符号３１３２とは別に出力される符号化情報３１３３を用いて、簡略化方式制御信号３１３４により符号列簡略化器３１０３での簡略化方式を決定する。符号列簡略化器３１０３は、この決定された簡略化方式により符号化器３１０１からの符号列３１３２を簡略化する。
【００８８】
ここで、符号化情報とは、例えば（ａ） 符号化器３１０１が発生する符号量と、（ｂ） 符号化器３１０１で用いる動きベクトルの大きさ、（ｃ） フレーム内符号化領域の数、（ｄ） 予測残差信号の大小を示す情報であり、（ｂ） 〜（ｄ） はいずれもこれらが大きくなるほど誤りが生じた場合の影響が大きくなるので、誤り耐性に関する情報といえる。簡略化制御器３１０２は、この符号化情報、すなわち符号列の符号量に関する情報および該符号列の誤り耐性に関する情報に基づいて、符号列簡略化器３１０３を制御する。
【００８９】
具体的には、例えば符号量に余裕がある場合には、動きベクトルのみでなく、予測残差信号のＤＣＴ係数までを重要情報として選択したり、予測残差信号の大きな領域はＤＣＴ係数を重要情報と選択するようにする。また、予測残差信号のＤＣＴ係数を重要情報として選択する場合は、基本符号列中の予測残差信号と同じ予測残差信号でなく、符号化器３１０１で基本符号列を符号化する際に用いた量子化幅よりも大きな量子化幅で粗く予測残差信号を量子化することで、符号量を削減する等の方式を用いると効果的である。さらに、誤りが生じた場合に大きな影響を及ぼすイントラモードの予測残差信号をインターモードの予測残差信号より、多く選択するなどの処理も可能となる。また、符号量に余裕のない場合、付加符号列を生成し、出力するかどうか自体を切り替えることも可能である。
【００９０】
本実施形態によると、符号化の状況に合わせてフレーム単位などの簡略化により発生符号量を調節したり、大きな誤りを引き起こす原因となる個所だけを強く保護するようにすることが可能である。
【００９１】
以上、本発明による実施形態を説明したが、上記実施形態で示した基本符号列と付加符号列の合成の仕方に限定するものではなく、その他様々な合成の仕方が適用できる。また、本実施形態では動画像符号化を対象に説明したが、特に動画像符号化に特化するものではなく、静止画像符号化にも本発明を同様に適用することができる。さらに、画像符号化だけではなく、音声符号化等の他の符号化に対しても本発明を適用することが可能である。
【００９２】
次に、本発明の応用例として、本発明の画像符号化／復号化装置を適用した動画像伝送システムの実施形態を図２７を用いて説明する。パーソナルコンピュータ（ＰＣ）１１０１に備え付けられたカメラ１１０２より入力された動画像信号は、ＰＣ１１０１に組み込まれた画像符号化装置によって符号化される。この画像符号化装置から出力される符号化データは、他の音声やデータの情報と多重化された後、無線機１１０３により無線で送信され、他の無線機１１０４によって受信される。無線機１１０４で受信された信号は、動画像信号の符号化データおよび音声やデータの情報に分解される。これらのうち、動画像信号の符号化データはワークステーション（ＥＷＳ）１１０５に組み込まれた画像復号化装置によって復号され、ＥＷＳ１１０５のディスプレイに表示される。
【００９３】
一方、ＥＷＳ１１０５に備え付けられたカメラ１１０６より入力された動画像信号は、ＥＷＳ１１０５に組み込まれた画像符号化装置を用いて上記と同様に符号化される。動画像信号の符号化データは、他の音声やデータの情報と多重化され、無線機１１０４により無線で送信され、無線機１１０３によって受信される。無線機１１０３によって受信された信号は、動画像信号の符号化データおよび音声やデータの情報に分割される。これらのうち、動画像信号の符号化データはＰＣ１１０１に組み込まれた画像復号化装置によって復号され、ＰＣ１１０１のディスプレイに表示される。
【００９４】
図２８（ａ）（ｂ）は、図２７におけるＰＣ１００１およびＥＷＳ１００５に組み込まれた画像符号化装置および画像復号化装置の構成を概略的に示すブロック図である。
【００９５】
図２８（ａ）に示す画像符号化装置は、カメラなどの画像入力部１１０１からの画像信号を入力して誤り耐性処理部１１０３を有する情報源符号化部１１０２と、伝送路符号化部１１０４を有し、情報源符号化部１１０１においては予測残差信号の離散コサイン変換（ＤＣＴ）と生成されたＤＣＴ係数の量子化などが行われ、伝送路符号化部１１０４においては可変長符号化や符号化データの誤り検出および誤り訂正符号化などが行われる。伝送路符号化部１１０４から出力される符号化データは無線機１１０５に送られ、送信される。
【００９６】
一方、図２８（ｂ）に示す画像復号化装置は、無線機１２０１によって受信された符号化データを入力して伝送路符号化部１１０４と逆の処理を行う伝送路復号化部１２０２と、伝送路復号化部１２０１の出力信号を入力して情報源符号化部１１０２と逆の処理を行う誤り耐性処理部１２０４を有する情報源復号化部１２０３を有し、情報源復号化部１２０３で復号化された画像はディスプレイなどの画像出力部１０２５によって出力される。
【００９７】
【発明の効果】
以上説明したように、本発明によれば伝送／蓄積の際に生じる誤りにより情報が失われた場合でも早期に回復可能で、復号画像の品質劣化が小さく、しかも従来の誤り対策である周期リフレッシュや誤り訂正のような符号量の大きな増加がなく、符号化効率の高い画像復号化方法及び装置を提供することができる。
【図面の簡単な説明】
【図１】第１の実施形態に係る画像符号化装置の構成を示すブロック図
【図２】第１の実施形態における符号列の構成を示す図
【図３】第１の実施形態に係る画像復号化装置の構成を示すブロック図
【図４】第２の実施形態に係る画像符号化装置の構成を示すブロック図
【図５】第２の実施形態における符号列の配列を示す図
【図６】第２の実施形態における予測残差信号の帯域に関する選択方法の例を示す図
【図７】第２の実施形態に係る画像復号化装置の構成を示すブロック図
【図８】第３の実施形態に係る画像符号化装置の構成を示すブロック図
【図９】第３の実施形態における符号列の構成を示す図
【図１０】第３の実施形態に係る画像復号化装置の構成を示すブロック図
【図１１】第３の実施形態における符号列の他の構成を示す図
【図１２】第３の実施形態における誤り時の復号方法を示す図
【図１３】第３の実施形態における誤り時の復号方法を示す図
【図１４】第３の実施形態における誤り時の復号方法を示す図
【図１５】第４の実施形態に係る符号列簡略化器の構成を示すブロック図
【図１６】第５の実施形態に係る画像復号化装置の構成を示すブロック図
【図１７】第６の実施形態に係る画像復号化装置の構成を示すブロック図
【図１８】第７の実施形態を説明するための符号列の構成例を示す図
【図１９】第７の実施形態を説明するための符号列判定器が誤動作した場合の動作例を示す図
【図２０】第７の実施形態における符号列判定器のアルゴリズムを示すフローチャート
【図２１】第７の実施形態における付加符号列に対応した基本符号列の判定例を示す図
【図２２】第７の実施形態における符号列判定器の誤りを考慮したアルゴリズムを示すフローチャート
【図２３】第７の実施形態における誤りを考慮して判定を行う方式の例を示す図
【図２４】第８の実施形態における復号値選択器の復号値選択方法を示す図
【図２５】第８の実施形態における復号時に発見できなかった誤りを考慮した復号値選択方法の例を示す図
【図２６】第９の実施形態に係る画像符号化装置における簡略化制御部の構成を示すブロック図
【図２７】本発明の応用例に係るシステムの例を示すブロック図
【図２８】図２７のシステムで使用される画像符号化装置および画像復号装置の概略構成を示すブロック図
【図２９】従来の画像符号化装置の構成を示すブロック図
【図３０】従来の画像復号化装置の構成を示すブロック図
【図３１】従来技術における誤りの影響を説明するための図
【符号の説明】
１０１，２０１，３０１，３１０１…符号化器
１０２，２０２，３０２…符号列遅延器
１０３，２０３，３０３…符号列合成器
２０４，３１０３…符号列簡略化器
３０５…同期信号付加器
１３１，２３１，３３１，３１３１…入力画像信号
１３２，２３２，３３２，３１３２…基本符号列
１３３，２３３，３３３，３１３５…付加符号列
１３４，２３４，３３４…符号化信号（合成符号列）
２３５…簡略化符号列
４０６，５０６，６０６…付加符号列分離器
４０７，５０７，５１１，６０７，６１３…切替器
４０８，５０８，６０８…復号器
４０９，５０９，６０９…誤り検出器
５１０…付加符号列補間器
６１２…同期信号判定器
４３６，５３６，６３６…入力符号化信号
４３２，５３２，６３２…基本符号列
４３３，５３３，６３３…付加符号列
４３７，５３７，６３７…復号画像信号
４３８，５３８，６３８，６４１…切替器制御信号
４３９…復号状態信号
４４０…誤り検出信号
１１０１…パーソナルコンピュータ（ＰＣ）
１１０２，１１０６…カメラ
１１０３，１１０４…無線機
１１０５…ワークステーション（ＥＷＳ）
１２０１…領域分割器
１２０２，１３０２…動き補償器
１２０２，１３０２…フレームメモリ
１２０４…差分器
１２０５…離散コサイン変換器
１２０６…量子化器
１２０９…多重化器
１２１０，１３１０…逆量子化器
１２１１，１３１１…逆離散コサイン変換器
１２１２，１３１２…加算器
１２１３，１２１４…可変長符号化器
１３１９…逆多重化器
１３２０，１３２１…可変長復号化器
１２３１…入力画像信号
１２３３…予測信号
１２３４…予測残差信号
２００１…重要情報選択器
２００２…符号列変換器
２０３１…入力符号列
２０３２…重要情報
２０３３…変換後の符号列
２１０１…符号列判定器
２１０２…符号列切替器
２１０３…符号列基本符号列復号器
２１０４…付加符号列復号器
２１０５，２２０３…復号値選択器
２１０６，２２０５…復号値切替器
２１３１，２２３１…入力符号列
２１３２，２２３２…判定結果
２１３３，２１３４，２２３３…復号状態情報
２１３５，２１３６，２２３４，２２３５…復号値
２１３７，２２３６…復号値切替器制御信号
２１３８，２２３７…復号画像信号
２２０３…符号列復号器
３１０２…簡略化制御器
３１３３…符号化情報
３１３４…簡略化方式制御信号
Claims (11)
- 基本符号列と該基本符号列を遅延させた付加符号列を含む入力符号列に対して基本符号列か該基本符号列を遅延させた付加符号列かの判定を行う符号列判定ステップと、
前記基本符号列を復号する基本符号列復号ステップと、
前記付加符号列を復号する付加符号列復号ステップと、
前記符号列判定ステップにより前記入力符号列が基本符号列と判定された場合は該入力符号列を前記基本符号列復号ステップに入力し、前記入力符号列が付加符号列と判定された場合は該入力符号列を前記付加符号列復号ステップに入力する符号列切替ステップと、
前記符号列判定ステップの判定結果と前記基本符号列復号ステップの復号状態および前記付加符号列復号ステップの復号状態に基づき、前記基本符号列復号ステップの復号値および前記付加符号列復号ステップの復号値のいずれかを選択して出力するステップ
とを具備したことを特徴とする画像復号化方法。 - 前記入力符号列は、前記付加符号列として前記基本符号列と同じ符号列が付加されていることを特徴とする請求項１記載の画像復号化方法。
- 前記入力符号列は、前記付加符号列に前記基本符号列に付加されている同期信号と同一または異なる同一同期信号が付加され、該同期信号が付加された付加符号列と前記基本符号列とが合成されていることを特徴とする請求項１記載の画像復号化方法。
- 前記入力符号列は、前記付加符号列を判定するＩＤが配置されていることを特徴とする請求項１記載の画像復号化方法。
- 前記符号列判定ステップは、前記入力符号列のフレームの時間的位置を示す情報によって該入力符号列が基本符号列か付加符号列かの判定を行うことを特徴とする請求項１記載の画像復号化方法。
- 前記復号値選択ステップは、前記基本符号列復号ステップおよび前記付加符号列復号ステップの復号情報および誤り情報および前記符号列判定ステップにより、画像の小領域単位に前記基本符号列復号ステップの復号値および前記付加符号列復号ステップの復号値のいずれかを選択することを特徴とする請求項１記載の画像復号化方法。
- 基本符号列と該基本符号列を遅延させた付加符号列を含む入力符号列に対して基本符号列か該基本符号列を遅延させた付加符号列かの判定を行う符号列判定手段と、
前記基本符号列を復号する基本符号列復号手段と、
前記付加符号列を復号する付加符号列復号手段と、
前記符号列判定手段により前記入力符号列が基本符号列と判定された場合は該入力符号列を前記基本符号列復号手段に入力し、前記入力符号列が付加符号列と判定された場合は該入力符号列を前記付加符号列復号手段に入力する符号列切替手段と、
前記符号列判定手段の判定結果と前記基本符号列復号手段の復号状態および前記付加符号列復号手段の復号状態に基づき、前記基本符号列復号手段の復号値および前記付加符号列復号手段の復号値のいずれかを選択して出力する手段
とを具備したことを特徴とする画像復号化装置。 - 前記符号列判定手段は、前記入力符号列のフレームの時間的位置を示す情報によって該入力符号列が基本符号列か付加符号列かの判定を行うことを特徴とする請求項７記載の画像復号化装置。
- 前記復号値選択手段は、前記基本符号列復号手段および前記付加符号列復号手段の復号情報および誤り情報および前記符号列判定手段により、画像の小領域単位に前記基本符号列復号手段の復号値および前記付加符号列復号手段の復号値のいずれかを選択することを特徴とする請求項７記載の画像復号化装置。
- 前記入力符号列は、前記付加符号列に前記基本符号列に付加されている同期信号と同一または異なる同期信号が付加され、該同期信号が付加された付加符号列と前記基本符号列とが合成されていることを特徴とする請求項７記載の画像復号化装置。
- 前記符号列切替手段は、前記復号手段で前記基本符号列が復号不可能と判定された場合は誤りにより失われた情報のみ前記付加符号列を前記復号手段に入力することを特徴とする請求項７記載の画像復号化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003189068A JP2004032792A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP28090895 | 1995-10-27 | ||
| JP2003189068A JP2004032792A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17040096A Division JPH09182067A (ja) | 1995-10-27 | 1996-06-28 | 画像符号化／復号化装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004032792A true JP2004032792A (ja) | 2004-01-29 |
Family
ID=17631625
Family Applications (11)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17040096A Pending JPH09182067A (ja) | 1995-10-27 | 1996-06-28 | 画像符号化／復号化装置 |
| JP2003189066A Pending JP2004064762A (ja) | 1995-10-27 | 2003-06-30 | 画像符号化方法及び装置 |
| JP2003189064A Pending JP2004056797A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
| JP2003189063A Pending JP2004007751A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
| JP2003189065A Pending JP2004129216A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
| JP2003189068A Pending JP2004032792A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
| JP2003189070A Pending JP2004007753A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
| JP2003189067A Expired - Fee Related JP3762392B2 (ja) | 1995-10-27 | 2003-06-30 | 動画像符号化方法及び装置 |
| JP2003189069A Pending JP2004007752A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
| JP2003189062A Pending JP2004048752A (ja) | 1995-10-27 | 2003-06-30 | 画像符号化方法及び装置 |
| JP2006068363A Abandoned JP2006222980A (ja) | 1995-10-27 | 2006-03-13 | 画像符号化方法と装置及び画像復号化方法と装置 |
Family Applications Before (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17040096A Pending JPH09182067A (ja) | 1995-10-27 | 1996-06-28 | 画像符号化／復号化装置 |
| JP2003189066A Pending JP2004064762A (ja) | 1995-10-27 | 2003-06-30 | 画像符号化方法及び装置 |
| JP2003189064A Pending JP2004056797A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
| JP2003189063A Pending JP2004007751A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
| JP2003189065A Pending JP2004129216A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
Family Applications After (5)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003189070A Pending JP2004007753A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
| JP2003189067A Expired - Fee Related JP3762392B2 (ja) | 1995-10-27 | 2003-06-30 | 動画像符号化方法及び装置 |
| JP2003189069A Pending JP2004007752A (ja) | 1995-10-27 | 2003-06-30 | 画像復号化方法及び装置 |
| JP2003189062A Pending JP2004048752A (ja) | 1995-10-27 | 2003-06-30 | 画像符号化方法及び装置 |
| JP2006068363A Abandoned JP2006222980A (ja) | 1995-10-27 | 2006-03-13 | 画像符号化方法と装置及び画像復号化方法と装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (25) | US5930395A (ja) |
| JP (11) | JPH09182067A (ja) |
Families Citing this family (30)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09182067A (ja) | 1995-10-27 | 1997-07-11 | Toshiba Corp | 画像符号化／復号化装置 |
| WO1998052315A1 (fr) * | 1997-05-16 | 1998-11-19 | Ntt Mobile Communications Network Inc. | Procede de transmission de trame a longueur variable, emetteur et recepteur |
| US6754277B1 (en) * | 1998-10-06 | 2004-06-22 | Texas Instruments Incorporated | Error protection for compressed video |
| JP3606306B2 (ja) * | 1998-10-08 | 2005-01-05 | 沖電気工業株式会社 | 画像符号化装置、画像復号化装置及び画像伝送システム |
| KR100327412B1 (ko) * | 1999-08-02 | 2002-03-13 | 서평원 | 에러 정정을 위한 영상 부호화 및 복호화 방법 |
| US6757654B1 (en) * | 2000-05-11 | 2004-06-29 | Telefonaktiebolaget Lm Ericsson | Forward error correction in speech coding |
| EP1433317B1 (en) * | 2001-07-19 | 2007-05-02 | Thomson Licensing | Fade resistant digital transmission and reception system |
| ATE348484T1 (de) * | 2002-01-22 | 2007-01-15 | Microsoft Corp | Verfahren zur verhinderung von startkode- emulation und stopfdaten |
| JP4448334B2 (ja) * | 2002-04-19 | 2010-04-07 | マイクロソフト コーポレーション | バイト整列されていない（ｎｏｎ−ｂｙｔｅ−ａｌｉｇｎｅｄｐｏｓｉｔｉｏｎｓ）のポジション、および／またはビット・シフトされたポジション（ｂｉｔ−ｓｉｆｔｅｄｐｏｓｉｔｉｏｎｓ）を含む位置におけるスタート・コード・エミュレーションを防ぐための方法およびシステム |
| EP1654705A1 (en) * | 2003-08-07 | 2006-05-10 | Koninklijke Philips Electronics N.V. | Image object processing |
| US8290063B2 (en) * | 2003-09-04 | 2012-10-16 | Nec Corporation | Moving image data conversion method, device, and program |
| JP2005123856A (ja) * | 2003-10-16 | 2005-05-12 | Ricoh Co Ltd | 画像処理システム、画像処理方法、プログラム及び情報記録媒体 |
| US7246298B2 (en) * | 2003-11-24 | 2007-07-17 | Via Technologies, Inc. | Unified viterbi/turbo decoder for mobile communication systems |
| CN100593352C (zh) | 2004-05-06 | 2010-03-03 | 日本电气株式会社 | 无线通信系统、无线通信方法以及无线通信装置 |
| US20060106929A1 (en) * | 2004-10-15 | 2006-05-18 | Kenoyer Michael L | Network conference communications |
| US7545435B2 (en) * | 2004-10-15 | 2009-06-09 | Lifesize Communications, Inc. | Automatic backlight compensation and exposure control |
| US8149739B2 (en) * | 2004-10-15 | 2012-04-03 | Lifesize Communications, Inc. | Background call validation |
| US7650031B2 (en) * | 2004-11-23 | 2010-01-19 | Microsoft Corporation | Method and system for detecting black frames in a sequence of frames |
| US7929776B2 (en) * | 2005-03-10 | 2011-04-19 | Qualcomm, Incorporated | Method and apparatus for error recovery using intra-slice resynchronization points |
| EP1732331A1 (en) * | 2005-06-08 | 2006-12-13 | BRITISH TELECOMMUNICATIONS public limited company | Video coding |
| US8621896B2 (en) | 2005-11-30 | 2014-01-07 | Lg Electronics Inc. | Washing machine |
| CN101227601B (zh) * | 2007-01-15 | 2011-09-14 | 飞思卡尔半导体公司 | 在视频再现中进行几何变换的方法和设备 |
| JP2008187530A (ja) * | 2007-01-30 | 2008-08-14 | Yazaki Corp | 通信システム、並びに、受信器及び送信器 |
| BRPI0815735A2 (pt) * | 2007-08-28 | 2019-09-24 | Thomson Licensing | difusão alternada sem retardo durante a troca entre canais. |
| US9661267B2 (en) * | 2007-09-20 | 2017-05-23 | Lifesize, Inc. | Videoconferencing system discovery |
| JP2009111932A (ja) * | 2007-10-31 | 2009-05-21 | Panasonic Corp | 動画像復号化装置 |
| US8305421B2 (en) * | 2009-06-29 | 2012-11-06 | Lifesize Communications, Inc. | Automatic determination of a configuration for a conference |
| TW201215157A (en) * | 2010-07-15 | 2012-04-01 | Panasonic Corp | Image decoding method, image encoding method, image decoding device, image encoding device, program, and integrated circuit |
| US9318115B2 (en) | 2010-11-26 | 2016-04-19 | Nokia Technologies Oy | Efficient coding of binary strings for low bit rate entropy audio coding |
| US10271069B2 (en) | 2016-08-31 | 2019-04-23 | Microsoft Technology Licensing, Llc | Selective use of start code emulation prevention |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4581741A (en) * | 1983-12-07 | 1986-04-08 | Rockwell International Corporation | Error detection apparatus for data dependent coding circuitry |
| US5596421A (en) * | 1993-06-03 | 1997-01-21 | Matsushita Electric Industrial Co., Ltd. | Optical disk recorder for video signals and an optical disk for use therein |
| JP3428697B2 (ja) | 1993-09-07 | 2003-07-22 | キヤノン株式会社 | 画像復号化方法 |
| JPH09182067A (ja) * | 1995-10-27 | 1997-07-11 | Toshiba Corp | 画像符号化／復号化装置 |
-
1996
- 1996-06-28 JP JP17040096A patent/JPH09182067A/ja active Pending
- 1996-10-25 US US08/738,171 patent/US5930395A/en not_active Expired - Lifetime
-
1999
- 1999-05-07 US US09/306,983 patent/US6035069A/en not_active Expired - Fee Related
- 1999-12-23 US US09/471,415 patent/US6408098B2/en not_active Expired - Lifetime
- 1999-12-23 US US09/471,416 patent/US6353681B2/en not_active Expired - Lifetime
- 1999-12-23 US US09/471,414 patent/US6334000B2/en not_active Expired - Lifetime
-
2002
- 2002-01-29 US US10/057,915 patent/US6621931B2/en not_active Expired - Lifetime
- 2002-01-29 US US10/057,942 patent/US6701018B2/en not_active Ceased
- 2002-03-19 US US10/100,005 patent/US6643404B2/en not_active Expired - Fee Related
- 2002-03-19 US US10/100,004 patent/US6643403B2/en not_active Expired - Fee Related
-
2003
- 2003-06-30 JP JP2003189066A patent/JP2004064762A/ja active Pending
- 2003-06-30 JP JP2003189064A patent/JP2004056797A/ja active Pending
- 2003-06-30 JP JP2003189063A patent/JP2004007751A/ja active Pending
- 2003-06-30 JP JP2003189065A patent/JP2004129216A/ja active Pending
- 2003-06-30 JP JP2003189068A patent/JP2004032792A/ja active Pending
- 2003-06-30 JP JP2003189070A patent/JP2004007753A/ja active Pending
- 2003-06-30 JP JP2003189067A patent/JP3762392B2/ja not_active Expired - Fee Related
- 2003-06-30 JP JP2003189069A patent/JP2004007752A/ja active Pending
- 2003-06-30 JP JP2003189062A patent/JP2004048752A/ja active Pending
-
2006
- 2006-03-13 JP JP2006068363A patent/JP2006222980A/ja not_active Abandoned
-
2008
- 2008-09-18 US US12/232,510 patent/USRE42591E1/en not_active Expired - Lifetime
- 2008-09-18 US US12/232,508 patent/USRE42500E1/en not_active Expired - Lifetime
-
2009
- 2009-12-07 US US12/591,980 patent/USRE42518E1/en not_active Expired - Lifetime
- 2009-12-07 US US12/591,981 patent/USRE42501E1/en not_active Expired - Lifetime
-
2010
- 2010-04-19 US US12/762,864 patent/USRE42505E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,935 patent/USRE42474E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,795 patent/USRE42503E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,972 patent/USRE42520E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,793 patent/USRE42455E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,756 patent/USRE42571E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,983 patent/USRE42456E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,745 patent/USRE42519E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,998 patent/USRE42621E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,722 patent/USRE42502E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,686 patent/USRE42454E1/en not_active Expired - Lifetime
- 2010-04-19 US US12/762,834 patent/USRE42504E1/en not_active Expired - Lifetime
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3762392B2 (ja) | 動画像符号化方法及び装置 | |
| KR100564896B1 (ko) | 화상부호화방법 및 장치와 기록매체 | |
| JP2007151163A (ja) | 画像復号化方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050614 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050815 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060110 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060313 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060511 |
|
| A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20060602 |