JP2001078198A

JP2001078198A - エラー隠蔽制御方法及び符号化装置及び画像信号伝送システム

Info

Publication number: JP2001078198A
Application number: JP25296399A
Authority: JP
Inventors: Makiko Konoshima; 真喜子此島
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1999-09-07
Filing date: 1999-09-07
Publication date: 2001-03-23
Anticipated expiration: 2019-09-07
Also published as: JP4794711B2

Abstract

(57)【要約】【課題】エラー隠蔽制御方法及び符号化装置及び画像
信号伝送システムに関し、受信側の復号再生画像の画質
劣化を回避する。【解決手段】受信側の復号化装置は、エラー発生部分
を隠蔽するエラー隠蔽制御を行うエラー制御部２４と、
エラー情報を送信するエラー情報送信部２６とを含み、
送信側の符号化装置は、符号化部１による符号化情報と
第１の送信側予測部４による予測情報とを記憶するメモ
リ７と、エラー情報受信部６で受信したエラー情報を基
にエラー発生部分が現時点の予測符号化に大きな影響を
及ぼすか否かを判定し、影響を及ぼす時に、第２の送信
側予測部９を制御してエラー発生時点のエラー隠蔽制御
を行った再生画像を再構成し、メモリ７に記憶された予
測情報を用いて現時点の再生画像を再構成するエラー修
正部８を含む構成を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、静止画像や動画像
等の入力画像信号を予測符号化して伝送し、受信側に於
いて予測復号化し、且つエラー発生時にエラー発生部分
を隠蔽制御すると共に、再生画像の画質劣化を防止する
エラー隠蔽制御方法及び符号化装置及び画像信号伝送シ
ステムに関する。

【０００２】

【従来の技術】図１０は従来例の説明図であり、５１は
符号化部、５２は送信部、５３は送信側復号部、５４は
送信側予測部、５５，５６は加算器、５７は伝送路、６
１は受信側復号部、６２は受信部、６３は受信側予測
部、６４はエラー制御部、６５は加算器を示す。

【０００３】送信側の符号化装置の要部と、伝送路５７
と、受信側の復号化装置の要部とを含む画像信号伝送シ
ステムを示し、静止画像や動画像等の入力画像信号と、
送信側予測部５４からの予測値との差分を加算器５５に
より求めて符号化部５１に入力する。この符号化部５１
は、離散コサイン変換（ＤＣＴ），フレーム間符号化，
フレーム内符号化，量子化，可変長符号化等の機能を含
み、符号化情報を送信部５２と送信側復号部５３とに入
力する。送信側復号部５３による復号情報と送信側予測
部５４からの予測値とを加算器５６により加算して、送
信側の再生画像とし、次の予測値として送信側予測部５
４に保持する。

【０００４】又送信側予測部５４は、入力画像信号を用
いた動き補償や、フレーム内符号化を行ったか否か等の
予測情報を送信部５２に入力す。この送信部５２は、符
号化部５１からの符号化情報と送信側予測部５４からの
予測情報とを多重化して伝送路５７に送出する。更には
図示を省略している音声情報やデータ等を多重化する構
成とすることもできる。又伝送路５７が有線回線か無線
回線等に対応した送信機能，誤り訂正符号化機能，バッ
ファ機能等を含む構成とすることができる。

【０００５】受信側の復号化装置は、受信部６２により
符号化情報と予測情報とを多重分離し、符号化情報を受
信側復号部６１に入力し、予測情報を受信側予測部６３
に入力する。又受信側復号部６１は、符号化情報を復号
し、加算器６５と受信側予測部６３とに入力し、受信側
予測部６３は、前回の復号再生画像信号を保持して予測
値とし、復号情報と予測情報に従って形成した予測値を
加算器６５に入力し、加算出力を復号画像信号として出
力する。

【０００６】伝送路５７に接続された受信部６２は、送
信部５２に対応した構成を有し、伝送エラーの検出機能
を含むものである。又受信側復号部６１は、可変長符号
等に規定外の符号パターン等が含まれている場合に復号
エラーを検出するものであり、受信部５２に於けるエラ
ー検出時、又は受信側復号部６１に於けるエラー検出時
の復号画像は画質が劣化したものとなるから、これを隠
蔽（コンシールメント；ｃｏｎｃｅａｌｍｅｎｔ）する
為に、図１０は、エラー制御部６４を設けた場合を示
す。このエラー制御部６４は、受信部６２からの伝送エ
ラー検出信号や受信側復号部６１からの復号エラー検出
信号等によって、そのエラーを含むブロック単位等の復
号画像信号を、エラーを含まない画像信号によって隠蔽
する制御を行うものである。

【０００７】図１１は従来例のエラー発生時の動作説明
図であり、エラー有りか否かを判定し（Ｈ１）、エラー
有りの場合、即ち、受信部６２に於ける伝送エラー等の
エラー検出又は受信側復号部６１に於ける復号エラー等
のエラー検出により、１フレーム内のエラー位置Ｅと、
復号済みの予測値Ｖとを求める（Ｈ２）。エラー制御部
６４は、受信側予測部６３にエラー位置Ｅの１ブロック
ライン前の予測情報Ｖを用いて予測値を出力するように
指示する（Ｈ３）。

【０００８】次に、エラー制御部６４は、受信側復号部
６１に０を出力するように指示する（Ｈ４）。そして、
受信側復号部６１と受信側予測部６３との出力を加算器
６５に於いて加算し（Ｈ５）、復号画像を出力する（Ｈ
６）。又ステップ（Ｈ１）に於いて、エラー無しの判定
の場合は、ステップ（Ｈ５），（Ｈ６）により復号画像
が得られる。この場合、１画面を複数のブロックに分割
して、ブロック対応の符号化や伝送を行うものであり、
エラー位置Ｅを含むブロックの１ブロックライン前の予
測情報Ｖを用いて予測値を求め、受信側復号部６１から
は０を出力するから、エラー位置Ｅを含むブロックは、
１ブロックライン前の予測情報Ｖを用いて予測値とした
復号画像が出力されることになり、エラーを含むブロッ
クを隠蔽（コンシールメント）することができる。この
ような制御をエラー制御部６４に於いて行うものであ
る。

【０００９】前述の図１０に示す従来例の構成は、例え
ば、ＩＴＵ−ＴＨ．２６３や、ＩＳＯ／ＭＰＥＧ４等
の方式として知られている。又図１１に示すエラー隠蔽
は、例えば、ＩＴＵ−ＴＳＧ１６ＶｉｄｅｏＣｏ
ｄｅｃＴｅｓｔＭｏｄｅｌ，Ｎｅａｒ−Ｔｅｒｍ，
Ｖｅｒｓｉｏｎ９（ＴＭＮ９）に示されている。

【００１０】又画像信号を受信して復号する場合のエラ
ー隠蔽手段として、データの再送方式と同様にエラー発
生のフレーム等を再送する各種の方式が提案されてい
る。例えば、エラーが多い場合或いは重要ブロックとそ
の隣接ブロックのエラーの場合等に於いて、送信側に再
送要求を行い、フレーム単位或いはブロック単位で再送
を行う方式が知られている。

【００１１】

【発明が解決しようとする課題】伝送エラーや復号エラ
ーが発生した時に、例えば、図１０及び図１１について
説明した従来例では、エラー発生部分を復号画像としな
いことにより、エラーの隠蔽（コンシールメント）を行
うものであるが、その後の受信側予測部６３による予測
値と、送信側予測部５４による予測値とは異なったもの
となる。従って、エラーの隠蔽を行った後の受信側の復
号画像は、送信側と異なる予測値を用いていることによ
り画質劣化が生じる問題がある。

【００１２】そこで、エラー情報を送信側に送信し、受
信側に於けるエラー隠蔽と同様な処理を送信側に於いて
も行うようにすることが考えられる。しかし、送信側と
受信側との間の伝送路５７等を含む伝送遅延時間の為、
送信側に於ける符号化と、受信側に於ける復号化とは異
なる画像について処理していることになり、送信側で
は、エラー情報を受信しても、エラー発生時点の符号化
情報は、送信側では過去のものであるから、受信側と同
様なエラー隠蔽処理を行うことができないものである。
即ち、受信側予測部６３による予測値と送信側予測部５
４による予測値とを一致させることができないものであ
る。

【００１３】又エラーを含む画像部分を再送することが
提案されているが、データの再送処理と同様に静止画像
についてはエラー発生により再送処理し、受信側で復号
することができる。しかし、動画像の場合は、過去の画
像から符号化して送信することになり、実際には適用す
ることができない。又静止画像の場合であっても、送信
側と受信側との間の伝送路５７が比較的低速の無線回線
の場合、再送処理により伝送効率が著しく低下する問題
がある。又動画像を低速で伝送する場合、再送処理によ
り駒落とし等が生じることにより、再生画像の画質が一
層劣化する問題がある。本発明は、エラーが発生した場
合でも、送信側と受信側との予測値を一致若しくは近似
させて復号画像の画質劣化を防止することを目的とす
る。

【００１４】

【課題を解決するための手段】本発明のエラー隠蔽制御
方法は、（１）送信側は入力画像信号を予測符号化して
送信し、受信側は予測復号化して再生画像信号を得ると
共に、エラー検出時にこのエラー発生部分を隠蔽する制
御を行うエラー隠蔽制御方法であって、受信側は、エラ
ー発生部分を示すエラー情報を送信し、送信側は、エラ
ー情報を受信して、エラー発生部分が現時点の予測符号
化の予測値に及ぼす影響について判定し、影響が小さい
場合は、エラー修正処理を中止し、影響が大きい場合
は、エラー発生部分を隠蔽するエラー隠蔽制御による再
生画像を再構成して、現時点の予測値を求め、以後の予
測符号化を行う過程を含むものである。

【００１５】又（２）エラー隠蔽制御方法に於いて、送
信側は、エラー情報を基に、エラー発生部分の現時点に
於ける符号化フレームに対する移動先を求め、この移動
先が分散又は消滅しているか否かを判定し、分散又は消
滅している場合は、エラー修正処理を中止し、分散又は
消滅していない場合は、エラー発生部分を隠蔽するエラ
ー隠蔽制御による再生画像を再構成して、現時点の予測
値を求め、以後の予測符号化を行う過程を含むものであ
る。

【００１６】又（３）エラー隠蔽制御方法に於いて、送
信側は、エラー情報を基に、エラー発生部分を隠蔽する
エラー隠蔽制御による再生画像と、エラー隠蔽制御を行
わない再生画像とを求めて比較し、差が所定値より小さ
い場合は、エラー修正処理を中止し、差が所定値より大
きい場合は、エラー隠蔽制御による再生画像を基に現時
点の予測符号化の予測値を求め、この予測値により以後
の予測符号化を行う過程を含むものである。

【００１７】又（４）エラー隠蔽制御方法に於いて、送
信側は、エラー情報を基に、エラー発生部分を隠蔽する
エラー隠蔽制御による再生画像と、エラー隠蔽制御を行
わない再生画像との画素値の絶対値差分を求め、この絶
対値差分が閾値を超えない場合は、エラー修正処理を中
止し、閾値を超えた場合は、エラー隠蔽制御による再生
画像を基に現時点の予測符号化の予測値を求め、この予
測値により以後の予測符号化を行う過程を含むものであ
る。

【００１８】又（５）本発明の符号化装置は、符号化部
と、第１の送信側復号部と、送信側予測部とを含み、入
力画像信号を予測符号化する符号化装置であって、受信
側からのエラー情報を受信するエラー情報受信部と、こ
のエラー情報受信部で受信したエラー情報を入力するエ
ラー修正部と、送信側と受信側との間の一巡伝送遅延時
間分の前記第１の送信側復号部からの予測情報を記憶す
ると共に、符号化部からの少なくとも１符号化フレーム
分の符号化情報を記憶するメモリと、エラー情報に従っ
て受信側の復号再生画像と一致した再生画像を得る為の
第２の送信側予測部とを備え、エラー修正部は、エラー
情報を基にエラー発生部分が現時点の予測符号化の予測
値に影響を及ぼすか否かを、メモリに記憶されている符
号化情報及び予測情報を基に判定処理し、影響が大きい
場合にエラー発生部分を隠蔽するエラー隠蔽制御による
再生画像を、第２の送信側予測部により再構成する制御
を行う構成を有するものである。

【００１９】又（６）符号化装置のエラー修正部は、エ
ラー情報とメモリに記憶された符号化情報と予測情報と
を基に、第２の送信側予測部を用いてエラー発生時点の
復号画像及びエラー発生時点の１フレーム前の復号画像
とを遡って再生し、エラー発生部分を隠蔽するエラー隠
蔽制御による再生画像と、エラー隠蔽制御を行わない再
生画像とを比較し、差が大きい場合は、エラー隠蔽制御
による再生画像を基に現時点の再生画像を再構成し、差
が小さい場合は再構成を行わない制御を行う構成を有す
るものである。

【００２０】又（７）符号化装置のエラー修正部は、エ
ラー情報とメモリに記憶された符号化情報と予測情報と
を基に、エラー発生時点から現時点までのエラー発生部
分の移動先を求め、このエラー発生部分の位置の分散を
求め、この分散が小さい場合、エラー発生時点の復号画
像及びエラー発生時点の１フレーム前の復号画像を遡っ
て再生し、エラー発生部分を隠蔽するエラー隠蔽制御に
よる再生画像の再構成を行い、分散が大きい場合又は消
滅した場合は、前記再構成を行わない制御を行う構成を
有するものである。

【００２１】又（８）本発明の画像信号伝送システム
は、入力画像信号を予測符号化する符号化装置を有する
送信側と、この送信部からの符号化情報を受信して予測
復号化する復号化装置を有する受信側とを伝送路を介し
て接続した画像信号伝送システムであって、受信側の復
号化装置は、伝送路に接続された受信部と、予測復号化
を行う受信側復号部と、受信側予測部と、受信部及び受
信側復号部に於けるエラー検出によりエラー発生部分を
隠蔽して復号再生画像の出力制御を行うエラー制御部
と、エラー発生部分を示すエラー情報を送信側に送信す
るエラー情報送信部とを有し、送信側の符号化装置は、
伝送路に接続された送信部と、予測符号化を行う符号化
部と、送信側復号部と、第１，第２の送信側予測部と、
受信部からのエラー情報を受信するエラー情報受信部
と、このエラー情報受信部で受信したエラー情報を入力
するエラー修正部と、送信側と受信側との間の一巡伝送
遅延時間分の第１の送信側復号部からの予測情報を記憶
すると共に、符号化部からの少なくとも１符号化フレー
ム分の符号化情報を記憶するメモリとを有し、エラー修
正部は、エラー情報を基にエラー発生部分が現時点の予
測符号化の予測値に影響を及ぼすか否かを、メモリに記
憶されている符号化情報及び予測情報を基に判定処理
し、影響が大きい場合にエラー発生部分を隠蔽するエラ
ー隠蔽制御による再生画像を前記第２の送信側予測部に
より再構成する制御を行う構成を有するものである。

【００２２】

【発明の実施の形態】図１は本発明の実施の形態の説明
図であり、１は符号化部、２は送信部、３は送信側復号
部、４は第１の送信側予測部、５，１３は加算部、６は
エラー情報受信部、７はメモリ、８はエラー修正部、９
は第２の送信側予測部、１０，１１，１２はセレクタ、
１５は下り伝送路、１６は上り伝送路、２１は受信側復
号部、２２は受信部、２３は受信側予測部、２４はエラ
ー制御部、２５は加算部、２６はエラー情報送信部であ
り、画像信号伝送システムの送信側の符号化装置と、伝
送路と、受信側の復号化装置との要部を示す。

【００２３】受信側の復号化装置は、受信部２２と受信
側復号部２１と受信側予測部２３とエラー制御部２４と
加算部２５とエラー情報送信部２６とを含む構成で、加
算部２５からの復号画像信号を図示を省略した液晶パネ
ルやブラウン管等による表示部に入力して、再生画像を
表示することができる。又復号再生画像として受信側予
測部２３に入力する。又受信部２２は、送信部２の構成
に対応した構成を有し、下り伝送路１５を介して受信し
た符号化情報と予測情報とを分離して、符号化情報を受
信側復号部２１に入力し、予測情報を受信側予測部２３
に入力する。なお、下り伝送路１５と上り伝送路１６と
は、既に知られている各種の構成を適用することができ
る。

【００２４】受信側復号部２１は、予測符号化された符
号化情報を復号し、加算部２５と受信側予測部２３とに
入力する。加算部２５は、受信側復号部２１からの復号
情報と受信側予測部２３からの予測値とを加算して、復
号再生画像信号として出力する。そして、例えば、前述
の表示部に入力する。又この復号再生画像信号を受信側
予測部２３に入力して、次の予測値とする。

【００２５】又受信部２２と受信側復号部２１とに於い
てエラーを検出した時、エラー制御部２４に通知し、エ
ラー制御部２４は、従来例と同様にエラー発生部分を隠
蔽する処理を行うものであり、又エラー発生部分を示す
エラー情報をエラー情報送信部２６から上り伝送路１６
を介して送信側に送信する。このエラー情報に、例え
ば、現時点の復号処理しているフレーム番号とエラー発
生ブロック番号等のエラー発生の位置を示す情報を含ま
せることができる。又エラー情報送信部２６は上り伝送
路１６が有線回線又は無線回線等に対応した送信部の構
成を有するものである。

【００２６】送信側の符号化装置は、符号化部１と送信
部２と送信側予測部３と第１，第２の送信側予測部４，
９と加算部５，１３とエラー情報受信部６とメモリ７と
エラー修正部８とセレクタ１０，１１，１２とを含み、
図示を省略したＣＣＤカメラ等の撮像部からのディジタ
ル信号に変換された入力画像信号を加算部５と第１の送
信側予測部４とに入力する。

【００２７】又セレクタ１０，１１，１２は、通常は実
線矢印で示す経路の接続を行い、エラー修正処理等の場
合に点線矢印で示す経路の接続を行うものであり、エラ
ー修正部８又は図示を省略した制御部から制御される。
又加算部５は、入力画像信号とセレクタ１０を介した第
１の送信側予測部４又は第２の送信側予測部９からの予
測値との差分を求めて符号化部１に入力する。この符号
化部１は、離散コサイン変換，フレーム間符号化，フレ
ーム内符号化，量子化，可変長符号化等による符号化情
報を、送信部２とメモリ７とセレクタ１２の実線矢印の
経路を介して送信側復号部３とに入力する。

【００２８】又送信側復号部３は、セレクタ１２を介し
た符号化情報又はエラー修正部８からの符号化情報を復
号し、加算部１３に復号結果を入力する。加算部１３
は、送信側復号部３からの復号情報と、セレクタ１０を
介した第１の送信側予測部４又は第２の送信側予測部９
からの予測値とを加算して、セレクタ１１とエラー修正
部８とに入力する。

【００２９】セレクタ１１が実線矢印の経路の接続の場
合、加算部１３からの予測値は第１の送信側予測部４
に、又点線矢印の経路の接続の場合、加算部１３からの
予測値は第２の送信側予測部９に入力することになる。
又第１の送信側予測部４からの予測情報を、メモリ７と
送信部２とに入力する。

【００３０】又送信部２は、符号化情報と第１の送信側
予測部４からの予測情報とを含む信号を多重化する多重
化機能と、下り伝送路１５が有線回線か無線回線かに対
応した送信符号化機能，誤り訂正符号化機能，変調送信
機能等を含むものである。又符号化情報について、フレ
ーム番号等の時間情報を付加して伝送する機能を符号化
部１又は送信部２に設けることができる。このような時
間情報は、送信側と受信側との間の一巡の伝送遅延時間
が固定であれば、省略することもできる。

【００３１】又メモリ７は、符号化部１からの符号化情
報及び第１の送信側予測部４からの予測情報とを、送信
側と受信側との下り伝送路１５と上り伝送路１６とを含
む一巡の伝送遅延時間分と、少なくとも１符号フレーム
分とについて保持する。このような伝送遅延時間は、予
め推定することが可能であり、又受信側の構成等に従っ
て変動する場合は、最大遅延時間或いは許容遅延時間と
することができる。なお、メモリ７の記憶容量に余裕が
あれば、現時点からエラー発生時点まで以上の期間の符
号化情報及び予測情報を記憶しておくことも可能であ
る。又エラー修正部８は、エラー修正処理時、このメモ
リ７をアクセスして、符号化情報及び予測情報を読取る
ものである。

【００３２】又エラー情報受信部６は、エラー情報送信
部２６の構成に対応した構成を有し、又エラー修正部８
は、エラー情報受信部６により受信側からのエラー情報
を受信した時、送信側と受信側との間の一巡の伝送遅延
時間が固定の場合、現時点の符号化フレームとエラー発
生時点の符号化フレームとの時間差が、一巡の伝送遅延
時間に相当するから、エラー発生部分を識別することが
できる。又エラー情報にエラー発生位置を、フレーム番
号とブロック番号とにより通知する場合は、このエラー
情報によってエラー発生部分を認識できる。或いは、符
号化情報の伝送形式として、復号タイミング情報等を付
加して伝送する場合、エラー制御部２４によりエラー発
生時点のタイミング情報を抽出して、エラー情報に付加
することができるから、このエラー情報に含まれるタイ
ミング情報によってエラー発生部分を識別することがで
きる。

【００３３】このエラー発生部分が現時点の予測符号化
の予測値に影響を及ぼすか否かを判定する。影響を及ぼ
さない程度のエラーであれば、エラー修正処理を中止
し、影響を及ぼす場合は、エラー発生部分を隠蔽するエ
ラー掩蔽制御による再生画像を再構成し、現時点の予測
値を求めて、それ以後の予測符号化を継続する。

【００３４】例えば、エラー修正部８は、メモリ７から
エラー発生時点に対応した符号化情報及び予測情報を読
出して、エラー発生時点から符号化の現時点までに、エ
ラー発生部分の移動先を算出し、移動先の分散が大きい
場合又は消滅した場合は、エラー発生部分が現時点の予
測符号化に影響を及ぼさないことになるから、エラー修
正処理は中止する。

【００３５】又エラー発生部分の移動先が分散しない場
合は、再生画像にエラーが含まれるて画質が劣化する場
合であるから、受信側のエラー隠蔽制御による再生画像
と同様な再生画像を再構成し、且つエラー発生時点から
現時点までの予測情報を基にし、現時点の再生画像を再
構成する。それにより、エラー発生部分の現時点以降の
予測値について、送信側と受信側との相違を吸収し、受
信側の復号再生画像の画質劣化を防止することができ
る。又符号化装置と復号化装置との各部の機能は、プロ
セッサの演算処理機能等によって実現することも可能で
ある。

【００３６】図２はエラー修正部の動作フローチャート
を示し、受信側からのエラー情報をエラー情報受信部６
が受信することにより、エラー情報に付加されたフレー
ム番号或いは固定遅延時間の場合の時間差による現時点
のフレーム番号とエラー発生時点のフレーム番号とを求
めることができるもので、エラー発生時点でのフレーム
番号を１、符号化部１に於ける現時点でのフレーム番号
をｗ、エラー発生ブロックＢの各々の画素の位置をＢ１
ｐｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）とし、予測情報（動き補
償ベクトル）をＶｋ（Ｘｋ，Ｙｋ）とし（Ａ１）、フレ
ーム番号１〜ｗについて、メモリ７に保持されている予
測情報（動き補償ベクトル）を読出して、エラー発生ブ
ロックＢの各々の画素の位置Ｂｐｉｊがどの位置に移動
したかを、時間経過の逆方向に順次計算して求める（Ａ
２）。

【００３７】そして、現時点での画素の位置ＢＰｐｉｊ
（Ｘｐｉｊ，Ｙｐｉｊ）を求める（Ａ３）。この場合の
画素の位置ＢＰは複数ブロックに跨がる可能性があり、
跨がった場合は、対応するブロックの位置での動き補償
ベクトルを用いる。そして、現時点での画素の位置ＢＰ
ｐｉｊがそれぞれ他のブロックに分散している割合が多
いか否か、又は消滅している割合が多いか否かを判定す
る（Ａ４）。

【００３８】例えば、エラー発生ブロックの各々の画素
が順次分散して、現時点ではエラーが目立たない場合、
又はエラー発生時点直後にフレーム内符号化を行った場
合、又は次フレームで前景等の為にエラー発生ブロック
が隠されて消滅している場合等の画素の分散又は消滅の
割合が多い場合は、そのエラー発生部分が現時点の符号
化フレームを復号化した時に、復号再生画像に影響して
いなと見做すことができる。そこで、エラー修正部８は
再構成を行わない（Ａ５）として、エラー修正処理を終
了する。

【００３９】又前述の分散又は消滅の割合が少ない場
合、現時点の符号化したフレームを受信側で復号再生し
た時に、エラー部分が目立つことを示す。即ち、受信側
に於けるエラー隠蔽制御による修正された予測値と、送
信側の予測値との差が大きい場合に相当し、受信側の復
号再生画像の画質が劣化することを示すから、エラー修
正部８は、再構成を行うものである。

【００４０】この再構成の処理を図３を参照して説明す
る。前述のステップ（Ａ１）と同様に、エラー発生時点
でのフレーム番号を１とし、現時点でのフレーム番号を
ｗとし、更に、復号再生した画像をＲｋ（現時点で保持
している再生画像Ｒｗ−１）とし、符号化情報をＣｋと
し、これを復号した復号情報をＣｋ^-1とし、予測値生成
の操作をＶｋとし、この予測値生成の操作の逆の操作を
Ｖｋ^-1とし、予測値をＵｋとする。なお、ｋ＝１〜ｗを
示す（Ｂ１）。

【００４１】そして、符号化情報Ｃｋ，再生画像Ｒｋ，
予測値生成の逆操作Ｖｋ^-1を用いて、予測値Ｕｋを求
め、時間軸方向の逆方向に復号処理を行う。即ち、現時
点からエラー発生時点に遡る復号処理を行う。そして、
エラー発生フレームの１符号化フレーム前の再生画像Ｒ
０を求め、コンシールメントを行った画像Ｒ１’を再構
成して出力する（Ｂ２）。即ち、第１の送信側予測部４
に保持している予測処理用の再生画像Ｒｗ−１（予測
値）から、メモリ７に保持されている１符号化フレーム
前の符号化情報Ｃを送信側復号部３により復号して減算
する。この減算結果は、１符号化フレーム前の第１の送
信側予測部４に於ける予測値Ｕである。

【００４２】この時、第２の送信側予測部９に予測値を
入力するように、エラー修正部８からの制御によりセレ
クタ１０，１１を点線矢印の経路の接続に切替える。又
エラー修正部８は、第２の送信側予測部９に対して、メ
モリ７に保持されている１符号化フレーム前の予測情報
を用いて、動き補償ベクトルについては予測値Ｕに対し
て逆方向に予測する。即ち、過去から現時点に向かう時
間経過に従った動き補償ベクトルの方向を逆にして、現
時点から受信側のエラー発生時点の過去に遡って予測値
生成の処理を行う。それにより、エラー発生時点のフレ
ームの１フレーム前の画像Ｒ０を求めて、これとエラー
発生の位置とを基に、コンシールメントを行った画像Ｒ
１’を、送信側に於いて再構成する。即ち、エラー発生
時点に於ける受信側の予測値と同一若しくは近似した予
測値を送信側に生成することができる。

【００４３】次に、受信側と同様な再生画像Ｒｗ−１を
得る処理を、図４を参照して説明する。先ず、エラー発
生時点でのフレーム番号を１、現時点でのフレーム番号
をｗ、受信側と同じくなるように再構成した画像をＲ
ｋ’、符号化情報をＣｋ、復号情報をＣｋ^-1、予測値生
成の操作をＶｋとし（但し、ｋ＝１〜ｗ−１）（Ｃ
１）、１フレーム目からｗ−１フレーム目まで、１フレ
ーム目の再生画像Ｒ１’を初期値として、復号情報Ｃｋ
^-1，予測値生成の操作Ｖｋを用いることにより、順次再
生画像Ｒｋ’を得て（Ｃ２）、受信側と同様な内容の再
構成したｗ−１フレーム目の再生画像Ｒｗ−１’を得る
（Ｃ３）。

【００４４】即ち、エラー修正部８は、エラー発生時点
でのコンシールメントを行った画像Ｒ１’（１フレーム
目の再構成した画像）を、第２の送信側予測部９に保持
させて、セレクタ１２を点線矢印の経路に切替え、メモ
リ７に記憶されている予測情報を基に現時点までの再生
画像を構成し、この現時点の再生画像を第１の送信側予
測部４に転送し、セレクタ１０，１１，１２を実線矢印
の経路に切替えることにより、以後の予測符号化を行う
もので、前述の処理を高速で行うことにより、受信側の
再生画像と同様となる再生画像を再構成することができ
る。

【００４５】従って、送信側は、この再生画像を予測値
として符号化処理を行うことにより、予測値について受
信側に於ける条件と同一となるから、受信側では、符号
化情報を受信して復号再生した画像は、その後にエラー
がなければ、画質劣化は生じないものとなる。

【００４６】前述のような再構成を行うか否かの判定を
エラー修正部８に於いて行うものであり、図５に示すよ
うに、エラー発生時点でコンシールメントを行った再生
画像をＲ１’とし、エラー発生時点でコンシールメント
を行わない再生画像をＲ１として（Ｄ１）、再生画像Ｒ
１’，Ｒ１を比較し、差が大きいか否かを判定する（Ｄ
２）。差が小さい場合は、コンシールメントを行っても
行わなくても同じようなものであるから、再構成は行わ
ない（Ｄ４）。又差が大きい場合は、コンシールメント
を行うことによる受信側の予測値との差が大きくなるか
ら、再構成を行う（Ｄ３）。

【００４７】図６及び図７は本発明の実施の形態のフロ
ーチャートを示し、前述のように、エラー発生時点での
フレーム番号を１、現時点でのフレーム番号をｗ、エラ
ー発生ブロックＢの各々の画素の位置をＢ１ｐｉｊ（Ｘ
ｐｉｊ，Ｙｐｉｊ）、予測情報（動き補償ベクトル）を
Ｄｋ（Ｘｋ，Ｙｋ）、再生画像をＲｋ（但し、現時点で
保持している再生画像をＲｗ−１）、符号化情報をＣ
ｋ、復号情報をＣｋ^-1、予測値の生成の操作をＶｋ、予
測値の生成の操作の逆操作をＶｋ^-1、予測値をＵｋとす
る（但し、ｋ＝１〜ｗ−１）（Ｅ１）。

【００４８】そして、ｎ＝２〜ｗ−１について、画素の
位置ＢＰｎｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）を、ＢＰｎｉｊ（Ｘｐｉｊ，Ｙｐｉｊ）＝ＢＰｎ−１ｉｊ
（Ｘｐｉｊ，Ｙｐｉｊ）＋Ｄｎ−１（Ｘｎ−１，Ｙｎ−
１）としてを求める（Ｅ２）。これにより、フレーム番号ｗ
−１に於いて、エラー発生ブロックの現在参照されてい
る位置ＢＰｗ−１ｉｊが何処かを算出する。

【００４９】そして、現時点の位置ＢＰｗｉｊ（Ｘｐｉ
ｊ，Ｙｐｉｊ）、即ち、エラー発生ブロックの画素が現
在どの位置に存在するようになるかを求める（Ｅ３）。
このようにして求めた画素の現在位置ＢＰｗｉｊ（Ｘｐ
ｉｊ，Ｙｐｉｊ）が消失しているか否かを判定し（Ｅ
４）、消失している場合は、エラー発生時点のエラー部
分は、現時点では消滅して影響を及ぼさないことになる
から、エラー修正の処理は終了する（Ｅ６）。

【００５０】又消失してない場合は、ｎ＝ｗ−１〜０に
於いて、予測値Ｕｎ−１と再生画像Ｒｎ−２とを、Ｕｎ−１＝（Ｒｎ−１）−（Ｃｎ−１^-1）Ｒｎ−２＝Ｖｎ^-1（Ｕｎ−１）により求め（Ｅ５）、エラー発生時点で参照している１
符号化フレーム前の再生画像Ｒ０を求め、エラー情報を
基に、エラー発生部分を隠蔽するコンシールメント処理
を行った再生画像Ｒ１’を再構成する（Ｅ７）。

【００５１】次に、ｎ＝１〜ｗ−１に於いて、予測値Ｕ
ｎと再生画像Ｒｎ＋１’とを、Ｕｎ＝Ｖｎ（Ｒｎ’）Ｒｎ＋１＝Ｕｎ＋Ｃｎ^-1 により求め（Ｅ８）、順次計算して受信側と同様な再生
画像Ｒｗ−１’を求める（Ｅ９）。この再生画像Ｒｗ−
１’を基に、現時点のフレーム番号ｗの入力画像信号の
符号化を行うことにより、エラーが発生しても、現時点
の送信側の予測値と、送信側と受信側との間の遅延時間
後の受信側の予測値とを同一とすることが可能となり、
画質劣化を回避することができる。

【００５２】図８はエラー修正部８による再構成を行う
か否かの適応処理のフローチャートを示し、前述の図６
の例えばステップ（Ｅ２）により求めた画素の位置をＢ
Ｐｎｉｊ、分散度をρ、閾値をｔｈとし（Ｆ１）、画素
の位置ＢＰｎｉｊの分散度ρを求める（Ｆ２）。この分
散度ρは、標準偏差、自己相関、相互相関等の計算式等
を適用して求めるか、又はエラー発生位置が隣接してい
る画素数、エラー発生位置が消滅していない画素数等を
用いることができる。

【００５３】そして、この分散度ρが閾値ｔｈより大き
いか否かを判定し（Ｆ３）、分散度ρが閾値ｔｈより大
きい場合は、エラー発生部分が現時点では分散して、視
覚的には目立たないことになるから、受信側の再生画像
と同様な再生画像に再構成することは行わない（Ｆ５）
で、エラー修正の処理を終了する。又分散度ρが閾値ｔ
ｈより小さい場合は、エラー発生部分が分散されていな
いことになり、受信側の再生画像と同様な再生画像とな
るように、前述のステップ（Ｅ５）〜（Ｅ９）に示すよ
うに再構成を行う（Ｆ４）。

【００５４】他の適応処理を図９に示す。即ち、コンシ
ールメントを行った画像Ｒ１’と、コンシールメントを
行わない画像Ｒ１と、差分評価値μと、閾値ｔｈとを定
義し（Ｇ１）、Ｒ１’とＲ１との画素値の絶対値差分の
評価値μを求める（Ｇ２）。この評価値μと閾値ｔｈと
を比較し（Ｇ３）、評価値μが閾値ｔｈより小さい場合
は、コンシールメントを行って生成した画像Ｒ１’と、
コンシールメントを行わないで再生した画像Ｒ１との差
が小さいことであるから、再構成は行わず（Ｇ５）、エ
ラー修正処理は終了する。

【００５５】又評価値μが閾値ｔｈより大きい場合、エ
ラー発生により、コンシールメントを行って再生した画
像Ｒ１’と、コンシールメントを行わないで再生した画
像Ｒ１との差が大きいから、そのまま符号化を継続する
と、送信側と受信側との予測値の差が大きいことによ
り、受信側の復号再生画像の画質が劣化するから、再構
成を行う（Ｇ４）。

【００５６】前述の処理は、１フレームの総てに対して
行うこともできるが、例えば、エラー発生ブロックにつ
いて及びエラー発生時点のフレームまで遡る必要がある
ブロックについてのみ処理することもできる。この場合
のエラーが発生している部分は、例えば、ステップ（Ａ
３）による現時点での位置ＢＰｗｉｊ（Ｘｐｉｊ，Ｙｐ
ｉｊ）により、エラー発生ブロックの画素の位置が現時
点では、どの位置に移動したかにより、識別することが
できる。

【００５７】又現時点から遡ってエラー発生時点の再生
画像を得る過程の途中で、フレーム内符号化や、エラー
発生ブロックの画素の位置がどこからも参照されない状
態を識別した時に、エラー発生部分が現時点の再生画像
に影響を及ぼさないと判定して、再構成の処理を中止す
ることができる。

【００５８】

【発明の効果】以上説明したように、本発明は、受信側
に於いて、エラー発生時にエラー隠蔽制御を行い、その
時のエラー情報を送信側に送信し、送信側は、このエラ
ー情報を基に、エラー発生時点から現時点の再生画像に
エラー発生部分が影響を及ぼすか否かを判定し、影響を
及ぼす場合には、受信側と同様なエラー隠蔽制御を行っ
たエラー発生時点の再生画像を求めて、現時点までの予
測情報を基に現時点の再生画像を求める再構成を行うこ
とにより、受信側の予測値と送信側の予測値とを同一の
フレームについては同一又は近似した値として、受信側
の復号再生画像野画質劣化を回避することができる。

【００５９】その場合、エラー隠蔽制御を行った再生画
像と行わない再生画像と差が大きい場合のみ、又はエラ
ー発生時点のエラー発生部分が現時点のフレームの移動
先を求めて、分散が小さい場合のみ、再構成の処理を行
うことにより、受信側の予測値と送信側の予測値とを同
一のフレームについて同一又は近似した値とし、再構成
が必要でない場合の不必要な処理を省略することができ
る。

【図面の簡単な説明】

【図１】本発明の実施の形態の説明図である。

【図２】エラー修正部の動作フローチャートである。

【図３】エラー修正部の動作フローチャートである。

【図４】再生画像の再構成の動作フローチャートであ
る。

【図５】再構成の判定フローチャートである。

【図６】本発明の実施の形態のフローチャートである。

【図７】本発明の実施の形態のフローチャートである。

【図８】適応処理のフローチャートである。

【図９】適応処理のフローチャートである。

【図１０】従来例の説明図である。

【図１１】従来例のエラー発生時の動作説明図である。

【符号の説明】

１符号化部２送信部３送信側復号部４第１の送信側予測部５加算部６エラー情報受信部７メモリ８エラー修正部９第２の送信側予測部１０〜１２セレクタ１３加算部２１受信側復号部２２受信部２３受信側予測部２４エラー制御部２５加算部２６エラー情報送信部

Claims

【特許請求の範囲】

【請求項１】送信側は入力画像信号を予測符号化して
送信し、受信側は予測復号化して再生画像信号を得ると
共に、エラー検出時に該エラー発生部分を隠蔽する制御
を行うエラー隠蔽制御方法に於いて、前記受信側は、前記エラー発生部分を示すエラー情報を
送信し、前記送信側は、前記エラー情報を受信して、前記エラー
発生部分が現時点の予測符号化の予測値に及ぼす影響に
ついて判定し、影響が小さい場合は、エラー修正処理を中止し、影響が
大きい場合は、前記エラー発生部分を隠蔽するエラー隠
蔽制御による再生画像を再構成して、現時点の予測値を
求め、以後の予測符号化を行う過程を含むことを特徴と
するエラー隠蔽制御方法。
【請求項２】前記送信側は、前記エラー情報を基に、
エラー発生部分の現時点に於ける符号化フレームに対す
る移動先を求め、該移動先が分散又は消滅しているか否
かを判定し、分散又は消滅している場合は、エラー修正
処理を中止し、分散又は消滅していない場合は、前記エ
ラー発生部分を隠蔽するエラー隠蔽制御による再生画像
を再構成して、現時点の予測値を求め、以後の予測符号
化を行う過程を含むことを特徴とする請求項１記載のエ
ラー隠蔽制御方法。
【請求項３】前記送信側は、前記エラー情報を基に、
エラー発生部分を隠蔽するエラー隠蔽制御による再生画
像と、エラー隠蔽制御を行わない再生画像とを求めて比
較し、差が所定値より小さい場合は、エラー修正処理を
中止し、差が所定値より大きい場合は、前記エラー隠蔽
制御による再生画像を基に現時点の予測符号化の予測値
を求め、該予測値により以後の予測符号化を行う過程を
含むことを特徴とする請求項１記載のエラー隠蔽制御方
法。
【請求項４】前記送信側は、前記エラー情報を基に、
エラー発生部分を隠蔽するエラー隠蔽制御による再生画
像と、エラー隠蔽制御を行わない再生画像との画素値の
絶対値差分を求め、該絶対値差分が閾値を超えない場合
は、エラー修正処理を中止し、閾値を超えた場合は、前
記エラー隠蔽制御による再生画像を基に現時点の予測符
号化の予測値を求め、該予測値により以後の予測符号化
を行う過程を含むことを特徴とする請求項１記載のエラ
ー隠蔽制御方法。
【請求項５】符号化部と、第１の送信側復号部と、送
信側予測部とを含み、入力画像信号を予測符号化する符
号化装置に於いて、受信側からのエラー情報を受信するエラー情報受信部
と、該エラー情報受信部で受信したエラー情報を入力するエ
ラー修正部と、送信側と受信側との間の一巡伝送遅延時間分の前記第１
の送信側復号部からの予測情報を記憶すると共に、前記
符号化部からの少なくとも１符号化フレーム分の符号化
情報を記憶するメモリと、前記エラー情報に従って受信側の復号再生画像と一致し
た再生画像を得る為の第２の送信側予測部とを備え、前記エラー修正部は、前記エラー情報を基にエラー発生
部分が現時点の予測符号化の予測値に影響を及ぼすか否
かを前記メモリに記憶されている符号化情報及び予測情
報を基に判定処理し、影響が大きい場合にエラー発生部
分を隠蔽するエラー隠蔽制御による再生画像を前記第２
の送信側予測部により再構成する制御を行う構成を有す
ることを特徴とする符号化装置。
【請求項６】前記エラー修正部は、前記エラー情報と
前記メモリに記憶された符号化情報と予測情報とを基
に、前記第２の送信側予測部を用いてエラー発生時点の
復号画像及びエラー発生時点の１フレーム前の復号画像
とを遡って再生し、エラー発生部分を隠蔽するエラー隠
蔽制御による再生画像と、エラー隠蔽制御を行わない再
生画像とを比較し、差が大きい場合は、エラー隠蔽制御
による再生画像を基に現時点の再生画像を再構成し、差
が小さい場合は再構成を行わない制御を行う構成を有す
ることを特徴とする請求項５記載の符号化装置。
【請求項７】前記エラー修正部は、前記エラー情報と
前記メモリに記憶された符号化情報と予測情報とを基
に、エラー発生時点から現時点までのエラー発生部分の
移動先を求め、該エラー発生部分の位置の分散を求め、
該分散が小さい場合、エラー発生時点の復号画像及びエ
ラー発生時点の１フレーム前の復号画像を遡って再生
し、エラー発生部分を隠蔽するエラー隠蔽制御による再
生画像の再構成を行い、分散が大きい場合又は消滅した
場合は、前記再構成を行わない制御を行う構成を有する
ことを特徴とする請求項５記載の符号化装置。
【請求項８】入力画像信号を予測符号化する符号化装
置を有する送信側と、該送信部からの符号化情報を受信
して予測復号化する復号化装置を有する受信側とを伝送
路を介して接続した画像信号伝送システムに於いて、前記受信側の復号化装置は、前記伝送路に接続された受
信部と、予測復号化を行う受信側復号部と、受信側予測
部と、前記受信部及び前記受信側復号部に於けるエラー
検出によりエラー発生部分を隠蔽して復号再生画像の出
力制御を行うエラー制御部と、前記エラー発生部分を示
すエラー情報を前記送信側に送信するエラー情報送信部
とを有し、前記送信側の符号化装置は、前記伝送路に接続された送
信部と、予測符号化を行う符号化部と、送信側復号部
と、第１，第２の送信側予測部と、前記受信部からの前
記エラー情報を受信するエラー情報受信部と、該エラー
情報受信部で受信した前記エラー情報を入力するエラー
修正部と、前記送信側と前記受信側との間の一巡伝送遅
延時間分の前記第１の送信側復号部からの予測情報を記
憶すると共に、前記符号化部からの少なくとも１符号化
フレーム分の符号化情報を記憶するメモリとを有し、前記エラー修正部は、前記エラー情報を基にエラー発生
部分が現時点の予測符号化の予測値に影響を及ぼすか否
かを前記メモリに記憶されている符号化情報及び予測情
報を基に判定処理し、影響が大きい場合にエラー発生部
分を隠蔽するエラー隠蔽制御による再生画像を前記第２
の送信側予測部により再構成する制御を行う構成を有す
ることを特徴とする画像信号伝送システム。