JP2002112273A - 動画像符号化方法 - Google Patents

Abstract

(57)【要約】 【課題】 圧縮符号化した画像信号を回線品質の低い伝
送路環境で通信する時、誤りによって生ずる画質劣化を
低減するように予め画像信号の符号化を行う。 【解決手段】 符号化データの復号画像と入力画像との
量子化誤差量及び符号化データ中に伝送誤りがある確率
で発生した場合のデータの欠損による画質劣化の期待値
に基いた画質劣化度の推定を行い(S2)、フレーム内の全
ブロックの画質劣化度に基いてブロックの符号化モード
をフレーム間予測符号化及びフレーム内符号化の何れか
に決定してフレーム内の全ブロックの符号化を行う。画
質劣化の期待値に基いて画像をリフレッシュすることに
より、誤りの発生により符号化データが一部欠損した時
の復号画像の劣化を抑制できる。また量子化誤差量と劣
化誤差量を統合的に扱う事により、フレーム内符号化を
行うブロックの数が大きく増大することがなく、誤りが
発生しない場合の復号画像の画質劣化も抑制できる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像符号化方法に
関し、特に、回線品質の低い通信路において伝送された
画像データの劣化を抑制する方法に関する。

【０００２】

【従来の技術】フレーム内符号化とフレーム間予測符号
化を符号化単位となるブロック毎に選択して用いる従来
の動画像符号化方法において、符号化効率に基づいてこ
れらを選択するのとは別に、符号化した動画像を伝送す
る際に発生する誤りにより画質が劣化するのを抑制する
ためブロックを強制的にフレーム内符号化(リフレッシ
ュ)する手法がある。画質の劣化した画像に対してフレ
ーム間予測符号化を行うと、劣化が複数のフレームにわ
たって伝播し、その結果主観画質が著しく低下する。そ
れに対して画像を強制的にリフレッシュすることで劣化
の伝播を抑え、画質劣化に対する耐性を向上させる。画
像内の各領域に対して誤りが発生したときの劣化の度合
は画素値の分布に依存することから、画質の劣化の著し
いブロックに対して優先的に強制リフレッシュを行うこ
とにより、符号化効率を大きく低下させることなく効果
的に誤りに対する耐性を向上させることができる。

【０００３】図８はこの手法を用いた従来の動画像符号
化方法の処理の流れを示すフローチャートである。この
図８を用いて従来の動画像符号化方法について説明す
る。

【０００４】入力画像をフレーム毎に符号化するに際
し、まず符号化後のデータが誤りによって欠損したこと
を仮定した場合の画質劣化の度合を示す画質劣化度を、
符号化単位となるブロック毎に算出する(S20)。次に、
画質劣化度をもとに、強制的にリフレッシュを行う優先
度を算出する(S21)。その後、強制リフレッシュ優先度
を元にリフレッシュを行うブロックを決定する。また符
号化効率を考慮した符号化モードの決定も別に行われる
(S22)。このようにして決められた符号化モードに従っ
て、フレーム内の全ブロックに対しフレーム内符号化も
しくはフレーム間予測符号化が行われる(S23)。

【０００５】図９は、特開2000-165881号公報に示され
た動画像符号化装置を示すブロック図である。以下図９
を用いて、前記従来の動画像符号化方法についてさらに
詳述する。

【０００６】入力画像101が入力されると、まず前処理
として、フレームメモリ2に格納されている参照画像か
らの動きをフレーム間動き検出部3が検出し、動きベク
トルを動き補償フレーム間予測部20に送るのと同時に、
動き検出時に得られるブロック毎の参照画像と入力画像
との差分絶対値和を劣化誤差量算出部4に送る。

【０００７】劣化誤差量算出部4は、符号化データの中
で伝送誤りが発生したことを仮定した時の劣化画像と入
力画像との劣化誤差を算出する。

【０００８】図１０は劣化時の誤差について説明する図
である。復号器では、誤りの発生していない場合参照画
像において動き補償位置にあるブロックの画素値が用い
られるのに対し、誤りが発生してデータ欠損が起こった
場合、参照画像において同一位置にあるブロックの画素
値をそのままコピーすることで欠損した画素値を補完す
る。この時の画質劣化の度合は、参照画像において同一
位置にある画素値と現在のフレームにおける画素値との
差分によって表される。

【０００９】一方図９において、前フレームの符号化デ
ータを元に、カウンタ21およびデータ欠損確率推定部22
はブロック毎に誤りによってデータ欠損が起こる確率を
推定する。

【００１０】図１１は、誤りの発生した位置とデータ欠
損確率について説明する図である。符号化データは、複
数ブロックの符号化データの合間に同期符号が挿入され
る形をとっている。誤りが発生した際、復号器はその地
点から次の同期符号までのデータを破棄し、その地点か
ら改めてデータの復号を行う。そのため、伝送時の誤り
はランダムに発生するのに対し、直前の同期符号からの
距離が遠い符号化データほど破棄される確率が高くな
る。

【００１１】図９において、強制リフレッシュ優先度算
出部30は、現フレームの劣化誤差量および前フレームの
データ欠損確率をそれぞれ閾値判定して強制リフレッシ
ュを行う優先度を算出する。強制リフレッシュ優先度を
格納する強制リフレッシュマップ31から、モード制御部
32は強制リフレッシュを行うブロックを決定する。それ
に基づいて切替器13はブロックの符号化モードをフレー
ム内符号化もしくはフレーム間予測符号化のいづれかに
切替える。このようにして定まった符号化モードに基づ
いて、入力画像もしくは予測誤差信号は、ブロック毎に
変換符号化、量子化の後、符号化データへと変換され
る。この従来手法では、劣化誤差量およびデータ欠損確
率の大きいブロックほど誤りが発生した際の劣化の度合
が大きいことから、このようなブロックについて優先的
にリフレッシュを行う。

【００１２】

【発明が解決しようとする課題】しかし、上記従来方法
は、符号化効率を考慮したフレーム内符号化/フレーム
間予測符号化の切替えとは独立に行われるため、強制リ
フレッシュの選択基準となる閾値の設定によっては多く
のブロックにおいてフレーム内符号化が選択され、符号
化効率が低下する危険性がある。

【００１３】また、上記従来方法は、伝送誤りが発生し
た場合の実際の画質劣化を十分に反映しておらず、強制
リフレッシュブロックの選択を効果的に行えていない。
特に、過去のフレームにおいて発生した劣化がフレーム
間予測符号化によって伝播する効果を考慮していない。

【００１４】本発明の目的は、上述した従来方法の欠点
を除去した動画像符号化方法を提供することにある。

【００１５】本発明の具体的な目的は、圧縮符号化した
画像信号を回線品質の低い伝送路環境で通信するとき、
誤りによって生ずる画質劣化を低減するように、あらか
じめ画像信号の符号化を行う動画像符号化方法を提供す
ることにある。

【００１６】

【課題を解決するための手段】本発明の第１の態様によ
れば、フレーム内符号化およびフレーム間予測符号化の
一方を、符号化単位となるブロック単位で適応的に選択
して用いて、入力画像を符号化データに符号化する動画
像符号化方法であって、入力画像をフレーム毎に符号化
するにおいて、符号化データを復号した復号画像と入力
画像との誤差量と、データの欠損を仮定した場合の劣化
画像と入力画像との誤差量とをブロック毎に算出する誤
差量算出工程と、前記誤差量の両方を元に、符号化デー
タ中に伝送誤りがある確率で発生する場合の画質の劣化
度合を表す画質劣化度をブロック毎に推定する画質劣化
度推定工程と、画質劣化度に基づいて、ブロック毎にフ
レーム内符号化およびフレーム間予測符号化のいづれを
用いるかを示す符号化モードを制御するブロック符号化
モード制御工程と、前記符号化モードに従って当該フレ
ーム内の全ブロックの符号化を行うフレーム符号化工程
とを備えることを特徴とする動画像符号化方法が得られ
る。

【００１７】本発明の第２の態様によれば、フレーム内
符号化およびフレーム間予測符号化の一方を、符号化単
位となるブロック単位で適応的に選択して用いて、入力
画像を符号化データに符号化する動画像符号化方法であ
って、入力画像をフレーム毎に符号化するにおいて、符
号化モードをフレーム内の全てのブロックについてフレ
ーム間予測符号化に設定する符号化モード初期設定工程
と、前記符号化モードに従ってブロック毎の符号化を行
うブロック符号化工程と、符号化データを復号した復号
画像と入力画像との誤差量と、データの欠損を仮定した
場合の劣化画像と入力画像との誤差量とをブロック毎に
算出する誤差量算出工程と、前記誤差量の両方を元に、
符号化データ中に伝送誤りがある確率で発生する場合の
画質の劣化度合を表す画質劣化度をブロック毎に推定す
る画質劣化度推定工程と、画質劣化度に基づいてブロッ
ク毎に符号化モードをフレーム間予測符号化およびフレ
ーム内符号化のいづれかに制御するブロック符号化モー
ド制御工程を備え、前記ブロック符号化工程と前記誤差
量算出工程と前記画質劣化度推定工程とを全てのブロッ
クに対して行った後、前記ブロック符号化モード制御工
程において符号化モードをフレーム内符号化に変更する
候補ブロックが存在する場合には、当該ブロックの符号
化モードをフレーム内符号化に変更してから前記ブロッ
ク符号化工程と前記誤差量算出工程と前記画質劣化度推
定工程とを画像フレーム内の全てのブロックに対して行
った後改めて前記ブロック符号化モード制御工程を行う
一連の処理を繰り返し、前記ブロック符号化モード制御
工程において符号化モードをフレーム内符号化に変更す
る候補ブロックが存在しない場合には、当該フレームの
符号化処理を終了することを特徴とする動画像符号化方
法が得られる。

【００１８】誤差量算出工程は、復号画像と入力画像と
の誤差として量子化誤差量をブロック毎に算出する量子
化誤差量算出処理と、データ欠損を仮定した場合の劣化
画像と入力画像との誤差として劣化誤差量をブロック毎
に算出する劣化誤差量算出処理とからなり、画質劣化度
推定工程によって推定される画質劣化度は、符号化デー
タ中に伝送誤りがある確率で発生することによる画質劣
化の度合の期待値である劣化期待値と、量子化誤差量と
の和で表される。

【００１９】このうち、量子化誤差量として、ブロック
符号化工程において得られる各ブロックの量子化ステッ
プをもとに推定したものを用いることも可能である。ま
た、劣化誤差量は、劣化画像として前フレームの復号画
像を用いて推定される。

【００２０】画質劣化度推定工程は、符号化データ中に
挿入される同期符号からの距離をブロック毎にカウント
し、前記カウントした値から注目するブロックの符号化
データが伝送中に欠損するデータ欠損確率を推定するデ
ータ欠損確率推定処理をさらに有し、注目するブロック
がフレーム内符号化されている場合の劣化期待値を前記
劣化誤差量と前記データ欠損確率の積で算出し、注目す
るブロックがフレーム間予測符号化されている場合の劣
化期待値を、前記劣化誤差量と前記データ欠損確率の積
に、フレーム間予測符号化における動き補償処理によっ
て参照される参照フレーム内領域の劣化期待値である劣
化伝播項を加えた値とする。

【００２１】このうち、劣化伝播項は、動き補償処理に
よって参照される参照フレーム内領域を中に含む複数ブ
ロックの劣化期待値の重みづけ平均によって算出され
る。また、注目するブロックがフレーム間予測符号化さ
れている場合の劣化期待値を、前記劣化誤差量と前記デ
ータ欠損確率の積に、予め定めた比例乗数に前記劣化伝
播項を乗じた値を加えた値とすることも可能である。

【００２２】ブロック符号化モード制御工程は、画像フ
レーム内の全ブロックの画質劣化度を予め定めた閾値と
比較し、前記閾値よりも値の大きい画質劣化度を持つブ
ロックの符号化モードをフレーム内符号化に変更するこ
とで実現される。あるいは、画質劣化度の大きいブロッ
クから順に選択し、当該ブロックの符号化モードをフレ
ーム内符号化に変更することで実現される。あるいは、
全ブロックの中で符号化モードがフレーム間予測符号化
であるブロックを任意に選択し、符号化モードをフレー
ム内符号化に一時的に設定するフレーム内符号化ブロッ
ク候補選択処理を行った後、フレーム内符号化ブロック
候補選択処理によって選択されたブロックの画質劣化度
を一時的に記憶し、ブロック符号化工程、前記誤差量算
出工程、および画質劣化度推定工程を再度画像フレーム
内の全ブロックに対して行った後、注目するブロックの
更新された画質劣化度が一時的に記憶した前記画質劣化
度に比べて減少している場合には注目するブロックの符
号化モードをフレーム内符号化に変更し、新たに前記フ
レーム内符号化ブロック候補選択処理の実行を繰り返
し、注目するブロックの更新された画質劣化度が一時的
に記憶した前記画質劣化度に比べて増加している場合に
は注目するブロックの符号化モードをフレーム間予測符
号化に戻して新たに前記フレーム内符号化ブロック候補
選択処理の実行を繰り返し、前記フレーム内符号化ブロ
ック候補選択処理で選択可能なブロックの全てがフレー
ム内符号化に符号化モードを変更すると画質劣化度が増
加する場合には処理を終了することで実現される。

【００２３】本発明の第３の態様によれば、フレーム内
符号化およびフレーム間予測符号化の一方を、符号化単
位となるブロック単位で適応的に選択して用いて、入力
画像を符号化データに符号化する動画像符号化方法であ
って、入力画像をフレーム毎に符号化するにおいて、ブ
ロック毎にフレーム内符号化およびフレーム間予測符号
化のいづれを用いるかを示す符号化モードを画像フレー
ム内の全てのブロックについてフレーム間予測符号化に
設定する符号化モード初期設定工程と、前記符号化モー
ドに従ってブロック毎の符号量の推定を行うブロック符
号量推定工程と、符号化データを復号した復号画像と入
力画像との誤差量と、データの欠損を仮定した場合の劣
化画像と入力画像との誤差量とをブロック毎に算出する
誤差量算出工程と、前記誤差量の両方を元に、符号化デ
ータ中に伝送誤りがある確率で発生する場合の画質劣化
の度合を表す画質劣化度をブロック毎に推定する画質劣
化度推定工程と、画質劣化度に基づいてブロック毎に符
号化モードをフレーム間予測符号化およびフレーム内符
号化のいづれかに制御するブロック符号化モード制御工
程と、前記符号化モードに従ってブロック毎の符号化を
行うブロック符号化工程とを備え、前記ブロック符号量
推定工程と前記誤差量算出工程と前記画質劣化度推定工
程とを全てのブロックに対して行った後、前記ブロック
符号化モード制御工程において符号化モードをフレーム
内符号化に変更する候補ブロックが存在する場合には、
当該ブロックの符号化モードをフレーム内符号化に変更
してから前記ブロック符号量推定工程と前記誤差量算出
工程と前記画質劣化度推定工程とを全てのブロックに対
して行った後改めて前記ブロック符号化モード制御工程
を行う一連の処理を繰り返し、前記ブロック符号化モー
ド制御工程において符号化モードをフレーム内符号化に
変更する候補ブロックが存在しない場合において、その
時点での各ブロックの符号化モードに基づいて当該フレ
ームの全ブロックのブロック符号化工程を行うことを特
徴とする動画像符号化方法が得られる。

【００２４】ブロック符号量推定工程は、画像フレーム
内の全ブロックの符号量の和が予め定められた目標符号
量の近傍に収まるように各ブロックの量子化ステップを
制御する符号量制御処理をさらに有し、ブロック符号量
推定工程において得られる各ブロックの量子化ステップ
を元に量子化誤差量が推定される。

【００２５】画質劣化度推定工程は、ブロック符号量推
定工程によって得られるブロック毎の予測符号量をもと
に、符号化データ中に挿入される同期符号の位置を決定
する同期符号位置決定処理と、前記同期符号からの距離
をブロック毎にカウントし、前記カウントした値から注
目するブロックの符号化データが伝送中に欠損するデー
タ欠損確率を推定するデータ欠損確率推定処理をさらに
有する。

【００２６】ブロック符号量推定処理においては、注目
するブロックの符号化モードがフレーム内符号化の場合
には入力信号に対して変換符号化処理および量子化を行
い量子化後の符号についてエントロピ―を算出し、フレ
ーム間予測符号化の場合には予測誤差信号に対し変換符
号化処理および量子化を行い量子化後の符号についてエ
ントロピ―を算出することで符号量の推定を行う方法が
用いられる。また、符号化モードがフレーム内符号化の
場合には入力信号に対してその分散をもとに符号量の推
定を行い、符号化モードがフレーム間予測符号化の場合
には予測誤差信号に対してその分散をもとに符号量の推
定を行う方法や、注目するブロックの符号化モードがフ
レーム間予測符号化の場合にフレーム間の動き検出にお
いて得られる動き補償後の予測画像と入力画像との誤差
量をもとに符号量の推定を行う方法も用いられる。

【００２７】

【発明の実施の形態】次に本発明の実施形態について、
図１から図５を用いて説明する。

【００２８】図１は本発明における処理の流れを示すフ
ローチャートである。

【００２９】図１において、画像フレームの符号化が開
始された時点でフレーム内の各ブロックについて、符号
化データを復号した復号画像と入力画像との誤差である
量子化誤差および符号化データ中に誤りが発生したこと
を仮定した時の劣化画像と入力画像との誤差である劣化
誤差を算出し(S1)、誤りがある確率で発生する場合の画
質劣化の期待値と量子化誤差との線形和で表される画質
劣化度の推定を行う(S2)。その後、各ブロックの画質劣
化度の和がなるべく小さくなるようにブロックの符号化
モードを選択し(S3)、この符号化モードを元にフレーム
内の全ブロックの符号化を行う(S4)。

【００３０】以上の処理に際し、各種誤差の推定あるい
は符号化モードの制御方式には複数の実装方式が存在す
る。本発明は、誤りによる劣化の度合と符号化時の量子
化による劣化の度合を統合して考慮することで、符号化
モードの制御を行うことを特徴とする。画質劣化度の推
定方法あるいは符号化モードの決定方法について、以下
に、より具体的な実施例を挙げて詳述する。

【００３１】図２は本発明の一実施形態における処理の
流れを示すフローチャートである。

【００３２】図２において、画像フレームの符号化が開
始された時点で、まず各ブロックに対して符号化モード
をフレーム間予測符号化に初期設定する(S5)。その後指
定された符号化モードに従ってブロック毎に符号化を行
う(S6)。符号化データを復号した復号画像と入力画像と
の誤差である量子化誤差および符号化データ中に誤りが
発生したことを仮定した時の劣化画像と入力画像との誤
差である劣化誤差をブロック毎に算出し(S7)、これら二
つの誤差とデータ欠損確率に基づいて、画質劣化度の推
定を行う(S8)。S6からS8の処理を画像フレーム内の全フ
レームについて行った後(S9)、画質劣化度が減少するよ
うに符号化モードの変更を行う(S10)。符号化モードを
フレーム内符号化に変更する候補ブロックが存在する場
合には、画像フレーム内の全ブロックに対してブロック
の符号化から画質劣化度の推定を行った後改めて符号化
モードの変更を行うという一連の処理を繰り返し、候補
ブロックが存在しない場合には画像フレームの符号化処
理を終了する(S11)。

【００３３】図３は本発明の一実施形態を示すブロック
図である。図２に示した本発明の一実施形態の処理の流
れについて、図３を参照してさらに詳述する。

【００３４】入力画像101が入力されると、各ブロック
の符号化の前処理に、各ブロックの符号化モードの初期
値として全てのブロックの符号化モードをフレーム間符
号化とする。また、参照画像と入力画像の間の動き検出
処理が行われる。フレーム間動き検出部3は、フレーム
メモリ2から読みだした参照画像を参照し、入力画像101
のフレーム間での動きを検出し、小ブロック毎の動きを
示す動きベクトル103を出力する。

【００３５】変換符号化部14は、ブロックの符号化モー
ドがフレーム内符号化の場合には、フレームメモリ1に
格納されている入力画像を直交変換し、変換後の信号を
量子化部15が量子化する。フレーム間予測符号化の場合
には、動き補償フレーム間予測部20が、フレームメモリ
2に格納された参照画像と動きベクトル103とを参照し
て、動き補償フレーム間予測を行って予測画像108を算
出する。減算器11はフレームメモリ1に格納されている
入力画像と予測画像108の差分をとり、その結果得られ
た予測誤差信号に対して変換符号化部14が直交変換し、
量子化部15は変換後の信号を量子化する。符号変換部16
は、量子化部15によって出力された量子化された信号を
符号化し符号化データを生成する。また量子化後の信号
は、逆量子化部17によって逆量子化され、逆変換符号化
部18によって逆変換される。加算器19は、予測画像108
と逆変換符号化後の予測誤差画像を加算し、参照画像を
生成し、フレームメモリ2に格納する。

【００３６】ブロックの符号化処理の後、減算器12は、
変換符号化部に入力する信号と逆変換符号化部の出力す
る信号との差分をとり、量子化誤差量をブロック毎に算
出する。また、劣化誤差量算出部4は、フレーム間動き
検出部3による動き検出処理中に得られる、参照画像と
現在のフレームとの誤差量をもとに、入力画像を符号化
したデータが誤りによって欠損した場合の入力画像との
劣化誤差量102をブロック毎に算出する。この誤差量と
して、差分二乗和や差分絶対値和もしくは人間の視覚特
性を考慮したパワーが用いられる。

【００３７】カウンタ21は、符号変換部16の出力する符
号化データを監視し、同期符号を挿入した位置と、注目
するブロックとの間の距離として区間の符号量を計測す
る。データ欠損確率推定部22は、前記符号量を元に注目
するブロックが誤りによって欠損する確率104を算出す
る。その算出式は例えば、前記符号量をL、ビット単位
に誤りの発生する確率をλ、誤りの発生がランダムに起
こるとすると、1-(1-λ) ^Lと与えられる。また、この式
はλを1に対して微小な値とする(λ≪1)と、λ*Lと近似
される。

【００３８】リフレッシュブロック選択部5は、劣化誤
差量102、動きベクトル103、ブロック毎の誤りによるデ
ータ欠損確率104、量子化誤差量105を入力としてブロッ
ク毎の画質劣化度を算出し、それに基づいて符号化モー
ドの変更を行う。メモリ10は全ブロックの符号化モード
を格納する。

【００３９】図４は、リフレッシュブロック選択部5の
構成を示すブロック図である。リフレッシュブロック選
択部5は、劣化誤差量102をフレーム内の全ブロックにつ
いて格納するメモリ6と、メモリ6に格納された劣化誤差
量および動きベクトル103およびデータ欠損確率104およ
び量子化誤差量105およびメモリ9に格納されている前フ
レームの画質劣化度を参照し、誤りにより発生する画質
劣化と量子化による画質劣化の双方を考慮した統合的な
画質劣化度を推定する画質劣化度推定部7と、前フレー
ムおよび現在のフレームにおけるブロック毎の画質劣化
度を全ブロックについて格納するメモリ9と、画質劣化
度推定部7によって更新された画質劣化度とメモリ9に格
納された現フレームの画質劣化度とを比較して該当ブロ
ックの符号化モードを決定するモード制御部8とからな
る。

【００４０】画質劣化度は、該当ブロックの符号化モー
ドがフレーム内符号化かフレーム間予測符号化かによっ
て異なる値をとる。フレーム内符号化の場合には、誤り
によってデータが欠損した際の画質劣化の期待値をデー
タ欠損確率104とメモリ6に格納されている劣化誤差量の
積で表し、それに量子化誤差量105を加えた値となる。
一方、フレーム間予測符号化の場合には、データ欠損確
率104とメモリ6に格納されている劣化誤差量の積と、量
子化誤差量105との和に、参照フレームにおける画質劣
化のフレーム間予測による伝播項を加える必要がある。

【００４１】画質劣化の伝播について図５を用いて説明
する。

【００４２】図５において、現フレームの該当ブロック
B10に対し、参照フレームにおける動き補償フレーム間
予測による参照先をB10'とする。またB10'を中に含む、
参照フレーム内のブロックをそれぞれB00,B01,B02,B0
3、これらのブロックとB10'の共通部分をそれぞれb00,b
01,b02,b03とする。またB10に対する動きベクトルをVと
する。フレーム間予測符号化によって、ブロックB10はB
10'内の画質劣化をそのまま受け継ぐことになる。その
値はB10'の部分領域であるb00,b01,b02,b03における画
質劣化の和となる。これらの画質劣化度を、ブロックB0
0,B01,B02,B03における画質劣化度に対し、面積比を乗
ずることで近似する。この面積比は動きベクトルVによ
って定めることができる。ブロックの一辺をm、Vを水平
軸方向に射影した長さをVx、垂直軸方向に射影した長さ
をVyとすると、B00に対するb00の面積比は(m-Vx)*(m-V
y)/m*mと表すことができる。b01,b02,b03についても同
様である。以上より、B10の参照フレームからの劣化の
伝播項は、メモリ9に格納されているB00,B01,B02,B03の
画質劣化度を参照し、それらを動きベクトル103に従っ
て重みづけ加算した値として表される。

【００４３】画像フレーム内の全ブロックについて画質
劣化度の算出が終わった時点で、その値に基づいてフレ
ーム内符号化の対象となるブロックを選択する。選択の
尺度は、全ブロックの画質劣化の和が最小になるように
することである。ブロックの符号化モードをフレーム間
予測符号化からフレーム内符号化に変えることにより、
前フレームからの劣化伝播の影響がなくなる一方、符号
量が増大するためデータ欠損確率も増加し符号量制御に
より量子化誤差量も増大する。

【００４４】選択には二つの方法がある。一つは、算出
した画質劣化度に基づいて一括してフレーム内符号化を
行うブロックを決定する方法である。各ブロックについ
て画質劣化度が予め定めた閾値よりも大きいブロックに
対して、あるいは画質劣化度の大きい順にブロックを予
め定めた数だけ選択し、符号化モードをフレーム内符号
化とする。その後定められた符号化モードに従って、現
フレームにおける全ブロックに対して符号化を行い、現
フレームの符号化処理を終了する。

【００４５】もう一つは、ブロック符号化から画質劣化
度推定までの処理を全ブロックについて複数回行う方法
である。全ブロックの中で符号化モードがフレーム間予
測符号化であるブロックを任意に選択し、画質劣化度を
一時的に記憶した後符号化モードをフレーム内符号化に
一時的に設定する。ブロックの符号化、誤差量算出、デ
ータ欠損確率の推定および画質劣化度の推定工程を再度
画像フレーム内の全ブロックに対して行った後、注目す
るブロックの更新された画質劣化度が一時的に記憶した
画質劣化度と比較する。更新された画質劣化度が以前に
比べて減少している場合には、注目するブロックの符号
化モードをフレーム内符号化に変更し、新たにフレーム
内符号化に変更する候補ブロックの選択処理を繰り返
す。更新された画質劣化度が以前に比べて増加している
場合には、注目するブロックの符号化モードをフレーム
間予測符号化に戻して、新たに符号化モードがフレーム
間予測符号化である他のブロックを選択し、上記の操作
を行う。候補となる全てのブロックに対して符号化モー
ドを変更しても画質劣化度が増加する場合に、フレーム
の符号化処理を終了する。

【００４６】以上の処理では、フレーム内符号化に切替
える候補ブロックとして符号化モードがフレーム間予測
符号化であるブロックを任意に選択し、それを繰り返す
ことで全ブロックの画質劣化度の和が最小になるよう符
号化モードを決定したが、画質劣化度が最も大きいブロ
ックを順に選択する、もしくは最も大きいブロックから
複数個選択するなど他の選択方法をとることも可能であ
る。

【００４７】また、画質劣化度を推定する処理として、
現フレームにおける劣化期待値と、前のフレームからの
劣化伝播項と、量子化誤差パワーを単純に加算すること
で統合的な画質劣化度としたが、これらは設計時におけ
る画質の調整に応じて、適宜重みづけを変える。例え
ば、画質劣化度として量子化誤差量を用いないことで、
正常に復号できた際の画質を考慮せず常に最適な誤り耐
性を有するようにモード選択がなされる。また、前のフ
レームからの劣化伝播項に対して1を越えた値を乗ずる
ことで、前フレームからの劣化の伝播が大きいブロック
に対して優先的にフレーム内符号化を行うことにより、
劣化したブロックが複数フレームにわたって停留するの
を抑圧できる。

【００４８】また本発明において量子化誤差量105を算
出するのに、変換符号化部14に入力される信号と逆変換
符号化部18に出力される信号を用いているが、量子化部
15で用いられる量子化ステップをもとに量子化誤差量を
推定することも可能である。例えば[a-Q/2,a+Q/2)の範
囲にある値をaに量子化する場合、誤差の二乗の平均値
はQ^2/12で表される。

【００４９】次に本発明における第二の実施形態につい
て、図６および図７を用いて説明する。

【００５０】図6は本発明の第二の実施形態における処
理の流れを示すフローチャートである。

【００５１】入力画像内の各ブロックに対して符号化モ
ードをフレーム間予測符号化に初期設定した後(S12)、
ブロック毎に符号量の推定を行う(S13)。符号化データ
を復号した復号画像と入力画像との誤差である量子化誤
差および符号化データ中に誤りが発生したことを仮定し
た時の劣化画像と入力画像との誤差である劣化誤差をブ
ロック毎に算出し(S14)、これら二つの誤差とデータ欠
損確率に基づいて、誤りがある確率で発生する場合の画
質の劣化の度合と量子化による画質の劣化の度合とを統
合した画質劣化度の推定を行う(S15)。この処理を画像
フレーム内の全フレームについて行った後(S16)、画質
劣化度が減少するように符号化モードの変更を行う(S1
7)。符号化モードをフレーム内符号化に変更する候補ブ
ロックが存在する場合には、画像フレーム内の全ブロッ
クに対してブロックの符号量推定から画質劣化度の推定
を行った後改めて符号化モードの変更を行うという一連
の処理を繰り返し、候補ブロックが存在しない場合には
符号化モードの変更を終了し(S18)、その時点での符号
化モードに従ってフレーム内の全ブロックの符号化を行
って(S19)フレームの符号化処理を終了する。

【００５２】図７は本発明の第二の実施形態を示すブロ
ック図である。第二の実施形態の処理の流れについて、
図７を用いてさらに詳述する。

【００５３】図７において、本実施形態の動画像符号化
方法を実現する構成例は、図3に示す第一の実施形態の
動画像符号化符号化を実現する構成例に加えて、フレー
ム内符号化符号量推定部23、フレーム間予測符号化符号
量推定部24、フレームメモリ25、メモリ26、量子化誤差
量推定部27、同期符号位置決定部28、をさらに有する。

【００５４】画像フレームの符号化が開始し、全ブロッ
クの動き検出、劣化誤差量の算出および符号化モードの
初期設定が終わった後、ブロック毎に符号量の推定を行
う。

【００５５】フレーム内符号化符号量推定部23は、入力
画像を入力として該当するブロックに対してその符号量
の推定を行い、メモリ26に格納する。メモリ26はフレー
ム内における全ブロックの推定符号量を格納する。符号
量の推定には、ブロック内信号の分散を算出しそれを元
に行う方法などがある。また、実際の符号化同様に、変
換符号化および量子化を行い情報量を算出することも可
能である。

【００５６】フレーム間予測符号化符号量推定部24は、
フレーム間予測符号化によって得られる予測誤差信号お
よびフレーム間動き検出処理時に得られる予測誤差パワ
ー双方もしくはどちらか一方を入力として、該当するブ
ロックに対してその符号量の推定を行い、メモリ26に格
納する。フレームメモリ25は符号量の推定を行うため、
予測誤差信号を一旦格納しておく記憶部である。符号量
の推定を予測誤差パワーのみを用いて行う場合には、フ
レームメモリ25を必要としない。

【００５７】量子化誤差量推定部27は、メモリ26に格納
されているブロック毎の符号量推定値を用いて、各ブロ
ックに設定される量子化ステップを推定し、それを元に
量子化誤差量を算出する。量子化ステップの推定処理
は、通常の符号化において用いられる符号量制御方式と
同様のものを用いる。

【００５８】同期符号位置決定部28は、メモリ26に格納
されているブロック毎の符号量推定値を用いてデータ欠
損確率を算出するために、同期符号の位置を決定する。
カウンタ20は決定された同期信号から該当するブロック
までの距離を符号量としてカウントする。同期符号位置
決定部28の定めた同期符号の位置は、実際の符号化にも
反映されるため、符号変換部29に送られる。

【００５９】リフレッシュブロック選択部5は、劣化誤
差量算出部4の出力する劣化誤差量および動き補償フレ
ーム間予測部の出力する動きベクトルおよび量子化誤差
量推定部の出力する量子化誤差量およびデータ欠損確率
推定部の出力するデータ欠損確率に基づいて、全ブロッ
クについて画質劣化度の算出を行い、符号化モードの変
更を行う。符号化モードがフレーム内符号化に変更にな
ったブロックに対して符号量の推定を新たに行い、それ
を元に全ブロックの量子化誤差量およびデータ欠損確率
を推定する。第１の実施形態と同様の手続きによってブ
ロック毎の符号化モードを決定した後、フレーム内にお
ける全ブロックの符号化処理を行う。

【００６０】第一の実施形態では、候補ブロックの符号
化モードがフレーム内符号化とフレーム間予測符号化の
双方の場合について、全ブロックについて符号化を行っ
た後、画質劣化度を比較するという処理を、リフレッシ
ュブロックを決定する度に行っていた。そのため演算量
を膨大に必要にしていたのに対して、第二の実施形態で
は、ブロック毎にフレーム内符号化とフレーム間予測符
号化の双方の場合の符号量を予測することで、実際の符
号化処理を行う前に全ブロックの符号化モードを決定す
る。これにより第二の実施形態における演算量は大幅に
減少している。

【００６１】以上、本発明について二つの実施形態を用
いて説明したが、本発明は量子化誤差と劣化期待値の線
形和として表される画質劣化度を用いて強制リフレッシ
ュを行うブロックを選択する他の動画像符号化方法につ
いても適用可能である。

【００６２】

【発明の効果】以上説明したように、本発明の動画像符
号化方式によれば、強制リフレッシュの尺度となるブロ
ック毎の画質劣化度として、通常の符号化時に発生する
歪みである量子化誤差を考慮する、もしくは過去のフレ
ームからの劣化の伝播を優先的に考慮することにより、
符号化効率を考慮した効果的な強制リフレッシュが実現
でき、従来の方法に比べて誤りが発生しない場合の画質
が著しく劣化しないという効果が得られる。

【００６３】また、本発明によれば、伝送誤りに対して
発生する画質劣化の度合をブロック毎に推定し、画質劣
化の予想されるブロックに対して優先的に強制リフレッ
シュを行う。従来の手法では閾値の設定や強制リフレッ
シュを行うブロックの数など動画像の特性を考慮せず経
験的にパラメータを調整していたため、画像によっては
十分な性能を得られない危険性があったのに対して、本
発明により常に好適な強制リフレッシュを実現すること
が可能となる。

【図面の簡単な説明】

【図１】本発明の処理の流れを示すフローチャートであ
る。

【図２】本発明の第１の実施の処理の流れを示すフロー
チャートである。

【図３】本発明の第１の実施の形態のブロック図であ
る。

【図４】図３におけるリフレッシュブロック選択部の構
成を示すブロック図である。

【図５】前フレームにおける画質劣化の現フレームへの
伝播について説明する図である。

【図６】本発明の第２の実施の処理の流れを示すフロー
チャートである。

【図７】本発明の第２の実施の形態のブロック図であ
る。

【図８】従来の動画像符号化方法の処理の流れを示すフ
ローチャートである。

【図９】従来の動画像符号化方法における実施例の構成
を示すブロック図である。

【図１０】誤りが発生した際の復号器による隠蔽処理と
画質劣化について説明する図である。

【図１１】誤りが発生した際のデータ欠損確率について
説明する図である。

【符号の説明】

1,2,25 フレームメモリ 3 フレーム間動き検出部 4 劣化誤差量算出部 5 リフレッシュブロック選択部 6,9,10,26 メモリ 7 画質劣化度推定部 8,32 モード制御部 11,12 減算器 13 切替器 14 変換符号化部 15 量子化部 16,29 符号変換部 17 逆量子化部 18 逆変換符号化部 19 加算器 20 動き補償フレーム間予測部 21 カウンタ 22 データ欠損確率推定部 23 フレーム内符号化符号量推定部 24 フレーム間予測符号化符号量推定部 27 量子化誤差量推定部 28 同期符号位置決定部 30 強制リフレッシュ優先度算出部 31 強制リフレッシュマップ 101 入力画像 102 劣化誤差量 103 動きベクトル 104データ欠損確率 105 量子化誤差量 106 符号化モード 107 予測誤差画像 108 予測画像

Claims (24)

【特許請求の範囲】
1. 【請求項１】 フレーム内符号化およびフレーム間予測
   符号化の一方を、符号化単位となるブロック単位で適応
   的に選択して用いて、入力画像を符号化データに符号化
   する動画像符号化方法であって、 入力画像をフレーム毎に符号化するにおいて、符号化デ
   ータを復号した復号画像と入力画像との誤差量と、デー
   タの欠損を仮定した場合の劣化画像と入力画像との誤差
   量とをブロック毎に算出する誤差量算出工程と、 前記誤差量の両方を元に、符号化データ中に伝送誤りが
   ある確率で発生する場合の画質の劣化度合を表す画質劣
   化度をブロック毎に推定する画質劣化度推定工程と、 画質劣化度に基づいて、ブロック毎にフレーム内符号化
   およびフレーム間予測符号化のいづれを用いるかを示す
   符号化モードを制御するブロック符号化モード制御工程
   と、 前記符号化モードに従って当該フレーム内の全ブロック
   の符号化を行うフレーム符号化工程とを備えることを特
   徴とする動画像符号化方法。
2. 【請求項２】 フレーム内符号化およびフレーム間予測
   符号化の一方を、符号化単位となるブロック単位で適応
   的に選択して用いて、入力画像を符号化データに符号化
   する動画像符号化方法であって、 入力画像をフレーム毎に符号化するにおいて、符号化モ
   ードをフレーム内の全てのブロックについてフレーム間
   予測符号化に設定する符号化モード初期設定工程と、 前記符号化モードに従ってブロック毎の符号化を行うブ
   ロック符号化工程と、 符号化データを復号した復号画像と入力画像との誤差量
   と、データの欠損を仮定した場合の劣化画像と入力画像
   との誤差量とをブロック毎に算出する誤差量算出工程
   と、 前記誤差量の両方を元に、符号化データ中に伝送誤りが
   ある確率で発生する場合の画質の劣化度合を表す画質劣
   化度をブロック毎に推定する画質劣化度推定工程と、 画質劣化度に基づいてブロック毎に符号化モードをフレ
   ーム間予測符号化およびフレーム内符号化のいづれかに
   制御するブロック符号化モード制御工程を備え、 前記ブロック符号化工程と前記誤差量算出工程と前記画
   質劣化度推定工程とを全てのブロックに対して行った
   後、前記ブロック符号化モード制御工程において符号化
   モードをフレーム内符号化に変更する候補ブロックが存
   在する場合には、当該ブロックの符号化モードをフレー
   ム内符号化に変更してから前記ブロック符号化工程と前
   記誤差量算出工程と前記画質劣化度推定工程とを画像フ
   レーム内の全てのブロックに対して行った後改めて前記
   ブロック符号化モード制御工程を行う一連の処理を繰り
   返し、前記ブロック符号化モード制御工程において符号
   化モードをフレーム内符号化に変更する候補ブロックが
   存在しない場合には、当該フレームの符号化処理を終了
   することを特徴とする動画像符号化方法。
3. 【請求項３】 請求項２に記載の動画像符号化方法にお
   いて、 前記誤差量算出工程が、前記復号画像と前記入力画像と
   の前記誤差量として量子化誤差量をブロック毎に算出す
   る量子化誤差量算出処理と、前記データ欠損を仮定した
   場合の前記劣化画像と前記入力画像との前記誤差量とし
   て劣化誤差量をブロック毎に算出する劣化誤差量算出処
   理とからなり、 前記画質劣化度推定工程によって推定される画質劣化度
   が、符号化データ中の伝送誤りによる画質劣化の度合の
   期待値である劣化期待値と、量子化誤差量との線形和で
   表されることを特徴とする動画像符号化方法。
4. 【請求項４】 請求項３に記載の動画像符号化方法にお
   いて、 前記量子化誤差量算出処理が、前記ブロック符号化工程
   において得られる各ブロックの量子化ステップをもとに
   量子化誤差を推定することを特徴とする動画像符号化方
   法
5. 【請求項５】 請求項３に記載の動画像符号化方法にお
   いて、 前記劣化誤差量算出処理が、劣化画像として前フレーム
   の復号画像を用いて劣化誤差量を推定することを特徴と
   する動画像符号化方法
6. 【請求項６】 請求項３に記載の動画像符号化方法にお
   いて、 前記画質劣化度推定工程が、符号化データ中に挿入され
   る同期符号からの距離をブロック毎にカウントし、前記
   カウントした値から注目するブロックの符号化データが
   伝送中に欠損するデータ欠損確率を推定するデータ欠損
   確率推定処理をさらに有し、 注目するブロックがフレーム内符号化されている場合の
   劣化期待値を、前記劣化誤差量と前記データ欠損確率の
   積で算出し、注目するブロックがフレーム間予測符号化
   されている場合の劣化期待値を、前記劣化誤差量と前記
   データ欠損確率の積に、フレーム間予測符号化における
   動き補償処理によって参照される参照フレーム内領域の
   劣化期待値である劣化伝播項を加えた値とすることを特
   徴とする動画像符号化方法。
7. 【請求項７】 請求項６に記載の動画像符号化方法にお
   いて、 前記劣化伝播項を、動き補償処理によって参照される参
   照フレーム内領域を中に含む複数ブロックの劣化期待値
   の重みづけ平均によって算出することを特徴とする動画
   像符号化方法。
8. 【請求項８】 請求項６に記載の動画像符号化方法にお
   いて、 前記画質劣化度推定工程において、注目するブロックが
   フレーム間予測符号化されている場合の劣化期待値を、
   前記劣化誤差量と前記データ欠損確率の積に、予め定め
   た比例乗数に前記劣化伝播項を乗じた値を加えた値とす
   ることを特徴とする動画像符号化方法。
9. 【請求項９】 請求項２に記載の動画像符号化方法にお
   いて、 前記ブロック符号化モード制御工程が、画像フレーム内
   の全ブロックの画質劣化度を予め定めた閾値と比較し、
   前記閾値よりも値の大きい画質劣化度を持つブロックの
   符号化モードをフレーム内符号化に変更することを特徴
   とする動画像符号化方法。
10. 【請求項１０】 請求項２に記載の動画像符号化方法に
    おいて、 前記ブロック符号化モード制御工程が、画像フレーム内
    の全ブロックにおいて画質劣化度の大きいブロックを順
    に予め定めた数だけ選択し、当該ブロックの符号化モー
    ドをフレーム内符号化に変更することを特徴とする動画
    像符号化方法。
11. 【請求項１１】 請求項２に記載の動画像符号化方法に
    おいて、 前記ブロック符号化モード制御工程が、 画像フレーム内の全ブロックの中で符号化モードがフレ
    ーム間予測符号化であるブロックを任意に選択し、前記
    選択したブロックの符号化モードをフレーム内符号化に
    一時的に設定するフレーム内符号化ブロック候補選択処
    理と、 前記フレーム内符号化ブロック候補選択処理によって選
    択されたブロックの画質劣化度を一時的に記憶し、前記
    ブロック符号化工程、前記誤差量算出工程、および前記
    画質劣化度推定工程を再度画像フレーム内の全ブロック
    に対して行った後、前記注目するブロックの更新された
    画質劣化度が一時的に記憶した前記画質劣化度に比べて
    減少している場合には前記注目するブロックの符号化モ
    ードをフレーム内符号化に変更し、新たに前記フレーム
    内符号化ブロック候補選択処理の実行を繰り返し、前記
    注目するブロックの更新された画質劣化度が一時的に記
    憶した前記画質劣化度に比べて増加している場合には前
    記注目するブロックの符号化モードをフレーム間予測符
    号化に戻して新たに前記フレーム内符号化ブロック候補
    選択処理の実行を繰り返し、前記フレーム内符号化ブロ
    ック候補選択処理で選択可能なブロックの全てがフレー
    ム内符号化に符号化モードを変更すると画質劣化度が増
    加する場合には処理を終了するブロック符号化モード判
    定処理からなることを特徴とする動画像符号化方法。
12. 【請求項１２】 フレーム内符号化およびフレーム間予
    測符号化の一方を、符号化単位となるブロック単位で適
    応的に選択して用いて、入力画像を符号化データに符号
    化する動画像符号化方法であって、 入力画像をフレーム毎に符号化するにおいて、ブロック
    毎にフレーム内符号化およびフレーム間予測符号化のい
    づれを用いるかを示す符号化モードを画像フレーム内の
    全てのブロックについてフレーム間予測符号化に設定す
    る符号化モード初期設定工程と、 前記符号化モードに従ってブロック毎の符号量の推定を
    行うブロック符号量推定工程と、 符号化データを復号した復号画像と入力画像との誤差量
    と、データの欠損を仮定した場合の劣化画像と入力画像
    との誤差量とをブロック毎に算出する誤差量算出工程
    と、 前記誤差量の両方を元に、符号化データ中に伝送誤りが
    ある確率で発生する場合の画質劣化の度合を表す画質劣
    化度をブロック毎に推定する画質劣化度推定工程と、 画質劣化度に基づいてブロック毎に符号化モードをフレ
    ーム間予測符号化およびフレーム内符号化のいづれかに
    制御するブロック符号化モード制御工程と、 前記符号化モードに従ってブロック毎の符号化を行うブ
    ロック符号化工程とを備え、 前記ブロック符号量推定工程と前記誤差量算出工程と前
    記画質劣化度推定工程とを全てのブロックに対して行っ
    た後、前記ブロック符号化モード制御工程において符号
    化モードをフレーム内符号化に変更する候補ブロックが
    存在する場合には、当該ブロックの符号化モードをフレ
    ーム内符号化に変更してから前記ブロック符号量推定工
    程と前記誤差量算出工程と前記画質劣化度推定工程とを
    全てのブロックに対して行った後改めて前記ブロック符
    号化モード制御工程を行う一連の処理を繰り返し、前記
    ブロック符号化モード制御工程において符号化モードを
    フレーム内符号化に変更する候補ブロックが存在しない
    場合において、その時点での各ブロックの符号化モード
    に基づいて当該フレームの全ブロックのブロック符号化
    工程を行うことを特徴とする動画像符号化方法。
13. 【請求項１３】 請求項１２に記載の動画像符号化方法
    において、 前記誤差量算出工程が、前記復号画像と前記入力画像と
    の前記誤差量として量子化誤差量をブロック毎に算出す
    る量子化誤差量算出処理と、前記データの欠損を仮定し
    た場合の劣化画像と前記入力画像との前記誤差量として
    劣化誤差量をブロック毎に算出する劣化誤差量算出処理
    とからなり、 前記画質劣化度推定工程によって推定される画質劣化度
    が、符号化データ中の伝送誤りによる画質劣化の度合の
    期待値である劣化期待値と、量子化誤差量との線形和で
    表されることを特徴とする動画像符号化方法。
14. 【請求項１４】 請求項１３に記載の動画像符号化方法
    において、 前記ブロック符号量推定工程が、画像フレーム内の全ブ
    ロックの符号量の和が予め定められた目標符号量の近傍
    に収まるように各ブロックの量子化ステップを制御する
    符号量制御処理をさらに有し、前記量子化誤差量算出工
    程が、前記ブロック符号量推定工程において得られる各
    ブロックの量子化ステップを元に量子化誤差量を推定す
    ることを特徴とする動画像符号化方法。
15. 【請求項１５】 請求項１３に記載の動画像符号化方法
    において、 前記劣化誤差量算出処理が、劣化画像として前フレーム
    の復号画像を用いて劣化誤差量を推定することを特徴と
    する動画像符号化方法。
16. 【請求項１６】 請求項１３に記載の動画像符号化方法
    において、 前記画質劣化度推定工程が、 前記ブロック符号量推定工程によって得られるブロック
    毎の予測符号量をもとに、符号化データ中に挿入される
    同期符号の位置を決定する同期符号位置決定処理と、 前記同期符号からの距離をブロック毎にカウントし、前
    記カウントした値から注目するブロックの符号化データ
    が伝送中に欠損するデータ欠損確率を推定するデータ欠
    損確率推定処理をさらに有し、 注目するブロックがフレーム内符号化されている場合の
    劣化期待値を、前記劣化誤差量と前記データ欠損確率の
    積で算出し、注目するブロックがフレーム間予測符号化
    されている場合の劣化期待値を、前記劣化誤差量と前記
    データ欠損確率の積に、フレーム間予測符号化における
    動き補償処理によって参照される参照フレーム内領域の
    劣化期待値である劣化伝播項を加えた値とすることを特
    徴とする動画像符号化方法。
17. 【請求項１７】 請求項１６に記載の動画像符号化方法
    において、 前記劣化伝播項を、動き補償処理によって参照される参
    照フレーム内領域を中に含む複数ブロックの劣化期待値
    の重みづけ平均によって算出することを特徴とする動画
    像符号化方法。
18. 【請求項１８】 請求項１６に記載の動画像符号化方法
    において、 前記画質劣化度推定工程において、注目するブロックが
    フレーム間予測符号化されている場合の劣化期待値を、
    前記劣化誤差量と前記データ欠損確率の積に、予め定め
    た比例乗数に前記劣化伝播項を乗じた後に加えた値とす
    ることを特徴とする動画像符号化方法。
19. 【請求項１９】 請求項１２に記載の動画像符号化方法
    において、 前記ブロック符号化モード制御工程が、画像フレーム内
    の全ブロックの画質劣化度を予め定めた閾値と比較し、
    前記閾値よりも値の大きい画質劣化度を持つブロックの
    符号化モードをフレーム内符号化に変更することを特徴
    とする動画像符号化方法。
20. 【請求項２０】 請求項１２に記載の動画像符号化方法
    において、 前記ブロック符号化モード制御工程が、画像フレーム内
    の全ブロックにおいて画質劣化度の大きいブロックを順
    に予め定めた数だけ選択し、当該ブロックの符号化モー
    ドをフレーム内符号化に変更することを特徴とする動画
    像符号化方法。
21. 【請求項２１】 請求項１２に記載の動画像符号化方法
    において、 前記ブロック符号化モード制御工程が、 画像フレーム内の全ブロックの中で符号化モードがフレ
    ーム間予測符号化であるブロックを任意に選択し、前記
    選択したブロックの符号化モードをフレーム内符号化に
    一時的に設定するフレーム内符号化ブロック候補選択処
    理と、 前記フレーム内符号化ブロック候補選択処理によって選
    択されたブロックの画質劣化度を一時的に記憶し、前記
    ブロック符号量推定工程、前記誤差量算出工程、および
    前記画質劣化度推定工程を再度画像フレーム内の全ブロ
    ックに対して行った後、前記注目するブロックの更新さ
    れた画質劣化度が一時的に記憶した前記画質劣化度に比
    べて減少している場合には前記注目するブロックの符号
    化モードをフレーム内符号化に変更し、新たに前記フレ
    ーム内符号化ブロック候補選択処理の実行を繰り返し、
    前記注目するブロックの更新された画質劣化度が一時的
    に記憶した前記画質劣化度に比べて増加している場合に
    は前記注目するブロックの符号化モードをフレーム間予
    測符号化に戻して新たに前記フレーム内符号化ブロック
    候補選択処理の実行を繰り返し、前記フレーム内符号化
    ブロック候補選択処理で選択可能なブロックの全てがフ
    レーム内符号化に符号化モードを変更すると画質劣化度
    が増加する場合には処理を終了するブロック符号化モー
    ド判定処理からなることを特徴とする動画像符号化方
    法。
22. 【請求項２２】 請求項１２に記載の動画像符号化方法
    において、 前記ブロック符号量推定処理において、注目するブロッ
    クの符号化モードがフレーム内符号化の場合には、入力
    信号に対して変換符号化処理および量子化を行い量子化
    後の符号についてエントロピ―を算出し、前記注目する
    ブロックの符号化モードがフレーム間予測符号化の場合
    には、予測誤差信号に対し変換符号化処理および量子化
    を行い量子化後の符号についてエントロピ―を算出する
    ことで符号量の推定を行うことを特徴とする動画像符号
    化方法。
23. 【請求項２３】 請求項１２に記載の動画像符号化方法
    において、 前記ブロック符号量推定処理において、注目するブロッ
    クの符号化モードがフレーム内符号化の場合には、入力
    信号に対してその分散をもとに符号量の推定を行い、前
    記注目するブロックの符号化モードがフレーム間予測符
    号化の場合には、予測誤差信号に対してその分散をもと
    に符号量の推定を行うことを特徴とする動画像符号化方
    法。
24. 【請求項２４】 請求項１２に記載の動画像符号化方法
    において、 前記ブロック符号量推定処理において、前記注目するブ
    ロックの符号化モードがフレーム間予測符号化の場合
    に、フレーム間の動き検出において得られる動き補償後
    の予測画像と入力画像との誤差量をもとに符号量の推定
    を行うことを特徴とする動画像符号化方法。