JP2001258039A - 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 - Google Patents
可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法Info
- Publication number
- JP2001258039A JP2001258039A JP2000069973A JP2000069973A JP2001258039A JP 2001258039 A JP2001258039 A JP 2001258039A JP 2000069973 A JP2000069973 A JP 2000069973A JP 2000069973 A JP2000069973 A JP 2000069973A JP 2001258039 A JP2001258039 A JP 2001258039A
- Authority
- JP
- Japan
- Prior art keywords
- image
- rate
- encoded
- inter
- coding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 ＭＰＥＧ型符号化等の画像間予測符号化にお
いて、参照画像とならない画像のみを段階的に削除する
ことで、効率的に画像レートを変更する可変画像レート
符号化装置及び方法を提供する。 【解決手段】 参照画像とならない第２の画像の内、符
号化画像レートに応じて間引かれて残った画像について
画像間予測符号化し第２の符号列を得、参照画像となる
第１の画像を符号化した第１の符号列と前記第２の符号
列と前記符号化画像レートを示す情報とを多重化する。
いて、参照画像とならない画像のみを段階的に削除する
ことで、効率的に画像レートを変更する可変画像レート
符号化装置及び方法を提供する。 【解決手段】 参照画像とならない第２の画像の内、符
号化画像レートに応じて間引かれて残った画像について
画像間予測符号化し第２の符号列を得、参照画像となる
第１の画像を符号化した第１の符号列と前記第２の符号
列と前記符号化画像レートを示す情報とを多重化する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像を効率的に伝
送、蓄積、表示するために、画像情報をより少ない符号
量でディジタル信号にする高能率符号化、特にＭＰＥＧ
方式の様に異なった画像間予測タイプを持つ画像間予測
符号化における、可変画像レート符号化・復号化に関す
る。
送、蓄積、表示するために、画像情報をより少ない符号
量でディジタル信号にする高能率符号化、特にＭＰＥＧ
方式の様に異なった画像間予測タイプを持つ画像間予測
符号化における、可変画像レート符号化・復号化に関す
る。
【０００２】
【従来の技術】＜画像レート可変符号化＞動画像符号化
では、６４ｋｂｐｓなど特に低い転送ビットレートで符
号化する場合、入来するすべてのフレーム(画像)を符号
化せず、間引いた一部の画像のみを符号化する場合があ
る。元の画像が３０フレーム／秒（ｆｐｓ）であると、
間引きにより１５ｆｐｓ、１０ｆｐｓ、５ｆｐｓなどと
なる。この場合、間引きにより動きのスムーズさは損な
われることになるが、被符号化フレームが減るので発生
符号量を少なくすることができる。ＭＰＥＧ方式では、
画像間予測の方法を２種類持ち、Ｐピクチャーと呼ばれ
る片側方向予測と、Ｂピクチャーと呼ばれる双方向予測
が使われる。ここで、Ｂピクチャーは、他の画像の参照
画像にならないので、削除しても他の画像には影響しな
い。これにより、一度符号化された符号列から、Ｂピク
チャーの符号列のみを削除することで画像レートを変更
できる。この場合、Ｐピクチャーが３フレーム毎に設定
されていると、３０フレーム／秒が１０フレーム／秒に
なる。
では、６４ｋｂｐｓなど特に低い転送ビットレートで符
号化する場合、入来するすべてのフレーム(画像)を符号
化せず、間引いた一部の画像のみを符号化する場合があ
る。元の画像が３０フレーム／秒（ｆｐｓ）であると、
間引きにより１５ｆｐｓ、１０ｆｐｓ、５ｆｐｓなどと
なる。この場合、間引きにより動きのスムーズさは損な
われることになるが、被符号化フレームが減るので発生
符号量を少なくすることができる。ＭＰＥＧ方式では、
画像間予測の方法を２種類持ち、Ｐピクチャーと呼ばれ
る片側方向予測と、Ｂピクチャーと呼ばれる双方向予測
が使われる。ここで、Ｂピクチャーは、他の画像の参照
画像にならないので、削除しても他の画像には影響しな
い。これにより、一度符号化された符号列から、Ｂピク
チャーの符号列のみを削除することで画像レートを変更
できる。この場合、Ｐピクチャーが３フレーム毎に設定
されていると、３０フレーム／秒が１０フレーム／秒に
なる。
【０００３】＜従来例可変フレームレート符号化装置＞
図４は可変フレームレート符号化装置の従来例構成を示
したものである。画像入力端子１より入来する３０フレ
ーム／秒(ｆｐｓ)の動画像信号は、画像間引器４１で１
／２ないし１／３に間引かれ１５ｆｐｓないし１０ｆｐ
ｓの動画像信号となり、減算器３と動きベクトル(ＭＶ)
検出器４２に与えられる。動画像信号は、減算器３にお
いて動き補償予測器４３から与えられる予測信号が減算
され、予測残差となってＤＣＴ４に与えられる。ＤＣＴ
４は予測残差に対してＤＣＴ(Discrete Cosine Transfo
rm)の変換処理を行い、得られた係数を量子化器５に与
える。量子化器５は所定のステップ幅で係数を量子化
し、固定長の符号となった係数を可変長符号化器６と逆
量子化器９に与える。可変長符号化器６は、固定長の予
測残差を可変長符号で圧縮し、できた符号は出力端子１
４から出力される。一方、逆量子化器９及び逆ＤＣＴ１
２ではＤＣＴ４及び量子化器５の逆処理が行われ、予測
残差を再生する。得られた再生予測残差は加算器１１で
予測信号が加算され再生画像（局部復号画像）となり、
画像間予測器４３に与えられる。画像間予測器４３は、
再生画像（参照画像となる画像）を１フレーム分蓄え、
ＭＶ検出器４２から与えられるＭＶ(Motion Vector)に
従って動き補償を行い、得られた予測信号を減算器３と
加算器１１に与える。ＭＶ検出器４２は、被符号化フレ
ームに対する参照フレームの空間移動量を１６×１６画
素ブロック毎に求めて、ＭＶとして画像間予測器４２に
与える。この様な符号化で出力される符号列は、画像間
引器４１で間引かれたフレームレートとなっている。
図４は可変フレームレート符号化装置の従来例構成を示
したものである。画像入力端子１より入来する３０フレ
ーム／秒(ｆｐｓ)の動画像信号は、画像間引器４１で１
／２ないし１／３に間引かれ１５ｆｐｓないし１０ｆｐ
ｓの動画像信号となり、減算器３と動きベクトル(ＭＶ)
検出器４２に与えられる。動画像信号は、減算器３にお
いて動き補償予測器４３から与えられる予測信号が減算
され、予測残差となってＤＣＴ４に与えられる。ＤＣＴ
４は予測残差に対してＤＣＴ(Discrete Cosine Transfo
rm)の変換処理を行い、得られた係数を量子化器５に与
える。量子化器５は所定のステップ幅で係数を量子化
し、固定長の符号となった係数を可変長符号化器６と逆
量子化器９に与える。可変長符号化器６は、固定長の予
測残差を可変長符号で圧縮し、できた符号は出力端子１
４から出力される。一方、逆量子化器９及び逆ＤＣＴ１
２ではＤＣＴ４及び量子化器５の逆処理が行われ、予測
残差を再生する。得られた再生予測残差は加算器１１で
予測信号が加算され再生画像（局部復号画像）となり、
画像間予測器４３に与えられる。画像間予測器４３は、
再生画像（参照画像となる画像）を１フレーム分蓄え、
ＭＶ検出器４２から与えられるＭＶ(Motion Vector)に
従って動き補償を行い、得られた予測信号を減算器３と
加算器１１に与える。ＭＶ検出器４２は、被符号化フレ
ームに対する参照フレームの空間移動量を１６×１６画
素ブロック毎に求めて、ＭＶとして画像間予測器４２に
与える。この様な符号化で出力される符号列は、画像間
引器４１で間引かれたフレームレートとなっている。
【０００４】＜従来例可変フレームレート復号化装置＞
図５は、図４の可変レート符号化装置に対応する復号化
装置の従来例構成を示したものである。符号入力端子２
１より入来する動き補償予測符号化された符号列は、可
変長復号化器２３で予測残差の可変長符号が固定長の符
号に戻され、逆量子化器２４に与えられる。固定長符号
は逆量子化器２４で予測残差の再生ＤＣＴ係数値とな
り、逆ＤＣＴ２５に与えられる。逆ＤＣＴ２５は８×８
個の係数を再生予測残差信号に変換し、加算器２６に与
える。加算器２６では再生予測残差信号に、画像間予測
器５１から与えられる予測信号が加算され、再生画像と
なる。この様にして得られた再生画像信号は、画像間予
測器５１に与えられる共に画像補間器５２に与えられ
る。画像間予測器５１は、蓄積されている画像をＭＶに
基づいて動き補償し、予測信号を形成する。一方、画像
補間器５２は、再生画像を保持し、次の再生画像が与え
られるまでの間、３０ｆｐｓで繰り返し同一の再生画像
を画像出力端子３０から出力する
図５は、図４の可変レート符号化装置に対応する復号化
装置の従来例構成を示したものである。符号入力端子２
１より入来する動き補償予測符号化された符号列は、可
変長復号化器２３で予測残差の可変長符号が固定長の符
号に戻され、逆量子化器２４に与えられる。固定長符号
は逆量子化器２４で予測残差の再生ＤＣＴ係数値とな
り、逆ＤＣＴ２５に与えられる。逆ＤＣＴ２５は８×８
個の係数を再生予測残差信号に変換し、加算器２６に与
える。加算器２６では再生予測残差信号に、画像間予測
器５１から与えられる予測信号が加算され、再生画像と
なる。この様にして得られた再生画像信号は、画像間予
測器５１に与えられる共に画像補間器５２に与えられ
る。画像間予測器５１は、蓄積されている画像をＭＶに
基づいて動き補償し、予測信号を形成する。一方、画像
補間器５２は、再生画像を保持し、次の再生画像が与え
られるまでの間、３０ｆｐｓで繰り返し同一の再生画像
を画像出力端子３０から出力する
【０００５】
【発明が解決しようとする課題】従来の可変画像レート
符号化装置は、画像間引き後にＰピクチャーとＢピクチ
ャーとの予測符号化が行われるので、画像レートの変化
により画像間予測の距離が変化し、画像レートを下げる
と距離が長くなるので、予測誤差が増加して１画像あた
りの発生符号量が増加するので、結果的に発生符号量が
あまり下がらない。ＭＰＥＧ型の場合、Ｂフレームを削
除すると、画像レートが下がりすぎ実用的な画質となら
ない。また、多段階に画像レートを変えることが困難で
あった。本発明は以上の点に着目してなされたもので、
ＭＰＥＧ型符号化等の画像間予測符号化において、参照
画像とならない画像のみを段階的に削除することで、効
率的に画像レートを変更する可変画像レート符号化装置
及び方法を提供することを目的とする。さらに、本発明
は、ＭＰＥＧ型符号化等の画像間予測符号化において参
照画像とならない画像のみを段階的に削除して符号化さ
れた符号列を復号する可変画像レート復号化装置及び方
法を提供することを目的とする。
符号化装置は、画像間引き後にＰピクチャーとＢピクチ
ャーとの予測符号化が行われるので、画像レートの変化
により画像間予測の距離が変化し、画像レートを下げる
と距離が長くなるので、予測誤差が増加して１画像あた
りの発生符号量が増加するので、結果的に発生符号量が
あまり下がらない。ＭＰＥＧ型の場合、Ｂフレームを削
除すると、画像レートが下がりすぎ実用的な画質となら
ない。また、多段階に画像レートを変えることが困難で
あった。本発明は以上の点に着目してなされたもので、
ＭＰＥＧ型符号化等の画像間予測符号化において、参照
画像とならない画像のみを段階的に削除することで、効
率的に画像レートを変更する可変画像レート符号化装置
及び方法を提供することを目的とする。さらに、本発明
は、ＭＰＥＧ型符号化等の画像間予測符号化において参
照画像とならない画像のみを段階的に削除して符号化さ
れた符号列を復号する可変画像レート復号化装置及び方
法を提供することを目的とする。
【０００６】
【課題を解決するための手段】そこで、上記課題を解決
するために本発明は、下記の装置及び方法を提供するも
のである。 ［１］ 入来動画像に対して画像間予測の参照画像とな
る第１の画像を所定画像間隔で設定し第１の画像を符号
化すると共に、前記第１の画像以外の画像を第２の画像
として符号化する符号化装置において、（対応図は図
１） 前記第１の画像を画像内独立符号化または片側方向の画
像間予測符号化し、第１の符号列を得る第１の符号化手
段と、（３、４、５、６） 前記入来動画像の動きの程度に応じて符号化画像レート
を設定する画像レート設定手段と、（１５） 前記第２の画像の内、前記符号化画像レートに応じて間
引かれて残った画像について、前記第１の画像または前
記第１の画像の局部復号画像を参照画像として双方向の
画像間予測符号化し、符号化結果である第２の符号列を
得る第２の符号化手段と、（１６、１７，１８、１９、
２０） 前記第１の符号列と前記第２の符号列と前記符号化画像
レートを示す情報とを多重化する多重化手段と、（１
３）を設けたことを特徴とする可変画像レート符号化装
置。 ［２］ 入来動画像に対して画像間予測の参照画像とな
る第１の画像を所定画像間隔で設定し第１の画像を符号
化すると共に、前記第１の画像以外の画像を第２の画像
として符号化する符号化装置において、（対応図は図
３） 前記第１の画像を画像内独立符号化または片側方向の画
像間予測符号化し、第１の符号列を得る第１の符号化手
段と、（３、４、５、６） 前記入来動画像の動きの程度に応じて符号化画像レート
を設定する画像レート設定手段と、（１５） 前記第１の画像または前記第１の画像の局部復号画像を
参照画像として前記第２の画像を双方向の画像間予測符
号化して得た符号列から、前記符号化画像レートに応じ
て間引いて第２の符号列を得る第２の符号化手段と、
（１７，１８、１９、２０、３１） 前記第１の符号列と前記第２の符号列と前記符号化画像
レートを示す情報とを多重化する多重化手段と、（１
３）を設けたことを特徴とする可変画像レート符号化装
置。 ［３］ 符号化対象となる動画像に対して画像間予測の
参照画像となる第１の画像が所定間隔で設定されてこの
第１の画像が符号化された第１の符号列と、前記第１の
画像以外の画像である第２の画像が画像間予測符号化さ
れた符号列であって、かつ、符号化画像レートに応じて
間引かれた符号列である第２の符号列と、前記符号化画
像レートを示す情報とが多重化された符号列を復号化す
る復号化装置であって、（対応図は図２） 前記多重化された符号列を復号化し、再生動画像を得る
動画像復号手段と、（２３、２４、２５、２６、２７） 前記多重化された符号列から前記符号化画像レートを示
す情報を分離して画像の間引きの程度を判断し、補間の
割合を設定する画像補間レート設定手段と、（２８） 前記設定された補間の割合に応じて前記再生動画像を補
間して、所定レートの動画像を出力する画像再生手段
と、（２９）を設けたことを特徴とする可変画像レート
復号化装置。 ［４］ 入来動画像に対して画像間予測の参照画像とな
る第１の画像を所定画像間隔で設定し第１の画像を符号
化すると共に、前記第１の画像以外の画像を第２の画像
として符号化する符号化方法において、前記第１の画像
を画像内独立符号化または片側方向の画像間予測符号化
して第１の符号列を得ると共に、前記入来動画像の動き
の程度に応じて符号化画像レートを設定し、前記第２の
画像の内、前記符号化画像レートに応じて間引かれて残
った画像について、前記第１の画像または前記第１の画
像の局部復号画像を参照画像として双方向の画像間予測
符号化し、符号化結果である第２の符号列を得、前記第
１の符号列と前記第２の符号列と前記符号化画像レート
を示す情報とを多重化する、ことを特徴とする可変画像
レート符号化方法。 ［５］ 入来動画像に対して画像間予測の参照画像とな
る第１の画像を所定画像間隔で設定し第１の画像を符号
化すると共に、前記第１の画像以外の画像を第２の画像
として符号化する符号化方法において、前記第１の画像
を画像内独立符号化または片側方向の画像間予測符号化
して第１の符号列を得ると共に、前記入来動画像の動き
の程度に応じて符号化画像レートを設定し、前記第１の
画像または前記第１の画像の局部復号画像を参照画像と
して前記第２の画像を双方向の画像間予測符号化して得
た符号列から、前記符号化画像レートに応じて間引いて
第２の符号列を得、前記第１の符号列と前記第２の符号
列と前記符号化画像レートを示す情報とを多重化する、
ことを特徴とする可変画像レート符号化方法。 ［６］ 符号化対象となる動画像に対して画像間予測の
参照画像となる第１の画像が所定間隔で設定されてこの
第１の画像が符号化された第１の符号列と、前記第１の
画像以外の画像である第２の画像が画像間予測符号化さ
れた符号列であって、かつ、符号化画像レートに応じて
間引かれた符号列である第２の符号列と、前記符号化画
像レートを示す情報とが多重化された符号列を復号化す
る復号化方法であって、前記多重化された符号列を復号
化し、再生動画像を得、前記多重化された符号列から前
記符号化画像レートを示す情報を分離して画像の間引き
の程度を判断し、補間の割合を設定し、前記設定された
補間の割合に応じて前記再生動画像を補間して、所定レ
ートの動画像を得る、ことを特徴とする可変画像レート
復号化方法。
するために本発明は、下記の装置及び方法を提供するも
のである。 ［１］ 入来動画像に対して画像間予測の参照画像とな
る第１の画像を所定画像間隔で設定し第１の画像を符号
化すると共に、前記第１の画像以外の画像を第２の画像
として符号化する符号化装置において、（対応図は図
１） 前記第１の画像を画像内独立符号化または片側方向の画
像間予測符号化し、第１の符号列を得る第１の符号化手
段と、（３、４、５、６） 前記入来動画像の動きの程度に応じて符号化画像レート
を設定する画像レート設定手段と、（１５） 前記第２の画像の内、前記符号化画像レートに応じて間
引かれて残った画像について、前記第１の画像または前
記第１の画像の局部復号画像を参照画像として双方向の
画像間予測符号化し、符号化結果である第２の符号列を
得る第２の符号化手段と、（１６、１７，１８、１９、
２０） 前記第１の符号列と前記第２の符号列と前記符号化画像
レートを示す情報とを多重化する多重化手段と、（１
３）を設けたことを特徴とする可変画像レート符号化装
置。 ［２］ 入来動画像に対して画像間予測の参照画像とな
る第１の画像を所定画像間隔で設定し第１の画像を符号
化すると共に、前記第１の画像以外の画像を第２の画像
として符号化する符号化装置において、（対応図は図
３） 前記第１の画像を画像内独立符号化または片側方向の画
像間予測符号化し、第１の符号列を得る第１の符号化手
段と、（３、４、５、６） 前記入来動画像の動きの程度に応じて符号化画像レート
を設定する画像レート設定手段と、（１５） 前記第１の画像または前記第１の画像の局部復号画像を
参照画像として前記第２の画像を双方向の画像間予測符
号化して得た符号列から、前記符号化画像レートに応じ
て間引いて第２の符号列を得る第２の符号化手段と、
（１７，１８、１９、２０、３１） 前記第１の符号列と前記第２の符号列と前記符号化画像
レートを示す情報とを多重化する多重化手段と、（１
３）を設けたことを特徴とする可変画像レート符号化装
置。 ［３］ 符号化対象となる動画像に対して画像間予測の
参照画像となる第１の画像が所定間隔で設定されてこの
第１の画像が符号化された第１の符号列と、前記第１の
画像以外の画像である第２の画像が画像間予測符号化さ
れた符号列であって、かつ、符号化画像レートに応じて
間引かれた符号列である第２の符号列と、前記符号化画
像レートを示す情報とが多重化された符号列を復号化す
る復号化装置であって、（対応図は図２） 前記多重化された符号列を復号化し、再生動画像を得る
動画像復号手段と、（２３、２４、２５、２６、２７） 前記多重化された符号列から前記符号化画像レートを示
す情報を分離して画像の間引きの程度を判断し、補間の
割合を設定する画像補間レート設定手段と、（２８） 前記設定された補間の割合に応じて前記再生動画像を補
間して、所定レートの動画像を出力する画像再生手段
と、（２９）を設けたことを特徴とする可変画像レート
復号化装置。 ［４］ 入来動画像に対して画像間予測の参照画像とな
る第１の画像を所定画像間隔で設定し第１の画像を符号
化すると共に、前記第１の画像以外の画像を第２の画像
として符号化する符号化方法において、前記第１の画像
を画像内独立符号化または片側方向の画像間予測符号化
して第１の符号列を得ると共に、前記入来動画像の動き
の程度に応じて符号化画像レートを設定し、前記第２の
画像の内、前記符号化画像レートに応じて間引かれて残
った画像について、前記第１の画像または前記第１の画
像の局部復号画像を参照画像として双方向の画像間予測
符号化し、符号化結果である第２の符号列を得、前記第
１の符号列と前記第２の符号列と前記符号化画像レート
を示す情報とを多重化する、ことを特徴とする可変画像
レート符号化方法。 ［５］ 入来動画像に対して画像間予測の参照画像とな
る第１の画像を所定画像間隔で設定し第１の画像を符号
化すると共に、前記第１の画像以外の画像を第２の画像
として符号化する符号化方法において、前記第１の画像
を画像内独立符号化または片側方向の画像間予測符号化
して第１の符号列を得ると共に、前記入来動画像の動き
の程度に応じて符号化画像レートを設定し、前記第１の
画像または前記第１の画像の局部復号画像を参照画像と
して前記第２の画像を双方向の画像間予測符号化して得
た符号列から、前記符号化画像レートに応じて間引いて
第２の符号列を得、前記第１の符号列と前記第２の符号
列と前記符号化画像レートを示す情報とを多重化する、
ことを特徴とする可変画像レート符号化方法。 ［６］ 符号化対象となる動画像に対して画像間予測の
参照画像となる第１の画像が所定間隔で設定されてこの
第１の画像が符号化された第１の符号列と、前記第１の
画像以外の画像である第２の画像が画像間予測符号化さ
れた符号列であって、かつ、符号化画像レートに応じて
間引かれた符号列である第２の符号列と、前記符号化画
像レートを示す情報とが多重化された符号列を復号化す
る復号化方法であって、前記多重化された符号列を復号
化し、再生動画像を得、前記多重化された符号列から前
記符号化画像レートを示す情報を分離して画像の間引き
の程度を判断し、補間の割合を設定し、前記設定された
補間の割合に応じて前記再生動画像を補間して、所定レ
ートの動画像を得る、ことを特徴とする可変画像レート
復号化方法。
【０００７】
【発明の実施の形態】本発明では、画像間予測符号化、
例えば、参照画像とならないＢピクチャーを多く設定し
たＭＰＥＧ型符号化において、Ｂピクチャーのみを段階
的に削除する（間引く）ようにしたので、参照画像とな
るＰピクチャーはそのままで影響を受けない。また、Ｂ
ピクチャーはもともとお互いに影響を与えないので、残
ったＢピクチャーの画像間予測処理もＢピクチャーを削
除しない場合と変化しない。つまり、本発明では、基本
的画像間予測構造は保持されたまま、画像の削除が行わ
れる。本発明は、Ｂピクチャーの間引きの程度を多段階
に変えることにより、時間的均一性を保ちながら画像レ
ートを調節でき、その画像レートを数ピクチャー毎に変
えられるので、動きの視覚的検知能力に対して過不足の
ない画像レートが得られる。また、本発明の復号化にお
いては、符号列から間引きの程度を判断して、目的とす
る出力レートに合わせて補間するので、不連続な動きと
なることなくスムーズな再生画像が得られる。
例えば、参照画像とならないＢピクチャーを多く設定し
たＭＰＥＧ型符号化において、Ｂピクチャーのみを段階
的に削除する（間引く）ようにしたので、参照画像とな
るＰピクチャーはそのままで影響を受けない。また、Ｂ
ピクチャーはもともとお互いに影響を与えないので、残
ったＢピクチャーの画像間予測処理もＢピクチャーを削
除しない場合と変化しない。つまり、本発明では、基本
的画像間予測構造は保持されたまま、画像の削除が行わ
れる。本発明は、Ｂピクチャーの間引きの程度を多段階
に変えることにより、時間的均一性を保ちながら画像レ
ートを調節でき、その画像レートを数ピクチャー毎に変
えられるので、動きの視覚的検知能力に対して過不足の
ない画像レートが得られる。また、本発明の復号化にお
いては、符号列から間引きの程度を判断して、目的とす
る出力レートに合わせて補間するので、不連続な動きと
なることなくスムーズな再生画像が得られる。
【０００８】＜可変画像レート符号化装置の第１の実施
例＞可変画像レート符号化装置の第１の実施例である動
き補償符号化装置について説明する。図１は、その構成
を示したもので、図４の従来例と同一構成要素には同一
付番を記してある。図１には、図４と比較してＢピクチ
ャー符号化系である画像メモリ８、減算器１７、ＤＣＴ
１８、量子化器１９、可変長符号化器２０、多重化器１
３が追加されている。また、画像間引器１６が減算器１
７の前段にあり、レート設定器１５が新たに存在する。
実施例において、従来例と異なるのは双方向の画像間予
測での画像構成である。予測残差の符号化方法は基本的
に同じである。画像入力端子１より入来する動画像信号
は、スイッチ２により、６フレーム毎に１フレーム設定
されるＩピクチャー（画像内独立符号化画像）及びＰピ
クチャーでは減算器３に、Ｂピクチャーでは画像メモリ
８に与えられる。入来画像信号は、４８０ｐ方式と呼ば
れる７２０画素×４８０画素、毎秒６０フレームの画像
とする。Ｐピクチャーでは、入来画像信号は減算器３に
おいて画像間予測器１０から与えられる予測信号が減算
され、予測残差となってＤＣＴ４に与えられる。Ｉピク
チャーでは予測信号が０と設定され、入来画像信号がそ
のままＤＣＴ４に与えられる。ＤＣＴ４は、予測残差に
ＤＣＴ(Discrete Cosine Transform)の変換処理を行
い、得られた係数を量子化器５に与える。量子化器５は
所定のステップ幅で係数を量子化し、固定長の符号とな
った係数を可変長符号化器６と逆量子化器９に与える。
可変長符号化器６は、固定長の予測残差を可変長符号で
圧縮し、できた符号列は多重化器１４に与えられる。一
方、逆量子化器９及び逆ＤＣＴ１２ではＤＣＴ４及び量
子化器５の逆処理が行われ、予測残差を再生する。得ら
れた再生予測残差は加算器１１で予測信号が加算され再
生画像となり、画像間予測器１０に与えられる。画像間
予測器１０は、動きベクトル(ＭＶ)検出器７から与えら
れるＭＶに従って蓄えられている再生画像信号から動き
補償された予測信号を作り、減算器３と加算器１１に与
える。ＭＶ検出器７は、被符号化フレームに対する参照
フレームの空間移動量を１６×１６画素ブロック毎に求
めて、ＭＶ(Motion Vector)として画像間予測器１０と
レート設定器１５に与える。Ｂピクチャーの被符号化画
像信号は、画像メモリ８で先行するＰ(Ｉ)ピクチャーの
符号化が完了するまで待機させられる。Ｐ(Ｉ)ピクチャ
ーが６フレーム毎なら、５フレーム分の画像信号が、６
フレームの間保持される。その後、画像間引き器で所定
画像レートに間引かれ、減算器１７に与えられる。減算
器１７、ＤＣＴ１８、量子化器１９、可変長符号化器２
０の動作は、減算器３、ＤＣＴ４、量子化器５、可変長
符号化器６と基本的に同じで、量子化のパラメータのみ
異なる。このようにして得られた符号列は多重化器１３
でＰ(Ｉ)ピクチャの符号列と多重化される。画像レート
設定器１５から出力される符号化の画像レートの情報も
多重化器１３で多重化される。その際、そのまま画像レ
ート値を情報としても良いが、各ピクチャーのピクチャ
ー番号を間引いた形の画像番号情報にしても良い。
例＞可変画像レート符号化装置の第１の実施例である動
き補償符号化装置について説明する。図１は、その構成
を示したもので、図４の従来例と同一構成要素には同一
付番を記してある。図１には、図４と比較してＢピクチ
ャー符号化系である画像メモリ８、減算器１７、ＤＣＴ
１８、量子化器１９、可変長符号化器２０、多重化器１
３が追加されている。また、画像間引器１６が減算器１
７の前段にあり、レート設定器１５が新たに存在する。
実施例において、従来例と異なるのは双方向の画像間予
測での画像構成である。予測残差の符号化方法は基本的
に同じである。画像入力端子１より入来する動画像信号
は、スイッチ２により、６フレーム毎に１フレーム設定
されるＩピクチャー（画像内独立符号化画像）及びＰピ
クチャーでは減算器３に、Ｂピクチャーでは画像メモリ
８に与えられる。入来画像信号は、４８０ｐ方式と呼ば
れる７２０画素×４８０画素、毎秒６０フレームの画像
とする。Ｐピクチャーでは、入来画像信号は減算器３に
おいて画像間予測器１０から与えられる予測信号が減算
され、予測残差となってＤＣＴ４に与えられる。Ｉピク
チャーでは予測信号が０と設定され、入来画像信号がそ
のままＤＣＴ４に与えられる。ＤＣＴ４は、予測残差に
ＤＣＴ(Discrete Cosine Transform)の変換処理を行
い、得られた係数を量子化器５に与える。量子化器５は
所定のステップ幅で係数を量子化し、固定長の符号とな
った係数を可変長符号化器６と逆量子化器９に与える。
可変長符号化器６は、固定長の予測残差を可変長符号で
圧縮し、できた符号列は多重化器１４に与えられる。一
方、逆量子化器９及び逆ＤＣＴ１２ではＤＣＴ４及び量
子化器５の逆処理が行われ、予測残差を再生する。得ら
れた再生予測残差は加算器１１で予測信号が加算され再
生画像となり、画像間予測器１０に与えられる。画像間
予測器１０は、動きベクトル(ＭＶ)検出器７から与えら
れるＭＶに従って蓄えられている再生画像信号から動き
補償された予測信号を作り、減算器３と加算器１１に与
える。ＭＶ検出器７は、被符号化フレームに対する参照
フレームの空間移動量を１６×１６画素ブロック毎に求
めて、ＭＶ(Motion Vector)として画像間予測器１０と
レート設定器１５に与える。Ｂピクチャーの被符号化画
像信号は、画像メモリ８で先行するＰ(Ｉ)ピクチャーの
符号化が完了するまで待機させられる。Ｐ(Ｉ)ピクチャ
ーが６フレーム毎なら、５フレーム分の画像信号が、６
フレームの間保持される。その後、画像間引き器で所定
画像レートに間引かれ、減算器１７に与えられる。減算
器１７、ＤＣＴ１８、量子化器１９、可変長符号化器２
０の動作は、減算器３、ＤＣＴ４、量子化器５、可変長
符号化器６と基本的に同じで、量子化のパラメータのみ
異なる。このようにして得られた符号列は多重化器１３
でＰ(Ｉ)ピクチャの符号列と多重化される。画像レート
設定器１５から出力される符号化の画像レートの情報も
多重化器１３で多重化される。その際、そのまま画像レ
ート値を情報としても良いが、各ピクチャーのピクチャ
ー番号を間引いた形の画像番号情報にしても良い。
【０００９】＜画像レート制御と間引き処理＞画像レー
ト設定器１５は入来するＭＶから画像レートを設定す
る。設定はひとつのＰピクチャーとＰピクチャーの間
(セグメントと呼ぶ)、時間にして０.１秒単位に行われ
る。設定の元となる情報は、Ｐピクチャーの予測に使わ
れるＭＶである。ここで、間引き対象となるのはＢピク
チャーであり、間引き後の画像が均一になるため次の様
な４種類の画像レートとそれに対応した間引きパターン
がある。画像レートはｆｐｓ(frames per second)を単
位とする。 ６０ｆｐｓ：間引きなしですべて残存 ３０ｆｐｓ：２つのＢピクチャーを残存 ２０ｆｐｓ：１つのＢピクチャーのみ残存 １０ｆｐｓ：全てのＢピクチャーを削除 画像レートにより、どのＢピクチャーが間引かれるかを
図６に示すが、前後のＰ(Ｉ)ピクチャは必ずあるので、
それを含めて残った画像が均等間隔となるように予め決
められている。次に、画像レート（転送レート）の設定
について説明する。動画像信号は毎秒６０フレーム(フ
ィールド)が基本であるが、この値は面フリッカの検知
限界から来るものであり、画像のすべての動きでそれが
必要なわけではない。実際、映画フィルムが２４ｆｐｓ
であることからも推測できるが、３０ｆｐｓで動きの劣
化(不自然さ)が検知されるのは早い動きの場合のみで、
２０ｆｐｓでも大きな劣化とはならない。しかし、１０
ｆｐｓは静止に近い場合以外で動きの劣化が気になる。
従って、早い動きがある場合のみ６０ｆｐｓとし、動き
が多い場合は３０ｆｐｓ、動きが少ない場合は２０ｆｐ
ｓ、動きがほとんどない場合に１０ｆｐｓとする。この
制御を適切に行うことで、動き劣化がほとんど気になら
ない再生画像が得られる。具体的にはＰピクチャーの符
号化で用いるＭＶの水平成分ＭＶｘ(ｉ,ｊ)、垂直成分
ＭＶｙ(ｉ,ｊ)から転送レートを求める。なお、ＭＶｘ
(ｉ,ｊ)、ＭＶｙ(ｉ,ｊ)の値は１画素の動きが１.０、
ｉは１フレーム内のブロック水平位置、ｊは１フレーム
内のブロック垂直位置とする。 ・手法１：画面全体の動きアクティビティＭＡを次式で
求め、その値と閾値から決める。
ト設定器１５は入来するＭＶから画像レートを設定す
る。設定はひとつのＰピクチャーとＰピクチャーの間
(セグメントと呼ぶ)、時間にして０.１秒単位に行われ
る。設定の元となる情報は、Ｐピクチャーの予測に使わ
れるＭＶである。ここで、間引き対象となるのはＢピク
チャーであり、間引き後の画像が均一になるため次の様
な４種類の画像レートとそれに対応した間引きパターン
がある。画像レートはｆｐｓ(frames per second)を単
位とする。 ６０ｆｐｓ：間引きなしですべて残存 ３０ｆｐｓ：２つのＢピクチャーを残存 ２０ｆｐｓ：１つのＢピクチャーのみ残存 １０ｆｐｓ：全てのＢピクチャーを削除 画像レートにより、どのＢピクチャーが間引かれるかを
図６に示すが、前後のＰ(Ｉ)ピクチャは必ずあるので、
それを含めて残った画像が均等間隔となるように予め決
められている。次に、画像レート（転送レート）の設定
について説明する。動画像信号は毎秒６０フレーム(フ
ィールド)が基本であるが、この値は面フリッカの検知
限界から来るものであり、画像のすべての動きでそれが
必要なわけではない。実際、映画フィルムが２４ｆｐｓ
であることからも推測できるが、３０ｆｐｓで動きの劣
化(不自然さ)が検知されるのは早い動きの場合のみで、
２０ｆｐｓでも大きな劣化とはならない。しかし、１０
ｆｐｓは静止に近い場合以外で動きの劣化が気になる。
従って、早い動きがある場合のみ６０ｆｐｓとし、動き
が多い場合は３０ｆｐｓ、動きが少ない場合は２０ｆｐ
ｓ、動きがほとんどない場合に１０ｆｐｓとする。この
制御を適切に行うことで、動き劣化がほとんど気になら
ない再生画像が得られる。具体的にはＰピクチャーの符
号化で用いるＭＶの水平成分ＭＶｘ(ｉ,ｊ)、垂直成分
ＭＶｙ(ｉ,ｊ)から転送レートを求める。なお、ＭＶｘ
(ｉ,ｊ)、ＭＶｙ(ｉ,ｊ)の値は１画素の動きが１.０、
ｉは１フレーム内のブロック水平位置、ｊは１フレーム
内のブロック垂直位置とする。 ・手法１：画面全体の動きアクティビティＭＡを次式で
求め、その値と閾値から決める。
【００１０】
【数１】
【００１１】ｋは標準値を１とするが、量子化ステップ
幅のパラメータなどにより変更しても良い。この場合
の、ＭＡの変化と画像レート及び符号化画像の例を図８
に示す。 ・手法２：画面全体が動いていなくても、一般に動いて
いる部分は注視点となるので、最も早い動きが重要にな
る。そこで、早い動きのブロックがどの程度あるかによ
って判断する。各ブロックの動きの程度ＭＶＤ(ｉ，ｊ)
を求め、その分布から判断する。
幅のパラメータなどにより変更しても良い。この場合
の、ＭＡの変化と画像レート及び符号化画像の例を図８
に示す。 ・手法２：画面全体が動いていなくても、一般に動いて
いる部分は注視点となるので、最も早い動きが重要にな
る。そこで、早い動きのブロックがどの程度あるかによ
って判断する。各ブロックの動きの程度ＭＶＤ(ｉ，ｊ)
を求め、その分布から判断する。
【００１２】
【数２】
【００１３】ｋは手法１と同様である。以上は基本レー
トが６０ｆｐｓ、Ｐ(Ｉ)ピクチャー間隔(Ｍ)が６の場合
の場合であるが、他の画像レート、Ｍの場合もある。例
えば５０ｆｐｓ、Ｍ＝４の場合は、 ５０ｆｐｓ：間引きなしですべて残存 ２５ｆｐｓ：１つのＢピクチャーを残存 １２.５ｆｐｓ：全てのＢピクチャーを削除 となる。
トが６０ｆｐｓ、Ｐ(Ｉ)ピクチャー間隔(Ｍ)が６の場合
の場合であるが、他の画像レート、Ｍの場合もある。例
えば５０ｆｐｓ、Ｍ＝４の場合は、 ５０ｆｐｓ：間引きなしですべて残存 ２５ｆｐｓ：１つのＢピクチャーを残存 １２.５ｆｐｓ：全てのＢピクチャーを削除 となる。
【００１４】＜転送ビットレートの変化＞この様なＢピ
クチャーの間引きで転送レートがどのように変化するか
を示す。まず可変転送レートなどでＢフレームの削除が
そのまま転送ビットレートの削減になる場合である。Ｉ
ピクチャー、Ｐピクチャー、Ｂピクチャーの符号量の比
率は、画像の状態により大きく変化するが、Ｉピクチャ
ーはＰピクチャーの３倍程度、ＰピクチャーはＢピクチ
ャーの３倍程度である。削除のない元のビットレートを
６.０Ｍｂｐｓとすると、Ｉピクチャーが平均７００ｋ
ｂｉｔ、Ｐピクチャーが平均２００ｋｂｉｔ、Ｂピクチ
ャーが平均６０ｋｂｉｔ程度となる。この場合、３０ｆ
ｐｓだと１セグメントあたり３フレームのＢピクチャー
が削除されるので、６０ｋ×３で１８０ｋｂｉｔが０.
１秒間で削減され、４.２Ｍｂｐｓとなる。同様に２０
ｆｐｓだと４フレームのＢピクチャーが削除されるの
で、６０ｋ×４で２４０ｋｂｉｔが削減され、３.６Ｍ
ｂｐｓとなる。また、１０ｆｐｓだと１セグメントあた
り５フレームのＢピクチャーが削除されるので、６０ｋ
×５で３００ｋｂｉｔが削減され、３.０Ｍｂｐｓとな
る。このように画像レートの制御により５０％ぐらいま
での削減が多段階に行われることになる。ただし、画像
レートが下げられる動きの少ないセグメントは、Ｂピク
チャーの符号量がそもそも少ない場合が多いので、削除
される符号量はある程度制限される。一方、固定転送レ
ートの場合は、転送レートが一定になるように量子化が
制御されるので、発生符号量が削減された分だけ量子化
が全体に細かくなり、再生画像の品質が向上する。
クチャーの間引きで転送レートがどのように変化するか
を示す。まず可変転送レートなどでＢフレームの削除が
そのまま転送ビットレートの削減になる場合である。Ｉ
ピクチャー、Ｐピクチャー、Ｂピクチャーの符号量の比
率は、画像の状態により大きく変化するが、Ｉピクチャ
ーはＰピクチャーの３倍程度、ＰピクチャーはＢピクチ
ャーの３倍程度である。削除のない元のビットレートを
６.０Ｍｂｐｓとすると、Ｉピクチャーが平均７００ｋ
ｂｉｔ、Ｐピクチャーが平均２００ｋｂｉｔ、Ｂピクチ
ャーが平均６０ｋｂｉｔ程度となる。この場合、３０ｆ
ｐｓだと１セグメントあたり３フレームのＢピクチャー
が削除されるので、６０ｋ×３で１８０ｋｂｉｔが０.
１秒間で削減され、４.２Ｍｂｐｓとなる。同様に２０
ｆｐｓだと４フレームのＢピクチャーが削除されるの
で、６０ｋ×４で２４０ｋｂｉｔが削減され、３.６Ｍ
ｂｐｓとなる。また、１０ｆｐｓだと１セグメントあた
り５フレームのＢピクチャーが削除されるので、６０ｋ
×５で３００ｋｂｉｔが削減され、３.０Ｍｂｐｓとな
る。このように画像レートの制御により５０％ぐらいま
での削減が多段階に行われることになる。ただし、画像
レートが下げられる動きの少ないセグメントは、Ｂピク
チャーの符号量がそもそも少ない場合が多いので、削除
される符号量はある程度制限される。一方、固定転送レ
ートの場合は、転送レートが一定になるように量子化が
制御されるので、発生符号量が削減された分だけ量子化
が全体に細かくなり、再生画像の品質が向上する。
【００１５】＜可変画像レート復号化装置の実施例＞上
記第１の実施例に対応する可変画像レート復号化装置の
実施例ついて説明する。その構成を図２に示す。符号入
力端子２１より入来する符号列は、多重化分離器２２で
主たる符号列と符号化画像レートを示す情報（ここでは
画像レート値の情報またはピクチャー番号情報（画像番
号情報））に分離され、主たる符号列は可変長復号化器
２３へ、ピクチャー番号情報は補間制御器２８へ与えら
れる。可変長復号化器２３は可変長符号を固定長の符号
に戻し、逆量子化器２４に与えられる。固定長符号の予
測残差は逆量子化器２４で係数値となり、逆ＤＣＴ２５
に与えられる。逆ＤＣＴ２５は８×８個の係数を再生予
測残差信号に変換し、加算器２６に与える。加算器２６
では再生予測残差信号に予測信号が加算され、再生画像
となる。この様にして得られた再生画像信号は、画像間
予測器２７と画像補間器２９に与えられる。画像間予測
器２７は、メモリに蓄積されている復号画像をＭＶに基
づいて動き補償し、予測信号を形成する。得られた予測
信号は加算器２６に与えられる。一方、復号画像は画像
補間器２９でフレームが補間され、６０ｆｐｓの動画像
となり、出力端子３０より、出力される。補間制御器２
８は、画像レート値の情報またはピクチャー番号情報の
差分情報から復号画像の間引き状態を認識し、必要な補
間フレーム数を求めて画像補間器２９に与える。補間の
様子を図７に示す。間引きが行われていない６０ｆｐｓ
では、補間の必要はないので、行われない。３０ｆｐｓ
の場合は２フレームが繰り返され、２０ｆｐｓの場合は
３フレームが、１０ｆｐｓの場合は６フレームが繰り返
される。
記第１の実施例に対応する可変画像レート復号化装置の
実施例ついて説明する。その構成を図２に示す。符号入
力端子２１より入来する符号列は、多重化分離器２２で
主たる符号列と符号化画像レートを示す情報（ここでは
画像レート値の情報またはピクチャー番号情報（画像番
号情報））に分離され、主たる符号列は可変長復号化器
２３へ、ピクチャー番号情報は補間制御器２８へ与えら
れる。可変長復号化器２３は可変長符号を固定長の符号
に戻し、逆量子化器２４に与えられる。固定長符号の予
測残差は逆量子化器２４で係数値となり、逆ＤＣＴ２５
に与えられる。逆ＤＣＴ２５は８×８個の係数を再生予
測残差信号に変換し、加算器２６に与える。加算器２６
では再生予測残差信号に予測信号が加算され、再生画像
となる。この様にして得られた再生画像信号は、画像間
予測器２７と画像補間器２９に与えられる。画像間予測
器２７は、メモリに蓄積されている復号画像をＭＶに基
づいて動き補償し、予測信号を形成する。得られた予測
信号は加算器２６に与えられる。一方、復号画像は画像
補間器２９でフレームが補間され、６０ｆｐｓの動画像
となり、出力端子３０より、出力される。補間制御器２
８は、画像レート値の情報またはピクチャー番号情報の
差分情報から復号画像の間引き状態を認識し、必要な補
間フレーム数を求めて画像補間器２９に与える。補間の
様子を図７に示す。間引きが行われていない６０ｆｐｓ
では、補間の必要はないので、行われない。３０ｆｐｓ
の場合は２フレームが繰り返され、２０ｆｐｓの場合は
３フレームが、１０ｆｐｓの場合は６フレームが繰り返
される。
【００１６】＜可変画像レート符号化装置の第２の実施
例＞可変画像レート符号化装置の第２の実施例である動
き補償符号化装置について説明する。図３は、その構成
を示したもので、図１の第１の実施例と同一構成要素に
は同一付番を記してある。図３には、図１と比較して、
画像間引器１６の代わりにデータ間引器３１が設けられ
ている。第２の実施例において、第１の実施例と異なる
のはＢピクチャの間引き方法で、それ以外の処理は基本
的に同じであるので、異なる部分のみ説明する。第１の
実施例においては、被符号化画像を間引き、残った画像
のみに対して符号化を行ったが、第２実施例では、すべ
てのＢピクチャに対して符号化が行われ、得られた符号
列を後で間引く。最終的に出力される符号列は図１の第
１の実施例と同一である。減算器１７、ＤＣＴ１８，量
子化器１９、可変長符号化器２０の動作は図１と同じで
あるが、この段階で間引きは行われていないので、すべ
てのＢピクチャーの符号化処理が行われ、データ間引き
器３１に与えられる。データ間引き器３１は、入来符号
列のフレーム同期を認識し、画像レートに応じてフレー
ム単位でデータを削除する。残ったＢピクチャーの符号
列のみが多重化器１３に与えられる。その際、ピクチャ
ー番号は間引かれる前のままなので、データが削除され
た場合はピクチャー番号が間欠となる。このようにして
得られた符号列は図１の場合と同じである。ハードウエ
アによる符号化装置はフレームに同期して処理されるの
で、この第２実施例の方が好都合である。
例＞可変画像レート符号化装置の第２の実施例である動
き補償符号化装置について説明する。図３は、その構成
を示したもので、図１の第１の実施例と同一構成要素に
は同一付番を記してある。図３には、図１と比較して、
画像間引器１６の代わりにデータ間引器３１が設けられ
ている。第２の実施例において、第１の実施例と異なる
のはＢピクチャの間引き方法で、それ以外の処理は基本
的に同じであるので、異なる部分のみ説明する。第１の
実施例においては、被符号化画像を間引き、残った画像
のみに対して符号化を行ったが、第２実施例では、すべ
てのＢピクチャに対して符号化が行われ、得られた符号
列を後で間引く。最終的に出力される符号列は図１の第
１の実施例と同一である。減算器１７、ＤＣＴ１８，量
子化器１９、可変長符号化器２０の動作は図１と同じで
あるが、この段階で間引きは行われていないので、すべ
てのＢピクチャーの符号化処理が行われ、データ間引き
器３１に与えられる。データ間引き器３１は、入来符号
列のフレーム同期を認識し、画像レートに応じてフレー
ム単位でデータを削除する。残ったＢピクチャーの符号
列のみが多重化器１３に与えられる。その際、ピクチャ
ー番号は間引かれる前のままなので、データが削除され
た場合はピクチャー番号が間欠となる。このようにして
得られた符号列は図１の場合と同じである。ハードウエ
アによる符号化装置はフレームに同期して処理されるの
で、この第２実施例の方が好都合である。
【００１７】
【発明の効果】以上の通り、本発明の符号化装置・方法
は、画像間予測符号化における参照画像とならない画像
のみを段階的に削除するので、参照画像となる画像は影
響を受けない。また、画像間予測距離も変化しないの
で、基本的予測効率が保持される。本発明の符号化装置
・方法は、参照画像とならない画像の間引きの程度を多
段階に変えることで、画像レートを微妙に調節でき、動
きの視覚的検知能力に対して過不足のない画像レートが
得られる。さらには、再生画像の視覚的品質を同様に保
ちながらより低い転送ビットレートが実現される。ま
た、転送レートを同一とすれば、間引かれずに残った画
像により多くのビットが配分されることになり、再生画
像の品質が向上する。本発明の復号化装置・方法は、再
生動画像の間引き率を判断して、補間により再生動画像
を所定レートに戻しているので、再生動画像での動きの
不自然さは最小限となる。
は、画像間予測符号化における参照画像とならない画像
のみを段階的に削除するので、参照画像となる画像は影
響を受けない。また、画像間予測距離も変化しないの
で、基本的予測効率が保持される。本発明の符号化装置
・方法は、参照画像とならない画像の間引きの程度を多
段階に変えることで、画像レートを微妙に調節でき、動
きの視覚的検知能力に対して過不足のない画像レートが
得られる。さらには、再生画像の視覚的品質を同様に保
ちながらより低い転送ビットレートが実現される。ま
た、転送レートを同一とすれば、間引かれずに残った画
像により多くのビットが配分されることになり、再生画
像の品質が向上する。本発明の復号化装置・方法は、再
生動画像の間引き率を判断して、補間により再生動画像
を所定レートに戻しているので、再生動画像での動きの
不自然さは最小限となる。
【図１】可変画像レート符号化装置の第１実施例の構成
例を示す図である。
例を示す図である。
【図２】可変画像レート復号化装置の実施例の構成例を
示す図である。
示す図である。
【図３】可変画像レート符号化装置の第２実施例の構成
例を示す図である。
例を示す図である。
【図４】従来例可変画像レート符号化装置の構成例を示
す図である。
す図である。
【図５】従来例可変画像レート復号化装置の構成例を示
す図である。
す図である。
【図６】第１実施例でのＢピクチャー削減の様子を示す
図である。
図である。
【図７】可変画像レート復号化装置の実施例での画像補
間の様子を示す図である。
間の様子を示す図である。
【図８】第１実施例でのＭＶアクティビティと符号化画
像の様子を示す図である。
像の様子を示す図である。
１ 画像入力端子 ２ 画像スイッチ ３、１７ 減算器 ４、１８ ＤＣＴ ５、１９ 量子化器 ６、２０ 可変長符号化器 ７ ＭＶ検出器 ８ 画像メモリ ９、２４ 逆量子化器 １０、２７、５１ 画像間予測器 １１、２６ 加算器 １２、２５ 逆ＤＣＴ １３ 多重化器 １４ 符号列出力端子 １５ 画像レート設定器 １６ 画像間引器 ２１ 符号列入力端子 ２２ 多重化分離器 ２３ 可変長復号化器 ２８ 補間制御器 ２９、５２ 画像補間器 ３０ 再生画像出力端子 ３１ データ間引き器
Claims (6)
- 【請求項１】入来動画像に対して画像間予測の参照画像
となる第１の画像を所定画像間隔で設定し第１の画像を
符号化すると共に、前記第１の画像以外の画像を第２の
画像として符号化する符号化装置において、 前記第１の画像を画像内独立符号化または片側方向の画
像間予測符号化し、第１の符号列を得る第１の符号化手
段と、 前記入来動画像の動きの程度に応じて符号化画像レート
を設定する画像レート設定手段と、 前記第２の画像の内、前記符号化画像レートに応じて間
引かれて残った画像について、前記第１の画像または前
記第１の画像の局部復号画像を参照画像として双方向の
画像間予測符号化し、符号化結果である第２の符号列を
得る第２の符号化手段と、 前記第１の符号列と前記第２の符号列と前記符号化画像
レートを示す情報とを多重化する多重化手段と、を設け
たことを特徴とする可変画像レート符号化装置。 - 【請求項２】入来動画像に対して画像間予測の参照画像
となる第１の画像を所定画像間隔で設定し第１の画像を
符号化すると共に、前記第１の画像以外の画像を第２の
画像として符号化する符号化装置において、 前記第１の画像を画像内独立符号化または片側方向の画
像間予測符号化し、第１の符号列を得る第１の符号化手
段と、 前記入来動画像の動きの程度に応じて符号化画像レート
を設定する画像レート設定手段と、 前記第１の画像または前記第１の画像の局部復号画像を
参照画像として前記第２の画像を双方向の画像間予測符
号化して得た符号列から、前記符号化画像レートに応じ
て間引いて第２の符号列を得る第２の符号化手段と、 前記第１の符号列と前記第２の符号列と前記符号化画像
レートを示す情報とを多重化する多重化手段と、を設け
たことを特徴とする可変画像レート符号化装置。 - 【請求項３】符号化対象となる動画像に対して画像間予
測の参照画像となる第１の画像が所定間隔で設定されて
この第１の画像が符号化された第１の符号列と、 前記第１の画像以外の画像である第２の画像が画像間予
測符号化された符号列であって、かつ、符号化画像レー
トに応じて間引かれた符号列である第２の符号列と、 前記符号化画像レートを示す情報とが多重化された符号
列を復号化する復号化装置であって、 前記多重化された符号列を復号化し、再生動画像を得る
動画像復号手段と、 前記多重化された符号列から前記符号化画像レートを示
す情報を分離して画像の間引きの程度を判断し、補間の
割合を設定する画像補間レート設定手段と、 前記設定された補間の割合に応じて前記再生動画像を補
間して、所定レートの動画像を出力する画像再生手段
と、を設けたことを特徴とする可変画像レート復号化装
置。 - 【請求項４】入来動画像に対して画像間予測の参照画像
となる第１の画像を所定画像間隔で設定し第１の画像を
符号化すると共に、前記第１の画像以外の画像を第２の
画像として符号化する符号化方法において、 前記第１の画像を画像内独立符号化または片側方向の画
像間予測符号化して第１の符号列を得ると共に、 前記入来動画像の動きの程度に応じて符号化画像レート
を設定し、前記第２の画像の内、前記符号化画像レート
に応じて間引かれて残った画像について、前記第１の画
像または前記第１の画像の局部復号画像を参照画像とし
て双方向の画像間予測符号化し、符号化結果である第２
の符号列を得、 前記第１の符号列と前記第２の符号列と前記符号化画像
レートを示す情報とを多重化する、ことを特徴とする可
変画像レート符号化方法。 - 【請求項５】入来動画像に対して画像間予測の参照画像
となる第１の画像を所定画像間隔で設定し第１の画像を
符号化すると共に、前記第１の画像以外の画像を第２の
画像として符号化する符号化方法において、 前記第１の画像を画像内独立符号化または片側方向の画
像間予測符号化して第１の符号列を得ると共に、 前記入来動画像の動きの程度に応じて符号化画像レート
を設定し、前記第１の画像または前記第１の画像の局部
復号画像を参照画像として前記第２の画像を双方向の画
像間予測符号化して得た符号列から、前記符号化画像レ
ートに応じて間引いて第２の符号列を得、 前記第１の符号列と前記第２の符号列と前記符号化画像
レートを示す情報とを多重化する、ことを特徴とする可
変画像レート符号化方法。 - 【請求項６】符号化対象となる動画像に対して画像間予
測の参照画像となる第１の画像が所定間隔で設定されて
この第１の画像が符号化された第１の符号列と、 前記第１の画像以外の画像である第２の画像が画像間予
測符号化された符号列であって、かつ、符号化画像レー
トに応じて間引かれた符号列である第２の符号列と、 前記符号化画像レートを示す情報とが多重化された符号
列を復号化する復号化方法であって、 前記多重化された符号列を復号化し、再生動画像を得、 前記多重化された符号列から前記符号化画像レートを示
す情報を分離して画像の間引きの程度を判断し、補間の
割合を設定し、 前記設定された補間の割合に応じて前記再生動画像を補
間して、所定レートの動画像を得る、 ことを特徴とする可変画像レート復号化方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000069973A JP2001258039A (ja) | 2000-03-14 | 2000-03-14 | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 |
| US09/805,255 US6940911B2 (en) | 2000-03-14 | 2001-03-14 | Variable picture rate coding/decoding method and apparatus |
| US11/178,386 US7860170B2 (en) | 2000-03-14 | 2005-07-12 | Variable picture rate coding/decoding method and apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000069973A JP2001258039A (ja) | 2000-03-14 | 2000-03-14 | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001258039A true JP2001258039A (ja) | 2001-09-21 |
Family
ID=18588770
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000069973A Pending JP2001258039A (ja) | 2000-03-14 | 2000-03-14 | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001258039A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003088677A1 (en) * | 2002-04-12 | 2003-10-23 | Matsushita Electric Industrial Co., Ltd. | Image encoding method and image decoding method |
| KR100962815B1 (ko) | 2002-04-12 | 2010-06-10 | 파나소닉 주식회사 | 화상 부호화 방법 및 화상 복호화 방법 |
| CN102651788A (zh) * | 2011-02-24 | 2012-08-29 | 索尼公司 | 图片传输装置、图片传输方法和程序 |
-
2000
- 2000-03-14 JP JP2000069973A patent/JP2001258039A/ja active Pending
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003088677A1 (en) * | 2002-04-12 | 2003-10-23 | Matsushita Electric Industrial Co., Ltd. | Image encoding method and image decoding method |
| US7167591B2 (en) | 2002-04-12 | 2007-01-23 | Matsushita Electric Industrial Co., Ltd. | Image encoding method and image decoding method |
| US7218787B2 (en) | 2002-04-12 | 2007-05-15 | Matsushita Electric Industrial Co., Ltd. | Picture coding method and picture decoding method |
| US7221803B2 (en) | 2002-04-12 | 2007-05-22 | Matsushita Electric Industrial Co., Ltd. | Picture coding method and picture decoding method |
| KR100942344B1 (ko) * | 2002-04-12 | 2010-02-12 | 파나소닉 주식회사 | 화상 부호화 방법 및 화상 복호화 방법 |
| KR100962815B1 (ko) | 2002-04-12 | 2010-06-10 | 파나소닉 주식회사 | 화상 부호화 방법 및 화상 복호화 방법 |
| KR100962814B1 (ko) | 2002-04-12 | 2010-06-10 | 파나소닉 주식회사 | 화상 부호화 방법 및 화상 복호화 방법 |
| KR100962813B1 (ko) | 2002-04-12 | 2010-06-10 | 파나소닉 주식회사 | 화상 부호화 방법 및 화상 복호화 방법 |
| EP2178304A3 (en) * | 2002-04-12 | 2010-09-15 | Panasonic Corporation | Image encoding method and image decoding method |
| KR100985634B1 (ko) | 2002-04-12 | 2010-10-05 | 파나소닉 주식회사 | 화상 부호화 방법 및 화상 복호화 방법 |
| KR100993388B1 (ko) | 2002-04-12 | 2010-11-10 | 파나소닉 주식회사 | 화상 부호화 방법 및 화상 복호화 방법 |
| KR100995434B1 (ko) | 2002-04-12 | 2010-11-18 | 파나소닉 주식회사 | 화상 부호화 방법 및 화상 복호화 방법 |
| CN102651788A (zh) * | 2011-02-24 | 2012-08-29 | 索尼公司 | 图片传输装置、图片传输方法和程序 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7224734B2 (en) | Video data encoding apparatus and method for removing a continuous repeat field from the video data | |
| US7860170B2 (en) | Variable picture rate coding/decoding method and apparatus | |
| US6819714B2 (en) | Video encoding apparatus that adjusts code amount by skipping encoding of image data | |
| KR100504641B1 (ko) | 화상 부호화 장치 및 화상 부호화 방법 | |
| JP2002514866A (ja) | ビデオ・フレーム・レートを増加させる方法および装置 | |
| JPH07162869A (ja) | 動画像符号化装置 | |
| JP3778960B2 (ja) | 動画像符号化方法及び装置 | |
| JPH07112284B2 (ja) | 予測符号化装置及び復号化装置 | |
| JPH0795566A (ja) | 画像符号化方法および装置 | |
| JP2002010271A (ja) | ビデオ符号化装置 | |
| US6480544B1 (en) | Encoding apparatus and encoding method | |
| JP3900534B2 (ja) | 動画像の符号化装置および符号化方法 | |
| JP2002218472A (ja) | 可変画像レート復号化装置及び可変画像レート復号化方法 | |
| JP2001258039A (ja) | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 | |
| JP2003189308A (ja) | 動画像符号化装置、符号化方法、復号化装置、復号化方法及び動画像符号列伝送方法 | |
| JP3581382B2 (ja) | 符号化装置及びその方法 | |
| JP3859118B2 (ja) | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 | |
| JP4320509B2 (ja) | 映像再符号化装置および方法 | |
| JPH09261530A (ja) | 映像記録装置 | |
| JPH1013836A (ja) | 動きベクトル検出装置 | |
| JP3289695B2 (ja) | 動画符号化方法および装置 | |
| JP2001268574A (ja) | 動画像符号化装置、動画像符号列変換装置、動画像符号化方法、及び動画像符号列変換方法 | |
| JPH06153181A (ja) | 予測符号化方法、予測復号化方法、予測符号化装置及び予測復号化装置 | |
| JPH11155147A (ja) | 画像再生方法、画像符号化装置及び画像符号化方法 | |
| KR0124162B1 (ko) | 예측 부호화 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041116 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050322 |