JP2001186520A - 高能率符号化装置及びその方法 - Google Patents

Abstract

(57)【要約】 【課題】 異なるフレーム周波数の画像信号に対して、
符号化装置内で適切なフレーム間引きを行なって、欲す
るフレーム周波数の符号化ストリームを生成する符号化
手法を提供する。 【解決手段】 高能率符号化装置において、入力画像信
号のフレーム間の相関を計算し、連続するフレーム画像
の関係を静止、動、シーンチェンジ状態の３種類に分類
するフレーム間状態検出回路１１と、前記検出回路の出
力をｎフレーム分蓄積しておくフレーム間状態バッファ
１２と、前記バッファの内容が前記ｎフレーム個の連続
する静止状態で構成されている場合、及び（ｎ−ｍ）フ
レーム（但し、ｍ＞１、ｎ＞ｍ）個の連続する静止状態
もしくは動状態とそれに続く１個のシーンチェンジ状態
とその後に続く（ｍ−１）フレーム個の連続する静止状
態もしくは動状態で構成されている場合に、フレーム画
像を間引く判断をする回路１３と、符号化で想定される
復号装置の仮想バッファ量よりも１フレーム分の平均ビ
ット数分以上大きいバッファを有するマルチプレクサ３
６とを備えた。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】画像信号に対して高能率符号
化を行ない圧縮された情報を生成・伝送する符号化技術
に係り、特に、異なるフレーム周波数の画像信号に対し
て、符号化装置内で適切なフレーム間引きを行なって、
付加ハードウェアを使用せずに、欲するフレーム周波数
の出力符号化ストリームを生成する符号化手法に関す
る。

【０００２】

【従来の技術】デジタル化された画像信号に対して高能
率符号化による圧縮された情報を用いて、衛星波、地上
波、電話回線などの伝送路により情報を配信するサービ
スや、光ディスクや磁気記録媒体等のメディアに記録・
再生を行なうシステムが近年、開発・実用化されてい
る。このようなシステムに用いられている動画像の高能
率符号化方式として、国際規格であるＭＰＥＧ２があ
る。

【０００３】ＭＰＥＧ２は、画像信号の隣接画素間（空
間方向）の相関、及び、フレームもしくはフィールド
（時間方向）の相関を利用して、画像信号の情報量を圧
縮する符号化方式である。まず、時間的に連続する画像
フレームを、基準フレームと予測フレームに振り分け
る。基準フレームは、定期的に挿入され、フレーム内空
間方向の相関のみを用いることでそのフレームの符号化
データのみで復元することが出来る。

【０００４】予測フレームは、前記基準フレームからの
時間方向の相関と空間方向の相関を共に用いることによ
り、基準フレームに対してより符号化効率を高めること
が出来る。予測フレームは、復号された基準フレームと
符号化データより復元される。このような画像フレーム
間の予測処理を用いた高能率符号化を実現する符号化装
置として、図４のような高能率符号化装置の構成が知ら
れている。

【０００５】従来の高能率符号化装置の一例について、
以下に図４と共に説明する。入力されたデジタル画像信
号は、フレームメモリ（入力画像メモリ）４１に記録さ
れ、符号化シンタックスに従って符号化される順番に並
べ替えを行なうために遅延される。

【０００６】前記入力画像メモリ４１から出力されたデ
ジタル信号は、基準フレームにおいては2次元ブロック
変換回路４３にて垂直方向Ｎ画素・水平方向Ｍ画素（通
常Ｎ，Ｍは８）の２次元ブロックに変換される。変換さ
れたデータはつぎの直交変換回路４４にてＤＣＴ変換が
行なわれ、量子化回路４５に供給される。

【０００７】量子化回路４５において量子化されたＤＣ
Ｔ変換係数は、前記２次元ブロックを複数個集めた単位
（マクロブロック）毎に、符号化回路４６において、符
号化テーブルの係数に対応したアドレスを参照すること
により可変長または固定長の符号化が行なわれ、マルチ
プレクサ５６により前記符号化データと画面内でのマク
ロブロックの場所等を示す付加情報とが多重化され、符
号化ビットストリームとして、記録媒体もしくは伝送路
５７に出力される。

【０００８】また、量子化回路４５の出力の量子化され
たＤＣＴ変換係数は逆量子化回路４７、逆直交変換回路
４８において逆量子化及び逆ＤＣＴ変換が行なわれ、デ
ブロック回路４９を介して符号化ビットストリームが復
号されて参照画像メモリ５１に加算回路５０を介して格
納される。

【０００９】続いて予測フレームにおいては、入力画像
メモリ４１と参照画像メモリ５１に格納されている画像
との間で動きベクトル検出回路５２によって、画像間で
の動きベクトルが求められる。

【００１０】動きベクトル検出回路５２は一般的にブロ
ックマッチングにより求められ、符号化する画像と予測
メモリの画像をそれぞれ２次元ブロック化し、画素毎の
差分絶対値総和（もしくは差分二乗総和）の最も小さい
ブロックに対する画面内の動き成分を動きベクトルとし
て出力する。

【００１１】出力された動きベクトルにより、予測ブロ
ックが動き補償予測回路５３により参照画像メモリ５１
から切り出される。動き補償予測回路５３では予測モー
ドの選択を行ない、符号化する入力画像ブロックとの差
分信号を減算回路４２を介して２次元ブロック変換回路
４３に送り出す。

【００１２】前記減算回路４２の出力の差分信号は前記
フレームの各ブロックと同様の処理が行なわれ、ＤＣＴ
変換係数が量子化処理され動きベクトルや予測モードと
共にビットストリームとして出力される。

【００１３】符号量の制御に関しては、出力されたスト
リームの符号量がレートコントロール回路５５において
目標とする符号量との比較がとられ、目標符号量に近付
けるために量子化回路４５の量子化の細かさ（量子化ス
ケール）を制御している。

【００１４】ＭＰＥＧ２の場合では、基準フレーム（Ｉ
ピクチャ）と２種類の予測フレーム（Ｐピクチャ：片方
向予測、Ｂピクチャ：両方向予測）の3種類の情報量の
異なるピクチャタイプが存在するため、予め設定された
符号化レートに対して、３つのピクチャタイプの性質と
出現頻度を用いて、各フレームに対する目標符号量を算
出する。

【００１５】また、目標符号量は、マルチプレクサ５６
において、復号装置のストリームバッファを仮想的にシ
ミュレートして、バッファのオーバーフロー・アンダー
フローが起きないように制限され、符号化されたストリ
ームが記録媒体もしくは伝送路５７に出力される。量子
化スケールは、スケールと出力符号量とが一般的にほぼ
反比例の関係があることを利用して、各ピクチャタイプ
毎に目標符号量に対する量子化スケール値を計算し、量
子化処理を行なう。

【００１６】ブロック毎に目標符号量に近付く方向に量
子化スケールを変動させることによって、目標符号量内
に符号化ビットストリームを抑える。固定転送レート符
号化の場合に、細かい量子化スケールを用いても符号化
ストリームの量が設定した符号化レートに満たない場合
には、１つのピクチャの区切りを示すヘッダコードの前
に足りない符号量分のスタッフィングビットを詰め込む
ことにより、設定した符号化レートに合わせている。

【００１７】現在、ＭＰＥＧ２の技術を用いて、デジタ
ル高精細画像・音声信号をＢＳや地上波にて提供する計
画が進められており、その規格としてＨＤＴＶデジタル
放送規格が決定されている。

【００１８】アナログ方式の高精細画像信号規格である
ＭＵＳＥ方式は、フィールド周波数が６０Ｈｚであるの
に対して、ＨＤＴＶデジタル放送規格のものは、ＮＴＳ
Ｃ方式と同様の５９．９４Ｈｚと規定されている。既存
の高精細画像信号を取り扱うシステムの多くは、ＭＵＳ
Ｅ方式に準拠した６０Ｈｚで動作しており、また素材デ
ータ等も６０Ｈｚで撮影・記録されたものが大部分であ
る。

【００１９】６０Ｈｚ素材信号を５９．９４Ｈｚで符号
化しようとする場合に、単純に６０Ｈｚを５９．９４Ｈ
ｚに変換しようとするには、適当なタイミングで１フレ
ーム画像データを間引くことにより達成することが出来
るが、こうすると１フレーム画像抜けが目立ち、動画像
としては違和感のある画像となる問題が発生している。

【００２０】また、そのために外部にフレーム周波数変
換装置を装備し、出力された５９．９４Ｈｚに変換され
た素材映像信号を入力画像とすることにより、６０Ｈｚ
素材信号の符号化処理は可能となるが、外部にフレーム
周波数変換装置を必要とすることで付加コストがかかる
ことになる。

【００２１】

【発明が課題しようとする課題】現在素材とて大部分を
占めているＭＵＳＥ方式の６０Ｈｚ素材映像信号を外部
のフレーム周波数変換装置を用いて、５９．９４Ｈｚ素
材映像信号を作ることなく、また１フレーム画像抜けを
感じさせることなく、フレーム周波数が（５９．９４／
２）ＨｚであるＨＤＴＶデジタル放送規格に準拠した符
号化データを生成することが必要とされてきている。

【００２２】

【課題を解決するための手段】上記課題を解決するため
に、高能率符号化装置の内部において、フレーム周波数
変換のためのフレーム間引き判断回路を具備し、符号化
の為に用いられる符号化シンタックスの為の並べ替えに
よる遅延、及び、動きベクトル検出等に必要な遅延のた
めのフレームメモリ内で、フレーム周波数変換の判断を
行なうことにより、外部装置や付加するフレームメモリ
を必要とせず、フレーム周波数が（５９．９４／２）Ｈ
ｚであるＨＤＴＶデジタル放送規格に準拠した符号化デ
ータを生成することが出来る。

【００２３】すなわち、上記課題を解決するために、請
求項１の発明は、供給される入力画像信号の空間方向・
時間方向の相関を利用して情報量の圧縮を行なうと共に
前記入力画像信号の周波数変換を行なう高能率符号化装
置において、前記入力画像信号のフレーム間の相関を計
算し、その結果を用いて連続するフレーム画像の関係を
静止状態、動状態、シーンチェンジ状態の３種類に分類
するフレーム間状態検出回路１１と、前記フレーム間状
態検出回路の出力をｎフレーム（ｎは３以上の整数）分
蓄積しておくフレーム間状態バッファ１２と、前記フレ
ーム間状態バッファの内容が前記ｎフレーム個の連続す
る静止状態で構成されている場合にその中の１フレーム
を間引き、（ｎ−ｍ）フレーム（但し、ｍは２以上の整
数１、ｎ＞ｍ）個の連続する静止状態もしくは動状態と
それに続く１個のシーンチェンジ状態とその後に続く
（ｍ−１）フレーム個の連続する静止状態もしくは動状
態で構成されている場合には、ｍフレーム前のフレーム
画像を間引く判断を、前記周波数変換のために所定フレ
ーム数に対して１フレーム間引く条件が成立している場
合に行なうフレーム間引き判断回路１３と、前記入力画
像信号が供給されて、前記フレーム間引き判断回路の出
力により前記１フレーム分間引かれた画像信号を出力す
る入力画像メモリ回路２１と、前記入力画像メモリ回路
の出力を量子化符号化した信号が供給される、符号化で
想定される復号装置の仮想バッファ量よりも１フレーム
分の平均ビット数分以上大きいバッファを有するマルチ
プレクサ３６とを備えたことを特徴とする高能率符号化
装置を提供し、請求項２の発明は、請求項１に記載され
た高能率符号化装置において、前記フレーム間引き判断
回路１３が、入力画像信号の総フレーム数と間引いたフ
レーム数とを用いて、前記フレームｎの値をコントロー
ルする連続状態保持可変回路１３Aを備えたことを特徴
とする高能率符号化装置を提供し、請求項３の発明は、
請求項１に記載された高能率符号化装置において、前記
フレーム間状態検出回路１１は、２画面間の空間的に同
位置の画素間の差分値の絶対値総和をα、８画素×８画
素程度に分割した２次元ブロック毎の絶対値和に対する
画面全体の最大値をβ、ｎフレーム目の入力画面に対す
る水平・垂直の画素間における差分絶対値総和をγ
（ｎ）、ｎフレーム目の入力画面に対する画面全体のDC
成分をδ（ｎ）とした場合に、前記α、β及び｜γ
（ｎ）−γ（ｎ−１）｜、｜δ（ｎ）−δ（ｎ−１）｜
が所定の各閾値より小さな場合は、静止状態と判断し、
前記α及び｜γ（ｎ）−γ（ｎ−１）｜が前記所定の各
閾値より大きい値を有し、｜γ（ｎ）―γ（ｎ−１）｜
／｜γ（ｎ−１）−γ（ｎ−２）｜が所定の各閾値より
大きい場合には、シーンチェンジ状態と判断し、前記２
状態以外の場合には、動状態と判断するようにしたこと
を特徴とする高能率符号化装置を提供し、請求項４の発
明は、供給される入力画像信号の空間方向・時間方向の
相関を利用して情報量の圧縮を行なうと共に前記入力画
像信号の周波数変換を行なう高能率符号化方法におい
て、前記入力画像信号のフレーム間の相関を計算し、そ
の結果を用いて連続するフレーム画像の関係を静止状
態、動状態、シーンチェンジ状態の３種類に分類するフ
レーム間状態検出ステップ１１と、前記フレーム間状態
検出ステップの出力をｎフレーム（ｎは３以上の整数）
分蓄積しておくフレーム間状態バッファステップ１２
と、前記フレーム間状態バッファステップの内容が前記
ｎフレーム個の連続する静止状態で構成されている場合
にその中の１フレームを間引き、（ｎ−ｍ）フレーム
（但し、ｍは２以上の整数、ｎ＞ｍ）個の連続する静止
状態もしくは動状態とそれに続く１個のシーンチェンジ
状態とその後に続く（ｍ−１）フレーム個の連続する静
止状態もしくは動状態で構成されている場合には、ｍフ
レーム前のフレーム画像を間引く判断を、前記周波数変
換のために所定フレーム数に対して１フレーム間引く条
件が成立している場合に行なうフレーム間引き判断ステ
ップ１３と、前記入力画像信号が供給されて、前記フレ
ーム間引き判断回路の出力により前記１フレーム分間引
かれた画像信号を出力する入力画像メモリステップ２１
と、前記入力画像メモリステップの出力を量子化符号化
した信号が供給される、符号化で想定される復号装置の
仮想バッファ量よりも１フレーム分の平均ビット数分以
上大きいバッファ有してマルチプレックスするステップ
３６とを備えたことを特徴とする高能率符号化方法を提
供し、請求項５の発明は、請求項４に記載された高能率
符号化方法において、前記フレーム間引き判断ステップ
１３が、入力画像信号の総フレーム数と間引いたフレー
ム数とを用いて、前記フレームｎの値をコントロールす
る連続状態保持可変ステップ１３Aを備えたことを特徴
とする高能率符号化方法を提供し、請求項６の発明は、
請求項４に記載された高能率符号化方法において、前記
フレーム間状態検出ステップ１１は、２画面間の空間的
に同位置の画素間の差分値の絶対値総和をα、８画素×
８画素程度に分割した２次元ブロック毎の絶対値和に対
する画面全体の最大値をβ、ｎフレーム目の入力画面に
対する水平・垂直の画素間における差分絶対値総和をγ
（ｎ）、ｎフレーム目の入力画面に対する画面全体のDC
成分をδ（ｎ）とした場合に、前記α、β及び｜γ
（ｎ）−γ（ｎ−１）｜、｜δ（ｎ）−δ（ｎ−１）｜
が所定の各閾値より小さな場合は、静止状態と判断し、
前記α及び｜γ（ｎ）−γ（ｎ−１）｜が前記所定の各
閾値より大きい値を有し、｜γ（ｎ）―γ（ｎ−１）｜
／｜γ（ｎ−１）−γ（ｎ−２）｜が所定の各閾値より
大きい場合には、シーンチェンジ状態と判断し、前記２
状態以外の場合には、動状態と判断するようにしたこと
を特徴とする高能率符号化方法を提供するものである。

【００２４】

【発明の実施の形態】本発明の高能率符号化装置の一実
施例について、以下に図と共に説明する。図１に示され
る本発明の高能率符号化装置の一実施例は、フレーム間
状態検出回路１１、フレーム間状態バッファ１２、フレ
ーム間引き判断回路１３、入力画像メモリ２１、減算回
路２２、2次元ブロック変換回路２３、データは直交変
換回路２４、量子化回路２５、符号化回路２６、逆量子
化回路２７、逆直交変換回路２８、デブロック回路２
９、加算回路３０、参照画像メモリ３１、動きベクトル
検出回路３２、動き補償予測回路３３、符号化テーブル
３４、レートコントロール回路３５、マルチプレクサ３
６、及び記録媒体もしくは伝送路３７より構成されてい
る。

【００２５】図１に示される入力デジタル画像信号は、
フレームメモリ（入力画像メモリ）２１に入力されて、
記録されると共に、フレーム間状態検出回路１１にも入
力される。また、フレーム間状態検出回路１１は、入力
デジタル画像信号と入力画像メモリ２１に蓄積されてい
る１フレーム前の画像信号とを読み取り、両者の間でフ
レーム間相関を計算する。

【００２６】相関の検出アルゴリズムの一例を以下に図
２と共に説明する。２画面間の空間的に同位置の画素間
に対し差分値を求め、その絶対値総和α及び８画素×８
画素程度に分割した２次元ブロック毎の絶対値和に対し
て画面全体中の最大値βを計算する。

【００２７】また、ｎフレーム目の入力画面に対する水
平・垂直の画素間における差分絶対値総和γ（ｎ）、ｎ
フレーム目の入力画面に対する画面全体のDC成分（平均
値）δ（ｎ）を求める。γ及びδの値は、順次入力され
たｎフレーム目の画像に対して結果が保持され、1フレ
ーム前の画像信号に対するγ、δの値は保持された値を
用いることが可能となる。それぞれをγ（ｎ−１）、δ
（ｎ−１）と記す。

【００２８】前記で計算されたパラメータを用いて、２
画面間の状態を判断する。状態としては、静止状態、動
状態、シーンチェンジ状態の３状態を想定し、図２に示
されるようなフレーム間状態検出アルゴリズムで状態を
決定する。

【００２９】前記α、β及び｜γ（ｎ）−γ（ｎ−１）
｜、｜δ（ｎ）−δ（ｎ−１）｜が十分小さな場合（Ｓ
ＴＥＰ１，２，３，４）は、静止状態（Ａ）と判断させ
る。前記α及び｜γ（ｎ）−γ（ｎ−１）｜が大きい値
を有し（ＳＴＥＰ５，６）、｜γ（ｎ）―γ（ｎ−１）
｜／｜γ（ｎ−１）−γ（ｎ−２）｜が所定の閾値（例
としては５倍）より十分大きい場合（ＳＴＥＰ７）に
は、シーンチェンジ状態（Ｂ）と判断させる。上記２状
態以外の場合には、動状態（Ｃ）と判断する。

【００３０】前記で決定された状態は、フレーム間状態
バッファ１２に保持され、過去ｎフレーム分保持された
フレーム間状態情報が蓄えられ、フレーム間引き判断回
路１３に送られる。

【００３１】このフレーム間引き判断回路１３では、こ
のｎフレーム分のフレーム間状態を監視し、一定区間の
連続する静止状態を検出した場合、もしくは、シーンチ
ェンジ状態とそれを挟む連続する静止状態もしくは動状
態を検出した場合に、フレームを間引いても可能である
との判断を行なう。

【００３２】具体的には、図３に示される状態の場合
に、図３（ａ）の場合には、図示されたその中の１フレ
ームを間引き、図３（ｂ）の場合には、ｍフレーム前の
フレーム画像を間引くことが可能となる（この情報を可
能フラグと呼び、可能な場合に１となる）。また、この
フレーム間引き判断回路１３においては、入力フレーム
数と間引かずに処理されたフレーム数を監視（周波数変
換のために所定フレーム数に対して１フレーム間引く条
件が成立しているかどうかの監視）して、例えば６０Ｈ
ｚを５９．９４Ｈｚに変換するために間引く必要がある
状態であるかどうかを監視し許可を与えるかどうかを判
断する（以下、これを許可フラグと呼ぶ）。

【００３３】６０Ｈｚを５９．９４Ｈｚに変換する為に
は１００１フレームに対して１フレーム間引く必要があ
るため、符号化開始時には、許可フラグが１となり、可
能フラグが１である場合に図３で示されたフレームを間
引いた後に、許可フラグが０となる。１００１フレーム
を超えると再び許可フラグが１となり、可能フラグが１
である場合にはフレームを間引くことになる。

【００３４】許可フラグは、結果として入力フレームが
１００１フレームを超える毎に、許可フラグは１増加す
る。許可フラグは、２以上の値を取り得、１以上であれ
ば許可フラグはYESであると判断し、フレームを間引く
と１減少する。具体的には、フレーム間引き判断回路１
３内に許可フラグの値と状態を監視するフレーム数ｎを
コントロールする連続状態保持可変回路１３Ａを有して
いる。

【００３５】連続状態保持可変回路１３Ａは、フレーム
間状態バッファ１２から送られるフレーム間状態情報の
数をカウントすることにより入力された総フレーム数を
計算し、また間引いたフレーム数を自ら出力したフレー
ム間引き情報を元に計算し、現在間引くことが可能なフ
レーム数として許可フラグの値を計算する。

【００３６】許可フラグが２以上の値を取る場合には、
映像と同期した音声情報を考慮すると、時間ずれが大き
くなっていくため、可能フラグが１となる条件を緩めて
いき、フレーム間引きを発生しやすくする。これは、フ
レーム間状態を監視するフレーム数ｎを減少させること
により達成される。

【００３７】結果として、フレーム間引き判断回路１３
は平均して１００１フレーム毎に１フレームを間引くよ
う制御される。ｎは許可フラグが２以上の場合にフレー
ム間引きが発生した時には増加させるように制御し、許
可フラグが１となった時に初期値に戻る。

【００３８】入力画像メモリ２１でフレームが間引か
れ、（５９．９４／２）Ｈｚになったフレーム画像信号
は、図１に示される高能率符号化回路において、符号化
処理がなされ符号化ビットストリームが生成される。

【００３９】前記入力画像メモリ２１から出力された
（５９．９４／２）Ｈｚにされたフレーム画像信号は、
デジタル信号は、基準フレームにおいては2次元ブロッ
ク変換回路２３にて垂直方向Ｎ画素・水平方向Ｍ画素
（通常Ｎ，Ｍは８）の２次元ブロックに変換される。変
換されたデータはつぎの直交変換回路２４にてＤＣＴ変
換が行なわれ、量子化回路２５に供給される。

【００４０】量子化回路２５において量子化されたＤＣ
Ｔ変換係数は、前記２次元ブロックを複数個集めた単位
（マクロブロック）毎に、符号化回路２６において、符
号化テーブルの係数に対応したアドレスを参照すること
により可変長または固定長の符号化が行なわれ、マルチ
プレクサ３６により前記符号化データと画面内でのマク
ロブロックの場所等を示す付加情報とが多重化され、符
号化ビットストリームとして、記録媒体もしくは伝送路
３７に出力される。

【００４１】また、量子化回路２５の出力の量子化され
たＤＣＴ変換係数は逆量子化回路２７、逆直交変換回路
２８において逆量子化及び逆ＤＣＴ変換が行なわれ、デ
ブロック回路２９を介して符号化ビットストリームが復
号されて参照画像メモリ３１に加算回路３０を介して格
納される。

【００４２】続いて予測フレームにおいては、入力画像
メモリ２１と参照画像メモリ３１に格納されている画像
との間で動きベクトル検出回路３２によって、画像間で
の動きベクトルが求められる。

【００４３】動きベクトル検出回路３２は一般的にブロ
ックマッチングにより求められ、符号化する画像と予測
メモリの画像をそれぞれ２次元ブロック化し、画素毎の
差分絶対値総和（もしくは差分二乗総和）の最も小さい
ブロックに対する画面内の動き成分を動きベクトルとし
て出力する。

【００４４】出力された動きベクトルにより、予測ブロ
ックが動き補償予測回路３３により参照画像メモリ３１
から切り出される。動き補償予測回路３３では予測モー
ドの選択を行ない、符号化する入力画像ブロックとの差
分信号を減算回路２２を介して２次元ブロック変換回路
２３に送り出す。

【００４５】前記減算回路２２の出力の差分信号は前記
フレームの各ブロックと同様の処理が行なわれ、ＤＣＴ
変換係数が量子化処理され動きベクトルや予測モードと
共にビットストリームとして出力される。

【００４６】符号量の制御に関しては、出力されたスト
リームの符号量がレートコントロール回路３５において
目標とする符号量との比較がとられ、目標符号量に近付
けるために量子化回路２５の量子化の細かさ（量子化ス
ケール）を制御している。

【００４７】ＭＰＥＧ２の場合では、基準フレーム（Ｉ
ピクチャ）と２種類の予測フレーム（Ｐピクチャ：片方
向予測、Ｂピクチャ：両方向予測）の3種類の情報量の
異なるピクチャタイプが存在するため、予め設定された
符号化レートに対して、３つのピクチャタイプの性質と
出現頻度を用いて、各フレームに対する目標符号量を算
出する。

【００４８】また、目標符号量は、マルチプレクサ３６
において、復号装置のストリームバッファを仮想的にシ
ミュレートして、バッファのオーバーフロー・アンダー
フローが起きないように制限され、符号化されたストリ
ームが記録媒体もしくは伝送路３７に出力される。量子
化スケールは、スケールと出力符号量とが一般的にほぼ
反比例の関係があることを利用して、各ピクチャタイプ
毎に目標符号量に対する量子化スケール値を計算し、量
子化処理を行なう。

【００４９】ブロック毎に目標符号量に近付く方向に量
子化スケールを変動させることによって、目標符号量内
に符号化ビットストリームを抑える。固定転送レート符
号化の場合に、細かい量子化スケールを用いても符号化
ストリームの量が設定した符号化レートに満たない場合
には、１つのピクチャの区切りを示すヘッダコードの前
に足りない符号量分のスタッフィングビットを詰め込む
ことにより、設定した符号化レートに合わせている。

【００５０】フレームが間引かれ、（５９．９４／２）
Ｈｚになったフレーム画像信号は、１フレームが間引か
れるタイミングが固定でないため、マルチプレクサ３６
に有する符号化で想定される復号装置の仮想バッファ
は、所定の量よりも１フレーム分の平均ビットだけ多く
持つようにしてある。こうしておくことで、符号化ビッ
トストリームの外部記録媒体もしくは伝送路３７に出力
するタイミングを１フレーム遅らせることが出来、６０
Ｈｚに同期して出力される符号化ストリームの出力タイ
ミングと５９．９４Ｈｚで生成される仮想バッファの値
とのコントロールを可能としている。

【００５１】また、本実施例で説明したフレーム間相関
の検出アルゴリズムは、上記の例に限定されるものでは
なく、例えば符号化装置内で、判断基準となり得る値の
検出が行なわれている場合（例えば、フレーム間の動き
ベクトル量の検出等）に、その値を用いて判断を行なう
ことも可能であり、この場合には新たな判断のための回
路を付加する必要がなくなる。

【００５２】

【発明の効果】本発明によると、高能率符号化装置の内
部において、符号化シンタックス制御のためのフレーム
メモリを用いて、並べ替え遅延の間にフレーム間の相関
状態を監視し、連続する静止状態もしくは、短い区間で
連続しないシーンチェンジの場面で、フレーム周波数変
換のためのフレーム間引きを行なうことにより、フレー
ム周波数変換のための付加画像メモリや外部のフレーム
周波数変換装置を必要とすることなしに、１フレーム抜
けても動画像として感じさせることなく、フレーム周波
数の変換が出来るる。例えば本発明によると、フレーム
周波数が（６０／２）ＨｚであるＭＵＳＥ方式の素材映
像信号から、フレーム周波数が（５９．９４／２）Ｈｚ
であるＨＤＴＶデジタル放送規格に準拠した符号化デー
タに変換して生成することが出来る。

【図面の簡単な説明】

【図１】本発明の高能率符号化装置の一実施例を示すブ
ロック構成図である。

【図２】本発明の高能率符号化装置の一実施例における
フレーム間状態検出アルゴリズムを示す図である。

【図３】本発明のフレーム間引きを行なうタイミングを
示す概念図である。

【図４】従来の符号化装置の一例を示すブロック構成図
である。

【符号の説明】

１１ フレーム間状態検出回路 １２ フレーム間状態バッファ １３ フレーム間引き判断回路 １３A 連続状態保持可変回路 ２１ 入力画像メモリ（連続状態保持可変回路） ２２ 減算回路 ２３ 2次元ブロック変換回路 ２４ データは直交変換回路 ２５ 量子化回路 ２６ 符号化回路 ２７ 逆量子化回路 ２８ 逆直交変換回路 ２９ デブロック回路 ３０ 加算回路 ３１ 参照画像メモリ ３２ 動きベクトル検出回路 ３３ 動き補償予測回路 ３４ 符号化テーブル ３５ レートコントロール回路 ３６ マルチプレクサ（マルチプレックスする手段） ３７ 記録媒体もしくは伝送路 α ２画面間の空間的に同位置の画素間の差分値の絶対
値総和 β ８画素×８画素程度に分割した２次元ブロック毎の
絶対値和に対する画面全体の最大値 γ（ｎ） ｎフレーム目の入力画面に対する水平・垂直
の画素間における差分絶対値総和 δ（ｎ） ｎフレーム目の入力画面に対する画面全体の
DC成分（平均値）

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK39 MA00 MA05 MA23 NN01 PP04 RB01 RE15 SS01 SS06 SS11 TA46 TA66 TA73 TB02 TB04 TC13 TC14 TC19 TC25 TC38 TD02 TD05 TD06 TD12 UA02 UA05 UA31 5J064 AA02 BA13 BC01 BC08 BC14 BC21 BC25 BC27 BD03

Claims (6)

【特許請求の範囲】
1. 【請求項１】供給される入力画像信号の空間方向・時間
   方向の相関を利用して情報量の圧縮を行なうと共に前記
   入力画像信号の周波数変換を行なう高能率符号化装置に
   おいて、 前記入力画像信号のフレーム間の相関を計算し、その結
   果を用いて連続するフレーム画像の関係を静止状態、動
   状態、シーンチェンジ状態の３種類に分類するフレーム
   間状態検出回路と、 前記フレーム間状態検出回路の出力をｎフレーム（ｎは
   ３以上の整数）分蓄積しておくフレーム間状態バッファ
   と、 前記フレーム間状態バッファの内容が前記ｎフレーム個
   の連続する静止状態で構成されている場合にその中の１
   フレームを間引き、（ｎ−ｍ）フレーム（但し、ｍは２
   以上の整数、ｎ＞ｍ）個の連続する静止状態もしくは動
   状態とそれに続く１個のシーンチェンジ状態とその後に
   続く（ｍ−１）フレーム個の連続する静止状態もしくは
   動状態で構成されている場合には、ｍフレーム前のフレ
   ーム画像を間引く判断を、前記周波数変換のために所定
   フレーム数に対して１フレーム間引く条件が成立してい
   る場合に行なうフレーム間引き判断回路と、 前記入力画像信号が供給されて、前記フレーム間引き判
   断回路の出力により前記１フレーム分間引かれた画像信
   号を出力する入力画像メモリ回路と、 前記入力画像メモリ回路の出力を量子化符号化した信号
   が供給される、符号化で想定される復号装置の仮想バッ
   ファ量よりも１フレーム分の平均ビット数分以上大きい
   バッファを有するマルチプレクサとを備えたことを特徴
   とする高能率符号化装置。
2. 【請求項２】請求項１に記載された高能率符号化装置に
   おいて、 前記フレーム間引き判断回路が、入力画像信号の総フレ
   ーム数と間引いたフレーム数とを用いて、前記フレーム
   ｎの値をコントロールする連続状態保持可変回路を備え
   たことを特徴とする高能率符号化装置。
3. 【請求項３】請求項１に記載された高能率符号化装置に
   おいて、 前記フレーム間状態検出回路は、２画面間の空間的に同
   位置の画素間の差分値の絶対値総和をα、８画素×８画
   素程度に分割した２次元ブロック毎の絶対値和に対する
   画面全体の最大値をβ、ｎフレーム目の入力画面に対す
   る水平・垂直の画素間における差分絶対値総和をγ
   （ｎ）、ｎフレーム目の入力画面に対する画面全体のDC
   成分をδ（ｎ）とした場合に、 前記α、β及び｜γ（ｎ）−γ（ｎ−１）｜、｜δ
   （ｎ）−δ（ｎ−１）｜が所定の各閾値より小さな場合
   は、静止状態と判断し、 前記α及び｜γ（ｎ）−γ（ｎ−１）｜が前記所定の各
   閾値より大きい値を有し、｜γ（ｎ）―γ（ｎ−１）｜
   ／｜γ（ｎ−１）−γ（ｎ−２）｜が所定の各閾値より
   大きい場合には、シーンチェンジ状態と判断し、 前記２状態以外の場合には、動状態と判断するようにし
   たことを特徴とする高能率符号化装置。
4. 【請求項４】供給される入力画像信号の空間方向・時間
   方向の相関を利用して情報量の圧縮を行なうと共に前記
   入力画像信号の周波数変換を行なう高能率符号化方法に
   おいて、 前記入力画像信号のフレーム間の相関を計算し、その結
   果を用いて連続するフレーム画像の関係を静止状態、動
   状態、シーンチェンジ状態の３種類に分類するフレーム
   間状態検出ステップと、 前記フレーム間状態検出ステップの出力をｎフレーム
   （ｎは３以上の整数）分蓄積しておくフレーム間状態バ
   ッファステップと、 前記フレーム間状態バッファステップの内容が前記ｎフ
   レーム個の連続する静止状態で構成されている場合にそ
   の中の１フレームを間引き、（ｎ−ｍ）フレーム（但
   し、ｍは２以上の整数、ｎ＞ｍ）個の連続する静止状態
   もしくは動状態とそれに続く１個のシーンチェンジ状態
   とその後に続く（ｍ−１）フレーム個の連続する静止状
   態もしくは動状態で構成されている場合には、ｍフレー
   ム前のフレーム画像を間引く判断を、前記周波数変換の
   ために所定フレーム数に対して１フレーム間引く条件が
   成立している場合に行なうフレーム間引き判断ステップ
   と、 前記入力画像信号が供給されて、前記フレーム間引き判
   断回路の出力により前記１フレーム分間引かれた画像信
   号を出力する入力画像メモリステップと、 前記入力画像メモリステップの出力を量子化符号化した
   信号が供給される、符号化で想定される復号装置の仮想
   バッファ量よりも１フレーム分の平均ビット数分以上大
   きいバッファ有してマルチプレックスするステップとを
   備えたことを特徴とする高能率符号化方法。
5. 【請求項５】請求項４に記載された高能率符号化方法に
   おいて、 前記フレーム間引き判断ステップが、入力画像信号の総
   フレーム数と間引いたフレーム数とを用いて、前記フレ
   ームｎの値をコントロールする連続状態保持可変ステッ
   プを備えたことを特徴とする高能率符号化方法。
6. 【請求項６】請求項４に記載された高能率符号化方法に
   おいて、 前記フレーム間状態検出ステップは、２画面間の空間的
   に同位置の画素間の差分値の絶対値総和をα、８画素×
   ８画素程度に分割した２次元ブロック毎の絶対値和に対
   する画面全体の最大値をβ、ｎフレーム目の入力画面に
   対する水平・垂直の画素間における差分絶対値総和をγ
   （ｎ）、ｎフレーム目の入力画面に対する画面全体のDC
   成分をδ（ｎ）とした場合に、 前記α、β及び｜γ（ｎ）−γ（ｎ−１）｜、｜δ
   （ｎ）−δ（ｎ−１）｜が所定の各閾値より小さな場合
   は、静止状態と判断し、 前記α及び｜γ（ｎ）−γ（ｎ−１）｜が前記所定の各
   閾値より大きい値を有し、｜γ（ｎ）―γ（ｎ−１）｜
   ／｜γ（ｎ−１）−γ（ｎ−２）｜が所定の各閾値より
   大きい場合には、シーンチェンジ状態と判断し、 前記２状態以外の場合には、動状態と判断するようにし
   たことを特徴とする高能率符号化方法。