JP2003032691A - 画像特徴に応じた画像符号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 入力画像特徴に応じて、ＧＯＰサイズおよび
予測フレーム間隔を決定する動画像符号化装置を提供す
ることにある。 【解決手段】 入力画像をあらかじめフレームメモリ３
１に蓄積し、２画像間変化量解析部３２により連続する
画像間の変化量を抽出し、ＧＯＰ境界位置決定部３３に
おいて２画像間変化量解析部３２からの画像間変化量情
報ＡによりＧＯＰ境界位置を決定する。次に、簡動き探
索部３４において、該ＧＯＰ境界位置情報Ｂとフレーム
メモリ１に蓄積されている画像情報から、１ＧＯＰ内の
画像での簡易動き探索を行い、動き特徴予測情報Ｃを算
出する。予測フレーム間隔決定部３５では、動き特徴予
測情報Ｃより、予測フレーム間隔情報Ｄを算出する。画
像間変化量情報Ａ，ＧＯＰ境界位置情報Ｂ，動き特徴予
測情報Ｃ，予測フレーム間隔情報Ｄは符号化複雑度予測
部７に伝達され、各フレーム符号化モードにおける符号
化複雑度予測情報Ｅが算出される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像符号化装置に関
し、特にデジタル動画像信号の動き補償予測を用いた符
号化を行う画像特徴に応じた画像符号化装置に関する。

【０００２】

【従来の技術】連続して入力される動画像信号をより少
ない符号量で符号化する高能率符号化方式のうち、画像
信号の画像間の動きと相関を利用する符号化方式とし
て、過去の符号化された画像を復号再生し、該画像から
の小ブロック単位での動き情報を利用する動き補償予測
符号化がある。従来の動き補償予測符号化の一例を、図
８に示す。

【０００３】図８において、第１画面の入力画像信号１
が入力された場合、予測モード制御部１２により各々の
スイッチはそれぞれ側に接続されており、入力信号は
高い符号化効率を得るために直交変換器３に直接入力さ
れ、該直交変換器３でＤＣＴ（離散コサイン変換）など
を用いて直交変換され、量子化器４で直交変換係数が量
子化される。この量子化係数は第１可変長符号化器５で
ハフマン符号などの可変長符号に変換されてビデオ多重
化器１５に入力される。

【０００４】一方、逆量子化器６に入力した量子化係数
は逆量子化され、さらに逆直交変換器７で画像データが
復元される。復元された画像データはフレームメモリ９
に蓄積される。また、ビデオ多重化器１５では、第１可
変長符号化器５からの符号化データや量子化器４からの
量子化情報１８を多重化して符号化ビデオデータ出力１
６として出力する。

【０００５】次の画面の入力画像信号１が入力されるよ
うになると、符号化モード制御部１２により、各々のス
イッチは側の接点に接続され、入力画像信号１が予測
信号減算器２および動き補償器１０に入力される。動き
補償器１０では該入力画像信号１とフレームメモリ９か
ら入力された参照画像とで動きベクトルが検出され、該
動きベクトルは位置シフタ１１と第２可変長符号化器１
４に入力される。第２可変長符号化器１４では、動きベ
クトル情報がハフマン符号などの可変長符号に変換され
てビデオ多重化器１５に入力される。

【０００６】位置シフタ１１では、動きベクトルによっ
て指定される画像信号をフレームメモリ９から抽出し、
動き補償予測信号として予測信号減算器２および局所復
号加算器８に出力される。予測信号減算器２で入力画像
信号１から動き補償予測信号が減算され、その予測誤差
が符号化される。予測誤差信号は高い符号化効率を得る
ために直交変換器３においてＤＣＴ（離散コサイン変
換）などを用いて直交変換され、量子化器４で量子化さ
れた信号は第１可変長符号化器５でハフマン符号などの
可変長符号に変換される。また復号側と同一の予測信号
を用いるために、量子化器４で得られる量子化係数を逆
量子化器６で逆量子化し、逆直交変換器７で予測誤差信
号が局所的に復号される。さらに動き補償予測信号が局
所復号加算器８で復元された予測誤差信号と加算され、
フレームメモリ９に蓄積される。

【０００７】動画像の符号化では、画像間の動きや相関
を利用した符号化を行うことで、符号化効率を向上する
ことができるが、符号化された動画像から任意の時点の
画像の復号再生を行う場合には、動き補償予測で用いた
参照画像もあらかじめ復号再生されている必要があるた
め、符号化画像の先頭からの復号処理を行わないと全て
の画像の復号再生を行うことができないことになる。こ
の問題を解消するため、過去の復号再生画像と関係なく
独立して復号することができるフレーム内予測符号化フ
レームを定期的に挿入することにより、符号化効率を保
ちながら、なおかつ動画像の先頭以外からの復号再生を
可能としている。

【０００８】動画像の符号化では、高能率符号化と復号
再生の利便性から、以下の３種類の画像符号化方式を組
み合わせて利用されている。

【０００９】Ｐフレーム：片方向予測フレーム。フレー
ム間予測フレームの一つ。過去に符号化された画像から
フレーム間動き補償予測符号化により符号化される。該
画像は復号再生され、次のＰフレーム符号化のための参
照画像となる。参照される画像と参照する画像の類似性
が高い場合には符号化効率が向上する。

【００１０】Ｂフレーム：フレーム間予測フレームの一
つ。過去に符号化された時間的に前後する２枚の画像か
らフレーム間動き補償予測により符号化される。該フレ
ームは参照画像としては利用されない。

【００１１】Ｉフレーム：フレーム内符号化フレーム。
画像間の動きと相関は利用せず、１枚の画像を独立して
符号化する。したがって独立したフレームの復号が可
能。

【００１２】上記の３種類の符号化方式を組み合わせ、
独立した復号が可能な画像群の最小単位をＧＯＰ（Grou
p Of Picture）と呼ぶ。また、その符号化方式の組み合
わせをＧＯＰ構造という。一つのＧＯＰ内で最初に符号
化されるフレームはフレーム内符号化（Ｉフレーム）と
なる。図９にＧＯＰの例を示す。図９において一つのＧ
ＯＰに含まれるフレーム数をＧＯＰサイズ、Ｐフレーム
間、またはＩフレームとＰフレームとの間隔を予測フレ
ーム間隔と呼ぶ。

【００１３】従来は、入力画像の特徴に関係なくＩフレ
ーム挿入間隔、つまりＧＯＰサイズを固定値とし、一定
枚数ごとに強制的にフレーム内符号化を行っている。そ
のため、参照画像との相関が高く、フレーム間予測符号
化を用いることで符号化効率が向上できる可能性がある
場合でも、フレーム内符号化を利用しなくてはならない
場合が生ずる。

【００１４】また、予測フレーム間隔についても、最も
符号化効率のよい予測フレーム間隔は画像の特徴に依存
する。たとえば、動きの激しい映像では、予測フレーム
間隔を短くすることによって参照画像からの予測効率が
高くなり、符号化効率を向上することができる。逆に変
化がほとんどない場合には、予測フレーム間隔を長くす
ることにより、符号化効率を向上することができる。し
かし、従来の方式では画像の特徴には関係なく、固定的
に予測フレーム間隔を０．１秒程度としている。

【００１５】

【発明が解決しようとする課題】前記した従来方法によ
る画像の符号化においては、入力される画像に変化があ
り、フレーム間予測符号化が効果的ではない場合でもフ
レーム間予測符号化が用いられたり、フレーム間予測符
号化であれば効果的な符号化ができるにもかかわらず、
強制的にフレーム内予測符号化が用いられたりするた
め、符号化効率の向上や、復号再生画像の画質の向上を
妨げている。また、画像特徴変化直後の画質に大幅な変
動が起こることも避けることができない。例えば、シー
ンの変化等の大きな変化が入力画像にあった場合には、
画質が大幅に変動してしまうという問題があった。

【００１６】本発明の目的は、前記した従来技術の問題
点を解決し、入力画像の特徴や、入力画像の特徴の変化
に応じて、ＧＯＰサイズ、および予測フレーム間隔を適
応的に変化させることで、符号化効率の向上を達成し、
更に符号化画像品質を安定化させる画像特徴に応じた画
像符号化装置を提供することにある。

【００１７】

【課題を解決するための手段】前記目的を達成するため
に、本発明は、連続して入力される画像信号において、
各画像間の動き補償予測を利用した画像符号化を行う動
画像符号化装置において、入力された画像信号をあらか
じめ一定量蓄積する蓄積手段と、該蓄積手段に蓄積され
た各画像から、画像間の変化量の測定と、画面内の特徴
量を測定する手段と、該測定された画像間の変化量に基
づいてフレーム内符号化モードでの符号化を行う画像を
決定する手段と、該測定された画面内の特徴量を利用し
て片方向予測符号化フレーム間隔を決定する手段と、該
決定されたフレーム内符号化フレームと片方向予測符号
化フレーム間隔からＧＯＰ構造を決定する手段とを具備
し、前記蓄積手段に蓄積されている画像を該ＧＯＰ構造
に従って符号化するようにした点に特徴がある。

【００１８】この特徴によれば、ＧＯＰサイズは画像特
徴により異なるサイズとなり、入力画像間の動きの特徴
により、最適な予測フレーム間隔を決定することができ
るようになる。さらに、従来の固定ＧＯＰサイズおよび
固定予測フレーム間隔での画像符号化方式では避けるこ
とのできなかった入力画像の変化に伴う画質の大幅な変
動や、符号化効率の低下を解消することができるように
なる。

【００１９】

【発明の実施の形態】以下に、図面を参照して、本発明
を詳細に説明する。図１は、本発明の一実施形態の構成
を示すブロック図である。なお、以下の説明では、動画
像符号化方式として、図８に示した符号化装置を用いる
ものとするが、本発明はこれに限定されるものではな
い。また、図８と同じ符号は、同一または同等物を示
す。

【００２０】この実施形態は、連続して入力される画像
信号からその画像信号の特徴の解析を行い、その情報に
応じてＧＯＰ構造を決定し、その情報から符号化処理を
行うことに特徴がある。

【００２１】図１において、連続的に入力される画像信
号はＧＯＰ構造決定部２０において、その特徴解析を行
い、入力画像に応じたＧＯＰ構造を決定し、その情報を
基に、画像の符号化の際に符号化モード制御部１２に対
してＧＯＰ構造情報信号２１を出力し、また、符号化レ
ート制御部１７に対して符号化複雑度予測情報２２を出
力する。なお、上記以外の動作は、図８の符号化装置の
動作と同様であるので、説明を省略する。

【００２２】図１におけるＧＯＰ構造決定部２０の処理
の実施形態をブロック図により示したものが図２〜図５
である。本発明の第一実施形態である図２における処理
の手順を説明する。まず連続的に入力される画像信号
は、フレームメモリ３１に蓄積される。フレームメモリ
３１では最大ＧＯＰサイズ分の画像を蓄積することがで
きるものとする。

【００２３】２画像間変化量解析部３２では、フレーム
メモリ３１に蓄積される各画像と、時間的に直前に隣接
する画像との間の映像からの変化量の算出を行い、その
結果である画像間変化量情報ＡをＧＯＰ境界決定部３３
に出力する。ここでは画像間変化量情報Ａの算出には対
象画像と直前の画像を用いたが、その他の画像を用いる
ことも可能である。

【００２４】ＧＯＰ境界位置決定部３３では、２画像間
変化量解析部３２から出力された、画像間変化量情報Ａ
から、フレームメモリ３１内においてＧＯＰ境界とする
のに最適な位置を決定し、その情報をＧＯＰ境界位置情
報Ｂとして出力する。このＧＯＰ境界位置の決定によ
り、フレームメモリ３１内にある該決定したＧＯＰ境界
位置よりも古い画像が１つのＧＯＰとなる。

【００２５】また、簡易動き探索部３４では、ＧＯＰ境
界位置決定部３３におけるＩフレーム位置挿入決定、つ
まり１ＧＯＰサイズ決定後に、ＧＯＰ境界位置決定部３
３から出力されたＩフレーム挿入位置情報であるＧＯＰ
境界位置情報Ｂと、フレームメモリ３１に蓄積されてい
る映像情報から決定された１ＧＯＰサイズ分の画像の中
から基準となる画像を決定し、その画像と他の画像との
間での簡易動き探索により、動き特徴予測情報Ｃを出力
する。

【００２６】次に、予測フレーム間隔決定部３５におい
て、簡易動き探索部３４から入力された動き特徴予測情
報Ｃにより予測フレーム間隔を決定し、予測フレーム間
隔情報Ｄを出力する。

【００２７】画像間変化量情報Ａ，ＧＯＰ境界位置情報
Ｂ，動き特徴予測情報Ｃ，および予測フレーム間隔情報
Ｄは、符号化複雑度予測部３７に入力され、該符号化複
雑度予測部３７において、Ｉ，Ｐ，Ｂ各フレーム符号化
モードにおける符号化の複雑度を予測し、その情報を符
号化複雑度予測情報Ｅとして符号化レート制御部３８へ
出力する。

【００２８】符号化レート制御部３８では、入力画像の
符号化時に、符号化複雑度予測部３７から入力された符
号化複雑度予測情報Ｅを反映させて符号化レート制御を
行う。また、ＧＯＰ境界位置情報Ｂおよび予測フレーム
間隔情報Ｄは、符号化モード制御部３６にも出力され、
該符号化モード制御部３６は該情報により決定されるＧ
ＯＰ構造により、符号化時のスイッチの制御を行う。

【００２９】フレームメモリ３１内の一つのＧＯＰの構
造が決定した後に、該ＧＯＰ内の各画像の符号化を行う
ため、フレームメモリ３１は図１の予測信号減算部２に
対して画像信号を出力し、出力された画像信号情報は、
フレームメモリ３１から削除される。

【００３０】フレームメモリ３１は、一つのＧＯＰの符
号化が終了すると、フレームメモリ３１内の残りの画像
の後に連続して入力される画像を蓄積する。フレームメ
モリ３１は、最大ＧＯＰサイズ分の画像信号を蓄積する
と、次のＧＯＰ構造決定のための処理を行い、この処理
を繰り返す。

【００３１】次に、本発明の第１実施形態である図２の
ＧＯＰ構造決定部２０の各部の動作の詳細を説明する。

【００３２】まず、フレームメモリ３１では、連続して
入力される画像信号を蓄積する。蓄積する画像枚数は、
符号化時に決定する最大ＧＯＰサイズ以上とする。フレ
ームメモリ３１では、２画像間変化量解析部３２、およ
び簡易動き探索部３４に対して画像信号の出力を行う。
また、蓄積されている画像群において、一つのＧＯＰの
構造が決定されると、画像符号化装置に対して画像信号
の出力を行い、出力した画像信号はフレームメモリ３１
から削除し、該領域上に、新たに入力される画像信号を
蓄積する。

【００３３】次に２画像間変化量解析部３２では、フレ
ームメモリ３１から２枚の画像情報を取り出し、該画像
間の変化量情報Ａの算出を行う。算出方法には、２枚の
画像における同位置の画素情報同士の絶対差分量のフレ
ーム内の総和量により決定する方法や、画像を小ブロッ
クに分割し、該小ブロック毎の画素の分散値を求め、該
分散値を小ブロックの代表値としたフレーム間の絶対差
分量のフレーム内の総和量により決定する方法をとる。

【００３４】前者の決定方法は、例えば図１０(a) に示
されているように、画像ｉ、ｊの各画素値を、Ｐi1，Ｐ
i2，…，Ｐin；Ｐj1，Ｐj2，…，Ｐjnとした場合、同図
の(1) 式により決定される。また、後者の決定方法は、
例えば同図(b) に示されているように、画像ｉ、ｊの各
小ブロックの分散値を、σi1，σi2，…，σim；σj1，
σj2，…，σjmとした場合、同図の(2) 式により決定さ
れる。

【００３５】なお、前記決定方法の各画素値は、輝度値
のみによる処理を行ったが、色差値による処理や、輝度
および色差値双方を用いる処理も可能である。２画像間
変化量解析部３２で算出された画像間変化量情報Ａは、
ＧＯＰ境界決定部３３、および符号化複雑度予測部３７
へ出力される。

【００３６】ＧＯＰ境界位置決定部３３では、２画像間
変化量解析部３２より入力された画像間変化量情報Ａか
ら、その値がある閾値を越えた場合に該フレーム直前を
ＧＯＰ境界とする方法をとる。また、フレームメモリ３
１内の全画像についての画像間変化量情報Ａからその最
大値をもつ画像の直前をＧＯＰ境界とする方法や、閾値
による方式と最大値による方式との論理和、論理積によ
る決定も可能である。ＧＯＰ境界位置決定部３３で得ら
れたＧＯＰ境界位置情報Ｂは、簡易動き予測部４、符号
化モード制御部３６、および符号化複雑度予測部３７へ
出力される。

【００３７】簡易動き探索部３４では、ＧＯＰ境界位置
決定部３３においてフレームメモリ３１内の画像につい
て一つのＧＯＰサイズが決定した後、該ＧＯＰ内の画像
の動き情報を予測するために簡易動き探索処理を行う。
最も正確な動き情報を収集するには、図１に示す動画像
の符号化装置における動き補償器１０での動き探索処理
と同様に、入力画像を８×８画素や１６×１６画素単位
の小ブロック単位に分割し、該小ブロックのそれぞれに
ついて動き探索を行い、その処理で得られた小ブロック
毎の動き情報から判断する方法であるが、動き探索に要
する処理量は非常に大きく、例えば画像サイズが７２０
×４８０画素で、探索範囲を±１６画素とした場合、１
枚の画像における動き探索処理に２^３１回以上の加算処
理が必要となる。

【００３８】このような処理を簡易動き探索部３４で行
うことを考えると、本方式での符号化を行う場合には、
処理量の大きい動き探索処理をＧＯＰ構造決定の際と、
実際の符号化の際とで２度行う必要が生ずる。この不具
合を避けるために、ＧＯＰ構造決定の際に得られた動き
情報を、画像符号化時の動き補償器１０での動き情報と
して利用することで、動き探索の処理回数を１度とする
方法が考えられるが、本方式では予測フレーム間隔が確
定する前に簡易動き検出部３４の動作が行われるため
に、該簡易動き検出部３４の探索処理により得られた動
き情報を、画像符号化における動き補償器１０において
そのまま利用することは不可能である。

【００３９】そのため、本発明では簡易動き探索部３４
では処理量の少ない簡易な動き探索処理を行い、その情
報から画像の動き情報を予測する手段を用いる。以下に
簡易動き探索処理を説明する。

【００４０】まず、決定されたＧＯＰ内の一つの画像を
基準画像として選択し、該基準画像を小ブロック毎に分
割し、該小ブロックを一つの代表値で表現した縮小画像
を作成する。ここで、該代表値の算出には、例えば、小
ブロック内全画素値の分散を用いることができる。ま
た、基準となる画像の選択方法として、対象となるＧＯ
Ｐ内で最も古い画像を利用することとするが、他の画像
を選択することも可能である。

【００４１】次に、基準となる画像との動き特徴を把握
するため、対象画像を定め、該画像の縮小画像を作成す
る。そして基準画像と対象画像の縮小画像を用いた動き
探索処理を行う。本発明ではこの処理をＧＯＰ内の基準
画像以外の全ての画像に対して行うが、全てではなく、
選択的にいくつかの画像と行うことも可能である。

【００４２】本方式では、この小ブロック単位で画像特
徴情報をよく反映する代表値を算出し、１画像内の全て
の小ブロックの代表値から縮小画像を作成し、この縮小
画像を用いて画像間の簡易動き探索を行う。図６は縮小
画像の作成を示したものである。入力される画像のサイ
ズを水平方向Ｍ画素、垂直方向Ｎ画素とし、小ブロック
のサイズを水平および垂直方向に８画素とすると、各小
ブロックの代表値には６４画素に対して１個の値とな
り、生成される縮小画像のサイズはＮ，Ｍ共に８の倍数
の場合には、水平方向Ｍ／８画素、垂直方向Ｎ／８画素
となる。また、小ブロックのサイズは８画素×８画素以
外にも、１６画素×１６画素や、その他全ての矩形ブロ
ックでの処理が可能である。

【００４３】また、本方式では小ブロック毎の代表値の
算出には、小ブロック内全画素値の分散を利用したが、
平均値、標準偏差値、または平均値との絶対誤差和の利
用、または各々の組み合せの利用も可能である。ここで
は画素値には輝度値を用いるが、色差値、または輝度値
と色差値の双方を利用することも可能である。

【００４４】また、動き探索による動き特徴値は、一般
的な動き探索処理では、該小ブロック単位での動き探索
を行い、最も差分量の小さい位置を示すベクトルを算出
するが、本方式においては縮小画像を用いるため、動き
ベクトル情報の精度は低い。そのため、画像全体の動き
の大きさの指標として、縮小画像情報での動き探索の際
に最も動き補償予測誤差の低い位置における動き補償予
測誤差量をその画像における動き特徴値とする。また、
この動き補償予測誤差の算出には、２乗誤差量、絶対誤
差量、平方根での絶対誤差量の利用が可能である。一般
的な原画像画素情報を用いた動き探索処理と比較し、小
ブロックを１６画素単位とした縮小画像を作成し、簡易
動き探索処理の場合では、２^１３回程度の加算処理とな
り、一般的な動き探索処理における演算量の１／１００
０００以下となる。得られた動き特徴予測情報Ｃは予測
フレーム間隔決定部３５へ出力される。

【００４５】１ＧＯＰ内で基準となる画像とそれ以外の
画像との間での簡易な動き探索により得られた動き補償
予測誤差量は、動き特徴予測情報Ｃとして予測フレーム
間隔決定部３５に入力される。予測フレーム間隔決定部
３５では、該動き特徴予測情報Ｃより予測フレーム間隔
を決定する。画像の符号化の際に、画像間における動き
や変化が大きい場合には予測フレーム間隔を小さくと
り、また、画像間における動きや変化が小さい場合には
予測フレーム間隔を大きくとることにより、最も効率的
な符号化を行うことができる。したがって、まず１ＧＯ
Ｐにわたる動き特徴を把握するために、１ＧＯＰ内の基
準画像とその他の画像との間の全ての動き特徴予測情報
を求め、次いでその平均値を求める。そして、該平均値
を代表値とし、該代表値を基に予測フレーム間隔を決定
する。予測フレーム間隔と、得られた平均値との間に反
比例の関係を持たせることが、本発明の一つの特徴であ
る。また、１ＧＯＰ内の代表値の算出には、平均値を利
用する方法以外にも、最大値、最小値を利用することも
可能である。

【００４６】また、入力される画像の解像度が高い場合
には、画素に対する相対的な動き量は大きくなるため、
画像の解像度と最適な予測フレーム間隔との関係は反比
例となる。本発明では予測フレーム間隔値の決定の際
に、画像の解像度情報との反比例関係を反映させること
を他の特徴とする。決定された予測フレーム間隔情報Ｄ
は、符号化複雑度予測部３７、および符号化モード制御
部３６へと出力される。ＧＯＰ境界位置情報Ｂ、および
予測フレーム間隔情報Ｄは、共に符号化モード制御部３
６に伝達され、その情報を基に各画像の符号化時のスイ
ッチの制御を行う。

【００４７】画像間変化量情報Ａ，ＧＯＰ境界位置情報
Ｂ，動き特徴予測情報Ｃ，および予測フレーム間隔情報
Ｄは、符号化複雑度予測部３７に入力され、Ｉフレー
ム、Ｐフレーム、Ｂフレームそれぞれの符号化モードで
の符号化における発生符号量予測の指標となる符号化複
雑度予測情報Ｅを算出し、符号化レート制御部３８へ出
力する。

【００４８】符号化レート制御部３８では、新たなＧＯ
Ｐの符号化へと処理が移る際に、各符号化モードにおけ
る符号化複雑度予測情報を、符号化複雑度予測部３７か
ら入力される符号化複雑度予測情報Ｅにより更新する。
従来は入力画像の切り替わりや、変動にかかわらず、同
じ符号化モードを持つ過去のフレームで利用した符号化
複雑度予測情報を利用していた。そのためシーンの変化
等の大きな変化が入力画像にあった場合には相関のない
フレームの符号化複雑度予測情報の影響を受け、画質が
大幅に変動してしまう問題があった。しかし、本発明に
おいては、符号化を行う画像情報からの予測であるた
め、このような問題を解消することができる。

【００４９】次に、各符号化モードに対する符号化複雑
度予測情報Ｅの算出方法を説明する。Ｉフレームにおけ
る符号化複雑度予測情報Ｅの算出には、Ｉフレームとし
て符号化される画像を小ブロック単位に分割し、該小ブ
ロック毎の画素値の分散を求め、該分散の画面内平均、
およびスケーリングパラメータである固定値ＳＩとの積
により決定する。画素値には、輝度情報、色差情報、お
よび双方の利用が可能である。

【００５０】また、該小ブロック毎の画素値の分散と、
隣接小ブロックの画素値の分散値との間で算出した絶対
差分量が閾値以上となった場合には、入力画像の該小ブ
ロック領域には輪郭等のエッジ情報が含まれていると判
断し、該小ブロック領域を符号化する際に、多くの符号
量を割り当てることができるよう、符号化レート制御部
３８に反映させることにする。

【００５１】Ｐフレームにおける符号化複雑度予測情報
Ｅは、対象ＧＯＰ内の全ての動き特徴予測情報Ｃより平
均値を求め、該平均値とスケーリングパラメータである
固定値ＳＰとの積により決定する。また、Ｉフレームに
おける符号化複雑度予測情報をスケーリングして算出す
ることも可能である。

【００５２】Ｂフレームにおける符号化複雑度予測情報
Ｅは、Ｐフレームにおける符号化複雑度予測情報とスケ
ーリングパラメータである固定値ＳＢとの積により決定
する。

【００５３】次に、本発明の第２実施形態を、図３に示
す。この実施形態は、図２の実施形態から符号化複雑度
予測部３７の処理を省いた構成を有するものである。

【００５４】次に、本発明の第３実施形態を、図４に示
す。この実施形態は、図３の第２実施形態からＧＯＰサ
イズの決定にかかわる処理を省いた構成を有するもので
ある。この実施形態においては、ＧＯＰサイズは、あら
かじめ指定された長さで固定となり、各ＧＯＰにおい
て、動き特徴予測情報Ｃから、最適な予測フレーム間隔
を適応的に変化させるようにしている。

【００５５】次に、本発明の第４実施形態を、図５に示
す。この実施形態は、図３の第２実施形態から予測フレ
ーム間隔の決定にかかわる処理を省いた構成を有するも
のである。この実施形態においては、予測フレーム間隔
は、あらかじめ指定された間隔で固定となり、入力画像
の特徴である画像間変化量情報Ａにより、ＧＯＰサイズ
のみを適応的に変化させるようにしている。

【００５６】

【発明の効果】以上の説明から明らかなように、本発明
によれば、入力画像の特徴や変化に応じたＧＯＰサイズ
をとるようにしたので、入力画像の変化に適応したＧＯ
Ｐサイズをとることが可能になる。また、このため、固
定ＧＯＰサイズでの符号化の場合に生じる符号化効率の
低下、画質の変動を避けることができるようになる。

【００５７】また、決定されたＧＯＰサイズから、該Ｇ
ＯＰ内の画像の動き特徴を検出し、その動き特徴に応じ
た予測フレーム間隔を設定するようにしたので、入力画
像の動き特徴に応じた予測フレーム間隔を取ることが可
能になる。また、このため、従来の固定予測フレーム間
隔での符号化を行う場合と比較し、符号化効率を向上す
ることができるようになる。

【００５８】さらに、従来の装置ではシーンチェンジ等
によって前のＧＯＰと対象ＧＯＰとの間に画像特徴に関
連がない場合においても前のＧＯＰで利用した符号化複
雑度予測情報を反映することによって、符号化画像の画
質の大幅な変動や、劣化、符号化効率の低下が発生して
いた。しかし本発明では、１ＧＯＰの符号化終了後、次
のＧＯＰの符号化処理前に、対象ＧＯＰ内の画像の特徴
から符号化複雑度予測情報を算出することにより、関連
のないＧＯＰの画像特徴の影響を受けることなく、安定
した画質での符号化を行うことができるようになる。

【００５９】ＭＰＥＧ２方式によるシーンの変化のある
画像でのシミュレーション実験結果を図７に示す。シミ
ュレーションでは４Ｍｂｉｔ／ｓの符号化レートで圧縮
符号化した場合に、ＧＯＰサイズを１５フレーム固定、
予測フレーム間距離を３フレームで固定した従来装置の
符号化に対し、本発明ではＰＳＮＲの変動が小さく、か
つ０．６５ｄＢの画質の改善を行うことができた。

【図面の簡単な説明】

【図１】 本発明を含む動き補償予測符号化装置のブロ
ック図である。

【図２】 本発明の一実施形態のＧＯＰ構造決定部の構
成を示すブロック図である。

【図３】 本発明の第２実施形態を示すブロック図であ
る。

【図４】 本発明の第３実施形態を示すブロック図であ
る。

【図５】 本発明の第４実施形態を示すブロック図であ
る。

【図６】 簡易動き探索のための縮小画像作成の説明図
である。

【図７】 本発明のシミュレーション実験結果を示すグ
ラフである。

【図８】 本発明が適用される従来の動き補償予測符号
化装置のブロック図である。

【図９】 従来のＧＯＰ構造を示す図である。

【図１０】 ２画素間変化量の算出方法の説明図であ
る。

【符号の説明】

１０…動き補償器、１２、３６…符号化モード制御部、
１７、３８…符号化レート制御部、２０…ＧＯＰ構造決
定部、２１…ＧＯＰ構造情報信号、２２…符号化複雑度
予測情報、３１…フレームメモリ、３２…２画素間変化
量解析部、３３…ＧＯＰ境界位置決定部、３４…簡易動
き探索部、３５…予測フレーム間隔決定部、３７…符号
化複雑度予測部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 柳原 広昌 埼玉県上福岡市大原二丁目１番15号 株式 会社ケイディーディーアイ研究所内 (72)発明者 菅野 勝 埼玉県上福岡市大原二丁目１番15号 株式 会社ケイディーディーアイ研究所内 Ｆターム(参考） 5C059 MA05 MA14 NN01 NN21 PP05 PP06 PP07 TA00 TA21 TB03 TC03 TC10 TC12 TD03 TD04 TD05 UA02 UA33 5J064 AA01 BB01 BB03 BC01 BC22 BC28

Claims (9)

【特許請求の範囲】
1. 【請求項１】 連続して入力される画像信号において、
   各画像間の動き補償予測を利用した画像符号化を行う動
   画像符号化装置において、 入力された画像信号をあらかじめ一定量蓄積する蓄積手
   段と、 該蓄積手段に蓄積された各画像から、画像間の変化量の
   測定と、画面内の特徴量を測定する手段と、 該測定された画像間の変化量に基づいてフレーム内符号
   化モードでの符号化を行う画像を決定する手段と、 該測定された画面内の特徴量を利用して片方向予測符号
   化フレーム間隔を決定する手段と、 該決定されたフレーム内符号化フレームと片方向予測符
   号化フレーム間隔からＧＯＰ構造を決定する手段とを具
   備し、 前記蓄積手段に蓄積されている画像を該ＧＯＰ構造に従
   って符号化することを特徴とする画像特徴に応じた画像
   符号化装置
2. 【請求項２】 請求項１に記載の画像特徴に応じた画像
   符号化装置において、 前記画像間の変化量の測定に、
   前記蓄積画像の小ブロック毎の代表値間の差分情報また
   は該蓄積画像の画素差分情報を用いることを特徴とする
   画像特徴に応じた画像符号化装置。
3. 【請求項３】 請求項２に記載の画像特徴に応じた画像
   符号化装置において、 前記差分情報の取得は、時間的に隣接する画像間で行う
   ことを特徴とする画像特徴に応じた画像符号化装置。
4. 【請求項４】 請求項１ないし３のいずれかに記載の画
   像特徴に応じた画像符号化装置において、 前記画面内の特徴量の測定に、画像の小ブロック毎の代
   表値により作成される縮小画像を利用することを特徴と
   する画像特徴に応じた画像符号化装置。
5. 【請求項５】 請求項４に記載の画像特徴に応じた画像
   符号化装置において、 前記縮小画像間の動き予測を行
   い予測誤差量を求め、該予測誤差量から前記片方向予測
   符号化フレーム間隔を決定することを特徴とする画像特
   徴に応じた画像符号化装置。
6. 【請求項６】 請求項５に記載の画像特徴に応じた画像
   符号化装置において、 前記縮小画像間での動き予測
   は、前記蓄積手段に蓄積されている画像のうち基準とな
   る縮小画像情報と、それ以外の各縮小画像情報との間で
   行うことを特徴とする画像特徴に応じた画像符号化装
   置。
7. 【請求項７】 請求項６に記載の画像特徴に応じた画像
   符号化装置において、 前記基準となる縮小画像情報に
   は、対象となるＧＯＰ内で最も古い画像を利用すること
   を特徴とする画像特徴に応じた画像符号化装置。
8. 【請求項８】 請求項５ないし７のいずれかに記載の画
   像特徴に応じた画像符号化装置において、 前記予測誤差量が大きい場合には片方向予測符号化フレ
   ーム間隔を小さくするよう制御することを特徴とする画
   像特徴に応じた画像符号化装置。
9. 【請求項９】 請求項２ないし８のいずれかに記載の画
   像特徴に応じた画像符号化装置において、 前記画像の小ブロック毎の代表値には、入力画像の小ブ
   ロック毎の平均値、分散値、標準偏差値、および平均値
   との絶対誤差和の少なくとも一つを利用することを特徴
   とする画像特徴に応じた画像符号化装置。