JP2005341601A - 動画像符号化装置 - Google Patents

Abstract

【課題】 フレーム間の画像の変化に対して、符号量の割り当て、及び符号化のスキップを適切に行うことができ、これにより画質の維持を行う。
【解決手段】 入力画像解析部７で検出されるフレーム間変化量ＶＡが第１の閾値以上であり、かつフレーム複雑度ＦＨが所定の閾値以上であるときに、フレームスキップ制御手段８が、符号化手段１０における現フレームの符号化をスキップさせる。
【選択図】 図１

Description

本発明は、動画像の符号化に関し、ＩＴＵ−Ｔ勧告Ｈ．２６ｘやＩＳＯ／ＩＥＣ標準ＭＰＥＧ等に代表される動画像符号化方式により符号化を行う動画像符号化装置及び動画像符号化方法に関するものであり、特に、携帯電話などに搭載される装置に関する。

以下、ＭＰＥＧ−４を例に取り説明する。一般に、ＭＰＥＧ−４に代表される動画像符号化方式は、入力される画像信号に対して空間的・時間的相関関係を利用してデータの圧縮を行う。そして、この空間的圧縮・時間的圧縮により得られるデータをもとに、所定の順序に従ってさらに可変長符号化を行い、ビットストリームを生成する。

ここで以下の説明のため、ＭＰＥＧ−４のフレームの概念について述べておく。ＭＰＥＧ−４では、表示される画像全体（合成画像）は、複数の画像系列の画像（物体）により構成されることから、各画像系列の、各表示時刻における画面をビデオ・オブジェクト・プレーンと呼び、ＭＰＥＧ−１，２におけるフレームと区別している。なお、表示画像の全体が１つの画像系列の画像により構成される場合には、ビデオ・オブジェクト・プレーンとフレームは一致することとなる（以下、表示画像の全体が１つの画像系列の画像により構成されるとし、ビデオ・オブジェクト・プレーンを「フレーム」と記す。）。

フレームは輝度信号と色差信号をもち、複数のマクロブロックから構成される。マクロブロックは、輝度信号に対して縦横それぞれ１６画素から成り、ＭＰＥＧ−４における画像符号化では、このマクロブロック単位で空間的圧縮、時間的圧縮等の手法により情報量の圧縮が行われる。

空間的圧縮は、直交変換の一種である離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ。以下、「ＤＣＴ」と記す。）により時間領域から周波数領域に変換した後の信号を量子化することにより行われ、時間的圧縮には、動き補償が用いられる。

また、フレーム単位のデータ圧縮方法には、同一画面内の空間的圧縮のみで符号化される空間的画面内符号化（以下、「フレーム内符号化」と記す。）と、画面間の相関から時間的圧縮を用いて符号化される画面間符号化（以下、「フレーム間符号化」と記す。）とがある。

動画像符号化装置では、所定の符号化パラメータに従って、指定された符号量のビットストリームを出力しなければならない。さらにビットストリームを受け取る復号化装置側のバッファ（仮想バッファ検証器、以下、「ＶＢＶバッファ」と記す。）においてオーバーフローやアンダーフローが生じないように、符号化装置側でＶＢＶバッファの占有量を想定して発生符号量を制御しなくてはならない。

発生符号量の制御は、フレームを構成するマクロブロック毎に設定される、ＤＣＴ係数を量子化するために用いる、量子化パラメータにより行う。従って、発生符号量の制御はフレーム単位で行われることとなる。一般に、量子化パラメータを大きくすると発生符号量は小さくなり、量子化パラメータを小さくすると発生符号量は多くなる。つまり、発生符号量と量子化パラメータとは反比例の関係にある。この性質を用いて発生符号量を変化させることが可能である。

しかし、量子化パラメータが取り得る範囲には制限があるため、量子化パラメータだけで適正な発生符号量に制御することは難しい場合がある。そこで、発生符号量が目標値より多い場合は、すべてのフレームについて符号化処理を行うのではなく、符号化処理を行わないフレーム、即ち符号化処理をスキップするフレームスキップを作り、全体の発生符号量を抑制する一方、発生符号量が目標値よりも小さい場合は、ビットストリームに冗長なビットを挿入し、発生符号量を増加させる処理を行う。

上記のような、一部のフレームの符号化処理をスキップし、発生符号量を抑制する技術については、例えば特許文献１に記載されている。

また、入力される画像信号に対して符号化処理を行う装置において、連続したフレーム間の映像が不連続であり、シーンが変わったと考えられる場合、フレーム間符号化の画質劣化を改善するために、シーンが変わった直後の画像に多くの符号量を割当てる符号量制御方法について、例えば特許文献２に記載されている。

特開２００２−２６２２９７号公報（第４−７頁、第３図） 特開平６−５４３１９号公報（第４−５頁、第２図）

従来のＭＰＥＧ−４で符号化処理を行う動画像符号化装置では、フレーム間の相関性が低い場合、フレームの目標符号量よりも多い符号量を割当てなければ、画質の劣化を抑えて符号化を行うことができない。そこで符号量を割増して符号化を行うと、１秒間でのビット数が予め設定されており、幾フレームかの符号化処理をスキップし、ビットレートに合わせた符号化処理を行わなければならない。このとき、フレーム間符号化を行うと、フレームがスキップしていることからフレーム間の相関性が低く、さらに符号量を割増さなければならず悪循環となる。

上記特許文献１ではフレームのスキップ数がある所定値を超えると、直後のフレームでフレーム内符号化処理を行い画質の劣化を抑えている。しかし、フレームのスキップが起きてから対応しているため、上述した問題を解消することはできない。また、フレームスキップが起きず、かつフレーム間の変化が大きくなる場合は、通常の符号化処理を行ってしまうため、画質劣化を生じる可能性がある。

また、上記特許文献２では、フレーム間の相関性が低いことを検出した場合、その直後の画像には多くの符号量を割増して、フレーム内符号化を行うことによって画像の劣化を防止する符号化処理を行っている。しかし、連続するフレームにフレームの変化が多く検出される場合、連続して符号量を多く割増すこととなり、全体として適切な符号量の割当てを行うことができないという問題がある。

本発明は、上記の問題点を解決するもので、その目的は、フレーム間の画像の変化に対して、符号量の割り当て、及び符号化のスキップを適切に行うことができ、これにより画質の維持を行うことができる動画像符号化装置を提供することにある。

本発明は、
入力された動画像の現フレームと前フレームとのフレーム間変化量を検出する入力画像解析手段と、
前記入力された動画像を符号化する符号化手段と、
前記符号化手段から出力された符号化データの発生符号量と所定の基準符号量とにより、前記符号化手段で符号化するフレームの目標符号量を仮決定するフレーム目標符号量設定手段と、
前記符号化手段における符号化をフレーム単位でスキップさせるフレームスキップ制御手段と
を備えた動画像符号化装置において、
前記入力画像解析手段が、フレーム間変化量に基づいて第１のフレームスキップ挿入回数を決定し、
前記フレーム目標符号量設定手段が前記フレーム間変化量及び前記仮決定された目標符号量に基づいて第２のフレームスキップ挿入回数を決定し、
前記フレームスキップ制御手段が前記第１のフレームスキップ挿入回数と前記第２のフレームスキップ挿入回数とに基づいてフレームスキップ挿入可否情報を設定し、これにより前記符号化手段における符号化のフレーム単位でのスキップを制御する
ことを特徴とする動画像符号化装置を提供する。
本発明はまた、
入力された動画像の現フレームと前フレームとのフレーム間変化量を検出する入力画像解析手段と、
前記入力された動画像を符号化する符号化手段と、
前記符号化手段から出力された符号化データの発生符号量と所定の基準符号量とにより、前記符号化手段で符号化するフレームの目標符号量を仮決定するフレーム目標符号量設定手段と、
前記符号化手段における符号化をフレーム単位でスキップさせるフレームスキップ制御手段と
を備えた動画像符号化装置において、
前記入力画像解析手段が、フレーム間変化量に加え、入力された動画像の現フレームにおけるフレーム内複雑度も検出するように構成され、
前記入力画像解析手段において、前記フレーム間変化量が所定の第１の変化量閾値以上であり、かつフレーム複雑度が所定の複雑度閾値以上であることが検出された場合に、前記フレームスキップ制御手段が、現フレームの符号化をスキップさせるようフレームスキップ挿入可否情報を設定、これにより前記符号化手段における符号化のフレーム単位でのスキップを制御する
ことを特徴とする動画像符号化装置を提供する。

本発明によれば、フレームを符号化する際、フレーム間変化量（ＶＡ）が大きい場合、フレームスキップを意図的に発生させて、フレームの符号化を行わず、スキップしたフレームへの割当てが予定されていたフレーム目標符号量を、スキップ後のフレームへの割当てが予定されていたフレーム目標符号量に加えることができるので、スキップ後のフレームでは、十分な目標符号量を用いて画質劣化の少ない符号化を行うことができ、その結果、安定した画質の維持と符号量制御を実現することができる。
また、本発明によれば、フレームを符号化する際、フレーム間変化量（ＶＡ）が閾値よりも大きく、かつフレーム内複雑度（ＦＨ）が閾値よりも大きい場合、フレームスキップを意図的に発生させて、フレームの符号化を行わず、スキップしたフレームへの割当てが予定されていたフレーム目標符号量を、スキップ後のフレームへの割当てが予定されていたフレーム目標符号量に加えることができるので、スキップ後のフレームに対して画質劣化の少ない符号化を行うことができ、その結果、安定した画質と符号量制御を実現することができる。

本発明に係る動画像符号化装置は、符号化処理対象のフレーム（以下、「現フレーム画像」と記す。）と、現フレームより時間的にＮ（Ｎは１以上の整数）フレーム前にあるフレーム（以下、「Ｎフレーム前画像」と記す。）とのフレーム間の輝度信号や色差信号等の特徴量の変化量が、所定の閾値以上であるか否かの判定結果を参照することにより、フレームスキップ挿入可否情報ＳＫ、符号化方法、目標符号量ＱＵを設定する。以下に、実施の形態について図面を参照して説明する。

実施の形態１．
図１は、実施の形態１における動画像符号化装置の構成を示すブロック図である。図１に示す動画像符号化装置１００は、有線通信や無線通信により伝送される画像信号がフレームとして入力され、この入力されるフレームに対する画像符号化処理を行うもので、入力されるフレームをマクロブロックに分割して符号化処理を行い、ビットストリームとして出力するものであり、入力端子１１と、フレームメモリ１と、スイッチ２と、符号化器３と、バッファ４と、符号量検出部５と、出力端子１２と、フレーム目標符号量設定部６と、入力画像解析部７と、フレームスキップ制御部８と、符号化制御部９とを備えている。

フレームメモリ１は、入力端子１１から順次入力される画像信号を例えば２フレーム分を一時的に蓄積する。

図２は、フレームメモリ１の一例を図示したもので、第１の領域１ａと第２の領域１ｂとを有する。図示の例では、Ｎ＝１であり、第１の領域１ａには、ｉ番目のフレーム、即ち１フレーム前のデータが記憶され、第２の領域１ｂには、（ｉ＋１）番目のフレーム、即ち現フレームのデータが記憶される。以下の説明では、１フレーム前のフレームを前フレームと呼ぶ。

スイッチ２は、後述のフレームスキップ挿入可否情報ＳＫを入力として開閉する。具体的には、フレームスキップ挿入可否情報ＳＫが「１」のとき（フレームスキップを行う場合）は、オフ（開状態）となり、フレームスキップ挿入可否情報ＳＫが「０」のとき（フレームスキップを行わないとき）は、オン（閉状態）となる。

符号化器３は、スイッチ２を介して供給されるデータに対し、符号化制御部９により指定される符号化方法、量子化パラメータで符号化及び量子化を行う。符号化方法としてフレーム内符号化が指示されているときは、フレーム内符号化を行い、フレーム間符号化が指示されているときは、フレーム間符号化を行う。ここで符号化はＤＣＴ符号化であり、量子化されたＤＣＴ係数が符号として得られる。また、供給された量子化パラメータに基づいて量子化ステップを定めて、それによってＤＣＴ係数の量子化を行う。

バッファ４は、符号化器３から出力されたビットストリームを一時的に蓄積して、出力する。バッファ４から出力されたビットストリームは、出力端子１２を介して出力される。

符号量検出部５は、バッファ４に蓄積され、バッファ４から出力されるビットストリームから各フレームの発生符号量を計算により検出し、検出値を、符号化における符号量制御のための情報として、フレーム目標符号量設定部６及び符号化制御部９に出力する。

入力画像解析部７は、フレームメモリ１に蓄積されたＮフレーム前画像（本例ではＮ＝１）と、入力端子１１から入力される現フレーム画像とのフレーム間変化量ＶＡを検出して出力するとともに、フレーム間変化量ＶＡに基づいて第１のフレームスキップ挿入回数（「フレームスキップ挿入回数ＮＡ」と呼ぶ）を設定して出力する。

入力画像解析部７は例えば図３に示されるように構成される。図３に示される入力画像解析部７は、フレームメモリ１から読み出されたＮフレーム前画像（本例ではＮ＝１）を入力する入力端子２５と、図１の入力端子１１に接続され、現フレーム画像を入力する入力端子２６と、入力端子２５から入力されたＮフレーム前画像と、入力端子２６から入力された現フレーム画像間の変化量を抽出する変化量抽出部２２とを有する。

図３の変化量抽出部２２は例えば図４に示すように構成される。図４に示される変化量抽出部２２は、フレーム間輝度変化平均値を求めるものであり、フレームメモリ１からのＮフレーム前画像（本例ではＮ＝１）を入力する入力端子３４と、入力端子１１からの現フレーム画像を入力する入力端子３５と、入力端子３４から入力されたＮフレーム前画像と、入力端子３５から入力された現フレーム画像のフレーム間の差を演算する減算器３７と、減算器３７の出力の絶対値を求める絶対値演算器３１と、絶対値演算部３１から出力される絶対値を表すデータの合計を計算する和演算器３２と、入力値をデータ数で割って平均値を求める平均演算部３３と、フレーム間輝度変化平均値を出力する出力端子３６とを備える。本実施の形態では、出力端子３６から出力されるフレーム間輝度変化平均値がフレーム間変化量ＶＡとして用いられる。

入力画像解析部７はさらに、第１の閾値（変化量閾値）ＴＶを設定する閾値設定部２３と、変化量抽出部２２から出力されたフレーム間変化量ＶＡを、閾値設定部２３で設定された第１の閾値ＴＶと比較する比較器２４と、フレームスキップ挿入回数ＮＡを出力する出力端子２７と、フレーム間変化量ＶＡを出力する出力端子２８とを備える。
変化量抽出部２２から出力されるフレーム間変化量ＶＡが第１の閾値ＴＶ以上であれば、フレームスキップ挿入回数ＮＡが「１」となり、フレーム間変化量ＶＡが第１の閾値ＴＶ未満であれば、フレームスキップ挿入回数ＮＡが「０」となる。
変化量抽出部２２から出力されるフレーム間変化量ＶＡはまた、そのまま出力端子２８から出力される。

フレーム目標符号量設定部６は、入力画像解析部７の出力信号であるフレーム間変化量ＶＡと、符号量検出部５で検出された前フレームの符号量ＱＢと、所定の基準符号量ＱＲとを入力とし、目標符号量ＱＴを仮決定する（この仮決定された目標符号量を「仮の目標符号量」或いは「第１の目標符号量」と呼ぶこともある）とともに、仮決定された目標符号量（仮の目標符号量）ＱＴと、フレーム間変化量ＶＡとに基づいて第２のフレームスキップ挿入回数ＮＢを決定するとともに、現フレームの符号化方法を決定するとともに、後述のようにして目標符号量を最終決定する。決定されたフレームスキップ挿入回数ＮＢはフレームスキップ制御部６へ供給され、決定された符号化方法及び最終決定された目標符号量は符号化制御部９に供給される。

フレーム目標符号量設定部６の内部構成の一例が図５に示されている。
図示のようにこのフレーム目標符号量設定部６は、メモリ６１と、目標符号量演算部６２と、判定部６３と、乗算部６４と、選択部６５とを有する。

メモリ６１には、所定の基準符号量ＱＲと、前フレームの目標符号量とを記憶している。前フレームの目標符号量は、前フレームについての目標符号量の決定に際し、後述のように選択部６５から出力されたものが、メモリ６１に書込まれる。
目標符号量演算部６２は、例えばメモリ６１に記憶された所定の基準符号量ＱＲと、同じくメモリ６１に記憶された前フレームの目標符号量と、符号量検出部５で検出された前フレームの符号量（「発生符号量」とも言う）ＱＢとに基づいて現フレームのための仮の目標符号量ＱＴを算出する。
判定部６３は、後述の判定を行って、フレームスキップ挿入回数ＮＢを「１」とするか「０」とするかの判定、符号量の割増しを行うかどうかの判定を行う。
乗算部６４は、仮の目標符号量ＱＴに「１」より大きい係数ｋを掛けて割増した目標符号量ｋ×ＱＴを発生する。
選択部６５は、判定部６３から出力される割増しの要否を示す信号ＷＭに従って、割増す前の目標符号量ＱＴ又は割増した目標符号量ｋ×ＱＴのいずれかを選択し、選択したものを最終の目標符号量ＱＵとして出力する。（「最終の目標符号量」或いは「第２の目標符号量」と呼ぶのは、上記した「仮の目標符号量」或いは「第１の目標符号量」との区別のためであり、両者の混同が生じないときは単に「目標符号量」と呼ぶこともある。）
割増し要のときは、割増した目標符号量ｋ×ＱＴを選択し、割増し不要のときは、割増す前の目標符号量ＱＴを選択する。

判定部６３は、入力画像解析部７から供給されるフレーム間変化量ＶＡが、第２の閾値（変化量閾値）ＴＷ以上であり、かつ仮の目標符号量ＱＴが所定の閾値（符号量閾値）ＴＭ未満であるときはフレームスキップ挿入回数ＮＢを「１」とする。
本例では、第２の閾値ＴＷは第１の閾値ＴＶよりも大きい。しかし、第２の閾値ＴＷが第１の閾値よりも小さくても良く、また第２の閾値ＴＷが第１の閾値ＴＶと等しくても良い。
判定部６３は、フレーム間変化量ＶＡが第１の閾値以上で、第２の閾値ＴＷ未満であるとき、或いは、仮の目標符号量ＱＴが閾値ＴＭ以上であるときは、フレームスキップ挿入回数ＮＢを「０」とする。
判定部６３は、さらにフレーム間変化量ＶＡが第１の閾値ＴＶ以上であるが第２の閾値ＴＷ未満であるときは、割増し要否を示す信号ＷＭを「１」（割増し要であることを示す値）にする。

フレームスキップ制御部８は、入力画像解析部７からのフレームスキップ挿入回数ＮＡと、フレーム目標符号量設定部６からのフレームスキップ挿入回数ＮＢを入力とし、フレームスキップ挿入可否情報ＳＫを出力する。
より具体的には、フレームスキップ制御部８は、フレームスキップ挿入回数ＮＡとフレームスキップ挿入回数ＮＢの平均値を計算して小数点未満を切り捨て、その結果をフレームスキップ挿入可否情報ＳＫとして出力する。
本例では、フレームスキップ挿入回数ＮＡ及びフレームスキップ挿入回数ＮＢの両方が「１」であれば、フレームスキップ挿入可否情報ＳＫが「１」となり、それ以外のときはフレームスキップ挿入可否情報ＳＫは「０」となる。

符号化制御部９は、フレームスキップ制御部８から出力されるフレームスキップ挿入可否情報ＳＫと、フレーム目標符号量設定部６から出力される目標符号量ＱＵと、符号量検出部５で検出された符号量とを入力とし、符号化器３に対し、フレームスキップの制御及び符号化方法及び量子化パラメータの設定を行う。

具体的には、フレームスキップ制御部８からのフレームスキップ挿入可否情報ＳＫが「１」であれば、符号化器３に対してフレームスキップを指示する。
また、フレームスキップ挿入可否情報ＳＫによりフレームスキップを行ったときは、次のフレームでフレーム内符号化を指示する。フレームスキップ挿入可否情報ＳＫによるフレームスキップを行わない場合にも、周期的に、即ち所定のフレーム数（「フレーム内符号化周期」と言うことがある）毎にフレーム内符号化を指示する。

符号化制御部９はさらに、以下のようにして量子化パラメータ（量子化のステップサイズ）を決定する。

まず、周期的にフレーム内符号化されるフレームについては、先頭のマクロブロックの量子化パラメータ（量子化パラメータの初期値）を以下のようにして決める。即ち、１フレーム内符号化周期前にフレーム内符号化されたフレームの各マクロブロックで用いた量子化パラメータの平均を求めて整数化し、これを当該フレームの量子化パラメータの初期値とする。但し、この場合、符号量検出部５で検出された、１フレーム内符号化周期前のフレームにおける発生符号量と、当該１フレーム内符号化周期前のフレームの目標符号量とに基づいて、量子化パラメータの初期値に修正を加える。即ち、１フレーム内符号化周期前のフレームの発生符号量が目標符号量よりも多ければ、量子化パラメータを小さくする修正を加え、１フレーム内符号化周期前のフレームの発生符号量が目標符号量よりも少なければ、量子化パラメータを大きくする修正を加える。

フレームスキップを行った場合、スキップされたフレームの次のフレームについては、フレーム内符号化を行うが、その場合には、量子化パラメータを初期設定する。この場合、例えば、予め定められた量子化パラメータを初期値として用いる。なお、予め定めた初期値を用いる代わりに、上記のように、周期的に行われるフレーム内符号化の場合と同様に量子化パラメータの初期値を定めても良い。

フレーム内符号化されるフレーム以外については、フレーム目標符号量設定部６から供給された目標符号量ＱＵと、前フレームの目標符号量と、前フレームの量子化パラメータに基づいて量子化パラメータを決定して出力する。

符号化制御部９は、このようにして定められた量子化パラメータに基いて、各マクロブロック毎の量子化パラメータを定めて符号化器３に対して量子化パラメータを指示する。

符号化器３は、符号化制御部９からフレームスキップを指示されたときは、そのフレームの符号化を行わない。符号化器３はまた、符号化制御部９からフレーム内符号化を指示されたときは、フレーム内符号化を行い、フレーム内符号化を指示されないときはフレーム間符号化を行う。符号化器３はさらに、符号化制御部９から指示された量子化パラメータで量子化を行う。

符号化制御部９と符号化器３とで、スイッチ２を介して供給される動画像をフレーム内符号化またはフレーム間符号化に基づき、量子化されたＤＣＴ係数を符号化する符号化手段１０が構成されている。

以上のように構成される動画像符号化装置において、フレーム間変化量ＶＡと閾値ＴＷ、ＴＶ（ＴＷ，ＴＶは整数、ＴＷ≧ＴＶ＞０）との比較により、符号化方法及び量子化パラメータの決定、フレームスキップ挿入の要否の決定を行っている。

要約すれば、フレーム間変化量ＶＡが第２の閾値ＴＷ以上であり（この場合本例では第１の閾値ＴＶ以上である）かつ仮の目標符号量ＱＴが所定の閾値ＴＭ未満であるときは、フレームスキップを行い、次のフレームでフレーム内符号化を行い、量子化パラメータを初期設定する。
フレーム間変化量ＶＡが第１の閾値ＴＶ以上であると言う条件は満たされるものの、フレーム間変化量ＶＡが第２の閾値ＴＷ未満であるか、仮の目標符号量ＱＴが閾値ＴＭ以上であるときは、目標符号量の割増しを行って、フレーム間符号化を行う。
フレーム間変化量ＶＡが第１の閾値ＴＶ未満のときはフレームスキップも目標符号量の割増しも行わず、フレーム間符号化を行う。

以下、図６を参照して符号化処理の概要を説明する。ここでは、Ｎ＝１とし、Ｎフレーム前のフレームを単に前フレームと呼ぶ。

まず、前フレームと現フレームとがフレームメモリ１に格納される（ステップＳ１）。

入力画像解析部７で、現フレームと前フレームとのフレーム間変化量ＶＡが検出され、これによりフレーム間の相違が定量的に判定される。そして検出されたフレーム間変化量ＶＡに基づいてフレームスキップ挿入回数ＮＡが設定され出力される（ステップＳ２）。即ち、フレーム間変化量ＶＡが第１の閾値ＴＶ以上であればフレームスキップ挿入回数ＮＡを「１」に設定する。

次に、フレーム目標符号量設定部６で、所定の基準符号量ＱＲ、前フレームの目標符号量ＱＵ及び実際に発生した符号量ＱＢから仮の目標符号量（現フレームで使用が可能である符号量）を求め、さらに、求めた仮の目標符号量につき、フレーム間変化量ＶＡを考慮に入れ、仮の目標符号量が所定値よりも少なければフレームスキップを考慮し、フレームスキップ挿入回数ＮＢを設定する（ステップＳ３）。即ち、フレーム間変化量ＶＡが第２の閾値ＴＷ以上で、かつ、仮の目標符号量ＱＴが閾値ＴＭ未満であればフレームスキップ挿入回数ＮＢを「１」に設定する。

次に、ステップＳ２で算出したフレームスキップ挿入回数ＮＡと、ステップＳ３で算出したフレームスキップ挿入回数ＮＢをフレームスキップ制御部８において組み合わせることにより、フレームスキップ挿入可否情報ＳＫを設定する（ステップＳ４）。

ステップＳ４におけるフレームスキップ制御部８の動作とともに、フレーム目標符号量設定部６及び符号化制御部９では、フレーム間変化量ＶＡ及び仮の目標符号量ＱＴについての判定結果に基づいて目標符号量の制御、割増しの要否の決定などを行う（ステップＳ５，Ｓ６）。
フレーム間変化量ＶＡが第１の閾値ＴＶ未満である場合（ステップＳ５でＮＯ）、フレーム間における映像の変化量が小さいと考えられるため、フレーム間符号化で符号量を増やす必要は無い。そこで、符号量を割り増しを行わず、フレーム目標符号量設定部６で定められた目標符号量に基づいて、さらに前フレームで用いた量子化パラメータを参照して新たに量子化パラメータを設定し、現フレームに対して符号化手段１０でフレーム間符号化を行う（ステップＳ１２）。

符号化手段１０でフレーム間符号化されたビットストリームはバッファ４に格納され（ステップＳ１３）、符号量検出部５で符号量ＱＢが検出される（ステップＳ１４）。
これにより、一つのフレームに対する処理が終わり、次のフレームに対する処理が始まる。

フレーム間変化量ＶＡが第１の閾値ＴＶ以上であると言う条件は満たされる（ステップＳ５でＹＥＳ）ものの、フレーム間変化量ＶＡが第２の閾値ＴＷ未満であるか、仮の目標符号量ＱＴが閾値ＴＭ以上である（ステップＳ６でＮＯ）場合には、現フレームに対して符号量を割増し、割増した目標符号量に基づいて、さらに前フレームで用いた量子化パラメータを参照して、フレーム間符号化を行う（ステップＳ９）。符号量を割増すのは、フレーム間における映像の変化量が大きいためである。

フレーム間符号化されたビットストリームをバッファへ格納し（ステップＳ１０）、符号量ＱＢを検出して（ステップＳ１１）、現フレームの処理を終了とし、次フレームの符号化処理へ進む。

フレーム間変化量ＶＡが第２の閾値ＴＷ以上であり、仮の目標符号量ＱＴが閾値ＴＭ未満であれば（ステップＳ６でＹＥＳ）場合には、上記のように、フレームスキップ制御部８から出力されるフレームスキップ挿入可否情報ＳＫが「１」となるので、これに基づき符号化手段１０ではフレームの符号化をスキップし、符号化処理を行わない（ステップＳ７）。

スキップしたフレームの次フレームでは、前フレームで用いた量子化パラメータを参照せずに、量子化パラメータを所定の初期値に設定し、フレーム内符号化を行う（ステップＳ８）。

本発明は、以上の符号化手順の中で、フレーム間での画像の変化量が多い場合、フレーム間変化量ＶＡに応じてフレームスキップ挿入の要否を判定し、判定結果に応じてフレームスキップを意図的に発生させて、フレームの符号化を行わないことにより、スキップしたフレームへの割当てが予定されていたフレーム目標符号量を、スキップ後のフレームへの割当てが予定されていたフレーム目標符号量に加え、スキップ後のフレームに対して画質劣化の少ない符号化を行う。
なお、フレームスキップ挿入回数ＮＡは「１」に限らず、フレーム間変化量ＶＡの大きさに応じてその数を増減させるようにすることもできる。また、フレームスキップ挿入回数ＮＢは「１」に限らず、仮の目標符号量ＱＴの大きさに応じてその数を増減させるようにすることもできる。

ここで、スキップしたフレームへの割当てが予定されていたフレーム目標符号量の、スキップ後のフレームへの割増しのための付加の方法について述べる。
まず、スキップしたフレームへの割当てが予定されていたフレーム目標符号量を、スキップ直後のフレームにすべて付加し、符号化を行うことができる。さらには、スキップ直後のフレームから数フレームに渡って符号量を均等に分配して付加することもできる。また、スキップ直後のフレームから数フレームに渡り、フレーム毎に異なる符号量を分配して付加することもできる。このとき、入力画像解析部７の出力を考慮して、フレーム間変化量ＶＡが大きいときにより多くの符号量を分配することもできる。

次に、図１乃至図６を用いて、動画像符号化装置１００のフレーム符号化処理動作について詳細に説明する。
まず、本実施の形態１における動画像符号化装置１００の各部を統括して制御する上位の制御系（図示しない）により入力端子１１を介して入力された一連のフレームが、順次フレームメモリ１に格納され、現フレームと前フレームとがそれぞれ領域１ｂと１ａとに格納された状態が維持される（ステップＳ１）。

フレームメモリ１内に記憶された相連続する現フレームと前フレームとは、入力画像解析部７に入力され、両フレーム間における特徴量の変化量が図３の変化量抽出部２２で検出され、検出されたフレーム間変化量ＶＡが比較器２４において予め設定された第１の閾値ＴＶと比較されて、その結果によって、フレームスキップ挿入回数ＮＡが設定され、フレームスキップ制御部８へ出力する（ステップＳ２）。

フレーム間変化量ＶＡの検出には、図４に示すように、フレーム間輝度変化平均を用いている。具体的には、連続するフレーム間の輝度信号のみに注目し、各画素で差の絶対値を取り、さらに画素全体の和を取ることによってフレーム間変化量ＶＡとする。

ここで、連続するフレーム間変化量ＶＡの検出は、上記の方法に限るものでは無く、フレーム間変化量ＶＡを例えば色信号により検出しても良い。

また、フレーム間変化量の検出は現フレームと前フレームとの間で行っているが、現フレームと比較するフレームは複数のフレームであっても構わない。また、フレーム間の誤差分散や画面内の信号値の最大値、最小値、中央値など、画面の特徴値を用いることもできる。また、連続するフレーム間の変化量の計算を画面全体について行っているが、これに限るものではなく、画面をいくつかの部分に分割して、分割した小領域内で計算し、比較してもよい。また、これら全てのフレーム間変化量の検出方法を組み合わせてもよく、これらの組み合わせで、各方法が当てはまるかどうかの多数決によりフレーム間変化量と閾値との比較をする方法、各方法に重みをつけて当てはまるかどうかの多数決によりフレーム間変化量と閾値との比較をする方法、所定数以上の方法でフレーム間変化量ＶＡと閾値との比較をする方法、特定の方法でフレーム間変化量と閾値との比較をする方法等があるが、これらも本発明に包含される。

次に、フレーム目標符号量設定部６では、所定の基準符号量ＱＲと、符号量検出部５で検出された前フレームの符号量ＱＢとから、現フレームの目標符号量ＱＴを仮決定する。
また、仮決定された目標符号量（仮の目標符号量）につき、入力画像解析部７から得られるフレーム間変化量ＶＡを考慮にいれて、割増しを行って最終の目標符号量を定める。さらに、フレームスキップを行う判定を行い、フレームスキップ制御部８にフレームスキップ挿入回数ＮＢを出力する。符号化制御部９では、目標符号量から量子化パラメータを算出し、符号化器３に量子化パラメータと符号化方法を出力する（ステップＳ３）。

例えば、仮の目標符号量ＱＴが閾値ＴＭ未満であり、フレーム間変化量ＶＡが第２の閾値ＴＷ以上である場合、フレームスキップ挿入回数ＮＢを「１」として出力し、そうでないときは、フレームスキップ挿入回数ＮＢを「０」として出力する。

但し、フレームスキップ挿入回数ＮＢの設定は上述の手法に限るものでは無く、フレーム間変化量ＶＡの大きさに応じてフレームスキップ挿入回数ＮＢを変化させることとしても良い。

次に、ステップＳ２で出力されたフレームスキップ挿入回数ＮＡ、ステップＳ３で出力されたフレームスキップ挿入回数ＮＢをフレームスキップ制御部８に入力し、フレームスキップ制御部８においてフレームスキップ挿入可否情報ＳＫを設定してスイッチ２に出力する（ステップＳ４）。

最初に、フレーム間変化量ＶＡが第１の閾値ＴＶよりも小さい場合について説明する。
この場合には、入力画像解析部７からフレームスキップ制御部８へ、フレームスキップ挿入回数ＮＡを「０」として出力する（ステップＳ２）。また、入力画像解析部７から第１の閾値ＴＶよりも小さいフレーム間変化量ＶＡを入力したフレーム目標符号量設定部６は、符号量検出部５から前フレームの符号量ＱＢに基づいて目標符号量を求め、求めた目標符号量を符号化制御部９へ伝え、さらに、フレームスキップ制御部８へフレームスキップ挿入回数ＮＢを「０」として出力する（ステップＳ３）。

フレームスキップ制御部８は、入力画像解析部７から入力したフレームスキップ挿入回数ＮＡ（＝０）と、フレーム目標符号量設定部６から入力したフレームスキップ挿入回数ＮＢ（＝０）の平均値（＝０）を計算し、小数点未満の切り捨てを行い、その結果（０）をフレームスキップ挿入可否情報ＳＫ（＝０）として符号化制御部９及びスイッチ２へ出力する（ステップＳ４）。

符号化制御部９は、フレーム目標符号量設定部６からの目標符号量に基づき、さらに前フレームを参照して量子化パラメータを決定し、符号化器３へ符号化方法と量子化パラメータを出力し、符号化器３でこれに従って現フレームのフレーム間符号化を行う（ステップＳ１２）。

バッファ４は符号化されたビットストリームを出力し（ステップＳ１３）、符号量検出部５はバッファ４から受け取ったビットストリームの符号量ＱＢを検出し、この検出値を次フレームの符号化における符号量制御のための発生符号量検出値として、フレーム目標符号量設定部６に出力する（ステップＳ１４）。

次に、入力画像解析部７から出力されたフレーム間変化量ＶＡが、第１の閾値ＴＶ以上であると言う条件は満たされるものの、フレーム間変化量ＶＡが第２の閾値ＴＷ未満であるか、仮の目標符号量ＱＴが閾値ＴＭ以上である場合について説明する。
入力画像解析部７はフレーム間変化量ＶＡが第１の閾値ＴＶよりも大きいので、フレームスキップ制御部８へフレームスキップ挿入回数ＮＡを「１」として出力する（ステップＳ２）。入力画像解析部７からフレーム間変化量ＶＡを入力したフレーム目標符号量設定部６は、符号量検出部５から前フレームの符号量ＱＢに基づいて目標符号量を求め、求めた目標符号量を符号化制御部９へ伝え、フレームスキップ制御部８へフレームスキップ挿入回数ＮＢを「０」として出力する（ステップＳ３）。

フレームスキップ制御部８は、入力画像解析部７から入力したフレームスキップ挿入回数ＮＡ（＝１）と、フレーム目標符号量設定部６から入力したフレームスキップ挿入回数ＮＢ（＝０）の平均値（＝０．５）を計算し切り捨てを行い、その結果（０）をフレームスキップ挿入可否情報ＳＫ（＝０）として符号化制御部９及びスイッチ２へ出力する（ステップＳ４）。

符号化制御部９は、フレーム目標符号量設定部６からの目標符号量に基づき、さらに前フレームを参照して量子化パラメータを決定し、符号化器３へ符号化方法と量子化パラメータを出力し、符号化器３でこれに従って現フレームのフレーム間符号化を行う（ステップＳ９）。

バッファ４は符号化されたビットストリームを出力し（ステップＳ１０）、符号量検出部５はバッファ４から受け取ったビットストリームの符号量ＱＢを検出し、この検出値を次フレームの符号化における符号量制御のための情報として、フレーム目標符号量設定部６に出力する（ステップＳ１１）。

次に、フレーム間変化量ＶＡが第２の閾値ＴＷよりも大きく（本例ではＴＷ＞ＴＶであるので、ＶＡ≧ＴＷ以上であれば、ＶＡ＞ＴＶである）、かつ仮の目標符号量ＱＴが閾値ＴＭ未満である場合について説明する。
入力画像解析部７はフレーム間変化量ＶＡが第１の閾値ＴＶよりも大きいので、フレームスキップ制御部８へフレームスキップ挿入回数ＮＡを「１」として出力する（ステップＳ２）。入力画像解析部７からフレーム間変化量ＶＡを入力したフレーム目標符号量設定部６は、フレーム間変化量ＶＡが第２の閾値ＴＷよりも大きく、かつ仮の目標符号量ＱＴが閾値ＴＭ未満であるので、フレームスキップ制御部８へフレームスキップ挿入回数ＮＢを「１」として出力する（ステップＳ３）。

フレームスキップ制御部８は、入力画像解析部７から入力したフレームスキップ挿入回数ＮＡ（＝１）と、フレーム目標符号量設定部６から入力したフレームスキップ挿入回数ＮＢ（＝１）の平均値（＝１）を計算し切り捨てを行い、その結果（＝１）をフレームスキップ挿入可否情報ＳＫ（＝１）として符号化制御部９及びスイッチ２へ出力する（ステップＳ４）。

符号化制御部９は、符号化器３へ符号化方法と量子化パラメータを出力せずにフレームスキップを行わせ（ステップＳ７）、次フレームの符号化の準備をする（ステップＳ８）。そして次のフレームの符号化に関し、フレーム内符号化を指示し、量子化パラメータを初期設定する（例えば、符号量検出部５から入力された前フレームの符号量ＱＢを参照せずに量子化パラメータを所定の初期値に設定する）。

フレームスキップを行った場合、次フレームでは、入力画像解析部７ではフレーム間変化量ＶＡの算出は行わず、フレームスキップ制御部８はフレームスキップ挿入可否情報ＳＫとして「０」を出力し、スイッチ２がオンとなる。そして、符号化制御部９の出力である、前フレーム時に設定した符号化方法（フレーム内符号化を指示している）と初期設定された量子化パラメータを用いて、符号化器３が符号化処理を行うこととなる。

バッファ４は符号化されたビットストリームを出力し、符号量検出部５はバッファ４から受け取ったビットストリームの符号量ＱＢを検出し、この検出値を次フレームの符号化における符号量制御のための情報として、フレーム目標符号量設定部６に出力する。

ここで、フレームスキップ挿入回数ＮＡ、フレームスキップ挿入回数ＮＢ、フレームスキップ挿入可否情報ＳＫの決定手法は上記の方法に限らない。
上記の例では、フレームスキップ挿入回数ＮＡがフレーム間変化量ＶＡの大きさによって「０」、あるいは「１」を取ることとしたが、フレーム間変化量ＶＡに基づいて回数を多段に設定させても良い。即ち、フレーム間変化量ＶＡの大きさに応じてフレームスキップ挿入回数ＮＡを増減させることとしても良い。
実施の形態１では、フレームスキップ挿入回数ＮＢがフレーム間変化量ＶＡと仮の目標符号量ＱＴとを組み合わせて「０」あるいは「１」を取ることとしたが、フレーム間変化量ＶＡと仮の目標符号量ＱＴとの組み合わせに基づいてフレームスキップ挿入回数を多段に設定（複数の値のうちの一つを選択）しても良い。また、仮の目標符号量ＱＴの大きさに応じてフレームスキップ挿入回数ＮＢを増減させることとしても良い。
また、フレームスキップ挿入回数ＮＡは常に「０」を取るものとし、フレームスキップ挿入回数ＮＢのみを用いてもよく、その逆としてフレームスキップ挿入回数ＮＢを常に「０」としてフレームスキップ挿入回数ＮＡのみを用いても良い。
また、フレームスキップ挿入可否情報ＳＫの決定において、実施の形態１ではフレームスキップ挿入回数ＮＡとフレームスキップ挿入回数ＮＢの平均値を計算し小数点未満の切り捨てを行ったが、それらの合計を求めてもよく、またはそれらの最大値を求めて良く、またはフレームスキップ挿入回数ＮＡ、ＮＢを「０」あるいは「１」と限定しておき論理和演算などを行うことも可能である。これらはすべて本発明に包含される。

次に、実施の形態１において連続して供給される一連のフレーム（フレームシーケンス）を順次符号化処理する具体例を図７乃至図１０で示し、本実施の形態の処理を説明する。
図７及び図９は、複数のフレームから成るフレームシーケンスの例と、該フレームシーケンスにおける前フレームに対するフレーム間変化量ＶＡ、各フレームに対して決定される符号化方法を示す。
図８及び図１０は、上記フレームシーケンスの各時点における目標符号量を棒グラフとして、符号化方法とともに示したものである。
フレーム間変化量ＶＡに対する閾値ＴＷ、ＴＶはそれぞれＴＷ＝８０、ＴＶ＝２０と設定されている。

まず、図７、図８を参照して符号量の割増しが発生するフレームシーケンスについて説明する。
最初に、図７において、時点Ｔ＝ａ０からＴ＝ａ１にかけてフレーム間変化量ＶＡが０／ｐｉｘｅｌであり、第１の閾値ＴＶ未満である。この場合、通常処理により符号化を行っても画質劣化は少ない。したがって、図８で示すように同フレームでは、割増し無しのフレーム目標符号量で（割増し無しのフレーム目標符号量を最終の目標符号量として）フレーム間符号化を行っている。

時点Ｔ＝ａ１からＴ＝ａ２にかけてフレーム間変化量ＶＡが１０／ｐｉｘｅｌであり、第１の閾値ＴＶ未満である。この場合、通常処理により符号化を行っても画質劣化は少ない。そこで、図８で示すように同フレームでは、割増し無しのフレーム目標符号量でフレーム間符号化を行っている。

時点Ｔ＝ａ２からＴ＝ａ３にかけてフレーム間変化量ＶＡが４０／ｐｉｘｅｌであり、第１の閾値ＴＶ以上で第２の閾値ＴＷ未満である。この場合、通常より多い符号量を用いた符号化処理し画質劣化を抑える必要がある。そこで、同フレームでは、符号量を割増し、フレーム間符号化を行う。例えば、図８で示すようにフレーム目標符号量を２倍に割増してフレーム間符号化を行う。

時点Ｔ＝ａ３からＴ＝ａ４にかけてフレーム間変化量ＶＡが１０／ｐｉｘｅｌであり、第１の閾値ＴＶ未満である。この場合、通常処理により符号化を行っても画質劣化は少ない。そこで、図８で示すように同フレームでは、割増し無しのフレーム目標符号量でフレーム間符号化を行っている。

時点Ｔ＝ａ４からＴ＝ａ５にかけてフレーム間変化量ＶＡが１５／ｐｉｘｅｌであり、第１の閾値ＴＶ未満である。この場合、通常処理により符号化を行っても画質劣化は少ない。そこで、図８で示すように同フレームでは、割増し無しのフレーム目標符号量でフレーム間符号化を行っている。

時点Ｔ＝ａ５からＴ＝ａ６にかけてフレーム間変化量ＶＡが１５／ｐｉｘｅｌであり、第１の閾値ＴＶ未満である。この場合、通常処理により符号化を行っても画質劣化は少ない。そこで、図８で示すように同フレームでは、割増し無しのフレーム目標符号量でフレーム間符号化を行っている。

次に、図９、図１０を参照してフレームスキップ及び符号量割増しが発生するフレームシーケンスについて説明する。
最初に、時点Ｔ＝ｂ０からＴ＝ｂ１にかけてフレーム間変化量ＶＡが１５／ｐｉｘｅｌであり、第１の閾値ＴＶ未満である。この場合、通常処理により符号化を行っても画質劣化は少ない。そこで、図１０で示すように同フレームでは、割増し無しのフレーム目標符号量でフレーム間符号化を行っている。

時点Ｔ＝ｂ１からＴ＝ｂ２にかけてフレーム間変化量ＶＡが１５／ｐｉｘｅｌとであり、第１の閾値ＴＶ未満である。この場合、通常処理により符号化を行っても画質劣化は少ない。そこで、図１０で示すように同フレームでは、割増し無しのフレーム目標符号量でフレーム間符号化を行っている。

時点Ｔ＝ｂ２からＴ＝ｂ３にかけてフレーム間変化量ＶＡが１００／ｐｉｘｅｌであり、第２の閾値ＴＷ以上である。この場合、通常処理により符号化を行うと画質が劣化してしまう。そこで、仮の目標符号量が閾値ＴＭ未満であることを条件として、フレームスキップを意図的に行い、符号化処理を行わず、次フレームにこのときの符号量を回すこととする。この結果、図１０に示すように、同フレームでは、符号量が「０」となる。

Ｔ＝ｂ３からＴ＝ｂ４にかけては、前フレームが符号化されておらず、Ｔ＝ｂ４のフレームにおいて、前フレームで用いられた量子化パラメータを参照せず、量子化パラメータを所定の初期値に設定し、フレーム内符号化を行う。
つまり、フレーム間変化量ＶＡが大きくなるフレームの次フレームは、前フレームとの相関性が低くなり、過去のフレームの量子化パラメータを参照する必要性は少ないことから、前フレームとは独立に次フレームに適切な量子化パラメータを与え、フレーム内符号化を行うことで、画質の劣化の少ない符号化を行う。一般的に、フレーム内符号化はフレーム間符号化よりも多い符号量を要するが、前フレームで意図的にフレームスキップを行ったため利用可能な符号量が減っておらず、その分の符号量を次フレームの符号化に付加することができ、次フレームでフレーム内符号化を行っても画質の劣化が少なくなる十分な符号量を割当てることができる。

時点Ｔ＝ｂ４からＴ＝ｂ５にかけてフレーム間変化量ＶＡが１０／ｐｉｘｅｌであり、第１の閾値ＴＶ未満である。この場合、通常処理により符号化を行っても画質劣化は少ない。そこで、図１０で示すように同フレームでは、割増し無しの目標符号量でフレーム間符号化を行っている。

時点Ｔ＝ａ５からＴ＝ａ６にかけてフレーム間変化量ＶＡが４０／ｐｉｘｅｌであり、第１の閾値ＴＶ以上で第２の閾値ＴＷ未満である。この場合、通常より多い符号量を用いた符号化処理し画質劣化を抑える必要がある。そこで、同フレームでは符号量を割増し、フレーム間符号化を行う。例えば、図１０に示すようにフレーム目標符号量を２倍に割増してフレーム間符号化を行う。

フレーム間変化量ＶＡに対する閾値の設定は、上記のように、第１の閾値ＴＶ及び第２の閾値ＴＷの２つを用いる代わりに、閾値を値の低いものから順に第１乃至第４の閾値Ｔａ、Ｔｂ、Ｔｃ、Ｔｄを設定し、フレーム間変化量ＶＡが第１の閾値Ｔａ未満であれば割増し無しの符号量でフレーム間符号化を行い、第１の閾値Ｔａ以上で第２の閾値Ｔｂ未満であれば符号量を割増してフレーム間符号化を行い、第２の閾値Ｔｂ以上で第３の閾値Ｔｃ未満であれば量子化パラメータを初期化してフレーム内符号化を行い、第３閾値Ｔｃ以上で第４の閾値Ｔｄ未満であれば、フレームスキップ数を「１」とし、第４の閾値Ｔｄ以上であればフレームスキップ数を「３」とするなど、上記とは異なる構成とすることもできる。

また、フレーム間変化量ＶＡに対する閾値の設定として、複数個の閾値を用意しておき、フレーム毎に選んで用いることもできる。さらに、数フレーム毎に閾値の設定を変化させて、数フレーム毎に適切な閾値を用いることもできる。

実施の形態１における量子化パラメータの推移を図１１を用いて説明する。
まず、時点Ｔ＝Ｉａは、周期的に挿入されるフレーム内符号化に用いる量子化パラメータのため小さい値を取る。つまり、細かい量子化を行っており符号量は多くなる。

時点Ｔ＝Ｉａ以降時点Ｔ＝Ｉｂまでは、フレーム間変化量ＶＡが少なくフレーム間符号化を行うため、比較的大きい量子化パラメータを用いても画質の劣化は少ないことから、パラメータを大きくする。つまり、粗い量子化を行っており符号量は少なくて済む。また、前フレームで用いた量子化パラメータを参照して量子化パラメータを求める。

時点Ｔ＝Ｉｂでは、周期的に挿入されるフレーム内符号化に用いる量子化パラメータのため小さい値を取る。つまり、細かい量子化を行っており符号量は多くなる。

さらに、時点Ｔ＝ｂ２まではフレーム間符号化を行うため、比較的大きい量子化パラメータを用いても画質の劣化は少ないことから、パラメータを大きくする。つまり、粗い量子化を行っており符号量は少なくて済む。また、前フレームで用いた量子化パラメータを参照して量子化パラメータを求める。

時点Ｔ＝ｂ２と時点Ｔ＝ｂ３間では、フレーム間変化量ＶＡが大となり、時点Ｔ＝ｂ３で意図的にフレームスキップをさせている。このとき、時点Ｔ＝ｂ３では符号化が行われないため、量子化パラメータは設定されない。従って、図１１では量子化パラメータを表す曲線が中断されることとなる。

時点Ｔ＝ｂ４では、前フレームで用いた量子化パラメータを参照せずに量子化パラメータを所定の初期値に設定し、フレーム内符号化を行う。この場合、画質の劣化を防ぐために量子化パラメータを小さくする。その結果、符号量は増加する。しかし前フレームで符号化を行わなかったため、前フレームの符号量は０ｂｉｔであり、前フレームで割当てられた符号量を現フレームで割当てられた符号量に加えて用いることができ、フレーム内符号化を挿入しても全体的な符号量は増えず、画質の劣化も少ない。さらに、フレーム間変化量ＶＡが大きく、不連続な映像であると考えられ、フレームスキップを行っても不自然な映像とはならない。

時点Ｔ＝Ｉｃまではフレーム間符号化を行うため、比較的大きい量子化パラメータを用いても画質の劣化は少ないことから、パラメータを大きくする。つまり、粗い量子化を行っており符号量は少なくて済む。

時点Ｔ＝Ｉｃでは、周期的に挿入されるフレーム内符号化のため、用いる量子化パラメータのため小さい値を取る。つまり、細かい量子化を行っており符号量は多くなる。

時点Ｔ＝Ｉｃ以降も同様にして、周期的にフレーム内符号化を挿入しつつフレーム間符号化を行う。また、フレーム間変化量ＶＡを指標としてフレームスキップを意図的に導入し、画質劣化の少ない符号化を行う。

上記の実施の形態１によれば、フレームを符号化する際、フレーム間変化量ＶＡが大きい場合、フレームスキップを意図的に発生させて、フレームの符号化を行わず、スキップしたフレームへの割当てが予定されていたフレーム目標符号量を、スキップ後のフレームへの割当てが予定されていたフレーム目標符号量に加えることができるので、スキップ後のフレームでは、十分な符号量を用いて画質劣化の少ない符号化を行うことができ、その結果、安定した画質と符号量制御を実現することができる。

また、上記のようにフレームスキップ挿入回数ＮＡやフレームスキップ挿入回数ＮＢは「１」か「０」ではなく、多段に設定することができ、例えば、フレーム目標符号量設定部６において、仮決定された目標符号量ＱＴに基づいてフレームスキップ挿入回数ＮＢを多値の中から一つの値に決定し、フレームスキップ制御手段８において、決定されたフレームスキップ挿入回数ＮＢに基づいてフレームスキップを行わせるようフレームスキップ挿入可否情報の内容を定めることとすれば、仮決定された目標符号量の値に応じて、フレームスキップの回数を増減することができ、安定した画質と符号量制御を実現することができる。同様に、入力画像解析手段７が、検出したフレーム間変化量ＶＡに基づいてフレームスキップ挿入回数ＮＡを多値の中から一つの値に決定し、フレームスキップ制御手段８において、決定されたフレームスキップ挿入回数ＮＡに基づいてフレームスキップを行わせるよう前記フレームスキップ挿入可否情報ＳＫの内容を定めることとすれば、フレーム間変化量（ＶＡ）の値に応じて、フレームスキップの回数を増減することができ、安定した画質と符号量制御を実現することができる。

さらに、フレーム間変化量ＶＡが第１の閾値ＴＶよりも大きいと判定されたときに、フレーム目標符号量設定部６において、前記フレーム間変化量ＶＡが前記第１の閾値ＴＶよりも小さい場合に比べより多くの符号量を割当てることとすれば、画質劣化の少ない符号化を行うことができ、その結果、安定した画質と符号量制御を実現することができる。

実施の形態２．
次に、実施の形態２を説明する。実施の形態２の動画像符号化装置の構成を図１２に示す。図１２の装置は、図１の装置と概して同じであるが、入力画像解析部７及びフレームスキップ制御部８の構成が異なる。図１３は、図１２の入力画像解析部７の構成を示す。

図１３に示される入力画像解析部７は、フレーム内複雑度ＦＨをも検出できるようにしたものであり、図３の入力画像解析部７と同じく、Ｎフレーム前画像を入力する入力端子２５と、現フレーム画像を入力する入力端子２６と、入力端子２５から入力されたＮフレーム前画像と、入力端子２６から入力された現フレーム画像間の変化量を抽出する変化量抽出部２２と、第１の閾値ＴＶを設定する閾値設定部２３と、変化量抽出部２２から出力されたフレーム間変化量ＶＡを、閾値設定部２３で設定された第１の閾値ＴＶと比較してフレームスキップ挿入回数ＮＡを出力する比較器２４と、フレームスキップ挿入回数ＮＡを出力する出力端子２７と、フレーム間変化量ＶＡを出力する出力端子２８とを備える。
図１３に示される入力画像解析部７はさらに、入力端子２６から入力された現フレーム画像の複雑度ＦＨを抽出する複雑度抽出部５１と、閾値（複雑度閾値）ＴＨを設定する閾値設定部５２と、複雑度抽出部５１から出力されたフレーム内複雑度を閾値設定部５２から出力された閾値ＴＨと比較してフレームスキップ挿入回数ＮＣを出力する比較器５３と、比較器２４から出力されたフレームスキップ挿入回数ＮＡと比較器５３から出力されたフレームスキップ挿入回数ＮＣを入力とし、これらに基づいてフレームスキップ挿入回数ＮＤを決定して出力するフレームスキップ挿入回数仮決定部５４と、フレームスキップ挿入回数ＮＤを出力する出力端子２９とを備える。
出力端子２７から出力されるフレームスキップ挿入回数ＮＡと出力端子２９に出力されるフレームスキップ挿入回数ＮＤとがフレームスキップ制御部８に供給される。

図１３の複雑度抽出部５１は例えば図１４に示されるように、入力端子７１と、エッジ抽出部７２と、和演算部７３と、平均演算部７４と、出力端子７５とを備える。
エッジ抽出部７２は、入力端子７１から入力された現フレーム画像のエッジ抽出する。即ち、各画素についてエッジの有無を検出する。和加算部７３は、エッジ抽出部７２により抽出されたエッジを入力として加算する。即ち、エッジとして検出された画素の数を求める。平均演算部７４は、和演算部７３から出力されるエッジ総数をフレーム内の画素数で割り、それを１００倍した値を出力する。１００倍するのは、取り扱いの容易な数値とするためである。平均演算部７４から出力される値は、現フレームに含まれるエッジの割合、即ち１画素当たりのエッジ数に比例した値（１画素当たりのエッジ数を１００倍した値）を表すものであり、これがフレーム内複雑度ＦＨを表す信号として出力端子７５から出力される。

次に、図１２、図１３、図１４を用いて実施の形態２を説明する。実施の形態１の符号化処理と異なる部分のみ詳細に述べる。
まず、本実施の形態１と同様、動画像符号化装置１００の各部を統括して制御する上位の制御系により入力されたフレームが、フレームメモリ１に一時的に蓄積される。

フレームメモリ１内に記憶された連続する現フレームと前フレームとを、入力画像解析部７に入力し、両フレーム間における特徴量の変化量を検出し、フレームスキップ挿入回数ＮＡを求め、出力端子２７からフレームスキップ制御部８に出力する。さらに、複雑度抽出部５１で現フレームに対してフレーム内複雑度ＦＨを検出し、フレームスキップ挿入回数ＮＣを求める。そしてフレームスキップ挿入回数ＮＡとフレームスキップ挿入回数ＮＣとに基づきフレームスキップ挿入回数仮決定部５４でフレームスキップ挿入回数ＮＤを決定して出力端子２９からフレームスキップ制御部８へ出力する。

フレーム間変化量ＶＡの検出には、実施の形態１と同様に、様々な検出方法を用いることができる。また、フレーム内複雑度の検出も同様であり、実施の形態２では輝度信号に対して現フレーム画像の一画素中含まれるエッジ数を用いているが、たとえば輝度信号を用いずに、色信号を用いる方法や、フレームの一部を占める小領域内で検出処理を行ってもよく、複数の小領域に対して検出処理を行った後、それらを総合して（例えば平均を取って）複雑度を検出する方法などが考えられる。また、フレーム内複雑度の評価は画像の分散値を求めることや、ＤＣＴ係数の高周波域を評価する方法など、様々な方法が考えられる。

実施の形態２では、フレーム内複雑度ＦＨが閾値ＴＨ（ＴＨ≧０、ＴＨは整数）以上で、かつフレーム間変化量ＶＡが第１の閾値ＴＶ以上である場合において、現フレームのフレーム間符号化には多くの符号量を要するものと判断し、フレームスキップ挿入回数ＮＤを「１」として、現フレームに対してフレームスキップを意図的に発生させて、フレームの符号化を行わないことにより、フレームスキップしたフレームへの割当てが予定されていたフレーム目標符号量を、スキップ後のフレームへの割当てが予定されていたフレーム目標符号量に加え、スキップ後のフレームに対してフレーム内符号化を適用し、画質劣化の少ない符号化を行う。即ち実施の形態２では、フレームスキップ制御部８は、入力画像解析部７からのフレームスキップ挿入回数ＮＤが「１」であれば、フレーム目標符号量設定部６からのフレームスキップ挿入回数ＮＢの値の如何を問わず、フレームスキップ挿入可否情報ＳＫを「１」として符号化手段１０にフレームスキップを行わせる。ここで、フレーム内複雑度ＦＨが閾値ＴＨ以上でなければ、実施の形態１と同様の符号化を行う。即ち、フレームスキップ制御部８は、入力画像解析部７からのフレームスキップ挿入回数ＮＡとフレーム目標符号量設定部６からのフレームスキップ挿入回数ＮＢとに基づいて実施の形態１で説明したのと同様の判断を行って、フレームスキップを行わせる。

フレーム内複雑度ＦＨを用いることにより、フレーム間変化量ＶＡが少ない場合でも、符号量が足りなくなり画質の劣化が生じてしまう符号化を回避することができる。

以上に述べたことを、図１５、図１６に示される具体的なフレームシーケンスの例について説明する。以下の説明でフレーム内複雑度ＦＨに対する閾値ＴＨを２０とする。
まず、時点Ｔ＝ｃ０からＴ＝ｃ１にかけてフレーム間変化量ＶＡが１５／ｐｉｘｅｌで閾値ＴＶよりも小さく、フレーム内複雑度ＦＨが３／ｐｉｘｅｌであり閾値ＴＨよりも小さい。この場合、通常処理により符号化を行っても画質劣化は少ない。そこで、図１５に示すように、同フレームでは、割増し無しのフレーム目標符号量でフレーム間符号化を行っている。

時点Ｔ＝ｃ１からＴ＝ｃ２にかけてフレーム間変化量ＶＡが１５／ｐｉｘｅｌで閾値ＴＶよりも小さく、フレーム内複雑度ＦＨが５／ｐｉｘｅｌであり閾値ＴＨよりも小さい。この場合、通常処理により符号化を行っても画質劣化は少ない。そこで、図１５に示すように、同フレームでは、割増し無しのフレーム目標符号量でフレーム間符号化を行っている。

時点Ｔ＝ｃ２からＴ＝ｃ３にかけてフレーム間変化量が１００／ｐｉｘｅｌで第２の閾値ＴＶ以上であり、フレーム内複雑度ＦＨが２５／ｐｉｘｅｌであり閾値ＴＨ以上である。この場合、通常処理により符号化を行うと画質が劣化してしまう。そこで、フレームスキップを意図的に行い、符号化処理を行わず、次フレームにこのときの符号量を回すこととする。この結果、図１５に示すように、同フレームでは、符号量が「０」となる。

Ｔ＝ｃ３からＴ＝ｃ４にかけては、前フレームが符号化されておらず、Ｔ＝ｃ４のみのフレームで符号化を行うため、前フレームで用いられた量子化パラメータを参照せずに量子化パラメータを所定の初期値に設定し、フレーム内符号化を行う。つまり、フレーム間変化量ＶＡが大きくなるフレームの次フレームは、前フレームとの相関性が低くなり、過去のフレームの量子化パラメータを参照する必要性は少ない。従って、前フレームとは独立に次フレームに適切な量子化パラメータを与え、フレーム内符号化を行うことで、画質の劣化の少ない符号化を行う。一般的に、フレーム内符号化はフレーム間符号化よりも多い符号量を要するが、前フレームで意図的にフレームスキップを行ったため利用可能な符号量が減っておらず、その分の符号量を次フレームの符号化に割当てることができ、次フレームでフレーム内符号化を行っても画質の劣化が少なくなる十分な符号量を割当てることができる。

時点Ｔ＝ｃ４からＴ＝ｃ５にかけてフレーム間変化量ＶＡが１０／ｐｉｘｅｌで閾値ＴＶよりも小さく、フレーム内複雑度ＦＨも１５／ｐｉｘｅｌと閾値ＴＨよりも小さい。この場合、通常処理により符号化を行っても画質劣化は少ない。そこで、図１５に示すように、同フレームでは、割増し無しのフレーム目標符号量でフレーム間符号化を行っている。

時点Ｔ＝ｃ５からＴ＝ｃ６にかけてフレーム間変化量ＶＡが４０／ｐｉｘｅｌで、第１の閾値ＴＶ以上でかつ第２の閾値ＴＷ未満となることと、フレーム内複雑度ＦＨが２０／ｐｉｘｅｌと閾値ＴＨを超えている。この場合、通常より多い符号量を用いなければ画質劣化が起こると考えられる。そこで、図１５に示すように、符号量を通常よりも例えば２倍に割増してフレーム間符号化を行う。

フレーム内複雑度ＦＨにおける閾値ＴＨの設定は、限定された値を持つわけでは無く、フレームに対して適切なものを選ぶことができる。また閾値ＴＨを多段階に設定し、フレームスキップ挿入回数を増減することも可能である。

実施の形態２において、量子化パラメータの推移を図１７に示すフレームシーケンスについて説明する。
まず、時点Ｔ＝Ｉｃは、周期的に挿入されるフレーム内符号化に用いる量子化パラメータのため小さい値を取る。つまり、細かい量子化を行っており符号量は多くなる。

時点Ｔ＝ｃ２まではフレーム間符号化を行うため、比較的大きい量子化パラメータを用いても画質の劣化は少ないことから、パラメータを大きくする。つまり、粗い量子化を行っており符号量は少なくて済む。また、前フレームで用いた量子化パラメータを参照して量子化パラメータを求める。

時点Ｔ＝ｃ２と時点Ｔ＝ｃ３間のフレーム間変化量ＶＡが大となり、かつＴ＝ｃ３でフレーム内複雑度ＦＨが大となっているので、時点Ｔ＝ｃ３で意図的にフレームスキップをさせることとする。このとき、時点Ｔ＝ｃ３では符号化が行われないため、量子化パラメータは設定されず、図１７に示すように、曲線が中断されることとなる。

時点Ｔ＝ｃ４では、前フレームで用いた量子化パラメータを参照せずに量子化パラメータを所定の初期値に設定し、フレーム内符号化を行う。この場合、画質の劣化を防ぐために量子化パラメータを小さくする。その結果、符号量は増加する。しかし前フレームで符号化を行わなかったため、前フレームの符号量ＱＢは０ｂｉｔであり、前フレームで割当てられた符号量を現フレームで割当てられた符号量に加えて用いることができ、フレーム内符号化を挿入しても全体的な符号量は増えず、画質の劣化も少ない。さらに、フレーム間変化量ＶＡが大きく、不連続な映像であると考えられ、フレームスキップを行っても不自然な映像とはならない。

時点Ｔ＝Ｉｄまではフレーム間符号化を行うため、比較的大きい量子化パラメータを用いても画質の劣化は少ないことから、パラメータを大きくする。つまり、粗い量子化を行っており符号量は少なくて済む。

時点Ｔ＝Ｉｄでは、周期的に挿入されるフレーム内符号化を行うので、量子化パラメータを小さくする。つまり、細かい量子化を行っており符号量は多くなる。

時点Ｔ＝Ｉｄ以降も同様にして量子化パラメータを制御し符号化を行う。

上記の実施の形態２によれば、フレームを符号化する際、フレーム間変化量ＶＡが閾値よりも大きく、かつフレーム内複雑度ＦＨが閾値よりも大きい場合、フレームスキップを意図的に発生させて、フレームの符号化を行わず、スキップしたフレームへの割当てが予定されていたフレーム目標符号量を、スキップ後のフレームへの割当てが予定されていたフレーム目標符号量に加えることができるので、実施の形態１について述べた効果に加え、スキップ後のフレームに対して画質劣化の少ない符号化を行うことができ、その結果、安定した画質と符号量制御を実現することができる。

実施の形態１の動画像符号化装置の全体的構成を示すブロック図である。 図１のフレームメモリの構成を示す図である。 図１の動画像符号化装置における入力画像解析部７の構成を示すブロック図である。 図３の入力画像解析部７における変化量抽出部２２の構成を示すブロック図である。 図１の動画像符号化装置におけるフレーム目標符号量設定部６の構成を示すブロック図である。 実施の形態１の動画像符号化装置における符号化処理の動作の手順を示す図である。 実施の形態１において、符号量割増しが発生するフレームシーケンス中のフレーム間変化量ＶＡ及び各フレームの符号化方法を示す図である。 実施の形態１における図７の各時点での目標符号量を示す図である。 実施の形態１において、フレームスキップ及び符号量割増しが発生するフレームシーケンス中のフレーム間変化量ＶＡ及び各フレームの符号化方法を示す図である。 実施の形態１における図９の各時点での目標符号量を示す図である。 実施の形態１における量子化パラメータの推移を示す図である。 実施の形態２の動画像符号化装置の全体的構成を示すブロック図である。 実施の形態２における動画像符号化装置中の入力画像解析部７の構成を示すブロック図である。 図１３の入力画像解析部７における複雑度抽出部５１の構成を示すブロック図である。 実施の形態２において、フレームスキップ及び符号量割増しが発生するフレームシーケンス中のフレーム間変化量ＶＡ、並びに各フレームのフレーム内複雑度ＦＨ及び符号化方法を示す図である。 実施の形態２における図１５の各時点での目標符号量を示す図である。 実施の形態２における量子化パラメータの推移を示す図である。

符号の説明

１ フレームメモリ、 ２ スイッチ、 ３ 符号化器、 ４ バッファ、 ５ 符号量検出部、 ６ フレーム目標符号量設定部、 ７ 入力画像解析部、 ８ フレームスキップ制御部、 ９ 符号化制御部、 １０ 符号化手段、 ２２ 変化量抽出部、 ２３ 閾値設定部、 ２４ 比較器、 ３１ 絶対値演算部、 ３２ 和演算部、 ３３ 平均演算部、 ５１ 複雑度抽出部、 ５２ 閾値設定部、 ５３ 比較器、 ５４ フレームスキップ挿入回数仮決定部、 ７２ エッジ抽出部、 ７３ 和演算部、 ７４ 平均演算部、 １００ 動画像符号化装置。

Claims (7)

1. 入力された動画像の現フレームと前フレームとのフレーム間変化量を検出する入力画像解析手段と、
   前記入力された動画像を符号化する符号化手段と、
   前記符号化手段から出力された符号化データの発生符号量と所定の基準符号量とにより、前記符号化手段で符号化するフレームの目標符号量を仮決定するフレーム目標符号量設定手段と、
   前記符号化手段における符号化をフレーム単位でスキップさせるフレームスキップ制御手段と
   を備えた動画像符号化装置において、
   前記入力画像解析手段が、フレーム間変化量に加え、入力された動画像の現フレームにおけるフレーム内複雑度も検出するように構成され、
   前記入力画像解析手段において、前記フレーム間変化量が所定の第１の変化量閾値以上であり、かつフレーム複雑度が所定の複雑度閾値以上であることが検出された場合に、前記フレームスキップ制御手段が、現フレームの符号化をスキップさせるようフレームスキップ挿入可否情報を設定、これにより前記符号化手段における符号化のフレーム単位でのスキップを制御する
   ことを特徴とする動画像符号化装置。
2. 前記フレーム目標符号量設定手段が前記フレーム間変化量及び前記仮決定された目標符号量に基づいて最終の目標符号量を決定し、
   前記符号化手段は、
   前記入力された動画像をフレーム内符号化またはフレーム間符号化により符号化する符号化器と、
   前記フレームスキップ挿入可否情報に基づいてフレーム単位での符号化スキップを行うかどうか、及び符号化をフレーム内符号化で行うかフレーム間符号化で行うかを決定し、前記最終の目標符号量に基づいて量子化パラメータを設定し、これらの決定及び設定に基づいて前記符号化器を制御する符号化制御部と
   を有する
   ことを特徴とする請求項１に記載の動画像符号化装置。
3. 前記符号化制御部は、現フレームの目標符号量と前フレームの量子化パラメータとに基づいて現フレームの量子化パラメータを定めることを特徴とする請求項２に記載の動画像符号化装置。
4. 前記フレーム間変化量が前記第１の変化量閾値以上であると判定されたときに、前記フレーム目標符号量設定手段が、前記最終の目標符号量を、前記仮決定された目標符号量よりも大きな値とすることを特徴とする請求項２に記載の動画像符号化装置。
5. 前記フレーム目標符号量設定手段において、前記フレーム間変化量が、所定の第２の変化量閾値以上であり、かつ前記仮決定された目標符号量が所定の符号量閾値未満であると判定されたときに、前記フレームスキップ制御手段は現フレームの符号化をスキップさせるように前記フレームスキップ挿入可否情報を設定する
   ことを特徴とする請求項１、２又は４に記載の動画像符号化装置。
6. 前記符号化手段は、前記フレームスキップ挿入可否情報に基づいてスキップしたフレームの次のフレームをフレーム内符号化で符号化を行うことを特徴とする請求項１乃至５のいずれかに記載の動画像符号化装置。
7. 前記符号化手段は、フレーム内符号化を行うときは、前フレームの量子化パラメータを参照せずに設定された量子化パラメータを設定することを特徴とする請求項６に記載の動画像符号化装置。

Images