JP2004007498A - 符号化装置および符号化方法、プログラム、並びに記録媒体 - Google Patents

Abstract

【課題】シーンチェンジの前後の画像難易度を基に、仮想バッファの初期バッファ容量ｄ（０）の更新を行うか否かを判断する。
【解決手段】ステップＳ２１でＭＥ残差情報ＭＥ＿ｉｎｆｏが取得され、ステップＳ２２でＭＥ＿ｉｎｆｏ−ａｖｇ＞Ｄであるか否かが判断される。ＭＥ＿ｉｎｆｏ−ａｖｇ＞Ｄではない場合、シーンチェンジがではないと判断される。ＭＥ＿ｉｎｆｏ−ａｖｇ＞Ｄである場合、シーンチェンジであると判断されるので、ステップＳ２３で、シーンチェンジ前後のイントラＡＣが比較される。ｍａｄ＿ｉｎｆｏ＞ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏではない場合、難しい画像から簡単な画像へのシーンチェンジである。ｍａｄ＿ｉｎｆｏ＞ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏである場合、簡単な画像から難しい画像へのシーンチェンジであるので、ステップＳ２３で、発生符号量制御部９２は、初期バッファ容量ｄ（０）の更新を行う。
【選択図】　　　図１０

Description

【０００１】
【発明の属する技術分野】
本発明は、符号化装置および符号化方法、プログラム、並びに記録媒体に関し、特に、符号化におけるレート制御を行う場合に用いて好適な、符号化装置および符号化方法、プログラム、並びに記録媒体に関する。
【０００２】
【従来の技術】
近年、映像データおよび音声データを圧縮して情報量を減らす方法として、種々の圧縮符号化方法が提案されており、その代表的なものにＭＰＥＧ２（Ｍｏｖｉｎｇ
Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ　Ｐｈａｓｅ　２）がある。
【０００３】
図１を参照して、このＭＰＥＧ２方式によって映像データを圧縮符号化する場合、および圧縮符号化された画像データを復号する場合の処理について説明する。
【０００４】
送信側のエンコーダ１は、ナンバ０乃至１１のフレーム画像１１を、フレーム内符号化画像（以下、Ｉピクチャと称する）、フレーム間順方向予測符号化画像（以下、Ｐピクチャと称する）、もしくは、双方向予測符号化画像（以下、Ｂピクチャと称する）の３つの画像タイプのうちのいずれの画像タイプとして処理するかを指定し、指定されたフレーム画像の画像タイプ（Ｉピクチャ、Ｐピクチャ、もしくは、Ｂピクチャ）に応じて、フレーム画像を符号化する順番に並び替えるリオーダリングを実行し、その順番で各フレーム画像に対して符号化処理を施して、符号化フレーム１２を生成し、デコーダ２に伝送する。
【０００５】
受信側のデコーダ２は、エンコーダ１によって符号化されたフレーム画像を復号した後、再度、リオーダリングして、画像フレームを元の順番に戻して、フレーム画像１３を復元し、再生画像を表示する。
【０００６】
エンコーダ１においては、リオーダリングした後に符号化処理を施すため、ナンバ０のフレーム画像を符号化処理するまでに、ナンバ２のフレーム画像が符号化処理されていなければならず、その分だけ遅延（以下、リオーダリングディレイと称する）が生じる。
【０００７】
また、デコーダ２においても、復号した後にリオーダリングするため、ナンバ０のフレーム画像を復号して表示するまでに、ナンバ２のフレーム画像が復号されていなければならず、その分だけリオーダリングディレイが生じてしまう。
【０００８】
このように、エンコーダ１およびデコーダ２においては双方でリオーダリングを行っているために、画像データを符号化してから再生画像を表示するまでの間に３フレーム分のリオーダリングディレイが生じてしまう。
【０００９】
また、このＭＰＥＧ２方式によって圧縮符号化された符号化データが伝送される場合、送信側の圧縮符号化装置から伝送された符号化データは、受信側のビデオＳＴＤ（Ｓｙｓｔｅｍ　Ｔａｒｇｅｔ　Ｄｅｃｏｄｅｒ）バッファ（いわゆるＶＢＶ（Ｖｉｄｅｏ　Ｂｕｆｆｅｒ　Ｖｅｒｉｆｉｅｒ）バッファ）に、ピクチャごとに格納されていく。
【００１０】
図２に示されるように、ＶＢＶバッファは、そのバッファサイズ（容量）が決まっており、符号化データは、ＶＢＶバッファに、ピクチャごとに順次格納される。この場合、Ｉピクチャ、Ｐピクチャ、およびＢピクチャの各符号化データは、一定の伝送レートによってＶＢＶバッファにそれぞれ格納され、格納が終了した時点（１フレーム周期）のデコードタイミングで、デコーダに引き抜かれる。Ｉピクチャは、Ｂピクチャと比較して符号化データのデータ量が多いので、ＶＢＶバッファに格納されるまでにＢピクチャよりも多くの時間を必要とする。
【００１１】
このとき、データ送信側であるエンコーダ１は、デコーダ２のＶＢＶバッファに符号化データが格納されたとき、および、ＶＢＶバッファから符号化データが引き抜かれたときに、ＶＢＶバッファにおいてオーバーフローもしくはアンダーフローが発生してしまわないようにするため、ＶＢＶバッファのバッファ占有率に基づいて、符号化データの発生符号量を制御（レートコントロール）する必要がある。
【００１２】
しかしながら、画面の更新に必要なＩピクチャは、発生符号量が多いために、他の種類のピクチャと比較して、画像データの伝送時間長くなってしまい、この時間が遅延となってしまう。
【００１３】
テレビ電話やテレビ会議等の画像データなど、リアルタイム性を要求される実時間伝送を行う場合、上述したように、伝送時間に起因する遅延や、リオーダリングディレイが発生してしまうと、送信側から送られてきた符号化データを受信側で受信して再生画像を表示するまでに時間差が生じてしまう。これに対して、ＭＰＥＧ２方式では、このような遅延を少なくするために、遅延時間を１５０［ｍｓ］以下に短縮するローディレイコーディング（Ｌｏｗ　Ｄｅｌａｙ　Ｃｏｄｉｎｇ）と呼ばれる手法が規格によって用意されている。
【００１４】
ローディレイコーディングにおいては、リオーダリングディレイの原因となるＢピクチャ、および、発生符号量の多いＩピクチャを使用せずに、Ｐピクチャのみを使用し、このＰピクチャを、数スライスからなるイントラスライスと、残り全てのスライスからなるインタースライスとに区切ることにより、リオーダリングなしに符号化することができるようになされている。
【００１５】
イントラスライスは、スライス部分の画像データがフレーム内符号化される画像部分であり、インタースライスは、スライス部分の画像データと前のフレーム画像における同じ領域の参照画像データとの差分データが符号化される画像部分である。
【００１６】
ローディレイコーディングでは、例えば、図３に示されるように、エンコーダ１は、ナンバ０乃至１１のフレーム画像１１を全てＰピクチャとし、例えば、横４５マクロブロック、縦２４マクロブロの画枠サイズの中で、ナンバ０のフレーム画像の上段から縦２マクロブロック、および横４５マクロブロック分の領域を、イントラスライスＩ０、その他の領域を全てインタースライスＰ０として設定する。
【００１７】
そして、エンコーダ１は、次のナンバ１のフレーム画像においては、ナンバ０のフレーム画像のイントラスライスＩ０の下方向に続く位置に、同じ面積の領域でイントラスライスＩ１を設定し、その他は全てインタースライスＰ１に設定する。以下、同様にイントラスライスとインタースライスがフレーム画像ごとに設定され、最後のナンバ１１のフレーム画像についてもイントラスライスＩ１１とインタースライスＰ１１が設定される。
【００１８】
エンコーダ１は、各フレーム画像のイントラスライスＩ０乃至Ｉ１１を、そのまま伝送データとして符号化し、他のインタースライスＰ０乃至Ｐ１１を、前のフレーム画像の同じ領域の参照画像との差分データに基づいて符号化する（ただし、符号化の開始時においては、インタースライスＰ０の参照画像となる前のフレーム画像は存在しないので、符号化の開始時のみはこの限りでない）。そして、同様の符号化処理を、ナンバ０のフレーム画像からナンバ１１のフレーム画像について繰り返し実行することにより、エンコーダ１は、１枚のＰピクチャにおける画面全体の画像データを符号化して符号化フレーム２１を生成することができる。
【００１９】
この場合、各フレーム画像におけるイントラスライスＩ０乃至Ｉ１１の画像データサイズは全て均一であり、当然、インタースライスＰ０乃至Ｐ１１の画像データサイズも均一であることにより、フレーム画像ごとの発生符号量は、ほぼ一定の固定レートになる。
【００２０】
これにより、図４に示すように、Ｐピクチャの各フレーム画像は全て同じ発生符号量の符号化データとなり、ＶＢＶバッファに格納されるとき、および、引き抜かれるときの、ＶＢＶバッファにおける符号化データの推移は、全て同じになる。この結果、送信側のエンコーダ１は、デコーダ２のＶＢＶバッファにアンダーフローおよびオーバーフローを生じさせることなく、符号化データの発生符号量を容易に制御することができ、発生符号量の多いＩピクチャで生じるような遅延やリオーダリングディレイによる不具合を解消することができ、再生画像を遅延なく表示することができる。
【００２１】
ところで、以上説明した構成の圧縮符号化装置においては、イントラスライスＩ０乃至Ｉ１１に関してはそのまま伝送データとして符号化し、他のインタースライスＰ０乃至Ｐ１１に関しては前のフレーム画像における同じ領域の参照画像との差分データに基づいて符号化するため、イントラスライスＩ０乃至Ｉ１１の画像データ部分を圧縮符号化したときの実際の発生符号量は多く、インタースライスＰ０乃至Ｐ１１の画像データ部分を圧縮符号化したときの実際の発生符号量は少なくなる。
【００２２】
ところが、ピクチャ全体としての発生符号量は規定されているが、イントラスライスＩ０乃至Ｉ１１およびインタースライスＰ０乃至Ｐ１１ごとに割り当てる発生符号量は規定されていない。すなわち、イントラスライスＩ０乃至Ｉ１１のように符号化したときの発生符号量が多くなる画像部分に対しても、またインタースライスＰ０乃至Ｐ１１のように符号化したときの発生符号量があまり多くならない画像データ部分に対しても、発生符号量が均等に割り当てられている。
【００２３】
従って、データ量の多いイントラスライスＩ０乃至Ｉ１１に対して割り当てられる発生符号量が少なく、データ量の少ないインタースライスＰ０乃至Ｐ１１に対して割り当てられる発生符号量が多くなることがあり、このような場合にピクチャ全体としての画像に歪みが生じてしまうという課題があった。
【００２４】
具体的には、図５に示されるように、画像の符号化難易度が低い画像３１に続いて、画像の符号化難易度が高い画像３２が存在した場合、符号化難易度が低い画像３１は、エンコードに容易な画像であるため、Ｑスケールが小さくなるが、従来の方法では、それに続く、画像の符号化難易度が高い画像３２に対して、小さなＱスケールでエンコードを開始してしまうため、画面の途中までに、与えられたビット量を消費してしまい、画面下端に前のピクチャが残ってしまうという現象が発生する。この現象は、イントラスライスが、次に、画面下端の問題発生箇所に現れるまで、影響を及ぼしてしまう。
【００２５】
この課題を解決するために、ローディレイモードにおいても、復号器側において高画質な画像を再生できるような符号化データを生成し得る符号化装置および符号化方法が提案されている（例えば、特許文献１参照）。
【００２６】
【特許文献１】
特開平１１−２０５８０３号公報
【００２７】
すなわち、通常のフィードバック型の量子化制御を行ってイントラスライスおよびインタースライスごとに最適な量子化ステップサイズを決定して量子化制御を行う場合において、次のピクチャが１つ前のピクチャと絵柄の大きく異なるシーンチェンジが検出されるようにし、シーンチェンジ発生時には、１つ前のピクチャを基に算出された量子化インデックスデータＱ（ｊ＋１）を用いるのではなく、これから符号化しようとするピクチャのＭＥ残差情報に基づいて、仮想バッファの初期バッファ容量ｄ（０）を更新することにより、新たに量子化インデックスデータＱ（ｊ＋１）が算出し直されるようにする。これにより、シーンチェンジが起きた場合でも、イントラスライスおよびインタースライスごとに最適な量子化ステップサイズが決定されて、量子化制御が行われる。
【００２８】
ＭＥ残差とは、ピクチャ単位で算出されるものであり、１つ前のピクチャと次のピクチャにおける輝度の差分値の合計値である。従ってＭＥ残差情報が大きな値を示すときには、１つ前のピクチャの絵柄と次に符号化処理するピクチャの絵柄が大きく異なっている（いわゆるシーンチェンジ）ことを表している。
【００２９】
この符号化方法について、図６のフローチャートを参照して説明する。
【００３０】
ステップＳ１において、例えば、動きベクトルを検出するときに得られるＭＥ残差情報が取得される。ここで取得されたＭＥ残差情報をＭＥ＿ｉｎｆｏとする。
【００３１】
ステップＳ２において、取得されたＭＥ残差情報から、ＭＥ残差情報の平均値ａｖｇが減算されて、算出された値が、所定の閾値Ｄよりも大きいか否かが判断される。ＭＥ残差情報の平均値ａｖｇは、後述するステップＳ４において更新される値であり、次の式（１）で示される。
【００３２】
ａｖｇ＝１／２（ａｖｇ＋ＭＥ＿ｉｎｆｏ）・・・（１）
【００３３】
ステップＳ２において、算出された値は、所定の閾値Ｄより小さいと判断された場合、現在のピクチャにおける絵柄と、１つ前のピクチャにおける絵柄との差があまりない、すなわちシーンチェンジがなかったと判断されるので、処理はステップＳ４に進む。
【００３４】
ステップＳ２において、算出された値は、所定の閾値Ｄより大きいと判断された場合、現在のピクチャにおける絵柄と、１つ前のピクチャにおける絵柄との差が大きい、すなわち、シーンチェンジがあったと判断されるので、ステップＳ３において、式（２）、式（３）、式（４）および式（５）に基づいて、仮想バッファの初期バッファ容量ｄ（０）が算出されて、仮想バッファが更新される。
【００３５】
ピクチャ単位の画像の難しさＧＣ（Ｇｌｏｂａｌ　Ｃｏｍｐｌｅｘｉｔｙ）を表すＸは、次の式（２）で表される。
Ｘ＝Ｔ×Ｑ・・・（２）
ただし、Ｔは、ピクチャ単位の発生符号量であり、Ｑは、ピクチャ単位の量子化ステップサイズの平均値である。
【００３６】
そして、ピクチャ単位の画像の難しさＸを、ＭＥ残差情報ＭＥ＿ｉｎｆｏと等しいとした場合、すなわち、次の式（３）が満たされている場合、ピクチャ全体の量子化インデックスデータＱは、式（４）で示される。
【００３７】

ただし、ｂｒは、ビットレートであり、ｐｒは、ピクチャレートである。
【００３８】
そして、式（４）における仮想バッファの初期バッファ容量ｄ（０）は、次の式（５）で示される。

【００３９】
この仮想バッファの初期バッファ容量ｄ（０）を、再度、式（４）に代入することにより、ピクチャ全体の量子化インデックスデータＱが算出される。
【００４０】
ステップＳ２において、算出された値は、所定の閾値Ｄより小さいと判断された場合、もしくは、ステップＳ３の処理の終了後、ステップＳ４において、次に供給されるピクチャに備えて、ＭＥ残差情報の平均値ａｖｇが、上述した式（１）により計算されて更新され、処理は、ステップＳ１に戻り、それ以降の処理が繰り返される。
【００４１】
図６のフローチャートを用いて説明した処理により、次のピクチャが１つ前のピクチャと絵柄の大きく異なるシーンチェンジが起きた場合には、これから符号化しようとするピクチャのＭＥ残差情報ＭＥ＿ｉｎｆｏに基づいて、仮想バッファの初期バッファ容量ｄ（０）が更新され、この値を基に、新たに量子化インデックスデータＱ（ｊ＋１）が算出されるので、シーンチェンジに対応して、イントラスライスおよびインタースライスごとに最適な量子化ステップサイズが決定される。
【００４２】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載の方法を用いた場合、符号化難易度が高い（難しい）画像から、符号化難易度が低い（易しい）画像にシーンが変わる場合などにおいても、同様のエンコード処理をしてしまうため、画質的に悪影響を及ぼしてしまう。
【００４３】
具体的には、易しい画像から難しい画像へシーンが変わる場合、および、難しい画像から易しい画像へシーンが変わる場合の双方に対して仮想バッファ調整を行ってしまうため、難しい画像から易しい画像へシーンが変わる場合では、エンコードに余裕があるはずの、符号化難易度が低い画像において、わざわざ画質を悪くしてしまう場合がある。
【００４４】
本発明はこのような状況に鑑みてなされたものであり、様々なシーンチェンジに対応して、シーンチェンジ時の画質を向上させることができるようにするものである。
【００４５】
【課題を解決するための手段】
本発明のフレーム画像を符号化する符号化装置は、フレーム画像の難易度を検出する第１の検出手段と、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定手段と、決定手段により決定された量子化インデックスデータを基に、量子化を実行する量子化手段と、量子化手段により量子化された量子化係数データを符号化する符号化手段とを備え、決定手段は、フレーム画像に絵柄の変化があった場合、第１の検出手段による検出結果を基に、仮想バッファの初期バッファ容量の値を初期化するか否かを判断することを特徴とする。
【００４６】
１つ前のピクチャと次に符号化処理するピクチャとの、絵柄の変化を検出する第２の検出手段を更に備えさせるようにすることができ、決定手段には、第２の検出手段による検出結果を基に、１つ前のピクチャから次に符号化処理するピクチャの間でシーンチェンジが発生したか否かを判断させるようにすることができ、第１の検出手段による検出結果を基に、シーンチェンジ前後の画像の難しさを判断して、シーンチェンジは、簡単な画像から難しい画像へのシーンチェンジであるのか、または、難しい画像から簡単な画像へのシーンチェンジであるのかを判断させるようにすることができる。
【００４７】
決定手段には、１つ前のピクチャから次に符号化処理するピクチャの間でシーンチェンジが発生し、かつ、シーンチェンジは、簡単な画像から難しい画像へのシーンチェンジであると判断した場合に、仮想バッファの初期バッファ容量の値を初期化させるようにすることができる。
【００４８】
決定手段には、１つ前のピクチャから次に符号化処理するピクチャの間でシーンチェンジが発生したことを判断した場合、更に、シーンチェンジが簡単な画像から難しい画像へのシーンチェンジであると判断したとき、または、シーンチェンジが難しい画像から簡単な画像へ所定の値以上の変化量で変化したシーンチェンジであると判断し、かつ、シーンチェンジ後の画像の難易度が所定の値以上であると判断したとき、仮想バッファの初期バッファ容量の値を初期化させるようにすることができる。
【００４９】
第１の検出手段には、画像の難易度を示す第１の指標を算出する第１の算出手段を備え、第１の算出手段により算出された第１の指標を基に、画像の難易度を検出させるようにすることができ、第２の検出手段には、１つ前のピクチャの絵柄と次に符号化処理するピクチャの絵柄との差分を示す第２の指標を算出する第２の算出手段を備え、第２の算出手段により算出された第２の指標を基に、絵柄の変化を検出させるようにすることができる。
【００５０】
第２の算出手段により算出された第２の指標の平均値を算出する第３の算出手段を更に備えさせるようにすることができ、決定手段には、第２の算出手段により算出された第２の指標から、第３の算出手段により１つ前のピクチャまでの情報を用いて算出された第２の指標の平均値を減算した値が、所定の閾値以上であり、かつ、第１の算出手段により算出された、１つ前のピクチャに対応する第１の指標が、次に符号化処理するピクチャに対応する第１の指標より小さかった場合に、仮想バッファの初期バッファ容量の値を初期化させるようにすることができる。
【００５１】
所定の閾値は、１つ前のピクチャから次に符号化処理するピクチャの間でシーンチェンジが発生したか否かを判断するために設定される閾値であるものとすることができ、決定手段には、第１の算出手段により算出された、１つ前のピクチャに対応する第１の指標が、次に符号化処理するピクチャに対応する第１の指標より小さかった場合、シーンチェンジは、簡単な画像から難しい画像へのシーンチェンジであると判断させるようにすることができる。
【００５２】
第２の算出手段により算出された第２の指標の平均値を算出する第３の算出手段を更に備えさせるようにすることができ、決定手段には、第２の算出手段により算出された第２の指標から、第３の算出手段により１つ前のピクチャまでを用いて算出された第２の指標の平均値を減算した値が第１の閾値以上である場合、第１の算出手段により算出された、１つ前のピクチャに対応する第１の指標が、次に符号化処理するピクチャに対応する第１の指標より小さいとき、または、第１の算出手段により算出された、１つ前のピクチャに対応する第１の指標から、次に符号化処理するピクチャに対応する第１の指標を減算した値が第２の閾値以上であり、かつ、次に符号化処理するピクチャに対応する第１の指標が第３の閾値以上であるとき、仮想バッファの初期バッファ容量の値を初期化させるようにすることができる。
【００５３】
第１の閾値は、１つ前のピクチャから次に符号化処理するピクチャの間でシーンチェンジが発生したか否かを判断するために設定される閾値であるものとすることができ、決定手段には、第１の算出手段により算出された、１つ前のピクチャに対応する第１の指標が、次に符号化処理するピクチャに対応する第１の指標より小さかった場合、シーンチェンジは、簡単な画像から難しい画像へのシーンチェンジであると判断させるようにすることができ、第２の閾値は、シーンチェンジによる画像の変化量が大きいか否かを判断するために設定される閾値であるものとすることができ、第３の閾値は、シーンチェンジ後の画像の難易度が高いか否かを判断するために設定される閾値であるものとすることができる。
【００５４】
１つ前のピクチャと次に符号化処理するピクチャとの、絵柄の変化を示す情報を取得する取得手段を更に備えさせるようにすることができ、決定手段には、取得手段により取得された絵柄の変化を示す情報を基に、１つ前のピクチャから次に符号化処理するピクチャの間でシーンチェンジが発生したか否かを判断させるようにすることができ、第１の検出手段による検出結果を基に、シーンチェンジ前後の画像の難しさを判断して、シーンチェンジは、簡単な画像から難しい画像へのシーンチェンジであるのか、または、難しい画像から簡単な画像へのシーンチェンジであるのかを判断させるようにすることができる。
【００５５】
決定手段には、１つ前のピクチャから次に符号化処理するピクチャの間でシーンチェンジが発生し、かつ、シーンチェンジは、簡単な画像から難しい画像へのシーンチェンジであると判断した場合に、仮想バッファの初期バッファ容量の値を初期化させるようにすることができる。
【００５６】
決定手段には、１つ前のピクチャから次に符号化処理するピクチャの間でシーンチェンジが発生したことを判断した場合、更に、シーンチェンジが簡単な画像から難しい画像へのシーンチェンジであると判断したとき、または、シーンチェンジが難しい画像から簡単な画像へ所定の値以上の変化量で変化したシーンチェンジであると判断し、かつ、シーンチェンジ後の画像の難易度が所定の値以上であると判断したとき、仮想バッファの初期バッファ容量の値を初期化させるようにすることができる。
【００５７】
フレーム画像に対応するデータから、１つ前のピクチャと次に符号化処理するピクチャとの、絵柄の変化を示す情報を抽出する抽出手段を更に備えさせるようにすることができ、決定手段には、抽出手段により抽出された絵柄の変化を示す情報を基に、１つ前のピクチャから次に符号化処理するピクチャの間でシーンチェンジが発生したか否かを判断させるようにすることができ、第１の検出手段による検出結果を基に、シーンチェンジ前後の画像の難しさを判断して、シーンチェンジは、簡単な画像から難しい画像へのシーンチェンジであるのか、または、難しい画像から簡単な画像へのシーンチェンジであるのかを判断させるようにすることができる。
【００５８】
決定手段には、１つ前のピクチャから次に符号化処理するピクチャの間でシーンチェンジが発生し、かつ、シーンチェンジは、簡単な画像から難しい画像へのシーンチェンジであると判断した場合に、仮想バッファの初期バッファ容量の値を初期化させるようにすることができる。
【００５９】
決定手段には、１つ前のピクチャから次に符号化処理するピクチャの間でシーンチェンジが発生したことを判断した場合、更に、シーンチェンジが簡単な画像から難しい画像へのシーンチェンジであると判断したとき、または、シーンチェンジが難しい画像から簡単な画像へ所定の値以上の変化量で変化したシーンチェンジであると判断し、かつ、シーンチェンジ後の画像の難易度が所定の値以上であると判断したとき、仮想バッファの初期バッファ容量の値を初期化させるようにすることができる。
【００６０】
フレーム画像は、全て、フレーム間順方向予測符号化画像であるものとすることができる。
【００６１】
本発明の符号化方法は、フレーム画像の難易度を検出する検出ステップと、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、決定ステップの処理により決定された量子化インデックスデータを基に、量子化を実行する量子化ステップと、量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップとを含み、決定ステップの処理では、フレーム画像に絵柄の変化があった場合、検出ステップの処理による検出結果を基に、仮想バッファの初期バッファ容量の値を初期化するか否かを判断することを特徴とする。
【００６２】
本発明の記録媒体に記録されているプログラムは、フレーム画像の難易度を検出する検出ステップと、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、決定ステップの処理により決定された量子化インデックスデータを基に、量子化を実行する量子化ステップと、量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップとを含み、決定ステップの処理では、フレーム画像に絵柄の変化があった場合、検出ステップの処理による検出結果を基に、仮想バッファの初期バッファ容量の値を初期化するか否かを判断することを特徴とする。
【００６３】
本発明のプログラムは、フレーム画像の難易度を検出する検出ステップと、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、決定ステップの処理により決定された量子化インデックスデータを基に、量子化を実行する量子化ステップと、量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップとを含み、決定ステップの処理では、フレーム画像に絵柄の変化があった場合、検出ステップの処理による検出結果を基に、仮想バッファの初期バッファ容量の値を初期化するか否かを判断することを特徴とする。
【００６４】
本発明の符号化装置および符号化方法、並びにプログラムにおいては、フレーム画像の難易度が検出され、仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータが決定され、決決定された量子化インデックスデータを基に、量子化が実行され、量子化係数データが符号化され、フレーム画像に絵柄の変化があった場合、フレーム画像の難易度の検出結果を基に、仮想バッファの初期バッファ容量の値を初期化するか否かが判断される。
【００６５】
【発明の実施の形態】
以下、図を参照して、本発明の実施の形態について説明する。
【００６６】
図７は、ビデオエンコーダ６１の構成を示すブロック図である。
【００６７】
ビデオエンコーダ６１は、全てＰピクチャを用いたローディレイコーディング方式によって、画像データを符号化するようにしてもよいし、例えば、１５フレームを、フレーム内符号化画像（以下、Ｉピクチャと称する）、フレーム間順方向予測符号化画像（以下、Ｐピクチャと称する）、もしくは、双方向予測符号化画像（以下、Ｂピクチャと称する）の３つの画像タイプのうちのいずれの画像タイプとして処理するかを指定し、指定されたフレーム画像の画像タイプ（Ｉピクチャ、Ｐピクチャ、もしくは、Ｂピクチャ）に応じて、フレーム画像を符号化するようにしてもよいし、マクロブロックごとに予測符号化のタイプ（イントラマクロブロック、または、インターマクロブロック）を指定して符号化処理を行うようにしてもよい。ここでは、ビデオエンコーダ６１は、全てＰピクチャを用いたローディレイコーディング方式によって、画像データを符号化するものとして説明する。
【００６８】
ビデオエンコーダ６１に外部から供給された画像データは前処理部７１に入力される。前処理部７１は、順次入力される画像データの各フレーム画像（この場合全てＰピクチャ）を、１６画素×１６ラインの輝度信号、および輝度信号に対応する色差信号によって構成されるマクロブロックに分割し、これをマクロブロックデータとして、演算部７２、動きベクトル検出部７３、および、量子化制御部８３のイントラＡＣ算出部９１に供給する。
【００６９】
動きベクトル検出部７３は、マクロブロックデータの入力を受け、各マクロブロックの動きベクトルを、マクロブロックデータ、および、フレームメモリ８４に記憶されている参照画像データを基に算出し、動きベクトルデータとして、動き補償部８１に送出する。
【００７０】
演算部７２は、前処理部７１から供給されたマクロブロックデータについて、各マクロブロックの画像タイプに基づいて、イントラスライスＩ０乃至Ｉ１１に対してはイントラモードで、インタースライスＰ０乃至Ｐ１１に対しては順方向予測モードで、動き補償を行う。
【００７１】
イントラモードとは、符号化対象となるフレーム画像をそのまま伝送データとする方法であり、順方向予測モードとは、符号化対象となるフレーム画像と過去参照画像との予測残差を伝送データとする方法である。以下においては、ビデオエンコーダ６１は、Ｐピクチャのみを使用して、１フレームを、イントラスライスＩ０乃至Ｉ１１とインタースライスＰ０乃至Ｐ１１に分けて符号化するようになされているものとして説明するが、ビデオエンコーダ６１は、例えば、１５フレームを、Ｉピクチャ、Ｐピクチャ、もしくは、Ｂピクチャの３つの画像タイプのうちのいずれの画像タイプとして処理するかを指定し、指定されたフレーム画像の画像タイプに応じて、フレーム画像を符号化するようにしてもよいし、マクロブロックごとに予測符号化のタイプを指定して符号化処理を行うようにしてもよい。
【００７２】
まず、マクロブロックデータが、イントラスライスＩ０乃至Ｉ１１のうちの１つであった場合、マクロブロックデータはイントラモードで処理される。すなわち、演算部７２は、入力されたマクロブロックデータのマクロブロックを、そのまま演算データとしてＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ　：離散コサイン変換）部７４に送出する。ＤＣＴ部７４は、入力された演算データに対しＤＣＴ変換処理を行うことによりＤＣＴ係数化し、これをＤＣＴ係数データとして、量子化部７５に送出する。
【００７３】
量子化部７５は、発生符号量制御部９２から供給される量子化インデックスデータＱ（ｊ＋１）に基づいて、入力されたＤＣＴ係数データに対して量子化処理を行い、量子化ＤＣＴ係数データとして、ＶＬＣ（Ｖａｒｉａｂｌｅ　Ｌｅｎｇｔｈ　Ｃｏｄｅ；可変長符号化）部７７および逆量子化部７８に送出する。量子化部７５は、発生符号量制御部９２から供給される量子化インデックスデータＱ（ｊ＋１）に応じて、量子化処理における量子化ステップサイズを調整することにより、発生する符号量を制御することができるようになされている。
【００７４】
逆量子化部７８に送出された量子化ＤＣＴ係数データは、量子化部７５と同じ量子化ステップサイズによる逆量子化処理を受け、ＤＣＴ係数データとして、逆ＤＣＴ部７９に送出される。逆ＤＣＴ部７９は、供給されたＤＣＴ係数データに逆ＤＣＴ処理を施し、生成された演算データは、演算部８０に送出され、参照画像データとしてフレームメモリ８４に記憶される。
【００７５】
そして、マクロブロックデータがインタースライスＰ０乃至Ｐ１１のうちの１つであった場合、演算部７２はマクロブロックデータについて、順方向予測モードによる動き補償処理を行う。
【００７６】
動き補償部８１は、フレームメモリ８４に記憶されている参照画像データを、動きベクトルデータに応じて動き補償し、順方向予測画像データを算出する。演算部７２は、マクロブロックデータについて、動き補償部８１より供給される順方向予測画像データを用いて減算処理を実行する。
【００７７】
すなわち、動き補償部８１は、順方向予測モードにおいて、フレームメモリ８４の読み出しアドレスを、動きベクトルデータに応じてずらすことによって、参照画像データを読み出し、これを順方向予測画像データとして演算部７２および演算部８０に供給する。演算部７２は、供給されたマクロブロックデータから、順方向予測画像データを減算して、予測残差としての差分データを得る。そして、演算部７２は、差分データをＤＣＴ部７４に送出する。
【００７８】
また、演算部８０には、動き補償部８１より順方向予測画像データが供給されており、演算部８０は、逆ＤＣＴ部から供給された演算データに、順方向予測画像データを加算することにより、参照画像データを局部再生し、フレームメモリ８４に出力して記憶させる。
【００７９】
かくして、ビデオエンコーダ６１に入力された画像データは、動き補償予測処理、ＤＣＴ処理および量子化処理を受け、量子化ＤＣＴ係数データとして、ＶＬＣ部７７に供給される。ＶＬＣ部７７は、量子化ＤＣＴ係数データに対し、所定の変換テーブルに基づく可変長符号化処理を行い、その結果得られる可変長符号化データをバッファ８２に送出するとともに、マクロブロックごとの符号化発生ビット数を表す発生符号量データＢ（ｊ）を、量子化制御部８３の発生符号量制御部９２、およびＧＣ（Ｇｌｏｂａｌ　Ｃｏｍｐｌｅｘｉｔｙ）算出部９３にそれぞれ送出する。
【００８０】
ＧＣ算出部９３は、発生符号量データＢ（ｊ）を、マクロブロックごとに順次蓄積し、１ピクチャ分の発生符号量データＢ（ｊ）が全て蓄積された時点で、全マクロブロック分の発生符号量データＢ（ｊ）を累積加算することにより、１ピクチャ分の発生符号量を算出する。
【００８１】
そしてＧＣ算出部９３は、次の式（６）を用いて、１ピクチャのうちの、イントラスライス部分の発生符号量と、イントラスライス部分における量子化ステップサイズの平均値との積を算出することにより、イントラスライス部分の画像の難しさ（以下、これをＧＣと称する）を表すＧＣデータＸｉを求め、これを目標符号量算出部９４に供給する。
【００８２】
Ｘｉ＝（Ｔｉ／Ｎｉ）×Ｑｉ・・・（６）
ここで、Ｔｉは、イントラスライスの発生符号量、Ｎｉは、イントラスライス数、そして、Ｑｉは、イントラスライスの量子化ステップサイズの平均値である。
【００８３】
ＧＣ算出部９３は、これと同時に、次に示す式（７）を用いて、１ピクチャのうちの、インタースライス部分の発生符号量と、このインタースライス部分における量子化ステップサイズの平均値との積を算出することにより、インタースライス部分におけるＧＣデータＸｐを求め、これを目標符号量算出部９４に供給する。
【００８４】
Ｘｐ＝（Ｔｐ／Ｎｐ）×Ｑｐ・・・（７）
ここで、Ｔｐは、インタースライスの発生符号量、Ｎｐは、インタースライス数、Ｑｐは、インタースライスの量子化ステップサイズの平均値である。
【００８５】
目標符号量算出部９４は、ＧＣ算出部９３から供給されるＧＣデータＸｉを基に、次の式（８）を用いて、次のピクチャにおけるイントラスライス部分の目標発生符号量データＴｐｉを算出するとともに、ＧＣ算出部９３から供給されるＧＣデータＸｐを基に、次の式（９）を基に、次のピクチャにおけるインタースライス部分の目標発生符号量データＴｐｐを算出し、算出した目標発生符号量データＴｐｉおよびＴｐｐを発生符号量制御部９２にそれぞれ送出する。
【００８６】

【００８７】

【００８８】
ＭＥ残差算出部９５は、入力されるマクロブロックデータを基に、ＭＥ残差情報ＭＥ＿ｉｎｆｏを算出して、発生符号量制御部９２に出力する。ここで、ＭＥ残差情報ＭＥ＿ｉｎｆｏとは、ピクチャ単位で算出されるものであり、１つ前のピクチャと次のピクチャにおける輝度の差分値の合計値である。従って、ＭＥ残差情報ＭＥ＿ｉｎｆｏが大きな値を示すときには、１つ前のピクチャの絵柄と、次に符号化処理するピクチャの絵柄とが大きく異なっている（いわゆるシーンチェンジである）ことを表している。
【００８９】
すなわち、１つ前のピクチャの絵柄と次に符号化処理するピクチャの絵柄が異なっているということは、１つ前のピクチャの画像データを用いて算出した目標発生符号量データＴｐｉおよびＴｐｐを基に生成した量子化インデックスデータＱ（ｊ＋１）によって、量子化部７５の量子化ステップサイズを決定することは適切ではない。従って、シーンチェンジが起こった場合、目標発生符号量データＴｐｉおよびＴｐｐは、新たに算出されなおされるようにしても良い。
【００９０】
イントラＡＣ算出部９１は、イントラＡＣ（ｉｎｔｒａ　ＡＣ）を算出し、現在のイントラＡＣの値を示すｍａｄ＿ｉｎｆｏと、１つ前のイントラＡＣの値を示すｐｒｅｖ＿ｍａｄ＿ｉｎｆｏとを、発生符号量制御部９２に出力する。
【００９１】
イントラＡＣは、ＭＰＥＧ方式におけるＤＣＴ処理単位のＤＣＴブロックごとの映像データとの分散値の総和として定義されるパラメータであって、映像の複雑さを指標し、映像の絵柄の難しさおよび圧縮後のデータ量と相関性を有する。すなわち、イントラＡＣとは、ＤＣＴブロック単位で、それぞれの画素の画素値から、ブロックごとの画素値の平均値を引いたものの絶対値和の、画面内における総和である。イントラＡＣ（ＩｎｔｒａＡＣ）は、次の式（１０）で示される。
【００９２】
【数１】

【００９３】
また、式（１０）において、式（１１）が成り立つ。
【００９４】
【数２】

【００９５】
画像の符号化難易度が易しいものから難しいものへのシーンチェンジ、および、難しいものから易しいものへのシーンチェンジの、双方に対して仮想バッファ調整を行ってしまった場合、難しいものから易しいものへのシーンチェンジでは、エンコードに余裕があるはずの易画像においてわざわざ画質を悪くしてしまう結果となる場合がある。また、難しいものから易しいものへのシーンチェンジであっても、その変化の大きさ、もしくは、シーンチェンジ後の画像の難易度によっては、仮想バッファの調整を行うほうがよい場合がある。しかしながら、ＭＥ残差情報のみでは、シーンチェンジの有無を判断することはできるが、シーンチェンジの内容が、易しいものから難しいものへのシーンチェンジであるか、もしくは、難しいものから易しいものへのシーンチェンジであるかを判断することができない。
【００９６】
そこで、イントラＡＣ算出部９１が、イントラＡＣを算出し、現在のイントラＡＣの値を示すｍａｄ＿ｉｎｆｏと、１つ前のイントラＡＣの値を示すｐｒｅｖ＿ｍａｄ＿ｉｎｆｏとを、発生符号量制御部９２に出力することにより、発生符号量制御部９２は、シーンチェンジの状態を判定して、仮想バッファ調整を行うか否かを判断することができる。
【００９７】
発生符号量制御部９２は、バッファ８２に格納される可変長符号化データの蓄積状態を常時監視しており、蓄積状態を表す占有量情報を基に量子化ステップサイズを決定するようになされている。
【００９８】
また、発生符号量制御部９２は、イントラスライス部分の目標発生符号量データＴｐｉよりも実際に発生したマクロブロックの発生符号量データＢ（ｊ）が多い場合、発生符号量を減らすために量子化ステップサイズを大きくし、また目標発生符号量データＴｐｉよりも実際の発生符号量データＢ（ｊ）が少ない場合、発生符号量を増やすために量子化ステップサイズを小さくするようになされている。
【００９９】
更に、発生符号量制御部９２は、インタースライス部分の場合も同様に、目標発生符号量データＴｐｐよりも実際に発生したマクロブロックの発生符号量データＢ（ｊ）が多い場合、発生符号量を減らすために量子化ステップサイズを大きくし、また目標発生符号量データＴｐｐよりも実際の発生符号量データＢ（ｊ）が少ない場合、発生符号量を増やすために量子化ステップサイズを小さくするようになされている。
【０１００】
すなわち、発生符号量制御部９２は、デコーダ側に設けられたＶＢＶバッファに格納された可変長符号化データの蓄積状態の推移を想定することにより、図８に示されるように、ｊ番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ）を次の式（１２）によって表し、また、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋１）を次の式（１３）によって表し、（１２）式から（１３）式を減算することにより、ｊ＋１番目のマクロブロックにおける仮想バッファのバッファ占有量ｄ（ｊ＋１）を次の式（１４）として変形することができる。
【０１０１】
ｄ（ｊ）＝ｄ（０）＋Ｂ（ｊ−１）−｛Ｔ×（ｊ−１）／ＭＢｃｎｔ｝
・・・（１２）
【０１０２】
ここで、ｄ（０）は初期バッファ容量、Ｂ（ｊ）は、ｊ番目のマクロブロックにおける符号化発生ビット数、ＭＢｃｎｔは、ピクチャ内のマクロブロック数、そして、Ｔは、ピクチャ単位の目標発生符号量である。
【０１０３】

【０１０４】

【０１０５】
続いて、発生符号量制御部９２は、ピクチャ内のマクロブロックがイントラスライス部分とインタースライス部分とに分かれているため、図９に示されるように、イントラスライス部分のマクロブロックとインタースライス部分の各マクロブロックに割り当てる目標発生符号量ＴｐｉおよびＴｐｐをそれぞれ個別に設定する。
【０１０６】
グラフにおいて、マクロブロックのカウント数が０乃至ｓ、および、ｔ乃至ｅｎｄの間にあるとき、次の式（１５）に、インタースライスの目標発生符号量Ｔｐｐを代入することにより、インタースライス部分におけるバッファ占有量ｄ（ｊ＋１）を得ることができる。
【０１０７】
ｄ（ｊ＋１）

【０１０８】
また、マクロブロックのカウント数がｓ乃至ｔの間にあるときに、次の式（１６）に、イントラスライスの目標発生符号量Ｔｐｉを代入することにより、イントラスライス部分におけるバッファ占有量ｄ（ｊ＋１）を得ることができる。
【０１０９】

【０１１０】
従って、発生符号量制御部９２は、イントラスライス部分およびインタースライス部分におけるバッファ占有量ｄ（ｊ＋１）、および、式（１７）に示される定数ｒを、式（１８）に代入することにより、マクロブロック（ｊ＋１）の量子化インデックスデータＱ（ｊ＋１）を算出し、これを量子化部７５に供給する。
【０１１１】

ここで、ｂｒは、ビットレートであり、ｐｒは、ピクチャレートである。
【０１１２】
量子化部７５は、量子化インデックスデータＱ（ｊ＋１）に基づいて、次のマクロブロックにおけるイントラスライスまたはインタースライスに応じた量子化ステップサイズを決定し、量子化ステップサイズによってＤＣＴ係数データを量子化する。
【０１１３】
これにより、量子化部７５は、１つ前のピクチャのイントラスライス部分およびインタースライス部分における実際の発生符号量データＢ（ｊ）に基づいて算出された、次のピクチャのイントラスライス部分およびインタースライス部分における目標発生符号量ＴｐｐおよびＴｐｉにとって最適な量子化ステップサイズによって、ＤＣＴ係数データを量子化することができる。
【０１１４】
かくして、量子化部７５では、バッファ８２のデータ占有量に応じて、バッファ８２がオーバーフローまたはアンダーフローしないように量子化し得るとともに、デコーダ側のＶＢＶバッファがオーバーフロー、またはアンダーフローしないように量子化した量子化ＤＣＴ係数データを生成することができる。
【０１１５】
例えば、図６を用いて説明した従来の技術を用いた場合においては、通常のフィードバック型の量子化制御を行いながら、次に符号化処理するピクチャの絵柄が大きく変化する場合には、フィードバック型の量子化制御を止め、ＭＥ残差算出部９５から供給されるＭＥ残差情報に基づいて、仮想バッファの初期バッファ容量ｄ（０）を初期化し、新たな初期バッファ容量ｄ（０）を基に、イントラスライスおよびインタースライスごとに量子化インデックスデータＱ（ｊ＋１）を新たに算出するようになされている。
【０１１６】
しかしながら、図６を用いて説明した場合のように、ＭＥ残差のみで仮想バッファ調整を行うか否かを判断してしまうと、画像難易度が易しいものから難しいものに変わった場合、および難しいものから簡単なものに変わった場合の双方に対して、仮想バッファ調整を行ってしまう。すなわち、画像難易度が難しいものから簡単なものに変わった場合では、エンコードに余裕があるはずの簡単な画像において、わざわざ画質を悪くしてしまう結果となる。
【０１１７】
そこで、図７のビデオエンコーダ６１においては、例えば、イントラＡＣ算出部９１によって算出されるイントラＡＣなどの情報を用いて、画像難易度が易しいものから難しいものに変わるシーンチェンジの時にのみ、仮想バッファ調整を行うようにすることにより、簡単な画像での画質の劣化を防ぐようにすることができる。
【０１１８】
すなわち、発生符号量制御部９２は、通常のフィードバック型の量子化制御を行いながら、次に符号化処理するピクチャの絵柄が大きく変化する場合には、フィードバック型の量子化制御を止め、ＭＥ残差算出部９５から供給されるＭＥ残差情報ＭＥ＿ｉｎｆｏ、並びに、イントラＡＣ算出部９１から供給される、ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏおよびｍａｄ＿ｉｎｆｏを基に、仮想バッファの初期バッファ容量ｄ（０）を初期化するか否かを判断し、仮想バッファの初期バッファ容量ｄ（０）を初期化する場合は、ＭＥ残差算出部９５から供給されるＭＥ残差情報ＭＥ＿ｉｎｆｏに基づいて、仮想バッファの初期バッファ容量ｄ（０）を初期化する。仮想バッファの初期バッファ容量ｄ（０）を初期化については、式（２）乃至式（５）を用いて説明した従来における場合と同様である。
【０１１９】
そして、発生符号量制御部９１は、新たな初期バッファ容量ｄ（０）を基に、イントラスライスおよびインタースライスごとに、式（１２）乃至式（１８）を用いて、量子化インデックスデータＱ（ｊ＋１）を新たに算出し、量子化部７５に供給する。
【０１２０】
図１０のフローチャートを参照して、イントラＡＣなどの画像難易度情報を用いて、シーンチェンジは、簡単な画像から難しい画像への変化であるか否かの判断を導入して仮想バッファの調整を行う、仮想バッファ更新処理１について説明する。
【０１２１】
ステップＳ２１において、発生符号量制御部９２は、ＭＥ残差算出部９５から、ＭＥ残差情報ＭＥ＿ｉｎｆｏを取得する。
【０１２２】
ステップＳ２２において、発生符号量制御部９２は、取得されたＭＥ残差情報から、ＭＥ残差情報の平均値ａｖｇを減算し、ＭＥ＿ｉｎｆｏ−ａｖｇ　＞　Ｄであるか否か、すなわち、算出された値が、所定の閾値Ｄよりも大きいか否かが判断される。ＭＥ残差情報の平均値ａｖｇは、後述するステップＳ２５において更新される値であり、上述した式（１）で示される。なお、所定の閾値Ｄは、画質を検討しながらチューニングされる性質の値である。
【０１２３】
ステップＳ２２において、算出された値は、所定の閾値Ｄより小さいと判断された場合、現在のピクチャにおける絵柄と、１つ前のピクチャにおける絵柄との差があまりない、すなわちシーンチェンジがなかったと判断されるので、処理はステップＳ２５に進む。
【０１２４】
ステップＳ２２において、算出された値は、所定の閾値Ｄより大きいと判断された場合、現在のピクチャにおける絵柄と、１つ前のピクチャにおける絵柄との差が大きい、すなわち、シーンチェンジがあったと判断されるので、ステップＳ２３において、発生符号量制御部９２は、イントラＡＣ算出部９１から供給される、このシーンチェンジの後のイントラＡＣの値であるｍａｄ＿ｉｎｆｏと、このシーンチェンジの前のイントラＡＣの値であるｐｒｅｖ＿ｍａｄ＿ｉｎｆｏとを比較し、ｍａｄ＿ｉｎｆｏ　＞　ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏであるか否かを判断する。
【０１２５】
ステップＳ２３において、ｍａｄ＿ｉｎｆｏ　＞　ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏではないと判断された場合、このシーンチェンジは、難しい画像から、簡単な画像へのシーンチェンジであるので、処理は、ステップＳ２５に進む。
【０１２６】
ステップＳ２３において、ｍａｄ＿ｉｎｆｏ　＞　ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏであると判断された場合、このシーンチェンジは、簡単な画像から、難しい画像へのシーンチェンジであるので、ステップＳ２４において、発生符号量制御部９２は、従来における場合と同様の処理により、仮想バッファの初期バッファ容量ｄ（０）の更新を行う。
【０１２７】
すなわち、発生符号量制御部９２は、上述した式（２）、式（３）、式（４）および式（５）に基づいて、仮想バッファの初期バッファ容量ｄ（０）を算出し、仮想バッファを更新する。
【０１２８】
ステップＳ２２において、算出された値は、所定の閾値Ｄより小さいと判断された場合、ステップＳ２３において、ｍａｄ＿ｉｎｆｏ　＞　ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏではないと判断された場合、もしくは、ステップＳ２４の処理の終了後、ステップＳ２５において、発生符号量制御部９２は、次に供給されるピクチャに備えて、ＭＥ残差情報の平均値ａｖｇを、上述した式（１）により更新し、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。
【０１２９】
図１０のフローチャートを用いて説明した処理により、イントラＡＣを用いて、画像難易度が易しいものから難しいものに変更されるシーンチェンジの時にのみ仮想バッファ調整が行われるようにしたので、エンコードに余裕があるはずの簡単な画像において、更に画質を悪くしてしまうことを防ぐことができる。
【０１３０】
しかしながら、図１０を用いて説明した処理のように、難しい画像から易しい画像へシーンが変わる場合全てについて、仮想バッファ調整が行われないようにしてしまうと、その変化がある一定レベル以上であり、かつ、変化後の画像（変化前の画像よりも簡単な画像と判断されている画像）の難易度も一定レベル以上の場合、すなわち、非常に難易度の高い画像から、その画像よりは難易度が低いが、ある一定レベル以上に難易度の高い画像へのシーンチェンジが発生した場合、シーンチェンジによる画質劣化の弊害が生じてしまう。
【０１３１】
これは、簡単な画像と判断される画像が、一定レベル以上の難易度であると、直前の難画像における仮想バッファの振る舞い次第によっては、簡単な画像から難易度の高い画像へシーンチェンジする場合と同様の問題を生じる可能性があるからである。
【０１３２】
そこで、難しい画像から易しい画像へシーンが変わる場合の変化量が、ある一定レベル以上である場合には、変化後の画像難易度が一定レベル以上であるか否かを判断し、変化後の画像難易度が一定レベル以上である場合には仮想バッファの調整を行うようにすることができる。
【０１３３】
図１１を用いて、難しい画像から易しい画像へシーンが変わる場合の変化がある一定レベル以上であり、かつ、変化後の画像難易度が一定レベル以上である場合にも仮想バッファの調整を行うようにした、仮想バッファ更新処理２について説明する。
【０１３４】
ステップＳ４１乃至ステップＳ４３において、図１０のステップＳ２１乃至ステップＳ２３と同様の処理が実行される。
【０１３５】
すなわち、ステップＳ４１において、ＭＥ残差算出部９５から、ＭＥ残差情報ＭＥ＿ｉｎｆｏ　が取得され、ステップＳ４２において、取得されたＭＥ残差情報から、ＭＥ残差情報の平均値ａｖｇが減算されて、ＭＥ＿ｉｎｆｏ−ａｖｇ　＞　Ｄであるか否かが判断される。ＭＥ＿ｉｎｆｏ−ａｖｇ　＞　Ｄではないと判断された場合、現在のピクチャにおける絵柄と、１つ前のピクチャにおける絵柄との差があまりない、すなわちシーンチェンジがなかったと判断されるので、処理はステップＳ４７に進む。
【０１３６】
ＭＥ＿ｉｎｆｏ−ａｖｇ　＞　Ｄであると判断された場合、現在のピクチャにおける絵柄と、１つ前のピクチャにおける絵柄との差が大きい、すなわち、シーンチェンジがあったと判断されるので、ステップＳ４３において、イントラＡＣ算出部９１から供給される、このシーンチェンジの後のイントラＡＣの値であるｍａｄ＿ｉｎｆｏと、このシーンチェンジの前のイントラＡＣの値であるｐｒｅｖ＿ｍａｄ＿ｉｎｆｏとが比較されて、ｍａｄ＿ｉｎｆｏ　＞　ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏであるか否かが判断される。
【０１３７】
ステップＳ４３において、ｍａｄ＿ｉｎｆｏ　＞　ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏではないと判断された場合、このシーンチェンジは、難しい画像から、簡単な画像へのシーンチェンジであるので、ステップＳ４４において、発生符号量制御部９２は、このシーンチェンジの前のイントラＡＣの値であるｐｒｅｖ＿ｍａｄ＿ｉｎｆｏからこのシーンチェンジの後のイントラＡＣの値であるｍａｄ＿ｉｎｆｏを減算した値、すなわち、符号化難易度の変化量を算出し、この値と、所定の閾値Ｄ１とを比較し、ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏ　−　ｍａｄ＿ｉｎｆｏ　＞　Ｄ１であるか否かを判断する。
【０１３８】
ここで、所定の閾値Ｄ１とは、シーンチェンジの前後において、符号化難易度の変化量が大きいか小さいかを判断するための数値であり、求める画像の品質により、設定変更可能な数値である。
【０１３９】
ステップＳ４４において、ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏ　−　ｍａｄ＿ｉｎｆｏ　＞　Ｄ１ではないと判断された場合、シーンチェンジの前後において、符号化難易度の変化量が小さいのであるから、処理は、ステップＳ４７に進む。
【０１４０】
ステップＳ４４において、ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏ　−　ｍａｄ＿ｉｎｆｏ　＞　Ｄ１であると判断された場合、シーンチェンジの前後において、符号化難易度の変化量が大きいので、ステップＳ４５において、発生符号量制御部９２は、このシーンチェンジの後のイントラＡＣの値であるｍａｄ＿ｉｎｆｏと、所定の閾値Ｄ２を比較し、ｍａｄ＿ｉｎｆｏ　＞　Ｄ２であるか否かを判断する。
【０１４１】
ここで、所定の閾値Ｄ２とは、シーンチェンジの後の画像が、所定のレベル以上の符号化難易度を有するか否かを判断するための数値であり、求める画像の品質により、設定変更可能な数値である。
【０１４２】
ステップＳ４５において、ｍａｄ＿ｉｎｆｏ　＞　Ｄ２ではないと判断された場合、シーンチェンジの後の画像は、所定のレベルより簡単な画像であるので、処理は、ステップＳ４７に進む。一方、ステップＳ４５において、ｍａｄ＿ｉｎｆｏ　＞　Ｄ２であると判断された場合、シーンチェンジの後の画像は、所定のレベル以上の符号化難易度を有するものであるので、処理は、ステップＳ４６に進む。
【０１４３】
ステップＳ４３において、ｍａｄ＿ｉｎｆｏ　＞　ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏであると判断された場合、もしくは、ステップＳ４５において、ｍａｄ＿ｉｎｆｏ　＞　Ｄ２であると判断された場合、ステップＳ４６において、発生符号量制御部９２は、図１０のステップＳ２４と同様に、従来における場合と同様の処理により、仮想バッファの初期バッファ容量ｄ（０）の更新を行う。
【０１４４】
すなわち、発生符号量制御部９２は、上述した式（２）、式（３）、式（４）および式（５）に基づいて、仮想バッファの初期バッファ容量ｄ（０）を算出し、仮想バッファを更新する。
【０１４５】
ステップＳ４２において、算出された値は、所定の閾値Ｄより小さいと判断された場合、ステップＳ４４において、ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏ　−　ｍａｄ＿ｉｎｆｏ　＞　Ｄ１ではないと判断された場合、ステップＳ４５において、ｍａｄ＿ｉｎｆｏ　＞　Ｄ２ではないと判断された場合、もしくは、ステップＳ４６の処理の終了後、ステップＳ４７において、発生符号量制御部９２は、次に供給されるピクチャに備えて、ＭＥ残差情報の平均値ａｖｇを、上述した式（１）により更新し、処理は、ステップＳ４１に戻り、それ以降の処理が繰り返される。
【０１４６】
図１１を用いて説明した処理により、ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏとｍａｄ＿ｉｎｆｏを用いて、難易度の変化（難しい画像からやさしい画像への変化）がある一定レベル以上であり、かつ、変化後の難易度も一定レベル以上であるか否かが判断され、難しい画像から易しい画像への変化がある一定レベル以上であり、かつ、変化後の難易度も一定レベル以上であると判断された場合は、仮想バッファの調整が行われるようにしたので、シーンチェンジによる画質劣化の弊害の発生を防ぐようにすることができる。
【０１４７】
ところで、上述した実施の形態においては、ＭＥ残差算出部９５により算出されたＭＥ残差を基に、シーンチェンジを検出するものとして説明したが、例えば、外部の装置により、供給されるフレーム画像のシーンチェンジの個所が検出される場合、ビデオエンコーダは、外部の装置から供給される信号を取得し、それを基に、シーンチェンジが発生するピクチャの位置を知ることができるようにしても良い。更に、供給されるフレーム画像データに、シーンチェンジを示す情報が含まれるようにし、ビデオエンコーダが、フレーム画像データに含まれるシーンチェンジを示す情報を抽出することにより、シーンチェンジが発生するピクチャの位置を知ることができるようにしても良い。
【０１４８】
図１２は、外部の装置から、シーンチェンジが発生するピクチャの位置を示すシーンチェンジ情報を取得し、それを基に、仮想バッファの更新処理を実行するビデオエンコーダ１０１の構成を示すブロック図である。なお、図７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１４９】
すなわち、図１２のビデオエンコーダ１０１は、量子化制御部８３に代わって、量子化制御部１１１が設けられている以外は、図７のビデオエンコーダ６１と基本的に同様の構成を有し、量子化制御部１１１は、ＭＥ残差算出部９５に代わって、シーンチェンジ情報取得部１２１が設けられ、発生符号量制御部９２に代わって、発生符号量制御部１２２が設けられている以外は、図７の量子化制御部８３と基本的に同様の構成を有している。
【０１５０】
ここで、シーンチェンジを検出する図示しない外部の装置と、ビデオエンコーダ１０１とは、同期が取れている（双方での処理フレーム数が同期している）ものとする。
【０１５１】
シーンチェンジ情報取得部１２１は、図示しない外部の装置により供給される、シーンチェンジ情報を取得し、発生符号量制御部１２２に供給する。発生符号量制御部１２２は、供給されたシーンチェンジ情報を基に、仮想バッファを更新するか否かを判断する。
【０１５２】
次に、図１３のフローチャートを参照して、外部の装置により供給されるシーンチェンジ情報、および、イントラＡＣなどの画像難易度情報を用いて、シーンチェンジは、簡単な画像から難しい画像への変化であるか否かの判断を導入して仮想バッファの調整を行う、仮想バッファ更新処理３について説明する。
【０１５３】
ステップＳ６１において、シーンチェンジ情報取得部１２１は、外部の装置より、シーンチェンジ情報を取得し、発生符号量制御部１２２に供給する。発生符号量制御部１２２は、シーンチェンジ情報取得部１２１から、シーンチェンジ情報を取得する。
【０１５４】
ステップＳ６２において、発生符号量制御部１２２は、シーンチェンジ情報取得部１２１から供給されたシーンチェンジ情報を基に、このフレームにおいてシーンチェンジが発生したか否かを判断する。
【０１５５】
ステップＳ６２において、シーンチェンジが発生しなかったと判断された場合、処理はステップＳ６１に戻り、それ以降の処理が繰り返される。
【０１５６】
ステップＳ６２において、シーンチェンジが発生したと判断された場合、ステップＳ６３において、発生符号量制御部１２２は、イントラＡＣ算出部９１から供給される、このシーンチェンジの後のイントラＡＣの値であるｍａｄ＿ｉｎｆｏと、このシーンチェンジの前のイントラＡＣの値であるｐｒｅｖ＿ｍａｄ＿ｉｎｆｏとを比較し、ｍａｄ＿ｉｎｆｏ　＞　ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏであるか否かを判断する。
【０１５７】
ステップＳ６３において、ｍａｄ＿ｉｎｆｏ　＞　ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏではないと判断された場合、このシーンチェンジは、難しい画像から、簡単な画像へのシーンチェンジであるので、処理はステップＳ６１に戻り、それ以降の処理が繰り返される。
【０１５８】
ステップＳ６３において、ｍａｄ＿ｉｎｆｏ　＞　ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏであると判断された場合、このシーンチェンジは、簡単な画像から、難しい画像へのシーンチェンジであるので、ステップＳ６４において、発生符号量制御部１２２は、従来における場合と同様の処理により、仮想バッファの初期バッファ容量ｄ（０）の更新を行う。
【０１５９】
すなわち、発生符号量制御部１２２は、上述した式（２）、式（３）、式（４）および式（５）に基づいて、仮想バッファの初期バッファ容量ｄ（０）を算出し、仮想バッファを更新する。
【０１６０】
ステップＳ６４の処理の終了後、処理は、ステップＳ６１に戻り、それ以降の処理が繰り返される。
【０１６１】
図１３のフローチャートを用いて説明した処理により、外部の装置から供給されるシーンチェンジが発生するピクチャの位置を示すシーンチェンジ情報、および、イントラＡＣを用いて、画像難易度が易しいものから難しいものに変更されるシーンチェンジの時にのみ仮想バッファ調整が行われるようにしたので、エンコードに余裕があるはずの簡単な画像において、更に画質を悪くしてしまうことを防ぐことができる。
【０１６２】
しかしながら、図１３を用いて説明した処理のように、難しい画像から易しい画像へシーンが変わる場合全てについて、仮想バッファ調整を行わないようにしてしまうと、上述したように、非常に難易度の高い画像から、それよりは難易度が低いが、所定のレベル以上には難易度の高い画像へのシーンチェンジが発生した場合、直前の難画像における仮想バッファの振る舞い次第によっては、簡単な画像から難易度の高い画像へシーンチェンジする場合と同様の問題を生じる可能性があるため、シーンチェンジによる画質劣化の弊害が生じてしまう。
【０１６３】
次に、図１４を用いて、外部の装置により供給される、シーンチェンジが発生するピクチャの位置を示す信号を基に、難しい画像から易しい画像へシーンが変わる場合の変化がある一定レベル以上であり、かつ、変化後の画像難易度が一定レベル以上である場合に仮想バッファの調整を行うようにした、仮想バッファ更新処理４について説明する。
【０１６４】
ステップＳ７１およびステップＳ７２において、図１３のステップＳ６１およびステップＳ６２と同様の処理が実行される。
【０１６５】
すなわち、シーンチェンジ情報取得部１２１に、外部の装置から、シーンチェンジ情報が供給されて、発生符号量制御部１２２に供給され、このフレームにおいてシーンチェンジが発生したか否かが判断される。シーンチェンジが発生しなかったと判断された場合、処理はステップＳ７１に戻り、それ以降の処理が繰り返される。
【０１６６】
シーンチェンジが発生したと判断された場合、ステップＳ７３乃至ステップＳ７６において、図１１を用いて説明した、ステップＳ４３乃至ステップＳ４６と同様の処理が実行される。
【０１６７】
すなわち、イントラＡＣ算出部９１から供給される、このシーンチェンジの後のイントラＡＣの値であるｍａｄ＿ｉｎｆｏと、このシーンチェンジの前のイントラＡＣの値であるｐｒｅｖ＿ｍａｄ＿ｉｎｆｏとが比較されて、ｍａｄ＿ｉｎｆｏ　＞　ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏであるか否かが判断され、ｍａｄ＿ｉｎｆｏ　＞　ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏではないと判断された場合、このシーンチェンジは、難しい画像から、簡単な画像へのシーンチェンジであるので、このシーンチェンジの前のイントラＡＣの値であるｐｒｅｖ＿ｍａｄ＿ｉｎｆｏからこのシーンチェンジの後のイントラＡＣの値であるｍａｄ＿ｉｎｆｏを減算した値、すなわち、符号化難易度の変化量が算出され、この値と、所定の閾値Ｄ１とが比較されて、ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏ　−　ｍａｄ＿ｉｎｆｏ　＞　Ｄ１であるか否かが判断される。
【０１６８】
ここで、所定の閾値Ｄ１とは、シーンチェンジの前後において、符号化難易度の変化量が大きいか小さいかを判断するための数値であり、求める画像の品質により、設定変更可能な数値である。
【０１６９】
ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏ　−　ｍａｄ＿ｉｎｆｏ　＞　Ｄ１ではないと判断された場合、シーンチェンジの前後において、符号化難易度の変化量が小さいので、処理は、ステップＳ７１に戻り、それ以降の処理が繰り返される。
【０１７０】
ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏ　−　ｍａｄ＿ｉｎｆｏ　＞　Ｄ１であると判断された場合、シーンチェンジの前後において、符号化難易度の変化量が大きいので、このシーンチェンジの後のイントラＡＣの値であるｍａｄ＿ｉｎｆｏと、所定の閾値Ｄ２が比較され、ｍａｄ＿ｉｎｆｏ　＞
Ｄ２であるか否かが判断される。
【０１７１】
ここで、所定の閾値Ｄ２とは、シーンチェンジの後の画像が、所定のレベル以上の符号化難易度を有するか否かを判断するための数値であり、求める画像の品質により、設定変更可能な数値である。
【０１７２】
ｍａｄ＿ｉｎｆｏ　＞　Ｄ２ではないと判断された場合、シーンチェンジの後の画像は、所定のレベルより簡単な画像であるので、処理は、ステップＳ７１に戻り、それ以降の処理が繰り返される。一方、ｍａｄ＿ｉｎｆｏ　＞　Ｄ２であると判断された場合、シーンチェンジの後の画像は、所定のレベル以上の符号化難易度を有するものであるので、処理は、ステップＳ７６に進む。
【０１７３】
ｍａｄ＿ｉｎｆｏ　＞　ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏであると判断された場合、もしくは、ｍａｄ＿ｉｎｆｏ　＞　Ｄ２であると判断された場合、ステップＳ７６において、従来における場合と同様の処理により、仮想バッファの初期バッファ容量ｄ（０）の更新が行われる。
【０１７４】
すなわち、発生符号量制御部１２２は、上述した式（２）、式（３）、式（４）および式（５）に基づいて、仮想バッファの初期バッファ容量ｄ（０）を算出し、仮想バッファを更新する。
【０１７５】
ステップＳ７６の処理の終了後、処理は、ステップＳ７１に戻り、それ以降の処理が繰り返される。
【０１７６】
図１４を用いて説明した処理により、ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏとｍａｄ＿ｉｎｆｏを用いて、難易度の変化（難しい画像からやさしい画像への変化）がある一定レベル以上であり、かつ、変化後の難易度も一定レベル以上であるか否かが判断され、難しい画像から易しい画像への変化がある一定レベル以上であり、かつ、変化後の難易度も一定レベル以上であると判断された場合、仮想バッファの調整が行われるようにしたので、シーンチェンジによる画質劣化の弊害の発生を、更に押さえることができる。
【０１７７】
図１５は、供給されるフレーム画像データに、そのピクチャにおいてシーンチェンジが発生しているか否かを示すフラグ含ませるようになされている場合、供給されるフレーム画像データのフラグを参照することにより、シーンチェンジの発生個所を認識して、仮想バッファの更新処理を実行することができるビデオエンコーダ１３１の構成を示すブロック図である。なお、図７における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１７８】
すなわち、図１５のビデオエンコーダ１３１は、量子化制御部８３に代わって、量子化制御部１４１が設けられている以外は、図７のビデオエンコーダ６１と基本的に同様の構成を有し、量子化制御部１４１は、ＭＥ残差算出部９５に代わって、シーンチェンジフラグ読み取り部１５１が設けられ、発生符号量制御部９２に代わって、発生符号量制御部１５２が設けられている以外は、図７の量子化制御部８３と基本的に同様の構成を有している。
【０１７９】
シーンチェンジフラグ読み取り部１５１は、前処理部７１から出力された、前処理済みのフレーム画像データに含まれているシーンチェンジが発生しているか否かを示すフラグを参照し、シーンチェンジが発生しているピクチャを検出した場合、シーンチェンジが発生しているピクチャを検出したことを示す信号を発生符号量制御部１２２に供給する。発生符号量制御部１２２は、シーンチェンジフラグ読み取り部１５１から供給された信号を基に、仮想バッファを更新するか否かを判断する。
【０１８０】
次に、図１６のフローチャートを参照して、フレーム画像データに含まれているシーンチェンジが発生しているか否かを示すフラグ、および、イントラＡＣなどの画像難易度情報を用いて、シーンチェンジは、簡単な画像から難しい画像への変化であるか否かの判断を導入して仮想バッファの調整を行う、仮想バッファ更新処理５について説明する。
【０１８１】
ステップＳ９１において、シーンチェンジフラグ読み取り部１５１は、フレーム画像データに含まれているシーンチェンジが発生しているか否かを示すフラグを参照し、シーンチェンジフラグがアクティブであるか否かを判断する。
【０１８２】
ステップＳ９１において、シーンチェンジフラグがアクティブではなかったと判断された場合、シーンチェンジフラグがアクティブであると判断されるまで、ステップＳ９１の処理が繰り返される。
【０１８３】
ステップＳ９１において、シーンチェンジフラグがアクティブであったと判断された場合、ステップＳ９２において、発生符号量制御部１５２は、イントラＡＣ算出部９１から供給される、このシーンチェンジの後のイントラＡＣの値であるｍａｄ＿ｉｎｆｏと、このシーンチェンジの前のイントラＡＣの値であるｐｒｅｖ＿ｍａｄ＿ｉｎｆｏとを比較し、ｍａｄ＿ｉｎｆｏ　＞　ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏであるか否かを判断する。
【０１８４】
ステップＳ９２において、ｍａｄ＿ｉｎｆｏ　＞　ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏではないと判断された場合、このシーンチェンジは、難しい画像から、簡単な画像へのシーンチェンジであるので、処理はステップＳ９１に戻り、それ以降の処理が繰り返される。
【０１８５】
ステップＳ９２において、ｍａｄ＿ｉｎｆｏ　＞　ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏであると判断された場合、このシーンチェンジは、簡単な画像から、難しい画像へのシーンチェンジであるので、ステップＳ９３において、発生符号量制御部１５２は、従来における場合と同様の処理により、仮想バッファの初期バッファ容量ｄ（０）の更新を行う。
【０１８６】
すなわち、発生符号量制御部１５２は、上述した式（２）、式（３）、式（４）および式（５）に基づいて、仮想バッファの初期バッファ容量ｄ（０）を算出し、仮想バッファを更新する。
【０１８７】
ステップＳ９３の処理の終了後、処理は、ステップＳ９１に戻り、それ以降の処理が繰り返される。
【０１８８】
図１６のフローチャートを用いて説明した処理により、フレーム画像データに含まれているシーンチェンジが発生したか否かを示すフラグ、および、イントラＡＣを用いて、画像難易度が易しいものから難しいものに変更されるシーンチェンジの時にのみ仮想バッファ調整が行われるようにしたので、エンコードに余裕があるはずの簡単な画像において、更に画質を悪くしてしまうことを防ぐことができる。
【０１８９】
しかしながら、図１６を用いて説明した処理においても、難しい画像から易しい画像へシーンが変わる場合全てについて、仮想バッファ調整を行わないようにしてしまうと、上述したように、直前の難画像における仮想バッファの振る舞い次第によっては、簡単な画像から難易度の高い画像へシーンチェンジする場合と同様の問題を生じる可能性があるため、シーンチェンジによる画質劣化の弊害が生じてしまう。
【０１９０】
次に、図１７を用いて、外部の装置により供給される、シーンチェンジが発生するピクチャの位置を示す信号を基に、難しい画像から易しい画像へシーンが変わる場合の変化がある一定レベル以上であり、かつ、変化後の画像難易度が一定レベル以上である場合に仮想バッファの調整を行うようにした、仮想バッファ更新処理６について説明する。
【０１９１】
ステップＳ１０１において、図１６のステップＳ９１と同様の処理が実行される。
【０１９２】
すなわち、フレーム画像データに含まれているシーンチェンジが発生しているか否かを示すフラグが参照されて、シーンチェンジフラグがアクティブであるか否かが判断される。ステップＳ１０１において、シーンチェンジフラグがアクティブではなかったと判断された場合、シーンチェンジフラグがアクティブであると判断されるまで、ステップＳ１０１の処理が繰り返される。
【０１９３】
ステップＳ１０１において、シーンチェンジフラグがアクティブであったと判断された場合、ステップＳ１０２乃至ステップＳ１０５において、図１１を用いて説明した、ステップＳ４３乃至ステップＳ４６と同様の処理が実行される。
【０１９４】
すなわち、イントラＡＣ算出部９１から供給される、このシーンチェンジの後のイントラＡＣの値であるｍａｄ＿ｉｎｆｏと、このシーンチェンジの前のイントラＡＣの値であるｐｒｅｖ＿ｍａｄ＿ｉｎｆｏとが比較されて、ｍａｄ＿ｉｎｆｏ　＞　ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏであるか否かが判断され、ｍａｄ＿ｉｎｆｏ　＞　ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏではないと判断された場合、このシーンチェンジは、難しい画像から、簡単な画像へのシーンチェンジであるので、このシーンチェンジの前のイントラＡＣの値であるｐｒｅｖ＿ｍａｄ＿ｉｎｆｏからこのシーンチェンジの後のイントラＡＣの値であるｍａｄ＿ｉｎｆｏを減算した値、すなわち、符号化難易度の変化量が算出され、この値と、所定の閾値Ｄ１とを比較し、ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏ　−　ｍａｄ＿ｉｎｆｏ　＞　Ｄ１であるか否かが判断される。
【０１９５】
ここで、所定の閾値Ｄ１とは、シーンチェンジの前後において、符号化難易度の変化量が大きいか小さいかを判断するための数値であり、求める画像の品質により、設定変更可能な数値である。
【０１９６】
ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏ　−　ｍａｄ＿ｉｎｆｏ　＞　Ｄ１ではないと判断された場合、シーンチェンジの前後において、符号化難易度の変化量が小さいので、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。
【０１９７】
ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏ　−　ｍａｄ＿ｉｎｆｏ　＞　Ｄ１であると判断された場合、シーンチェンジの前後において、符号化難易度の変化量が大きいので、このシーンチェンジの後のイントラＡＣの値であるｍａｄ＿ｉｎｆｏと、所定の閾値Ｄ２が比較され、ｍａｄ＿ｉｎｆｏ　＞
Ｄ２であるか否かが判断される。
【０１９８】
ここで、所定の閾値Ｄ２とは、シーンチェンジの後の画像が、所定のレベル以上の符号化難易度を有するか否かを判断するための数値であり、求める画像の品質により、設定変更可能な数値である。
【０１９９】
ｍａｄ＿ｉｎｆｏ　＞　Ｄ２ではないと判断された場合、シーンチェンジの後の画像は、所定のレベルより簡単な画像であるので、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。一方、ｍａｄ＿ｉｎｆｏ　＞　Ｄ２であると判断された場合、シーンチェンジの後の画像は、所定のレベル以上の符号化難易度を有するものであるので、処理は、ステップＳ１０５に進む。
【０２００】
ｍａｄ＿ｉｎｆｏ　＞　ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏであると判断された場合、もしくは、ｍａｄ＿ｉｎｆｏ　＞　Ｄ２であると判断された場合、従来における場合と同様の処理により、仮想バッファの初期バッファ容量ｄ（０）の更新が行われる。
【０２０１】
すなわち、発生符号量制御部１５２は、上述した式（２）、式（３）、式（４）および式（５）に基づいて、仮想バッファの初期バッファ容量ｄ（０）を算出し、仮想バッファを更新する。
【０２０２】
ステップＳ１０５の処理の終了後、処理は、ステップＳ１０１に戻り、それ以降の処理が繰り返される。
【０２０３】
図１７を用いて説明した処理により、ｐｒｅｖ＿ｍａｄ＿ｉｎｆｏとｍａｄ＿ｉｎｆｏを用いて、難易度の変化（難しい画像からやさしい画像への変化）がある一定レベル以上であり、かつ、変化後の難易度も一定レベル以上であるか否かが判断され、難易度の変化がある一定レベル以上であり、かつ、変化後の難易度も一定レベル以上である場合に、仮想バッファの調整が行われるようにしたので、シーンチェンジによる画質劣化の弊害の発生を、更に押さえることができる。
【０２０４】
図１２乃至図１７を用いて説明したように、シーンチェンジの発生位置を知るための方法は、ＭＥ残差を基に検出する以外のいかなる方法であっても良い。
【０２０５】
上述の実施の形態においては、ローディレイコーディングとしてナンバ０乃至１１の各フレーム画像を全てＰピクチャとし、例えば、横４５マクロブロック、縦２４マクロブロックの画枠サイズの中でフレーム画像の上段から縦２マクロブロックおよび横４５マクロブロック分の領域を１つのイントラスライス部分、他を全てインタースライス部分として設定するようにした場合について述べたが、本発明はこれに限らず、例えば、イントラスライス部分を縦１マクロブロック、横４５マクロブロック分の領域とするなど、他の種々の大きさの領域で形成するようにしても良い。
【０２０６】
また、以上の説明においては、主に、ローディレイエンコードを行う場合について説明したが、本発明は、例えば、１５フレームを、フレーム内符号化画像（以下、Ｉピクチャと称する）、フレーム間順方向予測符号化画像（以下、Ｐピクチャと称する）、もしくは、双方向予測符号化画像（以下、Ｂピクチャと称する）の３つの画像タイプのうちのいずれの画像タイプとして処理するかを指定し、指定されたフレーム画像の画像タイプ（Ｉピクチャ、Ｐピクチャ、もしくは、Ｂピクチャ）に応じて、フレーム画像を符号化するような場合にも適用可能である。更に、本発明は、マクロブロックごとに予測符号化のタイプ（イントラマクロブロック、または、インターマクロブロック）を指定して符号化処理を行うような場合においても、適用可能である。
【０２０７】
更に、上述の実施の形態においては、本発明を、ＭＰＥＧ方式によって圧縮符号化する符号化装置としてのビデオエンコーダ６１、ビデオエンコーダ１０１、または、ビデオエンコーダ１３１に適用する場合について述べたが、本発明はこれに限らず、他の種々の画像圧縮方式による符号化装置に適用するようにしても良い。
【０２０８】
上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることもできる。この場合、例えば、ビデオエンコーダ６１ビデオエンコーダ１８１、または、ビデオエンコーダ１３１は、図１８に示されるようなパーソナルコンピュータ１８１により構成される。
【０２０９】
図１８において、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１９１は、ＲＯＭ（Ｒｅａｄ　ＯｎｌｙＭｅｍｏｒｙ）１９２に記憶されているプログラム、または記憶部１９８からＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）１９３にロードされたプログラムに従って、各種の処理を実行する。ＲＡＭ１９３にはまた、ＣＰＵ１９１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０２１０】
ＣＰＵ１９１、ＲＯＭ１９２、およびＲＡＭ１９３は、バス１９４を介して相互に接続されている。このバス１９４にはまた、入出力インタフェース１９５も接続されている。
【０２１１】
入出力インタフェース１９５には、キーボード、マウスなどよりなる入力部１９６、ディスプレイやスピーカなどよりなる出力部１９７、ハードディスクなどより構成される記憶部１９８、モデム、ターミナルアダプタなどより構成される通信部１９９が接続されている。通信部１９９は、インターネットを含むネットワークを介しての通信処理を行う。
【０２１２】
入出力インタフェース１９５にはまた、必要に応じてドライブ２００が接続され、磁気ディスク２１１、光ディスク２１２、光磁気ディスク２１３、もしくは、半導体メモリ２１４などが適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１９８にインストールされる。
【０２１３】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０２１４】
この記録媒体は、図１８に示されるように、装置本体とは別に、ユーザにプログラムを供給するために配布される、プログラムが記憶されている磁気ディスク２１１（フロッピディスクを含む）、光ディスク２１２（ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｋ−Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｋ）を含む）、光磁気ディスク２１３（ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）（商標）を含む）、もしくは半導体メモリ２１４などよりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに供給される、プログラムが記憶されているＲＯＭ１９２や、記憶部１９８に含まれるハードディスクなどで構成される。
【０２１５】
なお、本明細書において、記録媒体に記憶されるプログラムを記述するステップは、含む順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的もしくは個別に実行される処理をも含むものである。
【０２１６】
【発明の効果】
本発明によれば、画像データをエンコードすることができる。また、本発明によれば、シーンチェンジが起こった場合、そのシーンチェンジ前後の画像の難易度に基づいて、仮想バッファの初期容量を初期化するか否かを判断するようにしたので、シーンチェンジ時に画像が劣化してしまうのを防ぐようにすることができる。
【０２１７】
また、易しい画像から難しい画像へのシーンチェンジが起こった場合、仮想バッファの初期容量を初期化するようにすることができるので、シーンチェンジ時に画像が劣化してしまうのを防ぐようにすることができる。
【０２１８】
また、易しい画像から難しい画像へのシーンチェンジが起こった場合、および、難しい画像から易しい画像へ一定以上の変化量でシーンチェンジし、かつ、シーンチェンジ後の画像の難易度が一定以上であった場合、バッファの初期容量を初期化するようにすることができるので、シーンチェンジ時に画像が劣化してしまうのを防ぐようにすることができる。
【図面の簡単な説明】
【図１】
ＭＰＥＧ２方式によって映像データを圧縮符号化する場合、および圧縮符号化された画像データを復号する場合の処理について説明する図である。
【図２】
ＶＢＶバッファについて説明する図である。
【図３】
ローディレイコーディングについて説明する図である。
【図４】
ＶＢＶバッファについて説明する図である。
【図５】
シーンチェンジについて説明する図である。
【図６】
従来の仮想バッファ更新処理について説明するフローチャートである。
【図７】
本発明を適用したビデオエンコーダの構成を示すブロック図である。
【図８】
仮想バッファのバッファ占有量について説明する図である。
【図９】
イントラスライスおよびインタースライスごとの、仮想バッファのバッファ占有量について説明する図である。
【図１０】
本発明を適用した仮想バッファ更新処理１について説明するフローチャートである。
【図１１】
本発明を適用した仮想バッファ更新処理２について説明するフローチャートである。
【図１２】
本発明を適用したビデオエンコーダの構成を示すブロック図である。
【図１３】
本発明を適用した仮想バッファ更新処理３について説明するフローチャートである。
【図１４】
本発明を適用した仮想バッファ更新処理４について説明するフローチャートである。
【図１５】
本発明を適用したビデオエンコーダの構成を示すブロック図である。
【図１６】
本発明を適用した仮想バッファ更新処理５について説明するフローチャートである。
【図１７】
本発明を適用した仮想バッファ更新処理６について説明するフローチャートである。
【図１８】
パーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
６１　ビデオエンコーダ，　７１　前処理部，　７２　演算部，　７３　動きベクトル検出部，　７４　ＤＣＴ部，　７５　量子化部，　７７　ＶＬＣ部，　７８　逆量子化部，　７９　逆ＤＣＴ部，　８０　演算部，　８１　動き補償部，　８２　バッファ，　８３　量子化制御部，　８４　フレームメモリ，　９１イントラＡＣ算出部，　９２　発生符号量制御部，　９３　ＧＣ算出部，　９４　目標符号量算出部，　９５　ＭＥ残差算出部，　１０１　ビデオエンコーダ，　１１１　量子化制御部，　１２１　シーンチェンジ情報取得部，　１２２　発生符号量制御部，　　１３１　ビデオエンコーダ，　１４１　量子化制御部，
１５１　シーンチェンジフラグ読み取り部，　１５２　発生符号量制御部

Claims (19)

1. フレーム画像を符号化する符号化装置において、
   前記フレーム画像の難易度を検出する第１の検出手段と、
   仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定手段と、
   前記決定手段により決定された前記量子化インデックスデータを基に、量子化を実行する量子化手段と、
   前記量子化手段により量子化された量子化係数データを符号化する符号化手段と
   を備え、
   前記決定手段は、前記フレーム画像に絵柄の変化があった場合、前記第１の検出手段による検出結果を基に、前記仮想バッファの初期バッファ容量の値を初期化するか否かを判断する
   ことを特徴とする符号化装置。
2. １つ前のピクチャと次に符号化処理するピクチャとの、絵柄の変化を検出する第２の検出手段を更に備え、
   前記決定手段は、
   前記第２の検出手段による検出結果を基に、１つ前のピクチャから次に符号
   化処理するピクチャの間でシーンチェンジが発生したか否かを判断し、
   前記第１の検出手段による検出結果を基に、前記シーンチェンジ前後の画像の難しさを判断して、前記シーンチェンジは、簡単な画像から難しい画像へのシーンチェンジであるのか、または、難しい画像から簡単な画像へのシーンチ
   ェンジであるのかを判断する
   ことを特徴とする請求項１に記載の符号化装置。
3. 前記決定手段は、１つ前のピクチャから次に符号化処理するピクチャの間でシーンチェンジが発生し、かつ、前記シーンチェンジは、簡単な画像から難しい画像へのシーンチェンジであると判断した場合に、前記仮想バッファの初期バッファ容量の値を初期化する
   ことを特徴とする請求項２に記載の符号化装置。
4. 前記決定手段は、
   １つ前のピクチャから次に符号化処理するピクチャの間でシーンチェンジが発生したことを判断した場合、更に、前記シーンチェンジが簡単な画像から難しい画像へのシーンチェンジであると判断したとき、または、前記シーンチェンジが難しい画像から簡単な画像へ所定の値以上の変化量で変化したシーンチェンジであると判断し、かつ、前記シーンチェンジ後の画像の難易度が所定の値以上であると判断したとき、前記仮想バッファの初期バッファ容量の値を初期化する
   ことを特徴とする請求項２に記載の符号化装置。
5. 前記第１の検出手段は、画像の難易度を示す第１の指標を算出する第１の算出手段を備え、前記第１の算出手段により算出された第１の指標を基に、画像の難易度を検出し、
   前記第２の検出手段は、１つ前のピクチャの絵柄と次に符号化処理するピクチャの絵柄との差分を示す第２の指標を算出する第２の算出手段を備え、前記第２の算出手段により算出された前記第２の指標を基に、絵柄の変化を検出する
   ことを特徴とする請求項２に記載の符号化装置。
6. 前記第２の算出手段により算出された前記第２の指標の平均値を算出する第３の算出手段を更に備え、
   前記決定手段は、前記第２の算出手段により算出された前記第２の指標から、前記第３の算出手段により１つ前のピクチャまでの情報を用いて算出された前記第２の指標の平均値を減算した値が、所定の閾値以上であり、かつ、前記第１の算出手段により算出された、１つ前のピクチャに対応する第１の指標が、次に符号化処理するピクチャに対応する第１の指標より小さかった場合に、前記仮想バッファの初期バッファ容量の値を初期化する
   ことを特徴とする請求項５に記載の符号化装置。
7. 前記所定の閾値は、１つ前のピクチャから次に符号化処理するピクチャの間でシーンチェンジが発生したか否かを判断するために設定される閾値であり、
   前記決定手段は、前記第１の算出手段により算出された、１つ前のピクチャに対応する第１の指標が、次に符号化処理するピクチャに対応する第１の指標より小さかった場合、前記シーンチェンジは、簡単な画像から難しい画像へのシーンチェンジであると判断する
   ことを特徴とする請求項６に記載の符号化装置。
8. 前記第２の算出手段により算出された前記第２の指標の平均値を算出する第３の算出手段を更に備え、
   前記決定手段は、
   前記第２の算出手段により算出された前記第２の指標から、前記第３の算出手段により１つ前のピクチャまでを用いて算出された前記第２の指標の平均値を減算した値が第１の閾値以上である場合、
   前記第１の算出手段により算出された、１つ前のピクチャに対応する第１の指標が、次に符号化処理するピクチャに対応する第１の指標より小さいとき、
   または、
   前記第１の算出手段により算出された、１つ前のピクチャに対応する第１の指標から、次に符号化処理するピクチャに対応する第１の指標を減算した値が第２の閾値以上であり、かつ、次に符号化処理するピクチャに対応する第１の指標が第３の閾値以上であるとき、
   前記仮想バッファの初期バッファ容量の値を初期化する
   ことを特徴とする請求項５に記載の符号化装置。
9. 前記第１の閾値は、１つ前のピクチャから次に符号化処理するピクチャの間でシーンチェンジが発生したか否かを判断するために設定される閾値であり、
   前記決定手段は、前記第１の算出手段により算出された、１つ前のピクチャに対応する第１の指標が、次に符号化処理するピクチャに対応する第１の指標より小さかった場合、前記シーンチェンジは、簡単な画像から難しい画像へのシーンチェンジであると判断し、
   前記第２の閾値は、前記シーンチェンジによる画像の変化量が大きいか否かを判断するために設定される閾値であり、
   前記第３の閾値は、前記シーンチェンジ後の画像の難易度が高いか否かを判断するために設定される閾値である
   ことを特徴とする請求項８に記載の符号化装置。
10. １つ前のピクチャと次に符号化処理するピクチャとの、絵柄の変化を示す情報を取得する取得手段を更に備え、
    前記決定手段は、
    前記取得手段により取得された前記絵柄の変化を示す情報を基に、１つ前のピクチャから次に符号化処理するピクチャの間でシーンチェンジが発生したか
    否かを判断し、
    前記第１の検出手段による検出結果を基に、前記シーンチェンジ前後の画像の難しさを判断して、前記シーンチェンジは、簡単な画像から難しい画像へのシーンチェンジであるのか、または、難しい画像から簡単な画像へのシーンチ
    ェンジであるのかを判断する
    ことを特徴とする請求項１に記載の符号化装置。
11. 前記決定手段は、１つ前のピクチャから次に符号化処理するピクチャの間でシーンチェンジが発生し、かつ、前記シーンチェンジは、簡単な画像から難しい画像へのシーンチェンジであると判断した場合に、前記仮想バッファの初期バッファ容量の値を初期化する
    ことを特徴とする請求項１０に記載の符号化装置。
12. 前記決定手段は、
    １つ前のピクチャから次に符号化処理するピクチャの間でシーンチェンジが発生したことを判断した場合、更に、前記シーンチェンジが簡単な画像から難しい画像へのシーンチェンジであると判断したとき、または、前記シーンチェンジが難しい画像から簡単な画像へ所定の値以上の変化量で変化したシーンチェンジであると判断し、かつ、前記シーンチェンジ後の画像の難易度が所定の値以上であると判断したとき、前記仮想バッファの初期バッファ容量の値を初期化する
    ことを特徴とする請求項１０に記載の符号化装置。
13. 前記フレーム画像に対応するデータから、１つ前のピクチャと次に符号化処理するピクチャとの、絵柄の変化を示す情報を抽出する抽出手段を更に備え、
    前記決定手段は、
    前記抽出手段により抽出された前記絵柄の変化を示す情報を基に、１つ前のピクチャから次に符号化処理するピクチャの間でシーンチェンジが発生したか
    否かを判断し、
    前記第１の検出手段による検出結果を基に、前記シーンチェンジ前後の画像の難しさを判断して、前記シーンチェンジは、簡単な画像から難しい画像へのシーンチェンジであるのか、または、難しい画像から簡単な画像へのシーンチ
    ェンジであるのかを判断する
    ことを特徴とする請求項１に記載の符号化装置。
14. 前記決定手段は、１つ前のピクチャから次に符号化処理するピクチャの間でシーンチェンジが発生し、かつ、前記シーンチェンジは、簡単な画像から難しい画像へのシーンチェンジであると判断した場合に、前記仮想バッファの初期バッファ容量の値を初期化する
    ことを特徴とする請求項１３に記載の符号化装置。
15. 前記決定手段は、
    １つ前のピクチャから次に符号化処理するピクチャの間でシーンチェンジが発生したことを判断した場合、更に、前記シーンチェンジが簡単な画像から難しい画像へのシーンチェンジであると判断したとき、または、前記シーンチェンジが難しい画像から簡単な画像へ所定の値以上の変化量で変化したシーンチェンジであると判断し、かつ、前記シーンチェンジ後の画像の難易度が所定の値以上であると判断したとき、前記仮想バッファの初期バッファ容量の値を初期化する
    ことを特徴とする請求項１３に記載の符号化装置。
16. 前記フレーム画像は、全て、フレーム間順方向予測符号化画像である
    ことを特徴とする請求項１に記載の符号化装置。
17. フレーム画像を符号化する符号化装置の符号化方法において、
    前記フレーム画像の難易度を検出する検出ステップと、
    仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、
    前記決定ステップの処理により決定された前記量子化インデックスデータを基に、量子化を実行する量子化ステップと、
    前記量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップと
    を含み、
    前記決定ステップの処理では、前記フレーム画像に絵柄の変化があった場合、前記検出ステップの処理による検出結果を基に、前記仮想バッファの初期バッファ容量の値を初期化するか否かを判断する
    ことを特徴とする符号化方法。
18. フレーム画像を符号化する符号化装置用のプログラムであって、
    前記フレーム画像の難易度を検出する検出ステップと、
    仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、
    前記決定ステップの処理により決定された前記量子化インデックスデータを基に、量子化を実行する量子化ステップと、
    前記量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップと
    を含み、
    前記決定ステップの処理では、前記フレーム画像に絵柄の変化があった場合、前記検出ステップの処理による検出結果を基に、前記仮想バッファの初期バッファ容量の値を初期化するか否かを判断する
    ことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
19. フレーム画像を符号化する符号化装置を制御するコンピュータが実行可能なプログラムであって、
    前記フレーム画像の難易度を検出する検出ステップと、
    仮想バッファの初期バッファ容量の値を用いて、量子化インデックスデータを決定する決定ステップと、
    前記決定ステップの処理により決定された前記量子化インデックスデータを基に、量子化を実行する量子化ステップと、
    前記量子化ステップの処理により量子化された量子化係数データを符号化する符号化ステップと
    を含み、
    前記決定ステップの処理では、前記フレーム画像に絵柄の変化があった場合、前記検出ステップの処理による検出結果を基に、前記仮想バッファの初期バッファ容量の値を初期化するか否かを判断する
    ことを特徴とするプログラム。

Images