JP2005311502A - 画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラ - Google Patents

Abstract

【課題】画像信号をVBRを適用して符号化するに際し、ビットレートを精度良く制御する。
【解決手段】 変換係数決定部３１は、仮想バッファ占有量計算部から入力される仮想バッファ占有量buf(n)に基づき、変換係数ｋ(n)を決定する。乗算部３２は、予測残差予想部から入力される予想予測残差PRED(n)に、変換係数決定部３１で決定された変換係数ｋ(n)を乗算することにより、ｎ番目の画像を符号化するときの目標符号量BIT_TGT(n)を算出する。本発明は、ディジタルビデオカメラに適用することができる。
【選択図】図４

Description

本発明は、画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラに関し、特に、画像信号を所望のビットレートで圧縮符号化する場合に用いて好適な画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラに関する。

例えば、動画像データをディジタル化して情報記録媒体に記録したり、インタネット等に代表されるネットワークを介して伝送したりする場合、そのデータ量が膨大であることから、動画像データを圧縮符号化することが行われている。動画像データの代表的な符号化方式としては、動き補償予測符号化方式を挙げることができる。

動き補償予測符号化方式の具体的なものとしては、MPEG（Moving picture experts group）符号化方式がある。MPEG方式では、１フレームまたは１フィールドが、１６ライン×１６画素で構成されるマクロブロックに分割され、このマクロブロック単位で、動き補償予測符号化が行われる。

動き補償予測符号化方式は、画像の時間軸方向の相関を利用する符号化方法であり、参照する画像（参照画像）に対する、符号化対象の画像（被符号化画像）の動きベクトルを検出し、その動きベクトルにしたがって、既に符号化されて復号された参照画像を動き補償することにより、予測画像を生成する。そして、この予測画像に対する、被符号化画像の予測残差を求め、この予測残差と動きベクトルを符号化することにより、動画像の情報量が圧縮される。

動き補償予測符号化方式には、大別して、イントラ符号化と、インター符号化の２種類の符号化方式がある。イントラ符号化では、符号化対象のマクロブロックに関して、被符号化画像の情報がそのまま符号化され、インター符号化では、被符号化画像に時間的に前後する画像を参照画像として、その参照画像から生成される予測画像と、自身の情報との差分が符号化される。

MPEG方式では、各画像が、Ｉピクチャ(Intra coded picture)、Ｐピクチャ(Predictive coded picture)、またはＢピクチャ(Bidirectionally predictive picture)のうちのいずれかとして符号化される。また、MPEG方式では、GOP(Group of picture)単位で処理が行われる。

被符号化画像を符号化する符号化装置には、復号時においてオーバーフローまたはアンダーフローの発生を抑止するために、仮想的なバッファ（以下、仮想バッファと記述する）が設けられている。この仮想バッファを符号化装置側で考える場合には、符号化によって生じた符号量が符号化のたびに蓄積される一方、所定の転送レートにしたがって減算されていく。符号化装置ではこの仮想バッファの保持する符号量（以下、占有量と記述する）を監視し、仮想バッファの占有量に基づいてビットレートや符号圧縮率を制御することが行われている。

符号圧縮率の制御方法としては、CBR(Constant Bit Rate)とVBR(Variable Bit Rate)が知られている。

CBRを適用した場合、GOP単位でのビットレートが固定されているので、情報記録媒体に最大で何時間分の映像を記録できるかなどの情報を正確に見積もることができる。しかしながら、符号化する画像の複雑さ等に応じて符号量を増減させることができないので効率が悪く、画質的にも良好ではない場合があるという問題がある。

VBRを適用する場合、例えば、仮想バッファの占有量が上昇してきたときには量子化スケールを通常時よりも大きくし、仮想バッファの占有量が下降してきたときには量子化スケールを通常時よりも小さくする方法が知られている。しかしながら、量子化スケールの増減は整数単位でしか行うことができないので、発生符号量は階段状にしか制御ができず、きめ細かい制御が困難であるという問題がある。またこの方法の場合、実際の発生符号量の増減にややおくれて圧縮率の制御が追従するため、画質として必ずしも最適にならない場合が多い。

この問題を解決するため、従来から、実際の符号化に先立ち、符号化しようとする画像の発生符号量を正確に見積もり、見積もり結果に基づいて圧縮率を制御することが行われている。

例えば、発生符号量を正確に見積もるためには、実際の符号化に先立って、圧縮率に関わるパラメータを仮に設定して、符号化を行う方法がある。しかしながら、このような方法を用いると、実際の符号化で必要とされる演算量の倍の演算を行う必要があるので効率が悪いという問題があった。

なお、実際の符号化で必要とされる演算量の倍の演算を行うことなく、画像の予測残差に基づいて発生符号量を見積もることのできる発明が、本出願人により既に提案済である（特許文献１参照）。

ところで、MPEGの一種としての、例えばMPEG2（ISO/IEC13818-2）は、汎用画像符号化方式として定義されており、飛び越し走査画像および順次走査画像の双方、並びに標準解像度画像および高精細画像を網羅する標準で、プロフェッショナル用途およびコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４乃至８Mbps、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８乃至２２Mbpsの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。

MPEG2方式は、主としてテレビジョン放送用に適合する高画質符号化を対象としていたが、MPEG1方式よりも低いビットレート、換言すれば、MPEG1方式よりも高い圧縮率の符号化方式には対応していなかった。

そこで、MPEG1方式よりも高い圧縮率の符号化方式に対するニーズに応えるべくしてMPEG4符号化方式の標準化が行われ、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。

更に、近年、当初テレビ会議用の画像符号化を目的として、Ｈ.２６４（ITU-T Q6/16VCEG）という標準の規格化が進んでいる。Ｈ．２６４は、MPEG2方式やMPEG4方式といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。

また、現在、MPEG4の活動の一環として、このＨ．２６４をベースに、Ｈ．２６４ではサポートされない機能も取り入れて、より高い符号化効率を実現する標準化がJVT（Joint Video Team）によって行われている。以下、JVTにより標準化が行われている符号化方式を、JVT CodecまたはＨ．２６４｜MPEG4-AVC(Advanced Video Coding)と記述する。

ＷＯ９８／２６５９９（特願平１０−５２６５０５号）

動画像を符号化する際、MPEGなどで定められた規格の範囲内の復号化器での安全な復号を保証するために、VBVバッファ（MPEG4-AVCではCPBバッファ）とよばれる仮想バッファを符号化器内に設置し、この仮想バッファの占有量を監視しながら発生符号量の調整をする必要がある。

上記の具体例として、仮想バッファの占有量を監視し、今から符号化するピクチャの最大サイズを制限することで、発生符号量が多くなりすぎるのを抑止しようとする技術が従来よりあった。この方式をもちいると、仮想バッファの占有量が大きくなって来ると突然ピクチャの最大サイズが制限されるため、画質に与える影響も少なくなかった。

一方、VBRでの符号化を行っている場合、ある程度以上のレートになったらCBRとして動作させ、その上限レートを制限することで仮想バッファの占有量が上がらないようにする技術が従来よりあった。この方式を用いると、仮想バッファにまだ余裕があるにもかかわらずレートが制限されてしまい、画質劣化が無視できなかった。

本発明はこのような状況に鑑みてなされたものであり、あらかじめCBRの上限レートを設定しなくても規格に準拠した復号化装置での安全な復号の保証が可能であって、かつ、VBRで符号化できるため画質劣化と符号化効率の悪化を最小に抑えられるようにすることを目的とする。

本発明の画像信号処理装置は、設定された目標符号量に従い、動画を構成する画像に対応する画像信号を圧縮符号化する符号化手段と、符号化手段によって発生された符号量を監視するためのバッファの占有量を検出する検出手段と、検出手段によって検出された占有量に基づいて変換係数を決定する決定手段と、画像に対応する画像信号が圧縮符号化される前に、画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想手段と、予測残差予想手段によって予想された予想予測残差と、決定手段によって決定された変換係数とに基づき、画像に対応する画像信号を圧縮符号化するときの目標符号量を設定する設定手段とを含むことを特徴とする。

前記バッファは、画像信号処理装置の後段における転送処理、記録処理、または復号処理のうちの少なくとも１つが考慮された仮想バッファであるようにすることができる。

前記設定手段は、可変ビットレート方式を採用し、予測残差予想手段によって予想された予想予測残差と、決定手段によって決定された変換係数との乗算結果を、画像に対応する画像信号を圧縮符号化するときの目標符号量に設定するようにすることができる。

前記決定手段は、占有量を、占有量と変換係数との対応関係を示す関数に代入して、変換係数を決定するようにすることができる。

占有量と変換係数との対応関係を示す前記関数は、指数を用いた関数とすることができる。

前記設定手段は、可変ビットレート方式を採用し、予測残差予想手段によって予想された予想予測残差と、決定手段によって決定された変換係数とを変数とする関数を用いて、画像に対応する画像信号を圧縮符号化するときの目標符号量に設定するようにすることができる。

前記所定の符号化方式は、MPEG方式とすることができる。

前記所定の符号化方式は、MPEG4-AVC方式とすることができる。

本発明の画像信号処理方法は、設定された目標符号量に従い、動画を構成する画像に対応する画像信号を圧縮符号化する符号化ステップと、符号化ステップの処理で発生された符号量を監視するためのバッファの占有量を検出する検出ステップと、検出ステップの処理で検出された占有量に基づいて変換係数を決定する決定ステップと、画像に対応する画像信号が圧縮符号化される前に、画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想ステップと、予測残差予想ステップの処理で予想された予想予測残差と、決定ステップの処理で決定された変換係数とに基づき、画像に対応する画像信号を圧縮符号化するときの目標符号量を設定する設定ステップとを含むことを特徴とする。

本発明の記録媒体のプログラムは、設定された目標符号量に従い、動画を構成する画像に対応する画像信号を圧縮符号化する符号化ステップと、符号化ステップの処理で発生された符号量を監視するためのバッファの占有量を検出する検出ステップと、検出ステップの処理で検出された占有量に基づいて変換係数を決定する決定ステップと、画像に対応する画像信号が圧縮符号化される前に、画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想ステップと、予測残差予想ステップの処理で予想された予想予測残差と、決定ステップの処理で決定された変換係数とに基づき、画像に対応する画像信号を圧縮符号化するときの目標符号量を設定する設定ステップとを含むことを特徴とする。

本発明のプログラムは、設定された目標符号量に従い、動画を構成する画像に対応する画像信号を圧縮符号化する符号化ステップと、符号化ステップの処理で発生された符号量を監視するためのバッファの占有量を検出する検出ステップと、検出ステップの処理で検出された占有量に基づいて変換係数を決定する決定ステップと、画像に対応する画像信号が圧縮符号化される前に、画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想ステップと、予測残差予想ステップの処理で予想された予想予測残差と、決定ステップの処理で決定された変換係数とに基づき、画像に対応する画像信号を圧縮符号化するときの目標符号量を設定する設定ステップとを含む処理をコンピュータに実行させることを特徴とする。

本発明のビデオカメラは、被写体の動画を撮影し、画像信号を生成する撮影手段と、設定された目標符号量に従い、撮影手段によって撮影された動画を構成する画像に対応する画像信号を圧縮符号化する符号化手段と、符号化手段によって発生された符号量を監視するためのバッファの占有量を検出する検出手段と、検出手段によって検出された占有量に基づいて変換係数を決定する決定手段と、画像に対応する画像信号が圧縮符号化される前に、画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想手段と、予測残差予想手段によって予想された予想予測残差と、決定手段によって決定された変換係数とに基づき、画像に対応する画像信号を圧縮符号化するときの目標符号量を設定する設定手段と、符号化手段によって圧縮符号化された画像信号を情報記録媒体に記録する記録手段とを含むことを特徴とする。

本発明においては、発生された符号量を監視するためのバッファの占有量が検出され、検出された占有量に基づいて変換係数が決定される。また、画像に対応する画像信号が圧縮符号化される前に、画像に対応する画像信号が圧縮符号化される過程で算出される予測残差が予想され、予想された予想予測残差と、決定された変換係数とに基づき、画像に対応する画像信号を圧縮符号化するときの目標符号量が設定される。さらに、設定された目標符号量に従い、動画を構成する画像に対応する画像信号が圧縮符号化される。

本発明によれば、あらかじめCBRを用いる上限レートを設定しなくても所定の規格内の復号化器での安全な復号の保証が可能であって、かつ仮想バッファを生かすVBR形式で符号化でき、また発生符号量の多寡に高速に追従する制御を行うことができる。

以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加されたりする発明の存在を否定するものではない。

請求項１に記載の画像信号処理装置（例えば、図１の画像信号処理装置１）は、設定された目標符号量に従い、動画を構成する画像に対応する画像信号を圧縮符号化する符号化手段（例えば、図１の符号化部５）と、符号化手段によって発生された符号量を監視するためのバッファ（例えば、仮想バッファ）の占有量を検出する検出手段（例えば、図１の仮想バッファ占有量計算部６）と、検出手段によって検出された占有量に基づいて変換係数（例えば、変換係数ｋ）を決定する決定手段（例えば、図４の変換係数決定部３１）と、画像に対応する画像信号が圧縮符号化される前に、画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想手段（例えば、図１の予測残差予想部３）と、予測残差予想手段によって予想された予想予測残差と、決定手段によって決定された変換係数とに基づき、画像に対応する画像信号を圧縮符号化するときの目標符号量を設定する設定手段（例えば、図４の乗算部３２）とを含むことを特徴とする。

請求項９に記載の画像信号処理方法は、設定された目標符号量に従い、動画を構成する画像に対応する画像信号を圧縮符号化する符号化ステップ（例えば、図６のステップＳ４）と、符号化ステップの処理で発生された符号量を監視するためのバッファの占有量を検出する検出ステップ（例えば、図６の仮想バッファ占有量計算部６による図９のステップＳ３１）と、検出ステップの処理で検出された占有量に基づいて変換係数を決定する決定ステップ（例えば、図４の変換係数決定部３１による図９のステップＳ３１）と、画像に対応する画像信号が圧縮符号化される前に、画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想ステップ（例えば、図６のステップＳ２）と、予測残差予想ステップの処理で予想された予想予測残差と、決定ステップの処理で決定された変換係数とに基づき、画像に対応する画像信号を圧縮符号化するときの目標符号量を設定する設定ステップ（例えば、図９のステップＳ３２）とを含むことを特徴とする。

請求項１２に記載のビデオカメラ（例えば、図１０のディジタルビデオカメラ２００）は、被写体の動画を撮影し、画像信号を生成する撮影手段（例えば、図１０のカメラ部２０１）と、設定された目標符号量に従い、撮影手段によって撮影された動画を構成する画像に対応する画像信号を圧縮符号化する符号化手段（例えば、図１の符号化部５）と、符号化手段によって発生された符号量を監視するためのバッファの占有量を検出する検出手段（例えば、図１の仮想バッファ占有量計算部６）と、検出手段によって検出された占有量に基づいて変換係数を決定する決定手段（例えば、図４の変換係数決定部３１）と、画像に対応する画像信号が圧縮符号化される前に、画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想手段（例えば、図１の予測残差予想部３）と、予測残差予想手段によって予想された予想予測残差と、決定手段によって決定された変換係数とに基づき、画像に対応する画像信号を圧縮符号化するときの目標符号量を設定する設定手段（例えば、図４の乗算部３２）と、符号化手段によって圧縮符号化された画像信号を情報記録媒体に記録する記録手段（例えば、図１０の媒体Ｉ／Ｆ２０４）とを含むことを特徴とする。

なお、本発明の記録媒体に記録されているプログラム、および本発明のプログラムの請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係は、上述した本発明の画像信号情報処理方法のものと同様であるので、その記載は省略する。

以下、本発明の一実施の形態について説明する。図１は、本発明を適用した画像信号処理装置の構成例を示している。この画像信号処理装置１は、入力される動画像信号（以下、被符号化画像信号と記述する）を圧縮符号化して、被符号化画像信号よりもデータ量やビットレートの小さな符号化画像信号を生成するものであり、擬似予測残差生成部２、予測残差予想部３、目標符号量決定部４、符号化部５、および仮想バッファ占有量計算部６から構成される。

擬似予測残差生成部２は、入力される被符号化画像信号に基づき、後段の符号化部５において被符号化画像信号が実際に符号化されるときに算出される予測残差SADの擬似的な値（以下、擬似予測残差BDと記述する）を算出して予測残差予想部３に出力する。以下、ｎ番目の画像（フレーム画像またはフィールド画像）の被符号化画像信号に対応する擬似予測残差をBD(n)と記述する。

予測残差予想部３は、擬似予測残差生成部２から入力された、ｎ番目の画像に対応する擬似予測残差BD(n)を、ｎ−１番目以前の画像の被符号化画像信号に対応する擬似予測残差BD(n-1-S)および予測残差SAD(n-1-S)（Ｓは０以上の正数）に基づいて補正し、その補正結果として得られた予想予測残差PRED(n)を目標符号量決定部４に出力する。

目標符号量決定部４は、予測残差予想部３から入力された予想予測残差PRED(n)、および仮想バッファ占有量計算部６で計算されたｎ番目の画像が符号化される直前の仮想バッファ占有量buf(n)に基づき、VBR(Variable Bit Rate)を適用して、ｎ番目の画像を符号化するときに場合における目標符号量BIT_TGT(n)を決定し、符号化部５に出力する。なお、VBRを適用したことにより、限界レート付近でも仮想バッファの許す範囲内でVBRに近い特性で動作できるため、画質が急激に変動することを抑止できる。

符号化部５は、動き補償予測符号化方式を適用した、例えば、MPEG2方式、MPEG4方式、MPEG4-AVC方式等の符号化装置であり、入力された被符号化画像信号を、発生符号量が目標符号量決定部４から入力される目標符号量BIT_TGTに近づくように圧縮符号化し、符号化画像信号を生成する。また、符号化部５は、圧縮符号化の処理過程で算出した実際の予測残差SADを予測残差予想部３に出力する。さらに、符号化部５は、ｎ番目の画像を符号化したときの符号化画像信号の符号量（以下、発生符号量BIT(n)）を仮想バッファ占有量計算部６に出力する。

仮想バッファ占有量計算部６は、符号化部５から入力される発生符号量BITに基づき、符号化部５に設けられている符号化信号が復号される際にオーバーフローやアンダーフローが発生しないように発生符号量を制御するための仮想バッファの占有量buf(n)を算出して、目標符号量決定部４に出力する。なお、符号化部５に設けられている仮想バッファは、MPEG2ではVBVバッファ、MPEG4-AVCではCPBバッファと称されている復号化器側の仮想モデルを、等価的に符号化器側で考えた場合のバッファ（いわゆる、エンコーダバッファ）を指す。

仮想バッファ占有量計算部６によるｎ番目の画像を符号化するときの仮想バッファ占有量buf(n)の算出は、現状の仮想バッファ占有量buf(n-1)に、ｎ−１番目の画像を符号化したときの発生符号量BIT(n-1)を加算する処理と、現状の仮想バッファ占有量buf(n-1)から、画像の再生間隔（例えばフレーム画像の場合、１／３０秒間）毎、符号化部５の後段の記録装置または復号装置（いずれも不図示）に転送する符号量（通常は固定値）を減算するステップにより行われる。ただし、仮想バッファ占有量buf(n)の算出は、上述したステップによるもの以外であっても構わない。

図２は、擬似予測残差生成部２の構成例を示している。図２の構成例において、イントラ予測部１１は、入力された被符号化画像信号をフレーム内予測を適用してエンコードし、それをデコードしてイントラ予測画像を生成し、差分器１３に出力する。インター予測部１２は、入力された被符号化画像信号にフレーム間予測を適用してエンコードし、それをデコードしてインター予測画像を生成し、差分器１４に出力する。なお、イントラ予測部１１およびインター予測部１２は、例えば、MPEG2方式やMPEG4方式、MPEG4-AVC方式等が適用される符号化部５に内蔵されたイントラ予測部およびインター予測部（いずれも不図示）のように、数多くの複数の予測モードを備えたものと同等の精度である必要はなく、より少ない予測モードで簡易的にイントラ予測画像あるいはインター予測画像を生成できればよい。

差分器１３は、イントラ予測部１１によって生成されたイントラ予測画像とそれに対応する被符号化画像信号の画像（すなわち、当該イントラ予測画像の元となった画像）との差分を算出し、その結果をイントラ予測残差として比較部１５に出力する。差分器１４は、インター予測部１２によって生成されたインター予測画像とそれに対応する被符号化画像信号の画像（すなわち、当該インター予測画像の元となった画像）との差分を算出し、その結果をインター予測残差として比較部１５に出力する。比較部１５は、差分器１３から入力されたイントラ予測残差と差分器１４から入力されたインター予測残差とをマクロブロック毎に比較し、その値の小さい方を擬似予測残差BDに採用して後段の予測残差予想部３に出力する。なおここでの比較はマクロブロックの単位に限定することなく、被符号化画像を任意の単位で分割した領域ごとに行ってもよい。

図３は、予測残差予想部３の構成例を示している。図３の構成例において、擬似予測残差生成部２からのｎ（ｎ＝１，２，…）番目の画像に対応する擬似予測残差BD(n)は、予測残差計算部２１および遅延部２２に入力される。予測残差計算部２１は、次式（１）に示されるように、遅延部２２によって１画像分だけ遅延されたｎ−１番目の画像の被符号化画像信号に対応する擬似予測残差BD(n-1)と、符号化部５によって実際に計算されたｎ−１番目の画像の被符号化画像信号に対応する予測残差SAD(n-1)との差に調整係数Ｇを乗算した値Ｇ（SAD(n-1)−BD(n-1)）を、擬似予測残差生成部２から入力されたｎ番目の画像に対応する擬似予測残差BD(n)に加算することにより、ｎ番目の画像の被符号化画像信号に対応する予想予測残差PRED(n)を算出する。なお、調整係数Ｇは、１以下の正数であり、例えば０．９とする。
PRED(n)＝BD(n)＋Ｇ（SAD(n-1)−BD(n-1)） …（１）

なお、ｎ−１番目の画像の被符号化画像信号に対応する擬似予測残差BD(n-1)と予測残差SAD(n-1)との代わりに、ｎ−１番目以前の、例えばｎ−２番目の画像の被符号化画像信号に対応する擬似予測残差BD(n-2)と予測残差SAD(n-2)とを用いるようにしてもよい。

図４は、目標符号量決定部４の構成例を示している。図４の構成例において、変換係数決定部３１は、仮想バッファ占有量計算部６から入力される、ｎ番目の画像に対応する被符号化画像信号を符号化する直前の仮想バッファ占有量buf(n)に基づき、変換係数ｋ(n)を決定する。乗算部３２は、次式（２）に示すように、予測残差予想部３から入力される予想予測残差PRED(n)に、変換係数決定部３１で決定された変換係数ｋ(n)を乗算することにより、ｎ番目の画像に対応する被符号化画像信号を符号化するときの目標符号量BIT_TGT(n)を算出する。
BIT_TGT(n)＝ｋ(n)・PRED(n) …（２）

変換係数決定部３１では、具体的には、例えば、図５に示すような、仮想バッファ占有量buf(n)と変換係数ｋとの対応関係を示す関数や対応テーブルを用いて、仮想バッファ占有量buf(n) に対応する変換係数ｋ(n)を決定する。なお、図５の横軸は仮想バッファ占有量buf(n)を示し、縦軸は変換係数ｋを示している。両者の対応関係を示す曲線４１は、仮想バッファ占有量buf(n)が０のとき、変換係数ｋが基準値（最大値）となり、仮想バッファ占有量buf(n)が最大値のとき、変換係数ｋが最小値となって、且つ、仮想バッファ占有量buf(n)が増加したときに、変換係数ｋが減少するようになされており、例えば次式（３）に示すような指数を用いた関数ことができる。
ｍ＝( a^(MAX_CPB / 1000000) - 1 ) / k(0)
k(n)＝(-1 / ｍ)×( a^(buf(n) / 1000000) - 1 ) + k(0) …（３）

ここで、MAX_CPBはVBVバッファ(MPEG2のとき)、またはCPBバッファ（MPEG4-AVCのとき）の最大サイズであり、使用する圧縮方式のプロファイルに定められている値に設定する。なお、ここに代入する際の単位はビット(bits)である。もちろん、意図的にこのMAX_CPBの値を規格で定められた値からずらし、動作を調整してもよい。ａは曲線４１の曲がりの程度を調整するための値であり、例えばａ＝１．４とする。式（３）に示されたように、指数関数を用いれば、仮想バッファ占有量buf(n)が小さいうちは変換係数ｋを比較的大きな値に維持することができるので、目標符号量BIT_TGTが比較的大きな値となって画質の劣化を抑止することができる。また、仮想バッファ占有量buf(n)が最大値に近づくほど変換係数ｋを急激に減少させることができるので、目標符号量BIT_TGTが比較的小さな値となってなるべく画質を落とさないように発生符号量を抑えることができる。ただし、指数関数以外の関数を用いるようにしても構わない。

このように、実際の符号化に先立って、予想予測残差PREDに基づいて変換係数ｋを調節することができるので、フィードフォワード動作となり、レスポンスが早く、シーケンスの動的な変化やシーンチェンジに追従し易い特性を持たせることができる。

なお、符号化する画像のピクチャタイプごとに仮想バッファ占有量buf(n)の値が大きく変動して使い難い場合には、次式（４）に示すように、仮想バッファ占有量buf(n)にフィルタ処理を施したbuf(n)'を用いればよい。
buf(n)'＝（１−ｂ）・buf(n)'＋ｂ・buf(n) …（４）
ここで、ｂはフィルタ処理の利き具合を調整する０以上１以下の任意の値である。なお、式（４）に示されたフィルタ処理以外のフィルタ処理を採用してもよい。

ところで、式（２）は、「発生符号量は予測残差に比例する」という仮定に基づいたもっとも簡単な例を示したものであるが、例えば「発生符号量は予測残差の関数である」という考えに基づいてさらに一般化すれば、式（２）、式（３）の代わりに次式（５）に示すような、仮想バッファ占有量buf(n)と予想予測残差PRED(n)とをパラメータ変数とする関数ｆを用いることもできる。この関数内部で仮想バッファ占有量buf(n)の値によって予想予測残差PRED(n)から目標符号量BIT_TGT(n)を算出する場合の特性が最適に変化するようにしておけば、目標符号量BIT_TGT(n)を仮想バッファ占有量buf(n)の値に応じてさらに最適に算出することも可能である。
BIT_TGT(n)＝ｆ（buf(n), PRED(n)） …（５）

次に、画像信号処理装置１による、ｎ番目の画像に対応する被符号化画像信号を圧縮符号化する画像圧縮処理について、図６のフローチャートを参照して説明する。

ステップＳ１において、擬似予測残差生成部２は、入力されたｎ番目の画像に対応する被符号化画像信号に基づき、ｎ番目の画像に対応する擬似予測残差BD(n)を算出して予測残差予想部３に出力する。このステップＳ１の処理について、図７のフローチャートを参照して詳述する。

ステップＳ１１において、イントラ予測部１１は、入力されたｎ番目の画像の被符号化画像信号に対し、フレーム内予測を適用してエンコードし、それをデコードしてイントラ予測画像を生成し、差分器１３に出力する。これと同時に、インター予測部１２は、入力されたｎ番目の画像の被符号化画像信号に対し、フレーム間予測を適用してエンコードし、それをデコードしてインター予測画像を生成し、差分器１４に出力する。

ステップＳ１２において、差分器１３は、イントラ予測部１１によって生成されたイントラ予測画像と、その原画であるｎ番目の画像との差分を算出し、その結果をイントラ予測残差として比較部１５に出力する。これと同時に、差分器１４は、インター予測部１２によって生成されたインター予測画像と、その原画であるｎ番目の画像との差分を算出し、その結果をインター予測残差として比較部１５に出力する。

ステップＳ１３において、比較部１５は、差分器１３から入力されたイントラ予測残差と差分器１４から入力されたインター予測残差とを、画像のマクロブロック毎に比較して、その値の小さい方を擬似予測残差BD(n)に採用して後段の予測残差予想部３に出力する。以上で、ステップＳ１の処理の詳述を終了する。

図６に戻る。ステップＳ２において、予測残差予想部３は、擬似予測残差生成部２から入力された、ｎ番目の画像に対応する擬似予測残差BD(n)を、ｎ−１番目の画像の被符号化画像信号に対応する擬似予測残差BD(n-1)と、符号化部５から入力された、ｎ−１番目の画像の被符号化画像信号に対する実際の予測残差SAD(n-1)に基づいて補正し、その補正結果として得られた予想予測残差PRED(n)を目標符号量決定部４に出力する。このステップＳ２の処理について、図８のフローチャートを参照して詳述する。

ステップＳ２１において、予測残差計算部２１は、ｎ−１番目の画像の被符号化画像信号に対する実際の予測残差SAD(n-1)を符号化部５から取得するとともに、ｎ−１番目の画像の被符号化画像信号に対応する擬似予測残差BD(n-1)を遅延部２２から取得する。ステップＳ２２において、予測残差計算部２１は、ｎ番目の画像に対応する擬似予測残差BD(n)を擬似予測残差生成部２から取得する。

ステップＳ２３において、予測残差計算部２１は、式（１）に示されたように、遅延部２２によって１画像分だけ遅延されたｎ−１番目の画像の被符号化画像信号に対応する擬似予測残差BD(n-1)と、符号化部５から入力されているｎ−１番目の画像の被符号化画像信号に対応する予測残差SAD(n-1)との差に調整係数Ｇを乗算した値Ｇ（SAD(n-1)−BD(n-1)）を、擬似予測残差生成部２から入力されたｎ番目の画像に対応する擬似予測残差BD(n)に加算して、ｎ番目の画像の被符号化画像信号に対応する予想予測残差PRED(n)を算出する。以上で、ステップＳ２の処理の詳述を終了する。

図６に戻る。ステップＳ３において、目標符号量決定部４は、予測残差予想部３から入力されたｎ番目の画像に対応する予想予測残差PRED(n)と、仮想バッファ占有量計算部６によって計算された仮想占有量buf(n)に基づき、ｎ番目の画像に対応する目標符号量BIT_TGT(n)を決定して符号化部５に出力する。ステップＳ３の処理について、図９のフローチャートを参照して詳述する。

ステップＳ３１において、変換係数決定部３１は、仮想バッファ占有量計算部６から入力された、ｎ番目の画像に対応する被符号化画像信号を符号化する直前の仮想バッファ占有量buf(n)を、例えば式（３）に代入して、変換係数ｋ(n)を決定する。ステップＳ３２において、乗算部３２は、式（２）に示されたように、予測残差予想部３から入力された予想予測残差PRED(n)に、変換係数決定部３１で決定された変換係数ｋ(n)を乗算することにより、ｎ番目の画像に対応する被符号化画像信号を符号化するときの目標符号量BIT_TGT(n)を算出する。以上で、ステップＳ３の処理の詳述を終了する。

図６に戻る。ステップＳ４において、符号化部５は、入力されたｎ番目の画像に対応する被符号化画像信号を、目標符号量決定部４から入力された目標符号量BIT_TGT(n)と発生符号量が近くなるように圧縮符号化し、符号化画像信号を生成する。また、符号化部５は、圧縮符号化の処理過程で算出した実際の予測残差SADを予測残差予想部３に出力し、符号化画像信号に対応する発生符号量BITを仮想バッファ占有量計算部６に出力する。

なお、目標符号量BIT_TGT(n)と発生符号量が近くなるように圧縮符号化する方法については、任意の方法を適用することができる。例えば、MPEG2 TM５ Step２に採用されている、マクロブロック毎に発生符号量を逐一監視して圧縮率を調整し、目標符号量を達成しようとするアルゴリズムを用いて符号化を行う方法を適用することができる。

また例えば、MPEG2 TM５ Step２においてはピクチャタイプ毎に独立して設けられている仮想バッファ（目標とする符号量と発生符号量の差を示すもの）を単一の仮想バッファにまとめて、各ピクチャで共通な単一の仮想バッファが使用される方法等を適用すれば、符号化部５の動作を安定させることができるのでさらに効果的である。なお、この方法については、本出願人が既に提案済であって特開2003-230151号公報として開示されている。

ただし、特開2003-230151号公報では、特にピクチャのグローバルコンプレクシティの比に基づき、異なるピクチャタイプ間における発生ビット量の差を正規化しようとしているが、符号化部５では、予想された予測残差から直接的に目標符号量を算出している。

Ｉピクチャを符号化する場合、次式（６−１）を用いて仮想バッファ占有量ｄｊを算出し、次式（７−１）を用いて、仮想バッファ占有量ｄｊを量子化スケールコードＱｉに変換する。Ｐピクチャを符号化する場合、次式（６−２）を用いて仮想バッファ占有量ｄｊを算出し、次式（７−２）を用いて、仮想バッファ占有量ｄｊを量子化スケールコードＱｐに変換する。Ｂピクチャを符号化する場合、次式（６−３）を用いて仮想バッファ占有量ｄｊを算出し、次式（７−３）を用いて、仮想バッファ占有量ｄｊを量子化スケールコードＱｂに変換する。
ｄｊ＝ｄ０＋Ｂ(ｊ−１)−(Ｔｉ・(ｊ−１))／MB_COUNT
…（６−１）
ｄｊ＝ｄ０＋(Last_Ibit／Ｔｐ)・(Ｂ(ｊ−１)−(Ｔｐ・(ｊ−１))／MB_COUNT)
…（６−２）
ｄｊ＝ｄ０＋(Last_Ibit／Ｔｂ)・(Ｂ(ｊ−１)−(Ｔｂ・(ｊ−１))／MB_COUNT)
…（６−３）
Ｑｉ＝ｄｊ×ＱＰ／ｒ …（７−１）
Ｑｐ＝ｄｊ×ＱＰ／ｒ …（７−２）
Ｑｂ＝ｄｊ×ＱＰ／ｒ＋ｃ …（７−３）

ただし、ｄ０は、仮想バッファの初期占有量であり、Ｂ（ｊ−１）は、符号化する画像のｊ−１番目のマクロブロックまでの発生符号量の総和であり、Last_Ibitは最後に符号化されたＩピクチャの発生符号量であり、Ｔｉ，Ｔｐ，Ｔｂは、それぞれＩ，Ｐ，Ｂピクチャの目標符号量であり、MB_COUNTは、符号化する画像のマクロブロック数である。また、ＱＰは、MPEG2 TM５で推奨されている値（具体的には３１）であり、ｒは、リアクションパラメータであり、ｃは補正値（例えば、２）である。

なお、式（６−２）において（Last_Ibit／Ｔｐ）を乗算していること、および式（６−３）において（Last_Ibit／Ｔｂ）を乗算していることが、単一の仮想バッファを使用することに対する補正である。また、式（７−３）において、補正値ｃを加算しているように、ピクチャタイプに応じて符号化時の相対的な重み付けを変更するようにしてもよい。

以上で、ｎ番目の画像に対応する被符号化画像信号が符号化されたことになる。そして、次のｎ＋１番目の画像が存在する場合には、ｎ＋１番目の画像に対応する被符号化画像信号に対する画像圧縮処理として、ステップＳ１以降の処理が行われることになる。以上で、画像圧縮処理の説明を終了する。

以上説明したように、本発明を適用した画像信号処理装置１によれば、符号化部５において発生符号量の上限を設定することなく、仮想バッファの占有量が許す範囲で発生符号量を制限することが可能となる。また、仮想バッファの容量が大きいほど高いレートを実現することが可能となる。したがって、特に、符号化部５がMPEG4-AVCに従うものである場合、その仮想バッファの容量は、MPEG2に従う符号化装置のものに比較して大きいので、比較的高いレートを実現できて画質の低下が抑止される。

なお、符号化画像信号は、仮想バッファの容量が許す限り、符号化部５の後段に設けられる記憶装置や復号装置等によって取り出される最大転送レートを一時的に超えてもよく、予め上限レートが設定された場合に比較して、転送効率が高く、画質も高いものとなる。

また、本発明を適用した画像信号処理装置１によれば、仮想バッファの占有量に対応して目標符号量を決定し、目標符号量に基づいて発生符号量を制御するようにしたので、仮想バッファの占有量に直接対応して量子化スケールを段階的に変化させることに比較し、より連続的でスムーズな細やかな発生符号量の制御が可能となる。さらに、連続的でスムーズな細やかな発生符号量の制御ができるので、I,P,Bピクチャの発生符号量のバランスが崩れ難くなり、よって画質の低下が抑止される。

ところで、本発明は、ディジタルビデオカメラにも適用することができる。図１０は、本発明を適用したディジタルビデオカメラの構成例を示している。このディジタルビデオカメラ２００は、被写体を撮影して被符号化画像信号を取得し、取得した被符号化画像信号を、上述した画像信号処理装置１と同様に、圧縮符号化して符号化画像信号を生成し、生成した符号化画像信号を記録媒体に記録するものである。

ディジタルビデオカメラ２００は、大別すると、カメラ部２０１、カメラDSP(Digital Signal Processor)２０２、および制御部２０５から構成される。さらに、ディジタルビデオカメラ２００は、SDRAM(Synchronous Dynamic Random Access Memory)２０３、媒体インタフェース(I/F)２０４、操作部２０６、LCD(Liquid Crystal Display)コントローラ２０７、LCD２０８、外部インタフェース(I/F)２０９、および着脱可能な記録媒体２１０から構成される。

記録媒体２１０は、半導体メモリを用いたいわゆるメモリカード、記録可能なDVD(Digital Versatile Disc)や記録可能なＣＤ(Compact Disc)等の光記録媒体、磁気ディスクなどの種々のものを用いるようにすることが考えられるが、本実施の形態においては、記録媒体２１０として例えばメモリカードを用いるものとして説明する。

カメラ部２０１は、光学ブロック２１１、CCD(Charge Coupled Device)２１２、前処理回路２１３、光学ブロック用ドライバ２１４、CCD用ドライバ２１５、およびタイミング生成回路２１６から構成される。ここで、光学ブロック２１１は、レンズ、フォーカス機構、シャッタ機構、絞り（アイリス）機構などを備えたものである。

制御部２０５は、CPU(Central Processing Unit)２５１、RAM(Random Access Memory)２５２、フラッシュROM(Read Only Memory)２５３、および計時回路２５４が、システムバス２５５を介して接続されているマイクロコンピュータであり、ディジタルビデオカメラ２００の各部を制御することができるものである。

RAM２５２は、処理の途中結果を一時記憶する等、主に作業領域として用いられるものである。フラッシュROM２５３は、CPU２５１において実行する種々のプログラムや、処理に必要になるデータなどが記憶されたものである。また、計時回路２５４は、現在年月日、現在曜日、現在時刻を出力することができるものである。

制御部２０５は、画像の撮影時においては光学ブロック用ドライバ２１４を制御し、光学ブロック２１１を動作させるための駆動信号を形成させて光学ブロック２１１を動作させる。これに対応して、光学ブロック２１１は、フォーカス機構、シャッタ機構、絞り機構を制御することにより、被写体の光画像を取得して、これをCCD２１２に集光する。

CCD２１２は、光学ブロック２１１からの画像を光電変換して出力するものであり、CCDドライバ２１５からの駆動信号に応じて動作し、光学ブロック２１１からの被写体の光画像を取り込むとともに、制御部２０５によって制御されるタイミング生成回路２１６からのタイミング信号に基づいて、取り込んだ被写体の画像（画像情報）を電気信号として前処理回路２１３に供給する。なお、上述のように、タイミング生成回路２１６は、制御部２０５からの制御に応じて、所定のタイミングを提供するタイミング信号を形成するものである。また、CCDドライバ２１５は、タイミング生成回路２１６からのタイミング信号に基づいて、CCD２１２に供給する駆動信号を形成するものである。

前処理回路２１３は、CCD２１２から入力された電気信号の画像情報に対して、CDS(Correlated Double Sampling)処理を行って、S/Nを良好に保つようにするとともに、AGC(Automatic Gain Control)処理を行って、利得を制御し、そして、A/D(Analog/Digital)変換を行って、ディジタル信号とされた画像データ（以下、被符号化画像信号と記述する）を形成し、カメラDSP２０２に出力する。

DSP２０２のAF AE AWB処理部２２１は、カメラ部２０１から供給された被符号化画像信号に対して、ＡＦ(Auto Focus)、ＡＥ(Auto Exposure)、AWB(Auto White Balance)等のカメラ信号処理を施す。圧縮部２２２は、種々のカメラ信号処理が施された被符号化画像信号を圧縮符号化して符号化画像信号を生成する。なお、圧縮部２２２は、図１の画像信号処理装置１と同様に構成され、また同様に動作するものであるので、その詳細な説明は省略する。

圧縮部２２２によって生成された符号化画像信号は、システムバス２５５、および媒体I/F２０４を介して記録媒体２１０に記録される。解凍部２２３は、操作部２０６に対するユーザの操作入力に応じて記録媒体２１０から読み出された符号化画像信号の解凍処理（伸張処理）を行い、解凍後の画像信号を、システムバス２５５を介してLCDコントローラ２０７に供給する。LCDコントローラ２０７は、供給された画像信号をLCD２０８に適したフォーマットに変換してLCD２０８に供給する。これにより、記録媒体２１０に記録されている符号化画像信号に応じた画像が、LCD２０８の表示画面に表示される。

外部I/F２０９は、例えば外部のパーソナルコンピュータと接続して、パーソナルコンピュータから符号化画像信号の供給を受けたり、記録媒体２１０に記録されている符号化画像信号を外部のパーソナルコンピュータ等に供給したりする。また、外部I/F２０９に通信モジュールを接続することにより、例えば、インタネット等のネットワークに接続して、ネットワークを通じて種々のデータを授受したりする。なお、外部I/F２０９は、IEEE(Institute of Electrical and Electronics Engineers)1394、USB(Universal Serial Bus)などの有線用インタフェースとして設けることも可能であるし、光や電波による無線インタフェースとして設けることも可能である。すなわち、外部I/F２０９は、有線、無線のいずれのインタフェースであってもよい。

ところで、一連の処理は、画像信号処理装置１やディジタルビデオカメラ２００のようにハードウェアによって実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１１に示されるように構成された汎用のパーソナルコンピュータ３００に、記録媒体等からインストールされる。

図１１に示されたパーソナルコンピュータ３００は、CPU３０１を内蔵している。CPU３０１にはバス３０４を介して、入出力インタフェース３０５が接続されている。バス３０４には、ROM３０２およびRAM３０３が接続されている。

入出力インタフェース３０５には、ユーザが操作コマンドを入力するキーボード、マウス、リモートコントローラなどの入力デバイスよりなる入力部３０６、映像や音声を出力する出力部３０７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部３０８、インタネットに代表されるネットワークを介して通信処理を実行する通信部３０９、および記録媒体３１１に対してデータを読み書きするドライブ３１０が接続されている。

上述した一連の処理をパーソナルコンピュータ３００に実行させるプログラムは、記録媒体３１１に格納された状態でパーソナルコンピュータに供給され、ドライブ３１０によって読み出されて記憶部３０８に内蔵されるハードディスクドライブにインストールされている。記憶部３０８にインストールされているプログラムは、入力部３０６に入力されるユーザの操作に対応するCPU３０１の指令によって、記憶部３０８からRAM３０３にロードされて実行される。

なお、本明細書において、プログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明を適用した画像信号処理装置の構成例を示すブロック図である。 図１の擬似予測残差生成部の構成例を示すブロック図である。 図１の予測残差予想部の構成例を示すブロック図である。 図１の目標符号量決定部の構成例を示すブロック図である。 仮想バッファ占有量bufと変換係数ｋとの関係を示す図である。 画像信号処理装置による画像圧縮処理を説明するフローチャートである。 図５のステップＳ１を詳細に説明するフローチャートである。 図５のステップＳ２を詳細に説明するフローチャートである。 図５のステップＳ３を詳細に説明するフローチャートである。 本発明を適用したディジタルビデオカメラの構成例を示すブロック図である。 本発明を適用したパーソナルコンピュータの構成例を示すブロック図である。

符号の説明

１ 画像信号処理装置， ２ 擬似予測残差生成部， ３ 予測残差予想部， ４ 目標符号量決定部， ５ 符号化部， １１ イントラ予測部， １２ インター予測部， １３，１４ 差分器， １５ 比較部， ２１ 予測残差計算部， ３１ 変換係数決定部， ３２ 乗算部， ２０１ カメラ部， ２２２ 圧縮部， ３０１ CPU， ３１１ 記録媒体

Claims (12)

1. 動画を表示するための画像信号を所定の符号化方式に従って圧縮符号化する画像信号処理装置において、
   設定された目標符号量に従い、動画を構成する画像に対応する前記画像信号を圧縮符号化する符号化手段と、
   前記符号化手段によって発生された符号量を監視するためのバッファの占有量を検出する検出手段と、
   前記検出手段によって検出された前記占有量に基づいて変換係数を決定する決定手段と、
   前記画像に対応する画像信号が圧縮符号化される前に、前記画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想手段と、
   前記予測残差予想手段によって予想された予想予測残差と、前記決定手段によって決定された前記変換係数とに基づき、前記画像に対応する画像信号を圧縮符号化するときの前記目標符号量を設定する設定手段と
   を含むことを特徴とする画像信号処理装置。
2. 前記バッファは、前記画像信号処理装置の後段における転送処理、記録処理、または復号処理のうちの少なくとも１つが考慮された仮想バッファである
   ことを特徴とする請求項１に記載の画像信号処理装置。
3. 前記設定手段は、可変ビットレート方式を採用し、前記予測残差予想手段によって予想された前記予想予測残差と、前記決定手段によって決定された前記変換係数との乗算結果を、前記画像に対応する画像信号を圧縮符号化するときの前記目標符号量に設定する
   ことを特徴とする請求項１に記載の画像信号処理装置。
4. 前記決定手段は、前記占有量を、前記占有量と前記変換係数との対応関係を示す関数に代入して、前記変換係数を決定する
   ことを特徴とする請求項１に記載の画像信号処理装置。
5. 前記占有量と前記変換係数との対応関係を示す前記関数は、指数を用いた関数である
   ことを特徴とする請求項４に記載の画像信号処理装置。
6. 前記設定手段は、可変ビットレート方式を採用し、前記予測残差予想手段によって予想された前記予想予測残差と、前記決定手段によって決定された前記変換係数とを変数とする関数を用いて、前記画像に対応する画像信号を圧縮符号化するときの前記目標符号量に設定する
   ことを特徴とする請求項１に記載の画像信号処理装置。
7. 前記所定の符号化方式は、MPEG(Moving Picture Experts Group)方式である
   ことを特徴とする請求項１に記載の画像信号処理装置。
8. 前記所定の符号化方式は、MPEG4-AVC(Advanced Video Coding)方式である
   ことを特徴とする請求項１に記載の画像信号処理装置。
9. 動画を表示するための画像信号を所定の符号化方式に従って圧縮符号化する画像信号処理方法において、
   設定された目標符号量に従い、動画を構成する画像に対応する前記画像信号を圧縮符号化する符号化ステップと、
   前記符号化ステップの処理で発生された符号量を監視するためのバッファの占有量を検出する検出ステップと、
   前記検出ステップの処理で検出された前記占有量に基づいて変換係数を決定する決定ステップと、
   前記画像に対応する画像信号が圧縮符号化される前に、前記画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想ステップと、
   前記予測残差予想ステップの処理で予想された予想予測残差と、前記決定ステップの処理で決定された前記変換係数とに基づき、前記画像に対応する画像信号を圧縮符号化するときの前記目標符号量を設定する設定ステップと
   を含むことを特徴とする画像信号処理方法。
10. 動画を表示するための画像信号を所定の符号化方式に従って圧縮符号化するためのプログラムであって、
    設定された目標符号量に従い、動画を構成する画像に対応する前記画像信号を圧縮符号化する符号化ステップと、
    前記符号化ステップの処理で発生された符号量を監視するためのバッファの占有量を検出する検出ステップと、
    前記検出ステップの処理で検出された前記占有量に基づいて変換係数を決定する決定ステップと、
    前記画像に対応する画像信号が圧縮符号化される前に、前記画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想ステップと、
    前記予測残差予想ステップの処理で予想された予想予測残差と、前記決定ステップの処理で決定された前記変換係数とに基づき、前記画像に対応する画像信号を圧縮符号化するときの前記目標符号量を設定する設定ステップと
    を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。
11. 動画を表示するための画像信号を所定の符号化方式に従って圧縮符号化するためのプログラムであって、
    設定された目標符号量に従い、動画を構成する画像に対応する前記画像信号を圧縮符号化する符号化ステップと、
    前記符号化ステップの処理で発生された符号量を監視するためのバッファの占有量を検出する検出ステップと、
    前記検出ステップの処理で検出された前記占有量に基づいて変換係数を決定する決定ステップと、
    前記画像に対応する画像信号が圧縮符号化される前に、前記画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想ステップと、
    前記予測残差予想ステップの処理で予想された予想予測残差と、前記決定ステップの処理で決定された前記変換係数とに基づき、前記画像に対応する画像信号を圧縮符号化するときの前記目標符号量を設定する設定ステップと
    を含む処理をコンピュータに実行させることを特徴とするプログラム。
12. 撮影した動画に対応する画像信号を所定の符号化方式に従って圧縮符号化し、情報記録媒体に記録するビデオカメラにおいて、
    被写体の動画を撮影し、前記画像信号を生成する撮影手段と、
    設定された目標符号量に従い、前記撮影手段によって撮影された前記動画を構成する画像に対応する前記画像信号を圧縮符号化する符号化手段と、
    前記符号化手段によって発生された符号量を監視するためのバッファの占有量を検出する検出手段と、
    前記検出手段によって検出された前記占有量に基づいて変換係数を決定する決定手段と、
    前記画像に対応する画像信号が圧縮符号化される前に、前記画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想手段と、
    前記予測残差予想手段によって予想された予想予測残差と、前記決定手段によって決定された前記変換係数とに基づき、前記画像に対応する画像信号を圧縮符号化するときの前記目標符号量を設定する設定手段と、
    前記符号化手段によって圧縮符号化された前記画像信号を前記情報記録媒体に記録する記録手段と
    を含むことを特徴とするビデオカメラ。

Images