JP2005303578A - 画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラ - Google Patents
画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラ Download PDFInfo
- Publication number
- JP2005303578A JP2005303578A JP2004115229A JP2004115229A JP2005303578A JP 2005303578 A JP2005303578 A JP 2005303578A JP 2004115229 A JP2004115229 A JP 2004115229A JP 2004115229 A JP2004115229 A JP 2004115229A JP 2005303578 A JP2005303578 A JP 2005303578A
- Authority
- JP
- Japan
- Prior art keywords
- code amount
- image signal
- generated code
- encoding
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】画像信号をVBRを適用して符号化するに際し、発生符号量の最大レートを精度良く制御する。
【解決手段】 VBR割り当て部31は、予測残差予想部からの予想予測残差PRED(n)に係数kを乗算するか、関数f(PRED(n))を用いてVBR目標符号量BIT_VBR(n)を算出する。CBR割り当て部32は、発生符号量がGOP単位で所定の固定値となるように、ピクチャタイプに応じた計算式を用いてCBR目標符号量BIT_CBR(n)を算出する。比較部33は、VBR目標符号量BIT_VBRがCBR目標符号量BIT_CBRよりも小さい場合にはVBR目標符号量BIT_VBRを、VBR目標符号量BIT_VBRがCBR目標符号量BIT_CBR以上である場合にはCBR目標符号量BIT_CBRを目標符号量BIT_TGTとして出力する。本発明は、ディジタルビデオカメラに適用することができる。
【選択図】図4
【解決手段】 VBR割り当て部31は、予測残差予想部からの予想予測残差PRED(n)に係数kを乗算するか、関数f(PRED(n))を用いてVBR目標符号量BIT_VBR(n)を算出する。CBR割り当て部32は、発生符号量がGOP単位で所定の固定値となるように、ピクチャタイプに応じた計算式を用いてCBR目標符号量BIT_CBR(n)を算出する。比較部33は、VBR目標符号量BIT_VBRがCBR目標符号量BIT_CBRよりも小さい場合にはVBR目標符号量BIT_VBRを、VBR目標符号量BIT_VBRがCBR目標符号量BIT_CBR以上である場合にはCBR目標符号量BIT_CBRを目標符号量BIT_TGTとして出力する。本発明は、ディジタルビデオカメラに適用することができる。
【選択図】図4
Description
本発明は、画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラに関し、特に、画像信号を圧縮符号化するときの圧縮率を制御する場合に用いて好適な画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラに関する。
例えば、動画像データをディジタル化して情報記録媒体に記録したり、インタネット等に代表されるネットワークを介して伝送したりする場合、そのデータ量が膨大であることから、動画像データを圧縮符号化することが行われている。動画像データの代表的な符号化方式としては、動き補償予測符号化方式を挙げることができる。
動き補償予測符号化方式の具体的なものとしては、MPEG(Moving picture experts group)符号化方式がある。MPEG方式では、1フレームまたは1フィールドが、16ライン×16画素で構成されるマクロブロックに分割され、このマクロブロック単位で、動き補償予測符号化が行われる。
動き補償予測符号化方式は、画像の時間軸方向の相関を利用する符号化方法であり、参照する画像(参照画像)に対する、符号化対象の画像(符号化対象画像)の動きベクトルを検出し、その動きベクトルにしたがって、既に符号化されて復号化された参照画像を動き補償することにより、予測画像を生成する。そして、この予測画像に対する、符号化対象画像の予測残差を求め、この予測残差と動きベクトルを符号化することにより、動画像の情報量が圧縮される。
動き補償予測符号化方式には、大別して、イントラ符号化と、インター符号化の2種類の符号化方式がある。イントラ符号化では、符号化対象のマクロブロックに関して、符号化対象画像の情報がそのまま符号化され、インター符号化では、符号化対象画像に時間的に前後する画像を参照画像として、その参照画像から生成される予測画像と、自身の情報との差分が符号化される。
MPEG方式では、各画像が、Iピクチャ(Intra coded picture)、Pピクチャ(Predictive coded picture)、またはBピクチャ(Bidirectionally predictive picture)のうちのいずれかとして符号化される。また、MPEG方式では、GOP(Group of picture)単位で処理が行われる。
このGOP単位で符号化され、その結果得られた符号化データを情報記録媒体に記録したり、伝送したりするときには、符号化データを伸長復号したときの画質を高く保ちつつ、符号化データのデータ量が、情報記録媒体の記録容量以下、あるいは通信回線の伝送容量以下となるように、符号圧縮率を正確に制御する必要がある。
符号圧縮率の制御方法としては、CBR(Constant Bit Rate)とVBR(Variable Bit Rate)が知られている。
CBRを適用した場合、GOP単位でのビットレートが固定されているので、情報記録媒体に最大で何時間分の映像を記録できるかなどの情報を正確に見積もることができる。しかしながら、符号化する画像の複雑さ等に応じて符号量を増減させることができないので効率が悪く、画質的にも良好ではない場合があるという問題がある。
VBRを適用する場合、例えば、量子化スケールを固定して符号化する方法がある。この場合、圧縮率が固定されるため、仕上がりレートが画像の複雑さ等に応じて一意に決まってしまい、用途に応じた最大レートを保証することができない、したがって、情報記録媒体に最大で何時間分の映像を記録できるかなどの情報を正確に見積もることができないという問題がある。
この問題を解決するため、従来から、実際の符号化に先立ち、符号化しようとする画像の発生符号量を正確に見積もり、見積もり結果に基づいて圧縮率を制御することが行われている。
例えば、発生符号量を正確に見積もるためには、実際の符号化に先立って、圧縮率に関わるパラメータを仮に設定して、符号化を行う方法がある。しかしながら、このような方法を用いると、実際の符号化で必要とされる演算量の倍の演算を行う必要があるので効率が悪いという問題があった。
なお、実際の符号化で必要とされる演算量の倍の演算を行うことなく、画像の予測残差に基づいて発生符号量を見積もることのできる発明が、本出願人により既に提案済である(特許文献1参照)。
ところで、MPEGの一種としての、例えばMPEG2(ISO/IEC13818-2)は、汎用画像符号化方式として定義されており、飛び越し走査画像および順次走査画像の双方、並びに標準解像度画像および高精細画像を網羅する標準で、プロフェッショナル用途およびコンシューマ用途の広範なアプリケーションに現在広く用いられている。MPEG2方式を用いることにより、例えば720×480画素を持つ標準解像度の飛び越し走査画像であれば4乃至8Mbps、1920×1088画素を持つ高解像度の飛び越し走査画像であれば18乃至22Mbpsの符号量(ビットレート)を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
MPEG2方式は、主としてテレビジョン放送用に適合する高画質符号化を対象としていたが、MPEG1方式よりも低い符号量(ビットレート)、換言すれば、MPEG1方式よりも高い圧縮率の符号化方式には対応していなかった。
そこで、MPEG1方式よりも高い圧縮率の符号化方式に対するニーズに応えるべくしてMPEG4符号化方式の標準化が行われ、1998年12月にISO/IEC 14496-2としてその規格が国際標準に承認された。
更に、近年、当初テレビ会議用の画像符号化を目的として、H.264(ITU-T Q6/16VCEG)という標準の規格化が進んでいる。H.264は、MPEG2方式やMPEG4方式といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
また、現在、MPEG4の活動の一環として、このH.264をベースに、H.264ではサポートされない機能も取り入れて、より高い符号化効率を実現する標準化がJVT(Joint Video Team)によって行われている。以下、JVTにより標準化が行われている符号化方式を、JVT CodecまたはH.264|MPEG4−AVC)と記述する。
ところで、MPEG4−AVCにおいてVBRを適用するためも、画像を実際に符号化したときの発生符号量を事前に見積もることが必要となる。しかしながら、特許文献1で提案されている発明では、MPEG4−AVCのように予測モードが多い符号化方式に対して、画像を実際に符号化したときの発生符号量を事前に正確に見積もることができなかった。したがって、MPEG4−AVCにVBRを適用した場合の発生符号量の最大レートを精度良く制御することができないという課題があった。
本発明はこのような状況に鑑みてなされたものであり、画像信号をVBRを適用して符号化するに際し、発生符号量の最大レートを精度良く制御できるようにするものである。
本発明の画像信号処理装置は、動画像を構成する静止画像に対して、静止画像に対応する画像信号が圧縮符号化される前に、静止画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想手段と、予測残差予想手段によって予想された予想予測残差に基づき、可変ビットレート方式を採用して静止画像に対応する画像信号を圧縮符号化する場合の第1の発生符号量を算出する第1の発生符号量算出手段と、予測残差予想手段によって予想された予想予測残差に基づき、固定ビットレート方式を採用して静止画像に対応する画像信号を圧縮符号化する場合の第2の発生符号量を算出する第2の発生符号量算出手段と、第1の発生符号量が第2の発生符号量よりも小さい場合には第1の発生符号量を、第1の発生符号量が第2の発生符号量以上である場合には第2の発生符号量を、静止画像に対応する画像信号を圧縮符号化するときの目標符号量に設定する設定手段と、設定手段によって設定された目標符号量に従い、静止画像に対応する画像信号を圧縮符号化する符号化手段とを含むことを特徴とする。
前記設定手段は、符号化手段からフィードバックされる、符号化手段に内蔵された復号時を想定した仮想バッファの符号占有量に基づいて第3の発生符号量を算出し、第3の発生符号量が第1の発生符号量または第2の発生符号量のうちの目標符号量として設定された方よりも小さい場合には、第3の発生符号量を目標符号量に設定するようにすることができる。
前記符号化手段は、設定手段によって設定された目標符号量に従い、静止画像に対応する画像信号を圧縮符号化するとき、異なるピクチャタイプで共通の仮想バッファを使用して、量子化スケールを決定するようにすることができる。
前記符号化手段は、PピクチャまたはBピクチャによる単一の仮想バッファの占有量を、直近に圧縮符号化されたIピクチャの発生符号量に基づいて補正するようにすることができる。
前記符号化手段は、単一の仮想バッファの占有量を量子スケールコードに変換する際、ピクチャタイプに応じて補正された変換式を用いるようにすることができる。
前記所定の符号化方式は、MPEG方式とすることができる。
前記所定の符号化方式は、MPEG4-AVC方式とすることができる。
本発明の画像信号処理方法は、動画像を構成する静止画像に対して、静止画像に対応する画像信号が圧縮符号化される前に、静止画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想ステップと、予測残差予想ステップの処理で予想された予想予測残差に基づき、可変ビットレート方式を採用して静止画像に対応する画像信号を圧縮符号化する場合の第1の発生符号量を算出する第1の発生符号量算出ステップと、予測残差予想ステップの処理で予想された予想予測残差に基づき、固定ビットレート方式を採用して静止画像に対応する画像信号を圧縮符号化する場合の第2の発生符号量を算出する第2の発生符号量算出ステップと、第1の発生符号量が第2の発生符号量よりも小さい場合には第1の発生符号量を、第1の発生符号量が第2の発生符号量以上である場合には第2の発生符号量を、静止画像に対応する画像信号を圧縮符号化するときの目標符号量に設定する設定ステップと、設定ステップの処理で設定された目標符号量に従い、静止画像に対応する画像信号を圧縮符号化する符号化ステップとを含むことを特徴とする。
本発明の記録媒体のプログラムは、動画像を構成する静止画像に対して、静止画像に対応する画像信号が圧縮符号化される前に、静止画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想ステップと、予測残差予想ステップの処理で予想された予想予測残差に基づき、可変ビットレート方式を採用して静止画像に対応する画像信号を圧縮符号化する場合の第1の発生符号量を算出する第1の発生符号量算出ステップと、予測残差予想ステップの処理で予想された予想予測残差に基づき、固定ビットレート方式を採用して静止画像に対応する画像信号を圧縮符号化する場合の第2の発生符号量を算出する第2の発生符号量算出ステップと、第1の発生符号量が第2の発生符号量よりも小さい場合には第1の発生符号量を、第1の発生符号量が第2の発生符号量以上である場合には第2の発生符号量を、静止画像に対応する画像信号を圧縮符号化するときの目標符号量に設定する設定ステップと、設定ステップの処理で設定された目標符号量に従い、静止画像に対応する画像信号を圧縮符号化する符号化ステップとを含むことを特徴とする。
本発明のプログラムは、動画像を構成する静止画像に対して、静止画像に対応する画像信号が圧縮符号化される前に、静止画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想ステップと、予測残差予想ステップの処理で予想された予想予測残差に基づき、可変ビットレート方式を採用して静止画像に対応する画像信号を圧縮符号化する場合の第1の発生符号量を算出する第1の発生符号量算出ステップと、予測残差予想ステップの処理で予想された予想予測残差に基づき、固定ビットレート方式を採用して静止画像に対応する画像信号を圧縮符号化する場合の第2の発生符号量を算出する第2の発生符号量算出ステップと、第1の発生符号量が第2の発生符号量よりも小さい場合には第1の発生符号量を、第1の発生符号量が第2の発生符号量以上である場合には第2の発生符号量を、静止画像に対応する画像信号を圧縮符号化するときの目標符号量に設定する設定ステップと、設定ステップの処理で設定された目標符号量に従い、静止画像に対応する画像信号を圧縮符号化する符号化ステップとを含む処理をコンピュータに実行させることを特徴とする。
本発明のビデオカメラは、被写体の動画像を撮影し、画像信号を生成する撮影手段と、撮影手段によって撮影された動画像を構成する静止画像に対して、静止画像に対応する画像信号が圧縮符号化される前に、静止画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想手段と、予測残差予想手段によって予想された予想予測残差に基づき、可変ビットレート方式を採用して静止画像に対応する画像信号を圧縮符号化する場合の第1の発生符号量を算出する第1の発生符号量算出手段と、予測残差予想手段によって予想された予想予測残差に基づき、固定ビットレート方式を採用して静止画像に対応する画像信号を圧縮符号化する場合の第2の発生符号量を算出する第2の発生符号量算出手段と、第1の発生符号量が第2の発生符号量よりも小さい場合には第1の発生符号量を、第1の発生符号量が第2の発生符号量以上である場合には第2の発生符号量を、静止画像に対応する画像信号を圧縮符号化するときの目標符号量に設定する設定手段と、設定手段によって設定された目標符号量に従い、静止画像に対応する画像信号を圧縮符号化する符号化手段と、符号化手段によって圧縮符号化された画像信号を情報記録媒体に記録する記録手段とを含むことを特徴とする。
本発明の画像信号処理装置および方法、プログラム、並びにビデオカメラにおいては、動画像を構成する静止画像に対して、静止画像に対応する画像信号が圧縮符号化される前に、静止画像に対応する画像信号が圧縮符号化される過程で算出される予測残差が予想され、予想された予想予測残差に基づき、可変ビットレート方式を採用して静止画像に対応する画像信号を圧縮符号化する場合の第1の発生符号量と、固定ビットレート方式を採用して静止画像に対応する画像信号を圧縮符号化する場合の第2の発生符号量が算出される。さらに、第1の発生符号量が第2の発生符号量よりも小さい場合には第1の発生符号量が、第1の発生符号量が第2の発生符号量以上である場合には第2の発生符号量が、静止画像に対応する画像信号が圧縮符号化されるときの目標符号量に設定され、設定された目標符号量に従い、静止画像に対応する画像信号が圧縮符号化される。
本発明によれば、画像信号をVBRを適用して符号化するに際し、発生符号量の最大レートを精度良く制御することが可能となる。
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加されたりする発明の存在を否定するものではない。
請求項1に記載の画像信号処理装置(例えば、図1の画像信号処理装置1)は、動画像を構成する静止画像(フレーム画像またはフィールド画像)に対して、静止画像に対応する画像信号が圧縮符号化される前に、静止画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想手段(例えば、図1の予測残差予想部3)と、予測残差予想手段によって予想された予想予測残差に基づき、可変ビットレート方式を採用して静止画像に対応する画像信号を圧縮符号化する場合の第1の発生符号量を算出する第1の発生符号量算出手段(例えば、図4のVBR割り当て部31)と、予測残差予想手段によって予想された予想予測残差に基づき、固定ビットレート方式を採用して静止画像に対応する画像信号を圧縮符号化する場合の第2の発生符号量を算出する第2の発生符号量算出手段(例えば、図4のCBR割り当て部32)と、第1の発生符号量が第2の発生符号量よりも小さい場合には第1の発生符号量を、第1の発生符号量が第2の発生符号量以上である場合には第2の発生符号量を、静止画像に対応する画像信号を圧縮符号化するときの目標符号量に設定する設定手段(例えば、図4の比較部33)と、設定手段によって設定された目標符号量に従い、静止画像に対応する画像信号を圧縮符号化する符号化手段(例えば、図1の符号化部5)とを含むことを特徴とする。
請求項8に記載の画像信号処理方法は、動画像を構成する静止画像に対して、静止画像に対応する画像信号が圧縮符号化される前に、静止画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想ステップ(例えば、図5のステップS2)と、予測残差予想ステップの処理で予想された予想予測残差に基づき、可変ビットレート方式を採用して静止画像に対応する画像信号を圧縮符号化する場合の第1の発生符号量を算出する第1の発生符号量算出ステップ(例えば、図8のステップS31)と、予測残差予想ステップの処理で予想された予想予測残差に基づき、固定ビットレート方式を採用して静止画像に対応する画像信号を圧縮符号化する場合の第2の発生符号量を算出する第2の発生符号量算出ステップ(例えば、図8のステップS32)と、第1の発生符号量が第2の発生符号量よりも小さい場合には第1の発生符号量を、第1の発生符号量が第2の発生符号量以上である場合には第2の発生符号量を、静止画像に対応する画像信号を圧縮符号化するときの目標符号量に設定する設定ステップ(例えば、図8のステップS33乃至S35)と、設定ステップの処理で設定された目標符号量に従い、静止画像に対応する画像信号を圧縮符号化する符号化ステップ(例えば、図5のステップS4)とを含むことを特徴とする。
請求項11に記載のビデオカメラ(例えば、図18のディジタルビデオカメラ200)は、被写体の動画像を撮影し、画像信号を生成する撮影手段(例えば、図18のカメラ部201)と、撮影手段によって撮影された動画像を構成する静止画像に対して、静止画像に対応する画像信号が圧縮符号化される前に、静止画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想手段(例えば、図1の予測残差予想部3)と、予測残差予想手段によって予想された予想予測残差に基づき、可変ビットレート方式を採用して静止画像に対応する画像信号を圧縮符号化する場合の第1の発生符号量を算出する第1の発生符号量算出手段(例えば、図4のVBR割り当て部31)と、予測残差予想手段によって予想された予想予測残差に基づき、固定ビットレート方式を採用して静止画像に対応する画像信号を圧縮符号化する場合の第2の発生符号量を算出する第2の発生符号量算出手段(例えば、図4のCBR割り当て部32)と、第1の発生符号量が第2の発生符号量よりも小さい場合には第1の発生符号量を、第1の発生符号量が第2の発生符号量以上である場合には第2の発生符号量を、静止画像に対応する画像信号を圧縮符号化するときの目標符号量に設定する設定手段(例えば、図4の比較部33)と、設定手段によって設定された目標符号量に従い、静止画像に対応する画像信号を圧縮符号化する符号化手段(例えば、図1の符号化部5)と、符号化手段によって圧縮符号化された画像信号を情報記録媒体に記録する記録手段(例えば、図18の媒体I/F204)とを含むことを特徴とする。
なお、本発明の記録媒体に記録されているプログラム、および本発明のプログラムの請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係は、上述した本発明の情報処理方法のものと同様であるので、その記載は省略する。
以下、本発明の一実施の形態について説明する。図1は、本発明を適用した画像信号処理装置の構成例を示している。この画像信号処理装置1は、入力される動画像信号(以下、被符号化画像信号と記述する)を圧縮符号化して、被符号化画像信号よりもデータ量やビットレートの小さな符号化画像信号を生成するものであり、疑似予測残差生成部2、予測残差予想部3、目標符号量決定部4、および符号化部5から構成される。
疑似予測残差生成部2は、入力される被符号化画像信号に基づき、後段の符号化部5において被符号化画像信号が実際に符号化されるときに算出される予測残差SADの擬似的な値(以下、疑似予測残差BDと記述する)を算出して予測残差予想部3に出力する。以下、n番目の画像(フレーム画像またはフィールド画像)の被符号化画像信号に対応する疑似予測残差をBD(n)と記述する。
予測残差予想部3は、疑似予測残差生成部2から入力された、n番目の画像に対応する疑似予測残差BD(n)を、n−1番目の画像の被符号化画像信号に対応する疑似予測残差BD(n-1)と、符号化部5から入力されるn−1番目の画像の被符号化画像信号に対応する予測残差SAD(n-1)に基づいて補正し、その補正結果として得られた予想予測残差PRED(n)を目標符号量決定部4に出力する。
目標符号量決定部4は、予測残差予想部3から入力された予想予測残差PRED(n)に基づき、n番目の画像を符号化するときにVBR(Variable Bit Rate)を適用した場合における目標符号量(以下、VBR目標符号量BIT_VBR(n)と記述する)と、CBR(Constant Bit Rate)を適用した場合における目標符号量(以下、CBR目標符号量BIT_CBR(n)と記述する)とを算出し、これらの一方を目標符号量BIT_TGT(n)として符号化部5に出力する。
さらに、目標符号量決定部4に対して符号化部5から、VBVバッファ(またはCPBバッファ)を占めるデータ量を供給するようにして、目標符号量決定部4が、VBVバッファ(またはCPBバッファ)を占めるデータ量に基づいてVBV目標符号量BIT_VBV(n)を算出し、VBV目標符号量BIT_VBV(n)がVBR目標符号量BIT_VBR(n)およびCBR目標符号量BIT_CBR(n)よりも小さい場合、VBV目標符号量BIT_VBV(n)を目標符号量BIT_TGTに設定するようにすることもできる。ここで、VBVバッファ(またはCPBバッファ)とは、符号化部5に設けられている仮想的なバッファであり、符号化画像信号の復号時にオーバーフローやアンダーフローが発生しないように、実際の発生符号量を監視するものである。ここで、VBVバッファは、MPEG2における用語であり、CPBバッファは、MPEG4−AVC(Advanced Video Coding)における用語である。
符号化部5は、動き補償予測符号化方式を適用した、例えば、MPEG2方式、MPEG4方式、MPEG4-AVC方式等の符号化装置であり、入力された被符号化画像信号を、目標符号量決定部4から入力される目標符号量BIT_TGTに従って圧縮符号化し、符号化画像信号を生成する。また、符号化部5は、圧縮符号化の処理過程で算出した実際の予測残差SADを予測残差予想部3に出力する。
図2は、疑似予測残差生成部2の構成例を示している。図2の構成例において、イントラ予測部11は、入力された被符号化画像信号にフレーム内予測を適用してイントラ予測画像を生成し、差分器13に出力する。インター予測部12は、入力された被符号化画像信号にフレーム間予測を適用してインター予測画像を生成し、差分器14に出力する。なお、イントラ予測部11およびインター予測部12は、例えば、MPEG2方式やMPEG4方式、MPEG4-AVC方式等が適用される符号化部5に内蔵されたイントラ予測部およびインター予測部と同等の精度でイントラ予測画像あるいはインター予測画像を生成できるようなものである必要はなく、近似的にこれらと同様の傾向を示すイントラ予測画像あるいはインター予測画像を生成できればよい。
差分器13は、イントラ予測部11によって生成されたイントラ予測画像とそれに対応する被符号化画像信号の画像との差分を算出し、その結果をイントラ予測残差として比較部15に出力する。差分器14は、インター予測部12によって生成されたインター予測画像とそれに対応する被符号化画像信号の画像との差分を算出し、その結果をインター予測残差として比較部15に出力する。比較部15は、差分器13から入力されたイントラ予測残差と差分器14から入力されたインター予測残差とをマクロブロック毎に比較し、その値の小さい方を疑似予測残差BDに採用して後段の予測残差予想部3に出力する。なおここでの比較はマクロブロックの単位に限定することなく、被符号化画像を任意の単位で分割した領域ごとに行ってもよい。
図3は、予測残差予想部3の構成例を示している。図3の構成例において、疑似予測残差生成部2からのn(n=1,2,…)番目の画像に対応する疑似予測残差BD(n)は、予測残差計算部21および遅延部22に入力される。予測残差計算部21は、次式(1)に示されるように、遅延部22によって1画像分だけ遅延されたn−1番目の画像の被符号化画像信号に対応する疑似予測残差BD(n-1)と、符号化部5によって実際に計算されたn−1番目の画像の被符号化画像信号に対応する予測残差SAD(n-1)との差に調整係数Gを乗算した値G(SAD(n-1)−BD(n-1))を、疑似予測残差生成部2から入力されたn番目の画像に対応する疑似予測残差BD(n)に加算することにより、n番目の画像の被符号化画像信号に対応する予想予測残差PRED(n)を算出する。なお、調整係数Gは、1以下の正数であり、例えば0.9とする。
PRED(n)=BD(n)+G(SAD(n-1)−BD(n-1)) …(1)
PRED(n)=BD(n)+G(SAD(n-1)−BD(n-1)) …(1)
なお、n−1番目の画像の被符号化画像信号に対応する疑似予測残差BD(n-1)と予測残差SAD(n-1)との代わりに、n−1番目以前の例えばn−2番目の画像の被符号化画像信号に対応する疑似予測残差BD(n-2)と予測残差SAD(n-2)とを用いるようにしてもよい。
ただし、0番目の画像が存在しないので、予測残差予想部3では、1番目の画像に対応する予想予測残差PRED(1)を算出することはできない。したがって、予測残差予想部3は、2番目以降の画像に対応する予想予測残差PREDを算出するものとする。なお、1番目の画像に対応する被符号化画像信号の圧縮率制御については後述する。
図4は、目標符号量決定部4の構成例を示している。図4の構成例において、VBR割り当て部31は、例えば、次式(2)に示すように、予測残差予想部3から入力される予想予測残差PRED(n)に所定の係数k(例えば、0.2)を乗算するか、または次式(3)に示すように、予測残差予想部3から入力される予想予測残差PRED(n)を独立変数とする、関数f(PRED(n))を用いてVBR目標符号量BIT_VBR(n)を算出する。
BIT_VBR(n)=k・PRED(n) …(2)
BIT_VBR(n)=f(PRED(n)) …(3)
BIT_VBR(n)=k・PRED(n) …(2)
BIT_VBR(n)=f(PRED(n)) …(3)
なお、係数kおよび関数f(x)は、被符号化画像信号の画質や、符号化画像信号の用途に応じて任意に決定してもよい。また、係数kおよび関数f(x)は、画像のピクチャタイプに応じて変更するようにしてもよい。
CBR割り当て部32は、予測残差予想部3から入力される予想予測残差PRED(n)に基づき、被符号化画像信号を符号化したときの発生符号量がGOP(Group Of Picture)単位で所定の固定値となるように、被符号化画像信号のピクチャタイプに応じて、次式(4−1)乃至(4−3)のうちの1式を用いてCBR目標符号量BIT_CBR(n)を算出して、比較部33に出力する。
n番目のピクチャがIピクチャの場合のCBR目標符号量BIT_CBR(n)_I
=R/(1+(Np・PREDp)/(PRED(n)・Kp)+(Nb・PREDb)/(PRED(n)・Kb))
…(4−1)
n番目のピクチャがPピクチャの場合のCBR目標符号量BIT_CBR(n)_P
=R/(Np+(Nb・PREDb・Kp)/(PRED(n)・Kb)) …(4−2)
n番目のピクチャがBピクチャの場合のCBR目標符号量BIT_CBR(n)_B
=R/(Nb+(Np・PREDp・Kb)/(PRED(n)・Kp)) …(4−3)
=R/(1+(Np・PREDp)/(PRED(n)・Kp)+(Nb・PREDb)/(PRED(n)・Kb))
…(4−1)
n番目のピクチャがPピクチャの場合のCBR目標符号量BIT_CBR(n)_P
=R/(Np+(Nb・PREDb・Kp)/(PRED(n)・Kb)) …(4−2)
n番目のピクチャがBピクチャの場合のCBR目標符号量BIT_CBR(n)_B
=R/(Nb+(Np・PREDp・Kb)/(PRED(n)・Kp)) …(4−3)
ただし、式(4−1)乃至(4−3)において、Rは、GOPに対して予め割り当てられている符号量のうちのいずれの画像にも割り当てられていない未割り当ての符号量を示す仮想バッファの値であり、式(4−1)乃至(4−3)のうちの1式が演算される毎、演算結果がフィードバックされて、その分だけ減算された値となる。例えば、GOPを構成する画像のピクチャタイプがI,B,B,P,…の順である場合、符号化はI,P,B,B,P,…の順に行われるので、始めに、式(4−1)のRに、その初期値を代入してBIT_CBR(n)_Iを演算し、次に、式(4−2)のRに、その初期値から先に演算したBIT_CBR(n)_Iを減算した値を代入してBIT_CBR(n)_Pを演算する。すなわち、Rはピクチャを符号化するたびにそのピクチャの目標符号量で減じられる。
Npは、GOPを構成する全画像数のうち、目標符号量BIT_CBR(n)_Pがまだ演算されていないPピクチャの数である。Nbは、GOPを構成する全画像数のうち、目標符号量BIT_CBR(n)_Bがまだ演算されていないBピクチャの数である。PREDpは、目標符号量BIT_CBR(n)を算出しようとする画像の以前であって最も近くのPピクチャに対応する予想予測残差である。PREDbは、目標符号量BIT_CBR(n)を算出しようとする画像の以前であって最も近くのBピクチャに対応する予想予測残差である。Kpは、Pピクチャの重み付け係数である。Kbは、Bピクチャの重み付け係数である。
なお、式(4−1)乃至(4−3)の代わりに、MPEG2 TM(Test Model)5 Step1に採用されている次式(5−1)乃至(5−3)を用い、被符号化画像信号のピクチャタイプに応じてCBR目標符号量BIT_CBR(n)を算出するようにしてもよい。
n番目のピクチャがIピクチャの場合の目標符号量BIT_CBR(n)_I
=R/(1+(Np・Xp)/(Xi・Kp)+(Nb・Xb)/(Xi・Kb))
…(5−1)
n番目のピクチャがPピクチャの場合の目標符号量BIT_CBR(n)_P
=R/(Np+(Nb・Xb・Kp)/(Xp・Kb)) …(5−2)
n番目のピクチャがBピクチャの場合の目標符号量BIT_CBR(n)_B
=R/(Nb+(Np・Xp・Kb)/(Xb・Kp)) …(5−3)
n番目のピクチャがIピクチャの場合の目標符号量BIT_CBR(n)_I
=R/(1+(Np・Xp)/(Xi・Kp)+(Nb・Xb)/(Xi・Kb))
…(5−1)
n番目のピクチャがPピクチャの場合の目標符号量BIT_CBR(n)_P
=R/(Np+(Nb・Xb・Kp)/(Xp・Kb)) …(5−2)
n番目のピクチャがBピクチャの場合の目標符号量BIT_CBR(n)_B
=R/(Nb+(Np・Xp・Kb)/(Xb・Kp)) …(5−3)
ただし、式(5−1)乃至(5−3)において、Rは、GOPに対して予め割り当てられている符号量のうちの残りの符号量であり、式(5−1)乃至(5−3)が演算される毎、前回の演算結果が減算された値となる。例えば、GOPを構成する画像のピクチャタイプがI,B,B,P,…の順である場合、符号化はI,P,B,B,P,…の順に行われるので、始めに、式(5−1)のRに、その初期値を代入してBIT_CBR(n)_Iを演算し、次に、式(5−2)のRに、その初期値から先に符号化したIピクチャの符号量を減算した値を代入してBIT_CBR(n)_Pを演算する。すなわち、Rはピクチャを符号化するたびにそのピクチャの実際の符号量で減じられる。
Npは、GOPを構成する全画像数のうち、目標符号量BIT_CBR(n)_Pがまだ演算されていないPピクチャの数である。Nbは、GOPを構成する全画像数のうち、目標符号量BIT_CBR(n)_Bがまだ演算されていないBピクチャの数である。Xi,Xp,Xbは、それぞれIピクチャ、Pピクチャ、またはBピクチャのコンプレクシティである。Kpは、Pピクチャの重み付け係数である。Kbは、Bピクチャの重み付け係数である。
比較部33は、VBR割り当て部31から入力されたVBR目標符号量BIT_VBRと、CBR割り当て部32から入力されたCBR目標符号量BIT_CBRとを比較し、VBR目標符号量BIT_VBRがCBR目標符号量BIT_CBRよりも小さい場合、VBR目標符号量BIT_VBRを目標符号量BIT_TGTとして出力し、VBR目標符号量BIT_VBRがCBR目標符号量BIT_CBR以上である場合、CBR目標符号量BIT_CBRを目標符号量BIT_TGTとして出力する。
なお、比較部33において、VBR割り当て部31から入力されたVBR目標符号量BIT_VBRと、CBR割り当て部32から入力されたCBR目標符号量BIT_CBRとを比較することなく、VBR目標符号量BIT_VBRまたはCBR目標符号量BIT_CBRの一方に固定して目標符号量BIT_TGTとして出力するようにしてもよい。
また、比較部33において、符号化部5にから供給されるVBVバッファ(またはCPBバッファ)のデータ占有量に基づいて、目標符号量BIT_TGTを決定するようにしてもよい。
次に、画像信号処理装置1による、n番目の画像に対応する被符号化画像信号を圧縮符号化する画像圧縮処理について、図5のフローチャートを参照して説明する。
ステップS1において、疑似予測残差生成部2は、入力されたn番目の画像に対応する被符号化画像信号に基づき、n番目の画像に対応する疑似予測残差BD(n)を算出して予測残差予想部3に出力する。このステップS1の処理について、図6のフローチャートを参照して詳述する。
ステップS11において、イントラ予測部11は、入力されたn番目の画像の被符号化画像信号に対し、フレーム内予測を適用してイントラ予測画像を生成し、差分器13に出力する。これと同時に、インター予測部12は、入力されたn番目の画像の被符号化画像信号に対し、フレーム間予測を適用してインター予測画像を生成し、差分器14に出力する。
ステップS12において、差分器13は、イントラ予測部11によって生成されたイントラ予測画像とn番目の画像との差分を算出し、その結果をイントラ予測残差として比較部15に出力する。これと同時に、差分器14は、インター予測部12によって生成されたインター予測画像とn番目の画像との差分を算出し、その結果をインター予測残差として比較部15に出力する。
ステップS13において、比較部15は、差分器13から入力されたイントラ予測残差と差分器14から入力されたインター予測残差とを、画像のマクロブロック毎に比較して、その値の小さい方を疑似予測残差BD(n)に採用して後段の予測残差予想部3に出力する。以上で、ステップS1の処理の詳述を終了する。
図5に戻る。ステップS2において、予測残差予想部3は、疑似予測残差生成部2から入力された、n番目の画像に対応する疑似予測残差BD(n)を、n−1番目の画像の被符号化画像信号に対応する疑似予測残差BD(n-1)と、符号化部5から入力された、n−1番目の画像の被符号化画像信号に対する実際の予測残差SAD(n-1)に基づいて補正し、その補正結果として得られた予想予測残差PRED(n)を目標符号量決定部4に出力する。このステップS2の処理について、図7のフローチャートを参照して詳述する。
ステップS21において、予測残差計算部21は、n−1番目の画像の被符号化画像信号に対する実際の予測残差SAD(n-1)を符号化部5から取得するとともに、n−1番目の画像の被符号化画像信号に対応する疑似予測残差BD(n-1)を遅延部22から取得する。ステップS22において、予測残差計算部21は、n番目の画像に対応する疑似予測残差BD(n)を疑似予測残差生成部2から取得する。
ステップS23において、予測残差計算部21は、式(1)に示されたように、遅延部22によって1画像分だけ遅延されたn−1番目の画像の被符号化画像信号に対応する疑似予測残差BD(n-1)と、符号化部5から入力されているn−1番目の画像の被符号化画像信号に対応する予測残差SAD(n-1)との差に調整係数Gを乗算した値G(SAD(n-1)−BD(n-1))を、疑似予測残差生成部2から入力されたn番目の画像に対応する疑似予測残差BD(n)に加算して、n番目の画像の被符号化画像信号に対応する予想予測残差PRED(n)を算出する。以上で、ステップS2の処理の詳述を終了する。
図5に戻る。ステップS3において、目標符号量決定部4は、予測残差予想部3から入力された、n番目の画像に対応する予想予測残差PRED(n)に基づき、n番目の画像に対応する目標符号量BIT_TGT(n)を決定して符号化部5に出力する。ステップS3の処理について、図8のフローチャートを参照して詳述する。
ステップS31において、VBR割り当て部31は、式(2)または式(3)を用い、予測残差予想部3から入力された予想予測残差PRED(n)に基づいて、n番目の画像に対応するVBR目標符号量BIT_VBR(n)を算出する。図9は、任意のシーケンス(所定の期間の被符号化画像信号)に対して、VBR割り当て部31によって算出されるVBR目標符号量BIT_VBR(n)の一例を示している。図9において、横軸は、シーケンスの時間経過を示しており、縦軸は、複数の符号化されたピクチャの符号量によって決定されるビットレートである。VBR目標符号量BIT_VBR(n)は、図9に示す曲線51のように、各画像のコンプレクシティ(符号化の難易度)等に依存してその値が変動し、後段の符号化部5の出力である符号化画像の符号量によって決定されるビットレートが、あらかじめ目標とするビットレートの最大値(上限レートL)を超越することがある。
ステップS32において、CBR割り当て部32は、予測残差予想部3から入力された予想予測残差PRED(n)に基づき、被符号化画像信号を符号化したときの発生符号量がGOP単位で固定値(図9の上限レートL)となるように、式(4−1)乃至(4−3)に示されたように、n番目の画像に対応する被符号化画像信号のピクチャタイプに応じたCBR目標符号量BIT_CBR(n)を算出する。
なお、ステップS31の処理とステップS32の処理は、便宜上、異なるタイミングの処理のごとく説明したが、実際には同時に実行される。
ステップS33において、比較部33は、VBR割り当て部31から入力されたVBR目標符号量BIT_VBR(n)が、CBR割り当て部32から入力されたCBR目標符号量BIT_CBR(n)よりも小さいか否かを判定する。VBR目標符号量BIT_VBR(n)がCBR目標符号量BIT_CBR(n)よりも小さいと判定された場合、処理はステップS34に進み、比較部33は、VBR目標符号BIT_VBR(n)を目標符号量BIT_TGT(n)として後段の符号化部5に出力する。
反対に、ステップS33において、VBR目標符号量BIT_VBR(n)がCBR目標符号量BIT_CBR(n)よりも小さくないと判定された場合には、処理はステップS35に進む。ステップS35において、比較部33は、CBR目標符号量BIT_CBR(n)を目標符号量BIT_TGT(n)として後段の符号化部5に出力する。
なお、比較部33から出力される目標符号量BIT_TGT(n)は、図9と同一のシーケンスを例とした場合、図10の曲線71に示すように、目標符号量BIT_TGT(n)は、各画像のコンプレクシティ(符号化の難易度)等に依存してその値が変動するが、後段の符号化部5の出力である符号化画像の符号量によって決定されるビットレートが、あらかじめ目標とするビットレートの最大値(上限レートL)に達した場合、その値は上限レートLで頭打ちとなる。また、VBR目標符号量BIT_VBR(n)からCBR目標符号量BIT_CBR(n)への切り替えは、常にVBR目標符号量BIT_VBR(n)とCBR目標符号量BIT_CBR(n)が演算されていることに起因して速やかに行われる。
目標符号量決定部4では、目標符号量BIT_TGT(n)を、実際の符号化の前に得られる予想予測残差PREDを用いて算出しているので、符号化しようとするピクチャの符号量の多寡を前もって反映することができる。また、シーンチェンジやシーケンスの動きなどの傾向をそのピクチャの符号化前に反映することができるため、適切な符号量の割り当てができる。したがって、画質の劣化を抑制することができる。さらに、式(4−1)乃至(4−3)の手法を用いた場合には実際に符号化された後の発生符号をフィードバックして用いないので、目標符号量に対する実際の仕上がり符号量のズレが蓄積し難い性質をもつこととなり、動作が安定する。
図5に戻る。ステップS4において、符号化部5は、入力されたn番目の画像に対応する被符号化画像信号を、目標符号量決定部4から入力された、n番目の画像に対応する目標符号量BIT_TGT(n)に従って圧縮符号化し、符号化画像信号を生成する。なお、目標符号量BIT_TGT(n)に従って圧縮符号化し、符号化画像信号を生成する方法については、任意の方法を適用することができる。例えば、MPEG2 TM5 Step2に採用されている、マクロブロック毎に発生符号量を逐一監視して圧縮率を調整し、目標符号量を達成しようとするアルゴリズムを用いて符号化を行う方法を適用することができる。
また例えば、MPEG2 TM5 Step2においてはピクチャタイプ毎に独立して設けられている仮想バッファ(目標とする符号量と発生符号量の差を示すもの)を単一の仮想バッファにまとめて、各ピクチャで共通な単一の仮想バッファが使用される方法等を適用すれば、符号化部5の動作を安定させることができるのでさらに効果的である。なお、この方法については、本出願人が既に提案済であって特開2003-230151号公報として開示されている。
ただし、特開2003-230151号公報では、特にピクチャのグローバルコンプレクシティの比に基づき、異なるピクチャタイプ間における発生ビット量の差を正規化しようとしているが、符号化部5では、予想された予測残差から直接的に目標符号量を算出している。
Iピクチャを符号化する場合、次式(6−1)を用いて仮想バッファ占有量djを算出し、次式(7−1)を用いて、仮想バッファ占有量djを量子化スケールコードQiに変換する。Pピクチャを符号化する場合、次式(6−2)を用いて仮想バッファ占有量djを算出し、次式(7−2)を用いて、仮想バッファ占有量djを量子化スケールコードQpに変換する。Bピクチャを符号化する場合、次式(6−3)を用いて仮想バッファ占有量djを算出し、次式(7−3)を用いて、仮想バッファ占有量djを量子化スケールコードQbに変換する。
dj=d0+B(j−1)−(Ti・(j−1))/MB_COUNT
…(6−1)
dj=d0+(Last_Ibit/Tp)・(B(j−1)−(Tp・(j−1))/MB_COUNT)
…(6−2)
dj=d0+(Last_Ibit/Tb)・(B(j−1)−(Tb・(j−1))/MB_COUNT)
…(6−3)
Qi=dj×QP/r …(7−1)
Qp=dj×QP/r …(7−2)
Qb=dj×QP/r+c …(7−3)
dj=d0+B(j−1)−(Ti・(j−1))/MB_COUNT
…(6−1)
dj=d0+(Last_Ibit/Tp)・(B(j−1)−(Tp・(j−1))/MB_COUNT)
…(6−2)
dj=d0+(Last_Ibit/Tb)・(B(j−1)−(Tb・(j−1))/MB_COUNT)
…(6−3)
Qi=dj×QP/r …(7−1)
Qp=dj×QP/r …(7−2)
Qb=dj×QP/r+c …(7−3)
ただし、d0は、仮想バッファの初期占有量であり、B(j−1)は、符号化する画像のj−1番目のマクロブロックまでの発生符号量の総和であり、Last_Ibitは最後に符号化されたIピクチャの発生符号量であり、Ti,Tp,Tbは、それぞれI,P,Bピクチャの目標符号量であり、MB_COUNTは、符号化する画像のマクロブロック数である。また、QPは、MPEG2 TM5で推奨されている値(具体的には31)であり、rは、リアクションパラメータであり、cは補正値(例えば、2)である。
なお、式(6−2)において(Last_Ibit/Tp)を乗算していること、および式(6−3)において(Last_Ibit/Tb)を乗算していることが、単一の仮想バッファを使用することに対する補正である。また、式(7−3)において、補正値cを加算しているように、ピクチャタイプに応じて符号化時の相対的な重み付けを変更するようにしてもよい。
次に、図11は、符号化部5に入力される被符号化画像信号の符号化の難易度(画像の複雑さ)と、符号化部5から出力される符号化画像信号のビットレートとの関係を示している。
被符号化画像信号は、図11の横軸によって示される画像の難易度が低いうちは、VBRが適用されて符号化され、難易度とビットレートの関係は直線81Aのような対応になる。したがって、符号化の難易度の増加とともに発生符号量も増加する。そしてさらに、画像の難易度が増加し、発生符号量が上限レートLに達した場合、CBRが適用されて直線81Bで示すように、頭打ちとなる。なお、図11の直線81Aの傾きが式(2)の係数kに相当する。また、式(3)の関数fを用途に応じて任意にきめてやると、VBR時に、例えば曲線82のような特性をもたせることができる。
したがって、符号化部5から出力される符号化画像信号の符号量は、その最大レートが保証される。よって、例えば、符号化部5から出力される符号化画像信号を情報記録媒体に記録する場合の最大記録可能時間を保証することが可能となる。
なお、CBRが適用されるときの上限レートLを、現状よりも高い値に設定すれば、画像をより高画質で符号化することができる高画質モードとすることができる。反対に、上限レートLを、現状よりも低い値に設定すれば、同一容量の記録媒体に記録できる時間をより長くすることができる長時間モードとすることができる。
また、式(2)の係数kの値を変更したり、式(3)の関数fを変更したりすることにより、高画質モードや長時間モードを実現するようにしてもよい。
以上で、n番目の画像に対応する被符号化画像信号が符号化されたことになる。次に、n+1番目の画像に対応する被符号化画像信号に対する画像圧縮処理として、ステップS1以降の処理が行われることになる。以上で、画像圧縮処理の説明を終了する。
ところで、上述した画像圧縮処理では、予想予測残差PRED(n)の算出に1画像前の実際の予測残差SAD(n-1)を利用しているので、1番目の画像(例えば、シーケンスの先頭のIピクチャ)に対する予想予測残差PRED(1)が算出されない。したがって、1番目の画像に対する目標符号量BIT_TGT(1)も算出されない。そこで、符号化部5は、1番目の画像に対しては、予め設定されている目標符号量BITの符号が発生されるような最適な量子化スケールQPを算出して、1番目の画像を符号化する。
図12は、1番目の画像の符号化に関わる箇所に限定した符号化部5の構成例を示している。図12において、全段からのIピクチャの被符号化画像信号は、イントラ予測部41、イントラ予測残差演算部42、および直交変換部44に入力される。
イントラ予測部41は、入力されたIピクチャの被符号化画像信号に対応するイントラ予測画像を生成してイントラ予測残差演算部42に出力する。イントラ予測残差演算部42は、イントラ予測部41から入力されたイントラ予測画像と、原画であるIピクチャとの差であるイントラ予測残差を演算して、レート制御部43に出力する。レート制御部43は、イントラ予測残差演算部42から入力された、Iピクチャに対応するイントラ予測残差に基づき、量子化スケールQPを算出して量子化部45に出力する。直交変換部44は、入力されるIピクチャの被符号化画像信号に対し、離散コサイン変換やカルーネン・レーベ変換等の直交変換処理を施し、その処理結果としてられる変換係数を量子化部45に出力する。量子化部45は、直交変換部44から入力された変換係数を、レート制御部43から入力される量子化スケールQPに従って量子化し、可逆符号化部46に出力する。可逆符号化部46は、量子化部45から入力された、量子化された変換係数を符号化して符号化画像信号を生成する。
次に、Iピクチャに対応するイントラ予測残差に基づき、量子化スケールQPを算出しするレート制御部43の処理について説明する。図13の線分91−A,91−B,91−Cは、それぞれ異なるシーケンスの先頭のIピクチャを、量子化スケールQPの値をいろいろに変えて符号化した際の、量子化スケールQPと発生符号量BITの関係を示している。図13において、縦軸は、発生符号量BITの対数ln(BIT)であり、横軸は、量子化スケールQPである。
線分91−A乃至91−Cから明らかなように、いずれのシーケンスでも、発生符号量の対数ln(BIT)は、量子化スケールQPの増加に対してほぼ直線的に減少することがわかる。なお、上述した発生符号量の対数ln(BIT)と量子化スケールQPとの関係は一般周知である。
ここで、各シーケンスの先頭のIピクチャを符号化した際の発生符号量BITを、次式(8)に示すように、それぞれに対応するIピクチャのイントラ予測残差ERRORで正規化した値NORM_BITの対数ln(NORM_BIT)を演算し、量子化スケールQPと対応付けてプロットすると、図14に示すように、図13においては互いに独立していた線分91−A,91−B,91−Cが、図14に示されるように、1本の直線状に凝集されることが確認できる。
NORM_BIT=BIT・(NORM/ERROR) …(8)
NORM_BIT=BIT・(NORM/ERROR) …(8)
ただし、NORMは任意の定数である。また、図14において、縦軸は、イントラ予測残差ERRORで正規化された発生符号量BITの対数ln(NORM_BIT)であり、横軸は、量子化スケールQPである。
この線分の凝集は、図15に示すように、1本の直線(以下、代表直線と記述する)で近似することができる。この代表直線101を、量子化スケールQPを独立変数とする1次関数によって表記すれば、次式(9)に示す通りとなる。ただし、式(9)において、aは代表直線101の傾き、bは代表直線101の縦軸との切片であり、図14に示されたプロット結果に基づき、予め算出する必要がある。
ln(BIT・(NORM/ERROR))=a・QP+b …(9)
ln(BIT・(NORM/ERROR))=a・QP+b …(9)
式(9)を変形すれば、発生符号量BITを実現するための量子化スケールQPを算出することが可能な次式(10)となる。
QP=(ln(BIT・(NORM/ERROR))−b)/a …(10)
QP=(ln(BIT・(NORM/ERROR))−b)/a …(10)
従って、レート制御部43において、式(10)を用いれば、シーケンスの先頭のIピクチャを符号化した際に、所望の発生符号量BITを実現することができる量子化スケールQPを算出することができる。この操作は、図15において、所望の発生符号量102から代表直線101をたどって量子化スケール103を求めたことになる。なお、レート制御部43には、式(10)のBIT,NORM,a、およびbを予め供給しておくものとする。式(10)のイントラ予測残差ERRORは、イントラ予測残差演算部42からレート制御部43に供給されているものを用いるが、必要ならば、擬似予測残差予測部3を構成するイントラ予測部11で代用してもよい。
シーケンスの先頭のIピクチャを符号化する符号化部5の動作について、図16を参照して説明する。ステップS41において、イントラ予測部41は、入力されたIピクチャの被符号化画像信号に対応するイントラ予測画像を生成してイントラ予測残差演算部42に出力する。イントラ予測残差演算部42は、イントラ予測部41から入力されたイントラ予測画像と、原画であるIピクチャとの差であるイントラ予測残差を演算して、レート制御部43に出力する。
ステップS42において、レート制御部43は、式(8)に示されたように、予め設定されている目標符号量BITを、イントラ予測残差演算部42から入力されたイントラ予測残差ERRORで正規化し、ステップS43において、式(10)に示されたように、正規化された目標符号量の対数からbを減算し、その演算結果をaで除算することにより、量子化スケールQPを算出して量子化部45に出力する。なお、ステップS41乃至S43の処理が実行されている間において、直交変換部44は、入力されたIピクチャの被符号化画像信号に対して直交変換処理を施し、その処理結果としてられる変換係数を量子化部45に出力している。ステップS44において、量子化部45は、直交変換部44から入力された変換係数を、レート制御部43から入力される量子化スケールQPに従って量子化し、可逆符号化部46に出力する。可逆符号化部46は、量子化部45から入力された、量子化された変換係数を符号化して符号化画像信号を生成する。以上で、シーケンスの先頭のIピクチャを符号化する符号化部5の動作の説明を終了する。
また、以上説明した符号化部5の動作は、シーケンスの先頭のIピクチャのみならず、例えば、シーンチェンジ直後のIピクチャに対して適用してもよいし、通常のIピクチャに対しても適用可能である。
以上説明した動作は、符号化部5において、特別に大きな計算量を必要とせず、また通号の符号化装置に備えられていないような特別な回路構成も必要としない、上述した動作は、適用できるシーケンスの幅が広く、当たり外れの差が小さい(最適ではない場合でも、その影響が小さい)、広範囲の圧縮率に適用することができるという効果を有する。
ところで、本発明は、ディジタルビデオカメラにも適用することができる。図17は、本発明を適用したディジタルビデオカメラの構成例を示している。このディジタルビデオカメラ200は、被写体を撮影して被符号化画像信号を取得し、取得した被符号化画像信号を、上述した画像信号処理装置1と同様に、圧縮符号化して符号化画像信号を生成し、生成した符号化画像信号を記録媒体に記録するものである。
ディジタルビデオカメラ200は、大別すると、カメラ部201、カメラDSP(Digital Signal Processor)202、および制御部205から構成される。さらに、ディジタルビデオカメラ200は、SDRAM(Synchronous Dynamic Random Access Memory203、媒体インタフェース(I/F)204、操作部206、LCD(Liquid Crystal Display)コントローラ207、LCD208、外部インタフェース(I/F)209、および着脱可能な記録媒体210から構成される。
記録媒体210は、半導体メモリを用いたいわゆるメモリカード、記録可能なDVD(Digital Versatile Disk)や記録可能なCD(Compact Disc)等の光記録媒体、磁気ディスクなどの種々のものを用いるようにすることが考えられるが、本実施の形態においては、記録媒体210として例えばメモリカードを用いるものとして説明する。
カメラ部201は、光学ブロック211、CCD(Charge Coupled Device)212、前処理回路213、光学ブロック用ドライバ214、CCD用ドライバ215、およびタイミング生成回路216から構成される。ここで、光学ブロック211は、レンズ、フォーカス機構、シャッタ機構、絞り(アイリス)機構などを備えたものである。
制御部205は、CPU(Central Processing Unit)251、RAM(Random Access Memory)252、フラッシュROM(Read Only Memory)253、および時計回路254が、システムバス255を介して接続されているマイクロコンピュータであり、ディジタルビデオカメラ200の各部を制御することができるものである。
RAM252は、処理の途中結果を一時記憶する等、主に作業領域として用いられるものである。フラッシュROM253は、CPU251において実行する種々のプログラムや、処理に必要になるデータなどが記憶されたものである。また、時計回路254は、現在年月日、現在曜日、現在時刻を出力することができるものである。
制御部205は、画像の撮影時においては光学ブロック用ドライバ214を制御し、光学ブロック211を動作させるための駆動信号を形成させて光学ブロック211を動作させる。これに対応して、光学ブロック211は、フォーカス機構、シャッタ機構、絞り機構を制御することにより、被写体の光画像を取得して、これをCCD212に集光する。
CCD212は、光学ブロック211からの画像を光電変換して出力するものであり、CCDドライバ215からの駆動信号に応じて動作し、光学ブロック211からの被写体の光画像を取り込むとともに、制御部205によって制御されるタイミング生成回路216からのタイミング信号に基づいて、取り込んだ被写体の画像(画像情報)を電気信号として前処理回路213に供給する。なお、上述のように、タイミング生成回路216は、制御部205からの制御に応じて、所定のタイミングを提供するタイミング信号を形成するものである。また、CCDドライバ215は、タイミング生成回路216からのタイミング信号に基づいて、CCD212に供給する駆動信号を形成するものである。
前処理回路213は、CCD212から入力された電気信号の画像情報に対して、CDS(Correlated Double Sampling)処理を行って、S/Nを良好に保つようにするとともに、AGC(Automatic Gain Control)処理を行って、利得を制御し、そして、A/D(Analog/Digital)変換を行って、ディジタル信号とされた画像データ(以下、被符号化画像信号と記述する)を形成し、DSP202に出力する。
DSP202のAF AE AWB処理部221は、カメラ部1から供給された被符号化画像信号に対して、AF(Auto Focus)、AE(Auto Exposure)、AWB(Auto White Balance)等のカメラ信号処理を施す。圧縮部222は、種々のカメラ信号処理が施された被符号化画像信号を圧縮符号化して符号化画像信号を生成する。なお、圧縮部222は、図1の画像信号処理装置1と同様に構成され、また同様に動作するものであるので、その詳細な説明は省略する。
圧縮部222によって生成された符号化画像信号は、システムバス255、および媒体I/F204を介して記録媒体210に記録される。解凍部223は、操作部206に対するユーザの操作入力に応じて記録媒体210から読み出された符号化画像信号の解凍処理(伸張処理)を行い、解凍後の画像信号を、システムバス255を介してLCDコントローラ207に供給する。LCDコントローラ207は、供給された画像信号をLCD208に適したフォーマットに変換してLCD208に供給する。これにより、記録媒体210に記録されている符号化画像信号に応じた画像が、LCD208の表示画面に表示される。
外部I/F209は、例えば外部のパーソナルコンピュータと接続して、パーソナルコンピュータから符号化画像信号の供給を受けたり、記録媒体210に記録されている符号化画像信号を外部のパーソナルコンピュータ等に供給したりする。また、外部I/F209に通信モジュールを接続することにより、例えば、インタネット等のネットワークに接続して、ネットワークを通じて種々のデータを授受したりする。なお、外部I/F209は、IEEE(Institute of Electrical and Electronics Engineers)1394、USB(Universal Serial Bus)などの有線用インタフェースとして設けることも可能であるし、光や電波による無線インタフェースとして設けることも可能である。すなわち、外部I/F209は、有線、無線のいずれのインタフェースであってもよい。
ところで、一連の処理は、画像信号処理装置1やディジタルビデオカメラ200のようにハードウェアによって実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図18に示されるように構成された汎用のパーソナルコンピュータ300に、記録媒体等からインストールされる。
図18に示されたパーソナルコンピュータ300は、CPU301を内蔵している。CPU301にはバス304を介して、入出力インタフェース305が接続されている。バス304には、ROM302およびRAM303が接続されている。
入出力インタフェース305には、ユーザが操作コマンドを入力するキーボード、マウス、リモートコントローラなどの入力デバイスよりなる入力部306、映像や音声を出力する出力部307、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部308、インタネットに代表されるネットワークを介して通信処理を実行する通信部309、および記録媒体311に対してデータを読み書きするドライブ310が接続されている。
上述した一連の処理をパーソナルコンピュータ300に実行させるプログラムは、記録媒体311に格納された状態でパーソナルコンピュータに供給され、ドライブ310によって読み出されて記憶部308に内蔵されるハードディスクドライブにインストールされている。記憶部308にインストールされているプログラムは、入力部306に入力されるユーザの操作に対応するCPU301の指令によって、記憶部308からRAM303にロードされて実行される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
1 画像信号処理装置, 2 疑似予測残差生成部, 3 予測残差予想部, 4 目標符号量決定部, 5 符号化部, 11 イントラ予測部, 12 インター予測部, 13,14 差分器, 15 比較部, 21 予測残差計算部, 31 VBR割り当て部, 32 CBR割り当て部, 33 比較部, 41 イントラ予測部, 42 イントラ予測残差演算部, 43 レート制御部, 45 量子化部, 201 カメラ部, 222 圧縮部, 301 CPU, 311 記録媒体
Claims (11)
- 動画像を表示するための画像信号を所定の符号化方式に従って圧縮符号化する画像信号処理装置において、
動画像を構成する静止画像に対して、前記静止画像に対応する画像信号が圧縮符号化される前に、前記静止画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想手段と、
前記予測残差予想手段によって予想された予想予測残差に基づき、可変ビットレート方式を採用して前記静止画像に対応する画像信号を圧縮符号化する場合の第1の発生符号量を算出する第1の発生符号量算出手段と、
前記予測残差予想手段によって予想された前記予想予測残差に基づき、固定ビットレート方式を採用して前記静止画像に対応する画像信号を圧縮符号化する場合の第2の発生符号量を算出する第2の発生符号量算出手段と、
前記第1の発生符号量が前記第2の発生符号量よりも小さい場合には前記第1の発生符号量を、前記第1の発生符号量が前記第2の発生符号量以上である場合には前記第2の発生符号量を、前記静止画像に対応する画像信号を圧縮符号化するときの目標符号量に設定する設定手段と、
前記設定手段によって設定された前記目標符号量に従い、前記静止画像に対応する画像信号を圧縮符号化する符号化手段と
を含むことを特徴とする画像信号処理装置。 - 前記設定手段は、前記符号化手段からフィードバックされる、前記符号化手段において想定される仮想バッファの符号占有量に基づいて第3の発生符号量を算出し、前記第3の発生符号量が前記第1の発生符号量または前記第2の発生符号量のうちの前記目標符号量として設定された方よりも小さい場合には、前記第3の発生符号量を前記目標符号量に設定する
ことを特徴とする請求項1に記載の画像信号処理装置。 - 前記符号化手段は、前記設定手段によって設定された前記目標符号量に従い、前記静止画像に対応する画像信号を圧縮符号化するとき、異なるピクチャタイプで共通の仮想バッファを使用して、量子化スケールを決定する
ことを特徴とする請求項1に記載の画像信号処理装置。 - 前記符号化手段は、P(Predictive coded)ピクチャまたはB(Bidirectionally predictive coded)ピクチャによる前記共通の仮想バッファの占有量を、直近に圧縮符号化されたI(Intra coded)ピクチャの発生符号量に基づいて補正する
ことを特徴とする請求項3に記載の画像信号処理装置。 - 前記符号化手段は、前記共通の仮想バッファの占有量を量子スケールコードに変換する際、ピクチャタイプに応じて補正された変換式を用いる
ことを特徴とする請求項3に記載の画像信号処理装置。 - 前記所定の符号化方式は、MPEG(Moving Picture Experts Group)方式である
ことを特徴とする請求項1に記載の画像信号処理装置。 - 前記所定の符号化方式は、MPEG4-AVC(Advanced Video Coding)方式である
ことを特徴とする請求項1に記載の画像信号処理装置。 - 動画像を表示するための画像信号を所定の符号化方式に従って圧縮符号化する画像信号処理方法において、
動画像を構成する静止画像に対して、前記静止画像に対応する画像信号が圧縮符号化される前に、前記静止画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想ステップと、
前記予測残差予想ステップの処理で予想された予想予測残差に基づき、可変ビットレート方式を採用して前記静止画像に対応する画像信号を圧縮符号化する場合の第1の発生符号量を算出する第1の発生符号量算出ステップと、
前記予測残差予想ステップの処理で予想された前記予想予測残差に基づき、固定ビットレート方式を採用して前記静止画像に対応する画像信号を圧縮符号化する場合の第2の発生符号量を算出する第2の発生符号量算出ステップと、
前記第1の発生符号量が前記第2の発生符号量よりも小さい場合には前記第1の発生符号量を、前記第1の発生符号量が前記第2の発生符号量以上である場合には前記第2の発生符号量を、前記静止画像に対応する画像信号を圧縮符号化するときの目標符号量に設定する設定ステップと、
前記設定ステップの処理で設定された前記目標符号量に従い、前記静止画像に対応する画像信号を圧縮符号化する符号化ステップと
を含むことを特徴とする画像信号処理方法。 - 動画像を表示するための画像信号を所定の符号化方式に従って圧縮符号化するためのプログラムであって、
動画像を構成する静止画像に対して、前記静止画像に対応する画像信号が圧縮符号化される前に、前記静止画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想ステップと、
前記予測残差予想ステップの処理で予想された予想予測残差に基づき、可変ビットレート方式を採用して前記静止画像に対応する画像信号を圧縮符号化する場合の第1の発生符号量を算出する第1の発生符号量算出ステップと、
前記予測残差予想ステップの処理で予想された前記予想予測残差に基づき、固定ビットレート方式を採用して前記静止画像に対応する画像信号を圧縮符号化する場合の第2の発生符号量を算出する第2の発生符号量算出ステップと、
前記第1の発生符号量が前記第2の発生符号量よりも小さい場合には前記第1の発生符号量を、前記第1の発生符号量が前記第2の発生符号量以上である場合には前記第2の発生符号量を、前記静止画像に対応する画像信号を圧縮符号化するときの目標符号量に設定する設定ステップと、
前記設定ステップの処理で設定された前記目標符号量に従い、前記静止画像に対応する画像信号を圧縮符号化する符号化ステップと
を含むことを特徴とするコンピュータが読み取り可能なプログラムが記録されている記録媒体。 - 動画像を表示するための画像信号を所定の符号化方式に従って圧縮符号化するためのプログラムであって、
動画像を構成する静止画像に対して、前記静止画像に対応する画像信号が圧縮符号化される前に、前記静止画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想ステップと、
前記予測残差予想ステップの処理で予想された予想予測残差に基づき、可変ビットレート方式を採用して前記静止画像に対応する画像信号を圧縮符号化する場合の第1の発生符号量を算出する第1の発生符号量算出ステップと、
前記予測残差予想ステップの処理で予想された前記予想予測残差に基づき、固定ビットレート方式を採用して前記静止画像に対応する画像信号を圧縮符号化する場合の第2の発生符号量を算出する第2の発生符号量算出ステップと、
前記第1の発生符号量が前記第2の発生符号量よりも小さい場合には前記第1の発生符号量を、前記第1の発生符号量が前記第2の発生符号量以上である場合には前記第2の発生符号量を、前記静止画像に対応する画像信号を圧縮符号化するときの目標符号量に設定する設定ステップと、
前記設定ステップの処理で設定された前記目標符号量に従い、前記静止画像に対応する画像信号を圧縮符号化する符号化ステップと
を含む処理をコンピュータに実行させることを特徴とするプログラム。 - 撮影した動画像に対応する画像信号を所定の符号化方式に従って圧縮符号化し、情報記録媒体に記録するビデオカメラにおいて、
被写体の動画像を撮影し、前記画像信号を生成する撮影手段と、
前記撮影手段によって撮影された前記動画像を構成する静止画像に対して、前記静止画像に対応する画像信号が圧縮符号化される前に、前記静止画像に対応する画像信号が圧縮符号化される過程で算出される予測残差を予想する予測残差予想手段と、
前記予測残差予想手段によって予想された予想予測残差に基づき、可変ビットレート方式を採用して前記静止画像に対応する画像信号を圧縮符号化する場合の第1の発生符号量を算出する第1の発生符号量算出手段と、
前記予測残差予想手段によって予想された前記予想予測残差に基づき、固定ビットレート方式を採用して前記静止画像に対応する画像信号を圧縮符号化する場合の第2の発生符号量を算出する第2の発生符号量算出手段と、
前記第1の発生符号量が前記第2の発生符号量よりも小さい場合には前記第1の発生符号量を、前記第1の発生符号量が前記第2の発生符号量以上である場合には前記第2の発生符号量を、前記静止画像に対応する画像信号を圧縮符号化するときの目標符号量に設定する設定手段と、
前記設定手段によって設定された前記目標符号量に従い、前記静止画像に対応する画像信号を圧縮符号化する符号化手段と、
前記符号化手段によって圧縮符号化された前記画像信号を前記情報記録媒体に記録する記録手段と
を含むことを特徴とするビデオカメラ。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004115229A JP2005303578A (ja) | 2004-04-09 | 2004-04-09 | 画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラ |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004115229A JP2005303578A (ja) | 2004-04-09 | 2004-04-09 | 画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラ |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005303578A true JP2005303578A (ja) | 2005-10-27 |
Family
ID=35334602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004115229A Withdrawn JP2005303578A (ja) | 2004-04-09 | 2004-04-09 | 画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラ |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005303578A (ja) |
-
2004
- 2004-04-09 JP JP2004115229A patent/JP2005303578A/ja not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8223836B2 (en) | Constant-quality rate control system and algorithm for regions of interest | |
CN102986211B (zh) | 视频编码中的速率控制 | |
JP2001169281A (ja) | 動画像符号化装置、および動画像符号化方法 | |
US20090225193A1 (en) | Image processing apparatus | |
KR20050074286A (ko) | 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화프로그램 | |
US8488681B2 (en) | Image capturing apparatus, control method therefor, program, and storage medium | |
WO2006098226A1 (ja) | 符号化装置および符号化装置を備えた動画像記録システム | |
KR20070108528A (ko) | 부호화 방법, 부호화 장치, 부호화 처리의 프로그램 및부호화 처리의 프로그램을 기록하는 기록 매체 | |
WO2014050015A1 (ja) | 画像符号化装置、撮影画像記録システム、撮像装置、画像符号化方法、および画像符号化プログラム | |
JP5649296B2 (ja) | 画像符号化装置 | |
WO2005101850A1 (ja) | 画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラ | |
JP4427713B2 (ja) | 符号化装置および符号化方法、撮像装置および画像処理方法、並びに、プログラム | |
US8116577B2 (en) | Encoding method, encoding device, encoding process program, and recording medium on which encoding process program is recorded | |
JP4911625B2 (ja) | 画像処理装置、およびそれを搭載した撮像装置 | |
JP2001025016A (ja) | 動画像符号化装置及びその方法 | |
JP2005151344A (ja) | データ処理装置およびその方法と符号化装置 | |
JP2005303577A (ja) | 画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラ | |
JP2005303578A (ja) | 画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラ | |
JP2005311502A (ja) | 画像信号処理装置および方法、記録媒体、プログラム、並びにビデオカメラ | |
JP4747109B2 (ja) | 演算量調整装置 | |
JP4765961B2 (ja) | デジタル動画像記録装置 | |
JP4626644B2 (ja) | 符号化装置、符号化方法、プログラム、及び、撮像装置 | |
JP2008153946A (ja) | 画像符号化装置 | |
KR20060132761A (ko) | 데이터 처리 장치 및 그 방법과 부호화 장치 | |
JP4561701B2 (ja) | 動画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20070703 |