JP2006033868A - 画像処理装置及び方法 - Google Patents

Abstract

【課題】
符号化データの符号量を変換する。
【解決手段】
ＤＣＴ回路１２は、入力端子１０から入力するＣＩＦ画像を離散コサイン変換し、量子化器１４はＤＣＴ係数を量子化する。マスキング処理回路１６Ａ，１６Ｂはそれぞれ、バッファ２０Ａ，２０Ｂからの制御信号に従い、量子化器１４の出力の高周波部分を０にマスキングする。バッファ２０Ａ，２０Ｂでの符号量が多くなると、マスキング部分を低周波数側に広げ、逆のときには、マスキング領域を狭くする。ハフマン符号化器１８Ａ，１８Ｂは、マスキング処理回路１６Ａ，１６Ｂの出力をハフマン符号化し、バッファ２０Ａ，２０Ｂは、ハフマン符号化器１８Ａ，１８Ｂから出力される符号列を一時記憶し、伝送路２４Ａ，２４Ｂの伝送レートに合うように通信インターフェース２２Ａ，２２Ｂに出力する。
【選択図】
図１

Description

本発明は、画像処理装置及び方法に関し、より具体的には、符号化された動画像符号化データの符号量を制御する画像処理装置及び方法に関する．

動画像を伝送用に圧縮符号化する方式には、Ｈ．２６１、ＭＰＥＧ、及び、ＪＰＥＧ符号化された画像を連ねるＭｏｔｉｏｎ ＪＰＥＧがある。動画像を多地点に伝送する場合、各地点への伝送路の伝送レートが同じである保証はないので、複数の伝送レートに対応できるようにする必要がある。具体的には、複数の伝送路のうちの最も低い伝送レートに合わせて圧縮率又は発生符号量を決定する方式と、各伝送レートに合わせた圧縮率の符号化器を用意する方式とがある。

前者の場合、高レートの伝送路を確保している装置又はユーザに対しても低品質な画質でしか動画像を伝送できないという大きな欠点がある。他方、後者の場合には、このような不都合は無いものの、伝送レート毎に符号化器を用意しなければならず、装置規模が大きくなってコスト高になるという問題がある。

さらに、従来方式により、他の装置から伝送された動画像を、伝送レートの異なる複数の伝送路を介して多地点に伝送する場合、即ち、中継する場合、受信した動画像符号化データを直交変換係数に戻し、これを、再度、エントロピー符号化して送信することになる。即ち、受信した動画像符号化データをエントロピー復号化し、逆量子化する処理が必要となり、これらの処理に時間がかかるという問題もある。

本発明は、このような不都合の生じない画像処理装置及び方法を提示することを目的とする。

本発明に係る画像処理装置は、画像データを周波数成分に変換してエントロピー符号化された画像符号化データを入力する入力手段と、前記入力手段によって入力されたエントロピー符号化された画像符号化データから、少なくとも符号境界を含む付加情報を得るエントロピー復号化手段と、前記入力手段によって入力されたエントロピー符号化された画像符号化データから、所定の範囲の周波数成分に対応するエントロピー符号化データを除去して符号量を制御する符号量制御手段とを有することを特徴とする。

本発明に係る画像処理方法は、画像データを周波数成分に変換してエントロピー符号化された画像符号化データを入力する入力工程と、前記入力工程によって入力されたエントロピー符号化された画像符号化データから、少なくとも符号境界を含む付加情報を得るエントロピー復号化工程と、前記入力工程によって入力されたエントロピー符号化された画像符号化データから、所定の範囲の周波数成分に対応するエントロピー符号化データを除去して符号量を制御する符号量制御工程とを有することを特徴とする。

本発明に係る画像処理装置は、動画像データを周波数成分に変換してブロック単位に符号化された動画像符号化データを入力する入力手段と、前記入力手段によって入力された動画像符号化データから前記ブロック単位に所定の範囲の周波数成分に対応する符号化データを除去して符号量を制御する符号量制御手段と、前記符号量制御手段により制御された前記動画像符号化データの符号量を検出する検出手段とを有し、前記符号量制御手段は、前記検出手段の出力に応じて除去する符号化データの周波数成分の範囲を制御し、前記符号量制御手段は、前記ブロック単位内に０（ゼロ）でない係数が１つしかない場合には、これを除去しないことを特徴とする。

本発明に係る画像処理方法は，動画像データを周波数成分に変換してブロック単位に符号化された動画像符号化データを入力する入力工程と、前記入力された動画像符号化データから前記ブロック単位に所定の範囲の周波数成分に対応する符号化データを除去して符号量を制御する符号量制御工程と、前記符号量制御工程で制御された前記動画像符号化データの符号量を検出する検出工程とを有し、前記符号量制御工程では、前記検出工程の検出結果に応じて除去する符号化データの周波数成分の範囲を制御し、前記符号量制御工程は、前記ブロック単位内に０（ゼロ）でない係数が１つしかない場合には、これを除去しないことを特徴とする。

本発明によれば、符号量を適切に制御することが可能になり、種々の伝送レートに対応させることが可能になる。

以下、図面を参照して、本発明の実施例を詳細に説明する。

図１は、本発明の第一実施例の概略構成ブロック図を示す。図１において、１０はＣＩＦフォーマットの画像データの入力端子、１２は離散コサイン変換（ＤＣＴ）回路、１４はＤＣＴ回路１２の出力（変換係数）を量子化する量子化器、１６Ａ，１６Ｂは量子化器１４の出力（ＤＣＴ回路１２から出力される変換係数の、指定値以上の高周波数成分）をマスキングするマスキング処理回路である。回路１６Ａ，１６Ｂの詳細は後述する。１８Ａ，１８Ｂはそれぞれ、マスキング処理回路１６Ａ，１６Ｂの出力をハフマン符号化するハフマン符号化回路である。

２０Ａ，２０Ｂは、ハフマン符号化回路１８Ａ，１８Ｂの出力符号をバッファリングするＦＩＦＯバッファであり、記憶される符号量に関する情報がマスキング処理回路１６Ａ，１６Ｂに制御値として印加される。２２Ａ，２２Ｂはそれぞれ、バッファ２０Ａ，２０Ｂによりバッファリングされたハフマン符号化回路２０Ａ，２０Ｂの出力符号を伝送レート１２８ｋｂｐｓ，２５６ｋｂｐｓの伝送路２４Ａ，２４Ｂに出力する通信インターフェースである。

即ち、回路１６Ａ，１８Ａ，２０Ａ，２２Ａは伝送レート１２８ｋｂｐｓ用に設計されており、回路１６Ｂ，１８Ｂ，２０Ｂ，２２Ｂは、伝送レート２５６ｋｂｐｓ用に設計されている。他の伝送レートに対応する処理系が必要な場合には、回路１６Ａ，１８Ａ，２０Ａ，２２Ａ；１６Ｂ，１８Ｂ，２０Ｂ，２２Ｂに並列に、同様な処理系を設ける。

図１に示す実施例では、ＣＩＦフォーマットの入力画像が、Ｍｏｔｉｏｎ ＪＰＥＧにより圧縮された圧縮符号になる。

ＤＣＴ回路１２は、入力端子１０から入力するＣＩＦ画像から８×８のブロック順に画像データを取り出して、離散コサイン変換する。量子化器１４は、ＤＣＴ回路１２から出力されるＤＣＴ係数を量子化する。

マスキング処理回路１６Ａ，１６Ｂは、それぞれ、バッファ２０Ａ，２０Ｂからの制御信号に従い、ＤＣＴ係数の高周波部分を０にマスキングする。図２に示すＤＣＴ係数の配置図で、０にマスキングされる部分は、斜線部分であり、マスキングされない領域はＤＣ成分寄りの正方形となる。バッファ２０Ａ，２０Ｂにおける符号量が多くなると、その符号量に従い、マスキング処理回路１６Ａ，１６Ｂは、マスキングされない正方形の領域を低周波数成分側に狭くし、逆に、バッファ２０Ａ，２０Ｂにおける符号量が少なくなると、マスキングされない正方形の領域を高周波数成分側に広げる。

ハフマン符号化器１８Ａ，１８Ｂは、マスキング処理回路１６Ａ，１６Ｂの出力をハフマン符号化し、バッファ２０Ａ，２０Ｂは、ハフマン符号化器１８Ａ，１８Ｂから出力される符号列を一時記憶し、伝送路２４Ａ，２４Ｂの伝送レートに合うように通信インターフェース２２Ａ，２２Ｂに出力する。

バッファ２０Ａ，２０Ｂは、内部に記憶されるビット数を常時監視しており、記憶ビット数がある一定量になるように、マスキング処理回路１６Ａ，１６Ｂを制御する。即ち、バッファ２０Ａ，２０Ｂはマスキング処理回路１６Ａ，１６Ｂに、先に説明したように、蓄積ビット数が多い場合、０マスキング領域を広げる制御信号を送り、また、蓄積ビット数が少ない場合、マスキング領域を狭くする制御信号を送る。

通信インターフェース２２Ａは、バッファ２０Ａからの符号化データを１２８ｋｂｐｓの伝送路２４Ａに送信し、通信インターフェース２２Ｂは、バッファ２０Ｂからの符号化データを２５６ｋｂｐｓの伝送路２４Ｂに送信する。

このようにして、図１に示す実施例では、ＤＣＴ回路１２及び量子化器１４をそれぞれ１個設けるだけで、多数の伝送レートに対応できるようになる。換言すると、回路１６Ａ，１８Ａ，２０Ａ，２２Ａと同様の処理系を追加するだけで良い。

図３は、動画像符号化データを異なる伝送レートに変換して中継する中継装置に適用した本発明の第２実施例の概略構成ブロック図を示す。図３に示す実施例では、伝送レート３８４ｋｂｐｓで受信した符号化データを、伝送レート６４ｋｂｐｓの伝送路と伝送レート１２８ｋｂｐｓの伝送路に再出力している。

３０は伝送レート３８４ｋｂｐｓの伝送路からのデータが入力する入力端子、３２は入力端子３０に接続する伝送路との通信インターフェース、３４は通信インターフェース３２から出力される受信データ（動画像符号化データ）をハフマン復号化するハフマン・デコーダ、３６Ａ，３６Ｂはそれぞれ、ハフマン・デコーダ３４の出力を使い、伝送路に出力すべき符号量に応じて、通信インターフェース３２から出力される動画像符号化データの符号量を制御する符号量制御回路、３８Ａ，３８Ｂは、符号量制御回路３６Ａ，３６Ｂの出力符号をバッファリングするＦＩＦＯバッファであり、記憶される符号量に関する情報が符号量制御回路３６Ａ，３６Ｂに制御値として印加される。４０Ａ，４０Ｂはそれぞれ、バッファ３８Ａ，３８Ｂによりバッファリングされた符号量制御回路３６Ａ，３６Ｂの出力符号を伝送レート６４ｋｂｐｓ，１２８ｋｂｐｓの伝送路４２Ａ，４２Ｂに出力する通信インターフェースである。

回路３６Ａ，３８Ａ，４０Ａは伝送レート６４ｋｂｐｓ用に設計されており、回路３６Ｂ，３８Ｂ，４０ＢＢは、伝送レート１２８ｋｂｐｓ用に設計されている。図３でも、他の伝送レートに対応する処理系が必要な場合には、回路３６Ａ，３８Ａ，４０Ａ；３６Ｂ，３８Ｂ，４０Ｂに並列に、同様な処理系を設ければよい。

図３に示す実施例の動作を説明する。まず、各フレームを別個にＪＰＥＧ符号化された動画像データが、３８４ｋｂｐｓの伝送路を伝送して入力端子３０から通信インターフェース３２に入力し、通信インターフェース３２は、動画像符号化データをハフマン・デコーダ３４及び符号量制御回路３６Ａ，３６Ｂに印加する。ハフマン・デコーダ３４は、通信インターフェース３２からの動画像符号化データのハフマン符号を復号化し、符号量制御回路３６Ａ，３６Ｂに、ブロック情報の先頭位置、ブロック内の各シンボルのゼロ・ラン長と係数、及び符号境界を指示する。

符号量制御回路３６Ａ，３６Ｂは、ハフマン・デコーダ３４からの上記情報を受け、通信インターフェース３２の出力の内、ヘッダ等の情報をそのまま出力し、ＤＣ係数からＥＯＢ（エンド・オブ・ブロック）までの各ブロック情報に対し、ジグザグ・スキャン順のｎ番目以降のＡＣ係数を０でマスキングする。これにより、符号量が減少する。この変数ｎは１から６３までの値をとり、この値は、バッファ３８Ａ，３８Ｂからの符号量情報により増減される。ｎ＝１とした場合には、すべてのＡＣ係数を０にマスキングし、ｎ＝６３とした場合には、マスキング処理を行わない。

バッファ３８Ａ，３８Ｂは、符号量制御回路３６Ａ，３６Ｂから出力される符号列を一時記憶し、伝送路４２Ａ，４２Ｂの伝送レートに合うように通信インターフェース４０Ａ，４０Ｂに出力する。バッファ３８Ａ，３８Ｂはバッファ２０Ａ，２０Ｂと同様に、内部に記憶されるビット数を常時監視しており、記憶ビット数がある一定量になるように、符号量制御回路３６Ａ，３６Ｂを制御する。即ち、バッファ３８Ａ，３８Ｂは、符号量制御回路３６Ａ，３６Ｂに、蓄積ビット数が所定値より多くなると符号量低減を指示する制御信号を送り、また、蓄積ビット数が同じ又は異なる所定値より少なくなると、符号量増加を指示する制御信号を送る。

通信インターフェース４０Ａは、バッファ３８Ａからの符号化データを６４ｋｂｐｓの伝送路４２Ａに出力し、通信インターフェース４０Ｂは、バッファ３８Ｂからの符号化データを１２８ｋｂｐｓの伝送路４２ｂに送信する。

図４は、符号量制御回路３６Ａ，３６Ｂによる符号量制御の一例を示す。図４は、２５（＝ｎ）番目以降のＡＣ係数を０に置き換えた場合である。０ラン長と０でないＡＣ係数の数をカウントして、ｎ番目以降のＡＣ成分についての符号を除去することで、０によるマスキングが行なわれる。先に説明したように、バッファ３８Ａ，３８Ｂは、記憶するデータ量が多くなると、符号量制御回路３６Ａ，３６Ｂに符号量低減制御信号を供給し、逆に、記憶するデータ量が少なくなると、符号量制御回路３６Ａ，３６Ｂに符号量増加制御信号を供給する。符号量制御回路３６Ａ，３６Ｂは、符号量低減制御信号に応じて、変数ｎを小さくして、０に置き換えるＡＣ係数の数を増やし、逆に、符号量増加制御信号に応じて、変数ｎを大きくし、０に置き換える非０のＡＣ係数の数を少なくする。

図３に示す実施例では、直交変換係数の０による置き換えをジグザグ・スキャンの後端から前方向に行なっているので、レート変換して伝送する際に、再度、ハフマン符号化する必要がなくなる。また、高レート伝送路から受信した符号化データの一部を削除するのみで伝送レートを変換でき、簡単な回路で実現できるという利点がある。従ってまた、処理時間が少なくて済む。

図５は、ＣＤ−ＲＯＭ再生装置に適用した本発明の第３実施例の概略構成ブロック図を示す。図５において、５０は、ＭＰＥＧ符号化動画像データが記憶されたＣＤ−ＲＯＭ、５２は、ＣＤ−ＲＯＭ５０から再生された符号化動画像データをハフマン復号化するハフマン・デコーダ、５４は、符号量制御回路３６Ａ，３６Ｂと同様の方式で、ＣＤ−ＲＯＭ５０から再生された符号化動画像データの符号量を、符号量制御回路３６Ａ，３６Ｂと同様の方式で制御する符号量制御回路、５６は符号量制御回路５４から出力される符号量をカウントし、当該符号量が一定値になるように符号量制御回路５４を制御する符号量カウンタ、５８は符号量カウンタ５６の出力をバッファリングするＦＩＦＯバッファ、６０はバッファ５８の出力を伝送レート１Ｍｂｐｓの伝送路６２に供給する通信インターフェースである。

図５に示す実施例の動作を説明する。ＣＤ−ＲＯＭ５０からＭＰＥＧ符号化データが順次読み出され、ハフマン・デコーダ５２及び符号量制御回路５４に印加される。ハフマン・デコーダ５２は、ＭＰＥＧ符号化データをデコードし、符号量制御回路５４にブロック情報の先頭位置、ブロック内の各シンボルの０ラン長と係数及び符号境界を指示する。ハフマン・デコーダ５２はまた、符号量カウンタ５６に、処理中の符号列がＩピクチャ、Ｐピクチャ及びＢピクチャの何れのピクチャであるかを指示する。

符号量制御回路５４は、ＣＤ−ＲＯＭ５０から読み出されたＭＰＥＧ符号データ列の内、ヘッダ等の各種情報をそのまま符号量カウンタ５６に送るが、符号量カウンタ５６からの符号量制御信号に従い、各ブロック情報を処理対象としてジグザグスキャン順のｎ番目以降のＤＣＴ係数を０に置換する。符号量制御回路５４は、ブロック情報内の符号系列の中から、ジグザグスキャンでｎ番目以降のＤＣＴ係数に対する符号語を削除する。但し、ブロック内に０でない係数が１つしかない場合には、これを除去しないものとする。変数ｎは１から６３までの値をとり、この値は、符号量カウンタ５６からの制御信号により決定される。

符号量カウンタ５６は、内部にＦＩＦＯバッファを有し、符号量制御回路５４から出力されるデータをその内部バッファに書き込み、ハフマン・デコーダ５２からのピクチャ識別情報により、現在処理中のデータがＩピクチャのデータである場合にはレートＲｉ、Ｐピクチャの場合にはレートＲｐ、Ｂピクチャの場合にはレートＲｂで当該内部バッファからデータを読み出し、ＦＩＦＯバッファ５８に転送する。符号量カウンタ５６は、内部バッファに蓄積されているビット数を常に監視しており、蓄積ビット数がある一定量より多い場合には変数ｎを小さくする制御信号を符号量制御回路５４に送り、また、ある一定量以下であれば変数ｎを大きくする制御信号を符号量制御回路５４に送る。レートＲｉ，Ｒｐ，及びＲｂはそれぞれＩピクチャ、Ｐピクチャ及びＢピクチャの制御目標レートであり、平均的に１Ｍｂｐｓとなるように設定される。

ＦＩＦＯバッファ５８は、記憶するデータを１Ｍｂｐｓのレートでデータを読み出して通信インターフェース６０に供給し、通信インターフェース６０は、バッファ５８からのデータを１Ｍｂｐｓの伝送路６２に送出する。

本発明が上述した実施例に限定されないことは明らかである。例えば、上記実施例では動画像の符号化方式としてＭｏｔｉｏｎ ＪＰＥＧ方式又はＭＰＥＧ方式を用いたが、ＩＴＵ−Ｔ勧告Ｈ．２６１などの直交変換をベースとする他の動画像符号化方式であってもよいことは明らかである。

本発明の第１実施例の概略構成ブロック図である。 マスキング処理回路１６Ａ，１６Ｂによる、８×８のＤＣＴ係数に対するマスキング処理領域を示す図である。 本発明の第２実施例の概略構成ブロック図である。 図３に示す実施例でのマスキング処理の一例である。 本発明の第３実施例の概略構成ブロック図である。

符号の説明

１０：入力端子
１２：ＤＣＴ回路
１４：量子化器
１６Ａ，１６Ｂ：マスキング処理回路
１８Ａ，１８Ｂ：ハフマン符号化器
２０Ａ，２０Ｂ：バッファ
２２Ａ，２２Ｂ：通信インターフェース
２４Ａ：１２８ｋｂｐｓの伝送路
２４Ｂ：２５６ｋｂｐｓの伝送路
３０：入力端子
３２：通信インターフェース
３４：ハフマン・デコーダ
３６Ａ，３６Ｂ：符号量制御回路
３８Ａ，３８Ｂ：ＦＩＦＯバッファ
４０Ａ，４０Ｂ：通信インターフェース
４２Ａ：伝送レート６４ｋｂｐｓの伝送路
４２Ｂ：伝送レート１２８ｋｂｐｓの伝送路
５０：ＣＤ−ＲＯＭ
５２：ハフマン・デコーダ
５４：符号量制御回路
５６：符号量カウンタ
５８：ＦＩＦＯバッファ
６０：通信インターフェース
６２：伝送レート１Ｍｂｐｓの伝送路

Claims (6)

1. 画像データを周波数成分に変換してエントロピー符号化された画像符号化データを入力する入力手段と、
   前記入力手段によって入力されたエントロピー符号化された画像符号化データから、少なくとも符号境界を含む付加情報を得るエントロピー復号化手段と、
   前記入力手段によって入力されたエントロピー符号化された画像符号化データから、所定の範囲の周波数成分に対応するエントロピー符号化データを除去して符号量を制御する符号量制御手段
   とを有することを特徴とする画像処理装置。
2. さらに、前記符号量制御手段により制御された画像符号化データの符号量を検出する検出手段を有し、
   前記符号量制御手段は、前記検出手段の検出結果と予め設定された所定値と比較し、その比較結果に応じて除去する周波数成分の範囲を制御する亊を特徴とする請求項１に記載の画像処理装置。
3. さらに、前記入力手段により入力された画像データは、複数の符号化方法を有し、
   前記検出結果と比較する為の所定値を複数有し、
   前記複数の符号化方法に応じて前記複数の所定値を変えることを特徴とする請求項２に記載の画像処理装置。
4. 画像データを周波数成分に変換してエントロピー符号化された画像符号化データを入力する入力工程と、
   前記入力工程によって入力されたエントロピー符号化された画像符号化データから、少なくとも符号境界を含む付加情報を得るエントロピー復号化工程と、
   前記入力工程によって入力されたエントロピー符号化された画像符号化データから、所定の範囲の周波数成分に対応するエントロピー符号化データを除去して符号量を制御する符号量制御工程
   とを有することを特徴とする画像処理方法。
5. 動画像データを周波数成分に変換してブロック単位に符号化された動画像符号化データを入力する入力手段と、
   前記入力手段によって入力された動画像符号化データから前記ブロック単位に所定の範囲の周波数成分に対応する符号化データを除去して符号量を制御する符号量制御手段と、
   前記符号量制御手段により制御された前記動画像符号化データの符号量を検出する検出手段とを有し、
   前記符号量制御手段は、前記検出手段の出力に応じて除去する符号化データの周波数成分の範囲を制御し、
   前記符号量制御手段は、前記ブロック単位内に０（ゼロ）でない係数が１つしかない場合には、これを除去しないことを特徴とする画像処理装置。
6. 動画像データを周波数成分に変換してブロック単位に符号化された動画像符号化データを入力する入力工程と、
   前記入力された動画像符号化データから前記ブロック単位に所定の範囲の周波数成分に対応する符号化データを除去して符号量を制御する符号量制御工程と、
   前記符号量制御工程で制御された前記動画像符号化データの符号量を検出する検出工程
   とを有し、
   前記符号量制御工程では、前記検出工程の検出結果に応じて除去する符号化データの周波数成分の範囲を制御し、
   前記符号量制御工程は、前記ブロック単位内に０（ゼロ）でない係数が１つしかない場合には、これを除去しないことを特徴とする画像処理方法。

Images