JP2009017256A - 画像データ処理装置、画像データ処理方法、画像データ処理方法のプログラム及び画像データ処理方法のプログラムを記録した記録媒体 - Google Patents

Abstract

【課題】本発明は、Ｈ２６４ｘ等により画像データを符号化処理する場合に適用して、回路規模の大型化を有効に回避し、効率良くパイプライン処理して符号化処理することができるようにする。
【解決手段】本発明は、直流成分の係数データのみを先行してアダマール変換処理等した後、交流成分の係数データを生成、処理する。
【選択図】 図１

Description

本発明は、画像データ処理装置、画像データ処理方法、画像データ処理方法のプログラム及び画像データ処理方法のプログラムを記録した記録媒体に関し、衛星放送、ケーブルテレビジョン、インターネット、携帯電話等による画像データの伝送、光ディスク、磁気ディスク等の各種記録媒体への画像データの記録において、Ｈ２６４ｘ等により画像データを符号化処理する場合に適用することができる。本発明は、直流成分の係数データのみを先行してアダマール変換処理等した後、交流成分の係数データを生成、処理することにより、回路規模の大型化を有効に回避し、効率良くパイプライン処理して符号化処理することができるようにする。

近年、放送局、一般家庭等に関する動画の伝送、記録には、画像データの冗長性を有効に利用して効率良く画像データを伝送、蓄積する装置が普及しつつあり、このような装置は、例えばＭＰＥＧ（Moving Picture Experts Group）等の方式に準拠して、離散コサイン変換等の直交変換と動き補償とにより画像データを効率良くデータ圧縮している。

ここでこの種のデータ圧縮方式の１つであるＭＰＥＧ２（ISO/IEC 13818-2 ）は、汎用の画像符号化方式として定義された方式であり、飛び越し走査方式、順次走査方式の双方に、また標準解像度画像、高精細画像の双方に対応できるように定義され、現在、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに広く用いられている。具体的にＭＰＥＧ２によれば、例えば７２０×４８０画素による標準解像度、飛び越し走査方式の画像データを４〜８〔Ｍｂｐｓ〕のビットレートにデータ圧縮して、また１９２０×１０８８画素による高解像度、飛び越し走査方式の画像データを１８〜２２〔Ｍｂｐｓ〕のビットレートにデータ圧縮して、高画質で高い圧縮率を確保することができる。

しかしながらＭＰＥＧ２は、放送用に適合した高画質符号化方式であり、ＭＰＥＧ１より符号量の少ない高圧縮率の符号化方式には対応していない。これに対して近年の携帯端末の普及により、ＭＰＥＧ１より符号量の少ない高圧縮率の符号化方式のニーズの高まりが予測される。そこでＭＰＥＧ４による符号化方式の規格が、ＩＳＯ／ＩＥＣ（International 0rganization for Standardization／International Electrotechnical Commission ）１４４９６−２により１９９８年１２月に国際標準に承認された。

またこのようなデータ圧縮方式においては、当初はテレビ会議用の画像符号化を目的としたものであったＨ２６Ｌ（ITU-T Q6/16 VCEG）が規格化され、このＨ２６Ｌでは、ＭＰＥＧ２、ＭＰＥＧ４に比して演算量が増大するものの、ＭＰＥＧ２、ＭＰＥＧ４に比して高い符号化効率を確保することができる。またＭＰＥＧ４の活動の一環として、このＨ２６Ｌをベースにして各種機能を取り入れ、さらに一段と高い符号化効率を確保する符号化方式の標準化が、Joint Model of Enhanced-Compression Video Codingとして進められ、この方式は、２００３年３月に、Ｈ．２６４／ＡＶＣ（Advanced Video Coding ）との名称により国際標準に設定された。この規格は、ＭＰＥＧ−４Ｐａｒｔ１０とも称され、非特許文献１に詳細が記述されている。以下、この明細書では、この規格をＡＶＣと呼ぶ。

ここで図７は、このＡＶＣの符号化装置を示すブロック図である。符号化装置１は、複数のイントラ予測モードと複数のインター予測モードとから最適な予測モードを選択し、この選択した予測モードによる予測値を画像データから減算して差分データ（予測誤差データ）を生成し、この差分データを直交変換処理、量子化処理、可変長符号化処理する。

この符号化装置１において、アナログディジタル変換回路（Ａ／Ｄ）２は、ビデオ信号Ｓ１をアナログディジタル変換処理して画像データＤ１を出力する。画面並べ替え回路３は、このアナログディジタル変換回路２から出力される画像データＤ１を入力し、この符号化装置１の符号化処理に係るＧＯＰ（Group of Pictures ）構造に応じて、この画像データＤ１のフレームを並べ替えて出力する。

減算回路４は、この画面並べ替え回路３から出力される画像データＤ１を受け、イントラ符号化においては、選択回路５を介してイントラ予測回路６から出力される予測値を入力し、この予測値と画像データＤ１との差分データＤ２を出力する。これに対してインター符号化においては、選択回路５を介して動き予測・補償回路７から予測値を入力し、この予測値と画像データＤ１との差分データＤ２を出力する。

直交変換回路８は、減算回路４の出力データＤ２を入力し、離散コサイン変換、カルーネン・レーベ変換等の直交変換処理を実行し、その処理結果による係数データＤ３を出力する。量子化回路９は、制御回路１０に設けられたレート制御回路１０Ａのレート制御による量子化スケールにより、この係数データＤ３を量子化して出力する。可変長符号化回路１１は、この量子化回路９の出力データを可変長符号化、算術符号化等により可変長符号化処理して出力する。また可変長符号化回路１１は、イントラ符号化に関する情報、動きベクトルＭＶ等のインター符号化に関する情報をイントラ予測回路６、動き予測・補償回路７から取得し、これらの情報を出力データＤ４のヘッダ情報に設定して出力する。

バッファ１２は、この可変長符号化回路１１の出力データＤ４を蓄積して続く伝送路の伝送速度で出力する。制御回路１０は、この符号化装置１の各部の動作を制御する。レート制御回路１０Ａは、このバッファ１２の空き容量の監視により符号化処理による発生符号量を監視すると共に、この監視結果により量子化回路９の量子化スケールを切り換え、この符号化装置１による発生符号量を制御する。

逆量子化回路１３は、量子化回路９の出力データを逆量子化処理し、量子化回路９の入力データを再生する。逆直交変換回路１４は、逆量子化回路１３の出力データを逆直交変換処理し、直交変換回路８の入力データを再生する。加算回路１５は、対応する予測値をこの逆直交変換回路１４の出力データに加算し、減算回路４の入力データを再生する。デブロックフィルタ１６は、この加算回路１５の出力データからブロック歪を除去して出力する。フレームメモリ１７は、このデブロックフィルタ１６の出力データを参照画像情報として記録して保持する。

動き予測・補償回路７は、インター符号化において、このフレームメモリ１７に保持された参照画像情報による予測フレームを基準にして画像並べ替え回路３から出力される画像データの動きベクトルＭＶを検出してインター予測モードを判定する。また判定結果に基づいて検出した動きベクトルＭＶによりフレームメモリ１７に保持した参照画像情報を動き補償して予測画像情報を生成し、この予測画像情報による予測値を減算器４に出力する。

イントラ予測回路６は、イントラ符号化において、フレームメモリ１７に蓄積された参照画像情報に基づいてイントラ予測モードを判定し、この判定結果に応じてフレームメモリ１７に蓄積された参照画像情報から予測画像情報の予測値を生成して減算器４に出力する。

ここでＡＶＣでは、４画素×４画素のブロック（以下、直交変換ブロックと呼ぶ）が直交変換処理の処理単位とされており、この直交変換ブロックの１個又は複数個が予測値の生成単位とされている。具体的にＡＶＣでは、イントラ予測モードにイントラ４×４予測モードとイントラ１６×１６予測モードとが用意されており、イントラ４×４予測モードでは、直交変換ブロックの１個が輝度信号における予測値の生成単位とされる。またイントラ１６×１６予測モードでは、直交変換ブロックの４×４個のブロックが輝度信号における予測値の生成単位とされ、直交変換ブロックの２×２個のブロックが色差信号における予測値の生成単位とされる。

このためイントラ１６×１６予測モードで符号化処理する場合、符号化装置は、図８に示すように、輝度信号Ｙについては、１６画素×１６画素の生成単位毎に予測値を生成して差分データＤ２を生成し、この差分データＤ２を直交変換ブロック単位で処理する。また色差信号Ｃｒ及びＣｂについては、この輝度信号Ｙによる１６画素×１６画素の処理単位に対応する８画素×８画素の生成単位毎に、予測値を生成して差分データＤ２を生成し、この差分データＤ２を直交変換ブロック単位で処理する。なおこの図８では、符号Ｂ０〜Ｂ１５によりそれぞれ直交変換ブロックを示し、またハッチングにより各直交変換ブロックにおける直流成分の係数データを示す。

またＡＶＣでは、イントラ１６×１６予測モードにおいて、輝度信号Ｙ、色差信号Ｃｒ及びＣｂ毎に、直交変換処理して得られる直流成分の係数データを予測値生成単位でアダマール変換した後、量子化処理する。このため輝度信号Ｙについては、４×４個の係数データによるアダマール変換用ブロックＤＣＹを生成し、このアダマール変換用ブロックＤＣＹを４×４アダマール変換した後、量子化する。また色差信号Ｃｒ及びＣｂについては、８画素×８画素の処理単位から得られる直流成分の係数データから２×２個の係数データによるアダマール変換用ブロックＤＣＣｂ、ＤＣＣｒをそれぞれ生成し、このアダマール変換用ブロックＤＣＣｂ、ＤＣＣｒをそれぞれ２×２アダマール変換した後、量子化する。

ここで図９は、このイントラ１６×１６予測モードにおける制御回路１０の処理手順を示すフローチャートである。制御回路１０は、この場合、輝度信号による１６画素×１６画素のマクロブロックと色差信号の対応する８画素×８画素のマクロブロックとの組み合わせ毎に、この処理手順を実行する。すなわち制御回路１０は、この処理手順を開始すると予測値生成処理単位で輝度信号及び色差信号の予測値を生成してステップＳＰ１からステップＳＰ２に移る。制御回路１０は、このステップＳＰ２において、１つの直交変換処理単位の分だけ、画像データＤ１から予測値を減算して差分データＤ２を生成する。

続くステップＳＰ３において、制御回路１０は、この差分データＤ２を直交変換処理し、続くステップＳＰ４において、この直交変換処理結果の交流係数データを量子化処理する。また続くステップＳＰ５において、量子化処理結果を直流成分の係数データと共にバッファメモリに格納する。制御回路１０は、続くステップＳＰ６において、輝度信号及び色差信号について１マクロブロック（予測値生成単位）の量子化処理を完了したか否か判断し、ここで否定結果が得られると、ステップＳＰ２に戻り、続く直交変換処理単位の差分データＤ２を生成する。これにより制御回路１０は、輝度信号Ｙについては、ステップＳＰ２−ＳＰ３−ＳＰ４−ＳＰ５−ＳＰ６の処理手順を１６回、繰り返し、色差信号Ｃｒ、Ｃｂについては、ステップＳＰ２−ＳＰ３−ＳＰ４−ＳＰ５−ＳＰ６の処理手順をそれぞれ４回、繰り返し、ステップＳＰ６からステップＳＰ７に移る。

このステップＳＰ７において、制御回路１０は、バッファメモリに保持した直流成分の係数データを予測値の生成処理単位でアダマール変換処理する。また続くステップＳＰ８において、このアダマール変換結果を量子化処理する。制御回路１０は、このアダマール変換結果の量子化処理結果を、バッファメモリに保持した他の係数データの量子化処理結果と共に可変長符号化処理して出力データＤ４を出力する。

また制御回路１０は、続くステップＳＰ９において、アダマール変換結果の量子化処理結果を逆アダマール変換処理し、続くステップＳＰ１０において、この逆アダマール変換処理結果を逆量子化処理し、アダマール変換用ブロックＤＣＹ、ＤＣＣｂ、ＤＣＣｒを復号する。制御回路１０は、この復号結果を続くステップＳＰ１１において、バッファメモリに格納し、続くステップＳＰ１２において、直交変換処理単位の他の係数データを逆量子化処理する。また続くステップＳＰ１３において、この逆量子化処理結果をバッファメモリに保持した対応する直流成分の係数データと共に逆直交変換処理し、１個の直交変換ブロックの差分データを復号する。

制御回路１０は、続くステップＳＰ１４において、この差分データを対応する予測値と加算して元の画像データＤ１を復号し、フレームメモリに参照画像情報として格納する。続いて制御回路１０は、ステップＳＰ１５において、１マクロブロック分、元の画像データＤ１を復号したか否か判断し、ここで否定結果が得られると、ステップＳＰ１２に戻り、続く直交変換処理単位を逆直交変換処理する。これに対してステップＳＰ１５で肯定結果が得られると、ステップＳＰ１５からステップＳＰ１６に移ってこの処理手順を終了する。

このようなＡＶＣの処理に関して、特開２００５−３９７４３号公報には、色差信号に関する処理の工夫が提案されている。

ところで４画素×４画素の直交変換ブロックの直交変換処理では、１つの直交変換ブロックで４×４個（１６個）の係数データが作成される。従って図９の処理手順によるイントラ１６×１６予測モードにおける画像データの処理では、ステップＳＰ５の繰り返しの処理において、輝度信号では２５６個（４×４×１６）の係数データをバッファメモリに格納することが必要になる。また色差信号Ｃｒ、Ｃｂでは、それぞれ６４個（２×２×１６）の係数データをバッファメモリに格納することが必要になる。従って全体としては、１マクロブロックの処理に３８４個の係数データをバッファメモリに一時格納することが必要になる。その結果、従来の符号化装置１では、バッファメモリの容量が大型化し、回路規模が大型化する問題があった。

また従来の符号化装置１では、一連の処理を効率良くパイプライン処理できない問題もある。すなわち図１０は、イントラ１６×１６予測モードに係るアダマール変換回路等の構成を考慮して、図７の符号化装置の詳細構成を示すブロック図である。この図１０の構成では、量子化回路９で量子化処理した係数データを格納する係数格納部２２が設けられ、またこの係数格納部２２に格納された予測値生成単位による直流成分の係数データをアダマール変換するアダマール変換回路２３が設けられる。またこのアダマール変換回路２３の出力データと直交変換回路８の出力データとを選択的に量子化回路９に入力する選択回路２１が設けられる。

この図１０の例では、選択回路２１を介して、このアダマール変換回路２３の出力データを量子化回路９に入力して量子化した後、係数格納部２２に格納する。またこの係数格納部２２に格納した係数データを逆アダマール変換回路２４で逆アダマール変換処理した後、交流成分の係数データと共に順次逆量子化回路１３で逆量子化処理する。なおこの図１０の例では、係数格納部２２が上述の係数データを格納するバッファメモリである。

この場合、図１１に示すように、予測値の生成単位を構成する１６個の直交変換ブロックＢ０〜Ｂ１５については、減算回路４、直交変換回路８、量子化回路９（図１１（Ａ）〜（Ｃ））でパイプライン処理により、順次、直交変換ブロックを処理することができる。しかしながら予測値生成処理単位を構成する１６個の直交変換ブロックＢ０〜Ｂ１５についての直交変換処理、量子化処理を完了した後、アダマール変換回路２３、量子化回路９（図１１（Ｄ）及び（Ｅ））でアダマール変換用ブロックＤＣＹ（ＤＣＣｂ、ＤＣＣｒ）を処理することになる。また逆アダマール変換回路２４、逆量子化回路１３（図１１（Ｆ）及び（Ｇ））でアダマール変換用ブロックＤＣＹ（ＤＣＣｂ、ＤＣＣｒ）を復号した後でなければ、逆量子化回路１３、逆直交変換回路１４、加算回路１５（図１１（Ｈ）〜（Ｊ））でパイプライン処理を開始することが困難になる。なお図１１では、図１０において各部に付した符号により、対応する構成の処理を示し、また色差信号についての処理は省略して示す。

従ってこの場合、直流成分に係る一連の処理により、直交変換処理単位によるパイプライン処理が滞ることになり、その結果、一連の処理を効率良くパイプライン処理できなくなる。
特開２００５−３９７４３号公報 「Draft Errata List with Revision-Marked Corrections for H.264/AVC」, JVT-1050, Thomas Wiegand et al., Joint Video Team (JVT) of ISO/IEC MPEG & ITU-T VCEG, 2003

本発明は以上の点を考慮してなされたもので、回路規模の大型化を有効に回避し、効率良くパイプライン処理して符号化処理することができる画像データ処理装置、画像データ処理方法、画像データ処理方法のプログラム及び画像データ処理方法のプログラムを記録した記録媒体を提案しようとするものである。

上記の課題を解決するため請求項１の発明は、入力画像データを直交変換処理単位毎に符号化処理して符号化データを出力する画像データ処理装置に適用して、前記直交変換処理単位の複数個による予測値生成単位毎に、前記入力画像データの予測値を生成する予測値生成部と、前記入力画像データから前記予測値を減算して差分データを生成する減算部と、前記直交変換処理単位毎に、前記差分データを直交変換処理して係数データを出力する直交変換部と、前記係数データを量子化処理する量子化部と、前記量子化部の出力データを逆量子化処理する逆量子化部と、前記逆量子化部の出力データを逆直交変換処理する逆直交変換部と、前記逆直交変換部の出力データに前記予測値を加算して前記入力画像データを復号する加算部と、前記加算部の出力データを前記予測値の生成用に保持するフレームメモリと、前記差分データから前記直交変換処理による直流成分の係数データを生成する直流成分の直交変換部と、前記予測値生成単位で、前記直流成分の係数データをアダマール変換処理するアダマール変換部と、前記アダマール変換部の出力データを量子化処理するアダマール変換の量子化部と、前記アダマール変換の量子化部の出力データを逆アダマール変換する逆アダマール変換部と、前記逆アダマール変換部の出力データを逆量子化処理するアダマール変換の逆量子化部と、各部の動作を制御する制御部とを備え、前記制御部は、前記減算部、前記直流成分の直交変換部、前記アダマール変換部、前記アダマール変換の量子化部により、１つの前記予測値生成単位について、前記直流成分の係数データを処理して前記アダマール変換の量子化部の出力データをメモリに格納して保持した後、前記減算部、前記直交変換部、前記量子化部により、前記１つの予測値生成単位について、交流成分の係数データを処理し、前記メモリに格納した前記アダマール変換の量子化部の出力データと共に、前記直交変換処理単位毎に可変長符号化処理して前記符号化データを出力する。

また請求項６の発明は、入力画像データを直交変換処理単位毎に符号化処理して符号化データを出力する画像データ処理方法に適用して、前記直交変換処理単位の複数個による予測値生成単位毎に、前記入力画像データの予測値を生成する予測値生成ステップと、前記入力画像データから前記予測値を減算して差分データを生成する減算ステップと、前記直交変換処理単位毎に、前記差分データを直交変換処理して係数データを出力する直交変換ステップと、前記係数データを量子化処理する量子化ステップと、前記量子化ステップの出力データを逆量子化処理する逆量子化ステップと、前記逆量子化ステップの出力データを逆直交変換処理する逆直交変換ステップと、前記逆直交変換ステップの出力データに前記予測値を加算して前記入力画像データを復号する加算ステップと、前記加算ステップの出力データを前記予測値の生成用に保持するフレームメモリと、前記差分データから前記直交変換処理による直流成分の係数データを生成する直流成分の直交変換ステップと、前記予測値生成単位で、前記直流成分の係数データをアダマール変換処理するアダマール変換ステップと、前記アダマール変換ステップの出力データを量子化処理するアダマール変換の量子化ステップと、前記アダマール変換の量子化ステップの出力データを逆アダマール変換する逆アダマール変換ステップと、前記逆アダマール変換ステップの出力データを逆量子化処理するアダマール変換の逆量子化ステップと、各ステップの動作を制御する制御ステップとを備え、前記制御ステップは、前記減算ステップ、前記直流成分の直交変換ステップ、前記アダマール変換ステップ、前記アダマール変換の量子化ステップにより、１つの前記予測値生成単位について、前記直流成分の係数データを処理して前記アダマール変換の量子化ステップの出力データをメモリに格納して保持した後、前記減算ステップ、前記直交変換ステップ、前記量子化ステップにより、前記１つの予測値生成単位について、交流成分の係数データを処理し、前記メモリに格納した前記アダマール変換の量子化ステップの出力データと共に、前記直交変換処理単位毎に可変長符号化処理して前記符号化データを出力する。

また請求項７の発明は、入力画像データを直交変換処理単位毎に符号化処理して符号化データを出力する画像データ処理方法のプログラムに適用して、前記プログラムは、前記直交変換処理単位の複数個による予測値生成単位毎に、前記入力画像データの予測値を生成する予測値生成ステップと、前記入力画像データから前記予測値を減算して差分データを生成する減算ステップと、前記直交変換処理単位毎に、前記差分データを直交変換処理して係数データを出力する直交変換ステップと、前記係数データを量子化処理する量子化ステップと、前記量子化ステップの出力データを逆量子化処理する逆量子化ステップと、前記逆量子化ステップの出力データを逆直交変換処理する逆直交変換ステップと、前記逆直交変換ステップの出力データに前記予測値を加算して前記入力画像データを復号する加算ステップと、前記加算ステップの出力データを前記予測値の生成用に保持するフレームメモリと、前記差分データから前記直交変換処理による直流成分の係数データを生成する直流成分の直交変換ステップと、前記予測値生成単位で、前記直流成分の係数データをアダマール変換処理するアダマール変換ステップと、前記アダマール変換ステップの出力データを量子化処理するアダマール変換の量子化ステップと、前記アダマール変換の量子化ステップの出力データを逆アダマール変換する逆アダマール変換ステップと、前記逆アダマール変換ステップの出力データを逆量子化処理するアダマール変換の逆量子化ステップと、各ステップの動作を制御する制御ステップとを備え、前記制御ステップは、前記減算ステップ、前記直流成分の直交変換ステップ、前記アダマール変換ステップ、前記アダマール変換の量子化ステップにより、１つの前記予測値生成単位について、前記直流成分の係数データを処理して前記アダマール変換の量子化ステップの出力データをメモリに格納して保持した後、前記減算ステップ、前記直交変換ステップ、前記量子化ステップにより、前記１つの予測値生成単位について、交流成分の係数データを処理し、前記メモリに格納した前記アダマール変換の量子化ステップの出力データと共に、前記直交変換処理単位毎に可変長符号化処理して前記符号化データを出力する。

また請求項８の発明は、入力画像データを直交変換処理単位毎に符号化処理して符号化データを出力する画像データ処理方法のプログラムを記録した記録媒体に適用して、前記プログラムは、前記直交変換処理単位の複数個による予測値生成単位毎に、前記入力画像データの予測値を生成する予測値生成ステップと、前記入力画像データから前記予測値を減算して差分データを生成する減算ステップと、前記直交変換処理単位毎に、前記差分データを直交変換処理して係数データを出力する直交変換ステップと、前記係数データを量子化処理する量子化ステップと、前記量子化ステップの出力データを逆量子化処理する逆量子化ステップと、前記逆量子化ステップの出力データを逆直交変換処理する逆直交変換ステップと、前記逆直交変換ステップの出力データに前記予測値を加算して前記入力画像データを復号する加算ステップと、前記加算ステップの出力データを前記予測値の生成用に保持するフレームメモリと、前記差分データから前記直交変換処理による直流成分の係数データを生成する直流成分の直交変換ステップと、前記予測値生成単位で、前記直流成分の係数データをアダマール変換処理するアダマール変換ステップと、前記アダマール変換ステップの出力データを量子化処理するアダマール変換の量子化ステップと、前記アダマール変換の量子化ステップの出力データを逆アダマール変換する逆アダマール変換ステップと、前記逆アダマール変換ステップの出力データを逆量子化処理するアダマール変換の逆量子化ステップと、各ステップの動作を制御する制御ステップとを備え、前記制御ステップは、前記減算ステップ、前記直流成分の直交変換ステップ、前記アダマール変換ステップ、前記アダマール変換の量子化ステップにより、１つの前記予測値生成単位について、前記直流成分の係数データを処理して前記アダマール変換の量子化ステップの出力データをメモリに格納して保持した後、前記減算ステップ、前記直交変換ステップ、前記量子化ステップにより、前記１つの予測値生成単位について、交流成分の係数データを処理し、前記メモリに格納した前記アダマール変換の量子化ステップの出力データと共に、前記直交変換処理単位毎に可変長符号化処理して前記符号化データを出力する。

請求項１、請求項６、請求項７、又は請求項８の構成によれば、予測値生成単位による直流成分の係数データの処理を完了した後、直交変換処理単位により交流成分の係数データを順次処理できることにより、単に直流成分の係数データの処理結果だけをメモリに保持しておけば良く、メモリを小容量化して回路規模の大型化を有効に回避することができる。直交変換処理単位による交流成分の係数データの処理にあっては、前段の処理の完了により続いて処理することができ、これにより効率良くパイプライン処理することができる。

本発明によれば、回路規模の大型化を有効に回避し、効率良くパイプライン処理して符号化処理することができる。

以下、適宜図面を参照しながら本発明の実施例を詳述する。

（１）実施例の構成
図２は、本発明の実施例に係る画像伝送システムの構成を示すブロック図である。この画像伝送システム３１は、ＡＶＣ方式の符号化装置３２によりビデオ信号Ｓ１を符号化処理して符号化データＤ４を生成し、この符号化データＤ４を各種の伝送路３３により復号化装置３４に伝送する。なおここでこの伝送路３３は、衛星放送、ケーブルテレビジョン、インターネット、携帯電話システム等の各種伝送路、光ディスク、磁気ディスク等の各種記録媒体である。復号化装置３４は、この符号化データＤ４を処理して元のビデオ信号Ｓ１を再生する。

図３は、図７との対比によりこの符号化装置３２を詳細に示すブロック図である。この実施例の符号化装置３２は、制御回路１０に代えて設けられた制御回路４０による各部の制御が異なる点を除いて、図７について上述した符号化装置１と同一に構成される。なお図３において、図７と同一の構成は対応する符号を付して示す。

図１は、図９との対比により、この制御回路４０に係る各部の制御に係る処理手順を示すフローチャートである。制御回路４０は、直流成分の係数データの処理を完了した後、直交変換処理単位の直交変換処理、量子化処理を実行する。このため図１０との対比により図４に示すように、この符号化装置３２は、直交変換回路８により差分データＤ２を直交変換して直流成分の係数データを取得し、この直流成分の係数データをアダマール変換回路２３によりアダマール変換処理する。またアダマール変換回路２３の出力データを選択回路２１を介して量子化回路９に入力し、量子化回路９により量子化する。またこの量子化処理結果をバッファメモリである直流成分格納部４４に格納して保持する。また直交変換回路８から出力される交流成分の係数データを選択回路２１を介して量子化回路９に入力し、量子化回路９により量子化する。またこの量子化回路９から出力される交流成分の係数データを、直流成分格納部４４に格納して保持した直流成分の係数データと共に可変長符号化回路１１に出力する。

またさらに量子化回路９から出力される直流成分の係数データを逆アダマール変換回路２４により逆アダマール変換処理した後、選択回路４３を介して逆量子化回路１３に入力し、ここで直流成分の係数データを復号する。符号化装置３２は、この復号した直流成分の係数データを直流成分格納部４４に格納して保持する。また量子化回路９から出力される交流成分の係数データを選択回路４３を介して逆量子化回路１３に入力し、ここで交流成分の係数データを復号する。符号化装置３２は、この逆量子化回路１３から出力される交流成分の係数データを直流成分格納部４４に格納した直流成分の係数データと共に逆直交変換処理し、元の差分データＤ２を復号する。

制御回路４０は、輝度信号による１６画素×１６画素のマクロブロックと色差信号の対応する８画素×８画素のマクロブロックとの組み合わせ毎に、この図１に示す処理手順を実行する。

すなわち制御回路４０は、この処理手順を開始すると予測値生成処理単位で輝度信号及び色差信号の予測値を生成してステップＳＰ２１からステップＳＰ２２に移る。制御回路４０は、このステップＳＰ２２において、１つの直交変換処理単位の分だけ、画像データＤ１から予測値を減算して差分データＤ２を生成する。

また続くステップＳＰ２３において、この差分データＤ２の直流成分についてのみ、直交変換処理を実行する。ここで制御回路４０は、図５に示すように、符号ａ〜ｐにより各画素を示す１つの直交変換処理単位（４×４画素のブロック）による差分データＤ２について、画素値の加算値（ＤＣ＝ａ＋ｂ＋ｃ＋ｄ＋ｅ＋ｆ＋ｇ＋ｈ＋ｉ＋ｊ＋ｋ＋ｌ＋ｍ＋ｎ＋ｏ＋ｐ）を計算した後、この加算値ＤＣを画素数で割り算することにより、直流成分についてのみの直交変換処理を実行し、直流成分の係数データＤＣ／１６を生成する。なおこの場合、後段の処理である量子化の処理において、画素数で割り算した値となるように処理して、この直交変換の処理を単に加算処理により実行してもよい。

続いて制御回路４０は、ステップＳＰ２４に移り、この直流成分の係数データＤＣ／１６を１マクロブロック分生成したか否か判断し、ここで否定結果が得られると、ステップＳＰ２４からステップＳＰ２２に移り、次の直交変換処理単位について差分データＤ２を生成する。これにより制御回路４０は、ステップＳＰ２２−ＳＰ２３−ＳＰ２４の処理を繰り返し、輝度信号及び色差信号について、それぞれ１マクロブロック分、直流成分の係数データＤＣ／１６を生成すると、ステップＳＰ２４で肯定結果が得られることにより、ステップＳＰ２４からステップＳＰ２５に移る。

このステップＳＰ２５において、制御回路４０は、ステップＳＰ２３で検出した直流成分の係数データＤＣ／１６を量子化し、可変長符号化回路１１への出力用に直流成分格納部４４に格納する。また続くステップＳＰ２７において、この量子化した直流成分を逆アダマール変換処理した後、続くステップＳＰ２８において、逆量子化処理し、復号用に直流成分格納部４４に格納する。

続いて制御回路４０は、ステップＳＰ２９において、改めて処理中の予測値生成処理単位について、１つの直交変換処理単位の分だけ、画像データＤ１から予測値を減算して差分データＤ２を生成する。また続くステップＳＰ３０において、この差分データＤ２を直交変換処理する。また続くステップＳＰ３１において、この直交変換処理結果の交流成分の係数データを量子化処理し、直流成分格納部４４に保持した直交成分の量子化処理結果と共に、順次可変長符号化回路１１に出力する。

また続くステップＳＰ３２において、制御回路４０は、交流成分の係数データの量子化処理結果と直流成分格納部４４に保持した直交成分の量子化処理結果とを逆量子化処理し、続くステップＳＰ３３において、さらに逆直交変換処理し、これにより差分データＤ２を復号する。制御回路４０は、続くステップＳＰ３４において、この差分データＤ２に予測値を加算して元の画像データＤ１を復号し、フレームメモリ１７に格納する。また続くステップＳＰ３５において、輝度信号及び色差信号について１マクロブロックの処理を完了したか否か判断し、ここで否定結果が得られると、ステップＳＰ２９に戻り、続く直交変換処理単位の処理を開始する。

これにより制御回路４０は、１つの予測値生成単位の分だけ、直交変換処理単位でステップＳＰ２９−ＳＰ３０−ＳＰ３１−ＳＰ３２−ＳＰ３３−ＳＰ３４−ＳＰ３５の処理手順を繰り返して、１マクロブロックの処理を完了すると、ステップＳＰ３５からステップＳＰ３６に移ってこの処理手順を終了する。

（２）実施例の動作
以上の構成において（図２）、ビデオ信号Ｓ１は、符号化装置３２において符号化処理されて符号化データＤ４が生成され、この符号化データＤ４が伝送路３３を介して復号化装置３４に伝送され、ここで元のビデオ信号Ｓ１に復号される。

また符号化装置３２において（図３及び図４）、ビデオ信号Ｓ１は、アナログディジタル変換回路２により画像データＤ１に変換され、画面並べ替え回路３において、ＧＯＰ構造に応じて並べ替えられ、続く減算回路４において、イントラ予測回路６、動き予測・補償回路７で生成されるイントラ予測、インター予測の予測値が減算されて差分データＤ２が生成される。ビデオ信号Ｓ１は、この差分データＤ２が直交変換回路８により直交変換処理され、その結果得られる係数データが量子化回路９により量子化された後、可変長符号化回路１１により可変長符号化処理されて符号化データＤ４が生成され、この符号化データＤ４がバッファ１２を介して伝送路３３に出力される。また量子化回路９の出力データが逆量子化回路１３、逆直交変換回路１４により順次処理されて元の画像データＤ１が復号され、この画像データＤ１が参照画像情報としてフレームメモリ１７に格納される。

この一連の符号化処理において、符号化装置３２では、ＡＶＣの規則に従って、複数のイントラ予測モードと複数のインター予測モードとから最適な予測モードを選択し、この選択した予測モードによる予測値を画像データから減算して差分データＤ２を生成し、効率良くデータ圧縮して画像データＤ１を伝送する。

しかしながらこの複数の予測モードのうちの、イントラ１６×１６予測モードでは、直交変換処理単位で差分データＤ２を直交変換して求められる直流成分の係数データを、予測値生成単位でアダマール変換処理、量子化処理することから（図８）、単に、この処理の順序で差分データＤ２を処理していたのでは（図９、図１０）、直交変換処理して得られる係数データを一時格納するバッファメモリが大容量化し、回路規模が大型化することになる。また直交変換処理単位によるパイプライン処理が滞ることになり、その結果、一連の処理を効率良くパイプライン処理できなくなる（図１１）。

そこでこの符号化装置３２では、始めに、差分データＤ２を直交変換処理して直流成分の係数データを取得し、この直流成分の係数データを予測値生成単位でアダマール変換処理、量子化処理し、直流成分格納部４４に格納する。またさらに逆アダマール変換処理、逆量子化処理して直流成分の係数データを復号し、直流成分格納部４４に格納する。

符号化装置３２では、さらに改めて差分データＤ２を生成して直交変換処理し、交流成分の係数データを生成する。またこの交流成分の係数データを量子化処理し、直流成分格納部４４に格納して保持した直流成分のデータと共に可変長符号化処理して出力する（図１、図３）。また直流成分格納部４４に復号して保持した直流成分の係数データと共に、量子化処理した交流成分の係数データを逆量子化処理、逆直交変換処理して差分データＤ２を復号し、予測値を加算して画像データＤ１を復号し、この復号した画像データＤ１を参照画像情報としてフレームメモリ１７に格納する。

その結果、この符号化装置３２では、アダマール変換処理、量子化処理した直流成分の係数データ、この直流成分の係数データの復号結果だけをバッファメモリに格納しておくだけで、順次連続する画像データＤ１を符号化処理することができ、従来に比してバッファメモリの容量を小容量化し、回路規模を小型化することができる。

また直流成分に係る一連の処理を事前に実行した後、直交変換処理単位による一連の処理を実行することにより、直交変換処理単位によるパイプライン処理を効率良く実行することもできる。

すなわち図６は、図１１との対比により、この実施例による処理手順により各処理をパイプライン処理した場合のタイムチャートである。この場合、直流成分の処理に係る減算処理（図６（Ａ））及び直交変換処理（図６（Ｂ））は、直交変換処理単位の処理において、前段で処理されたデータを逐次処理してパイプライン処理することができる。また続くアダマール変換処理（図６（Ｃ））、量子化処理（図６（Ｄ））、逆量子化処理（図６（Ｅ））、逆アダマール変換処理（図６（Ｆ））は、予測値生成単位でパイプライン処理することができる。その後、交流成分の処理に係る減算処理（図６（Ａ））、直交変換処理（図６（Ｇ））、量子化処理（図６（Ｈ））、逆量子化処理（図６（Ｉ））、逆直交変換処理（図６（Ｊ））、加算処理（図６（Ｋ））については、前段で処理されたデータを逐次処理してパイプライン処理することができる。

また符号化装置３２では、直流成分の係数データを直交変換処理により生成する際に、直交変換処理単位で画素値を加算（平均値化）して生成することにより、簡易な処理により直流成分の係数データを求めることができる。

（３）実施例の効果
以上の構成によれば、直流成分の係数データのみを先行してアダマール変換処理等した後、交流成分の係数データを生成、処理することにより、回路規模の大型化を有効に回避し、効率良くパイプライン処理して符号化処理することができる。

また予測値生成用の画像データの復号化に係る逆アダマール変換処理等についても、先行して実行し、続いて交流成分の係数データを生成、処理し、さらには復号することにより、予測値生成用の画像データを復号するまでの処理に関して、回路規模の大型化を有効に回避し、効率良くパイプライン処理することができる。

また差分データを加算処理して直流成分の係数データを生成することにより、簡易な処理により直流成分の係数データを求めることができる。

なお上述の実施例においては、差分データを加算処理して直流成分の係数データを生成する場合について述べたが、本発明はこれに限らず、ディスクリートコサイン変換処理等により生成してもよい。

また上述の実施例においては、ハードウェア構成による符号化装置に本発明を適用する場合について述べたが、本発明はこれに限らず、コンピュータ等におけるプログラムの実行によるソフトウェア構成により符号化装置を構成する場合にも広く適用することができる。なおこの場合、このプログラムにあっては、コンピュータ等の演算処理装置に事前にインストールして提供するようにしてもよく、光ディスク、磁気ディスク、メモリカード等の各種記録媒体に記録して提供するようにしてもよく、さらにはインターネット等のネットワークを介したダウンロードにより提供するようにしてもよい。

また上述の実施例においては、ＡＶＣによる符号化処理に本発明を適用する場合について述べたが、本発明はこれに限らず、画像データの各種符号化処理に広く適用することができる。

本発明は、画像データ処理装置、画像データ処理方法、画像データ処理方法のプログラム及び画像データ処理方法のプログラムを記録した記録媒体に関し、衛星放送、ケーブルテレビジョン、インターネット、携帯電話等による画像データの伝送、光ディスク、磁気ディスク等の各種記録媒体への画像データの記録において、Ｈ２６４ｘ等により画像データを符号化処理する場合に適用することができる。

本発明の実施例１の画像伝送システムに適用される制御回路の処理手順を示すフローチャートである。 本発明の実施例１の画像伝送システムを示すブロック図である。 図２の画像伝送システムにおける符号化装置を示すブロック図である。 図３の符号化装置を詳細に示すブロック図である。 直流成分の係数データの生成処理の説明に供する略線図である。 図３の符号化装置におけるパイプライン処理の説明に供するタイムチャートである。 従来の符号化装置を示すブロック図である。 イントラ１６×１６予測モードの説明に供する略線図である。 図７の符号化装置における制御回路の処理手順を示すフローチャートである。 図７の符号化装置を詳細に示すブロック図である。 図７の符号化装置におけるパイプライン処理の説明に供するタイムチャートである。

符号の説明

１、３２……符号化装置、３……画面並べ替え回路、４……減算回路、６……イントラ予測回路、７……動き予測・補償回路、８……直交変換回路、９……量子化回路、１０、４０……制御回路、１３……逆量子化回路、１４……逆直交変換回路、１５……加算回路、１７……フレームメモリ、２３……アダマール変換回路、２４……逆アダマール変換回路、３１……画像伝送システム、４４……直流成分格納部

Claims (8)

1. 入力画像データを直交変換処理単位毎に符号化処理して符号化データを出力する画像データ処理装置において、
   前記直交変換処理単位の複数個による予測値生成単位毎に、前記入力画像データの予測値を生成する予測値生成部と、
   前記入力画像データから前記予測値を減算して差分データを生成する減算部と、
   前記直交変換処理単位毎に、前記差分データを直交変換処理して係数データを出力する直交変換部と、
   前記係数データを量子化処理する量子化部と、
   前記量子化部の出力データを逆量子化処理する逆量子化部と、
   前記逆量子化部の出力データを逆直交変換処理する逆直交変換部と、
   前記逆直交変換部の出力データに前記予測値を加算して前記入力画像データを復号する加算部と、
   前記加算部の出力データを前記予測値の生成用に保持するフレームメモリと、
   前記差分データから前記直交変換処理による直流成分の係数データを生成する直流成分の直交変換部と、
   前記予測値生成単位で、前記直流成分の係数データをアダマール変換処理するアダマール変換部と、
   前記アダマール変換部の出力データを量子化処理するアダマール変換の量子化部と、
   前記アダマール変換の量子化部の出力データを逆アダマール変換する逆アダマール変換部と、
   前記逆アダマール変換部の出力データを逆量子化処理するアダマール変換の逆量子化部と、
   各部の動作を制御する制御部とを備え、
   前記制御部は、
   前記減算部、前記直流成分の直交変換部、前記アダマール変換部、前記アダマール変換の量子化部により、１つの前記予測値生成単位について、前記直流成分の係数データを処理して前記アダマール変換の量子化部の出力データをメモリに格納して保持した後、
   前記減算部、前記直交変換部、前記量子化部により、前記１つの予測値生成単位について、交流成分の係数データを処理し、前記メモリに格納した前記アダマール変換の量子化部の出力データと共に、前記直交変換処理単位毎に可変長符号化処理して前記符号化データを出力する
   ことを特徴とする画像データ処理装置。
2. 前記制御部は、
   前記逆アダマール変換部、前記アダマール変換の逆量子化部により、前記アダマール変換の量子化部の出力データを処理し、前記直流成分の係数データを復号して前記メモリに格納した後、
   前記減算部、前記直交変換部、前記量子化部により、前記１つの予測値生成単位について、交流成分の係数データを処理し、
   前記逆量子化部により、前記量子化部の出力データを逆量子化処理して前記交流成分の係数データを復号し、
   前記逆直交変換部により、復号した交流成分の係数データと前記メモリに格納した直流成分の係数データとを逆直交変換処理して前記差分データを復号する
   ことを特徴とする請求項１に記載の画像データ処理装置。
3. 前記減算部、前記直交変換部、前記量子化部は、
   パイプライン処理により、前段の出力データを順次処理する
   ことを特徴とする請求項１に記載の画像データ処理装置。
4. 前記減算部、前記直交変換部、前記量子化部、前記逆量子化部、前記逆直交変換部、前記加算部は、
   パイプライン処理により、前段の出力データを順次処理する
   ことを特徴とする請求項２に記載の画像データ処理装置。
5. 前記直流成分の直交変換部は、
   前記差分データを加算処理して前記直流成分の係数データを生成する
   ことを特徴とする請求項１に記載の画像データ処理装置。
6. 入力画像データを直交変換処理単位毎に符号化処理して符号化データを出力する画像データ処理方法において、
   前記直交変換処理単位の複数個による予測値生成単位毎に、前記入力画像データの予測値を生成する予測値生成ステップと、
   前記入力画像データから前記予測値を減算して差分データを生成する減算ステップと、
   前記直交変換処理単位毎に、前記差分データを直交変換処理して係数データを出力する直交変換ステップと、
   前記係数データを量子化処理する量子化ステップと、
   前記量子化ステップの出力データを逆量子化処理する逆量子化ステップと、
   前記逆量子化ステップの出力データを逆直交変換処理する逆直交変換ステップと、
   前記逆直交変換ステップの出力データに前記予測値を加算して前記入力画像データを復号する加算ステップと、
   前記加算ステップの出力データを前記予測値の生成用に保持するフレームメモリと、
   前記差分データから前記直交変換処理による直流成分の係数データを生成する直流成分の直交変換ステップと、
   前記予測値生成単位で、前記直流成分の係数データをアダマール変換処理するアダマール変換ステップと、
   前記アダマール変換ステップの出力データを量子化処理するアダマール変換の量子化ステップと、
   前記アダマール変換の量子化ステップの出力データを逆アダマール変換する逆アダマール変換ステップと、
   前記逆アダマール変換ステップの出力データを逆量子化処理するアダマール変換の逆量子化ステップと、
   各ステップの動作を制御する制御ステップとを備え、
   前記制御ステップは、
   前記減算ステップ、前記直流成分の直交変換ステップ、前記アダマール変換ステップ、前記アダマール変換の量子化ステップにより、１つの前記予測値生成単位について、前記直流成分の係数データを処理して前記アダマール変換の量子化ステップの出力データをメモリに格納して保持した後、
   前記減算ステップ、前記直交変換ステップ、前記量子化ステップにより、前記１つの予測値生成単位について、交流成分の係数データを処理し、前記メモリに格納した前記アダマール変換の量子化ステップの出力データと共に、前記直交変換処理単位毎に可変長符号化処理して前記符号化データを出力する
   ことを特徴とする画像データ処理方法。
7. 入力画像データを直交変換処理単位毎に符号化処理して符号化データを出力する画像データ処理方法のプログラムにおいて、
   前記プログラムは、
   前記直交変換処理単位の複数個による予測値生成単位毎に、前記入力画像データの予測値を生成する予測値生成ステップと、
   前記入力画像データから前記予測値を減算して差分データを生成する減算ステップと、
   前記直交変換処理単位毎に、前記差分データを直交変換処理して係数データを出力する直交変換ステップと、
   前記係数データを量子化処理する量子化ステップと、
   前記量子化ステップの出力データを逆量子化処理する逆量子化ステップと、
   前記逆量子化ステップの出力データを逆直交変換処理する逆直交変換ステップと、
   前記逆直交変換ステップの出力データに前記予測値を加算して前記入力画像データを復号する加算ステップと、
   前記加算ステップの出力データを前記予測値の生成用に保持するフレームメモリと、
   前記差分データから前記直交変換処理による直流成分の係数データを生成する直流成分の直交変換ステップと、
   前記予測値生成単位で、前記直流成分の係数データをアダマール変換処理するアダマール変換ステップと、
   前記アダマール変換ステップの出力データを量子化処理するアダマール変換の量子化ステップと、
   前記アダマール変換の量子化ステップの出力データを逆アダマール変換する逆アダマール変換ステップと、
   前記逆アダマール変換ステップの出力データを逆量子化処理するアダマール変換の逆量子化ステップと、
   各ステップの動作を制御する制御ステップとを備え、
   前記制御ステップは、
   前記減算ステップ、前記直流成分の直交変換ステップ、前記アダマール変換ステップ、前記アダマール変換の量子化ステップにより、１つの前記予測値生成単位について、前記直流成分の係数データを処理して前記アダマール変換の量子化ステップの出力データをメモリに格納して保持した後、
   前記減算ステップ、前記直交変換ステップ、前記量子化ステップにより、前記１つの予測値生成単位について、交流成分の係数データを処理し、前記メモリに格納した前記アダマール変換の量子化ステップの出力データと共に、前記直交変換処理単位毎に可変長符号化処理して前記符号化データを出力する
   ことを特徴とする画像データ処理方法のプログラム。
8. 入力画像データを直交変換処理単位毎に符号化処理して符号化データを出力する画像データ処理方法のプログラムを記録した記録媒体において、
   前記プログラムは、
   前記直交変換処理単位の複数個による予測値生成単位毎に、前記入力画像データの予測値を生成する予測値生成ステップと、
   前記入力画像データから前記予測値を減算して差分データを生成する減算ステップと、
   前記直交変換処理単位毎に、前記差分データを直交変換処理して係数データを出力する直交変換ステップと、
   前記係数データを量子化処理する量子化ステップと、
   前記量子化ステップの出力データを逆量子化処理する逆量子化ステップと、
   前記逆量子化ステップの出力データを逆直交変換処理する逆直交変換ステップと、
   前記逆直交変換ステップの出力データに前記予測値を加算して前記入力画像データを復号する加算ステップと、
   前記加算ステップの出力データを前記予測値の生成用に保持するフレームメモリと、
   前記差分データから前記直交変換処理による直流成分の係数データを生成する直流成分の直交変換ステップと、
   前記予測値生成単位で、前記直流成分の係数データをアダマール変換処理するアダマール変換ステップと、
   前記アダマール変換ステップの出力データを量子化処理するアダマール変換の量子化ステップと、
   前記アダマール変換の量子化ステップの出力データを逆アダマール変換する逆アダマール変換ステップと、
   前記逆アダマール変換ステップの出力データを逆量子化処理するアダマール変換の逆量子化ステップと、
   各ステップの動作を制御する制御ステップとを備え、
   前記制御ステップは、
   前記減算ステップ、前記直流成分の直交変換ステップ、前記アダマール変換ステップ、前記アダマール変換の量子化ステップにより、１つの前記予測値生成単位について、前記直流成分の係数データを処理して前記アダマール変換の量子化ステップの出力データをメモリに格納して保持した後、
   前記減算ステップ、前記直交変換ステップ、前記量子化ステップにより、前記１つの予測値生成単位について、交流成分の係数データを処理し、前記メモリに格納した前記アダマール変換の量子化ステップの出力データと共に、前記直交変換処理単位毎に可変長符号化処理して前記符号化データを出力する
   ことを特徴とする画像データ処理方法のプログラムを記録した記録媒体。
   

Images