JP2006094191A - 信号処理方法及び信号処理装置並びに映像システム - Google Patents

Abstract

【課題】 信号を直交変換した後に得られる直交変換係数の組合せを、安価で且つ高速に逆直交変換する信号処理装置を提供する。
【解決手段】 画素信号テーブル４には、予め、発生頻度の高い直交変換係数の組合せについての画素信号値が、そのインデックスと共に記憶される。インデックス生成回路５は、入力端子２から入力される逆直交変換係数の組合せについて、それに対応する画素信号値が前記画素信号テーブル４に記憶されている場合には、フラグFLGを選択回路７に出力すると共に、インデックスIndexを前記画素信号テーブル４に出力する。画素信号テーブル４からは、受けたインデックスIndexに対応する画素信号値が出力され、画素信号発生回路６が復元信号となる画素信号の組合せを発生し、選択回路７が前記画素信号発生回路６からの出力を選択する。
【選択図】 図１

Description

本発明は、信号処理方法及び信号処理装置に関し、特に、処理の高速化が要求される画像信号のブロック単位での逆直交変換方法とその変換装置に関する。

近年、MPEGを始めとする動画像の高能率符号化技術が盛んに研究され、コンピュータ、通信、AV機器及び放送などの様々な分野で応用されている。

この符号化技術では、画像を複数の小さなブロックに分割し、各ブロック単位で順次符号化を行う画像圧縮技術であって、フレーム内の空間的冗長度の削減を図ることにより情報量の削減（圧縮）を実現しようとするフレーム内予測符号化（以下、イントラ符号化という）と、フレーム間の時間的冗長度の削減を図ることにより情報量の削減を図るフレーム間予測符号化（以下、インター符号化という）とを用いて、高効率な符号化を実現している。

以下、これらの符号化技術について、図１５を参照しながら簡単に説明する。図１５は、MPEGの一般的な符号化装置を示す図である。同図では、先ず、ブロック単位の画像信号が直交変換回路９０に入力される。ここでいう画像信号とは、イントラ符号化を行う場合は符号化対象フレームの画像信号であり、インター符号化を行う場合は符号化対象フレームと予測フレーム（参照フレーム）との差分信号である。次に、前記直交変換回路９０に入力されたブロック単位の画像信号に対して離散コサイン変換（ＤＣＴ変換、以下、直交変換という）が施され、直交変換係数が生成される。

続いて、符号化効率を高めるために、量子化回路９１において量子化、即ち、直交変換係数のうち高周波数成分の除去が行われ、量子化係数が得られる。このようにして得られた量子化係数は符号化回路９２に入力され、ランレングス符号化及びエントロピー符号化という符号化が行われ、ビットストリームが生成される。

一方、次フレームのインター符号化を行うために必要となる参照画像を生成するために、現フレームの局所復号化処理（以下、ローカルデコードという）が行われる。つまり、前記符号化回路９２による符号化処理が完了した後に、前記量子化回路９１の量子化係数が逆量子化回路９３に入力されて、逆量子化が施され、続いて、逆直交変換回路９４において逆直交変換が行われて、画像信号が復号される。

次に、復号化技術について、図１６を参照して簡単に説明する。先ず、前記符号化回路９２などにより符号化されたビットストリームが復号化回路９４に入力され、エントロピー復号化及びランレングス復号化が行われて、量子化係数が生成される。これ等の量子化係数は逆量子化回路９５に入力されて、逆量子化が行われ、直交変換係数が得られる。前記直交変換係数は、逆直交変換回路９６において逆直交変換が行われて、画像信号が復号される。

以上がMPEGにおける符号化及び復号化の簡単な説明であるが、このような符号化及び復号化処理において、直交変換及び逆直交変換は、例えば、ISO/IEC 14496-2.Annex Aに記載されているような小数点以下を含んだ積和演算を実行する必要があり、その処理量は非常に大きく、符号化及び復号化における高速化を実現する際の大きな課題となっていた。

近年では、デジタル放送の開始、ハイビジョンカメラの登場などに象徴されるように、映像の高画質化が進むに伴って、MPEGなどの符号化技術においても符号化及び復号化処理の高速化が益々求められているが、前述のような課題が原因で、その対応が困難であった。

このような課題を克服するため、従来、例えば特許文献１に示すような復号化の高速化技術が知られている。以下、特許文献１に開示される復号高速化技術について、簡単に説明する。

図１７は、特許文献１に開示された典型的な復号化装置の一例であり、従来の復号化装置と大きく異なる点は、前記復号化回路９４、逆量子化回路９５及び逆直交変換回路９６に加えて、定数ゼロを発生する第１定数発生回路９７と、前記第１定数発生回路９７の出力（定数ゼロ）と、前記逆直交変換回路９６からの直交変換係数とを受けてその何れか一方を選択する第１選択回路９８とを備えた点である。

以下、図１７に示した復号化装置における復号化方法について簡単に説明する。先ず、ビットストリームが復号化回路９４に入力され、復号化が行われる。MPEGの場合、図１８に示すような６つのブロック（８×８画素）で構成されるマクロブロックと呼ばれる単位で符号化が行われており、復号化においても、この単位で復号化が行われる。マクロブロックの復号化を行うことにより、量子化係数が得られるだけではなく、ＣＢＰ（Coded Block Pattern）と呼ばれるパラメータが得られる。ＣＢＰとは、マクロブロックを構成する各ブロックにおいて、量子化係数に０（ゼロ）以外の値が存在するか否かを示すフラグであり、マクロブロックを構成する６つのブロックの各々に対応したフラグである。

図１９は、前記復号化回路９４により得られるパラメータＣＢＰの具体的な例を示す。同図において、Ｙ０、Ｙ１、Ｙ２、Ｙ３、Ｃｂ及びＣｒはマクロブロックを構成する６つのブロックであって、４つの輝度成分ブロックと、２つの色差成分ブロックＣｂ、Ｃｒとからなる。パラメータＣＢＰを復号した結果、ＣＢＰ＝１１０１０１が得られた場合、同図のように４つのブロックＹ０、Ｙ１、Ｙ３、Ｃｒ（同図にハッチングを付したブロック）には、少なくとも１つ以上の０（ゼロ）以外の量子化係数が存在することが識別される。逆に、残る２つのブロックＹ２、Ｃｂについては、ＣＢＰ＝０となっており、自己のブロックに含まれる全ての量子化係数が０（ゼロ）であることが識別される。以上のように、復号化回路９４の復号結果から得られるパラメータＣＢＰによって、ブロック内の量子化係数が全て０（ゼロ）であるか否かの判断ができる。

前記の例では、ＣＢＰ＝１のブロックＹ０、Ｙ１、Ｙ３、Ｃｒについては、ブロック内に少なくとも１つ以上の０（ゼロ）でない量子化係数が含まれるため、それらの係数の復号化が行われた後、逆量子化と逆直交変換とが行われ、第１選択回路９８はＣＢＰ＝１に基づいて逆直交変換回路９６からの出力を選択して、画像信号の復号が行われる。

一方、ＣＢＰ＝０のブロックＹ２、Ｃｂについては、ブロック内の量子化係数全てが０（ゼロ）であるため、それ以上の復号化の必要はなく、更に、逆量子化、逆直交変換を行う代わりに、第１定数発生回路９７が量子化係数の全てが０（ゼロ）の場合に得られるはずである復元画像信号（全てゼロ）を発生し、第１選択回路９８はＣＢＰ＝０に基づいて前記第１定数発生回路９７からの復元画像信号（全てゼロ）を選択する。

このように、特許文献１では、パラメータＣＢＰの値に基づいて、逆量子化及び処理量の大きい逆直交変換を、必要な場合にのみ実行して、復号化における高速化を可能としている。
特開平１０−３２７４１２号公報

前記のように、特許文献１に記載の復号化装置を用いれば、処理量の大きい逆直交変換を必要最低限実行するだけで良く、復号化における高速化を図る事が可能である。

しかしながら、特許文献１に記載の復号化装置では、ノイズの多い画像を符号化した場合や、符号化の情報圧縮率が低い場合、又は動き検出精度が低い符号化装置を用いて符号化した場合などは、フレーム間予測符号化時の画像信号（予測フレームと現フレームとの差分信号）も大きくなってしまい、ブロック内の量子化係数全てが０（ゼロ）になる確率は低くなる。従って、特許文献１に記載の復号化装置では、前記のような場合には、符号化されたビットストリームを復号化する際に、ＣＢＰ＝０とならず、第１定数発生回路９７からの復元画像信号（全てゼロ）を選択する機会が少なく、高速化を実現することが困難な状況となる欠点がある。

本発明は、前記の課題を解決するものであり、その目的は、ブロック内の量子化係数全てが０（ＣＢＰ＝１）でないような場合であっても、処理量の大きい逆直交変換を実行する回数を極力抑えるようにして、高速且つ低消費電力を実現する信号処理方法及び信号処理装置を提供することにある。

前記の目的を達成するため、本発明では、逆直交変換を行う符号化装置又は復号化装置としての信号処理装置、及びそのような信号処理方法において、発生頻度の高い直交変換係数の組合せに対しては、予め、その組合せに対応する復元用の画素信号値を用意しておき、その組合せに対しては予め用意した復元用の画素信号値を出力して、処理量の大きい逆直交変換を実行する回数を極力抑えることとする。

具体的に、請求項１記載の信号処理方法は、信号を直交変換した後に得られる直交変換係数の組合せを逆直交変換する信号処理方法であって、少なくとも１組の所定の直交変換係数の組合せを逆直交変換した信号値を予め記憶しておく記憶ステップと、各組の前記直交変換係数の組合せを順次入力して、入力された各組の直交変換係数の組合せが前記予め信号値を記憶した所定の直交変換係数の組合せであるか否かを判断する判断ステップと、前記判断の結果、前記所定の直交変換係数の組合せであるとき、前記予め記憶した信号値に基づいて復元信号を出力する第１の逆直交変換を行う一方、前記所定の直交変換係数の組合せでないとき、入力した直交変換係数の組合せを演算処理により逆直交変換する第２の逆直交変換を行う処理ステップとを有することを特徴とする。

請求項２記載の発明は、前記請求項１記載の信号処理方法において、前記記憶ステップで予め記憶しておく信号値に対応する所定の直交変換係数の組合せは、発生頻度の高い直交変換係数の組合せであることを特徴とする。

請求項３記載の発明は、前記請求項１記載の信号処理方法において、前記記憶ステップでは、複数の信号値が予め記憶され、前記複数の信号値は、各々、逆直交変換した結果同一信号値となる複数組の直交変換係数の組合せからなる１つのグループに対応する信号値であり、前記複数の信号値には、各信号値に対応するインデックスが付されることを特徴とする。

請求項４記載の発明は、前記請求項３記載の信号処理方法において、前記判断ステップは、入力された直交変換係数の組合せをグループ化するグループ化ステップと、前記入力された直交変換係数の組合せが属するグループが前記記憶ステップで予め記憶された信号値に対応するグループか否かを判別し、対応するグループに属するとき、フラグを生成すると共に、対応するグループの信号値を特定するインデックスを生成するインデックス生成ステップとを有し、前記処理ステップは、前記フラグが生成されたとき、前記インデックスに対応する信号値を読み出して復元信号を出力する一方、前記フラグが生成されないとき、前記入力された直交変換係数の組合せを演算処理により逆直交変換して復元信号を出力することを特徴とする。

請求項５記載の発明は、前記請求項１記載の信号処理方法において、前記記憶ステップにおいて予め記憶する信号値は、固定値でなく、可変に変更可能であることを特徴とする。

請求項６記載の発明は、信号を直交変換した後に得られる直交変換係数の組合せを逆直交変換する信号処理装置であって、少なくとも１組の所定の直交変換係数の組合せを逆直交変換した信号値を予め記憶しておく記憶手段と、各組の直交変換係数の組合せを順次入力して、入力された各組の直交変換係数の組合せが前記予め信号値を記憶した所定の直交変換係数の組合せであるか否かを判断する判断手段と、前記判断手段の判断の結果、前記所定の直交変換係数の組合せであるとき、前記予め記憶した信号値に基づいて復元信号を出力する第１の逆直交変換を行う一方、前記所定の直交変換係数の組合せでないとき、入力した直交変換係数の組合せを演算処理により逆直交変換する第２の逆直交変換を行う処理手段とを備えたことを特徴とする。

請求項７記載の発明は、信号を直交変換した後に得られる所定の直交変換係数の組合せを逆直交変換する信号処理装置であって、少なくとも１組の所定の直交変換係数の組合せを逆直交変換した信号値を予め記憶する記憶手段と、入力された複数組の直交変換係数の組合せをグループ化し、各グループに対応する信号値が前記記憶手段に記憶されているか否かを判断し、前記記憶手段に記憶されているとき、フラグを生成すると共に、対応するグループの信号値を特定するインデックスを前記記憶手段に出力して前記対応するグループの信号値を前記記憶手段から出力させるインデックス生成手段と、前記記憶手段から出力される信号値を受け、この信号値に基づいて、復元信号を構成する複数の信号値を順次出力する信号発生手段と、前記入力された直交変換係数の組合せを演算処理により逆直交変換する逆直交変換手段と、前記インデックス生成手段がフラグを生成したとき、前記信号発生手段からの信号値を選択する一方、前記フラグが生成されないとき、前記逆直交変換手段からの出力を選択する選択手段とを備えて、入力された直交変換係数の組合せの逆直交変換を、予め記憶した信号値に基づいて復元信号を出力する第１の逆直交変換と、演算処理により逆直交変換する第２の逆直交変換とに切り換えて行うことを特徴とする。

請求項８記載の発明は、前記請求項６又は７記載の信号処理装置において、前記記憶手段は、前記信号値を書き換え可能な記憶手段で構成されており、前記記憶手段に予め記憶する信号値は、可変に変更可能であることを特徴とする。

請求項９記載の発明は、前記請求項７記載の信号処理装置において、前記記憶手段は、他の装置が有する記憶手段の一部の領域で構成され、前記インデックス生成手段が前記フラグを生成したとき、信号値の転送要求を発生して、前記他の装置が有する記憶手段の書き込み及び読み出しを制御する制御手段に対して出力する要求発生手段を備え、前記インデックス生成手段は、前記インデックスを前記他の装置が有する記憶手段に出力し、前記制御手段から信号値の転送許可が得られたとき、前記他の装置が有する記憶手段から、対応する信号値が読み出されることを特徴とする。

請求項１０記載の発明は、前記請求項９記載の信号処理装置において、前記制御手段は、前記他の装置の状態を示す状態フラグを前記要求発生手段に出力し、前記要求発生手段は、前記制御手段からの状態フラグに基づいて、前記制御手段に対して信号値の転送要求を発生するか否かを決定することを特徴とする。

請求項１１記載の発明は、前記請求項７記載の信号処理装置において、前記記憶手段を専用の記憶手段として、この専用の記憶手段とは別途に、他の装置が有する記憶手段の一部の領域で構成された共用の記憶手段を有し、前記インデックス生成手段は、入力された直交変換係数の組合せが属するグループに対応する信号値が前記専用の記憶手段及び共用の記憶手段の何れに記憶されているか否かを判断し、前記専用の記憶手段及び共用の記憶手段の何れかに記憶されているとき、対応するグループの信号値を特定するインデックスを前記専用の記憶手段又は共用の記憶手段に出力して、前記対応するグループの信号値を前記専用の記憶手段又は共用の記憶手段から出力させることを特徴とする。

請求項１２記載の発明は、前記請求項６又は７記載の信号処理装置において、前記信号は画像信号であって、前記記憶手段は、前記画像信号の色成分毎に備えられて、前記第１の逆直交変換と前記第２の逆直交変換との切り換えを、前記画像信号の色成分毎に行うことを特徴とする。

請求項１３記載の発明は、前記請求項６又は７記載の信号処理装置において、前記信号は、符号化される画像信号であって、前記記憶手段は、前記画像信号の符号化タイプ毎に備えられて、前記第１の逆直交変換と前記第２の逆直交変換との切り換えを、前記画像信号の符号化タイプ毎に行うことを特徴とする信号処理装置。

請求項１４記載の発明は、前記請求項６又は７記載の信号処理装置において、前記信号は、符号化及び復号化される画像信号であって、前記記憶手段は、前記画像信号の符号化又は復号化のモード毎に備えられて、前記第１の逆直交変換と前記第２の逆直交変換との切り換えを、前記画像信号の符号化又は復号化のモード毎に行うことを特徴とする。

請求項１５記載の発明は、前記請求項６又は７記載の信号処理装置において、前記記憶手段に予め記憶した信号値に基づいて復元信号を出力する第１の逆直交変換を行うか、又は前記第１の逆直交変換が可能であっても前記第１の逆直交変換を行わずに、入力した直交変換係数の組合せを演算処理により逆直交変換する第２の逆直交変換を行うかを外部から切り換えて設定する設定手段を備えたことを特徴とする。

請求項１６記載の発明は、前記請求項７記載の信号処理装置において、前記インデックス生成手段がフラグを生成したとき、前記記憶手段及び前記信号発生手段に対してクロック信号を供給すると共に前記逆直交変換手段へのクロック信号の供給を停止し、一方、前記インデックス生成手段がフラグを生成しないとき、前記逆直交変換手段に対してクロック信号を供給すると共に前記記憶手段及び前記信号発生手段へのクロック信号の供給を停止するクロック信号制御手段を備えたことを特徴とする。

請求項１７記載の発明は、前記請求項７記載の信号処理装置において、前記インデックス生成手段からのインデックスを受け、そのインデックス毎にその出力回数をカウントするヒット回数管理手段と、入力される複数組の直交変換係数の組合せのうち、前記記憶手段に記憶された信号値に対応する組の直交変換係数の組合せ以外の所定の組の直交変換係数の組合せを予め記憶し、その所定の組の直交変換係数の組合せの出現回数をカウントする出現回数管理手段とを備えたことを特徴とする。

請求項１８記載の発明は、前記請求項１７記載の信号処理装置において、前記ヒット回数管理手段でのインデックス毎の出力回数と、前記出現回数管理手段での予め記憶した所定の組の直交変換係数の組合せの出現回数とを比較する比較手段と、前記比較手段の比較結果を受けて、前記出現回数管理手段に予め記憶した所定の組の直交変換係数の組合せのうち何れかの直交変換係数の組合せの出現回数が、前記ヒット回数管理手段での何れかのインデックスの出力回数よりも多いとき、前記出現回数の多い直交変換係数の組合せを、前記インデックスの出力回数の少ない直交変換係数の組合せに代えて、前記記憶手段に記憶して、前記記憶手段を更新する更新手段とを備えたことを特徴とする。

請求項１９記載の発明は、前記請求項１８記載の信号処理装置において、前記信号は画像信号であって、前記記憶手段は、前記画像信号の複数の色成分で共通して備えられ、前記更新手段による記憶手段の更新は、前記画像信号の色成分のうち所定の１つの色成分が他の色成分に優先して行われることを特徴とする。

請求項２０記載の発明は、前記請求項１８記載の信号処理装置において、前記信号は、符号化される画像信号であって、前記記憶手段は、前記画像信号の各符号化タイプで共通して備えられ、前記更新手段による記憶手段の更新は、所定の１つの符号化タイプが他の符号化タイプに優先して行われることを特徴とする。

請求項２１記載の発明は、前記請求項１８記載の信号処理装置において、前記信号は、符号化又は復号化される画像信号であって、前記記憶手段は、前記画像信号の符号化及び復号化の両モードで共通して備えられ、前記更新手段による記憶手段の更新制御は、何れか１つのモードが他のモードに優先して行われることを特徴とする。

請求項２２記載の発明は、前記請求項１８記載の信号処理装置において、前記信号は、画像信号であって、前記記憶手段は、前記画像信号の色成分毎に備えられ、前記更新手段による記憶手段の更新は、前記画像信号の色成分毎に行われることを特徴とする。

請求項２３記載の発明は、前記請求項１８記載の信号処理装置において、前記信号は、符号化される画像信号であって、前記記憶手段は、前記画像信号の符号化タイプ毎に備えられ、前記更新手段による記憶手段の更新は、前記画像信号の符号化タイプ毎に行われることを特徴とする。

請求項２４記載の発明は、前記請求項１８記載の信号処理装置において、前記信号は、符号化及び復号化される画像信号であって、前記記憶手段は、前記画像信号の符号化及び復号化のモード毎に備えられ、前記更新手段による記憶手段の更新制御は、前記画像信号の符号化及び復号化のモード毎に行われることを特徴とする。

請求項２５記載の発明の映像システムは、前記請求項６又は７記載の信号処理装置を含んで画像処理を行う画像処理回路と、前記画像処理回路内の信号処理装置へ画像信号を出力するセンサーと、前記センサーへ光を結像する光学系とを備えたことを特徴とする。

請求項２６記載の発明の映像システムは、前記請求項６又は７記載の信号処理装置を含んで画像処理を行う画像処理回路と、アナログ値の画像信号が入力され、この画像信号をデジタル値に変換して前記画像処理回路内の信号処理装置へ出力するＡ／Ｄ変換回路とを備えたことを特徴とする。

以上により、請求項１〜２６記載の発明では、所定の直交変換係数の組合せに対しては、処理量の多い積和演算を行うことなく、予め逆直交変換後の信号値を順次出力して、逆直交変換したと同等の処理を実現できるので、処理量の大きい逆直交変換処理を実行する回数が削減されて、画像信号の復号化、及びフレーム間予測符号化を用いた符号化におけるローカルデコードの高速化が実現される。

特に、請求項４及び７記載の発明では、同一値の信号値となる複数の直交変換係数の組合せをグループ化し、そのグループ単位で信号値を記憶するので、信号値を記憶する記憶手段の容量は小容量に制限される。

また、請求項５及び８記載の発明では、予め記憶しておく信号値が固定でなく、可変に変更可能であるので、符号化及び復号化において扱う画像の特徴に応じて、発生頻度の高い直交変換係数の組合せに対応する信号値を記憶でき、従って、逆直交変換処理を実行する回数がより一層に削減される。

更に、請求項９記載の発明では、信号値を予め記憶しておく記憶手段が他の装置の記憶手段で兼用されるので、その分、安価である。

加えて、請求項１０記載の発明では、入力された直交変換係数の組合せに対応する信号値が、他の装置の記憶手段に予め記憶されている場合には、制御手段からの状態フラグがビジー状態を示していない状況に限って、その信号値の読み出しを要求するので、前記他の装置の負担が極力抑えられる。

また、請求項１１記載の発明では、専用の記憶手段を高速動作可能な記憶手段で構成し、この専用の記憶手段に発生頻度が高い直交変換係数の組合せに対応する信号値を記憶すると共に、共用の記憶手段には発生頻度のさほど高くない直交変換係数の組合せに対応する信号値を記憶しておくと、専用の記憶手段の信号値を用いた逆直交変換と同等の処理を行う回数が増大して、高速な符号化又は復号化が可能であると共に、共用の記憶手段の信号値を用いた逆直交変換と同等の処理も繰り返し行われて、より一層に高速な符号化又は復号化が可能である。

更に、請求項１２〜１４記載の発明では、記憶手段には画像信号の色成分毎、符号化タイプ毎、又はモード毎に、発生頻度の高い直交変換係数の組合せに対応する信号値を予め記憶させておくので、画像信号の色成分、符号化タイプ、又はモード別に、演算処理による逆直交変換処理を行う回数を効果的に削減できる。

加えて、請求項１５記載の発明では、符号化又は復号化を高速に行う必要がない場合などでは、設定手段を用いて、記憶手段を他の用途の記憶手段として利用できるので、本信号処理装置を備えたシステムの適切化が可能である。

請求項１６記載の発明では、記憶手段及び信号発生手段と、逆直交変換手段との両動作のうち、何れか一方の動作中のものに対してのみクロック信号が供給されるので、低消費電力化が図られる。

請求項１７及び１８記載の発明では、より発生頻度の高い直交変換係数の組合せを判断し、その直交変換係数の組合せに対応する信号値が記憶手段に適応的に記憶、置換されるので、画像信号の特徴に依存せずに、符号化又は復号化を高速化できる。

請求項１９〜２１記載の発明では、記憶手段は画像信号の各色成分、符号化タイプ又は、符号化若しくは復号化のモードで共通して利用されるものの、その記憶手段の更新制御については、所定の１つの色成分、符号化タイプ又はモードが、他の色成分、他の符号化タイプ又は他のモードに優先して行われるので、例えば符号化や復号化において絶対数の多い輝度成分ブロック、絶対数の多い符号化タイプ、又は例えば符号化を優先的に更新制御の対象とすることができて、所定の符号化や復号化が効果的に高速化される。

請求項２２〜２４記載の発明では、記憶手段が画像信号の色成分毎、符号化タイプ毎、又はモード毎に備えられて、記憶手段の更新制御が色成分毎、符号化タイプ毎、又はモード毎に行われるので、符号化や復号化において個別に適応的な更新制御が実現でき、符号化又は復号化をより一層に効果的に高速化できる。

以上説明したように、請求項１〜２６記載の発明によれば、発生頻度の高い直交変換係数の組合せに対しては、処理量の多い積和演算を行うことなく、予め逆直交変換後の画素信号を順次出力して、逆直交変換したと同等の処理を実現できるので、画像信号の復号化、及びフレーム間予測符号化を用いた符号化におけるローカルデコードの高速化を実現することが可能である。

以下、本発明の実施の形態について、図面を参照して説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る信号処理装置１の構成を示すブロック図である。

同図において、信号処理装置１は、例えば画像信号を対象とし、図１５又は図１６に示したように符号化装置又は復号化装置において逆量子化された後の直交変換係数を逆直交変換する装置である。

同図に示した画素信号テーブル（記憶手段）４には、例えば図５に示すように、発生頻度の高い直交変換係数の組合せに対応した３つの画素信号値「０」、「１」及び「２」が記憶される。各々の画素信号値「０」、「１」及び「２」には、その各画素信号値に対応する「０」、「１」及び「２」の３つのインデックスが、予め割り当てられて記憶されている。

また、図１において、インデックス生成回路（インデックス生成手段及び判断手段）５は、入力端子２から入力された逆直交変換係数（逆量子化後の係数）の組合せを受け、この係数の組合せに対応する画素信号値が前記画素信号テーブル４に記憶されているか否かを判断し、記憶されている場合には、フラグＦＬＧを生成すると共に、その記憶されている画素信号値に対応するインデックスIndexを生成して、前記画素信号テーブル４に供給する。この時、前記画素信号テーブル４からは、前記供給されたインデックスIndexに対応する画素信号値が読み出される。

更に、図１において、６は、前記画素信号テーブル４から読み出された画素信号値を受け、この画素信号値に基づいて、入力された直交変換係数の組合せに対応する画素信号値の組合せを順次発生する画素信号発生回路（信号発生手段）、３は、前記入力端子２から入力された直交変換係数の組合せを受け、前記インデックス生成回路５からのフラグＦＬＧを受けている時に限り、前記受けた係数の組合せを演算処理によって逆直交変換する逆直交変換回路（逆直交変換手段）である。

更に、７は前記インデックス生成回路５が生成するフラグＦＬＧに基づいて、ＦＬＧ＝１のときは前記画素信号発生回路６の出力を選択し、ＦＬＧ＝０のときは前記逆直交変換回路３の出力を選択する選択回路（選択手段）であって、その選択した出力を出力端子８から復元信号として出力する。前記画素信号発生回路６と逆直交変換回路３と選択回路７とにより、前記画素信号テーブル４に記憶した画素信号値を用いた第１の逆直交変換処理と、入力された直交変換係数の組合せを演算処理により逆直交変換する第２の逆直交変換処理とを行って、その何れか一方を出力する処理手段を構成している。

以下、前記図１に示した信号処理装置１を用いて逆直交変換を実行する手順について、図２のフローチャートを用いて具体的に説明する。

先ず、予め、画素信号テーブル４には、既述の通り、図５に示すように、「０」、「１」及び「２」の３つの画素信号値が記憶されると共に、その各画素信号値に対応する「０」、「１」及び「２」の３つのインデックスが記憶される（記憶ステップ）。

そして、実際の逆直交変換処理に際しては、入力端子２よりブロック単位の直交変換係数が順次入力されて、次のステップＳ１〜Ｓ３の判断ステップに進む。すなわち、先ず、インデックス生成回路５では、ステップＳ１においてグループ化が行われる（グループ化ステップ）。このグループ化とは、ブロック内の直交変換係数（８×８個）の膨大な数の組合せのうち、発生頻度が高く、前記画素信号テーブル４に予め画素信号値が記憶されている組合せであって、且つ逆直交変換後の画像信号値のパターンが同一のパターンとなる組合せを同一グループに割り当てる。例えば、逆直交変換は、小数点以下を含んだ積和演算を行うために、図３の（ａ）、（ｂ）、（ｃ）に示すような直交変換係数の組合せは、逆直交変換すると、全て同図（ｄ）に示すような同一の画素信号値「０」が得られるので、同一グループに割り当てられる。また、図３（ｅ）、（ｆ）、（ｇ）に示すような直交変換係数の組合せは、逆直交変換すると、全て同図（ｈ）に示すような同一の画素信号値「１」が得られるので、同一グループに割り当てられる。更に、図３の（ｉ）、（ｊ）、（ｋ）に示すような直交変換係数の組合せは、逆直交変換すると、全て同図（ｌ）に示すような同一の画素信号値「２」が得られるので、同一グループに割り当てられる。前記図３に示したグループ化は一例であって、同一グループとなる直交変換係数の組合せは多数存在する。

尚、ここでは、説明を簡略化するために、発生頻度の高い直交変換係数の組合せに対応する画素信号パターンが、各々、１つの画素信号値「０」、「１」又は「２」で表現できる場合を例に挙げているが、例えば発生頻度の高い直交変換係数の組合せが高周波数成分を多く含む直交変換係数の組合せの場合などでは、逆直交変換した際に得られる画素信号パターンが１つの画素信号値で表現できないため、複数の画素信号値を画素信号テーブル４に記憶させておけば良い。

次に、ステップＳ２では、自己の属するグループに対応する画素信号値が画素信号テーブル４に記憶されている画素信号のうち、何れに対応するかを特定するためのインデックス（Index）を図４に示すように生成して、割り当て、同時に画素信号テーブル４に記憶されている直交変換係数の組合せであることを示すフラグＦＬＧを生成する（インデックス生成ステップ）。すなわち、記憶されている場合はＦＬＧ＝１となり、記憶されていない場合はＦＬＧ＝０となる。

続いて、前記ステップＳ２において生成されたＦＬＧの状態を判断する（ステップＳ３）。すなわち、ＦＬＧ＝１の場合は、直交変換係数の組合せに対応する画素信号値が画素信号テーブル４に存在すると判断し、一方、ＦＬＧ＝０の場合は、直交変換係数の組合せに対応する画素信号値が画素信号テーブル４に存在しないと判断する。

そして、前記ステップＳ３でのフラグＦＬＧの状態の判断の結果に応じて、ステップＳ４及びＳ５からなる処理ステップにおいて、実際の逆直交変換を行う。具体的には、ＦＬＧ＝１の場合は、直交変換係数の組合せに対応する画素信号値が画素信号テーブル４に存在するので、インデックス生成回路５はインデックスIndexを画素信号テーブル４に供給し、同時に選択回路７に対してフラグＦＬＧ（ＦＬＧ＝１）を供給する。画素信号発生回路６は、画素信号テーブル４より画素信号値を読み出して、１ブロック分の画素信号を生成し、選択回路７は前記フラグＦＬＧの状態に基づいて、画素信号発生回路６からの画素信号を選択して、出力端子８へ出力する（ステップＳ４）。この際、逆直交変換回路３は、前記インデックス生成回路５からのフラグＦＬＧ（ＦＬＧ＝１）を受けて、逆直交変換動作を行わない。

一方、前記ステップＳ３においてＦＬＧ＝０の場合は、直交変換係数の組合せに対応する画素信号値が画素信号テーブル４に存在しないので、インデックス生成回路５は、逆直交変換回路３及び選択回路７に対してフラグＦＬＧの情報（ＦＬＧ＝０）を供給する。逆直交変換回路３は、入力されたブロック単位の直交変換係数の組合せに対して演算処理により逆直交変換を実行し、選択回路７は、前記フラグＦＬＧの情報に基づいて、前記逆直交変換回路３から出力される画素信号を順次出力端子８へ出力する（ステップＳ５）。

以上のように、ブロック単位の直交変換係数に対してステップＳ１〜Ｓ５までの処理を繰り返し実行することにより、高速化が期待できる逆直交変換を実現することが可能となる。即ち、発生頻度の高い直交変換係数の組合せについては、処理量の大きい積和演算による逆直交変換を実行する必要がなく、画素信号テーブル４へのアクセスを行うだけで逆直交変換と同一の処理を実現できるので、大きな高速化が期待できる。

また、特許文献１の場合は、ブロック内の直交変換係数の組合せが全て０（ゼロ）の場合のみ高速化が期待できるが、本実施形態によれば、直交変換係数の組合せが全て０の場合だけではなく、発生頻度の高い直交変換係数の組合せのうち、幾つかの組合せに対して予めそれに対応する１つの画素信号値又は画素信号パターンを画素信号テーブル４に記憶させておくだけで、更なる高速化が期待できる。特に、図５に示すような発生頻度の高い直交変換係数の組合せに対応する画素信号パターンが、各々、１つの画素信号値で表現できる場合（ＤＣ係数及びＡＣ係数の全てが「０」、「１」又は「２」等）に限定して画素信号テーブル４に記憶させておけば、画素信号テーブル４を比較的小容量の記憶回路で構成でき、非常に安価で且つ高速化が期待できる。

尚、画素信号テーブル４を、輝度成分用ブロックと色差成分用ブロックとで別々に構成して、ブロック単位の直交変換係数に対してステップＳ１〜Ｓ５までの処理を繰り返し実行すれば、より高速化が期待できる。また、画素信号テーブル４をフレーム間予測符号化を行わないイントラブロック用と、フレーム間予測符号化を行うインターブロック用とで別々に構成して、ブロック単位の直交変換係数に対して前記ステップＳ１〜Ｓ５までの処理を繰り返し実行すれば、より高速化が期待できる。また、画素信号テーブル４を符号化用と復号化用とで別々に構成して、ブロック単位の直交変換係数に対して前記ステップＳ１〜Ｓ５までの処理を繰り返し実行すれば、符号化及び復号化共に高速化が期待できる。

（第２の実施形態）
図６は、本発明の第２の実施形態に係る信号処理装置２０１の構成を示す図である。

本実施形態が前記第１の実施形態と大きく異なる点は、画素信号テーブル２０４を外部より書き換え可能な記憶回路（例えば、ＳＲＡＭ）で構成し、外部設定端子２１０から設定回路２１１を介して画素信号テーブル２０５に所望の直交変換係数に対応する１つの画素信号値又は画素信号パターンを設定可能とした点である。この画素信号テーブル２０４の設定に応じて、インデックス生成回路２０５におけるグループ化、インデックスIndex及びフラグＦＬＧの生成に必要となるパラメータも変更する必要がある関係上、これらについても設定回路２１１を介して行われる。

前記第１の実施形態の場合は、発生頻度の高い直交変換係数の組合せに対応する画素信号パターンを画素信号テーブル４に予め記憶させていたが、符号化や復号化において扱う画像の種類によっては、直交変換係数の組合せの発生頻度は大きく異なってくる。即ち、ノイズの多い画像信号を符号化又は復号化する場合や、動き検出精度の低い符号化装置を用いて符号化する場合や、それにより生成されたビットストリームを復号化する場合などは、ブロック内における画像信号の変化も大きい。一方、ノイズが少なく比較的高周波数成分の少ない画像信号を符号化又は復号化する場合や、動き検出精度が非常に高い符号化装置を用いて符号化されたビットストリームを復号化する場合などでは、ブロック内における画像信号の変化も小さい。このように、画像信号の変化の大きい画像と、画像信号の変化の小さい画像の符号化や復号化においては、発生する直交変換係数の組合せの発生頻度は大きく異なってくる。

以上のように、画素信号テーブル４に予め記憶する画素信号値が固定であれば、扱う画像の特徴によっては高速化が期待できない場合も生じるが、本実施形態では、このような場合であっても、ユーザーが外部から画素信号テーブル２０４を任意に設定することが可能であるので、画像の特徴に適応した高速化が期待できる。

尚、前記第１の実施形態と同様に、画素信号テーブル２０４を輝度成分用と色差成分用とで別々に構成しても良く、また、画素信号テーブル２０４をフレーム間予測符号化を行わないイントラブロック用と、フレーム間予測符号化を行うインターブロック用とで別々に構成したり、画素信号テーブル２０４を符号化用と復号化用とで別々に構成しても、前記第１の実施形態と同様の効果が期待できるのは言うまでもない。

（第３の実施形態）
図７は、本発明の第３の実施形態に係る信号処理装置３０１の構成を示す図である。

同図において、信号処理装置３０１は、同図に示したマイクロコンピュータ３５０と、メモリ制御回路（制御手段）３１１と、比較的大容量の外部メモリ（他の装置が有する記憶手段）３１２と共に備えられて、全体として、画像処理システムが構成されている。

前記画像処理システムでは、マイクロコンピュータ３５０は、外部メモリ３１２との間でデータの読み出しや書き込みを行う場合には、メモリ制御回路３１１に対して転送要求ＲＥＱを出力し、メモリ制御回路３１１は、転送可能な状態と判断すれば、転送許可ＡＣＫをマイクロコンピュータ３５０に返して、データの読み書きが行われる。

本実施形態が前記第２の実施形態と大きく異なる点は、前記画像処理システム上に設けた外部メモリ３１２の一部領域に、画素信号テーブル３０４の領域を割り当てた点である。

画素信号テーブル３０４の領域の割り当ては、前記第２の実施形態と同様に設定回路２１１を介して行われる。また、画素信号テーブル３０４からの画素信号値の読み出しに関しては、インデックス生成回路２０５からのフラグＦＬＧの情報に基づいて、要求発生回路（要求発生手段）３１０が画像処理システム上のメモリ制御回路３１１に対して転送要求ＲＥＱを出力し、メモリ制御回路３１１が他の転送要求との調停を行い、転送可能な状態になれば、転送許可ＡＣＫを要求発生回路３１０に返して、画素信号テーブル３０４内の画素信号値が読み出される。

以上のような構成では、逆直交変換処理の高速化を図るために、専用の画素信号テーブルを別途個別に備える必要がなく、システム上で共有化された比較的大容量の外部メモリ３１２の一部領域を割り当てるだけで良いので、より安価で且つ高速化が期待できる信号処理装置を実現できる。

但し、システム上の共有化された外部メモリ３１２を兼用するため、システムへの負担が掛かること、またメモリバスのトラフィックが大きい場合などでは、他の要求とのアクセス競合が発生して、高速化が期待できないこともあり、逆に積和演算による逆直交変換処理を実行した方が高速に処理できる場合などが発生することもある。

尚、前記第１の実施形態と同様に、画素信号テーブル３０４を輝度成分用と色差成分用とで別々に構成しても良く、また、画素信号テーブル３０４をフレーム間予測符号化を行わないイントラブロック用と、フレーム間予測符号化を行うインターブロック用とで別々に構成したり、画素信号テーブル３０４を符号化用と復号化用とで別々に構成しても、第１の実施形態と同様の効果が期待できる。

（第４の実施形態）
図８は、本発明の第４の実施形態に係る信号処理装置４０１の構成を示す図である。本実施形態は、前記第３の実施形態を更に改良したものである。

即ち、前記第３の実施形態の場合は、画素信号テーブル３０４に予め記憶されている直交変換係数の組合せが発生した場合には、インデックス回路２０５においてその判定が行われ、要求発生回路３１０は、フラグ情報（ＦＬＧ＝１）に基づいてメモリ制御回路３１１に対して転送要求を発生するが、メモリバスのトラフィックが大きくて要求が比較的長期に亘って許可されない場合には、その間は許可されずに待機することになる。

しかし、本実施形態においては、メモリ制御回路４１１は、外部メモリ３１２がビジー状態であることを示すビジー信号ＢＳＹを出力するよう構成される。従って、要求発生回路４１０がフラグ情報（ＦＬＧ＝１）に基づいて、メモリ制御回路４１１に転送要求ＲＥＱを発する際に、メモリ制御回路４１１から供給されるビジー信号ＢＳＹの状態によって、転送要求を出力するか否かを予め判断できる。つまり、ＢＳＹ＝１の場合、即ち、メモリバスのトラフィックが大きく、早急に転送要求を許可することができない状態にある場合は、要求発生回路４１０は転送要求を出力せず、外部メモリ３１２内の画素信号テーブル３０４を用いた逆直交変換を断念して、積和演算による逆直交変換動作に切り換えるよう、逆直交変換回路３及び選択回路７にフラグ（ＦＬＧ‘＝０）を供給して、積和演算による逆直交変換が行われ、画像信号が出力される。

以上のように、本実施形態においては、画素信号テーブル３０４に予め画素信号値が記憶されている発生頻度の高い直交変換係数の組合せの場合であっても、高速化が期待できないような状況では、システムへの無駄な負担を掛けることを予め回避できる。

尚、第１の実施形態と同様に、画素信号テーブル３０４を輝度成分用と色差成分用とで別々に構成しても良く、また、画素信号テーブル３０４をフレーム間予測符号化を行わないイントラブロック用と、フレーム間予測符号化を行うインターブロック用とで別々に構成したり、画素信号テーブル３０４を符号化用と復号化用とで別々に構成しても、第１の実施形態と同様の効果が期待できる。

（第５の実施形態）
図９は、本発明の第５の実施形態に係る信号処理装置５０１の構成を示す図である。

本実施形態の特徴は、画素信号テーブルを２つ以上有し、一方は高速なアクセスが可能な専用の記憶回路で構成し、他方はシステムで共有化された記憶回路の一部にその領域を割り当てた点である。

具体的に説明すると、高速アクセス可能な専用の記憶回路で構成された第１の画素信号テーブル（専用の記憶手段）５０４ａには、発生頻度の最も高い直交変換係数の組合せに対する１つの画素信号値又は画素信号パターンを記憶させておき、システムが有する外部メモリ３１２においてその一部の領域に割り当てられた第２の画像信号テーブル（共用の記憶手段）５０４ｂには、前記第１の画素信号テーブル５０４ａに記憶された直交変換係数の組合せよりは発生頻度は低いものの、高速化が期待できる直交変換係数の組合せに対する１つの画素信号値又は画素信号パターンを記憶させておく。

インデックス生成回路５０５は、前記第１の画素信号テーブル５０４ａに記憶されている直交変換係数の組合せが発生した場合は、第１の画素信号テーブル５０４ａに対してインデックスIndex1を供給すると共に、逆直交変換回路３及び選択回路７に対してフラグＦＬＧ（ＦＬＧ１＝１）を供給する。画素信号発生回路５０６は、前記第１の画素信号テーブル５０４ａから読み出される１つの画素信号値又は画素信号パターンに基づいて、１ブロック分の画素信号値を生成して、選択回路７に出力する。選択回路７は、フラグＦＬＧ１＝１に従って、前記画素信号発生回路５０６から発生した画素信号を、復号画素信号として出力する。

一方、前記インデックス生成回路５０５は、外部メモリ３１２内の第２の画素信号テーブル５０４ｂに記憶されている直交変換係数の組合せが発生した場合には、メモリ制御回路３１１に対してインデックスIndex2を供給し、また、要求発生回路５１０、逆直交変換回路３及び選択回路７に対してフラグＦＬＧ２（ＦＬＧ２＝１）を供給する。要求発生回路５１０は、メモリ制御回路３１１に対して転送要求を出力し、転送が許可されれば、画素信号発生回路５０６は、前記第２の画素信号テーブル５０４ｂから読み出される１つの画素信号値又は画素信号パターンに基づいて、１ブロック分の画素信号値を生成して、選択回路７に出力す選択回路７は、フラグＦＬＧ２の状態（ＦＬＧ２＝１）に従って、画素信号発生回路５０６からり発生された画素信号を復元画素信号として出力する。

一方、インデックス生成回路５０５は、前記第１及び第２の画素信号テーブル５０４ａ、５０４ｂの何れにも記憶されていない直交変換係数の組合せが発生した場合は、逆直交変換回路３及び選択回路７に対してフラグ（ＦＬＧ１＝０及びＦＬＧ２＝０）を供給し、逆直交変換回路３は、積和演算による逆直交変換を行って、選択回路７はその逆直交変換回路３の出力を選択して、復元画像信号を出力する。

以上の構成より、発生頻度の高い直交変換係数の組合せに対応する１つの画素信号値又は画素信号パターンを、第１の画素信号テーブル５０４ａだけでなく第２の画素信号テーブル５０４ｂにも記憶して、多く記憶させておくことができるので、より高速化を実現できる確率が高まると共に、最も高速化が期待できる直交変換係数の組合せに対応する画素信号パターンについては、高速なアクセスが可能な専用の画素信号テーブル５０４ａから読み出すことにより、システムのメモリバスのトラフィックに依存せずに逆直交変換を実現できて、最低限の高速性を維持できると共に、更には、システムの状態に応じてより一層の高速化が期待できる。

尚、第１の実施形態と同様に、各画素信号テーブル５０４ａ、５０４ｂを各々輝度成分用と色差成分用とで別々に構成しても良く、また、これ等の画素信号テーブルをフレーム間予測符号化を行わないイントラブロック用とフレーム間予測符号化を行うインターブロック用とで別々に構成したり、これ等の画素信号テーブルを符号化用と復号化用とで別々に構成しても、第１の実施形態と同様の効果が期待できる。

（第６の実施形態）
図１０は、本発明の第６の実施形態に係る信号処理装置６０１の構成を示す図である。

本実施形態の特徴は、画素信号テーブル４を用いた逆直交変換を利用するか否かを設定できる外部設定端子（設定手段）６１０を有する点である。

一般に、画像の符号化や復号化においては、扱う画像の大きさ（幅、高さ）やフレームレートなどによって、要求される処理速度は異なる。つまり、比較的小さな画像を符号化又は復号化する場合や、フレームレートの低い画像の符号化や復号化を行う場合などは、高速性は要求されない場合が多い。このように高速性は要求されない場合は、画素信号テーブル４を他の用途に利用できるようにすることが望ましい。

本実施形態では、処理の高速性が要求されない場合には、外部設定端子６１０よりインデックス生成回路５に対して切換え信号ＳＥＬ＝１を供給する。インデックス生成回路５では、ＳＥＬ＝１の場合は、直交変換係数の組合せに対応する画素信号値が画素信号テーブル４に存在する場合であっても、強制的にフラグＦＬＧをＦＬＧ＝０に設定して出力し、これにより、画素信号テーブル４を他の用途に開放する。その他の構成については、前記第１の実施形態の場合と同様であるので、ここでは省略する。

以上の構成により、本実施形態では、画素信号テーブル４を処理の高速化が要求される場合のみ利用し、それ以外の場合は他の用途に利用できるので、システムレベルでの最適化が期待できる。

（第７の実施形態）
図１１は、本発明の第７の実施形態に係る信号処理装置７０１の構成を示す図である。

本実施形態の特徴は、インデックス制御回路５からのフラグＦＬＧの情報に基づいて、画素信号テーブル４、画素発生回路６及び逆直交回路３に供給されるクロック信号を制御するクロック制御回路（クロック信号制御手段）７１０を備えた点である。

具体的に、インデックス生成回路５は、入力されるブロック単位の直交変換係数の組合せに対応する１つの画素信号値又は画素信号パターンが画素信号テーブル４に予め記憶されている場合は、画素信号テーブル４及び画素信号発生回路６を動作させて、逆直交変換と同等の処理を行う必要があるが、逆直交変換回路３は動作させる必要がない。逆に、入力されるブロック単位の直交変換係数の組合せに対応する１つの画素信号値又は画素信号パターンが画素信号テーブル４に予め記憶されていない場合は、逆直交変換回路３を動作させて逆直交変換を行う必要があるが、画素信号テーブル４及び画素発生回路６を動作させる必要はない。即ち、画素信号テーブル４及び画素発生回路６と、逆直交変換回路３とは排他的に動作すればそれで良く、従って、クロック制御回路７１０は、インデックス生成回路５から供給されるフラグＦＬＧの値に基づいて、ＦＬＧ＝１の場合には、画素信号テーブル４及び画素発生回路６にのみクロック信号を供給し、ＦＬＧ＝０の場合には、逆直交変換回路３にのみクロック信号を供給する制御する。

以上の構成により、本実施形態では、動作が必要となった期間の回路に対してのみクロック信号が供給されるので、無駄な電力を消費することなく、効率的な高速化が期待できる。

（第８の実施形態）
図１２は、本発明の第８の実施形態に係る信号処理装置８０１の構成を示す図である。

本実施形態が第１の実施形態と大きく異なる点は、ヒット回数管理回路（ヒット回数管理手段）８１０と、ミスヒット回数管理回路（出現回数管理手段）８１１とを備えた点である。

前記ヒット回数管理回路８１０は、インデックス生成回路２０５から出力されるフラグＦＬＧの状態に基づいて、ＦＬＧ＝１の場合に、各インデックス毎のヒット回数をカウントし、管理する。一方、ミスヒット回数管理回路８１１は、インデックス生成回路２０５から出力されるフラグＦＬＧの状態に基づいて、ＦＬＧ＝０の場合に、入力端子２から入力された直交変換係数の組合せとして、統計学的に見て比較的発生頻度が高いが、画素信号テーブル２０４に予め記憶させておくだけの余裕がなかったために記憶されていない有限個の直交変換係数の組合せを記憶すると共に、その係数の組合せの出現回数を一時的に記憶する。

以下、図１３のフローチャートを参照しながら詳細な構成を説明する。

先ず、設定端子２１０より設定回路２１１を介して、画素信号テーブル２０４及びインデックス生成回路２０５について、記憶すべき直交変換係数の組合せに対応する１つの画素信号値又は画素信号パターンとインデックスIndexの設定を行うと共に、ヒット回数管理回路８１０における各インデックスIndexにおけるヒット回数を初期化する（ステップＳ８０１）。ここで、ヒット回数の初期化とは、各インデックスIndexのヒット回数を０（ゼロ）以外の所定値、即ち、記憶した画素信号値又は画素信号パターンが書き換えられずに画素信号テーブル２０４に維持されるための最小限の発生回数にセットすることをいう。

次に、処理対象のブロックが残っているか否かの判断が行われる（ステップＳ８０２）。このステップＳ８０２において、処理対象のブロックが残っていないと判断されたＮｏの場合は、処理を終了し、残っていると判断された場合は、次に、入力された直交変換係数の組合せに対応する画素信号値又は画素信号パターンが、画素信号テーブル２０４に記憶されているか否かが、インデックス生成回路２０５により判断される（ステップＳ８０３）。

前記ステップＳ８０３において、画素信号テーブル２０４に記憶されている直交変換係数の組合せであると判断されたＹｅｓの場合は、画素信号テーブル２０４及び画素信号発生回路６を用いた逆直交変換と同等の処理が行われる（ステップＳ８０４）。このステップＳ８０４において逆直交変換が行われた後、ヒット回数管理回路８１０において、インデックス生成回路２０５より供給されるフラグＦＬＧ及びインデックスIndexを用いて、インデックスIndexの値に該当するインデックスのヒット回数をインクリメントする（ステップＳ８０５）。即ち、ヒット回数管理回路８１０では、各インデックスIndexの値に該当するインデックスが出現する毎に、そのヒット回数を更新し、各インデックス毎にヒット回数を管理する。

一方、前記ステップＳ８０３において、画素信号テーブル２０４に記憶されていない直交変換係数の組合せであると判断されたＮｏの場合は、逆直交変換回路３を用いた逆直交変換が行われる（ステップＳ８０６）。このステップＳ８０６において逆直交変換が行われた後、ミスヒット回数管理回路８１１において、その入力された直交変換係数の組合せの出現回数をインクリメントすると共に、その入力された直交変換係数の組合せと、その出現回数とを一時的に記憶する（ステップＳ８０７）。尚、ミスヒット回数管理回路８１１において管理できる直交変換係数の組合せ及びその出現回数の個数に制限はないが、現実的には、コストなどの問題から、ある程度の個数に制限される。。

続いて、ヒット回数管理回路８１０で管理されている各インデックスのヒット回数と、ミスヒット回数管理回路８１１で管理されている各直交変換係数の組合せの出現回数とが、設定回路（比較手段）２１１において比較される（ステップＳ８０８）。このステップＳ８０８において、ミスヒット回数管理回路８１１で管理されている各直交変換係数の組合せの出現回数が、何れのインデックスのヒット回数よりも小さいＹｅｓの場合は、ステップＳ８０２に戻る。逆に、前記出現回数が何れかのインデックスのヒット回数よりも大きいＮｏの場合には、入力端子２から入力された直交変換係数の組合せが、画素信号テーブル２０４には記憶されていないが、統計学的に見て比較的発生頻度の高い組合せであると判断して、設定回路（更新手段）２１１が、その出現回数の多い直交変換係数の組合せに対応する画素信号値又は画素信号パターンを、そのヒット回数の少ない直交変換係数の組合せに対応する画素信号値に置換して、画素信号テーブル２０４に記憶、更新する。（ステップＳ８０９）。また、画素信号テーブル２０４の更新に伴って、インデックス生成回路２０５のインデックスに対応するグループの更新も行われる。

以後、処理対象のブロックがなくなるまで、ステップＳ８０２〜Ｓ８０９までの動作が繰り返し行われる。

以上の構成により、符号化又は復号化の実行中にも、発生頻度の高い直交変換係数の組合せが画素信号テーブル２０４に随時更新されていくように、適応的に画素信号テーブル２０４の更新制御が行われるので、扱う画像の種類に依存しない逆直交変換処理の高速化が期待できる。

また、画素信号テーブル２０４の容量を、予め記憶させている直交変換係数の組合せ分以上に余分に確保しておけば、出現回数の多い直交変換係数の組合せの信号値については画素信号テーブル２０４に随時追加していくことができるので、前記と同様の効果が期待されるが、画素信号テーブル２０４はそのアクセスに高速性が要求される関係上、その記憶容量が大きくなればなるほど、コスト的な課題が大きくなる。この観点からは、本実施形態のように、動作の高速性が要求される（コストインパクトのある）画素信号テーブル２０４については、可能な限り小容量のメモリで構成し、高速性が比較的要求されないミスヒット回数管理回路８１１内の記憶領域から必要に応じて読み出して、画素信号テーブル２０４の内容を随時更新すれば、前記のような課題もなく、効率的な処理の高速化が期待できる。

尚、画素信号テーブル２０４の更新制御（ステップＳ８０８及びＳ８０９）については、輝度成分ブロックのみに限定して行っても良く、また色差成分ブロックにのみに限定して行っても良い。このように、更新制御を行うブロックを限定した方が、互いの処理の高速化を阻害してしまうような更新制御を未然に防止でき、且つ、符号化又は復号化の単位であるマクロブロックでの絶対的なブロック数が多い輝度成分（図１８参照）について優先的に処理の高速化を図ることができる。

また、画素信号テーブル２０４の更新制御（ステップＳ８０８及びＳ８０９）については、イントラ符号化されたブロックのみに限定して行っても良く、逆にインター符号化されたブロックのみに限定して行っても良い。このように更新制御を行うブロックを限定した方が、互いの処理の高速化を阻害してしまうような更新制御を未然に防止でき、且つ、符号化及び復号化において絶対数の多いブロックについて優先的に高速化を図った方が、全体としての処理の高速化も期待できる。

更に、画素信号テーブル２０４を輝度成分用と色差成分用とで別々に構成して、既述した更新制御を個別に行っても良い。そのように個別に行う方が、輝度成分ブロック及び色差成分ブロック共に高速化が期待でき、全体としての処理の高速化も更に期待できる。また、画素信号テーブル２０４をフレーム間予測符号化を行わないイントラブロック用とフレーム間予測符号化を行うインターブロック用とで別々に構成して、以上のような更新制御を個別に行っても良い。その方が、イントラブロック及びインターブロックの双方で処理の高速化が期待でき、全体としての高速化も更に期待できる。更に、画素信号テーブル２０４を符号化用と復号化用とで別々に構成して、以上のような更新制御を個別に行っても良く、この場合には、符号化及び復号化共に処理の高速化が期待できる。

加えて、前記の更新制御については、画素信号テーブル２０４を輝度成分Ｙ及び色差成分Ｃｒ、Ｃｂの全ての色成分で共通に使用しながら、ブロック数の多い輝度成分ブロックＹを優先して行っても、同様の効果を奏するのは勿論である。このことは、イントラ符号化及びインター符号化の両符号化タイプや、符号化及び復号化の両モードで画素信号テーブル２０４を共通に使用する場合も同様である。

（第９の実施形態）
続いて、本発明の第９の実施形態を説明する。図１４は、本実施形態において、既述した信号処理装置を用いた例えばデジタルスチルカメラ等の撮像システム（映像システム）の一例を示す。

同図では、光学系９０１を通って入射した画像光はセンサー９０２上に結像され、光電変換される。光電変換によって得られた電気信号はＡ／Ｄ変換回路９０３によりデジタル値に変換された後、例えば図１に示した信号処理装置１を含む画像処理回路９００に入力される。前記画像処理回路９００においては、Ｙ／Ｃ処理、エッジ処理、画像の拡大縮小、及びＪＰＥＧやＭＰＥＧ等の画像圧縮／伸張処理等が行われる。画像処理された信号は、記録系／転送系９０４においてメディアへの記録又は転送が行われる。記録又は転送された信号は再生系９０５により再生される。前記センサー９０２及び画像処理装置１はタイミング制御回路９０６により制御され、前記光学系９０１、記録系／転送系９０４、再生系９０５及びタイミング制御回路９０６は、各々、システム制御回路９０７により制御される。

尚、前記図１４に示した撮像システムでは、光学系９０１からの画像光をセンサー９０２で光電変換してＡ／Ｄ変換器９０３に入力したカメラ機器等について説明したが、本発明はこれに限定されず、その他、テレビ等のＡＶ機器のアナログ映像入力を直接にＡ／Ｄ変換回路９０３に入力しても良いのは勿論である。

以上説明したように、本発明は、発生頻度の高い直交変換係数の組合せに対しては、予め記憶した画素信号を順次出力するだけで、処理量の多い積和演算を行うことなく、逆直交変換したと同等の処理を実現できるので、安価、高速且つ低消費電力な符号化及び復号化が要求されるデジタルスチルカメラ画像ビューワなどのポータブルＡＶ機器や、カメラ付き携帯電話などに適用して有用である。

本発明の第１の実施形態の信号処理装置の構成を示すブロック図である。 同信号処理装置による信号処理方法を示すフローチャート図である。 画像信号の係数の組合せのグループ化の一例を示す図である。 画像信号の係数の組合せのグループに対するインデックスの割り付け例を示す図である。 画素信号テーブルの一例を示す図である。 本発明の第２の実施形態の信号処理装置の構成を示すブロック図である。 本発明の第３の実施形態の信号処理装置の構成を示すブロック図である。 本発明の第４の実施形態の信号処理装置の構成を示すブロック図である。 本発明の第５の実施形態の信号処理装置の構成を示すブロック図である。 本発明の第６の実施形態の信号処理装置の構成を示すブロック図である。 本発明の第７の実施形態の信号処理装置の構成を示すブロック図である。 本発明の第８の実施形態の信号処理装置の構成を示すブロック図である。 同信号処理装置による信号処理方法を示すフローチャート図である。 本発明の第８の実施形態の撮像システムの構成を示す図である。 従来の符号化装置の構成を示す図である。 従来の一般的な復号化装置の構成を示す図である。 従来の他の復号化装置の構成を示す図である。 画像信号のマクロブロックを説明する図である。 Coded Block Pattern（ＣＢＰ）を説明する図である。

符号の説明

３、 逆直交変換回路（逆直交変換手段）
４、２０４、３０４、
５０４ａ、５０４ｂ 画素信号テーブル（記憶手段）
５、２０５、５０５ インデックス生成回路
（インデックス生成手段及び判断手段）
６ 画素信号発生回路（信号発生手段）
７ 選択回路（選択手段）
２１０ 設定端子
２１１ 設定回路（比較手段及び更新手段）
３１０ 要求発生回路（要求発生手段）
３１１、４１１ メモリ制御回路（制御手段）
３１２ 外部メモリ（他の記憶手段、共用の記憶手段）
６１０ 切換え端子
６１１ 外部設定端子（設定手段）
７１０ クロック制御回路（クロック信号制御手段）
８１０ ヒット回数管理回路（ヒット回数管理手段）
８１１ ミスヒット回数管理回路（出現回数管理手段）
９００ 画像処理回路
９０１ 光学系
９０２ センサー
９０３ Ａ／Ｄ変換回路
９０４ 記録／転送系
９０５ 再生系
９０６ タイミング制御回路
９０７ システム制御回路

Claims (26)

1. 信号を直交変換した後に得られる直交変換係数の組合せを逆直交変換する信号処理方法であって、
   少なくとも１組の所定の直交変換係数の組合せを逆直交変換した信号値を予め記憶しておく記憶ステップと、
   各組の前記直交変換係数の組合せを順次入力して、入力された各組の直交変換係数の組合せが前記予め信号値を記憶した所定の直交変換係数の組合せであるか否かを判断する判断ステップと、
   前記判断の結果、前記所定の直交変換係数の組合せであるとき、前記予め記憶した信号値に基づいて復元信号を出力する第１の逆直交変換を行う一方、前記所定の直交変換係数の組合せでないとき、入力した直交変換係数の組合せを演算処理により逆直交変換する第２の逆直交変換を行う処理ステップとを有する
   ことを特徴とする信号処理方法。
2. 前記請求項１記載の信号処理方法において、
   前記記憶ステップで予め記憶しておく信号値に対応する所定の直交変換係数の組合せは、発生頻度の高い直交変換係数の組合せである
   ことを特徴とする信号処理方法。
3. 前記請求項１記載の信号処理方法において、
   前記記憶ステップでは、複数の信号値が予め記憶され、
   前記複数の信号値は、各々、逆直交変換した結果同一信号値となる複数組の直交変換係数の組合せからなる１つのグループに対応する信号値であり、
   前記複数の信号値には、各信号値に対応するインデックスが付される
   ことを特徴とする信号処理方法。
4. 前記請求項３記載の信号処理方法において、
   前記判断ステップは、
   入力された直交変換係数の組合せをグループ化するグループ化ステップと、
   前記入力された直交変換係数の組合せが属するグループが前記記憶ステップで予め記憶された信号値に対応するグループか否かを判別し、対応するグループに属するとき、フラグを生成すると共に、対応するグループの信号値を特定するインデックスを生成するインデックス生成ステップとを有し、
   前記処理ステップは、
   前記フラグが生成されたとき、前記インデックスに対応する信号値を読み出して復元信号を出力する一方、前記フラグが生成されないとき、前記入力された直交変換係数の組合せを演算処理により逆直交変換して復元信号を出力する
   ことを特徴とする信号処理方法。
5. 前記請求項１記載の信号処理方法において、
   前記記憶ステップにおいて予め記憶する信号値は、固定値でなく、可変に変更可能である
   ことを特徴とする信号処理方法。
6. 信号を直交変換した後に得られる直交変換係数の組合せを逆直交変換する信号処理装置であって、
   少なくとも１組の所定の直交変換係数の組合せを逆直交変換した信号値を予め記憶しておく記憶手段と、
   各組の直交変換係数の組合せを順次入力して、入力された各組の直交変換係数の組合せが前記予め信号値を記憶した所定の直交変換係数の組合せであるか否かを判断する判断手段と、
   前記判断手段の判断の結果、前記所定の直交変換係数の組合せであるとき、前記予め記憶した信号値に基づいて復元信号を出力する第１の逆直交変換を行う一方、前記所定の直交変換係数の組合せでないとき、入力した直交変換係数の組合せを演算処理により逆直交変換する第２の逆直交変換を行う処理手段とを備えた
   ことを特徴とする信号処理装置。
7. 信号を直交変換した後に得られる所定の直交変換係数の組合せを逆直交変換する信号処理装置であって、
   少なくとも１組の所定の直交変換係数の組合せを逆直交変換した信号値を予め記憶する記憶手段と、
   入力された複数組の直交変換係数の組合せをグループ化し、各グループに対応する信号値が前記記憶手段に記憶されているか否かを判断し、前記記憶手段に記憶されているとき、フラグを生成すると共に、対応するグループの信号値を特定するインデックスを前記記憶手段に出力して前記対応するグループの信号値を前記記憶手段から出力させるインデックス生成手段と、
   前記記憶手段から出力される信号値を受け、この信号値に基づいて、復元信号を構成する複数の信号値を順次出力する信号発生手段と、
   前記入力された直交変換係数の組合せを演算処理により逆直交変換する逆直交変換手段と、
   前記インデックス生成手段がフラグを生成したとき、前記信号発生手段からの信号値を選択する一方、前記フラグが生成されないとき、前記逆直交変換手段からの出力を選択する選択手段とを備えて、
   入力された直交変換係数の組合せの逆直交変換を、予め記憶した信号値に基づいて復元信号を出力する第１の逆直交変換と、演算処理により逆直交変換する第２の逆直交変換とに切り換えて行う
   ことを特徴とする信号処理装置。
8. 前記請求項６又は７記載の信号処理装置において、
   前記記憶手段は、前記信号値を書き換え可能な記憶手段で構成されており、
   前記記憶手段に予め記憶する信号値は、可変に変更可能である
   ことを特徴とする信号処理装置。
9. 前記請求項７記載の信号処理装置において、
   前記記憶手段は、他の装置が有する記憶手段の一部の領域で構成され、
   前記インデックス生成手段が前記フラグを生成したとき、信号値の転送要求を発生して、前記他の装置が有する記憶手段の書き込み及び読み出しを制御する制御手段に対して出力する要求発生手段を備え、
   前記インデックス生成手段は、前記インデックスを前記他の装置が有する記憶手段に出力し、
   前記制御手段から信号値の転送許可が得られたとき、前記他の装置が有する記憶手段から、対応する信号値が読み出される
   ことを特徴とする信号処理装置。
10. 前記請求項９記載の信号処理装置において、
    前記制御手段は、前記他の装置の状態を示す状態フラグを前記要求発生手段に出力し、
    前記要求発生手段は、前記制御手段からの状態フラグに基づいて、前記制御手段に対して信号値の転送要求を発生するか否かを決定する
    ことを特徴とする信号処理装置。
11. 前記請求項７記載の信号処理装置において、
    前記記憶手段を専用の記憶手段として、この専用の記憶手段とは別途に、他の装置が有する記憶手段の一部の領域で構成された共用の記憶手段を有し、
    前記インデックス生成手段は、
    入力された直交変換係数の組合せが属するグループに対応する信号値が前記専用の記憶手段及び共用の記憶手段の何れに記憶されているか否かを判断し、前記専用の記憶手段及び共用の記憶手段の何れかに記憶されているとき、対応するグループの信号値を特定するインデックスを前記専用の記憶手段又は共用の記憶手段に出力して、前記対応するグループの信号値を前記専用の記憶手段又は共用の記憶手段から出力させる
    ことを特徴とする信号処理装置。
12. 前記請求項６又は７記載の信号処理装置において、
    前記信号は画像信号であって、
    前記記憶手段は、前記画像信号の色成分毎に備えられて、
    前記第１の逆直交変換と前記第２の逆直交変換との切り換えを、前記画像信号の色成分毎に行う
    ことを特徴とする信号処理装置。
13. 前記請求項６又は７記載の信号処理装置において、
    前記信号は、符号化される画像信号であって、
    前記記憶手段は、前記画像信号の符号化タイプ毎に備えられて、
    前記第１の逆直交変換と前記第２の逆直交変換との切り換えを、前記画像信号の符号化タイプ毎に行う
    ことを特徴とする信号処理装置。
14. 前記請求項６又は７記載の信号処理装置において、
    前記信号は、符号化及び復号化される画像信号であって、
    前記記憶手段は、前記画像信号の符号化又は復号化のモード毎に備えられて、
    前記第１の逆直交変換と前記第２の逆直交変換との切り換えを、前記画像信号の符号化又は復号化のモード毎に行う
    ことを特徴とする信号処理装置。
15. 前記請求項６又は７記載の信号処理装置において、
    前記記憶手段に予め記憶した信号値に基づいて復元信号を出力する第１の逆直交変換を行うか、又は前記第１の逆直交変換が可能であっても前記第１の逆直交変換を行わずに、入力した直交変換係数の組合せを演算処理により逆直交変換する第２の逆直交変換を行うかを外部から切り換えて設定する設定手段を備えた
    ことを特徴とする信号処理装置。
16. 前記請求項７記載の信号処理装置において、
    前記インデックス生成手段がフラグを生成したとき、前記記憶手段及び前記信号発生手段に対してクロック信号を供給すると共に前記逆直交変換手段へのクロック信号の供給を停止し、一方、前記インデックス生成手段がフラグを生成しないとき、前記逆直交変換手段に対してクロック信号を供給すると共に前記記憶手段及び前記信号発生手段へのクロック信号の供給を停止するクロック信号制御手段を備えた
    ことを特徴とする信号処理装置。
17. 前記請求項７記載の信号処理装置において、
    前記インデックス生成手段からのインデックスを受け、そのインデックス毎にその出力回数をカウントするヒット回数管理手段と、
    入力される複数組の直交変換係数の組合せのうち、前記記憶手段に記憶された信号値に対応する組の直交変換係数の組合せ以外の所定の組の直交変換係数の組合せを予め記憶し、その所定の組の直交変換係数の組合せの出現回数をカウントする出現回数管理手段とを備えた
    ことを特徴とする信号処理装置。
18. 前記請求項１７記載の信号処理装置において、
    前記ヒット回数管理手段でのインデックス毎の出力回数と、前記出現回数管理手段での予め記憶した所定の組の直交変換係数の組合せの出現回数とを比較する比較手段と、
    前記比較手段の比較結果を受けて、前記出現回数管理手段に予め記憶した所定の組の直交変換係数の組合せのうち何れかの直交変換係数の組合せの出現回数が、前記ヒット回数管理手段での何れかのインデックスの出力回数よりも多いとき、前記出現回数の多い直交変換係数の組合せを、前記インデックスの出力回数の少ない直交変換係数の組合せに代えて、前記記憶手段に記憶して、前記記憶手段を更新する更新手段とを備えた
    ことを特徴とする信号処理装置。
19. 前記請求項１８記載の信号処理装置において、
    前記信号は画像信号であって、
    前記記憶手段は、前記画像信号の複数の色成分で共通して備えられ、
    前記更新手段による記憶手段の更新は、前記画像信号の色成分のうち所定の１つの色成分が他の色成分に優先して行われる
    ことを特徴とする信号処理装置。
20. 前記請求項１８記載の信号処理装置において、
    前記信号は、符号化される画像信号であって、
    前記記憶手段は、前記画像信号の各符号化タイプで共通して備えられ、
    前記更新手段による記憶手段の更新は、所定の１つの符号化タイプが他の符号化タイプに優先して行われる
    ことを特徴とする信号処理装置。
21. 前記請求項１８記載の信号処理装置において、
    前記信号は、符号化又は復号化される画像信号であって、
    前記記憶手段は、前記画像信号の符号化及び復号化の両モードで共通して備えられ、
    前記更新手段による記憶手段の更新制御は、何れか１つのモードが他のモードに優先して行われる
    ことを特徴とする信号処理装置。
22. 前記請求項１８記載の信号処理装置において、
    前記信号は、画像信号であって、
    前記記憶手段は、前記画像信号の色成分毎に備えられ、
    前記更新手段による記憶手段の更新は、前記画像信号の色成分毎に行われる
    ことを特徴とする信号処理装置。
23. 前記請求項１８記載の信号処理装置において、
    前記信号は、符号化される画像信号であって、
    前記記憶手段は、前記画像信号の符号化タイプ毎に備えられ、
    前記更新手段による記憶手段の更新は、前記画像信号の符号化タイプ毎に行われる
    ことを特徴とする信号処理装置。
24. 前記請求項１８記載の信号処理装置において、
    前記信号は、符号化及び復号化される画像信号であって、
    前記記憶手段は、前記画像信号の符号化及び復号化のモード毎に備えられ、
    前記更新手段による記憶手段の更新制御は、前記画像信号の符号化及び復号化のモード毎に行われる
    ことを特徴とする信号処理装置。
25. 前記請求項６又は７記載の信号処理装置を含んで画像処理を行う画像処理回路と、
    前記画像処理回路内の信号処理装置へ画像信号を出力するセンサーと、
    前記センサーへ光を結像する光学系とを備えた
    ことを特徴とする映像システム。
26. 前記請求項６又は７記載の信号処理装置を含んで画像処理を行う画像処理回路と、
    アナログ値の画像信号が入力され、この画像信号をデジタル値に変換して前記画像処理回路内の信号処理装置へ出力するＡ／Ｄ変換回路とを備えた
    ことを特徴とする映像システム。

Images