JP2004349812A

JP2004349812A - Image decoding apparatus and image decoding method

Info

Publication number: JP2004349812A
Application number: JP2003142002A
Authority: JP
Inventors: Kazufumi Sato; 数史佐藤; Yoichi Yagasaki; 陽一矢ケ崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-05-20
Filing date: 2003-05-20
Publication date: 2004-12-09
Anticipated expiration: 2023-05-20
Also published as: CN1551633A; JP4264811B2; CN1332564C

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image decoding apparatus capable of simplifying the configuration as the whole apparatus and to provide an image decoding method. <P>SOLUTION: The image decoding method for applying decoding processing to first and second encoded image data comprising image data respectively encoded by first and second encoding systems includes: a first step of discriminating a type of received first or second encoded image data; and a second step of applying first or second decoding processing to the first or second encoded image data in response to a discrimination result, and the image decoding apparatus adopting the image decoding method uses a memory means used for the first decoding processing for the second decoding processing. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は画像復号化装置及び画像復号化方法に関し、例えばＪＶＴ（ＪｏｉｎｔＭｏｄｅｌｏｆＥｎｈａｎｃｅｄ−ＣｏｍｐｒｅｓｓｉｏｎＶｉｄｅｏＣｏｄｉｎｇ）符号化方式に準拠した画像復号化装置及び画像復号化方法に適用して好適なものである。
【０００２】
【従来の技術】
近年、画像情報をディジタル化して取り扱い、その際、効率の高い情報の伝達及び蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償とにより圧縮するＭＰＥＧ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐｅ）などの方式に準拠した装置が、放送局などの情報配信及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特にＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途及びコンシューマ用途の広範なアプリケーションに現在広く用いられている。
【０００４】
かかるＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素をもつ標準解像度の飛び越し走査画像であれば４〜８〔Ｍｂｐｓ〕、１９２０×１０８８画素をもつ高解像度の飛び越し走査画像であれば１８〜２２〔Ｍｂｐｓ〕の符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００５】
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、すなわちより高い圧縮率の符号化方式には対応していなかった。
【０００６】
携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ１４４９６−２としてその規格が国際標準に承認された。
【０００７】
さらに近年、当初テレビ会議用の画像符号化を目的として、Ｈ．２６Ｌ（ＩＴＵ−ＴＱ６／１６ＶＣＥＧ）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号化により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
【０００８】
また現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、当該Ｈ．２６Ｌではサポートされていない機能をも取り入れ、より高い符号化効率を実現する標準化がＪＶＴ符号化方式として行われている。標準化のスケジュールとしては、２００３年３月にはＨ．２６４及びＭＰＥＧ−４Ｐａｒｔ１０（ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ）という名の元に国際標準となる予定である。
【０００９】
ここでＪＶＴ符号化方式について説明する。入力される画像信号は、まずＡ／Ｄ変換されてディジタル化された後、出力となる画像圧縮情報のＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅｓ）構造に応じて、フレーム画像の並べ替えを行う。
【００１０】
イントラ符号化が行われる画像に関しては、入力画像と、イントラ予測により生成される画素値の差分情報が離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された後、その結果得られる変換係数に対して量子化処理が施される。
【００１１】
量子化された変換係数は、可変長符号化及び算術符号化等の可逆符号化が施された後、蓄積されて画像圧縮情報として出力される。かかる量子化処理は当該蓄積状態に応じてフィードバック的にレート制御される。
【００１２】
一方、量子化された変換係数は、逆量子化処理及び逆直交変換処理が施されて復号化画像情報となり、デブロックフィルタ処理によりブロック歪の除去が施された後、その情報がフレームメモリに蓄積されながら、イントラ予測処理に供される。
【００１３】
このイントラ予測処理において、ブロック／マクロブロックに対して適用されたイントラ予測モードに関する情報は、可逆符号化処理に供されて、画像圧縮情報におけるヘッダ情報の一部として符号化される。
【００１４】
またインタ符号化が行われる画像に関しては、まず画像情報は動き予測・補償処理されると同時に、参照となる画像情報がフレームメモリから読み出されて、動き予測・補償処理を施された後、参照画像情報が生成される。参照画像情報は当該画像情報との差分信号へ変換される。
【００１５】
動き補償・予測処理では、同時に動きベクトル情報を可逆符号化処理を施して、画像圧縮情報のヘッダ部に挿入される情報を形成する。その他の処理はイントラ符号化が施される画像圧縮情報と同様である。
【００１６】
図２に従来のＪＶＴ符号化方式に準拠した画像復号化装置（以下、これをＪＶＴ復号化装置と呼ぶ）１を示す。このＪＶＴ復号化装置１において、外部入力されるビットストリームでなる画像圧縮情報Ｓ１を、順次復号処理しながら、表示用の高精細度の画像に復元するようになされている。
【００１７】
まず外部入力される画像圧縮情報Ｓ１は、蓄積バッファ２に格納された後、所定タイミングで読み出されて可逆復号化部３に送出される。可逆復号化部３では、予め定められた画像圧縮情報のフォーマット（以下、これをＪＶＴフォーマットと呼ぶ）に基づき、可変長復号化及び算術復号化等の処理が行われる。
【００１８】
その際、可逆復号化部３は、画像圧縮情報Ｓ１に基づくフレーム画像がイントラ符号化又はインタ符号化のいずれの符号化方法で行われたものかを判断する。可逆復号化部３は、イントラ符号化であると判断した場合には、画像圧縮情報Ｓ１のヘッダ部に書き込まれているイントラ予測モード情報をも復号化してイントラ予測部４に送出する一方、インタ符号化であると判断した場合には、画像圧縮情報Ｓ１のヘッダ部に書き込まれている動きベクトル情報をも復号化して動き予測・補償部５に送出する。
【００１９】
この可逆復号化部３の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数は、逆量子化部６において逆量子化された後、逆直交変換部７に送出される。この逆直交変換部７では、与えられた変換係数は、所定方式に基づく４次の逆直交変換が施された後、加算器８の一入力端に与えられる。
【００２０】
ここで可逆復号部３においてイントラ符号化であると判断された場合、加算器８の他入力端には、イントラ予測部４において生成された予測画像が入力される。この加算器８において、逆直交変換された画像情報と予測画像とが合成された後、当該合成結果がデブロックフィルタ９に与えられてブロック歪が除去される。
【００２１】
このデブロックフィルタ９を介して得られた加算器８の出力は、フレームメモリ１０を介して画面並べ替えバッファ１１に一時的に保持されながら元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えを行われた後、Ｄ／Ａ変換部１２においてアナログ変換される一方、当該フレームメモリ１０に一時的に格納された後、イントラ予測部４において上述した予測画像が生成される。
【００２２】
これに対して可逆復号部３においてインタ符号化であると判断された場合、加算器８の他入力端には、動き予測・補償部５において生成された参照画像が入力される。この加算器８において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がデブロックフィルタ９に与えられてブロック歪が除去される。
【００２３】
このデブロックフィルタ９を介して得られた加算器８の出力は、フレームメモリ１０を介して画面並べ替えバッファ１１に一時的に保持されながら元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えを行われた後、Ｄ／Ａ変換部１２においてアナログ変換される一方、当該フレームメモリ１０に一時的に格納された後、動き予測・補償部５において、当該フレームメモリ１０に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【００２４】
図３に従来のＭＰＥＧ１／２規格に準拠した画像復号化装置（以下、これをＭＰＥＧ１／２復号化装置と呼ぶ）を示す。このＭＰＥＧ１／２復号化装置２０では、外部入力されるビットストリームでなる画像圧縮情報を、順次復号処理しながら、表示用の高精細度の画像に復元するようになされている。
【００２５】
まず外部入力される画像圧縮情報Ｓ２は、蓄積バッファ２１に格納された後、所定タイミングで読み出されて可逆復号化部２２に送出される。可逆復号化部２２では、予め定められた画像圧縮情報Ｓ２のフォーマット（以下、これをＭＰＥＧ１／２フォーマットと呼ぶ）に基づき、可変長復号化処理が行われる。その際、可逆復号化部２２は、画像圧縮情報Ｓ２のヘッダ部に書き込まれている動きベクトル情報をも復号化して動き予測・補償部２３に送出する。
【００２６】
この可逆復号化部２２の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数は、逆量子化部２４において逆量子化された後、逆直交変換部２５に送出される。この逆直交変換部２５では、与えられた変換係数は、所定方式に基づく８次の逆直交変換が施された後、加算器２６の一入力端に与えられる。
【００２７】
加算器２６の他入力端には、動き予測・補償部２３において生成された参照画像が入力される。この加算器２６において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がフレームメモリ２７を介して画面並べ替えバッファ２８に一時的に保持される。
【００２８】
その後、画面並べ替えバッファ２８から元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えが行われて読み出された加算器２６の合成結果は、Ｄ／Ａ変換部２９においてアナログ変換される一方、当該フレームメモリ２７に一時的に格納された後、動き予測・補償部２３において、当該フレームメモリ２７に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【００２９】
【発明が解決しようとする課題】
ところで、上述したＪＶＴ復号化装置１（図２）及びＭＰＥＧ１／２復号化装置２０（図３）においては、各機能ブロックにおける処理は異なるものの、基本的な回路構成は同一であるため、双方の機能を持った画像復号化装置を構築することが可能である。すなわちＭＰＥＧ１／２フォーマットの画像圧縮情報とＪＶＴフォーマットの画像圧縮情報との双方を復号化する機能を持つ画像復号化装置を構築することが可能である。
【００３０】
具体的にはＪＶＴ復号化装置１（図２）及びＭＰＥＧ１／２復号化装置２０（図３）においては、以下に述べる第１〜第５の違いを有する。
【００３１】
まず第１の違いは、ＪＶＴ復号化装置１においては、可逆復号化部３は所定方式に基づく可変長復号化及び算術復号化の処理を施すのに対して、ＭＰＥＧ１／２復号化装置２０においては、可逆復号化部２２は所定方式に基づく可逆復号化処理を施す点である。
【００３２】
第２の違いは、ＪＶＴ復号化装置１においては、逆直交変換部７は４次の逆離散コサイン変換処理を施すのに対し、ＭＰＥＧ１／２復号化装置２０においては、逆直交変換部２５は８次の逆離散コサイン変換処理を施す点である。
【００３３】
第３の違いは、復号画像をフレームメモリ２７に格納するに先立ち、ＪＶＴ復号化装置１においては、デブロックフィルタ９がブロック歪の除去を行うのに対し、ＭＰＥＧ１／２復号化装置２０においては、ブロック歪の除去を行わない点である。
【００３４】
第４の違いは、マクロブロックがイントラマクロブロックである場合、ＪＶＴ復号化装置１においては、イントラ予測部４は画面内符号化により予測画像の生成を行うのに対し、ＭＰＥＧ１／２復号化装置２０においては、画面内符号化による予測画像の生成を行わない点である。
【００３５】
第５の違いは、ＪＶＴ復号化装置１においては、動き予測・補償部５はマルチプルリファレンスフレーム（ＭｕｌｔｉｐｌｅＲｅｆｅｒｅｎｃｅＦｒａｍｅ）及び可変ブロックサイズ動き補償に対応した１／４画素精度の動き補償処理を施すのに対し、ＭＰＥＧ１／２復号化装置２０においては、動き予測・補償部２３は線形内挿に基づく１／２画素精度の動き補償処理を施す点である。
【００３６】
実際にＪＶＴ符号化方式では、動き量の大きな飛越し走査（インタレース）フォーマットの画像に対してはフレーム構造の符号化処理よりもフィールド構造の符号化処理のほうが効率良く符号化できる場合があることを考慮して、符号化対象の画像が飛越し走査フォーマットである場合には、これらフレーム構造の符号化とフィールド構造の符号化とをピクチャ単位で適応的に切り替えることが認められている。
【００３７】
さらにＪＶＴ符号化方式では、符号化対象の画像が飛越し走査フォーマットである場合において符号化単位としてフィールド構造を適用したときには、Ｉピクチャの第１フィールドをフィールド内で完結するように符号化（以下、これをフィールド内符号化と呼ぶ）（Ｉフィールド）し、第２フィールドを時間的に前方向のフィールド画像を参照して符号化（Ｐフィールド）することも認められている。
【００３８】
従って、このように第１及び第２フィールドがそれぞれＩフィールド又はＰフィールドとして符号化されたＩピクチャを復号化するに際しては、第２フィールド（Ｐフィールド）の復号化処理のために予め対応する参照画像を復号化する必要がある。
【００３９】
この場合において、ＪＶＴ符号化方式では、図４に示すように、符号化時における動き補償処理時の参照画像として対象フレーム画像の前後の２以上のフレーム画像を用いることができるマルチプルリファレンスフレーム（ＭｕｌｔｉｐｌｅＲｅｆｅｒｅｎｃｅＦｒａｍｅ）機能がサポートされている。
【００４０】
このため、図５に示すように、第２フィールドがＰフィールドであるＩピクチャを復号化するに際して、当該Ｐフィールドが当該Ｉピクチャ以外の他のＰピクチャやＢピクチャのフィールド画像を参照画像としている場合には、当該ＰピクチャやＢピクチャの復号化処理をも必要となる。
【００４１】
このようにＪＶＴ符号化方式では、符号化対象の画像が飛越し走査フォーマットである場合、直前のＩピクチャだけでなく、過去に遡って複数のＰピクチャやＢピクチャを参照することが可能であるため、上述したＪＶＴ復号化装置１（図２）内のフレームメモリの動作容量を従来よりも多く必要とする。
【００４２】
さらに近年、ネットワークの限られたバンド幅又はネットワークの記憶メディアの容量を効率的に利用するため、上述のような飛び越し走査フォーマットが広く用いられているが、飛び越し走査フォーマットの画像は、画面にちらつきを有することが知られている。このため図６に示すように、飛び越し走査フォーマットの画像を、順次走査（ノンインタレース）フォーマットに変換して、ちらつきを抑えた高画質な画像として出力する技術が現在広く用いられている。
【００４３】
例えば、図６における周辺の画素値Ａ、Ｂ、Ｃ、Ｄを用いて、補間画素値Ｘを生成する方法を説明する。まず空間方向相関をＣｏｒｒＶ、時間方向相関をＣｏｒｒＴとして、画素値Ｘに関する相関を、次式
【００４４】
【数１】

【００４５】
【数２】

【００４６】
により算出する。その際、次式
【００４７】
【数３】

【００４８】
が成立するとき、画素値Ｘの周辺では、空間方向の相関が高いと判定し、成立しない場合には、時間方向の相関が高いと判定する。前者の場合、次式
【００４９】
【数４】

【００５０】
とし、後者の場合、次式
【００５１】
【数５】

【００５２】
として、補間画素値Ｘを生成する。
【００５３】
図６においては、原画素の画素値、及び補間により生成された画素値を格納するため、原画像のみを格納する場合の２倍のメモリ容量を必要とする。
【００５４】
また、欧州においては、ＰＡＬ（ＰｈａｓｅＡｌｔｅｒｎａｔｉｏｎｂｙＬｉｎｅ）フォーマット（７２０×５７６×２５〔Ｈｚ〕、飛び越し走査）がテレビジョン信号処理に採用されているが、２５〔Ｈｚ〕では、画像によっては動きが不自然に見えるため、図７に示すような、倍速変換処理を行い、５０〔Ｈｚ〕にすることによって動画像における円滑な動きを表現する技術が用いられている。
【００５５】
図７においても、原画像の画素値、及び、補間により生成された画素値を格納するため、原画像のみを格納する場合の２倍のメモリ容量を必要とする。
【００５６】
従ってＪＶＴ符号化方式において上述したようなマルチプルリファレンスフレーム機能の処理を行う場合や、飛越し走査フォーマットから順次走査フォーマットへの変換処理を行う場合には、装置内部のフレームメモリの動作容量をより一層多く必要とすることから、その分の動作容量をＭＰＥＧ１／２復号化装置において復号化処理に用いられないメモリ容量を利用することができれば望ましい。
【００５７】
本発明は以上の点を考慮してなされたもので、装置全体として構成を簡易化し得る画像復号化装置及び画像復号化方法を提案しようとするものである。
【００５８】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、第１及び第２の符号化方式でそれぞれ符号化された画像データでなる第１及び第２の符号化画像データを復号化処理する画像復号化装置において、第１の符号化画像データに対して第１の復号化処理を施す第１の復号化手段と、第２の符号化画像データに対して第２の復号化処理を施す第２の復号化手段と、第１の復号化手段による第１の復号化処理に使用されるメモリ手段とを設け、メモリ手段は、第２の復号化手段による第２の復号化処理に使用されるようにした。
【００５９】
この結果この画像復号化装置では、第１の復号化処理を施す第１の復号化手段と第２の復号化処理を施す第２の復号化手段とにおいてメモリ手段を共用することができ、装置全体として構成を簡易にすることができる。
【００６０】
また本発明においては、入力される第１又は第２の符号化画像データの種類を判別する判別手段と、第２の復号化手段による第２の復号化処理の結果に対して、所定の画像処理を行う画像処理手段とを設け、制御手段は、判別手段の判別結果が第２の符号化画像データである場合、メモリ手段のメモリ領域のうち第２の復号化手段による第２の復号化処理に使用されない領域を、画像処理手段による画像処理に使用させるようにした。
【００６１】
この結果この画像復号化装置では、第２の復号化手段による第２の復号化処理を行う際に、第１の復号化処理に使用されるメモリ手段のメモリ領域のうち第２の復号化処理に使用されない領域を画像処理に使用するようにした分、新たにメモリ手段を設ける必要がなくて済む。
【００６２】
さらに本発明においては、第１及び第２の符号化方式でそれぞれ符号化された画像データでなる第１及び第２の符号化画像データを復号化処理する画像復号化方法において、入力される第１又は第２の符号化画像データの種類を判別する第１のステップと、判別結果に応じて第１又は第２の符号化画像データに対して第１又は第２の復号化処理を施す第２のステップとを設け、第１の復号化処理に使用されるメモリ手段を、第２の復号化処理に使用するようにした。
【００６３】
この結果この画像復号化方法では、第１の復号化処理と第２の復号化処理とにおいてメモリ手段を共用することができ、装置全体として構成を簡易にすることができる。
【００６４】
さらに本発明においては、第２の復号化処理の結果に対して所定の画像処理を行う第３のステップを設け、第２のステップでは、第１の復号化処理に使用されるメモリ手段のメモリ領域のうち第２の復号化処理に使用されない領域を、画像処理に使用するようにした。
【００６５】
この結果この画像復号化方法では、第２の復号化処理を行う際に、第１の復号化処理に使用されるメモリ手段のメモリ領域のうち第２の復号化処理に使用されない領域を画像処理に使用するようにした分、新たにメモリ手段を設ける必要がなくて済む。
【００６６】
【発明の実施の形態】
以下図面について、本願発明の一実施の形態について説明する。
【００６７】
（１）本実施の形態による画像復号化装置の構成
図２及び図３との対応部分に同一符号を付して示す図１において、３０は本実施の形態におけるＪＶＴ符号化方式及びＭＰＥＧ１／２の双方に準拠した画像復号化装置を示し、外部入力されるビットストリームでなる画像圧縮情報Ｓ１０（Ｓ１又はＳ２）を、順次復号処理しながら、表示用の高精細度の画像に復元するようになされている。
【００６８】
画像復号化装置３０では、ＪＶＴ符号化方式に準拠した画像復号化部（以下、これをＪＶＴ復号化部と呼ぶ）３１と、ＭＰＥＧ１／２規格に準拠した画像復号化部（以下、これをＭＰＥＧ１／２復号化部と呼ぶ）３２とを有し、双方の前段に設けられた蓄積バッファ３３と、双方の後段に設けられたフレームメモリ３４、画面並べ替えバッファ３５及びＤ／Ａ変換部３６を共有するようになされている。
【００６９】
この画面復号化装置３０では、外部入力される画像圧縮情報Ｓ１０は、圧縮情報判別部３７を介してＪＶＴフォーマット又はＭＰＥＧ１／２フォーマットのいずれの圧縮方式に基づくものであるかの判別が行われた後、蓄積バッファ３３に格納される。この圧縮情報判別部３７は、後段の蓄積バッファ３３から画像圧縮情報Ｓ１０を読み出した後、当該画像圧縮情報Ｓ１０から画像フォーマットに関する情報を抽出することにより、上述のような判別を行う。
【００７０】
例えば画像圧縮情報Ｓ１０がＭＰＥＧ２システムに基づいた画像圧縮情報により多重化されて伝送される場合には、システムレイヤに含まれるストリームＩＤを参照することにより判別することが可能である。
【００７１】
この圧縮情報判別部３７による判別結果により、蓄積バッファ３３に蓄積された画像圧縮情報Ｓ１０が、ＪＶＴフォーマットに基づくものと判別された場合には、所定タイミングで読み出されてＪＶＴ復号化部３１に送出される一方、ＭＰＥＧ１／２フォーマットに基づくものと判別された場合には、所定タイミングで読み出されてＭＰＥＧ１／２復号化部３２に送出される。
【００７２】
まずＪＶＴ復号化部３１において、可逆復号化部３では、ＪＶＴフォーマットに基づき、可変長復号化及び算術復号化等の処理が行われる。その際、可逆復号化部３は、画像圧縮情報Ｓ１０に基づくフレーム画像がイントラ符号化又はインタ符号化のいずれの符号化方法で行われたものかを判断する。
【００７３】
可逆復号化部３は、イントラ符号化であると判断した場合には、画像圧縮情報Ｓ１０のヘッダ部に書き込まれているイントラ予測モード情報をも復号化してイントラ予測部４に送出する一方、インタ符号化であると判断した場合には、画像圧縮情報Ｓ１０のヘッダ部に書き込まれている動きベクトル情報をも復号化して動き予測・補償部５に送出する。
【００７４】
この可逆復号化部３の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数は、逆量子化部６において逆量子化された後、逆直交変換部７に送出される。この逆直交変換部７では、与えられた変換係数は、所定方式に基づく４次の逆直交変換が施された後、加算器８の一入力端に与えられる。
【００７５】
ここで可逆復号部３においてイントラ符号化であると判断された場合、加算器８の他入力端には、イントラ予測部４において生成された予測画像が入力される。この加算器８において、逆直交変換された画像情報と予測画像とが合成された後、当該合成結果がデブロックフィルタ９に与えられてブロック歪が除去される。
【００７６】
このデブロックフィルタ９を介して得られた加算器８の出力は、フレームメモリ３４を介して画面並べ替えバッファ３５に一時的に保持されながら元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えを行われた後、Ｄ／Ａ変換部３６においてアナログ変換される一方、当該フレームメモリ３４に一時的に格納された後、イントラ予測部４において上述した予測画像が生成される。
【００７７】
これに対して可逆復号部３においてインタ符号化であると判断された場合、加算器８の他入力端には、動き予測・補償部５において生成された参照画像が入力される。この加算器８において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がデブロックフィルタ９に与えられてブロック歪が除去される。
【００７８】
このデブロックフィルタ９を介して得られた加算器８の出力は、フレームメモリ３４を介して画面並べ替えバッファ３５に一時的に保持されながら元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えを行われた後、Ｄ／Ａ変換部３６においてアナログ変換される一方、当該フレームメモリ３４に一時的に格納された後、動き予測・補償部５において、当該フレームメモリ３４に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【００７９】
一方、ＭＰＥＧ１／２復号化部３２において、可逆復号化部２２では、ＭＰＥＧ１／２フォーマットに基づき、可変長復号化処理が行われる。その際、可逆復号化部２２は、画像圧縮情報Ｓ１０のヘッダ部に書き込まれている動きベクトル情報をも復号化して動き予測・補償部２３に送出する。
【００８０】
この可逆復号化部２２の出力である量子化された離散コサイン変換及びカルーネン・レーベ変換等の直交変換が施された変換係数は、逆量子化部２４において逆量子化された後、逆直交変換部２５に送出される。この逆直交変換部２５では、与えられた変換係数は、所定方式に基づく８次の逆直交変換が施された後、加算器２６の一入力端に与えられる。
【００８１】
加算器２６の他入力端には、動き予測・補償部２３において生成された参照画像が入力される。この加算器２６において、逆直交変換された画像情報と参照画像とが合成された後、当該合成結果がフレームメモリ３４を介して画面並べ替えバッファ３５に一時的に保持される。
【００８２】
その後、画面並べ替えバッファ３５から元の画像圧縮情報のＧＯＰ構造に応じてフレーム画像の並べ替えが行われて読み出された加算器２６の合成結果は、Ｄ／Ａ変換部３６においてアナログ変換される一方、当該フレームメモリ３４に一時的に格納された後、動き予測・補償部２３において、当該フレームメモリ３４に格納された画像情報と可逆復号化処理が施された動きベクトル情報とに基づいて上述の参照画像が生成される。
【００８３】
かかる構成に加えて画像復号化装置３０においては、フレームメモリ３４に接続するように画像情報変換部３８が設けられ、圧縮情報判別部３７の判別結果でなる制御信号Ｓ１１が供給されるようになされている。
【００８４】
本実施の形態の場合、ＪＶＴ復号化部３１及びＭＰＥＧ１／２復号化部３２の双方でフレームメモリ３４を共有しているが、ＪＶＴ復号化部３１ではマルチプルリファレンスフレーム機能が規定されているため、フレームメモリ３４のうち、ＪＶＴ符号化によるマルチプルリファレンスフレーム機能に対応した動き補償には用いる領域であってＭＰＥＧ１／２復号化部３２によっては用いられない領域（以下、これをＪＶＴ機能領域と呼ぶ）が存在する。
【００８５】
このためＭＰＥＧ１／２フォーマットに基づく画像圧縮情報の復号化処理を行う際には、フレームメモリ３４内のかかるＪＶＴ機能領域を、以下に述べるように、出力画像の高画質化を図るべく有効利用する。
【００８６】
まず圧縮情報判別部３７は、入力される画像圧縮情報Ｓ１０がＭＰＥＧ１／２フォーマットに基づくと判別した場合、画像情報変換部３８に制御信号Ｓ１１を送出する。画像情報変換部３８は、フレームメモリ３４からＭＰＥＧ１／２フォーマットに基づく画像圧縮情報を抽出した後、飛び越し走査フォーマットから順次走査フォーマットへの変換を実行することによりちらつきを抑えた高画質化処理を行う。
【００８７】
この結果、画像情報変換部３８は、補間により生成した画像を、フレームメモリ３４におけるＪＶＴ機能領域に格納する。このようにフレームメモリ３４のＪＶＴ機能領域を高画質化処理に利用することにより、ＭＰＥＧ１／２フォーマット及びＪＶＴフォーマットの双方に基づく画像圧縮情報の復号化処理を行う際に、当該双方で効率良く共有させることができる。
【００８８】
（２）本実施の形態による動作及び効果
以上の構成において、この画像復号化装置３０では、ＪＶＴ符号化方式に準拠した復号化処理を行うＪＶＴ復号化部３１と、ＭＰＥＧ１／２規格に準拠した復号化処理を行うＭＰＥＧ１／２復号化部３２とを設け、入力される画像圧縮情報Ｓ１０の種類に応じて双方の復号化処理を行うことができる。
【００８９】
またこの画像復号化装置３０では、ＪＶＴ復号化部３１及びＭＰＥＧ１／２復号化部３２において、蓄積バッファ３３、フレームメモリ３４、画面並べ替えバッファ３５及びＤ／Ａ変換部３６を共有して使用することにより、装置全体として構成を簡易にすることができる。
【００９０】
その際、フレームメモリ３４は、ＪＶＴ復号化部３１で実行するマルチプルリファレンスフレーム機能に十分に使用可能なメモリ容量に設定されているため、ＪＶＴ符号化によるマルチプルリファレンスフレーム機能に対応した動き補償には用いる領域であってＭＰＥＧ１／２復号化部３２によっては用いられないＪＶＴ機能領域が存在する。
【００９１】
このためＭＰＥＧ１／２復号化部３２における復号化処理を行う場合であって、かつ、画像情報変換部３８によって飛び越し走査フォーマットから順次走査フォーマットへの変換処理を実行する際には、当該画像情報変換部３８において補間により生成した画像をフレームメモリ３４内のＪＶＴ機能領域に格納することにより、当該フレームメモリ３４を有効に利用することができ、この結果、新たにＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等のメモリを設ける必要がなくて済む。
【００９２】
以上の構成によれば、画像復号化装置３０において、ＪＶＴ復号化部３１及びＭＰＥＧ１／２復号化部３２を併合させる場合に、双方の復号化処理に必要な蓄積バッファ３３、フレームメモリ３４及び画面並べ替えバッファ３５等の機能ブロックを共用させるようにしたことにより、装置全体の構成を簡易にすることができると共に、フレームメモリ３４のうちＪＶＴ符号化によるマルチプルリファレンスフレーム機能に対応した動き補償に用いるＪＶＴ機能領域を、ＭＰＥＧ１／２復号化部３２における復号化処理の際にさらに飛び越し走査フォーマットから順次走査フォーマットへの変換処理にも使用することができ、かくして構成を簡易にし得る画像復号化装置３０を実現できる。
【００９３】
（３）他の実施の形態
なお上述のように本実施の形態においては、ＪＶＴ符号化方式（第１の符号化方式）及びＭＰＥＧ１／２方式（第２の符号化方式）でそれぞれ符号化された画像データでなる第１及び第２の符号化画像データＳ１０を復号化処理する画像復号化装置として、図１に示すようなＪＶＴ復号化部（第１の復号化手段）３１及びＭＰＥＧ１／２復号化部（第２の復号化手段）３２を有する構成の画像復号化装置３０を適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成のものを広く適用するようにしても良い。
【００９４】
また本実施の形態においては、ＪＶＴ復号化部（第１の復号化手段）３１とＭＰＥＧ１／２復号化部（第２の復号化手段）３２とでフレームメモリ（メモリ手段）３４を共用するようにした場合について述べたが、本発明はこれに限らず、メモリ手段としては、本実施の形態のように蓄積バッファ３３及び画面並べ替えバッファ３５を含めるようにしても良く、さらにはこれ以外にもメモリ手段の後段に接続されたＤ／Ａ変換部３６等の各種の機能ブロックを共用するようにしても良い。
【００９５】
さらに本実施の形態においては、入力される第１又は第２の符号化画像データＳ１０（Ｓ１又はＳ２）の種類を判別する判別手段として、図１の画像復号化装置３０における圧縮情報判別部３７を適用するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成からなる判別手段を広く適用するようにしても良い。
【００９６】
さらに本実施の形態においては、ＭＰＥＧ１／２復号化部（第２の復号化手段）３２による第２の復号化処理の結果に対して、所定の画像処理を施す画像処理手段として、飛び越し走査フォーマットから順次走査フォーマットへの変換処理を施す画像情報変換部３８（図１）を適用するようにした場合について述べたが、本発明はこれに限らず、この他の画像処理としてフレームレート変換等の画像の変換や、画像の特徴の抽出、画像の認識など、この他種々の画像処理に広く適用することができる。この場合も、フレームメモリ（メモリ手段）のメモリ領域のうちＭＰＥＧ１／２復号化部（第２の復号化手段）３２による第２の復号化処理に使用されないＪＶＴ機能領域を使用させるようにすれば良い。
【００９７】
【発明の効果】
上述のように本発明によれば、第１及び第２の符号化方式でそれぞれ符号化された画像データでなる第１及び第２の符号化画像データを復号化処理する画像復号化装置において、第１の符号化画像データに対して第１の復号化処理を施す第１の復号化手段と、第２の符号化画像データに対して第２の復号化処理を施す第２の復号化手段と、第１の復号化手段による第１の復号化処理に使用されるメモリ手段とを設け、メモリ手段は、第２の復号化手段による第２の復号化処理に使用されるようにしたことにより、第１の復号化手段と第２の復号化手段とにおいてメモリ手段を共用することができ、かくして装置全体として構成を簡易にし得る画像復号化装置を実現できる。
【００９８】
また本発明によれば、第１及び第２の符号化方式でそれぞれ符号化された画像データでなる第１及び第２の符号化画像データを復号化処理する画像復号化方法において、入力される第１又は第２の符号化画像データの種類を判別する第１のステップと、判別結果に応じて第１又は第２の符号化画像データに対して第１又は第２の復号化処理を施す第２のステップとを設け、第１の復号化処理に使用されるメモリ手段を、第２の復号化処理に使用するようにしたことにより、第１の復号化処理と第２の復号化処理とにおいてメモリ手段を共用することができ、かくして装置全体として構成を簡易にすることができる。
【図面の簡単な説明】
【図１】本実施の形態による画像復号化装置の構成を示すブロック図である。
【図２】従来のＪＶＴ復号化装置の構成を示すブロック図である。
【図３】従来のＭＰＥＧ１／２復号化装置の構成を示すブロック図である。
【図４】マルチプルリファレンスフレーム機能の説明に供する略線図である。
【図５】マルチプルリファレンスフレーム機能における参照画像の説明に供する略線的な平面図である。
【図６】飛び越し走査フォーマットから順次走査フォーマットへの変換処理の説明に供する略線的な平面図である。
【図７】倍速変換処理の説明に供する略線的な平面図である。
【符号の説明】
３０……画像復号化装置、３１……ＪＶＴ復号化部、３２……ＭＰＥＧ１／２復号化部、３３……蓄積バッファ、３４……フレームメモリ、３５……画面並べ替えバッファ、３６……Ｄ／Ａ変換部、３７……圧縮情報判別部、３８……画像情報変換部。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image decoding device and an image decoding method, and is suitably applied to, for example, an image decoding device and an image decoding method based on a JVT (Joint Model of Enhanced-Compression Video Coding) coding system. .
[0002]
[Prior art]
In recent years, image information has been digitized and handled. At that time, compression is performed by orthogonal transform such as discrete cosine transform and motion compensation by utilizing the redundancy inherent in image information for the purpose of efficiently transmitting and storing information. 2. Description of the Related Art Devices conforming to a method such as MPEG (Moving Picture Experts Group) are becoming widespread in both information distribution at broadcasting stations and information reception in ordinary households.
[0003]
In particular, MPEG2 (ISO / IEC 13818-2) is defined as a general-purpose image coding method, and is a standard covering both interlaced scan images and progressive scan images, as well as standard resolution images and high-definition images, and is used for professional use and Currently widely used in a wide range of consumer applications.
[0004]
By using the MPEG2 compression method, for example, 4 to 8 [Mbps] for a standard resolution interlaced scan image having 720 × 480 pixels, and 18 to 22 for a high resolution interlace scan image having 1920 × 1088 pixels. By assigning a code amount (bit rate) of [Mbps], a high compression rate and good image quality can be realized.
[0005]
MPEG2 mainly targets high-quality coding suitable for broadcasting, but does not support a coding amount (bit rate) lower than that of MPEG1, that is, a coding method with a higher compression rate.
[0006]
With the spread of mobile terminals, it is expected that the need for such an encoding system will increase in the future, and in response to this, the MPEG4 encoding system has been standardized. Regarding the image coding system, the standard was approved as an international standard in December 1998 as ISO / IEC 14496-2.
[0007]
Furthermore, in recent years, H.264 was initially used for image coding for video conferences. The standardization of 26L (ITU-T Q6 / 16 VCEG) is in progress. H. It is known that 26L requires a larger amount of calculation for encoding and decoding than conventional encoding methods such as MPEG2 and MPEG4, but realizes higher encoding efficiency.
[0008]
Currently, as part of MPEG4 activities, 26L based on the H.26L. In the 26L, JVT encoding is standardized to incorporate functions that are not supported and to achieve higher encoding efficiency. As a standardization schedule, H.M. It will be an international standard under the name of H.264 and MPEG-4 Part 10 (Advanced Video Coding).
[0009]
Here, the JVT encoding method will be described. The input image signal is first A / D converted and digitized, and then the frame images are rearranged in accordance with the GOP (Group of Pictures) structure of the output image compression information.
[0010]
For an image on which intra coding is performed, the input image and the difference information between the pixel values generated by the intra prediction are subjected to orthogonal transform such as discrete cosine transform and Karhunen-Loeve transform, and the resulting transform coefficients are obtained. Are subjected to quantization processing.
[0011]
The quantized transform coefficients are subjected to lossless encoding such as variable-length encoding and arithmetic encoding, and then accumulated and output as image compression information. Such quantization processing is rate-controlled in a feedback manner according to the accumulation state.
[0012]
On the other hand, the quantized transform coefficients are subjected to inverse quantization and inverse orthogonal transform to become decoded image information. After the block distortion is removed by deblocking filter processing, the information is stored in the frame memory. While being accumulated, it is used for intra prediction processing.
[0013]
In this intra prediction process, information on the intra prediction mode applied to the block / macroblock is subjected to a lossless encoding process, and is encoded as a part of header information in the image compression information.
[0014]
In addition, for an image to be inter-coded, first, image information is subjected to motion prediction and compensation processing, and at the same time, reference image information is read from a frame memory and subjected to motion prediction and compensation processing. Reference image information is generated. The reference image information is converted into a difference signal from the image information.
[0015]
In the motion compensation / prediction process, the motion vector information is simultaneously subjected to a lossless encoding process to form information to be inserted into the header portion of the image compression information. Other processes are the same as those of the image compression information to be subjected to intra coding.
[0016]
FIG. 2 shows an image decoding apparatus 1 (hereinafter, referred to as a JVT decoding apparatus) based on the conventional JVT encoding method. In the JVT decoding apparatus 1, image compression information S1 composed of an externally input bit stream is restored to a high-definition image for display while sequentially decoding.
[0017]
First, the externally input image compression information S1 is stored in the storage buffer 2, read out at a predetermined timing, and sent to the lossless decoding unit 3. The lossless decoding unit 3 performs processes such as variable-length decoding and arithmetic decoding based on a predetermined format of image compression information (hereinafter, referred to as a JVT format).
[0018]
At this time, the lossless decoding unit 3 determines whether the frame image based on the image compression information S1 has been performed by the intra-coding or the inter-coding. When the lossless decoding unit 3 determines that the encoding is the intra coding, the lossless decoding unit 3 also decodes the intra prediction mode information written in the header part of the image compression information S1 and sends the information to the intra prediction unit 4, while If it is determined that the encoding is the encoding, the motion vector information written in the header portion of the image compression information S1 is also decoded and transmitted to the motion prediction / compensation unit 5.
[0019]
The transform coefficients subjected to the orthogonal transform such as the quantized discrete cosine transform and the Karhunen-Loeve transform output from the lossless decoding unit 3 are inversely quantized by the inverse quantization unit 6 and then inversely orthogonal transformed. It is sent to the unit 7. In the inverse orthogonal transform unit 7, the given transform coefficient is subjected to a fourth-order inverse orthogonal transform based on a predetermined method, and then applied to one input terminal of the adder 8.
[0020]
If the lossless decoding unit 3 determines that the encoding is intra coding, the prediction image generated by the intra prediction unit 4 is input to the other input terminal of the adder 8. In the adder 8, after the image information subjected to the inverse orthogonal transform and the predicted image are combined, the result of the combination is given to the deblocking filter 9, and the block distortion is removed.
[0021]
The output of the adder 8 obtained through the deblocking filter 9 is temporarily stored in the screen rearrangement buffer 11 via the frame memory 10 and is temporarily stored in the screen rearrangement buffer 11 according to the GOP structure of the original image compression information. After the rearrangement, the analog image is converted by the D / A converter 12, while the analog image is temporarily stored in the frame memory 10, and then the above-described predicted image is generated by the intra prediction unit 4.
[0022]
On the other hand, when the lossless decoding unit 3 determines that the encoding is inter-coding, the reference image generated by the motion prediction / compensation unit 5 is input to the other input terminal of the adder 8. In the adder 8, after the image information subjected to the inverse orthogonal transformation and the reference image are combined, the result of the combination is given to the deblocking filter 9, and the block distortion is removed.
[0023]
The output of the adder 8 obtained through the deblocking filter 9 is temporarily stored in the screen rearrangement buffer 11 via the frame memory 10 and is temporarily stored in the screen rearrangement buffer 11 according to the GOP structure of the original image compression information. After the rearrangement, the analog-to-analog conversion is performed in the D / A conversion unit 12, while the analog data is temporarily stored in the frame memory 10, and then stored in the motion prediction / compensation unit 5 in the frame memory 10. The above-described reference image is generated based on the image information and the motion vector information subjected to the lossless decoding process.
[0024]
FIG. 3 shows a conventional image decoding apparatus conforming to the MPEG1 / 2 standard (hereinafter referred to as an MPEG1 / 2 decoding apparatus). In the MPEG1 / 2 decoding apparatus 20, image compression information composed of an externally input bit stream is restored to a high-definition image for display while sequentially decoding.
[0025]
First, the externally input image compression information S2 is stored in the accumulation buffer 21, read out at a predetermined timing, and sent to the lossless decoding unit 22. The lossless decoding unit 22 performs a variable-length decoding process based on a predetermined format of the image compression information S2 (hereinafter, referred to as an MPEG1 / 2 format). At this time, the lossless decoding unit 22 also decodes the motion vector information written in the header part of the image compression information S2 and sends it to the motion prediction / compensation unit 23.
[0026]
The transform coefficients subjected to the orthogonal transform such as the quantized discrete cosine transform and the Karhunen-Loeve transform output from the lossless decoding unit 22 are inversely quantized by the inverse quantization unit 24 and then inversely orthogonally transformed. It is sent to the unit 25. In the inverse orthogonal transform unit 25, the given transform coefficient is subjected to an eighth-order inverse orthogonal transform based on a predetermined method, and then applied to one input terminal of an adder 26.
[0027]
The reference image generated by the motion prediction / compensation unit 23 is input to the other input terminal of the adder 26. After the image information subjected to the inverse orthogonal transform and the reference image are combined in the adder 26, the result of the combination is temporarily stored in the screen rearrangement buffer 28 via the frame memory 27.
[0028]
After that, the frame image is rearranged from the screen rearrangement buffer 28 according to the GOP structure of the original image compression information, and the combined result of the adder 26 read out is analog-converted by the D / A converter 29. On the other hand, after being temporarily stored in the frame memory 27, the motion prediction / compensation unit 23 performs processing based on the image information stored in the frame memory 27 and the motion vector information subjected to the lossless decoding process. The above-described reference image is generated.
[0029]
[Problems to be solved by the invention]
Incidentally, in the above-described JVT decoding device 1 (FIG. 2) and the MPEG1 / 2 decoding device 20 (FIG. 3), although the processing in each functional block is different, since the basic circuit configuration is the same, both of them are identical. It is possible to construct an image decoding device having functions. That is, it is possible to construct an image decoding device having a function of decoding both the image compression information in the MPEG1 / 2 format and the image compression information in the JVT format.
[0030]
Specifically, the JVT decoding apparatus 1 (FIG. 2) and the MPEG1 / 2 decoding apparatus 20 (FIG. 3) have the following first to fifth differences.
[0031]
The first difference is that in the JVT decoding device 1, the lossless decoding unit 3 performs variable length decoding and arithmetic decoding based on a predetermined method, while the MPEG1 / 2 decoding device 20 does not. Is that the lossless decoding unit 22 performs a lossless decoding process based on a predetermined method.
[0032]
The second difference is that, in the JVT decoding device 1, the inverse orthogonal transform unit 7 performs a fourth-order inverse discrete cosine transform process, whereas in the MPEG1 / 2 decoding device 20, the inverse orthogonal transform unit 25 The point is that an eighth-order inverse discrete cosine transform process is performed.
[0033]
The third difference is that before the decoded image is stored in the frame memory 27, in the JVT decoding device 1, the deblocking filter 9 removes block distortion, whereas in the MPEG1 / 2 decoding device 20, And that block distortion is not removed.
[0034]
The fourth difference is that when the macroblock is an intra macroblock, in the JVT decoding device 1, the intra prediction unit 4 generates a predicted image by intra-frame coding, whereas the MPEG1 / 2 decoding device 20 is that a predicted image is not generated by intra-frame encoding.
[0035]
The fifth difference is that, in the JVT decoding device 1, the motion prediction / compensation unit 5 performs a motion compensation process of 1/4 pixel precision corresponding to a multiple reference frame and a variable block size motion compensation. On the other hand, in the MPEG1 / 2 decoding device 20, the motion prediction / compensation unit 23 performs a motion compensation process with 1/2 pixel precision based on linear interpolation.
[0036]
In fact, in the JVT encoding method, an interlaced format image having a large amount of motion may be encoded more efficiently with the field structure than with the frame structure. In consideration of this, when the image to be encoded is in the interlaced scanning format, it is recognized that the encoding of the frame structure and the encoding of the field structure can be adaptively switched on a picture basis.
[0037]
Further, in the JVT coding method, when a field structure is applied as a coding unit in a case where an image to be coded is an interlaced scan format, coding is performed so that the first field of an I-picture is completed within the field (hereinafter, referred to as the I-picture) , This is referred to as intra-field coding) (I field), and it is also recognized that the second field is coded (P field) with reference to a temporally forward field image.
[0038]
Therefore, when decoding an I picture in which the first and second fields are coded as an I field or a P field, respectively, the corresponding reference is used in advance for decoding the second field (P field). The image needs to be decoded.
[0039]
In this case, in the JVT encoding method, as shown in FIG. 4, two or more frame images before and after the target frame image can be used as reference images at the time of motion compensation processing at the time of encoding. Reference Frame) function is supported.
[0040]
Therefore, as shown in FIG. 5, when decoding an I picture whose second field is a P field, the P field uses a field image of a P picture or a B picture other than the I picture as a reference image. In such a case, decoding of the P picture or the B picture is also required.
[0041]
As described above, in the JVT encoding method, when an image to be encoded has an interlaced scanning format, not only the immediately preceding I picture but also a plurality of P pictures and B pictures can be referred to in the past. Therefore, the operation capacity of the frame memory in the above-described JVT decoding device 1 (FIG. 2) needs to be larger than before.
[0042]
In recent years, in order to efficiently use the limited bandwidth of the network or the capacity of the storage medium of the network, the above-described interlaced scanning format has been widely used. However, an image in the interlaced scanning format flickers on the screen. It is known to have For this reason, as shown in FIG. 6, a technique of converting an image in the interlaced scanning format into a progressive scanning (non-interlaced) format and outputting it as a high-quality image with reduced flicker is widely used.
[0043]
For example, a method of generating an interpolated pixel value X using peripheral pixel values A, B, C, and D in FIG. 6 will be described. First, assuming that the spatial direction correlation is CorrV and the time direction correlation is CorrT, the correlation with respect to the pixel value X is expressed by the following equation.
[0044]
(Equation 1)

[0045]
(Equation 2)

[0046]
It is calculated by: Then,
[0047]
[Equation 3]

[0048]
Is satisfied, it is determined that the correlation in the spatial direction is high around the pixel value X, and otherwise, it is determined that the correlation in the time direction is high. In the former case,
[0049]
(Equation 4)

[0050]
And in the latter case,
[0051]
(Equation 5)

[0052]
To generate an interpolation pixel value X.
[0053]
In FIG. 6, since the pixel value of the original pixel and the pixel value generated by the interpolation are stored, twice as much memory capacity as when only the original image is stored is required.
[0054]
In Europe, a PAL (Phase Alternation by Line) format (720 × 576 × 25 [Hz], interlaced scanning) is used for television signal processing. Since the image looks unnatural, a technique of performing a double speed conversion process as shown in FIG. 7 and expressing smooth motion in a moving image by setting the frequency to 50 [Hz] is used.
[0055]
Also in FIG. 7, since the pixel values of the original image and the pixel values generated by the interpolation are stored, twice as much memory capacity as when only the original image is stored is required.
[0056]
Therefore, in the case of performing the processing of the multiple reference frame function as described above in the JVT encoding system or performing the conversion processing from the interlaced scanning format to the sequential scanning format, the operation capacity of the frame memory inside the apparatus is further increased. Since a large amount of memory is required, it is desirable that the operation capacity can be used by a memory capacity that is not used in the decoding process in the MPEG1 / 2 decoding device.
[0057]
The present invention has been made in view of the above points, and it is an object of the present invention to propose an image decoding device and an image decoding method that can simplify the configuration of the entire device.
[0058]
[Means for Solving the Problems]
In order to solve this problem, the present invention provides an image decoding apparatus that performs decoding processing on first and second encoded image data, which are image data respectively encoded by the first and second encoding methods. A first decoding unit for performing a first decoding process on the first encoded image data, and a second decoding unit for performing a second decoding process on the second encoded image data Means and memory means used for a first decoding process by the first decoding means, wherein the memory means is used for a second decoding process by the second decoding means. .
[0059]
As a result, in this image decoding apparatus, the memory means can be shared by the first decoding means for performing the first decoding processing and the second decoding means for performing the second decoding processing. The configuration can be simplified as a whole.
[0060]
Further, in the present invention, a determination means for determining the type of the first or second encoded image data to be input, and a predetermined image corresponding to a result of the second decoding processing by the second decoding means. Image processing means for performing processing; and when the determination result of the determination means is the second encoded image data, the control means controls the second decoding by the second decoding means in the memory area of the memory means. An area not used for processing is used for image processing by the image processing means.
[0061]
As a result, in the image decoding apparatus, when performing the second decoding process by the second decoding unit, the second decoding process in the memory area of the memory unit used for the first decoding process is performed. Since the area not used for the image processing is used for the image processing, it is not necessary to provide a new memory means.
[0062]
Further, in the present invention, in the image decoding method for decoding the first and second encoded image data composed of the image data respectively encoded by the first and second encoding methods, A first step of determining the type of the first or second encoded image data, and a first step of performing the first or second decoding processing on the first or second encoded image data according to the determination result. Step 2 is provided so that the memory means used for the first decoding process is used for the second decoding process.
[0063]
As a result, in this image decoding method, the memory means can be shared between the first decoding processing and the second decoding processing, and the configuration of the entire apparatus can be simplified.
[0064]
Further, in the present invention, a third step of performing a predetermined image processing on a result of the second decoding processing is provided, and in the second step, a memory of a memory means used for the first decoding processing is provided. An area that is not used for the second decoding process among the areas is used for image processing.
[0065]
As a result, in this image decoding method, when performing the second decoding process, an area not used for the second decoding process in the memory area of the memory means used for the first decoding process is subjected to image processing. In this case, it is not necessary to newly provide a memory means.
[0066]
BEST MODE FOR CARRYING OUT THE INVENTION
An embodiment of the present invention will be described below with reference to the drawings.
[0067]
(1) Configuration of image decoding device according to the present embodiment
In FIG. 1 in which parts corresponding to those in FIGS. 2 and 3 are assigned the same reference numerals, reference numeral 30 denotes an image decoding apparatus conforming to both the JVT encoding method and MPEG1 / 2 in the present embodiment. The image compression information S10 (S1 or S2) composed of a bit stream to be decoded is restored to a high-definition image for display while sequentially decoding.
[0068]
The image decoding apparatus 30 includes an image decoding unit (hereinafter, referred to as a JVT decoding unit) 31 compliant with the JVT encoding system and an image decoding unit (hereinafter, referred to as MPEG1) compliant with the MPEG1 / 2 standard. 32), and a storage buffer 33 provided at the preceding stage of both, a frame memory 34, a screen rearrangement buffer 35, and a D / A converter 36 provided at the succeeding stage of both. It has been made to be shared.
[0069]
In the screen decoding device 30, it is determined whether the externally input image compression information S10 is based on the compression method of the JVT format or the MPEG1 / 2 format via the compression information determination unit 37. Thereafter, it is stored in the accumulation buffer 33. After reading the image compression information S10 from the subsequent storage buffer 33, the compression information determination unit 37 performs the above-described determination by extracting information about the image format from the image compression information S10.
[0070]
For example, when the image compression information S10 is multiplexed and transmitted by the image compression information based on the MPEG2 system, it is possible to determine by referring to the stream ID included in the system layer.
[0071]
When the image compression information S10 stored in the storage buffer 33 is determined to be based on the JVT format based on the determination result by the compression information determination unit 37, the image compression information S10 is read out at a predetermined timing and transmitted to the JVT decoding unit 31. On the other hand, when it is determined that the data is based on the MPEG1 / 2 format, the data is read out at a predetermined timing and transmitted to the MPEG1 / 2 decoding unit 32.
[0072]
First, in the JVT decoding unit 31, in the lossless decoding unit 3, processing such as variable length decoding and arithmetic decoding is performed based on the JVT format. At that time, the lossless decoding unit 3 determines whether the frame image based on the image compression information S10 has been performed by the intra-coding or the inter-coding.
[0073]
When the lossless decoding unit 3 determines that the encoding is the intra coding, the lossless decoding unit 3 also decodes the intra prediction mode information written in the header part of the image compression information S10 and sends it to the intra prediction unit 4, while If it is determined that the encoding is the encoding, the motion vector information written in the header portion of the image compression information S10 is also decoded and transmitted to the motion prediction / compensation unit 5.
[0074]
The transform coefficients subjected to the orthogonal transform such as the quantized discrete cosine transform and the Karhunen-Loeve transform output from the lossless decoding unit 3 are inversely quantized by the inverse quantization unit 6 and then inversely orthogonal transformed. It is sent to the unit 7. In the inverse orthogonal transform unit 7, the given transform coefficient is subjected to a fourth-order inverse orthogonal transform based on a predetermined method, and then applied to one input terminal of the adder 8.
[0075]
If the lossless decoding unit 3 determines that the encoding is intra coding, the prediction image generated by the intra prediction unit 4 is input to the other input terminal of the adder 8. In the adder 8, after the image information subjected to the inverse orthogonal transform and the predicted image are combined, the result of the combination is given to the deblocking filter 9, and the block distortion is removed.
[0076]
The output of the adder 8 obtained through the deblocking filter 9 is temporarily stored in the screen rearrangement buffer 35 via the frame memory 34, and is temporarily stored in the screen rearrangement buffer 35 according to the GOP structure of the original image compression information. After the rearrangement, the analog image is converted in the D / A converter 36, and the analog image is temporarily stored in the frame memory 34. Then, the above-described predicted image is generated in the intra prediction unit 4.
[0077]
On the other hand, when the lossless decoding unit 3 determines that the encoding is inter-coding, the reference image generated by the motion prediction / compensation unit 5 is input to the other input terminal of the adder 8. In the adder 8, after the image information subjected to the inverse orthogonal transformation and the reference image are combined, the result of the combination is given to the deblocking filter 9, and the block distortion is removed.
[0078]
The output of the adder 8 obtained through the deblocking filter 9 is temporarily stored in the screen rearrangement buffer 35 via the frame memory 34, and is temporarily stored in the screen rearrangement buffer 35 according to the GOP structure of the original image compression information. After the rearrangement, the analog-to-analog conversion is performed in the D / A conversion unit 36, while the analog data is temporarily stored in the frame memory 34, and then is stored in the frame memory 34 in the motion prediction / compensation unit 5. The above-described reference image is generated based on the image information and the motion vector information subjected to the lossless decoding process.
[0079]
On the other hand, in the MPEG1 / 2 decoding section 32, the lossless decoding section 22 performs variable length decoding processing based on the MPEG1 / 2 format. At this time, the lossless decoding unit 22 also decodes the motion vector information written in the header part of the image compression information S10, and sends it to the motion prediction / compensation unit 23.
[0080]
The transform coefficients subjected to the orthogonal transform such as the quantized discrete cosine transform and the Karhunen-Loeve transform output from the lossless decoding unit 22 are inversely quantized by the inverse quantization unit 24 and then inversely orthogonally transformed. It is sent to the unit 25. In the inverse orthogonal transform unit 25, the given transform coefficient is subjected to an eighth-order inverse orthogonal transform based on a predetermined method, and then applied to one input terminal of an adder 26.
[0081]
The reference image generated by the motion prediction / compensation unit 23 is input to the other input terminal of the adder 26. In the adder 26, after the image information subjected to the inverse orthogonal transform and the reference image are combined, the result of the combination is temporarily stored in the screen rearrangement buffer 35 via the frame memory 34.
[0082]
After that, the combined result of the adder 26 read out after the frame images are rearranged from the screen rearrangement buffer 35 in accordance with the GOP structure of the original image compression information is analog-converted by the D / A converter 36. On the other hand, after being temporarily stored in the frame memory 34, the motion prediction / compensation unit 23 performs processing based on the image information stored in the frame memory 34 and the motion vector information subjected to the lossless decoding process. The above-described reference image is generated.
[0083]
In addition to the above configuration, in the image decoding device 30, an image information conversion unit 38 is provided so as to be connected to the frame memory 34, and a control signal S11 based on a determination result of the compression information determination unit 37 is supplied. ing.
[0084]
In the case of the present embodiment, the frame memory 34 is shared by both the JVT decoding unit 31 and the MPEG1 / 2 decoding unit 32. However, since the JVT decoding unit 31 defines the multiple reference frame function, An area of the frame memory 34 that is used for motion compensation corresponding to the multiple reference frame function by JVT encoding and is not used by the MPEG1 / 2 decoding unit 32 (hereinafter, referred to as a JVT function area). Exists.
[0085]
For this reason, when decoding the image compression information based on the MPEG1 / 2 format, the JVT functional area in the frame memory 34 is effectively used to improve the quality of the output image as described below. .
[0086]
First, when it is determined that the input image compression information S10 is based on the MPEG1 / 2 format, the compression information determination unit 37 sends a control signal S11 to the image information conversion unit 38. After extracting image compression information based on the MPEG1 / 2 format from the frame memory 34, the image information conversion unit 38 executes a conversion from an interlaced scanning format to a sequential scanning format to perform a high-quality image process with reduced flicker. .
[0087]
As a result, the image information conversion unit 38 stores the image generated by the interpolation in the JVT function area in the frame memory 34. By using the JVT function area of the frame memory 34 for high image quality processing in this way, when decoding processing of image compression information based on both the MPEG1 / 2 format and the JVT format, the two are efficiently shared. Can be done.
[0088]
(2) Operation and effect according to the present embodiment
In the above configuration, in the image decoding device 30, a JVT decoding unit 31 that performs a decoding process based on the JVT encoding method, and an MPEG1 / 2 decoding unit that performs a decoding process based on the MPEG1 / 2 standard 32, and both decoding processes can be performed according to the type of the input image compression information S10.
[0089]
Further, in the image decoding device 30, the JVT decoding unit 31 and the MPEG1 / 2 decoding unit 32 share and use the accumulation buffer 33, the frame memory 34, the screen rearrangement buffer 35, and the D / A conversion unit 36. Thus, the configuration of the entire apparatus can be simplified.
[0090]
At this time, the frame memory 34 is set to a memory capacity that can be sufficiently used for the multiple reference frame function executed by the JVT decoding unit 31, so that the motion compensation corresponding to the multiple reference frame function by JVT encoding is performed. There is a JVT function area that is used and is not used by the MPEG1 / 2 decoding unit 32.
[0091]
Therefore, when the decoding process is performed in the MPEG1 / 2 decoding unit 32 and the conversion process from the interlaced scanning format to the progressive scanning format is performed by the image information conversion unit 38, the image information conversion By storing the image generated by the interpolation in the JVT function area in the frame memory 34, the frame memory 34 can be effectively used. As a result, a new memory such as a random access memory (RAM) is newly provided. Need not be provided.
[0092]
According to the above configuration, when the JVT decoding unit 31 and the MPEG1 / 2 decoding unit 32 are combined in the image decoding device 30, the storage buffer 33, the frame memory 34, and the screen required for both decoding processes are combined. By sharing the functional blocks such as the reordering buffer 35, the configuration of the entire apparatus can be simplified, and the frame memory 34 is used for motion compensation corresponding to the multiple reference frame function by JVT encoding. The JVT function area can be used for the conversion processing from the interlaced scanning format to the progressive scanning format at the time of the decoding processing in the MPEG1 / 2 decoding unit 32, and thus the image decoding apparatus 30 which can simplify the configuration. Can be realized.
[0093]
(3) Other embodiments
Note that, as described above, in the present embodiment, the first and second image data which are respectively encoded by the JVT encoding method (first encoding method) and the MPEG1 / 2 method (second encoding method). As an image decoding device for decoding the second encoded image data S10, a JVT decoding unit (first decoding unit) 31 and an MPEG1 / 2 decoding unit (second decoding unit) as shown in FIG. Although the description has been given of the case where the image decoding apparatus 30 having the configuration having the (encoding means) 32 is applied, the present invention is not limited to this, and various other configurations may be widely applied.
[0094]
In the present embodiment, the JVT decoding unit (first decoding unit) 31 and the MPEG1 / 2 decoding unit (second decoding unit) 32 share a frame memory (memory unit) 34. However, the present invention is not limited to this, and the memory means may include the accumulation buffer 33 and the screen rearrangement buffer 35 as in the present embodiment. Also, various functional blocks such as the D / A converter 36 connected to the subsequent stage of the memory means may be shared.
[0095]
Further, in the present embodiment, the compression information discriminating unit 37 in the image decoding device 30 of FIG. 1 serves as a discriminating unit for discriminating the type of the input first or second encoded image data S10 (S1 or S2). Has been described, but the present invention is not limited to this, and a discriminating unit having various other configurations may be widely applied.
[0096]
Further, in the present embodiment, an interlaced scan format is used as image processing means for performing predetermined image processing on the result of the second decoding processing by the MPEG1 / 2 decoding unit (second decoding means) 32. However, the present invention is not limited to this, and other image processing such as frame rate conversion is performed. The present invention can be widely applied to various other image processing such as image conversion, image feature extraction, and image recognition. Also in this case, if the JVT function area not used for the second decoding process by the MPEG1 / 2 decoding unit (second decoding means) 32 in the memory area of the frame memory (memory means) is used. good.
[0097]
【The invention's effect】
As described above, according to the present invention, in an image decoding device that performs decoding processing on first and second encoded image data that are image data respectively encoded by the first and second encoding methods, A first decoding unit that performs a first decoding process on the first encoded image data, and a second decoding unit that performs a second decoding process on the second encoded image data And a memory means used for a first decoding process by the first decoding means, wherein the memory means is used for a second decoding process by the second decoding means. Accordingly, the memory means can be shared by the first decoding means and the second decoding means, and thus an image decoding apparatus which can simplify the configuration as a whole apparatus can be realized.
[0098]
Further, according to the present invention, in an image decoding method for decoding first and second encoded image data composed of image data respectively encoded by the first and second encoding schemes, A first step of determining the type of the first or second encoded image data, and performing the first or second decoding processing on the first or second encoded image data according to the determination result A second step, wherein the memory means used for the first decoding process is used for the second decoding process, whereby the first decoding process and the second decoding process are performed. And the memory means can be shared, and thus the configuration of the entire apparatus can be simplified.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an image decoding device according to the present embodiment.
FIG. 2 is a block diagram illustrating a configuration of a conventional JVT decoding device.
FIG. 3 is a block diagram showing a configuration of a conventional MPEG1 / 2 decoding device.
FIG. 4 is a schematic diagram used to explain a multiple reference frame function.
FIG. 5 is a schematic plan view for describing a reference image in a multiple reference frame function.
FIG. 6 is a schematic plan view for explaining a conversion process from an interlaced scanning format to a progressive scanning format.
FIG. 7 is a schematic plan view for explaining a double speed conversion process.
[Explanation of symbols]
30 image decoding device, 31 JVT decoding unit, 32 MPEG1 / 2 decoding unit, 33 storage buffer, 34 frame memory, 35 screen reordering buffer, 36 D / A conversion unit, 37 ... compression information determination unit, 38 ... image information conversion unit.

Claims

An image decoding apparatus that performs decoding processing on first and second encoded image data including image data encoded by the first and second encoding systems, respectively.
First decoding means for performing a first decoding process on the first encoded image data;
Second decoding means for performing a second decoding process on the second encoded image data,
Memory means used for the first decoding processing by the first decoding means, wherein the memory means is used for the second decoding processing by the second decoding means. An image decoding device characterized by the above-mentioned.

Determining means for determining the type of the input first or second encoded image data;
Image processing means for performing predetermined image processing on the result of the second decoding processing by the second decoding means, wherein the determination result of the determination means is the second encoded image data. In some cases, the image processing means uses an area of the memory area of the memory means that is not used for the second decoding processing by the second decoding means for the image processing. Item 2. The image decoding device according to Item 1.

In an image decoding method for decoding first and second encoded image data composed of image data respectively encoded by the first and second encoding methods,
A first step of determining the type of the input first or second encoded image data;
A second step of performing a first or second decoding process on the first or second encoded image data in accordance with the determination result, and is used for the first decoding process. An image decoding method, wherein the memory means is used for the second decoding process.

A third step of performing predetermined image processing on a result of the second decoding process; and in the second step, a memory area of a memory unit used in the first decoding process is used. The image decoding method according to claim 3, wherein an area not used for the second decoding processing is used for the image processing.