JP4505992B2

JP4505992B2 - Image information conversion apparatus and method

Info

Publication number: JP4505992B2
Application number: JP2001001805A
Authority: JP
Inventors: 数史佐藤; 邦明高橋; 輝彦鈴木; 陽一矢ケ崎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-01-09
Filing date: 2001-01-09
Publication date: 2010-07-21
Anticipated expiration: 2021-01-09
Also published as: JP2002209217A

Description

【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ（Moving Picture image coding Experts Group）などのように、離散コサイン変換等の直交変換と動き補償によって圧縮された画像情報（ビットストリーム）を、例えば衛星放送、ケーブルテレビジョン、インターネットなどのネットワークを介して受信する際、若しくは光、磁気ディスクのような記憶メディア上で処理する際に好適な画像情報変換装置及び方法に関する。
【０００２】
【従来の技術】
近年、画像情報をディジタル情報として取り扱い、その際に、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により当該画像情報を圧縮するＭＰＥＧ方式に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ＩＳＯ／ＩＥＣ１３８１８−２）は、汎用画像符号化方式として定義されており、飛び越し走査画像及び順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準として、プロフェッショナル用途及びコンシューマー用途の広範なアプリケーションに今後とも用いられるものと予想される。このＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４Ｍ〜８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８〜２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ここで、上述のＭＰＥＧ２は、主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量、つまりより高い圧縮率の符号化方式には対応していなかった。一方、近年の携帯端末の普及により、今後そのような高い圧縮率の符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。ＭＰＥＧ４の画像符号化方式に関しては、１９９８年１２月にＩＳＯ／ＩＥＣ１４４９６−２としてその規格が国際標準に承認されている。
【０００５】
ところで、ディジタル放送用に一度符号化されたＭＰＥＧ２画像圧縮情報を、携帯端末上などで処理するのにより適した、より低い符号量のＭＰＥＧ４画像圧縮情報（ビットストリーム）に変換したいというニーズがある。
【０００６】
かかる目的を達成する画像情報変換装置（トランスコーダ）として、「“Field-to-Frame Transcoding with Spatial and Temporal Downsampling”,Susie J. Wee, John G. Apostolopoulos, and Nick Feamster, ICIP '99」（以下、文献１という。）では、図５に示すような装置が提案されている。
【０００７】
この図５において、入力端子１１０に供給された飛び越し走査のＭＰＥＧ２画像圧縮情報における各フレームのデータは、先ず、ピクチャタイプ判別部１１１に入力される。
【０００８】
当該ピクチャタイプ判別部１１１は、各フレームの入力データが画像内符号化画像（以下、Ｉピクチャという。）及び画像間順方向予測符号化画像（以下、Ｐピクチャという。）に関するものか、両方向予測符号化画像（以下、Ｂピクチャという。）に関するものであるかを判別し、前者のときのみ、そのＩピクチャ及びＰピクチャに関する情報を後続のＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１１２に出力する。
【０００９】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１１２における処理は、通常のＭＰＥＧ２画像情報復号化装置と同様である。但し、Ｂピクチャに関するデータは、ピクチャタイプ判別部１１１において廃棄されるため、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１１２における機能としてはＩ／Ｐピクチャのみを復号化できればよい。ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１１２の出力となる画素値は、間引き部１１３に入力される。
【００１０】
当該間引き部１１３は、水平方向については１／２の間引き処理を施し、垂直方向については第一フィールド若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄することにより、入力となる画像情報の１／４の大きさを持つ順次走査画像を生成する。間引き部１１３によって生成された順次走査画像は、一旦、ビデオメモリ１１４に蓄積される。ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５は、蓄積された上記順次走査画像をビデオメモリ１１４から読み出す。
【００１１】
ここで、例えば、入力となるＭＰＥＧ２画圧縮情報（ビットストリーム）がＮＴＳＣ（National Television System Committee）の規格に準拠したもの、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、上記間引き後の画枠は３６０×２４０画素ということになるが、後続のＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５において符号化を行う際、マクロブロック単位の処理を行うには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要がある。したがって、このための画素の補填と廃棄とを上記間引き部１１３において同時に行う。すなわちこのときの間引き部１１３は、上記画素の補填若しくは廃棄として、例えば水平方向の右端若しくは左端の８画素分を廃棄して３５２×２４０画素とする。
【００１２】
上記ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５は、読み出した上記順次走査画像の信号を符号化してＭＰＥＧ４画像圧縮情報（ビットストリーム）を生成する。上記ＭＰＥＧ４画像圧縮情報は、出力端子１１８から後段へ出力される。その際、動きベクトル合成部１１６は、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）中の動きベクトル情報を間引き後の画像情報に対する動きベクトルにマッピングする。また、動きベクトル検出部１１７は、動きベクトル合成部１１６において合成された動きベクトル値を基に高精度の動きベクトルを検出する。なお、ＭＰＥＧ４において、ＶＯＰ（Video Object Plane）とは、ＭＰＥＧ２におけるフレームに相当するものである。このＶＯＰの領域は、符号化される方式にしたがって、Ｉピクチャ、Ｐピクチャ、およびＢピクチャのうちのいずれかに分類される。Ｉ−ＶＯＰ（ＩピクチャのＶＯＰ）は、動き補償を行うことなく、画像（領域）そのものが符号化（イントラ符号化）されるものである。Ｐ−ＶＯＰ（ＰピクチャのＶＯＰ）は、基本的には、自身より時間的に前に位置する画像（ＩまたはＰ−ＶＯＰ）に基づいて、順方向予測符号化される。Ｂ−ＶＯＰ（ＢピクチャのＶＯＰ）は、基本的には、自身より時間的に前と後ろに位置する２つの画像（ＩまたはＰ−ＶＯＰ）に基づいて双方向予測符号化される。
【００１３】
上述のように、文献１には、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）の１／２×１／２の大きさを持つ順次走査画像のＭＰＥＧ４画像圧縮情報（ビットストリーム）を生成する装置に関する技術が述べられている。
【００１４】
すなわち、入力となるＭＰＥＧ２画圧縮情報（ビットストリーム）が例えばＮＴＳＣの規格に準拠したものであった場合、出力となるＭＰＥＧ４画像圧縮情報はＳＩＦ（Source Input Format）サイズ（３５２×２４０画素）ということになるが、上記図５の構成によれば、上記間引き部１１３における動作の変更を行うことにより、それ以外の画枠、例えば上記の例では約１／４×１／４の画枠であるＱＳＩＦ（Quarter Source Input Format）サイズ（１７６×１１２画素）の画像に変換することも可能となっている。
【００１５】
また、文献１には、ＭＰＥＧ２画像情報復号化（Ｉ／Ｐピクチャ）１１２における処理として、水平方向、垂直方向それぞれについて、入力となるＭＰＥＧ２画像圧縮情報（ビットストリーム）内の、８次の離散コサイン変換係数すべてを用いた復号処理を行う装置について述べられているが、図５に示した装置に関してはその限りではなく、水平方向のみ、或いは水平方向、垂直方向ともに、８次の離散コサイン変換係数のうちの低域成分のみを用いた復号処理を行い、画質劣化を最小限に抑えながら、復号処理に伴う演算量とビデオメモリ容量を削減することが可能である。
【００１６】
ところで、図５に示した画像情報変換装置では、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５においてＰ−ＶＯＰの符号化を行う際に、各マクロブロックを、ＭＰＥＧ４に規定されるイントラ（INTRA）マクロブロックとして符号化するか、１６×１６画素のインター（INTER）マクロブロックとして符号化するか、或いは、８×８画素のインター４Ｖ（INTER4V）マクロブロックとして符号化するかの符号化モードのタイプ判定を行う必要がある。
【００１７】
ここで、モード判定の一般的な手法としては、ＭＰＥＧ−４ＶｉｄｅｏＶｅｒｉｆｉｃａｔｉｏｎＭｏｄｅｌ（ISO/IEC JTC1/SC29/WG11 N2932、以下これを文献２とする）において定められた手法を用いることが考えられる。
【００１８】
以下、図６を参照しながら、文献２において述べられているモード判定（図５のＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５で行われるモード判定）の手法について述べる。
【００１９】
先ず、ステップＳ１０１では、動きベクトル検出により、インター動きベクトル及びインター４Ｖ動きベクトルを求める。
【００２０】
次に、ステップＳ１０２において、インター動きベクトル及びインター４Ｖ動きベクトルにより生成される予測画をそれぞれＲｅｆ_{ＩＮＴＥＲ}，Ｒｅｆ_ＩＮ _{ＴＥＲ４Ｖ}で表し、原画をＯｒｇで表すとし、さらに、ステップＳ１０３において、当該マクロブロックをインターマクロブロック、及びインター４Ｖマクロブロックとして符号化した場合の予測誤差ＥＲＲ_{ＩＮＴＥＲ}，ＥＲＲ_{ＩＮＴＥＲ４Ｖ}をそれぞれ式（１）及び式（２）によって算出し、また、当該マクロブロックに含まれる画素の平均値をＭｅａｎ＿ＭＢとして、当該マクロブロックをイントラマクロブロックとして符号化した場合の予測誤差ＥＲＲ_{ＩＮＴＲＡ}を、式（3）のように定義する。なお、式中のＳＡＤは絶対値誤差和（Sum of Absolute Difference）を表す。
【００２１】
【数１】

【００２２】
次に、ステップＳ１０４では、上記式（１）及び式（２）で求められた予測誤差ＥＲＲ_{ＩＮＴＥＲ}，ＥＲＲ_{ＩＮＴＥＲ４Ｖ}から、インターマクロブロックとして符号化するのと、インター４Ｖマクロブロックとして符号化するのと、どちらの符号化効率がよいかの判定を行う。すなわち、式（４）が成立すれば、インターマクロブロックとして符号化した方が符号化効率がよいとし、成立しなければインター４Ｖマクロブロックとして符号化した方が符号化効率がよいと判定する。
【００２３】
【数２】

【００２４】
なお、この式（４）において、Ｏｆｆｓｅｔはインターマクロブロックを選ばれ易くするためのパラメータで、文献２においては１２９と定められている。
【００２５】
次に、式（４）によってインターマクロブロックが選ばれた場合、パラメータＥＲＲを式（５）のように定義し、一方、インター４Ｖマクロブロックが選ばれた場合、パラメータＥＲＲを式（６）のように定義する。
【００２６】
【数３】

【００２７】
次に、上記パラメータＥＲＲ及び前記式（３）により定義される予測誤差ＥＲＲ_{ＩＮＴＲＡ}から、当該マクロブロックをイントラマクロブロックとして符号化するのと、式（４）によって選択されたマクロブロックモードで符号化するのとではどちらが符号化効率が高いかの判定を行う。すなわち、式（７）が成立すれば、イントラマクロブロックとして符号化する方が効率が良いとし、成立しなければ式（３）によって選択されたマクロブロックモードで符号化する方が効率が良いとする。
【００２８】
【数４】

【００２９】
つまり、図６のステップＳ１０５において、ＥＲＲ_{ＩＮＴＥＲ}＜ＥＲＲ_{ＩＮＴＲＡ}が成立しないときには、ステップＳ１０８においてイントラマクロブロックモードで符号化する方が効率がよいとし、ＥＲＲ_{ＩＮＴＥＲ}＜ＥＲＲ_{ＩＮＴＲＡ}が成立したときには、ステップＳ１０７においてインターマクロブロックモードで符号化する方が効率がよいとする。また、ステップＳ１０６において、ＥＲＲ_{ＩＮＴＥＲ４Ｖ}＜ＥＲＲ_{ＩＮＴＲＡ}が成立しないときには、ステップＳ１０８においてイントラマクロブロックモードで符号化する方が効率がよいとし、成立したときには、ステップＳ１０９においてインター４Ｖマクロブロックモードで符号化する方が効率がよいとする。
【００３０】
上述のように、図５のＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５では、図６に示したようなモード判定手法を用いて、最も符号化効率が高いマクロブロックモードのタイプを選択し、その選択したタイプのマクロブロックモードを使用して画像情報の符号化処理を行うようになされている。
【００３１】
【発明が解決しようとする課題】
しかしながら、図６に示したマクロブロックモードの判定手法では、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１１５において動き補償及び絶対値誤差和（ＳＡＤ）の算出を行うため、多くの演算量を必要とする。
【００３２】
そこで、本発明は、このような従来の実情に鑑みて提案されたものであり、マクロブロックモード判別を少ない演算量で実現可能とする画像情報変換装置及び方法を提供することを目的とする。
【００３３】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像情報変換装置は、画像内符号化画像と画像間予測符号化画像とを含む第１の画像圧縮情報を、直交変換と動き補償とを用いて第２の画像圧縮情報へ変換する画像情報変換装置において、符号化時に第１の画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表される変数を用いて、第２の画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内／画像間符号化モード判定手段を備える。
【００３４】
ここで、画像内／画像間符号化モード判定手段は、第２の画像圧縮情報を構成するマクロブロックに対する第１の画像圧縮情報を構成する各マクロブロックのそれぞれに対する変数のうち最小の変数を与えるマクロブロックを選択する。
【００３５】
このような画像情報変換装置は、第２の画像圧縮情報の符号化モードが画像内符号化モードと画像間符号化モードとの何れであるかを判定する。
【００３６】
また、上述した課題を解決するために、本発明に係る画像情報変換方法は、画像内符号化画像と画像間予測符号化画像とを含む第１の画像圧縮情報を、直交変換と動き補償とを用いて第２の画像圧縮情報へ変換する画像情報変換方法において、符号化時に第１の画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表される変数を用いて、第２の画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内／画像間符号化モード判定工程を備える。
【００３７】
ここで、画像内／画像間符号化モード判定工程では、第２の画像圧縮情報を構成するマクロブロックに対する第１の画像圧縮情報を構成する各マクロブロックのそれぞれに対する変数のうち最小の変数を与えるマクロブロックを選択する。
【００３８】
このような画像情報変換方法により、第２の画像圧縮情報の符号化モードが画像内符号化モードと画像間符号化モードとの何れであるかが判定される。
【００３９】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００４０】
本発明の実施の携帯に係る画像情報変換装置は、画像内符号化画像と画像間予測符号化画像とを含むＭＰＥＧ２画像圧縮情報を、離散コサイン変換と動き補償とを用いてＭＰＥＧ４画像圧縮情報へ変換する画像情報変換装置において、符号化時に上記ＭＰＥＧ２画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表されるアクティビティと呼ばれる変数を用いて、上記ＭＰＥＧ４画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内／画像間符号化モード判定手段を備えるものである。
【００４１】
本発明の実施の形態の画像情報変換装置の概略構成を図１に示す。画像情報変換装置は、ピクチャタイプ判別部８と、圧縮情報解析部９と、ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１０と、間引き部１１と、ビデオメモリ１２と、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３と、情報バッファ１４と、動きベクトル合成部１５と、動きベクトル検出部１６とを備える。
【００４２】
この図１において、入力端子１に供給された飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）は、先ずピクチャタイプ判別部８に入力される。
【００４３】
当該ピクチャタイプ判別部８は、画像内符号化画像（以下、Ｉピクチャという。）及び画像間順方向予測符号化画像（以下、Ｐピクチャという。）に関する情報については出力して圧縮情報解析部９へ送るが、双方向予測符号化画像（以下、Ｂピクチャという。）に関する情報については破棄する。これによりフレームレートの変換が行われる。
【００４４】
圧縮情報解析部９は、ピクチャタイプ判別部８から送られてきた画像圧縮情報の構文解析を行うことにより、当該ＭＰＥＧ２画像圧縮情報の符号化に関連する情報の解析として、ＭＰＥＧ２マクロブロックモード情報とＭＰＥＧ２マクロブロックアクティビティ情報を求めて情報バッファ１４へ送る。また、圧縮情報解析部９は、当該ＭＰＥＧ２動きベクトル情報を動きベクトル合成部１５へ送る。さらに、圧縮情報解析部９は、画像圧縮情報をＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１０へ送る。ここで、上記ＭＰＥＧ２マクロブロックモード情報とは、入力ＭＰＥＧ２画像圧縮情報のＰピクチャに含まれる個々のマクロブロックの符号化モードが画像内符号化モード、すなわちイントラマクロブロックであるか、画像間符号化モード、すなわちインターマクロブロックであるかを表す情報である。
【００４５】
ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１０は、入力された画像圧縮情報を復号化する。但し、Ｂピクチャに関する情報は、前段のピクチャタイプ判別部８において既に破棄されているため、当該ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１０の機能としては、Ｉ／Ｐピクチャに関する情報のみの復号化処理を行えるものであればよい。ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）１０の出力となる画素値は、間引き部１１に入力される。
【００４６】
間引き部１１は、水平方向については１／２の間引き処理を施す。垂直方向については第一フィールド若しくは第二フィールドのどちらか一方のデータのみを残し、もう一方を廃棄することにより、入力される画像圧縮情報の１／４の大きさを持つ順次走査画像を生成する。ここで例えば、入力端子１へ供給されたＭＰＥＧ２画像圧縮情報（ビットストリーム）がＮＴＳＣ（National Television System Committee）の規格に準拠したもの、つまり７２０×４８０画素、３０Ｈｚの飛び越し走査画像であった場合、上記間引き後の画枠は３６０×２４０画素ということになる。但し、後続のＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３において符号化を行う際、マクロブロック単位の処理を行うには、水平方向、垂直方向ともに、その画素数が１６の倍数である必要がある。したがって、当該間引き部１１は、上記間引きと同時に、上記画素数を１６の倍数にするための画素の補填若しくは廃棄を同時に行う。すなわち、この例の場合の間引き部１１は、例えば上記３６０×２４０画素に対して、例えば水平方向の右端若しくは左端の８画素分を廃棄することで、上記１６の倍数である３５２×２４０画素の画枠を構成する。
【００４７】
ビデオメモリ１２は、当該間引き部１１によって生成された順次走査画像を一旦蓄積する。ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３は、上記順次走査画像を読み出す。
【００４８】
動きベクトル合成部１５は、ＭＰＥＧ２画像圧縮情報（ビットストリーム）から取り出されたＭＰＥＧ２動きベクトル情報を、上記間引き後の画像情報に対する動きベクトルにマッピングする。動きベクトル検出部１６は、動きベクトル合成部１５において合成された動きベクトル値と、ビデオメモリ１２に記憶された画像情報とを基に、高精度の動きベクトルを検出する。
【００４９】
なお、ＭＰＥＧ４において、ＶＯＰ（Video Object Plane）とは、ＭＰＥＧ２におけるフレームに相当するものである。このＶＯＰの領域は、符号化される方式にしたがって、Ｉピクチャ、Ｐピクチャ、及びＢピクチャのうちのいずれかに分類される。Ｉ−ＶＯＰ（ＩピクチャのＶＯＰ）は、動き補償を行うことなく、画像（領域）そのものが符号化（画像内符号化）されるものである。Ｐ−ＶＯＰ（ＰピクチャのＶＯＰ）は、基本的には、自身より時間的に前に位置する画像（ＩまたはＰ−ＶＯＰ）に基づいて、順方向予測符号化される。Ｂ−ＶＯＰ（ＢピクチャのＶＯＰ）は、基本的には、自身より時間的に前と後ろに位置する２つの画像（ＩまたはＰ−ＶＯＰ）に基づいて双方向予測符号化される。この検出された動きベクトルは、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３に送られる。
【００５０】
上記ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３は、情報バッファ１４に保持された前記ＭＰＥＧ２マクロブロックモード情報及びＭＰＥＧ２マクロブロックアクティビティ情報と、上記動きベクトル検出部１６からの動きベクトル情報とを用い、上記ビデオメモリ１２から供給された順次走査画像の信号を符号化してＭＰＥＧ４画像圧縮情報を生成する。当該ＭＰＥＧ４画像圧縮情報は、出力端子２から後段へ出力される。
【００５１】
続いて、本実施の形態の画像情報変換装置における情報バッファ１４及びＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３の構成を説明する。
【００５２】
図２には、図１に示した本実施の形態の画像情報変換装置の情報バッファ１４とＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３の符号化モード判定に関わる部分との詳細な内部構成要素を示す。なお、図２には、図１の動きベクトル合成部１５、動きベクトル検出部１６、ビデオメモリ１２も同時に示している。
【００５３】
情報バッファ１４は、その構成要素として、量子化スケールバッファ２２と、符号量バッファ２３と、ＭＰＥＧ２マクロブロックモード情報バッファ２４と、ＭＰＥＧ２マクロブロックアクティビティ情報バッファ２５とを備えている。量子化スケールバッファ２２は、端子３２を介して圧縮情報解析部９から供給されたＭＰＥＧ２マクロブロックの量子化スケール情報を格納している。符号量バッファ２３は、端子３１を介して圧縮情報解析部９から供給されたＭＰＥＧ２マクロブロックに割り当てられた符号量情報を格納している。
【００５４】
また、ＭＰＥＧ２マクロブロックモード情報バッファ２４は、端子３３を介して圧縮情報解析部９から供給されたＭＰＥＧ２マクロブロックモード情報を保持している。ＭＰＥＧ２マクロブロックアクティビティ情報バッファ２５は、量子化スケールバッファ及び符号量バッファからそれぞれ供給された量子化スケール情報及び符号量情報を基にＭＰＥＧ２マクロブロックに対するアクティビティと呼ばれる変数を算出し、保持する。
【００５５】
ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３は、モード判定を行うための構成要素として、画像内／画像間符化モード判定手段であるＭＰＥＧ４イントラ／インター判定部２６と、動き補償予測部２７と、画像間符号化モード判定手段であるＭＰＥＧ４インター／インター４Ｖ判定部２８とを有する。ＭＰＥＧ４イントラ／インター判定部２６は、情報バッファ１４から読み出されたＭＰＥＧ２マクロブロックモード情報とＭＰＥＧ２マクロブロックアクティビティ情報とを入力する。動き補償予測部２７は、動きベクトル検出部１６が検出した動きベクトル情報を入力し、さらにビデオメモリ１２から順次走査画像情報を読み出す。ＭＰＥＧ４インター／インター４Ｖ判定部２８は、ＭＰＥＧ４イントラ／インター判定部２６の出力情報と上記動き補償予測部２７の動き補償情報とビデオメモリ１２からの順次走査画像情報とを入力する。
【００５６】
本発明の実施の形態に係る画像情報変換装置は、上述したような構成によりＩピクチャ、Ｐピクチャ、及びＢピクチャからなるＭＰＥＧ２画像圧縮情報を離散コサイン変換と動き補償とを用いてＭＰＥＧ４画像圧縮情報へ変換する。
【００５７】
次に、図１に示す画像情報変換装置を用いて、入力される飛び越し走査のＭＰＥＧ２画像圧縮情報の約１／２×１／２の画枠を持つ順次走査のＭＰＥＧ４画像圧縮情報を出力する場合を考える。このとき、例えば図３に示すように、入力端子１に供給されたＭＰＥＧ２画像圧縮情報を構成する画像ＳＴＲ２に含まれる４つのマクロブロックＭＢ_{ＭＰＥＧ２，ｉ}（ｉ＝１，２，３，４）が、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３から出力されるＭＰＥＧ４画像圧縮情報を構成する画像ＳＴＲ４におけるマクロブロックＭＢ_{ＭＰＥＧ４，１}に対応するとする。
【００５８】
図１に示した画像情報変換装置において、ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）１３は、Ｐ−ＶＯＰの符号化を行う際に、各マクロブロックをＭＰＥＧ４に規定されるイントラ（INTRA）マクロブロックとして符号化するか、１６×１６画素のインター（INTER）マクロブロックとして符号化するか、或いは８×８画素のインター４Ｖ（INTER4V）マクロブロックとして符号化するかの符号化モードのタイプ判定を行っている。
【００５９】
本発明に係る画像情報変換装置において符号化モードのタイプ判定を行う処理のフローチャートは、図４に示すようになる。先ず、ステップＳ１において、ＭＰＥＧ２マクロブロックアクティビティ情報バッファ２５は、入力されるＭＰＥＧ２画像圧縮情報の各マクロブロックに対するアクティビティを算出する。ここで、マクロブロックＭＢ_{ＭＰＥＧ２，ｉ}（ｉ＝１，２，３，４）に対する量子化スケールをＱ_{ＭＰＥＧ２，ｉ}（ｉ＝１，２，３，４）と表し、マクロブロックＭＢ_{ＭＰＥＧ２，ｉ}（ｉ＝１，２，３，４）に割り当てられた符号量をＢ_{ＭＰＥＧ２，ｉ}（ｉ＝１，２，３，４）と表すと、上記アクティビティＸ_{ＭＰＥＧ２，ｉ}（ｉ＝１，２，３，４）は、式（８）のように算出される。
【００６０】
【数５】

【００６１】
なお、上式のＢ_{ＭＰＥＧ２，ｉ}（ｉ＝１，２，３，４）は、当該マクロブロックの輝度成分に関する情報に割り当てられた符号量であっても、当該マクロブロックの輝度成分及び色差成分に関する情報に割り当てられた符号量であっても、当該マクロブロックの離散コサイン係数及びヘッダに関する情報に割り当てられた符号量であってもよい。
【００６２】
続いてステップＳ２において、式（９）を満たすＸ_{ＭＰＥＧ２，Ｉ}、すなわちアクティビティＸ_{ＭＰＥＧ２，ｉ}（ｉ＝１，２，３，４）中で最小のものを与えるマクロブロックＭＢ_{ＭＰＥＧ２，Ｉ}に対するマクロブロックモードをＭＰＥＧ２マクロブロックモード情報バッファ２４より抽出する。
【００６３】
【数６】

【００６４】
ステップＳ３でＭＢ_{ＭＰＥＧ２，Ｉ}がイントラマクロブロックである場合は、ＭＰＥＧ４イントラ／インター判定部２６は、ステップＳ８でＭＢ_{ＭＰＥＧ４，Ｉ}のマクロブロックをイントラマクロブロックであると判定し、モード判定を終了する。ステップＳ３でＭＢ_{ＭＰＥＧ２，Ｉ}がイントラマクロブロックでない場合は、ＭＰＥＧ４イントラ／インター判定部２６は、ＭＢ_{ＭＰＥＧ４，Ｉ}のマクロブロックをインターマクロブロック若しくはインター４Ｖマクロブロックであると判定し、ステップＳ４に進む。
【００６５】
ステップＳ４において、動きベクトル検出部１６は、インター動きベクトル及びインター４Ｖ動きベクトルを求める。
【００６６】
次に、ステップＳ５において、ＭＰＥＧ４インター／インター４Ｖ判定部２８は、インター動きベクトル及びインター４Ｖ動きベクトルにより生成される予測画をそれぞれＲｅｆ_{ＩＮＴＥＲ}，Ｒｅｆ_{ＩＮＴＥＲ４Ｖ}で表し、原画をＯｒｇで表し、さらに、ステップＳ６において、当該マクロブロックをインターマクロブロック、及びインター４Ｖマクロブロックとして符号化した場合の予測誤差ＥＲＲ_{ＩＮＴＥＲ}，ＥＲＲ_{ＩＮＴＥＲ４Ｖ}をそれぞれ式（１０）及び式（１１）によって算出する。なお上式中のＳＡＤは絶対値誤差和（Sum of Absolute Difference）を表す。
【００６７】
【数７】

【００６８】
次に、ステップＳ７において、ＭＰＥＧ４インター／インター４Ｖ判定部２８は、上記式（１０）及び式（１１）で求められた予測誤差ＥＲＲ_{ＩＮＴＥＲ}，ＥＲＲ_{ＩＮＴＥＲ４Ｖ}から、インターマクロブロックとして符号化するのと、インター４Ｖマクロブロックとして符号化するのと、どちらの符号化効率がよいかの判定を行う。すなわち、ＭＰＥＧ４インター／インター４Ｖ判定部２８は、式（１２）が成立すれば、ステップＳ９でインターマクロブロックとして符号化した方が符号化効率がよいとし、成立しなければステップＳ１０でインター４Ｖマクロブロックとして符号化した方が符号化効率がよいと判定し、モード判定を終了する。
【００６９】
【数８】

【００７０】
以上の一連のモード判定処理により求められたマクロブロックのモード判定結果は、図２の端子３７から、また、ビデオメモリ１２から供給された画像情報は、端子３６から、それぞれ図示しない後段のＭＰＥＧ４画像圧縮処理のための構成に送られる。
【００７１】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００７２】
例えば、図３では、入力される飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）の約１／２×１／２の画枠を持つ順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）を出力する場合の例を示したが、本発明はこれに限らず、例えば入力される飛び越し走査のＭＰＥＧ２画像圧縮情報（ビットストリーム）の約１／４×１／４の画枠を持つ順次走査のＭＰＥＧ４画像圧縮情報（ビットストリーム）を出力してもよい。
【００７３】
また、本発明の実施の形態では、入力としてＭＰＥＧ２画像圧縮情報（ビットストリーム）を、出力としてＭＰＥＧ４画像圧縮情報（ビットストリーム）を対象としてきたが、入力出力ともこれに限らず、例えばＭＰＥＧ−１やＨ．２６３などのように、直交変換と動き補償によって符号化された画像圧縮情報であればよい。
【００７４】
【発明の効果】
以上詳細に説明したように本発明に係る画像情報変換装置は、画像内符号化画像と画像間予測符号化画像とを含む第１の画像圧縮情報を、直交変換と動き補償とを用いて第２の画像圧縮情報へ変換する画像情報変換装置において、符号化時に第１の画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表される変数を用いて、第２の画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内／画像間符号化モード判定手段を備えるものである。
【００７５】
ここで、画像内／画像間符号化モード判定手段は、第２の画像圧縮情報を構成するマクロブロックに対する第１の画像圧縮情報を構成する各マクロブロックのそれぞれに対する変数のうち最小の変数を与えるマクロブロックを選択する。
【００７６】
これにより、符号化モード判定に伴う演算量を削減しながら、第２の画像符号化情報を出力することが可能となる。
【００７７】
また、本発明に係る画像情報変換方法は、画像内符号化画像と画像間予測符号化画像とを含む第１の画像圧縮情報を、直交変換と動き補償とを用いて第２の画像圧縮情報へ変換する画像情報変換方法において、符号化時に第１の画像符号化情報を構成する各マクロブロックに対する量子化スケールと割当符号量との積で表される変数を用いて、第２の画像圧縮情報の符号化モードが画像内相関によって符号化する画像内符号化モードと画像間相関によって符号化する画像間符号化モードとの何れであるかを判定する画像内／画像間符号化モード判定工程を備えるものである。
【００７８】
ここで、画像内／画像間符号化モード判定工程では、第２の画像圧縮情報を構成するマクロブロックに対する第１の画像圧縮情報を構成する各マクロブロックのそれぞれに対する変数のうち最小の変数を与えるマクロブロックを選択する。
【００７９】
これにより、符号化モード判定に伴う演算量を削減しながら、第２の画像符号化情報を出力することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像情報変換装置の概略構成を説明するブロック図である。
【図２】同画像情報変換装置のＭＰＥＧ４画像情報符号化部の詳細な構成とその周辺の構成を説明するブロック図である。
【図３】同画像情報変換装置のＭＰＥＧ４画像情報符号化部でのモード判定処理の説明に用いる図である。
【図４】同画像情報変換装置のＭＰＥＧ４画像情報符号化部におけるモード判定処理を説明するフローチャートである。
【図５】従来の画像情報変換装置の概略構成を説明するブロック図である。
【図６】従来の画像情報変換装置におけるモード判定処理を説明するフローチャートである。
【符号の説明】
８ピクチャタイプ判別部、９圧縮情報解析部、１０ＭＰＥＧ２画像情報復号化部（Ｉ／Ｐピクチャ）、１１間引き部、１２ビデオメモリ、１３ＭＰＥＧ４画像情報符号化部（Ｉ／Ｐ−ＶＯＰ）、１４情報バッファ、１５動きベクトル合成部、１６動きベクトル検出部、２２量子化スケールバッファ、２３符号量バッファ、２４ＭＰＥＧ２マクロブロックモード情報バッファ、２５ＭＰＥＧ２マクロブロックアクティビティ情報バッファ、２６ＭＰＥＧ４イントラ／インター判定部、２７動き補償予測部、２８ＭＰＥＧ４インター／インター４Ｖ判定部[0001]
BACKGROUND OF THE INVENTION
In the present invention, image information (bitstream) compressed by orthogonal transform such as discrete cosine transform and motion compensation such as satellite broadcasting, cable television, the Internet, and the like, such as MPEG (Moving Picture image coding Experts Group). The present invention relates to an image information conversion apparatus and method suitable for reception via a network or processing on a storage medium such as an optical or magnetic disk.
[0002]
[Prior art]
In recent years, image information has been handled as digital information. At that time, for the purpose of transmitting and storing information with high efficiency, the image is subjected to orthogonal transform such as discrete cosine transform and motion compensation using redundancy unique to image information. An apparatus conforming to the MPEG system for compressing information is becoming widespread in both information distribution such as broadcasting stations and information reception in general households.
[0003]
In particular, MPEG2 (ISO / IEC 13818-2) is defined as a general-purpose image coding system, and is used as a standard covering both interlaced scanning images and progressive scanning images, as well as standard resolution images and high-definition images. And is expected to continue to be used in a wide range of consumer applications. By using this MPEG2 compression method, for example, a standard resolution interlaced scanning image having 720 × 480 pixels is 4M to 8 Mbps, and a high resolution interlaced scanning image having 1920 × 1088 pixels is 18 to 22 Mbps. By assigning (bit rate), it is possible to achieve a high compression rate and good image quality.
[0004]
Here, the above-mentioned MPEG2 was mainly intended for high-quality encoding suitable for broadcasting, but did not support a coding amount lower than MPEG1, that is, a higher compression rate encoding method. On the other hand, with the spread of portable terminals in recent years, the need for such a high compression rate encoding method is expected to increase in the future, and the MPEG4 encoding method has been standardized accordingly. Regarding the MPEG4 image encoding system, the standard was approved as an international standard as ISO / IEC 14496-2 in December 1998.
[0005]
By the way, there is a need to convert MPEG2 image compression information once encoded for digital broadcasting into MPEG4 image compression information (bit stream) having a lower code amount that is more suitable for processing on a portable terminal or the like.
[0006]
As an image information conversion device (transcoder) that achieves such a purpose, “Field-to-Frame Transcoding with Spatial and Temporal Downsampling”, Susie J. Wee, John G. Apostolopoulos, and Nick Feamster, ICIP '99 (hereinafter referred to as “IP-99”) In the document 1), an apparatus as shown in FIG. 5 is proposed.
[0007]
In FIG. 5, the data of each frame in the MPEG2 image compression information for interlaced scanning supplied to the input terminal 110 is first input to the picture type determination unit 111.
[0008]
The picture type determination unit 111 determines whether input data of each frame relates to an intra-picture encoded image (hereinafter referred to as I picture) and an inter-picture forward prediction encoded image (hereinafter referred to as P picture), or bidirectional prediction. It is determined whether the image is related to an encoded image (hereinafter referred to as a B picture). Only in the former case, information about the I picture and P picture is transferred to the subsequent MPEG2 image information decoding unit (I / P picture) 112. Output.
[0009]
The processing in the MPEG2 image information decoding unit (I / P picture) 112 is the same as that of a normal MPEG2 image information decoding apparatus. However, since the data relating to the B picture is discarded in the picture type determination unit 111, the MPEG2 image information decoding unit (I / P picture) 112 only needs to be able to decode only the I / P picture. The pixel value output from the MPEG2 image information decoding unit (I / P picture) 112 is input to the thinning unit 113.
[0010]
The thinning unit 113 performs 1/2 thinning processing in the horizontal direction, leaves only data in either the first field or the second field in the vertical direction, and discards the other to A sequentially scanned image having a size of 1/4 of the image information is generated. The sequentially scanned image generated by the thinning unit 113 is temporarily stored in the video memory 114. The MPEG4 image information encoding unit (I / P-VOP) 115 reads the stored progressively scanned image from the video memory 114.
[0011]
Here, for example, when the input MPEG2 image compression information (bit stream) is based on the NTSC (National Television System Committee) standard, that is, a 720 × 480 pixel, 30 Hz interlaced scanned image, the above-described thinning-out is performed. The image frame is 360 × 240 pixels. When encoding is performed in the subsequent MPEG4 image information encoding unit (I / P-VOP) 115, in order to perform processing in units of macroblocks, The number of pixels needs to be a multiple of 16 in the vertical direction. Therefore, pixel thinning and discarding are simultaneously performed in the thinning unit 113 for this purpose. That is, the thinning unit 113 at this time discards, for example, 8 pixels at the right end or the left end in the horizontal direction to make up 352 × 240 pixels as the above-described pixel compensation or discard.
[0012]
The MPEG4 image information encoding unit (I / P-VOP) 115 encodes the read progressively scanned image signal to generate MPEG4 image compression information (bitstream). The MPEG4 image compression information is output from the output terminal 118 to the subsequent stage. At that time, the motion vector synthesis unit 116 maps the motion vector information in the input MPEG2 image compression information (bit stream) to the motion vector for the thinned image information. The motion vector detection unit 117 detects a highly accurate motion vector based on the motion vector value synthesized by the motion vector synthesis unit 116. In MPEG4, VOP (Video Object Plane) corresponds to a frame in MPEG2. The VOP area is classified into one of an I picture, a P picture, and a B picture according to the encoding method. An I-VOP (IOP VOP) is an image (region) itself encoded (intra-coded) without performing motion compensation. P-VOP (VOP of P picture) is basically forward-predictive coded based on an image (I or P-VOP) located temporally before itself. A B-VOP (VOP of a B picture) is basically bi-predictive coded based on two images (I or P-VOP) positioned before and after the time.
[0013]
As described above, Reference 1 discloses an apparatus for generating MPEG4 image compression information (bitstream) of a progressively scanned image having a size of 1/2 × 1/2 of MPEG2 image compression information (bitstream) as input. The technology is described.
[0014]
That is, if the input MPEG2 image compression information (bitstream) is compliant with the NTSC standard, for example, the output MPEG4 image compression information is SIF (Source Input Format) size (352 × 240 pixels). However, according to the configuration shown in FIG. 5, by changing the operation of the thinning unit 113, other image frames, for example, the image frame of about 1/4 × 1/4 in the above example. It is also possible to convert the image to a QSIF (Quarter Source Input Format) size (176 × 112 pixels).
[0015]
Further, in Document 1, as a process in MPEG2 image information decoding (I / P picture) 112, an 8th order discrete cosine in MPEG2 image compression information (bitstream) to be input in each of the horizontal direction and the vertical direction is described. An apparatus for performing a decoding process using all the transform coefficients is described. However, the present invention is not limited to the apparatus shown in FIG. 5, and an 8th-order discrete cosine transform coefficient only in the horizontal direction or in both the horizontal and vertical directions. It is possible to reduce the amount of calculation and video memory capacity associated with the decoding process while performing the decoding process using only the low frequency component of the signal and minimizing the deterioration in image quality.
[0016]
By the way, in the image information conversion apparatus shown in FIG. 5, when the MPEG4 image information encoding unit (I / P-VOP) 115 performs P-VOP encoding, each macroblock is assigned to the intra specified by MPEG4. (INTRA) encoding as a macroblock, encoding as a 16 × 16 pixel INTER macroblock, or encoding as an 8 × 8 pixel INTER4V macroblock It is necessary to perform mode type determination.
[0017]
Here, as a general method for mode determination, it is conceivable to use a method defined in MPEG-4 Video Verification Model (ISO / IEC JTC1 / SC29 / WG11 N2932, hereinafter referred to as Document 2).
[0018]
Hereinafter, a method of mode determination (mode determination performed in the MPEG4 image information encoding unit (I / P-VOP) 115 in FIG. 5) described in Document 2 will be described with reference to FIG.
[0019]
First, in step S101, an inter motion vector and an inter 4V motion vector are obtained by motion vector detection.
[0020]
Next, in step S102, the prediction images generated by the inter motion vector and the inter 4V motion vector are respectively referred to as Ref._INTER, Ref_IN _TER4VAnd the original picture is represented by Org. Further, in step S103, the prediction error ERR is encoded when the macroblock is encoded as an inter macroblock and an inter 4V macroblock._INTER, ERR_INTER4VAre calculated by Expression (1) and Expression (2), respectively, and the prediction error ERR when the average value of pixels included in the macroblock is Mean_MB and the macroblock is encoded as an intra macroblock is calculated._INTRAIs defined as in Equation (3). Note that SAD in the equation represents the sum of absolute difference.
[0021]
[Expression 1]

[0022]
Next, in step S104, the prediction error ERR calculated by the above equations (1) and (2)._INTER, ERR_INTER4VTherefore, it is determined which encoding efficiency is better, that is, encoding as an inter macro block or encoding as an inter 4V macro block. That is, if Expression (4) is established, it is determined that the encoding efficiency is better when encoded as an inter macroblock, and if it is not satisfied, it is determined that the encoding efficiency is better when encoded as an inter 4V macroblock.
[0023]
[Expression 2]

[0024]
In Equation (4), Offset is a parameter for facilitating selection of an inter macroblock, and is defined as 129 in Document 2.
[0025]
Next, when the inter macroblock is selected according to the equation (4), the parameter ERR is defined as the equation (5), while when the inter 4V macroblock is selected, the parameter ERR is defined as the equation (6). Define as follows.
[0026]
[Equation 3]

[0027]
Next, the prediction error ERR defined by the parameter ERR and the equation (3)._INTRATherefore, it is determined which of the coding efficiency is higher when the macroblock is coded as an intra macroblock or when the macroblock mode selected according to the equation (4) is coded. That is, if Expression (7) holds, it is more efficient to encode as an intra macroblock, and if not, it is more efficient to encode in the macroblock mode selected by Expression (3). To do.
[0028]
[Expression 4]

[0029]
That is, in step S105 of FIG._INTER<ERR_INTRAIs not established, it is assumed that it is more efficient to encode in the intra macroblock mode in step S108, and ERR_INTER<ERR_INTRAWhen is established, it is assumed that it is more efficient to encode in the inter macroblock mode in step S107. In step S106, ERR_INTER4V<ERR_INTRAIf not, it is assumed that it is more efficient to encode in the intra macroblock mode in step S108, and if it is satisfied, it is assumed that it is more efficient to encode in the inter 4V macroblock mode in step S109.
[0030]
As described above, the MPEG4 image information encoding unit (I / P-VOP) 115 in FIG. 5 uses the mode determination method shown in FIG. 6 to select the type of the macroblock mode with the highest encoding efficiency. The image information is encoded using the selected type of macroblock mode.
[0031]
[Problems to be solved by the invention]
However, in the macroblock mode determination method shown in FIG. 6, the MPEG4 image information encoding unit (I / P-VOP) 115 performs motion compensation and absolute value error sum (SAD) calculation. Need.
[0032]
Therefore, the present invention has been proposed in view of such a conventional situation, and an object thereof is to provide an image information conversion apparatus and method capable of realizing macroblock mode discrimination with a small amount of calculation.
[0033]
[Means for Solving the Problems]
In order to achieve the above-described object, an image information conversion apparatus according to the present invention uses first image compression information including an intra-image encoded image and an inter-image prediction encoded image by using orthogonal transform and motion compensation. In the image information conversion apparatus for converting into the second image compression information, a variable represented by the product of the quantization scale and the assigned code amount for each macroblock constituting the first image encoding information at the time of encoding is used. Thus, it is determined whether the encoding mode of the second image compression information is an intra-image encoding mode for encoding by intra-image correlation or an inter-image encoding mode for encoding by inter-image correlation. Inter-image coding mode determining means is provided.
[0034]
Here, the intra-picture / inter-picture coding mode determination means gives the smallest variable among the variables for each of the macroblocks constituting the first image compression information for the macroblock constituting the second image compression information. Select a macroblock.
[0035]
Such an image information conversion apparatus determines whether the encoding mode of the second image compression information is the intra-image encoding mode or the inter-image encoding mode.
[0036]
In addition, in order to solve the above-described problem, an image information conversion method according to the present invention uses first image compression information including an intra-image encoded image and an inter-image prediction encoded image as orthogonal transform and motion compensation. In the image information conversion method for converting into the second image compression information using the variable, a variable represented by the product of the quantization scale and the assigned code amount for each macroblock constituting the first image encoded information at the time of encoding To determine whether the encoding mode of the second image compression information is an intra-image encoding mode for encoding by intra-image correlation or an inter-image encoding mode for encoding by inter-image correlation. An inner / inter-picture coding mode determination step.
[0037]
Here, in the intra-picture / inter-picture coding mode determination step, the smallest variable among the variables for each of the macroblocks constituting the first image compression information with respect to the macroblock constituting the second image compression information is given. Select a macroblock.
[0038]
By such an image information conversion method, it is determined whether the encoding mode of the second image compression information is the intra-image encoding mode or the inter-image encoding mode.
[0039]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0040]
The image information conversion apparatus according to the embodiment of the present invention converts MPEG2 image compression information including an intra-picture encoded image and an inter-picture predictive encoded image into MPEG4 image compression information using discrete cosine transform and motion compensation. In the image information conversion device to be converted, the MPEG4 image compression is performed using a variable called an activity represented by the product of the quantization scale and the assigned code amount for each macroblock constituting the MPEG2 image encoded information at the time of encoding. Intra-image / inter-image coding mode determination means for determining whether an information encoding mode is an intra-image encoding mode for encoding by intra-image correlation or an inter-image encoding mode for encoding by inter-image correlation Is provided.
[0041]
FIG. 1 shows a schematic configuration of an image information conversion apparatus according to an embodiment of the present invention. The image information conversion apparatus includes a picture type determination unit 8, a compression information analysis unit 9, an MPEG2 image information decoding unit (I / P picture) 10, a thinning unit 11, a video memory 12, and an MPEG4 image information encoding unit. Unit (I / P-VOP) 13, information buffer 14, motion vector synthesis unit 15, and motion vector detection unit 16.
[0042]
In FIG. 1, the MPEG2 image compression information (bit stream) for interlaced scanning supplied to the input terminal 1 is first input to the picture type determination unit 8.
[0043]
The picture type determination unit 8 outputs information about the intra-picture encoded image (hereinafter referred to as I picture) and the inter-picture forward prediction encoded image (hereinafter referred to as P picture) to output the compressed information analysis unit 9. However, the information regarding the bidirectional predictive coded image (hereinafter referred to as B picture) is discarded. As a result, the frame rate is converted.
[0044]
The compression information analysis unit 9 performs the syntax analysis of the image compression information sent from the picture type determination unit 8 to analyze the information related to the encoding of the MPEG2 image compression information. MPEG2 macroblock activity information is obtained and sent to the information buffer 14. Also, the compression information analysis unit 9 sends the MPEG2 motion vector information to the motion vector synthesis unit 15. Further, the compression information analysis unit 9 sends the image compression information to the MPEG2 image information decoding unit (I / P picture) 10. Here, the MPEG2 macroblock mode information refers to whether the coding mode of each macroblock included in the P picture of the input MPEG2 image compression information is an intra-picture coding mode, that is, an intra-macroblock. This is information indicating whether the mode is an inter macro block.
[0045]
An MPEG2 image information decoding unit (I / P picture) 10 decodes input image compression information. However, since the information related to the B picture has already been discarded in the picture type determination unit 8 in the previous stage, the MPEG2 image information decoding unit (I / P picture) 10 has only the information related to the I / P picture. Any device capable of performing the decoding process may be used. The pixel value to be output from the MPEG2 image information decoding unit (I / P picture) 10 is input to the thinning unit 11.
[0046]
The thinning unit 11 performs a half thinning process in the horizontal direction. In the vertical direction, only the data of either the first field or the second field is left, and the other is discarded, thereby generating a sequentially scanned image having a size of 1/4 of the input image compression information. . Here, for example, when the MPEG2 image compression information (bitstream) supplied to the input terminal 1 conforms to the NTSC (National Television System Committee) standard, that is, a 720 × 480 pixel, 30 Hz interlaced scanned image, The image frame after the thinning is 360 × 240 pixels. However, when performing encoding in the subsequent MPEG4 image information encoding unit (I / P-VOP) 13, in order to perform processing in units of macroblocks, the number of pixels is a multiple of 16 in both the horizontal and vertical directions. There must be. Accordingly, the thinning unit 11 simultaneously performs pixel compensation or discarding to make the number of pixels a multiple of 16, simultaneously with the thinning. That is, in this example, the thinning unit 11 discards, for example, 8 pixels at the right end or the left end in the horizontal direction with respect to the 360 × 240 pixels, for example, so that 352 × 240 pixels that are multiples of 16 Configure the image frame.
[0047]
The video memory 12 temporarily stores the sequentially scanned images generated by the thinning unit 11. An MPEG4 image information encoding unit (I / P-VOP) 13 reads the sequential scanning image.
[0048]
The motion vector synthesis unit 15 maps the MPEG2 motion vector information extracted from the MPEG2 image compression information (bitstream) to the motion vector for the image information after the thinning. The motion vector detection unit 16 detects a highly accurate motion vector based on the motion vector value synthesized by the motion vector synthesis unit 15 and the image information stored in the video memory 12.
[0049]
In MPEG4, VOP (Video Object Plane) corresponds to a frame in MPEG2. The VOP area is classified into one of an I picture, a P picture, and a B picture according to the encoding method. I-VOP (VOP of I picture) is an image (region) itself that is encoded (intra-image encoding) without performing motion compensation. P-VOP (VOP of P picture) is basically forward-predictive coded based on an image (I or P-VOP) located temporally before itself. A B-VOP (VOP of a B picture) is basically bi-predictive coded based on two images (I or P-VOP) positioned before and behind the B-VOP. The detected motion vector is sent to the MPEG4 image information encoding unit (I / P-VOP) 13.
[0050]
The MPEG4 image information encoding unit (I / P-VOP) 13 includes the MPEG2 macroblock mode information and MPEG2 macroblock activity information held in the information buffer 14, the motion vector information from the motion vector detection unit 16, and The MPEG4 image compression information is generated by encoding the progressively scanned image signal supplied from the video memory 12. The MPEG4 image compression information is output from the output terminal 2 to the subsequent stage.
[0051]
Next, the configuration of the information buffer 14 and the MPEG4 image information encoding unit (I / P-VOP) 13 in the image information conversion apparatus of the present embodiment will be described.
[0052]
FIG. 2 shows in detail the information buffer 14 of the image information conversion apparatus of the present embodiment shown in FIG. 1 and the portion related to the coding mode determination of the MPEG4 image information coding unit (I / P-VOP) 13. Indicates internal components. 2 also shows the motion vector synthesis unit 15, the motion vector detection unit 16, and the video memory 12 of FIG.
[0053]
The information buffer 14 includes a quantization scale buffer 22, a code amount buffer 23, an MPEG2 macroblock mode information buffer 24, and an MPEG2 macroblock activity information buffer 25 as its constituent elements. The quantization scale buffer 22 stores the quantization scale information of the MPEG2 macroblock supplied from the compression information analysis unit 9 via the terminal 32. The code amount buffer 23 stores code amount information assigned to the MPEG2 macroblock supplied from the compression information analysis unit 9 via the terminal 31.
[0054]
The MPEG2 macroblock mode information buffer 24 holds MPEG2 macroblock mode information supplied from the compression information analysis unit 9 via the terminal 33. The MPEG2 macroblock activity information buffer 25 calculates and holds a variable called activity for the MPEG2 macroblock based on the quantization scale information and the code amount information respectively supplied from the quantization scale buffer and the code amount buffer.
[0055]
The MPEG4 image information encoding unit (I / P-VOP) 13 includes an MPEG4 intra / inter determination unit 26 which is an intra-image / inter-image coding mode determination unit as a component for performing mode determination, and a motion compensation prediction. Section 27 and an MPEG4 inter / inter 4V determination section 28 which is an inter-picture coding mode determination means. The MPEG4 intra / inter determination unit 26 inputs the MPEG2 macroblock mode information and the MPEG2 macroblock activity information read from the information buffer 14. The motion compensation prediction unit 27 inputs the motion vector information detected by the motion vector detection unit 16 and further sequentially reads the scanned image information from the video memory 12. The MPEG4 inter / inter 4V determination unit 28 inputs output information from the MPEG4 intra / inter determination unit 26, motion compensation information from the motion compensation prediction unit 27, and sequentially scanned image information from the video memory 12.
[0056]
The image information conversion apparatus according to the embodiment of the present invention uses the above-described configuration to convert MPEG2 image compression information consisting of I pictures, P pictures, and B pictures into MPEG4 image compression information using discrete cosine transform and motion compensation. Convert to
[0057]
Next, when the image information conversion apparatus shown in FIG. 1 is used to output progressively scanned MPEG4 image compression information having an image frame of about 1/2 × 1/2 of the input interlaced scanning MPEG2 image compression information. think of. At this time, as shown in FIG. 3, for example, four macroblocks MB included in the image STR2 constituting the MPEG2 image compression information supplied to the input terminal 1_{MPEG2, i}(I = 1, 2, 3, 4) is a macroblock MB in an image STR4 constituting MPEG4 image compression information output from the MPEG4 image information encoding unit (I / P-VOP) 13_MPEG4,1Suppose that
[0058]
In the image information conversion apparatus shown in FIG. 1, an MPEG4 image information encoding unit (I / P-VOP) 13 performs an intra (INTRA) specified by MPEG4 when performing P-VOP encoding. ) Type of encoding mode: encoding as a macroblock, encoding as a 16 × 16 pixel INTER macroblock, or encoding as an 8 × 8 pixel INTER4V macroblock Judgment is being made.
[0059]
FIG. 4 shows a flowchart of a process for determining the coding mode type in the image information conversion apparatus according to the present invention. First, in step S1, the MPEG2 macroblock activity information buffer 25 calculates an activity for each macroblock of the input MPEG2 image compression information. Here, macroblock MB_{MPEG2, i}Let Q be the quantization scale for (i = 1, 2, 3, 4)._{MPEG2, i}(I = 1, 2, 3, 4) and macroblock MB_{MPEG2, i}The code amount assigned to (i = 1, 2, 3, 4) is B_{MPEG2, i}When expressed as (i = 1, 2, 3, 4), the above activity X_{MPEG2, i}(I = 1, 2, 3, 4) is calculated as shown in Equation (8).
[0060]
[Equation 5]

[0061]
The above formula B_{MPEG2, i}(I = 1, 2, 3, 4) is the code amount allocated to the information regarding the luminance component and the color difference component of the macroblock even if the code amount is allocated to the information regarding the luminance component of the macroblock. Alternatively, it may be the code amount assigned to the information related to the discrete cosine coefficient and header of the macroblock.
[0062]
Subsequently, in step S2, X satisfying Expression (9)_{MPEG2, I}That is, activity X_{MPEG2, i}Macroblock MB giving the smallest one (i = 1, 2, 3, 4)_{MPEG2, I}Are extracted from the MPEG2 macroblock mode information buffer 24.
[0063]
[Formula 6]

[0064]
MB in step S3_{MPEG2, I}Is an intra macroblock, the MPEG4 intra / inter determination unit 26 determines that the MB in step S8._{MPEG4, I}Are determined to be intra macroblocks, and the mode determination is terminated. MB in step S3_{MPEG2, I}Is not an intra macroblock, the MPEG4 intra / inter decision unit 26_{MPEG4, I}Is determined to be an inter macro block or an inter 4V macro block, and the process proceeds to step S4.
[0065]
In step S4, the motion vector detection unit 16 obtains an inter motion vector and an inter 4V motion vector.
[0066]
Next, in step S5, the MPEG4 inter / inter 4V determination unit 28 converts the prediction image generated by the inter motion vector and the inter 4V motion vector to Ref._INTER, Ref_INTER4VIn step S6, the macroblock is encoded as an inter macroblock and an inter 4V macroblock in step S6._INTER, ERR_INTER4VAre calculated by Equation (10) and Equation (11), respectively. Note that SAD in the above equation represents the sum of absolute difference.
[0067]
[Expression 7]

[0068]
Next, in step S7, the MPEG4 inter / inter 4V determination unit 28 determines the prediction error ERR calculated by the above equations (10) and (11)._INTER, ERR_INTER4VTherefore, it is determined which encoding efficiency is better, that is, encoding as an inter macro block or encoding as an inter 4V macro block. That is, the MPEG4 inter / inter 4V determination unit 28 determines that the encoding efficiency is better when it is encoded as an inter macroblock in step S9 if the equation (12) is satisfied, and if not, the inter 4V macro is determined in step S10. It is determined that the encoding efficiency is better when encoded as a block, and the mode determination ends.
[0069]
[Equation 8]

[0070]
The macro block mode determination result obtained by the series of mode determination processes described above is obtained from the terminal 37 in FIG. 2, and the image information supplied from the video memory 12 is provided from the terminal 36 in the subsequent MPEG4 image (not shown). Sent to a configuration for compression processing.
[0071]
It should be noted that the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the present invention.
[0072]
For example, in FIG. 3, when progressively scanned MPEG4 image compression information (bitstream) having an image frame of about 1/2 × 1/2 of the input interlaced scanning MPEG2 image compression information (bitstream) is output. Although an example is shown, the present invention is not limited to this. For example, MPEG4 image compression information of progressive scanning having an image frame of about 1/4 × 1/4 of MPEG2 image compression information (bit stream) of interlaced scanning inputted. (Bitstream) may be output.
[0073]
In the embodiment of the present invention, MPEG2 image compression information (bitstream) is targeted for input and MPEG4 image compression information (bitstream) is targeted for output. However, the present invention is not limited to this. And H. Any compressed image information encoded by orthogonal transform and motion compensation, such as H.263, may be used.
[0074]
【The invention's effect】
As described above in detail, the image information conversion apparatus according to the present invention uses the orthogonal transform and the motion compensation to convert the first image compression information including the intra-picture encoded image and the inter-picture predictive encoded image. In the image information conversion apparatus that converts the compressed image information into the image compression information of 2, using a variable represented by the product of the quantization scale and the assigned code amount for each macroblock constituting the first image encoded information at the time of encoding, Determining whether the encoding mode of the second image compression information is an intra-image encoding mode for encoding by intra-image correlation or an inter-image encoding mode for encoding by inter-image correlation. Coding mode determination means is provided.
[0075]
Here, the intra-picture / inter-picture coding mode determination means gives the smallest variable among the variables for each of the macroblocks constituting the first image compression information for the macroblock constituting the second image compression information. Select a macroblock.
[0076]
Thereby, it is possible to output the second image coding information while reducing the amount of calculation associated with the coding mode determination.
[0077]
In addition, the image information conversion method according to the present invention uses the first image compression information including the intra-picture encoded image and the inter-picture predictive encoded image as the second image compression information using orthogonal transformation and motion compensation. In the image information conversion method for converting to the second image compression, a variable represented by the product of the quantization scale and the assigned code amount for each macroblock constituting the first image encoded information at the time of encoding is used. Intra-image / inter-image coding mode determination step for determining whether an information encoding mode is an intra-image encoding mode for encoding by intra-image correlation or an inter-image encoding mode for encoding by inter-image correlation Is provided.
[0078]
Here, in the intra-picture / inter-picture coding mode determination step, the smallest variable among the variables for each of the macroblocks constituting the first image compression information with respect to the macroblock constituting the second image compression information is given. Select a macroblock.
[0079]
Thereby, it is possible to output the second image coding information while reducing the amount of calculation associated with the coding mode determination.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a schematic configuration of an image information conversion apparatus according to an embodiment of the present invention.
FIG. 2 is a block diagram illustrating a detailed configuration of an MPEG4 image information encoding unit of the image information conversion apparatus and its peripheral configuration.
FIG. 3 is a diagram used for explaining mode determination processing in an MPEG4 image information encoding unit of the image information conversion apparatus;
FIG. 4 is a flowchart illustrating mode determination processing in an MPEG4 image information encoding unit of the image information conversion apparatus.
FIG. 5 is a block diagram illustrating a schematic configuration of a conventional image information conversion apparatus.
FIG. 6 is a flowchart illustrating mode determination processing in a conventional image information conversion apparatus.
[Explanation of symbols]
8 picture type determination unit, 9 compression information analysis unit, 10 MPEG2 image information decoding unit (I / P picture), 11 decimation unit, 12 video memory, 13 MPEG4 image information encoding unit (I / P-VOP), 14 Information buffer, 15 motion vector synthesis unit, 16 motion vector detection unit, 22 quantization scale buffer, 23 code amount buffer, 24 MPEG2 macroblock mode information buffer, 25 MPEG2 macroblock activity information buffer, 26 MPEG4 intra / inter determination unit, 27 motion compensation prediction unit, 28 MPEG4 inter / inter 4V determination unit

Claims

In an image information conversion apparatus that converts first image compression information including an intra-image encoded image and an inter-image prediction encoded image into second image compression information using orthogonal transformation and motion compensation,
The encoding mode of the second image compression information is an image using a variable represented by the product of the quantization scale and the assigned code amount for each macroblock constituting the first image encoding information at the time of encoding. inner correlation image coding mode and inter-image picture information converting apparatus Ru provided with image / inter-picture coding mode determining means for determining which of the encoding mode for encoding the inter-image correlation of coding by .

The orthogonal transform is a discrete cosine transform,
The assigned code amount, the image information converting apparatus of the discrete cosine Ru code amount der assigned to the luminance component of the transformation coefficients according to claim 1 the macroblock.

The orthogonal transform is a discrete cosine transform,
The assigned code amount, the image information converting device for a discrete cosine coding amount der assigned to the luminance components and chrominance components of the transform coefficients Ru claim 1 of the macro block.

The orthogonal transform is a discrete cosine transform,
The assigned code amount, the image information converting apparatus of the allocated code quantity der Ru claim 1, wherein the discrete cosine transform coefficients and the header information of the macroblock

The intra-picture / inter-picture coding mode determination means determines a minimum variable among the variables for each of the macroblocks constituting the first image compression information for the macroblock constituting the second image compression information. picture information converting apparatus according to claim 1, wherein you select a macroblock give.

Storage means for holding the encoding mode of each macroblock constituting the first image compression information;
The image / inter-picture coding mode judging means, the image information converting device for reading out to claim 1, wherein the coding mode of the macroblock from the memory means for providing the minimum variables above selected.

When the coding mode of the macroblock that gives the minimum variable read by the intra-image / inter-image coding mode determination means is the intra-image coding mode, the macro constituting the second image compression information the coding mode of the block and the image coding mode, and if not the image coding mode, you the coding mode of macroblocks constituting the second image compression information of the inter-picture coding mode according Item 7. The image information conversion device according to Item 6.

In an image information conversion method for converting first image compression information including an intra-image encoded image and an inter-image prediction encoded image into second image compression information using orthogonal transformation and motion compensation,
The encoding mode of the second image compression information is an image using a variable represented by the product of the quantization scale and the assigned code amount for each macroblock constituting the first image encoding information at the time of encoding. image coding mode and inter-picture coding mode and one in which one image / image between the image information conversion method Ru provided with a coding mode determining step of determining that encoding by image correlation to be encoded by the inner correlation .

The orthogonal transform is a discrete cosine transform,
The assigned code amount, the image information converting method of the discrete cosine Ru code amount der assigned to the luminance component of the transformation coefficients according to claim 8 of the macroblock.

The orthogonal transform is a discrete cosine transform,
The assigned code amount, the image information converting method of the discrete cosine code amount der assigned to the luminance components and chrominance components of the transform coefficients Ru claim 8, wherein the said macroblock.

The orthogonal transform is a discrete cosine transform,
The assigned code amount, the discrete cosine transform coefficients and picture information converting method according to claim 8, wherein Ru code amount der assigned to the header information of the macroblock.

In the intra-image / inter-picture coding mode determination step, a minimum variable among the variables for each of the macroblocks constituting the first image compression information for the macroblock constituting the second image compression information is set. picture information converting method according to claim 8, wherein you select a macroblock give.

The image information conversion method includes a storage step of storing, in a storage unit, the encoding mode of each macroblock constituting the first image compression information.
Above the image / inter-picture coding mode determination step, said selected minimum variable picture information converting method according to claim 12, wherein the coding mode of the macroblock is Ru read out from the storage means for providing.

When the encoding mode of the macroblock that gives the minimum variable read in the intra-image / inter-image encoding mode determination step is the intra-image encoding mode, the macro constituting the second image compression information the coding mode of the block and the image coding mode, and if not the image coding mode, you the coding mode of macroblocks constituting the second image compression information of the inter-picture coding mode according Item 14. The image information conversion method according to Item 13 .