JP2009111718A - 映像再符号化装置、映像再符号化方法、映像再符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】本発明は、画質劣化を防止し、かつ符号量の削減を実現する新たな映像再符号化技術の提供を目的とする。
【解決手段】画面内予測を行わずに符号化を行う第１の符号化方式で符号化された映像ストリームを再符号化するときに、符号量の削減を実現すべく、高い符号化性能を発揮する画面内予測を行う第２の符号化方式で再符号化を実行し、この再符号化にあたって、画質の劣化を防止すべく、初回の符号化情報とほぼ同一の符号化情報を用いるように符号化情報を変換する。すなわち、イントラブロックの符号化情報については、隣接ブロックの特定画素の平均値を予測値とする画面内予測モードで符号化することを指示するものに変換し、インターブロックの符号化情報については、第１の符号化方式の用いた画面間予測モードに対応する画面間予測モードで符号化することを指示するものに変換する。
【選択図】図１

Description

本発明は、符号化された映像ストリームをいったんデコードして、再符号化する映像再符号化装置およびその方法と、その映像再符号化方法の実現に用いられる映像再符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関し、特に、画質劣化を防止し、かつ符号量を削減する映像再符号化を実現する映像再符号化装置およびその方法と、その映像再符号化方法の実現に用いられる映像再符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。

ＭＰＥＧ−２による再エンコードの原理について説明する。

図１０に示すように、再エンコード処理は、符号化された映像ストリーム（信号１）を入力としてデコード処理を実行するデコード回路１０と、デコード回路１０の復号した映像信号（信号２）を入力としてエンコード処理を実行するエンコード回路２０とで実行されることになる。

従来のＭＰＥＧ−２による再エンコード処理では、デコード回路１０として、図１１に示すようなＭＰＥＧ−２デコード回路３０が用いられ、エンコード回路２０として、図１２に示すようなＭＰＥＧ−２エンコード回路４０が用いられている。

ここで、図１１において、３１は逆可変長符号化部、３２は逆量子化部、３３は逆ＤＣＴ変換部、３４は動き補償部を示している。また、図１２において、４１は動き探索部、４２はＤＣＴ変換部、４３は量子化部、４４は可変長符号化部、４５は逆量子化部、４６は逆ＤＣＴ変換部を示している。

ＭＰＥＧ−２で量子化された映像ストリームからデコードされた映像を、再度ＭＰＥＧ−２で再量子化すると、当然のことながら、一般に画質が劣化する。

しかし、初回の量子化の際の符号化情報（たとえば、ピクチャ毎に指定されるピクチャタイプ、量子化マトリックスなどや、マクロブロック（以下、ＭＢと記す）毎に指定される量子化ステップ、ＭＢタイプ、動きベクトルなど）と全く同一の符号化パラメータで、デコード画像を再度符号化すれば劣化をほぼ抑えられることが知られている（たとえば、非特許文献１参照）。

次に、この原理を、図１３を使って説明する。

なお、簡単のため、この説明ではＭＢサイズとＤＣＴ変換サイズを２×２とし、量子化マトリックスは平坦（つまり要素値は全て１）とする。また、ＭＰＥＧ−２において量子化パラメータあるいは quanitser＿scale と呼ばれる値はＨ．２６４においては量子化ステップＱｓと呼ばれるが、本明細書ではＭＰＥＧ−２とＨ．２６４とを対比する説明で混乱を招かぬようにするために、ＭＰＥＧ−２においても量子化パラメータあるいは quanitser＿scale を量子化ステップＱｓと呼ぶこととする。

図１３は、入力ＭＢ（画素値Ａ’，Ｂ’，Ｃ’，Ｄ’）がＭＰＥＧ−２で符号化され、デコードされた後、再度、ＭＰＥＧ−２で再符号化されて、デコードされるまでを示している。

図１３の最上列部分（第１列部分）には、初回のＭＰＥＧ−２エンコードが示されている（このエンコードされたものが再符号化処理の処理対象となる）。つまり、入力ＭＢ（画素値Ａ’，Ｂ’，Ｃ’，Ｄ’）が動き探索（以下、ＭＥと記す）されることで画素残差（画素値Ａ，Ｂ，Ｃ，Ｄ）が得られ、これがＤＣＴ変換されてＤＣＴ係数（４７，３１，２５，１８）が得られ、これが量子化ステップ＝１０で量子化されて、量子化されたＤＣＴ係数（４，３，２，１）が得られ、これが可変長符号化（以下、ＶＬＣと記す）されて、ＭＰＥＧ−２ストリーム１が作成されることを示している。

この図１３の第１列部分は、図１２に示した従来のＭＰＥＧ−２エンコード回路４０で処理される。図１３の第１列部分と図１２との対応関係は、図１３の第１列部分の入力画素（画素値Ａ’，Ｂ’，Ｃ’，Ｄ’）、画素残差（画素値Ａ，Ｂ，Ｃ，Ｄ）、ＤＣＴ係数（４７，３１，２５，１８）、量子化されたＤＣＴ係数（４，３，２，１）、ＭＰＥＧ−２ストリーム１は、それぞれ図１２の入力信号，信号４１，信号４２，信号４３，出力信号に対応する。

図１３の第２列部分には、初回のＭＰＥＧ−２デコードが示されている。つまり、ＭＰＥＧ−２ストリーム１が逆ＶＬＣ後、逆量子化されて、ＤＣＴ係数（４０，３０，２０，１０）が得られ、これが逆ＤＣＴ変換ののち、動き補償（以下、ＭＣと記す）されて、デコード画像（ａ’，ｂ’，ｃ’，ｄ’）が得られることを示している。

この図１３の第２列部分は、図１１で示した従来のＭＰＥＧ−２デコード回路３０で処理される。図１３の第２列部分と図１１との対応関係は、図１３の第２列部分のＤＣＴ係数（４，３，２，１）、逆量子化されたＤＣＴ係数（４０，３０，２０，１０）、画素残差（画素値ａ，ｂ，ｃ，ｄ）、出力画素（画素値ａ’，ｂ’，ｃ’，ｄ’）は、それぞれ図１１の信号３１，信号３２，信号３３，出力信号に対応する。

次のステップが２回目のエンコードであり、図１３の第３列部分である。初回ＭＰＥＧ−２エンコード時と全く同一のＭＢタイプ、動き予測方向、動きベクトルを使ったＭＥにより、デコード映像（画素値ａ’，ｂ’，ｃ’，ｄ’）からＭＥ後の画素残差（画素値ａ，ｂ，ｃ，ｄ）が得られ、これがＤＣＴ変換されてＤＣＴ係数（４０，３０，２０，１０）が得られ、これを初回ＭＰＥＧ−２エンコード時と全く同一の量子化マトリックス、量子化ステップを使って量子化されて、量子化されたＤＣＴ係数（４，３，２，１）が得られ、さらに、可変長符号化（ＶＬＣ）されてＭＰＥＧ−２ストリーム２が作成されることを示している。

図１３の第４列部分には、２回目のＭＰＥＧ−２デコードが示されている。つまり、ＭＰＥＧ−２ストリーム２が逆ＶＬＣ後、逆量子化されて、ＤＣＴ係数（４０，３０，２０，１０）が得られ、これが逆ＤＣＴ変換ののち、動き補償（ＭＣ）されて、デコード映像（ａ’，ｂ’，ｃ’，ｄ’）が得られることを示している。

一般に、初回エンコードの入力ＭＢ（画素値Ａ’，Ｂ’，Ｃ’，Ｄ’）と、初回デコードのデコード画像（ａ’，ｂ’，ｃ’，ｄ’）とは、初回のＭＰＥＧ−２エンコード時の量子化の際に混入した誤差が原因で、異なるデコード映像となる。これに対し、２回目のＭＰＥＧ−２エンコードにおいては、量子化時に誤差はほとんど混入せず、１回目と２回目のＭＰＥＧ−２デコード画像はほぼ一致する。

なぜなら２回目のＭＰＥＧ−２エンコードにおいては、初回ＭＰＥＧ−２エンコード時と全く同一のＭＢタイプ、動きベクトルを使っているので、初回デコード時のＭＣ前の画素残差（ａ，ｂ，ｃ，ｄ）と、２回目エンコード時のＭＥ後の画素残差（ａ，ｂ，ｃ，ｄ）とがほぼ一致し、かつ、２回目のＭＰＥＧ−２エンコードにおいては、初回ＭＰＥＧ−２エンコード時と全く同一の量子化パラメータ、量子化マトリックスを使っているので、初回デコード時の逆量子化後のＤＣＴ係数（４０，３０，２０，１０）と、２回目エンコード時の量子化前のＤＣＴ係数（４０，３０，２０，１０）とがほぼ一致するためである。

以上、説明したように、初回ＭＰＥＧ−２エンコードの際の符号化手順情報と同一の符号化手順情報で、２回目のＭＰＥＧ−２エンコードを実施すれば、ほとんど画質劣化なしに再エンコードが可能になる。

ただし、この場合、量子化マトリックス、量子化ステップも同一の再エンコードのため、ＭＰＥＧ−２ストリーム１とＭＰＥＧ−２ストリーム２の符号量は同じになり、符号量が削減されないという問題がある。

これまで説明したように、初回のＭＰＥＧ−２符号化で得られたストリームを、再度ＭＰＥＧ−２で符号化する場合、２回目の符号化で符号量を削減しない場合には、ほとんど画質劣化なしに再エンコードが可能である。

しかし、符号量を削減するには、量子化ステップＱｓを大きくするか、量子化マトリックスの係数を大きくする必要がある。両者は同じ効果を生ずるので、ここでは、量子化ステップＱｓを大きくすることで、符号量を削減する再符号化について、図１４を用いて説明する。

図１４も、図１３と同様に、１回目のＭＰＥＧ−２エンコードとＭＰＥＧ−２デコード、２回目のＭＰＥＧ−２エンコードとＭＰＥＧ−２デコードの様子を示しており、１回目のエンコードと１回目のデコードは、図１３で示した場合と同じである。さらに、量子化ステップを除いて、初回符号化の際の符号化手順情報と全く同一の符号化手順を用いて２回目のエンコードを実施する点も同じである。

異なる点の１つは、２回目の量子化で使用される量子化ステップＱｓ＝１５が大きい点である。このため、１回目エンコードのストリーム（ＭＰＥＧ−２ストリーム１）の符号量よりも、２回目エンコードのストリーム（ＭＰＥＧ−２ストリーム２）の符号量を小さくできる効果が発生する。

しかし、１回目エンコードの量子化ステップＱｓ＝１０と異なる値Ｑｓ＝１５で２回目エンコードの量子化を行ったため、量子化時に雑音が混入する。これが原因で、２回目のデコードにおける逆量子化によって得られるＤＣＴ係数（図１４では〔３０，３０，１５，０〕）と、２回目のエンコード時のＤＣＴ係数（図１４では〔４０，３０，２０，１０〕）とは大きく異なる。このため、２回目のデコードで得られるデコード画像（α’，β’，γ’，ε’）は、１回目のデコード画像（ａ’，ｂ’，ｃ’，ｄ’）と大きく異なる。つまり大きな画質劣化が発生していることになる。

以上、説明したように、初回ＭＰＥＧ−２エンコードの際の量子化ステップを除くすべての符号化手順情報と全く同一の符号化手順で、２回目のＭＰＥＧ−２エンコードを実施したとしても、符号量を削減するため量子化ステップを大きくして符号量を削減した場合、大きな画質劣化が発生するという問題がある。
P.Guillotel, D.Thoreau, P.Ruellou, P.Bores, B.Chupeau, and C.Chevance, "Adaptive Encoders: The New Generation of MPEG-2 Encoders" SMPTE Journal, pp.287-294, April, 2000

ＭＰＥＧ−２よりも符号化性能の高い符号化方式として、図１５に示すようなデコード回路構成をとり、図１６に示すようなエンコード回路構成をとるＨ．２６４がある。

ここで、図１５において、５１は逆ＣＡＢＡＣ部（ＣＡＢＡＣ：Context-based Adaptive Binary Arithmetic Code)、５２は逆量子化部、５３は逆整数精度ＤＣＴ変換部、５４は動き補償部である。また、図１６において、６１は動き探索部、６２は整数精度ＤＣＴ変換部、６３は量子化部、６４はＣＡＢＡＣ部（エントロピー符号化を行うもの）、６５は逆量子化部、６６は逆整数精度ＤＣＴ変換部である。

ＭＰＥＧ−２よりも符号化性能の高いＨ．２６４で２回目のエンコードを実行した場合には、符号化性能が高性能であることから、量子化ステップＱｓを変更しなくとも、符号量を削減することが可能と考えられる。しかし、実際には大きな画質劣化が発生する。以下にその理由を説明する。

図１７は、図１３、図１４と同様に、１回目のエンコードとデコード、２回目のエンコードとデコードの様子を示しており、１回目のエンコードと１回目のデコードは、図１３で示した場合と同じである。

異なる点は、２回目エンコードと２回目デコードがＨ．２６４で行われる点である。以下、２回目エンコードと２回目デコードにＨ．２６４を使用した場合である図１７と、２回目エンコードと２回目デコードにＭＰＥＧ−２を使用した場合である図１３との違いについて述べる。

まず１点めに、Ｈ．２６４の動き補償とＭＰＥＧ−２の動き補償の方法が異なる。特にＭＰＥＧ−２では、ＩｎｔｒａＭＢは隣接ＭＢの影響を受けずに、各ＭＢ単独で符号化が可能であるのに対し、Ｈ．２６４では、ＩｎｔｒａＭＢは画面内予測符号化、つまり隣接ＭＢの画素値に依存した符号化が不可避である。

Ｈ．２６４ではさまざまな符号化モードがあるものの、ＭＰＥＧ−２のＩｎｔｒａＭＢのように、各ＭＢ単独で符号化が可能になるモードは存在せず、これから、初段ＭＰＥＧ−２符号化時に用いた符号化モードと同じモードで、Ｈ．２６４符号化することはできない。

このため、たとえば、通常動き補償後の画素残差の合計値（以下、ＭＡＤと記す）が最小になるようなモードが選択されることも多いが、どのモードを選択するにせよ、ＭＰＥＧ−２とは異なり、Ｈ．２６４では隣接ＭＢの画素値に依存したモードとなる。図１７ではＭＡＤが最小になるモードを選んだ場合を示しており、１回目ＭＰＥＧ−２デコードでのＭＣ前の画素残差（図１７では〔ａ，ｂ，ｃ，ｄ〕）と、２回目Ｈ．２６４エンコードのＭＥ後の画素残差（図１７では〔ｐ，ｑ，ｒ，ｓ〕）とは一般に一致しない。

２点めの相違点は、ＭＰＥＧ−２とＨ．２６４の直交変換である。ＭＰＥＧ−２はサイズ８×８のＤＣＴ変換である。これに対し、Ｈ．２６４はサイズ４×４または８×８の整数精度ＤＣＴ変換が選択可能である。このように、ＭＰＥＧ−２とＨ．２６４とでは直交変換（ＤＣＴ変換）の形態が異なるのである。

この２つの相違点により、１回目ＭＰＥＧ−２デコードでの逆ＤＣＴ変換前のＤＣＴ係数（図１７では〔４０，３０，２０，１０〕）と、２回目Ｈ．２６４エンコードの整数精度ＤＣＴ変換後のＤＣＴ係数（図１７では〔４０，２０，２５，１５〕）とは一般に大きく異なるため、たとえ１回目ＭＰＥＧ−２エンコードの際と同一の量子化ステップＱｓ（図１７ではＱｓ＝１０）を使用して２回目Ｈ．２６４エンコードを行ったとしても、２回目の量子化の際に一般に大きな誤差が混入する。

このため、２回目のデコードで得られるデコード画像（図１７では〔Ｐ’，Ｑ’，Ｒ’，Ｓ’〕）は、１回目のデコード画像（図１７では〔ａ’，ｂ’，ｃ’，ｄ’〕）と大きく異なる。つまり大きな画質劣化が発生していることになる。

以上に説明したように、ＭＰＥＧ−２よりも符号化性能の高いＨ．２６４で２回目のエンコードした場合には、量子化ステップＱｓを変更しなくとも、大きな画質劣化が発生する。

本発明はかかる事情に鑑みてなされたものであって、画質劣化を防止し、かつ符号量の削減を実現する新たな映像再符号化技術の提供を目的とする。

この目的を達成するために、本発明の映像再符号化装置は、イントラブロックについては予測を行わずに符号化を行い、インターブロックについては画面間予測を行って符号化を行う第１の符号化方式により符号化された映像ストリームを、イントラブロックについては複数の画面内予測モードの中から選択される予測モードを使って符号化を行い、インターブロックについては第１の符号化方式より多く用意される画面間予測モードの中から選択される予測モードを使って符号化を行う第２の符号化方式の映像ストリームに再符号化することを基本構成とする。

第１の符号化方式で符号化された映像ストリームを、第１の符号化方式で復号して、その復号した映像を再符号化するときにあって、１回目の符号化の際の符号化情報と同一の符号化情報の指示に従って２回目の再符号化を実行すれば、ほとんど画質劣化なしに再符号化が可能になることが知られている。

しかしながら、これでは符号量を削減できない。符号量の削減を実現するには、再符号化にあたって粗い量子化を実行するようにすればよいが、これでは大きな画質劣化が発生してしまう。

そこで、本発明の映像再符号化装置では、符号量の削減を実現すべく、第１の符号化方式よりも高い符号化性能を発揮する第２の符号化方式で２回目の再符号化を実行するようにするとともに、画質の劣化を防止すべく、この再符号化にあたって、第１の符号化方式で符号化した際の符号化情報とほぼ同一の符号化情報を用いるようにするために、第１の符号化方式で符号化した際の符号化情報を変換するようにする。

すなわち、イントラブロックの符号化情報については、隣接ブロックの特定画素の平均値を予測値とする画面内予測モードで符号化することを指示するものに変換し、インターブロックの符号化情報については、第１の符号化方式の用いた画面間予測モードに対応する画面間予測モードで符号化することを指示するものに変換する。

隣接ブロックの特定画素の平均値を予測値とする画面内予測モードでイントラブロックを符号化すると、イントラブロック内の各画像信号のレベル値が一定のＤＣレベル分したものになるので、そのシフト結果の予測残差信号を直交変換することで求められる非直流成分以外の直交変換係数については、イントラブロックの画像信号を直接、直交変換することで求められる非直流成分以外の直交変換係数とほぼ一致する。

したがって、イントラブロックの符号化情報について、隣接ブロックの特定画素の平均値を予測値とする画面内予測モードで符号化することを指示するものに変換することで、第２の符号化方式を用いた再符号化において、イントラブロックを再符号化する場合に、第１の符号化方式で符号化した際の符号化情報とほぼ同一の符号化情報を用いて、その再符号化を実行することができる。

また、第２の符号化方式では、符号化性能の高性能化を図るために、第１の符号化方式よりも多い画面間予測モードを用意しており、これから、第２の符号化方式には、第１の符号化方式の用いた画面間予測モードに対応する画面間予測モードが存在する。

したがって、インターブロックの符号化情報について、第１の符号化方式の用いた画面間予測モードに対応する画面間予測モードで符号化することを指示するものに変換することで、第２の符号化方式を用いた再符号化において、インターブロックを再符号化する場合に、第１の符号化方式で符号化した際の符号化情報とほぼ同一の符号化情報を用いて、その再符号化を実行することができる。

これから、本発明の映像再符号化装置によれば、第１の符号化方式で符号化された映像ストリームをいったんデコードして、再符号化するときに、画質劣化を防止し、かつ符号量の削減を実現しつつ、その再符号化を実行することができるようになる。

以上に説明したことを実現するために、本発明の映像再符号化装置は、（１）第１の符号化方式により符号化された映像ストリームを第１の符号化方式の復号手順に従って復号することで復号映像を得るとともに、その映像ストリームに含まれる符号化情報を抽出する復号手段と、（２）復号手段の抽出した符号化情報に含まれる一部の符号化情報を変換対象として、イントラブロックの符号化情報については、隣接ブロックの特定画素の平均値を予測値とする画面内予測モードで符号化することを指示するものに変換し、インターブロックの符号化情報については、第１の符号化方式の用いた画面間予測モードに対応する画面間予測モードで符号化することを指示するものに変換する変換手段と、（３）変換手段の変換した符号化情報の指示に従いつつ、第１の符号化方式の用いた直交変換のブロックサイズと同一のブロックサイズを用いて直交変換を行うとともに、第１の符号化方式の用いた量子化の大きさに対応付けられる値を用いて量子化を行いながら、第２の符号化方式の符号化手順に従って復号手段の生成した復号映像を符号化する符号化手段とを備えるという構成を採る。

この構成を採るときに、画質劣化の防止を確実なものとするために、符号化手段は、変換手段の変換した符号化情報の指示に従って復号映像を符号化する場合に得られる映像の画質と、変換手段の変換した符号化情報とは無関係に復号映像を符号化する場合に得られる映像の画質とを評価して、その評価に基づいて、いずれか一方の符号化方法を選択して復号映像を符号化することがある。

以上の各処理手段が動作することで実現される本発明の映像再符号化方法はコンピュータプログラムでも実現できるものであり、このコンピュータプログラムは、適当なコンピュータ読み取り可能な記録媒体に記録して提供されたり、ネットワークを介して提供され、本発明を実施する際にインストールされてＣＰＵなどの制御手段上で動作することにより本発明を実現することになる。

次に、第１の符号化方式としてＭＰＥＧ−２符号化方式（ＤＣＴ変換は８×８のサイズで行うことを規定している）を用い、第２の符号化方式としてＨ．２６４符号化方式を用いる場合を具体例にして、本発明の処理について具体的に説明する。

本発明では、１回目のＭＰＥＧ−２符号化の際に、イントラＭＢとして符号化されたＭＢは、必ず、ＭＢタイプ＝Ｉ８×８（８×８のサイズを持つイントラＭＢ）、画面内予測モード＝ＤＣモード（隣接ＭＢの隣接する特定画素の画素値の平均値をイントラＭＢの予測信号とする画面内予測モード）、整数精度ＤＣＴ変換サイズ＝８×８のイントラＭＢとして、Ｈ．２６４符号化する。

ＭＰＥＧ−２では画面内予測がないため、イントラＭＢは、周辺ＭＢの画素値に影響を受けずにＨ．２６４の画素残差に対応したものが得られる。このようなイントラＭＢについては、Ｈ．２６４では、画面内予測モード＝ＤＣモードで符号化される。

このため動き補償後の画素残差は、ＭＰＥＧ−２とＨ．２６４とでは異なるものの、それぞれを直交変換（ＭＰＥＧ−２ならＤＣＴ変換、Ｈ．２６４なら整数精度ＤＣＴ変換）すると、直流成分以外は直交変換種別の違いに起因する分だけ僅かに異なる（変換サイズは同一なのでこれに起因する違いはない）。これらを同じ値で量子化すれば、得られるＭＰＥＧ−２のＤＣＴ係数とＨ．２６４の整数ＤＣＴ係数とは、直流成分以外で一致する場合が多くなる。これから、ＭＰＥＧ−２デコード画像とＨ．２６４デコード画像とも、一致する場合が多くなる。

つまり、本発明は、ＭＰＥＧ−２符号化の際にイントラＭＢとして符号化されたＭＢを、画質劣化が小さいＭＢに、Ｈ．２６４再符号化する作用を持つ。

さらに本発明では、以下に述べるような作用もある。本発明では、後述する図２で説明するように、（１）１回目のＭＰＥＧ−２符号化の際に、ピクチャタイプがＰで前方向予測のインターＭＢとして符号化されたＭＢについては、ＭＢタイプ＝Ｐ＿Ｌ０＿１６×１６で整数精度ＤＣＴ変換サイズ＝８×８のインターＭＢとしてＨ．２６４符号化し、（２）１回目のＭＰＥＧ−２符号化の際に、ピクチャタイプがＢで前方向予測のインターＭＢとして符号化されたＭＢについては、ＭＢタイプ＝Ｂ＿Ｌ０＿１６×１６で整数精度ＤＣＴ変換サイズ＝８×８のインターＭＢとしてＨ．２６４符号化し、（３）１回目のＭＰＥＧ−２符号化の際に、ピクチャタイプがＢで後方向予測のインターＭＢとして符号化されたＭＢについては、ＭＢタイプ＝Ｂ＿Ｌ１＿１６×１６で整数精度ＤＣＴ変換サイズ＝８×８のインターＭＢとしてＨ．２６４符号化し、（４）ピクチャタイプがＢで双方向予測のインターＭＢとして符号化されたＭＢについては、ＭＢタイプ＝Ｂ＿Ｂｉ＿１６×１６で整数精度ＤＣＴ変換サイズ＝８×８のインターＭＢとして、Ｈ．２６４符号化する。

このため動き補償後の画素残差は一致し、それぞれを直交変換（ＭＰＥＧ−２ならＤＣＴ変換、Ｈ．２６４なら整数精度ＤＣＴ変換）すると、直交変換種別の違いに起因する分だけが僅かに異なる（変換サイズは同一なのでこれに起因する違いはない）。これらを同じ値で量子化すれば、得られるＭＰＥＧ−２のＤＣＴ係数とＨ．２６４の整数精度ＤＣＴ係数とは、一致する場合が多くなる。これから、ＭＰＥＧ−２デコード画像とＨ．２６４デコード画像とも、一致する場合が多くなる。

つまり、本発明は、ＭＰＥＧ−２符号化の際にインターＭＢとして符号化されたＭＢを、画質劣化が小さいＭＢに、Ｈ．２６４再符号化する作用も持つ。

以上説明したように、本発明によれば、符号化された映像ストリームをいったんデコードして、再符号化するときに、画質劣化を防止し、かつ符号量の削減を実現することができるようになる。

たとえば、符号化されたＭＰＥＧ−２ストリームをいったんデコードしてＨ．２６４ストリームに変換する場合で説明するならば、入力であるＭＰＥＧ−２ストリームから得られるＭＰＥＧ−２デコード画像と、出力であるＨ．２６４ストリームから得られるＨ．２６４デコード画像との差分を小さくすることができる。つまり、ＭＰＥＧ−２デコード画像を劣化の少ないＨ．２６４ストリームに変換できる効果を持つ。

また、符号化されたＭＰＥＧ−２ストリームをいったんデコードしてＨ．２６４ストリームに変換する場合で説明するならば、従来方式ではＨ．２６４符号化を行うために、ＭＰＥＧ−２デコード処理で得られる動きベクトルを使用するのではなく、適切な動きベクトルを求めるための動き探索が必要であった。しかるに、動き探索の処理量は極めて大きいため回路規模も大きく、コストも高かった。これに対し、本発明では、ＭＰＥＧ−２デコード処理で得られる動きベクトルをそのままＨ．２６４符号化における動きベクトルとして使用する。このため、従来方式で必要であった大規模な動き探索が不要であり、本発明で必要となる回路規模は小さく、また低コストで実現できるようになる。

以下、実施の形態に従って本発明を詳細に説明する。

図１に、本発明を具備する映像再符号化装置１の一実施形態例を図示する。

本実施形態例の映像再符号化装置１は、符号化されたＭＰＥＧ−２ストリーム６０１を入力として、そのＭＰＥＧ−２ストリーム６０１をいったんデコードすることでデコード映像６０２を生成して、それをＨ．２６４符号化することでＨ．２６４ストリーム６０５を生成するという処理を行うものであって、この再符号化処理を実行するために、ＭＰＥＧ−２デコード部１００と、符号化情報変換部２００と、符号化情報変換テーブル３００と、ＱＳＣ−Ｑｓ対応テーブル４００と、Ｈ．２６４エンコード部５００とを備える。

このＭＰＥＧ−２デコード部１００は、ＭＰＥＧ−２ストリーム６０１を入力し、これをデコードすることでデコード映像６０２を生成して出力するとともに、ＭＰＥＧ−２ストリーム６０１に含まれる符号化情報（たとえば、ピクチャ毎に指定されるピクチャ構造、ピクチャタイプ、量子化マトリックスなどや、ＭＢ毎に指定される量子化パラメータＱＳＣ、イントラ／インター情報、フレーム／フィールド情報、ＭＢタイプ、使用した動きベクトル種別、動きベクトルなど）を抽出して、それを符号化情報６０３として符号化情報変換部２００に出力する。

符号化情報変換部２００は、符号化情報６０３を入力して、その符号化情報６０３に含まれるピクチャ構造、ピクチャタイプ、量子化マトリックス、各ＭＢのフレーム／フィールド情報および各ＭＢの動きベクトルの情報については変更せずに、そのまま再符号化情報６０４としてＨ．２６４エンコード部５００に出力する。

さらに、符号化情報変換部２００は、符号化情報６０３に含まれるピクチャタイプ、ＭＢ毎のイントラ／インター情報およびＭＢ毎の動き予測方向情報をキーにして符号化情報変換テーブル３００を参照することで、Ｈ．２６４符号化に必要となるＭＢタイプ、画面内予測モードおよび８×８変換フラグの情報を取得して、それらの情報を再符号化情報６０４としてＨ．２６４エンコード部５００に出力する。

さらに、符号化情報変換部２００は、符号化情報６０３に含まれるＭＰＥＧ−２量子化パラメータＱＳＣをキーにしてＱＳＣ−Ｑｓ対応テーブル４００を参照することで、そのＭＰＥＧ−２量子化パラメータＱＳＣに対応付けられるＨ．２６４量子化ステップＱｓの情報を取得して、そのＨ．２６４量子化ステップＱｓの情報を再符号化情報６０４としてＨ．２６４エンコード部５００に出力する。

符号化情報変換テーブル３００は、図２に示すように、
（１）ＭＰＥＧ−２符号化が、Ｉピクチャの符号化で、イントラ符号化のＭＢである場 合には、Ｈ．２６４符号化では、そのＭＢについては、ＭＢタイプが８×８サイ ズのイントラ符号化で、画面内予測モードがＤＣモードで、整数精度ＤＣＴ変換 サイズが８×８（８×８変換フラグの値１で指示する）で符号化し、
（２）ＭＰＥＧ−２符号化が、Ｐピクチャの符号化で、イントラ符号化のＭＢである場 合には、Ｈ．２６４符号化では、そのＭＢについては、ＭＢタイプが８×８サイ ズのイントラ符号化で、画面内予測モードがＤＣモードで、整数精度ＤＣＴ変換 サイズが８×８（８×８変換フラグの値１で指示する）で符号化し、
（３）ＭＰＥＧ−２符号化が、Ｂピクチャの符号化で、イントラ符号化のＭＢである場 合には、Ｈ．２６４符号化では、そのＭＢについては、ＭＢタイプが８×８サイ ズのイントラ符号化で、画面内予測モードがＤＣモードで、整数精度ＤＣＴ変換 サイズが８×８（８×８変換フラグの値１で指示する）で符号化し、
（４）ＭＰＥＧ−２符号化が、Ｐピクチャの符号化で、前方向のインター符号化のＭＢ である場合には、Ｈ．２６４符号化では、そのＭＢについては、ＭＢタイプがＰ ＿Ｌ０＿１６×１６で、整数精度ＤＣＴ変換サイズが８×８（８×８変換フラグ の値１で指示する）で符号化し、
（５）ＭＰＥＧ−２符号化が、Ｂピクチャの符号化で、前方向のインター符号化のＭＢ である場合には、Ｈ．２６４符号化では、そのＭＢについては、ＭＢタイプがＢ ＿Ｌ０＿１６×１６で、整数精度ＤＣＴ変換サイズが８×８（８×８変換フラグ の値１で指示する）で符号化し、
（６）ＭＰＥＧ−２符号化が、Ｂピクチャの符号化で、後方向のインター符号化のＭＢ である場合には、Ｈ．２６４符号化では、そのＭＢについては、ＭＢタイプがＢ ＿Ｌ１＿１６×１６で、整数精度ＤＣＴ変換サイズが８×８（８×８変換フラグ の値１で指示する）で符号化し、
（７）ＭＰＥＧ−２符号化が、Ｂピクチャの符号化で、双方向のインター符号化のＭＢ である場合には、Ｈ．２６４符号化では、そのＭＢについては、ＭＢタイプがＢ ＿Ｂｉ＿１６×１６で、整数精度ＤＣＴ変換サイズが８×８（８×８変換フラグ の値１で指示する）で符号化する
という情報を管理する。

ＱＳＣ−Ｑｓ対応テーブル４００は、ＭＰＥＧ−２量子化パラメータＱＳＣとＨ．２６４量子化ステップＱｓとの対応関係を管理する。

Ｈ．２６４エンコード部５００は、デコード映像６０２と再符号化情報６０４とを入力して、デコード映像６０２をその再符号化情報６０４の指示に従ってＨ．２６４符号化することで、Ｈ．２６４ストリーム６０５を生成して出力する。

図３に、ＭＰＥＧ−２デコード部１００の詳細な構成を図示し、図４に、Ｈ．２６４エンコード部５００の詳細な構成を図示する。

図３に示すように、ＭＰＥＧ−２デコード部１００は、（１）ＭＰＥＧ−２ストリーム６０１を入力し、これを逆可変長符号化して得られる逆可変長符号化信号（信号１０１）を出力するとともに、ピクチャ毎に指定されるピクチャ構造、ピクチャタイプおよび量子化マトリックスと、ＭＢ毎に指定されるフレーム／フィールド情報、動きベクトル、イントラ／インター情報および動き予測方向情報と、ＭＢ毎に指定されるＭＰＥＧ−２量子化パラメータＱＳＣなどを符号化情報６０３として出力する逆可変長符号化部１０１と、（２）逆可変長符号化信号を入力し、これを逆量子化して得られる逆量子化信号（信号１０２）を出力する逆量子化部１０２と、（３）逆量子化信号を入力し、これを逆ＤＣＴ変換して得られる逆ＤＣＴ信号（信号１０３）を出力する逆ＤＣＴ変換部１０３と、（４）逆ＤＣＴ信号を入力し、これを動き補償して得られるデコード映像６０２を出力する動き補償部１０４とで構成される。

また、図４に示すように、Ｈ．２６４エンコード部５００は、（１）デコード映像６０２と、再符号化情報６０４と、後述する再生画像信号（信号５０５）とを入力し、再符号化情報６０４に含まれる動きベクトル、動き予測モードを使い、デコード映像６０２の残差画像を求めて、これを残差画像信号（信号５０１）として出力する動き探索部５０１と、（２）残差画像信号と再符号化情報６０４とを入力し、再符号化情報６０４に含まれる８×８変換フラグに従って、サイズ８×８の整数精度ＤＣＴ変換を実施して、整数精度ＤＣＴ信号（信号５０２）を出力する整数精度ＤＣＴ変換部５０２と、（３）整数精度ＤＣＴ信号と再符号化情報６０４とを入力し、再符号化情報６０４に含まれるＨ．２６４量子化ステップＱｓで量子化を行い、得られる量子化信号（信号５０３）を出力する量子化部５０３と、（４）量子化信号を入力し、ＣＡＢＡＣあるいはＣＡＶＬＣ等のエントロピー符号化を行い、Ｈ．２６４ストリーム６０５を出力するエントロピー符号化部５０４と、（５）量子化信号を入力し、逆量子化を行い、得られる逆量子化信号（信号５０４）を出力する逆量子化部５０５と、（６）逆量子化信号を入力し、これに逆整数精度ＤＣＴ変換を施して、その結果得られる再生画像信号（信号５０５）を出力する逆整数精度ＤＣＴ変換部５０６とで構成される。

図５に、このように構成される本実施形態例の映像再符号化装置１の実行するフローチャートを図示する。

次に、このフローチャートに従って、このように構成される本実施形態例の映像再符号化装置１の実行するＭＰＥＧ−２ストリーム６０１の再符号化処理について説明する。

本実施形態例の映像再符号化装置１は、ＭＰＥＧ−２ストリーム６０１の再符号化処理の指示があると、図５のフローチャートに示すように、まず最初に、ステップＳ１００で、再符号化処理の対象となる符号化されたＭＰＥＧ−２ストリーム６０１を入力する。

続いて、ステップＳ１０１で、ＭＰＥＧ−２の規定するデコード手順に従って、入力したＭＰＥＧ−２ストリーム６０１をいったんデコードすることでデコード映像６０２を生成する。

続いて、ステップＳ１０２で、入力したＭＰＥＧ−２ストリーム６０１に含まれる符号化情報（デコードしたもの）を抽出する。

続いて、ステップＳ１０３で、抽出した符号化情報に含まれるピクチャ構造、ピクチャタイプ、量子化マトリックス、各ＭＢのフレーム／フィールド情報、各ＭＢの動きベクトルの情報については、そのまま再符号化情報６０４として設定する。

続いて、ステップＳ１０４で、抽出した符号化情報に含まれるピクチャタイプとＭＢ毎のイントラ／インター情報とＭＢ毎の動き予測方向情報とをキーにして符号化情報変換テーブル３００を参照することで、ＭＢ毎に、Ｈ．２６４符号化に必要となるＭＢタイプ、画面内予測モードおよび８×８変換フラグの情報を取得して、それらの情報を再符号化情報６０４として設定する。

続いて、ステップＳ１０５で、抽出した符号化情報に含まれるＭＰＥＧ−２量子化パラメータＱＳＣをキーにしてＱＳＣ−Ｑｓ対応テーブル４００を参照することで、そのＭＰＥＧ−２量子化パラメータＱＳＣに対応付けられるＨ．２６４量子化ステップＱｓを取得して、その情報を再符号化情報６０４として設定する。

続いて、ステップＳ１０６で、Ｈ．２６４の規定するエンコード手順に従い、設定した再符号化情報６０４の指示に従ってデコード映像をＨ．２６４符号化することで、Ｈ．２６４ストリームを生成して出力する。

このようにして、本実施形態例の映像再符号化装置１は、符号化されたＭＰＥＧ−２ストリーム６０１を入力し、それをいったんデコードして、そのデコードした映像をＨ．２６４符号化することでＨ．２６４ストリームを生成するときに、図２に示すような変換テーブル構造を持つ符号化情報変換テーブル３００に従って、入力したＭＰＥＧ−２ストリーム６０１のＭＰＥＧ−２符号化に用いられた符号化情報の一部をＨ．２６４符号化に必要となる符号化情報に変換して、その変換した符号化情報を使ってＨ．２６４符号化することで、Ｈ．２６４ストリームを生成するように処理するのである。

前述したように、初回ＭＰＥＧ−２エンコードの際の符号化情報と同一の符号化情報の指示に従って２回目のＭＰＥＧ−２エンコードを実施すれば、ほとんど画質劣化なしに再エンコードが可能になる。

しかしながら、これでは符号量を削減できないという問題がある。符号量の削減を実現するには、量子化ステップＱｓを大きくすればよいが、前述したように、量子化ステップＱｓを大きくすると、大きな画質劣化が発生する。

これを解決するために、ＭＰＥＧ−２よりも符号化性能の高いＨ．２６４で２回目のエンコードを実行することで、量子化ステップＱｓを変更しなくとも、符号量を削減することが可能と考えられる。

しかしながら、前述したように、ＭＰＥＧ−２よりも符号化性能の高いＨ．２６４で２回目のエンコードを実行しても、実際には大きな画質劣化が発生する。

その大きな原因は、ＭＰＥＧ−２では、ＩｎｔｒａＭＢは隣接ＭＢの影響を受けずに、各ＭＢ単独で符号化が可能であるのに対し、Ｈ．２６４では、ＩｎｔｒａＭＢは画面内予測符号化、つまり隣接ＭＢの画素値に依存した符号化が不可避であるという点にある。

すなわち、ＭＰＥＧ−２では、符号化対象のＩｎｔｒａＭＢの画像信号を直接ＤＣＴ変換するのに対して、Ｈ．２６４では、隣接ＭＢの画素値から符号化対象のＩｎｔｒａＭＢの画像信号を予測して、その予測値との予測残差信号をＤＣＴ変換するようにしている。これにより高い符号化性能が実現されることになるのであるが、一方で、これによりＨ．２６４で２回目のエンコードを実行すると画質が劣化することが避けられない。

そこで、本発明では、ＭＰＥＧ−２符号化においてＩｎｔｒａＭＢとして符号化したＭＢについては、隣接ＭＢの隣接する特定画素の画素値の平均値をＩｎｔｒａＭＢの画像信号の予測信号とするＤＣモードの画面内予測を使って、Ｈ．２６４で符号化するようにする。

ＤＣモードの画面内予測では、ＩｎｔｒａＭＢ内の各画像信号のレベル値が一定のＤＣレベル分したものになるので、そのシフト結果の予測残差信号をＤＣＴ変換することで求められる非直流成分以外のＤＣＴ係数については、ＩｎｔｒａＭＢの画像信号を直接ＤＣＴ変換することで求められる非直流成分以外のＤＣＴ係数とほぼ一致することになる。

これから、本発明では、ＭＰＥＧ−２においてＩｎｔｒａＭＢとして符号化したＭＢについては、隣接ＭＢの隣接する特定画素の画素値の平均値をＩｎｔｒａＭＢの画像信号の予測信号とするＤＣモードの画面内予測を使って、Ｈ．２６４で符号化するようにするのである。

ただし、このとき、ＭＰＥＧ−２符号化におけるＤＣＴ変換サイズ（８×８である）と、Ｈ．２６４符号化におけるＤＣＴ変換サイズ（整数精度ＤＣＴ変換サイズ）とが異なると、この違いにより画質が劣化することが避けられない。

そこで、本発明では、Ｈ．２６４符号化におけるＤＣＴ変換サイズが８×８となるようにと、８×８変換フラグに１を設定するのである。Ｈ．２６４符号化では、符号化性能の向上を図るために、ＭＰＥＧ−２符号化と違って様々なＤＣＴ変換サイズを用いることが可能となっているので、再符号化情報６０４で８×８変換フラグに１を設定することで、Ｈ．２６４エンコード部５００に対して、ＤＣＴ変換サイズが８×８となるように指示するのである。

ここで、Ｈ．２６４符号化において、ＤＣＴ変換サイズとして８×８を用いることができるＭＢサイズは８×８である。ＭＰＥＧ−２符号化におけるＭＢサイズは１６×１６であるが、画質劣化を防止するために、Ｈ．２６４符号化においてＤＣＴ変換サイズを８×８にする必要があることから、再符号化情報６０４では、Ｈ．２６４符号化におけるＭＢサイズとして８×８を用いるように指示している。

一方、ＩｎｔｅｒＭＢについては、ＭＰＥＧ−２符号化の残差画像とＨ．２６４符号化の残差画像とは、ともに隣接ＭＢの画素値の影響を受けることはない。したがって、ＩｎｔｅｒＭＢに起因する画質劣化はほとんどない。

これから、本発明では、ＭＰＥＧ−２符号化においてＰピクチャ、前方向で符号化されたＩｎｔｅｒＭＢについては、それに該当するＰ＿Ｌ０＿１６×１６のＭＢタイプでＨ．２６４符号化し、ＭＰＥＧ−２符号化においてＢピクチャ、前方向で符号化されたＩｎｔｅｒＭＢについては、それに該当するＢ＿Ｌ０＿１６×１６のＭＢタイプでＨ．２６４符号化し、ＭＰＥＧ−２符号化においてＢピクチャ、後方向で符号化されたＩｎｔｅｒＭＢについては、それに該当するＢ＿Ｌ１＿１６×１６のＭＢタイプでＨ．２６４符号化し、ＭＰＥＧ−２符号化においてＢピクチャ、双方向で符号化されたＩｎｔｅｒＭＢについては、それに該当するＢ＿Ｂｉ＿１６×１６のＭＢタイプでＨ．２６４符号化するようにしている。

ただし、このとき、ＭＰＥＧ−２符号化におけるＤＣＴ変換サイズ（８×８である）と、Ｈ．２６４符号化におけるＤＣＴ変換サイズとが異なると、この違いにより画質が劣化することが避けられない。

そこで、本発明では、ＩｎｔｅｒＭＢについても、Ｈ．２６４符号化におけるＤＣＴ変換サイズが８×８となるようにと、８×８変換フラグに１を設定するのである。

この本発明の構成に従って、エンコードの際の符号化情報とほぼ同一の符号化情報の指示に従って２回目のエンコードを実施することが可能になる。唯一異なる点は、ＭＰＥＧ−２符号化では実数精度のＤＣＴ変換を行うのに対して、Ｈ．２６４符号化では整数精度のＤＣＴ変換を行う点である。ただ、この２つのＤＣＴ変換により求められるＤＣＴ係数の違いは僅かなものであり、ほとんどの場合、量子化で吸収されることになるので、このＤＣＴ変換の違いにより画質が劣化するということはほとんど起こらない。

このようにして、本実施形態例の映像再符号化装置１によれば、ＭＰＥＧ−２ストリームを処理対象として再エンコード処理を実行するときに、ほとんど画質劣化なしに、しかも、符号量の削減を実現しつつ、その再エンコード処理を実行することができるようになる。

次に、図６を使って、本実施形態例の映像再符号化装置１の実行する処理について、さらに詳細に説明する。

ここで、図６は、本発明の画像データ等の流れを示すためのフロー図であり、従来の画像データの流れを示した図１７と同様に、１回目のＭＰＥＧ−２エンコードとＭＰＥＧ−２デコード、２回目のＨ．２６４エンコードとＨ．２６４デコードの様子を示している。

ここで、図６の第１列、第２列、第３列、第４列の処理は、それぞれ、図１２に示す従来のＭＰＥＧ−２エンコード回路４０、図３に示す本発明のＭＰＥＧ−２デコード部１００、図４に示す本発明のＨ．２６４エンコード部５００、図１５に示す従来のＨ．２６４デコード回路５０で実施される。

すなわち、図６の第２列と第３列、つまり、１回目のＭＰＥＧ−２デコードと２回目のＨ．２６４エンコードとが本発明に相当する。

また、従来フローを示した図１７と本発明のフローを示した図６との対応は、図１７のＭＰＥＧ−２ストリーム１が図６のＭＰＥＧ−２ストリーム１に、図１７のＨ．２６４ストリーム１が図６のＨ．２６４ストリーム１に、それぞれ対応する。

図６に示す本発明の１回目のエンコードと１回目のデコードは、図１７に示す従来の１回目のエンコードと１回目のデコードと全く同じである。異なる点は、本発明が、２回目のエンコードの際に、再符号化情報６０４の指示に従ってエンコードする点である。

図１に示すＭＰＥＧ−２デコード部１００は、ＭＰＥＧ−２ストリーム６０１を入力し、これをデコードし、デコード映像６０２を出力する。図６では、〔ａ’，ｂ’，ｃ’，ｄ’〕がデコード映像６０２に相当する。

図１に示す符号化情報変換部２００は、符号化情報６０３を入力し、ピクチャ構造、ピクチャタイプ、量子化マトリックス、各ＭＢのフレーム／フィールド情報および各ＭＢの動きベクトルの情報については変更せずにそのまま再符号化情報６０４として出力するとともに、ＭＢ毎のイントラ／インター情報およびＭＢ毎の動き予測方向情報から、符号化情報変換テーブル３００に従い、Ｈ．２６４符号化に必要となるＭＢタイプ、画面内予測モードおよび８×８変換フラグの情報を取得して再符号化情報６０４として出力し、さらに、ＱＳＣ−Ｑｓ対応テーブル４００に従い、符号化情報６０３に含まれるＭＰＥＧ−２量子化パラメータＱＳＣに対応付けられるＨ．２６４量子化ステップＱｓを取得して再符号化情報６０４として出力する。

なお、ＭＰＥＧ−２ストリームにおいて、量子化ステップＱｓは、 quanitser＿scale ＿codeと呼ばれる１から３１の整数の形で格納されている。Ｑｓと quanitser＿scale ＿codeとの対応は、ＭＰＥＧ−２の国際規格で定義されている。

図６では、ＭＰＥＧ−２符号化の際に、 Quanitser＿Scale ＿Type＝０、かつＱＳＣ＝２０、かつＩｎｔｒａエンコードされたＭＢが処理される例を示しており、符号化情報変換部２００は、ＱＳＣ＝２０に対応する量子化ステップＱｓ＝１０を求めるとともに、図２に示す符号化情報変換テーブル３００を使用して、ＭＢタイプ、画面内予測モード、８×８変換フラグを求めている。そして、このようにして求めたＭＢタイプ＝Ｉ８×８（Ｉ・８×８）、画面内予測モード＝ＤＣモード、８×８変換フラグ＝１と、符号化情報６０３に含まれるピクチャ構造、ピクチャタイプ、量子化マトリックス、各ＭＢのフレーム／フィールド情報、各ＭＢの動きベクトルとを、再符号化情報６０４としてＨ．２６４エンコード部５００に出力する。

これを受けて、図１に示すＨ．２６４エンコード部５００は、符号化情報変換部２００から出力される再符号化情報６０４に記載されたデコード映像の各スライスおよび各ＭＢの符号化方法に従い、各スライスおよび各ＭＢをＨ．２６４符号化し、Ｈ．２６４ストリーム６０５を出力する。

以上が図６に示す本発明の動作である。以下、本発明と従来技術との差異について述べる。

図６において、２回目エンコードの際に、ＭＥ後の画素残差は、〔ｉ，ｊ，ｋ，ｌ〕で示されている。この画素残差〔ｉ，ｊ，ｋ，ｌ〕は、図４の信号５０１に対応する。ＭＰＥＧ−２のＩｎｔｒａＭＢは、画面内予測がないため、隣接ＭＢの画素値の影響を全く受けることなくＭＰＥＧ−２エンコードが可能である。

これに対し、本発明では、ＭＢタイプ＝Ｉ８×８、画面内予測モード＝ＤＣモード、整数精度ＤＣＴ変換サイズ８×８でＨ．２６４エンコードする。画面内予測モード＝ＤＣモードであるため、隣接ＭＢの画素値の影響を受ける。

このため、本発明において、ＭＰＥＧ−２デコード時のＭＣ前の画素残差（図６の〔ａ，ｂ，ｃ，ｄ〕、図３の信号１０３）と、Ｈ．２６４エンコード時のＭＥ後の画素残差（図６の〔ｉ，ｊ，ｋ，ｌ〕、図４の信号５０１）とは異なるものの、両者の差分の大部分はＤＣオフセット分（Δ）であり、たとえば、ａ＝ｉ＋Δ，ｂ＝ｊ＋Δ，ｃ＝ｋ＋Δ，ｄ＝ｌ＋Δである。

これらの画素残差を直交変換（ＭＰＥＧ−２ならＤＣＴ変換、Ｈ．２６４なら整数精度ＤＣＴ変換）すると、直流成分は大きく異なるものの、直流成分以外は直交変換種別の違いに起因する分だけが異なるだけで直流成分の差異に比べて小さい。

詳細に言えば、ＭＰＥＧ−２デコード時のＤＣＴ係数（図６の〔４０，３０，２０，１０〕、図３の信号１０２）の直流成分（図６の〔４０，３０，２０，１０〕の４０）と、Ｈ．２６４エンコード時の整数精度ＤＣＴ係数（図６の〔５３，３３，２２，１１〕、図４の信号５０２）の直流成分（図６の〔５３，３３，２２，１１〕の５３）とは、４０と５３というように大きく異なるが、ＭＰＥＧ−２デコード時の直流以外のＤＣＴ係数（図６の〔４０，３０，２０，１０〕の３０，２０，１０）とＨ．２６４エンコード時の直流以外の整数精度ＤＣＴ係数（図６の〔５３，３３，２２，１１〕の３３，２２，１１）との差は、直流成分の差異に比べ小さく、僅かに直交変換種別の違いに起因する分だけであり、これらは小さい。

すでに図１３で示したように、図１３の２回めのエンコード時の量子化の際に、ＭＰＥＧ−２デコード時の直流以外のＤＣＴ係数（図１３の〔４０，３０，２０，１０〕の３０，２０，１０）をＭＰＥＧ−２量子化時の量子化ステップ（図１３ではＱｓ＝１０）で量子化すると、量子化雑音の混入はない。

したがって、ＭＰＥＧ−２デコード時の直流以外のＤＣＴ係数（図６の〔４０，３０，２０，１０〕の３０，２０，１０）と僅かに直交変換種別の違いに起因する分だけが異なるＨ．２６４エンコード時の直流以外の整数精度ＤＣＴ係数（図６の〔５３，３３，２２，１１〕の３３，２２，１１）に対して、同様な量子化（つまり、ＭＰＥＧ−２量子化時の量子化ステップ（図６ではＱｓ＝１０）でＨ．２６４量子化）を行う場合においても、この量子化過程で混入する直流成分以外の量子化雑音は極めて少ない。

１回目のＭＰＥＧ−２デコード画像（図６の〔ａ’，ｂ’，ｃ’，ｄ’〕）から、２回目のＨ．２６４デコード画像（図６の〔Ｉ’，Ｊ’，Ｋ’，Ｌ’〕）に至るまでの各処理（Ｈ．２６４の動き探索、整数精度ＤＣＴ変換、量子化、ＣＡＢＡＣ、逆ＣＡＢＡＣ、逆量子化、逆整数精度ＤＣＴ変換、動き補償）において、大きな雑音が混入する処理は量子化処理のみである。この量子化処理において、直流成分を除いた周波数領域に関して、極めて少ない量子化雑音しか混入しない。

つまり、本発明によれば、入力したＭＰＥＧ−２ストリームに極めて僅かな雑音しか含まないＨ．２６４ストリームが得られる。

これに対し、従来技術においては、画素残差の総和が最小になるような画面内予測モードが選択されることが多いが、どの画面内予測モードを選択したとしても、Ｈ．２６４規格で規定されている全ての画面内予測モードは、隣接ＭＢの画素値の影響を受ける。

このため、従来技術においても、ＭＰＥＧ−２デコード時のＭＣ前の画素残差（図１７の〔ａ，ｂ，ｃ，ｄ〕、図１１の信号３３）と、Ｈ．２６４エンコード時のＭＥ後の画素残差（図１７の〔ｐ，ｑ，ｒ，ｓ〕、図１６の信号６１）とは異なり、両者に相関は一般にない。そのため、両者を直交変換しても、直交変換後も両者に相関はなく、一般に全ての周波数領域で一様に差異が発生する。

詳細に言えば、ＭＰＥＧ−２デコード時のＤＣＴ係数（図１７の〔４０，３０，２０，１０〕、図１１の信号３２）と、Ｈ．２６４エンコード時の直交変換後の整数精度ＤＣＴ係数（図１７の〔４０，２０，２５，１５〕，図１６の信号６２）との相関は小さい。このため、画素残差の総和が最小になるような画面内予測モードを使用してあることで、たとえＨ．２６４エンコード時の直交変換後の整数精度ＤＣＴ係数（図１７の〔４０，２０，２５，１５〕，図１６の信号６２）が小さくなったとしても、両者の各周波数成分毎の差異は、本発明における差異に比べ、一般に大きい。

本発明では、ＭＰＥＧ−２デコード時の直流以外のＤＣＴ係数（図６の〔４０，３０，２０，１０〕の３０，２０，１０）と、Ｈ．２６４エンコード時の直流以外の整数精度ＤＣＴ係数（図６の〔５３，３３，２２，１１〕の３３，２２，１１）とに直交変換種別の違いに起因する分の差のみしかなかったために、次段の量子化過程で混入する直流成分以外の量子化雑音は極めて少なくすることができた。

これに対して、従来技術では、ＭＰＥＧ−２デコード時のＤＣＴ係数（図１７の〔４０，３０，２０，１０〕）と、Ｈ．２６４エンコード時の整数精度ＤＣＴ係数（図１７の〔４０，２０，２５，１５〕）との差異は、本発明における差異に比べて一般に大きいため、次段の量子化過程（図１７の〔４０，２０，２５，１５〕から図１７の〔４，２，２，１〕に量子化する過程）で混入する量子化雑音も、一般に大きい。

従来技術では、１回目のＭＰＥＧ−２デコード画像（図１７の〔ａ’，ｂ’，ｃ’，ｄ’〕）から、２回目のＨ．２６４デコード画像（図１７の〔Ｐ’，Ｑ’，Ｒ’，Ｓ’〕）に至るまでに、この混入する量子化雑音の多い量子化過程が含まれるため、両デコード画像の差異の差が大きい。つまり、従来技術では、入力したＭＰＥＧ−２ストリームに本発明に比べて大きな雑音が含まれたＨ．２６４ストリームが生成されることになる。

これまでの説明では、ＭＰＥＧ−２でＩｎｔｒａＭＢとして符号化されたＭＢを例にとって述べたが、ＩｎｔｅｒＭＢの場合は、ＩｎｔｒａＭＢの場合に比べて、ＭＰＥＧ−２のデコード画像（図６では〔ａ’，ｂ’，ｃ’，ｄ’〕）と、Ｈ．２６４のデコード画像（図６では、〔Ｉ’，Ｊ’，Ｋ’，Ｌ’〕）とは、一致する場合がさらに多くなる。以下、その理由を説明する。

ＩｎｔｒａＭＢの場合、ＭＰＥＧ−２のデコード画像（図６では〔ａ’，ｂ’，ｃ’，ｄ’〕）と、Ｈ．２６４のデコード画像（図６では、〔Ｉ’，Ｊ’，Ｋ’，Ｌ’〕）との一致を阻害する２つの阻害点があった。

第１の阻害点は、ＭＰＥＧ−２の残差画像は隣接ＭＢの画素値の影響を全く受けることがないのに対し、Ｈ．２６４の残差画像はどのモードを選んでも隣接ＭＢの画素値の影響を受けるためにＭＰＥＧ−２とＨ．２６４の残差画像一致させることは一般に困難であるという点である。第２の阻害点は、もともとＭＰＥＧ−２とＨ．２６４のＤＣＴ変換が異なるため、両者のＤＣＴ変換後のＤＣＴ係数を一致させることは一般に困難であるという点である。

これに対し、ＩｎｔｅｒＭＢでは、ＭＰＥＧ−２残差画像とＨ．２６４残差画像とは、ともに隣接ＭＢの画素値の影響を受けないため、Ｈ．２６４残差画像をＭＰＥＧ−２残差画像と一致させることができる。

具体的には、ＭＰＥＧ−２のＩｎｔｅｒＭＢのピクチャタイプと予測方向が（Ｐ，前方向）、（Ｂ，前方向），（Ｂ，後方向）、（Ｂ，双方向）の場合、Ｈ．２６４のＭＢタイプをそれぞれ、Ｐ＿Ｌ０＿１６ｘ１６、Ｂ＿Ｌ０＿１６ｘ１６、Ｂ＿Ｌ１＿１６ｘ１６、Ｂ＿Ｂｉ＿１６ｘ１６に選び、ＭＰＥＧ−２で使用されている前方向ベクトル、後ろ方向ベクトル、双方向ベクトルを用いてＨ．２６４で符号化すれば、Ｈ．２６４残差画像をＭＰＥＧ−２残差画像と一致させることができる。

つまり、ＩｎｔｒａＭＢで存在していた２つの阻害点のうちの１つである、Ｈ．２６４とＭＰＥＧ−２の残差画像の一致が困難であるという点が、ＩｎｔｅｒＭＢの場合には存在しないのである。このため、ＩｎｔｅｒＭＢの場合は、ＭＰＥＧ−２のデコード画像（図６では〔ａ’，ｂ’，ｃ’，ｄ’〕）と、Ｈ．２６４のデコード画像（図６では、〔Ｉ’，Ｊ’，Ｋ’，Ｌ’〕）とは、ＩｎｔｒａＭＢの場合に比べて、差異が小さくなる。

つまり、本発明では、ＩｎｔｒａＭＢだけでなく、ＩｎｔｅｒＭＢの場合も、Ｈ．２６４のデコード画像の画質劣化を低減できる。

一方、ＩｎｔｒａＭＢで存在していた２つの阻害点のもう１つである、ＭＰＥＧ−２とＨ．２６４のＤＣＴ変換が異なるという点（ＩｎｔｅｒＭＢでも存在する）については、本発明でも解消できない。しかしながら、このＤＣＴ変換の違いは、一方が実数精度のＤＣＴ変換で、他方が整数精度のＤＣＴ変換という違いであり、この違いにより発生する両者のＤＣＴ変換後のＤＣＴ係数の違いはそれほど大きなものではなく、ほとんどの場合量子化で吸収されることになるので、このＤＣＴ変換の違いにより画質が劣化するということはほとんど起こらない。

以上説明したように、図１のように構成される本発明の映像再符号化装置１によれば、ＭＰＥＧ−２ストリームを処理対象として再エンコード処理を実行するときに、ほとんど画質劣化なしに、しかも、符号量の削減を実現しつつ、その再エンコード処理を実行することができるようになる。

図７に、本発明と従来手法のＰＳＮＲ比較を示す。このＰＳＮＲ比較は、Ｈ．２６４の量子化ステップをパラメータとして、計算機シミュレーションで求めた本発明と従来手法によってＨ．２６４再エンコードした場合のＰＳＮＲ特性である。

この計算機シミュレーションでは、１回目のＭＰＥＧ−２符号化において、ピクチャ構造はフレーム、ピクチャタイプはＩピクチャで、すべてのＭＢはＩｎｔｒａＭＢかつフレームＭＢで量子化ステップＱｓ＝１０で符号化された画像サイズ７２０×４８０画素、符号量５１０．８ｋｂｉｔのＭＰＥＧ−２ストリームを、本発明と従来手法の両手法に入力することで行った。ここで、従来手法とは、全てのＭＢをＩｎｔｒａＭＢとしてＨ．２６４符号化するもので、前述したようにＭＡＤが最小となる画面内符号化モードをＭＢ毎に選択する手法とする。

図７で、横軸が１フレーム分の発生符号量、縦軸がＰＳＮＲであり、＊印で示された点が入力した当該ＭＰＥＧ−２ストリームのＰＳＮＲと符号量を示す。

この計算機シミュレーションにより、ＭＰＥＧ−２と同一の量子化ステップＱｓ＝１０で、本発明によるＨ．２６４再符号化エンコードした場合、約４６０ｋｂｉｔの符号量でＰＳＮＲ＝３５．２ｄＢが得られるのに対し、従来手法で同様のＰＳＮＲを得るためには、より大きい約６４０ｋｂｉｔの符号量を必要とすることが分かる。再エンコードで得られるストリームが約４２０ｋｂｉｔ以上の領域において、本発明は、従来手法に比べ優位性が見られることが分かる。

この実験結果からも分かるように、再符号化情報６０４で指定する量子化ステップＱｓは、符号化情報６０３に含まれるＭＰＥＧ−２量子化パラメータＱＳＣに対応付けられるＨ．２６４量子化ステップＱｓと完全に一致させる必要はなく、要するに、画質劣化が許容される範囲で一致させるようにすればよい。

次に、本発明の映像再符号化装置１の他の実施形態例について説明する。

以下で、説明の便宜上、これまでに説明した実施形態例を第１の実施形態例と記し、これから説明する実施形態例を第２の実施形態例と記す。

前述したように、ＭＰＥＧ−２とＨ．２６４のＤＣＴ変換の違いにより、得られるＤＣＴ変換後のＤＣＴ係数がある程度異なったとしても、ＭＰＥＧ−２の逆量子化で得られるＤＣＴ係数とＨ．２６４の逆量子化で得られる整数精度ＤＣＴ係数とは直流成分を除いて一致する場合が多くなる。この場合、ＭＰＥＧ−２のデコード画像とＨ．２６４のデコード画像とは、一致する場合が多くなり、Ｈ．２６４のデコード画像の画質劣化を小さくすることができる。

しかしながら、一部のＭＢでは、Ｈ．２６４のデコード画像の画質劣化を小さくすることができない場合も僅かながら存在する。第２の実施形態例は、この問題点を解決するものである。

第２の実施形態例では、この問題点を解決するために、図１に示すＨ．２６４エンコード部５００として、図８のように構成されるものを用いる。

第２の実施形態例を実現する場合、Ｈ．２６４エンコード部５００は、この図に示すように、動き探索部５０１、整数精度ＤＣＴ変換部５０２、量子化部５０３、エントロピー符号化部５０４、逆量子化部５０５、逆整数精度ＤＣＴ変換部５０６に加えて、切替部５１０と、画質比較部５２０とを備える。

この切替部５１０は、図１に示す符号化情報変換部２００の出力する再符号化情報６０４と、画質比較部５２０の出力する符号化方法指示信号５３０とを入力し、符号化方法指示信号５３０が“設定”を示している場合は、再符号化情報６０４をそのまま符号化情報５４０として出力し、符号化方法指示信号５３０が“未設定”を示している場合は、独自動作を指示する情報（以下、“独自動作指示”と記す）を符号化情報５４０として出力する。

動き探索部５０１は、第２の実施形態例を実現する場合には、図１に示すＭＰＥＧ−２デコード部１００の出力するデコード映像６０２と、切替部５１０の出力する符号化情報５４０と、逆整数精度ＤＣＴ変換部５０６の出力する再生画像信号５５０とを入力し、符号化情報５４０が“独自動作指示”を示している場合には、通常の動き探索処理を行って動きベクトルを求め、符号化情報５４０が“符号化情報（再符号化情報６０４）”を示している場合には、符号化情報５４０で指定された動きベクトル、動き予測モードを使い、デコード映像６０２の残差画像を求めて整数精度ＤＣＴ変換部５０２に出力する。

整数精度ＤＣＴ変換部５０２は、第２の実施形態例を実現する場合には、動き探索部５０１の出力する残差画像と、切替部５１０の出力する符号化情報５４０とを入力し、符号化情報５４０が“独自動作指示”を示している場合には、通常の整数精度ＤＣＴ変換を実施し整数精度ＤＣＴ信号を求めて量子化部５０３に出力し、符号化情報５４０が“符号化情報（再符号化情報６０４）”を示している場合には、符号化情報５４０に含まれる８×８変換フラグに従って、サイズ８×８の整数精度ＤＣＴ変換を実施し整数精度ＤＣＴ信号を求めて量子化部５０３に出力する。

量子化部５０３は、整数精度ＤＣＴ変換部５０２の出力する整数精度ＤＣＴ信号と、切替部５１０の出力する符号化情報５４０とを入力し、符号化情報５４０が“独自動作指示”を示している場合には、従来通りＨ．２６４量子化ステップＱｓで量子化を行い量子化信号を求めて出力し、符号化情報５４０が“符号化情報（再符号化情報６０４）”を示している場合には、符号化情報５４０に含まれるＨ．２６４量子化ステップＱｓで指定された値で量子化を行い量子化信号を求めて出力する。

エントロピー符号化部５０４は、量子化部５０３の出力する量子化信号を入力し、ＣＡＢＡＣあるいはＣＡＶＬＣ等のエントロピー符号化を行いＨ．２６４ビットストリーム６０５を求めて出力するとともに、エントロピー符号化で発生した符号量を発生符号量５６０として画質比較部５２０に出力する。

逆量子化部５０５は、量子化部５０３の出力する量子化信号を入力し、逆量子化を行い逆量子化信号を求めて逆整数精度ＤＣＴ変換部５０６に出力する。

逆整数精度ＤＣＴ変換部５０６は、逆量子化部５０５の出力する逆量子化信号を入力し、逆整数精度ＤＣＴ変換を行い再生画像信号５５０を求めて、動き探索部５０１に出力するとともに、画質比較部５２０に出力する。

画質比較部５２０は、図１に示すＭＰＥＧ−２デコード部１００の出力するデコード映像６０２と、逆整数精度ＤＣＴ変換部５０６の出力する再生画像信号５５０と、エントロピー符号化部５０４の出力する発生符号量５６０とを入力し、固定周期で符号化方法指示信号５３０を“未設定”と“設定”とに切り替えて出力するとともに、入力信号に従って、符号化方法指示信号５３０が“未設定”と“設定”のときで符号化性能を求めて、より高い符号化性能を得られる場合を選択して、その選択結果を最終符号化指示信号５７０として各処理部５０１〜５０６に出力する。

画質比較部５２０は、この処理を実行するために、図８中に示すように、たとえば、（１）デコード映像６０２と再正画像信号５５０と発生符号量５６０とを入力し、それらの入力信号に基づいて符号化性能信号５８０を求める符号化性能算出部５２１と、（２）符号化方法指示信号５３０を、固定周期で“未設定”と“設定”に切り替えて出力する符号化方法指示部５２２と、（３）符号化性能信号５８０と符号化方法指示信号５３０とを入力し、符号化方法指示信号５３０が“未設定”のときの符号化性能信号５８０と符号化方法指示信号５３０が“設定”のときの符号化性能信号５８０とを比較し、より高い符号化性能を示した符号化性能信号５８０と同じ値を、最終符号化指示信号５７０として出力する最終符号化指示部５２３とで構成される。

図９に、このように構成されるＨ．２６４エンコード部５００の実行するフローチャートを図示する。

次に、このフローチャートに従って、このように構成されるＨ．２６４エンコード部５００が第２の実施形態例を実現すべく実行する処理について説明する。

ここで、第２の実施形態例において、図１に示すＭＰＥＧ−２デコード部１００および符号化情報変換部２００の動作については、第１の実施形態例と同一であり、Ｈ．２６４エンコード部５００の動作のみが異なる。

Ｈ．２６４エンコード部５００は、第２の実施形態例を実現する場合には、１ピクチャ周期、１スライス周期、１マクロブロック周期などで定義される規定の評価周期（切り替えの周期）に到達すると、図９のフローチャートに示すように、まず最初に、ステップＳ２００で、図１に示す符号化情報変換部２００の出力する再符号化情報６０４を選択する。

この再符号化情報６０４の選択は、具体的には、画質比較部５２０が切替部５１０に対して“設定”を示す符号化方法指示信号５３０を出力することで実行され、これを受けて、切替部５１０は、符号化情報変換部２００の出力する再符号化情報６０４を選択して、それをそのまま符号化情報５４０として出力することで行われる。

続いて、ステップＳ２０１で、再符号化情報６０４の指示に従って、図１に示すＭＰＥＧ−２デコード部１００の出力するデコード映像６０２をＨ．２６４符号化してＨ．２６４ストリーム６０５を生成するとともに、そのときの発生符号量５６０を算出する。ただし、このとき、生成したＨ．２６４ストリーム６０５を外部に出力することはしない。

このＨ．２６４符号化については、図４および図５で説明した第１の実施形態例と同一の手順に従って実行する。すなわち、符号化情報５４０（再符号化情報６０４）を入力する動き探索部５０１、整数精度ＤＣＴ変換部５０２、量子化部５０３は、図４および図５で説明した動作を行う。そして、符号化情報５４０（再符号化情報６０４）を入力しない逆量子化部５０５、逆整数精度ＤＣＴ変換部５０６もまた、図４および図５で説明した動作を行う。ただし、エントロピー符号化回路５０４は、図４および図５で説明した動作に加えて、発生符号量５６０を算出する処理を実行する。

続いて、ステップＳ２０２で、デコード映像６０２と再生画像信号５５０と発生符号量５６０とに基づいて符号化性能信号５８０を算出し、その値を一時的に記憶する。

この符号化性能信号５８０の算出・記憶は、具体的には、画質比較部５２０で実行され、画質比較部５２０は、たとえば、その内部機構である符号化性能算出部５２１において、デコード映像６０２と再生画像信号５５０と発生符号量５６０とを入力し、それらの入力信号から符号化性能信号５８０を算出することで行われる。この符号化性能信号５８０の算出方法には、各種の方法が使用できるが、たとえば信号雑音電力比（ＳＮＲ）などである。そして、内部機構である最終符号化指示部５２３において、符号化方法指示信号５３０が“設定”の場合に求められた値として、“設定”を示す情報に対応付けて、その符号化性能信号５８０の値を一時的に記録しておくことで行われる。

続いて、ステップＳ２０３で、ステップＳ２００で選択した再符号化情報６０４に代えて、独自動作指示を選択する。

この独自動作指示の選択は、具体的には、画質比較部５２０が切替部５１０に対して“未設定”を示す符号化方法指示信号５３０を出力することで実行され、これを受けて、切替部５１０は、独自動作指示を示す情報を選択して、それを符号化情報５４０として出力することで行われる。

続いて、ステップＳ２０４で、従来のＨ．２６４エンコード回路（図１６に示すもの）と同様の動作に従って、図１に示すＭＰＥＧ−２デコード部１００の出力するデコード映像６０２をＨ．２６４符号化してＨ．２６４ストリーム６０５を生成するとともに、そのときの発生符号量５６０を算出する。ただし、このとき、生成したＨ．２６４ストリーム６０５を外部に出力することはしない。

すなわち、この場合には、動き探索部５０１、整数精度ＤＣＴ変換部５０２、量子化部５０３、逆量子化部５０５、逆整数精度ＤＣＴ変換部５０６は、従来のＨ．２６４エンコード回路（図１６に示すもの）と同様な動作を行う。図４および図５で説明した動作との差分でいえば、図４に示すＨ．２６４エンコード部５００では再符号化情報６０４に従って各処理部が動作していたのに対し、この場合には、各処理部は再符号化情報６０４なしに独自の選択基準で動作するのである。ただし、エントロピー符号化回路５０４は、従来のＨ．２６４エンコード回路と同様な動作に加えて、発生符号量５６０を算出する処理を実行する。

たとえば、動き探索部５０１は、デコード映像６０２と再生画像信号５５０とを入力し、動き探索処理を行って、たとえばＳＡＤ値が最小となるような動きベクトルを求め、それを使用してデコード映像６０２の残差画像信号を求めて、それを出力する。また、整数精度ＤＣＴ変換部５０２は、動き探索部５０１の出力する残差画像信号を入力し、サイズ４×４または８×８の整数精度ＤＣＴ変換を実施して整数精度ＤＣＴ信号を求めて、それを出力する。

また、量子化部５０３は、整数精度ＤＣＴ変換部５０２の出力する整数精度ＤＣＴ信号を入力し、Ｈ．２６４量子化ステップＱｓで量子化を行って量子化信号を求めて、それを出力する。エントロピー符号化部５０４は、量子化部５０３の出力する量子化信号を入力し、ＣＡＢＡＣあるいはＣＡＶＬＣ等のエントロピー符号化を行ってＨ．２６４ストリーム６０５を生成する。ただし、第２の実施形態例を実現する場合には、エントロピー符号化部５０４は、そのときの発生符号量５６０についても算出する。

また、逆量子化部５０５は、量子化部５０３の出力する量子化信号を入力し、逆量子化を行って逆量子化信号を求めて、それを出力する。また、逆整数精度ＤＣＴ変換部５０６は、逆量子化部５０５の出力する逆量子化信号を入力し、これに逆整数精度ＤＣＴ変換を実施して再生画像信号５５０を求めて、それを出力する。

続いて、ステップＳ２０５で、デコード映像６０２と再生画像信号５５０と発生符号量５６０とに基づいて符号化性能信号５８０を算出し、その値を一時的に記憶する。

この符号化性能信号５８０の算出・記憶は、ステップＳ２０２の処理と同様に、具体的には、画質比較部５２０が実行するものである。画質比較部５２０は、たとえば、符号化性能算出部５２１において、デコード映像６０２と再生画像信号５５０と発生符号量５６０とを入力し、それらの入力信号から符号化性能信号５８０を算出し、最終符号化指示部５２３において、符号化方法指示信号５３０が“未設定”の場合に求められた値として、“未設定”を示す情報に対応付けて、その符号化性能信号５８０の値を一時的に記録しておくことで行われる。

続いて、ステップＳ２０６で、符号化方法指示信号５３０が“設定”の場合に求めた符号化性能信号５８０（ステップＳ２０２で求めた符号化性能信号５８０）と、符号化方法指示信号５３０が“未設定”の場合に求めた符号化性能信号５８０（ステップＳ２０５で求めた符号化性能信号５８０）との大小を比較する。

この比較は、具体的には、画質比較部５２０の内部機構である最終符号化指示部５２３で実行され、最終符号化指示部５２３は、ステップＳ２０２で一時的に記憶した符号化性能信号５８０と、ステップＳ２０５で一時的に記憶した符号化性能信号５８０との大小を比較することで、この比較を行う。

続いて、ステップＳ２０７で、この比較により、符号化方法指示信号５３０が“設定”の場合に求めた符号化性能信号５８０の方が符号化性能がよいという比較結果が得られたのか否かを判断して、そういう比較結果が得られたことを判断するときには、ステップＳ２０８に進んで、符号化方法指示信号５３０が“設定”の場合に求めたＨ．２６４ストリームを出力するとともに、各処理部の状態を符号化方法指示信号５３０が“設定”の場合のときの内部状態、すなわち、再符号化情報６０４の指示する内部状態に戻して、処理を終了する。

この処理は、具体的には、画質比較部５２０の内部機構である最終符号化指示部５２３が“設定”を示す最終符号化指示信号５７０を各処理部に出力することで実行され、この“設定”を示す最終符号化指示信号５７０を受けて、エントロピー符号化部５０４が、符号化方法指示信号５３０が“設定”の場合に求めたＨ．２６４ストリームを選択して出力することで行われる。そして、この内部状態の設定処理は、この“設定”を示す最終符号化指示信号５７０を受けて、動き探索部５０１、整数精度ＤＣＴ変換部５０２、量子化部５０３、エントロピー符号化部５０４、逆量子化部５０５、逆整数精度ＤＣＴ変換部５０６の各処理部が、自処理部の内部状態を符号化方法指示信号５３０が“設定”の場合のときの内部状態に戻すことで行われる。

一方、ステップＳ２０７の判断で、符号化方法指示信号５３０が“設定”の場合に求めた符号化性能信号５８０の方が符号化性能がよいという比較結果が得られなかったことを判断するとき、すなわち、符号化方法指示信号５３０が“未設定”の場合に求めた符号化性能信号５８０の方のが符号化性能がよいという比較結果が得られたことを判断するときには、ステップＳ２０９に進んで、符号化方法指示信号５３０が“未設定”の場合に求めたＨ．２６４ストリームを出力するとともに、各処理部の状態を符号化方法指示信号５３０が“未設定”の場合のときの内部状態、すなわち、Ｈ．２６４規格の指定する内部状態に戻して、処理を終了する。

この処理は、具体的には、画質比較部５２０の内部機構である最終符号化指示部５２３が“未設定”を示す最終符号化指示信号５７０を各処理部に出力することで実行され、この“未設定”を示す最終符号化指示信号５７０を受けて、エントロピー符号化部５０４が、符号化方法指示信号５３０が“未設定”の場合に求めたＨ．２６４ストリームを選択して出力することで行われる。そして、この内部状態の設定処理は、この“設定”を示す最終符号化指示信号５７０を受けて、動き探索部５０１、整数精度ＤＣＴ変換部５０２、量子化部５０３、エントロピー符号化部５０４、逆量子化部５０５、逆整数精度ＤＣＴ変換部５０６の各処理部が、自処理部の内部状態を符号化方法指示信号５３０が“未設定”の場合のときの内部状態に戻すことで行われる。

以上述べたように、第２の実施形態例では、再符号化情報６０４の指示に従ってデコード映像６０２をＨ．２６４符号化するか、あるいは再符号化情報６０４を使用せずにデコード映像６０２をＨ．２６４符号化するかのいずれか良い方を、画質比較部５２０で選択するので、第１の実施形態例で述べたような再符号化情報６０４の指示に常に従ってＨ．２６４符号化する場合と比べて、同等以上のＳＮＲ特性を実現することができるようになる。

本発明は、符号化された映像ストリームをいったんデコードして、再符号化する場合に適用できるものであり、本発明を適用することで、再符号化するときに、画質劣化を防止し、かつ符号量の削減を実現することができるようになる。

本発明の映像再符号化装置の一実施形態例である。 符号化情報変換テーブルのテーブルデータの一例を示す図である。 本発明の備えるＭＰＥＧ−２デコード部の構成図である。 本発明の備えるＨ．２６４エンコード部の構成図である。 本発明の映像再符号化装置の実行するフローチャートである。 本発明の映像再符号化装置の実行する処理の説明図である。 本発明と従来手法のＰＳＮＲ比較の実験データである。 第２の実施形態例を実現するＨ．２６４エンコード部の構成図である。 第２の実施形態例を実現するＨ．２６４エンコード部の実行するフローチャートである。 再符号化処理の説明図である。 従来のＭＰＥＧ−２デコード回路の説明図である。 従来のＭＰＥＧ−２エンコード回路の説明図である。 ＭＰＥＧ−２を用いた再符号化処理の説明図である。 ＭＰＥＧ−２を用いた再符号化処理の説明図である。 従来のＨ．２６４デコード回路の説明図である。 従来のＨ．２６４エンコード回路の説明図である。 ＭＰＥＧ−２およびＨ．２６４を用いた再符号化処理の説明図である。

符号の説明

１ 映像再符号化装置
１００ ＭＰＥＧ−２デコード部
２００ 符号化情報変換部
３００ 符号化情報変換テーブル
４００ ＱＳＣ−Ｑｓ対応テーブル
５００ Ｈ．２６４エンコード部
６０１ ＭＰＥＧ−２ストリーム
６０２ デコード映像
６０３ 符号化情報
６０４ 再符号化情報

Claims (8)

1. イントラブロックについては予測を行わずに符号化を行い、インターブロックについては画面間予測を行って符号化を行う第１の符号化方式により符号化された映像ストリームを再符号化する映像再符号化装置であって、
   前記映像ストリームを前記第１の符号化方式の復号手順に従って復号することで復号映像を得るとともに、その映像ストリームに含まれる符号化情報を抽出する復号手段と、
   前記復号手段の抽出した符号化情報に含まれる一部の符号化情報を変換対象として、その符号化情報を、イントラブロックについては複数の画面内予測モードの中から選択される予測モードを使って符号化を行い、インターブロックについては前記第１の符号化方式より多く用意される画面間予測モードの中から選択される予測モードを使って符号化を行う第２の符号化方式の符号化に必要となる符号化情報に変換する変換手段と、
   前記変換手段の変換した符号化情報の指示に従い、前記第２の符号化方式の符号化手順に従って前記復号映像を符号化する符号化手段とを備え、
   前記変換手段は、イントラブロックの符号化情報については、隣接ブロックの特定画素の平均値を予測値とする画面内予測モードで符号化することを指示するものに変換し、インターブロックの符号化情報については、前記第１の符号化方式の用いた画面間予測モードに対応する画面間予測モードで符号化することを指示するものに変換することを、
   特徴とする映像再符号化装置。
2. 請求項１に記載の映像再符号化装置において、
   前記符号化手段は、前記変換手段の変換した符号化情報の指示に従って前記復号映像を符号化する場合に得られる映像の画質と、前記変換手段の変換した符号化情報とは無関係に前記復号映像を符号化する場合に得られる映像の画質とを評価して、その評価に基づいて、いずれか一方の符号化方法を選択して前記復号映像を符号化することを、
   特徴とする映像再符号化装置。
3. 請求項１又は２に記載の映像再符号化装置において、
   前記第１の符号化方式がＭＰＥＧ−２符号化方式であり、前記第２の符号化方式がＨ．２６４符号化方式であることを、
   特徴とする映像再符号化装置。
4. イントラブロックについては予測を行わずに符号化を行い、インターブロックについては画面間予測を行って符号化を行う第１の符号化方式により符号化された映像ストリームを再符号化する映像再符号化装置が実行する映像再符号化方法であって、
   前記映像ストリームを前記第１の符号化方式の復号手順に従って復号することで復号映像を得るとともに、その映像ストリームに含まれる符号化情報を抽出する過程と、
   前記抽出した符号化情報に含まれる一部の符号化情報を変換対象として、その符号化情報を、イントラブロックについては複数の画面内予測モードの中から選択される予測モードを使って符号化を行い、インターブロックについては前記第１の符号化方式より多く用意される画面間予測モードの中から選択される予測モードを使って符号化を行う第２の符号化方式の符号化に必要となる符号化情報に変換する過程と、
   前記変換した符号化情報の指示に従い、前記第２の符号化方式の符号化手順に従って前記復号映像を符号化する過程とを備え、
   前記変換する過程では、イントラブロックの符号化情報については、隣接ブロックの特定画素の平均値を予測値とする画面内予測モードで符号化することを指示するものに変換し、インターブロックの符号化情報については、前記第１の符号化方式の用いた画面間予測モードに対応する画面間予測モードで符号化することを指示するものに変換することを、
   特徴とする映像再符号化方法。
5. 請求項４に記載の映像再符号化方法において、
   前記符号化する過程では、前記変換した符号化情報の指示に従って前記復号映像を符号化する場合に得られる映像の画質と、前記変換した符号化情報とは無関係に前記復号映像を符号化する場合に得られる映像の画質とを評価して、その評価に基づいて、いずれか一方の符号化方法を選択して前記復号映像を符号化することを、
   特徴とする映像再符号化方法。
6. 請求項４又は５に記載の映像再符号化方法において、
   前記第１の符号化方式がＭＰＥＧ−２符号化方式であり、前記第２の符号化方式がＨ．２６４符号化方式であることを、
   特徴とする映像再符号化方法。
7. 請求項４ないし６のいずれか１項に記載の映像再符号化方法をコンピュータに実行させるための映像再符号化プログラム。
8. 請求項４ないし６のいずれか１項に記載の映像再符号化方法をコンピュータに実行させるための映像再符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images