JP2012186544A - ステレオ動画像符号化方法、装置およびプログラム - Google Patents

Abstract

【課題】既存の符号化装置を用いてベースビューと非ベースビューを独立に符号化してもビュー間予測によるステレオ動画像の高圧縮を実現するステレオ動画像符号化方法を提供する。
【解決手段】ベースビューと非ベースビューとのデータを入力として１つのビットストリームとして出力するものであり、ベースビューと非ベースビューのビュー間予測によりビュー間予測ベクトルを生成し、ビュー間予測ベクトルを非ベースビューにデータを重畳し、重畳済非ベースビューを生成し、重畳済非ベースビューとベースビューとを合わせて新たな非ベースビューを生成し、ベースビューを特定の符号化方式で符号化し、新たな非ベースビューを特定の符号化方式で符号化し、この符号化データから、ベースビューの符号化データを削除し、符号化されたベースビューとベースビューの符号化データが削除された符号化データとを多重化し、１つのビットストリームを出力する。
【選択図】図１

Description

本発明は、ステレオ動画像のデジタル信号をリアルタイムに映像符号化するステレオ動画像符号化方法、装置およびプログラムに関するものである。

動画像のデジタル信号を圧縮符号化する技術としてのＨ．２６４ハイプロファイルは、Ｂｌｕ−ｒａｙ、ワンセグなどに用いられている。このような符号化技術を用いてステレオ動画像、すなわち２視点動画像を圧縮するために、ベースビューと非ベースビューを独立な動画像として符号化した場合には、十分な圧縮効率を実現できない。ステレオ動画像の圧縮効率を高めるためには、ビュー間予測を実現することが不可欠である。

例えば、ビュー間予測を利用したステレオ動画像のデジタル信号を圧縮符号化する技術として、Ｂｌｕ−ｒａｙなどでも採用されているＨ．２６４ステレオハイプロファイルが注目されている。Ｈ．２６４ステレオハイプロファイルでは、左目映像と右目映像をそれぞれ１個のベースビューと１個の非ベースビューとして符号化することができる。ベースビューは、Ｈ．２６４ハイプロファイルとの互換性を保ち、Ｈ．２６４ハイプロファイルとして復号することができる。非ベースビューは、他のビューに含まれるフレームを参照（ビュー間予測）して符号化される。ビュー間予測を用いることで、ステレオ動画像の高圧縮を実現できる（非特許文献１）。

Ａｎｔｈｏｎｙ Ｖｅｔｒｏ， Ｔｈｏｍａｓ Ｗｉｅｇａｎｄ， Ｇａｒｙ Ｊ． Ｓｕｌｌｉｖａｎ ： Ｏｖｅｒｖｉｅｗ ｏｆ ｔｈｅ Ｓｔｅｒｅｏ ａｎｄ Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｔｅｎｓｉｏｎｓ ｏｆ ｔｈｅ Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ Ｓｔａｎｄａｒｄ， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ Ｖｏｌ． ９９， Ｎｏ． ４， Ａｐｒｉｌ ２０１１ （Ｔｏ ｂｅ ｉｓｓｕｅｄ）

しかしながら、Ｈ．２６４ステレオハイプロファイルでは、特に実装についての規定はなく、ベースビューと非ベースビューを独立して符号化しない場合、非ベースビューからベースビューを共有しなければならないため、既存のＨ．２６４ハイプロファイル符号化方法などの既存の符号化器が利用できないという問題があった。

そこで、本発明は、Ｈ．２６４ハイプロファイルの符号化装置の外部でビュー間予測を行い、非ベースビューのビュー間予測ベクトルデータを非ベースビューに付加情報として画像データに重畳し、非ベースビューを符号化するＨ．２６４ハイプロファイルの符号化装置に入力することにより、既存のＨ．２６４ハイプロファイルの符号化装置でベースビューと非ベースビューを独立に符号化してもビュー間予測によるステレオ動画像の高圧縮を実現するステレオ動画像符号化方法、装置およびプログラムを提供する。

上述した課題を解決するために、本発明は、ステレオ画像の一方の画像であるベースビューと他方の画像である非ベースビューとの２種類の映像のデータを入力として１つのビットストリームとして出力する映像符号化装置における映像符号化方法であって、前記映像符号化装置が、前記ベースビューと前記非ベースビューのビュー間予測によりビュー間予測ベクトルを生成する第１のステップと、前記ビュー間予測ベクトルを非ベースビューにデータを重畳し、重畳済非ベースビューを出力する第２のステップと、前記重畳済非ベースビューと第１のステップで用いたベースビューとを合わせて新たな非ベースビューとして出力する第３のステップと、前記第１のステップで用いたベースビューを特定の符号化方式で符号化する第４のステップと、前記第３のステップで出力される非ベースビューを特定の符号化方式で符号化する第５のステップと、前記第５のステップによる符号化データから、前記第１の方法で用いたベースビューの符号化データを削除する第６のステップと、前記第４のステップと前記第６のステップによる符号化データを多重化し、１つのビットストリームを出力する第７のステップとを実行する。

また、本発明は、上述の映像符号化方法において、前記第１のステップでは、ベースビューのＧＯＰ構造でＩピクチャとなるタイミングで入力された画像を用いてビュー間予測をし、前記映像符号化装置が、さらに、前記第４のステップにおいて用いる符号化を行うために必要なパラメータを前記第５のステップの符号化において用いる第９のステップと、前記第５のステップにおいて第９のステップで用いられたパラメータによって符号化を行う第１０のステップと、を備えることを特徴とする。

また、本発明は、上述の映像符号化方法において、第９のステップおよび第１０のステップにおけるパラメータとしてピクチャ単位で符号化するための時刻情報及び前記ベースビューの画像を符号化した時に使用した符号化パラメータを用いることを特徴とする。

また、本発明は、上述の映像符号化方法において、前記符号化パラメータは、量子化マトリクスや量子化値を決定するためのパラメータを含むことを特徴とする。

また、本発明は、ステレオ画像の一方の画像であるベースビューと他方の画像である非ベースビューとの２種類の映像のデータを入力として１つのビットストリームとして出力する映像符号化装置であって、前記ベースビューと前記非ベースビューのビュー間予測によりビュー間予測ベクトルを生成するビュー間予測部と、前記ビュー間予測ベクトルを非ベースビューにデータを重畳し、重畳済非ベースビューを生成するとともに、前記重畳済非ベースビューと前記ビュー間予測部で用いられたベースビューとを合わせて新たな非ベースビューとして生成するビュー間予測ベクトル重畳部と、前記ビュー間予測部で用いられたベースビューを特定の符号化方式で符号化する第１の符号化部と、前記ビュー間予測ベクトル重畳部によって生成された新たな非ベースビューを特定の符号化方式で符号化する第２の符号化部と、第２の符号化部によって得られた符号化データから、前記ビュー間予測部で用いられたベースビューの符号化データを削除するベースビューストリーム削除部と、前記第１の符号化部によって得られた符号化データと前記ベースビューストリーム削除部によって得られた符号化データとを多重化し、１つのビットストリームを出力する多重化部とを備えることを特徴とする。

また、本発明は、上述の映像符号化方法の実現に用いられる処理をコンピュータに実行させるための映像符号化プログラムである。

以上説明したように、この発明によれば、既存の符号化装置を用いてベースビューと非ベースビューを独立に符号化する場合であっても、ビュー間予測によるステレオ動画像の高圧縮を実現することができる。
また、本発明によれば、上記二つの符号化装置の間でパラメータを同一にすることができ、その結果、符号化劣化を発生させないようすることができる。

この発明の一実施形態によるステレオ動画像符号化装置の構成を示す概略ブロック図である。 ビュー間予測ベクトルを生成して非ベースビューに重畳する動作を説明する図である。 Ｈ．２６４ハイプロファイル符号化装置７とＨ．２６４ハイプロファイル符号化装置８との間でデータを送受信する方法を説明する図である。 パラメータ３３、パラメータ３４について説明する図である。 時刻情報および符号化パラメータ４３、時刻情報および符号化パラメータ４４について具体的に説明する図である。

以下、本発明の一実施形態によるステレオ動画像符号化装置について図面を参照して説明する。図１は、この発明の一実施形態によるステレオ動画像符号化装置の構成を示す概略ブロック図である。

１は、ベースビューの画像フレーム、２は、非ベースビューの画像フレームであり、ビュー間予測部３に入力されるステレオ画像フレームである。ここで、ベースビューは、例えば、左目画像に対応し、非ベースビューは、右目画像に対応している。ビュー間予測部３は、非ベースビューからベースビューに対する予測ベクトルを算出する。

４は、予測ベクトルを非ベースビューに重畳するビュー間予測ベクトル重畳部である。５は、ベースビューの画像フレームであり、図１のベースビューの画像フレーム１と同じものである。６は、ビュー間予測ベクトル重畳部４で処理された重畳済非ベースビューとビュー間予測部３で使われたベースビューの画像をあわせた新たな非ベースビューである。７は、ベースビューをＨ．２６４ハイプロファイルで符号化するＨ．２６４ハイプロファイル符号化装置である。

８は、重畳済非ベースビューをＨ．２６４ハイプロファイルで符号化するＨ．２６４ハイプロファイル符号化装置である。９は、ベースビューと非ベースビューを符号化する時に、Ｈ．２６４ハイプロファイル符号化装置７とＨ．２６４ハイプロファイル符号化装置８との間でデータを送受信するデータパスである。１０は、Ｈ．２６４ステレオハイプロファイルのヘッダにシンタックスを入れ替えるシンタックス修正部である。通常、ヘッダなどのシンタックスなどは、プログラムを入れ替えることで実現可能である。シンタックス修正部１０は、重畳済非ベースビューのＨ．２６４ハイプロファイルのビットストリームの該当部分をＨ．２６４ステレオハイプロファイルのヘッダに書き換えるものである。

１１は、余分に入力されたベースビュー部分のストリームを取り除くベースビューストリーム削除部である。このことにより、非ベースビューのビットストリーム（１３）のみを出力する。１２は、ベースビューのビットストリームであり、１３は、非ベースビューのビットストリームである。１４は、ベースビューのビットストリーム１２と非ベースビューのビットストリーム１３とを多重化する多重化部である。１５は、多重化部１４によって多重化されたＨ．２６４ステレオハイプロファイルのビットストリームである。

図２に、ベースビューと非ベースビューからビュー間予測ベクトルを生成し、当該ビュー間予測ベクトルを当該非ベースビューに重畳する方法を具体的に図示する。
この図において、２１は、一連のベースビューのシーケンスであり、２２は、一連の非ベースビューのシーケンスである。２３および２５は、ベースビューの符号化におけるＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅｓ）でＩピクチャとなるタイミングのピクチャであり、ベースビューのシーケンス２１に含まれる。２４は、ピクチャ２３と同時に入力される非ベースビューのピクチャであり、非ベースビューのシーケンス２２に含まれている。２６は、ピクチャ２５と同時に入力される非ベースビューのピクチャであり、非ベースビューのシーケンス２２に含まれている。

２７は、ビュー間予測部を示し、２３と２４などのＩピクチャで符号化されるタイミングのピクチャに対して、ビュー間予測を行う。ビュー間予測の間隔をあけることにより、ビュー間予測での時間あたりの演算量を削減し、回路規模を小さくすることができる。２８は、ビュー間予測部２７で求めたビュー間予測ベクトルを非ベースビューの画像データに重畳して、非ベースビューのＨ．２６４ハイプロファイルで符号化するビュー間予測ベクトル重畳部である。

ビュー間予測部２７は、図１のビュー間予測部３、ビュー間予測ベクトル重畳部２８は、図１のビュー間予測ベクトル重畳部４に相当する。

図３に、図１のＨ．２６４ハイプロファイル符号化装置７と図１のＨ．２６４ハイプロファイル符号化装置８との間でデータを送受信する方法を具体的に図示する。
３１は、ベースビューを符号化するＨ．２６４ハイプロファイル符号化装置である。３２は、非ベースビューを符号化するＨ．２６４ハイプロファイル符号化装置である。３３は、図２のピクチャ２３、ピクチャ２５を符号化する時のパラメータであり、Ｈ．２６４ハイプロファイル符号化装置３１に記憶されている。３４は、図２のピクチャ２４、ピクチャ２６を符号化する時に使用するパラメータであり、Ｈ．２６４ハイプロファイル符号化装置３２に記憶されている。

３５は、ベースビューと非ベースビューを符号化する時にＨ．２６４ハイプロファイル符号化装置３１とＨ．２６４ハイプロファイル符号化装置３２との間でデータを送受信するデータパスである。具体的には、データパス３５は、Ｈ．２６４ハイプロファイル符号化装置３１とＨ．２６４ハイプロファイル符号化装置３２のホスト間でのデータ送受信を実現する。データパス３５は、例えば、ピクチャ毎にデータ送受信をする。このデータ送受信による符号化を実現するために、非ベースビューへの一連のピクチャの入力を遅延させる。

Ｈ．２６４ハイプロファイル符号化装置３１は、図１のＨ．２６４ハイプロファイル符号化装置７、Ｈ．２６４ハイプロファイル符号化装置３２は、図１のＨ．２６４ハイプロファイル符号化装置８に相当する。

図４は、図３のパラメータ３３、パラメータ３４について具体的なパラメータを説明するための図である。
４１は、ベースビューを符号化するＨ．２６４ハイプロファイル符号化装置である。４２は、非ベースビューを符号化するＨ．２６４ハイプロファイル符号化装置である。４３は、図２のピクチャ２３、ピクチャ２５を符号化する時の時刻情報および符号化パラメータである。４４は、図２のピクチャ２４、ピクチャ２６を符号化する時に使用する時刻情報および符号化パラメータである。

４５は、ベースビューと非ベースビューを符号化する時にデータを送受信するデータパスである。具体的には、データパス４５は、Ｈ．２６４ハイプロファイル符号化装置４１とＨ．２６４ハイプロファイル符号化装置４２のホスト間でのデータ送受信を実現する。データパス４５は、例えば、ピクチャ毎にデータ送受信をする。このデータ送受信による符号化を実現するために、非ベースビューへの一連のピクチャの入力を遅延させる。

Ｈ．２６４ハイプロファイル符号化装置４１は、図３のＨ．２６４ハイプロファイル符号化装置３１、Ｈ．２６４ハイプロファイル符号化装置４２は、図３のＨ．２６４ハイプロファイル符号化装置３２に相当する。

図５は、図４の時刻情報および符号化パラメータ４３、時刻情報および符号化パラメータ４４について具体的に説明する図である。
５１は、ベースビューを符号化するＨ．２６４ハイプロファイル符号化装置である。５２は、非ベースビューを符号化するＨ．２６４ハイプロファイル符号化装置である。５３は、図２のピクチャ２３、ピクチャ２５を符号化する時の時刻情報および量子化マトリクス、量子化を決定するためのパラメータである。５４は、図２のピクチャ２４、ピクチャ２６を符号化する時に使用する時刻情報および量子化マトリクス、量子化を決定するためのパラメータである。

５５は、ベースビューと非ベースビューを符号化する時にＨ．２６４ハイプロファイル符号化装置５１とＨ．２６４ハイプロファイル符号化装置５２との間でデータを送受信するデータパスである。具体的には、データパス５５は、Ｈ．２６４ハイプロファイル符号化装置５１とＨ．２６４ハイプロファイル符号化装置５２のホスト間でのデータ送受信を実現する。データパス５５は、例えば、ピクチャ毎にデータ送受信をする。このデータ送受信による符号化を実現するために、非ベースビューへの一連のピクチャの入力を遅延させる。

Ｈ．２６４ハイプロファイル符号化装置５１は、図４のＨ．２６４ハイプロファイル符号化装置４１、Ｈ．２６４ハイプロファイル符号化装置５２は、図４のＨ．２６４ハイプロファイル符号化装置４２に相当する。

上述した実施形態において、ベースビューと非ベースビューは、独立した符号化装置で符号化する。ここでは、Ｈ．２６４ハイプロファイルで符号化する場合について説明する。ベースビューを入力画像として、Ｈ．２６４ハイプロファイルに符号化する方法では、非ベースビューでビュー間予測に用いられる参照画像となるベースビューを符号化するための情報を保持する。ベースビューと非ベースビューのビュー間予測の予測ベクトルは、非ベースビューの画像データに付加情報として入力する。非ベースビューとビュー間予測の予測ベクトルを付加された非ベースビューと非ベースビューの参照画像となるベースビューを入力画像として、Ｈ．２６４ハイプロファイルに符号化する方法では、ビュー間予測ベクトル、参照画像となるベースビューを符号化した情報を用いて、Ｈ．２６４ハイプロファイルで符号化する。

ビュー間予測の参照画像となるベースビューは、ベースビューで符号化する時に保持したデータを用いて、同一の符号化を行う。非ベースビューとビュー間予測の予測ベクトルを付加された非ベースビューと非ベースビューの参照画像となるベースビューをＨ．２６４ハイプロファイルで符号化したビットストリームから、非ベースビューの参照画像となるベースビューのビットストリームを削除し、非ベースビューのみのビットストリームとする。さらに、ベースビューおよび非ベースビューのビットストリームを多重化して、１つのビットストリームとする。これにより、Ｈ．２６４ハイプロファイルの符号化方法および装置を２つ用いて、ステレオ動画像の高圧縮を可能とする。

また、図１におけるステレオ動画像符号化装置の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより符号化処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１、５ ベースビューの画像フレーム
２ 非ベースビューの画像フレーム
３、２７ ビュー間予測部
４、２８ ビュー間予測ベクトル重畳部
６ 新たな非ベースビュー
７、８、３１、３２、４１、４２、５１、５２ Ｈ．２６４ハイプロファイル符号化装置
９、３５、４５、５５ データパス
１０ シンタックス修正部
１１ ベースビューストリーム削除部
１２ ベースビューのビットストリーム
１３ 非ベースビューのビットストリーム
１４ 多重化部
１５ ビットストリーム
２１ ベースビューのシーケンス
２２ 非ベースビューのシーケンス
２３、２５、２６ ピクチャ
３３、３４ パラメータ
４３、４４ 時刻情報および符号化パラメータ
５３、５４ 時刻情報および量子化マトリクス、量子化を決定するためのパラメータ

Claims (6)

1. ステレオ画像の一方の画像であるベースビューと他方の画像である非ベースビューとの２種類の映像のデータを入力として１つのビットストリームとして出力する映像符号化装置における映像符号化方法であって、
   前記映像符号化装置が、
   前記ベースビューと前記非ベースビューのビュー間予測によりビュー間予測ベクトルを生成する第１のステップと、
   前記ビュー間予測ベクトルを非ベースビューにデータを重畳し、重畳済非ベースビューを出力する第２のステップと、
   前記重畳済非ベースビューと第１のステップで用いたベースビューとを合わせて新たな非ベースビューとして出力する第３のステップと、
   前記第１のステップで用いたベースビューを特定の符号化方式で符号化する第４のステップと、
   前記第３のステップで出力される非ベースビューを特定の符号化方式で符号化する第５のステップと、
   前記第５のステップによる符号化データから、前記第１の方法で用いたベースビューの符号化データを削除する第６のステップと、
   前記第４のステップと前記第６のステップによる符号化データを多重化し、１つのビットストリームを出力する第７のステップと
   を実行する映像符号化方法。
2. 前記第１のステップでは、ベースビューのＧＯＰ構造でＩピクチャとなるタイミングで入力された画像を用いてビュー間予測をし、
   前記映像符号化装置が、さらに、
   前記第４のステップにおいて用いる符号化を行うために必要なパラメータを前記第５のステップの符号化において用いる第９のステップと、
   前記第５のステップにおいて第９のステップで用いられたパラメータによって符号化を行う第１０のステップと、
   を備えることを特徴とする請求項１記載の映像符号化方法。
3. 第９のステップおよび第１０のステップにおけるパラメータとしてピクチャ単位で符号化するための時刻情報及び前記ベースビューの画像を符号化した時に使用した符号化パラメータを用いる
   ことを特徴とする請求項２記載の映像符号化方法。
4. 前記符号化パラメータは、量子化マトリクスや量子化値を決定するためのパラメータを含むことを特徴とする請求項３に記載の映像符号化方法。
5. ステレオ画像の一方の画像であるベースビューと他方の画像である非ベースビューとの２種類の映像のデータを入力として１つのビットストリームとして出力する映像符号化装置であって、
   前記ベースビューと前記非ベースビューのビュー間予測によりビュー間予測ベクトルを生成するビュー間予測部と、
   前記ビュー間予測ベクトルを非ベースビューにデータを重畳し、重畳済非ベースビューを生成するとともに、前記重畳済非ベースビューと前記ビュー間予測部で用いられたベースビューとを合わせて新たな非ベースビューとして生成するビュー間予測ベクトル重畳部と、
   前記ビュー間予測部で用いられたベースビューを特定の符号化方式で符号化する第１の符号化部と、
   前記ビュー間予測ベクトル重畳部によって生成された新たな非ベースビューを特定の符号化方式で符号化する第２の符号化部と、
   第２の符号化部によって得られた符号化データから、前記ビュー間予測部で用いられたベースビューの符号化データを削除するベースビューストリーム削除部と、
   前記第１の符号化部によって得られた符号化データと前記ベースビューストリーム削除部によって得られた符号化データとを多重化し、１つのビットストリームを出力する多重化部と
   を備えることを特徴とする映像符号化装置。
6. 請求項１から請求項４のうちいずれか１項に記載の映像符号化方法の実現に用いられる処理をコンピュータに実行させるための映像符号化プログラム。

Images