JP2011083038A - 伸張復号化装置、伸張復号化方法、及び、プログラム - Google Patents

Abstract

【課題】ユーザが希望する視点の動画像を伸張復号化するためには必要のない伸張復号化処理を行わないようにすることで、処理の高速化や装置規模の増大防止を実現することが可能となる装置や方法などを提供する。
【解決手段】伸張復号化装置であって、出力すべきフレームについての指示を受ける指示入力手段と、動き予測情報を動画像データから読み出し、出力すべきフレームの圧縮符号化における動き予測に用いられたフレームを判断する判断手段と、判断手段によって判断されたフレーム、及び出力すべきフレームについてのみ伸張復号化を実行する伸張復号化手段とを含む。
【選択図】 図１

Description

本発明は、多視点において撮像された画像を符号化・復号化する装置や方法などに適用されて有効な技術に関する。

近年、多視点において同時に撮像された動画像を活用する技術が注目されている。このような動画像を用いることにより、従来のステレオカメラシステムでは不可能だったことが可能となる。例えば、立体視ディスプレイを用いることなく、ユーザが自由な視点でカメラ動画像を見ることが可能となった。具体的には、コンサートの模様を多視点において同時に撮像することにより、ユーザは、コンサートの状況を一つの視点からだけではなく、横方向や後方向など任意の視点から鑑賞することが可能となる。

ところで、一般的に動画像の情報量は非常に大きい。このため、動画像のデータを圧縮することなくメディア蓄積やネットワーク伝送を行うことは、伝送速度やコスト面で不利である。このため、動画像のデータを可逆若しくは不可逆の方式で圧縮符号化する技術が開発されてきた。例えば、Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）で標準化されたＭＰＥＧ−１，ＭＰＥＧ−２，ＭＰＥＧ−４等である。

しかし、同時に撮像を行う視点の数が増加する（カメラの台数が増加する）に伴い、動画像の数も増加する。このため、多視点において同時に撮像された動画像の総データ量は、単一のカメラを用いて撮像された動画像のデータ量に比べて増大する。このため、多視点において同時に撮像された動画像のデータを効率的に圧縮符号化する技術が要望されている。

このような問題に対し、各視点において撮像された動画像間の相関性を用いることにより、予測効率を向上させる技術が提案されている。これらの技術では、予測効率が向上することに伴い、符号化効率が向上する。各視点において撮像された動画像間の相関性とは、ある視点カメラに映っている物体や背景は、他視点のカメラにもその一部が映っていることを指す。例えば、ある視点カメラにおけるフレームと、他の視点カメラにおける同時刻のフレームとを比較すると、両カメラが近い位置で近い方向を撮像している場合、同一物体や同一背景が撮像される場合がある。このため、このような異なるカメラによって同時刻に撮像されたフレームを、同一のカメラによって撮像されたフレームとみなすことにより、動きベクトルを用いた予測符号化を行うことができる。例えば、後者のカメラのフレームを、これまでのように同一カメラ（後者のカメラ）によって撮像されたフレームのみを用いて動き予測符号化する場合に比べて、他のカメラ（前者のカメラ）によるフレームをさらに用いて動き予測符号化する場合は、符号化効率を高めることが可能となる。この場合、動きベクトルは、二つのカメラ間の視差に相当する。このような技術の例として、特許文献１〜７がある。

特開２００１−１８６５１６号公報 特表２００２−５２３９４３号公報 特開２００２−３００６０７号公報 特許３４２６６６８号公報 特開平０６−９８３１２号公報 特開平１０−１９１３９４号公報 特開２０００−２３９１８号公報

上記のような技術により作成される動画像データは、一つの動画像データに複数視点の動画像を含む。このため、従来の伸張復号化技術によって伸張復号化を実行した場合、ユーザが希望する視点における動画像のみならず、当該動画像データに含まれる他の全ての視点についての動画像データが伸張復号化されていた。このため、不要な処理に処理能力と処理時間が費やされ、処理の遅延などの問題を生じていた。

そこで本発明はこれらの問題を解決し、ユーザが希望する視点の動画像を伸張復号化するためには必要のない伸張復号化処理を行わないようにすることで、処理の高速化や装置規模の増大防止を実現することが可能となる装置や方法などを提供することを目的とする。

上記問題を解決するため、本発明は以下のような構成をとる。本発明の一態様は、
複数のカメラによって撮像された各フレームを圧縮符号化する圧縮符号化装置であって、あるカメラにより撮像されたフレームを、当該カメラによって撮像されたフレームを用いた動き予測と他のカメラによって撮像されたフレームを用いた動き予測とにより圧縮符号化する圧縮符号化手段と、各フレームについて、当該フレームと、他のカメラによって撮像された動き予測に用いられたフレームとを対応づけるための情報及び他のカメラによって撮像されたフレームを用いた動き予測が実施されたか否かを示す情報を含む動き予測情報を生成する動き予測情報作成手段と、複数の圧縮符号化後のフレームと、前記動き予測情報とを含む一つの動画像データを生成する合成手段とを含む圧縮符号化装置によって生成された動画像データを伸張復号化する伸張復号化装置であって、
出力すべきフレームについての指示を受ける指示入力手段と、
前記動き予測情報を前記動画像データから読み出し、前記出力すべきフレームの圧縮符号化における動き予測に用いられたフレームを撮像したとみなされるカメラを判断し、当該カメラによって撮像されたフレームのうち、前記出力すべきフレームについての前記動き予測が実施されることなく圧縮符号化された時間に対応するフレームを除くフレームを出力すべきフレームの圧縮符号化における動き予測に用いられたフレームと判断する判断手段と、
前記判断手段によって判断されたフレーム、及び前記出力すべきフレームについてのみ伸張復号化を実行する伸張復号化手段と
を含む伸張復号化装置である。

本発明の一態様は、プログラムが情報処理装置によって実行されることによって実現されても良い。即ち、本発明は、上記した態様における各手段が実行する処理を、情報処理装置に対して実行させるためのプログラム、或いは当該プログラムを記録した記録媒体として特定することができる。また、本発明は、上記した各手段が実行する処理を情報処理装置が実行する方法をもって特定されても良い。

本発明によれば、複数視点の動画像を含む動画像データを伸張復号化するにあたり、処理の高速化や装置規模の増大防止を実現することが可能となる。

基準カメラによって撮像された各フレームの予測符号化方法と、参照カメラによって撮像された各フレームの予測符号化方法とを示す図である。 動画像データの構成例を示す図である。 圧縮符号化装置の機能ブロックの例を示す図である。 基準カメラ決定処理と参照先決定処理の処理例を示すフローチャートである。 カメラの配置例を示す図である。 各カメラが基準カメラとなるか否か、及び、参照カメラである場合に参照先となるフレームはどの基準カメラとなるかを示す表である。 伸張復号化装置の機能ブロックの例を示す図である。 復号化カメラ判断処理の処理例を示すフローチャートである。 従来の技術の問題点を示す図である。 従来の技術の問題点を示す図である。

［原理］
まず、本発明における予測符号化の方法の原理について説明する。図１は、基準カメラによって撮像された各フレームの予測符号化方法と、参照カメラによって撮像された各フレームの予測符号化方法とを示す図である。図１において、矢印の根に位置するフレームは、矢印の先に位置するフレームを参照することにより予測符号化される。

Ｉフレームは、フレーム内符号化を行うフレームを示す。Ｉフレームは、他のフレームを一切参照することなく符号化される。Ｐフレームは、前方向時間予測符号化フレームを示す。Ｐフレームは、同一カメラによって撮像されたフレームであって、時間的に直前に位置するＩフレーム又は他のＰフレームを参照することにより予測符号化される。このように同一カメラによって撮像された他のフレームを参照することにより予測符号化することを、以下では「動き予測符号化」と呼ぶ。Ｂフレームは、双方向時間予測符号化フレームを示す。Ｂフレームは、同一カメラによって撮像されたフレームであって、時間的に直前に位置するＩフレーム又はＰフレーム及び時間的に直後に位置するＩフレーム又はＰフレームを参照することにより予測符号化される。Ｉフレーム，Ｐフレーム，Ｂフレームの概念は、ＭＰＥＧ−１，２，４と同じである。

Ｉ’フレームは、基準カメラによって撮像された同時刻のＩフレームのみを参照することにより予測符号化される。このように他のカメラによって撮像されたフレームを参照することにより予測符号化することを、以下では「視差予測符号化」と呼ぶ。Ｐ’フレームは、基準カメラによって撮像された同時刻のＰフレーム、及び同一カメラによって撮像されたフレームであって時間的に直前に位置するＩ’フレーム又は他のＰ’フレームを参照することにより予測符号化される。Ｂ’フレームは、基準カメラによって撮像された同時刻のＢフレーム、同一カメラによって撮像されたフレームであって時間的に直前に位置するＩ’フレーム又はＰ’フレーム、及び同一カメラによって撮像されたフレームであって時間的に直後に位置するＩ’フレーム又はＰ’フレームを参照することにより予測符号化される。

次に、本発明における予測符号化によって作成される動画像データの構成について説明する。図２は、動画像データの構成例を示す図である。動画像データには、ＳＥＱＨとＧＯＰとが含まれる。ＳＥＱＨは、ＧＯＰ（Ｇｒｏｕｐ ｏｆ ｐｉｃｔｕｒｅｓ）の全カメラ単位に挿入される。ＳＥＱＨ（ｎ）は、以下に続くＧＯＰが、ｎ番目のＧＯＰであることを示す。ＳＥＱＨは、カメラ総数，各カメラの視差予測タイプ（即ち、各フレームを撮像したカメラが基準カメラと参照カメラのいずれであるか），各参照カメラにおける参照先のカメラを示す識別子を含む。ＧＯＰは、時間軸に沿って並んでいるフレームをグループ化したデータである。ＧＯＰ（ｍ，ｎ）は、カメラｍのｎ番目のＧＯＰであることを示す。

一つのＧＯＰには、ＧＯＰＨと複数のＦｒａｍｅが含まれる。ＧＯＰＨは、ＧＯＰのヘッダ情報である。ＧＯＰＨには、このフレームを撮像したカメラを示す識別子，視差予測を行っていない時間情報（ＧＯＰ先頭からのフレーム番号相対値）を含む。Ｆｒａｍｅは、符号化されたフレームのデータである。

一つのＦｒａｍｅには、Ｆｒａｍｅ Ｈｅａｄｅｒと複数のＭＢ（Ｍａｃｒｏ Ｂｌｏｃｋ）が含まれる。Ｆｒａｍｅ Ｈｅａｄｅｒは、フレームのヘッダ情報である。Ｆｒａｍｅ Ｈｅａｄｅｒは、そのフレームの予測種別（Ｉ，Ｐ，Ｂ，Ｉ’，Ｐ’，Ｂ’）が含まれる。ＭＢは、マクロブロック情報を示す。

各ＭＢには、ＭＢＴｙｐｅ，ＭＶ，及びＤＣＴＣｏｅｆｆが含まれる。ＭＢＴｙｐｅは、各マクロブロックの予測種別（Ｉｎｔｒａ，Ｉｎｔｅｒ，Ｂｉ−Ｄｉｒｅｃｔｉｏｎ）、及び量子化係数を含む。予測種別は、片方向予測（Ｉｎｔｅｒ）や両方向予測（Ｂｉ−Ｄｉｒｅｃｔｉｏｎ）で参照するフレームの識別子をさらに含む。予測種別は、片方向予測の場合は一つの識別子を、両方向予測の場合は二つの識別子を含む。ＭＶは、ベクトル情報である。以下、このベクトル情報を動きベクトルと視差ベクトルとに区別して記載する。動きベクトルとは同一カメラによって撮像されたフレーム間のベクトル情報を示し、視差ベクトルとは異なるカメラによって撮像されたフレーム間のベクトル情報を示す。ＤＣＴＣｏｅｆｆは、予測誤差の量子化ＤＣＴ係数情報である。

次に、各カメラによって撮像された動画像を圧縮符号化することにより上記のような動画像データを生成する圧縮符号化装置１と、この圧縮符号化装置１によって生成された動画像データを復号化する伸張復号化装置２とについて説明する。

［圧縮符号化装置］
まず、圧縮符号化装置１の構成例について説明する。圧縮符号化装置１は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ），ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ），マスクＲＯＭ等を含む），ＦＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ ＲＡＭ），ハードディスク等を指す。

図３は、圧縮符号化装置１の機能ブロックの例を示す図である。圧縮符号化装置１は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、入力フレームバッファ１０１，減算器１０２，ＤＣＴ量子化部１０３，ＩＤＣＴ逆量子化部１０４，加算器１０５，フレームバッファ１０６，動き・視差ベクトル補償部１０７，可変長符号部１０８，ヘッダ付加部１０９，及び制御部１１０等を含む装置として機能する。ＤＣＴ量子化部１０３，ＩＤＣＴ逆量子化部１０４，動き・視差ベクトル補償部１０７，可変長符号部１０８，ヘッダ付加部１０９，及び制御部１１０は、プログラムがＣＰＵによって実行されることにより実現される。また、ＤＣＴ量子化部１０３，ＩＤＣＴ逆量子化部１０４，動き・視差ベクトル補償部１０７，可変長符号部１０８，ヘッダ付加部１０９，及び制御部１１０は専用のチップとして構成されても良い。次に、圧縮符号化装置１が含む各機能部について説明する。

〈入力フレームバッファ〉
入力フレームバッファ１０１は、圧縮符号化装置１に入力される動画像をバッファリン
グする。圧縮符号化装置１には、基本カメラによって撮像された動画像と、参照カメラによって撮像された動画像とが入力される。従って、入力フレームバッファ１０１は、基本カメラによって撮像された動画像と、参照カメラによって撮像された動画像とをバッファリングする。入力フレームバッファ１０１は、制御部１１０からの指示に従って、各カメラの符号化処理単位でフレームデータを出力する。符号化処理単位とは、１フレームであっても良いし、１ＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）といった複数フレームであっても良い。以下、入力フレームバッファ１０１によって出力されたフレーム、即ち圧縮符号化の処理対象となるフレームを入力フレームと呼ぶ。

〈減算器〉
減算器１０２は、入力フレームと、動き補償や視差補償による予測情報との差分を計算し、その結果を予測差分情報として出力する。

〈ＤＣＴ量子化部〉
ＤＣＴ量子化部１０３は、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）演算、量子化演算を行う。ＤＣＴ量子化部１０３は、減算器１０２により算出される予測差分情報をブロック単位でＤＣＴ演算し、ＤＣＴ係数を量子化し、その結果である量子化ＤＣＴ係数を出力する。

〈ＩＤＣＴ逆量子化部〉
ＩＤＣＴ逆量子化部１０４は、ＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）演算（以下、「逆ＤＣＴ演算」とも呼ぶ）、逆量子化演算を行う。ＩＤＣＴ逆量子化部１０４は、量子化ＤＣＴ係数の逆量子化及び逆ＤＣＴ演算を行い、逆ＤＣＴ演算結果を得る。

〈加算器〉
加算器１０５は、逆ＤＣＴ演算結果と、動き補償や視差補償による予測結果とを足し合わせて、ローカル復号化動画像を生成する。

〈フレームバッファ〉
フレームバッファ１０６は、ローカル復号化動画像を蓄積する。また、フレームバッファ１０６は、制御部１１０からの指示に従って、指定されたカメラ動画像の指定されたフレームを出力する。以下、フレームバッファ１０６によって出力されたフレーム、即ち動き予測や視差予測に用いられるフレームを予測元フレームと呼ぶ。

〈動き・視差ベクトル補償部〉
動き・視差ベクトル補償部１０７は、制御部１１０からの指示に従って、入力フレームと、予測元フレームとを用いてブロックマッチングによる予測を行う。動き・視差ベクトル補償部１０７は、動きベクトル情報及び視差ベクトル情報を可変長符号部１０８へ出力する。また、動き・視差ベクトル補償部１０７は、予測情報を減算器１０２へ出力する。動きベクトル情報や視差ベクトル情報や予測情報は、予測誤差を最小にするために使用される。また、動き・視差ベクトル補償部１０７は、フレーム全体での動きベクトル情報を制御部１１０に出力する。動きベクトル情報とは、例えば全ブロックでの動きベクトル情報の平均と分散などである。

〈可変長符号部〉
可変長符号部１０８は、量子化の結果を可変長符号化することにより、圧縮符号化されたフレームのデータを生成する。また、動き補償に用いられた動きベクトル情報、視差補償に用いられた視差ベクトル情報をヘッダ付加部１０９へ渡す。

〈ヘッダ付加部〉
ヘッダ付加部１０９は、カメラ番号、カメラ種別（基準カメラ又は参照カメラ）、参照する他のカメラ、等の情報を、圧縮符号化された後各フレーム又は複数フレーム単位に付加することにより動画像データを生成する。

〈制御部〉
制御部１１０は、各カメラにより撮像された動画像の符号化制御、基準カメラの決定（基準カメラ決定処理）、参照カメラにより撮像されたフレームの予測符号化のために参照するフレームの決定（参照先決定処理）などを行う。また、制御部１１０は、各機能部に指示をすることが可能となるように接続される。また、制御部１１０には、各カメラのパラメタ（各カメラについての配置情報）が外部から入力される。配置情報は、各カメラの絶対位置であってもよいし相対位置でも良い）。以下、基準カメラ決定処理と参照先決定処理について説明する。

図４は、基準カメラ決定処理と参照先決定処理における制御部１１０の動作例を示すフローチャートである。図４を用いて、制御部１１０の動作例について説明する。なお、以下の処理は一組のＧＯＰ単位で実行される。即ち、一つのＳＥＱＨによってまとめられる複数のＧＯＰ単位で、図４の処理が実行される。

まず、制御部１１０は、直前のＧＯＰの最後のフレームにおいてパニング（Ｐａｎｎｉｎｇ）が生じていたか否か判断する（Ｓ０１）。制御部１１０は、例えば、直前のＧＯＰの最後のフレームにおける動きベクトル情報（例えば、全ブロックでの動きベクトル情報の平均及び分散など）に基づいて、パニングの発生について判断する。言い換えれば、この最後のフレームにおいて撮像されていた被写体の画像内での動きに基づいて、パニングの発生が判断される。この場合、制御部１１０は、横方向の動きベクトルの平均値が閾値以上であるか否か、及び分散が閾値以下であるか否か判断する。この二つの条件が満たされる場合に、制御部１１０は、パニングが発生していると判断する。一方、この二つの条件の一方でも満たされない場合は、制御部１１０は、パニングが発生していないと判断する。

パニングが発生していないと判断した場合（Ｓ０１−Ｎｏ）、制御部１１０は、Ｃ（Ｎ／２±ｎＫ）を計算し、その計算結果に該当するカメラを基準カメラとする（Ｓ０３）。なお、Ｃ（ｍ）は、ｍ番目のカメラを示す識別子であり、一方向に向けて並ぶ複数のカメラに並んでいる順番で数字が割り当てられていると仮定する。また、Ｎはカメラの総数を示す。また、ｎは０以上の整数を示す。また、Ｋの値は、正の値を示す値であり、カメラ間の間隔やカメラと被写体との距離などに応じて設計者により適宜設定される値である。この場合は、カメラ列の中心、及び中心から等間隔（Ｋ）に左右両方向にあるカメラが基準カメラとして設定される。

そして、処理対象となるＧＯＰに含まれるフレームのうち、参照カメラによって撮像されたフレームを予測符号化するための参照先フレームが決定される。この場合は、制御部１１０は、各フレームにとって、中心側の直近の基準フレームを参照先フレームとなるように決定する（Ｓ０６）。図５は、カメラの配置例を示す図である。また、図６は、各カメラが基準カメラとなるか否か、及び、参照カメラである場合に参照先となるフレームはどの基準カメラとなるかを示す表である。図５では、７台のカメラＣ（１）〜Ｃ（７）がＸ軸上に番号順に並んでいる。また、図５では、各カメラは撮影方向（Ｚ軸方向）に垂直方向に等間隔若しくは任意の間隔で並んでいる。また、図６では、Ｋの値は“２”と設定されている。また、図６では、○は基準カメラであることを示し、Ｃ（ｍ）はそのカメラによって撮像されたフレームが参照先フレームとなることを示す。上記のようにパニングが生じていないと判断された場合、Ｓ０３の処理の結果、Ｃ（２），Ｃ（４），Ｃ（６）
が基準カメラとして設定される。そして、Ｃ（１）はＣ（２）を、Ｃ（３）及びＣ（５）はＣ（４）を、Ｃ（７）はＣ（６）を参照先とする。

次に、パニングが発生していると判断した場合（Ｓ０１−Ｙｅｓ）について説明する。この場合、制御部１１０は、パニングがどの方向に生じているか判断する（Ｓ０２）。この方向は、パニングの発生を判断する際に使用された動きベクトル情報により判断できる。即ち、このベクトルの向きによってパニングの発生方向が判断できる。制御部１１０は、左にパニングが生じていると判断した場合（Ｓ０２−左）、Ｃ（１＋ｎＫ）を基準カメラとする（Ｓ０４）。そして、制御部１１０は、参照カメラにより撮像された各フレームにとっての参照先フレームを、右側の直近の基準フレームに決定する（Ｓ０７）。言い換えれば、制御部１１０は、参照カメラにより撮像された各フレームにとっての参照先フレームを、パニングが発生している方向と逆方向に設置された直近の基準カメラとして設定する。

一方、制御部１１０は、右にパニングが生じていると判断した場合（Ｓ０２−右）、Ｃ（Ｎ−ｎＫ）を基準カメラとする（Ｓ０５）。そして、制御部１１０は、参照カメラにより撮像された各フレームにとっての参照先フレームを、左側の直近の基準フレームに決定する（Ｓ０８）。

［伸張復号化装置］
次に、伸張復号化装置２の構成例について説明する。伸張復号化装置２は、ハードウェア的には、バスを介して接続されたＣＰＵ（中央演算処理装置），主記憶装置（ＲＡＭ），補助記憶装置などを備える。補助記憶装置は、不揮発性記憶装置を用いて構成される。ここで言う不揮発性記憶装置とは、いわゆるＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ：ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ），ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ），マスクＲＯＭ等を含む），ＦＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ ＲＡＭ），ハードディスク等を指す。

図７は、伸張復号化装置２の機能ブロックの例を示す図である。伸張復号化装置２は、補助記憶装置に記憶された各種のプログラム（ＯＳ，アプリケーション等）が主記憶装置にロードされＣＰＵにより実行されることによって、ヘッダ解析部２０１，符号化動画像バッファ２０２，可変長復号部２０３，ＩＤＣＴ逆量子化部２０４，加算器２０５，表示動画像バッファ２０６，フレームバッファ２０７，動き・視差ベクトル補償部２０８，及び制御部２０９等を含む装置として機能する。ヘッダ解析部２０１，可変長復号部２０３，ＩＤＣＴ逆量子化部２０４，及び動き・視差ベクトル補償部２０８，及び制御部２０９は、プログラムがＣＰＵによって実行されることにより実現される。また、ヘッダ２０１，可変長復号部２０３，ＩＤＣＴ逆量子化部２０４，動き・視差ベクトル補償部２０８，及び制御部２０９は専用のチップとして構成されても良い。次に、伸張復号化装置２が含む各機能部について説明する。

〈ヘッダ解析部〉
ヘッダ解析部２０１は、入力された動画像データ（圧縮符号化装置１により作成された動画像データ）から、ヘッダ情報を抽出する。ヘッダ情報とは、具体的には、各フレームを撮像したカメラの識別子やその種別（基準カメラ又は参照カメラ）、参照先フレームを撮像したカメラの識別子などである。また、ヘッダ解析部２０１は、制御部２０９から、復号化すべきフレームを撮像したカメラの識別子を受け取る。そして、ヘッダ解析部２０１は、この識別子に基づいて、入力された各フレームについて復号化すべきか否か判断し、復号化すべきと判断したフレームのみを符号化動画像バッファ２０２へ渡す。具体的には、ヘッダ解析部２０１は、各カメラによって撮像されたフレームを含むＧＯＰのうち、
復号化すべきカメラに対応するＧＯＰを判断する（復号化カメラ判断処理）。この処理が実行されることにより、不要なフレームについての復号化処理を省略することが可能となり、処理の高速化を図ることができる。同時に、バッファリングすべきデータ量の削減も図ることができ、例えば表示動画像バッファ２０６やフレームバッファ２０７の規模を小さくすることができる。さらに、ヘッダ解析部２０１は、制御部２０９に対し、符号化動画像バッファ２０２に渡したフレームの識別子を通知する。

以下、復号化カメラ判断処理について説明する。なお、以下の説明では、参照カメラによって撮像された画像は、参照先フレームとして基準カメラによって撮像されたフレームのみを用いて圧縮符号化されたと仮定している。ただし、このように限定される必要はない。図８は、復号化カメラ判断処理におけるヘッダ解析部２０１の動作例を示すフローチャートである。このフローチャートに示される処理は、ＳＥＱＨが検出される度に実行される。まず、ヘッダ解析部２０１は、制御部２０９からカメラを示す識別子を取得する（Ｓ１１）。次に、ヘッダ解析部２０１は、入力される動画像データからＳＥＱＨを抽出し解析する（Ｓ１２）。この解析により、ヘッダ解析部２０１は、各カメラの誤差予測タイプや参照先となるカメラの識別子などを取得する。

次に、ヘッダ解析部２０１は、ＧＯＰＨを探索する。このとき、次のＳＥＱＨが検出された場合、即ち次のカメラによって撮像されたフレームが無い場合はこの処理を終了する（Ｓ１３−Ｎｏ）。一方、ＧＯＰＨが検出された場合は（Ｓ１３−Ｙｅｓ）、ヘッダ解析部２０１は、このＧＯＰＨを解析し、カメラの識別子を取得する。そして、ヘッダ解析部２０１は、ＧＯＰＨに含まれる識別子と、制御部２０９から渡された識別子とが一致するか否か判断する。一致する場合（Ｓ１４−Ｙｅｓ）、このＧＯＰに含まれる各フレームについての復号化を実行すべきと判断する（Ｓ１９）。そして、Ｓ１３以降の処理が再び実行される。

一方、ヘッダ解析部２０１は、識別子が一致しない場合（Ｓ１４−Ｎｏ）、制御部２０９から渡された識別子のカメラの参照先に対応するカメラであるか否か判断する。参照先でない場合（Ｓ１５−Ｎｏ）、Ｓ１３以降の処理が実行される。一方、参照先である場合（Ｓ１５−Ｙｅｓ）、ヘッダ解析部２０１は、ＧＯＰＨを解析し視差予測を行っていない時間を解析する（Ｓ１６）。そして、全時間で視差予測を行っている場合は（Ｓ１７−Ｙｅｓ）、このＧＯＰに含まれる各フレームについての復号化を実行すべきと判断する（Ｓ１９）。一方、一部の時間で視差予測を行っていない場合には（Ｓ１７−Ｎｏ）、ヘッダ解析部２０１は、視差予測を行っているフレームを判断し、そのフレームのみについて復号化すべきと判断する（Ｓ１８）。そして、Ｓ１３以降の処理が再び実行される。

〈符号化動画像バッファ〉
符号化動画像バッファ２０２は、ヘッダ解析部２０１によって復号化すべきと判断された各フレームをバッファリングする。符号化動画像バッファ２０２は、制御部２０９からの指示に従って、復号化処理単位でフレームを出力する。復号化処理単位とは、１フレームであっても良いし、ＧＯＰのように複数フレームであっても良い。

〈可変長復号部〉
可変長復号部２０３は、可変長符号化されている量子化ＤＣＴ係数を可変長復号化し、その結果をＩＤＣＴ逆量子化部２０４に渡す。また、可変長復号化部２０３は、動きベクトル情報や視差ベクトル情報についても可変長復号化し、動き・視差ベクトル補償部２０８に渡す。

〈ＩＤＣＴ逆量子化部〉
ＩＤＣＴ逆量子化部２０４は、ＩＤＣＴ演算、逆量子化演算を行う。ＩＤＣＴ逆量子化
部２０４は、量子化ＤＣＴ係数の逆量子化及び逆ＤＣＴ演算を行い、逆ＤＣＴ演算結果を得る。

〈加算器〉
加算器２０５は、逆ＤＣＴ演算結果と、動き補償や視差補償による予測結果とを足し合わせて、復号化動画像を生成する。

〈表示動画像バッファ〉
表示動画像バッファ２０６は、加算器２０５によって生成された復号化動画像のデータをバッファリングする。このとき、表示動画像バッファ２０８は、外部から表示することを指定されたカメラに対応する復号化動画像のデータをバッファリングする。そして、表示動画像バッファ２０６は、バッファリングしているデータを順次出力する。

〈フレームバッファ〉
フレームバッファ２０７は、表示動画像バッファ２０６と同様に、復号化動画像のデータをバッファリングする。さらに、フレームバッファ２０７は、外部からの指定に関わらず、処理対象のフレームの復号化に必要となる他のカメラにより撮像されたフレームも蓄積する。

〈動き・視差ベクトル補償部〉
動き・視差ベクトル補償部２０８は、制御部２０９からの指示に従い、処理対象となっているフレームの復号化に必要な動き予測・視差予測に用いるフレームを、フレームバッファ２０７から読み出す。そして、動き・視差ベクトル補償部２０８は、可変長復号部２０３から動きベクトル情報・視差ベクトル情報を取得する。そして、予測結果を取得し、その予測結果を加算器２０５へ渡す。

〈制御部〉
制御部２０９は、入力される動画像データについての復号化制御を行う。また、制御部２０９は、各機能部に指示をすることが可能となるように接続される。また、制御部２０９には、外部から、表示動画像バッファ２０８から外部へ出力すべき動画像を撮像したカメラを示す識別子が入力される。この識別子は、一つでも複数でも良い。そして、制御部２０９は、入力されたこの識別子をヘッダ解析部２０１に渡す。

〔作用／効果〕
〔変形例〕
参照カメラにより撮像された各フレーム（Ｉ’フレーム，Ｐ’フレーム，Ｂ’フレーム）は、基準カメラによって同時刻に撮像されたフレームに限らず、他の参照カメラによって撮像されたフレームを参照して予測符号化されても良いし、基準カメラや他の参照カメラによって異なる時刻によって撮像されたフレームを参照して予測符号化されても良い。

また、カメラは一直線上に並ぶように設置される必要はなく、波線状や円状や十字状や四角状など、どのように並ぶように設置されても良い。

本発明は、多視点において撮像された画像を符号化・復号化する装置に対して利用することにより、効果を得ることができる。

１ 圧縮符号化装置
１０１ 入力フレームバッファ
１０２ 減算器
１０３ ＤＣＴ量子化部
１０４ ＩＤＣＴ逆量子化部
１０５ 加算器
１０６ フレームバッファ
１０７ 動き・視差ベクトル補償部
１０８ 可変長符号部
１０９ ヘッダ付加部
１１０ 制御部
２ 伸張復号化装置
２０１ ヘッダ解析部
２０２ 符号化動画像バッファ
２０３ 可変長復号部
２０４ ＩＤＣＴ逆量子化部
２０５ 加算器
２０６ 表示動画像バッファ
２０７ フレームバッファ
２０８ 動き・視差ベクトル補償部
２０９ 制御部

Claims (3)

1. 複数のカメラによって撮像された各フレームを圧縮符号化する圧縮符号化装置であって、あるカメラにより撮像されたフレームを、当該カメラによって撮像されたフレームを用いた動き予測と他のカメラによって撮像されたフレームを用いた動き予測とにより圧縮符号化する圧縮符号化手段と、各フレームについて、当該フレームと、他のカメラによって撮像された動き予測に用いられたフレームとを対応づけるための情報及び他のカメラによって撮像されたフレームを用いた動き予測が実施されたか否かを示す情報を含む動き予測情報を生成する動き予測情報作成手段と、複数の圧縮符号化後のフレームと、前記動き予測情報とを含む一つの動画像データを生成する合成手段とを含む圧縮符号化装置によって生成された動画像データを伸張復号化する伸張復号化装置であって、
   出力すべきフレームについての指示を受ける指示入力手段と、
   前記動き予測情報を前記動画像データから読み出し、前記出力すべきフレームの圧縮符号化における動き予測に用いられたフレームを撮像したとみなされるカメラを判断し、当該カメラによって撮像されたフレームのうち、前記出力すべきフレームについての前記動き予測が実施されることなく圧縮符号化された時間に対応するフレームを除くフレームを出力すべきフレームの圧縮符号化における動き予測に用いられたフレームと判断する判断手段と、
   前記判断手段によって判断されたフレーム、及び前記出力すべきフレームについてのみ伸張復号化を実行する伸張復号化手段と
   を含む伸張復号化装置。
2. 複数のカメラによって撮像された各フレームを圧縮符号化する圧縮符号化装置であって、あるカメラにより撮像されたフレームを、当該カメラによって撮像されたフレームを用いた動き予測と他のカメラによって撮像されたフレームを用いた動き予測とにより圧縮符号化する圧縮符号化手段と、各フレームについて、当該フレームと、他のカメラによって撮像された動き予測に用いられたフレームとを対応づけるための情報及び他のカメラによって撮像されたフレームを用いた動き予測が実施されたか否かを示す情報を含む動き予測情報を生成する動き予測情報作成手段と、複数の圧縮符号化後のフレームと、前記動き予測情報とを含む一つの動画像データを生成する合成手段とを含む圧縮符号化装置によって生成された動画像データを伸張復号化する伸張復号化方法であって、
   情報処理装置が、出力すべきフレームについての指示を受けるステップと、
   情報処理装置が、前記動き予測情報を前記動画像データから読み出し、前記出力すべきフレームの圧縮符号化における動き予測に用いられたフレームを撮像したとみなされるカメラを判断し、当該カメラによって撮像されたフレームのうち、前記出力すべきフレームについての前記動き予測が実施されることなく圧縮符号化された時間に対応するフレームを除くフレームを、出力すべきフレームの圧縮符号化における動き予測に用いられたフレームと判断するステップと、
   情報処理装置が、前記判断するステップにおいて判断されたフレーム、及び前記出力すべきフレームについてのみ伸張復号化を実行するステップと
   を含む伸張復号化方法。
3. 複数のカメラによって撮像された各フレームを圧縮符号化する圧縮符号化装置であって、あるカメラにより撮像されたフレームを、当該カメラによって撮像されたフレームを用いた動き予測と他のカメラによって撮像されたフレームを用いた動き予測とにより圧縮符号化する圧縮符号化手段と、各フレームについて、当該フレームと、他のカメラによって撮像された動き予測に用いられたフレームとを対応づけるための情報及び他のカメラによって撮像されたフレームを用いた動き予測が実施されたか否かを示す情報を含む動き予測情報を生成する動き予測情報作成手段と、複数の圧縮符号化後のフレームと、前記動き予測情報とを含む一つの動画像データを生成する合成手段とを含む圧縮符号化装置によって
   生成された動画像データの伸張復号化を情報処理装置に実行させるためのプログラムであって、
   出力すべきフレームについての指示を受けるステップと、
   前記動き予測情報を前記動画像データから読み出し、前記出力すべきフレームの圧縮符号化における動き予測に用いられたフレームを撮像したとみなされるカメラを判断し、当該カメラによって撮像されたフレームのうち、前記出力すべきフレームについての前記動き予測が実施されることなく圧縮符号化された時間に対応するフレームを除くフレームを、出力すべきフレームの圧縮符号化における動き予測に用いられたフレームと判断するステップと、
   前記判断するステップにおいて判断されたフレーム、及び前記出力すべきフレームについてのみ伸張復号化を実行するステップと
   を情報処理装置に実行させるためのプログラム。