JP2013168866A - 画像処理装置、その制御方法およびプログラム - Google Patents

Abstract

【課題】多視点画像符号化により符号化された動画データを、効率的且つ高速にサイドバイサイド画像に変換し、符号化することができない。
【解決手段】多視点動画データを符号化する符号化手段と、動画データを処理する画像処理手段と、ユーザ指示を入力する指示手段とを有する画像処理装置は、多視点動画データにおける右眼用の画像と左眼用の画像の水平画素数をそれぞれ削減した画像を合成した画像を１画面とする変換動画データを生成し、多視点動画データが符号化手段で符号化された際の符号化パラメータを用いて、変換動画データを符号化するための符号化パラメータを生成し、指示手段による変換動画データの生成および符号化の指示に応答して変換動画データとその符号化パラーメの生成を制御して、画像処理手段で生成された変換動画データを生成された符号化パラメータに従って、前記多視点動画データの符号化方式とは異なる符号化方式で符号化する。
【選択図】図１

Description

本発明は画像処理装置に関し、特に画像データの符号化機能を備えた画像処理装置に関する。

従来、左眼用画像と右眼用画像を含む三次元（多視点）画像を撮影し、記録媒体に記録する装置が知られている。動画像データを符号化する方式として、従来、ＭＰＥＧ４ ＡＶＣ方式が知られている。また、多視点画像データを符号化するため、ＭＰＥＧ４ ＡＶＣの拡張規格としてＭＰＥＧ４ ＭＶＣが提案されている。ＭＰＥＧ４ ＭＶＣでは、動き補償及び視差補償の予測符号化を利用し、左眼用画像と右眼用画像をそれぞれ符号化する（例えば、特許文献１参照）。

一方、左眼用画像と右眼用画像のそれぞれの水平方向の画素数を半分に減少し、左右へ並べて一画面に変換したサイドバイサイド方式の二次元画像データを動き補償の予測符号化により符号化して記録する構成も考えられている。このときの符号化方式として、ＭＰＥＧ４ ＡＶＣを利用することが可能である。

特開２０１１−０８７１９５号公報

サイドバイサイド方式においては、左眼用画像と右眼用画像の水平方向の画素数を半分に削減しているため、再生時に、左眼用画像と右眼用画像の画素数を補間等により増加させて画像データを復元している。そのため、復元画像の画質が低下する。

これに対し、ＭＰＥＧ４ ＭＶＣに従って多視点画像データを符号化した場合、左眼用画像と右眼用画像の画素数を削減する必要がない。そのため、画質の観点では左眼用画像と右眼用画像をそれぞれ符号化する多視点画像符号化方式が好ましい。

しかし、ＭＰＥＧ４ ＭＶＣにて符号化された動画データを復号できない装置では、多視点画像符号化方式で符号化された動画データを復号できない。そのため、左眼用画像又は右眼用画像の何れかの２次元画像しか復号できない。

そこで、多視点画像符号化方式により符号化された動画データをサイドバイサイド方式の動画像に簡単に変換し、符号化できることが望まれる。

本発明はこの様な問題を解決し、多視点画像符号化により符号化された動画データを、効率的且つ高速に、サイドバイサイド画像に変換し、符号化することができるようにすることを目的とする。

上記本発明の目的を達成するため、本発明の画像処理装置は、多視点動画データの符号化パラメータを生成し、当該符号化パラメータに従って多視点動画データを符号化する符号化手段と、動画データを処理する画像処理手段と、ユーザ指示を入力する指示手段とを有する画像処理装置であり、多視点動画データにおける右眼用の画像と左眼用の画像の水平画素数をそれぞれ削減し、画素数を削減した左眼用画像と右眼用画像を合成した画像を１画面とする変換動画データを画像処理手段が生成し、符号化手段が多視点動画データを符号化した際の符号化パラメータを用いて、変換動画データを符号化するための符号化パラメータを生成し、指示手段による変換動画データの生成および符号化の指示に応答して画像処理手段と変換動画データの符号化パラメータの生成を制御して、画像処理手段で生成された変換動画データを生成された符号化パラメータに従って、多視点動画データの符号化方式とは異なる符号化方式で符号化する。

本発明によれば、多視点画像符号化により符号化された動画データを、効率的且つ高速に、サイドバイサイド画像に変換し、符号化することが可能となる。

本発明の第１の実施例における画像処理装置の構成を示すブロック図である。 多視点の動画データの符号化方式を示す模式図である。 本発明の実施形態に係わる多視点画像とサイドバイサイド画像との関連を示す図である。 動画符号化に係わるマクロブロック分割タイプを示す図である。 本発明の第１の実施例に係わる符号化処理のフローチャートを示す図である。 本発明の第１の実施例に係わる変換処理のフローチャートを示す図である。 本発明の実施形態に係わるマクロブロック分割タイプの変換処理の概念図である。 本発明の実施形態に係わるマクロブロック分割タイプの変換処理の概念図である。 本発明の実施形態に係わるマクロブロック分割タイプの変換処理の概念図である。 本発明の実施形態に係わるマクロブロック分割タイプの変換処理の概念図である。 本発明の実施形態に係わる動きベクトルの変換処理の概念図である。 本発明の実施形態に係わる視差ベクトルの変換処理の概念図である。 本発明の第２の実施例に係わる画像処理装置のブロック図である。

以下、本発明の実施形態を添付の図面を用いて詳細に説明する。

第１の実施例
図１は、本発明の第１の実施例における画像処理装置の構成を示すブロック図である。図１の画像処理装置１０１は、右眼用の動画データと左眼用の動画データとを含む多視点動画データを、ＭＰＥＧ４ ＭＶＣなどの多視点画像符号化方式に従って符号化して記録する構成を有する。また、画像処理装置１０１は、符号化された多視点動画データを再生して復号し、復号された多視点動画データをサイドバイサイド画像に変換した後、ＭＰＥＧ４ ＡＶＣに従って符号化する構成も有する。

入力部１０２は、右眼用の動画データと左眼用の動画データとを含む多視点動画データを入力し、バス１０１を介してメモリ１０３に記憶する。入力部１０２は、例えば、ビデオカメラにより撮影された多視点画像の動画データを入力することができる。メモリ１０３は入力された動画データや各種の情報を記憶する。操作部１０４は電源スイッチや記録の開始、停止等のユーザ指示を入力するためのスイッチ、再生スイッチ、後述の変換処理を指示するスイッチ等を有する。制御部１０５は、ＣＰＵ（マイクロコンピュータ）やメモリ等を有し、メモリに記憶されたソフトウェアに従い、操作部１０４からの指示に応答して画像処理装置１０１の動作を制御する。記録再生部１０６は、符号化された多視点動画データを記録媒体１０７に記録し、また、記録媒体１０７より符号化された多視点動画データを再生する。記録媒体１０７は、例えばメモリカード等のランダムアクセスの記録媒体であり、不図示の装着、排出機構により、画像処理装置１０１に対して容易に装着、排出が可能である。復号部１０８は、記録媒体から再生された多視点動画データを復号する。画像処理部１０９は、変換モードにおいて、再生された多視点画像をサイドバイサイド画像に変換する。パラメータ変換部１１０は、変換モードにおいて、再生された多視点動画データに付加された符号化パラメータを用いて、サイドバイサイド画像を符号化するために用いる符号化パラメータを生成する。

符号化方式決定部１１１は、多視点動画データ、或いは、サイドバイサイド画像を符号化する際のスライスタイプやマクロブロック分割タイプ、或いは予測符号化モード等のパラメータを決定する。予測符号化部１１２は、符号化方式決定部１１１により決定された符号化パラメータに応じて予測誤差データを生成し、これを直交変換したデータを生成する。エントロピー符号化部１１３は、予測符号化部１１２からのデータにエントロピー符号化処理を施す。出力部１１４は、符号化された多視点動画データや復号された多視点動画データ、或いは、符号化されたサイドバイサイド画像データ等を外部機器に出力する。

まず、多視点動画データの記録時の処理について説明する。
ＭＰＥＧ４ ＭＶＣでは、各視点の画像をビューコンポーネントとして定義し、複数のビューコンポーネントで多視点符号化データが構成される。ビューコンポーネントには必ずそのビューコンポーネント単体で復号化が可能なＭＰＥＧ４ ＡＶＣ方式で符号化されたビューコンポーネントを含む必要がある。このビューコンポーネントをベースビューと呼び、他のビューコンポーネントをノンベースビューと呼ぶ。ベースビューは、他視点の画像を参照画面として用いる視差補償予測を利用せず、画面内予測、もしくは、自視点の画面を参照画面として用いる画面間予測のみが利用可能である。ノンベースビューは、画面内予測、或いは、自視点の画面を参照画面として用いる画面間予測に加え、他視点の画面を参照画面として用いる視差補償予測を利用することが可能である。本実施形態では、ベースビューを左眼用の画像、ノンベースビューを右眼用の画像とする。

図２に多視点動画データの構成を示す。多視点動画データは、左眼用の動画データ２０１と右眼用の動画データ２０２から構成される。前記の様に、左眼用の動画データ２０１がベースビューで、右眼用の動画データ２０２がノンベースビューである。図２に記載されている数１、２、…、（ｎ＋２）は各画面の表示順を示す。

図２のＩ，Ｐ，Ｂはそれぞれ、Ｉスライス、Ｐスライス、Ｂスライスを示す。左眼用の動画データ２０１はベースビューであるため、Ｉスライスは画面内予測、Ｐスライスは前方の画面を参照画面として用いる前方予測、Ｂスライスは前後の画面を参照画面として用いる双方向予測により符号化される。

また、右眼用の動画データ２０２はノンベースビューであるため、Ｐ，Ｂスライスはそれぞれ前方予測、双方向予測に加え、同時刻の左眼用の画像を参照画面として用いる視差予測による予測符号化を用いて符号化することが可能である。

次に、画像処理装置１０１による符号化処理について、図５に示す記録処理のフローチャートを用いて説明する。図５に示す処理は、制御部１０５が各部を制御することにより実行される。
操作部１０４からの記録開始の指示に応じて処理が開始される。

入力部１０２は、図２に示す表示順で入力された多視点動画データをメモリ１０３に記憶する。符号化方法決定部１１１は、メモリ１０３に記憶された多視点動画データの左眼用の画像と右眼用の画像とをそれぞれ符号化処理の順に読み出す。符号化方法決定部１１１は、符号化対象のマクロブロックがベースビューの動画データであるか否かを判別する（Ｓ５０１）。符号化対象のマクロブロックがベースビューであった場合、符号化方法決定部１０６は、符号化対象のマクロブロックがＩスライスであるか否かを判別する（Ｓ５０２）。符号化対象のマクロブロックがＩスライスであった場合、符号化方法決定部１１１は、画面内予測のマクロブロック分割タイプから、符号化効率が高いタイプを選択する（Ｓ５０３）。また、符号化対象のマクロブロックがＩスライスでない場合、符号化方法決定部１１１は、局部復号された参照画面のデータを適宜メモリ１０３より読み出し、簡易的な画面内予測、動き補償予測又は視差補償予測を含む画面間予測処理を行う。これにより符号化効率を示す評価値をマクロブロックごとに算出する。そして、符号化方法決定部１１１は、算出した評価値に基づいて画面内予測又は画面間予測のうち、符号化効率の高い予測モードを選択する（Ｓ５０９）。

一方、Ｓ５０１で、符号化対象のマクロブロックがノンベースビューであった場合、符号化方法決定部１０６は、画面内予測又は画面間予測のうち、符号化効率の高い予測モードを選択する（Ｓ５１１）。

次に、符号化方法決定部１１１は、符号化対象マクロブロックの予測モードに基づいて、マクロブロック分割タイプや動きベクトル、或いは視差ベクトル等の符号化パラメータを決定する（Ｓ５０４）。

ここで図４を用いてマクロブロックについて説明する。ＭＰＥＧ４ ＭＶＣ及び、ＭＰＥＧ４ ＡＶＣでは、所定数の画素を含むマクロブロックを単位として符号化処理を行う。マクロブロックは水平１６画素×垂直１６画素を含む。また、ＭＰＥＧ４ ＭＶＣ及び、ＭＰＥＧ４ ＡＶＣでは、複数のマクロブロック分割タイプが用意されている。一つのマクロブロックを、更に小さいブロックに分割したものがマクロブロック分割タイプである。

図４はマクロブロックの分割構成を示す概念図である。なお、図においてサブマクロブロック分割タイプを示すブロックの大きさは便宜的に見やすいようにマクロブロック分割タイプに比べて大きく図示されている。

ＭＰＥＧ４ ＭＶＣでは、予測符号化の単位となるマクロブロック分割タイプに関してはＭＰＥＧ４ ＡＶＣと同様である。図４に示す様に、一つのマクロブロック４０１は水平１６画素×垂直１６画素で構成される。また、マクロブロック分割タイプ４０２として、１６×１６画素、８×１６画素、１６×８画素及び８×８画素の４種類が定義されている。マクロブロック分割タイプが８×８画素の場合、その８×８画素単位をサブマクロブロックと呼ぶ。サブマクロブロック分割タイプ４０３として、８×８画素、４×８画素、８×４画素及び４×４画素の４種類が定義されている。各マクロブロック分割タイプにおいて、分割されたブロック毎に画面内予測モードが設定され、また、分割されたブロック毎に動きベクトル、或いは視差ベクトルが算出される。また、各サブマクロブロック分割タイプにおいて、分割されたブロック毎に画面内予測モードが設定され、また、分割されたブロック毎に動きベクトル、或いは視差ベクトルが算出される。

これらのマクロブロック分割タイプのうち、画面内予測では、１６×１６画素及び８×８画素の２種類のマクロブロック分割タイプが利用可能である。また、サブマクロブロック分割タイプとして、８×８画素及び４×４画素の２種類が利用可能である。ただし、一つのマクロブロック内でのサブマクロブロック分割タイプは１種類のみ選択可能である。動き補償及び視差補償を含む画面間予測では、全てのマクロブロック分割タイプが利用可能であり、マクロブロック分割タイプが８×８画素が選択された場合、そのサブマクロブロックに対して全てのサブマクロブロック分割タイプが利用可能である。

符号化方法決定部１１１は、この様に予測モードに応じてマクロブロック分割タイプを選択する。そして、符号化方法決定部１１１は、選択したマクロブロック分割タイプや、参照画面、予測モード、動きベクトルなどの符号化パラメータの情報を予測符号化部１１２に送る。

予測符号化部１１２は、符号化方法決定部１１１からの符号化パラメータに基づいて、符号化対象のマクロブロックを符号化する。即ち、予測符号化部１１２は、画面内予測を行う場合、決定された予測モードに従い、同じ画面のデータと符号化対象のマクロブロックとの予測誤差データを生成する。また、予測符号化部１１２は、画面間予測を行う場合、決定された予測モードに従い、参照画面のデータ（予測データ）をメモリ１０３より読み出し、符号化対象データと参照データとの予測誤差データ（差分）を生成する。そして、予測符号化部１０７は、指定された画素ブロック単位（８×８画素又は４×４画素ブロック単位）に直交変換処理を行う。予測符号化部１１２は、直交変換により得られた変換係数を、指定された量子化パラメータに応じた量子化ステップにより量子化し、量子化データをエントロピー符号化部１１３に出力する。

また、予測符号化部１１２は、量子化データに対して逆量子化処理、逆直交変換処理を行い、予測データを加算して局部復号データを生成する。そして、この局部復号データをメモリ１０３に記憶する。メモリ１０３に記憶されたデータは、以降の画面内予測処理に利用される。更に、予測符号化部１１２は、局部復号データに対してデブロッキングフィルタ処理を施した後、メモリ１０３に記憶する。メモリ１０３に記憶されたデブロッキングフィルタ処理後のデータは、以降の画面間予測処理に利用される。

エントロピー符号化部１１３は、入力された量子化データに対してエントロピー符号化処理を行い、メモリ１０３に出力する（Ｓ５０５）。ここで、エントロピー符号化処理は次の２つの符号化を含む。即ち、コンテキスト適応型可変長符号化（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｖａｒｉｂａｌｅ Ｌｅｎｇｔｈ Ｃｏｄｉｎｇ。以下、ＣＡＶＬＣ）とコンテキスト適応型２値算術符号化（Ｃｏｎｔｅｘｔ−ｂａｓｅｄ Ａｄａｐｔｉｖｅ Ｂｉｎａｒｙ Ａｒｉｔｈｍｅｔｉｃ Ｃｏｄｉｎｇ。以下、ＣＡＢＡＣ）である。

記録再生部１０６は、メモリ１０３から符号化された多視点動画データを読み出し、記録媒体１０７に記録する。制御部１０５は、操作部１０４より記録停止の指示があったか否かを判別する（Ｓ５０７）。記録停止の指示が無い場合にはそのまま記録を続ける。また、記録停止の指示があった場合、制御部１０５は、多視点動画データの符号化と記録を停止するように各部に指示する（Ｓ５０８）。記録再生部１０６は、記録停止の指示に応じて、記録媒体１０７に対する多視点動画データの記録を停止する。

次に、上述の記録処理で記録された多視点動画データの再生処理について説明する。制御部１０５は、操作部１０４より再生開始の指示があった場合、各部に再生開始を指示する。記録再生部１０６は、再生開始の指示に応じて、記録媒体１０７より符号化された多視点動画データを再生し、バス１１５を介してメモリ１０３に順次記憶する。復号部１０８は、メモリ１０３より多視点画像符号化データを順次読み出して復号し、復号した左眼用の動画データと右眼用の動画データを一旦メモリ１０３に記憶する。出力部１１４は、メモリ１０３より、復号された左眼用の動画データと右眼用の動画データとを読み出し、表示順に外部に出力する。

次に、操作部１０４よりサイドバイサイド画像への変換指示があった場合の変換処理について説明する。多視点動画データを再生している状態、或いは、それ以外の状態で、操作部１０４よりサイドバイサイド画像への変換指示があった場合、制御部１０５は各部を制御して変換処理を開始する。

画像処理装置１０１は、変換処理において、再生された多視点動画データを復号した後、復号された多視点画像をサイドバイサイド画像に変換し、動画像符号化方式であるＭＰＥＧ４ ＡＶＣに従って符号化する変換処理を行う。また、画像処理装置１０１は、変換処理において、再生された多視点動画データの符号化パラメータを用いて、サイドバイサイド画像を符号化するために用いる符号化パラメータを生成する。

図６は、本実施例に係わる多視点動画データの変換処理のフローチャートを示す図である。図６の処理は制御部１０５が各部を制御することにより実行される。

操作部１０４より変換処理の指示が入力された場合、制御部１０５は、変換処理を開始するように各部に指示する。記録再生部１０６は、記録媒体１０７より多視点動画データを再生し、バス１１５を介してメモリ１０３に順次記憶する。次に、制御部１０５は、復号部１０８に対し、復号処理を開始する様に指示する。復号部１０８は、メモリ１１３より多視点動画データを順次読み出して復号し、復号した左眼用の動画データと右眼用の動画データを一旦メモリ１０３に記憶する（Ｓ６０１）。また、復号部１０８は、各マクロブロックの符号化パラメータの情報をメモリ１０３に記憶する（Ｓ６０２）。

次に、画像処理部１０９は、メモリ１０３に記憶された左眼用の動画データと右眼用の動画データより、同じ時間の左眼用画像と右眼用画像を読み出す。そして、図３に示す様に、読み出した左眼用画像３０１と右眼用画像３０２の水平方向の画素を半分に削減し、画素数が減少された左眼用の画像３０３と右眼用の画像３０３を合成してサイドバイサイド画像３０５を生成する（Ｓ６０３）。この様に、画像処理部１０９は、順次サイドバイサイド画像（変換動画データ）を生成し、メモリ１０３に記憶する。

メモリ１０３に記憶されたサイドバイサイド画像をＭＰＥＧ４ ＡＶＣにより符号化した場合には、左眼用画像３０１と右眼用画像３０２における各マクロブロックの水平画素数も半分になる。そして、左眼用画像３０１と右眼用画像３０２において隣接する二つのマクロブロックが、サイドバイサイド画像における一つのマクロブロックとなる。

そこで、本実施例では、サイドバイサイド画像における一つのマクロブロックの符号化モード（符号化パラメータ）を決定するために次のような処理を行う。

パラメータ変換部１１０が、多視点動画データにおいて、水平方向に隣接する二つのマクロブロック（マクロブロックペアと呼ぶ）が同一の予測モードであるか否かを判別する（Ｓ６０４）。即ち、同じマクロブロックペアにおける隣接する二つのマクロブロックが、共に画面内予測であるか、或いは、画面間予測（動き補償又は視差補償）であるかを判定する。

マクロブロックペアにおける隣接する二つのマクロブロックが同じ予測モードであった場合、パラメータ変換部１１０は、この予測モードが画面内予測であるかどうかを判定する（Ｓ６０５）。画面内予測である場合、パラメータ変換部１１０は、各マクロブロック分割タイプにおける水平画素数を半分に変換することにより、サイドバイサイド画像を符号化するためのマクロブロック分割タイプを得ることができるか否かを判別する（Ｓ６０６）。

この判別を、図７を用いて説明する。図に示すように、それぞれ定義されている１６×１６画素のマクロブロック分割タイプ７０１、８×８画素のマクロブロック分割タイプ７０２、４×４画素のマクロブロック分割タイプ７０３の水平画素数を半分にしたものがブロック７０４−７０６である。

１６×１６画素のマクロブロック分割タイプ７０１は、８×８画素のマクロブロック分割タイプ７０７、または、８×８画素のマクロブロック分割タイプで且つサブマクロブロック分割タイプが４×４画素のブロック７０８に変換可能である。８×８画素のマクロブロック分割タイプ７０２は、８×８画素のマクロブロック分割タイプで且つサブマクロブロック分割タイプが４×４画素のブロックに変換可能である。

８×８画素のマクロブロック分割タイプで且つサブマクロブロック分割タイプが４×４画素のマクロブロック７０３は、水平サイズを半分にした場合、ブロック７０６のように２画素単位になってしまう。そのため、変換されたブロックを、サイドバイサイド画像を符号化するためのマクロブロック分割タイプとして用いることができない。この場合は、後述する図８（ｂ）に示すように分割タイプの変換を決定することが可能である。

なお、図７では、マクロブロックペアの一方のマクロブロックについて記載しているが、他方についても水平サイズを半分にする過程を経て同様の分割タイプの変換を考察できる。即ち、図７のブロック７０７−７０９の何れか二つが、サイドバイサイド画像における一つのマクロブロックとなる。そして、図８（ａ）に示す様に、元の多視点画像における隣接した二つのマクロブロックをサイドバイサイド画像における一つのマクロブロックに変換する。

図８は、マクロブロックペアのサイドバイサイド画像でのマクロブロックとしての分割タイプの決定構成を模式的に示す図である。マクロブロックペア８０１の様に、二つのマクロブロックのマクロブロック分割タイプが何れも１６×１６画素の場合、サイドバイサイド画像におけるマクロブロック分割タイプ８０４は８×８となる。また、マクロブロックペア８０２、８０３の様に、二つのマクロブロックのマクロブロック分割タイプが異なる場合、８０５、８０６の様に、変換後のブロックのサイズが小さい方を符号化対象のマクロブロックのマクロブロック分割タイプとして選択する。

また、変換後のブロックが２画素単位となる場合であっても、図８（ｂ）に示す様に、ブロックのサイズが最小となるマクロブロック分割タイプ８０７或いは８０８に変換してもよい。

パラメータ変換部１１０は、図７の様に、各マクロブロック分割タイプに基づいて、水平画素数を半分にしたブロックがサイドバイサイド画像を符号化するためのパラメータとして用いることができるか否かを判別する。そして、変換可能な場合、パラメータ変換部１１０は、図８（ａ）に示すように、多視点画像のマクロブロック分割タイプから、符号化対象のマクロブロックのマクロブロック分割タイプを決定する。また、マクロブロックペアの少なくとも一方が、変換できないマクロブロック分割タイプである場合には、図８（ｂ）に示すように多視点画像のマクロブロック分割タイプとは無関係に符号化対象のマクロブロック分割タイプを決める。

次に、パラメータ変換部１１０は、多視点画像の画面内予測モードから、符号化対象のマクロブロックの画面内予測モードを決定する（Ｓ６０８）。図７、図８に示す各ブロックの数字は、変換前後の画面内予測モードの対応を示している。例えば、図７に示す多視点画像のマクロブロック７０２における番号１と２の部分が画面内予測モードのｖｅｒｔｉｃａｌ（垂直）、番号３がＤＣ（平均）、番号４の部分がｈｏｒｉｚｏｎｔａｌ（水平）であったとする。この場合、符号化対象のマクロブロックにおける番号１と２の部分が画面内予測モードのｖｅｒｔｉｃａｌ（垂直）、番号３がＤＣ（平均）、番号４がｈｏｒｉｚｏｎｔａｌ（水平）となる。以上のように画面内予測用の符号化パラメータを変換する。

一方、Ｓ６０５で、マクロブロックのペアの予測モードが画面内予測で無い場合、マクロブロック分割タイプを変換することにより、サイドバイサイド画像を符号化するためのマクロブロック分割タイプを得ることができるか否かを判別する（Ｓ６１２）。

この判別を、図９を用いて説明する。なお、図においてサブマクロブロック分割タイプを示すブロックの大きさは便宜的に見やすいようにマクロブロック分割タイプに比べて大きく図示されている。

図９に示すように、１６×１６画素のマクロブロック分割タイプ９０１、８×１６画素のマクロブロック分割タイプ９０２、１６×８画素のマクロブロック分割タイプ９０３の水平画素数を半分にしたものがブロック９０８−９１０である。また、マクロブロック分割タイプが８×８画素のサブマクロブロック分割タイプ９０４−９０７のそれぞれの水平画素数を半分にしたものが、ブロック９１１−９１４である。ここで、９０４−９０７は、８×８画素のサブマクロブロック分割タイプ、４×８画素のサブマクロブロック分割タイプ、８×４画素のサブマクロブロック分割タイプ、４×４画素のサブマクロブロック分割タイプである。

１６×１６画素のマクロブロック分割タイプ９０１は、８×１６画素のマクロブロック分割タイプ９１５、または、８×８画素のマクロブロック分割タイプ９１６に変換可能である。８×１６画素のマクロブロック分割タイプ９０２は、８×８画素のマクロブロック分割タイプで且つサブマクロブロック分割タイプが４×８画素のブロック９１７に変換可能である。１６×８画素のマクロブロック分割タイプ９０３は、８×８画素のマクロブロック分割タイプ９１８に変換可能である。

８×８画素のマクロブロック分割タイプで且つサブマクロブロック分割タイプが８×８画素のマクロブロック９０４は、４×８画素のサブマクロブロック分割タイプ９２０に変換可能である。８×８画素のマクロブロック分割タイプで且つサブマクロブロック分割タイプが４×８画素のマクロブロック９０５は、水平サイズを半分にした場合、ブロック９１２のように２画素単位になってしまう。そのため、変換後のブロックを、サイドバイサイド画像を符号化するためのマクロブロック分割タイプとして用いることができない。

８×８画素のマクロブロック分割タイプで且つサブマクロブロック分割タイプが１６×８画素のマクロブロック９０６は、４×４画素のサブマクロブロック分割タイプ９２１に変換可能である。８×８画素のマクロブロック分割タイプで且つサブマクロブロック分割タイプが４×４画素のマクロブロック９０７は、水平サイズを半分にした場合、ブロック９１４のように２画素単位になってしまう。そのため、変換後のブロックを、サイドバイサイド画像を符号化するためのマクロブロック分割タイプとして用いることができない。

パラメータ変換部１１０は、図９の様に、各マクロブロック分割タイプに基づいて、水平画素数を半分にしたブロックがサイドバイサイド画像を符号化するためのパラメータとして用いることができるか否かを判別する。そして、変換可能な場合、パラメータ変換部１１０は、多視点画像のマクロブロック分割タイプから、符号化対象のマクロブロックのマクロブロック分割タイプを決定する（Ｓ６１３）。また、マクロブロックペアの少なくとも一方が、変換できないマクロブロック分割タイプである場合には、多視点画像のマクロブロック分割タイプとは無関係に符号化対象のマクロブロック分割タイプを決める。

また、図９のサブマクロブロック分割タイプ９０５、９０７の様に、変換後のブロックが２画素単位となる場合であっても、図１０に示す様に、ブロックのサイズが最小となるマクロブロック分割タイプ１００１−１００４に変換してもよい。

次に、パラメータ変換部１１０は、多視点画像の画面内予測モードから、符号化対象のマクロブロックの画面内予測モードを決定する（Ｓ６１４）。次に、パラメータ変換部１１０は、Ｓ６１４で決定された符号化対象のマクロブロックの予測モードが動き補償予測であるか否かを判別する（Ｓ６１５）。符号化対象のマクロブロックが動き補償予測であった場合、パラメータ変換部１１０は、符号化対象のマクロブロックに対応する多視点画像のマクロブロックの動きベクトルを用いて符号化対象のマクロブロックの動きベクトルを生成する（Ｓ６１６）。

図９に示す各ブロックの数字は、変換前後の動きベクトル生成対象ブロックの対応を示している。例えば、多視点画像のマクロブロック９０２における１番のブロックの動きベクトルを変換することにより、サイドバイサイド画像のマクロブロック９１７における１番のブロックの動きベクトルを生成する。パラメータ変換部１１０は、図１１に示す様に、符号化対象のマクロブロック１１０４に対応する多視点画像のマクロブロック１１０３の動きベクトル１１０１の水平方向の長さを１／２に減少することにより、動きベクトル１１０２を生成する。

また、符号化対象のマクロブロックの予測モードが動き補償予測で無い場合、符号化対象のマクロブロックは視差補償予測である。パラメータ変換部１１０は、符号化対象のマクロブロックに対応する多視点画像のマクロブロックの視差ベクトルを用いて符号化対象のマクロブロックの動きベクトルを生成する（Ｓ６１７）。パラメータ変換部１１０は、図１２に示すように、符号化対象のマクロブロック１２０４に対応する多視点画像のマクロブロック１２０３の動きベクトル１２０１の水平方向の長さを１／２に減少する。そして、符号化方向決定部１２０は、多視点画像における１画面の水平方向の画素数を１／２に対応したオフセット値を動きベクトルの水平方向の長さから減算し、動きベクトル１２０２を算出する。

また、符号化対象のマクロブロックが視差補償予測で、更にＢスライスあった場合、パラメータ変換部１１０は、符号化対象のマクロブロックを含む画面の１画面前の画面を参照画面として設定する。また、符号化対象のマクロブロックが視差補償予測で、更にＰスライスあった場合、パラメータ変換部１１０は、符号化対象のマクロブロックを含む画面の直前のＰスライスの画面を参照画面として設定する。

なお、本実施形態では、右眼用画像が左眼用画像を参照画面として用いる場合を示している。しかし、左眼用画像が右眼用画像を参照画面として用いる場合は、視差ベクトル情報の水平距離を半分にし、１画面の水平画素数を半分にしたオフセット値を加算して動きベクトル情報を算出する。尚、動きベクトル及び視差ベクトル情報の変換により画素精度が４分の１画素以下になる場合には、四捨五入により４分の１画素精度へ丸めて変換する。

この様にパラメータ変換部１１０は、多視点画像におけるマクロブロックペアの予測モード及びマクロブロック分割タイプを、サイドバイサイド画像の符号化のために使用可能であるか否かを判別する。そして、使用可能であった場合、パラメータ変換部１１０は、前記の様に生成した、符号化対象のマクロブロックの予測モードとマクロブロック分割タイプ、或いは動きベクトルの情報を符号化方法決定部１１１に送る。また、使用できない場合、その旨を符号化方法決定部１１１に送る。この様に、パラメータ変換部１１０は、符号化対象のマクロブロック毎に、変換された符号化パラメータ、又は、変換された符号化パラメータを使用できないことを示す情報を符号化方法決定部１１１に送る。

符号化方法決定部１１１は、変換された符号化パラメータを受け取った場合、この符号化パラメータに基づいて、符号化対象のマクロブロックのマクロブロック分割タイプ、予測モード、動きベクトル、参照画面の各符号化パラメータを生成する（Ｓ６０９）。また、パラメータ変換部１１０は、サイドバイサイド画像に対応した多視点画像におけるメインビュー（左眼用画像）のスライスタイプを、符号化対象のマクロブロックを含む画面のスライスタイプとして設定する。

一方、変換された符号化パラメータを使用できない場合、符号化方法決定部１１１は、参照画面のデータを適宜メモリ１０３より読み出し、簡易的な画面内予測、動き補償予測を含む画面間予測処理を行う。これにより符号化効率を示す評価値をマクロブロックごとに算出する。そして、符号化方法決定部１１１は、算出した評価値に基づいて画面内予測又は画面間予測のうち、符号化効率の高い予測モードを選択する。そして、符号化方法決定部１１１は、予測モードに応じてマクロブロック分割タイプや動きベクトルなどの符号化パラメータを決定する。

符号化方法決定部１１１は、決定した符号化パラメータを符号化対象のマクロブロックの符号化パラメータとして出力する。制御部１０５は、予測符号化部１１２に対し、符号化方法決定部１１１により生成された符号化パラメータに従い、符号化対象のマクロブロックを符号化するように指示する。即ち、制御部１０５は多視点動画データの符号化と同様に、符号化方法決定部１１１、予測符号化部１１２およびエントロピー符号化部１１３を制御してサイドバイサイド画像の符号化を実現する。この場合、符号化処理は、例えば制御部１０５のＣＰＵが図示しないメモリから制御プログラムをロードして実行することで実現される。

予測符号化部１１２は、符号化方法決定部１１１からの符号化パラメータに基づいて、符号化対象のマクロブロックを符号化する。予測符号化部１１２は、画面内予測を行う場合、決定された予測モードに従い、同じ画面のデータと符号化対象のマクロブロックとの予測誤差データを生成する。また、予測符号化部１１２は、画面間予測を行う場合、決定された予測モードに従い、参照画面のデータ（予測データ）をメモリ１１３より読み出し、符号化対象データと参照データとの予測誤差データを生成する。そして、予測符号化部１１２は、指定された画素ブロック単位に直交変換処理を行う。予測符号化部１１２は、直交変換により得られた変換係数を、指定された量子化パラメータに応じた量子化ステップにより量子化し、量子化データをエントロピー符号化部１１３に出力する。

また、予測符号化部１１２は、量子化データに対して逆量子化処理、逆直交変換処理を行い、予測データを加算して局部復号データを生成する。そして、この局部復号データをメモリ１０３に記憶する。メモリ１０３に記憶されたデータは、以降の画面内予測処理に利用される。更に、予測符号化部１１２は、局部復号データに対してデブロッキングフィルタ処理を施した後、メモリ１０３に記憶する。メモリ１０３に記憶されたデブロッキングフィルタ処理後のデータは、以降の画面間予測処理に利用される。

エントロピー符号化部１１３は、入力された量子化データに対してコンテキスト適応型可変長符号化（ＣＡＶＬＣ）又はコンテキスト適応型２値算術符号化（ＣＡＢＡＣ）によるエントロピー符号化処理を行い、メモリ１０３に出力する（Ｓ６１０）。

制御部１０５は、操作部１０４より変換処理の終了指示があったか否かを判別し（Ｓ６１１）、終了指示があると処理を終了する。また、符号化の終了指示が無い場合には、Ｓ６０１に戻って次のマクロブロックの処理を続ける。

この様に符号化された動画データは、一旦メモリ１０３に記憶される。そして、出力部１１４は、符号化されたサイドバイサイド画像データを外部機器に出力する。

この様に、本実施形態では、多視点動画データをサイドバイサイド方式に変換した後ＭＰＥＧ４ ＡＶＣに従って符号化する際に、多視点動画データの符号化パラメータを変換したものを用いることができるか否かを判別する。そして、変換した符号化パラメータを用いることができる場合には、この変換した符号化パラメータを用いてサイドバイサイド画像を符号化する。

そのため、多視点画像符号化により符号化された動画データを、効率的且つ高速に、サイドバイサイド画像に変換して符号化することができる。これにより、ＭＰＥＧ４ ＭＶＣにて符号化された多視点動画データを復号できない装置にたいしても、多視点動画像データを提供することが可能となる。

本実施形態では、画像処理装置１０１により符号化された多視点画像符号化データを記録媒体に記録し、記録媒体から再生された多視点動画データをサイドバイサイド画像に変換する構成とした。これ以外に、符号化された多視点動画データを外部機器より入力し、入力された多視点動画データを復号し、サイドバイサイド画像に変換して符号化する構成でもよい。

次に、第２の実施形態を説明する。図１３は第２の実施例に係わる画像処理装置１３０１の構成を示すブロック図である。画像処理装置１３０１において、図１と同様の構成には同一の番号を付加し、ここでの説明は特に必要がない限り省略する。

本実施例の画像処理装置１３０１は、図１の画像処理装置１０１と同様に、右眼用の動画データと左眼用の動画データとを含む多視点動画データを、ＭＰＥＧ４ ＭＶＣなどの多視点画像符号化方式に従って符号化する構成を有する。また、画像処理装置１３０１は、入力された多視点動画データを符号化しながら、それと並列に、入力された多視点動画データをサイドバイサイド画像に変換した後、ＭＰＥＧ４ ＡＶＣに従って符号化する構成を有する。

図１３において、符号化方法決定部１３１６、予測符号化部１３１７、エントロピー符号化部１３１８はそれぞれ、符号化方法決定部１１１、予測符号化部１１２、エントロピー符号化部１１３と同様の機能を持つ。即ち、第１の実施例においては、符号化方法決定部１１１、予測符号化部１１２、エントロピー符号化部１１３が多視点動画データの符号化とサイドバイサイド画像の符号化を制御部１０５の制御により達成していた。他方、本実施例では、両者の符号化を並列に行なう構成を明示するため、別途符号化方法決定部１３１６、予測符号化部１３１７、エントロピー符号化部１３１８を設けた構成を提示している。しかし、制御部１０５のＣＰＵを含む制御構成の機能によっては、図１の画像処理装置の構成で本実施例の構成を達成することも可能である。

画像処理装置１３０１は、多視点動画データの記録指示があると、第１の実施形態と同様に、符号化方法決定部１３１６、予測符号化部１３１７、エントロピー符号化部１３１８により多視点動画データを符号化し、記録媒体１０７に記録する。また、多視点動画データの記録中、或いは記録停止中において、操作部１０４より並列処理の指示があると、多視点動画データを符号化しながら、それと並列に、入力された多視点動画データをサイドバイサイド画像に変換した後、符号化する。変列処理において、サイドバイサイド画像をＭＰＥＧ４ ＡＶＣに従って符号化する際に、多視点動画データを符号化した際の符号化パラメータを変換することにより、サイドバイサイド画像の符号化パラメータを生成する。

操作部１０４により並列処理が指示されると、制御部１０５は、各部に対して多視点動画データの符号化とサイドバイサイド画像の符号化処理を行う様に指示する。符号化方法決定部１３１６、予測符号化部１３１７、エントロピー符号化部１３１８により多視点動画データを符号化し、記録媒体１０７に記録する。また、本実施形態では、並列処理において、符号化方法決定部１３１６は、Ｓ５０４で決定した符号化パラメータの情報をパラメータ変換部１１０に送る。

また、画像処理部１０９は、メモリ１０３に記憶された左眼用の動画データと右眼用の動画データより、同じ時間の左眼用画像と右眼用画像を読み出す。各画像データの水平方向の画素数を半分に減少し、画素数が減少された左眼用の画像と右眼用の画像を合成してサイドバイサイド画像を生成する。また、パラメータ変換部１１０は、前述の様に、多視点動画データをサイドバイサイド方式に変換した後符号化する際に、符号化方法決定部１３１６より送られた多視点動画データの符号化パラメータを変換したものを用いることができるか否かを判別する。そして、変換した符号化パラメータを用いることができる場合には、この変換した符号化パラメータを用いて、符号化方法決定部１１１、予測符号化部１１２、エントロピー符号化部１１３によりサイドバイサイド画像を符号化する。サイドバイサイド画像の符号化処理については、図６と同様の処理を行う。

並列処理において、出力部１１４は、サイドバイサイド画像の符号化データを外部機器に出力する。

上述した第２の実施例の構成によっても、第１の実施例と同様、多視点画像符号化により符号化された動画データを、効率的且つ高速に、サイドバイサイド画像に変換して符号化することができる。これにより、ＭＰＥＧ４ ＭＶＣにて符号化された多視点動画データを復号できない装置にたいしても、多視点動画像データを提供することが可能となる。

前述した本発明の実施形態における記録装置を構成する各手段、並びに記録方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図５及び図６に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

Claims (17)

1. 左眼用の動画データと右眼用の動画データを含む多視点動画データの符号化パラメータを生成し、当該符号化パラメータに従って多視点動画データを符号化する符号化手段と、
   多視点動画データにおける右眼用の画像と左眼用の画像の水平画素数をそれぞれ削減し、当該画素数が削減された左眼用画像と右眼用画像を合成した画像を１画面とする変換動画データを生成する画像処理手段と、
   前記符号化手段が多視点動画データを符号化するための前記符号化パラメータを用いて、前記変換動画データを符号化するための符号化パラメータを生成するパラメータ変換手段と、
   前記変換動画データの生成および符号化を指示する指示手段と、
   前記指示手段による指示に応答して前記画像処理手段とパラメータ変換手段を制御して、前記画像処理手段で生成された変換動画データを、前記パラメータ変換手段で生成された符号化パラメータに従って、前記多視点動画データの符号化方式とは異なる符号化方式で符号化する制御手段とを備えることを特徴とする画像処理装置。
2. 前記符号化手段で符号化された多視点動画データを復号する復号手段をさらに備え、前記制御手段は、前記画像処理手段および符号化手段を制御して、前記復号手段で復号された多視点動画データから前記変換動画データを生成して符号化することを特徴とする請求項１に記載の画像処理装置。
3. 前記符号化手段で符号化された多視点動画データは、当該多視点動画データを符号化するために生成された符号化パラメータの情報を含み、前記パラメータ変換手段は、前記復号手段で復号された多視点動画データに係る前記符号化パラメータの情報を用いて前記変換動画データを符号化するための符号化パラメータを生成することを特徴とする請求項２に記載の画像処理装置。
4. 多視点動画データを入力する入力手段と、前記変換動画データを符号化する他の符号化手段をさらに備え、前記制御手段は、前記画像処理手段および他の符号化手段を制御して、前記入力手段で入力された多視点動画データから前記変換動画データを生成して符号化することを特徴とする請求項１に記載の画像処理装置。
5. 前記制御手段は、前記指示手段による指示に応答して、前記符号化手段による多視点動画データの符号化と前記他の符号化手段による変換動画データの符号化を並列に制御することを特徴とする請求項４に記載の画像処理装置。
6. 前記パラメータ変換手段は、前記多視点動画データの符号化方式と前記変換動画データの符号化方式に従って前記多視点動画データの符号化パラメータを変換することにより、前記符号化手段が前記変換動画データを符号化するための符号化パラメータを生成することを特徴とする請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記パラメータ変換手段は、前記多視点動画データの符号化パラメータを変換することにより前記符号化手段が前記変換動画データを符号化するための前記符号化パラメータを生成することができるか否かを判別し、生成することができない場合には、前記多視点動画データの符号化パラメータを用いることなく、前記符号化手段が前記変換動画データを符号化するための符号化パラメータを生成することを特徴とする請求項６に記載の画像処理装置。
8. 前記多視点動画データの符号化方式と前記変換動画データの符号化方式は、符号化対象のデータと参照データとの差分を符号化する予測符号化であり、前記符号化手段が前記変換動画データを符号化するための符号化パラメータは、前記予測符号化における複数の予測モードを含むことを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
9. 前記複数の予測モードは、画面内予測、動き補償予測、及び、視差補償予測を含むことを特徴とする請求項８に記載の画像処理装置。
10. 前記符号化手段は、所定数の画素を含むブロックを単位として符号化を行い、前記パラメータ変換手段は、前記多視点動画データにおける水平方向に隣接する二つのブロックの予測モードが同じ場合に、前記二つのブロックの予測モードを前記変換動画データのブロックの予測モードとすることを特徴とする請求項８または９に記載の画像処理装置。
11. 前記多視点動画データの符号化方式及び前記変換動画データの符号化方式は、所定数の画素を含むブロックを単位として符号化を行う方式であり、それぞれ前記所定数の画素を含む複数のブロック分割タイプの何れかを用いることが可能であり、前記パラメータ変換手段は、前記多視点動画データにおけるブロックのブロック分割タイプに基づいて前記変換動画データのブロックのブロック分割タイプを決定することを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
12. 前記パラメータ変換手段は、前記多視点動画データにおけるブロックの水平方向の画素数を減少したものが前記変換動画データにおけるブロックのブロック分割タイプとして用いることができる場合に、前記多視点動画データにおけるブロックのブロック分割タイプに基づいて、前記変換動画データのブロックのブロック分割タイプを決めることを特徴とする請求項１０または１１に記載の画像処理装置。
13. 左眼用の動画データと右眼用の動画データを含む多視点動画データを記憶するメモリと、前記メモリに記憶された多視点動画データの符号化パラメータを生成し、当該符号化パラメータに従って多視点動画データを符号化する符号化手段と、動画データを処理する画像処理手段と、ユーザ指示を入力する指示手段とを有する画像処理装置の制御方法において、
    前記画像処理手段が前記メモリに記憶された多視点動画データにおける右眼用の画像と左眼用の画像の水平画素数をそれぞれ削減し、当該画素数が削減された左眼用画像と右眼用画像を合成した画像を１画面とする変換動画データを生成する画像処理ステップと、
    前記符号化手段が前記メモリに記憶された多視点動画データを符号化するときの前記符号化パラメータを用いて、前記変換動画データを符号化するための符号化パラメータを生成するパラメータ変換ステップと、
    前記指示手段により前記変換動画データの生成および符号化の指示を入力する指示ステップと、
    前記指示ステップで入力された指示に応答して前記画像処理ステップとパラメータ変換ステップを制御して、前記画像処理ステップで生成された変換動画データを、前記パラメータ変換ステップで生成された符号化パラメータに従って、前記多視点動画データの符号化方式とは異なる符号化方式で符号化する制御ステップとを備えることを特徴とする制御方法。
14. コンピュータを、
    左眼用の動画データと右眼用の動画データを含む多視点動画データを記憶するメモリと、前記メモリに記憶された多視点動画データの符号化パラメータを生成し、当該符号化パラメータに従って多視点動画データを符号化する符号化手段と、動画データを処理する画像処理手段と、ユーザ指示を入力する指示手段とを有する画像処理装置の制御方法において、
    前記メモリに記憶された多視点動画データにおける右眼用の画像と左眼用の画像の水平画素数をそれぞれ削減し、当該画素数が削減された左眼用画像と右眼用画像を合成した画像を１画面とする変換動画データを生成する前記画像処理手段、
    前記符号化手段が前記メモリに記憶された多視点動画データを符号化するときの前記符号化パラメータを用いて、前記変換動画データを符号化するための符号化パラメータを生成するパラメータ変換手段、
    前記変換動画データの生成および符号化を指示する前記指示手段、
    前記指示手段による指示に応答して前記画像処理手段とパラメータ変換手段を制御して、前記画像処理手段で生成された変換動画データを前記パラメータ変換手段で生成された符号化パラメータに従って、前記多視点動画データの符号化方式とは異なる符号化方式で符号化する制御手段として機能させるプログラム。
15. 請求項１４のプログラムを記録したコンピュータが読み取り可能な記録媒体。
16. コンピュータを、請求項１乃至１２のいずれか一項に記載された画像処理装置の各手段として機能させるプログラム。
17. コンピュータを、請求項１乃至１２のいずれか一項に記載された画像処理装置の各手段として機能させるプログラムを格納した記憶媒体。

Images