JP2010171522A

JP2010171522A - 符号化装置および方法、ならびに、復号装置および方法

Info

Publication number: JP2010171522A
Application number: JP2009010038A
Authority: JP
Inventors: Tomoo Yamakage; 朋夫山影; Yurika Ogawa; 百合香小川; Shinichiro Koto; 晋一郎古藤
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2009-01-20
Filing date: 2009-01-20
Publication date: 2010-08-05
Anticipated expiration: 2029-01-20
Also published as: JP5238528B2

Abstract

【課題】
ステレオ画像形式で考えられるバリエーションを、統一的かつ網羅的に表現する付加情報を提供する。
【解決手段】
左目画像サブサンプリング部101は、サブサンプリングを行う空間面での方向が水平、垂直、斜めのいずれであるかを示すサブサンプリング方向制御信号106と、左目画像10の所定位置の画素をサブサンプリングするか否かを示す左目画像サブサンプリング位相制御信号107とに従って、サブサンプリング左目画像11を生成する。右目画像サブサンプリング部102は、左目画像サブサンプリング部101と同様に、サブサンプリング方向制御情報106と、右目画像20の所定位置の画素をサブサンプリングするか否かを示す右目画像サブサンプリング位相制御信号107とに従って、サブサンプリング右目画像21を生成する。

【選択図】図１

Description

本発明は、符号化装置・方法及び復号装置・方法に関し、特に立体画像を既存の伝送チャネル・記録メディアで扱う際のデータ形式と、そのデータ形式を再生・供給・記録する技術に関する。

立体画像は、複数の視点画像を、それぞれ左右の目で見ることが可能な様に表示することで視覚的に立体感を出すことを目的とした画像である。そのため、通常の平面画像で表示した場合と、同じ解像度及びフレームレートで表示を行う場合、2倍量以上の画像データが必要となる。既存の伝送チャネル(放送、蓄積メディア、有線または無線の通信回線)は、平面画像を伝送することを想定しており、2倍の量以上の画像データを並列、かつ、同期させて送ることはできない。そのため、2倍量以上に増えた立体画像のデータを何らかの方法で削減し、削減したデータを既存の伝送チャネルで送る手法がとられている。２枚の視差画像の半数の画素を、１枚の画像上に並び替えた画像（以下、ステレオ画像と記載）を生成する手法として下記の技術が提案されている。

例えば、図１６にそのシンタックス構造を示すH.264/MPEG-4 AVCに採用されているStereo video information SEI messageは、図１７（ａ）に示すようにフレーム単位、または（ｂ）に示すようにフィールド単位で交互に伝送される視差画像を示す付加情報をビットストリームに記録するものである。

また、特許文献1には、２つの視差画像を互いに補完する格子状の位置でサブサンプリングした後、水平方向の画素数を半数にする処理（以下、スクイーズと記載）を行い、１つのスクイーズされた視差画像を画面の左半分、もう一方のスクイーズされた視差画像を画面の右半分に並べることで、サブサンプリング前の視差画像と同じ画素数の1枚のステレオ画像を生成する手法が開示されている。

その他にも、図１８に示すように、２つの視差画像の画素を互いに補完する格子状の位置でサブサンプリングした後、そのままの画素位置で並び替えるステレオ画像形式が存在する。また、視差画像のそれぞれを垂直方向に１／２サブサンプリング及びスクイーズした後、上下に並べるステレオ画像形式等、視差画像をそれぞれ空間面で１／２の画素数にサブサンプリングし1枚の画像とする様々なステレオ画像形式が存在する。

これらのステレオ画像形式は、立体テレビの表示方法と整合が取れるものであることが多く、立体テレビの表示方法自体が表示デバイスの特性に依存おり、標準となるステレオ画像形式が存在しない。そのため、信号源(DVD, セットトップボックスなど)と立体テレビとの間で、同一の信号形式となる保証がない。従って、ステレオ画像形式と立体テレビの表示方法との整合を取る必要がある。そこで、非特許文献1では、図１８に示したステレオ画像形式であることを表す付加情報を示すヘッダであるSEI(Supplemental Enhancement Information)をH.264規格に追加する提案がなされている。

US 2003/0223449 A1

http://wftp3.itu.int/av-arch/jvt-site/2008_10_Busan/JVT-AC010.zip

上述したように、様々なステレオ画像形式を含む信号源と、立体テレビとの間で整合を取るためには、ステレオ画像とその形式を表す付加情報を併せ持つステレオ画像形式が必要である。非特許文献１の手法は、特定のステレオ画像形式であることを示す固有の識別子を付加情報として付与する方法であるが、空間面で1/2サブサンプリングする方法や、左右の画面をひとつの画像上に並び替える方法には様々なものがあり、固有の識別子を与える方法では、未知の識別子に対する拡張性が狭まる。

本発明は、複数の視差画像を空間面でサブサンプリングを行い、サブサンプリングの結果残った画素から１枚の画像を生成するステレオ画像形式で考えられるバリエーションを、統一的かつ網羅的に表現する付加情報を提供することを目的とする。

本発明は、上記課題を解決するために、第１視差画像をサンプリングパターン情報に従ってサブサンプリングして、前記第１視差画像の半数の画素を選択する第１のサブサンプリング部と、第２視差画像を前記サンプリングパターン情報に従ってサブサンプリングして、前記第２視差画像の半数の画素を選択する第１のサブサンプリング部と、前記第１視差画像で選択された画素と前記第２視差画像で選択された画素とを、配列方法情報に従って、１枚の対象画像上に並べる対象画像生成部と、（ａ）サブサンプリングを行う画面上での方向が水平、垂直、または斜めのいずれであるかを示すサブサンプリング方向情報と、（ｂ）前記第１視差画像及び前記第２視差画像それぞれの、あらかじめ定められた位置の画素を選択するか否かを示す位相情報と、を有する前記サンプリングパターン情報と、（ｃ）前記第１サブサンプリング画像と、前記第２サブサンプリング画像とを、画素単位で並べるか、もしくは画像単位で並べるか、を示す合成方法情報と、を設定する制御部と、前記対象画像を符号化した符号化データと、前記サブサンプリングパターン情報と、前記配列方法情報とを、多重化した付加情報付符号化データを生成する符号化部と、を備えたことを、特徴とする画像符号化装置を提供する。

また、（ａ）サブサンプリングを行う画面上での方向が水平、垂直、または斜めのいずれであるかを示すサブサンプリング方向情報と、（ｂ）前記第１視差画像及び前記第２視差画像それぞれの、あらかじめ定められた位置の画素を選択するか否かを示す位相情報と、を有する前記サンプリングパターン情報と、を設定するステップと、第１視差画像をサンプリングパターン情報に従ってサブサンプリングして、前記第１視差画像の半数の画素を選択するステップと、第２視差画像を前記サンプリングパターン情報に従ってサブサンプリングして、前記第２視差画像の半数の画素を選択するステップと、前記第１視差画像で選択された画素と前記第２視差画像で選択された画素とを、配列方法情報に従って、１枚の対象画像上に並べるステップと、（ｃ）前記第１サブサンプリング画像と、前記第２サブサンプリング画像とを、画素単位で並べるか、もしくは画像単位で並べるか、を示す合成方法情報と、を設定するステップと、前記対象画像を符号化した符号化データと、前記サブサンプリングパターン情報と、前記配列方法情報とを、多重化した付加情報付符号化データを生成するステップと、を備えたことを、特徴とする画像符号化装置。を備えたことを特徴とする画像符号化方法を提供する。

また、付加情報付符号化データから、符号化データ、サブサンプリングパターン情報、及び配列方法情報を分離し、前記符号化データを復号し対象画像を得る復号部と、（ａ）サブサンプリングを行った画面上での方向が水平、垂直、または斜めのいずれであったのかを示すサブサンプリング方向情報、（ｂ）第１視差画像及び第２視差画像それぞれの、あらかじめ定められた位置の画素が選択された否かを示す位相情報と、を有する前記サンプリングパターン情報、及び（ｃ）第１サブサンプリング画像と、第２サブサンプリング画像とを、画素単位で並べるか、もしくは画像単位で並べるか、を示す合成方法情報、に従って、前記対象画像から、前記第１サブサンプリング画像と、前記第２サブサンプリング画像と、を再構成する再構成部と、前記第１サブサンプリング画像のうち、サブサンプリングの際に選択されなかった画素に画素値を与え、第１視差画像を生成する第１アップサンプリング部と、前記第２サブサンプリング画像のうち、サブサンプリングの際に選択されなかった画素に画素値を与え、第２視差画像を生成する第２アップサンプリング部と、を備えたことを、特徴とする画像復号装置を提供する。

また、付加情報付符号化データから、符号化データ、サブサンプリングパターン情報、及び配列方法情報を分離し、前記符号化データを復号し対象画像を得るステップと、（ａ）サブサンプリングを行った画面上での方向が水平、垂直、または斜めのいずれであったのかを示すサブサンプリング方向情報、（ｂ）第１視差画像及び第２視差画像それぞれの、あらかじめ定められた位置の画素が選択された否かを示す位相情報と、を有する前記サンプリングパターン情報、及び（ｃ）第１サブサンプリング画像と、第２サブサンプリング画像とを、画素単位で並べるか、もしくは画像単位で並べるか、を示す合成方法情報、に従って、前記対象画像から、前記第１サブサンプリング画像と、前記第２サブサンプリング画像と、を再構成するステップと、前記第１サブサンプリング画像のうち、サブサンプリングの際に選択されなかった画素に画素値を与え、第１視差画像を生成するステップと、前記第２サブサンプリング画像のうち、サブサンプリングの際に選択されなかった画素に画素値を与え、第２視差画像を生成するステップと、を備えたことを特徴とする画像復号方法を提供する。

本発明によれば、複数の視差画像を空間面でサブサンプリングを行い、ステレオ画像を生成する形式で考えられるバリエーションを、統一的かつ網羅的に表現する付加情報を提供することができる。

第１の実施形態のステレオ画像符号化装置の構成を示す図。図１のステレオ画像符号化装置における動画像符号化部の構成を示す図。第１の実施形態におけるサブサンプリング方向を示す図。第１の実施形態におけるサブサンプリングパターンおよび画像の配列方法を示す図。第１の実施形態におけるサブサンプリングパターンおよび画像の配列方法を示す図。第１の実施形態におけるサブサンプリングパターンおよび画像の配列方法を示す図。ステレオ画像情報多重化部で生成するステレオ画像情報データ列の例を示す図。ステレオ画像情報データ列と符号化データとの多重化方法の例を示す図。図２のステレオ画像情報多重化部で生成するステレオ画像情報データ列の別の例を示す図。第２の実施形態のステレオ画像符号化装置の構成を示す図。図１０の動画像符号化部で生成するステレオ画像情報データ列を示す図。第３の実施形態のステレオ画像復号装置の構成を示す図。図１２のステレオ画像分離再構成部図の動作を示す図。第４の実施形態のステレオ画像復号装置の構成を示す図。図１４の分離部の構成を示す図。非特許文献１におけるステレオ画像情報のデータ列を示す図。非特許文献１におけるフィールド毎またはフレーム毎に複数の視差画像を切り替えるステレオ画像形式を説明する図。特許文献１におけるステレオ画像情報形式を示す図。

以下、本発明の実施形態について図面を参照し説明する。なお、同じ構成には同じ番号を付し重複する説明は一部省略する。なお、以下の各実施形態では、２つの視差画像を左目画像、右目画像と記載して説明する。

ステレオ画像符号化装置は、入力された左目画像および右目画像をそれぞれ半数の画素数をサブサンプリングにより選択し、選択された画素を１枚のステレオ画像上に並び替えたステレオ画像を符号化し、符号化データを得る。そして、得られた符号化データに対し、サブサンプリング方法を示す情報及び配列方法示す付加情報を多重化させたステレオ画像情報付き符号化データを出力する装置である。なお、ステレオ画像は、左目画像および右目画像と同じ画素数を有する。

［第１の実施形態］
図１は、本実施形態のステレオ画像符号化装置を示す図である。

左目画像サブサンプリング部101は、サブサンプリングを行う空間面での方向が水平、垂直、または斜めのいずれであるかを示すサブサンプリング方向制御信号106と、左目画像10のあらかじめ定められた位置の画素がサブサンプリングによって選択されるか否かを示す左目画像サブサンプリング位相制御信号107とに従って、入力された右目画素20の画素の半数を選択するサブサンプリングを行い、サブサンプリング左目画像11を生成する。サブサンプリング左目画像11は、選択された画素は画素値を有し、選択されなかった画素は画素値が無効化されたデータを示す。

右目画像サブサンプリング部102は、左目画像サブサンプリング部101と同様に、サブサンプリング方向制御情報106と、右目画像20のあらかじめ定められた位置の画素がサブサンプリングによって選択されるか否かを示す右目画像サブサンプリング位相制御信号107とに従って、右目画像10の画素の半数を選択するサブサンプリングを行い、サブサンプリング右目画像21を生成する。サブサンプリング右目画像11は、選択された画素は画素値を有し、選択されなかった画素は画素値が無効化されたデータを示す。

ステレオ画像生成部103は、制御部105が生成した配列方法制御信号109に従って、サブサンプリング左目画像11およびサブサンプリング右目画像21の、画素値を有している画素（サブサンプリングによって選択された画素）を、画像上に並び替えてステレオ画像30を生成する。

制御部105は、サブサンプリング方向制御信号106と、左目画像サブサンプリング位相制御信号107と、右目画像サブサンプリング位相制御信号108と、配列方法制御信号109と、を生成する。

動画像符号化部104は、ステレオ画像30を符号化し符号化データ40を生成する。符号化データ40に対し、サブサンプリング方向制御信号106、左目画像サブサンプリング位相制御信号107、右目画像サブサンプリング位相制御信号108、及び配列方法制御信号109を、多重化した立体画像情報付符号化データ50を生成する。

図２は、動画像符号化部104の構成を詳細に示した図である。

符号化本体部120では、生成されたステレオ画像30をH.264/MPEG-4 AVCで符号化して符号化データを生成する。

ステレオ画像情報多重化部121では、サンプリング方向制御信号106と、左目画像サブサンプリング位相制御信号107と、右目画像サブサンプリング位相制御信号108と、配列方法制御信号109とを、H.264/MPEG-4 AVCのSEI messageとして生成し、H.264/MPEG-4 AVCの規定に従って符号化データ40に多重化する。

次に、制御部105が生成する、サブサンプリング方向制御信号106、左目画像サブサンプリング位相制御信号107、右目画像サブサンプリング位相制御信号108、及び配列方法制御信号109について詳細に説明する。

図３は、サブサンプリング方向制御信号106が示すサブサンプリング方向を説明する図である。白丸で描いた画素61はサブサンプリングによって選択されない画素である。また、黒丸で描いた画素62は、サブサンプリングで選択される画素である。以下の説明で、白抜きで描いた画素はサブサンプリングによって選択されない画素を示す。白抜きで描いた画素は、画素値が無効化している。また、黒く塗りつぶして描いた画素は、サブサンプリングによって選択される画素を示す。黒く塗りつぶして描いた画素は、画素値を有している。図３（ａ）は水平方向にサブサンプリングを行う例を示す。図３（ｂ）は垂直方向にサブサンプリングを行う例を示す。図３（ｃ）は斜め方向にサブサンプリングを行う例を示す。

左目画像サブサンプリング位相制御信号107は、あらかじめ決められた位置の画素をサブサンプリングによって選択するか否かを示す信号である。本実施形態では、あらかじめ決められた位置をラスタスキャン順番で一番に位置する画素位置（画像中の左上の画素）とした。図３は、左上の画素はすべてサブサンプリングによって選択する例を示している。

入力された右目画像20は、右目画像サブサンプリング部102に送られる。右目画像サブサンプリング部102では、左目画像サブサンプリング部102と同様に制御部105が設定した、サブサンプリング方向制御信号106、右目画像サブサンプリング位相制御信号108に従い、右目画像20の半数の画素数を選択するサブサンプリングを行い、サブサンプリング右目画像21を生成する。右目画像サブサンプリング位相制御信号108は、左目画像サブサンプリング位相制御信号107と同様の意味を持つため説明は省略する。なお、左目画像10と右目画像11とが両方とも画像の左上に位置する画素をサブサンプリングによって選択する場合、及び左目画像10と右目画像11とが両方とも画像の左上に位置する画素をサブサンプリングによって選択しない場合、にはサブサンプリング位相が同位相であると記載する。また、左目画像10または右目画像11のどちらか一方の画像の左上に位置する画素をサブサンプリングによって選択し、もう一方の画像の左上に位置する画素をサブサンプリングによって選択しない場合は、サブサンプリング位相が逆位相であると記載する。

図４は、配列方法制御信号を説明する図である。ステレオ画像生成部103では、サブサンプリング左目画像11とサブサンプリング右目画像21とを受け取り、制御部105から送られる配列方法制御信号109に従ってステレオ画像30を作成する。配列方法制御信号109は、２つの画像の選択された画素を並び替える方法が、画像単位であるか画素単位であるかを示す信号である。

図４（ａ）は、水平方向に画素のサブサンプリングを行うことを示すサンプリング方向制御信号106と、左上の画素を選択することを示す左目画像サブサンプリング位相制御信号107とに従ってサブサンプリングを行った場合の、サブサンプリング左目画像11を模式的に示した図である。図４（ｂ）は、水平方向に画素のサブサンプリングを行うサンプリング方向制御信号106と左上の画素を選択しない右目画像サブサンプリング位相制御信号108とに従ってサブサンプリングを行った場合の、サブサンプリング右目画像21を模式的に示した図である。図４（ｃ）は、サブサンプリング左目画像１１及びサブサンプリング右目画像２１の画素値を有する画素を、画素単位で１枚の画像上に並び替えることにより得られるステレオ画像30の例を示す図である。画素単位の並び替えとは、サブサンプリングによって選択されなかった（画素値が無効化している）一方の画像の画素位置に、他方の画像の対応する画素位置にある画素をコピーする処理に相当する。図４（ｄ１）〜（ｄ３）は、画像単位で並び替えてステレオ画像を生成する方法を説明するための図である。画像単位の並び替えとは、サブサンプリング左目画像１１およびサブサンプリング右目画像２１で画素値が無効化している画素を削除し、水平方向または垂直方向の画素数を半分に減らすことによりスクイーズ左目画像１２およびスクイーズ右目画像２２を生成し、スクイーズ左目画像１２およびスクイーズ右目画像２２を水平方向または垂直方向に連結したステレオ画像を生成する処理に相当する。図４（ｄ１）は、図４（ａ）のサブサンプリング左目画像１１の、画素値が無効化している画素を削除し、水平方向の画素数を半数とするスクイーズ処理したスクイーズ左目画像１２を示す図である。図４（ｄ２）は、図４（ｂ）のサブサンプリング右目画像２１の、画素値が無効化している画素を削除し、水平方向の画素数を半数とするスクイーズ処理したスクイーズ右眼画像２２を示す図である。図４（ｄ３）は、図４（ｄ１）及び（ｄ２）のスクイーズ画像を、左目スクイーズ画像１２が左側となるように画像単位で連結して生成したステレオ画像３０の例を示す図である。

図５は、配列方法の別の例を示す図である。図５（ａ）は、垂直方向に画素のサブサンプリングを行うことを示すサンプリング方向制御信号106と、左上の画素を選択することを示す左目画像サブサンプリング位相制御信号107とに従ってサブサンプリングを行った場合の、サブサンプリング左目画像11を模式的に示した図である。図５（ｂ）は、垂直方向に画素のサブサンプリングを行うサンプリング方向制御信号106と左上の画素を選択する右目画像サブサンプリング位相制御信号108とに従ってサブサンプリングを行った場合の、サブサンプリング右目画像21を模式的に示した図である。図５（ｃ）は、サブサンプリング左目画像１１及びサブサンプリング右目画像２１の画素値を有する画素を、画素単位で１枚の画像上に並び替えることにより得られるステレオ画像30の例を示す図である。図５（ｄ１）〜（ｄ３）は、画像単位で並び替えてステレオ画像を生成する方法を説明するための図である。図５（ｄ１）は、図５（ａ）のサブサンプリング左目画像１１の、画素値が無効化している画素を削除し、垂直方向の画素数を半数とするスクイーズ処理したスクイーズ左目画像１２を示す図である。図５（ｄ２）は、図５（ｂ）のサブサンプリング右目画像２１の、画素値が無効化している画素を削除し、垂直方向の画素数を半数とするスクイーズ処理したスクイーズ右眼画像２２を示す図である。図５（ｄ３）は、図５（ｄ１）及び（ｄ２）のスクイーズ画像を、左目スクイーズ画像１２が上側となるように画像単位で連結して生成したステレオ画像３０の例を示す図である。
図５の例では、左目画像サブサンプリング位相制御信号107と右目画像サブサンプリング位相制御信号108とが同じ信号であり、サブサンプリング位相が同位相である。同位相であり、画素単位で並び替える場合には、左目画像10と右目画像20のうちどちらの画像の画素の位置をシフトしてから、画素単位の並び替えをするかを示す情報を配列方法制御信号109に含めても良いし、あらかじめ位置をシフトする画像(左目画像10または右目画像20)を決めておいても良い。図５（ｃ）の例では、左目画像10の画素位置をシフトし、画素単位で並び替える方法を例示している。また、同位相であり、画像単位で並び替える場合には、左目画像10と右目画像20のどちらの画像を上に配置させて連結するよう並び替えるかを示す情報を配列方法制御信号109に含めても良いし、あらかじめ上に配置する画像(左目画像10または右目画像20)を決めておいても良い。図５（ｄ）の例では、左目画像10がステレオ画像30内の上に位置するように画像単位で並び替える方法を例示している。

図６は、配列方法の別の例を示す図である。図６（ａ）は、斜め方向に画素のサブサンプリングを行うサンプリング方向制御信号106と、左目画像10は左上の画素を選択することを示す左目画像サブサンプリング位相制御信号107と、に従ってサブサンプリングを行った場合に左目画像10のサブサンプリングによって選択された画素と、選択されなかった画素とを模式的に示した図である。図６（ｂ）は、斜め方向に画素のサブサンプリングを行うサンプリング方向制御信号106と、右目画像20は左上の画素を選択する右目画像サブサンプリング位相制御信号108と、に従って生成されたサブサンプリング右目画像２１を示す図である。

図６（ｃ１）〜（ｃ３）は、画像単位で並び替えてステレオ画像を生成する方法を説明するための図である。図６（ｃ１）は、図６（ａ）のサブサンプリング左目画像１１の、画素値が無効化している画素を削除し、水平方向の画素数を半数とするスクイーズ処理したスクイーズ左目画像１２を示す図である。図６（ｃ２）は、図６（ｂ）のサブサンプリング右目画像２１の、画素値が無効化している画素を削除し、水平方向の画素数を半数とするスクイーズ処理したスクイーズ右眼画像２２を示す図である。図６（ｃ３）は、図６（ｃ１）及び（ｃ２）のスクイーズ画像を、左目スクイーズ画像１２が左側となるように画像単位で連結して生成したステレオ画像３０の例を示す図である。

図５（ｄ１）〜（ｄ３）は、画像単位で並び替えてステレオ画像を生成する別の方法を説明するための図である。図６（ｄ１）は、図６（ａ）のサブサンプリング左目画像１１の、画素値が無効化している画素を削除し、垂直方向の画素数を半数とするスクイーズ処理したスクイーズ左目画像１２を示す図である。図６（ｄ２）は、図６（ｂ）のサブサンプリング右目画像２１の、画素値が無効化している画素を削除し、垂直方向の画素数を半数とするスクイーズ処理したスクイーズ右眼画像２２を示す図である。図６（ｄ３）は、図６（ｄ１）及び（ｄ２）のスクイーズ画像を、左目スクイーズ画像１２が左側となるように画像単位で連結して生成したステレオ画像３０の例を示す図である。

サブサンプリング方向が斜め方向であり画像単位の並び替えを行ってステレオ画像３０を生成する場合、それぞれのサブサンプリング画像をスクイーズする方向が横か縦かを示す情報、および左目画像10（または、右目画像20）を左右または上下のどちらかに配置するかを示す情報を、配列方法制御信号109に含めても良い。また、あらかじめスクイーズする方向および左右のステレオ画像３０上での配置を決めておいても良い。

図７は、ステレオ画像情報多重化部121が生成する拡張補助情報(Supplemental Enhancement Information)のデータ構造の例を示す図である。

spatial_subsampling_direction_infoはサブサンプリング方向制御信号106であり、サブサンプリングの方向を示す。’00’はサブサンプリング禁止を、’01’は水平サブサンプリングを、’10’は垂直サブサンプリングを、’11’は斜めサブサンプリングをそれぞれ示す。

left_subsampling_position_flagは、左目画像サブサンプリング位相制御信号107であり、左目画像のサブサンプリング時の位相を表す。‘0’は左目画像10の左上の画素をサブサンプリングの際に選択することを、’1’は左目画像10の左上の画素をサブサンプリングの際に選択しないことをそれぞれ示す。

right_subsampling_position_flag は、右目画像サブサンプリング位相制御信号108であり、右目画像のサブサンプリング時の位相を表す。‘0’は右目画像20の左上の画素をサブサンプリングの際に選択することを、’1’は右目画像20の左上の画素をサブサンプリングの際に選択しないことをそれぞれ示す。

squeezing_flagと、shift_view_flagと、squeezing_direction_flagと、left_image_topleft_flagと、は配列方法制御信号109に含まれる信号である。

squeezing_flag は、画素単位の並び替えを行うか、画像単位の並び替えを行うかを示す。‘0’はサブサンプリング画像のスクイーズを行わない、つまり画素単位で並び替える方法を示す。’1’はサブサンプリング画像のスクイーズを行ってスクイーズ画像を連結する、つまり画像単位で並び替える方法を示す。

shift_view_flag は、サブサンプリング左目画像１１の画素位置のシフトを行うか、サブサンプリング右目画像２１の画素位置のシフトを行うかを示す。‘0’はサブサンプリング左目画像１１の画素位置のシフトを行って画素単位の並び替えを行うことを示す。’1’はサブサンプリング右目画像２１の画素位置のシフトを行って画素単位の並べ替えを行うことを示す。

squeezing_direction_flagは、画像単位の並び替えを行う前に行う、スクイーズの方向が水平方向であるか、垂直方向であるかを示す。0’は、斜め方向のサブサンプリングを行い、画像単位で並び替える場合に、サブサンプリング画像を水平方向にスクイーズを行うことを示す。’1’は、斜め方向のサブサンプリングを行い、画像単位で並び替える場合に、サブサンプリング画像を垂直方向にスクイーズを行うことを示す。

left_image_topleft_flagは、ステレオ画像30の左上の画素が、左目画像10の画素であるか、右目画像20の画素であるかを示す。‘0’はステレオ画像30の左上の画素が右目画像20の画素となるように並び替えることを示す。’1’ステレオ画像30の左上の画素が、左目画像10となるように並び替えることを示す。

なお、SEIのデータ構造は図７に示した構造に限定されるものではなく、図５及び図６の説明で述べたように、配列方法制御情報信号109の一部（shift_view_flag、squeezing_direction_flag、left_image_topleft_flag等）をあらかじめ定めておき、その情報を多重化しない方法も可能である。

図９は、図７中のshift_view_flag、squeezing_direction_flag 、left_image_topleft_flag全て’1’であると仮定した場合のデータ構造の例を示す図である。つまり、右目画像20の画素位置のシフトを行って画素単位で並び換えを行うことと、サブサンプリング画像を垂直方向にスクイーズを行うことと、ステレオ画像30の左上の画素が、左目画像10となるように並び替えることと、があらかじめ決められている場合のデータ構造である。

図８は、典型的な多重化されたステレオ画像情報付符号化データの例を示す図である。SPS（Sequence Parameter Set）は、シーケンス全体の符号化にかかわる情報が含まれたヘッダである。PPS(Picture Parameter Set)は、ピクチャ全体の符号化モードを示すヘッダ情報である。Stereo SEI は、多重化された、サンプリング方向制御信号106と、左目画像サブサンプリング位相制御信号107と、右目画像サブサンプリング位相制御信号108と、配列方法制御信号109とを示す。SEIは、そのほかの付加情報を示すものであり、例えば各ピクチャのタイミング情報、ランダム・アクセスを行う際に利用する情報等の種々の情報がある。Picture Dataは、符号化データ40を示す。

Stereo SEIは、１枚のステレオ画像30の符号化データ毎に付与する必要はない。処理対象のステレオ画像30が、それ以前のステレオ画像３０と同じステレオ画像形式に従って生成された場合には、ステレオ画像形式を示す付加情報を省略してもかまわない。それによって、データ量を削減することが可能となる。

なお、符号化本体部120が行う動画像符号化方式はH.264/MPEG-4 AVCに限定する必要はなく、MPEG-1, MPEG-2, MPEG-4 Visual, H.261, H.263, VC-1, AVSを含む各種の動画像符号化方式に置き換えることができる。また、H.264/MPEG-4 AVCの拡張補助情報に関しても、これに限定する必要はなく、ユーザデータや、適用する動画像符号化方式において将来の拡張のために予約されていた領域や構造を利用することもできる。

本実施形態の、ステレオ画像符号化装置によれば、サブサンプリングパターンおよび配列方法の情報を一般化し、網羅的に表現できるようにすることにより、現在、存在しない、もしくは主流でないステレオ画像データ形式を将来使おうとした際にも、新たなデータ構造やデータ構造を示す識別子を定義しなくても対応できるようになる。

［第２の実施形態］
図１０は、本実施形態のステレオ画像符号化装置を示す図である。図1に示した第１の実施形態のステレオ画像符号化装置とは、あらかじめ決められた位置の画素をサブサンプリングで選択するか否かを示すサブサンプリング位相を、時系列的に連続するフレームまたはフィールド（以下、画像と記載）毎に変化させることを示すサブサンプリング位相時間変化情報910をさらに用いる点が異なる。

ステレオ画像形式を示す情報を全部の画像に付加しない場合、直前に表示する画像に付加されていたステレオ画像形式を示す情報をもとに、現在表示を行う画像のステレオ画像形式を示す情報を設定する。ステレオ画像情報にサブサンプリング位相を反転させることを示すフラグが付加されていた場合には、左目１０及び右目画像２０内で対応する位置となる画素を、選択するか否かを時系列的に連続するステレオ画像３０ごとに交互に行う。

図１１は、ステレオ画像情報多重化部121が生成する拡張補助情報(Supplemental Enhancement Information)のデータ構造の例を示す図である。図７に示した第１の実施形態との違いは、フレーム毎にサブサンプリング位相を変化させるか否かを示すサブサンプリング位相時間変化情報910のフラグtoggle_subsampling_position_flagが追加されている点である。toggle_subsampling_position_flagは、‘0’はサブサンプリング位相をフレーム毎に変化させないことを示す。’1’はサブサンプリング位相をフレーム毎に変化させることを示す。

この場合、Stereo SEIが付与されたフレームは、left_subsampling_position_flagおよびright_subsampling_position_flagに従った位相でサブサンプリングを行う。toggle_subsampling_position_flagが‘0’の場合、その次のフレームではleft_subsampling_position_flagおよびright_subsampling_position_flagとは逆の位相でサブサンプリングを行う。更に次のフレームでは、left_subsampling_position_flagおよびright_subsampling_position_flagに従った位相でサブサンプリングする。

これにより、静止画または静止領域において、前のフレームの相補的な位相の画素と現フレームの画素をマージすることにより、1/2サブサンプリングによる空間周波数特性の劣化を補うことが可能になる。

［第３の実施形態］
図１２は、本実施形態のステレオ画像復号装置を示す図である。本実施形態のステレオ画像復号装置は、第１の実施形態のステレオ画像符号化装置によって符号化されたステレオ画像情報付き符号化データ50を復号し、左目画像10及び右目画像20を得る装置である。

ステレオ画像情報付符号化データ50が、動画像復号部1103の分離部1101に入力され、ステレオ画像30を符号化した符号化データ40と、ステレオ画像配列方法1105と、サブサンプリングパターン1106とに分離される。サブサンプリングパターン1106は、第１の実施形態のサブサンプリング方向制御信号106と、左目画像サブサンプリング位相制御信号107と、右目画像サブサンプリング位相制御信号108とに対応する。ステレオ画像配列方法1105は、配列方法制御信号109と対応する。

動画像復号部1103の復号本体部1102では、符号化データ40の復号を行い、ステレオ画像30.を出力する。復号本体部1102は、MPEG-1, MPEG-2, MPEG-4 Visual, MPEG-4 AVC, H.261, H.263, VC-1, AVSを含む各種の動画像符号化方式のいずれでも良い。

ステレオ画像分離再構成部1104は、分離部1101から入力されるステレオ画像配列方法1105およびサブサンプリングパターン1106に従って、復号本体部1102から送られたステレオ画像30を、サブサンプリング左目画像11とサブサンプリング右目画像21とに分離する。画像がスクイーズされた方向の情報や、画素位置がシフトされた情報が付加されている場合には、その逆の処理を行う。

図１３は、ステレオ画像分離再構成部１１０４が、ステレオ画像30をサブサンプリング左目画像11とサブサンプリング右目画像21とに分離する例を示す図である。

図１３(a)は、ステレオ画像配列方法１１０５が、画素単位で並び替えて生成されたことを示し、サブサンプリングパターン１１０６が、水平方向にサブサンプリングされたことと、左目画像１０と右目画像２０とでサンプリング位相が同位相であることと、を示している場合の例を示す図である。画素単位で並び替えて生成されており、水平方向にサブサンプリングされたことと、
図１３(ｂ)は、ステレオ画像配列方法１１０５が、画像単位で並び替えて生成されたことを示し、サブサンプリングパターン１１０６が、水平方向にサブサンプリングされたことと、サンプリング位相が同位相であることと、を示している場合の例を示す図である。

左目画像アップサンプリング部1107は、ステレオ画像分離再構成部1104から入力されるサブサンプリング左目画像11の、画素値を有しない画素６２に画素値を与えるアップサンプリング処理を行い、左目画像10を出力する。アップサンプリングには、画素の繰り返し、線形または非線形フィルタ処理による空間面・時間面・時空間面での画素補間、などを用いることができる。

右目画像アップサンプリング部1108は、左目画像アップサンプリング部1107と同様に、ステレオ画像分離再構成部1104から入力されるサブサンプリング右目画像21と、分離部1101から入力されるサブサンプリングパターン1106からサブサンプリング右目画像21の2倍アップサンプリングを行い、右目画像20を出力する。アップサンプリングには、画素の繰り返し、線形または非線形フィルタ処理による空間面・時間面・時空間面での画素補間等、種々の補間方法を用いることができる。

なお、右目画像アップサンプリング部1108および左目アップサンプリング部1007を別の装置に組み込むシステムも考えられる。

［第４の実施形態］
図１４は、本実施形態のステレオ画像復号装置を示す図である。図１２に示した第３の実施形態のステレオ画像復号画像装置との違いは、分離部1101および復号本体部1102に、フレームまたはフィールドの開始を通知する同期信号1330が入力される点である。

図１５は分離部1101の構成を示す図である。ステレオ画像情報付符号化データが分離部1101の構成要素のひとつであるステレオ情報分離部141に入力され、配列方法情報1432、パターン情報1433、これらのステレオ画像情報を1フレームまたは1フィールド毎に反転させるか否かを示す反転制御信号1435、および符号化データが出力される。ステレオ画像情報保持・反転部1434では、配列方法1432、パターン情報1433、および反転制御信号1435が入力されると、対応するピクチャ情報と共に保持を行う。対応するピクチャが復号本体部1102から出力される際、ステレオ画像配列方法1105およびサブサンプリングパターン1106を出力する。復号本体部1102から、配列方法およびパターン情報が対応付けられていないピクチャを出力する場合、反転制御信号1435に従って、直前に用いた配列方法およびパターン情報を反転させずに、もしくは反転させ、ステレオ画像配列方法1105およびサブサンプリングパターン1106として出力する。

サブサンプリング位相の反転により、静止画または静止領域では、2フレーム(またはフィールド)の画像を組み合わせることで、サブサンプリング前と同等の空間解像度の画像の再生が可能となる。

１０…左目画像、１１…サブサンプリング左目画像、１２…スクイーズ左目画像、２０…右目画像、２１…サブサンプリング右目画像、２２…スクイーズ右目画像、３０…ステレオ画像、４０…符号化データ、５０…ステレオ画像情報付符号化データ
６１…サブサンプリングによって選択されなかった画素、６２…サブサンプリングによって選択された画素
１０１…左目画像サブサンプリング部、１０２…右目画像サブサンプリング部、１０３…ステレオ画像生成部、１０４…動画像符号化部１０５…制御部、１０６…サブサンプリング方向制御信号、１０７…左目画像サブサンプリング位相制御信号、１０８…右目画像サブサンプリング位相制御信号、１０９…配列方法制御信号
１２０…符号化本体部、１２１…ステレオ画像情報多重化部
９１０…サブサンプリング位相時間変化情報
１１０１…分離部、１１０２…復号本体部、１１０３…動画像復号部、１１０４…ステレオ画像分離再構成部、１１０５…ステレオ画像配列方法、１１０６…サブサンプリングパターン、１１０７…左目画像アップサンプリング部、１１０８…右目画像アップサンプリング部
１３３０…同期信号
１４３１…ステレオ情報分離部、１４３２…配列方法、１４３３…パターン情報、１４３４…ステレオ情報保持・反転部、１４３５…反転制御信号

Claims

第１視差画像をサンプリングパターン情報に従ってサブサンプリングして、前記第１視差画像の半数の画素を選択する第１のサブサンプリング部と、
第２視差画像を前記サンプリングパターン情報に従ってサブサンプリングして、前記第２視差画像の半数の画素を選択する第１のサブサンプリング部と、
前記第１視差画像で選択された画素と前記第２視差画像で選択された画素とを、配列方法情報に従って、１枚の対象画像上に並べる対象画像生成部と、
（ａ）サブサンプリングを行う画面上での方向が水平、垂直、または斜めのいずれであるかを示すサブサンプリング方向情報と、（ｂ）前記第１視差画像及び前記第２視差画像それぞれの、あらかじめ定められた位置の画素を選択するか否かを示す位相情報と、を有する前記サンプリングパターン情報と、（ｃ）前記第１サブサンプリング画像と、前記第２サブサンプリング画像とを、画素単位で並べるか、もしくは画像単位で並べるか、を示す合成方法情報と、を設定する制御部と、
前記対象画像を符号化した符号化データと、前記サブサンプリングパターン情報と、前記配列方法情報とを、多重化した付加情報付符号化データを生成する符号化部と、
を備えたことを、特徴とする画像符号化装置。
前記制御部は、サブサンプリングを空間面で斜め方向に行うと前記方向情報を設定し、前記画像単位で合成すると前記合成方法情報を設定した場合には、前記合成方法情報としてさらに、（ｄ）垂直方向または水平方向のどちらに第１サブサンプリング画像及び前記第２サブサンプリング画像をスクイーズするかを設定するスクイーズ方向情報をさらに設定することを特徴とする請求項１記載の画像符号化装置。
前記制御部は、前記第１視差画像と前記第２視差画像とで、一致する前記位相情報を設定し、前記画素単位で並び替えると前記配列方法情報を設定した場合には、前記配列方法情報としてさらに、（ｅ）前記第１視差画像または前記第２視差画像のどちらの画素の位置をシフトさせて並び替えるかを示すシフト情報をさらに設定することを特徴とする請求項１または２記載の画像符号化装置。
前記制御部が、処理対象の対象画像に対して、前記処理対象の対象画像の前に符号化した対象画像と同じ前記サブサンプリングパターン情報及び前記配列方法情報を設定した場合には、
前記符号部は、前記処理対象の対象画像を符号化した符号化データに対して、前記サブサンプリングパターン情報及び前記配列方法情報を、多重化しない付加情報付符号化データを生成する、
ことを特徴とする請求項１〜３のいずれか１項記載の画像符号化装置。
前記制御部は、前記第１視差画像及び前記第２視差画像それぞれの、あらかじめ定められた位置の画素をサブサンプリングするか否かを示す前記位相情報を、前記第１視差画像のサブサンプリング位相と前記第２視差画像のサブサンプリング位相とを、それぞれ時系列的に連続する1フレームまたは1フィールド毎に反転させるか、または反転させないかを示す反転・非反転情報をさらに設定し、
前記符号化部は、反転・非反転を示す情報をさらに符号化し、多重化したステレオ画像情報付符号化データを生成する、
ことを特徴とする請求項４記載の画像符号化装置。
付加情報付符号化データから、符号化データ、サブサンプリングパターン情報、及び配列方法情報を分離し、前記符号化データを復号し対象画像を得る復号部と、
（ａ）サブサンプリングを行った画面上での方向が水平、垂直、または斜めのいずれであったのかを示すサブサンプリング方向情報、（ｂ）第１視差画像及び第２視差画像それぞれの、あらかじめ定められた位置の画素が選択された否かを示す位相情報と、を有する前記サンプリングパターン情報、及び（ｃ）第１サブサンプリング画像と、第２サブサンプリング画像とを、画素単位で並べるか、もしくは画像単位で並べるか、を示す合成方法情報、に従って、前記対象画像から、前記第１サブサンプリング画像と、前記第２サブサンプリング画像と、を再構成する再構成部と、
前記第１サブサンプリング画像のうち、サブサンプリングの際に選択されなかった画素に画素値を与え、第１視差画像を生成する第１アップサンプリング部と、
前記第２サブサンプリング画像のうち、サブサンプリングの際に選択されなかった画素に画素値を与え、第２視差画像を生成する第２アップサンプリング部と、
を備えたことを、特徴とする画像復号装置。
前記再構成部は、前記方向情報がサブサンプリングを画像上の斜め方向に行ったことを示しており、前記配列方法情報が前記画像単位で並び替えたことを示している場合には、さらに前記配列方法情報が有している（ｄ）垂直方向または水平方向のどちらに第１サブサンプリング画像及び前記第２サブサンプリング画像をスクイーズされているのかを示すスクイーズ方向情報に従って第１および第２サブサンプリング画像を生成することを特徴とする請求項１記載の画像復号装置。
前記再構成部は、前記位相情報が前記第１視差画像と前記第２視差画像とで一致しており、前記配列方法情報が前記画素単位で並び替えたことを示している場合には、さらに前記配列方法情報が有している（ｅ）前記第１視差画像または前記第２視差画像のどちらの画素の位置をシフトさせて並び替えたかを示すシフト情報に従って、第１および第２サブサンプリング画像を生成することを特徴とする請求項６記載の画像復号装置。
前記再構成部は、処理対象の対象画像に、前記サブサンプリングパターン情報及び前記配列方法情報が、多重化されていない場合には、前記処理対象の対象画像の前に復号した対象画像と同じ前記サブサンプリングパターン情報及び前記配列方法情報に従って、前記第１および第２サブサンプリング画像を生成することを特徴とする請求項６〜８のいずれか１項記載の画像復号装置。
前記サブサンプリングパターン情報及び前記配列方法情報が、多重化されていない場合に、
前記分離部は、付加情報付符号化データに、前記第１視差画像のサブサンプリング位相と前記第２視差画像のサブサンプリング位相とを、それぞれ1フレームまたは1フィールド毎に反転させているか、または反転させていないかを示す反転・非反転情報が多重化されている場合には、前記反転・非反転情報を分離し、
前記再構成部は、前記処理対象の対象画像の前に復号した対象画像と同じ前記方向情報及び前記配列方法情報と、前記反転・非反転情報が反転していることを示している場合には前記処理対象の対象画像の前に復号した対象画像と異なる前記位相情報と、また、前記反転・非反転情報が反転してないことを示している場合には前記処理対象の対象画像の前に復号した対象画像と同じ前記位相情報と、にしたがって処理対象の対象画像から前記第１および第２サブサンプリング画像を生成することを特徴とする請求項６〜８のいずれか１項記載の画像復号装置。
（ａ）サブサンプリングを行う画面上での方向が水平、垂直、または斜めのいずれであるかを示すサブサンプリング方向情報と、（ｂ）前記第１視差画像及び前記第２視差画像それぞれの、あらかじめ定められた位置の画素を選択するか否かを示す位相情報と、を有する前記サンプリングパターン情報と、を設定するステップと、
第１視差画像をサンプリングパターン情報に従ってサブサンプリングして、前記第１視差画像の半数の画素を選択するステップと、
第２視差画像を前記サンプリングパターン情報に従ってサブサンプリングして、前記第２視差画像の半数の画素を選択するステップと、
前記第１視差画像で選択された画素と前記第２視差画像で選択された画素とを、配列方法情報に従って、１枚の対象画像上に並べるステップと、
（ｃ）前記第１サブサンプリング画像と、前記第２サブサンプリング画像とを、画素単位で並べるか、もしくは画像単位で並べるか、を示す合成方法情報と、を設定するステップと、
前記対象画像を符号化した符号化データと、前記サブサンプリングパターン情報と、前記配列方法情報とを、多重化した付加情報付符号化データを生成するステップと、
を備えたことを、特徴とする画像符号化方法。
付加情報付符号化データから、符号化データ、サブサンプリングパターン情報、及び配列方法情報を分離し、前記符号化データを復号し対象画像を得るステップと、
（ａ）サブサンプリングを行った画面上での方向が水平、垂直、または斜めのいずれであったのかを示すサブサンプリング方向情報、（ｂ）第１視差画像及び第２視差画像それぞれの、あらかじめ定められた位置の画素が選択された否かを示す位相情報と、を有する前記サンプリングパターン情報、及び（ｃ）第１サブサンプリング画像と、第２サブサンプリング画像とを、画素単位で並べるか、もしくは画像単位で並べるか、を示す合成方法情報、に従って、前記対象画像から、前記第１サブサンプリング画像と、前記第２サブサンプリング画像と、を再構成するステップと、
前記第１サブサンプリング画像のうち、サブサンプリングの際に選択されなかった画素に画素値を与え、第１視差画像を生成するステップと、
前記第２サブサンプリング画像のうち、サブサンプリングの際に選択されなかった画素に画素値を与え、第２視差画像を生成するステップと、
を備えたことを特徴とする画像復号方法。