以下、本発明の好適な実施の形態について、添付図面を参照しながら詳細に説明する。なお、以下の説明及び添付図面において、略同一の機能及び構成を有する構成要素については、同一符号を付することにより、重複説明を省略する。
人間などの左右の眼がそれぞれ取得する網膜像の空間的ずれ(両眼視差)を利用して、2次元の画像を立体的に視認させる方法(以下、立体視の方法。)が多数存在する。なお、視差について、特に記載がない場合、水平方向における視差を示すものとする。
立体視の方法としては、特殊なメガネを利用するアナグリフ方式、カラーアナグリフ方式、偏光フィルタ方式、時分割立体テレビジョン方式等と、特殊なメガネを利用しないレンチキュラ方式等が知られている。
上述したさまざまな立体視の方法を実現するためには、左眼用の左視点画像(L画像。)と、右眼用の右視点画像(R画像。)を取得する必要がある。L画像とR画像を取得するためには、同一の被写体に対して、カメラの位置を、例えば人の両眼の間隔だけ移動して2回撮影する方法等が最も容易である。
また、1回の撮影でL画像とR画像を取得する方法として、例えば、図1及び図2に示すように、ミラーなどから構成される光学アダプタ105を、撮像装置100のレンズ103の外側に取り付ける方法が知られている。なお、上記撮像装置100は、例えば、デジタルカメラなどを例示することができる。
図2は、光学アダプタ105の構造を模式的に表している。単一の採光窓から入射される右眼用の光学像は、ミラー121によってミラー122に向けて反射され、ミラー122によって撮影レンズ103に向けて反射された後、撮影レンズ103によって集光される。単一の採光窓から入射される左眼用の光学像は、ミラー121及びミラー122によって反射されることなく、撮影レンズ103によって集光される。
光学アダプタ105を介して入射された光学像は、左眼からの視点の領域及び右眼からの視点の領域からなる視差画像として撮影される。この左眼用の領域(左眼用の画像)がL画像として利用され、右眼用の領域(右眼用の画像)がR画像として利用される。なお、各視点画像のセットを視差画像とし、視点画像が複数存在すれば足りるため、必ずしも両隣に一体的に構成する必要はない。
次に、図3に示すように、各視点画像からなる視差画像を合成して得る立体視用の立体画像(立体視画像、3D画像)を表示させる方法として、例えば、図4に示すような偏光フィルタ方式がある。
図4に示すように、偏光フィルタ方式は、R画像を投影するための右眼用プロジェクタ141と、L画像を投影するための左眼用プロジェクタ142と、L画像及びR画像の光を反射するスクリーン143と、偏光メガネ144とから構成される。なお、3D(three−Dimensional:3次元)画像は、立体的に視認可能な立体視画像のことである。
右眼用プロジェクタ141は、垂直方向に偏光フィルタを備えている。左眼用プロジェクタ142は、水平方向に偏光フィルタを備えている。従って、右眼用プロジェクタ141から出力されるR画像の光は、図4に示す水平方向の矢印の光が出力される。左眼用プロジェクタ142から出力されるL画像の光は、図4に示す垂直方向の矢印の光が出力される。
次に、スクリーン143上では垂直方向の直線偏光によって投影されたL画像と、水平方向の直線偏光によって投影されたR画像とが重ね合わさることで、立体視画像が生成される。
そして、左側に水平方向の直線偏光フィルタ、右側に垂直方向の直線偏光フィルタが配置された偏光メガネ144を用いることにより、スクリーン143により反射された上記立体視画像のうち、右眼用プロジェクタ141から投影されたR画像は、右側の直線偏光フィルタにしか通過されず、左眼用プロジェクタ142から出力されたL画像は、左側の直線偏光フィルタにしか通過されない。
従って、偏光メガネ144から上記スクリーン143上の立体視画像を見ると、例えば、撮影された建造物などが飛び出して見えるなど、画像を立体的に見ることができる。
図4に示すスクリーン143に立体視画像を生成する場合の他に、例えば、パソコン(Personal Computer:PC)、コンピュータ装置によって立体視画像を生成し、表示する場合も可能である。次に、本実施の形態に係るコンピュータ装置によって立体視画像が生成される場合を、図5〜図8を参照しながら説明する。
上記説明したように、図2に示すミラー121及びミラー122により反射されることで、視差画像が生成される。上記視差画像は、図2に示すようにL画像とR画像とから構成されている。
次に、図5を参照しながら、本実施の形態に係る立体視画像処理装置に適用されるコンピュータ装置について説明する。図5は、本実施の形態に係るコンピュータ装置の概略的な構成を示す説明図である。
コンピュータ装置150は、少なくとも中央演算処理部(CPU)、記憶部を少なくとも備える情報処理装置であり、一般的にはコンピュータ装置であるが、携帯端末、PDA(Personal Digital Assistant)、ノート型パーソナルコンピュータ、又はデスクトップ型パーソナルコンピュータなどの情報処理装置も含まれる。
図5に示すように、コンピュータ装置150には、立体視画像を生成するコンピュータ装置150と、表示された立体視画像を見るときにユーザが使用する偏光メガネ171と、立体視画像を表示する立体視表示部140と、上記立体視表示部140の表示面外側に配置するライン偏光板172とが、さらに備えられる。
偏光メガネ171は、コンピュータ装置150に装着された支持棒170により、コンピュータ装置150のキーボード付近の上方空間に位置するように支持されている。
次に、生成されたL画像及びR画像の視差画像は、図6に示すように、次式(1)に従って、L画像とR画像とが合成され、図7に示すような立体視画像が生成される。なお、偶数ライン、奇数ラインは、コンピュータ装置150に備わる立体視表示部140などに構成される水平方向の列のことである。
例えば、表示部がUXGA(Ultra eXtended Graphics Array)の場合、式(1)に示すように、水平方向のラインのうち、最上端を0番ラインとすると、0番ラインは、偶数ラインであり、次に1番ラインは、奇数ラインであり、…、以降最下端ライン(1599番ライン)まで続く。
偶数ライン
1×(L画像の画素)+0×(R画像の画素)=(立体視画像の画素)
奇数ライン
0×(L画像の画素)+1×(R画像の画素)=(立体視画像の画素)
・・・式(1)
図7に示すように、0番ラインから順に、水平方向の1ラインごとにL画像、R画像を合成することにより、L画像及びR画像が1ラインごと交互に合成された立体視画像が生成される。生成された立体視画像は、例えば、コンピュータ装置に備わる立体視表示部140などに表示される。
図8に示すように、ユーザは、立体視表示部140に表示された立体視画像を、偏光メガネ171を介して見ることになる。なお、立体視表示部140には、予めライン偏光板172を備えている。
上記ライン偏光板172は、水平方向のラインを複数有している。ライン偏光板172の複数ラインのうち、最上端から順に、偶数ラインには、垂直方向の偏光板を備え、奇数ラインには、水平方向の偏光板を備える。
また、偏光メガネ171の右側には、水平方向の偏光フィルタを備え、左側には、垂直方向の偏光フィルタを備える。従って、ライン偏光板172を通過したL画像の光又はR画像の光のうち、偏光メガネ171の左側は、奇数ラインからなるL画像の光だけが通過し、右側は、奇数ラインからなるR画像の光だけが通過する。すなわち、ユーザは、立体視画像を立体的に視聴することができる。
(立体視画像処理装置)
ここで、図9を参照しながら、本実施の形態に係る立体視画像処理装置について説明する。図9は、本実施の形態に係る立体視画像処理装置の概略的な構成を示すブロック図である。なお、図9に示す、本実施の形態に係る画像変換部139は、例えば、本発明に係る画像嵌め込み装置に該当する。
図9に示すように、立体的に視認することが可能な立体視画像を生成する立体視画像処理装置は、撮像部101と、画像エンコード部132と、画像制御情報生成部133と、データ多重化部134と、記録媒体135と、データ分離部136と、画像デコード部137と、画像分離部138と、画像変換部139と、立体視表示部140とから構成される。
撮像部101は、被写体を撮像する撮像素子(CCD)130−1及び撮像素子130−2と、合成部131とを備える。なお、撮像素子130−1と撮像素子130−2とを、一体化して、一組の撮像素子130から構成することも実施可能である。上記の場合、光学アダプタ105等を備えることで可能となる。
撮像素子130−1により撮像された左眼からの視点の画像(L画像)と、撮像素子130−1により撮像された右眼からの視点の画像(R画像)とが、合成部131に伝送される。なお、図9に示す立体視画像処理装置は、2視点の場合を例に挙げて説明するが、かかる例に限定されず、複数の視点の場合であっても実施可能である。
合成部131は、伝送された各視点画像(L画像、R画像)を回転等するとともに、合成し、結合画像を生成する。さらに合成部131は、生成された結合画像は、記録媒体135又はメモリ(図示せず。)に記録されるよう指示する。なお、図9に示す結合画像は、L画像とR画像とが左右に隣り合わせとなっているが、かかる例に限定されず、例えば、L画像とR画像とが上下に隣り合わせの場合であってもよい。上記結合画像については、後述する。
上記結合画像は、画像エンコード部132によりエンコードされる。上記エンコードは、例えば、JPEG(Joint Photographic Experts Group)形式などが例示される。
画像制御情報生成部133は、上記結合画像から立体視画像に変換等するためのタグ情報(以下、画像制御情報)を生成する。画像制御情報は、撮像部101の撮像時の露出、日時、フラッシュの有無などの撮像情報、又は立体視表示部140に適当な立体視画像を生成するための情報等が含まれる。例えば、表示画面上の1ラインごとに左右画像(L画像、R画像)を表示するための情報などが例示される。
データ多重化部134は、画像エンコード部132から伝送される結合画像と、画像制御情報生成部133から伝送される画像制御情報とを多重化する。多重化された結合画像及び画像制御情報は、記録媒体135に記録される。
記録媒体135は、データを読書き可能な記憶デバイスであり、例えば、HDD装置(ハードディスクドライブ装置)、CD−RW(ReWritable)、DVD−RAM(DVD−Random Access Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)、又はメモリスティック(登録商標)などが例示される。
データ分離部136は、記録媒体135に記録された結合画像及び画像制御情報をそれぞれ取得する。データ分離部136は、取得した結合画像を画像デコード部137に伝送し、画像制御情報を画像分離部138に伝送する。なお、結合画像データ及び画像制御情報は、記録媒体135の所定の場所(フォルダなど)に記録されている。
なお、本実施の形態に係るデータ分離部136は、記録媒体135から結合画像及び画像制御情報を取得する場合を例に挙げて説明したが、結合画像と画像制御情報がリンクされていれば、かかる例に限定されず、例えば、記録先のフォルダが別々の場合や、結合画像と画像制御情報が別々に記録され、ネットワーク上のサーバ等から別々に取得する場合等であっても実施可能である。
画像デコード部137は、予めエンコードされた結合画像データをデコードし、画像分離部138に伝送する。
画像分離部138は、データ分離部136から伝送された画像制御情報に基づき、画像制御情報に指定された結合画像を取得し、各視点の画像(L画像、R画像)に分離する。なお、L画像とR画像に分離する際、結合画像のL画像とR画像の有効領域を切り出し、所定角度回転又は拡大/縮小処理してもよい。なお、画像分離部138は、分離した結果、L画像とR画像の向きが同じになるように処理する。なお、有効領域については後述する。
画像変換部139は、画像分離部138から伝送されたL画像、R画像を、上記説明した通り、重ね合わせ等することにより、立体視画像に変換する。なお、画像制御情報に切出領域などが指定された場合、画像変換部139は、切出処理や拡大/縮小処理等して、立体視画像に変換してもよい。なお、切出領域については、後述する。
立体視表示部140は、画像変換部139により合成された立体視画像を表示する。立体視表示部140は、後程説明するコンピュータ装置に備わるディスプレイなどの表示部、又は投影してスクリーンに表示するプロジェクタ装置などが例示される。
なお、本実施の形態に係る立体視表示部140は、立体視画像を表示する場合に限られず、例えば、2Dである静止画像、動画像などの表示、さらには音声の出力等をする場合、又は立体視表示部140の代わりにプリントアウト手段を備え、アナグリフ方式の立体視画像を紙などの媒体に出力する等の場合であっても実施可能である。
さらに、図10を参照しながら、図9に示す本実施の形態に係る立体視画像処理装置の変形例について説明する。図10は、図9に示す立体視画像処理装置の変形例である。以下、図9に示す立体視画像処理装置との相違点について説明する。
図10に示すように、立体視画像処理装置は、図9に示す立体視画像処理装置と比べて、1つの撮像装置100が備わる点で異なる。さらに、撮像装置100は、光学アダプタ105を備えている点でも異なる。
従って、光学アダプタ105を備えた撮像装置100は、1回の撮影(シャッター)で、左眼用の視点画像と右眼用の視点画像を撮像し、上記2視点画像からなる結合画像データを生成することができる。
(撮像装置100)
次に、本実施の形態に係る撮像装置100について説明すると、撮像装置100は、少なくともレンズ103と撮像素子130を備え、上記レンズ103には、さらに光学アダプタ105が装着可能となっている。また、図9に示すように、撮像装置100は、撮像部101内に備わってもよく、撮像装置100は、合成部131を備えている場合でもよい。
また、本実施の形態に係る画像エンコード部132、画像制御情報生成部133、データ多重化部134、及び記録媒体135は、撮像装置100に備わらない場合を例に挙げて説明したが、かかる例に限定されず、例えば、画像エンコード部132、画像制御情報生成部133、データ多重化部134、もしくは記録媒体135等のうちいずれか1つ又は任意の組合せが撮像装置100に備わる場合であっても実施可能である。
(コンピュータ装置150)
図5に示すコンピュータ装置150は、図9に示す立体視画像処理装置に構成するデータ分離部136、画像デコード部137、画像分離部138、画像変換部139、及び立体視表示部140を備える。なお、コンピュータ装置150は、画像エンコード部132、画像制御情報生成部133、データ多重化部134、記録媒体135をさらに備える場合でもよい。
コンピュータ装置150は、図1に示す光学アダプタ105が装着された撮像装置100によって撮影された結合画像データを取込む。又は、コンピュータ装置150は、光学アダプタ105が装着されていない状態で撮影された画像データなどを取り込む。なお、本実施の形態に係る撮像装置100は、例えば、ディジタルスチルカメラ、ディジタルビデオカメラなどが例示される。
さらに、コンピュータ装置150は、取込んだ結合画像データ又は連続的に撮影された2枚の画像データから立体視画像データを生成する。生成された立体視画像データは、立体視画像として立体視表示部140に表示される。
なお、撮像装置100からコンピュータ装置150に取り込まれる結合画像等の画像データには、画像制御情報生成部133により生成された画像制御情報が付与されている。
(立体視画像ファイル)
次に、図11を参照しながら、本実施の形態に係る立体視画像ファイルについて説明する。図11は、本実施の形態に係る立体視画像ファイルのデータ構造の概略を示す説明図である。
図11に示すように、立体視画像ファイルは、例えば、ファイル名が“ファイル1.jpg”など、拡張子が“.jpg”のJPEG形式の圧縮データファイルである。
また、立体視画像ファイルは、DCF(Design rule for Camera File system)規格に準拠して記録し、これにアプリケーション・マーカセグメント(APP1)を挿入する。
APP1は、立体視画像ファイルの始まりを示すSOI(Start Of Image)マーカの直後に配置される。
さらに、APP1の直後には、結合画像データが配置され、最後に立体視画像ファイルの終了を示すEOI(End Of Image)が配置される。なお、結合画像については、後程説明する。
上記APP1の領域には、図11に示すように、Exif(Exchangeable image file format)の識別情報、及び付属情報本体(Tiff header、IFD0、IFD1)から構成される。これら全てを含むAPP1の大きさは、JPEGの規格により64kByteを越えてはならない。
付属情報は、File Header(Tiff header)を含むTiffの構造をとり、最大二つのIFD(IFD0(0th IFD)、IFD1(1st IFD))を記録できる。なお、IFDは、“Image File Directory”の略である。
IFD0は、圧縮されている画像(主画像)又は立体視画像(3D画像)などに関する付属情報を記録する。図11に示すように、IFD0領域には、Exif IFDのポインタが入るExifポインタ部と、GPS IFDのポインタが入るGPSポインタ部と、3D IFDのポインタが入る3Dポインタ部とが配置される。
さらに、IFD0領域には、各ポインタ部の後に、Exif IFDと、Exif IFD Valueと、GPS IFDと、GPS IFD Valueと、3D IFDと、3D IFD Valueとが配置される。
Exif IFD及びExif IFD Valueには、画像データの特性、構造、ユーザ情報、撮影条件、もしくは日時等に関連するタグ又はタグ値が記録される。例えば、ユーザコメントのためのタグ“UserComment”タグ、露出時間を示すためのタグ“ExposureTime”、フラッシュの有無を示すためのタグ“Flash”タグなどが例示される。
GPS IFD及びGPS IFD Valueには、GPS(global positioning system)に関するタグ又はタグ値が記録される領域である。例えば、緯度を示すタグ“GPSLatitude”、高度を示すタグ“GPSAltitude”などが例示される。
上記3D IFD及び3D IFD Valueに、3D画像である立体視画像に変換するための処理等を制御する画像制御情報に関するタグ又はタグ値(Value)が記録される。なお、画像制御情報については、後程詳述する。また、本実施の形態に係る結合画像ファイルについても、立体視画像ファイルとほぼ同様のデータ構造である。
なお、本実施の形態に係る立体視画像ファイルのデータ構造は、かかる例に限定されず、他のデータ構造である場合であっても実施することが可能である。
例えば、立体視画像用ファイルのデータ構造がJPEGデータからなる場合、各JPEGデータには、JPEGヘッダと圧縮画像データとEOI(End Of Image)とが含まれる場合でもよい。上記JPEGヘッダには、SOI(Start Of Image)や色管理情報等の付属情報が存在する。
また、視点画像データの視点番号などの視点情報は、例えば、各々のJPEGヘッダに存在させることもできる。視点が異なる複数の視点画像は、ファイルヘッダとそれに続く複数のJPGEデータとその全体の終わりを示すファイルエンド情報とすることができる。全体に対するヘッダを存在させない場合(結合画像の場合)には、視点情報が、JPEGヘッダ内(アプリケーションマーカー/IFD)に格納される。
(画像情報)
本実施の形態に係る立体視画像ファイルは、少なくとも撮影又は記録等により生成される主画像となる視点画像データと、画像制御情報とから構成されている。なお、視点画像データ、画像制御情報については、DCF規格に規定されている。
(画像フォーマット)
次に、図12を参照しながら、本実施の形態に係る結合画像データについて説明する。図12は、本実施の形態に係る結合画像データの概略的な構成を示す説明図である。
図12(a)及び図12(b)に示すように、本実施の形態に係る視差画像データは、左眼用の視点画像(L画像)と右眼用の視点画像(R画像)から構成されている。なお、L画像及びR画像は、各視点において撮像された視点画像である。静止画像である上記視点画像から3Dの立体視画像に合成される。
上記結合画像データは、1つの画像に、L画像データ及びR画像データが一体となるように構成される画像データである。従って、結合画像データは、視差画像データと比べて、複数の視点画像から構成されている点では共通するが、特に各視点画像が別個・独立していない点で、視差画像データとは、大きく異なる。結合画像のL画像及びR画像は、結合され、一体化されている。
図12(a)に示す結合画像350−1は、水平方向、左右にL画像とR画像とが両隣に並ぶように構成される。また、図12(b)に示す結合画像350−2は、垂直方向、上下にL画像とR画像とが一体的に結合されている。
なお、本実施の形態に係る結合画像は、2視点である場合を例に挙げて説明したが、かかる例に限定されず、複数視点から撮影した画像を一枚の結合画像に結合して記録する場合であっても実施可能である。
また、図12(c)に示すように、垂直方向上下に結合された上記結合画像350−2の他に、全部で合計4つのパターンの結合画像(350−3、350−4、350−5、350−6)が存在する。
図12(c)に示す結合画像(350−3、350−4、350−5、350−6)は、垂直方向上下に結合された上記結合画像350−2の配置形式から、上下の画像を一体化した状態で、左右に倒すことで配置されている(時計方向右回りに90度回転、又は時計方向左回り90度回転)。
結合画像(350−3、350−4、350−5、350−6)は、図12(b)に示す結合画像350−2よりも、特にアスペクト比が3:4等のディスプレイに結合画像を表示する際、収まりがよく、1画面内に表示することができる。
また、上記結合画像(350−3、350−4、350−5、350−6)は、立体視画像に合成等するための画像制御情報とともに記録媒体135に記録されているため、ネットワーク等を介して、結合画像と画像制御情報を配信することが容易にできる。
なお、結合画像(350−3、350−4、350−5、350−6)と画像制御情報が相互にリンクされていれば記録方法については、限定されない。例えば、同一ファイル内に結合画像と画像制御情報を記録する場合や、ネットワークに接続された別々のサーバに結合画像と画像制御情報が別々に記録される場合等でも実施可能である。
また、結合画像(350−3、350−4、350−5、350−6)を水平方向に圧縮することで、結合画像から立体視画像に合成し、表示する際には、回転して元に戻した状態の画像の垂直成分のみが圧縮された状態となるので、水平方向の画質を劣化させることなく立体視画像を表示することができる。
結合画像(350−3、350−4、350−5、350−6)のうち、どの配置パターンで保存するかについては、2種の指定パターンがある。1つ目のパターンは、各結合画像(350−3、350−4、350−5、350−6)のそれぞれについて、“1”、“2”、“3”、“4”などのIDを付与することで配置パターンを指定するパターンである。
2つ目のパターンは、結合画像(350−3、350−4、350−5、350−6)のうち、まず結合画像(350−3、350−5)又は結合画像(350−4、350−6)のどちらであるかを指定し、さらに右視点画像(R画像)が右側であるのか左側に配置されるのかを指定するパターンである。詳細については後述する。
結合画像350−3は、図12(b)に示す結合画像350−2を左側に倒した状態の画像である。さらに結合画像350−3は、図12(c)に示すように、左側にR画像、右側にL画像が配置された構成の画像である。また、左側のR画像と右側のL画像とともに、画像の向き(天地)は、上側が水平左方向であり、下側が水平右方向である。
結合画像350−4は、図12(b)に示す結合画像350−2を左側に倒した状態での画像である。さらに結合画像350−4は、図12(c)に示すように、左側にL画像、右側にR画像が配置された構成の画像である。また、左側のL画像と右側のR画像とともに、画像の向き(天地)は、上側(天井側)が水平右方向であり、下側(地面側)が水平左方向である。
結合画像350−5は、結合画像350−3の状態から、画像の向きはそのままにして、L画像とR画像を左右で入れ替えた状態の画像となっており、結合画像350−6は、結合画像350−4の状態から、画像の向きはそのままにして、L画像とR画像を左右で入れ替えた状態の画像となっている。
図12(c)に示す結合画像(350−3、350−4、350−5、350−6)は、各視点画像であるR画像、L画像の画枠を、例えば縦×横が2×3等のワイド画像にしても、1画面内に左右並べて表示することが可能であり、さらにR画像とL画像をそれぞれ90度回転することで、合成後の立体視画像もワイドな画像に表示される。以下、特に明記されない場合、結合画像は、図12(c)に示す画像のいずれかを示すものとする。
(複数視点の視点画像)
ここで、図13を参照しながら、本実施の形態に係る複数の視点から撮像した場合の視点画像について説明する。図13は、本実施の形態に係る複数の視点から撮像した場合の視点画像の概略的な構成を示す説明図である。
図13(a)に示すように、被写体230に対して複数台の撮像装置100(100−1、100−2、100−3、…、100−6)が配置されている。撮像装置100を識別するために、各撮像装置100に対して視点位置が付される。
なお、本実施の形態に係る撮像装置100(100−1、100−2、100−3、…、100−6)は、6つの視点から撮影するために、配置される場合を例に挙げて説明するが、1又は2以上の撮像装置100が配置される限り、かかる例に限定されない。
上記視点位置は、図13(a)に示すように、水平方向(x)、垂直方向(y)の(x,y)座標に基づき、撮像装置100−1である左上から順にA1、A2、A3、…と表わされる。例えば、A1は、座標で表わすと、(水平方向座標,垂直方向座標)=(1,0)などとなる。
従って、撮像装置100から撮像された視点画像に各視点の視点位置が付加されることで、どの視点から撮像された視点画像であるか、識別することが可能となる。
例えば、撮像装置100の視点位置が“A1”の場合、図13(b)に示すように、撮像装置100により撮像された視点画像の視点位置も“A1”である。
従って、撮像装置100の画像制御情報生成部133は、画像制御情報を生成し、上記画像制御情報における所定のタグのフィールドに、上記視点位置“A1”(1,0)を設定する。上記視点位置に係る所定のタグについては後述する。
(画像制御情報)
本実施の形態に係る結合画像データから立体視画像データに合成し、表示するためには、上記説明したように、タグ情報としての画像制御情報を例えば、ハードディスク、記録媒体などに記録する必要がある。
次に、本実施の形態に係る画像制御情報に関するタグについて説明する。本実施の形態に係るタグには、3D画像であることを示す“3Dタグ”、上記画像制御情報のサイズを示す“画像制御情報サイズタグ”、3D画像のサイズを示す“3D画像サイズタグ”、使用者が任意のデータを管理等できる“使用者データ領域タグ(ApplicationData)”、データ構成種別を管理するための“データ構成種別タグ”、又は上記画像制御情報のバージョンを示す“画像制御情報バージョンタグ”が存在する。画像制御情報に含まれるタグを用いることによって、適当な立体視画像を生成したり、編集したり様々な処理を施すことができる。
また、さらに本実施の形態に係る画像制御情報に係るタグには、例えば図13に示した“A1”〜“B3”の視点位置を示すためのタグ(視点位置タグ)、3D画像が結合画像であるか否かを示す“結合画像タグ”、3D画像の回転状況等を示す“回転タグ”、3D画像から所定領域切り出された切出領域の水平方向のサイズを示す“切出サイズタグX(CropSizeX)”、3D画像から所定領域切り出された切出領域の垂直方向のサイズを示す“切出サイズタグY(CropSizeY)”、3D画像における切出領域の水平方向のオフセットを示す“切出オフセットタグX(CropOffsetX)”、又は3D画像における切出領域の垂直方向のオフセットを示す“切出オフセットタグY(CropOffsetY)”が存在する。なお、“CropOffsetX”、“CropOffsetY”は、複数の視点から3D画像がなる場合、各視点のオフセットを示す。なお、上記回転タグには、例えば、回転角度情報など、視点画像が回転した角度等が設定される。
また、さらに本実施の形態に係る画像制御情報に係るタグには、3D画像における有効領域の水平方向のサイズを示す“有効サイズタグX(ValidSizeX)”、3D画像における有効領域の垂直方向のサイズを示す“有効サイズタグY(ValidSizeY)”、3D画像における有効領域の水平方向のオフセットを示す“有効オフセットタグX(ValidOffsetX)”、又は3D画像における有効領域の垂直方向のオフセットを示す“有効オフセットタグY(ValidOffsetY)”が存在する。なお、“有効オフセットタグX”、“有効オフセットタグY”は、複数の視点から3D画像がなる場合、各視点のオフセットを示す。
また、さらに本実施の形態に係る画像制御情報に係るタグには、3D画像(立体視画像)を表示可能な立体視表示部140に、適正なサイズの立体視画像を表示するためのタグである“想定表示サイズタグ”、又は立体視画像の注目参照点を示すための“リマークポイントタグ”などが存在する。
たとえば、上記“回転タグ”は、3バイトからなる。なお、“回転タグ”は、結合画像における各視点画像の回転角、左右ミラー反転の有無を示し、0〜7のいずれかの値が設定される。0〜7の値に応じて回転角、ミラーの有無が決定する。
また、“CropOffsetX”は、各視点6バイトからなるタグである。従って、例えば2視点の場合は、12バイトとなる。なお、“CropOffsetX”は、切出領域の水平方向のオフセットを示す。切出領域の水平方向のオフセットは、水平方向の切出領域の開始位置(始点)を示す。
“CropOffsetY”は、各視点6バイトからなるタグである。従って、例えば2視点の場合は、12バイトとなる。なお、“CropOffsetY”は、切出領域の垂直方向のオフセットを示す。各視点の画像の上下ずれ補正量も含み、ずれ量が不明の場合は、上記“CropOffsetY”には、“0”の値が設定される。切出領域の垂直方向のオフセットは、垂直方向の切出領域の開始位置(始点)を示す。切出領域の垂直/水平方向のオフセットが定まることにより、切出領域の開始位置が定まる。
“ValidSizeX”は、各視点6バイトのタグである。なお、“ValidSizeX”は、結合画像から3D画像に変換することが可能な領域を示す有効領域の水平方向のサイズである。
“ValidSizeY”は、各視点6バイトのタグである。なお、“ValidSizeY”は、有効領域の垂直方向のサイズである。
“ValidOffsetX”は、各視点6バイトのタグである。例えば、3視点の場合は、18バイトである。なお、“ValidOffsetX”は、有効領域の水平方向のオフセットである。有効領域の水平方向のオフセットは、水平方向の有効領域の開始位置(始点)を示す。
“ValidOffsetY”は、各視点6バイトのタグである。例えば、3視点の場合は、18バイトである。なお、“ValidOffsetY”は、有効領域の垂直方向のオフセットである。有効領域の垂直方向のオフセットは、垂直方向の有効領域の開始位置(始点)を示す。
“想定表示サイズタグ”は、4バイトのタグである。なお、
“想定表示サイズタグ”のタグのフィールドには、例えば、立体視表示部140の種類と大きさが設定される。立体視表示部140の大きさは、本実施の形態ではインチ(inch)により表されるが、かかる例に限定されない。
“リマークポイントタグ”は、6バイトのタグである。なお、“Remarkpoint”は、立体視画像の注目点を示すためのタグである。
立体視表示部140に立体視画像を表示する場合、立体視表示部140の中心点には、参照注目点に該当する立体視画像が表示される。従って、立体視表示部140の中心点と、立体視画像の注目点とは一致する。
“リマークポイント”のタグから注目点が設定されることにより、例えば、立体視画像の大きさよりも立体視表示部140が小さい場合、立体視画像全体を表示することはできないが、立体視画像を少なくとも部分的に視認することが可能となる。
(メタファイル形式による画像制御情報)
次に、本実施の形態に係る画像制御情報生成部133はXML(eXtensible Markup Language)形式などのメタファイルである付帯情報を生成すると、直接、記録媒体135は、上記付帯情報を、多重化された画像ファイルとは別ファイルとして記録するようにしてもよい。
次に、本実施の形態に係る立体視画像処理装置における各種機能の説明をする。
(結合画像における視点画像の配置)
まず、図14を参照しながら、本実施の形態における視点画像の配置について説明する。図14は、本実施の形態における視点画像の配置の概略的な構成を示す説明図である。
(平行配置)
視点画像の配置には、2つの配置がある。図14(a)に示すように、右眼用の画像(以下、R画像)が右側で、左眼用の画像(以下、L画像)が左側である一般的な配置の場合を、平行配置とする。従って、平行配置の結合画像は、ユーザの左右の眼から見える視点と同じ配置である。なお、上記平行配置による結合画像を、いわゆる平行法によって見た場合、結合画像を立体的に見ることができる。平行法とは、対象より遠いところに眼の焦点を合わせたまま、手前にある対象を見る方法である。
(交差配置)
次に、図14(b)に示すように、L画像が右側で、R画像が左側である場合、つまり逆転層が生じ、平行配置と比べ左右反転したような配置の場合を、交差配置とする。なお、交差配置又は平行配置は、結合画像タグに、右視点画像(R画像)が左右のうちどちら側であるかを設定することで、交差配置又は平行配置のどちらであるかを指定することができる。
上記交差配置の視差画像は、いわゆる交差法による方法で、裸眼で立体視が可能な視差画像である。本実施の形態に係る光学アダプタ105を装着した撮像装置100の撮像により生成される視差画像は、交差配置の視差画像である。交差法とは、対象とするものよりも手前で眼の焦点を合わせた上で、対象を見る方法である。
結合画像から立体視画像に変換する際に、平行配置の画像であると仮定した場合、右側がR画像であるため、正常な立体視画像に変換することが可能であるが、交差配置であった場合では、右側がL画像であるため、正常な立体視画像に変換することができない。従って、交差配置の場合、左側がR画像であることを指定する必要がある。なお、視差画像の平行配置と交差配置とは、上述した結合画像タグにより、画像配置を変換することが可能であるが、詳細は後述する。
(視点画像の画像処理方法)
次に、図15を参照しながら、本実施の形態に係る視点画像の画像処理方法について説明する。図15は、本実施の形態に係る視点画像の画像処理方法の概略を示すフローチャートである。
まず、予め撮像装置100に、平行配置の結合画像データを生成するのか、もしくは交差配置の結合画像データを生成するのか少なくとも設定する。設定する場合、撮像装置100の表示部(図示せず。)に表示されるGUI画面等により設定する。なお、平行配置又は交差配置のどちらか一方のみが予め決まっている場合、設定する必要はない。
次に、撮像装置100により被写体が撮像されると、撮像部101の合成部131は、撮像素子130から伝送される視点画像データを、設定された平行配置又は交差配置に従い、結合画像データを生成する。
また、画像制御情報生成部133は、生成された上記結合画像データに対する画像制御情報を生成し、画像制御情報の“結合画像タグ”のタグのフィールドに、平行配置又は交差配置を示す値を設定する。
上記“結合画像タグ”のタグのフィールドに設定される値は、例えば、“平行配置”である場合は、“0”であり、“交差配置”である場合は、“1”の2値のいずれかである。つまり右視点画像が右側であれば、平行配置となり、右視点画像が左側であれば交差配置となる。なお、本実施の形態に係る“結合画像タグ”のタグのフィールドに設定される値は、かかる例に限定されず、他のいかなる値が設定される場合であってもよい。
次に、結合画像データ及び画像制御情報は、データ多重化部134により多重化され、記録媒体135に記録される。
ここで、コンピュータ装置150は、記録媒体135から上記結合画像データ及び画像制御情報を読み込む。次に、コンピュータ装置150のデータ分離部136は、結合画像データと、画像制御情報とに分離する。
画像分離部138は、L画像データとR画像データとに分離時、画像制御情報の“結合画像タグ”に設定された値に基づき、デコードされた結合画像データのうちどちらが、R画像データであるかを認識する。
“結合画像タグ”に設定された値が“0”である場合、画像分離部138は、右側の画像データをR画像データであると認識し、“1”である場合、画像分離部138は、交差配置になるよう上記双方の視点画像を左右反転処理し、左側の画像データをR画像データであると認識する。
認識されたR画像データ及びL画像データは、画像分離部138により、画像変換部139に伝送される。画像変換部139は、上記R画像データと、L画像データとを配置し、立体視画像データを生成する。
上記R画像データと、L画像データとが配置された立体視画像データは、立体視表示部140により表示される(S600)。以上から、本実施の形態に係る視点画像の画像処理が終了する。
なお、図16に示すように、立体視画像データを生成後であっても、コンピュータ装置150の立体視表示部140に表示されるGUI画面220からR画像データとL画像データとを左右反転させ、再度、立体視画像データを生成することができる。
図16に示すように、GUI画面220は、立体視画像が表示されるメインエリア222と、ペイント画像224とから構成されている。メインエリア222には、生成された立体視画像データの立体視画像が表示される。
「LR置換」ボタンが、コンピュータ装置150に備わるマウスなどの入力部(図示せず。)により押下されると、画像分離部138は、画像制御情報の“結合画像タグ”に設定された値を反転する。例えば、“0”(平行配置)の場合は、“1”(交差配置)に更新する。
画像分離部138は、変更した画像制御情報の“結合画像タグ”に設定された値に基づき、結合画像データのうちどちらがR画像データであるかを認識し、認識されたL画像データ及びR画像データを画像変換部139に伝送する。
伝送されたL画像データ及びR画像データは、画像変換部139により配置され、立体視画像データが生成される。L画像データ及びR画像データが配置された立体視画像データは、立体視表示部140に表示される。
なお、上記画像変換部139は、例えば図14に示すようなL画像とR画像とからなる視差画像データを、そのまま立体視表示部140に伝送し、立体視表示部140は、上記視差画像データを表示する場合であっても実施可能である。立体視表示部140に表示される視差画像を、平行法又は交差法等により見つめることで、各方法によって立体感の異なる立体的な画像を視認することができる。
(視点画像の回転、ミラー反転)
次に、図17〜図20を参照しながら、本実施の形態における各視点画像の回転又はミラー反転について説明する。図17、図18、図19、図20は、本実施の形態における視点画像の配置の概略的な構成を示す説明図である。
なお、図17〜図20に示す視点画像は、いずれもA1=(0,0)、A2=(0,1)からなる2視点の画像で、交差配置の場合であるが、かかる例に限定されず、複数視点(A1,A2,…)の画像で、平行配置等の場合であっても実施可能である。
(回転角度0度)
図17(a)に示すように、各視点の視点画像とも回転角度0度の場合、各視点の視点画像(右眼用の画像、左眼用の画像)ともに回転されない。従って、回転前後の結合画像の視点画像は、変化せず、同じである。
(回転角度右90度)
次に、図17(b)に示すように、各視点(A1,A2)の視点画像とも回転角度右90度の場合、各視点の視点画像(右眼用の画像、左眼用の画像)は、図17(a)に示す各視点画像の位置から、時計回りに、90度回転する。
(回転角度右180度)
次に、図17(c)に示すように、各視点(A1,A2)の視点画像とも回転角度右180度の場合、各視点画像(右眼用の画像、左眼用の画像)は、図17(a)に示す各視点画像の位置から、時計回りに、180度回転する。
(回転角度右270度)
次に、図17(d)に示すように、各視点(A1,A2)の視点画像とも回転角度右270度の場合、各視点画像(右眼用の画像、左眼用の画像)は、図17(a)に示す各視点画像の位置から、時計回りに、270度回転する。
以上から、各視点の視点画像が適当な角度に回転した場合であっても、いずれの視点画像とも同じ角度だけ回転しているため、回転後の視点画像でも、立体的に視認可能な立体視画像を容易に生成することが可能である。
なお、本実施の形態に係る視点画像の回転は、各視点の視点画像が個別に回転する場合でも実施可能である。ここで、図18を参照しながら、各視点の視点画像を回転する場合について説明する。
(A1、A2ともに回転角度0度)
上記説明の通り、図18(a)に示すように、各視点の視点画像とも回転角度0度の場合、各視点の視点画像(右眼用の画像、左眼用の画像)ともに回転されない。従って、回転前後の各視点画像は、変化せず、同じである。
(A2が回転角度右90度)
次に、図18(b)に示すように、各視点(A1,A2)のうちA2の視点画像のみが、回転角度右90度の場合、A2の視点画像(左眼用の画像)は、図18(a)に示すA2の視点画像の位置から、時計回りに、90度回転する。
(A2が回転角度右180度)
次に、図18(c)に示すように、各視点(A1,A2)のうちA2の視点画像のみが、回転角度右180度の場合、A2の視点画像(左眼用の画像)は、図18(a)に示すA2の視点画像の位置から、時計回りに、180度回転する。
(A1が回転角度右90度、A2が回転角度右180度)
次に、図18(d)に示すように、各視点(A1,A2)のうちA1の視点画像が回転角度右90度であり、A2の視点画像が回転角度右180度の場合、各視点画像(右眼用の画像、左眼用の画像)は、図18(a)に示すA1及びA2の視点画像の位置から、A1の視点画像は、時計回りに、90度回転し、A2の視点画像は、時計回りに、180度回転する。
次に、図19を参照しながら、本実施の形態に係る回転及びミラー反転について説明する。
(回転角度0度及びミラー反転)
図19(a)に示すように、各視点の視点画像とも回転及びミラー反転角度0度の場合、各視点の視点画像(右眼用の画像、左眼用の画像)ともに回転されないが、垂直方向に対して、右眼用の画像と左眼用の画像とが接する上下方向の垂直軸に対して、それぞれミラー反転する。なお、本実施の形態に係るミラー反転は、各視点の視点画像(右眼用の画像、左眼用の画像)のうちいずれかを、垂直軸に対して、ミラー反転する場合であっても実施可能である。詳細は後述する。
(回転角度右90度及びミラー反転)
次に、図19(b)に示すように、各視点の視点画像とも回転角度右90度及びミラー反転の場合、各視点画像(右眼用の画像、左眼用の画像)は、図19(a)に示す各視点画像の位置から、まず時計回り方向に、90度回転する。さらに各視点画像が右90度回転した状態から、上下方向の垂直軸に対して、右眼用の画像と左眼用の画像がそれぞれミラー反転する。
(回転角度右180度及びミラー反転)
次に、図19(c)に示すように、各視点の視点画像とも回転角度右180度及びミラー反転の場合、各視点画像(右眼用の画像、左眼用の画像)は、図19(a)に示す各視点画像の位置から、まず時計回り方向に、180度回転する。さらに、各視点画像が右180度回転した状態から、上下方向の垂直軸に対して、右眼用の画像と左眼用の画像がそれぞれミラー反転する。
(回転角度右270度及びミラー反転)
次に、図19(d)に示すように、各視点の視点画像とも回転角度右270度及びミラー反転の場合、各視点画像(右眼用の画像、左眼用の画像)は、図19(a)に示す各視点画像の位置から、まず時計回り方向に、270度回転する。さらに、各視点画像が右270度回転した状態から、上下方向の垂直軸に対して、右眼用の画像と左眼用の画像が、それぞれミラー反転する。
以上から、各視点の視点画像が適当な角度に回転及びミラー反転した場合であっても、いずれの視点画像とも同じ角度だけ回転及びミラー反転しているため、各視点の視点画像から立体的に視認可能な立体視画像を容易に生成することが可能である。
なお、本実施の形態に係る視点画像の回転及びミラー反転は、各視点の視点画像が個別に回転及びミラー反転してもよい。ここで、図20を参照しながら、各視点の視点画像を回転及びミラー反転する場合について説明する。
(回転角度0度)
図20(a)に示すように、上記説明の通り、各視点の視点画像とも回転角度0度及びミラー反転なしの場合、各視点の視点画像(右眼用の画像、左眼用の画像)ともに回転及びミラー反転されない。従って、回転及びミラー反転前後の各視点画像は、変化せず、同じである。
(A2が回転角度右90度及びミラー反転)
次に、図20(b)に示すように、各視点(A1、A2)のうちA2の視点画像のみが、回転角度右90度及びミラー反転の場合、A2の視点画像(左眼用の画像)は、図20(a)に示すA2の視点画像の位置から、まず時計回りに、90度回転する。さらに、A2の視点画像が右90度回転した状態から、上下方向の垂直軸に対して、A2の視点画像のみが、ミラー反転する。
(A2が回転角度右180度及びミラー反転)
次に、図20(c)に示すように、各視点(A1,A2)のうちA2の視点画像のみが、回転角度右180度及びミラー反転の場合、A2の視点画像(左眼用の画像)は、図20(a)に示すA2の視点画像の位置から、まず時計回りに、180度回転する。さらに、A2の視点画像が右180度回転した状態から、上下方向の垂直軸に対して、A2の視点画像のみが、ミラー反転する。
(A1が回転角度右90度及びミラー反転、A2が回転角度右180度及びミラー反転)
次に、図20(d)に示すように、各視点(A1,A2)のうちA1の視点画像が回転角度右90度及びミラー反転であり、A2の視点画像が回転角度右180度及びミラー反転の場合、各視点画像(右眼用の画像、左眼用の画像)は、図20(a)に示すA1及びA2の視点画像の位置から、A1の視点画像は、時計回りに、90度回転し、A2の視点画像は、時計回りに、180度回転する。さらに、A1の視点画像が右90度回転した状態から、上下方向の垂直軸に対して、A1の視点画像がミラー反転し、A2の視点画像が右180度回転した状態から、上下方向の垂直軸に対して、A2の視点画像がミラー反転する。
次に、図21を参照しながら、本実施の形態に係る結合画像の記録処理について説明する。図21は、本実施の形態に係る結合画像の記録処理の概略を示すフローチャートである。
図21に示すように、まず、撮像装置100により被写体が撮影される(S650)。撮影直後の撮像素子130から伝送される視点画像データを、撮像部101の合成部131は、予め撮像装置100に設定された環境情報により結合画像データに変換する。なお、結合画像データに変換せず、例えば図13に示すような単に視点画像データに変換し、後ほどコンピュータ装置150等により結合画像データに変換する場合でもよい。
次に、結合画像データに変換するため、合成部131は、撮像直後の視点画像データのうち必要な画像領域だけを切り出す(S651)。切り出し処理については、後ほど説明するが、必要な画像領域は、アダプタなどの特性により予め有効領域が定まっている場合、又は予め環境情報に領域が設定されている場合などを例示することができる。
次に、左右の視点画像から必要な画像領域が切り出されると(S651)、上記説明したように、結合画像データの配置パターンを設定する(S652)。上記配置パターンの設定は、例えば、予め撮像装置100のGUIが表示される表示部(図示せず。)を介して環境情報として配置パターンを設定する場合、撮影するたびに配置パターンを設定する場合などを例示することができる。
ここで、図22を参照しながら、配置パターンの設定について説明する。図22に示すように、結合画像データに変換するための環境情報設定画面は、右視点画像を左右のどちら側に配置するのかを指定する指定領域654と、双方の視点画像がどちら向きに倒れた状態であるかを指定する指定領域655とから構成される。なお、図22は、本実施の形態に係る環境情報設定画面の概略的な構成を示す説明図である。
指定領域654及び指定領域655の各々の領域に表示されたラジオ・ボタンを入力部(図示せず。)により選択することで、結合画像データの配置パターンが設定される。なお、本実施の形態に係る環境情報設定画面は、撮像装置100の表示部に表示される場合を例に挙げて説明したが、かかる例に限定されず、例えば、環境情報設定画面は、コンピュータ装置150等に表示される場合等でもよい。
上記の場合、図16に示す「回転」ボタンが押下された場合、上記環境情報設定画面が表示され、結合画像データに変換される。また、本実施の形態に係る結合画像は、2視点だが、かかる例に限定されず、複数の視点の場合でもよい。また、上記ラジオ・ボタンの他に、マークをし、選択可能であれば、かかる例に限定されず、例えば、チェックボックスなどの場合でもよい。
上記配置パターン設定(S652)後、合成部131は、各視点画像のL画像データ(左眼用の画像)及びR画像データ(右眼用の画像)を、設定された配置パターンに従い回転等し、一体化し、結合画像データを生成する。なお、結合画像データはL画像データとR画像データとが、図12(c)に示す結合画像350のうちいずれかの配置形式で、一体化されている。
さらに、画像制御情報生成部133は、生成された上記結合画像データに対する画像制御情報を生成し、画像制御情報の“回転タグ”のタグのフィールドに、ミラー反転及び回転の種類を示す値を設定する。なお上記“回転タグ”については、後述する。
次に、結合画像データ及び画像制御情報は、データ多重化部134により多重化され、記録媒体135に記録されると(S653)、本実施の形態に係る結合画像の記録方法の一連の処理が終了する。
結合画像及び当該結合画像の画像制御情報を記録媒体135に記録し、管理することにより、上記結合画像と画像制御情報とから立体視画像を容易に自動的に生成し、表示することができる。さらに、結合画像と画像制御情報を、ネットワークを介して、配信することができ、別のコンピュータ装置150等で、立体視画像を表示することができる。
次に、図23を参照しながら、本実施の形態に係る立体視画像を表示する立体視画像表示処理について説明する。図23は、本実施の形態に係る立体視画像表示処理の概略を示すフローチャートである。
図23に示すように、まず、コンピュータ装置150は、入力部(図示せず。)からの指示に従い、記録媒体135に記録された上記結合画像データ及び画像制御情報を読み込む。
次に、コンピュータ装置150のデータ分離部136は、結合画像データと、画像制御情報とに分離する。
次に、図23に示すように、画像分離部138は、デコードされた結合画像データをL画像データとR画像データとに分離する前に、まず必要な画像領域を切り出す(S656)。なお、画像分離部138は、画像制御情報に設定された結合画像タグの値に基づき、結合画像のどちら側が右視点画像であるのかを認識しておく。
次に、図23に示すように、立体視表示部140に表示させるため、画像分離部138は、画像制御情報の“回転タグ”のフィールドの最下位桁から数えて、2バイト目から3バイト目に設定された値(“1”又は“3”)に基づき、元の位置に戻すため、各視点画像データ(L画像データ、R画像データ)全体を一体として、全体回転角度右90度又は右270度に、全体回転する(S657)。
全体回転は、各視点画像データ個別に回転するのではなく、各視点画像データを一組とする結合画像データ全体を回転することである。従って、上下に横長のL画像データとR画像データとが重なっていることになる。なお、結合画像の記録処理時に回転した角度が回転角度右90度の場合は、回転角度右270度となり、結合画像の記録処理時に回転した角度が回転角度右270度の場合は、回転角度右90度となる。
例えば、図12(c)に示す結合画像のうち結合画像350−3の場合、結合画像350−3全体を時計回りに90度回転することで、結合画像350−3は、上下にR画像とL画像とが配置する状態となる。
なお、上記全体回転の他にも、例えば、各視点画像データを90度又は右270度回転し、その後、双方の視点画像データが上下に位置するように、配列処理する等の場合でもよい。
上記回転処理(S657)が行われると、画像分離部138は、結合画像データに構成するR画像データとL画像データとを分離し、上記L画像データとR画像データとをそれぞれ画像変換部139に伝送する。
画像変換部139は、上記説明の通り、画像分離部138から伝送されたR画像データ及びL画像データを適当に重ね合わせ処理等をすることで、立体視画像データに合成する(S658)。なお、画像変換部139は、画像制御情報に設定された結合画像タグの値に基づき、結合画像のどちら側が右視点画像であるのかを認識する。
従って、立体視表示部140のアスペクトと適応するような比率の立体視画像データが、立体視表示部140に表示される(S659)。
なお、図16に示すように、立体視画像データを生成後であっても、コンピュータ装置150の立体視表示部140に表示されるGUI画面220からR画像データとL画像データとを回転又は回転及びミラー反転させて、再度、立体視画像データを生成することができる。
図16に示すように、GUI画面220の「回転」ボタンを、コンピュータ装置150に備わるマウスなどの入力部(図示せず。)により押下し、所定の回転角度又はミラー反転の有無を選択すると、画像分離部138は、画像制御情報の“回転タグ”のフィールドに設定された値を変更する。例えば、“0”(回転角度0度)から、“5”(回転角度右90度及びミラー反転)などに更新する。
さらに、図22に示すように、上記「回転」ボタンの押下の際、表示される環境情報画面に、所定事項を入力すると、結合画像の配置パターンを変更することができる。
次に、図24を参照しながら、本実施の形態に係る立体視画像の画像表示方法について説明する。図24は、本実施の形態に係る立体視画像の画像表示処理の概略を示すフローチャートである。
まず、予め撮像装置100に、各視点画像データを回転する種類を選択する。選択する場合、撮像装置100の表示部(図示せず。)に表示されるGUI画面等により設定する。
例えば、GUI画面には、例えば、視点画像ごとに“0(回転0度)”、“1(回転右90度)”、“2(回転右180度)”、“3(回転右270度)”、“4(回転0度、ミラー反転)”、“5(回転角度右90度及びミラー反転)”、“6(回転角度右180度及びミラー反転)”、“7(回転角度右270度及びミラー反転)”等と表示される。なお、予め回転角度が設定されており、選択することができない場合、選択する必要はない。
次に、図24に示すように、撮像装置100により被写体が撮像されると、撮像部101の合成部131は、撮像素子130から伝送される視点画像データを、結合画像タグで設定された平行配置又は交差配置に従い、配置する。
さらに、記録媒体135に記憶された視点画像データから立体視画像を効率よく生成するため、合成部131により、視点画像データを時計回り90度又は270度それぞれ回転する第1回転工程が行われる(S601)。
上記第1回転工程(S601)後、合成部131は、各視点画像のL画像データ(左眼用の画像)及びR画像データ(右眼用の画像)を一体化し、第1結合画像データを生成する。なお、第1結合画像データはL画像データとR画像データとが一体化され、記録媒体135に画像制御情報と共に、記録されている。
また、画像制御情報生成部133は、生成された上記結合画像データに対する画像制御情報を生成し、画像制御情報の“回転タグ”のタグのフィールドに、ミラー反転及び回転の種類を示す値を設定する。
ここで、図25を参照しながら、“回転タグ”のタグのフィールドに設定される値について説明する。図25は、本実施の形態に係る“回転タグ”のタグのフィールドに設定される値の概略を示す説明図である。
上記“回転タグ”は、各視点画像に対して設定可能であり、“回転タグ”のタグのバイト数は、5バイトである。上記5バイトのうち、最下位桁から数えて1バイト目までの1バイトには、視点位置(A1、A2、A3、…)のうち、水平方向の視点位置(水平方向座標)を表わす値が設定され、次に最下位桁から数えて、1バイト目から2バイト目までの1バイトには、視点位置(A1、A2、A3、…)のうち、垂直方向の視点位置(垂直方向座標)を表わす値が設定され、最下位桁から数えて2バイト目から3バイト目までの1バイトには、回転、回転及びミラー反転の種類を表す値が設定される。なお、上記バイトの構成に限らない。
図25に示すように、上記最下位桁から数えて2バイト目から3バイト目までの1バイトに設定される値は、7種類の値から構成されている。上記1バイトに該当するビット列は、1ビット目から、順に8ビット目まで続いている。なお、初期設定値は、“0”とする。なお、本実施の形態に係る回転又は回転及びミラー反転の種類を表す値は、7種類の値である場合を例に挙げて説明したが、1又は2以上の種類からなる値からなる場合であれば、かかる例に限定されない。
図25に示すように、1ビット目及び2ビット目に“0”又は“1”の値が設定されることにより、回転の種類の値を表わしている。例えば、1ビット目に“0”が設定され、2ビット目に“1”が設定された場合、回転の種類の値は、“2”となり、回転角度右180度の回転となる。
次に、3ビット目は、ミラー反転の有無を表わしている。3ビット目に“0”が設定された場合、ミラー反転は“無し”であり、“1”が設定された場合、ミラー反転は“有り”である。
なお、上記最下位桁から1バイト目まで(水平方向視点位置)、及び1バイト目から2バイト目まで(垂直方向視点位置)がいずれも“−1”の場合(−1,−1)、2バイト目から3バイト目に設定される回転種類の値は、全視点画像に対して有効であるとする。例えば、視点位置が“A1”、“A2”、“A3”からなる3視点の場合で、全視点画像に対して、回転角度右90度及びミラー反転の場合、“回転タグ”の最下位桁から1バイトごとに“(5,−1,−1)”を設定することにより、一回の設定で、3視点の視点画像全てに対して、回転又はミラー反転することができる。“(−1,−1)”を設定しない場合は、“(5,0,0)”、“(5,0,1)”、及び“(5,0,2)”などと、3回の設定が必要となる。
なお、図25に示すように、4ビット目から8ビット目はいずれも“0”が設定されているが、かかる例に限定されず、例えば、4ビット目に各視点画像全体を回転する“全体回転”を示す値を設定する場合などであってもよい。
従って、各視点画像全てに回転又は回転及びミラー反転する場合、画像制御情報生成部133は、効率的に画像制御情報の“回転タグ”のタグのフィールドに値を設定することができる。
なお、本実施の形態に係る画像表示処理においては、上記“回転タグ”には、回転角度右90度(回転タグの2バイト目から3バイト目に設定される値“1”)又は回転角度右270度(回転タグの2バイト目から3バイト目に設定される値“3”)の値が設定される。
次に、結合画像データ及び画像制御情報は、データ多重化部134により多重化され、記録媒体135に記録される。
次に、コンピュータ装置150は、記録媒体135から上記結合画像データ及び画像制御情報を読み込む。
コンピュータ装置150のデータ分離部136は、結合画像データと、画像制御情報とに分離する。
画像分離部138は、デコードされた結合画像データをL画像データとR画像データとに分離する。なお、上記分離処理は、後述の切出処理などが例示される。なお、画像分離部138は、画像制御情報に設定された結合画像タグの値に基づき、結合画像のどちら側が右視点画像であるのかを認識する。
次に、図24に示すように、立体視表示部140に表示させるため、画像分離部138は、画像制御情報の“回転タグ”のフィールドの最下位桁から数えて、2バイト目から3バイト目に設定された値(“1”又は“3”)から、各視点画像データ(L画像データ、R画像データ)全体を一体として、全体回転角度右90度又は右270度に、全体回転する第2回転工程が行われる(S603)。
全体回転は、各視点画像データ個別に回転するのではなく、各視点画像データを一組とする第2結合画像データ全体を回転することである。従って、第1回転工程(S601)前の元の状態となり、図12(b)に示すような、上下に横長のL画像データとR画像データとが重なっていることになる。
上記第2回転工程(S603)が行われると、上記L画像データとR画像データとの組からなる第2結合画像データが、画像分離部138により、画像変換部139に伝送される。
画像変換部139は、上下に並んだ上記第2結合画像データに含まれるL画像データとR画像データとを合成し(S604)、立体視画像データを生成する。
従って、立体視表示部140のアスペクトと適応するような比率の立体視画像データが、立体視表示部140に表示される。なお、画像変換部139は、画像制御情報に設定された結合画像タグの値に基づき、結合画像のどちら側が右視点画像であるのかを認識する。
なお、図16に示すように、立体視画像データを生成後であっても、コンピュータ装置150の立体視表示部140に表示されるGUI画面220からR画像データとL画像データとを回転又は回転及びミラー反転させて、再度、立体視画像データを生成することができる。
図16に示すように、GUI画面220の「回転」ボタンを、コンピュータ装置150に備わるマウスなどの入力部(図示せず。)により押下し、所定の回転角度又はミラー反転の有無を選択すると、画像分離部138は、画像制御情報の“回転タグ”のフィールドに設定された値を変更する。例えば、“0”(回転角度0度)から、“5”(回転角度右90度及びミラー反転)などに更新する。
画像分離部138は、変更後の画像制御情報の“回転タグ”のフィールドに設定された値に基づき、第2結合画像データを全体回転する(S603)。
画像変換部139は、L画像データ及びR画像データを合成し(S604)、立体視画像データを生成することにより、立体視画像データは、立体視表示部140に表示される。
従って、回転角度0度であるにもかかわらず、回転角度右270度として認識され、立体視画像データに変換された場合であっても、適当な立体視画像データを生成することが可能となる。
また、図26を参照しながら、本実施の形態に係る立体視画像の画像表示方法の変形例について説明する。図26は、本実施の形態に係る立体視画像の画像表示処理の変形例の概略を示すフローチャートである。なお、図24を参照しながら説明した本実施の形態に係る立体視画像の画像表示方法との差異点について特に詳述する。
まず、予め撮像装置100に、各視点画像データを回転する種類を選択する。選択する場合、撮像装置100の表示部(図示せず。)に表示されるGUI画面等により設定する。
次に、図26に示すように、撮像装置100により被写体が撮像されると、撮像部101の合成部131は、撮像素子130から伝送される視点画像データを、設定された平行配置又は交差配置に従い、配置する。
さらに、合成部131により、90度又は270度それぞれ同方向に回転する第1回転工程が行われる(S606)。
上記第1回転工程(S606)後、合成部131は、L画像データ及びR画像データを一体化し、第1結合画像データを得る。なお、第1結合画像データはL画像データとR画像データとが一体化されている。L画像データとR画像データとのアスペクトは縦長の画像となっている。
また、画像制御情報生成部133は、生成された上記結合画像データに対する画像制御情報を生成し、画像制御情報の“回転タグ”のタグのフィールドに、回転及びミラー反転又は回転の種類を示す値を設定する。
なお、本実施の形態に係る画像表示処理においては、上記“回転タグ”のフィールドには、各視点位置と回転角度右90度(“1”)又は回転角度右270度(“3”)の値が設定される。
次に、結合画像データ及び画像制御情報は、データ多重化部134により多重化され、記録媒体135に記録される。
また、コンピュータ装置150は、記録媒体135から上記結合画像データ及び画像制御情報を読み込む。
コンピュータ装置150のデータ分離部136は、結合画像データと、画像制御情報とに分離する。
画像分離部138は、デコードされた上記第1結合画像データをL画像データとR画像データとに分離する。なお、上記分離処理は、後述の切出処理などが例示される。
次に、図26に示すように、立体視表示部140の画面を回転角度右90度又は右270度に回転する画面回転工程が行われる(S608)。回転前の立体視表示部140には、L画像データとR画像データは左右に縦長に表示された状態であり、回転により、立体視表示部140には、縦長のL画像データとR画像データとが左右に表示された状態となる。
上記画面回転工程(S608)が行われると、上記L画像データとR画像データとが、画像分離部138により、画像変換部139に伝送される。
画像変換部139は、左右に並んだ縦長のL画像データとR画像データとを合成し(S610)、立体視画像データを生成する。
従って、立体視表示部140の縦長画面のアスペクトと適応するような比率の縦長の立体視画像データが、立体視表示部140に表示される。なお、立体視表示部140は、4枚ミラーなどのアダプタを装着したプロジェクタなどの場合でもよい。
なお、本実施の形態に係る視点画像の回転は2視点である場合を例に挙げて説明したが、かかる例に限定されず、複数の視点である場合であっても実施可能である。
従って、立体視表示部140は、立体視表示部140の画面を90度又は270度回転するだけで、R画像データとL画像データとを合成することで、横長ワイドの立体視画像を表示することができる。
(アダプタ型番情報)
次に、本実施の形態に係るアダプタ型番情報について説明する。本実施の形態に係るアダプタ型番情報は、光学アダプタ105の光学情報を識別するための情報である。なお、アダプタ型番情報は、例えば、複数存在する画像制御情報のタグのうち、“使用者データ領域タグ”等のタグのフィールドに記録される。
図2に示すように、光学アダプタ105は、例えば、ミラー121及びミラー122を備える2枚ミラーのアダプタを例示することができる。矢印“右”方向の視点から入射される光は、ミラー121及びミラー122によって反射され、R画像として視差画像が生成される。
また、図2に示す、矢印“左”方向の視点から入射される光は、ミラー121及びミラー122によって反射されず、そのままスルーし、L画像として視差画像が生成される。
ミラー121及びミラー122によって反射されて生成されるR画像は、L画像と比較して、例えば、画質(輝度、彩度、解像度等)が劣化している。また、R画像の周辺部(上辺部、下辺部、及び左辺部)は、中心部に比較して輝度が低下している。また、R画像は、本来、矩形である画像が台形に歪んだものとなる。
上記輝度、彩度、解像度、又は台形の歪みは、光学アダプタ105固有であるため、立体視画像に変換する際に、R画像を補正するための補正量は予め決まっている。
従って、コンピュータ装置150は、光学情報として輝度、彩度、解像度、又は台形の歪みなどの補正情報を、各光学アダプタ105のアダプタ型番情報と一対一対応するように、記憶部(図示せず)記憶することで、適正な立体視画像に変換することができる。なお、上記補正情報は、光学アダプタ105ごとに補正内容を示す補正内容情報として記憶される。補正内容情報については、後述する。
また、本実施の形態に係る光学アダプタ105は、ミラー121及びミラー122を備えた2枚ミラーアダプタであるが、かかる例に限定されず、図28に示すように、4枚ミラーアダプタ、山形プリズムアダプタ、アナモルフィックレンズアダプタ、バリアングルプリズムアダプタ(VAPアダプタ)などを例示することができる。
本実施の形態に係るアダプタ型番情報は、光学アダプタ105の種類等に応じて異なる。以下、図28を参照しながら、2枚ミラーアダプタ以外の光学アダプタ105について説明する。
図28(a)に示す光学アダプタ105−1は、ミラー551−1、ミラー551−2、ミラー551−3、及びミラー551−4を備える4枚ミラーアダプタである。
上記光学アダプタ105−1を撮像装置100に備えることで、1回の撮影(シャッター)で2視点からなる視点画像を撮ることができる。例えば、左眼用のL画像と、右眼用のR画像などのように、一度に2視点画像を撮ることができる。
なお、本実施の形態に係る光学アダプタ105−1は、上記説明したミラー121及びミラー122を備えた2枚ミラーアダプタの場合と同様に、台形歪み等が発生する。
従って、例えば、左眼用及び右眼用の視点画像から立体視画像に変換する際には、予め視点画像の台形歪みを無くす等の補正を行ってから立体視画像に変換する必要がある。なお、上記台形歪み等の補正量は光学アダプタ105−1固有である。
なお、上記光学アダプタ105−1に関する補正は、光学アダプタ105ごとに補正の内容を示す補正内容情報として記憶される。補正内容情報については、後述する。
次に、図28(b)に示す光学アダプタ105−2は、山形プリズムアダプタである。上記山形プリズムアダプタからなる光学アダプタ105−2を撮像装置100に備えることで、4枚ミラーアダプタ等と同様に、1回の撮影(シャッター)で、例えば2視点画像等を撮ることができる。
なお、本実施の形態に係る光学アダプタ105−2は、1つの山形プリズムアダプタから構成される場合を例に挙げて説明するが、かかる例に限定されず、例えば、光学アダプタ105−2は、複数の山形プリズムアダプタから構成される場合であっても実施可能である。
なお、本実施の形態に係る光学アダプタ105−2は、上記説明した2枚ミラーアダプタ、4枚ミラーアダプタの場合と同様に、台形歪み、色収差等が発生する。
従って、例えば、左眼用及び右眼用の視点画像から立体視画像に変換する際には、予め視点画像の台形歪みを除く補正、及び色収差等の補正を行ってから立体視画像に変換する必要がある。なお、上記台形歪み及び色収差等の補正量は光学アダプタ105−2固有である。また、本実施の形態に係る色収差の補正については、例えば、色が滲んでいる個所については黒く塗りつぶすなどの補正を例示することができる。
上記光学アダプタ105−2に関する補正は、光学アダプタ105ごとに補正の内容を示す補正内容情報として記憶される。補正内容情報については、後述する。
図28(c)に示す光学アダプタ105−3は、ミラー(図示せず。)及びアナモルフィックレンズを備えるアナモルフィックレンズアダプタである。なお、上記アナモルフィックレンズは、縦横の2方向にそれぞれ焦点距離の異なる光軸を持つレンズであり、光学的に画像の縦横比率(アスペクト比)を変倍することができる。
従って、上記光学アダプタ105−3には、上記アナモルフィックレンズと、ミラー(図示せず。)から構成されているため、光学アダプタ105−3を撮像装置100に備えることで、1回の撮影(シャッター)で、例えば2視点からなるアスペクト比が変倍された視点画像を撮ることができる。
なお、本実施の形態に係るアスペクト比の変倍は、例えば、3:4を9対16に変倍するが、かかる例に限定されず、倍率が2倍程度弱であれば、その他いかなる倍率であってもアスペクト比を変倍することは実施可能である。
なお、本実施の形態に係る光学アダプタ105−3は、上記説明したミラー2枚ミラーアダプタ、4枚ミラーアダプタ等の場合と同様に、台形歪み等が発生する。
従って、例えば、左眼用及び右眼用の視点画像から立体視画像に変換する際には、予め視点画像の台形歪み等の補正を行ってから立体視画像に変換する必要がある。なお、上記台形歪み等の補正量は光学アダプタ105−3固有である。
また、左眼用及び右眼用の視点画像のアスペクト比が変倍されているため、必要に応じて、上記2視点画像から立体視画像に変換する際に、上記アスペクト比を補正する必要がある。なお、上記アスペクト比の変倍は、アナモルフィックレンズごとに予め固有のものである。
なお、上記光学アダプタ105−3に関する補正は、光学アダプタ105のアダプタ型番ごとに補正の内容を示す補正内容情報として記憶される。補正内容情報については、後述する。
次に、本実施の形態に係るアダプタ型番情報の設定方法について説明する。
まず、予め装置撮像装置100に装着するアダプタ型番の種類を選択する。アダプタ型番を選択する場合、撮像装置100の表示部(図示せず。)に表示されるGUI画面221により設定する。
図27に示すように、GUI画面221には、“1番”〜“6番”からなる各アダプタ型番名と、アダプタ型番を選択するためのアダプタ選択部223と、「選択」ボタンとが表示される。
なお、図27に示す“1番”のアダプタ型番は、“MONY FS_Adaptor 1.0”であり、上記“1番”のアダプタは、4枚ミラーアダプタである。また、“2番”のアダプタ型番は、“MONY FS_Adaptor 2.0”であり、上記“1番”のアダプタは、山形プリズムアダプタである。
さらに、図27に示す“3番”のアダプタ型番は、“MONY FS_Adaptor 3.0”であり、上記“3番”のアダプタは、2枚ミラーアダプタである。“4番”のアダプタ型番は、“MONY FS_Adaptor 4.0”であり、上記“4番”のアダプタは、4枚ミラーとアナモルフィックレンズとが備わるアダプタである。
“5番”のアダプタ型番は、“MONY FS_Adaptor 5.0”であり、上記“5番”のアダプタは、山形プリズムとアナモルフィックレンズとが備わるアダプタである。
“6番”のアダプタ型番は、“MONY FS_Adaptor 6.0”であり、上記“6番”のアダプタは、2枚ミラーとアナモルフィックレンズとが備わるアダプタである。
次に、表示されたアダプタ型番名の中から、ジョグダイヤルなどの入力部により、撮像装置100に装着された光学アダプタ105のアダプタ型番が選択されると、アダプタ選択部223は、上記選択されたアダプタ型番が設定されたアダプタ型番情報を生成する。なお、上記アダプタ型番情報は、撮像装置100の記憶部(図示せず。)等に一時的に記憶される。
次に、撮像装置100により被写体が撮像されると、撮像部101の合成部131は、撮像素子130から伝送される視点画像データ(L画像データ、R画像データ)を合成し、結合画像データを生成する。
また、画像制御情報生成部133は、生成された上記結合画像データに対する画像制御情報を生成し、一時記憶された上記アダプタ型番情報を、画像制御情報の“使用者データ領域タグ”のタグのフィールドに設定する。
なお、画像制御情報生成部133は、上記“使用者データ領域タグ”のタグのフィールドに、上記アダプタ型番情報を設定する前に、“使用者データ領域サイズタグ”のタグのフィールドに、上記アダプタ型番情報のデータサイズ(バイト長)等を設定する。
図27に示す“2番”のアダプタ型番名が選択された場合、アダプタ型番情報には、“MONY FS_Adaptor 1.0”が設定されている。上記アダプタ型番情報が、“使用者データ領域タグ”のタグのフィールドに設定される。
なお、上記“使用者データ領域タグ”のタグのフィールドにアダプタ型番情報を設定する場合、予めアダプタ型番情報の設定の有無を示す“使用者データ領域サイズタグ”等のタグのフィールドに、例えば、設定する旨を示す“1”が格納される。設定しない場合、“0”が格納される。
次に、結合画像データ及び画像制御情報は、データ多重化部134により多重化され、記録媒体135に記録される。
コンピュータ装置150は、記録媒体135から上記結合画像データ及び画像制御情報を読み込む。次に、コンピュータ装置150のデータ分離部136は、結合画像データと、画像制御情報とに分離する。
画像分離部138は、画像制御情報の“使用者データ領域タグ”のフィールドに設定されたアダプタ型番情報を取得し、上記アダプタ型番情報に基づき、記憶部(図示せず。)から上記アダプタ型番情報と一意的に定まる補正内容情報(図示せず。)を取得する。
上記補正内容情報は、アダプタ型番ごとに行われる補正内容が指示されている情報である。例えば、アダプタ型番が“MONY FS_Adaptor 1.0”である場合の補正内容情報は、台形歪みを除去する補正、R画像データの輝度のレベルを所定レベル下げる補正、及びR画像データの彩度のレベルを所定レベル上げる補正等である。上記補正内容情報は、アダプタ型番ごとに固有の情報である。
画像分離部138は、補正内容情報に基づき、デコードされた結合画像データの各視点画像データ(L画像データ又はR画像データ)を補正する。なお、アダプタ型番に係る補正内容情報が存在しない場合、何も補正せずに、画像変換部139に伝送する。なお、画像分離部138、画像変換部139は、画像制御情報のうち結合画像タグに設定された値に基づき、結合画像の右視点画像がどちらであるかを認識している。
画像分離部138から伝送されたR画像データ及びL画像データは、画像変換部139により、立体視画像データに変換される。
なお、補正内容情報に基づき補正された立体視画像データが生成された後であっても、コンピュータ装置150の立体視表示部140に表示されるGUI画面(図示せず。)を介して、R画像データ又はL画像データを補正し、再度、立体視画像データを生成することも実施可能である。
(ペイント画像データ、階層情報)
次に、本実施の形態に係るペイント画像データ及び階層情報について説明する。本実施の形態に係るペイント画像データは、例えば、文字、図形、記号、又はフレームなどから構成される静止画像データである。
上記ペイント画像データがフレーム画像である場合、当該フレーム画像データは、例えば、視点画像の縁部、又は視点画像の枠(フレーム)周辺の画像などを示す。
なお、本実施の形態に係るペイント画像データのうち、文字、図形、記号、又はフレームなどから構成される静止画像データは、平面表示である2D画像又は立体表示である3D画像のどちらの場合でもよい。
また、本実施の形態に係るペイント画像データは、静止画像データである場合を例に挙げて説明したが、かかる例に限定されず、例えば、ペイント画像データは、アニメーション等の動画像データである場合でも実施可能である。
本実施の形態に係る階層情報は、文字、図形、記号、又はフレームなどの上記ペイント画像ごとに設定することが可能である。また、視点画像全体に対して階層情報を設定することも可能である。
ペイント画像データを立体視画像データに重畳させる場合、まず、画像制御情報の“データ構成種別タグ”のタグのフィールドに、ペイント画像データが存在する旨の値を設定する必要がある。
“データ構成種別タグ”は、撮像装置100の合成部131が生成するデータ種別を示す。データの種別毎に、立体視画像ファイル内部にデータが存在するか否かを示す。データ種別は、例えば、視差画像データ(結合画像データ)、又はペイント画像データ等が存在する。なお、立体視画像ファイル外部にリンクするようにしてペイント画像データが存在する場合であってもよい。
“データ構成種別タグ”のタグのフィールドは、1バイトであり、上記1バイト(8ビット)のうち、最下位ビット(bit0)は、視差画像データ又は結合画像データの存在の有無を示す。
上記最下位ビットに、“0”が設定された場合、視差画像データ又は結合画像データは存在しない。“1”が設定された場合、視差画像データ又は結合画像データは存在する。
次に、上記最下位ビットの次桁のビット(bit1)は、ペイント画像データの存在の有無を示す。上記bit1に、“0”が設定された場合、ペイント画像データは存在しない。“1”が設定された場合、ペイント画像データは存在する。
なお、上記1バイトのうち残りの6ビットは、予約ビットであり、データ種別が追加された場合、必要に応じて、値が設定される。追加されない場合、初期値の“0”が各ビット(bit2〜bit7)に設定されている。
また、本実施の形態に係るbit2〜bit7は、予約ビットである場合を例に挙げて説明したが、かかる例に限定されず、例えば、bit2にはペイント画像データのうち2Dの文字の有無を示す値が設定され、bit3には3Dの文字の有無を示す値が設定され、bit4には2Dの図形の有無を示す値が設定され、bit5には3Dの図形の有無を示す値が設定され、bit6には2Dの枠の有無を示す値が設定され、bit7には3Dの枠の有無を示す値が設定される等の場合であってもよい。
また、ペイント画像データは、画像の奥行きを示す階層情報を付属している。なお、ペイントデータの階層情報を、ペイントデータの左右方向オフセット値として管理することも可能である。上記階層情報は、複数のペイント画像データが存在する場合、例えば、ペイント画像データの重なり具合を相対的に管理する等の情報である。
階層情報は、レベル1、レベル2、レベル3、…とレベルが増加するにつれて階層が下になる。レベル1の階層が一番上の階層となる。従って、レベル1の階層情報は、レベル2の階層情報よりも階層が上となる。
例えば、階層情報がレベル1の“A”の文字からなるペイント画像データと、階層情報がレベル2の“B”の文字からなるペイント画像データが重なり合う場合、“A”のペイント画像データの階層情報の方が、階層が上のため、“A”及び“B”の重なり合う部分は、“A”のペイント画像データが表示される。
また、図16に示すように、GUI画面220に表示される「ペイント入力」ボタンが押下されると、上記ペイント画像データを生成し、ペイント画像224、ペイント画像225、又はメインエリア222に表示される立体視画像のフレームのペイント画像(“☆”等のような星印でハッチングされたフレーム。)等を表示することができる。
メインエリア222には、メインエリア222に表示されている立体視画像に重畳して、任意の文字又は記号等からなるペイント画像が表示される。「ペイント入力」ボタンが押下され、適当な文字又は記号等が指定されると、指定された文字等のペイント画像が、立体的に視認されるように立体視画像に重畳される。
従って、図29に示すように、「ペイント入力」ボタンが押下されると、画像変換部139は、ペイント画像データを生成し、立体視画像データにペイント画像データを嵌め込む嵌込工程が行われる(S612)。なお、メインエリア222に表示されるペイント画像は、マウスのドラッグ・アンド・ドロップ等により、任意の位置に移動することができる。図29は、本実施の形態に係る画像処理方法の概略を示すフローチャートである。
また、ペイント画像224−1の階層は、ペイント画像224−2の階層よりも下であるため、重なり合う部分は、ペイント画像224−2が表示されている。上記ペイント画像224−1をマウスのクリック等で選択し、GUI画面220に表示された「近く」ボタンを押下することにより、ペイント画像224−1の階層情報に設定されたレベルが上がる。
ペイント画像224−1の階層のレベルが上がると、ペイント画像224−2との重なり部分は、ペイント画像224−1が表示される。また、ペイント画像224−1が選択された状態で、「近く」ボタンが押下されると、ペイント画像224−1が、遠近感が近づく画像になる。なお、階層情報の階層のレベルを下げ、ペイント画像224を立体視したときの遠近感を遠ざける場合には、「遠く」ボタンが、押下される。
さらに、右眼用の視点画像及び左眼用の視点画像におけるオブジェクトの配置と、上記階層情報とを関連付けることで、図16に示すように、立体視画像のオブジェクトの配置に関連付けられた階層情報に応じて、吹き出しのようにペイント画像225を、インデックスとして表示することもできる。
上記ペイント画像225は、ポップアップ形式に立体視画像におけるオブジェクトを指し示すペイント画像データである。例えば、図16に示すペイント画像225−1には、オブジェクト“やしの木”の文字等のインデックスが表示され、ペイントインデックス画像225−2には、オブジェクト“ヨット”の文字等のインデックスが立体的に飛び出すように表示される。
上記ペイント画像225は、立体視画像における適当なオブジェクトを、入力部によりクリックすることで、オブジェクトを選択すると、ペイント画像225が、表示される。なお、ペイント画像225の立体的に飛び出す具合は、表示されるペイント画像225に付属する階層情報に基づいて、表示される。
ここで、上記ペイント画像225に付属する階層情報に階層のレベルが設定されていない場合、上記説明のように、“近く”ボタン又は“遠く”ボタンをクリックなどにより選択することで、適当な階層のレベルが階層情報に設定される。
なお、本実施の形態に係る階層情報の設定は、L画像とR画像の視点画像における対応点での色差等に基づき算出される値から、階層のレベルを設定してもよい。
また、ペイント画像225の枠内には“やしの木”などの文字が入力、又は“やしの木”の図形などが貼り付けられる。なお、予めオブジェクトに対応する文字又は図形などがオブジェクトテーブル(図示せず。)等に定義することで、オブジェクトをクリックするだけで、自動的にペイント画像225の枠内にオブジェクトテーブルで対応付けられた文字又は図形などが設定される場合でもよい。なお、オブジェクトテーブルは、撮像装置100又はコンピュータ装置150に備わる記憶部(図示せず。)等に記憶される。
なお、本実施の形態に係るペイント画像225には、“ヨット”又は“やしの木”などの文字が表示される場合を、例に挙げて説明したが、かかる例に限定されず、例えば、ペイント画像225には、“ヨット”又は“やしの木”などの図形が表示される場合であっても実施可能である。
また、上記ペイント画像225−1とペイント画像225−2は、オブジェクトの配置に関連付けられた階層情報に応じて、ペイント画像225が立体的に飛び出す度合いが異なる。
ペイント画像225−1のオブジェクトは、“やしの木”で、ペイントインデックス画像225−2のオブジェクトは、“ヨット”のため、立体視画像における双方のオブジェクトの配置関係では、上記“やしの木”のオブジェクトの方が手前に位置している。
つまり、上記“やしの木”のオブジェクトに対応するペイント画像225−1の階層情報の方が、“ヨット”のオブジェクトに対応するペイント画像225−2の階層情報ようりも、レベルが低く、階層は上である。
従って、上記“やしの木”に係るペイント画像225−1の方が、上記“ヨット”に係るペイント画像225−2よりも手前に立体的に飛び出すように(飛び出す度合いが高い。)、表示される。なお、かかる例に限定されず、ペイント画像225は、平面的に表示される場合であってもよい。平面的に表示する際、階層情報における階層が上である程ペイント画像225の表示を大きくする場合等でもよい。
遠くに配置されたオブジェクトについては遠くに、近くに配置されたオブジェクトについては近くに、階層情報に応じてペイント画像225が表示されることで、オブジェクトとペイント画像225の対応関係の認識を一層深め、立体視画像に構成されるオブジェクトの視認性が高まる。
また、ペイント画像225が平面的な2D画像の場合よりも、3D画像の方が、表示可能な領域が3次元と広く、画像が立体的に表示されるため、視認性が高まる。
また、本実施の形態に係る立体視画像内のオブジェクトに対応付けられた階層情報に基づき、ペイント画像225の立体的な飛び出し度合いが定まる場合を例に挙げて説明したが、かかる例に限定されず、上記階層情報に基づき、3D音声などのように、音源の3次元の奥行きが定まる場合であっても実施可能である。
従って、オブジェクトを入力部によるクリック等で選択すると、上記オブジェクトと対応するペイント画像225に付属する階層情報に基づき、オブジェクトの3次元における位置が定まり、オブジェクトの位置する方向から臨場感のある音声が発生する。なお、音声は立体視表示部140に備わるスピーカーを介して出力される。
(視点画像データの切出し)
次に、本実施の形態に係る視点画像データの切出について説明する。本実施の形態に係る視点画像データの切出には、(1)切出画像領域の設定による切出と、(2)有効領域の設定による切出とが存在する。
(切出画像領域)
上記(1)切出画像領域の大きさ、位置、オフセット値などは、上記説明の画像制御情報の“CropSizeX”、“CropSizeY”、“CropOffsetX”、及び“CropOffsetY”のタグのフィールドに格納される。
“CropSizeX”及び“CropSizeY”のタグは、切出画像領域のサイズ(水平方向(X)、垂直方向(Y))を示す。“CropOffsetX”及び“CropOffsetY”のタグは、各切出画像領域のオフセット(水平方向(X)、垂直方向(Y))を示す。
図30に示すように、“CropSizeX”及び“CropSizeY”のタグのバイト長は、それぞれ4バイトであり、CropOffsetX”及び“CropOffsetY”のタグのバイト長は、それぞれ6バイトである。
また、“CropSizeX”、“CropSizeY”のフィールドに設定可能な領域サイズは、1〜4294967295(dot)である。また、“CropOffsetX”、“CropOffsetY”のタグのフィールドに設定される値は、上記フィールドのうち最下位桁の1バイト目には、水平方向の視点位置のX座標が設定され、2バイト目には、垂直方向の視点位置のY座標が設定され、3バイト目〜6バイト目には、オフセットの値が設定される。なお、“CropOffsetY”には各視点画像の垂直方向のずれの補正量を含めるが、ずれの補正量が不明の場合には、上記オフセットの値は“0”となる。
上記切出画像領域の設定により、撮像装置100の撮像により生成される各視点の視点画像データのうち、立体視画像として表示する個所を指定することを可能とする。視点画像から立体視画像として表示する個所を指定することを、画像の切出し、とする。指定された切出の領域を切出画像領域とする。
なお、本実施の形態に係る切出画像領域を除く、それ以外の結合画像領域については、例えば、そのまま記憶される場合、又は切出画像領域を指定後、切出画像領域以外の結合画像領域については、記憶せず、削除してしまう場合等でもよい。
ここで、図31を参照しながら、本実施の形態に係る切出画像領域について説明する。図31は、本実施の形態に係る切出画像領域の概略的な構成を示す説明図である。なお、図31に示す視差画像は、2視点画像(L画像、R画像)からなる平行配置の結合画像である場合を例に挙げて説明するが、かかる例に限定されない。
図31に示すように、グレー色でハッチングされた領域で表される切出画像領域は、左上の位置の座標及び画像サイズで指定される。左上の位置の座標は、図31に示す“×”のマークに該当する。
なお、図31に示す右側の切出画像領域(R画像)の左右両サイドには、破線部で表された領域(マージン領域)が存在する。L画像及びR画像の切出画像領域から立体視画像を生成する際、水平方向の視差が必要なため、切出画像領域を水平方向にずらす。
上記の場合、切出後の切出画像領域以外の領域には画像が存在しないため、マージン領域を用いることで、立体視画像の両サイドも適切な立体視画像を生成することができる。通常、マージン領域が無い場合、両サイドの画像が存在しないため、その周辺は黒色等になってしまう
切出画像領域は、各視点の視点画像データごとに指定するため、各オフセット(“CropOffset”)の値を設定するフィールドは、視点の数だけ存在するが、各切出画像領域のサイズは同じであるため、サイズ(“CropSize”)を設定するためのフィールドは、共通して1つずつ存在する。
なお、オフセット値の設定をする際、“CropOffsetX”、“CropOffsetY”のフィールドのうち上記1バイト目の水平方向の視点位置のX座標、2バイト目の垂直方向の視点位置のY座標に、“(−1,−1)”と指定することにより、複数の視点画像が存在する場合、3バイト目に設定される値は、全視点画像に対するオフセット値となる。上記一括指定により、視点位置の設定処理の効率化を図れる。例えば、最初の“CropOffsetX”、“CropOffsetY”の視点位置を“(−1,−1)”とすれば一括指定となる場合等を例示することができる。
従って、上記水平方向視点位置及び垂直方向視点位置“(X,Y)”に、“(−1,−1)”と指定することにより、オフセットの一括指定が可能になる。
ここで、例えば複数視点(4×4視点)の16視点画像のうち、視点位置が“(2,3)”の水平方向のオフセット値だけを、“8”で、残りの15視点からの視点画像の水平方向のオフセット値は、“10”に設定する場合について説明する。
上記の場合、“CropOffsetX”のフィールドには、(1バイト目,2バイト目,3バイト目)のように設定されるとすると、まず15視点の視点画像のオフセットとして、水平方向のオフセットは、(−1,−1,10)と一度にセットでき、残りの視点位置“(2,3)”の水平方向のオフセットは、“(2,3,8)”とすれば済む。
また、切出画像領域が指定されることにより、切出された各視点画像データによる視差画像データ(結合画像データ)から立体視画像データが生成されると、例えば、テレ撮影された被写体(オブジェクト)など、切り出される位置により、立体感の強い(飛び出し度合いの大きい)立体視画像が立体視表示部140に表示される場合があるが、例えば、警告画面(図示せず。)を表示することで、オフセットを調整させることで、視差の平均化を行い、立体感のバランスをとる、又は立体感を弱めることにより、眼精疲労を抑えることができる。
なお、図31に示す“CropOffsetX”(x1,x2)は、切出領域の水平方向のオフセットを示し、“CropOffsetY”(y1,y2)は、切出領域の垂直方向のオフセットを示し、“CropSizeX”(L)は、結合画像のうち切出領域として所定領域を切り出すための水平方向の長さ(サイズ)を示し、“CropSizeY”(H)は、結合画像のうち切出領域として所定領域を切り出すための垂直方向の長さ(サイズ)を示す。
次に、本実施の形態に係る切出画像領域の切出処理について説明する。
まず、撮像装置100により被写体が撮像されると、撮像部101の合成部131は、撮像素子130から伝送される視点画像データ(L画像データ、R画像データ)を合成し、結合画像データを生成する。
次に、画像エンコード部132は、合成部131から伝送された結合画像データをエンコードし、上記エンコード処理とともに画像制御情報生成部133は、画像制御情報を生成する。エンコード及び生成処理終了後、結合画像データ及び画像制御情報は、データ多重化部134により多重化され、記録媒体135に記録される。
コンピュータ装置150は、記録媒体135から、指定された結合画像データ及び画像制御情報を読み込むと、データ分離部136は、結合画像データと、画像制御情報とに分離し、画像デコード部137及び画像分離部138それぞれに伝送する。
デコードされた結合画像データと、画像制御情報とが、画像分離部138に伝送されると、図32に示すように、コンピュータ装置150の立体視表示部140に、切出画像領域を設定するための編集画面300が表示される。
編集画面300のメインエリア222内に、視点画像とともに切出画像領域を示す矩形302−1が表示される。上記矩形302−1の大きさは、マウスのドラッグなどにより変更することが可能である。なお、矩形302−1の大きさ及び位置が上記切出画像領域となる。
また、上記矩形302−1は、マウスのドラッグ・アンド・ドロップなどにより、移動することが可能である。なお、本実施の形態に係る編集画面300は、視点画像の表示が1視点ずつ画像表示される場合を例に挙げて説明するが、かかる例に限定されず、複数視点の視点画像を同時に表示する場合であっても実施可能である。
さらに、矩形302−1、又は矩形302−2を切り出すとき、その矩形の範囲内で奥行きオフセット量を自動的に調整し、オフセット量を最適化して画像制御情報に保存することができ、保存後、上記視点画像を読み出して表示する際に画像制御情報からオフセット量を参照することができる。
また、例えば、上記画像制御情報に保存されるオフセット量に応じて、画像を切出したり、リマークポイントが設定された領域の立体視画像を保存されたオフセット量に応じて、拡大/縮小表示したり、上記オフセット、切出し、リマークポイントを連携して使用したりすることもできる。
図32に示す「クロップ決定」ボタンがマウスなどのクリックにより押下されると、画像分離部138は、矩形302−1の大きさ及び位置に基づき、“CropSizeX”、“CropSizeY”、“CropOffsetX”、及び“CropOffsetY”のタグのフィールドに設定する値を求め、上記各タグに値を設定する。
設定後、さらに画像分離部138は、結合画像データにおける各視点画像データ(L画像、R画像)を、上記求められた値(切出画像領域)に従って、切り出す。切り出されたL画像データ、R画像データは、画像変換部139に伝送されて、立体視画像データに変換される。
上記各タグのフィールドに切出画像領域の値をそれぞれ設定することで、再度L画像データ及びR画像データから切出画像領域を決定後、立体視画像データに変換する際に、上記各タグに設定された値を読み取ることで、迅速的、効率的に切出画像領域の決定をすることができる。
なお、画像変換部139により、L画像データ及びR画像データから立体視画像データに変換される際、上記切り出されたL画像データ及びR画像データを、立体視表示部140の画面寸法(サイズ)に適合するよう、それぞれ拡大(リサイズ)し、立体視画像データに変換する。
また、L画像データ、R画像データが、画像変換部139により拡大された際に、L画像データと、R画像データとの視差が、例えば、所定の閾値を超えた場合、又は視差の平均値等を超えた場合、上記説明の警告画面(図示せず。)が表示される。
さらに、画像変換部139は、閾値の範囲内に視差が小さくなるよう、オフセット調整を行う。例えば、なお、本実施の形態に係るL画像データと、R画像データとの視差は、上下方向の視差、又は左右方向の視差などが例示される。
さらに、本実施の形態に係る切出画像領域の切出処理の変形例について説明する。
立体視画像のうち、特に遠方にある、奥行きのある被写体等を切り出して、立体視表示部140に表示する場合、表示される立体視画像は立体感のある被写体が多く表示されるため、ユーザには非常に見づらく、眼精疲労を及ぼしやすい。
図32に示すように、編集画面300に表示された立体視画像に矩形302−2が、マウス等の入力部により設定されている。矩形302−2は、奥行きのあるヨット及び背景の空を切出画像領域としている。
次に、図32に示す「クロップ決定」ボタンがマウス等のクリックにより押下されると、矩形302−2の大きさ及び位置に基づき、“CropSizeX”、“CropSizeY”、“CropOffsetX”、及び“CropOffsetY”のタグのフィールドに設定する値を求め、上記各タグに値を設定する。
設定後、さらに画像分離部138は、結合画像データにおける各視点画像データ(L画像、R画像)を、上記求められた値(切出画像領域)に従って、切り出す。切り出されたL画像データ、R画像データは、画像変換部139に伝送される。
画像変換部139では、伝送されたL画像データ、R画像データを対応点マッチングすることで、最小の視差量を例えば“0”などに変換し、最大の視差量が眼間距離である65mmを超えないように、視差を調整する。なお、視差が眼間距離の65mmを超えると、3D表示が破綻し、立体感のある画像を表示することができない。なお、対応点マッチングする場合には、予め対応点マッチングする旨の確認画面が立体視表示部140に表示される。
調整後、画像変換部139は、L画像データ、R画像データを立体視画像データに合成し、立体視表示部140に表示する。表示される立体視画像には、少なくとも最小の視差が“0”であるので、立体感のある画像領域と、立体感が抑えられた画像領域とが含まれているため、メリハリのある視認性の高い立体視画像となる。従って、上記立体視画像の回転による微調整等の編集処理が迅速に行われる。従来ではユーザは、切出後の立体視画像を視認することが容易でない場合が多く、編集処理等に支障をきたしていた。
上記対応点マッチングでは、まず上記R画像データ及びL画像データに含まれる対応点の抽出が行われる。上記対応点の抽出は、ユーザが抽出又は自動的に抽出される場合のどちらの場合でもよい。なお、抽出される対応点は、例えば3個所であるが、かかる例に限定されない。
また、対応点は、同一被写体としてL画像とR画像とで対応する一致点である。つまり、対応点はL画像とR画像の全てに存在する必要がある。なお、上記対応点は、2視点の場合に限定されず、複数の視点画像の場合でもよい。
対応点の具体例として、例えば、2視点の場合、被写体がコップである場合、L画像に撮影されたコップとR画像に撮影されたコップとが、撮影位置、角度、大きさ、各画像全体のうちコップの占める範囲などがほぼ同程度に一致する点を対応点とする。
なお、対応点を抽出する際には、各視点画像のコントラストを上げる、又は各視点画像を二値化することで、適当な対応点を効率的に抽出することができる。なお、画像の二値化は、例えば視点画像の各画素の輝度(明るさ)に対して1又は2以上の閾値を設け、閾値以下ならば“0”(黒)、閾値より大きければ“1”(白)等とすることである。
対応点が抽出されると、視点画像ごとに該当する対応点同士を結び、対応点間の距離を求める。さらに求められた対応点間の距離それぞれの差分をとることで視差量が求められる。例えば、2視点の場合、L画像とR画像に3個所ずつ対応点が抽出され、L画像とR画像で該当する対応点同士が結ばれ、3つの対応点間の距離(A,B,C)が求められる。
次に、求められた3つの対応点間の距離に基づき、相互に差分(A−B,A−C,B−C)の絶対値をとることで、それぞれの視差量が求められる。なお、対応点の抽出は、視点画像のうち奥行のある遠方周辺部について行われるが、かかる例に限定されない。
次に、求められた視差量の中から、最小の視差量を選択し、当該最小視差量が0mmであるか否かを確認する。最小視差量が0mmでない場合、最小視差量が0mmになるように各視点画像の表示サイズ等が調整される。なお、視差量の調整前、立体感のある画像が多い旨の警告が立体視表示部140に表示される。
上記最小視差量が0mmに調整後、そのまま立体視画像を表示してもよいが、かかる例に限定されず、さらに求められた視差量の中から、最大の視差量を選択し、当該最大視差量が眼間距離の65mmを超えているか否かを確認してもよい。最大視差量が65mmを超えていない場合、切出画像領域の上記最大視差量が決定する。
また、最大視差量が65mmを超えた場合、最大視差量が65mmよりも小さくなるように各視点画像の表示サイズ、画像左右シフト量等が調整され、最大視差量が決定する。また表示サイズも決定される。なお、上記調整する前に最大視差量が65mmを超えて立体視画像を表示できない旨の警告が立体視表示部140に表示される。
上記切出画像領域の視差が調整されると、切出画像領域の立体視画像が立体視表示部140に表示される。
なお、本実施の形態に係る切出画像領域の切出処理の変形例と同様に、リマークポイント(参照注目点)を設定し、拡大表示等する場合においても、対応点マッチングや、視差の調整後、立体視画像が表示される場合であっても実施可能である。なお、警告等も画面に表示される。
(有効領域)
次に、上記(2)有効領域の大きさ、位置、及びオフセット値などは、上記説明の画像制御情報の“ValidSizeX”、“ValidSizeY”、“ValidOffsetX”、“ValidOffsetY”のタグのフィールドに、設定される。
“ValidSizeX”、“ValidSizeY”は、有効領域のサイズ(水平方向(X)、垂直方向(Y))を示す。“ValidOffsetX”、“ValidOffsetY”は、各有効領域とのオフセット(水平方向(X)、垂直方向(Y))を示す。
図33に示すように、“ValidSizeX”、“ValidSizeY”は、それぞれ6バイトであり、“ValidOffsetX”、“ValidOffsetY”は、それぞれ6バイトである。
また、“ValidSizeX”、“ValidSizeY”のタグのフィールドに設定される値は、上記フィールドのうち最下位桁の1バイト目には、水平方向視点位置のX座標が設定され、2バイト目には、垂直方向視点位置のY座標が設定され、3バイト目〜6バイト目には、オフセットの値が設定される。
また、“ValidOffsetX”、“ValidOffsetY”のタグのフィールドに設定される値は、上記フィールドのうち最下位桁の1バイト目には、水平方向視点位置のX座標が設定され、2バイト目には、垂直方向視点位置のY座標が設定され、3バイト目〜6バイト目には、上記視点位置とのオフセットの値が設定される。
例えば、光学アダプタ105を備える撮像装置100による撮像など、3D撮影した各視点画像は、光学アダプタ105等の影響により、端の部分は立体視画像として適さない場合がある。上記端の部分の領域は、光学アダプタ105の種類によって異なる。従って、上記有効領域の設定により、立体視画像として有効な領域の範囲を指定することを可能とする。
ここで、図34を参照しながら、本実施の形態に係る有効領域について説明する。図34は、本実施の形態に係る有効領域の概略的な構成を示す説明図である。なお、図34に示す結合画像は、2視点画像(L画像、R画像)からなる平行配置である場合を例に挙げて説明するが、かかる例に限定されず、結合画像が交差配置である場合でもよい。
図34に示すように、グレー色のハッチングで表される有効領域の大きさ、位置、オフセット値等は、左上の位置の座標及び画像サイズを基準として指定される。左上の位置の座標は、図34に示す“×”のマークに該当する。なお、基準とする位置は、左上の位置に限定されず、他の適当な位置であってもよい。
各オフセットの値は、視点画像ごとに指定する必要があり、有効領域のサイズの値についても、各視点画像において有効領域が異なる場合があり、視点画像ごとに設定する。なお、切出画像領域が有効領域からはみ出した場合の、はみ出し部分の処理は、コンピュータ装置150などの画像処理装置等に依存する。
なお、図34に示す“x1”はL画像の“ValidOffsetX”のタグのフィールドに設定され、“x2”はR画像の“ValidOffsetX”のタグのフィールドに設定され、“y1”はL画像の“ValidOffsetY”のタグのフィールドに設定され、“y2”はR画像の“ValidOffsetY”のタグのフィールドに設定され、“L1”はL画像の“ValidSizeX”のタグのフィールドに設定され、“L2”はR画像の“ValidSizeX”のタグのフィールドに設定され、“H1”はL画像の“ValidSizeY”のタグのフィールドに設定され、“H2”はR画像の“ValidSizeY”のタグのフィールドに設定される。
図31に示す上記“ValidOffsetX”(x1,x2)は、R画像、L画像の有効領域における左上頂点から水平方向のオフセットを示し、“ValidOffsetY”(y1,y2)は、R画像、L画像の有効領域における左上頂点から垂直方向のオフセットを示し、“ValidSizeX”(L1,L2)は、L画像又はR画像の有効領域の水平方向の長さ(サイズ)を示し、“ValidSizeY”(H1,H2)は、L画像又はR画像の有効領域の垂直方向の長さ(サイズ)を示す。
次に、本実施の形態に係る有効領域の切出処理について説明する。
まず、予め撮像装置100に装着するアダプタ型番の種類を選択する。アダプタ型番を選択する場合、撮像装置100の表示部(図示せず。)に表示されるGUI画面221から設定する。なお、アダプタ型番の種類の選択は、本実施の形態に係るアダプタ型番情報における説明と、ほぼ同様であるため詳細な説明は省略する。
図27に示すように、GUI画面221には、“1番”〜“4番”からなる各アダプタ型番名と、アダプタ型番を選択するためのアダプタ選択部223と、「選択」ボタンとが表示される。
次に、表示されたアダプタ型番名の中から、撮像装置100に装着する光学アダプタ105のアダプタ型番名を、入力部であるジョグダイヤルなどにより選択し、「選択」ボタンを押下すると、アダプタ選択部223は、アダプタ型番名が設定されたアダプタ型番情報を生成する。なお、上記アダプタ型番情報は、撮像装置100の記憶部(図示せず。)等に記憶される。
次に、撮像装置100を用いて被写体が撮像されると、撮像部101の合成部131は、撮像素子130から伝送される視点画像データ(L画像データ、R画像データ)を合成し、結合画像データを生成する。
また、画像制御情報生成部133は、生成された上記結合画像データに対する画像制御情報を生成し、撮像装置100の記憶部に記憶されたアダプタ型番情報を、画像制御情報の“使用者データ領域タグ”のタグのフィールドに設定する。
さらに、画像制御情報生成部133は、記憶部に記憶された上記光学アダプタ105のアダプタ型番情報に基づき、立体視画像として適さない端の部分が除かれた有効領域情報を生成する。
次に、画像制御情報生成部133は、有効領域情報を、上記画像制御情報の“ValidSizeX”、“ValidSizeY”、“ValidOffsetX”、“ValidOffsetY”のタグのフィールドに設定する。
なお、画像制御情報生成部133は、上記有効領域情報を、アダプタ型番情報に基づき生成したが、かかる例に限定されず、予め有効領域設定のGUI画面を介して、入力部により有効領域情報を定める場合であっても、実施可能である。
次に、画像エンコード部132は、合成部131から伝送された結合画像データをエンコードし、上記エンコード処理と共に画像制御情報生成部133は、画像制御情報を生成する。エンコード及び生成処理終了後、結合画像データ及び画像制御情報は、データ多重化部134により多重化され、記録媒体135に記録される。
コンピュータ装置150は、記録媒体135から上記結合画像データ及び画像制御情報を読み込む。
次に、コンピュータ装置150のデータ分離部136は、結合画像データと、画像制御情報とに分離する。
次に、画像分離部138は、画像デコード部137によりデコードされた結合画像データと、画像制御情報とを受信する。
画像分離部138は、画像制御情報の“ValidSizeX”、“ValidSizeY”、“ValidOffsetX”、及び“ValidOffsetY”のタグのフィールドに設定された値(有効領域情報)に基づき、図34に示すように、結合画像領域のうち有効領域に該当する領域を、切り出す。
なお、上記画像制御情報の“ValidSizeX”、“ValidSizeY”、“ValidOffsetX”、“ValidOffsetY”のフィールドに値(有効領域情報)が設定されていなかった場合、画像分離部138は、実際の画像領域である視点画像データ全体を、画像変換部139に伝送する。
画像変換部139は、画像分離部138から伝送された各視点画像データ(L画像データ、R画像データ)から、立体視画像データに変換する。従って、立体視表示部140に立体視画像が表示される。
なお、切り出された有効領域は、撮像装置100に装着した光学アダプタ105のアダプタ型番情報によって定まる。従って画像分離部138は、アダプタ型番情報に基づき決定した有効領域に応じて、適当にL画像データとR画像データとのオフセットを調整することができる。
(参照注目点)
また、切出領域又は有効領域を指定する他に、視点画像データにおいて、立体視画像を表示する際の中心となる注視点に関する注視点(参照注目点、リマークポイント)情報を、上記説明の画像制御情報に含まれる“リマークポイントタグ”のタグに設定することができる。
立体視画像の中心を、必ずしも立体視表示部140の中心に配置して表示する場合のみに限られず、予め視点画像データの“リマークポイント”のタグのフィールドに立体視表示部140の中心となる点(参照注目点)を設定することができる。特に、例えば携帯端末、PDAなど立体視表示部140のサイズが立体視画像データのサイズよりも小さい場合に、ユーザに注視させたい部分を参照注目点に設定することで、視認性の高い立体視画像を表示することができる。
参照注目点は、水平方向をx軸とし、垂直方向をy軸とする“(x,y)”で表わされ、図31、図34に示す有効領域又は切出画像領域内に設定可能である。“リマークポイントタグ”のタグのフィールドは、6バイトからなり、最下位桁の1バイト目から3バイト目は、参照注目点のx座標を示し、4バイト目から6バイト目は、参照注目点のy座標を示す。
次に、本実施の形態に係る参照注目点の設定処理について説明する。
まず、撮像装置100により被写体が撮像されると、撮像部101の合成部131は、撮像素子130から伝送される視点画像データ(L画像データ、R画像データ)を結合し、結合画像データを生成する。
次に、画像エンコード部132は上記結合画像データをエンコードし、画像制御情報生成部133が上記結合画像データに対応する画像制御情報を生成すると、結合画像データ及び画像制御情報は、データ多重化部134により多重化され、記録媒体135に記録される。
コンピュータ装置150は、記録媒体135から、指定された結合画像データ及び画像制御情報を読み込む。次に、データ分離部136は、結合画像データと、画像制御情報とに分離し、画像デコード部137及び画像分離部138それぞれに伝送する。
デコードされた結合画像データと、画像制御情報とが、画像分離部138に伝送されると、図35に示すように、コンピュータ装置150の立体視表示部140に、参照注目点を設定するための編集画面320が表示される。
編集画面320のメインエリア222内には、各視点画像から立体視画像に変換する際の参照注目点を示すマーク303が表示される。また、上記マーク303は、マウスのドラッグ・アンド・ドロップなどにより、移動することが可能である。
なお、本実施の形態に係る参照注目点は、各視点画像ともに同一である場合を例に挙げて説明するが、かかる例に限定されず、参照注目点が各視点の視点画像間で相違する場合であっても実施可能である。なお、相違する場合は、例えば、複数の注目参照点のうちいずれか一つを選択する選択処理をする必要がある。
図35(a)に示す参照注目点を設定する「リマークポイント決定」ボタンがマウスのクリックなどにより押下されると、画像分離部138は、結合画像データに対する画像制御情報の“リマークポイントタグ”のタグのフィールドに、上記マーク303の参照注目点“(x,y)”の値を設定する。
設定後、画像分離部138は、結合画像データを、L画像データと、R画像データとに分離する。分離されたL画像データ、R画像データは、画像変換部139に伝送されて、立体視画像データに変換される。なお、分離する際、例えば、切出画像領域が設定された場合、画像分離部138は、L画像データ及びR画像データの切出処理等も行う。
画像変換部139は、上記立体視画像データに変換する際に、“リマークポイントタグ”に設定された参照注目点に従い、上記参照注目点が、立体視表示部140の中央部に位置するように、L画像データ及びR画像データを移動する。
また、立体視表示部140の画面サイズに適応するよう、画像変換部139は、L画像データ及びR画像データを拡大し、立体視画像データに変換する。従って、図35(b)に示すように、参照注目点が立体視表示部140の中央に位置した、拡大された立体視画像が表示される。
さらに、画像変換部139は、上記立体視画像データを拡大表示する際に、“リマークポイントタグ”に設定された参照注目点と、参照注目点を中心とした視点画像の一部領域のオフセット位置に基づき、一部領域の立体視画像を拡大表示することもできる。
なお、オフセット位置は立体視画像の奥行きの前後関係を調整することができる。オフセット位置の調整は、例えば2視点の場合、R画像、L画像を重ね合わせて立体視表示する際に、上下位置調整、左右シフト量(飛び出し量に相当。)を調整することでもある。
例えば、図32を参照しながら説明すると、一部領域である矩形302−2は船の立体視画像であるが、上記船の画像は、矩形302−1の人物の立体視画像よりも後方に位置している。従って、船の画像の方が奥の方にあるため、上記矩形302−2に表示された“船”に参照注目点としてマーク303を設定し、拡大表示する場合、画像変換部139は、上記矩形302−2の船の画像が前の方に表示されるように、オフセット位置を調整し、当該矩形302−2の船の立体視画像を拡大表示する。
これにより、図32に示す“人物”よりも奥の方に表示された“船”の画像を拡大表示した際に、一回の拡大処理で矩形302−1に表示された人物の立体視画像と同等な程度、前方に立体的に表示されるため、視認しやすい。逆に、マーク303を矩形302−1の領域に表示された人物に設定すると、もともと前方に位置し、表示されているため、オフセット位置の調整量は、少なく拡大表示される。
上記参照注目点が“リマークポイントタグ”のタグのフィールドに設定されることで、図35(b)に示す立体視画像から、さらに参照注目点を中心として立体視画像を拡大する等の場合、改めて拡大する中心点を定義、又は参照注目点を設定しなくても、注目点を中心に立体視画像を迅速に拡大することが可能となる。
なお、上記参照注目点を中心として立体視画像を拡大する場合、編集画面320は、警告画面(図示せず。)に切替わり、“立体視が困難になる可能性があります”等の警告メッセージが表示される。
上記警告画面が表示されるのは、立体視画像の拡大により視差が大きくなるため、立体的に視認することが難しくなるためである。また、視差の拡大により眼精疲労が促進されるためである。
なお、本実施の形態に係る参照注目点は、立体視画像を拡大する際の中心点である場合を例に挙げて説明したが、かかる場合に限定されず、例えば、参照注目点は、立体視画像を縮小する際の中心点である場合等であってもよい。
また、本実施の形態に係る参照注目点は、上記説明したように、本実施の形態に係る切出画像領域の切出処理の変形例と同様に、リマークポイント(参照注目点)を設定し、拡大表示等する場合においても、対応点マッチングや、視差の調整後、立体視画像を表示する場合であっても実施可能である。なお、警告等も画面に表示する。
以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された技術的思想の範疇内において各種の変更例又は修正例を想定し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
上記実施形態においては、2視点画像から立体視画像に合成する場合を例にあげて説明したが、本発明はかかる例に限定されない。例えば、3視点以上の複数の視点画像の場合であっても実施することができる。