JP2006319469A - 立体視画像生成装置およびプログラム - Google Patents

Abstract

【課題】 立体化パラメータが対応付けられていないコンテンツを再生する場合であっても各画像に最適な立体化パラメータを適用して自然な立体視画像を再生する。
【解決手段】 取得手段１１は、時系列的に配列されてコンテンツを構成する複数の原画像Ｇａを順次に取得する。算定手段１２は、取得手段１１が取得した原画像Ｇａに含まれる複数の画素の画素値から画像特性値Ｎgを算定する。記憶装置２１は、コンテンツを構成する各原画像Ｇａの画像特性値Ｎfと当該原画像Ｇａから立体視画像Ｇｂを生成するための立体化パラメータとを対応づけるプロジェクトファイルＦpを記憶する。検索手段１３は、算定手段１２が特定の原画像Ｇａについて算定した画像特性値Ｎgと記憶装置２１に記憶された各画像特性値Ｎfとを対比し、この対比の結果に基づいて特定の原画像Ｇａの立体化パラメータをプロジェクトファイルＦpから検索する。立体化手段１４は、検索手段１３が検索した立体化パラメータに基づいて各原画像Ｇａから立体視画像Ｇｂを生成する。
【選択図】 図７

Description

本発明は、観察者に立体として知覚される画像を生成するための技術に関する。

相互に視差を有する２つの画像の一方を左目に視認させるとともに他方を右目に視認させると、観察者にその画像を立体として知覚させることができる。このような視差を有する画像（以下「立体視画像」という）を平面画像から生成するための技術が従来から提案されている（例えば特許文献１参照）。この技術においては、観察者に知覚されるべき奥行きなど種々のパラメータ（以下「立体化パラメータ」という）に基づいて平面画像に所定の処理（以下「立体化処理」という）が実施されることによって立体視画像が生成される。このような技術は複数の画像が時系列的に配列された動画像を再生する場合にも利用され得る。すなわち、動画像を構成する各画像から順次に立体視画像を生成すれば、立体感をもった動画像を再生することができる。
特開２００２−１２３８４２号公報（段落００３３および図７）

ところで、画像に含まれる被写体の配置や奥行きは画像によって様々であるから、立体視画像の生成に適用される立体化パラメータは、立体視画像の基礎となる平面画像の内容に応じて画像ごとに選定されることが望ましい。そこで、映画など各種のコンテンツが格納されたＤＶＤ（Digital Versatile Disk）などの記録媒体を制作する場合には、そのコンテンツを構成する画像ごとに予め選定された立体化パラメータを各画像と対応付けて記録媒体に格納しておくという方法が期待される。このような記録媒体を再生するときに、コンテンツを構成する各画像から当該画像に対応付けられた立体化パラメータに基づいて順次に立体視画像を生成すれば、利用者は各画像の内容に応じた自然な立体感を知覚することができる。

しかしながら、このような方法のもとでは、記録媒体の制作時（記録媒体に対するコンテンツの書き込み時）に立体化パラメータが併せて格納されたコンテンツを立体視画像として再生することができるに過ぎない。すなわち、コンテンツを平面画像として再生することのみを想定して制作された従来の記録媒体には当然のことながら立体化パラメータが格納されていないから、このコンテンツを立体視画像として再生することはできない。この問題を解消するための方策としては、コンテンツを構成する各画像について設定された立体化パラメータを記録媒体とは別個に提供し、この立体化パラメータに基づいてコンテンツを立体視画像として再生することも考えられる。しかしながら、この場合には、コンテンツを構成する各画像とその画像について設定された立体化パラメータとを必ずしも対応付けることができず、この結果として適切な立体視画像を生成することができない場合が生じ得る。すなわち、コンテンツが最初から順番に再生されることのみを想定すれば、各画像の立体化パラメータを画像の配列順に順次に選択して立体視画像の生成に適用することによって最適な立体視画像を再生することができるが、例えばコンテンツの再生が開始される地点が利用者による操作（例えば早送り操作や巻き戻し操作）に応じて変更された場合には、その変更後の画像に適用されるべき立体化パラメータを特定することができない。このため、平面画像としての再生を予定して作成された従来のコンテンツを適切な立体視画像として再生することは困難であるという問題がある。

本発明は、このような事情に鑑みてなされたものであり、その目的は、立体化パラメータが対応付けられていないコンテンツを再生する場合であっても各画像に最適な立体化パラメータを適用して自然な立体視画像を再生することにある。

この課題を解決するために、本発明に係る立体視画像生成装置は、時系列的に配列されてコンテンツを構成する複数の原画像を順次に取得する取得手段と、取得手段が取得した原画像に含まれる複数の画素の画素値から画像特性値を算定する算定手段と、コンテンツを構成する各原画像の画像特性値と当該原画像から立体視画像を生成するための立体化パラメータとを対応付けて記憶する記憶手段と、算定手段が特定の原画像について算定した画像特性値と記憶手段に記憶された各画像特性値とを対比し、この対比の結果に基づいて特定の原画像の立体化パラメータを検索する検索手段と、検索手段が検索した立体化パラメータに基づいて特定の原画像から立体視画像を生成する立体化手段とを具備する（請求項１）。

この構成によれば、コンテンツを構成する原画像の画像特性値と当該原画像から立体視画像を生成するための立体化パラメータとが対応付けられて記憶手段に記憶される一方、取得手段が取得したコンテンツのうち特定の原画像の画像特性値と記憶手段に記憶された各画像特性値との対比の結果に基づいて立体化パラメータが検索される。したがって、再生の対象とされるコンテンツの各原画像と立体化パラメータとが予め対応付けられていない場合であっても、コンテンツの各原画像に対して最適な立体化パラメータを適用して自然な立体視画像を生成することができる。

本発明における「画素値」とは、各画素による表示の内容（階調や輝度）を指定する数値である。複数色（例えば赤色、緑色および青色）からなるカラー画像においては彩度や明度といった色調を示す各種の数値が画素値として各色ごとに設定される。本発明における「画像特性値」とは、コンテンツの各原画像に含まれる複数の画素の画素値から算定される数値として定義される。この画像特性値を画素値から算定するための方法は任意である。例えば、複数の画素の画素値を合計することによって画像特性値を算定する構成としてもよいし（請求項２）、複数の画素の画素値を所定の関数に代入することによって画像特性値を算定する構成としてもよい。また、画像特性値を算定するための基礎となる複数の画素はコンテンツの各原画像から適宜に選定される。より具体的には、コンテンツの各原画像の総ての画素の画素値から画像特性値を算定する構成としてもよいし、コンテンツの各原画像のなかから適宜に選択された複数の画素の画素値から画像特性値を選定する構成としてもよい。例えば、コンテンツの各原画像のうち特定の領域に属する複数の画素（例えばマトリクス状に配列された複数の画素のうち特定の行や列に属する各画素）の画素値から画像特性値が算定されるといった具合である。また、ひとつの原画像を区分した各領域に属する画素の画素値から当該領域ごとに画像特性値が算定される構成としてもよい。この場合には、記憶手段が、コンテンツを構成する各原画像を区分した複数の領域の各々について画像特性値を当該原画像の立体化パラメータと対応付けて記憶する一方、検索手段は、算定手段が算定した各画像特性値と記憶手段に記憶された各画像特性値とを原画像の領域ごとに対比することによって特定の原画像に対応する立体化パラメータを検索する（請求項３）。この態様によれば、立体化パラメータの検索の精度を向上させることができる。さらに、この態様においては、算定手段は、ひとつの原画像を区分した複数の領域の各々について当該領域に属する画素の画素値に応じた数値を算定するとともに、これらの数値の各領域における相対値を各領域の画像特性値として算定する構成も採用される（請求項４）。

本発明の具体的な態様において、算定手段が画像特性値を算定する方法と記憶手段に記憶される画像特性値を算定する方法とは共通する。この場合には、算定手段が算定した画像特性値と一致する画像特性値を記憶手段から検索するという簡易な処理によって立体化パラメータを検索することができる。もっとも、双方の画像特性値を算定する方法が完全に一致していることは必ずしも必要ではない。これらの方法が一致していなくても、算定手段が算定した画像特性値に最も近い画像特性値に対応付けられた立体化パラメータを検索手段が検索する構成や、算定手段が算定した画像特性値に対して所定の関係を有する画像特性値に対応付けられた立体化パラメータを検索手段が検索する構成によれば、特定の原画像の立体化パラメータを検索することは可能だからである。

本発明において画像特性値が算定される「特定の原画像」は、コンテンツを構成する複数の原画像のなかから任意に選定され得る。例えば、コンテンツを構成する総ての原画像の各々を「特定の原画像」として画像特性値の算定の対象としてもよいし、コンテンツを構成する複数の原画像から所定の間隔ごとに選択された原画像の各々を「特定の原画像」として画像特性値の算定の対象としてもよい。ここで、各原画像の立体化パラメータが複数の原画像の配列に従って記憶手段に記憶されている場合（すなわち各立体化パラメータが原画像の配列順に読み出されるように記憶手段に記憶されている場合）には、何れかの原画像の画像特性値から当該原画像の立体化パラメータが特定されれば、これ以降の各原画像の立体化パラメータは先に特定した立体化パラメータに続く立体パラメータとして順次に特定されるから、総ての原画像について画像特性値を算定する必要性は低い。そこで、本発明の望ましい態様において、記憶手段は、各原画像の立体化パラメータを複数の原画像の配列に従って記憶し、検索手段は、特定の原画像の立体化パラメータを検索するとともに当該特定の原画像に続く各原画像の立体化パラメータを順次に記憶手段から検索し、立体化手段は、特定の原画像に続く各原画像から、検索手段が順次に検索した立体化パラメータに基づいて立体視画像を生成する（請求項５）。

もっとも、コンテンツが最初から所期の順序にて再生される場合には、記憶手段に記憶された立体化パラメータを各原画像の配列の順番どおりに各原画像に対応付けていけば足りるから、この場合には総ての原画像について画像特性値を算定する必要性は低いと言える。一方、利用者によって入力された指示（例えばコンテンツの再生を早送りするための指示や再生を巻き戻すための指示）に応じてコンテンツの再生ポイントが変更された場合には、その変更後の再生ポイントの原画像について何れの立体化パラメータを記憶手段から読み出すべきかを判別できなくなる可能性がある。そこで、本発明の望ましい態様において、検索手段は、コンテンツの再生ポイントが変更された場合に、その変更後の再生ポイントに対応した原画像を特定の原画像として立体化パラメータを検索する（請求項６）。この態様によれば、利用者による変更後の再生ポイントに対応した原画像（例えば早送りや巻き戻しの直後に再生される原画像）について画像特性値が算定されるから、コンテンツを構成する各原画像の立体化パラメータを利用者による操作に拘わらず特定して立体化画像の生成に適用することができる。換言すると、再生ポイントを変更する指示が利用者によって入力された場合に限って画像特性値の算定やこれに基づく立体化パラメータの検索を実行すれば足りるから、例えば総ての原画像についてこれらの処理が実行される構成と比較して、処理の負荷を軽減することができるという利点がある。

ところで、コンテンツを構成する各原画像の内容（各画素の画素値）によっては、各原画像から算定される画像特性値が複数の原画像について共通する場合がある。このため、算定手段が特定の原画像について算定した画像特性値についてそれぞれ別個の原画像に対応する複数の立体化パラメータが検索されるといった具合に、特定の原画像の画像特性値のみからでは一義的に立体化パラメータを特定できない場合も生じ得る。このような場合には、特定の原画像に続く各原画像の画像特性値も考慮することによってこれらの原画像の立体化パラメータが特定される。すなわち、本発明の好ましい態様において、検索手段は、算定手段が特定の原画像について算定した画像特性値について、それぞれ別個の原画像に対応する複数の立体化パラメータが検索される場合に、特定の原画像に続く各原画像について算定手段が算定した画像特性値と記憶手段に記憶された各画像特性値とを対比することによって特定の原画像とこれに続く各原画像とに対応する立体化パラメータを確定する（請求項７）。

また、このように複数の原画像の画像特性値から立体化パラメータが検索される場合、検索手段によって立体化パラメータが確定される以前には立体化手段が適正に立体視画像を生成することができない。立体化パラメータが確定される以前に他の原画像について既に特定されている立体化パラメータに基づいて立体化処理を実施する構成も考えられるが、この場合には特定の原画像とこれに続く各原画像とから適切な立体感を伴なう立体視画像が生成されない可能性がある。そこで、本発明の望ましい態様において、立体化手段は、算定手段が特定の原画像について算定した画像特性値について、別個の原画像に対応する複数の立体化パラメータが検索される場合に、特定の原画像とこれに続く各原画像とに対応する立体化パラメータが検索手段によって確定されるまで立体視画像の生成を停止する（請求項８）。この態様によれば、立体化パラメータが確定された段階でこれらの立体化パラメータが立体視画像の生成に利用されるから、特定の原画像とこれに続く各原画像とについて適切な立体感をもった立体視画像が生成される。

また、特定の原画像の画像特性値に加えて他の指標をも参酌して各原画像の立体化パラメータを検索する構成も採用される。例えば、本発明の望ましい態様において、取得手段が取得した複数の原画像を複数のグループに区分する区分手段が設けられる一方、記憶手段は、各原画像の画像特性値と当該原画像の立体化パラメータとを各々が含む複数のレコードをグループに区分して記憶し、検索手段は、算定手段が特定の原画像について算定した画像特性値について、別個の原画像に対応する複数の立体化パラメータが検索される場合に、取得手段が区分したグループのうち特定の原画像が属するグループの原画像の総数と記憶手段に記憶された各グループのレコードにて対象とされている原画像の総数とを対比し、この対比の結果に基づいて特定の原画像が属するグループに対応した立体化パラメータを検索する（請求項９）。この態様によれば、画像特性値に加えて各グループに属する原画像の総数をも踏まえて各原画像の立体化パラメータが検索されるから、画像特性値のみにより立体化パラメータを検索する構成と比較して、その検索の精度を向上させることができる。本態様の具体例は第３実施形態として後述される。なお、ここでは各グループに属する原画像の総数に応じて立体化パラメータを検索する態様を例示したが、本発明において立体化パラメータを検索するための画像特性値以外の指標はこれに限られない。

本発明に係る立体視画像生成装置は、画像処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェアによって実現されるほか、パーソナルコンピュータなどのコンピュータとプログラムとの協働によっても実現される。このプログラムは、コンピュータに、時系列的に配列されてコンテンツを構成する複数の原画像を順次に取得する取得処理と、取得処理にて取得した原画像に含まれる複数の画素の画素値から画像特性値を算定する算定処理と、コンテンツを構成する原画像の画像特性値と当該原画像から立体視画像を生成するための立体化パラメータとを対応付けて当該コンテンツの原画像ごとに記憶する記憶手段から、算定処理にて算定した画像特性値に対応する立体化パラメータを検索する検索処理と、検索処理にて検索した立体化パラメータに基づいて特定の原画像から立体視画像を生成する立体化処理とを実行させる（請求項１０）。このプログラムによっても、本発明の立体視画像生成装置について上述したのと同様の作用および効果が得られる。なお、本発明に係るプログラムは、ＣＤ−ＲＯＭなど可搬型の記録媒体に格納された形態にて利用者に提供されてコンピュータにインストールされるほか、ネットワークを介した配信の形態にてサーバ装置から提供されてコンピュータにインストールされる。

＜Ａ：第１実施形態＞
図１は、本発明の第１実施形態に係る立体視画像生成装置の構成を示すブロック図である。同図に示されるように、この立体視画像生成装置Ｄは、制御部１０と、この制御部１０に接続された記憶装置２１、通信部２４、Ａ／Ｄ（Analog to Digital）変換器２６およびコネクタ３８とを有する。制御部１０には、入力装置２８、再生装置３１および表示装置４１が接続されている。また、Ａ／Ｄ変換器２６の入力端には再生装置３２が接続されている。

再生装置３１は、ＤＶＤ３０１に記録された画像データを順次に読み出して制御部１０に出力する装置である。一方、再生装置３２は、ビデオテープ３０２に記録された画像データを順次に読み出して出力する装置である。この再生装置３２から出力された画像データはＡ／Ｄ変換器２６によってデジタルデータに変換されたうえで制御部１０に入力される。ＤＶＤ３０１およびビデオテープ３０２には、時系列的に配列されて映画作品などのコンテンツを構成する複数の画像（以下「原画像」という）の画像データが記憶されている。再生装置３１および再生装置３２から出力される各原画像の画像データは、その原画像を構成する複数の画素の各々について画素値を指定するデータである。本実施形態においては、赤色、緑色および青色の各画素の階調が画素値として指定される場合を想定する。

利用者は、入力装置３３を適宜に操作することによって再生装置３１または再生装置３２を操作することができる。本実施形態における再生装置３１および再生装置３２は、利用者が入力装置３３を操作することによってコンテンツの再生が指示されると、このコンテンツの最初の原画像から各々の配列順に画像データを出力する一方、その再生中に利用者が入力装置３３を操作することによってコンテンツの早送りまたは巻き戻しが指示されると、この指示による変更後の再生ポイントに対応した原画像以降の画像データをその配列順に出力する。このように再生ポイントを変更する指示が入力されると、再生装置３１または再生装置３２は、再生ポイントの変更を指示する信号（以下「再生ポイント変更信号」という）Ｓpを制御部１０に出力する。

制御部１０は、この立体視画像生成装置Ｄの各部を制御するための手段であり、プログラムを実行するＣＰＵ（Central Processing Unit）と、このＣＰＵによって実行されるプログラムを記憶するＲＯＭ（Read Only Memory）と、ＣＰＵによって作業領域として使用されるＲＡＭ（Random Access Memory）とを含んでいる。この制御部１０は、ＣＰＵがプログラムに従って各種の演算や各部の制御を行なうことによって種々の機能を実現する。入力装置２８は、文字や記号を入力するための複数の操作子を備え、利用者による操作に応じた信号を制御部１０に出力する。なお、ひとつの入力装置が再生装置３１または再生装置３２と立体視画像生成装置Ｄを操作するために兼用される構成としてもよい。

記憶装置２１は、制御部１０によって実行されるプログラムやこのプログラムの実行に際して使用される各種のデータを記憶する手段である。例えば、磁気ディスクを内蔵したハードディスク装置や、ＣＤ−ＲＯＭに代表される可搬型の記録媒体を収容するディスク装置が記憶装置２１として採用される。この記憶装置２１は、立体視画像生成装置Ｄの全体の動作を制御するためのＯＳ（Operating System）のほか、再生装置３１または再生装置３２によって立体視画像生成装置Ｄに供給された原画像の画像データから立体視画像を生成するためのアプリケーションプログラム（以下「画像処理プログラム」という）PGMを記憶している。この立体視画像は、利用者の右目によって視認されるべき画像（以下「右目用画像」という）と利用者の左目によって視認されるべき画像（以下「左目用画像」という）とを合成した画像である。左目用画像と右目用画像とは視差を有する。すなわち、これらの画像は、原画像に含まれる被写体を構成する画素を当該被写体の奥行きに応じた量（以下「画素移動量」という）だけ水平方向に移動させた画像である。

制御部１０によって生成された立体視画像は表示装置４１に表示される。この表示装置４１は、制御部１０による制御のもとに各種の画像を表示する手段であり、例えばＣＲＴ（Cathode Ray Tube）や液晶表示パネルなどを備えている。本実施形態における表示装置４１は、立体視画像のうち右目用画像を利用者の右目のみに視認させる一方、左目用画像を利用者の左目のみに視認させるように立体視画像を表示する。このような表示を実現するための方法としては、例えば観察者に余色メガネ（左右のレンズがそれぞれ異なる色彩とされたメガネ）や偏光メガネ（左右のレンズにそれぞれ偏光軸が異なる偏光板が貼付されたメガネ）を装着させる方法や、レンティキュラレンズまたはパララックスバリアなどの機構を利用して利用者の視野の一部を遮る方法など従来から提案されている各種の方法が採用される。利用者は、右目用画像を右目によって視認するとともに左目用画像を左目によって視認することにより、原画像に含まれる各被写体について画素移動量に応じた奥行きを知覚することができる。

制御部１０が原画像から生成する立体視画像の特性はその原画像について設定された各立体化パラメータに応じて決定される。ここで、立体視画像生成装置Ｄの各部の説明に先立ち、原画像から立体視画像を生成するための処理（以下「立体化処理」という）の内容について各立体化パラメータの具体的な意義に言及しながら説明する。図２は、立体化処理の具体的な内容を例示するフローチャートである。画像処理プログラムPGMの実行により立体化処理を開始すると、制御部１０は、原画像を表す画像データに基づいて画素ごとに奥行き値（Ｚ値）を算定する（ステップＳａ1）。この奥行き値は、画素移動量を決定するための基礎となる数値である。本実施形態においては、原画像のひとつの画素における赤色の階調を示す数値（画素値）と緑色の階調を示す数値と青色の階調を示す数値との各々に対して所定の係数を乗算したうえで相互に積算することによって奥行き値を算定する。以下では、奥行き値が合計８ビットにより表現されて「０」から「２５５」までの合計２５６段階の数値となり得る場合を想定する。

続いて、制御部１０は、立体視画像を自然な立体感をもった画像とするために、ステップＳａ1にて算定した奥行き値を修正するための処理を実行する（ステップＳａ2からステップＳａ5）。図３は、この修正のための処理に伴なう奥行き値の変化の様子を段階的に示す図である。同図においては、ひとつの行に属する画素（表示装置４１の表示面における横方向に配列された画素）の位置が横軸に示され、各画素の奥行き値が縦軸に示されている。ステップＳａ1にて算定された奥行き値は図３の部分（ａ）に図示される通りである。

原画像のうち互いに近接する画素の奥行き値の差異が著しく大きい場合には利用者によって知覚される立体視画像の品質が低下しかねない。そこで、制御部１０は、ステップＳａ1にて算定した奥行き値を平均化するための処理を行なう（ステップＳａ2）。具体的には、図４に示されるように、制御部１０は、原画像Ｇａに含まれる各画素Pixの奥行き値を、その画素Pixを左上隅に含む領域（以下「マトリクス領域」という）Ａmに属する各画素Pixの奥行き値の平均値に変更する。この処理の結果、図３の部分（ｂ）に示されるように、原画像Ｇａにおいて互いに近接する各画素Pixの奥行き値の差異は、ステップＳａ1にて算定された各奥行き値よりも低減されることになる。この処理におけるマトリクス領域Ａmのサイズ（以下「マトリクスサイズ」という）Ｓmは立体化パラメータのひとつである。マトリクスサイズＳmが大きいほど平均値の算定にて参照される画素数が多くなるから、各画素Pixの奥行き値の相違（すなわち画素Pixの移動量）は相対的に小さくなり、この結果として利用者が知覚する立体感は低減される。一方、マトリクスサイズＳmが小さいほど平均値の算定にて参照される画素数は少なくなるから、各画素Pixの奥行き値の相違は相対的に大きくなり、この結果として利用者が知覚する立体感は大きくなる。すなわち、マトリクスサイズＳmは、立体視画像を視認した利用者が知覚する立体感の大小を決定するための立体化パラメータである。

ところで、立体視画像における画素移動量の最小単位はひとつの画素Pixである。したがって、奥行き値が「１」だけ増加するごとに画素移動量をその最小単位である画素Pixひとつ分だけ増加させるとしても、奥行き値が最大値たる「２５５」である場合には画素移動量が画素Pixの２５６個分に相当する大きさとなる。しかしながら、画素移動量が余りに大きくなると（例えば表示装置４１の表示面において８ｍｍ以上になると）、立体視画像を視認する利用者に眼精疲労が生じる場合や、右目用画像と左目用画像とが別個の画像として認識される結果として利用者が立体感を知覚できない場合が生じ得る。このような問題を解決するために、本実施形態においては、ステップＳａ2にて算定された各画素Pixの奥行き値を幾つかの段階の離散値に近似するための処理（以下「量子化処理」という）が実行される（ステップＳａ3）。具体的には、制御部１０は、ステップＳａ2にて算定された各画素P ixの奥行き値を特定の数値（以下「丸め係数」という）ＭＫにより除算し、その結果を整数化した数値に対して同じ丸め係数ＭＫを乗算する。この結果、図３の部分（ｃ）に示されるように、各画素Pixの奥行き値は丸め係数ＭＫの整数倍に相当する数値に近似される。したがって、丸め係数ＭＫは、奥行き値が近似されるべき各離散値の間隔の大きさを示す立体化パラメータとして把握される。本実施形態においては、この丸め係数ＭＫとして、ステップＳａ1にて算定された奥行き値の最大値（ここでは「２５５」）をオブジェクト深度Ｏbにより除算した数値の整数部分が適用される。このオブジェクト深度Ｏbは、ステップＳａ3にて算定される奥行き値の段階数を表す立体化パラメータである。上述したように画素移動量の段階数は奥行き値の段階数に比例するから、オブジェクト深度Ｏbは、利用者が立体視画像を視認したときに最も奥側と知覚する位置と最も手前側と知覚する位置との隔たりの大きさを表す立体化パラメータということもできる。

この量子化処理に続いて、制御部１０は、各画素Pixの奥行き値を特定の範囲内の数値に制限するための処理を行なう（ステップＳａ4）。すなわち、制御部１０は、ステップＳａ3にて算定された各画素Pixの奥行き値が上限値Ｄuよりも大きいときには当該画素Pixの奥行き値をその上限値Ｄuに変更する一方、奥行き値が下限値Ｄlよりも小さいときには当該画素Pixの奥行き値をその下限値Ｄlに変更する。この上限値Ｄuおよび下限値Ｄlも立体化パラメータである。さらに、制御部１０は、ステップＳａ4を経た総ての画素Pixの奥行き値に対して共通の数値（以下「奥行深度」という）Ｄcを加算する（ステップＳａ5）。この奥行深度Ｄcは、原画像Ｇａの全体に共通して反映させるべき奥行きを表わす立体化パラメータである。すなわち、利用者が最も奥側と知覚する位置と最も手前側と知覚する位置との範囲がオブジェクト深度Ｏb（あるいは丸め係数ＭＫ）によって指定される一方、この範囲の全体の奥行きが奥行深度Ｄcによって指定されるということができる。

こうして奥行き値を修正するための各処理が完了すると、制御部１０は、各画素Pixの奥行き値に基づいて立体視画像を生成する（ステップＳａ6）。すなわち、原画像Ｇａに含まれる各画素Pixを、当該画素Pixの奥行き値に応じた量だけ水平方向に移動させて右目用画像および左目用画像を生成し、これらの画像を合成することによって立体視画像を生成する。以上が立体化処理の具体的な内容である。もっとも、本発明において、立体視画像を生成するための処理の内容や各処理にて適用される立体化パラメータの内容はここで例示したものに限られない。

図１に示した記憶装置２１は、各々が異なるコンテンツに対応した複数のプロジェクトファイルＦpを記憶している。各プロジェクトファイルＦpは、ひとつのコンテンツを構成する原画像ＧａごとにマトリクスサイズＳmやオブジェクト深度Ｏbといった複数の立体化パラメータのセット（以下「パラメータ群」という）を指定するためのファイルである。すなわち、制御部１０は、再生装置３１または再生装置３２により再生されるコンテンツの各原画像Ｇａに対し、そのコンテンツに対応するプロジェクトファイルＦpに原画像Ｇａごとに指定されているパラメータ群を適用した立体化処理を実行することによって立体視画像を生成する。利用者が最適な立体感を知覚し得る立体視画像を生成するための各立体化パラメータは原画像Ｇａの内容に応じて相違するから、プロジェクトファイルＦpにおけるパラメータ群の各立体化パラメータは原画像Ｇａごとに好適な数値に設定されている。

ところで、コンテンツが単純に最初から所期の順序にて再生される場合のみを想定すれば、各原画像Ｇａのパラメータ群をプロジェクトファイルＦpから各原画像の順番に選択することによって最適な立体視画像を生成することが可能である。しかしながら、例えばコンテンツの再生ポイントが利用者による操作（例えば早送り操作や巻き戻し操作）に応じて変更された場合には、パラメータ群の内容のみからでは、その変更後に再生される原画像Ｇａのパラメータ群を特定することができない。すなわち、コンテンツを構成する各原画像Ｇａとその原画像Ｇａの立体化処理に適用されるべきパラメータ群とを整合（マッチング）させることができなくなる。このような問題を解決するために、本実施形態のプロジェクトファイルＦpは、各原画像Ｇａの立体化処理に適用されるべきパラメータ群に対して、その画像を構成する画素の画素値から算定される数値（以下「画像特性値」という）が対応付けられたデータ構造となっている。

さらに詳述すると、図５に示されるように、プロジェクトファイルＦpは、コンテンツの原画像Ｇａに各々が対応する複数のレコードＲをこれらの原画像Ｇａが再生される順番に配列したデータ構造となっている。ひとつのレコードＲは、コンテンツを構成する各原画像Ｇａに割り当てられた識別子と、その原画像Ｇａについて算定された画像特性値Ｎfと、その原画像Ｇａの立体化処理に適用されるべきパラメータ群Ｐとを含む。本実施形態における画像特性値Ｎfは、ひとつの原画像Ｇａを構成する総ての画素Pixの画素値を合計した数値である。図５においては、画像識別子が「０００１」である原画像Ｇａの画像特性値Ｎfが「１３４２」であり、その原画像Ｇａの立体化処理に適用されるパラメータ群ＰのうちマトリクスサイズＳmとして「２３」が、オブジェクト深度Ｏbとして「１２４」が指定された場合を想定している。この構成のもと、再生装置３１または再生装置３２から出力される各原画像Ｇａの画像特性値（Ｎg）とプロジェクトファイルＦpに含まれる各画像特性値Ｎfとが対比されることによって原画像Ｇａに対応するレコードＲが検索され、このレコードＲに含まれるパラメータ群Ｐが当該原画像Ｇａの立体化処理に適用されるべきパラメータ群Ｐとして特定される（この処理の詳細は後述する）。これらのプロジェクトファイルＦpは、ＤＶＤ３０１やビデオテープ３０２に記録されるコンテンツとは別個に作成されたうえで通信部２４やコネクタ３８を介して記憶装置２１に格納される。この点について詳述すると以下の通りである。

図１に示すコネクタ３８は、例えばＵＳＢ（Universal Serial Bus）に準拠した接続ポートである。このコネクタ３８には、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの半導体メモリを備えた可搬型の記録媒体（いわゆるメモリカード）４５が接続される。記録媒体４５には１または複数のプロジェクトファイルＦpが記録されている。利用者によって記録媒体４５がコネクタ３８に接続されると、制御部１０は、この記録媒体４５に記録された複数のプロジェクトファイルＦpを読み出して記憶装置２１に書き込む。もっとも、記録媒体４５に記録されたプロジェクトファイルＦpを制御部１０が立体化処理に際して直接的に読み出して使用する構成としてもよい。

通信部２４は、インターネットなどの通信網５１を介して他の通信端末と通信するための手段である。この通信網５１にはサーバ装置５２が接続されている。サーバ装置５２は、例えばWWW（World Wide Web）サーバであり、各々が異なるコンテンツに対応した複数のプロジェクトファイルＦpを記憶している。通信部２４は、制御部１０による制御のもとに通信網５１を介した通信を実行することにより、サーバ装置５２からプロジェクトファイルＦpを受信する。プロジェクトファイルＦpをサーバ装置５２から取得するための手順は以下の通りである。

通信部２４が通信網５１を介してサーバ装置５２にアクセスすると、図６に例示する画面（以下「ファイル選択画面」という）４１１が表示装置４１に表示される。このファイル選択画面４１１は、複数のコンテンツの何れかを立体視画像生成装置Ｄの利用者に選択させるための画面であり、各コンテンツの名称とコマンドボタンＢとの組が羅列されたリストを含んでいる。利用者が入力装置２８を操作することによって何れかのコンテンツのコマンドボタンＢを指定すると、サーバ装置５２は、予め蓄積された複数のプロジェクトファイルＦpのなかから利用者によって選択されたコンテンツのプロジェクトファイルＦpを選定し、この選定したプロジェクトファイルＦpを通信網５１に送信する。通信部２４は、このプロジェクトファイルＦpを通信網５１から受信する。こうして通信部２４が受信したプロジェクトファイルＦpが制御部１０によって記憶装置２１に書き込まれる。以上がプロジェクトファイルＦpの内容およびその取得の方法である。

次に、図７は、制御部１０の機能的な構成を示すブロック図である。同図に示される各手段は制御部１０が画像処理プログラムPGMを実行することによって実現される。図７に示される取得手段１１は、再生装置３１または再生装置３２から出力された複数の原画像Ｇａの画像データを取得する手段である。上述したように再生装置３１および再生装置３２は、ＤＶＤ３０１やビデオテープ３０２に記録された画像データを原画像Ｇａの配列順に読み出して出力する。したがって、取得手段１１は、各原画像Ｇａの画像データを各々の配列順に取得する。取得手段１１によって取得された各原画像Ｇａの画像データは算定手段１２と立体化手段１４とに供給される。

算定手段１２は、取得手段１１が取得した各原画像Ｇａの画像データから画像特性値Ｎgを算定するための手段である。この算定手段１２が画像特性値Ｎgを算定する方法は、プロジェクトファイルＦpにおける画像特性値Ｎfを算定するための方法と同じである。すなわち、算定手段１２は、ひとつの原画像Ｇａの画像データが示す総ての画素Pixの画素値を総和することによってその原画像Ｇａの画像特性値Ｎgを算定する。

一方、検索手段１３は、算定手段１２によって算定された画像特性値Ｎgに基づいて、プロジェクトファイルＦpに含まれる複数のパラメータ群Ｐの何れかを検索する手段である。さらに詳述すると、検索手段１３は、ある原画像Ｇａについて算定手段１２が算定した画像特性値Ｎgと一致する画像特性値ＮfをプロジェクトファイルＦpのなかから検索し、この画像特性値Ｎfに対応付けられたパラメータ群Ｐを当該原画像Ｇａの立体化処理に適用されるパラメータ群として記憶装置２１から読み出す。ここで、本実施形態においては、各原画像Ｇａのパラメータ群Ｐを含むレコードＲが複数の原画像Ｇａの順番に配列された構成となっている。したがって、コンテンツを構成する総ての原画像Ｇａについて画像特性値Ｎgからパラメータ群Ｐを検索しなくても、このうち特定の原画像Ｇａの画像特性値Ｎgから当該原画像Ｇａのパラメータ群Ｐが特定されれば、これに続く各原画像Ｇａのパラメータ群Ｐは先に特定したパラメータ群Ｐに続けてプロジェクトファイルＦpに配置された各パラメータ群Ｐとして特定される。そこで、本実施形態においては、コンテンツを構成する複数の原画像Ｇａのうち特定の原画像Ｇａ（以下では特に「特定画像Ｇs」という場合がある）についてのみ画像特性値Ｎgからパラメータ群Ｐが特定されるようになっている。より具体的には、コンテンツを構成する最初の原画像Ｇａと、再生装置３１または再生装置３２から再生ポイント変更信号Ｓpが入力された直後に取得手段１１によって取得された原画像Ｇａとが特定画像Ｇsとされる。

立体化手段１４は、図２に示した手順によって立体視画像Ｇｂを生成するための手段である。この立体化手段１４は、取得手段１１が取得した各原画像Ｇａに対し、検索手段１３が特定したパラメータ群Ｐの各立体化パラメータを適用した立体化処理を実行することによって原画像Ｇａごとに立体視画像Ｇｂの画像データを生成する。この画像データが表示装置４１に出力されることにより立体視画像Ｇｂが表示される。

次に、本実施形態の動作を説明する。図８は、制御部１０が図７に示した各手段として実行する処理の流れを示すブロック図である。同図に示されるように、コンテンツを構成する各原画像Ｇａの画像データが取得手段１１によって取得されると、算定手段１２は、これらの画像データから原画像Ｇａごとに画像特性値Ｎgを算定する。

次いで、検索手段１３は、各原画像Ｇａに対応したパラメータ群ＰをプロジェクトファイルＦpから検索する。すなわち、まず、コンテンツの再生が開始されて最初の原画像Ｇａ（特定画像Ｇs）の画像特性値Ｎgが算定手段１２によって算定されると、検索手段１３は、記憶装置２１に記憶された複数のプロジェクトファイルＦpのうち現に再生の対象とされているコンテンツに対応するものを検索する。さらに詳述すると、検索手段１３は、記憶装置２１に記憶されている複数のプロジェクトファイルＦpのうち、算定手段１２が算定した画像特性値Ｎgに一致する画像特性値Ｎfを最初のレコードＲに含むプロジェクトファイルＦp（すなわち現に再生の対象とされているコンテンツに対応するプロジェクトファイルＦp）を特定する。そして、検索手段１３は、この検索したプロジェクトファイルＦpの最初のレコードＲに含まれるパラメータ群Ｐを読み出して特定画像Ｇsのパラメータ群Ｐとして立体化手段１４に出力する。続いて、検索手段１３は、先に特定したプロジェクトファイルＦpの各レコードＲに含まれるパラメータ群Ｐをその配列順に記憶装置２１から順次に読み出して立体化手段１４に出力する。以上の処理により、コンテンツの最初から所定の順番に配列された複数の原画像Ｇａの各々に対し、その原画像Ｇａについて設定されたパラメータ群Ｐの各立体化パラメータを適用した立体化処理が立体化手段１４によって実施される。こうして生成された立体視画像Ｇｂは表示装置４１によって順次に表示される。

一方、コンテンツの再生が開始された後に入力装置３３への操作を契機として再生ポイント変更信号Ｓpが入力されると、検索手段１３は、図９に示される処理を実行することによって各原画像Ｇａのパラメータ群Ｐを検索する。すなわち、再生ポイント変更信号Ｓpが入力された直後に算定手段１２から画像特性値Ｎg（特定画像Ｇsの画像特性値Ｎg）を取得すると（ステップＳｂ1）、検索手段１３は、コンテンツの再生を開始したときに特定したプロジェクトファイルＦpのなかからステップＳｂ1にて取得した画像特性値Ｎgに一致する画像特性値Ｎfを含むレコードＲを検索する（ステップＳｂ2）。ここでひとつのレコードＲのみが検索されると（ステップＳｂ3：No）、検索手段１３は、そのレコードＲに含まれるパラメータ群Ｐを記憶装置２１から読み出して立体化手段１４に出力する（ステップＳｂ4）。図８においては、再生ポイント変更信号Ｓpの入力の直後に特定画像Ｇsたる画像Ｇａiの画像特性値Ｎgとして数値「４２８」が算定された場合を想定している。この場合には、プロジェクトファイルＦpのなかから画像特性値Ｎfが「４２８」であるレコードＲが検索され、このレコードＲに含まれるパラメータ群Ｐが読み出される。図８に示されるように、このパラメータ群Ｐは特定画像Ｇsたる原画像Ｇａiから立体視画像Ｇｂを生成するために適用される。次いで、検索手段１３は、ステップＳｂ2にて検索したレコードＲに続けて配置された各レコードＲのパラメータ群Ｐを順番に読み出す。例えば、図８の場合には、画像特性値Ｎfが「６２８」であるレコードＲのパラメータ群Ｐが読み出されて原画像Ｇａi+1の立体化処理に適用され、次いで画像特性値Ｎfが「２９７」であるレコードＲのパラメータ群Ｐが読み出されて原画像Ｇａi+2の立体化処理に適用される。

ところで、コンテンツを構成する各原画像Ｇａの内容によっては、ひとつのプロジェクトファイルＦpのうち複数のレコードＲに含まれる画像特性値Ｎfが共通する場合もある。このような場合には特定画像Ｇsの画像特性値Ｎgのみから当該特定画像Ｇsのパラメータ群Ｐを一義的に特定することができない。そこで、本実施形態における検索手段１３は、ステップＳｂ1にて取得した画像特性値Ｎgから複数のレコードＲがステップＳｂ2にて検索されたか否かを判定し（ステップＳｂ3）、ここで複数のレコードＲが検索されたと判定した場合には、特定画像Ｇsに続く各原画像Ｇａの画像特性値Ｎgに基づいてパラメータ群Ｐを特定する。すなわち、ステップＳｂ3にて複数のレコードＲが検索されたと判定すると、検索手段１３は、特定画像Ｇsに続く原画像Ｇａの画像特性値Ｎgを算定手段１２から取得し（ステップＳｂ5）、ステップＳｂ1にて取得した特定画像Ｇsの画像特性値ＮgとステップＳｂ4にて新たに取得した原画像Ｇａの画像特性値Ｎgとを各々が含む２つのレコードＲの配列をプロジェクトファイルＦpから検索する（ステップＳｂ2）。例えば、図１０には、画像識別子が「００５３」である原画像Ｇａの画像特性値Ｎfと画像識別子が「００７８」である原画像Ｇａの画像特性値Ｎfとがともに数値「８４５」とされたプロジェクトファイルＦpが例示されている。このような場合には、ステップＳｂ3にて複数のレコードＲが検索されたと判定されることになるが、次の原画像Ｇａの画像特性値Ｎgとして「６４３」を取得することにより（ステップＳｂ5）、画像識別子が「００５３」である原画像Ｇａが特定画像Ｇsであると判断できる。検索手段１３は、こうして特定画像ＧsのレコードＲが特定された段階で、画像識別子が「００５３」である特定画像Ｇsのパラメータ群Ｐと画像識別子が「００５４」である原画像Ｇａのパラメータ群Ｐとを立体化手段１４に出力する。なお、ここでは特定画像Ｇsの直後の原画像Ｇａの画像特性値Ｎgによってパラメータ群Ｐが特定される場合を例示したが、特定画像Ｇsおよびその直後の原画像Ｇａの各画像特性値Ｎgを考慮してもレコードＲを一義的に確定できない場合もある。このような場合、検索手段１３は、さらに次の原画像Ｇａの画像特性値Ｎgをも考慮して該当するレコードＲを検索する。以上が検索手段１３による処理の内容である。

図８に示されるように、立体化手段１４は、以上の手順にて検索手段１３が特定したパラメータ群Ｐの各立体化パラメータに基づいて、取得手段１１から供給される各原画像Ｇａの画像データから立体視画像Ｇｂの画像データを生成する。こうして生成された画像データが表示装置４１に出力されることにより立体視画像Ｇｂが表示される。ここで、特定画像Ｇsの画像特性値Ｎgのみによってパラメータ群Ｐを一義的に特定できないために複数の原画像Ｇａの画像特性値Ｎgを参照する必要がある場合には、原画像Ｇａの画像データが取得手段１１から供給されているにも拘わらず当該原画像Ｇａに対応するパラメータ群Ｐが検索手段１３から供給されていないといった具合に、パラメータ群Ｐの供給タイミングが画像データの供給タイミングよりも遅延する場合が生じ得る。このような場合、立体化手段１４は、パラメータ群Ｐが検索手段１３から出力されるまでに取得手段１１から受け取った画像データについて立体化処理を実施することなく表示装置４１に出力し、パラメータ群Ｐが検索手段１３から出力された後に取得手段１１が取得した画像データから当該パラメータ群Ｐに基づく立体化処理を再開する。したがって、この場合には、検索手段１３によるパラメータ群Ｐの検索が開始されてから実際に検索されるまでの期間に立体化手段１４に供給される原画像Ｇａが平面画像として（すなわち立体化処理を経ることなく）表示装置４１に表示されることになる。ただし、その期間は非常に短いから利用者にはほとんど認識されない。

以上に説明したように、本実施形態においては、コンテンツを構成する各原画像Ｇａの画像特性値Ｎgに基づいてパラメータ群Ｐが特定されるから、立体化パラメータが対応付けられていないコンテンツを再生する場合であっても、各原画像Ｇａについて適切な立体化パラメータを適用して自然な立体感をもった立体視画像Ｇｂを生成することができる。しかも、本実施形態においては、特定画像Ｇsの画像特性値Ｎgのみによってパラメータ群Ｐが一義的に特定されない場合であっても、次の原画像Ｇａの画像特性値Ｎgを参照することによってパラメータ群Ｐを特定することができる。

＜Ｂ：第２実施形態＞
第１実施形態に例示したプロジェクトファイルＦpの内容は適宜に変更される。具体的な変形の態様を列挙すれば以下の通りである。なお、本実施形態の各態様に係る立体視画像生成装置Ｄの構成は第１実施形態と同様である。このため、本実施形態に係る立体視画像生成装置Ｄのうち第１実施形態と共通する要素については共通の符号を付してその詳細な説明を適宜に省略する。また、以下では、画像特性値Ｎgと画像特性値Ｎfとを特に区別する必要がない場合には単に「画像特性値Ｎ」と表記する。

＜Ｂ−１：第１の態様＞
第１実施形態においては、各原画像Ｇａを構成する総ての画素Pixの画素値から画像特性値Ｎが算定される場合を例示した。これに対し、本態様においては、図１１に示されるように、ひとつの原画像Ｇａが複数の領域Ａに区分され、その領域Ａごとに画像特性値Ｎが算定される構成となっている。なお、図１１においては、原画像Ｇａが横３列×縦２行の合計６個の領域Ａに区分された場合を例示しているが、この区分数は任意に変更され得る。一方、図１２に示されるように、本態様におけるプロジェクトファイルＦpのうちひとつの画像に対応するレコードＲには、その画像に割り当てられた識別子と、この画像を区分した各領域Ａの番号と、各領域Ａに属する総ての画素Pixの画素値を合計した数値である画像特性値Ｎfと、複数の立体化パラメータを含むパラメータ群Ｐとが含まれている。

本態様における算定手段１２は、取得手段１１が取得した原画像Ｇａの画像データから当該原画像Ｇａの各領域Ａごとに画像特性値Ｎgを算定して検索手段１３に出力する（図１１参照）。このときに原画像Ｇａを区分する態様（区分数や各領域Ａの縦横の並び）はプロジェクトファイルＦpの作成に際して想定された態様と共通する。一方、検索手段１３は、特定画像Ｇsについて算定手段１２が算定した各領域Ａの画像特性値Ｎgと、プロジェクトファイルＦpの各レコードＲに含まれる領域Ａごとの画像特性値Ｎfとを対比することによって特定画像Ｇsに対応するレコードＲを検索し（図９のステップＳｂ2）、このレコードＲに含まれるパラメータ群Ｐを立体化手段１４に通知する（ステップＳｂ4）。特定画像Ｇsの各画像特性値ＮgからひとつのレコードＲを一義的に特定できない場合に次の原画像Ｇａの各画像特性値Ｎgをも参酌してレコードＲを特定する点は上記第１実施形態と同様である。

このように、本態様においては、ひとつの原画像Ｇａについて複数の画像特性値Ｎgが算定され、これらの画像特性値Ｎgに基づいてパラメータ群Ｐが検索されるから、上記第１実施形態と比較して精度よくパラメータ群Ｐを検索することができる。さらに、特定画像Ｇsの各画像特性値Ｎgのみによってパラメータ群Ｐを一義的に特定できる場合が第１実施形態よりも増加するから、特定画像Ｇsに続く各画像の画像特性値Ｎgを参酌してパラメータ群Ｐを特定する処理の負荷を軽減することができる。

＜Ｂ−２：第２の態様＞
第１実施形態および第１の態様においては、原画像Ｇａを構成する総ての画素Pixの画素値から画像特性値Ｎが算定される構成を例示した。これに対し、本態様においては、原画像Ｇａを構成する一部の画素Pixの画素値から画像特性値Ｎを算定する構成となっている。例えば、図１４に斜線を付して示すように、コンテンツを構成する各原画像Ｇａのうち特定の領域（ここではひとつの行）Ａpに属する複数の画素Pixの画素値を合計した数値が当該原画像Ｇａの画像特性値ＮfとしてプロジェクトファイルＦpに含められる一方、算定手段１２は、取得手段１１が取得した各原画像Ｇａのうち当該領域Ａpに属する画素Pixの画素値の合計値を画像特性値Ｎgとして検索手段１３に出力する。この態様によっても第１実施形態と同様の効果が得られる。さらに、本態様によれば、画像特性値Ｎgの算定の対象とされる画素Pixの個数が第１実施形態と比較して少ないから、算定手段１２が画像特性値Ｎgを算定する処理の負荷を軽減することができる。なお、原画像Ｇａのうち画像特性値Ｎの算定の対象とされる領域Ａpの態様は図１４の例に限られない。例えば、原画像Ｇａのうちひとつの列に属する画素Pixの画素値から画像特性値Ｎが算定される構成としてもよいし、複数の行または列に属する各画素Pixの画素値から画像特性値Ｎが算定される構成としてもよい。また、画像特性値Ｎの算定の対象とされる各画素Pixが連続している必要は必ずしもなく、例えば図１５に示されるように、原画像Ｇａを構成する複数の画素Pixのうち所定のルールに従って選定された画素Pix（図１５において斜線が付された画素）の画素値から画像特性値Ｎが算定される構成としてもよい。さらに、第１の態様のように原画像Ｇａが複数の領域Ａに区分される構成のもとでは、各領域Ａに属する一部の画素の画素値から画像特性値Ｎが算定される構成としてもよい。

＜Ｂ−３：第３の態様＞
原画像Ｇａを構成する各画素Pixの画素値は、共通のコンテンツを再生した場合であっても再生装置（３１や３２）の仕様によって相違する場合がある。例えば、画像データに対して補正処理（例えばガンマ補正）を実施する機能を備えた再生装置から出力される各画素Pixの画素値と、このような補正処理を実施しない再生装置から出力される各画素Pixの画素値とは互いに相違し得る。したがって、第１の態様のように、原画像Ｇａの各画素値の合計値そのものが画像特性値Ｎとされた構成のもとでは、その算定に際して想定された再生装置が立体視画像生成装置Ｄに接続されている場合には適切にパラメータ群Ｐを検索することができるものの、これとは別の再生装置が接続されている場合には、プロジェクトファイルＦpに含まれる画像特性値Ｎfと算定手段１２によって算定される画像特性値Ｎgとが一致せず、各原画像Ｇａに対応するパラメータ群Ｐを適切に検索できない可能性もある。そこで、本態様においては、図１６に示されるように、各領域Ａの画素値の合計値ではなく、各領域Ａにおける画素値の合計値の相対値が画像特性値ＮfとしてプロジェクトファイルＦpに含められた構成となっている。

図１６に示されるプロジェクトファイルＦpは、図１３に示したプロジェクトファイルＦpの各画像特性値Ｎfを相対値に置き換えた内容となっている。すなわち、図１３のプロジェクトファイルＦpにおいては、画像識別子が「０００１」である原画像Ｇａのうち領域番号が「０１」である領域Ａの画像特性値Ｎfが画素値の合計値たる「１３４２」であり領域番号が「０２」である領域Ａの画像特性値Ｎfが「３４５」とされている。これに対し、図１６に示されるプロジェクトファイルＦpにおいては、画像識別子が「０００１」である原画像Ｇａのうち領域番号が「０１」である領域Ａの画素値の合計値を「１」としたときの相対値が各領域Ａの画像特性値Ｎfとされている。例えば、領域番号が「０２」である領域Ａの画像特性値Ｎfは「０．２５７（＝３４５／１３４２）」とされる。一方、本態様における算定手段１２は、取得手段１１が取得した原画像Ｇａの画像データから領域Ａごとに画素値の合計値を算定し、その合計値の相対値を各領域Ａの画像特性値Ｎgとして検索手段１３に出力する。検索手段１３の動作は第１の態様と同様である。本態様によれば、原画像Ｇａの各領域Ａにおける画像特性値Ｎ（ＮgおよびＮf）が相対値として表現されているから、立体視画像生成装置Ｄに接続された再生装置の仕様に拘わらず精度よくパラメータ群Ｐを検索することができる。

＜Ｃ：第３実施形態＞
第１実施形態および第２実施形態においては、特定画像Ｇsの画像特性値Ｎgのみに基づいてパラメータ群Ｐが特定される構成を例示した。本実施形態においては、この画像特性値Ｎgに加えて別の指標を参酌することによってパラメータ群Ｐが検索される構成となっている。なお、以下では第１実施形態の構成を基礎として本実施形態を説明するが、第２実施形態の各態様に対しても同様の構成が適用される。また、本実施形態に係る立体視画像生成装置Ｄのうち第１実施形態と共通する要素については共通の符号を付してその詳細な説明を適宜に省略する。

本実施形態においては、図１７に示されるように、ひとつのコンテンツを構成する一連の原画像Ｇａが複数のグループに区分される。より具体的には、映画作品などのコンテンツがその映画のシーンごとにグループに区分される。ここで、図１７に示されるように、時系列的に配列された複数の原画像Ｇａを再生したときに画像の内容が大幅に変化する時点を特定し、この時点を境界としてコンテンツを区分した各区間を「単位区間」と表記する。例えば、ある原画像Ｇａの画像特性値Ｎgとその直後の原画像Ｇａの画像特性値Ｎgとの差分が所定の閾値を越える場合（すなわち画像の内容が大幅に変化する場合）には、これらの各画像の間隙が単位区間の境界として選定される一方、時間的に前後する各画像の画像特性値Ｎgの差分が所定の閾値を下回る場合には、これらの各画像が同一の単位区間に属するものとされる。図１７に示されるように、各シーンに対応するグループは、互いに連続する所定数（例えば「４」）の単位区間の集合として特定される。各グループには識別子（以下「グループ識別子」という）が割り当てられる。

図１８は、本実施形態におけるプロジェクトファイルＦpの内容を示す図である。同図に示されるように、このプロジェクトファイルＦpは、各々が異なるグループに対応する複数のレコードＲを含んでいる。ひとつのレコードＲにおいては、そのレコードＲに対応するグループのグループ識別子と、そのグループに属する各原画像Ｇａの画像識別子と、これらの原画像Ｇａの各々について上記第１実施形態と同様の手順にて算定された画像特性値Ｎfと、これらの原画像Ｇａの各々に対する立体化処理に適用されるパラメータ群Ｐとが対応付けられている。したがって、ひとつのグループに属する画像識別子の個数をカウントすることにより、そのグループに属する原画像Ｇａの総数（以下「グループ原画像数」という）ｍを特定することができる。

次に、図１９は、本実施形態における制御部１０の機能的な構成を示すブロック図である。本実施形態における制御部１０は、図７に示した各手段に加えて、コンテンツを複数のグループに区分するための区分手段１６として機能する。この区分手段１６は、取得手段１１が取得した一連の原画像Ｇａから各原画像Ｇａの内容に基づいて単位区間の境界を検出し、所定数の単位区間の集合をグループとしてコンテンツを区分する。コンテンツをグループに区分する方法は図１７を参照して上述した通りである。そして、区分手段１６は、各グループについてグループ原画像数ｍを算定して検索手段１３に出力する。この区分手段１６による処理は取得手段１１から各原画像Ｇａの画像データが供給されるたびに実行される。

一方、本実施形態における検索手段１３は、特定画像Ｇsの画像特性値Ｎgに加え、区分手段１６が算定したグループ原画像数ｍに基づいて各原画像Ｇａのパラメータ群Ｐを特定する。図２０は、本実施形態における検索手段１３の動作を示すフローチャートである。図９に示した第１実施形態の動作と同様に、ステップＳｃ1およびステップＳｃ2において特定画像Ｇsの画像特性値Ｎgからひとつのパラメータ群Ｐのみが検索された場合（ステップＳｃ3：No）、検索手段１３は、上記第１実施形態と同様に、このパラメータ群Ｐを立体化手段１４に出力する（ステップＳｃ5）。これに対し、特定画像Ｇsの画像特性値Ｎgから複数のパラメータ群Ｐが検索される場合（ステップＳｃ3：Yes）、検索手段１３は、その特定画像Ｇsを含むグループのグループ原画像数ｍを区分手段１６から取得するとともに、このグループ原画像数ｍと同数の画像識別子を含むレコードＲ（すなわち区分手段１６が算定した総数ｍの原画像Ｇａを含むグループのレコードＲ）を検索する（ステップＳｃ4）。そして、検索手段１３は、このレコードＲに含まれる各パラメータ群Ｐを原画像Ｇａごとに立体化手段１４に出力する。

例えばいま、図２１に示されるように、画像識別子が「００５３」から「００８２」である合計３０個の原画像Ｇａを含む第１のグループ（グループ識別子「０１０」）と、画像識別子が「０１６０」から「０１９８」である合計３９個の原画像Ｇａを含む第２のグループ（グループ識別子「０１３」）とにコンテンツが区分され、かつ、画像識別子が「００５３」である原画像Ｇａの画像特性値Ｎfと画像識別子が「０１６０」である原画像Ｇａの画像特性値Ｎfとが共通の数値「８４５」とされたプロジェクトファイルＦpを想定する。ここで、算定手段１２によって算定された画像特性値Ｎgが「８４５」であるとすれば、画像識別子「００５３」に対応付けられたパラメータ群Ｐと画像識別子「０１６０」に対応付けられたパラメータ群Ｐとが検索されることになってひとつのパラメータ群Ｐのみを一義的に特定することができない。しかしながら、区分手段１６によって算定されたグループ原画像数ｍが「３０」であるとすれば、検索手段１３は、ここで検索すべきパラメータ群Ｐが合計「３０」の原画像Ｇａからなる第１のグループのパラメータ群Ｐであると判断することができる。

以後の立体化手段１４の動作は上記第１実施形態と同様である。ただし、図２０のステップＳｃ3において「Yes」と判断された場合、特定画像Ｇsが取得手段１１によって取得されてからその特定画像Ｇsを含むグループの最後の原画像Ｇａが取得されてグループ原画像数ｍが確定するまでの期間においては、検索手段１３から立体化手段１４にパラメータ群Ｐを指定することができない。そこで、立体化手段１４は、この区間に属する原画像Ｇａの画像データについては立体化処理を実施することなく表示装置４１に出力する。この場合であっても、その区間は最大でもコンテンツのひとつのシーンに過ぎないから利用者に過大な違和感を与えることにはならず、さらに、次のグループの各原画像Ｇａに対しては当該原画像Ｇａについて設定された立体化パラメータを適用して好適な立体視画像Ｇｂを生成することができる。

＜Ｄ：変形例＞
上記各実施形態には種々の変形が加えられる。具体的な変形の態様を例示すれば以下の通りである。第１ないし第３実施形態や以下に示す各態様を適宜に組み合わせてもよい。

（１）上記各実施形態においては、ＤＶＤ３０１やビデオテープ３０２といった記録媒体から原画像Ｇａが取得される構成を例示したが、原画像Ｇａの取得先はこれに限られない。例えば、動画像を撮像する撮像装置（デジタルビデオカメラ）から原画像Ｇａが順次に立体視画像生成装置Ｄに供給される構成や、通信部２４を介してサーバ装置５２から原画像Ｇａが順次に立体視画像生成装置Ｄに供給される構成も採用される。また、プロジェクトファイルＦpの取得先も任意に選定される。例えば、半導体メモリを備えた記録媒体４５のほか、可搬型の磁気ディスクからプロジェクトファイルＦpが読み込まれる構成としてもよい。また、利用者が入力装置２８を適宜に操作することによってプロジェクトファイルＦpが作成される構成も採用される。さらに、各実施形態においては、原画像Ｇaとは別個の経路を介してプロジェクトファイルＦpが取得される構成を例示したが、コンテンツが記録された記録媒体（ＤＶＤ３０１やビデオテープ３０２）に当該コンテンツのプロジェクトファイルＦpが併せて記録された構成も採用される。

（２）立体化処理の内容や各立体化パラメータの内容および種類数が上記各実施形態に示したものに限られないことは勿論である。すなわち、本発明における立体化パラメータとは、原画像Ｇａから立体視画像Ｇｂを生成する立体化処理にて適用されるパラメータであれば足りる。換言すると、立体化処理により生成される立体視画像の態様（例えば利用者が知覚する奥行きなど）を特徴づける総てのパラメータが本発明にいう「立体化パラメータ」の概念に含まれる。また、本発明における「立体化手段」は、利用者が視差に起因して立体感を知覚する立体視画像Ｇｂを原画像Ｇａ（典型的には平面画像）から生成する総ての手段であれば足り、その具体的な処理の如何は不問である。

（３）プロジェクトファイルＦpの内容は各実施形態に示したものに限られない。例えば、図５に示した画像識別子はプロジェクトファイルＦpから適宜に省略される。また、第３実施形態においては画像識別子の総数からグループ原画像数ｍを算定する構成を例示したが、これを算定する方法は任意である。例えば、図１８に示されるひとつのレコードＲに含まれる画像特性値Ｎfやパラメータ群Ｐの個数からグループ原画像ｍが算定される構成としてもよく、したがって図１８の画像識別子は適宜に省略される。このように、本発明においては、各原画像Ｇａの画像特性値Ｎfとその原画像の立体化パラメータとが対応付けられた構成であれば足り、各々を記憶する態様の如何は不問である。

例えば、第２実施形態の第１の態様においては、原画像Ｇａを所定の領域に区分し、各領域ごとに画像特性値Ｎを算定したが、例えばこの領域はマトリックス状の固定されたものでなくてもよい。例えば、原画像に含まれるオブジェクト（人物や花といった分離して認識される被写体）に対応した領域を特定し、当該領域ごと（すなわちオブジェクトごと）に画像特性値Ｎを算定してもよい。具体的には、図２２に示されるすように、各オブジェクトＯiに対応付けてパラメータ群Ｐiを設定してもよい。このように原画像からオブジェクトを抽出する場合、各原画像ごとに設定されるパラメータ群Ｐに加えて当該パラメータ群Ｐiを比較することにより、原画像および当該原画像に含まれる各オブジェクトに対して適用すべき立体化処理パラメータを決定することができる。なお、原画像Ｇａからオブジェクトを抽出する方法は任意であるが、例えば、画素値の値が等しい画素群を決定し、画素群間の画素値を比較して物体の輪郭線を決定し、当該輪郭線の内側の領域が一つのオブジェクトに対応した領域であると判定してもよい。

また、プロジェクトファイルＦpには、画像特性値Ｎfに替えて、図２３に示されるすように、画像特性値Ｎfを所定の方法で区分した画像特性区分ＧＮの番号を格納するとともに、各区分にパラメータ群Ｐを対応付けて格納してもよい。区分の方法としては、例えば画像特性値Ｎfが「１〜１０」のものは画像特性区分ＧＮ「１」に、画像特性値Ｎfが「１１〜２０」のものは画像特性区分ＧＮ「２」に区分といった方法が考えられる。この場合、原画像の立体化処理に席要すべきパラメータ群Ｐの特定は、画像特性値Ｎfではなく画像特性区分ＧＮを比較することにより行われるので、再生装置の仕様などの影響により、完全に一致する画像特性値Ｎが見つからないといった状況の招来を回避することが可能である。また、同一の画像特性区分ＧＮに属する原画像Ｇａには同じパラメータ群Ｐが設定されるので、パラメータ群Ｐの個数を減らすことができ、従ってプロジェクトファイルＦpのサイズの低減や検索に係る処理の時間短縮を図ることが可能である。

（４）上記各実施形態においては、立体視画像生成装置Ｄが再生装置３１または再生装置３２や表示装置４１とは別個の機器（いわゆるセットトップボックス）とされた構成を例示したが、立体視画像生成装置Ｄの機能が再生装置３１または再生装置３２や表示装置４１あるいはその他の各種の機器に組み込まれた構成としてもよい。例えば、各種の記録媒体に記録されたゲームソフトを読み込んで表示装置４１に画像を表示するゲーム機器など各種の再生装置、または、表示装置が一体に構成されたパーソナルコンピュータや、携帯電話機、テレビジョン受像機、カーナビゲーションシステム、プロジェクタ、ヘッドマウントディスプレイなど種々の表示装置に対して、上記各実施形態と同様の構成の立体視画像生成装置が適用される。

本発明の第１実施形態に係る立体視画像生成装置の構成を示すブロック図である。 立体化処理の具体的な内容を示すフローチャートである。 奥行き値を立体化パラメータに基づいて修正するための処理の内容を説明するための図である。 平均化処理の内容を説明するための図である。 プロジェクトファイルの内容を示す図である。 プロジェクトファイルをサーバ装置から取得するときに表示されるファイル選択画面の内容を示す図である。 制御部の機能的な構成を示すブロック図である。 制御部による処理の流れを示す図である。 検索手段による処理の内容を示すフローチャートである。 画像特性値が等しい複数のレコードを含むプロジェクトファイルを例示する図である。 本発明の第２実施形態のうち第１の態様において画像特性値を算定する方法を説明するための図である。 第１の態様におけるプロジェクトファイルの内容を示す図である。 第１の態様におけるプロジェクトファイルの他の例を示す図である。 本発明の第２実施形態のうち第２の態様において画像特性値を算定する方法を説明するための図である。 本発明の第２実施形態のうち第２の態様において画像特性値を算定する他の方法を説明するための図である。 本発明の第２実施形態のうち第３の態様におけるプロジェクトファイルの内容を示す図である。 コンテンツを構成する複数の原画像がグループに区分される様子を示す図である。 本発明の第３実施形態におけるプロジェクトファイルの内容を示す図である。 制御部の機能的な構成を示すブロック図である。 検索手段による処理の内容を示すフローチャートである。 画像特性値が等しい複数のレコードを含むプロジェクトファイルを例示する図である。 本発明の変形例に係るプロジェクトファイルを例示する図である。 本発明の変形例に係るプロジェクトファイルを例示する図である。

符号の説明

Ｄ……立体視画像生成装置、１０……制御部、１１……取得手段、１２……算定手段、１３……検索手段、１４……立体化手段、１６……区分手段、２１……記憶装置、２４……通信部、２６……Ａ／Ｄ変換器、２８……入力装置、３１……再生装置、３２……再生装置、３８……コネクタ、３０１……ＤＶＤ、３０２……ビデオテープ、３３……入力装置、４１……表示装置、４５……記録媒体、５１……通信網、５２……サーバ装置、Ｇａ……原画像、Ｇｂ……立体視画像、Pix……画素、PGM……画像処理プログラム、Ｆp……プロジェクトファイル、Ｒ……レコード、Ｎf……プロジェクトファイルに含まれる画像特性値、Ｐ、Ｐi……パラメータ群、Ｎg……算定手段が算定した画像特性値。

Claims (10)

1. 時系列的に配列されてコンテンツを構成する複数の原画像を順次に取得する取得手段と、
   前記取得手段が取得した原画像に含まれる複数の画素の画素値から画像特性値を算定する算定手段と、
   コンテンツを構成する各原画像の画像特性値と当該原画像から立体視画像を生成するための立体化パラメータとを対応付けて記憶する記憶手段と、
   前記算定手段が特定の原画像について算定した画像特性値と前記記憶手段に記憶された各画像特性値とを対比し、この対比の結果に基づいて前記特定の原画像の立体化パラメータを検索する検索手段と、
   前記検索手段が検索した立体化パラメータに基づいて前記特定の原画像から立体視画像を生成する立体化手段と
   を具備する立体視画像生成装置。
2. 前記算定手段は、原画像に含まれる複数の画素の画素値を合計することにより画像特性値を算定する請求項１に記載の立体視画像生成装置。
3. 前記算定手段は、ひとつの原画像を区分した各領域に属する画素の画素値から当該領域ごとに画像特性値を算定し、
   前記記憶手段は、コンテンツを構成する各原画像を区分した複数の領域の各々について画像特性値を当該原画像の立体化パラメータと対応付けて記憶し、
   前記検索手段は、前記算定手段が算定した各画像特性値と前記記憶手段に記憶された各画像特性値とを原画像の領域ごとに対比することによって前記特定の原画像に対応する立体化パラメータを検索する
   請求項１に記載の立体視画像生成装置。
4. 前記算定手段は、ひとつの原画像を区分した複数の領域の各々について当該領域に属する画素の画素値に応じた数値を算定するとともに、これらの数値の各領域における相対値を各領域の画像特性値として算定する請求項３に記載の立体視画像生成装置。
5. 前記記憶手段は、前記各原画像の立体化パラメータを前記複数の原画像の配列に従って記憶し、
   前記検索手段は、前記特定の原画像の立体化パラメータを検索するとともに当該特定の原画像に続く各原画像の立体化パラメータを順次に前記記憶手段から検索し、
   前記立体化手段は、前記特定の原画像に続く各原画像から、前記検索手段が順次に検索した立体化パラメータに基づいて立体視画像を生成する
   請求項１に記載の立体視画像生成装置。
6. 前記検索手段は、前記コンテンツの再生ポイントが変更された場合に、その変更後の再生ポイントに対応した原画像を前記特定の原画像として立体化パラメータを検索する請求項１から請求項５の何れかに記載の立体視画像生成装置。
7. 前記検索手段は、前記算定手段が前記特定の原画像について算定した画像特性値について、それぞれ別個の原画像に対応する複数の立体化パラメータが検索される場合に、前記特定の原画像に続く各原画像について前記算定手段が算定した画像特性値と前記記憶手段に記憶された各画像特性値とを対比することによって前記特定の原画像とこれに続く各原画像とに対応する立体化パラメータを確定する請求項１に記載の立体視画像生成装置。
8. 前記立体化手段は、前記算定手段が前記特定の原画像について算定した画像特性値について、別個の原画像に対応する複数の立体化パラメータが検索される場合に、前記特定の原画像とこれに続く各原画像とに対応する立体化パラメータが前記検索手段によって確定されるまで立体視画像の生成を停止する請求項７に記載の立体視画像生成装置。
9. 前記取得手段が取得した複数の原画像を複数のグループに区分する区分手段を具備し、
   前記記憶手段は、各原画像の画像特性値と当該原画像の立体化パラメータとを各々が含む複数のレコードをグループに区分して記憶し、
   前記検索手段は、前記算定手段が前記特定の原画像について算定した画像特性値について、別個の原画像に対応する複数の立体化パラメータが検索される場合に、前記取得手段が区分したグループのうち前記特定の原画像が属するグループの原画像の総数と前記記憶手段に記憶された各グループのレコードにて対象とされている原画像の総数とを対比し、この対比の結果に基づいて前記特定の原画像が属するグループに対応した立体化パラメータを検索する
   請求項１に記載の立体視画像生成装置。
10. 時系列的に配列されてコンテンツを構成する複数の原画像を順次に取得する取得処理と、
    前記取得処理にて取得した原画像に含まれる複数の画素の画素値から画像特性値を算定する算定処理と、
    コンテンツを構成する原画像の画像特性値と当該原画像から立体視画像を生成するための立体化パラメータとを対応付けて当該コンテンツの原画像ごとに記憶する記憶手段から、前記算定処理にて算定した画像特性値に対応する立体化パラメータを検索する検索処理と、
    前記検索処理にて検索した立体化パラメータに基づいて前記特定の原画像から立体視画像を生成する立体化処理と
    をコンピュータに実行させるためのプログラム。

Images