JP2004221699A - 立体画像処理方法および装置 - Google Patents

Abstract

【課題】種々の表示装置で立体表示する場合、適正視差が異なるため、最適なプログラミングが困難であり、立体画像の普及の足かせとなった。
【解決手段】立体感調整部１１２は立体画像をユーザに表示する。表示されたオブジェクトが限界視差にくれば、ユーザは立体感調整部１１２に応答する。取得された適正視差情報にしたがい、視差制御部１１４が以降の立体表示において当該適正視差を実現するよう視差画像を生成する。視差の制御は、三次元データに遡ってカメラパラメータを最適設定することで実現する。適正視差を実現する機能をライブラリ化して提供する。
【選択図】 図１１

Description

【０００１】
【発明の属する技術分野】
この発明は立体画像処理技術、特に、視差画像をもとに立体画像を生成または表示する方法および装置に関する。
【０００２】
【従来の技術】
近年、ネットワークインフラの未整備が問題視されてきたが、ブロードバンドへの移行期を迎え、むしろ、広い帯域を有効活用するコンテンツの種類や数の少なさが目立ち始めている。映像はいつの時代でも、最も重要な表現手段であったが、いままでの取り組みの多くは表示品質やデータ圧縮率の改善に関するものであり、それらに比べると、表現の可能性自体を広げる技術的な取り組みは、後手にまわっている感がある。
【０００３】
そうした中で、立体映像表示（以下、単に立体表示という）は、以前からいろいろ研究され、劇場用途や特殊な表示装置を利用する、ある程度限られた市場で実用化されてきた。今後は、より臨場感の溢れるコンテンツの提供を目指してこの方面の研究開発が加速し、個人ユーザが家庭でも立体表示を楽しむ時代が来るものと思われる。
【０００４】
また、立体表示は今後普及が期待されるものであるが、それ故に、現在の表示装置では想像し得なかった表示形態も提案されている。例えば、二次元画像の選択された部分画像を立体にして表示する技術が開示されている（特許文献１参照）。
【０００５】
【特許文献１】
特開平１１−３９５０７号公報
【０００６】
【発明が解決しようとする課題】
そうした流れの中にあって、立体表示には以前よりいくつかの課題が指摘されている。例えば、立体感を創生する原因となる視差の適正化が難しい。もともと、本当に三次元のオブジェクトを映し出しているのではなく、その映像を左右両目に対して画素単位でずらして投じているのであり、その人工的な立体感に自然な感じをもたせるのは容易ではない。
【０００７】
また、視差の付けすぎも問題になることがあり、立体映像の観察者（以下、単にユーザともいう）によっては、軽い不快感を訴える場合がある。もちろんこれには、立体表示だけではなく、表示されているシーンと自己の周囲の状況ないし感覚が一致しないなど、種々の要因がある。しかし、経験則からいえば、そうした問題は視差が大きすぎる、換言すれば、立体感が強すぎる場合に観察されやすい。
【０００８】
以上は人間の生理上のはなしであるが、それとは別に、立体映像のコンテンツやアプリケーションの普及を阻む技術要因がある。立体視は視差によって実現するが、仮に視差を左右画像の画素のずれ量で表現しても、表示装置のハードウエアの差違により、同じ立体映像が適切に立体視できる場合とそうでない場合がある。遠方を表現する視差が眼間距離を超えてしまうと、理論的に立体視ができない。今日のように、表示装置の解像度やスクリーンサイズがＰＣ（パーソナルコンピュータ）、テレビジョン受像機、携帯機器など多様化する中、いろいろなハードウエアを考えて立体表示のために最適なコンテンツを作るのは難題であり、あるいは、そのための方法論が与えられていないというほうがより正確である。
【０００９】
また仮に、その方法論が与えられたとしても、それを一般のプログラマが理解し、コンテンツおよびアプリケーションの作成に利用することを期待するのは難しいであろう。
【００１０】
上記文献に開示の技術にあっては、上述の課題を解決する一手法として提案されているが、今後立体表示を普及させる為には、さらなる手法を提案し新たな技術を蓄積するとともに、それら技術を連携させ製品に適用させる必要がある。
【００１１】
本発明はこうした背景に鑑みてなされたものであり、その目的は、立体表示の新たな表現手法を提案することにある。別の目的は、表示対象画像や表示装置が変わってもユーザに適切な立体画像を生成または表示することにある。更に別の目的は、立体表示がなされているときに、簡単な操作でその立体感を調整することにある。更に別の目的は、適切な立体表示が可能なコンテンツまたはアプリケーションづくりに際し、プログラマの負担を軽減することにある。更に別の目的は、適切な立体表示を実現する技術をビジネスのモデルとして提供することにある。
【００１２】
【課題を解決するための手段】
本発明の基礎をなす発明者の知見は、適正視差をいったん表示装置のハードウエアやユーザと表示装置の距離などの要素（以下、これらを統括的に「ハードウエア」と表現する）から切り離すことにある。すなわち、適正視差の表現を後述のカメラ間隔と光軸交差位置で一般化することにより、いったんハードウエアに依存しない汎用的な形で記述する。「ハードウエアに依存しない」とは、表示装置に固有のハードウエア情報の読み出しが原則的に不要という意味であり、この汎用的な記述がなされれば、あとはその適正視差に基づいて視差画像を生成または調整すれば、所望の立体表示が実現する。
【００１３】
適正視差の取得、および画像の立体表示の際にその適正視差を実現する制御をライブラリで提供することにより、一般のプログラマはこのライブラリを呼び出せば複雑な立体視の原理やプログラミングを意識せず適正な立体表示が実現する。
【００１４】
本発明のいろいろな態様のうち、第１グループは、ユーザの応答をもとに適正視差を取得する技術を基本とする。この技術は、ユーザによる視差の「初期設定」に利用でき、いちど適正視差が装置内に取得されれば、以降、別の画像の表示の際にもその適正視差が実現される。ただし、この技術は初期設定にとどまらず、ユーザが適宜表示中の画像の視差を調整する「手動調整」にも利用される。以下、第１グループに関する。
【００１５】
本発明は、立体画像処理装置に関し、異なる視差に対応する複数の視点画像をもとに表示された立体画像に対するユーザの応答を取得する指示取得部と、取得された応答をもとに、そのユーザに関する適正視差を特定する視差特定部とを含む。
【００１６】
指示取得部は、例えばＧＵＩ（グラフィカルユーザインタフェイス、以下同様）として提供され、まず視点画像間の視差を変えながら表示する。ユーザは自分が好む立体感になったとき、ボタン操作などによってその旨を入力する。
【００１７】
「立体画像」とは立体感をもって表示された画像であり、そのデータの実体は、複数の画像に視差をもたせた「視差画像」である。視差画像は一般に複数の二次元画像の集合である。視差画像を構成する各画像は、それぞれが対応する視点を有する「視点画像」である。つまり、複数の視点画像によって視差画像が構成され、それを表示すると立体画像として表示される。立体画像の表示を単に「立体表示」ともいう。
【００１８】
「視差」とは、立体感を生むためのパラメータであり、いろいろな定義が可能だが、一例として視点画像間の同じ点を表す画素のシフト量で表現できる。以下、本明細書では、特に断らない限り、その定義にしたがう。
【００１９】
適正視差は範囲指定してもよい。その場合、その範囲の両端を「限界視差」とよぶことにする。「適正視差の特定」は、後述の近置オブジェクトの視差として許容できる最大値で行ってもよい。
【００２０】
本発明の立体画像処理装置は更に、特定された適正視差が別の画像の表示の際にも実現されるよう処理を施す視差制御部を含んでもよい。別の画像が三次元データを起点として生成される立体画像であるとき、視差制御部は前記の適正視差にしたがってその立体画像を生成する複数の視点を決定してもよい。より具体的には、複数の視点間の距離とそれらの視点からオブジェクトを見込む光軸の交差位置を決定してもよい。これらの処理の一例は、後述のカメラ配置決定部によってなされる。これらの処理をリアルタイムにすれば、常に最適な立体表示が実現する。
【００２１】
視差制御部は、表示の対象となる所定の基本三次元空間について適正視差が実現するよう制御してもよい。この処理の一例は、後述の投影処理部によってなされる。
【００２２】
視差制御部は、三次元空間において最も近置されるオブジェクトの座標と最も遠置されるオブジェクトの座標について前記適正視差が実現するよう制御してもよい。この処理の一例は、後述の投影処理部によってなされる。オブジェクトは静的でもよい。
【００２３】
「近置」は複数の視点にそれぞれ置かれたカメラの視線、すなわち光軸の交差位置（以下、「光軸交差位置」ともいう）にある面（以下、「光軸交差面」ともいう）より前に立体視されるような視差が付けられている状態を指す。「遠置」は逆に光軸交差面よりうしろに立体視されるような視差が付けられている状態を指す。近置オブジェクトの視差が大きくなるほどユーザに近づいて感知され、遠置オブジェクトの視差が大きくなるほどユーザから遠ざかって見える。すなわち、特に断らないかぎり、視差は近置、遠置で正負が反転せず、ともに非負の値として定義し、光軸交差面において近置視差、遠置視差ともにゼロとする。
【００２４】
表示されるオブジェクトや空間のうち、視差のない部分について、光軸交差面は表示装置のスクリーン面に一致する。なぜなら、視差が付けられていない画素は、左右両眼から見込む視線がちょうどスクリーン面内の同じ位置に到達し、すなわち、そこで交差するためである。
【００２５】
前記の別の画像がすでに視差が与えられている複数の二次元画像である場合、視差制御部は適正視差にしたがってそれら複数の二次元画像の水平方向のシフト量を定めてもよい。この態様では、立体表示のための入力が三次元データを起点として高い自由度をもって生成されるのではなく、すでに生成されている視差画像であり、視差は固定されている。この場合、もとの三次元空間、あるいは実際に撮影された実空間に戻ってカメラ位置を変更して再描画、あるいは再撮影する処理ができない。そのため、視差画像を構成する視点画像、またはそれらに含まれる画素を水平へシフトして視差を調整する。
【００２６】
前記の別の画像はデプス情報が与えられている平面画像（以下これを「デプス情報付画像」ともいう）の場合、視差制御部は適正視差にしたがってそのデプスを調整してもよい。この処理の一例は、後述の第３の立体画像処理装置の二次元画像生成部によってなされる。
【００２７】
この立体画像処理装置は、適正視差を記録する視差保持部を更に含み、視差制御部は、所定のタイミング、例えばこの装置の起動時や、この装置が有する立体画像処理機能またはその一部が起動されたときなどにおいて適正視差を読み込み、その値を初期値として処理を施してもよい。すなわち、「起動」はハードウエア的な意味でもソフトウエア的な意味でもよい。この態様によれば、ユーザがいちど適正視差を決めれば、以降、立体感調整のための自動処理が実現する。これは「適正視差の初期設定」とでもよぶ機能である。
【００２８】
本発明の別の態様は、立体画像処理方法に関し、異なる視差による複数の立体画像をユーザに表示するステップと、表示された立体画像に対するユーザの応答をもとにそのユーザに関する適正視差を特定するステップとを含む。
【００２９】
本発明の更に別の態様も立体画像処理方法に関し、ユーザに依存する適正視差を取得するステップと、取得した適正視差が実現されるよう、表示前に画像に処理を加えるステップとを含む。ここで「取得」は積極的に特定する処理であってもよいし、前記の視差保持部等から読み込む処理であってもよい。
【００３０】
これら各ステップを立体表示用ライブラリの機能として実装し、複数のプログラムからこのライブラリの機能を関数として呼出し可能に構成すれば、プログラマがいちいち立体表示装置のハードウエアを考慮してプログラムを記述する必要がなくなり、効果的である。
【００３１】
本発明の第２グループは、ユーザの指示をもとに視差を調整する技術を基本とする。この技術は、ユーザによる視差の「手動調整」に利用でき、ユーザは適宜表示中の画像の立体感を変更できる。ただし、この技術は手動調整にとどまらず、ある画像を立体表示する際、前述の適正視差を読み込み、その画像の視差を自動調整する際にも利用できる。第１グループの自動調整との違いは、第２グループの自動調整が二次元の視差画像またはデプス情報付画像に対して作用する点であり、三次元データまで遡って視差を変更する場合は第１グループの技術を利用する。以下、第２グループに関する。
【００３２】
本発明のある態様は立体画像処理装置に関し、複数の視点画像から表示された立体画像に対するユーザの指示を取得する指示取得部と、取得された指示にしたがい、前記複数の視点画像間の視差量を変化させる視差制御部とを含む。この処理の一例は後述の図４５に示され、「手動調整」の典型例である。ユーザの指示は、例えばボタン操作など、簡単なＧＵＩで提供すれば利便性が高い。
【００３３】
本発明の別の態様も立体画像処理装置に関し、複数の視点画像から立体画像を表示するときに生じる第１の視差量を検出する視差量検出部と、第１の視差量が、ユーザの許容視差量である第２の視差量の範囲に入るよう前記複数の視点画像間の視差量を変化させる視差制御部とを含む。これは「自動調整」の典型例であり、第２の視差量として前述の適正視差が利用できる。この処理の一例は、後述の図４６に示される。
【００３４】
視差量検出部は第１の視差量の最大値を検出し、視差制御部は、その最大値が第２の視差量の最大値を超えないよう複数の視点画像間の視差量を変化させてもよい。視差の付きすぎによる過度な立体感を避けるため、視差量の最大値、すなわち限界視差を守る意図である。ここでいう最大値は、近置側の最大値と考えてもよい。
【００３５】
視差量検出部は、複数の視点画像間で対応点マッチングを計算して第１の視差量を検出したり、または複数の視点画像のいずれかのヘッダに予め記録された第１の視差量を検出してもよい。これらの処理の一例は後述の図４７に示される。
【００３６】
視差制御部は、複数の視点画像の合成位置をシフトすることにより複数の視点画像間の視差量を変化させてもよい。これは図４５〜４７に共通である。合成位置のシフトは、画素または画像全体を単位とする水平または垂直方向のシフトである。入力がデプス情報付画像の場合、視差制御部は、デプス情報を調整して視差量を変化させてもよい。
【００３７】
本発明の別の態様は立体画像処理方法に関し、複数の視点画像をもとに表示された立体画像に対するユーザの指示を取得するステップと、その指示にしたがい、前記複数の視点画像間の視差量を変化させるステップとを含む。
【００３８】
本発明の更に別の態様も立体画像処理方法に関し、複数の視点画像から立体画像を表示するときに生じる第１の視差量を検出するステップと、第１の視差量が、ユーザの許容視差量である第２の視差量の範囲に入るよう複数の視点画像間の視差量を変化させるステップとを含む。
【００３９】
これら各ステップを立体表示用ライブラリの機能として実装し、複数のプログラムからこのライブラリの機能を関数として呼出し可能に構成してもよい。
【００４０】
本発明の第３グループは、画像内位置に基づいて視差を補正する技術を基本とする。この「自動補正」は立体表示に対するユーザの違和感または拒絶感を軽減するよう作用し、第１、第２グループの技術と併用できる。一般に、立体表示の際、画像端部に近いほど複数の視点画像がずれて観察されたり、違和感を産みやすいなど、技術上または生理上の問題点が指摘される。第３グループでは、画像端に近い部分で視差を減らし、またはオブジェクトが近置側から遠置側へ移動するよう視差を調整するなどの処理により、この問題の軽減を図る。以下、第３グループに関する。
【００４１】
本発明のある態様は立体画像処理装置に関し、立体画像を表示するための複数の視点画像間の視差を補正する視差制御部と、視差制御部がその処理の際に参照すべき補正マップを保持するマップ保持部とを含み、この補正マップは、視差が視点画像内の位置に基づいて補正されるよう記述されている。補正マップには、視差補正マップ、距離感補正マップなどがある。
【００４２】
視差制御部は、例えば複数の視点画像の周辺部において視差を小さくするか、またはオブジェクトがユーザからより遠くに感知されるよう視差を変化させる。視差制御部は、複数の視点画像のいずれかに選択的に処理を施すことによって視差を変化させてもよい。
【００４３】
複数の視点画像は三次元データから生成されるもの、すなわち、三次元空間まで戻って視点画像を生成できる場合には、視差制御部は複数の視点画像の生成にあたって、カメラパラメータを制御して視差を変化させてもよい。カメラパラメータとして、左右カメラの間隔、カメラからオブジェクトを見込む角度、または光軸交差位置などがある。
【００４４】
同様に、複数の視点画像が三次元データから生成される場合、視差制御部は複数の視点画像の生成にあたって、三次元空間自体を例えばワールド座標系において歪ませることにより視差を変化させてもよい。一方、複数の視点画像がデプス情報付画像から生成される場合、視差制御部はそのデプス情報を操作することによって視差を変化させてもよい。
【００４５】
本発明の別の態様は立体画像処理方法に関し、立体画像を表示するための複数の視点画像を取得するステップと、取得された前記複数の視点画像間の視差をそれら視点画像内の位置に基づいて変化させるステップとを含む。これらのステップを立体表示用ライブラリの機能として実装し、複数のプログラムからこのライブラリの機能を関数として呼出し可能に構成してもよい。
【００４６】
本発明の第４グループは、第１〜第３グループおよびその関連機能をソフトウエアライブラリとして提供し、プログラマおよびユーザの負担を軽減し、立体画像表示アプリケーションの普及を促進する技術に関する。以下、第４グループに関する。
【００４７】
本発明のある態様は立体画像処理方法に関し、立体画像表示に関連する情報をメモリ上に保持し、その保持された情報を複数の異なるプログラム間で共有し、それらのプログラムのいずれかが立体画像を表示する際、保持された情報を参照して出力すべき画像の状態を決定する。画像の状態の例は、視差画像にどの程度の視差が与えられているか、その程度である。
【００４８】
「保持された情報」は、立体画像表示装置に入力される画像のフォーマット、視点画像の表示順序、視点画像間の視差量のいずれかの情報を含んでもよい。また、保持された情報の共有に加え、立体画像表示固有の処理を複数のプログラムで共有してもよい。「立体画像表示固有の処理」の一例は、保持された情報を決定するための処理である。別の例は、適正視差を決定するためのグラフィカルユーザインタフェイスに関する処理、適正視差状態の実現を支援する視差調整用画面の表示処理、ユーザの頭位置を検出して追跡する処理、立体表示装置を調整するための画像を表示する処理などである。
【００４９】
本発明の別の態様は、立体画像処理装置に関し、立体表示画像の立体感を調整するためのグラフィカルユーザインタフェイスをユーザに提供する立体感調整部と、ユーザによる立体感の調整の結果判明する限界視差を守る形で視差画像を生成する視差制御部とを含む。
【００５０】
この装置は更に、立体画像表示を適正化するために参照すべき情報を取得する情報検出部と、取得された情報にしたがって前記視差制御部で生成された視差画像のフォーマットを変換する変換部とを含んでもよい。
【００５１】
視差制御部は、三次元データに基づき、カメラパラメータを制御して、限界視差を守りつつ視差画像を生成してもよいし、デプス情報付画像のデプスを制御して視差画像を生成してもよいし、視差のある複数の二次元画像の水平方向のシフト量を定めた後、視差画像を生成してもよい。
【００５２】
本発明の第５グループは、以上の立体画像処理技術またはその関連技術を用いたひとつのアプリケーション、またはビジネスモデルに関する。第４グループのソフトウエアライブラリが利用可能である。以下、第５グループに関する。
【００５３】
本発明のある態様は立体画像処理方法に関し、視差画像を立体表示するための適正視差をいったん表示装置のハードウエアに依存しない表現形式へ変換し、この表現形式による適正視差を異なる表示装置間で流通する。
【００５４】
本発明の別の態様も立体画像処理方法に関し、第１の表示装置にて取得されたユーザの適正視差を第２の表示装置に読み込むステップと、第２の表示装置にて前記適正視差にしたがって視差画像間の視差を調整するステップと、第２の表示装置から調整後の視差画像を出力するステップとを含む。例えば、第１の表示装置がユーザの通常利用する装置、第２の表示装置が別の個所に設けられた装置である。また、第１の表示装置のハードウェアに関する情報を第２の表示装置に読み込むステップと、読み込んだ第１の表示装置のハードウェアに関する情報および第２の表示装置のハードウェアに関する情報をもとに、視差画像の視差を調整するステップで視差が調整された視差画像を、第２の表示装置にて適正視差にしたがって視差を補正するステップと、を更に含んでもよい。
【００５５】
また、ハードウェアに関する情報は、表示画面の大きさ、表示装置の最適観察距離、表示装置の画像分離性能のすくなくともいずれかを含んでもよい。
【００５６】
本発明の別の態様は、立体画像処理装置に関し、ネットワークを介して接続された第１の表示装置、第２の表示装置およびサーバを含み、第１の表示装置は、当該装置にて取得されたユーザの適正視差情報をサーバに送信し、サーバは適正視差情報を受信してこれをユーザと関連づけて記録し、ユーザが第２の表示装置にて画像データの出力を要求したとき、当該装置はサーバからそのユーザの適正視差情報を読み出して視差を調整したのち視差画像を出力する。
【００５７】
本発明の第６グループは、立体画像を用いた新たな表現手法を提案する技術を基本とする。
【００５８】
本発明のある態様は、立体画像処理装置に関する。この立体画像処理装置は、異なる視差に対応する複数の視点画像をもとに立体画像を表示する立体画像処理装置であって、当該立体画像表示装置を利用して立体画像を表示する際に推奨される視差範囲を取得する推奨視差取得部と、取得した推奨される視差範囲内で前記立体表示画像を表示するよう視差を設定する視差制御部と、を有する。
【００５９】
また、立体画像に含まれる所定のオブジェクトの指定をユーザより受け付けるオブジェクト指定部と、指定されたオブジェクトの位置に、複数の視点画像それぞれに関連づけられている光軸交差位置を対応させるとともに、指定されたオブジェクトが、立体画像が表示される表示画面の位置付近に表現するように光軸の交差位置を設定する光軸交差位置設定部と、を更に有してもよい。
【００６０】
また、指定されたオブジェクトに対して、そのオブジェクトが光軸交差位置と対応づけられ、かつ、前記のオブジェクトが表示画面の位置付近に表現される旨が記述された光軸対応情報を、前記のオブジェクトと関連づける指定情報付加部と、を更に有してもよい。
【００６１】
また、光軸交差位置設定部は、光軸対応情報を取得し、取得した光軸対応情報に記述されているオブジェクトに対して光軸交差位置を対応させるとともに、光軸交差位置が対応づけられたオブジェクトを、前記立体画像が表示される表示画面の位置付近に表現してもよい。
【００６２】
また、立体画像を生成する際に用いられる画像データに関連づけられており、立体画像に含まれるオブジェクトに、立体表示すべきオブジェクトが含まれる基本表現空間内に表現すべきか否かの情報が含まれる識別情報を取得する識別情報取得部を、更に有してもよく、視差制御部は、取得した識別情報を、オブジェクトを立体画像に表現する際に反映させてもよい。
【００６３】
また、識別情報は、前記オブジェクトを基本表現空間内に表現する際のタイミングに関する情報を含んでもよく、識別情報取得部は、取得したタイミングを、オブジェクトを立体画像に表現する際に反映させてもよい。
【００６４】
本発明の別の態様は、立体画像処理方法に関する。この立体画像処理方法は、異なる視差に対応する複数の視点画像をもとに表示される立体画像に含まれる所定のオブジェクトを選択可能とし、オブジェクトが選択された場合、選択されたオブジェクトの位置に、前記の複数の視点画像それぞれに関連づけられている光軸交差位置を対応させるとともに、その光軸交差位置を立体画像が表示される表示画面の位置に略一致させる。この立体画像処理方法によると、表示画面が遠置空間と近置空間の境界に設定でき、オブジェクトが表示画面を越えて観察者に向かってくるような表現が可能となる。
【００６５】
また、指定されたオブジェクトは所定の界面を有し、光軸交差位置設定部は、界面上に光軸交差位置を対応づけてもよい。また、立体画像が、三次元データを起点として生成されてもよい。三次元データを起点に立体画像が生成される場合、立体画像に様々な効果を加味することが容易である。例えば、あるオブジェクトが界面、つまり表示画面を越える様に表現する際に、その表示画面を変形させる様な効果を加味できる。
【００６６】
本発明の更に別の態様も立体画像処理方法に関する。この立体画像処理方法は、異なる視差に対応する複数の視点画像をもとに生成される立体画像が表示される表示画面付近に、立体画像の一部として、空間と空間を隔てる界面を設定するとともに、その界面を近置空間および遠置空間の境界として立体画像を表現する。また、界面は、物質と物質の境界面であってもよし、薄板であってもよい。薄板としてガラス板や、さらに紙などがある。
【００６７】
本発明の更に別の態様は、立体画像処理方法に関する。この立体画像処理方法は、異なる視差に対応する複数の視点画像をもとに生成される立体画像に含まれ、かつ立体表示すべきオブジェクトが含まれる基本表現空間内に表現すべきオブジェクトの移動速度を、近置または遠置方向について変更するステップを含む。
【００６８】
本発明の更に別の態様も、立体画像処理方法に関する。この立体画像処理方法は、異なる視差に対応する複数の視点画像をもとに立体画像を生成する際に、立体表示すべきオブジェクトが含まれる基本表現空間内に表現すべきオブジェクトを所定の視差範囲内に収まるように表現しつつ、前記基本表現空間の最前面あるいは最後面の少なくとも一方の面をオブジェクトが存在しない位置に設定する。
【００６９】
本発明の更に別の態様も、立体画像処理方法に関する。この立体画像処理方法は、異なる視差に対応する複数の視点画像をもとに立体画像を生成するに際して、立体表示すべきオブジェクトが含まれる基本表現空間内に表現すべきオブジェクトの視差を算出する際、オブジェクトの実際のサイズに替えて、オブジェクトの前方の拡張領域を含むサイズとしてオブジェクトの視差を算出する。また、前方の拡張領域を含む形で、オブジェクトが移動することによって基本表現空間の最前面に位置した後、オブジェクトが更に前方に移動する場合、オブジェクトを前方の拡張領域を移動するように表現してもよい。
【００７０】
本発明の更に別の態様も、立体画像処理方法に関する。この立体画像処理方法は、異なる視差に対応する複数の視点画像をもとに立体画像を生成するに際して、立体表示すべきオブジェクトが含まれる基本表現空間内に表現すべきオブジェクトの視差を算出する際、オブジェクトの実際のサイズに替えて、オブジェクトの後方の拡張領域を含むサイズとしてオブジェクトの視差を算出する。また、前方の拡張領域を含む形でオブジェクトが、移動することによって基本表現空間の最後面に位置した後、オブジェクトが更に後方に移動する場合、オブジェクトを、後方の拡張領域を移動するように表現してもよい。
【００７１】
本発明の本発明の第７グループは、画像の状態に応じて、設定すべき視差を調整する技術を基本とする。
【００７２】
本発明のある態様は、立体画像処理装置に関する。この立体画像処理装置は、三次元データにより立体画像を生成する際に、立体画像内に表現されるオブジェクトの幅と奥行きの比が人間の眼に正しく知覚される範囲の視差よりも、視差が大きくならないように制御する視差制御部を有する。
【００７３】
本発明の別の態様も、立体画像処理装置に関する。この立体画像処理装置は、デプス情報が与えられた二次元画像より立体画像を生成する際に、前記立体画像内に表現されるオブジェクトの幅と奥行きの比が人間の眼に正しく知覚される範囲の視差よりも、視差が大きくならないように制御する視差制御部を有する。
【００７４】
本発明の更に別の態様も、立体画像処理装置に関する。この立体画像処理装置は、異なる視差に対応する複数の視点画像をもとに表示されるべき立体画像を周波数分析する画像判定部と、周波分析により判明する高周波成分の量に応じて、視差量を調整する視差制御部と、を有する。また、視差制御部は、高周波成分の量が多い場合は、視差量を大きくする調整を行ってもよい。
【００７５】
本発明の更に別の態様も、立体画像処理装置に関する。この立体画像処理装置は、異なる視差に対応する複数の視点画像をもとに表示される立体画像の動きを検出する画像判定部と、立体画像の動きの量に応じて、視差量を調整する視差制御部と、有する。また、視差制御部は、前記立体画像の動きの量が少ない場合、視差量を小さくする調整を行ってもよい。
【００７６】
本発明のさらに別の態様も立体画像処理装置に関する。この立体画像処理装置は、データにより立体画像を生成する際に、視差画像を生成するために設定されるカメラ配置に関するパラメータが変更される場合、カメラパラメータを前記パラメータの変動に対して予め設けられている閾値に収まるよう制御する。この装置によると、視差が急激に変化して、立体画像の観察者が違和感を感じることを、低減できる。
【００７７】
本発明のさらに別の態様も立体画像処理装置に関する。この立体画像処理装置は、デプス情報が与えられた二次元動画像より動画像の立体画像を生成する際に、二次元動画像の進行に伴い発生する、デプス情報に含まれるデプスの最大値もしくは最小値の変動が、予め設けられている閾値に収まるように制御する。この装置によると、視差が急激に変化して、立体画像の観察者が違和感を感じることを、低減できる。
【００７８】
本発明の更に別の態様は、立体画像処理方法に関する。この立体画像処理方法は、異なる視差に対応する複数の視点画像をもとに表示される立体画像の適正視差を、シーンを単位として設定する。
【００７９】
本発明の更に別の態様は、立体画像処理方法に関する。この立体画像処理方法は、異なる視差に対応する複数の視点画像をもとに表示される立体画像の適正視差を、所定の時間間隔で設定する。
【００８０】
本発明の別の態様は、立体画像処理装置に関する。この立体画像処理装置は、立体画像の起点となるオリジナルデータが入力された際に、複数の視点画像を生成するための複数の仮想カメラの配置を設定するカメラ配置設定部と、仮想カメラそれぞれに対応して生成される視点画像に、表示すべきオブジェクトの情報が存在しない領域が発生しているか否かを判定するオブジェクト領域判定部と、表示すべきオブジェクトの情報が存在しない領域が発生している場合、オブジェクトの情報が存在しない領域が無くなるように、仮想カメラの画角、カメラ間隔、および光軸の交差位置の少なくともいずれかを調整するカメラパラメータ調整部と、を有する。
【００８１】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【００８２】
【発明の実施の形態】
図１はユーザ１０、スクリーン１２、立体表示される再生オブジェクト１４の位置関係を示す。ユーザ１０の眼間距離がＥ、ユーザ１０とスクリーン１２の距離がＤ、表示されたときの再生オブジェクト１４の幅がＷである。再生オブジェクト１４は立体表示されているため、スクリーン１２よりも近くに感知される画素、すなわち近置される画素と、スクリーン１２よりも遠くに感知される画素、すなわち遠置される画素を有する。視差が付けられていない画素はスクリーン１２上でちょうど両目から同じ位置に見えるため、スクリーン１２上に感知される。
【００８３】
図２は、図１の理想的な表示を生成するための撮影系を示す。二台のカメラ２２、２４の間隔をＥとし、それらから現実のオブジェクト２０を見たときの光軸交差位置までの距離（これを光軸交差距離という）をＤとし、スクリーン１２と同じ幅を見込む画角で、幅が現実にＷであるオブジェクト２０を撮影すれば、二つのカメラから視差画像が得られる。これを図１のスクリーン１２へ表示すれば、図１の理想状態が実現する。
【００８４】
図３、図４は、それぞれ図２の位置関係をＡ倍（Ａ＜１）、Ｂ倍（Ｂ＞１）した状態を示す。これらの位置関係で得られた視差画像でも、図１の理想状態が実現する。すなわち、理想的な立体表示の基本は、Ｗ：Ｄ：Ｅを一定にすることからはじまる。この関係が視差の付け方の基礎にもなる。
【００８５】
図５から図１０は、実施の形態においてオブジェクト２０の三次元データをもとに立体表示がなされるまでの処理の大筋を示す。
図５はモデル座標系、すなわち、個々の三次元オブジェクト２０がもっている座標空間である。この空間で、オブジェクト２０をモデリングしたときの座標を与える。通常はオブジェクト２０の中心に原点をもってくる。
【００８６】
図６はワールド座標系を示す。ワールド空間は、オブジェクト２０や床、壁を配置してシーンが形成される広い空間である。図５のモデリングと図６のワールド座標系の確定までを「三次元データの構築」と認識できる。
【００８７】
図７はカメラ座標系を示す。ワールド座標系の任意の位置から任意の方向に任意の画角でカメラ２２を据えることにより、カメラ座標系への変換が行われる。カメラの位置、方向、画角がカメラパラメータである。立体表示の場合は、二つのカメラについてパラメータを定めるため、カメラ間隔と光軸交差位置も決める。また、二つのカメラの中点を原点にするために、原点移動も行われる。
【００８８】
図８、図９は透視座標系を示す。まず図８のように、表示すべき空間を前方投影面３０と後方投影面３２でクリッピングする。後述するように、実施の形態のひとつの特徴は、近置最大視差点のある面を前方投影面３０とし、遠置最大視差点のある面を後方投影面３２にすることにある。クリッピングの後、このビューボリュームを図９のように直方体へ変換する。図８と図９の処理を投影処理ともよぶ。
【００８９】
図１０はスクリーン座標系を示す。立体表示の場合、複数のカメラそれぞれからの画像をそれぞれスクリーンのもっている座標系へ変換し、複数の二次元画像、すなわち視差画像を生成する。
【００９０】
図１１、図１２、図１３は、それぞれ一部が異なる立体画像処理装置１００の構成を示す。以下、便宜上、それらの立体画像処理装置１００をそれぞれ第１、第２、第３の立体画像処理装置１００ともよぶ。これらの立体画像処理装置１００は、装置内に一体に組み込むことも可能であるが、ここでは図の複雑を避けて３つに分けている。第１の立体画像処理装置１００は描画すべきオブジェクトと空間が三次元データの段階から入手できる場合に効果的であり、したがって、主な入力を三次元データとする。第２の立体画像処理装置１００はすでに視差が与えられている複数の二次元画像、すなわち既存の視差画像の視差調整に効果的であり、したがって、二次元の視差画像を入力する。第３の立体画像処理装置１００はデプス情報付画像のデプス情報を操作して適正視差を実現するものであり、したがって、主に入力をデプス情報付画像とする。これら３通りの入力を総称して「オリジナルデータ」と表記している。
【００９１】
第１〜第３の立体画像処理装置１００を一体化して実装する場合、それらの前処理部として「画像形式判定部」を設け、三次元データ、視差画像、デプス情報付画像を判定した後、第１〜第３の立体画像処理装置１００のうち最適なものを起動する構成としてもよい。
【００９２】
第１の立体画像処理装置１００は、立体表示に対する立体感を設定するうえで、「初期設定」および「自動調整」の機能をもつ。ユーザは立体表示された画像に対し、自分の適正視差を範囲指定すると、これがシステムで取得され、以降、別の立体画像の表示の際、予めこの適正視差が実現するよう変換処理が施されて表示される。したがって、第１の立体画像処理装置１００により、ユーザは原則として一回だけ設定手続を経れば、以降、自分に合った立体表示を楽しむことができる。
【００９３】
第１の立体画像処理装置１００は更に、画像の周辺部の視差を人工的に緩和する「視差補正」という副機能をもつ。既述のごとく、画像端部に近づくにしたがって複数の視点画像のずれが「二重像」として認識されやすくなる。これはパララックスバリアや表示装置のスクリーンの反りなど機構誤差が主因である。そこで、画像の周辺部で、１）近置視差と遠置視差をともに減らす、２）近置視差を減らし遠置視差はそのままにする、３）近置視差、遠置視差を問わず、全体に遠置視差のほうへシフトする、など、いろいろな方法を実施する。なお、この「視差補正」機能は第３の立体画像処理装置１００にも存在するが、入力データの違いにより、処理は異なる。
【００９４】
第１の立体画像処理装置１００は、立体表示した画像に対するユーザからの応答をもとに立体感を調整する立体感調整部１１２と、立体感調整部１１２で特定された適正視差を保存する視差情報保持部１２０と、視差情報保持部１２０から適正視差を読みだし、オリジナルデータから適正視差を有する視差画像を生成する視差制御部１１４と、表示装置のハードウエア情報を取得し、また立体表示の方式を取得する機能を有する情報取得部１１８と、情報取得部１１８で取得した情報をもとに、視差制御部１１４で生成された視差画像の形式を変更するフォーマット変換部１１６を含む。オリジナルデータを単に三次元データとよぶが、厳密にはワールド座標系で記述されたオブジェクトおよび空間のデータがこれに当たる。
【００９５】
情報取得部１１８で取得する情報の例として、立体表示の視点数、空間分割または時間分割等の立体表示装置の方式、シャッタめがねの利用があるか否か、多眼式の場合における視点画像の並び方、視差画像の中に視差が反転する視点画像の並びがあるか否か、ヘッドトラッキングの結果などがある。なお、ヘッドトラッキングの結果だけは例外的に図示しない経路を経て直接カメラ配置決定部１３２へ入力され、そこで処理される。
【００９６】
以上の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはＧＵＩ機能、視差制御機能その他の機能をもつプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところであり、以降の構成についてもその事情は同様である。
【００９７】
立体感調整部１１２は指示取得部１２２と視差特定部１２４を有する。指示取得部１２２は、立体表示された画像に対してユーザが適正視差の範囲を指定したとき、これを取得する。視差特定部１２４は、その範囲をもとに、ユーザがこの表示装置を用いたときの適正視差を特定する。適正視差は、表示装置のハードウエアに依存しない表現形式で表される。適正視差を実現することにより、ユーザの生理に適合した立体視が可能になる。
【００９８】
視差制御部１１４は、まずカメラパラメータを仮設定するカメラ仮配置部１３０と、適正視差にしたがって仮設定されたカメラパラメータを修正するカメラ配置決定部１３２と、カメラパラメータが決まったとき、複数のカメラの中点を原点とすべく原点移動処理を行う原点移動部１３４と、前述の投影処理を行う投影処理部１３８と、投影処理後、スクリーン座標系への変換処理を行って視差画像を生成する二次元画像生成部１４２とを含む。また、必要に応じて画像周辺部の視差を緩和するために空間歪み変換（以下単に歪変換ともいう）を行う歪処理部１３６がカメラ仮配置部１３０とカメラ配置決定部１３２の間に設けられている。歪処理部１３６は補正マップ保持部１４０から後述の補正マップを読み出して利用する。
【００９９】
なお、立体表示のために表示装置を調整する必要があれば、そのための図示しないＧＵＩを追加してもよい。このＧＵＩで、表示されている視差画像全体を上下左右へ微小シフトして最適表示位置を確定するなどの処理をなしてもよい。
【０１００】
図１２の第２の立体画像処理装置１００は、複数の視差画像を入力とする。これを単に入力画像ともよぶ。第２の立体画像処理装置１００は、さきに第１の立体画像処理装置１００で取得された適正視差を読み込み、入力画像の視差を調整して適正視差の範囲へ収め、出力する。その意味で、第２の立体画像処理装置１００は視差の「自動調整」機能を有する。ただし、それだけでなく、実際に立体表示が行われている際にユーザが立体感を変更したいとき、ＧＵＩ機能を提供し、ユーザの指示にしたがって視差を変更する「手動調整」機能もあわせもつ。
【０１０１】
すでに生成済みの視差画像の視差は通常変更できるものではないが、第２の立体画像処理装置１００によれば、視差画像を構成する視点画像の合成位置をシフトすることで十分に実用に耐えるレベルで立体感が変更できる。第２の立体画像処理装置１００は、入力データが三次元データまで遡れない状況においても良好な立体感調整機能を発揮する。以下、第１の立体画像処理装置１００との相違点を中心に述べる。
【０１０２】
立体感調整部１１２は手動調整に利用される。指示取得部１２２は例えばスクリーンで「＋ｎ」「−ｎ」などの数値入力を実現し、その値が視差の変更量として視差特定部１２４で特定される。数値と指示される立体感の関係にはいくとおりか考えられる。例えば、「＋ｎ」は立体感を強める指示、「−ｎ」は弱める指示で、ｎが大きくなるほど立体感に対する変更量が大きいとしてもよい。また、「＋ｎ」は全体に近置方向へオブジェクトを移動する指示、「−ｎ」は全体に遠置方向へオブジェクトを移動する指示としてもよい。別の方法として、ｎの値は指定せず、単に「＋」と「−」のボタンのみ表示し、これをクリックするたびに視差が変更される構成としてもよい。
【０１０３】
第２の立体画像処理装置１００は、視差量検出部１５０と視差制御部１５２を有する。入力画像が複数の視差画像の場合、視差量検出部１５０はそれらの視差画像のヘッダ領域を検査し、画素数の形で記述された視差量、特に近置最大視差画素数と遠置最大視差画素数があればこれを取得する。視差量が記述されていなければ、マッチング部１５８がブロックマッチングなど既知の手法を利用して視差画像間で対応点を検出することにより視差量を特定する。マッチング部１５８は画像の中央部など重要領域だけに処理を施してもよいし、最も重要な近置最大視差画素数に絞って検出してもよい。検出された視差量は画素数の形で視差制御部１５２へ送られる。
【０１０４】
一般に携帯電話の表示画面で立体画像が表示されるような場合、立体感に関する個人差は小さく、時としてユーザは適正視差の入力を煩わしく感じることも想定できる。また、不特定多数のユーザに使用される立体表示装置でも、適正視差の入力は逆に不便であると感じられる可能性がある。このような場合には、適正視差の範囲を、立体画像表示装置の製造者や、立体画像表示装置に表示すべきコンテンツの作成者が決定してもよし、あるいは一般的な指針に従うなど、他の手法で決定してもよい。例えば、立体画像に関連する業界団体や学術団体が策定する指針や規格などを反映させる。その例として、「１５インチの表示画面では、最大視差を２０ｍｍ程度にする」という指針があれば、その指針に従う、または、その指針をベースに補正を行うなどの処理が挙げられる。この場合、立体感調整部１１２は不要となる。
【０１０５】
視差制御部１５２の位置シフト部１６０は、視点画像間の視差量が適正視差になるよう視差画像を構成する視点画像の合成位置を水平方向へシフトする。シフトは、視点画像のいずれかについて行えばよい。位置シフト部１６０は別の動作モードも有し、ユーザが立体感調整部１１２を介して視差の増加または減少を指示したとき、単純にこの指示にしたがって画像合成位置を変更する。すなわち、位置シフト部１６０は適正視差への自動調整機能と、ユーザによる手動調整機能の二つを有する。
【０１０６】
視差書込部１６４は、前述の視差量検出部１５０のため、または別の用途のために、視差画像を構成する複数の視点画像のいずれかのヘッダ領域に視差量を画素数で書き込む。画像端調整部１６８は、位置シフト部１６０によるシフトによって画像端に生じた画素の欠落を埋める。
【０１０７】
図１３の第３の立体画像処理装置１００は、デプス情報付画像を入力とする。第３の立体画像処理装置１００は、適正視差が実現するようデプスを調整する。また、前述の「視差補正」機能をもつ。視差制御部１７０の歪処理部１７４は、補正マップ保持部１７６に保存された補正マップにしたがい、後述の要領で歪変換を実施する。歪変換後のデプス情報と画像は二次元画像生成部１７８へ入力され、ここで視差画像が生成される。この二次元画像生成部１７８は、第１の立体画像処理装置１００の二次元画像生成部１４２とは異なり、ここで適正視差が考慮される。デプス情報付画像も画像としては二次元であるため、二次元画像生成部１７８は、図示しないが内部に第２の立体画像処理装置１００の位置シフト部１６０に似た機能をもち、デプス情報にしたがって画像内の画素を水平方向にずらし、立体感を生成する。このとき、後述の処理により、適正視差が実現される。
【０１０８】
以上の構成における各立体画像処理装置１００の各部の処理動作とその原理は以下のとおりである。
図１４（ａ）、図１４（ｂ）は、第１の立体画像処理装置１００の立体感調整部１１２による適正視差の特定のプロセスにおいてそれぞれ表示された左眼画像２００、右眼画像２０２を示す。それぞれの画像には５個の黒丸が表示されており、上にいくほど近置かつ大きな視差、下へいくほど遠置かつ大きな視差が付けられている。
【０１０９】
図１５はこれら５個の黒丸を表示したとき、ユーザ１０に感知される距離感を模式的に示す。ユーザ１０はこれら５個の距離感の範囲を「適正」と応答しており、この応答を指示取得部１２２が取得する。同図では、視差が異なる５個の黒丸が同時に、または順に表示され、許容できる視差であるか否かをユーザ１０が入力していく。一方、図１６では表示自体は１個の黒丸で行うが、その視差を連続的に変更し、ユーザ１０が遠置と近置それぞれの方向において許容する限界にきたとき、応答する。応答は通常のキー操作、マウス操作、音声による入力等、それ自体は既知の技術を利用すればよい。
【０１１０】
また、視差の決定はより簡易的な方法で行われてもよい。同様に、基本表現空間の設定範囲の決定も簡易的な方法で行われてもよい。図８９は、視差および基本表現空間の簡易決定の際に利用するテーブルである。基本表現空間の設定範囲が、近置空間側を多くする設定から、遠置空間側のみの設定までＡ〜Ｄの４段階のランクに分かれており、さらに、それぞれ視差が１〜５まで５段階のランクに分かれている。ここでは、例えば、最も強い立体感を好み、最も飛び出だした立体表示を好む場合はランクを５Ａとする。そして、必ずしも立体表示を確認しながらランクを決定する必要はなく、ランクを決めるボタンだけが表示されていてもよい。それらの傍らに立体感確認用のボタンがあり、それを押下することで立体感を確認する画像が表示されてもよい。
【０１１１】
図１５、図１６のいずれの場合でも、指示取得部１２２は適正視差を範囲として取得でき、その近置側および遠置側の限界視差が決まる。近置最大視差は、自分に最も近い位置に見える点に許す近さに対応する視差、遠置最大視差は、自分から最も遠い位置に見える点に許す遠さに対応する視差である。ただし、一般にはユーザの生理上の問題から近置最大視差をケアすべきことが多く、以下、近置最大視差のみを限界視差とよぶ場合もある。
【０１１２】
図１７は、立体表示される画像が三次元データから取り出される場合において、実際に２視点の視差を調整する原理を示す。まず、ユーザが決めた限界視差を仮配置されたカメラの見込み角に変換する。同図のごとく、近置と遠置の限界視差は画素数でＭ、Ｎとあらわすことができ、カメラの画角θが表示画面の水平画素数Ｌに相当するので、限界視差画素数の見込み角である、近置最大見込み角φと遠置最大見込み角ψがθ、Ｍ、Ｎ、Ｌであらわされる。
ｔａｎ（φ／２）＝Ｍｔａｎ（θ／２）／Ｌ
ｔａｎ（ψ／２）＝Ｎｔａｎ（θ／２）／Ｌ
次にこの情報を三次元空間内での２視点画像の取り出しに適用する。図１８のように、まず基本表現空間Ｔ（その奥行きもＴと表記）を決める。ここでは、基本表現空間Ｔはオブジェクトの配置に対する制限から決めるとする。基本表現空間Ｔの前面である前方投影面３０からカメラ配置面、すなわち視点面２０８までの距離をＳとする。ＴやＳはユーザが指定できる。視点は二つあり、これらの光軸交差面２１０の視点面２０８からの距離をＤとする。光軸交差面２１０と前方投影面３０までの距離をＡとする。
【０１１３】
次に、基本表現空間Ｔ内での近置および遠置の限界視差をそれぞれＰ、Ｑとすると、
Ｅ：Ｓ＝Ｐ：Ａ
Ｅ：Ｓ＋Ｔ＝Ｑ：Ｔ−Ａ
が成立する。Ｅは視点間距離である。いま、視差の付けられていない画素である点Ｇは両カメラからの光軸Ｋ２が光軸交差面２１０上で交差する位置にあり、光軸交差面２１０がスクリーン面の位置となる。近置最大視差Ｐを生む光線Ｋ１は前方投影面３０上で交差し、遠置最大視差Ｑを生む光線Ｋ３は後方投影面３２上で交差する。
【０１１４】
ＰとＱは、図１９のようにφ、ψを用いて、
Ｐ＝２（Ｓ＋Ａ）ｔａｎ（φ／２）
Ｑ＝２（Ｓ＋Ａ）ｔａｎ（ψ／２）
で表され、結果として、
Ｅ＝２（Ｓ＋Ａ）ｔａｎ（θ／２）・（ＳＭ＋ＳＮ＋ＴＮ）／（ＬＴ）
Ａ＝ＳＴＭ／（ＳＭ＋ＳＮ＋ＴＮ）
が得られる。いま、ＳとＴは既知であるから、こうしてＡ及びＥが自動的に決まり、したがって光軸交差距離Ｄとカメラ間距離Ｅが自動的に決まり、カメラパラメータが確定する。カメラ配置決定部１３２はこれらのパラメータにしたがってカメラの配置を決定すれば、以降投影処理部１３８、二次元画像生成部１４２の処理を各カメラからの画像に対して独立してなすことにより、適正視差をもった視差画像が生成および出力できる。以上のごとく、ＥとＡはハードウエアの情報を含んでおらず、ハードウエアに依存しない表現形式が実現される。
【０１１５】
以降、別の画像を立体表示する際にもこのＡまたはＤとＥを守るようカメラを配置すれば、自動的に適正視差が実現できる。適正視差の特定から理想的な立体表示までのプロセスは全て自動化できるため、この機能をソフトウエアライブラリとして提供すれば、コンテンツやアプリケーションを作成するプログラマは立体表示のためのプログラミングを意識する必要がない。また、Ｌ、Ｍ、Ｎを画素数で表すと、Ｌは表示範囲を示すので、全画面による表示であるか、画面の一部による表示であるかをＬで指示することができる。Ｌもハードウエアに依存しないパラメータである。
【０１１６】
図２０は４台のカメラ２２、２４、２６、２８による４眼式のカメラ配置を示す。正確には、第１のカメラ２２と第２のカメラ２４の間など、隣接するカメラ間で適正視差になるよう前述のＡとＥを決めていくべきだが、簡易的な処理としては、より中央に近い第２のカメラ２４と第３のカメラ２６の間で決めたＡおよびＥを他のカメラ間に流用してもほぼ同様の効果が得られる。
【０１１７】
なお、Ｔはオブジェクトの配置に対する制限としたが、基本的な三次元空間の大きさとしてプログラムにより決められていてもよい。この場合、プログラム全体を通して必ずこの基本表現空間Ｔ内にのみオブジェクトを配置することもできるし、効果的な表示のために、ときどき故意にこの空間を飛び出すようにオブジェクトに視差を与えてもよい。
【０１１８】
別の例として、三次元空間におけるオブジェクトのうち最も近置されるものと最も遠置されるものの座標に対してＴを決定してもよく、これを実時間で行えば、必ず基本表現空間Ｔにオブジェクトが配置できる。オブジェクトをつねに基本表現空間Ｔに入れることの例外として、「一定時間の位置の平均が基本表現空間Ｔ内にあればよい」という緩和条件で運用すれば、短時間の例外を作ることもできる。更に、基本表現空間Ｔを定めるオブジェクトを静的なものに限ってもよく、この場合、動的なオブジェクトが基本表現空間Ｔからはみ出す例外的な動作を与えることができる。更に別の例として、すでにオブジェクトを配置した空間を基本表現空間の幅Ｔのサイズに縮める変換を行ってもよいし、既述の操作と組み合わせてもよい。なお、オブジェクトを故意に基本表現空間から飛び出すように表示する手法は後述する。
【０１１９】
なお、第１の立体画像処理装置１００の立体感調整部１１２がユーザに表示する画像として、二重像が出やすいものにすれば、限界視差は小さめに定まり、他の画像を表示したときの二重像の出現頻度を低下させることができる。二重像が出やすい画像として、オブジェクトと背景との色や明るさが対照的なものが知られており、限界視差を特定する段階、すなわち初期設定の際にはそうした画像を利用すればよい。
【０１２０】
図２１から図３６までは、第１の立体画像処理装置１００の歪処理部１３６による処理とその原理を示す。
図２１は第１の立体画像処理装置１００の補正マップ保持部１４０に格納された補正マップの一例を概念的に示す。このマップは直接視差を補正するもので、その全体がそのまま視差画像に対応しており、周辺部にいくにしたがって小視差になる。図２２はこの補正マップにしたがって歪処理部１３６がカメラ配置を決め、それを受けたカメラ配置決定部１３２によるカメラパラメータの操作の結果生じる視差の変化を示す。二つのカメラの左右視点位置から正面方向を見るときは「通常視差」が付けられ、一方、正面から大きく外れた方向を見るときは「小視差」が付けられる。実際には、周辺にいくにしたがって、カメラ配置決定部１３２はカメラ間隔を近づけていく。
【０１２１】
図２３はカメラ配置決定部１３２が歪処理部１３６の指示にしたがってカメラの配置を変えて視差を変える別の例を示す。ここでは、二つのカメラのうち、左側のカメラのみを移動させながら、画像周辺に向かうにしたがって「通常視差」→「中視差」→「小視差」と視差が変化している。この方法のほうが図２２に比べて計算コストが低い。
【０１２２】
図２４は補正マップの別の例を示す。このマップも視差を変更するもので、画像の中央付近は通常視差のまま触れず、それ以外の視差補正領域において視差を徐々に小さくする。図２５はカメラ配置決定部１３２がこのマップにしたがって変化させるカメラ位置を示す。カメラの方向が正面から大きく外れたとき、はじめて左カメラの位置が右カメラへ寄り、「小視差」が付けられている。
【０１２３】
図２６は補正マップの別の例を概念的に示す。このマップは視点からオブジェクトまでの距離感を補正するもので、それを実現するために、カメラ配置決定部１３２が二つのカメラの光軸交差距離を調整する。画像周辺に行くにしたがって光軸交差距離を小さくすれば、オブジェクトは相対的に遠置方向へ奥まって見えるため、特に近置視差を小さくする意味で目的を達する。光軸交差距離を小さくするために、カメラ配置決定部１３２はカメラの光軸方向を変えればよく、いずれか一方のカメラの向きを変えればよい。図２７は、図２６のマップによって二次元画像を生成するときの光軸交差位置、または光軸交差面２１０の変化を示す。画像周辺ほど光軸交差面２１０がカメラに寄る。
【０１２４】
図２８は距離感に関する別の補正マップ、図２９は図２８のマップにしたがってカメラ配置決定部１３２が歪処理部１３６の指示にしたがって光軸交差面２１０を変化させる様子を示す。この例では、画像中央領域では補正をせずにオブジェクトを通常位置に配置し、画像周辺領域でオブジェクトの位置を補正する。その目的のために、図２９において画像中央付近では光軸交差面２１０に変化はなく、ある点を超えてから光軸交差面２１０がカメラへ寄ってくる。図２９では、左カメラだけ向きをかえて対応している。
【０１２５】
図３０（ａ）〜（ｆ）は歪処理部１３６による別の歪変換を示す。いままでの例と違い、カメラ位置を変えるのではなく、カメラ座標系で三次元空間自体を直接歪ませる。図３０（ａ）〜（ｆ）において、長方形領域はもとの空間の上面図、斜線領域は変換後の空間の上面図を示す。例えば、図３０（ａ）のもとの空間の点Ｕは、変換後点Ｖに移る。これはこの点が遠置方向へ移動されたことを意味する。図３０（ａ）では、空間は周辺部へ向かうほど奥行き方向について矢印の方向に押しつぶされ、近置の場合も遠置の場合も、同図の点Ｗのごとく、一定の距離感に近い距離感をもたされる。その結果、画像周辺部では距離感が揃い、特別に近置されるオブジェクトもなくなり、二重像の問題を解決するとともに、ユーザの生理に適合しやすい表現となる。
【０１２６】
図３０（ｂ）、図３０（ｃ）、図３０（ｄ）、図３０（ｅ）はいずれも画像周辺部で距離感を一定値に近づける変換の変形例を示し、図３０（ｆ）はすべての点を遠置方向へ変換する例を示している。
【０１２７】
図３１は、図３０（ａ）の変換を実現するための原理を示す。直方体空間２２８は、第１のカメラ２２と第２のカメラ２４の投影処理が行われる空間を含む。第１のカメラ２２のビューボリュームは、そのカメラの画角と前方投影面２３０および後方投影面２３２で定まり、第２のカメラ２４のそれは、そのカメラの画角と前方投影面２３４および後方投影面２３６で定まる。歪処理部１３６はこの直方体空間２２８に歪変換を施す。原点は直方体空間２２８の中心とする。多眼式の場合はカメラが増えるだけで変換原理は同じである。
【０１２８】
図３２は歪変換の一例で、Ｚ方向の縮小変換を採用している。実際には空間内の個々のオブジェクトに対して処理を行う。図３３はこの変換を視差補正マップになぞらえて表現したもので、Ｙ軸上が通常視差であり、Ｘの絶対値が増えるほど視差が小さくなり、Ｘ＝±Ａが視差なしとなる。ここではＺ方向のみの縮小変換なので、変換式は以下のとおりである。
【数１】

変換を図３４で説明する。まず、Ｘ≧０かつＺ≧０の範囲を考える。点（Ｘ０，Ｙ０，Ｚ０）が縮小処理により点（Ｘ０，Ｙ０，Ｚ１）に移動したとき、縮小率Ｓｚは、

である。Ｃの座標は（Ｘ０，Ｙ０，０）でＤの座標は（Ｘ０，Ｙ０，Ｂ）である。
Ｅは直線と平面の交点であり、座標を（Ｘ０，Ｙ０，Ｚ２）とすると、Ｚ２は下のように求めることができる。
【０１２９】
Ｚ＝Ｂ−Ｘ×Ｂ／Ａ （平面）
Ｘ＝Ｘ０，Ｙ＝Ｙ０ （直線）
Ｚ２＝Ｂ−Ｘ０×Ｂ／Ａ
したがって、

Ｘに対して一般に、
Ｓｚ＝１−Ｘ／Ａ
となる。ＸとＺの他の範囲についても同様の計算を行うと、以下の結果が得られ、変換が検証できる。
【０１３０】
Ｘ≧０のとき、Ｓｚ＝１−Ｘ／Ａ
Ｘ＜０のとき、Ｓｚ＝１＋Ｘ／Ａ
図３５は歪変換の別の例を示す。より厳密にはカメラから放射状に撮影が行われることを考慮し、Ｘ軸、Ｙ軸方向の縮小処理も組み合わせている。ここでは、二つのカメラの中心をカメラ位置の代表として変換を行う。変換式は以下の通りである。
【数２】

図３６はこの変換を検証する。ここでも、Ｘ≧０かつＺ≧０の範囲を考える。点（Ｘ０，Ｙ０，Ｚ０）が縮小処理により点（Ｘ１，Ｙ１，Ｚ１）に移動したとき、縮小率Ｓｘ、Ｓｙ、Ｓｚは、

となる。Ｅは平面と直線の交点なので、前述と同様Ｓｘ、Ｓｙ、Ｓｚを求めることができる。
【０１３１】
なお、以上のように変換後の空間を平面の集合で表すと、面同士の接線を境に処理が変化し、場合により違和感が生じうる。その場合は曲面で接続するか、曲面だけで空間を構成してもよい。計算は曲面と直線の交点Ｅを求めるものに変わるだけである。
【０１３２】
また、以上の例では、縮小率は同一直線ＣＤ上では同じとなるが、重み付けを行ってもよい。例えばＳｘ、Ｓｙ、Ｓｚに、カメラからの距離Ｌに対する重み付け関数Ｇ（Ｌ）をかければよい。
【０１３３】
図３７から図４０までは、第３の立体画像処理装置１００の歪処理部１７４による処理とその原理を示す。
図３７は第３の立体画像処理装置１００に入力されたデプス情報付画像のデプスマップを示し、ここではデプスの範囲がＫ１〜Ｋ２の値をもつとする。ここでは近置のデプスを正、遠置のデプスを負で表す。
【０１３４】
図３８は元のデプス範囲２４０と変換後のデプス範囲２４２の関係を示す。デプスは画像周辺部に行くにしたがって一定値に近づく。歪処理部１７４はこの補正にしたがうようデプスマップを変換する。垂直方向に視差をもたせる場合も同様である。この変換もＺ方向の縮小のみなので、以下の式で表現できる。
【数３】

なお、ＳｚはＸの値により場合分けされ、
Ｘ≧０のとき、Ｓｚ＝１−２Ｘ／Ｌ
Ｘ＜０のとき、Ｓｚ＝１＋２Ｘ／Ｌ
となる。以上の変換により、図３９に示す新たな要素をもつ新たなデプスマップが生成される。
【０１３５】
図４０はデプスマップに対する別の歪変換の原理を示す。空間は、より厳密にはユーザ１０から放射状に観察されるので、Ｘ軸、Ｙ軸方向の縮小処理も組み合わせている。ここでは、眼間中心を観察位置としている。具体的な処理は図３６の場合と同じ式になる。なお、もともとのデプスマップはＺ値しか持たないが、この計算を行う場合はＸ値とＹ値も保持することになる。Ｚ値はＸ方向あるいはＹ方向の画素シフト量に変換されるが、Ｘ値とＹ値はそれらに対するオフセット値として保持すればよい。
【０１３６】
いずれにしても、歪処理部１７４で変換されたデプスマップともとの画像は二次元画像生成部１７８へ入力され、ここで適正視差になるよう水平方向にシフトした合成処理が行われる。その詳細は後述する。
【０１３７】
図４１〜図５１は、第２の立体画像処理装置１００の位置シフト部１６０、およびその延長と把握できる第３の立体画像処理装置１００の二次元画像生成部１７８の処理を示す。
図４１は位置シフト部１６０による二つの視差画像の合成位置のシフト原理を示す。同図のごとく、初期状態では右眼画像Ｒと左眼画像Ｌの位置は一致している。しかし、同図上部のごとく左眼画像Ｌを相対的に右へシフトすると、近置点の視差は増加し、遠置点の視差は減少する。逆に、同図下部のごとく左眼画像Ｌを相対的に左へシフトすると、近置点の視差は減少し、遠置点の視差は増加する。
【０１３８】
以上が視差画像のシフトによる視差調整の本質である。画像のシフトは一方であってもよいし、両方を互いに逆方向にシフトしてもよい。またこの原理から、立体表示方式は、メガネ方式やメガネなし方式を問わず、視差を利用している全ての方式に適用できることが分かる。多視点映像や垂直方向の視差に対しても同様の処理が可能である。
【０１３９】
図４２はシフト処理を画素レベルで示す。左眼画像２００と右眼画像２０２には、ともに第１四角形２５０と第２四角形２５２が写っている。第１四角形２５０には近置視差がついており、その視差量を正数であらわすと、「６画素」となる。これに対し第２四角形２５２は遠置視差がついており、その視差量を負数であらわすと、「−６画素」となる。ここで、この視差量をそれぞれＦ２、Ｆ１とする。
【０１４０】
一方、ユーザが保有する表示装置の適正視差がＪ１〜Ｊ２であることが分かったとする。位置シフト部１６０は両画像の合成開始位置を互いに（Ｊ２−Ｆ２）画素シフトさせる。図４３はそのシフトの終了後の状態で、いま、Ｆ１＝−６、Ｆ２＝６であり、また、Ｊ１＝−５、Ｊ２＝４であったとすると、合成開始位置は互いに−２画素、つまり遠置方向に全体がシフトする方向にずらされることになる。最終的な視差量は図４３のごとく、Ｅ１＝−８、Ｅ２＝４となり、少なくとも近置方向に関して限界視差内に収まる。一般に遠置方向と比較して、近置方向の二重像の方が違和感が強いとされ、かつ被写体は近置方向に配置された状態で撮影されることが多いので、基本的に近置方向の視差を限界内に収めることが望ましい。以下に処理例を示す。
１．近置点が限界視差外で、遠置点が限界視差内の場合は、近置点を限界視差点にシフトする。ただし、遠置点の視差が眼間距離に到達すれば処理をやめる。
２．近置点が限界視差外で、遠置点が限界視差外の場合は、近置点を限界視差点にシフトする。ただし、遠置点の視差が眼間距離に到達すれば処理をやめる。
３．近置点も遠置点も限界視差内の場合は処理しない。
４．近置点が限界視差内で、遠置点が限界視差外の場合は、遠置点を限界視差点にシフトするが、処理の途中で近置点が限界視差点に到達すれば処理をやめる。
【０１４１】
図４４は合成位置のシフトによる画像端の欠落を示す。ここでは左眼画像２００と右眼画像２０２のシフト量が１画素であり、左眼画像２００の右端と右眼画像２０２の左端にそれぞれ１画素幅の欠落部分２６０が生じる。画像端調整部１６８はこのとき、図４４のように画像端の画素列を複製して水平画素数を補償する。
【０１４２】
これ以外の方法として、欠落部分２６０は黒または白など特定の色で表示してもよいし、非表示にしてもよい。更に初期画像のサイズと同じになるように切り出しや付け加え処理を施してもよい。また、予め初期画像のサイズを実際の表示サイズより大きくしておき、欠落部分２６０が表示に影響しないよう配慮してもよい。
【０１４３】
図４５は第２の立体画像処理装置１００による視差の手動調整の流れである。同図のごとく、まず視差画像として左右画像が人手で作成され（Ｓ１０）、これがネットワークその他のルートで配布される（Ｓ１２）。これを第２の立体画像処理装置１００が受け取り（Ｓ１４）、この図の例では、まずはそのままシフトなしの通常の状態で画像を合成して表示する（Ｓ１６）。すなわち、ここでは適正視差がまだ取得されていない場合や位置シフト部１６０を動作させていない場合を考えている。続いて、立体表示された視差画像に対してユーザが立体感調整部１１２を介して視差の調整を指示し、これを位置シフト部１６０が「手動調整モード」で受け、画像合成位置を調整して表示する（Ｓ１８）。なお、Ｓ１０とＳ１２は画像クリエータの手続２７０、Ｓ１４以降は第２の立体画像処理装置１００の手続２７２である。また、図示しないが、このシフト量をヘッダに記録し、次回から参照して合成すれば、再調整の手間が省ける。
【０１４４】
図４６は第２の立体画像処理装置１００による自動調整の流れを示す。画像クリエータの手続２７０である、左右画像の生成（Ｓ３０）、画像配布（Ｓ３２）は図４５と同じである。また、第２の立体画像処理装置１００の手続２７２のうち、画像受取（Ｓ３４）も同様である。次に、視差量検出部１５０のマッチング部１５８によって視差画像間に予め付けられている視差、特に最大視差を検出し（Ｓ３６）、一方、視差情報保持部１２０から適正視差、特に限界視差を取得する（Ｓ３８）。この後、位置シフト部１６０が前述の処理によって限界視差を満たすよう画像の合成位置をシフトし（Ｓ４０）、視差書込部１６４、画像端調整部１６８、フォーマット変換部１１６による処理を経て立体表示される（Ｓ４２）。
【０１４５】
図４７は、第２の立体画像処理装置１００による更に別の自動調整の流れを示す。画像クリエータの手続２７０で左右画像の生成（Ｓ５０）した後、この時点で最大視差を検出して（Ｓ５２）視差画像のいずれかの視点画像のヘッダへ記録しておく（Ｓ５４）。この検出は対応点マッチングで実施してもよいが、クリエータが手作業で視差画像を生成したときは、その編集過程で当然に既知であるため、これを記録すればよい。この後、画像を配布する（Ｓ５６）。
【０１４６】
一方、第２の立体画像処理装置１００の手続２７２のうち、画像受取（Ｓ５８）は図４６と同様である。次に、視差量検出部１５０のヘッダ検査部１５６によって前述の最大視差をヘッダから読み出す（Ｓ６０）。一方、視差情報保持部１２０から限界視差を取得し（Ｓ６２）、以下の処理Ｓ６４、Ｓ６６は図４６の処理Ｓ４０、Ｓ４２とそれぞれ同じである。この方法によれば、最大視差を計算する必要がない。また、画像全体に適切な立体感を実現できる。更に、シフト量はヘッダに記録できるため、原画像自体を損なうおそれがない。なお、図示しないが、図４６でも検出された最大視差をヘッダに記録すれば、つぎからは図４７の手続にしたがって処理することができる。
【０１４７】
なお、多眼式でも同様の処理が可能で、それぞれ隣り合う視点画像間の視差量に対して同様の処理を行えばよい。ただし、実際にはそれら複数の視点画像間の視差のうちの最大の視差によって全視点画像間の「最大視差」とみなし、合成位置のシフト量を決めてもよい。
【０１４８】
ヘッダ情報は多視点画像の少なくともひとつにあればよいとしたが、多視点画像が１枚の画像に合成されている場合はその画像のヘッダを利用すればよい。
【０１４９】
更に、すでに合成済みの画像が配布される場合もあるが、その場合はいちど逆変換処理で画像を分離し、合成位置シフト量を計算して再合成するか、それと結果が同じになるよう画素の並べ替え処理を行えばよい。
【０１５０】
図４８〜図５１は、合成位置のシフトをデプス情報付画像について行う処理を示す。これは第３の立体画像処理装置１００の二次元画像生成部１７８にて行われる。図４８、図４９はそれぞれデプス情報付画像を構成する平面画像２０４とデプスマップである。ここでは近置デプスを正、遠置デプスを負で表している。オブジェクトとして第１四角形２５０、第２四角形２５２、第３四角形２５４が存在し、第１四角形２５０はデプス「４」、第２四角形２５２は「２」、第３四角形２５４は「−４」である。第１四角形２５０は最近置点、第２四角形２５２は中間近置点、第３四角形２５４が最遠置点にある。
【０１５１】
二次元画像生成部１７８は、もとの平面画像２０４を基礎として、まず、各画素をデプスマップの値分だけシフトさせる処理を行い、他方の視点画像を生成する。基準を左眼画像とすると、もとの平面画像２０４はそのまま左眼画像となる。第１四角形２５０を左に４画素、第２四角形２５２を左に２画素、第３四角形２５４を右に４画素シフトし、図５０のごとく、右眼画像２０２が作成される。画像端調整部１６８は、オブジェクトの移動による画素情報の欠落部分２６０を視差が「０」である、背景と判断される近接画素によって埋める。
【０１５２】
続いて二次元画像生成部１７８は、適正視差を満たすデプスを計算する。デプスの範囲をＫ１〜Ｋ２とし、各画素のデプス値をＧｘｙとすると、デプスマップは図３７においてＨｘｙをＧｘｙへ変更した形になる。また、ユーザが保有する表示装置の適正視差がＪ１〜Ｊ２であることが分かったとする。この場合、そのデプスマップにおいて、各画素のデプス値Ｇは以下のように変換され、新しいデプス値Ｆｘｙが得られる。
【０１５３】
Ｆｘｙ＝Ｊ１＋（Ｇｘｙ−Ｋ１）×（Ｊ２−Ｊ１）／（Ｋ２−Ｋ１）
前述の例では、Ｋ１＝−４、Ｋ２＝４であり、また、Ｊ１＝−３、Ｊ２＝２であったとすると、この変換式により、図４９のデプスマップは図５１のデプスマップへ変換される。すなわち、「４」は「２」へ、「２」は「１」へ、「−４」は「−３」へそれぞれ変換される。Ｋ１とＫ２の間の中間値は、Ｊ１とＪ２の間に変換される。例えば第２四角形２５２はＧｘｙ＝２で、Ｆｘｙ＝０．７５となる。Ｆｘｙが整数にならない場合は、四捨五入や近置視差が小さくなるような処理を施せばよい。
【０１５４】
なお、上述の変換式は線形変換の例であるが、更にＧｘｙに対する重み付け関数Ｆ（Ｇｘｙ）をかけたり、その他いろいろな非線形変換も考えられる。また、もとの平面画像２０４から、オブジェクトを互いに逆方向にシフトして新たに左右画像を生成することもできる。多眼式の場合は同様の処理を複数回行い、多視点画像を生成すればよい。
【０１５５】
以上が実施の形態に係る立体画像処理装置１００の構成および動作である。
立体画像処理装置１００は装置として説明したが、これはハードウエアとソフトウエアの組合せでもよく、ソフトウエアのみでも構成できる。その場合、立体画像処理装置１００の任意の部分をライブラリ化して各種プログラムから呼びだし可能にすると利便性が高い。プログラマは立体表示の知識が必要となる部分のプログラミングをスキップできる。ユーザにとっては、ソフトウエアやコンテンツによらず、立体表示に関する操作、すなわちＧＵＩが共通になり、設定した情報は他のソフトウエアでも共有できるため再設定の手間が省ける。
【０１５６】
なお、立体表示に関する処理ではなく、情報を複数のプログラム間で共有するだけでも有用である。各種プログラムはその情報を参照して画像の状態を決定できる。共有される情報の例は、前述の立体画像処理装置１００の情報取得部１１８で取得される情報である。この情報を図示しない記録部または補正マップ保持部１４０などに保持しておけばよい。
【０１５７】
図５２〜図５４は、以上の立体画像処理装置１００をライブラリとして利用する一例を示す。図５２は立体表示ライブラリ３００の用途を示す。立体表示ライブラリ３００は複数のプログラムＡ３０２、プログラムＢ３０４、プログラムＣ３０６などから関数を呼び出す形で参照される。パラメータファイル３１８には前述の情報のほか、ユーザの適正視差などが格納されている。立体表示ライブラリ３００はＡＰＩ（アプリケーションプログラムインタフェイス）３１０を介して複数の装置Ａ３１２、装置Ｂ３１４、装置Ｃ３１６などで利用される。
【０１５８】
プログラムＡ３０２等の例として、ゲーム、いわゆるＷｅｂ３Ｄと呼ばれる三次元アプリケーション、三次元デスクトップ画面、三次元地図、二次元画像である視差画像のビュア、デプス情報付画像などのビュアが考えられる。ゲームの中でも、当然ながら座標の使い方が違うものがあるが、立体表示ライブラリ３００はそれにも対応できる。
【０１５９】
一方、装置Ａ３１２等の例として、２眼や多眼のパララックスバリア式、シャッタめがね方式、偏光めがね方式など、視差を利用する任意の立体表示装置である。
【０１６０】
図５３は三次元データソフト４０２に立体表示ライブラリ３００が組み込まれた例を示す。三次元データソフト４０２はプログラム本体４０４と、そのために適正視差を実現する立体表示ライブラリ３００と、撮影指示処理部４０６を備える。プログラム本体４０４はユーザインタフェイス４１０を介してユーザと連絡する。撮影指示処理部４０６は、ユーザの指示にしたがって、プログラム本体４０４の動作中の所定の場面を仮想的にカメラ撮影する。撮影された画像は画像記録装置４１２に記録される。また、立体表示装置４０８へ出力される。
【０１６１】
例えば三次元データソフト４０２がゲームソフトであるとする。その場合、ユーザはゲーム中は立体表示ライブラリ３００によって適切な立体感を体験しながらゲームを実行できる。ゲーム中、ユーザが記録に残したい場合、例えば、対戦型戦闘ゲームで完全勝利をおさめたとき、ユーザインタフェイス４１０を介して撮影指示処理部４０６へ指示を出し、その場面を記録する。その際、立体表示ライブラリ３００を利用し、後に立体表示装置４０８で再生したときに適正視差となるよう視差画像が生成され、これが画像記録装置４１２の電子アルバム等へ記録される。なお、記録を視差画像という二次元画像で行うことにより、プログラム本体４０４の有する三次元データ自体は流出せず、著作権保護の面にも配慮することができる。
【０１６２】
図５４は、図５３の三次元データソフト４０２をネットワーク利用型のシステム４３０へ組み込んだ例を示す。
ゲーム機４３２は図示しないネットワークを介し、サーバ４３６と、ユーザ端末４３４に接続される。ゲーム機４３２は、いわゆるアーケードゲーム用で、通信部４４２、三次元データソフト４０２およびゲームをローカルに表示する立体表示装置４４０を備える。三次元データソフト４０２は図５３のものである。三次元データソフト４０２から立体表示装置４４０へ表示される視差画像は立体表示装置４４０について予め最適設定されている。三次元データソフト４０２による視差の調整は、後述のように通信部４４２を介してユーザへ画像を送信する際に利用される。ここで利用する表示装置は、視差を調整して立体画像を生成する機能を備えていればよく、必ずしも立体表示ができる装置でなくてもよい。
【０１６３】
ユーザ端末４３４は、通信部４５４、立体画像を見るためのビュアプログラム４５２および立体画像をローカルに表示する任意のサイズおよびタイプの立体表示装置４５０を備える。ビュアプログラム４５２には立体画像処理装置１００が実装されている。
【０１６４】
サーバ４３６は、通信部４６０、ゲームに関連してユーザが仮想的に撮影した画像を記録する画像保持部４６２、およびユーザの適正視差情報、ユーザのメールアドレスその他の個人情報などをユーザと対応づけて記録するユーザ情報保持部４６４を備える。サーバ４３６は例えばゲームの公式サイトとして機能し、ゲーム実行中にユーザが気に入った場面や名勝負の動画または静止画を記録する。立体表示は動画、静止画のいずれでも可能である。
【０１６５】
以上の構成における画像撮影の一例は以下の要領で行われる。ユーザは予めユーザ端末４３４の立体表示装置４５０で立体表示を行い、立体画像処理装置１００の機能をもとに適正視差を取得し、これを通信部４５４を介してサーバ４３６へ通知し、ユーザ情報保持部４６４へ格納してもらう。この適正視差は、ユーザの保有する立体表示装置４５０のハードウエアに関係のない汎用的な記述になっている。
【０１６６】
ユーザは任意のタイミングでゲーム機４３２によってゲームをする。その間、立体表示装置４４０には最初に設定されていた視差、またはユーザが手動調整した視差による立体表示がなされる。ゲームのプレイ中、またはリプレイ中、ユーザが画像の記録を希望すると、ゲーム機４３２の三次元データソフト４０２に内蔵された立体表示ライブラリ３００が、二つの通信部４４２、４６０を介してサーバ４３６のユーザ情報保持部４６４からこのユーザの適正視差を取得し、それに合わせて視差画像を生成し、再び二つの通信部４４２、４６０を介して画像保持部４６２へ仮想的に撮影された画像に関する視差画像を格納する。ユーザは自宅へ帰ったのち、この視差画像をユーザ端末４３４へダウンロードすれば、所望の立体感で立体表示ができる。その際も、ビュアプログラム４５２のもつ立体画像処理装置１００により、視差の手動調整は可能である。
【０１６７】
以上、この応用例によれば、本来、表示装置のハードウエアごと、ユーザごとに設定しなければならない立体感に関するプログラミングが立体画像処理装置１００および立体表示ライブラリ３００に集約されており、ゲームソフトのプログラマは立体表示に関する複雑な要件を一切気にする必要がない。これはゲームソフトに限らず、立体表示を利用する任意のソフトウエアについても同様であり、立体表示を利用するコンテンツやアプリケーションの開発の制約を解消する。したがって、これらの普及を飛躍的に促進することができる。
【０１６８】
特に、もともと三次元のＣＧデータが存在するゲームその他のアプリケーションの場合、従来は的確な立体表示をコーディングすることが困難であることも大きな原因となって、せっかく三次元データをもちながら、それを立体表示に利用しなかったことも多い。実施の形態に係る立体画像処理装置１００または立体表示ライブラリ３００によれば、そうした弊害を除去でき、立体表示アプリケーションの充実化に寄与することができる。
【０１６９】
なお、図５４ではユーザの適正視差をサーバ４３６に登録したが、ユーザはその情報を記録したＩＣカードなどを持参してゲーム機４３２を利用してもよい。このカードに、このゲームに関する得点や気に入った画像を記録してもよい。
【０１７０】
以上、本発明を実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、そうした例を挙げる。
【０１７１】
第１の立体画像処理装置１００は、三次元データを入力することにより、高い精度で処理が可能である。しかし、三次元データをいったんデプス情報付画像へ落とし、これに対して第３の立体画像処理装置１００を利用して視差画像を生成してもよい。場合により、そのほうが計算コストが低いことがある。同じように複数の視点画像を入力する際も、高精度の対応点マッチングを用いてデプスマップを作ることも可能で、このようにしてデプス情報付画像へ落とし、これに対して第３の立体画像処理装置１００を利用して視差画像を生成してもよい。
【０１７２】
第１の立体画像処理装置１００において、カメラ仮配置部１３０を立体画像処理装置１００の構成としたが、これは立体画像処理装置１００の前処理であってもよい。カメラの仮配置までは、適正視差に関係なく処理できるためである。同様に、第１、第２、第３の立体画像処理装置１００を構成する任意の処理ユニットを立体画像処理装置１００の外部へ出すことも可能であり、立体画像処理装置１００の構成の自由度の高さは当業者に理解されるところである。
【０１７３】
実施の形態では、視差の制御を水平方向に行う場合を説明したが、同様の処理は垂直方向についても実施できる。
【０１７４】
立体表示ライブラリ３００や立体画像処理装置１００の動作中は、文字データを拡大処理するユニットを設けてもよい。例えば水平２視点による視差画像の場合、ユーザの目に見える画像の水平解像度は１／２になる。その結果、文字の可読性が低下しうるので、水平方向へ２倍に文字を引き延ばす処理が有効である。垂直方向にも視差がある場合、同様に垂直方向へ文字を引き延ばすことも有用である。
【０１７５】
立体表示ライブラリ３００や立体画像処理装置１００の動作中は、表示している画像に「３Ｄ」などの文字やマークを入れる「動作中表示部」を設けてもよい。その場合、ユーザは視差の調整が可能な画像であるか否かを知ることができる。
【０１７６】
立体表示／通常表示の切替ユニットを設けてもよい。このユニットはＧＵＩを含み、ユーザが所定のボタンをクリックすると、表示が立体表示から通常の二次元表示に切り替わり、その反対も可能な構成とすれば便利である。
【０１７７】
情報取得部１１８は必ずしもユーザ入力により情報を取得するのではなく、プラグアンドプレイなどの機能により自動的に取得できる情報があってもよい。
【０１７８】
実施の形態では、ＥとＡを導出する方法をとったが、これらを固定し、他のパラメータを導出する方法であってもよく、変数の指定は自由である。
【０１７９】
立体表示に関して、別の表現手法について提案する。一般的な、平面の画像表示では、「ある界面をオブジェクトが通過する」と行った、特に奥行き方向の表現には現実味という点で限界がある。また、窓の面に実際に空間と空間を隔てる界面があることを観察者に認識させることは困難である。そこで、以下に説明するように立体画像表示装置において立体的に物体を表示することで画面や枠といった実体と、画像内に表現されるオブジェクト上の界面とが一致するように認識させることが可能となり、このような表示により新しい表現方法が生まれる。一般に、表示画面やその周辺の枠は視覚的に認知されるので、これを窓のように利用する表示方法が考えられ、その面に空間と空間の界面や、板状のオブジェクトを配置する指定が必要となる。この場合、図１８に示した位置関係では、光軸交差位置Ｄが指定される。
【０１８０】
図１８に示した撮影系の位置関係では、基本表現空間Ｔ内での近置および遠置の限界視差をそれぞれＰ、Ｑとすると、
Ｅ：Ｓ＝Ｐ：Ａ
Ｅ：Ｓ＋Ｔ＝Ｑ：Ｔ−Ａ
の関係式が得られた。これら関係式を近置、遠置の限界視差それぞれついて解くと、
Ｅ＝ＰＳ／Ａ
Ｅ＝Ｑ（Ｓ＋Ｔ）／（Ｔ−Ａ）
が得られる。これら二つのＥのうち小さい方のＥを選択することで、適正視差範囲の立体画像が得られる。
【０１８１】
図５５は、三次元データにより構成された画像が表示画面４００に表示されている状態を示している。この画像は、水槽４１０の一つのガラス面４０１が表示画面４００と一致しており、水槽４１０内を魚３０１が泳いでいることが表現されている。表示画面４００より奥を遠置空間、手前を近置空間となるようが処理がなされれば、魚３０１は、図５６に示すように通常は遠置空間を泳いでいるように表され、そして時折、図５７に示すように「魚３０１が表示画面４００を突き破って近置空間に現れる」というような表現ができる。さらに、魚３０１が表示画面４００を通り抜ける際、例えば、「表示画面４００の周辺から水しぶきが飛び、魚３０１が通り抜けると界面が再生される。」という表現もできる。別の表現の例として、例えば「表示画面より手前の近置空間には水がないので、魚３０１は近置空間でしばらく泳ぐと息苦しくなり、再び界面、つまり表示画面４００を突き抜けて遠置空間に戻る。」という表現もできる。
【０１８２】
なお、必ずしも物体が界面を通過し、その後、物体が通過する際に壊れた界面が再生される必要はなく、界面が壊れたままの状態としたり、物体の衝突にあわせて界面が変形するが通過しないとしたり、更にその際に衝撃のみ伝わる、映像上の効果として例えば電気ショックが加わる、など界面と物体の相互作用に関する様々な表現ができることは明らかである。また、界面は、単ある面でもよいが、ガラスのような板状の物体や紙などの薄い物体を配置してもよい。また、界面は表示画面に完全に一致する必要はなく、その近辺であればよい。以上のような表現効果は、平面的な画像では十分に観察者に状況を伝えることができないのは明らかである。特に立体画像の起点となるオリジナルデータが三次元データであると、上述のような効果を表現するための編集が容易となる。
【０１８３】
このような、表示すべきオブジェクトが有する界面を表示画面に一致させる表現は、図５８に示す手法により生成することができる。つまり、三次元空間に仮想的な水槽４１０が配置され、その左側方に配置された二つの仮想カメラ４３０、４４０から視差を持つ二つの画像が生成される。その際二つの仮想カメラ４３０、４４０の光軸交差位置を水槽の一つの面と一致させる。また、このような画像は、図５９のように撮影することもできる。実際の水槽４１０上部に二台の仮想カメラ４３０、４４０を配置し水槽４１０を撮影する。その際、二台のカメラの光軸交差位置を水面に一致させる。
【０１８４】
図６０は、以上の処理を実現するための第４の立体画像処理装置１００の構成を示す。この立体画像処理装置１００は、図１１で示した第１の立体画像処理装置１００の立体感調整部１１２にオブジェクト指定部１８０が更に設けられた構成である。このオブジェクト指定部１８０は、ユーザの指定を受けたオブジェクトの界面を表示画面付近に位置させる、もしくは一致させる処理を行う。ここで、ユーザとしては、立体画像の制作者を想定し、上述の処理は立体画像の制作もしくは編集時になされる。なお、ユーザは観察者であってもよい。
【０１８５】
まず図６０に示す立体画像処理装置１００に関してその処理手順を説明する。オブジェクト指定部１８０はマウスなどの所定の入力装置によってユーザから二つの仮想カメラ４３０、４４０の光軸交差面に対応させるオブジェクトの指定を受付け、その指定されたオブジェクトを視差制御部１１４に通知する。視差制御部１１４、より具体的にはカメラ配置決定部１３２は、ユーザから指定されたオブジェクトが有する平面を二つの仮想カメラ４３０、４４０の光軸交差面になるように調整する。この処理以外の動作は、図１１に示した立体画像処理装置１００の動作と同一でよい。このようにして決められたオブジェクトには、表示画面付近に表示させることを示す情報が付加される。表示の際には適宜、それを読み出して光軸の交差距離Ｄを決め、先に述べた処理によりカメラ間距離Ｅを決める。
【０１８６】
また、別の表現手法について提案する。表示画面に表示すべきオブジェクトが複数存在する場合、必ずしも全てのオブジェクトを常に適正視差内に収める必要はない。時には、効果的な表示のために、ある条件下で、例えば一定期間だけ、一部のオブジェクトを適正視差の条件から外して表示してもよい。この手法として、静止オブジェクトに対して基本表現空間を決定することを上述したが、より詳しくは、オブジェクト毎に、立体表示すべきオブジェクトが含まれる基本表現空間内に表現すべきオブジェクトであるかを判別する情報（以下、単に「識別情報」ともいう）を持たせればよい。なお、基本表現空間内に表現すべき対象を、「基本表現空間の算出対象」ともいう。そしてこの識別情報をもとに、随時基本表現空間が決定されればよい。
【０１８７】
識別情報が必要に応じて適宜変更できるように構成されていれば、適正視差から外す条件を柔軟に設定することが可能である。例えば、識別情報に適正視差条件から外す時間の指定が記述されていれば、指定された時間が過ぎれば自動的に適正視差の範囲に戻るようにすることもできる。
【０１８８】
なお、このように一時的に一部のオブジェクトを、適正視差条件から外して表示画面に表示するため手法を以下に示す。例えば、図１１に示した第１の立体画像処理装置１００において、カメラ配置決定部１３２は、適正視差にしたがって仮設定されたカメラパラメータを修正したが、さらにその機能を以下のように拡張すればよい。つまり、カメラ配置決定部１３２はオブジェクト毎に関連づけられている識別情報を読みとり、その識別情報を反映させる形でカメラパラメータを配置する。
【０１８９】
さらに別の表現手法について提案する。基本表現空間の前面および背面、つまり近置限界である前方投影面と遠置限界である後方投影面が、あるオブジェクトによって決定されると、オブジェクトに対応した空間の前後の空間を移動する表現ができなくなる。図６１は、第４の立体画像処理装置１００により表示される画像に関して便宜的に奥行き方向、特に基本表現空間Ｔについて表している。本図左側に前方投影面３１０と右側に後方投影面３１２が設定されており、前方投影面３１０と後方投影面３１２との間が基本表現空間Ｔとなる。基本表現空間Ｔの範囲内には、静止オブジェクトとして前方投影面３１０側に家３５０が、後方投影面３１２側には木３７０が表現されている。さらに、それら二つの静止オブジェクトの上方の空間を動的なオブジェクトである鳥３３０が前方へ移動している。鳥３３０は、基本表現空間Ｔの範囲内で移動していれば、その動きを表現できるが、前方投影面３１０または後方投影面３１２に達した場合、それ以降は、鳥３３０が図６１の左側に示した鳥３３０のように前方投影面、あるいは図示しないが後方投影面３１２に位置するオブジェクトとなり、鳥３３０が最大視差に固定され、実空間でさらに前方もしくは後方に移動することができない。もし、少しでもオブジェクトを移動しているように表現することができれば、オブジェクトに対する臨場感を保つことが可能となる。
【０１９０】
上述したように、動的なオブジェクトを基本表現空間Ｔの対象から外す処理が考えられるが、上述のようにある効果を狙う場合以外は、ユーザは違和感を覚える可能性があり、基本表現空間Ｔの範囲で表現することが好ましいことも多い。
【０１９１】
そこで、図６２に示すように、オブジェクトが何も存在しない領域を、基本表現空間Ｔに含ませる。図６２は、前方の静止オブジェクトの家３５０のさらに前方に、何も存在しない空間を基本表現空間Ｔの一部として設けておき、動的なオブジェクトである鳥３３０が家３５０の前方を移動できるようにしたものである。図６３はさらに、後方に置かれた静止オブジェクトの木３７０のさらに後方にも何も存在しない空間を基本表現空間Ｔの一部として設けたものである。これにより、例えば動的なオブジェクトである鳥３３０が後方より移動してきて、家３５０の前面にあたる位置を越えても、鳥３３０は基本表現空間Ｔの範囲内に位置しているため、さらに前方に移動しても適正視差で表現され、その移動に関して、ユーザである観察者は違和感を覚えることがない。
【０１９２】
また、図６４に示すように、例えば鳥３３０をそれ自身だけでなく前後の空間を含める形で、視差を計算する対象として移動オブジェクト３９０を形成しておく。移動オブジェクト３９０の最前面が、前方投影面３１０に達した場合、鳥３３０だけを移動させる。その場合、例えば鳥３３０の移動速度を本来の速度より遅くすることで、本来鳥３３０がすぐに前方投影面３１０に達してしまい、それ以降の移動が表現できなくなるまでの時間を遅くできる。
【０１９３】
また、図６５に示すように、例えば、移動オブジェクト３９０が前方投影面３１０を越えた後は、あらかじめ含めておいた空間の中で鳥３３０を移動させてもよい。これにより最大視差は移動オブジェクト３９０で決まり、鳥３３０は少しづつその最大視差に近づくため、実空間で前に移動し続けることが可能になる。これは、オブジェクト、つまり鳥３３０の位置によって移動させることを有効にするか無効にするかを判定すれば実現できる。移動速度は、本来想定されている移動速度や、速い速度、遅い速度のいずれに設定されてもよく、移動速度に柔軟性を持たせることで、様々な表現が可能となる。例えば、移動オブジェクト３９０の端に近付くほど移動速度を遅く変更することで、前後方向に伴い視差量が過度に大きくなるのを防ぎながら前への移動を表現できる。
【０１９４】
また、もし、他のオブジェクトが更にその前後に出現する場合、最大視差は、今度はそのオブジェクトに依存することになるので、鳥３３０を移動オブジェクト３９０内のもとの位置に少しづつ戻す。
【０１９５】
次に、最大視差を変化させながら急激な視差の変化を防ぐ原理を、先に示した図１７および図１８をもとに説明する。上述のごとく、
ｔａｎ（φ／２）＝Ｍｔａｎ（θ／２）／Ｌ
Ｅ：Ｓ＝Ｐ：Ａ
Ｐ＝２（Ｓ＋Ａ）ｔａｎ（φ／２）
の関係が成り立ち、これらの式より、あるカメラ設定において、あるオブジェクトの近置側の視差量は、
Ｍ＝ＬＥＡ／（２Ｓ（Ａ＋Ｓ）ｔａｎ（θ／２））
と表すことができる。ここで、このオブジェクトが前方に移動すると、カメラ設定を変更しなければ、Ａが大きくなりＳが小さくなるので視差量は大きくなる。
【０１９６】
ここで、オブジェクトが前方に移動した際に、ＭがＭ’に、ＳがＳ’、ＡがＡ’となったとすると、
Ｍ’＝ＬＥＡ’／（２Ｓ’（Ａ’＋Ｓ’）ｔａｎ（θ／２））
Ｍ＜Ｍ’
と表すことができる。
【０１９７】
カメラ設定のうち、ＥとＡ’を変更し、
Ｍ”＝ＬＥ”Ａ”／（２Ｓ’（Ａ”＋Ｓ’）ｔａｎ（θ／２））
と変換し、このとき
Ｍ＜Ｍ”＜Ｍ’
の関係を満たせば、観察者に向かって移動するオブジェクトを立体表示する際に、急激な視差量の変化を防ぐことができる。なお、ＥまたはＡ’のいずれかのみを変更してもよい。このとき、Ｍ”は、
Ｍ”＝ＬＥ”Ａ’／（２Ｓ’（Ａ’＋Ｓ’）ｔａｎ（θ／２））
または、
Ｍ”＝ＬＥＡ”／（２Ｓ’（Ａ”＋Ｓ’）ｔａｎ（θ／２））
と表される。
【０１９８】
オブジェクトの奥に向かう動きに対して、急激な視差量の変化を防ぐには、
Ｍ＞Ｍ”＞Ｍ’
の関係を満たせばよい。
【０１９９】
また、遠置側の視差量Ｎに関しても同様にしても、
Ｎ＝ＬＥ（Ｔ−Ａ）／（２（Ｔ＋Ｓ）（Ａ＋Ｓ）ｔａｎ（θ／２））
であり、同様に、
Ｎ’＝ＬＥ（Ｔ−Ａ’）／（２（Ｔ＋Ｓ’）（Ａ’＋Ｓ’）ｔａｎ（θ／２））
Ｎ”＝ＬＥ”（Ｔ−Ａ”）／（２（Ｔ＋Ｓ’）（Ａ”＋Ｓ’）ｔａｎ（θ／２））
を求める。ここで
Ｎ＞Ｎ”＞Ｎ’
の関係を満たせば、オブジェクトの観察者に向かう動きに対して、現実の座標上の移動速度は、急激な視差量の変化を防ぐことができ、また、
Ｎ＜Ｎ”＜Ｎ’
の関係を満たせば、オブジェクトの奥に向かう動きに対して、急激な視差量の変化を防ぐことができる。
【０２００】
以上、図６１から図６５で示したような表現手法を実現する立体画像表示装置１００の構成を説明する。この立体画像表示装置１００では、図６０で示した立体画像表示装置１００で実現できる。ただし、カメラ配置決定部１３２は、適正視差にしたがって仮設定されたカメラパラメータを修正する際に、オリジナルデータから、基本表現空間の算出対象となる範囲に関する情報やオブジェクトの視差量の変更に関する情報を読みとりそれをカメラパラメータに反映させる機能を更に有す。この情報は、オリジナルデータ自身に盛り込まれていてもよいし、例えば、視差情報保持部１２０に保持されてもよい。
【０２０１】
実施の形態では、例えば、球が正しく見えるような正しい視差状態に対して、適正視差処理によって視差が大きすぎる状態であると判断されれば、立体画像の視差が小さくなるように処理された。このとき、球が奥行き方向につぶれたような形状に見えるが、一般的にこのような表示に対する違和感は小さい。人は、通常、平面画像を見慣れているため、視差が０の状態と正しい視差の状態との間であれば、人は違和感を覚えないことが多い。
【０２０２】
逆に、球が正しく見えるような視差状態に対して、適正視差処理で立体画像の視差が小さくなりすぎると判断されれば、視差が大きくなるように処理される。このとき、例えば球は奥行き方向に膨らんだような形状に見え、このような表示に対しては人は違和感を大きく覚えることがある。
【０２０３】
単体のオブジェクトを立体表示する際などに、上述のような人が違和感を覚える現象が起こりやすく、建物や乗り物など、実生活で眼にする物体の表示では、特に、この視差の違いによる見え方の違和感が明確に認識される傾向がある。そこで、その違和感を低減するためには、視差が大きくなるような処理に対しては、補正を加える必要がある。
【０２０４】
三次元データにより立体画像が生成される場合は、カメラの配置を変更することで、視差の調整が比較的容易に行うことができる。図６６から図７１をもとに、視差の補正手順を示す。また、この視差の補正は、上述の第１から第４の立体画像処理装置１００により行うことができる。ここでは、図１１に示した第１の立体画像処理装置１００によって、三次元データにより立体画像が生成されることを想定する。なお、後述する第４、第６の立体画像表示装置１００でも上述の補正処理は実現できる。
【０２０５】
図６６は、ある立体画像表示装置１００の表示画面４００において、観察者が立体画像を観察している様子を示している。表示画面４００の画面サイズがＬ、表示画面４００と観察者との距離がｄ、眼間距離がｅである。更に、近置限界視差Ｍと遠置限界視差Ｎは立体感調整部１１２により予め得られており、近置限界視差Ｍと遠置限界視差Ｎの間が適正視差となる。ここでは、理解を容易にするために近置限界視差Ｍのみを表示しており、この値から最大飛び出し量ｍが定まる。飛び出し量ｍとは、表示画面４００から近置点までの距離を指す。なお、Ｌ、Ｍ、Ｎの単位は「画素」であり、他のｄ、ｍ、ｅ等のパラメータと異なり、本来は所定の変換式を用いて調整する必要があるが、ここでは説明を容易にするため同じ単位系で表している。
【０２０６】
このとき、球２１を表示するために、球２１の最近置点と最遠置点とを基準として、視差制御部１１４のカメラ配置決定部１３２によってカメラ配置が図６７のように決められたとする。二つのカメラ２２、２４の光軸交差距離がＤ、それらカメラ間隔がＥｃである。ただし、パラメータの比較を容易にするために、光軸交差距離におけるカメラの見込み幅が画面サイズＬと一致するように座標系の拡大縮小処理がなされている。このとき、例えばカメラ間隔Ｅｃが眼間距離ｅに等しく、光軸交差距離Ｄが観察距離ｄより小さかったとする。すると、この系は、図６８のように、図６７に示したカメラ位置から観察者が観察すると球２１が正しく見える。このような撮影系で生成された画像をもとの立体画像表示装置１００で球２１を観察すると、図６９のように、適正視差範囲全体にわたって奥行き方向に伸びた球２１が観察される。
【０２０７】
この原理を用いて、立体画像に対して補正が必要か否かを判断する手法を以下に示す。図７０は、図６７に示したカメラ配置で、表示画面４００からの距離がＡに位置する球の最近置点を撮影する様子を示している。このとき、二つのカメラ２２、２４のそれぞれと距離Ａの位置する点を結んでできる二つの直線によって、距離Ａに対応する最大視差Ｍが求まる。更に、図７１は、二つのカメラ２２、２４とカメラの光軸公差距離をｄとしたときに、図７０で示した視差Ｍを得るために必要なカメラ間隔Ｅ１を表している。これは、カメラ間隔以外の撮影系のパラメータを全て観察系のパラメータと一致させる変換ということができる。図７０および図７１には次の関係が成り立つ。
Ｍ：Ａ＝Ｅｃ：Ｄ−Ａ
Ｍ：Ａ＝Ｅ１：ｄ−Ａ
Ｅｃ＝Ｅ１（Ｄ−Ａ）／（ｄ−Ａ）
Ｅ１＝Ｅｃ（ｄ−Ａ）／（Ｄ−Ａ）
そして、このＥ１が眼間距離ｅより大きいときに視差が小さくなるような補正が必要と判断される。Ｅ１を眼間距離ｅにすればよいので、次式のようにＥｃを補正すればよい。
Ｅｃ＝ｅ（Ｄ−Ａ）／（ｄ−Ａ）
【０２０８】
最遠置点についても同様で、図７２、および図７３において、球２１の最近置点と最遠置点の距離を基本表現空間であるＴとすると、
Ｎ：Ｔ−Ａ＝Ｅｃ：Ｄ＋Ｔ−Ａ
Ｎ：Ｔ−Ａ＝Ｅ２：ｄ＋Ｔ−Ａ
Ｅｃ＝Ｅ２（Ｄ＋Ｔ−Ａ）／（ｄ＋Ｔ−Ａ）
Ｅ２＝Ｅｃ（ｄ＋Ｔ−Ａ）／（Ｄ＋Ｔ−Ａ）
更に、このＥ２が眼間距離ｅより大きいときに、補正が必要と判断される。続いて、Ｅ２を眼間距離ｅにすればよいので、次式のようにＥｃを補正すればよい。
Ｅｃ＝ｅ（Ｄ＋Ｔ−Ａ）／（ｄ＋Ｔ−Ａ）
【０２０９】
最終的には、最近置点、最遠置点からそれぞれ得られた二つのＥｃのうち、小さい方を選択すれば、近置および遠置のいずれに関しても視差が大きくなりすぎることがなくなる。この選択されたＥｃをもとの三次元空間の座標系にもどしてカメラを設定する。
【０２１０】
より、一般的には、
Ｅｃ＜ｅ（Ｄ−Ａ）／（ｄ−Ａ）
Ｅｃ＜ｅ（Ｄ＋Ｔ−Ａ）／（ｄ＋Ｔ−Ａ）
の２式を同時に満たすようにカメラ間隔Ｅｃを設定すればよい。これは、図７４および図７５において、観察距離ｄの位置に眼間距離ｅの間隔で置かれた二つのカメラ２２、２４と、オブジェクトの最近置点とを結ぶ二つの光軸Ｋ４上、または上記二つのカメラ２２、２４と最遠置点を結ぶ二つの光軸Ｋ５上に二つのカメラを配置したときの間隔が、カメラ間隔Ｅｃの上限であることを示している。つまり、図７４における二つの光軸Ｋ４の間隔、もしくは図７５における二つの光軸Ｋ５の間隔のうち狭い方の光軸の間に含まれるように二つのカメラ２２、２４を配置すればよい。
【０２１１】
なお、ここで光軸交差距離を変更せずにカメラ間隔のみで補正を行ったが、光軸交差距離を変更し、オブジェクトの位置を変更してもよいし、カメラ間隔および光軸交差距離の両方を変更してもよい。
【０２１２】
デプスマップを利用する場合も補正が必要となる。デプスマップ値がその点のずらし量を画素数で表しており、初期値、一般にはオリジナルデータに記述されている値が最適な立体視を実現する状態であるとすれば、適正視差処理で、デプスマップ値の範囲を大きくする必要が生じたときには上記の処理を行わず、デプスマップ値の範囲を小さくする必要が生じたとき、つまり視差を小さくする必要が生じたときのみ、上記処理を行えばよい。
【０２１３】
また、初期値の視差が小さめに設定されている場合には、最大許容値を画像のヘッダ領域などに保持し、その最大許容値に収まるように適正視差処理を行えばよい。これらの場合、適正距離に関してハードウエア情報が必要となるが、先に示したハードウエア情報に依存しない場合の処理と比べ、より高性能な処理が実現できる。以上の処理は、視差が自動設定される場合だけでなく、手動で設定している場合の処理としても利用できる。
【０２１４】
また、観察者が違和感を覚える視差の限界は、画像によって異なる。一般に、模様や色の変化が少ない画像で、エッジが目立つような画像は、視差を大きくつけるとクロストークが目立つ。また、エッジの両側の輝度差が大きい画像も、視差を強くつけるとクロストークが目立つ。つまり、立体表示すべき画像、つまり視差画像、さらには視点画像において、高周波成分が少ない場合に、ユーザはその画像を視た際に違和感を覚える傾向がある。そこで、画像をフーリエ変換などでの手法で周波数解析し、その解析の結果得られた周波成分の分布に応じて適正視差に補正を加えるとよい。つまり、高周波成分の量が多い画像に関しては、視差が適正視差よりも大きくなる補正を加える。
【０２１５】
また、更に動きの少ない画像はクロストークが目立つ。一般に、ファイル名の拡張子を調べることで、ファイルの種類が動画か静止画であるかが分かることが多い。そこで、動画像と判定された場合には、動きベクトルなどの既知の動き検出手法で、動きの状態を検出し、その状態に応じて適正視差量に補正を加えてもよい。つまり、動きの少ない画像には、視差が本来の視差よりも小さくなるような補正を加える。一方、動きの多い画像には、補正を加えない。または、動きを強調したい場合などは視差が本来の視差よりも大きくなるような補正を加えてもよい。なお、適正視差の補正は一例で、予め決められた視差範囲であればどのようなものでも補正ができる。また、デプスマップを補正することもできるし、視差画像の合成位置ずらしの量を補正することもできる。
【０２１６】
また、これらの分析結果をファイルのヘッダ領域に記録して、立体画像処理装置がそのヘッダを読みとり、次回以降の立体画像の表示の際に利用してもよい。
【０２１７】
また、高周波成分の量や動き分布は、画像の作成者やユーザによって実際の立体視によりランク付けがなされてもよいし、複数の評価者による立体視でランク付けを行い、その平均値が利用されてもよく、そのランク付けの手法は問わない。
【０２１８】
また、適正視差は厳密に守られる必要はなく、カメラパラメータの算出は常時行う必要はなく、一定時間ごとやシーンチェンジごと等に行ってもよい。特に、処理能力の低い装置により行われる場合に有効である。例えば、一定時間毎にカメラパラメータを算出する場合、三次元データから立体画像を生成するケースでは第１の立体画像処理装置１００において、視差制御部１１４は内部タイマを利用し一定周期毎にカメラ配置決定部１３２に対して、カメラパラメータの再算出を指示すればよい。内部タイマは、立体画像処理装置１００の演算処理を行うＣＰＵの基準周波数を利用してもよいし、専用タイマを別途設けてもよい。
【０２１９】
図７６は、画像の状態に応じて適正視差を算出することを実現する第５の立体画像処理装置１００の構成を示している。ここでは図１１に示した第１の立体画像処理装置１００において、新たに画像判定部１９０が設けられている。それ以外の構成および動作は同一なので異なる点を主に説明する。この画像判定部１９０は、画像の周波数成分を解析し高周波成分の量を求め、その画像に適した視差を視差制御部１１４に通知する周波数成分検出部１９２と、オリジナルデータが動画像であればシーンチェンジを検出したり、画像内の動きを検出したりすることでカメラパラメータの算出タイミングを視差制御部１１４に通知するシーン判定部１９４を備える。シーンチェンジの検出は、既知の手法を用いて行えばよい。
【０２２０】
オリジナルデータが動画像であるとき、画像の高周波成分の量により適正視差を調整する処理を常時行うと周波数成分検出部１９２の処理負荷が大きくなる。その処理負荷に見合う演算処理装置を使用すると立体画像処理装置１００のコストアップとなる懸念がある。上述のように適正視差は常時厳密に守られる必要がないので、シーン判定部１９０の検出結果を基にシーンチェンジなどのように画像が大きく変化するときに画像の周波数成分を分析する構成とすることで、画像判定分１９０の処理負荷を低減できる。
【０２２１】
三次元空間において複数の仮想カメラを配置し、それら仮想カメラそれぞれに対応する視差画像を生成するときに、それら視差画像内にオブジェクトの情報が存在しない領域が発生してしまうことがある。以下に、三次元データを起点として立体画像を生成する場合を例に、視差画像内にオブジェクトの情報が存在しない領域が発生する原理を説明するとともに、その解消手法を説明する。図７７は、三次元データを作成する制作者により設定される仮カメラ位置Ｓ（Ｘｓ、Ｙｓ、Ｚｓ）、画角θ、および第１から第３のオブジェクト７００、７０２、７０４の関係を示している。
【０２２２】
仮カメラ位置Ｓ（Ｘｓ、Ｙｓ、Ｚｓ）は、複数の仮想カメラをもとにそれぞれの視差画像を生成する際に、それら仮想カメラの中心となる（以下、カメラ群中心位置Ｓともいう）。第１のオブジェクト７００は、背景に当たる。ここで制作者は、画角θ内に第２および第３のオブジェクト７０２、７０４が収まるとともに、背景画像である第１のオブジェクト７００によって画角θ内にオブジェクトの情報が存在するよう、画角θおよびカメラ群中心位置Ｓを設定する。
【０２２３】
つぎに、所定のプログラムにより、図７８に示すように所望の視差が得られるよう、さらに近置および遠置の基準である光軸交差位置Ａ（Ｘａ、Ｙａ、Ｚａ）が得られるように、二つの仮想カメラ７２２、７２４のパラメータ、具体的にはカメラ位置およびそれぞれの光軸が定まる。このとき、画角θが先に定められた値と等しい場合、それら二つの仮想カメラ７２２、７２４のカメラ位置では、例えば、背景画像である第１のオブジェクトの大きさによっては、本図で示すようにオブジェクトの情報が存在しない第１および第２のオブジェクトゼロ領域７４０、７４２が発生する。
【０２２４】
第１のオブジェクトゼロ領域７４０は、角度で表すとα、第２のオブジェクトゼロ領域７４２は、βであり、これらの角度範囲にはオブジェクト情報が存在しない。従って、図７９に示すように、これらαとβが無くなるように画角θを調整すればよい。つまり、αとβの値のうち、大きいほうの値を画角θから減算する。このとき、光軸方向を変更しないようにするために、画角θの左右両方から減算すべき値を減らすため、新しい画角θ１はθ１＝θ１―２×αまたはθ１―２×βから定められる。ただし、αやβは、視差画像からは即座に判明しない場合もあるので、少しずつ画角θを調整し、そのたびに視差画像内にオブジェクトの情報が存在しない領域が発生しているか否かを確認してもよい。また、オブジェクトの情報が存在しない領域の有無は、実際には、表示画面の画素に入力すべきデータがあるか否かにより確認すればよい。また、画角θの調整のみで全画素にオブジェクト情報が存在するように調整するに限らず、カメラ間隔Ｅや光軸交差位置Ａを変更してもよい。
【０２２５】
図８０は、画角調整の処理を示すフローチャートである。この画角調整の処理は、図１１に示した第１の立体画像表示装置１００で実現可能である。まず、立体画像表示装置１００に立体画像の起点となるオリジナルデータが入力されると、カメラ仮配置部１３０は、カメラ群中心位置Ｓを決定する（Ｓ１１０）。つづいて、カメラ配置決定部１３２は、そのカメラ群中心位置Ｓをもとに、カメラ画角θを決定し（Ｓ１１２）、カメラ間隔Ｅを決定し（Ｓ１１４）、仮想カメラの光軸交差位置Ａを決定する（Ｓ１１６）。さらに、カメラ配置決定部１３２はオリジナルデータに対しカメラ間隔Ｅおよび光軸交差位置Ａに基づき座標変換処理を行い（Ｓ１１８）、表示画面の全画素にオブジェクトの情報が存在するか否かを判定する（Ｓ１２０）。
【０２２６】
オブジェクトの情報がない画素が存在する場合（Ｓ１２０のＮ）、画角θを少し狭める補正を行い（Ｓ１２２）、Ｓ１１４の処理に戻り、以降、全画素にオブジェクト情報が存在するようになるまで、Ｓ１１４からＳ１２０までの処理を継続する。ただし、画角θの補正のみで全画素にオブジェクト情報が存在するように調整する場合、Ｓ１１４のカメラ間隔Ｅの決定処理およびＳ１１６の光軸交差位置Ａの決定処理はスキップする。全画素にオブジェクト情報が存在する場合（Ｓ１２０のＹ）、この画角調整の処理は終了となる。
【０２２７】
上記実施の形態では、主に三次元データを起点に生成される立体画像に関して説明した。以下に、実写画像を起点に立体画像を表現する手法に関して説明する。三次元データを起点にする場合と、実写画像を起点にする場合との差異は、実写画像を起点にする場合には、基本表現空間の奥行きＴの概念がないことである。これは、適正視差表示が可能な奥行き範囲Ｔと言い換えることができる。
【０２２８】
図１７および図１８に示したように、立体画像を生成するためのカメラ設定に必要なパラメータはカメラ間隔Ｅ、光軸交差距離Ａ、画角θ、基本表現空間の前面である前方投影面３０からカメラ配置面、すなわち視点面２０８までの距離Ｓ、光軸交差面２１０の視点面２０８からの距離Ｄ、奥行き範囲Ｔの６種類である。そしてこれらの間には、以下の関係式が満たされる。
Ｅ＝２（Ｓ＋Ａ）ｔａｎ（θ／２）・（ＳＭ＋ＳＮ＋ＴＮ）／（ＬＴ）
Ａ＝ＳＴＭ／（ＳＭ＋ＳＮ＋ＴＮ）
Ｄ＝Ｓ＋Ａ
したがって、６種類のパラメータＥ、Ａ、θ、Ｓ、Ｄ、Ｔのうち、３種類を指定すれば、残りのパラメータを算出できる。一般に、いずれのパラメータを指定するかは自由であるが、先に示した実施の形態では、θ、Ｓ、Ｔを指定し、Ｅ、Ａ、Ｄを算出した。θやＳを自動的に変更すると拡大率が変わるため、プログラマや撮影者が意図する表現ができなくなる恐れがあり、これらを自動的に決めることは好ましくないことが多い。Ｔについても、表現範囲の制限を表すパラメータともいえ、予め決めるのが好ましい。そして、三次元データの場合には、いずれのパラメータを変えるのも手間はほとんど同一である。ところが、実写の場合には異なる。カメラの構造によっては価格が大きく異なるうえに、操作性も変わるため、用途に応じて指定するパラメータを変えることが望ましい。
【０２２９】
図８１は、娯楽施設や写真館などで立体写真を撮影する立体写真撮影装置５１０と被写体５５２との関係を示している。この立体写真撮影装置５１０は、カメラ５５０と立体画像処理装置１００とを含んで構成されている。ここでは、撮影環境が固定される。つまり、カメラ５５０の位置と被写体５５２の位置が予め決められており、パラメータとしてθ、Ｓ、Ｔが決まっている。この撮影系は、図１８に示した例を、実際のカメラ５５０に置き換えた状態であり、二つのレンズ５２２、５２４が一台のカメラ５５０に備わり、このカメラ５５０のみで立体画像の基点となる二つの視差画像を撮影できる。
【０２３０】
図８２は、この処理を行う第６の立体画像処理装置１００の構成を示す。この立体画像処理装置１００は、図１２に示した立体画像処理装置１００において、視差検出部１５０をカメラ制御部１５１に置き換えたものである。カメラ制御部１５１は、レンズ間隔調整部１５３と光軸調整部１５５を有する。
【０２３１】
レンズ間隔調整部１５３は、二つのレンズ５２２、５２４の位置を調整することでカメラ間隔Ｅ、より詳細に言うとレンズ間隔Ｅを調整する。また、光軸調整部１５５は、二つのレンズ５２２、５２４それぞれの光軸方向を変更して、Ｄを調整する。被写体５５２は、自宅などに保有している立体画像表示装置の適正視差情報を、メモリやカードなどの持ち運び可能な記録媒体や、インターネットなどの通信手段を通じて入力する。情報取得部１１８が、この適正視差の入力を受け付け、カメラ制御部１５１に通知する。その通知を受けて、カメラ制御部１５１はＥ、Ａ、Ｄを算出し、レンズ５２２、５２４の調整することで、カメラ５５０は適正な視差で撮影を行う。これは、ライブラリにより、被写体が表示される立体表示装置と立体写真撮影装置５１０との処理が共通化されていることで実現する。
【０２３２】
なお、表示の際に被写体を画面上に配置したい場合は、Ｄ、Ａも決めておき、被写体をＤに位置させて撮影すればよく、この場合は、近置と遠置で別々に適正視差の計算を行い、Ｅが小さくなる方を選択すればよい。また、Ｔは、被写体が占める範囲より大きくしてもよい。背景がある場合、背景を含めてＴを決定するとよい。
【０２３３】
また、適正視差情報は、必ずしも被写体であるユーザが所有する立体画像表示装置で調べたものである必要はない。例えば、撮影現場で典型的な立体画像表示装置で好みの立体感を選択してもよい。この選択は、立体感調整部１１２により可能である。あるいは、単に「画面上／遠置／近置」、「立体感：大／中／小」のような項目から選択し、それらに対応して視差情報保持部１２０に保持されている、予め決められたカメラパラメータが用いられてもよい。また、光軸交差位置の変更は機構構造で変更されてもよいが、解像度の高いＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を用いて、画像として利用する範囲を変えることで実現されてもよい。この処理には位置シフト部１６０の機能を使えばよい。
【０２３４】
図８３は、人間が入ることができない場所に移動可能なカメラ５５０が設置され、コントローラ５１９を使った遠隔操作によりそのカメラ５５０が操作され、撮影されている映像を立体画像表示装置５１１で観察している様子を示している。立体画像表示装置５１１には、図８２で示した構成の立体画像表示装置１００が組み込まれている。
【０２３５】
カメラ５５０には、レンズ間隔Ｅが自動調整できる機構がついている。またこのカメラ５５０には光学ズームもしくは電子ズーム機能がついており、これによりθが決まる。ところが、このズーム操作により視差量が変化する。一般に遠くを撮影するほど表示の際に視点間の光軸の成す角度が小さくなるので、そのレンズ間隔Ｅでは視差が小さくなり立体感が乏しくなる。そこで、レンズ間隔Ｅやズーム量などのカメラ設定を適切に変更する必要が生じる。ここでは、このような場合にカメラ設定を自動的に制御し、煩雑なカメラ設定を大幅に軽減する。なお、コントローラ５１９を使用して、カメラ設定を調整してもよい。
【０２３６】
操作者は、まずコントローラ５１９を使い光学ズームもしくは電子ズームを操作すると、θが決定される。次に、カメラ５５０を動かし、撮影したい被写体を立体表示装置５１１において中央に表示させる。カメラ５５０はオートフォーカスの機能により被写体に焦点を合わせ、同時に距離を取得する。初期状態では、この距離をＤとする。つまり、被写体が表示画面付近に位置して見えるようにカメラ５５０を自動設定する。Ｔは手動で範囲を変更でき、操作者は予め前後関係を把握したい物体の奥行き方向の分布を指定しておく。こうして、θ、Ｄ、Ｔが決まる。それによって、先に示した３つの関係式よりＥ、Ａ、Ｓが決まり、カメラ５５０が適切に自動調整される。この例の場合には、Ｓが後から決まるため、Ｔが最終的にどの範囲となるかは不確定である。そこで、Ｔはある程度大きく設定しておくとよい。
【０２３７】
なお、被写体を画面端に表示したい場合には、一度被写体を中央に表示し、所定のボタンを押して焦点およびＤを固定できるようにし、その後カメラ５５０の向きを変更すればよい。また、焦点やＤを手動でに変更できるようにすれば、被写体の奥行き位置を自由に変えることができる。
【０２３８】
図８４は、立体画像撮影装置５１０による撮影の一例を示す。立体画像撮影装置５１０は、図８２で示した構成を有する。このカメラ５５０には、予め撮影者が保持する立体画像表示装置の適正視差が、持ち運び可能なメモリなどの記録媒体やインターネットなどの通信手段を通じて入力されている。ここでは、カメラ５５０として、簡単な構造を有する、比較的低価格で入手可能なカメラを想定する。ここでは、カメラ間隔Ｅ、光軸交差距離Ｄ、画角θが固定されており、先に示した３つの関係式よりＡ、Ｓ、Ｔが決まる。これらの値から被写体までの距離の適切な範囲を計算することができるので、被写体までの距離を実時間で測定し、計算された距離が適切であるかどうかをメッセージやランプの色などで撮影者に通知できる。被写体までの距離は、オートフォーカスの距離測定機能など既知の技術で取得すればよい。
【０２３９】
以上のように、いずれのカメラパラメータを変数または定数とするかの組合せは自由で、用途に合わせて様々な形態がある。また、カメラ５５０は上記以外にも、顕微鏡、医療用の内視鏡、携帯端末など様々な機器に取り付けられた形態が考えられる。
【０２４０】
なお、特定の立体表示装置に対して視差を最適化すると、他の立体表示装置で立体視が困難な場合がある。しかし、一般的に装置の性能は向上するものであり、次に購入する立体表示装置に対しては視差が大きすぎると言うことは稀と考えられる。むしろ、撮影装置の設定不備により、立体表示装置の性能に関係なく立体視が困難となる危険を避けるために、上記のような調整を行うことは重要である。なお、ここで、立体表示装置とは、立体視を実現するための立体画像処理装置を備える構成とする。
【０２４１】
第１から第６の立体画像処理装置１００の立体感調整部１１２で得られる適正視差は、特定の立体画像処理装置１００に対してユーザが立体視しながら決めるパラメータであり、その立体画像処理装置１００においては、以後その適正視差が守られる。この立体感調整の操作には立体表示装置固有の「画像分離性能」と観察者固有の「生理的限界」という二つの因子が加味されている。「画像分離性能」とは複数の視点画像を分離する性能を表す客観的因子で、この性能が低い立体表示装置はほとんど視差を付けていなくともクロストークが感知されやすく、複数の観察者が調整を行った場合の適正視差の範囲は平均的に狭くなる。逆に、画像分離性能が高ければ大きな視差を付けてもクロストークはほとんど感知されず、適正視差の範囲は平均的に広くなる傾向がある。一方、「生理的限界」は主観的因子で、例えば画像分離性能が非常に高く完全に画像が分離していても、観察者によって不快感を覚えない視差範囲が異なる。これは、同じ立体画像処理装置１００における適正視差のばらつきとして現れる。
【０２４２】
画像分離性能は分離度とも呼ばれ、図８５のように最適観察距離で照度計５７０を水平方向に移動しながら基準画像５７２の照度を測定する方法で決めることができる。その際、２眼式の場合は例えば左眼画像に全白を表示し、右眼画像に全黒を表示する。画像が完全に分離していれば、右眼画像が見える位置の照度は０になる。それに対して、左眼画像の白の漏れの程度を測定することで、画像分離性能が得られる。本図、右端のグラフは測定結果の例である。また、この測定は、モアレの濃淡を測定することとほとんど等価であるので、図８６のようなモアレが観察される距離でモアレ画像を取り込み、その濃淡を解析することでも画像分離性能を測定することができる。
【０２４３】
メガネ式の立体表示装置などでも、同じように漏れ光を測定することで画像分離性能を測定することができる。また、実際には、左右両方の画像を全黒としたときの測定値をバックグラウンドとして加味して計算してもよい。また、画像分離性能は、多数の観察者によるランク付け評価の平均値で決定することもできる。
【０２４４】
このように、立体表示装置の画像分離性能については客観的な数値などの判断基準を与えることができるので、例えば、ユーザ保有の図５４の立体表示装置４５０のランクとその立体表示装置４５０に対するユーザの適正視差が分かれば、他の立体表示装置４４０のランクにあうよう適正視差を変換することができる。また、立体表示装置には画面サイズ、画素ピッチ、最適観察距離などの固有値となるパラメータもあり、これらパラメータの情報も適正視差の変換には利用する。
【０２４５】
以下に、適正視差の変換例について、図８７および図８８を用いてパラメータ毎に順に説明する。ここでは、適正視差は、Ｎ／ＬとＭ／Ｌにより保持されているものとする。ここで、Ｍは近置限界視差、Ｎは遠置限界視差、Ｌは画面サイズである。このように比の値で表すことで、立体表示装置間の画素ピッチの違いを無視することができる。そこで、以下に使用する図では、説明を容易にするために画素ピッチが等しいとして説明する。
【０２４６】
まず、画面サイズの違いに対する変換について説明する。図８７に示すように、画面サイズによらず視差の絶対値を変えないように処理するのが好ましい。つまり、前後方向の立体表現範囲を同じにする。図上側に示す状態から下側に示す状態のように、画面サイズがａ倍になったとする。このとき、Ｎ／ＬをＮ／（ａＬ）に変換し、Ｍ／ＬをＭ／（ａＬ）に変換することで画面サイズが異なる場合でも、適正視差が実現される。本図では最近置点の例を示している。
【０２４７】
次に、観察距離の違いに対する変換について説明する。図８８に示すように、最適観察距離ｄがｂ倍になれば、視差の絶対値もｂ倍にするのが好ましい。つまり、眼が見込む視差の角度を一定に保つ。従って、Ｎ／ＬをｂＮ／Ｌに変換し、Ｍ／ＬをｂＭ／Ｌに変換することで最適観察距離が異なる場合でも、適正視差が実現される。本図では、最近置点の例として表している。
【０２４８】
最後に、画像分離性能の因子を加味することに関して説明する。ここでは、画像分離性能のランクｒを０以上の整数であるとし、視差を付けることができないほど性能が悪いものを０とする。そして、第１の立体表示装置の画像分離性能をｒ０とし、第２の立体表示装置の画像分離性能をｒ１とすると、ｃ＝ｒ１／ｒ０として、Ｎ／ＬをｃＮ／Ｌに、Ｍ／ＬをｃＭ／Ｌに変換する。これによって画像分解性が異なる立体表示装置であっても、適正視差が実現される。なお、ここで示した、ｃを導出するた式は一例であり、他の数式から導出してもよい。
【０２４９】
以上の処理を全て行うと、結局、Ｎ／ＬはｂｃＮ／（ａＬ）に、Ｍ／ＬをｂｃＭ／（ａＬ）に変換される。なお、この変換は、水平方向の視差、垂直方向の視差のいずれにも適用できる。なお、以上の適正視差の変換は、図５２、図５３、および図５４で示した構成で実現できる。
【０２５０】
また、基本表現空間の前面と背面はＺバッファを利用して決められてもよい。Ｚバッファは陰面処理の手法で、カメラから視たオブジェクト群のデプスマップが得られる。このＺ値を取り除く最小値と最大値を、最前面、最背面の位置として用いてもよい。処理としては、仮想カメラの位置からＺ値を取得する処理が追加される。この処理には、最終の解像度は必要がないので、画素数を減らして処理を行うと処理時間が短くなる。この手法により、隠れている部分が無視されるので適正視差範囲を有効に利用できる。また、オブジェクトが複数であっても扱いやすい。
【０２５１】
また、視差制御部は１１４は、三次元データにより立体画像を生成する際に、視差画像を生成するために設定されるカメラ配置に関するパラメータが変更される場合、前記カメラパラメータを前記パラメータの変動に対して予め設けられている閾値に収まるよう制御してもよい。また、視差制御部１１４は、デプス情報が与えられた二次元動画像より動画像の立体画像を生成する際に、二次元動画像の進行に伴い発生する、デプス情報に含まれるデプスの最大値もしくは最小値の変動が、予め設けられている閾値に収まるように制御してもよい。それら制御の際に利用される閾値は、視差情報保持部１２０に保持さていればよい。
【０２５２】
三次元データにより立体画像を生成する際に、視界内に存在するオブジェクトから基本表現空間を決定していると、オブジェクトの急速な移動やフレームイン、フレームアウトによって、基本表現空間の大きさが急激に変わり、カメラ配置に関するパラメータが大きく変動することがある。この変動が予め決められた閾値よりも大きい場合には、閾値を限度として変動を許可してもよい。また、デプス情報が与えられた二次元動画像より立体画像を生成する際にも、デプスの最大値もしくは最小値から視差量の最大値や最小値を決定していると、同様の不都合が考えられる。この変動に対しても閾値を設けるとよい。
【０２５３】
【発明の効果】
本発明によれば、以下のような効果がある。
１．人の生理に適合しやすい立体画像を生成または表示できる。
２．表示対象画像が変わってもユーザに適切な立体画像を生成または表示できる。
３．簡単な操作で立体表示の立体感を調整できる。
４．適切な立体表示が可能なコンテンツまたはアプリケーションづくりに際し、プログラマの負担を軽減できる。
５．立体表示を最適化しようとするユーザの手間が軽減される。
６．通常、プラグアンドプレイ機能の対象にならない立体感調整やヘッドトラッキング情報を容易に実現でき、後付のパララックスバリアのように、原理上プラグアンドプレイができない装置についても同様である。
【図面の簡単な説明】
【図１】理想的な立体視ができているユーザ、スクリーン、再生オブジェクト１４の位置関係を示す図である。
【図２】図１の状態を実現する撮影系の例を示す図である。
【図３】図１の状態を実現する撮影系の別の例を示す図である。
【図４】図１の状態を実現する撮影系の別の例を示す図である。
【図５】第１の立体画像処理装置に利用するモデル座標系を示す図である。
【図６】第１の立体画像処理装置に利用するワールド座標系を示す図である。
【図７】第１の立体画像処理装置に利用するカメラ座標系を示す図である。
【図８】第１の立体画像処理装置に利用するビューボリュームを示す図である。
【図９】図８のボリュームの透視変換後の座標系を示す図である。
【図１０】第１の立体画像処理装置に利用するスクリーン座標系を示す図である。
【図１１】第１の立体画像処理装置の構成図である。
【図１２】第２の立体画像処理装置の構成図である。
【図１３】第３の立体画像処理装置の構成図である。
【図１４】図１４（ａ）、図１４（ｂ）は、それぞれ、第１の立体画像処理装置の立体感調整部によって表示される左眼画像と右眼画像を示す図である。
【図１５】第１の立体画像処理装置の立体感調整部によって表示される、異なる視差をもつ複数のオブジェクトを示す図である。
【図１６】第１の立体画像処理装置の立体感調整部によって表示される、視差が変化するオブジェクトを示す図である。
【図１７】適正視差が実現される際のカメラ画角、画像サイズ、視差の関係を示す図である。
【図１８】図１７の状態を実現する撮影系の位置関係を示す図である。
【図１９】図１７の状態を実現する撮影系の位置関係を示す図である。
【図２０】多視点画像を適正視差で生成する際のカメラ配置を示す図である。
【図２１】第１の立体画像処理装置の歪処理部が利用する視差補正マップを示す図である。
【図２２】図２１の視差補正マップにしたがって視差画像を生成する際のカメラ視点を示す図である。
【図２３】図２１の視差補正マップにしたがって視差画像を生成する際の別のカメラ視点を示す図である。
【図２４】第１の立体画像処理装置の歪処理部が利用する視差補正マップを示す図である。
【図２５】図２４の視差補正マップにしたがって視差画像を生成する際のカメラ視点を示す図である。
【図２６】第１の立体画像処理装置の歪処理部が利用する距離感補正マップを示す図である。
【図２７】図２６の距離感補正マップにしたがって視差画像を生成する際のカメラ視点を示す図である。
【図２８】第１の立体画像処理装置の歪処理部が利用する別の距離感補正マップを示す図である。
【図２９】図２８の距離感補正マップにしたがって視差画像を生成する際のカメラ視点を示す図である。
【図３０】図３０（ａ）、図３０（ｂ）、図３０（ｃ）、図３０（ｄ）、図３０（ｅ）、図３０（ｆ）は、いずれも第１の立体画像処理装置の歪処理部が三次元空間に処理を施した結果得られる視差分布の上面図である。
【図３１】第１の立体画像処理装置の歪処理部による処理の原理を示す図である。
【図３２】図３１の処理を具体的に示す図である。
【図３３】図３１の処理を具体的に示す図である。
【図３４】図３１の処理を具体的に示す図である。
【図３５】第１の立体画像処理装置の歪処理部による処理の別の例を示す図である。
【図３６】図３５の処理を具体的に示す図である。
【図３７】デプスマップを示す図である。
【図３８】第３の立体画像処理装置の歪処理部による処理の例を示す図である。
【図３９】第３の立体画像処理装置の歪処理部による処理によって生成されたデプスマップを示す図である。
【図４０】第３の立体画像処理装置の歪処理部による処理の別の例を示す図である。
【図４１】第２の立体画像処理装置の二次元画像生成部による処理の例を示す図である。
【図４２】視差画像の例を示す図である。
【図４３】第２の立体画像処理装置の二次元画像生成部によって合成位置がシフトされた視差画像を示す図である。
【図４４】第２の立体画像処理装置の画像端調整部の処理を示す図である。
【図４５】第２の立体画像処理装置の処理を示す図である。
【図４６】第２の立体画像処理装置の別の処理を示す図である。
【図４７】第２の立体画像処理装置の別の処理を示す図である。
【図４８】デプスマップが付加された平面画像を示す図である。
【図４９】デプスマップを示す図である。
【図５０】第２の立体画像処理装置の二次元画像生成部でデプスマップをもとに視差画像を生成する様子を示す図である。
【図５１】第２の立体画像処理装置の二次元画像生成部で補正されたデプスマップを示す図である。
【図５２】実施の形態に係る立体画像処理装置をライブラリ化して利用する様子を示す図である。
【図５３】立体表示ライブラリを三次元データソフトに組み込んだ構成図である。
【図５４】立体表示ライブラリをネットワーク利用型のシステムで利用する様子を示す図である。
【図５５】三次元データにより構成された画像が表示画面に表示されている状態を示す図である。
【図５６】三次元データにより構成された画像が表示画面に表示されている別の状態を示す図である。
【図５７】三次元データにより構成された画像が表示画面に表示されている別の状態を示す図である。
【図５８】表示すべきオブジェクトが有する界面を表示画面に一致させる手法を示す図である。
【図５９】二つの仮想カメラの光軸交差位置を水槽の一つの面と一致させて画像を撮影する別の様子を示す図である。
【図６０】第４の立体画像処理装置の構成図である。
【図６１】第４の立体画像処理装置により表示される画像に関して便宜的基本表現空間Ｔについて表す図である。
【図６２】オブジェクトが何も存在しない領域を、基本表現空間Ｔに含ませて表現する図である。
【図６３】オブジェクトが何も存在しない領域を、基本表現空間Ｔに含ませて表現する図である。
【図６４】視差を計算する対象として、鳥だけでなくその前後の空間を含める形で移動オブジェクトを形成している様子を示す図である。
【図６５】移動オブジェクトが前方投影面を越えた後、あらかじめ含めておいた空間を鳥３３０移動させる様子を示す図である。
【図６６】表示画面において、観察者が立体画像を観察している様子を示す図である。
【図６７】カメラ配置決定部によって定められるカメラ配置を示す図である。
【図６８】図６７のカメラ配置で得られた視差画像を観察者が観察している様子を示す図である。
【図６９】図６７のカメラ配置で適正視差が得られた画像を、図６６で示した観察者の位置で観察者が表示画面を観察している様子を示す図である。
【図７０】図６７に示したカメラ配置で、表示画面からの距離がＡに位置する球の最近置点を撮影する様子を示す図である。
【図７１】二つのカメラとカメラの光軸公差距離および、図７０で示した視差を得るために必要なカメラ間隔の関係を示す図である。
【図７２】図６７に示したカメラ配置で、表示画面からの距離がＴ−Ａに位置する球の最遠置点を撮影する様子を示す図である。
【図７３】二つのカメラとカメラの光軸公差距離および、図７２で示した視差を得るために必要なカメラ間隔Ｅ１の関係を示す図である。
【図７４】適正視差範囲内に立体画像の視差を設定するために必要とされるカメラパラメータの関係を示す図である。
【図７５】適正視差範囲内に立体画像の視差を設定するために必要とされるカメラパラメータの関係を示す図である。
【図７６】第５の立体画像処理装置の構成図である。
【図７７】三次元データを作成する制作者により設定される仮カメラ位置、画角、および第１から第３のオブジェクトの関係を示す図である。
【図７８】図７７で定められた仮カメラ位置をもとに、二つの仮想カメラが配置された状態を示す図である。
【図７９】オブジェクト情報が存在しない領域が発生しないようカメラ配置が調整された状態を示す図である。
【図８０】画角調整の処理を示す図である。
【図８１】娯楽施設や写真館などで立体写真を撮影する立体写真撮影装置と被写体との関係を示す図である。
【図８２】第６の立体画像処理装置の構成を示す図である。
【図８３】遠隔操作によりカメラを操作し、撮影された映像を立体画像表示装置で観察している様子を示す図である。
【図８４】第６の立体画像処理装置を備える立体画像撮影装置による撮影の一例を示す図である。
【図８５】照度計により画像分解性の測定する様子を示す図である。
【図８６】画像分解性の測定に利用するモアレ画像を示す図である。
【図８７】適正視差の変換例を示す図である。
【図８８】適正視差の別の変換例を示す図である。
【図８９】視差および基本表現空間の簡易決定の際に利用するテーブルを示す図である。
【符号の説明】
１０ ユーザ、 １２ スクリーン、 １４ 再生オブジェクト、 ２０ 現実のオブジェクト、 ２２，２４，２６，２８ カメラ、 ３０ 前方投影面、３２ 後方投影面、 １００ 立体画像処理装置、 １１２ 立体感調整部、１１４，１５２，１７０ 視差制御部、 １１６ フォーマット変換部、 １１８ 情報取得部、 １２２ 指示取得部、 １２４ 視差特定部、 １３２ カメラ配置決定部、 １３６，１７４ 歪処理部、 １４０，１７６ 補正マップ保持部、 １４２ 二次元画像生成部、 １５０ 視差量検出部、 １５１ カメラ制御部、 １５６ ヘッダ検査部、 １５８ マッチング部、 １６０ 位置シフト部、 １６４ 視差書込部、 １６８ 画像端調整部、 １７８ 二次元画像生成部、 １８０ オブジェクト指定部、 １９０ 画像判定部、 １９２ 周波数成分検出部、 １９４ シーン判定部、 ２１０ 光軸交差面、 ３００ 立体表示ライブラリ、 ４００ 表示画面、 ４０２ 三次元データソフト、 ４０６ 撮影指示処理部、 ４３０ ネットワーク利用型のシステム、４３２ ゲーム機、 ４３４ ユーザ端末、 ４３６ サーバ、 ４５２ ビュアプログラム、 ５１０ 立体写真撮影装置。

Claims (2)

1. 立体画像の起点となるオリジナルデータが入力された際に、複数の視点画像を生成するための複数の仮想カメラの配置を設定するカメラ配置設定部と、
   前記仮想カメラそれぞれに対応して生成される視点画像に、表示すべきオブジェクトの情報が存在しない領域が発生しているか否かを判定するオブジェクト領域判定部と、
   表示すべきオブジェクトの情報が存在しない領域が発生している場合、オブジェクトの情報が存在しない領域が無くなるように、前記仮想カメラの画角、カメラ間隔、および光軸の交差位置の少なくともいずれかを調整するカメラパラメータ調整部と、
   を有することを特徴とする立体画像処理装置。
2. 立体画像の起点となるオリジナルデータには、オブジェクトが表示されない領域が存在しないにも拘わらず、前記オリジナルデータを起点に、複数の仮想カメラを配置しそれぞれに対応する視点画像を生成した際に、前記視点画像内にオブジェクトが存在しない領域が発生した場合、前記仮想カメラのカメラパラメータを、前記オブジェクトが表示されない領域が存在しないように変更することを特徴とする立体画像処理方法。

Images