JP2003284095A

JP2003284095A - 立体画像処理方法および装置

Info

Publication number: JP2003284095A
Application number: JP2002087497A
Authority: JP
Inventors: Takeshi Masutani; 健増谷; Masashi Takemoto; 賢史竹本; Goro Hamagishi; 五郎濱岸
Original assignee: Sanyo Electric Co Ltd
Current assignee: Sanyo Electric Co Ltd
Priority date: 2002-03-27
Filing date: 2002-03-27
Publication date: 2003-10-03

Abstract

(57)【要約】【課題】種々の表示装置で立体表示する場合、適正視
差が異なるため、最適なプログラミングが困難であり、
立体画像の普及の足かせとなった。【解決手段】立体感調整部１１２は立体画像をユーザ
に表示する。表示されたオブジェクトが限界視差にくれ
ば、ユーザは立体感調整部１１２に応答する。取得され
た適正視差情報にしたがい、視差制御部１１４が以降の
立体表示において当該適正視差を実現するよう視差画像
を生成する。視差の制御は、三次元データに遡ってカメ
ラパラメータを最適設定することで実現する。適正視差
を実現する機能をライブラリ化して提供する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は立体画像処理技
術、とくに、視差画像をもとに立体画像を生成または表
示する方法および装置に関する。

【０００２】

【従来の技術】近年、ネットワークインフラの未整備が
問題視されてきたが、ブロードバンドへの移行期を迎
え、むしろ、広い帯域を有効活用するコンテンツの種類
や数の少なさが目立ち始めている。映像はいつの時代で
も、もっとも重要な表現手段であったが、いままでの取
り組みの多くは表示品質やデータ圧縮率の改善に関する
ものであり、それらに比べると、表現の可能性自体を広
げる技術的な取り組みは、後手にまわっている感があ
る。

【０００３】そうした中で、立体映像表示（以下、単に
立体表示という）は、以前からいろいろ研究され、劇場
用途や特殊な表示装置を利用する、ある程度限られた市
場で実用化されてきた。今後は、より臨場感の溢れるコ
ンテンツの提供を目指してこの方面の研究開発が加速
し、個人ユーザが家庭でも立体表示を楽しむ時代が来る
ものと思われる。

【０００４】

【発明が解決しようとする課題】そうした流れの中にあ
って、立体表示には以前よりいくつかの課題が指摘され
ている。たとえば、立体感を創生する原因となる視差の
適正化が難しい。もともと、本当に三次元のオブジェク
トを映し出しているのではなく、その映像を左右両目に
対して画素単位でずらして投じているのであり、その人
工的な立体感に自然な感じをもたせるのは容易ではな
い。

【０００５】また、視差の付けすぎも問題になることが
あり、立体映像の観察者（以下、単にユーザともいう）
によっては、軽い不快感を訴える場合がある。もちろん
これには、立体表示だけではなく、表示されているシー
ンと自己の周囲の状況ないし感覚が一致しないなど、種
々の要因がある。しかし、経験則からいえば、そうした
問題は視差が大きすぎる、換言すれば、立体感が強すぎ
る場合に観察されやすい。

【０００６】以上は人間の生理上のはなしであるが、そ
れとは別に、立体映像のコンテンツやアプリケーション
の普及を阻む技術要因がある。立体視は視差によって実
現するが、仮に視差を左右画像の画素のずれ量で表現し
ても、表示装置のハードウエアの差違により、同じ立体
映像が適切に立体視できる場合とそうでない場合があ
る。遠方を表現する視差が眼間距離を超えてしまうと、
理論的に立体視ができない。今日のように、表示装置の
解像度やスクリーンサイズがＰＣ（パーソナルコンピュ
ータ）、テレビジョン受像機、携帯機器など多様化する
中、いろいろなハードウエアを考えて立体表示のために
最適なコンテンツを作るのは難題であり、あるいは、そ
のための方法論が与えられていないというほうがより正
確である。

【０００７】また仮に、その方法論が与えられたとして
も、それを一般のプログラマが理解し、コンテンツおよ
びアプリケーションの作成に利用することを期待するの
は難しいであろう。

【０００８】本発明はこうした背景に鑑みてなされたも
のであり、その目的は、人の生理に適合しやすい立体画
像を生成または表示することにある。別の目的は、表示
対象画像や表示装置が変わってもユーザに適切な立体画
像を生成または表示することにある。さらに別の目的
は、立体表示がなされているときに、簡単な操作でその
立体感を調整することにある。さらに別の目的は、適切
な立体表示が可能なコンテンツまたはアプリケーション
づくりに際し、プログラマの負担を軽減することにあ
る。さらに別の目的は、適切な立体表示を実現する技術
をビジネスのモデルとして提供することにある。

【０００９】

【課題を解決するための手段】本発明の基礎をなす発明
者の知見は、適正視差をいったん表示装置のハードウエ
アやユーザと表示装置の距離などの要素（以下、これら
を統括的に「ハードウエア」と表現する）から切り離す
ことにある。すなわち、適正視差の表現を後述のカメラ
間隔と光軸交差位置で一般化することにより、いったん
ハードウエアに依存しない汎用的な形で記述する。「ハ
ードウエアに依存しない」とは、表示装置に固有のハー
ドウエア情報の読み出しが原則的に不要という意味であ
り、この汎用的な記述がなされれば、あとはその適正視
差に基づいて視差画像を生成または調整すれば、所望の
立体表示が実現する。

【００１０】適正視差の取得、および画像の立体表示の
際にその適正視差を実現する制御をライブラリで提供す
ることにより、一般のプログラマはこのライブラリを呼
び出せば複雑な立体視の原理やプログラミングを意識せ
ず適正な立体表示が実現する。

【００１１】本発明のいろいろな態様のうち、第１グル
ープは、ユーザの応答をもとに適正視差を取得する技術
を基本とする。この技術は、ユーザによる視差の「初期
設定」に利用でき、いちど適正視差が装置内に取得され
れば、以降、別の画像の表示の際にもその適正視差が実
現される。ただし、この技術は初期設定にとどまらず、
ユーザが適宜表示中の画像の視差を調整する「手動調
整」にも利用される。以下、第１グループに関する。

【００１２】本発明は、立体画像処理装置に関し、異な
る視差に対応する複数の視点画像をもとに表示された立
体画像に対するユーザの応答を取得する指示取得部と、
取得された応答をもとに、そのユーザに関する適正視差
を特定する視差特定部とを含む。

【００１３】指示取得部は、たとえばＧＵＩ（グラフィ
カルユーザインタフェイス、以下同様）として提供さ
れ、まず視点画像間の視差を変えながら表示する。ユー
ザは自分が好む立体感になったとき、ボタン操作などに
よってその旨を入力する。

【００１４】「立体画像」とは立体感をもって表示され
た画像であり、そのデータの実体は、複数の画像に視差
をもたせた「視差画像」である。視差画像は一般に複数
の二次元画像の集合である。視差画像を構成する各画像
は、それぞれが対応する視点を有する「視点画像」であ
る。つまり、複数の視点画像によって視差画像が構成さ
れ、それを表示すると立体画像として表示される。立体
画像の表示を単に「立体表示」ともいう。

【００１５】「視差」とは、立体感を生むためのパラメ
ータであり、いろいろな定義が可能だが、一例として視
点画像間の同じ点を表す画素のシフト量で表現できる。
以下、本明細書では、とくに断らない限り、その定義に
したがう。

【００１６】適正視差は範囲指定してもよい。その場
合、その範囲の両端を「限界視差」と呼ぶことにする。
「適正視差の特定」は、後述の近置オブジェクトの視差
として許容できる最大値で行ってもよい。

【００１７】本発明の立体画像処理装置はさらに、特定
された適正視差が別の画像の表示の際にも実現されるよ
う処理を施す視差制御部を含んでもよい。別の画像が三
次元データを起点として生成される立体画像であると
き、視差制御部は前記の適正視差にしたがってその立体
画像を生成する複数の視点を決定してもよい。より具体
的には、複数の視点間の距離とそれらの視点からオブジ
ェクトを見込む光軸の交差位置を決定してもよい。これ
らの処理の一例は、後述のカメラ配置決定部によってな
される。これらの処理をリアルタイムにすれば、常に最
適な立体表示が実現する。

【００１８】視差制御部は、表示の対象となる所定の基
本三次元空間について適正視差が実現するよう制御して
もよい。この処理の一例は、後述の投影処理部によって
なされる。

【００１９】視差制御部は、三次元空間において最も近
置されるオブジェクトの座標と最も遠置されるオブジェ
クトの座標について前記適正視差が実現するよう制御し
てもよい。この処理の一例は、後述の投影処理部によっ
てなされる。オブジェクトは静的でもよい。

【００２０】「近置」は複数の視点にそれぞれ置かれた
カメラの視線、すなわち光軸の交差位置（以下、「光軸
交差位置」という）にある面（以下、「光軸交差面」と
いう）より前に立体視されるような視差がつけられてい
る状態を指す。「遠置」は逆に光軸交差面よりうしろに
立体視されるような視差がつけられている状態を指す。
近置オブジェクトの視差が大きくなるほどユーザに近づ
いて感知され、遠置オブジェクトの視差が大きくなるほ
どユーザから遠ざかって見える。すなわち、特に断らな
いかぎり、視差は近置、遠置で正負が反転せず、ともに
非負の値として定義し、光軸交差面において近置視差、
遠置視差ともにゼロとする。

【００２１】表示されるオブジェクトや空間のうち、視
差のない部分について、光軸交差面は表示装置のスクリ
ーン面に一致する。なぜなら、視差がつけられていない
画素は、左右両眼から見込む視線がちょうどスクリーン
面内の同じ位置に到達し、すなわち、そこで交差するた
めである。

【００２２】前記の別の画像がすでに視差が与えられて
いる複数の二次元画像である場合、視差制御部は適正視
差にしたがってそれら複数の二次元画像の水平方向のシ
フト量を定めてもよい。この態様では、立体表示のため
の入力が三次元データを起点として高い自由度をもって
生成されるのではなく、すでに生成されている視差画像
であり、視差は固定されている。この場合、もとの三次
元空間、あるいは実際に撮影された実空間に戻ってカメ
ラ位置を変更して再描画、あるいは再撮影する処理がで
きない。そのため、視差画像を構成する視点画像、また
はそれらに含まれる画素を水平へシフトして視差を調整
する。

【００２３】前記の別の画像はデプス情報が与えられて
いる平面画像（以下これを「デプス情報付画像」ともい
う）の場合、視差制御部は適正視差にしたがってそのデ
プスを調整してもよい。この処理の一例は、後述の第３
の立体画像処理装置の二次元画像生成部によってなされ
る。

【００２４】この立体画像処理装置は、適正視差を記録
する視差保持部をさらに含み、視差制御部は、所定のタ
イミング、例えばこの装置の起動時や、この装置が有す
る立体画像処理機能またはその一部が起動されたときな
どにおいて適正視差を読み込み、その値を初期値として
処理を施してもよい。すなわち、「起動」はハードウエ
ア的な意味でもソフトウエア的な意味でもよい。この態
様によれば、ユーザがいちど適正視差を決めれば、以
降、立体感調整のための自動処理が実現する。これは
「適正視差の初期設定」とでもよぶ機能である。

【００２５】本発明の別の態様は、立体画像処理方法に
関し、異なる視差による複数の立体画像をユーザに表示
するステップと、表示された立体画像に対するユーザの
応答をもとにそのユーザに関する適正視差を特定するス
テップとを含む。

【００２６】本発明のさらに別の態様も立体画像処理方
法に関し、ユーザに依存する適正視差を取得するステッ
プと、取得した適正視差が実現されるよう、表示前に画
像に処理を加えるステップとを含む。ここで「取得」は
積極的に特定する処理であってもよいし、前記の視差保
持部等から読み込む処理であってもよい。

【００２７】これら各ステップを立体表示用ライブラリ
の機能として実装し、複数のプログラムからこのライブ
ラリの機能を関数として呼出可能に構成すれば、プログ
ラマがいちいち立体表示装置のハードウエアを考慮して
プログラムを記述する必要がなくなり、効果的である。

【００２８】本発明の第２グループは、ユーザの指示を
もとに視差を調整する技術を基本とする。この技術は、
ユーザによる視差の「手動調整」に利用でき、ユーザは
適宜表示中の画像の立体感を変更できる。ただし、この
技術は手動調整にとどまらず、ある画像を立体表示する
際、前述の適正視差を読み込み、その画像の視差を自動
調整する際にも利用できる。第１グループの自動調整と
の違いは、第２グループの自動調整が二次元の視差画像
またはデプス情報付画像に対して作用する点であり、三
次元データまで遡って視差を変更する場合は第１グルー
プの技術を利用する。以下、第２グループに関する。

【００２９】本発明のある態様は立体画像処理装置に関
し、複数の視点画像から表示された立体画像に対するユ
ーザの指示を取得する指示取得部と、取得された指示に
したがい、前記複数の視点画像間の視差量を変化させる
視差制御部とを含む。この処理の一例は後述の図４５に
示され、「手動調整」の典型例である。ユーザの指示
は、たとえばボタン操作など、簡単なＧＵＩで提供すれ
ば利便性が高い。

【００３０】本発明の別の態様も立体画像処理装置に関
し、複数の視点画像から立体画像を表示するときに生じ
る第１の視差量を検出する視差量検出部と、第１の視差
量が、ユーザの許容視差量である第２の視差量の範囲に
入るよう前記複数の視点画像間の視差量を変化させる視
差制御部とを含む。これは「自動調整」の典型例であ
り、第２の視差量として前述の適正視差が利用できる。
この処理の一例は、後述の図４６に示される。

【００３１】視差量検出部は第１の視差量の最大値を検
出し、視差制御部は、その最大値が第２の視差量の最大
値を超えないよう複数の視点画像間の視差量を変化させ
てもよい。視差の付きすぎによる過度な立体感を避ける
ため、視差量の最大値、すなわち限界視差を守る意図で
ある。ここでいう最大値は、近置側の最大値と考えても
よい。

【００３２】視差量検出部は、複数の視点画像間で対応
点マッチングを計算して第１の視差量を検出したり、ま
たは複数の視点画像のいずれかのヘッダに予め記録され
た第１の視差量を検出してもよい。これらの処理の一例
は後述の図４７に示される。

【００３３】視差制御部は、複数の視点画像の合成位置
をシフトすることにより複数の視点画像間の視差量を変
化させてもよい。これは図４５〜４７に共通である。合
成位置のシフトは、画素または画像全体を単位とする水
平または垂直方向のシフトである。入力がデプス情報付
画像の場合、視差制御部は、デプス情報を調整して視差
量を変化させてもよい。

【００３４】本発明の別の態様は立体画像処理方法に関
し、複数の視点画像をもとに表示された立体画像に対す
るユーザの指示を取得するステップと、その指示にした
がい、前記複数の視点画像間の視差量を変化させるステ
ップとを含む。

【００３５】本発明のさらに別の態様も立体画像処理方
法に関し、複数の視点画像から立体画像を表示するとき
に生じる第１の視差量を検出するステップと、第１の視
差量が、ユーザの許容視差量である第２の視差量の範囲
に入るよう複数の視点画像間の視差量を変化させるステ
ップとを含む。

【００３６】これら各ステップを立体表示用ライブラリ
の機能として実装し、複数のプログラムからこのライブ
ラリの機能を関数として呼出可能に構成してもよい。

【００３７】本発明の第３グループは、画像内位置に基
づいて視差を補正する技術を基本とする。この「自動補
正」は立体表示に対するユーザの違和感または拒絶感を
軽減するよう作用し、第１、第２グループの技術と併用
できる。一般に、立体表示の際、画像端部に近いほど複
数の視点画像がずれて観察されたり、違和感を産みやす
いなど、技術上または生理上の問題点が指摘される。第
３グループでは、画像端に近い部分で視差を減らし、ま
たはオブジェクトが近置側から遠置側へ移動するよう視
差を調整するなどの処理により、この問題の軽減を図
る。以下、第３グループに関する。

【００３８】本発明のある態様は立体画像処理装置に関
し、立体画像を表示するための複数の視点画像間の視差
を補正する視差制御部と、視差制御部がその処理の際に
参照すべき補正マップを保持するマップ保持部とを含
み、この補正マップは、視差が視点画像内の位置に基づ
いて補正されるよう記述されている。補正マップには、
視差補正マップ、距離感補正マップなどがある。

【００３９】視差制御部は、例えば複数の視点画像の周
辺部において視差を小さくするか、またはオブジェクト
がユーザからより遠くに感知されるよう視差を変化させ
る。視差制御部は、複数の視点画像のいずれかに選択的
に処理を施すことによって視差を変化させてもよい。

【００４０】複数の視点画像は三次元データから生成さ
れるもの、すなわち、三次元空間まで戻って視点画像を
生成できる場合には、視差制御部は複数の視点画像の生
成にあたって、カメラパラメータを制御して視差を変化
させてもよい。カメラパラメータとして、左右カメラの
間隔、カメラからオブジェクトを見込む角度、または光
軸交差位置などがある。

【００４１】同様に、複数の視点画像が三次元データか
ら生成される場合、視差制御部は複数の視点画像の生成
にあたって、三次元空間自体を例えばワールド座標系に
おいて歪ませることにより視差を変化させてもよい。一
方、複数の視点画像がデプス情報付画像から生成される
場合、視差制御部はそのデプス情報を操作することによ
って視差を変化させてもよい。

【００４２】本発明の別の態様は立体画像処理方法に関
し、立体画像を表示するための複数の視点画像を取得す
るステップと、取得された前記複数の視点画像間の視差
をそれら視点画像内の位置に基づいて変化させるステッ
プとを含む。これらのステップを立体表示用ライブラリ
の機能として実装し、複数のプログラムからこのライブ
ラリの機能を関数として呼出可能に構成してもよい。

【００４３】本発明の第４グループは、第１〜第３グル
ープおよびその関連機能をソフトウエアライブラリとし
て提供し、プログラマおよびユーザの負担を軽減し、立
体画像表示アプリケーションの普及を促進する技術に関
する。以下、第４グループに関する。

【００４４】本発明のある態様は立体画像処理方法に関
し、立体画像表示に関連する情報をメモリ上に保持し、
その保持された情報を複数の異なるプログラム間で共有
し、それらのプログラムのいずれかが立体画像を表示す
る際、保持された情報を参照して出力すべき画像の状態
を決定する。画像の状態の例は、視差画像にどの程度の
視差が与えられているか、その程度である。

【００４５】「保持された情報」は、立体画像表示装置
に入力される画像のフォーマット、視点画像の表示順
序、視点画像間の視差量のいずれかの情報を含んでもよ
い。また、保持された情報の共有に加え、立体画像表示
固有の処理を複数のプログラムで共有してもよい。「立
体画像表示固有の処理」の一例は、保持された情報を決
定するための処理である。別の例は、適正視差を決定す
るためのグラフィカルユーザインタフェイスに関する処
理、適正視差状態の実現を支援する視差調整用画面の表
示処理、ユーザの頭位置を検出して追跡する処理、立体
表示装置を調整するための画像を表示する処理などであ
る。

【００４６】本発明の別の態様は、立体画像処理装置に
関し、立体表示画像の立体感を調整するためのグラフィ
カルユーザインタフェイスをユーザに提供する立体感調
整部と、ユーザによる立体感の調整の結果判明する限界
視差を守る形で視差画像を生成する視差制御部とを含
む。

【００４７】この装置はさらに、立体画像表示を適正化
するために参照すべき情報を取得する情報検出部と、取
得された情報にしたがって前記視差制御部で生成された
視差画像のフォーマットを変換する変換部とを含んでも
よい。

【００４８】視差制御部は、三次元データに基づき、カ
メラパラメータを制御して、限界視差を守りつつ視差画
像を生成してもよいし、デプス情報付画像のデプスを制
御して視差画像を生成してもよいし、視差のある複数の
二次元画像の水平方向のシフト量を定めた後、視差画像
を生成してもよい。

【００４９】本発明の第５グループは、以上の立体画像
処理技術またはその関連技術を用いたひとつのアプリケ
ーション、またはビジネスモデルに関する。第４グルー
プのソフトウエアライブラリが利用可能である。以下、
第５グループに関する。

【００５０】本発明のある態様は立体画像処理方法に関
し、視差画像を立体表示するための適正視差をいったん
表示装置のハードウエアに依存しない表現形式へ変換
し、この表現形式による適正視差を異なる表示装置間で
流通する。

【００５１】本発明の別の態様も立体画像処理方法に関
し、第１の表示装置にて取得されたユーザの適正視差を
第２の表示装置に読み込むステップと、第２の表示装置
にて前記適正視差にしたがって視差画像間の視差を調整
するステップと、第２の表示装置から調整後の視差画像
を出力するステップとを含む。例えば、第１の表示装置
がユーザの通常利用する装置、第２の表示装置が別の個
所に設けられた装置である。

【００５２】本発明の別の態様は、立体画像処理装置に
関し、ネットワークを介して接続された第１の表示装
置、第２の表示装置およびサーバを含み、第１の表示装
置は、当該装置にて取得されたユーザの適正視差情報を
サーバに送信し、サーバは適正視差情報を受信してこれ
をユーザと関連づけて記録し、ユーザが第２の表示装置
にて画像データの出力を要求したとき、当該装置はサー
バからそのユーザの適正視差情報を読み出して視差を調
整したのち視差画像を出力する。

【００５３】なお、以上の構成要素の任意の組合せ、本
発明の表現を方法、装置、システム、記録媒体、コンピ
ュータプログラムなどの間で変換したものもまた、本発
明の態様として有効である。

【００５４】

【発明の実施の形態】図１はユーザ１０、スクリーン１
２、立体表示される再生オブジェクト１４の位置関係を
示す。ユーザ１０の眼間距離がＥ、ユーザ１０とスクリ
ーン１２の距離がＤ、表示されたときの再生オブジェク
ト１４の幅がＷである。再生オブジェクト１４は立体表
示されているため、スクリーン１２よりも近くに感知さ
れる画素、すなわち近置される画素と、スクリーン１２
よりも遠くに感知される画素、すなわち遠置される画素
を有する。視差が付けられていない画素はスクリーン１
２上でちょうど両目から同じ位置に見えるため、スクリ
ーン１２上に感知される。

【００５５】図２は、図１の理想的な表示を生成するた
めの撮影系を示す。二台のカメラ２２、２４の間隔をＥ
とし、それらから現実のオブジェクト２０を見たときの
光軸交差位置までの距離（これを光軸交差距離という）
をＤとし、スクリーン１２と同じ幅を見込む画角で、幅
が現実にＷであるオブジェクト２０を撮影すれば、ふた
つのカメラから視差画像が得られる。これを図１のスク
リーン１２へ表示すれば、図１の理想状態が実現する。

【００５６】図３、図４は、それぞれ図２の位置関係を
Ａ倍（Ａ＜１）、Ｂ倍（Ｂ＞１）した状態を示す。これ
らの位置関係で得られた視差画像でも、図１の理想状態
が実現する。すなわち、理想的な立体表示の基本は、
Ｗ：Ｄ：Ｅを一定にすることからはじまる。この関係が
視差の付け方の基礎にもなる。

【００５７】図５から図１０は、実施の形態においてオ
ブジェクト２０の三次元データをもとに立体表示がなさ
れるまでの処理の大筋を示す。図５はモデル座標系、す
なわち、個々の三次元オブジェクト２０がもっている座
標空間である。この空間で、オブジェクト２０をモデリ
ングしたときの座標を与える。通常はオブジェクト２０
の中心に原点をもってくる。

【００５８】図６はワールド座標系を示す。ワールド空
間は、オブジェクト２０や床、壁を配置してシーンが形
成される広い空間である。図５のモデリングと図６のワ
ールド座標系の確定までを「三次元データの構築」と認
識できる。

【００５９】図７はカメラ座標系を示す。ワールド座標
系の任意の位置から任意の方向に任意の画角でカメラ２
２を据えることにより、カメラ座標系への変換が行われ
る。カメラの位置、方向、画角がカメラパラメータであ
る。立体表示の場合は、ふたつのカメラについてパラメ
ータを定めるため、カメラ間隔と光軸交差位置も決め
る。また、ふたつのカメラの中点を原点にするために、
原点移動も行われる。

【００６０】図８、図９は透視座標系を示す。まず図８
のように、表示すべき空間を前方投影面３０と後方投影
面３２でクリッピングする。後述するように、実施の形
態のひとつの特徴は、近置最大視差点のある面を前方投
影面３０とし、遠置最大視差点のある面を後方投影面３
２にすることにある。クリッピングの後、このビューボ
リュームを図９のように直方体へ変換する。図８と図９
の処理を投影処理ともよぶ。

【００６１】図１０はスクリーン座標系を示す。立体表
示の場合、複数のカメラそれぞれからの画像をそれぞれ
スクリーンのもっている座標系へ変換し、複数の二次元
画像、すなわち視差画像を生成する。

【００６２】図１１、図１２、図１３は、それぞれ一部
が異なる立体画像処理装置１００の構成を示す。以下、
便宜上、それらの立体画像処理装置１００をそれぞれ第
１、第２、第３の立体画像処理装置１００ともよぶ。こ
れらの立体画像処理装置１００は、装置内に一体に組み
込むことも可能であるが、ここでは図の複雑を避けて３
つに分けている。第１の立体画像処理装置１００は描画
すべきオブジェクトと空間が三次元データの段階から入
手できる場合に効果的であり、したがって、主な入力を
三次元データとする。第２の立体画像処理装置１００は
すでに視差が与えられている複数の二次元画像、すなわ
ち既存の視差画像の視差調整に効果的であり、したがっ
て、二次元の視差画像を入力する。第３の立体画像処理
装置１００はデプス情報付画像のデプス情報を操作して
適正視差を実現するものであり、したがって、主に入力
をデプス情報付画像とする。これら３通りの入力を総称
して「オリジナルデータ」と表記している。

【００６３】第１〜第３の立体画像処理装置１００を一
体化して実装する場合、それらの前処理部として「画像
形式判定部」を設け、三次元データ、視差画像、デプス
情報付画像を判定した後、第１〜第３の立体画像処理装
置１００のうち最適なものを起動する構成としてもよ
い。

【００６４】第１の立体画像処理装置１００は、立体表
示に対する立体感を設定するうえで、「初期設定」およ
び「自動調整」の機能をもつ。ユーザは立体表示された
画像に対し、自分の適正視差を範囲指定すると、これが
システムで取得され、以降、別の立体画像の表示の際、
予めこの適正視差が実現するよう変換処理が施されて表
示される。したがって、第１の立体画像処理装置１００
により、ユーザは原則として一回だけ設定手続を経れ
ば、以降、自分に合った立体表示を楽しむことができ
る。

【００６５】第１の立体画像処理装置１００はさらに、
画像の周辺部の視差を人工的に緩和する「視差補正」と
いう副機能をもつ。既述のごとく、画像端部に近づくに
したがって複数の視点画像のずれが「二重像」として認
識されやすくなる。これはパララックスバリアや表示装
置のスクリーンの反りなど機構誤差が主因である。そこ
で、画像の周辺部で、１）近置視差と遠置視差をともに
減らす、２）近置視差を減らし遠置視差はそのままにす
る、３）近置視差、遠置視差を問わず、全体に遠置視差
のほうへシフトする、など、いろいろな方法を実施す
る。なお、この「視差補正」機能は第３の立体画像処理
装置１００にも存在するが、入力データの違いにより、
処理は異なる。

【００６６】第１の立体画像処理装置１００は、立体表
示した画像に対するユーザからの応答をもとに立体感を
調整する立体感調整部１１２と、立体感調整部１１２で
特定された適正視差を保存する視差情報保持部１２０
と、視差情報保持部１２０から適正視差を読みだし、オ
リジナルデータから適正視差を有する視差画像を生成す
る視差制御部１１４と、表示装置のハードウエア情報を
取得し、また立体表示の方式を取得する機能を有する情
報取得部１１８と、情報取得部１１８で取得した情報を
もとに、視差制御部１１４で生成された視差画像の形式
を変更するフォーマット変換部１１６を含む。オリジナ
ルデータを単に三次元データとよぶが、厳密にはワール
ド座標系で記述されたオブジェクトおよび空間のデータ
がこれに当たる。

【００６７】情報取得部１１８で取得する情報の例とし
て、立体表示の視点数、空間分割または時間分割等の立
体表示装置の方式、シャッタめがねの利用があるか否
か、多眼式の場合における視点画像の並び方、視差画像
の中に視差が反転する視点画像の並びがあるか否か、ヘ
ッドトラッキングの結果などがある。なお、ヘッドトラ
ッキングの結果だけは例外的に図示しない経路を経て直
接カメラ配置決定部１３２へ入力され、そこで処理され
る。

【００６８】以上の構成は、ハードウエア的には、任意
のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実
現でき、ソフトウエア的にはＧＵＩ機能、視差制御機能
その他の機能をもつプログラムなどによって実現される
が、ここではそれらの連携によって実現される機能ブロ
ックを描いている。したがって、これらの機能ブロック
がハードウエアのみ、ソフトウエアのみ、またはそれら
の組合せによっていろいろな形で実現できることは、当
業者には理解されるところであり、以降の構成について
もその事情は同様である。

【００６９】立体感調整部１１２は指示取得部１２２と
視差特定部１２４を有する。指示取得部１２２は、立体
表示された画像に対してユーザが適正視差の範囲を指定
したとき、これを取得する。視差特定部１２４は、その
範囲をもとに、ユーザがこの表示装置を用いたときの適
正視差を特定する。適正視差は、表示装置のハードウエ
アに依存しない表現形式で表される。適正視差を実現す
ることにより、ユーザの生理に適合した立体視が可能に
なる。

【００７０】視差制御部１１４は、まずカメラパラメー
タを仮設定するカメラ仮配置部１３０と、適正視差にし
たがって仮設定されたカメラパラメータを修正するカメ
ラ配置決定部１３２と、カメラパラメータが決まったと
き、複数のカメラの中点を原点とすべく原点移動処理を
行う原点移動部１３４と、前述の投影処理を行う投影処
理部１３８と、投影処理後、スクリーン座標系への変換
処理を行って視差画像を生成する二次元画像生成部１４
２とを含む。また、必要な応じて画像周辺部の視差を緩
和するために空間歪み変換（以下単に歪変換ともいう）
を行う歪処理部１３６がカメラ仮配置部１３０とカメラ
配置決定部１３２の間に設けられている。歪処理部１３
６は補正マップ保持部１４０から後述の補正マップを読
み出して利用する。

【００７１】なお、立体表示のために表示装置を調整す
る必要があれば、そのための図示しないＧＵＩを追加し
てもよい。このＧＵＩで、表示されている視差画像全体
を上下左右へ微小シフトして最適表示位置を確定するな
どの処理をなしてもよい。

【００７２】図１２の第２の立体画像処理装置１００
は、複数の視差画像を入力とする。これを単に入力画像
ともよぶ。第２の立体画像処理装置１００は、さきに第
１の立体画像処理装置１００で取得された適正視差を読
み込み、入力画像の視差を調整して適正視差の範囲へ収
め、出力する。その意味で、第２の立体画像処理装置１
００は視差の「自動調整」機能を有する。ただし、それ
だけでなく、実際に立体表示が行われている際にユーザ
が立体感を変更したいとき、ＧＵＩ機能を提供し、ユー
ザの指示にしたがって視差を変更する「手動調整」機能
もあわせもつ。

【００７３】すでに生成済みの視差画像の視差は通常変
更できるものではないが、第２の立体画像処理装置１０
０によれば、視差画像を構成する視点画像の合成位置を
シフトすることで十分に実用に耐えるレベルで立体感が
変更できる。第２の立体画像処理装置１００は、入力デ
ータが三次元データまで遡れない状況においても良好な
立体感調整機能を発揮する。以下、第１の立体画像処理
装置１００との相違点を中心に述べる。

【００７４】立体感調整部１１２は手動調整に利用され
る。指示取得部１２２は例えばスクリーンで「＋ｎ」
「−ｎ」などの数値入力を実現し、その値が視差の変更
量として視差特定部１２４で特定される。数値と指示さ
れる立体感の関係にはいくとおりか考えられる。たとえ
ば、「＋ｎ」は立体感を強める指示、「−ｎ」は弱める
指示で、ｎが大きくなるほど立体感に対する変更量が大
きいとしてもよい。また、「＋ｎ」は全体に近置方向へ
オブジェクトを移動する指示、「−ｎ」は全体に遠置方
向へオブジェクトを移動する指示としてもよい。別の方
法として、ｎの値は指定せず、単に「＋」と「−」のボ
タンのみ表示し、これをクリックするたびに視差が変更
される構成としてもよい。

【００７５】第２の立体画像処理装置１００は、視差量
検出部１５０と視差制御部１５２を有する。入力画像が
複数の視差画像の場合、視差量検出部１５０はそれらの
視差画像のヘッダ領域を検査し、画素数の形で記述され
た視差量、とくに近置最大視差画素数と遠置最大視差画
素数があればこれを取得する。視差量が記述されていな
ければ、マッチング部１５８がブロックマッチングなど
既知の手法を利用して視差画像間で対応点を検出するこ
とにより視差量を特定する。マッチング部１５８は画像
の中央部など重要領域だけに処理を施してもよいし、最
も重要な近置最大視差画素数に絞って検出してもよい。
検出された視差量は画素数の形で視差制御部１５２へ送
られる。

【００７６】視差制御部１５２の位置シフト部１６０
は、視点画像間の視差量が適正視差になるよう視差画像
を構成する視点画像の合成位置を水平方向へシフトす
る。シフトは、視点画像のいずれかについて行えばよ
い。位置シフト部１６０は別の動作モードも有し、ユー
ザが立体感調整部１１２を介して視差の増加または減少
を指示したとき、単純にこの指示にしたがって画像合成
位置を変更する。すなわち、位置シフト部１６０は適正
視差への自動調整機能と、ユーザによる手動調整機能の
ふたつを有する。

【００７７】視差書込部１６４は、前述の視差量検出部
１５０のため、または別の用途のために、視差画像を構
成する複数の視点画像のいずれかのヘッダ領域に視差量
を画素数で書き込む。画像端調整部１６８は、位置シフ
ト部１６０によるシフトによって画像端に生じた画素の
欠落を埋める。

【００７８】図１３の第３の立体画像処理装置１００
は、デプス情報付画像を入力とする。第３の立体画像処
理装置１００は、適正視差が実現するようデプスを調整
する。また、前述の「視差補正」機能をもつ。視差制御
部１７０の歪処理部１７４は、補正マップ保持部１７６
に保存された補正マップにしたがい、後述の要領で歪変
換を実施する。歪変換後のデプス情報と画像は二次元画
像生成部１７８へ入力され、ここで視差画像が生成され
る。この二次元画像生成部１７８は、第１の立体画像処
理装置１００の二次元画像生成部１４２とは異なり、こ
こで適正視差が考慮される。デプス情報付画像も画像と
しては二次元であるため、二次元画像生成部１７８は、
図示しないが内部に第２の立体画像処理装置１００の位
置シフト部１６０に似た機能をもち、デプス情報にした
がって画像内の画素を水平方向にずらし、立体感を生成
する。このとき、後述の処理により、適正視差が実現さ
れる。

【００７９】以上の構成における各立体画像処理装置１
００の各部の処理動作とその原理は以下のとおりであ
る。図１４（ａ）、図１４（ｂ）は、第１の立体画像処
理装置１００の立体感調整部１１２による適正視差の特
定のプロセスにおいてそれぞれ表示された左眼画像２０
０、右眼画像２０２を示す。それぞれの画像には５個の
黒丸が表示されており、上にいくほど近置かつ大きな視
差、下へいくほど遠置かつ大きな視差が付けられてい
る。

【００８０】図１５はこれら５個の黒丸を表示したと
き、ユーザ１０に感知される距離感を模式的に示す。ユ
ーザ１０はこれら５個の距離感の範囲を「適正」と応答
しており、この応答を指示取得部１２２が取得する。同
図では、視差が異なる５個の黒丸が同時に、または順に
表示され、許容できる視差であるか否かをユーザ１０が
入力していく。一方、図１６では表示自体は１個の黒丸
で行うが、その視差を連続的に変更し、ユーザ１０が遠
置と近置それぞれの方向において許容する限界にきたと
き、応答する。応答は通常のキー操作、マウス操作、音
声による入力等、それ自体は既知の技術を利用すればよ
い。

【００８１】図１５、図１６のいずれの場合でも、指示
取得部１２２は適正視差を範囲として取得でき、その近
置側および遠置側の限界視差が決まる。近置最大視差
は、自分に最も近い位置に見える点に許す近さに対応す
る視差、遠置最大視差は、自分から最も遠い位置に見え
る点に許す遠さに対応する視差である。ただし、一般に
はユーザの生理上の問題から近置最大視差をケアすべき
ことが多く、以下、近置最大視差のみを限界視差とよぶ
場合もある。

【００８２】図１７は、立体表示される画像が三次元デ
ータから取り出される場合において、実際に２視点の視
差を調整する原理を示す。まず、ユーザが決めた限界視
差を仮配置されたカメラの見込み角に変換する。角度表
現をとることにより、表示装置のハードウエアから独立
した汎用表現になる。同図のごとく、近置と遠置の限界
視差は画素数でＭ、Ｎとあらわすことができ、カメラの
画角θが表示画面の水平画素数Ｌに相当するので、限界
視差画素数の見込み角である、近置最大見込み角φと遠
置最大見込み角ψがθ、Ｍ、Ｎ、Ｌであらわされる。

【００８３】ｔａｎ（φ／２）＝Ｍｔａｎ（θ／２）／Ｌｔａｎ（ψ／２）＝Ｎｔａｎ（θ／２）／Ｌ次にこの情報を３次元空間内での２視点画像の取り出し
に適用する。図１８のように、まず基本表現空間Ｔ（そ
の奥行きもＴと表記）を決める。ここでは、基本表現空
間Ｔはオブジェクトの配置に対する制限から決めるとす
る。基本表現空間Ｔの前面である前方投影面３０からカ
メラ配置面、すなわち視点面２０８までの距離をＳとす
る。ＴやＳはユーザが指定できる。視点は２つあり、こ
れらの光軸交差面２１０の視点面２０８からの距離をＤ
とする。光軸交差面２１０と前方投影面３０までの距離
をＡとする。

【００８４】つぎに、基本表現空間Ｔ内での近置および
遠置の限界視差をそれぞれＰ、Ｑとすると、Ｅ：Ｓ＝Ｐ：ＡＥ：Ｓ＋Ｔ＝Ｑ：Ｔ−Ａが成立する。Ｅは視点間距離である。いま、視差の付け
られていない画素である点Ｇは両カメラからの光軸Ｋ２
が光軸交差面２１０上で交差する位置にあり、光軸交差
面２１０がスクリーン面の位置となる。近置最大視差Ｐ
を生む光線Ｋ１は前方投影面３０上で交差し、遠置最大
視差Ｑを生む光線Ｋ３は後方投影面３２上で交差する。

【００８５】ＰとＱは、図１９のようにφ、ψを用い
て、Ｐ＝２（Ｓ＋Ａ）ｔａｎ（φ／２）Ｑ＝２（Ｓ＋Ａ）ｔａｎ（ψ／２）で表され、結果として、Ｅ＝２（Ｓ＋Ａ）ｔａｎ（θ／２）・（ＳＭ＋ＳＮ＋Ｔ
Ｎ）／（ＬＴ）Ａ＝ＳＴＭ／（ＳＭ＋ＳＮ＋ＴＮ）が得られる。いま、ＳとＴは既知であるから、こうして
Ａ及びＥが自動的に決まり、したがって光軸交差距離Ｄ
とカメラ間距離Ｅが自動的に決まり、カメラパラメータ
が確定する。カメラ配置決定部１３２はこれらのパラメ
ータにしたがってカメラの配置を決定すれば、以降投影
処理部１３８、二次元画像生成部１４２の処理を各カメ
ラからの画像に対して独立してなすことにより、適正視
差をもった視差画像が生成および出力できる。以上のご
とく、ＥとＡはハードウエアの情報を含んでおらず、ハ
ードウエアに依存しない表現形式が実現される。

【００８６】以降、別の画像を立体表示する際にもこの
ＡまたはＤとＥを守るようカメラを配置すれば、自動的
に適正視差が実現できる。適正視差の特定から理想的な
立体表示までのプロセスはすべて自動化できるため、こ
の機能をソフトウエアライブラリとして提供すれば、コ
ンテンツやアプリケーションを作成するプログラマは立
体表示のためのプログラミングを意識する必要がない。
また、Ｌ、Ｍ、Ｎを画素数で表すと、Ｌは表示範囲を示
すので、全画面による表示であるか、画面の一部による
表示であるかをＬで指示することができる。Ｌもハード
ウエアに依存しないパラメータである。

【００８７】図２０は４台のカメラ２２、２４、２６、
２８による４眼式のカメラ配置を示す。正確には、第１
のカメラ２２と第２のカメラ２４の間など、隣接するカ
メラ間で適正視差になるよう前述のＡとＥを決めていく
べきだが、簡易的な処理としては、より中央に近い第２
のカメラ２４と第３のカメラ２６の間で決めたＡおよび
Ｅを他のカメラ間に流用してもほぼ同様の効果が得られ
る。

【００８８】なお、Ｔはオブジェクトの配置に対する制
限としたが、基本的な三次元空間の大きさとしてプログ
ラムにより決められていてもよい。この場合、プログラ
ム全体を通して必ずこの基本表現空間Ｔ内にのみオブジ
ェクトを配置することもできるし、効果的な表示のため
に、ときどき故意にこの空間を飛び出すようにオブジェ
クトに視差を与えてもよい。

【００８９】別の例として、三次元空間におけるオブジ
ェクトのうち最も近置されるものと最も遠置されるもの
の座標に対してＴを決定してもよく、これを実時間で行
えば、必ず基本表現空間Ｔにオブジェクトが配置でき
る。オブジェクトをつねに基本表現空間Ｔに入れること
の例外として、「一定時間の位置の平均が基本表現空間
Ｔ内にあればよい」という緩和条件で運用すれば、短時
間の例外を作ることもできる。さらに、基本表現空間Ｔ
を定めるオブジェクトを静的なものに限ってもよく、こ
の場合、動的なオブジェクトが基本表現空間Ｔからはみ
出す例外的な動作を与えることができる。さらに別の例
として、すでにオブジェクトを配置した空間を基本表現
空間の幅Ｔのサイズに縮める変換を行ってもよいし、既
述の操作と組み合わせてもよい。

【００９０】なお、第１の立体画像処理装置１００の立
体感調整部１１２がユーザに表示する画像として、二重
像がでやすいものにすれば、限界視差は小さめに定ま
り、他の画像を表示したときの二重像の出現頻度を低下
させることができる。二重像が出やすい画像として、オ
ブジェクトと背景との色や明るさが対照的なものが知ら
れており、限界視差を特定する段階、すなわち初期設定
の際にはそうした画像を利用すればよい。

【００９１】図２１から図３６までは、第１の立体画像
処理装置１００の歪処理部１３６による処理とその原理
を示す。図２１は第１の立体画像処理装置１００の補正
マップ保持部１４０に格納された補正マップの一例を概
念的に示す。このマップは直接視差を補正するもので、
その全体がそのまま視差画像に対応しており、周辺部に
いくにしたがって小視差になる。図２２はこの補正マッ
プにしたがって歪処理部１３６がカメラ配置を決め、そ
れを受けたカメラ配置決定部１３２によるカメラパラメ
ータの操作の結果生じる視差の変化を示す。ふたつのカ
メラの左右視点位置から正面方向を見るときは「通常視
差」が付けられ、一方、正面から大きく外れた方向を見
るときは「小視差」が付けられる。実際には、周辺にい
くにしたがって、カメラ配置決定部１３２はカメラ間隔
を近づけていく。

【００９２】図２３はカメラ配置決定部１３２が歪処理
部１３６の指示にしたがってカメラの配置を変えて視差
を変える別の例を示す。ここでは、ふたつのカメラのう
ち、左側のカメラのみを移動させながら、画像周辺に向
かうにしたがって「通常視差」→「中視差」→「小視
差」と視差が変化している。この方法のほうが図２２に
比べて計算コストが低い。

【００９３】図２４は補正マップの別の例を示す。この
マップも視差を変更するもので、画像の中央付近は通常
視差のまま触れず、それ以外の視差補正領域において視
差を徐々に小さくする。図２５はカメラ配置決定部１３
２がこのマップにしたがって変化させるカメラ位置を示
す。カメラの方向が正面から大きく外れたとき、はじめ
て左カメラの位置が右カメラへ寄り、「小視差」が付け
られている。

【００９４】図２６は補正マップの別の例を概念的に示
す。このマップは視点からオブジェクトまでの距離感を
補正するもので、それを実現するために、カメラ配置決
定部１３２がふたつのカメラの光軸交差距離を調整す
る。画像周辺に行くにしたがって光軸交差距離を小さく
すれば、オブジェクトは相対的に遠置方向へ奥まって見
えるため、とくに近置視差を小さくする意味で目的を達
する。光軸交差距離を小さくするために、カメラ配置決
定部１３２はカメラの光軸方向を変えればよく、いずれ
か一方のカメラの向きを変えればよい。図２７は、図２
６のマップによって二次元画像を生成するときの光軸交
差位置、または光軸交差面２１０の変化を示す。画像周
辺ほど光軸交差面２１０がカメラに寄る。

【００９５】図２８は距離感に関する別の補正マップ、
図２９は図２８のマップにしたがってカメラ配置決定部
１３２が歪処理部１３６の指示にしたがって光軸交差面
２１０を変化させる様子を示す。この例では、画像中央
領域では補正をせずにオブジェクトを通常位置に配置
し、画像周辺領域でオブジェクトの位置を補正する。そ
の目的のために、図２９において画像中央付近では光軸
交差面２１０に変化はなく、ある点を超えてから光軸交
差面２１０がカメラへ寄ってくる。図２９では、左カメ
ラだけ向きをかえて対応している。

【００９６】図３０（ａ）〜（ｆ）は歪処理部１３６に
よる別の歪変換を示す。いままでの例と違い、カメラ位
置を変えるのではなく、カメラ座標系で三次元空間自体
を直接歪ませる。図３０（ａ）〜（ｆ）において、長方
形領域はもとの空間の上面図、斜線領域は変換後の空間
の上面図を示す。例えば、図３０（ａ）のもとの空間の
点Ｕは、変換後点Ｖに移る。これはこの点が遠置方向へ
移動されたことを意味する。図３０（ａ）では、空間は
周辺部へ向かうほど奥行き方向について矢印の方向に押
しつぶされ、近置の場合も遠置の場合も、同図の点Ｗの
ごとく、一定の距離感に近い距離感をもたされる。その
結果、画像周辺部では距離感が揃い、特別に近置される
オブジェクトもなくなり、二重像の問題を解決するとと
もに、ユーザの生理に適合しやすい表現となる。

【００９７】図３０（ｂ）、図３０（ｃ）、図３０
（ｄ）、図３０（ｅ）はいずれも画像周辺部で距離感を
一定値に近づける変換の変形例を示し、図３０（ｆ）は
すべての点を遠置方向へ変換する例を示している。

【００９８】図３１は、図３０（ａ）の変換を実現する
ための原理を示す。直方体空間２２８は、第１のカメラ
２２と第２のカメラ２４の投影処理が行われる空間を含
む。第１のカメラ２２のビューボリュームは、そのカメ
ラの画角と前方投影面２３０および後方投影面２３２で
定まり、第２のカメラ２４のそれは、そのカメラの画角
と前方投影面２３４および後方投影面２３６で定まる。
歪処理部１３６はこの直方体空間２２８に歪変換を施
す。原点は直方体空間２２８の中心とする。多眼式の場
合はカメラが増えるだけで変換原理は同じである。

【００９９】図３２は歪変換の一例で、Ｚ方向の縮小変
換を採用している。実際には空間内の個々のオブジェク
トに対して処理を行う。図３３はこの変換を視差補正マ
ップになぞらえて表現したもので、Ｙ軸上が通常視差で
あり、Ｘの絶対値が増えるほど視差が小さくなり、Ｘ＝
±Ａが視差なしとなる。ここではＺ方向のみの縮小変換
なので、変換式は以下のとおりである。

【０１００】

【数１】変換を図３４で説明する。まず、Ｘ≧０かつＺ≧０の範
囲を考える。点（Ｘ０，Ｙ０，Ｚ０）が縮小処理により
点（Ｘ０，Ｙ０，Ｚ１）に移動したとき、縮小率Ｓｚ
は、Ｓｚ＝Ｚ１／Ｚ０＝ＣＥ／ＣＤである。Ｃの座標は（Ｘ０，Ｙ０，０）でＤの座標は
（Ｘ０，Ｙ０，Ｂ）である。

【０１０１】Ｅは直線と平面の交点であり、座標を（Ｘ
０，Ｙ０，Ｚ２）とすると、Ｚ２は下のように求めるこ
とができる。

【０１０２】Ｚ＝Ｂ−Ｘ×Ｂ／Ａ（平面）Ｘ＝Ｘ０，Ｙ＝Ｙ０（直線）Ｚ２＝Ｂ−Ｘ０×Ｂ／Ａしたがって、Ｓｚ＝ＣＥ／ＣＤ＝（Ｂ−Ｘ０×Ｂ／Ａ）／Ｂ＝１−Ｘ０／ＡＸに対して一般に、Ｓｚ＝１−Ｘ／Ａとなる。ＸとＺの他の範囲についても同様の計算を行う
と、以下の結果が得られ、変換が検証できる。

【０１０３】Ｘ≧０のとき、Ｓｚ＝１−Ｘ／ＡＸ＜０のとき、Ｓｚ＝１＋Ｘ／Ａ図３５は歪変換の別の例を示す。より厳密にはカメラか
ら放射状に撮影が行われることを考慮し、Ｘ軸、Ｙ軸方
向の縮小処理も組み合わせている。ここでは、ふたつの
カメラの中心をカメラ位置の代表として変換を行う。変
換式は以下の通りである。

【０１０４】

【数２】図３６はこの変換を検証する。ここでも、Ｘ≧０かつＺ
≧０の範囲を考える。点（Ｘ０，Ｙ０，Ｚ０）が縮小処
理により点（Ｘ１，Ｙ１，Ｚ１）に移動したとき、縮小
率Ｓｘ、Ｓｙ、Ｓｚは、Ｓｘ＝（Ｘ１−Ｘ２）／（Ｘ０−Ｘ２）＝（Ｘ４−Ｘ２）／（Ｘ３−Ｘ２）Ｓｙ＝（Ｙ１−Ｙ２）／（Ｙ０−Ｙ２）＝（Ｙ４−Ｙ２）／（Ｙ３−Ｙ２）Ｓｚ＝（Ｚ１−Ｚ２）／（Ｚ０−Ｚ２）＝（Ｚ４−Ｚ２）／（Ｚ３−Ｚ２）となる。Ｅは平面と直線の交点なので、前述と同様Ｓ
ｘ、Ｓｙ、Ｓｚを求めることができる。

【０１０５】なお、以上のように変換後の空間を平面の
集合で表すと、面同士の接線を境に処理が変化し、場合
により違和感が生じうる。その場合は曲面で接続する
か、曲面だけで空間を構成してもよい。計算は曲面と直
線の交点Ｅを求めるものに変わるだけである。

【０１０６】また、以上の例では、縮小率は同一直線Ｃ
Ｄ上では同じとなるが、重み付けを行ってもよい。例え
ばＳｘ、Ｓｙ、Ｓｚに、カメラからの距離Ｌに対する重
み付け関数Ｇ（Ｌ）をかければよい。

【０１０７】図３７から図４０までは、第３の立体画像
処理装置１００の歪処理部１７４による処理とその原理
を示す。図３７は第３の立体画像処理装置１００に入力
されたデプス情報付画像のデプスマップを示し、ここで
はデプスの範囲がＫ１〜Ｋ２の値をもつとする。ここで
は近置のデプスを正、遠置のデプスを負で表す。

【０１０８】図３８は元のデプス範囲２４０と変換後の
デプス範囲２４２の関係を示す。デプスは画像周辺部に
行くにしたがって一定値に近づく。歪処理部１７４はこ
の補正にしたがうようデプスマップを変換する。垂直方
向に視差をもたせる場合も同様である。この変換もＺ方
向の縮小のみなので、以下の式で表現できる。

【０１０９】

【数３】なお、ＳｚはＸの値により場合分けされ、Ｘ≧０のとき、Ｓｚ＝１−２Ｘ／ＬＸ＜０のとき、Ｓｚ＝１＋２Ｘ／Ｌとなる。以上の変換により、図３９に示す新たな要素を
もつ新たなデプスマップが生成される。

【０１１０】図４０はデプスマップに対する別の歪変換
の原理を示す。空間は、より厳密にはユーザ１０から放
射状に観察されるので、Ｘ軸、Ｙ軸方向の縮小処理も組
み合わせている。ここでは、眼間中心を観察位置として
いる。具体的な処理は図３６の場合と同じ式になる。な
お、もともとのデプスマップはＺ値しか持たないが、こ
の計算を行う場合はＸ値とＹ値も保持することになる。
Ｚ値はＸ方向あるいはＹ方向の画素シフト量に変換され
るが、Ｘ値とＹ値はそれらに対するオフセット値として
保持すればよい。

【０１１１】いずれにしても、歪処理部１７４で変換さ
れたデプスマップともとの画像は二次元画像生成部１７
８へ入力され、ここで適正視差になるよう水平方向にシ
フトした合成処理が行われる。その詳細は後述する。

【０１１２】図４１〜図５１は、第２の立体画像処理装
置１００の位置シフト部１６０、およびその延長と把握
できる第３の立体画像処理装置１００の二次元画像生成
部１７８の処理を示す。図４１は位置シフト部１６０に
よるふたつの視差画像の合成位置のシフト原理を示す。
同図のごとく、初期状態では右眼画像Ｒと左眼画像Ｌの
位置は一致している。しかし、同図上部のごとく左眼画
像Ｌを相対的に右へシフトすると、近置点の視差は増加
し、遠置点の視差は減少する。逆に、同図下部のごとく
左眼画像Ｌを相対的に左へシフトすると、近置点の視差
は減少し、遠置点の視差は増加する。

【０１１３】以上が視差画像のシフトによる視差調整の
本質である。画像のシフトは一方であってもよいし、両
方を互いに逆方向にシフトしてもよい。またこの原理か
ら、立体表示方式は、メガネ方式やメガネなし方式を問
わず、視差を利用している全ての方式に適用できること
がわかる。多視点映像や垂直方向の視差に対しても同様
の処理が可能である。

【０１１４】図４２はシフト処理を画素レベルで示す。
左眼画像２００と右眼画像２０２には、ともに第１四角
形２５０と第２四角形２５２が写っている。第１四角形
２５０には近置視差がついており、その視差量を正数で
あらわすと、「６画素」となる。これに対し第２四角形
２５２は遠置視差がついており、その視差量を負数であ
らわすと、「−６画素」となる。ここで、この視差量を
それぞれＦ２、Ｆ１とする。

【０１１５】一方、ユーザが保有する表示装置の適正視
差がＪ１〜Ｊ２であることが分かったとする。位置シフ
ト部１６０は両画像の合成開始位置を互いに（Ｊ２−Ｆ
２）画素シフトさせる。図４３はそのシフトの終了後の
状態で、いま、Ｆ１＝−６、Ｆ２＝６であり、また、Ｊ
１＝−５、Ｊ２＝４であったとすると、合成開始位置は
互いに−２画素、つまり遠置方向に全体がシフトする方
向にずらされることになる。最終的な視差量は図４３の
ごとく、Ｅ１＝−８、Ｅ２＝４となり、少なくとも近置
方向に関して限界視差内に収まる。一般に遠置方向と比
較して、近置方向の二重像の方が違和感が強いとされ、
かつ被写体は近置方向に配置された状態で撮影されるこ
とが多いので、基本的に近置方向の視差を限界内に収め
ることが望ましい。以下に処理例を示す。

【０１１６】１．近置点が限界視差外で、遠置点が限界
視差内の場合は、近置点を限界視差点にシフトする。た
だし、遠置点の視差が眼間距離に到達すれば処理をやめ
る。２．近置点が限界視差外で、遠置点が限界視差外の場合
は、近置点を限界視差点にシフトする。ただし、遠置点
の視差が眼間距離に到達すれば処理をやめる。３．近置点も遠置点も限界視差内の場合は処理しない。４．近置点が限界視差内で、遠置点が限界視差外の場合
は、遠置点を限界視差点にシフトするが、処理の途中で
近置点が限界視差点に到達すれば処理をやめる。

【０１１７】図４４は合成位置のシフトによる画像端の
欠落を示す。ここでは左眼画像２００と右眼画像２０２
のシフト量が１画素であり、左眼画像２００の右端と右
眼画像２０２の左端にそれぞれ１画素幅の欠落部分２６
０が生じる。画像端調整部１６８はこのとき、図４４の
ように画像端の画素列を複製して水平画素数を補償す
る。

【０１１８】これ以外の方法として、欠落部分２６０は
黒または白など特定の色で表示してもよいし、非表示に
してもよい。さらに初期画像のサイズと同じになるよう
に切り出しや付け加え処理を施してもよい。また、予め
初期画像のサイズを実際の表示サイズより大きくしてお
き、欠落部分２６０が表示に影響しないよう配慮しても
よい。

【０１１９】図４５は第２の立体画像処理装置１００に
よる視差の手動調整の流れである。同図のごとく、まず
視差画像として左右画像が人手で作成され（Ｓ１０）、
これがネットワークその他のルートで配布される（Ｓ１
２）。これを第２の立体画像処理装置１００が受け取り
（Ｓ１４）、この図の例では、まずはそのままシフトな
しの通常の状態で画像を合成して表示する（Ｓ１６）。
すなわち、ここでは適正視差がまだ取得されていない場
合や位置シフト部１６０を動作させていない場合を考え
ている。つづいて、立体表示された視差画像に対してユ
ーザが立体感調整部１１２を介して視差の調整を指示
し、これを位置シフト部１６０が「手動調整モード」で
受け、画像合成位置を調整して表示する（Ｓ１８）。な
お、Ｓ１０とＳ１２は画像クリエータの手続２７０、Ｓ
１４以降は第２の立体画像処理装置１００の手続２７２
である。また、図示しないが、このシフト量をヘッダに
記録し、次回から参照して合成すれば、再調整の手間が
省ける。

【０１２０】図４６は第２の立体画像処理装置１００に
よる自動調整の流れを示す。画像クリエータの手続２７
０である、左右画像の生成（Ｓ３０）、画像配布（Ｓ３
２）は図４５と同じである。また、第２の立体画像処理
装置１００の手続２７２のうち、画像受取（Ｓ３４）も
同様である。つぎに、視差量検出部１５０のマッチング
部１５８によって視差画像間に予め付けられている視
差、とくに最大視差を検出し（Ｓ３６）、一方、視差情
報保持部１２０から適正視差、とくに限界視差を取得す
る（Ｓ３８）。この後、位置シフト部１６０が前述の処
理によって限界視差を満たすよう画像の合成位置をシフ
トし（Ｓ４０）、視差書込部１６４、画像端調整部１６
８、フォーマット変換部１１６による処理を経て立体表
示される（Ｓ４２）。

【０１２１】図４７は、第２の立体画像処理装置１００
によるさらに別の自動調整の流れを示す。画像クリエー
タの手続２７０で左右画像の生成（Ｓ５０）した後、こ
の時点で最大視差を検出して（Ｓ５２）視差画像のいず
れかの視点画像のヘッダへ記録しておく（Ｓ５４）。こ
の検出は対応点マッチングで実施してもよいが、クリエ
ータが手作業で視差画像を生成したときは、その編集過
程で当然に既知であるため、これを記録すればよい。こ
の後、画像を配布する（Ｓ５６）。

【０１２２】一方、第２の立体画像処理装置１００の手
続２７２のうち、画像受取（Ｓ５８）は図４６と同様で
ある。つぎに、視差量検出部１５０のヘッダ検査部１５
６によって前述の最大視差をヘッダから読み出す（Ｓ６
０）。一方、視差情報保持部１２０から限界視差を取得
し（Ｓ６２）、以下の処理Ｓ６４、Ｓ６６は図４６の処
理Ｓ４０、Ｓ４２とそれぞれ同じである。この方法によ
れば、最大視差を計算する必要がない。また、画像全体
に適切な立体感を実現できる。さらに、シフト量はヘッ
ダに記録できるため、原画像自体を損なうおそれがな
い。なお、図示しないが、図４６でも検出された最大視
差をヘッダに記録すれば、つぎからは図４７の手続にし
たがって処理することができる。

【０１２３】なお、多眼式でも同様の処理が可能で、そ
れぞれ隣り合う視点画像間の視差量に対して同様の処理
を行えばよい。ただし、実際にはそれら複数の視点画像
間の視差のうちの最大の視差によって全視点画像間の
「最大視差」とみなし、合成位置のシフト量を決めても
よい。

【０１２４】ヘッダ情報は多視点画像の少なくともひと
つにあればよいとしたが、多視点画像が１枚の画像に合
成されている場合はその画像のヘッダを利用すればよ
い。

【０１２５】さらに、すでに合成済みの画像が配布され
る場合もあるが、その場合はいちど逆変換処理で画像を
分離し、合成位置シフト量を計算して再合成するか、そ
れと結果が同じになるよう画素の並べ替え処理を行えば
よい。

【０１２６】図４８〜図５１は、合成位置のシフトをデ
プス情報付画像について行う処理を示す。これは第３の
立体画像処理装置１００の二次元画像生成部１７８にて
行われる。図４８、図４９はそれぞれデプス情報付画像
を構成する平面画像２０４とデプスマップである。ここ
では近置デプスを正、遠置デプスを負で表している。オ
ブジェクトとして第１四角形２５０、第２四角形２５
２、第３四角形２５４が存在し、第１四角形２５０はデ
プス「４」、第２四角形２５２は「２」、第３四角形２
５４は「−４」である。第１四角形２５０は最近置点、
第２四角形２５２は中間近置点、第３四角形２５４が最
遠置点にある。

【０１２７】二次元画像生成部１７８は、もとの平面画
像２０４を基礎として、まず、各画素をデプスマップの
値分だけシフトさせる処理を行い、他方の視点画像を生
成する。基準を左眼画像とすると、もとの平面画像２０
４はそのまま左眼画像となる。第１四角形２５０を左に
４画素、第２四角形２５２を左に２画素、第３四角形２
５４を右に４画素シフトし、図５０のごとく、右眼画像
２０２が作成される。画像端調整部１６８は、オブジェ
クトの移動による画素情報の欠落部分２６０を視差が
「０」である、背景と判断される近接画素によって埋め
る。

【０１２８】つづいて二次元画像生成部１７８は、適正
視差を満たすデプスを計算する。デプスの範囲をＫ１〜
Ｋ２とし、各画素のデプス値をＧｘｙとすると、デプス
マップは図３７においてＨｘｙをＧｘｙへ変更した形に
なる。また、ユーザが保有する表示装置の適正視差がＪ
１〜Ｊ２であることが分かったとする。この場合、その
デプスマップにおいて、各画素のデプス値Ｇは以下のよ
うに変換され、新しいデプス値Ｆｘｙが得られる。

【０１２９】Ｆｘｙ＝Ｊ１＋（Ｇｘｙ−Ｋ１）×（Ｊ２
−Ｊ１）／（Ｋ２−Ｋ１）前述の例では、Ｋ１＝−４、Ｋ２＝４であり、また、Ｊ
１＝−３、Ｊ２＝２であったとすると、この変換式によ
り、図４９のデプスマップは図５１のデプスマップへ変
換される。すなわち、「４」は「２」へ、「２」は
「１」へ、「−４」は「−３」へそれぞれ変換される。
Ｋ１とＫ２の間の中間値は、Ｊ１とＪ２の間に変換され
る。例えば第２四角形２５２はＧｘｙ＝２で、Ｆｘｙ＝
０．７５となる。Ｆｘｙが整数にならない場合は、四捨
五入や近置視差が小さくなるような処理を施せばよい。

【０１３０】なお、上述の変換式は線形変換の例である
が、さらにＧｘｙに対する重み付け関数Ｆ（Ｇｘｙ）を
かけたり、その他いろいろな非線形変換も考えられる。
また、もとの平面画像２０４から、オブジェクトを互い
に逆方向にシフトして新たに左右画像を生成することも
できる。多眼式の場合は同様の処理を複数回行い、多視
点画像を生成すればよい。

【０１３１】以上が実施の形態に係る立体画像処理装置
１００の構成および動作である。立体画像処理装置１０
０は装置として説明したが、これはハードウエアとソフ
トウエアの組合せでもよく、ソフトウエアのみでも構成
できる。その場合、立体画像処理装置１００の任意の部
分をライブラリ化して各種プログラムから呼びだし可能
にすると利便性が高い。プログラマは立体表示の知識が
必要となる部分のプログラミングをスキップできる。ユ
ーザにとっては、ソフトウエアやコンテンツによらず、
立体表示に関する操作、すなわちＧＵＩが共通になり、
設定した情報は他のソフトウエアでも共有できるため再
設定の手間が省ける。

【０１３２】なお、立体表示に関する処理ではなく、情
報を複数のプログラム間で共有するだけでも有用であ
る。各種プログラムはその情報を参照して画像の状態を
決定できる。共有される情報の例は、前述の立体画像処
理装置１００の情報取得部１１８で取得される情報であ
る。この情報を図示しない記録部または補正マップ保持
部１４０などに保持しておけばよい。

【０１３３】図５２〜図５４は、以上の立体画像処理装
置１００をライブラリとして利用する一例を示す。図５
２は立体表示ライブラリ３００の用途を示す。立体表示
ライブラリ３００は複数のプログラムＡ３０２、プログ
ラムＢ３０４、プログラムＣ３０６などから関数を呼び
出す形で参照される。パラメータファイル３１８には前
述の情報のほか、ユーザの適正視差などが格納されてい
る。立体表示ライブラリ３００はＡＰＩ（アプリケーシ
ョンプログラムインタフェイス）３１０を介して複数の
装置Ａ３１２、装置Ｂ３１４、装置Ｃ３１６などで利用
される。

【０１３４】プログラムＡ３０２等の例として、ゲー
ム、いわゆるＷｅｂ３Ｄと呼ばれる三次元アプリケーシ
ョン、三次元デスクトップ画面、三次元地図、二次元画
像である視差画像のビュア、デプス情報付画像などのビ
ュアが考えられる。ゲームの中でも、当然ながら座標の
使い方が違うものがあるが、立体表示ライブラリ３００
はそれにも対応できる。

【０１３５】一方、装置Ａ３１２等の例として、２眼や
多眼のパララックスバリア式、シャッタめがね方式、偏
光めがね方式など、視差を利用する任意の立体表示装置
である。

【０１３６】図５３は三次元データソフト４０２に立体
表示ライブラリ３００が組み込まれた例を示す。三次元
データソフト４０２はプログラム本体４０４と、そのた
めに適正視差を実現する立体表示ライブラリ３００と、
撮影指示処理部４０６を備える。プログラム本体４０４
はユーザインタフェイス４１０を介してユーザと連絡す
る。撮影指示処理部４０６は、ユーザの指示にしたがっ
て、プログラム本体４０４の動作中の所定の場面を仮想
的にカメラ撮影する。撮影された画像は画像記録装置４
１２に記録される。また、立体表示装置４０８へ出力さ
れる。

【０１３７】たとえば三次元データソフト４０２がゲー
ムソフトであるとする。その場合、ユーザはゲーム中は
立体表示ライブラリ３００によって適切な立体感を体験
しながらゲームを実行できる。ゲーム中、ユーザが記録
に残したい場合、たとえば、対戦型戦闘ゲームで完全勝
利をおさめたとき、ユーザインタフェイス４１０を介し
て撮影指示処理部４０６へ指示を出し、その場面を記録
する。その際、立体表示ライブラリ３００を利用し、後
に立体表示装置４０８で再生したときに適正視差となる
よう視差画像が生成され、これが画像記録装置４１２の
電子アルバム等へ記録される。なお、記録を視差画像と
いう二次元画像で行うことにより、プログラム本体４０
４の有する三次元データ自体は流出せず、著作権保護の
面にも配慮することができる。

【０１３８】図５４は、図５３の三次元データソフト４
０２をネットワーク利用型のシステム４３０へ組み込ん
だ例を示す。ゲーム機４３２は図示しないネットワーク
を介し、サーバ４３６と、ユーザ端末４３４に接続され
る。ゲーム機４３２は、いわゆるアーケードゲーム用
で、通信部４４２、三次元データソフト４０２およびゲ
ームをローカルに表示する立体表示装置４４０を備え
る。三次元データソフト４０２は図５３のものである。
三次元データソフト４０２から立体表示装置４４０へ表
示される視差画像は立体表示装置４４０について予め最
適設定されている。三次元データソフト４０２による視
差の調整は、後述のように通信部４４２を介してユーザ
へ画像を送信する際に利用される。ここで利用する表示
装置は、視差を調整して立体画像を生成する機能を備え
ていればよく、必ずしも立体表示ができる装置でなくて
もよい。

【０１３９】ユーザ端末４３４は、通信部４５４、立体
画像を見るためのビュアプログラム４５２および立体画
像をローカルに表示する任意のサイズおよびタイプの立
体表示装置４５０を備える。ビュアプログラム４５２に
は立体画像処理装置１００が実装されている。

【０１４０】サーバ４３６は、通信部４６０、ゲームに
関連してユーザが仮想的に撮影した画像を記録する画像
保持部４６２、およびユーザの適正視差情報、ユーザの
メールアドレスその他の個人情報などをユーザと対応づ
けて記録するユーザ情報保持部４６４を備える。サーバ
４３６は例えばゲームの公式サイトとして機能し、ゲー
ム実行中にユーザが気に入った場面や名勝負の動画また
は静止画を記録する。立体表示は動画、静止画のいずれ
でも可能である。

【０１４１】以上の構成における画像撮影の一例は以下
の要領で行われる。ユーザは予めユーザ端末４３４の立
体表示装置４５０で立体表示を行い、立体画像処理装置
１００の機能をもとに適正視差を取得し、これを通信部
４５４を介してサーバ４３６へ通知し、ユーザ情報保持
部４６４へ格納してもらう。この適正視差は、ユーザの
保有する立体表示装置４５０のハードウエアに関係のな
い汎用的な記述になっている。

【０１４２】ユーザは任意のタイミングでゲーム機４３
２によってゲームをする。その間、立体表示装置４４０
には最初に設定されていた視差、またはユーザが手動調
整した視差による立体表示がなされる。ゲームのプレイ
中、またはリプレイ中、ユーザが画像の記録を希望する
と、ゲーム機４３２の三次元データソフト４０２に内蔵
された立体表示ライブラリ３００が、ふたつの通信部４
４２、４６０を介してサーバ４３６のユーザ情報保持部
４６４からこのユーザの適正視差を取得し、それに合わ
せて視差画像を生成し、再びふたつの通信部４４２、４
６０を介して画像保持部４６２へ仮想的に撮影された画
像に関する視差画像を格納する。ユーザは自宅へ帰った
のち、この視差画像をユーザ端末４３４へダウンロード
すれば、所望の立体感で立体表示ができる。その際も、
ビュアプログラム４５２のもつ立体画像処理装置１００
により、視差の手動調整は可能である。

【０１４３】以上、この応用例によれば、本来、表示装
置のハードウエアごと、ユーザごとに設定しなければな
らない立体感に関するプログラミングが立体画像処理装
置１００および立体表示ライブラリ３００に集約されて
おり、ゲームソフトのプログラマは立体表示に関する複
雑な要件を一切気にする必要がない。これはゲームソフ
トに限らず、立体表示を利用する任意のソフトウエアに
ついても同様であり、立体表示を利用するコンテンツや
アプリケーションの開発の制約を解消する。したがっ
て、これらの普及を飛躍的に促進することができる。

【０１４４】とくに、もともと三次元のＣＧデータが存
在するゲームその他のアプリケーションの場合、従来は
的確な立体表示をコーディングすることが困難であるこ
とも大きな原因となって、せっかく三次元データをもち
ながら、それを立体表示に利用しなかったことも多い。
実施の形態に係る立体画像処理装置１００または立体表
示ライブラリ３００によれば、そうした弊害を除去で
き、立体表示アプリケーションの充実化に寄与すること
ができる。

【０１４５】なお、図５４ではユーザの適正視差をサー
バ４３６に登録したが、ユーザはその情報を記録したＩ
Ｃカードなどを持参してゲーム機４３２を利用してもよ
い。このカードに、このゲームに関する得点や気に入っ
た画像を記録してもよい。

【０１４６】以上、本発明を実施の形態をもとに説明し
た。この実施の形態は例示であり、それらの各構成要素
や各処理プロセスの組合せにいろいろな変形例が可能な
こと、またそうした変形例も本発明の範囲にあることは
当業者に理解されるところである。以下、そうした例を
挙げる。

【０１４７】第１の立体画像処理装置１００は、三次元
データを入力することにより、高い精度で処理が可能で
ある。しかし、三次元データをいったんデプス情報付画
像へ落とし、これに対して第３の立体画像処理装置１０
０を利用して視差画像を生成してもよい。場合により、
そのほうが計算コストが低いことがある。同じように複
数の視点画像を入力する際も、高精度の対応点マッチン
グを用いてデプスマップを作ることも可能で、このよう
にしてデプス情報付画像へ落とし、これに対して第３の
立体画像処理装置１００を利用して視差画像を生成して
もよい。

【０１４８】第１の立体画像処理装置１００において、
カメラ仮配置部１３０を立体画像処理装置１００の構成
としたが、これは立体画像処理装置１００の前処理であ
ってもよい。カメラの仮配置までは、適正視差に関係な
く処理できるためである。同様に、第１、第２、第３の
立体画像処理装置１００を構成する任意の処理ユニット
を立体画像処理装置１００の外部へ出すことも可能であ
り、立体画像処理装置１００の構成の自由度の高さは当
業者に理解されるところである。

【０１４９】実施の形態では、視差の制御を水平方向に
行う場合を説明したが、同様の処理は垂直方向について
も実施できる。

【０１５０】立体表示ライブラリ３００や立体画像処理
装置１００の動作中は、文字データを拡大処理するユニ
ットを設けてもよい。たとえば水平２視点による視差画
像の場合、ユーザの目に見える画像の水平解像度は１／
２になる。その結果、文字の可読性が低下しうるので、
水平方向へ２倍に文字を引き延ばす処理が有効である。
垂直方向にも視差がある場合、同様に垂直方向へ文字を
引き延ばすことも有用である。

【０１５１】立体表示ライブラリ３００や立体画像処理
装置１００の動作中は、表示している画像に「３Ｄ」な
どの文字やマークを入れる「動作中表示部」を設けても
よい。その場合、ユーザは視差の調整が可能な画像であ
るか否かを知ることができる。

【０１５２】立体表示／通常表示の切替ユニットを設け
てもよい。このユニットはＧＵＩを含み、ユーザが所定
のボタンをクリックすると、表示が立体表示から通常の
二次元表示に切り替わり、その反対も可能な構成とすれ
ば便利である。

【０１５３】情報取得部１１８は必ずしもユーザ入力に
より情報を取得するのではなく、プラグアンドプレイな
どの機能により自動的に取得できる情報があってもよ
い。

【０１５４】実施の形態では、ＥとＡを導出する方法を
とったが、これらを固定し、他のパラメータを導出する
方法であってもよく、変数の指定は自由である。

【０１５５】

【発明の効果】本発明によれば、以下のような効果があ
る。１．人の生理に適合しやすい立体画像を生成または表示
できる。２．表示対象画像が変わってもユーザに適切な立体画像
を生成または表示できる。３．簡単な操作で立体表示の立体感を調整できる。４．適切な立体表示が可能なコンテンツまたはアプリケ
ーションづくりに際し、プログラマの負担を軽減でき
る。５．立体表示を最適化しようとするユーザの手間が軽減
される。６．通常、プラグアンドプレイ機能の対象にならない立
体感調整やヘッドトラッキング情報を容易に実現でき、
後付のパララックスバリアのように、原理上プラグアン
ドプレイができない装置についても同様である。

【図面の簡単な説明】

【図１】理想的な立体視ができているユーザ、スクリ
ーン、再生オブジェクト１４の位置関係を示す図であ
る。

【図２】図１の状態を実現する撮影系の例を示す図で
ある。

【図３】図１の状態を実現する撮影系の別の例を示す
図である。

【図４】図１の状態を実現する撮影系の別の例を示す
図である。

【図５】第１の立体画像処理装置に利用するモデル座
標系を示す図である。

【図６】第１の立体画像処理装置に利用するワールド
座標系を示す図である。

【図７】第１の立体画像処理装置に利用するカメラ座
標系を示す図である。

【図８】第１の立体画像処理装置に利用するビューボ
リュームを示す図である。

【図９】図８のボリュームの透視変換後の座標系を示
す図である。

【図１０】第１の立体画像処理装置に利用するスクリ
ーン座標系を示す図である。

【図１１】第１の立体画像処理装置の構成図である。

【図１２】第２の立体画像処理装置の構成図である。

【図１３】第３の立体画像処理装置の構成図である。

【図１４】図１４（ａ）、図１４（ｂ）は、それぞ
れ、第１の立体画像処理装置の立体感調整部によって表
示される左眼画像と右眼画像を示す図である。

【図１５】第１の立体画像処理装置の立体感調整部に
よって表示される、異なる視差をもつ複数のオブジェク
トを示す図である。

【図１６】第１の立体画像処理装置の立体感調整部に
よって表示される、視差が変化するオブジェクトを示す
図である。

【図１７】適正視差が実現される際のカメラ画角、画
像サイズ、視差の関係を示す図である。

【図１８】図１７の状態を実現する撮影系の位置関係
を示す図である。

【図１９】図１７の状態を実現する撮影系の位置関係
を示す図である。

【図２０】多視点画像を適正視差で生成する際のカメ
ラ配置を示す図である。

【図２１】第１の立体画像処理装置の歪処理部が利用
する視差補正マップを示す図である。

【図２２】図２１の視差補正マップにしたがって視差
画像を生成する際のカメラ視点を示す図である。

【図２３】図２１の視差補正マップにしたがって視差
画像を生成する際の別のカメラ視点を示す図である。

【図２４】第１の立体画像処理装置の歪処理部が利用
する視差補正マップを示す図である。

【図２５】図２４の視差補正マップにしたがって視差
画像を生成する際のカメラ視点を示す図である。

【図２６】第１の立体画像処理装置の歪処理部が利用
する距離感補正マップを示す図である。

【図２７】図２６の距離感補正マップにしたがって視
差画像を生成する際のカメラ視点を示す図である。

【図２８】第１の立体画像処理装置の歪処理部が利用
する別の距離感補正マップを示す図である。

【図２９】図２８の距離感補正マップにしたがって視
差画像を生成する際のカメラ視点を示す図である。

【図３０】図３０（ａ）、図３０（ｂ）、図３０
（ｃ）、図３０（ｄ）、図３０（ｅ）、図３０（ｆ）
は、いずれも第１の立体画像処理装置の歪処理部が三次
元空間に処理を施した結果得られる視差分布の上面図で
ある。

【図３１】第１の立体画像処理装置の歪処理部による
処理の原理を示す図である。

【図３２】図３１の処理を具体的に示す図である。

【図３３】図３１の処理を具体的に示す図である。

【図３４】図３１の処理を具体的に示す図である。

【図３５】第１の立体画像処理装置の歪処理部による
処理の別の例を示す図である。

【図３６】図３５の処理を具体的に示す図である。

【図３７】デプスマップを示す図である。

【図３８】第３の立体画像処理装置の歪処理部による
処理の例を示す図である。

【図３９】第３の立体画像処理装置の歪処理部による
処理によって生成されたデプスマップを示す図である。

【図４０】第３の立体画像処理装置の歪処理部による
処理の別の例を示す図である。

【図４１】第２の立体画像処理装置の二次元画像生成
部による処理の例を示す図である。

【図４２】視差画像の例を示す図である。

【図４３】第２の立体画像処理装置の二次元画像生成
部によって合成位置がシフトされた視差画像を示す図で
ある。

【図４４】第２の立体画像処理装置の画像端調整部の
処理を示す図である。

【図４５】第２の立体画像処理装置の処理を示す図で
ある。

【図４６】第２の立体画像処理装置の別の処理を示す
図である。

【図４７】第２の立体画像処理装置の別の処理を示す
図である。

【図４８】デプスマップが付加された平面画像を示す
図である。

【図４９】デプスマップを示す図である。

【図５０】第２の立体画像処理装置の二次元画像生成
部でデプスマップをもとに視差画像を生成する様子を示
す図である。

【図５１】第２の立体画像処理装置の二次元画像生成
部で補正されたデプスマップを示す図である。

【図５２】実施の形態に係る立体画像処理装置をライ
ブラリ化して利用する様子を示す図である。

【図５３】立体表示ライブラリを三次元データソフト
に組み込んだ構成図である。

【図５４】立体表示ライブラリをネットワーク利用型
のシステムで利用する様子を示す図である。

【符号の説明】

１０ユーザ、１２スクリーン、１４再生オブ
ジェクト、２０現実のオブジェクト、２２，２
４，２６，２８カメラ、３０前方投影面、３２
後方投影面、１００立体画像処理装置、１１２
立体感調整部、１１４，１５２，１７０視差制御部、
１１６フォーマット変換部、１１８情報取得
部、１２２指示取得部、１２４視差特定部、
１３２カメラ配置決定部、１３６，１７４歪処理
部、１４０，１７６補正マップ保持部、１４２
二次元画像生成部、１５０視差量検出部、１５６
ヘッダ検査部、１５８マッチング部、１６０位
置シフト部、１６４視差書込部、１６８画像端調
整部、１７８二次元画像生成部、２１０光軸交差
面、３００立体表示ライブラリ、４０２三次元
データソフト、４０６撮影指示処理部、４３０
ネットワーク利用型のシステム、４３２ゲーム機、
４３４ユーザ端末、４３６サーバ、４５２
ビュアプログラム。

フロントページの続き (72)発明者濱岸五郎大阪府守口市京阪本通２丁目５番５号三洋電機株式会社内Ｆターム(参考） 5B050 BA06 CA07 EA06 EA12 EA19 EA27 FA02 FA06 FA13 FA19 5C061 AA06 AB02 AB04 AB08 AB12 AB14 AB21 AB24

Claims

【特許請求の範囲】

【請求項１】立体画像表示に必要な情報をメモリ上に
保持し、その保持された情報を複数の異なるプログラム
間で共有し、それらのプログラムのいずれかが立体画像
を表示する際、前記保持された情報を参照して出力され
るべき画像の状態を決定することを特徴とする立体画像
処理方法。
【請求項２】前記保持された情報は、立体画像表示装
置に入力される画像のフォーマット、立体画像の表示順
序、立体画像の視差量のいずれかの情報を含むことを特
徴とする請求項１に記載の方法。
【請求項３】前記保持された情報の共有に加え、立体
画像表示固有の処理を前記複数のプログラムで共有する
ことを特徴とする請求項１または２に記載の方法。
【請求項４】前記立体画像表示固有の処理は、前記保
持された情報を決定するための処理であることを特徴と
する請求項３に記載の方法。
【請求項５】前記立体画像表示固有の処理は、立体表
示における適正視差を決定するためのグラフィカルユー
ザインタフェイスに関する処理、適正視差状態の実現を
支援する視差調整用画面の表示処理、ユーザの頭位置を
検出して追跡する処理、立体表示装置を調整するための
画像を表示する処理のいずれかを含むことを特徴とする
請求項３に記載の方法。
【請求項６】立体表示画像の立体感を調整するための
グラフィカルユーザインタフェイスをユーザに提供する
立体感調整部と、ユーザによる立体感の調整の結果判明する限界視差を守
る形で視差画像を生成する視差制御部と、を含むことを特徴とする立体画像処理装置。
【請求項７】立体画像表示を適正化するために参照す
べき情報を取得する情報検出部と、取得された情報にしたがって前記視差制御部で生成され
た視差画像のフォーマットを変換する変換部と、をさらに含むことを特徴とする請求項６に記載の装置。
【請求項８】前記情報検出部は、視差画像の視点数、
視差画像の並び方、立体表示の方式、ユーザの頭位置の
追跡情報のいずれかを取得することを特徴とする請求項
７に記載の装置。
【請求項９】前記視差制御部は、三次元データに基づ
き、カメラパラメータを制御して、前記限界視差を守り
つつ前記視差画像を生成することを特徴とする請求項６
〜８のいずれかに記載の装置。
【請求項１０】前記視差制御部は、デプス情報が与え
られている平面画像を入力し、そのデプス情報を制御し
て前記視差画像を生成することを特徴とする請求項６〜
８のいずれかに記載の装置。
【請求項１１】前記視差制御部は、予め視差の与えら
れた複数の二次元画像を入力し、それら複数の二次元画
像の水平方向のシフト量を定め、前記視差画像を生成す
ることを特徴とする請求項６〜８のいずれかに記載の装
置。
【請求項１２】立体画像の表示に影響するパラメータ
をグラフィカルユーザインタフェイスを利用して特定す
る機能と、特定したパラメータにしたがって視差画像を
生成する機能とを複数のプログラムから関数の形で呼出
可能に構成したことを特徴とするコンピュータプログラ
ム。
【請求項１３】立体表示画像の立体感を調整するため
のグラフィカルユーザインタフェイスをユーザに提供す
るステップと、ユーザによる立体感の調整の結果判明する限界視差を守
る形で視差画像を生成するステップと、をコンピュータに実行せしめることを特徴とするコンピ
ュータプログラム。