JP2019013003A - 画像処理装置、画像処理プログラム、及び、画像処理方法 - Google Patents

Abstract

【課題】ジオメトリパイプライン立体視画像生成処理により生成された立体視画像を利用者端末に表示させる場合に、利用者端末が正面方向から左右方向を向いたときに生じる、左眼対応カメラと右眼対応カメラとの間の視差の減少を抑制する。【解決手段】視点設定部５６は、ユーザ端末１６の向きに基づいて、ワールド座標系内の左眼対応立体モデルに対する左眼視点及びワールド座標系内の右眼対応立体モデルに対する右眼視点を設定する。これにより、左眼視点及び右眼視点それぞれに対して、視線方向をＺ軸負方向、上方ベクトルの向きをＹ軸正方向、Ｚ軸及びＹ軸に対して右手系を構成する向き方向をＸ軸正方向とするビュー座標系が定義される。視点補正部５８は、左眼ビュー座標系におけるＸ軸負方向に左眼視点を移動させ、右眼ビュー座標系におけるＸ軸正方向に右眼視点を移動させる。【選択図】図５

Description

本発明は、画像処理装置、画像処理プログラム、及び、画像処理方法に関する。

人間の左右の眼は異なる位置にある（所定距離離れている）ため、左右の眼で得られる
像が僅かに異なる。この左右の眼で得られる像の差異によって、人間は立体感を得ること
ができる。左右の眼で得られる像の差異は、両眼視差と呼ばれる。

従来、両眼視差を模擬して、鑑賞者が立体感を得ることのできる画像（以下「立体視画
像」と記載する）を提供するシステムが提案されている（例えば特許文献１）。具体的に
は、左眼対応カメラと右眼対応カメラを所定距離離して設置し、左眼対応カメラで左眼対
応画像を撮像し、右眼対応カメラで右眼対応画像を撮像するシステムが提案されている。
両カメラ間の所定距離は人間の両眼の間隔に基づいて決定される。左眼対応カメラと右眼
対応カメラは所定距離離して設置されていることから、左眼対応カメラと右眼対応カメラ
との間に視差が生じ、その結果、左眼対応画像と右眼対応画像とでは、当該視差に応じて
僅かに異なる画像になる。そして、左眼対応画像と右眼対応画像とを結合して立体視画像
が生成される。立体視画像としては様々な態様が提案されている。例えば、左眼対応画像
と右眼対応画像が交互に表示されるもの、水平方向の１ラインおきに左眼対応画像と右眼
対応画像の各ラインが交互に配置されたもの、あるいは左眼対応画像と右眼対応画像が並
列に並べられたものなどである。このような立体視画像に対して、利用者は、左眼対応画
像を左眼で見るようにし、右眼対応画像を右眼で見るようにすることで、立体感を得るこ
とができる。

特開２００２−２３２９１３号公報

左眼対応画像及び右眼対応画像に基づいて生成された立体視画像を、鑑賞者（利用者）
が利用する利用者端末に表示させるシステムが考えられる。利用者端末としては、例えば
、タブレット端末やＨＭＤ（Head Mounted Display）などが考えられる。このようなシス
テムによれば、例えば、アーティストのライブを左眼対応カメラ及び右眼対応カメラで撮
影し、得られた左眼対応画像及び右眼対応画像に基づく立体視画像であるライブ映像を利
用者端末に表示させることで、利用者は、当該アーティストのライブ映像を立体感を得な
がら観賞することができる。

このようなシステムにおいては、利用者がＶＲ（Virtual Reality）をより感じられる
よう、以下のような処理が行うことが考えられる。まず、左眼対応カメラ及び右眼対応カ
メラで撮像された各画像が、一旦、ワールド座標系において定義される立体モデルに投影
される。これにより左眼対応画像と右眼対応画像にそれぞれ対応する２つの立体画像モデ
ルが生成される。その上で、ワールド座標系において、左眼対応の立体画像モデルに対す
る左眼視点が設定され、また、右眼対応の立体画像モデルに対する右眼視点が設定される
。ここで、各視点から各立体画像モデルへの視線方向は、利用者端末の向きに応じて設定
される。そして、設定された各視点及び視線方向に基づいて、各立体画像モデルが２次元
投影されることで、処理済の左眼対応画像と右眼対応画像が得られる。この処理済左眼対
応画像及び処理済右眼対応画像とに基づいて、立体視画像が生成される。本明細書では、
上記のような一連の処理を「ジオメトリパイプライン立体視画像生成処理」と呼ぶ。

ジオメトリパイプライン立体視画像生成処理によれば、利用者端末の向きに応じて、利
用者端末に表示される立体視画像を変化させることができる。例えば、利用者端末が正面
を向いているときは、各立体画像モデルの正面領域（つまり左眼対応カメラ及び右眼対応
カメラの正面方向からの入射光により撮像された画像領域）が表示され、利用者が利用者
端末を右側へ向けると、各立体画像モデルの右側領域（つまり左眼対応カメラ及び右眼対
応カメラの右側方向からの入射光により撮像された画像領域）が表示される。しかも、利
用者はそれらの画像を立体感を感じながら見ることができる。これにより、利用者は、あ
たかも画像が撮像された場所（例えばライブ会場）にいるような感覚を得ることができる
。

上述の通り、利用者が立体視画像から立体感を得られるのは、左眼対応カメラと右眼対
応カメラとの間に視差があるからである。しかしながら、ジオメトリパイプライン立体視
画像生成処理においては、利用者が左右方向に利用者端末を向けて、各立体画像モデルの
左右側領域を表示させた場合、左眼対応カメラと右眼対応カメラとの間の視差が小さくな
るという問題が生じる。これにより、左右側領域においては、利用者が得ることのできる
立体感が減少するという問題が生じる。図１７を参照して、当該問題について説明する。

図１７には、水平面であるｘｙ平面において所定距離ｄ離れて設置された左眼対応レン
ズと右眼対応レンズが示されている。上述のように、ｄは人間の左眼と右眼の間隔に基づ
いて設定される。図１７に示される通り、各レンズから正面を見るときは、各レンズから
の視線方向が正面方向（ｘ軸に平行）となる。このとき、左眼対応レンズと右眼対応レン
ズとの間の視差は、両レンズ間の間隔、すなわちｄといえる。一方、利用者端末が左右方
向に向けられ、各立体画像モデルの左右側領域（これは左眼対応カメラ及び右眼対応カメ
ラの撮像領域の左右側領域でもある）が利用者端末に表示される場合を考えると、その場
合であっても、左眼対応レンズ及び右眼対応レンズの向きは一定（正面向き）であること
から、各レンズからの視線方向は、正面方向に対して角度を有することになる。例えば、
図１７に示すように、各レンズから右側方向を見る場合、各レンズからの視線方向は正面
方向（ｘ軸方向）から角度（９０−φ）、真横方向（ｙ軸方向）から角度φを持った方向
となる。これにより、図１７に示される通り、左眼対応レンズと右眼対応レンズとの間の
視差は、両レンズ間の間隔ｄよりも小さいｄ’となってしまう。具体的には、ｄ’＝ｄｓ
ｉｎφとなる。このように、利用者が利用者端末を左右に向けて、各立体画像モデルの左
右側領域を見ようとすると、左眼対応レンズと右眼対応レンズとの間の視差が小さくなっ
てしまう。

本発明の目的は、ジオメトリパイプライン立体視画像生成処理により生成された立体視
画像を利用者端末に表示させる場合に、利用者端末が正面方向から左右方向を向いたとき
に生じる、左眼対応カメラと右眼対応カメラとの間の視差の減少を抑制することにある。

本発明は、所定距離離間して同じ方向を向くように設置された左眼対応カメラ及び右眼
対応カメラからの画像を処理して、利用者が利用する利用者端末に表示する画像を生成す
る画像処理装置であって、前記左眼対応カメラで撮像された左眼対応画像、及び、前記右
眼対応カメラで撮像された右眼対応画像をそれぞれ立体モデルに投影変換して、ワールド
座標系において左眼対応立体モデル及び右眼対応立体モデルを構築するモデリング部と、
前記利用者端末の向きに基づいて、前記ワールド座標系において、前記左眼対応立体モデ
ルに対する左眼視点の位置、前記左眼視点からの視点方向である左眼視線方向、及び、前
記左眼視点の上方向を示す左眼上方ベクトルの向きを設定し、前記利用者端末の向きに基
づいて、前記ワールド座標系において、前記右眼対応立体モデルに対する右眼視点の位置
、前記右眼視点からの視点方向である右眼視線方向、及び、前記右眼視点の上方向を示す
右眼上方ベクトルの向きを設定する視点設定部と、前記利用者端末の向きが、キャリブレ
ーションにより定められる正面方向から左右方向に向けられた場合に、前記左眼視線方向
とは反対の方向をＺ_ＶＬ軸正方向とし、前記左眼上方ベクトルの向きをＹ_ＶＬ軸正方向と
し、前記Ｚ_ＶＬ軸及びＹ_ＶＬ軸に対して右手系を構成する向きがＸ_ＶＬ軸正方向である左
眼ビュー座標系におけるＸ_ＶＬ軸負方向に前記左眼視点を移動させ、前記右眼視線方向と
は反対の方向をＺ_ＶＲ軸正方向とし、前記右眼上方ベクトルの向きをＹ_ＶＲ軸正方向とし
、前記Ｚ_ＶＲ軸及びＹ_ＶＲ軸に対して右手系を構成する向きがＸ_ＶＲ軸正方向である右眼
ビュー座標系におけるＸ_ＶＲ軸正方向に前記右眼視点を移動させることで、前記左眼視点
及び前記右眼視点の位置を補正する視点補正部と、補正された前記左眼視点の位置、前記
左眼視線方向、及び前記左眼上方ベクトルの向きに基づいて、前記左眼対応立体モデルを
２次元投影することで処理済左眼対応画像を生成し、補正された前記右眼視点の位置、前
記右眼視線方向、及び前記右眼上方ベクトルの向きに基づいて、前記右眼対応立体モデル
を２次元投影することで処理済左眼対応画像を生成する投影変換部と、を備えることを特
徴とする画像処理装置である。

望ましくは、前記視点補正部は、前記所定距離と、前記利用者端末の向きに応じて演算
される前記左眼対応カメラと前記右眼対応カメラとの間の視差との差の半分である補正距
離に応じた距離分、前記左眼視点及び前記右眼視点の位置を移動させる、ことを特徴とす
る。

望ましくは、前記モデリング部は、前記左眼対応立体モデルにおける、前記左眼対応カ
メラの撮像対象の像が描画された描画領域のうち、前記左眼対応カメラの撮像対象の像が
描画されていない無描画領域側の境界領域において、当該無描画領域へ向かって描画像を
徐々に透過させる処理を行い、前記右眼対応立体モデルにおける、前記右眼対応カメラの
撮像対象の像が描画された描画領域のうち、前記右眼対応カメラの撮像対象の像が描画さ
れていない無描画領域側の境界領域において、当該無描画領域へ向かって描画像を徐々に
透過させる処理を行う、ことを特徴とする。

また、本発明は、所定距離離間して同じ方向を向くように設置された左眼対応カメラ及
び右眼対応カメラからの画像を処理して、利用者が利用する利用者端末に表示する画像を
生成するコンピュータを、前記左眼対応カメラで撮像された左眼対応画像、及び、前記右
眼対応カメラで撮像された右眼対応画像をそれぞれ立体モデルに投影変換して、ワールド
座標系において左眼対応立体モデル及び右眼対応立体モデルを構築するモデリング部と、
前記利用者端末の向きに基づいて、前記ワールド座標系において、前記左眼対応立体モデ
ルに対する左眼視点の位置、前記左眼視点からの視点方向である左眼視線方向、及び、前
記左眼視点の上方向を示す左眼上方ベクトルの向きを設定し、前記利用者端末の向きに基
づいて、前記ワールド座標系において、前記右眼対応立体モデルに対する右眼視点の位置
、前記右眼視点からの視点方向である右眼視線方向、及び、前記右眼視点の上方向を示す
右眼上方ベクトルの向きを設定する視点設定部と、前記利用者端末の向きが、キャリブレ
ーションにより定められる正面方向から左右方向に向けられた場合に、前記左眼視線方向
とは反対の方向をＺ_ＶＬ軸正方向とし、前記左眼上方ベクトルの向きをＹ_ＶＬ軸正方向と
し、前記Ｚ_ＶＬ軸及びＹ_ＶＬ軸に対して右手系を構成する向きがＸ_ＶＬ軸正方向である左
眼ビュー座標系におけるＸ_ＶＬ軸負方向に前記左眼視点を移動させ、前記右眼視線方向と
は反対の方向をＺ_ＶＲ軸正方向とし、前記右眼上方ベクトルの向きをＹ_ＶＲ軸正方向とし
、前記Ｚ_ＶＲ軸及びＹ_ＶＲ軸に対して右手系を構成する向きがＸ_ＶＲ軸正方向である右眼
ビュー座標系におけるＸ_ＶＲ軸正方向に前記右眼視点を移動させることで、前記左眼視点
及び前記右眼視点の位置を補正する視点補正部と、補正された前記左眼視点の位置、前記
左眼視線方向、及び前記左眼上方ベクトルの向きに基づいて、前記左眼対応立体モデルを
２次元投影することで処理済左眼対応画像を生成し、補正された前記右眼視点の位置、前
記右眼視線方向、及び前記右眼上方ベクトルの向きに基づいて、前記右眼対応立体モデル
を２次元投影することで処理済左眼対応画像を生成する投影変換部と、として機能させる
ことを特徴とする画像処理プログラムである。

また、本発明は、所定距離離間して同じ方向を向くように設置された左眼対応カメラ及
び右眼対応カメラからの画像を処理して、利用者が利用する利用者端末に表示する画像を
生成する画像処理方法であって、前記左眼対応カメラで撮像された左眼対応画像、及び、
前記右眼対応カメラで撮像された右眼対応画像をそれぞれ立体モデルに投影変換して、ワ
ールド座標系において左眼対応立体モデル及び右眼対応立体モデルを構築するモデリング
ステップと、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記左眼
対応立体モデルに対する左眼視点の位置、前記左眼視点からの視点方向である左眼視線方
向、及び、前記左眼視点の上方向を示す左眼上方ベクトルの向きを設定し、前記利用者端
末の向きに基づいて、前記ワールド座標系において、前記右眼対応立体モデルに対する右
眼視点の位置、前記右眼視点からの視点方向である右眼視線方向、及び、前記右眼視点の
上方向を示す右眼上方ベクトルの向きを設定する視点設定ステップと、前記利用者端末の
向きが、キャリブレーションにより定められる正面方向から左右方向に向けられた場合に
、前記左眼視線方向とは反対の方向をＺ_ＶＬ軸正方向とし、前記左眼上方ベクトルの向き
をＹ_ＶＬ軸正方向とし、前記Ｚ_ＶＬ軸及びＹ_ＶＬ軸に対して右手系を構成する向きがＸ_Ｖ
Ｌ軸正方向である左眼ビュー座標系におけるＸ_ＶＬ軸負方向に前記左眼視点を移動させ、
前記右眼視線方向とは反対の方向をＺ_ＶＲ軸正方向とし、前記右眼上方ベクトルの向きを
Ｙ_ＶＲ軸正方向とし、前記Ｚ_ＶＲ軸及びＹ_ＶＲ軸に対して右手系を構成する向きがＸ_ＶＲ
軸正方向である右眼ビュー座標系におけるＸ_ＶＲ軸正方向に前記右眼視点を移動させるこ
とで、前記左眼視点及び前記右眼視点の位置を補正する視点補正ステップと、補正された
前記左眼視点の位置、前記左眼視線方向、及び前記左眼上方ベクトルの向きに基づいて、
前記左眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成し、補正され
た前記右眼視点の位置、前記右眼視線方向、及び前記右眼上方ベクトルの向きに基づいて
、前記右眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成する投影変
換ステップと、を備えることを特徴とする画像処理方法である。

本発明によれば、ジオメトリパイプライン立体視画像生成処理により生成された立体視
画像を利用者端末に表示させる場合に、利用者端末が正面方向から左右方向を向いたとき
に生じる、左眼対応カメラと右眼対応カメラとの間の視差の減少を抑制することができる
。

本実施形態に係る立体視画像提供システムの構成概略図である。 左眼対応カメラ及び右眼対応カメラの構成概略図である。 左眼対応カメラの魚眼レンズと右眼対応カメラの魚眼レンズとの間隔を示す図である。 画像配信サーバの構成概略図である。 ユーザ端末の構成概略図である。 ユーザ端末に立体視画像が表示される様子を示す図である。 球状立体モデルの例を示す概念図である。 魚眼レンズへの入射角と魚眼画像における位置との対応関係を示す図である。 球状立体モデルへの左眼対応画像の投影処理の様子を示す概念図である。 左眼対応立体モデルの描画領域に対する処理内容を示す概念図である。 ワールド座標系において設定された左眼視点を示す概念図である。 ユーザ端末が左右方向に向けられる様子を示す図である。 ユーザ端末が左右方向に向けられたときの視差補正距離Δｄを示す図である。 左眼視点の位置が補正される様子を示す概念図である。 右眼視点の位置が補正される様子を示す概念図である。 本実施形態に係るユーザ端末の処理の流れを示すフローチャートである。 ユーザ端末が左右方向に向けられたときに両レンズ間の視差が減少する様子を示す図である。

以下、本発明の実施形態について説明する。

図１に、本実施形態に係る立体視画像提供システム１０の構成概略図が示されている。
立体視画像提供システム１０は、左眼対応カメラ１２Ｌ、右眼対応カメラ１２Ｒ、画像配
信サーバ１４、及び利用者端末としてのユーザ端末１６を含んで構成されている。左眼対
応カメラ１２Ｌ及び右眼対応カメラ１２Ｒと画像配信サーバ１４との間、並びに、画像配
信サーバ１４とユーザ端末１６との間は、通信回線１８を介して互いに通信可能に接続さ
れている。通信回線１８は、例えばインターネット、ローカルエリアネットワーク（ＬＡ
Ｎ）、あるいは近距離無線通信などによって構成される。

立体視画像提供システム１０においては、左眼対応カメラ１２Ｌ及び右眼対応カメラ１
２Ｒで撮像した左眼対応画像及び右眼対応画像（動画含む）が一旦画像配信サーバ１４へ
格納された後、ユーザ端末１６からの要求に応じて、画像配信サーバ１４から左眼対応画
像及び右眼対応画像がユーザ端末１６へ送信される。そして、ユーザ端末１６の表示部に
、左眼対応画像及び右眼対応画像に基づく立体視画像が表示される。これにより利用者と
してのユーザは立体感のある画像を閲覧することができる。詳細は後述するが、立体視画
像提供システム１０において利用者に提供される立体視画像は、ジオメトリパイプライン
立体視画像生成処理によって生成される。なお、立体視画像提供システム１０により提供
される立体視画像の内容（コンテンツ）は、例えばアーティストやアイドルのライブ映像
であるが、これらに限定されるものではない。

図２（ａ）には、左眼対応カメラ１２Ｌの構成概略図が示されている。

左眼対応カメラ１２Ｌは魚眼レンズ２０Ｌを備えており、つまり左眼対応カメラ１２Ｌ
は魚眼カメラである。魚眼レンズ２０Ｌは、半球状の凸レンズを有しており、当該凸レン
ズによって、撮像対象を平面でなく球面で捕らえることを可能としたレンズである。魚眼
レンズは一般的に画角が広いため、１つのレンズで向きを固定した場合であっても撮像領
域を比較的広範囲とすることができる。本実施形態における魚眼レンズ２０Ｌは、２３０
°の画角を有している。なお、魚眼レンズには、様々な射影方式が知られているが、本実
施形態における魚眼レンズ２０Ｌは、等立体角射影が採用されたものである。ただし、魚
眼レンズ２０Ｌとしては、その他の射影方式（例えば正射影、等距離射影、あるいは立体
射影）が採用されたものであってもよい。

撮像素子２２Ｌは、例えばＣＣＤ（Charge Coupled Device）イメージセンサなどから
構成される。撮像素子２２Ｌは、２次元配列された複数の受光素子を有している。複数の
受光素子は、生成される左眼対応画像の各画素に対応するものである。撮像素子２２Ｌが
有する複数の受光素子は、魚眼レンズ２０Ｌに入射した光を受けて、受けた光を電気信号
に変換する。魚眼レンズ２０Ｌへの光の入射角に応じて、当該光を受信する受光素子が決
定される。本実施形態においては、撮像素子２２Ｌの各受光素子は、光を受信することで
、当該光に応じてＲ（赤）、Ｇ（緑）、Ｂ（青）の各値を有する画素値に変換する。撮像
素子２２Ｌにより上述の処理が行われることで、２次元画像である左眼対応画像が形成さ
れる。

通信部２４Ｌは、例えばネットワークアダプタなどから構成される。通信部２４Ｌはい
わゆる通信インターフェースであり、通信回線１８を介して、画像配信サーバ１４に左眼
対応画像を送信する機能を備えている。通信部２４Ｌは、無線通信機能を備えた通信イン
ターフェースであってもよいし、有線通信機能を備えた通信インターフェースであっても
よい。

図２（ｂ）には、右眼対応カメラ１２Ｒの構成概略図が示されている。右眼対応カメラ
１２Ｒは、右眼対応画像を生成して画像配信サーバ１４へ送信するものである。右眼対応
カメラ１２Ｒが有する各部の構成及び機能は、左眼対応カメラ１２Ｌが有する各部と同様
であるため、説明は省略する。

図３には、左眼対応カメラ１２Ｌが備える魚眼レンズ２０Ｌと、右眼対応カメラ１２Ｒ
が備える魚眼レンズ２０Ｒの位置関係が示されている。図３は平面視であり、魚眼レンズ
２０Ｌ及び２０Ｒは、実空間座標系の水平面であるＸ_Ｒ１Ｙ_Ｒ１平面において所定距離ｄ
離して設置されている。詳しくは、所定距離ｄは、魚眼レンズ２０Ｌの中心と、魚眼レン
ズ２０Ｒの中心との間の距離である。所定距離ｄは、人間の左眼と右眼の間隔に基づいて
決定されており、本実施形態では６４ｍｍに設定されている。魚眼レンズ２０Ｌ及び２０
Ｒは同じ方向を向くように設置されている。本実施形態では、魚眼レンズ２０Ｌ及び２０
Ｒは、いずれもＸ_Ｒ１軸に沿った水平方向に向けられている。本明細書においては、魚眼
レンズ２０ＬからＸ_Ｒ１軸正方向に向かう方向、及び魚眼レンズ２０ＲからＸ_Ｒ１軸正方
向に向かう方向を「正面方向」と記載する。また、Ｙ_Ｒ１軸方向を「左右方向」と記載す
る。

上述の通り、魚眼レンズ２０Ｌ及び２０Ｒは画角が２３０°であるから、魚眼レンズ２
０Ｌの正面方向を中心とした左右、上下、及び斜め方向の２３０°が魚眼レンズ２０Ｌの
撮像領域である。魚眼レンズ２０Ｒについても同様である。

図４に、画像配信サーバ１４の構成概略図が示されている。画像配信サーバ１４は、以
下に説明する機能を発揮するコンピュータであればどのような装置であってもよい。

通信部３０は、例えばネットワークアダプタなどから構成される。通信部３０は、通信
回線１８を介して、左眼対応カメラ１２Ｌから左眼対応画像を、右眼対応カメラ１２Ｒか
ら右眼対応画像をそれぞれ受信する機能を有する。また、通信部３０は、通信回線１８を
介して、ユーザ端末１６から画像の配信要求情報を受信する機能を有する。さらに、通信
部３０は、通信回線１８を介して、左眼対応カメラ１２Ｌ及び右眼対応カメラ１２Ｒから
受信し記憶部３２に記憶された左眼対応画像３４Ｌ及び右眼対応画像３４Ｒをユーザ端末
１６に送信（配信）する機能を有する。このとき、左眼対応画像３４Ｌ及び右眼対応画像
３４Ｒは同時に一つの画像として送信（配信）されるのが好適である。

記憶部３２は、ハードディスク、ＲＯＭ（Read Only Memory）、あるいはＲＡＭ（Rand
om Access Memory）などを含んで構成される。記憶部３２には、画像配信サーバ１４の各
部を動作させるためのプログラムが記憶される。また、記憶部３２には、左眼対応カメラ
１２Ｌ及び右眼対応カメラ１２Ｒから受信した左眼対応画像３４Ｌ及び右眼対応画像３４
Ｒが記憶される。

制御部３６は、例えばＣＰＵ（Central Processing Unit）などから構成され、記憶部
３２に記憶されたプログラムに従って、画像配信サーバ１４の各部の動作を制御する。ま
た、制御部３６は、ユーザ端末１６から配信要求情報を受信すると、配信要求情報を送信
したユーザ端末１６に対して、配信要求に係る左眼対応画像３４Ｌ及び右眼対応画像３４
Ｒを送信する制御を行う。

図５に、ユーザ端末１６の構成概略図が示されている。本実施形態に係るユーザ端末１
６はスマートフォンなどのタブレット端末であるが、ユーザ端末１６としては、以下に説
明する機能を発揮するコンピュータであればどのような装置であってもよい。例えば、ヘ
ッドマウントディスプレイ（ＨＭＤ）などであってもよい。ユーザ端末１６においては、
画像配信サーバ１４から配信される左眼対応画像３４Ｌ及び右眼対応画像３４Ｒに基づく
立体視画像を閲覧するためのアプリケーションを動作させることが可能になっている。

本実施形態においては、ユーザ端末１６が、画像配信サーバ１４から受信した左眼対応
画像３４Ｌ及び右眼対応画像３４Ｒを処理して立体視画像を生成する。つまり、本実施形
態では、ユーザ端末１６は利用者端末であると同時に画像処理装置としての機能を発揮す
る。

制御部４０は、例えばＣＰＵあるいはマイクロコントローラなどから構成され、後述の
記憶部４８に記憶されたプログラムに従って、ユーザ端末１６の各部の動作を制御する。
また、制御部４０は、ユーザから画像の配信要求の送信指示を受け付けた場合は、画像配
信サーバ１４に対して配信要求情報を送信する制御を行う。

通信部４２は、例えばネットワークアダプタなどから構成される。通信部４２は、通信
回線１８を介して、画像配信サーバ１４へ配信要求情報を送信する機能を有する。また、
通信部４２は、通信回線１８を介して、画像配信サーバ１４から左眼対応画像３４Ｌ及び
右眼対応画像３４Ｒを受信する機能を有する。

表示部４４は、例えば液晶パネルなどから構成される。表示部４４には、ユーザが各種
操作を行うためのユーザインターフェース画面が表示される。また、表示部４４には、画
像配信サーバ１４から受信し左眼対応画像３４Ｌ及び右眼対応画像３４Ｒに基づいて生成
された立体視画像が表示される。本実施形態では、図６に示される通り、立体視画像は、
後述の画像処理部５２によって処理された処理済左眼対応画像と処理済右眼対応画像とが
並列に並べられて生成されるものである。ユーザは、左眼で処理済左眼対応画像を、右眼
で処理済右眼対応画像を見るための特殊レンズなどの器具をユーザ端末１６に取りつけた
上で当該立体視画像を見る。このようにすることで、ユーザは、表示部４４に表示された
立体視画像を立体感を得ながら観賞することができる。

図５に戻り、入力部４６は、例えばタッチパネルあるいはボタンなどから構成される。
入力部４６は、ユーザの指示をユーザ端末１６に入力するためのものである。

記憶部４８は、例えばＲＯＭあるいはＲＡＭなどを含んで構成される。記憶部４８には
、ユーザ端末１６の各部を動作させるためのプログラムが記憶される。また、記憶部４８
には、後述の画像処理部５２が有する各機能を発揮させるための画像処理プログラム、及
び、立体視画像を閲覧するためのアプリケーションが記憶される。その他、記憶部４８に
は、各種の処理データなどが記憶される。

角速度センサ５０は、例えばジャイロセンサなどを含んで構成される。角速度センサ５
０は、実空間座標系における３軸回り、すなわちＸ_Ｒ２軸回り、Ｙ_Ｒ２軸回り、Ｚ_Ｒ２軸
回りそれぞれにおけるユーザ端末１６の回転速度（角速度）を計測する。また、角速度セ
ンサ５０は、キャリブレーションを行った上で、計測した各軸周りの角速度をキャリブレ
ーション時点からの時間で積分することで、ユーザ端末１６の各軸周りの角度、すなわち
向きを算出することができる。

画像処理部５２は、例えばＧＰＵ（Graphics Processing Unit）などを含んで構成され
る。画像処理部５２は、記憶部４８に記憶された立体視画像生成プログラムとの協働によ
り、ジオメトリパイプライン立体視画像生成処理を行うものである。図５に示すように、
画像処理部５２は、モデリング部５４、視点設定部５６、視点補正部５８、投影変換部６
０、及び立体視画像生成部６２の各機能ブロックを有している。以下、図７以降の参照し
ながら、画像処理部５２が有する各機能ブロックについて説明する。

モデリング部５４は、仮想空間座標系であるワールド座標系において定義された立体モ
デル（３次元モデル）に対して、画像配信サーバ１４から受信した左眼対応画像３４Ｌを
投影変換して、左眼対応立体モデルを構築する。同様に、モデリング部５４は、ワールド
座標系において定義された立体モデルに対して、画像配信サーバ１４から受信した右眼対
応画像３４Ｒを投影変換して、左眼対応立体モデルを構築する。

本実施形態では、球状の立体モデルを使用する。図７に、本実施形態で使用する球状立
体モデル７０が示されている。本実施形態では、ワールド座標系は、原点をＯ_Ｗとする直
交座標系であるＸ_Ｗ軸、Ｙ_Ｗ軸、及びＺ_Ｗ軸で定義されている。ワールド座標系のスケー
ルは適宜設定されてよいが、本実施形態では実空間座標系と同じスケールが設定される。
球状立体モデル７０は、原点Ｏ_Ｗを中心としており、その表面は複数の三角ポリゴン７２
で形成されている。具体的には、球状立体モデル７０の両極（Ｙ_Ｗ座標の最大値及び最小
値）を繋ぐように経度方向に並ぶ複数の経度線と、当該球面の表面において各経度線に直
交し、緯度方向に並ぶ複数の緯度線とが定義され、複数の経度線と複数の緯度線との交点
が頂点として定義される。複数の頂点に対する複数の頂点座標を示す情報は予め記憶部４
８などに記憶され、モデリング部５４が参照可能となっている。球状立体モデル７０（の
表面）上に定義された複数の頂点のうち、隣接する３つの頂点によって１つの三角ポリゴ
ン７２が定義される。

モデリング部５４は、左眼対応画像３４Ｌを球状立体モデル７０に投影変換して、球状
立体モデル７０が有する各三角ポリゴン７２に対して描画処理を行う。これにより、球状
の左眼対応立体モデルが構築される。同様に、モデリング部５４は、右眼対応画像３４Ｒ
を球状立体モデル７０に投影変換して、球状立体モデル７０が有する各三角ポリゴン７２
に対して描画処理を行う。これにより、球状の右眼対応立体モデルが構築される。

モデリング部５４による投影変換について説明する前に、魚眼カメラである左眼対応カ
メラ１２Ｌ及び右眼対応カメラ１２Ｒで撮像された、魚眼画像である左眼対応画像３４Ｌ
及び右眼対応画像３４Ｒについて説明する。

図８に、魚眼レンズへの入射角と、魚眼画像における位置との対応関係を示す図が示さ
れている。なお、図８はモデル図であり、図８に示された魚眼レンズの画角は１８０°と
なっている。また、図８には、等立体角射影の場合の例が示されている。図８においては
、左側に魚眼レンズを正面から見た図と魚眼画像が重ねて示されており、右側に魚眼レン
ズを側面から見た図が示されている。また、図８に示された魚眼画像の各画素の座標は、
魚眼画像の左上隅を原点Ｏ_Ｐとする、水平（横）方向の位置を示すＸ_Ｐ軸座標と、垂直（
縦）方向の位置を示すＹ_Ｐ軸座標で表現されるものとする。

等立体角射影においては、魚眼レンズへの入射角θと、撮像素子における像高ｙは、次
式で与えられる。
ｙ＝２ｆｓｉｎ（θ／２） ・・・ （式１）
ここで、入射角θとは、魚眼レンズの正面方向に対する入射光の角度であり、像高ｙと
は、撮像素子の中央からの物理的な距離であり、ｆは焦点距離である。

例えば、入射角θ＝０°の場合、すなわち、魚眼レンズの正面方向からの入射光につい
ては、ｙ＝０となる。これは、撮像素子が有する２次元配列された受光素子のうち中央に
位置する受光素子が、入射角０°の入射光を受光することを表している。つまり、入射角
０°（魚眼レンズの正面方向から）の入射光に対応する魚眼画像における画素は、魚眼画
像の中心座標、すなわち、最大Ｘ_Ｐ座標がＸ_ＰＭＡＸ、最大Ｙ_Ｐ座標がＹ_ＰＭＡＸである
とすると座標（Ｘ_ＰＭＡＸ／２，Ｙ_ＰＭＡＸ／２）の画素となる。

次に、入射角θが０°ではない場合は、像高ｙがある値を持つことになる。例えば、入
射角θ＝３０°である場合は、像高ｙ＝ｆとなる。これは、入射角３０°の入射光につい
ては、撮像素子の中央を中心とする半径ｙ＝ｆの円周上に位置する受光素子が受光するこ
とを表している。入射角３０°の入射光に対応する魚眼画像における画素は、魚眼画像の
中心座標を中心とする半径ｙ’の円周上に位置する画素となる。ここで、ｙは、あくまで
撮像素子上における物理的な距離であるため、魚眼画像における半径ｙ’は、魚眼画像の
サイズ（Ｘ_ＰＭＡＸ及びＹ_ＰＭＡＸ）に基づいてｙに対して変換処理をかけて取得される
。

なお、本実施形態では、魚眼レンズ２０Ｌ及び２０Ｒの射影方式が等立体角射影である
ために、像高ｙは式１で算出されたが、
魚眼レンズ２０Ｌ及び２０Ｒの射影方式が正射影である場合には、
ｙ＝ｆｓｉｎθ ・・・ （式２）で、
魚眼レンズ２０Ｌ及び２０Ｒの射影方式が等距離射影である場合には、
ｙ＝ｆθ ・・・ （式３）で、
魚眼レンズ２０Ｌ及び２０Ｒの射影方式が立体射影である場合には、
ｙ＝２ｆｔａｎ（θ／２） ・・・ （式４）で、
それぞれ像高ｙが求められる。

上述のように、魚眼画像においては、魚眼レンズへの入射角に応じて同心円周上の画素
に像が形成されるため、図８に示される通り、魚眼画像の四隅には像が形成されないのが
一般的である。以下、魚眼画像のうち、像が形成されない四隅の部分を「無画像領域」と
、それ以外の部分を「画像領域」と記載する。

図９には、モデリング部５４によって左眼対応画像３４Ｌが球状立体モデル７０に対し
て投影変換される様子が示されている。図９に示される通り、概念的には、モデリング部
５４は、球状立体モデル７０よりもＺ_Ｗ軸の負方向側のＸ_ＷＹ_Ｗ平面と平行な面に、その
上側がＹ_Ｗ軸正方向となるように左眼対応画像３４Ｌを配置した上で、球状立体モデル７
０を左眼対応画像３４Ｌで包み込むようなイメージで、左眼対応画像３４Ｌの各画素と球
状立体モデル７０の各三角ポリゴン７２を対応させた上で、左眼対応画像３４Ｌの各画素
を対応する三角ポリゴン７２に投影する。これにより、球状立体モデル７０の各三角ポリ
ゴン７２に対して描画処理を行う。

具体的には、モデリング部５４は、描画対象の三角ポリゴン７２とワールド座標系の原
点（球状立体モデル７０の中心）Ｏ_Ｗとを結ぶ線分と、原点Ｏ_ＷからＺ_Ｗ軸負方向へ伸び
る線が成す角（以下「対Ｚ_Ｗ軸角」と記載する）に基づいて、当該描画対象の三角ポリゴ
ン７２に投影する左眼対応画像３４Ｌの画素を選択する。具体的には、対Ｚ_Ｗ軸角がθ_１
である三角ポリゴン群に対しては、左眼対応画像３４Ｌの画素のうち、当該対Ｚ_Ｗ軸角と
同じ入射角θ_１に対応する画素群（図９において左眼対応画像３４Ｌ上に一点鎖線で示す
）が投影される。上述の通り、左眼対応画像３４の中心座標からの距離ｙ’は、入射角に
基づいて算出されるから、距離ｙ’に基づいて、左眼対応画像３４Ｌ上において、入射角
θ_１に対応する画素群を特定することができる。なお、１つの三角ポリゴン７２に対応す
る左眼対応画像３４Ｌの画素が複数ある場合は、当該三角ポリゴン７２に対しては、当該
複数の画素に基づいて描画処理が行われていてよい。その場合は、例えば、複数の画素が
有する複数の画素値の代表値（例えば平均値など）を用いて描画されてよい。

このように、球状立体モデル７０に対して左眼対応画像３４Ｌが投影されることで、２
次元画像であった左眼対応画像３４Ｌが左眼対応立体モデルに変換される。

右眼対応画像３４Ｒについても同様に、球状立体モデル７０に対して右眼対応画像３４
Ｒを投影変換することで、右眼対応立体モデルが構築される。

図１０には、モデリング部５４の投影処理により構築された左眼対応立体モデル７４Ｌ
のＸ_ＷＺ_Ｗ平面における断面図が示されている。上述の通り、本実施形態における魚眼レ
ンズ２０Ｌの画角は２３０°であり、また、魚眼画像の四隅には無画像領域が存在してい
るから、図１０に示される通り、左眼対応立体モデル７４Ｌの後側（Ｚ_Ｗ軸正方向側）に
位置する三角ポリゴン群は、左眼対応画像３４Ｌが投影されなかった領域、及び、左眼対
応画像３４Ｌの無画像領域が投影された領域を含む（すなわち左眼対応カメラ１２Ｌの撮
像対象の像が描画されていない）無描画領域となっている。具体的には、Ｚ_Ｗ軸の負方向
を真ん中とした中心角２３０°よりも後側に位置する三角ポリゴン群が無描画領域となっ
ている。なお、本実施形態では、無描画領域に含まれる三角ポリゴン群は黒一色となって
いる。一方、Ｚ_Ｗ軸の負方向を真ん中とした中心角２３０°よりも前側（Ｚ_Ｗ軸負方向側
）に位置する三角ポリゴン群は、左眼対応画像３４Ｌの画像領域、すなわち、左眼対応カ
メラ１２Ｌの撮像対象の像が投影されて描画された描画領域となっている。

ここで、モデリング部５４は、描画領域のうち、Ｚ_Ｗ軸の負方向を真ん中とした中心角
１８０°よりも後側に位置する三角ポリゴン群に描画された描画像を削除する。当該削除
処理により描画像が削除される領域を「描画像削除領域」と呼ぶ（図１０参照）。これは
、図３に示された通り、左眼対応カメラ１２Ｌの魚眼レンズ２０Ｌと、右眼対応カメラ１
２Ｒの魚眼レンズ２０Ｒとが左右方向に並べられて配置されているため、左眼対応立体モ
デル７４Ｌの右側（Ｘ_Ｗ軸正方向側）にある描画像削除領域には、魚眼レンズ２０Ｒの像
が描画されてしまう。同様に、右眼対応立体モデル７４Ｒの左側（Ｘ_Ｗ軸負方向側）にあ
る描画像削除領域には、魚眼レンズ２０Ｌの像が描画されてしまう。本実施形態では、描
画像削除領域を含む領域が２次元投影されることにより立体視画像が生成された場合（当
該２次元投影処理については詳細後述）に、ユーザに魚眼レンズ２０Ｌ及び２０Ｒが見え
てしまわないように、モデリング部５４は、描画像削除領域において描画像を削除してい
る。描画像削除領域において描画像が削除されることにより、Ｚ_Ｗ軸の負方向を真ん中と
した中心角１８０°よりも前側が描画領域となり、Ｚ_Ｗ軸の負方向を真ん中とした中心角
１８０°よりも後側が無描画領域となる。

さらに、モデリング部５４は、左眼対応立体モデル７４Ｌの描画領域のうち、無描画領
域との境界領域（描画領域の左右両端の領域）において、無描画領域へ向かって描画像を
徐々に透過させる透過処理を行う。透過処理が行われる領域を「透過処理領域」と呼ぶ（
図１０参照）。上述の通り、無描画領域には何も描画されておらず、本実施形態では黒一
色となっている。したがって、描画領域と無描画領域との境界を含む領域が２次元投影さ
れることにより立体視画像が生成された場合、当該立体視画像において突然無描画領域に
対応する画素が現れるようになってしまう。例えば、立体視画像上に境界線が現れ、当該
境界線の一方側は撮影された像に対応する画像があるのに、当該境界線を境に突然黒画素
で塗りつぶされた領域が出現するようになってしまう。これにより、ユーザが違和感を感
じてしまう場合が考えられる。

そこで、モデリング部５４が透過処理領域に対して透過処理を行うことにより、描画領
域と無描画領域との境界を含む領域が２次元投影されて立体視画像が生成された場合であ
っても、当該立体視画像において、描画領域に対応する画素領域から無描画領域に対応す
る画素領域に行くにつれ徐々に画素が透過していくから、ユーザが感じる違和感を低減さ
せることができる。

モデリング部５４は、右眼対応立体モデル７４Ｒに対しても、描画像削除領域に対する
描画像削除処理及び透過処理領域に対する透過処理を行う。

視点設定部５６は、ワールド座標系において、モデリング部５４が構築した左眼対応立
体モデル７４Ｌに対する左眼視点に関する設定、モデリング部５４が構築した右眼対応立
体モデル７４Ｒに対する右眼視点に関する設定を行う。具体的には、左眼視点の位置及び
右眼視点の位置、左眼視点からの視線方向である左眼視線方向及び右眼視点からの視線方
向である右眼視線方向、並びに、左眼視点の上方向を示す左眼上方ベクトルの向き及び右
眼視点の上方向を示す右眼上方ベクトルの向きを設定する。

視点設定部５６は、ユーザ端末１６の向きに応じて、左眼視点及び右眼視点の位置、左
眼視線方向及び右眼視線方向、並びに左眼上方ベクトルの向き及び右眼上方ベクトルの向
きを決定する。図１１には水平面であるＸ_Ｒ２Ｙ_Ｒ２平面上において、ユーザ端末１６の
向きが右方向に変更される様子が示されている。本実施形態では、ユーザ端末１６におい
て、立体視画像を閲覧するためのアプリケーションが起動したタイミングで、角速度セン
サ５０がキャリブレーションを行う。キャリブレーションを行ったときのユーザ端末１６
の向きが正面方向として設定される。図１１においては、水平方向であってＸ_Ｒ２軸正方
向が正面方向となっており、当該正面方向を向いたユーザ端末１６が破線で示されている
。図１１には、キャリブレーション後、ユーザによってユーザ端末１６の向きが変更され
、正面方向から時計回り（右側方向）に（９０−φ）°、すなわちＹ_Ｒ軸方向（真横方向
）に対して角度φの向きに、回転させられた様子が示されている。なお、当然ながら、ユ
ーザ端末１６は、表示部４４がユーザ側を向く状態が維持されながらその向きが変更され
る。

図１２に、ワールド座標系において設定される左眼視点が示されている。図１２は、図
１０同様、左眼対応立体モデル７４ＬのＸ_ＷＺ_Ｗ平面における断面図である。本実施形態
では、左眼視点は、ワールド座標系の原点Ｏ_Ｗ、すなわち、球状の左眼対応立体モデル７
４Ｌの中心点から所定距離離れた位置に設定される。後述のように、左眼視点の位置は、
ユーザ端末１６の向きに応じて変更され得るが、原点Ｏ_Ｗから左眼視点までの距離は不変
となっている。したがって、左眼視点の移動軌跡は、原点Ｏ_Ｗを中心とした球面上となる
。

左眼視点からの左眼視線方向は、左眼視点の位置から原点Ｏ_Ｗへ向かう方向である。し
たがって、左眼視点の位置が決定すると、それに従って左眼視線方向も決定するといえる
。また、本実施形態では、左眼対応立体モデル７４Ｌに対しては、Ｙ_Ｗ軸正方向と左眼対
応画像３４Ｌの上側方向を一致させた上で、左眼対応画像３４Ｌが球状立体モデル７０に
投影されているから、左眼視点がＸ_ＷＺ_Ｗ平面上にある場合は、左眼視点の上方ベクトル
の向きはＹ_Ｗ軸正方向となる。なお、左眼視線方向と左眼視点の上方ベクトルの向きとの
間の方向関係は、左眼視点の位置に関わらず一定（直交）に維持される。

ワールド座標系において構築された左眼対応立体モデル７４Ｌにおいては、Ｚ_Ｗ軸負方
向が正面方向に対応するため、視点設定部５６は、ワールド座標系におけるＺ_Ｗ軸負方向
に対する左眼視線方向が、正面方向に対するユーザ端末１６の向きに一致するように左眼
視点の位置を設定する。

まず、ユーザ端末１６が正面方向を向いているときは、視点設定部５６は、左眼視線方
向がＺ_Ｗ軸負方向を向くように、原点Ｏ_ＷからＺ_Ｗ軸正方向の位置に左眼視点を設定する
。図１２においては、当該位置が点ＶＰＬ_ｉｎｉで示されている。この場合の左眼上方ベ
クトルの向きはＹ_Ｗ軸正方向である。

その後、図１１に示すように、ユーザ端末１６がＸ_Ｒ２Ｙ_Ｒ２平面上において、正面方
向から右側方向に（９０−φ）°回転させられた場合、視点設定部５６は、左眼視点をそ
の移動軌跡上において移動させて、ワールド座標系における左眼視線方向を、原点Ｏ_Ｗか
らＺ_Ｗ軸負方向へ延びる線との成す角が（９０−φ）°となるように左眼視点の位置を設
定する。図１２には、そのように設定された左眼視点の位置が点ＶＰＬ_１で示されている
。なお、この例においては、左眼視点は、Ｘ_ＷＺ_Ｗ平面上を移動しただけなので、左眼上
方ベクトルの向きはＹ_Ｗ軸正方向に維持される。

視点設定部５６によって左眼視点の位置が設定されると、左眼視点を原点とした左眼ビ
ュー座標系が定義される。本実施形態における左眼ビュー座標系は、左眼視線方向とは反
対の方向をＺ_ＶＬ軸正方向とし（つまり左眼視線方向がＺ_ＶＬ軸負方向）、左眼上方ベク
トルの向きをＹ_ＶＬ軸正方向とし、Ｚ_ＶＬ軸及びＹ_ＶＬ軸に対して右手系を構成する向き
がＸ_ＶＬ軸正方向に設定される。したがって、左眼視点の位置が変更されると、ワールド
座標系に対する左眼ビュー座標系の原点の位置、及び、Ｘ_ＶＬ軸Ｙ_ＶＬ軸Ｚ_ＶＬ軸各軸の
方向も変更されることになる。

なお、後述の視点補正部５８により左眼視点の位置が補正されなかったとすると、後述
の投影変換部６０によって、左眼視線方向を中心とした所定の視野角に含まれる左眼対応
立体モデル７４Ｌの一部分、すなわち、図１２において左眼対応立体モデル７４Ｌ上で太
線で表された部分が２次元投影されて左眼に対応する２次元画像が生成される。つまり、
図１２の太線部分に対応する２次元画像が表示部４４に表示される（ユーザが見える）部
分である。

右眼対応立体モデル７４Ｒに対する右眼視点についても、上記同様の処理によって設定
される。そして、右眼視点を原点とした右眼ビュー座標系が定義される。本実施形態にお
ける右眼ビュー座標系は、右眼視線方向とは反対の方向をＺ_ＶＲ軸正方向とし（つまり右
眼視線方向がＺ_ＶＲ軸負方向）、右眼上方ベクトルの向きをＹ_ＶＲ軸正方向とし、Ｚ_ＶＲ
軸及びＹ_ＶＲ軸に対して右手系を構成する向きがＸ_ＶＲ軸正方向に設定される。

視点補正部５８は、ユーザ端末１６が正面方向から左右方向に向けられた場合に、ユー
ザ端末１６の向きに基づいて、設定された左眼視点の位置を左眼ビュー座標系上で移動さ
せ、設定された右眼視点の位置を右眼ビュー座標系上で移動させることで左眼視点及び右
眼視点の位置を補正する処理を行う。詳しくは、左眼対応カメラ１２Ｌと右眼対応カメラ
１２Ｒとの間の視差を拡げる方向に、左眼視点及び右眼視点の位置を移動させる。以下、
当該補正処理の詳細について説明する。

図１７において示したのと同様に、本実施形態においても、ユーザがユーザ端末１６を
左右方向に向けた場合、左眼対応カメラ１２Ｌと右眼対応カメラ１２Ｒとの間の視差が小
さくなるという問題が生じる。当該問題が図１３において改めて示されている。ここでも
、ユーザがユーザ端末１６を正面方向から右側に（９０−φ）°向けた場合、すなわち真
横方向から角度φとなる方向に向けた場合を考える。この場合、上述のように、投影変換
部６０により生成される２次元画像は、左眼対応立体モデル７４ＬのＺ_Ｗ軸負方向（ワー
ルド座標系における正面方向）から右側方向に対応する画像となる。一方において、魚眼
レンズ２０Ｌ及び２０Ｒの向きは正面方向を向いたままであるため、実空間上で考えると
、魚眼レンズ２０Ｌ及び２０Ｒからの視線方向は、レンズの向き（正面方向）から右側に
（９０−φ）°向いた状態となる。したがって、左眼対応カメラ１２Ｌと右眼対応カメラ
１２Ｒとの間の視差はｄ’となり、これは上述のようにｄ’＝ｄｓｉｎφとなる。したが
って、視差ｄ’は、魚眼レンズ２０Ｌと２０Ｒとの間の距離、すなわち、視線方向が魚眼
レンズ２０Ｌと２０Ｒから正面方向である場合の左眼対応カメラ１２Ｌと右眼対応カメラ
１２Ｒとの間の視差ｄよりも小さくなる。

ユーザ端末１６が左右方向に向けられたときの、左眼対応カメラ１２Ｌと右眼対応カメ
ラ１２Ｒとの間の視差の減少を抑制するには、魚眼レンズ２０Ｌの現在の視点ＬＰＬ_１及
び魚眼レンズ２０Ｒの現在の視点ＬＰＲ_１を、それぞれ、視差が広がる方向に移動させれ
ばよい。視差を正確にｄに維持するならば、視線方向が正面のときの視差ｄと現在の視差
ｄ’との差分を算出し、魚眼レンズ２０Ｌの視点及び魚眼レンズ２０Ｒの視点を当該差分
の半分であるΔｄづつ、視差が広がる方向に移動させればよいことになる。

ここで、ｄ’＝ｄｓｉｎφであるから、補正距離Δｄは、
Δｄ＝｛ｄ（１−ｓｉｎφ）｝／２ ・・・ （式５）
で与えられる。

したがって、仮に、魚眼レンズ２０Ｌの視点を視線方向に直交する方向であって視差が
広がる方向に距離Δｄだけ移動させて、当該視点を図１３における点ＬＰＬ_２で示される
位置にし、同様に、魚眼レンズ２０Ｒの視点を視線方向に直交する方向であって視差が広
がる方向に距離Δｄだけ移動させて、当該視点を図１３における点ＬＰＲ_２で示される位
置にすることで、ユーザ端末１６が左右方向に向けられたときに生じ得る視差の減少を解
消することができると考えられる。

本実施形態では、このような実空間上における視点の移動がワールド座標系上で実現さ
れるように、視点補正部５８は、ワールド座標系において設定された左眼視点及び右眼視
点の位置を移動させる。

図１４には、左眼視点の位置が補正される様子が示されている。図１４には、図１２な
どと同様、左眼対応立体モデル７４ＬのＸ_ＷＺ_Ｗ平面における断面図である。視点設定部
５６により左眼視点が点ＶＰＬ_１の位置に設定された状態から考える。左眼対応カメラ１
２Ｌと右眼対応カメラ１２Ｒとの間の視差を拡げるための、左眼視点の移動方向は、左眼
上方ベクトルの向きを上にして、左眼視点から左眼視線方向を向いたときの左側方向であ
る。これは、左眼視線方向とは反対の方向をＺ_ＶＬ軸正方向とし、左眼上方ベクトルの向
きをＹ_ＶＬ軸正方向とし、Ｚ_ＶＬ軸及びＹ_ＶＬ軸に対して右手系を構成する向きがＸ_ＶＬ
軸正方向である左眼ビュー座標系におけるＸ_ＶＬ軸負方向であるといえる。換言すれば、
左眼視点方向をＺ軸正方向とし、左眼上方ベクトルの向きをＹ軸正方向としたときに、当
該Ｚ軸とＹ軸に対して右手系を構成するＸ軸正方向の方向であるといえる。また、左眼視
点の位置を移動させるにあたり、左眼視線方向及び左眼上方ベクトルの向きは維持される
。

左眼視点方向及び左眼上方ベクトルの向きを維持しつつ、左眼ビュー座標系におけるＸ
_ＶＬ軸負方向に左眼視点を移動させることは、図１３に示した、実座標系における魚眼レ
ンズ２０Ｌの視点を、その視線方向及び魚眼レンズ２０Ｌの上側方向を維持しながら点Ｌ
ＰＬ_１から点ＬＰＬ_２方向へ移動させることに相当する。したがって、左眼視点をＸ_ＶＬ
軸負方向に移動させることで左眼対応カメラ１２Ｌと右眼対応カメラ１２Ｒとの間の視差
の減少を抑制することができる。

図１５には、右眼視点の位置が補正される様子が示されている。図１５には、右眼対応
立体モデル７４ＲのＸ_ＷＺ_Ｗ平面における断面図である。左眼対応カメラ１２Ｌと右眼対
応カメラ１２Ｒとの間の視差を拡げるための、右眼視点の移動方向は、右眼上方ベクトル
の向きを上にして、右眼視点から右眼視線方向を向いたときの右側方向である。これは、
右眼視線方向とは反対の方向をＺ_ＶＲ軸正方向とし、右眼上方ベクトルの向きをＹ_ＶＲ軸
正方向とし、Ｚ_ＶＲ軸及びＹ_ＶＲ軸に対して右手系を構成する向きがＸ_ＶＲ軸正方向であ
る右眼ビュー座標系におけるＸ_ＶＲ軸正方向であるといえる。換言すれば、右眼視点方向
をＺ軸正方向とし、右眼上方ベクトルの向きをＹ軸正方向としたときに、当該Ｚ軸とＹ軸
に対して左手系を構成するＸ軸正方向の方向であるといえる。また、右眼視点の位置を移
動させるにあたっても、右眼視線方向及び右眼上方ベクトルの向きは維持される。

右眼視点方向及び右眼上方ベクトルの向きを維持しつつ、右眼ビュー座標系におけるＸ
_ＶＲ軸正方向に右眼視点を移動させることは、図１３に示した、実座標系における魚眼レ
ンズ２０Ｒの視点を、その視線方向及び魚眼レンズ２０Ｒの上側方向を維持しながら点Ｌ
ＰＲ_１から点ＬＰＲ_２方向へ移動させることに相当する。したがって、右眼視点をＸ_ＶＲ
軸正方向に移動させることで左眼対応カメラ１２Ｌと右眼対応カメラ１２Ｒとの間の視差
の減少を抑制することができる。

また、左眼視点及び右眼視点を補正することにより、左眼対応カメラ１２Ｌと右眼対応
カメラ１２Ｒとの間の視差がｄに一致するのが好ましい。視差をｄに一致させるため、視
点補正部５８は、左眼視点及び右眼視点の補正距離を算出する。

ここでも、図１１に示されるように、ユーザ端末１６が正面方向から右側方向（９０−
φ）°傾けられ、図１４の点ＶＰＬ_１が示す位置に設定された左眼視点の位置を補正する
場合を考える。視点補正部５８は、魚眼レンズ２０Ｌと魚眼レンズ２０Ｒとの間の距離ｄ
と、角速度センサ５０が演算したユーザ端末１６の向きを示す角度φを用いて、上述の式
５に基づいて、補正距離Δｄを算出する。なお、距離ｄは予め計測されて、距離ｄを示す
上方が記憶部４８に記憶されていてよい。

視点補正部５８は、左眼視点を上述の方向に算出した補正距離Δｄ移動させる。同様に
、右眼視点を上述の方向に補正距離Δｄ移動させる。これにより、ユーザ端末１６がいず
れの向きを向いていても、魚眼レンズ２０Ｌと魚眼レンズ２０Ｒとの間の視差を常にｄと
することができる。なお、本実施形態においては、ワールド座標系と実空間座標系とのス
ケールが同じとなっているので、左眼視点及び右眼視点を補正距離Δｄ移動させたが、ワ
ールド座標系と実空間座標系のスケールが異なる場合は、算出した補正距離Δｄに両座標
系のスケールを考慮した補正をかけた上で補正後の距離分だけ左眼視点及び右眼視点を移
動させるようにしてもよい。

投影変換部６０は、視点設定部５６により設定され、必要に応じて視点補正部５８によ
り補正された左眼視点、左眼視線方向、及び左眼上方ベクトルの向きに基づいて、左眼対
応立体モデル７４Ｌを２次元投影することで、２次元画像である処理済左眼対応画像を生
成する。図１４に示すように、補正後の左眼視点の位置である点ＶＰＬ_２から左眼視線方
向を中心とした所定の視野角の範囲内に含まれる左眼対応立体モデル７４Ｌの一部である
投影対象領域８０Ｌが２次元投影の対象となる。具体的には、補正後の左眼視点を基準と
した左眼ビュー座標系において定義された２次元スクリーン上に、投影対象領域８０Ｌに
含まれる三角ポリゴン群の描画像が投影されて処理済左眼対応画像が生成される。本実施
形態として、２次元投影の方法として透視投影変換が用いられるが、その他の変換方法が
用いられてもよい。

投影変換部６０は、同様に、視点設定部５６により設定され、必要に応じて視点補正部
５８により補正された右眼視点、右眼視線方向、及び右眼上方ベクトルの向きに基づいて
、右眼対応立体モデル７４Ｒを２次元投影することで、２次元画像である処理済右眼対応
画像を生成する。図１５に示すように、補正後の右眼視点の位置である点ＶＰＲ_２から右
眼視線方向を中心とした所定の視野角の範囲内に含まれる右眼対応立体モデル７４Ｒの一
部である投影対象領域８０Ｒが２次元投影の対象となる。２次元投影の方法は、左眼対応
立体モデル７４Ｌの投影方法と同様であってよい。

立体視画像生成部６２は、投影変換部６０により生成された処理済左眼対応画像及び処
理済右眼対応画像に基づいて、立体視画像を生成する。図６に示される通り、本実施形態
における立体視画像は、処理済左眼対応画像及び処理済右眼対応画像が並列に並べられた
画像である。もちろん、立体視画像としては、処理済左眼対応画像をユーザの左眼で見る
ことができ、処理済右眼対応画像をユーザの右眼で見ることができる限りにおいてその他
の態様であってもよい。

また、立体視画像生成部６２は、表示部４４のサイズに応じて、生成した立体視画像の
サイズを変更するビューポート変換を行う。これにより、表示部４４のサイズに適した立
体視画像が生成される。

生成された立体視画像は、制御部４０により表示部４４に表示される。

本実施形態に係る立体視画像提供システム１０の構成は以上の通りである。立体視画像
提供システム１０によれば、ジオメトリパイプライン立体視画像生成処理によって立体視
画像が生成されるにあたり、ユーザ端末１６が正面方向から左右方向に向けられた場合に
、視点補正部５８によって、ワールド座標系において設定された左眼視点及び右眼視点の
位置がユーザ端末１６の向きに応じて、左眼対応カメラ１２Ｌと右眼対応カメラ１２Ｒと
の間の視差が拡がる方向に移動される。これにより、ユーザ端末１６が左右方向を向けら
れたときに生じる、左眼対応カメラ１２Ｌと右眼対応カメラ１２Ｒとの間の視差の減少が
抑制される。その結果、ユーザ端末１６が左右方向に向けられた場合であっても、ユーザ
に対して好適に立体感を感じることができる立体視画像を提供することができる。

好適には、ユーザ端末の向きに応じて算出された補正距離Δｄに応じた距離だけ、左眼
視点及び右眼視点が移動されるから、ユーザ端末１６がどの向きを向いていたとしても、
左眼対応カメラ１２Ｌと右眼対応カメラ１２Ｒとの間の視差はｄに維持される。これによ
り、より好適に立体感を感じることのできる立体視画像を提供することが可能になると共
に、ユーザ端末１６の向きに応じて表示部４４に表示される立体視画像が刻々変化する場
合に、ユーザに与える違和感を低減することができる。

上述の実施形態においては、画像処理部５２、すなわち、モデリング部５４、視点設定
部５６、視点補正部５８、投影変換部６０、及び立体視画像生成部６２はユーザ端末１６
が有していたが、これらの各部が画像配信サーバ１４が有する態様を取ることもできる。
その場合は、画像配信サーバ１４が立体視画像生成装置として機能する。画像配信サーバ
１４において立体視画像が生成される場合、生成された立体視画像がユーザ端末１６に配
信される。なお、この態様を採用する場合は、ユーザ端末１６の角速度センサ５０の計測
値は逐次画像配信サーバ１４へ送信される。

以下、図１６に示されたフローチャートに従って、本実施形態に係るユーザ端末１６の
処理の流れを説明する。

ステップＳ１０において、ユーザの指示に応じて、ユーザ端末１６から画像配信サーバ
１４に対して画像の配信要求情報が送信される。ユーザ端末１６は、それを受けた画像配
信サーバ１４から左眼対応画像３４Ｌ及び右眼対応画像３４Ｒを受信する。

ステップＳ１２において、モデリング部５４は、受信した左眼対応画像３４Ｌをワール
ド座標系において定義された球状立体モデル７０に投影変換して左眼対応立体モデル７４
Ｌを構築する。同様に、モデリング部５４は、受信した右眼対応画像３４Ｒをワールド座
標系において定義された球状立体モデル７０に投影変換して右眼対応立体モデル７４Ｒを
構築する。

ステップＳ１４において、角速度センサ５０は、ユーザ端末１６の向きを取得する。

ステップＳ１６において、視点設定部５６は、ステップＳ１４において取得されたユー
ザ端末１６の向きに基づいて、ワールド座標系において、左眼対応立体モデル７４Ｌに対
する左眼視点、左眼視線方向、及び左眼上方ベクトルの向きを設定する。同様に、視点設
定部５６は、ステップＳ１４において取得されたユーザ端末１６の向きに基づいて、ワー
ルド座標系において、右眼対応立体モデル７４Ｒに対する右眼視点、右眼視線方向、及び
右眼上方ベクトルの向きを設定する。

ステップＳ１８において、視点補正部５８は、ステップＳ１４で取得したユーザ端末１
６の向きに基づいて、補正距離Δｄを算出する。

ステップＳ２０において、視点補正部５８は、ステップＳ１８で算出した補正距離Δｄ
に応じた距離分、左眼視点及び右眼視点をそれぞれのビュー座標系上で移動させる。上述
の通り、左眼視点の移動方向は、左眼ビュー座標系のＸ_ＶＬ軸負方向であり、右眼視点の
移動方向は、右眼ビュー座標系のＸ_ＶＲ軸正方向である。

ステップＳ２２において、投影変換部６０は、ステップＳ２０で補正された左眼視点の
位置、左眼視線方向、及び左眼上方ベクトルの向きに基づいて、左眼対応立体モデル７４
Ｌを２次元投影することで、処理済左眼対応画像を生成する。同様に、投影変換部６０は
、ステップＳ２０で補正された右眼視点の位置、右眼視線方向、及び右眼上方ベクトルの
向きに基づいて、右眼対応立体モデル７４Ｒを２次元投影することで、処理済右眼対応画
像を生成する。

ステップＳ２４において、立体視画像生成部６２は、ステップＳ２２で生成された処理
済左眼対応画像及び処理済右眼対応画像を並列に並べることにより、立体視画像を生成す
る。

ステップＳ２６において、制御部４０は、ステップＳ２４で生成された立体視画像を表
示部４４に表示させる。

以上、本発明に係る実施形態を説明したが、本発明は上記実施形態に限られるものでは
なく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

１０ 立体視画像提供システム、１２Ｌ 左眼対応カメラ、１２Ｒ 右眼対応カメラ、
１４ 画像配信サーバ、１６ ユーザ端末、１８ 通信回線、２０Ｌ，２０Ｒ 魚眼レン
ズ、２２Ｌ，２２Ｒ 撮像素子、２４Ｌ，２４Ｒ，３０，４２ 通信部、３２，４８ 記
憶部、３４Ｌ 左眼対応画像、３４Ｒ 右眼対応画像、３６，４０ 制御部、４４ 表示
部、４６ 入力部、５０ 角速度センサ、５２ 画像処理部、５４ モデリング部、５６
視点設定部、５８ 視点補正部、６０ 投影変換部、６２ 立体視画像生成部。

Claims (5)

1. 所定距離離間して同じ方向を向くように設置された左眼対応カメラ及び右眼対応カメラ
   からの画像を処理して、利用者が利用する利用者端末に表示する画像を生成する画像処理
   装置であって、
   前記左眼対応カメラで撮像された左眼対応画像、及び、前記右眼対応カメラで撮像され
   た右眼対応画像をそれぞれ立体モデルに投影変換して、ワールド座標系において左眼対応
   立体モデル及び右眼対応立体モデルを構築するモデリング部と、
   前記利用者端末の向きに基づいて、前記ワールド座標系において、前記左眼対応立体モ
   デルに対する左眼視点の位置、前記左眼視点からの視点方向である左眼視線方向、及び、
   前記左眼視点の上方向を示す左眼上方ベクトルの向きを設定し、前記利用者端末の向きに
   基づいて、前記ワールド座標系において、前記右眼対応立体モデルに対する右眼視点の位
   置、前記右眼視点からの視点方向である右眼視線方向、及び、前記右眼視点の上方向を示
   す右眼上方ベクトルの向きを設定する視点設定部と、
   前記利用者端末の向きが、キャリブレーションにより定められる正面方向から左右方向
   に向けられた場合に、前記左眼視線方向とは反対の方向をＺ_ＶＬ軸正方向とし、前記左眼
   上方ベクトルの向きをＹ_ＶＬ軸正方向とし、前記Ｚ_ＶＬ軸及びＹ_ＶＬ軸に対して右手系を
   構成する向きがＸ_ＶＬ軸正方向である左眼ビュー座標系におけるＸ_ＶＬ軸負方向に前記左
   眼視点を移動させ、前記右眼視線方向とは反対の方向をＺ_ＶＲ軸正方向とし、前記右眼上
   方ベクトルの向きをＹ_ＶＲ軸正方向とし、前記Ｚ_ＶＲ軸及びＹ_ＶＲ軸に対して右手系を構
   成する向きがＸ_ＶＲ軸正方向である右眼ビュー座標系におけるＸ_ＶＲ軸正方向に前記右眼
   視点を移動させることで、前記左眼視点及び前記右眼視点の位置を補正する視点補正部と
   、
   補正された前記左眼視点の位置、前記左眼視線方向、及び前記左眼上方ベクトルの向き
   に基づいて、前記左眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成
   し、補正された前記右眼視点の位置、前記右眼視線方向、及び前記右眼上方ベクトルの向
   きに基づいて、前記右眼対応立体モデルを２次元投影することで処理済左眼対応画像を生
   成する投影変換部と、
   を備えることを特徴とする画像処理装置。
2. 前記視点補正部は、前記所定距離と、前記利用者端末の向きに応じて演算される前記左
   眼対応カメラと前記右眼対応カメラとの間の視差との差の半分である補正距離に応じた距
   離分、前記左眼視点及び前記右眼視点の位置を移動させる、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記モデリング部は、前記左眼対応立体モデルにおける、前記左眼対応カメラの撮像対
   象の像が描画された描画領域のうち、前記左眼対応カメラの撮像対象の像が描画されてい
   ない無描画領域側の境界領域において、当該無描画領域へ向かって描画像を徐々に透過さ
   せる処理を行い、前記右眼対応立体モデルにおける、前記右眼対応カメラの撮像対象の像
   が描画された描画領域のうち、前記右眼対応カメラの撮像対象の像が描画されていない無
   描画領域側の境界領域において、当該無描画領域へ向かって描画像を徐々に透過させる処
   理を行う、
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 所定距離離間して同じ方向を向くように設置された左眼対応カメラ及び右眼対応カメラ
   からの画像を処理して、利用者が利用する利用者端末に表示する画像を生成するコンピュ
   ータを、
   前記左眼対応カメラで撮像された左眼対応画像、及び、前記右眼対応カメラで撮像され
   た右眼対応画像をそれぞれ立体モデルに投影変換して、ワールド座標系において左眼対応
   立体モデル及び右眼対応立体モデルを構築するモデリング部と、
   前記利用者端末の向きに基づいて、前記ワールド座標系において、前記左眼対応立体モ
   デルに対する左眼視点の位置、前記左眼視点からの視点方向である左眼視線方向、及び、
   前記左眼視点の上方向を示す左眼上方ベクトルの向きを設定し、前記利用者端末の向きに
   基づいて、前記ワールド座標系において、前記右眼対応立体モデルに対する右眼視点の位
   置、前記右眼視点からの視点方向である右眼視線方向、及び、前記右眼視点の上方向を示
   す右眼上方ベクトルの向きを設定する視点設定部と、
   前記利用者端末の向きが、キャリブレーションにより定められる正面方向から左右方向
   に向けられた場合に、前記左眼視線方向とは反対の方向をＺ_ＶＬ軸正方向とし、前記左眼
   上方ベクトルの向きをＹ_ＶＬ軸正方向とし、前記Ｚ_ＶＬ軸及びＹ_ＶＬ軸に対して右手系を
   構成する向きがＸ_ＶＬ軸正方向である左眼ビュー座標系におけるＸ_ＶＬ軸負方向に前記左
   眼視点を移動させ、前記右眼視線方向とは反対の方向をＺ_ＶＲ軸正方向とし、前記右眼上
   方ベクトルの向きをＹ_ＶＲ軸正方向とし、前記Ｚ_ＶＲ軸及びＹ_ＶＲ軸に対して右手系を構
   成する向きがＸ_ＶＲ軸正方向である右眼ビュー座標系におけるＸ_ＶＲ軸正方向に前記右眼
   視点を移動させることで、前記左眼視点及び前記右眼視点の位置を補正する視点補正部と
   、
   補正された前記左眼視点の位置、前記左眼視線方向、及び前記左眼上方ベクトルの向き
   に基づいて、前記左眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成
   し、補正された前記右眼視点の位置、前記右眼視線方向、及び前記右眼上方ベクトルの向
   きに基づいて、前記右眼対応立体モデルを２次元投影することで処理済左眼対応画像を生
   成する投影変換部と、
   として機能させることを特徴とする画像処理プログラム。
5. 所定距離離間して同じ方向を向くように設置された左眼対応カメラ及び右眼対応カメラ
   からの画像を処理して、利用者が利用する利用者端末に表示する画像を生成する画像処理
   方法であって、
   前記左眼対応カメラで撮像された左眼対応画像、及び、前記右眼対応カメラで撮像され
   た右眼対応画像をそれぞれ立体モデルに投影変換して、ワールド座標系において左眼対応
   立体モデル及び右眼対応立体モデルを構築するモデリングステップと、
   前記利用者端末の向きに基づいて、前記ワールド座標系において、前記左眼対応立体モ
   デルに対する左眼視点の位置、前記左眼視点からの視点方向である左眼視線方向、及び、
   前記左眼視点の上方向を示す左眼上方ベクトルの向きを設定し、前記利用者端末の向きに
   基づいて、前記ワールド座標系において、前記右眼対応立体モデルに対する右眼視点の位
   置、前記右眼視点からの視点方向である右眼視線方向、及び、前記右眼視点の上方向を示
   す右眼上方ベクトルの向きを設定する視点設定ステップと、
   前記利用者端末の向きが、キャリブレーションにより定められる正面方向から左右方向
   に向けられた場合に、前記左眼視線方向とは反対の方向をＺ_ＶＬ軸正方向とし、前記左眼
   上方ベクトルの向きをＹ_ＶＬ軸正方向とし、前記Ｚ_ＶＬ軸及びＹ_ＶＬ軸に対して右手系を
   構成する向きがＸ_ＶＬ軸正方向である左眼ビュー座標系におけるＸ_ＶＬ軸負方向に前記左
   眼視点を移動させ、前記右眼視線方向とは反対の方向をＺ_ＶＲ軸正方向とし、前記右眼上
   方ベクトルの向きをＹ_ＶＲ軸正方向とし、前記Ｚ_ＶＲ軸及びＹ_ＶＲ軸に対して右手系を構
   成する向きがＸ_ＶＲ軸正方向である右眼ビュー座標系におけるＸ_ＶＲ軸正方向に前記右眼
   視点を移動させることで、前記左眼視点及び前記右眼視点の位置を補正する視点補正ステ
   ップと、
   補正された前記左眼視点の位置、前記左眼視線方向、及び前記左眼上方ベクトルの向き
   に基づいて、前記左眼対応立体モデルを２次元投影することで処理済左眼対応画像を生成
   し、補正された前記右眼視点の位置、前記右眼視線方向、及び前記右眼上方ベクトルの向
   きに基づいて、前記右眼対応立体モデルを２次元投影することで処理済左眼対応画像を生
   成する投影変換ステップと、
   を備えることを特徴とする画像処理方法。