JP2019185072A - 情報処理システム及びプログラム - Google Patents

Abstract

【課題】仮想的に存在する光源からの光の光路上に位置する現実の物体が仮想の物体又は他の現実の物体に与える影響を描画して仮想的に存在する光源が実在するのに近い体験を可能にする。【解決手段】情報処理システムは、仮想的に存在する光源の情報を取得する取得手段と、取得された光源の情報に基づいて、光源からの光の光路上に位置する現実の物体が現実の物体の周囲に位置する仮想の物体又は他の現実の物体に与える効果を推定する推定手段と、推定された効果を表現する仮想の画像を、仮想の物体又は他の現実の物体の位置に描画する描画手段とを有する。【選択図】図５

Description

本発明は、情報処理システム及びプログラムに関する。

現在、仮想現実（Ｖｉｒｔｕａｌ ＲｅａｌｉｔｙまたはＶＲ）や拡張現実（Ａｕｇｕｍｅｎｔｅｄ ＲｅａｌｉｔｙまたはＡＲ）ではなく、現実の空間（現実空間）と、コンピュータを用いて仮想的に作成する空間（仮想空間）との複合を意味する複合現実（Ｍｉｘｅｄ ＲｅａｌｉｔｙまたはＭＲ）なる技術が注目されている。複合現実が実現された空間（複合現実空間）では、現実空間の物体と仮想空間の物体とが、現実空間と仮想空間の２つの三次元空間の形状情報を重ね合わせて、実時間で影響し合う体験が可能である。
例えば特許文献１には、仮想の物体の背後に現実の物体が位置する場合に（ユーザからは現実の物体が見えない場合に）、ユーザに近づいてきている現実の物体の存在を事前に知らせる技術が記載されている。具体的には、現実の物体とユーザとの距離とが予め定めた距離以内になると、手前側に位置する仮想の物体の表示を半透明又は輪郭線の表示に制御して背後に位置する現実の物体の視認を可能にする技術が記載されている。

特開２０１６−４４９３号公報

一方で、従前の技術では、現実の物体（現実物体）に対して、仮想的に存在する光源からの光の影響が反映されていない。例えば仮想的に存在する光源から照らされているにもかかわらず、現実の物体は暗い場所にあるかのように描画されている。また例えば現実空間に存在する光源から現実物体が照らされると現実物体の影や透過像が形成されるが、従前の技術では、仮想的に存在する光源から現実物体が照らされても影や透過像が描画されていない。

本発明は、仮想的に存在する光源からの光の光路上に位置する現実の物体が仮想の物体又は他の現実の物体に与える影響を描画して仮想的に存在する光源が実在するのに近い体験を可能にすることを目的とする。

請求項１に記載の発明は、仮想的に存在する光源の情報を取得する取得手段と、取得された前記光源の情報に基づいて、当該光源からの光の光路上に位置する現実の物体が当該現実の物体の周囲に位置する仮想の物体又は他の現実の物体に与える効果を推定する推定手段と、推定された効果を表現する仮想の画像を、前記仮想の物体又は前記他の現実の物体の位置に描画する描画手段とを有する情報処理システムである。
請求項２に記載の発明は、前記現実の物体は透過性を有しない物体であり、前記推定手段は、前記光源からの光により生じる当該現実の物体の影を推定する、請求項１に記載の情報処理システムである。
請求項３に記載の発明は、前記現実の物体は透過性を有する物体であり、前記推定手段は、当該現実の物体を透過した前記光源からの光が形成する透過像を推定する、請求項１に記載の情報処理システムである。
請求項４に記載の発明は、前記光源は、画像を投影する投影機であり、前記透過像は当該投影機により投影される画像の影響を含む、請求項３に記載の情報処理システムである。
請求項５に記載の発明は、前記現実の物体は反射性を有する物体であり、前記推定手段は、当該現実の物体で反射された前記光源からの光が与える効果を推定する、請求項１に記載の情報処理システムである。
請求項６に記載の発明は、前記光源は、画像を投影する投影機であり、前記現実の物体による反射には、当該投影機から投影された画像と当該現実の物体の光学特性の影響とが反映される、請求項５に記載の情報処理システムである。
請求項７に記載の発明は、コンピュータを、仮想的に存在する光源の情報を取得する取得手段と、取得された前記光源の情報に基づいて、当該光源からの光の光路上に位置する現実の物体が仮想の物体に与える効果を推定する推定手段と、推定された効果を加えて前記仮想の物体を描画する描画手段として機能させるプログラムである。

請求項１記載の発明によれば、仮想的に存在する光源からの光の光路上に位置する現実の物体が仮想の物体又は他の現実の物体に与える影響を描画して仮想的に存在する光源が実在するのに近い体験を可能にできる。
請求項２記載の発明によれば、仮想的に存在する光源が実在するかのように仮想の物体又は他の現実の物体の見え方を表現することができる。
請求項３記載の発明によれば、仮想的に存在する光源が実在するかのように仮想の物体又は他の現実の物体の見え方を表現することができる。
請求項４記載の発明によれば、より確実に、仮想的に存在する光源が実在するかのように仮想の物体又は他の現実の物体の見え方を表現することができる。
請求項５記載の発明によれば、仮想的に存在する光源が実在するかのように仮想の物体又は他の現実の物体の見え方を表現することができる。
請求項６記載の発明によれば、より確実に、仮想的に存在する光源が実在するかのように仮想の物体又は他の現実の物体の見え方を表現することができる。
請求項７記載の発明によれば、仮想的に存在する光源からの光の光路上に位置する現実の物体が仮想の物体又は他の現実の物体に与える影響を描画して仮想的に存在する光源が実在するのに近い体験を可能にできる。

外界を透過的に視認可能なメガネ型の端末を装着したユーザが、複合現実を体感する原理を説明する図である。 メガネ型の端末のハードウェア構成の一例を示す図である。 メガネ型の端末の機能構成の一例を示す図である。 メガネ型の端末で仮想光源による効果を描画する場合に実行される処理動作の一例を説明するフローチャートである。 仮想光源と仮想物体との間に現実物体が存在する場合における従前の技術と本実施の形態による見え方の違いの一例を説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。 仮想光源と仮想物体との間に現実物体が存在する場合における従前の技術と本実施の形態による見え方の違いの他の例を説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。 仮想的な光源が仮想投影機であり、仮想投影機と仮想物体との間に現実物体が存在する場合における従前の技術と本実施の形態による見え方の違いの一例を説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。 仮想的な光源が仮想投影機であり、仮想投影機と仮想物体との間に現実物体が存在する場合における従前の技術と本実施の形態による見え方の違いの他の例を説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。 複合現実の体験に、実時間で撮像される外界の画像に仮想物体を合成した画像を表示する表示装置を装着したユーザが、複合現実を体感する原理を説明する図である。 表示装置の機能構成の一例を示す図である。

以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
本実施の形態では、複合現実の体験に、外界を透過的に視認可能なメガネ型の端末を使用する場合について説明する。
図１は、外界を透過的に視認可能なメガネ型の端末１を装着したユーザが、複合現実を体感する原理を説明する図である。

この種の端末１のハードウェア部分は、既に複数のメーカによって実用化されている。例えばマイクロソフト社のＨｏｌｏＬｅｎｓ（商標）、ソニー社のＳｍａｒｔＥｙｅｇｌａｓｓ（商標）、コニカミノルタ社のウェアラブルコミュニケーター（商標）がある。この種の端末１は、透過型デバイス、網膜投射型デバイス等とも呼ばれる。
図１に示すメガネ型の端末１は、透明度が高い導光板２と、画像を表示する小型の表示部３と、仮想の物体（仮想物体１１）を描画する仮想物体描画部４とを有している。
ここでのメガネ型の端末１は、情報処理装置の一例であるとともに情報処理システムの一例でもある。

導光板２は、例えば８５％以上の透明度を有する部材で構成され、その内部には、不図示の可視光透過型回折格子が配置されている。可視光透過型回折格子には、例えばホログラフィック回折格子が用いられる。
可視光透過型回折格子は、導光板２の前方から入射する外光Ｂ１を直線的に透過してユーザの眼球５に導くように作用する。一方で、可視光透過型回折格子は、表示部３から導光板２に入射した表示光Ｂ２を屈折させて導光板２の内部を伝搬させ、その後、眼球５の方向に表示光Ｂ２を屈折させるように作用する。
外光Ｂ１と表示光Ｂ２は、眼球５内で合成される。この結果、端末１を装着したユーザは、現実の物体（現実物体１２）に仮想の物体（仮想物体１１）を合成した複合現実の風景を知覚する。因みに、図１の例では、仮想物体１１が現実物体１２よりも手前側に位置している。

＜メガネ型の端末１のハードウェア構成＞
図２は、メガネ型の端末１のハードウェア構成の一例を示す図である。
図２に示す端末１は、プログラム（基本ソフトウェアを含む）の実行を通じて装置全体を制御するＣＰＵ（Central Processing Unit）２１と、ＢＩＯＳ（Basic Input Output System）や基本ソフトウェア等のプログラムを記憶するＲＯＭ２２と、プログラムの実行領域として使用されるＲＡＭ（Random Access Memory）２３と、を有している。
ＲＯＭ２２は、例えば電気的にデータの書き換えが可能な不揮発性の半導体メモリで構成される。
ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３は、コンピュータ２０として機能する。

コンピュータ２０には、仮想の物体を表示する表示部３Ｌ及び３Ｒと、外界を撮像するカメラ２４Ｌ及び２４Ｒと、角度、角速度、加速度等の慣性情報を計測する慣性計測センサ２５と、現実の物体までの距離を測定する深度センサ２６と、周囲の明るさを検知する照度センサ２７と、外部との通信に用いられる無線通信部２８と、が接続されている。
左目用の表示部３Ｌには、左目用の画像が表示され、右目用の表示部３Ｒには、右目用の画像が表示される。左目用の画像と右目用の画像には視差が再現されている。このため、端末１を装着したユーザは、仮想物体１１を立体視できる。

カメラ２４Ｌはユーザの左目側に配置され、カメラ２４Ｒはユーザの右目側に配置される。カメラ２４Ｌ及び２４Ｒによって、端末１の周囲がステレオ撮影される。カメラ２４Ｌ及び２４Ｒで撮像された画像は、現実の物体の認識や現実の物体の表面までの距離の測定に用いられる。なお、現実の物体までの距離の測定に用いるカメラと、現実の物体の認識に用いられるカメラは、それぞれ別に用意されてもよい。
慣性計測センサ２５は、頭の位置や向きの計測に用いられ、視線の追跡などに使用される。
深度センサ２６は、赤外線や超音波を使用して現実空間に存在する物体までの距離を計測する。

＜メガネ型の端末１の機能構成＞
図３は、メガネ型の端末１の機能構成の一例を示す図である。
図３に示す機能構成は、ＣＰＵ２１によるプログラムの実行を通じて実現される。
図３に示す機能構成は、プログラムの実行を通じて実現される各種の機能のうち、仮想的に存在する光源（以下「仮想光源」ともいう）と仮想の物体との間に現実の物体が配置される複合現実空間をユーザに知覚させる機能について表している。

図３の場合、ＣＰＵ２１は、カメラ２４Ｌ及び２４Ｒによって撮像される画像から現実空間の情報を取得する現実空間情報取得部３１と、仮想的に存在する１つ又は複数の光源に関する情報を取得する光源情報取得部３２と、取得された光源からの光が現実物体１２（図１参照）やその背後に位置する仮想物体１１（図１参照）に与える効果を推定する光源光効果推定部３３と、推定された光源光の効果に対応するフィルタ（画像を含む）を生成する光源光効果生成部３４と、仮想物体１１を描画するとともに生成された効果を表示部３Ｌ及び３Ｒ（図２参照）に描画する仮想物体描画部４と、を有している。

現実空間情報取得部３１は、撮像された画像から現実空間に関する様々な情報を取得し、現実空間情報４１としてＲＡＭ２３に保存する。
現実空間情報４１として保存される情報の種類は、メガネ型の端末１を使用する場面や用途によって異なる。
ただし、情報の種類が増えることで、複合現実空間における体験を、現実空間の体験に近づけることができる。
本実施の形態の場合、現実空間情報４１には、実時間で追加される現実物体１２に関する情報に加え、事前に与えられた又は事前に取得された現実物体１２に関する情報も含まれる。

現実物体１２に関する情報は、撮像された画像から推定（計算）される場合もあれば、現実物体１２毎に既知の情報としてＲＡＭ２３の不揮発性領域に保存されている場合もある。
撮像された画像から推定される情報には、色情報のように撮像された画像から直接的に取得可能な情報もあれば、後述する手法などを用いて推定される情報もある。
本実施の形態の場合、ＲＡＭ２３の不揮発性領域には、現実物体１２の透過性を有する部分の全てに適用される情報（透過情報を計算するための式や透過情報の代表値を含む）や反射性を有する部分の全てに適用される情報（反射情報を計算するための式や反射情報の代表値）も記憶される。
なお、ＲＡＭ２３の不揮発性領域には、透過性を有する部分別の情報と反射性を有する部分別の情報が記憶されていてもよい。
本実施の形態における現実空間情報取得部３１は、ＲＡＭ２３から、画像認識によって特定された個々の現実物体１２に関する情報を取得する。

また、ＲＡＭ２３に記憶される情報には、ある現実物体１２が他の現実物体１２を透過して視認される場合やある現実物体１２に他の現実物体１２の像が映り込む場合の見え方を再現する複数種類のフィルタの情報が含まれてもよい。個々のフィルタは、透過率、屈折率、偏光度、反射率などの項目のうちの１つの項目、又は複数の項目の組み合わせで与えられる。
本実施の形態における現実空間情報取得部３１には、現実物体１２の透過性を有する部分を撮像した画像と同様の見え方を実現するフィルタを取得する機能や現実物体１２の反射性を有する部分を撮像した画像と同様の見え方を実現するフィルタを取得する機能が設けられていてもよい。ここでのフィルタは、透過情報や反射情報の一例である。
なお、反射性を有する部分とは、物体の表面に他の物体の像が映り込むような反射性、言い換えると、正反射が起こる鏡面的な反射性を有する部分をいうものとする。

現実物体１２に関する情報には、例えば個別の物体（人を含む）の情報、ユーザが位置する現実空間の情報、ユーザの位置から画像内の各位置までの距離の情報、光源に関する情報、撮像に関する情報などが含まれる。
ここで、個別の物体の情報には、例えば形状、色調、材質、透過情報、反射情報、現実空間内での位置を特定する情報が含まれる。物体の認識には、既存の技術を使用する。例えばエッジや色領域を特徴量として検出する手法が用いられる。物体の認識には、人工知能を用いてもよい。
撮像に関する情報には、現実の空間内におけるカメラ２４Ｌ及び２４Ｒの位置の情報、現実の空間内におけるカメラ２４Ｌ及び２４Ｒの移動の方向、現実の空間内におけるカメラ２４Ｌ及び２４Ｒが撮像する向きの情報等が含まれる。なお、カメラ２４Ｌ及び２４Ｒによって撮像された画像には、撮像の日時に関する情報なども付属する。

透過性に関する各種の情報を与える透過情報には、例えば透過性を有する部分と有しない部分の情報、透過性を有する部分の透過率の情報、透過性を有する部分の屈折率、透過性を有する部分の色調、透過性を有する部分の偏光度、透過性を有する部分の模様が含まれる。
因みに、透過性を有しない部分の透過率は０（ゼロ）である。
透過性等の情報は、画像の処理を通じて推定される場合もあれば、事前に与えられる場合もある。透過性を推定する手法には、複数の時点に撮像された複数の画像の比較による方法、人工知能によって特定された物体に対応する透過情報をデータベースから取得する方法等がある。データベースは、例えばクラウドネットワーク上の不図示のサーバに記憶されていてもよい。なお、特定された物体に対応する透過情報がデータベースに存在しない場合、人工知能は、特定された物体に対応する透過情報を、データベースに存在する類似する物品の情報に基づいて推定してもよい。
透過情報に含まれる個々の要素の組み合わせにより、物体の質感が変化する。

反射性に関する各種の情報を与える反射情報には、例えば反射性を有する部分と有しない部分の情報、反射性を有する部分の反射特性、色調、模様、形状が含まれる。
なお、反射特性には、例えば、現実物体１２の反射率や、正反射率、拡散反射率、光沢度、反射光の偏光の度合等が含まれる。反射率とは、物体に入射した放射束又は光束に対する、反射した放射束又は光束の比である。正反射率とは、反射放射束又は光束のうちの正反射成分の、入射放射束又は光束に対する比である。拡散反射率とは、反射放射束又は光束のうちの拡散反射成分の、入射放射束又は光束に対する比である。光沢度とは、正反射光の割合や、拡散反射光の方向分布などに注目して、物体表面の光沢の程度を一次元的に表す指標である。

反射には、一般に、正反射と拡散反射が存在する。正反射とは、拡散がない反射であり、入射光が一定の方向に反射するものである。拡散反射とは、肉眼で見えるような正反射がない反射であり、入射光が様々な方向に反射するものである。
例えば鏡の場合、極めて平滑な鏡面の全ての位置で正反射が起こることで、元の物体の像を正確に見ることができる。一方、例えば紙や布のような表面がざらざらした物体では拡散反射が起こり、入射した光が表面の微細な凹凸により様々な方向に反射するため、像が崩れてしまい、元の物体の形がわからない状態になる。例えば、現実物体１２の正反射率の値が１００％であれば、現実物体１２の表面に映り込む像を正確に見ることができるが、正反射率の値が低下するにつれて（すなわち、拡散反射率が増加するにつれて）像が崩れてしまい、ぼやけて見えてしまう。

なお、反射情報は、画像の処理を通じて推定される場合もあれば、事前に与えられる場合もある。反射性を推定する手法には、現実物体１２の表面に現れる模様と他の現実物体１２との関連性の発見による方法、人工知能によって特定された物体に対応する反射情報をデータベースから取得する方法等がある。データベースは、例えばクラウドネットワーク上の不図示のサーバに記憶されていてもよい。特定された物体に対応する反射情報がデータベースに存在しない場合、人工知能は、特定された物体に対応する反射情報を、データベースに存在する類似する物品の情報に基づいて推定してもよい。
反射情報に含まれる個々の要素の組み合わせにより、物体の質感が変化する。
なお、現実空間情報４１は、例えばクラウドネットワーク上の不図示のサーバに記憶されていてもよい。

本実施の形態における現実空間情報取得部３１には、現実空間を模した３次元モデルを生成又は更新する機能（すなわち、現実空間を仮想化する機能）も設けられている。
現実空間情報取得部３１は、現実空間から取得された複数の情報を仮想空間上で整合的に統合し、３次元モデルを生成又は更新する。ここでの３次元モデルは、現実空間仮想化情報４２としてＲＡＭ２３に記憶される。
現実空間を仮想化した空間（３次元モデル）に仮想物体１１を配置したものが複合現実空間である。

本実施の形態における光源情報取得部３２は、仮想物体情報４３から、仮想的に存在する１つ又は複数の光源に関する情報を取得する。ここでの光源情報取得部３２は、光源の情報を取得する取得手段の一例である。
ここで、仮想物体情報４３は、仮想物体１１が配置される位置（３次元モデル内での位置）、形状、色調、材質などの仮想物体１１に関する情報であり、ＲＡＭ２３等に保存されている。仮想物体情報４３には、透過率、反射率、屈折率その他の光学特性の情報も含まれる。

光源情報取得部３２は、この仮想物体情報４３から仮想光源を抽出し、抽出された仮想光源に関する情報を取得する。なお、仮想物体情報４３には、仮想の物体の各種情報が予め定められているため、光源情報取得部３２は、仮想物体情報４３から仮想光源を抽出することができる。
仮想光源に関する情報には、例えば、光源の数、光源が配置される位置（３次元モデル内での位置）、種類、光の色、光源の光度（カンデラ）又は光束（ルーメン）等の情報が含まれる。

また、光源は、太陽、月、生物等の自然物と、照明器具、表示装置、投影機等の人工物（人工光源）とに分類が可能である。
さらに、光源の種類には、例えば点光源、線光源、スポット光源、平行光源、面光源等が含まれる。
光が全方向に広がる点光源には、例えば白熱電球がある。発光部が線形状の線光源には、例えば蛍光灯がある。１点から指定の向きに円錐状の光が出力されるスポット光源には、例えばＬＥＤ（Light Emitting Diode）ライトがある。平行光を一方向に出力する平行光源には、例えば高い指向性を有する照明器具や太陽がある。発光部が面形状の面光源には、例えば液晶ディスプレイや投影機（プロジェクタ）がある。

光源光効果推定部３３は、仮想光源が現実物体１２に与える効果と、仮想光源が現実物体１２の背後に位置する仮想物体１１に与える効果を推定する。ここでの光源光効果推定部３３は、現実の物体が現実の物体の周囲に位置する仮想の物体又は他の現実の物体に与える効果を推定する推定手段の一例である。
より具体的には、光源光効果推定部３３は、光源情報取得部３２が取得した情報に含まれる各仮想光源について、仮想光源の光が現実物体１２に与える効果と、仮想光源の光が現実物体１２の背後に位置する仮想物体１１に与える効果を推定する。ここで、光源光効果推定部３３は、端末（図１参照）を装着しているユーザの眼球５の位置を基準として、現実物体１２や、仮想光源に対して現実物体１２の背後に位置する仮想物体１１に対する効果を推定する。
なお、ユーザの眼球５の位置は、実測されるのではなく、端末１との関係で与えられる。

現実物体１２に与える効果には、例えば以下の効果がある。
（１）仮想光源と対向する面のうち光源光で照射されている部分（明部）の輝度を高める効果
例えば特定の仮想光源の位置、現実物体１２の形状と位置に基づいて輝度が計算される。ここでの計算は、仮想化された空間内に複数の仮想光源があったとしても、計算の対象としている仮想光源のみが存在するとの仮定の下で実行される。そして、複数の仮想光源がある場合には、個々の仮想光源に対応する効果を足し合わせて輝度が計算される。他の効果の説明についても同様である。
なお、仮想光源に関する情報と、現実物体１２の形状と、仮想光源と現実物体１２との距離との関係に基づいて、現実物体１２の表面に明るさの濃淡（分布）を表現してもよい。また、現実物体１２の透過性や反射性を表現してもよい。
この効果によって、仮想光源が実在するかのように現実物体１２の見え方を表現することができる。その結果、仮想光源が実在するのに近い体験を可能にできる。後述する他の効果についても同様である。

（２）仮想光源と対向する面に光源光を遮る他の現実物体１２の影が形成される効果
仮想光源からの光の光路上で、仮想光源と現実物体１２との間に透過性を有しない他の現実物体１２が存在する場合、他の現実物体１２の影が現実物体１２の表面に描画される。例えば仮想光源の位置、現実物体１２の形状と位置、他の現実物体１２の形状と位置の関係から、他の現実物体１２の影の形状や位置が計算される。
（３）仮想光源と対向する面に光源光を遮る他の現実物体１２の像（他の現実物体１２のうち、現実物体１２と対面する側の面の像）や透過像が形成される効果
現実物体１２が反射性を有し、仮想光源からの光の光路上で、仮想光源と現実物体１２との間に他の現実物体１２が存在する場合、現実物体１２での反射により映り込む他の現実物体１２の像が現実物体１２の表面に描画される。また、仮想光源と現実物体１２との間に透過性を有する他の現実物体１２が存在する場合、他の現実物体１２を透過する光により形成される透過像が現実物体１２の表面に描画される。
現実物体１２に映り込む他の現実物体１２の像や、他の現実物体１２の透過像には、例えば現実物体１２や他の現実物体１２の反射特性（反射率等）、透過特性（透過率、屈折率等）、色調、模様等が反映される。また、仮想光源の種類や色等の情報が考慮される。
そして、他の現実物体１２の像や透過像の形状や位置は、他の現実物体１２の影と同様に、例えば仮想光源の位置、現実物体１２の形状と位置、他の現実物体１２の形状と位置の関係から計算される。なお、他の現実物体１２の位置は、仮想光源と現実物体１２との間に限られず、例えば仮想光源を基準として現実物体１２の背後など、現実物体１２の周囲であればよい。また、仮想光源が投影機である場合には、他の現実物体１２の像や透過像には、投影機が投影する画像（投影像）も影響する。

（４）仮想光源と対向する面に光源光を遮る仮想物体１１の影が形成される効果
仮想光源からの光の光路上で、仮想光源と現実物体１２との間に透過性を有しない仮想物体１１が存在する場合、仮想物体１１の影が現実物体１２の表面に描画される。例えば仮想光源の位置、現実物体１２の形状と位置、仮想物体１１の形状と位置の関係から、仮想物体１１の影の形状や位置が計算される。
（５）仮想光源と対向する面に光源光を遮る仮想物体１１の像（仮想物体１１のうち、現実物体１２と対面する側の面の像）や透過像が形成される効果
現実物体１２が反射性を有し、仮想光源からの光の光路上で、仮想光源と現実物体１２との間に仮想物体１１が存在する場合、現実物体１２での反射により映り込む仮想物体１１の像が現実物体１２の表面に描画される。また、仮想光源と現実物体１２との間に透過性を有する仮想物体１１が存在する場合、仮想物体１１を透過する光により形成される透過像が現実物体１２の表面に描画される。
現実物体１２に映り込む仮想物体１１の像や、仮想物体１１の透過像には、例えば現実物体１２や仮想物体１１の反射特性（反射率等）、透過特性（透過率、屈折率等）、色調、模様等が反映される。また、仮想光源の種類や色等の情報が考慮される。
そして、仮想物体１１の像や透過像の形状や位置は、仮想物体１１の影と同様に、例えば仮想光源の位置、現実物体１２の形状と位置、仮想物体１１の形状と位置の関係から計算される。なお、仮想物体１１の位置は、仮想光源と現実物体１２との間に限られず、例えば仮想光源を基準として現実物体１２の背後など、現実物体１２の周囲であればよい。また、仮想光源が投影機である場合には、仮想物体１１の像や透過像には、投影機が投影する画像（投影像）も影響する。

（６）仮想光源と対向しない面に陰（暗部）が形成される効果
例えば仮想光源の位置、現実物体１２の形状と位置から、現実物体１２のうち、陰（暗部）になる部位が計算される。
（７）仮想光源が投影機である場合に、投影機が投影する画像（投影像）が形成される効果
仮想の投影機が投影している画像の内容は、仮想物体情報４３に含まれており、例えば投影機の位置と現実物体１２の位置との関係から、現実物体１２に投影される。

次に、仮想光源を基準として現実物体１２の周囲に位置する仮想物体１１に与える効果には、例えば以下の効果がある。周囲には、仮想光源を基準として現実物体１２の背後だけでなく、現実物体１２の前方（すなわち、仮想光源との間）も含まれる。なお、この効果は、仮想光源からの光の光路上に位置する現実物体１２が仮想物体１１に与える効果として捉えることもできる。
（１）現実物体１２が透過性を有しない場合に、現実物体１２の影が形成される効果
例えば仮想光源の位置、現実物体１２の形状と位置、仮想物体１１の形状と位置の関係から、仮想物体１１の表面に描画される、現実物体１２の影の形状や位置が計算される。
この効果は、仮想光源を基準として現実物体１２の背後に現れる。なお、影は、仮想物体１１だけでなく、他の現実物体１２にも形成される。
この効果によって、仮想光源が実在するかのように仮想物体１１又は他の現実物体１２の見え方を表現することができる。その結果、仮想光源が実在するのに近い体験を可能にできる。後述する他の効果についても同様である。
（２）現実物体１２が透過性を有する場合に、現実物体１２の透過像が形成される効果
例えば現実物体１２の透過特性に基づいて、現実物体１２を透過する光により形成される透過像が計算される。透過像には、現実物体１２の透過率、屈折率、色調、模様等が反映される。また、仮想光源の種類や色等の情報が考慮される。
そして、透過像の形状や位置は、例えば仮想光源の位置、現実物体１２の形状と位置、仮想物体１１の形状と位置の関係から計算される。
この効果も、仮想光源を基準として現実物体１２の背後に現れる。なお、透過像は、仮想物体１１だけでなく、他の現実物体１２にも形成される。
（３）現実物体１２が透過性を有し、仮想光源が投影機である場合に、投影機が投影する画像（投影像）の透過像が形成される効果
仮想の投影機が投影している画像の内容は、仮想物体情報４３に含まれており、例えば投影機の位置、現実物体１２の形状と位置、仮想物体１１の形状と位置の関係から、現実物体１２を透過する光により形成される透過像が計算される。
この効果も、仮想光源を基準として現実物体１２の背後に現れる。なお、投影機が投影する画像（透過像）は、仮想物体１１だけでなく、他の現実物体１２にも形成される。
（４）現実物体１２が反射性を有する場合に、現実物体１２の周囲に存在する他の物体（仮想物体１１か現実物体１２かを問わない）を反射光で照らす効果
この効果は、仮想光源によって照明されている現実物体１２の面と対向している物体に現れる。反射光には、現実物体１２の反射率、屈折率、色調、模様等が反映される。なお、仮想光源が投影機である場合には、反射像には、投影機が投影する画像（投影像）も影響する。

光源光効果生成部３４は、光源光効果推定部３３で推定された効果に対応するフィルタ（画像）を生成し、ＲＡＭ２３に光源光効果情報４４として保存する。
仮想物体描画部４は、現実空間仮想化情報４２、仮想物体情報４３、光源光効果情報４４を用い、表示部３Ｌ（図２参照）用の仮想物体１１の画像と、表示部３Ｒ（図２参照）用の仮想物体１１の画像を描画する。ここで描画される仮想物体１１の画像には、光源光効果推定部３３で推定された効果に対応するフィルタも含まれる。フィルタは、現実物体１２の位置に描画される。
本実施の形態における仮想物体描画部４は、描画手段の一例である。また、光源光効果推定部３３で推定された効果に対応するフィルタは、推定された効果を表現する仮想の画像の一例である。

本実施の形態における仮想物体描画部４は、仮想物体１１だけでなく、現実物体１２に対する仮想光源の光源光の効果や、現実物体１２の背後に位置する仮想物体１１に対する仮想光源の光源光の効果も描画の対象に含める。
なお、仮想光源の光源光の効果を反映させて仮想物体１１を描画する場合には、光源光の効果に対応するフィルタを作用させて描画することにより、仮想物体情報４３に含まれる仮想物体１１の情報には変更を加えずに済む。また、フィルタを用いることで演算量も少なくて済む。演算量が少なく済むので、現実物体１２の背後に隠れる領域の変化が速い場合でも、現実物体１２の透過情報を仮想物体１１の描画に実時間で反映させることができる。
このように、仮想物体描画部４は、仮想光源からの光の効果を現実物体１２の位置に描画するので、従前の技術に比して、複合現実の現実感を高めることができる。
また、仮想物体描画部４は、仮想光源からの光の光路上に位置する現実物体１２がその背後に位置する仮想物体１１に与える効果を仮想物体１１に対して描画するので、従前の技術に比して、複合現実の現実感を高めることができる。

＜メガネ型の端末１で実行される処理動作＞
図４は、メガネ型の端末１で仮想光源による効果を描画する場合に実行される処理動作の一例を説明するフローチャートである。
図４に示す処理動作は、ＣＰＵ２１によるプログラムの実行を通じて実現される。なお、図中では、ステップを記号のＳで表している。

まず、ＣＰＵ２１は、現実空間の情報を取得する（ステップ１１）。この処理により、ＣＰＵ２１は、端末１を装着しているユーザが導光板２を透して視認している現実物体１２を認識する。
次に、ＣＰＵ２１は、仮想物体情報４３から仮想光源に関する情報を取得する（ステップ１２）。

続いて、ＣＰＵ２１は、現実空間に存在する１つ又は複数の現実物体１２のうちで未選択の１つを選択する（ステップ１３）。ここで、ＣＰＵ２１は、現実空間情報４１から把握される１つ又は複数の現実物体１２のうちで未選択の１つを選択する。
ＣＰＵ２１は、選択された現実物体１２を処理の対象として、仮想光源の光源光が現実物体１２に対して与える効果を推定する（ステップ１４）。この処理は、光源光効果推定部３３としてのＣＰＵ２１が実行する。
ここで、ＣＰＵ２１は、端末１を装着しているユーザの眼球５（図１参照）の位置を基準として、処理対象とする現実物体１２のうちユーザから見える面、現実物体１２に影響を与える他の現実物体１２、現実物体１２に影響を与える仮想物体１１、仮想光源を基準として現実物体１２の背後に存在する仮想物体１１（現実物体１２が影響を与える仮想物体１１）を推定し、各効果を推定する。なお、ユーザから見えない面については、仮想光源の光源光による影響を考慮しなくてもよい。

次に、ＣＰＵ２１は、推定された効果を表現するフィルタを生成する（ステップ１５）。この処理は、光源光効果生成部３４としてのＣＰＵ２１が実行する。
なお、現実物体１２の背後に位置する仮想物体１１が複数ある場合、ＣＰＵ２１は、個々の仮想物体１１に対する効果を表現するフィルタを生成する。
次に、ＣＰＵ２１は、全ての現実物体１２が選択済みであるか否かを判定する（ステップ１６）。
ステップ１６で否定結果が得られた場合、ＣＰＵ２１は、ステップ１３に戻る。ステップ１３では、未選択の現実物体１２の中から１つが処理の対象として選択される。
一方、ステップ１６で肯定結果が得られた場合、ＣＰＵ２１は、全ての仮想物体１１と、光源光効果生成部３４により生成した全てのフィルタとを用いて、仮想光源の光源光による効果を描画する（ステップ１７）。そして、本処理フローは終了する。

＜描画例＞
以下では、具体例を用いて、本実施の形態における仮想光源の光源光による効果の描画例について説明する。

＜例１＞
図５は、仮想光源１３と仮想物体１１との間に現実物体１２Ａが存在する場合における従前の技術と本実施の形態による見え方の違いの一例を説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。
図５では、従前の技術による描画例を比較例と記している。
図５の場合、円筒形状の現実物体１２Ａは、透過性を有していないもの（すなわち透過性なし）とする。
図５において、端末１を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。

従前の技術では、（Ａ）に示すように、仮想物体情報４３（図３参照）の通りに仮想物体１１が描画される。すなわち、現実物体１２Ａにおいて、仮想光源１３からの光の存在は考慮されない。また、仮想光源１３と対面する側の仮想物体１１の表面は、仮想光源１３の光で照らされて明るいままであり、現実物体１２Ａの影は描画されていない。
一方で、本実施の形態の場合には、（Ｂ）に示すように、現実物体１２Ａのうち仮想光源１３の光で照らされる部位１２Ａ１は明るく描画され、仮想光源１３の光で照らされない部位１２Ａ２は暗く描画される。すなわち、現実物体１２Ａの表面に明部と暗部（陰）が表現される。

より具体的には、図５の場合、ＣＰＵ２１は、例えば、仮想光源１３に関する情報、現実物体１２Ａの形状と位置、仮想光源１３と現実物体１２Ａとの距離に基づいて、仮想光源１３の光に照らされる部位１２Ａ１の位置（範囲）、仮想光源１３の光に照らされない部位１２Ａ２の位置（範囲）を推定する。また、部位１２Ａ１、部位１２Ａ２において、仮想光源１３の光の影響による明るさの分布を推定する。そして、ＣＰＵ２１は、端末１を装着しているユーザの眼球５（図１参照）の位置を基準として、現実物体１２Ａのうちユーザから見える面に対して、推定した部位１２Ａ１、部位１２Ａ２に対応するフィルタ（画像）を生成する。このフィルタを現実物体１２Ａの位置（部位１２Ａ１の位置、部位１２Ａ２の位置）に描画することにより、現実物体１２Ａに対して、仮想光源１３の光源光による効果が反映される。

なお、図５の場合、現実物体１２Ａは円筒形状であるので、仮想光源１３からの距離が部位によって異なる。このため、実際には、仮想光源１３からの距離が最も短い部位の輝度が最も高くなり、仮想光源１３からの距離が長くなるほど輝度が低下するように描画される。
図５では、現実物体１２Ａが円筒形状であるが、現実物体１２Ａが平板状の場合にも平面内の位置に応じて輝度差が発生する。点光源である仮想光源１３から出力された光は四方に広がるように進むため、平板状の現実物体１２Ａの位置に応じて光路長の違いが生じるためである。このため、輝度値が高い領域を中心として同心円状に輝度が低下する効果を描画することで現実感を高めることができる。

さらに、現実物体１２Ａに対して仮想光源１３の光源光の効果を描画するにあたり、仮想光源１３の光源光の色の影響を再現してもよい。
また、図５では描画していないが、現実物体１２Ａと仮想光源１３との間に存在する不図示の他の現実物体１２や仮想物体１１の影を、現実物体１２Ａの表面に描画してもよい。
さらに、図５では描画していないが、現実物体１２Ａの表面が鏡面である場合（すなわち、現実物体１２Ａでの反射による像が映り込む場合）には、仮想光源１３との間に存在する不図示の他の現実物体１２や仮想物体１１の像を、現実物体１２Ａの表面に描画してもよい。
因みに、像の描画に際しては、現実物体１２Ａの表面における反射光の影響を付加することが望ましい。現実物体１２Ａと対面する不図示の他の現実物体１２や仮想物体１１の背面は、仮想光源１３とは反対側の面であるので、仮想光源１３からの光源光による陰が生じる部位（１２Ａ２参照）である。よって、現実物体１２Ａの表面を含む周辺からの反射光により、陰が少し薄くなる。従って、（Ｂ）における部位１２Ａ１も、厳密には周囲からの反射光（又は環境光）の影響により陰の濃度が薄くなる。
さらに、仮想光源１３との間に存在する不図示の他の現実物体１２や仮想物体１１による影や透過像を描画してもよい。
このように、現実物体１２Ａの表面を照らす仮想光源１３の光による効果を現実物体１２Ａの位置に描画することにより、仮想光源１３が実在するのに近い体験が可能になる。

さらに、仮想光源１３の光源光による効果として、（Ｂ）に示す仮想物体１１には、現実物体１２Ａの影１１Ａを描画している。影１１Ａを描画する位置や形状、影１１Ａの濃さは、仮想光源１３の位置、現実物体１２Ａの形状と位置、仮想物体１１の形状と位置によっても異なる。
また、影１１Ａを描画する位置の仮想物体１１の図柄や構造を仮想物体情報４３から抽出して影１１Ａを生成することにより、影１１Ａを描画する部分が周囲（影１１Ａが存在しない部分）に対して違和感を与えないようにできる。
このように、現実物体１２Ａが仮想光源１３の光を妨げることで生じる効果を仮想物体１１に対して反映して、仮想物体１１を描画することにより、仮想光源１３が実在するのに近い体験が可能になる。
なお、図５の場合には仮想光源１３が１つの場合を表しているが、複数の仮想光源１３が存在する場合にも、個々の仮想光源１３に対応する効果を描画することにより、現実感を高めることができる。複数の仮想光源１３が存在する場合には、個々の仮想光源１３に対応する効果を足し合わせて（すなわち、個々の仮想光源１３による効果として生成されたフィルタを足し合わせて）、描画される。

＜例２＞
図６は、仮想光源１３と仮想物体１１との間に現実物体１２Ａが存在する場合における従前の技術と本実施の形態による見え方の違いの他の例を説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。
図６でも、従前の技術による描画例を比較例と記している。
図６の場合、平板形状の現実物体１２Ｂは、透過性を有するもの（すなわち透過性あり）とする。
図６の場合も、端末１を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
図６の場合も、従前の技術では、（Ａ）に示すように、例１（図５参照）の場合と同じく、仮想物体情報４３（図３参照）の通りに仮想物体１１が描画される。すなわち、現実物体１２Ｂにおいて、仮想光源１３からの光の存在は考慮されない。また、仮想光源１３と対面する側の仮想物体１１の表面は、仮想光源１３の光で照らされて明るいままであり、現実物体１２Ｂによる影響は考慮されない。

一方で、本実施の形態の場合、（Ｂ）に示すように、現実物体１２Ｂのうち仮想光源１３の光で照らされる部位は明るく描画され、仮想光源１３の光で照らされない部位は暗く描画される。ただし、図６における現実物体１２Ｂは平板形状であるので、陰の部分は表示していない。
例１との違いは、仮想光源１３に対して現実物体１２Ｂの背後に位置する仮想物体１１の表面に、現実物体１２Ｂの透過像１１Ｂが描画されている点である。
本例の場合、現実物体１２Ｂには網目状の模様が形成されているので、透過像１１Ｂにも網目状の模様が表現されている。なお、図６では仮想光源１３からの光が広がる性質を有するため、仮想物体１１の表面には現実物体１２Ｂの模様を拡大した透過像１１Ｂが描画されている。

図６の場合、透過像１１Ｂは、現実物体１２Ｂの投影像に相当する。仮想光源１３からの光は、現実物体１２Ｂの透過率だけ減衰されて仮想物体１１に達するため、透過像１１Ｂの輝度は、仮想光源１３からの光が直接照らす部分（現実物体１２Ｂの周囲を通った光が照らす部分）に比して低くなる。

また、透過像１１Ｂには、現実物体１２Ｂの透過部分の色が再現される。勿論、透過像１１Ｂが投影される部分の仮想物体１１の表面の図柄や構造は、透過像１１Ｂに反映されることが望ましい。
なお、現実物体１２Ｂに光を透過する部分と光を透過しない部分が混在する場合には、例１（図５参照）による影１１Ａと本例による透過像１１Ｂの混在した画像が、仮想物体１１の表面に描画される。
このように、現実物体１２Ｂが仮想光源１３の光を妨げることで生じる効果を仮想物体１１に対して反映して、仮想物体１１を描画することにより、仮想光源１３が実在するのに近い体験が可能になる。

＜例３＞
図７は、仮想的な光源が仮想投影機１３Ａであり、仮想投影機１３Ａと仮想物体１１との間に現実物体１２Ｃが存在する場合における従前の技術と本実施の形態による見え方の違いの一例を説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。
図７でも、従前の技術による描画例を比較例と記している。
図７における現実物体１２Ｃも平板形状とする。ただし、現実物体１２Ｃは、透過性を有しないもの（すなわち透過性なし）とする。
図７の場合も、端末１を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。

従前の技術では、（Ａ）に示すように、仮想投影機１３Ａから投影された画像（ここでは帯状の物体の画像）の全体が仮想物体１１の表面に投影されたままであり、投影光を遮る位置に存在する現実物体１２Ｃの影は描画されていない。
また、従前の技術では、仮想投影機１３Ａから投影された画像を遮る位置の現実物体１２Ｃの表面に、仮想投影機１３Ａが投影する画像が描画されていない。
これでは、現実物体１２Ｃ、仮想物体１１の存在が違和感を与えてしまう。

一方で、本実施の形態の場合、（Ｂ）に示すように、現実物体１２Ｃのうち仮想投影機１３Ａの光で照らされる部位は明るく描画され、仮想投影機１３Ａの光で照らされない部位は暗く描画される。
しかも、仮想投影機１３Ａから投影された画像の一部（帯状の物体の画像のうち現実物体１２Ｃと重なる部分）が、現実物体１２Ｃの表面に描画されることになる。
なお、図７では仮想投影機１３Ａからの光が広がる性質を有するため、現実物体１２Ｃの表面に描画される画像は、仮想物体１１の表面に描画される画像の一部よりも縮小された形状で描画される。その際、現実物体１２Ｃに描画される画像にボケが生じることもあれば、ボケが無い明瞭な画像が描画されることもある。これらは、仮想投影機１３Ａと現実物体１２Ｃとの光学距離に応じて決まる。
このように、現実物体１２Ｃの表面を照らす仮想投影機１３Ａの光による効果を現実物体１２Ｃの位置に描画することにより、仮想投影機１３Ａが実在するのに近い体験が可能になる。

また、本実施の形態では、現実物体１２Ｃが仮想投影機１３Ａから投影される画像を遮る範囲が、影１１Ａとして仮想物体１１の表面に描画される。
このように、現実物体１２Ｃが仮想投影機１３Ａの光を妨げることで生じる効果を仮想物体１１に対して反映して、仮想物体１１を描画することにより、仮想投影機１３Ａが実在するのに近い体験が可能になる。

＜例４＞
図８は、仮想的な光源が仮想投影機１３Ａであり、仮想投影機１３Ａと仮想物体１１との間に現実物体１２Ｂが存在する場合における従前の技術と本実施の形態による見え方の違いの他の例を説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。
図８でも、従前の技術による描画例を比較例と記している。
図８における現実物体１２Ｂは、例２（図６参照）と同じである。すなわち、現実物体１２Ｂは、平板形状を有し、更に透過性を有している。
図８の場合も、端末１を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。

図８の場合も、従前の技術では、（Ａ）に示すように、例３（図７参照）の場合と同様に、仮想物体情報４３（図３参照）の通りに仮想物体１１が描画される。
一方で、本実施の形態の場合、（Ｂ）に示すように、例３の場合と同様に、現実物体１２Ｂの表面には仮想投影機１３Ａから投影された画像の一部（帯状の物体の画像のうち現実物体１２Ｂと重なる部分）が描画される。
なお、本例の現実物体１２Ｂでは、例２（図６参照）の場合と同じく、全面に網目状の模様が形成されている。このため、現実物体１２Ｂの表面には、網目状の模様と投影される画像とが混在した画像が、現実物体１２Ｂの位置に描画される。従って、仮想投影機１３Ａが実在するのに近い体験が可能になる。

また、本実施の形態では、例２（図６参照）の場合と同様に、仮想投影機１３Ａから投影される画像のうち現実物体１２Ｂを透過した透過像１１Ｂが、仮想物体１１の表面に描画される。
図８の場合には、現実物体１２Ｂを透過する際の光の屈折の影響により、透過像１１Ｂを構成する帯状の物体の画像と、仮想投影機１３Ａから直接投影された帯状の物体の画像との間にズレが生じている。また、現実物体１２Ｂに形成されている網目状の模様も、透過像１１Ｂに表現されている。このため、透過像１１Ｂは、現実物体１２Ｂを透過した画像であることの実感が高くなる。
このように、現実物体１２Ｂが仮想投影機１３Ａの光を妨げることで生じる効果を仮想物体１１に対して反映して、仮想物体１１を描画することにより、仮想投影機１３Ａが実在するのに近い体験が可能になる。

また、本実施の形態では、現実物体１２の物理特性を仮想的に変化させて描画してもよい。
より具体的には、例えば、図６に示す現実物体１２Ｂが壁である場合に、ＣＰＵ２１は、現実物体１２Ｂ上に（すなわち、現実物体１２Ｂの位置に）、窓を表す仮想の画像を描画する。窓の画像は仮想物体情報４３として保存されているが、窓から外の景色が見えるように、ＣＰＵ２１は、窓の画像と外の景色の画像とを足し合わせて、現実物体１２Ｂの位置に描画する。なお、外の景色の画像は、ユーザ（眼球５）の位置から現実物体１２Ｂを超えた先の空間の画像であり、ＣＰＵ２１は、例えば、ユーザの位置、現実空間仮想化情報４２、仮想物体情報４３を基に、外の景色の画像を生成する。

また、仮想の窓を設けた場合、仮想光源１３の光が仮想の窓を透過する。そのため、ＣＰＵ２１は、仮想の窓を透過する仮想光源１３の光の効果を推定及び描画する。例えば、仮想の窓を透過した光によって照らされた仮想物体１１を描画する。なお、仮想の窓を透過した光によって照らされる領域は、例えば、仮想光源１３の位置、仮想の窓の形状と位置、仮想物体１１の形状と位置の関係から計算される。さらに、仮想光源１３が仮想投影機１３Ａの場合には、仮想投影機１３Ａから投影される画像のうち仮想の窓を透過した透過像等が仮想物体１１の表面に描画される。
なお、ＣＰＵ２１は、仮想の画像を現実物体１２の位置に描画するにあたり、現実物体１２の色調や模様の影響により、これらの色調や模様が仮想の窓に映り込む場合には、色調や模様が映り込まないように窓の画像を加工してもよい。

＜実施の形態２＞
本実施の形態では、複合現実の体験に頭部に装着された表示装置を使用する場合について説明する。
図９は、複合現実の体験に、実時間で撮像される外界の画像に仮想物体を合成した画像を表示する表示装置１００を装着したユーザが、複合現実を体感する原理を説明する図である。

図９には、図１及び図２と対応する部分に対応する符号を付して示している。
表示装置１００は、カメラ２４Ｌ及び２４Ｒによって撮像された外界の画像と、仮想物体描画部４が描画した仮想物体１１の画像とを画像合成部１０１で合成した画像を、ユーザの眼球５の前方に配置された表示部３Ｌ及び３Ｒに表示する。
ここでの表示装置１００は、情報処理装置の一例であるとともに情報処理システムの一例でもある。
なお、表示装置１００のハードウェア構成は、メガネ型の端末１（図２参照）と同様である。このため、表示装置１００のハードウェア構成の説明は省略する。

図１０は、表示装置１００の機能構成の一例を示す図である。
図１０には、図３との対応部分に対応する符号を付して示している。
表示装置１００の基本的な機能構成は、メガネ型の端末１（図２参照）と同様である。表示装置１００に特有の機能構成は、画像合成部１０１である。
画像合成部１０１は、仮想物体描画部４が描画した画像と、カメラ２４Ｌ及び２４Ｒで撮像されている外界の画像とが整合するように２つの画像を合成する機能を有している。
例えば画像合成部１０１は、現実空間仮想化情報４２として記憶されている３次元モデルとカメラ２４Ｌ及び２４Ｒで撮像されている外界の画像とを照合して、仮想物体１１の画像を合成する領域を決定する。
このように、本実施の形態が複合現実を知覚させる方式は実施の形態１と異なるが、ユーザによって知覚される複合現実の現実感が従前の技術に比して高くなる点は、実施の形態１と同じである。

＜他の実施形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
例えば前述の実施の形態では、左右両目用の表示部３Ｌ及び３Ｒを用いているが、表示部は１つでも構わない。例えばメガネ型の端末１（図１参照）の場合には、左右どちら一方の前方に表示部を１つ配置されてもよい。また例えば表示装置１００（図９参照）の場合には、両目の前に表示部を１つ配置してもよい。
また、前述の実施の形態では、仮想物体描画部４をメガネ型の端末１（図１参照）や表示装置１００（図９参照）の機能の１つとして実現しているが、外部ネットワーク（例えばクラウドネットワーク）に接続されているサーバなどの情報処理装置において、仮想物体描画部４の機能を実行してもよい。ここでのメガネ型の端末１と仮想物体描画部４の機能を実行する外部ネットワーク上のサーバは、情報処理システムの一例である。
また、前述の実施の形態では、仮想物体描画部４の機能を汎用的な演算装置であるＣＰＵ２１を用いて実現しているが、実時間での画像処理に特化した演算装置であるＧＰＵ（Graphics Processing Unit）を用いて実現してもよい。

１…メガネ型の端末、２…導光板、３、３Ｌ、３Ｒ…表示部、４…仮想物体描画部、１１…仮想物体、１１Ａ…影、１１Ｂ…透過像、１２、１２Ａ、１２Ｂ、１２Ｃ…現実物体、１３…仮想光源、１３Ａ…仮想投影機、３１…現実空間情報取得部、３２…光源情報取得部、３３…光源光効果推定部、３４…光源光効果生成部、４１…現実空間情報、４２…現実空間仮想化情報、４３…仮想物体情報、４４…光源光効果情報、１００…表示装置、１０１…画像合成部、Ｂ１…外光、Ｂ２…表示光

Claims (7)

1. 仮想的に存在する光源の情報を取得する取得手段と、
   取得された前記光源の情報に基づいて、当該光源からの光の光路上に位置する現実の物体が当該現実の物体の周囲に位置する仮想の物体又は他の現実の物体に与える効果を推定する推定手段と、
   推定された効果を表現する仮想の画像を、前記仮想の物体又は前記他の現実の物体の位置に描画する描画手段と
   を有する情報処理システム。
2. 前記現実の物体は透過性を有しない物体であり、前記推定手段は、前記光源からの光により生じる当該現実の物体の影を推定する、請求項１に記載の情報処理システム。
3. 前記現実の物体は透過性を有する物体であり、前記推定手段は、当該現実の物体を透過した前記光源からの光が形成する透過像を推定する、請求項１に記載の情報処理システム。
4. 前記光源は、画像を投影する投影機であり、前記透過像は当該投影機により投影される画像の影響を含む、請求項３に記載の情報処理システム。
5. 前記現実の物体は反射性を有する物体であり、前記推定手段は、当該現実の物体で反射された前記光源からの光が与える効果を推定する、請求項１に記載の情報処理システム。
6. 前記光源は、画像を投影する投影機であり、前記現実の物体による反射には、当該投影機から投影された画像と当該現実の物体の光学特性の影響とが反映される、請求項５に記載の情報処理システム。
7. コンピュータを、
   仮想的に存在する光源の情報を取得する取得手段と、
   取得された前記光源の情報に基づいて、当該光源からの光の光路上に位置する現実の物体が仮想の物体に与える効果を推定する推定手段と、
   推定された効果を加えて前記仮想の物体を描画する描画手段
   として機能させるプログラム。