JP2019179540A - 情報処理システム及びプログラム - Google Patents

Abstract

【課題】現実の物体の透過性が事前に分からない状況でも、透過性を有する現実の物体の背後に位置する仮想の物体を描画して仮想の物体が実在するかのような体験を可能にする。【解決手段】情報処理システムは、現実の物体を撮像した画像から現実の物体の透過性の情報を推定する推定手段と、透過性を有すると推定された現実の物体の背後に仮想の物体の少なくとも一部が隠れる場合に、現実の物体の背後に隠れる領域の現実の空間での見え方を再現する画像を、推定された透過性の情報に基づいて生成する生成手段と、生成された画像を含めて仮想の物体を描画する描画手段とを有する。【選択図】図８

Description

本発明は、情報処理システム及びプログラムに関する。

現在、仮想現実（Ｖｉｒｔｕａｌ ＲｅａｌｉｔｙまたはＶＲ）や拡張現実（Ａｕｇｕｍｅｎｔｅｄ ＲｅａｌｉｔｙまたはＡＲ）ではなく、現実の空間（現実空間）と、コンピュータを用いて仮想的に作成する空間（仮想空間）との複合を意味する複合現実（Ｍｉｘｅｄ ＲｅａｌｉｔｙまたはＭＲ）なる技術が注目されている。複合現実が実現された空間（複合現実空間）では、現実空間の物体と仮想空間の物体とが、現実空間と仮想空間の２つの三次元空間の形状情報を重ね合わせて、実時間で影響し合う体験が可能である。
例えば特許文献１には、仮想の物体の背後に現実の物体が位置する場合に（ユーザからは現実の物体が見えない場合に）、ユーザに近づいてきている現実の物体の存在を事前に知らせる技術が記載されている。具体的には、現実の物体とユーザとの距離とが予め定めた距離以内になると、手前側に位置する仮想の物体の表示を半透明又は輪郭線の表示に制御して背後に位置する現実の物体の視認を可能にする技術が記載されている。

特開２０１６−４４９３号公報

一方で、従前の技術では、現実の物体（現実物体）の背後に仮想の物体（仮想物体）が位置する場合、現実物体の形状情報のみを描画の判定基準としているため、仮想物体を一律に描画しない手法が採用されている。このため、現実物体が透明でも、その背後に隠れた途端に、仮想物体は空間から存在しなくなる。ところが、このような自然法則に反する現象は、複合現実を体験中のユーザに不自然な印象を与えてしまう。

本発明は、現実の物体の透過性が事前に分からない状況でも、透過性を有する現実の物体の背後に位置する仮想の物体を描画して仮想の物体が実在するかのような体験 を可能にすることを目的とする。

請求項１に記載の発明は、現実の物体を撮像した画像から当該現実の物体の透過性の情報を推定する推定手段と、透過性を有すると推定された前記現実の物体の背後に仮想の物体の少なくとも一部が隠れる場合に、当該現実の物体の背後に隠れる領域の現実の空間での見え方を再現する画像を、推定された透過性の情報に基づいて生成する生成手段と、生成された前記画像を含めて前記仮想の物体を描画する描画手段とを有する情報処理システムである。
請求項２に記載の発明は、前記推定手段は、推定の対象に定めた前記現実の物体を異なる時点に撮像した複数の画像に基づいて、当該現実の物体の透過性を推定する、請求項１に記載の情報処理システムである。
請求項３に記載の発明は、前記推定手段は、２つの前記現実の物体の少なくとも一部が重なる状態で撮像された第１の画像から、手前側に位置する当該現実の物体の表面に現れる第１のエッジの情報を抽出し、抽出された当該第１のエッジの情報が、当該第１の画像で背景側に位置していた当該現実の物体が単独で撮像されている第２の画像に現れる第２のエッジの情報と整合する場合、手前側に位置する当該現実の物体は透過性を有すると推定する、請求項２に記載の情報処理システムである。
請求項４に記載の発明は、前記推定手段は、推定の対象に定めた前記現実の物体の表面に現れる内容が鏡像ではなく、かつ、当該現実の物体の表面を撮像する撮像手段の移動に連動して当該現実の物体の表面に現れる内容が連続的に変化する場合、当該現実の物体は透過性を有すると推定する、請求項２に記載の情報処理システムである。
請求項５に記載の発明は、前記推定手段は、推定の対象に定めた前記現実の物体によって生じる影を利用して、当該現実の物体の透過性を推定する、請求項１に記載の情報処理システムである。
請求項６に記載の発明は、現実の物体を撮像した画像から現実の物体の透過性の情報を推定する推定手段と、透過性を有すると推定された前記現実の物体の背後に仮想の物体の少なくとも一部が隠れる場合に、当該現実の物体の背後に隠れる部分に当該仮想の物体を描画する描画手段を有する情報処理システムである。
請求項７に記載の発明は、コンピュータを、現実の物体を撮像した画像から現実の物体の透過性の情報を推定する推定手段と、透過性を有すると推定された前記現実の物体の背後に仮想の物体の少なくとも一部が隠れる場合に、当該現実の物体の背後に隠れる領域の現実の空間での見え方を再現する画像を、推定された透過性の情報に基づいて生成する生成手段と、生成された前記画像を含めて前記仮想の物体を描画する描画手段として機能させるプログラムである。

請求項１記載の発明によれば、現実の物体の透過性が事前に分からない状況でも、透過性を有する現実の物体の背後に位置する仮想の物体を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項２記載の発明によれば、現実の物体の透過性が事前に分からない状況でも、透過性を有する現実の物体の背後に位置する仮想の物体を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項３記載の発明によれば、現実の物体の透過性が事前に分からない状況でも、透過性を有する現実の物体の背後に位置する仮想の物体を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項４記載の発明によれば、現実の物体の透過性が事前に分からない状況でも、透過性を有する現実の物体の背後に位置する仮想の物体を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項５記載の発明によれば、現実の物体の透過性が事前に分からない状況でも、透過性を有する現実の物体の背後に位置する仮想の物体を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項６記載の発明によれば、現実の物体の透過性が事前に分からない状況でも、透過性を有する現実の物体の背後に位置する仮想の物体を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項７記載の発明によれば、現実の物体の透過性が事前に分からない状況でも、透過性を有する現実の物体の背後に位置する仮想の物体を描画して仮想の物体が実在するかのような体験を可能にできる。

外界を透過的に視認可能なメガネ型の端末を装着したユーザが、複合現実を体感する原理を説明する図である。 メガネ型の端末のハードウェア構成の一例を示す図である。 メガネ型の端末の機能構成の一例を示す図である。 メガネ型の端末で仮想物体を表示する場合に実行される処理動作の一例を説明するフローチャートである。 透過性の推定に用いる手法の一例を説明する図である。（Ａ）は立方体形状の現実物体が単独で存在する時点Ｔ１の画像を示し、（Ｂ）は立方体形状の現実物体の一部が平板状の現実物体によって隠れる時点Ｔ２の画像を示す。 透過性の推定に用いる手法の他の一例を説明する図である。（Ａ）は長方形形状の現実物体の表面に現れる時点Ｔ１の画像を示し、（Ｂ）は長方形形状の現実物体の表面に現れる時点Ｔ２の画像を示し、（Ｃ）は長方形形状の現実物体の表面に現れる時点Ｔ３の画像を示す。 透過性の推定に用いる他の手法の一例を説明する図である。 透過性の推定に用いる他の手法の一例を説明する図である。 仮想物体のうち現実物体の背後に隠れる領域を説明する図である。（Ａ）は現実物体と仮想物体の位置の関係を示し、（Ｂ）は仮想物体のうち現実物体の背後に隠れる部分を示す。 従前の技術による仮想物体の描画と本実施の形態による仮想物体の描画の違いを説明する図である。（Ａ）は従前の技術による仮想物体の描画例であり、（Ｂ）は本実施の形態による仮想物体の描画例である。 現実物体の透過率の違いが仮想物体の描画に与える影響を説明する図である。（Ａ）は現実物体の透過率が高い場合の仮想物体の描画例であり、（Ｂ）は現実物体の透過率が低い場合の仮想物体の描画例である。 現実物体の色の違いが仮想物体の描画に与える影響を説明する図である。（Ａ）は現実物体に薄い青色が付されている場合の仮想物体の描画例であり、（Ｂ）は現実物体に薄い赤色が付されている場合の仮想物体の描画例である。 現実物体に付されている模様の違いが仮想物体の描画に与える影響を説明する図である。（Ａ）は現実物体の表面に対角線方向に延びる斜線が形成されている場合の仮想物体の描画例であり、（Ｂ）は現実物体の表面に網目状の模様が形成されている場合の仮想物体の描画例である。 現実物体の屈折率の違いが仮想物体の描画に与える影響を説明する図である。（Ａ）は現実物体の屈折率が小さい場合の仮想物体の描画例であり、（Ｂ）は現実物体の屈折率が大きい場合の仮想物体の描画例である。 現実物体の偏光度の違いが仮想物体の描画に与える影響を説明する図である。（Ａ）は現実物体の偏光度が小さい場合の仮想物体の描画例であり、（Ｂ）は現実物体の偏光度が大きい場合の仮想物体の描画例である。 現実物体の表面の模様と仮想物体の表面の模様との関係で干渉縞（モアレ）が発生する場合と発生しない場合を説明する図である。（Ａ）は干渉縞が発生しない場合の仮想物体の描画例であり、（Ｂ）は干渉縞が発生する場合の仮想物体の描画例である。 現実物体が複数の場合における仮想物体の描画例を説明する図である。（Ａ）はユーザによって知覚される複合現実を示し、（Ｂ）は仮想物体の描画処理を説明する図である。 複合現実の体験に、実時間で撮像される外界の画像に仮想物体を合成した画像を表示する表示装置を装着したユーザが、複合現実を体感する原理を説明する図である。 表示装置の機能構成の一例を示す図である。

以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
本実施の形態では、複合現実の体験に、外界を透過的に視認可能なメガネ型の端末を使用する場合について説明する。
図１は、外界を透過的に視認可能なメガネ型の端末１を装着したユーザが、複合現実を体感する原理を説明する図である。

この種の端末１のハードウェア部分は、既に複数のメーカによって実用化されている。例えばマイクロソフト社のＨｏｌｏＬｅｎｓ（商標）、ソニー社のＳｍａｒｔＥｙｅｇｌａｓｓ（商標）、コニカミノルタ社のウェアラブルコミュニケーター（商標）がある。この種の端末１は、透過型デバイス、網膜投射型デバイス等とも呼ばれる。
図１に示すメガネ型の端末１は、透明度が高い導光板２と、画像を表示する小型の表示部３と、仮想の物体（仮想物体１１）を描画する仮想物体描画部４とを有している。
ここでのメガネ型の端末１は、情報処理装置の一例であるとともに情報処理システムの
一例でもある。

導光板２は、例えば８５％以上の透明度を有する部材で構成され、その内部には、不図示の可視光透過型回折格子が配置されている。可視光透過型回折格子には、例えばホログラフィック回折格子が用いられる。
可視光透過型回折格子は、導光板２の前方から入射する外光Ｂ１を直線的に透過してユーザの眼球５に導くように作用する。一方で、可視光透過型回折格子は、表示部３から導光板２に入射した表示光Ｂ２を屈折させて導光板２の内部を伝搬させ、その後、眼球５の方向に表示光Ｂ２を屈折させるように作用する。
外光Ｂ１と表示光Ｂ２は、眼球５内で合成される。この結果、端末１を装着したユーザは、現実の物体（現実物体１２）に仮想の物体（仮想物体１１）を合成した複合現実の風景を知覚する。因みに、図１の例では、仮想物体１１が現実物体１２よりも手前側に位置している。

＜メガネ型の端末１のハードウェア構成＞
図２は、メガネ型の端末１のハードウェア構成の一例を示す図である。
図２に示す端末１は、プログラム（基本ソフトウェアを含む）の実行を通じて装置全体を制御するＣＰＵ（Central Processing Unit）２１と、ＢＩＯＳ（Basic Input Output System）や基本ソフトウェア等のプログラムを記憶するＲＯＭ２２と、プログラムの実行領域として使用されるＲＡＭ（Random Access Memory）２３と、を有している。
ＲＯＭ２２は、例えば電気的にデータの書き換えが可能な不揮発性の半導体メモリで構成される。
ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３は、コンピュータ２０として機能する。

コンピュータ２０には、仮想の物体を表示する表示部３Ｌ及び３Ｒと、外界を撮像するカメラ２４Ｌ及び２４Ｒと、角度、角速度、加速度等の慣性情報を計測する慣性計測センサ２５と、現実の物体までの距離を測定する深度センサ２６と、周囲の明るさを検知する照度センサ２７と、外部との通信に用いられる無線通信部２８と、が接続されている。
左目用の表示部３Ｌには、左目用の画像が表示され、右目用の表示部３Ｒには、右目用の画像が表示される。左目用の画像と右目用の画像には視差が再現されている。このため、端末１を装着したユーザは、仮想物体１１を立体視できる。

カメラ２４Ｌはユーザの左目側に配置され、カメラ２４Ｒはユーザの右目側に配置される。カメラ２４Ｌ及び２４Ｒによって、端末１の周囲がステレオ撮影される。カメラ２４Ｌ及び２４Ｒで撮像された画像は、現実の物体の認識や現実の物体の表面までの距離の測定に用いられる。なお、現実の物体までの距離の測定に用いるカメラと、現実の物体の認識に用いられるカメラは、それぞれ別に用意されてもよい。カメラ２４Ｌ及び２４Ｒは撮像手段の一例である。
慣性計測センサ２５は、頭の位置や向きの計測に用いられ、視線の追跡などに使用される。
深度センサ２６は、赤外線や超音波を使用して現実空間に存在する物体までの距離を計測する。

＜メガネ型の端末１の機能構成＞
図３は、メガネ型の端末１の機能構成の一例を示す図である。
図３に示す機能構成は、ＣＰＵ２１によるプログラムの実行を通じて実現される。
図３に示す機能構成は、プログラムの実行を通じて実現される各種の機能のうち、現実の物体の背後に仮想の物体が配置される複合現実空間をユーザに知覚させる機能について表している。

図３の場合、ＣＰＵ２１は、カメラ２４Ｌ及び２４Ｒによって撮像される画像から現実空間の情報を取得する現実空間情報取得部３１と、撮像された画像に基づいて現実物体１２（図１参照）の透過性を推定する現実物体透過性推定部３２と、現実物体１２の透過情報を取得する現実物体透過情報取得部３３と、仮想物体１１（図１参照）のうち眼球５（図１参照）の位置を基準として透過性を有する現実物体１２の背後に隠れる領域を判定する仮想物体透過領域判定部３４と、表示部３Ｌ及び３Ｒ（図２参照）に仮想物体１１の画像を描画する仮想物体描画部４と、を有している。

現実空間情報取得部３１は、撮像された画像から現実空間に関する様々な情報を取得し、現実空間情報４１としてＲＡＭ２３に保存する。
現実空間情報４１として保存される情報の種類は、メガネ型の端末１を使用する場面や用途によって異なる。
ただし、情報の種類が増えることで、複合現実空間における体験を、現実空間の体験に近づけることができる。
本実施の形態の場合、現実空間情報４１には、実時間で追加される現実物体１２に関する情報に加え、事前に与えられた又は事前に取得された現実物体１２に関する情報も含まれる。

現実物体１２に関する情報は、撮像された画像から推定（計算）される場合もあれば、現実物体１２毎に既知の情報としてＲＡＭ２３の不揮発性領域に保存されている場合もある。
撮像された画像から推定される情報には、色情報のように撮像された画像から直接的に取得可能な情報もあれば、後述する手法などを用いて推定される情報もある。
本実施の形態の場合、ＲＡＭ２３の不揮発性領域には、現実物体１２の透過性を有する部分の全てに適用される情報（透過情報を計算するための式や透過情報の代表値を含む）も記憶される。なお、ＲＡＭ２３の不揮発性領域には、透過性を有する部分別の情報が記憶されていてもよい。
本実施の形態における現実空間情報取得部３１は、ＲＡＭ２３から、画像認識によって特定された個々の現実物体１２に関する情報を取得する。

また、ＲＡＭ２３に記憶される情報には、ある現実物体１２が他の現実物体１２を透過して視認される場合の見え方を再現する複数種類のフィルタの情報が含まれてもよい。個々のフィルタは、透過率、屈折率、偏光度などの複数の項目の組み合わせで与えられる。
本実施の形態における現実空間情報取得部３１には、現実物体１２の透過性を有する部分を撮像した画像と同様の見え方を実現するフィルタを取得する機能が設けられていてもよい。ここでのフィルタは、透過情報の一例である。

現実物体１２に関する情報には、例えば個別の物体（人を含む）の情報、ユーザが位置する現実空間の情報、ユーザの位置から画像内の各位置までの距離の情報、光源に関する情報、撮像に関する情報などが含まれる。
ここで、個別の物体の情報には、例えば形状、色調、材質、透過情報、現実空間内での位置を特定する情報が含まれる。物体の認識には、既存の技術を使用する。例えばエッジや色領域を特徴量として検出する手法が用いられる。物体の認識には、人工知能を用いてもよい。
撮像に関する情報には、現実の空間内におけるカメラ２４Ｌ及び２４Ｒの位置の情報、現実の空間内におけるカメラ２４Ｌ及び２４Ｒの移動の方向、現実の空間内におけるカメラ２４Ｌ及び２４Ｒが撮像する向きの情報等が含まれる。なお、カメラ２４Ｌ及び２４Ｒによって撮像された画像には、撮像の日時に関する情報なども付属する。

透過性に関する各種の情報を与える透過情報には、例えば透過性を有する部分と有しない部分の情報、透過性を有する部分の透過率の情報、透過性を有する部分の屈折率、透過性を有する部分の色調、透過性を有する部分の偏光度、透過性を有する部分の模様等が含まれる。因みに、透過性を有しない部分の透過率は０（ゼロ）である。
透過率等の情報は、画像の処理を通じて推定される場合もあれば、事前に与えられる場合もある。透過性を推定する手法には、複数の時点に撮像された複数の画像の比較による方法、人工知能によって特定された物体に対応する透過情報をデータベースから取得する方法等がある。データベースは、例えばクラウドネットワーク上の不図示のサーバに記憶されていてもよい。なお、特定された物体に対応する透過情報がデータベースに存在しない場合、人工知能は、特定された物体に対応する透過情報を、データベースに存在する類似する物品の情報に基づいて推定してもよい。
透過情報に含まれる個々の要素の組み合わせにより、物体の質感が変化する。
なお、現実空間情報４１は、例えばクラウドネットワーク上の不図示のサーバに記憶されていてもよい。

本実施の形態における現実空間情報取得部３１には、現実空間を模した３次元モデルを生成又は更新する機能（すなわち、現実空間を仮想化する機能）も設けられている。
現実空間情報取得部３１は、現実空間から取得された複数の情報を仮想空間上で整合的に統合し、３次元モデルを生成又は更新する。ここでの３次元モデルは、現実空間仮想化情報４２としてＲＡＭ２３に記憶される。
現実空間を仮想化した空間に仮想物体１１を配置したものが複合現実空間である。

本実施の形態における現実物体透過性推定部３２は、推定の対象に定めた現実物体１２を異なる時点に撮像した複数の画像に基づいて、現実物体１２の透過性を推定する。なお、現実物体透過性推定部３２は、現実物体１２の透過率や屈折率や偏光度を推定する機能も有している。
例えば現実物体１２の偏光角は、カメラ２４の前方に配置した偏光レンズ（偏光度１００％）を９０°回転させながら撮像し、その過程で一番暗くなる向きを撮像の対象である現実物体１２の偏光角（角度）として推定する。また、一番暗くなる角度から偏光レンズを９０°回転させながら撮像し、一番光が届く向きでの光の量を１００として一番光が届かない向きでの光の量を表した値を、対象とする現実物体１２の偏光度として推定する。
なお、屈折率は、例えば臨界角法による手法で推定すればよい。
ここでの現実物体透過性推定部３２は、推定手段の一例である。
推定の結果は、推定の対象に定めた現実物体１２に対応づけられた現実空間情報４１の一部として保存される。
推定の精度は、現実空間情報４１や現実空間仮想化情報４２の集積に伴って向上する。

本実施の形態における現実物体透過情報取得部３３は、現実物体１２の現実空間情報４１から透過情報を取得する。
本実施の形態の場合、現実物体透過情報取得部３３は、端末１を装着しているユーザの眼球５の位置を基準として仮想物体１１の手前側に位置する現実物体１２を、透過情報の取得の対象とする。
ここで、仮想物体１１が配置される位置（３次元モデル内での位置）、形状、色調、材質などの情報は、仮想物体情報４３として記憶されている。
なお、ユーザの眼球５の位置は、実測されるのではなく、端末１との関係で与えられる。

本実施の形態における仮想物体透過領域判定部３４は、現実物体１２のうち透過性を有する部分の背後に隠れる仮想物体１１の領域を判定する。
ここで、仮想物体透過領域判定部３４は、仮想物体１１と現実物体１２の位置の関係を、端末１を装着しているユーザの眼球５の位置を基準として判定する。ユーザの眼球５の位置は、実測されるのではなく、端末１との関係で与えられる。
仮想物体１１が配置される位置（３次元モデル内での位置）、形状、色調、材質などの情報は、仮想物体情報４３として記憶されている。

本実施の形態における仮想物体透過領域判定部３４は、端末１を装着しているユーザの眼球５の位置を基準として仮想物体１１の手前側に位置する現実物体１２を判定の対象とする。
現実物体１２の透過性を有する部分の背後に隠れると判定された仮想物体１１の領域には、手前側に位置する現実物体１２の透過情報が関連付けられる。
本実施の形態では、仮想物体１１に関連付けられた現実物体１２の透過情報を仮想物体描画情報４４という。仮想物体描画情報４４の内容は、端末１を装着しているユーザの移動、現実空間内での物体の移動、仮想物体１１を配置する位置によっても変化する。

仮想物体描画部４は、現実空間仮想化情報４２、仮想物体情報４３、仮想物体描画情報４４を用い、表示部３Ｌ（図２参照）用の仮想物体１１の画像と表示部３Ｒ（図２参照）用の仮想物体１１の画像を描画する。
本実施の形態における仮想物体描画部４は、仮想物体１１のうち現実物体１２の背後に隠れる領域も描画の対象に含める。すなわち、仮想物体１１の全体を描画の対象とする。
このように、透過性を有する現実物体１２に隠れる位置の仮想物体１１が表示されることで、ユーザは仮想物体１１の全体を知覚できる。この結果、従前の技術に比して、複合現実の現実感を高めることができる。

更に、本実施の形態における仮想物体描画部４は、透過性を有する現実物体１２に隠れる位置の仮想物体１１の見え方をより現実に近づけるため、仮想物体１１に関連付けられている現実物体１２の透過率、屈折率、色調、偏光度、模様等を仮想物体１１の描画に反映させる。
例えば仮想物体描画部４は、現実物体１２の透過率、屈折率、色調、偏光度、模様等を適用したフィルタを用意し、用意されたフィルタを仮想物体１１の対象とする領域に作用させた後の画像を描画する。ここでのフィルタには、複数の模様が重ね合わされることで知覚される干渉縞やその他の干渉の影響を描画するための情報も含まれる。
すなわち、仮想物体描画部４は、透過性を有する現実物体１２の背後に他の現実の物体１２が配置される場合の見え方を再現する画像を、現実物体１２の透過率、屈折率、色調、模様等に基づいて生成する。
フィルタを用いる場合、仮想物体情報４３には変更を加えずに済み、演算量が少なく済む。このため、現実物体１２の背後に隠れる領域の変化が速い場合でも、現実物体１２の透過情報を仮想物体１１の描画に実時間で反映させることができる。
本実施の形態における仮想物体描画部４は、生成手段と描画手段の一例である。

＜メガネ型の端末１で実行される処理動作＞
図４は、メガネ型の端末１で仮想物体１１を描画する場合に実行される処理動作の一例を説明するフローチャートである。
図４に示す処理動作は、ＣＰＵ２１によるプログラムの実行を通じて実現される。なお、図中では、ステップを記号のＳで表している。
まず、ＣＰＵ２１は、現実空間の情報を取得する（ステップ１）。この処理により、ＣＰＵ２１は、端末１を装着しているユーザが導光板２を透して視認している現実物体１２を認識する。
次に、ＣＰＵ２１は、認識された現実物体１２の透過性を推定する（ステップ２）。本実施の形態の場合、現実物体１２のどの部分が透過性を有するかの認識が重要である。
透過性の推定処理は、透過性に関する情報が未知である現実物体１２に限らず、以前に推定処理を行った現実物体１２を対象に含めてもよい。
以前に推定処理の対象とした現実物体１２でも、画像が取得される際の環境の違いにより、透過性に関する新たな情報を取得できる可能性があるからである。
なお、透過性を推定する処理は、仮想物体１１を描画する処理とは独立に実行してもよい。

図５は、透過性の推定に用いる手法の一例を説明する図である。（Ａ）は立方体形状の現実物体１２Ａが単独で存在する時点Ｔ１の画像を示し、（Ｂ）は立方体形状の現実物体１２Ａの一部が平板状の現実物体１２Ｂによって隠れる時点Ｔ２の画像を示す。
時点Ｔ１と時点Ｔ２は、互いに異なる時点に対応する。
なお、時点Ｔ１の画像は第１の画像の一例であり、時点Ｔ２の画像は第２の画像の一例である。
図５の場合、端末１を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
時点Ｔ１では単独で存在した立方体形状の現実物体１２Ａが、別の時点Ｔ２では平板状の現実物体１２Ｂの背後に隠れるような状態（すなわち背景側に位置する状態は）は、平板状の現実物体１２Ｂの空間内における移動により、又は、端末１を装着するユーザの空間内の移動により生じる。

因みに、時点Ｔ２に対応する画像は、現実物体１２Ｂが現実物体１２Ａの手前側に移動された状態を示している。
透過性の推定に際し、ＣＰＵ２１は、時点Ｔ２で撮像された現実物体１２Ｂの表面の画像を解析し、表面の画像に現れるエッジ５１を抽出する。図５の例では、４本のエッジ５１が抽出されている。
なお、ＣＰＵ２１は、現実空間情報４１や現実空間仮想化情報４２の情報（例えば個々の現実物体１２について保存されている位置の情報）を用い、現実物体１２Ｂの背後に位置する物体が現実物体１２Ａであると認識する。

次に、ＣＰＵ２１は、現実物体１２Ａが単独で撮像されている時点Ｔ１の画像と照合し、抽出された４本のエッジ５１が現実物体１２Ａと整合するか否かを判定する。
ここで、整合するとは、４本のエッジ５１の配置と、現実物体１２Ａの表面の画像から抽出されるエッジの情報との間に高い類似性が認められることをいう。
エッジの情報には、物体の外縁を規定するエッジと物体の表面の構造や模様を規定するエッジの両方が含まれる。
ここで、完全な一致を要求しないのは、透過性を有する物体を透して抽出されるエッジには、透過性を有する現実物体１２Ｂの影響（屈折の影響を含む）や外光の影響が含まれるためである。

図５の例では、抽出された４本のエッジ５１が、立方体形状の現実物体１２Ａの左上部分のエッジと一致しているので、ＣＰＵ２１は、平板状の現実物体１２Ｂが透過性を有すると推定する。
本実施の形態の場合、平板状の現実物体１２Ａの全体が透過性を有すると推定される。もっとも、現実物体１２Ａと重複する領域に限り、透過性を有すると推定し、残りの領域についての透過性の有無は、他の機会に推定してもよい。
図５の場合、ＣＰＵ２１は、透過率や屈折率も推定する。例えばＣＰＵ２１は、時点Ｔ２に撮像された画像を処理対象として、平板状の現実物体１２Ｂと重なっている部分における立方体形状の現実物体１２Ａの見え方と、平板状の現実物体１２Ｂに隠れていない部分における立方体形状の現実物体１２Ａの見え方との違いから透過率や屈折率を計算することができる。
例えば透過率は、平板状の現実物体１２Ｂに隠れていない部分における立方体形状の現実物体１２Ａの輝度に対する平板状の現実物体１２Ｂと重なっている部分における立方体形状の現実物体１２Ａの輝度の比として計算する。また例えば屈折率は、平板状の現実物体１２Ｂについて推定された反射率を、既知の公式に代入することにより計算可能である。

図６は、透過性の推定に用いる手法の他の一例を説明する図である。（Ａ）は長方形形状の現実物体１２の表面に現れる時点Ｔ１の画像を示し、（Ｂ）は長方形形状の現実物体１２の表面に現れる時点Ｔ２の画像を示し、（Ｃ）は長方形形状の現実物体１２の表面に現れる時点Ｔ３の画像を示す。
時点Ｔ１と時点Ｔ２と時点Ｔ３は、互いに異なる時点に対応する。
図６の場合も、端末１を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。

図６で説明する推定の手法では、長方形形状の現実物体１２の表面に現れる内容が以下に示す２つの条件を満たす場合に、現実物体１２が透過性を有すると推定する。
条件の１つは、現実物体１２の表面に現れる内容が、物理的な構造や模様とも表示デバイスに表示される画像とも異なることである。
別の１つの条件は、現実物体１２の表面に現れる内容が、鏡像ではないことである。

本実施の形態では、現実物体１２を撮像しているカメラ２４Ｌ及び２４Ｒ（図２参照）の移動に連動して現実物体１２の表面に現れる内容が連続的に変化する場合、前者の条件を満たすものとして扱う。
現実物体１２の表面に現れる内容が物理的な構造や模様に起因する場合、カメラ２４Ｌ及び２４Ｒ（図２参照）が移動しても内容は不変だからである。また、現実物体１２が表示デバイスの場合には、その表示の内容の変化は、現実物体１２を撮像しているカメラ２４Ｌ及び２４Ｒの移動と無関係だからである。

ただし、現実物体１２が鏡の場合、その表面に現れる内容が、現実物体１２を撮像しているカメラ２４Ｌ及び２４Ｒの移動と連動して変化する。
そこで、ＣＰＵ２１は、現実物体１２の表面に現れる内容が鏡像でないことを要求する。
本実施の形態の場合、ＣＰＵ１２は、例えば現実物体１２の表面に現れる内容が、メガネ型の端末１を装着しているユーザの像を含む場合、現実物体１２の表面に現れる内容が鏡像であると判定する。
また、ＣＰＵ２１は、例えば現実物体１２の表面に現れる内容が、現在の撮像の方向とは逆向きを撮像した際に撮像された画像の左右を入れ替えた画像と整合する場合、現実物体１２の表面に現れる内容が鏡像であると判定する。

鏡像であることは、他の手法によっても判定が可能である。
例えば、推定の対象である現実物体１２の表面に現れる内容（個々の像）と別の現実物体１２とがいずれも対称の位置に存在する場合（換言すると、推定の対象である現実物体１２の表面に現れる内容と対をなす別の現実物体１２とが、共通の外形を有し、かつ、推定の対象である現実物体１２の表面を挟んで等距離に位置する場合）も、ＣＰＵ２１は、現実物体１２の表面に現れる内容が鏡像であると判定する。
また、ＣＰＵ２１は、既知の光源の位置と現実物体１２の表面の傾きとの関係から推定される位置に明部（ハイライト）が存在する場合、推定の対象である現実物体１２は反射特性を有すると判定する。すなわち、現実物体１２の表面に現れる内容が鏡像であると判定する。
この他、ＣＰＵ２１は、推定の対象である現実物体１２の表面の明るさが、距離が近い位置の光源によって直接照らされる場合に比して暗い場合、現実物体１２の表面に現れる内容が鏡像であると判定する。

図６の場合では、時点Ｔ１に撮像された現実物体１２の表面に現れる画像６１も、時点Ｔ２に撮像された現実物体１２の表面に現れる画像６２も、時点Ｔ３に撮像された現実物体１２の表面に現れる画像６３も鏡像ではない場合を想定している。
例えばカメラ２４Ｌ及び２４Ｒ（すなわちユーザ）が現実物体１２に向かって左の方向ＭＬに移動する場合（時点Ｔ１から時点Ｔ２への移動の場合）、画像６２を構成するビル群は、移動の方向と移動の速度に連動して全体的に左に移動される。同時に、画像６２の右側には新たなビル群が出現する。
また、カメラ２４Ｌ及び２４Ｒ（すなわちユーザ）が現実物体１２に向かって右の方向ＭＲに移動する場合（時点Ｔ１から時点Ｔ３への移動の場合）、画像６３を構成するビル群は、移動の方向と移動の速度に連動して全体的に右に移動される。同時に、画像６３の左側には新たなビルが出現する。
このとき、ＣＰＵ２１は、現実物体１２が、透過性を有すると推定する。

図７は、透過性の推定に用いる他の手法の一例を説明する図である。ここでは、１枚の画像から被写体である現実物体１２の透過性を推定する手法について説明する。
図７に示す画像では、装置１（図１参照）を装着しているユーザが、手６で現実物体１２を掴んでいる。光源の位置が既知である場合、ＣＰＵ２１は、現実物体１２によって生じる影ができる領域７１の輝度と影ができない領域７２の輝度との比較に基づいて現実物体１２の透過性（透過率を含む）を推定する。
例えば現実物体１２の影ができる領域７１の輝度が、現実物体１２が透過性を有しない（不透過である）場合に領域７２の輝度から想定される輝度よりも明るい場合、ＣＰＵ２１は、現実物体１２が透過性を有すると推定する。また、領域７１の輝度が確定されれば、ＣＰＵ２１は、現実物体１２の透過率を計算により推定することができる。

図８は、透過性の推定に用いる他の手法の一例を説明する図である。図８も、１枚の画像から被写体である現実物体１２の透過性を推定する手法について説明する。
図８では、光源光によって照射される面（表面）の輝度を用いて、現実物体１２の透過性を推定する。
例えば影（領域７１）が透けて見えるはずの表面側の部位７４と、影（領域７１）が透けて見えない表面側の部位７３との間で輝度の差が存在する場合（領域７４の輝度が領域７３の輝度よりも低い場合）、ＣＰＵ２１は、現実物体１２は透過性を有すると推定する。図８では、輝度を比較する２つの部位を破線で囲んでいる。
また例えば現実物体１２の１つの部位７７を２つの方向から撮像した場合の輝度の違いから現実物体１２の透過性を推定してもよい。現実物体１２が透過性を有する場合には、現実物体１２の表面と眼球５の視線の方向とが平行に近づくほど（位置７５よりも位置７６に近いほど）、視線の延長線が現実物体１２の内部を通過する厚み（距離）が長くなるため表面の色が濃く撮像されることになる。換言すると、位置７６に近いほど現実物体１２の背後が見えづらくなる。このように視認する角度によって現実物体１２の色調が変化する場合、ＣＰＵ２１は、対象とする現実物体１２が透過性を有すると推定する。
なお、前述した複数の推定の手法を組み合わせてもよい。
図４の説明に戻る。

続いて、ＣＰＵ２１は、描画の対象である１つ又は複数の仮想物体１１のうちで未選択の１つを選択する（ステップ３）。
ＣＰＵ２１は、選択された仮想物体１１を処理の対象として、現実物体１２の背後に隠れる領域があるか否かを判定する（ステップ４）。
ここで、ＣＰＵ２１は、端末１を装着しているユーザの眼球５（図１参照）の位置を基準として、処理対象とする仮想物体１１が現実物体１２の背後に隠れるか否かを判定する。
背後に隠れるか否かは、端末１を装着しているユーザの眼球５の位置を基準として判定される。ステップ４の場合、眼球５と現実物体１２の外縁とを結ぶ仮想の直線を延長した範囲内に仮想物体１１が含まれるか否かが判定される。
例えば仮想物体１１と端末１との間に現実物体１２が存在しない場合、ＣＰＵ２１は、否定結果を得てステップ７に進む。

図９は、仮想物体１１のうち現実物体１２の背後に隠れる領域１５を説明する図である。（Ａ）は現実物体１２と仮想物体１１の位置の関係を示し、（Ｂ）は仮想物体１１のうち現実物体１２の背後に隠れる領域１５を示す。
図９において、端末１を装着しているユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。すなわち、ユーザから見て現実物体１２の方が仮想物体１１よりも手前側に位置している。
図９で想定する眼球５の位置を基準とする場合、現実物体１２の背後に隠れる仮想物体１１の領域１５は、網掛けで示す範囲になる。
図４の説明に戻る。

ステップ４で肯定結果が得られた場合、ＣＰＵ２１は、現実物体１２が透過性を有する部分の背後に隠れる領域と、透過性を有しない（不透過の）部分の背後に隠れる領域とを特定する（ステップ５）。現実物体１２が透過性を有する領域の情報は、現実物体透過情報取得部３３（図３参照）によって現実空間情報４１（図３参照）から取得される。
ステップ５の場合、ＣＰＵ２１は、眼球５と透過性を有する部分の外縁とを結ぶ仮想の直線を延長した範囲内に含まれる仮想物体１１の領域を、現実物体１２が透過性を有する部分の背後に隠れる領域として特定する。
本実施の形態の場合、ＣＰＵ２１は、現実物体１２が透過性を有する部分の背後に隠れる領域として特定された領域以外を、透過性を有しない（不透過の）部分の背後に隠れる領域として特定する。
因みに、図９の場合において、現実物体１２の全体が透過性を有する部分であれば、透過性を有する部分の背後に隠れる領域は網掛けで示す領域１５と一致する。

なお、仮想物体１１を背後に隠す位置関係にある現実物体１２が複数ある場合、ＣＰＵ２１は、個々の現実物体１２について、その透過性を有する部分の背後に隠れる仮想物体１１の領域を特定する。
また、１つの現実物体１２に透過性を有する部分が複数ある場合、ＣＰＵ２１は、透過性を有する個々の部分について、その背後に隠れる仮想物体１１の領域を特定する。
従って、１つの仮想物体１１について特定される領域の数は１つに限らない。なお、複数の領域が特定される場合、それらの領域は一致するとは限らない。

次に、ＣＰＵ２１は、ステップ５で特定された領域毎に現実物体１２の透過情報を関連付けて保存する（ステップ６）。
すなわち、ＣＰＵ２１は、処理の対象である仮想物体１１に対応付けて仮想物体描画情報４４を保存する。
この後、ＣＰＵ２１は、全ての仮想物体１１が選択済みであるか否かを判定する（ステップ７）。
ステップ７で否定結果が得られた場合、ＣＰＵ２１は、ステップ３に戻る。ステップ３では未選択の仮想物体１１の中から１つが処理の対象として選択される。
一方、ステップ７で肯定結果が得られた場合、ＣＰＵ２１は、全ての仮想物体１１の全ての部位を、関連付けられている透過情報を用いて描画する（ステップ８）。

＜描画例＞
以下では、具体例を用いて、本実施の形態における仮想物体１１の描画例について説明する。
＜描画例１＞
図１０は、従前の技術による仮想物体１１の描画と本実施の形態による仮想物体１１の描画の違いを説明する図である。（Ａ）は従前の技術による仮想物体１１の描画例であり、（Ｂ）は本実施の形態による仮想物体１１の描画例である。
図１０では、従前の技術による描画例を比較例と記している。
図１０の場合も、端末１を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。

（Ａ）に示すように、従前の技術では、平板形状の現実物体１２が円筒形状の仮想物体１１よりもユーザに近い場合（すなわち、仮想物体１１の一部の領域が現実物体１２の背後に隠れる場合）、現実物体１２の全体が半透明であっても、その背後に隠れる領域の仮想物体１１は、描画の対象から除外される。
このため、半透明の現実物体１２の内側では、仮想物体１１が知覚されず、代わりに、透過性のある現実物体１２の背後に位置する現実の物体がユーザに知覚される。

一方、半透明の現実物体１２の外側では、円筒形状の仮想物体１１がユーザに知覚されるが、反対に、半透明の現実物体１２の内側では知覚されていた他の現実の物体が知覚されなくなる。
このように、透過性を有する現実物体１２の内側と外側とで、ユーザに知覚される風景が不自然につながる状態が生じる。
また、従前の技術では、仮想物体１１の全体が現実物体１２の背後に隠れるように配置されていても、ユーザは、仮想物体１１の存在を知りえない。

一方で、本実施の形態の場合には、（Ｂ）に示すように、仮想物体１１の一部が半透明の現実物体１２の背後に隠れる場合でも、円筒形状の仮想物体１１の全体をユーザに知覚させることができる。
このように、本実施の形態に係る技術を用いれば、透過性を有する現実物体１２の内側と外側とで風景が不自然につながることがなくなり、仮想物体１１が実在するかのような体験が可能になる。

また、本実施の形態に係る技術を用いれば、ユーザが現実空間内を移動する場合に、直前まで知覚されていた仮想物体１１が半透明の現実物体１２の背後に隠れた途端に消滅する現象や直前まで知覚されていなかった仮想物体１１が半透明の現実物体１２の背後から突然出現する現象を無くすことができる。
すなわち、ユーザが半透明の現実物体１２の周囲を移動しても、仮想物体１１が継続的に知覚されるようにできる。
このため、仮想物体１１を、現実の物体と区別なくユーザに知覚させることが可能になる。

なお、ユーザと仮想物体１１は移動せず、半透明の現実物体１２だけが移動する場合やユーザと半透明の現実物体１２は移動せず、仮想物体１１だけが移動する場合にも、同様の不自然な現象が無くなるので、仮想物体１１の実在感を高めることができる。
また、従前の技術では気づくことができなかった、現実物体１２の背後に全体が隠れている仮想物体１１をユーザに気づかせることも可能になる。

＜描画例２＞
図１１は、現実物体１２の透過率の違いが仮想物体１１の描画に与える影響を説明する図である。（Ａ）は現実物体１２の透過率が高い場合の仮想物体１１の描画例であり、（Ｂ）は現実物体１２の透過率が低い場合の仮想物体１１の描画例である。
図１１の場合も、端末１（図１参照）を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
図１１の場合、透過率が相対的に高い透過率１の場合（（Ａ）の場合）の方が、透過率が相対的に低い透過率２の場合（（Ｂ）の場合）よりも、仮想物体１１の形状をはっきり知覚することが可能である。
このため、ユーザは、仮想物体１１が実在するかのような体験を可能に できる。

＜描画例３＞
図１２は、現実物体１２の色の違いが仮想物体１１の描画に与える影響を説明する図である。（Ａ）は現実物体１２に薄い青色が付されている場合の仮想物体１１の描画例であり、（Ｂ）は現実物体１２に薄い赤色が付されている場合の仮想物体１１の描画例である。
図１２の場合も、端末１（図１参照）を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
作図上の制約のため、図１２においては、薄い青色や薄い赤色を表現することはできないが、現実物体１２を透して知覚される仮想物体１１の見え方を、現実物体１２を透して知覚される現実空間の他の物体の見え方に近づけることが可能になる。
このため、ユーザは、仮想物体１１が実在するかのような体験を可能にできる。

＜描画例４＞
図１３は、現実物体１２に付されている模様の違いが仮想物体１１の描画に与える影響を説明する図である。（Ａ）は現実物体１２の表面に対角線方向に延びる斜線（模様１）が形成されている場合の仮想物体１１の描画例であり、（Ｂ）は現実物体１２の表面に網目状の模様（模様２）が形成されている場合の仮想物体１１の描画例である。
図１３の場合も、端末１（図１参照）を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
図１３に示すように、現実物体１２の表面に形成された模様を仮想物体１１の描画に反映することで、現実物体１２を透して知覚される仮想物体１１の見え方を、現実物体１２を透して知覚される現実空間の他の物体の見え方に近づけることが可能になる。
このため、ユーザは、仮想物体１１が実在するかのような体験を可能にできる。

＜描画例５＞
図１４は、現実物体１２の屈折率の違いが仮想物体１１の描画に与える影響を説明する図である。（Ａ）は現実物体１２の屈折率が小さい場合の仮想物体１１の描画例であり、（Ｂ）は現実物体１２の屈折率が大きい場合の仮想物体１１の描画例である。
図１４の場合も、端末１（図１参照）を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
図１４の場合、現実物体１２の屈折率の影響により、現実物体１２の背後に隠れる位置に描画される仮想物体１１の外縁と、現実物体１２の外側に描画される仮想物体１１の外縁とが非連続になっている。すなわち、現実物体１２の外縁を境界として、仮想物体１１の外縁を描画する位置にずれが生じている。
また、描画上のずれの量は、屈折率が相対的に小さい屈折率１（（Ａ）の場合）では小さく、屈折率が相対的に大きい屈折率２（（Ｂ）の場合）では大きくなっている。
このため、ユーザは、仮想物体１１が実在するかのような体験を可能にできる。

＜描画例６＞
図１５は、現実物体１２の偏光に関する情報の 違いが仮想物体１１の描画に与える影響を説明する図である。（Ａ）は現実物体１２の偏光度が小さい場合の仮想物体１１の描画例であり、（Ｂ）は現実物体１２の偏光度が大きい場合の仮想物体１１の描画例である。
図１５の場合も、端末１（図１参照）を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
（Ａ）の例では、偏光度が小さい（反射光や雑光を除去する割合が小さい）ため、現実物体１２を透過する光成分のうち仮想物体１１から到来する光成分の割合が相対的に少ない状態にある。このため、仮想物体１１の視認性が低下している。
一方、（Ｂ）の例では、偏光度が相対的に大きい（反射光や雑光を除去する割合が大きい）ため、現実物体１２を透過する光成分のうち仮想物体１１から到来する光成分の割合が相対的に大きい状態にある。このため、仮想物体１１の視認性が向上している。
このため、ユーザは、仮想物体１１が実在するかのような体験を可能にできる。
なお、偏光に関する情報の違いによる効果には、旋光性の違いによる影響を含めてもよい。旋光性の違いを描画に反映することにより、光学異性体の見え方の違いを表現できる。

＜描画例７＞
図１６は、現実物体１２の表面の模様と仮想物体１１の表面の模様との関係で干渉縞（モアレ）が発生する場合と発生しない場合を説明する図である。（Ａ）は干渉縞が発生しない場合の仮想物体１１の描画例であり、（Ｂ）は干渉縞が発生する場合の仮想物体１１の描画例である。
干渉縞は、規則正しい繰り返し模様を複数重ね合わせた場合に、それらの周期のずれに起因して知覚される模様である。

図１６の場合も、端末１（図１参照）を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
（Ａ）の例では、現実物体１２の表面に横線が一様に形成され、仮想物体１１の表面には斜線が一様に形成されている。ここでの横線と斜線とがなす角度は、干渉縞が発生する条件を満たしていない。このため、透過性を有する現実物体１２と仮想物体１１とが重なる領域には、２つの物体の模様を単純に重ねた模様が描画されている。

干渉縞は、例えば幅が同じ２つの縞模様がわずかな角度で交差する場合や幅が僅かに異なる２つの縞模様が平行に重なり、縞と縞の間隔が周期的に変化する場合に発生する。言うまでもなく、干渉縞は、周期性を有する模様（例えば平行線、同心円）どうしが特定の条件を満たせば発生する。
（Ｂ）の例は、現実物体１２の縞模様と仮想物体１１の縞模様とが同じ幅を有し、かつ、それらがわずかな角度で交差するように配置される場合に発生する干渉縞を表している。干渉縞は、擬似的な濃淡の模様として発生する。

本実施の形態の場合、ＣＰＵ２１が、画像処理で認識した現実物体１２の縞模様と描画の対象である仮想物体１１の縞模様とが干渉縞の発生条件を満たすと判定した場合に、干渉縞を描画する。
このため、ユーザは、仮想物体１１が実在するかのような体験を可能にできる。
なお、図１６においては光の干渉によって知覚される現象の一例として干渉縞を例示しているが、例えばモルフォ蝶の鱗粉やマジョーラ塗装のように干渉縞を伴わない効果を再現してもよい。ここで、モルフォ蝶の鱗粉による効果は、干渉によって青色の波長の光だけを反射させる効果をいい、マジョーラ塗装による効果は、見る角度や光の当たり方によって物体の表面が様々な色に変化する効果をいう。

＜描画例８＞
図１７は、現実物体１２が複数の場合における仮想物体１１の描画例を説明する図である。（Ａ）はユーザによって知覚される複合現実を示し、（Ｂ）は仮想物体１１の描画処理を説明する図である。
図１７の場合も、端末１（図１参照）を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
図１７の場合、現実物体１２Ａは透過性を有しない枠形状の部材であり、現実物体１２Ｂは透過性を有する部材である。現実物体１２Ａは、例えば窓ガラスの枠体であり、現実物体１２Ｂは、例えば窓ガラスのガラス板である。

図１７の場合、仮想物体１１の一部は現実物体１２Ａの背後に隠れ、仮想物体１１の残りの部分は現実物体１２Ｂの背後に隠れている。
すなわち、仮想物体１１の全体は、現実物体１２Ａ及び１２Ｂの背後に隠れている。
従って、従前の技術であれば、仮想物体１１は描画されることはない。結果的に、ユーザは、仮想物体１１の存在に気づくことはできない。

一方で、本実施の形態では、仮想物体１１のうち透過性を有する現実物体１２Ｂの背後に隠れる領域１１Ｂには現実物体１２Ｂの透過情報を関連付け、仮想物体１１のうち透過性を有しない現実物体１２Ａの背後に隠れる領域１１Ａには現実物体１２Ａの透過情報を関連付けている。
このため、仮想物体１１のうち領域１１Ｂは描画領域となり、領域１１Ａは非描画領域となる。
また、端末１を装着するユーザは、領域１１Ｂの背後に他の現実の物体の一部分が知覚されることで、仮想物体１１が他の現実の物体の手前側に位置し、他の現実の物体が仮想物体１１の背後に位置する関係を理解できる。
以上により、ユーザは、仮想物体１１が実在するかのような体験を可能にできる。

＜実施の形態２＞
本実施の形態では、複合現実の体験に頭部に装着された表示装置を使用する場合について説明する。
図１８は、複合現実の体験に、実時間で撮像される外界の画像に仮想物体を合成した画像を表示する表示装置１００を装着したユーザが、複合現実を体感する原理を説明する図である。

図１８には、図１及び図２と対応する部分に対応する符号を付して示している。
表示装置１００は、カメラ２４Ｌ及び２４Ｒによって撮像された外界の画像と、仮想物体描画部４が描画した仮想物体１１の画像とを画像合成部１０１で合成した画像を、ユーザの眼球５の前方に配置された表示部３Ｌ及び３Ｒに表示する。
ここでの表示装置１００は、情報処理装置の一例であるとともに情報処理システムの
一例でもある。
なお、表示装置１００のハードウェア構成は、メガネ型の端末１（図２参照）と同様である。このため、表示装置１００のハードウェア構成の説明は省略する。

図１９は、表示装置１００の機能構成の一例を示す図である。
図１９には、図３との対応部分に対応する符号を付して示している。
表示装置１００の基本的な機能構成は、メガネ型の端末１（図２参照）と同様である。表示装置１００に特有の機能構成は、画像合成部１０１である。
画像合成部１０１は、仮想物体描画部４が描画した画像と、カメラ２４Ｌ及び２４Ｒで撮像されている外界の画像とが整合するように２つの画像を合成する機能を有している。
例えば画像合成部１０１は、現実空間仮想化情報４２として記憶されている３次元モデルとカメラ２４Ｌ及び２４Ｒで撮像されている外界の画像とを照合して、仮想物体１１の画像を合成する領域を決定する。
このように、本実施の形態が複合現実を知覚させる方式は実施の形態１と異なるが、ユーザによって知覚される複合現実の現実感が従前の技術に比して高くなる点は、実施の形態１と同じである。

＜他の実施形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
例えば前述の実施の形態では、左右両目用の表示部３Ｌ及び３Ｒを用いているが、表示部は１つでも構わない。例えばメガネ型の端末１（図１参照）の場合には、左右どちら一方の前方に表示部を１つ配置してもよい。また例えば表示装置１００（図１４参照）の場合には、両目の前に表示部を１つ配置してもよい。
また、前述の実施の形態では、仮想物体描画部４をメガネ型の端末１（図１参照）や表示装置１００（図１４参照）の機能の１つとして実現しているが、外部ネットワーク（例えばクラウドネットワーク）に接続されているサーバなどの情報処理装置において、仮想物体描画部４の機能を実行してもよい。ここでのメガネ型の端末１と仮想物体描画部４の機能を実行する外部ネットワーク上のサーバは、情報処理システムの一例である。
また、前述の実施の形態では、仮想物体描画部４の機能を汎用的な演算装置であるＣＰＵ２１を用いて実現しているが、実時間での画像処理に特化した演算装置であるＧＰＵ（Graphics Processing Unit）を用いて実現してもよい。

１…メガネ型の端末、２…導光板、３、３Ｌ、３Ｒ…表示部、４…仮想物体描画部、６…手、１１…仮想物体、１１Ａ…現実物体１２Ａの背後に隠れる領域、１１Ｂ…現実物体１２Ｂの背後に隠れる領域、１５…仮想物体１１のうち現実物体１２の背後に隠れる領域、１２、１２Ａ、１２Ｂ…現実物体、３１…現実空間情報取得部、３２…現実物体透過性推定部、３３…現実物体透過情報取得部、３４…仮想物体透過領域判定部、４１…現実空間情報、４２…現実空間仮想化情報、４３…仮想物体情報、４４…仮想物体描画情報、５１…エッジ、６１、６２、６３…画像、１００…表示装置、１０１…画像合成部、Ｂ１…外光、Ｂ２…表示光

Claims (7)

1. 現実の物体を撮像した画像から当該現実の物体の透過性の情報を推定する推定手段と、
   透過性を有すると推定された前記現実の物体の背後に仮想の物体の少なくとも一部が隠れる場合に、当該現実の物体の背後に隠れる領域の現実の空間での見え方を再現する画像を、推定された透過性の情報に基づいて生成する生成手段と、
   生成された前記画像を含めて前記仮想の物体を描画する描画手段と
   を有する情報処理システム。
2. 前記推定手段は、推定の対象に定めた前記現実の物体を異なる時点に撮像した複数の画像に基づいて、当該現実の物体の透過性を推定する、請求項１に記載の情報処理システム。
3. 前記推定手段は、２つの前記現実の物体の少なくとも一部が重なる状態で撮像された第１の画像から、手前側に位置する当該現実の物体の表面に現れる第１のエッジの情報を抽出し、抽出された当該第１のエッジの情報が、当該第１の画像で背景側に位置していた当該現実の物体が単独で撮像されている第２の画像に現れる第２のエッジの情報と整合する場合、手前側に位置する当該現実の物体は透過性を有すると推定する、請求項２に記載の情報処理システム。
4. 前記推定手段は、推定の対象に定めた前記現実の物体の表面に現れる内容が鏡像ではなく、かつ、当該現実の物体の表面を撮像する撮像手段の移動に連動して当該現実の物体の表面に現れる内容が連続的に変化する場合、当該現実の物体は透過性を有すると推定する、請求項２に記載の情報処理システム。
5. 前記推定手段は、推定の対象に定めた前記現実の物体によって生じる影を利用して、当該現実の物体の透過性を推定する、請求項１に記載の情報処理システム。
6. 現実の物体を撮像した画像から現実の物体の透過性の情報を推定する推定手段と、
   透過性を有すると推定された前記現実の物体の背後に仮想の物体の少なくとも一部が隠れる場合に、当該現実の物体の背後に隠れる部分に当該仮想の物体を描画する描画手段
   を有する情報処理システム。
7. コンピュータを、
   現実の物体を撮像した画像から現実の物体の透過性の情報を推定する推定手段と、
   透過性を有すると推定された前記現実の物体の背後に仮想の物体の少なくとも一部が隠れる場合に、当該現実の物体の背後に隠れる領域の現実の空間での見え方を再現する画像を、推定された透過性の情報に基づいて生成する生成手段と、
   生成された前記画像を含めて前記仮想の物体を描画する描画手段
   として機能させるプログラム。