JP2019179542A - 情報処理システム及びプログラム - Google Patents
情報処理システム及びプログラム Download PDFInfo
- Publication number
- JP2019179542A JP2019179542A JP2018070418A JP2018070418A JP2019179542A JP 2019179542 A JP2019179542 A JP 2019179542A JP 2018070418 A JP2018070418 A JP 2018070418A JP 2018070418 A JP2018070418 A JP 2018070418A JP 2019179542 A JP2019179542 A JP 2019179542A
- Authority
- JP
- Japan
- Prior art keywords
- real object
- image
- real
- reflectivity
- virtual object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
【課題】現実の物体の反射性が事前に分からない状況でも、反射性を有する現実の物体に対して仮想の物体の像を描画して仮想の物体が実在するかのような体験を可能にする。【解決手段】情報処理システムは、現実の物体を撮像した画像から現実の物体の反射性の情報を推定する推定手段と、反射性を有すると推定された現実の物体とユーザとの位置関係により現実の物体に対して反射の像が映り込む範囲内に仮想の物体がある場合に、推定された反射性の情報に基づいて仮想の物体の像を生成する生成手段と、現実の物体に対して仮想の物体の像を描画する描画手段とを有する。【選択図】図８
Description
本発明は、情報処理システム及びプログラムに関する。
現在、仮想現実（Ｖｉｒｔｕａｌ ＲｅａｌｉｔｙまたはＶＲ）や拡張現実（Ａｕｇｕｍｅｎｔｅｄ ＲｅａｌｉｔｙまたはＡＲ）ではなく、現実の空間（現実空間）と、コンピュータを用いて仮想的に作成する空間（仮想空間）との複合を意味する複合現実（Ｍｉｘｅｄ ＲｅａｌｉｔｙまたはＭＲ）なる技術が注目されている。複合現実が実現された空間（複合現実空間）では、現実空間の物体と仮想空間の物体とが、現実空間と仮想空間の２つの三次元空間の形状情報を重ね合わせて、実時間で影響し合う体験が可能である。
例えば特許文献１には、仮想の物体の背後に現実の物体が位置する場合に（ユーザからは現実の物体が見えない場合に）、ユーザに近づいてきている現実の物体の存在を事前に知らせる技術が記載されている。具体的には、現実の物体とユーザとの距離とが予め定めた距離以内になると、手前側に位置する仮想の物体の表示を半透明又は輪郭線の表示に制御して背後に位置する現実の物体の視認を可能にする技術が記載されている。
例えば特許文献１には、仮想の物体の背後に現実の物体が位置する場合に（ユーザからは現実の物体が見えない場合に）、ユーザに近づいてきている現実の物体の存在を事前に知らせる技術が記載されている。具体的には、現実の物体とユーザとの距離とが予め定めた距離以内になると、手前側に位置する仮想の物体の表示を半透明又は輪郭線の表示に制御して背後に位置する現実の物体の視認を可能にする技術が記載されている。
一方で、従前の技術では、現実の物体（現実物体）とユーザとの位置関係により現実物体に対して反射の像が映り込む範囲内に仮想の物体（仮想物体）がある場合、現実物体の形状情報のみを描画の判定基準としているため、現実物体が反射性を有していたとしても、現実物体の反射性に関わらず、現実物体に対して仮想物体の像を描画しない手法が採用されている。このような自然法則に反する現象は、あたかも伝説上の吸血鬼が実像は見えるものの鏡には鏡像が映らずに、吸血鬼と見破られてしまうかのごとく、複合現実を体験中のユーザに不自然な印象を与えてしまう。
本発明は、現実の物体の反射性が事前に分からない状況でも、反射性を有する現実の物体に対して仮想の物体の像を描画して仮想の物体が実在するかのような体験を可能にすることを目的とする。
請求項１に記載の発明は、現実の物体を撮像した画像から当該現実の物体の反射性の情報を推定する推定手段と、反射性を有すると推定された前記現実の物体とユーザとの位置関係により当該現実の物体に対して反射の像が映り込む範囲内に仮想の物体がある場合に、推定された反射性の情報に基づいて当該仮想の物体の像を生成する生成手段と、前記現実の物体に対して前記仮想の物体の像を描画する描画手段とを有する情報処理システムである。
請求項２に記載の発明は、前記推定手段は、推定の対象に定めた前記現実の物体を撮像した画像と、当該現実の物体とユーザとの位置関係により当該現実の物体に対して反射の像が映り込む範囲内に存在する他の現実の物体を撮像した画像とに基づいて、推定の対象に定めた当該現実の物体の反射性を推定する、請求項１に記載の情報処理システムである。
請求項３に記載の発明は、前記推定手段は、推定の対象に定めた前記現実の物体とユーザとの位置関係により当該現実の物体に対して反射の像が映り込む範囲内に存在する他の現実の物体を特定し、推定の対象に定めた当該現実の物体の表面を撮像した画像から得られる形状が、当該他の現実の物体を撮像した画像から得られる形状と整合する場合、推定の対象に定めた当該現実の物体は反射性を有すると推定する、請求項２に記載の情報処理システムである。
請求項４に記載の発明は、前記推定手段は、推定の対象に定めた前記現実の物体とユーザとの位置関係により当該現実の物体に対して反射の像が映り込む範囲内に存在する他の現実の物体を特定し、推定の対象に定めた当該現実の物体の表面を一の方向から撮像した画像が、当該一の方向とは逆向きから当該他の現実の物体を撮像した画像と整合する場合、推定の対象に定めた当該現実の物体は反射性を有すると推定する、請求項２に記載の情報処理システムである。
請求項５に記載の発明は、前記推定手段は、推定の対象に定めた前記現実の物体とユーザとの位置関係により当該現実の物体に対して反射の像が映り込む範囲内に存在する他の現実の物体を特定し、推定の対象に定めた当該現実の物体の表面に現れる内容と当該他の現実の物体とが、共通の外形を有し、かつ、推定の対象に定めた当該現実の物体の表面を挟んで等距離に位置する場合、推定の対象に定めた当該現実の物体は反射性を有すると推定する、請求項２に記載の情報処理システムである。
請求項６に記載の発明は、前記推定手段は、光源の位置と推定の対象に定めた前記現実の物体の表面の傾きとの関係から特定される位置に明部が存在する場合、推定の対象に定めた当該現実の物体は反射性を有すると推定する、請求項１に記載の情報処理システムである。
請求項７に記載の発明は、前記推定手段は、推定の対象に定めた前記現実の物体の表面の明るさが光源によって直接照らされる場合に比べて暗い場合、推定の対象に定めた当該現実の物体は反射性を有すると推定する、請求項１に記載の情報処理システムである。
請求項８に記載の発明は、前記推定手段は、推定の対象に定めた前記現実の物体の表面を撮像する撮像手段の移動に連動して当該現実の物体の表面に現れる内容が連続的に変化するか否かによって、当該現実の物体の反射性の情報を推定する、請求項１に記載の情報処理システムである。
請求項９に記載の発明は、現実の物体を撮像した画像から当該現実の物体の反射性の情報を推定する推定手段と、反射性を有すると推定された前記現実の物体とユーザとの位置関係により当該現実の物体に対して反射の像が映り込む範囲内に仮想の物体がある場合に、当該現実の物体に対して当該仮想の物体の像を描画する描画手段とを有する情報処理システムである。
請求項１０に記載の発明は、コンピュータを、現実の物体を撮像した画像から当該現実の物体の反射性の情報を推定する推定手段と、反射性を有すると推定された前記現実の物体とユーザとの位置関係により当該現実の物体に対して反射の像が映り込む範囲内に仮想の物体がある場合に、推定された反射性の情報に基づいて当該仮想の物体の像を生成する生成手段と、前記現実の物体に対して前記仮想の物体の像を描画する描画手段として機能させるプログラムである。
請求項２に記載の発明は、前記推定手段は、推定の対象に定めた前記現実の物体を撮像した画像と、当該現実の物体とユーザとの位置関係により当該現実の物体に対して反射の像が映り込む範囲内に存在する他の現実の物体を撮像した画像とに基づいて、推定の対象に定めた当該現実の物体の反射性を推定する、請求項１に記載の情報処理システムである。
請求項３に記載の発明は、前記推定手段は、推定の対象に定めた前記現実の物体とユーザとの位置関係により当該現実の物体に対して反射の像が映り込む範囲内に存在する他の現実の物体を特定し、推定の対象に定めた当該現実の物体の表面を撮像した画像から得られる形状が、当該他の現実の物体を撮像した画像から得られる形状と整合する場合、推定の対象に定めた当該現実の物体は反射性を有すると推定する、請求項２に記載の情報処理システムである。
請求項４に記載の発明は、前記推定手段は、推定の対象に定めた前記現実の物体とユーザとの位置関係により当該現実の物体に対して反射の像が映り込む範囲内に存在する他の現実の物体を特定し、推定の対象に定めた当該現実の物体の表面を一の方向から撮像した画像が、当該一の方向とは逆向きから当該他の現実の物体を撮像した画像と整合する場合、推定の対象に定めた当該現実の物体は反射性を有すると推定する、請求項２に記載の情報処理システムである。
請求項５に記載の発明は、前記推定手段は、推定の対象に定めた前記現実の物体とユーザとの位置関係により当該現実の物体に対して反射の像が映り込む範囲内に存在する他の現実の物体を特定し、推定の対象に定めた当該現実の物体の表面に現れる内容と当該他の現実の物体とが、共通の外形を有し、かつ、推定の対象に定めた当該現実の物体の表面を挟んで等距離に位置する場合、推定の対象に定めた当該現実の物体は反射性を有すると推定する、請求項２に記載の情報処理システムである。
請求項６に記載の発明は、前記推定手段は、光源の位置と推定の対象に定めた前記現実の物体の表面の傾きとの関係から特定される位置に明部が存在する場合、推定の対象に定めた当該現実の物体は反射性を有すると推定する、請求項１に記載の情報処理システムである。
請求項７に記載の発明は、前記推定手段は、推定の対象に定めた前記現実の物体の表面の明るさが光源によって直接照らされる場合に比べて暗い場合、推定の対象に定めた当該現実の物体は反射性を有すると推定する、請求項１に記載の情報処理システムである。
請求項８に記載の発明は、前記推定手段は、推定の対象に定めた前記現実の物体の表面を撮像する撮像手段の移動に連動して当該現実の物体の表面に現れる内容が連続的に変化するか否かによって、当該現実の物体の反射性の情報を推定する、請求項１に記載の情報処理システムである。
請求項９に記載の発明は、現実の物体を撮像した画像から当該現実の物体の反射性の情報を推定する推定手段と、反射性を有すると推定された前記現実の物体とユーザとの位置関係により当該現実の物体に対して反射の像が映り込む範囲内に仮想の物体がある場合に、当該現実の物体に対して当該仮想の物体の像を描画する描画手段とを有する情報処理システムである。
請求項１０に記載の発明は、コンピュータを、現実の物体を撮像した画像から当該現実の物体の反射性の情報を推定する推定手段と、反射性を有すると推定された前記現実の物体とユーザとの位置関係により当該現実の物体に対して反射の像が映り込む範囲内に仮想の物体がある場合に、推定された反射性の情報に基づいて当該仮想の物体の像を生成する生成手段と、前記現実の物体に対して前記仮想の物体の像を描画する描画手段として機能させるプログラムである。
請求項１記載の発明によれば、現実の物体の反射性が事前に分からない状況でも、反射性を有する現実の物体に対して仮想の物体の像を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項２記載の発明によれば、現実の物体の反射性が事前に分からない状況でも、反射性を有する現実の物体に対して仮想の物体の像を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項３記載の発明によれば、現実の物体の反射性が事前に分からない状況でも、反射性を有する現実の物体に対して仮想の物体の像を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項４記載の発明によれば、現実の物体の反射性が事前に分からない状況でも、反射性を有する現実の物体に対して仮想の物体の像を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項５記載の発明によれば、現実の物体の反射性が事前に分からない状況でも、反射性を有する現実の物体に対して仮想の物体の像を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項６記載の発明によれば、現実の物体の反射性が事前に分からない状況でも、反射性を有する現実の物体に対して仮想の物体の像を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項７記載の発明によれば、現実の物体の反射性が事前に分からない状況でも、反射性を有する現実の物体に対して仮想の物体の像を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項８記載の発明によれば、現実の物体の反射性が事前に分からない状況でも、反射性を有する現実の物体に対して仮想の物体の像を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項９記載の発明によれば、現実の物体の反射性が事前に分からない状況でも、反射性を有する現実の物体に対して仮想の物体の像を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項１０記載の発明によれば、現実の物体の反射性が事前に分からない状況でも、反射性を有する現実の物体に対して仮想の物体の像を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項２記載の発明によれば、現実の物体の反射性が事前に分からない状況でも、反射性を有する現実の物体に対して仮想の物体の像を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項３記載の発明によれば、現実の物体の反射性が事前に分からない状況でも、反射性を有する現実の物体に対して仮想の物体の像を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項４記載の発明によれば、現実の物体の反射性が事前に分からない状況でも、反射性を有する現実の物体に対して仮想の物体の像を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項５記載の発明によれば、現実の物体の反射性が事前に分からない状況でも、反射性を有する現実の物体に対して仮想の物体の像を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項６記載の発明によれば、現実の物体の反射性が事前に分からない状況でも、反射性を有する現実の物体に対して仮想の物体の像を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項７記載の発明によれば、現実の物体の反射性が事前に分からない状況でも、反射性を有する現実の物体に対して仮想の物体の像を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項８記載の発明によれば、現実の物体の反射性が事前に分からない状況でも、反射性を有する現実の物体に対して仮想の物体の像を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項９記載の発明によれば、現実の物体の反射性が事前に分からない状況でも、反射性を有する現実の物体に対して仮想の物体の像を描画して仮想の物体が実在するかのような体験を可能にできる。
請求項１０記載の発明によれば、現実の物体の反射性が事前に分からない状況でも、反射性を有する現実の物体に対して仮想の物体の像を描画して仮想の物体が実在するかのような体験を可能にできる。
以下、図面を参照して、本発明の実施の形態を説明する。
＜実施の形態１＞
本実施の形態では、複合現実の体験に、外界を透過的に視認可能なメガネ型の端末を使用する場合について説明する。
図１は、外界を透過的に視認可能なメガネ型の端末１を装着したユーザが、複合現実を体感する原理を説明する図である。
＜実施の形態１＞
本実施の形態では、複合現実の体験に、外界を透過的に視認可能なメガネ型の端末を使用する場合について説明する。
図１は、外界を透過的に視認可能なメガネ型の端末１を装着したユーザが、複合現実を体感する原理を説明する図である。
この種の端末１のハードウェア部分は、既に複数のメーカによって実用化されている。例えばマイクロソフト社のＨｏｌｏＬｅｎｓ（商標）、ソニー社のＳｍａｒｔＥｙｅｇｌａｓｓ（商標）、コニカミノルタ社のウェアラブルコミュニケーター（商標）がある。この種の端末１は、透過型デバイス、網膜投射型デバイス等とも呼ばれる。
図１に示すメガネ型の端末１は、透明度が高い導光板２と、画像を表示する小型の表示部３と、仮想の物体（仮想物体１１）を描画する仮想物体描画部４とを有している。
ここでのメガネ型の端末１は、情報処理装置の一例であるとともに情報処理システムの一例でもある。また、仮想物体描画部４は、生成手段、描画手段の一例である。
図１に示すメガネ型の端末１は、透明度が高い導光板２と、画像を表示する小型の表示部３と、仮想の物体（仮想物体１１）を描画する仮想物体描画部４とを有している。
ここでのメガネ型の端末１は、情報処理装置の一例であるとともに情報処理システムの一例でもある。また、仮想物体描画部４は、生成手段、描画手段の一例である。
導光板２は、例えば８５％以上の透明度を有する部材で構成され、その内部には、不図示の可視光透過型回折格子が配置されている。可視光透過型回折格子には、例えばホログラフィック回折格子が用いられる。
可視光透過型回折格子は、導光板２の前方から入射する外光Ｂ１を直線的に透過してユーザの眼球５に導くように作用する。一方で、可視光透過型回折格子は、表示部３から導光板２に入射した表示光Ｂ２を屈折させて導光板２の内部を伝搬させ、その後、眼球５の方向に表示光Ｂ２を屈折させるように作用する。
外光Ｂ１と表示光Ｂ２は、眼球５内で合成される。この結果、端末１を装着したユーザは、現実の物体（現実物体１２）に仮想の物体（仮想物体１１）を合成した複合現実の風景を知覚する。因みに、図１の例では、仮想物体１１が現実物体１２よりも手前側に位置している。
可視光透過型回折格子は、導光板２の前方から入射する外光Ｂ１を直線的に透過してユーザの眼球５に導くように作用する。一方で、可視光透過型回折格子は、表示部３から導光板２に入射した表示光Ｂ２を屈折させて導光板２の内部を伝搬させ、その後、眼球５の方向に表示光Ｂ２を屈折させるように作用する。
外光Ｂ１と表示光Ｂ２は、眼球５内で合成される。この結果、端末１を装着したユーザは、現実の物体（現実物体１２）に仮想の物体（仮想物体１１）を合成した複合現実の風景を知覚する。因みに、図１の例では、仮想物体１１が現実物体１２よりも手前側に位置している。
＜メガネ型の端末１のハードウェア構成＞
図２は、メガネ型の端末１のハードウェア構成の一例を示す図である。
図２に示す端末１は、プログラム（基本ソフトウェアを含む）の実行を通じて装置全体を制御するＣＰＵ（Central Processing Unit）２１と、ＢＩＯＳ（Basic Input Output System）や基本ソフトウェア等のプログラムを記憶するＲＯＭ２２と、プログラムの実行領域として使用されるＲＡＭ（Random Access Memory）２３と、を有している。
ＲＯＭ２２は、例えば電気的にデータの書き換えが可能な不揮発性の半導体メモリで構成される。
ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３は、コンピュータ２０として機能する。
図２は、メガネ型の端末１のハードウェア構成の一例を示す図である。
図２に示す端末１は、プログラム（基本ソフトウェアを含む）の実行を通じて装置全体を制御するＣＰＵ（Central Processing Unit）２１と、ＢＩＯＳ（Basic Input Output System）や基本ソフトウェア等のプログラムを記憶するＲＯＭ２２と、プログラムの実行領域として使用されるＲＡＭ（Random Access Memory）２３と、を有している。
ＲＯＭ２２は、例えば電気的にデータの書き換えが可能な不揮発性の半導体メモリで構成される。
ＣＰＵ２１、ＲＯＭ２２、ＲＡＭ２３は、コンピュータ２０として機能する。
コンピュータ２０には、仮想の物体を表示する表示部３Ｌ及び３Ｒと、外界を撮像するカメラ２４Ｌ及び２４Ｒと、角度、角速度、加速度等の慣性情報を計測する慣性計測センサ２５と、現実の物体までの距離を測定する深度センサ２６と、周囲の明るさを検知する照度センサ２７と、外部との通信に用いられる無線通信部２８と、が接続されている。
左目用の表示部３Ｌには、左目用の画像が表示され、右目用の表示部３Ｒには、右目用の画像が表示される。左目用の画像と右目用の画像には視差が再現されている。このため、端末１を装着したユーザは、仮想物体１１を立体視できる。
左目用の表示部３Ｌには、左目用の画像が表示され、右目用の表示部３Ｒには、右目用の画像が表示される。左目用の画像と右目用の画像には視差が再現されている。このため、端末１を装着したユーザは、仮想物体１１を立体視できる。
カメラ２４Ｌはユーザの左目側に配置され、カメラ２４Ｒはユーザの右目側に配置される。カメラ２４Ｌ及び２４Ｒによって、端末１の周囲がステレオ撮影される。カメラ２４Ｌ及び２４Ｒで撮像された画像は、現実の物体の認識や現実の物体の表面までの距離の測定に用いられる。なお、現実の物体までの距離の測定に用いるカメラと、現実の物体の認識に用いられるカメラは、それぞれ別に用意されてもよい。
慣性計測センサ２５は、頭の位置や向きの計測に用いられ、視線の追跡などに使用される。
深度センサ２６は、赤外線や超音波を使用して現実空間に存在する物体までの距離を計測する。
慣性計測センサ２５は、頭の位置や向きの計測に用いられ、視線の追跡などに使用される。
深度センサ２６は、赤外線や超音波を使用して現実空間に存在する物体までの距離を計測する。
＜メガネ型の端末１の機能構成＞
図３は、メガネ型の端末１の機能構成の一例を示す図である。
図３に示す機能構成は、ＣＰＵ２１によるプログラムの実行を通じて実現される。
図３に示す機能構成は、プログラムの実行を通じて実現される各種の機能のうち、現実の物体とユーザとの位置関係により現実の物体に対して反射の像が映り込む範囲内に仮想の物体がある場合の複合現実空間をユーザに知覚させる機能について表している。
図３は、メガネ型の端末１の機能構成の一例を示す図である。
図３に示す機能構成は、ＣＰＵ２１によるプログラムの実行を通じて実現される。
図３に示す機能構成は、プログラムの実行を通じて実現される各種の機能のうち、現実の物体とユーザとの位置関係により現実の物体に対して反射の像が映り込む範囲内に仮想の物体がある場合の複合現実空間をユーザに知覚させる機能について表している。
図３の場合、ＣＰＵ２１は、カメラ２４Ｌ及び２４Ｒによって撮像される画像から現実空間の情報を取得する現実空間情報取得部３１と、撮像された画像に基づいて現実物体１２（図１参照）の反射性を推定する現実物体反射性推定部３２と、現実物体１２の反射性についての情報（以下、反射情報と称する）を取得する現実物体反射情報取得部３３と、眼球５（図１参照）の位置を基準として、反射性を有する現実物体１２において仮想物体１１（図１参照）の像が映り込む領域（以下、反射領域と称する）を判定する現実物体反射領域判定部３４と、表示部３Ｌ及び３Ｒ（図２参照）に仮想物体１１及び仮想物体１１の像を描画する仮想物体描画部４とを有している。
現実空間情報取得部３１は、撮像された画像から現実空間に関する様々な情報を取得し、現実空間情報４１としてＲＡＭ２３に保存する。
現実空間情報４１として保存される情報の種類は、メガネ型の端末１を使用する場面や用途によって異なる。
ただし、情報の種類が増えることで、複合現実空間における体験を、現実空間の体験に近づけることができる。
本実施の形態の場合、現実空間情報４１には、実時間で追加される現実物体１２に関する情報に加え、事前に与えられた又は事前に取得された現実物体１２に関する情報も含まれる。
現実空間情報４１として保存される情報の種類は、メガネ型の端末１を使用する場面や用途によって異なる。
ただし、情報の種類が増えることで、複合現実空間における体験を、現実空間の体験に近づけることができる。
本実施の形態の場合、現実空間情報４１には、実時間で追加される現実物体１２に関する情報に加え、事前に与えられた又は事前に取得された現実物体１２に関する情報も含まれる。
現実物体１２に関する情報は、撮像された画像から推定（計算）される場合もあれば、現実物体１２毎に既知の情報としてＲＡＭ２３の不揮発性領域に保存されている場合もある。
撮像された画像から推定される情報には、色情報のように撮像された画像から直接的に取得可能な情報もあれば、後述する手法などを用いて推定される情報もある。
ＲＡＭ２３の不揮発性領域には、例えば現実物体１２の反射性を有する部分の全てに適用される情報（反射情報の代表値や反射情報を計算により求めるための式を含む）が記憶される。なお、ＲＡＭ２３の不揮発性領域には、反射性を有する部分別の情報が記憶されていてもよい。
そして、本実施の形態における現実空間情報取得部３１は、ＲＡＭ２３から、画像認識によって特定された個々の現実物体１２に関する情報を取得する。
撮像された画像から推定される情報には、色情報のように撮像された画像から直接的に取得可能な情報もあれば、後述する手法などを用いて推定される情報もある。
ＲＡＭ２３の不揮発性領域には、例えば現実物体１２の反射性を有する部分の全てに適用される情報（反射情報の代表値や反射情報を計算により求めるための式を含む）が記憶される。なお、ＲＡＭ２３の不揮発性領域には、反射性を有する部分別の情報が記憶されていてもよい。
そして、本実施の形態における現実空間情報取得部３１は、ＲＡＭ２３から、画像認識によって特定された個々の現実物体１２に関する情報を取得する。
また、ＲＡＭ２３に記憶される情報には、ある現実物体１２に他の現実物体１２の像が映り込む場合の見え方を再現する数種類のフィルタの情報が含まれてもよい。個々のフィルタは、反射特性（例えば、後述する反射率、正反射率、拡散反射率、光沢度、反射光の偏光に関する情報など）の項目のうちの１つの項目、又は複数の項目の組み合わせで与えられる。
さらに、本実施の形態に係る現実空間情報取得部３１には、これらのフィルタを取得する機能が設けられていてもよい。フィルタは、例えば、ある現実物体１２に他の現実物体１２の像が映り込んでいる場合に、その像が映り込んだ部分を撮像することによって取得される。ここでのフィルタは、反射情報の一例である。
そして、現実物体１２とユーザ（眼球５）との位置関係により現実物体１２に反射の像が映り込む範囲内に仮想物体１１がある場合には、その現実物体１２のフィルタを反映した仮想物体１１の像を描画することにより、現実の物体が像として映り込むのと同様に描画される。
さらに、本実施の形態に係る現実空間情報取得部３１には、これらのフィルタを取得する機能が設けられていてもよい。フィルタは、例えば、ある現実物体１２に他の現実物体１２の像が映り込んでいる場合に、その像が映り込んだ部分を撮像することによって取得される。ここでのフィルタは、反射情報の一例である。
そして、現実物体１２とユーザ（眼球５）との位置関係により現実物体１２に反射の像が映り込む範囲内に仮想物体１１がある場合には、その現実物体１２のフィルタを反映した仮想物体１１の像を描画することにより、現実の物体が像として映り込むのと同様に描画される。
現実物体１２に関する情報には、例えば個別の物体（人を含む）の情報、ユーザが位置する現実空間の情報、ユーザの位置から画像内の各位置までの距離の情報、光源に関する情報、撮像に関する情報などが含まれる。
ここで、個別の物体の情報には、例えば形状、色調、材質、模様、現実空間内での位置を特定する情報、反射性に関する各種の情報を与える反射情報が含まれる。物体の認識には、既存の技術を使用する。例えばエッジや色領域を特徴量として検出する手法が用いられる。物体の認識には、人工知能を用いてもよい。
撮像に関する情報には、現実の空間内におけるカメラ２４Ｌ及び２４Ｒの位置の情報、現実の空間内におけるカメラ２４Ｌ及び２４Ｒの移動の方向、現実の空間内におけるカメラ２４Ｌ及び２４Ｒが撮像する向きの情報等が含まれる。なお、カメラ２４Ｌ及び２４Ｒによって撮像された画像には、撮像の日時に関する情報なども付属する。
ここで、個別の物体の情報には、例えば形状、色調、材質、模様、現実空間内での位置を特定する情報、反射性に関する各種の情報を与える反射情報が含まれる。物体の認識には、既存の技術を使用する。例えばエッジや色領域を特徴量として検出する手法が用いられる。物体の認識には、人工知能を用いてもよい。
撮像に関する情報には、現実の空間内におけるカメラ２４Ｌ及び２４Ｒの位置の情報、現実の空間内におけるカメラ２４Ｌ及び２４Ｒの移動の方向、現実の空間内におけるカメラ２４Ｌ及び２４Ｒが撮像する向きの情報等が含まれる。なお、カメラ２４Ｌ及び２４Ｒによって撮像された画像には、撮像の日時に関する情報なども付属する。
また、反射情報には、例えば、現実物体１２の反射特性、現実物体１２において反射性を有する部分と有しない部分の情報、反射性を有する部分の色調、模様、形状、反射光の偏光に関する情報、現実空間内での位置を特定する情報等が含まれる。
ここで、反射には、一般に、正反射と拡散反射が存在する。正反射とは、拡散がない反射であり、入射光が一定の方向に反射するものである。拡散反射とは、肉眼で見えるような正反射がない反射であり、入射光が様々な方向に反射するものである。例えば鏡の場合、極めて平滑な鏡面の全ての位置で正反射が起こることで、元の物体の像を正確に見ることができる。一方、例えば紙や布のような表面がざらざらした物体では拡散反射が起こり、入射した光が表面の微細な凹凸により様々な方向に反射するため、像が崩れてしまい、元の物体の形がわからない状態になる。
ここで、反射には、一般に、正反射と拡散反射が存在する。正反射とは、拡散がない反射であり、入射光が一定の方向に反射するものである。拡散反射とは、肉眼で見えるような正反射がない反射であり、入射光が様々な方向に反射するものである。例えば鏡の場合、極めて平滑な鏡面の全ての位置で正反射が起こることで、元の物体の像を正確に見ることができる。一方、例えば紙や布のような表面がざらざらした物体では拡散反射が起こり、入射した光が表面の微細な凹凸により様々な方向に反射するため、像が崩れてしまい、元の物体の形がわからない状態になる。
そこで、本実施の形態において、反射性を有する現実物体１２とは、表面に他の現実の物体の像が映り込むような反射性、言い換えると、正反射が起こる鏡面的な反射性を有する現実物体１２をいうものとする。また、反射情報に含まれる反射特性には、例えば、現実物体１２の反射率や、正反射率、拡散反射率、光沢度、反射光の偏光に関する情報等が含まれる。反射率とは、物体に入射した放射束又は光束に対する、反射した放射束又は光束の比である。正反射率とは、反射放射束又は光束のうちの正反射成分の、入射放射束又は光束に対する比である。拡散反射率とは、反射放射束又は光束のうちの拡散反射成分の、入射放射束又は光束に対する比である。光沢度とは、正反射光の割合や、拡散反射光の方向分布などに注目して、物体表面の光沢の程度を一次元的に表す指標である。
なお、正反射率や光沢度は、現実物体１２の表面に他の現実の物体の像が映り込むような反射性（正反射が起こる鏡面的な反射性）の度合として捉えることができる。例えば、現実物体１２の正反射率の値が１００％であれば、現実物体１２の表面に映り込む像をより正確に見ることができるが、正反射率の値が低下するにつれて（即ち、拡散反射率が増加するにつれて）像が崩れてしまい、ぼやけて見えてしまう。
付言すると、反射性を有する現実物体１２とは、例えば、反射率（及び、正反射率、拡散反射率、光沢度など）が予め定められた閾値を超える現実物体１２である。
付言すると、反射性を有する現実物体１２とは、例えば、反射率（及び、正反射率、拡散反射率、光沢度など）が予め定められた閾値を超える現実物体１２である。
なお、反射情報は、画像の処理を通じて推定される場合もあれば、事前に与えられる場合もある。反射性を推定する手法には、現実物体１２の表面に現れる模様と他の現実物体１２との関連性の発見による方法、人工知能によって特定された物体に対応する反射情報をデータベースから取得する方法等がある。データベースは、例えばクラウドネットワーク上の不図示のサーバに記憶されていてもよい。なお、特定された物体に対応する反射情報がデータベースに存在しない場合、人工知能は、特定された物体に対応する反射情報を、データベースに存在する類似する物品の情報に基づいて推定してもよい。
反射情報に含まれる個々の要素の組み合わせにより、物体の質感が変化する。
なお、現実空間情報４１は、例えばクラウドネットワーク上の不図示のサーバに記憶されていてもよい。
反射情報に含まれる個々の要素の組み合わせにより、物体の質感が変化する。
なお、現実空間情報４１は、例えばクラウドネットワーク上の不図示のサーバに記憶されていてもよい。
本実施の形態における現実空間情報取得部３１には、現実空間を模した３次元モデルを生成又は更新する機能（すなわち、現実空間を仮想化する機能）も設けられている。
現実空間情報取得部３１は、現実空間から取得された複数の情報を仮想空間上で整合的に統合し、３次元モデルを生成又は更新する。ここでの３次元モデルは、現実空間仮想化情報４２としてＲＡＭ２３に記憶される。
現実空間を仮想化した空間（３次元モデル）に仮想物体１１を配置したものが複合現実空間である。
現実空間情報取得部３１は、現実空間から取得された複数の情報を仮想空間上で整合的に統合し、３次元モデルを生成又は更新する。ここでの３次元モデルは、現実空間仮想化情報４２としてＲＡＭ２３に記憶される。
現実空間を仮想化した空間（３次元モデル）に仮想物体１１を配置したものが複合現実空間である。
本実施の形態における現実物体反射性推定部３２は、例えば、推定の対象に定めた現実物体１２の表面の画像と、現実物体１２にて反射された方向の先に存在する物体の画像とを比較して、現実物体１２の反射性を推定する。なお、現実物体反射性推定部３２は、現実物体１２の反射率や正反射率、光沢度、反射光の偏光に関する情報等の反射特性を推定する機能も有している。
ここでの現実物体反射性推定部３２は、推定手段の一例である。
推定の結果は、推定の対象に定めた現実物体１２に対応づけられた現実空間情報４１の一部として保存される。
推定の精度は、現実空間情報４１や現実空間仮想化情報４２の集積に伴って向上する。
ここでの現実物体反射性推定部３２は、推定手段の一例である。
推定の結果は、推定の対象に定めた現実物体１２に対応づけられた現実空間情報４１の一部として保存される。
推定の精度は、現実空間情報４１や現実空間仮想化情報４２の集積に伴って向上する。
本実施の形態における現実物体反射情報取得部３３は、現実物体１２の現実空間情報４１から反射情報を取得する。
本実施の形態の場合、現実物体反射情報取得部３３は、現実物体反射性推定部３２によって反射性を有すると推定された現実物体１２を、反射情報の取得の対象とする。
本実施の形態の場合、現実物体反射情報取得部３３は、現実物体反射性推定部３２によって反射性を有すると推定された現実物体１２を、反射情報の取得の対象とする。
本実施の形態における現実物体反射領域判定部３４は、反射性を有する現実物体１２において仮想物体１１の像が映り込む領域である反射領域を判定する。付言すると、現実物体１２に反射領域があると判定された場合は、現実物体１２とユーザ（眼球５）との位置関係により現実物体１２に対して反射の像が映り込む範囲内に仮想物体１１があるものとして捉えることができる。
そして、現実物体１２において仮想物体１１の像が映り込むと判定された反射領域には、仮想物体描画部４によって、現実物体１２の反射情報を反映した仮想物体１１の情報が関連付けられる。ここでの仮想物体１１の情報は、仮想物体１１の像として描画される仮想物体１１の情報である。即ち、仮想物体１１のうち、現実物体１２に映り込む部分の形状、色調、材質などの情報である。
そして、現実物体１２において仮想物体１１の像が映り込むと判定された反射領域には、仮想物体描画部４によって、現実物体１２の反射情報を反映した仮想物体１１の情報が関連付けられる。ここでの仮想物体１１の情報は、仮想物体１１の像として描画される仮想物体１１の情報である。即ち、仮想物体１１のうち、現実物体１２に映り込む部分の形状、色調、材質などの情報である。
なお、仮想物体１１が配置される位置（３次元モデル内での位置）、形状、色調、材質などの情報は、仮想物体情報４３として記憶されている。また、ユーザの眼球５の位置は、実測されるのではなく、端末１との関係で与えられる。
本実施の形態では、現実物体１２の反射情報を反映した仮想物体１１の情報を仮想物体像情報４４という。仮想物体像情報４４の内容は、端末１を装着しているユーザの移動、現実空間内での物体の移動、仮想物体１１を配置する位置によっても変化する。
本実施の形態では、現実物体１２の反射情報を反映した仮想物体１１の情報を仮想物体像情報４４という。仮想物体像情報４４の内容は、端末１を装着しているユーザの移動、現実空間内での物体の移動、仮想物体１１を配置する位置によっても変化する。
仮想物体描画部４は、現実空間仮想化情報４２、仮想物体情報４３、仮想物体像情報４４を用い、表示部３Ｌ（図２参照）用の仮想物体１１の画像及び仮想物体１１の像の画像と、表示部３Ｒ（図２参照）用の仮想物体１１の画像及び仮想物体１１の像の画像を描画する。
本実施の形態における仮想物体描画部４は、仮想物体１１の像が映り込む領域である現実物体１２の反射領域も、描画の対象に含める。すなわち、仮想物体１１に加えて、仮想物体１１の像を描画の対象とする。
このように、反射性を有する現実物体１２に仮想物体１１の像が表示されることで、ユーザは、仮想物体１１が現実物体１２に映り込んでいることを知覚できる。この結果、従前の技術に比して、複合現実の現実感を高めることができる。
更に、本実施の形態における仮想物体描画部４は、反射性を有する現実物体１２に映る仮想物体１１の像の見え方をより現実に近づけるため、現実物体１２の反射率、正反射率、色調、模様、形状等を仮想物体１１の像の描画に反映させる。
本実施の形態における仮想物体描画部４は、仮想物体１１の像が映り込む領域である現実物体１２の反射領域も、描画の対象に含める。すなわち、仮想物体１１に加えて、仮想物体１１の像を描画の対象とする。
このように、反射性を有する現実物体１２に仮想物体１１の像が表示されることで、ユーザは、仮想物体１１が現実物体１２に映り込んでいることを知覚できる。この結果、従前の技術に比して、複合現実の現実感を高めることができる。
更に、本実施の形態における仮想物体描画部４は、反射性を有する現実物体１２に映る仮想物体１１の像の見え方をより現実に近づけるため、現実物体１２の反射率、正反射率、色調、模様、形状等を仮想物体１１の像の描画に反映させる。
＜メガネ型の端末１で実行される処理動作＞
図４は、メガネ型の端末１で仮想物体１１の像を描画する場合に実行される処理動作の一例を説明するフローチャートである。
図４に示す処理動作は、ＣＰＵ２１によるプログラムの実行を通じて実現される。なお、図中では、ステップを記号のＳで表している。
図４は、メガネ型の端末１で仮想物体１１の像を描画する場合に実行される処理動作の一例を説明するフローチャートである。
図４に示す処理動作は、ＣＰＵ２１によるプログラムの実行を通じて実現される。なお、図中では、ステップを記号のＳで表している。
まず、ＣＰＵ２１は、現実空間の情報を取得する（ステップ１）。この処理により、ＣＰＵ２１は、端末１を装着しているユーザが導光板２を透して視認している現実物体１２を認識する。
次に、ＣＰＵ２１は、認識された現実物体１２の反射性を推定する（ステップ２）
反射性の推定処理は、反射性に関する情報が未知である現実物体１２に限らず、以前に推定処理を行った現実物体１２を対象に含めてもよい。
以前に推定処理の対象とした現実物体１２でも、画像が取得される際の環境の違いにより、反射性に関する新たな情報を取得できる可能性があるからである。
なお、反射性を推定する処理は、仮想物体１１を描画する処理とは独立に実行してもよい。
次に、ＣＰＵ２１は、認識された現実物体１２の反射性を推定する（ステップ２）
反射性の推定処理は、反射性に関する情報が未知である現実物体１２に限らず、以前に推定処理を行った現実物体１２を対象に含めてもよい。
以前に推定処理の対象とした現実物体１２でも、画像が取得される際の環境の違いにより、反射性に関する新たな情報を取得できる可能性があるからである。
なお、反射性を推定する処理は、仮想物体１１を描画する処理とは独立に実行してもよい。
図５は、反射性の推定に用いる手法の一例を説明する図である。（Ａ）は現実物体１２Ａ，１２Ｂの位置関係を示し、（Ｂ）は現実物体１２Ａ，１２Ｂ、眼球５（図１参照）の位置関係を示す。
図５の例では、ＣＰＵ２１は、現実物体１２Ａを反射性の推定対象として処理を行うものとする。そして、現実物体１２Ａは鏡であり、現実物体１２Ｂは情報携帯端末である。また、現実物体１２Ａには、現実物体１２Ｂの像１２Ｃが映り込んでいる。
なお、（Ａ）の場合、端末１を装着するユーザの眼球５は、紙面から手前方向に延びる法線上に位置している。
図５の例では、ＣＰＵ２１は、現実物体１２Ａを反射性の推定対象として処理を行うものとする。そして、現実物体１２Ａは鏡であり、現実物体１２Ｂは情報携帯端末である。また、現実物体１２Ａには、現実物体１２Ｂの像１２Ｃが映り込んでいる。
なお、（Ａ）の場合、端末１を装着するユーザの眼球５は、紙面から手前方向に延びる法線上に位置している。
反射性の推定に際し、ＣＰＵ２１は、（Ｂ）に示すように、眼球５（又は端末１）の位置と、反射性の推定対象である現実物体１２Ａとの位置関係から、眼球５から現実物体１２Ａに向かう入射光と現実物体１２Ａで反射される反射光とのなす角度である反射角度を演算する。
ここで、ＣＰＵ２１は、現実空間情報４１や現実空間仮想化情報４２の情報（例えば個々の現実物体１２について保存されている位置の情報）を用い、現実物体１２Ａの位置や現実物体１２Ａが置かれている角度などを把握して、反射角度を演算する。また、反射角度の演算は、眼球５からの入射光が反射される現実物体１２Ａの反射面５１に対して行われる。さらに、反射角度の演算は、反射面５１上の各点において行われる。
ここで、ＣＰＵ２１は、現実空間情報４１や現実空間仮想化情報４２の情報（例えば個々の現実物体１２について保存されている位置の情報）を用い、現実物体１２Ａの位置や現実物体１２Ａが置かれている角度などを把握して、反射角度を演算する。また、反射角度の演算は、眼球５からの入射光が反射される現実物体１２Ａの反射面５１に対して行われる。さらに、反射角度の演算は、反射面５１上の各点において行われる。
次に、ＣＰＵ２１は、現実物体１２Ａ（反射面５１）からトレースし、現実物体１２Ａの表面に投影される位置に存在する物体を特定する。ここで、ＣＰＵ２１は、現実物体１２Ａの反射面５１上の各点から反射角度の方向に向く先に存在する物体を特定する。ここでも、ＣＰＵ２１は、現実空間情報４１や現実空間仮想化情報４２の情報を用い、物体を特定する。
（Ａ）に示す例では、現実物体１２Ａの反射面５１上の５点からトレースした場合を示しており、現実物体１２Ａに投影される位置に存在する物体として、現実物体１２Ｂが特定される。
（Ａ）に示す例では、現実物体１２Ａの反射面５１上の５点からトレースした場合を示しており、現実物体１２Ａに投影される位置に存在する物体として、現実物体１２Ｂが特定される。
次に、ＣＰＵ２１は、現実物体１２Ａの反射面５１を撮像した画像と、現実物体１２を撮像した画像とを解析し、反射面５１の画像が現実物体１２Ｂの画像と整合するか否かを判定する。ここでは、反射面５１の画像を解析することにより、現実物体１２Ｂの像１２Ｃの画像が抽出される。また、像１２Ｃからトレースすることにより、像１２Ｃに対応する現実物体１２Ｂの部分５２が特定される。そして、反射面５１の画像（像１２Ｃの画像）から得られる形状と部分５２の画像から得られる形状との間に高い類似性が認められる場合に、両者が整合すると判定される。なお、両者の形状の一致を要求しないのは、眼球５から直接見える現実物体１２Ｂと現実物体１２Ａに映り込む現実物体１２Ｂとは見え方が異なるためである。例えば、眼球５から現実物体１２Ｂの表面が直接見えている場合には、現実物体１２Ａには現実物体１２Ｂの裏面が映り込むことになる。
図５の例では、像１２Ｃの画像は長方形であり、この画像の長方形の各点からトレースして特定される現実物体１２Ｂ（部分５２）の形状も長方形である。よって、ＣＰＵ２１は、像１２Ｃの画像と現実物体１２Ｂの部分５２の画像とは整合しており、現実物体１２Ａは反射性を有すると推定する。ここで、例えば、像１２Ｃの画像の長辺と短辺との比、部分５２の長辺と短辺との比を比較する等、画像から得られる要素を比較することにより、より正確に整合性を判定してもよい。
そして、本実施の形態の場合、現実物体１２Ａの反射面５１全体が反射性を有すると推定される。もっとも、像１２Ｃの画像が存在する領域に限り、反射性を有すると推定し、残りの領域についての反射性の有無は、他の機会に推定してもよい。
そして、本実施の形態の場合、現実物体１２Ａの反射面５１全体が反射性を有すると推定される。もっとも、像１２Ｃの画像が存在する領域に限り、反射性を有すると推定し、残りの領域についての反射性の有無は、他の機会に推定してもよい。
また、ＣＰＵ２１は、反射率や正反射率、光沢度、反射光の偏光に関する情報などの反射特性も推定する。
例えば、ＣＰＵ２１は、像１２Ｃの画像を処理対象として、この画像の明るさや色の濃さ、ぼやけた度合などを基に、反射面５１の反射率や正反射率、光沢度などを計算することができる。例えば、ＣＰＵ２１は、像１２Ｃの画像と現実物体１２Ｂの画像とについて、２つの画像の明るさや色の濃さ、ぼやけた度合などを比較することにより、反射面５１の反射率や正反射率、光沢度などを計算する。また、例えば反射率は、反射面５１について得られた屈折率を、既知の公式に代入することにより計算可能である。なお、ＣＰＵ２１は、反射率や正反射率、光沢度を個別に出すのではなくて、反射率や正反射率、光沢度をまとめた反射特性の指標を計算してもよい。
さらに、例えば、現実物体１２Ａにおける反射光の偏光に関する情報を推定する手法としては、例えば、導光板２（図１参照）の前後に偏光フィルタを設けて現実物体１２Ａを撮像し、画像から得られる受光量（反射光の量）の変化を基に、偏光の強度、方向等を推定する手法が例示される。例えば、偏光フィルタを回転させた角度毎に、カメラ２４Ｌ及び２４Ｒ（図２参照）によって現実物体１２Ａを撮像する。そして、ＣＰＵ２１は、角度毎の画像を比較することにより、現実物体１２Ａにおける反射光の量の変化を判定して、現実物体１２Ａにおける反射光の偏光の強度、方向等を推定する。
例えば、ＣＰＵ２１は、像１２Ｃの画像を処理対象として、この画像の明るさや色の濃さ、ぼやけた度合などを基に、反射面５１の反射率や正反射率、光沢度などを計算することができる。例えば、ＣＰＵ２１は、像１２Ｃの画像と現実物体１２Ｂの画像とについて、２つの画像の明るさや色の濃さ、ぼやけた度合などを比較することにより、反射面５１の反射率や正反射率、光沢度などを計算する。また、例えば反射率は、反射面５１について得られた屈折率を、既知の公式に代入することにより計算可能である。なお、ＣＰＵ２１は、反射率や正反射率、光沢度を個別に出すのではなくて、反射率や正反射率、光沢度をまとめた反射特性の指標を計算してもよい。
さらに、例えば、現実物体１２Ａにおける反射光の偏光に関する情報を推定する手法としては、例えば、導光板２（図１参照）の前後に偏光フィルタを設けて現実物体１２Ａを撮像し、画像から得られる受光量（反射光の量）の変化を基に、偏光の強度、方向等を推定する手法が例示される。例えば、偏光フィルタを回転させた角度毎に、カメラ２４Ｌ及び２４Ｒ（図２参照）によって現実物体１２Ａを撮像する。そして、ＣＰＵ２１は、角度毎の画像を比較することにより、現実物体１２Ａにおける反射光の量の変化を判定して、現実物体１２Ａにおける反射光の偏光の強度、方向等を推定する。
さらに、ユーザがメガネ型の端末１を装着して移動し、その移動に合わせて現実空間情報４１を保存することにより、現実空間情報４１は蓄積されていく。そのため、図５の場合に、ユーザが移動して種々の方向からカメラ２４Ｌ及び２４Ｒ（図２参照）で撮像することにより、例えば、現実物体１２Ａに映り込む現実物体１２Ｂの部分（例えば、現実物体１２Ｂの裏面）を撮像して、現実空間情報４１として保存している場合もあり得る。この場合には、ＣＰＵ２１は、パターンマッチング等により、像１２Ｃの画像と現実物体１２Ｂの画像とが整合するか否かの判定を行い、現実物体１２Ａの反射性をより正確に推定することができる。また、反射率や正反射率、光沢度などの反射特性の推定についても、像１２Ｃの画像と現実物体１２Ａに映り込む現実物体１２Ｂの部分とを比較することができ、両者の違いからより正確に反射特性を計算することができる。
図６は、反射性の推定に用いる手法の他の一例を説明する図である。図６で説明する推定の手法では、ＣＰＵ２１は、例えば現実物体１２の表面に現れる内容が、現在の撮像の方向とは逆向きを撮像した際に撮像された画像の左右を入れ替えた画像と整合する場合、現実物体１２の表面に現れる内容が鏡像であり、現実物体１２は反射性を有すると推定する。この場合には、事前に現在の撮像の方向とは逆向きからカメラ２４Ｌ及び２４Ｒで撮像し、撮像した画像を現実空間情報４１として保存しておくことが必要である。
図６の例では、眼球５の前面に現実物体１２Ａ〜１２Ｃが存在する。そして、ＣＰＵ２１は、現実物体１２Ａを反射性の推定対象として処理を行うものとする。現実物体１２Ａには、現実物体１２Ｂの像１２Ｄが映り込んでおり、また現実物体１２Ｃの像１２Ｅが映り込んでいる。
図６の例では、眼球５の前面に現実物体１２Ａ〜１２Ｃが存在する。そして、ＣＰＵ２１は、現実物体１２Ａを反射性の推定対象として処理を行うものとする。現実物体１２Ａには、現実物体１２Ｂの像１２Ｄが映り込んでおり、また現実物体１２Ｃの像１２Ｅが映り込んでいる。
ここで、事前に、現在の撮像の方向とは逆向きをカメラ２４Ｌ及び２４Ｒで撮像しておくことにより、現実物体１２Ｂで現実物体１２Ａに映り込んでいる部分の画像や、現実物体１２Ｃで現実物体１２Ａに映り込んでいる部分の画像は、現実空間情報４１として保存される。このような場合に、ＣＰＵ２１は、現実空間を模した３次元モデルにおいて、現実物体１２Ａの表面に投影される位置に存在する現実物体１２Ｂ、１２Ｃを特定する。そして、ＣＰＵ２１は、パターンマッチング等により、現実物体１２Ａの表面の画像と、現在の撮像の方向とは逆向きから撮像して得られた現実物体１２Ｂ、１２Ｃの画像とが整合するか否かを判定する。例えば、物理的な構造や色、模様などが一致する（又は、物理的な構造や色、模様などに高い類似性がある）ことが認められる場合、ＣＰＵ２１は、現実物体１２Ａは反射性を有すると推定することができる。
なお、現在の撮像の方向は、一の方向の一例である。
なお、現在の撮像の方向は、一の方向の一例である。
また、図７は、反射性の推定に用いる手法の他の一例を説明する図である。図７を参照しながら、３つの推定の手法について説明する。
図７の例では、ＣＰＵ２１は、現実物体１２Ｆを反射性の推定対象として処理を行うものとする。そして、現実物体１２Ｆは鏡であり、現実物体１２Ｇは壁に固定的に取り付けられているコンセントである。また、現実物体１２Ｆには、現実物体１２Ｇの像１２Ｈが映り込んでいる。さらに、天井には、光源１２Ｉが固定的に取り付けられている。
なお、端末１を装着するユーザの眼球５は、紙面から手前方向に延びる法線上に位置している。
図７の例では、ＣＰＵ２１は、現実物体１２Ｆを反射性の推定対象として処理を行うものとする。そして、現実物体１２Ｆは鏡であり、現実物体１２Ｇは壁に固定的に取り付けられているコンセントである。また、現実物体１２Ｆには、現実物体１２Ｇの像１２Ｈが映り込んでいる。さらに、天井には、光源１２Ｉが固定的に取り付けられている。
なお、端末１を装着するユーザの眼球５は、紙面から手前方向に延びる法線上に位置している。
まず、１つ目の推定の手法では、ＣＰＵ２１は、光源の位置と現実物体１２Ｆの表面の傾きとの関係から推定（特定）される位置に明部（ハイライト）が存在する場合、推定の対象である現実物体１２Ｆは反射性を有すると推定する。
例えば、現実物体１２Ｆが反射性を有する場合、光源１２Ｉからの光が現実物体１２Ｆで反射された反射光と、光源１２Ｉからの直接の光とが合成されて、明部が生じる。図示の例では、領域１６Ａに明部が生じており、１６Ｂと比較して、輝度が高くなっている。
ＣＰＵ２１は、光源１２Ｉの位置と現実物体１２Ｆの表面の傾きとの関係から、明部が生じると推定される領域（この例では、領域１６Ａ）を特定する。そして、ＣＰＵ２１は、明部が生じると推定される領域１６Ａの輝度と、周囲の領域（例えば、領域１６Ｂ）の輝度とを比較して、明部が生じると推定される領域１６Ａの輝度の方が高い場合、現実物体１２Ｆが反射性を有すると推定する。
なお、明部が生じると推定される領域の輝度と周囲の領域の輝度との差の程度を基に、現実物体１２Ｆの反射特性を推定してもよい。例えば、明部が生じると推定される領域の輝度と周囲の領域の輝度との差が大きいほど、現実物体１２Ｆの反射率（及び、正反射率、拡散反射率、光沢度など）は大きいと推定される。
例えば、現実物体１２Ｆが反射性を有する場合、光源１２Ｉからの光が現実物体１２Ｆで反射された反射光と、光源１２Ｉからの直接の光とが合成されて、明部が生じる。図示の例では、領域１６Ａに明部が生じており、１６Ｂと比較して、輝度が高くなっている。
ＣＰＵ２１は、光源１２Ｉの位置と現実物体１２Ｆの表面の傾きとの関係から、明部が生じると推定される領域（この例では、領域１６Ａ）を特定する。そして、ＣＰＵ２１は、明部が生じると推定される領域１６Ａの輝度と、周囲の領域（例えば、領域１６Ｂ）の輝度とを比較して、明部が生じると推定される領域１６Ａの輝度の方が高い場合、現実物体１２Ｆが反射性を有すると推定する。
なお、明部が生じると推定される領域の輝度と周囲の領域の輝度との差の程度を基に、現実物体１２Ｆの反射特性を推定してもよい。例えば、明部が生じると推定される領域の輝度と周囲の領域の輝度との差が大きいほど、現実物体１２Ｆの反射率（及び、正反射率、拡散反射率、光沢度など）は大きいと推定される。
なお、明部が生じると推定される領域の輝度や周囲の領域の輝度は、対象となる領域を撮像した画像から推定される。
また、光源１２Ｉに関する情報は、撮像された画像から推定される場合もあれば、既知の情報としてＲＡＭ２３の不揮発性領域に保存されている場合もある。光源１２Ｉの位置を推定する手法には、光線追跡法（レイトレーシング）等がある。
また、光源１２Ｉに関する情報は、撮像された画像から推定される場合もあれば、既知の情報としてＲＡＭ２３の不揮発性領域に保存されている場合もある。光源１２Ｉの位置を推定する手法には、光線追跡法（レイトレーシング）等がある。
次に、２つ目の推定の手法では、ＣＰＵ２１は、推定の対象である現実物体１２Ｆの表面に現れる内容（個々の像）と別の現実物体１２とがいずれも対称の位置に存在する場合（換言すると、推定の対象である現実物体１２Ｆの表面に現れる内容と対をなす別の現実物体１２とが、共通の外形を有し、かつ、推定の対象である現実物体１２Ｆの表面を挟んで等距離に位置する場合）、現実物体１２Ｆが反射性を有すると推定する。
例えば、ＣＰＵ２１は、領域１６Ａ及び領域１６Ｂ等を撮像した画像を解析することにより、現実物体１２Ｆに対して反射の像が映り込む範囲内に存在する物体として、現実物体１２Ｇを抽出する。また、現実物体１２Ｆを撮像した画像を解析することにより、現実物体１２Ｇと共通の外形を有する（即ち、形状に高い類似性が認められる）現実物体１２Ｇの像１２Ｈを抽出する。そして、現実物体１２Ｆの表面を挟んで現実物体１２Ｇと像１２Ｈとが等距離にあると判定されるため、現実物体１２が反射性を有すると推定する。
例えば、ＣＰＵ２１は、領域１６Ａ及び領域１６Ｂ等を撮像した画像を解析することにより、現実物体１２Ｆに対して反射の像が映り込む範囲内に存在する物体として、現実物体１２Ｇを抽出する。また、現実物体１２Ｆを撮像した画像を解析することにより、現実物体１２Ｇと共通の外形を有する（即ち、形状に高い類似性が認められる）現実物体１２Ｇの像１２Ｈを抽出する。そして、現実物体１２Ｆの表面を挟んで現実物体１２Ｇと像１２Ｈとが等距離にあると判定されるため、現実物体１２が反射性を有すると推定する。
次に、３つ目の推定の手法では、ＣＰＵ２１は、推定の対象である現実物体１２Ｆの表面の明るさが、光源によって直接照らされる場合に比して暗い場合、現実物体１２Ｆが反射性を有すると推定する。
例えば、ＣＰＵ２１は、現実物体１２Ｆに隣接する領域１６Ｃを撮像した画像を解析することにより、領域１６Ｃの輝度を推定する。また、現実物体１２Ｆを撮像した画像を解析することにより、領域１６Ｃに隣接する領域１６Ｄの輝度を推定する。ここで、領域１６Ｃと領域１６Ｄとは隣接しているため、光源１２Ｉに照らされた場合の明るさには大きな差異は生じないはずである。しかし、領域１６Ｄの輝度は、領域１６Ｃの輝度よりも一定程度（例えば、予め定められた輝度差を超える程度）低い。言い換えると、領域１６Ｄの明るさは、光源１２Ｉによって直接照らされる場合に比して暗い。
このように、領域１６Ｃと領域１６Ｄとは隣接しているにもかかわらず、両者の明るさにはつながりがないといえる。これは、領域１６Ｄに、光源１２Ｉから遠く離れた空間の像が映り込んでいるためである。そこで、ＣＰＵ２１は、領域１６Ｃ及び領域１６Ｄの輝度の差を基に、現実物体１２Ｆの表面の明るさは光源１２Ｉによって直接照らされる場合に比して暗いと判定し、現実物体１２が反射性を有すると推定する。
例えば、ＣＰＵ２１は、現実物体１２Ｆに隣接する領域１６Ｃを撮像した画像を解析することにより、領域１６Ｃの輝度を推定する。また、現実物体１２Ｆを撮像した画像を解析することにより、領域１６Ｃに隣接する領域１６Ｄの輝度を推定する。ここで、領域１６Ｃと領域１６Ｄとは隣接しているため、光源１２Ｉに照らされた場合の明るさには大きな差異は生じないはずである。しかし、領域１６Ｄの輝度は、領域１６Ｃの輝度よりも一定程度（例えば、予め定められた輝度差を超える程度）低い。言い換えると、領域１６Ｄの明るさは、光源１２Ｉによって直接照らされる場合に比して暗い。
このように、領域１６Ｃと領域１６Ｄとは隣接しているにもかかわらず、両者の明るさにはつながりがないといえる。これは、領域１６Ｄに、光源１２Ｉから遠く離れた空間の像が映り込んでいるためである。そこで、ＣＰＵ２１は、領域１６Ｃ及び領域１６Ｄの輝度の差を基に、現実物体１２Ｆの表面の明るさは光源１２Ｉによって直接照らされる場合に比して暗いと判定し、現実物体１２が反射性を有すると推定する。
さらに、現実物体１２の表面に現れる内容が、反射による像ではなく、物理的な構造や模様であったり、表示デバイスに表示される画像であったりすることも考えられる。そこで、ＣＰＵ２１は、現実物体１２の表面に現れる内容が、物理的な構造や模様とも表示デバイスに表示される画像とも異なるか否かを判定することで、反射性の推定を行ってもよい。
本実施の形態では、現実物体１２を撮像しているカメラ２４Ｌ及び２４Ｒ（図２参照）の移動に連動して現実物体１２の表面に現れる内容が連続的に変化する場合、現実物体１２の表面に現れる内容が、物理的な構造や模様とも表示デバイスに表示される画像とも異なると判定する。現実物体１２の表面に現れる内容が物理的な構造や模様に起因する場合、カメラ２４Ｌ及び２４Ｒ（図２参照）が移動しても内容は不変だからである。また、現実物体１２が表示デバイスの場合には、その表示の内容の変化は、現実物体１２を撮像しているカメラ２４Ｌ及び２４Ｒの移動と無関係だからである。このような判定を行うことで、反射性の推定が行われる。
さらに、別の反射性の推定に用いる手法として、例えば、人工知能によって、現実空間情報４１を基に、現実物体１２がどのような物体であるかを特定することにより、特定された物体に対応する反射情報をデータベースから取得してもよい。
なお、上述した反射性を推定する各種の手法については、何れか１つの手法を用いて推定を行ってもよいし、２つ以上の手法を組み合わせて推定を行ってもよい。
図４の説明に戻る。
なお、上述した反射性を推定する各種の手法については、何れか１つの手法を用いて推定を行ってもよいし、２つ以上の手法を組み合わせて推定を行ってもよい。
図４の説明に戻る。
ステップ２の後、ＣＰＵ２１は、ステップ２で反射性を有すると推定された現実物体１２の反射情報を取得する（ステップ３）。本実施の形態の場合、ＣＰＵ２１は、ステップ２で計算された現実物体１２の反射特性を取得する。また、ＣＰＵ２１は、反射性を推定しなくても取得可能な反射情報、例えば、反射性を有すると推定された現実物体１２の色調、模様、形状、現実空間内での位置を特定する情報などの反射情報を取得する。
続いて、ＣＰＵ２１は、描画の対象である１つ又は複数の仮想物体１１のうちで未選択の１つを選択する（ステップ４）。
ＣＰＵ２１は、選択された仮想物体１１を処理の対象として、仮想物体１１の像が映り込む現実物体１２の反射領域があるか否かを判定する（ステップ５）。
ここで、ＣＰＵ２１は、端末１を装着しているユーザの眼球５（図１参照）の位置を基準として、反射性を有する現実物体１２において、処理対象とする仮想物体１１の像が映り込むか否かを判定する。
ＣＰＵ２１は、選択された仮想物体１１を処理の対象として、仮想物体１１の像が映り込む現実物体１２の反射領域があるか否かを判定する（ステップ５）。
ここで、ＣＰＵ２１は、端末１を装着しているユーザの眼球５（図１参照）の位置を基準として、反射性を有する現実物体１２において、処理対象とする仮想物体１１の像が映り込むか否かを判定する。
仮想物体１１の像が映り込むか否かは、端末１を装着しているユーザの眼球５の位置を基準として判定される。例えば、反射性を有する現実物体１２の表面が平面である場合、現実空間を模した３次元モデルにおいて、反射性を有する現実物体１２の表面を対称面として、仮想物体１１の面対称の位置に、仮想物体１１の反射像ができる。この仮想物体１１の反射像と眼球５の位置とを結ぶ仮想の直線と、現実物体１２とが交差するか否かが判定される。
例えば仮想の直線と現実物体１２とが交差しない場合、ＣＰＵ２１は、否定結果を得てステップ７に進む。
例えば仮想の直線と現実物体１２とが交差しない場合、ＣＰＵ２１は、否定結果を得てステップ７に進む。
図８は、現実物体１２において仮想物体１１の像が映り込む反射領域１４を説明する図である。（Ａ）は現実物体１２と仮想物体１１の位置の関係を示し、（Ｂ）は仮想物体１１の像が映り込む現実物体１２の反射領域１４を示す。
（Ｂ）に示すように、現実物体１２の表面を対称面として、仮想物体１１の面対称の位置に、仮想物体１１の反射像１３ができる。そして、仮想物体１１の反射像１３と眼球５の位置とを結ぶ仮想の直線と、現実物体１２とが交差する範囲が反射領域１４であり、図示の太線で示す範囲になる。
（Ｂ）に示すように、現実物体１２の表面を対称面として、仮想物体１１の面対称の位置に、仮想物体１１の反射像１３ができる。そして、仮想物体１１の反射像１３と眼球５の位置とを結ぶ仮想の直線と、現実物体１２とが交差する範囲が反射領域１４であり、図示の太線で示す範囲になる。
このように、現実物体１２に対して仮想物体１１の像をどのように描画するかについては、ユーザの眼球５、仮想物体１１、現実物体１２の位置関係によって決まる。例えば、図８に示すように、現実物体１２の表面を対称面とした場合の仮想物体１１の反射像１３に対して、仮想物体１１の反射像１３と眼球５とを結ぶ仮想の直線と、現実物体１２とが交差する位置（範囲）に、仮想物体１１の像が描画される。すなわち、仮想物体１１の反射像１３の各点について、眼球５に向く仮想の直線と現実物体１２とが交差する位置を導き出して、仮想物体１１の像が描画される。
ただし、図８に示す例は、現実物体１２の表面が平面である場合の例である。現実物体１２の表面は、平面の他、例えば、凹型や凸型などの曲面の場合もあるため、仮想物体１１の像は現実物体１２の形状に応じて変化する。付言すると、仮想物体１１の像は、その仮想物体１１が現実の物体として存在すると仮定した場合に現実物体１２に対して映り込む像と同様に、描画される。
なお、仮想物体１１の像が映り込む現実物体１２が複数ある場合、ＣＰＵ２１は、個々の現実物体１２について、仮想物体１１の像が映り込む反射領域を特定する。
また、１つの現実物体１２に反射性を有する部分が複数ある場合、ＣＰＵ２１は、反射性を有する個々の部分について、仮想物体１１の像が映り込む反射領域を特定する。
従って、１つの仮想物体１１について特定される反射領域の数は１つに限らない。なお、複数の反射領域が特定される場合、それらの反射領域は一致するとは限らない。
図４の説明に戻る。
また、１つの現実物体１２に反射性を有する部分が複数ある場合、ＣＰＵ２１は、反射性を有する個々の部分について、仮想物体１１の像が映り込む反射領域を特定する。
従って、１つの仮想物体１１について特定される反射領域の数は１つに限らない。なお、複数の反射領域が特定される場合、それらの反射領域は一致するとは限らない。
図４の説明に戻る。
ステップ５で肯定結果が得られた場合、ＣＰＵ２１は、ステップ５で特定された反射領域毎に、現実物体１２の反射情報を反映した仮想物体１１の情報を関連付けて保存する（ステップ６）。すなわち、ＣＰＵ２１は、現実物体１２の反射領域に関連付けて仮想物体像情報４４を保存する。
ここで、例えば、図８に示す例では、ユーザの位置から仮想物体１１の反射像１３が見えるように、仮想物体１１の情報が関連付けられる。より具体的には、例えば、仮想物体１１のうち、ユーザから直接見える部分とは異なる部分（例えば、ユーザの位置から仮想物体１１の表面が直接見えている場合には、仮想物体１１の裏面）が見えるように、その部分の形状、色調、材質などの情報が関連付けられる。その際、反射領域に関連付けられる仮想物体１１は、ユーザから仮想物体１１の反射像１３が見えるように表現するために、例えば、遠近法に基づいて、ユーザから直接見える仮想物体１１よりも小さくなるように関連付けられる。
ここで、例えば、図８に示す例では、ユーザの位置から仮想物体１１の反射像１３が見えるように、仮想物体１１の情報が関連付けられる。より具体的には、例えば、仮想物体１１のうち、ユーザから直接見える部分とは異なる部分（例えば、ユーザの位置から仮想物体１１の表面が直接見えている場合には、仮想物体１１の裏面）が見えるように、その部分の形状、色調、材質などの情報が関連付けられる。その際、反射領域に関連付けられる仮想物体１１は、ユーザから仮想物体１１の反射像１３が見えるように表現するために、例えば、遠近法に基づいて、ユーザから直接見える仮想物体１１よりも小さくなるように関連付けられる。
この後、ＣＰＵ２１は、全ての仮想物体１１が選択済みであるか否かを判定する（ステップ７）。
ステップ７で否定結果が得られた場合、ＣＰＵ２１は、ステップ４に戻る。ステップ４では未選択の仮想物体１１の中から１つが処理の対象として選択される。
一方、ステップ７で肯定結果が得られた場合、ＣＰＵ２１は、全ての反射領域に対して、関連付けられている仮想物体像情報４４を用いて仮想物体１１の像を描画する（ステップ８）。
ステップ７で否定結果が得られた場合、ＣＰＵ２１は、ステップ４に戻る。ステップ４では未選択の仮想物体１１の中から１つが処理の対象として選択される。
一方、ステップ７で肯定結果が得られた場合、ＣＰＵ２１は、全ての反射領域に対して、関連付けられている仮想物体像情報４４を用いて仮想物体１１の像を描画する（ステップ８）。
＜描画例＞
以下では、具体例を用いて、本実施の形態における仮想物体１１の像の描画例について説明する。
以下では、具体例を用いて、本実施の形態における仮想物体１１の像の描画例について説明する。
＜描画例１＞
図９は、従前の技術による描画と本実施の形態による描画との違いを説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。
図９では、従前の技術による描画例を比較例と記している。
図９において、端末１を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
図９は、従前の技術による描画と本実施の形態による描画との違いを説明する図である。（Ａ）は従前の技術による描画例であり、（Ｂ）は本実施の形態による描画例である。
図９では、従前の技術による描画例を比較例と記している。
図９において、端末１を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
（Ａ）に示すように、従前の技術では、平板形状の現実物体１２とユーザとの位置関係により現実物体１２に対して反射の像が映り込む範囲内に円筒形状の仮想物体１１がある場合、現実物体１２が反射性を有していても、現実物体１２には仮想物体１１の像が描画されない。
このため、反射性を有する現実物体１２では、映るべき仮想物体１１の像がユーザに知覚されず、代わりに、現実物体１２がそのままユーザに知覚される。
このように、反射性を有する現実物体１２で、ユーザに知覚される風景に不自然な状態が生じる。
このため、反射性を有する現実物体１２では、映るべき仮想物体１１の像がユーザに知覚されず、代わりに、現実物体１２がそのままユーザに知覚される。
このように、反射性を有する現実物体１２で、ユーザに知覚される風景に不自然な状態が生じる。
一方で、本実施の形態の場合には、（Ｂ）に示すように、平板形状の現実物体１２とユーザとの位置関係により現実物体１２に対して反射の像が映り込む範囲内に円筒形状の仮想物体１１がある場合、円筒形状の仮想物体１１の像１５をユーザに知覚させることができる。
このように、本実施の形態に係る技術を用いれば、反射性を有する現実物体１２で風景に不自然な状態が生じることがなくなり、仮想物体１１が実在するかのような体験が可能になる。
このように、本実施の形態に係る技術を用いれば、反射性を有する現実物体１２で風景に不自然な状態が生じることがなくなり、仮想物体１１が実在するかのような体験が可能になる。
また、本実施の形態に係る技術を用いれば、ユーザが現実空間内を移動する場合も、ユーザの眼球５、仮想物体１１、反射性を有する現実物体１２の位置関係により、現実物体１２に仮想物体１１の像１５を描画することができる。すなわち、ユーザが現実空間内を移動しても、仮想物体１１の像１５が継続的に知覚されるようにできる。
このため、仮想物体１１を、現実の物体と区別なくユーザに知覚させることが可能になる。
このため、仮想物体１１を、現実の物体と区別なくユーザに知覚させることが可能になる。
なお、ユーザと仮想物体１１は移動せず、反射性を有する現実物体１２だけが移動する場合や、ユーザと反射性を有する現実物体１２は移動せず、仮想物体１１だけが移動する場合にも、同様の不自然な現象が無くなるので、仮想物体１１の実在感を高めることができる。
また、従前の技術と比べて、現実物体１２に対して像１５が描画される位置に存在する仮想物体１１を、ユーザに気づかせ易くなる。
また、従前の技術と比べて、現実物体１２に対して像１５が描画される位置に存在する仮想物体１１を、ユーザに気づかせ易くなる。
＜描画例２＞
図１０は、現実物体１２の反射率の違いが仮想物体１１の像１５の描画に与える影響を説明する図である。（Ａ）は現実物体１２の反射率が高い場合の仮想物体１１の像１５の描画例であり、（Ｂ）は現実物体１２の反射率が低い場合の仮想物体１１の像１５の描画例である。
図１０の場合も、端末１（図１参照）を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
図１０は、現実物体１２の反射率の違いが仮想物体１１の像１５の描画に与える影響を説明する図である。（Ａ）は現実物体１２の反射率が高い場合の仮想物体１１の像１５の描画例であり、（Ｂ）は現実物体１２の反射率が低い場合の仮想物体１１の像１５の描画例である。
図１０の場合も、端末１（図１参照）を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
図１０の場合、反射率が相対的に高い反射率１の場合（（Ａ）の場合）には、反射率が相対的に低い反射率２の場合（（Ｂ）の場合）よりも、例えば、仮想物体１１の像１５の解像度を高くしたり、色を濃くしたりして、現実物体１２の反射率の影響を付加して描画する。よって、反射率が相対的に高い反射率１の場合（（Ａ）の場合）の方が、反射率が相対的に低い反射率２の場合（（Ｂ）の場合）よりも、仮想物体１１の像１５をはっきり知覚することが可能である。
このため、ユーザは、仮想物体１１が実在するかのような体験が可能になる。
このため、ユーザは、仮想物体１１が実在するかのような体験が可能になる。
なお、（Ａ）、（Ｂ）の例では、現実物体１２の正反射率（又は拡散反射率、光沢度）の影響を考慮していないが、仮想物体１１の像１５の描画には、現実物体１２の反射率の他に、現実物体１２の正反射率（又は拡散反射率、光沢度）も影響を与える。例えば、現実物体１２の正反射率の影響を付加することにより、正反射率が相対的に高い場合の方が、正反射率が相対的に低い場合よりも、仮想物体１１の像１５をはっきり知覚することが可能である。
＜描画例３＞
図１１は、現実物体１２の色の違いが仮想物体１１の像１５の描画に与える影響を説明する図である。（Ａ）は現実物体１２に薄い青色が付されている場合の仮想物体１１の像１５の描画例であり、（Ｂ）は現実物体１２に薄い赤色が付されている場合の仮想物体１１の像１５の描画例である。
図１１の場合も、端末１（図１参照）を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
図１１は、現実物体１２の色の違いが仮想物体１１の像１５の描画に与える影響を説明する図である。（Ａ）は現実物体１２に薄い青色が付されている場合の仮想物体１１の像１５の描画例であり、（Ｂ）は現実物体１２に薄い赤色が付されている場合の仮想物体１１の像１５の描画例である。
図１１の場合も、端末１（図１参照）を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
作図上の制約のため、図１１においては、薄い青色や薄い赤色を表現することはできないが、現実物体１２に薄い青色が付されている場合（（Ａ）の場合）には、仮想物体１１の像１５に対して薄い青色を付して描画する処理が行われる。また、現実物体１２に薄い赤色が付されている場合（（Ｂ）の場合）には、仮想物体１１の像１５に対して薄い赤色を付して描画する処理が行われる。このように、現実物体１２の色調の影響を付加することにより、現実物体１２に映り込む仮想物体１１の像１５の見え方を、現実物体１２に映り込む現実空間の他の物体の見え方に近づけることが可能になる。
このため、ユーザは、仮想物体１１が実在するかのような体験が可能になる。
このため、ユーザは、仮想物体１１が実在するかのような体験が可能になる。
＜描画例４＞
図１２は、現実物体１２に付されている模様の違いが仮想物体１１の像１５の描画に与える影響を説明する図である。（Ａ）は現実物体１２の表面に対角線方向に延びる斜線が形成されている場合の仮想物体１１の像１５の描画例であり、（Ｂ）は現実物体１２の表面に網目状の模様が形成されている場合の仮想物体１１の像１５の描画例である。
図１２の場合も、端末１（図１参照）を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
図１２に示すように、現実物体１２の表面に形成された模様を仮想物体１１の像１５の描画に反映することで、現実物体１２に映り込む仮想物体１１の像１５の見え方を、現実物体１２に映り込む現実空間の他の物体の見え方に近づけることが可能になる。
このため、ユーザは、仮想物体１１が実在するかのような体験が可能になる。
図１２は、現実物体１２に付されている模様の違いが仮想物体１１の像１５の描画に与える影響を説明する図である。（Ａ）は現実物体１２の表面に対角線方向に延びる斜線が形成されている場合の仮想物体１１の像１５の描画例であり、（Ｂ）は現実物体１２の表面に網目状の模様が形成されている場合の仮想物体１１の像１５の描画例である。
図１２の場合も、端末１（図１参照）を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
図１２に示すように、現実物体１２の表面に形成された模様を仮想物体１１の像１５の描画に反映することで、現実物体１２に映り込む仮想物体１１の像１５の見え方を、現実物体１２に映り込む現実空間の他の物体の見え方に近づけることが可能になる。
このため、ユーザは、仮想物体１１が実在するかのような体験が可能になる。
＜描画例５＞
図１３は、現実物体１２の形状の違いが仮想物体１１の像１５の描画に与える影響を説明する図である。（Ａ）は平板形状の現実物体１２における仮想物体１１の像１５の描画例であり、（Ｂ）は円筒形状の現実物体１２における仮想物体１１の像１５の描画例である。
図１３の場合も、端末１（図１参照）を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
図１３に示すように、現実物体１２が円筒形状の場合（（Ｂ）の場合）には、現実物体１２が平板形状の場合（（Ａ）の場合）と比較して、例えば、仮想物体１１が伸びて歪んだように像１５を描画する処理が行われる。
このように、現実物体１２の形状の影響を付加し、現実物体１２の形状に応じて仮想物体１１の像１５を変化させることで、現実物体１２に映り込む仮想物体１１の像１５の見え方を、現実物体１２に映り込む現実空間の他の物体の見え方に近づけることが可能になる。
このため、ユーザは、仮想物体１１が実在するかのような体験が可能になる。
図１３は、現実物体１２の形状の違いが仮想物体１１の像１５の描画に与える影響を説明する図である。（Ａ）は平板形状の現実物体１２における仮想物体１１の像１５の描画例であり、（Ｂ）は円筒形状の現実物体１２における仮想物体１１の像１５の描画例である。
図１３の場合も、端末１（図１参照）を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
図１３に示すように、現実物体１２が円筒形状の場合（（Ｂ）の場合）には、現実物体１２が平板形状の場合（（Ａ）の場合）と比較して、例えば、仮想物体１１が伸びて歪んだように像１５を描画する処理が行われる。
このように、現実物体１２の形状の影響を付加し、現実物体１２の形状に応じて仮想物体１１の像１５を変化させることで、現実物体１２に映り込む仮想物体１１の像１５の見え方を、現実物体１２に映り込む現実空間の他の物体の見え方に近づけることが可能になる。
このため、ユーザは、仮想物体１１が実在するかのような体験が可能になる。
＜描画例６＞
図１４は、現実物体１２が置かれている角度の違いが仮想物体１１の像１５の描画に与える影響を説明する図である。（Ａ）は平板形状の現実物体１２が垂直面に対して平行に置かれている場合の仮想物体１１の像１５の描画例であり、（Ｂ）は平板形状の現実物体１２が垂直面に対して斜めに置かれている場合の仮想物体１１の像１５の描画例である。
図１４の場合も、端末１（図１参照）を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
図１４に示すように、現実物体１２が垂直面に対して傾いている場合（（Ｂ）の場合）には、現実物体１２が垂直面に対して平行に置かれている場合（（Ａ）の場合）と比較して、例えば、仮想物体１１の下側が近く大きくなり、仮想物体１１の上側が遠く小さくなるように、像１５を描画する処理が行われる。
このように、現実物体１２が置かれている角度に応じて仮想物体１１の像１５を変化させることで、現実物体１２に映り込む仮想物体１１の像１５の見え方を、現実物体１２に映り込む現実空間の他の物体の見え方に近づけることが可能になる。
このため、ユーザは、仮想物体１１が実在するかのような体験が可能になる。
図１４は、現実物体１２が置かれている角度の違いが仮想物体１１の像１５の描画に与える影響を説明する図である。（Ａ）は平板形状の現実物体１２が垂直面に対して平行に置かれている場合の仮想物体１１の像１５の描画例であり、（Ｂ）は平板形状の現実物体１２が垂直面に対して斜めに置かれている場合の仮想物体１１の像１５の描画例である。
図１４の場合も、端末１（図１参照）を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
図１４に示すように、現実物体１２が垂直面に対して傾いている場合（（Ｂ）の場合）には、現実物体１２が垂直面に対して平行に置かれている場合（（Ａ）の場合）と比較して、例えば、仮想物体１１の下側が近く大きくなり、仮想物体１１の上側が遠く小さくなるように、像１５を描画する処理が行われる。
このように、現実物体１２が置かれている角度に応じて仮想物体１１の像１５を変化させることで、現実物体１２に映り込む仮想物体１１の像１５の見え方を、現実物体１２に映り込む現実空間の他の物体の見え方に近づけることが可能になる。
このため、ユーザは、仮想物体１１が実在するかのような体験が可能になる。
＜描画例７＞
図１５は、現実物体１２における反射光の偏光に関する情報の違いが仮想物体１１の像１５の描画に与える影響を説明する図である。（Ａ）は現実物体１２における反射光の偏光の影響を考慮しない場合を示し、（Ｂ）は現実物体１２における反射光の偏光の影響を考慮する場合を示す。
図１５の場合も、端末１（図１参照）を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
（Ａ）の例では、現実物体１２における反射光の偏光の影響を考慮しないため、現実物体１２が反射性を有する場合には、現実物体１２の表面に仮想物体１１の像１５を描画する処理が行われる。
図１５は、現実物体１２における反射光の偏光に関する情報の違いが仮想物体１１の像１５の描画に与える影響を説明する図である。（Ａ）は現実物体１２における反射光の偏光の影響を考慮しない場合を示し、（Ｂ）は現実物体１２における反射光の偏光の影響を考慮する場合を示す。
図１５の場合も、端末１（図１参照）を装着するユーザの眼球５（図１参照）は、紙面から手前方向に延びる法線上に位置している。
（Ａ）の例では、現実物体１２における反射光の偏光の影響を考慮しないため、現実物体１２が反射性を有する場合には、現実物体１２の表面に仮想物体１１の像１５を描画する処理が行われる。
ここで、例えば導光板２（図１参照）に偏光フィルタの機能を持たせたり、導光板２の前後に偏光フィルタを設けたりすると、導光板２の前方から入射する外光Ｂ１のうち、特定方向の光は偏光フィルタを透過して眼球５に導かれるが、特定方向以外の光は偏光フィルタによりカットされる。すなわち、現実物体１２における反射光は、その偏光の度合に応じて、偏光フィルタを透過したり、偏光フィルタにカットされたりする。
現実物体１２における反射光が偏光フィルタによってカットされる場合、（Ｂ）に示すように、現実物体１２の表面に仮想物体１１の像１５を描画しない処理が行われる。
このように、ＣＰＵ２１は、現実物体１２における反射光の偏光の度合、偏光フィルタの偏光特性（偏光度など）によって、仮想物体１１の像１５を描画する処理や描画しない処理を行う。また、現実物体１２における反射光の偏光の度合、偏光フィルタの偏光特性によって、仮想物体１１の像１５の解像度を低くしたり、色を薄くしたりして、仮想物体１１の像１５を変化させる。例えば、偏光フィルタの偏光度が大きいほど、偏光フィルタでカットされる光の量が多くなり、仮想物体１１の像１５は視認されづらくなるように処理される。
このため、ユーザは、仮想物体１１が実在するかのような体験が可能になる。
なお、偏光に関する情報の違いによる効果には、旋光性の違いによる影響を含めてもよい。旋光性の違いを描画に反映することにより、光学異性体の見え方の違いを表現できる。
現実物体１２における反射光が偏光フィルタによってカットされる場合、（Ｂ）に示すように、現実物体１２の表面に仮想物体１１の像１５を描画しない処理が行われる。
このように、ＣＰＵ２１は、現実物体１２における反射光の偏光の度合、偏光フィルタの偏光特性（偏光度など）によって、仮想物体１１の像１５を描画する処理や描画しない処理を行う。また、現実物体１２における反射光の偏光の度合、偏光フィルタの偏光特性によって、仮想物体１１の像１５の解像度を低くしたり、色を薄くしたりして、仮想物体１１の像１５を変化させる。例えば、偏光フィルタの偏光度が大きいほど、偏光フィルタでカットされる光の量が多くなり、仮想物体１１の像１５は視認されづらくなるように処理される。
このため、ユーザは、仮想物体１１が実在するかのような体験が可能になる。
なお、偏光に関する情報の違いによる効果には、旋光性の違いによる影響を含めてもよい。旋光性の違いを描画に反映することにより、光学異性体の見え方の違いを表現できる。
＜描画例８＞
図１６は、現実物体１２で全反射が発生する場合と発生しない場合を説明する図である。（Ａ）は全反射が発生しない場合の眼球５、現実物体１２、仮想物体１１の位置関係を示し、（Ｂ）は全反射が発生する場合の眼球５、現実物体１２、仮想物体１１の位置関係を示す。
図５で示したように、現実物体１２の表面を対称面とした場合の仮想物体１１の反射像１３に対して、仮想物体１１の反射像１３と眼球５とを結ぶ仮想の直線と、現実物体１２とが交差する位置（範囲）に、仮想物体１１の像が描画される。ここで、全反射が発生するか否かは、光の入射角が臨界角を超えているか否かによって決まる。
図１６は、現実物体１２で全反射が発生する場合と発生しない場合を説明する図である。（Ａ）は全反射が発生しない場合の眼球５、現実物体１２、仮想物体１１の位置関係を示し、（Ｂ）は全反射が発生する場合の眼球５、現実物体１２、仮想物体１１の位置関係を示す。
図５で示したように、現実物体１２の表面を対称面とした場合の仮想物体１１の反射像１３に対して、仮想物体１１の反射像１３と眼球５とを結ぶ仮想の直線と、現実物体１２とが交差する位置（範囲）に、仮想物体１１の像が描画される。ここで、全反射が発生するか否かは、光の入射角が臨界角を超えているか否かによって決まる。
（Ａ）の場合、入射角が臨界角を超えていないため（臨界角＞入射角）、全反射は発生しない。この場合、現実物体１２の反射率（さらに、必要に応じて、正反射率、拡散反射率、光沢度など）を基に、仮想物体１１の像１５が現実物体１２に描画される。
一方、（Ｂ）の場合、入射角が臨界角を超えているため（臨界角＜入射角）、全反射が発生する。全反射では、入射光が現実物体１２を透過せずに全て反射するため、反射率が１００％となる。ＣＰＵ２１は、全反射の影響を付加し、現実物体１２の反射率１００％（さらに、必要に応じて、正反射率、拡散反射率、光沢度など）を基に、仮想物体１１の像１５を現実物体１２に描画する。その結果、全反射が発生する場合（（Ｂ）の場合）の方が、全反射が発生しない場合（（Ａ）の場合）よりも、仮想物体１１の像１５をはっきり知覚することが可能である。
このため、ユーザは、仮想物体１１が実在するかのような体験が可能になる。
一方、（Ｂ）の場合、入射角が臨界角を超えているため（臨界角＜入射角）、全反射が発生する。全反射では、入射光が現実物体１２を透過せずに全て反射するため、反射率が１００％となる。ＣＰＵ２１は、全反射の影響を付加し、現実物体１２の反射率１００％（さらに、必要に応じて、正反射率、拡散反射率、光沢度など）を基に、仮想物体１１の像１５を現実物体１２に描画する。その結果、全反射が発生する場合（（Ｂ）の場合）の方が、全反射が発生しない場合（（Ａ）の場合）よりも、仮想物体１１の像１５をはっきり知覚することが可能である。
このため、ユーザは、仮想物体１１が実在するかのような体験が可能になる。
ここで、（Ｂ）のように全反射が発生する場合としては、例えば、現実物体１２が水面で、水中に仮想物体１１が存在する場合が例示される。より具体的には、例えば、水槽（不図示）に張られた水の水面（現実物体１２）よりも下にユーザ（眼球５）が存在し、水中に仮想物体１１が配置される場合に、全反射が発生し得る。言い換えると、水面（現実物体１２）よりも低い位置に眼球５が存在し、水中に仮想物体１１が配置される場合には、眼球５と仮想物体１１との位置関係により入射角が計算され、全反射が発生するか否かが決定される。
また、蜃気楼が発生するような条件下でも、全反射は発生し得る。
また、蜃気楼が発生するような条件下でも、全反射は発生し得る。
なお、臨界角は、入射元の物質の屈折率、進行先の物質（ここでは、現実物体１２）の屈折率を基に計算される。入射元の物質の屈折率、現実物体１２の屈折率は、現実物体１２の反射情報と同様に、撮像された画像から推定（計算）される場合もあれば、既知の情報としてＲＡＭ２３の不揮発性領域に保存されている場合もある。屈折率を推定する手法としては、例えば、複数の時点に撮像された複数の画像の比較による方法、人工知能によって特定された物体に対応する屈折率をデータベースから取得する方法等がある。
＜描画例９＞
図１７は、現実物体１２が複数の場合における仮想物体１１の像１５の描画例を説明する図である。（Ａ）は現実物体１２と仮想物体１１との位置関係を示し、（Ｂ）はユーザによって知覚される複合現実を示す図である。
図１７の場合、現実物体１２Ａは反射性を有しない枠形状の部材であり、現実物体１２Ｂは反射性を有する部材である。現実物体１２Ａは、例えば鏡の枠体であり、現実物体１２Ｂは、例えば鏡のガラス板である。
図１７は、現実物体１２が複数の場合における仮想物体１１の像１５の描画例を説明する図である。（Ａ）は現実物体１２と仮想物体１１との位置関係を示し、（Ｂ）はユーザによって知覚される複合現実を示す図である。
図１７の場合、現実物体１２Ａは反射性を有しない枠形状の部材であり、現実物体１２Ｂは反射性を有する部材である。現実物体１２Ａは、例えば鏡の枠体であり、現実物体１２Ｂは、例えば鏡のガラス板である。
図１７の場合、従前の技術であれば、現実物体１２Ｂに対して、仮想物体１１の像１５が描画されることはない。そのため、ユーザに知覚される風景に不自然な状態が生じる。
一方で、本実施の形態では、（Ａ）に示すように、反射性を有する現実物体１２Ｂにおいて、仮想物体１１の像１５が映り込むと判定された反射領域１４に、現実物体１２Ｂの反射情報を反映した仮想物体１１の情報が関連付けられる。その結果、（Ｂ）に示すように、現実物体１２Ｂに対して、仮想物体１１の像１５が描画される。また、現実物体１２Ａは反射性を有さないため、仮想物体１１の像１５は描画されない。
このように仮想物体１１の像１５が描画されることにより、端末１を装着するユーザは、反射性を有する現実物体１２Ｂの前面に仮想物体１１が位置する関係を理解し易くなる。
以上により、ユーザは、仮想物体１１が実在するかのような体験が可能になる。
一方で、本実施の形態では、（Ａ）に示すように、反射性を有する現実物体１２Ｂにおいて、仮想物体１１の像１５が映り込むと判定された反射領域１４に、現実物体１２Ｂの反射情報を反映した仮想物体１１の情報が関連付けられる。その結果、（Ｂ）に示すように、現実物体１２Ｂに対して、仮想物体１１の像１５が描画される。また、現実物体１２Ａは反射性を有さないため、仮想物体１１の像１５は描画されない。
このように仮想物体１１の像１５が描画されることにより、端末１を装着するユーザは、反射性を有する現実物体１２Ｂの前面に仮想物体１１が位置する関係を理解し易くなる。
以上により、ユーザは、仮想物体１１が実在するかのような体験が可能になる。
また、描画例として図示していないが、仮想物体１１が反射性を有する場合、ＣＰＵ２１は、現実物体１２に仮想物体１１の像を描画するとともに、仮想物体１１にも現実物体１２の像を描画する。ここで、仮想物体１１には、仮想物体１１の像が映り込んだ現実物体１２の像が描画されることとなる。さらに、現実物体１２には、そのような現実物体１２の像が映り込んだ仮想物体１１の像が描画されることとなる。このように、仮想物体１１が反射性を有する場合には、像の描写において無限ループのような現象が発生する。無限ループの現象が発生する場合、実際の処理では、例えば、映り込む像の計算をする回数に制限をつけることにより、ＣＰＵ２１による計算処理が無限になってしまうことが回避される。
＜実施の形態２＞
本実施の形態では、複合現実の体験に頭部に装着された表示装置を使用する場合について説明する。
図１８は、複合現実の体験に、実時間で撮像される外界の画像に仮想物体を合成した画像を表示する表示装置１００を装着したユーザが、複合現実を体感する原理を説明する図である。
本実施の形態では、複合現実の体験に頭部に装着された表示装置を使用する場合について説明する。
図１８は、複合現実の体験に、実時間で撮像される外界の画像に仮想物体を合成した画像を表示する表示装置１００を装着したユーザが、複合現実を体感する原理を説明する図である。
図１８には、図１及び図２と対応する部分に対応する符号を付して示している。
表示装置１００は、カメラ２４Ｌ及び２４Ｒによって撮像された外界の画像と、仮想物体描画部４が描画した仮想物体１１の画像（及び仮想物体１１の像の画像）とを画像合成部１０１で合成した画像を、ユーザの眼球５の前方に配置された表示部３Ｌ及び３Ｒに表示する。
ここでの表示装置１００は、情報処理装置の一例であるとともに情報処理システムの一例でもある。
なお、表示装置１００のハードウェア構成は、メガネ型の端末１（図２参照）と同様である。このため、表示装置１００のハードウェア構成の説明は省略する。
表示装置１００は、カメラ２４Ｌ及び２４Ｒによって撮像された外界の画像と、仮想物体描画部４が描画した仮想物体１１の画像（及び仮想物体１１の像の画像）とを画像合成部１０１で合成した画像を、ユーザの眼球５の前方に配置された表示部３Ｌ及び３Ｒに表示する。
ここでの表示装置１００は、情報処理装置の一例であるとともに情報処理システムの一例でもある。
なお、表示装置１００のハードウェア構成は、メガネ型の端末１（図２参照）と同様である。このため、表示装置１００のハードウェア構成の説明は省略する。
図１９は、表示装置１００の機能構成の一例を示す図である。
図１９には、図３との対応部分に対応する符号を付して示している。
表示装置１００の基本的な機能構成は、メガネ型の端末１（図２参照）と同様である。表示装置１００に特有の機能構成は、画像合成部１０１である。
画像合成部１０１は、仮想物体描画部４が描画した画像と、カメラ２４Ｌ及び２４Ｒで撮像されている外界の画像とが整合するように２つの画像を合成する機能を有している。
例えば画像合成部１０１は、現実空間仮想化情報４２として記憶されている３次元モデルとカメラ２４Ｌ及び２４Ｒで撮像されている外界の画像とを照合して、仮想物体１１の画像（及び仮想物体１１の像の画像）を合成する領域を決定する。
このように、本実施の形態が複合現実を知覚させる方式は実施の形態１と異なるが、ユーザによって知覚される複合現実の現実感が従前の技術に比して高くなる点は、実施の形態１と同じである。
図１９には、図３との対応部分に対応する符号を付して示している。
表示装置１００の基本的な機能構成は、メガネ型の端末１（図２参照）と同様である。表示装置１００に特有の機能構成は、画像合成部１０１である。
画像合成部１０１は、仮想物体描画部４が描画した画像と、カメラ２４Ｌ及び２４Ｒで撮像されている外界の画像とが整合するように２つの画像を合成する機能を有している。
例えば画像合成部１０１は、現実空間仮想化情報４２として記憶されている３次元モデルとカメラ２４Ｌ及び２４Ｒで撮像されている外界の画像とを照合して、仮想物体１１の画像（及び仮想物体１１の像の画像）を合成する領域を決定する。
このように、本実施の形態が複合現実を知覚させる方式は実施の形態１と異なるが、ユーザによって知覚される複合現実の現実感が従前の技術に比して高くなる点は、実施の形態１と同じである。
＜他の実施形態＞
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
例えば前述の実施の形態では、左右両目用の表示部３Ｌ及び３Ｒを用いているが、表示部は１つでも構わない。例えばメガネ型の端末１（図１参照）の場合には、左右どちら一方の前方に表示部を１つ配置されてもよい。また例えば表示装置１００（図１８参照）の場合には、両目の前に表示部を１つ配置してもよい。
また、前述の実施の形態では、仮想物体描画部４をメガネ型の端末１（図１参照）や表示装置１００（図１８参照）の機能の１つとして実現しているが、外部ネットワーク（例えばクラウドネットワーク）に接続されているサーバなどの情報処理装置において、仮想物体描画部４の機能を実行してもよい。ここでのメガネ型の端末１と仮想物体描画部４の機能を実行する外部ネットワーク上のサーバは、情報処理システムの一例である。
また、前述の実施の形態では、仮想物体描画部４の機能を汎用的な演算装置であるＣＰＵ２１を用いて実現しているが、実時間での画像処理に特化した演算装置であるＧＰＵ（Graphics Processing Unit）を用いて実現してもよい。
以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上述の実施の形態に記載の範囲に限定されない。前述した実施の形態に、種々の変更又は改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。
例えば前述の実施の形態では、左右両目用の表示部３Ｌ及び３Ｒを用いているが、表示部は１つでも構わない。例えばメガネ型の端末１（図１参照）の場合には、左右どちら一方の前方に表示部を１つ配置されてもよい。また例えば表示装置１００（図１８参照）の場合には、両目の前に表示部を１つ配置してもよい。
また、前述の実施の形態では、仮想物体描画部４をメガネ型の端末１（図１参照）や表示装置１００（図１８参照）の機能の１つとして実現しているが、外部ネットワーク（例えばクラウドネットワーク）に接続されているサーバなどの情報処理装置において、仮想物体描画部４の機能を実行してもよい。ここでのメガネ型の端末１と仮想物体描画部４の機能を実行する外部ネットワーク上のサーバは、情報処理システムの一例である。
また、前述の実施の形態では、仮想物体描画部４の機能を汎用的な演算装置であるＣＰＵ２１を用いて実現しているが、実時間での画像処理に特化した演算装置であるＧＰＵ（Graphics Processing Unit）を用いて実現してもよい。
１…メガネ型の端末、２…導光板、３、３Ｌ、３Ｒ…表示部、４…仮想物体描画部、１１…仮想物体、１２…現実物体、１３…反射像、１４…反射領域、１５…像、３１…現実空間情報取得部、３２…現実物体反射性推定部、３３…現実物体反射情報取得部、３４…現実物体反射領域判定部、４１…現実空間情報、４２…現実空間仮想化情報、４３…仮想物体情報、４４…仮想物体像情報、１００…表示装置、１０１…画像合成部、Ｂ１…外光、Ｂ２…表示光
Claims (10)
- 現実の物体を撮像した画像から当該現実の物体の反射性の情報を推定する推定手段と、
反射性を有すると推定された前記現実の物体とユーザとの位置関係により当該現実の物体に対して反射の像が映り込む範囲内に仮想の物体がある場合に、推定された反射性の情報に基づいて当該仮想の物体の像を生成する生成手段と、
前記現実の物体に対して前記仮想の物体の像を描画する描画手段と
を有する情報処理システム。 - 前記推定手段は、推定の対象に定めた前記現実の物体を撮像した画像と、当該現実の物体とユーザとの位置関係により当該現実の物体に対して反射の像が映り込む範囲内に存在する他の現実の物体を撮像した画像とに基づいて、推定の対象に定めた当該現実の物体の反射性を推定する、請求項１に記載の情報処理システム。
- 前記推定手段は、推定の対象に定めた前記現実の物体とユーザとの位置関係により当該現実の物体に対して反射の像が映り込む範囲内に存在する他の現実の物体を特定し、推定の対象に定めた当該現実の物体の表面を撮像した画像から得られる形状が、当該他の現実の物体を撮像した画像から得られる形状と整合する場合、推定の対象に定めた当該現実の物体は反射性を有すると推定する、請求項２に記載の情報処理システム。
- 前記推定手段は、推定の対象に定めた前記現実の物体とユーザとの位置関係により当該現実の物体に対して反射の像が映り込む範囲内に存在する他の現実の物体を特定し、推定の対象に定めた当該現実の物体の表面を一の方向から撮像した画像が、当該一の方向とは逆向きから当該他の現実の物体を撮像した画像と整合する場合、推定の対象に定めた当該現実の物体は反射性を有すると推定する、請求項２に記載の情報処理システム。
- 前記推定手段は、推定の対象に定めた前記現実の物体とユーザとの位置関係により当該現実の物体に対して反射の像が映り込む範囲内に存在する他の現実の物体を特定し、推定の対象に定めた当該現実の物体の表面に現れる内容と当該他の現実の物体とが、共通の外形を有し、かつ、推定の対象に定めた当該現実の物体の表面を挟んで等距離に位置する場合、推定の対象に定めた当該現実の物体は反射性を有すると推定する、請求項２に記載の情報処理システム。
- 前記推定手段は、光源の位置と推定の対象に定めた前記現実の物体の表面の傾きとの関係から特定される位置に明部が存在する場合、推定の対象に定めた当該現実の物体は反射性を有すると推定する、請求項１に記載の情報処理システム。
- 前記推定手段は、推定の対象に定めた前記現実の物体の表面の明るさが光源によって直接照らされる場合に比べて暗い場合、推定の対象に定めた当該現実の物体は反射性を有すると推定する、請求項１に記載の情報処理システム。
- 前記推定手段は、推定の対象に定めた前記現実の物体の表面を撮像する撮像手段の移動に連動して当該現実の物体の表面に現れる内容が連続的に変化するか否かによって、当該現実の物体の反射性の情報を推定する、請求項１に記載の情報処理システム。
- 現実の物体を撮像した画像から当該現実の物体の反射性の情報を推定する推定手段と、
反射性を有すると推定された前記現実の物体とユーザとの位置関係により当該現実の物体に対して反射の像が映り込む範囲内に仮想の物体がある場合に、当該現実の物体に対して当該仮想の物体の像を描画する描画手段と
を有する情報処理システム。 - コンピュータを、
現実の物体を撮像した画像から当該現実の物体の反射性の情報を推定する推定手段と、
反射性を有すると推定された前記現実の物体とユーザとの位置関係により当該現実の物体に対して反射の像が映り込む範囲内に仮想の物体がある場合に、推定された反射性の情報に基づいて当該仮想の物体の像を生成する生成手段と、
前記現実の物体に対して前記仮想の物体の像を描画する描画手段
として機能させるプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018070418A JP7088721B2 (ja) | 2018-03-30 | 2018-03-30 | 情報処理システム及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018070418A JP7088721B2 (ja) | 2018-03-30 | 2018-03-30 | 情報処理システム及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019179542A true JP2019179542A (ja) | 2019-10-17 |
| JP7088721B2 JP7088721B2 (ja) | 2022-06-21 |
Family
ID=68278860
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018070418A Active JP7088721B2 (ja) | 2018-03-30 | 2018-03-30 | 情報処理システム及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7088721B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022014836A1 (ko) * | 2020-07-13 | 2022-01-20 | 삼성전자 주식회사 | 가상 객체들의 밝기를 다르게 표시하는 방법 및 장치 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004201085A (ja) * | 2002-12-19 | 2004-07-15 | Hitachi Ltd | 視覚情報処理装置および適用システム |
| JP2009134681A (ja) * | 2007-11-07 | 2009-06-18 | Canon Inc | 画像処理装置、画像処理方法 |
| WO2017127571A1 (en) * | 2016-01-19 | 2017-07-27 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
| JP2018070417A (ja) * | 2016-10-31 | 2018-05-10 | 旭硝子株式会社 | 遮音板 |
-
2018
- 2018-03-30 JP JP2018070418A patent/JP7088721B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004201085A (ja) * | 2002-12-19 | 2004-07-15 | Hitachi Ltd | 視覚情報処理装置および適用システム |
| JP2009134681A (ja) * | 2007-11-07 | 2009-06-18 | Canon Inc | 画像処理装置、画像処理方法 |
| WO2017127571A1 (en) * | 2016-01-19 | 2017-07-27 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
| JP2018070417A (ja) * | 2016-10-31 | 2018-05-10 | 旭硝子株式会社 | 遮音板 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022014836A1 (ko) * | 2020-07-13 | 2022-01-20 | 삼성전자 주식회사 | 가상 객체들의 밝기를 다르게 표시하는 방법 및 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7088721B2 (ja) | 2022-06-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6340017B2 (ja) | 被写体と３次元仮想空間をリアルタイムに合成する撮影システム | |
| US9858722B2 (en) | System and method for immersive and interactive multimedia generation | |
| US9778464B2 (en) | Shape recognition device, shape recognition program, and shape recognition method | |
| EP4092515A1 (en) | System and method of enhancing user's immersion in mixed reality mode of display apparatus | |
| CN107548502A (zh) | 基于由对象反射的光的特性识别体元中的对象 | |
| US9123272B1 (en) | Realistic image lighting and shading | |
| CN110377148B (zh) | 计算机可读介质、训练对象检测算法的方法及训练设备 | |
| KR20170134513A (ko) | 오브젝트를 표시하는 방법 | |
| US10652525B2 (en) | Quad view display system | |
| JP2013168146A (ja) | 実物体のテクスチャ描写を生成する方法、装置、およびシステム | |
| KR102107706B1 (ko) | 영상 처리 방법 및 장치 | |
| US20220277512A1 (en) | Generation apparatus, generation method, system, and storage medium | |
| JP7088721B2 (ja) | 情報処理システム及びプログラム | |
| CN108885802A (zh) | 信息处理装置、信息处理方法和程序 | |
| US20220256137A1 (en) | Position calculation system | |
| JP7439197B2 (ja) | 情報処理システム及びプログラム | |
| JP2019179541A (ja) | 情報処理システム及びプログラム | |
| JP2019185070A (ja) | 情報処理システム及びプログラム | |
| US11182973B2 (en) | Augmented reality display | |
| JP7188900B2 (ja) | 情報処理システム及びプログラム | |
| KR101002071B1 (ko) | 멀티 적외선 카메라 방식의 투영 영상 터치 장치 | |
| US20170302904A1 (en) | Input/output device, input/output program, and input/output method | |
| JP2019185072A (ja) | 情報処理システム及びプログラム | |
| JP2019185071A (ja) | 情報処理システム及びプログラム | |
| CN107635119B (zh) | 投射方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210217 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211119 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211130 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220531 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220609 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7088721 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |