JP2023171298A - 拡張現実及び複合現実のための空間とコンテンツの適合 - Google Patents

Abstract

【課題】 ＡＲ／ＭＲ体験の設定をユーザの操作に頼らずに、ユーザが物理環境の中で没入感のある体験をできるようにする。【解決手段】 ＡＲシミュレーション又はＭＲシミュレーション時に、現実世界の環境内に配置可能な少なくとも１つの仮想オブジェクトを指示するものを取得する。この現実世界の環境のスキャンに基づいて、現実世界の環境を表す第１の表現を生成する。この第１の表現から、少なくとも１つの現実世界の環境を表す第２の表現を生成する。機械学習モデルを用いて、少なくとも１つの仮想オブジェクト及び少なくとも１つの第２の表現を評価し、その評価に少なくとも一部基づいて、少なくとも１つの仮想オブジェクトと現実世界の環境内にある少なくとも１つの利用可能空間との適合を見定める。この適合に基づいて、コンピューティングデバイス上に少なくとも１つの仮想オブジェクトをレンダリングする。【選択図】図４

Description

本開示は、拡張現実及び複合現実のための空間とコンテンツの適合に関する。

今日、拡張現実（augmented reality：ＡＲ）技術や複合現実（mixed reality：ＭＲ）技術の利用が多種多様な分野で進められており、例えば、医療分野、ソーシャルネットワークや社会参画、コミュニケーション、買い物、エンターテインメント産業、旅行、ナビゲーション、教育などの分野で利用が進んでいる。ＡＲとは、ユーザが見ている現実世界の環境に、コンピュータで生成した画像（imagery）を重ね合わせるものである。ＡＲシステムは、映像デバイスを使用して、現実世界の環境の適切な場所に様々な仮想オブジェクトを挿入した状態で、現実世界の環境の連続画像（例えば、動画（video feed））をユーザに表示することができる。例えば、ＡＲシステムは、「テーブル」という現実の物（real-world object）を識別することにより、「コップ」の仮想オブジェクトが「テーブル」の上にあるように（例えば、映像デバイスの視点から）見えるように、「コップ」の仮想オブジェクトを映像デバイス上に表示させることができる。一方、ＭＲとは、一般に、ＡＲの拡張版とされ、環境内で現実の物と仮想オブジェクトとを相互作用させることができるものである。例えば、ＭＲ体験では、ユーザは、ビジュアルコンテンツ（例えば、ゲームや対話型の物語用の描画表現（graphic）など）を、見ている物理環境にオーバーレイさせるように適応させて操作することが可能となる。

ところが、現状では、多くのＡＲ／ＭＲ体験で、ユーザの現実世界の環境に仮想オブジェクトを「溶け込ませる（fit）」ためにユーザのディスプレイデバイスに対して行う仮想オブジェクトの配置やサイズ操作を、ユーザ側に委ねてしまっていた。

しかし、このようにＡＲ／ＭＲ体験の設定をユーザの操作に頼ってしまうことが、ユーザが物理環境の中で没入感のある体験をすることの妨げとなる恐れがあった。

本明細書に記載の一実施形態は、コンピュータで実装される方法である。コンピュータで実装される本方法は、拡張現実（ＡＲ）シミュレーション又は複合現実（ＭＲ）シミュレーションの一部として、現実世界の環境内に配置可能な少なくとも１つの仮想オブジェクトを指示するものを取得するステップを含む。コンピュータで実装される本方法は、コンピューティングデバイスの１つ以上のセンサによる現実世界の環境のスキャンに基づいて、現実世界の環境を表す第１の表現を生成するステップをさらに含む。コンピュータで実装される本方法は、現実世界の環境を表す第１の表現から、現実世界の環境を表す少なくとも１つの第２の表現であって、現実世界の環境内にある少なくとも１つの利用可能空間を示す少なくとも１つの第２の表現を生成するステップをさらに含む。コンピュータで実装される本方法は、１つ以上の機械学習モデルを用いて、少なくとも１つの仮想オブジェクト及び現実世界の環境を表す少なくとも１つの第２の表現を評価し、その評価に少なくとも一部基づいて、少なくとも１つの仮想オブジェクトと現実世界の環境内にある少なくとも１つの利用可能空間とが適合を見定めるステップをさらに含む。コンピュータで実装される本方法は、この適合に基づいて、コンピューティングデバイスのディスプレイ上の位置であって、現実世界の環境内にある少なくとも１つの利用可能空間に関連付けられた位置に、少なくとも１つの仮想オブジェクトをレンダリングするステップをさらに含む。

本明細書に記載の他の実施形態は、コンピューティングデバイスである。本コンピューティングデバイスは、ディスプレイと、１つ以上のセンサと、１つ以上のプロセッサと、命令を記憶するメモリと、を備え、１つ以上のプロセッサ上で命令が実行されると、処理が実行される。本処理は、拡張現実（ＡＲ）シミュレーション又は複合現実（ＭＲ）シミュレーションの一部として、現実世界の環境内に配置可能な少なくとも１つの仮想オブジェクトを指示するものを取得するステップを含む。本処理は、１つ以上のセンサによる現実世界の環境のスキャンに基づいて、現実世界の環境を表す第１の表現を生成するステップをさらに含む。本処理は、現実世界の環境を表す第１の表現から、現実世界の環境を表す少なくとも１つの第２の表現であって、現実世界の環境内にある少なくとも１つの利用可能空間を示す少なくとも１つの第２の表現を生成するステップをさらに含む。本処理は、１つ以上の機械学習モデルを用いて、少なくとも１つの仮想オブジェクト及び現実世界の環境を表す少なくとも１つの第２の表現を評価し、その評価に少なくとも一部基づいて、少なくとも１つの仮想オブジェクトと現実世界の環境内にある少なくとも１つの利用可能空間との適合を見定めるステップをさらに含む。本処理は、この適合に基づいて、ディスプレイ上の位置であって、現実世界の環境内にある少なくとも１つの利用可能空間に関連付けられた位置に、少なくとも１つの仮想オブジェクトをレンダリングするステップをさらに含む。

本明細書に記載の他の実施形態は、コンピュータプログラムコードを含む非一時的なコンピュータ可読媒体を含み、１つ以上のコンピュータプロセッサの動作によってコンピュータプログラムコードが実行されると、処理が実行される。本処理は、拡張現実（ＡＲ）シミュレーション又は複合現実（ＭＲ）シミュレーションの一部として、現実世界の環境内に配置可能な少なくとも１つの仮想オブジェクトを指示するものを取得するステップを含む。本処理は、コンピューティングデバイスの１つ以上のセンサによる現実世界の環境のスキャンに基づいて、現実世界の環境を表す第１の表現を生成するステップをさらに含む。本処理は、現実世界の環境を表す第１の表現から、現実世界の環境を表す少なくとも１つの第２の表現であって、現実世界の環境内にある少なくとも１つの利用可能空間を示す少なくとも１つの第２の表現を生成するステップをさらに含む。本処理は、１つ以上の機械学習モデルを用いて、少なくとも１つの仮想オブジェクト及び現実世界の環境を表す少なくとも１つの第２の表現を評価し、その評価に少なくとも一部基づいて、少なくとも１つの仮想オブジェクトと現実世界の環境内にある少なくとも１つの利用可能空間との適合を見定めるステップをさらに含む。本処理は、この適合に基づいて、コンピューティングデバイスのディスプレイ上の位置であって、現実世界の環境内にある少なくとも１つの利用可能空間に関連付けられた位置に、少なくとも１つの仮想オブジェクトをレンダリングするステップをさらに含む。

上記の各態様を実現するとともに詳細に理解することができるように、上記にて簡単に要約した本明細書に記載の実施形態を、添付の図面を参照しながらより詳細に説明する。

ただし、添付の図面は、典型的な実施形態を例示するものであり、したがって、限定を意図すると見なされるべきものではなく、同様の効果を有する他の実施形態が企図されていることに留意されたい。

一実施形態に係る、例示的な現実拡張デバイスを示すブロック図 一実施形態に係る、ＡＲ／ＭＲ体験の一部として（１つ以上の）仮想オブジェクトの配置と操作を自動的に行うための例示的なワークフローを示すブロック図 一実施形態に係る、ＡＲ／ＭＲ体験の一部として（１つ以上の）仮想オブジェクトの配置と操作を自動的に行うための他の例示的なワークフローを示すブロック図 一実施形態に係る、（１つ以上の）仮想オブジェクトの配置と操作を自動的に行うための方法を示すフローチャート 一実施形態に係る、（１つ以上の）仮想オブジェクトの配置と操作を自動的に行うための他の方法を示すフローチャート

ＡＲ／ＭＲ体験の多くは、ユーザが現実世界の環境の中で仮想オブジェクトを見たり、仮想オブジェクトと仮想的な相互作用を行ったりすることを可能にするものである。この仮想オブジェクトは、仮想現実（virtual reality：ＶＲ）環境、ＡＲ環境、又はＭＲ環境を構成する人、架空のキャラクター、場所、アイテム、ブランドやロゴなどの識別子などのデジタル表現とする（又は、デジタル表現を含む）ことができる。さらに、仮想オブジェクトは、任意の数のユーザが同期しながら持続的に経験することができる仮想世界を描くことができるとともに、同一人性（personal identity）、ユーザ履歴、権利（entitlement）、所有、支払いなどのデータに連続性を持たせることもできる。限定されるものではないが、例えば、ＡＲ／ＭＲ体験によって、ユーザは、特定の現実世界の環境（例えば、居間、職場、寝室などの物理空間）に、様々な仮想家具アイテムを「試し置き（preview）」してみることや、対話型の物語体験の一部として、ユーザの現実世界の環境の中で仮想キャラクターを見たり、相互作用したりすること、対話型ゲームのプレイ中に描画表現を見たり、相互作用したりすること、仮想世界において他の仮想ユーザ（例えば、アバタ）を見たり、相互作用したりすること、などを行うことができる。

しかしながら、従来のＡＲ／ＭＲ体験には、ユーザの現実世界の環境に仮想オブジェクトが溶け込むように、ユーザのコンピューティングデバイスに対して仮想オブジェクトの配置やサイズ調整を行うことを、概ねユーザ側に委ねてしまっているという課題があった。例えば、ユーザがコンピューティングデバイスで対話型の物語体験を新たに始める場合を考えてみよう。その場合、対話型の物語体験の一部として、コンピューティングデバイスは、仮想オブジェクト（例えば、対話型の物語内のキャラクター又はアイテムを表す表現、対話型の物語内の自然の風物や景観などの仮想風景を表す表現など）をコンピューティングデバイス上にレンダリングし、これにより、ユーザは、この仮想オブジェクトをユーザの現実世界の環境内で（コンピューティングデバイスを介して）視覚化することが可能となる。

しかしながら、コンピューティングデバイスが仮想オブジェクトをレンダリングする際に、現実世界の環境の１つ以上の属性（例えば、現実世界の環境のサイズや、現実世界の環境における現実のアイテムのサイズ／配置／向きなど）のコンテキストが欠落した形でレンダリングを行ってしまう恐れがあった。例えば、現実世界の環境に「現実の」物理的なテーブルが含まれており、仮想オブジェクトが仮想キャラクターである場合を考えてみよう。その場合、コンピューティングデバイスは、仮想キャラクターがテーブル脇の床に立っているように見えるのではなく、テーブルの上に立っているように見えてしまう形で、コンピューティングデバイス上に仮想キャラクターをレンダリングしてしまう場合があった。また、これに加えて又は代えて、コンピューティングデバイスが、画面上に不正確なサイズで仮想キャラクターをレンダリングした結果、仮想キャラクターがテーブルに対して不正確な（例えば、コンピューティングデバイスの視点から見てテーブルに対して小さすぎる又は大きすぎる）サイズで見えてしまう場合もあった。

従来のＡＲ／ＭＲ体験では、一般に、仮想オブジェクトの配置やサイズ設定を、ＡＲ／ＭＲ体験の開始時にユーザが行う初回キャリブレーションに頼って行っていた。初回キャリブレーション時に、ユーザに対して、仮想キャラクターをテーブル上に配置して（例えば、コンピューティングデバイスの画面上で仮想キャラクターのサイズを調整することにより）適切なサイズに調整するよう促し、これにより、これ以降の（例えば、最初の仮想オブジェクトと同じ種類又は異なる種類の）仮想オブジェクトを同じテーブル上に同じサイズで配置することができるようにするのである。初回キャリブレーションを行った後は、初回キャリブレーションで設定した時から環境情報が変更されていないという想定の下、それ以降の仮想オブジェクトを自動的に配置することが可能となる。しかし、このように初回キャリブレーションを手動で行うようユーザに委ねると、ユーザを困惑させたり、没入感のある錯覚を起こすのを妨げたり、仮想オブジェクトを操作しようとしてユーザが現実の物に誤ってぶつかってしまったりするなど、ユーザに否定的な体験をさせてしまう恐れがあった。

これに対処するため、本明細書の実施形態では、コンピューティングデバイス上にレンダリングされる（１つ以上の）仮想オブジェクトが現実世界の環境に適合するように、当該（１つ以上の）仮想オブジェクトの属性（例えば、サイズ、配置など）を自動調整する技術を記載する。すなわち、複数の実施形態によれば、ユーザの現実世界の環境が、計画中の（１つ以上の）仮想オブジェクトにどの程度適合しているか又は適合していないかを自動的に判定することにより、ユーザが手動で介入することなく、与えられた現実世界の環境に対する（１つ以上の）仮想オブジェクトの調整やカスタマイズを自動で行うことが可能となる。

以下に記載の一実施形態では、コンピューティングデバイスは、ユーザが置かれている現実世界の環境内にある利用可能空間（例えば、何もない空間（empty space））を表す３次元（３Ｄ）メッシュを生成するように構成された拡張コンポーネントを備えている。この現実世界の環境は、内部物理環境（例えば、室内などの屋内空間）であってもよく、あるいは、外部物理環境（例えば、裏庭、公園などの屋外空間）であってもよい。また、拡張コンポーネントは、現実世界の環境に計画中の（１つ以上の）仮想オブジェクトを（例えば、コンピューティングデバイス上で実行されるＡＲ／ＭＲアプリケーションから）取得することができる。例えば、（１つ以上の）仮想オブジェクトは、ＡＲ／ＭＲ体験に関連付けられた、人、架空のキャラクター、場所、アイテムキャラクター、アイテムなどのデジタル表現とする（又は、デジタル表現を含む）ことができ、（１つ以上の）仮想オブジェクトをコンピューティングデバイス上にレンダリングすることにより、ユーザは、この仮想オブジェクトを現実世界の環境内で視覚化することが可能となる。かかる（１つ以上の）仮想オブジェクトは、（１つ以上の）静的な仮想オブジェクト及び／又は（１つ以上の）動的な仮想オブジェクトを含むことができる。

拡張コンポーネントは、１つ以上の機械学習技術を使用して、（ｉ）現実世界の環境内にある利用可能空間を表す３Ｄメッシュと、（ｉｉ）（１つ以上の）仮想オブジェクトと、を評価することにより、この（１つ以上の）仮想オブジェクトと現実世界の環境内にある利用可能空間との間にある一組の対応関係を特定することができる。例えば、拡張コンポーネントは、かかる特定を行うことにより、対話型で物語を語るＡＲ／ＭＲ体験における「お喋りティーポット（talking teapot）」の仮想オブジェクトを、ユーザのコンピューティングデバイス上で見える現実世界のテーブルの平坦面に適合させることができる。次に、拡張コンポーネントは、コンピューティングデバイスの視点から見て、「お喋りティーポット」の仮想オブジェクトがテーブルの平坦面上に見えるように、自動的に当該仮想オブジェクトをコンピューティングデバイス上にレンダリングすることができる。

これに加えて、いくつかの実施形態では、拡張コンポーネントは、現実世界の環境内にある利用可能空間と（１つ以上の）動的な（例えば、変化する）仮想オブジェクトの間にある複数の対応関係を特定することができる。例えば、拡張コンポーネントは、現実世界の環境内（例えば、室内）に一組のユーザ経路を割り出し、各ユーザ経路ごとに、現実世界の環境内の利用可能空間を表す３Ｄメッシュを特定することができる。

例えば、現実世界の環境内において、ユーザが現実の物（例えば、テーブル）の周りを第１の方向（例えば、右）に歩くことを第１の経路で表現し、ユーザが当該現実の物の周りを第２の方向（例えば、左）に歩くことを第２の経路で表現することができる。かかる例では、拡張コンポーネントは、第１の経路に関連付けられた現実世界の環境内の利用可能空間を第１の３Ｄメッシュで生成し、第２の経路に関連付けられた現実世界の環境内の利用可能空間を第２の３Ｄメッシュで生成することができる。そして、拡張コンポーネントは、機械学習技術を使用して、各ユーザ経路について、それぞれの３Ｄメッシュで表された現実世界の環境内の利用可能空間と（１つ以上の）仮想オブジェクトの間にある対応関係を特定することができる。

そして、現実世界の環境内をユーザが移動するのに従って、拡張コンポーネントは、得られる経路内のユーザの位置を（例えば、コンピューティングデバイスの１つ以上のセンサに基づいて）特定し、当該ユーザの位置と、ユーザの属性（例えば、ユーザの身長やアクセシビリティ上の制約（accessibility limitation））と、対応関係情報とに基づいて、（１つ以上の）仮想オブジェクトを利用可能空間に自動的にレンダリングすることができる。参考例として、対話型のゲーム体験の「スーパーヒーローのキャラクター」の仮想オブジェクトについて考えてみると、ユーザが第１の経路上にいるときには、当該仮想オブジェクトがユーザの第１の側に見えるようにレンダリングすることができ、ユーザが第２の経路上にいるときには、当該仮想オブジェクトがユーザの他方の側である第２の側に見えるようにレンダリングすることができる。

このように、複数の実施形態によれば、ＡＲ／ＭＲ体験の一部としてユーザのコンピューティングデバイス上に配置される（１つ以上の）仮想オブジェクトの配置と操作を自動的に行うことができ、ユーザに手動で当該仮想オブジェクトを操作してもらうことに頼らずこれを行うことが可能となる。その結果、複数の実施形態によれば、コンピューティングデバイスに、個々のユーザに合わせた動的なＡＲ／ＭＲ体験を、複数のユーザや現実世界の環境に自動的に適応するように生成させることが可能となる。

なお、以下の実施形態の多くで、本明細書に記載の仮想オブジェクトの配置と操作を自動で行う技術を利用可能なＡＲ／ＭＲ体験の参考例として、対話型の物語体験を用いている。しかしながら、本明細書に記載の技術は、例えば、買い物、旅行、社会的交流（例えば、「マルチバース（multiverse）」）、ナビゲーション、ゲームなどの多種多様なＡＲ／ＭＲ体験で使用できるものであることを留意されたい。

図１は、一実施形態に係る、拡張コンポーネント１３４を備えて構成される現実拡張デバイス１１０を示すブロック図である。現実拡張デバイス１１０は、一般に、例えば、スマートフォン、タブレット端末、ノート型コンピュータ、ヘッドセット、バイザー（visor）、頭部装着ディスプレイ（head mounted display：ＨＭＤ）、眼鏡などの種々のコンピューティングデバイスを指している。現実拡張デバイス１１０は、ＡＲ対応コンピューティングデバイス、ＭＲ対応コンピューティングデバイス、又はＡＲ／ＭＲ対応コンピューティングデバイスとすることができる。現実拡張デバイス１１０は、ＡＲ／ＭＲ体験の一部として仮想オブジェクトの配置と操作を自動で行うための、本明細書に記載の１つ以上の技術を実装することができる。

現実拡張デバイス１１０は、プロセッサ１２０と、メモリ１３０と、記憶装置１４０と、１つ以上のカメラ１５０と、１つ以上のディスプレイデバイス１６０と、１つ以上のセンサ１７０と、ネットワークインタフェース１８０とを備えている。プロセッサ１２０は、任意の数の処理要素を指しており、任意の数の処理コアを備えることができる。メモリ１３０は、揮発性メモリ、不揮発性メモリ、及びそれらの組み合わせを含むことができる。メモリ１３０は、一般に、現実拡張デバイス１１０上でホストされるアプリケーション（例えば、アプリケーション１３２）に関連する種々の機能を実行するためのプログラムコードを含んでいる。

アプリケーション１３２は、クライアントサーバアプリケーション（又は、他の分散型アプリケーション）コンポーネントを指す。アプリケーション１３２は、「シン（thin）」クライアントとすることができ、処理実行の指示の大半はアプリケーション１３２側で行うが、処理の実行は、バックエンドのサーバ（図示せず）のコンピューティングシステム、又は現実拡張デバイス１１０にインストールした従来のソフトウェアアプリケーションで行う構成とすることができる。このアプリケーション１３２が、拡張コンポーネント１３４を備える。拡張コンポーネント１３４の詳細は後述する。

記憶装置１４０は、ディスクドライブ記憶装置とすることができる。なお、図では、記憶装置１４０を単独のユニットとして示しているが、記憶装置１４０は、固定記憶デバイス及び／又は着脱可能な記憶デバイスの組み合わせとすることができる。かかる記憶デバイスとしては、固定ディスクドライブ、着脱可能なメモリカード、又は光学記憶装置、ネットワーク接続型記憶装置（ＮＡＳ）、又はストレージエリアネットワーク（ＳＡＮ）が挙げられる。ネットワークインタフェース１８０は、現実拡張デバイス１１０がデータ通信ネットワークを介してコンピューティング環境内の他のコンピュータ及び／又はコンポーネント（例えば、外部ユニット１９０）と通信することを可能にする任意の種類のネットワーク通信インタフェースとすることができる。

（１つ以上の）ディスプレイデバイス１６０と（１つ以上の）カメラ１５０は、ユーザが、現実拡張デバイス１１０が置かれている現実世界の環境を、現実拡張デバイス１１０の視点から見ることを可能にするものである。例えば、（１つ以上の）カメラ１５０は、視覚的な場面（visual scene）を取り込むことができる。本明細書において、視覚的な場面とは、現実拡張デバイス１１０を使用している現実世界の環境の（１つ以上の）眺め（view）を指す。例えば、視覚的な場面は、現実世界の環境の連続画像（例えば、動画（video feed））とすることができる。視覚的な場面は、（１つ以上の）ディスプレイデバイス１６０上に表示することができる。例えば、（１つ以上の）カメラ１５０を起動することにより、（（１つ以上の）ディスプレイデバイス１６０に）視覚的な場面を映し出すことができ、この視覚的な場面の上に仮想オブジェクトをオーバーレイできるようになる。（１つ以上の）ディスプレイデバイス１６０としては、（１つ以上の）液晶ディスプレイ（ＬＣＤ）、（１つ以上の）発光ダイオード（ＬＥＤ）、（１つ以上の）有機発光ダイオードディスプレイ（ＯＬＥＤ）、又は（１つ以上の）量子ドット（ＱＤ）ディスプレイなどの、信号から光への物理的変換を行う任意の適切な表示技術が挙げられる。（１つ以上の）カメラ１５０は、当該カメラ１５０の視野内にある現実の物を識別するための画像認識ソフトウェア（例えば、メモリ１３０に格納される）と連携するように設けることができる。

（１つ以上の）センサ１７０は、現実世界の環境から情報を感知するように構成される。一実施形態では、（１つ以上の）センサ１７０は、加速度計、ジャイロスコープ、又はそれらの組み合せを含む。加速度計は、現実拡張デバイス１１０に働く加速力を測定することができ、現実拡張デバイス１１０が動いているか否かや、どの方向に動いているかに関する情報を提供することができる。また、加速度計を使って、現実拡張デバイス１１０の傾きを特定することもできる。ジャイロスコープは、現実拡張デバイス１１０の向きを測定することができ、現実拡張デバイス１１０が水平であるか否か、又は１つ以上の平面（plane）における現実拡張デバイス１１０の傾きが何度であるかについての情報を提供することができる。一実施形態では、加速度計とジャイロスコープとを組み合わせることにより、重力を基準としたピッチとロールで、現実拡張デバイス１１０の方向感覚の情報を提供することもできる。

一般に、現実拡張デバイス１１０は、現実拡張デバイス１１０の向き（例えば、傾き）を特定するための構成として、任意の数のセンサを備えることができ、且つ／又は、本明細書に記載の機能に適した任意の技術若しくは技術の組み合わせを利用することができる。同様に、（１つ以上の）センサ１７０も、様々な種類のセンサを含むことができ、加速度計及びジャイロスコープに限定されるものではない。限定されるものではないが、他の種類のセンサ１７０として、光検出と測距（Light Detection and Ranging：ＬｉＤＡＲ）センサ、全地球測位システム（Global Positioning System：ＧＰＳ）受信器、又は慣性計測装置（inertial motion unit：ＩＭＵ）などの、現実世界の環境における現実拡張デバイス１１０の姿勢や位置に関する情報を提供する任意の種類のセンサが挙げられる。

拡張コンポーネント１３４は、一般に、ユーザが現実世界の環境の中で、（１つ以上の）仮想オブジェクトを視覚化したり、仮想的な相互作用を行ったりすることを可能にするものである。本明細書に記載の実施形態では、拡張コンポーネント１３４は、現実世界の環境の視覚的な場面の上にオーバーレイされる仮想オブジェクトの配置と操作を自動的に行うことができる。拡張コンポーネント１３４は、視覚化ツール１３６と経路策定ツール１３８とを備え、そのいずれもが、ソフトウェアコンポーネント、ハードウェアコンポーネント、又はそれらの組み合せをそれぞれ含むことができる。視覚化ツール１３６と経路策定ツール１３８の詳細は後述する。

いくつかの実施形態では、現実拡張デバイス１１０は、外部ユニット１９０を使って及び／又は外部ユニット１９０と相互作用して、ユーザにＡＲ／ＸＲ体験を提供することもできる。かかる実施形態では、現実拡張デバイス１１０の１つ以上のコンポーネントを、外部ユニット１９０内に含めることができる。例えば、外部ユニット１９０がＡＲヘッドセットを含み、ＡＲヘッドセットに、（１つ以上の）ディスプレイデバイス１６０、（１つ以上の）カメラ１５０、及び／又は（１つ以上の）センサ１７０を設けることができる。ＡＲヘッドセットは、ユーザ装着型のヘッドセットとすることができる。かかるユーザ装着型のヘッドセットとしては、ＨＭＤ、眼鏡、ＡＲ／ＭＲ眼鏡、ＡＲ／ＭＲバイザー、ヘルメットなどを挙げることができる。ＡＲヘッドセットが現実拡張デバイス１１０とは別体とされる実施形態では、ＡＲヘッドセットは、現実拡張デバイス１１０に通信可能に接続され、本明細書に記載の技術を実現するように拡張コンポーネント１３４と情報交換することができる。

図２は、一実施形態に係る、ＡＲ／ＭＲ体験の一部として（１つ以上の）仮想オブジェクトの配置と操作を自動的に行うための例示的なワークフロー２００を示すブロック図である。ワークフロー２００は、拡張コンポーネント１３４、現実拡張デバイス１１０の１つ以上のコンポーネント、又はその任意の組み合わせにより実施することができる。

一実施形態では、拡張コンポーネント１３４は、環境表現２０２を生成することができる。環境表現２０２は、一般に、現実拡張デバイス１１０が置かれている現実世界の環境を表す３Ｄ点群又は３Ｄメッシュである。この環境表現２０２を、拡張コンポーネント１３４は、（１つ以上の）カメラ１５０及び／又は（１つ以上の）センサ１７０（例えば、ＬｉＤＡＲセンサ）を用いて現実世界の環境に対して行う初回スキャンの一部として生成することができる。拡張コンポーネント１３４は、現実世界の環境をスキャンするようにユーザを促すことができる。例えば、屋内環境をスキャンする場合であれば、ユーザは、当該屋内環境内の床や、壁、（１つ以上の）現実の物などをスキャンすることができる。また、屋外環境をスキャンする場合には、ユーザは、当該屋外環境内の自然の風物（例えば、木や茂みなど）をスキャンすることができる。一例では、拡張コンポーネント１３４は、スキャン時に（１つ以上の）カメラ１５０を用いて、現実世界の環境内にある複数の表面を検出することができる。（１つ以上の）カメラ１５０で、１枚以上の現実世界の環境の画像を取り込むことができ、拡張コンポーネント１３４は、取り込んだ（１枚以上の）画像に基づいて、現実世界の環境の３Ｄジオメトリを求めることができる。また、他の例では、拡張コンポーネント１３４は、１つ以上のＬｉＤＡＲセンサを用いて現実世界の環境をスキャンしたＬｉＤＡＲスキャン結果に基づいて、現実世界の環境の３Ｄジオメトリを求めることもできる。

拡張コンポーネント１３４は、（１つ以上の）カメラ１５０及び／又は（１つ以上の）センサ１７０に基づき、様々なコンピュータ画像認識（computer vision）技術（例えば、スケール不変特徴量変換（scale-invariant feature transform：ＳＩＦＴ））及び／又はソフトウェア開発キット（ＳＤＫ）（例えば、ＡＲＫｉｔ、ＡＲＣｏｒｅ、ウィキチュード（Wikitude）など）を使用して、現実世界の環境内にある種々の表面の平面ジオメトリを検出することができる。これらのツールのうちの１つ以上を使用して（例えば、ＳＩＦＴを使用して）、拡張コンポーネント１３４は、各画像を処理し、各画像から一組の特徴点（例えば、物体の縁、物体の角隅、物体の中心など）を抽出することができる。拡張コンポーネント１３４は、スキャン時の現実拡張デバイス１１０の移動に従って、複数の画像（すなわち、複数のコマ（frame））を横断して特徴点を追跡することができる。

そして、拡張コンポーネント１３４は、これらの特徴点に対し平面（plane）フィッティングを行い、スケールや向き、位置の点で最も一致度の高い平面を見つけることができる。そして、このように検出した平面は、スキャン時の現実拡張デバイス１１０の移動に従い、（例えば、特徴抽出と平面フィッティングに基づいて）拡張コンポーネント１３４が継続的に更新することができる。このようにして、拡張コンポーネント１３４は、現実世界の環境における種々の表面（surface）に対して平面（plane）を割り出して、環境表現２０２を生成することができる。

場合によっては、環境表現２０２に欠損領域（例えば、穴、隙間など）があることもある。かかる欠損領域は、現実世界の環境に対して行ったスキャンが不適切又は不完全であったことが原因で生じ得るものである。例えば、ユーザがスキャンした領域が、現実世界の環境にあるすべての領域を網羅していない（例えば、屋内環境の天井や屋外環境の空などをスキャンしていない）場合も考えられる。そのような場合、拡張コンポーネント１３４は、コンピュータ画像認識技術（例えば、ポアソン再構成法、オープンソースライブラリ（MeshFixなど））及び／又は深層学習技術（例えば、Point2Mesh、敵対的生成ネットワーク（Generative Adversarial Network：ＧＡＮ）に基づく３Ｄモデル修復法（inpainting）など）を使用して、環境表現２０２が水密メッシュを成すように欠損領域を検出して埋めることができる。欠損領域を検出して埋めるために使用できるアルゴリズムの一例としては、Attene, M著「A lightweight approach to repairing digitized polygon meshes」Visual Computer 26，１３９３－１４０６（２０１０年）に記載のアルゴリズムを挙げることができる。

場合によっては、拡張コンポーネント１３４は、「ｙ－ｕｐ」方向の範囲を点検して、「ｙ－ｕｐ」方向の範囲におけるいくつかの予め定義された閾値（例えば、予め定義された勾配（％））内に、閉じたメッシュがあるかを確認することにより、欠損領域（例えば、屋内環境の天井、屋外環境の空など）の検出を行うこともできる。そして、閉じたメッシュが「ｙ－ｕｐ」範囲内にない場合に、拡張コンポーネント１３４は、上記のコンピュータ画像認識技術及び／又は深層学習技術のいずれかを使用して、環境表現２０２が水密メッシュを成すように「ｙ－ｕｐ」範囲内でメッシュを埋めることができる。

図２に示すように、拡張コンポーネント１３４は視覚化ツール１３６を備えている。視覚化ツール１３６は、一般に、ＡＲ／ＭＲ体験用に（１つ以上の）仮想オブジェクトの視覚化を生成するように構成される。一実施形態では、視覚化ツール１３６は、（１つ以上の）仮想オブジェクト２０８及び環境表現２０２に対する評価に基づいて、仮想オブジェクト２０８の配置と操作（例えば、サイズ及び／又は向きの調整）をどのように自動で行うかを決定することができる。この視覚化ツール１３６は、変換ツール２１０と、適合コンポーネント２２０と、挿入ツール２３０とを備え、これらのいずれもが、ソフトウェアコンポーネント、ハードウェアコンポーネント、又はそれらの組み合せをそれぞれ含むことができる。

変換ツール２１０は、環境表現２０２を受け取って、環境表現２０２に対して１つ以上のコンピュータ画像認識技術を実行することにより、変換環境表現２０４を生成する。一実施形態では、変換環境表現２０４は、現実世界の環境内にある利用可能空間（例えば、何もない空間）を表す３Ｄ点群又は３Ｄメッシュである。例えば、変換ツール２１０は、現実世界の環境内にある利用可能空間を表す３Ｄ点群又は３Ｄメッシュを生成するため、環境表現２０２の逆表現を計算することができる。

適合コンポーネント２２０は、変換環境表現２０４と（１つ以上の）仮想オブジェクト２０８とを受け取る。一実施形態では、（１つ以上の）仮想オブジェクト２０８は、１つ以上の静的な仮想オブジェクトを含む。静的な仮想オブジェクトのそれぞれが、３Ｄメッシュの形態をとることができる。適合コンポーネント２２０は、機械学習技術（例えば、深層学習機械学習モデル）を使用して変換環境表現２０４を評価し、変換環境表現２０４内の利用可能空間に対して、（１つ以上の）静的な仮想オブジェクトを表す３Ｄメッシュを適合させることができる。

いくつかの実施形態では、（適合ステップの一部として）適合コンポーネント２２０は、（１つ以上の）仮想オブジェクト２０８が現実世界の環境内にある利用可能空間に溶け込むように、仮想オブジェクト２０８のサイズ及び／又は向きを自動調整することができる。例えば、（１つ以上の）仮想オブジェクト２０８に「地球（globe）」の仮想オブジェクトが含まれる場合を考えてみよう。その場合、適合コンポーネント２２０は、「地球」のサイズを調整し、現実世界の環境において最大の利用可能空間に浮かべることができる。最大の利用可能空間は、現実世界の環境の種類によって異なると考えられる。一例として、現実世界の環境が居間である場合を考えてみると、最大の利用可能空間は、居間におけるコーヒーテーブルより上方の空間である場合がある。他の例では、最大の利用可能空間が、居間の片隅の何もない空間である場合もある。

いくつかの実施形態では、適合コンポーネント２２０は、（１つ以上の）仮想オブジェクト２０８をどのように変換環境表現２０４内の利用可能空間に適合させるかを決定する際に、仮想オブジェクト２０８のコンテキスト（例えば、セマンティックな意味（semantic meaning））と、現実世界の環境内にある利用可能空間のコンテキストとを考慮することができる。例えば、適合コンポーネント２２０は、セマンティックセグメンテーション（semantic segmentation）を実行して、現実世界の環境内にある現実のアイテムそれぞれの「クラス（class）」の識別と、（１つ以上の）仮想オブジェクト２０８の「クラス」の識別とを行うことができる。

例えば、（１つ以上の）仮想オブジェクト２０８に「犬」の仮想オブジェクトが含まれ、現実世界の環境が、現実世界の環境内に、床上の空間である第１の利用可能空間とテーブル上の空間である第２の利用可能空間とを含む場合を考えてみよう。この特定の例では、適合コンポーネント２２０は、セマンティックセグメンテーションの実行に基づいて、第１の利用可能空間のクラスラベルが「床」であること、第２の利用可能空間のクラスラベルが「テーブル」であること、及び仮想オブジェクトのクラスラベルが「犬」であることを特定することができる。そして、これらのクラスラベルに基づき、適合コンポーネント２２０は、「犬」の仮想オブジェクトを、（クラスラベルが「テーブル」である）第２の利用可能空間ではなく、（クラスラベルが「床」である）第１の利用可能空間に適合させることができる。

いくつかの実施形態では、適合コンポーネント２２０は、（例えば、セマンティック深層学習ニューラルネットワークを利用したセマンティックセグメンテーションの実行に基づき）様々な利用可能空間のセマンティックな意味を自動的に特定することができる。また、他の実施形態では、適合コンポーネント２２０は、基準２１４の形で行われるユーザ入力に基づいて、様々な利用可能空間のセマンティックな意味を特定することもできる。例えば、基準２１４によって、様々な種類の（１つ以上の）仮想オブジェクトと様々な種類の利用可能空間とを適合させることに関するユーザの選好を指定することができる。引き続き上記の例を用いると、基準２１４により、（１つ以上の）「犬」の仮想オブジェクトを、「テーブル」上や「椅子」上などの他の種類の利用可能空間ではなく、「床」上の利用可能空間に適合させるように指定することができる。

引き続き図２を参照すると、適合コンポーネント２２０は、変換環境表現２０４と（１つ以上の）仮想オブジェクト２０８とに対する評価に基づき、対応関係情報２０６を出力する。対応関係情報２０６は、（１つ以上の）仮想オブジェクト２０８のそれぞれと、変換環境表現２０４内にある利用可能空間との間のマッピングを含むことができる。

挿入ツール２３０は、対応関係情報２０６を受け取ってレンダリング情報２１２を生成する。レンダリング情報２１２とは、（１つ以上の）仮想オブジェクト２０８を現実拡張デバイス１１０の（１つ以上の）ディスプレイデバイス１６０上にレンダリングして、仮想オブジェクト２０８が、対応関係情報２０６の中で指示されている適合対象の（現実世界の環境の）利用可能空間に現れるようにするための情報である。いくつかの実施形態では、変換環境表現２０４及び／又は（１つ以上の）仮想オブジェクト２０８に少なくとも一部基づいて、挿入ツール２３０はレンダリング情報２１２を求めることができる。レンダリング情報２１２は、例えば、（１つ以上の）仮想オブジェクト２０８それぞれの、画面空間内における位置（例えば、（１つ以上の）ディスプレイデバイス１６０上の２次元（２Ｄ）位置）を含むことができる。

図３は、一実施形態に係る、ＡＲ／ＭＲ体験の一部として（１つ以上の）仮想オブジェクトの配置と操作を自動的に行うための例示的なワークフロー３００を示すブロック図である。ワークフロー３００は、拡張コンポーネント１３４、現実拡張デバイス１１０の１つ以上のコンポーネント、又はその任意の組み合わせにより実施することができる。一実施形態では、ワークフロー３００を使って、ＡＲ／ＭＲ体験の一部として（１つ以上の）動的な仮想オブジェクトの配置と操作を自動的に行うことができる。

上述の図２に関する説明で述べたように、拡張コンポーネント１３４は、現実拡張デバイス１１０が置かれている現実世界の環境を表現した環境表現２０２を生成することができる。環境表現２０２は、経路予測ツール３７０を備える経路策定ツール１３８に入力することができる。経路予測ツール３７０は、一般に、現実世界の環境を通ってユーザが取る可能性のある、予め定義された一組の経路３８０を割り出すように構成される。各経路３８０は、ユーザが現実世界の環境内を通る際に占める空間の量を表す３Ｄボリュームを含むことができる。経路予測ツール３７０は、例えば、ヒューリスティック探索法、インテリジェントアルゴリズム（例えば、粒子群アルゴリズム、遺伝的アルゴリズムなど）などの様々な経路策定アルゴリズムを実装することができる。

いくつかの実施形態では、一組の経路３８０は、一組のユーザ属性３６０を持つ１人のユーザについての、現実世界の環境を通る様々な経路を含むことができる。例えば、ユーザが大人である場合を考えてみよう。その場合、経路予測ツール３７０は、ユーザ属性３６０の中で指定されているユーザの身長に基づいて、複数の経路３８０を生成することができる。すなわち、各経路３８０は、ユーザの身長（例えば、床からの鉛直方向距離）に一部基づいた３Ｄボリュームを含むことができる。他の実施形態では、一組の経路３８０は、互いに異なる一組のユーザ属性３６０を持つ複数のユーザについての、現実世界の環境を通る様々な経路を含むことができる。例えば、第１の組の経路３８０が、特定の範囲の身長を持つ「大人」ユーザについての様々な経路（例えば、特定の身長範囲に基づく複数の３Ｄボリューム）を含むことができる。同様に、第２の組の経路３８０が、他の特定の範囲の身長を持つ「子ども」ユーザについての様々な経路（例えば、他の特定の身長範囲に基づく複数の３Ｄボリューム）含むことができる。

経路予測ツール３７０は、一組の経路３８０を割り出して、これを視覚化ツール１３６の変換ツール３１０に提供することができる。変換ツール３１０は、図２に関する説明に記載した変換ツール２１０と同様の動作を行うことができる。例えば、変換ツール３１０は、環境表現２０２の逆表現を計算して、一組の経路３８０に対応する複数の変換環境表現３０４を生成することができる。各変換環境表現３０４は、現実世界の環境を通る異なる経路３８０に沿った利用可能空間を表す３Ｄ点群又は３Ｄメッシュとすることができる。

適合コンポーネント３２０は、適合コンポーネント２２０と同様の動作を行うことができる。例えば、適合コンポーネント３２０は、（１つ以上の）仮想オブジェクト２０８と共に変換環境表現３０４（経路３８０に対応）を受け取り、１つ以上の機械学習技術（例えば、（セマンティック）深層学習ニューラルネットワークモデル）を使用してこれらの情報を評価することにより、複数の対応関係情報３０６を割り出すことができる。各対応関係情報３０６は、得られる経路３８０ごとに、（１つ以上の）仮想オブジェクト２０８と、経路３８０に対応する変換環境表現３０４内の利用可能空間との適合を含むことができる。

いくつかの実施形態では、適合コンポーネント２２０と同様に、適合コンポーネント３２０も、適合工程を実行する際に、（１つ以上の）仮想オブジェクト２０８のコンテキスト（例えば、セマンティックな意味）を、変換環境表現３０４の利用可能空間のコンテキストに沿って自動的に考慮するように構成することができる。なお、コンテキストは、セマンティックセグメンテーションの実行に基づいて特定される。また、他の実施形態では、適合コンポーネント３２０は、基準２１４からコンテキストを特定することもできる。

挿入ツール３３０は、挿入ツール２３０と同様の動作を行うことができる。例えば、挿入ツール３３０は、複数の対応関係情報３０６を受け取って、（１つ以上の）仮想オブジェクト２０８を現実拡張デバイス１１０の（１つ以上の）ディスプレイデバイス１６０上にレンダリングするためのレンダリング情報２１２を生成することができる。仮想オブジェクト２０８のレンダリングは、（１つ以上の）仮想オブジェクト２０８が、得られる経路に対応する対応関係情報３０６の中で指示されている当該経路における適合対象の利用可能空間に現れるように行うことができる。また、いくつかの実施形態では、複数の変換環境表現３０４及び／又は（１つ以上の）仮想オブジェクト２０８に少なくとも一部基づいて、挿入ツール３３０はレンダリング情報２１２を求めることができる。

いくつかの実施形態では、挿入ツール３３０は、現実世界の環境内におけるユーザの現在の位置に基づいて、様々な一組のレンダリング情報２１２を出力することができる。例えば、挿入ツール３３０は、ユーザの現在位置を示すセンサデータ３４０を受け取ることができる。そして、このユーザの現在位置に基づいて、挿入ツール３３０は、複数の対応関係情報３０６から、（１つ以上の）仮想オブジェクト２０８のレンダリングを更新するか否かを判定し、更新された一組のレンダリング情報２１２を含めることができる。このように、拡張コンポーネント１３４は、ＡＲ／ＭＲ体験の一部として、現実世界の環境内におけるユーザの現在位置に基づいて、自動的に（１つ以上の）仮想オブジェクトの配置と操作を行うことができる。

図４は、一実施形態に係る、（１つ以上の）仮想オブジェクトの配置と操作を自動的に行うための方法４００を示すフローチャートである。方法４００は、現実拡張デバイス（例えば、現実拡張デバイス１１０）の１つ以上のコンポーネントにより実行することができる。一実施形態では、方法４００は、現実拡張デバイスの拡張コンポーネント（例えば、拡張コンポーネント１３４）によって実行される。

方法４００は、ブロック４０２から開始する。ブロック４０２で、拡張コンポーネントが、１つ以上のカメラ（例えば、カメラ１５０）及び／又は１つ以上のセンサ（例えば、センサ１７０）を使用して現実世界の環境のスキャンを開始する。ブロック４０４で、拡張コンポーネントは、当該スキャンに基づいて、現実世界の環境を表す第１の表現（例えば、環境表現２０２）を生成する。現実世界の環境を表す第１の表現は、現実世界の環境を表す３Ｄ点群又は３Ｄメッシュ（例えば、現実世界の環境にある境界（床、壁など）や現実の物（テーブル、椅子、木など）を表す３Ｄ表現）を含むことができる。

ブロック４０６で、拡張コンポーネントは、現実世界の環境を表す第１の表現に基づいて、現実世界の環境を表す第２の表現（例えば、変換環境表現２０４）を生成する。現実世界の環境を表す第２の表現は、現実世界の環境内にある利用可能空間（例えば、何もない空間）を表す３Ｄ点群又は３Ｄメッシュ（例えば、境界（床など）内の利用可能空間や、現実世界の環境内にある特定の現実の物（テーブルの表面など）より上方又は下方の利用可能空間を表す３Ｄ表現）を含むことができる。一実施形態では、現実世界の環境を表す第２の表現は、現実世界の環境を表す第１の表現の逆表現を計算することにより生成することができる。

ブロック４０８で、拡張コンポーネントは、（例えば、ＡＲ／ＭＲ体験の一部として）現実世界の環境内に配置可能な（１つ以上の）仮想オブジェクト（例えば、（１つ以上の）仮想オブジェクト２０８）を指示するものを取得する。（１つ以上の）仮想オブジェクトは、３Ｄメッシュの形態をとることができる少なくとも１つの静的な仮想オブジェクト又は動的な仮想オブジェクトを含むことができる。

ブロック４１０で、拡張コンポーネントは、１つ以上の機械学習技術を用いて行った、（１つ以上の）仮想オブジェクト及び現実世界の環境を表す第２の表現の評価に基づいて、現実世界の環境を表す第２の表現内にある（１つ以上の）利用可能空間に（１つ以上の）仮想オブジェクトを適合させる。一実施形態では、ブロック４１０の適合ステップが、適合対象の現実世界の環境内にある利用可能空間に合わせて、（１つ以上の）仮想オブジェクトのサイズ及び／又は向きの決定及び／又は調整を行うステップを含むことができる。拡張コンポーネントは、かかる適合内容を示す情報を含む一組の情報（例えば、対応関係情報２０６）を生成することができる。一実施形態では、ブロック４１０の処理は、上述の図２に関する説明で詳しく述べた適合コンポーネント２２０により実行することができる。

ブロック４１２で、拡張コンポーネントは、上述の適合に基づき、（１つ以上の）仮想オブジェクトを現実拡張デバイスのディスプレイデバイス（例えば、（１つ以上の）ディスプレイデバイス１６０）上にレンダリングするための情報（例えば、レンダリング情報２１２）を生成する。例えば、レンダリング情報は、（ｉ）画面空間内のどの位置に（１つ以上の）仮想オブジェクトをレンダリングするか、（ｉｉ）（１つ以上の）仮想オブジェクトをどのような向きにレンダリングするか、又は（ｉｉｉ）（１つ以上の）仮想オブジェクトをどのようなサイズでレンダリングするか、のうちの少なくとも１つを含むことができる。かかるレンダリング情報により、（１つ以上の）仮想オブジェクトが、ブロック４１０で実施した適合に従った適切なサイズ、位置、及び／又は向きで、現実世界の環境内にある利用可能空間に配置されているように見える状態で、ディスプレイデバイス上に現れるようにすることができる。

ブロック４１４で、拡張コンポーネントは、レンダリング情報に従って、（１つ以上の）仮想オブジェクトを現実拡張デバイスのディスプレイデバイス上にレンダリングする。なお、ディスプレイデバイスが外部ユニット（例えば、外部ユニット１９０）の一部である実施形態では、（ブロック４１４で）拡張コンポーネントは、（１つ以上の）仮想オブジェクトを外部ユニットのディスプレイデバイス上にレンダリングすることができる。

図５は、一実施形態に係る、（１つ以上の）仮想オブジェクトの配置と操作を自動的に行うための方法５００を示すフローチャートである。方法５００は、現実拡張デバイス（例えば、現実拡張デバイス１１０）の１つ以上のコンポーネントにより実行することができる。一実施形態では、方法５００は、現実拡張デバイスの拡張コンポーネント（例えば、拡張コンポーネント１３４）によって実行される。

方法５００は、ブロック５０２から入る。ブロック５０２で、拡張コンポーネントが、１つ以上のカメラ（例えば、カメラ１５０）及び／又は１つ以上のセンサ（例えば、センサ１７０）を使用して現実世界の環境のスキャンを開始する。ブロック５０４で、拡張コンポーネントは、当該スキャンに基づいて、現実世界の環境を表す第１の表現（例えば、環境表現２０２）を生成する。現実世界の環境を表す第１の表現は、現実世界の環境を表す３Ｄ点群又は３Ｄメッシュ（例えば、現実世界の環境にある境界（床、壁など）や現実の物（テーブル、椅子など）を表す３Ｄ表現）を含むことができる。

ブロック５０６で、拡張コンポーネントは、現実世界の環境を表す第１の表現に一部基づいて、現実世界の環境を通る一組のユーザ経路（例えば、経路３８０）を生成する。いくつかの実施形態では、拡張コンポーネントは、第１の表現に加えて、１つ以上のユーザ属性（例えば、ユーザ属性３６０）にも基づいて、一組のユーザ経路を生成することができる。一実施形態では、ブロック５０６の処理は、上述の図３に関する説明で詳しく述べた経路策定ツール１３８により実行することができる。

ブロック５０８で、拡張コンポーネントは、現実世界の環境を表す第１の表現と一組のユーザ経路とに基づいて、現実世界の環境を表す複数の第２の表現（例えば、変換環境表現３０４）を生成する。現実世界の環境を表す第２の表現はそれぞれ、現実世界の環境内における異なる経路に沿った利用可能空間を表す３Ｄ点群又は３Ｄメッシュを含むことができる。一実施形態では、現実世界の環境を表す第２の表現はそれぞれ、環境表現２０２における各経路の逆表現を計算することにより生成することができる。

ブロック５１０で、拡張コンポーネントは、（例えば、ＡＲ／ＭＲ体験の一部として）現実世界の環境内に配置可能な（１つ以上の）仮想オブジェクト（例えば、（１つ以上の）仮想オブジェクト２０８）を指示するものを取得する。（１つ以上の）仮想オブジェクトは、３Ｄメッシュの形態をとることができる少なくとも１つの動的な（例えば、変化する）仮想オブジェクトを含むことができる。

ブロック５１２で、拡張コンポーネントは、現実世界の環境を表す第２の表現のそれぞれについて、当該現実世界の環境を表す第２の表現内にある（１つ以上の）利用可能空間に（１つ以上の）仮想オブジェクトを適合させるための一組の情報（例えば、対応関係情報３０６）を生成する。かかる情報の生成は、１つ以上の機械学習技術を用いて行った、（１つ以上の）仮想オブジェクト及び現実世界の環境を表す第２の表現の評価に基づいて行われる。一実施形態では、ブロック５１２の適合ステップが、適合対象の現実世界の環境における各ユーザ経路内の利用可能空間に合わせて、（１つ以上の）仮想オブジェクトのサイズ及び／又は向きの決定及び／又は調整を行うステップを含むことができる。一実施形態では、ブロック５１２の処理は、上述の図３に関する説明で詳しく述べた適合コンポーネント３２０により実行することができる。

ブロック５１４で、拡張コンポーネントは、上述の適合情報及び現実拡張デバイスの現在位置に基づき、（１つ以上の）仮想オブジェクトを現実拡張デバイスのディスプレイデバイス（例えば、（１つ以上の）ディスプレイデバイス１６０）上にレンダリングするための情報（例えば、レンダリング情報２１２）を生成する。例えば、レンダリング情報は、（ｉ）画面空間内のどの位置に（１つ以上の）仮想オブジェクトをレンダリングするか、（ｉｉ）（１つ以上の）仮想オブジェクトをどのような向きにレンダリングするか、又は（ｉｉｉ）（１つ以上の）仮想オブジェクトをどのようなサイズでレンダリングするかのうちの少なくとも１つを含むことができる。かかるレンダリング情報により、（１つ以上の）仮想オブジェクトが、適切なサイズ、位置、及び／又は向きで、現実世界の環境内における現在のユーザの位置に関連付けられた利用可能空間に配置されているように見える状態で、ディスプレイデバイス上に現れるようにすることができる。

ブロック５１６で、拡張コンポーネントは、レンダリング情報に従って、（１つ以上の）仮想オブジェクトを現実拡張デバイスのディスプレイデバイス上にレンダリングする。なお、ディスプレイデバイスが外部ユニット（例えば、外部ユニット１９０）の一部である実施形態では、（ブロック５１６で）拡張コンポーネントは、（１つ以上の）仮想オブジェクトを外部ユニットのディスプレイデバイス上にレンダリングすることができる。

なお、本開示では、様々な実施形態に対して言及を行っているが、本開示は、記載している特定の実施形態に限定されるものではないことを理解されたい。むしろ、本明細書において教示されていることを実装及び実施するために、以下の特徴及び要素を、それらが関連付けられている実施形態が異なっているか否かに関わらず、任意に組み合わせることができることが企図されている。さらに、実施形態の要素を「Ａ及びＢのうちの少なくとも１つ」という形で記述している場合、要素Ａのみを含む実施形態、要素Ｂのみを含む実施形態、及び要素Ａと要素Ｂとを含む実施形態を企図していることが理解されるであろう。さらに、いくつかの実施形態により、考えられる他の解決策にはない利点又は従来技術にはない利点をもたらすことができるとはいえ、所定の実施形態により特定の利点がもたらされるか否かは、本開示の限定事項とはならない。したがって、本明細書に開示の態様、特徴、実施形態、及び利点は、単なる例示に過ぎず、（１項以上の）請求項に明示的に記載されている場合を除き、添付の特許請求の範囲の要素又は限定事項とはみなされない。同様に、「本発明（the invention）」に対して言及した記載についても、これを本明細書に開示の任意の発明的主題を一般化したものと解釈すべきものではなく、（１項以上の）請求項に明示的に記載されている場合を除き、添付の特許請求の範囲の要素又は限定事項とはみなされないものとする。

当業者であれば理解するように、本明細書に記載の実施形態は、システム、方法又はコンピュータプログラム製品として具現化することができる。従って、実施形態は、完全にハードウェアのみの実施形態、完全にソフトウェアのみの実施形態（ファームウェア、常駐ソフトウェア、マイクロコードなどを含む）、又はソフトウェアの側面とハードウェアの側面とを組み合わせた実施形態の形態をとることができ、本明細書では、これらすべてを総称して、「回路」、「モジュール」、又は「システム」と呼ぶ場合がある。さらに、本明細書に記載の実施形態は、コンピュータプログラム製品の形態をとることもでき、１つ以上のコンピュータ可読媒体として具現化するとともに、当該コンピュータ可読媒体上のコンピュータ可読プログラムコードとして具現化することもできる。

コンピュータ可読媒体上に具現化されたプログラムコードは、任意の適切な媒体を用いて伝送することができる。かかる適切な媒体としては、無線、有線、光ファイバケーブル、ＲＦなど、又はこれらの任意の適切な組み合わせが挙げられるが、これらに限定されるものではない。

本開示の実施形態に係る処理を実行するためのコンピュータプログラムコードは、１つ以上のプログラミング言語の任意の組み合わせにより記述することができる。かかるプログラミング言語としては、Java、Smalltalk、Ｃ＋＋などのオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語などの従来の手続き型プログラミング言語、又は同様のプログラミング言語が挙げられる。プログラムコードは、スタンドアロンのソフトウェアパッケージとして、完全にユーザのコンピュータ上のみで実行することや一部をユーザのコンピュータ上で実行することができるほか、一部をユーザのコンピュータ上で実行するとともに一部をリモートコンピュータ上で実行すること、又は完全に遠隔コンピュータ又はサーバ上のみで実行すること、が可能である。後者の場合、任意の種類のネットワーク（ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）など）を介して、遠隔コンピュータをユーザのコンピュータに接続することができるほか、（例えば、インターネットサービスプロバイダを使用してインターネットを介して）外部のコンピュータに接続を行うこともできる。

本明細書では、本開示の実施形態に係る方法、装置（システム）、及びコンピュータプログラム製品を示すフローチャート図やブロック図を参照しながら、本開示の態様を説明している。フローチャート図又はブロック図の各ブロック、及びフローチャート図又はブロック図のブロックの組み合わせは、コンピュータプログラム命令により実施できることが理解されるであろう。そして、これらのコンピュータプログラム命令を、汎用コンピュータ、又は専用コンピュータなどのマシンを形成するプログラム可能なデータ処理装置のプロセッサに提供することにより、かかる命令が、コンピュータなどのプログラム可能なデータ処理装置のプロセッサを介して実行されるようになり、フローチャート図又はブロック図の（１つ以上の）ブロックに特定されている機能／動作を実施する手段をなすことができる。

これらのコンピュータプログラム命令は、コンピュータ又は他のプログラム可能なデータ処理装置などのデバイスに対して、特定の態様で機能するよう指示することが可能なコンピュータ可読媒体に格納して、これにより、コンピュータ可読媒体に格納した命令によって、フローチャート図又はブロック図の（１つ以上の）ブロックに特定されている機能／動作を実施する命令を含む製造物品が生成されるようにすることができる。

また、コンピュータプログラム命令を、コンピュータ又は他のプログラム可能なデータ処理装置などのデバイスにロードして、コンピュータ又は他のプログラム可能な装置などのデバイス上で一連の処理ステップが実行されるようにすることにより、コンピュータ実装プロセスを生成することもでき、これにより、コンピュータ又は他のプログラム可能なデータ処理装置などのデバイス上で実行される命令によって、フローチャート図又はブロック図の（１つ以上の）ブロックに特定されている機能／動作を実施するためのプロセスが提供されるようにすることもできる。

図面に示すフローチャート図及びブロック図は、本開示の種々の実施形態に係るシステム、方法、及びコンピュータプログラム製品の実施態様となり得るアーキテクチャ、機能性、及び動作を示すものである。この意味では、フローチャート図又はブロック図の各ブロックが、そこに特定されている（１つ以上の）論理機能を実装するための１つ以上の実行可能命令を含む、コードのモジュール、セグメント、又は一部を表すと考えることができる。また、いくつかの代替的な実施態様では、ブロックに記載した機能を、図面に記載した順序とは異なる順序で実行できることにも留意されたい。例えば、連続ブロックとして図示されている２つのブロックを、実際には実質的に同時に実行することができるほか、あるいは、関連する機能に応じて、これらのブロックを逆の順序や異なる順序で実行することもできる。また、ブロック図又はフローチャート図の各ブロック、及びブロック図又はフローチャート図のブロックの組み合わせを、そこに特定されている機能又は動作を実行する専用ハードウェアベースのシステムにより実装することができるほか、あるいは専用ハードウェアとコンピュータ命令の組み合わせにより実装することもできることにも留意されたい。

なお、上述の説明は、本開示の実施形態に向けられたものであるが、本開示の基本的な範囲から逸脱しない範囲で、本開示の他の実施形態及びさらなる実施形態を考案することも可能であり、かかる範囲は、以下の特許請求の範囲により規定される。

１１０ 現実拡張デバイス
１２０ プロセッサ
１３０ メモリ
１３２ アプリケーション
１３４ 拡張コンポーネント
１３６ 視覚化ツール
１３８ 経路策定ツール
１４０ 記憶装置
１５０ カメラ
１６０ ディスプレイデバイス
１７０ センサ
１８０ ネットワークインタフェース
１９０ 外部ユニット
２０２ 環境表現
２０４、３０４ 変換環境表現
２０６、３０６ 対応関係情報
２０８ 仮想オブジェクト
２１０、３１０ 変換ツール
２１２ レンダリング情報
２１４ 基準
２２０、３２０ 適合コンポーネント
２３０、３３０ 挿入ツール
３４０ センサデータ
３６０ ユーザ属性
３７０ 経路予測ツール
３８０ 経路

Claims (16)

1. コンピュータで実装される方法であって、
   拡張現実（ＡＲ）シミュレーション又は複合現実（ＭＲ）シミュレーションの一部として、現実世界の環境内に配置可能な少なくとも１つの仮想オブジェクトを指示するものを取得するステップと、
   コンピューティングデバイスの１つ以上のセンサによる前記現実世界の環境のスキャンに基づいて、前記現実世界の環境を表す第１の表現を生成するステップと、
   前記現実世界の環境を表す前記第１の表現から、前記現実世界の環境を表す少なくとも１つの第２の表現であって、前記現実世界の環境内にある少なくとも１つの利用可能空間を示す少なくとも１つの第２の表現を生成するステップと、
   １つ以上の機械学習モデルを用いて、前記少なくとも１つの仮想オブジェクト及び前記現実世界の環境を表す前記少なくとも１つの第２の表現を評価し、その評価に少なくとも一部基づいて、前記少なくとも１つの仮想オブジェクトと前記現実世界の環境内にある前記少なくとも１つの利用可能空間との適合を見定めるステップと、
   前記適合に基づいて、前記コンピューティングデバイスのディスプレイ上の位置であって、前記現実世界の環境内にある前記少なくとも１つの利用可能空間に関連付けられた位置に、前記少なくとも１つの仮想オブジェクトをレンダリングするステップと、
   を含む方法。
2. 前記少なくとも１つの仮想オブジェクトと前記現実世界の環境内にある前記少なくとも１つの利用可能空間との適合を見定めるステップが、前記少なくとも１つの利用可能空間に溶け込むような、前記少なくとも１つの仮想オブジェクトのサイズを割り出すステップを含む、請求項１に記載のコンピュータで実装される方法。
3. 前記少なくとも１つの仮想オブジェクトをレンダリングするステップが、前記少なくとも１つの仮想オブジェクトを、前記コンピューティングデバイスの前記ディスプレイ上に、割り出した前記サイズでレンダリングするステップを含む、請求項２に記載のコンピュータで実装される方法。
4. 前記現実世界の環境を通る前記コンピューティングデバイスの複数の経路を割り出すステップをさらに含み、
   前記少なくとも１つの第２の表現が、前記複数の経路のうちの第１の経路に沿った前記少なくとも１つの利用可能空間を示すものである、請求項１に記載のコンピュータで実装される方法。
5. 前記複数の経路が、第１の高さ範囲に基づく前記現実世界の環境を通る第１の組の経路と、第２の高さ範囲に基づく前記現実世界の環境を通る第２の組の経路とを含む、請求項４に記載のコンピュータで実装される方法。
6. 前記現実世界の環境を通る前記コンピューティングデバイスの複数の経路を割り出すステップをさらに含み、
   前記少なくとも１つの仮想オブジェクトが、前記複数の経路のうちの第１の経路に沿った前記少なくとも１つの利用可能空間に対して適合される、請求項１に記載のコンピュータで実装される方法。
7. 前記少なくとも１つの仮想オブジェクトをレンダリングするステップが、前記第１の経路に沿った前記コンピューティングデバイスの位置を示すセンサデータを受け取るステップを含み、
   前記ディスプレイ上の前記位置が、前記第１の経路に沿った前記少なくとも１つの利用可能空間内の前記コンピューティングデバイスの前記位置に対応するものである、請求項６に記載のコンピュータで実装される方法。
8. 前記少なくとも１つの仮想オブジェクトが静的な仮想オブジェクトである、請求項１に記載のコンピュータで実装される方法。
9. 前記少なくとも１つの仮想オブジェクトが動的な仮想オブジェクトである、請求項１に記載のコンピュータで実装される方法。
10. ディスプレイと、
    １つ以上のセンサと、
    １つ以上のプロセッサと、
    命令を記憶するメモリと、
    を備えるコンピューティングデバイスであって、
    前記１つ以上のプロセッサ上で前記命令を実行した場合に、
    拡張現実（ＡＲ）シミュレーション又は複合現実（ＭＲ）シミュレーションの一部として、現実世界の環境内に配置可能な少なくとも１つの仮想オブジェクトを指示するものを取得するステップと、
    前記１つ以上のセンサによる前記現実世界の環境のスキャンに基づいて、前記現実世界の環境を表す第１の表現を生成するステップと、
    前記現実世界の環境を表す前記第１の表現から、前記現実世界の環境を表す少なくとも１つの第２の表現であって、前記現実世界の環境内にある少なくとも１つの利用可能空間を示す少なくとも１つの第２の表現を生成するステップと、
    １つ以上の機械学習モデルを用いて、前記少なくとも１つの仮想オブジェクト及び前記現実世界の環境を表す前記少なくとも１つの第２の表現を評価し、その評価に少なくとも一部基づいて、前記少なくとも１つの仮想オブジェクトと前記現実世界の環境内にある前記少なくとも１つの利用可能空間との適合を見定めるステップと、
    前記適合に基づいて、前記ディスプレイ上の位置であって、前記現実世界の環境内にある前記少なくとも１つの利用可能空間に関連付けられた位置に、前記少なくとも１つの仮想オブジェクトをレンダリングするステップと、
    を含む処理が実行される、コンピューティングデバイス。
11. 前記少なくとも１つの仮想オブジェクトと前記現実世界の環境内にある前記少なくとも１つの利用可能空間との適合を見定めるステップが、前記少なくとも１つの利用可能空間に溶け込むような、前記少なくとも１つの仮想オブジェクトのサイズを割り出すステップを含む、請求項１０に記載のコンピューティングデバイス。
12. 前記少なくとも１つの仮想オブジェクトをレンダリングするステップが、前記少なくとも１つの仮想オブジェクトを、前記ディスプレイ上に、割り出した前記サイズでレンダリングするステップを含む、請求項１１に記載のコンピューティングデバイス。
13. 前記処理が、前記現実世界の環境を通る前記コンピューティングデバイスの複数の経路を割り出すステップをさらに含み、
    前記少なくとも１つの第２の表現が、前記複数の経路のうちの第１の経路に沿った前記少なくとも１つの利用可能空間をさらに示すものである、請求項１０に記載のコンピューティングデバイス。
14. 前記複数の経路が、第１の高さ範囲に基づく前記現実世界の環境を通る第１の組の経路と、第２の高さ範囲に基づく前記現実世界の環境を通る第２の組の経路とを含む、請求項１３に記載のコンピューティングデバイス。
15. 前記処理が、前記現実世界の環境を通る前記コンピューティングデバイスの複数の経路を割り出すステップをさらに含み、
    前記少なくとも１つの仮想オブジェクトが、前記複数の経路のうちの第１の経路に沿った前記少なくとも１つの利用可能空間に対して適合される、請求項１０に記載のコンピューティングデバイス。
16. 前記少なくとも１つの仮想オブジェクトをレンダリングするステップが、前記第１の経路に沿った前記コンピューティングデバイスの位置を示すセンサデータを受け取るステップを含み、
    前記ディスプレイ上の前記位置が、前記第１の経路に沿った前記少なくとも１つの利用可能空間内の前記コンピューティングデバイスの前記位置に対応するものである、請求項１５に記載のコンピューティングデバイス。

Images