JP2023174650A - 拡張現実感のための装置および方法 - Google Patents

Abstract

【課題】携帯装置で撮影された画像に生成されたコンテンツの画像を重畳する。【解決手段】携帯装置１００によって生成されたコンテンツを現実に投影するためのアクセサリであって、携帯装置に機械的に取り付けるハウジングと、ハウジング内の観察光学素子１０８と、を備え、ハウジングは、シースルーディスプレイを介して、携帯装置によって生成されたコンテンツの画像を現実に投影する。いくつかのアプリケーションでは、携帯装置はスマートフォンである。【選択図】図５ｂ

Description

本発明は、スマートフォンを用いた拡張現実アプリケーションに関する。

拡張現実感は、現実を直接または間接的に見ることを使用し、現実は、追加の情報、通常はコンピュータ生成された情報を現実に重ね合わせることによってさらに増強される。現実を直接見ることを使用する装置は、典型的にはシースルーディスプレイ（Ｓｅｅ-Ｔｈｒｏｕｇｈ Ｄｉｓｐｌａｙ）、すなわち半透明の鏡（通常コンバイナ（Ｃｏｍｂｉｎｅｒ）と呼ばれる）を含み、当該半透明の鏡を通して現実を観察し、重ね合わせた情報と組み合わせることができる。

これらの装置は典型的にはＧＰＳのような位置決め要素と、ジャイロ、加速度計および磁力計を更に含むＩＭＵ（Ｉｎｅｒｔｉａｌ Ｍｅａｓｕｒｅｍｅｎｔ Ｕｎｉｔ：慣性測定装置）のような方向要素とを含む。

そのような拡張現実感装置の例は、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ヘッドマウントディスプレイ）、例えば、マイクロソフトのＨｏｌｏＬｅｎｓである。これらの装置は、典型的には、通常のアイウェアと比較してかさばり、重く、快適性が低く、審美性が低く、高価である。これらの欠点は、ＨＭＤが広く消費者に受け入れられるのを妨げる主な障害の１つである。

これらの欠点を克服するために、拡張現実アプリケーションのために携帯スマートフォンを使用する試みがなされている。携帯スマートフォンには、カメラ、ＧＰＳ、ＩＭＵ、ディスプレイ、プロセッサ、およびワイヤレス接続が内蔵されており、消費者製品として広く使用されている。そのため、携帯スマートフォンは拡張現実感アプリケーションのプラットフォームとして適している。それにもかかわらず、携帯スマートフォンはそれらの表示画面上で現実の間接的な観察のみを可能にする。したがって、拡張現実感のためのスマートフォンアプリケーションが使用されるとき、重ね合わされた情報は、現実そのものではなく、スマートフォンカメラによって取得された現実の画像と組み合わされる。

拡張現実のための携帯スマートフォンアプリケーションは、例えば、ＬａｙａｒおよびＭｅｔａｉｏによって開発されたアプリケーションを含む。

現実を見ることは間接的である、すなわち現実自体とは対照的に現実の画像のみがスマートフォンの表示画面上に現れるので、上述のような携帯スマートフォンアプリケーションは、表示画像が２Ｄであるので、カメラの視野に依存する重大な欠点を有しており、このようなものは、距離感も、オブジェクトのサイズ感も与えず、方向付けを非常に困難にする。

スマートフォン上で拡張現実を提供するための別の試みは、透明な表示スクリーンを有するスマートフォンの導入である。例えば、レノボのＺｕｋ（ｈｔｔｐ：／／ｇａｄｇｅｔｓ．ｎｄｔｖ．ｃｏｍ／ｍｏｂｉｌｅｓ／ｎｅｗｓ／ｌｅｎｏｖｏｓ-ｚｕｋ-ｕｎｖｅｉｌｓ-ｔｒａｎｓｐａｒｅｎｔ-ｄｉｓｐｌａｙ-ｓｍａｒｔｐｈｏｎｅ-ｐｒｏｔｏｔｙｐｅ-７２８０４３）である。このアプリケーションでは、追加情報が表示画面に表示されている間、ユーザは透明なスクリーンを通して現実を見ることができる。主な欠点は、視差のために表示された情報を風景に合わせることができない、すなわち、スマートフォンが安定していてユーザが頭を動かすと、風景上の注釈の位置が変わることである。これは、スマートフォンのディスプレイが近くにある（通常２３ｃｍから３０ｃｍ）のに対し、風景が遠い（通常は数十メートルから数百メートル）ためである。

レノボのＺｕｋ（ｈｔｔｐ：／／ｇａｄｇｅｔｓ．ｎｄｔｖ．ｃｏｍ／ｍｏｂｉｌｅｓ／ｎｅｗｓ／ｌｅｎｏｖｏｓ-ｚｕｋ-ｕｎｖｅｉｌｓ-ｔｒａｎｓｐａｒｅｎｔ-ｄｉｓｐｌａｙ-ｓｍａｒｔｐｈｏｎｅ-ｐｒｏｔｏｔｙｐｅ-７２８０４３）

本発明は、それ自体知られているように通常の携帯スマートフォンを拡張現実デバイスとして使用することによって上記の欠点を克服するが、現実の画像上というよりむしろ現実自体の上に重ね合わされる情報を組み合わせることのさらなる強化を伴う。このようにして、本発明は、以下で明らかになるように、重ね合わせを視差なしで組み合わせることを提供する。

本発明による拡張現実システムはまた、スマートフォン位置、カメラの向き、およびオブジェクト画像を使用して、建物などのユーザによる現実のオブジェクトの指定、およびストリートビューなどのデータベースからのその位置の抽出を可能にする。

同様に、オブジェクトの位置が分かっているとき、システムはユーザにオブジェクトを向けてそのオブジェクトを指定することができる。

どちらの場合も、オブジェクトが指定されると、そのオブジェクトの高解像度画像をストリートビューなどのデータベースから抽出できる。

オブジェクトの高解像度画像がデータベースから抽出されると、その画像を現実に重ね合わせることができ、ユーザによる電子ズームインおよびズームアウト操作を実行することが可能になる。

そのようなデータベースがない場合、ディープラーニング（すなわち、ヤン・ルクン、ヨシュア・ベンギオ＆ジェフリー・ヒントン、「ディープラーニング」、ネイチャー、ｖｏｌ．５２１、ｐｐ４３６‐４４４，２０１５）のような既知のトレーニング方法を使用して、画像に基づいて既知の座標に頼ることなく、オブジェクトの画像から、オブジェクトまでの距離を決定／推定できる。そのような方法を訓練するために、訓練アルゴリズムは、各画像内の少なくとも１つの目標位置への既知の深度（カメラからの画像内の点の距離）を有する大きなデータセットの画像が与えられる。このトレーニングセットから、アルゴリズムは、新しい画像内の所望の位置への距離推定のためのパラメータのセットを自動的に決定する。

本発明を理解し、実際にどのように実施することができるかを見るために、添付の図面を参照しながら、非限定的な例として実施形態を説明する。

ビューワが機械的に取り付けられているスマートフォンを示す本発明の概略図である。 本発明の第１の実施形態によるビューワの機能を示すブロック図である。 本発明の第２の実施形態による、スマートフォンの表示画面に対するビューワの光学部品を概略的に示す図である。 第２の実施形態による、関心領域に対応するスマートフォンの表示画面の一部を概略的に示す図である。 第２の実施形態による、スマートフォンに取り付けられたビューワの絵図である。 スマートフォンの表示画面に関連してビューワの光学部品を絵で示している。 本発明の第３の実施形態を概略的に示すブロック図である。 本発明の異なる実施形態に従ってオブジェクトを指定することができる方法を簡潔化した流れ図である。

いくつかの実施形態の以下の説明では、２つ以上の図に現れるかまたは類似の機能を共有する同一の構成要素は、同一の参照符号によって参照される。

図１は、ビューワ２（アクセサリを構成する）が機械的に取り付けられているスマートフォン１００を示す本発明の実施形態を概略的に示す。ビューワ２は、図２に示すように、光学エンジン２２に結合されたコントローラ２１を含むハウジング１０２を含み、光学エンジン２２は、任意選択でＬｕｍｕｓ ＯＥ-３２とすることができる（ｈｔｔｐ：／／ｌｕｍｕｓ-ｏｐｔｉｃａｌ．ｃｏｍ／＃ｐｌｘ＿ｐｒｏｃｕｃｔｓ＿ｓｅｃｔｉｏｎを参照）。光学エンジン２２は、部分的に透明であるシースルーディスプレイ（コンバイナ）２３を有する。これにより、ユーザは、現実の風景をシースルーディスプレイ２３を通して見ることができる。シースルーディスプレイ２３はまた、スマートフォン１００によって生成されたオーバーレイ情報を風景の上に投影するためにも使用される。

ビューア２の第１の実施形態は、図２にさらに詳細に示されている。コントローラ２１は、ＵＳＢレシーバ２５を有しており、ＵＳＢレシーバ２５は、スマートフォンＵＳＢポート（図示せず）に接続するように構成され、当該スマートフォンによって生成されたＵＳＢ信号を、その構成要素、すなわち、コントロール（Ｉ２Ｃ：Ｉｎｔｅｒ‐Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ。既知の技術）、パワー、ビデオに分割する。また、ＵＳＢレシーバは、ビデオ信号をパラレルの２４ビットＲＧＢ信号に変換する。この変換されたビデオ信号は、フレームレートコンバータ（ＦＲＣ：Ｆｒａｍｅ Ｒａｔｅ Ｃｏｎｖｅｒｔｅｒ）２６に伝達され、フレームレートコンバータ（ＦＲＣ）２６は、変換されたビデオ信号がＦＲＣ２６によって供給されるマイクロディスプレイ２７に適合するようにビデオフレームレートを増加させる。マイクロディスプレイ２７は、有機ＬＥＤ（ＯＬＥＤ：Ｏｒｇａｎｉｃ ＬＥＤ）とすることができるが、ＬＣＯＳ（液晶オンシリコン：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｏｎ Ｓｉｌｉｃｏｎ）であれば、より高い照度が達成される。マイクロディスプレイ２７がＬＣＯＳ技術上に構築されている場合、Ｉ２Ｃ信号は、マイクロディスプレイに照射するＬＥＤ３２の強度を制御するパルス幅変調器（ＰＷＭ：Ｐｕｌｓｅ Ｗｉｄｔｈ Ｍｏｄｕｌａｔｏｒ）２８に供給される。ＬＣＯＳマイクロディスプレイ２７は、結合型光学素子（Ｃｏｕｐｌｅｄ‐ｉｎ ｏｐｔｉｃｓ）３０を介してシースルーディスプレイ２３に画像を送り、結合型光学素子３０は、マイクロディスプレイによって生成された画像をシースルーディスプレイに光学的に投影する。Ｉ２Ｃ信号は、マイクロディスプレイ２７およびＦＲＣ２６を制御するためにも使用される。マイクロディスプレイ２７がＯＬＥＤであるというあまり好ましくないケースでは、ＰＷＭ２８およびＬＥＤ３２は省かれ、Ｉ２Ｃ信号がＯＬＥＤを直接制御する。電力はＵＳＢレシーバ２５を介して関連する構成要素に、すなわち、マイクロディスプレイ２７およびＬＥＤ３２に供給される。あるいは、外部電池（図示せず）を使用してスマートフォン機の電池の消耗を最小限に抑えることができる。

あるいは、スマートフォンのＵＳＢインターフェースを使用する代わりに、Ｍｏｔｏ-Ｚインターフェース（ｈｔｔｐ：／／ｎｅｗａｔｌａｓ．ｃｏｍ／ｍｏｔｏ-ｚ-ｒｅｖｉｅｗ／４４４８５／）などの別のスマートフォン接続を使用することもできる。

シースルーディスプレイ２３に表示される画像は、好ましくは無限遠で現実の風景に重ね合わされるので、風景と重ね合わされた情報との間に視差は存在しない。

別の実施形態が図３および図４に概略的に示されている。ビューワ２のハウジング１０２は、直接またはアダプタを使用して、スマートフォン１００に機械的に取り付けられている。スマートフォンにアクセサリを取り付けるための機械的手段は当技術分野において公知である。例えば、Ｍｉｇｇｏ'ｓ Ｐｉｃｔａｒ ｉＰｈｏｎｅ（登録商標）カメラアクセサリー（ｈｔｔｐｓ：／／ｗｗｗ．ｄｐｒｅｖｉｅｗ．ｃｏｍ／ｎｅｗｓ／１２１９７６３８３５／ｍｉｇｇｏ-ｗａｎｔｓ-ｔｏ-ｄｓｌｒ-ｙｏｕｒ-ｉＰｈｏｎｅ-ｗｉｔｈ-ｔｈｅ-ｐｉｃｔａｒ-ｇｒｉｐ）またはＺｅｉｓｓのレンズアクセサリー（ｈｔｔｐｓ：／／ｐｅｔａｐｉｘｅｌ．ｃｏｍ／２０１６／０１／０６／ｚｅｉｓｓ-ｉｓ-ｊｕｍｐｉｎｇ-ｉｎｔｏ-ｔｈｅ-ｗｏｒｌｄ-ｏｆ-ｓｍａｒｔｐｈｏｎｅ-ｌｅｎｓ-ａｃｃｅｓｓｏｒｉｅｓ／）である。スマートフォンの表示画面２００に表示された情報（この例では、図４の関心領域２０１上の数字「１２３４」）は、ビューワ２によって現実の風景の上に投影される。これが行われる方法を次に説明する。

したがって、全体的に１０８として示される光学素子に向けてミラー１０４から光を向けるために、ビューワ２は、スマートフォンの表示画面２００に向けられた反射面を有するミラー１０４を含む。光学素子１０８は、スマートフォンの表示画面上に表示された情報の画像を、好ましくは無限遠で作成し、これによって風景との視差がなくなる。光学素子１０８は、当該光学素子１０８を上下に移動させるための集光機構（図示せず）と一体化または結合することにより、表示情報が無限遠からの距離、好ましくは数メートルまでの距離で現れるようにできるので、屋内アプリケーション用のビューアとして使用することができる。半透明ミラー（コンバイナ）１０６は、この画像を観察者の眼２０３に向ける。その結果、観察者は、半透明ミラー１０６を介して観察者からも見られる現実の風景の上に重ねて、投影された情報２００'を無限遠に見る。

この実施形態のより詳細な説明は、図５ａおよび５ｂに示される。ビューワ２はスマートフォン１００に取り付けられている。観察者２０３（図３）は、開口部１０３を通して風景と重ね合わせた情報を観察する。

光学素子１０８のさらなる詳細は図５ｂに示されている。光学素子１０８は、２つの同一のダブレット（ｄｏｕｂｌｅｔ）１０８'、１０８”を含み、ミラー１０４を介してダブレットでの合成後焦点面の像がスマートフォンの表示画面２００と一致するように設計される。その結果、スマートフォンの表示画面の画像が無限遠に作成される。図５ｂには、視野の端部における歪みおよび収差を補正するために使用される視野レンズ１０７も示されている。

この実施形態の典型的なパラメータは以下の通りである。
・関心領域２０１の寸法は、４０ｍｍ（水平）および２２．５ｍｍ（垂直）である。
・光学素子１０８は、典型的には７５ｍｍの焦点距離のものであるので、関心領域２０１は、３０°（水平）および１６．７°（垂直）の視野に投影される。

別の実施形態は、マイクロディスプレイ２７の代わりに結合型光学素子３０（図２に示される）への入力としてスマートフォンの表示画面を使用する。

異なる視野をもたらすように異なるパラメータを有する同様の設計を行うことができることは当業者には明らかである。

図６は、結合型光学素子３０に結合されて、スマートフォン表示画面２００上の関心領域２０１からシースルーディスプレイ２３へ画像を直接投影する別の実施形態を示す。結合光学素子は、関心領域２０１の大きさに適合されている。シースルーディスプレイ２３は、Ｇｏｏｇｌｅ Ｇｌａｓｓ、Ｅｐｓｏｎ Ｍｏｖｅｒｉｏ、ＯＤＧ Ｒ-７、Ｖｕｚｉｘ Ｓｍａｒｔ Ｇｌａｓｓｅｓなどのスマートメガネに使用される同様のシースルーディスプレイとすることができる。シースルーディスプレイは、上述したＬｕｍｕｓ ＯＥ-３２（Ｌｕｍｕｓにより「ＬＯＥ」または「反射型光導波路」と呼ばれる）またはＭｉｃｒｏｓｏｆｔ Ｈｏｌｏｌｅｎｓで使用されているものなどの導波路ベースのディスプレイの１つであり得る。

オブジェクト上に（現実にもその画像上にも）関連情報を重ね合わせるためには、オブジェクトを正しく指定すること、すなわちスマートフォンの位置、オブジェクトが見られる方向および距離、ならびにオブジェクトの画像を知るべきことが重要である。これはまた、異なる場所にいる他のビューワへのオブジェクトの指定を可能にするためにも重要である。場合によっては、例えば遠くから見たときに、図１の１０１として示されるスマートフォンカメラを使用する表示画面上でも裸眼でも、オブジェクトを鮮明に観察することができない。このような場合、ユーザに高解像度の画像を提供し、それを（ディスプレイ画面上または現実に）オブジェクト上に重ね合わせることも重要である。

画像を拡大／縮小する方法は２つある。「従来の」方法は、ズームレンズを使用することによって光学素子の焦点距離を変えるために光学ズームを使用することである。焦点距離が増加すると視野は狭くなり（「ズームイン」と呼ばれる）、焦点距離が短くなると視野は広くなる（「ズームアウト」と呼ばれる）。

デジタルカメラで一般的なもう１つの方法は、画像の一部分だけを見て、デジタル技術を使用してそれを拡大してすべての画面領域をカバーすることによって、画像を拡大することである。これは通常「電子ズーム」と呼ばれる。

以下のように、本発明は改善されたズーミングを提供する。オブジェクトが指定されると、そのオブジェクトの高解像度画像がデータベース（ストリートビューなど）から抽出され、現実（またはその画像）に重ね合わされる。このようにして、我々は、スマートフォンを有する観察者がオブジェクトの高解像度画像化を可能にしない距離に位置していても、オブジェクトの高解像度画像を見る能力を提供する。

説明したように、オブジェクトを指定できる方法は、次の２つの方法のいずれかで行うことができる。

１．図７に示すように、ユーザはビューワをオブジェクトに向ける。スマートフォンの位置および方向、ならびにスマートフォンカメラによって取得されたオブジェクトの画像は、ストリートビューなどのデータベースから、オブジェクトデータ、すなわち座標および画像を抽出するために使用される。これは次のようにして行うことができる。スマートフォンカメラの位置と方向を使用して、オブジェクトの粗い位置が計算される。スマートフォンカメラによって取得されたオブジェクトの画像は、この粗い位置でストリートビューデータベースの画像と照合され、オブジェクトはストリートビューデータベースで識別される。ストリートビューデータベースには、ストリートビューカメラの位置と共にカメラからオブジェクトまでの距離と方向が含まれている。このデータを使用して、オブジェク トの位置を特定することができる。

２．システムは、オブジェクトの既知の位置座標を使用してユーザをそのオブジェクトに向ける。既知の座標は、ストリートビューなどのデータベースにも送信される。

どちらの場合も、オブジェクトの高解像度画像がデータベースから抽出されると、その画像はスマートフォンの位置から見たように見え、現実に重ね合わされるように変換され、ユーザによる電子ズームインおよびズームイン操作を実行することが可能になる。

Claims (17)

1. 携帯装置（１００）によって生成されたコンテンツを現実に投影するためのアクセサリ（２）であって、
   前記携帯装置に機械的に取り付けるように構成されたハウジング（１０２）と、
   前記ハウジング内の観察光学素子（１０８）と、
   を備え、
   前記ハウジングは、シースルーディスプレイ（２３）を介して、前記携帯装置によって生成されたコンテンツの画像を現実に投影するように構成された、アクセサリ。
2. 前記携帯装置（１００）がスマートフォンである、請求項１に記載のアクセサリ。
3. 電気信号を受信し、当該電気信号を前記観察光学素子によって現実に投影するための画像に変換するように構成されたコントローラ（２１）をさらに含む、請求項１または２に記載のアクセサリ。
4. 前記コンテンツが前記携帯装置の表示画面（２００）に表示され、前記観察光学素子（１０８）が、前記携帯装置の前記表示画面に表示される前記画像の少なくとも一部分を取得するように構成されると共に、前記画像の前記一部分を外部現実に投影するように構成される、請求項１から３のいずれか一項に記載のアクセサリ。
5. 前記シースルーディスプレイは半透明ミラー（１０６）である、請求項４に記載のアクセサリ。
6. 前記シースルーディスプレイは光導波路である、請求項４に記載のアクセサリ。
7. 空間内の既知の位置を有する携帯カメラ（１０１）によって撮像されたオブジェクトの空間内の位置を決定するための方法であって、
   前記カメラの前記既知の位置を、前記オブジェクトに対する視線方向と組み合わせて使用すると共に、複数のオブジェクトの複数の画像とこれらのそれぞれの位置に関する情報とを含むデータベース内でレコードを見つけるために前記オブジェクトの前記画像と組み合わせて使用することと、
   前記データベースから前記オブジェクトの位置を抽出することと、
   を含む、方法。
8. 前記データベースから前記オブジェクトの高解像度画像を抽出することを含む、請求項７に記載の方法。
9. 前記カメラの前記位置から観察された前記オブジェクトの画像を作成するために、前記データベースから抽出された前記画像を変換することを含む、請求項８に記載の方法。
10. 表示画面上に前記画像を表示することを含む、請求項７から９のいずれか一項に記載の方法。
11. 前記画像を現実の画像に重ね合わせることを含む、請求項１０に記載の方法。
12. 前記画像を現実に重ね合わせることを含み、前記表示画面がシースルーディスプレイである、請求項１０に記載の方法。
13. 位置が既知のオブジェクトの画像を投影する方法であって、
    複数のオブジェクトの複数の画像とこれらのそれぞれの位置に関する情報とを含むデータベース内でレコードを見つけるために前記オブジェクトの前記既知の位置を使用することと、
    前記データベースから前記オブジェクトの位置を抽出することと、
    前記画像を現実の上に重ねてシースルーディスプレイに表示することと、
    を含む、方法。
14. データベースから、第１の既知の位置を有するオブジェクトの画像を抽出し、第２の既知の位置にあるシースルーディスプレイに表示する方法であって、前記データベースは、複数のオブジェクトの複数の画像およびこれらのそれぞれの位置を含み、前記方法は、
    前記オブジェクトに対応するデータベース内のレコードを見つけるために前記オブジェクトの前記第１の既知の位置を使用することと、
    前記データベースから前記オブジェクトの画像を抽出することと、
    前記シースルーディスプレイの前記第２の既知の位置から観察されるように前記オブジェクトの画像を生成するように前記画像を変換することと、
    変換された前記画像を、現実または現実の画像と重ね合わせてシースルーディスプレイ上に表示することと、
    を含む、方法。
15. 前記表示画像を電子的にズームインまたはズームアウトすることを含む、請求項１０から１４のいずれか一項に記載の方法。
16. オブジェクトとカメラとの間の距離を推定するための方法であって、
    カメラによって取得されたオブジェクトの画像とディープラーニングとを使用することを含む方法。
17. 前記オブジェクトが建物である、請求項１６に記載の方法。

Images