JP2016532218A - シースルー頭部装着型装置に基づいたナビゲーション方法 - Google Patents

シースルー頭部装着型装置に基づいたナビゲーション方法 Download PDF

Info

Publication number
JP2016532218A
JP2016532218A JP2016539534A JP2016539534A JP2016532218A JP 2016532218 A JP2016532218 A JP 2016532218A JP 2016539534 A JP2016539534 A JP 2016539534A JP 2016539534 A JP2016539534 A JP 2016539534A JP 2016532218 A JP2016532218 A JP 2016532218A
Authority
JP
Japan
Prior art keywords
wearer
geo
image
image processing
visual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016539534A
Other languages
English (en)
Other versions
JP6600310B2 (ja
Inventor
ドゥビエーヴル アマンディーヌ
ドゥビエーヴル アマンディーヌ
カリエ ブノワ
カリエ ブノワ
スウィタル マリオン
スウィタル マリオン
Original Assignee
エシロール エンテルナショナル (コンパニ ジェネラル ドプチック)
エシロール エンテルナショナル (コンパニ ジェネラル ドプチック)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エシロール エンテルナショナル (コンパニ ジェネラル ドプチック), エシロール エンテルナショナル (コンパニ ジェネラル ドプチック) filed Critical エシロール エンテルナショナル (コンパニ ジェネラル ドプチック)
Publication of JP2016532218A publication Critical patent/JP2016532218A/ja
Application granted granted Critical
Publication of JP6600310B2 publication Critical patent/JP6600310B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Optics & Photonics (AREA)
  • Navigation (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Traffic Control Systems (AREA)

Abstract

シースルー頭部装着型装置の装用者のためのナビゲーション方法であって、・− 装用者視覚化パラメータ提供ステップ(S1)であって、少なくとも1つの装用者視覚化パラメータが提供されるステップと、・− ジオ位置判定ステップ(S2)であって、ルートに沿った装用者のジオ位置が判定されるステップと、・− ジオ位置比較ステップであって、ジオ位置判定ステップにおいて判定された装用者のジオ位置が、ルートに沿った保存されているジオ位置と比較されるステップと、・− ナビゲーション視覚支援機能適合ステップ(S3)であって、装用者のジオ位置が保存されているジオ位置のうちの1つとマッチングした際に、ナビゲーション視覚支援機能が、装用者のガイダンスを促進するべく、装用者視力パラメータ及び装用者のジオ位置に基づいて適合されるステップとを有する、方法。

Description

本発明は、シースルー頭部装着型装置の装用者のためのナビゲーション方法と、プロセッサによって実行される際にプロセッサに本発明の視覚支援ガイダンスナビゲーション方法のステップを実行させる命令を有するコンピュータプログラムと、コンピュータプログラムの命令を保持するコンピュータ可読媒体とに関する。
例えば、GPS技術に基づいたナビゲーション装置が周知である。このような装置は、通常は、表示画面上において視覚情報を提供すると共に、通常は、オーディオ情報を提供する。
ユーザーに対して提供される情報は、装用者の位置と、ユーザーによって規定された「行き先」地点とに基づいたものである。装置は、保存されている地図及びユーザーパラメータに基づいてルートを算出し、且つ、ユーザーに対してガイダンスナビゲーションを提供する。
このような装置は、弱視のユーザーに対して、或いは、更に一般的には、眼科欠陥を有するユーザーに対して、適合されてはいない。
このような装置を使用した眼科欠陥を有するユーザーの移動は、困難であり、ルートの誤りが増加し、且つ、移動時間が長くなる。
従って、眼科欠陥を有するユーザー対して、特に視覚欠陥を有するユーザーに対して、適合された視覚支援ガイダンスナビゲーション方法を提供することが望ましい。
装用者の視覚的快適性を改善するべく、装用者に対して特別に適合されたカスタマイズされた方法で画像及びテキストが表示される視覚支援ガイダンスナビゲーション方法を提供することが望ましい。
更には、ユーザーナビゲーションを最適化すると共に眼科欠陥を有するユーザーの移動を合理化する視覚支援ガイダンスナビゲーション方法を提供することが望ましい。
本発明の目的は、このような方法を提供することである。
本発明は、一般的には、頭部装着型装置を伴う視覚支援ガイダンスナビゲーション用の方法及びシステムを提供し、この場合に、装用者に固有の視覚化パラメータを考慮することにより、ナビゲーションのカスタマイズが実現されている。このような視覚化パラメータは、装用者の処方データなどの装用者の眼科データに関係したパラメータを含む。
本発明によれば、装用者に固有の視覚化パラメータを考慮することにより、装用者の視覚的経験及びナビゲーションの品質を改善することができる。
これを目的として、本発明は、シースルー頭部装着型装置の装用者のためのナビゲーション方法を提案し、方法は、
− 装用者視覚化パラメータ提供ステップであって、少なくとも1つの装用者視覚化パラメータが提供されるステップと、
− ジオ位置判定ステップであって、ルートに沿った装用者のジオ位置(geo−position)が判定されるステップと、
− ジオ位置比較ステップであって、ジオ位置判定ステップにおいて判定された装用者のジオ位置が、ルートに沿った保存されているジオ位置と比較されるステップと、
− ナビゲーション視覚支援機能適合ステップであって、装用者のジオ位置が保存されているジオ位置のうちの1つとマッチングした際に、特に、装用者のガイダンスを促進するべく、ナビゲーション視覚支援機能が装用者視力パラメータと装用者のジオ位置との両方に基づいて適合されるステップと
を有し、
− この場合に、ナビゲーション視覚支援は、シースルー頭部装着型装置によって提供される。
有利には、装用者視力パラメータ及び装用者のジオ位置に基づいてルートに沿った頭部装着型装置のナビゲーション視覚支援機能を適合させることにより、本発明の方法は、装用者の眼科欠陥に対して適合された視覚ガイダンスナビゲーション方法を提供する。
装用者の移動が改善されると共に促進される。
更には、本発明の方法によれば、装用者の移動を促進する装用者の眼科欠陥に対して適合されたルートのカスタマイズされた認識機能を装用者に対して提供することができる。更には、それぞれの装用者の眼科欠陥に対して適合された事前記録カスタムルートによれば、ルートに沿った頭部装着型装置による処理及び表示の最適化が可能であり、この結果、ルートに沿って強力な眼科欠陥を有する装用者を支援するための選択的且つ定性的な情報の提供が可能である。
単独で又は任意の可能な組合せにおいて検討されうる更なる実施形態によれば、
− 頭部装着型装置は、表示装置を有し、且つ、ナビゲーション視覚支援機能適合ステップは、
− 処理済み画像選択ステップであって、装用者のジオ位置が保存されているジオ位置のうちの1つとマッチングした際に、装用者のジオ位置にマッチングした保存されているジオ位置と関連付けられた処理済みの画像のうちの少なくとも1つが、装用者視覚化パラメータに従って選択されるステップと、
− 表示ステップであって、装用者の視覚環境の処理済みの画像が、シースルー頭部装着型表示装置により、装用者に対して表示されるステップと
を更に有し、
− 頭部装着型装置は、表示装置と、装用者の視覚環境の画像を取得するように適合されたカメラとを有し、且つ、ナビゲーション視覚支援機能適合ステップは、
− 画像取得ステップであって、装用者の視覚環境の少なくとも1つの画像が、カメラによって取得されるステップと、
− 画像処理選択ステップであって、装用者のジオ位置が保存されているジオ位置のうちの1つとマッチングした際に、装用者のジオ位置にマッチングした保存されているジオ位置と関連付けられた画像処理のうちの少なくとも1つが、装用者視覚化パラメータに従って選択されるステップと、
− 画像処理ステップであって、画像取得ステップにおいて取得された視覚環境の画像が、画像処理選択ステップにおいて選択された画像処理に従って処理されるステップと、
− 表示ステップであって、視覚環境の処理済みの画像が、シースルー頭部装着型表示装置により、装用者に対して表示されるステップと
を更に有し、且つ/又は、
− ナビゲーション視覚支援機能適合ステップは、
− 画像要素識別ステップであって、装用者の視覚環境の画像が、予め定義された要素リスト内において列挙されている少なくとも1つの予め定義された要素を識別するべく分析され、予め定義された要素のそれぞれは、少なくとも1つの画像処理と関連付けられているステップを更に有し、及び
− 画像処理選択ステップにおいて、予め定義された要素リスト内において列挙されている予め定義された要素のうちの1つに対応する装用者の視覚環境の画像の要素を識別する際に、装用者の視覚環境の画像内において識別された予め定義された要素と関連付けられた画像処理が選択され、且つ/又は、
− 方法は、
− 視覚環境パラメータ判定ステップであって、少なくとも1つの視覚環境パラメータが判定されるステップを更に有し、及び
− 画像処理選択ステップにおいて、画像処理が、視覚環境パラメータに従って選択され、且つ/又は、処理済み画像選択ステップにおいて、処理済みの画像が、視覚環境パラメータに従って選択され、且つ/又は、
− 方法は、
− 送信ステップであって、ジオ位置が、少なくとも1つの画像処理と関連付けられた保存されているジオ位置と比較されるべく、離れたエンティティに送信されるステップと、
− 受信ステップであって、選択された画像処理が、離れたエンティティから受信されるステップと
を更に有し、且つ/又は、
− 方法は、
− 送信ステップであって、ジオ位置が、少なくとも1つの画像処理と関連付けられた保存されているジオ位置と比較されるべく、離れたエンティティに送信され、且つ、装用者の視覚環境の取得された画像が、ジオ位置と関連付けられた画像処理に基づいて処理されるべく、離れたエンティティに送信されるステップと、
− 受信ステップであって、処理済みの画像が、離れたエンティティから受信されるステップと
を更に有し、且つ/又は、
− 離れたエンティティは、スマートフォン及び/又はスマートウォッチであり、且つ/又は、
− 方法は、装用者のジオ位置に基づいて、視覚環境の処理済みの画像に基づく補完的な視覚情報を表示するステップを更に有し、且つ/又は、
− 頭部装着型表示装置は、能動的機能と、能動的機能を制御するように構成された制御ユニットとを有し、且つ、能動的機能は、ナビゲーション視覚支援機能適合ステップにおいて適合され、且つ/又は、
− 方法は、装用者のジオ位置に基づいて装用者に対してオーディオ通知を提供するステップを更に有し、且つ/又は、
− 方法は、装用者識別子と前記装用者視覚化パラメータとの間の関連付けをデータベース内において事前登録するステップを更に有し、且つ/又は、
− 前記装用者視覚化パラメータのうちの少なくとも1つは、装用者識別子との関連において、ネットワークを介して頭部装着型装置に接続されたサーバー上の装用者データベース内に保存され、且つ/又は、
− 方法は、少なくともルートをデータベース内において事前登録する予備的ステップを更に有し、この予備的ステップは、
− 関連付けステップであって、ジオ位置判定ステップにおいて判定されたルートに沿ったジオ位置が、少なくとも1つのナビゲーション視覚支援機能変更と関連付けられるサブステップと、
− 保存ステップであって、ジオ位置及び関連付けられた少なくとも1つのナビゲーション視覚支援機能変更が保存されるサブステップと
を有し、且つ/又は、
− 予備的ステップは、
− 画像取得ステップであって、装用者の視覚環境の少なくとも1つの画像がカメラによって取得されるステップと、
− 画像処理選択ステップであって、画像処理のうちの少なくとも1つが、装用者視覚化パラメータに従って選択されるステップと、
− 画像処理ステップであって、画像取得ステップにおいて取得された視覚環境の画像が、画像処理選択ステップにおいて選択された画像処理に従って処理されるステップと
を更に有し、及び
− 関連付けステップにおいて、処理済みの画像が、ジオ位置と関連付けられ、且つ/又は、
− ナビゲーション視覚支援機能変更データは、任意選択により、アクセス権限に従って、前記装用者識別子に従って定義され、且つ/又は、
− 関連付けステップは、装用者によって実行され、且つ/又は、
− 方法は、ジオ位置比較ステップの前に、受信ステップであって、ナビゲーション視覚支援機能変更と関連付けられた保存されているジオ位置が、離れたエンティティから受信され、且つ、保存されるステップを更に有し、且つ/又は、
− 予備的ステップは、
− 画像選択ステップであって、少なくとも1つの画像が選択されるステップと、
− 画像処理選択ステップであって、画像処理の少なくとも1つが、装用者視覚化パラメータに従って選択されるステップと、
− 画像処理ステップであって、選択された画像が、画像処理選択ステップにおいて選択された画像処理に従って処理されるステップと
を更に有し、及び
− 関連付けにおいて、処理済みの画像は、ジオ位置と関連付けられる。
本発明は、装置のナビゲーション視覚支援機能を制御するように構成された制御ユニットと、本発明による方法を実装するように適合されたプロセッサとを有する頭部装着型シースルー電気光学装置に更に関する。
更なる態様によれば、本発明は、プロセッサからアクセス可能であると共に、プロセッサによって実行される際にプロセッサに本発明による方法のステップを実行させる命令の1つ又は複数の保存されたシーケンスを有するコンピュータプログラムプロダクトに関する。
本発明は、本発明によるコンピュータプログラムプロダクトの命令の1つ又は複数のシーケンスを保持するコンピュータ可読記憶媒体に更に関する。
更には、本発明は、本発明の方法をコンピュータに実行させるプログラムにも関する。
又、本発明は、その上に記録されたプログラムを有するコンピュータ可読記憶媒体にも関し、この場合に、プログラムは、本発明の方法をコンピュータに実行させる。
本発明は、命令の1つ又は複数のシーケンスを保存すると共に、本発明による方法のステップの少なくとも1つを実行するように適合されたプロセッサを有する装置にも更に関する。
以下、添付図面を参照し、本発明の非限定的な実施形態について説明する。
本発明の一実施形態による方法のステップを表すフローチャートである。 本発明の一実施形態による方法を実装しうる頭部装着型電気光学装置を示す。 本発明のローカル実装形態によるシースルー頭部装着型装置機能適合ステップのサブステップを表すフローチャートである。 本発明のリモート実装形態によるシースルー頭部装着型装置機能適合ステップのサブステップを表すフローチャートである。
本発明について説明するべく、以下の定義が提供される。
「サーバー」SERVは、当技術分野において周知である。サーバーSERVは、広範なネットワークNETWを介して複数の端末TERMに接続されてもよい。ネットワークNETWは、データ送信を許容し、且つ、高周波通信(Wi−Fi、Bluetooth(登録商標)、3G、4Gなど)及び/又は光通信(Li−Fi、IR、近IR、可視など)などの無線通信、並びに/或いは、有線通信(Ethernet(登録商標)、光ファイバ)に依存したものであってもよい。サーバーSERVは、1つ又は複数のデータベースDBを有してもよく、且つ/又は、1つ又は複数のデータベースDBに対して接続されてもよい。
以下において「ローカル」実装形態と呼称される本発明の一実施形態によれば、本発明のステップのすべては、頭部装着型装置内に配置された少なくとも1つのプロセッサによってローカルに実行されている。本発明のこのような実装形態の場合には、頭部装着型装置は、少なくともメモリ及びプロセッサを有する必要がある。
以下において「リモート」実装形態と呼称される本発明の一実施形態によれば、本発明のステップの少なくとも一部分は、少なくとも1つのリモートプロセッサによって実行されている。リモートプロセッサは、ネットワークを介して頭部装着型装置に対してリンクされた離れたサーバーSERV内に配置されてもよい。
「頭部装着型装置」(HMD)は、当技術分野において周知である。このような装置は、装用者の頭部の上部又は周辺において装用される必要がある。これらは、装用者による視覚化のための画像を表示する光学手段を含む。HMDは、単眼(単一の眼)型又は双眼(両方の眼)型であってもよい。本発明のHMDは、眼鏡、スキー又はダイビングマスクなどのマスク、ゴーグルなどを含む様々な形態を有することができる。HMDは、1つ又は複数のレンズを有してもよい。前記レンズは、処方レンズのうちから選択することができる。好適な実施形態においては、HMDは、レンズが提供された眼鏡である。図2には、本発明の頭部装着型装置の一例が示されている。
「視覚化パラメータデータ」(VPD)は、装用者眼科データOD(処方データPD、眼感度データSD、及び生物計測データBD)及び/又は装用者眼データ(ED)のうちの1つ又は複数を含む。前記VPDは、HMD上において構築されたメモリ上に保存されてもよく、且つ/又は、サーバーSERVを介してアクセス可能な専用のデータベースDB上において保存されてもよい。
「装用者眼科データ」又は「眼科データ」ODは、当技術分野において周知である。装用者眼科データは、装用者処方データPD、装用者眼感度データSD、及び装用者眼科生物計測データBDを含む。
「処方データ」PDは、当技術分野において周知である。処方データは、装用者について取得されると共に、それぞれの眼ごとにそれぞれの眼の屈折異常、及び/又は老眼を矯正するのに適した処方された遠見視力の平均屈折力PFV、及び/又は処方された乱視値CYLFV、及び/又は処方された乱視軸AXEFV、及び/又は処方された加入度Aを通知する1つ又は複数のデータを意味している。平均屈折力PFVは、処方された球値SPHFVに処方された乱視値CYLFVの半分の値を合計することにより、得られる(PFV=SPHFV+CYLFV/2)。次いで、近見視力におけるそれぞれの眼の平均屈折力は、同一の眼について処方された遠見視力の平均屈折力PFVに処方された加入度Aを合計することにより得られる(PNV=PFV+A)。累進多焦点レンズの処方の場合には、処方データは、SPHFV、CYLFV、及びAについてそれぞれの眼ごとに通知する装用者データを有する。好適な実施形態においては、装用者の処方データPDは、乱視モジュール、乱視軸、ジオプトリ、プリズム、及び加入度から選択される。
「装用者眼感度データ」SDは、当技術分野において周知である。装用者眼感度データは、(1つ又は複数の波長又はスペクトル帯域に対する)スペクトル感度のデータ、輝度感度、例えば、屋外輝度感度などの一般的な感度、装用者の眼の色、装用者の光及び/又はグレア感度、又は回復を含む。このようなデータは、装用者による画像の視覚化のためのコントラストを最適化するために重要である。
「装用者眼科生体計測データ」又は「生体計測データ」BDは、当技術分野において周知である。生体計測データは、装用者の構造に関するデータを含み、且つ、通常は、単眼瞳孔距離、瞳孔間距離、眼の軸方向の長さ、眼の回転中心の位置などのうちの1つ又は複数を含む。
「装用者眼データ」は、当技術分野において周知である。眼のデータは、ユーザーの暗順応、ユーザーの色覚、視野、双眼視力、装用者の眼のサッケード運動、固定安定性、装用者の視覚−手動調整、装用者の「頭部/眼」運動調整、所与の距離視力における装用者の両眼の注視方向など、瞳孔拡張、瞼の位置などの頭部装着型装置の望ましい設定に応じて眼科パラメータに直接的には関係付けられていないパラメータを含む。又、これは、視覚疾病及び/又は視覚暗点の特性を有してもよい。
「着用者データベース」WEAR−DBは、装用者視覚化パラメータデータVPDを保存及び取得するのに適したメモリを有するデータベースである。データベース及びメモリは、当技術分野において周知である。視覚化パラメータデータの取得は、視覚化パラメータ識別子VP−IDなどの専用のポインタを使用して実現することができる。例えば、識別子WEAR−IDは、視覚化パラメータ識別子VP−IDとして機能することができる。それぞれの装用者識別子WEAR−ID1、2、...、nは、装用者の右眼RE及び左眼LEのそれぞれごとの、ここでは、ジオプトリP、乱視ASTI、加入度ADDなどとして示されている、様々な処方データPDの取得を許容する。
図1上に示されている本発明の一実施形態によれば、シースルー頭部装着型装置の装用者のための視覚支援ガイダンスナビゲーション方法は、
− 装用者視覚化パラメータ提供ステップS1と、
− ジオ位置判定ステップS2と、
− ジオ位置比較ステップと、
− シースルー頭部装着型装置機能適合ステップS3と
を有する。
本発明の方法は、コンピュータ手段によって実装されてもよい。
装用者視覚化パラメータ提供ステップS1においては、装用者の視覚プロファイルに関係する少なくとも1つの装用者視覚化パラメータデータVPDの値が提供される。
本発明の意味において、装用者の視覚プロファイルとは、装用者に関係付けられたパラメータの組として理解することを要する。視覚プロファイルは、静的及び動的方式によって装用者の視力を定義するパラメータを有する。
視覚プロファイルは、装用者視覚化パラメータデータVPDを含み、且つ、装用者眼データED、並びに/或いは、装用者処方データPD、装用者眼感度データSD、及び/又は装用者眼科生体計測データBDを含む眼科データODを有してもよい。
装用者視力パラメータ提供ステップS1は、前記VPDデータを送信するステップであってもよい。例えば、送信は、頭部装着型装置上のコントローラに対するものであってもよい。送信は、無線通信によるものであってもよく、或いは、フラッシュドライブ(USBキー)を通じた入力によるものであってもよい。又、装用者視力パラメータ提供ステップS1は、例えば、望ましい焦点を得るか又は装用者の視野内における画像の場所を変更するべく視力パラメータを調節するための頭部装着型装置上のサムホイールを回転させるなど、頭部装着型装置上においてセットアップを手動で提供することにより、実行されてもよい。
本発明の一実施形態によれば、方法は、装用者視覚化パラメータ判定ステップS0を有してもよく、このステップにおいては、装用者の視覚プロファイルに含まれるVPDデータの値が判定される。
VPDデータは、例えば、速度センサを使用するか、又はネットワークを介してリモートエンティティとデータを交換するなど、当業者に既知の任意の手段により、判定及び/又は更新されてもよい。
装用者パラメータの値は、離れたエンティティから装用者の視覚プロファイルをダウンロードすることにより、判定されてもよい。通常、離れたエンティティは、装用者に関係するデータを保存してもよい。このようなデータのうち、いくつかのデータは、装用者の視覚プロファイルの一部分として識別されてもよい。
装用者の視覚プロファイルを判定するべく、或いは、装用者の視覚プロファイルのダウンロードされた値に加えて、装用者の視覚プロファイルを完成させるか又は調節するように、視覚試験が実行されてもよい。
例えば、装用者は、近距離のターゲットを注視するように求められてもよく、且つ、装用者の両眼の注視方向が判定されてもよい。このような注視方向を使用することにより、装用者の観察距離を判定してもよい。
一実施形態によれば、装用者視覚化パラメータ判定ステップS0は、装用者の視覚能力及び主観的な好みに関する評価を査定するべく、対話型の一連の試験により、実行されている。
例えば、文字視力検査(acuity test visualization letter)、試験フォント検査(test font test)、空間文字試験(test space characters)、判読力検査(test reading acuity)、表示モード検査(test display mode)、グレア試験、又は眼運動検査を実装することができる。VPDデータは、任意の種類の媒体の読取り、視聴などのいくつかの活動の際に、装用者の動作及び現実世界のシーンを計測することにより、定義することができる。
本発明の別の態様においては、ステップS1の視覚化パラメータデータVPDは、視覚化パラメータ識別子VP−IDとの関連において、ネットワークNETWを介して前記頭部装着型装置HMDに接続されたサーバーSERV上の装用者データベースWEAR−DB内に保存されているメモリ内において保存されてもよい。この実施形態は、視覚化パラメータデータVPDの更新を許容しているという点において有利である。例えば、所与の装用者の場合に、処方データは、時間に伴って変化する場合があり、及び/又は装用者が装置HMDを変更する場合もある。本発明の方法におけるサーバーの使用は、装置HMDによる画像表示を忠実にカスタマイズするための更新機能を提供する。
視覚化パラメータ識別子VP−IDは、例えば、所与の装用者を識別する一意の識別子などの個別のものであってもよい。又、視覚化パラメータ識別子VP−IDは、例えば、同一の近視矯正を有する装用者又は同一モデルの装置HMDを有する装用者のグループなどの、例えば、同一の処方データPDを有する装用者のグループを識別するための一般的な識別子(グループ識別子)であってもよい。
視覚化パラメータ識別子VP−IDは、HMD上に配置されたQRコード(登録商標)又はRFIDコードなどのコードであってもよい。
ジオ位置判定ステップS2においては、装用者のジオ位置が判定される。
装用者のジオ位置の判定は、GPSシステム又はこの均等物を使用することにより、実装されてもよい。
本発明の一実施形態によれば、装用者のジオ位置は、GPSシステムに加えて又はこの代わりに、画像認識システムを有してもよい。画像認識システムは、少なくとも、装用者の周りの視覚シーンの画像を取得するように適合されたカメラと、画像認識のために適合された処理手段とを有する。
例えば、画像認識システムは、都市内の特定の建物のリストなどの所与の場所のリストを認識するように適合されてもよい。
又、画像認識システムは、街路灯、横断歩道、道路標識など、装用者が頻繁に遭遇しうる物体のリストを認識するように適合されてもよい。
ジオ位置比較ステップにおいては、ジオ位置判定ステップにおいて判定された装用者のジオ位置が、保存されているルートに沿ったジオ位置と比較される。
ナビゲーション視覚支援機能適合ステップS3においては、装用者のガイダンスを容易にするべく、装用者のジオ位置が、保存されているルートに沿ったジオ位置のうちの1つとマッチングした際に、頭部装着型装置のナビゲーション視覚支援機能が、装用者視覚化パラメータデータVPD及び装用者のジオ位置に基づいて適合される。
本発明の意味において、ナビゲーション視覚支援機能とは、使用されるルートの装用者の視覚的経験を改善することによって装用者のガイダンスを容易にするのに有用なHMDの任意の適合又は変更に関係している。
後述するように、様々な実施形態において、ナビゲーション視覚支援機能適合は、HMDの能動的機能の制御及び/又は異なる既定の頭部装着型装置機能の間における切り替え及び/又は実際のシーンの画像及び/又はコンピュータ生成された画像に関係付けられた任意の機能であってもよい。
本発明の一実施形態によれば、装用者の所与のジオ位置を検出した際に、頭部装着型装置のナビゲーション視覚支援機能が、装用者視力パラメータに従って適合されている。
例えば、GPS測位及び画像認識システムを使用することにより、装用者が街路灯に対向しているという事実を検出した際には、装用者のために街路灯を視覚的に強調するように、頭部装着型装置の機能が適合される。
本発明の一実施形態によれば、方法は、適合された頭部装着型装置機能がユーザーに対して示唆される示唆ステップを有してもよい。このような実施形態によれば、示唆された適合済みの頭部装着型装置機能のユーザーからの検証の際に、頭部装着型装置の適合済みの頭部装着型装置機能が適合される。
一実施形態によれば、頭部装着型装置機能は、異なる既定の頭部装着型装置機能の間において切り替えられてもよい。
本発明の一実施形態によれば、頭部装着型装置は、能動的機能と、能動的機能を制御するように構成された制御ユニットとを有してもよい。
能動的機能は、ナビゲーション視覚支援機能適合ステップにおいて適合される。
一実施形態において、能動的機能は、エレクトロクロミックタイプである。
エレクトロクロミック装置によって放出される光の量は、例えば、電界の強度又はHMDのエレクトロクロミック装置に跨る電圧を制御することにより、制御することができる。
エレクトロクロミック装置の放出は、視覚支援機能適合ステップにおいて適合されてもよい。
例えば、装用者の光感度に基づいて、2つの光放出レベルが判定されてもよい。装用者のジオ位置に基づいて、エレクトロクロミック装置は、2つの光放出レベルの間において切り替えるように制御されてもよい。通常、装用者が建物又はトンネルに進入していることを検出した際には、光放出は、ハイレベルに設定されてもよく、装用者が建物又はトンネルから離脱していることを検出した際には、光放出は、ローレベルに設定されてもよい。
この結果、ユーザーは、安全な方法で、ルートに沿って無事に移動することができる。
装用者のジオ位置は、頭部装着型装置の最も適切な機能を判定するべく、更なる情報と組み合わせられてもよい。
本発明の一実施形態によれば、方法は、ナビゲーション視覚支援機能適合ステップS3の前に、視覚環境パラメータ提供ステップを更に有してもよい。
視覚環境パラメータ提供ステップにおいては、装用者の環境に関係した少なくとも1つのパラメータの値が提供される。
例えば、時刻又は季節が考慮されてもよい。又、直接的な環境データが考慮されてもよい。例えば、頭部装着型装置は、環境の光度を計測するように適合された光センサを有してもよい。
通常は光の放出である頭部装着型装置の機能は、前記の更なる情報を考慮することにより、適合されてもよい。
又、このような環境パラメータは、顔の検出、衝突リスクの検出、電池レベル、通知、表示されたコンテンツなどの頭部装着型装置の状態、或いは、装用者の環境に関係した任意のその他のパラメータに対応するものであってもよい。
本発明の一実施形態によれば、フィルタの透過、反射、及び吸収仕様が、ナビゲーション視覚支援機能ステップにおいて適合されている。
本発明の一実施形態によれば、頭部装着型装置は、その光屈折機能が、レンズに跨る電圧を制御することによって制御されうるプログラム可能なレンズを有してもよい。
プログラム可能なレンズの光屈折機能は、装用者の視覚環境の要素を強調するように、適合されてもよい。通常、装用者が街路灯に対向していることを検出した際には、プログラム可能なレンズの光屈折機能は、街路灯の明瞭な観察を装用者に提供するように、適合されてもよい。
本発明の一実施形態によれば、頭部装着型装置は、図2に示されている頭部装着型表示装置である。
この例においては、フレームは、従来の眼鏡フレームと類似しており、且つ、類似の快適さレベルにより、装用することができる。但し、ヘルメット、ストラップ、又はその他の手段によってユーザーの頭部に取り付けられる顔面シールドなどのその他の実装形態も可能である。フレームは、フレームフロント102と、テンプル104及び105とを含む。フレームフロントは、ユーザーの左眼用のシースルーレンズ101と、ユーザーの右眼用のシースルーレンズ103とを保持している。左及び右という向きは、ユーザーの観点からのものである。左側シースルーレンズ101は、左眼による観察のために、増補されたリアリティ画像を現実世界シーンからの光と混合するビームスプリッタなどの光透過性光学コンポーネント122を含む。
右側シースルーレンズ103は、右眼による観察のために、増補されたリアリティ画像を現実世界シーンからの光と混合するビームスプリッタなどの光学コンポーネント120を含む。
右側増補リアリティエミッタ116が、アーム114を介してフレームに取り付けられており、且つ、左側増補リアリティエミッタ108が、アーム110を介してフレームに取り付けられている。
頭部装着型装置は、装用者に対向している現実世界シーンの画像を取得するように適合されたシーンカメラ112を有する。
例えば、電池などの電源130が、頭部装着型装置の様々な要素に電力を供給している。
例えば、フレーム内の導電性経路を介して、適切な電気接続を実施することができる。
図3には、図2に示されている頭部装着型装置を使用した本発明のローカル実装形態の一例が示されている。
このような実施形態によれば、ナビゲーション視覚支援機能適合ステップは、
− 画像取得ステップS31と、
− 画像処理選択ステップS33と、
− 画像処理ステップS34と、
− 表示ステップS35と
を更に有する。
画像取得ステップS31において、装用者に対向している現実世界シーンの少なくとも1つの画像がシーンカメラによって取得されている。
本発明のローカル実装形態によれば、シーンカメラによって取得された画像は、頭部装着型リモート装置に含まれたメモリ内において保存されている。
ジオ位置比較ステップにおいては、例えば、頭部装着型装置内に配置されたGPSチップによって判定されたGPS座標を使用することにより、ジオ位置判定ステップにおいて判定された装用者のジオ位置が、保存されているルートに沿ったジオ位置と比較される。
保存されているジオ位置は、少なくとも1つの画像処理との関連において、メモリ内に保存されている。ジオ位置及び関連付けられた画像処理が、頭部装着型装置に含まれたメモリ内においてローカルに保存されているデータベースとして、列挙されてもよい。
本発明の一実施形態によれば、方法は、画像要素識別ステップS321を更に有してもよい。
画像要素識別ステップS321において、画像取得ステップS31において取得された画像が、予め定義された要素リスト内に列挙されている少なくとも1つの予め定義された要素を識別するべく分析される。予め定義された要素リストの予め定義された要素のそれぞれは、少なくとも1つの画像処理と関連付けられている。
画像の分析は、適切なアルゴリズムを使用して画像内の要素を識別するステップと、要素の識別の際に、識別された要素を予め保存されている要素と比較するステップとを有してもよい。
有利には、画像要素識別ステップは、識別された要素に基づいた相対的に固有の且つ適合された画像処理の提供を許容している。又、画像要素識別ステップは、装用者のジオ位置を提供するべく、或いは、少なくとも、装用者のジオ位置の精度を向上させるべく、使用されてもよい。
画像処理選択ステップS33においては、装用者のジオ位置とマッチングした保存されているジオ位置と関連付けられた画像処理のうちの少なくとも1つが選択される。
画像処理は、
− 画像の拡大、及び/又は、
− 画像の再マッピング、及び/又は、
− 色の極小化、及び/又は、
− 色の拡大、及び/又は、
− 色の再マッピング、及び/又は、
− 画像強度の改善、及び/又は、
− コントラストの改善、及び/又は、
− 輝度の改善、及び/又は、
− 視野の輝度調節、及び/又は、
− 画像の縮小、及び/又は、
− 輪郭の改善、及び/又は、
− 画像の二値化、
からなるリストから選択することができる。
又、画像処理は、装用者の視野内における画像表示の(例えば、装置HMDのフレームを基準とした)位置(場所)及び/又は視覚化対象の画像の焦点計画の場所を含んでもよい。
例えば、画像処理は、ジオ位置判定ステップにおいて判定されたジオ位置が、保存されているジオ位置のうちの1つとマッチングした際に選択される。
通常、データベースは、道路作業に対応する保存されているジオ位置を有してもよい。ジオ位置は、装用者の眼科欠陥に基づいて、道路作業の通知を強調しうる様々な画像処理と関連付けられてもよい。
例えば、データベースは、リスクゾーン警告に対応する保存されているジオ位置を有してもよい。
例えば、通り名称の標識を改善するべく、画像処理は、コントラストの改善と組み合わせられた画像の拡大であってもよい。
鉄道の駅の標識を改善するべく、画像処理は、輝度の改善と組み合わせられた画像の拡大であってもよい。
デジタル画面上において表示された情報を改善するべく、画像処理は、画像の二値化と組み合わせられた画像の拡大であってもよい。
例えば、所与の処方データPDを有する所与の近視装用者の場合に、本発明に従って表示される画像は、装用者の屈折異常/老眼に対してカスタマイズされることになり、且つ、前記装用者にとっては、十分に明瞭なものとなるであろうが、異なる処方データを有する別の装用者にとっては、明瞭なものとはならないであろう。
例えば、地下鉄路線の地図など、壁の上に表示された情報を改善するべく、HMDのプロセッサは、装用者のVPDに対して適合された変更済みの画像データを提供するように、計算ステップ又は処理ステップを実行する。
有利には、本発明による方法は、容易且つ安全な方法で無事にルートに沿って移動するための信頼性の高いセキュリティ手段を提供している。
複数の画像処理が、ジオ位置に関連付けられてもよい。最も適切な画像処理又は画像処理の組合せの選択は、少なくとも装用者視力パラメータに基づいたものである。
画像要素識別ステップを有する本発明の実施形態によれば、最も適切な画像処理の選択は、画像内において識別された要素に更に基づいたものであってもよい。
有利には、取得された画像内において改善されるべき要素を識別することにより、画像処理の適合性が大幅に向上する。
最も適切な画像処理の選択は、視覚環境パラメータ判定ステップにおいて判定された環境パラメータに更に基づいたものであってもよい。関心の対象となりうる環境パラメータとして、上述のように、一日のうちの時間帯(昼/夜)、時刻、及び/又は天気を考慮してもよい。
実際に、適用される画像処理は、環境パラメータに応じて異なってもよく、且つ、場合によっては、改善対象の情報のタイプが変化してもよい。
通常、例えば、滑りやすい道路の標識などの特定の道路標識は、雨天の際に改善が必要となるものであり、乾燥した状態においては、前記道路標識は、関心の的とはならず、且つ、従って、本発明の方法によって改善する必要もない。
環境パラメータは、例えば、センサを使用するか、又はネットワークを介したリモートエンティティとの間におけるデータ交換によるなど、当業者には既知の任意の手段により判定されてもよい。又、環境パラメータは、頭部装着型装置と共に提供される通信手段を使用することにより、装用者によって提供されてもよい。
最も適切な画像処理の選択は、装用者の活動パラメータ判定ステップにおいて判定された装用者の活動パラメータに更に基づいたものであってもよい。関心の的になりうる装用者活動パラメータとして、歩行、運転、自転車走行などの活動を考慮してもよい。
実際に、適用される画像処理は、装用者の活動に応じて、異なってもよく、且つ、場合によっては、改善対象の情報のタイプが変化してもよい。
通常、装用者が歩行している際には、歩道灯が、特に関心の的となり、装用者が運転している際には、道路灯が、特に関心の的となる。
画像処理ステップS34においては、画像取得ステップS31において取得された装用者の視覚環境の画像が、選択された画像処理に従って処理される。ステップS34は、単一の(1回の)計算を有してもよく、或いは、画像の動的視覚化ために、「動的」な、連続的な又はリアルタイムの計算を有してもよい。本発明のローカル実装形態によれば、画像は、頭部装着型装置内に配置されているプロセッサを使用することにより、処理されている。
装用者の視覚環境の処理済みの画像は、表示ステップにおいて、装用者に対して表示される。処理済みの画像は、シースルー頭部装着型表示装置を使用することにより表示される。
図4には、本発明のリモート実装形態が示されている。
このような実施形態によれば、ナビゲーション視覚支援機能適合ステップは、
− 画像取得ステップS31と、
− 取得された画像送信ステップS311と、
− 画像処理選択ステップS33と、
− 画像処理ステップS34と、
− 受信ステップS341と、
− 表示ステップS35と
を有する。
画像取得ステップS31は、本発明のローカル実装形態について上述したものに等しい。
取得された画像送信ステップS311においては、画像取得ステップS31において取得された取得済みの画像が、頭部装着型装置から、例えば、離れたサーバーなどの離れたエンティティに送信されている。
ジオ位置送信ステップS21において、ジオ位置判定ステップにおいて取得されたジオ位置が、離れたエンティティに送信されている。
ジオ位置比較ステップS32は、前記ステップが、離れたサーバー側において実装されているという点を除いて、本発明のローカル実装形態について詳述したものに等しい。画像処理と関連付けられた保存されているジオ位置は、例えば、離れたサーバーのメモリ内において、データベースとして保存されている。
方法は、ローカル実装形態と同様に、画像要素識別ステップS321を更に有してもよい。画像要素識別ステップS321は、離れたサーバー側に配置されているプロセッサによって実行される。
画像処理選択ステップS33及び画像処理ステップS34は、前記ステップが離れたサーバー側において実装されているという点を除いて、本発明のローカル実装形態について詳述したものに等しい。
受信ステップS341において、処理済みの画像が、頭部装着型表示装置によって受信されている。
ローカル実装された実施形態と同様に、表示ステップS35において、受信された処理済みの画像が装用者に対して表示されている。
又、本発明は、処理済みの画像の表示のための適切なデータを取得する方法をも提供している。データは、情報、写真、及びこれらに類似したものをその特定の場所に対して「タグ付け」又は「フラグ付与」するように、特定の場所に対して結び付けられていてもよい。場所は、固定されたGPS座標のものである必要はない。
この実施形態においては、受信ステップは、前記処理済みの画像データを通信端末TERMから頭部装着型装置HMDに送信するステップであってもよい。送信は、装用者の観点においては、「プッシュ」型又は「プル」型であってもよく、即ち、装用者からのなんらかのコマンドと無関係であってもよく、或いは、装用者の能動的コマンドによってトリガされてもよい。
この実施形態によれば、処理済みの画像は、前記端末TERM上のメモリに保存されてもよく、或いは、ネットワークNETWを介して端末TERMに接続されたデータベースDB内において保存されてもよい。データベースDBは、データの組を有してもよく、この場合に、データのそれぞれの組は、所与のコンテンツ(テキスト、画像など)に対応している。
一代替リモート実装形態によれば、取得された画像の処理は、頭部装着型装置内に配置されているプロセッサにより、ローカルに実装されてもよい。
有利には、このような実施形態によれば、帯域幅に対するニーズが低減され、その理由は、画像が頭部装着型装置と離れたサーバーの間において送信されないからである。
別の実施形態によれば、実際のシーンの画像取得ステップは、データベース又はメモリ内の保存されている画像が、画像処理選択ステップの後に処理されるべく取得される画像取得ステップにより、置換されてもよい。
保存されている画像が、保存の前に既に事前処理されている場合には、処理ステップ及び画像処理選択ステップは除去されてもよい。
従って、保存されているジオ位置は、少なくとも1つの画像及び画像処理との関連において、メモリ内において、且つ/又は、少なくとも1つの事前処理された画像と共に保存されている。
画像は、コンピュータによって生成された画像であってもよく、或いは、装用者又はダウンロードによって予め取得された実際のシーンの画像であってもよい。
前記データは、HMDのメモリ内において、且つ/又は、サーバーからアクセス可能なデータベース内において保存することができる。
リアルタイム情報を装用者に提供するように、本発明の方法のステップは、好ましくは、少なくとも15Hzの、好ましくは、少なくとも20Hzの、最も好ましくは、少なくとも24Hzの頻度で反復される。
処理済みの画像に加えて、方法は、装用者のジオ位置に基づいて装用者の視覚環境の処理済みの画像に加えて補完的な視覚情報を表示するステップを有してもよい。
通常、方法は、交通情報、買物情報、向き情報、又は装用者に適した任意のその他のタイプの情報を表示してもよい。
本発明の一実施形態によれば、方法は、ジオ位置判定ステップにおいて判定されたジオ位置に基づいて、オーディオ通知を装用者に提供するステップを更に有してもよい。
又、一実施形態によれば、本発明は、処理済みの画像(タグ/コンテンツ)を生成する方法をも提供している。この結果、前記処理済みの画像は、後から取得及び表示されてもよい。又、処理済みの画像によってタグ付けする方法が本発明によって提供されるように、処理済みの画像は、所与の場所と関連付けられてもよい。
この実施形態においては、方法は、任意選択により、(i)頭部装着型の処理済み画像表示装置HMDが設けられた装用者の運動を検出するステップと、(ii)ステップ(i)の運動の認識に基づいてデータを取得するステップとを有してもよい。ステップ(i)の運動は、コマンド用の制御信号を生成するのに適した任意の運動であってよい。
データを取得するステップ(ii)は、メニューからの選択肢の選択、視覚キーボード上の少なくとも1つのキーの押下、仮想ノートパッド上における手書き、音声コマンドによる命令の付与、デジタル写真の撮影、或いは、デジタルビデオの記録のうちから選択された1つ又は複数を有してもよい。従って、ステップ(ii)のデータは、テキスト、写真、これらの組合せなどのデータであってもよい。従って、本発明は、コンテンツを有するコンピュータによって生成された処理済みの画像タグである仮想ポストを提供してもよい。又、ステップ(ii)は、例えば、仮想的なクリック動作(仮想ボタン「好き!」の選択などの予め定義されたメニュー又は予め定義されたアイコンからの選択)又は認識されうると共にデジタルテキストに変換されうる仮想的な手書きにより、仮想的に注釈を付与するステップであってもよい。
この場合にも、通信端末は、ネットワークを介してサーバーに接続されてもよく、或いは、そうでなくてもよい。本発明の方法においては、ステップ(ii)は、サーバーに対する接続を伴うことなしに、実行されてもよい。或いは、この代わりに、前記少なくとも1つの通信端末TERMは、ネットワークNETWを介して通信サーバーSERVに接続されてもよく、且つ、処理済みの画像は、場所との関連において通信データベースDB内において保存することができる。所与の場所との間における送信データの関連付けは、タグをピン止めするという選択肢を許容し、即ち、処理済みの画像(コンテンツ)を特定の場所と関連付けるという選択肢を許容する。例えば、レストランの顧客レビューが、前記レストランの近傍に位置した端末上において、利用可能とされてもよい。データと関連付けられた場所は、装用者の場所であってもよく、或いは、そうでなくてもよく、場所は、装用者が端末の近傍に存在している際には、装用者の場所であってもよいが、装用者が対象の場所にもはや存在していない際には、例えば、データを別の端末を使用してネットワークを介してサーバーに提供することにより、一時点におけるデータと場所の間の関連付けを装用者が提供することもできる。
又、本発明は、装用者プロファイル及びアクセス権限を定義するという選択肢をも提供している。装用者プロファイルの定義は、所与の装用者に適した選択された情報を提供するのに有用である。例えば、装用者がスポーツに関心を持っている場合には、前記装用者が、視覚化のために、スポーツと関係した特定のコンテンツを利用できるようにしてもよい。処理済みの画像データの取得(タグ又はコンテンツの視覚化のための制限されたアクセス)のために、且つ/又は、処理済みの画像の生成(タグ又はコンテンツの生成のための制限されたアクセス)のために、アクセス権限が定義されてもよい。
本発明の一実施形態によれば、方法は、ナビゲーション視覚支援機能適合ステップS3の前に、少なくともルートをデータベース内において事前登録する予備的ステップを更に有してもよく、予備的ステップは、
− 関連付けサブステップと、
− 保存サブステップと
を有する。
関連付けステップにおいては、ルートの中間地点が、少なくとも1つのナビゲーション視覚支援機能変更及び装用者視覚化パラメータデータ及び/又は視覚化パラメータ識別子と関連付けられる。
更に詳しくは、関連付けステップにおいては、装用者の様々なジオ位置が選択され、判定され、且つ、例えば、画像処理などの少なくとも1つのナビゲーション視覚支援機能変更と関連付けられる。
装用者のジオ位置は、GPSチップの使用など、当業者には既知の任意の手段により、上述のように判定されてもよい。
ナビゲーション視覚支援機能変更は、既定の規則に基づいて選択されてもよく、或いは、装用者の好みに基づいて装用者によって選択されてもよく、或いは、これらの組合せであってもよい。例えば、シースルー頭部装着型装置機能変更のリストを装用者に対して提案することが可能であり、且つ、装用者が、最も適切な変更を選択する。
ナビゲーション視覚支援機能変更とルートの中間地点の関連付けは、装用者がカスタマイズすることが可能であり、且つ/又は、離れたエンティティからダウンロードすることも可能である。
離れたエンティティは、ダウンロード用の一般的な装用者プロファイルを提供してもよく、この場合には、ルートに沿った中間地点とカスタマイズされた視覚支援機能変更及び視覚化パラメータ識別子との間の関連付けが提案される。
更には、カスタマイズは、その他の装用者のグループとの間において共有されてもよい。例えば、同一タイプの眼科欠陥を有する装用者は、画像処理とルートに沿ったジオ位置の関連付けを共有してもよい。
関連付けステップは、ローカルに実行することができる。ジオ位置及び関連付けられたシースルー頭部装着型装置機能変更は、頭部装着型装置内に配置されたメモリ内において保存される。
関連付けステップは、リモートで実行することもできる。ジオ位置及び関連付けられたシースルー頭部装着型装置機能変更は、例えば、サーバーなどの離れたエンティティに送信され、且つ、そこで保存される。
通常、装用者は、都市内をナビゲートしてもよく、且つ、特定の場所を識別する際に、その場所を画像処理などのシースルー頭部装着型装置機能変更と関連付けるように決定してもよい。この結果、前記特定の場所を再度通過する際に、シースルー頭部装着型装置は、選択された変更に基づいて、シースルー頭部装着型装置機能を適合させることになる。
本発明の一実施形態によれば、装用者によって選択された画像処理などのシースルー頭部装着型装置機能変更は、ジオ位置と自動的に関連付けられ、且つ、記憶されている。
従って、装用者が更なる移動において同一の場所を通過した際に、予め選択されたシースルー頭部装着型装置機能変更が、自動的に適用されもよく、或いは、少なくとも装用者に対して提案されてもよい。
シースルー頭部装着型装置機能変更は、仮想的な環境パラメータと更に関連付けられてもよい。この結果、類似の環境パラメータを識別する際に、装用者によって選択されたシースルー頭部装着型装置機能変更が装用者に対して提案されてもよい。
保存ステップにおいては、ジオ位置及び関連付けられた少なくとも1つのナビゲーション視覚支援機能変更が、装用者の視覚プロファイルと共にデータベースDB内において保存される。
一実施形態においては、画像データが、サーバー上の画像データベース内において又はローカルに保存されている。
更には、特定の画像に対するアクセス権限を定義することもできる。従って、画像データが画像データベース内に保存されている場合に、本発明の方法は、任意選択により、アクセス権限に従って、装用者識別子及び前記装用者と画像データの間の関連付けを前記データベース内において事前登録する予備的ステップを有してもよい。装用者識別子は、視覚化パラメータ識別子VP−IDと同一のものであってもよく、或いは、異なっていてもよい。装用者識別子は、装置HMD又はサーバー上に配置された、例えば、QRコード(登録商標)又はRFIDコードなどのコードであってもよい。この結果、画像データベースとの関連においてアクセス権限の1つ又は複数のレベルを定義することができる。
以上、実施形態を利用し、全般的な発明概念の限定を伴うことなしに、本発明について説明した。
上述の例示用の実施形態を参照した際に、当業者には、多くの更なる変更形態及び変形形態が明らかとなろう。これらの例示用の実施形態は、例として付与されたものに過ぎず、且つ、添付の請求項によってのみ判定される本発明の範囲の限定を意図したものではない。
請求項においては、「有する」という用語は、その他の要素又はステップを排除するものではなく、且つ、「1つ(a)」又は「1つ(an)」という不定冠詞は、複数形を排除するものではない。異なる特徴が相互に異なる従属請求項において記述されているという事実は、それのみによって、これらの特徴の組合せが有利に使用できないことを示すものではない。請求項における任意の符号は、本発明の範囲を限定するものとして解釈されるべきではない。

Claims (19)

  1. シースルー頭部装着型装置の装用者のためのナビゲーション方法であって、
    − 装用者視覚化パラメータ提供ステップであって、前記装用者の眼の状態に関係した少なくとも1つの装用者視覚化パラメータが提供されるステップと、
    − ジオ位置判定ステップであって、ルートに沿った前記装用者のジオ位置が判定されるステップと、
    − ジオ位置比較ステップであって、前記ジオ位置判定ステップにおいて判定された前記装用者の前記ジオ位置が、前記ルートに沿った保存されているジオ位置と比較されるステップと、
    − ナビゲーション視覚支援機能適合ステップであって、前記装用者の前記ジオ位置が前記保存されているジオ位置のうちの1つとマッチングした際に、ナビゲーション視覚支援機能が前記装用者視覚化パラメータと前記装用者の前記ジオ位置との両方に基づいて適合されるステップと
    を有し、
    − ナビゲーション視覚支援は、前記シースルー頭部装着型装置によって提供される、方法。
  2. 前記頭部装着型装置は、表示装置を有し、且つ、前記ナビゲーション視覚支援機能適合ステップは、
    − 処理済み画像選択ステップであって、前記装用者の前記ジオ位置が前記保存されているジオ位置のうちの1つとマッチングした際に、前記装用者の前記ジオ位置にマッチングした前記保存されているジオ位置と関連付けられた処理済みの画像のうちの少なくとも1つが、前記装用者視覚化パラメータに従って選択されるステップと、
    − 表示ステップであって、前記装用者の視覚環境の前記処理済みの画像が、前記シースルー頭部装着型表示装置により、前記装用者に対して表示されるステップと
    を更に有する請求項1に記載のナビゲーション方法。
  3. 前記頭部装着型装置は、表示装置と、前記装用者の前記視覚環境の画像を取得するように適合されたカメラとを有し、且つ、前記ナビゲーション視覚支援機能適合ステップは、
    − 画像取得ステップであって、前記装用者の前記視覚環境の少なくとも1つの画像が、前記カメラによって取得されるステップと、
    − 画像処理選択ステップであって、前記装用者の前記ジオ位置が前記保存されているジオ位置のうちの1つとマッチングした際に、前記装用者の前記ジオ位置にマッチングした前記保存されているジオ位置と関連付けられた画像処理のうちの少なくとも1つが、前記装用者視覚化パラメータに従って選択されるステップと、
    − 画像処理ステップであって、前記画像取得ステップにおいて取得された前記視覚環境の前記画像が、画像処理選択ステップにおいて選択された前記画像処理に従って処理されるステップと、
    − 表示ステップであって、前記視覚環境の前記処理済みの画像が、前記シースルー頭部装着型表示装置により、前記装用者に対して表示されるステップと
    を更に有する請求項1又は2に記載のナビゲーション方法。
  4. 前記ナビゲーション視覚支援機能適合ステップは、
    − 画像要素識別ステップであって、前記装用者の前記視覚環境の前記画像が、予め定義された要素リスト内において列挙されている少なくとも1つの予め定義された要素を識別するべく分析され、前記予め定義された要素のそれぞれは、少なくとも1つの画像処理と関連付けられているステップを更に有し、及び
    − 前記画像処理選択ステップにおいて、前記予め定義された要素リスト内において列挙されている前記予め定義された要素のうちの1つに対応する前記装用者の前記視覚環境の前記画像の要素を識別する際に、前記装用者の前記視覚環境の前記画像内において識別された前記予め定義された要素と関連付けられた画像処理が選択される請求項3に記載のナビゲーション方法。
  5. − 視覚環境パラメータ判定ステップであって、少なくとも1つの視覚環境パラメータが判定されるステップを更に有し、及び
    − 前記画像処理選択ステップにおいて、前記画像処理が、前記視覚環境パラメータに従って選択され、且つ/又は、前記処理済み画像選択ステップにおいて、前記処理済みの画像が、前記視覚環境パラメータに従って選択される請求項3又は4に記載のナビゲーション方法。
  6. − 送信ステップであって、前記ジオ位置が、少なくとも1つの画像処理と関連付けられた保存されているジオ位置と比較されるべく、離れたエンティティに送信されるステップと、
    − 受信ステップであって、前記選択された画像処理及び/又は前記処理済みの画像が、離れたエンティティから受信されるステップと
    を更に有する請求項3〜5のいずれか一項に記載のナビゲーション方法。
  7. − 送信ステップであって、前記ジオ位置が、少なくとも1つの画像処理と関連付けられた保存されているジオ位置と比較されるべく、離れたエンティティに送信され、且つ、前記装用者の前記視覚環境の前記取得された画像が、前記ジオ位置と関連付けられた前記画像処理に基づいて処理されるべく、前記離れたエンティティに送信されるステップと、
    − 受信ステップであって、前記処理済みの画像が、離れたエンティティから受信されるステップと
    を更に有する請求項3〜5のいずれか一項に記載のナビゲーション方法。
  8. 前記装用者の前記ジオ位置に基づいて、前記視覚環境の前記処理済みの画像に基づく補完的な視覚情報を表示するステップを更に有する請求項2〜7のいずれか一項に記載のナビゲーション方法。
  9. 前記頭部装着型表示装置は、能動的機能と、前記能動的機能を制御するように構成された制御ユニットとを有し、且つ、前記能動的機能は、前記ナビゲーション視覚支援機能適合ステップにおいて適合される請求項1〜8のいずれか一項に記載のナビゲーション方法。
  10. 装用者識別子と前記装用者視覚パラメータとの間の関連付けをデータベース内において事前登録するステップを更に有する請求項1〜9のいずれか一項に記載のナビゲーション方法。
  11. 前記装用者視覚化パラメータのうちの少なくとも1つは、前記装用者識別子との関連において、ネットワークを介して前記頭部装着型装置に接続されたサーバー上の装用者データベース内に保存される請求項10に記載のナビゲーション方法。
  12. 少なくともルートをデータベース内において事前登録する予備的ステップを更に有し、前記予備的ステップは、
    − 関連付けステップであって、前記ジオ位置判定ステップにおいて判定された前記ルートに沿ったジオ位置が、少なくとも1つのナビゲーション視覚支援機能変更と関連付けられるサブステップと、
    − 保存ステップであって、前記ジオ位置及び前記関連付けられた少なくとも1つのナビゲーション視覚支援機能変更が保存されるサブステップと
    を有する請求項1〜11のいずれか一項に記載のナビゲーション方法。
  13. 前記予備的ステップは、
    − 画像取得ステップであって、前記装用者の前記視覚環境の少なくとも1つの画像が前記カメラによって取得されるステップと、
    − 画像処理選択ステップであって、画像処理のうちの少なくとも1つが、前記装用者視覚化パラメータに従って選択されるステップと、
    − 画像処理ステップであって、前記画像取得ステップにおいて取得された前記視覚環境の前記画像が、画像処理選択ステップにおいて選択された前記画像処理に従って処理されるステップと
    を更に有し、及び
    − 前記関連付けステップにおいて、前記処理済みの画像は、前記ジオ位置と関連付けられる請求項12に記載のナビゲーション方法。
  14. 前記予備的ステップは、
    − 画像選択ステップであって、少なくとも1つの画像が選択されるステップと、
    − 画像処理選択ステップであって、画像処理の少なくとも1つが、前記装用者視覚化パラメータに従って選択されるステップと、
    − 画像処理ステップであって、前記選択された画像が、画像処理選択ステップにおいて選択された前記画像処理に従って処理されるステップと
    を更に有し、及び
    − 前記関連付けステップにおいて、前記処理済みの画像は、前記ジオ位置と関連付けられる請求項12に記載のナビゲーション方法。
  15. ナビゲーション視覚支援機能変更データは、任意選択により、アクセス権限に従って、前記装用者識別子に従って定義される請求項10〜14のいずれか一項に記載のナビゲーション方法。
  16. 前記関連付けステップは、前記装用者によって実行される請求項12〜14のいずれか一項に記載のナビゲーション方法。
  17. 前記ジオ位置比較ステップの前に、受信ステップであって、前記ナビゲーション視覚支援機能変更と関連付けられた前記保存されているジオ位置が、離れたエンティティから受信され、且つ、保存されるステップを更に有する請求項1〜16のいずれか一項に記載のナビゲーション方法。
  18. プロセッサからアクセス可能であると共に、前記プロセッサによって実行される際に前記プロセッサに請求項1〜17のいずれか一項に記載のステップを実行させる命令の1つ又は複数の保存されたシーケンスを有するコンピュータプログラムプロダクト。
  19. 請求項18に記載のコンピュータプログラムプロダクトの命令の1つ又は複数のシーケンスを保持するコンピュータ可読媒体。
JP2016539534A 2013-09-04 2014-09-03 シースルー頭部装着型装置に基づいたナビゲーション方法 Active JP6600310B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13306209 2013-09-04
EP13306209.1 2013-09-04
PCT/EP2014/068763 WO2015032833A1 (en) 2013-09-04 2014-09-03 Navigation method based on a see-through head-mounted device

Publications (2)

Publication Number Publication Date
JP2016532218A true JP2016532218A (ja) 2016-10-13
JP6600310B2 JP6600310B2 (ja) 2019-10-30

Family

ID=49209304

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016539534A Active JP6600310B2 (ja) 2013-09-04 2014-09-03 シースルー頭部装着型装置に基づいたナビゲーション方法

Country Status (8)

Country Link
US (1) US9976867B2 (ja)
EP (1) EP3042152B1 (ja)
JP (1) JP6600310B2 (ja)
KR (1) KR102263496B1 (ja)
CN (1) CN105518416B (ja)
BR (1) BR112016003445B1 (ja)
CA (1) CA2921104C (ja)
WO (1) WO2015032833A1 (ja)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140198034A1 (en) 2013-01-14 2014-07-17 Thalmic Labs Inc. Muscle interface device and method for interacting with content displayed on wearable head mounted displays
US10152082B2 (en) 2013-05-13 2018-12-11 North Inc. Systems, articles and methods for wearable electronic devices that accommodate different user forms
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US11426123B2 (en) 2013-08-16 2022-08-30 Meta Platforms Technologies, Llc Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US9788789B2 (en) 2013-08-30 2017-10-17 Thalmic Labs Inc. Systems, articles, and methods for stretchable printed circuit boards
CA2921104C (en) * 2013-09-04 2022-04-26 Amandine DEBIEUVRE Navigation method based on a see-through head-mounted device
US10199008B2 (en) 2014-03-27 2019-02-05 North Inc. Systems, devices, and methods for wearable electronic devices as state machines
US20150325202A1 (en) * 2014-05-07 2015-11-12 Thalmic Labs Inc. Systems, devices, and methods for wearable computers with heads-up displays
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US9477079B2 (en) 2014-06-25 2016-10-25 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
US9807221B2 (en) 2014-11-28 2017-10-31 Thalmic Labs Inc. Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link
US9958682B1 (en) 2015-02-17 2018-05-01 Thalmic Labs Inc. Systems, devices, and methods for splitter optics in wearable heads-up displays
JP6769974B2 (ja) 2015-02-17 2020-10-14 ノース インコーポレイテッドNorth Inc. ウェアラブルヘッドアップディスプレイにおけるアイボックス拡張のためのシステム、機器、及び方法
CN104850138B (zh) * 2015-04-22 2017-07-04 刘伟中 智能控制变焦训练设备
US10078435B2 (en) 2015-04-24 2018-09-18 Thalmic Labs Inc. Systems, methods, and computer program products for interacting with electronically displayed presentation materials
US10197805B2 (en) 2015-05-04 2019-02-05 North Inc. Systems, devices, and methods for eyeboxes with heterogeneous exit pupils
US10078219B2 (en) 2015-05-28 2018-09-18 Thalmic Labs Inc. Wearable heads-up display with integrated eye tracker and different optical power holograms
US10488662B2 (en) 2015-09-04 2019-11-26 North Inc. Systems, articles, and methods for integrating holographic optical elements with eyeglass lenses
CA3007196A1 (en) 2015-10-01 2017-04-06 Thalmic Labs Inc. Systems, devices, and methods for interacting with content displayed on head-mounted displays
US9904051B2 (en) 2015-10-23 2018-02-27 Thalmic Labs Inc. Systems, devices, and methods for laser eye tracking
US10802190B2 (en) 2015-12-17 2020-10-13 Covestro Llc Systems, devices, and methods for curved holographic optical elements
US10303246B2 (en) 2016-01-20 2019-05-28 North Inc. Systems, devices, and methods for proximity-based eye tracking
US10151926B2 (en) 2016-01-29 2018-12-11 North Inc. Systems, devices, and methods for preventing eyebox degradation in a wearable heads-up display
CN105867617B (zh) * 2016-03-25 2018-12-25 京东方科技集团股份有限公司 增强现实设备、系统、图像处理方法及装置
CA3020631A1 (en) 2016-04-13 2017-10-19 Thalmic Labs Inc. Systems, devices, and methods for focusing laser projectors
US10496156B2 (en) * 2016-05-17 2019-12-03 Google Llc Techniques to change location of objects in a virtual/augmented reality system
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
EP3487395A4 (en) 2016-07-25 2020-03-04 CTRL-Labs Corporation METHODS AND APPARATUS FOR PREDICTING MUSCULOSKELETAL POSITION INFORMATION USING PORTABLE SELF-CONTAINED SENSORS
US10277874B2 (en) 2016-07-27 2019-04-30 North Inc. Systems, devices, and methods for laser projectors
WO2018027326A1 (en) 2016-08-12 2018-02-15 Thalmic Labs Inc. Systems, devices, and methods for variable luminance in wearable heads-up displays
CN106375448A (zh) * 2016-09-05 2017-02-01 腾讯科技(深圳)有限公司 图像处理方法和装置及系统
US10215987B2 (en) 2016-11-10 2019-02-26 North Inc. Systems, devices, and methods for astigmatism compensation in a wearable heads-up display
US10409057B2 (en) 2016-11-30 2019-09-10 North Inc. Systems, devices, and methods for laser eye tracking in wearable heads-up displays
US10365492B2 (en) 2016-12-23 2019-07-30 North Inc. Systems, devices, and methods for beam combining in wearable heads-up displays
US10437073B2 (en) 2017-01-25 2019-10-08 North Inc. Systems, devices, and methods for beam combining in laser projectors
US10372207B2 (en) * 2017-08-16 2019-08-06 Disney Enterprises, Inc. Adaptive VR/AR viewing based on a users eye condition profile
US10438404B2 (en) 2017-10-13 2019-10-08 Disney Enterprises, Inc. Ambient light characterization
EP3697297A4 (en) 2017-10-19 2020-12-16 Facebook Technologies, Inc. SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
WO2019079894A1 (en) 2017-10-23 2019-05-02 North Inc. MULTIPLE LASER DIODE MODULES WITH FREE SPACES
US10740938B2 (en) * 2017-12-04 2020-08-11 International Business Machines Corporation Cognitive situation-aware vision deficiency remediation
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
EP4241661A1 (en) 2018-08-31 2023-09-13 Facebook Technologies, LLC Camera-guided interpretation of neuromuscular signals
WO2020061451A1 (en) 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
US11797087B2 (en) 2018-11-27 2023-10-24 Meta Platforms Technologies, Llc Methods and apparatus for autocalibration of a wearable electrode sensor system
EP3686767B1 (en) * 2019-01-25 2024-05-22 Essilor International Method, device and system for identifying a device
US10621858B1 (en) 2019-02-06 2020-04-14 Toyota Research Institute, Inc. Systems and methods for improving situational awareness of a user
CN111426268B (zh) * 2020-04-20 2021-09-24 武汉大学中南医院 一种双目视觉相机匹配方法
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
KR102321470B1 (ko) * 2021-07-28 2021-11-03 주식회사 셀리코 전기변색층 기반의 시력 보조 장치 및 이를 포함하는 시력 보조 안경

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146778A (ja) * 2004-11-24 2006-06-08 Konica Minolta Photo Imaging Inc ヘッドマウントディスプレイ装置
JP2006171302A (ja) * 2004-12-15 2006-06-29 Konica Minolta Photo Imaging Inc 映像表示装置及び情報提供システム
JP2006217520A (ja) * 2005-02-07 2006-08-17 Konica Minolta Photo Imaging Inc 映像表示装置、及び眼鏡型映像表示装置
JP2008185609A (ja) * 2007-01-26 2008-08-14 Sony Corp 表示装置、表示方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8525874B2 (en) * 2006-08-15 2013-09-03 Koninklijke Philips N.V. Assistance system for visually handicapped persons
DE102008042397A1 (de) * 2008-09-26 2010-04-01 Robert Bosch Gmbh Navigationssystem mit kontaktanaloger Anzeige
KR101578721B1 (ko) * 2008-12-15 2015-12-21 엘지전자 주식회사 네비게이션 단말기 및 네비게이션 단말기의 경로안내방법
US8130262B2 (en) * 2009-01-15 2012-03-06 International Business Machines Corporation Apparatus and method for enhancing field of vision of the visually impaired
US20140240313A1 (en) * 2009-03-19 2014-08-28 Real Time Companies Computer-aided system for 360° heads up display of safety/mission critical data
US8467133B2 (en) * 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
WO2011106797A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US20120050144A1 (en) 2010-08-26 2012-03-01 Clayton Richard Morlock Wearable augmented reality computing apparatus
GB201103200D0 (en) * 2011-02-24 2011-04-13 Isis Innovation An optical device for the visually impaired
US9940901B2 (en) * 2012-09-21 2018-04-10 Nvidia Corporation See-through optical image processing
US20140128161A1 (en) * 2012-11-06 2014-05-08 Stephen Latta Cross-platform augmented reality experience
US9401048B2 (en) * 2013-03-15 2016-07-26 Qualcomm Incorporated Methods and apparatus for augmented reality target detection
CA2921104C (en) * 2013-09-04 2022-04-26 Amandine DEBIEUVRE Navigation method based on a see-through head-mounted device
US9798145B2 (en) * 2014-05-23 2017-10-24 Qualcomm Incorporated Method and apparatus for see-through near eye display
US9995933B2 (en) * 2014-06-24 2018-06-12 Microsoft Technology Licensing, Llc Display devices with transmittance compensation mask

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006146778A (ja) * 2004-11-24 2006-06-08 Konica Minolta Photo Imaging Inc ヘッドマウントディスプレイ装置
JP2006171302A (ja) * 2004-12-15 2006-06-29 Konica Minolta Photo Imaging Inc 映像表示装置及び情報提供システム
JP2006217520A (ja) * 2005-02-07 2006-08-17 Konica Minolta Photo Imaging Inc 映像表示装置、及び眼鏡型映像表示装置
JP2008185609A (ja) * 2007-01-26 2008-08-14 Sony Corp 表示装置、表示方法

Also Published As

Publication number Publication date
CA2921104A1 (en) 2015-03-12
US20160202081A1 (en) 2016-07-14
CA2921104C (en) 2022-04-26
CN105518416B (zh) 2019-05-21
CN105518416A (zh) 2016-04-20
EP3042152A1 (en) 2016-07-13
US9976867B2 (en) 2018-05-22
EP3042152B1 (en) 2022-11-09
US20170160093A9 (en) 2017-06-08
JP6600310B2 (ja) 2019-10-30
WO2015032833A1 (en) 2015-03-12
BR112016003445A2 (ja) 2017-08-01
KR20160048775A (ko) 2016-05-04
BR112016003445A8 (pt) 2018-08-14
KR102263496B1 (ko) 2021-06-10
BR112016003445B1 (pt) 2022-10-25

Similar Documents

Publication Publication Date Title
JP6600310B2 (ja) シースルー頭部装着型装置に基づいたナビゲーション方法
US9898075B2 (en) Visual stabilization system for head-mounted displays
CN106471419B (zh) 管理信息显示
CN114758406B (zh) 用于使用神经网络的生物特征用户识别的设备、方法和系统
US10690945B2 (en) Method for optimizing an optical lens equipment for a wearer
KR101808852B1 (ko) 가상현실 헤드셋을 이용한 안경 렌즈 비교 시뮬레이션 시스템 및 그 방법
CN112835211B (zh) 控制可编程镜片装置的方法
CN107533375B (zh) 场景图像分析模块
KR20160000457A (ko) 착용자에게 적응된 헤드 장착형 전자-광학 장치를 제어하는 방법
JP2016130838A (ja) 頭部装着型表示装置、表示方法
US11243401B2 (en) Method for customizing a head mounted device adapted to generate a virtual image
CN107111366A (zh) 用于使感觉输出装置的感觉输出模式与使用者适配的方法
CN109151446A (zh) 控制方法和电子设备
WO2023169857A1 (en) System comprising an optical device and a controller
CN117597622A (zh) 用于提供视力测量和视力校正的增强现实设备和方法
CN113792724A (zh) 一种助老眼镜的使用方法及设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170807

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20180518

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181010

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191004

R150 Certificate of patent or registration of utility model

Ref document number: 6600310

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250