JP2020053055A - スマートグラスのための追跡方法および追跡装置、スマートグラス、ならびに記憶媒体 - Google Patents

Abstract

【課題】スマートグラス追跡方法およびスマートグラス追跡装置、スマートグラス、ならびに記憶媒体を提供すること。【解決手段】本開示は、スマートグラスのための追跡方法および追跡装置、スマートグラス、ならびに記憶媒体を提供し、かつスマートデバイスを対象とする。スマートグラスは、画像をキャプチャしてよく、次に、画像における１つまたは複数の物体を識別してよい。画像における事前定義された位置または領域に位置付けられた物体についてユーザに知らされる。本方法を用いて、画像における物体のすべてではなく、事前定義された位置または領域における物体についてユーザに知らされて、スマートグラスの通知効率、およびユーザ体験が向上させられる。【選択図】図１

Description

本開示は、スマートデバイスの分野に関し、詳細には、スマートグラス追跡方法およびスマートグラス追跡装置、スマートグラス、ならびに記憶媒体に関する。

現在、視覚障害のあるユーザの生活を容易にするように、そのようなユーザのために設計されたスマートグラスが存在する。スマートグラスは、画像情報を収集することができ、かつスマートグラスを装着するユーザに、現在の画像の内容について知らせて、その結果、視覚障害のあるユーザの生活に便宜をもたらすことができる。

しかし、本発明の発明者らは、スマートグラスの使用中、ユーザが、グラスの相互作用上の中心を能動的に選択することができず、この場合において、スマートグラスは、通常、画像における情報のすべてを同時にユーザに知らせ、認識される必要がある文字および物体の範囲に即時に正確に焦点を合わせることができないことに気付いた。認識される点は、外部物理デバイスに外部命令が与えられる場合と同様に、外部物理デバイス（例えば、指）の助けを借りて初めて、向かうようにされることが可能であり、その際、デバイスは、命令に応じてのみデバイスの機能を完了することができる。

その結果、現在のスマートグラスは、比較的低い通知効率を有し、ユーザが、視野における物体の位置を知覚することを不可能にして、劣悪なユーザ体験をもたらす。

従来技術における前述した欠点または短所に鑑みて、本開示は、スマートグラスの通知効率、およびユーザ体験を向上させる、スマートグラス追跡方法およびスマートグラス追跡装置、スマートグラス、ならびに記憶媒体を提供する。

本開示の第１の態様によれば、
画像をキャプチャするステップと、
画像における１つまたは複数の物体を識別するステップと、
画像における事前定義された位置または領域に位置付けられた物体についてユーザに知らせるステップと
を備えるスマートグラス追跡方法が提供される。

本開示の第２の態様によれば、
画像をキャプチャするためのキャプチャリングユニットと、
画像における１つまたは複数の物体を識別するための識別ユニットと、
画像における事前定義された位置または領域に位置付けられた物体についてユーザに知らせるための通知ユニットと
を備えるスマートグラス追跡装置が提供される。

本開示の第３の態様によれば、プロセッサと、カメラと、音声再生装置とを備えるスマートグラスが提供され、ここで、
カメラは、画像をキャプチャするように構成され、
プロセッサは、カメラによってキャプチャされた画像を獲得するように、かつ画像における１つまたは複数の物体を識別するように構成され、
音声再生装置は、画像における事前定義された位置または領域に位置付けられた物体についてユーザに知らせるように構成される。

本開示の第４の態様によれば、プロセッサと、メモリとを備えるスマートグラスが提供され、メモリは、プロセッサによって実行されたとき、スマートグラスに本開示の任意の態様の方法を実行させるプログラム命令を記憶している。

本開示の第５の態様によれば、スマートグラスのプロセッサによって実行されたとき、スマートグラスに本開示の任意の態様の方法を実行させるプログラム命令を記憶しているコンピュータ可読記憶媒体が提供される。

本開示の第６の態様によれば、スマートグラスのプロセッサによって実行されたとき、スマートグラスに本開示の任意の態様の方法を実行させるプログラム命令を備えるコンピュータプログラム製品が提供される。

本開示の実施形態は、画像がキャプチャされた後、画像における１つまたは複数の物体が識別され、かつ画像における事前定義された位置または領域に位置付けられた物体についてユーザが知らされる、スマートグラス追跡方法およびスマートグラス追跡装置、スマートグラス、ならびに記憶媒体を提供する。本方法を用いて、画像における物体のすべてではなく、事前定義された位置または領域における物体についてユーザが知らされて、スマートグラスの通知効率、およびユーザ体験が向上させられる。

本開示の実施形態は、スマートグラス追跡方法およびスマートグラス追跡装置、スマートグラス、ならびに記憶媒体を提供する。本方法は、画像をキャプチャし、かつ画像におけるレーザ光の衝突点を検出するステップと、画像におけるレーザ光の衝突点における物体を識別するステップと、その後、レーザ光の衝突点における物体についてユーザに知らせるステップとを含み、このことは、画像における物体のすべてではなく、レーザ光の衝突点の検出された位置における物体についてユーザが知らされるので、スマートグラスの通知効率、およびユーザ体験を向上させる。

前述した説明は、本開示の技術的手段が、より明確に理解され得るようにし、したがって、説明の内容により実施され得るようにする、本開示の技術的ソリューションの簡単な概要に過ぎないことを理解されたい。本開示の以上、およびその他の目的、特徴、および利点をより明確にし、かつ理解するのをより容易にすべく、本開示の特定の実施形態が、特定の実施例として後段で説明される。

例示的な実施形態の後段の詳細な説明を読んだ後、当業者には、本明細書において説明される利点および利益、ならびにその他の利点および利益が理解されよう。添付の図面は、例示的な実施形態を例示することを目的とするに過ぎず、本開示に対する限定として解釈されるべきではない。さらに、添付の図面の全体にわたって、同一の参照符号は、同一の構成要素を表す。

本開示の例示的な実施形態において提供されるスマートグラス追跡方法を示すフローチャートである。 本開示の例示的な実施形態において提供される画像において定義される位置、および画像において定義される領域を示す概略図である。 本開示の別の例示的な実施形態において提供されるスマートグラス追跡方法を示すフローチャートである。 本開示の例示的な実施形態において提供されるスマートグラス追跡装置を示す概略構造図である。 本開示の例示的な実施形態において提供されるスマートグラスを示す概略構造図である。 本開示の別の例示的な実施形態において提供されるスマートグラスを示す概略構造図である。 本開示のさらに別の例示的な実施形態において提供されるスマートグラス追跡方法を示すフローチャートである。 本開示の別の例示的な実施形態において提供される、画像におけるレーザ光の衝突点の位置、およびレーザ光の衝突点の位置の周囲に定義される領域を示す概略図である。 本開示のさらに別の例示的な実施形態において提供されるスマートグラス追跡方法を示すフローチャートである。 本開示の別の例示的な実施形態において提供されるスマートグラス追跡装置を示す概略構造図である。 本開示のさらに別の例示的な実施形態において提供されるスマートグラスを示す概略構造図である。 本開示のさらに別の例示的な実施形態において提供されるスマートグラスを示す概略構造図である。 本開示のさらにまた別の例示的な実施形態において提供されるスマートグラスを示す概略構造図である。 本開示のさらにまた別の実施形態において提供されるスマートグラス追跡方法を示すフローチャートである。 本開示の例示的な実施形態による電子デバイスの実施例を示すブロック図である。

本開示の例示的な実施形態が、添付の図面を参照して後段でより詳細に説明される。本開示の例示的な実施形態が添付の図面に示されるものの、本開示は、様々な形態において実施されることが可能であり、本明細書において例示される実施形態に限定されるべきでないことを理解されたい。むしろ、これらの実施形態は、本開示がより徹底的に理解され得るように、かつ本開示の範囲が当業者により完全に伝えられ得るように提供される。

本開示において、「備える」または「有する」などの用語は、この説明において開示される特徴、数、ステップ、動作、構成要素、および部分、あるいはその組合せの存在を示すことを意図しており、他の１つまたは複数の特徴、数、ステップ、動作、構成要素、および部分、あるいはその組合せが存在する可能性を排除することは意図していないことを理解されたい。

本開示において、画像における事前定義された位置または領域は、画像における事前定義された焦点位置または焦点領域と呼ばれてもよく、これに相応して、スマートグラス追跡方法は、スマートグラス焦点追跡方法と呼ばれてもよい。

本開示は、一部の実施形態における実施例としてスマートグラスを使用することによって後段で説明されるものの、当業者は、これらの実施形態におけるスマートグラスは、他のウェアラブルデバイスまたは他の電子デバイスによって置き換えられてもよいものと理解することが可能である。

本開示における実施形態、および実施形態における特徴は、矛盾なしに互いに組み合わされることが可能であることにさらに留意されたい。本開示は、添付の図面を参照して、かつ実施形態と一緒に後段で詳細に説明される。

図１において、本開示の実施形態において提供されるスマートグラス焦点追跡方法が示される。本方法は、
ステップＳ１０１：画像をキャプチャした後、画像における１つまたは複数の物体を識別すること、および
ステップＳ１０２：画像における事前定義された焦点位置または焦点領域に位置付けられた物体についてユーザに知らせること
を備える。

スマートグラス焦点追跡方法を用いて、画像における物体のすべてではなく、事前定義された焦点位置または焦点領域における物体についてユーザが知らされて、スマートグラスの通知効率、およびユーザ体験が向上させられるようにする。

ステップＳ１０１における物体は、任意の物体であってよく、または事前定義された指定された物体であってよい。
さらに、視覚障害のあるユーザが、スマートグラスの焦点が目標物体によく合うようにすることが困難である可能性があり、画像における事前定義された焦点位置または焦点領域に物体が存在しない場合において、本方法は、頭の向きを変えるようユーザに指示してよく、または画像における事前定義された焦点位置もしくは焦点領域に物体が存在しないことをユーザに指示してよい。

頭の向きを変えるよう、または物体が存在しないという指示を聞いた後、ユーザは、物体を探すべくランダムに頭の向きを変えてよい。
さらに、ユーザが物体を探すのを容易にすべく、画像における事前定義された焦点位置または焦点領域に物体が存在しないとき、画像における物体の位置が特定されてよく、かつ物体の位置に向けて頭の向きを変えるようユーザは指示される。例えば、画像における焦点の左側に文字または２次元コードが存在する場合、本方法は、ユーザが頭を左に向けることを可能にすべく、焦点の左側に文字または２次元コードが存在することをユーザに指示してよい。

ユーザが頭の向きを変える間、指示の音は、視覚障害のあるユーザが、頭の向きを変える度合を決定して、焦点をより正確に位置付けるのを容易にするように、画像における事前定義された焦点位置または焦点領域に対する物体の近接性により変化させられてよい。この場合において、ユーザは、物体の指示される位置により頭の向きを変えてよく、またはユーザは、物体を探すべくランダムに頭の向きを変えてよい。

例えば、指示音は、物体が、画像における事前定義された焦点位置または焦点領域とますます近接しているとき、より速くなって、ユーザが、頭の向きを変える方向が正しいかどうか、および頭の向きを変える度合が適正であるかどうかを判定するようにしてよい。代替として、ユーザは、特異性を有する別の音声指示によって、物体がキャプチャ範囲の中心に達したかどうかについて気付かされてよい。

図２に示されるとおり、画像における事前定義された焦点位置は、特に、画像における中心位置であってよい。画像における事前定義された焦点領域は、特に、画像面積全体の１／３から１／２の面積を有する画像の中心における円形領域または長方形領域であってよい。当業者は、実際の条件により画像における事前定義された焦点位置、および画像における事前定義された焦点領域の範囲の初期設定を調整してよく、また、ユーザが、ユーザの使用習慣により画像における事前定義された焦点位置、および画像における事前定義された焦点領域の範囲を調整してもよい。

図３に示される、本開示の別の実施形態において提供されるスマートグラス焦点追跡方法は、
ステップＳ３０１：カメラによってキャプチャされた画像を獲得すること、
ステップＳ３０２：画像における１つまたは複数の物体を識別すること、
ステップＳ３０３：画像における中心位置に物体が存在するかどうかを判定し、存在する場合、ステップＳ３０４を実行し、存在しない場合、ステップＳ３０５を実行すること、
ステップＳ３０４：画像における中心位置における物体についてユーザに音声の形態で知らせること、
ステップＳ３０５：画像全体に物体が存在するかどうかを判定し、存在する場合、ステップＳ３０６を実行し、存在しない場合、ステップＳ３０７を実行すること、
ステップＳ３０６：画像における物体の位置を特定し、かつ物体の位置に向けて頭の向きを変えるようユーザに指示すること、および
ステップＳ３０７：画像に物体が存在しないことをユーザに指示すること、または頭の向きを変えるようユーザに指示すること
を備える。

ステップＳ３０１において、カメラは、通常、スマートグラスが比較的安定した状態にあるとき、画像をキャプチャする。スマートグラスが比較的速い速度で動いている場合、カメラは、通常、画像を全くキャプチャしない。ユーザが頭の向きを変える条件は、スマートグラスの動き速度および加速度を通じて決定されてよい。

ステップＳ３０３において、本方法は、画像の中心位置に物体が存在するかどうかだけを判定してよく、また、本方法は、画像の中心位置、および中心位置の周囲の事前定義された領域に物体が存在するかどうかを判定してもよい。

ステップＳ３０７において、画像に物体が存在しないことをユーザに指示した後、ユーザは、物体を探すように、指示によりランダムに頭の向きを変えてよい。
また、ユーザは、ステップＳ３０６およびステップＳ３０７において指示機能をイネーブルにするか、またはディセーブルにするかを決定してもよい。ユーザが指示をイネーブルにしていない場合、ユーザは、物体について知らされない限り、画像に物体が存在しないと判定してよく、次に、ユーザは、物体を探すようにランダムに頭の向きを変えてよい。

スマートグラスを用いて、環境情報について知ることを所望する場合、ユーザは、特定の位置における物体の情報について知るべく頭の向きを変えてよい。例えば、広間に到着した後、広間のレイアウトについて、および広間における物について知ることを所望する場合、視覚障害のあるユーザが、特定の位置における物体の情報について知るべく頭の向きを変えてよい。文字および２次元コードは、特別な情報である。例えば、画像の中心に文字が存在する場合、その文字についてユーザに直接に知らされる。文字が中心領域の左側にある場合、文字が左側にあるという指示が与えられ、ユーザは、左に頭の向きを変えてよく、文字が画像の中心に達したとき、その文字についてユーザに知らされる。

画像における事前定義された焦点位置は、ユーザの設定により印が付けられることも、付けられないことも可能である。通常の視覚を有するユーザによって使用されるウェアラブルデバイス（ＶＲなどの）の場合、画像における事前定義された焦点位置は、ユーザが判定および調整を行うように視覚画像の中心点として点を例示する十字の印が、図２に示されるとおり、付けられてよい。視覚障害のあるユーザの場合、そのような位置は、印が付けられてなくてよい。

同様に、画像における事前定義された焦点領域もまた、ユーザの設定により印が付けられることも、付けられないことも可能である。通常の視覚を有するユーザによって使用されるウェアラブルデバイス（ＶＲなどの）の場合、画像における事前定義された焦点領域は、ユーザが判定および調整を行うように視覚画像の中心領域として領域を例示する、赤い枠などの特別な枠で枠付けされてよい。視覚障害のあるユーザの場合、画像における事前定義された焦点領域は、印が付けられてなくてよい。

画像における事前定義された焦点位置（または画像面積全体の１／３から１／２の面積（比は、調整可能である）を有する、その位置の周囲の領域）に特徴情報（例えば、文字および２次元コードなどの特徴情報）が存在する場合、その情報についてユーザに直接に知らされる。

本開示の或る実施形態が、図４に示されるとおり、
画像をキャプチャした後、画像における１つまたは複数の物体を識別するための識別ユニット４０１と、
画像における事前定義された焦点位置または焦点領域に位置付けられた物体についてユーザに知らせるための通知ユニット４０２と
を備えるスマートグラス焦点追跡装置をさらに対応するように提供する。

さらに、通知ユニット４０２は、
画像における事前定義された焦点位置または焦点領域に物体が存在しないとき、頭の向きを変えるようユーザに指示すること、または画像における事前定義された焦点位置もしくは焦点領域に物体が存在しないことをユーザに指示することのためにさらに使用される。

さらに、画像における事前定義された焦点位置または焦点領域に物体が存在しないとき、通知ユニット４０２が、頭の向きを変えるようユーザに指示することは、
画像における事前定義された焦点位置または焦点領域に物体が存在しないとき、画像における物体の位置を特定すること、および物体の位置に向けて頭の向きを変えるようユーザに指示することを特に備える。

さらに、通知ユニット４０２は、
ユーザが頭の向きを変えるとき、画像における事前定義された焦点位置または焦点領域に対する物体の近接性により指示の音を変化させることのためにさらに使用される。

さらに、画像における事前定義された焦点位置は、特に、画像における中心位置である。
画像における事前定義された焦点領域は、特に、画像面積全体の１／３から１／２の面積を有する画像の中心における円形領域または長方形領域である。

本開示の或る実施形態が、図５に示されるとおり、プロセッサ５０１と、カメラ５０２と、音声再生装置５０３とを備えるスマートグラスをさらに提供する。
プロセッサ５０１は、カメラ５０２および音声再生装置５０３に接続される。画像は、カメラ５０２によってキャプチャされる。画像における１つまたは複数の物体がプロセッサ５０１によって識別された後、画像における事前定義された焦点位置または焦点領域に位置付けられた物体について、音声再生装置５０３によってユーザに知らされる。

音声再生装置５０３は、スピーカであってよい。
さらに、図６に示されるとおり、スマートグラスは、
スマートグラスの動き状態を判定するための慣性センサアセンブリ５０４をさらに備えてよく、慣性センサアセンブリ５０４は、プロセッサ５０１に接続される。

さらに、慣性センサアセンブリ５０４は、
スマートグラスの動き速度を測定するための速度センサ、
スマートグラスの動き速度を測定するための加速度センサ、および
スマートグラスの垂直軸と垂直線（地球の中心部に向かう線）の間の開先角度の情報を測定するためのジャイロスコープ
のうちの１つまたは組合せを備える。

本開示の実施形態において提供されるスマートグラス焦点追跡方法およびスマートグラス焦点追跡装置、スマートグラス、ならびに記憶媒体を用いて、視野における事前定義された焦点位置または焦点領域における物体についてユーザに知らされて、視野における物体のすべてについてユーザに知らせることを防止するようにすることが可能であり、それが、物体の位置をユーザに指示して、その結果、ユーザが物体を追跡するのを容易にし、かつユーザの使用体験を向上させることが可能である。

図７において、本開示のさらに別の実施形態において提供されるスマートグラス焦点追跡方法が示される。本方法は、
ステップＳ７０１：画像をキャプチャし、かつ画像におけるレーザ光の衝突点を検出すること、
ステップＳ７０２：画像におけるレーザ光の衝突点における物体を識別すること、および
ステップＳ７０３：レーザ光の衝突点における物体についてユーザに知らせること
を備える。

スマートグラス焦点追跡方法を用いて、画像における物体のすべてではなく、レーザ光の衝突点の検出された位置に位置付けられた物体についてユーザに知らされて、スマートグラスの通知効率、およびユーザ体験が向上させられるようにする。

ステップＳ７０２における物体は、任意の物体であってよく、または事前定義された指定された物体であってよい。
比較的小さい物体または比較的遠く離れた物体の場合、レーザ光の衝突点は、物体に正確に当たらない可能性があり、この場合において、レーザ光の衝突点の周囲に領域がさらに設定されて、その領域における物体がすべて、直接に識別され、かつそれらの物体についてユーザに知らされて、その結果、ユーザの使用体験をさらに向上させるようにしてよい。

この場合において、本方法は、
画像におけるレーザ光の衝突点の周囲の事前定義された領域における物体を識別すること、および
レーザ光の衝突点の周囲の事前定義された領域における物体についてユーザに知らせること
をさらに備える。

さらに、視覚障害のあるユーザが、スマートグラスの焦点が目標物体によく合うようにすることが困難である可能性があり、画像におけるレーザ光の衝突点に、またはレーザ光の衝突点の周囲の事前定義された領域に物体が存在しない場合において、本方法は、頭の向きを変えるようユーザに指示してよく、または画像におけるレーザ光の衝突点に、またはレーザ光の衝突点の周囲の事前定義された領域に物体が存在しないことをユーザに指示してよい。

通常、画像におけるレーザ光の衝突点に、またはレーザ光の衝突点の周囲の事前定義された領域に物体が存在しないとき、ユーザは、頭の向きを変えるよう指示されてよく、またはレーザ光の衝突点に、もしくはレーザ光の衝突点の周囲の事前定義された領域に物体が存在しないという関連する音声指示がユーザに送られてよい。この場合において、ユーザは、物体を探すように音声指示によりランダムに頭の向きを変えてよい。同様に、画像全体において物体が全く識別されないとき、ユーザは、頭の向きを変えるよう指示されてよく、または画像の領域に物体が存在しないという関連する音声指示がユーザに送られてよい。この場合において、ユーザは、やはり、物体を探すように音声指示によりランダムに頭の向きを変えてもよい。

さらに、画像におけるレーザ光の衝突点に、またはレーザ光の衝突点の周囲の事前定義された領域に物体が存在しないとき、画像における物体の位置が特定され、かつ物体の位置に向けて頭の向きを変えるようユーザは指示される。例えば、画像におけるレーザ光の衝突点の左側に文字または２次元コードが存在する場合、本方法は、ユーザが頭を左に向けることを可能にすべく、レーザ光の衝突点の左側に文字または２次元コードが存在することをユーザに指示してよい。

ユーザが頭の向きを変えるとき、指示の音は、視覚障害のあるユーザが、頭の向きを変える度合を決定して、焦点をより正確に位置付けるのを容易にするように、レーザ光の衝突点、またはレーザ光の衝突点の周囲の事前定義された領域に対する物体の近接性により変化させられてよい。この場合において、ユーザは、物体の指示される位置により頭の向きを変えてよく、またはユーザは、物体を探すべくランダムに頭の向きを変えてよい。

例えば、指示音は、物体が、画像におけるレーザ光の衝突点、またはレーザ光の衝突点の周囲の事前定義された領域とますます近接しているとき、より速くなって、ユーザが、頭の向きを変える方向が正しいかどうか、および頭の向きを変える度合が適正であるかどうかを判定するようにしてよい。代替として、ユーザは、特異性を有する別の音声指示によって、物体がレーザ光の衝突点、またはレーザ光の衝突点の周囲の事前定義された領域に達したかどうかについて気付かされてよい。

ほとんどのユーザの使用習慣により、レーザ光の衝突点が画像の中心領域に位置付けられることが好ましい。しかし、カメラおよびレーザエミッタの角度が比較的固定されているとき、比較的近くの物体と比較的遠く離れた物体に関して、画像におけるレーザ光の衝突点の座標は、厳密に同一でない可能性がある。したがって、レーザ光の衝突点が可能な限り画像の中心領域に位置付けられるという条件付きで、ユーザは、より良好な使用体験を得ることが可能である。

図８に示されるとおり、レーザ光の衝突点は、画像の中心位置にあってよく、レーザ光の衝突点の周囲の事前定義された領域は、特に、画像面積全体の１／３から１／２の面積を有するレーザ光の衝突点の周囲の円形領域または長方形領域であってよい。当業者は、実際の条件によりレーザ光の衝突点、およびレーザ光の衝突点の周囲の事前定義された領域の範囲の初期設定を調整してよく、また、ユーザが、ユーザの使用習慣によりレーザ光の衝突点、およびレーザ光の衝突点の周囲の事前定義された領域の範囲を調整してもよい。

レーザ光が可視赤外線である場合、肉眼に見える赤いスポットが、レーザ光の衝突点に提示される。この場合において、赤いスポットの位置は、キャプチャされた画像において直接に識別されることが可能であり、すなわち、画像におけるレーザ光の衝突点の位置が特定されることが可能である。この場合において、画像をキャプチャし、かつ画像における赤外線レーザスポットを検出するステップＳ７０１は、カメラを通じて実行されることが可能である。しかし、可視赤外線が使用されるとき、環境における他の人々に差障りが生じる可能性がある。代わりに、肉眼に見えない光線が使用されてよく、この場合において、画像は、第１のカメラによってキャプチャされてよく、レーザ光の衝突点の位置は、第２のカメラによって検出されてよく、キャプチャされた画像におけるレーザ光の衝突点の位置は、第１のカメラと第２のカメラの間の事前設定された相互関係により特定されてよい。

好ましくは、ステップＳ７０１に先立って、スマートグラスの動き速度が事前設定された値より小さいことが判定されてよく、その結果、ユーザの頭の向きを変える間に画像をキャプチャすることに起因してユーザの差障りとなることが回避される。

好ましい実施形態において、図９に示されるとおり、本開示のさらに別の実施形態において提供されるスマートグラス焦点追跡方法は、
ステップＳ９０１：第１のカメラによって画像をキャプチャし、かつ第２のカメラによってレーザ光の衝突点の位置を検出すること、
ステップＳ９０２：第１のカメラと第２のカメラの間の事前設定された相互関係により、キャプチャされた画像におけるレーザ光の衝突点の位置を特定すること、
ステップＳ９０３：レーザ光の衝突点に物体が存在するかどうかを判定し、存在する場合、ステップＳ９０４を実行し、存在しない場合、ステップＳ９０６を実行すること、
ステップＳ９０４：画像におけるレーザ光の衝突点における物体を識別すること、
ステップＳ９０５：レーザ光の衝突点における物体についてユーザに知らせること、
ステップＳ９０６：画像全体に物体が存在するかどうかを判定し、存在する場合、ステップＳ９０７を実行し、存在しない場合、ステップＳ９０８を実行すること、
ステップＳ９０７：画像における物体とレーザ光の衝突点の間の位置関係を特定し、かつ物体の位置に向けて頭の向きを変えるようユーザに指示すること、および
ステップＳ９０８：画像に物体が存在しないことをユーザに指示する、または頭の向きを変えるようユーザに指示すること
を備える。

ステップＳ９０１において、カメラは、通常、スマートグラスが比較的安定した状態にあるとき、画像をキャプチャする。スマートグラスが比較的速い速度で動いている場合、カメラは、通常、画像を全くキャプチャしない。ユーザが頭の向きを変える条件は、スマートグラスの動き速度および加速度を通じて決定されてよい。

ステップＳ９０３において、本方法は、レーザ光の衝突点に物体が存在するかどうかだけを判定してよく、また、本方法は、レーザ光の衝突点に、およびレーザ光の衝突点の周囲の事前定義された領域に物体が存在するかどうかを判定してもよい。

ステップＳ９０８において、画像に物体が存在しないことをユーザに指示した後、ユーザは、物体を探すように、指示によりランダムに頭の向きを変えてよい。
また、ユーザは、ステップＳ９０７およびステップＳ９０８において指示機能をイネーブルにするか、またはディセーブルにするかを決定してもよい。ユーザが指示をイネーブルにしていない場合、ユーザは、物体について知らされない限り、画像に物体が存在しないと判定してよく、次に、ユーザは、物体を探すようにランダムに頭の向きを変えてよい。

スマートグラスを用いて、環境情報について知ることを所望する場合、ユーザは、特定の位置における物体の情報について知るべく頭の向きを変えてよい。例えば、広間に到着した後、広間のレイアウトについて、および広間における物について知ることを所望する場合、視覚障害のあるユーザが、特定の位置における物体の情報について知るべく頭の向きを変えてよい。文字および２次元コードは、特別な情報である。例えば、レーザ光の衝突点に文字が存在する場合、その文字についてユーザに直接に知らされる。文字がレーザ光の衝突点の左側にある場合、文字が左側にあるという指示が与えられ、ユーザは、左に頭の向きを変えてよく、文字がレーザ光の衝突点に達したとき、その文字についてユーザに知らされる。

画像におけるレーザ光の衝突点の位置は、ユーザの設定により印が付けられることも、付けられないことも可能である。通常の視覚を有するユーザによって使用されるウェアラブルデバイス（ＶＲなどの）の場合、画像における事前定義された焦点位置は、ユーザが判定および調整を行うようにレーザ光の衝突点、すなわち、現在の画像焦点として点を例示する十字の印が、図８に示されるとおり、付けられてよい。視覚障害のあるユーザの場合、そのような位置は、印が付けられてなくてよい。

同様に、画像におけるレーザ光の衝突点の位置の周囲の事前定義された領域もまた、ユーザの設定により印が付けられることも、付けられないことも可能である。通常の視覚を有するユーザによって使用されるウェアラブルデバイス（ＶＲなどの）の場合、レーザ光の衝突点の位置の周囲の事前定義された領域は、ユーザが判定および調整を行うように視覚画像の焦点領域として領域を例示する、赤い枠などの特別な枠で枠付けされてよい。視覚障害のあるユーザの場合、レーザ光の衝突点の位置の周囲の事前定義された領域は、印が付けられてなくてよい。

画像におけるレーザ光の衝突点の位置（または画像面積全体の１／３から１／２の面積（比は、調整可能である）を有する、その位置の周囲の領域）に特徴情報（例えば、文字および２次元コードなどの特徴情報）が存在する場合、その情報についてユーザに直接に知らされてよい。

本開示の或る実施形態は、図１０に示されるとおり、
画像をキャプチャするため、および画像におけるレーザ光の衝突点を検出するためのキャプチャリングユニット１００１と、
画像におけるレーザ光の衝突点における物体を識別するための識別ユニット１００２と、
レーザ光の衝突点における物体についてユーザに知らせるための通知ユニット１００３と
を備えるスマートグラス焦点追跡装置をさらに対応するように提供する。

さらに、識別ユニット１００２は、
画像におけるレーザ光の衝突点の周囲の事前定義された領域における物体を識別するためにさらに使用される。

通知ユニット１００３は、
レーザ光の衝突点の周囲の事前定義された領域における物体についてユーザに知らせるためにさらに使用される。

さらに、通知ユニット１００３は、画像におけるレーザ光の衝突点に、またはレーザ光の衝突点の周囲の事前定義された領域に物体が存在しないとき、頭の向きを変えるようユーザに指示するためにさらに使用される。

さらに、通知ユニット１００３が、画像におけるレーザ光の衝突点に、またはレーザ光の衝突点の周囲の事前定義された領域に物体が存在しないとき、頭の向きを変えるようユーザに指示することは、特に、
画像におけるレーザ光の衝突点に、またはレーザ光の衝突点の周囲の事前定義された領域に物体が存在しないとき、画像における物体の位置を特定し、かつ物体の位置に向けて頭の向きを変えるようユーザに指示することを備える。

さらに、通知ユニット１００３は、
ユーザが、物体の指示される位置に基づいて頭の向きを変えるとき、レーザ光の衝突点、またはレーザ光の衝突点の周囲の事前定義された領域に対する物体の近接性により指示の音を変化させるためにさらに使用される。

好ましくは、レーザ光の衝突点は、画像の中心領域に位置付けられる。
さらに、キャプチャリングユニット１００１は、特に、
カメラによって画像をキャプチャし、かつ画像における赤外線レーザスポットを検出すること、または
第１のカメラによって画像をキャプチャし、第２のカメラによってレーザ光の衝突点の位置を検出し、かつ第１のカメラと第２のカメラの間の事前設定された相互関係により、キャプチャされた画像におけるレーザ光の衝突点の位置を特定すること
のために使用される。

好ましくは、キャプチャリングユニット１００１は、
画像をキャプチャし、かつ画像におけるレーザ光の衝突点を検出する前に、スマートグラスの動き速度が事前設定された値より小さいと判定するためにさらに使用される。

本開示の或る実施形態は、図１１に示されるとおり、
レーザ光を発するためのレーザエミッタ１１０１と、
画像をキャプチャするため、および画像におけるレーザ光の衝突点を検出するための撮影装置１１０２と、
画像におけるレーザ光に衝突点における物体を識別するためのプロセッサ１１０３と、
レーザ光の衝突点における物体についてユーザに知らせるための音声再生装置１１０４と
を備えるスマートグラスをさらに対応するように提供する。

プロセッサ１１０３は、撮影装置１１０２および音声再生装置１１０４に接続される。
撮影装置１１０２によって検出されるレーザ光の衝突点は、レーザエミッタ１１０１によって発せられるレーザ光の衝突点である。

さらに、図１２に示されるとおり、撮影装置１１０２は、特に、
画像をキャプチャするための第１のカメラ１１０２１と、
レーザ光の衝突点を検出するための第２のカメラ１１０２２と
を備える。

プロセッサ１１０３は、第１のカメラ１１０２１と第２のカメラ１１０２２の間の事前設定された相互関係により、第１のカメラ１１０２１によってキャプチャされた画像において第２のカメラ１１０２２によって検出されたレーザ光の衝突点の位置を特定する。

さらに、レーザエミッタ１１０１は、撮影装置１１０２によってキャプチャされた画像の中心領域を指し示す方向でレーザ光を発する。
さらに、レーザエミッタ１１０１は、赤外線エミッタであってよい。

音声再生装置１１０４は、ヘッドホンまたはスピーカであってよい。
さらに、図１３に示されるとおり、スマートグラスは、
スマートグラスの動き状態を判定するための慣性センサアセンブリ１１０５をさらに備え、慣性センサアセンブリ１１０５は、プロセッサ１１０３に接続される。

さらに、慣性センサアセンブリ１１０５は、
スマートグラスの動き速度を測定するための速度センサ、
スマートグラスの動き速度を測定するための加速度センサ、および
スマートグラスの垂直軸と垂直線（地球の中心部に向かう線）の間の開先角度の情報を測定するためのジャイロスコープ
のうちの１つまたは組合せを備えてよい。

本開示の実施形態において提供されるスマートグラス焦点追跡方法およびスマートグラス焦点追跡装置、スマートグラス、ならびに記憶媒体を用いて、視野におけるレーザ光の衝突点おける物体についてユーザに知らされて、視野における物体のすべてについてユーザに知らせることを防止するようにすることが可能であり、それが、物体の位置をユーザに指示して、その結果、ユーザが物体を追跡するのを容易にし、かつユーザの使用体験を向上させることが可能である。

本開示の別の実施形態が、スマートグラス追跡方法を提供する。本方法のステップが、図１４を参照して以下に詳細に説明される。
ステップＳ１４０１において、スマートグラスの動き状態が判定される。

スマートグラスは、スマートグラスの動き状態を判定する、慣性センサなどのセンサを含んでよい。
スマートグラスを装着し、かつモバイルデバイス（モバイル電話およびスマートバンドなどの）も携帯するユーザの場合、モバイルデバイスの動き状態が、スマートグラスの動き状態を近似する。したがって、スマートグラスは、モバイルデバイスからの動き状態情報を受信すべく、ユーザが携帯するモバイルデバイスに無線で接続されてよい。このため、スマートグラスの動き状態は、モバイルデバイスから受信された動き状態情報により判定されてよい。

ステップＳ１４０２において、スマートグラスが、スマートグラスの動き状態により、第１の動作モードまたは第２の動作モードに入るように調整される。
スマートグラスの動作モードは、スマートグラスが第１の動作モードまたは第２の動作モードに入っている場合のユーザ（またはスマートグラス）の動き速度により調整されてよい。

例えば、ユーザ（またはスマートグラス）の動き速度が第１の速度範囲内にあるとき、スマートグラスは、第１の動作モードに入るように調整される。ユーザ（またはスマートグラス）の動き速度が第２の速度範囲内にあるとき、スマートグラスは、第２の動作モードに入るように調整される。第１の速度範囲内の速度は、第２の速度範囲内の速度より大きい。代替として、ユーザ（またはスマートグラス）の動き速度が第１の事前設定された値より小さく、かつ第２の事前設定された値より大きいとき、スマートグラスは、第１の動作モードに入るように調整される。ユーザ（またはスマートグラス）の動き速度が第２の事前設定された値より小さいとき、スマートグラスは、第２の動作モードに入るように調整される。

例えば、歩行しているユーザ（特に、視覚障害のあるユーザ）が、スマートグラスが危険を回避するように前方の障害物の情報を提供することを所望することが可能である。この場合において、スマートグラスが、画像における１つまたは複数の物体を識別することができ、画像における事前定義された位置または領域における物体についてユーザに知らせるように、スマートグラスは、第１の動作モードに入るように調整されてよい。画像の中心点、または画像の中央の領域は、ユーザの前方の位置に対応し、したがって、事前定義された位置または領域は、画像の中心点、または画像の中央の領域であってよい。

ユーザが動かずに立っている、またはゆっくり動いているとき、スマートグラスは、画像における事前定義された位置または領域に目標物体が存在するかどうかを判定すべく、第２の動作モードに入るように調整されてよい。目標物体の一例が、２次元コードまたはバーコードであり、目標物体の別の例が、文字、または文字を有する物体である。２次元コードまたは文字が、画像における事前定義された位置または領域にあるとき、スマートグラスは、ユーザに対してその２次元コードを識別してよく、または文字を読み上げてよい。

別の例として、視覚障害のあるユーザが、広間に到着し、広間のレイアウトについて、および広間における物について知ることを所望する。視覚障害のあるユーザは、広間における物体の情報について知るべく頭の向きを変えてよい。この場合において、スマートグラスの動作モードは、ユーザの頭の動き速度により調整されてよい。スマートグラスの動き速度が比較的速いとき、スマートグラスは、スマートグラスが、画像における１つまたは複数の物体を識別するように、かつ画像における事前定義された位置または領域における物体についてユーザに知らせるように、第１の動作モードに入れられてよい。グラスの動き速度が、ユーザの頭がゆっくりと動いていることを示す、比較的遅いものであるとき、グラスは、画像における事前定義された位置または領域に目標物体、例えば、文字または２次元コードなどの特別な情報が存在するかどうかを判定すべく、第２の動作モードに入るように調整される。

画像における事前定義された領域は、例えば、画像の中央の円形領域または長方形領域であり、かつ画像全体の面積に対する事前定義された領域の面積の比は、１／３から１／２、または他の任意の値であってよい。

ステップＳ１４０３において、カメラによってキャプチャされた画像が獲得される。
ステップＳ１４０４において、カメラによってキャプチャされた画像における１つまたは複数の物体が識別される。

スマートグラスは、従来技術における任意の方法を使用することによって画像における１つまたは複数の物体を識別してよい。代替として、スマートグラスは、ユーザが携帯するモバイルデバイスに画像を送って、モバイルデバイスが、画像における１つまたは複数の物体を識別するようにしてよい。次に、スマートグラスが、モバイルデバイスから識別結果を受信する。

ステップＳ１４０５において、画像における事前定義された位置または領域に物体が存在するかどうかが判定され、存在する場合、ステップＳ１４０６が実行され、存在しない場合、ステップＳ１４０７が実行される。

例として、画像における事前定義された位置または領域に物体が存在するかどうかを判定することは、スマートグラスが第１の動作モードに入っているとき、画像識別結果により、識別された物体から、ユーザに知らせられるべき画像における事前定義された位置または領域における物体を選択すること、およびグラスが第２の動作モードに入っているとき、画像における事前定義された位置または領域に目標物体が存在するかどうかを判定することを含んでよい。目標物体は、例えば、２次元コードまたは文字であり、ユーザによって事前設定されてよい。

事前定義された位置または領域は、画像の中心点、または画像の中央の領域であってよい。
ステップＳ１４０６において、画像における事前定義された位置または領域における物体について音声の形態でユーザに知らされてよい。

画像における事前定義された位置または領域における物体について音声の形態でユーザに知らせることは、グラスが第１の動作モードに入っているとき、画像における事前定義された位置または領域における物体について音声の形態でユーザに知らせること、およびスマートグラスが第２の動作モードに入っているとき、目標物体について音声の形態でユーザに知らせることを含んでよい。

ステップＳ１４０７において、画像全体に物体が存在するかどうかが判定され、存在する場合、ステップＳ１４０８が実行され、存在しない場合、ステップＳ１４０９が実行される。

スマートグラスが第２の動作モードに入っているとき、画像における事前定義された位置または領域に目標物体が存在しない場合、特定の指示音が、ユーザのために生成されてよく、かつその間、画像の他の位置に目標物体が存在するかどうかが判定されてよい。

スマートグラスが第１の動作モードに入っているとき、ステップＳ１４０７および後続のステップは、実行されなくてよい。
ステップＳ１４０８において、画像における物体の位置が特定され、かつ物体の位置に向けて頭の向きを変えるようユーザは指示される。

画像における別の位置に目標物体が存在するとき、スマートグラスの動き方向が、目標物体と画像における事前定義された位置または領域の間の相対位置関係により決定され、その方向に動くようユーザは指示される。

指示が行われた後、ユーザがゆっくり動く場合、このことは、ユーザが目標物体をさらに位置付けることを所望することを示し、そうではなく、ユーザが迅速に動く場合、このことは、ユーザが目標物体をさらに位置付けることを所望しないことを示す。

したがって、スマートグラスが動いている間、スマートグラスの動き速度が測定されてよい。スマートグラスの動き速度が第３の事前設定された値より小さいとき、カメラは、所定の時間間隔でさらなる１つまたは複数の画像をキャプチャしてよい。スマートグラスは、キャプチャされた画像における目標物体と事前定義された位置または領域の間の距離を計算し、かつ計算された距離により、生成される指示音の周波数および／または音量を変化させてよい。このプロセスは、キャプチャされた画像が、その画像における事前定義された位置または領域に目標物体を含むまで続く。

ステップＳ１４０９において、画像に物体が存在しないことをユーザは指示される。
また、画像における事前定義された位置または領域は、他の方法を使用することによって特定されてもよい。例えば、レーザが、レーザ光を発するために使用されてよい。レーザ光の衝突点が、事前定義された位置に対応する。レーザ光の衝突点の周囲の領域が、事前定義された領域に対応する。カメラまたは光電子検出器が、画像における事前定義された位置または領域における物体（例えば、目標物体）とスマートグラスの間の距離を測定すべく、反射されたレーザ光を検出するのに使用されてよい。

レーザによって発せられる光が可視光であるとき、画像におけるレーザ光の位置が、事前定義された位置と解釈されてよい。レーザによって発せられる光が不可視光であるとき、キャプチャされた画像におけるレーザ光の衝突点の対応する位置が、キャプチャされた画像のためのカメラと反射されたレーザ光を検出するためのカメラの間の事前設定された相互関係により特定されてよく、その位置が、画像における事前定義された位置と解釈される。

添付の図面におけるフローチャートおよびブロック図は、本開示の様々な実施形態による方法、装置、およびコンピュータ可読記憶媒体の可能な実装形態のシステムアーキテクチャ、機能、および動作を例示する。フローチャートにおけるブロックによって表されるステップは、必ずしも、数字によって示される順序で実行されず、ときとして、基本的に並行して実行されてよく、またはときとして、逆の順序で実行されてよく、このことは、関連する機能に依存することに留意されたい。また、ブロック図および／またはフローチャートにおける各ブロック、ならびにブロック図および／またはフローチャートにおけるブロックの組合せは、指定された機能もしくは動作を実行するハードウェアによって実装されても、ハードウェアとコンピュータ命令の組合せによって実装されてもよいことにも留意されたい。

本開示の実施形態において説明される関連するユニットまたはモジュールは、ソフトウェアを用いて実装されても、ハードウェアを用いて実装されてもよい。
前述した実施形態の説明を通じて、当業者は、これらの実施形態は、ソフトウェア、および必要な一般的なハードウェアプラットフォームによって実施されることが可能であることを、明確に理解し得る。無論、これらの実施形態は、ハードウェアにおいて実施されることも可能である。そのような理解に基づいて、前述の技術的ソリューションは、実質的に、または従来技術に寄与する前述の技術的ソリューションの部分が、ソフトウェア製品の形態で実施されることが可能であり、コンピュータデバイス（パーソナルコンピュータ、サーバ、またはネットワークデバイスその他であることが可能な）が実施形態における方法、または実施形態の部分を実行することを可能にする命令を含むコンピュータソフトウェア製品が、ＲＯＭ／ＲＡＭ、磁気ディスク、または光ディスクなどのコンピュータ可読記憶媒体に記憶されることが可能である。

図１５は、本開示の例示的な実施形態による電子デバイスの実施例を示すブロック図である。電子デバイスは、視覚障害者支援デバイスであってよい。視覚障害者支援デバイスは、スマートグラス、またはスマートグラスの構成要素であってよい。図１５に示される構造は、実施例に過ぎず、特定の実装形態により、本開示における電子デバイスは、図１５に示される構成部分のうちの１つまたは複数だけを含んでよいことに留意されたい。

電子デバイス２０００は、画像を撮影し、撮影された画像を処理し、かつ処理することを通じて獲得されたデータに応答してオーディオ指示をもたらすように構成されてよい。例えば、電子デバイス２０００は、画像を撮影し、文字データを獲得すべく画像に対して文字検出および／または文字認識を実行し、文字データを音声データに変換し、ユーザが聴くように音声データを出力するように構成されてよい。

一部の実装形態によれば、電子デバイス２０００は、ユーザの視野をほとんど含む画像が撮影されることが可能であるように眼鏡フレームを含むように構成されてよく、または眼鏡フレーム（例えば、眼鏡フレームの縁、２つの縁を接続する接続部品、眼鏡のつる、もしくは他の任意の部分）上に着脱可能に取り付けられるように構成されてよい。

一部の実装形態によれば、電子デバイス２０００は、別のウェアラブルデバイスに取り付けられてもよく、または別のウェアラブルデバイスに組み込まれてもよい。ウェアラブルデバイスは、例えば、頭部装着型デバイス（例えば、ヘルメットまたは帽子）、耳に装着されることが可能なデバイス、その他であってよい。一部の実施形態によれば、電子デバイスは、ウェアラブルデバイスに付加されたアクセサリ、例えば、ヘルメットもしくは帽子に付加されたアクセサリ、その他として実装されてよい。

電子デバイス２０００は、画像をキャプチャするためのカメラ２００４を備えてよい。電子デバイス２０００は、文字認識回路２００５をさらに備えてよく、文字認識回路２００５は、文字データを獲得するように画像に包含される文字に対して文字検出および／または文字認識（例えば、ＯＣＲ処理）を実行するように構成される。文字認識回路２００５は、例えば、専用のチップによって実装されてよい。電子デバイス２０００は、音声変換回路２００６をさらに備えてよく、音声変換回路２００６は、文字データを音声データに変換するように構成される。音声変換回路２００６は、例えば、専用のチップによって実装されてよい。電子デバイス２０００は、音声出力回路２００７をさらに備えてよく、音声出力回路２００７は、音声データを出力するように構成される。音声出力回路２００７は、ヘッドホン、スピーカ、または振動器、その他、およびそれに対応する駆動回路を含んでよいが、以上には限定されない。電子デバイス２０００は、追跡回路（電子回路）２１００をさらに備えてよく、追跡回路（電子回路）２１００は、前述したスマートグラス追跡方法のステップ（例えば、図１、図３、図７、図９、および図１４のフローチャートに示される方法ステップ）を実行するように構成された回路を含む。

一部の実装形態によれば、電子デバイス２０００は、画像処理回路２００８をさらに備えてよく、画像処理回路２００８は、画像に対して様々な画像処理を実行するように構成された回路を備えてよい。画像処理回路２００８は、例えば、画像に対してノイズ低減を実行するように構成された回路、画像に対して非ファジー化を実行するように構成された回路、画像に対して幾何補正を実行するように構成された回路、画像に対して特徴抽出を実行するように構成された回路、画像における物体に対して物体検出および／または物体識別を実行するように構成された回路、画像に包含される文字に対して文字検出を実行するように構成された回路、画像からテキスト行を抽出するように構成された回路、画像から文字座標を抽出するように構成された回路、画像から物体ボックスを抽出するように構成された回路、画像からテキストボックスを抽出するように構成された回路、画像に基づいてレイアウト解析（例えば、段落分割）を実行するように構成された回路、その他のうちの１つまたは複数を含んでよいが、以上には限定されない。

一部の実装形態によれば、電子デバイス２０００は、文字処理回路２００９をさらに備えてよく、文字処理回路２００９は、段落並べ替え結果、文字意味解析結果、およびレイアウト解析結果などの処理結果を獲得するように、抽出された文字関連の情報（例えば、文字データ、テキストボックス、段落座標、テキスト行座標、および文字座標）に基づいて様々な処理を実行するように構成されてよい。

前述の様々な回路（例えば、文字認識回路２００５、音声変換回路２００６、音声出力回路２００７、画像処理回路２００８、文字処理回路２００９、および追跡回路２１００）のうちの１つまたは複数が、カスタムハードウェア、および／もしくはハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、または以上の任意の組合せを使用することによって実装されてよい。例えば、前述した回路のうちの１つまたは複数が、本開示と整合性のあるロジックおよびアルゴリズムを使用することによって、アセンブリ言語またはハードウェアプログラミング言語（ＶＥＲＩＬＯＧ、ＶＨＤＬ、およびＣ＋＋などの）でハードウェア（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）および／またはプログラマブルロジックアレイ（ＰＬＡ）を含むプログラマブルロジック回路）をプログラミングすることによって実装されてよい。

一部の実装形態によれば、電子デバイス２０００は、通信回路２０１０をさらに備えてよい。通信回路２０１０は、外部デバイスおよび／またはネットワークを相手にした通信を可能にする任意のタイプのデバイスまたはシステムであってよく、Ｂｌｕｅｔｏｏｔｈ（登録商標）デバイス、１３０２．１１デバイス、ＷｉＦｉデバイス、ＷｉＭａｘデバイス、セルラ通信デバイス、および／またはこれに類似したものなどのモデム、ネットワークカード、赤外線通信デバイス、無線通信デバイス、および／またはチップセットを含んでよいが、以上には限定されない。

一部の実装形態によれば、電子デバイス２０００は、入力デバイス２０１１をさらに備えてよい。入力デバイス２０１１は、電子デバイス２０００に情報を入力することができる任意のタイプのデバイスであってよく、かつ様々なセンサ、マウス、キーボード、タッチスクリーン、ボタン、ジョイスティック、マイクロホン、および／またはリモートコントローラ、その他を含んでよいが、以上には限定されない。

一部の実装形態によれば、電子デバイス２０００は、出力デバイス２０１２をさらに備えてよい。出力デバイス２０１２は、情報を提示することができる任意のタイプのデバイスであってよく、ディスプレイ、ビジュアル出力端末、振動器、および／またはプリンタ、その他を含んでよいが、以上には限定されない。電子デバイス２０００は、一部の実施形態による視覚障害者支援デバイスのために使用されるものの、視覚ベースの出力デバイスは、ユーザの家族、メンテナンス係員、その他が電子デバイス２０００から出力情報を獲得するのを容易にすることが可能である。

一部の実装形態によれば、電子デバイス２０００は、プロセッサ２００１をさらに備えてよい。プロセッサ２００１は、任意のタイプのプロセッサであってよく、かつ１つまたは複数の汎用プロセッサおよび／または１つまたは複数の専用プロセッサ（例えば、特別処理チップ）を含んでよいが、以上には限定されない。プロセッサ２００１は、例えば、中央処理装置（ＣＰＵ）またはマイクロプロセッサユニット（ＭＰＵ）であってよいが、これらには限定されない。電子デバイス２０００は、作業メモリ２００２をさらに備えてよい。作業メモリ２００２は、プロセッサ２００１の作業に役立つプログラム（命令を含む）および／またはデータ（例えば、画像、文字、音声、およびその他の中間データ）を記憶する作業メモリであってよく、かつランダムアクセスメモリデバイスおよび／または読取り専用メモリデバイスを含んでよいが、これらには限定されない。電子デバイス２０００は、ストレージデバイス２００３をさらに備えてよい。ストレージデバイス２００３は、任意の非遷移的ストレージデバイスを備えてよい。非遷移的ストレージデバイスは、非遷移的であってよく、データ記憶を実施することができる任意のストレージデバイスであってよく、かつディスクドライブ、光ストレージデバイス、ソリッドステートメモリ、フロッピディスク、フレキシブルディスク、ハードディスク、磁気テープもしくは他の任意の磁気媒体、光ディスクもしくは他の任意の光媒体、読取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、キャッシュメモリ、および／または他の任意のメモリチップもしくはメモリカートリッジ、ならびに／あるいはコンピュータがデータ、命令、および／またはコードを読み取ることができる他の任意の媒体を含んでよいが、以上には限定されない。作業メモリ２００２およびストレージデバイス２００３は、ひとまとめにして「メモリ」と呼ばれてよく、かつ一部の事例において互換的に使用されてよい。

一部の実装形態によれば、プロセッサ２００１は、カメラ２００４、文字認識回路２００５、音声変換回路２００６、音声出力回路２００７、画像処理回路２００８、文字処理回路２００９、通信回路２０１０、追跡回路（電子回路）２１００、ならびに電子デバイス２０００における他の様々な装置および回路のうちの少なくとも１つを制御し、かつスケジュール設定してよい。一部の実装形態によれば、図１５において説明される構成部分の少なくともいくつかは、バス２０１３を通じて互いに接続されてよく、かつ／または互いに通信してよい。

ソフトウェア要素（プログラム）は、作業メモリ２００２内に配置されてよく、かつオペレーティングシステム２００２ａ、１つもしくは複数のアプリケーションプログラム２００２ｂ、ドライバ、ならびに／または他のデータおよびコードを含んでよいが、以上には限定されない。

一部の実装形態によれば、前述した制御およびスケジュール設定のための命令は、オペレーティングシステム２００２ａ、または１つもしくは複数のアプリケーションプログラム２００２ｂに備えられてよい。

一部の実装形態によれば、本開示において説明される方法ステップ（例えば、図１、図３、図７、図９、および図１４のフローチャートに示される方法ステップ）を実行するための命令は、１つまたは複数のアプリケーションプログラム２００２ｂに含められてよく、電子デバイス２０００の前述したモジュールは、１つまたは複数のアプリケーションプログラム２００２ｂの命令を読み取り、かつ実行するプロセッサ２００１によって実装されてよい。言い換えると、電子デバイス２０００は、プロセッサ２００１と、プログラムを記憶するメモリ（例えば、作業メモリ２００２および／またはストレージデバイス２００３）とを備えてよく、プログラムは、プロセッサ２００１によって実行されたとき、プロセッサ２００１に、本開示の様々な実施形態の方法を実行させる命令を備える。

一部の実装形態によれば、文字認識回路２００５、音声変換回路２００６、画像処理回路２００８、文字処理回路２００９、および追跡回路（電子回路）２１００のうちの少なくとも１つによって実行される動作のいくつか、またはすべては、１つまたは複数のアプリケーションプログラム２００２の命令を読み取り、かつ実行するプロセッサ２００１によって実装されてよい。

ソフトウェア要素（プログラム）の命令の実行可能コードまたはソースコードが、非遷移的コンピュータ可読記憶媒体（例えば、ストレージデバイス２００３）に記憶されてよく、かつ実行されたとき、作業メモリ２００１に記憶されてよい（コンパイルされてよく、かつ／またはインストールされてよい）。したがって、本開示は、プログラムを記憶するコンピュータ可読記憶媒体を提供し、プログラムは、電子デバイス（例えば、視覚障害者支援デバイス）のプロセッサによって実行されたとき、電子デバイスに、本開示の様々な実施形態の方法を実行させる命令を含む。別の実装形態によれば、ソフトウェア要素（プログラム）の命令の実行可能コードまたはソースコードは、遠隔位置からダウンロードされてもよい。

また、特定の要件により、様々な変形形態が作成されてよいことも認識されたい。例えば、カスタムハードウェアが使用されてもよく、かつ／または様々な回路、ユニット、モジュール、または要素が、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、または以上の任意の組合せにおいて実装されてよい。例えば、開示される方法およびデバイスに備えられる回路、ユニット、モジュール、または要素のいくつか、またはすべてが、本開示と整合性のあるロジックおよびアルゴリズムを使用することによってアセンブリ言語またはハードウェアプログラミング言語（ＶＥＲＩＬＯＧ、ＶＨＤＬ、およびＣ＋＋などの）でハードウェア（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）および／またはプログラマブルロジックアレイ（ＰＬＡ）を含むプログラマブルロジック回路）をプログラミングすることによって実装されてよい。

一部の実装形態によれば、電子デバイス２０００におけるプロセッサ２００１は、ネットワーク上で分散されてよい。例えば、いくらかの処理が、１つのプロセッサによって実行されてよい一方で、他の処理が、その１つのプロセッサから離れた別のプロセッサによって実行されてよい。また、電子デバイス２００１の他のモジュールが、同様に分散されてもよい。このため、電子デバイス２００１は、複数の位置において処理を実行する分散コンピューティングシステムとして実装されることが可能である。

本開示の態様は、以下の列挙される例示的な実施形態（ＥＥＥ）から理解されることが可能である。
ＥＥＥ１ 画像をキャプチャした後、画像における１つまたは複数の物体を識別するステップ、および
画像における事前定義された焦点位置または焦点領域に位置付けられた物体についてユーザに知らせるステップ
を備えるスマートグラス焦点追跡方法。

ＥＥＥ２ 画像における事前定義された焦点位置または焦点領域に物体が存在しないとき、頭の向きを変えるようユーザに指示するステップ、または画像における事前定義された焦点位置もしくは焦点領域に物体が存在しないことをユーザに指示するステップをさらに備えるＥＥＥ１による方法。

ＥＥＥ３ 画像における事前定義された焦点位置または焦点領域に物体が存在しないとき、頭の向きを変えるようユーザに指示するステップが、
画像における事前定義された焦点位置または焦点領域に物体が存在しないとき、画像における物体の位置を特定するステップ、および物体の位置に向けて頭の向きを変えるようユーザに指示するステップを備える、ＥＥＥ２による方法。

ＥＥＥ４ ユーザが頭の向きを変えるとき、画像における事前定義された焦点位置または焦点領域に対する物体の近接性により指示の音を変化させるステップをさらに備えるＥＥＥ２による方法。

ＥＥＥ５ 画像における事前定義された焦点位置が、画像における中心位置であり、かつ
画像における事前定義された焦点領域が、画像全体の面積の１／３から１／２の面積を有する画像の中心における円形領域または長方形領域である、ＥＥＥ１による方法。

ＥＥＥ６ 画像をキャプチャした後、画像における１つまたは複数の物体を識別するための識別ユニットと、
画像における事前定義された焦点位置または焦点領域に位置付けられた物体についてユーザに知らせるための通知ユニットと
を備えるスマートグラス焦点追跡装置。

ＥＥＥ７ 通知ユニットが、画像における事前定義された焦点位置または焦点領域に物体が存在しないとき、頭の向きを変えるようユーザに指示すること、または画像における事前定義された焦点位置もしくは焦点領域に物体が存在しないことをユーザに指示することのためにさらに使用される、ＥＥＥ６による装置。

ＥＥＥ８ 画像における事前定義された焦点位置または焦点領域に物体が存在しないとき、頭の向きを変えるようユーザに指示することが、
画像における事前定義された焦点位置または焦点領域に物体が存在しないとき、画像における物体の位置を特定すること、および物体の位置に向けて頭の向きを変えるようユーザに指示することを備える、ＥＥＥ７による装置。

ＥＥＥ９ 通知ユニットが、
ユーザが頭の向きを変えるとき、画像における事前定義された焦点位置または焦点領域に対する物体の近接性により指示の音を変化させることのためにさらに使用される、ＥＥＥ７による装置。

ＥＥＥ１０ 画像における事前定義された焦点位置が、画像における中心位置であり、かつ
画像における事前定義された焦点領域が、画像全体の面積の１／３から１／２の面積を有する画像の中心における円形領域または長方形領域である、ＥＥＥ６による装置。

ＥＥＥ１１ プロセッサと、カメラと、音声再生装置とを備えるスマートグラスであって、
プロセッサが、カメラを使用することによって画像をキャプチャすべく、かつ画像における１つまたは複数の物体を識別した後、画像における事前定義された焦点位置または焦点領域に位置付けられた物体について、音声再生装置を使用することによってユーザに知らせるべく、カメラおよび音声再生装置に接続される、スマートグラス。

ＥＥＥ１２ 音声再生装置が、スピーカである、ＥＥＥ１１によるスマートグラス。
ＥＥＥ１３ スマートグラスの動き状態を判定するための慣性センサアセンブリをさらに備え、慣性センサアセンブリが、プロセッサに接続される、ＥＥＥ１１によるスマートグラス。

ＥＥＥ１４ 慣性センサアセンブリが、
スマートグラスの動き速度を測定するための速度センサ、
スマートグラスの動き速度を測定するための加速度センサ、および
スマートグラスの垂直軸と地球の中心部に向かう垂直線の間の開先角度の情報を測定するためのジャイロスコープのうちの１つまたは組合せを備える、ＥＥＥ１３によるスマートグラス。

ＥＥＥ１５ コンピュータプログラムを記憶しているコンピュータ可読記憶媒体であって、コンピュータプログラムが、ＥＥＥ１からＥＥＥ５の方法を実施するために使用される、コンピュータ可読記憶媒体。

ＥＥＥ１６ 画像をキャプチャし、かつ画像におけるレーザ光の衝突点を検出するステップ、
画像におけるレーザ光の衝突点における物体を識別するステップ、および
レーザ光の衝突点における物体についてユーザに知らせるステップ
を備えるスマートグラス焦点追跡方法。

ＥＥＥ１７ 画像におけるレーザ光の衝突点の周囲の事前定義された領域における物体を識別するステップ、および
レーザ光の衝突点の周囲の事前定義された領域における物体についてユーザに知らせるステップ
をさらに備えるＥＥＥ１６による方法。

ＥＥＥ１８ 画像におけるレーザ光の衝突点に、またはレーザ光の衝突点の周囲の事前定義された領域に物体が存在しないとき、頭の向きを変えるようユーザに指示するステップ、または画像におけるレーザ光の衝突点に、もしくはレーザ光の衝突点の周囲の事前定義された領域に物体が存在しないことをユーザに指示するステップをさらに備えるＥＥＥ１７による方法。

ＥＥＥ１９ 画像におけるレーザ光の衝突点に、またはレーザ光の衝突点の周囲の事前定義された領域に物体が存在しないとき、頭の向きを変えるようユーザに指示するステップが、
画像におけるレーザ光の衝突点に、またはレーザ光の衝突点の周囲の事前定義された領域に物体が存在しないとき、画像における物体の位置を特定し、かつ物体の位置に向けて頭の向きを変えるようユーザに指示するステップを備える、ＥＥＥ１８による方法。

ＥＥＥ２０ ユーザが頭の向きを変えるとき、レーザ光の衝突点、またはレーザ光の衝突点の周囲の事前定義された領域に対する物体の近接性により指示の音を変化させるステップをさらに備えるＥＥＥ１８による方法。

ＥＥＥ２１ レーザ光の衝突点が、画像の中心領域に位置付けられる、ＥＥＥ１６による方法。
ＥＥＥ２２ 画像をキャプチャし、かつ画像におけるレーザ光の衝突点を検出するステップが、
カメラによって画像をキャプチャし、かつ画像における赤外線レーザスポットを検出するステップ、または
第１のカメラによって画像をキャプチャし、第２のカメラによってレーザ光の衝突点の位置を検出し、かつ第１のカメラと第２のカメラの間の事前設定された相互関係により、キャプチャされた画像におけるレーザ光の衝突点の位置を特定するステップを備える、ＥＥＥ１６による方法。

ＥＥＥ２３ 画像をキャプチャし、かつ画像におけるレーザ光の衝突点を検出する前に、スマートグラスの動き速度が事前設定された値より小さいと判定するステップをさらに備えるＥＥＥ１６による方法。

ＥＥＥ２４ 画像をキャプチャするため、および画像におけるレーザ光の衝突点を検出するためのキャプチャリングユニットと、
画像におけるレーザ光の衝突点における物体を識別するための識別ユニットと、
レーザ光の衝突点における物体についてユーザに知らせるための通知ユニットと
を備えるスマートグラス焦点追跡装置。

ＥＥＥ２５ レーザ光を発するためのレーザエミッタと、
画像をキャプチャするため、および画像におけるレーザ光の衝突点を検出するための撮影装置と、
画像におけるレーザ光に衝突点における物体を識別するためのプロセッサと、
レーザ光の衝突点における物体についてユーザに知らせるための音声再生装置とを備えるスマートグラスであって、
プロセッサが、撮影装置および音声再生装置に接続される、スマートグラス。

ＥＥＥ２６ 撮影装置が、
画像をキャプチャするための第１のカメラと、
レーザ光の衝突点を検出するための第２のカメラと
を備える、スマートグラスであって、
プロセッサが、第１のカメラと第２のカメラの間の事前設定された相互関係により、第１のカメラによってキャプチャされた画像において第２のカメラによって検出されたレーザ光の衝突点の位置を特定する、ＥＥＥ２５によるスマートグラス。

ＥＥＥ２７ レーザエミッタが、撮影装置によってキャプチャされた画像の中心領域を指し示す方向でレーザ光を発する、ＥＥＥ２５によるスマートグラス。
ＥＥＥ２８ レーザエミッタが、赤外線エミッタである、ＥＥＥ２５によるスマートグラス。

ＥＥＥ２９ 音声再生装置が、ヘッドホンまたはスピーカである、ＥＥＥ２５によるスマートグラス。
ＥＥＥ３０ スマートグラスの動き状態を判定するための慣性センサアセンブリをさらに備えるスマートグラスであって、慣性センサアセンブリが、プロセッサに接続される、ＥＥＥ２５によるスマートグラス。

ＥＥＥ３１ 慣性センサアセンブリが、
スマートグラスの動き速度を測定するための速度センサ、
スマートグラスの動き速度を測定するための加速度センサ、および
スマートグラスの垂直軸と地球の中心部に向かう垂直線の間の開先角度の情報を測定するためのジャイロスコープ
のうちの１つまたは組合せを備える、ＥＥＥ３０によるスマートグラス。

ＥＥＥ３２ コンピュータプログラムを記憶しているコンピュータ可読記憶媒体であって、コンピュータプログラムが、ＥＥＥ１６からＥＥＥ２３の方法を実施するために使用される、コンピュータ可読記憶媒体。

本開示の実施形態または実施例は、添付の図面を参照して説明されてきたものの、前段で説明される方法、システム、およびデバイスは、例示的な実施形態または実施例に過ぎず、本開示の範囲は、それらの実施形態または実施例によって限定されるのではなく、添付の許可された特許請求の範囲、およびその均等の範囲によってのみ規定されることを認識されたい。それらの実施形態または実施例における様々な要素は、省かれてよく、またはそれらと均等の要素によって置き換えられてよい。さらに、ステップは、本開示において説明されるのとは異なる順序で実行されてよい。さらに、それらの実施形態または実施例における様々な要素は、様々な様態で組み合わされてよい。技術が進化するにつれ、本明細書において説明される多くの要素が、本開示より後に出現する均等の要素で置き換えられてよいことが重要である。

４０１ 識別ユニット
４０２ 通知ユニット
５０１ プロセッサ
５０２ カメラ
５０３ 音声再生装置
５０４ 慣性センサアセンブリ
１００１ キャプチャリングユニット
１００２ 識別ユニット
１００３ 通知ユニット
１１０１ レーザエミッタ
１１０２ 撮影装置
１１０２１ 第１のカメラ
１１０２２ 第２のカメラ
１１０３ プロセッサ
１１０４ 音声再生装置
１１０５ 慣性センサアセンブリ
２０００ 電子デバイス
２００１ プロセッサ
２００２ 作業メモリ
２００２ａ オペレーティングシステム
２００２ｂ アプリケーションプログラム
２００３ ストレージデバイス
２００４ カメラ
２００５ 文字認識回路
２００６ 音声変換回路
２００７ 音声出力回路
２００８ 画像処理回路
２００９ 文字処理回路
２０１０ 通信回路
２０１１ 入力デバイス
２０１２ 出力デバイス
２０１３ バス
２１００ 追跡回路

Claims (14)

1. 画像をキャプチャするステップと、
   前記画像における１つまたは複数の物体を識別するステップと、
   前記画像における事前定義された位置または領域に位置付けられた物体についてユーザに知らせるステップと
   を備えるスマートグラス追跡方法。
2. 前記画像における前記事前定義された位置または領域に物体が存在しないとき、頭の向きを変えるよう前記ユーザに指示するステップ、または前記画像における前記事前定義された位置もしくは領域に物体が存在しないことを前記ユーザに指示するステップをさらに備える請求項１に記載の方法。
3. 前記画像における前記事前定義された位置または領域に物体が存在しないとき、前記頭の向きを変えるよう前記ユーザに指示するステップは、
   前記画像における前記事前定義された位置または領域に物体が存在しないとき、前記画像における物体の位置を特定し、かつ前記物体の前記位置に向けて前記頭の向きを変えるよう前記ユーザに指示するステップを備える、請求項２に記載の方法。
4. 前記ユーザが前記頭の向きを変えるとき、前記画像における前記事前定義された位置または領域に対する前記物体の近接性により前記指示するステップのための音を変化させるステップをさらに備える請求項２または３に記載の方法。
5. 前記画像における前記事前定義された位置は、前記画像における中心位置であり、かつ
   前記画像における前記事前定義された領域は、前記画像の面積の１／３から１／２の面積を有する前記画像の中心における円形領域または長方形領域である、請求項１〜４のいずれか一項に記載の方法。
6. レーザ光を発するステップをさらに備える方法であって、
   前記レーザ光は、可視光であり、かつ前記画像における前記事前定義された位置は、前記レーザ光が位置付けられる前記画像における位置である、請求項１〜５のいずれか一項に記載の方法。
7. レーザによってレーザ光を発するステップと、
   第１のカメラによって前記画像をキャプチャするステップと、
   第２のカメラによって前記レーザ光の衝突点の位置を検出するステップと、
   前記第１のカメラと前記第２のカメラの間の事前設定された相互関係により、前記画像における前記事前定義された位置として、前記キャプチャされた画像における前記レーザ光の前記衝突点の対応する位置を特定するステップとをさらに備える請求項１〜６のいずれか一項に記載の方法。
8. 前記画像をキャプチャするステップは、前記スマートグラスの動き速度が第１の事前設定された値より小さいことに応答して前記画像をキャプチャするステップを備える、請求項１〜７のいずれか一項に記載の方法。
9. 前記画像における前記事前定義された位置または領域に位置付けられた前記物体について前記ユーザに知らせるステップは、
   前記識別するステップの結果により、かつ前記識別された物体から、前記ユーザに知らせられるべき前記画像における前記事前定義された位置または領域に位置付けられた前記物体を選択するステップを備える、請求項１〜８のいずれか一項に記載の方法。
10. 前記識別するステップの前記結果により、前記画像における前記事前定義された位置または領域に目標物体が存在するかどうかを判定するステップと、
    前記画像における前記事前定義された位置または領域に目標物体が存在しないことに応答して、前記画像における別の位置または領域に前記目標物体が存在するかどうかを判定するステップと、
    前記画像における前記別の位置または領域に前記目標物体が存在すると判定したことに応答して、前記スマートグラスを動かすための方向を決定するステップと、
    前記スマートグラスを動かすための前記方向により、前記方向で動くよう前記ユーザに指示する指示音を生成するステップとをさらに備える請求項１〜９のいずれか一項に記載の方法。
11. 前記スマートグラスを動かしている間、所定の時間間隔で複数のさらなる画像をキャプチャするステップと、
    前記複数のさらなる画像のそれぞれに関して、
    前記目標物体と前記事前定義された位置または領域の間の距離を計算するステップと、
    前記計算された距離により前記生成された指示音の周波数および／または音量を変化させるステップとをさらに備える請求項１０に記載の方法。
12. 前記スマートグラスが第２の事前設定された値より大きい動き速度を有することに応答して、前記スマートグラスを第１の動作モードに入るように調整するステップと、
    前記スマートグラスの前記動き速度が前記第２の事前設定された値より小さいことに応答して、前記スマートグラスを第２の動作モードに入るように調整するステップと、
    前記スマートグラスが前記第１の動作モードに入っていることに応答して、前記識別するステップの前記結果により、かつ前記識別された物体から、前記ユーザに知らせられるべき前記画像における前記事前定義された位置または領域に位置付けられた前記物体を選択するステップと、
    前記スマートグラスが前記第２の動作モードに入っていることに応答して、前記識別するステップの前記結果により、前記画像における前記事前定義された位置または領域に前記目標物体が存在するかどうかを判定するステップとをさらに備える請求項１〜１１のいずれか一項に記載の方法。
13. プロセッサと、
    メモリと
    を備えるスマートグラスであって、
    前記メモリは、前記プロセッサによって実行されたとき、スマートグラスに請求項１〜１２のいずれか一項に記載の方法を実行させるプログラム命令を記憶している、スマートグラス。
14. スマートグラスのプロセッサによって実行されたとき、スマートグラスに請求項１〜１２のいずれか一項に記載の方法を実行させるプログラム命令を記憶して備えるコンピュータ可読記憶媒体。
    

Images