JP2021525036A - スマートグラス、眼球軌跡の追跡方法、装置及び記憶媒体 - Google Patents
スマートグラス、眼球軌跡の追跡方法、装置及び記憶媒体 Download PDFInfo
- Publication number
- JP2021525036A JP2021525036A JP2020564920A JP2020564920A JP2021525036A JP 2021525036 A JP2021525036 A JP 2021525036A JP 2020564920 A JP2020564920 A JP 2020564920A JP 2020564920 A JP2020564920 A JP 2020564920A JP 2021525036 A JP2021525036 A JP 2021525036A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- wearable user
- relative position
- glass frame
- microcontroller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000004984 smart glass Substances 0.000 title claims abstract description 92
- 238000000034 method Methods 0.000 title claims abstract description 27
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 95
- 239000011521 glass Substances 0.000 claims abstract description 74
- 210000001508 eye Anatomy 0.000 claims abstract description 34
- 230000033001 locomotion Effects 0.000 claims description 102
- 210000003128 head Anatomy 0.000 claims description 25
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 230000004886 head movement Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 238000004891 communication Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims description 2
- 210000005069 ears Anatomy 0.000 claims 1
- 238000004364 calculation method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
- G02C11/00—Non-optical adjuncts; Attachment thereof
- G02C11/10—Electronic devices other than hearing aids
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Abstract
Description
体に統合して、ユーザの眼球の動き軌跡を追跡して、撮影してアップロードすることや、情報の閲覧、メッセージの受送信、天気や道路状況のクエリ等の操作を完成することができる。
第1態様によると、本願の実施例において、順に接続された第1側のグラスフレーム、メイングラスフレーム、第2側のグラスフレーム、を含み、前記第1側のグラスフレームと前記第2側のグラスフレームはウェアラブルユーザの耳部に着用され、前記メイングラスフレームは前記ウェアラブルユーザの目の前方に支持されるグラスフレームと、
前記メイングラスフレーム上に固定されて前記マイクロコントローラーに接続され、画像を表示するための表示モジュールと、
前記メイングラスフレーム上に設けられて前記マイクロコントローラーに接続され、前記ウェアラブルユーザの眼球画像を取得してマイクロコントローラーに送信するための調整可能なカメラ部品と、
前記グラスフレームの内部に設けられて前記マイクロコントローラーに接続され、姿勢情報と変位情報を含む前記スマートグラスの動き情報を取得して前記マイクロコントローラーに送信するためのセンサーモジュールと、
前記グラスフレームの内部に設けられて、受信した前記動き情報に基づいて前記調整可能なカメラ部品を調整し、受信した前記眼球画像に基づいて前記ウェアラブルユーザの注視点と注視方向を確定するためのマイクロコントローラーと、を含むスマートグラスを提供する。
マイクロコントローラーが、センサーモジュールから送信された動き情報を受信することと、
前記マイクロコントローラーが、前記動き情報及び予め設定された調整条件に基づいてカメラの現在相対位置が前記マイクロコントローラーにより前記カメラがウェアラブルユーザの眼球にまっすぐに向かう時に取得した前記カメラの基準相対位置からずれたと確定されると、前記動き情報に基づいて、前記現在相対位置から前記基準相対位置へ移動するように前記カメラを調整することと、
前記マイクロコントローラーが、前記カメラが前記基準相対位置にある時に取得した前記ウェアラブルユーザの眼球画像に基づいて、前記ウェアラブルユーザの注視点と注視方向を確定することと、を含む眼球軌跡の追跡方法を提供する。
センサーモジュールから送信された動き情報を受信するための情報受信手段と、
前記マイクロコントローラーが前記動き情報及び予め設定された調整条件に基づいて、カメラの現在相対位置が前記マイクロコントローラーにより前記カメラがウェアラブルユーザの眼球にまっすぐに向かう時に取得した前記カメラの基準相対位置からずれたと確定すると、前記動き情報に基づいて、前記現在相対位置から前記基準相対位置へ移動するように前記カメラを調整するための位置調整手段と、
前記カメラが前記基準相対位置にある時に取得した前記ウェアラブルユーザの眼球画像に基づいて、前記ウェアラブルユーザの注視点と注視方向を確定するための情報取得手段と、を含む眼球軌跡の追跡装置を提供する。
本願の実施例によると、スマートグラスに対応するセンサーモジュールとカメラ部品を設けて、センサーモジュールによってスマートグラスの動き情報を取得して、動き情報に基づいて調整可能なカメラを現在相対位置から基準相対位置に移動するように調整した後、カメラによってウェアラブルユーザの眼球画像を取得して、眼球画像に基づいてウェアラブルユーザの注視点と注視方向を確定することで、既存のスマートグラスは着用位置にずれが生じた時にカメラの位置を調整できないために眼球軌跡の計算結果の誤差が大きい問題を解決し、ウェアラブルユーザの眼球との基準相対位置を終始保持するようにカメラのずれを補正することで、ウェアラブルユーザの眼球軌跡情報の精確性と信頼性を向上させる。
図1は本願の実施例1によるスマートグラスの構造を示す図で、図1に示すように、該スマートグラスの構造は、
グラスフレーム10と、表示モジュール20と、調整可能なカメラ部品30と、センサーモジュール40と、マイクロコントローラー50と、を含み、ここで、グラスフレーム10は順に接続された第1側のグラスフレーム110と、メイングラスフレーム120と、第2側のグラスフレーム130とを含み、ここで、第1側のグラスフレーム110と第2側のグラスフレーム130はウェアラブルユーザの耳部に着用され、メイングラスフレーム120はウェアラブルユーザの目の前方に支持される。表示モジュール20は、メイングラスフレーム120上に固定され、マイクロコントローラー50に接続されて画像を表示する。調整可能なカメラ部品30は、メイングラスフレーム120上に設けられてマイクロコントローラー50に接続され、ウェアラブルユーザの眼球画像を取得してマイクロコントローラー50に送信する。センサーモジュール40は、グラスフレーム10の内部に設けられてマイクロコントローラー50に接続され、スマートグラスの動き情報を取得してマイクロコントローラー50に送信する。ここで、動き情報は姿勢情報と変位情報を含む。マイクロコントローラー50は、グラスフレーム10の内部に設けられて、受信した動き情報に基づいて調整可能なカメラ部品30を調整し、受信した眼球画像に基づいてウェアラブルユーザの注視点と注視方向を確定する。
本願の実施例において、第1側のグラスフレーム110と第2側のグラスフレーム130は同性質の側面グラスフレームであり、つまり、第1側のグラスフレーム110を第2側のグラスフレーム130とすることができれば、第2側のグラスフレーム130を第1側のグラスフレーム110とすることもできる。側面グラスフレームの内部にセンサーモジュール40とマイクロコントローラー50を装着することができる。表示モジュール20は画像情報を表示することができ、ここで、画像情報は仮想画像と拡張現実の画像等を含むがこれらに限定されることはない。また、表示モジュール20は、表示レンズの形態で画像情報を表示することができれば、電子表示投影の形態で画像情報を表示することもでき、本願の実施例においては限定しない。調整可能なカメラ部品30は、メイングラスフレーム120上に設けられるとともに、グラスフレーム10の内部のマイクロコントローラー50に接続される。なお、調整可能なカメラ部品30は、第1側のグラスフレーム110(または第2側のグラスフレーム130)上に設けられることもでき、つまり、調整可能なカメラ部品30の装着位置は実際に需要に応じて設置することができ、本願の実施例においては限定しない。また、メイングラスフレーム120の表示モジュール20に対応する上方位置(または第1側のグラスフレーム110と第2側のグラスフレーム130)に2セットの調整可能なカメラ部品30が対称に設けられて、それぞれウェアラブルユーザの眼球軌跡(注視点と注視方向を含む)の追跡と外部画像の取得に用いられる。ウェアラブルユーザの眼球軌跡を追跡する必要がない場合、ウェアラブルユーザの視線を遮断することを防止するため、調整可能なカメラ部品30を表示モジュールの外部へ調整することもできる。センサーモジュール40は、メイングラスフレーム120の内部に設けられてスマートグラスの動き情報を取得することができ、例えば、ウェアラブルユーザの頭部が直立されている時、スマートグラスの着用位置が基準着用位置であれば、センサーモジュールにより取得される動き情報は変位が0であり、変位角が0である。ここで、基準着用位置において表示モジュールは鉛直中心線が鉛直方向と重なり、且つウェアラブルユーザの眼球と所定の距離(カメラがウェアラブルユーザの眼球にまっすぐに向かう時に取得した)だけ離れている。ウェアラブルユーザがスマートグラスを着用し始める時にスマートグラスが基準着用位置を自動に取得することができ、且つ異なるウェアラブルユーザがスマートグラスを使用する時及びウェアラブルユーザがスマートグラスを使用するたびに基準着用位置が一致しないことができる。基準着用位置を確定した後、すぐにウェアラブルユーザの眼球に対する調整可能なカメラ部品30中のカメラの基準相対位置を取得することができる。また、本願の実施例におけるセンサーモジュール40によって取得したデータをウェアラブルユーザの体感ゲームに応用することが可能である。マイクロコントローラー50は、センサーモジュール40から送信された動き情報に基づいて、スマートグラスが基準着用位置から離れた具体的な状況を分析し、調整可能なカメラ部品30を現在位置から基準相対位置に調整する。同時に、マイクロコントローラー50はさらに、調整可能なカメラ部品30から送信されたウェアラブルユーザの眼球画像を受信して、取得した眼球画像に基づいて、ウェアラブルユーザの注視点と注視方向を確定する。
本願の実施例におけるスマートグラスの動作原理は、スマートグラスに設けられたセンサーモジュールによってスマートグラスの動き情報を取得し、動き情報に基づいて、スマートグラスの現在着用位置が基準着用位置からずれた具体的な状況を確定し、スマートグラス中のマイクロコントローラーはスマートグラスの動き情報に基づいて、現在位置から基準相対位置に調整された後にウェアラブルユーザの眼球を追跡するように調整可能なカメラ部品を制御し、調整可能なカメラ部品は取得された眼球画像をマイクロコントローラーに送信し、マイクロコントローラーは受信した眼球画像に基づいてウェアラブルユーザの注視点と注視方向を分析する。
図1に示すように、本願の一代替実施例において、調整可能なカメラ部品30は、カメラ310と、移動ロッド320と、回転軸330と、を含み、カメラ310は回転軸330上に装着されてウェアラブルユーザの眼球画像を取得する。回転軸330は移動ロッド320の一端に固定されてカメラ310の撮像角度を調整する。移動ロッド320は、第1側のグラスフレーム110に接続されてカメラ310の位置を調整する。
本願の実施例において、カメラ310に対応する移動ロッド320と回転軸330を配置して調整可能なカメラ部品30を構成することができる。ここで、移動ロッド320によって上下左右方向の移動を実現し、カメラ310は回転軸330を中心として円周回転を実現することができる。このように、移動ロッド320と回転軸330の組み合わせによって、カメラ310がウェアラブルユーザの眼球の位置に対して有効な調整を実現できる。
図2は本願の実施例1によるスマートグラスの構造を示す図で、図2に示すように、本願の一代替実施例において、センサーモジュールは、第1センサーモジュール410と第2センサーモジュール420とを含み、ここで、第1センサーモジュール410はグラスフレームを接続する接続ベルト60上に設けられてウェアラブルユーザの頭部の動き情報を取得し、第2センサーモジュール420はメイングラスフレーム120の内部に設けられてスマートグラスの動き情報を取得する。
本願の一代替実施例において、スマートグラスは無線受送信手段をさらに含み、無線受送信手段はグラスフレームの内部に設けられてマイクロコントローラーに接続され、外部の電子機器と無線通信を行う。
図3は本願の実施例2による眼球軌跡の追跡方法を示すフローチャートであり、本願のいずれかの実施例によるスマートグラスに適用される。本実施例を、カメラを現在位置から基準相対位置に調整する場合に応用することができ、該方法を眼球軌跡の追跡装置によって実行することができ、該装置をソフトウェア及び/またはハードウェアの形態で実現することができ、対応して、図3に示すように、該方法は以下の操作を含む。
マイクロコントローラーが、センサーモジュールから送信された動き情報を受信する(S210)。
ここで、動き情報は、姿勢情報と変位情報を含む。スマートグラスは、一つまたは二つのセンサーモジュールを用いて動き情報を取得することができる。
前記マイクロコントローラーが、前記動き情報及び予め設定された調整条件に基づいて、カメラの現在相対位置が前記カメラの基準相対位置からずれたと確定すると、前記動き情報に基づいて、前記現在相対位置から前記基準相対位置に移動するように前記カメラを調整する(S220)。
ここで、基準相対位置は、マイクロコントローラーによりカメラがウェアラブルユーザの眼球にまっすぐに向かう時に取得される。予め設定された調整条件は、カメラが基準相対位置からずれた範囲であることができ、例えばカメラの現在相対位置の基準相対位置からのずれが2cm以下である。
本願の実施例において、スマートグラスに一つのセンサーモジュールのみを用いた場合、マイクロコントローラーが受信する動き情報がウェアラブルユーザの頭部に対するスマートグラスの相対動き情報である。スマートグラスに二つのセンサーモジュールを用いた場合、マイクロコントローラーは二つの動き情報に基づいてウェアラブルユーザの頭部に対するスマートグラスの相対動き情報を計算することができる。例えば、センサーモジュールによって取得されたウェアラブルユーザの頭部の動き情報が下方への30°偏向で、スマートグラスの動き情報が下方への45°偏向であれば、ウェアラブルユーザの頭部に対するスマートグラスの相対動き情報は下方への15°偏向である。この時、カメラを現在位置から上方へ15°回転させるとカメラを基準相対位置に調整することができる。
図4は本願の実施例3による眼球軌跡の追跡装置を示す図であって、本実施例をカメラを現在位置から基準相対位置に調整する場合に応用することができ、図4に示すように、前記装置は、情報受信手段510と、位置調整手段520と、情報取得手段530と、を含む。
情報受信手段510は、センサーモジュールから送信された動き情報を受信する。
位置調整手段520は、前記マイクロコントローラーが前記動き情報及び予め設定された調整条件に基づいてカメラの現在相対位置が前記カメラの基準相対位置からずれたと確定すると、前記動き情報に基づいて、前記現在相対位置から前記基準相対位置に移動するように前記カメラを調整する。ここで、前記基準相対位置は、前記マイクロコントローラーによって、前記カメラがウェアラブルユーザの眼球にまっすぐに向かう時に取得される。
情報取得手段530は、前記カメラが前記基準相対位置にある時に取得した前記ウェアラブルユーザの眼球画像に基づいて、前記ウェアラブルユーザの注視点と注視方向を確定する。
本願の実施例4においてさらにコンピュータプログラムが記憶されるコンピュータ記憶媒体を提供し、前記コンピュータプログラムがコンピュータプロセッサによって実行される時に、本願の上記実施例のいずれかに記載の眼球軌跡の追跡方法を実現する。すなわち、マイクロコントローラーがセンサーモジュールから送信された動き情報を受信することと、前記マイクロコントローラーが、前記動き情報及び予め設定された調整条件に基づいて、カメラの現在相対位置が前記カメラの基準相対位置からずれたと確定すると、前記動き情報に基づいて、前記現在相対位置から前記基準相対位置に移動するように前記カメラを調整することと、ここで、前記基準相対位置は、マイクロコントローラーにより前記カメラがウェアラブルユーザの眼球にまっすぐに向かう時に取得され、前記マイクロコントローラーが、前記カメラが前記基準相対位置にある時に取得した前記ウェアラブルユーザの眼球画像に基づいて、前記ウェアラブルユーザの注視点と注視方向を確定することと、を実行する。
Claims (10)
- スマートグラスであって、
グラスフレームと、表示モジュールと、調整可能なカメラ部品と、センサーモジュールと、マイクロコントローラーとを、含み、
前記グラスフレームは、順に接続された第1側のグラスフレーム、メイングラスフレーム、および第2側のグラスフレーム、を含み、前記第1側のグラスフレームと前記第2側のグラスフレームはウェアラブルユーザの耳部に着用され、前記メイングラスフレームは前記ウェアラブルユーザの目の前方に支持され、
前記表示モジュールは、前記メイングラスフレームに固定されて前記マイクロコントローラーに接続され、画像を表示するように構成され、
前記調整可能なカメラ部品は、前記メイングラスフレームに設けられて前記マイクロコントローラーに接続され、前記ウェアラブルユーザの眼球画像を取得して前記マイクロコントローラーに送信するように構成され、
前記のセンサーモジュールは、前記グラスフレームの内部に設けられて前記マイクロコントローラーに接続され、姿勢情報と変位情報を含む前記スマートグラスの動き情報を取得して前記マイクロコントローラーに送信するように構成され、
前記マイクロコントローラーは、前記グラスフレームの内部に設けられて、受信した前記動き情報に基づいて前記調整可能なカメラ部品を調整し、受信した前記眼球画像に基づいて前記ウェアラブルユーザの注視点と注視方向を確定するように構成されるスマートグラス。 - 前記調整可能なカメラ部品は、カメラと、移動ロッドと、回転軸とを、含み、
前記カメラは、前記回転軸に装着されて、前記ウェアラブルユーザの前記眼球画像を取得するように構成され、
前記回転軸は、前記移動ロッドの一端に固定されて、前記カメラの撮像角度を調整するように構成され、
前記移動ロッドは、前記第1側のグラスフレームに接続されて、前記カメラの位置を調整するように構成される請求項1に記載のスマートグラス。 - 前記センサーモジュールが、姿勢センサーと動きセンサーとを含む請求項1に記載のスマートグラス。
- 前記センサーモジュールが、
前記グラスフレームを接続する接続ベルトに設けられており、前記ウェアラブルユーザの頭部の動き情報を取得するように構成される第1センサーモジュールと、
前記メイングラスフレームの内部に設けられており、前記スマートグラスの動き情報を取得するように構成される第2センサーモジュールと、
を含む請求項3に記載のスマートグラス。 - 前記グラスフレームの内部に設けられて前記マイクロコントローラーに接続され、外部の電子機器と無線通信を行うように構成される無線受送信手段をさらに含む請求項1に記載のスマートグラス。
- 請求項1乃至5のうちのいずれか一項に記載のスマートグラスに応用される眼球軌跡の追跡方法であって、
前記マイクロコントローラーが、前記センサーモジュールから送信された動き情報を受信することと、
前記マイクロコントローラーが、前記動き情報及び予め設定された調整条件に基づいて前記カメラの現在相対位置が前記マイクロコントローラーにより前記カメラが前記ウェアラブルユーザの眼球にまっすぐに向かう時に取得した前記カメラの基準相対位置からずれたと確定されると、前記動き情報に基づいて、前記現在相対位置から前記基準相対位置へ移動するように前記カメラを調整することと、
前記マイクロコントローラーが、前記カメラが前記基準相対位置にある時に取得した前記ウェアラブルユーザの前記眼球画像に基づいて、前記ウェアラブルユーザの注視点と注視方向を確定することと、を含む眼球軌跡の追跡方法。 - 前記動き情報が、前記ウェアラブルユーザの頭部の動き情報と前記スマートグラスの動き情報を含み、
前記動き情報に基づいて、前記現在相対位置から前記基準相対位置に移動するように前記カメラを調整することは、
前記マイクロコントローラーによって前記ウェアラブルユーザの頭部の動き情報が基準頭部動き情報に合致しないことを検出する場合、前記ウェアラブルユーザの頭部の動き情報と前記スマートグラスの動き情報に基づいて、前記スマートグラスの相対動き情報を確定することと、
前記相対動き情報及び予め設定された調整条件に基づいて、前記カメラの前記現在相対位置が前記カメラの前記基準相対位置からずれたと確定した場合、前記相対動き情報に基づいて、前記現在相対位置から前記基準相対位置に移動するように前記カメラを調整することと、を含む請求項6に記載の方法。 - 前記マイクロコントローラーが、前記カメラが前記基準相対位置にある時に取得した前記ウェアラブルユーザの前記眼球画像に基づいて前記ウェアラブルユーザの注視点と注視方向を確定することは、
前記カメラが前記基準相対位置で撮像した現在位置アイパターンを取得することと、
前記現在位置アイパターン中の瞳孔中心位置を現在の瞳孔中心位置とすることと、
前記現在の瞳孔中心位置と前記ウェアラブルユーザの基準瞳孔中心位置に基づいて、前記ウェアラブルユーザの注視点と注視方向を確定することと、を含む請求項6に記載の方法。 - 請求項1乃至5の中のいずれか一項に記載の前記マイクロコントローラーに応用される眼球軌跡の追跡装置であって、
前記センサーモジュールから送信された動き情報を受信するための情報受信手段と、
前記マイクロコントローラーが前記動き情報及び予め設定された調整条件に基づいて、前記カメラの現在相対位置が前記マイクロコントローラーにより前記カメラが前記ウェアラブルユーザの眼球にまっすぐに向かう時に取得した前記カメラの基準相対位置からずれたことを確定する場合、前記動き情報に基づいて、前記現在相対位置から前記基準相対位置へ移動するように前記カメラを調整するための位置調整手段と、
前記カメラが前記基準相対位置にある時に取得した前記ウェアラブルユーザの前記眼球画像に基づいて、前記ウェアラブルユーザの注視点と注視方向を確定するための情報取得手段と、を含む眼球軌跡の追跡装置。 - コンピュータプログラムが記憶されるコンピュータ記憶媒体であって、該プログラムがプロセッサによって実行される時に請求項7または8に記載の眼球軌跡の追跡方法を実現するコンピュータ記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810574484.9 | 2018-06-06 | ||
CN201810574484.9A CN108732764A (zh) | 2018-06-06 | 2018-06-06 | 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质 |
PCT/CN2019/084232 WO2019233210A1 (zh) | 2018-06-06 | 2019-04-25 | 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021525036A true JP2021525036A (ja) | 2021-09-16 |
JP7096369B2 JP7096369B2 (ja) | 2022-07-05 |
Family
ID=63932234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020564920A Active JP7096369B2 (ja) | 2018-06-06 | 2019-04-25 | スマートグラス、眼球軌跡の追跡方法、装置及び記憶媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11334155B2 (ja) |
EP (1) | EP3805845A4 (ja) |
JP (1) | JP7096369B2 (ja) |
CN (1) | CN108732764A (ja) |
AU (1) | AU2019282933B2 (ja) |
WO (1) | WO2019233210A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108732764A (zh) * | 2018-06-06 | 2018-11-02 | 北京七鑫易维信息技术有限公司 | 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质 |
CN109725714B (zh) * | 2018-11-14 | 2022-06-14 | 北京七鑫易维信息技术有限公司 | 视线确定方法、装置、系统、以及头戴式眼动设备 |
CN113164317B (zh) * | 2018-11-20 | 2023-08-25 | 李炳学 | 眼运动装置 |
CN109298533B (zh) * | 2018-12-07 | 2023-12-26 | 北京七鑫易维信息技术有限公司 | 一种头显设备 |
CN110960189B (zh) * | 2019-09-12 | 2023-02-24 | 中国人民解放军陆军特色医学中心 | 一种无线认知调节仪及眼动测试方法 |
CN112860054A (zh) * | 2019-11-28 | 2021-05-28 | 北京宝沃汽车股份有限公司 | 控制无人机的方法和车辆 |
CN111367405A (zh) * | 2020-02-17 | 2020-07-03 | 深圳岱仕科技有限公司 | 头戴显示设备的调整方法、装置、计算机设备及存储介质 |
CN111552076B (zh) * | 2020-05-13 | 2022-05-06 | 歌尔科技有限公司 | 一种图像显示方法、ar眼镜及存储介质 |
CN112086196B (zh) * | 2020-09-16 | 2023-11-28 | 中国科学院自动化研究所 | 多选择性注意力评估与训练的方法及系统 |
CN113342173B (zh) * | 2021-06-30 | 2022-09-16 | 厦门元馨智能科技有限公司 | 一种基于体感操作一体眼镜的自适应学习方法 |
CN115695768A (zh) * | 2021-07-26 | 2023-02-03 | 北京有竹居网络技术有限公司 | 拍摄方法、装置、电子设备、存储介质和计算机程序产品 |
CN113672091A (zh) * | 2021-08-26 | 2021-11-19 | 歌尔科技有限公司 | 智能穿戴设备控制方法、装置、智能穿戴设备及介质 |
JP1743423S (ja) * | 2022-03-03 | 2023-05-02 | 頭部装着型カメラ | |
CN114815257A (zh) * | 2022-04-25 | 2022-07-29 | 歌尔股份有限公司 | 一种xr眼镜及摄像头调整方法、系统、设备、介质 |
CN117413512A (zh) * | 2022-04-26 | 2024-01-16 | 京东方科技集团股份有限公司 | 光场数据的传输方法、光场通信设备及系统 |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11161188A (ja) * | 1997-11-27 | 1999-06-18 | Seiko Epson Corp | 頭部装着型表示装置 |
JP2012008290A (ja) * | 2010-06-23 | 2012-01-12 | Softbank Mobile Corp | 眼鏡型表示装置及びサーバ |
WO2012172719A1 (ja) * | 2011-06-16 | 2012-12-20 | パナソニック株式会社 | ヘッドマウントディスプレイおよびその位置ずれ調整方法 |
JP2014504762A (ja) * | 2011-01-19 | 2014-02-24 | マチック ラブズ | 視線方向を求めるための方法とその装置 |
JP2016085350A (ja) * | 2014-10-27 | 2016-05-19 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
JP2016122177A (ja) * | 2014-12-25 | 2016-07-07 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
US20160377864A1 (en) * | 2015-06-25 | 2016-12-29 | Michael T. Moran | Technologies for controlling vision correction of a wearable computing device |
JP2018010488A (ja) * | 2016-07-13 | 2018-01-18 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
JP2018026120A (ja) * | 2016-07-27 | 2018-02-15 | フォーブ インコーポレーテッド | 視線検出システム、ずれ検出方法、ずれ検出プログラム |
WO2018067357A2 (en) * | 2016-10-05 | 2018-04-12 | Magic Leap, Inc. | Periocular test for mixed reality calibration |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8830329B2 (en) * | 2010-10-07 | 2014-09-09 | Sony Computer Entertainment Inc. | 3-D glasses with camera based head tracking |
US8976086B2 (en) | 2010-12-03 | 2015-03-10 | Esight Corp. | Apparatus and method for a bioptic real time video system |
FR2974722B1 (fr) * | 2011-05-06 | 2014-10-10 | Essilor Int | Procede de determination de la distance de lecture |
CN102547123B (zh) | 2012-01-05 | 2014-02-26 | 天津师范大学 | 基于人脸识别技术的自适应视线跟踪系统及其跟踪方法 |
EP2821839A1 (de) | 2013-07-03 | 2015-01-07 | Airbus Defence and Space GmbH | HMD-Vorrichtung mit einstellbarer Eye-Tracking-Einrichtung |
CN108209857B (zh) * | 2013-09-03 | 2020-09-11 | 托比股份公司 | 便携式眼睛追踪设备 |
KR20150084485A (ko) * | 2014-01-14 | 2015-07-22 | 엘지전자 주식회사 | 이동 단말기 및 이의 제어 방법 |
CN104090659B (zh) * | 2014-07-08 | 2017-04-05 | 重庆金瓯科技发展有限责任公司 | 基于人眼图像和视线追踪的操作指针指示控制设备 |
KR102354458B1 (ko) * | 2015-08-19 | 2022-01-21 | 삼성전자주식회사 | 디스플레이 장치 및 그의 제어방법 |
US10016130B2 (en) * | 2015-09-04 | 2018-07-10 | University Of Massachusetts | Eye tracker system and methods for detecting eye parameters |
CN204883092U (zh) * | 2015-09-10 | 2015-12-16 | 陈包容 | 一种基于视线追踪技术的智能眼镜 |
CN108369653B (zh) * | 2015-10-16 | 2021-12-14 | 奇跃公司 | 使用眼睛特征的眼睛姿态识别 |
US20190258325A1 (en) * | 2016-11-01 | 2019-08-22 | The Hong Kong University Of Science And Technology | Mid-air finger pointing detection for device interaction |
CN206710716U (zh) | 2017-02-27 | 2017-12-05 | 赵山山 | 一种随动头显装置 |
US11006100B1 (en) * | 2018-04-10 | 2021-05-11 | Robert Edwin Douglas | Smart glasses system |
CN208224647U (zh) * | 2018-06-06 | 2018-12-11 | 北京七鑫易维信息技术有限公司 | 一种智能眼镜 |
CN108732764A (zh) | 2018-06-06 | 2018-11-02 | 北京七鑫易维信息技术有限公司 | 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质 |
-
2018
- 2018-06-06 CN CN201810574484.9A patent/CN108732764A/zh active Pending
-
2019
- 2019-04-25 WO PCT/CN2019/084232 patent/WO2019233210A1/zh unknown
- 2019-04-25 US US17/059,223 patent/US11334155B2/en active Active
- 2019-04-25 AU AU2019282933A patent/AU2019282933B2/en active Active
- 2019-04-25 EP EP19815087.2A patent/EP3805845A4/en active Pending
- 2019-04-25 JP JP2020564920A patent/JP7096369B2/ja active Active
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11161188A (ja) * | 1997-11-27 | 1999-06-18 | Seiko Epson Corp | 頭部装着型表示装置 |
JP2012008290A (ja) * | 2010-06-23 | 2012-01-12 | Softbank Mobile Corp | 眼鏡型表示装置及びサーバ |
JP2014504762A (ja) * | 2011-01-19 | 2014-02-24 | マチック ラブズ | 視線方向を求めるための方法とその装置 |
WO2012172719A1 (ja) * | 2011-06-16 | 2012-12-20 | パナソニック株式会社 | ヘッドマウントディスプレイおよびその位置ずれ調整方法 |
JP2016085350A (ja) * | 2014-10-27 | 2016-05-19 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
JP2016122177A (ja) * | 2014-12-25 | 2016-07-07 | セイコーエプソン株式会社 | 表示装置、及び、表示装置の制御方法 |
US20160377864A1 (en) * | 2015-06-25 | 2016-12-29 | Michael T. Moran | Technologies for controlling vision correction of a wearable computing device |
JP2018010488A (ja) * | 2016-07-13 | 2018-01-18 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
JP2018026120A (ja) * | 2016-07-27 | 2018-02-15 | フォーブ インコーポレーテッド | 視線検出システム、ずれ検出方法、ずれ検出プログラム |
WO2018067357A2 (en) * | 2016-10-05 | 2018-04-12 | Magic Leap, Inc. | Periocular test for mixed reality calibration |
Also Published As
Publication number | Publication date |
---|---|
US11334155B2 (en) | 2022-05-17 |
CN108732764A (zh) | 2018-11-02 |
JP7096369B2 (ja) | 2022-07-05 |
AU2019282933B2 (en) | 2022-06-16 |
WO2019233210A1 (zh) | 2019-12-12 |
AU2019282933A1 (en) | 2021-02-04 |
EP3805845A1 (en) | 2021-04-14 |
US20210208675A1 (en) | 2021-07-08 |
EP3805845A4 (en) | 2022-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7096369B2 (ja) | スマートグラス、眼球軌跡の追跡方法、装置及び記憶媒体 | |
US10650533B2 (en) | Apparatus and method for estimating eye gaze location | |
JP6894845B2 (ja) | ウェアラブルコンピューティングデバイスの視力矯正を制御するための技術 | |
US9215362B2 (en) | Image capturing system and image capturing method | |
CN108881724B (zh) | 一种图像获取方法、装置、设备及存储介质 | |
US8736692B1 (en) | Using involuntary orbital movements to stabilize a video | |
CN108156441A (zh) | 视觉视频稳定 | |
US10365710B2 (en) | Head-mounted display device configured to display a visual element at a location derived from sensor data and perform calibration | |
US11269402B1 (en) | User interface interaction paradigms for eyewear device with limited field of view | |
US20200211512A1 (en) | Headset adjustment for optimal viewing | |
US20180234635A1 (en) | Imaging system and imaging control method | |
KR102056221B1 (ko) | 시선인식을 이용한 장치 연결 방법 및 장치 | |
US10866492B2 (en) | Method and system for controlling tracking photographing of stabilizer | |
US10609437B2 (en) | Method for providing content using a head-mounted device, system for executing the method, and content display device | |
US20190011983A1 (en) | Information processing device, information processing method, and program | |
US20210019493A1 (en) | Information processing apparatus, information processing method, and program | |
JP2017224984A (ja) | プログラム、装置、キャリブレーション方法 | |
KR20170093440A (ko) | 회전장치를 이용하여 디바이스가 촬영대상을 추적하게 하는 방법 및 장치 | |
CN208224647U (zh) | 一种智能眼镜 | |
US11785411B2 (en) | Information processing apparatus, information processing method, and information processing system | |
KR101817436B1 (ko) | 안구 전위 센서를 이용한 영상 표시 장치 및 제어 방법 | |
JP7122372B2 (ja) | 画像生成装置、画像生成システム、および画像生成方法 | |
CN113395438A (zh) | 眼球追踪技术的图像校正方法及相关装置 | |
CN110338750B (zh) | 一种眼球追踪设备 | |
CN104703017B (zh) | 一种显示控制方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201119 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220623 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7096369 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |