CN108732764A - 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质 - Google Patents

一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质 Download PDF

Info

Publication number
CN108732764A
CN108732764A CN201810574484.9A CN201810574484A CN108732764A CN 108732764 A CN108732764 A CN 108732764A CN 201810574484 A CN201810574484 A CN 201810574484A CN 108732764 A CN108732764 A CN 108732764A
Authority
CN
China
Prior art keywords
microcontroller
relative position
wearable user
tracking component
eyeball tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810574484.9A
Other languages
English (en)
Inventor
秦林婵
刘琳
黄通兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 7Invensun Technology Co Ltd
Beijing Qixin Yiwei Information Technology Co Ltd
Original Assignee
Beijing Qixin Yiwei Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qixin Yiwei Information Technology Co Ltd filed Critical Beijing Qixin Yiwei Information Technology Co Ltd
Priority to CN201810574484.9A priority Critical patent/CN108732764A/zh
Publication of CN108732764A publication Critical patent/CN108732764A/zh
Priority to AU2019282933A priority patent/AU2019282933B2/en
Priority to JP2020564920A priority patent/JP7096369B2/ja
Priority to PCT/CN2019/084232 priority patent/WO2019233210A1/zh
Priority to US17/059,223 priority patent/US11334155B2/en
Priority to EP19815087.2A priority patent/EP3805845A4/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明实施例公开了一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质，智能眼镜包括：镜架、显示组件、可调节眼球追踪组件、传感器组件以及微控制器，其中，镜架包括依次连接的第一侧镜架、主镜框和第二侧镜架，其中，第一侧镜架和第二侧镜架佩戴于可穿戴用户的耳部，主镜框支撑于可穿戴用户的眼睛前方；显示组件固定于主镜框上，并与微控制器相连；可调节眼球追踪组件设置于主镜框上，并与微控制器相连；传感器组件设置于镜架内部，并与微控制器相连；微控制器设置于镜架内部。本发明实施例的技术方案能够实现对眼球追踪组件偏离位置的校正，使其始终保持与可穿戴用户眼球的基准相对位置，从而提高可穿戴用户眼球轨迹信息的准确性和可靠性。

Description

一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质
技术领域
本发明实施例涉及可穿戴设备技术领域，尤其涉及一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质。
背景技术
近年来，智能眼镜作为革命性的创新产品被越来越多的人使用，并可用于各种领域。智能眼镜集智能手机、相机于一身，能够通过追踪用户眼球的运动轨迹完成拍照上传、信息浏览、收发短信、查询天气路况等操作。
现有的智能眼镜在获取用户眼球的运动轨迹时，往往采用一个基准眼动信息为基础计算用户眼球在当前位置时对应的运动轨迹。基准眼动信息通常在智能眼镜的眼球追踪组件正对用户眼球时获取。
发明人在实现本发明的过程中，发现现有技术存在如下缺陷：当用户在佩戴智能眼镜的过程中其智能眼镜的佩戴位置发生偏离，且用户未及时矫正时，以基准眼动信息为基础计算用户眼球的运动轨迹所得到的结果准确性和可靠性较低。
发明内容
本发明实施例提供一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质，实现对眼球追踪组件偏离位置的校正，使其始终保持与可穿戴用户眼球的基准相对位置，从而提高可穿戴用户眼球轨迹信息的准确性和可靠性。
第一方面，本发明实施例提供了一种智能眼镜，包括：镜架、显示组件、可调节眼球追踪组件、传感器组件以及微控制器，其中，
所述镜架包括依次连接的第一侧镜架、主镜框和第二侧镜架，其中，所述第一侧镜架和所述第二侧镜架佩戴于可穿戴用户的耳部，所述主镜框支撑于所述可穿戴用户的眼睛前方；
所述显示组件固定于所述主镜框上，并与所述微控制器相连，用于显示图像；
所述可调节眼球追踪组件设置于所述主镜框上，并与所述微控制器相连，用于获取所述可穿戴用户的眼动信息并发送至微控制器；
所述传感器组件设置于所述镜架内部，并与所述微控制器相连，用于获取所述智能眼镜的运动信息并发送至所述微控制器；其中，所述运动信息包括姿态信息和/或位移信息；
所述微控制器设置于所述镜架内部，用于根据接收的所述运动信息调整所述可调节眼球追踪组件，以及根据接收的所述眼动信息确定所述可穿戴用户的注视点和注视方向。
第二方面，本发明实施例还提供了一种眼球轨迹的追踪方法，应用于本发明任意实施例所提供的智能眼镜，包括：
微控制器接收传感器组件发送的运动信息；
当所述微控制器根据所述运动信息以及预设调整条件确定眼球追踪组件的当前相对位置偏离所述眼球追踪组件的基准相对位置时，根据所述运动信息调整所述眼球追踪组件由所述当前相对位置移动至所述基准相对位置；其中，所述基准相对位置由所述微控制器在所述眼球追踪组件正对可穿戴用户的眼球时获取；
所述微控制器根据所述眼球追踪组件基于所述基准相对位置时获取的所述可穿戴用户的眼动信息确定所述可穿戴用户的注视点和注视方向。
第三方面，本发明实施例还提供了一种眼球轨迹的追踪装置，应用于本发明任意实施例所述的微控制器，包括：
信息接收模块，用于接收传感器组件发送的运动信息；
位置调整模块，用于当所述微控制器根据所述运动信息以及预设调整条件确定眼球追踪组件的当前相对位置偏离所述眼球追踪组件的基准相对位置时，根据所述运动信息调整所述眼球追踪组件由所述当前相对位置移动至所述基准相对位置；其中，所述基准相对位置由所述微控制器在所述眼球追踪组件正对可穿戴用户的眼球时获取；
信息获取模块，用于根据所述眼球追踪组件基于所述基准相对位置时获取的所述可穿戴用户的眼动信息确定所述可穿戴用户的注视点和注视方向。
第四方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所提供的眼球轨迹的追踪方法。
本发明实施例通过在智能眼镜中设置相应的传感器组件和可调节眼球追踪组件，通过传感器组件获取智能眼镜的运动信息，并根据运动信息调整可调节眼球追踪组件，使其由当前相对位置移动至基准相对位置后，通过眼球追踪组件获取可穿戴用户的眼动信息，并根据眼动信息确定可穿戴用户的注视点和注视方向，解决现有智能眼镜在佩戴位置发生偏离时因无法调节眼球追踪组件位置而导致的眼球轨迹计算结果误差较大的问题，实现对眼球追踪组件偏离位置的校正，使其始终保持与可穿戴用户眼球的基准相对位置，从而提高可穿戴用户眼球轨迹信息的准确性和可靠性。
附图说明
图1是本发明实施例一提供的一种智能眼镜的结构示意图；
图2是本发明实施例一提供的一种智能眼镜的结构示意图；
图3是本发明实施例二提供的一种眼球轨迹的追踪方法的流程图；
图4是本发明实施例三提供的一种眼球轨迹的追踪装置的示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
实施例一
图1是本发明实施例一提供的一种智能眼镜的结构示意图，如图1所示，该智能眼镜的结构包括：
镜架10、显示组件20、可调节眼球追踪组件30、传感器组件40以及微控制器50，其中，镜架10包括依次连接的第一侧镜架110、主镜框120和第二侧镜架130，其中，第一侧镜架110和第二侧镜架130佩戴于可穿戴用户的耳部，主镜框120支撑于可穿戴用户的眼睛前方；显示组件20固定于主镜框120上，并与微控制器50相连，用于显示图像；可调节眼球追踪组件30设置于主镜框120上，并与微控制器50相连，用于获取可穿戴用户的眼动信息并发送至微控制器50；传感器组件40设置于镜架10内部，并与微控制器50相连，用于获取智能眼镜的运动信息并发送至微控制器50；其中，运动信息包括姿态信息和/或位移信息；微控制器50设置于镜架10内部，用于根据接收的运动信息调整可调节眼球追踪组件30，以及根据接收的眼动信息确定可穿戴用户的注视点和注视方向。
在本发明实施例中，第一侧镜架110和第二侧镜架130是相同性质的侧镜架，也即，第一侧镜架110也可以作为第二侧镜架130，第二侧镜架130也可以作为第一侧镜架110。在侧镜架的内部可以安装传感器组件40和微控制器50。显示组件20可以显示图像信息，其中，图像信息包括但不限于虚拟图像和增强现实的图像等。另外，显示组件20可以通过显示镜片的方式显示图像信息，也可以通过电子显示投影的方式显示图像信息，本发明实施例对此并不进行限制。可调节眼球追踪组件30设置于主镜框120上，同时与镜架10内部的微控制器50连接。需要说明的是，可调节眼球追踪组件30还可以设置在第一侧镜架110(或第二侧镜架130)上，也即，可调节眼球追踪组件30的安装位置可以根据实际需求进行设置，本发明实施例对此并不进行限制。另外，还可以在主镜框120对应显示组件20的上方位置(或者第一侧镜架110和第二侧镜架130)对称设置两组可调节眼球追踪组件30，分别用于追踪可穿戴用户的眼球轨迹(包括注视点和注视方向)和获取外部图像。在无需获取可穿戴用户的眼球轨迹时，可调节眼球追踪组件30还可以调整至显示组件的外部，避免阻挡可穿戴用户的视线。传感器组件40可以设置在主镜框120的内部，用于获取智能眼镜的运动信息，如当可穿戴用户的头部保持竖立时，如果智能眼镜的佩戴位置为基准佩戴位置，则传感器组件获取的运动信息为位移为0，偏移角为0。其中，基准佩戴位置可以是显示组件的竖直中心线与竖直方向重合，且距离可穿戴用户的眼球为设定距离(在眼球追踪组件正对可穿戴用户的眼球时获取)。基准佩戴位置可以由可穿戴用户在开始佩戴智能眼镜时由智能眼镜自动获取，且在不同可穿戴用户使用智能眼镜以及可穿戴用户在每次使用智能眼镜时，基准佩戴位置可以不一致。在确定基准佩戴位置后，随即可获取可调节眼球追踪组件30中眼球追踪组件相对于可穿戴用户眼球的基准相对位置。另外，本发明实施例中的传感器组件40获取的数据还可以用于可穿戴用户的体感游戏。需要说明的是，本发明实施例中的可调节眼球追踪组件30可以采用以摄像装置拍摄眼部图像以获取眼动信息(包括眼球数据以及眼部特征)的方法，也可以用微机电系统(MEMS,Micro-Electro-Mechanical System)、电容传感器以及肌电流检测器等技术来实现，本发明实施例并不对可调节眼球追踪组件30的具体结构进行限制。微控制器50负责根据传感器组件40发送的运动信息分析智能眼镜偏离基准佩戴位置的具体情况，并控制可调节眼球追踪组件30由当前位置调整至基准相对位置。其中，调整的参数包括但不限于位置、倾角以及镜头等。同时，微控制器50还负责接收可调节眼球追踪组件30发送的可穿戴用户的眼动信息，进而根据获取的眼动信息确定可穿戴用户的注视点和注视方向。
本发明实施例中智能眼镜的工作原理是：通过设置在智能眼镜中的传感器组件获取智能眼镜的运动信息，以根据运动信息确定智能眼镜的当前佩戴位置偏离基准佩戴位置的具体情况，智能眼镜中的微控制器依据智能眼镜的运动信息控制可调节眼球追踪组件由当前位置调整至基准相对位置后再对可穿戴用户的眼球进行跟踪，可调节眼球追踪组件将获取到的眼动信息发送至微控制器，微控制器根据接收的眼动信息分析可穿戴用户的注视点和注视方向。
本发明实施例通过在智能眼镜中设置相应的传感器组件和可调节眼球追踪组件，通过传感器组件获取智能眼镜的运动信息，并根据运动信息调整可调节眼球追踪组件，使其由当前相对位置移动至基准相对位置后，通过眼球追踪组件获取可穿戴用户的眼动信息，并根据眼动信息确定可穿戴用户的注视点和注视方向，解决现有智能眼镜在佩戴位置发生偏离时因无法调节眼球追踪组件位置而导致的眼球轨迹计算结果误差较大的问题，实现对眼球追踪组件偏离位置的校正，使其始终保持与可穿戴用户眼球的基准相对位置，从而提高可穿戴用户眼球轨迹信息的准确性和可靠性。
如图1所示，在本发明的一个可选实施例中，可调节眼球追踪组件30包括摄像头310、移动杆320和转轴330，摄像头310安装于转轴330上，用于获取可穿戴用户的眼动信息；转轴330固定于移动杆320的一端，用于调节摄像头310的拍照角度；移动杆320与第一侧镜架110相连，用于调节摄像头310的位置。
在本发明实施例中，可以为摄像头310配置相应的移动杆320和转轴330形成可调节眼球追踪组件30。其中，移动杆320可以实现上下左右方向的移动，摄像头310可以以转轴330为中心实现圆周旋转。由此可见，通过移动杆320和转轴330的组合，能够使得摄像头310相对可穿戴用户眼球的位置实现有效地调整。
在本发明的一个可选实施例中，传感器组件包括姿态传感器和运动传感器。
在本发明实施例中，由于传感器组件的目的是获取智能眼镜的运动信息，所以，具体的，传感器组件可以采用姿态传感器和运动传感器。其中，姿态传感器可以获取智能眼镜的姿态(即偏转角度)，运动传感器可以获取智能眼镜的位移。本发明实施例并不对姿态传感器和运动传感器的具体型号进行限定，只要能够获取智能眼镜的姿态信息的传感器均可以作为姿态传感器，如陀螺仪等，只要能够获取智能眼镜的位移信息的传感器均可以作为运动传感器。另外，还可以使用测距传感器替代运动传感器，通过测距传感器获取眼球追踪组件与可穿戴用户眼球之间的距离，从而获取眼球追踪组件相对可穿戴用户眼球的位移信息。
图2是本发明实施例一提供的一种智能眼镜的结构示意图，如图2所示，在本发明的一个可选实施例中，传感器组件包括第一传感器组件410和第二传感器组件420；其中，第一传感器组件410设置于连接镜架的连接带60上，用于获取可穿戴用户头部的运动信息；第二传感器组件420设置于主镜框120内部，用于获取智能眼镜的运动信息。
发明人在实现本发明的过程中发现，如果可穿戴用户在使用智能眼镜的过程中始终保持头部姿态不变，则在智能眼镜的位置偏离基准佩戴位置时，可以只采用一个传感器组件即可调整智能眼镜中的眼球追踪组件位置，因为此时传感器组件获取的运动信息就是智能眼镜相对可穿戴用户头部的相对运动信息。如果可穿戴用户在使用智能眼镜的过程中头部和智能眼镜相对头部的位置都发生了改变，此时只采用一个传感器组件无法获取智能眼镜相对可穿戴用户头部的相对位置信息。为了解决这个问题，可以在智能眼镜的绑带上再设置一个第二传感器组件。智能眼镜的绑带能够固定在可穿戴用户的头部的某一位置处，因此，位于绑带内部的第二传感器组件与可穿戴用户的头部的相对位置不会发生改变，能够准确获取可穿戴用户的头部运动信息。再通过设置在主镜框内的第一传感器组件获取智能眼镜的绝对运动信息后，结合可穿戴用户的头部运动信息即可获取智能眼镜相对于可穿戴用户头部的相对运动信息，进而结合眼球追踪组件的当前位置情况，获取眼球追踪组件相对可穿戴用户眼球的相对运动信息。最后根据眼球追踪组件相对可穿戴用户眼球的相对运动信息，对眼球追踪组件的位置进行调整，使其位于基准相对位置处在对可穿戴用户的眼球进行追踪。
在本发明的一个可选实施例中，智能眼镜还包括：无线收发模块；无线收发模块设置于镜架的内部，并与微控制器相连，用于与外部的电子设备进行无线通信。
无线收发模块可以是蓝牙模块、Wi-Fi(Wireless-Fidelity，无线保真)模块以及其他类型的无线通信模块等。外部的电子设备可以是智能手机、平板电脑、笔记本或台式电脑等各种类型的可以接收图片的电子设备。
实施例二
图3是本发明实施例二提供的一种眼球轨迹的追踪方法的流程图，适用于本发明任意实施例所提供的智能眼镜。本实施例可适用于调整眼球追踪组件由当前位置至基准相对位置的情况，该方法可以由眼球轨迹的追踪装置来执行，该装置可以由软件和/或硬件的方式来实现，相应的，如图3所示，该方法包括如下操作：
S210、微控制器接收传感器组件发送的运动信息。
其中，运动信息包括姿态信息和/或位移信息。智能眼镜可以采用一个或两个传感器组件获取运动信息。
S220、当所述微控制器根据所述运动信息以及预设调整条件确定眼球追踪组件的当前相对位置偏离所述眼球追踪组件的基准相对位置时，根据所述运动信息调整所述眼球追踪组件由所述当前相对位置移动至所述基准相对位置。
其中，基准相对位置由微控制器在眼球追踪组件正对可穿戴用户的眼球时获取。预设调整条件可以是眼球追踪组件偏离基准相对位置的范围，如，眼球追踪组件的当前相对位置偏离基准相对位置不超过2cm。
在本发明实施例中，如果智能眼镜在佩戴过程中偏离了基准佩戴位置，此时眼球追踪组件的基准相对位置也随之发生偏离。如果不及时对发生偏离的眼球追踪组件的位置进行调整，则其获取的可穿戴用户的眼动信息就可能会出现失误。举例而言，如果智能眼镜和眼球追踪组件的位置均向下偏离了0.5cm，同时可穿戴用户的眼球向下注视，且注视点也向下移动了0.5cm，则智能眼镜中的微控制器根据眼球追踪组件在当前位置处获取的眼动信息判断可穿戴用户的眼球的注视点和注视方向并没有移动。而实际上，可穿戴用户的眼球的是向下移动的，可见智能眼镜追踪的可穿戴用户的眼球轨迹结果出现较大的误差。因此，为了解决该问题，当智能眼镜中的微控制器根据运动信息以及预设调整条件确定眼球追踪组件的当前相对位置偏离眼球追踪组件的基准相对位置时，可以根据运动信息控制眼球追踪组件由当前相对位置调整至基准相对位置，以避免位置偏离引起计算误差并导致眼球轨迹追踪结果错误。
需要说明的是，根据运动信息控制眼球追踪组件由当前相对位置调整至基准相对位置需要满足预设调整条件。当眼球追踪组件的当前相对位置偏离基准相对位置的范围过大时，如整个智能眼镜的位移向下偏移了5cm，角度偏转30°，此时可穿戴用户会明显感觉佩戴效果不佳，会主动去调整智能眼镜的佩戴位置。因此，预设调整条件可以针对可穿戴用户的舒适佩戴位置范围进行设定，当智能眼镜的佩戴位置不满足预设调整条件时，可以向可穿戴用户发送报警信息，以提醒可穿戴用户先手动调整佩戴位置后，再由微控制器控制眼球追踪组件调整至基准相对位置。
S230、所述微控制器根据所述眼球追踪组件基于所述基准相对位置时获取的所述可穿戴用户的眼动信息确定所述可穿戴用户的注视点和注视方向。
相应的，在眼球追踪组件调整至基准相对位置后，其获取的可穿戴用户的眼动信息可以用于精确计算可穿戴用户的注视点和注视方向，从而得到准确性和可靠性较高的眼球轨迹。
在本发明的一个可选实施例中，所述运动信息包括所述可穿戴用户头部的运动信息和所述智能眼镜的运动信息；所述根据所述运动信息调整所述眼球追踪组件由所述当前相对位置移动至所述基准相对位置，包括：当所述微控制器检测到所述可穿戴用户头部的运动信息与基准头部运动信息不匹配时，根据所述可穿戴用户头部的运动信息和所述智能眼镜的运动信息确定所述智能眼镜的相对运动信息；当根据所述相对运动信息以及预设调整条件确定所述眼球追踪组件的当前相对位置偏离所述眼球追踪组件的基准相对位置时，根据所述相对运动信息调整所述眼球追踪组件由所述当前相对位置移动至所述基准相对位置。
在本发明实施例中，当智能眼镜采用一个传感器组件时，微控制器接收到的运动信息即为智能眼镜相对可穿戴用户头部的相对运动信息。当智能眼镜采用两个传感器组件时，微控制器可以根据两个运动信息计算出智能眼镜相对可穿戴用户头部的相对运动信息。举例而言，传感器组件获取的可穿戴用户头部的运动信息为向下偏转30°，智能眼镜的运动信息为向下偏转45°，则智能眼镜相对可穿戴用户头部的相对运动信息为向下偏转15°。此时，将摄像头由当前位置向上偏转15°即可将摄像头调整到基准相对位置。
在本发明的一个可选实施例中，所述眼球追踪组件可以包括摄像头；所述微控制器根据所述眼球追踪组件基于所述基准相对位置时获取的可穿戴用户的眼动信息确定所述可穿戴用户注视点和注视方向，包括：获取所述摄像头在所述基准相对位置时拍摄的当前位置眼图；将所述当前位置眼图中的瞳孔中心位置作为当前瞳孔中心位置；根据所述当前瞳孔中心位置和所述可穿戴用户的基准瞳孔中心位置，确定所述可穿戴用户的注视点和注视方向。
具体的，在判断可穿戴用户的注视点和注视方向时，可以通过摄像头拍摄可穿戴用户的眼球的当前位置眼图，并获取当前位置眼图中的瞳孔中心位置，将前位置眼图中的瞳孔中心位置作为当前瞳孔中心位置，并将当前瞳孔中心位置作为注视点，用于与基准瞳孔中心位置作对比，从而确定可穿戴用户的注视点和注视方向。
需要说明的是，在本发明实施例中，在获取摄像头在可穿戴用户的眼球在当前位置时拍摄的当前位置眼图之前，还可以预先获取摄像头正对可穿戴用户的眼球时拍摄的基准眼图，并将基准眼图中的瞳孔中心位置作为可穿戴用户的基准瞳孔中心位置。其中，基准眼图指的是可穿戴设备中摄像头正对可穿戴用户眼球时拍摄到的眼部图片，基准眼图中可穿戴用户眼球的瞳孔中心位置通常位于基准眼图的中心位置。
相应的，在获取到当前瞳孔中心位置后，可以和基准瞳孔中心位置作对比，以确定当前瞳孔中心位置与基准瞳孔中心位置之间的相对距离和相对方向。然后根据基准瞳孔中心位置，以及当前瞳孔中心位置与基准瞳孔中心位置之间的相对距离和相对方向，确定可穿戴用户的注视点和注视方向。例如，在确定可穿戴用户在显示组件上的注视点和注视方向时，如果基准瞳孔中心位置位于图像的中心，当前瞳孔中心位置位于图像的中心的正上方1cm处，则可将显示组件的中心位置的正上方1cm处的点作为注视点。同时，在注视点确定后，注视方向即为显示组件的中心位置与注视点位置之间的连线方向，即正上方。在确定可穿戴用户在现实环境中的注视点和注视方向时，可以利用摄像头组件获取可穿戴用户的基准眼图和当前位置眼图，并通过配合其他传感器计算可穿戴用户的视线方向，视线方向在空间中第一个接触到的物体或者投射到平面上的交点可以作为注视点。在本发明实施例中，利用瞳孔中心位置可以准确、快速地确定可穿戴用户的注视点和注视方向。
需要说明的是，本发明实施例中的摄像头可以是可见光摄像头、红外热成像摄像头或者其他类型的摄像头等。另外，从摄像头拍照的眼图中确定瞳孔中心位置并据此确定可穿戴用户的注视点和注视方向是一种较为成熟的现有技术手段，本发明实施例对此不再详述。
本发明实施例通过微控制器根据接收到的运动信息以及预设调整条件确定眼球追踪组件的当前相对位置偏离眼球追踪组件的基准相对位置时，根据运动信息调整眼球追踪组件由当前相对位置移动至基准相对位置；并根据眼球追踪组件基于基准相对位置时获取的可穿戴用户的眼动信息确定可穿戴用户的注视点和注视方向，解决现有智能眼镜在佩戴位置发生偏离时因无法调节眼球追踪组件位置而导致的眼球轨迹计算结果误差较大的问题，实现对眼球追踪组件偏离位置的校正，使其始终保持与可穿戴用户眼球的基准相对位置，从而提高可穿戴用户眼球轨迹信息的准确性和可靠性。
实施例三
图4是本发明实施例三提供的一种眼球轨迹的追踪装置的示意图，本实施例可适用于调整眼球追踪组件由当前位置至基准相对位置的情况，如图4所示，所述装置包括：信息接收模块510、位置调整模块520以及信息获取模块530，其中：
信息接收模块510，用于接收传感器组件发送的运动信息；
位置调整模块520，用于当所述微控制器根据所述运动信息以及预设调整条件确定眼球追踪组件的当前相对位置偏离所述眼球追踪组件的基准相对位置时，根据所述运动信息调整所述眼球追踪组件由所述当前相对位置移动至所述基准相对位置；其中，所述基准相对位置由所述微控制器在所述眼球追踪组件正对可穿戴用户的眼球时获取；
信息获取模块530，用于根据所述眼球追踪组件基于所述基准相对位置时获取的所述可穿戴用户的眼动信息确定所述可穿戴用户的注视点和注视方向。
本发明实施例通过微控制器根据接收到的运动信息以及预设调整条件确定眼球追踪组件的当前相对位置偏离眼球追踪组件的基准相对位置时，根据运动信息调整眼球追踪组件由当前相对位置移动至基准相对位置；并根据眼球追踪组件基于基准相对位置时获取的可穿戴用户的眼动信息确定可穿戴用户的注视点和注视方向，解决现有智能眼镜在佩戴位置发生偏离时因无法调节眼球追踪组件位置而导致的眼球轨迹计算结果误差较大的问题，实现对眼球追踪组件偏离位置的校正，使其始终保持与可穿戴用户眼球的基准相对位置，从而提高可穿戴用户眼球轨迹信息的准确性和可靠性。
可选的，所述运动信息包括所述可穿戴用户头部的运动信息和所述智能眼镜的运动信息；位置调整模块520，还用于当所述微控制器检测到所述可穿戴用户头部的运动信息与基准头部运动信息不匹配时，根据所述可穿戴用户头部的运动信息和所述智能眼镜的运动信息确定所述智能眼镜的相对运动信息；当根据所述相对运动信息以及预设调整条件确定所述眼球追踪组件的当前相对位置偏离所述眼球追踪组件的基准相对位置时，根据所述相对运动信息调整所述眼球追踪组件由所述当前相对位置移动至所述基准相对位置。
可选的，所述眼球追踪组件包括摄像头；信息获取模块530，还用于获取所述摄像头在所述基准相对位置时拍摄的当前位置眼图；将所述当前位置眼图中的瞳孔中心位置作为当前瞳孔中心位置；根据所述当前瞳孔中心位置和所述可穿戴用户的基准瞳孔中心位置，确定所述可穿戴用户的注视点和注视方向。
上述眼球轨迹的追踪装置可执行本发明任意实施例所提供的眼球轨迹的追踪方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的眼球轨迹的追踪方法。
实施例四
本发明实施例四还提供一种存储计算机程序的计算机存储介质，所述计算机程序在由计算机处理器执行时用于执行本发明上述实施例任一所述的眼球轨迹的追踪方法：微控制器接收传感器组件发送的运动信息；当所述微控制器根据所述运动信息以及预设调整条件确定眼球追踪组件的当前相对位置偏离所述眼球追踪组件的基准相对位置时，根据所述运动信息调整所述眼球追踪组件由所述当前相对位置移动至所述基准相对位置；其中，所述基准相对位置由所述微控制器在所述眼球追踪组件正对可穿戴用户的眼球时获取；所述微控制器根据所述眼球追踪组件基于所述基准相对位置时获取的所述可穿戴用户的眼动信息确定所述可穿戴用户的注视点和注视方向。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器((Erasable Programmable ReadOnly Memory，EPROM)或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、射频(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言——诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种智能眼镜，其特征在于，包括：镜架、显示组件、可调节眼球追踪组件、传感器组件以及微控制器，其中，
所述镜架包括依次连接的第一侧镜架、主镜框和第二侧镜架，其中，所述第一侧镜架和所述第二侧镜架佩戴于可穿戴用户的耳部，所述主镜框支撑于所述可穿戴用户的眼睛前方；
所述显示组件固定于所述主镜框上，并与所述微控制器相连，用于显示图像；
所述可调节眼球追踪组件设置于所述主镜框上，并与所述微控制器相连，用于获取所述可穿戴用户的眼动信息并发送至微控制器；
所述传感器组件设置于所述镜架内部，并与所述微控制器相连，用于获取所述智能眼镜的运动信息并发送至所述微控制器；其中，所述运动信息包括姿态信息和/或位移信息；
所述微控制器设置于所述镜架内部，用于根据接收的所述运动信息调整所述可调节眼球追踪组件，以及根据接收的所述眼动信息确定所述可穿戴用户的注视点和注视方向。
2.根据权利要求1所述的智能眼镜，其特征在于，所述可调节眼球追踪组件包括摄像头、移动杆和转轴，
所述摄像头安装于所述转轴上，用于获取所述可穿戴用户的眼动信息；
所述转轴固定于所述移动杆的一端，用于调节所述摄像头的拍照角度；
所述移动杆与所述第一侧镜架相连，用于调节所述摄像头的位置。
3.根据权利要求1所述的智能眼镜，其特征在于，所述传感器组件包括姿态传感器和运动传感器。
4.根据权利要求3所述的智能眼镜，其特征在于，所述传感器组件包括第一传感器组件和第二传感器组件；其中，
所述第一传感器组件设置于连接所述镜架的连接带上，用于获取所述可穿戴用户头部的运动信息；
所述第二传感器组件设置于所述主镜框内部，用于获取所述智能眼镜的运动信息。
5.根据权利要求1所述的智能眼镜，其特征在于，还包括：无线收发模块；
所述无线收发模块设置于所述镜架的内部，并与所述微控制器相连，用于与外部的电子设备进行无线通信。
6.一种眼球轨迹的追踪方法，应用于权利要求1-5任一所述的智能眼镜，其特征在于，包括：
微控制器接收传感器组件发送的运动信息；
当所述微控制器根据所述运动信息以及预设调整条件确定眼球追踪组件的当前相对位置偏离所述眼球追踪组件的基准相对位置时，根据所述运动信息调整所述眼球追踪组件由所述当前相对位置移动至所述基准相对位置；其中，所述基准相对位置由所述微控制器在所述眼球追踪组件正对可穿戴用户的眼球时获取；
所述微控制器根据所述眼球追踪组件基于所述基准相对位置时获取的所述可穿戴用户的眼动信息确定所述可穿戴用户的注视点和注视方向。
7.根据权利要求6所述的方法，其特征在于，所述运动信息包括所述可穿戴用户头部的运动信息和所述智能眼镜的运动信息；
所述根据所述运动信息调整所述眼球追踪组件由所述当前相对位置移动至所述基准相对位置，包括：
当所述微控制器检测到所述可穿戴用户头部的运动信息与基准头部运动信息不匹配时，根据所述可穿戴用户头部的运动信息和所述智能眼镜的运动信息确定所述智能眼镜的相对运动信息；
当根据所述相对运动信息以及预设调整条件确定所述眼球追踪组件的当前相对位置偏离所述眼球追踪组件的基准相对位置时，根据所述相对运动信息调整所述眼球追踪组件由所述当前相对位置移动至所述基准相对位置。
8.根据权利要求6所述的方法，其特征在于，所述眼球追踪组件包括摄像头；
所述微控制器根据所述眼球追踪组件基于所述基准相对位置时获取的可穿戴用户的眼动信息确定所述可穿戴用户的注视点和注视方向，包括：
获取所述摄像头在所述基准相对位置时拍摄的当前位置眼图；
将所述当前位置眼图中的瞳孔中心位置作为当前瞳孔中心位置；
根据所述当前瞳孔中心位置和所述可穿戴用户的基准瞳孔中心位置，确定所述可穿戴用户的注视点和注视方向。
9.一种眼球轨迹的追踪装置，应用于权利要求1-5中任一所述的微控制器，其特征在于，包括：
信息接收模块，用于接收传感器组件发送的运动信息；
位置调整模块，用于当所述微控制器根据所述运动信息以及预设调整条件确定眼球追踪组件的当前相对位置偏离所述眼球追踪组件的基准相对位置时，根据所述运动信息调整所述眼球追踪组件由所述当前相对位置移动至所述基准相对位置；其中，所述基准相对位置由所述微控制器在所述眼球追踪组件正对可穿戴用户的眼球时获取；
信息获取模块，用于根据所述眼球追踪组件基于所述基准相对位置时获取的所述可穿戴用户的眼动信息确定所述可穿戴用户的注视点和注视方向。
10.一种计算机存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求6-8中任一所述的眼球轨迹的追踪方法。
CN201810574484.9A 2018-06-06 2018-06-06 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质 Pending CN108732764A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201810574484.9A CN108732764A (zh) 2018-06-06 2018-06-06 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质
AU2019282933A AU2019282933B2 (en) 2018-06-06 2019-04-25 Smart glasses, method and device for tracking eyeball trajectory, and storage medium
JP2020564920A JP7096369B2 (ja) 2018-06-06 2019-04-25 スマートグラス、眼球軌跡の追跡方法、装置及び記憶媒体
PCT/CN2019/084232 WO2019233210A1 (zh) 2018-06-06 2019-04-25 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质
US17/059,223 US11334155B2 (en) 2018-06-06 2019-04-25 Smart glasses, method and device for tracking eyeball trajectory, and storage medium
EP19815087.2A EP3805845A4 (en) 2018-06-06 2019-04-25 SMART GLASSES, EYE GLOBE PATH TRACKING METHOD AND APPARATUS, AND RECORDING MEDIUM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810574484.9A CN108732764A (zh) 2018-06-06 2018-06-06 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN108732764A true CN108732764A (zh) 2018-11-02

Family

ID=63932234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810574484.9A Pending CN108732764A (zh) 2018-06-06 2018-06-06 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质

Country Status (6)

Country Link
US (1) US11334155B2 (zh)
EP (1) EP3805845A4 (zh)
JP (1) JP7096369B2 (zh)
CN (1) CN108732764A (zh)
AU (1) AU2019282933B2 (zh)
WO (1) WO2019233210A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109298533A (zh) * 2018-12-07 2019-02-01 北京七鑫易维信息技术有限公司 一种头显设备
CN109725714A (zh) * 2018-11-14 2019-05-07 北京七鑫易维信息技术有限公司 视线确定方法、装置、系统、以及头戴式眼动设备
WO2019233210A1 (zh) * 2018-06-06 2019-12-12 北京七鑫易维信息技术有限公司 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质
CN110960189A (zh) * 2019-09-12 2020-04-07 中国人民解放军陆军特色医学中心 无线认知调节仪及眼动治疗及治疗效果评估方法
CN111367405A (zh) * 2020-02-17 2020-07-03 深圳岱仕科技有限公司 头戴显示设备的调整方法、装置、计算机设备及存储介质
CN112086196A (zh) * 2020-09-16 2020-12-15 中国科学院自动化研究所 多选择性注意力评估与训练的方法及系统
CN112860054A (zh) * 2019-11-28 2021-05-28 北京宝沃汽车股份有限公司 控制无人机的方法和车辆
CN113164317A (zh) * 2018-11-20 2021-07-23 李炳学 眼运动装置
CN113342173A (zh) * 2021-06-30 2021-09-03 厦门元馨智能科技有限公司 一种基于体感操作一体眼镜的自适应学习方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111552076B (zh) * 2020-05-13 2022-05-06 歌尔科技有限公司 一种图像显示方法、ar眼镜及存储介质
CN115695768A (zh) * 2021-07-26 2023-02-03 北京有竹居网络技术有限公司 拍摄方法、装置、电子设备、存储介质和计算机程序产品
CN113672091A (zh) * 2021-08-26 2021-11-19 歌尔科技有限公司 智能穿戴设备控制方法、装置、智能穿戴设备及介质
JP1743423S (ja) * 2022-03-03 2023-05-02 頭部装着型カメラ
CN114815257A (zh) * 2022-04-25 2022-07-29 歌尔股份有限公司 一种xr眼镜及摄像头调整方法、系统、设备、介质
CN117413512A (zh) * 2022-04-26 2024-01-16 京东方科技集团股份有限公司 光场数据的传输方法、光场通信设备及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103492979A (zh) * 2011-01-19 2014-01-01 马特奇克实验室 用于确定凝视方向的方法和设备
KR20150084485A (ko) * 2014-01-14 2015-07-22 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
CN105960193A (zh) * 2013-09-03 2016-09-21 托比股份公司 便携式眼睛追踪设备
US20160377864A1 (en) * 2015-06-25 2016-12-29 Michael T. Moran Technologies for controlling vision correction of a wearable computing device
CN208224647U (zh) * 2018-06-06 2018-12-11 北京七鑫易维信息技术有限公司 一种智能眼镜

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11161188A (ja) 1997-11-27 1999-06-18 Seiko Epson Corp 頭部装着型表示装置
JP5651386B2 (ja) 2010-06-23 2015-01-14 ソフトバンクモバイル株式会社 眼鏡型表示装置
US8830329B2 (en) * 2010-10-07 2014-09-09 Sony Computer Entertainment Inc. 3-D glasses with camera based head tracking
US8976086B2 (en) 2010-12-03 2015-03-10 Esight Corp. Apparatus and method for a bioptic real time video system
FR2974722B1 (fr) * 2011-05-06 2014-10-10 Essilor Int Procede de determination de la distance de lecture
CN103380625A (zh) * 2011-06-16 2013-10-30 松下电器产业株式会社 头戴式显示器及其位置偏差调整方法
CN102547123B (zh) 2012-01-05 2014-02-26 天津师范大学 基于人脸识别技术的自适应视线跟踪系统及其跟踪方法
EP2821839A1 (de) 2013-07-03 2015-01-07 Airbus Defence and Space GmbH HMD-Vorrichtung mit einstellbarer Eye-Tracking-Einrichtung
CN104090659B (zh) * 2014-07-08 2017-04-05 重庆金瓯科技发展有限责任公司 基于人眼图像和视线追踪的操作指针指示控制设备
JP6492531B2 (ja) 2014-10-27 2019-04-03 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
JP2016122177A (ja) 2014-12-25 2016-07-07 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
KR102354458B1 (ko) * 2015-08-19 2022-01-21 삼성전자주식회사 디스플레이 장치 및 그의 제어방법
US10016130B2 (en) * 2015-09-04 2018-07-10 University Of Massachusetts Eye tracker system and methods for detecting eye parameters
CN204883092U (zh) * 2015-09-10 2015-12-16 陈包容 一种基于视线追踪技术的智能眼镜
CN108369653B (zh) * 2015-10-16 2021-12-14 奇跃公司 使用眼睛特征的眼睛姿态识别
JP6714791B2 (ja) 2016-07-13 2020-07-01 株式会社バンダイナムコエンターテインメント シミュレーションシステム及びプログラム
JP6485819B2 (ja) 2016-07-27 2019-03-20 フォーブ インコーポレーテッド 視線検出システム、ずれ検出方法、ずれ検出プログラム
WO2018067357A2 (en) 2016-10-05 2018-04-12 Magic Leap, Inc. Periocular test for mixed reality calibration
US20190258325A1 (en) * 2016-11-01 2019-08-22 The Hong Kong University Of Science And Technology Mid-air finger pointing detection for device interaction
CN206710716U (zh) 2017-02-27 2017-12-05 赵山山 一种随动头显装置
US11006100B1 (en) * 2018-04-10 2021-05-11 Robert Edwin Douglas Smart glasses system
CN108732764A (zh) 2018-06-06 2018-11-02 北京七鑫易维信息技术有限公司 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103492979A (zh) * 2011-01-19 2014-01-01 马特奇克实验室 用于确定凝视方向的方法和设备
CN105960193A (zh) * 2013-09-03 2016-09-21 托比股份公司 便携式眼睛追踪设备
KR20150084485A (ko) * 2014-01-14 2015-07-22 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
US20160377864A1 (en) * 2015-06-25 2016-12-29 Michael T. Moran Technologies for controlling vision correction of a wearable computing device
CN208224647U (zh) * 2018-06-06 2018-12-11 北京七鑫易维信息技术有限公司 一种智能眼镜

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019233210A1 (zh) * 2018-06-06 2019-12-12 北京七鑫易维信息技术有限公司 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质
US11334155B2 (en) 2018-06-06 2022-05-17 Beijing 7Invensun Technology Co., Ltd. Smart glasses, method and device for tracking eyeball trajectory, and storage medium
CN109725714A (zh) * 2018-11-14 2019-05-07 北京七鑫易维信息技术有限公司 视线确定方法、装置、系统、以及头戴式眼动设备
CN113164317A (zh) * 2018-11-20 2021-07-23 李炳学 眼运动装置
CN113164317B (zh) * 2018-11-20 2023-08-25 李炳学 眼运动装置
CN109298533A (zh) * 2018-12-07 2019-02-01 北京七鑫易维信息技术有限公司 一种头显设备
CN109298533B (zh) * 2018-12-07 2023-12-26 北京七鑫易维信息技术有限公司 一种头显设备
CN110960189A (zh) * 2019-09-12 2020-04-07 中国人民解放军陆军特色医学中心 无线认知调节仪及眼动治疗及治疗效果评估方法
CN110960189B (zh) * 2019-09-12 2023-02-24 中国人民解放军陆军特色医学中心 一种无线认知调节仪及眼动测试方法
CN112860054A (zh) * 2019-11-28 2021-05-28 北京宝沃汽车股份有限公司 控制无人机的方法和车辆
CN111367405A (zh) * 2020-02-17 2020-07-03 深圳岱仕科技有限公司 头戴显示设备的调整方法、装置、计算机设备及存储介质
CN112086196A (zh) * 2020-09-16 2020-12-15 中国科学院自动化研究所 多选择性注意力评估与训练的方法及系统
CN112086196B (zh) * 2020-09-16 2023-11-28 中国科学院自动化研究所 多选择性注意力评估与训练的方法及系统
CN113342173A (zh) * 2021-06-30 2021-09-03 厦门元馨智能科技有限公司 一种基于体感操作一体眼镜的自适应学习方法

Also Published As

Publication number Publication date
US11334155B2 (en) 2022-05-17
JP7096369B2 (ja) 2022-07-05
AU2019282933B2 (en) 2022-06-16
WO2019233210A1 (zh) 2019-12-12
JP2021525036A (ja) 2021-09-16
AU2019282933A1 (en) 2021-02-04
EP3805845A1 (en) 2021-04-14
US20210208675A1 (en) 2021-07-08
EP3805845A4 (en) 2022-03-16

Similar Documents

Publication Publication Date Title
CN108732764A (zh) 一种智能眼镜、眼球轨迹的追踪方法、装置及存储介质
US10043281B2 (en) Apparatus and method for estimating eye gaze location
US10915170B2 (en) Eye-protection display device and method
CN105959625B (zh) 控制无人机追踪拍摄的方法及装置
US11269402B1 (en) User interface interaction paradigms for eyewear device with limited field of view
CN108881724B (zh) 一种图像获取方法、装置、设备及存储介质
CN108463789B (zh) 信息处理设备、信息处理方法和程序
US20210183343A1 (en) Content Stabilization for Head-Mounted Displays
US10866492B2 (en) Method and system for controlling tracking photographing of stabilizer
US20200211512A1 (en) Headset adjustment for optimal viewing
US10609437B2 (en) Method for providing content using a head-mounted device, system for executing the method, and content display device
CN110895676B (zh) 动态对象跟踪
CN112666705A (zh) 一种眼动追踪设备及眼动追踪方法
CN111314616A (zh) 图像获取方法、电子设备、介质及可穿戴设备
CN110895433B (zh) 用于增强现实中用户交互的方法和装置
CN110688002B (zh) 虚拟内容的调整方法、装置、终端设备及存储介质
CN108604010B (zh) 用于校正设备中的漂移的方法和该设备
CN109144250A (zh) 一种位置调节的方法、装置、设备及存储介质
CN208224647U (zh) 一种智能眼镜
CN111642939A (zh) 一种智能镜
US11422618B2 (en) Smart strap and method for defining human posture
CN110377158B (zh) 基于变化视场范围的眼球追踪的校准方法及电子设备
CN110934594B (zh) 智能型背带及定义人体姿势的方法
KR20160144245A (ko) 프로젝터 장치
CN109690440B (zh) 一种无人机的飞行控制方法及无人机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination