CN105528577A - 基于智能眼镜的识别方法 - Google Patents

基于智能眼镜的识别方法 Download PDF

Info

Publication number
CN105528577A
CN105528577A CN201510878498.6A CN201510878498A CN105528577A CN 105528577 A CN105528577 A CN 105528577A CN 201510878498 A CN201510878498 A CN 201510878498A CN 105528577 A CN105528577 A CN 105528577A
Authority
CN
China
Prior art keywords
state
eyeball
coordinate
reading
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510878498.6A
Other languages
English (en)
Other versions
CN105528577B (zh
Inventor
伍楷舜
邹永攀
周昌盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen University
Original Assignee
Shenzhen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen University filed Critical Shenzhen University
Priority to CN201510878498.6A priority Critical patent/CN105528577B/zh
Publication of CN105528577A publication Critical patent/CN105528577A/zh
Priority to US15/212,196 priority patent/US20170156589A1/en
Application granted granted Critical
Publication of CN105528577B publication Critical patent/CN105528577B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

本发明涉及智能识别领域，其公开了一种基于智能眼镜的识别方法，包括如下步骤：（S1）获取眼镜上的惯性传感器实时传输数据并判断头部的位置；（S2）获取阅读状态和阅读内容；（S3）阅读提醒。本发明的有益效果是：监测与识别用户的学习认知状态，并给用户提供相应的认知辅助措施，进一步提高了阅读效率。

Description

基于智能眼镜的识别方法
技术领域
本发明涉及智能识别领域，尤其涉及一种基于智能眼镜的识别方法。
背景技术
如今，随着教育的不断普及，人们的阅读需求不断提高，但是随着阅读内容越来越丰富的时候，我们遇到的阅读问题越来越多（比如在阅读英文文章的时候我们会有很多不懂得单词和句子，在阅读专业书籍的时候我们会用很多不懂的专业名词，在阅读文献的时候我们会有很多不懂专业知识等等），遇到这些问题时就需要去查询相关资料，而查询相关资料是一件很麻烦而且费时的事情，从而会大大降低人们的阅读效率。
为了解决人们的阅读问题和提高人们的阅读效率，目前的商用产品比如步步高点读机等产品中多采用点读技术，这种技术是将书本放在特等的位置，然后用笔去点击书本，从而感知书本的某一个位置，然后将相应的提示内容显示出来。这种技术有很大的局限性，因为这种技术需要先将书本的内容记录下来，然后做成一个软件包才能使用，市场上普通的书本并不能用使用这种点读机；其次我们每次阅读我们都需要带着这样一个体积庞大的点读机，非常不方便；而在人看书的过程成中容易走神，这种点读机不能提示人走神，让人回到阅读中来。在这种情况下，一种能够帮助人在阅读中解决困难，在人走神的时候给出声音提醒的系统无疑有很强的实用价值。
发明内容
为了解决现有技术中的问题，本发明提供了一种基于智能眼镜的识别方法，解决现有技术中无法帮助人在阅读中解决困难，在人走神的时候给出提醒的问题。
本发明是通过以下技术方案实现的：设计、制造了一种基于智能眼镜的识别方法，包括如下步骤：（S1）获取眼镜上的惯性传感器实时传输数据并判断头部的位置；（S2）获取阅读状态和阅读内容；（S3）阅读提醒。
作为本发明的进一步改进：所述步骤（S1）进一步包括：（S11）从眼镜上的惯性传感器中读取数据；（S12）通过判断不同的头部位置来确定人的阅读状态；当头部的位置符合阅读时头部位置范围时且人为静止时，视为阅读状态；当头部位置不符合阅读时头部位置范围或者人在运动时，视为不在阅读状态。
作为本发明的进一步改进：所述步骤（S2）中，通过将眼镜上的眼部摄像头传来图像转化为灰度值，然后设置阈值从而取得眼球的坐标，通过判断眼球坐标随着时间变化从而得到人们阅读时的各种状态；通过对眼镜上的情景摄像头得到的图像设立坐标，并用校准的方式使得情景摄像头得到的图像坐标与眼球坐标一一对应起来，进而获得使用者现在所看的内容。
作为本发明的进一步改进：所述步骤（S3）中，根据阅读状态对读者给予不同的阅读帮助。
作为本发明的进一步改进：所述步骤（S2）中，为获取不同的阅读状态，进一步包括如下步骤：(S21)开启红外发射器使其照向眼睛，开启眼部摄像头捕捉眼球的位置图像，开启情景摄像头捕捉眼睛所看到的图像；（S22）通过将眼部摄像头获得的图像转化为灰度值，并且取反，然后设立灰度值的阈值从而得到瞳孔的位置，并为瞳孔中心的位置设立坐标；（S23）通过眼球的运动来判断人阅读的状态。
作为本发明的进一步改进：所述阅读状态包括正常阅读状态、思考状态、扫视状态、回看状态和走神状态；所述正常阅读状态为眼球的移动速度在一定的范围内；所述思考状态为眼球移动速度在一定的范围内且时间超过某个阈值；所述扫视状态为当眼球移动速度超过某一个阈值；所述回看状态为眼球移动方向为反方向时；所述走神状态为眼球速度低于一定的阈值且超过一定的时间。
作为本发明的进一步改进：所述步骤（S3）中，将场景摄像头获得图像分为九宫格并且设立坐标，并且通过校准的方式使得场景图像坐标与眼球坐标一一对应起来；通过获取阅读状态来进行阅读指导。
作为本发明的进一步改进：通过眼球坐标矩阵乘以通过校准计算而来的矩阵计算出场景图像的坐标。
作为本发明的进一步改进：当阅读状态为思考状态时，自动搜索使用者阅读的内容然后将搜索的结果进行显示；当使用者处于走神状态时，自动发出声音进行提醒。
本发明的有益效果是：监测与识别用户的学习认知状态，并给用户提供相应的认知辅助措施，进一步提高了阅读效率。
【附图说明】
图1是本发明一种基于智能眼镜的识别方法的步骤示意图。
图2是本发明一实施例示意图。
【具体实施方式】
下面结合附图说明及具体实施方式对本发明进一步说明。
如图1，一种基于智能眼镜的识别方法，包括如下步骤：（S1）获取眼镜上的惯性传感器实时传输数据并判断头部的位置；（S2）获取阅读状态和阅读内容；（S3）阅读提醒。
所述步骤（S1）进一步包括：（S11）从眼镜上的惯性传感器（包括加速度计和陀螺仪）中读取数据；（S12）通过判断不同的头部位置来确定人的阅读状态；当头部的位置符合阅读时头部位置范围时且人为静止时，视为阅读状态；当头部位置不符合阅读时头部位置范围或者人在运动时，视为不在阅读状态。
所述步骤（S2）中，通过将眼镜上的眼部摄像头传来图像转化为灰度值，然后设置阈值从而取得眼球的坐标，通过判断眼球坐标随着时间变化从而得到人们阅读时的各种状态；通过对眼镜上的情景摄像头得到的图像设立坐标，并用校准的方式使得情景摄像头得到的图像坐标与眼球坐标一一对应起来，进而获得使用者现在所看的内容。
所述步骤（S3）中，根据阅读状态对读者给予不同的阅读帮助。
所述步骤（S2）中，为获取不同的阅读状态，进一步包括如下步骤：(S21)开启红外发射器使其照向眼睛，开启眼部摄像头捕捉眼球的位置图像，开启情景摄像头捕捉眼睛所看到的图像；（S22）通过将眼部摄像头获得的图像转化为灰度值，并且取反，然后设立灰度值的阈值从而得到瞳孔的位置，并为瞳孔中心的位置设立坐标（利用眼睛对红外线的特性，即当红外线与光轴是异轴的时候，瞳孔会显得很暗，虹膜会显得相对较亮）；（S23）通过眼球的运动来判断人阅读的状态。
所述阅读状态包括正常阅读状态、思考状态、扫视状态、回看状态和走神状态；所述正常阅读状态为眼球的移动速度在一定的范围内；所述思考状态为眼球移动速度在一定的范围内且时间超过某个阈值；所述扫视状态为当眼球移动速度超过某一个阈值；所述回看状态为眼球移动方向为反方向时；所述走神状态为眼球速度低于一定的阈值且超过一定的时间。
所述步骤（S3）中，将场景摄像头获得图像分为九宫格并且设立坐标，并且通过校准的方式使得场景图像坐标与眼球坐标一一对应起来；通过获取阅读状态来进行阅读指导。
通过眼球坐标矩阵乘以通过校准计算而来的矩阵计算出场景图像的坐标。
当阅读状态为思考状态时，自动搜索使用者阅读的内容然后将搜索的结果进行显示；当使用者处于走神状态时，自动发出声音进行提醒。
在一实施例中，如图2，提出了一种基于智能眼镜结合眼球追踪、图像坐标匹配、文本识别和机器学习技术，进而监测与识别用户的学习认知状态，并给用户提供相应的认知辅助措施的智慧系统。该方法通过利用置于眼镜上的摄像头、红外发射器、惯性测量单元3（加速度传感器，陀螺仪），并辅之以智能手机APP从而实现以上所述功能。所述方法主要包括：通过内置的惯性测量单元监测获取用户头部运动的数据；通过对惯性单元数据进行分析从而确定用户行为状态；当判定用户的状态为阅读时，红外发射器、眼球摄像头1和情景摄像头2会同步开启，一方面通过红外传感器和眼摄像头获取用户阅读过程中的眼球运动的图片，另一方面通过场景摄像头获取用户当前阅读内容的图片；通过对眼球运动图片的处理，提取眼球运动的特征，结合惯性单元的数据，判定用户阅读过程中的学习与认知状态，诸如正常阅读、思考、回看、扫视、走神；通过校准的方式将眼球的坐标和场景的坐标一一对应，并将场景摄像头的图片中内容进行识别，结合用户学习认知状态的判定，分析用户的学习兴趣、认知特点与行为习惯，麦克风4可以进行语音输出。基于这些核心模块，我们可以开发出各种辅助用户学习与认知的应用，比如：当系统判定出用户在特定内容上凝视较长时间时，相应APP会识别出的内容进行自动搜索，以辅助用户理解相应的内容。
在一实施例中，S1、眼镜上的惯性传感器实时传输数据到电脑中，通过判断加速度计的数值和陀螺仪的数值来判断头部的位置（头部偏转角度，包括前后左右）；S2、通过头部的位置来判决人们状态，这个状态分为阅读和不在阅读，阅读的内容可以是纸质材料、电子材料等等。当人们的状态为阅读时，眼镜上的红外发射器、眼部摄像头和情景摄像头会自动打开并且收集数据。收集到的数据可以通过服务器、个人电脑、手机、平板、等设备进行处理。通过将眼部摄像头传来图像转化为灰度值，然后设置阈值从而取得眼球的坐标。通过判断眼球坐标随着时间变化从而得到人们阅读时的各种状态，比如正常阅读、思考、扫视、回看、走神等等。通过对情景摄像头得到的图像设立坐标，并用校准的方式使得情景摄像头得到的图像坐标与眼球坐标一一对应起来，从而能够获得使用者现在所看的内容；S3、结合S2得到的各种阅读状态来给读者给予阅读帮助。比如当读者处于思考状态或者多次回看上面的内容时，手机APP会自动搜索读者所看的内容，给读者提供帮助，从而解决读者的阅读问题；当读者处于走神状态时，手机APP会发出声音提醒人们重新回到阅读，从而提高人们的阅读效率等。
根据阅读状态提供不同的阅读帮助，进一步为：将场景摄像头获得图像分为九宫格并且设立坐标，并且通过校准的方式使得场景图像坐标与眼球坐标一一对应起来。其对应的方式可用矩阵相乘的方式获得的。即眼球坐标矩阵乘以通过校准计算而来的矩阵可以计算出场景图像的坐标。结合步骤S2中所得到的状态来提供不同的帮助。当阅读状态为思考的时候，手机APP会自动搜索使用者阅读的内容然后将搜索的结果显示在手机APP上，帮助读者解决阅读中遇到的问题；结合步骤S2中所得到的状态来帮助读者提高阅读效率，当使用者处于走神状态时，手机APP会自动发出声音提醒读者要专心读书，不要走神，从而提高读者的效率。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于智能眼镜的识别方法，其特征在于：包括如下步骤：（S1）获取眼镜上的惯性传感器实时传输数据并判断头部的位置；（S2）获取阅读状态和阅读内容；（S3）阅读提醒。
2.根据权利要求1所述的基于智能眼镜的识别方法，其特征在于：所述步骤（S1）进一步包括：（S11）从眼镜上的惯性传感器中读取数据；（S12）通过判断不同的头部位置来确定人的阅读状态；当头部的位置符合阅读时头部位置范围时且人为静止时，视为阅读状态；当头部位置不符合阅读时头部位置范围或者人在运动时，视为不在阅读状态。
3.根据权利要求1所述的基于智能眼镜的识别方法，其特征在于：所述步骤（S2）中，通过将眼镜上的眼部摄像头传来图像转化为灰度值，然后设置阈值从而取得眼球的坐标，通过判断眼球坐标随着时间变化从而得到人们阅读时的各种状态；通过对眼镜上的情景摄像头得到的图像设立坐标，并用校准的方式使得情景摄像头得到的图像坐标与眼球坐标一一对应起来，进而获得使用者现在所看的内容。
4.根据权利要求1所述的基于智能眼镜的识别方法，其特征在于：所述步骤（S3）中，根据阅读状态对读者给予不同的阅读帮助。
5.根据权利要求3所述的基于智能眼镜的识别方法，其特征在于：所述步骤（S2）中，为获取不同的阅读状态，进一步包括如下步骤：(S21)开启红外发射器使其照向眼睛，开启眼部摄像头捕捉眼球的位置图像，开启情景摄像头捕捉眼睛所看到的图像；（S22）通过将眼部摄像头获得的图像转化为灰度值，并且取反，然后设立灰度值的阈值从而得到瞳孔的位置，并为瞳孔中心的位置设立坐标；（S23）通过眼球的运动来判断人阅读的状态。
6.根据权利要求1所述的基于智能眼镜的识别方法，其特征在于：所述阅读状态包括正常阅读状态、思考状态、扫视状态、回看状态和走神状态；所述正常阅读状态为眼球的移动速度在一定的范围内；所述思考状态为眼球移动速度在一定的范围内且时间超过某个阈值；所述扫视状态为当眼球移动速度超过某一个阈值；所述回看状态为眼球移动方向为反方向时；所述走神状态为眼球速度低于一定的阈值且超过一定的时间。
7.根据权利要求1所述的基于智能眼镜的识别方法，其特征在于：所述步骤（S3）中，将场景摄像头获得图像分为九宫格并且设立坐标，并且通过校准的方式使得场景图像坐标与眼球坐标一一对应起来；通过获取阅读状态来进行阅读指导。
8.根据权利要求7所述的基于智能眼镜的识别方法，其特征在于：通过眼球坐标矩阵乘以通过校准计算而来的矩阵计算出场景图像的坐标。
9.根据权利要求6所述的基于智能眼镜的识别方法，其特征在于：当阅读状态为思考状态时，自动搜索使用者阅读的内容然后将搜索的结果进行显示；当使用者处于走神状态时，自动发出声音进行提醒。
CN201510878498.6A 2015-12-04 2015-12-04 基于智能眼镜的识别方法 Active CN105528577B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510878498.6A CN105528577B (zh) 2015-12-04 2015-12-04 基于智能眼镜的识别方法
US15/212,196 US20170156589A1 (en) 2015-12-04 2016-07-16 Method of identification based on smart glasses

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510878498.6A CN105528577B (zh) 2015-12-04 2015-12-04 基于智能眼镜的识别方法

Publications (2)

Publication Number Publication Date
CN105528577A true CN105528577A (zh) 2016-04-27
CN105528577B CN105528577B (zh) 2019-02-12

Family

ID=55770791

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510878498.6A Active CN105528577B (zh) 2015-12-04 2015-12-04 基于智能眼镜的识别方法

Country Status (2)

Country Link
US (1) US20170156589A1 (zh)
CN (1) CN105528577B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096912A (zh) * 2016-06-03 2016-11-09 广州视源电子科技股份有限公司 智能眼镜的人脸识别方法及智能眼镜
CN107273895A (zh) * 2017-06-15 2017-10-20 幻视互动（北京）科技有限公司 用于头戴式智能设备的视频流实时文本识别及翻译的方法
CN108665689A (zh) * 2017-03-29 2018-10-16 安子轩 可穿戴式智能设备及防走神提醒方法
CN110073273A (zh) * 2016-12-12 2019-07-30 富士胶片株式会社 投影型显示装置、投影型显示装置的控制方法、投影型显示装置的控制程序
CN111967327A (zh) * 2020-07-16 2020-11-20 深圳市沃特沃德股份有限公司 阅读状态识别方法、装置、计算机设备和可读存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11138301B1 (en) * 2017-11-20 2021-10-05 Snap Inc. Eye scanner for user identification and security in an eyewear device
US11449205B2 (en) * 2019-04-01 2022-09-20 Microsoft Technology Licensing, Llc Status-based reading and authoring assistance
CN110377764B (zh) * 2019-07-19 2022-10-11 芋头科技（杭州）有限公司 信息显示方法
CN112419808B (zh) * 2020-11-10 2021-11-02 浙江大学 一种便携式多模态学习分析智能眼镜
CN113221630A (zh) * 2021-03-22 2021-08-06 刘鸿 一种人眼注视镜头的估算方法及其在智能唤醒中的应用
US11816221B2 (en) 2021-04-22 2023-11-14 Bank Of America Corporation Source code vulnerability scanning and detection smart glasses
US11797708B2 (en) 2021-05-06 2023-10-24 Bank Of America Corporation Anomaly detection in documents leveraging smart glasses
US11650798B2 (en) 2021-05-28 2023-05-16 Bank Of America Corporation Developing source code leveraging smart glasses

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103500331A (zh) * 2013-08-30 2014-01-08 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN104182046A (zh) * 2014-08-22 2014-12-03 京东方科技集团股份有限公司 眼控提醒方法、眼控图像显示方法及显示系统
US20150309316A1 (en) * 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4838681A (en) * 1986-01-28 1989-06-13 George Pavlidis Method and means for detecting dyslexia
US5912721A (en) * 1996-03-13 1999-06-15 Kabushiki Kaisha Toshiba Gaze detection apparatus and its method as well as information display apparatus
GB0119859D0 (en) * 2001-08-15 2001-10-10 Qinetiq Ltd Eye tracking system
US6943754B2 (en) * 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
SE524003C2 (sv) * 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
US8292433B2 (en) * 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
DK2202609T3 (en) * 2004-06-18 2016-04-25 Tobii Ab Eye control of computer equipment
US7736000B2 (en) * 2008-08-27 2010-06-15 Locarna Systems, Inc. Method and apparatus for tracking eye movement
US8531394B2 (en) * 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglasses transceiver
EP2587342A1 (en) * 2011-10-28 2013-05-01 Tobii Technology AB Method and system for user initiated query searches based on gaze data
US9182815B2 (en) * 2011-12-07 2015-11-10 Microsoft Technology Licensing, Llc Making static printed content dynamic with virtual data
US8942434B1 (en) * 2011-12-20 2015-01-27 Amazon Technologies, Inc. Conflict resolution for pupil detection
US8863042B2 (en) * 2012-01-24 2014-10-14 Charles J. Kulas Handheld device with touch controls that reconfigure in response to the way a user operates the device
WO2013126812A1 (en) * 2012-02-23 2013-08-29 Worcester Polytechnic Institute An instructional system with eye-tracking-based adaptive scaffolding
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9047784B2 (en) * 2012-08-02 2015-06-02 International Business Machines Corporation Automatic eBook reader augmentation
KR101319666B1 (ko) * 2013-02-27 2013-10-17 주식회사 위두커뮤니케이션즈 전자서적과 연동되는 게임의 제공 장치
US9454220B2 (en) * 2014-01-23 2016-09-27 Derek A. Devries Method and system of augmented-reality simulations
US9213403B1 (en) * 2013-03-27 2015-12-15 Google Inc. Methods to pan, zoom, crop, and proportionally move on a head mountable display
CN103530623B (zh) * 2013-09-16 2017-08-01 北京智谷睿拓技术服务有限公司 信息观察方法及信息观察装置
IN2014DE02666A (zh) * 2013-09-18 2015-06-26 Booktrack Holdings Ltd
TWI550438B (zh) * 2013-10-04 2016-09-21 由田新技股份有限公司 記錄閱讀行爲的方法及裝置
CN103630116B (zh) * 2013-10-10 2016-03-23 北京智谷睿拓技术服务有限公司 图像采集定位方法及图像采集定位装置
TWI533224B (zh) * 2013-11-14 2016-05-11 原相科技股份有限公司 眼球偵測裝置、瞳孔偵測方法與虹膜辨識方法
AU2015297035B2 (en) * 2014-05-09 2018-06-28 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
JP6486640B2 (ja) * 2014-10-09 2019-03-20 株式会社日立製作所 運転特性診断装置、運転特性診断システム、運転特性診断方法、情報出力装置、情報出力方法
US9568603B2 (en) * 2014-11-14 2017-02-14 Microsoft Technology Licensing, Llc Eyewear-mountable eye tracking device
US20160187976A1 (en) * 2014-12-29 2016-06-30 Immersion Corporation Systems and methods for generating haptic effects based on eye tracking
US10192258B2 (en) * 2016-08-23 2019-01-29 Derek A Devries Method and system of augmented-reality simulations

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150309316A1 (en) * 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
CN103500331A (zh) * 2013-08-30 2014-01-08 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN104182046A (zh) * 2014-08-22 2014-12-03 京东方科技集团股份有限公司 眼控提醒方法、眼控图像显示方法及显示系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096912A (zh) * 2016-06-03 2016-11-09 广州视源电子科技股份有限公司 智能眼镜的人脸识别方法及智能眼镜
CN110073273A (zh) * 2016-12-12 2019-07-30 富士胶片株式会社 投影型显示装置、投影型显示装置的控制方法、投影型显示装置的控制程序
CN108665689A (zh) * 2017-03-29 2018-10-16 安子轩 可穿戴式智能设备及防走神提醒方法
CN107273895A (zh) * 2017-06-15 2017-10-20 幻视互动（北京）科技有限公司 用于头戴式智能设备的视频流实时文本识别及翻译的方法
CN107273895B (zh) * 2017-06-15 2020-07-14 幻视互动（北京）科技有限公司 用于头戴式智能设备的视频流实时文本识别及翻译的方法
CN111967327A (zh) * 2020-07-16 2020-11-20 深圳市沃特沃德股份有限公司 阅读状态识别方法、装置、计算机设备和可读存储介质

Also Published As

Publication number Publication date
CN105528577B (zh) 2019-02-12
US20170156589A1 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
CN105528577A (zh) 基于智能眼镜的识别方法
US11164213B2 (en) Systems and methods for remembering held items and finding lost items using wearable camera systems
US10311746B2 (en) Wearable apparatus and method for monitoring posture
US20170112431A1 (en) System and method for gathering and analyzing biometric user feedback for use in social media and advertising applications
US8996510B2 (en) Identifying digital content using bioresponse data
CN108617533A (zh) 基于耳标的畜牧监测方法、装置及耳标监测系统
CN105748057A (zh) 信息显示方法和支持该信息显示方法的电子设备
CN203288177U (zh) 带有人体感应功能的信息发布物联网终端
CN104919396B (zh) 在头戴式显示器中利用身体握手
CN103645804A (zh) 识别人体手势的方法、装置以及使用其的手表
CN105516280A (zh) 一种多模态学习过程状态信息压缩记录方法
CN104049742A (zh) 三维指尖追踪
CN103595858A (zh) 移动手持机设备及其方法
US9354712B2 (en) Recognition device, intelligent device and information providing method for human machine interaction
CN205649501U (zh) 学生智能体检一体机
CN109756626B (zh) 一种提醒方法和移动终端
KR102466438B1 (ko) 인지 기능 평가 시스템 및 인지 기능 평가 방법
US11289084B2 (en) Sensor based semantic object generation
CN109063545A (zh) 一种疲劳驾驶检测方法及装置
CN111026967B (zh) 一种获得用户兴趣标签的方法、装置、设备和介质
KR20140046652A (ko) 학습 모니터링 장치 및 학습 모니터링 방법
CN104535059A (zh) 针对全盲人群的室内定位系统
CN112101124A (zh) 一种坐姿检测方法及装置
KR20140023199A (ko) 이동 전화기 및 이동전화기에서 재생되는 미디어 컨텐츠의 효율성 분석 방법
KR101612782B1 (ko) 사용자 독서 관리 시스템 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant