CN107479691B - 一种交互方法及其智能眼镜和存储装置 - Google Patents

一种交互方法及其智能眼镜和存储装置 Download PDF

Info

Publication number
CN107479691B
CN107479691B CN201710545893.1A CN201710545893A CN107479691B CN 107479691 B CN107479691 B CN 107479691B CN 201710545893 A CN201710545893 A CN 201710545893A CN 107479691 B CN107479691 B CN 107479691B
Authority
CN
China
Prior art keywords
information
user
display screen
instruction
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710545893.1A
Other languages
English (en)
Other versions
CN107479691A (zh
Inventor
尤雅各
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiekai Communications Shenzhen Co Ltd
Original Assignee
Jiekai Communications Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiekai Communications Shenzhen Co Ltd filed Critical Jiekai Communications Shenzhen Co Ltd
Priority to CN201710545893.1A priority Critical patent/CN107479691B/zh
Publication of CN107479691A publication Critical patent/CN107479691A/zh
Application granted granted Critical
Publication of CN107479691B publication Critical patent/CN107479691B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Abstract

本发明公开了一种智能眼镜的交互方法及智能眼镜和存储介质。其中，所述方法包括：智能眼镜采集目标区域的信息；将目标区域的信息显示在智能眼镜的显示屏幕上；响应用户触摸或按压智能眼镜的交互接口而产生第一指令；根据第一指令对显示屏幕上的显示信息进行处理。通过上述方式，本发明能够实现用户和智能眼镜的交互。

Description

一种交互方法及其智能眼镜和存储装置
技术领域
本发明涉及电子技术领域，特别是涉及一种交互方法及其智能眼镜和存储装置。
背景技术
增强现实技术(Augmented Reality，AR)是一种将真实世界信息和虚拟信息“无缝”集成的技术，是把原本在真实世界一定时间空间范围内的信息(例如视觉、声音、味道、触觉等)通过科学技术模拟仿真后后再与虚拟信息叠加，另真实世界的信息和虚拟信息实时地叠加到了同一个画面或空间，在被人类感官所感知，从而到达超越现实的感官体验。AR技术可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。
AR眼镜是AR技术在可穿戴计算机领域的一种应用产品，拥有透射式的显示系统、独立的操作系统和强大的图像处理能力，用户既能看到真实场景又能看到计算机生成的虚拟信息。
发明内容
本发明主要解决的技术问题是提供一种智能眼镜的交互方法及智能眼镜，能够实现用户与智能眼镜的交互。
为解决上述技术问题，本发明采用的一个技术方案是：提供一种智能眼镜的交互方法，所述方法包括智能眼镜采集目标区域的信息；将目标区域的信息显示在智能眼镜的显示屏幕上；响应用户触摸或按压智能眼镜的交互接口而产生第一指令；根据第一指令对显示屏幕上的显示信息进行处理。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种智能眼镜，包括处理器、采集器、显示屏幕、交互接口及存储器，处理器连接采集器、显示屏幕及存储器；采集器用于采集目标区域的信息；存储器用于存储计算机程序；处理器执行计算机程序，用于：将目标区域的信息显示在显示屏幕上；响应用户触摸或按压交互接口而产生第一指令；根据第一指令对所述显示屏幕上的显示信息进行处理。
为解决上述技术问题，本发明采用的另一个技术方案是：提供一种存储装置，存储有程序数据，程序数据能够被执行以实现上述方法。
本发明的有益效果是：区别于现有技术的情况，本发明通过设置智能眼镜的交互接口，以响应用户触摸或按压智能眼镜的交互接口而产生第一指令，并根据第一指令对显示屏幕上的显示信息进行处理，实现了用户与智能眼镜的交互，进而实现对智能眼睛的显示信息的有效处理。
附图说明
图1是本发明智能眼镜的交互方法第一实施方式的流程示意图；
图2是本发明智能眼镜的交互方法第二实施方式的流程示意图；
图3是本发明智能眼镜的交互方法第三实施方式的部分流程示意图；
图4是图3所示的S304在第四实施例中的流程示意图；
图5是本发明智能眼镜的交互方法第五实施方式的部分流程示意图；
图6是本发明智能眼镜的交互方法的目标区域划分一模式示意图；
图7是本发明一种智能眼镜一实施方式的结构示意图。
具体实施方式
下面结合附图及实施方式对本发明做详细说明。
请参阅图1，图1是本发明智能眼镜的交互方法第一实施方式的流程示意图。需注意的是，若有实质上相同的结果，本发明的方法并不以图1所示的流程顺序为限。如图1所示，该方法包括如下步骤：
S101：智能眼镜采集目标区域的信息。
其中，智能眼镜是移动终端的一种，可以基于安卓(Android)操作系统运行的，而且可以利用语音和/或视觉进行控制。本发明实施方式中智能眼镜使用的原理是增强现实技术(Augmented Reality，AR)，其特点是在显示装置上附加了环境信息。
AR技术的特点是可以将显示器屏幕扩展到真实环境，使计算机窗口与图标叠映于现实对象，由眼睛凝视或手势指点进行操作；让三维物体在用户的全景视野中根据当前任务或需要交互地改变其形状和外观；对于现实目标通过叠加虚拟景象产生类似于X光透视的增强效果。
其中，目标区域的信息可以是用户想要阅读的书籍信息，也可以是用户想要浏览的手机信息等，此处不做限制。
具体地，在智能眼镜的镜架上设置有采集器如摄像头，智能眼镜可以通过摄像头采集目标区域的信息，目标区域的信息包括文字及图像。
S102：将目标区域的信息显示在智能眼镜的显示屏幕上。
由于需要将真实世界信息和虚拟信息“无缝”集成在一起，因此，智能眼镜在采集到真实世界的目标区域信息后，将该目标区域的信息显示在智能眼镜的显示屏幕上。具体如，智能眼镜的处理器对采集得到的信息进行分析识别，并将识别后的数据输出至该显示屏幕上进行显示。
S103：响应用户触摸或按压智能眼镜的交互接口而产生第一指令。
智能眼镜设置有交互接口，以供用户输入相应的处理指令。该第一指令是指，用户通过智能眼睛的交互接口输入的对显示在智能眼镜的显示屏幕上的信息进行处理的处理指令，该处理指令包括选择、复制、翻译、保存、发送、拍照、录像中的至少一种等。
在一具体应用中，该交互接口设于智能眼镜的眼镜架上。当用户触摸或按压该交互接口时，在智能眼镜的显示屏幕上显示一个选择列表，这个选择列表里的指令选项包括选择、复制、翻译、保存、发送、拍照、录像等。用户通过触摸或按压该交互接口的上移或下移键来选择该选择列表的指令选项，同时，该智能眼镜的显示屏幕上会对应显示用户的选择过程，用户也可以直接通过视觉去选择该选择列表的指令选项，利用通过眼球追踪来定位当前用户眼球锁定的指令选项，并在检测到用户眼球的锁定时间超过设定时间值，则确定选择该指令选项。其中，该指令选项的选择方式可以是智能眼镜可根据设定策略如用户的操作习惯、操作历史等来确定的，也可以是智能眼镜根据用户的选择进行预设的。
S104：根据第一指令对显示屏幕上的显示信息进行处理。
例如，该第一指令为发送指令，智能眼镜根据该发送指令，将该显示屏幕上的当前所有显示信息或者用户选择的部分显示信息发送至用户指定的外部设备。该指定的外部设备可以为智能眼镜当前已建立连接的终端，在接收到该发送指令后，智能眼镜直接将相关显示信息发送给该终端；或者该指定的外部设备与智能眼镜未建立连接，在接收到该发送指令后，智能眼镜在显示屏幕上提示用户输入指定的外部设备，并根据用户在该交互接口上输入信息确定指定的外部设备，并与之建立连接，再向其发送相关显示信息。
进一步地，在智能眼镜根据第一指令对显示屏幕上的显示信息进行处理后，智能眼镜还可以生成一个临时列表，这个临时列表里存放的是智能眼镜在设定时间里，根据用户的第一指令对显示信息处理后的信息。该临时列表中信息的排列可以通过时间顺序进行排列，也可以通过信息的内容进行排列，具体该排列方式可根据用户的设置来确定。另外，该临时列表可以在用户和/或智能眼镜系统所设定的时间内自动删除。
另外，智能眼镜还可以根据用户所设置的快捷方式产生第一指令，例如，可以设置触摸或按压智能眼镜的交互接口的不同时长，以对显示屏幕上的显示信息进行不同处理如选择、复制、翻译、保存、发送、拍照、录像等。
在其中一个具体的实施方式中，设定用户所设置的快捷方式是触摸或按压智能眼镜的交互接口时长为一秒钟时，智能眼镜可以对显示屏幕上的显示信息进行拍照。当用户戴上智能眼镜阅读一本英文书时，智能眼镜的摄像头会自动识别英文书上的文字，并实时采集英文书上的文字图片，然后将文字图片无缝地堆叠在智能眼镜的镜片上。此时用户通过智能眼镜可以在显示屏幕上看到原本的英文书的文字内容，，真实书本的文字内容已经被投射到智能眼镜上。接着用户触摸/按压智能眼镜镜架上的触摸屏/触摸按钮，智能眼镜对显示屏幕上的显示信息进行拍照。
在本实施方式中，通过设置智能眼镜的交互接口，以响应用户触摸或按压智能眼镜的交互接口而产生第一指令，并根据第一指令对显示屏幕上的显示信息进行处理，实现了用户与智能眼镜的交互，进而实现对智能眼睛的显示信息的有效处理。
进一步地，本发明中的智能眼镜还可以通过启动眼球追踪技术选择用户想要选择的信息。具体地，请参阅图2，图2是本发明智能眼镜的交互方法第二实施方式的流程示意图。本实施方式中，该方法包括以下步骤：
S201：智能眼镜采集目标区域的信息。
可如上S101所述，在此不作赘述。
S202：将目标区域的信息显示在智能眼镜的显示屏幕上。
可如上S102所述，在此不作赘述。
S203：跟踪用户的眼球。
其中，跟踪用户的眼球，也即是启动眼球追踪技术。眼球追踪技术可以根据眼球和眼球周边的特征变化进行跟踪，也可以根据虹膜角度变化进行跟踪，还可以主动投射红外线等光束到虹膜来提取特征。
具体地，启动眼球追踪技术的方法可以通过检测用户眨眼睛的次数和/或眨眼睛的间隔时间来设定。例如，可以设定用户在1秒内连续眨两次眼睛开启眼球跟踪。
S204：根据用户的第一眼球运动状态选择显示屏幕上显示的至少部分信息。
其中，用户的眼球运动状态包括用户的眼球的凝视状态，也即是，用户的眼睛盯着某一点看的状态。此时，智能眼镜可以检测眼球凝视显示屏幕的凝视坐标，以确定需要选择的信息。具体地，当智能眼镜系统检测到用户盯着显示屏幕上的某一点超过设定时间时，智能眼镜系统会保存该点的坐标。因此，当智能眼镜系统保存了两个凝视坐标之后，智能眼镜系统会自动选择这两个凝视坐标之间的内容。
S205：响应用户触摸或按压智能眼镜的交互接口而产生第一指令。
可如上S103所述，在此不作赘述。
S206：根据第一指令对选择的信息进行处理，其中，该处理包括翻译、保存、复制、发送。
其中，智能眼镜系统可以根据第一指令将选择的信息发送至终端设备。其中，终端设备可以是手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(MID，MobileInternet Device)、可穿戴设备(智能手表、智能手环)或其他可以进行接收的设备。智能眼镜根据指令发送信息至终端设备可以采用无线传输方式，无线连接传输方式可以为蓝牙、WIFI、NFC、ZigBee或红外中的任意一种。
进一步地，在智能眼镜根据第一指令对显示屏幕上的显示信息进行处理之后，还包括保存进行处理的信息作为处理记录。具体的保存方法包括，响应用户触摸或按压智能眼镜的交互接口而产生第二指令，在处理记录中查找与第二指令匹配的信息，并将匹配的信息显示于显示屏幕上。其中，第二指令是指智能眼镜系统根据第一指令对选择的至少部分信息进行处理后，根据用户的指令对处理后的信息进行保存。另外，在智能眼镜根据第一指令对显示屏幕上的显示信息进行处理之后，智能眼镜自动保存该进行处理之后的信息。
另外，当智能眼镜系统根据用户的第一指令将所选择的信息发送到终端设备之后，智能眼镜系统还可根据用户的第二指令将发送到终端设备的信息进行保存。另外，智能眼镜系统可以将智能眼镜系统根据用户的第一指令对选择并处理的至少部分信息按时间顺序保存到一个列表中，也可以分别保存到不同的列表中。
在本实施方式中，通过设置智能眼镜的交互接口，以响应用户触摸或按压智能眼镜的交互接口而产生第一指令，并根据第一指令对显示屏幕上的显示信息进行处理，实现了用户与智能眼镜的交互，进而实现对智能眼睛的显示信息的有效处理。更具体的是，智能眼镜通过启动眼球追踪系统，可以快速地锁定用户在显示屏幕上的凝视坐标，进而选中需要选择的内容，方便用户进行下一步地操作。
进一步地，在S101步骤具体包括在检测到目标区域存在文字信息或图像时，采集目标区域的文字信息或图像，否则不执行上述采集。在另一实施方式中，当S101步骤具体采集的是目标区域的文字信息时，本发明交互方法还可对该文字信息进行翻译。具体如图3所示，图3是本发明智能眼镜的交互方法第三实施方式的部分流程示意图。本实施方式方法除包含图1或图2所示的步骤外，在S102/S 202之后，还包括以下步骤：
S301：接收用户输入的第三指令。
其中，第三指令为响应用户触摸或按压交互接口而产生的，或响应用户的第一眼球运动状态而产生的，又或根据用户的语音信息产生的。例如，当目标区域存在文字信息时，用户触摸或按压交互接口，智能眼镜会选中显示屏幕上的所有文字；或者，当目标区域存在文字信息时，智能眼镜根据用户在显示屏幕的凝视坐标而开始选中需要选择的文字；又或者，当目标区域存在文字信息，智能眼镜的显示屏幕上会出现一个提示框，提示用户读出需要选中的内容的首尾，或者，智能眼镜的显示屏幕上不出现该提示框，直接选中用户读出的内容。
S302：根据第三指令进入翻译模式。
例如，智能眼镜获取用户的语音指令，如“进入翻译模式”后，自动进入翻译模式。
当智能眼镜所采集的目标区域的信息是外文时，智能眼镜可以根据用户的需要进入翻译模式。例如，当智能眼镜所采集的目标区域的信息为英文时，智能眼镜将目标区域的信息显示在智能眼镜的显示屏幕上后上，会在该段英文信息旁显示中文信息，或者在用户选择的英文信息旁显示中文信息。本实施例仅针对用户选择的文字信息进行翻译，故在进入翻译模式后，智能眼镜执行以下步骤，以对用户选择的文本信息进行翻译。
S303：跟踪用户的眼球。
S304：根据用户的眼球运动状态选择显示屏幕上显示的至少部分信息。
在其中一个具体地的实施方式中，智能眼镜可以自动识别所采集的信息是否为外文信息，此处的外文是智能眼镜根据用户的选择指令而定义的。例如，智能眼镜根据用户的选择指令定义英文为外文，也可以定义除了中文之外的语音均为外文。另外，智能眼镜也可以根据用户的指令将该外文信息翻译为指定的语音，例如，智能眼镜可以根据用户的指令将智能眼镜所采集及显示在显示屏幕上的英文信息翻译为中文。另外，智能眼镜也出厂设置默认地把外文翻译为中文。
S305：翻译选择的至少部分信息，并将翻译结果显示在显示屏幕上。
当智能眼镜检测到所采集的信息为外文信息，并根据用户的眼球运动状态选择所述显示屏幕上显示的至少部分信息后，智能眼镜会自动开启翻译模式。同时，当智能眼镜接收到用户触摸或按压交互接口的指令时，在显示屏幕上还可以出现如上述第一个实施方式中的选择列表，这个选择列表里的选项包括选择、复制、翻译、保存、发送等。
本实施方式中，智能眼镜通过采集目标区域的信息，将目标区域的信息显示在智能眼镜的显示屏幕上，响应用户触摸或按压智能眼镜的交互接口而产生第一指令，根据第一指令对显示屏幕上的显示信息进行处理，实现了用户与智能眼镜的交互。
在又一实施例中，参阅图4，图4是图3所示的S304在第四实施例中的流程示意图。本实施方式中，S304包括以下子步骤：
S401：在检测到用户的第二眼球运动状态时，在显示屏幕的用户眼球注视的位置上显示光标。
其中，第二眼球运动状态为在设定时间内眨眼次数为第一设定值。例如，第一设定值可以是用户在一秒钟内眨一次眼睛。可替代地，第二眼球运动状态也可以设置为用户盯着某一点的时间长度。例如，用户盯着显示屏幕上的某一点的时间长度大于一秒时，智能眼镜可以在显示屏幕上的相应位置显示光标。
另外，智能眼镜也可不仅在检测到该第二眼球运动状态时才显示光标，而是在启动眼球追踪后开始显示光标以显示眼球追踪的路径。
S402：按照设定规则在显示屏幕上移动光标。
其中，设定规则是光标在移动过程中选中字符的规则。具体地，光标可以单个字符地进行选中，光标也可以每隔两个字符地进行选中，光标还可以根据字符前后的空格识别该字符串是否是一个单词，并对该单词进行选择。需要说明的是，光标识别单词，仅仅是针对以字母为组成基础的外文，对于例如中文、日文、韩文等，则只能通过单个字符进行选中。
S403：在检测到用户的第三眼球运动状态时，停止移动光标，并获取显示屏幕上显示的位于光标的开始位置与停止位置之间的信息。
其中，第三眼球运动状态为在设定时间内眨眼次数为第二设定值，其中，第一设定值和第二设定值相同或者不同。
本实施方式中，用户可以在阅读外文的过程中，方便快捷地获取翻译信息，避免了利用手机查阅单词或实体字典的翻阅等繁琐的程序，直接通过眨眼睛或者语音指令即可完成翻译，大大地提高了阅读效率。
进一步地，上述步骤中的S102/S202的其中一个具体的实施方式如图5所示，图5是本发明智能眼镜的交互方法第五实施方式的部分流程示意图。本实施方式中，该方法包括以下步骤：
S501：将目标区域的信息按照信息结构划分为顺序排列的若干个子区域信息。
其中一个实施方式的划分模式如图6所示，这个目标区域划分为三个模块：第一区域、第二区域以及第三区域。另外，还可以是其他的划分模式。
S502：按照子区域信息的排列顺序先后在智能眼镜的显示屏幕上显示子区域信息，其中，在检测用户眼球注视在显示屏幕显示信息的末尾位置时，显示下一子区域信息。
在其中一个实施方式中，如图6所示，当智能眼镜追踪到用户的凝视坐标在第一区域时，智能眼镜便把第一区域显示在显示屏幕上。而当智能眼镜追踪到用户的凝视坐标在第一区域最后几个字符，或者第一区域的右下角的位置时，智能眼镜便把第二区域显示在显示屏幕上，依次类推地显示第三区域。
可替代地，智能眼镜还可以通过检测人眼在显示屏幕上的凝视坐标，并以该凝视坐标为中心的矩形/方形子区域为智能眼镜的显示屏幕上显示的子区域信息。
本实施方式中，用户可以在阅读的过程中，方便快捷地获取目标区域的信息，且真实地做到“无缝”阅读，增强了用户与智能眼镜的交互感，并提高了阅读的效率。
请参阅图7，图7是本发明一种智能眼镜一实施方式的结构示意图。该智能眼镜可以执行上述方法中智能眼镜执行的步骤，相关内容请参见上述方法中的详细说明，在此不再赘叙。
本实施方式中，该智能眼镜包括：处理器71、采集器72、显示屏幕73、存储器74以及交互接口75。其中，处理器71连接采集器72、显示屏幕73以及存储器74。
存储器74用于存储操作系统、计算机程序、处理器71执行的指令以及采集器72采集到的信息等。
采集器72用于采集目标区域的信息。
交互接口75用于检测到用户的输入指令。具体，该交互接口可以为按键或触摸屏，不同的按键或触摸屏上的不同菜单项用于触发不同的指令，或者该按键或触摸屏作为键盘提供给用户输入具体指令。
处理器71执行计算机程序，并用于：将目标区域的信息显示在显示屏幕73上；响应用户触摸或按压交互接口75而产生第一指令；根据第一指令对显示屏幕73上的显示信息进行处理。
其中，处理器71还用于跟踪用户的眼球；根据第一指令对选择的至少部分信息进行处理，其中，处理包括翻译、保存、复制、发送。
其中，处理器71还用于将进行处理的信息作为处理记录保存于存储器74中。具体地，处理器71用于响应用户触摸或按压智能眼镜的交互接口而产生第二指令；在处理记录中查找与第二指令匹配的信息，并将匹配的信息显示于显示屏幕上。
其中，处理器71还用于在检测到目标区域存在文字信息时，采集目标区域的文字信息。具体地，处理器71用于接收用户输入的第三指令，其中，第三指令为响应用户触摸或按压交互接口而产生的，或响应用户的第一眼球运动状态而产生的，又或根据用户的语音信息产生的；根据第三指令进入翻译模式，且在翻译模式中：跟踪用户的眼球；根据用户的眼球运动状态选择显示屏幕上显示的至少部分信息；翻译选择的至少部分信息，并将翻译结果显示在显示屏幕上。
其中，处理器71还用于在检测到用户的第二眼球运动状态时，在显示屏幕的用户眼球注视的位置上显示光标；按照设定规则在显示屏幕上移动光标；在检测到用户的第三眼球运动状态时，停止移动光标，并获取显示屏幕上显示的位于光标的开始位置与停止位置之间的信息。
其中，处理器71还用于将目标区域的信息按照信息结构划分为顺序排列的若干个子区域信息；按照子区域信息的排列顺序先后在智能眼镜的显示屏幕上显示子区域信息，其中，在检测用户眼球注视在显示屏幕显示信息的末尾位置时，显示下一子区域信息。
具体地，交互接口75为触摸屏，交互接口75设置在智能眼镜的眼镜架上；采集器72为摄像头；另外，智能眼镜还包括收发器，用于将显示屏幕73上的显示信息发送至外部终端设备。
本实施方式中，通过设置智能眼镜的交互接口，以响应用户触摸或按压智能眼镜的交互接口而产生第一指令，并根据第一指令对显示屏幕上的显示信息进行处理，实现了用户与智能眼镜的交互，进而实现对智能眼睛的显示信息的有效处理。
另外，本发明还包括一种存储装置，存储有程序数据，程序数据能够被执行以实现上述实施方式中的方法。其中，存储装置可以为光盘、制度存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。
以上方案，通过设置智能眼镜的交互接口，以响应用户触摸或按压智能眼镜的交互接口而产生第一指令，并根据第一指令对显示屏幕上的显示信息进行处理，实现了用户与智能眼镜的交互，进而实现对智能眼睛的显示信息的有效处理。
以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (4)

1.一种智能眼镜的交互方法，其特征在于，包括：
所述智能眼镜采集目标区域的信息：在检测到所述目标区域存在文字信息时，采集所述目标区域的所述文字信息；
将所述目标区域的信息显示在所述智能眼镜的显示屏幕上，包括：将所述目标区域的信息按照信息结构划分为顺序排列的第一区域，第二区域和第三区域；
当所述智能眼镜追踪到用户的凝视坐标在所述第一区域时，所述智能眼镜把所述第一区域显示在所述显示屏幕上，当所述智能眼镜追踪到用户的所述凝视坐标位于所述第一区域最后几个字符，或者位于所述第一区域的右下角的位置时，所述智能眼镜把第二区域显示在所述显示屏幕上，依次类推地显示第三区域；
跟踪用户的眼球；
根据用户的第一眼球运动状态选择所述显示屏幕上显示的至少部分信息；
响应用户触摸或按压所述智能眼镜的交互接口而产生第一指令；
根据所述第一指令对所述显示屏幕上的显示信息进行处理，所述处理包括翻译、保存、复制、发送；
其中，在所述根据所述第一指令对选择的所述至少部分信息进行处理之后，还包括：
保存进行所述处理的信息作为处理记录；
响应用户触摸或按压所述智能眼镜的交互接口而产生第二指令；
在所述处理记录中查找与所述第二指令匹配的信息，并将所述匹配的信息显示于所述显示屏幕上；
其中，所述采集目标区域的信息，还包括：
接收用户输入的第三指令，其中，所述第三指令为响应用户触摸或按压所述交互接口而产生的，或响应用户的所述第一眼球运动状态而产生的，又或根据用户的语音信息产生的；
根据所述第三指令进入翻译模式，且在所述翻译模式中：
跟踪用户的眼球；
根据用户的眼球运动状态选择所述显示屏幕上显示的至少部分信息：在检测到用户的第二眼球运动状态时，在所述显示屏幕的用户眼球注视的位置上显示光标；
按照设定规则在所述显示屏幕上移动所述光标；
在检测到用户的第三眼球运动状态时，停止移动所述光标，并获取所述显示屏幕上显示的位于所述光标的开始位置与停止位置之间的信息；
所述第二眼球运动状态为在设定时间内眨眼次数为第一设定值；所述第三眼球运动状态为在设定时间内眨眼次数为第二设定值，所述第一设定值和第二设定值相同；
翻译选择的所述至少部分信息，并将翻译结果显示在所述显示屏幕上。
2.一种智能眼镜，其特征在于，所述智能眼镜包括处理器、采集器、显示屏幕、交互接口及存储器，所述处理器连接所述采集器、所述显示屏幕及所述存储器；
所述采集器用于采集目标区域的信息：在检测到所述目标区域存在文字信息时，采集所述目标区域的所述文字信息；
所述存储器用于存储计算机程序；
所述处理器执行所述计算机程序，用于：
将所述目标区域的信息显示在所述显示屏幕上，包括：将所述目标区域的信息显示在所述智能眼镜的显示屏幕上，包括：将所述目标区域的信息按照信息结构划分为顺序排列的第一区域，第二区域和第三区域；
当所述智能眼镜追踪到用户的凝视坐标在所述第一区域时，所述智能眼镜把所述第一区域显示在所述显示屏幕上，当所述智能眼镜追踪到用户的所述凝视坐标位于所述第一区域最后几个字符，或者位于所述第一区域的右下角的位置时，所述智能眼镜把第二区域显示在所述显示屏幕上，依次类推地显示第三区域；
跟踪用户的眼球；
根据用户的第一眼球运动状态选择所述显示屏幕上显示的至少部分信息；
响应用户触摸或按压所述交互接口而产生第一指令；
根据所述第一指令对所述显示屏幕上的显示信息进行处理，所述处理包括翻译、保存、复制、发送；
其中，在所述根据所述第一指令对选择的所述至少部分信息进行处理之后，还包括：
保存进行所述处理的信息作为处理记录；
响应用户触摸或按压所述智能眼镜的交互接口而产生第二指令；
在所述处理记录中查找与所述第二指令匹配的信息，并将所述匹配的信息显示于所述显示屏幕上；
其中，所述采集目标区域的信息，还包括：
接收用户输入的第三指令，其中，所述第三指令为响应用户触摸或按压所述交互接口而产生的，或响应用户的所述第一眼球运动状态而产生的，又或根据用户的语音信息产生的；
根据所述第三指令进入翻译模式，且在所述翻译模式中：
跟踪用户的眼球；
根据用户的眼球运动状态选择所述显示屏幕上显示的至少部分信息：在检测到用户的第二眼球运动状态时，在所述显示屏幕的用户眼球注视的位置上显示光标；
按照设定规则在所述显示屏幕上移动所述光标；在检测到用户的第三眼球运动状态时，停止移动所述光标，并获取所述显示屏幕上显示的位于所述光标的开始位置与停止位置之间的信息；
所述第二眼球运动状态为在设定时间内眨眼次数为第一设定值；所述第三眼球运动状态为在设定时间内眨眼次数为第二设定值，所述第一设定值和第二设定值相同或者不同；
翻译选择的所述至少部分信息，并将翻译结果显示在所述显示屏幕上。
3.根据权利要求2所述的智能眼镜，其特征在于，所述交互接口为触摸屏，所述交互接口设置在所述智能眼镜的眼镜架上；
所述采集器为摄像头；
所述智能眼镜还包括收发器，用于将所述显示屏幕上的显示信息发送至外部终端设备。
4.一种存储装置，其特征在于，存储有程序数据，所述程序数据能够被执行以实现如权利要求1所述的方法。
CN201710545893.1A 2017-07-06 2017-07-06 一种交互方法及其智能眼镜和存储装置 Active CN107479691B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710545893.1A CN107479691B (zh) 2017-07-06 2017-07-06 一种交互方法及其智能眼镜和存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710545893.1A CN107479691B (zh) 2017-07-06 2017-07-06 一种交互方法及其智能眼镜和存储装置

Publications (2)

Publication Number Publication Date
CN107479691A CN107479691A (zh) 2017-12-15
CN107479691B true CN107479691B (zh) 2021-01-08

Family

ID=60595454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710545893.1A Active CN107479691B (zh) 2017-07-06 2017-07-06 一种交互方法及其智能眼镜和存储装置

Country Status (1)

Country Link
CN (1) CN107479691B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108471486B (zh) * 2018-03-09 2019-10-18 浙江工业大学 一种适用于电子助视器的智能阅读操作方法及装置
TWI672541B (zh) * 2018-06-15 2019-09-21 群邁通訊股份有限公司 智慧眼鏡
CN109598003B (zh) * 2018-12-17 2022-12-16 深圳市传智科技有限公司 一种ar翻译装置及方法
CN110188364B (zh) * 2019-05-24 2023-11-24 宜视智能科技（苏州）有限公司 基于智能眼镜的翻译方法、设备及计算机可读存储介质
CN110673729A (zh) * 2019-09-24 2020-01-10 广东以诺通讯有限公司 一种基于终端的点读方法、系统及存储介质
CN110727349B (zh) * 2019-09-29 2023-11-21 光感(上海)科技有限公司 一种人机交互方法及基于骨传导交互的ar眼镜
CN111007972A (zh) * 2019-12-03 2020-04-14 芋头科技（杭州）有限公司 一种智能眼镜及其控制方法
CN111625089B (zh) * 2020-04-28 2024-04-16 宇龙计算机通信科技(深圳)有限公司 智能眼镜控制方法、装置、存储介质及智能眼镜
CN112230536A (zh) * 2020-10-30 2021-01-15 山东新一代信息产业技术研究院有限公司 一种基于5g的智能手表和ar眼镜结合的穿戴设备
CN115617179A (zh) * 2022-12-01 2023-01-17 三亚航空旅游职业学院 一种实时翻译及提示ar/vr眼镜及其工作方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07160428A (ja) * 1993-12-08 1995-06-23 Hitachi Ltd 座標入力システム
CN103529933A (zh) * 2012-07-05 2014-01-22 华硕电脑股份有限公司 眼动操控方法及系统
CN104301709A (zh) * 2013-07-15 2015-01-21 Lg电子株式会社 眼镜型便携式设备及其信息投影面搜索方法
CN104750678A (zh) * 2015-04-19 2015-07-01 王学庆 一种图像文本识别翻译眼镜及方法
CN204463265U (zh) * 2015-02-04 2015-07-08 李炘 一种一体化多功能接待的人工智能前台系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07160428A (ja) * 1993-12-08 1995-06-23 Hitachi Ltd 座標入力システム
CN103529933A (zh) * 2012-07-05 2014-01-22 华硕电脑股份有限公司 眼动操控方法及系统
CN104301709A (zh) * 2013-07-15 2015-01-21 Lg电子株式会社 眼镜型便携式设备及其信息投影面搜索方法
CN204463265U (zh) * 2015-02-04 2015-07-08 李炘 一种一体化多功能接待的人工智能前台系统
CN104750678A (zh) * 2015-04-19 2015-07-01 王学庆 一种图像文本识别翻译眼镜及方法

Also Published As

Publication number Publication date
CN107479691A (zh) 2017-12-15

Similar Documents

Publication Publication Date Title
CN107479691B (zh) 一种交互方法及其智能眼镜和存储装置
KR102411768B1 (ko) 헤드 마운트 디스플레이를 위한 3차원 사용자 인터페이스
RU2638004C2 (ru) Устройство обработки информации, способ управления отображением и программа
EP2813922B1 (en) Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device
KR20230106727A (ko) 시선-기반 사용자 상호작용
US11164546B2 (en) HMD device and method for controlling same
CN110546601B (zh) 信息处理装置、信息处理方法和程序
EP4246287A1 (en) Method and system for displaying virtual prop in real environment image, and storage medium
CN110968187B (zh) 由外围设备启用的远程触摸检测
CN111970456B (zh) 拍摄控制方法、装置、设备及存储介质
US11314396B2 (en) Selecting a text input field using eye gaze
US20210303107A1 (en) Devices, methods, and graphical user interfaces for gaze-based navigation
CN111736691A (zh) 头戴显示设备的交互方法、装置、终端设备及存储介质
US20220221970A1 (en) User interface modification
JP2016177658A (ja) 仮想入力装置、入力方法、およびプログラム
CN106257394B (zh) 用于头戴显示器的三维用户界面
US9791932B2 (en) Semaphore gesture for human-machine interface
CN111782053B (zh) 模型编辑方法、装置、设备及存储介质
KR102312601B1 (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
EP3088991B1 (en) Wearable device and method for enabling user interaction
US20240152256A1 (en) Devices, Methods, and Graphical User Interfaces for Tabbed Browsing in Three-Dimensional Environments
US20240103681A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments
Guo et al. Synchronous mixed reality (SMR): A personalized virtual‐real fusion framework with high immersion and effective interaction
Shoaei Shirehjini Smartphones as Visual Prosthesis
KR20210125465A (ko) 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant