CN111625089B - 智能眼镜控制方法、装置、存储介质及智能眼镜 - Google Patents
智能眼镜控制方法、装置、存储介质及智能眼镜 Download PDFInfo
- Publication number
- CN111625089B CN111625089B CN202010352025.3A CN202010352025A CN111625089B CN 111625089 B CN111625089 B CN 111625089B CN 202010352025 A CN202010352025 A CN 202010352025A CN 111625089 B CN111625089 B CN 111625089B
- Authority
- CN
- China
- Prior art keywords
- operation instruction
- eye
- eye movement
- display interface
- current display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000011521 glass Substances 0.000 title claims abstract description 80
- 238000000034 method Methods 0.000 title claims abstract description 68
- 230000004424 eye movement Effects 0.000 claims abstract description 105
- 230000009471 action Effects 0.000 claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 61
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 21
- 230000004044 response Effects 0.000 claims description 27
- 239000004984 smart glass Substances 0.000 claims description 22
- 238000012790 confirmation Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000003111 delayed effect Effects 0.000 claims description 4
- 230000003993 interaction Effects 0.000 abstract description 26
- 230000008569 process Effects 0.000 abstract description 14
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请实施例公开了一种智能眼镜控制方法、装置、存储介质及智能眼镜，其中，所述方法包括：采用历史数据训练人工智能算法，生成训练结果，所述历史数据包括多个历史眼部动作以及各个所述历史眼部动作分别对应的操作指令；获取当前显示界面上的第一眼部动作信息；将所述第一眼部动作信息输入至所述训练结果中，获取所述第一眼部动作信息对应的第一操作指令，并在所述当前显示界面响应所述第一操作指令。采用所述方法可以大大缩减智能眼镜人机交互过程中的眼动次数，提高交互流畅性，同时能够避免频繁的眼部动作给用户带来的疲劳感。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种智能眼镜控制方法、装置、存储介质及智能眼镜。
背景技术
增强现实(Augmented Reality，简称AR)是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，其不仅可以展现出真实世界的信息，而且能将虚拟的信息同时显示出来，两种信息相互补充、叠加。
对于智能眼镜(如AR眼镜)，用户眼部与眼镜界面的光标联动后，通过眼部移动可以实现交互控制，而目前的交互控制方法都需要用户经过多次眼部移动才能将光标移动至操作位置，频繁的多次眼部移动易造成用户眼部疲劳，且该交互方式流畅性较差。
发明内容
本申请实施例提供了一种智能眼镜控制方法、装置、存储介质及智能眼镜，可以解决上述多次眼部移动易造成眼部疲劳、交互不流畅的问题。所述技术方案如下：
第一方面，本申请实施例提供了一种智能眼镜控制方法，所述方法包括：
采用历史数据训练人工智能算法，生成训练结果，所述历史数据包括多个历史眼部动作以及各个所述历史眼部动作分别对应的操作指令；
获取当前显示界面上的第一眼部动作信息；
将所述第一眼部动作信息输入至所述训练结果中，获取所述第一眼部动作信息对应的第一操作指令，并在所述当前显示界面响应所述第一操作指令。
第二方面，本申请实施例提供了一种智能眼镜控制装置，所述装置包括：
训练模块，用于采用历史数据训练人工智能算法，生成训练结果，所述历史数据包括多个历史眼部动作以及各个所述历史眼部动作分别对应的操作指令；
眼部动作信息获取模块，用于获取当前显示界面上的第一眼部动作信息；
操作指令响应模块，用于将所述第一眼部动作信息输入至所述训练结果中，获取所述第一眼部动作信息对应的第一操作指令，并在所述当前显示界面响应所述第一操作指令。
第三方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一项方法的步骤。
第四方面，本申请实施例提供了一种智能眼镜，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一项方法的步骤。
本申请一些实施例提供的技术方案带来的有益效果至少包括：
本申请实施例提供的智能眼镜控制方法，采用人工智能算法对历史眼部控制智能眼镜的交互过程进行学习，获得训练结果；智能眼镜获取当前显示界面上的第一眼部动作信息并通过训练好的算法获得所述第一眼部动作对应的操作指令，以及在当前显示界面对所述第一眼部动作对应的操作指令进行响应。所述方法无需用户经过多次的眼部动作才能完成与智能眼镜的人机交互，而是在用户做出第一眼部动作时，就基于训练好的人工智能算法获得所述第一眼部动作对应的操作指令，并在当前显示界面对该操作指令进行响应，完成交互。通过所述方法可以大大缩减智能眼镜人机交互过程中的眼动次数，提高交互流畅性，同时能够避免频繁的眼部动作给用户带来的疲劳感。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种智能眼镜控制方法的流程示意图；
图2是本申请实施例提供的一种智能眼镜控制方法的流程示意图；
图3是本申请实施例提供的一种智能眼镜控制方法的流程示意图；
图4是本申请实施例提供的一种智能眼镜控制装置的结构示意图；
图5是本申请实施例提供的一种智能眼镜控制装置的结构示意图；
图6是本申请实施例提供的一种智能眼镜控制装置的结构示意图；
图7是本申请实施例提供的一种智能眼镜结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施例方式作进一步地详细描述。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
下面将结合附图1-附图3，对本申请实施例提供的智能眼镜控制方法进行详细介绍。
请参见图1，为本申请实施例提供的一种智能眼镜控制方法的流程示意图。
如图1所示，本申请实施例的所述方法可以包括以下步骤：
S101，采用历史数据训练人工智能算法，生成训练结果，所述历史数据包括多个历史眼部动作以及各个所述历史眼部动作分别对应的操作指令。
本实施例利用训练好的人工智能算法来获取用户的第一眼部动作在当前显示界面对应的操作指令，指令获取结果更准确。
具体的，采用记录的多个历史眼部动以及各个所述历史眼部动作分别对应的操作指令训练人工智能算法，生成训练结果。其中，所述人工智能算法可以是任意一款能够对历史数据进行学习的算法，例如神经网络等；所采用的历史数据包括但不限于同一显示界面下不同眼部动作分别对应的操作指令，以及不同显示界面下同一眼部动作分别对应的操作指令等。
对人工智能算法进行训练时，人工智能算法的准确度达到准确率阈值时，即可视为训练完成。
S102，获取当前显示界面上的第一眼部动作信息。
智能眼镜拥有独立的操作系统，是各类可穿戴眼镜设备的统称，其可以通过软件安装来实现各种功能，如录像、通讯、导航、天气查询等功能。
智能眼镜的镜面即为显示界面，将用户的眼部与智能眼镜显示界面上的光标进行联动，光标移动与用户眼部动作同步。默认智能眼镜开启时光标位于显示界面的中心位置，当用户眼部做移动动作时，光标将跟随眼部在显示界面做同步移动。
所述当前显示界面可以是智能眼镜的主界面、导航应用界面或者音频播放界面等，当前界面上用户所做的第一眼部动作可以是眨眼、移动、盯等动作，以眼部移动为例，当用户需要将光标从当前显示界面的中心位置移动至该界面的右上角点击某按钮时，眼部可能需要向右上方连续移动两次甚至更多次，此过程中，眼部向右上方的第一次移动动作即为第一眼部动作。
S103，将所述第一眼部动作信息输入至所述训练结果中，获取所述第一眼部动作信息对应的第一操作指令，并在所述当前显示界面响应所述第一操作指令。
本实施例在获取到用户的第一眼部动作后，即对该眼部动作对应的操作指令进行判断，训练结果基于对历史数据的学习输出第一眼部动作对应的第一操作指令，并在当前显示界面进行响应。
例如，当前显示界面的右上角为界面关闭按钮，智能眼镜获取到用户的第一眼部动作为向右上方移动，训练结果根据向右上方移动的动作输出该眼部动作对应的操作指令为界面关闭指令，在当前显示界面智能眼镜控制对该指令进行响应，关闭当前显示界面。
本申请实施例提供的智能眼镜控制方法，采用人工智能算法对历史眼部控制智能眼镜的交互过程进行学习，获得训练结果；智能眼镜获取当前显示界面上的第一眼部动作信息并通过训练好的算法获得所述第一眼部动作对应的操作指令，以及在当前显示界面对所述第一眼部动作对应的操作指令进行响应。所述方法无需用户经过多次的眼部动作才能完成与智能眼镜的人机交互，而是在用户做出第一眼部动作时，就基于训练好的人工智能算法获得所述第一眼部动作对应的操作指令，并在当前显示界面对该操作指令进行响应，完成交互。通过所述方法可以大大缩减智能眼镜人机交互过程中的眼动次数，提高交互流畅性，同时能够避免频繁的眼部动作给用户带来的疲劳感。
请参见图2，为本申请实施例提供的一种智能眼镜控制方法的流程示意图。
如图2所示，本申请实施例的所述方法可以包括以下步骤：
S201，采用历史数据训练人工智能算法，生成训练结果，所述历史数据包括多个历史眼部动作以及各个所述历史眼部动作分别对应的操作指令。
本步骤具体可参见步骤S101，此处不再赘述。
S202，获取当前显示界面上的第一眼部动作信息。
本步骤具体可参见步骤S102，此处不再赘述。
S203，将所述第一眼部动作信息输入至所述训练结果中，获取所述第一眼部动作信息对应的第一操作指令，输出界面操作提示信息。
训练结果基于对历史数据的学习输出第一眼部动作对应的第一操作指令，并在当前显示界面输出界面操作提示信息。所述界面操作提示信息包括通过算法获取到的第一操作指令以及是否执行所述第一操作指令的选项。所述界面操作提示信息在以文本显示的基础上还可以结合振动、语音等形式。
根据用户的不同选择执行步骤S204或步骤S205或步骤S207。
S204，接收针对所述界面操作提示信息输入的确认指令，并在所述当前显示界面响应所述第一操作指令。
当用户输入确认指令时，表明通过算法获取到的第一操作指令正确，智能眼镜在当前显示界面对所述第一操作指令进行响应。
确认指令可以通过语音、触控或者特定眼部动作等方式输入。其中，特定眼部动作例如可以是连续眨眼、眼部在确认选项上停留一定时长等。
S205，接收针对所述界面操作提示信息输入的否认指令，获取所述当前显示界面上的第二眼部动作信息，所述第二眼部动作与所述第一眼部动作为连贯动作，且所述第二眼部动作在时间上滞后于所述第一眼部动作。
依然以眼部移动为例，当用户需要将光标从当前显示界面的中心位置移动至该界面的右上角点击某按钮时，眼部可能需要向右上方连续移动两次甚至更多次，此过程中，眼部向右上方的第一次移动动作即为第一眼部动作，眼部向右上方的第二次移动动作即为第二眼部动作，第二眼部动作为第一眼部动作的连贯/连续动作，紧跟所述第一眼部动作之后。通过进一步获取用户的第二眼部动作可以更精准地确定用户想要执行的操作。
基于历史数据生成的训练结果，其输出的操作指令可能与实际需求有一定的出入，例如，当前显示界面的右上方包含界面关闭按钮以及界面缩小按钮，眼部控制光标从显示界面的中心移至右上角时需要通过至少两次眼部移动才能完成(即至少包括第一眼部动作与第二眼部动作)，算法基于历史输出所述第一眼部动作对应的操作指令为界面关闭指令，而用户当前的实际需求为缩小界面，此时，根据用户在界面操作提示信息窗口输入的否认指令，智能眼镜将继续获取第二眼部动作，并执行下一步骤。
S206，将所述第二眼部动作信息输入至所述训练结果中，获取所述第二眼部动作信息对应的第二操作指令，并在所述当前显示界面响应所述第二操作指令。
通过算法获取第二眼部动作对应的第二操作指令并在所述当前显示界面进行响应。
同步骤S203一样，通过算法获取到第二眼部动作对应的第二操作指令之后，智能眼镜还可以继续向用户输出界面操作提示信息，根据用户输入的指令确定是对第二操作指令进行响应还是继续获取第三眼部动作。
S207，接收针对所述界面操作提示信息输入的关闭指令，关闭所述提示信息。
可选实施例中，所述界面操作提示信息还包括关闭按钮，所述关闭按钮用于关闭界面操作提示信息窗口。关闭界面操作提示信息窗口后，智能眼镜将不再针对后续的眼部动作获取相应的操作指令，以确保用户眼部可正常视物，视线不被干扰。
本实施例提供的智能眼镜控制方法，采用人工智能算法对历史眼部控制智能眼镜的交互过程进行学习，获得训练结果；通过训练好的算法获取用户在当前显示界面输入的第一眼部动作对应的操作指令，以及根据用户针对界面操作提示信息输入的确认指令在当前显示界面响应第一眼部动作对应的操作指令。特别的，当通过算法获取的第一眼部动作对应的操作指令非用户当前所要执行的操作时，智能眼镜将继续获取第二眼部动作，并重复上述步骤。所述方法无需用户经过多次的眼部动作才能完成与智能眼镜的人机交互，而是在用户做出第一眼部动作时，就基于训练好的人工智能算法获得所述第一眼部动作对应的操作指令，并在用户确定执行该操作指令时在当前显示界面对该操作指令进行响应，完成交互。通过所述方法可以大大缩减智能眼镜人机交互过程中的眼动次数，提高交互流畅性，同时能够避免频繁的眼部动作给用户带来的疲劳感。
请参见图3，为本申请实施例提供的一种智能眼镜控制方法的流程示意图。
如图3所示，本申请实施例的所述方法可以包括以下步骤：
S301，采用历史数据训练人工智能算法，生成训练结果，所述历史数据包括多个历史眼部动作、各个所述历史眼部动作分别对应的操作指令以及各个所述历史眼部动作分别对应的操作指令的响应时间。
本实施例利用训练好的人工智能算法来获取用户的第一眼部动作在当前显示界面对应的操作指令，指令获取结果更准确。
具体的，采用记录的多个历史眼部动、各个所述历史眼部动作分别对应的操作指令以及各个所述历史眼部动作分别对应的操作指令的响应时间训练人工智能算法，生成训练结果。其中，所述人工智能算法可以是任意一款能够对历史数据进行学习的算法，例如神经网络等；所采用的历史数据包括但不限于同一显示界面下不同眼部动作分别对应的操作指令，以及不同显示界面下同一眼部动作分别对应的操作指令等。根据各个操作指令的响应时间训练人工智能算法可以更好地获得指令之间的关联性。
对人工智能算法进行训练时，人工智能算法的准确度达到准确率阈值时，即可视为训练完成。
S302，获取当前显示界面上的第一眼部动作信息。
智能眼镜拥有独立的操作系统，是各类可穿戴眼镜设备的统称，其可以通过软件安装来实现各种功能，如录像、通讯、导航、天气查询等功能。
智能眼镜的镜面即为显示界面，将用户的眼部与智能眼镜显示界面上的光标进行联动，光标移动与用户眼部动作同步。默认智能眼镜开启时光标位于显示界面的中心位置，当用户眼部做移动动作时，光标将跟随眼部在显示界面做同步移动。
所述当前显示界面可以是智能眼镜的主界面、导航应用界面或者音频播放界面等，当前界面上用户所做的第一眼部动作可以是眨眼、移动、盯等动作，以眼部移动为例，当用户需要将光标从当前显示界面的中心位置移动至该界面的右上角点击某按钮时，眼部可能需要向右上方连续移动两次甚至更多次，此过程中，眼部向右上方的第一次移动动作即为第一眼部动作。
S303，将所述第一眼部动作信息输入至所述训练结果中，获取所述第一眼部动作信息对应的第一操作指令，并在所述当前显示界面响应所述第一操作指令。
本实施例在获取到用户的第一眼部动作后，即对该眼部动作对应的操作指令进行判断，训练结果基于对历史数据的学习输出第一眼部动作对应的第一操作指令，并在当前显示界面进行响应。
S304，通过所述训练结果获取与所述第一操作指令相关联的关联操作指令，以及所述关联操作指令的响应时间。
在对第一操作指令响应后，智能眼镜还可以通过训练结果获取到与所述第一操作指令存在关联性的关联操作指令，当存在相关联的操作指令时，执行下一步骤。其中，关联是指两个事物之间相互有联系，操作指令之间可能存在一定的规律性，关联可以是内容关联、时间关联或者流程关联。
例如用户总在特定时间1启动应用a，并在特定时间2关闭应用a，那么这就形成了同一内容时间上的关联；或者用户总在特定时间2关闭应用a的同时打开应用b，那么这就形成了不同内容流程上的关联，即切换规律。
S305，在当前时间到达所述响应时间时，在所述当前显示界面响应所述关联操作指令。
例如，历史数据中，用户总在特定时间1通过眼部动作A启动应用a，并在特定时间2通过眼部动作B关闭应用a，那么基于该规律，若用户在当前显示界面上的第一眼部动作与眼部动作A相同，且两者时间上也保持一致，智能眼镜将控制应用a启动，并在到达特定时间2时控制关闭所述应用a。
本申请实施例提供的智能眼镜控制方法，在当前显示界面对第一操作指令进行响应后，还可以继续所述第一操作指令的关联操作指令信息，并待当前时间到达所述关联操作指令的响应时间时，在所述当前显示界面对所述关联操作指令进行响应。本实施例无需用户经过多次的眼部动作才能完成与智能眼镜的人机交互，而是在用户做出第一眼部动作时，就对所述第一眼部动作对应的操作指令进行判断，当确定出所述第一眼部动作对应的操作指令时，即在当前显示界面对该操作指令进行响应，通过所述方法可以大大缩短眼部控制智能眼镜的交互过程，提高交互流畅性，同时能够避免频繁的眼部动作给用户带来的疲劳感；此外，学习各个操作指令之间的关联性可以使智能眼镜更好地了解用户的使用习惯，适时响应对应的操作指令也更进一步地减少了用户的眼部动作。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参见图4，为本申请一个示例性实施例提供的智能眼镜控制装置的结构示意图。该智能眼镜控制装置可以通过软件、硬件或者两者的结合实现成为智能眼镜的全部或一部分，还可以作为独立的模块集成于服务器上。本申请实施例中的智能眼镜控制装置应用于智能眼镜，所述该装置1包括训练模块10、眼部动作信息获取模块11和操作指令响应模块12，其中：
训练模块10，用于采用历史数据训练人工智能算法，生成训练结果，所述历史数据包括多个历史眼部动作以及各个所述历史眼部动作分别对应的操作指令；
眼部动作信息获取模块11，用于获取当前显示界面上的第一眼部动作信息；
操作指令响应模块12，用于确定所述第一眼部动作信息对应的第一操作指令，并在所述当前显示界面响应所述第一操作指令。
请参见图5，为本申请一个示例性实施例提供的智能眼镜控制装置的结构示意图。
可选的，如图5所示，本申请实施例提供的所述智能眼镜控制装置1还包括：
所述操作指令响应模块12包括：
第一操作指令获取单元121，用于将所述第一眼部动作信息输入至所述训练结果中，获取所述第一眼部动作信息对应的第一操作指令；
提示信息输出单元122，用于输出界面操作提示信息；
第一操作指令响应单元123，用于接收针对所述界面操作提示信息输入的确认指令，并在所述当前显示界面响应所述第一操作指令；
第二操作指令获取单元124，接收针对所述界面操作提示信息输入的否认指令，获取所述当前显示界面上的第二眼部动作信息，所述第二眼部动作与所述第一眼部动作为连贯动作，且所述第二眼部动作在时间上滞后于所述第一眼部动作；
第二操作指令响应单元125，将所述第二眼部动作信息输入至所述训练结果中，获取所述第二眼部动作信息对应的第二操作指令，并在所述当前显示界面响应所述第二操作指令；
提示信息关闭单元126，接收针对所述界面操作提示信息输入的关闭指令，关闭所述提示信息。
请参见图6，为本申请一个示例性实施例提供的智能眼镜控制装置的结构示意图。
可选的，如图6所示，本申请实施例提供的所述智能眼镜控制装置1中的训练模块10具体用于：
采用历史数据训练人工智能算法，生成训练结果，所述历史数据包括多个历史眼部动作、各个所述历史眼部动作分别对应的操作指令以及各个所述历史眼部动作分别对应的操作指令的响应时间
所述装置1中的操作指令响应模块12包括：
关联操作指令信息获取单元127，用于通过所述训练结果获取与所述第一操作指令相关联的关联操作指令，以及所述关联操作指令的响应时间；
关联操作指令响应单元128，用于在当前时间到达所述响应时间时，在所述当前显示界面响应所述关联操作指令。
需要说明的是，上述实施例提供的智能眼镜控制装置在执行智能眼镜控制方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的智能眼镜控制装置与智能眼镜控制方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本申请实施例提供的智能眼镜控制装置，采用人工智能算法对历史眼部控制智能眼镜的交互过程进行学习，获得训练结果；智能眼镜获取当前显示界面上的第一眼部动作信息并通过训练好的算法获得所述第一眼部动作对应的操作指令，以及在当前显示界面对所述第一眼部动作对应的操作指令进行响应。所述方法无需用户经过多次的眼部动作才能完成与智能眼镜的人机交互，而是在用户做出第一眼部动作时，就基于训练好的人工智能算法获得所述第一眼部动作对应的操作指令，并在当前显示界面对该操作指令进行响应，完成交互。通过所述方法可以大大缩减智能眼镜人机交互过程中的眼动次数，提高交互流畅性，同时能够避免频繁的眼部动作给用户带来的疲劳感。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC)，或适合于存储指令和/或数据的任何类型的媒介或设备。
本申请实施例还提供了一种智能眼镜，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述任一实施例方法的步骤。
请参见图7，为本申请实施例提供的一种智能眼镜结构框图。
如图7所示，智能眼镜100包括有：处理器701和存储器702。
本申请实施例中，处理器701为计算机系统的控制中心，可以是实体机的处理器，也可以是虚拟机的处理器。处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable LogicArray，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(CentralProcessing Unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在本申请的一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本申请实施例中的方法。
一些实施例中，智能眼镜100还包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：显示屏704、摄像头705和音频电路706中的至少一种。
外围设备接口703可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在本申请的一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在本申请的一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现。本申请实施例对此不作具体限定。
显示系统704通常由微型显示屏和光学元件组成。概括来说，所述显示系统704就是各种微型显示屏和棱镜、自由曲面、BirdBath、光波导等光学元件的组合。所述微型显示屏用于为所述智能眼镜100提供显示内容，它可以是自发光的有源器件，比如发光二极管面板micro-OLED、micro-LED，也可以是需要外部光源照明的液晶显示屏(包括透射式的LCD和反射式的LCOS)，还有基于微机电系统(MEMS)技术的数字微镜阵列(DMD，即DLP的核心)和激光束扫描仪(LBS)。
摄像头705用于采集图像或视频。可选地，摄像头705包括前置摄像头和后置摄像头。通常，前置摄像头设置在智能眼镜的前面板，后置摄像头设置在智能眼镜的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在本申请的一些实施例中，摄像头705还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路706可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器701进行处理。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在智能眼镜100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。
电源707用于为智能眼镜100中的各个组件进行供电。电源707可以是交流电、直流电、一次性电池或可充电电池。当电源707包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
本申请实施例中示出的智能眼镜结构框图并不构成对智能眼镜100的限定，智能眼镜100可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在本申请中，术语“第一”、“第二”等仅用于描述的目的，而不能理解为指示或暗示相对重要性或顺序；术语“多个”则指两个或两个以上，除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
本申请的描述中，需要理解的是，术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或单元必须具有特定的方向、以特定的方位构造和操作，因此，不能理解为对本申请的限制。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (9)
1.一种智能眼镜控制方法，其特征在于，所述方法包括：
采用历史数据训练人工智能算法，生成训练结果，所述历史数据包括多个历史眼部动作以及各个所述历史眼部动作分别对应的操作指令；
获取当前显示界面上的第一眼部动作信息；
将所述第一眼部动作信息输入至所述训练结果中，获取所述第一眼部动作信息对应的第一操作指令，并在所述当前显示界面响应所述第一操作指令；
所述历史数据还包括各个所述历史眼部动作分别对应的操作指令的响应时间；
所述在所述当前显示界面响应所述第一操作指令之后，还包括：
通过所述训练结果获取与所述第一操作指令相关联的关联操作指令，以及所述关联操作指令的响应时间；
在当前时间到达所述响应时间时，在所述当前显示界面响应所述关联操作指令；其中，所述关联为内容关联、时间关联或者流程关联中的任意一项。
2.根据权利要求1所述的方法，其特征在于，所述在所述当前显示界面响应所述第一操作指令，包括：
输出界面操作提示信息；
接收针对所述界面操作提示信息输入的确认指令，并在所述当前显示界面响应所述第一操作指令。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
接收针对所述界面操作提示信息输入的否认指令，获取所述当前显示界面上的第二眼部动作信息，所述第二眼部动作与所述第一眼部动作为连贯动作，且所述第二眼部动作在时间上滞后于所述第一眼部动作；
将所述第二眼部动作信息输入至所述训练结果中，获取所述第二眼部动作信息对应的第二操作指令，并在所述当前显示界面响应所述第二操作指令。
4.根据权利要求2所述的方法，其特征在于，所述方法还包括：
接收针对所述界面操作提示信息输入的关闭指令，关闭所述提示信息。
5.一种智能眼镜控制装置，其特征在于，所述装置包括：
训练模块，用于采用历史数据训练人工智能算法，生成训练结果，所述历史数据包括多个历史眼部动作以及各个所述历史眼部动作分别对应的操作指令；
眼部动作信息获取模块，用于获取当前显示界面上的第一眼部动作信息；
操作指令响应模块，用于将所述第一眼部动作信息输入至所述训练结果中，获取所述第一眼部动作信息对应的第一操作指令，并在所述当前显示界面响应所述第一操作指令；
所述操作指令响应模块包括：
关联操作指令信息获取单元，用于通过所述训练结果获取与所述第一操作指令相关联的关联操作指令，以及所述关联操作指令的响应时间；
关联操作指令响应单元，用于在当前时间到达所述响应时间时，在所述当前显示界面响应所述关联操作指令；其中，所述关联为内容关联、时间关联或者流程关联中的任意一项。
6.根据权利要求5所述的装置，其特征在于，所述操作指令响应模块具体用于：
将所述第一眼部动作信息输入至所述训练结果中，获取所述第一眼部动作信息对应的第一操作指令，输出界面操作提示信息；
接收针对所述界面操作提示信息输入的确认指令，并在所述当前显示界面响应所述第一操作指令。
7.根据权利要求6所述的装置，其特征在于，所述操作指令响应模块具体用于：
接收针对所述界面操作提示信息输入的否认指令，获取所述当前显示界面上的第二眼部动作信息，所述第二眼部动作与所述第一眼部动作为连贯动作，且所述第二眼部动作在时间上滞后于所述第一眼部动作；
将所述第二眼部动作信息输入至所述训练结果中，获取所述第二眼部动作信息对应的第二操作指令，并在所述当前显示界面响应所述第二操作指令。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述权利要求1-4中任一项所述方法的步骤。
9.一种智能眼镜，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现所述权利要求1-4中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010352025.3A CN111625089B (zh) | 2020-04-28 | 2020-04-28 | 智能眼镜控制方法、装置、存储介质及智能眼镜 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010352025.3A CN111625089B (zh) | 2020-04-28 | 2020-04-28 | 智能眼镜控制方法、装置、存储介质及智能眼镜 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111625089A CN111625089A (zh) | 2020-09-04 |
| CN111625089B true CN111625089B (zh) | 2024-04-16 |
Family
ID=72258134
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010352025.3A Active CN111625089B (zh) | 2020-04-28 | 2020-04-28 | 智能眼镜控制方法、装置、存储介质及智能眼镜 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111625089B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114327031A (zh) * | 2020-10-09 | 2022-04-12 | 广州视享科技有限公司 | Ar眼镜交互方法、装置、计算机可读存储介质及ar眼镜 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105573500A (zh) * | 2015-12-22 | 2016-05-11 | 王占奎 | 眼动控制的智能ar眼镜设备 |
| CN107479691A (zh) * | 2017-07-06 | 2017-12-15 | 捷开通讯(深圳)有限公司 | 一种交互方法及其智能眼镜和存储装置 |
| CN107608523A (zh) * | 2017-09-30 | 2018-01-19 | 广东欧珀移动通信有限公司 | 移动终端的控制方法、装置及存储介质和移动终端 |
| CN110442232A (zh) * | 2019-06-18 | 2019-11-12 | 中国人民解放军军事科学院国防科技创新研究院 | 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统 |
| CN110554768A (zh) * | 2018-05-31 | 2019-12-10 | 努比亚技术有限公司 | 一种智能穿戴设备控制方法、设备和计算机可读存储介质 |
-
2020
- 2020-04-28 CN CN202010352025.3A patent/CN111625089B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105573500A (zh) * | 2015-12-22 | 2016-05-11 | 王占奎 | 眼动控制的智能ar眼镜设备 |
| CN107479691A (zh) * | 2017-07-06 | 2017-12-15 | 捷开通讯(深圳)有限公司 | 一种交互方法及其智能眼镜和存储装置 |
| CN107608523A (zh) * | 2017-09-30 | 2018-01-19 | 广东欧珀移动通信有限公司 | 移动终端的控制方法、装置及存储介质和移动终端 |
| CN110554768A (zh) * | 2018-05-31 | 2019-12-10 | 努比亚技术有限公司 | 一种智能穿戴设备控制方法、设备和计算机可读存储介质 |
| CN110442232A (zh) * | 2019-06-18 | 2019-11-12 | 中国人民解放军军事科学院国防科技创新研究院 | 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111625089A (zh) | 2020-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9507426B2 (en) | Using the Z-axis in user interfaces for head mountable displays | |
| EP2813922B1 (en) | Visibility improvement method based on eye tracking, machine-readable storage medium and electronic device | |
| US9454288B2 (en) | One-dimensional to two-dimensional list navigation | |
| CN102591016B (zh) | 用于扩展现实显示的优化聚焦区 | |
| US9165381B2 (en) | Augmented books in a mixed reality environment | |
| CN102566756B (zh) | 用于扩展现实显示的基于理解力和意图的内容 | |
| JP6391685B2 (ja) | 仮想オブジェクトの方向付け及び可視化 | |
| US9342610B2 (en) | Portals: registered objects as virtualized, personalized displays | |
| US9618747B2 (en) | Head mounted display for viewing and creating a media file including omnidirectional image data and corresponding audio data | |
| CN102566049B (zh) | 用于扩展现实显示的自动可变虚拟焦点 | |
| US9122053B2 (en) | Realistic occlusion for a head mounted augmented reality display | |
| CN113709410B (zh) | 基于mr眼镜的人眼视觉能力增强的方法、系统及设备 | |
| US20150278737A1 (en) | Automatic Calendar Event Generation with Structured Data from Free-Form Speech | |
| US20160086382A1 (en) | Providing location occupancy analysis via a mixed reality device | |
| US9274599B1 (en) | Input detection | |
| US9146398B2 (en) | Providing electronic communications in a physical world | |
| CN105103082A (zh) | 由人触发的全息提醒 | |
| JP2016512626A (ja) | ウェアラブルな行動ベース視覚システム | |
| WO2013166365A1 (en) | Intelligent translations in personal see through display | |
| WO2013056187A1 (en) | User controlled real object disappearance in a mixed reality display | |
| WO2013155217A1 (en) | Realistic occlusion for a head mounted augmented reality display | |
| KR102218210B1 (ko) | 가상 오브젝트의 처리가 가능한 스마트 안경 | |
| WO2019026616A1 (ja) | 情報処理装置および方法 | |
| US20200209624A1 (en) | Visual indicators of user attention in ar/vr environment | |
| KR102218207B1 (ko) | 가상 오브젝트의 처리가 가능한 스마트 안경 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |