CN112034977A - Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 - Google Patents

Abstract

本发明属于近眼显示设备应用交互技术领域，公开了一种MR智能眼镜内容交互、信息输入、应用推荐技术的方法，判断用户是否处于精神游离状态；获取局部图像；根据图像分割处理结果为用户提供确认选择的视觉反馈；根据图像处理、理解的结果，推荐系统对应用通知图标进行相关度排序；将声带肌肉神经信号识别为语言文字，并将指令传入MR眼镜系统。本发明弥补了纯眼动和脑电波(脑机接口)交互的缺陷，对智能眼镜和交互技术的发展有着重要的意义，弥补国内外本领域的技术不足；本发明通过识别用户对任何事物产生的疑惑感觉并通过图像识别进行信息反馈解答用户疑惑的近眼显示设备，能够帮助用户更便捷地认识信息，了解信息和解答信息。

Description

MR智能眼镜内容交互、信息输入、应用推荐技术的方法

技术领域

本发明属于计算机技术领域，尤其涉及一种MR智能眼镜内容交互、信息输入、应用推荐技术的方法。具体涉及一种基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法、信息输入系统、具有皮肤表面捕捉语言神经肌肉信号捕获功能的HMD设备、近眼显示设备、可穿戴的交互界面、全新的应用入口。

背景技术

目前，业内常用的现有技术是这样的：全息影像的解释：全息影像是指在机器(近眼显示设备、智能眼镜)生成的虚拟对象通过智能眼镜的光学显示器看到的虚拟影像。交互式世界包含真实内容(与物理环境中的真实对象相关联)和虚拟内容的任何组合，在最普遍的意义上，修改现实技术可以产生这样一个互动的世界。

AR技术和MR技术提供了交互式世界，其包括作为基础的物理环境的展示，其中添加了任何类型的虚拟对象。虚拟对象可以包括文本，图标，视频，图形用户界面演示，静态场景元素，动画角色等。VR技术提供完全由虚拟内容组成的交互式世界。

近眼显示设备是一款集成眼动追踪技术、脑电波感应技术、图像识别技术与近眼光学成像等技术的智能设备，未来它能够代替手机成为新一代智能计算终端设备。它可以帮助人们在日常生活中便利地解决许多问题，它将成为人们离不开的智能工具。

在生活中，人们70％通过眼睛获取外界的信息，无时无刻都有着认知需求，例如这个东西是什么？这个产品怎么使用？这个产品效果怎么样？这个食物好不好吃？这是什么汽车品牌、什么性能？这么店铺的评价是什么？目前的现有技术以图搜图的图像识别技术(淘宝的拍立淘)已经可以实现对兴趣图片进行识别分析获取到相关的产品信息(例如产品价格、销量、评论等)，但是基于未来的智能眼镜在人眼前呈现这些大量的信息内容会造成较差的体验、以及过高的认知负荷和安全风险。体验差体现在目前的智能眼镜视场角很小，不能一起显示过多的信息，并且使人们在对关键信息进行视觉搜索时造成不必要的干扰信息；安全风险体现在过量的信息呈现会阻挡人的视线，造成人在行走过程中的安全隐患。因此智能眼镜不建议一次呈现过多信息。

当人们注视着眼前的事物时，单从眼球行为一个维度分析不能够确定用户是对这个物体感兴趣还是诱惑，甚至是目前的脑机接口技术，眼动追踪和脑机接口两个技术在单独使用的情况下都无法获得更加详细的心理活动状态，在没有用户输入详细信息的条件下，计算机无法得知用户具体的需求。例如，当人注视着一个食品产品时，计算机不知道用户是想获取食品的价格、还是加工原材料、还是网友评价、还是所含热量等信息。

目前AR/VR智能眼镜的交互技术有手势识别、语音识别、眼动追踪、脑机接口、控制手柄这几种交互技术，其中眼动追踪是其使用过程中最重要的交互方式之一。当然眼动追踪交互方式具有移动选择快、隐私性强、消耗体力少、方便快捷等无可取代的优势。当通过注视目标一定时长、双目眨眼、单目眨眼、眼球运动方向(眼球往上看、往左右看等)等一系列的眼睛行为与近眼显示设备或者显示器中所呈现的虚拟影像进行交互时(交互包括选择确认、点击、翻页滑动、属性弹出等，包括但不限于上述交互行为)需要人在主观意识层面上付出巨大的认知和精力去协调眼睛对近眼显示设备界面的交互。以上的交互方式不像是在使用鼠标在点击左右键的时候，人的主观意识不需要过多的参与到操作中来，而目前的眼动交互行为，例如眼睛眨眼“点击确定”需要人付出人的一定主观精力，并且影响视线，因此单纯的眼动追踪交互方式不是一个好的人机交互方式。

专利CN 104173063 A公开了一种视觉注意的检测方法及系统，其采用眼动追踪技术对眼球瞳孔进行跟踪检测，通过在视觉搜索过程中注意的变化引起瞳孔直径的变化来判断人实时的注意状态。

专利CN 108042145 A公开了情绪状态识别方法和系统、情绪状态识别设备，其通过计算脑电波的能量特征信息得到脑电放松度特征识别模型，对用户脑电信号进行识别获取放松度等级，从而确定用户的情绪状态。如今科技的发展，在军事领域出现了很多机械外骨骼装备，他们像“钢铁侠”战衣附着在人的体外，随着人的意念就可以与人的肢体动作协同进行操控，让人瞬间可以举起千斤巨石。机械外骨骼通过截获大脑发送至四肢的肌肉神经电信号，计算机将神经电信号翻译成机械外骨骼的控制信号，由此达到与人体运动行为一致的效果，达到辅助人体的作用。本发明专利以此类推，可以截获人的面部肌肉和声带肌肉的神经信号来翻译出人的语音。

综上所述，现有技术存在的问题是：

现有技术中，近眼显示设备的操作交互体验感性。

手势识别交互技术：在艺术创作(绘画、制作3D模型)、办公应用场景中，手势识别具有不错的体验。但是在平常的生活场景中，很难想象在等地铁的过程中，每个人张牙舞爪的操作着全息虚拟界面，这是很不现实的。这不仅违反人的习惯，而且还会造成个人信息的泄露。

语音识别交互技术：很难想象在等地铁的时候或者是公众场合通过语音识别来对计算机输入信息，这不仅可能会泄露隐私信息，并且对周围人也造成了干扰。对于很多性格内向的人，并不喜欢说话出声，语音识别的交互方式对这类人群的用户体验并不好；除此之外，监听:语音接口总是监听对话，当不需要的时候，只会在稍后被一个特定的触发词明显激活(例如-“hi，Siri”激活苹果助手，但应用程序仍然打开)；非个人设备:这些设备不是个人设备，任何其他用户都可以有意或无意地向这些设备发送有效的语音输入。目前的语音交互设备作为一种设备的可用性较低，用户不能随时随地使用语音界面，这在固定的专用语音设备(例如-亚马逊Echo)。此外，最佳语音识别(电信设备)需要用户接近设备。

脑机接口交互技术：脑机接口是未来最有效的人机交互方式，但是目前的人们对大脑的研究是有限且缓慢的，现在非侵入式脑机接口只能检测大脑皮质层的脑电波和人体神经网络的生物电，因此现在脑机接口交互技术不是很成熟，并不能读取人的思维和想法。

眼动追踪交互技术：对比于手势识别交互方式，眼动追踪交互的优势在于隐蔽性高而不失操作便捷，适用于对隐私由要求的应用场景。但是在目前的眼动交互是通过注视目标一定时长、双目眨眼、单目眨眼、眼球运动方向(眼球往上看、双面往中心看等)等一系列的眼睛行为与近眼显示设备中所呈现的虚拟影像进行交互时(交互包括选择确认、点击、翻页滑动、属性弹出)需要人在主观意识层面上付出巨大的认知和精力去协调眼睛对近眼显示设备界面的交互。对比纯眼动交互(注视目标一定时长、双目眨眼、单目眨眼、)体验不好以上的交互方式不像是在使用鼠标在点击左右键的时候，人的主观意识不需要过多的参与到操作中来，而目前的眼动交互行为，例如眼睛眨眼“点击确定”需要人付出人的主观精力。

综上所示，目前市场上在普通消费者日常生活场景下还没有出现一套舒适的AR/MR智能眼镜的人机交互方式，现有技术或设备无法帮助用户更便捷地认识信息，了解信息和解答信息。

解决上述技术问题的难度：目前AR/MR智能眼镜还处于发展的初期阶段，全球范围内的交互技术都还不是很成熟，因此目前的交互技术有着巨大的提升空间。

解决上述技术问题的意义：本发明的交互方案为：通过视线追踪技术获取用户正在注视的事物图像，计算机推荐与注视物体相关的应用、服务的通知标识，再通过获取语言肌肉神经信号(脑机接口技术)并解析为文字信息或者控制指令，再通过解析获得的控制指令与事物图像信息共同作用以达到对智能眼镜中全息影像内容进行交互控制。

其发明效果为：当用户正在远处充满兴趣的注视一个食品，这时用户心中可能存在着大量的认知需求，比如这个食品的价格、这个食品的加工原材料、还是网友评价、还是所含热量等等，然而目前的视线追踪和脑机接口两种输入交互技术都不能获得人大脑中更深入的想法。但是通过本发明专利可以达到的效果是当用户正在远处充满兴趣的注视一个食品时，食品外围出现几种相关的应用，同时心中默念交互指令(例如“价格”)，智能眼镜接收到人声带肌肉的神经信号时，智能眼镜将所述食品的价格信息影像呈现在食品旁边。

本发明基于未来为近眼显示设备-智能眼镜提出了全新的交互技术方案，其操作交互体验感更好，更符合人性。

有私密性：对比于手势识别交互方式，本发明的优势在于不需要张嘴说话，不需要实际出声，隐蔽性高而不失操作便捷，适用于对隐私由要求的应用场景。

交互指令更加明确：对比于现有的脑机接口技术和脑电波检测技术，本发明所提出视线注视点和语言肌肉神经信号分析两种输入方式共同作用实现了既简单有明确的信息输入系统。

对比于传统眼动交互的眨眼选择，本发明大大降低了用户主观意识的上的认知负荷，在选择的过程中不会因为眨眼而眼前一黑，操作时不会因为单眼眨眼的肌肉控制不协调而带来的不适；对比于语音识别和手势追踪交互技术

本发明弥补了纯眼动和脑电波(脑机接口)交互的缺陷，对智能眼镜和交互技术的发展有着重要的意义，弥补国内外本领域的技术不足。

本发明提供了一个可穿戴的交互界面，用户可以在没有任何声音或任何可识别动作的情况下与计算设备进行无声交谈和交互，从而使用户能够与设备、人工智能助手、应用程序或其他人进行无声、隐蔽和无缝的交流。使用者的双眼注视点配合内部言语发音器中的神经肌肉信号共同与头戴式显示计算系统进行交互，语言的神经肌肉信号被另一个传感器系统捕获，用来重建这个言语。使用它来促进一个自然语言的用户界面，在那里用户可以无声地用自然语言交流和接收交互反馈(例如，骨传导耳机、视觉反馈)，从而使一个谨慎的，双向接口与计算设备，并提供一个无缝形式的MR智能眼镜。本发明介绍了整个系统的体系结构、设计、实现和运行。

本发明提供了一种全新的应用入口，也可以理解流量入口，本发明通过对用户视觉注视区域的图像进行识别分析和根据用户个人情况和需求向用户进行第三方应用、服务的智能推荐，推荐方式是在交互式世界中在注视物体旁边位置展示应用程序注释标识。这使得用户无需再复杂去应用商店(例如，App Store)或者是应用软件界面打开应用程序，而是根据用户眼神一看，嘴中默读即可为第三方应用程序带来用户使用数或者是下载量。

对比已公开专利《一种基于AR智能眼镜的局部图像识别方法及系统》201810909350.2。本发明的创新点在于提供用户视觉反馈功能，在真实物体外围呈现所注视物体(待识别物体)的轮廓线，轮廓线为全息影像，创新点还在于通过优化图像处理、图像分割、图像识别在本地终端设备和云端服务器的计算流程和计算任务实现的视觉反馈效果。

发明内容

针对现有技术存在的问题，本发明提供了一种MR智能眼镜内容交互、信息输入、应用推荐技术的方法。

本发明是这样实现的，一种基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，包括：

步骤一，根据用户的眼动行为或脑电判断用户精神状态，判断用户精神状态是否处于非精神游离状态或精神游离状态，是否将注意力集中在视觉前方，并获取视觉注视点区域局部图像。

步骤二，对获取的图像内容进行人工智能图像识别分析、图像分割处理、识别、比对、理解，并根据内容进行功能分类，根据内容类别开启相应程序或者提供相应的服务、以及弹出一种或几种相关应用的通知。

步骤三，根据图像识别、理解结果，智能眼镜的推荐系统智能对相关应用、相关服务、相关信息的通知图标进行优先度排序。将大脑传送至面部和声带的肌肉神经信号识别为语言文字的计算机指令，然后对智能眼镜中内容进行交互控制。

步骤四，根据采集到的面部肌肉指令信息与注视点位置的图像信息来判断用户的需求属性(信息或应用服务)；如果是信息则在数据库检索答案，并将检索到的答案呈现在光学近显示器上；如果是应用则打开相关应用呈现在光学近眼显示器上。

进一步，步骤一中，所述根据用户的眼动行为或脑电判断用户精神状态包括判断用户是否处于精神游离状态，是否将注意力集中在视觉前方。

进一步，步骤一中，所述判断用户是否处于精神游离状态，是否将注意力集中在视觉前方采用实时检测瞳孔直径变化状态，判断用户注意状态。

判断用户注意状态中，对瞳孔的实时跟踪检测、对用户脑电波实时检测。

注意状态包括注意准备阶段、注意处理阶段、注意保持阶段、注意解除阶段。

判断用户是否处于注意保持阶段，若非注意保持阶段，则设备不进行任何操作，若为注意保持阶段则进行下一步操作。

当用户处于注意保持阶段，则触发眼动追踪模块获取人眼注视点方向与坐标。

当用户处于注意保持阶段，则触发图像识别模块获取人眼当前注视物体。

进一步，步骤一中，处于非精神游离状态，则通过智能眼镜已有的眼动追踪模块获取用户此时的视觉注视点，并计算映射到真实三维世界和AR眼镜成像屏幕，实时判断用户注视点是否为真实世界物体还是智能眼镜所呈现的三维全息影像，智能眼镜通过双目视觉深度摄像头计算获得世界三维坐标。若处于精神游离状态则不进行任何操作。眼动坐标具体包括：人眼的注视点和眼球运动坐标向量并将人眼注视点映射在真实三维世界的和成像屏幕坐标。

进一步，步骤一中，所述获取视觉注视点区域局部图像。如果用户注视智能眼镜所呈现的全息影像，则智能眼镜计算机系统内部进行截图指令或者直接与全息内容产生信息交互。如果用户注视现实场景中的真实对象，则截取注视点区域的真实场景图像。将获取的图像发送至图像识别模块进行处理。

所述获取局部图像条件进一步包括：设备检测到用户注视同一物体超过一定时长。设备检测到用户视觉追踪物体，眼球持续移动了一段距离。设备检测到用户注视同一物体超过一定次数。设备检测到用户注视同一物体时瞳孔直径发生变化。设备检测到用户注视同一物体时生物电产生非一般信号。外部功能硬件设备给予的预设关联指令。

进一步，步骤二中，所述对获取的图像内容进行人工智能识别分析、图像分割处理、识别、比对、理解，并根据内容进行功能分类，根据内容类别开启相应程序或者提供相应的服务、以及弹出一种或几种相关应用的通知之后根据图像分割处理结果，对用户所注视真实目标外围进行拟合的轮廓线标注，以此为用户提供确认选择的视觉反馈，轮廓线为MR智能眼镜所呈现的虚拟影像。

进一步，步骤三中，所述根据图像识别、理解结果，智能眼镜的推荐系统智能对相关应用、相关服务、相关信息的通知图标进行优先度排序，应用、服务、信息与通知图标为相关联关系，通知图标标注在真实目标轮廓线外围，优先度排序根据用户情绪波动状态和真实目标本身的全息内容。

将大脑传送至面部和声带的肌肉神经信号识别为语言文字，并将指令传入AR眼镜系统，与所述全息目标进行交互控制，实现用户需求和指令的输入，即相关应用、相关服务、相关信息的选择。

进一步，通过接收用户大脑传到面部和声带肌肉神经信号，设备对特定的肌肉神经信号进行检测识别成特定的语言文字信息，设备将该信息进行解读从而获取用户具体指令。根据用户指令对图像信息进行处理。当用户发出解读所注视物体的指令后，设备将通过光学成像模块自动呈现信息。

当设备检测到用户对所注视物体产生疑惑，设备则通过光学成像模块自动呈现信息。设备将获取的图像内容进行图像识别，将识别结果传输到云端数据库，数据库进行信息比对，筛选有效信息并传输回设备上。

信息包括注视物体的名称、注视物体的含义与解释、注视物体的组成成分、注视物体的使用信息。

进一步，信息呈现中，设备触发眼动追踪模块与脑电波感应识别模块，始终对用户注视物体与阅读信息内容时产生的情绪与感觉的过程进行监测。

监测方式包括脑电监测、眼动追踪监测、肌内电监测、神经电监测、心跳监测、血压监测以及呼吸监测。对监测结果进行分析，得到用户注视某一物体和阅读信息时的感觉与情绪状态，并进行标记。

本发明的另一目的在于提供一种实施所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法的全息影像的全息影像的信息获取交互控制系统，所述全息影像的信息获取交互控制系统包括：

眼动追踪模块，与中央处理系统连接，用于实时检测瞳孔直径变化状态，判断用户注意状态，视线映射。

脑电波感应识别模块，与中央处理系统连接，用于对用户脑电波实时检测；

神经肌肉感应模块，与中央处理系统连接，用于判断是否获取用户神经信号，如果有信号进行解读，没有信号则直接跳过。

光学成像模块，与中央处理系统连接，用于利用光学近显示器呈现检索答案或其他信息。

图像识别模块，与中央处理系统连接，用于获取到用户注意物体图像，设备进行图像识别与处理。

心跳和血压、体温检测模块，与中央处理系统连接，用于心跳和血压、体温检测。

肌内电监测模块，与中央处理系统连接，用于感应肌内电信号。

神经电监测模块，与中央处理系统连接，用于感应神经电信号。

中央处理系统，接受的上述模块传输的数据，进行计算分析判断是否发出局部图像获取指令。

网络通信模块，与中央处理系统连接，用于传输中央处理系统指令信息。

语言神经识别模块，与中央处理系统连接，接受来自用户的面部肌肉和声带肌肉的神经信号，并将所述神经信号分析识别成计算机可读的文字电子信息。

云端服务器，与中央处理系统连接，根据图像识别模块获得的图像识别结果预判断用户需求请求相应的服务类型和相关信息，同时接收到来自终端智能眼镜发送的三个指令信息进行图像的识别、指令的运算、数据库的检索最终获得答案信息，再将答案信息传送回智能眼镜终端，答案信息在智能眼镜光学屏幕上以全息影像的形式呈现用户注视物体的答案信息。

所述神经肌肉感应模块进一步包括：

触发神经肌肉感应模块，通过接收用户大脑传到面部和声带肌肉神经信号，设备对特定的肌肉神经信号进行检测识别成特定的语言文字信息，设备将该信息进行解读获取用户具体指令。根据用户指令对图像信息进行处理。当用户发出解读所注视物体的指令后，设备将通过光学成像模块自动呈现信息。当设备检测到用户对所注视物体产生疑惑，设备则通过光学成像模块自动呈现信息。设备将获取的图像内容进行图像识别，将识别结果传输到云端数据库，数据库进行信息比对，筛选有效信息并传输回设备上。

信息包括注视物体的一般名称、注视物体的一般含义与解释、注视物体的基本组成成分。

信息呈现中，设备触发眼动追踪模块与脑电波感应模块，始终对用户注视物体与阅读信息内容时产生的情绪与感觉的过程进行监测。

监测方式包括脑电监测、眼动追踪监测、肌内电监测、神经电监测、心跳监测、血压监测以及呼吸监测。对监测结果进行分析，得到用户注视某一物体和阅读信息时的感觉与情绪状态，并进行标记。

本发明的另一目的在于提供一种应用所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法的MR智能眼镜。

本发明的另一目的在于提供一种应用所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法的具有皮肤表面捕捉语言神经肌肉信号捕获功能和脑电波探测功能的HMD设备。

本发明的另一目的在于提供一种应用所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法的通过识别用户对任何事物产生的疑惑感觉并通过图像识别进行信息反馈解答用户疑惑的近眼显示设备。

本发明的另一目的在于提供一种应用所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法的可穿戴的界面控制系统，所述可穿戴的界面控制系统为用户在没有任何声音或任何可识别动作的情况下与计算设备进行无声交谈和交互，使用户与设备、人工智能助手、应用程序或其他人进行无声、隐蔽和无缝的交流。

本发明的另一目的在于提供一种应用所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法的应用程序入口控制方法，所述应用程序入口控制方法通过对用户视觉注视区域的图像进行识别分析和以及根据用户个人情况和需求向用户进行第三方应用、服务的智能推荐，推荐方式在交互式世界中在注视物体旁边位置展示应用程序注释标识。

本发明的另一目的在于提供一种应用所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法的信息数据处理终端。

本发明的另一目的在于提供一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行所述的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法。

本发明的另一目的在于提供一种应用所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法的基于智能眼镜的新型应用商店(例如苹果应用商店、google play应用商店)。

本发明的另一目的在于提供一种应用所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法的第三方应用程序上架、推广、下载平台。

综上所述，本发明的优点及积极效果为：

本发明基于判断用户实时的注意状态与情绪状态的方法，结合神经信号感应以及图像识别技术。目前AR智能眼镜还处于发展的初期阶段，全球范围内的交互技术都还不是很成熟，因此目前的交互技术有着巨大的提升空间。

本发明交互方案为：通过视线追踪技术获取用户正在注视的事物图像，计算机推荐与注视物体相关的应用、服务的通知标识，再通过获取语言肌肉神经信号(脑机接口技术)并解析为文字信息或者控制指令，再通过解析获得的控制指令与事物图像信息共同作用以达到对智能眼镜中全息影像内容进行交互控制。

当用户正在远处充满兴趣的注视一个食品，这时用户心中可能存在着大量的认知需求，比如这个食品的价格、这个食品的加工原材料、还是网友评价、还是所含热量等等，然而目前的视线追踪和脑机接口两种输入交互技术都不能获得人大脑中更深入的想法。但是通过本发明专利可以达到的效果是当用户正在远处充满兴趣的注视一个食品时，同时心中默念交互指令(例如“价格”)，智能眼镜接收到人声带肌肉的神经信号时，智能眼镜将所述食品的价格信息影像呈现在食品旁边。如图4、图5所示。

本发明基于未来为近眼显示设备-智能眼镜提出了全新的交互技术方案，其操作交互体验感更好，更符合人性：有私密性：对比于手势识别交互方式，本发明的优势在于不需要张嘴说话，不需要实际出声，隐蔽性高而不失操作便捷，适用于对隐私由要求的应用场景。交互指令更加明确：对比于现有的脑机接口技术和脑电波检测技术，本发明所提出视线注视点和语言肌肉神经信号分析两种输入方式共同作用实现了既简单有明确的信息输入系统。对比于传统眼动交互的眨眼选择，本发明大大降低了用户主观意识的上的认知负荷，在选择的过程中不会因为眨眼而眼前一黑，操作时不会因为单眼眨眼的肌肉控制不协调而带来的不适。对比于语音识别和手势追踪交互技术。

本发明意义非凡，弥补了纯眼动和脑电波(脑机接口)交互的缺陷，对智能眼镜和交互技术的发展有着重要的意义，弥补国内外本领域的技术不足。

本发明提出了一种基于近眼显示设备的图像识别信息反馈的方法，解决用户在佩戴近眼显示设备并保持注意时，观察某一物体，通过脑电波感应器接受识别脑电信号，判断用户此时的感觉状态，当判断出用户是疑惑感觉时，设备即进行物体图像识别，同时进行数据处理与数据库检索，呈现检索信息结果，用户即可阅读信息，同时监测用户阅读信息时的情绪状态。本发明通过识别用户对任何事物产生的疑惑感觉并通过图像识别进行信息反馈解答用户疑惑的近眼显示设备，能够帮助用户更便捷地认识信息，了解信息和解答信息。

本发明提供了一个可穿戴的交互界面，用户可以在没有任何声音或任何可识别动作的情况下与计算设备进行无声交谈和交互，从而使用户能够与设备、人工智能助手、应用程序或其他人进行无声、隐蔽和无缝的交流。使用者的双眼注视点配合内部言语发音器中的神经肌肉信号共同与头戴式显示计算系统进行交互，语言的神经肌肉信号被另一个传感器系统捕获，用来重建这个言语。使用它来促进一个自然语言的用户界面，在那里用户可以无声地用自然语言交流和接收交互反馈(例如，骨传导耳机、视觉反馈)，从而使一个谨慎的，双向接口与计算设备，并提供一个无缝形式的MR智能眼镜。本发明介绍了整个系统的体系结构、设计、实现和运行。

本发明提供了一种全新的应用入口，也可以理解流量入口，本发明通过对用户视觉注视区域的图像进行识别分析和以及根据用户个人情况和需求向用户进行第三方应用、服务的智能推荐，推荐方式是在交互式世界中在注视物体旁边位置展示应用程序注释标识。这使得用户无需再复杂去应用商店(例如，App Store)或者是应用软件界面打开应用程序，而是根据用户眼神一看，嘴中默读即可为第三方应用程序带来用户使用数或者是下载量。

对比已公开专利《一种基于AR智能眼镜的局部图像识别方法及系统》201810909350.2。本发明的创新点在于提供用户视觉反馈功能，在真实物体外围呈现所注视物体(待识别物体)的轮廓线，轮廓线为全息影像，创新点还在于通过优化图像处理、图像分割、图像识别在本地终端设备和云端服务器的计算流程和计算任务实现的视觉反馈效果。

附图说明

图1是本发明实施例提供的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法流程图。

图2是本发明实施例提供的全息影像的信息获取交互控制系统结构示意图。

图中：1、眼动追踪模块；2、云端服务器；3、脑电波感应识别模块；4、神经肌肉感应模块；5、光学成像模块；6、图像识别模块；7、心跳和血压、体温检测模块；8、肌内电监测模块；9、神经电监测模块；10、中央处理系统；11、网络通信模块；12、语言神经识别模块。

图3本发明实施例提供的通过对感兴趣的肌肉区域(左，中)的特征选择最终电极靶区(右)图。

图4是本发明实施例提供的HMD设备应用场景示例一图。

图中：101、用户；102、真实目标；103、云端服务器；104、语言肌肉神经信号探测设备；105、视觉反馈-物体轮廓框；106、HMD设备；201、HMD设备106所呈现的全息虚拟影像；202、用户所注视的真实目标的视觉交互反馈轮廓框；203、语言神经信号探测器。

图5是本发明实施例提供的HMD设备应用场景示例二图。

图6是本发明实施例提供的HMD设备硬件图。

图中：702、透视显示器；704、控制器；706、透镜；714、图像传感器(眼球追踪)；714a、面向内的第一图像传感器；714b、面向内的第二图像传感器；710、面向外的图像传感器；710a、面向外的第一图像传感器；710b、面向外的第二图像传感器；712、惯性测量单元IMU；720、麦克风；722、扬声器。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

针对现有技术中，近眼显示设备的操作交互体验感性；目前市场上在普通消费者日常生活场景下还没有出现一套舒适的AR/MR智能眼镜的人机交互方式的问题。本发明弥补了纯眼动和脑电波(脑机接口)交互的缺陷，对智能眼镜和交互技术的发展有着重要的意义，弥补国内外本领域的技术不足。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法包括：

S101：根据用户的眼动行为或脑电判断用户精神状态，具体包括判断用户是否处于精神游离状态，是否将注意力集中在视觉前方。

S102：若处于精神游离状态则不进行任何操作；若处于非精神游离状态，则通过智能眼镜已有的眼动追踪模块获取用户此时的视觉注视点，并计算映射到真实三维世界和AR眼镜成像屏幕，实时判断用户注视点是否为真实世界物体还是智能眼镜所呈现的三维全息影像，智能眼镜通过双目视觉深度摄像头计算获得世界三维坐标。

S103：获取视觉注视点区域局部图像.如果用户注视智能眼镜所呈现的全息影像，则智能眼镜计算机系统内部进行截图指令或者直接与全息内容产生信息交互。如果用户注视现实场景中的真实对象，则截取注视点区域的真实场景图像。将获取的图像发送至图像识别模块进行处理。

S104：图像识别模块对获取的图像内容进行人工智能识别分析、语义图像分割处理、识别、比对、理解，并根据内容进行功能分类，根据内容类别开启相应程序或者提供相应的服务、以及提示一种或几种相关应用的通知交互指令。

S105：根据步骤S104图像分割处理结果，对用户所注视真实目标外围进行拟合的轮廓线标注，为此为用户提供确认选择的视觉反馈，轮廓线为MR智能眼镜所呈现的虚拟影像。

S106：根据步骤S105图像识别、理解结果，智能眼镜的推荐系统智能对相关应用、相关服务、相关信息的通知图标进行优先度排序，应用、服务、信息与通知图标为相关联关系，通知图标标注在真实目标轮廓线外围，优先度排序根据用户情绪波动状态和真实目标本身的全息内容。

S107：将大脑传送至面部和声带的肌肉神经信号识别为语言文字，并将指令传入AR眼镜系统，与所述全息目标进行交互控制，实现用户需求和指令的输入，即相关应用、相关服务、相关信息的选择。

S108：根据大脑用户发送到面部肌肉指令信息与注视点位置的图像信息判断用户的需求属性(信息或应用服务)，如果是信息则在数据库检索答案，并将检索到的答案呈现在光学近显示器上；如果是应用则打开相关应用呈现在光学近眼显示器上。

在本发明实施例中，通过本发明当用户正在远处充满兴趣的注视一个食品，这时用户心中可能存在着大量的认知需求，比如这个食品的价格、这个食品的加工原材料、还是网友评价、还是所含热量等等，然而目前的视线追踪和脑机接口两种输入交互技术都不能获得人大脑中更深入的想法。但是通过本发明专利可以达到的效果是当用户正在超市购买蔬菜，这时远处充满兴趣的注视一个蔬菜时，蔬菜的外围弹出关于价格、原产地的信息通知，还包括通过像素级图像识别技术对蔬菜新鲜度检测的应用通知，还包括以本蔬菜为原材料的做菜推荐的应用通知，上述的几个信息通知和应用通知智能排列在蔬菜真实目标外围，这时心中默念无声语音指令(例如“价格”)，智能眼镜接收到人声带肌肉的神经信号时，智能眼镜将所述蔬菜的价格信息影像呈现在食品旁边。如果是心中默念交互指令无声语音指令(例如“推荐食谱”)，智能眼镜将启动教授美食做法的应用程序启动，为用户提供所述蔬菜的几种做法推荐给用户。

下面结合每步骤具体内容对本发明作进一步描述。

步骤S101中，精神游离状态，包括非精神游离状态或精神游离状态，判断是否将注意力集中在视觉前方后，获取视觉注视点区域局部图像。

步骤S101中，脑电波是一些自发的有节律的神经电活动，其频率变动范围在每秒1－30次之间的，可划分为四个波段，即δ(1－3Hz)、θ(4－7Hz)、α(8－13Hz)、β(14－30Hz)。除此之外，在觉醒并专注于某一事时，常可见一种频率较β波更高的γ波，其频率为30～80Hz，波幅范围不定；而在睡眠时还可出现另一些波形较为特殊的正常脑电波，如驼峰波、σ波、λ波、κ-复合波、μ波等。

β波频率为14～30Hz，幅度为100～150μV。当精神紧张和情绪激动或亢奋时出现此波，当人从噩梦中惊醒时，原来的慢波节律可立即被该节律所替代。

阵发性40Hz ERPs反映了集中唤起的水平，可作为判断注意障碍及认知功能障碍较为可靠的指标。40Hz ERPs对视、听、记忆、计算等认知任务的敏感性及40Hz ERPs阵发水平的评价(观测)指标的研究将有利于规范化40Hz ERPs的诱发、采集处理和水平评价。

步骤S101中检测用户精神状态是很有必要的，是判断是否进行下一步重要依据。在人的视觉行为当中，不一定人注视着一个物体就在对该物体进行认知加工，有可能是处于非注意的状态。比如坐在教室里听课，虽然眼睛看着黑板，但是有可能在想别的事情，对眼前发生的一切全然不知。

用户走在大街上处于非注意的状态，心里想着其他事情，眼睛一直注视着一个物体，这是智能眼镜会错误认为用户对该物体感兴趣，并推送了不相关无用的信息，这对用户造成了很不好的体验，信息推送的错误率较高。

步骤S101具体包括：

实时检测瞳孔以及脑电相应波的直径变化状态，判断用户是否处于注意状态或非注意状态。

判断用户注意状态中，对瞳孔的实时跟踪检测、对用户脑电波实时检测。

注意状态是指人在主观上执行注意的完整过程，其包括注意准备阶段、注意处理阶段、注意保持阶段、注意解除阶段。

非注意状态是指人处在一种注意完全丧失的状态，也就是精神游离状态。

判断用户是否处于注意状态，若为非注意状态，则设备不进行任何操作，若为注意状态则进行下一步操作。

当用户处于注意状态，则触发眼动追踪模块获取人眼注视点方向与坐标。

当用户处于注意状态，则触发图像识别模块获取人眼当前注视物体。

在本发明中，瞳孔检测包括：根据预设时间参数和预设瞳孔直径参数在所述注意变化曲线上选取五个注意点；根据五个注意点将所述注意变化曲线划分为四个注意阶段；其中，所述五个注意点依次为注意开始点(A点)、注意过程中瞳孔直径最小的点(B点)、注意过程中瞳孔直径最大的点(C点)、注意结束点(D点)和注意结束后瞳孔直径达到平稳阶段的点(E点)，所述四个注意阶段依次为注意准备阶段(AB段)：该阶段包括注意警醒和注意定向两种注意成分；注意处理阶段(BC段)：该阶段包括选择注意、处理注意和转移注意三个注意成分。注意处理过程是首先选择一个注意，然后对于选择的注意进行加工处理，注意处理完成后，转移注意到被选择的下一个注意。三个注意成分如此循环，直到所有的注意都处理完成；注意保持阶段(CD段)：该阶段为注意处理完成后，一直保持注意直至注意结束的过程；注意解除阶段(DE段)：该阶段是注意恢复阶段，即注意从保持恢复到没有注意的静息阶段。

脑电波精神注意力检测包括：通过HMD设备106上自有脑电波检测设备对大脑的视觉处理皮质区域进行信号的检测、过滤分析，探测分析脑电波信号源区域。脑电波的信号探测和分析方法包括脑电图(EEG,eletroencephalogram)、K-means聚类算法神经源成像技术等,但是不限于上述方法。

在注意条件下，额叶区域在刺激后100ms和250ms左右时分别产生了两个大的处理负波；然而在非注意条件下,只有一个140ms左右的小的处理负波。

在注意和非注意条件下,大脑采取了不同的资源分配策略,注意下,视觉皮层被分配了大部分资源,非注意下,前扣带回和后顶叶皮层被分配了大部分资源。基于以上研究成果，本发明提出了视觉注意的感知觉处理过程中，额叶、顶叶和视觉皮层之间的时间关系模型。

步骤S102中，所述眼动坐标具体包括：人眼的注视点和眼球运动坐标向量并将人眼注视点映射在真实三维世界的和成像屏幕坐标。

本发明判断用户是在看真实世界物体还是智能眼镜所呈现的三维全息影像。HMD设备106通过图像传感器710所配置的立体相机和SLAM技术将真实环境计算为虚拟三维空间坐标系。将双眼视线交点(注视点)映射在虚拟三维空间坐标系当中，通过虚拟视线与物体碰撞的检测来判断用户此时正在注视的物体为现实世界中的真实目标还是HMD设备106输出的全息影像。眼动追踪中，利用瞳孔-角膜反射光斑插值拟合算法或MEMS眼球追踪技术，得到眼球运动数据并生成注视点坐标。眼动追踪可捕获的眼动数据有眼睛注视方向，头部方向，眼睛注视速度，眼睛注视加速度，眼睛注视方向的角度变化，和/或任何其他合适的跟踪信息。眼动追踪系统可记录用户是视觉注意轨迹。

如果是用户注视的是真实世界中的真实目标，需要满足如下准备。将用户视锥体范围(视野范围)内的真实三维空间、AR眼镜成像屏幕、AR眼镜前置摄像头所拍二维画面三者之间的坐标关系同步，将眼球追踪模块获取的注视点映射到前置摄像头所拍图像上。根据映射函数以及真实世界三维空间坐标与AR眼镜成像屏幕坐标和智能眼镜前置摄像头的投影关系，通过双目视线的角度和交点计算得到人眼注视点在前置摄像头所拍摄的真实世界的画面中。

建立三维空间坐标系，包括：当HMD设备106将虚拟对象叠加到真实对象上时，将描述用于估计其在真实空间中的位置和姿态的技术的原理的示例(即，定位)。

作为定位的具体示例，HMD设备106使用成像单元(诸如设置在其自身上的相机)来捕获在真实空间中的真实对象上呈现的已知尺寸的标记等。另外，通过分析捕获的图像，HMD设备106估计自身相对于标记(以及通过扩展，其上呈现标记的真实对象)的相对位置和姿态中的至少一个。注意，以下描述集中于HMD设备106估计其自身的位置和高度的情况，但是HMD设备106也可以仅估计其自身的位置和姿态中的一个。

具体地，可以根据标记的方向估计成像单元(并且通过扩展，其中提供成像单元的HMD设备106)相对于标记的相对方向。(例如，标记的图案的方向等)在图像中捕获。此外，在已知标记的尺寸的情况下，可以估计标记与成像单元(即，其中提供成像单元的HMD设备106)之间的距离，与图像中标记的大小。更具体地，如果从更远的地方捕获标记V10，则标记被捕获得更小。也，此时在图像中捕获的真实空间的范围可以基于成像单元的视角来估计。通过利用上述特性，可以根据图像中捕获的标记的大小来反向计算标记和成像单元之间的距离(换句话说，标记占据的视角的比例)。根据如上所述的配置，HMD设备106变得能够估计其自身相对于标记的相对位置和姿态。

此外，称为同时定位和映射(SLAM)的技术也可以用于HMD设备106的定位.SLAM是指通过利用并行地执行本地化和环境地图创建的技术。成像单元，例如照相机，各种传感器，编码器等。作为更具体的示例，利用SLAM(特别是视觉SLAM)，基于由成像单元捕获的运动图像连续地重建捕获的场景(或对象)的三维形状。另外，通过将捕获的场景的重建结果与成像单元的位置和姿态的检测结果相关联，创建周围环境的地图以及成像单元(以及通过扩展，HMD设备106)的位置和姿态的估计被执行。注意，例如，通过向HMD设备106提供各种传感器，例如加速度传感器和角速度传感器，可以将成像单元的位置和姿态估计为表示相对变化的信息。基于传感器的检测结果。显然，只要可以估计成像单元的位置和姿态，该方法不必仅限于基于诸如加速度传感器和角速度传感器的各种传感器的检测结果的方法。通过向HMD设备106提供各种传感器，例如加速度传感器和角速度传感器，可以基于检测结果将成像单元的位置和姿态估计为指示相对变化的信息。传感器。显然，只要可以估计成像单元的位置和姿态，该方法不必仅限于基于诸如加速度传感器和角速度传感器的各种传感器的检测结果的方法。通过向HMD设备106提供各种传感器，例如加速度传感器和角速度传感器，可以基于检测结果将成像单元的位置和姿态估计为指示相对变化的信息。传感器。显然，只要可以估计成像单元的位置和姿态，该方法不必仅限于基于诸如加速度传感器和角速度传感器的各种传感器的检测结果的方法。

基于如上所述的配置，例如，还可以利用基于成像单元的标记的成像结果的HMD设备106相对于已知标记的相对位置和姿态的估计结果。在上述SLAM中的初始化过程和位置校正中。根据这样的配置，即使在成像单元的视角内不包括标记的情况下，通过基于接收先前执行的初始化和位置校正的结果的SLAM的定位，HMD设备106也能够估计自己相对于标记的位置和态度(并且通过扩展，估计标记的真实对象)。

当HMD设备106将虚拟对象叠加到真实对象上时，已经描述了用于估计其在真实空间中的位置和姿态(即，定位)的技术的原理的示例。注意，在下文中，HMD设备106相对于真实空间中的物理对象(真实对象)的位置、三维坐标和姿态将被描述为可以基于上述基本原理进行处理获得，最终达到真实物理对象、虚拟三维空间、全息影像、双眼眼球注视点空间坐标同步的效果。

步骤S103中，所述获取局部图像条件具体包括：设备检测到用户注视同一物体超过一定时长；设备检测到用户视觉追踪物体，眼球持续移动了一段距离；设备检测到用户注视同一物体超过一定次数；设备检测到用户注视同一物体时瞳孔直径发生变化；设备检测到用户注视同一物体时脑电波即生物电(肌肉电、神经信号)产生非一般信号；外部功能硬件设备给予的预设关联指令(公开专利：一种近眼显示设备的眼动追踪交互的方法及系统201811612264.7)。

图像获取功能模块通过在步骤二中获得的用户正在注视的真实目标还是全息影像结果来确定图像获取的内容和获取图像获取的方式，用户对注视物体产生情绪波动或者上述的眼动行为信息来决定图像获取的时间。

如果是用户注视的是叠加在真实世界的全息影像，则HMD设备106的图像获取模块从图像处理系统内部获取全息影像图片，并发送至步骤四进行图像的处理。亦或者是开发人员前期将某种应用、服务、信息(例如广告信息)与说述全息影像相关联，弹出应用通知图标，及到步骤S106。

如果是用户注视的是真实世界中的真实目标，则获取注视点位置物体图像，将图像发送至步骤四进行图像识别。

图像截取的大小是根据物体的大小自适应的，根据图像处理、图像分割算法获取特征内容图像，自动计算图像大小。

在本发明中进行了自动生成图像三分图方法、线性迭代聚类算法(SLIC)的改进应用于本发明的图像分割。

在本发明实施例中，图像截取的中脑电波特征为，当脑电波检测到β波频率为14～30Hz，幅度为100～150μV；阵发性40Hz ERPs。

步骤S104图像识别模块对获取的图像内容进行人工智能识别分析、语义图像分割处理、识别、比对、理解，并对内容根据功能进行分类，根据内容类别提示弹出相应程序或者提供相应的服务、以及提示一种或几种相关应用的通知。

步骤S105根据步骤四图像分割处理结果，对用户所注视真实目标外围进行拟合的轮廓线标注，为用户提供确认选择的视觉反馈，轮廓线为MR智能眼镜所呈现的虚拟影像。

作为本发明优选实施例，步骤S105信息呈现中，设备触发眼动追踪模块与脑电波感应识别模块，始终对用户注视物体与阅读信息内容时产生的情绪与感觉的过程进行监测。

监测方式包括脑电监测、眼动追踪监测、肌内电监测、神经电监测、心跳监测、血压监测以及呼吸监测；对监测结果进行分析，得到用户注视某一物体和阅读信息时的感觉与情绪状态，并进行标记。

接收脑电波信号，提取Delta、Theta、Alpha、Beta、Gamma波，计算其能量特征信息用于放松度识别。经过脑电放松度识别，得到脑电放松度等级(如取值为0～100的整数)。利用脑电放松度特征识别模型对采集的用户脑电信号进行识别，获取放松度等级，并根据放 松度等级确定用户的情绪状态。

步骤S106中应用智能推荐包括优先度排序，具体包括：

第一步应用筛选：通过步骤四的图像识别，对用户视觉注视物体的理解和识别特征标签，根据特征标签对注视目标物体进行属性的分类。在应用程序数据库中，应用程序也根据自身特征标签也进行分类。使用户注视物体根据特征标签与相关应用、服务匹配和相关联。

第二步应用筛选：根据用户当前上下文信息和情况对应用程序进行更加精准的筛选推荐。文中所述“上下文信息”可以描述用户在物理环境中的位置，当前时间和日期，用户最近的搜索记录，最近AI智能助手对用户的服务记录，用户在之前阅读信息和使用应用时的脑电波情感数据，以及用户附近的其他人的共存。上下文信息还可以描述关于用户的各种特征，例如用户的年龄，技能水平，主题兴趣等。

达到当用户注视目标内容时，计算机准备将相关应用以全息影像的形式呈现。呈现应用程序注释信息的位置在注视的目标内容的轮廓线框外围，呈现应用程序注释信息的数量为一个或者多个。

在一个实现中，应用程序开发者可以创建与应用程序相关联的应用程序注释信息作为应用程序开发过程的一部分。

步骤S107中，将语言的肌肉(声带肌肉)神经信号识别为语言文字，并将指令传入MR眼镜系统中，用户主动输入精准认知需求信息时，将语言神经信号识别为语言文字，并将指令传入MR眼镜系统；

机械外骨骼通过截获大脑发送至四肢的肌肉神经电信号，计算机将神经电信号翻译成机械外骨骼的控制信号，由此达到与人体运动行为一致的效果，达到辅助人体的作用。本发明可以截获人的面部肌肉和声带肌肉的神经信号来翻译出人的语音。

本发明所述的神经信号获取装置707方法的非侵入性，该系统通过可穿戴面具-从用户皮肤表面捕捉语言肌肉神经信号707。该设备是与本发明所述HMD设备106有机连接为一体的新型HMD设备。

神经信号获取装置707也可以是一个独立、可移动的可穿戴式硬件，用户只需要戴上它就可以运行，并且该设备通过蓝牙无线连接到任何外部计算设备。

声音语言的产生涉及一系列复杂的组织协调事件，被认为是人类最复杂的运动动作之一。一件事在大脑中被构思出来，并表达出来，被编码为一种语言，由大脑在半球额下回后部区域，即布洛卡区(Broca’s area)，以及随后的补充运动区(supplementary motorarea)协调，形成肌肉运动，用于发音。这种对自主发音的皮层控制是通过腹侧感觉运动皮层来实现的，腹侧感觉运动皮层通过皮质球束投射到面部、喉部、咽部和口腔来控制运动单元的激活和激活率。运动神经元接收来自脊髓前角细胞的神经冲动，这些前角细胞被传播到神经肌肉连接，在那里一个神经元支配多个肌肉纤维。

神经冲动通过神经肌肉连接的传播导致神经递质乙酰胆碱被释放到突触。乙酰胆碱与烟碱受体结合，导致离子通道在肌纤维中释放钠离子阳离子，触发动作电位在肌纤维中传播。这个离子运动,肌肉纤维造成的阻力,产生时变电位差模式发生在面部和颈部的肌肉而准备说话,导致相应的肌电的特征标签,由本发明中描述的神经肌肉信号系统检测。从皮肤表面上看没有发声和面部肌肉运动的情况下获取用户语音。

在参与语音生成的各种肌肉关节中，将研究重点放在喉部和舌骨区域，以及颊部、颏部、口腔和眶下区域，以非侵入性的方式检测信号特征。为了确定检测点的空间位置，在皮肤上选取了7个目标区域进行检测，初始的30点网格在空间上覆盖上述选择区域。根据基于过滤器的特征排序对潜在的目标位置进行排序，评估来自每个目标的信号如何能够更好地区分数据集中的单词标签。为了避免特征重复，忽略了目标位置在颅尾轴上的对称等比。当前在该设备的信号来源为以下7个通道，分别来自以下区域:喉部区域、舌骨区域、口小梁提肌、口轮匝肌、颈阔肌、二腹肌前腹、门静脉。在选定的区域内，电极在皮肤上的更精细的位置，然后根据经验进行调整。

建立语音与神经信号对应数据库，并通过人工智能神经网络学习肌肉神经信号、翻译肌肉神经信号。最终达到将肌肉神经信号识别为无声语音的效果。

综上所述大脑通过神经发出信号给了肌肉，从而让肌肉去完成表达；而且除了喉咙的声带，其他的脸部肌肉也会得到信号。若只是在心中默念，那也只是声带肌肉不动而已。

它由两个部分组成，一为信号输入，二为信号输出；在信号输入的部分，传感器会一直监视着人脸及下颌部，并捕捉大脑传来的神经信号，从而分析解读出用户的“心思”。在信号输出的部分，寻找出问题的答案并语音反馈，这跟目前语音搜索的道理差不多。

下面结合全息影像的信息获取交互控制信息输入系统对本发明作进一步描述。

如图2所示，本发明提供一种全息影像的信息获取交互控制信息输入系统具体包括：

眼动追踪模块1，与中央处理系统连接，用于实时检测瞳孔直径变化状态，判断用户注意状态，视线映射。

脑电波感应识别模块3，与中央处理系统连接，用于对用户脑电波实时检测。

肌肉神经信号感应模块4，与中央处理系统连接，用于判断是否获取用户神经信号，如果有信号进行解读，没有信号则直接跳过。

光学成像模块5，与中央处理系统连接，用于利用光学近显示器呈现检索答案或其他信息。

图像识别模块6，与中央处理系统连接，用于获取到用户注意物体图像，设备进行图像识别与处理。

心跳和血压、体温检测模块7，与中央处理系统连接，用于心跳和血压、体温检测。

肌内电监测模块8，与中央处理系统连接，用于感应肌内电信号；

神经电监测模块9，与中央处理系统连接，用于感应神经电信号。

中央处理系统10，接受的上述模块传输的数据，进行计算分析判断是否发出局部图像获取指令。

网络通信模块11，与中央处理系统连接，用于传输中央处理系统指令信息。

语言神经识别模块12，与中央处理系统连接，接受来自用户的面部肌肉和声带肌肉的神经信号，并将所述神经信号分析识别成计算机可读的文字电子信息。

云端服务器2，与中央处理系统连接，根据图像识别模块获得的图像识别结果预判断用户需求请求相应的服务类型和相关信息，同时接收到来自终端智能眼镜发送的三个指令信息进行图像的识别、指令的运算、数据库的检索最终获得答案信息，再将答案信息传送回智能眼镜终端，答案信息在智能眼镜光学屏幕上以全息影像的形式呈现用户注视物体的答案信息。

在本发明中，眼动追踪模块和脑电波感应识别模块同时检测用户的获取眼球运动瞳孔直径、脑电波，并将其检测结果发送至中央处理系统进行运算和处理，判断用户精神状态是否处于精神游离状态，是否将注意力集中在视觉前方。如果处于精神游离状态中央处理系统不发出任何控制指令。如果结果为处于非精神游离状态则发送指令至眼动追踪模块获取人眼注视点坐标并映射到真实三维世界和前置摄像头画面中，并判断用户注视物体为现实世界物体还是虚拟的全息影像。

同时，中央处理系统请求接受来自外部控制按键设备、眼动追踪模块、脑电波感应识别模块、心跳和血压、体温检测模块、肌内电监测模块、神经电监测模块等生物信号检测设备发送的电子数据，

中央处理系统通过接受的“这些数据”进行计算分析判断是否发出“局部图像获取”指令(其中这些数据例如外部控制按键设备确认指令、眼动追踪模块发送的注视时长、眼跳时间、会是次数、瞳孔大小变化值、心率变化量等)。“局部图像获取”指令具体为，以注视点为圆心的某一固定值为半径的圆形、以注视点为中心的某一固定值为边长的正方形或眼动路径所形成的不规则多边形。“局部图像获取”的图像画面来自于前置摄像头所拍摄画面和智能眼镜所呈现的全息影像，全息影像由计算机成像系统内部和激光投影系统内部获得。

满足条件截获的图像发送至图像识别功能模块进行图像的识别、理解、匹配、检索、图像的分割，最终达到对所注视物体的分类和物体在图像中区域的精确划定(精确截图)，例如食物、交通工具、商品、服装等。

根据图像分割的处理结果，其结果效果为用户注视物体外形被扣取出来。将图像分割结果发送至光学成像模块，光学成像模块在真实目标物体外围呈现全息影像外轮廓。为用户提供了眼动追踪识别物体的交互的视觉反馈。

最后将图像识别结果和精确的物体图像发送至中央处理系统，再由中央处理系统发送至网络通信模块(WIFI、4G、5G)。

云端服务器接受终端智能眼镜发送的图像信息，对图像内容进行分析标记特征标签，通过特征标签与云端数据库同类型特征标签的应用程序或者是相关的信息应用匹配。

云端服务器调取用户个人账户数据库中的信息对应用进行筛选和智能排序，然后云端服务器将应用推荐结果和排序结果网络传输至智能眼镜终端。智能眼镜网络通信模块接受云端服务器的反馈信息后，通过光学成像模块呈现智能排序后的应用程序、相关信息标识通知。

光学成像模块呈现智能排序后的应用程序、相关信息标识通知后请求语言神经识别模块发送消息。

语言神经识别模块通过附着在面部表皮的电极接受来自用户的面部肌肉和声带肌肉的神经信号，并将所述神经信号分析识别成计算机可读的文字电子信息。语言神经识别模块将文字指令信息发送至中央处理系统。如果用户没有给出神经信号指令，则语言神经识别模块将没有获得用户指令的信号传输给中央处理信号。

将用户无声语言(语言肌肉神经信号)交互指令通过网络通信模块发送至云端服务器，请求与无声语言交互指令对应的应用程序和信息，智能眼镜终端下载或者启动用户所述目标应程序，如果是信息服务，则加载相关信息。

在本发明实施例中，所述眼动追踪模块实时检测瞳孔直径变化状态，判断用户注意状态。

判断用户注意状态中，对瞳孔的实时跟踪检测、脑电波感应模块对用户脑电波实时检测。

注意状态包括注意准备阶段、注意处理阶段、注意保持阶段、注意解除阶段。

判断用户是否处于注意保持阶段，若非注意保持阶段，则设备不进行任何操作，若为注意保持阶段则进行下一步操作。

当用户处于注意保持阶段，则触发眼动追踪模块获取人眼注视点方向与坐标。

当用户处于注意保持阶段，则触发图像识别模块获取人眼当前注视物体。

所述图像识别模块对图像内容进行分类分析、识别判断物体。

所述神经肌肉感应模块具体包括：

触发神经肌肉感应模块，通过接收用户大脑传到面部和声带肌肉神经信号，设备对特定的肌肉神经信号进行检测识别成特定的语言文字信息，设备将该信息进行解读从而获取用户具体指令。根据用户指令对图像信息进行处理；当用户发出解读所注视物体的指令后，设备将通过光学成像模块自动呈现信息；

当设备检测到用户对所注视物体产生疑惑，设备则通过光学成像模块自动呈现信息；设备将获取的图像内容进行图像识别，将识别结果传输到云端数据库，数据库进行信息比对，筛选有效信息并传输回设备上。

信息包括注视物体的一般名称、注视物体的一般含义与解释、注视物体的基本组成成分。

信息呈现中，设备触发眼动追踪模块与脑电波感应模块，始终对用户注视物体与阅读信息内容时产生的情绪与感觉的过程进行监测。

监测方式包括脑电监测、眼动追踪监测、肌内电监测、神经电监测、心跳监测、血压监测以及呼吸监测。对监测结果进行分析，得到用户注视某一物体和阅读信息时的感觉与情绪状态，并进行标记。

下面结合具体应用场景对本发明作进一步描述。

图6示出了图4和5的HMD设备106的非限制性示例。具有透视显示器702的一对可佩戴眼镜形式的图4和图5所示。可以理解，HMD设备可以采用透明，半透明和/或不透明显示器的任何其他合适的形式。在观察者的眼睛或眼睛前面支撑。此外，本发明描述的实施例可以与任何其他合适的计算设备一起使用，包括但不限于移动计算设备，膝上型计算机，台式计算机，平板计算机，其他可穿戴计算机等。

HMD设备106包括透视显示器702和控制器704.透视显示器702可以使诸如全息物体的图像能够被传递到HMD设备的佩戴者的眼睛。透视显示器702可以被配置为通过透明显示器向观看物理环境的佩戴者在视觉上增强真实世界物理环境的外观，其中透视显示器702光学显示器成像技术包括棱镜技术自由曲面技术、离轴光学技术、光波导技术。在一个示例中，显示器可以被配置为在图形用户界面上显示一个或多个应用通知UI对象。在一些实施例中，在图形用户界面上呈现的UI对象可以是覆盖在现实世界环境之前的虚拟对象。同样，在一些实施例中，可以使用任何合适的机构通过透视显示器702显示图像。例如，透视显示器702可以包括位于透镜706内的图像产生元件(例如，透视有机光-发光二极管(OLED)显示器)。作为另一示例，透视显示器702可以包括位于HMD设备106的框架内的显示设备(例如，硅上液晶(LCOS)设备或OLED微显示器)。在该示例中，透镜706可以用作或以其他方式包括用于将光从显示装置传递到佩戴者眼睛的光导。这样的光导可以使佩戴者能够感知位于佩戴者正在观看的物理环境内的3D全息图像，同时还允许佩戴者观看物理环境中的物理对象。

HMD设备106还可以包括各种传感器和相关系统以向控制器704提供信息。这样的传感器可以包括但不限于一个或多个面向内的图像传感器708a和714b，一个或多个面向外的图像传感器710惯性测量单元(IMU)712和一个或多个麦克风720。

眼动追踪模块：一个或多个面向内的图像传感器714a，714b可以被配置为从佩戴者的眼睛(例如，传感器)获取凝视跟踪数据形式的图像数据。714a可以获取佩戴者眼睛中的一个的图像数据，并且传感器714b可以获取佩戴者眼睛中的另一个的图像数据。HMD设备可以被配置为基于从图像传感器714a，714b接收的信息以任何合适的方式确定每个佩戴者的眼睛的注视方向。例如，一个或多个光源例如红外光源，可以配置成使闪烁的光从佩戴者的每只眼睛的角膜反射。然后，一个或多个图像传感器714a，714b可以被配置为捕获佩戴者眼睛的图像。从图像传感器714a，714b收集的图像数据确定的闪烁和瞳孔的图像可以由控制器704用于确定每只眼睛的光轴。使用该信息，控制器704可以被配置为确定佩戴者注视的方向。控制器704可以被配置为另外确定佩戴者注视的物理和/或虚拟对象的身份。

控制器704可以被配置为基于由一个或多个面向内的图像传感器714a，714b检测到的信息随时间记录多个眼睛注视样本。对于每个眼睛注视样本，眼睛跟踪信息以及在一些实施例中，头部跟踪信息(来自图像传感器710和/或IMU 712)可以用于估计该眼睛注视样本的原点和方向矢量以产生估计眼睛注视与透视显示器相交的位置。用于确定眼睛注视样本的眼睛跟踪信息和头部跟踪信息的示例可以包括眼睛注视方向，头部方向，眼睛注视速度，眼睛注视加速度，眼睛注视方向的角度变化，和/或任何其他合适的跟踪信息。HMD设备操作系统可记录用户对特征内容(真实对象和全息内容)的注视顺序，特征内容的注视时间、回视次数，和/或任何其他合适的跟踪分析信息。一个或多个面向外的图像传感器710可以被配置为从HMD设备106所位于的物理环境接收物理环境数据。来自面向外的图像传感器710的数据可用于检测显示器702的视野内的运动，诸如基于姿势的输入或由佩戴者或由视野内的人或物理对象执行的其他运动。在一个示例中，来自面向外的图像传感器710的数据可以用于检测由HMD设备的佩戴者执行的选择输入，诸如手势(例如，手指的捏合，拳头的闭合等)，表示选择显示在显示设备上的UI对象。来自面向外的传感器的数据也可用于确定方向/位置和方向数据。

其中眼动追踪技术除了本发明所述的通过图像识别技术检测眼球运动的通用技术方案外，还包括利用MEMS(微机械系统)进行的眼动追踪系统(US；system and methodfor resonant eye-trackingNO:15/876148)。

三维空间建立硬件：图像传感器710被配置为所谓的立体相机，指向使用头面向的方向(即，用户的前进方向)当HMD设备106佩戴在用户的头上时。此时，图像传感器710a保持在用户的右眼附近，而图像传感器710b保持在用户的左眼附近。基于这样的配置，图像传感器710a和710b从相互不同的位置捕获位于HMD设备106前面的对象。通过这种布置，HMD设备106变得能够获取位于用户前方的对象的图像，此外，配置和方法不受特别限制，只要HMD设备106和对象之间的距离是可测量的即可。作为具体示例，HMD设备106与对象之间的距离可以基于诸如多相机立体声，运动视差，飞行时间(TOF)和结构光的方法来测量。结构光是通过诸如红外线的光照射对象并捕获图像的方法，并且基于从成像结果获得的图案的变化，获得包括到成像光的距离(深度)的深度图。此外，运动视差是指即使使用所谓的单目相机，也基于视差测量到对象的距离的方法。具体地，通过移动相机，从相互不同的视点捕获对象，并且基于捕获图像之间的视差来测量到对象的距离。

通过此时利用各种传感器识别相机的运动距离和运动方向，可以更精确地测量到对象的距离。

IMU 712可以被配置为向控制器704提供HMD设备106的位置和/或方向数据。在一个实施例中，IMU 712可以被配置为三轴或三自由度位置传感器系统。该示例性位置传感器系统可以例如包括三个陀螺仪，以指示或测量HMD设备106在三维空间内关于三个正交轴(例如，x，y，z)的取向变化(例如，滚动，俯仰，偏航))。从IMU的传感器信号导出的取向可以用于通过透视显示器以三个自由度显示一个或多个虚拟UI对象。

如图5所示，应用场景示例一。

图5中所示，用户101佩戴着MR智能眼镜-HMD设备106在某果蔬集市挑选商品。其中应用场景不局限于某果蔬集市，还例如超市、餐厅、车辆销售4S店、户外广告等包括但不限于上述具有潜在消费行为的场景。如图，用户101正在注视着苹果102，HMD设备106的前置摄像头捕获苹果图像进行识别、分类，其中HMD设备106为用户101提供了视觉反馈的物体轮廓外框105。通过对注视物体苹果102的识别，计算机系统103根据比配数据库结果传送至HMD设备106进行呈现。

如图5，201为HMD设备106所呈现的全息虚拟影像。202为根据用户101所注视的真实目标102的视觉交互反馈轮廓框，该技术通过图像的分割技术实现。203为当语言神经信号探测器，用户通过在心中默念相关指令来选择相关应用和服务，指令例如“价格”、“新鲜度检测”、“可以做什么菜”等，上述指令举例仅仅是通过苹果102更好说明示例，事物和相关的应用服务包括不限于上述。

应用场景示例二：

在本发明中，IMU 712可以被配置为六轴或六自由度位置传感器系统。这样的配置可以包括三个加速度计和三个陀螺仪，以指示或测量HMD设备106沿三个正交轴的位置变化以及关于三个正交轴的设备取向的变化。来自面向外的图像传感器710和IMU 712的位置和取向数据可以结合使用以确定HMD设备106的位置和取向。

HMD设备106还可以支持其他合适的定位技术，例如GPS或其他全球导航系统。此外，虽然已经描述了位置传感器系统的具体示例，但是应当理解，可以使用任何其他合适的位置传感器系统。例如，头部姿势和/或运动数据可以基于来自安装在佩戴者上和/或佩戴者外部的传感器的任何组合的传感器信息来确定，包括但不限于任何数量的陀螺仪，加速度计，惯性测量单元。，GPS设备，气压计，磁力计，摄像机(例如，可见光摄像机，红外线摄像机，飞行时间深度摄像机，结构光深度摄像机等)，通信设备(例如，WIFI天线/接口)等。

在本发明中，如上图6所述，HMD设备106还可以包括捕获音频数据的一个或多个麦克风，例如麦克风720。在一些示例中，一个或多个麦克风720可以包括两个或更多个麦克风的麦克风阵列。例如，麦克风阵列可包括四个麦克风，两个麦克风位于右镜片上方，两个麦克风位于HMD装置的左镜片上方。此外，音频输出可以经由一个或多个扬声器(例如扬声器722)呈现给佩戴者。在一些实施例中，麦克风系统可以被配置为提供音频反馈，该音频反馈指示在显示在显示器上的图形用户界面上呈现的UI对象的选择。透视显示，控制器704可以包括逻辑机器和存储机器，在图6中，与各种传感器和HMD设备的显示器进行通信。在一个示例中，存储机器可以包括可由逻辑机器执行的指令，以向所显示的虚拟对象提供声音给一个或多个外部扬声器。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (20)

1.一种基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法包括：

步骤一，根据用户的眼动行为或脑电判断用户精神状态，判断用户精神状态是否处于非精神游离状态或精神游离状态，是否将注意力集中在视觉前方，并获取视觉注视点区域局部图像；

步骤二，对获取的图像内容进行人工智能图像识别分析、图像分割处理、识别、比对、理解，并根据内容进行功能分类，根据内容类别开启相应程序或者提供相应的服务、以及弹出一种或几种相关应用的通知；

步骤三，根据图像识别、理解结果，智能眼镜的推荐系统智能对相关应用、相关服务、相关信息的通知图标进行优先度排序；将大脑传送至面部和声带的肌肉神经信号识别为语言文字计算机指令，然后对智能眼镜中内容进行交互控制；

步骤四，根据采集到的面部肌肉指令信息与注视点位置的图像信息来判断用户的需求属性；如果是信息则在数据库检索答案，并将检索到的答案呈现在光学近显示器上；如果是应用则打开相关应用呈现在光学近眼显示器上。

2.如权利要求1所述的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，步骤一中，所述判断用户是否处于精神游离状态，是否将注意力集中在视觉前方采用实时检测瞳孔直径变化状态，判断用户注意状态；

判断用户注意状态中，对瞳孔的实时跟踪检测、对用户脑电波实时检测；

注意状态包括注意准备阶段、注意处理阶段、注意保持阶段、注意解除阶段；

判断用户是否处于注意保持阶段，若非注意保持阶段，则设备不进行任何操作，若为注意保持阶段则进行下一步操作；

当用户处于注意保持阶段，则触发眼动追踪模块获取人眼注视点方向与坐标；

当用户处于注意保持阶段，则触发图像识别模块获取人眼当前注视物体。

3.如权利要求1所述的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，步骤一中，处于非精神游离状态，则通过智能眼镜已有的眼动追踪模块获取用户此时的视觉注视点，并计算映射到真实三维世界和AR眼镜成像屏幕，实时判断用户注视点是否为真实世界物体还是智能眼镜所呈现的三维全息影像，智能眼镜通过双目视觉深度摄像头计算获得世界三维坐标；若处于精神游离状态则不进行任何操作；眼动坐标具体包括：人眼的注视点和眼球运动坐标向量并将人眼注视点映射在真实三维世界的和成像屏幕坐标。

4.如权利要求1所述的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，步骤一中，所述获取视觉注视点区域局部图像；如果用户注视智能眼镜所呈现的全息影像，则智能眼镜计算机系统内部进行截图指令或者直接与全息内容产生信息交互；如果用户注视现实场景中的真实对象，则截取注视点区域的真实场景图像；将获取的图像发送至图像识别模块进行处理。

5.如权利要求4所述的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，所述获取局部图像条件进一步包括：设备检测到用户注视同一物体超过一定时长；设备检测到用户视觉追踪物体，眼球持续移动了一段距离；设备检测到用户注视同一物体超过一定次数；设备检测到用户注视同一物体时瞳孔直径发生变化；设备检测到用户注视同一物体时生物电产生非一般信号；外部功能硬件设备给予的预设关联指令。

6.如权利要求1所述的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，步骤二中，所述对获取的图像内容进行人工智能识别分析、图像分割处理、识别、比对、理解，并根据内容进行功能分类，根据内容类别开启相应程序或者提供相应的服务、以及弹出一种或几种相关应用的通知之后根据图像分割处理结果，对用户所注视真实目标外围进行拟合的轮廓线标注，以此为用户提供确认选择的视觉反馈，轮廓线为MR智能眼镜所呈现的虚拟影像。

7.如权利要求1所述的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，步骤三中，所述根据图像识别、理解结果，智能眼镜的推荐系统智能地对相关应用、相关服务、相关信息的通知图标进行优先度排序，应用、服务、信息与通知图标为相关联关系，应用通知的图标标注在真实目标轮廓线外围，优先度排序根据用户情绪波动状态和真实目标本身的全息内容；

将大脑传送至面部和声带的肌肉神经信号识别为语言文字，并将指令传入AR眼镜系统，与所述全息目标进行交互控制，实现用户需求和指令的输入，即相关应用、相关服务、相关信息的选择。

8.如权利要求7所述的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，通过接收用户大脑传到面部和声带肌肉神经信号，设备对特定的肌肉神经信号进行检测识别成特定的语言文字信息，设备将该信息进行解读从而获取用户具体指令；根据用户指令对图像信息进行处理；当用户发出解读所注视物体的指令后，设备将通过光学成像模块自动呈现信息；

当设备检测到用户对所注视物体产生疑惑，设备则通过光学成像模块自动呈现信息；设备将获取的图像内容进行图像识别，将识别结果传输到云端数据库，数据库进行信息比对，筛选有效信息并传输回设备上；

信息包括注视物体的名称、注视物体的含义与解释、注视物体的组成成分、注视物体的使用信息。

9.如权利要求8所述的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，信息呈现中，设备触发眼动追踪模块与脑电波感应识别模块，始终对用户注视物体与阅读信息内容时产生的情绪与感觉的过程进行监测；

监测方式包括脑电监测、眼动追踪监测、肌内电监测、神经电监测、心跳监测、血压监测以及呼吸监测；对监测结果进行分析，得到用户注视某一物体和阅读信息时的感觉与情绪状态，并进行标记。

10.一种实施权利要求1所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法的全息影像的全息影像的信息获取交互控制系统，其特征在于，所述全息影像的信息获取交互控制系统包括：

眼动追踪模块，与中央处理系统连接，用于实时检测瞳孔直径变化状态，判断用户注意状态，视线映射；

脑电波感应识别模块，与中央处理系统连接，用于对用户脑电波实时检测；

神经肌肉感应模块，与中央处理系统连接，用于判断是否获取用户神经信号，如果有信号进行解读，没有信号则直接跳过；

光学成像模块，与中央处理系统连接，用于利用光学近显示器呈现检索答案或其他信息；

图像识别模块，与中央处理系统连接，用于获取到用户注意物体图像，设备进行图像识别与处理；

心跳和血压、体温检测模块，与中央处理系统连接，用于心跳和血压、体温检测；

肌内电监测模块，与中央处理系统连接，用于感应肌内电信号；

神经电监测模块，与中央处理系统连接，用于感应神经电信号；

中央处理系统，接受的上述模块传输的数据，进行计算分析判断是否发出局部图像获取指令；

网络通信模块，与中央处理系统连接，用于传输中央处理系统指令信息；

语言神经识别模块，与中央处理系统连接，接受来自用户的面部肌肉和声带肌肉的神经信号，并将所述神经信号分析识别成计算机可读的文字电子信息；

云端服务器，与中央处理系统连接，根据图像识别模块获得的图像识别结果预判断用户需求请求相应的服务类型和相关信息，同时接收到来自终端智能眼镜发送的三个指令信息进行图像的识别、指令的运算、数据库的检索最终获得答案信息，再将答案信息传送回智能眼镜终端，答案信息在智能眼镜光学屏幕上以全息影像的形式呈现用户注视物体的答案信息。

11.如权利要求10所述的全息影像的全息影像的信息获取交互控制系统，其特征在于，所述神经肌肉感应模块进一步包括：

触发神经肌肉感应模块，通过接收用户大脑传到面部和声带肌肉神经信号，设备对特定的肌肉神经信号进行检测识别成特定的语言文字信息，设备将该信息进行解读获取用户具体指令；根据用户指令对图像信息进行处理；当用户发出解读所注视物体的指令后，设备将通过光学成像模块自动呈现信息；当设备检测到用户对所注视物体产生疑惑，设备则通过光学成像模块自动呈现信息；设备将获取的图像内容进行图像识别，将识别结果传输到云端数据库，数据库进行信息比对，筛选有效信息并传输回设备上；

信息包括注视物体的一般名称、注视物体的一般含义与解释、注视物体的基本组成成分；

信息呈现中，设备触发眼动追踪模块与脑电波感应模块，始终对用户注视物体与阅读信息内容时产生的情绪与感觉的过程进行监测；

监测方式包括脑电监测、眼动追踪监测、肌内电监测、神经电监测、心跳监测、血压监测以及呼吸监测；对监测结果进行分析，得到用户注视某一物体和阅读信息时的感觉与情绪状态，并进行标记。

12.一种应用权利要求1～9任意一项所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法的MR智能眼镜。

13.一种应用权利要求1～9任意一项所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法的具有皮肤表面捕捉语言神经肌肉信号捕获功能和脑电波探测功能的HMD设备。

14.一种应用权利要求1～9任意一项所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法的通过识别用户对任何事物产生的疑惑感觉并通过图像识别进行信息反馈解答用户疑惑的近眼显示设备。

15.一种应用权利要求1～9任意一项所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法的可穿戴的界面控制系统，其特征在于，所述可穿戴的界面控制系统为用户在没有任何声音或任何可识别动作的情况下与计算设备进行无声交谈和交互，使用户与设备、人工智能助手、应用程序或其他人进行无声、隐蔽和无缝的交流。

16.一种应用权利要求1～9任意一项所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法的应用程序入口控制方法，其特征在于，所述应用程序入口控制方法通过对用户视觉注视区域的图像进行识别分析和以及根据用户个人情况和需求向用户进行第三方应用、服务的智能推荐，推荐方式在交互式世界中在注视物体旁边位置展示应用程序注释标识。

17.一种应用权利要求1～9任意一项所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法的信息数据处理终端。

18.一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行如权利要求1-9任意一项所述的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法。

19.一种应用权利要求1～9任意一项所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法的基于智能眼镜的新型应用商店。

20.一种应用权利要求1～9任意一项所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法的第三方应用程序上架、推广、下载平台。

Images