CN118151881A - 基于智能眼镜的信息提示方法、智能眼镜和存储介质 - Google Patents

Abstract

本发明提供一种基于智能眼镜的信息提示方法、智能眼镜和存储介质，该方法包括：在通过第一摄像头采集到包括第二用户的目标图像的情况下，通过所述处理器基于所述目标图像对所述第二用户进行人脸识别，得到目标人脸识别结果；通过所述处理器在用户画像库中确定与所述目标人脸识别结果对应的目标用户画像，所述用户画像库包括人脸识别结果和用户画像的对应关系；所述目标用户画像包括所述第二用户的个性化信息；通过所述处理器基于所述个性化信息，确定第一用户与所述第二用户进行沟通的目标策略；通过扬声器输出所述目标策略。本发明可以提高智能眼镜的智能化程度。

Description

基于智能眼镜的信息提示方法、智能眼镜和存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于智能眼镜的信息提示方法、智能眼镜和存储介质。

背景技术

随着科技的快速发展，智能设备已经深入到人们的日常生活中。智能眼镜作为智能设备的一种，以其便捷、直观和高效的特性，逐渐在众多领域中得到广泛应用。

目前的智能眼镜可以进行语音识别、播放音乐和拍摄照片等等。然而，该智能眼镜的智能化程度依然较低。因此，如何提升智能眼镜的智能化程度，是目前亟需解决的技术问题。

发明内容

本发明提供一种基于智能眼镜的信息提示方法、智能眼镜和存储介质，用以解决现有技术中智能眼镜的智能化程度较低的缺陷，实现提高智能眼镜的智能化程度的目的。

本发明提供一种基于智能眼镜的信息提示方法，所述智能眼镜包括镜框、镜腿、第一摄像头、扬声器和处理器，所述第一摄像头的镜头方向与佩戴所述智能眼镜的第一用户的视线方向相同，且所述第一摄像头设置在所述镜框上，所述扬声器设置在所述镜腿靠近弯折部的位置处，所述处理器分别和所述第一摄像头和所述扬声器连接；所述方法包括：

在通过所述第一摄像头采集到包括第二用户的目标图像的情况下，通过所述处理器基于所述目标图像对所述第二用户进行人脸识别，得到目标人脸识别结果；

通过所述处理器在用户画像库中确定与所述目标人脸识别结果对应的目标用户画像，所述用户画像库包括人脸识别结果和用户画像的对应关系；所述目标用户画像包括所述第二用户的个性化信息；

通过所述处理器基于所述个性化信息，确定第一用户与所述第二用户进行沟通的目标策略；

通过扬声器输出所述目标策略。

根据本发明提供的一种基于智能眼镜的信息提示方法，所述智能眼镜还包括与所述处理器连接的麦克风；所述方法还包括：

通过所述麦克风采集第一语音信息，并通过所述处理器提取所述第一语音信息中的声纹信息；

在通过所述处理器确定所述声纹信息中存在与所述第一用户的声纹不匹配的目标声纹信息的情况下，基于所述第一语音信息中与所述目标声纹信息对应的目标语音信息确定目标文本信息，并将所述目标文本信息输入至所述处理器中的大语言模型，得到所述大语言模型输出的与所述目标文本信息对应的知识信息；

通过所述扬声器输出所述知识信息。

根据本发明提供的一种基于智能眼镜的信息提示方法，所述基于所述第一语音信息中与所述目标声纹信息对应的目标语音信息确定目标文本信息，包括：

在接收到所述第一用户触发的第一输出指令的情况下，对所述目标语音信息进行分句处理，得到各分句；

对各所述分句进行语义理解，确定最后一个分句与其他分句之间的语义相关系数；

将最后一个分句和大于预设相关系数的所有语义相关系数对应的分句确定为第二语音信息；

对所述第二语音信息进行文本识别，得到所述目标文本信息。

根据本发明提供的一种基于智能眼镜的信息提示方法，所述通过所述扬声器输出所述知识信息，包括：

通过所述麦克风采集环境噪音；

通过所述处理器确定所述环境噪音的目标噪音音量；

基于噪音音量和输出音量的对应关系，确定所述目标噪音音量对应的目标输出音量；

通过所述扬声器按照所述目标输出音量输出所述知识信息。

根据本发明提供的一种基于智能眼镜的信息提示方法，所述方法还包括：

确定所述目标语音信息对应的目标语种；

在所述目标语种与预设语种不匹配的情况下，将所述目标语音信息输入至翻译模型，得到所述翻译模型输出的所述预设语种对应的翻译语音；

通过所述扬声器输出所述翻译语音。

根据本发明提供的一种基于智能眼镜的信息提示方法，所述智能眼镜还包括设置在所述镜框上的第二摄像头，所述第二摄像头的镜头方向与佩戴所述第一用户的视线方向相反；

所述方法还包括：

通过所述第二摄像头采集所述第一用户的眼部图像；

通过所述处理器基于所述眼部图像确定所述第一用户的目标眼部疲劳状态；

通过所述处理器基于眼部疲劳状态和提示信息的对应关系，确定所述目标眼部疲劳状态对应的目标提示信息；

通过所述扬声器输出所述目标提示信息。

根据本发明提供的一种基于智能眼镜的信息提示方法，所述通过所述处理器基于所述目标图像对所述第二用户进行人脸识别，得到目标人脸识别结果，包括：

在接收到所述第一用户触发的第二输出指令的情况下，通过所述处理器基于所述目标图像对所述第二用户进行人脸识别，得到目标人脸识别结果。

本发明还提供一种基于智能眼镜的信息提示装置，包括：

识别模块，用于在通过所述第一摄像头采集到包括第二用户的目标图像的情况下，基于所述目标图像对所述第二用户进行人脸识别，得到目标人脸识别结果；

确定模块，用于在用户画像库中确定与所述目标人脸识别结果对应的目标用户画像，所述用户画像库包括人脸识别结果和用户画像的对应关系；所述目标用户画像包括所述第二用户的个性化信息；

确定模块，还用于基于所述个性化信息，确定第一用户与所述第二用户进行沟通的目标策略；

输出模块，用于输出所述目标策略。

本发明还提供一种智能眼镜，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于智能眼镜的信息提示方法。

根据本发明提供的一种智能眼镜，还包括镜框、镜腿、第一摄像头和扬声器，所述第一摄像头的镜头方向与佩戴所述智能眼镜的第一用户的视线方向相同，且所述第一摄像头设置在所述镜框上，所述扬声器设置在所述镜腿靠近弯折部的位置处，所述处理器分别和所述第一摄像头和所述扬声器连接。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于智能眼镜的信息提示方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于智能眼镜的信息提示方法。

本发明提供的基于智能眼镜的信息提示方法、智能眼镜和存储介质，在通过第一摄像头采集到包括第二用户的目标图像的情况下，通过处理器基于目标图像对第二用户进行人脸识别，得到目标人脸识别结果后，通过处理器在用户画像库中确定与目标人脸识别结果对应的目标用户画像，该目标用户画像包括第二用户的个性化信息，通过处理器基于个性化信息，确定第一用户与第二用户进行沟通的目标策略，并通过扬声器输出该目标策略。由于可以基于对第二用户的目标人脸识别结果，确定包括第二用户的个性化信息的目标用户画像，从而确定出如何更好的与第二用户进行沟通的目标策略，从而可以提升智能眼镜的智能化程度。另外，在确定出目标策略后，通过扬声器直接输出该目标策略，避免了第一用户在与第二用户进行沟通时还需要手动查阅相关信息提前了解第二用户的相关信息，以确定如何与第二用户进行沟通的现象，提高了用户体验，而且节约了人力成本。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的智能眼镜的结构示意图；

图2为本发明实施例提供的基于智能眼镜的信息提示方法的流程示意图之一；

图3为本发明实施例提供的基于智能眼镜的信息提示方法的流程示意图之二；

图4为本发明实施例提供的基于智能眼镜的信息提示装置的结构示意图；

图5示例了一种电子设备的实体结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

随着科学技术的发展，智能眼镜的种类也越来越多，目前的智能眼镜通常都具备拍照、录像、拨打电话和播放音乐等基础功能。然而，该智能眼镜的智能化程度依然较低。因此，如何进一步提升智能眼镜的智能化程度，是目前亟需解决的技术问题。

本发明实施例中考虑到上述问题，提出了一种基于智能眼镜的信息提示方法，在该方法中，可以利用智能眼镜上原本设置的摄像头、扬声器和处理器，以通过摄像头采集和佩戴智能眼镜的第一用户交流的第二用户的目标图像，并通过处理器对第二用户的目标图像进行人脸识别，从而从预先构建的用户画像库中确定第二用户的目标用户画像，该目标用户画像中包括有第二用户的个性化信息，以基于该个性化信息，确定第一用户和第二用户进行沟通时的目标策略。通过该方式，可以避免第一用户在和第二用户进行沟通时，需要人为提前了解第二用户的相关信息或者个性化信息，并确定沟通的目标策略的现象，由于可以通过智能眼镜直接输出沟通的目标策略，提升了智能眼镜的智能化程度，由此可以方便用户之间的沟通，提升了用户的体验。

下面结合图1-图3对本发明实施例提供的基于智能眼镜的信息提示方法进行描述。本发明实施例可以适用于用户进行沟通或者交流的场景中，尤其是应用于需要提供沟通的目标策略以提高沟通质量的场景中。本方法的执行主体可以是智能眼镜、计算机、服务器、服务器集群或专门设计的基于智能眼镜的信息提示设备等电子设备，也可以是设置在该电子设备中的基于智能眼镜的信息提示装置，该基于智能眼镜的信息提示装置可以通过软件、硬件或两者的结合来实现。

图1为本发明实施例提供的智能眼镜的结构示意图，如图1所示，该智能眼镜包括镜框、镜腿、第一摄像头13、扬声器14和处理器(未示出)，第一摄像头13的镜头方向与佩戴智能眼镜的第一用户的视线方向相同，且第一摄像头13设置在镜框上，该扬声器14设置在镜腿靠近弯折部的位置处，处理器分别和第一摄像头13和扬声器14连接。

具体地，第一摄像头13的镜头方向与佩戴智能眼镜的第一用户的视线方向相同，且第一摄像头13可以设置在镜框的任意位置处，只要其能采集到除第一用户之外的其他用户的图像即可，例如采集和第一用户交流的第二用户的图像。另外，将扬声器14设置在镜腿靠近弯折部的位置处，这样，可以保证将扬声器14设置在靠近耳朵的位置。处理器与第一摄像头13和扬声器14连接，其可以用于对第一摄像头13采集的图像进行识别，并基于识别的信息进行其他处理。

进一步地，该智能眼镜还包括与处理器连接的麦克风15，该麦克风可以设置在镜框的任意位置处，只要能够采集到第一用户和第二用户的语音即可。

进一步地，该智能眼镜还包括设置在镜框上的第二摄像头16，第二摄像头16的镜头方向与佩戴第一用户的视线方向相反，其中，第二摄像头16可以设置在镜框对应眼部的位置，而且可以在左右各设置一个第二摄像头16，由此可以通过第二摄像头16清晰的采集到针对眼部的眼部图像。

图2为本发明实施例提供的基于智能眼镜的信息提示方法的流程示意图之一，如图2所示，该方法包括：

步骤201：在通过第一摄像头采集到包括第二用户的目标图像的情况下，通过处理器基于目标图像对第二用户进行人脸识别，得到目标人脸识别结果。

在本步骤中，第二用户为和佩戴智能眼镜的第一用户进行交流的用户。在通过设置在智能眼镜的镜框上的第一摄像头采集到的目标图像中包括第二用户时，第一摄像头会将采集到的目标图像发送至处理器。处理器会对目标图像进行图像分析，以对第二用户进行人脸识别，得到第二用户的目标人脸识别结果。

需要进行说明的是，为了避免误触发，还可以在智能眼镜上设置声音采集设备，例如麦克风，当采集到的目标图像中包括有第二用户、且在通过麦克风采集到第一用户和第二用户的语音时，说明此时第一用户和第二用户在进行沟通交流，则将采集到的目标图像发送至处理器进行人脸识别。

步骤202：通过处理器在用户画像库中确定与目标人脸识别结果对应的目标用户画像，用户画像库包括人脸识别结果和用户画像的对应关系；目标用户画像包括第二用户的个性化信息。

在本步骤中，预先构建的用户画像库中包括人脸识别结果和用户画像，其中，用户画像包括人脸识别结果对应的用户的属性信息和个性化信息，例如，该用户的姓名、年龄、性格以及喜好等。在一种可能的实现方式中，可以通过网络爬虫的方式从网络上获取多个用户的相关信息，或者基于用户注册的相关信息等方式收集多个用户的用户信息，其中，收集到的用户信息中包括有用户的人脸图像。将收集的用户信息输入至大语言模型中，从而得到大语言模型输出的该用户的个性化信息，将个性化信息和从用户信息中提取的属性信息组合成用户画像。另外，还可以对收集的人脸图像进行人脸识别，从而得到该用户的人脸识别结果，将人脸识别结果和用户画像的对应关系存储至用户画像库中。

在得到第二用户的目标人脸识别结果之后，通过查询用户画像库，可以得到与该目标人脸识别结果对应的目标用户画像，该目标用户画像中包括第二用户的属性信息和个性化信息，其中，个性化信息包括第二用户的性格、喜好或者偏好等。

步骤203：通过处理器基于个性化信息，确定第一用户与第二用户进行沟通的目标策略。

在本步骤中，处理器在确定出第二用户的个性化信息后，在一种可能的实现方式中，可以将该个性化信息输入至大语言模型中，得到大语言模型输出的第一用户与第二用户进行沟通时的目标策略。在另一种可能的实现方式中，也可以预先建立个性化信息和策略之间的对应关系，通过查询该对应关系，可以确定出与第二用户的个性化信息对应的目标策略。其中，第一用户与第二用户进行沟通的目标策略，可以理解为第一用户和第二用户进行沟通时的沟通方式或者沟通技巧等。

例如，若基于第二用户的个性化信息确定第二用户喜欢历史知识，则可以确定沟通的目标策略为多分享历史故事或请教历史信息等等，从而可以使得第一用户和第二用户的沟通更加高效和顺畅。

步骤204：通过扬声器输出目标策略。

在本步骤中，在确定出目标策略之后，可以通过扬声器输出该目标策略。由于扬声器设置在智能眼镜的镜腿靠近弯折部的位置处，因此，可以方便第一用户清晰的听到该目标策略，从而可以基于该目标策略与第二用户进行沟通。

本发明实施例提供的基于智能眼镜的信息提示方法，在通过第一摄像头采集到包括第二用户的目标图像的情况下，通过处理器基于目标图像对第二用户进行人脸识别，得到目标人脸识别结果后，通过处理器在用户画像库中确定与目标人脸识别结果对应的目标用户画像，该目标用户画像包括第二用户的个性化信息，通过处理器基于个性化信息，确定第一用户与第二用户进行沟通的目标策略，并通过扬声器输出该目标策略。由于可以基于对第二用户的目标人脸识别结果，确定包括第二用户的个性化信息的目标用户画像，从而确定出如何更好的与第二用户进行沟通的目标策略，从而可以提升智能眼镜的智能化程度。另外，在确定出目标策略后，通过扬声器直接输出该目标策略，避免了第一用户在与第二用户进行沟通时还需要手动查阅相关信息提前了解第二用户的相关信息，以确定如何与第二用户进行沟通的现象，提高了用户体验，而且节约了人力成本。

图3为本发明实施例提供的基于智能眼镜的信息提示方法的流程示意图之二，该实施例在图2所示实施例的基础上，智能眼镜还可以对第二用户提出的问题或者知识点输出对应的知识信息，如图3所示，该方法包括：

步骤301：通过麦克风采集第一语音信息，并通过处理器提取第一语音信息中的声纹信息。

步骤302：在通过处理器确定声纹信息中存在与第一用户的声纹不匹配的目标声纹信息的情况下，基于第一语音信息中与目标声纹信息对应的目标语音信息确定目标文本信息，并将目标文本信息输入至处理器中的大语言模型，得到大语言模型输出的与目标文本信息对应的知识信息。

步骤303：通过扬声器输出所述知识信息。

具体地，当第一用户在和第二用户进行交流时，第二用户可能会对第一用户进行提问或者其他问题的咨询，如第一用户为导游，第二用户为游客时，游客在参观景点时经常会问导游一些关于景点的问题。又例如，若第二用户为第一用户的客户时，在进行商业交流的过程中，第二用户可能会对第一用户进行提问或者咨询。为了能够更好的应对第二用户提出的问题或者对第二用户提出的相关知识点进行解答，可以通过智能眼镜调用大语言模型输出与上述问题或者知识点相关的知识信息。

其中，通过智能眼镜的麦克风采集的第一语音信息中可能仅包括第一用户的语音，也可能仅包括第二用户的语音，还可能同时包括有第一用户和第二用户的语音。通过处理器对采集到的第一语音信息进行声纹识别，从而可以提取出第一语音信息中包括的声纹信息。

在确定声纹信息中存在和第一用户的声纹不匹配的目标声纹信息时，说明该第一语音信息中包括有除第一用户之外的其他用户的语音，从而可以从第一语音信息中提取目标声纹信息对应的目标语音信息，可以理解的是，该目标语音信息即为除第一用户之外的其他用户的语音。

在提取出目标语音信息后，可以基于该目标语音信息确定目标文本信息，例如可以直接将目标语音信息进行语音识别，从而转换为目标文本信息，也可以将目标语音信息对应的文本输入至大语言模型中，通过大语言模型进行语义识别之后，提取出问题文本或者包含预设知识点的文本，将该问题文本或包含预设知识点的文本确定为目标文本信息。进一步地，将得到的目标文本信息输入至在处理器中部署的大语言模型中，从而可以得到大语言模型输出的与目标文本信息对应的知识信息，并通过扬声器输出该知识信息。

在本实施例中，可以从第一语音信息中提取除第一用户的语音之外的其他用户的目标语音信息，并基于该目标语音信息确定目标文本信息后，将目标文本信息输入至大语言模型中，得到大语言模型输出的与目标文本信息对应的知识信息。这样，第一用户在和第二用户进行交流时，可以快速的得到第二用户提出的问题或者知识点对应的知识信息，从而可以进一步提升智能眼镜的智能化程度，提高了用户之间交流的效果和效率，进而提高了用户的交流体验。

示例性的，在上述实施例的基础上，在基于第一语音信息中与目标声纹信息对应的目标语音信息确定目标文本信息时，可以是在接收到第一用户触发的第一输出指令的情况下，对目标语音信息进行分句处理，得到各分句；对各分句进行语义理解，确定最后一个分句与其他分句之间的语义相关系数；将最后一个分句和大于预设相关系数的所有语义相关系数对应的分句确定为第二语音信息；对第二语音信息进行文本识别，得到目标文本信息。

具体地，为了避免智能眼镜对第二用户提出的每个问题以及知识点都输出相关的知识信息，从而频繁输出知识信息对第一用户造成干扰的现象，在本发明实施例中，可以是在接收到第一用户触发的第一输出指令的情况下，再确定目标文本信息。其中，第一输出指令可以为对智能眼镜进行触碰后生成的指令，也可以为语音指令，还可以为手势指令等，只要能触发智能眼镜进行目标文本信息生成即可。

另外，前述实施例中的第一语音信息可以理解为以当前时刻为结束时刻的历史时间段内的语音，由于此时第二用户的问题可能已经提问，或者交流的知识点已经说出，因此，还需要结合第一语音信息中第二用户在历史时间段内的所有目标语音信息，确定所有与该问题或者知识点相关的内容。故在接收到第一输出指令时，会对目标语音信息进行分句处理，从而得到各分句，并对每个分句进行语义理解，得到各分句的语义理解结果。另外，第一用户通常会在需要获知知识信息时，才会输入第一输出指令，因此，在输入第一输出指令时对应的分句就可以理解为第一用户想要获知答案或者知识点的最关键的问题或者知识点，其中，在输入第一输出指令时对应的分句通常为上述得到的各分句中的最后一个分句。应理解，通常在第二用户提出该问题或者知识点之前，第一用户和第二用户可能就该问题已经讨论或者交流过，因此，还需要结合第一用户和第二用户之前已经沟通交流过的语音，进一步补充与最后一个分句相关的分句。可以理解的是，若最后一个分句中包括有问题或者知识点时，通常包含该问题或者知识点的句子之间会存在一定的相关性，因此，可以确定最后一个分句与其他分句之间的语义相关系数，将最后一个分句和大于预设相关系数的所有语义相关系数对应的分句确定为第二语音信息。其中，大于预设相关系数的所有语义相关系数对应的分句即为与最后一个分句中包括的问题或者知识点具有关联关系的分句。上述的预设相关系数可以根据经验或者实际情况进行设置，对于预设相关系数的具体取值，本发明实施例在此不做限制。

在确定出第二语音信息之后，对该第二语音信息进行文本识别，从而可以得到目标文本信息。该目标文本信息即为包含第一用户想要获取知识信息的问题或知识点相关的所有内容。

在本实施例中，在接收到第一用户触发的第一输出指令时，才会触发确定目标文本信息，从而可以避免由于频繁输出知识信息对第一用户造成干扰的现象，提升了用户的体验。另外，通过对目标语音信息进行分句处理，得到各分句后，再对各分句进行语义理解，确定最后一个分句和其他分句之间的语义相关系数，从而可以基于语义相关系数确定第二语音信息，以对该第二语音信息进行文本识别，得到目标文本信息，由于最后一个分句中包括有与知识信息最相关的内容，而且目标文本信息中不仅包括有最后一个分句，还包括有和最后一个分句的语义相似度接近的分句，因此，使得确定出的目标文本信息的准确度较高且更全面，进而可以提升确定出的知识信息的准确性。

示例性的，在上述各实施例的基础上，在通过扬声器输出知识信息时，可以通过麦克风采集环境噪音；通过处理器确定环境噪音的目标噪音音量；基于噪音音量和输出音量的对应关系，确定目标噪音音量对应的目标输出音量；通过扬声器按照目标输出音量输出知识信息。

具体地，若第一用户和第二用户处于比较噪杂的环境中，当知识信息的输出音量较低时，将不利于第一用户获取该知识信息。若第一用户和第二用户处于比较安静的环境中时，当知识信息的输出音量较高时，则第二用户可能也会听到智能眼镜输出的知识信息，会大大降低双方的沟通体验。为了解决上述问题，在本发明实施例中，可以通过设置在智能眼镜上的麦克风采集环境噪音，并通过处理器确定该环境噪音的目标噪音音量。其中，可以通过测量环境噪音的振幅来确定目标噪音音量。

另外，可以预先设置噪音音量和输出音量之间的对应关系，例如，在噪音音量为AdB时，对应的输出音量为BdB，应理解，噪音音量和输出音量呈正相关关系，也即噪音音量越大，输出音量越大。

在确定出目标噪音音量后，通过查询噪音音量和输出音量之间的对应关系，可以确定出与目标噪音音量对应的目标输出音量，这样，扬声器就可以按照目标输出音量输出知识信息。

在本实施例中，通过确定采集的环境噪声对应的目标噪音音量，并基于该目标噪音音量对应的目标输出音量，从而按照该目标输出音量输出知识信息，因此，可以基于环境噪音的噪音音量灵活的调整知识信息输出的输出音量。

示例性的，为了提升智能眼镜的智能化程度，该智能眼镜还具备有翻译功能。可选地，通过确定目标语音信息对应的目标语种；在目标语种与预设语种不匹配的情况下，将目标语音信息输入至翻译模型，得到翻译模型输出的预设语种对应的翻译语音；通过扬声器输出翻译语音。

具体地，在确定麦克风采集的第一语音信息中包含有除第一用户的语音之外的其他用户的目标语音信息的情况下，将确定目标语音信息的目标语种，如英语、法语或者俄语等。当目标语种和预设语种不匹配时，说明需要对目标语音信息进行翻译，可以将目标语音信息输入至翻译模型，从而得到翻译模型输出的与预设语种对应的翻译语音，并通过扬声器输出翻译语音。其中，预设语种可以为默认语种，如汉语，或者也可以为第一用户根据自身的需求预先设置并存储的语种。

在本实施例中，在第二用户的目标语音信息对应的目标语种与预设语种不匹配时，可以将目标语音信息输入至翻译模型中进行翻译，从而输出与预设语种对应的翻译语音，从而可以进一步提升智能眼镜的智能化程度，而且可以方便用户之间的交流，提升交流效果，提高了用户的交流体验。

示例性的，在上述各实施例的基础上，该智能眼镜还包括设置在镜框上的第二摄像头，第二摄像头的镜头方向与佩戴第一用户的视线方向相反，则可以通过第二摄像头采集第一用户的眼部图像；通过处理器基于眼部图像确定第一用户的目标眼部疲劳状态；通过处理器基于眼部疲劳状态和提示信息的对应关系，确定目标眼部疲劳状态对应的目标提示信息；通过扬声器输出目标提示信息。

具体地，可以在智能眼镜镜框的任意位置处设置第二摄像头，该第二摄像头的镜头方向和第一摄像头的镜头方向相反，也即第一摄像头用于采集与第一用户交流的第二用户的图像，而第二摄像头则用于采集第一用户自身的相关信息。

通过第二摄像头采集到第一用户的眼部图像后，可以通过处理器对该眼部图像进行图像分析，以确定第一用户的目标眼部疲劳状态，该目标眼部疲劳状态例如可以包括存在黑眼圈或有红血丝等，也可以将从眼部图像中识别到的所有信息输入至眼部疲劳状态确定模型中，可以得到眼部疲劳状态确定模型输出的目标眼部疲劳状态。

在处理器中可以预先设置眼部疲劳状态和提示信息之间的对应关系，例如眼部疲劳状态为存在黑眼圈，则对应的提示信息为“不要熬夜，早点休息”，若眼部疲劳状态为有红血丝，则对应的提示信息为“减少看电子产品的时间”等。在确定出目标眼部疲劳状态后，可以基于上述预先设置的对应关系，确定与该目标眼部疲劳状态对应的目标提示信息，从而可以通过扬声器输出该目标提示信息。

在本实施例中，通过采集第一用户的眼部图像，并基于眼部图像确定出第一用户的目标眼部疲劳状态后，可以确定出目标眼部疲劳状态对应的目标提示信息，因此，可以通过智能眼镜智能化的提示第一用户的眼部状态，从而可以丰富智能眼镜的功能，且进一步提高了智能眼镜的智能化程度。

示例性的，在上述各实施例的基础上，在通过处理器基于目标图像对第二用户进行人脸识别，得到目标人脸识别结果时，可以是在接收到第一用户触发的第二输出指令的情况下，通过处理器基于目标图像对第二用户进行人脸识别，得到目标人脸识别结果。

具体地，为了避免只要存在和第一用户交流的第二用户时，智能眼镜就会输出沟通的目标策略，从而对第一用户造成干扰的现象，在本实施例中，可以是在接收到第一用户触发的第二输出指令的情况下，再基于目标图像对第二用户进行人脸识别，从而基于得到的目标人脸识别结果按照前述各实施例中所述的方式进行目标策略的确定。

其中，第二输出指令可以是对智能眼镜进行触碰后生成的指令，也可以为语音指令，还可以为手势指令等，只要能触发智能眼镜进行人脸识别即可。

在本实施例中，只有在接收到第一用户触发的第二输出指令时，才会基于目标图像对第二用户进行人脸识别，从而可以避免对第一用户造成的干扰，使得智能眼镜的智能化程度更高，而且可以提升用户的体验。

示例性的，上述智能眼镜还可以基于第一摄像头采集路面信息，从而进行路面情况的提醒，第二摄像头还可以采集第一用户的人眼虹膜图像，从而进行用户的身份识别。

示例性的，上述智能眼镜中还包括微型电源，其用于为第一摄像头、第二摄像头、处理器、麦克风和扬声器等器件提供电能。

示例性的，上述智能眼镜中还包括网络连接模块，处理器和网络连接模块连接，可以用于进行导航。

示例性的，上述智能眼镜还具备护眼功能，该智能眼镜采用了蓝光滤镜和防眩光设计等，这些设计可以保护第一用户的眼睛，降低使用电子设备时的眼睛压力。

示例性的，上述智能眼镜的处理器中还包括语音识别模块，通过语音识别模块可以对第一用户输入的语音命令进行识别，从而实现与第一用户的语音交互。例如，第一用户可以通过语音命令来控制智能眼镜的各项功能，例如拍照、录像和播放音乐等。

示例性的，上述智能眼镜还可以通过处理器进行人脸识别，从而为第一用户提供更高级的安全性。

示例性的，上述智能眼镜还具备自动调焦功能，其中，智能眼镜采用了光学技术，可以根据第一用户的视力需求自动调整透镜的焦距，从而提供清晰的视野。此外，智能眼镜还可以识别第一用户的眼睛动态，为第一用户提供最佳的视觉体验。

示例性的，上述智能眼镜还具备看3D电影功能，该智能眼镜支持渲染3D影像，第一用户可以通过智能眼镜欣赏3D电影。智能眼镜通过左右两只眼睛分别投影不同的图像，从而创造出立体视觉效果。此外，智能眼镜还可以播放常规的2D电影，第一用户可以根据需求选择合适的模式。

示例性的，上述智能眼镜中的第二摄像头将基于采集到的画面，根据用户视觉损伤程度，调整对应的画面大小和明暗，来满足数据损伤只能看到不足一米的人员使用。

示例性的，上述智能眼镜对于弱视或者色盲人群，可以在生成的画面中调整颜色或者调整画面大小和明暗，从而可以达到辅助弱视或色盲人群观察物体的目的。

本发明实施例提供的智能眼镜，通过将多种传感器和硬件设备协同使用，使智能眼镜具有多样化的用途，提升了智能眼镜的智能化程度，而且可以避免用户购买多个设备或者携带多个设备的问题。

下面对本发明提供的基于智能眼镜的信息提示装置进行描述，下文描述的基于智能眼镜的信息提示装置与上文描述的基于智能眼镜的信息提示方法可相互对应参照。

图4为本发明实施例提供的基于智能眼镜的信息提示装置的结构示意图，如图4所示，该基于智能眼镜的信息提示装置400包括：

识别模块401，用于在通过所述第一摄像头采集到包括第二用户的目标图像的情况下，基于所述目标图像对所述第二用户进行人脸识别，得到目标人脸识别结果；

确定模块402，用于在用户画像库中确定与所述目标人脸识别结果对应的目标用户画像，所述用户画像库包括人脸识别结果和用户画像的对应关系；所述目标用户画像包括所述第二用户的个性化信息；

确定模块402，还用于基于所述个性化信息，确定第一用户与所述第二用户进行沟通的目标策略；

输出模块403，用于输出所述目标策略。

在一种示例实施例中，所述装置还包括：采集模块、提取模块和输入模块，其中：

采集模块，用于采集第一语音信息；

提取模块，用于提取所述第一语音信息中的声纹信息；

确定模块402，还用于在确定所述声纹信息中存在与所述第一用户的声纹不匹配的目标声纹信息的情况下，基于所述第一语音信息中与所述目标声纹信息对应的目标语音信息确定目标文本信息；

输入模块，用于将所述目标文本信息输入至所述处理器中的大语言模型，得到所述大语言模型输出的与所述目标文本信息对应的知识信息；

输出模块403，用于输出所述知识信息。

在一种示例实施例中，确定模块402，具体用于：

在接收到所述第一用户触发的第一输出指令的情况下，对所述目标语音信息进行分句处理，得到各分句；

对各所述分句进行语义理解，确定最后一个分句与其他分句之间的语义相关系数；

将最后一个分句和大于预设相关系数的所有语义相关系数对应的分句确定为第二语音信息；

对所述第二语音信息进行文本识别，得到所述目标文本信息。

在一种示例实施例中，输出模块403，具体用于：

采集环境噪音；

确定所述环境噪音的目标噪音音量；

基于噪音音量和输出音量的对应关系，确定所述目标噪音音量对应的目标输出音量；

按照所述目标输出音量输出所述知识信息。

在一种示例实施例中，确定模块，还用于确定所述目标语音信息对应的目标语种；

输入模块，还用于在所述目标语种与预设语种不匹配的情况下，将所述目标语音信息输入至翻译模型，得到所述翻译模型输出的所述预设语种对应的翻译语音；

输出模块，还用于输出所述翻译语音。

在一种示例实施例中，采集模块，用于采集所述第一用户的眼部图像；

确定模块402，还用于基于所述眼部图像确定所述第一用户的目标眼部疲劳状态；

确定模块402，还用于基于眼部疲劳状态和提示信息的对应关系，确定所述目标眼部疲劳状态对应的目标提示信息；

输出模块403，还用于输出所述目标提示信息。

在一种示例实施例中，识别模块401，具体用于：

在接收到所述第一用户触发的第二输出指令的情况下，通过所述处理器基于所述目标图像对所述第二用户进行人脸识别，得到目标人脸识别结果。

本实施例的装置，可以用于执行基于智能眼镜的信息提示方法侧实施例中任一实施例的方法，其具体实现过程与技术效果与基于智能眼镜的信息提示方法侧实施例中类似，具体可以参见基于智能眼镜的信息提示方法侧实施例中的详细介绍，此处不再赘述。

图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(Communications Interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行基于智能眼镜的信息提示方法，该方法包括：在通过所述第一摄像头采集到包括第二用户的目标图像的情况下，通过所述处理器基于所述目标图像对所述第二用户进行人脸识别，得到目标人脸识别结果；通过所述处理器在用户画像库中确定与所述目标人脸识别结果对应的目标用户画像，所述用户画像库包括人脸识别结果和用户画像的对应关系；所述目标用户画像包括所述第二用户的个性化信息；通过所述处理器基于所述个性化信息，确定第一用户与所述第二用户进行沟通的目标策略；通过扬声器输出所述目标策略。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于智能眼镜的信息提示方法，该方法包括：在通过所述第一摄像头采集到包括第二用户的目标图像的情况下，通过所述处理器基于所述目标图像对所述第二用户进行人脸识别，得到目标人脸识别结果；通过所述处理器在用户画像库中确定与所述目标人脸识别结果对应的目标用户画像，所述用户画像库包括人脸识别结果和用户画像的对应关系；所述目标用户画像包括所述第二用户的个性化信息；通过所述处理器基于所述个性化信息，确定第一用户与所述第二用户进行沟通的目标策略；通过扬声器输出所述目标策略。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于智能眼镜的信息提示方法，该方法包括：在通过所述第一摄像头采集到包括第二用户的目标图像的情况下，通过所述处理器基于所述目标图像对所述第二用户进行人脸识别，得到目标人脸识别结果；通过所述处理器在用户画像库中确定与所述目标人脸识别结果对应的目标用户画像，所述用户画像库包括人脸识别结果和用户画像的对应关系；所述目标用户画像包括所述第二用户的个性化信息；通过所述处理器基于所述个性化信息，确定第一用户与所述第二用户进行沟通的目标策略；通过扬声器输出所述目标策略。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种基于智能眼镜的信息提示方法，其特征在于，所述智能眼镜包括镜框、镜腿、第一摄像头、扬声器和处理器，所述第一摄像头的镜头方向与佩戴所述智能眼镜的第一用户的视线方向相同，且所述第一摄像头设置在所述镜框上，所述扬声器设置在所述镜腿靠近弯折部的位置处，所述处理器分别和所述第一摄像头和所述扬声器连接；所述方法包括：

在通过所述第一摄像头采集到包括第二用户的目标图像的情况下，通过所述处理器基于所述目标图像对所述第二用户进行人脸识别，得到目标人脸识别结果；

通过所述处理器在用户画像库中确定与所述目标人脸识别结果对应的目标用户画像，所述用户画像库包括人脸识别结果和用户画像的对应关系；所述目标用户画像包括所述第二用户的个性化信息；

通过所述处理器基于所述个性化信息，确定第一用户与所述第二用户进行沟通的目标策略；

通过扬声器输出所述目标策略。

2.根据权利要求1所述的基于智能眼镜的信息提示方法，其特征在于，所述智能眼镜还包括与所述处理器连接的麦克风；所述方法还包括：

通过所述麦克风采集第一语音信息，并通过所述处理器提取所述第一语音信息中的声纹信息；

在通过所述处理器确定所述声纹信息中存在与所述第一用户的声纹不匹配的目标声纹信息的情况下，基于所述第一语音信息中与所述目标声纹信息对应的目标语音信息确定目标文本信息，并将所述目标文本信息输入至所述处理器中的大语言模型，得到所述大语言模型输出的与所述目标文本信息对应的知识信息；

通过所述扬声器输出所述知识信息。

3.根据权利要求2所述的基于智能眼镜的信息提示方法，其特征在于，所述基于所述第一语音信息中与所述目标声纹信息对应的目标语音信息确定目标文本信息，包括：

在接收到所述第一用户触发的第一输出指令的情况下，对所述目标语音信息进行分句处理，得到各分句；

对各所述分句进行语义理解，确定最后一个分句与其他分句之间的语义相关系数；

将最后一个分句和大于预设相关系数的所有语义相关系数对应的分句确定为第二语音信息；

对所述第二语音信息进行文本识别，得到所述目标文本信息。

4.根据权利要求2或3所述的基于智能眼镜的信息提示方法，其特征在于，所述通过所述扬声器输出所述知识信息，包括：

通过所述麦克风采集环境噪音；

通过所述处理器确定所述环境噪音的目标噪音音量；

基于噪音音量和输出音量的对应关系，确定所述目标噪音音量对应的目标输出音量；

通过所述扬声器按照所述目标输出音量输出所述知识信息。

5.根据权利要求2或3所述的基于智能眼镜的信息提示方法，其特征在于，所述方法还包括：

确定所述目标语音信息对应的目标语种；

在所述目标语种与预设语种不匹配的情况下，将所述目标语音信息输入至翻译模型，得到所述翻译模型输出的所述预设语种对应的翻译语音；

通过所述扬声器输出所述翻译语音。

6.根据权利要求1-3任一项所述的基于智能眼镜的信息提示方法，其特征在于，所述智能眼镜还包括设置在所述镜框上的第二摄像头，所述第二摄像头的镜头方向与佩戴所述第一用户的视线方向相反；

所述方法还包括：

通过所述第二摄像头采集所述第一用户的眼部图像；

通过所述处理器基于所述眼部图像确定所述第一用户的目标眼部疲劳状态；

通过所述处理器基于眼部疲劳状态和提示信息的对应关系，确定所述目标眼部疲劳状态对应的目标提示信息；

通过所述扬声器输出所述目标提示信息。

7.根据权利要求1-3任一项所述的基于智能眼镜的信息提示方法，其特征在于，所述通过所述处理器基于所述目标图像对所述第二用户进行人脸识别，得到目标人脸识别结果，包括：

在接收到所述第一用户触发的第二输出指令的情况下，通过所述处理器基于所述目标图像对所述第二用户进行人脸识别，得到目标人脸识别结果。

8.一种智能眼镜，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述基于智能眼镜的信息提示方法。

9.根据权利要求8所述的智能眼镜，其特征在于，还包括镜框、镜腿、第一摄像头和扬声器，所述第一摄像头的镜头方向与佩戴所述智能眼镜的第一用户的视线方向相同，且所述第一摄像头设置在所述镜框上，所述扬声器设置在所述镜腿靠近弯折部的位置处，所述处理器分别和所述第一摄像头和所述扬声器连接。

10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述基于智能眼镜的信息提示方法。