CN111524518B - 增强现实处理方法及装置、存储介质和电子设备 - Google Patents

Abstract

本公开提供了一种增强现实处理方法、增强现实处理装置、计算机可读存储介质和电子设备，涉及增强现实技术领域。该增强现实处理方法包括：获取语音信息的关键词；搜索与关键词相关的信息，确定与关键词对应的相关信息集合；将相关信息集合发送给增强现实设备，以便增强现实设备将相关信息集合包含的信息显示在增强现实设备的显示界面上。本公开提高了获知信息的便利性。

Description

增强现实处理方法及装置、存储介质和电子设备

技术领域

本公开涉及增强现实技术领域，具体而言，涉及一种增强现实处理方法、增强现实处理装置、计算机可读存储介质和电子设备。

背景技术

增强现实(Augmented Reality，简称AR)，也被称为扩增现实，是一种使真实世界信息和虚拟世界信息结合在一起的技术，增强现实技术不仅能够有效体现出真实世界的内容，也能够促使虚拟的信息内容显示出来。

在日常生活、工作、交流的过程中，用户往往会遇到一些词、句不熟悉的问题，此时，可以通过互联网的搜索页面来对这些词、句进行搜索，得知其含义。

然而，这个过程需要在打开相应搜索页面后再输入待查询的信息，操作较繁琐、实时性差，并且可能需要一些手动操作，尤其在实时交流的场景中，影响了沟通效率。

发明内容

本公开提供一种增强现实处理方法、增强现实处理装置、计算机可读存储介质和电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的查询信息时操作繁琐、实时性差的问题。

根据本公开的第一方面，提供了一种应用于信息搜索设备的增强现实处理方法，包括：获取语音信息的关键词；搜索与关键词相关的信息，确定与关键词对应的相关信息集合；将相关信息集合发送给增强现实设备，以便增强现实设备将相关信息集合包含的信息显示在增强现实设备的显示界面上。

根据本公开的第二方面，提供了一种应用于增强现实设备的增强现实处理方法，包括：获取与语音信息的关键词对应的相关信息集合；将相关信息集合包含的信息显示在增强现实设备的显示界面上。

根据本公开的第三方面，提供了一种应用于信息搜索设备的增强现实处理装置，包括：关键词获取模块，用于获取语音信息的关键词；相关信息确定模块，用于搜索与关键词相关的信息，确定与关键词对应的相关信息集合；相关信息发送模块，用于将相关信息集合发送给增强现实设备，以便增强现实设备将相关信息集合包含的信息显示在增强现实设备的显示界面上。

根据本公开的第四方面，提供了一种应用于增强现实设备的增强现实处理装置，包括：相关信息获取模块，用于获取与语音信息的关键词对应的相关信息集合；相关信息显示模块，用于将相关信息集合包含的信息显示在增强现实设备的显示界面上。

根据本公开的第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的增强现实处理方法。

根据本公开的第六方面，提供了一种电子设备，包括处理器；存储器，用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得所述处理器实现上述的增强现实处理方法。

在本公开的一些实施例所提供的技术方案中，信息搜索设备获取语音信息的关键词，搜索与关键词相关的信息，确定出相关信息集合，并将该相关信息集合发送给增强现实设备，增强现实设备将相关信息集合包含的信息显示在增强现实设备的显示界面上。一方面，信息搜索设备自动确定出与语音信息的关键词对应的相关信息集合，发送给增强现实设备显示，整个过程可以没有用户的手动操作，仅基于用户发出的语音信号即可完成搜索及相关内容显示的过程，方便快捷，尤其在实时交流的场景下，可以快速显示出相关内容，实时性佳，大大提高了用户间沟通的效率；另一方面，本公开的示例性方案将搜索相关信息的过程配置于信息搜索设备上完成，减轻了增强现实设备的处理压力及存储压力，有助于增强现实设备小型化、轻便化的发展趋势。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的增强现实处理方法或增强现实处理装置的示例性系统架构的示意图；

图2示出了适于用来实现本公开实施例的电子设备的结构示意图；

图3示意性示出了根据本公开的示例性实施方式的应用于信息搜索设备的增强现实处理方法的流程图；

图4示意性示出了根据本公开的示例性实施方式的应用于增强现实设备的增强现实处理方法的流程图；

图5示意性示出了根据本公开一个实施例的实现增强现实的整个过程的交互图；

图6示出了根据本公开的示例性实施方式的增强现实处理方案的一个应用场景的示意图；

图7示出了根据本公开的示例性实施方式的增强现实处理方案的另一个应用场景的示意图；

图8示意性示出了根据本公开的示例性实施方式的应用于信息搜索设备的增强现实处理装置的方框图；

图9示意性示出了根据本公开的示例性实施方式的应用于增强现实设备的增强现实处理装置的方框图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

附图中所示的流程图仅是示例性说明，不是必须包括所有的步骤。例如，有的步骤还可以分解，而有的步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。另外，下面所有的术语“第一”、“第二”仅是为了区分的目的，不应作为本公开内容的限制。

图1示出了可以应用本公开实施例的增强现实处理方法或增强现实处理装置的示例性系统架构的示意图。

如图1所示，系统架构可以包括信息搜索设备11和增强现实设备12。其中，信息搜索设备11是确定关键词并进行搜索操作的设备，虽然图1中以手机的形式示出，然而，信息搜索设备11还可以是平板、便携式计算机、智能手表等。增强现实设备12是具体实现虚实结合的设备，虽然图1中以AR眼镜的形式示出，然而，增强显示设备12还可以是AR头盔等可穿戴设备。

另外，信息搜索设备11与增强设备12通常可以无线连接，例如，通过蓝牙、WiFi热点的方式实现数据交互。也可以通过有线的方式连接。

在本公开示例性实施方式的方案中，信息搜索设备11可以录入语音信息，获知语音信息的关键词，并基于本地资源或互联网云端资源搜索与关键词相关的信息，确定与关键词对应的相关信息集合，并将该相关信息集合发送给增强现实设备12。增强现实设备12可以将该相关信息集合显示在增强显示设备的显示界面上，以便用户肉眼能够看到，以AR眼镜为例，通过光机将该相关信息集合投射到AR眼镜的显示镜片上。

在一些实施例中，在用户A持有信息搜索设备11并佩戴增强现实设备12的情况下，在用户A和用户B当面交流的过程中，信息搜索设备11可以录入用户B说出的语音，并提取其中的关键词，对搜索与关键词相关的信息。在获取到相关信息后，信息搜索设备11可以将相关信息通过无线的方式发送给增强现实设备12，并在增强现实设备12的显示界面上显示出该相关信息。由此，用户A可以充分了解用户B的说话内容，提高沟通效率。

在另一些实施例中，用户A还可以自行对想获知的信息进行搜索。例如，当用户不理解一个词语的含义时，可以说出该词语。此时，信息搜索设备11可以将该词语作为关键词进行相关信息的搜索，并将搜索得到的信息发送给增强现实设备12进行显示。此过程无需用户A进行手动操作，仅需说包含关键词的语音信息，即可从增强现实设备12的显示内容中获知与该关键词相关的内容，方便快捷。

在又一些实施例中，信息搜索设备11的备忘录中记录了若干工作、生活相关的内容，在内容较多的情况下，用户A可以说出一关键词，此时，可以在增强现实设备12的显示界面上显示与该关键词对应的备忘录内容。例如，用户A的备忘录中有一项记录的是旅游需带的物品，在用户A说出“旅游”或“出游”时，信息搜索设备11可以从备忘录中搜索到对应的内容，并显示在增强现实设备12的显示界面上，例如，在AR眼镜上即可显示出“旅游要带牙刷、墨镜、充电器、…”这一文字信息。

上述场景仅是示例性的描述，本领域技术人员可以基于本公开内容的构思联想到其他应用场景，然而，这些均属于本公开的保护范围。

需要注意的是，虽然本公开的示例性实施方式以信息搜索设备11和增强显示设备12相结合的方式进行描述，然而，本公开的构思还可以包括仅利用增强现实设备12实现本公开方案的处理过程。

具体的，增强显示设备12可以获取语音信息的关键词，并对关键词进行搜索，得到对应的相关信息集合，并显示该相关信息集合包含的信息。以AR眼镜为例，AR眼镜配备的麦克风可以采集语音，并在提取语音的关键词后进行关键词搜索，得到与关键词对应的相关信息，并通过光机将相关信息投射到眼镜镜片上进行显示。

由此，可以不需要例如手机的信息搜索设备，在AR眼镜的处理能力足够的情况下，也可以单独实施本公开的方案。

图2示出了适于用来实现本公开示例性实施方式的电子设备的示意图。本公开所述的信息搜索设备或增强现实设备可以被配置为图2所示电子设备的形式。需要说明的是，图2示出的电子设备仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

本公开的电子设备至少包括处理器和存储器，存储器用于存储一个或多个程序，当一个或多个程序被处理器执行时，使得处理器可以实现本公开示例性实施方式的增强现实处理方法。

具体的，如图2所示，电子设备200可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus，USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(Subscriber IdentificationModule，SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804、磁传感器2805、加速度传感器2806、距离传感器2807、接近光传感器2808、指纹传感器2809、温度传感器2810、触摸传感器2811、环境光传感器2812及骨传导传感器2813等。

可以理解的是，本申请实施例示意的结构并不构成对电子设备200的具体限定。在本申请另一些实施例中，电子设备200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。

处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(Application Processor，AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit，GPU)、图像信号处理器(Image Signal Processor，ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor，DSP)、基带处理器和/或神经网络处理器(Neural-etwork Processing Unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。另外，处理器210中还可以设置存储器，用于存储指令和数据。

USB接口230是符合USB标准规范的接口，具体可以是MiniUSB接口，MicroUSB接口，USBTypeC接口等。USB接口230可以用于连接充电器为电子设备200充电，也可以用于电子设备200与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如AR设备等。

充电管理模块240用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。

电子设备200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。

移动通信模块250可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信的解决方案。

无线通信模块260可以提供应用在电子设备200上的包括无线局域网(WirelessLocal Area Networks，WLAN)(如无线保真(Wireless Fidelity，Wi-Fi)网络)、蓝牙(Bluetooth，BT)、全球导航卫星系统(Global Navigation Satellite System，GNSS)、调频(Frequency Modulation，FM)、近距离无线通信技术(Near Field Communication，NFC)、红外技术(Infrared，IR)等无线通信的解决方案。

电子设备200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏290和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

电子设备200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。在一些实施例中，电子设备200可以包括1个或N个摄像模组291，N为大于1的正整数，若电子设备200包括N个摄像头，N个摄像头中有一个是主摄像头。

内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。外部存储器接口222可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备200的存储能力。

电子设备200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。

音频模块270用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。在一些实施例中，音频模块270可以设置于处理器210中，或将音频模块270的部分功能模块设置于处理器210中。

扬声器271，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备200可以通过扬声器271收听音乐，或收听免提通话。受话器272，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备200接听电话或语音信息时，可以通过将受话器272靠近人耳接听语音。麦克风273，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风273发声，将声音信号输入到麦克风273。电子设备200可以设置至少一个麦克风273。耳机接口274用于连接有线耳机。

针对电子设备200包括的传感器，深度传感器2801用于获取景物的深度信息。压力传感器2802用于感受压力信号，可以将压力信号转换成电信号。陀螺仪传感器2803可以用于确定电子设备200的运动姿态。气压传感器2804用于测量气压。磁传感器2805包括霍尔传感器。电子设备200可以利用磁传感器2805检测翻盖皮套的开合。加速度传感器2806可检测电子设备200在各个方向上(一般为三轴)加速度的大小。距离传感器2807用于测量距离。接近光传感器2808可以包括例如发光二极管(LED)和光检测器，例如光电二极管。指纹传感器2809用于采集指纹。温度传感器2810用于检测温度。触摸传感器2811可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏290提供与触摸操作相关的视觉输出。环境光传感器2812用于感知环境光亮度。骨传导传感器2813可以获取振动信号。

按键294包括开机键，音量键等。按键294可以是机械按键。也可以是触摸式按键。马达293可以产生振动提示。马达293可以用于来电振动提示，也可以用于触摸振动反馈。指示器292可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。SIM卡接口295用于连接SIM卡。电子设备200通过SIM卡和网络交互，实现通话以及数据通信等功能。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如下述实施例中所述的方法。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本公开实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。

图3示意性示出了本公开的示例性实施方式的应用于信息搜索设备的增强现实处理方法的流程图。参考图3，该增强现实处理方法可以包括以下步骤：

S32.获取语音信息的关键词。

根据本公开的一些实施例，信息搜索设备可以响应关键词录入操作，来记录语音信息的关键词。

在一个实施例中，关键词录入操作可以是用户的语音提示，该语音提示可以对应有提示词，该提示词例如包括“关键词”、“搜索”、“检索”、“查询”等，本公开对此不做限制。例如，当用户说出“搜索”后，将用户随后说出的语音内容作为关键词。

另外，为了更准确得到关键词，在用户输出提示词后开始记录直至用户语音停顿超过预定时间，这期间的语音内容为关键词。例如，在用户说出“搜索”后，用户说出“斯图加特”，然后停顿了1秒，则可以将“斯图加特”作为关键词。本公开对预定时间的具体长度不做限制。

在另一个实施例中，关键词录入操作可以是用户针对信息搜索设备的按键或控件的操作。例如，在本公开方案对应有应用程序(APP)的情况下，在该应用程序的界面上可以存在与关键词录入操作的控件，当用户点击该控件时，即执行了关键词录入操作。需要理解的是，一方面，可以通过用户语音的停顿来完成关键词的提取；另一方面，还可以通过再次点击按键或控件来完成关键词的提取。

在上述实施例中，关键词的提取需要用户的参与。

根据本公开的另一些实施例，可以基于不断学习的方式，由信息搜索设备自行确定出一段语音中的关键词。

首先，信息搜索设备可以获取语音信号。

在一个实施例中，信息搜索设备可以直接从真实世界获取语音信号。例如，在用户说话时，信息搜索设备的麦克风采集语音信号。另外，信息搜索设备还可以对采集的语音信号进行去噪处理，以去除语音信号中的环境噪声。

在另一个实施例中，信息搜索设备可以获取由增强现实设备发送的语音信号。例如，在用户说话时，增强现实设备的麦克风采集语音信号，并通过例如蓝牙、WiFi热点的方式将语音信号发送给信息搜索设备，以便信息搜索设备获取到语音信号。另外，在将语音信号发送给信息搜索设备之前，增强现实设备还可以对采集的语音信号进行去噪处理，或者，在信息搜索设备接收到由增强现实设备发送的语音信号之后，由信息搜索设备对语音信号进行去噪处理，以去除语音信号中的环境噪声。

接下来，可以将语音信号转换为文本形式的语音信息。具体的，可以对语音进行特征提取，将提取到的特征与文字模型库中的文字进行匹配，进而得到与语音信号对应的文本形式的语音信息。本公开对语音识别的具体算法过程不做限制。

随后，可以将文本形式的语音信息输入一训练后的关键词提取模型，以得到语音信息的关键词。其中，该关键词提取模型可以是卷积神经网络模型，例如，该模型可以基于TextRank算法来实现。通过不断学习与持有该信息搜索设备的用户相关的词汇表达及所处环境的信息，来优化模型。本公开对该关键词提取模型的模型结构、参数配置、训练方式均不作特殊限制。

此外，在又一些实施例中，还可以直接对语音信号进行处理。例如，通过分析语音信号的频率，来确定出重复出现次数最多的语音信号段，并对该语音信号段进行识别，得到关键词。

需要说明的是，本公开对步骤S32得到的关键词的数量不做限制，也就是说，可以得到一个或多个关键词。

在一些搜索需要利用固定语种进行搜索的实例中，本公开还可以包括确定固定语种的关键词的方案。在固定语种为第二语种的情况下，如果语音信息为第一语种，则需要将语音信息翻译为第二语种，以便确定出固定语种的关键词。例如，固定语种为汉语，而获取的语音信息为英语，则本公开的示例性方案还包括将英语的语音信息转换为汉语的过程，以提取汉语形式的关键词。其中，本公开对翻译的过程不做限制。

S34.搜索与关键词相关的信息，确定与关键词对应的相关信息集合。

在确定出语音信息的关键词后，信息搜索设备可以对该关键词进行搜索，确定出与关键词对应的相关信息集合。其中，相关信息集合中可以包括一个或多个相关信息。

需要说明的是，本公开搜索的过程可以在本地执行，也可以在互联网上进行搜索，例如，信息搜索设备可以将关键词发送至搜索服务器(搜索平台)，由搜索服务器进行搜索，本公开对此不做限制。

根据本公开的一些实施例，在搜索到与关键词相关的信息后，可以按这些信息被访问的热度由高到低的顺序，从这些信息中筛选出至少一个相关信息。其中，被访问的热度可以基于搜索次数、点击量、评价等要素来确定，本公开对此不做限制。例如，近期(如一个月内)被搜索次数较多，评价较好(如点赞数量较多)的搜索结果，可以作为相关信息。

相关信息的数量可以由开发人员或用户自行设定，例如，选取热度最高的一个信息作为得到的与关键词相关的信息，选取热度最高的三个信息作为得到的与关键词相关的信息。

在筛选出至少一个相关信息后，可以利用所述至少一个相关信息构建关键词对应的相关信息集合。也就是说，相关信息集合中包含的信息为筛选出的至少一个相关信息。

此外，本公开对搜索到的相关信息的类型不做限制，可以包括文字、图片、动画、视频等。

在一些实施例中，为了缓解处理压力，可以丢弃筛选出的视频，或者可以丢弃筛选出的超过预设存储大小的图片、动画、文字，以使相关信息集合中的内容精简。

S36.将相关信息集合发送给增强现实设备，以便增强现实设备将相关信息集合包含的信息显示在增强现实设备的显示界面上。

根据本公开的一些实施例，信息搜索设备可以直接将相关信息集合发送给增强现实设备，以便增强现实设备将相关信息集合包含的信息显示在增强现实设备的显示界面上。例如，相关信息集合包含的信息显示在AR眼镜的镜片上。

根据本公开的另一些实施例，信息搜索设备在确定出当前所处位置与关键词匹配的情况下，才将相关信息集合发送给增强现实设备。也就是说，在关键词的含义包含地理信息的情况下，信息搜索设备在确定出当前所处位置与关键词所对应的地理位置匹配时，才将相关信息集合发送给增强现实设备。

例如，关键词为故宫里的“乾清宫”，在持有信息搜索设备的用户处于故宫的“乾清宫”时，才会将“乾清宫”的信息发送给增强现实设备。

在一个实施例中，首先，信息搜索设备可以获取信息搜索设备当前所处位置的位置信息，例如，可以通过室内WiFi、GPS系统来获知当前所处位置的位置信息。接下来，可以获取关键词对应的位置信息，其中，关键词对应的位置信息可能包含于相关信息集合，如果未包含，则可以继续搜索出关键词对应的位置信息。随后，可以将信息搜索设备当前所处位置的位置信息与关键词对应的位置信息进行比较，如果二者之间的距离在预设距离范围内(例如，200米)，则说明二者匹配，在这种情况下，将相关信息集合发送给增强现实设备。

在另一个实施例中，增强现实设备可以向信息搜索设备发送拍摄的当前帧图像，在该当前帧图像与关键词匹配的情况下，将相关信息集合发送给增强现实设备。

具体的，信息搜索设备可以搜索是否存在与关键词相关且与当前帧图像的相似度大于相似度阈值的图像，如果存在，则说明当前帧图像与关键词匹配，在这种情况下，将相关信息集合发送给增强现实设备。其中，本公开对相似度阈值的取值不做限制。

例如，关键词为故宫里的“乾清宫”，在当前帧图像包含“乾清宫”的轮廓以及/或者相似建筑物存在“乾清宫”字样的牌匾时，将相关信息集合发送给增强现实设备。

此外，在信息搜索设备配置有采集图像的功能时，可以由信息搜索设备自行采集当前帧图像，在当前帧图像与关键词匹配后，再将相关信息集合发送给增强现实设备，由增强现实设备显示出相关信息。

进一步的，本示例实施方式中还提供了一种应用于增强现实设备的增强现实处理方法。

图4示意性示出了本公开的示例性实施方式的应用于增强现实设备的增强现实处理方法的流程图。参考图4，该增强现实处理方法可以包括以下步骤：

S42.获取与语音信息的关键词对应的相关信息集合。

S44.将相关信息集合包含的信息显示在增强现实设备的显示界面上。

步骤S42至步骤S44的一些实施例已在步骤S36中进行了说明，在此不再赘述。

另外，信息搜索设备还可以先将相关信息集合发送给增强现实设备。在这种情况下，由增强现实设备自行判断当前所处位置是否与关键词匹配，在匹配的情况下，才进行相关信息集合的显示操作。

需要注意的是，由于显示内容较多，增强现实设备可能无法一次完成所有信息的显示。因此，本公开示例性实施方式所述的将相关信息集合包含的信息显示在增强现实设备的显示界面上，还可以指，通过滚动的方式在显示界面上显示相关信息集合包含的信息。这种滚动类似于弹幕的滚动方式，而本公开对滚动的方向不做限制，可以是由上向下、由下向上、由左向右、由右向左等任意形式。

本领域技术人员容易理解的是，增强现实设备的显示界面不会影响用户观看到真实世界的对象，也就是说，在显示与关键词相关的信息的同时，用户可以通过显示界面看到真实世界。

此外，增强现实设备或信息搜索设备还可以对相关信息进行格式转换，以调整至适于用户观看的模式。例如，对字体大小、字体颜色、字体透明度等进行调整。

下面将参考图5，以信息搜索设备为手机且增强现实设备为AR眼镜为例，对本公开一个实施例的实现增强现实的交互过程的进行说明。

在步骤S502中，手机与AR眼镜建立无线连接；在步骤S504中，手机利用麦克风采集语音；在步骤S506中，手机可以提取语音所包含的关键词，并在本地或通过云端服务器完成关键词的搜索，得到相关的信息。

在步骤S510中，在关键词与当前场景匹配时，手机向AR眼镜发送与关键词相关的信息。另外，针对确定关键词与当前场景的过程，在步骤S508中，AR眼镜可以采集当前帧图像，并将当前帧图像发送给手机，手机利用当前帧图像判断关键词是否与当前场景匹配。

在步骤S512中，AR眼镜可以将相关的信息显示在镜片上。

针对将信息显示在镜片上的操作，本公开的示例性实施方式可以仅在一个镜片上进行显示，也可以在两个镜片上均进行显示。这可以通过AR眼镜的配置来自动切换，以满足不同用户的习惯。

图6示出了根据本公开的示例性实施方式的增强现实处理方案的一个应用场景的示意图。

在用户61与用户62进行聊天的过程中，当用户61说出包含“直播带货”语句时，用户持有的手机(未示出)可以通过自学习模型识别出“直播带货”为关键词，并进行互联网搜索，得到与“直播带货”相关的信息，并通过蓝牙或WiFi热点的方式，将相关的信息发送给AR眼镜600。

由此，可以在AR眼镜600的镜片中显示出该相关的信息，如图所示，该信息例如为：“直播带货”是一种营销模式，指通过网络直播来卖货。

整个过程无需用户62的参与，即可实现相关内容的显示。应当理解的是，AR眼镜的镜片是一种虚实结合的界面，用户62看到该相关信息的同时，还可以看到用户61。这种辅助提示的方式，在不影响用户间正常的交流的同时，提高了沟通效率。

图7示出了根据本公开的示例性实施方式的增强现实处理方案的另一个应用场景的示意图。

参考图7，在用户70路过鸟巢时，用户70可以说出“鸟巢”这个词。在这种情况下，手机71可以录入该信息作为关键词，并进行搜索，得到与“鸟巢”相关的信息，发送给AR眼镜72。由此，可以在AR眼镜72上显示出与“鸟巢”相关的信息，如图所示，该信息例如为：“鸟巢”，工程总占地面积21公顷，总造价22.67亿元，观众坐席约为91000个。

可以看出，用户仅需所说对应的内容，在AR眼镜上即可显示出相关的信息，操作简单快捷，大大提高了用户获知信息的便利性，用户体验佳。

应当注意，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

进一步的，本示例实施方式中还提供了一种应用于信息搜索设备的增强现实处理装置。

图8示意性示出了本公开的示例性实施方式的应用于信息搜索设备的增强现实处理装置的方框图。参考图8，根据本公开的示例性实施方式的应用于信息搜索设备的增强现实处理装置8可以包括关键词获取模块81、相关信息确定模块83和相关信息发送模块85。

具体的，关键词获取模块81可以用于获取语音信息的关键词；相关信息确定模块83可以用于搜索与关键词相关的信息，确定与关键词对应的相关信息集合；相关信息发送模块85可以用于将相关信息集合发送给增强现实设备，以便增强现实设备将相关信息集合包含的信息显示在增强现实设备的显示界面上。

根据本公开的示例性实施例，关键词获取模块81可以被配置为执行：响应关键词录入操作，记录语音信息的关键词。

根据本公开的示例性实施例，关键词获取模块81可以被配置为执行：获取语音信号；将语音信号转换为文本形式的语音信息；将语音信息输入关键词提取模型，以得到语音信息的关键词。

根据本公开的示例性实施例，相关信息确定模块83可以被配置为执行：搜索与关键词相关的信息；按信息被访问的热度由高到低的顺序，从与关键词相关的信息中筛选出至少一个相关信息；利用至少一个相关信息构建关键词对应的相关信息集合。

根据本公开的示例性实施例，相关信息发送模块85可以被配置为执行：在信息搜索设备当前所处位置与关键词匹配的情况下，将相关信息集合发送给增强现实设备。

根据本公开的示例性实施例，相关信息发送模块85可以被配置为执行：获取信息搜索设备当前所处位置的位置信息；获取关键词对应的位置信息；将信息搜索设备当前所处位置的位置信息与关键词对应的位置信息进行比较；如果信息搜索设备当前所处位置的位置信息与关键词对应的位置信息匹配，则将相关信息集合发送给增强现实设备。

根据本公开的示例性实施例，相关信息发送模块85可以被配置为执行：获取增强现实设备发送的当前帧图像；在当前帧图像与关键词匹配的情况下，将相关信息集合发送给增强现实设备。

根据本公开的示例性实施例，相关信息发送模块85可以被配置为执行：搜索是否存在与关键词相关且与当前帧图像的相似度大于相似度阈值的图像；如果存在，则将相关信息集合发送给增强现实设备。

进一步的，本示例实施方式中还提供了一种应用于增强现实设备的增强现实处理装置。

图9示意性示出了本公开的示例性实施方式的应用于增强现实设备的增强现实处理装置的方框图。参考图9，根据本公开的示例性实施方式的应用于增强现实设备的增强现实处理装置9可以包括相关信息获取模块91和相关信息显示模块93。

具体的，相关信息获取模块91可以用于获取与语音信息的关键词对应的相关信息集合；相关信息显示模块93可以用于将相关信息集合包含的信息显示在增强现实设备的显示界面上。

根据本公开的示例性实施例，相关信息集合由信息搜索设备发送至增强现实设备。在这种情况下，相关信息获取模块91可以被配置为执行：在信息搜索设备当前所处位置与关键词匹配的情况下，接收由信息搜索设备发送的与语音信息的关键词对应的相关信息集合。

根据本公开的示例性实施例，相关信息获取模块91可以被配置为执行：向信息搜索设备发送当前帧图像；在信息搜索设备确定出当前帧图像与关键词匹配的情况下，接收由信息搜索设备发送的与语音信息的关键词对应的相关信息集合。

由于本公开实施方式的增强现实处理装置的各个功能模块与上述方法实施方式中相同，因此在此不再赘述。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种增强现实处理方法，应用于信息搜索设备，其特征在于，包括：

获取语音信息的关键词，所述关键词包括与地理环境对应的场景信息；

搜索与所述关键词相关的信息，确定与所述关键词对应的相关信息集合；

获取当前帧图像，在所述当前帧图像与所述关键词匹配的情况下，将所述相关信息集合发送给增强现实设备，以便所述增强现实设备将所述相关信息集合包含的信息显示在所述增强现实设备的显示界面上；

其中，所述当前帧图像由所述增强现实设备拍摄并发送给所述信息搜索设备，或者所述当前帧图像由所述信息搜索设备采集。

2.根据权利要求1所述的增强现实处理方法，其特征在于，获取语音信息的关键词包括：

响应关键词录入操作，记录语音信息的关键词。

3.根据权利要求1所述的增强现实处理方法，其特征在于，获取语音信息的关键词包括：

获取语音信号；

将所述语音信号转换为文本形式的语音信息；

将所述语音信息输入关键词提取模型，以得到所述语音信息的关键词。

4.根据权利要求1所述的增强现实处理方法，其特征在于，搜索与所述关键词相关的信息，确定与所述关键词对应的相关信息集合；

搜索与所述关键词相关的信息；

按信息被访问的热度由高到低的顺序，从与所述关键词相关的信息中筛选出至少一个相关信息；

利用所述至少一个相关信息构建所述关键词对应的相关信息集合。

5.根据权利要求1所述的增强现实处理方法，其特征在于，在所述当前帧图像与所述关键词匹配的情况下，将所述相关信息集合发送给增强现实设备，包括：

搜索是否存在与所述关键词相关且与所述当前帧图像的相似度大于相似度阈值的图像；

如果存在，则将所述相关信息集合发送给增强现实设备。

6.一种增强现实处理方法，应用于增强现实设备，其特征在于，包括：

在当前帧图像与语音信息的关键词匹配的情况下，获取由信息搜索设备发送的与所述关键词对应的相关信息集合，所述关键词包括与地理环境对应的场景信息；

将所述相关信息集合包含的信息显示在所述增强现实设备的显示界面上；

其中，所述当前帧图像由所述增强现实设备拍摄并发送给所述信息搜索设备，或者所述当前帧图像由所述信息搜索设备采集。

7.一种增强现实处理装置，应用于信息搜索设备，其特征在于，包括：

关键词获取模块，用于获取语音信息的关键词，所述关键词包括与地理环境对应的场景信息；

相关信息确定模块，用于搜索与所述关键词相关的信息，确定与所述关键词对应的相关信息集合；

相关信息发送模块，用于获取当前帧图像，在所述当前帧图像与所述关键词匹配的情况下，将所述相关信息集合发送给增强现实设备，以便所述增强现实设备将所述相关信息集合包含的信息显示在所述增强现实设备的显示界面上；

其中，所述当前帧图像由所述增强现实设备拍摄并发送给所述信息搜索设备，或者所述当前帧图像由所述信息搜索设备采集。

8.一种增强现实处理装置，应用于增强现实设备，其特征在于，包括：

相关信息获取模块，用于在当前帧图像与语音信息的关键词匹配的情况下，获取由信息搜索设备发送的与所述关键词对应的相关信息集合，所述关键词包括与地理环境对应的场景信息；

相关信息显示模块，用于将所述相关信息集合包含的信息显示在所述增强现实设备的显示界面上；

其中，所述当前帧图像由所述增强现实设备拍摄并发送给所述信息搜索设备，或者所述当前帧图像由所述信息搜索设备采集。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至6中任一项所述的增强现实处理方法。

10.一种电子设备，其特征在于，包括：

处理器；

存储器，用于存储一个或多个程序，当所述一个或多个程序被所述处理器执行时，使得所述处理器实现如权利要求1至6中任一项所述的增强现实处理方法。

Images