CN116088669A - 扩增实境方法、电子设备及计算机可读存储介质 - Google Patents

Abstract

本申请提出一种扩增实境方法、电子设备及计算机可读存储介质，所述方法包括：获取初始数据；判断所述初始数据是否包含可供辨识数据；当所述初始数据包含所述可供辨识数据时，存储所述初始数据；判断预设数据库是否包含所述可供辨识数据；当所述预设数据库包含所述可供辨识数据时，利用预设识别模型对所述可供辨识数据进行辨识，生成一数据信息；对所述数据信息进行扩增实境处理，并输出扩增实境处理结果；将所述数据信息存储至所述预设数据库，以重新训练所述预设识别模型。本申请提供的扩增实境方法可以实时得到物件辨识结果，并可整合物件辨识结果于扩增实境的视觉中显示，提升用户使用体验。

Description

扩增实境方法、电子设备及计算机可读存储介质

技术领域

本申请涉及扩增实境技术，尤其涉及一种能够实时辨识物件的扩增实境方法、电子设备及计算机可读存储介质。

背景技术

扩增实境技术(Augmented Reality，AR)为将虚拟世界的视效、音效及空间信息等信息整合至真实环境信息的技术，扩增实境技术不仅展现真实环境的信息，亦同时将虚拟的信息显示出来，藉由两种信息相互补充、叠加，藉此让使用者可获得更丰富的感知信息，通常，搭载扩增实境技术的电子装置可通过配置于其上的摄像镜头捕捉真实环境的影像，并实时地计算所捕捉影像的位置、角度，同时加上相应虚拟图像，其目的是在显示屏幕上把虚拟世界信息套在现实环境信息中，让使用者透过所捕捉的影像与虚拟世界的信息进行互动。

现今扩增实境技术主要应用于智能手机、平板计算机等移动装置，近年来由于虚拟现实(Virtual Reality，VR)技术的发展，也开始将扩增实境技术应用于智能头盔、智能眼镜等穿戴式设备上，可以实现辅助人类日常生活，或者辨识未知产品。然而，现有的人工智能对象识别技术大都需要回传至云端后台运算，无法实时地判断对象识别结果，对于商品销售场景，仰赖消费者下载与浏览商品目录方可知道卖场对该商品的介绍信息，无法有效整合实时性与互动性。

发明内容

有鉴于此，本申请提出了一种扩增实境方法、电子设备及计算机可读存储介质，可以实时得到物件辨识结果，并可整合物件辨识结果于扩增实境的视觉中显示，提升用户使用体验。

第一方面，本申请一实施例提供一种扩增实境方法，应用于第一电子设备，所述方法包括：

获取初始数据；

判断所述初始数据是否包含可供辨识数据；当所述初始数据包含所述可供辨识数据时，存储所述初始数据；

判断预设数据库是否包含所述可供辨识数据；当所述预设数据库包含所述可供辨识数据时，利用预设识别模型对所述可供辨识数据进行辨识，生成一数据信息；

将所述数据信息存储至所述预设数据库，以重新训练所述预设识别模型；

对所述数据信息进行扩增实境处理，并输出扩增实境处理结果。

在一些实施例中，所述存储所述初始数据，包括：从所述初始数据中提取所述可供辨识数据，并存储所述可供辨识数据。

在一些实施例中，所述扩增实境方法还包括：当所述预设数据库不包含所述可供辨识数据时，对所述初始数据进行未知数据标记处理，并将经过标记处理的初始数据存储至所述预设数据库。

在一些实施例中，所述扩增实境方法还包括：对存储至所述预设数据库的数据进行分类处理，并将已分类的数据进行合并。

在一些实施例中，所述扩增实境方法还包括：将所述扩增实境处理结果输出至第二电子设备，以通过所述第二电子设备对所述扩增实境处理结果进行显示。

在一些实施例中，所述利用预设识别模型对所述可供辨识数据进行辨识，包括：当所述可供辨识数据包括可辨识语言时，利用所述预设识别模型对所述可供辨识数据进行声音翻译处理。

在一些实施例中，所述利用预设识别模型对所述可供辨识数据进行辨识，包括：当所述可供辨识数据包括可辨识物件时，利用所述预设识别模型对所述可供辨识数据进行图像识别处理。

在一些实施例中，所述预设数据库包括所述可辨识物件的识别结果及所述可辨识物件对应的物件介绍信息，所述扩增实境方法还包括：从所述预设数据库中查找与所述可辨识物件对应的物件介绍信息。

第二方面，本申请提供一种电子设备，所述电子设备包括处理器和存储器，所述存储器用于存储指令，所述处理器用于调用所述存储器中的指令，使得所述电子设备执行第一方面所述的扩增实境方法。

第三方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行第一方面所述的扩增实境方法。

本申请实施方式提供的扩增实境方法、电子设备及计算机可读存储介质，可以实时地得到物件辨识结果，整合物件辨识结果于扩增实境的视觉中显示,并可同步进行语音讲解/翻译等，提升用户使用体验，同时可以将每一次物件的辨识结果数据更新至数据库，利用更新的数据库重新训练预设识别模型，使得物件识别准确率不断提升，达到人工智能的终极目标。

附图说明

图1为本申请一实施例的扩增实境方法的流程示意图。

图2为图1的扩增实境方法的一步骤流程的细分流程示意图。

图3为本申请一实施例的扩增实境方法的第一应用场景示意图。

图4为本申请一实施例的扩增实境方法的第二应用场景示意图。

主要元件符号说明

智能手机                             10

AR眼镜                               20

商品                                 30

人物                                 40

如下具体实施方式将结合上述附图进一步说明本申请。

具体实施方式：

下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本申请一部分实施方式，而不是全部的实施方式。

需要说明的是，本申请实施例中“至少一个”是指一个或者多个，多个是指两个或两个以上。除非另有定义，本文所使用的所有的技术和科学术语与属于本申请中的技术领域的技术人员通常理解的含义相同。本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

需要说明的是，本申请实施例中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请实施例的描述中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

请参阅图1，为本申请一实施例提供的扩增实境方法的流程示意图。

如图1所示的扩增实境方法，应用于第一电子设备，该扩增实境方法可以包括：

S1，获取初始数据。

具体地，第一电子设备可以根据数据的种类通过多种装置获取初始数据。例如，当对象是人物、物件时，可以通过摄像镜头等装置获取人物、物件的影像数据；当对象为语言时，可以通过麦克风等收音装置获取语言的声音数据。

S2，判断所述初始数据是否包含可供辨识数据。

具体地，可供辨识数据是指具有辨识特征的数据。例如，所述初始数据中可供预设识别模型识别的物件形状、颜色、包装等特征数据都可以是可供辨识数据。理论上，立体的多面体特征辨识度较高，平面的画作只需颜色或者图案有独特性即可。

S3，当所述初始数据包含所述可供辨识数据时，存储所述初始数据。

具体地，当所述初始数据包含所述可供辨识数据时，从所述初始数据中提取所述可供辨识数据，并存储所述可供辨识数据，同时存储所述初始数据，以备未来重新训练识别模型。

在一些实施例中，当所述初始数据未包含所述可供辨识数据时，表明初始数据中没有可供预设识别模型识别的特征数据，该初始数据为无效数据，此时，可以放弃对该初始数据进行处理，跳转至执行步骤S1。

S4，判断预设数据库是否包含所述可供辨识数据。

具体地，所述预设数据库包含过往对象的辨识数据，即判断所述可供辨识数据是否存在于所述预设数据库内。

S5，当所述预设数据库包含所述可供辨识数据时，利用预设识别模型对所述可供辨识数据进行辨识，生成一数据信息。

具体地，当所述预设数据库包含所述可供辨识数据时，即所述可供辨识数据存在于所述预设数据库内，则利用预设识别模型对所述可供辨识数据进行辨识。首先，通过识别确认辨识对象是人物还是物件、可供辨识数据是否只有环境特征值，做出区隔的判断；然后，利用人工智能算法对区隔后的可供辨识数据进行判断，减少误判的可能性；其次，对经过人工智能算法判断后的可供辨识数据进行模块重新训练运算，可以计算出特征值吻合度的几率，由此生成一数据信息。

在本实施例中，所述预设识别模型的训练步骤至少包括：获取原始训练数据，并对原始训练数据进行数据转化处理，以生成用于描述该原始数据的特征数据；利用人工智能算法对同一个对象的特征数据进行归类，对归类后的特征数据进行训练，得到预设识别模型；根据预设识别模型对可供辨识数据进行辨识，并对辨识结构进行分类归档，以便未来人工智能深度学习时新增分类辨识时使用。

S6，当所述预设数据库不包含所述可供辨识数据时，对所述初始数据进行未知数据标记处理，并将经过标记处理的初始数据存储至所述预设数据库。

具体地，当所述预设数据库不包含所述可供辨识数据时，对未知对象的初始数据进行未知数据标记处理，并将经过标记处理的初始数据存储至所述预设数据库，以重新训练所述预设识别模型。

S7，将所述数据信息存储至所述预设数据库，以重新训练所述预设识别模型。

在一些实施例中，对步骤S6和步骤S7中存储至所述预设数据库的数据进行分类处理，并将已分类的数据进行合并。具体地，即存储至所述预设数据库的未知数据和已辨识的数据信息进行重新分类，可以分类的数据进行数据合并，无法辨识的未知数据则分开归档至未知对象中，以重新训练预设识别模型，从而供未来人工智能深度学习时新增分类辨识时使用。

S8，对所述数据信息进行扩增实境处理，并输出扩增实境处理结果。

具体地，对处理好的数据信息进行扩增实境处理，使其扩增实境结果中可以增加详细数据和相关信息。

S9，将所述扩增实境处理结果输出至第二电子设备，以通过所述第二电子设备对所述扩增实境处理结果进行显示。

具体地，第二电子设备可以包括显示屏，以对所述扩增实境结果进行显示。

在本实施例中，第一电子设备与第二电子设备通信连接，可以为有线、无线网络、蓝芽等任何可能的连接方式。第一电子设备与第二电子设备都有可能执行步骤S1，获取初始数据，不仅局限于第一电子设备，也可通过第二电子设备获取初始数据与第一电子设备共享数据信息。第一电子设备可以为：笔记本电脑、平板、个人数字助理、智能手机；第二电子设备可以为：智能头盔、智慧眼镜等穿戴装置。

在一些实施例中，如图2所示，步骤S5还可以进一步包括：

S51：当所述可供辨识数据包括可辨识语言时，利用所述预设识别模型对所述可供辨识数据进行声音翻译处理，生成可辨识语言的翻译结果。

S52：当所述可供辨识数据包括可辨识物件时，利用所述预设识别模型对所述可供辨识数据进行图像识别处理，生成可辨识物件的识别结果。

S53：从所述预设数据库中查找与所述可辨识物件对应的物件介绍信息。

具体地，所述预设数据库可以包括所述可辨识物件的识别结果及所述可辨识物件对应的物件介绍信息。

请参阅图3，图3为图1所示实施例在第一应用场景的运作示意图。

如图3所示第一应用场景包括第一电子设备(图3以智能手机10为例进行展示)、第二电子设备(图3以AR眼镜20为例进行展示)、至少一个对象(图3以商品30为例进行展示)，第一应用场景的运作流程如下：

首先，用户使用具有独立摄像头的智能手机10摄取商品30的影像，也可以通过佩戴的具有独立摄像头的AR眼镜20摄取商品30的影像传输给智能手机10，以对所述影像进行辨识。其中，智能手机10与AR眼镜20通信连接，可以通过有线、无线网络、蓝牙等任何可能的连接方式。其中，商品30不一定是方形或者固定型态，只需特征大小颜色包装可提供辨识识别使用，立体多面体特征多可以提高辨识度，平面的画作只要颜色或者图案有独特性皆能辨识。

具体地，首先，智能手机10对获取的影像数据进行处理和分类，影特征照片；判断获取的影像数据是否具有对象特征值，如果没有则重新获取商品30的影像数据，如果有对象特征辨识出来，则传送到预设数据库进行储存，以备未来深度学习重新训练分类验证之用；其次，判断对象特征是否在过往辨识过的数据库中，深度学习针对不同的对象形态特征有不同的特征算法对应，可以提升辨识准确性；如果对象特征在已辨识过的数据库中，利用预设识别模型对该特征数据进行人工智能对象辨识，通过识别确认特征数据中是否只有环境特征值，做出区隔的判断；利用人工智能算法对区隔后的影像数据进行判断，减少误判的可能性；如果不在已辨识过的数据库中，则将该特征数据存储成未知档案数据库；对经过人工智能算法判断后的特征数据进行模块重新训练运算，可以计算出特征值吻合度的几率，对同一种商品30的运算结果进行归类和数据整并，无法辨识的影像则分开归档至未知商品中，并回传至预设数据库中进行存储，以便未来人工智能深度学习时新增分类辨识时使用。

然后，将最终辨识结果输出至扩增实境系统，通过扩增实境系统对商品30进行扩增实境处理，使其最终显示于AR眼镜20屏幕上时可以增加商品30的附加详细数据与促销相关信息的显示。将扩增实境结果输出至AR眼镜20屏幕中，可以达到扩增实境、人工智能对象辨识整合的目标。AR眼镜20的屏幕显示商品30的扩增实境信息，可以使物体立体化并且加入特色批注输出至屏幕之中。

请参阅图4，图4为图1所示实施例在第二应用场景的运作示意图。

如图4所示第二应用场景包括第一电子设备(图3以智能手机10为例进行展示)、第二电子设备(图3以AR眼镜20为例进行展示)、至少一个能够发出可识别语言的对象(图4以人物40为例进行展示)，第二应用场景运作流程如下：

首先，用户使用具有收音装置的智能手机10获取人物40的发出的声音，也可以通过佩戴的具有独立收音装置的AR眼镜20获取人物40的发出的声音传输给智能手机10，以对所述声音进行辨识。其中，智能手机10与AR眼镜20通信连接，可以通过有线、无线网络、蓝牙等任何可能的连接方式。其中，在本实施例中，人物40可能是店员，也可能消费者，也可能是其他发出语言的声源。

在一些实施例中，能够发出可识别语言的对象也可能是自动发声之产品介绍器，例如，音响装置。因此，能够发出可识别语言的对象不受限于人物或者电子设备。

具体地，首先，对获取的声音数据进行处理和分类，声音会转存为关键特征声纹；通过识别确认声音数据是人生特征还是仅仅只有环境特征值，而且是否是特定翻译语系的声源，先做出区隔的判断，如果没有可翻译的声源特征就不会主动进行接下来的辨识与运算；如果确定有需要判断的声源在此声音数据中，则利用人工智能算法对区隔后的声音数据进行判断，减少误判的可能性；如果不在已辨识过的数据库中，则对该特征数据进行存储成未知档案数据库；然后，对经过人工智能算法判断后的声音数据进行模块重新训练运算，可以计算出特征值吻合度的几率，对同一个声源语言进行归类和数据整并，无法辨识的声源则分开归档至未知对象中，并回传至预设数据库中进行存储，以便未来人工智能深度学习时新增分类辨识时使用。

接着，将处理好的声音数据输出至实时翻译系统进行实时翻译，翻译好的语言需要调整速度与修饰内容，分类好的语音实时辨识数据传回到预设数据库中储存，以待之后的使用与分析，并将翻译结果输出至AR眼镜20。

最后，AR眼镜20的喇叭播放经过实时翻译的语言信息，供用户实时使用，以达到语音实时翻译、人工智能辨识整合的目标。

在一些实施例中，图3所示的第一应用场景和图4所示的第二应用场景可以同时应用，即扩增实境和实时翻译同时进行。具体地，用户进入卖场或者货场时，通过智能手机10或AR眼镜20获取当下的对象辨识特征信息，如果在没有外在声源的情况下，会针对过往的声音数据库进行搜寻比对当下对象辨识，如果有找到语音相关储存信息就会使其同步影音输出，如果该对象辨识结果没有相对应的语音，则只对对象辨识后的扩增实境显示即可，可以有效解决先天对象辨识困难与多国语言翻译的瓶颈，以在实时的销售与实体店面结合下达到更高的发展空间。

本申请还公开一种电子设备，所述电子设备包括处理器和存储器，所述存储器用于存储指令，所述处理器用于调用所述存储器中的指令，使得所述电子设备执行本申请实施例所述的工业设备数据采集方法。所述电子设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备，所述电子设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。

本申请还公开一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行本申请实施例所述的工业设备数据采集方法。所述存储介质可以是U盘、移动硬盘、只议存储器ROM、随机存取存储器RAM、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施方式提供的扩增实境方法、电子设备及计算机可读存储介质，可以有效实时地判断物件识别结果，整合物件辨识于扩增实境的视觉中并且同步语音翻译，提升辨识的正确性和全面性。

本技术领域的普通技术人员应当认识到，以上的实施方式仅是用来说明本申请，而并非用作为对本申请的限定，只要在本申请的实质精神范围之内，对以上实施例所作的适当改变和变化都落在本申请要求保护的范围之内。

Claims (10)

1.一种扩增实境方法，应用于第一电子设备，其特征在于，所述方法包括：

获取初始数据；

判断所述初始数据是否包含可供辨识数据；当所述初始数据包含所述可供辨识数据时，存储所述初始数据；

判断预设数据库是否包含所述可供辨识数据；当所述预设数据库包含所述可供辨识数据时，利用预设识别模型对所述可供辨识数据进行辨识，生成一数据信息；

将所述数据信息存储至所述预设数据库，以重新训练所述预设识别模型；

对所述数据信息进行扩增实境处理，并输出扩增实境处理结果。

2.如权利要求1所述的扩增实境方法，其特征在于，所述存储所述初始数据，包括：

从所述初始数据中提取所述可供辨识数据，并存储所述可供辨识数据。

3.如权利要求1所述的扩增实境方法，其特征在于，还包括：

当所述预设数据库不包含所述可供辨识数据时，对所述初始数据进行未知数据标记处理，并将经过标记处理的初始数据存储至所述预设数据库。

4.如权利要求1所述的扩增实境方法，其特征在于，还包括：

对存储至所述预设数据库的数据进行分类处理，并将已分类的数据进行合并。

5.如权利要求1所述的扩增实境方法，其特征在于，还包括：

将所述扩增实境处理结果输出至第二电子设备，以通过所述第二电子设备对所述扩增实境处理结果进行显示。

6.如权利要求1所述的扩增实境方法，其特征在于，所述利用预设识别模型对所述可供辨识数据进行辨识，包括：

当所述可供辨识数据包括可辨识语言时，利用所述预设识别模型对所述可供辨识数据进行声音翻译处理。

7.如权利要求1所述的扩增实境方法，其特征在于，所述利用预设识别模型对所述可供辨识数据进行辨识，包括：

当所述可供辨识数据包括可辨识物件时，利用所述预设识别模型对所述可供辨识数据进行图像识别处理。

8.如权利要求7所述的扩增实境方法，其特征在于，

所述预设数据库包括所述可辨识物件的识别结果及所述可辨识物件对应的物件介绍信息，所述扩增实境方法还包括：

从所述预设数据库中查找与所述可辨识物件对应的物件介绍信息。

9.一种电子设备，其特征在于，所述电子设备包括处理器和存储器，所述存储器用于存储指令，所述处理器用于调用所述存储器中的指令，使得所述电子设备执行如权利要求1-8中任一项所述的扩增实境方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-8中任一项所述的扩增实境方法。

Images