CN116541548A - 信息库的构建方法、建议信息的生成方法、设备及产品 - Google Patents

信息库的构建方法、建议信息的生成方法、设备及产品 Download PDF

Info

Publication number
CN116541548A
CN116541548A CN202310485482.3A CN202310485482A CN116541548A CN 116541548 A CN116541548 A CN 116541548A CN 202310485482 A CN202310485482 A CN 202310485482A CN 116541548 A CN116541548 A CN 116541548A
Authority
CN
China
Prior art keywords
information
target
commodity
target area
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310485482.3A
Other languages
English (en)
Inventor
郑丹丹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202310485482.3A priority Critical patent/CN116541548A/zh
Publication of CN116541548A publication Critical patent/CN116541548A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G06Q30/0625—Directed, with specific intent or strategy
    • G06Q30/0627—Directed, with specific intent or strategy using item specifications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Image Analysis (AREA)

Abstract

本说明书实施例提供一种信息库的构建方法、信息库的构建装置、建议信息的生成方法、建议信息的生成装置、计算机可读存储介质、电子设备以及计算机程序产品，上述信息库的构建方法包括：利用关于目标区域的图像训练得到目标检测模型以及确定该目标区域的场景重建模型。对于处于目标区域内的对象，根据上述目标检测模型确定该对象的二维坐标信息。然后，通过上述场景重建模型，确定上述二维坐标信息所对应的空间位置信息。进一步地，根据上述对象的身份标识及其空间位置信息，构建关于该目标区域内对象的信息库。

Description

信息库的构建方法、建议信息的生成方法、设备及产品
技术领域
本说明书实施例涉及人工智能技术领域，尤其涉及一种信息库的构建方法、信息库的构建装置、建议信息的生成方法、建议信息的生成装置、计算机可读存储介质、电子设备以及计算机程序产品。
背景技术
目前线下商店通常只能依靠线下商店的工作人员提供专业的咨询服务，帮助消费者了解商品的位置、功能和价格等信息。然而商家可能需要花费很长时间才能回复客户的咨询，导致客户等待时间较长。还可能存在商家可能缺乏专业的咨询知识，无法为客户提供准确、专业的咨询服务的问题。从而影响商家的经营效率和客户满意度，致客户流失率较高。
需要说明的是，在上述背景技术部分公开的信息仅用于加强对本说明书的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本说明书实施例提供一种信息库的构建方法、信息库的构建装置、建议信息的生成方法、建议信息的生成装置、计算机可读存储介质、电子设备以及计算机程序产品，对于客户所咨询的问题能够高效率的为客户提供专业的答复内容，进而提升客户的满意度。
本说明书实施例的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本说明书的实践而习得。
根据本说明书实施例的一个方面，提供信息库的构建方法，该方法包括对于处于目标区域内的对象，根据目标检测模型确定上述对象的二维坐标信息，其中上述目标检测模型为利用关于上述目标区域的图像训练得到；通过关于上述目标区域的场景重建模型，确定上述二维坐标信息所对应的空间位置信息；根据上述对象的身份标识与上述对象的空间位置信息，构建关于上述目标区域内对象的信息库。
根据本说明书实施例的另一个方面，提供一种建议信息的生成方法，应用于电子设备，该方法包括：获取用户输入信息，并识别上述用户输入信息的意图；在上述意图属于咨询类型的情况下，确定上述用户输入信息中的目标对象，根据上述目标对象的身份标识检索信息库，得到关于上述目标对象的建议信息，其中，上述信息库为根据上述方面提供的信息库地构建方法构建的。
根据本说明书实施例的再一个方面，提供一种配置于第一网关的信息库的构建装置，其中，该装置包括：第一确定模块、第二确定模块以及构建模块。
其中，上述第一确定模块，用于对于处于目标区域内的对象，根据目标检测模型确定上述对象的二维坐标信息，其中上述目标检测模型为利用关于上述目标区域的图像训练得到；上述第二确定模型，用于通过关于上述目标区域的场景重建模型，确定上述二维坐标信息所对应的空间位置信息；以及，上述构建模块，用于根据上述对象的身份标识与上述对象的空间位置信息，构建关于上述目标区域内对象的信息库。
根据本说明书实施例的又一个方面，提供一种配置于电子设备的的建议信息的生成装置，其中，上述装置包括：获取模块和生成模块。
其中，上述获取模块，用于获取用户输入信息，并识别上述用户输入信息的意图；以及，上述生成模块，用于在上述意图属于咨询类型的情况下，确定上述用户输入信息中的目标对象，根据上述目标对象的身份标识检索信息库，得到关于上述目标对象的建议信息，其中，上述信息库为根据上述方面提供的信息库地构建方法构建的。
根据本说明书实施例的一个方面，提供一种电子设备，包括：音频接收部件和/或文本输入部件，用于获取用户输入信息；还包括：存储器、处理器以及存储在上述存储器中并可在上述处理器上运行的计算机程序，其中，上述处理器执行上述计算机程序时实现识别上述用户输入信息的意图，以及，在上述意图属于咨询类型的情况下，确定上述用户输入信息中的目标对象，根据上述目标对象的身份标识检索信息库，得到关于上述目标对象的建议信息，其中，上述信息库为根据上述方面提供的信息库地构建方法构建的。
根据本说明书实施例的另一个方面，提供一种计算机可读存储介质，上述计算机可读存储介质中存储有指令，当上述指令在计算机或处理器上运行时，使得上述计算机或处理器执行如上述实施例中的信息库的构建方法，或执行如上述实施例中的建议信息的生成方法。
根据本说明书实施例的再一个方面，提供一种包含指令的计算机程序产品，当上述计算机程序产品在计算机或处理器上运行时，使得上述计算机或处理器执行如上述实施例中的信息库的构建方法，或执行如上述实施例中的建议信息的生成方法。
本说明书实施例所提供的信息库的构建方法、信息库的构建装置、建议信息的生成方法、建议信息的生成装置、计算机可读存储介质、电子设备以及计算机程序产品，具备以下技术效果：
利用关于目标区域的图像训练得到目标检测模型以及确定该目标区域的场景重建模型。对于处于目标区域内的对象，根据上述目标检测模型确定该对象的二维坐标信息。然后，通过上述场景重建模型，确定上述二维坐标信息所对应的空间位置信息。进一步地，根据上述对象的身份标识及其空间位置信息构建关于该目标区域内对象的信息库。对于用户对上述目标区域内对象所咨询的问题，通过上述信息库能够高效率的为客户提供专业的答复内容，进而提升客户的满意度，有利于减少客户流失。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本说明书的实施例，并与说明书一起用于解释本说明书的原理。显而易见地，下面描述中的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本说明书实施例提供的信息库的构建方法的流程示意图。
图2为本说明书另一实施例提供的信息库的构建方法的流程示意图。
图3为本说明书再一实施例提供的信息库的构建方法的流程示意图。
图4为本说明书实施例提供的检测目标在预设图像中的示意图。
图5为本说明书实施例提供的场景重建模型的确定方法的流程示意图。
图6为本说明书实施例提供的商品公库的示意图。
图7为本说明书实施例提供的建议信息的生成方法的流程示意图。
图8为本说明书另一实施例提供的建议信息的生成方法的流程示意图。
图9为本说明书实施例提供的信息库的构建装置的结构示意图。
图10为本说明书实施例提供的建议信息的生成装置的结构示意图。
图11为本说明书实施例提供的电子设备的结构示意图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚，下面将结合附图对本说明书实施例方式作进一步地详细描述。
下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书相一致的所有实施方式。相反，它们仅是如所附权利要求书中所详述的、本说明书的一些方面相一致的装置和方法的例子。
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本说明书将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本说明书的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本说明书的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本说明书的各方面变得模糊。
此外，附图仅为本说明书的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
其中，图1为本说明书实施例提供的信息库的构建方法的信息的流程示意图。参考图1，该图所示实施例包括：S110-S130。
在S110中，对于处于目标区域内的对象，根据目标检测模型确定该对象的二维坐标信息，其中上述目标检测模型为利用关于上述目标区域的图像训练得到。
其中，上述目标区域可以是指整个线下店铺也可以是指店铺中的指定区域，本说明书实施例对此不作限定。本说明书实施例以上述目标区域为整个线下店铺为例进行说明，上述对象为陈列在店铺中的商品。
本说明书实施例中通过店铺图像训练深度学习模型得到上述目标检测模型，进而通过上述目标检测模型可以用来预测店铺中每个商品在图像的中二维坐标信息。本说明书实施例中将目标区域(线下店铺)在图像作为第二训练样本，并通过第二训练样本训练深度信息模型(如卷积神经网络、transformer)来确定关于该目标区域的目标检测模型。示例性的采集设备可以是手机或者外接摄像头等，对于该线下店铺中的每个商品，分别在多个角度下拍摄图像。其中图像数量可以根据商品密度以及目标区域的空间大小确定。示例性的参考图2，在待测目标为商品A的情况下，通过目标检测模型可以输出(S21)商品A对应的检测框在预设图像中的二维坐标信息20。
示例性的，图3示出的S1101可以作为S110的一种具体实施方式，在S1101中，对于处于目标区域内的对象，根据目标检测模型确定该对象对应的检测框在预设图像中的二维坐标信息。
参考图4，该图像400示出的电器均属于某线下店铺中的商品，通过关于该店铺的目标检测模型可以确定其中任一商品在图像400中的位置。例如，确定“电磁炉”的检测框为40，并可以确定检测框40在图像400中的二维坐标信息为(a，b)。其中(a，b)可以是检测框40某个顶点(如左下角顶点)在图像400所对应坐标系中的坐标，也可以是检测框40的中心在图像400所对应坐标系中的坐标，本说明书实施例对此不作限定。
在S120中，通过关于上述目标区域的场景重建模型，确定上述二维坐标信息所对应的空间位置信息。
继续参考图2，在确定商品A对应的检测框在预设图像中的二维坐标信息20之后，将该预设图像的拍摄角度输入(S22)场景重建模型220，可以场景重建模型200可输出(S23)在该拍摄角度下的场景图像24。
本说明书实施例先通过图5介绍场景重建模型220的实施例。本实施例中将目标区域(线下店铺)在多个角度下的图像(记作“原始图像”)作为第一训练样本，并通过第一训练样本训练神经辐射场NeRF来确定关于该目标区域的场景重建模型。示例性的采集设备可以是手机或者外接摄像头等等，对于该线下店铺中的每个商品，分别在多个角度下拍摄图像。其中图像数量可以根据商品密度以及目标区域的空间大小确定。
示例性的，图5为本说明书一实施例提供的场景重建模型的确定方法的流程示意图。以下结合图5并以第i个原始图像为例，介绍确定场景重建模型220的具体实施方式：
参考图5，本实施例中，所采用的模型为神经辐射场(Neural Radiance Fields，NeRF)，且该模型包括多层感知器(Multi-Layer Perception，MLP)部分510和全连接部分520。通过第i个原始图像训练该模型的过程如下：
S1：对第i个原始图像进行视角估计：使用已有方法p()对第i个原始图像xi进行视角估计，得到视角参数θi，如下面公式(1)所示：
θi＝ p(xi ) (1)
S2：将第i个原始图像输入(S51)至MLP部分510进行特征处理，MLP部分510输出(S52)关于上述第i个原始图像的场景密度特征(记作“第i场景密度特征”)和中间特征(记作“第i中间特征”)。在本实施例中包含N个原始图像的情况下，i依次取值为正整数1,2，……，N。
示例性的，当场景的面积较大时，可以适当增加模型的层数和输出特征的维度。
S3：将第i中间特征和第i个原始图像的第i视角参数θi输入(S53)全连接部分520进行特征处理，全连接部分520输出(S54)第i视角下的第i颜色特征。
S4：对第i场景密度特征和第i颜色特征进行渲染(S55)处理，得到第i个生成图像，记作render(C(xi,θi))。
S5：根据第i个原始图像和第i个生成图像确定损失函数。
示例性的，上述损失函数LossC可以表示以下公式(1)，具体为多个视角的渲染重建的render(C(xi,θi))对应的第i个原始图像之间的L2范数(S56)。
本实施例中，N代表用于确定场景重建模型的原始图像的个数。
S6：基于所述损失函数优化上述模型参数，得到上述目标区域的场景重建模型。示例性的，基于上述模型结构和损失函数进行模型训练，直至模型收敛。
通过图5所示实施例确定全局场景重建模型后，当用户从视角θ进行观察时，场景重建模型220可以输出视角θ相应的RGB场景图像，向用户进行展示，从而起到对店铺场景数字化的效果。需要说明的是，该实施例提供了一种确定场景重建模型的具体实施方式，在其他实施例中上述场景重建模型可以采用处理NeRF之外的其他模型实现，在采用NeRF模型的情况下还可以采用除了上述公式(1)之外的其他损失函数来训练该模型，本说明书实施例对此不作限定。
可以理解的是，对于上述目标检测模型以及上述场景重建模型，可以使用测试数据测试模型的准确性。示例性的，评估模型地使用指标，如通过精确度、召回率和F1得分等来评估模型的性能。如果模型的性能不理想，可以返回对模型进行训练的步骤，以继续调整模型的超参数或架构，或者增加训练数据，以改善模型的性能。
当目标区域内所陈设的对象位置发生改变的情况下，需要对上述目标检测模型和场景重建模型进行调整，以保证模型预测性能。可以理解的是，可以尽量保证店铺内所陈设的商品位置不发生较大改变，例如当用户确定购买商品的情况下直接从仓库调出库存提供给用户，而不改变店铺内所陈列样本的位置，从而能够尽量较差模型修正所带来的计算量，减少模型更新迭代次数
在示例性的实施例中，基于上述实施例提供的场景重建模型220执行S120，其中图3示出的S1201和S1203可以作为S120的一种具体实施方式，在S1201中，将上述预设图像的拍摄角度输入至关于所述目标区域的场景重建模型，得到在该拍摄角度下的场景图像。以及，在S1203中，根据上述拍摄角度下的场景图像和该对象对应的检测框在预设图像中的二维坐标信息，确定该对象的空间位置信息。
本说明书实施例中，上述对象的空间位置信息具体可以是指商品所在的货架信息，参考图2，结合商品A对应的检测框在预设图像中的二维坐标信息20以及在该拍摄角度下的场景图像24，可以确定商品A所在的货架信息26。例如“微波炉”陈设与第14货架第5号位置处，在用户咨询微波炉的位置的情况下，通过该实施例所提供的方案并可以快捷准确的为用户提供答复内容。
继续参考图1，在S130中，根据该对象的身份标识与该对象的空间位置信息，构建关于上述目标区域内对象的信息库。
为了给用户提供全方面的咨询服务，本说明书实施例所构建的信息科不仅包括关于商品的空间位置信息，还包括各个商品的基础信息(参考图6)。具体地，图3示出的S1301和S1303可以作为S130的一种具体实施方式。
在S1301中，根据身份标识在预设数据库中进行检索，以获取身份标识对应的基础信息，其中，预设数据库中包含目标区域内多种对象分别对应的基础信息。
参考图2，通过商品A的身份标识28检索(S24)商品公库240，进一步地商品公库输出(S25)商品A的基础信息210。其中，商品公库(即上述预设数据库)如图6所示，其中包含上述预设区域中各个对象的身份标识以及该对象的基础信息。通过商品A的身份标识可以检索到关于商品A的基础信息，示例性的商品A的基础信息包括：商品名称：表示商品的名称，例如“苹果iPhone 12”。商品编号：表示商品的编号，例如“A12345”。商品分类：表示商品所属的类别，例如“手机”、“电视”等。商品品牌：表示商品的品牌，例如“苹果”、“三星”等。商品规格：表示商品的规格，例如“颜色：红色”、“尺寸：L”等。商品价格：表示商品的价格，例如“99元”。商品库存数量：表示商品的库存数量，例如“100台”。商品图片：表示商品的图片，例如“商品图片.jpg”。商品详情：表示商品的详细信息，例如商品的产地、材质、功能等。商品供应商：表示商品的供应商信息，例如供应商的名称、地址、联系方式等。商品评价：表示商品在公开渠道能获取到的一些评测信息。
在S1303中，将检索到的基础信息与上述对象的空间位置信息进行关联，以构建关于目标区域内对象的信息库。
示例性的参考图2，将商品A所在的货架信息26与商品A的基础信息进行关联(S26)，便得到关于商品A在信息库(即商品私库)260中的信息。以此类推，可以将上述店铺内所陈设的所有商品(即目标区域内所有对象)均作如上处理，从而可以构建关于该店铺中商品的信息库260。
通过本说明书实施例可以构建关于目标区域的上述信息库，其中包括该目标区域内所有对象的空间位置信息以及基础信息。在上述目标区域为线下商家的情况下，对于客户所提出的关于商品位置或基础信息的咨询，均可以利用上述信息库为用户快捷提供专业答复，从而有利于提升客户满意度。
在示例性的实施例中，本说明书实施例还提供一种建议信息的生成方案。其中，图7为本说明书实施例提供的建议信息的生成方法的信息的流程示意图。该图所示示例提供的方案应用于软硬一体的电子设备，如摆放在线下店铺的智能机器人等。参考图7，该图所示实施例包括：S710-S720。
在S710中，获取用户输入信息，并识别该用户输入信息的意图。
示例性的参考图8示出的建议信息的生成方案流程图，其中，在S80中，人脸检测/预设语句检测唤起小助手。在一个示例性的实施例中，通过电子设备所配备的摄像部件获取到图像，在通过预设的人脸识别算法检测到有人脸图像的情况下智能地唤起该设备。在另一个示例性的实施例中，通过电子设备所配备的音频接收部件(如麦克风)获取到用户语音，在通过预设的语音识别算法检测到有预设文本(如，嗨、你好等字眼)的情况下智能地唤起该设备。
继续参考图8，在S82中，识别用户特征，并与用户打招呼。示例性的，在电子设备被唤醒的情况下，通过预设的人脸识别算法或语音识别算法来确定用户生理类别，进一步地输出打招呼内容，如“尊敬的先生/女士，欢迎使用，请问需要什么帮助”等。
在S84中，通过语音识别模块来确定用户的问题，以及在S86中，通过智能伟大系统识别用户的意图。示例性的，通过自动语音识别(Automatic Speech Recognition，ASR)技术将用户发出的语音输入转化为文本信息。具体地，将用户语音转化为数字音频信号，以及对上述数字音频信号进行预处理，例如去噪、分帧、加窗等步骤；再通过声学模型将上述预处理后的音频信号转化为语音特征；通过语言模型将上述语音特征转化为对应的单词序列；通过预设词汇表将所述单词序列转化为文本。
进一步地，通过自然语言处理(Natural Language Processing，NLP)技术对文本信息输入进行理解转换为机器可以理解的语义表示，并得到结构化的意图。
在示例性的实施例中，用户意图可以包括咨询类型和推荐类型。其中，咨询类型的用户意图例如“xx(商品)的摆放位置”、“zz(商品)的使用说明”等，推荐类型的用户意图例如“推荐与ss(商品)类型的其他商品”、“推荐家用扫地机器人”等。其中在意图属于咨询类型的情况下，执行S720：确定用户输入信息中的目标对象，根据目标对象的身份标识检索信息库，得到关于目标对象的建议信息。
示例性的参考图8，在确定用户意图为咨询类型为咨询类型的情况下，查询上述实施例锁头积案的信息科库(商品私库)，可以确定当前店铺中每种商品的摆放位置以及商品的基础信息，从而快捷准确用户所咨询的问题的建议信息。
一种实施例中，在用户意图为推荐类型的情况下，通过上述电子设备的图像采集部件(如摄像头)获取用户特征，并将用户特征输入训练后的分类模型，根据分类模型的输出确定推荐信息。具体地，一方面收集用户信息如用户的偏好等数据，另一方面获取商品信息如商品的类别、品牌、价格、销售情况等。进一步地，建立用于商品推荐的分类模型，具体为根据用户信息和商品信息构建该推荐模型，该模型可以根据用户的信息预测用户对商品的喜好程度。本实施例中通过上述分类模型来向用户提供推荐信息。
示例性的，关于上述分类模型的推荐效果的评价方式包括用户是否购买了其所推荐的商品、用户对推荐的商品的评价信息等。通过确定推荐效果来不断优化上述分类模型，以提升推荐精准程度。
另一种实施例中，在用户意图为推荐类型的情况下，由于上述信息库包括不仅包含了目标对象的空间位置信息还包含目标对象的基础信息，其中基础信息中包含了与目标对象相关产品(或叫做相似对象)的信息，例如关于a品牌洗衣机的基础信息中包含了与其功能相似的b品牌洗衣机，关于a品牌洗衣机的基础信息中还可以包含与a品牌洗衣机配套使用的a品牌烘干机等。则在用户意图为推荐与目标对象相似功能的其他品牌产品的情况下，可以根据信息库所存储的信息确定推荐内容，例如，用户希望推荐与a品牌洗衣机相同功能其他品牌产品时，可以根据信息库中a品牌洗衣机的基础信息确定b品牌洗衣机作为答复内容；用户希望推荐与a品牌洗衣机相配套使用的产品时，可以根据信息库中a品牌洗衣机的基础信息确定a品牌烘干机作为答复内容。本实施例中具体是根据信息库所存储的信息，快捷确定用户推荐类型意图的推荐信息。
继续参考图8，在S88中，通过语音合成模块将获得的文本转化成为语音以回答用户。示例性的，将通过上述实施例所确定的建议信息、推荐信息和应答信息(如打招呼内容)所对应的文本进行预处理，其中预处理包括分词处理以及词性标注处理；根据上述预处理后的结果，规划语音合成的语音特征，所述语音特征包括语调、语速、发音；通过语音合成引擎将上述语音特征转换为语音信号；通过上述音频输出部件输出所述语音信号。
具体地，可以采用对话管理(Dialog Management，DM)用于将人机对话过程中的历史内容进行保持和记忆，并基于对话的状态判断系统下一步应该采取什么动作。其中，上述动作可以理解为机器需要表达什么意思。通过自然语言生成(Natural LanguageGeneration，NLG)技术将系统动作转变成自然语言文本，即反馈生成人可以理解的文本信息。以及从文本到语音(Text To Speech，简称：TTS)将文本信息转为音频，以通过终端设备反馈给用户。其中所合成的语音可以是人类语音的合成版本，也可以是机器人语音的合成版本，本说明书实施例对此不作限定。
在示例性的实施例中，上述电子设备还包括显示屏和/或音频输出部件；通过显示屏以文本或图像的方式，输出上述建议信息、推荐信息和应答信息，和/或，通过音频输出部件，以音频的方式输出上述建议信息、推荐信息和应答信息。
本说明书实施例提供了一种软硬一体的商品咨询小助手是一种自动处理商品咨询的电子设备。它可以通过人工智能技术，为客户提供准确、专业的商品咨询服务。具体来说，该设备可以通过语音交互或文本交互的方式，为客户回答关于商品的问题。例如，客户可以问设备商品在哪个货架，多少钱，怎么使用等问题。该电子设备可以根据商家的商品信息，为客户提供准确的回答。此外，该电子设备还可以根据客户的需求，为客户推荐相关商品。线下商家可以通过设置不同的商品推荐策略，让设备为客户提供个性化的商品推荐。通过本说明书实施例提供的软硬一体的商品咨询小助手可以为客户提供快速、专业的商品咨询服务，有利于提升客户的满意度以及减少客户流失。
需要注意的是，上述附图仅是根据本说明书示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。
下述为本说明书装置实施例，可以用于执行本说明书方法实施例。对于本说明书装置实施例中未披露的细节，请参照本说明书方法实施例。
其中，图9为本说明书实施例提供的信息库的构建装置的结构示意图。请参见图9，该图所示的信息库的构建装置可以通过软件、硬件或者两者的结合实现成为电子设备的全部或一部分，还可以作为独立的模块集成于电子设备。
本说明书实施例中，上述信息库的构建装置900包括：第一确定模块910、第二确定模块920以及构建模块930。
其中，上述第一确定模块910，用于对于处于目标区域内的对象，根据目标检测模型确定上述对象的二维坐标信息，其中上述目标检测模型为利用关于上述目标区域的图像训练得到；上述第二确定模型920，用于通过关于上述目标区域的场景重建模型，确定上述二维坐标信息所对应的空间位置信息；以及，上述构建模块930，用于根据上述对象的身份标识与上述对象的空间位置信息，构建关于上述目标区域内对象的信息库。
在示例性的实施例中，基于前述方案，上述第一确定模块910，具体用于：对于处于目标区域内的对象，根据目标检测模型确定上述对象对应的检测框在预设图像中的二维坐标信息；
上述第二确定模块920，具体用于：将上述预设图像的拍摄角度输入至关于上述目标区域的场景重建模型，得到在上述拍摄角度下的场景图像；以及，根据上述拍摄角度下的场景图像和上述对应的检测框在预设图像中的二维坐标信息，确定上述对象的空间位置信息。
在示例性的实施例中，基于前述方案，上述构建模块930，具体用于：根据上述身份标识在预设数据库中进行检索，以获取上述身份标识对应的基础信息，其中，上述预设数据库中包含上述目标区域内多种对象分别对应的基础信息；将检索到的基础信息与上述对象的空间位置信息进行关联，以构建关于上述目标区域内对象的信息库。
在示例性的实施例中，基于前述方案，上述对象为商品，上述对象的空间位置信息包括商品在处的货架信息，上述对象的基础信息包括以下信息中的一种或多种：商品名称、商品编号、商品分类、商品品牌、商品规格、商品价格、商品库存数量、商品图片、商品详情、商品供应商以及商品评价。
在示例性的实施例中，基于前述方案，上述装置还包括：模型训练模块。
其中，上述模型训练模块用于：获取在不同角度下上述目标区域的原始图像；将上述原始图像作为第一训练样本，训练神经辐射场，得到关于上述目标区域的场景重建模型。
在示例性的实施例中，基于前述方案，上述神经辐射场包括MLP部分和全连接部分；上述模型训练模块，具体用于：将第一训练样本中的目标原始图像输入至上述MLP部分进行特征处理，得到目标场景密度特征和目标中间特征；将上述目标中间特征和上述目标原始图像对应的目标视角输入上述全连接部分进行特征处理，得到上述目标视角下的目标颜色特征；对上述目标场景密度特征和上述目标颜色特征进行渲染处理，得到目标生成图像；根据上述目标原始图像和上述目标生成图像确定损失函数，并基于上述损失函数优化上述神经辐射场的模型参数，得到关于上述目标区域的场景重建模型。
需要说明的是，上述实施例提供的信息库的构建装置在执行信息库的构建方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
另外，上述实施例提供的信息库的构建装置与信息库的构建方法实施例属于同一构思，因此对于本说明书装置实施例中未披露的细节，请参照本说明书上述的信息库的构建方法的实施例，这里不再赘述。
其中，图10为本说明书实施例提供的建议信息的生成装置的结构示意图。请参见图10，该图所示的信息库的构建装置可以通过软件、硬件或者两者的结合实现成为电子设备的全部或一部分，还可以作为独立的模块集成于电子设备中。
本说明书实施例中，上述建议信息的生成装置1000包括：获取模块1010和生成模块1020。
其中，上述获取模块1010用于：获取用户输入信息，并识别上述用户输入信息的意图；上述生成模块1020用于：在上述意图属于咨询类型的情况下，确定上述用户输入信息中的目标对象，根据上述目标对象的身份标识检索信息库，得到关于上述目标对象的建议信息，其中，上述信息库为根据上述实施例所提供的信息库的构建方法所构建。
在示例性的实施例中，基于上述方案，上述获取模块1010包括：识别单元。
上述电子设备包括音频接收部件和/或文本输入部件；在上述用户输入信息为通过上述音频接收部件接收到的情况下，上述识别单元，用于：将上述用户输入信息转化为数字音频信号，以及对上述数字音频信号进行预处理，上述处理包括去噪、分帧、加窗；通过声学模型将上述预处理后的音频信号转化为语音特征；通过语言模型将上述语音特征转化为对应的单词序列；通过预设词汇表将上述单词序列转化为文本；通过自然语言处理NLP技术对上述文本进行转换得到语义表示，并得到上述用户输入信息的意图；
在上述用户输入信息为通过上述文本输入部件接收到的情况下，上述识别单元用于：通过NLP技术对上述文本进行转换得到语义表示，并得到上述用户输入信息的意图。
在示例性的实施例中，基于上述方案，上述生成模块1020还用于：在上述意图属于问候类型的情况下，通过上述电子设备的图像采集部件获取用户特征；根据上述用户特征确定应答信息。
在示例性的实施例中，基于上述方案，上述生成模块1020还用于：在上述意图属于推荐类型的情况下，通过上述电子设备的图像采集部件获取用户特征，并将上述用户特征输入训练后的分类模型，根据上述分类模型的输出确定推荐信息；和/或，在上述意图属于推荐类型的情况下，根据上述目标对象的基础信息确定相似对象，其中，上述信息库包括上述目标对象的空间位置信息以及上述目标对象的基础信息；以及，根据上述相似对象，确定推荐信息。
在示例性的实施例中，基于上述方案，上述电子设备还包括显示屏和/或音频输出部件；上述装置还包括：输出模块。
其中，上述输出模块用于：通过上述显示屏，输出上述建议信息、上述应答信息和上述推荐信息，和/或，通过音频输出部件，输出上述建议信息、上述应答信息和上述推荐信息。
在示例性的实施例中，基于上述方案，上述输出模块具体用于：将上述建议信息、上述应答信息和上述推荐信息所对应的文本进行预处理，上述预处理包括分词处理以及词性标注处理；根据上述预处理后的结果，规划语音合成的语音特征，上述语音特征包括语调、语速、发音；通过语音合成引擎将上述语音特征转换为语音信号；通过上述音频输出部件输出上述语音信号。
需要说明的是，上述实施例提供的信息库的构建装置在执行信息库的构建方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
另外，上述实施例提供的信息库的构建装置与信息库的构建方法实施例属于同一构思，因此对于本说明书装置实施例中未披露的细节，请参照本说明书上述的信息库的构建方法的实施例，这里不再赘述。
本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一实施例方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD(Digital Video Disc,数字通用光盘)、CD-ROM(Compact Disc Read-Only Memory,紧凑型光盘只读储存器)、微型驱动器以及磁光盘、ROM(Read-Only Memory,只读储存器)、RAM(Random Access Memory,随机存取存储器)、EPROM(Erasable Programmable Read-Only Memory,可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable read only memory,带电可擦可编程只读存储器)、DRAM(Dynamic Random Access Memory,动态随机存取存储器)、VRAM(Video RandomAccess Memory,影像随机接达记忆器)、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC)，或适合于存储指令和/或数据的任何类型的媒介或设备。
图11示意性示出了根据本说明书一示例性的实施例中电子设备的结构图。请参见图11所示，电子设备1100包括有：音频接收部件和/或文本输入部件1108，用于获取用户输入信息；还包括：处理器1101和存储器1102，其中，上述处理器执行上述计算机程序时实现识别上述用户输入信息的意图，以及，在上述意图属于咨询类型的情况下，确定上述用户输入信息中的目标对象，根据上述目标对象的身份标识检索信息库，得到关于上述目标对象的建议信息，其中，上述信息库为根据实施例所提供的信息库的构建方法所构建。
本说明书实施例中，处理器1101为计算机系统的控制中心，可以是实体机的处理器，也可以是虚拟机的处理器。处理器1101可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1101可以采用数字信号处理(Digital Signal Processing，DSP)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
在本说明书实施例中，上述电子设备执行信息库的构建方法的情况下，上述处理器1101具体用于：对于处于目标区域内的对象，根据目标检测模型确定上述对象的二维坐标信息，其中上述目标检测模型为利用关于上述目标区域的图像训练得到；通过关于上述目标区域的场景重建模型，确定上述二维坐标信息所对应的空间位置信息；根据上述对象的身份标识与上述对象的空间位置信息，构建关于上述目标区域内对象的信息库。
进一步地，上述对于处于目标区域内的对象，根据目标检测模型确定上述对象的二维坐标信息，包括：对于处于目标区域内的对象，根据目标检测模型确定上述对象对应的检测框在预设图像中的二维坐标信息；上述通过关于上述目标区域的场景重建模型，确定上述二维坐标信息所对应的空间位置信息，包括：将上述预设图像的拍摄角度输入至关于上述目标区域的场景重建模型，得到在上述拍摄角度下的场景图像；根据上述拍摄角度下的场景图像和上述对应的检测框在预设图像中的二维坐标信息，确定上述对象的空间位置信息。
进一步地，上述根据上述对象的身份标识与上述对象的空间位置信息，构建关于上述目标区域内对象的信息库，包括：根据上述身份标识在预设数据库中进行检索，以获取上述身份标识对应的基础信息，其中，上述预设数据库中包含上述目标区域内多种对象分别对应的基础信息；将检索到的基础信息与上述对象的空间位置信息进行关联，以构建关于上述目标区域内对象的信息库。
进一步地，上述对象为商品，上述对象的空间位置信息包括商品在处的货架信息，上述对象的基础信息包括以下信息中的一种或多种：商品名称、商品编号、商品分类、商品品牌、商品规格、商品价格、商品库存数量、商品图片、商品详情、商品供应商以及商品评价。
进一步地，上述处理器1101还用于：获取在不同角度下上述目标区域的原始图像；将上述原始图像作为第一训练样本，训练神经辐射场，得到关于上述目标区域的场景重建模型。
进一步地，上述神经辐射场包括MLP部分和全连接部分；
上述将上述图像作为第一训练样本，训练神经辐射场，得到关于上述目标区域的场景重建模型，包括：将第一训练样本中的目标原始图像输入至上述MLP部分进行特征处理，得到目标场景密度特征和目标中间特征；将上述目标中间特征和上述目标原始图像对应的目标视角输入上述全连接部分进行特征处理，得到上述目标视角下的目标颜色特征；对上述目标场景密度特征和上述目标颜色特征进行渲染处理，得到目标生成图像；根据上述目标原始图像和上述目标生成图像确定损失函数，并基于上述损失函数优化上述神经辐射场的模型参数，得到关于上述目标区域的场景重建模型。
在本说明书实施例中，上述电子设备执行建议信息的生成方法的情况下，上述处理器1101具体用于：获取用户输入信息，并识别上述用户输入信息的意图；在上述意图属于咨询类型的情况下，确定上述用户输入信息中的目标对象，根据上述目标对象的身份标识检索信息库，得到关于上述目标对象的建议信息，其中，上述信息库为根据上述实施例中信息库的构建方法所构建。
进一步地，上述电子设备包括音频接收部件和/或文本输入部件；在上述用户输入信息为通过上述音频接收部件接收到的情况下，上述识别上述用户输入信息的意图，包括：将上述用户输入信息转化为数字音频信号，以及对上述数字音频信号进行预处理，上述处理包括去噪、分帧、加窗；通过声学模型将上述预处理后的音频信号转化为语音特征；通过语言模型将上述语音特征转化为对应的单词序列；通过预设词汇表将上述单词序列转化为文本；通过自然语言处理NLP技术对上述文本进行转换得到语义表示，并得到上述用户输入信息的意图；在上述用户输入信息为通过上述文本输入部件接收到的情况下，上述识别上述用户输入信息的意图，包括：通过NLP技术对上述文本进行转换得到语义表示，并得到上述用户输入信息的意图。
进一步地，上述处理器1101还用于：在上述意图属于问候类型的情况下，通过上述电子设备的图像采集部件获取用户特征；根据上述用户特征确定应答信息。
进一步地，上述处理器1101还用于：在上述意图属于推荐类型的情况下，通过上述电子设备的图像采集部件获取用户特征，并将上述用户特征输入训练后的分类模型，根据上述分类模型的输出确定推荐信息；和/或，在上述意图属于推荐类型的情况下，根据上述目标对象的基础信息确定相似对象，其中，上述信息库包括上述目标对象的空间位置信息以及上述目标对象的基础信息；以及，根据上述相似对象，确定推荐信息。
进一步地，上述电子设备还包括显示屏和/或音频输出部件；上述处理器1101还用于：通过上述显示屏，输出上述建议信息、上述应答信息和上述推荐信息，和/或，通过音频输出部件，输出上述建议信息、上述应答信息和上述推荐信息。
进一步地，通过上述音频输出部件，输出上述建议信息、上述应答信息和上述推荐信息，包括：将上述建议信息、上述应答信息和上述推荐信息所对应的文本进行预处理，上述预处理包括分词处理以及词性标注处理；根据上述预处理后的结果，规划语音合成的语音特征，上述语音特征包括语调、语速、发音；通过语音合成引擎将上述语音特征转换为语音信号；通过上述音频输出部件输出上述语音信号。
存储器1102可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在本说明书的一些实施例中，存储器1102中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1101所执行以实现本说明书实施例中的方法。
一些实施例中，电子设备1100还包括有：外围设备接口1103和至少一个外围设备。处理器1101、存储器1102和外围设备接口1103之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1103相连。具体地，外围设备包括：显示屏/音频输出部件1104、图像采集部件(摄像头)1105和音频电路1106中的至少一种。
外围设备接口1103可被用于将输入/输出(Input/Output，I/O)相关的至少一个外围设备连接到处理器1101和存储器1102。在本说明书的一些实施例中，处理器1101、存储器1102和外围设备接口1103被集成在同一芯片或电路板上；在本说明书的一些其他实施例中，处理器1101、存储器1102和外围设备接口1103中的任意一个或两个可以在单独的芯片或电路板上实现。本说明书实施例对此不作具体限定。
显示屏/音频输出部件1104用于显示用户界面(User Interface，UI)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏/音频输出部件1104是触摸显示屏时，显示屏/音频输出部件1104还具有采集在显示屏/音频输出部件1104的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1101进行处理。此时，显示屏/音频输出部件1104还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在本说明书的一些实施例中，显示屏/音频输出部件1104可以为一个，设置电子设备1100的前面板；在本说明书的另一些实施例中，显示屏/音频输出部件1104可以为至少两个，分别设置在电子设备1100的不同表面或呈折叠设计；在本说明书的再一些实施例中，显示屏/音频输出部件1104可以是柔性显示屏，设置在电子设备1100的弯曲表面上或折叠面上。甚至，显示屏/音频输出部件1104还可以设置成非矩形的不规则图形，也即异形屏。显示屏/音频输出部件1104可以采用液晶显示屏(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等材质制备。
图像采集部件(摄像头)1105用于采集图像或视频。可选地，图像采集部件(摄像头)1105包括前置摄像头和后置摄像头。通常，前置摄像头设置在电子设备的前面板，后置摄像头设置在电子设备的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及虚拟现实(VirtualReality，VR)拍摄功能或者其它融合拍摄功能。在本说明书的一些实施例中，图像采集部件(摄像头)1105还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1106可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1101进行处理。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在电子设备1100的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。
电源1107用于为电子设备1100中的各个组件进行供电。电源1107可以是交流电、直流电、一次性电池或可充电电池。当电源1107包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
本说明书实施例中示出的电子设备结构框图并不构成对电子设备1100的限定，电子设备1100可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在本说明书的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本说明书中的具体含义。此外，在本说明书的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
本说明书实施例还提供了计算机可读存储介质，该计算机可读存储介质中存储有指令，当其在计算机或处理器上运行时，使得计算机或处理器执行上述实施例中的一个或多个步骤。上述可用场的确定装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取存储介质中。上述可用场的确定装置的各组成模块如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取存储介质中。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。上述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行上述计算机程序指令时，全部或部分地产生按照本说明书实施例上述的流程或功能。上述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。上述计算机指令可以存储在计算机可读存储介质中，或者通过上述计算机可读存储介质进行传输。上述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DigitalSubscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。上述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。上述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，数字多功能光盘(DigitalVersatile Disc，DVD))、或者半导体介质(例如，固态硬盘(Solid State Disk，SSD))等。
需要注意的是，上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述，仅为本说明书的具体实施方式，但本说明书的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本说明书揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本说明书的保护范围之内。因此，依本说明书权利要求所作的等同变化，仍属本说明书所涵盖的范围。

Claims (17)

1.一种信息库的构建方法，其中，所述方法包括：
对于处于目标区域内的对象，根据目标检测模型确定所述对象的二维坐标信息，其中所述目标检测模型为利用关于所述目标区域的图像训练得到；
通过关于所述目标区域的场景重建模型，确定所述二维坐标信息所对应的空间位置信息；
根据所述对象的身份标识与所述对象的空间位置信息，构建关于所述目标区域内对象的信息库。
2.根据权利要求1所述的方法，其中，所述对于处于目标区域内的对象，根据目标检测模型确定所述对象的二维坐标信息，包括：
对于处于目标区域内的对象，根据目标检测模型确定所述对象对应的检测框在预设图像中的二维坐标信息；
所述通过关于所述目标区域的场景重建模型，确定所述二维坐标信息所对应的空间位置信息，包括：
将所述预设图像的拍摄角度输入至关于所述目标区域的场景重建模型，得到在所述拍摄角度下的场景图像；
根据所述拍摄角度下的场景图像和所述对应的检测框在预设图像中的二维坐标信息，确定所述对象的空间位置信息。
3.根据权利要求1所述的方法，其中，所述根据所述对象的身份标识与所述对象的空间位置信息，构建关于所述目标区域内对象的信息库，包括：
根据所述身份标识在预设数据库中进行检索，以获取所述身份标识对应的基础信息，其中，所述预设数据库中包含所述目标区域内多种对象分别对应的基础信息；
将检索到的基础信息与所述对象的空间位置信息进行关联，以构建关于所述目标区域内对象的信息库。
4.根据权利要求3所述的方法，其中，所述对象为商品，所述对象的空间位置信息包括商品在处的货架信息，所述对象的基础信息包括以下信息中的一种或多种：商品名称、商品编号、商品分类、商品品牌、商品规格、商品价格、商品库存数量、商品图片、商品详情、商品供应商以及商品评价。
5.根据权利要求1至4中任意一项所述的方法，其中，所述方法还包括：
获取在不同角度下所述目标区域的原始图像；
将所述原始图像作为第一训练样本，训练神经辐射场，得到关于所述目标区域的场景重建模型。
6.根据权利要求5所述的方法，其中，所述神经辐射场包括多层感知器MLP部分和全连接部分；
所述将所述原始图像作为第一训练样本，训练神经辐射场，得到关于所述目标区域的场景重建模型，包括：
将第一训练样本中的目标原始图像输入至所述MLP部分进行特征处理，得到目标场景密度特征和目标中间特征；
将所述目标中间特征和所述目标原始图像对应的目标视角输入所述全连接部分进行特征处理，得到所述目标视角下的目标颜色特征；
对所述目标场景密度特征和所述目标颜色特征进行渲染处理，得到目标生成图像；
根据所述目标原始图像和所述目标生成图像确定损失函数，并基于所述损失函数优化所述神经辐射场的模型参数，得到关于所述目标区域的场景重建模型。
7.一种建议信息的生成方法，其中，应用于电子设备，所述方法包括：
获取用户输入信息，并识别所述用户输入信息的意图；
在所述意图属于咨询类型的情况下，确定所述用户输入信息中的目标对象，根据所述目标对象的身份标识检索信息库，得到关于所述目标对象的建议信息，其中，所述信息库为根据权利要求1至6中任意一项构建。
8.根据权利要求7所述的方法，其中，所述电子设备包括音频接收部件和/或文本输入部件；
在所述用户输入信息为通过所述音频接收部件接收到的情况下，所述识别所述用户输入信息的意图，包括：
将所述用户输入信息转化为数字音频信号，以及对所述数字音频信号进行预处理，所述处理包括去噪、分帧、加窗；
通过声学模型将所述预处理后的音频信号转化为语音特征；
通过语言模型将所述语音特征转化为对应的单词序列；
通过预设词汇表将所述单词序列转化为文本；
通过自然语言处理NLP技术对所述文本进行转换得到语义表示，并得到所述用户输入信息的意图；
在所述用户输入信息为通过所述文本输入部件接收到的情况下，所述识别所述用户输入信息的意图，包括：
通过NLP技术对所述文本进行转换得到语义表示，并得到所述用户输入信息的意图。
9.根据权利要求7所述的方法，其中，所述方法还包括：
在所述意图属于问候类型的情况下，通过所述电子设备的图像采集部件获取用户特征；
根据所述用户特征确定应答信息。
10.根据权利要求9所述的方法，其中，所述方法还包括：
在所述意图属于推荐类型的情况下，通过所述电子设备的图像采集部件获取用户特征，并将所述用户特征输入训练后的分类模型，根据所述分类模型的输出确定推荐信息；和/或，
在所述意图属于推荐类型的情况下，根据所述目标对象的基础信息确定相似对象，其中，所述信息库包括所述目标对象的空间位置信息以及所述目标对象的基础信息；以及，根据所述相似对象，确定推荐信息。
11.根据权利要求10所述的方法，其中，所述电子设备还包括显示屏和/或音频输出部件；所述方法还包括：
通过所述显示屏，输出所述建议信息、所述应答信息和所述推荐信息，和/或，通过音频输出部件，输出所述建议信息、所述应答信息和所述推荐信息。
12.根据权利要求11所述的方法，其中，通过所述音频输出部件，输出所述建议信息、所述应答信息和所述推荐信息，包括：
将所述建议信息、所述应答信息和所述推荐信息所对应的文本进行预处理，所述预处理包括分词处理以及词性标注处理；
根据所述预处理后的结果，规划语音合成的语音特征，所述语音特征包括语调、语速、发音；
通过语音合成引擎将所述语音特征转换为语音信号；
通过所述音频输出部件输出所述语音信号。
13.一种信息库的构建装置，其中，所述装置包括：
第一确定模块，用于对于处于目标区域内的对象，根据目标检测模型确定所述对象的二维坐标信息，其中所述目标检测模型为利用关于所述目标区域的图像训练得到；
第二确定模型，用于通过关于所述目标区域的场景重建模型，确定所述二维坐标信息所对应的空间位置信息；
构建模块，用于根据所述对象的身份标识与所述对象的空间位置信息，构建关于所述目标区域内对象的信息库。
14.一种建议信息的生成装置，其中，配置于电子设备，所述装置包括：
获取模块，用于获取用户输入信息，并识别所述用户输入信息的意图；
生成模块，用于在所述意图属于咨询类型的情况下，确定所述用户输入信息中的目标对象，根据所述目标对象的身份标识检索信息库，得到关于所述目标对象的建议信息，其中，所述信息库为根据权利要求1至6中任意一项构建。
15.一种电子设备，包括：音频接收部件和/或文本输入部件，用于获取用户输入信息；
还包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现识别所述用户输入信息的意图，以及，在所述意图属于咨询类型的情况下，确定所述用户输入信息中的目标对象，根据所述目标对象的身份标识检索信息库，得到关于所述目标对象的建议信息，其中，所述信息库为根据权利要求1至6中任意一项构建。
16.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求1至6中任意一项所述的信息库的构建方法；或，实现如权利要求7至12中任意一项所述的建议信息的生成方法。
17.一种包含指令的计算机程序产品，当所述计算机程序产品在计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求1至6中任意一项所述的信息库的构建方法；以及，实现如权利要求7至12中任意一项所述的建议信息的生成方法。
CN202310485482.3A 2023-04-27 2023-04-27 信息库的构建方法、建议信息的生成方法、设备及产品 Pending CN116541548A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310485482.3A CN116541548A (zh) 2023-04-27 2023-04-27 信息库的构建方法、建议信息的生成方法、设备及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310485482.3A CN116541548A (zh) 2023-04-27 2023-04-27 信息库的构建方法、建议信息的生成方法、设备及产品

Publications (1)

Publication Number Publication Date
CN116541548A true CN116541548A (zh) 2023-08-04

Family

ID=87446389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310485482.3A Pending CN116541548A (zh) 2023-04-27 2023-04-27 信息库的构建方法、建议信息的生成方法、设备及产品

Country Status (1)

Country Link
CN (1) CN116541548A (zh)

Similar Documents

Publication Publication Date Title
CN109767765A (zh) 话术匹配方法及装置、存储介质、计算机设备
KR102663846B1 (ko) 아나포라 처리
US11126140B2 (en) Electronic device, external device capable of being combined with the electronic device, and a display method thereof
CN109146450A (zh) 支付方法、客户端、电子设备、存储介质和服务器
CN111552888A (zh) 内容推荐方法、装置、设备及存储介质
CN110222649B (zh) 视频分类方法、装置、电子设备及存储介质
US20180268440A1 (en) Dynamically generating and delivering sequences of personalized multimedia content
WO2021135212A1 (zh) 订单处理
CN111897996A (zh) 话题标签推荐方法、装置、设备及存储介质
CN109918513A (zh) 图像处理方法、装置、服务器及存储介质
CN111291200A (zh) 多媒体资源展示方法、装置、计算机设备及存储介质
EP3678132A1 (en) Electronic device and server for processing user utterances
CN111368525A (zh) 信息搜索方法、装置、设备及存储介质
CN110246110A (zh) 图像评估方法、装置及存储介质
CN113269612A (zh) 物品推荐方法、装置、电子设备及存储介质
CN112000264B (zh) 菜品信息展示方法、装置、计算机设备及存储介质
CN116821513B (zh) 一种推荐场景下的参数搜索方法、装置、设备和介质
CN112766406A (zh) 物品图像的处理方法、装置、计算机设备及存储介质
KR20200013164A (ko) 전자 장치, 및 전자 장치의 제어 방법
CN112002346A (zh) 基于语音的性别年龄识别方法、装置、设备和存储介质
CN116580707A (zh) 基于语音生成动作视频的方法和装置
CN116541548A (zh) 信息库的构建方法、建议信息的生成方法、设备及产品
CN115146786A (zh) 联邦学习的实现方法、装置、系统、介质、设备以及产品
CN114371781A (zh) 房产营销中的用户画像生成方法和系统
US20210358022A1 (en) Machine learning based tiered graphical user interface (gui)

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination