CN112861886A - 信息处理和模型训练方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种信息处理和模型训练方法、装置、电子设备和存储介质。通过根据用户输入的第一注册请求从第一图像数据中提取第一特征，并根据第一特征和对应的属性信息生成对象库，进而根据对象库确定订单信息。由此，可以降低设备操作难度，减少维护时间，节约运营成本。

Description

信息处理和模型训练方法、装置、电子设备和存储介质

技术领域

本发明实施例涉及数据处理技术领域，尤其涉及一种信息处理和模型训练方法、装置、电子设备和存储介质。

背景技术

随着餐饮行业的发展，很多餐厅都采用了自主挑选菜品，然后排队进行结账。采用人工的方式进行结账的方式一般效率较低下、容易出错，影响用户体验，同时，工作人员的成本较高，对于商户来说需要支出大量的人工费用。由此，现有技术也有通过图像识别的方式进行结算，通过采集餐品的图像，通过图像识别技术来识别餐品的种类，进行确定餐品的价格。

但是，现有技术中对图像识别模型的维护较为复杂，当商户添加新的菜品或者餐品的样式发生改变时，需要对图像识别模型进行重新训练，需要专业的算法人员操作，操作难度高、耗时长，运营成本较高。

发明内容

有鉴于此，本发明实施例提供了一种信息处理和模型训练方法、装置、电子设备和存储介质，可以降低设备操作难度，减少维护时间，节约运营成本。

第一方面，本发明实施例提供了一种信息处理方法，所述方法包括：

接收用户输入的第一注册请求，所述第一注册请求包括至少一个对象的第一图像数据和对象的属性信息；

通过预先训练的特征提取模型从所述第一图像数据中提取第一特征；

根据所述第一特征和对应的属性信息生成对象库，所述对象库包括至少一个对象的第一特征和属性信息的映射关系；以及

根据所述对象库确定订单信息。

第二方面，本发明实施例提供了一种模型训练方法，所述方法包括：

获取第一样本集合和第二样本集合，所述第一样本集合包括多个第一样本，所述第一样本为通过图像融合生成的图像，所述第二样本集合包括多个第二样本，所述第二样本为真实场景图像；

根据所述第一样本集合和所述第二样本集合对初始定位模型进行训练以获取预先训练的定位模型。

第三方面，本发明实施例提供了一种信息处理装置，所述装置包括：

第一注册请求接收单元，用于接收用户输入的第一注册请求，所述第一注册请求包括至少一个对象的第一图像数据和对象的属性信息；

第一特征提取单元，用于通过预先训练的特征提取模型从所述第一图像数据中提取第一特征；

对象库生成单元，用于根据所述第一特征和对应的属性信息生成对象库，所述对象库包括至少一个对象的第一特征和属性信息的映射关系；以及

订单信息确定单元，用于根据所述对象库确定订单信息。

第四方面，本发明实施例提供了一种模型训练装置，所述装置包括：

样本获取单元，用于获取第一样本集合和第二样本集合，所述第一样本集合包括多个第一样本，所述第一样本为通过图像融合生成的图像，所述第二样本集合包括多个第二样本，所述第二样本为真实场景图像；

训练单元，用于根据所述第一样本集合和所述第二样本集合对初始定位模型进行训练以获取预先训练的定位模型。

第五方面，本发明实施例提供了一种电子设备，所述电子设备包括：

图像采集装置；以及

控制装置；

其中，所述控制装置包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面所述的方法。

第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如第一方面或第二方面所述的方法。

本发明实施例的技术方案通过根据用户输入的第一注册请求从第一图像数据中提取第一特征，并根据第一特征和对应的属性信息生成对象库，进而根据对象库确定订单信息。由此，可以降低设备操作难度，减少维护时间，节约运营成本。

附图说明

通过以下参照附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1是本发明实施例的结账设备的结构示意图；

图2是本发明实施例的信息处理方法的流程图；

图3是本发明实施例的录入餐品界面的示意图；

图4是本发明实施例的信息处理系统的示意图；

图5是本发明实施例的激活餐品界面的示意图；

图6是本发明实施例的确定订单信息的流程图；

图7是本发明一个实施例的确定对象数据信息的流程图；

图8是本发明另一个实施例的确定对象数据信息的流程图；

图9是本发明一个实施例的订单图像数据的示意图；

图10是本发明另一个实施例的订单图像数据的示意图；

图11是本发明实施例的特征匹配的流程图；

图12是本发明一个实施例的订单信息的示意图；

图13是本发明另一个实施例的订单信息的示意图；

图14是本发明实施例的模型训练方法的流程图；

图15是本发明实施例的获取第一样本集合的流程图；

图16是本发明实施例的获取第一样本的示意图；

图17是本发明实施例的信息处理装置的示意图；

图18是本发明实施例的模型训练装置的示意图；

图19是本发明实施例的电子设备的示意图。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。

此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。

除非上下文明确要求，否则在说明书的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。

在本发明的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。

图1是本发明实施例的结账设备的结构示意图。如图1所示，本发明实施例的结账设备包括设备主体、图像采集装置11和控制装置12。应理解，图像采集装置11和控制装置12可以根据实际需求设置在设备本体的任意位置，本发明实施例对位置不作限制。

在本实施例中，图像采集装置11用于采集预定区域内的订单图像数据。

进一步地，当用户选好餐品后，将餐品放置在预定区域，图像采集装置可以采集餐品的订单图像数据，所述订单图像数据包括至少一个目标对象，所述目标对象包括菜品、饮品、主食和餐具等商家经营的产品。应理解，本发明实施例以将结账设备应用在餐厅为例进行说明，但本发明实施例对此不作限制，本发明实施例的结账设备可以应用在其它领域，例如，也可以应用在超市等地方，对应地，当应用在超市时，目标对象可以是超市所经营的各种商品，本发明实施例对此不作详述。

在本实施例中，控制装置12用于执行控制处理，具体可以实现的功能可参照下文中的具体步骤。

在一些实施例中，结账设备还包括人机交互装置13，用于进行人机交互。

在一些实施例中，结账设备还包括扫码装置14，用于获取扫描信息。

进一步地，结账设备还包括通信装置（图中未示出），用于与其它通信设备进行交互，例如，可以与商户使用的终端设备（手机、平板电脑、笔记本电脑或台式电脑等）或服务器进行数据交互。

应理解，图1中所示的结账设备仅为本发明实施例的一个示例，本发明实施例对结账设备的形状以及设备中各个装置的位置、类型等不作限定。

进一步地，控制装置包括存储器和处理器，其中，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行可以实现本发明实施例的信息处理方法。具体地，图2是本发明实施例的信息处理方法的流程图。如图2所示，本发明实施例的信息处理方法包括如下步骤：

步骤S100、接收用户输入的第一注册请求。

在本实施例中，结账设备接收用户输入的第一注册请求，所述第一注册请求包括至少一个对象的第一图像数据和对象的属性信息。其中，用户为餐厅的工作人员。

进一步地，当用户开店时，做好餐品后，将餐品放在预定的位置，通过结账设备的人机交互装置选择“录入餐品”的功能，即可将对应的餐品进行注册。具体地，图3示出了注册餐品时的人机交互装置的界面示意图，在图3所示的实施例中，用户通过结账设备的人机交互装置选择“录入餐品”的功能后，结账设备可以通过图像采集装置采集对象的图像数据3A。同时，还可以通过人机交互装置输入对象的属性信息，图3中以属性信息包括餐品名称和餐品价格为例进行说明。通过点击“确认注册”控件即可将第一图像数据和属性信息录入。

步骤S200、通过预先训练的特征提取模型从所述第一图像数据中提取第一特征。

在本实施例中，结账设备接收到用户录入的第一图像数据后，通过预先训练的特征提取模型从所述第一图像数据中提取第一特征。

具体地，所述特征提取模型可以基于现有的各种图像特征提取模型实现，本发明实施例对此不作限制。例如，可以是神经网络、SIFT（Scale-invariant featuretransform，尺度不变特征变换）、HOG（Histogram of Oriented Gradient，方向梯度直方图）等。

步骤S300、根据所述第一特征和对应的属性信息生成对象库。

在本实施例中，结账设备根据所述第一特征和对应的属性信息生成对象库，所述对象库包括至少一个对象的第一特征和属性信息的映射关系。

由此，重复上述步骤S100-步骤S300，用户即可将需要经营的餐品录入到对象库，进而根据对象库进行结账。

在本实施例中，结账设备还可以与服务器进行连接，通过服务器和结账设备共同对所述对象库进行维护。具体如图4所示，服务器2连接多个结账设备1，因此，可能会存储多个商户的对象库，由于每个商户所经营的餐品不同，对象库也会有所不同，因此，结账设备可以与服务器进行数据交互以实现对所述对象库的维护。

进一步地，当用户注册的店是连锁店，且该连锁店已在服务器中存有对象库时，或者，当用户注册的店是某一店铺的分店时，用户只需要通过上述步骤S100-步骤S300将该店铺特有的餐品录入对象库即可，与其它店铺同样的餐品可以通过与服务器交互获取。具体地，用户通过结账设备向服务器发送第二注册请求，所述第二注册请求包括店铺标识。服务器根据店铺标识获取该店铺的对象库，并生成第一同步数据发送至结账设备，所述第一同步数据包括至少一个对象的第一特征和属性信息。结账设备接收到第一同步数据后，根据所述第一同步数据更新所述对象库。由此，用户只需要将特有餐品录入对象库即可，其它餐品可以通过服务器获取，使得在开分店或者连锁店时，减少用户操作流程。

对应地，结账设备还可以将对象库同步至服务器。具体地，用户通过结账设备向服务器发送第二同步数据，服务器根据第二同步数据更新对应的对象库，所述第二同步数据包括用户标识、至少一个对象的第一特征和属性信息，所述用户标识用于表征商户或设备。

进一步地，对于上述得到的对象库，当有某一餐品不再经营、添加新餐品或者餐品样式改变等情况时，还可以对所述对象库进行操作。

具体地，用户通过人机交互装置输入对应的操作请求，结账设备根据操作请求对所述对象库的进行操作，所述操作请求包括添加请求、删除请求、更新请求和查询请求。

进一步地，当商户需要添加餐品时，拍摄一张或多张需要添加的餐品的图像，这里称之为第二图像数据。通过人机交互装置输入餐品的第二图像数据和属性信息（例如价格、名称等），并发送添加请求，结账设备响应于接收到添加请求，从所述第二图像数据中提取第一特征，将所述第一特征和对应的属性信息添加至所述对象库。

当商户需要删除餐品时，通过人机交互装置选择需要删除的餐品，向结账设备发送删除请求，所述删除请求包括对象标识，结账设备响应于接收到删除请求，根据所述对象标识在所述对象库中删除对应的属性信息和第一特征。

当商户需要更新餐品时（例如更改餐品名称、更改餐品价格、更改餐品的图像等），通过人机交互装置选择需要更新的餐品，并输入需要更新的属性信息，所述更新请求包括对象的属性信息和第二图像数据中的一种或多种；结账设备响应于接收到更新请求，在所述对象库中更新对应的属性信息和第一特征。

当用户需要查询餐品时，通过人机交互装置选择需要查询的餐品，并发送查询请求，结账设备根据查询请求发送对应的信息，例如，对象库中的全部或部分对象以及对应的属性信息和第二图像数据等。

假设商户共经营20种餐品，通过上述添加餐品的操作即可将这20种餐品添加至对象库中，但是，由于各种原因，商户可能每天不能将20种餐品全部做出来，例如，此时用户可以对每天经营的餐品进行配置，例如，假设某一天只经营5种餐品，此时，可以对这5种餐品进行激活。具体地，可以通过人机交互装置选择需要激活的餐品，并发送激活请求，所述激活请求包括至少一个对象标识，结账设备根据激活请求激活所述对象标识对应的对象。由此，使得在将第一特征与第二特征进行匹配时，只需要匹配激活的餐品就可以，可以进一步提高结账的效率和准确率。具体地，图5示出了激活操作的界面示意图，其中，圆形虚线框表示“采集图像”控件。由此，可以通过人机交互界面选择需要激活的餐品，同时，可以通过“采集图像”控件添加餐品图像，以进一步提高图像识别的准确率。

步骤S400、根据所述对象库确定订单信息。

在本实施例中，如上述步骤S100-步骤S300中所述，当对象库确定后，即可根据对象库进行自动结账。

图6示出了确定订单信息的流程图，在图6所示的实施例中，根据所述对象库确定订单信息包括如下步骤：

步骤S410、获取预定区域内的订单图像数据。

在本实施例中，所述订单图像数据包括至少一个目标对象。

进一步地，当用户选好餐品后，将餐品放置在预定区域，结账设备1通过图像采集装置可以采集订单图像数据，所述订单图像数据包括至少一个目标对象。在一个示例中，预定区域可如图1中的虚线框所示的区域。

在一些实施例中，可以在预定区域预先设置传感器（例如红外传感器和重力传感器等），通过传感器检测是否有物体放入预定的区域内，当检测到有物体放入时，控制图像采集装置采集订单图像数据。

步骤S420、根据所述订单图像数据和所述对象库获取所述目标对象的属性信息。

在本实施例中，所述属性信息包括目标对象的对象价格。

在一个可选的实现方式中，获取目标对象的属性信息可由服务器执行，如图7所示，包括如下步骤：

步骤S421、向服务器发送结算请求。

在本实施例中，结账设备获取到订单图像数据后，表示需要对用餐费用进行结算，生成结算请求，所述结算请求包括用户标识和预定区域内的订单图像数据，所述订单图像数据包括至少一个目标对象。其中，所述用户标识用于表征商户或设备，也即，所述用户标识可以是商户标识或者结账设备的设备标识，所述商户标识用于表征商户的身份信息。通过通信装置将结算请求发送至服务器。服务器根据结算请求获取所述目标对象的属性信息。

进一步地，如图4所示，服务器2可能连接多个结账设备1，因此，可能会存储多个商户的对象库，由于每个商户所经营的餐品不同，对象库也会有所不同，因此，服务器可以根据结算请求中的用户标识获取商户对应的对象库。进而根据所述对象库和所述订单图像数据获取所述目标对象的属性。更具体地，服务器通过预先训练的定位模型从所述订单图像数据中获取所述目标对象，通过预先训练的特征提取模型提取所述目标对象的第二特征，在所述对象库中获取与所述第二特征匹配的第一特征，将所述匹配的第一特征对应的属性信息确定为所述目标对象的属性信息。由此，服务器即可得到目标对象的属性信息，进而将属性信息发送至结账设备。

步骤S422、接收服务器发送的所述目标对象的属性信息。

在本实施例中，结账设备接收服务器发送的所述目标对象的属性信息。

由此，通过上述步骤S431-步骤S432即可通过服务器获取目标对象的属性信息。

在另一个可选的实现方式中，结账设备可以进行获取目标对象的属性信息。具体如图8所示，包括如下步骤：

步骤S423、通过预先训练的定位模型从所述订单图像数据中获取所述目标对象。

在本实施例中，图9示出了订单图像数据的一部分，其中，B表示餐盘，餐盘内放置了A1-A4共四个菜品。其中，菜品A1-A4可以是同一种菜品，也可以是不同的菜品。通过预先训练的定位模型可以从订单图像数据中获取目标对象，具体地，获取的目标对象可如图10中的四个虚线框所示。

进一步地，本发明实施例的定位模型还可以获取目标对象的数量，在图10所示的示例中，通过所述预先训练的定位模型获取的目标对象的数量为4。

为了进一步提高定位模型的准确性，结账设备还用于展示所述订单图像数据，接收用户输入的第二选择信息，所述第二选择信息包括所述订单图像数据中目标对象的位置信息，根据所述第二选择信息获取所述目标图像。具体地，在定位模型获取到目标对象后，通过人机交互装置展示各个目标对象的区域，如果定位模型没有识别出某一目标对象，用户可以通过人机交互装置选择目标对象的位置，由此，结账设备可以根据用户的第二选择信息确定目标对象的位置信息。

对应地，根据所述第二选择信息对所述定位模型进行更新。由此，可以在下一次结账时，可以提高对象获取的准确性。

步骤S424、通过预先训练的特征提取模型提取所述目标对象的第二特征。

在本实施例中，如上所述，通过定位模型即可获取目标对象，通过预先训练的特征提取模型提取所述目标对象的第一特征。如图10中所示，四个虚线框即为提取的目标对象。

具体地，所述特征提取模型可以基于现有的各种图像特征提取模型实现，本发明实施例对此不作限制。例如，可以是神经网络、SIFT（Scale-invariant featuretransform，尺度不变特征变换）、HOG（Histogram of Oriented Gradient，方向梯度直方图）等

步骤S425、在所述对象库中获取与所述第二特征匹配的第一特征。

步骤S426、将所述匹配的第一特征对应的属性信息确定为所述目标对象的属性信息。

在本实施例中，所述对象库包括至少一个对象的第一特征和对应的属性信息。

具体如图11所示，在步骤S425中，在所述对象库中获取与所述第二特征匹配的第一特征包括如下步骤：

步骤S4251、分别获取各个第一特征与所述第二特征的相似度。

在本实施例中，结账设备计算对象库中的各个第一特征与目标对象的第二特征的相似度，其中，计算相似度的方法可以是现有的各种向量相似度计算方法，本发明实施例对此不作限制，例如欧式距离、曼哈顿距离或余弦相似度等。

步骤S4252、根据所述相似度对第一特征进行排序。

在本实施例中，根据相似度对第一特征进行排序，例如可以按照由大到小的顺序进行排序。

步骤S4253、根据排序结果确定与所述第二特征匹配的第一特征。

在本实施例中，根据排序结果确定与所述第二特征匹配的第一特征，当按照由大到小的顺序进行排序时，选择排序最靠前的第一特征确定为匹配的第一特征。也即，选择相似的最大的第一特征确定为匹配的第一特征。

进一步地，为了进一步提高结账的准确性，本发明实施例的结账设备还用于展示排序结果，接收用户输入的第一选择信息，所述第一选择信息包括第一特征，根据所述第一选择信息确定与所述第二特征匹配的第一特征。具体地，结账设备获取订单图像数据中各个目标对象的图像，并获取与各个目标对象的第二特征匹配的第一特征的排序结果，并将排序结果通过人机交互装置展示，展示的可以是各个第一特征对应的属性信息（例如对象名称等）。同时，人机交互装置的展示界面包括各个第一特征的选择控件，由此，当识别错误时，用户可通过选择控件选择正确的第一特征。由此，可以提高自动结账的准确性。

进一步地，结账设备还可以根据所述第二选择信息对所述定位模型进行更新。由此，使得下一次识别时，减少错误概率。

步骤S430、根据所述对象价格确定订单信息，所述订单信息包括订单费用。

在本实施例中，所述属性信息包括目标对象的价格，由此，可以根据上述确定的属性信息确定订单信息，所述订单信息包括对象名称、对象价格、对象数量和订单费用等中的一个或多个。

本发明实施例通过根据用户输入的第一注册请求从第一图像数据中提取第一特征，并根据第一特征和对应的属性信息生成对象库，进而根据对象库确定订单信息。由此，可以降低设备操作难度，减少维护时间，节约运营成本。

进一步地，结账设备的信息处理还包括如下步骤：

步骤S500、展示所述订单信息。

具体地，图12是本发明一个实施例的订单信息的示意图。其中，“名称”为对象名称，“单价”为对象价格，“数量”为对象数量，“总价格”为订单费用。由此，工作人员或用餐者可以通过显示装置上显示的订单信息对餐品进行核对，检测订单是否有误，如果有误可以及时进行更正。

应理解，本发明实施例中，对于订单的显示不限于通过显示装置，也可以通过其它方式实现。例如，可以通过语音的方式播放订单信息。

进一步地，结账设备的信息处理还包括如下步骤：

步骤S600、收取订单费用。

在本实施例中，结账设备根据订单信息中的费用向用户收取订单费用。

在一个可选的实现方式中，所述收取订单费用具体为：获取支付码并展示。具体地，图13是本发明另一个实施例的订单信息的示意图。与图12不同的是，图13中显示的订单信息中增加了支付码，由此，用户可以通过扫码的方式向商户支付订单费用。

在另一个可选的实现方式中，所述收取订单费用具体为：控制扫描装置开始检测付款码，根据检测到的付款码收取所述订单费用。具体地，结账设备控制所述扫码装置扫码获取付款码，进而收取订单费用。具体地，在用户进行结账时，通过手机、平板电脑、穿戴设备（例如智能手环、智能手表）等终端将付款码展示在扫描装置可扫描的区域，扫描装置可以获取付款码，进而收取订单费用。

进一步地，结账设备的信息处理还包括如下步骤：

步骤S700、响应于收款成功，生成对应的通知消息。

在本实施例中，结账设备检测收款是否成功，在收款成功后，生成对应的通知消息。

进一步地，所述通知消息可以通过语音播放和/或显示的方式实现，以通知用户付款成功。

本发明实施例通过根据用户输入的第一注册请求从第一图像数据中提取第一特征，并根据第一特征和对应的属性信息生成对象库，进而根据对象库确定订单信息。由此，可以降低设备操作难度，减少维护时间，节约运营成本。

进一步地，如上所述，不管是结账设备还是服务器，在获取第一图像中的属性信息或数量时，都需要通过预先训练的定位模型来获取，由此，本发明实施例还提供了一种定位模型的训练方法，具体如图14所示，包括如下步骤：

步骤S810、获取第一样本集合和第二样本集合。

在本实施例中，在训练定位模型时，首先获取初始定位模型和用于训练定位模型的样本。其中，需要获取的样本包括第一样本集合和第二样本集合，其中，所述第一样本集合包括多个第一样本，所述第一样本通过图像融合生成的图像，所述第二样本集合包括多个第二样本，所述第二样本为真实场景图像。

具体地，获取第一样本集合的流程如图15所示，图16示出了一个获取第一样本的示意图，结合图15和图16，获取第一样本集合包括如下步骤：

步骤S811、获取多个第三图像和多个第四图像。

在本实施例中，获取多个第三图像（X1，X2）和多个第四图像（X3，X4），所述第三图像为餐品图像，所述餐品图像包括菜品图像和容器图像中的一种或多种，所述第四图像为关联物品图像。其中，所述关联物品为干扰物品，即不属于商户所经营的物品或者属于商家但不计费的物品等，例如可以是餐纸、餐盘、台面和手机中的一种或多种。

步骤S812、通过分割模型从所述第三图像中分别提取第一子图像和第二子图像。

在本实施例中，通过分割模型对所述第三图像进行分割以获取第一子图像（X7，X8）和第二子图像（X5，X6）。所述第一子图像为菜品图像，所述第二子图像为容器图像。

进一步地，采用分割模型，可以将获取的第三图像进行像素级的分割，抽取MASK（模糊）区域。其中，分割又分为两个分割：菜品分割与容器分割，通过分割模型即可分别得到菜品和容器（碗、碟、餐盘等）的图像。

步骤S813、根据所述第一子图像、第二子图像和第四图像生成初始样本。

在本实施例中，通过上述步骤即可得到第一子图像（菜品）、第二子图像（容器）和第四图像（关联物品），将得到的图像进行融合以获取初始样本（X9）。

步骤S814、通过光照模型根据所述初始样本生成第一样本以获取所述第一样本集合。

在本实施例中，通过光照（PHONG）模型根据所述初始样本生成第一样本以获取所述第一样本集合。具体地，通过PHONG模型为初始样本添加阴影、光照，来模拟商户的复杂光照环境，以获取更加真是的第一样本。

进一步地，对获取到的第一样本标注出容器（打包盒、碗、碟子）、菜品（番茄鸡蛋，小炒肉）、商品（雪碧，可乐，鸭蛋）、菜品中的计数（如两个鸡腿，三个烧卖）等信息，以获取标记的第一样本，通过多次操作即可得到大量的第一样本组成的第一样本集合。其中，标注框可以是正方形、矩形、圆形、三角形、线条形、多边形等。

在本实施例中，可以收集真是场景下的餐品图像作为第二样本，同样，对获取到的第二样本进行标注，通过多次操作即可得到大量的第二样本组成的第二样本集合。

步骤S820、根据所述第一样本集合和所述第二样本集合对初始定位模型进行训练以获取所述预先训练的定位模型。

在本实施例中，根据上述获取到的第一样本集合和所述第二样本集合初始定位模型进行训练以获取所述预先训练的定位模型。

进一步地，定位模型可以基于现有的各种能够实现目标检测模型实现，例如CenterNet-like等。

在一些实施例中，还可以对第一样本或第二样本进行其它处理。例如，例如，在米线和汤面等领域，经常需要将面和汤分开盛放，此时，一份菜品会有多个餐具，又例如，小笼包是按照笼卖的，狮子头、鸡腿、鸡蛋等是按个数卖的。如果不进行特殊配置，可能会导致结算错误。由此，可以在训练定位模型的时候，将上述信息添加至样本中，以提高训练的定位模型的准确性。

由此，即可得到预先训练的定位模型，所述定位模型可以从第一图像中获取目标对象以及目标对象的数量等。例如，可以通过定位模型确定用户的餐品中有几个菜品、几瓶饮料等信息。

本发明实施例通过根据用户输入的第一注册请求从第一图像数据中提取第一特征，并根据第一特征和对应的属性信息生成对象库，进而根据对象库确定订单信息。由此，可以降低设备操作难度，减少维护时间，节约运营成本。

图17是本发明实施例的信息处理装置的示意图。如图17所示，本发明实施例的信息处理装置包括第一注册请求接收单元171、第一特征提取单元172、对象库生成单元173和订单信息确定单元174。其中，第一注册请求接收单元171用于接收用户输入的第一注册请求，所述第一注册请求包括至少一个对象的第一图像数据和对象的属性信息。第一特征提取单元172用于通过预先训练的特征提取模型从所述第一图像数据中提取第一特征。对象库生成单元173用于根据所述第一特征和对应的属性信息生成对象库，所述对象库包括至少一个对象的第一特征和属性信息的映射关系。订单信息确定单元174用于根据所述对象库确定订单信息。

在一些实施例中，所述装置还包括：

操作请求接收单元，用于接收对所述对象库的操作请求，所述操作请求包括添加请求、删除请求、更新请求和查询请求；以及

对象库操作单元，用于根据所述操作请求对所述对象库进行操作。

在一些实施例中，所述添加请求包括对象的属性信息和第二图像数据；

其中，响应于所述操作请求为添加请求，所述对象库操作单元包括：

第一提取子单元，用于从所述第二图像数据中提取第一特征；以及

信息添加子单元，用于将所述第一特征和对应的属性信息添加至所述对象库。

在一些实施例中，所述删除请求包括对象标识；

其中，响应于所述操作请求为删除请求，所述对象库操作单元用于：

在所述对象库中删除所述对象标识对应的属性信息和第一特征。

在一些实施例中，所述更新请求包括对象的属性信息和/或第二图像数据；

其中，响应于所述操作请求为更新请求，所述对象库操作单元用于：

在所述对象库中更新对象的属性信息和/或第一特征。

在一些实施例中，响应于所述操作请求为查询请求，所述对象库操作单元用于：

展示所述对象库中对象的属性信息和/或图像数据。

在一些实施例中，所述激活请求包括至少一个对象标识；

其中，所述对象库操作单元用于：

在所述对象库中激活所述对象标识对应的对象。

在一些实施例中，所述订单信息确定单元用于：

根据所述对象库中激活的对象确定所述订单信息。

在一些实施例中，所述装置还包括：

第二注册请求发送单元，用于向服务器发送第二注册请求，所述第二注册请求包括店铺标识；

第一同步数据接收单元，用于接收服务器发送的第一同步数据，所述第一同步数据包括至少一个对象的第一特征和属性信息；以及

对象库更新单元，用于根据所述第一同步数据更新所述对象库。

在一些实施例中，所述装置还包括：

第二同步数据发送单元，用于向服务器发送第二同步数据，以使得服务器更新对应的对象库，所述第二同步数据包括用户标识、至少一个对象的第一特征和属性信息，所述用户标识用于表征商户或设备。

在一些实施例中，所述订单信息确定单元包括：

订单图像数据获取子单元，用于获取预定区域内的订单图像数据，所述订单图像数据包括至少一个目标对象；

属性信息确定子单元，用于根据所述订单图像数据和所述对象库获取所述目标对象的属性信息，所述属性信息包括目标对象的对象价格；以及

订单信息确定子单元，用于根据所述对象价格确定订单信息，所述订单信息包括订单费用。

在一些实施例中，所述属性信息确定子单元包括：

结算请求发送模块，用于向服务器发送结算请求，所述结算请求包括所述订单图像数据和用户标识，所述用户标识用于表征商户或设备，所述服务器用于根据所述订单图像数据获取所述目标对象的属性信息；以及

属性信息接收模块，用于接收服务器发送的所述目标对象的属性信息。

在一些实施例中，所述属性信息确定子单元包括：

定位模块，用于通过预先训练的定位模型从所述订单图像数据中获取所述目标对象；

第二特征提取模块，用于通过预先训练的特征提取模型提取所述目标对象的第二特征；

匹配模块，用于在所述对象库中获取与所述第二特征匹配的第一特征；以及

确定模块，用于将所述匹配的第一特征对应的属性信息确定为所述目标对象的属性信息。

在一些实施例中，所述匹配模块用于：

分别获取各个第一特征与所述第二特征的相似度；

根据所述相似度对第一特征进行排序；以及

根据排序结果确定与所述第二特征匹配的第一特征。

在一些实施例中，所述匹配模块还用于：

展示排序结果；

接收用户输入的第一选择信息，所述第一选择信息包括第一特征；

根据所述第一选择信息确定与所述第二特征匹配的第一特征。

在一些实施例中，所述装置还包括：

订单图像数据展示单元，用于展示所述订单图像数据；以及

第二选择信息接收单元，用于接收用户输入的第二选择信息，所述第二选择信息包括所述订单图像数据中目标对象的位置信息；

其中，所述属性信息确定子单元用于：

根据所述第二选择信息获取所述目标图像。

在一些实施例中，所述装置还包括：

定位模型更新单元，用于根据所述第二选择信息对所述定位模型进行更新。

在一些实施例中，所述装置还包括：

数量获取单元，用于通过所述预先训练的定位模型获取所述目标对象的数量。

在一些实施例中，所述装置还包括：

订单信息展示单元，用于展示所述订单信息。

在一些实施例中，所述装置还包括：

收费单元，用于收取订单费用。

在一些实施例中，所述收费单元用于：

获取支付码并展示。

在一些实施例中，所述收费单元用于：

控制扫描装置开始检测付款码；以及

根据检测到的付款码收取所述订单费用。

在一些实施例中，所述装置还包括：

通知单元，用于响应于收款成功，生成对应的通知消息。

本发明实施例通过根据用户输入的第一注册请求从第一图像数据中提取第一特征，并根据第一特征和对应的属性信息生成对象库，进而根据对象库确定订单信息。由此，可以降低设备操作难度，减少维护时间，节约运营成本。

图18是本发明实施例的模型训练装置的示意图。如图18所示，本发明实施例的模型训练装置包括样本获取单元181和训练单元182。其中，样本获取单元181用于获取第一样本集合和第二样本集合，所述第一样本集合包括多个第一样本，所述第一样本为通过图像融合生成的图像，所述第二样本集合包括多个第二样本，所述第二样本为真实场景图像。训练单元182用于根据所述第一样本集合和所述第二样本集合对初始定位模型进行训练以获取预先训练的定位模型。

在一些实施例中，样本获取单元包括：

图像获取子单元，用于获取多个第三图像和多个第四图像，所述第三图像为餐品图像，所述餐品图像包括菜品图像和容器图像中的一种或多种，所述第四图像为关联物品图像；

子图像提取子单元，用于通过分割模型从所述第三图像中分别提取第一子图像和第二子图像，所述第一子图像为菜品图像，所述第二子图像为容器图像；

初始样本获取子单元，用于根据所述第一子图像、第二子图像和第四图像生成初始样本；

第一样本获取子单元，用于通过光照模型根据所述初始样本生成第一样本以获取所述第一样本集合。

在一些实施例中，所述关联物品包括餐纸、餐盘、台面和手机中的一种或多种。

本发明实施例通过根据用户输入的第一注册请求从第一图像数据中提取第一特征，并根据第一特征和对应的属性信息生成对象库，进而根据对象库确定订单信息。由此，可以降低设备操作难度，减少维护时间，节约运营成本。

图19是本发明实施例的电子设备的示意图。在本实施例中，电子设备至少包括一个处理器191；以及，与至少一个处理器191通信连接的存储器192；以及，与扫描装置通信连接的通信组件193，通信组件193在处理器191的控制下接收和发送数据；其中，存储器192存储有可被至少一个处理器191执行的指令，指令被至少一个处理器191执行以实现上述信息处理方法或模型训练方法。

具体地，该电子设备包括：一个或多个处理器191以及存储器192，图19中以一个处理器191为例。处理器191、存储器192可以通过总线或者其他方式连接，图19中以通过总线连接为例。存储器192作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。处理器191通过运行存储在存储器192中的非易失性软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述信息处理方法或模型训练方法。

存储器192可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储选项列表等。此外，存储器192可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器192可选包括相对于处理器191远程设置的存储器，这些远程存储器可以通过网络连接至外接设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

一个或者多个模块存储在存储器192中，当被一个或者多个处理器191执行时，执行上述任意方法实施例中的信息处理方法或模型训练方法。

上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果，未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。

本发明实施例通过根据用户输入的第一注册请求从第一图像数据中提取第一特征，并根据第一特征和对应的属性信息生成对象库，进而根据对象库确定订单信息。由此，可以降低设备操作难度，减少维护时间，节约运营成本。

本发明的另一个实施例涉及一种非易失性存储介质，用于存储计算机可读程序，所述计算机可读程序用于供计算机执行上述部分或全部的方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本申请各实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-OnlyMemory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (14)

1.一种信息处理方法，其特征在于，所述方法包括：

接收用户输入的第一注册请求，所述第一注册请求包括至少一个对象的第一图像数据和对象的属性信息；

通过预先训练的特征提取模型从所述第一图像数据中提取第一特征；

根据所述第一特征和对应的属性信息生成对象库，所述对象库包括至少一个对象的第一特征和属性信息的映射关系；以及

根据所述对象库确定订单信息。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

接收对所述对象库的操作请求，所述操作请求包括添加请求、删除请求、更新请求、查询请求和激活请求中的至少一种；以及

根据所述操作请求对所述对象库进行操作；

其中，所述添加请求包括对象的属性信息和第二图像数据，其中，响应于所述操作请求为添加请求，根据所述操作请求对所述对象库进行操作包括：从所述第二图像数据中提取第一特征，将所述第一特征和对应的属性信息添加至所述对象库；

其中，所述删除请求包括对象标识，其中，响应于所述操作请求为删除请求，根据所述操作请求对所述对象库进行操作具体为：在所述对象库中删除所述对象标识对应的属性信息和第一特征；

其中，所述更新请求包括对象的属性信息和/或第二图像数据，其中，响应于所述操作请求为更新请求，根据所述操作请求对所述对象库进行操作具体为：在所述对象库中更新对象的属性信息和/或第一特征；

其中，响应于所述操作请求为查询请求，根据所述操作请求对所述对象库进行操作具体为：展示所述对象库中对象的属性信息和/或图像数据；

其中，所述激活请求包括至少一个对象标识，其中，根据所述操作请求对所述对象库进行操作具体为：在所述对象库中激活所述对象标识对应的对象。

3.根据权利要求2所述的方法，其特征在于，所述根据所述对象库确定订单信息，具体为：

根据所述对象库中激活的对象确定所述订单信息。

4.根据权利要求1所述的方法，其特征在于，所述根据所述对象库确定订单信息，具体包括：

获取预定区域内的订单图像数据，所述订单图像数据包括至少一个目标对象；

根据所述订单图像数据和所述对象库获取所述目标对象的属性信息，所述属性信息包括目标对象的对象价格；以及

根据所述对象价格确定订单信息，所述订单信息包括订单费用。

5.根据权利要求4所述的方法，其特征在于，所述根据所述订单图像数据和所述对象库获取所述目标对象的属性信息，具体包括：

向服务器发送结算请求，所述结算请求包括所述订单图像数据和用户标识，所述用户标识用于表征商户或设备，所述服务器用于根据所述订单图像数据获取所述目标对象的属性信息；以及

接收服务器发送的所述目标对象的属性信息。

6.根据权利要求4所述的方法，其特征在于，所述根据所述订单图像数据和所述对象库获取所述目标对象的属性信息，具体包括：

通过预先训练的定位模型从所述订单图像数据中获取所述目标对象；

通过预先训练的特征提取模型提取所述目标对象的第二特征；

在所述对象库中获取与所述第二特征匹配的第一特征；以及

将所述匹配的第一特征对应的属性信息确定为所述目标对象的属性信息。

7.根据权利要求6所述的方法，其特征在于，所述在所述对象库中获取与所述第二特征匹配的第一特征，具体包括：

分别获取各个第一特征与所述第二特征的相似度；

根据所述相似度对第一特征进行排序；以及

根据排序结果确定与所述第二特征匹配的第一特征。

8.根据权利要求7所述的方法，其特征在于，所述在所述对象库中获取与所述第二特征匹配的第一特征，还包括：

展示排序结果；

接收用户输入的第一选择信息，所述第一选择信息包括第一特征；

根据所述第一选择信息确定与所述第二特征匹配的第一特征。

9.根据权利要求6所述的方法，其特征在于，所述方法还包括：

展示所述订单图像数据；

接收用户输入的第二选择信息，所述第二选择信息包括所述订单图像数据中目标对象的位置信息；以及

根据所述第二选择信息对所述定位模型进行更新；

其中，所述根据所述订单图像数据和所述对象库获取所述目标对象的属性信息，还包括

根据所述第二选择信息获取所述目标图像。

10.根据权利要求6所述的方法，其特征在于，所述预先训练的定位模型通过如下步骤获取：

获取第一样本集合和第二样本集合，所述第一样本集合包括多个第一样本，所述第一样本为通过图像融合生成的图像，所述第二样本集合包括多个第二样本，所述第二样本为真实场景图像；

根据所述第一样本集合和所述第二样本集合对初始定位模型进行训练以获取预先训练的定位模型。

11.根据权利要求10所述的方法，其特征在于，获取第一样本集合包括：

获取多个第三图像和多个第四图像，所述第三图像为餐品图像，所述餐品图像包括菜品图像和容器图像中的一种或多种，所述第四图像为关联物品图像；

通过分割模型从所述第三图像中分别提取第一子图像和第二子图像，所述第一子图像为菜品图像，所述第二子图像为容器图像；

根据所述第一子图像、第二子图像和第四图像生成初始样本；

通过光照模型根据所述初始样本生成第一样本以获取所述第一样本集合；

其中，所述关联物品包括餐纸、餐盘、台面和手机中的一种或多种。

12.一种信息处理装置，其特征在于，所述装置包括：

第一注册请求接收单元，用于接收用户输入的第一注册请求，所述第一注册请求包括至少一个对象的第一图像数据和对象的属性信息；

第一特征提取单元，用于通过预先训练的特征提取模型从所述第一图像数据中提取第一特征；

对象库生成单元，用于根据所述第一特征和对应的属性信息生成对象库，所述对象库包括至少一个对象的第一特征和属性信息的映射关系；以及

订单信息确定单元，用于根据所述对象库确定订单信息。

13.一种电子设备，其特征在于，所述电子设备包括：

图像采集装置；以及

控制装置；

其中，所述控制装置包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如权利要求1-11中任一项所述的方法。

14.一种计算机可读存储介质，其上存储计算机程序指令，其特征在于，所述计算机程序指令在被处理器执行时实现如权利要求1-11中任一项所述的方法。

Images