CN112200631B - 一种行业分类模型的训练方法及装置 - Google Patents

Abstract

本说明书提出一种行业分类模型的训练方法及装置，获取门店图像数据集，所述门店图像数据集中的一条数据包括门店图像、以及该门店图像对应的行业类型；针对任一条数据，将该条数据中包含的门店图像输入到预先训练的物品检测模型中，所述物品检测模型用于检测图像中是否包含预设的N种物品；利用所述门店图像数据集中数据对应的物品检测模型输出结果、以及包含的行业类型，构建训练样本集；其中，训练样本以预设N种物品的数量作为N个特征值，以行业类型为标签值；利用所述训练样本集对行业分类模型进行有监督训练，获得用于根据门店图像预测门店行业类型的行业分类模型。

Description

一种行业分类模型的训练方法及装置

技术领域

本说明书涉及计算机技术领域，尤其涉及一种行业分类模型的训练方法及装置。

背景技术

线下实体商户为了便于管理、或为自己的顾客提供更好地服务，通常会购置一些智能设备放置在门店内，例如刷脸支付设备、刷脸打卡设备、智能监控设备等。

同时如果商户想要使用这些设备自带的某些功能、或享受设备厂家提供的某些额外服务，则需要提供一定的身份信息给设备厂家。对于商户来说，需要提供的身份信息之一就是该商户所属的行业信息。例如，如果商户在购买了刷脸支付设备后，如果想要使用刷脸支付功能，则需要向设备厂家提供其所属的行业信息。

目前设备厂家确定商户行业信息的一种方式是直接获取商户手动填写的行业信息，但这种方式并不能保证信息的准确性；另一种方式是采用人工现场确定的方式，但这种方式则会消耗大量的人力与物力成本。

因此，对于设备提供商来说，在确定商户所属的行业信息时，如何能够降低成本且能保证信息的准确性是目前需要解决的问题。

发明内容

针对上述技术问题，本说明书提供一种行业分类模型的训练方法及装置，技术方案如下：

根据本说明书的第一方面，提供一种行业分类模型的训练方法，包括：

获取门店图像数据集，所述门店图像数据集中的一条数据包括门店图像、以及该门店图像对应的行业类型；

针对任一条数据，将该条数据中包含的门店图像输入到预先训练的物品检测模型中；所述物品检测模型用于检测图像中是否包含预设的N种物品；

利用所述门店图像数据集中数据对应的物品检测模型输出结果、以及包含的行业类型，构建训练样本集；其中，训练样本以所述预设N种物品的数量作为N个特征值，以行业类型为标签值；

利用所述训练样本集对行业分类模型进行有监督训练，获得用于根据门店图像预测门店行业类型的行业分类模型。

根据本说明书的第二方面，提供一种行业分类模型的训练装置，包括：

图像数据集获取模块，用于获取门店图像数据集，所述门店图像数据集中的一条数据包括门店图像、以及该门店图像对应的行业类型；

物品检测模块，用于针对任一条数据，将该条数据中包含的门店图像输入到预先训练的物品检测模型中；所述物品检测模型用于检测图像中是否包含预设的N种物品；

训练样本集构建模块，用于利用所述门店图像数据集中数据对应的物品检测模型输出结果、以及包含的行业类型，构建训练样本集；其中，训练样本以所述预设N种物品的数量作为N个特征值，以行业类型为标签值；

行业分类模型训练模块，用于利用所述训练样本集对行业分类模型进行有监督训练，获得用于根据门店图像预测门店行业类型的行业分类模型。

采用本说明书的技术方案，利用预先训练的物品检测模型对图像数据集中的数据进行检测，检测出其中每个图像中的预设类型的一种或多种物品，进而利用门店图像数据集中数据对应的物品检测模型输出结果、以及包含的行业类型，构建训练样本集，从而利用训练样本集对行业分类模型进行有监督训练，得到行业分类模型，由于训练得到的行业分类模型可以用于根据门店图像预测门店行业类型，因此，在确定商户所属的行业信息时，可以基于商户的门店图像确定商户门店所属的行业类型，降低了人力、物力成本的同时也提高了确定行业类型的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本说明书。

附图说明

为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书实施例中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。

图1是本说明书实施例的一种行业分类模型的训练方法的流程示意图；

图2是本说明书实施例的一种物品检测模型检测方法的流程示意图；

图3是本说明书实施例的一种行业分类模型训练的框架结构示意图；

图4是本说明书实施例的一种基于行业分类模型进行行业分类的方法流程示意图；

图5是本说明书实施例的一种基于行业分类模型进行行业分类的框架结构示意图；

图6是本说明书实施例的一种行业分类模型的训练装置结构示意图；

图7a是本说明书实施例的一种基于行业分类模型进行行业分类的装置结构示意图；

图7b是本说明书实施例的另一种基于行业分类模型进行行业分类的装置结构示意图；

图8是用于配置本说明书实施例装置的一种设备的结构示意图。

具体实施方式

为了使本领域技术人员更好地理解本说明书实施例中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行详细地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员所获得的所有其他实施例，都应当属于保护的范围。

在本说明书使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书。在本说明书和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本说明书可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

线下实体商户为了便于管理、或为自己的顾客提供更好地服务，通常会购置一些智能设备放置在门店内，例如购置刷脸支付设备可以便于自己的顾客进行支付、购置刷脸打卡设备便于自己的员工进行打卡方便管理、购置智能监控设备对门店内的情况进行监控等。

同时如果商户想要使用这些设备自带的某些功能、或享受设备厂家提供的某些额外服务，则需要提供一定的身份信息给设备厂家。对于商户来说，需要提供的身份信息之一就是该商户所属的行业信息。例如，如果商户在购买了刷脸支付设备后，如果想要使用刷脸支付功能，则需要向设备厂家提供其所属的行业信息、或者设备厂家向购买了自己生产的智能设备的商户提供贷款服务，则需要获取商户的行业信息。

目前设备厂家确定商户行业信息的一种方式是直接获取商户手动填写的行业信息，但这种方式并不能保证信息的准确性，例如由于每个人对于行业分类的理解不同，可以会填写出与其门店行业实际类型不同的行业信息，又或者商户为了谋取某些利益填写虚假的行业信息等等。

另一种方式是采用人工现场确定的方式，在需要确定商户所述的行业类型时，需要安排专门的工作人员到商户的店内进行现场考察和确定，这种方式会消耗大量的人力与物力成本。

因此，对于设备厂家来说，在确定商户所属的行业信息时，如何能够降低成本且能保证信息的准确性是目前需要解决的问题。

针对上述技术问题，本说明书提供的方案是：经过统计发现，门店的行业类型与门店内物品的种类以及不同种类物品的数量，具有一定的关系。因此，本说明书利用预先训练的物品检测模型对图像数据集中的数据进行检测，确定出每个图像中的预设N种类型物品，进而利用门店图像数据集中数据对应的物品检测模型输出结果、以及包含的行业类型，构建训练样本集，从而利用训练样本集对行业分类模型进行有监督训练，得到用于根据门店图像预测门店行业类型的行业分类模型，相对于商户自行填写行业信息提高了行业分类的准确性，相对于安排专门人员去商户门店内现场确定节省了人力与物力成本。

基于以上说明，如图1所示，本说明书提供一种行业分类模型的训练方法，如下：

S101，获取门店图像数据集，所述门店图像数据集中的一条数据包括门店图像、以及该门店图像对应的行业类型；

其中，该门店图像数据集的获得方式可以是人工现场拍摄，例如到各种行业的门店中进行拍摄，拍摄的图像中至少包括门店内各种“典型”的物品，对于餐饮行业而言的物品可以是桌子、椅子、盘子、碗筷等物品；对于美容美发行业而言的物品可以是发廊椅、吹风机、剪刀、镜子等物品；对于健身行业而言的物品可以是跑步机、深蹲架、动感单车、龙门架、登山机等物品；对于超市行业的物品可以是货架、冰柜、货柜、购物篮、购物车等物品。综上，可以针对每个行业的门店现场拍摄多张图像，例如针对餐饮行业可以选取10-50家门店，每个门店获取10-20张图像，以此类推获取每个行业的图像数据集。

当然，为了进一步节省人力成本，也可以在相关的网站中直接获取满足要求的各个行业的图像并进行人工标注，例如针对餐饮行业，确定图像中具有上述描述的餐饮行业典型的物品且图像清晰，则可以获取该图像，并对该图像标注为“餐饮行业”。

当然，也可以将上述提到的方式相结合，例如对于网络上可以查找到较多满足要求的门店图像的行业，可以采用从网络查找图像并对图像标注的方式，对于网络上较难查找到的符合要求的图像，可以采用人工现场获取并进行标注的方式，本说明书对此不作限定。另外，在图像数据集中的图像数据不足的情况下，也可以采用相应技术生成一些符合实际门店场景的图像，例如利用google构建的Imagenet数据集，将Imagenet数据集中的桌子图像、椅子图像、碗图像等餐饮行业典型的物品图像，合成为一个图像，并将该合成后的图像标注为餐饮行业，作为图像数据集中的一条数据。

最后生成的图像数据集中的数据内容可以参照表1所示的内容：

图像	行业类型
		A	餐饮行业
B	教育行业
		C	美容美发行业

表1

参照表1，门店图像数据集中的一条数据包括门店图像、以及该门店图像对应的行业类型。

S102，针对任一条数据，将该条数据中包含的门店图像输入到预先训练的物品检测模型中，所述物品检测模型用于检测图像中是否包含预设的N种物品；

以上述表1中的第一条数据为例，该条数据中包含图像A，包含的行业类型为餐饮行业。针对图像A，将该图像输入到预先训练的物品检测模型中，输出该图像中包含的预设N种类型物品中的一种或多种物品，例如，该图像中包含20张桌子、40把椅子和40个碗，其中椅子、桌子、碗均是该物品检测模型中预设N种类型物品之中的物品类型。则该物品检测模型输出的结果中共显示这100个物品的种类，和每个物品在图中的位置。

例如，输出的结果可以如表2所示：

物品种类	位置
		桌子	(X1，Y1，W1，H1)
椅子	(X2，Y2，W2，H2)
		…	…
碗	(X4，Y4，W4，H4)

表2

其中，上述表2中的内容仅为示意性说明，实际应用中可以用各种标识分别标识“桌子”、“椅子”“碗”等，例如，用“0”标识“桌子”、“1”标识“椅子”、“2”标识“碗”等。X、Y用于标识物品中心坐标(以门店图像左上角为原点)，W、H分别标识该物品的宽和高。

其中，该物品检测模型可以为常用的CNN神经网络中的目标检测模型，可以是one-stage目标检测网络(一般检测速度较快、精度较低)，也可以是two-stage目标检测网络(一般检测速度较慢、精度较高)，本说明书对此不作限定。以精度较高的two-stage目标检测网络来实现本说明书的物品检测模型为例。其模型的架构可以如图2所示，可以将图像数据集中的任一门店图像输入到物品检测网络中，生成该图像的候选区域，即可能包含目标物品的位置；该候选区域生成算法可以为基于图像的颜色、纹理、面积、位置膨胀并合并相似的像素，最终得到一些列的候选矩阵区域，算法可以包括selective search或EdgeBoxes等。

将该图像输入到卷积层和池化层，通过卷积层提取其图像中的特征，通过池化层对提取出的特征进一步进行降维处理，得到该图像的特征图。将得到的原图中的候选区域通过比例缩放的方式映射到该特征图中，得到包含候选区域的特征图。将包含候选区域的特征图输入到ROI池化层中，将特征图中候选区域对应的局部特征提取得到固定大小的特征，输入到全连接层，通过两个全连接层分别确定物品的种类和位置。

需要说明的是，上述物品检测模型的具体架构可以参照常用的目标检测模型，上述描述仅为实例性说明。另外，该物品检测模型也可以通过利用以包含预设物品的图像为特征值，以图像中每个预设物品的种类及位置作为标签值的训练样本集，进行有监督训练得到，从而得到可以识别出预设N种物品的物品检测模型，具体的训练过程可参照相关技术，本说明对此不作详述。另外，如何确定预设N种物品的类型，可以参照下文描述。

S103，利用所述门店图像数据集中数据对应的物品检测模型输出结果、以及包含的行业类型，构建训练样本集；其中，训练样本以预设N种物品的数量作为N个特征值，以行业类型为标签值；

以N＝4为例，在本步骤中构建行业分类模型的训练样本集时，构建出的一条训练样本中的特征可以参照表3所示。

种类	物品1	物品2	物品3	物品4
					数量	2	3	4	0

表3

构建出的该条训练样本中的特征值为(2，3，4，0)，同时基于其他图像数据集中的数据构建出的训练样本中的特征值可以分别为(1,2,3,4)、(2,1,3,4)等，构建出的训练样本集的形式可以参照表4示出的内容。

特征	标签
		(2，3，4，0)	行业1
(1，2，3，4)	行业2
		(2，1，3，4)	行业2
…	…

表4

需要说明的是，在构建行业分类模型的训练样本集时，可以是利用图像数据集中的全部数据构建训练样本，当然在数量满足训练要求的情况下，也可以是利用图像数据集中的部分数据构建训练样本，本说明书对此不作限定。

S104，利用所述训练样本集对行业分类模型进行有监督训练，获得用于根据门店图像预测门店行业类型的行业分类模型。

在获得了训练样本集后，可以利用训练样本集对行业分类模型进行有监督训练。其中，行业分类模型为多分类模型，可以选用softmax等多分类模型作为初始化模型，以训练样本集中的特征即训练样本中的预设N种物品的数量作为输入数据，以行业类型作为标签值，对初始化模型进行有监督训练，得到最终的行业分类模型。

下面对物品检测模型中的预设N种物品类型的确定方式进行说明：

在本说明书中，该物品检测模型主要用于从图像中检测出该图像中是否包含各个行业中的典型物品，为了使该物品检测模型具有从图像中检测出多个行业中典型物品的能力，可以以下列方式确定物品检测模型可以检测出的N种物品的种类。

可以先确定待预测行业类型，例如，共需要预测的行业类型为3个，分别为餐饮行业、美容美发行业、健身行业。然后针对任一种行业类型，确定用于预测该行业类型的物品种类集合，以上述例子中3种行业类型为例，用于预测餐饮行业的物品，可以包括桌子、椅子、盘子、筷子、碗、杯子，6种物品。用于预测美容美发行业的物品，可以包括发廊椅、吹风机、剪刀、镜子4种物品，用于预测健身行业的物品可，以包括跑步机、深蹲架、动感单车、龙门架、登山机5种物品。

在确定了用于预测每种行业类型的物品种类集合后，可以对全部待预测行业类型对应的物品种类集合取并集，以该并集中包含的全部物品种类作为物品检测模型能够检测出的预设N种物品。

仍以上述例子中的内容为例，可以将3种行业对应的物品种类取并集，即将桌子、椅子、盘子、筷子、碗、杯子、发廊椅、吹风机、剪刀、镜子、跑步机、深蹲架、动感单车、龙门架、登山机，共15种物品，作为该物品检测模型可以从图像中检测出的物品类型。

需要说明的是，上述例子中虽然3个行业对应的物品种类各不相同，但可以理解的是，当面临多个待预测行业类型时，可能会存在多个行业对应相同种类的物品，因此并集中的物品种类总和可能会小于各个行业分别对应的物品种类数量的加和。另外，每个行业对应的物品种类，可以由相关人员预先配置好，在确定了需要预测的行业类型时直接获取相应行业对应的物品种类，以便于在待预测行业类型发生变化时，可以迅速确定相应的N种物品。

通过上述方式，可以把各个行业中典型的物品作为该物品检测模型可以检测出的预设的N种物品。

下面对S103中，如何将物品检测模型的输出结果转化为训练样本中的特征进行说明：

根据上述S102中的说明可知，门店图像数据集中的一条数据对应的物品检测模型输出结果，包括该图像中每个物品的种类，如表2所示。

则利用该表2示出的物品检测模型的输出结果构建一条训练样本特征为：(20,40,40,0,0，…，0)，其中20为桌子的数量、第一个数字40为椅子的数量，第二个数字40为碗的数量，其他数字表示其他预设物品的数量，即通过统计物品检测模型的输出结果中每种物品的数量，以确定该图像中包含的预设N种物品的数量，标签值为该图像数据集中该条数据包括的行业类型即“餐饮行业”。

可见，通过上述方式，可以将图像数据集中的一条数据“转化”为一条训练样本，整合所有的训练样本作为训练样本集。

为了更清楚的描述上述训练过程，结合图3示出的训练过程的框架结构示意图进行说明：

将该图像数据集中的数据中的门店图像输入到预先训练好的物品检测模型中，得到输出结果，统计物品检测模型输出结果中每种物品的数量，以确定该条数据中的门店图像中包含的预设N种物品的数量；以确定出的N种物品的数量作为N个特征值，以该条数据中的行业类型为标签值，构建一条训练样本，汇总门店图像数据集中全部数据对应的训练样本，以生成训练样本集，利用生成的训练样本集对待训练行业分类模型进行训练得到最终的行业分类模型。

由于是从实际的门店图像中提取出各个种类的物品，以及各个种类物品对应的数量，其中不同行业类型中的门店中物品的类型以及各类型物品的数量配比具有一定的规律，因此基于提取出的信息构建训练样本集，并基于该训练样本集训练得到的行业分类模型的输入输出符合各行业线下门店场景的客观规律，进而基于该行业分类模型的对门店图像预测得到该门店行业类型也较为准确。

如图4所示，与上述提出的一种行业分类模型相对应，本说明书提出的一种基于上述的行业分类模型的行业分类方法，包括：

S401，获取目标门店的图像；

获取目标门店图像的具体方式可以参照下文描述，这里不做详述。

S402，针对获取到的任一图像，执行以下步骤：

将该图像输入到上述的物品检测模型中，根据该物品检测模型的输出结果确定图像中包含的预设N种物品的数量；将确定的结果输入到上述的行业分类模型中，得到该行业分类模型的输出结果；

如图5所示，该本步骤中针对获取的目标门店的任一张图像执行的步骤如下，将该待预测门店图像先输入到物品检测模型中，得到该物品检测模型的输出，并将该输出转化为包含的预设N种物品的数量，即符合行业分类模型输入的数据结构，可参照上文S103，将转化后的结果输入到行业分类模型中，得到该行业分类模型的输出。其中该行业分类模型的输出可以是该门店图像属于每种行业类型的概率，例如输出结果可以是餐饮行业83％、超市行业5％等等。当然也可以是输出确定的一个行业类型，例如输出为餐饮行业。

S403，根据至少一张目标门店图像的行业分类模型的输出结果确定所述目标门店的行业类型。

考虑到门店的一张图像对应的行业分类模型的分类结果可能并不足以说明该门店所属的行业，例如由于拍摄角度或光线的问题可能会造成将餐饮行业门店的图像预测为教育行业(例如培训学校)，例如，从某个角度拍摄的餐饮行业门店的图像中，拍摄到了桌子、椅子、杯子，并未拍摄到碗、筷、盘子等物品，而桌子、椅子、杯子也是教育行业中典型的物品，因此，可能会将餐饮行业门店的图像误识别为教育行业；另外，也有可能是拍摄到了桌子、椅子、杯子、碗、筷和盘子，但是其中仅拍摄到了极少数量的碗、筷和盘子，大部分碗、筷和盘子被遮挡住未被拍摄到，而在教育行业的场景中也可能存在少量的餐具物品，因此仍有可能将餐饮行业门店的图像误识别为教育行业。

故仅获取一张目标门店的图像，基于该一张图像进行预测，以该预测结果当作该目标门店最终的行业类型可能并不够准确。

因此，可以根据目标门店的多张图像的行业分类模型的输出结果综合确定该目标门店的行业类型。

例如，在行业分类模型的输出结果为确定的一类行业类型时，可以统计该目标门店的所有图像对应的行业类型，以确定出的行业类型中出现次数最多的行业类型为该目标门店的行业类型。例如，该目标门店的图像共为5张，其中4张对应的行业类型为餐饮行业，1张对应的行业类型为教育行业，则可以确定该门店的行业类型为餐饮行业。

在行业类型模型的输出结果为门店图像属于每种行业类型的概率时，可以统计该目标门店对应的每种行业类型的总和，确定概率总和最大的行业类型为该目标门店的行业类型。

本实施例中，获取目标门店的图像后，可以将该目标门店图像输入到物品检测模型中，将物品检测模型的输出转化为行业分类模型的输入，输入到行业分类模型中，从而能够得到目标门店的分类，准确率较高且节省了人力与物理成本。

下面对上述S401中，获取目标门店的图像的方式进行说明：

在一种实施例中，由于商户购买的智能设备部署于商户的门店之内，因此可以允许商户在需要提供行业类型时，可以自行使用该智能设备拍摄门店内的图像，在需要获取该门店的图像时，可以获取该智能设备预先拍摄的图像，用于对该门店进行行业分类。为了确保商户拍摄的真实性，在获取智能设备预先拍摄的图像时，可以获取智能设备拍摄该图像时记录的位置信息，以确定商户是否是在店内拍摄的图像，其中位置信息可以是GPS位置信息，也可以是该智能设备接入网络的IP地址等。

在本实施例中，该智能设备可以是刷脸支付设备、刷脸打卡设备、智能监控设备等具有摄像功能的设备。本实施例中，为了使商户拍摄的门店图像满足要求，可以在商户使用智能设备拍摄用于行业分类的店内图像时，输出文字、图片、语音等提示信息，提示用户能够尽可能拍摄到店内大部分物品。

在一个实施例中，也可以在确定获得目标门店的拍摄权限的情况下，向位于所述目标门店的智能设备发送拍摄指令，控制该智能设备拍摄所述目标门店的图像。例如，商户购买了刷脸支付设备后，想要使用该刷脸支付设备的相应功能，可以通过该刷脸支付设备的操作面板选择“门店认证”，刷脸支付设备显示“是否授权本设备自动获取店内图像”，在商户点击“授权”后，即获取了目标门店的拍摄权限。

在本实施例中，为了调用智能设备获取到符合要求的门店内图像，控制指令可以用于控制智能设备在预设时间段内拍摄目标门店内的至少一张图像，例如，为了拍摄到目标门店的大部分物品，可以选择在该门店内人员流动较少的时间段进行拍摄，例如，AM6:00-AM8:00获取该门店内的图像。

除了从时间维度保证可以拍摄到店内的尽可能多的物品，还可以从空间的维度进行保证。智能设备的拍摄角度决定了其所能拍摄的到的物品，因此为了尽可能找到门店内最佳的拍摄角度，控制指令也可以控制智能设备按照预设的拍摄角度拍摄该目标门店内的图像，例如控制智能设备旋转360度，每旋转10度拍摄一张图像，以尽可能确保拍摄到门店内最能满足要求的图像。当然上述两种方式也可以相结合，即控制该智能设备在预设的时间段按照预设的拍摄角度拍摄该目标门店内的图像，本说明书对此不做限定。

需要说明的是本实施例中的方案均建立在智能设备部署在一个“合适”的位置，即尽可能拍摄到店内全景的位置，因此，在获取了拍摄权限的情况下，可以输出提示信息以提示商户将该智能设备部署于“合适”的位置，以使该智能设备在自动拍摄图像时可以获取到满足要求的图像。

在一个实施例中，如果目标门店的商户预先填写了该门店的行业类型，例如，餐饮行业，则可以在确定所述目标门店的行业类型后，利用确定出的结果对该目标门店的类型进行更新。

例如，在利用行业分类模型和该目标门店的图像确定该目标门店的类型为教育行业后，可以直接将该目标门店的行业类型直接由餐饮行业更新为教育行业。当然，也可以将该目标门店的行业类型直接由餐饮行业更新为待确认，并同时输出相应的信息，提示商户进一步确定自己门店所属的行业类型。

采用本方式对商户预先填写的门店所属行业信息进行校正和更新，弥补了商户自行填写时准确性不足的问题。

与前述一种行业分类模型的训练方法相对应，本说明书还提供了一种行业分类模型的训练装置。

参见图6所示，该装置包括：

图像数据集获取模块610，用于获取门店图像数据集，所述门店图像数据集中的一条数据包括门店图像、以及该门店图像对应的行业类型；

物品检测模块620，用于针对任一条数据，将该条数据中包含的门店图像输入到预先训练的物品检测模型中，所述物品检测模型用于检测图像中是否包含预设的N种物品；

训练样本集构建模块630，用于利用所述门店图像数据集中数据对应的物品检测模型输出结果、以及包含的行业类型，构建训练样本集；其中，训练样本以预设N种物品的数量作为N个特征值，以行业类型为标签值；

行业分类模型训练模块640，用于利用所述训练样本集对行业分类模型进行有监督训练，获得用于根据门店图像预测门店行业类型的行业分类模型。

在一个实施例中，所述物品检测模块620，还用于确定待预测行业类型；

针对任一种行业类型，确定用于预测该行业类型的物品种类集合；

对全部待预测行业类型对应的物品种类集合取并集，以该并集中包含的全部物品种类作为预设N种物品。

在一个实施例中，所述训练样本集构建模块630，具体用于针对所述门店图像数据集中任一条数据，统计所述物品检测模型输出结果中每种物品的数量，以确定该条数据中的门店图像中包含的预设N种物品的数量；以确定出的N种物品的数量作为N个特征值，以该条数据中的行业类型为标签值，构建一条训练样本；汇总所述门店图像数据集中全部数据对应的训练样本，以生成训练样本集。

如图7a所示，本说明书还提供了一种上述行业分类模型的行业分类装置，包括：

图像获取模块710，用于获取目标门店的图像；

行业分类模块720，用于针对获取到的任一图像，执行以下步骤：

将该图像输入到所述物品检测模型中，根据所述该物品检测模型的输出结果确定所述图像中包含的预设N种物品的数量；

将确定的结果输入到所述行业分类模型中，得到该行业分类模型的输出结果；

根据至少一张目标门店图像的行业分类模型的输出结果确定所述目标门店的行业类型。

在一个实施例中，所述行业分类模块720，具体用于统计所述物品检测模型的输出结果中每种物品的数量，以确定所述图像中包含的预设N种物品的数量。

在一个实施例中，所述图像获取模块710，具体用于在确定获得所述目标门店的拍摄权限的情况下，向位于所述目标门店的智能设备发送拍摄指令，控制该智能设备拍摄所述目标门店的图像。

在本实施例中，所述图像获取模块710，具体用于控制该智能设备在预设时间段内拍摄所述目标门店内的至少一张图像，和/或，控制该智能设备按照预设的拍摄角度拍摄该目标门店内的至少一张图像。

在一个实施例中，所述图像获取模块710，具体用于接收位于所述目标门店的智能设备预先拍摄的图像。

如图7b所示，在一个实施例中，所述行业分类装置还包括行业类型更新模块730，用于在确定所述目标门店的行业类型后，利用确定出的结果对该目标门店的类型进行更新。

上述设备中各个部件的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的。可以根据实际的需要选择其中的部分或者全部模块来实现本说明书方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本说明书实施例还提供一种计算机设备，其至少包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，处理器执行所述程序时实现前述的方法。该方法至少包括：

获取门店图像数据集，所述门店图像数据集中的一条数据包括门店图像、以及该门店图像对应的行业类型；

针对任一条数据，将该条数据中包含的门店图像输入到预先训练的物品检测模型中，所述物品检测模型用于检测图像中是否包含预设的N种物品；

利用所述门店图像数据集中数据对应的物品检测模型输出结果、以及包含的行业类型，构建训练样本集；其中，训练样本以预设N种物品的数量作为N个特征值，以行业类型为标签值；

利用所述训练样本集对行业分类模型进行有监督训练，获得用于根据门店图像预测门店行业类型的行业分类模型。

图8示出了本说明书实施例所提供的一种更为具体的计算设备硬件结构示意图，该设备可以包括：处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。

处理器1010可以采用通用的CPU(Central Processing Unit，中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本说明书实施例所提供的技术方案。

存储器1020可以采用ROM(Read Only Memory，只读存储器)、RAM(Random AccessMemory，随机存取存储器)、静态存储设备，动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1020中，并由处理器1010来调用执行。

输入/输出接口1030用于连接输入/输出模块，以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出)，也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等，输出设备可以包括显示器、扬声器、振动器、指示灯等。

通信接口1040用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。

总线1050包括一通路，在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。

需要说明的是，尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050，但是在具体实施过程中，该设备还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。

本说明书实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述的方法。该方法至少包括：

获取门店图像数据集，所述门店图像数据集中的一条数据包括门店图像、以及该门店图像对应的行业类型；

针对任一条数据，将该条数据中包含的门店图像输入到预先训练的物品检测模型中，所述物品检测模型用于检测图像中是否包含预设的N种物品；

利用所述门店图像数据集中数据对应的物品检测模型输出结果、以及包含的行业类型，构建训练样本集；其中，训练样本以预设N种物品的数量作为N个特征值，以行业类型为标签值；

利用所述训练样本集对行业分类模型进行有监督训练，获得用于根据门店图像预测门店行业类型的行业分类模型。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本说明书实施例可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本说明书实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本说明书实施例各个实施例或者实施例的某些部分所述的方法。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机，计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，在实施本说明书实施例方案时可以把各模块的功能在同一个或多个软件和/或硬件中实现。也可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅是本说明书实施例的具体实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本说明书实施例原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本说明书实施例的保护范围。

Claims (19)

1.一种行业分类模型的训练方法，包括：

获取门店图像数据集，所述门店图像数据集中的一条数据包括门店图像、以及该门店图像对应的行业类型；

针对任一条数据，将该条数据中包含的门店图像输入到预先训练的物品检测模型中；所述物品检测模型用于检测图像中是否包含预设的N种物品；

利用所述门店图像数据集中数据对应的物品检测模型输出结果、以及包含的行业类型，构建训练样本集；其中，训练样本以所述预设N种物品的数量作为N个特征值，以行业类型为标签值；

利用所述训练样本集对行业分类模型进行有监督训练，获得用于根据门店图像预测门店行业类型的行业分类模型。

2.根据权利要求1所述的方法，所述预设N种物品的确定方法为：

确定待预测行业类型；

针对任一种行业类型，确定用于预测该行业类型的物品种类集合；

对全部待预测行业类型对应的物品种类集合取并集，以该并集中包含的全部物品种类作为预设N种物品。

3.根据权利要求1所述的方法，所述利用所述门店图像数据集中数据对应的物品检测模型输出结果、以及包含的行业类型，构建训练样本集，包括：

针对所述门店图像数据集中任一条数据，统计所述物品检测模型输出结果中每种物品的数量，以确定该条数据中的门店图像中包含的预设N种物品的数量；

以确定出的N种物品的数量作为N个特征值，以该条数据中的行业类型为标签值，构建一条训练样本；

汇总所述门店图像数据集中全部数据对应的训练样本，以生成训练样本集。

4.一种基于权利要求1-3任一项所述的行业分类模型的行业分类方法，包括：

获取目标门店的图像；

针对获取到的任一图像，执行以下步骤：

将该图像输入到所述物品检测模型中，根据所述物品检测模型的输出结果确定所述图像中包含的预设N种物品的数量；

将确定的结果输入到所述行业分类模型中，得到该行业分类模型的输出结果；

根据至少一张目标门店图像的行业分类模型的输出结果确定所述目标门店的行业类型。

5.根据权利要求4所述的方法，所述根据所述该物品检测模型的输出结果确定所述图像中包含的预设N种物品的数量，包括：

统计所述物品检测模型的输出结果中每种物品的数量，以确定所述图像中包含的预设N种物品的数量。

6.根据权利要求4所述的方法，所述获取目标门店的图像，包括：

在确定获得所述目标门店的拍摄权限的情况下，向位于所述目标门店的智能设备发送拍摄指令，控制该智能设备拍摄所述目标门店的图像。

7.根据权利要求6所述的方法，控制该智能设备拍摄所述目标门店的图像，包括：

控制该智能设备在预设时间段内拍摄所述目标门店内的至少一张图像，和/或，控制该智能设备按照预设的拍摄角度拍摄该目标门店内的至少一张图像。

8.根据权利要求4所述的方法，所述获取目标门店的图像，包括：

接收位于所述目标门店的智能设备预先拍摄的图像。

9.根据权利要求4所述的方法，还包括：

在确定所述目标门店的行业类型后，利用确定出的结果对该目标门店的类型进行更新。

10.一种行业分类模型的训练装置，包括：

图像数据集获取模块，用于获取门店图像数据集，所述门店图像数据集中的一条数据包括门店图像、以及该门店图像对应的行业类型；

物品检测模块，用于针对任一条数据，将该条数据中包含的门店图像输入到预先训练的物品检测模型中；所述物品检测模型用于检测图像中是否包含预设的N种物品；

训练样本集构建模块，用于利用所述门店图像数据集中数据对应的物品检测模型输出结果、以及包含的行业类型，构建训练样本集；其中，训练样本以所述预设N种物品的数量作为N个特征值，以行业类型为标签值；

行业分类模型训练模块，用于利用所述训练样本集对行业分类模型进行有监督训练，获得用于根据门店图像预测门店行业类型的行业分类模型。

11.根据权利要求10所述的装置，

所述物品检测模块，还用于确定待预测行业类型；

针对任一种行业类型，确定用于预测该行业类型的物品种类集合；

对全部待预测行业类型对应的物品种类集合取并集，以该并集中包含的全部物品种类作为预设N种物品。

12.根据权利要求10所述的装置，

所述训练样本集构建模块，具体用于针对所述门店图像数据集中任一条数据，统计所述物品检测模型输出结果中每种物品的数量，以确定该条数据中的门店图像中包含的预设N种物品的数量；以确定出的N种物品的数量作为N个特征值，以该条数据中的行业类型为标签值，构建一条训练样本；汇总所述门店图像数据集中全部数据对应的训练样本，以生成训练样本集。

13.一种基于权利要求10-12任一项所述的行业分类模型的行业分类装置，包括：

图像获取模块，用于获取目标门店的图像；

行业分类模块，用于针对获取到的任一图像，执行以下步骤：

将该图像输入到所述物品检测模型中，根据所述物品检测模型的输出结果确定所述图像中包含的预设N种物品的数量；

将确定的结果输入到所述行业分类模型中，得到该行业分类模型的输出结果；

根据至少一张目标门店图像的行业分类模型的输出结果确定所述目标门店的行业类型。

14.根据权利要求13所述的装置，

所述行业分类模块，具体用于统计所述物品检测模型的输出结果中每种物品的数量，以确定所述图像中包含的预设N种物品的数量。

15.根据权利要求13所述的装置，

所述图像获取模块，具体用于在确定获得所述目标门店的拍摄权限的情况下，向位于所述目标门店的智能设备发送拍摄指令，控制该智能设备拍摄所述目标门店的图像。

16.根据权利要求15所述的装置，

所述图像获取模块，具体用于控制该智能设备在预设时间段内拍摄所述目标门店内的至少一张图像，和/或，控制该智能设备按照预设的拍摄角度拍摄该目标门店内的至少一张图像。

17.根据权利要求13所述的装置，

所述图像获取模块，具体用于接收位于所述目标门店的智能设备预先拍摄的图像。

18.根据权利要求13所述的装置，所述装置还包括：

行业类型更新模块，用于在确定所述目标门店的行业类型后，利用确定出的结果对该目标门店的类型进行更新。

19.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至9任一项所述的方法。

Images