CN110197143B - 一种结算台物品识别方法、装置及电子设备 - Google Patents

一种结算台物品识别方法、装置及电子设备 Download PDF

Info

Publication number
CN110197143B
CN110197143B CN201910412646.3A CN201910412646A CN110197143B CN 110197143 B CN110197143 B CN 110197143B CN 201910412646 A CN201910412646 A CN 201910412646A CN 110197143 B CN110197143 B CN 110197143B
Authority
CN
China
Prior art keywords
network model
sub
sample image
article
feature vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910412646.3A
Other languages
English (en)
Other versions
CN110197143A (zh
Inventor
陈海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deep Blue Technology Shanghai Co Ltd
Original Assignee
Deep Blue Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deep Blue Technology Shanghai Co Ltd filed Critical Deep Blue Technology Shanghai Co Ltd
Priority to CN201910412646.3A priority Critical patent/CN110197143B/zh
Publication of CN110197143A publication Critical patent/CN110197143A/zh
Application granted granted Critical
Publication of CN110197143B publication Critical patent/CN110197143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
    • G07G1/00—Cash registers
    • G07G1/0036—Checkout procedures

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Accounting & Taxation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种结算台物品识别方法、装置及电子设备，所述方法包括：将包含待识别物品的图像输入到预先训练完成的至少两个第一子网络模型中，获取每个第一子网络模型输出的特征向量；将每个特征向量按照预设的规则组合，得到目标特征向量；将所述目标特征向量输入到预先训练完成的第一网络模型，获取所述图像包含的物品对应的物品标识。由于在本发明实施例中，基于包含有待识别物品的图像进行识别，图像的采集比较客观不会受到人为因素的影响，并且在本发明实施例中，由于每个第一子网络模型可以分别提取不同类别的物品的特征，因此该目标特征向量可以准确的表示该图像，从而提高了对图像中的物品识别准确率。

Description

一种结算台物品识别方法、装置及电子设备
技术领域
本发明涉及人工智能技术领域，尤其涉及一种结算台物品识别方法、装置及电子设备。
背景技术
随着人工智能技术的发展，如无人值守超市使用结算台进行自动结算，而结算台进行自动结算的关键点在于如何准确的识别每个物品。现有技术的做法是预先由相关人员编定每个物品对应的产品统一编号(Stock Keeping Unit，SKU)，之后通过识别每个物品对应的SKU确定每个物品对应的物品标识，但是由于结算台需要识别的物品的数量较大，由相关人员编定每个物品的SKU，需要消耗大量的人力，并且由人来编定每个物品的SKU，人为编定每个物品的SKU可能出现错误，例如不同的物品对应的SKU可能相同了，或者SKU本身的编号出现问题，从而导致基于SKU识别物品时存在识别准确率较低的问题。
发明内容
本发明实施例提供了一种结算台物品识别方法、装置及电子设备，用以解决现有技术中物品识别准确率较低的问题。
本发明实施例提供了一种结算台物品识别方法，所述方法包括：
将包含待识别物品的图像输入到预先训练完成的至少两个第一子网络模型中，获取每个第一子网络模型输出的特征向量；
将每个特征向量按照预设的规则组合，得到目标特征向量；
将所述目标特征向量输入到预先训练完成的第一网络模型，获取所述图像包含的物品对应的物品标识。
进一步地，所述第一网络模型的训练过程包括：
获取包含待识别物品的第一样本图像，其中所述第一样本图像中标注了所述第一样本图像包含的物品对应的物品标识；
针对每个第一样本图像，将该第一样本图像分别输入到预先训练完成的所述至少两个第一子网络模型中，获取每个第一子网络模型输出的所述第一样本图像对应的第一子特征向量；将每个第一子特征向量按照预设的规则组合，得到第一特征向量；
将每个第一特征向量及对应的第一样本图像的物品标识输入到第一网络模型中，根据第一网络模型的每个输出，对所述第一网络模型进行训练。
进一步地，所述按照预设的规则组合包括：
按照预设的每个第一子网络模型在进行特征向量组合时对应的组合顺序，依次将每个第一子网络模型对应的特征向量进行组合。
进一步地，所述第一子网络模型的训练过程包括：
获取训练样本集中的每个第二样本图像，其中所述第二样本图像中标注了所述第二样本图像包含的物品对应的物品标识，其中第二样本图像中的物品归属于同一物品类别；
将每个第二样本图像及对应的第二样本图像的物品标识输入到第二网络模型中，根据第二网络模型的每个输出，对所述第二网络模型进行训练；
针对训练完成的第二网络模型，确定所述第二网络模型中实现特征向量提取的子网络，将所述子网络构成的网络模型作为第一子网络模型。
本发明实施例提供了一种结算台物品识别装置，所述装置包括：
第一输入获取模块，用于将包含待识别物品的图像输入到预先训练完成的至少两个第一子网络模型中，获取每个第一子网络模型输出的特征向量；
组合模块，用于将每个特征向量按照预设的规则组合，得到目标特征向量；
第二输入获取模块，用于将所述目标特征向量输入到预先训练完成的第一网络模型，获取所述图像包含的物品对应的物品标识。
进一步地，所述装置还包括：
第一训练模块，用于获取包含待识别物品的第一样本图像，其中所述第一样本图像中标注了所述第一样本图像包含的物品对应的物品标识；针对每个第一样本图像，将该第一样本图像分别输入到预先训练完成的所述至少两个第一子网络模型中，获取每个第一子网络模型输出的所述第一样本图像对应的第一子特征向量；将每个第一子特征向量按照预设的规则组合，得到第一特征向量；将每个第一特征向量及对应的第一样本图像的物品标识输入到第一网络模型中，根据第一网络模型的每个输出，对所述第一网络模型进行训练。
进一步地，所述装置还包括：
第二训练模块，用于获取训练样本集中的每个第二样本图像，其中所述第二样本图像中标注了所述第二样本图像包含的物品对应的物品标识，其中第二样本图像中的物品归属于同一物品类别；将每个第二样本图像及对应的第二样本图像的物品标识输入到第二网络模型中，根据第二网络模型的每个输出，对所述第二网络模型进行训练；针对训练完成的第二网络模型，确定所述第二网络模型中实现特征向量提取的子网络，将所述子网络构成的网络模型作为第一子网络模型。
本发明实施例提供了一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述任一项所述方法的步骤。
本发明实施例提供了一种结算台物品识别方法、装置及电子设备，所述方法包括：将包含待识别物品的图像输入到预先训练完成的至少两个第一子网络模型中，获取每个第一子网络模型输出的特征向量；将每个特征向量按照预设的规则组合，得到目标特征向量；将所述目标特征向量输入到预先训练完成的第一网络模型，获取所述图像中包含的物品的类别。由于在本发明实施例中，基于包含有待识别物品的图像进行识别，图像的采集比较客观不会受到人为因素的影响，并且在本发明实施例中，由于每个第一子网络模型可以分别提取不同类别的物品的特征，因此该目标特征向量可以准确的表示该图像，从而提高了对图像中的物品识别准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种结算台物品识别方法的流程示意图；
图2为本发明实施例4提供的一种结算台物品识别装置的结构示意图；
图3为本发明实施例5提供的一种电子设备。
具体实施方式
下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1：
图1为本发明实施例提供的一种结算台物品识别方法的流程示意图，该过程包括以下步骤：
S101：将包含待识别物品的图像输入到预先训练完成的至少两个第一子网络模型中，获取每个第一子网络模型输出的特征向量。
为了提高图像识别的准确率，本发明实施例采用预先训练完成的至少两个第一子网络模型，其中每个第一子网络模型分别用来识别不同类别的物品。这是因为结算台一般应用于大的商场、超市、购物中心等，需要识别的物品的数量是非常的大的，如果直接对进行识别的模型进行训练，可能没办法保证物品识别的准确性。
为了提高结算台物品识别的准确率，在本发明实施例中预先针对不同类别的物品分别训练了对应的第一子网络模型，例如可以针对罐装类物品训练一个第一子网络模型，针对听装类物品训练一个第一子网络模型，针对袋装类物品再训练一个第一子网络模型，每个第一子网络模型用于获取不同类别的产品的特征向量。
其中第一子网络模型的数量可以为3个、4个或5个等，在本发明实施例中，对第一子网络模型的数量不作限制。
S102：将每个特征向量按照预设的规则组合，得到目标特征向量。
根据上述步骤的描述，因为每个第一子网络模型能够获取不同类别的产品的特征向量，因此可以获取每个第一子网络模型识别出的特征向量，方便进行后续识别。
为了提高结算台识别所有类别的物品的准确率，可以采用每个第一子网络模型提取的特征向量共同表示该图像的特征，具体的，每一个特征向量是一个多维的特征向量，将每个特征向量进行首尾拼接，得到目标特征向量。具体的，可以按照预设的规则进行组合，例如某一第一子网络模型提取的特征向量作为第一个，另一个第一子网络模型提取的特征向量作为第二个等等，依次拼接从而得到目标特征向量。或者在进行拼接时，也可以交叉拼接，比如某一第一子网络模型提取的特征向量的前多少位和另一第一子网络模型提取的特征向量前多少位先进行拼接，然后该两个第一子网络模型提取的特征向量的剩余位再拼接。
在具体实施过程中，采用字符串连接函数将每个特征向量进行拼接，得到目标特征向量。例如，采用concat函数，将每个特征向量进行拼接，得到目标特征向量。例如，第一个第一子网络模型提取的特征向量为A1＝[a1,a2,a3,a4]，第二个第一子网络模型提取的特征向量为A2＝[a5,a6,a7,a8]，则采用concat函数将A1和A2进行组合，得到的目标特征向量为A＝[a1,a2,a3,a4,a5,a6,a7,a8]。
S103：将所述目标特征向量输入到预先训练完成的第一网络模型，获取所述图像包含的物品对应的物品标识。
为了提高物品识别的准确率，采用预先训练完成的第一网络模型对获取的目标特征向量进行处理，该第一网络模型可以是任意一种网络模型，例如，该第一网络模型可以为BP神经网络模型，卷积神经网络模型CNN，深度卷积神经网络模型DCNN，深度残差网络模型DRN等。
为了获取该图像中包含的物品对应的物品标识，在本发明实施例中，将该图像的目标特征向量输入到预先训练完成的第一网络模型中，从而获取该图像中包含的物品对应的物品标识。
由于在本发明实施例中，基于包含有待识别物品的图像进行识别，图像的采集比较客观不会受到人为因素的影响，并且在本发明实施例中，由于每个第一子网络模型可以分别提取不同类别的物品的特征，因此该目标特征向量可以准确的表示该图像，从而提高了对图像中的物品识别准确率。
实施例2：
为了使第一网络模型达到更高的分类精度，在上述实施例的基础上，在本发明实施例中，所述第一网络模型的训练过程包括：
获取包含待识别物品的第一样本图像，其中所述第一样本图像中标注了所述第一样本图像对应的物品标识；
针对每个第一样本图像，将该第一样本图像分别输入到预先训练完成的所述至少两个第一子网络模型中，获取每个第一子网络模型输出的所述第一样本图像对应的第一子特征向量；将每个第一子特征向量按照预设的规则组合，得到第一特征向量；
将每个第一特征向量及对应的第一样本图像的物品标识输入到第一网络模型中，根据第一网络模型的每个输出，对所述第一网络模型进行训练。
由于该第一网络模型是为了识别每种类别的物品，因此在对该第一网络模型进行训练时，需要使用大量的不同类别的物品的第一样本图像，以使该第一网络模型能够较好的识别每个物品。在具体实施过程中，针对相应的应用场景需要使用大量包含了相应物品的第一样本图像进行训练。如果结算台是应用在超市中，则第一样本图像中的物品为超市销售或可能销售的任一物品。为了使该第一网络模型可以识别每种类别的物品，利用多个预先训练完成的第一子网络模型分别提取每个第一样本图像的第一子特征向量，从而得到第一特征向量，根据提取的第一特征向量对该第一网络模型进行训练。
其中第一子网络模型的数量可以为3个、4个或5个等，在本发明实施例中，对第一子网络模型的数量不作限制，不过第一网络模型在进行训练时采用了几个第一子网络模型，则在进行具体识别时也应该采用相应数量的第一子网络模型。
在本发明实施例中，每个第一样本图像中包含的物品不作限制，可以是结算台可以结算的各种物品等；并且每个第一样本图像中标注了该第一样本图像对应的物品标识，该物品标识可以是物品的名称，或编号等唯一标识该物品的信息。
针对任一第一样本图像，可以采用每个第一子网络模型提取的第一子特征向量共同表示该第一样本图像的特征，具体的，每一个第一子特征向量是一个多维的特征向量，将每个第一子特征向量进行首尾拼接，得到第一特征向量。具体的根据每个第一子特征向量，得到第一特征向量的过程，与上述实施例中得到目标特征向量的过程相同，在此不再赘述。
得到每个第一样本图像对应的第一特征向量之后，将每个第一样本图像对应的第一特征向量以及对应的物品标识输入到第一网络模型中，根据第一网络模型的每个输出，对该第一网络模型进行训练。
为了提高图像识别的准确率，在上述实施例的基础上，在本发明实施例中，所述按照预设的规则组合包括：
按照预设的每个第一子网络模型在进行特征向量组合时对应的组合顺序，依次将每个第一子网络模型对应的特征向量进行组合。
在训练第一网络模型时，采用什么样的规则组合每个第一子特征向量，则需要在后续使用训练完成的第一网络模型进行识别时，采用相同的规则组合每个特征向量，从而保证图像识别的准确率。为了提高结算台识别所有类别的物品的准确率，采用每个第一子网络模型提取的特征向量共同表示该图像的特征，具体为，预先设置每个第一子网络模型在进行特征向量组合时对应的组合顺序，在进行特征向量组合时，按照预设的组合顺序，依次将每个第一子网络模型对应的特征向量进行组合。例如某一个第一子网络模型提取的特征向量作为第一个，另一个第一子网络模型提取的特征向量作为第二个，以此类推，按照这种组合顺序依次将所有第一子网络模型的特征向量进行组合。
实施例3：
为了使第一子网络模型达到更高的分类精度，在上述各实施例的基础上，在本发明实施例中，所述第一子网络模型的训练过程包括：
获取训练样本集中的每个第二样本图像，其中所述第二样本图像中标注了所述第二样本图像包含的物品对应的物品标识，其中第二样本图像中的物品归属于同一物品类别；
将每个第二样本图像及对应的第二样本图像的物品标识输入到第二网络模型中，根据第二网络模型的每个输出，对所述第二网络模型进行训练；
针对训练完成的第二网络模型，确定所述第二网络模型中实现特征向量提取的子网络，将所述子网络构成的网络模型作为第一子网络模型。
为了进一步提高结算台物品识别的准确率，在本发明实施例中针对不同类别的物品分别训练对应的第二网络模型，而第一子网络模型是由第二网络模型中用于特征向量识别的子网络构成的，基于训练完成的第二网络模型，可以得到其对应的第一子网络模型。该第二网络模型可以是任意一种网络模型，例如该第二网络模型可以为卷积神经网络模型，深度卷积神经网络模型等，在本发明实施例中，对第二网络模型的类型不作限定。
为了能够使第一子网络模型提取特征向量，需要对第二网络模型进行训练。具体的，该第二网络模型的训练过程为：
首先获取训练样本集中的每个第二样本图像，其中第二样本图像中标注了该第二样本图像包含的物品对应的物品标识，该物品标识可以是物品的名称，或编号等唯一标识该物品的信息，由于任一第二网络模型是用于识别某一类别的物品的，为了使每个第二网络模型可以识别不同类别的物品，在训练任一第二网络模型时，需要根据该第二网络模型识别的物品的类别，准备包含对应类别的物品的第二样本图像，从而保证任一第二网络模型可以较好的识别对应类别的物品；然后，将每个第二样本图像及对应的第二样本图像的物品标识输入到第二网络模型中，经过若干层的卷积层和池化层，获取第二网络模型的每个输出；根据第二网络模型的每个输出，对该第二网络模型进行训练，之后将训练完成的第二网络模型中可以实现特征向量提取的子网络构成的网络模型作为第一子网络模型。
上述描述了针对某一第二网络模型的训练过程，而在识别多种类别的物品时，需要使用多个第二网络模型，因此可以采用上述训练过程分别训练每个第二网络模型，而为了使某一第二网络模型可以识别对应类别的物品，因此在训练该第二网络模型时就用包含了该类别的物品的第二样本图像去训练该第二网络模型。
当对该第二网络模型训练完成后，因为该第二网络模型是实现物品识别的，而该第二网络模型中哪些层能够输出特征向量是预先可知的，因此，将训练完成的第二网络模型中实现特征向量提取的层提取出来，提取出来的第二网络模型的部分层作为第一子网络模型。
实施例4：
图2为本发明实施例提供的一种结算台物品识别装置的结构示意图，该装置包括：
第一输入获取模块201，用于将包含待识别物品的图像输入到预先训练完成的至少两个第一子网络模型中，获取每个第一子网络模型输出的特征向量；
组合模块202，用于将每个特征向量按照预设的规则组合，得到目标特征向量；
第二输入获取模块203，用于将所述目标特征向量输入到预先训练完成的第一网络模型，获取所述图像包含的物品对应的物品标识。
进一步地，所述装置还包括：
第一训练模块204，用于获取训练样本集中的每个第二样本图像，其中所述第二样本图像中标注了所述第二样本图像包含的物品对应的物品标识，其中第二样本图像中的物品归属于同一物品类别；将每个第二样本图像及对应的第二样本图像的物品标识输入到第二网络模型中，根据第二网络模型的每个输出，对所述第二网络模型进行训练；针对训练完成的第二网络模型，确定所述第二网络模型中实现特征向量提取的子网络，将所述子网络构成的网络模型作为第一子网络模型。
进一步地，所述装置还包括：
第二训练模块205，用于获取训练样本集中的每个第二样本图像，其中所述第二样本图像中标注了所述第二样本图像包含的物品对应的物品标识；将每个第二样本图像及对应的第二样本图像的物品标识输入到第二网络模型中，根据第二网络模型的每个输出，对所述第二网络模型进行训练，将训练完成的第二网络模型中实现特征向量提取的子网络作为第一子网络模型。
实施例5：
在上述各实施例的基础上，本发明实施例还提供了一种电子设备300，如图3所示，包括：处理器301、通信接口302、存储器303和通信总线304，其中，处理器301，通信接口302，存储器303通过通信总线304完成相互间的通信；
所述存储器303中存储有计算机程序，当所述程序被所述处理器301执行时，使得所述处理器301执行如下步骤：
将包含待识别物品的图像输入到预先训练完成的至少两个第一子网络模型中，获取每个第一子网络模型输出的特征向量；
将每个特征向量按照预设的规则组合，得到目标特征向量；
将所述目标特征向量输入到预先训练完成的第一网络模型，获取所述图像包含的物品对应的物品标识。
进一步地，所述第一网络模型的训练过程包括：
获取包含待识别物品的第一样本图像，其中所述第一样本图像中标注了所述第一样本图像包含的物品对应的物品标识；
针对每个第一样本图像，将该第一样本图像分别输入到预先训练完成的所述至少两个第一子网络模型中，获取每个第一子网络模型输出的所述第一样本图像对应的第一子特征向量；将每个第一子特征向量按照预设的规则组合，得到第一特征向量；
将每个第一特征向量及对应的第一样本图像的物品标识输入到第一网络模型中，根据第一网络模型的每个输出，对所述第一网络模型进行训练。
进一步地，所述按照预设的规则组合包括：
按照预设的每个第一子网络模型在进行特征向量组合时对应的组合顺序，依次将每个第一子网络模型对应的特征向量进行组合。
进一步地，所述第一子网络模型的训练过程包括：
获取训练样本集中的每个第二样本图像，其中所述第二样本图像中标注了所述第二样本图像包含的物品对应的物品标识，其中第二样本图像中的物品归属于同一物品类别；
将每个第二样本图像及对应的第二样本图像的物品标识输入到第二网络模型中，根据第二网络模型的每个输出，对所述第二网络模型进行训练；
针对训练完成的第二网络模型，确定所述第二网络模型中实现特征向量提取的子网络，将所述子网络构成的网络模型作为第一子网络模型。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口302用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种结算台物品识别方法，其特征在于，所述方法包括：
将包含待识别物品的图像输入到预先训练完成的至少两个第一子网络模型中，获取每个第一子网络模型输出的特征向量；
将每个特征向量按照预设的规则组合，得到目标特征向量；
将所述目标特征向量输入到预先训练完成的第一网络模型，获取所述图像包含的物品对应的物品标识；
其中，所述第一子网络模型的训练过程包括：
获取训练样本集中的每个第二样本图像，其中所述第二样本图像中标注了所述第二样本图像包含的物品对应的物品标识，其中第二样本图像中的物品归属于同一物品类别；
将每个第二样本图像及对应的第二样本图像的物品标识输入到第二网络模型中，根据第二网络模型的每个输出，对所述第二网络模型进行训练；
针对训练完成的第二网络模型，确定所述第二网络模型中实现特征向量提取的子网络，将所述子网络构成的网络模型作为第一子网络模型。
2.如权利要求1所述的方法，其特征在于，所述第一网络模型的训练过程包括：
获取包含待识别物品的第一样本图像，其中所述第一样本图像中标注了所述第一样本图像包含的物品对应的物品标识；
针对每个第一样本图像，将该第一样本图像分别输入到预先训练完成的所述至少两个第一子网络模型中，获取每个第一子网络模型输出的所述第一样本图像对应的第一子特征向量；将每个第一子特征向量按照预设的规则组合，得到第一特征向量；
将每个第一特征向量及对应的第一样本图像的物品标识输入到第一网络模型中，根据第一网络模型的每个输出，对所述第一网络模型进行训练。
3.如权利要求1或2所述的方法，其特征在于，所述按照预设的规则组合包括：
按照预设的每个第一子网络模型在进行特征向量组合时对应的组合顺序，依次将每个第一子网络模型对应的特征向量进行组合。
4.一种结算台物品识别装置，其特征在于，所述装置包括：
第一输入获取模块，用于将包含待识别物品的图像输入到预先训练完成的至少两个第一子网络模型中，获取每个第一子网络模型输出的特征向量；
组合模块，用于将每个特征向量按照预设的规则组合，得到目标特征向量；
第二输入获取模块，用于将所述目标特征向量输入到预先训练完成的第一网络模型，获取所述图像包含的物品对应的物品标识；
其中，所述装置还包括：
第二训练模块，用于获取训练样本集中的每个第二样本图像，其中所述第二样本图像中标注了所述第二样本图像包含的物品对应的物品标识，其中第二样本图像中的物品归属于同一物品类别；将每个第二样本图像及对应的第二样本图像的物品标识输入到第二网络模型中，根据第二网络模型的每个输出，对所述第二网络模型进行训练；针对训练完成的第二网络模型，确定所述第二网络模型中实现特征向量提取的子网络，将所述子网络构成的网络模型作为第一子网络模型。
5.如权利要求4所述的装置，其特征在于，所述装置还包括：
第一训练模块，用于获取包含待识别物品的第一样本图像，其中所述第一样本图像中标注了所述第一样本图像包含的物品对应的物品标识；针对每个第一样本图像，将该第一样本图像分别输入到预先训练完成的所述至少两个第一子网络模型中，获取每个第一子网络模型输出的所述第一样本图像对应的第一子特征向量；将每个第一子特征向量按照预设的规则组合，得到第一特征向量；将每个第一特征向量及对应的第一样本图像的物品标识输入到第一网络模型中，根据第一网络模型的每个输出，对所述第一网络模型进行训练。
6.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1-3任一项所述方法的步骤。
CN201910412646.3A 2019-05-17 2019-05-17 一种结算台物品识别方法、装置及电子设备 Active CN110197143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910412646.3A CN110197143B (zh) 2019-05-17 2019-05-17 一种结算台物品识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910412646.3A CN110197143B (zh) 2019-05-17 2019-05-17 一种结算台物品识别方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN110197143A CN110197143A (zh) 2019-09-03
CN110197143B true CN110197143B (zh) 2021-09-24

Family

ID=67751541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910412646.3A Active CN110197143B (zh) 2019-05-17 2019-05-17 一种结算台物品识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN110197143B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110930585B (zh) * 2019-12-06 2022-04-19 创新奇智(浙江)科技有限公司 一种使用图像标签辅助识别商品的方法及其系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229379A (zh) * 2017-12-29 2018-06-29 广东欧珀移动通信有限公司 图像识别方法、装置、计算机设备和存储介质
CN108960119A (zh) * 2018-06-28 2018-12-07 武汉市哈哈便利科技有限公司 一种用于无人售货柜的多角度视频融合的商品识别算法
CN109117750A (zh) * 2018-07-24 2019-01-01 深圳先进技术研究院 一种基于深度学习的情绪识别方法、系统及电子设备
CN109145777A (zh) * 2018-08-01 2019-01-04 北京旷视科技有限公司 车辆重识别方法、装置及系统
CN109685115A (zh) * 2018-11-30 2019-04-26 西北大学 一种双线性特征融合的细粒度概念模型及学习方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9208378B2 (en) * 2012-09-28 2015-12-08 Ncr Corporation Methods of processing data from multiple image sources to provide normalized confidence levels for use in improving performance of a recognition processor
CN108875674B (zh) * 2018-06-29 2021-11-16 东南大学 一种基于多列融合卷积神经网络的驾驶员行为识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108229379A (zh) * 2017-12-29 2018-06-29 广东欧珀移动通信有限公司 图像识别方法、装置、计算机设备和存储介质
CN108960119A (zh) * 2018-06-28 2018-12-07 武汉市哈哈便利科技有限公司 一种用于无人售货柜的多角度视频融合的商品识别算法
CN109117750A (zh) * 2018-07-24 2019-01-01 深圳先进技术研究院 一种基于深度学习的情绪识别方法、系统及电子设备
CN109145777A (zh) * 2018-08-01 2019-01-04 北京旷视科技有限公司 车辆重识别方法、装置及系统
CN109685115A (zh) * 2018-11-30 2019-04-26 西北大学 一种双线性特征融合的细粒度概念模型及学习方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A BASELINE FOR MULTI-LABEL IMAGE CLASSIFICATION USING AN ENSEMBLE OF DEEP CONVOLUTIONAL NEURAL NETWORKS;Qian Wang et.al;《arXiv:1811.08412v2 [cs.CV]》;20190216;第1-5页 *
HCP: A Flexible CNN Framework for Multi-Label Image Classification;Yunchao Wei et.al;《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》;20160930;第38卷(第9期);第1901-1907页 *
基于卷积神经网络的多标签图像自动标注;黎键成 等;《计算机科学》;20160731;第43卷(第7期);第41-45页 *

Also Published As

Publication number Publication date
CN110197143A (zh) 2019-09-03

Similar Documents

Publication Publication Date Title
CN109034069B (zh) 用于生成信息的方法和装置
CN109002820A (zh) 一种车牌识别方法、装置及相关设备
CN112184508A (zh) 一种用于图像处理的学生模型的训练方法及装置
CN111461164B (zh) 样本数据集的扩容方法及模型的训练方法
CN111275205B (zh) 虚拟样本的生成方法、终端设备及存储介质
CN109034086A (zh) 车辆重识别方法、装置及系统
CN111126481A (zh) 一种神经网络模型的训练方法及装置
Sapijaszko et al. An overview of recent convolutional neural network algorithms for image recognition
CN111382635B (zh) 一种商品类别识别方法、装置及电子设备
CN113298152B (zh) 模型训练方法、装置、终端设备及计算机可读存储介质
WO2024060684A1 (zh) 模型训练方法、图像处理方法、设备及存储介质
CN108961183A (zh) 图像处理方法、终端设备及计算机可读存储介质
CN111783812B (zh) 违禁图像识别方法、装置和计算机可读存储介质
CN114419363A (zh) 基于无标注样本数据的目标分类模型训练方法及装置
CN110197143B (zh) 一种结算台物品识别方法、装置及电子设备
CN109064464B (zh) 用于检测电池极片毛刺的方法和装置
CN112307860A (zh) 图像识别模型训练方法和装置、图像识别方法和装置
CN112200862B (zh) 目标检测模型的训练方法、目标检测方法及装置
CN105302715B (zh) 应用程序用户界面的获取方法和装置
CN115713669B (zh) 一种基于类间关系的图像分类方法、装置、存储介质及终端
CN116844006A (zh) 一种目标识别方法、装置、电子设备及可读存储介质
CN110716778A (zh) 应用兼容性测试方法、装置及系统
CN109033078B (zh) 语句类别识别方法及装置、存储介质、处理器
CN113255766B (zh) 一种图像分类方法、装置、设备和存储介质
CN110008940B (zh) 一种图像中移除目标物体的方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant