CN110033027A - 一种物品识别方法、装置、终端及可读存储介质 - Google Patents

一种物品识别方法、装置、终端及可读存储介质 Download PDF

Info

Publication number
CN110033027A
CN110033027A CN201910199409.3A CN201910199409A CN110033027A CN 110033027 A CN110033027 A CN 110033027A CN 201910199409 A CN201910199409 A CN 201910199409A CN 110033027 A CN110033027 A CN 110033027A
Authority
CN
China
Prior art keywords
article
information
image
identification
sample characteristics
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910199409.3A
Other languages
English (en)
Inventor
陈海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deep Blue Technology Shanghai Co Ltd
Original Assignee
Deep Blue Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Deep Blue Technology Shanghai Co Ltd filed Critical Deep Blue Technology Shanghai Co Ltd
Priority to CN201910199409.3A priority Critical patent/CN110033027A/zh
Publication of CN110033027A publication Critical patent/CN110033027A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07F—COIN-FREED OR LIKE APPARATUS
    • G07F9/00—Details other than those peculiar to special kinds or types of apparatus
    • G07F9/006—Details of the software used for the vending machines

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种物品识别方法、装置、终端及可读存储介质，该方法包括：将获取到的待识别的第一物品的第一图像输入到特征提取模型中，基于所述特征提取模型，确定所述第一图像的特征信息；将所述第一图像的特征信息与预先保存的物品特征集合中的样本特征信息进行匹配，根据匹配结果确定所述第一物品的标识信息，其中所述物品特征集合中包括物品的标识信息与物品的样本特征信息的对应关系。本发明中特征提取模型可以依赖于现有成熟的特征提取模型，因此无需对模型进行训练，节省了人工标定及重新训练的时间，缩短了新增物品或更改物品类型时放置到AI售货机上进行售卖的等待时间等待，提高了AI售货机的商家和消费者的使用感。

Description

一种物品识别方法、装置、终端及可读存储介质
技术领域
本发明涉及图像识别技术领域，尤其涉及一种物品识别方法、装置、终端及可读存储介质。
背景技术
自动售货机是商业自动化的常用设备，不受时间、地点的限制，能节省人力且方便交易，因此多在商场、写字楼以及校园等场所进行设置。随着人工智能技术的发展，市场上不断涌现出各种类型的人工智能产品，基于AI(Artificial Intelligence，人工智能)技术的AI售货机也应运而生。
AI售货机能够获取到的物品所属类型的样本图像，当待售卖的物品被放置在AI售货机的货架上后，AI售货机可以采集该物品的图像，根据用户购买的物品的图像以及物品所属类型的样本图像，识别用户购买的该物品所属类型，并进行相应费用的收取，实现自动售货。
现有AI售货机识别用户购买的该物品所属类型的过程主要是对物品的识别过程，通常地，AI售货机中保存有用于识别物品所属类型的模型，该模型根据采集到的人工标定后的物品的样本图像训练得到，但是每次需要新增或更改不同类型的物品，都需要重新采集，重新人工标定以及重新训练，会造成新增物品或更改物品类型需要等待很长时间才能放置到AI售货机上进行售卖，给使用AI售货机的商家和消费者带来不便。
发明内容
本发明提供了一种物品识别方法、装置、终端及可读存储介质，用以解决现有技术中新增物品或更改物品类型时模型重新训练造成的等待时间长的问题。
本发明提供了一种物品识别方法，应用于终端，该方法包括：
将获取到的待识别的第一物品的第一图像输入到特征提取模型中，基于所述特征提取模型，确定所述第一图像的特征信息；
将所述第一图像的特征信息与预先保存的物品特征集合中的样本特征信息进行匹配，根据匹配结果确定所述第一物品的标识信息，其中所述物品特征集合中包括物品的标识信息与物品的样本特征信息的对应关系。
进一步地，预先保存物品特征集合的过程包括：
针对待保存的每个第二物品，将获取到的该第二物品的至少一张第二图像输入到所述特征提取模型中，基于所述特征提取模型，确定所述至少一张第二图像的特征信息；将所述至少一张第二图像的特征信息作为该第二物品的样本特征信息，并将该第二物品的标识信息及该第二物品的样本特征信息保存到物品特征集合中。
进一步地，如果第二图像为至少两张，所述至少两张第二图像为在至少两个不同角度下采集到的图像。
进一步地，获取物品的图像包括：
当识别到图像采集范围内存在物品时，采集第三图像；
在所述第三图像中确定用户手部子图像，根据所述用户手部子图像在所述第三图像中获取物品的图像。
进一步地，所述将所述第一图像的特征信息与预先保存的物品特征集合中的样本特征信息进行匹配，根据匹配结果确定所述第一物品的标识信息包括：
将所述第一图像的特征信息与所述物品特征集合中的样本特征信息进行相似度匹配，确定所述第一图像的特征信息与所述物品特征集合中的样本特征信息的相似度；
将对应的相似度超过预设的相似度阈值的样本特征信息作为候选特征信息；
根据所述候选特征信息及所述候选特征信息对应的物品的标识信息，确定所述第一物品的标识信息。
进一步地，如果候选特征信息为至少两个，所述根据所述候选特征信息及所述候选特征信息对应的物品的标识信息，确定所述第一物品的标识信息包括：
在至少两个候选特征信息中，根据对应的相似度最高的候选特征信息对应的物品的标识信息，确定所述第一物品的标识信息。
本发明提供了一种物品识别装置，应用于终端，该装置包括：
确定模块，用于将获取到的待识别的第一物品的第一图像输入到特征提取模型中，基于所述特征提取模型，确定所述第一图像的特征信息；
识别模块，用于将所述第一图像的特征信息与预先保存的物品特征集合中的样本特征信息进行匹配，根据匹配结果确定所述第一物品的标识信息，其中所述物品特征集合中包括物品的标识信息与物品的样本特征信息的对应关系。
进一步地，所述装置还包括：
保存模块，用于针对待保存的每个第二物品，将获取到的该第二物品的至少一张第二图像输入到所述特征提取模型中，基于所述特征提取模型，确定所述至少一张第二图像的特征信息；将所述至少一张第二图像的特征信息作为该第二物品的样本特征信息，并将该第二物品的标识信息及该第二物品的样本特征信息保存到物品特征集合中。
进一步地，如果第二图像为至少两张，所述至少两张第二图像为在至少两个不同角度下采集到的图像。
进一步地，所述装置还包括：
获取模块，用于当识别到图像采集范围内存在物品时，采集第三图像；在所述第三图像中确定用户手部子图像，根据所述用户手部子图像在所述第三图像中获取物品的图像。
进一步地，所述识别模块，具体用于将所述第一图像的特征信息与所述物品特征集合中的样本特征信息进行相似度匹配，确定所述第一图像的特征信息与所述物品特征集合中的样本特征信息的相似度；将对应的相似度超过预设的相似度阈值的样本特征信息作为候选特征信息；根据所述候选特征信息及所述候选特征信息对应的物品的标识信息，确定所述第一物品的标识信息。
进一步地，所述识别模块，具体用于如果候选特征信息为至少两个，在至少两个候选特征信息中，根据对应的相似度最高的候选特征信息对应的物品的标识信息，确定所述第一物品的标识信息。
本发明提供了一种终端，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行上述任一项所述方法的步骤。
本发明提供了一种计算机可读存储介质，其存储有可由终端执行的计算机程序，当所述程序在所述终端上运行时，使得所述终端执行上述任一项所述方法的步骤。
本发明提供了一种物品识别方法、装置、终端及可读存储介质，该方法包括：将获取到的待识别的第一物品的第一图像输入到特征提取模型中，基于所述特征提取模型，确定所述第一图像的特征信息；将所述第一图像的特征信息与预先保存的物品特征集合中的样本特征信息进行匹配，根据匹配结果确定所述第一物品的标识信息，其中所述物品特征集合中包括物品的标识信息与物品的样本特征信息的对应关系。本发明中基于特征提取模型对物品图像的特征信息进行提取，将提取的特征信息与物品特征集合中的样本特征信息进行匹配，确定物品的标识信息，特征提取模型可以依赖于现有成熟的特征提取模型，因此无需对模型进行训练，节省了人工标定及重新训练的时间，缩短了新增物品或更改物品类型时放置到AI售货机上进行售卖的等待时间等待，提高了AI售货机的商家和消费者的使用感。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例1提供的一种物品识别过程的示意图；
图2为本发明实施例提供的一种终端的结构示意图；
图3为本发明实施例提供的一种物品识别装置示意图。
具体实施方式
为了缩短新增物品或更改物品类型时放置到AI售货机上进行售卖的等待时间等待，本发明实施例提供了一种物品识别方法、装置、终端及可读存储介质。
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1：
图1为本发明实施例提供的一种物品识别过程的示意图，该过程包括以下步骤：
S101：将获取到的待识别的第一物品的第一图像输入到特征提取模型中，基于所述特征提取模型，确定所述第一图像的特征信息。
本发明实施例提供的物品识别方法应用于终端，该终端可以为用于进行物品识别的设备，也可以为AI售货机。
本发明实施例提供的物品识别方法可以应用于任意需要物品识别的场景下，如应用在AI售货机中放入物品、售卖物品及用户购买物品的过程中。
终端可以确定待识别的第一物品，具体地可以是如果在图像采集范围内识别到存在物品，则将识别到的该物品确定为待识别的第一物品，可以是终端中预先保存有待识别的物品的集合，依次将该集合中的物品作为待识别的物品，该待识别的物品的集合可以是由用户输入到终端中的。
终端可以获取到该第一物品的第一图像，具体地该终端中可以设置有图像采集模块，或者是存在与该终端连接进行数据通信的图像采集装置等，该图像采集模块或者图像采集装置可以在其图像采集范围内采集包括该第一物品的第一图像。
终端中保存有特征提取模型，该特征提取模型可以依赖于现有成熟的特征提取模型，该特征提取模型无需训练，因此节省了人工标定及重新训练的时间，该终端基于该特征提取模型可以确定第一物品的第一图像的特征信息。
该第一物品的第一图像的特征信息可以理解为在第一图像对应的角度下，该第一物品的特征信息。物品的特征信息可以包括特征向量信息、特征子图像信息、特征文字信息等，该第一图像对应的角度可以理解为拍摄该第一物品的第一图像时的角度。
S102：将所述第一图像的特征信息与预先保存的物品特征集合中的样本特征信息进行匹配，根据匹配结果确定所述第一物品的标识信息，其中所述物品特征集合中包括物品的标识信息与物品的样本特征信息的对应关系。
终端中预先保存有物品特征集合，该物品特征集合中包括物品的标识信息与物品的样本特征信息的对应关系，该物品特征集合中包括的物品的标识信息可以用来表明该物品具体为何种物品，如用来表明物品所属类型，该物品特征集合中包括的物品的样本特征信息可以是由获取到的第二物品的第二图像确定的样本特征信息。
终端确定第一物品的第一图像的特征信息后，将该第一图像的特征信息与物品特征集合中的样本特征信息进行匹配，根据匹配结果确定第一物品的标识信息。
终端将第一图像的特征信息与物品特征集合中的样本特征集合进行匹配时，可以将第一图像的特征向量信息、特征子图像信息、或特征文字信息，与样本特征信息与对应的样本特征向量信息、样本特征子图像信息，或样本特征文字信息进行匹配。
终端根据匹配结果确定第一物品的标识信息时，可以是在物品特征集合与第一图像的特征信息进行匹配的样本特征信息中选取候选特征信息，在候选特征信息对应的物品的标识信息中，确定第一物品的标识信息。
本发明实施例中基于特征提取模型对物品图像的特征信息进行提取，将提取的特征信息与物品特征集合中的样本特征信息进行匹配，确定物品的标识信息，特征提取模型可以依赖于现有成熟的特征提取模型，因此无需对模型进行训练，节省了人工标定及重新训练的时间，缩短了新增物品或更改物品类型时放置到AI售货机上进行售卖的等待时间等待，提高了AI售货机的商家和消费者的使用感。
实施例2：
为了实现物品的识别，在上述实施例的基础上，本发明实施例中，预先保存物品特征集合的过程包括：
针对待保存的每个第二物品，将获取到的该第二物品的至少一张第二图像输入到所述特征提取模型中，基于所述特征提取模型，确定所述至少一张第二图像的特征信息；将所述至少一张第二图像的特征信息作为该第二物品的样本特征信息，并将该第二物品的标识信息及该第二物品的样本特征信息保存到物品特征集合中。
为了实现物品的识别，本发明实施例提供了用于识别物品的物品特征集合的预先保存的过程。
终端可以确定待保存的第二物品，第二物品的数量可以为一个或多个，为了满足不同物品的识别需求，该第二物品的数量通常为多个。
在预先保存物品特征集合时，终端确定待保存的第二物品时，可以是如果在图像采集范围内识别到存在物品，将识别到的存在的该物品确定为待保存的第二物品，可以是终端中预先保存有待保存的第二物品的集合，依次将该集合中的第二物品作为待保存的第二物品，该待保存的第二物品的集合可以是由用户输入到终端中的。
如果在确定待保存的第二物品时，将图像采集范围内识别到的物品确定为待保存的第二物品，为了进一步提高待保存的第二物品确定的准确性，可以是在设定区域放置物品，直接将图像采集范围内被放置在该设定区域中的物品，确定为待保存的第二物品，如该设定区域可以为用于放置物品的托盘等。
确定第二物品的至少一张第二图像时，可以采用图像采集模块或图像采集装置对当前的第二物品的至少一张图像进行采集。
第二物品对应的不同角度的第二图像越多，得到的第二物品的标识信息对应的第二图像的特征信息就越多，在后续物品识别的过程中识别的准确性就越高，因此可以为如果第二图像为至少两张，所述至少两张第二图像为在至少两个不同角度下采集到的图像，即该第二物品对应有至少两张不同角度的第二图像，如一个第二物品的每张第二图像均为在不同角度下采集到的图像。
终端在确定第二物品的至少一张第二图像的特征信息时，基于特征提取模型实现，具体地，可以将该第二物品的至少一张第二图像部分或全部输入到特征提取模型中，可以是将该第二物品的每张第二图像依次输入到特征提取模型中。基于特征提取模型确定至少一张第二图像的特征信息时，可以基于特征提取模型同时确定多张第二图像的特征信息，可以基于特征提取模型每次确定一张第二图像的特征信息。
终端中可以保存有第二物品的标识信息，或者由于通常情况下不同类型的物品的包装和/或形状存在差异，因此终端可以针对该第二物品，保存该第二物品的标识信息，此时不同标识信息的第二物品对应的类型可能不同。
第二物品的至少一张第二图像均可以看作第二物品所属类型的至少一张图像，该第二物品的至少一张第二图像的特征信息可以看作第二物品的样本特征信息，因此将该第二物品的标识信息及该第二物品的样本特征信息，对应保存到物品特征集合中。
由于本发明实施例中提供了用于识别物品的物品特征集合的预先保存的过程，因此能够实现后续物品的识别。
实施例3：
在上述各实施例的基础上，本发明实施例中，获取物品的图像包括：
当识别到图像采集范围内存在物品时，采集第三图像；
在所述第三图像中确定用户手部子图像，根据所述用户手部子图像在所述第三图像中获取物品的图像。
终端可以在图像采集模块或图像采集装置采集到包括物品的图像后，直接在图像中识别物品的图像，但是采集到的包括物品的图像中可能包括背景图像，这种终端在识别时就可能导致浪费终端资源和识别物体的时间，由于通常在售卖物品和上架物品时都是用户手持物品，因此在本发明实施例中可以在采集到的包括物品的图像中先识别用户手部子图像，再根据该用户手部子图像确定物体的图像，从而快速识别到物体的图像。
终端在采集物品的图像时，当识别到图像采集范围内存在物体时，采集第三图像，此时终端中设置有图像采集模块，如果通过与终端连接的图像采集装置采集第三图像，则终端当识别到图像采集范围内存在物体时，控制图像采集装置采集第三图像。
终端识别图像采集范围内存在物体的过程可以采用现有技术实现，在本发明实施例中不做赘述。
终端采集到的第三图像中包括物体的图像，终端在该第三图像中确定用户手部子图像，具体地，终端可以将与预先保存的手部模板图像匹配的子图像确定为用户手部子图像，可以是终端将第三图像输入到手部识别模型中，基于手部识别模型确定用户手部子图像等等，在此对用户手部子图像的确定过程不做限定。
由于物品被用户手持，因此在第三图像中确定用户手部子图像后，可以根据用户手部子图像在第三图像中获取物体的图像。一种可选的方式为：由于物品的大小通常是在一定范围内，并且被用户手持，因此在第三图像中确定用户手部子图像后，可以将用户手部子图像的设定范围内的图像框选标记为物体的图像，在第三图像中截取该框选标记的图像即为获取到的图片的图像。
由于本发明实施例中根据采集的第三图像中用户手部子图像确定物体的图像，可以快速识别到物体的图像，提高物体的识别效率。
实施例4：
在上述各实施例的基础上，本发明实施例中，所述将所述第一图像的特征信息与预先保存的物品特征集合中的样本特征信息进行匹配，根据匹配结果确定所述第一物品的标识信息包括：
将所述第一图像的特征信息与所述物品特征集合中的样本特征信息进行相似度匹配，确定所述第一图像的特征信息与所述物品特征集合中的样本特征信息的相似度；
将对应的相似度超过预设的相似度阈值的样本特征信息作为候选特征信息；
根据所述候选特征信息及所述候选特征信息对应的物品的标识信息，确定所述第一物品的标识信息。
终端将第一图像的特征信息与样本特征信息的相似度超过相似度阈值的样本特征信息作为候选特征信息，根据候选特征信息确定第一物品的标识信息，在一定程度上保证了物品识别的准确性。
终端将第一图像的特征信息与物品特征集合中的样本特征信息进行相似度匹配，确定第一图像的特征信息与物品特征集合中的样本特征信息的相似度的过程可以依赖于现有技术实现，在此不做赘述。
终端中保存有预设的相似度阈值，该相似度阈值在本发明实施例中不做限定。
终端将对应的相似度超过相似度阈值的样本特征信息作为候选特征信息，根据该特征信息及候选特征信息对应的物品的标识信息，确定待识别的第一物品的标识信息。
终端根据确定的候选特征信息可能为一个或多个，即可能为一个或至少两个。
如果候选特征信息为一个，根据所述候选特征信息及所述候选特征信息对应的物品的标识信息，确定所述第一物品的标识信息时，可以直接将该一个候选特征信息对应的物品的标识信息，确定为该第一物品的标识信息。
在至少两个候选特征信息中，根据对应的相似度最高的候选特征信息对应的物品的标识信息，确定所述第一物品的标识信息。
如果候选特征信息为至少两个，所述根据所述候选特征信息及所述候选特征信息对应的物品的标识信息，确定所述第一物品的标识信息包括：
在至少两个候选特征信息中，根据对应的相似度最高的候选特征信息对应的物品的标识信息，确定所述第一物品的标识信息。
如果候选特征信息为至少两个即为多个，终端在该至少两个候选特征信息，将对应的相似度最高的候选特征信息对应的物品的标识信息，确定第一物品的标识信息。
终端选取对应的相似度最高的候选特征信息可以是直接在至少两个候选特征信息对应的相似度中选取相似度最高的候选特征信息，可以是按照相似度从高到低或者从低到高的顺序，对至少两个候选特征信息进行排序，在排序后的候选特征信息中确定相似度最高的候选特征信息等。
由于本发明实施例中提供了根据匹配结果确定第一物品的标识信息的过程，因此实现了物品的识别。
实施例5：
在上述各实施例的基础上，本发明实施例还提供了一种终端，如图2所示，包括：处理器201、通信接口202、存储器203和通信总线204，其中，处理器201，通信接口202，存储器203通过通信总线204完成相互间的通信；
所述存储器203中存储有计算机程序，当所述程序被所述处理器201执行时，使得所述处理器201执行如下步骤：
将获取到的待识别的第一物品的第一图像输入到特征提取模型中，基于所述特征提取模型，确定所述第一图像的特征信息；
将所述第一图像的特征信息与预先保存的物品特征集合中的样本特征信息进行匹配，根据匹配结果确定所述第一物品的标识信息，其中所述物品特征集合中包括物品的标识信息与物品的样本特征信息的对应关系。
上述终端提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口202用于上述终端与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
实施例6：
在上述各实施例的基础上，本发明实施例还提供了一种计算机存储可读存储介质，所述计算机可读存储介质内存储有可由终端执行的计算机程序，当所述程序在所述终端上运行时，使得所述终端执行时实现如下步骤：
将获取到的待识别的第一物品的第一图像输入到特征提取模型中，基于所述特征提取模型，确定所述第一图像的特征信息；
将所述第一图像的特征信息与预先保存的物品特征集合中的样本特征信息进行匹配，根据匹配结果确定所述第一物品的标识信息，其中所述物品特征集合中包括物品的标识信息与物品的样本特征信息的对应关系。
上述计算机可读存储介质可以是终端中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD)等。
图3为本发明实施例提供的一种物品识别装置示意图，该装置包括：
确定模块301，用于将获取到的待识别的第一物品的第一图像输入到特征提取模型中，基于所述特征提取模型，确定所述第一图像的特征信息；
识别模块302，用于将所述第一图像的特征信息与预先保存的物品特征集合中的样本特征信息进行匹配，根据匹配结果确定所述第一物品的标识信息，其中所述物品特征集合中包括物品的标识信息与物品的样本特征信息的对应关系。
所述装置还包括：
保存模块303，用于针对待保存的每个第二物品，将获取到的该第二物品的至少一张第二图像输入到所述特征提取模型中，基于所述特征提取模型，确定所述至少一张第二图像的特征信息；将所述至少一张第二图像的特征信息作为该第二物品的样本特征信息，并将该第二物品的标识信息及该第二物品的样本特征信息保存到物品特征集合中。
如果第二图像为至少两张，所述至少两张第二图像为在至少两个不同角度下采集到的图像。
所述装置还包括：
获取模块304，用于当识别到图像采集范围内存在物品时，采集第三图像；在所述第三图像中确定用户手部子图像，根据所述用户手部子图像在所述第三图像中获取物品的图像。
所述识别模块302，具体用于将所述第一图像的特征信息与所述物品特征集合中的样本特征信息进行相似度匹配，确定所述第一图像的特征信息与所述物品特征集合中的样本特征信息的相似度；将对应的相似度超过预设的相似度阈值的样本特征信息作为候选特征信息；根据所述候选特征信息及所述候选特征信息对应的物品的标识信息，确定所述第一物品的标识信息。
所述识别模块302，具体用于如果候选特征信息为至少两个，在至少两个候选特征信息中，根据对应的相似度最高的候选特征信息对应的物品的标识信息，确定所述第一物品的标识信息。
本发明实施例中基于特征提取模型对物品图像的特征信息进行提取，将提取的特征信息与物品特征集合中的样本特征信息进行匹配，确定物品的标识信息，特征提取模型可以依赖于现有成熟的特征提取模型，因此无需对模型进行训练，节省了人工标定及重新训练的时间，缩短了新增物品或更改物品类型时放置到AI售货机上进行售卖的等待时间等待，提高了AI售货机的商家和消费者的使用感。
对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者一个操作与另一个实体或者另一个操作区分开来，而不一定要求或者暗示这些实体或者操作之间存在任何这种实际的关系或者顺序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (14)

1.一种物品识别方法，其特征在于，应用于终端，该方法包括：
将获取到的待识别的第一物品的第一图像输入到特征提取模型中，基于所述特征提取模型，确定所述第一图像的特征信息；
将所述第一图像的特征信息与预先保存的物品特征集合中的样本特征信息进行匹配，根据匹配结果确定所述第一物品的标识信息，其中所述物品特征集合中包括物品的标识信息与物品的样本特征信息的对应关系。
2.如权利要求1所述的方法，其特征在于，预先保存物品特征集合的过程包括：
针对待保存的每个第二物品，将获取到的该第二物品的至少一张第二图像输入到所述特征提取模型中，基于所述特征提取模型，确定所述至少一张第二图像的特征信息；将所述至少一张第二图像的特征信息作为该第二物品的样本特征信息，并将该第二物品的标识信息及该第二物品的样本特征信息保存到物品特征集合中。
3.如权利要求2所述的方法，其特征在于，如果第二图像为至少两张，所述至少两张第二图像为在至少两个不同角度下采集到的图像。
4.如权利要求1-3任一项所述的方法，其特征在于，获取物品的图像包括：
当识别到图像采集范围内存在物品时，采集第三图像；
在所述第三图像中确定用户手部子图像，根据所述用户手部子图像在所述第三图像中获取物品的图像。
5.如权利要求1所述的方法，其特征在于，所述将所述第一图像的特征信息与预先保存的物品特征集合中的样本特征信息进行匹配，根据匹配结果确定所述第一物品的标识信息包括：
将所述第一图像的特征信息与所述物品特征集合中的样本特征信息进行相似度匹配，确定所述第一图像的特征信息与所述物品特征集合中的样本特征信息的相似度；
将对应的相似度超过预设的相似度阈值的样本特征信息作为候选特征信息；
根据所述候选特征信息及所述候选特征信息对应的物品的标识信息，确定所述第一物品的标识信息。
6.如权利要求5所述的方法，其特征在于，如果候选特征信息为至少两个，所述根据所述候选特征信息及所述候选特征信息对应的物品的标识信息，确定所述第一物品的标识信息包括：
在至少两个候选特征信息中，根据对应的相似度最高的候选特征信息对应的物品的标识信息，确定所述第一物品的标识信息。
7.一种物品识别装置，其特征在于，应用于终端，该装置包括：
确定模块，用于将获取到的待识别的第一物品的第一图像输入到特征提取模型中，基于所述特征提取模型，确定所述第一图像的特征信息；
识别模块，用于将所述第一图像的特征信息与预先保存的物品特征集合中的样本特征信息进行匹配，根据匹配结果确定所述第一物品的标识信息，其中所述物品特征集合中包括物品的标识信息与物品的样本特征信息的对应关系。
8.如权利要求7所述的装置，其特征在于，所述装置还包括：
保存模块，用于针对待保存的每个第二物品，将获取到的该第二物品的至少一张第二图像输入到所述特征提取模型中，基于所述特征提取模型，确定所述至少一张第二图像的特征信息；将所述至少一张第二图像的特征信息作为该第二物品的样本特征信息，并将该第二物品的标识信息及该第二物品的样本特征信息保存到物品特征集合中。
9.如权利要求8所述的装置，其特征在于，如果第二图像为至少两张，所述至少两张第二图像为在至少两个不同角度下采集到的图像。
10.如权利要求7-9任一项所述的装置，其特征在于，所述装置还包括：
获取模块，用于当识别到图像采集范围内存在物品时，采集第三图像；在所述第三图像中确定用户手部子图像，根据所述用户手部子图像在所述第三图像中获取物品的图像。
11.如权利要求9所述的装置，其特征在于，所述识别模块，具体用于将所述第一图像的特征信息与所述物品特征集合中的样本特征信息进行相似度匹配，确定所述第一图像的特征信息与所述物品特征集合中的样本特征信息的相似度；将对应的相似度超过预设的相似度阈值的样本特征信息作为候选特征信息；根据所述候选特征信息及所述候选特征信息对应的物品的标识信息，确定所述第一物品的标识信息。
12.如权利要求11所述的装置，其特征在于，所述识别模块，具体用于如果候选特征信息为至少两个，在至少两个候选特征信息中，根据对应的相似度最高的候选特征信息对应的物品的标识信息，确定所述第一物品的标识信息。
13.一种终端，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器中存储有计算机程序，当所述程序被所述处理器执行时，使得所述处理器执行权利要求1～6任一项所述方法的步骤。
14.一种计算机可读存储介质，其特征在于，其存储有可由终端执行的计算机程序，当所述程序在所述终端上运行时，使得所述终端执行权利要求1～6任一项所述方法的步骤。
CN201910199409.3A 2019-03-15 2019-03-15 一种物品识别方法、装置、终端及可读存储介质 Pending CN110033027A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910199409.3A CN110033027A (zh) 2019-03-15 2019-03-15 一种物品识别方法、装置、终端及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910199409.3A CN110033027A (zh) 2019-03-15 2019-03-15 一种物品识别方法、装置、终端及可读存储介质

Publications (1)

Publication Number Publication Date
CN110033027A true CN110033027A (zh) 2019-07-19

Family

ID=67236135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910199409.3A Pending CN110033027A (zh) 2019-03-15 2019-03-15 一种物品识别方法、装置、终端及可读存储介质

Country Status (1)

Country Link
CN (1) CN110033027A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569794A (zh) * 2019-09-06 2019-12-13 深圳市梵高控股有限公司 物品的信息存储方法、装置和计算机可读存储介质
CN110597831A (zh) * 2019-09-06 2019-12-20 深圳市梵高控股有限公司 物品信息的更新方法、装置和计算机可读存储介质
CN110781973A (zh) * 2019-10-30 2020-02-11 广东利元亨智能装备股份有限公司 物品识别模型训练方法、物品识别方法、装置及电子设备
CN110793607A (zh) * 2019-09-24 2020-02-14 浙江大华技术股份有限公司 自助称重方法、系统和计算机可读存储介质
CN111079699A (zh) * 2019-12-30 2020-04-28 北京每日优鲜电子商务有限公司 商品识别方法及装置
CN112818856A (zh) * 2021-02-01 2021-05-18 中国工商银行股份有限公司 流动摊位监管方法、装置、系统及介质
CN112907311A (zh) * 2019-12-04 2021-06-04 北京沃东天骏信息技术有限公司 物品的识别方法及装置、计算机存储介质、电子设备
CN113128298A (zh) * 2019-12-30 2021-07-16 上海际链网络科技有限公司 装卸货行为的分析方法以及监控系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1766907A (zh) * 2005-10-24 2006-05-03 中国电子科技集团公司第四十五研究所 基于聚类遗传算法的多目标图像识别方法
CN101901353A (zh) * 2010-07-23 2010-12-01 北京工业大学 基于子区域匹配的眉毛图像识别方法
CN103854026A (zh) * 2012-11-28 2014-06-11 联想(北京)有限公司 一种识别方法及电子设备
CN108960119A (zh) * 2018-06-28 2018-12-07 武汉市哈哈便利科技有限公司 一种用于无人售货柜的多角度视频融合的商品识别算法
CN109145901A (zh) * 2018-08-14 2019-01-04 腾讯科技（深圳）有限公司 物品识别方法、装置、计算机可读存储介质和计算机设备
CN208367787U (zh) * 2018-05-11 2019-01-11 上海之江智能科技有限公司 自助贩卖设备
CN109191044A (zh) * 2018-08-29 2019-01-11 北京华沁智联科技有限公司 自动售卖仓库的盘点方法、装置及系统
CN109272647A (zh) * 2018-08-29 2019-01-25 北京华沁智联科技有限公司 自动售卖仓库物品状态的更新方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1766907A (zh) * 2005-10-24 2006-05-03 中国电子科技集团公司第四十五研究所 基于聚类遗传算法的多目标图像识别方法
CN101901353A (zh) * 2010-07-23 2010-12-01 北京工业大学 基于子区域匹配的眉毛图像识别方法
CN103854026A (zh) * 2012-11-28 2014-06-11 联想(北京)有限公司 一种识别方法及电子设备
CN208367787U (zh) * 2018-05-11 2019-01-11 上海之江智能科技有限公司 自助贩卖设备
CN108960119A (zh) * 2018-06-28 2018-12-07 武汉市哈哈便利科技有限公司 一种用于无人售货柜的多角度视频融合的商品识别算法
CN109145901A (zh) * 2018-08-14 2019-01-04 腾讯科技（深圳）有限公司 物品识别方法、装置、计算机可读存储介质和计算机设备
CN109191044A (zh) * 2018-08-29 2019-01-11 北京华沁智联科技有限公司 自动售卖仓库的盘点方法、装置及系统
CN109272647A (zh) * 2018-08-29 2019-01-25 北京华沁智联科技有限公司 自动售卖仓库物品状态的更新方法及装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110569794A (zh) * 2019-09-06 2019-12-13 深圳市梵高控股有限公司 物品的信息存储方法、装置和计算机可读存储介质
CN110597831A (zh) * 2019-09-06 2019-12-20 深圳市梵高控股有限公司 物品信息的更新方法、装置和计算机可读存储介质
CN110569794B (zh) * 2019-09-06 2022-07-19 深圳市恒天伟焱科技股份有限公司 物品的信息存储方法、装置和计算机可读存储介质
CN110793607A (zh) * 2019-09-24 2020-02-14 浙江大华技术股份有限公司 自助称重方法、系统和计算机可读存储介质
CN110781973A (zh) * 2019-10-30 2020-02-11 广东利元亨智能装备股份有限公司 物品识别模型训练方法、物品识别方法、装置及电子设备
CN110781973B (zh) * 2019-10-30 2021-05-11 广东利元亨智能装备股份有限公司 物品识别模型训练方法、物品识别方法、装置及电子设备
CN112907311A (zh) * 2019-12-04 2021-06-04 北京沃东天骏信息技术有限公司 物品的识别方法及装置、计算机存储介质、电子设备
CN111079699A (zh) * 2019-12-30 2020-04-28 北京每日优鲜电子商务有限公司 商品识别方法及装置
CN113128298A (zh) * 2019-12-30 2021-07-16 上海际链网络科技有限公司 装卸货行为的分析方法以及监控系统
CN112818856A (zh) * 2021-02-01 2021-05-18 中国工商银行股份有限公司 流动摊位监管方法、装置、系统及介质

Similar Documents

Publication Publication Date Title
CN110033027A (zh) 一种物品识别方法、装置、终端及可读存储介质
EP3910608B1 (en) Article identification method and system, and electronic device
JP7058669B2 (ja) 車両外観特徴識別及び車両検索方法、装置、記憶媒体、電子デバイス
CN108985199B (zh) 商品取放操作的检测方法、装置及存储介质
CN111061890B (zh) 一种标注信息验证的方法、类别确定的方法及装置
CN109977983B (zh) 获得训练图像的方法及装置
CN111382635B (zh) 一种商品类别识别方法、装置及电子设备
CN109784385A (zh) 一种商品自动识别方法、系统、装置及存储介质
US20140355832A1 (en) Method and Device for Following an Object in a Sequence of at Least Two Images
CN109472205A (zh) 商品识别方法、商品识别装置及存储介质
CN113627411A (zh) 一种基于超分辨率的商品识别与价格匹配方法及系统
CN111768553A (zh) 一种自动售货柜的售货方法及自动售货柜
CN113344012B (zh) 物品识别方法、装置及设备
CN114359819A (zh) 图像处理方法、装置、设备、存储介质及计算机程序产品
CN111723856A (zh) 一种图像数据处理方法、装置、设备及可读存储介质
CN115661624A (zh) 一种货架的数字化方法、装置及电子设备
CN111428743B (zh) 商品识别方法、商品处理方法、装置及电子设备
CN110427837A (zh) 一种神经网络模型训练样本采集方法、装置、终端及介质
CN114612897A (zh) 一种智能果蔬称重打票方法、装置、电子设备及存储介质
CN111242094B (zh) 商品识别方法、智能货柜及智能货柜系统
CN110197143B (zh) 一种结算台物品识别方法、装置及电子设备
WO2024087453A1 (zh) 一种物流分拣通道的货物跟踪识别方法、装置、介质及电子设备
CN109190676B (zh) 一种用于图像识别的模型训练方法、装置、设备及存储介质
CN113762382B (zh) 模型的训练及场景识别方法、装置、设备及介质
CN111222377B (zh) 一种商品信息确定方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190719