CN116486209A - 一种新品识别方法、装置、终端设备及存储介质 - Google Patents

一种新品识别方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN116486209A
CN116486209A CN202310475973.XA CN202310475973A CN116486209A CN 116486209 A CN116486209 A CN 116486209A CN 202310475973 A CN202310475973 A CN 202310475973A CN 116486209 A CN116486209 A CN 116486209A
Authority
CN
China
Prior art keywords
new product
new
pictures
product
commodity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310475973.XA
Other languages
English (en)
Other versions
CN116486209B (zh
Inventor
李德圆
丁明
王杰
许洁斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xuanwu Wireless Technology Co Ltd
Original Assignee
Guangzhou Xuanwu Wireless Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xuanwu Wireless Technology Co Ltd filed Critical Guangzhou Xuanwu Wireless Technology Co Ltd
Priority to CN202310475973.XA priority Critical patent/CN116486209B/zh
Publication of CN116486209A publication Critical patent/CN116486209A/zh
Application granted granted Critical
Publication of CN116486209B publication Critical patent/CN116486209B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种新品识别方法、装置、终端设备及存储介质，该方法包括：获取当前陈列场景中一包含新品的待识别陈列图像；将所述待识别陈列图像输入商品检测模型中，以使商品检测模型输出待识别陈列图像中所有商品图片及其位置信息；其中，所述商品检测模型基于未包含新品的历史陈列图像进行训练得到；将各所述商品图片依次输入新品识别模型中，以使新品识别模型对商品图片的类别进行识别，筛选出属于新品的商品图片；其中，所述新品识别模型基于未上架时新品的产品图片以及非新品的产品图片进行训练的得到；根据类别为新品类的商品图片及对应商品图片的位置信息，识别出待识别陈列图像中的新品。

Description

一种新品识别方法、装置、终端设备及存储介质
技术领域
本发明涉及计算机软件技术领域，尤其涉及一种新品识别方法、装置、终端设备及存储介质。
背景技术
随着人工智能在快消领域中不断的发展，在实际交付的过程中，面临着对货架上新产品(新品)识别的问题，现有的新品识别方法需要在新品上架后，基于大量实时拍摄的铺货场景数据实现对新品的识别，也就是说在新品上架后的时候，需要采集多张包含新品的陈列图像，然后进行新品识别模型的训练，最后在模型训练完毕后，才能实现对货架上新品的操作。采用上述方案，因为是需要在新品上架之后才能构建新品识别模型，因此无法及时的对刚上架的新品进行识别，导致新品的识别存在滞后性。
发明内容
本发明实施例提供一种新品识别方法、装置、终端设备及存储介质，能在新品上架时，及时对陈列场景中的新品进行识别。
本发明一实施例提供一种新品识别方法，包括：
获取当前陈列场景中一包含新品的待识别陈列图像；
将所述待识别陈列图像输入商品检测模型中，以使商品检测模型输出待识别陈列图像中所有商品图片及其位置信息；其中，所述商品检测模型基于未包含新品的历史陈列图像进行训练得到；
将各所述商品图片依次输入新品识别模型中，以使新品识别模型对商品图片的类别进行识别，筛选出属于新品的商品图片；其中，所述新品识别模型基于未上架时新品的产品图片以及非新品的产品图片进行训练的得到；
根据类别为新品类的商品图片及对应商品图片的位置信息，识别出待识别陈列图像中的新品。
进一步地，通过以下方式构建新品识别模型：
获取若干标注有类别的第一样本图片；其中，所述样本图片包括：未上架时新品的产品图片以及非新品的产品图片；
构建初始新品识别模型，以标注有类别的第一样本图片为训练样本，对初始新品识别模型进行训练，生成新品识别模型。
进一步地，通过以下方式构建商品检测模型：
获取若干标注有商品位置的第二样本图片；其中，所述第二样本图片包括：未包含新品的历史陈列图像；
构建物体检测模型，以标注有商品位置的第二样本图片为输入，以标注有商品位置的第二样本图片为训练样本，对物体检测模型进行训练，生成商品检测模型。
进一步地，获取若干第一样本图片，包括：
多角度拍摄每一类新品，得到每一类新品对应的若干新品的产品图片；
获取已知类别且非新品的产品图片中每一类商品的若干图片，获取与新品铺货共现关系强的未知类别且非新品的若干图片，生成若干非新品的产品图片；
根据每一类新品对应的若干新品的产品图片和非新品的产品图片生成若干第一样本图片。
进一步地，在获取若干第一样本图片之后，还包括：
提取每一第一样本图片的特征向量；
计算每一类新品的产品图片与每一类非新品的若干的产品图片的特征距离；
构建第一样本集和第二样本集；
若第一样本图片中一非新品且已知类别的所有产品图片都与一新品类别中心特征向量距离最小，且特征距离小于边界阈值，则将对应非新品的所有产品图片加入对应新品类别的第一样本集；
若第一样本图片中一张非新品且未知类别的图片与一新品类别中心特征向量距离最小，且特征距离小于边界阈值，则将对应非新品的图片加入对应新品类别的第二样本集；
从第一样本集中随机选取图片添加至第二样本集，生成第三样本集；其中，添加的图片数量需满足以下公式：
x<2*M―y
x为从第一样本集添加至第二样本集的图片数量，y为第二样本集包含的图片数量，M为新品的产品图片数量；
根据其余未添加至第一样本集的非新品已知类别产品图片，生成第四样本集；以第三样本集、第四样本集和若干新品的产品图片生成训练集；其中，第三样本集的每一类非新品产品图片，标记为相似类；第四样本集的每一类非新品产品图片，统一标记为同一类；
所述构建初始新品识别模型，以标注有类别的第一样本图片为训练样本，对初始新品识别模型进行训练，生成新品识别模型，包括：
构建初始新品识别模型，以训练集中选取的图片子集为训练样本，对初始新品识别模型进行训练，生成新品识别模型。
进一步地，对初始新品识别模型进行训练，还包括：
以自增强和混合增强中任意一种或其组合的方式对训练样本的数据进行数据增强。
在上述方法项实施例的基础上，本发明对应提供了装置项实施例；
本发明一实施例对应提供了一种新品识别装置，包括：数据获取模块、数据处理模块、新品识别模块和识别结果输出模块；
所述数据获取模块，用于获取当前陈列场景中一包含新品的待识别陈列图像；
所述数据处理模块，用于将所述待识别陈列图像输入商品检测模型中，以使商品检测模型输出待识别陈列图像中所有商品图片及其位置信息；其中，所述商品检测模型基于未包含新品的历史陈列图像进行训练得到；
所述新品识别模块，用于将各所述商品图片依次输入新品识别模型中，以使新品识别模型对商品图片的类别进行识别，筛选出属于新品的商品图片；其中，所述新品识别模型基于未上架时新品的产品图片以及非新品的产品图片进行训练的得到；
所述识别结果输出模块，用于根据类别为新品类的商品图片及对应商品图片的位置信息，识别出待识别陈列图像中的新品。
本发明另一实施例提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的一种新品识别方法。
本发明另一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行上述发明实施例所述的一种新品识别方法。
通过实施本发明具有如下有益效果：本发明提供了一种新品识别方法、装置、终端设备及存储介质，该新品识别方法通过在新品上架前，基于未包含新品的历史陈列图像训练一商品检测模型；基于新品的产品图片和非新品的产品图片训练一新品识别模型；使得在新品上架后，在获取到当前陈列场景中一包含新品的待识别陈列图像时，通过商品检测模型对将待识别陈列图像中的商品图片分离出来，并将分离出来的商品图片输入到新品识别模型进行类别检测，最终基于新品识别模型检测的商品类别和对应商品的位置信息识别出待识别陈列图像中的新品；通过收集新品上架前的产品图片、历史陈列图像和非新品的产品图片，在新品上架前构建好商品检测模型和新品识别模型，使得新品在上架后，能及时对陈列场景中的新品进行识别。
附图说明
图1是本发明一实施例提供的一种新品识别方法的流程示意图。
图2是本发明一实施例提供的一种新品识别装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明一实施例提供的一种新品识别方法，包括：
步骤S1：获取当前陈列场景中一包含新品的待识别陈列图像；
步骤S2：将所述待识别陈列图像输入商品检测模型中，以使商品检测模型输出待识别陈列图像中所有商品图片及其位置信息；其中，所述商品检测模型基于未包含新品的历史陈列图像进行训练得到；
步骤S3：将各所述商品图片依次输入新品识别模型中，以使新品识别模型对商品图片的类别进行识别，筛选出属于新品的商品图片；其中，所述新品识别模型基于未上架时新品的产品图片以及非新品的产品图片进行训练的得到；
步骤S4：根据类别为新品类的商品图片及对应商品图片的位置信息，识别出待识别陈列图像中的新品。
对于步骤S1、获取用户拍摄的包含需识别新品的陈列场景的图片作为本发明的待识别陈列图像；该陈列场景通常为包含货架、端架、堆块等的快消场景的真实图片。
对于步骤S2、将用户拍摄的待识别陈列图像输入到商品检测模型中，商品检测模型对待识别的陈列图像中的商品进行检测，输出待识别陈列图像中所有商品图片和各商品图片在待识别的陈列图像中的位置信息。
在一个优先的实施例中，通过以下方式构建商品检测模型：获取若干标注有商品位置的第二样本图片；其中，所述第二样本图片包括：未包含新品的历史陈列图像；构建物体检测模型，以标注有商品位置的第二样本图片为输入，以标注有商品位置的第二样本图片为训练样本，对物体检测模型进行训练，生成商品检测模型。
具体的，获取若干用于训练物体检测模型的图片数据(即上述第二样本)，该图片数据的选取基于历史陈列图像数据，该历史陈列图像数据可包括历史包含货架、端架、冰箱等快消场景下拍摄的真实图片；为使最终生成的模型具有更好的泛化性，在图片数据选取时，所选取的图片数据需覆盖多种成像因素，例如：多种光照条件下拍摄的陈列图像、多种角度拍摄下的陈列图像等，且图片数据为从多个行业、多个场景、多样化包装大小和形态商品中随机采样获取的；在获取了足够的图片数据后，通过人工标注图片数据中的所有商品，以该标注有商品位置的图片数据作为训练样本，对物体检测模型进行训练；在对物体检测模型训练时，以图片数据为输入，以图片数据中各商品的商品位置为输出，对物体检测模型进行训练，在物体检测模型训练结束后，生成上述商品检测模型。
对于步骤S3、根据得到的各商品图片在待识别陈列图像中的位置信息将各商品从待识别陈列图像中分割出来；将分割出来的所有商品图片依次输入到新品识别模型中，以使新品识别模型对输入的商品图片的类别进行识别，继而筛选出属于新品的商品图片。
在一个优选的实施例中，通过以下方式构建新品识别模型：获取若干标注有类别的第一样本图片；其中，所述样本图片包括：未上架时新品的产品图片以及非新品的产品图片；构建初始新品识别模型，以标注有类别的第一样本图片为训练样本，对初始新品识别模型进行训练，生成新品识别模型。
在另一个优选的实施例中，获取若干第一样本图片，包括：多角度拍摄每一类新品，得到每一类新品对应的若干新品的产品图片；获取已知类别且非新品的产品图片中每一类商品的若干图片，获取与新品铺货共现关系强的未知类别且非新品的若干图片，生成若干非新品的产品图片；根据每一类新品对应的若干新品的产品图片和非新品的产品图片生成若干第一样本图片。
具体的，对未上架的新品实物进行摆拍，拍摄包含多个侧面和多个角度的新品实物图片；例如：在对新品实物进行拍摄时，对商品的一个侧面的多个角度都拍一次，正中拍一次，然后轻微转动商品，在每次转动时均对商品进行拍摄，直至采集包含商品全部角度拍摄下的图像信息时，完成对一新品实物的若干产品图片的获取；将获取的多个新品实物的若干产品图片中的新品类别进行标注，获取若干非新品的产品图片并对其商品类别做标注；将标注好的多个新品的产品图片和非新品的产品图片作为训练集；构建一初始新品识别模型，从训练集中选取一产品图片(即上述第一样本图片)作为训练样本，基于交叉熵损失原则对初始新品识别模型进行训练，在初始新品识别模型收敛时，生成新品识别模型。
在一个优选的实施例中，在获取若干第一样本图片之后，还包括：提取每一第一样本图片的特征向量；计算每一类新品的产品图片与每一类非新品的若干的产品图片的特征距离；构建第一样本集和第二样本集；若第一样本图片中一非新品且已知类别的所有产品图片都与一新品类别中心特征向量距离最小，且特征距离小于边界阈值，则将对应非新品的所有产品图片加入对应新品类别的第一样本集；若第一样本图片中一张非新品且未知类别的图片与一新品类别中心特征向量距离最小，且特征距离小于边界阈值，则将对应非新品的图片加入对应新品类别的第二样本集；从第一样本集中随机选取图片添加至第二样本集，生成第三样本集；其中，添加的图片数量需满足以下公式：
x<2*M―y
x为从第一样本集添加至第二样本集的图片数量；y为第二样本集包含的图片数量；M为新品的产品图片数量；
根据其余未添加至第一样本集的非新品已知类别产品图片，生成第四样本集；以第三样本集、第四样本集和若干新品的产品图片生成训练集；其中，第三样本集的每一类非新品产品图片，标记为相似类；第四样本集的每一类非新品产品图片，统一标记为同一类；所述构建初始新品识别模型，以标注有类别的第一样本图片为训练样本，对初始新品识别模型进行训练，生成新品识别模型，包括：构建初始新品识别模型，以训练集中选取的图片子集为训练样本，对初始新品识别模型进行训练，生成新品识别模型。
具体的，提取第一样本图片的特征向量通过预训练好的特征提取器进行提取；获取大量的现有商品图片数据，通过对masked autoencoders(MAE)自监督学习模型进行训练，在MAE自监督学习模型训练收敛后，将其中的编码器(encode)模块作为特征提取器；将一张商品图片输入到特征提取器中，特征提取器对该商品进行编码，输出对应商品的特征向量e。
在获取了包含未上架时新品的产品图片以及非新品的产品图片的图片数据(即上述若干第一样本图片)后，对所有的图片数据通过特征提取器进行特征提取；计算任意两款新品之间的特征距离，可通过以下公式计算两新品之间的特征距离：
dAB＝||EA―EB||2
其中，dAB表示新品A与新品B之间的特征距离，EA表示新品A的N张图片的特征向量的平均值，EB表示新品B的N张图片的特征向量的平均值。
可通过以下公式计算一新品的多张图片的特征向量的平均值；
任意一新品与其他新品的最小特征距离的一半为对应新品的边界阈值；基于已计算的两两新品间的特征距离，可通过以下公式计算任意一新品的边界阈值：
其中，D_thA表示新品A的边界阈值，U为所有新品的集合，dAC表示新品A和新品C的特征距离。
在实际使用过程中，在上述公式中，新品C可替换为目标计算的除新品A外其余新品的任意一个。
对于每一类新品，通过以下公式计算新品与非新品的每一张图片的最小特征距离：
其中，dz为与非新品图片z与新品c确定的最小特征距离，ez为为非新品图片z的特征向量，EC表示新品C的N张图片的特征向量的平均值。
上述过程为对数据图片进行预处理的过程，在结束上述过程后，对数据图片进行划分；若第一样本图片中一非新品且已知类别的所有产品图片都与一新品类别中心特征向量距离最小，且该非新品的产品图片的最小特征距离小于对应新品的边界阈值，则将该非新品对应的所有产品图片加入新品类别的fake候选集(即上述第一样本集)中；若第一样本图片中一张非新品且未知类别的图片与一新品类别中心特征向量距离最小，且该非新品的产品图片的最小特征距离小于对应新品的边界阈值，则将该非新品对应的所有产品图片加入新品类别的fake数据集(即上述第二样本集)中；为保持新品与其对应的fake数据集的训练数据的均衡性，随机从fake候选集中，选取一定数量的图片对fake数据集进行补充，生成第三样本集；其中，选取的图片数量需满足：
x<2*M―y
其中，x为从fake候选集添加至fake数据集的图片数量；y为fake数据集包含的图片数量；M为没类新品的平均训练的产品图片数量。
根据其余未添加至fake候选集的非新品已知类别产品图片生成daiding数据集(即上述第四样本集)；将第三样本集的每一类非新品产品图片标记为相似类；daiding数据集(即上述第四样本集)的每一类非新品产品图片，同一标记为同一类；若经过上述数据划分，一新品的fake数据集的图片数量小于0，则表示该新品无对应的相似商品或竞品(即上述fake数据集中的商品，该数据集中的商品为与新品相似的商品，也可为竞品)。通过上述数据划分后，根据第三样本集、第四样本集和若干新品的产品图片生成训练集，作为构建新品识别模型的训练集，以使在对初始新品识别模型进行训练时，以上述训练集中选取的图片子集作为训练样本对初始新品识别模型进行训练。
在一个优选的实施例中，对初始新品识别模型进行训练，还包括：以自增强和混合增强中任意一种或其组合的方式对训练样本的数据进行增强。
具体的，由于新品的产品图片为摆拍的数据，需含有新品摆拍的产品图片加入常规的随机数据增强策略对训练集中的数据进行增强，数据增强策略可使用光照变化、仿射变换和模糊；除上述数据增强策略外，还可使用自增强和混合增强对训练集的数据进行增强；其中，自增强的方法为：获取一由最大偏移值pos_max和最小偏移值pos_min确定的区间，从该区间中随机选取一偏移值pos，通过偏移值pos确定需自增强图片的横轴为随机[0，pos]，纵向偏移为pos-x；随机从需自增强的图片中选择固定长度的数据片断batch，获数据片断batch的数据data和对于的数据标签label；通过以下公式对数据data进行更新：
data[:w-x,:h-y]＝(data[:w-x,:h-y]+data[x:,y:])/2
其中，w为需自增强图片的长，h为需自增强图片的宽，x、y为偏移坐标的；
通过以下公式对数据标签label进行更新：
label＝label/2
label[―1]＝0.5
将上述更新后得到的数据data和数据标签label替换所选取的数据片断batch中对应的位置，得到最终的自增强图片；
混合增强的方法为：选取需混合增强图片的数据片断batch，对数据片断batch的数据随机打乱，得到打乱后的数据片断batch_shuffle，选取打乱前后数据片断对应位置的数据标签label不一致的数据出来，分别为(data，label)、(data_s，label_s)；通过以下公式对选取的数据data进行融合：
data＝(data+data_s)/2
通过以下公式对数据标签进行更新：
label＝(label+label_s)/2
label[―1]＝0.5
随机选取数据片断data一定长度的片断，将更新后的数据data和数据标签label替换所选取的片断，以实现混合增强。
在对训练集的数据进行增强之后，还包括：对增强后的训练集中的第四样本集进行欠采样。
具体的，在对训练集的数据通过上述方法增强后，由于训练集中包含大量新品识别模型未训练的所有非新品的产品图片生成daiding数据集(即上述第四样本集)，在对新品识别模型训练时，需要新品识别模型未训练的所有非新品的产品图片生成daiding数据集进行欠采样；即从daiding数据集中选取一定数量的图片进入新品识别模型进行训练；可通过以下公式确定在新品识别模型每一轮迭代中所需选取的图片数量：
其中，T为选取的图片数量，tc为新品c的训练图片数据。
对于步骤S4、根据类别为新品的商品图片和对应商品图片的位置得到标识有新品和其位置的陈列图像。
在上述方法项实施例的基础上，本发明对应提供了装置项实施例。
如图2所示，本发明一实施例提供了一种新品识别装置，包括：数据获取模块、数据处理模块、新品识别模块和识别结果输出模块；
所述数据获取模块，用于获取当前陈列场景中一包含新品的待识别陈列图像；
所述数据处理模块，用于将所述待识别陈列图像输入商品检测模型中，以使商品检测模型输出待识别陈列图像中所有商品图片及其位置信息；其中，所述商品检测模型基于未包含新品的历史陈列图像进行训练得到；
所述新品识别模块，用于将各所述商品图片依次输入新品识别模型中，以使新品识别模型对商品图片的类别进行识别，筛选出属于新品的商品图片；其中，所述新品识别模型基于未上架时新品的产品图片以及非新品的产品图片进行训练的得到；
所述识别结果输出模块，用于根据类别为新品类的商品图片及对应商品图片的位置信息，识别出待识别陈列图像中的新品。
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
所述领域的技术人员可以清楚地了解到，为的方便和简洁，上述描述的装置的具体工作过程，可参考前述方法实施例中对应的过程，在此不再赘述。
在上述方法项实施例的基础上，本发明对应提供了终端设备项实施例。
本发明一实施例提供了一种终端设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现本发明中任意一项所述的一种新品识别方法。
终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。
所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
所述存储器可用于存储所述计算机程序，所述处理器通过运行或执行存储在所述存储器内的计算机程序，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
在上述方法项实施例的基础上，本发明对应提供了存储介质项实施例。
本发明一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行本发明中任意一项所述的一种新品识别方法。
所述存储介质为计算机可读存储介质，所述计算机程序存储在所述计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (9)

1.一种新品识别方法，其特征在于，包括：
获取当前陈列场景中一包含新品的待识别陈列图像；
将所述待识别陈列图像输入商品检测模型中，以使商品检测模型输出待识别陈列图像中所有商品图片及其位置信息；其中，所述商品检测模型基于未包含新品的历史陈列图像进行训练得到；
将各所述商品图片依次输入新品识别模型中，以使新品识别模型对商品图片的类别进行识别，筛选出属于新品的商品图片；其中，所述新品识别模型基于未上架时新品的产品图片以及非新品的产品图片进行训练的得到；
根据类别为新品的商品图片及对应商品图片的位置信息，识别出待识别陈列图像中的新品。
2.如权利要求1所述的一种新品识别方法，其特征在于，通过以下方式构建新品识别模型：
获取若干标注有类别的第一样本图片；其中，所述样本图片包括：未上架时新品的产品图片以及非新品的产品图片；
构建初始新品识别模型，以标注有类别的第一样本图片为训练样本，对初始新品识别模型进行训练，生成新品识别模型。
3.如权利要求1所述的一种新品识别方法，其特征在于，通过以下方式构建商品检测模型：
获取若干标注有商品位置的第二样本图片；其中，所述第二样本图片包括：未包含新品的历史陈列图像；
构建物体检测模型，以标注有商品位置的第二样本图片为输入，以标注有商品位置的第二样本图片为训练样本，对物体检测模型进行训练，生成商品检测模型。
4.如权利要求2所述的一种新品识别方法，其特征在于，获取若干第一样本图片，包括：
多角度拍摄每一类新品，得到每一类新品对应的若干新品的产品图片；
获取已知类别且非新品的产品图片中每一类商品的若干图片，获取与新品铺货共现关系强的未知类别且非新品的若干图片，生成若干非新品的产品图片；
根据每一类新品对应的若干新品的产品图片和非新品的产品图片生成若干第一样本图片。
5.如权利要求4所述的一种新品识别方法，其特征在于，在获取若干第一样本图片之后，还包括：
提取每一第一样本图片的特征向量；
计算每一类新品的产品图片与每一类非新品的若干的产品图片的特征距离；
构建第一样本集和第二样本集；
若第一样本图片中一非新品且已知类别的所有产品图片都与一新品类别中心特征向量距离最小，且特征距离小于边界阈值，则将对应非新品的所有产品图片加入对应新品类别的第一样本集；
若第一样本图片中一张非新品且未知类别的图片与一新品类别中心特征向量距离最小，且特征距离小于边界阈值，则将对应非新品的图片加入对应新品类别的第二样本集；
从第一样本集中随机选取图片添加至第二样本集，生成第三样本集；
其中，添加的图片数量需满足以下公式：
x<2*M―y
x为从第一样本集添加至第二样本集的图片数量，y为第二样本集包含的图片数量，M为新品的产品图片数量；
根据其余未添加至第一样本集的非新品已知类别产品图片，生成第四样本集；以第三样本集、第四样本集和若干新品的产品图片生成训练集；其中，第三样本集的每一类非新品产品图片，标记为相似类；第四样本集的每一类非新品产品图片，统一标记为同一类；
所述构建初始新品识别模型，以标注有类别的第一样本图片为训练样本，对初始新品识别模型进行训练，生成新品识别模型，包括：
构建初始新品识别模型，以训练集中选取的图片子集为训练样本，对初始新品识别模型进行训练，生成新品识别模型。
6.如权利要求5所述的一种新品识别方法，其特征在于，对初始新品识别模型进行训练，还包括：
以自增强和混合增强中任意一种或其组合的方式对训练样本的数据进行增强。
7.一种新品识别装置，其特征在于，包括：数据获取模块、数据处理模块、新品识别模块和识别结果输出模块；
所述数据获取模块，用于获取当前陈列场景中一包含新品的待识别陈列图像；
所述数据处理模块，用于将所述待识别陈列图像输入商品检测模型中，以使商品检测模型输出待识别陈列图像中所有商品图片及其位置信息；其中，所述商品检测模型基于未包含新品的历史陈列图像进行训练得到；
所述新品识别模块，用于将各所述商品图片依次输入新品识别模型中，以使新品识别模型对商品图片的类别进行识别，筛选出属于新品的商品图片；其中，所述新品识别模型基于未上架时新品的产品图片以及非新品的产品图片进行训练的得到；
所述识别结果输出模块，用于根据类别为新品类的商品图片及对应商品图片的位置信息，识别出待识别陈列图像中的新品。
8.一种终端设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所诉处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的一种新品识别方法。
9.一种存储介质，其特征在于，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行如权利要求1至6中任意一项所述的一种新品识别方法。
CN202310475973.XA 2023-04-28 2023-04-28 一种新品识别方法、装置、终端设备及存储介质 Active CN116486209B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310475973.XA CN116486209B (zh) 2023-04-28 2023-04-28 一种新品识别方法、装置、终端设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310475973.XA CN116486209B (zh) 2023-04-28 2023-04-28 一种新品识别方法、装置、终端设备及存储介质

Publications (2)

Publication Number Publication Date
CN116486209A true CN116486209A (zh) 2023-07-25
CN116486209B CN116486209B (zh) 2024-02-13

Family

ID=87211653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310475973.XA Active CN116486209B (zh) 2023-04-28 2023-04-28 一种新品识别方法、装置、终端设备及存储介质

Country Status (1)

Country Link
CN (1) CN116486209B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507419A (zh) * 2020-04-22 2020-08-07 腾讯科技（深圳）有限公司 图像分类模型的训练方法及装置
CN113160192A (zh) * 2021-04-28 2021-07-23 北京科技大学 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN113723431A (zh) * 2021-09-01 2021-11-30 上海云从汇临人工智能科技有限公司 图像识别方法、装置以及计算机可读存储介质
CN115909358A (zh) * 2022-07-27 2023-04-04 广州市玄武无线科技股份有限公司 商品规格识别方法、装置、终端设备及计算机存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111507419A (zh) * 2020-04-22 2020-08-07 腾讯科技（深圳）有限公司 图像分类模型的训练方法及装置
CN113160192A (zh) * 2021-04-28 2021-07-23 北京科技大学 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
CN113723431A (zh) * 2021-09-01 2021-11-30 上海云从汇临人工智能科技有限公司 图像识别方法、装置以及计算机可读存储介质
CN115909358A (zh) * 2022-07-27 2023-04-04 广州市玄武无线科技股份有限公司 商品规格识别方法、装置、终端设备及计算机存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周婷婷等: "基于交互式信息检索的商品导航系统", 《软件工程》, pages 37 - 41 *

Also Published As

Publication number Publication date
CN116486209B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
Zhao et al. Semantic segmentation with attention mechanism for remote sensing images
Yu et al. High-resolution deep image matting
CN109977983B (zh) 获得训练图像的方法及装置
CN109977824B (zh) 物品取放识别方法、装置及设备
CN110097616B (zh) 一种联合绘画方法、装置、终端设备及可读存储介质
CN113627411A (zh) 一种基于超分辨率的商品识别与价格匹配方法及系统
CN114444565A (zh) 一种图像篡改检测方法、终端设备及存储介质
CN115578590A (zh) 基于卷积神经网络模型的图像识别方法、装置及终端设备
Wang et al. Small vehicle classification in the wild using generative adversarial network
CN108509879B (zh) 一种实现信息处理的方法及装置
Janardhana Rao et al. Hybridized cuckoo search with multi-verse optimization-based patch matching and deep learning concept for enhancing video inpainting
CN114758268A (zh) 手势识别方法、装置及智能设备
CN113920382A (zh) 基于类一致性结构化学习的跨域图像分类方法和相关装置
CN112200004B (zh) 图像检测模型的训练方法、装置及终端设备
CN111191584B (zh) 一种人脸识别方法及装置
CN116486209B (zh) 一种新品识别方法、装置、终端设备及存储介质
CN108287817B (zh) 一种信息处理方法及设备
Mishra et al. Feature extraction techniques in facial expression recognition
CN112488123B (zh) 一种基于细化局部模式的纹理图像分类方法及系统
Geng et al. Shelf Product Detection Based on Deep Neural Network
CN114511702A (zh) 一种基于多尺度分权注意力的遥感图像分割方法和系统
Maity Improvised salient object detection and manipulation
Chaudhary et al. A real-time fine-grained visual monitoring system for retail store auditing
CN111797922A (zh) 文本图像分类方法及装置
CN113902938B (zh) 一种图像的聚类方法和装置以及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant