CN116824112A - 一种商品图像去重识别方法及装置 - Google Patents

一种商品图像去重识别方法及装置 Download PDF

Info

Publication number
CN116824112A
CN116824112A CN202310702256.6A CN202310702256A CN116824112A CN 116824112 A CN116824112 A CN 116824112A CN 202310702256 A CN202310702256 A CN 202310702256A CN 116824112 A CN116824112 A CN 116824112A
Authority
CN
China
Prior art keywords
commodity
image
commodities
images
commodity image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310702256.6A
Other languages
English (en)
Inventor
李德圆
丁明
王杰
许洁斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xuanwu Wireless Technology Co Ltd
Original Assignee
Guangzhou Xuanwu Wireless Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xuanwu Wireless Technology Co Ltd filed Critical Guangzhou Xuanwu Wireless Technology Co Ltd
Priority to CN202310702256.6A priority Critical patent/CN116824112A/zh
Publication of CN116824112A publication Critical patent/CN116824112A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06V10/7753—Incorporation of unlabelled data, e.g. multiple instance learning [MIL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks

Abstract

本发明公开了一种商品图像去重识别方法及装置，包括：将商品图像集输入预先训练好的商品去重模型，以使所述商品去重模型识别所述商品图像集中所有商品的铺货明细，所述商品图像集至少包括两张商品图像；其中，所述商品去重模型识别所述商品图像集中所有商品的铺货明细，具体为：获取商品图像集中所有商品图像中各个商品的邻域集和商品编码；根据所述邻域集和所述商品编码预测商品图像集中各个商品图像的拼接方向，获取各个商品图像的所有重叠边；根据所述重叠边计算单应矩阵，并根据所述单应矩阵对所有商品图像进行去重，以识别所有商品图像中所有商品的铺货明细。

Description

一种商品图像去重识别方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种商品图像去重识别方法及装置。
背景技术
目前，在超长冰柜商品识别的场景中，一般采用分区域识别，并结合基于关键点匹配的图像拼接实现商品去重，完成超长冰柜的整体识别，得到完整的铺货信息。与传统的货架不同，冰柜玻璃门散射容易导致商品成像模糊，故需对冰柜场景进行近拍，使得商品图像清晰可识别。但这也将导致超长冰柜分区域采集的相邻两张图像有非常大的视差。
对于现有的商品识别方法，基于特征点的图像拼接，要求物体处于近似同一平面，但近拍情况下，冰柜表面商品若摆放不齐整会被放大，最终导致拼接效果难以达到预期，为了让拼接有较稳定的拼接效果，两张拼接图需要更大的重叠区域让算法可以获取足量的正确匹配点。因此对拼接图像要求较高，同一冰柜，需要拍摄非常多的图片，效率较低，导致无法准确、快速的识别商品铺货明细。
发明内容
本发明提供了一种商品图像去重识别方法及装置，以解决从现有商品图像识别中对图像拍摄角度、图像数量要求较高，商品识别准确率和效率较低的技术问题。
为了解决上述技术问题，本发明提供了一种商品图像去重识别方法，包括：
将商品图像集输入预先训练好的商品去重模型，以使所述商品去重模型识别所述商品图像集中所有商品的铺货明细，所述商品图像集至少包括两张商品图像；
其中，所述商品去重模型识别所述商品图像集中所有商品的铺货明细，具体为：
获取商品图像集中所有商品图像中各个商品的邻域集和商品编码；根据所述邻域集和所述商品编码预测商品图像集中各个商品图像的拼接方向，获取各个商品图像的所有重叠边；
根据所述重叠边计算单应矩阵，并根据所述单应矩阵对所有商品图像进行去重，以识别所有商品图像中所有商品的铺货明细。
本发明通过商品去重模型获取商品的邻域集和商品编码，基与商品的邻域集和商品编码预测商品图像的拼接方向，从而计算图像之间的重叠边，打破图像拍摄角度、图像数量和图像之间的重叠区域对商品拼接的影响，使得在图像重叠区域有限的情况下仍然可根据商品特征和商品分布预测图像拼接方向，从而对多张商品图像进行去重，以获得完整的商品铺货明细，提高商品识别的效率和准确率。
进一步的，在所述将商品图像集输入预先训练好的商品去重模型之前，还包括：
构建商品解析模型，所述商品解析模型包括编码模型和检测模型，具体的：
根据自监督学习算法对无标签的SKU图片进行训练，获得第一特征提取模块；并根据所述第一特征提取模块构建商品去重模型；
对商品图片进行标注，并根据标注好的商品图片训练检测模型。
进一步的，所述获取商品图像集中所有商品图像中各个商品的邻域集和商品编码，具体为：
根据商品去重模型识别各个商品图像中所有商品的商品编码和位置信息；
根据所述位置信息对各个商品进行分割，生成若干个分割图集，所述一个分割图集中包括同一商品图像的所有商品的分割图；
根据各个商品分割图的位置关系获取各个商品的邻域集。
本发明根据自监督学习算法对无标签的商品图片进行训练，获取第一特征模块，并根据预先训练好的商品解析模型获取各个商品图像中所有商品的商品编码和位置信息，便于根据商品编码和位置信息对商品图像之间拼接方向进行预测，打破商品重叠区域对商品图像拼接的限制。
进一步的，所述根据各个商品分割图的位置关系获取各个商品的邻域集，具体为：
根据所述分割图计算各个商品的最小外包矩形，记录所述最小外包矩形的中心坐标；
根据最小外包矩形的中心坐标计算同一商品图像中各个商品的邻域集。
进一步的，在所述根据所述邻域集和所述商品编码预测商品图像集中各个商品图像的拼接方向，获取各个商品图像的所有重叠边之前，还包括：
根据所述商品编码模型对各个商品的分割图进行特征提取，获取各个商品的特征向量；
根据商品的特征向量，计算任意两个商品之间的匹配点集，所述任意两个商品分别来自不同的商品图像。
进一步的，所述根据商品的特征向量，计算任意两个商品之间的匹配点集，具体为：
根据所述特征向量计算两个商品之间的匹配度距离和差异度距离，并获取所述两个商品的第一匹配点集，所述第一匹配点集包括所述两个商品邻域内任意两个商品的匹配度距离；
根据所述差异度距离对所述第一匹配点集进行筛选和排序。
本发明根据第一特征提取模块对各个商品的分割图进行特征提取，从而计算不同图像之间任意两个商品的差异度距离和匹配度距离，以获取匹配点集，以根据匹配点集确认任意两个图像之间的重叠边，打破了图像重叠区域和图像格式对图像拼接的限制，提高图像拼接效率。
进一步的，所述根据所述邻域集和所述商品编码预测商品图像集中各个商品图像的拼接方向，获取各个商品图像的所有重叠边，具体为：
根据各个商品图像中商品的位置信息获取商品候选点集，所述商品候选点集中表示不同商品编码的商品；
根据所述商品候选点集和商品的差异度距离，计算各个商品图像的重叠边。
进一步的，所述根据所述重叠边计算单应矩阵，具体为：
在所述商品候选点集中随机选取若干个第一商品候选点；
根据第一检测公式和所述若干个第一商品候选点检测任意两张商品图像是否满足拼接条件，若满足则计算所述两张商品图像单应矩阵，若不满足则将所述两张商品图像标记为不可拼接。
本发明通过记录同一商品图像中距离商品图像最近的不同商品，从而根据商品分布特征计算任意两个商品图像之间的重叠边，以计算任意两个图像之间的单应矩阵，从而确认任意两张商品图像是否能够拼接，从而提高商品拼接准确率。
进一步的，所述根据所述单应矩阵对所有商品图像进行去重，以识别所有商品图像中所有商品的铺货明细，具体为：
根据商品图像之间是否存在单应矩阵对商品图像集进行分组，获取若干图像组；
计算任意图像组内的交并比，并根据所述交并比筛选各个图像组内的商品图像；
对各个图像组内的商品图像进行拼接，并生成所有商品的铺货明细。
本发明通过商品图像之间的单应矩阵对商品图像集进行分组，从而剔除图像组内置信度低的图片，以提高商品拼接的准确率。
第二方面，本发明还提供了一种商品图像去重识别装置，所述商品图像去重识别装置将采集的商品图像集输入预先训练好的商品去重模型；
所述商品去重模型用于根据商品去重模型识别所述商品图像集中所有商品的铺货明细，具体为：获取商品图像集中所有商品图像中各个商品的邻域集和商品编码；根据所述邻域集和所述商品编码预测商品图像集中各个商品图像的拼接方向，获取各个商品图像的所有重叠边；根据所述重叠边计算单应矩阵，并根据所述单应矩阵对所有商品图像进行去重，以识别所有商品图像中所有商品的铺货明细。
附图说明
图1为本发明实施例提供的商品图像去重识别方法的一种流程示意图；
图2为本发明实施例提供的商品图像去重识别方法的一种商品图像集示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一
请参照图1，图1为本发明实施例提供的商品图像去重识别方法的一种流程示意图，包括步骤101至步骤102，具体如下：
步骤101：将商品图像集输入预先训练好的商品去重模型，以使所述商品去重模型识别所述商品图像集中所有商品的铺货明细，所述商品图像集至少包括两张商品图像；
在本实施例中，在超长冰柜商品识别中，由于商品图像数量、图像拍摄角度得限制使得商品识别并不准确，因此通过对有限商品图像得重叠区域中寻找匹配的SKU(StockKeeping Unit，最小存货单位)，克服大视差情况下SKU的形态变化，最终实现在更少重叠区域内完成图像去重，实现超长冰柜的商品识别，提升工作效率。
在本实施例中，所述商品图像集包括摄像头拍摄的若干张商品图像。所述商品图像为待拼接的冰柜图像。以所述商品图像集中包括两张商品图像为例，获取两张待拼接的冰柜场景图像，所述带拼接的冰柜场景图像采取横屏从左往右拍摄的方式进行拼接图像的采集。
请参照图2，图2为本发明实施例提供的商品图像去重识别方法的一种商品图像集示意图。
在本实施例中，所述商品图像集包括商品图像a和商品图像b，其中所述商品图像a和商品图像b采取横屏从左往右拍摄的方式进行拼接图像的采集，且所述商品图像a先采集，商品图像b后采集。
在本实施例中，所述商品图像a和商品图像b是两张待拼接的冰柜场景图片,其中商品图像a的实心点为图片右边界中心点，记为O1，点A为待识别的SKU_A,其中心点OA与右边界的夹角为θA；商品图像B的实心点为图片左边界中心点，记为O2，点b为待识别的SKU_B,其中心点OB与左边界的夹角为θB。
步骤102：其中，所述商品去重模型识别所述商品图像集中所有商品的铺货明细，具体为：
在本实施例中，获取商品图像集中所有商品图像中各个商品的邻域集和商品编码；根据所述邻域集和所述商品编码预测商品图像集中各个商品图像的拼接方向，获取各个商品图像的所有重叠边；
根据所述重叠边计算单应矩阵，并根据所述单应矩阵对所有商品图像进行去重，以识别所有商品图像中所有商品的铺货明细。
在本实施例中，在所述将商品图像集输入预先训练好的商品解析模型之前，还包括：
构建商品解析模型，所述商品解析模型包括编码模型和检测模型，具体的：
根据自监督学习算法对无标签的SKU图片进行训练，获得第一特征提取模块；并根据所述第一特征提取模块构建商品编码模型；
对商品图片进行标注，并根据标注好的商品图片训练检测模型。
在本实施例中，根据所述商品检测模型和编码模型构建商品解析模型。
在本实施例中，利用自监督学习算法byo l，在大量无标签SKU图片中进行训练，训练时还需对所述无标签SKU图片进行随机透视变换、随机光照对比度增强、随机裁剪等数据增强操作，从而保证模型对快消场景具有一定的稳定性。训练结束后，保留backbone模块作为第一特征提取模块F。
在本实施例中，通过大量冰柜场景数据的商品图像进行训练，得到商品检测模型，从而自动标记出商品图像中所有商品的位置。
在本实施例中，所述获取商品图像集中所有商品图像中各个商品的邻域集和商品编码，具体为：
根据商品解析模型识别各个商品图像中所有商品的商品编码和位置信息；
根据所述位置信息对各个商品进行分割，生成若干个分割图集，所述一个分割图集中包括同一商品图像的所有商品的分割图；
根据各个商品分割图的位置关系获取各个商品的邻域集。
在本实施例中，根据自监督学习算法对无标签的SKU图片进行训练，获取第一特征模块，并根据预先训练好的商品解析模型获取各个商品图像中所有商品的商品编码和位置信息，便于根据商品编码和位置信息对商品图像之间拼接方向进行预测，打破商品重叠区域对商品图像拼接的限制。
在本实施例中，所述根据各个商品分割图的位置关系获取各个商品的邻域集，具体为：
根据所述分割图计算各个商品的最小外包矩形，记录所述最小外包矩形的中心坐标；
根据最小外包矩形的中心坐标计算同一商品图像中各个商品的邻域集。
在本实施例中，分别获取商品图像中商品图像a和商品图像b中所有商品的商品编码和位置信息，将所有商品分割出来，通过特征提取模块F对各个商品的分割图进行特征提取，输出特征向量记为e；同时，根据商品的分割轮廓点，计算该商品的最小外包矩形，该矩形的中心坐标记为(x,y)。其中所述分割图即为商品的SKU图片。
在本实施例中，对于商品图像的任一商品A，在同一图像中找到与之欧式距离最近的N个SKU,记为商品A的邻域SA，从而获取所有商品的邻域集，两个商品A，a的距离LAa具体为：
其中，A，a来做同一商品图像，xA为A商品的外包矩形中心点的横坐标，yA为A商品的外包矩形中心点的纵坐标，xa为a商品的外包矩形中心点的横坐标，ya为a商品的外包矩形中心点的纵坐标。
在本实施例中，在所述根据所述邻域集和所述商品编码预测商品图像集中各个商品图像的拼接方向，获取各个商品图像的所有重叠边之前，还包括：
根据所述第一特征提取模块对各个商品的分割图进行特征提取，获取各个商品的特征向量；
根据商品的特征向量，计算任意两个商品之间的匹配点集，所述任意两个商品分别来自不同的商品图像。
在本实施例中，所述根据商品的特征向量，计算任意两个商品之间的匹配点集，具体为：
根据所述特征向量计算两个商品之间的匹配度距离和差异度距离，并获取所述两个商品的第一匹配点集，所述第一匹配点集包括所述两个商品邻域内任意两个商品的匹配度距离；
根据所述差异度距离对所述第一匹配点集进行筛选和排序。
在本实施例中，若A，B为两个未知商品，其中A来自商品图像a，B来自商品图像b，则A,B的匹配度距离dist(A,B)具体为：
dist(A,B)＝w*sin(θ)+||eA―eB||2 (2)
其中，w为权重参数，θ等于A，B夹角之差的一半，具体为：
根据SKU的分布关系约束，商品AB的差异度距离d计算公式，具体为：
d＝dist(A,B)+min(U[dist(a,b),a∈SA,b∈SB]) (4)
其中，U为A，B的邻域SA，SB内任意2个SKU组合的匹配度距离集合。
在本实施例中，通过穷举商品图像a中的商品，找到每个商品在商品图像B中差异度最小的T个匹配点形成该商品的最终第一匹配点集，所述第一匹配点集依照差异度从小到大排序。
在本实施例中，根据第一特征提取模块对各个商品的分割图进行特征提取，从而计算不同图像之间任意两个商品的差异度距离和匹配度距离，以获取匹配点集，以根据匹配点集确认任意两个图像之间的重叠边，打破了图像重叠区域和图像格式对图像拼接的限制，提高图像拼接效率。
在本实施例中，所述根据所述邻域集和所述商品编码预测商品图像集中各个商品图像的拼接方向，获取各个商品图像的所有重叠边，具体为：
根据各个商品图像中商品的位置信息获取商品候选点集，所述商品候选点集中表示不同商品编码的商品；
根据所述商品候选点集和商品的差异度距离，计算各个商品图像的重叠边。
在本实施例中，通过计算商品图像a和商品图像b的重叠边，从而对商品图像A和商品图像B进行重叠区域拼接方向预测。选择商品图像a中各SKU，其中心距图左右两边距离最近的各Nt个点，从各自匹配集中，选择最小差异度进行求和。所述最小差异度求和数值最小的边，即为商品图像a中与商品图像b存在重叠区域的边。
在本实施例中，在本实施例中，所述根据所述重叠边计算单应矩阵，具体为：
在所述商品候选点集中随机选取若干个第一商品候选点；
根据第一检测公式和所述若干个第一商品候选点检测任意两张商品图像是否满足拼接条件，若满足则计算所述两张商品图像单应矩阵，若不满足则将所述两张商品图像标记为不可拼接。
请参照图2，图2为本发明实施例提供的商品图像去重识别方法的一种单应矩阵流程示意图。
在本实施例中，在计算单应矩阵时，从商品图像a和商品图像b的重叠边中选取距离最近的Nt个候选点，并随机选择若干个第一商品候选点，以选取4个第一商品候选点为例，随机选择4个点，循环遍历4个点的第一匹配点集，并计算是否可满足拼接条件，具体为：根据4个第一匹配点集，估算单应矩阵H，将商品图像a和商品图像b输入SKU检测模型，获取检测框RectA，RectB，并对所述商品图像b中的检测框依据单应矩阵进行变换(即，统一到商品图像a的坐标系)。合并商品图像a和转化后商品图像b的检测结果，并计算IOU(Intersect ion over Union，交并比)和特征距离，若本次检测中不存两个检测框RectA，RectB，且IOU大于阈值0.5，且特征距离大于阈值TL，则跳出循环，输出单应矩阵，否则继续遍历。所述IOU重叠度具体为：
所述特征距离具体为：
fdist＝||eA―eB||2 (6)
当循环迭代超过此数后，也并未获取单应矩阵，则商品图像a和商品图像b不可拼接。
在本实施例中，通过记录同一商品图像中距离商品图像最近的不同商品，从而根据商品分布特征计算任意两个商品图像之间的重叠边，以计算任意两个图像之间的单应矩阵，从而确认任意两张商品图像是否能够拼接，从而提高商品拼接准确率。
在本实施例中，在本实施例中，所述根据所述单应矩阵对所有商品图像进行去重，以识别所有商品图像中所有商品的铺货明细，具体为：
根据商品图像之间是否存在单应矩阵对商品图像集进行分组，获取若干图像组；
计算任意图像组内的交并比，并根据所述交并比筛选各个图像组内的商品图像；
对各个图像组内的商品图像进行拼接，并生成所有商品的铺货明细。
在本实施例中，获取单应矩阵的计算结果，并根据所述单应矩阵计算结果对商品图像集中的商品图像进行筛选，获取若干商品图像组，且各个组内按拍照顺序，任意前后两张图片都可进行拼接。
在本实施例中，若所述商品图像a和商品图像b之间不存在单应矩阵，则所述商品图像a和商品图像b不可拼接；若所述商品图像a和商品图像b之间存在单应矩阵，则所述商品图像a和商品图像b可拼接，此时，将商品图像a和商品图像b分别经过SKU检测模型，得到已学习的商品的类别和检测框rect。依据透视变换，rect经过对应H映射，得到标准框Rect。H为None时，标准框为本身。
在本实施例中，对于任一个分组的所有图片，计算所有检测结果两两间的标准框Rect的IOU，若IOU大于0.5，则去除两个结果中置信度较小的一个。统计每个分组的剩余检测结果，并根据所述检测结果输出长冰柜的商品铺货明细。
在本实施例中，通过商品图像之间的单应矩阵对商品图像集进行分组，从而剔除图像组内置信度低的图片，以提高商品拼接的准确率。
本发明实施例还提供了一种商品图像去重识别装置，所述商品图像去重识别装置将采集的商品图像集输入预先训练好的商品去重模型；
所述商品去重模型用于根据商品去重模型识别所述商品图像集中所有商品的铺货明细，具体为：获取商品图像集中所有商品图像中各个商品的邻域集和商品编码；根据所述邻域集和所述商品编码预测商品图像集中各个商品图像的拼接方向，获取各个商品图像的所有重叠边；根据所述重叠边计算单应矩阵，并根据所述单应矩阵对所有商品图像进行去重，以识别所有商品图像中所有商品的铺货明细。
在本实施例中，通过商品去重模型获取商品的邻域集和商品编码，基与商品的邻域集和商品编码预测商品图像的拼接方向，从而计算图像之间的重叠边，打破图像拍摄角度、图像数量和图像之间的重叠区域对商品拼接的影响，使得在图像重叠区域有限的情况下仍然可根据商品特征和商品分布预测图像拼接方向，从而对多张商品图像进行去重，以获得完整的商品铺货明细，提高商品识别的效率和准确率。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步的详细说明，应当理解，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。特别指出，对于本领域技术人员来说，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种商品图像去重识别方法，其特征在于，包括：
将商品图像集输入预先训练好的商品去重模型，以使所述商品去重模型识别所述商品图像集中所有商品的铺货明细，所述商品图像集至少包括两张商品图像；
其中，所述商品去重模型识别所述商品图像集中所有商品的铺货明细，具体为：
获取商品图像集中所有商品图像中各个商品的邻域集和商品编码；根据所述邻域集和所述商品编码预测商品图像集中各个商品图像的拼接方向，获取各个商品图像的所有重叠边；
根据所述重叠边计算单应矩阵，并根据所述单应矩阵对所有商品图像进行去重，以识别所有商品图像中所有商品的铺货明细。
2.如权利要求1所述的商品图像去重识别方法，其特征在于，在所述将商品图像集输入预先训练好的商品去重模型之前，还包括：
构建商品解析模型，所述商品解析模型包括编码模型和检测模型，具体的：
根据自监督学习算法对无标签的SKU图片进行训练，获得第一特征提取模块；并根据所述第一特征提取模块构建商品编码模型；
对商品图片进行标注，并根据标注好的商品图片训练检测模型。
3.如权利要求2所述的商品图像去重识别方法，其特征在于，所述获取商品图像集中所有商品图像中各个商品的邻域集和商品编码，具体为：
根据商品解析模型识别各个商品图像中所有商品的商品编码和位置信息；
根据所述位置信息对各个商品进行分割，生成若干个分割图集，所述一个分割图集中包括同一商品图像的所有商品的分割图；
根据各个商品分割图的位置关系获取各个商品的邻域集。
4.如权利要求3所述的商品图像去重识别方法，其特征在于，所述根据各个商品分割图的位置关系获取各个商品的邻域集，具体为：
根据所述分割图计算各个商品的最小外包矩形，记录所述最小外包矩形的中心坐标；
根据最小外包矩形的中心坐标计算同一商品图像中各个商品的邻域集。
5.如权利要求4所述的商品图像去重识别方法，其特征在于，在所述根据所述邻域集和所述商品编码预测商品图像集中各个商品图像的拼接方向，获取各个商品图像的所有重叠边之前，还包括：
根据所述商品编码模型对各个商品的分割图进行特征提取，获取各个商品的特征向量；
根据商品的特征向量，计算任意两个商品之间的匹配点集，所述任意两个商品分别来自不同的商品图像。
6.如权利要求5所述的商品图像去重识别方法，其特征在于，所述根据商品的特征向量，计算任意两个商品之间的匹配点集，具体为：
根据所述特征向量计算两个商品之间的匹配度距离和差异度距离，并获取所述两个商品的第一匹配点集，所述第一匹配点集包括所述两个商品邻域内任意两个商品的匹配度距离；
根据所述差异度距离对所述第一匹配点集进行筛选和排序。
7.如权利要求6所述的商品图像去重识别方法，其特征在于，所述根据所述邻域集和所述商品编码预测商品图像集中各个商品图像的拼接方向，获取各个商品图像的所有重叠边，具体为：
根据各个商品图像中商品的位置信息获取商品候选点集，所述商品候选点集中表示不同商品编码的商品；
根据所述商品候选点集和商品的差异度距离，计算各个商品图像的重叠边。
8.如权利要求7所述的商品图像去重识别方法，其特征在于，所述根据所述重叠边计算单应矩阵，具体为：
在所述商品候选点集中随机选取若干个第一商品候选点；
根据第一检测公式和所述若干个第一商品候选点检测任意两张商品图像是否满足拼接条件，若满足则计算所述两张商品图像单应矩阵，若不满足则将所述两张商品图像标记为不可拼接。
9.如权利要求8所述的商品图像去重识别方法，其特征在于，所述根据所述单应矩阵对所有商品图像进行去重，以识别所有商品图像中所有商品的铺货明细，具体为：
根据商品图像之间是否存在单应矩阵对商品图像集进行分组，获取若干图像组；
计算任意图像组内的交并比，并根据所述交并比筛选各个图像组内的商品图像；
对各个图像组内的商品图像进行拼接，并生成所有商品的铺货明细。
10.一种商品图像去重识别装置，其特征在于，所述商品图像去重识别装置将采集的商品图像集输入预先训练好的商品去重模型；
所述商品去重模型用于根据商品去重模型识别所述商品图像集中所有商品的铺货明细，具体为：获取商品图像集中所有商品图像中各个商品的邻域集和商品编码；根据所述邻域集和所述商品编码预测商品图像集中各个商品图像的拼接方向，获取各个商品图像的所有重叠边；根据所述重叠边计算单应矩阵，并根据所述单应矩阵对所有商品图像进行去重，以识别所有商品图像中所有商品的铺货明细。
CN202310702256.6A 2023-06-13 2023-06-13 一种商品图像去重识别方法及装置 Pending CN116824112A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310702256.6A CN116824112A (zh) 2023-06-13 2023-06-13 一种商品图像去重识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310702256.6A CN116824112A (zh) 2023-06-13 2023-06-13 一种商品图像去重识别方法及装置

Publications (1)

Publication Number Publication Date
CN116824112A true CN116824112A (zh) 2023-09-29

Family

ID=88116009

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310702256.6A Pending CN116824112A (zh) 2023-06-13 2023-06-13 一种商品图像去重识别方法及装置

Country Status (1)

Country Link
CN (1) CN116824112A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170178372A1 (en) * 2015-12-18 2017-06-22 Ricoh Co., Ltd. Panoramic Image Stitching Using Objects
CN109934093A (zh) * 2019-01-21 2019-06-25 创新奇智(南京)科技有限公司 一种识别货架商品的方法、计算机可读介质及识别系统
US20190354923A1 (en) * 2018-05-18 2019-11-21 Toshiba Tec Kabushiki Kaisha Shelf management system and program
CN112508132A (zh) * 2021-01-29 2021-03-16 广州市玄武无线科技股份有限公司 一种识别sku的训练方法及装置
CN114298992A (zh) * 2021-12-21 2022-04-08 北京百度网讯科技有限公司 一种视频帧去重方法、装置、电子设备及存储介质
CN115273063A (zh) * 2022-06-30 2022-11-01 北京百度网讯科技有限公司 确定对象信息的方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170178372A1 (en) * 2015-12-18 2017-06-22 Ricoh Co., Ltd. Panoramic Image Stitching Using Objects
US20190354923A1 (en) * 2018-05-18 2019-11-21 Toshiba Tec Kabushiki Kaisha Shelf management system and program
CN109934093A (zh) * 2019-01-21 2019-06-25 创新奇智(南京)科技有限公司 一种识别货架商品的方法、计算机可读介质及识别系统
CN112508132A (zh) * 2021-01-29 2021-03-16 广州市玄武无线科技股份有限公司 一种识别sku的训练方法及装置
CN114298992A (zh) * 2021-12-21 2022-04-08 北京百度网讯科技有限公司 一种视频帧去重方法、装置、电子设备及存储介质
CN115273063A (zh) * 2022-06-30 2022-11-01 北京百度网讯科技有限公司 确定对象信息的方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Melekhov et al. Dgc-net: Dense geometric correspondence network
US10510152B2 (en) Systems, methods, and devices for image matching and object recognition in images using textures
Chen et al. Vehicle make and model recognition using sparse representation and symmetrical SURFs
Winlock et al. Toward real-time grocery detection for the visually impaired
US8867793B2 (en) Scene analysis using image and range data
US9008439B2 (en) Image processing method and system
US11080559B2 (en) Product onboarding machine
Schaffalitzky et al. Automated scene matching in movies
CN111061890B (zh) 一种标注信息验证的方法、类别确定的方法及装置
US20150131851A1 (en) System and method for using apparent size and orientation of an object to improve video-based tracking in regularized environments
Evangelidis et al. Efficient subframe video alignment using short descriptors
Coates et al. Multi-camera object detection for robotics
CN110334622B (zh) 基于自适应特征金字塔的行人检索方法
Jelača et al. Vehicle matching in smart camera networks using image projection profiles at multiple instances
Rey-Otero et al. Comparing feature detectors: A bias in the repeatability criteria
Chen et al. Object tracking over a multiple-camera network
Varga et al. A multi-view pedestrian tracking method in an uncalibrated camera network
CN114926508B (zh) 视野分界线确定方法、装置、设备及存储介质
CN116824112A (zh) 一种商品图像去重识别方法及装置
Creusen et al. A semi-automatic traffic sign detection, classification, and positioning system
CN114387571A (zh) 基于层次匹配的无监督车辆重识别方法及装置
Kim et al. Directional pedestrian counting with a hybrid map-based model
Jelača et al. Real-time vehicle matching for multi-camera tunnel surveillance
Weng et al. Visual knowledge transfer among multiple cameras for people counting with occlusion handling
Shukla et al. An Algorithmic Approach for Real Time People Counting with Moving Background

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination