CN111626150B - 商品识别方法 - Google Patents

商品识别方法 Download PDF

Info

Publication number
CN111626150B
CN111626150B CN202010390922.3A CN202010390922A CN111626150B CN 111626150 B CN111626150 B CN 111626150B CN 202010390922 A CN202010390922 A CN 202010390922A CN 111626150 B CN111626150 B CN 111626150B
Authority
CN
China
Prior art keywords
image
image samples
commodity
training
training set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010390922.3A
Other languages
English (en)
Other versions
CN111626150A (zh
Inventor
陈欢欢
王高杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Shunde Industrial Design Institute
Original Assignee
Guangdong Shunde Industrial Design Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Shunde Industrial Design Institute filed Critical Guangdong Shunde Industrial Design Institute
Priority to CN202010390922.3A priority Critical patent/CN111626150B/zh
Publication of CN111626150A publication Critical patent/CN111626150A/zh
Application granted granted Critical
Publication of CN111626150B publication Critical patent/CN111626150B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Abstract

本发明涉及计算机视觉技术领域,公开了一种商品识别方法。通过对测试商品进行采集,获取一定数量的图像样本并随机分配成训练集和测试集。分别对测试集中各图像样本的不同维度特征进行特征提取和训练,计算各图像样本在不同维度特征的概率相似性,按照一定的权值比例将商品图像的多维度特征融合入测试模型中。使用测试集对测试模型进行测试,以判断训练结果是否达到预期并不断调整各特征所占的权值比例,直至训练得到的测试模型可以对受遮挡的待检测目标图像与不受遮挡条件下的商品图像达到无差别识别的效果。通过本申请提供的商品识别方法所得测试模型可以在目标商品受到局部遮挡条件下,对于商品识别的准确率和稳定性高,受遮挡影响的程度小。

Description

商品识别方法
技术领域
本发明涉及计算机视觉技术领域,特别是涉及一种商品识别方法。
背景技术
随着新零售概念大规模推广与兴起,城市繁华区域催生了很多主售饮料和零食的无人售货机。近年来,计算机视觉技术在智能无人售货机商品识别的应用中越来越普遍,顾客反映消费体验总体较好。但是在复杂场景下计算机视觉的准确识别率仍有待提升,比如:消费者拿出目标商品的同时,手对商品不可避免造成非目标因素导致的局部遮挡问题。而这类遮挡问题一直是计算机视觉图像处理领域的难点。当前开门自取式智能无人售货机的商品视觉识别系统对于目标商品受局部遮挡情况下,商品识别的正确识别率不够、稳定性不足。
发明内容
基于此,有必要针对目标商品受局部遮挡情况下,正确识别率不够、稳定性不足的问题,提供一种商品识别方法。
一种商品识别方法,对测试商品进行采集,获取预设数量的图像样本,并对所述图像样本进行预处理;将所述图像样本随机分配成训练集和测试集,通过特征提取算法对所述训练集的多维特征进行提取和训练,并根据所述多维特征设计测试模型;对测试集中的图像样本进行不同比例的遮挡干扰,并导入测试模型中进行商品识别,以判断训练结果是否达到预期;当训练结果未达到预期时,调整测试模型中各特征所占的权值比例,重复执行训练过程进行重新训练,直至所述测试模型的商品识别达到预期效果。
上述商品识别方法,通过对测试商品进行采集,获取一定数量的图像样本并随机分配成训练集和测试集。分别计算测试集中各图像样本在不同维度特征的概率相似性,按照一定的权值比例来组合商品图像的多维度特征。训练得到的测试模型可以对受遮挡的待检测目标图像(测试集)与不受遮挡条件下的商品图像(训练集)达到无差别识别的效果。通过本申请提供的商品识别方法所得测试模型可以在目标商品受到局部遮挡条件下,对于商品识别的准确率和稳定性高,受遮挡影响的程度小。
在其中一个实施例中,所述预处理包括对所述图像样本进行归一化处理、灰度处理和数据格式转换。
在其中一个实施例中,对所述图像样本进行预处理后,还包括利用翻转、裁剪、旋转、亮度色度调节以及加入不同比例的遮挡干扰的増广操作来增加所述图像样本的数量,将所述图像样本的数量扩增至不少于一万张。
在其中一个实施例中,所述特征提取算法包括外形特征提取算法、颜色特征提取算法或纹理特征提取算法。
在其中一个实施例中,通过外形特征提取算法对所述训练集的外形特征进行提取的步骤包括对所述训练集中的图像样本进行尺度空间的归一化处理;计算出尺度空间的极值点,运用泰勒级数展开计算,将最接近真实极值点的点作为特征点;对各离散的特征点进行曲线拟合,并采用Hessian矩阵消除边界响应;将所述特征点转换为特征向量,用特征向量来描述所述训练集中的图像样本的外形特征。
在其中一个实施例中,将所述特征点转换为特征向量时需要计算梯度和确定方向,梯度的模m(x,y)的计算公式为梯度的方向θ(x,y)的计算公式为:/>其中,L(x,y)为所述特征点的位置坐标表示,x为所述特征点的横坐标点,y为所述特征点的纵坐标点。
在其中一个实施例中,通过颜色特征提取算法对所述训练集的颜色特征进行提取的步骤包括以颜色值作为横坐标,以颜色累加出现的频数作为纵坐标,绘制全局累加直方图;设置预设阈值,提取图像颜色分布范围,用图像颜色分布范围来描述所述训练集中的图像样本的颜色特征。
在其中一个实施例中,通过纹理特征提取算法对所述训练集的纹理特征进行提取的步骤包括将所述训练集中的图像样本划分为N个正方形的预设窗口,将窗口中心像素的灰度值作为阈值与周围像素的灰度值进行比较,并将比较结果转化为二进制,其中,N为大于等于1的整数;对N个预设窗口进行直方图统计,获得一个N*N图像子块直方图,用N*N图像子块直方图来描述所述训练集中的图像样本的纹理特征。
在其中一个实施例中,二进制转化公式S(x)为其中,x为周围像素的灰度值与窗口中心像素的灰度值的差;LBP算法计算公式为:其中,xc为窗口中心像素的横坐标点,yc为窗口中心像素的纵坐标点,gc为窗口中心像素的灰度值,gp为周围像素的灰度值,p为0~9的自然数。
在其中一个实施例中,所述训练集的图像样本占所述图像样本数量的70~90%,所述测试集的图像样本占所述图像样本数量的10~30%。
附图说明
图1为本发明其中一实施例的商品识别方法的方法流程图;
图2为本发明其中一实施例的外形特征提取方法流程图;
图3为本发明其中一实施例的颜色特征提取方法流程图;
图4为本发明其中一实施例的纹理特征提取方法流程图。
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的优选实施方式。但是,本发明可以以许多不同的形式来实现,并不限于本文所描述的实施方式。相反的,提供这些实施方式的目的是为了对本发明的公开内容理解得更加透彻全面。
需要说明的是,当元件被称为“固定于”另一个元件,它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件,它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”、“上”、“下”、“前”、“后”、“周向”以及类似的表述是基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
近年来,计算机视觉技术在智能无人售货机商品识别的应用中越来越普遍,顾客反映消费体验总体较好。但是在复杂场景下计算机视觉的准确识别率仍有待提升,比如:消费者拿出目标商品的同时,手对商品不可避免造成非目标因素导致的局部遮挡问题。而这类遮挡问题一直是计算机视觉图像处理领域的难点,目前针对该问题的解决办法主要有:基于特征点匹配的算法、模块化模糊分类和基于外形轮廓分段处理的方法等。现有的这些方法虽然在一定程度上降低局部遮挡问题的解决难度,但实际中正确识别率提升的效果还是不明显。
单一特征提取和匹配得到的参数模型鲁棒性较差,随着受遮挡比例增大,正确识别率下降速度过快。而且需要建立特征匹配库或者是设计强分类器,操作难度比较大,对算法的要求很高。另外,这个方法对于外形比较规则的目标尚有操作性,一旦目标构造复杂就十分不稳定。分块多示例学习算法是常用的降低遮挡问题难度的方法之一,其关键在于分类器性能,而一般的分类器容易发生跟踪漂移等不稳定问题,因此设计难度较大。而且分块多示例学习的过程会产生大量中间数据,算法计算量大,因此实时性也比较差。
本发明的技术方案是在Tensorflow(Tensorflow是一个基于数据流编程的符号数学系统)的框架下,运用深度学习领域图像处理和目标检测效果较好的经典卷积神经网络模型(如:AlexNet模型、VGG16/19模型、YOLO模型等)实现的。另外,本发明专利所使用的开发环境有OpenCV计算机视觉图像处理库、PyCharm程序编译器、Anaconda环境管理软件,使用的代码语言为Python。
本发明公开了一种在受到局部遮挡的情况下运用计算机视觉对目标商品进行识别的商品识别方法。图1为本发明其中一实施例的商品识别方法的方法流程图,在其中一个实施例中,所述方法包括如下步骤S100至S400。
S100:对测试商品进行采集,获取预设数量的图像样本,并对所述图像样本进行预处理。
S200:将所述图像样本随机分配成训练集和测试集,通过特征提取算法对所述训练集的多维特征进行提取和训练,并根据所述多维特征设计测试模型。
S300:对测试集中的图像样本进行不同比例的遮挡干扰,并导入测试模型中进行商品识别,以判断训练结果是否达到预期。
S400:当训练结果未达到预期时,调整测试模型中各特征所占的权值比例,重复执行训练过程进行重新训练,直至所述测试模型的商品识别达到预期效果。
上述商品识别方法,通过对测试商品进行采集,获取一定数量的图像样本并随机分配成训练集和测试集。在有监督学习状态下,导入人为标签的训练集样本进行特征提取和机器学习,根据提取到的多维特征设计测试模型,利用多种算法不断修正和改进模型。分别计算测试集中各图像样本在不同维度特征的概率相似性,按照一定的权值比例来对商品图像的多维度特征进行融合,使得训练后的模型能够对测试集数据进行正确分类。训练得到的测试模型可以对受遮挡的待检测目标图像与不受遮挡条件下的商品图像达到无差别识别的效果。通过本申请提供的商品识别方法所得测试模型可以在目标商品受到局部遮挡条件下,对于商品识别的准确率和稳定性高,受遮挡影响的程度小。增加训练测试模型的复杂度,利用多个特征维度进行识别可以减少系统受遮挡物干扰条件下出现漏检、错检的情况。
在其中一个实施例中,所述训练集的图像样本占所述图像样本数量的70~90%,所述测试集的图像样本占所述图像样本数量的10~30%。在本实施例中训练集占所述图像样本数量的80%,测试集占所述图像样本数量的20%。
在本申请中为了更好地说明所述商品识别方法的设计与训练步骤,以自动售卖机售卖的饮料商品为例来进行说明,但以具体实例来对方法进行说明的描述并不能因此而理解为对发明专利范围的限制。首先对测试商品进行数据收集阶段,对自动售卖机中常见10种品牌饮料进行拍摄,获取10种品牌饮料的图像样本作为本次实验的样本数据。这些图像样本经预处理后按照80%训练集和20%测试集随机分配。
在模型训练阶段中,需要将训练集样本进行模板匹配操作,并通过多种特征提取算法来对样本的特征进行提取和训练,从而获取测试模型。获取了测试模型后进入测试调整阶段,先对测试集样本进行遮挡干扰处理,分别对测试集图像样本中占目标面积10%、30%和50%的区域进行遮挡。然后将处理过的测试集样本导入测试模型进行商品识别检测,根据识别结果判断训练结果是否达到预期。当训练结果未达到预期时,对测试模型中融合的各特征所占权值比例进行调整,重复执行训练过程进行重新训练,筛选出匹配结果得分最高的测试模型。通过上述训练过程所得的测试模型提高了计算机视觉对商品识别的准确率,提升了售货机商品识别系统应对局部遮挡等复杂场景下预测性能,商品识别的实时性和稳定性较好。
在其中一个实施例中,所述预处理包括对所述图像样本进行归一化处理、灰度处理和数据格式转换。在图像预处理阶段,需要使所述图像样本归一化、对图像样本进行灰度处理,并将所述图像样本的数据格式转化为TensorFlow专用格式等。因为一个图像的中心区域通常是目标商品所在区域,所以为了突出图像中心区域目标商品特征的重要性,需要首先对训练集的图像样本进行非均匀分块操作,也即提取正样本数据集,在程序中调用掩模函数cv.2calcHist()来完成上述操作。得到中间区域的目标图像后进行图像尺寸大小归一化,将所有图像样本的尺寸全部设置为32*32。然后再对正样本数据集进行包括灰度图转换、二值处理、高斯滤波以及一些形态学变换等在图像识别技术中常用的图像预处理操作。
在其中一个实施例中,对所述图像样本进行预处理后,还包括利用翻转、裁剪、旋转、亮度色度调节以及加入不同比例的遮挡干扰的増广操作来增加所述图像样本的数量,将所述图像样本的数量扩增至不少于一万张。通过翻转、裁剪、旋转、亮度色度调节以及加入不同比例的手部遮挡干扰等操作,可以将采集到的数量较少的图像样本数量扩增到10000张,然后将这10000张图像样本按照80%作为训练集的图像样本、20%作为测试集的图像样本进行随机分配。
在其中一个实施例中,所述特征提取算法包括外形特征提取算法、颜色特征提取算法或纹理特征提取算法。通过外形特征提取算法(sift特征提取算法),颜色特征提取算法(全局累加直方图)和纹理特征提取算法(LBP纹理特征提取算法)对测试集的图像样本进行提取和训练,以对所述测试集的图像样本的外形特征、颜色特征和纹理特征特征进行多维特征融合。多维特征融合,是从多个维度提取若干特征点(如:外形轮廓特征、颜色特征、纹理特征等)进行训练,在本实施例中采用sift特征提取算法、全局颜色直方图、LBP纹理特征直方图分别对商品的外形轮廓、主颜色、纹理特征进行特征提取。然后,根据不同特征点所占比例灵活调整设置权值比例,从而融合成一个对商品样本进行商品识别的测试模型。这个测试模型即便是在目标商品的局部特征点受遮挡的情况下,仍可通过一个概率转换的相似度评分来作出判定,从而达到准确识别商品的目的。
图2为本发明其中一实施例的外形特征提取方法流程图,在其中一个实施例中,通过外形特征提取算法对所述训练集的外形特征进行提取包括如下步骤S211至S214。
S211:对所述训练集中的图像样本进行尺度空间的归一化处理。
S212:计算出尺度空间的极值点,运用泰勒级数展开计算,将最接近真实极值点的点作为特征点。
S213:对各离散的特征点进行曲线拟合,并采用Hessian矩阵消除边界响应。
S214:将所述特征点转换为特征向量,用特征向量来描述所述训练集中的图像样本的外形特征。
在对所述测试集的图像样本的外形特征进行提取时,首先,通过调用Opencv-SIFT函数,利用其包含的高斯差分金字塔(DOG算法)可以使得测试集中从不同角度拍摄的图像样本完成在尺度空间的归一化效果。然后,为了寻找各图像样本尺度空间的极值点,可以通过DOG算法进行空间极值检测并计算出极值。由于此时计算得到的极值点与实际意义上的极值点存在一定差异,所以需要运用泰勒级数进行展开计算,计算出更为接近真实的极值点来作为特征点。接着,再对计算所得的这些离散的特征点进行曲线拟合操作。由于在预处理步骤中用到了高斯滤波操作,高斯滤波可能会加深非边界区域的响应,所以在完成尺度空间的特征曲线拟合后,需要采用Hessian矩阵来消除边界响应。最后生成外形特征描述,上述步骤中所得到的特征点需要经过转换,转换成特征向量用以描述所述训练集中的图像样本的外形特征。在后续多维特征融合的操作中,使用特征向量来进行匹配。
在其中一个实施例中,在生成外形特征描述后,从上述步骤中获得的特征点需要经过转换成特征向量后才可匹配。将所述特征点转换为特征向量时需要计算梯度和确定方向,设每个特征点L(x,y)的梯度的模为m(x,y)以及梯度的方向为θ(x,y),所述梯度的模m(x,y)的计算公式为:
所述梯度的方向θ(x,y)的计算公式为:
其中,L(x,y)为所述特征点的位置坐标表示,x为所述特征点的横坐标点,y为所述特征点的纵坐标点。因此,由上可知每个特征点可以得到三个参数即为位置坐标表示L(x,y)、梯度的模m(x,y)、梯度的方向θ(x,y),即位置、模和方向。再使用HOG直方图来统计邻域内像素的梯度和方向,最终生成向量形式的外形特征描述,用特征向量来描述所述训练集中的图像样本的外形特征。
图3为本发明其中一实施例的颜色特征提取方法流程图,在其中一个实施例中,通过颜色特征提取算法对所述训练集的颜色特征进行提取包括如下步骤S221至S222。
S221:以颜色值作为横坐标,以颜色累加出现的频数作为纵坐标,绘制全局累加直方图。
S222:设置预设阈值,提取图像颜色分布范围,用图像颜色分布范围来描述所述训练集中的图像样本的颜色特征。
在对所述测试集的图像样本的颜色特征进行提取时,通过调用全局累加直方图,以颜色值作为横坐标,以颜色累加出现的频数作为纵坐标,绘制全局累加直方图。在函数中设置合适的阈值,以提取图像样本中图像颜色分布范围。因为绝大多数饮料瓶身都有自己的较为固定的主色调,以雪碧、百事、加多宝为例,雪碧的主色调为绿色、百事的主色调为蓝色、加多宝的主色调为红色,按照[B,G,R]颜色通道顺序的格式,雪碧、百事、加多宝的颜色阈值可以分别设置为[20,127,20],[127,20,20]和[20,20,127]。而对于其它颜色,也是可以通过调节颜色阈值的参数来实现泛化,比如瓶身颜色为橙色的美年达饮料的颜色阈值可以设置为[127,127,127]。
全局累加直方图是以颜色值作为横坐标,以颜色累加出现的频数作为纵坐标绘制而成的,这些统计数据与3个颜色通道上设置好的预设阈值进行大小比较,剔除数值上明显偏小的颜色通道,来确定所述训练集中各图像样本的主颜色通道,用主颜色通道的图像颜色分布范围来描述所述训练集中的图像样本的颜色特征。在后续多维特征融合的操作中,使用图像颜色分布范围来进行匹配。
图4为本发明其中一实施例的纹理特征提取方法流程图,在其中一个实施例中,通过纹理特征提取算法对所述训练集的纹理特征进行提取包括如下步骤S231至S232。
S231:将所述训练集中的图像样本划分为N(N为大于等于1的整数)个正方形的预设窗口,将窗口中心像素的灰度值作为阈值与周围像素的灰度值进行比较,并将比较结果转化为二进制。
S232:对N个预设窗口进行直方图统计,获得一个N*N图像子块直方图,用N*N图像子块直方图来描述所述训练集中的图像样本的纹理特征。
纹理是物体表面的固有特征之一。在本实施例中,对所述测试集的图像样本的颜色特征进行提取时,首先,使用OpenCV这个跨平台计算机视觉库中的LBP纹理特征提取算法来对所述训练集中图像样本的纹理特征进行提取。LBP纹理特征提取算法是一种采用局部二值模式的算法。在采用局部二值模式的算法时,需要所述训练集中图像样本划分为N(N为大于等于1的整数)个包含一定像素个数的正方形子块,分别定义在预设窗口中。
在实际实验中,一般将所述训练集中图像样本定义在3*3的窗口内,即窗口内的图像样本子块具有9个像素点。以窗口中心像素的灰度值为阈值,将该像素点的灰度值与周围的8个像素的灰度值进行比较,并将比较结果转化成二进制模式。然后,对每个预设窗口(N个)进行直方图统计,获得一个N*N图像子块的直方图,利用N*N个图像子块的直方图来描述所述训练集中的图像样本的纹理特征。在后续多维特征融合的操作中,使用N*N图像子块直方图来进行匹配。
在其中一个实施例中,二进制转化公式S(x)为:
其中,x为周围像素的灰度值与窗口中心像素的灰度值的差,即如果周围9个像素的灰度值大于窗口中心像素的灰度值,则该窗口中心像素点的位置被标记为1,否则为0。
LBP算法计算公式为:
其中,xc为窗口中心像素的横坐标点,yc为窗口中心像素的纵坐标点,gc为窗口中心像素的灰度值,gp为周围像素的灰度值,p为0~9的自然数。具体的,gp可以为周围8个像素的灰度值。
在有监督学习状态下,将人为标签的训练集样本导入进行特征提取和机器学习。根据提取到的多维特征设计测试模型,分别计算测试集中各图像样本在不同维度特征的概率相似性,按照一定的权值比例来对商品图像的多维度特征进行融合,以建立用于商品识别的测试模型。打开Anaconda Prompt命令框界面,调用OpenCV自带的Opencv-Traincascaded分类器。通过执行Opencv_Traincascaded,并传入需要进行商品识别的目标参数,所述参数包括文件地址、生成vec文件名、正负样本名称、特征种类(HOG外轮廓特征直方图、颜色全局累加直方图、LBP纹理特征直方图)以及各维度特征权值比例。建立好测试模型后,对所述测试模型的商品识别能力进行测试与调整。
本发明提供的商品识别方法,首先对测试商品进行图像采集,获取一定数量的图像样本,并对所述图像样本进行预处理。然后对经过预处理后的所述图像样本进行翻转、旋转等扩充处理,并将扩充后的所述图像样本随机分配成训练集和测试集,其中训练集占所有图像样本的80%,测试集占所有图像样本的20%。在有监督学习状态下,将人为标签的训练集样本导入OpenCV计算机视觉处理库中进行特征提取和机器学习。根据提取到的多维特征设计测试模型,并利用多种算法不断修正和改进模型,分别计算测试集中各图像样本在不同维度特征的概率相似性,按照一定的权值比例来对商品图像的多维度特征进行融合。用测试集对测试模型进行测试,以判断训练结果是否达到预期,若训练结果不能达到预期发识别效果,则不断调整各特征所占的权值比例,直至训练得到的测试模型可以对受遮挡的待检测目标图像与不受遮挡条件下的商品图像达到无差别识别的效果,最后所得的测试模型能够对测试集数据进行正确分类达到预期的分类效果。
通过本申请提供的商品识别方法采用sift特征提取算法、全局颜色直方图、LBP纹理特征直方图分别对商品外形轮廓、主颜色、纹理特征进行特征提取,再根据不同特征点所占比例灵活设置权值,从而融合成一个在目标商品的局部特征点受遮挡的情况下,仍可通过一个概率转换的相似度评分来作出判定,从而达到准确识别商品的测试模型。所述测试模型对于商品识别的准确率和稳定性高,受遮挡影响的程度小。在训练过程中增加测试模型的复杂度,利用多个特征维度进行识别可以减少系统受遮挡物干扰条件下出现漏检、错检的情况。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (8)

1.一种商品识别方法,其特征在于,包括:
对测试商品进行采集,获取预设数量的图像样本,并对所述图像样本进行预处理;
将所述图像样本随机分配成训练集和测试集,通过特征提取算法对所述训练集的多维特征进行提取和训练,并根据所述多维特征设计测试模型,所述特征提取算法包括外形特征提取算法;
通过外形特征提取算法对所述训练集的外形特征进行提取的步骤包括:对所述训练集中的图像样本进行尺度空间的归一化处理;计算出尺度空间的极值点,运用泰勒级数展开计算,将最接近真实极值点的点作为特征点;对各离散的特征点进行曲线拟合,并采用Hessian矩阵消除边界响应;将所述特征点转换为特征向量,用特征向量来描述所述训练集中的图像样本的外形特征;其中,将所述特征点转换为特征向量时需要计算梯度和确定方向,梯度的模m(x,y)的计算公式为:梯度的方向θ(x,y)的计算公式为:/>其中,L(x,y)为所述特征点的位置坐标表示,x为所述特征点的横坐标点,y为所述特征点的纵坐标点;
对测试集中的图像样本进行不同比例的遮挡干扰,并导入测试模型中进行商品识别,以判断训练结果是否达到预期;
当训练结果未达到预期时,调整测试模型中各特征所占的权值比例,重复执行训练过程进行重新训练,直至所述测试模型的商品识别达到预期效果。
2.根据权利要求1所述的商品识别方法,其特征在于,所述预处理包括对所述图像样本进行归一化处理、灰度处理和数据格式转换。
3.根据权利要求2所述的商品识别方法,其特征在于,对所述图像样本进行预处理后,还包括:
利用翻转、裁剪、旋转、亮度色度调节以及加入不同比例的遮挡干扰的増广操作来增加所述图像样本的数量,将所述图像样本的数量扩增至不少于一万张。
4.根据权利要求1或2所述的商品识别方法,其特征在于,所述特征提取算法还包括颜色特征提取算法或纹理特征提取算法。
5.根据权利要求4所述的商品识别方法,其特征在于,通过颜色特征提取算法对所述训练集的颜色特征进行提取的步骤包括:
以颜色值作为横坐标,以颜色累加出现的频数作为纵坐标,绘制全局累加直方图;
设置预设阈值,提取图像颜色分布范围,用图像颜色分布范围来描述所述训练集中的图像样本的颜色特征。
6.根据权利要求4所述的商品识别方法,其特征在于,通过纹理特征提取算法对所述训练集的纹理特征进行提取的步骤包括:
将所述训练集中的图像样本划分为N个正方形的预设窗口,将窗口中心像素的灰度值作为阈值与周围像素的灰度值进行比较,并将比较结果转化为二进制,其中,N为大于等于1的整数;
对N个预设窗口进行直方图统计,获得一个N*N图像子块直方图,用N*N图像子块直方图来描述所述训练集中的图像样本的纹理特征。
7.根据权利要求6所述的商品识别方法,其特征在于,二进制转化公式S(x)为:
其中,x为周围像素的灰度值与窗口中心像素的灰度值的差;
LBP算法计算公式为:
其中,xc为窗口中心像素的横坐标点,yc为窗口中心像素的纵坐标点,gc为窗口中心像素的灰度值,gp为周围像素的灰度值,p为0~9的自然数。
8.根据权利要求1所述的商品识别方法,其特征在于,所述训练集的图像样本占所述图像样本数量的70~90%,所述测试集的图像样本占所述图像样本数量的10~30%。
CN202010390922.3A 2020-05-11 2020-05-11 商品识别方法 Active CN111626150B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010390922.3A CN111626150B (zh) 2020-05-11 2020-05-11 商品识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010390922.3A CN111626150B (zh) 2020-05-11 2020-05-11 商品识别方法

Publications (2)

Publication Number Publication Date
CN111626150A CN111626150A (zh) 2020-09-04
CN111626150B true CN111626150B (zh) 2023-08-18

Family

ID=72269880

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010390922.3A Active CN111626150B (zh) 2020-05-11 2020-05-11 商品识别方法

Country Status (1)

Country Link
CN (1) CN111626150B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966718B (zh) * 2021-02-05 2023-12-19 深圳市优必选科技股份有限公司 图像识别方法、装置及通信设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875831A (zh) * 2018-06-22 2018-11-23 广州图匠数据科技有限公司 一种基于图像识别的冰柜商品信息识别方法、系统及装置
CN108960318A (zh) * 2018-06-28 2018-12-07 武汉市哈哈便利科技有限公司 一种用于无人售货柜的采用双目视觉技术的商品识别算法
CN109635690A (zh) * 2018-11-30 2019-04-16 任飞翔 基于视觉的商品识别检测方法及装置
CN109977824A (zh) * 2019-03-15 2019-07-05 百度在线网络技术(北京)有限公司 物品取放识别方法、装置及设备
CN110414559A (zh) * 2019-06-26 2019-11-05 武汉大学 智能零售柜商品目标检测统一框架的构建方法及商品识别方法
CN111079699A (zh) * 2019-12-30 2020-04-28 北京每日优鲜电子商务有限公司 商品识别方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9390329B2 (en) * 2014-04-25 2016-07-12 Xerox Corporation Method and system for automatically locating static occlusions

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875831A (zh) * 2018-06-22 2018-11-23 广州图匠数据科技有限公司 一种基于图像识别的冰柜商品信息识别方法、系统及装置
CN108960318A (zh) * 2018-06-28 2018-12-07 武汉市哈哈便利科技有限公司 一种用于无人售货柜的采用双目视觉技术的商品识别算法
CN109635690A (zh) * 2018-11-30 2019-04-16 任飞翔 基于视觉的商品识别检测方法及装置
CN109977824A (zh) * 2019-03-15 2019-07-05 百度在线网络技术(北京)有限公司 物品取放识别方法、装置及设备
CN110414559A (zh) * 2019-06-26 2019-11-05 武汉大学 智能零售柜商品目标检测统一框架的构建方法及商品识别方法
CN111079699A (zh) * 2019-12-30 2020-04-28 北京每日优鲜电子商务有限公司 商品识别方法及装置

Also Published As

Publication number Publication date
CN111626150A (zh) 2020-09-04

Similar Documents

Publication Publication Date Title
CN113160192B (zh) 复杂背景下基于视觉的压雪车外观缺陷检测方法及装置
US10929649B2 (en) Multi-pose face feature point detection method based on cascade regression
Liu et al. A detection method for apple fruits based on color and shape features
CN106169081B (zh) 一种基于不同照度的图像分类及处理方法
CN111368683B (zh) 基于模约束CenterFace的人脸图像特征提取方法及人脸识别方法
EP1229493B1 (en) Multi-mode digital image processing method for detecting eyes
CN109284669A (zh) 基于Mask RCNN的行人检测方法
CN110298376B (zh) 一种基于改进b-cnn的银行票据图像分类方法
CN111652317B (zh) 基于贝叶斯深度学习的超参数图像分割方法
CN110119741A (zh) 一种有背景的卡证图像信息识别方法
CN108710916B (zh) 图片分类的方法及装置
CN113221881B (zh) 一种多层级的智能手机屏幕缺陷检测方法
CN104951940A (zh) 一种基于掌纹识别的移动支付验证方法
CN109740572A (zh) 一种基于局部彩色纹理特征的人脸活体检测方法
CN110781882A (zh) 一种基于yolo模型的车牌定位和识别方法
CN110826408B (zh) 一种分区域特征提取人脸识别方法
CN105224945B (zh) 一种基于联合检测与辨识算法的车标识别方法
CN114863464B (zh) 一种pid图纸图件信息的二阶识别方法
Zhang et al. A covariance-based method for dynamic background subtraction
CN111626150B (zh) 商品识别方法
CN111832508B (zh) 基于die_ga的低照度目标检测方法
CN111191659B (zh) 服装生产系统多形状衣架识别方法
CN109829511B (zh) 基于纹理分类的下视红外图像中云层区域检测方法
CN107220612B (zh) 以关键点局部邻域的高频分析为核心的模糊人脸判别方法
CN116503622A (zh) 基于计算机视觉图像的数据采集读取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant