CN113095383A - 一种辅助销售物料识别方法及装置 - Google Patents

一种辅助销售物料识别方法及装置 Download PDF

Info

Publication number
CN113095383A
CN113095383A CN202110341560.3A CN202110341560A CN113095383A CN 113095383 A CN113095383 A CN 113095383A CN 202110341560 A CN202110341560 A CN 202110341560A CN 113095383 A CN113095383 A CN 113095383A
Authority
CN
China
Prior art keywords
feature
matching
data
feature extraction
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110341560.3A
Other languages
English (en)
Inventor
周海玲
严蕤
黄志艺
梁柱锦
郭怡适
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Imagedt Co ltd
Original Assignee
Imagedt Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Imagedt Co ltd filed Critical Imagedt Co ltd
Priority to CN202110341560.3A priority Critical patent/CN113095383A/zh
Publication of CN113095383A publication Critical patent/CN113095383A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种辅助销售物料识别方法及装置，该方法包括：对辅助销售物料的图像数据进行通用类别的数据标注得到标注数据；对标注数据进行预处理后输入至检测模型中进行训练，并通过优化调参直至检测模型收敛，得到最优检测模型；将待识别辅助销售物料的图像数据输入至最优检测模型中，输出待识别辅助销售物料的位置信息；根据位置信息，将待识别辅助销售物料的图像数据裁剪得到若干待匹配图像，将若干待匹配述图像输入至特征提取模型中进行特征提取与匹配，得到待识别辅助销售物料的识别结果。本发明实施例对图像数据进行通用类别的数据标注，能够有效提高标注的速度以及标注质量，从而能够有效缩短建模周期，提高建模的效率。

Description

一种辅助销售物料识别方法及装置
技术领域
本发明涉及图像识别技术领域，尤其是涉及一种辅助销售物料识别方法及装置。
背景技术
辅助销售物料(POSM)识别在零售领域中占据着相当重要的一环，如吊旗，冰箱贴，地贴店招，横幅，海报，宣传单张，价格牌，跳跳卡，瓶颈标签，吊牌，促销纪念品，堆头，端架，促销台等物料的智能识别，不仅能够给业务员带来了极大的便利，而且能够充分展现了卖场和商家丰富的促销活动信息。但是在实际识别的过程中，由于POSM的种类繁多，形状多变不规则，不同卖场不同的文案信息等因素，导致识别准确率并不高，因此，在AI零售领域，如何更加高效快速的实现POSM的识别，是一个亟待解决的问题。
现有的辅助销售物料识别方法通常是基于纯检测分类来实现的，具体为：采集数据，进行数据类别和位置的标注，再利用深度学习中的检测模型进行训练，以得到一个可分类的检测模型。但是现有的辅助销售物料识别方法需要投入较大的数据标注成本，导致建模效率较低，难以满足商家需求。
发明内容
本发明提供一种辅助销售物料识别方法及装置，以解决现有的辅助销售物料识别方法需要投入较大的数据标注成本，导致建模效率较低，难以满足商家需求的技术问题。
本发明的第一实施例提供了一种辅助销售物料识别方法，包括：
采集辅助销售物料的图像数据，对所述图像数据进行通用类别的数据标注得到标注数据；
对所述标注数据进行预处理后得到预处理数据，将所述预处理数据输入至检测模型中进行训练，并通过优化调参直至所述检测模型收敛，得到最优检测模型；
将待识别辅助销售物料的图像数据输入至所述最优检测模型中，输出所述待识别辅助销售物料的位置信息；
根据所述位置信息，将所述待识别辅助销售物料的图像数据裁剪得到若干待匹配图像，将若干所述待匹配述图像输入至特征提取模型中进行特征提取与匹配，得到所述待识别辅助销售物料的识别结果。
进一步的，所述对所述标注数据进行预处理后得到预处理数据，将所述预处理数据输入至检测模型中进行训练，并通过优化调参直至所述检测模型收敛，得到最优检测模型，具体为：
采用数据增强方法和归一化对所述标注数据进行预处理得到预处理数据；所述检测模型为包括三个stage的CascadeRCNN网络，骨干网络为ResNet50，损失函数包括交叉熵损失CrossEntropyLoss和平滑之后的L1损失SmoothL1Loss。
进一步的，将若干所述待匹配图像输入至特征提取模型中进行特征提取与匹配，得到所述待识别辅助销售物料的识别结果，具体为：
将所述若干待匹配图像按照预设比例分为训练集、验证集和测试集，将所述训练数据进行数据预处理后，输入至预训练模型的卷积模块中；
对所述预训练模型进行调优直至所述预训练模型收敛，得到最优的特征提取与匹配模型；
将若干所述待匹配图像输入至所述特征提取与匹配模型中进行特征提取，得到特征向量；将预先筛选的模板库输入所述特征提取与匹配模型中进行特征提取，得到特征库；
将所述特征向量与所述特征库进行匹配得到匹配结果，在所述匹配结果中选择置信度最高的特征类别作为所述待识别辅助销售物料的识别结果。
进一步的，将若干所述待匹配图像输入至所述特征提取与匹配模型中进行特征提取，得到特征向量，包括：
将若干所述待匹配图像输入至所述特征提取与匹配模型中进行特征提取，以所述特征提取与匹配模型的第二个全连接层的输出作为最终特征输出得到特征向量。
进一步的，所述将所述特征向量与所述特征库进行匹配得到匹配结果，具体为：
采用欧式距离计算特征相似度，根据所述特征相似度得到匹配结果。
本发明的第二实施例提供了一种辅助销售物料识别装置，包括：
标注模块，用于采集辅助销售物料的图像数据，对所述图像数据进行通用类别的数据标注得到标注数据；
优化模块，用于对所述标注数据进行预处理后得到预处理数据，将所述预处理数据输入至检测模型中进行训练，并通过优化调参直至所述检测模型收敛，得到最优检测模型；
输出模块，用于将待识别辅助销售物料的图像数据输入至所述最优检测模型中，输出所述待识别辅助销售物料的位置信息；
特征提取与匹配模块，用于根据所述位置信息，将所述待识别辅助销售物料的图像数据裁剪得到若干待匹配图像，将若干所述待匹配述图像输入至特征提取模型中进行特征提取与匹配，得到所述待识别辅助销售物料的识别结果。
进一步的，所述优化模块，具体包括：
采用数据增强方法和归一化对所述标注数据进行预处理得到预处理数据；所述检测模型为包括三个stage的CascadeRCNN网络，骨干网络为ResNet50，损失函数包括交叉熵损失CrossEntropyLoss和平滑之后的L1损失SmoothL1Loss。
进一步的，所述特征提取与匹配模块，包括：
将所述若干待匹配图像按照预设比例分为训练集、验证集和测试集，将所述训练数据进行数据预处理后，输入至预训练模型的卷积模块中；
对所述预训练模型进行调优直至所述预训练模型收敛，得到最优的特征提取与匹配模型；
将若干所述待匹配图像输入至所述特征提取与匹配模型中进行特征提取，得到特征向量；将预先筛选的模板库输入所述特征提取与匹配模型中进行特征提取，得到特征库；
将所述特征向量与所述特征库进行匹配得到匹配结果，在所述匹配结果中选择置信度最高的特征类别作为所述待识别辅助销售物料的识别结果。
进一步的，将若干所述待匹配图像输入至所述特征提取与匹配模型中进行特征提取，得到特征向量，包括：
将若干所述待匹配图像输入至所述特征提取与匹配模型中进行特征提取，以所述特征提取与匹配模型的第二个全连接层的输出作为最终特征输出得到特征向量。
进一步的，所述将所述特征向量与所述特征库进行匹配得到匹配结果，具体为：
采用欧式距离计算特征相似度，根据所述特征相似度得到匹配结果。
本发明实施例对图像数据进行通用类别的数据标注，不仅能够有效提高标注的速度以及标注质量，而且已标注好的数据无需重新标注即可实现新增建模，从而能够有效缩短建模周期，提高建模的效率。
附图说明
图1是本发明实施例提供的一种辅助销售物料识别方法的流程示意图；
图2是本发明实施例提供的一种辅助销售物料识别方法的另一流程示意图；
图3是本发明实施例提供的一种辅助销售物料识别方法的又一流程示意图；
图4是本发明实施例提供的一种辅助销售物料识别装置的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
请参阅图1-3，在本发明的第一实施例中，本发明的第一实施例提供了图1所示的一种辅助销售物料识别方法，包括：
S1、采集辅助销售物料的图像数据，对图像数据进行通用类别的数据标注得到标注数据；
S2、对标注数据进行预处理后得到预处理数据，将预处理数据输入至检测模型中进行训练，并通过优化调参直至检测模型收敛，得到最优检测模型；
S3、将待识别辅助销售物料的图像数据输入至最优检测模型中，输出待识别辅助销售物料的位置信息；
S4、根据位置信息，将待识别辅助销售物料的图像数据裁剪得到若干待匹配图像，将若干待匹配述图像输入至特征提取模型中进行特征提取与匹配，得到待识别辅助销售物料的识别结果。
本发明实施例对图像数据进行通用类别的数据标注，不仅能够有效提高标注的速度以及标注质量，而且已标注好的数据无需重新标注即可实现新增建模，从而能够有效缩短建模周期，提高建模的效率。
作为本发明实施例的一种具体实施方式，对标注数据进行预处理后得到预处理数据，将预处理数据输入至检测模型中进行训练，并通过优化调参直至检测模型收敛，得到最优检测模型，具体为：
采用数据增强方法和归一化对标注数据进行预处理得到预处理数据；检测模型为包括三个stage的CascadeRCNN网络，骨干网络为ResNet50，损失函数包括交叉熵损失CrossEntropyLoss和平滑之后的L1损失SmoothL1Loss。
示例性的，数据增强方法包括图像随机裁剪，图像旋转，加PCA噪声和随机shear等。将预处理数据输入至检测模型中进行训练的公式表达如下：
Figure BDA0002999264490000061
其中，M为类别数，作为本发明实施例的一种具体实施方式，M＝2；
Figure BDA0002999264490000062
作为本发明实施例的一种具体实施方式，将若干待匹配图像输入至特征提取模型中进行特征提取与匹配，得到待识别辅助销售物料的识别结果，具体为：
将若干待匹配图像按照预设比例分为训练集、验证集和测试集，将训练数据进行数据预处理后，输入至预训练模型的卷积模块中；
示例性的，根据8:1:1的比例将若干待匹配图像分为训练集、验证集和测试集，将训练集随机裁剪、图像旋转、加高斯噪声等数据增强操作后，输入至预先设计好的卷积模块中。需要说明的是，本发明实施例采用密集连接网络作为预训练模型，本发明中的待匹配图像的总量量级在107，且类别数量达到预设标准，每一待匹配图像的尺寸为224x224像素。
本发明实施例采用密集连接网络作为预训练模型，并对第五个池化层pool5进行fine-tune，损失函数为CrossEntropyLoss，公式如下：
Figure BDA0002999264490000071
其中，M为类别数，M的值为105量级以上，能够有效提高训练得到的最优的特征提取与匹配模型的特征表达能力。
对预训练模型进行调优直至预训练模型收敛，得到最优的特征提取与匹配模型；
将若干待匹配图像输入至特征提取与匹配模型中进行特征提取，得到特征向量；将预先筛选的模板库输入特征提取与匹配模型中进行特征提取，得到特征库；
将特征向量与特征库进行匹配得到匹配结果，在匹配结果中选择置信度最高的特征类别作为待识别辅助销售物料的识别结果。
本发明实施例采用密集连接网络作为主干网络的卷积网络，能够有效提高特征的复用率，而且采用数据增强以及归一化对数据进行预处理，能够获取丰富的训练样本数据，从而能够进一步提高对辅助销售物料识别的准确率。
作为本发明实施例的一种具体实施方式，将若干待匹配图像输入至特征提取与匹配模型中进行特征提取，得到特征向量，包括：
将若干待匹配图像输入至特征提取与匹配模型中进行特征提取，以特征提取与匹配模型的第二个全连接层的输出作为最终特征输出得到特征向量。
基于上述通过检测模型得到的若干待匹配图像，将其输入至特征提取与匹配模型中进行特征提取，并采用特征提取与匹配模型中第二个全连接层fc2_output的输出作为最终特征输出，得到比较高层的特征向量Vq；同时，在特征提取与匹配模型中输入经过预先筛选的具备代表性的模板库，对该模板库进行特征提取，以生产特征库G。
作为本发明实施例的一种具体实施方式，将特征向量与特征库进行匹配得到匹配结果，具体为：
采用欧式距离计算特征相似度，根据特征相似度得到匹配结果。
本发明实施例将特征向量Vq与特征库G进行匹配，并采用欧式距离计算特征相似度，公式为：
Figure BDA0002999264490000081
其中，X和Y均是n维的特征，本发明中特征维度是1024维，在得到匹配结果后，输出匹配结果中置信度最高的feature对应的类别label作为最终的识别结果。
请参阅图2，,是本发明实施例提供的一种辅助销售物料识别方法的另一流程示意图。
请参阅图3，是本发明实施例提供的一种辅助销售物料识别方法的又一流程示意图。
实施本发明实施例，具有以下有益效果：
本发明实施例无需对不同类别的辅助销售物料的图像数据进行类别区分标注，将所有的辅助销售物料类别视为通用的类别，对图像数据进行通用类别的数据标注，能够有效提高标注的速度以及标注质量，能够有效缩短建模周期，提高建模的效率；本发明实施例的标注模式能够很好支撑新产品的快速建模，无需更新标注和检测模型，仅需将待识别的辅助销售物料模板图调价至模板库中，即可实现对新的辅助销售物料的识别，从而能够实现快速迭代，够有效缩短建模周期，提高建模的效率。
进一步地，本发明实施例采用密集连接网络作为主干网络的卷积网络，且采用数据增强以及归一化对数据进行预处理，不仅能够有效提高特征的复用率，同时，采用数据增强以及归一化处理能够获取丰富的训练样本数据，从而能够进一步提高对辅助销售物料识别的准确率。
请参阅图4，本发明的第二实施例提供了一种辅助销售物料识别装置，包括：
标注模块10，用于采集辅助销售物料的图像数据，对图像数据进行通用类别的数据标注得到标注数据；
优化模块20，用于对标注数据进行预处理后得到预处理数据，将预处理数据输入至检测模型中进行训练，并通过优化调参直至检测模型收敛，得到最优检测模型；
输出模块30，用于将待识别辅助销售物料的图像数据输入至最优检测模型中，输出待识别辅助销售物料的位置信息；
特征提取与匹配模块40，用于根据位置信息，将待识别辅助销售物料的图像数据裁剪得到若干待匹配图像，将若干待匹配述图像输入至特征提取模型中进行特征提取与匹配，得到待识别辅助销售物料的识别结果。
本发明实施例对图像数据进行通用类别的数据标注，不仅能够有效提高标注的速度以及标注质量，而且已标注好的数据无需重新标注即可实现新增建模，从而能够有效缩短建模周期，提高建模的效率。
作为本发明实施例的一种具体实施方式，优化模块20，具体包括：
采用数据增强方法和归一化对标注数据进行预处理得到预处理数据；检测模型为包括三个stage的CascadeRCNN网络，骨干网络为ResNet50，损失函数包括交叉熵损失CrossEntropyLoss和平滑之后的L1损失SmoothL1Loss。
示例性的，数据增强方法包括图像随机裁剪，图像旋转，加PCA噪声和随机shear等。将预处理数据输入至检测模型中进行训练的公式表达如下：
Figure BDA0002999264490000091
其中，M为类别数，作为本发明实施例的一种具体实施方式，M＝2；
Figure BDA0002999264490000092
作为本发明实施例的一种具体实施方式，特征提取与匹配模块40，包括：
将若干待匹配图像按照预设比例分为训练集、验证集和测试集，将训练数据进行数据预处理后，输入至预训练模型的卷积模块中；
示例性的，根据8:1:1的比例将若干待匹配图像分为训练集、验证集和测试集，将训练集随机裁剪、图像旋转、加高斯噪声等数据增强操作后，输入至预先设计好的卷积模块中。需要说明的是，本发明实施例采用密集连接网络作为预训练模型，本发明中的待匹配图像的总量量级在107，且类别数量达到预设标准，每一待匹配图像的尺寸为224x224像素。
本发明实施例采用密集连接网络作为预训练模型，并对第五个池化层pool5进行fine-tune，损失函数为CrossEntropyLoss，公式如下：
Figure BDA0002999264490000101
其中，M为类别数，M的值为105量级以上，能够有效提高训练得到的最优的特征提取与匹配模型的特征表达能力。
对预训练模型进行调优直至预训练模型收敛，得到最优的特征提取与匹配模型；
将若干待匹配图像输入至特征提取与匹配模型中进行特征提取，得到特征向量；将预先筛选的模板库输入特征提取与匹配模型中进行特征提取，得到特征库；
将特征向量与特征库进行匹配得到匹配结果，在匹配结果中选择置信度最高的特征类别作为待识别辅助销售物料的识别结果。
本发明实施例采用密集连接网络作为主干网络的卷积网络，能够有效提高特征的复用率，而且采用数据增强以及归一化对数据进行预处理，能够获取丰富的训练样本数据，从而能够进一步提高对辅助销售物料识别的准确率。
作为本发明实施例的一种具体实施方式将若干待匹配图像输入至特征提取与匹配模型中进行特征提取，得到特征向量，包括：
将若干待匹配图像输入至特征提取与匹配模型中进行特征提取，以特征提取与匹配模型的第二个全连接层的输出作为最终特征输出得到特征向量。
基于上述通过检测模型得到的若干待匹配图像，将其输入至特征提取与匹配模型中进行特征提取，并采用特征提取与匹配模型中第二个全连接层fc2_output的输出作为最终特征输出，得到比较高层的特征向量Vq；同时，在特征提取与匹配模型中输入经过预先筛选的具备代表性的模板库，对该模板库进行特征提取，以生产特征库G。
作为本发明实施例的一种具体实施方式，将特征向量与特征库进行匹配得到匹配结果，具体为：
采用欧式距离计算特征相似度，根据特征相似度得到匹配结果。
本发明实施例将特征向量Vq与特征库G进行匹配，并采用欧式距离计算特征相似度，公式为：
Figure BDA0002999264490000111
其中，X和Y均是n维的特征，本发明中特征维度是1024维，在得到匹配结果后，输出匹配结果中置信度最高的feature对应的类别label作为最终的识别结果。
实施本发明实施例，具有以下有益效果：
本发明实施例无需对不同类别的辅助销售物料的图像数据进行类别区分标注，将所有的辅助销售物料类别视为通用的类别，对图像数据进行通用类别的数据标注，能够有效提高标注的速度以及标注质量，能够有效缩短建模周期，提高建模的效率；本发明实施例的标注模式能够很好支撑新产品的快速建模，无需更新标注和检测模型，仅需将待识别的辅助销售物料模板图调价至模板库中，即可实现对新的辅助销售物料的识别，从而能够实现快速迭代，够有效缩短建模周期，提高建模的效率。
进一步地，本发明实施例采用密集连接网络作为主干网络的卷积网络，且采用数据增强以及归一化对数据进行预处理，不仅能够有效提高特征的复用率，同时，采用数据增强以及归一化处理能够获取丰富的训练样本数据，从而能够进一步提高对辅助销售物料识别的准确率。以上是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种辅助销售物料识别方法，其特征在于，包括：
采集辅助销售物料的图像数据，对所述图像数据进行通用类别的数据标注得到标注数据；
对所述标注数据进行预处理后得到预处理数据，将所述预处理数据输入至检测模型中进行训练，并通过优化调参直至所述检测模型收敛，得到最优检测模型；
将待识别辅助销售物料的图像数据输入至所述最优检测模型中，输出所述待识别辅助销售物料的位置信息；
根据所述位置信息，将所述待识别辅助销售物料的图像数据裁剪得到若干待匹配图像，将若干所述待匹配述图像输入至特征提取模型中进行特征提取与匹配，得到所述待识别辅助销售物料的识别结果。
2.如权利要求1所述的辅助销售物料识别方法，其特征在于，所述对所述标注数据进行预处理后得到预处理数据，将所述预处理数据输入至检测模型中进行训练，并通过优化调参直至所述检测模型收敛，得到最优检测模型，具体为：
采用数据增强方法和归一化对所述标注数据进行预处理得到预处理数据；所述检测模型为包括三个stage的CascadeRCNN网络，骨干网络为ResNet50，损失函数包括交叉熵损失CrossEntropyLoss和平滑之后的L1损失SmoothL1Loss。
3.如权利要求1所述的辅助销售物料识别方法，其特征在于，将若干所述待匹配图像输入至特征提取模型中进行特征提取与匹配，得到所述待识别辅助销售物料的识别结果，具体为：
将所述若干待匹配图像按照预设比例分为训练集、验证集和测试集，将所述训练数据进行数据预处理后，输入至预训练模型的卷积模块中；
对所述预训练模型进行调优直至所述预训练模型收敛，得到最优的特征提取与匹配模型；
将若干所述待匹配图像输入至所述特征提取与匹配模型中进行特征提取，得到特征向量；将预先筛选的模板库输入所述特征提取与匹配模型中进行特征提取，得到特征库；
将所述特征向量与所述特征库进行匹配得到匹配结果，在所述匹配结果中选择置信度最高的特征类别作为所述待识别辅助销售物料的识别结果。
4.如权利要求3所述的辅助销售物料识别方法，其特征在于，将若干所述待匹配图像输入至所述特征提取与匹配模型中进行特征提取，得到特征向量，包括：
将若干所述待匹配图像输入至所述特征提取与匹配模型中进行特征提取，以所述特征提取与匹配模型的第二个全连接层的输出作为最终特征输出得到特征向量。
5.如权利要求3所述的辅助销售物料识别方法，其特征在于，所述将所述特征向量与所述特征库进行匹配得到匹配结果，具体为：
采用欧式距离计算特征相似度，根据所述特征相似度得到匹配结果。
6.一种辅助销售物料识别装置，其特征在于，包括：
标注模块，用于采集辅助销售物料的图像数据，对所述图像数据进行通用类别的数据标注得到标注数据；
优化模块，用于对所述标注数据进行预处理后得到预处理数据，将所述预处理数据输入至检测模型中进行训练，并通过优化调参直至所述检测模型收敛，得到最优检测模型；
输出模块，用于将待识别辅助销售物料的图像数据输入至所述最优检测模型中，输出所述待识别辅助销售物料的位置信息；
特征提取与匹配模块，用于根据所述位置信息，将所述待识别辅助销售物料的图像数据裁剪得到若干待匹配图像，将若干所述待匹配述图像输入至特征提取模型中进行特征提取与匹配，得到所述待识别辅助销售物料的识别结果。
7.如权利要求6所述的辅助销售物料识别装置，其特征在于，所述优化模块，具体包括：
采用数据增强方法和归一化对所述标注数据进行预处理得到预处理数据；所述检测模型为包括三个stage的CascadeRCNN网络，骨干网络为ResNet50，损失函数包括交叉熵损失CrossEntropyLoss和平滑之后的L1损失SmoothL1Loss。
8.如权利要求6所述的辅助销售物料识别装置，其特征在于，所述特征提取与匹配模块，包括用于：
将所述若干待匹配图像按照预设比例分为训练集、验证集和测试集，将所述训练数据进行数据预处理后，输入至预训练模型的卷积模块中；
对所述预训练模型进行调优直至所述预训练模型收敛，得到最优的特征提取与匹配模型；
将若干所述待匹配图像输入至所述特征提取与匹配模型中进行特征提取，得到特征向量；将预先筛选的模板库输入所述特征提取与匹配模型中进行特征提取，得到特征库；
将所述特征向量与所述特征库进行匹配得到匹配结果，在所述匹配结果中选择置信度最高的特征类别作为所述待识别辅助销售物料的识别结果。
9.如权利要求8所述的辅助销售物料识别装置，其特征在于，将若干所述待匹配图像输入至所述特征提取与匹配模型中进行特征提取，得到特征向量，包括：
将若干所述待匹配图像输入至所述特征提取与匹配模型中进行特征提取，以所述特征提取与匹配模型的第二个全连接层的输出作为最终特征输出得到特征向量。
10.如权利要求8所述的辅助销售物料识别装置，其特征在于，所述将所述特征向量与所述特征库进行匹配得到匹配结果，具体为：
采用欧式距离计算特征相似度，根据所述特征相似度得到匹配结果。
CN202110341560.3A 2021-03-30 2021-03-30 一种辅助销售物料识别方法及装置 Pending CN113095383A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110341560.3A CN113095383A (zh) 2021-03-30 2021-03-30 一种辅助销售物料识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110341560.3A CN113095383A (zh) 2021-03-30 2021-03-30 一种辅助销售物料识别方法及装置

Publications (1)

Publication Number Publication Date
CN113095383A true CN113095383A (zh) 2021-07-09

Family

ID=76671018

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110341560.3A Pending CN113095383A (zh) 2021-03-30 2021-03-30 一种辅助销售物料识别方法及装置

Country Status (1)

Country Link
CN (1) CN113095383A (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764313A (zh) * 2018-05-17 2018-11-06 西安电子科技大学 基于深度学习的超市商品识别方法
CN109522967A (zh) * 2018-11-28 2019-03-26 广州逗号智能零售有限公司 一种商品定位识别方法、装置、设备以及存储介质
CN110119710A (zh) * 2019-05-13 2019-08-13 广州锟元方青医疗科技有限公司 细胞分类方法、装置、计算机设备和存储介质
CN110321797A (zh) * 2019-05-31 2019-10-11 苏宁云计算有限公司 商品识别方法和装置
CN110414559A (zh) * 2019-06-26 2019-11-05 武汉大学 智能零售柜商品目标检测统一框架的构建方法及商品识别方法
CN110458096A (zh) * 2019-08-09 2019-11-15 广州众聚智能科技有限公司 一种基于深度学习的大规模商品识别方法
CN111275038A (zh) * 2020-01-17 2020-06-12 平安医疗健康管理股份有限公司 图像文本识别方法、装置、计算机设备及计算机存储介质
CN112215244A (zh) * 2020-11-02 2021-01-12 同方威视科技江苏有限公司 货物图像检测方法、装置、设备及存储介质
CN112364930A (zh) * 2020-11-19 2021-02-12 中国石油大学(华东) 一种基于模板匹配的冷柜内饮料种类识别算法
CN112396053A (zh) * 2020-11-25 2021-02-23 北京联合大学 一种基于级联神经网络的环视鱼眼图像目标检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764313A (zh) * 2018-05-17 2018-11-06 西安电子科技大学 基于深度学习的超市商品识别方法
CN109522967A (zh) * 2018-11-28 2019-03-26 广州逗号智能零售有限公司 一种商品定位识别方法、装置、设备以及存储介质
CN110119710A (zh) * 2019-05-13 2019-08-13 广州锟元方青医疗科技有限公司 细胞分类方法、装置、计算机设备和存储介质
CN110321797A (zh) * 2019-05-31 2019-10-11 苏宁云计算有限公司 商品识别方法和装置
CN110414559A (zh) * 2019-06-26 2019-11-05 武汉大学 智能零售柜商品目标检测统一框架的构建方法及商品识别方法
CN110458096A (zh) * 2019-08-09 2019-11-15 广州众聚智能科技有限公司 一种基于深度学习的大规模商品识别方法
CN111275038A (zh) * 2020-01-17 2020-06-12 平安医疗健康管理股份有限公司 图像文本识别方法、装置、计算机设备及计算机存储介质
CN112215244A (zh) * 2020-11-02 2021-01-12 同方威视科技江苏有限公司 货物图像检测方法、装置、设备及存储介质
CN112364930A (zh) * 2020-11-19 2021-02-12 中国石油大学(华东) 一种基于模板匹配的冷柜内饮料种类识别算法
CN112396053A (zh) * 2020-11-25 2021-02-23 北京联合大学 一种基于级联神经网络的环视鱼眼图像目标检测方法

Similar Documents

Publication Publication Date Title
EP2808827B1 (en) System and method for OCR output verification
US7120318B2 (en) Automatic document reading system for technical drawings
US20140219563A1 (en) Label-embedding for text recognition
KR101769918B1 (ko) 이미지로부터 텍스트 추출을 위한 딥러닝 기반 인식장치
CN113239807B (zh) 训练票据识别模型和票据识别的方法和装置
CN113936195B (zh) 敏感图像识别模型的训练方法、训练装置和电子设备
CN112381086A (zh) 一种结构化输出图像文字识别结果的方法及装置
CN113221918A (zh) 目标检测方法、目标检测模型的训练方法及装置
CN115937651A (zh) 基于改进的yolov5s网络模型的圆柱滚子表面检测方法及系统
CN113313149B (zh) 一种基于注意力机制和度量学习的菜品识别方法
CN110766026A (zh) 一种快速识别卡号的方法及装置、模型训练方法及装置
CN117275025A (zh) 一种用于批量图像标注的处理系统
CN110796145B (zh) 基于智能决策的多证件分割关联方法及相关设备
KR20180126352A (ko) 이미지로부터 텍스트 추출을 위한 딥러닝 기반 인식장치
CN112613367A (zh) 票据信息文本框获取方法、系统、设备及存储介质
CN113095383A (zh) 一种辅助销售物料识别方法及装置
CN115063617B (zh) 广告图像识别方法及广告图像识别系统
CN110674678A (zh) 视频中敏感标志的识别方法及装置
CN113657162A (zh) 一种基于深度学习的票据ocr识别方法
CN112560408A (zh) 一种文本标注方法、装置、终端及存储介质
CN113780116A (zh) 发票分类方法、装置、计算机设备和存储介质
CN113111882B (zh) 一种卡证识别方法、装置、电子设备及存储介质
CN114897901B (zh) 基于样本扩充的电池质量检测方法、装置和电子设备
CN113474786A (zh) 电子签购单识别方法、装置及终端设备
Cherian et al. Automatic localization and recognition of perspectively distorted text in natural scene images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination