CN109934219B - 一种判断网络餐饮商家证照缺失的方法 - Google Patents

一种判断网络餐饮商家证照缺失的方法 Download PDF

Info

Publication number
CN109934219B
CN109934219B CN201910064913.2A CN201910064913A CN109934219B CN 109934219 B CN109934219 B CN 109934219B CN 201910064913 A CN201910064913 A CN 201910064913A CN 109934219 B CN109934219 B CN 109934219B
Authority
CN
China
Prior art keywords
network
gradient
sub
characteristic diagram
main network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910064913.2A
Other languages
English (en)
Other versions
CN109934219A (zh
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Shuzhilian Technology Co Ltd
Original Assignee
Chengdu Shuzhilian Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Shuzhilian Technology Co Ltd filed Critical Chengdu Shuzhilian Technology Co Ltd
Priority to CN201910064913.2A priority Critical patent/CN109934219B/zh
Publication of CN109934219A publication Critical patent/CN109934219A/zh
Application granted granted Critical
Publication of CN109934219B publication Critical patent/CN109934219B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开一种判断网络餐饮商家证照缺失的方法，包括数据集收集和存储；构建梯度增强注意力网络模型，所述梯度增强注意力网络模型包括主网络、子网络和注意力模块；所述主网络对输入图片进行变换后得到主网络特征图；子网络用于计算与主网络特征图相同大小的子网络梯度特征图；注意力模块计算子网络梯度特征图与主网络特征图的相似度，得到梯度特征增强的特征图返回给主网络；优化模型参数；预测证件类别；根据预测得到的证件类别，对比得出餐饮商家所缺失的证件。本发明通过建立梯度增强注意力网络模型增强对证件图片中文字区域识别的敏感性，有效提高模型识别准确率，能够从大量网络平台数据中快速且有效地识别出缺失规定证照的商家。

Description

一种判断网络餐饮商家证照缺失的方法
技术领域
本发明属于网络信息识别技术领域，特别是涉及一种判断网络餐饮商家证照缺失的方法。
背景技术
在网络餐饮监管中，商家是否正确上传了规定的证照是考察食品安全的重要指标。根据我国相关规定，网络餐饮商家需要上传“食品经营许可证”或“餐饮服务许可证”。人工逐一检查商家证照是否缺失耗时耗力，且监管单位的监管资源有限，难以面对无限的监管市场和监管需求。
在网络餐饮监管系统中，通过爬虫系统获取商家证件照片存储在数据库中，利用这些证照数据训练一个证照图片分类模型，是提高监管效率的重要手段。由于相同类别的证照具有相同的证件名称、证件字段名称、以及相似的边框和背景特征，使用卷积神经网络可以较好地完成证照图片分类任务。然而，由于某些不同类别的证件也可能含有相似的特征，如相似背景颜色、相似字体颜色、相似边框纹理等，这些实际不同类别很容易被普通的网络识别成相同类别。
发明内容
为了解决上述问题，本发明提出了一种判断网络餐饮商家证照缺失的方法，通过构建梯度增强注意力网络模型对证件图片中文字区域识别的敏感性有了较大的提高，能够有效提高模型对带有文字的证件图片分类的准确率，从大量网络平台数据中快速且有效地识别出缺失规定证照的商家。
为达到上述目的，本发明采用的技术方案是：一种判断网络餐饮商家证照缺失的方法，包括步骤：
S100，数据集收集和存储：使用爬虫技术从各网络餐饮平台爬取商家证件图片数据，将爬取到的数据存储在数据库中；从数据库中分组选取图片进行标注，将图片标注进行分类；
S200，构建梯度增强注意力网络模型：所述梯度增强注意力网络模型包括主网络、子网络和注意力模块；所述主网络对输入图片进行变换后得到主网络特征图；所述子网络为一个除通道数外其他参数与主网络参数完全相同的网络，用于计算与主网络特征图相同大小的子网络梯度特征图；所述主网络和子网络通过注意力模块连接，注意力模块计算子网络梯度特征图与主网络特征图的相似度，得到梯度特征增强的特征图返回给主网络；
S300，优化模型参数：从数据库中读取标注后的图片数据对所述梯度增强注意力网络模型进行优化训练；
S400，预测证件类别：从数据库中读取无标签的图片数据，并将无标签的图片数据输入所述梯度增强注意力网络模型，得到预测的证件类别；
S500，根据预测得到的证件类别，对比得出餐饮商家所缺失的证件。
进一步的是，所述主网络包括多个残差模块、平均池化层和全连接层，每个所述残差模块依次串联后连接至平均池化层，所述平均池化层连接至全连接层；每个残差模块和平均池化层均通过各自的注意力模块连接子网络；
所述注意力模块计算子网络梯度特征图与主网络特征图的相似度；将子网络梯度特征图与主网络特征图经过softmax层后得到通道权重，主网络特征图张量乘以所述通道权重后得到梯度特征增强的特征图并传往下一个模块。
进一步的是，所述梯度增强注意力网络模型图片处理过程包括步骤：
在主网络中对输入图片进行梯度变换，分别与x轴和y轴方向的Sobel算子进行卷积计算，得到图片在两个方向上的主网络特征图；
将所述主网络特征图输入子网络；
通过子网络计算与主网络特征图相同大小的梯度特征图；
所述注意力模块分别计算子网络梯度特征图与主网络特征图的相似度，经过softmax层后得到通道权重，主网络特征图张量乘以所述通道权重后得到梯度特征增强的特征图。
进一步的是，所述子网络的输入通道数为2，且每个通道互相独立；子网络的所有卷积核为2维，所有卷积输入输出通道数均为1。
进一步的是，在所述注意力模块中，计算公式为：
Figure BDA0001955367570000021
Figure BDA0001955367570000022
fij为主网络的特征图，gi x和gi y为特征图相同大小的梯度特征图；
所述权重ωi x，ωi y为：
Figure BDA0001955367570000031
Figure BDA0001955367570000032
所述梯度特征增强的特征图f′ij为：
Figure BDA0001955367570000033
其中，d是为增强权重衰减系数。
进一步的是，在所述步骤S100中根据图片进行分类后的标注图片，得到训练集、验证集和测试集，并将所述训练集、验证集和测试集存储在云端服务器中；
在所述步骤S300中，利用所述训练集输入模型进行训练，调整参数，直到验证集在模型上的损失函数输出降到临界值；在测试集上测试模型，输入测试集得到预测输出，将预测输出和测试集的标签对比得到混淆矩阵，经过计算得到准确率。
进一步的是，将图片标注进行分类，分类类别根据食品证件设立，包括食品经营许可证、餐饮服务许可证、营业执照、食品流通许可证和食品店备案证。
采用本技术方案的有益效果：
本发明能够在商家数量众多，信息流动频繁、信息流量大的网络环境下，实现自动对商家上传的证照的准确识别，在精确识别证件类型的前提下，还可以有效识别出缺失规定证照的商家；
由于证件存在边框、文字等相似特征；一般的卷积网络分类器容易把相似但不同类别的证件错误判断为相同类别；本发明所构建的梯度增强注意力网络模型，对文字区域的敏感程度高，对证件这类带有文字指向性的图片分类的效果较好，图片分类准确率由90％提高到了96％。
附图说明
图1为本发明的一种判断网络餐饮商家证照缺失的方法流程示意图；
图2为本发明实施例中梯度增强注意力网络模型的结构示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。
在本实施例中，参见图1所示，本发明提出了一种判断网络餐饮商家证照缺失的方法，包括步骤：
S100，数据集收集和存储：使用爬虫技术从各网络餐饮平台爬取商家证件图片数据，将爬取到的数据存储在数据库中；从数据库中分组选取图片进行标注，将图片标注进行分类；
S200，构建梯度增强注意力网络模型：所述梯度增强注意力网络模型包括主网络、子网络和注意力模块；所述主网络对输入图片进行变换后得到主网络特征图；所述子网络为一个除通道数外其他参数与主网络参数完全相同的网络，用于计算与主网络特征图相同大小的子网络梯度特征图；所述主网络和子网络通过注意力模块连接，注意力模块计算子网络梯度特征图与主网络特征图的相似度，得到梯度特征增强的特征图返回给主网络；
S300，优化模型参数：从数据库中读取标注后的图片数据对所述梯度增强注意力网络模型进行优化训练；
S400，预测证件类别：从数据库中读取无标签的图片数据，并将无标签的图片数据输入所述梯度增强注意力网络模型，得到预测的证件类别；
S500，根据预测得到的证件类别，对比得出餐饮商家所缺失的证件。
作为上述实施例的优化方案，所述主网络包括多个残差模块、平均池化层和全连接层，每个所述残差模块依次串联后连接至平均池化层，所述平均池化层连接至全连接层；每个残差模块和平均池化层均通过各自的注意力模块连接子网络；
所述注意力模块计算子网络梯度特征图与主网络特征图的相似度；将子网络梯度特征图与主网络特征图经过softmax层后得到通道权重，主网络特征图张量乘以所述通道权重后得到梯度特征增强的特征图并传往下一个模块。
所述梯度增强注意力网络模型图片处理过程包括步骤：
在主网络中对输入图片进行梯度变换，分别与x轴和y轴方向的Sobel算子进行卷积计算，得到图片在两个方向上的主网络特征图；
将所述主网络特征图输入子网络；
通过子网络计算与主网络特征图相同大小的子网络梯度特征图；
所述注意力模块分别计算子网络梯度特征图与主网络特征图的相似度，经过softmax层后得到通道权重，主网络特征图张量乘以所述通道权重后得到梯度特征增强的特征图。
所述子网络的输入通道数为2，且每个通道互相独立；子网络的所有卷积核为2维，所有卷积输入输出通道数均为1。
在所述注意力模块中，计算公式为：
Figure BDA0001955367570000051
Figure BDA0001955367570000052
fij为主网络的特征图，gi x和gi y为特征图相同大小的梯度特征图；
所述权重ωi x，ωi y为：
Figure BDA0001955367570000053
Figure BDA0001955367570000054
所述梯度特征增强的特征图f′ij为：
Figure BDA0001955367570000055
其中，d是为增强权重衰减系数。
作为上述实施例的优化方案，在所述步骤S100中根据图片进行分类后的标注图片，得到训练集、验证集和测试集，并将所述训练集、验证集和测试集存储在云端服务器中；
在所述步骤S300中，利用所述训练集输入模型进行训练，调整参数，直到验证集在模型上的损失函数输出降到临界值；在测试集上测试模型，输入测试集得到预测输出，将预测输出和测试集的标签对比得到混淆矩阵，经过计算得到准确率。
作为上述实施例的优化方案，将图片标注进行分类，分类类别根据食品证件设立，包括食品经营许可证、餐饮服务许可证、营业执照、食品流通许可证和食品店备案证。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (6)

1.一种判断网络餐饮商家证照缺失的方法，其特征在于，包括步骤：
S100，数据集收集和存储：使用爬虫技术从各网络餐饮平台爬取商家证件图片数据，将爬取到的数据存储在数据库中；从数据库中分组选取图片进行标注，将图片标注进行分类；
S200，构建梯度增强注意力网络模型：所述梯度增强注意力网络模型包括主网络、子网络和注意力模块；所述主网络对输入图片进行变换后得到主网络特征图；所述子网络为一个除通道数外其他参数与主网络参数完全相同的网络，用于计算与主网络特征图相同大小的子网络梯度特征图；所述主网络和子网络通过注意力模块连接，注意力模块计算子网络梯度特征图与主网络特征图的相似度，得到梯度特征增强的特征图返回给主网络；
所述主网络包括多个残差模块、平均池化层和全连接层，每个所述残差模块依次串联后连接至平均池化层，所述平均池化层连接至全连接层；每个残差模块和平均池化层均通过各自的注意力模块连接子网络；所述注意力模块计算子网络梯度特征图与主网络特征图的相似度；将子网络梯度特征图与主网络特征图经过softmax层后得到通道权重，主网络特征图张量乘以所述通道权重后得到梯度特征增强的特征图并传往下一个模块；
S300，优化模型参数：从数据库中读取标注后的图片数据对所述梯度增强注意力网络模型进行优化训练；
S400，预测证件类别：从数据库中读取无标签的图片数据，并将无标签的图片数据输入所述梯度增强注意力网络模型，得到预测的证件类别；
S500，根据预测得到的证件类别，对比得出餐饮商家所缺失的证件。
2.根据权利要求1所述的一种判断网络餐饮商家证照缺失的方法，其特征在于，所述梯度增强注意力网络模型图片处理过程包括步骤：
在主网络中对输入图片进行梯度变换，分别与x轴和y轴方向的Sobel算子进行卷积计算，得到图片在两个方向上的主网络特征图；
将所述主网络特征图输入子网络；
通过子网络计算与主网络特征图相同大小的子网络梯度特征图；
所述注意力模块分别计算子网络梯度特征图与主网络特征图的相似度，经过softmax层后得到通道权重，主网络特征图张量乘以所述通道权重后得到梯度特征增强的特征图。
3.根据权利要求2所述的一种判断网络餐饮商家证照缺失的方法，其特征在于，所述子网络的输入通道数为2，且每个通道互相独立；子网络的所有卷积核为2维，所有卷积输入输出通道数均为1。
4.根据权利要求3所述的一种判断网络餐饮商家证照缺失的方法，其特征在于，在所述注意力模块中，计算公式为：
所述子网络梯度特征图与主网络特征图的相似度为：
Figure FDA0002753316480000021
Figure FDA0002753316480000022
fij为主网络的特征图，gi x和gi y为特征图相同大小的梯度特征图；
所述权重ωi x，ωi y为：
Figure FDA0002753316480000023
Figure FDA0002753316480000024
所述梯度特征增强的特征图f′ij为：
Figure FDA0002753316480000025
其中，d是为增强权重衰减系数。
5.根据权利要求1所述的一种判断网络餐饮商家证照缺失的方法，其特征在于，在所述步骤S100中根据图片进行分类后的标注图片，得到训练集、验证集和测试集，并将所述训练集、验证集和测试集存储在云端服务器中；
在所述步骤S300中，利用所述训练集输入模型进行训练，调整参数，直到验证集在模型上的损失函数输出降到临界值；在测试集上测试模型，输入测试集得到预测输出，将预测输出和测试集的标签对比得到混淆矩阵，经过计算得到准确率。
6.根据权利要求1所述的一种判断网络餐饮商家证照缺失的方法，其特征在于，将图片标注进行分类，分类类别根据食品证件设立，包括食品经营许可证、餐饮服务许可证、营业执照、食品流通许可证和食品店备案证。
CN201910064913.2A 2019-01-23 2019-01-23 一种判断网络餐饮商家证照缺失的方法 Active CN109934219B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910064913.2A CN109934219B (zh) 2019-01-23 2019-01-23 一种判断网络餐饮商家证照缺失的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910064913.2A CN109934219B (zh) 2019-01-23 2019-01-23 一种判断网络餐饮商家证照缺失的方法

Publications (2)

Publication Number Publication Date
CN109934219A CN109934219A (zh) 2019-06-25
CN109934219B true CN109934219B (zh) 2021-04-13

Family

ID=66985152

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910064913.2A Active CN109934219B (zh) 2019-01-23 2019-01-23 一种判断网络餐饮商家证照缺失的方法

Country Status (1)

Country Link
CN (1) CN109934219B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991451A (zh) * 2017-04-14 2017-07-28 武汉神目信息技术有限公司 一种证件图片的识别系统及方法
CN107767297A (zh) * 2017-08-18 2018-03-06 广州今也社教育科技有限公司 一种基于托管平台的用户管理方法、设备及系统
CN108229299A (zh) * 2017-10-31 2018-06-29 北京市商汤科技开发有限公司 证件的识别方法和装置、电子设备、计算机存储介质
CN108596240A (zh) * 2018-04-20 2018-09-28 华中科技大学 一种基于判别特征网络的图像语义分割方法
CN108717636A (zh) * 2018-03-19 2018-10-30 杭州祐全科技发展有限公司 一种网络订餐智能监管方法
CN109034159A (zh) * 2018-05-28 2018-12-18 北京捷通华声科技股份有限公司 图像信息提取方法和装置
CN109165674A (zh) * 2018-07-19 2019-01-08 南京富士通南大软件技术有限公司 一种基于多标签深度卷积网络的证件照分类方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040186738A1 (en) * 2002-10-24 2004-09-23 Richard Reisman Method and apparatus for an idea adoption marketplace
CN107292749A (zh) * 2017-08-04 2017-10-24 平安科技（深圳）有限公司 车损证件照片的分类方法、系统及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106991451A (zh) * 2017-04-14 2017-07-28 武汉神目信息技术有限公司 一种证件图片的识别系统及方法
CN107767297A (zh) * 2017-08-18 2018-03-06 广州今也社教育科技有限公司 一种基于托管平台的用户管理方法、设备及系统
CN108229299A (zh) * 2017-10-31 2018-06-29 北京市商汤科技开发有限公司 证件的识别方法和装置、电子设备、计算机存储介质
CN108717636A (zh) * 2018-03-19 2018-10-30 杭州祐全科技发展有限公司 一种网络订餐智能监管方法
CN108596240A (zh) * 2018-04-20 2018-09-28 华中科技大学 一种基于判别特征网络的图像语义分割方法
CN109034159A (zh) * 2018-05-28 2018-12-18 北京捷通华声科技股份有限公司 图像信息提取方法和装置
CN109165674A (zh) * 2018-07-19 2019-01-08 南京富士通南大软件技术有限公司 一种基于多标签深度卷积网络的证件照分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Content Video Browsing Based on Text Regions Extraction and Classification Using Convolutional Neural Network;Bassem Bouaziz 等;《IEEE》;20180312;全文 *
Person re-identification using visual attention;Alireza Rahimpour 等;《IEEE》;20180222;第4242-4246页 *
基于卷积神经网络的铁路桥梁高强螺栓缺失图像识别方法;赵欣欣;《中国铁道科学》;20180731;第39卷(第4期);第56-62页 *

Also Published As

Publication number Publication date
CN109934219A (zh) 2019-06-25

Similar Documents

Publication Publication Date Title
Ye et al. Convolutional neural network for pothole detection in asphalt pavement
CN107194398B (zh) 车损部位的识别方法及系统
CN108830188B (zh) 基于深度学习的车辆检测方法
CN103020947B (zh) 一种图像的质量分析方法及装置
CN107657267B (zh) 产品潜在用户挖掘方法及装置
CN113837151B (zh) 表格图像处理方法、装置、计算机设备及可读存储介质
CN106095939B (zh) 账户权限的获取方法和装置
WO2020038138A1 (zh) 样本标注方法及装置、损伤类别的识别方法及装置
CN113963147B (zh) 一种基于语义分割的关键信息提取方法及系统
CN113658174B (zh) 基于深度学习和图像处理算法的微核组学图像检测方法
CN108764302A (zh) 一种基于颜色特征和词袋特征的票据图像分类方法
CN111914902A (zh) 一种基于深度神经网络的中药识别与表面缺陷检测方法
CN116128839A (zh) 晶圆缺陷识别方法、装置、电子设备以及存储介质
CN112036295A (zh) 票据图像处理方法、装置、存储介质及电子设备
CN107392129A (zh) 基于Softmax的人脸检索方法和系统
CN112489026A (zh) 基于多分支并行卷积神经网络的沥青路面病害检测方法
CN109409421B (zh) 基于卷积神经网络的机动车、驾驶人档案图像识别方法
Kaya et al. An automatic identification method for the comparison of plant and honey pollen based on GLCM texture features and artificial neural network
CN110765900B (zh) 一种基于dssd的自动检测违章建筑方法及系统
CN109934219B (zh) 一种判断网络餐饮商家证照缺失的方法
CN112132137A (zh) 一种基于FCN-SPP-Focal Net的抽象画图像正确方向的识别方法
CN116109616A (zh) 基于YOLOv5的路面裂缝检测及小面元拟合检测方法
CN113780335B (zh) 一种小样本商品图像分类方法、装置、设备及存储介质
CN113033697B (zh) 一种基于批量归一化层的模型自动评估方法及装置
CN115239947A (zh) 基于无监督学习的小麦条锈病严重度评估方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: 610000 No. 270, floor 2, No. 8, Jinxiu street, Wuhou District, Chengdu, Sichuan

Patentee after: Chengdu shuzhilian Technology Co.,Ltd.

Address before: 610000 No.2, 4th floor, building 1, Jule Road intersection, West 1st section of 1st ring road, Wuhou District, Chengdu City, Sichuan Province

Patentee before: CHENGDU SHUZHILIAN TECHNOLOGY Co.,Ltd.

CP03 Change of name, title or address