CN114612897A - 一种智能果蔬称重打票方法、装置、电子设备及存储介质 - Google Patents
一种智能果蔬称重打票方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN114612897A CN114612897A CN202210230093.1A CN202210230093A CN114612897A CN 114612897 A CN114612897 A CN 114612897A CN 202210230093 A CN202210230093 A CN 202210230093A CN 114612897 A CN114612897 A CN 114612897A
- Authority
- CN
- China
- Prior art keywords
- fruit
- vegetable
- image
- target
- binary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q20/00—Payment architectures, schemes or protocols
- G06Q20/08—Payment architectures
- G06Q20/20—Point-of-sale [POS] network systems
- G06Q20/208—Input by product or record sensing, e.g. weighing or scanner processing
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07G—REGISTERING THE RECEIPT OF CASH, VALUABLES, OR TOKENS
- G07G1/00—Cash registers
- G07G1/0036—Checkout procedures
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Accounting & Taxation (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种智能果蔬称重打票方法、装置、电子设备及存储介质，获取鱼眼相机俯视拍摄的待称重果蔬图像；根据预设的像素值变换规则将所述待称重果蔬图像转换为二值果蔬图像；根据所述二值果蔬图像确定果蔬在待称重果蔬图像中的位置，得到目标果蔬分割框；根据所述目标果蔬分割框对所述待称重果蔬图像进行截取得到果蔬目标图；利用预先训练完毕的Resnet特征提取模型从所述果蔬目标图中提取果蔬特征，与预设果蔬特征库进行特征比对确定待称重果蔬的类别和对应的单价；根据待称重果蔬的单价和电子秤获得的待称重果蔬的重量打印出果蔬价格小票。本发明实现了果蔬称重打票的自动化，解决了传统人工操作效率低，正确率无法得到保障的问题。
Description
技术领域
本发明涉及图像识别技术领域，尤其涉及一种智能果蔬称重打票方法、装置、电子设备及存储介质。
背景技术
现阶段大部分的超市都采用了自主挑选果蔬，排队进行称重，传统方法是每一台电子秤配备一名专职的工作人员进行称重，工作人员通过肉眼观察识别果蔬类别，然后选择相应的果蔬类别按钮获取单位重量的价格，电子秤根据单位重量的价格和果蔬的重量打印出价格小票。
随着人工智能的快速发展，人们对于智能化的需求越来越大，而人工称重要求工作人员能够正确识别许多种类的果蔬，当等待称重的人数过多时，极易发生工作人员识别果蔬类别错误，导致打印出错误的价格小票。
因此，越来越多商户以及大型超市，引入智能化技术来实现果蔬自动称重打票。
发明内容
本发明提供一种智能果蔬称重打票方法，对放置在秤盘上的果蔬拍摄图像，通过图像识别技术对果蔬图像进行分析确定果蔬类别及单价，实现果蔬称重打票的自动化，解决了传统人工操作效率低，正确率无法得到保障的问题。
第一方面，本发明提供一种智能果蔬称重打票方法，包括：
利用配置在电子秤上方的鱼眼相机俯视拍摄放置在电子秤上的果蔬，得到待称重果蔬图像；
将所述待称重果蔬图像转换为灰度果蔬图像，并根据预设的像素值变换规则对所述灰度果蔬图像进行二值变换，得到二值果蔬图像；
将所述二值果蔬图像平均分割为10000个二值果蔬子图，并计算每个二值果蔬子图分割框中像素值为1的像素点所占的比例，获取像素值为1的像素点所占的比例大于预设比例阈值的二值果蔬子图分割框集合，将获取的二值果蔬子图分割框集合中互相连通的二值果蔬子图分割框进行合并得到果蔬分割框集合，对所述果蔬分割框集合中的果蔬分割框进行尺寸筛选和颜色筛选得到目标果蔬分割框；
根据所述目标果蔬分割框对所述待称重果蔬图像进行截取得到果蔬目标图；
利用预先训练完毕的Resnet特征提取模型从所述果蔬目标图中提取果蔬特征信息，与预设果蔬特征库进行特征比对确定待称重果蔬的类别信息及对应的单价信息；其中，所述预设果蔬特征库中包括有不同类别果蔬的特征值和类别信息；
根据待称重果蔬的单价信息和电子秤获得的待称重果蔬的重量信息打印出果蔬价格小票。
可选实施例中，所述根据预设的像素值变换规则对所述灰度果蔬图像进行二值变换，得到二值果蔬图像，包括：
从所述灰度果蔬图像的(0,0)位置开始，针对所述灰度果蔬图像的像素点，获取像素点及其周围8个像素点的灰度值，统计该像素点周围8个像素点中灰度值与该像素点灰度值的差值绝对值大于第一预设差值阈值的像素点的数量，若数量大于预设的数量阈值，则确定该像素点为目标像素点；
以所述目标像素点为中心点，获取所述目标像素点及其周围8个像素点的灰度值，将所述目标像素点周围8个像素点中灰度值与所述目标像素点灰度值的差值绝对值小于第二预设差值阈值的像素点确定为新的目标像素点，继续从新的目标点周围8个位置查找下一个新的目标点，直至所述灰度果蔬图像的像素点全部遍历，得到全部目标像素点；
将所述灰度果蔬图像中的全部目标像素点的灰度值置为1，其他像素点的灰度值置为0，得到二值果蔬图像。
可选实施例中，所述对所述果蔬分割框集合中的果蔬分割框进行尺寸筛选和颜色筛选得到目标果蔬分割框，包括：
根据预设长度阈值和宽度阈值对所述果蔬分割框集合中的果蔬分割框进行筛选，得到符合尺寸要求的果蔬分割框集合；
利用RGB聚类方法对所述符合尺寸要求的果蔬分割框集合进行颜色划分，得到颜色分类后的果蔬分割框集合；
利用预先训练好的果蔬识别模型对所述颜色分类后的果蔬分割框集合进行识别，并根据识别结果去除被识别为秤盘的果蔬分割框，得到筛选后的果蔬分割框集合；
从所述筛选后的果蔬分割框集合中选择面积最大的果蔬分割框作为目标果蔬分割框。
进一步地，所述利用预先训练好的果蔬识别模型对所述颜色分类后的果蔬分割框集合进行识别之前，还包括：
获取多组不同类别的果蔬图像；
在每组果蔬图像中加入秤盘图像得到多组训练果蔬图像，并对每组训练果蔬图像进行标注得到果蔬标注数据；
利用所述训练果蔬图像以及对应的果蔬标注数据对构建的果蔬识别模型进行训练，获得所述训练好的果蔬识别模型。
可选实施例中，所述利用配置在电子秤上方的鱼眼相机俯视拍摄放置在电子秤上的果蔬之前，还包括：
采集各类别的果蔬图像构建果蔬底库数据集；
利用预先训练完毕的Resnet特征提取模型提取所述果蔬底库数据集中各类别果蔬的特征并计算各果蔬的特征值，并将各果蔬的类别信息及特征值关联存储至预设果蔬特征库。
可选实施例中，所述方法还包括：
若在预设果蔬特征库中未查找到待称重果蔬的类别信息及对应的单价信息，则向工作人员发出无法识别提示信息。
第二方面，本发明提供一种智能果蔬称重打票装置，包括：
图像获取模块，用于利用配置在电子秤上方的鱼眼相机俯视拍摄放置在电子秤上的果蔬，得到待称重果蔬图像；
图像二值变换模块，用于将所述待称重果蔬图像转换为灰度果蔬图像，并根据预设的像素值变换规则对所述灰度果蔬图像进行二值变换，得到二值果蔬图像；
果蔬目标定位模块，包括分割单元、合并单元和筛选单元；所述分割单元，用于将所述二值果蔬图像平均分割为10000个二值果蔬子图；所述合并单元，用于计算每个二值果蔬子图分割框中像素值为1的像素点所占的比例，获取像素值为1的像素点所占的比例大于预设比例阈值的二值果蔬子图分割框集合，将获取的二值果蔬子图分割框集合中互相连通的二值果蔬子图分割框进行合并得到果蔬分割框集合；筛选单元，用于对所述果蔬分割框集合中的果蔬分割框进行尺寸筛选和颜色筛选得到目标果蔬分割框；
果蔬目标截取模块，根据所述目标果蔬分割框对所述待称重果蔬图像进行截取得到果蔬目标图；
确定模块，用于利用预先训练完毕的Resnet特征提取模型从所述果蔬目标图中提取果蔬特征信息，与预设果蔬特征库进行特征比对确定待称重果蔬的类别信息及对应的单价信息；其中，所述预设果蔬特征库中包括有不同类别果蔬的特征值和类别信息；
打印模块，用于根据待称重果蔬的单价信息和电子秤获得的待称重果蔬的重量信息打印出果蔬价格小票。
可选实施例中，所述图像二值变换模块，具体用于：
从所述灰度果蔬图像的(0,0)位置开始，针对所述灰度果蔬图像的像素点，获取像素点及其周围8个像素点的灰度值，统计该像素点周围8个像素点中灰度值与该像素点灰度值的差值绝对值大于第一预设差值阈值的像素点的数量，若数量大于预设的数量阈值，则确定该像素点为目标像素点；
以所述目标像素点为中心点，获取所述目标像素点及其周围8个像素点的灰度值，将所述目标像素点周围8个像素点中灰度值与所述目标像素点灰度值的差值绝对值小于第二预设差值阈值的像素点确定为新的目标像素点，继续从新的目标点周围8个位置查找下一个新的目标点，直至所述灰度果蔬图像的像素点全部遍历，得到全部目标像素点；
将所述灰度果蔬图像中的全部目标像素点的灰度值置为1，其他像素点的灰度值置为0，得到二值果蔬图像。
可选实施例中，所述筛选单元，具体用于：
根据预设长度阈值和宽度阈值对所述果蔬分割框集合中的果蔬分割框进行筛选，得到符合尺寸要求的果蔬分割框集合；
利用RGB聚类方法对所述符合尺寸要求的果蔬分割框集合进行颜色划分，得到颜色分类后的果蔬分割框集合；
利用预先训练好的果蔬识别模型对所述颜色分类后的果蔬分割框集合进行识别，并根据识别结果去除被识别为秤盘的果蔬分割框，得到筛选后的果蔬分割框集合；
从所述筛选后的果蔬分割框集合中选择面积最大的果蔬分割框作为目标果蔬分割框。
可选实施例中，所述智能果蔬称重打票装置还包括果蔬识别模型训练模块，用于：
获取多组不同类别的果蔬图像；
在每组果蔬图像中加入秤盘图像得到多组训练果蔬图像，并对每组训练果蔬图像进行标注得到果蔬标注数据；
利用所述训练果蔬图像以及对应的果蔬标注数据对构建的果蔬识别模型进行训练，获得所述训练好的果蔬识别模型。
可选实施例中，所述智能果蔬称重打票装置还包括果蔬特征库构建模块，用于：
采集各类别的果蔬图像构建果蔬底库数据集；
利用预先训练完毕的Resnet特征提取模型提取所述果蔬底库数据集中各类别果蔬的特征并计算各果蔬的特征值，并将各果蔬的类别信息及特征值关联存储至预设果蔬特征库。
可选实施例中，所述智能果蔬称重打票装置，还包括：
发送模块，用于若在预设果蔬特征库中未查找到待称重果蔬的类别信息及对应的单价信息，则向工作人员发出无法识别提示信息。
第三方面，本发明提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如第一方面任一项所述的方法。
第四方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如第一方面任一项所述的方法。
采用上述技术方案后，本发明至少具有如下有益效果：
1、基于果蔬与秤盘的颜色差异，采用改进的图像分割方法在待称重果蔬图像中确定果蔬分割框，并对确定的果蔬分割框进行尺寸筛选和颜色筛选，能够对待称重果蔬图像中的果蔬进行准确的定位和分割；
2、针对分割得到的果蔬目标图，通过将提取的果蔬特征与果蔬特征库中存储的果蔬特征比对的方法准确识别果蔬的类别，进而确定果蔬的单价，从而实现自动果蔬称重和打印小票。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开所基于的一种场景架构的示意图；
图2为本公开实施例一提供的一种智能果蔬称重打票方法的流程示意图；
图3为本公开实施例二提供的一种智能果蔬称重打票装置的结构示意图；
图4为本公开实施例三提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1为本公开所基于的一种场景架构的示意图，如图1所示的，本公开基于的一种场景架构可包括电子秤1、果蔬识别装置2以及鱼眼相机3。
其中，果蔬识别装置2是可与鱼眼相机3进行数据传递的硬件或软件，其可用于执行下述各实施例中所述的智能果蔬称重打票方法。
当果蔬识别装置2为硬件时，其可以为具备运算功能的电子设备。当果蔬识别装置2为软件时，其可以安装在具备运算功能的电子设备中。其中的电子设备包括但不限于服务器、智能盒子和微处理器等等。
其中，鱼眼相机3具体可安装在电子秤1的秤盘上方。
在实际场景中，果蔬识别装置2可为集成或安装在电子秤1上的服务端，果蔬识别装置2可在电子秤1上运行，果蔬识别装置2也可集成或安装在处理果蔬图像的后端服务器中，为电子秤1提供果蔬图像分析服务。具体来说，将果蔬放置在秤盘上，鱼眼相机3俯视拍摄果蔬图像，果蔬识别装置2获取鱼眼相机3拍摄的果蔬图像，果蔬识别装置2采用如下实施例所示的方法自动识别放置在秤盘上的果蔬的类别，电子秤1根据果蔬的单价和重量打印出果蔬价格小票。
以下将对本申请提供的一种智能果蔬称重打票方法、装置、电子设备及存储介质进行进一步说明：
实施例一
图2为本公开实施例提供的一种智能果蔬称重打票方法的流程示意图。
如图2所示，本公开实施例提供的一种快智能果蔬称重打票方法包括：
S21、利用配置在电子秤上方的鱼眼相机俯视拍摄放置在电子秤上的果蔬，得到待称重果蔬图像。
其中，鱼眼相机能够近距离拍摄大范围的果蔬图像。
在进行果蔬称重时，用户将选择的果蔬放置于秤盘上，置于鱼眼相机下方，鱼眼相机可俯拍整个秤盘范围内的全部果蔬。
S22、将所述待称重果蔬图像转换为灰度果蔬图像，并根据预设的像素值变换规则对所述灰度果蔬图像进行二值变换，得到二值果蔬图像。
本步骤基于果蔬与秤盘的颜色差异，采用改进的图像分割方法在待称重果蔬图像中确定果蔬分割框，首先将待称重果蔬图像变换为二值图像，更易于确定果蔬在图像中的位置，从而将待称重果蔬区域分割出来。
具体来说，从所述灰度果蔬图像的(0,0)位置开始，针对所述灰度果蔬图像的像素点，获取像素点及其周围8个像素点的灰度值，统计该像素点周围8个像素点中灰度值与该像素点灰度值的差值绝对值大于第一预设差值阈值的像素点的数量，若数量大于预设的数量阈值，则确定该像素点为目标像素点；以所述目标像素点为中心点，获取所述目标像素点及其周围8个像素点的灰度值，将所述目标像素点周围8个像素点中灰度值与所述目标像素点灰度值的差值绝对值小于第二预设差值阈值的像素点确定为新的目标像素点，继续从新的目标点周围8个位置查找下一个新的目标点，直至所述灰度果蔬图像的像素点全部遍历，得到全部目标像素点；将所述灰度果蔬图像中的全部目标像素点的灰度值置为1，其他像素点的灰度值置为0，得到二值果蔬图像。
也就是说，从(0,0)位置开始，选取第一个像素点，将第一个像素点与其周围8个位置的像素点进行灰度值比较，如果周围8个位置的像素点中有足够多的像素点与第一个像素点的灰度值差异较大，则第一个像素点被认为是一个果蔬边缘像素点，再从(0,1)位置选取第二个像素点，按照同样的方式确定下一个果蔬边缘像素点，依次类推，最终得到果蔬边缘像素点集，然后从果蔬边缘向果蔬中部逐步查找与果蔬边缘像素点灰度值相近的像素点作为果蔬像素点，最终得到全部果蔬像素点。
S23、将所述二值果蔬图像平均分割为10000个二值果蔬子图，并计算每个二值果蔬子图分割框中像素值为1的像素点所占的比例，获取像素值为1的像素点所占的比例大于预设比例阈值的二值果蔬子图分割框集合，将获取的二值果蔬子图分割框集合中互相连通的二值果蔬子图分割框进行合并得到果蔬分割框集合，对所述果蔬分割框集合中的果蔬分割框进行尺寸筛选和颜色筛选得到目标果蔬分割框。
本步骤的目的是在二值果蔬图像中确定果蔬的位置，将二值果蔬图像按照预设的参数分割成二值果蔬子图得到二值果蔬子图分割框，并将二值果蔬子图分割框中果蔬像素点的比例大于预设比例阈值的二值果蔬子图分割框中的图像区域认定为果蔬区域，并将连通的二值果蔬子图分割框合并得到果蔬分割框集合，对果蔬分割框集合中一些尺寸明显不符合实际的分割框以及由于与秤盘颜色相近而被错误判定为果蔬的秤盘分割框进行筛选，对尺寸明显不符合实际的果蔬分割框采用长度阈值和宽度阈值进行筛选，对错误的分割框采用深度学习方法进行筛选最终得到符合标准的果蔬分割框，从中选择面积最大的果蔬分割框作为目标果蔬分割框。
在对果蔬分割框集合进行筛选时，根据预设长度阈值和宽度阈值对所述果蔬分割框集合中的果蔬分割框进行筛选，得到符合尺寸要求的果蔬分割框集合；利用RGB聚类方法对所述符合尺寸要求的果蔬分割框集合进行颜色划分，得到颜色分类后的果蔬分割框集合；利用预先训练好的果蔬识别模型对所述颜色分类后的果蔬分割框集合进行识别，并根据识别结果去除被识别为秤盘的果蔬分割框，得到筛选后的果蔬分割框集合；从所述筛选后的果蔬分割框集合中选择面积最大的果蔬分割框作为目标果蔬分割框。
也就是说，只有长宽在设置范围内的果蔬分割框才保留，其余都舍弃这里的目的是进行合法筛选，让一些不可能大小的果蔬分割框直接过滤掉，由于果蔬与秤盘颜色可能非常相近，一些果蔬分割框其实包围的是秤盘而不是果蔬，需要将这些错误的果蔬分割框滤除，利用RGB聚类方法先将明显不是秤盘的果蔬分割框滤除，然后将归类为同一颜色的果蔬分割框输入预先训练好的果蔬识别模型中进行识别，若得出果蔬分割框包围的区域为秤盘，则将果蔬分割框去除。
此外，在利用预先训练好的果蔬识别模型对所述颜色分类后的果蔬分割框集合进行识别之前，还包括果蔬识别模型训练过程，训练过程包括：获取多组不同类别的果蔬图像；在每组果蔬图像中加入秤盘图像得到多组训练果蔬图像，并对每组训练果蔬图像进行标注得到果蔬标注数据；利用所述训练果蔬图像以及对应的果蔬标注数据对构建的果蔬识别模型进行训练，获得所述训练好的果蔬识别模型。
S24、根据所述目标果蔬分割框对所述待称重果蔬图像进行截取得到果蔬目标图。
S25、利用预先训练完毕的Resnet特征提取模型从所述果蔬目标图中提取果蔬特征信息，与预设果蔬特征库进行特征比对确定待称重果蔬的类别信息及对应的单价信息；其中，所述预设果蔬特征库中包括有不同类别果蔬的特征值和类别信息。
本步骤利用预先训练完毕的Resnet特征提取模型对果蔬目标图进行特征提取，并将果蔬特征值与预设果蔬特征库中存储的特征值进行比对，将特征值相似度最高的果蔬类别确定为待称重果蔬的类别，得到待称重果蔬的类别信息及对应的单价信息，用以计算称重的果蔬总价并打印出价格小票。
预设果蔬特征库是利用预先训练完毕的Resnet特征提取模型构建的，用于作为果蔬类别的比对库，需要提前构建并存储，在步骤S21之前，还包括：采集各类别的果蔬图像构建果蔬底库数据集；利用预先训练完毕的Resnet特征提取模型提取所述果蔬底库数据集中各类别果蔬的特征并计算各果蔬的特征值，并将各果蔬的类别信息及特征值关联存储至预设果蔬特征库。
S26、根据待称重果蔬的单价信息和电子秤获得的待称重果蔬的重量信息打印出果蔬价格小票。
此外，由于果蔬种类繁多，一些外观类似的果蔬会导致识别错误，此时需要及时向工作人员发出提醒信息，请求人工干预，避免影响顾客称重，所述方法还包括：若在预设果蔬特征库中未查找到待称重果蔬的类别信息及对应的单价信息，则向工作人员发出无法识别提示信息。
实施例二
对应于上文实施例的智能果蔬称重打票方法，图3为本公开实施例二提供的一种智能果蔬称重打票装置的结构示意图。为了便于说明，仅示出了与本公开实施例相关的部分。参照图3，所述装置包括：
图像获取模块31，用于利用配置在电子秤上方的鱼眼相机俯视拍摄放置在电子秤上的果蔬，得到待称重果蔬图像；
图像二值变换模块32，用于将所述待称重果蔬图像转换为灰度果蔬图像，并根据预设的像素值变换规则对所述灰度果蔬图像进行二值变换，得到二值果蔬图像；
果蔬目标定位模块33，包括分割单元、合并单元和筛选单元；所述分割单元，用于将所述二值果蔬图像平均分割为10000个二值果蔬子图；所述合并单元，用于计算每个二值果蔬子图分割框中像素值为1的像素点所占的比例，获取像素值为1的像素点所占的比例大于预设比例阈值的二值果蔬子图分割框集合，将获取的二值果蔬子图分割框集合中互相连通的二值果蔬子图分割框进行合并得到果蔬分割框集合；筛选单元，用于对所述果蔬分割框集合中的果蔬分割框进行尺寸筛选和颜色筛选得到目标果蔬分割框；
果蔬目标截取模块34，根据所述目标果蔬分割框对所述待称重果蔬图像进行截取得到果蔬目标图；
确定模块35，用于利用预先训练完毕的Resnet特征提取模型从所述果蔬目标图中提取果蔬特征信息，与预设果蔬特征库进行特征比对确定待称重果蔬的类别信息及对应的单价信息；其中，所述预设果蔬特征库中包括有不同类别果蔬的特征值和类别信息；
打印模块36，用于根据待称重果蔬的单价信息和电子秤获得的待称重果蔬的重量信息打印出果蔬价格小票。
可选实施例中，所述图像二值变换模块32，具体用于：
从所述灰度果蔬图像的(0,0)位置开始，针对所述灰度果蔬图像的像素点，获取像素点及其周围8个像素点的灰度值，统计该像素点周围8个像素点中灰度值与该像素点灰度值的差值绝对值大于第一预设差值阈值的像素点的数量，若数量大于预设的数量阈值，则确定该像素点为目标像素点；
以所述目标像素点为中心点，获取所述目标像素点及其周围8个像素点的灰度值，将所述目标像素点周围8个像素点中灰度值与所述目标像素点灰度值的差值绝对值小于第二预设差值阈值的像素点确定为新的目标像素点，继续从新的目标点周围8个位置查找下一个新的目标点，直至所述灰度果蔬图像的像素点全部遍历，得到全部目标像素点；
将所述灰度果蔬图像中的全部目标像素点的灰度值置为1，其他像素点的灰度值置为0，得到二值果蔬图像。
可选实施例中，所述筛选单元，具体用于：
根据预设长度阈值和宽度阈值对所述果蔬分割框集合中的果蔬分割框进行筛选，得到符合尺寸要求的果蔬分割框集合；
利用RGB聚类方法对所述符合尺寸要求的果蔬分割框集合进行颜色划分，得到颜色分类后的果蔬分割框集合；
利用预先训练好的果蔬识别模型对所述颜色分类后的果蔬分割框集合进行识别，并根据识别结果去除被识别为秤盘的果蔬分割框，得到筛选后的果蔬分割框集合；
从所述筛选后的果蔬分割框集合中选择面积最大的果蔬分割框作为目标果蔬分割框。
可选实施例中，所述智能果蔬称重打票装置还包括果蔬识别模型训练模块37，用于：
获取多组不同类别的果蔬图像；
在每组果蔬图像中加入秤盘图像得到多组训练果蔬图像，并对每组训练果蔬图像进行标注得到果蔬标注数据；
利用所述训练果蔬图像以及对应的果蔬标注数据对构建的果蔬识别模型进行训练，获得所述训练好的果蔬识别模型。
可选实施例中，所述智能果蔬称重打票装置还包括果蔬特征库构建模块38，用于：
采集各类别的果蔬图像构建果蔬底库数据集；
利用预先训练完毕的Resnet特征提取模型提取所述果蔬底库数据集中各类别果蔬的特征并计算各果蔬的特征值，并将各果蔬的类别信息及特征值关联存储至预设果蔬特征库。
可选实施例中，所述智能果蔬称重打票装置，还包括：
发送模块39，用于若在预设果蔬特征库中未查找到待称重果蔬的类别信息及对应的单价信息，则向工作人员发出无法识别提示信息。
实施例三
图4为本公开实施例三提供的一种电子设备的结构示意图，如图4所示，本实施例的电子设备40可以包括：存储器41、处理器42。
存储器41，用于存储计算机程序(如实现上述一种智能果蔬称重打票方法的应用程序、功能模块等)、计算机指令等；
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器41中。并且上述的计算机程序、计算机指令等可以被处理器42调用。
处理器42，用于执行存储器41存储的计算机程序，以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
存储器41和处理器42可以是独立结构，也可以是集成在一起的集成结构。当存储器41和处理器42是独立结构时，存储器41、处理器42可以通过总线43耦合连接。
本实施例的一种电子设备可以执行实施例一所述方法中的技术方案，其具体实现过程和技术原理参见实施例一所述方法中的相关描述，此处不再赘述。
此外，本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当用户设备的至少一个处理器执行该计算机执行指令时，用户设备执行上述各种可能的方法。
其中，计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于用户设备中。当然，处理器和存储介质也可以作为分立组件存在于通信设备中。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些端口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以本发明权利要求的保护范围为准。
Claims (10)
1.一种智能果蔬称重打票方法，其特征在于，包括：
利用配置在电子秤上方的鱼眼相机俯视拍摄放置在电子秤上的果蔬，得到待称重果蔬图像；
将所述待称重果蔬图像转换为灰度果蔬图像，并根据预设的像素值变换规则对所述灰度果蔬图像进行二值变换，得到二值果蔬图像；
将所述二值果蔬图像平均分割为10000个二值果蔬子图，并计算每个二值果蔬子图分割框中像素值为1的像素点所占的比例，获取像素值为1的像素点所占的比例大于预设比例阈值的二值果蔬子图分割框集合，将获取的二值果蔬子图分割框集合中互相连通的二值果蔬子图分割框进行合并得到果蔬分割框集合，对所述果蔬分割框集合中的果蔬分割框进行尺寸筛选和颜色筛选得到目标果蔬分割框；
根据所述目标果蔬分割框对所述待称重果蔬图像进行截取得到果蔬目标图；
利用预先训练完毕的Resnet特征提取模型从所述果蔬目标图中提取果蔬特征信息，与预设果蔬特征库进行特征比对确定待称重果蔬的类别信息及对应的单价信息；其中，所述预设果蔬特征库中包括有不同类别果蔬的特征值和类别信息；
根据待称重果蔬的单价信息和电子秤获得的待称重果蔬的重量信息打印出果蔬价格小票。
2.根据权利要求1所述的智能果蔬称重打票方法，其特征在于，所述根据预设的像素值变换规则对所述灰度果蔬图像进行二值变换，得到二值果蔬图像，包括：
从所述灰度果蔬图像的(0,0)位置开始，针对所述灰度果蔬图像的像素点，获取像素点及其周围8个像素点的灰度值，统计该像素点周围8个像素点中灰度值与该像素点灰度值的差值绝对值大于第一预设差值阈值的像素点的数量，若数量大于预设的数量阈值，则确定该像素点为目标像素点；
以所述目标像素点为中心点，获取所述目标像素点及其周围8个像素点的灰度值，将所述目标像素点周围8个像素点中灰度值与所述目标像素点灰度值的差值绝对值小于第二预设差值阈值的像素点确定为新的目标像素点，继续从新的目标点周围8个位置查找下一个新的目标点，直至所述灰度果蔬图像的像素点全部遍历，得到全部目标像素点；
将所述灰度果蔬图像中的全部目标像素点的灰度值置为1，其他像素点的灰度值置为0，得到二值果蔬图像。
3.根据权利要求1所述的智能果蔬称重打票方法，其特征在于，所述对所述果蔬分割框集合中的果蔬分割框进行尺寸筛选和颜色筛选得到目标果蔬分割框，包括：
根据预设长度阈值和宽度阈值对所述果蔬分割框集合中的果蔬分割框进行筛选，得到符合尺寸要求的果蔬分割框集合；
利用RGB聚类方法对所述符合尺寸要求的果蔬分割框集合进行颜色划分，得到颜色分类后的果蔬分割框集合；
利用预先训练好的果蔬识别模型对所述颜色分类后的果蔬分割框集合进行识别，并根据识别结果去除被识别为秤盘的果蔬分割框，得到筛选后的果蔬分割框集合；
从所述筛选后的果蔬分割框集合中选择面积最大的果蔬分割框作为目标果蔬分割框。
4.根据权利要求3所述的智能果蔬称重打票方法，其特征在于，所述利用预先训练好的果蔬识别模型对所述颜色分类后的果蔬分割框集合进行识别之前，还包括：
获取多组不同类别的果蔬图像；
在每组果蔬图像中加入秤盘图像得到多组训练果蔬图像，并对每组训练果蔬图像进行标注得到果蔬标注数据；
利用所述训练果蔬图像以及对应的果蔬标注数据对构建的果蔬识别模型进行训练，获得所述训练好的果蔬识别模型。
5.根据权利要求1所述的智能果蔬称重打票方法，其特征在于，所述利用配置在电子秤上方的鱼眼相机俯视拍摄放置在电子秤上的果蔬之前，还包括：
采集各类别的果蔬图像构建果蔬底库数据集；
利用预先训练完毕的Resnet特征提取模型提取所述果蔬底库数据集中各类别果蔬的特征并计算各果蔬的特征值，并将各果蔬的类别信息及特征值关联存储至预设果蔬特征库。
6.根据权利要求1-5任一项所述的智能果蔬称重打票方法，其特征在于，所述方法还包括：
若在预设果蔬特征库中未查找到待称重果蔬的类别信息及对应的单价信息，则向工作人员发出无法识别提示信息。
7.一种智能果蔬称重打票装置，其特征在于，包括：
图像获取模块，用于利用配置在电子秤上方的鱼眼相机俯视拍摄放置在电子秤上的果蔬，得到待称重果蔬图像；
图像二值变换模块，用于将所述待称重果蔬图像转换为灰度果蔬图像，并根据预设的像素值变换规则对所述灰度果蔬图像进行二值变换，得到二值果蔬图像；
果蔬目标定位模块，包括分割单元、合并单元和筛选单元；所述分割单元，用于将所述二值果蔬图像平均分割为10000个二值果蔬子图；所述合并单元，用于计算每个二值果蔬子图分割框中像素值为1的像素点所占的比例，获取像素值为1的像素点所占的比例大于预设比例阈值的二值果蔬子图分割框集合，将获取的二值果蔬子图分割框集合中互相连通的二值果蔬子图分割框进行合并得到果蔬分割框集合；筛选单元，用于对所述果蔬分割框集合中的果蔬分割框进行尺寸筛选和颜色筛选得到目标果蔬分割框；
果蔬目标截取模块，根据所述目标果蔬分割框对所述待称重果蔬图像进行截取得到果蔬目标图；
确定模块，用于利用预先训练完毕的Resnet特征提取模型从所述果蔬目标图中提取果蔬特征信息，与预设果蔬特征库进行特征比对确定待称重果蔬的类别信息及对应的单价信息；其中，所述预设果蔬特征库中包括有不同类别果蔬的特征值和类别信息；
打印模块，用于根据待称重果蔬的单价信息和电子秤获得的待称重果蔬的重量信息打印出果蔬价格小票。
8.根据权利要求1所述的智能果蔬称重打票装置，其特征在于，所述智能果蔬称重打票装置，还包括：
发送模块，用于若在预设果蔬特征库中未查找到待称重果蔬的类别信息及对应的单价信息，则向工作人员发出无法识别提示信息。
9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-6任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-6任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210230093.1A CN114612897A (zh) | 2022-03-10 | 2022-03-10 | 一种智能果蔬称重打票方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210230093.1A CN114612897A (zh) | 2022-03-10 | 2022-03-10 | 一种智能果蔬称重打票方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114612897A true CN114612897A (zh) | 2022-06-10 |
Family
ID=81860940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210230093.1A Withdrawn CN114612897A (zh) | 2022-03-10 | 2022-03-10 | 一种智能果蔬称重打票方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114612897A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036197A (zh) * | 2023-08-18 | 2023-11-10 | 杭州食方科技有限公司 | 图像去噪模型生成方法、装置、设备和计算机可读介质 |
| CN117906734A (zh) * | 2024-03-20 | 2024-04-19 | 深圳桑达银络科技有限公司 | 基于人工智能的自动调平称重收银系统及方法 |
-
2022
- 2022-03-10 CN CN202210230093.1A patent/CN114612897A/zh not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117036197A (zh) * | 2023-08-18 | 2023-11-10 | 杭州食方科技有限公司 | 图像去噪模型生成方法、装置、设备和计算机可读介质 |
| CN117906734A (zh) * | 2024-03-20 | 2024-04-19 | 深圳桑达银络科技有限公司 | 基于人工智能的自动调平称重收银系统及方法 |
| CN117906734B (zh) * | 2024-03-20 | 2024-06-07 | 深圳桑达银络科技有限公司 | 基于人工智能的自动调平称重收银系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106845890B (zh) | 一种基于视频监控的仓储监控方法及装置 | |
| CN109165645A (zh) | 一种图像处理方法、装置以及相关设备 | |
| CN114612897A (zh) | 一种智能果蔬称重打票方法、装置、电子设备及存储介质 | |
| CN111881958A (zh) | 车牌分类识别方法、装置、设备及存储介质 | |
| CN113312957A (zh) | 基于视频图像的脱岗识别方法、装置、设备及存储介质 | |
| CN112633297A (zh) | 目标对象的识别方法、装置、存储介质以及电子装置 | |
| CN111935479A (zh) | 一种目标图像确定方法、装置、计算机设备及存储介质 | |
| CN113723157B (zh) | 一种农作物病害识别方法、装置、电子设备及存储介质 | |
| CN110490214A (zh) | 图像的识别方法及系统、存储介质及处理器 | |
| CN111160169A (zh) | 人脸检测方法、装置、设备及计算机可读存储介质 | |
| WO2024060684A1 (zh) | 模型训练方法、图像处理方法、设备及存储介质 | |
| CN115861210B (zh) | 一种基于孪生网络的变电站设备异常检测方法和系统 | |
| CN114049568A (zh) | 基于图像比对的标的物形变检测方法、装置、设备及介质 | |
| CN115690615A (zh) | 一种面向视频流的深度学习目标识别方法及系统 | |
| CN115880260A (zh) | 基站施工的检测方法、装置、设备及计算机可读存储介质 | |
| CN113537248B (zh) | 图像识别方法和装置、电子设备和存储介质 | |
| CN111461143A (zh) | 一种图片翻拍识别方法和装置及电子设备 | |
| CN111339927A (zh) | 一种电力营业厅人员工作状态智能识别系统 | |
| CN113065454B (zh) | 一种高空抛物目标识别比较的方法及装置 | |
| CN111507119A (zh) | 标识码识别方法、装置、电子设备及计算机可读存储介质 | |
| CN110569716A (zh) | 一种货架图像翻拍检测方法 | |
| CN111401438B (zh) | 图像分拣方法、装置及系统 | |
| CN111414889A (zh) | 基于文字识别的财务报表识别方法及装置 | |
| CN114821658B (zh) | 牛脸识别方法、运行控制装置、电子设备及存储介质 | |
| CN113076983B (zh) | 一种图像的识别方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20220610 |
|
| WW01 | Invention patent application withdrawn after publication |