CN115953775A - 一种果蔬智能识别方法 - Google Patents
一种果蔬智能识别方法 Download PDFInfo
- Publication number
- CN115953775A CN115953775A CN202310062565.1A CN202310062565A CN115953775A CN 115953775 A CN115953775 A CN 115953775A CN 202310062565 A CN202310062565 A CN 202310062565A CN 115953775 A CN115953775 A CN 115953775A
- Authority
- CN
- China
- Prior art keywords
- image
- data
- fruit
- enhanced
- steps
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 235000012055 fruits and vegetables Nutrition 0.000 title claims abstract description 10
- 235000013399 edible fruits Nutrition 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 20
- 238000012360 testing method Methods 0.000 claims abstract description 10
- 238000013434 data augmentation Methods 0.000 claims abstract description 9
- 238000012545 processing Methods 0.000 claims abstract description 6
- 230000003416 augmentation Effects 0.000 claims abstract description 5
- 238000007781 pre-processing Methods 0.000 claims abstract description 4
- 238000002360 preparation method Methods 0.000 claims abstract description 4
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000004040 coloring Methods 0.000 claims description 2
- 238000013136 deep learning model Methods 0.000 abstract description 2
- 235000004936 Bromus mango Nutrition 0.000 description 10
- 240000009088 Fragaria x ananassa Species 0.000 description 10
- 235000014826 Mangifera indica Nutrition 0.000 description 10
- 240000008790 Musa x paradisiaca Species 0.000 description 10
- 235000009184 Spondias indica Nutrition 0.000 description 10
- 244000157072 Hylocereus undatus Species 0.000 description 9
- 235000018481 Hylocereus undatus Nutrition 0.000 description 9
- 241000220225 Malus Species 0.000 description 9
- 241000219094 Vitaceae Species 0.000 description 8
- 235000021015 bananas Nutrition 0.000 description 8
- 235000021021 grapes Nutrition 0.000 description 8
- 235000021016 apples Nutrition 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 235000021012 strawberries Nutrition 0.000 description 6
- 241001093152 Mangifera Species 0.000 description 5
- 235000016623 Fragaria vesca Nutrition 0.000 description 4
- 235000011363 Fragaria x ananassa Nutrition 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 240000007228 Mangifera indica Species 0.000 description 3
- 235000009754 Vitis X bourquina Nutrition 0.000 description 3
- 235000012333 Vitis X labruscana Nutrition 0.000 description 3
- 240000006365 Vitis vinifera Species 0.000 description 3
- 235000014787 Vitis vinifera Nutrition 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 241000249058 Anthracothorax Species 0.000 description 2
- 235000007877 Diospyros australis Nutrition 0.000 description 2
- 244000060474 Eugenia jambolana Species 0.000 description 2
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 2
- 235000010875 Prunus nigra Nutrition 0.000 description 2
- 235000018288 Vitex doniana Nutrition 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 241000675108 Citrus tangerina Species 0.000 description 1
- 238000000137 annealing Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010257 thawing Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种果蔬智能识别方法，包括以下步骤：步骤一：前期数据准备，拍摄水果图像，拍摄时保持相机与称的夹角为90°，拍摄距离为30‑35厘米，在每幅图像中，均只含有一种类型的不同数量的水果。步骤二：数据预处理，利用数据增广的方法处理步骤一采集的数据图片，所采用的增广方式包括翻转图像、旋转角度、随机颜色(调整图像饱和度、调整图像的亮度、调整图像的对比度、调整图像的锐度)、对比度增强、亮度增强、颜色增强。其中亮度增强15％、20％。对比度增强15％、20％。颜色增强15％、20％。步骤三：模型的训练和测试。本发明运用了深度学习模型进行水果种类的分类，节约了人工成本和时间成本。
Description
技术领域
本发明属于计算机视觉领域，尤其涉及一种果蔬智能识别方法。
背景技术
随着5G以及物联网技术的不断进步，各行各业都在利用新的智能技术，减少人力成本，使生产和服务“无人化”。无人超市也在不断的发展和普及，在果蔬自动计价方面需要准确无误的快速识别出顾客购买的水果种类，进行称重和价格计算，从而实现超市结算的无人化。
这就对水果种类识别的速度和准确度有很高的要求，而且相对于以往的图像识别技术，超市结算的环境下，对于目标的识别需要隔着超市提供的塑料袋包装进行识别。塑料袋会模糊水果的特征，从而对水果种类的识别造成干扰。这就需要针对此类目标的识别进行专门的识别模型进行训练，从而得到适用于超市结算环境的水果种类识别的模型。此类模型的训练有着很大的研究意义，并且对于无人超市的普及，结算的快速化都有着重要的应用。
发明内容
为解决背景技术中现有技术的缺陷，本发明提出了一种果蔬智能识别方法，解决了现有技术中的智能识别系统难以根据超市的现实环境准确识别水果种类的问题。
一种果蔬智能识别方法，包括以下步骤：
步骤一：前期数据准备
拍摄水果图像，拍摄时保持相机与称的夹角为90°，拍摄距离为30-35厘米，在每幅图像中，均只含有一种类型的不同数量的水果。
步骤二：数据预处理
利用数据增广的方法处理步骤一采集的数据图片，所采用的增广方式包括翻转图像、旋转角度、随机颜色(调整图像饱和度、调整图像的亮度、调整图像的对比度、调整图像的锐度)、对比度增强、亮度增强、颜色增强。
其中亮度增强15％、20％。对比度增强15％、20％。颜色增强15％、20％。
步骤三：模型的训练和测试
将采集图像与数据增广获得的图像合并，作为本研究的数据集。在数据集中，按照8：2的比例，分别分配给模型训练和测试，由于增广后的图片有损坏，程序默认跳过损坏图片。
采用LabelImg软件，以最小外接矩画框标记每幅样本图像中的目标，保证每个矩形标注框内只包含一种类型的水果，并包含尽可能少的背景像素，将待标记样本图像依次导入LabelImg中，并标记图像中的水果。
有益效果
1.运用了大量数据集，通过数据扩充，高效合理利用训练数据，使模型学习效果良好，模型预测准确度很高。
2.运用了深度学习模型进行水果种类的分类，节约了人工成本和时间成本。
3.YOLO网络的核心原理是基于CNN也就是卷积神经网络，通过设计好的卷积核和池化层提取分通道图片中信息，再通过全连接层进行分类学习任务，根据损失函数调整学习结果。YOLO在此基础上将图像划分为不同的区域，提前预设好可能的物体范围然后在进行匹配，以提高网络的准确度和速度，同时省去了再用提取的特征加入全连接层进行回归的步骤，直接由图片信息画出物体检测区域，大大提高了检测效率。
附图说明
图1是本发明流程图；
图2是YOLOX网络结构图；
图3是Focus网络结构图；
图4是train loss和trainval loss曲线变化；
图5是各类mAP评价结果。
图6是葡萄的采集图像；
图7是黑布林的采集图像；
图8是草莓的采集图像；
图9是芒果的采集图像；
图10是苹果的采集图像；
图11是橘子的采集图像；
图12是香蕉的采集图像；
图13是火龙果的采集图像；
图14是葡萄的标记图像；
图15是黑布林的标记图像；
图16是芒果的标记图像；
图17是火龙果的标记图像；
图18是香蕉的标记图像；
图19是草莓的标记图像；
图20是苹果的标记图像；
图21是橘子的标记图像。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
根据图2-3所示，YoloX网络：
整个YoloX可以分为三个部分，分别是CSPDarknet，FPN以及YoloHead，对应了YoloX网络特征提取，特征加强，预测特征点对应的物体情况三个工作过程。
CSPDarknet可以被称作YoloX的主干特征提取网络，输入的图片首先会在CSPDarknet里面进行特征提取，提取到的特征可以被称作特征层，是输入图片的特征集合。在主干部分，我们获取了三个特征层进行下一步网络的构建，可以将这三个特征层当做有效特征层。其中使用了Focus网络结构：一张图片中每隔一个像素拿到一个值，这个时候获得了四个独立的特征层，然后将四个独立的特征层进行堆叠，此时宽高信息就集中到了通道信息，输入通道扩充了四倍。拼接起来的特征层相对于原先的三通道变成了十二个通道。
FPN特征金字塔可以被称作YoloX的加强特征提取网络，在主干部分获得的三个有效特征层会在这一部分进行特征融合，特征融合的目的是结合不同尺度的特征信息。在FPN部分，已经获得的有效特征层被用于继续提取特征。在YoloX里面用了Panet的结构，不仅会对特征进行上采样实现特征融合，还会对特征再次进行下采样实现特征融合。
Yolo Head是YoloX的分类器与回归器，通过CSPDarknet和FPN，我们已经可以获得三个加强过的有效特征层。每一个特征层都有宽、高和通道数，此时我们可以将特征图看作一个又一个特征点的集合，每一个特征点都有通道数个特征。Yolo Head实际上所做的工作就是对特征点进行判断，判断特征点是否有物体与其对应。
根据图1所示，一种果蔬智能识别方法，包括以下步骤：
步骤一：前期数据准备
拍摄水果图像，拍摄时保持相机与称的夹角为90°，拍摄距离为30-35厘米，在每幅图像中，均只含有一种类型的不同数量的水果。
步骤二：数据预处理
利用数据增广的方法处理步骤一采集的数据图片，所采用的增广方式包括翻转图像、旋转角度、随机颜色(调整图像饱和度、调整图像的亮度、调整图像的对比度、调整图像的锐度)、对比度增强、亮度增强、颜色增强。
其中亮度增强15％、20％。对比度增强15％、20％。颜色增强15％、20％。
步骤三：模型的训练和测试
将采集图像与数据增广获得的图像合并，作为本研究的数据集。在数据集中，按照8：2的比例，分别分配给模型训练和测试，由于增广后的图片有损坏，程序默认跳过损坏图片。
采用LabelImg软件，以最小外接矩画框标记每幅样本图像中的目标，保证每个矩形标注框内只包含一种类型的水果，并包含尽可能少的背景像素，将待标记样本图像依次导入LabelImg中，并标记图像中的水果。
实施例
根据图2-21所示，步骤一：共拍摄1225张水果图像，且拍照时尽可能保持相机与水果秤夹角为90°；拍摄距离在30-35cm。在每幅图像中，均只含有一种类型的不同数量的水果，分别为葡萄、苹果、芒果、黑布林、火龙果、橘子、香蕉、草莓八种类型。
步骤二：利用数据增广的方法处理采集的1225张数据图片，所采用的增广方式有翻转图像、旋转角度、随机颜色(调整图像饱和度、调整图像的亮度、调整图像的对比度、调整图像的锐度)、对比度增强、亮度增强、颜色增强。其中亮度增强有15％、20％。对比度增强15％、20％。颜色增强15％、20％等几种处理，经过图像增强处理得到新生成图像8000张。具体如表1所示：
表1数据集增强处理情况
将采集图像与数据增广获得的图像合并，作为本研究的9900张数据集。在数据集中，按照8：2的比例，分别分配给模型训练和测试，由于增广后的图片有损坏，程序默认跳过损坏图片，剩余9626张：其中葡萄1395张、苹果1109张、芒果996张、黑布林1127张、火龙果1252张、橘子1411张、香蕉986张、草莓1350张；其中7702张用于训练，在其中6932用于模型训练：葡萄1004张、苹果798张、芒果717张、黑布林812张、火龙果902张、橘子1016张、香蕉711张、草莓972张；770张用于验证：葡萄112张，苹果89张、芒果80张、黑布林90张、火龙果100张、橘子112张、香蕉79张、草莓108张；1924用于测试：葡萄279张、苹果222张、芒果199张、黑布林225张、火龙果250张、橘子282张、香蕉197张、草莓270张。
为了得到更好的检测模型，首先需要标记数据集图像，再对模型进行训练。本研究以葡萄、苹果、芒果、黑布林、火龙果、橘子、香蕉、草莓八种水果为检测目标，采用LabelImg软件，以最小外接矩画框标记每幅样本图像中的目标，保证每个矩形标注框内只包含一种类型的水果，并包含尽可能少的背景像素。将待标记样本图像依次导入LabelImg中，并标记图像中的水果，其中葡萄被标记为grape；苹果被标记为apple；芒果被标记为mango；黑布林被标记为plum；火龙果被标记为dragonfruit；橘子被标记为orange；香蕉被标记为banana；草莓被标记为strawberry。在标记过程中，软件自动生成xml文件，文件内包含样本图像路径、水果标签等信息。为保证训练的可靠性，避免偶然因素对模型检测性能的影响，本研究对图像有损坏的目标也进行了画框标记。标注结果为YOLO格式的.txt标签文件。
模型训练过程中的学习率会影响损失函数的收敛速度，本次实验使用的优化器为adam，并且使用了cos余弦退火算法，将学习率最大设置0.001，学习率最小设置为0.00001，一共训练了300代，前50代为冻结阶段训练，后250代为解冻阶段训练。图4反映了模型迭代训练过程中在本实验的学习率下的train loss和trainval loss曲线变化见图4。从曲线图中可知，模型的train loss和trainval loss均先下降，后趋于稳定，在该学习率下，模型的损失函数值均达到了好的收敛效果。具体如表2所示：
表2测试评估数据总表
Recall(召回率/查全率)：是指在所有确实为正的样本中，被预测为正样本的占比。
Precision(精确率/查准率)：是指在所有被预测为正的样本中，确实是正样本的占比。
AP是PR曲线围成的面积，用来衡量对一个类检测的好坏。
mAP是所有类AP的平均值，衡量多类别目标检测的好坏。
主要程序段如下：
1.Yolo网络(Yolo.py)：
2.训练部分(train.py)：
3.预测部分(predict.py)：
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (2)
1.一种果蔬智能识别方法，其特征在于，包括以下步骤：
步骤一：前期数据准备
拍摄水果图像，拍摄时保持相机与称的夹角为90°，拍摄距离为30-35厘米，在每幅图像中，均只含有一种类型的不同数量的水果；
步骤二：数据预处理
利用数据增广的方法处理步骤一采集的数据图片，所采用的增广方式包括翻转图像、旋转角度、随机颜色、调整图像饱和度、调整图像的亮度、调整图像的对比度、调整图像的锐度、对比度增强、亮度增强、颜色增强；
步骤三：模型的训练和测试
将采集图像与数据增广获得的图像合并，作为数据集，在数据集中，按照8：2的比例，分别分配给模型训练和测试；
使用LabelImg软件，以最小外接矩画框标记每幅样本图像中的目标，保证每个矩形标注框内只包含一种类型的水果，将待标记样本图像依次导入LabelImg中，并标记图像中的水果。
2.根据权利要求1所述的一种果蔬智能识别方法，其特征在于，所述的亮度增强15％、20％，对比度增强15％、20％，颜色增强15％、20％。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310062565.1A CN115953775A (zh) | 2023-01-16 | 2023-01-16 | 一种果蔬智能识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310062565.1A CN115953775A (zh) | 2023-01-16 | 2023-01-16 | 一种果蔬智能识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115953775A true CN115953775A (zh) | 2023-04-11 |
Family
ID=87285866
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310062565.1A Pending CN115953775A (zh) | 2023-01-16 | 2023-01-16 | 一种果蔬智能识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115953775A (zh) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115050021A (zh) * | 2022-05-05 | 2022-09-13 | 江苏大学 | 基于改进YOLOv4的非结构环境下葡萄识别方法 |
-
2023
- 2023-01-16 CN CN202310062565.1A patent/CN115953775A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115050021A (zh) * | 2022-05-05 | 2022-09-13 | 江苏大学 | 基于改进YOLOv4的非结构环境下葡萄识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| 岳有军;田博凯;王红君;赵辉;: "改进VGG模型在苹果外观分类中的应用", 科学技术与工程, no. 19, 8 July 2020 (2020-07-08), pages 220 - 225 * |
| 李国进，黄晓洁，李修华: "基于改进 YOLOv3 的树上成熟芒果检测方法", 沈阳农业大学学报, 31 March 2021 (2021-03-31), pages 70 - 78 * |
| 裴悦琨;连明月;姜艳超;叶家敏;韩心新;谷宇;: "基于机器视觉的樱桃缺陷检测与识别", 食品与机械, no. 12, 15 December 2019 (2019-12-15), pages 143 - 146 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109584248B (zh) | 基于特征融合和稠密连接网络的红外面目标实例分割方法 | |
| CN113807464B (zh) | 基于改进yolo v5的无人机航拍图像目标检测方法 | |
| CN112348787B (zh) | 物体缺陷检测模型的训练方法、物体缺陷检测方法及装置 | |
| CN113160062B (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
| CN114240878A (zh) | 面向巡检场景的绝缘子缺陷检测神经网络构建与优化方法 | |
| CN110059586B (zh) | 一种基于空洞残差注意力结构的虹膜定位分割系统 | |
| CN113591795A (zh) | 一种基于混合注意力特征金字塔结构的轻量化人脸检测方法和系统 | |
| CN111222396A (zh) | 一种全天候多光谱行人检测方法 | |
| CN111539957B (zh) | 一种用于目标检测的图像样本生成方法、系统及检测方法 | |
| CN111985451A (zh) | 一种基于YOLOv4的无人机场景检测方法 | |
| CN113128335B (zh) | 微体古生物化石图像检测、分类及发现方法、系统及应用 | |
| CN114863236A (zh) | 基于双重注意力机制的图像目标检测方法 | |
| CN116597224A (zh) | 基于改进yolo v8网络模型的马铃薯缺陷检测方法 | |
| CN113297915A (zh) | 一种基于无人机巡检的绝缘子识别目标检测方法 | |
| CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
| CN111340019A (zh) | 基于Faster R-CNN的粮仓害虫检测方法 | |
| CN108664970A (zh) | 一种快速目标检测方法、电子设备、存储介质及系统 | |
| CN108932474B (zh) | 一种基于全卷积神经网络复合特征的遥感影像云判方法 | |
| CN113139896A (zh) | 基于超分辨重建的目标检测系统及方法 | |
| CN116205879A (zh) | 一种基于无人机图像及深度学习的小麦倒伏面积估算方法 | |
| CN116071315A (zh) | 一种基于机器视觉的产品可视缺陷检测方法及系统 | |
| CN117474863A (zh) | 一种压缩多头自注意力神经网络的芯片表面缺陷检测方法 | |
| CN115631411A (zh) | 基于sten网络对不同环境中的绝缘子破损检测方法 | |
| CN113763384B (zh) | 工业质检中的缺陷检测方法、缺陷检测装置 | |
| Wen et al. | Multi-scene citrus detection based on multi-task deep learning network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |