CN112183527A - 基于FastR-CNN的热带水果果皮图像识别方法 - Google Patents

基于FastR-CNN的热带水果果皮图像识别方法 Download PDF

Info

Publication number
CN112183527A
CN112183527A CN202010995491.3A CN202010995491A CN112183527A CN 112183527 A CN112183527 A CN 112183527A CN 202010995491 A CN202010995491 A CN 202010995491A CN 112183527 A CN112183527 A CN 112183527A
Authority
CN
China
Prior art keywords
image
tropical fruit
fastr
cnn
fruit peel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010995491.3A
Other languages
English (en)
Inventor
龙海侠
付海燕
汪浩俊
刘亮松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainan Normal University
Original Assignee
Hainan Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainan Normal University filed Critical Hainan Normal University
Priority to CN202010995491.3A priority Critical patent/CN112183527A/zh
Publication of CN112183527A publication Critical patent/CN112183527A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Abstract

本发明公开了基于FastR‑CNN的热带水果果皮图像识别方法，包括构建热带水果果皮数据集，采集目标图像，对采集到的图像进行标注，根据标注对目标图像进行检测，分类或丢弃检测目标。本发明通过对热带水果果皮图像进行预处理与特征值的提取，其次经过快速区域的卷积神经网络进行热带水果果皮模型的训练，从而实现热带水果果皮的识别与自动化分拣。

Description

基于FastR-CNN的热带水果果皮图像识别方法
技术领域
本发明涉及水果分类领域，具体涉及基于FastR-CNN的热带水果果皮图像识别方法。
背景技术
水果产业是近年来快速发展的农业产业。但是，水果在其生产过程中由于受到人为和自然等复杂因素的影响，产品品质差异很大，如形状、大小、色泽等都是变化的，很难整齐划一。由于我国的水果品种结构不合理，产品商业化处理技术落后，因此，在国际市场上缺乏竞争力。
传统的自动水果分类机中因为缺少图像识别技术，智能根据重量或尺寸分类。因此，不能解决果农根据水果成分分类与精确定价的问题。
因此，市场需要一种可以快速根据水果的成色分类的系统和方法。
发明内容
本发明的目的在于克服上述问题，提供基于FastR-CNN的热带水果果皮图像识别方法，使自动水果分类机可以根据水果的品相和成色进行精确分类，提高水果的分类效率和分类的精确化程度。为实现上述目的，本发明采用如下技术方案：
基于FastR-CNN的热带水果果皮图像识别方法，包括如下步骤：
S1.构建热带水果果皮数据集；
S2.采集目标图像；
S3.对采集到的图像进行标注
在图像中标注目标物体的位置和特征值，并对每张标注过的图像生成一个XML文件，并将目标物体的标准框位置记录在XML文件中；
S4.根据标注对目标图像进行检测
采用快速区域的卷积网络方法(FastR-CNN)对目标图像进行检测，同时在分类时使用深度卷积网络；
S5.分类或丢弃检测目标
根据区域生网络模块，对标注框内的目标进行分类或丢弃。
作为改进，S4中所述的具体步骤包括：
S4-1.将输入的目标图像处理为“长×宽×深度”的张量形式；
S4-2.卷积层基于卷积运算处理图像，并产生高级特征图；
S4-3.ROI(Region of interest-候选区域)池化层采用最大值池化方法，将h×w的窗口划分为近似大小的
Figure BDA0002692465080000021
子窗口的H×W网格，h和w分别为目标图像的高和宽，H和W分别为子窗口的高和宽；
S4-4.将每个子窗口的值最大化到相应的输出网格单元中，并每个特征图通道独立使用ROI池化层；ROI池化层从特征图中提取固定长度的特征向量连接到全连接层；
S4-5.使用多任务损失函数计算输出层：
损失＝对数分类损失+SmoothL1回归损失
L(p，u，tu，v)＝Lcls(p，u)+λ[u≥1]Lloc(tu，v)
Lcls(p，u)＝-logpu
Figure BDA0002692465080000022
Figure BDA0002692465080000023
在上述公式中，其中u是真实概率，p是预测概率，tu表示预测的结果，v表示真实的结果，Lcls表示分类的loss，即对真实的概率取负值log，Lloc表示回归的loss。x和y分别为图像的坐标，w和h分别为目标图像的宽和高。
作为改进，使用目标图像的背景作为一个标签，并根据背景标签调整边界框坐标。
作为改进，在TensorFlow平台上对深度模型进行训练和测试。
作为改进，通过TensorBoard将识别结果可视化。
本发明的优点在于：
本发明通过对热带水果果皮图像进行预处理与特征值的提取，其次经过快速区域的卷积神经网络进行热带水果果皮模型的训练，从而实现热带水果果皮的识别与自动化分拣。
附图说明
图1为实施例1中基于FastR-CNN的热带水果果皮图像识别方法的工作原理图；
具体实施方式
下面通过具体实施例对本发明进行详细和具体的介绍，以使更好的理解本发明，但是下述实施例并不限定本发明的保护范围。
实施例1
本实施例公开了基于FastR-CNN的热带水果果皮图像识别方法，包括如下步骤：
S1.构建热带水果果皮数据集。
S2.采集目标图像。
S3.对采集到的图像进行标注。
在图像中标注目标物体的位置和特征值，并对每张标注过的图像生成一个XML文件，并将目标物体的标准框位置记录在XML文件中；
S4.根据标注对目标图像进行检测。
采用快速区域的卷积网络方法(FastR-CNN)对目标图像进行检测，同时在分类时使用深度卷积网络，其具体步骤为：
S4-1.将输入的目标图像处理为“长×宽×深度”的张量形式；
S4-2.卷积层基于卷积运算处理图像，并产生高级特征图；
S4-3.ROI(Region of interest-候选区域)池化层采用最大值池化方法，将h×w的窗口划分为近似大小的
Figure BDA0002692465080000031
子窗口的H×W网格，h和w分别为目标图像的高和宽，H和W分别为子窗口的高和宽；
S4-4.将每个子窗口的值最大化到相应的输出网格单元中，并每个特征图通道独立使用ROI池化层；ROI池化层从特征图中提取固定长度的特征向量连接到全连接层；
S4-5.使用多任务损失函数计算输出层：
损失＝对数分类损失+SmoothL1回归损失
L(p，u，tu，v)＝Lcls(p，u)+λ[u≥1]Lloc(tu，v)
Lcls(p，u)＝-logpu
Figure BDA0002692465080000032
Figure BDA0002692465080000033
在上述公式中，其中u是真实概率，p是预测概率，tu表示预测的结果，v表示真实的结果，Lcls表示分类的loss，即对真实的概率取负值log，Lloc表示回归的loss。x和y分别为图像的坐标，w和h分别为目标图像的宽和高。
S5.分类或丢弃检测目标。
根据区域生网络模块，对标注框内的目标进行分类或丢弃。
本实施例使用目标图像的背景作为一个标签，并根据背景标签调整边界框坐标。
本实施例在TensorFlow平台上对深度模型进行训练和测试，并通过TensorBoard将识别结果可视化。
以上对本发明的具体实施例进行了详细描述，但其只是作为范例，本发明并不等同于以上描述的具体实施例。对于本领域技术人员而言，任何对本发明进行的等同修改和替代也都在本发明的范畴之中。因此，不脱离本发明的精神和范围下所做的均等变换和修改，都应涵盖在本发明的范围内。

Claims (5)

1.基于FastR-CNN的热带水果果皮图像识别方法，其特征在于，包括如下步骤：
S1.构建热带水果果皮数据集；
S2.采集目标图像；
S3.对采集到的图像进行标注
在图像中标注目标物体的位置和特征值，并对每张标注过的图像生成一个XML文件，并将目标物体的标准框位置记录在XML文件中；
S4.根据标注对目标图像进行检测，
采用快速区域的卷积网络方法(FastR-CNN)对目标图像进行检测，同时在分类时使用深度卷积网络；
S5.分类或丢弃检测目标
根据区域生网络模块，对标注框内的目标进行分类或丢弃。
2.根据权利要求1所述的基于FastR-CNN的热带水果果皮图像识别方法，其特征在于，S4中所述的具体步骤包括：
S4-1.将输入的目标图像处理为“长×宽×深度”的张量形式；
S4-2.卷积层基于卷积运算处理图像，并产生高级特征图；
S4-3.ROI(Region of interest-候选区域)池化层采用最大值池化方法，将h×w的窗口划分为近似大小的
Figure FDA0002692465070000011
子窗口的H×W网格，h和w分别为目标图像的高和宽，H和W分别为子窗口的高和宽；
S4-4.将每个子窗口的值最大化到相应的输出网格单元中，并每个特征图通道独立使用ROI池化层；ROI池化层从特征图中提取固定长度的特征向量连接到全连接层；
S4-5.使用多任务损失函数计算输出层：
损失＝对数分类损失+SmoothL1回归损失
L(p,u,tu,v)＝Lcls(p,u)+λ[u≥1]Lloc(tu,v)
Lcls(p,u)＝-logpu
Figure FDA0002692465070000012
Figure FDA0002692465070000013
在上述公式中，其中u是真实概率，p是预测概率，tu表示预测的结果，v表示真实的结果，Lcls表示分类的loss，即对真实的概率取负值log，Lloc表示回归的loss，x和y分别为图像的坐标，w和h分别为图像的宽和高。
3.根据权利要求1所述的基于FastR-CNN的热带水果果皮图像识别方法，其特征在于，使用目标图像的背景作为一个标签，并根据背景标签调整边界框坐标。
4.根据权利要求1所述的基于FastR-CNN的热带水果果皮图像识别方法，其特征在于，在TensorFlow平台上对深度模型进行训练和测试。
5.根据权利要求1所述的基于FastR-CNN的热带水果果皮图像识别方法，其特征在于，通过TensorBoard将识别结果可视化。
CN202010995491.3A 2020-09-21 2020-09-21 基于FastR-CNN的热带水果果皮图像识别方法 Pending CN112183527A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010995491.3A CN112183527A (zh) 2020-09-21 2020-09-21 基于FastR-CNN的热带水果果皮图像识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010995491.3A CN112183527A (zh) 2020-09-21 2020-09-21 基于FastR-CNN的热带水果果皮图像识别方法

Publications (1)

Publication Number Publication Date
CN112183527A true CN112183527A (zh) 2021-01-05

Family

ID=73956796

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010995491.3A Pending CN112183527A (zh) 2020-09-21 2020-09-21 基于FastR-CNN的热带水果果皮图像识别方法

Country Status (1)

Country Link
CN (1) CN112183527A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451602A (zh) * 2017-07-06 2017-12-08 浙江工业大学 一种基于深度学习的果蔬检测方法
CN108550133A (zh) * 2018-03-02 2018-09-18 浙江工业大学 一种基于Faster R-CNN的癌细胞检测方法
CN109543699A (zh) * 2018-11-28 2019-03-29 北方工业大学 一种基于目标检测的图像摘要生成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107451602A (zh) * 2017-07-06 2017-12-08 浙江工业大学 一种基于深度学习的果蔬检测方法
CN108550133A (zh) * 2018-03-02 2018-09-18 浙江工业大学 一种基于Faster R-CNN的癌细胞检测方法
CN109543699A (zh) * 2018-11-28 2019-03-29 北方工业大学 一种基于目标检测的图像摘要生成方法

Similar Documents

Publication Publication Date Title
Jaisakthi et al. Grape leaf disease identification using machine learning techniques
CN108830188B (zh) 基于深度学习的车辆检测方法
CN110334706B (zh) 一种图像目标识别方法及装置
CN104021375B (zh) 一种基于机器学习的车型识别方法
CN103996018B (zh) 基于4dlbp的人脸识别方法
Basri et al. Faster R-CNN implementation method for multi-fruit detection using tensorflow platform
CN107145889A (zh) 基于具有RoI池化的双CNN网络的目标识别方法
CN106845528A (zh) 一种基于K‑means与深度学习的图像分类算法
Wang et al. Precision detection of dense plums in orchards using the improved YOLOv4 model
CN112580748B (zh) 一种对染色图像的分类细胞计数的方法
CN103177266A (zh) 储藏物害虫智能识别系统
CN104198497A (zh) 一种基于视觉显著图和支持向量机的表面缺陷检测方法
CN112613428B (zh) 基于平衡损失的Resnet-3D卷积牛视频目标检测方法
CN114359199A (zh) 一种基于深度学习的鱼类计数方法、装置、设备和介质
CN111932639B (zh) 一种基于卷积神经网络的不均衡缺陷样本的检测方法
CN103646251B (zh) 基于嵌入式的苹果采后田间分级检测方法及系统
CN114219993A (zh) 一种基于cnn的建筑垃圾分类方法
CN114029943A (zh) 一种基于图像数据处理的目标抓取定位方法及系统
CN114627411A (zh) 基于计算机视觉下并行检测的农作物生育期识别方法
CN112270681B (zh) 一种黄板害虫深度检测与计数方法与系统
Asriny et al. Transfer learning VGG16 for classification orange fruit images
CN112183527A (zh) 基于FastR-CNN的热带水果果皮图像识别方法
CN114049346B (zh) 一种基于剪裁YOLOv3-SPP3的柑橘木虱检测与识别方法
CN115424247B (zh) 一种采用cbam与八度卷积改进yolov5的温室番茄识别与检测方法
Cheeti et al. Pest detection and classification using YOLO AND CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination