CN113610066B - 基于人工智能的红枣数据识别方法 - Google Patents

基于人工智能的红枣数据识别方法 Download PDF

Info

Publication number
CN113610066B
CN113610066B CN202111176207.0A CN202111176207A CN113610066B CN 113610066 B CN113610066 B CN 113610066B CN 202111176207 A CN202111176207 A CN 202111176207A CN 113610066 B CN113610066 B CN 113610066B
Authority
CN
China
Prior art keywords
point
red date
pixel
points
red
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111176207.0A
Other languages
English (en)
Other versions
CN113610066A (zh
Inventor
潘小旺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Mixin Jujube Industry Co ltd
Original Assignee
Jiangsu Mixin Jujube Industry Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Mixin Jujube Industry Co ltd filed Critical Jiangsu Mixin Jujube Industry Co ltd
Priority to CN202111176207.0A priority Critical patent/CN113610066B/zh
Publication of CN113610066A publication Critical patent/CN113610066A/zh
Application granted granted Critical
Publication of CN113610066B publication Critical patent/CN113610066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明涉及一种基于人工智能的红枣数据识别方法，包括：步骤一：利用相机采集流水线上的红枣，得到流水线红枣图像;步骤二：训练红枣检测神经网络，用以检测红枣的中心点位置;步骤三：对红枣中心点进行处理，并利用泰森多边形获取Voronoi图;步骤四：对Voronoi图进行超像素分割，实现红枣分割。

Description

基于人工智能的红枣数据识别方法
技术领域
本发明涉及人工智能领域，具体涉及一种基于人工智能的红枣数据识别方法。
背景技术
近年来，高新技术的飞速发展，促进了信息化进程，也驱动着产业结构的变革与升级，果类产品的分选也面向自动化与智能化方向发展。机器视觉技术具有实时性高、准确率高、无损、智能化程度高等特点，利用先进的计算机技术为提升产品质量规范化和产品市场化提供了新的解决方案。红枣生产加工过程需要对红枣进行检测，目前大多采用人工分选红枣缺陷，存在较大的弊端。对红枣进行分割，可以获取到红枣的区域，进而为分析每个红枣的品质提供基础，可以大大降低人工成本，提高筛选效率，促进红枣产业化发展。
发明内容
为了克服上述现有技术的缺点，本发明采用以下技术方案：
一种基于人工智能的红枣数据识别方法，包括以下步骤：
步骤一：利用相机采集流水线上的红枣，得到流水线红枣图像;
步骤二：训练红枣检测神经网络，用以检测红枣的中心点位置;
步骤三：对红枣中心点进行处理，并利用泰森多边形获取Voronoi图;
步骤四：对Voronoi图进行超像素分割，实现红枣分割。
进一步，所述步骤二的方法为：首先对数据进行标注，标注包括红枣中心关键点,标注好后，对图像内的所有关键点进行高斯核卷积，最终生成一张图像，图像即为关键点热力图，为标签数据,然后将采集的流水线红枣图像数据与标签数据送入到网络中进行训练。
进一步，所述步骤三为:获取红枣中心点的集合，然后对点集合进行网格化生成,将相邻的红枣中心点进行内插，获取内插点坐标，即两个相邻的红枣中心点求平均得到内插点,最终内插点与红枣中心点组合，得到离散点集合,对获取的离散点集合进行泰森多边形构建，N个在平面上有区别的点，按照最邻近原则划分平面；每个点与它的最近邻区域相关联,最终得到Voronoi图。
进一步，所述步骤四具体如下：对参考图像进行分区，所述分区即超像素个数，选取每个泰森多边形区域的关键点作为种子点,在种子点的n*n邻域内重新选择种子点,计算该邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方,在每个种子点周围的邻域内为每个像素点分配类标签,基于距离模型D来获取种子点与像素点的相似度，由于每个像素点都会被多个种子点搜索到，所以每个像素点都会有一个与周围种子点的距离，取最小值对应的种子点作为该像素点的聚类中心，利用SLIC超像素分割并基于上述像素点距离模型D和泰森多边形区域进行迭代优化，迭代次数需要进行调试，迭代次数经验值为50次，划分出比较相似的区域，最终得到众多区域，对于每个关键点所在的超像素区域，即都为红枣区域。
本发明的有益效果是：
本发明通过红枣关键点进行内插，并利用Voronoi图获取了最合适的红枣超像素分割区域，避免了传统算法中超像素个数超参数的调节以及超像素个数调节不当所带来的误分割。通过本发明方法，可以准确得到红枣分割区域，最终每个关键点所在的超像素即为红枣区域，可以准确得到红枣分割区域。原始算法，只能得到每个超像素区域是比较接近的，无法知道哪个超像素区域是红枣，还需要进行后处理。
附图说明
图1是本发明中流水线红枣示意图；
图2是本发明中Voronoi示意图。
具体实施方式
下面结合附图和实施例对本发明进行详细的描述。
步骤一：利用相机采集流水线上的红枣，得到流水线红枣图像。
在红枣分选或生产加过过程中的流水线中部署相机，用以拍摄流水线中的红枣图像，所述图像为RGB图像，即可见光图像。
所述图像应保证尽可能小的覆盖红枣区域，如图1，不存在大量冗余的图像背景。这样做是为了减少后续超像素分割所带来的误差。
步骤二：训练红枣检测神经网络，用以检测红枣的中心点位置。
首先对数据进行标注，标注包括红枣中心关键点。
标注好后，对图像内的所有关键点进行高斯核卷积，最终生成一张图像，图像即为关键点热力图，为标签数据。具体的细节如高斯核大小的选取，不在本发明讨论范围。
然后将采集的流水线红枣图像数据与标签数据送入到网络中（关键点检测编码器、关键点检测解码器）进行训练。
关键点检测网络训练的细节如下:
图像要经过归一化处理，将图片矩阵的值域变为[0,1]之间的浮点数，以便模型更好地收敛。标签同样经过归一化处理。
端到端地训练关键点检测编码器、关键点检测解码器。关键点检测编码器对图像进行特征提取，输入为经过归一化处理的图像数据，输出为特征图；关键点检测解码器是对特征图进行上采样并最终生成关键点热力图(heatmaps)，其输入为关键点检测编码器产生的特征图，输出为关键点热力图。
Loss函数作为优选，采用Heatmaps Loss，其数学公式为：
Figure 205990DEST_PATH_IMAGE001
其中，
Figure 78131DEST_PATH_IMAGE002
代表关键点在位置
Figure 540337DEST_PATH_IMAGE003
处的得分，得分越高就越可能是关键点。
Figure 747196DEST_PATH_IMAGE004
表示
Figure 953049DEST_PATH_IMAGE005
的
Figure 945276DEST_PATH_IMAGE006
。N代表
Figure 843962DEST_PATH_IMAGE005
中的关键点数量。
Figure 552766DEST_PATH_IMAGE007
、
Figure 296731DEST_PATH_IMAGE008
为超参数，需要人为设定。
编码器-解码器的设计有许多种，本发明建议关键点检测编码器、关键点检测解码器套用沙漏网络的预训练模型来进行关键点特征的提取，同时这样也更利于网络的收敛。
需要注意的是，由于热力图本身的特点，网络输出的热力图其像素值符合高斯分布，其值域在[0,1]之间。
至此即可通过神经网络得到热力图数据，然后对其进行后处理，得到具体的红枣中心关键点坐标信息，其处理方法如非极大值抑制、
Figure 409043DEST_PATH_IMAGE009
等，这里不在赘述。
步骤三：对红枣中心点进行处理，并利用泰森多边形获取Voronoi图。
然后获取红枣中心点的集合，然后对点集合进行网格化生成。方法如下：
首先将相邻的红枣中心点进行内插，获取内插点坐标，即两个相邻的红枣中心点求平均得到内插点。
所述相邻包含三种：水平相邻、垂直相邻、斜边相邻。
对于水平、垂直相邻通过上述方法得到内插点。
对于斜边相邻，四边形中存在两个斜边相邻，可以获取到两个坐标较为接近的内插点，将该两个内插点再次求平均，即可得到斜边相邻的内插点。
对于一个实施例，存在三行、四列个红枣中心点，通过内插可以得到23个内插点。
最终内插点与红枣中心点组合，得到离散点集合。
进行内插是为了后续超像素迭代优化的时候，将非红枣区域进行归类，最终实现关键点所在的超像素区域为红枣，内插点所在的超像素区域为背景。
对获取的离散点集合进行泰森多边形构建，得到Voronoi图又叫泰森多边形或Dirichlet图，它是由一组由连接两邻点直线的垂直平分线组成的连续多边形组成。N个在平面上有区别的点，按照最邻近原则划分平面；每个点与它的最近邻区域相关联。
最终得到Voronoi图，可见图2。
步骤四：对Voronoi图进行超像素分割，实现红枣分割。
对红枣可见光图进行超像素分割。
超像素通常定义为位置相邻且颜色、亮度、纹理等特征相似的形状不规则，又有一定视觉意义的像素块。使用超像素的好处主要体现在两个方面。首先，它实现了利用较少数量的像素块替换大量像素来表达图像特征，极大地减少后续图像处理的计算成本。其次，它为输入图像提供一种更自然的、具有感知意义的表示，为后续算法处理提供了一种模拟动物视觉处理的可能。
然后将结构件可见光图像从RGB空间转换为LAB空间，LAB颜色空间表现的颜色更全面。
构建像素点距离模型：
Figure 196740DEST_PATH_IMAGE010
Figure 394503DEST_PATH_IMAGE011
Figure 942159DEST_PATH_IMAGE012
通过参数A、B来协调两种距离的比例分配。由于红枣可能存在裂纹等缺陷(颜色为黑色)，因此A、B的经验值分别为3、6，即空间距离的权重更大。
Figure 643399DEST_PATH_IMAGE013
、
Figure 133155DEST_PATH_IMAGE014
分别表示第j个像素的l、a、b值。
Figure 552635DEST_PATH_IMAGE015
、
Figure 638402DEST_PATH_IMAGE016
代表第j个像素的x、y坐标。该像素距离模型考虑到lab空间的颜色差异，空间坐标的邻近性，综合考虑两方面因素，来评估像素间的相似度。D的值越小，表示两个像素的相似度越大。
然后对参考图像进行分区，所述分区即超像素个数，本发明的超像素为每一个泰森多边形。
1.初始化种子点（聚类中心）：选取每个泰森多边形区域的关键点作为种子点。
2.在种子点的n*n邻域内重新选择种子点（n经验值为5）。具体方法为：计算该邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方。这样做的目的是为了避免种子点落在梯度较大的轮廓边界上，以免影响后续聚类效果。
3.在每个种子点周围的邻域内为每个像素点分配类标签（即属于哪个聚类中心）。SLIC的搜索范围限制为每一个种子点泰森多边形的邻域泰森多边形组成的区域，可以加速算法收敛。
4.基于距离模型D来获取种子点与像素点的相似度，由于每个像素点都会被多个种子点搜索到，所以每个像素点都会有一个与周围种子点的距离，取最小值对应的种子点作为该像素点的聚类中心。
进一步的，利用SLIC超像素分割并基于上述像素点距离模型D和泰森多边形区域进行迭代优化（理论上上述步骤不断迭代直到误差收敛（可以理解为每个像素点聚类中心不再发生变化为止）），迭代次数需要进行调试，迭代次数经验值为50次，划分出比较相似的区域，最终得到众多区域，对于每一种区域内的像素点都是像素点距离D比较接近的。
对于每个关键点所在的超像素区域，即都为红枣区域。
以上实施例仅仅是对本发明的举例说明，并不构成对本发明的保护范围的限制，凡是与本发明相同或相似的设计均属于本发明的保护范围之内。

Claims (3)

1.一种基于人工智能的红枣数据识别方法，其特征在于，包括：
步骤一：利用相机采集流水线上的红枣，得到流水线红枣图像；
步骤二：训练红枣检测神经网络，用以检测红枣的中心点位置；
步骤三：对红枣中心点进行处理，并利用泰森多边形获取Voronoi图；
步骤四：对Voronoi图进行超像素分割，实现红枣分割；
所述步骤三为:获取红枣中心点的集合，然后对点集合进行网格化生成,将相邻的红枣中心点进行内插，获取内插点坐标，即两个相邻的红枣中心点求平均得到内插点,最终内插点与红枣中心点组合，得到离散点集合,对获取的离散点集合进行泰森多边形构建，N个在平面上有区别的点，按照最邻近原则划分平面；每个点与它的最近邻区域相关联,最终得到Voronoi图。
2.根据权利要求1所述一种基于人工智能的红枣数据识别方法，其特征在于，所述步骤二的方法为：首先对数据进行标注，标注包括红枣中心关键点,标注好后，对图像内的所有关键点进行高斯核卷积，最终生成一张图像，图像即为关键点热力图，为标签数据,然后将采集的流水线红枣图像数据与标签数据送入到网络中进行训练。
3.根据权利要求1所述一种基于人工智能的红枣数据识别方法，其特征在于，所述步骤四具体如下：对参考图像进行分区，所述分区即超像素个数，选取每个泰森多边形区域的关键点作为种子点,在种子点的n*n邻域内重新选择种子点,计算该邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方,在每个种子点周围的邻域内为每个像素点分配类标签,基于距离模型D来获取种子点与像素点的相似度，由于每个像素点都会被多个种子点搜索到，所以每个像素点都会有一个与周围种子点的距离，取最小值对应的种子点作为该像素点的聚类中心，利用SLIC超像素分割并基于上述像素点距离模型D和泰森多边形区域进行迭代优化，迭代次数需要进行调试，迭代次数经验值为50次，划分出比较相似的区域，最终得到众多区域，对于每个关键点所在的超像素区域，即都为红枣区域。
CN202111176207.0A 2021-10-09 2021-10-09 基于人工智能的红枣数据识别方法 Active CN113610066B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111176207.0A CN113610066B (zh) 2021-10-09 2021-10-09 基于人工智能的红枣数据识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111176207.0A CN113610066B (zh) 2021-10-09 2021-10-09 基于人工智能的红枣数据识别方法

Publications (2)

Publication Number Publication Date
CN113610066A CN113610066A (zh) 2021-11-05
CN113610066B true CN113610066B (zh) 2021-12-17

Family

ID=78343413

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111176207.0A Active CN113610066B (zh) 2021-10-09 2021-10-09 基于人工智能的红枣数据识别方法

Country Status (1)

Country Link
CN (1) CN113610066B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679579A (zh) * 2017-10-17 2018-02-09 天津工业大学 基于深度学习的红枣品质分选方法
CN110663971A (zh) * 2018-07-02 2020-01-10 天津工业大学 基于双分支深度融合卷积神经网络的红枣品质分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300927B2 (en) * 2010-02-11 2012-10-30 Seiko Epson Corporation Mouth removal method for red-eye detection and correction

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679579A (zh) * 2017-10-17 2018-02-09 天津工业大学 基于深度学习的红枣品质分选方法
CN110663971A (zh) * 2018-07-02 2020-01-10 天津工业大学 基于双分支深度融合卷积神经网络的红枣品质分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于神经网络的灵武长枣图像分割算法应用研究;陈誉铭;《农业科技辑》;20200215(第02期);全文 *
超像素分割算法的稳健性分析与一致性评价;Brekhna;《信息科技辑》;20190915(第09期);全文 *

Also Published As

Publication number Publication date
CN113610066A (zh) 2021-11-05

Similar Documents

Publication Publication Date Title
CN109961049B (zh) 一种复杂场景下香烟品牌识别方法
US11830246B2 (en) Systems and methods for extracting and vectorizing features of satellite imagery
CN107767382A (zh) 静态三维地图建筑物轮廓线的自动提取方法及系统
Wang et al. Photovoltaic panel extraction from very high-resolution aerial imagery using region–line primitive association analysis and template matching
Li et al. An overlapping-free leaf segmentation method for plant point clouds
CN112070769A (zh) 一种基于dbscan的分层点云分割方法
CN113449594B (zh) 一种多层网络组合的遥感影像地类语义分割与面积计算方法
WO2024021413A1 (zh) 一种结合超像素和多尺度分层特征识别的图像分割方法
CN112365503A (zh) 基于点云数据的变电站场景分割方法
Fan et al. Registration of multiresolution remote sensing images based on L2-siamese model
CN108710862A (zh) 一种高分辨率遥感影像水体提取方法
CN115797813B (zh) 基于航拍图像的水环境污染检测方法
Shen et al. A simplification of urban buildings to preserve geometric properties using superpixel segmentation
CN109635726A (zh) 一种基于对称式深度网络结合多尺度池化的滑坡识别方法
CN111652240A (zh) 一种基于cnn的图像局部特征检测与描述方法
CN108022245B (zh) 基于面线基元关联模型的光伏面板模板自动生成方法
CN104036294A (zh) 基于光谱标记的多光谱遥感图像自适应分类方法
CN111738310B (zh) 物料分类方法、装置、电子设备和存储介质
CN110647887A (zh) 用于煤泥浮选泡沫图像分割中内部标记符的提取方法
Quispe et al. Automatic building change detection on aerial images using convolutional neural networks and handcrafted features
CN113610066B (zh) 基于人工智能的红枣数据识别方法
Omidalizarandi et al. Segmentation and classification of point clouds from dense aerial image matching
CN117079125A (zh) 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法
CN111046783A (zh) 一种改进分水岭算法的斜坡地质灾害边界提取方法
CN114862883A (zh) 一种目标边缘提取方法、图像分割方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant