CN107316037B - 一种基于视觉主体检测的果蔬识别预处理方法 - Google Patents

一种基于视觉主体检测的果蔬识别预处理方法 Download PDF

Info

Publication number
CN107316037B
CN107316037B CN201710188952.4A CN201710188952A CN107316037B CN 107316037 B CN107316037 B CN 107316037B CN 201710188952 A CN201710188952 A CN 201710188952A CN 107316037 B CN107316037 B CN 107316037B
Authority
CN
China
Prior art keywords
image
fruit
algorithm
formula
equation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710188952.4A
Other languages
English (en)
Other versions
CN107316037A (zh
Inventor
王燕清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xiaozhuang University
Original Assignee
Nanjing Xiaozhuang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xiaozhuang University filed Critical Nanjing Xiaozhuang University
Priority to CN201710188952.4A priority Critical patent/CN107316037B/zh
Publication of CN107316037A publication Critical patent/CN107316037A/zh
Application granted granted Critical
Publication of CN107316037B publication Critical patent/CN107316037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/478—Contour-based spectral representations or scale-space representations, e.g. by Fourier analysis, wavelet analysis or curvature scale-space [CSS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/473—Contour-based spatial representations, e.g. vector-coding using gradient analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Abstract

本发明公开了一种基于视觉主体检测的果蔬识别预处理方法，针对复杂环境下果蔬图像因光照不均、背景不受控等因素导致的裁剪分割困难的问题，提出了一种基于视觉主体检测的预处理算法。首先调节图像亮度及去除噪声，然后利用流形排序进行显著性检测，获得显著性图像，最后利用梯度图像及位置加权进行融合获得图像裁剪度，完成图像预处理。通过实验可以正确裁剪复杂环境下的果蔬图像，能够达到较好的准确性、鲁棒性以及实时性。

Description

一种基于视觉主体检测的果蔬识别预处理方法
技术领域
本发明涉及食品应用和健康领域，具体是一种基于视觉主体检测的果蔬识别预处理方法，用于水果识别技术领域。
背景技术
随着人工智能领域的不断发展，人们的生活逐步走向智能化，其中图像识别技术在人工智能领域中占据着重要地位。本发明研究果蔬图像在复杂环境及光照不受控的条件下果蔬位置的定位技术，使用改进后的流形排序显著性检测算法，在原有技术基础上融合梯度能量及位置信息进行果蔬定位。
在图像处理阶段，由于获取图像时，获取工具、环境、手段等因素影响，原始图像无法直接应用于图像识别软件。因此，为了改善图像数据、抑制不良因素、提高后续图像处理环节准确性，增加图像预处理环节十分重要且必不可少。由于在实际工程中图像往往在不受控背景及不受控光源下进行采集，并且图像采集工具也不统一，因此在图像预处理环节，需要对图像进行归一化裁剪、亮度调节以及去噪处理。
依照图像裁剪主体，可将图像裁剪分为完整性缩放裁剪或部分裁剪。
完整性缩放裁剪是将整幅图像按照一定算法进行缩放，突出图像内主体部分，但肉眼分辨图像大致内容不变。最初，裁剪时主要使用插值法进行等比例缩放，裁剪后图像与原图像成等比例，但裁剪后图像清晰度均有所降低。随着技术逐渐进步完善，研究者们注重图像裁剪后保持图像的视觉主体，目前主流的裁剪算法主要有两种：非均匀缩放和线裁剪。
1.非均匀缩放
非均匀缩放是保持图像的视觉主体不变或发生均匀变化，其他不感兴趣区域图像发生非均匀的变化(如伸缩、扭曲等)实现最终的裁剪效果。
2.线裁剪
线裁剪算法首先寻找能量值小的像素点，通过改变(如移除或插入)能量值较小的像素点，即图像改变的总能量较小，达到改变图像大小的目的。部分裁剪是依据颜色、位置等因素裁剪部分原图像，裁剪后图像为原图像的子图。该方法大多使用于原图像视觉主体在原图像占比较小或原图像有多个视觉主体的情况，目前较为火热的人脸识别领域大多使用部分裁剪。
由于本技术背景应用于果蔬水果识别，采集的背景为可变环境下的图片，原图像在不受控光源、不受控背景及不受控拍摄工具的情况下获取，因此原图像存在光线过亮或过暗、背景不统一、果蔬位置不统一、原图像尺寸不统一等多种影响因素。
发明内容
在现实生活中，数字图像在产生和传输过程中常常受到采集设备硬件限制或采集环境外部噪声干扰，获取的图像中往往存在噪声点，即噪声图像或含噪图像。在数字图像处理领域，减少或去除图像噪声的过程称为图像去噪，该过程将降低图像干扰信息，提高后续处理的准确性，因此图像去噪步骤十分重要。由于本发明所述算法获取的图像噪声并不严重，并且本步骤主要是为了模糊一部分果蔬纹理，为后续提取轮廓、颜色特征做准备，因此，本发明算法使用模糊效果较高的高斯去噪算法，该算法可较好的满足研究要求,针对去噪后的图像采用视觉主体检测的裁剪方法如下:
设图像行向量为
Figure GDA0001408321270000021
该算法对每个像素点定义一个流行值f，并设定点和点之间的权重
Figure GDA0001408321270000022
以及D＝diag{d11,...,dnn}，其中dii＝∑jwij与PageRank和频谱聚类算法类似，由公式(1)求得f*，其中μ为平衡参数。
Figure GDA0001408321270000023
由于公式(1)还可写为公式(2)，公式(2)中E为单位矩阵，α＝1/(1+μ)，通过公式(1)及公式(2)可求得矩阵S。
f*＝(E-αS)-1X (2)
依据上边缘、下边缘、左边缘和右边缘可获得权重Wt、Wb、Wl及Wr，从而可获得四副显著度图St、Sb、Sl及Sr，对于给定图像I，最终显著度见式(3)。
S(I)＝St(i)×Sb(i)×Sl(i)×Sr(i) (3)
显著度图能够体现出人类视觉的图像关注度，而梯度能量图则可以较好的描述图像。给定图像对于给定图像I，图像的梯度函数见式(4)。
Figure GDA0001408321270000024
由于本发明算法所用图像库具有一定的位置信息，因此，裁剪时也许加入图像位置信息。对于给定图像I，设d为图像左上角至图像中心的距离(即长宽差的平方和的开方)，Δk为当前像素点至图像中心的距离。位置信息值见式(5)，其中μ为控制参数，本发明研究中控制参数μ＝39。
Figure GDA0001408321270000025
本发明所述研究采用显著度、梯度能量及位置融合的算法进行裁剪，对于给定图像I，其裁剪度见式(6)。
W(I)＝S(I)+e(I)+U(I) (6)
W(I)＝50
附图说明
图1为算法处理结果图。图1(a)分别为苹果、橙子及油桃的原图像；图1(b)分别为苹果、橙子及油桃的显著度图像；图1(c)分别为苹果、橙子及油桃的梯度图像；图1(d)分别为苹果、橙子及油桃的最终的裁剪度图像，已较明确的突出了视觉主体(红色为裁剪线，该裁剪长宽比例可自行设定，此处设定为1:1，并且最终缩放为64*64像素尺寸图像)；图1(e)分别为苹果、橙子及油桃的二维OTSU算法示意图(图像分割阈值分别为136、139及97)，该算法主要使用图像的颜色特征进行处理，从(e)中可以明确的看出，该算法处理拍摄环境复杂的图像效果较差，图1(f)分别为苹果、橙子及油桃的自适应Canny算法示意图(苹果图像的高低阈值分别为29.20、11.68，橙子图像的高低阈值分别为24.66、9.86，油桃图像的高低阈值分别为32.55、13.01)，该算法主要使用图像的轮廓特征进行处理，从(f)中可以明确看出，通过轮廓特征获取的图像十分复杂，细节特征过多，很难获得果蔬视觉主体。通过图1进行对比，可知与单一特征处理的算法图像相比，依据图像(d)进行裁剪比依据原图进行裁剪更加容易、便捷、准确，本发明所述算法效果较优。
具体实施方式
本发明共采集了12种常见的果蔬图像，共1461幅，如表1所示。这些图像均在不受控光源及不受控背景条件下进行采集。使用单一特征进行分割裁剪难度较大，本发明以二维OTSU算法和自适应Canny算法进行了边缘检测。二维OTSU算法是改进后的OTSU算法，该算法可以根据颜色特征将图像分为前景色和背景色。由于本发明使用的图像库环境差异较大，使用该方法无法较好的分割图像。自适应Canny算法是Canny算法的改进算法，该算法可提取图像轮廓特征，但若图像细节较多时，算法获取轮廓较多，不易依据轮廓进行分割。
表1果蔬图像库数量统计表
Figure GDA0001408321270000031
图1为算法处理结果图。图1(a)分别为苹果、橙子及油桃的原图像；图1(b)分别为苹果、橙子及油桃的显著度图像；图1(c)分别为苹果、橙子及油桃的梯度图像；图1(d)分别为苹果、橙子及油桃的最终的裁剪度图像，已较明确的突出了视觉主体(红色为裁剪线，该裁剪长宽比例可自行设定，此处设定为1:1，并且最终缩放为64*64像素尺寸图像)；图1(e)分别为苹果、橙子及油桃的二维OTSU算法示意图(图像分割阈值分别为136、139及97)，该算法主要使用图像的颜色特征进行处理，从(e)中可以明确的看出，该算法处理拍摄环境复杂的图像效果较差，图1(f)分别为苹果、橙子及油桃的自适应Canny算法示意图(苹果图像的高低阈值分别为29.20、11.68，橙子图像的高低阈值分别为24.66、9.86，油桃图像的高低阈值分别为32.55、13.01)，该算法主要使用图像的轮廓特征进行处理，从(f)中可以明确看出，通过轮廓特征获取的图像十分复杂，细节特征过多，很难获得果蔬视觉主体。通过图1进行对比，可知与单一特征处理的算法图像相比，依据图像(d)进行裁剪比依据原图进行裁剪更加容易、便捷、准确，本发明所述算法效果较优。
表2裁剪算法正确度
Figure GDA0001408321270000041
最终算法正确率如表2所示，在正常光照情况下，除荔枝和冬枣外其他水果正确率均达到90％以上，由于荔枝和冬枣体积较小，受背景纹理影响较大，正确率稍低，但也达到80％以上。过亮或过暗图像正确率基本低于同类果蔬的正常光照图像，油桃、茄子等颜色较暗的果蔬在光照过暗时分割正确率较低，苹果、西红柿等表面光滑的果蔬，在光照过亮时容易反光导致分割错误，因此正确率稍低。根据整体数据来看，整体分割的正确率可达到91％以上，鲁棒性较好。

Claims (1)

1.一种基于视觉主体检测的果蔬识别预处理方法，其特征在于:使用模糊效果较高的高斯去噪算法，针对去噪后的图像采用视觉主体检测的裁剪方法如下:
设图像行向量为
Figure 569561DEST_PATH_IMAGE001
，该算法对每个像素点定义一个流行值
Figure 345756DEST_PATH_IMAGE002
，并设定点和点之间的权重
Figure 125493DEST_PATH_IMAGE003
以及
Figure 255123DEST_PATH_IMAGE004
，其中
Figure 803916DEST_PATH_IMAGE005
，由公式(1)求得
Figure 360800DEST_PATH_IMAGE002
，其中
Figure 627833DEST_PATH_IMAGE006
为平衡参数；
Figure 685788DEST_PATH_IMAGE007
(1)
由于公式(1)还可写为公式(2)，公式(2)中E为单位矩阵，
Figure 89087DEST_PATH_IMAGE008
，通过公式(1)及公式(2) 可求得矩阵
Figure 816872DEST_PATH_IMAGE009
；
Figure 571201DEST_PATH_IMAGE010
(2)
依据上边缘、下边缘、左边缘和右边缘可获得权重
Figure 42634DEST_PATH_IMAGE011
及
Figure 425074DEST_PATH_IMAGE012
，从而可获得四副显著度图
Figure 589339DEST_PATH_IMAGE013
，对于给定图像I，最终显著度见式(3)；
Figure 830964DEST_PATH_IMAGE014
(3)
显著度图能够体现出人类视觉的图像关注度，而梯度能量图则可以描述图像，对于给定图像I，图像的梯度函数见式(4)；
Figure 840508DEST_PATH_IMAGE015
(4)
因拍摄水果具有一定的位置信息，居于屏幕中间，因此，裁剪时加入图像位置信息，对于给定图像I，设d为图像左上角至图像中心的距离，即长宽差的平方和的开方，
Figure 218400DEST_PATH_IMAGE016
为当前像素点至图像中心的距离；
Figure 424340DEST_PATH_IMAGE017
(5)
所述方法采用显著度、梯度能量及位置融合的算法进行裁剪，对于给定图像I，其裁剪度见式(6)，
Figure 153261DEST_PATH_IMAGE018
(6)
其中
Figure 966497DEST_PATH_IMAGE019
的公式定义见公式（3）,（4）,（5）。
CN201710188952.4A 2017-03-27 2017-03-27 一种基于视觉主体检测的果蔬识别预处理方法 Active CN107316037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710188952.4A CN107316037B (zh) 2017-03-27 2017-03-27 一种基于视觉主体检测的果蔬识别预处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710188952.4A CN107316037B (zh) 2017-03-27 2017-03-27 一种基于视觉主体检测的果蔬识别预处理方法

Publications (2)

Publication Number Publication Date
CN107316037A CN107316037A (zh) 2017-11-03
CN107316037B true CN107316037B (zh) 2020-11-13

Family

ID=60185156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710188952.4A Active CN107316037B (zh) 2017-03-27 2017-03-27 一种基于视觉主体检测的果蔬识别预处理方法

Country Status (1)

Country Link
CN (1) CN107316037B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458032B (zh) * 2019-07-17 2022-06-14 华南农业大学 荔枝生长状况全程监控方法、系统、云服务器及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123717A (zh) * 2013-04-26 2014-10-29 欧姆龙株式会社 图像处理装置、图像处理方法、程序以及记录介质
CN104792398A (zh) * 2015-01-06 2015-07-22 哈尔滨理工大学 一种基于水果蔬菜的识别的一体秤
CN105488758A (zh) * 2015-11-30 2016-04-13 河北工业大学 一种基于内容感知的图像缩放方法
CN105761238A (zh) * 2015-12-30 2016-07-13 河南科技大学 一种通过灰度统计数据深度信息提取显著目标的方法
CN105976378A (zh) * 2016-05-10 2016-09-28 西北工业大学 基于图模型的显著性目标检测方法
CN106127785A (zh) * 2016-06-30 2016-11-16 重庆大学 基于流形排序和随机游走的图像显著性检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123717A (zh) * 2013-04-26 2014-10-29 欧姆龙株式会社 图像处理装置、图像处理方法、程序以及记录介质
CN104792398A (zh) * 2015-01-06 2015-07-22 哈尔滨理工大学 一种基于水果蔬菜的识别的一体秤
CN105488758A (zh) * 2015-11-30 2016-04-13 河北工业大学 一种基于内容感知的图像缩放方法
CN105761238A (zh) * 2015-12-30 2016-07-13 河南科技大学 一种通过灰度统计数据深度信息提取显著目标的方法
CN105976378A (zh) * 2016-05-10 2016-09-28 西北工业大学 基于图模型的显著性目标检测方法
CN106127785A (zh) * 2016-06-30 2016-11-16 重庆大学 基于流形排序和随机游走的图像显著性检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Saliency Detection via Graph-Based Manifold Ranking;Yang.C etc;《IEEE conference on computer vision and pattern recognition》;20130628;3166-3173 *

Also Published As

Publication number Publication date
CN107316037A (zh) 2017-11-03

Similar Documents

Publication Publication Date Title
Bakar et al. Rice leaf blast disease detection using multi-level colour image thresholding
Li et al. Green apple recognition method based on the combination of texture and shape features
Sunny et al. An efficient citrus canker detection method based on contrast limited adaptive histogram equalization enhancement
CN101551853A (zh) 复杂静态彩色背景下的人耳检测方法
CN106127735B (zh) 一种设施蔬菜边缘清晰类叶面病斑分割方法及装置
CN107154044A (zh) 一种中餐食物图像的分割方法
CN108961301A (zh) 一种基于无监督逐像素分类的角毛藻图像分割方法
Cheng et al. Illumination-insensitive features for face recognition
Choudhary et al. Image processing algorithm for fruit identification
Ticay-Rivas et al. Pollen classification based on geometrical, descriptors and colour features using decorrelation stretching method
CN108335268A (zh) 一种基于盲解卷积的彩色图像去模糊的方法
CN107316037B (zh) 一种基于视觉主体检测的果蔬识别预处理方法
He et al. Structure-preserving texture smoothing via scale-aware bilateral total variation
Fathy et al. Benchmarking of pre-processing methods employed in facial image analysis
Valliammal et al. A hybrid method for enhancement of plant leaf recognition
Wang et al. Application of support vector machine to apple recognition using in apple harvesting robot
Lionnie et al. Performance comparison of several pre-processing methods in a hand gesture recognition system based on nearest neighbor for different background conditions
CN107038708A (zh) 图像识别算法在剪纸效果的应用
Nawawi et al. Comprehensive pineapple segmentation techniques with intelligent convolutional neural network
Zheng et al. Illumination normalization via merging locally enhanced textures for robust face recognition
Yang et al. Cherry recognition based on color channel transform
Chengtao et al. Improved dark channel prior dehazing approach using adaptive factor
Septiarini et al. Tomato Segmentation on Natural Background Using Multi Operation of Edge Detection And Reconstruction
Oppong et al. Hybrid approach to medicinal plant leaf image enhancement using contrast limited adaptive histogram equalization and homomorphic filter
Thayammal et al. Performance analysis of image denoising using deep convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant