CN107316037A - 一种基于视觉主体检测的果蔬识别预处理方法 - Google Patents

一种基于视觉主体检测的果蔬识别预处理方法 Download PDF

Info

Publication number
CN107316037A
CN107316037A CN201710188952.4A CN201710188952A CN107316037A CN 107316037 A CN107316037 A CN 107316037A CN 201710188952 A CN201710188952 A CN 201710188952A CN 107316037 A CN107316037 A CN 107316037A
Authority
CN
China
Prior art keywords
image
fruits
access control
vegetables
control model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710188952.4A
Other languages
English (en)
Other versions
CN107316037B (zh
Inventor
王燕清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Xiaozhuang University
Original Assignee
Nanjing Xiaozhuang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Xiaozhuang University filed Critical Nanjing Xiaozhuang University
Priority to CN201710188952.4A priority Critical patent/CN107316037B/zh
Publication of CN107316037A publication Critical patent/CN107316037A/zh
Application granted granted Critical
Publication of CN107316037B publication Critical patent/CN107316037B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/478—Contour-based spectral representations or scale-space representations, e.g. by Fourier analysis, wavelet analysis or curvature scale-space [CSS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G06V10/473—Contour-based spatial representations, e.g. vector-coding using gradient analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于视觉主体检测的果蔬识别预处理方法，针对复杂环境下果蔬图像因光照不均、背景不受控等因素导致的裁剪分割困难的问题，提出了一种基于视觉主体检测的预处理算法。首先调节图像亮度及去除噪声，然后利用流形排序进行显著性检测，获得显著性图像，最后利用梯度图像及位置加权进行融合获得图像裁剪度，完成图像预处理。通过实验可以正确裁剪复杂环境下的果蔬图像，能够达到较好的准确性、鲁棒性以及实时性。

Description

一种基于视觉主体检测的果蔬识别预处理方法
技术领域
本发明涉及食品应用和健康领域，具体是一种基于视觉主体检测的果蔬识别预处理方法，用于水果识别技术领域。
背景技术
随着人工智能领域的不断发展，人们的生活逐步走向智能化，其中图像识别技术在人工智能领域中占据着重要地位。本发明研究果蔬图像在复杂环境及光照不受控的条件下果蔬位置的定位技术，使用改进后的流形排序显著性检测算法，在原有技术基础上融合梯度能量及位置信息进行果蔬定位。
在图像处理阶段，由于获取图像时，获取工具、环境、手段等因素影响，原始图像无法直接应用于图像识别软件。因此，为了改善图像数据、抑制不良因素、提高后续图像处理环节准确性，增加图像预处理环节十分重要且必不可少。由于在实际工程中图像往往在不受控背景及不受控光源下进行采集，并且图像采集工具也不统一，因此在图像预处理环节，需要对图像进行归一化裁剪、亮度调节以及去噪处理。
依照图像裁剪主体，可将图像裁剪分为完整性缩放裁剪或部分裁剪。
完整性缩放裁剪是将整幅图像按照一定算法进行缩放，突出图像内主体部分，但肉眼分辨图像大致内容不变。最初，裁剪时主要使用插值法进行等比例缩放，裁剪后图像与原图像成等比例，但裁剪后图像清晰度均有所降低。随着技术逐渐进步完善，研究者们注重图像裁剪后保持图像的视觉主体，目前主流的裁剪算法主要有两种：非均匀缩放和线裁剪。
1.非均匀缩放
非均匀缩放是保持图像的视觉主体不变或发生均匀变化，其他不感兴趣区域图像发生非均匀的变化(如伸缩、扭曲等)实现最终的裁剪效果。
2.线裁剪
线裁剪算法首先寻找能量值小的像素点，通过改变(如移除或插入)能量值较小的像素点，即图像改变的总能量较小，达到改变图像大小的目的。部分裁剪是依据颜色、位置等因素裁剪部分原图像，裁剪后图像为原图像的子图。该方法大多使用于原图像视觉主体在原图像占比较小或原图像有多个视觉主体的情况，目前较为火热的人脸识别领域大多使用部分裁剪。
由于本技术背景应用于果蔬水果识别，采集的背景为可变环境下的图片，原图像在不受控光源、不受控背景及不受控拍摄工具的情况下获取，因此原图像存在光线过亮或过暗、背景不统一、果蔬位置不统一、原图像尺寸不统一等多种影响因素。
发明内容
在现实生活中，数字图像在产生和传输过程中常常受到采集设备硬件限制或采集环境外部噪声干扰，获取的图像中往往存在噪声点，即噪声图像或含噪图像。在数字图像处理领域，减少或去除图像噪声的过程称为图像去噪，该过程将降低图像干扰信息，提高后续处理的准确性，因此图像去噪步骤十分重要。由于本发明所述算法获取的图像噪声并不严重，并且本步骤主要是为了模糊一部分果蔬纹理，为后续提取轮廓、颜色特征做准备，因此，本发明算法使用模糊效果较高的高斯去噪算法，该算法可较好的满足研究要求,针对去噪后的图像采用视觉主体检测的裁剪方法如下:
设图像行向量为该算法对每个像素点定义一个流行值f，并设定点和点之间的权重以及D＝diag{d11,...,dnn}，其中dii＝∑jwij与PageRank和频谱聚类算法类似，由公式(1)求得f*，其中μ为平衡参数。
由于公式(1)还可写为公式(2)，公式(2)中E为单位矩阵，α＝1/(1+μ)，通过公式(1)及公式(2) 可求得矩阵S。
f*＝(E-αS)-1X (2)
依据上边缘、下边缘、左边缘和右边缘可获得权重Wt、Wb、Wl及Wr，从而可获得四副显著度图St、Sb、Sl及Sr，对于给定图像I，最终显著度见式(3)。
S(I)＝St(i)×Sb(i)×Sl(i)×Sr(i) (3)
显著度图能够体现出人类视觉的图像关注度，而梯度能量图则可以较好的描述图像。给定图像对于给定图像I，图像的梯度函数见式(4)。
由于本发明算法所用图像库具有一定的位置信息，因此，裁剪时也许加入图像位置信息。对于给定图像I，设d为图像左上角至图像中心的距离(即长宽差的平方和的开方)，Δk为当前像素点至图像中心的距离。位置信息值见式(5)，其中μ为控制参数，本发明研究中控制参数μ＝39。
本发明所述研究采用显著度、梯度能量及位置融合的算法进行裁剪，对于给定图像I，其裁剪度见式(6)。
W(I)＝S(I)+e(I)+U(I) (6)
W(I)＝50
附图说明
图1为算法处理结果图。图1(a)分别为苹果、橙子及油桃的原图像；图1(b)分别为苹果、橙子及油桃的显著度图像；图1(c)分别为苹果、橙子及油桃的梯度图像；图1(d)分别为苹果、橙子及油桃的最终的裁剪度图像，已较明确的突出了视觉主体(红色为裁剪线，该裁剪长宽比例可自行设定，此处设定为1:1，并且最终缩放为64*64像素尺寸图像)；图1(e)分别为苹果、橙子及油桃的二维OTSU算法示意图(图像分割阈值分别为136、139及97)，该算法主要使用图像的颜色特征进行处理，从(e)中可以明确的看出，该算法处理拍摄环境复杂的图像效果较差，图1(f)分别为苹果、橙子及油桃的自适应Canny算法示意图(苹果图像的高低阈值分别为29.20、11.68，橙子图像的高低阈值分别为24.66、9.86，油桃图像的高低阈值分别为32.55、13.01)，该算法主要使用图像的轮廓特征进行处理，从(f)中可以明确看出，通过轮廓特征获取的图像十分复杂，细节特征过多，很难获得果蔬视觉主体。通过图1进行对比，可知与单一特征处理的算法图像相比，依据图像(d)进行裁剪比依据原图进行裁剪更加容易、便捷、准确，本发明所述算法效果较优。
具体实施方式
本发明共采集了12种常见的果蔬图像，共1461幅，如表1所示。这些图像均在不受控光源及不受控背景条件下进行采集。使用单一特征进行分割裁剪难度较大，本发明以二维OTSU算法和自适应Canny算法进行了边缘检测。二维OTSU算法是改进后的OTSU算法，该算法可以根据颜色特征将图像分为前景色和背景色。由于本发明使用的图像库环境差异较大，使用该方法无法较好的分割图像。自适应Canny算法是Canny算法的改进算法，该算法可提取图像轮廓特征，但若图像细节较多时，算法获取轮廓较多，不易依据轮廓进行分割。
表1果蔬图像库数量统计表
图1为算法处理结果图。图1(a)分别为苹果、橙子及油桃的原图像；图1(b)分别为苹果、橙子及油桃的显著度图像；图1(c)分别为苹果、橙子及油桃的梯度图像；图1(d)分别为苹果、橙子及油桃的最终的裁剪度图像，已较明确的突出了视觉主体(红色为裁剪线，该裁剪长宽比例可自行设定，此处设定为1:1，并且最终缩放为64*64像素尺寸图像)；图1(e)分别为苹果、橙子及油桃的二维OTSU算法示意图(图像分割阈值分别为136、139及97)，该算法主要使用图像的颜色特征进行处理，从(e)中可以明确的看出，该算法处理拍摄环境复杂的图像效果较差，图1(f)分别为苹果、橙子及油桃的自适应Canny算法示意图(苹果图像的高低阈值分别为29.20、11.68，橙子图像的高低阈值分别为24.66、9.86，油桃图像的高低阈值分别为32.55、13.01)，该算法主要使用图像的轮廓特征进行处理，从(f)中可以明确看出，通过轮廓特征获取的图像十分复杂，细节特征过多，很难获得果蔬视觉主体。通过图1进行对比，可知与单一特征处理的算法图像相比，依据图像(d)进行裁剪比依据原图进行裁剪更加容易、便捷、准确，本发明所述算法效果较优。
表2裁剪算法正确度
最终算法正确率如表2所示，在正常光照情况下，除荔枝和冬枣外其他水果正确率均达到90％以上，由于荔枝和冬枣体积较小，受背景纹理影响较大，正确率稍低，但也达到80％以上。过亮或过暗图像正确率基本低于同类果蔬的正常光照图像，油桃、茄子等颜色较暗的果蔬在光照过暗时分割正确率较低，苹果、西红柿等表面光滑的果蔬，在光照过亮时容易反光导致分割错误，因此正确率稍低。根据整体数据来看，整体分割的正确率可达到91％以上，鲁棒性较好。

Claims (2)

1.一种基于视觉主体检测的果蔬识别预处理方法，其特征在于研究采用显著度、梯度能量及位置融合的算法进行裁剪，对于给定图像I，其裁剪度见下式。
W(I)＝S(I)+e(I)+U(I)。
2.根据权利要求1所述的一种基于视觉主体检测的果蔬识别预处理方法，其特征在于本发明研究果蔬图像在复杂环境及光照不受控的条件下果蔬位置的定位技术，使用改进后的流形排序显著性检测算法，在原有技术基础上融合梯度能量及位置信息进行果蔬定位。
CN201710188952.4A 2017-03-27 2017-03-27 一种基于视觉主体检测的果蔬识别预处理方法 Active CN107316037B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710188952.4A CN107316037B (zh) 2017-03-27 2017-03-27 一种基于视觉主体检测的果蔬识别预处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710188952.4A CN107316037B (zh) 2017-03-27 2017-03-27 一种基于视觉主体检测的果蔬识别预处理方法

Publications (2)

Publication Number Publication Date
CN107316037A true CN107316037A (zh) 2017-11-03
CN107316037B CN107316037B (zh) 2020-11-13

Family

ID=60185156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710188952.4A Active CN107316037B (zh) 2017-03-27 2017-03-27 一种基于视觉主体检测的果蔬识别预处理方法

Country Status (1)

Country Link
CN (1) CN107316037B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458032A (zh) * 2019-07-17 2019-11-15 华南农业大学 荔枝生长状况全程监控方法、系统、云服务器及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123717A (zh) * 2013-04-26 2014-10-29 欧姆龙株式会社 图像处理装置、图像处理方法、程序以及记录介质
CN104792398A (zh) * 2015-01-06 2015-07-22 哈尔滨理工大学 一种基于水果蔬菜的识别的一体秤
CN105488758A (zh) * 2015-11-30 2016-04-13 河北工业大学 一种基于内容感知的图像缩放方法
CN105761238A (zh) * 2015-12-30 2016-07-13 河南科技大学 一种通过灰度统计数据深度信息提取显著目标的方法
CN105976378A (zh) * 2016-05-10 2016-09-28 西北工业大学 基于图模型的显著性目标检测方法
CN106127785A (zh) * 2016-06-30 2016-11-16 重庆大学 基于流形排序和随机游走的图像显著性检测方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104123717A (zh) * 2013-04-26 2014-10-29 欧姆龙株式会社 图像处理装置、图像处理方法、程序以及记录介质
CN104792398A (zh) * 2015-01-06 2015-07-22 哈尔滨理工大学 一种基于水果蔬菜的识别的一体秤
CN105488758A (zh) * 2015-11-30 2016-04-13 河北工业大学 一种基于内容感知的图像缩放方法
CN105761238A (zh) * 2015-12-30 2016-07-13 河南科技大学 一种通过灰度统计数据深度信息提取显著目标的方法
CN105976378A (zh) * 2016-05-10 2016-09-28 西北工业大学 基于图模型的显著性目标检测方法
CN106127785A (zh) * 2016-06-30 2016-11-16 重庆大学 基于流形排序和随机游走的图像显著性检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YANG.C ETC: "Saliency Detection via Graph-Based Manifold Ranking", 《IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458032A (zh) * 2019-07-17 2019-11-15 华南农业大学 荔枝生长状况全程监控方法、系统、云服务器及存储介质
CN110458032B (zh) * 2019-07-17 2022-06-14 华南农业大学 荔枝生长状况全程监控方法、系统、云服务器及存储介质

Also Published As

Publication number Publication date
CN107316037B (zh) 2020-11-13

Similar Documents

Publication Publication Date Title
Liu et al. A detection method for apple fruits based on color and shape features
Lu et al. Immature citrus fruit detection based on local binary pattern feature and hierarchical contour analysis
Fu et al. Banana detection based on color and texture features in the natural environment
CN104091147B (zh) 一种近红外眼睛定位及眼睛状态识别方法
Liu et al. A method of segmenting apples at night based on color and position information
CN101630363B (zh) 复杂背景下彩色图像人脸的快速检测方法
Chen et al. A novel color edge detection algorithm in RGB color space
WO2018145470A1 (zh) 一种图像检测方法和装置
Wang et al. Window zooming–based localization algorithm of fruit and vegetable for harvesting robot
CN102147867B (zh) 一种基于主体的国画图像和书法图像的识别方法
Wang et al. Recognition and localization of occluded apples using K-means clustering algorithm and convex hull theory: a comparison
CN103295013A (zh) 一种基于成对区域的单幅图像阴影检测方法
CN101551853A (zh) 复杂静态彩色背景下的人耳检测方法
Yang et al. Real-time traffic sign detection via color probability model and integral channel features
CN102842037A (zh) 一种基于多特征融合的车辆阴影消除方法
Li et al. An improved binocular localization method for apple based on fruit detection using deep learning
Meng et al. Text detection in natural scenes with salient region
CN107292896A (zh) 基于Snake模型的轮廓提取方法
Liu et al. Development of a machine vision algorithm for recognition of peach fruit in a natural scene
CN110969164A (zh) 基于深度学习端对端的低照度成像车牌识别方法及装置
Deshmukh et al. Real-time traffic sign recognition system based on colour image segmentation
CN108491798A (zh) 基于个性化特征的人脸识别方法
CN117197064A (zh) 一种无接触眼红程度自动分析方法
CN107316037A (zh) 一种基于视觉主体检测的果蔬识别预处理方法
CN115862003A (zh) 一种基于轻量化YOLOv5的在体苹果目标检测和分级方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant