CN111583193B - 基于几何轮廓模板匹配的开心果骨架提取装置及其算法 - Google Patents

基于几何轮廓模板匹配的开心果骨架提取装置及其算法 Download PDF

Info

Publication number
CN111583193B
CN111583193B CN202010319017.9A CN202010319017A CN111583193B CN 111583193 B CN111583193 B CN 111583193B CN 202010319017 A CN202010319017 A CN 202010319017A CN 111583193 B CN111583193 B CN 111583193B
Authority
CN
China
Prior art keywords
template
image
matching
skeleton
pistachio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010319017.9A
Other languages
English (en)
Other versions
CN111583193A (zh
Inventor
钟球盛
侯文峰
吴隽
吴瑞祥
周永乾
李耀淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hezhong Power Machinery Factory Gulao Town Heshan City
Guangzhou Panyu Polytechnic
Original Assignee
Hezhong Power Machinery Factory Gulao Town Heshan City
Guangzhou Panyu Polytechnic
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hezhong Power Machinery Factory Gulao Town Heshan City, Guangzhou Panyu Polytechnic filed Critical Hezhong Power Machinery Factory Gulao Town Heshan City
Priority to CN202010319017.9A priority Critical patent/CN111583193B/zh
Publication of CN111583193A publication Critical patent/CN111583193A/zh
Application granted granted Critical
Publication of CN111583193B publication Critical patent/CN111583193B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/30Noise filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/68Food, e.g. fruit or vegetables

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于几何轮廓模板匹配的开心果骨架提取装置及其算法,该装置主要包括:计算机、工业相机、光学镜头、照明装置以及成像装置等。工业相机用于采集开心果骨架图像,计算机通过图像分析与识别得到开心果的轮廓,提取轮廓倾斜角度。该提取算法步骤主要包括:图像采集、中值滤波、HSV变换、选取H通道图像、图像分割、联通性分析、骨架二值化、仿射变化、轮廓提取、构造骨架模板、匹配骨架模板、评价模板重合度、输出最优匹配结果。具体步骤包括:1)开心果进入夹取工位,相机采集图像;2)算法提取骨架及角度位置;3)将位置数据传输给伺服电机,进而驱动夹取结构,实现夹取运动。本发明实现开心果骨架提的智能快速准确提取。

Description

基于几何轮廓模板匹配的开心果骨架提取装置及其算法
技术领域
本发明涉及智能机器视觉领域,具体涉及一种基于几何轮廓模板匹配的开心果骨架提取装置及其算法
背景技术
目前国内坚果市场日趋升高,其中开心果占据大量坚果市场份额,而开心果开壳的生产需要十分庞大,寻找开心果骨架轮廓点进行开壳能使开心果生产美观,减少细微果壳,提高生产质量。而目前最普遍的开壳方法是碾压法,不寻找开心果骨架轮廓,直接使用生产机器碾压开心果进行开壳。但是碾压法受开心果形状的影响,容易导致开壳不均匀,果壳果肉混杂,需要人工进行分捡作业,剔除细微果壳,因此增加人工成本,生产效率低。
公开号为CN209733763U的中国专利提出了一种新型家用坚果开壳器该坚果开壳器通过夹持组件对坚果进行挤压开壳。但是这种方法难以应对不同大小的坚果,对于开心果这类较小型坚果,不能通过其骨架进行开壳,容易导致开心果果壳破碎、飞溅,开壳效果不够好。
公开号为CN106974303B的中国专利提出了一种坚果开壳装置,该装置通过偏心轮、传动块和弹簧的偏心运动推动击打锤对坚果进行打击,从而完成开壳工作。但是这种装置不能很好地控制击打力度,容易导致开壳不完全,或者果肉果壳因开壳混杂在一起,增加后期人工成本。
综上,本领域急需能快速有效检测开心果骨架轮廓点的方法,方便后续生产,提高生产效率,降低人工成本。
发明内容
本发明目的在于提供一种基于几何轮廓模板匹配的开心果骨架提取装置及其算法,实现开心果骨架提的智能快速准确提取,解决了开心果生产线开壳效率低,人工成本高的问题。
为达上述目的,本发明提出了一种基于几何轮廓模板匹配的开心果骨架提取装置,包括:载物台、所述载物台上设置有信号连接的计算机、工业相机和光学镜头,所述载物台上设置有照明装置和成像装置等。所述成像装置由进料传送带、传送带轮和光电传感器和伺服电机组成,所述工业相机用于获取开心果轮廓原始图,所述照明装置用于提供光线照射在开心果外观表面。
进一步的,所述照明装置还包括工业球积分光源和光源控制器,所述光源控制器连接有工业球积分光源,所述工业球积分光源设置于照明装置结构架上,并与载物台的上表面呈90°垂直角度。
更进一步的,所述工业球积分光源位于工业相机轴心的正前方。
进一步的,所述光电传感器设置在所述进料传送带前方,并垂直于所述工业相机轴心的方向上,所述进料传送带凹槽为椭圆形,所述开心果放置在所述进料传送带凹槽中。所设计的凹槽与开心果的外壳形貌完美贴合。
进一步的,所述伺服电机连接在所述传送带轮上,所述传送带轮带动所述进料传送带。
进一步的,所述工业相机连接有计算机,所述计算机通过工业相机驱动实现工业相机成像参数的控制与调节。
为达上述目的,本发明还提出了一种基于几何轮廓模板匹配的开心果骨架提取算法,包括以下步骤:
步骤1、获取开心果轮廓原始彩色图片;
步骤2、将所述彩色图像进行HSV空间转化,并选取H通道作为后续步骤操作的通道;
步骤3、采用中值滤波器,将选取到的H通道图像进行过滤,消除噪声点;
步骤4、基于全局阈值,将消除噪声后的图像进行分割,并选出所需的开心果图像区域;
步骤5、将上一步取得的开心果图像区域进行二值化处理,获得骨架轮廓提取图;
步骤6、基于开心果骨架轮廓中心点和角度,将骨架轮廓提取图进行刚性仿射变换;
步骤7、将骨架轮廓提取出来,并制作成多模板;
步骤8、将相机获取的图像与已经生成的骨架轮廓多模板进行匹配,寻找相似的多个骨架轮廓点;
步骤9、将多个骨架轮廓点进行比较,选取最优骨架轮廓点作为结果输出。
进一步的,步骤3中的中值滤波是非线性图像去噪方法,在空间域进行去噪处理,可以在取得较好的去噪效果的同时更好的保护好图像的边缘部分信息。其去噪原理:是利用当前待处理像素的邻域,将该邻域内像素点的灰度值进行排序,选取其中的中值作为中值滤波的中值,将待处理像素的灰度值替换为该中值。按照此方法对图像中所有的像素点依次做相同处理,最终得到的图像即为去噪后的图像。假设点(x,y)处的灰度值为f(x,y),取3x3邻域S,对S中的9个像素点的灰度值(包括:a1,a2,a3,a4,a5,a6,a7,a8,a9)进行升序排序,得到中位数,则经过处理后点(x,y)的灰度值可表述为公式为式(1):
f(x,y)=Med[a1,a2,a3,a4,a5,a6,a7,a8,a9] (1)
进一步的,步骤6中的刚性仿射变换矩阵HD表述为式(2),如下:
Figure BDA0002460643040000031
其中,R为旋转矩阵,T为平移矢量,共同构成了仿射变换矩阵HD。假设(Row1,column1)为轮廓点的原始坐标,(Row2,column2)为经过刚性仿射变换后的坐标,可表述为公式(3)。
Figure BDA0002460643040000032
进一步的,步骤8中将相机获取的图像与已经生成的骨架轮廓多模板进行匹配,其原理如下:
待匹配图像大小记为S(W,H),W和H分别为该图像宽和高,模板为大小记为T(X,Y),X和Y分别为该模板宽和高,匹配从左上角开始,因步骤5时将图像进行二值化操作,当前图像上像素点灰度值为1或0,所以用相同坐标下的模板灰度值与待匹配图像的灰度值进行相减求和运算可得,当前匹配区域分数:
Figure BDA0002460643040000033
其中i和j分别表示像素横坐标和纵坐标,若当前匹配区域与模板越相似,则Escore会尽可能小,反之Escore趋于增大,若当前匹配区域与模板完全一致,则Escore为0。待当前匹配区域分数得出结果时,则模板移动到下一匹配区域进行匹配运算。
更进一步的,步骤8中的匹配算法中的模板移动步长设为(0.1X+Δxt)个像素。学习率Δxt可以根据当前匹配区域分数动态调整模板移动步长。若当前匹配分数较小时,表示可能的目标将会出现在附件,则降低移动步长,仔细搜索附近区域进行精确匹配,寻找是否有最优模板的目标;反之,若当前匹配分数较大时,则增加移动步长,加快匹配速度,可表述为公式(5),如下:
Figure BDA0002460643040000034
其中η表示初始学习率默认设置为0.01,Escore表示当前区域匹配分数,
Figure BDA0002460643040000041
表示从1到t次匹配中,对历史匹配分数平方后累加,然后开平方,加快收敛速度,ε是一个极小值,作用是为了防止分母为0,随着匹配模板不断移动,学习率变化量会逐渐减小。
进一步的,步骤8中当前模板最优骨架轮廓点通过K阈值选取,其公式如下:
Figure BDA0002460643040000042
其中W表示模板移动次数,
Figure BDA0002460643040000043
表示所有匹配结果分数之和,通过K阈值筛选,只有小于K阈值的匹配结果才会被考虑。其中0.3为经验值,人为设定的,也就是只有匹配分数足够小我才会考虑它,匹配分数大的点不考虑。当K阈值筛选完后,再从所得结果中选取Escore最小值对应的匹配目标,即为当前模板匹配到的最优骨架轮廓点。后续模板循环此过程,在此不再赘述。
进一步的,步骤9中最优骨架轮廓点从步骤8多模板匹配的多个结果中产生,选取多个最优骨架轮廓点中Escore值最小值对应的匹配目标的为最终输出结果。
附图说明
图1为开心果骨架轮廓提取结构装置的机械结构示意图;
图2为开心果骨架轮廓提取的工作流程图;
图3为开心果骨架轮廓提取的算法流程图;
图4、5、6、7、8为开心果外部轮廓图;
图9、10、11、12、13为开心果带骨架外部轮廓图;
图14、15、16、17为图4-7的4种开心果骨架轮廓提取图,
见图1,101、计算机,102、工业相机,103、光学镜头,104、光源控制器,105、照明装置结构架,106、工业球积分光源,107、开心果,108、进料传送带,109、传送带轮,110、伺服电机,111、光电传感器。
具体实施方式
结合附图和具体实施方式对本发明进行详细说明。
如图1所示,本发明提供的一种基于几何轮廓模板匹配的开心果骨架提取装置。包括:载物台,在所述载物台上设置有信号连接的计算机101和工业相机102,工业相机102、光学镜头103,所述载物台上还设置有照明装置和成像装置,照明装置机械结构支架105上装置有工业球积分光源106,工业球积分光源106由光源控制器104控制光源亮度等参数,进料传送带108上放置有开心果107,开心果107前方设置有光电传感器111,光电传感器检测开心果107是否已经到达成像位置,伺服电机110输出动力带动传送带轮109,传送带轮109带动进料传送带108完成传送工作。
进一步的,工业球积分光源106设置于照明装置结构架105上,并与载物台水平面呈90°垂直角度,可避免照明光线不均匀,影响成像质量,以及影响后续图像处理步骤。
事例性的,工业球积分光源106为大功率高亮球积分光源。
进一步的,工业相机102还连接有光电传感器111,光电传感器111位于开心果107正下方。当开心果107运动到光电传感器111位置时,光电传感器111发出信号,工业相机102收到感应信号后触发成像,采集开心果原始图像。
如图2所示,本发明提供的一种基于几何轮廓模板匹配的开心果骨架提取装置工作流程,包括以下步骤:
S201:开心果在传送带的带动下向前运动,开心果运动到指定检测工位,成像装置用于开心果成像;
S202:当开心果运动到指定位置时,外触发传感器收到信号响应;
S203:外触发传感器驱动隔离电路,隔离电路给相机发出信号;
S204:工业相机接收到采图信号;
S205:工业相机开始采集开心果原始图像;
S206:开心果原始图像被传输到计算机上;
S207:图像被智能视觉图像处理软件进行处理与识别;
S208:经过算法搜索处理后,计算机可输出开心果骨架的最优轮廓点,并将骨架轮廓点位置信息转化为脉冲信号,然后传递传给夹取工位;
S209:夹取工位完成开心果骨架开壳工作;
S210:开心果流向下一工位;
如图3所示,本发明所采用的另一种基于几何轮廓模板匹配的算法技术方案是:一种基于几何轮廓模板匹配的开心果骨架提取算法,包括以下步骤:
S301:获取开心果轮廓原始彩色图片;
S302:将所述彩色图像进行HSV空间转化,并选取H通道作为后续步骤操作的通道;
S303:采用中值滤波器,将选取到的H通道图像进行过滤,消除噪声点。
其中,S303采用的是中值滤波,是考虑到虽然均值滤波和中值滤波都可以起到平滑图像,滤去噪声的功能,但均值滤波采用的是线性的方法,平均整个窗口范围内的像素值,导致在图像去噪的同时也破坏了图像的细节部分,从而使图像变得模糊,不能很好的去除噪声点,不能很好地保护图像细节,这是均值滤波本身存在的固有缺陷,所以均值滤波对高斯噪声表现较好,对椒盐噪声表现较差。而中值滤波采用非线性的方法,它在平滑脉冲噪声方面非常有效,同时它可以保护图像尖锐的边缘,选择适当的点来替代污染点的值,所以处理效果好,对椒盐噪声表现较好,对高斯噪声表现较差。
特别地,对于图像在应用滤波器进行过滤时,边界问题也是一个需要处理的问题。本发明采用了填充“0”的处理方法,具体如下:对图像的边界做扩展,在扩展边界中填充0,对于边长为2k+1的方形滤波器,扩展的边界大小为k,若原来的图像为[m,n],则扩展后图像变为[m+2k,n+2k]。进行滤波之后,图像会出现一条黑色的边框。
S304:基于全局阈值,将消除噪声后的图片进行分割,并选出所需的开心果图像区域;
S305:将上一步取得的开心果图像区域进行二值化操作,并截取开心果骨架轮廓;
其中,S305中采用的二值化操作采用最佳阈值的图像分割方法。该方法是按图像的灰度特性,将图像分成背景和目标两部分,或者说,是寻找一个阈值为K,将图像的颜色分为0,1,2.....K和K+1.....,254,255两部分。算法分类的原理是让背景和目标之间的类间方差最大,因为背景和目标之间的类间方差越大,说明构成图像的2部分的差别越大,错分的可能性越小。
记T为前景与背景的分割阈值,前景点数占图像比例为w0,平均灰度为u0;背景点数占图像比例为w1,平均灰度为u1,图像的总平均灰度为u,前景和背景图象的方差,则有:
Figure BDA0002460643040000061
联立上面两式可得:
g=w0×w1×(u0-u1)2 (8)
Figure BDA0002460643040000062
当方差g最大时,可以认为此时前景和背景差异最大,此时的灰度T是最佳阈值。
S306:基于开心果骨架轮廓中心点和角度,将开心果骨架轮廓图像进行刚性仿射变换;
其中,S306中的刚性仿射变换矩阵HD表述如下:
Figure BDA0002460643040000071
其中,R为旋转矩阵,T为平移矢量,共同构成了仿射变换矩阵HD。假设(Row1,column1)为轮廓点的原始坐标,(Row2,column2)为经过刚性仿射变换后的坐标,可表述为公式(3)。
Figure BDA0002460643040000072
经过刚性仿射变换,可以清晰的观察开心果骨架轮廓与几何模板是否高度重合,实现可视化地观察几何轮廓模板匹配的正确性。
S307:将骨架轮廓提取出来,并制作成多模板;
S308:将相机获取的图像与已经生成的骨架轮廓多模板进行匹配,寻找相似的多个骨架轮廓点
其中,S308中将相机获取的图像与已经生成的骨架轮廓多模板进行匹配,其原理如下:
待匹配图像大小记为S(W,H),W和H分别为该图像宽和高,模板为大小记为T(X,Y),X和Y分别为该模板宽和高,匹配从左上角开始,因S305时将图像进行二值化操作,当前图像上像素点灰度值为1或0,所以用相同坐标下的模板灰度值与待匹配图像的灰度值进行相减求和运算可得,当前匹配区域分数:
Figure BDA0002460643040000073
其中i和j分别表示像素横坐标和纵坐标,若当前匹配区域与模板越相似,则Escore会尽可能小,反之Escore趋于增大,若当前匹配区域与模板完全一致,则Escore为0。待当前匹配区域分数得出结果时,则模板移动到下一匹配区域进行匹配运算。
更进一步的,S308中的匹配算法中的模板移动步长设为(0.1X+学习率Δxt)个像素,学习率Δxt可以根据当前匹配区域分数动态调整模板移动步长,若当前匹配分数较小时,则降低移动步长,仔细搜索附近区域是否有最优模板,反之,若当前匹配分数较大时,则增加移动步长,加快匹配速度,其公式如下:
Figure BDA0002460643040000081
其中η表示初始学习率,默认设置为0.01,Escore表示当前区域匹配分数,
Figure BDA0002460643040000082
表示从1到t次匹配中,对历史匹配分数平方后累加,然后开平方,加快收敛速度,ε是一个极小值,作用是为了防止分母为0,随着匹配模板不断移动,学习率变化量会逐渐减小。
进一步的,步骤8中当前模板最优骨架轮廓点通过K阈值选取,其公式如下:
Figure BDA0002460643040000083
其中W表示模板移动次数,
Figure BDA0002460643040000084
表示所有匹配结果分数之和,通过K阈值筛选,只有小于K阈值的匹配结果才会被考虑,当K阈值筛选完后,再从所得结果中选取Escore最小的那一个,即为当前模板匹配到的最优骨架轮廓点。后续模板循环此过程,在此不再赘述。
S309:将多个骨架轮廓点进行比较,选取最优骨架轮廓点作为结果输出。
其中,S309中最优骨架轮廓点从S308多模板匹配的多个结果中产生,选取多个最优骨架轮廓点中Escore值最小的为最终输出结果。
如图4-8所示,图4、5、6、7、8表示的是5种开心果外部轮廓图(因为开心果天生的结构造型无法确定,影响因素过多,在此仅仅举例5种类型,以作说明),其外部粗线条表示的是开心果外部轮廓,其内部粗线条表示的是开心果尾部构造区。其中图4、5图表示的是普通型开心果外部轮廓图,其形状特征类似椭圆,骨架轮廓较为明显,图6、7图表示的是细尖型开心果外部轮廓图,其形状特征类似棱形,两侧骨架较为尖细,图8图表示的是胖圆型开心果外部轮廓图,其形状特征类似圆,整体较为圆润,两侧骨架较为不明显。
如图9-13所示,图9、10、11、12、13表示的是5种开心果带骨架外部轮廓图(因为开心果天生的结构造型无法确定,影响因素过多,此处做示例用,仅仅举例5种),图9、10、11、12、13的形状特征图4-8中已说明,此处不再赘述,须注明其中连接开心果外部轮廓与开心果尾部构造区的粗线条表示的是开心果骨架,因普通型与细尖型开心果天生造型原因,其中间大,两端小,骨架较为明显,即图9、10、11、12四图所示,而胖圆型开心果,其天生造型较为圆润,果肉厚实,整体形状类似圆形,骨架较为不明显,即图13所示。
如图14-17所示,图14、15、16、17表示的是4种开心果骨架轮廓提取图,其中14、15、16表示的是从普通型与细尖型开心果外部轮廓图中制作的模板,此类骨架模板角度均小于90度,属于锐角,在算法流程中有较好的表现。图17表示的是从胖圆型开心果中制作的模板,此类模板角度均大于90度,大于锐角,且因胖圆型开心果天生形状特征,所制作而成的骨架模板与果壳其他轮廓较为相似,对后续匹配算法准确性有所影响。
具体而言,图14为普通型,其开心果制作成的模板,外轮廓与骨架的交点处大多出现较大的锐角,其模板角度均为40°至75°。图15与图16为细尖型,其开心果制作成的模板,外轮廓与骨架的交点处大多出现较小的锐角,其模板角度均为30°至60°。图17为胖圆型,其开心果制作成的模板,整体外形轮廓类似圆形结构,外轮廓与骨架的交点处大多出现较大的钝角,其模板角度均为90°至120°。
本发明的上述实施例仅仅是为清楚地说明本发明所作的举例,而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说,在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明权利要求的保护范围之内。

Claims (7)

1.一种基于几何轮廓模板匹配的开心果骨架提取算法,其特征在于,包括以下步骤:
步骤1、获取开心果轮廓的原始彩色图像;
步骤2、将所述原始彩色图像进行HSV空间转化,并选取H通道作为后续步骤操作的通道;
步骤3、采用中值滤波器,将选取到的H通道图像进行过滤,消除噪声点;
步骤4、基于全局阈值,将消除噪声后的图片进行分割,并选出所需的开心果图像区域;
步骤5、将上一步取得的开心果图像区域进行二值化操作,并截取开心果骨架轮廓;
步骤6、基于开心果骨架轮廓中心点和角度,将开心果骨架轮廓图像进行刚性仿射变换;
步骤7、将仿射变换后的开心果骨架轮廓制作成多模板;
步骤8、将相机获取的图像与已经生成的骨架轮廓多模板进行匹配,寻找相似的多个骨架轮廓点;所述步骤8中将相机获取的图像与已经生成的骨架轮廓多模板进行匹配,其原理如下:
待匹配图像大小记为S(W,H),W和H分别为该图像宽和高,模板为大小记为T(X,Y),X和Y分别为该模板宽和高,匹配从左上角开始,因步骤5时将图像进行二值化操作,当前图像上像素点灰度值为1或0,所以用相同坐标下的模板灰度值与待匹配图像的灰度值进行相减求和运算可得,当前匹配区域分数:
Figure FDA0002965697750000011
其中i和j分别表示像素横坐标和纵坐标,若当前匹配区域与模板越相似,则Escore会尽可能小,反之Escore趋于增大,若当前匹配区域与模板完全一致,则Escore为0;待当前匹配区域分数得出结果时,则模板移动到下一匹配区域进行匹配运算;
更进一步的,步骤8中的匹配算法中的模板移动步长设为(0.1X+学习率Δxt)个像素,学习率Δxt可以根据当前匹配区域分数动态调整模板移动步长,若当前匹配分数较小时,则降低移动步长,仔细搜索附近区域是否有最优模板,反之,若当前匹配分数较大时,则增加移动步长,加快匹配速度,其公式如下:
Figure FDA0002965697750000021
其中η表示初始学习率默认设置为0.01,Escore表示当前区域匹配分数,
Figure FDA0002965697750000022
表示从1到t次匹配中,对历史匹配分数平方后累加,然后开平方,加快收敛速度,ε是一个极小值,作用是为了防止分母为0,随着匹配模板不断移动,学习率变化量会逐渐减小;
进一步的,步骤8中当前模板最优骨架轮廓点通过K阈值选取,其公式如下:
Figure FDA0002965697750000023
其中W表示模板移动次数,
Figure FDA0002965697750000024
表示所有匹配结果分数之和,通过K阈值筛选,只有小于K阈值的匹配结果才会被考虑,当K阈值筛选完后,再从所得结果中选取Escore最小的那一个,即为当前模板匹配到的最优骨架轮廓点;
步骤9、将多个骨架轮廓点进行比较,选取最优骨架轮廓点作为结果输出。
2.如权利要求1所述的一种基于几何轮廓模板匹配的开心果骨架提取算法,其特征在于,所述步骤5中采用的二值化操作是按图像的灰度特性,将图像分成背景和目标两部分,记T为前景与背景的分割阈值,前景点数占图像比例为w0,平均灰度为u0;背景点数占图像比例为w1,平均灰度为u1,图像的总平均灰度为u,前景和背景图象的方差,则有:
Figure FDA0002965697750000025
联立上面两式可得:
g=w0×w1×(u0-u1)2 (8)
Figure FDA0002965697750000026
当方差g最大时,可以认为此时前景和背景差异最大,此时的灰度T是最佳阈值。
3.如权利要求1所述的一种基于几何轮廓模板匹配的开心果骨架提取算法,其特征在于,所述步骤1中用于采集原始图像的开心果有三种类型(1)普通型(2)细尖型(3)胖圆型,其对应骨架有以下特点:
1)普通型;开心果骨架比较明显,果壳中间大两端小;
2)细尖型;开心果骨架较为明显,果壳中间不大,一端或两端成尖细状;
3)胖圆型;开心果骨架较为不明显,果壳中间大,两端较为圆润。
4.如权利要求1所述的一种基于几何轮廓模板匹配的开心果骨架提取算法,其特征在于,所述步骤7中将开心果骨架轮廓制作成的多模板有如下特征:
1)普通型;开心果制作成的模板,外轮廓与骨架的交点处大多出现较大的锐角,其模板角度均为40°至75°;
2)细尖型;开心果制作成的模板,外轮廓与骨架的交点处大多出现较小的锐角,其模板角度均为30°至60°;
3)胖圆型;开心果制作成的模板,整体外形轮廓类似圆形结构,外轮廓与骨架的交点处大多出现较大的钝角,其模板角度均为90°至120°。
5.一种基于几何轮廓模板匹配的开心果骨架提取装置,其特征在于,用于实现如权利要求1至4任一所述的一种基于几何轮廓模板匹配的开心果骨架提取算法,包括载物台;所述载物台上设置有信号连接的计算机、工业相机和光学镜头,所述载物台上设置有照明装置和成像装置;所述工业相机与所述光学镜头连接,所述照明装置还包括光源控制器,所述光源控制器连接有工业球积分光源,所述工业球积分光源在所述照明装置上;所述工业球积分光源,与所述光学镜头同轴心,并与所述载物台水平面成垂直角度;所述成像装置将开心果运送到指定地点,所述工业相机被触发拍摄所述开心果原始彩色图像并传输给所述计算机,所述计算机通过图像得到开心果骨架轮廓提取图,并与预设模板进行匹配,输出开心果骨架轮廓点。
6.如权利要求5所述的一种基于几何轮廓模板匹配的开心果骨架提取装置,其特征在于,所述成像装置包括进料传送带,所述传送带连接有传送带轮,所述传送带轮连接有伺服电机,所述进料传送带前方装置有光电传感器。
7.如权利要求6所述的一种基于几何轮廓模板匹配的开心果骨架提取装置,其特征在于,所述进料传送带上方的凹槽为椭圆形,开心果放置在所述进料传送带凹槽中。
CN202010319017.9A 2020-04-21 2020-04-21 基于几何轮廓模板匹配的开心果骨架提取装置及其算法 Active CN111583193B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010319017.9A CN111583193B (zh) 2020-04-21 2020-04-21 基于几何轮廓模板匹配的开心果骨架提取装置及其算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010319017.9A CN111583193B (zh) 2020-04-21 2020-04-21 基于几何轮廓模板匹配的开心果骨架提取装置及其算法

Publications (2)

Publication Number Publication Date
CN111583193A CN111583193A (zh) 2020-08-25
CN111583193B true CN111583193B (zh) 2021-04-23

Family

ID=72116802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010319017.9A Active CN111583193B (zh) 2020-04-21 2020-04-21 基于几何轮廓模板匹配的开心果骨架提取装置及其算法

Country Status (1)

Country Link
CN (1) CN111583193B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583193B (zh) * 2020-04-21 2021-04-23 广州番禺职业技术学院 基于几何轮廓模板匹配的开心果骨架提取装置及其算法
CN112241690B (zh) * 2020-09-25 2022-12-27 天津大学 一种bim驱动的输水渠道航拍图像兴趣区提取方法
CN113610761B (zh) * 2021-07-06 2023-11-17 上海望友信息科技有限公司 判断断头线的方法、装置、电子设备及存储介质
CN114554294A (zh) * 2022-03-04 2022-05-27 天比高零售管理(深圳)有限公司 一种直播内容的过滤和提示方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1473658A2 (en) * 2003-03-15 2004-11-03 Samsung Electronics Co., Ltd. Preprocessing device and method for recognizing image characters
CN101247472A (zh) * 2008-03-26 2008-08-20 北京航空航天大学 一种基于运动补偿的去隔行处理方法
CN101339117A (zh) * 2008-08-08 2009-01-07 华中科技大学 稻米参数自动测量装置及方法
CN106666785A (zh) * 2017-01-13 2017-05-17 湖南理工学院 一种翻炒干果的装置及方法
CN108257146A (zh) * 2018-01-15 2018-07-06 新疆大学 运动轨迹显示方法及装置
CN108830838A (zh) * 2018-05-28 2018-11-16 江苏大学 一种亚像素级的pcb板残缺基准点检测方法
CN109671084A (zh) * 2018-11-15 2019-04-23 华东交通大学 一种工件形状的测量方法
CN109886325A (zh) * 2019-02-01 2019-06-14 辽宁工程技术大学 一种非线性颜色空间分类的模板选择与加速匹配方法
CN110030927A (zh) * 2019-03-27 2019-07-19 中北大学 核桃检测设备
CN111583193A (zh) * 2020-04-21 2020-08-25 广州番禺职业技术学院 基于几何轮廓模板匹配的开心果骨架提取装置及其算法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108120715B (zh) * 2016-11-30 2023-10-13 中国科学院沈阳自动化研究所 一种基于机器视觉的玉米籽粒破碎率在线检测方法及装置
CN107239761B (zh) * 2017-06-05 2020-03-27 山东农业大学 基于骨架角点检测的果树拉枝效果评价方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1473658A2 (en) * 2003-03-15 2004-11-03 Samsung Electronics Co., Ltd. Preprocessing device and method for recognizing image characters
CN101247472A (zh) * 2008-03-26 2008-08-20 北京航空航天大学 一种基于运动补偿的去隔行处理方法
CN101339117A (zh) * 2008-08-08 2009-01-07 华中科技大学 稻米参数自动测量装置及方法
CN106666785A (zh) * 2017-01-13 2017-05-17 湖南理工学院 一种翻炒干果的装置及方法
CN108257146A (zh) * 2018-01-15 2018-07-06 新疆大学 运动轨迹显示方法及装置
CN108830838A (zh) * 2018-05-28 2018-11-16 江苏大学 一种亚像素级的pcb板残缺基准点检测方法
CN109671084A (zh) * 2018-11-15 2019-04-23 华东交通大学 一种工件形状的测量方法
CN109886325A (zh) * 2019-02-01 2019-06-14 辽宁工程技术大学 一种非线性颜色空间分类的模板选择与加速匹配方法
CN110030927A (zh) * 2019-03-27 2019-07-19 中北大学 核桃检测设备
CN111583193A (zh) * 2020-04-21 2020-08-25 广州番禺职业技术学院 基于几何轮廓模板匹配的开心果骨架提取装置及其算法

Also Published As

Publication number Publication date
CN111583193A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111583193B (zh) 基于几何轮廓模板匹配的开心果骨架提取装置及其算法
CN110866903B (zh) 基于霍夫圆变换技术的乒乓球识别方法
CN111104943B (zh) 基于决策级融合的彩色图像感兴趣区域提取方法
CN107784669A (zh) 一种光斑提取及其质心确定的方法
WO2018232518A1 (en) DETERMINING POSITIONS AND OBJECT ORIENTATIONS
CN104298996B (zh) 一种应用于仿生机器鱼的水下主动视觉跟踪方法
CN107358627B (zh) 基于Kinect相机的果实尺寸检测方法
CN106875412B (zh) 一种两个重叠果实的分割定位方法
CN111402238A (zh) 一种通过机器视觉实现的缺陷标识系统
CN109559324A (zh) 一种线阵图像中的目标轮廓检测方法
CN109190456B (zh) 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法
CN111524101A (zh) 一种基于机器视觉技术的电子屏幕缺陷检测方法
CN110607405A (zh) 基于机器视觉工业应用的皮革内轮廓识别切割装置及方法
CN111161295A (zh) 一种菜品图像背景剥离方法
CN110930321A (zh) 一种能够自动选取目标区域的蓝/绿幕数字图像抠取方法
Yusuf et al. Blob analysis for fruit recognition and detection
CN109684941A (zh) 一种基于matlab图像处理荔枝果实采摘区域划分方法
CN109781737A (zh) 一种软管表面缺陷的检测方法及其检测系统
CN110807763A (zh) 一种陶瓦表面鼓包检测方法及系统
CN115661110A (zh) 一种透明工件识别与定位的方法
CN114004814A (zh) 一种基于深度学习和灰度三阶矩分析的煤矸石识别方法及系统
CN115100104A (zh) 玻璃油墨区的缺陷检测方法、装置、设备及可读存储介质
CN113628202B (zh) 一种确定方法、清洁机器人和计算机存储介质
CN111476074A (zh) 基于毫米波图像的人体异物检测方法
CN116594351A (zh) 一种基于机器视觉的数控加工单元系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant