CN110070558A - 一种基于图像处理和分区检测的统计分拣方法及装置 - Google Patents

一种基于图像处理和分区检测的统计分拣方法及装置 Download PDF

Info

Publication number
CN110070558A
CN110070558A CN201910290967.0A CN201910290967A CN110070558A CN 110070558 A CN110070558 A CN 110070558A CN 201910290967 A CN201910290967 A CN 201910290967A CN 110070558 A CN110070558 A CN 110070558A
Authority
CN
China
Prior art keywords
image
sorting
area
image data
profile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910290967.0A
Other languages
English (en)
Inventor
曹朋军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xi'an Star Boat Tianqi Intelligent Equipment Co Ltd
Original Assignee
Xi'an Star Boat Tianqi Intelligent Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xi'an Star Boat Tianqi Intelligent Equipment Co Ltd filed Critical Xi'an Star Boat Tianqi Intelligent Equipment Co Ltd
Priority to CN201910290967.0A priority Critical patent/CN110070558A/zh
Publication of CN110070558A publication Critical patent/CN110070558A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00—Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34—Sorting according to other particular properties
    • B07C5/342—Sorting according to other particular properties according to optical properties, e.g. colour
    • B07C5/3422—Sorting according to other particular properties according to optical properties, e.g. colour using video scanning devices, e.g. TV-cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于图像处理和分区检测的统计分拣方法及装置，采用图像处理方法对输入的图像进行过滤和特征提取，输入的图像格式为MJPEG或YUV格式，输入图像的帧频在10帧以上，输入图像的视场范围完全覆盖被检物体传送带的宽度；然后采用分区计算对被检物体进行数量统计，根据数量统计结果使用颜色、面积、形状特征实现分拣。本发明集数量统计和分类分拣于一身，尤其是对较宽的传送带，需要的设备可以做到小巧、简单，并且可以很好的和带有操作系统的检测设备嵌套在一起，利于网络管理数量巨大的单体设备，且可以极大的简化分拣机械结构的设计。

Description

一种基于图像处理和分区检测的统计分拣方法及装置
技术领域
本发明属于图像信息提取和识别范畴技术领域，具体涉及一种基于图像处理和分区检测的统计分拣方法及装置。
背景技术
目前，在很多场合都需要对一些数量巨大且具有一定特征的物体进行统计和分拣，如大型的养鸡场需要统计每个鸡舍的产蛋数量从而判断鸡的整体健康状况和当前的配料是否合适，并且需要对不同的鸡蛋品质进行分拣打包好方便销售，果园需要统计产出的水果数量从而判断果树的出果量，同样也需要对不同的水果品质进行分拣从而以不同的价格销售以产生最大利润，同理蔬菜种植基地、产品生产线等都需要此类的统计和分拣技术。基于图像处理的统计和分拣方法可以为此提供一个很好的支撑。
现在用于现场统计大量规则物体的方法主要为红外计数方法，用于现场分拣的方法主要是根据被检物体的重量并配合复杂的机械结构实现分拣。红外计数方法采用红外脉冲波的方式实现计数，由于功能较为单一，一般使用单片机进行控制和统计，且无法使用网络和现场存储大量数据，不利于设备的远程管理和数据分析，而根据重量进行分拣的方法，一是需要配合的机械结构复杂，二是分拣信息单一、不直观，可能会存在分拣错误或不准确的情况。另外，目前的计数和分拣设备一般是分离的，不利于统一操作和管理。
随着技术的发展，图像采集设备越来越先进、价格也越来越低，大规模的布局到生产现场的条件越趋成熟，一种基于图像处理和分区检测的集计数和分拣功能于一体的方法对需要计数和分拣的场合具有重要意义。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于图像处理和分区检测的统计分拣方法及装置，利用对动态视频图像的分析实现对被检物体的计数和分拣功能。
本发明采用以下技术方案：
一种基于图像处理和分区检测的统计分拣方法，采用图像处理方法对输入的图像进行过滤和特征提取，输入的图像格式为MJPEG或YUV格式，输入图像的帧频在10帧以上，输入图像的视场范围完全覆盖被检物体传送带的宽度；然后采用分区计算对被检物体进行数量统计，根据数量统计结果使用颜色、面积、形状特征实现分拣。
具体的，对输入图像进行过滤和特征提取具体为：
S101、获取被检物体的使用环境图像，根据被检物体的特征和使用背景，进行颜色提取；
S102、采集图像后，按照已获取的最优HSV颜色空间过滤参数滤除大面积和强干扰的背景，得到颜色过滤后的含有小干扰的图像数据D_A；
S103、对图像数据D_A进行灰度处理和二值化处理，得到二值图像数据D_B；
S104、对图像数据D_B进行腐蚀操作得到腐蚀后的图像数据D_C，腐蚀操作的结构元素根据被检物体的形状和大小选择；
S105、对图像数据D_C进行膨胀操作，得到膨胀后的图像数据D_D；
S106、在图像数据D_D的基础上，去除符合面积条件的轮廓矩形，得到图像数据D_E；
S107、在图像数据D_E的基础上，去除符合面积条件的轮廓矩形，得到图像数据D_F；
S108、继续进行步骤S107，直到图像中的所有轮廓均符合面积条件，并得到中心点坐标集合vector<Point>CenterPoints。
进一步的，步骤S101中，将采集到的图像数据转换到HSV颜色空间，提取被检物体特征颜色值F_H，F_S，F_V范围和强干扰背景的特征颜色值B_H，B_S，B_V的范围，得到最优HSV颜色空间过滤参数H_MIN，H_MAX，S_MIN，V_MIN。
进一步的，步骤S106中，在图像数据D_D的基础上寻找外轮廓，得到轮廓集合，对所有轮廓进行面积过滤，筛选符合条件的轮廓，并计算轮廓的中心点坐标，对不符合面积条件的轮廓，在图像数据D_D的基础上，去除符合面积条件的轮廓矩形，得到图像数据D_E。
进一步的，步骤S107中，对图像数据D_E进行腐蚀和膨胀操作，膨胀操作的结构元素尺寸小于腐蚀操作的结构元素尺寸，寻找外接轮廓，得到轮廓集合，对所有轮廓进行第二次面积条件过滤，筛选符合条件的轮廓，并计算轮廓中心点坐标，对不符合面积条件的轮廓，在图像数据D_E的基础上，去除符合面积条件的轮廓矩形，得到图像数据D_F。
具体的，使用分区计算的方式对被检物体实现数量统计具体为：
S201、将图像从上到下依次分为待检区、检测区和删除区，分别用检测线和删除线区分，检测线上方的区域为待检区，检测线下方和删除线上方的区域为检测区，删除线下方的区域为删除区，相应的图像中所有中心点的状态也分为检测线之前preLineflag，检测线和删除线之间 curLineflag，以及删除线之后delLineflag；
S201、根据图像处理模块得到的中心点坐标集合，判断所有中心点所在的区域，对已过删除线和未过删除线的中心点进行分别计数，得到DN_F和DN_B；
S202、对于已装载的中心点，进行跟踪匹配，对于匹配合适的中心点，根据其在图像中的所处位置进行状态更新，将未匹配上的中心点清零，对于未装载的中心点进行装载，装载过程为装载当前中心点坐标和装载预测的下一帧图像中该中心点的坐标；
S203、对停止状态进行判断，当检测到一帧图像处于停止状态时stop_go_flag标志加1，不对图像内容进行匹配和状态更新，当连续检测到60帧图像都处于停止状态时stop_go_flag 标志大于60，将对停止状态进行确认，不再执行计数逻辑；
S204、根据图像中所有已装载中心点的preLineflag和curLineflag状态，以及停止状态，确定是否对已匹配和装载好的中心点进行计数。
进一步的，步骤S201中，在每一帧的图像中均对已装载的中心点进行匹配，对于未装载的中心点进行装载。
具体的，使用颜色、面积、形状特征实现分拣的具体方法如下：
S301、根据被检物体特征，利用图像处理的方式对被检物体的颜色、形状、面积进行分类，对分类结果进行分档排列，结合分类方案进行区分；
S302、针对图像中的删除区进行处理，对于未装载的中心点，进行重新装载，获取其面积或形状vector<double>areaRegion/areaShape，然后在对应彩色原图中的中心点附近区域进行随机采点并获取HSV颜色值，计算得到颜色区间HRange_MIN、HRange_MAX，根据颜色区间和面积/形状进行分类并更新其状态，对于已装载的中心点进行匹配和状态更新；
S303、将上一步中已装载的所有中心点的信息实时传输到中控或分拣机构，由中控或分拣结构安排执行机构进行分拣接收。
进一步的，步骤S302中，针对图像删除区的处理具体为：
对删除区的所有中心点进行重新装载、匹配、分拣参数提取和状态更新；
对于已装载中心点的状态更新包括当前坐标和下一帧预测坐标值的更新。
本发明的另一个技术方案是，一种基于图像处理和分区检测的统计分拣装置，包括图像处理模块、统计模块和分拣模块；图像处理模块用于对输入图像进行过滤和特征提取，然后将处理后的数据分别发送给统计模块和分拣模块；统计模块根据接收到的数据使用分区计算的方式对被检物体实现数量统计，分拣模块根据接收到的数据使用颜色、面积、形状特征实现分拣，使用图像处理和分区检测的方式在一帧图像中实现对被检物体的数量统计和分类分拣。
与现有技术相比，本发明至少具有以下有益效果：
本发明一种基于图像处理和分区检测的统计分拣方法，采用图像处理的方式，将统计和分拣功能同时实现，特别是针对大范围不规则连接在一起的被检物体，通过分区、分片、多次腐蚀分离的方法实现了被检物体的区分，通过分区的方法实现了被检物体的装载、匹配、统计和分拣，可有效防止漏记、多记等问题。
进一步的，通过对输入图像按照判据进行过滤可滤除较明显的干扰和节省运算资源；对过滤后的输入图像进行特征提取可以得到被检物体的特征为下一步的统计和分拣提供依据。
进一步的，根据被检物体的颜色特征和检测环境的颜色特征的区别，利用颜色提取的方式将检测环境的干扰最大程度的消除。
进一步的，由于被检物体可能存在大范围不规则的连续分布，且体积大小不一致，为了区分开大范围连在一起的不规则被检物体，会对图像进行多重腐蚀处理，当腐蚀处理到一定程度后，有可能造成图像中独立分布的小体积被检物体丢失，为了解决该问题同时节省运算资源，采用了面积过滤的方式滤除并记录满足条件的轮廓点，同时在原图中涂黑。
进一步的，对于不满足条件的轮廓，继续进行腐蚀和过滤(过滤条件随腐蚀次数进行相应调整)，直至所有轮廓都满足条件。
进一步的，分区计算能够确定对被检物体进行统计和分拣的时机，以满足不同的传送带速度，同时也是通过分区实现了被检物体的装载、匹配、统计和丢弃的计数逻辑，防止重复计数或漏记。
进一步的，划分区域并记录当前状态，防止漏记。
进一步的，通过图像处理可直接获得被检物体的颜色、轮廓面积和形状特征，根据这些特征可直接对被检物体进行颜色、大小、形状的分类，可取代人工颜色分拣、机械大小称重、不合格品的检出等环节。
进一步的，对进入删除区的被检物体进行处理得到颜色、面积和形状特征，并进行装载和匹配。
本发明还公开了一种基于图像处理和分区检测的统计分拣装置，利用视频采集，通过图像处理的方法实现统计和分拣功能的一体化，针对大量被检物体不规则分布且同时通过的问题，只需针对传送带宽度，选择合适高度安装本装置即可，并且同一款设备只需远程微调算法参数即可满足不同的使用环境；利用嵌入式操作系统可以通过网络远程控制，并在现场单机存储大量检测数据，不需要人工在现场实时观测记录。
综上所述，本发明集数量统计和分类分拣于一身，尤其是对较宽的传送带，需要的设备可以做到小巧、简单，并且可以很好的和带有操作系统的检测设备嵌套在一起，利于网络管理数量巨大的单体设备，且可以极大的简化分拣机械结构的设计。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为图像处理模块流程图；
图2为统计模块流程图；
图3为分拣模块流程图；
图4为实验室测试单个不连续鸡蛋的统计仿真结果；
图5为实验室大面积不规则连接鸡蛋的统计测试仿真结果；
图6为实际现场测试图鸡蛋统计仿真结果；
图7为实验室大面积鸡蛋的集统计和分拣于一体的仿真结果。
具体实施方式
本发明提供了一种基于图像处理和分区检测的统计和分拣方法，使用图像处理方面的一些方法组合，滤除干扰和提取被检物体特征(轮廓、中心、颜色、形状等)，并按照装载、跟踪、匹配、统计、分拣等一定的算法逻辑实现对被检物体的统计和分拣，使用图像处理和分区检测的方式在一帧图像中实现了对被检物体的数量统计和分类分拣。
请参阅图1，图像处理模块使用图像处理的方法对输入图像进行过滤和特征提取的具体实现方法为：
S101、提前获取被检物体的使用环境图像，根据被检物体的特征和使用背景，进行颜色提取，需要先将采集到的图像数据转换到HSV颜色空间，提取被检物体特征颜色值F_H，F_S， F_V范围和较强干扰背景的特征颜色值B_H，B_S，B_V的范围，得到最优HSV颜色空间过滤参数H_MIN，H_MAX，S_MIN，V_MIN；
S102、正常采集图像后，按照已获取的最优HSV颜色空间过滤参数滤除较大面积和较强干扰的背景，得到颜色过滤后的含有较小干扰的图像数据D_A；
S103、对图像数据D_A进行灰度处理和二值化处理，得到二值图像数据D_B；
S104、对图像数据D_B进行腐蚀操作得到腐蚀后的图像数据D_C，腐蚀操作的结构元素可根据被检物体的形状和大小进行选择；
S105、对图像数据D_C进行膨胀操作，得到膨胀后的图像数据D_D，主要是为了配合上一步的腐蚀操作滤除图像中的较小干扰，膨胀操作的结构元素可根据腐蚀操作的结构元素进行配置；
S106、在图像数据D_D的基础上寻找外轮廓，得到轮廓集合，对所有轮廓进行面积过滤，筛选符合条件的轮廓，并计算轮廓的中心点坐标，对不符合面积条件的轮廓，在图像数据D_D 的基础上，去除符合面积条件的轮廓矩形，得到图像数据D_E；
S107、对图像数据D_E进行腐蚀和膨胀操作，膨胀操作的结构元素的尺寸应比腐蚀操作的结构元素尺寸稍小，寻找外接轮廓，得到轮廓集合，对所有轮廓进行第二次面积条件过滤，筛选符合条件的轮廓，并计算轮廓中心点坐标，对不符合面积条件的轮廓，在图像数据D_E 的基础上，去除符合面积条件的轮廓矩形，得到图像数据D_F；
S108、继续进行步骤S107，直到图像中的所有轮廓均符合面积条件，并得到了中心点坐标的集合vector<Point>CenterPoints；
请参阅图2，统计模块使用分区计算的方式对被检物体实现数量统计的具体方法如下：
S201、将图像从上到下依次分为待检区、检测区和删除区，分别用检测线和删除线区分，检测线上方的区域为待检区，检测线下方和删除线上方的区域为检测区，删除线下方的区域为删除区，相应的图像中所有中心点的状态也分为检测线之前preLineflag，检测线和删除线之间 curLineflag，以及删除线之后delLineflag，另外，由于连续的几帧图像数据中会存在重复的被检物体，因此图像中的所有中心点还存在已装载状态iscurShiped和未装载状态ispreShiped，在每一帧的图像中都会对已装载的中心点进行匹配，对于未装载的中心点进行装载；
S201、根据图像处理模块得到的中心点坐标集合，判断所有中心点所在的区域，对已过删除线和未过删除线的中心点进行分别计数，得到DN_F和DN_B；
S202、对于已装载的中心点，进行跟踪匹配，对于匹配合适的中心点，根据其在图像中的所处位置进行状态更新，将未匹配上的中心点清零，对于未装载的中心点进行装载，装载过程为装载当前中心点坐标和装载预测的下一帧图像中该中心点的坐标；
S203、为了保证在静止状态下不会进行重复计数，根据DN_F和DN_B之间的一些相对关系设计了对停止状态的判断，当检测到一帧图像可能处于停止状态时stop_go_flag标志加1，将不会对图像内容进行匹配和状态更新，当连续检测到60帧图像都可能处于停止状态时 stop_go_flag标志大于60，将对停止状态进行确认，不再执行计数逻辑；
S204、根据图像中所有已装载中心点的preLineflag和curLineflag状态，以及停止状态，确定是否对已匹配和装载好的中心点进行计数。
请参阅图3，分拣模块使用颜色、面积、形状等物理特征实现分拣的具体方法如下：
S301、分拣模块根据被检物体的特征，可以利用图像处理的方式对被检物体的颜色、形状、面积等进行分类，分类结果可按照具体要求进行分档排列，比如鸡蛋可按照颜色分为深红、粉红、白三类，按照面积可分为巨、大、中、小四类，结合此两种分类方案即可将鸡蛋按品质进行区分；
S302、分拣模块针对图像中的删除区进行处理，主要包括对删除区的所有中心点进行重新装载、匹配、分拣参数提取、状态更新等，对于未装载的中心点，进行重新装载，获取其面积或形状vector<double>areaRegion/areaShape，然后在对应彩色原图中的中心点附近区域进行随机采点并获取HSV颜色值，计算得到颜色区间HRange_MIN、HRange_MAX，根据颜色区间和面积/形状进行分类并更新其状态，对于已装载的中心点进行匹配和状态更新，其中状态更新主要包括当前坐标和下一帧预测坐标值的更新；
S303、将上一步中已装载的所有中心点的信息实时传输到中控或分拣机构，由中控或分拣结构安排合适的执行机构进行相应的分拣接收即可。
本发明利用图像处理的一些方法处理采集到的视频图像，过滤背景干扰，利用装载、跟踪、匹配、预测、计数、分拣等一定的算法逻辑实现统计和分拣功能。图像输入的格式可采用MJPEG 或YUV等数字图像，输入图像的帧频需求和被检物体的移动速度相关，一般情况下保持在10 帧以上即可，输入图像的分辨率可选择较高分辨率，也可选择较低分辨率，主要和处理器的速度有关，输入图像的视场范围需完全覆盖被检物体传送带的宽度，主要和图像采集设备的安装高度和传送带宽度有关，输入图像不应该有较大畸变，如果有则需要进行矫正。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本实施例中，输入图像采用YUV格式，输入帧频为25帧，图像分辨率为720x480，视场范围为150°，图像采集设备高度为45cm，可检测的传送带范围为120cm，进行了畸变矫正，具体步骤如下：
1、获取图像数据，对图像数据进行裁剪，裁剪的标准根据实际情况，裁剪宽度一般选择传送带宽度，裁剪高度一般选择大于20个被检物体的高度，根据输入图像及其参数确定面积过滤条件、匹配条件、检测线、删除线、预测距离、图像阈值、腐蚀/膨胀操作的结构元素的形状/大小等参数；
2、对被检物体及其背景进行HSV颜色参数范围提取，首先将图像数据由YUV空间转换为HSV空间，其次在HSV颜色空间提取被检物体及其干扰背景的HSV值，得到HSV颜色范围；
3、获取图像数据，在HSV空间利用得到的HSV颜色范围对干扰较大的背景图像进行滤除；
4、颜色过滤后将图像转换为灰度图，并利用确定的图像阈值将图像数据二值化；
5、对图像数据进行腐蚀和膨胀操作，结构元素采用步骤1中确定的结构元素值，这一步进行后，应该已经把图像中的干扰数据滤除，并且有轻微粘连的被检物体也基本分开；
6、寻找图像数据中的所有轮廓，并计算轮廓面积，根据步骤1中确定的面积过滤条件对所有轮廓进行过滤，对于满足条件的轮廓，计算并记录其中心点坐标，并在图像数据中清零，对于不满足条件的轮廓，可能存在两种情况，一种是存在较小的干扰没有滤除，可直接在图像数据中对其清零，一种是存在深度粘连的被检物体，需要进一步对其分离；
7、对步骤6中需要进一步分离的图像数据，执行腐蚀、膨胀、寻找轮廓、计算轮廓面积、面积条件判断，直到所有轮廓均符合面积条件，即所有轮廓完全分离，记录轮廓中心点坐标；
8、初始化被检物体统计参数结构体，主要包括当前中心点坐标、下一帧中心点坐标、与检测线的相对状态、与删除线的相对状态、装载状态等；
9、针对所有中心点，判断其装载状态，若中心点已装载，则跟踪匹配该中心点，主要利用欧几里得距离和步骤1中确定的匹配条件，实现中心点匹配，若匹配成功，则更新该中心点的统计参数结构状态，若匹配不成功，则重新初始化该中心点统计参数结构状态，若中心点未装载，则装载该中心点的当前坐标和预测的下一帧的中心点坐标；
10、为了保证在静止状态下不会进行重复计数，根据DN_F和DN_B之间的一些相对关系设计了对停止状态的判断，即当DN_F＝DN_B时，该帧图像可能处于停止状态，stop_go_flag 标志加1，后续将不会对图像内容进行匹配和状态更新，当连续检测到60帧图像都可能处于停止状态时stop_go_flag标志大于60，将对停止状态进行确认，不再执行计数逻辑；
11、针对所有被检物体，根据其统计参数结构状态确定是否对相应的中心点进行计数，计数规则是中心点在待检区记录其与检测线及删除线的相对状态并进行装载，跟踪该中心点到检测区后记录其与检测线和删除线的相对状态，当该中心点处在检测区且不是停止状态，则对该中心点进行计数，否则不进行计数，对于第一帧图像，会直接对删除线以后的中心点进行计数，防止漏记；
12、初始化被检物体的分拣参数结构体，主要包括当前中心点坐标、预测下一帧中心点坐标，分拣颜色种类、分拣面积种类、分拣形状种类、装载状态等；
13、根据中心点坐标值，使用分拣参数结构体重新装载已过删除线的所有中心点，在对应的彩色原图中采样该中心点附近区域的HSV颜色值，在二值图像数据中获取轮廓面积和形状，按照分类规则对所有已装载的中心点进行分类，预测下一帧的中心点坐标，更新分拣参数结构体的参数状态；
14、根据预测中心点坐标，对所有已装载的中心点坐标进行跟踪匹配，并重新按照步骤13进行HSV颜色值、面积、形状的更新确认，对于新出现的未装载的中心点坐标，则按照步骤13进行装载和状态更新，最后将所有的统计信息、分拣信息发送到中控。
以统计和分拣鸡蛋为例：
(1)实验室测试单个不连续鸡蛋的统计仿真结果如图4所示；
(2)实验室大面积不规则连接鸡蛋的统计测试仿真结果如图5所示；
(3)实际现场测试图鸡蛋统计仿真结果如图6所示；
(4)实验室大面积鸡蛋的集统计和分拣于一体的仿真结果如图7所示；分拣的结果以颜色和面积来区分，可根据实际需求进行调整。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (10)

1.一种基于图像处理和分区检测的统计分拣方法，其特征在于，采用图像处理方法对输入的图像进行过滤和特征提取，输入的图像格式为MJPEG或YUV格式，输入图像的帧频在10帧以上，输入图像的视场范围完全覆盖被检物体传送带的宽度；然后采用分区计算对被检物体进行数量统计，根据数量统计结果使用颜色、面积、形状特征实现分拣。
2.根据权利要求1所述的基于图像处理和分区检测的统计分拣方法，其特征在于，对输入图像进行过滤和特征提取具体为：
S101、获取被检物体的使用环境图像，根据被检物体的特征和使用背景，进行颜色提取；
S102、采集图像后，按照已获取的最优HSV颜色空间过滤参数滤除大面积和强干扰的背景，得到颜色过滤后的含有小干扰的图像数据D_A；
S103、对图像数据D_A进行灰度处理和二值化处理，得到二值图像数据D_B；
S104、对图像数据D_B进行腐蚀操作得到腐蚀后的图像数据D_C，腐蚀操作的结构元素根据被检物体的形状和大小选择；
S105、对图像数据D_C进行膨胀操作，得到膨胀后的图像数据D_D；
S106、在图像数据D_D的基础上，去除符合面积条件的轮廓矩形，得到图像数据D_E；
S107、在图像数据D_E的基础上，去除符合面积条件的轮廓矩形，得到图像数据D_F；
S108、继续进行步骤S107，直到图像中的所有轮廓均符合面积条件，并得到中心点坐标集合vector<Point>CenterPoints。
3.根据权利要求2所述的基于图像处理和分区检测的统计分拣方法，其特征在于，步骤S101中，将采集到的图像数据转换到HSV颜色空间，提取被检物体特征颜色值F_H，F_S，F_V范围和强干扰背景的特征颜色值B_H，B_S，B_V的范围，得到最优HSV颜色空间过滤参数H_MIN，H_MAX，S_MIN，V_MIN。
4.根据权利要求2所述的基于图像处理和分区检测的统计分拣方法，其特征在于，步骤S106中，在图像数据D_D的基础上寻找外轮廓，得到轮廓集合，对所有轮廓进行面积过滤，筛选符合条件的轮廓，并计算轮廓的中心点坐标，对不符合面积条件的轮廓，在图像数据D_D的基础上，去除符合面积条件的轮廓矩形，得到图像数据D_E。
5.根据权利要求2所述的基于图像处理和分区检测的统计分拣方法，其特征在于，步骤S107中，对图像数据D_E进行腐蚀和膨胀操作，膨胀操作的结构元素尺寸小于腐蚀操作的结构元素尺寸，寻找外接轮廓，得到轮廓集合，对所有轮廓进行第二次面积条件过滤，筛选符合条件的轮廓，并计算轮廓中心点坐标，对不符合面积条件的轮廓，在图像数据D_E的基础上，去除符合面积条件的轮廓矩形，得到图像数据D_F。
6.根据权利要求1所述的基于图像处理和分区检测的统计分拣方法，其特征在于，使用分区计算的方式对被检物体实现数量统计具体为：
S201、将图像从上到下依次分为待检区、检测区和删除区，分别用检测线和删除线区分，检测线上方的区域为待检区，检测线下方和删除线上方的区域为检测区，删除线下方的区域为删除区，相应的图像中所有中心点的状态也分为检测线之前preLineflag，检测线和删除线之间curLineflag，以及删除线之后delLineflag；
S201、根据图像处理模块得到的中心点坐标集合，判断所有中心点所在的区域，对已过删除线和未过删除线的中心点进行分别计数，得到DN_F和DN_B；
S202、对于已装载的中心点，进行跟踪匹配，对于匹配合适的中心点，根据其在图像中的所处位置进行状态更新，将未匹配上的中心点清零，对于未装载的中心点进行装载，装载过程为装载当前中心点坐标和装载预测的下一帧图像中该中心点的坐标；
S203、对停止状态进行判断，当检测到一帧图像处于停止状态时stop_go_flag标志加1，不对图像内容进行匹配和状态更新，当连续检测到60帧图像都处于停止状态时stop_go_flag标志大于60，将对停止状态进行确认，不再执行计数逻辑；
S204、根据图像中所有已装载中心点的preLineflag和curLineflag状态，以及停止状态，确定是否对已匹配和装载好的中心点进行计数。
7.根据权利要求6所述的基于图像处理和分区检测的统计分拣方法，其特征在于，步骤S201中，在每一帧的图像中均对已装载的中心点进行匹配，对于未装载的中心点进行装载。
8.根据权利要求1所述的基于图像处理和分区检测的统计分拣方法，其特征在于，使用颜色、面积、形状特征实现分拣的具体方法如下：
S301、根据被检物体特征，利用图像处理的方式对被检物体的颜色、形状、面积进行分类，对分类结果进行分档排列，结合分类方案进行区分；
S302、针对图像中的删除区进行处理，对于未装载的中心点，进行重新装载，获取其面积或形状vector<double>areaRegion/areaShape，然后在对应彩色原图中的中心点附近区域进行随机采点并获取HSV颜色值，计算得到颜色区间HRange_MIN、HRange_MAX，根据颜色区间和面积/形状进行分类并更新其状态，对于已装载的中心点进行匹配和状态更新；
S303、将上一步中已装载的所有中心点的信息实时传输到中控或分拣机构，由中控或分拣结构安排执行机构进行分拣接收。
9.根据权利要求8所述的基于图像处理和分区检测的统计分拣方法，其特征在于，步骤S302中，针对图像删除区的处理具体为：
对删除区的所有中心点进行重新装载、匹配、分拣参数提取和状态更新；
对于已装载中心点的状态更新包括当前坐标和下一帧预测坐标值的更新。
10.一种基于图像处理和分区检测的统计分拣装置，其特征在于，利用如权利要求1至9中任一项所述的方法，包括图像处理模块、统计模块和分拣模块；图像处理模块用于对输入图像进行过滤和特征提取，然后将处理后的数据分别发送给统计模块和分拣模块；统计模块根据接收到的数据使用分区计算的方式对被检物体实现数量统计，分拣模块根据接收到的数据使用颜色、面积、形状特征实现分拣，使用图像处理和分区检测的方式在一帧图像中实现对被检物体的数量统计和分类分拣。
CN201910290967.0A 2019-04-11 2019-04-11 一种基于图像处理和分区检测的统计分拣方法及装置 Pending CN110070558A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910290967.0A CN110070558A (zh) 2019-04-11 2019-04-11 一种基于图像处理和分区检测的统计分拣方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910290967.0A CN110070558A (zh) 2019-04-11 2019-04-11 一种基于图像处理和分区检测的统计分拣方法及装置

Publications (1)

Publication Number Publication Date
CN110070558A true CN110070558A (zh) 2019-07-30

Family

ID=67367430

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910290967.0A Pending CN110070558A (zh) 2019-04-11 2019-04-11 一种基于图像处理和分区检测的统计分拣方法及装置

Country Status (1)

Country Link
CN (1) CN110070558A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110429934A (zh) * 2019-08-02 2019-11-08 西安星舟天启智能装备有限责任公司 一种抗干扰的自适应计数方法
CN112365446A (zh) * 2020-10-19 2021-02-12 杭州亿奥光电有限公司 纸袋粘接质量检测方法
CN113538396A (zh) * 2021-07-27 2021-10-22 扬州美德莱医疗用品有限公司 一种基于注射针加工的计数提示方法及装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2503331A2 (en) * 2009-11-16 2012-09-26 Pontificia Universidad Catolica De Chile Method and system for the real-time automatic analysis of the quality of samples of processed fish meat based on the external appearance thereof, said samples travelling on a conveyor belt such that surface defects can be detected and the fish meat can be sorted according to quality standards
CN104084379A (zh) * 2014-06-04 2014-10-08 中国农业大学 一种玉米种子图像精选装置及其使用方法
CN105976396A (zh) * 2016-04-27 2016-09-28 梧州市自动化技术研究开发院 用于视频图像识别在传送带上运动物体的方法
CN106000904A (zh) * 2016-05-26 2016-10-12 北京新长征天高智机科技有限公司 一种生活垃圾自动分拣系统
CN106964563A (zh) * 2017-04-28 2017-07-21 福州大学 一种塑料瓶分拣方法
CN107301634A (zh) * 2017-06-28 2017-10-27 湖南瑞森可机器人科技有限公司 一种机器人自动分拣方法及系统
CN107694962A (zh) * 2017-11-07 2018-02-16 陕西科技大学 一种基于机器视觉与bp神经网络的水果自动分拣方法
CN109035214A (zh) * 2018-07-05 2018-12-18 陕西大中科技发展有限公司 一种工业机器人物料形状识别方法
CN109261546A (zh) * 2017-07-18 2019-01-25 吕朝妮 猕猴桃自动分级系统

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2503331A2 (en) * 2009-11-16 2012-09-26 Pontificia Universidad Catolica De Chile Method and system for the real-time automatic analysis of the quality of samples of processed fish meat based on the external appearance thereof, said samples travelling on a conveyor belt such that surface defects can be detected and the fish meat can be sorted according to quality standards
CN104084379A (zh) * 2014-06-04 2014-10-08 中国农业大学 一种玉米种子图像精选装置及其使用方法
CN105976396A (zh) * 2016-04-27 2016-09-28 梧州市自动化技术研究开发院 用于视频图像识别在传送带上运动物体的方法
CN106000904A (zh) * 2016-05-26 2016-10-12 北京新长征天高智机科技有限公司 一种生活垃圾自动分拣系统
CN106964563A (zh) * 2017-04-28 2017-07-21 福州大学 一种塑料瓶分拣方法
CN107301634A (zh) * 2017-06-28 2017-10-27 湖南瑞森可机器人科技有限公司 一种机器人自动分拣方法及系统
CN109261546A (zh) * 2017-07-18 2019-01-25 吕朝妮 猕猴桃自动分级系统
CN107694962A (zh) * 2017-11-07 2018-02-16 陕西科技大学 一种基于机器视觉与bp神经网络的水果自动分拣方法
CN109035214A (zh) * 2018-07-05 2018-12-18 陕西大中科技发展有限公司 一种工业机器人物料形状识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
于殿泓，: "《图像检测与处理技术》", 31 December 2006, 西安电子科技大学出版社 *
北方工业大学教务处，: "《正青春》", 30 September 2018, 中国发展出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110429934A (zh) * 2019-08-02 2019-11-08 西安星舟天启智能装备有限责任公司 一种抗干扰的自适应计数方法
CN110429934B (zh) * 2019-08-02 2023-01-31 西安星舟天启智能装备有限责任公司 一种抗干扰的自适应计数方法
CN112365446A (zh) * 2020-10-19 2021-02-12 杭州亿奥光电有限公司 纸袋粘接质量检测方法
CN113538396A (zh) * 2021-07-27 2021-10-22 扬州美德莱医疗用品有限公司 一种基于注射针加工的计数提示方法及装置
CN113538396B (zh) * 2021-07-27 2022-04-26 扬州美德莱医疗用品有限公司 一种基于注射针加工的计数提示方法及装置

Similar Documents

Publication Publication Date Title
CN110070558A (zh) 一种基于图像处理和分区检测的统计分拣方法及装置
CN106971152B (zh) 一种基于航拍图像的检测输电线路中鸟巢的方法
Bhargava et al. Machine learning–based detection and sorting of multiple vegetables and fruits
Whittaker et al. Fruit location in a partially occluded image
Kumar et al. Automatic fruit grading and classification system using computer vision: A review
CN113392775A (zh) 一种基于深度神经网络的甘蔗幼苗自动识别与计数方法
CN110232419A (zh) 一种边坡岩石类别自动识别的方法
CN110647851A (zh) 生产线产能监控方法、装置及系统
CN107121436B (zh) 一种硅料品质的智能鉴别方法及鉴别装置
Thakur et al. An innovative approach for fruit ripeness classification
CN111611889B (zh) 基于改进卷积神经网络的农田微型虫害识别装置
Zhang et al. High-throughput corn ear screening method based on two-pathway convolutional neural network
CN109377713A (zh) 一种火灾预警方法及系统
CN113159064A (zh) 基于精简的YOLOv3电路板电子元件目标检测的方法与装置
CN113205511A (zh) 基于深层神经网络的电子元器件批量信息检测方法及系统
Shin et al. Postharvest citrus mass and size estimation using a logistic classification model and a watershed algorithm
CN111539293A (zh) 一种果树病害诊断方法及系统
CN111507379A (zh) 基于深度学习的矿石自动识别与粗分拣系统
CN107358246A (zh) 一种使用卷积神经网络对物体进行细分类的方法
CN116310806B (zh) 一种基于图像识别的智慧农业一体化管理系统及方法
CN117593387A (zh) 一种作物冠层覆盖率评价方法及系统
Zakiyyah et al. Characterization and Classification of Citrus reticulata var. Keprok Batu 55 Using Image Processing and Artificial Intelligence
CN113792715B (zh) 粮仓害虫监测预警方法、装置、设备及存储介质
CN111126419A (zh) 网点聚类方法及装置
Jannah et al. Tomato Maturity Detection System Using Color Histogram and Nearest Neighbor

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190730

RJ01 Rejection of invention patent application after publication