CN103020707A - 基于机器视觉的流水式高精度、高速的颗粒物自动计数装置 - Google Patents

Abstract

一种基于机器视觉的流水式高精度、高速的颗粒物自动计数装置，包括用于对颗粒物进行自动计数检测的、由摄像单元、微处理器、上料机构、倾倒机构、转动机构、微震机构等构成的流水线；微处理器中包括：图像读取模块、图像处理模块、自动计数模块、多数表决模块、结果输出模块、流水线控制模块和人机交互模块；本发明提供一种具有检测效率高、识别计数精度好、检测对象适应面广、自我学习和完善能力强的颗粒物自动计数装置。

Description

基于机器视觉的流水式高精度、高速的颗粒物自动计数装置

技术领域

本发明属于机器视觉技术、机械设计技术、生产流水线技术和自动控制技术在颗粒状物体自动计数方面的应用，尤其适用于大规模生产工业元器件的自动计数。

背景技术

在工业企业的生产中，需要对生产流水线的元器件实时自动计数，有些场合要求计数精度达到百分之百。目前很多企业仍然采用人工计数，这种计数方式不仅任务繁杂，工作效率不高，还很容易因为人的疲劳等因素造成计数误差，尤其是在用工成本日益昂贵的今天，迫切需要有一种自动化的计数装置。

国家发明申请号201110418587.4公开了一种元器件自动计数统计方法和装置，利用机器视觉和图像处理的方法进行元器件数量自动统计的方法和装置。能够对贴片电阻、贴片电容等小尺寸元器件自动进行比较精确数量统计，不仅提升了计数效率和计数准确性，而且降低了操作人员的劳动强度。但是，该发明在计数准确性方面还达不到百分之百精度，自动计数统计方法和装置难以满足生产流水线的实时高效检测的需要。另外，该发明应用在其他器件自动计数中仍然会出现较多的问题，即通用性缺乏；进行图像识别是一个概率问题，要提高自动计数的准确性还需要用概率的方式进行处理。

影响计数准确性的因素很多，1）识别知识广泛：被检测的物体各种各样，特征复杂，包括灰度、颜色、大小、形状和纹理等信息；要对物体进行识别和分割需要掌握和具备大量的相关知识；2）环境因素的多义性：物体的形状、颜色、光源角度、摄像装置的角度以及空间关系的变化都会对成像有一定程度的影响，从而降低了基于机器视觉计数的精确度；3）图像的多义性：被检测物体从三维投影到二维平面上，丢失了深度和不可见部分的信息，导致了不同形状的三维物体投影到图像平面上产生相同图像的问题；另外，从不同角度获取同一物体的图像也会出现较大的差异；4）机器视觉处理的实时性与准确性相矛盾的问题，图像信息量很大，基于机器视觉的检测往往要求有较高的实时性，采用高智能化的、高复杂度的检测算法虽然能提高检测精度，但是会影响检测的实时性；5）在图像分割处理方面，被测物体的重叠和粘连直接影响基于机器视觉计数的精确度。

因此，一种基于机器视觉的流水式高精度、高速的颗粒物自动计数装置的设计迫切需要解决以下几个问题：1）如何采用基于机器视觉识别检测的有限智能化来满足实时性的要求；2）如何通过在人的监督下的自学习方式，使得基于机器视觉自动计数在使用过程中不断累积和丰富相关知识，以满足检测各种各样的被检物体的需要；3）如何通过检测算法自完善方式，使得基于机器视觉识别检测在使用过程中自动发现识别错误，在人的监督和参与下不断完善检测算法，实现有限和高效的智能；4）如何通过多数表决机制，提高识别和计数的准确性；5）如何在检测流水线设计中消除被测物体的重叠和粘连的现象；6）如何在机器视觉检测过程中有效地区分和判断出被测物体的重叠和粘连；7）如何减少环境多义性对机器视觉检测结果的干扰；8）如何利用流水线的设计方式来提高高速自动化计数的水平。

发明内容

为了克服已有的基于机器视觉的自动计数装置的适应性欠缺、实时性和准确性难以同时得到满足、自动化程度不高、自我学习和完善能力缺乏和难以有效控制计数精度等不足，本发明提供一种具有较好的环境适应性和检测物体适应性的、能同时兼顾检测的实时性和准确性的，较高的自动化程度的、较强的自我学习和完善能力的、能根据不同检测需求控制计数精度的基于机器视觉的流水式高精度、高速的颗粒物自动计数装置。

本发明解决其技术问题所采用的技术方案是：

一种基于机器视觉的流水式高精度、高速的颗粒物自动计数装置，包括用于对颗粒物进行自动计数检测的流水线、用于拍摄被测颗粒物图像的摄像单元和用于对被测颗粒物图像进行图像处理以及协调控制流水线上各机构动作的微处理器，所述流水线包括用于将被测颗粒物从待测物件容器中提升到流水线上的托盘中的上料机构、用于将流水线上的托盘中的被测颗粒物倾倒到已测物件容器中的倾倒机构、用于使得流水线上的托盘按规定节奏进行间隙式转动的转动机构和用于使得流水线上托盘中的被测颗粒物均匀分布减少重叠和粘连的微震机构，所述的微处理器还包括：

图像读取模块，用于从所述的摄像单元读取包含有被测颗粒物的图像；图像处理模块，用于对包含有被测颗粒物的图像进行数字图像处理，将被测颗粒物部分从整个图像背景中提取出来，并对提取出来的前景图像中的每个被测颗粒物进行标识；自动计数模块，通过扫描整幅前景图像中标识的被测颗粒物并进行统计得到被测颗粒物的数量；多数表决模块，由于基于机器视觉的自动计数方式在检测精度上属于一个概率问题，这里采用了对托盘中的被测颗粒物在不同的状态下分别进行了图像处理、识别和计数，这样每次自动计数识别结果是相对独立的，因此可以采用概率统计的方法对多个识别计数结果进行表决处理来提高自动计数装置的识别率；结果输出模块，根据输出方式不同，分为原始图像输出、图像处理中间结果输出、识别和计数结果输出和表决结果输出；

要实现高精度的自动计数，即实现百分之百的检测精度，在本发明中通过多个层面来改善和提高计数的精度，1）在照明光源方面，采用适当的照明条件减少外界光源的干扰；2）在背景图像设计方面，采用无明显光反射的、并与被测颗粒物在颜色或者灰度特征上具有显著区别的、无明显纹理的托盘；3）在所述的微震机构的作用下托盘发生微震使得被测颗粒物排列方式发生一些变化，减少被测颗粒物的粘连和重叠的可能性；4）采用数学形态学的图像分割算法，对粘连在一起的被测颗粒物进行分割；5）同时采用基于区域面积和区域周长的计数方法；6）采用K/n的多数表决方法对同一托盘内的被测颗粒物的检测结果进行表决；7）采用K/n的多数表决的控制思想，对于不能满足K/n的多数表决的检测结果，保存原始图像以及基于机器视觉的识别和计数结果，等待操作人员的干预，操作人员通过根据所保存的原始图像信息和基于机器视觉的识别和计数结果进行确认，最终保证计数的正确性；

进一步，要实现高速的自动计数检测，需要设计一种基于机器视觉的计数检测流水线来满足全自动化的、高效的检测动作需求；检测过程中的动作主要包括：上料的动作、减少被测颗粒物重叠和粘连的动作、检测的动作、搬运的动作和卸料的动作，这些动作都对应着一个自动控制机构来实现相应的动作，并且能并行协调地将这些动作连接起来；为了实现上述设计目标，本发明设计了8个工位，每个工位上都有相对应的托盘，在旋转式计数检测流水线上即有8个托盘，每个托盘用销钉被均匀固定在转盘的圆周方向上，相隔托盘之间的夹角为45°，如附图4所示；转盘由步进电机驱动，在每个工位上均会产生片息停留，完成搬运动作，停留的时间间隔不小于检测动作或者卸料动作或者上料动作中的最长执行时间；在第一工位上由所述的上料动作机构完成上料的动作，通过所述的上料动作机构将待测物件容器中的被测颗粒物放置到第一工位上的托盘中；在第三工位上由所述的微震动作机构作用于该工位上的托盘，使得托盘中的被测颗粒物的排列状态发生一些变化，从而实现减少被测颗粒物重叠和粘连的效果；在对托盘进行微震动作后，紧接着由所述的摄像机完成拍摄图像的动作；为了提高检测精度，在第三工位上有连续三次微震和图像抓拍动作，即微震动作→图像抓拍动作→微震动作→图像抓拍动作→微震动作→图像抓拍动作；在第五工位上由所述的倾倒动作机构完成卸料动作，倾倒动作机构使得在该工位上的托盘发生倾斜，倾斜的结果使得托盘中的被测颗粒物由本身的重力作用倒入到出料口中，最终流入到已测物件容器内；在第一工位上的上料动作、在第三工位的微震和图像抓拍动作、在第五工位上的卸料动作都是并行进行的，当微处理器控制转盘转动到工位位置停止时，同时启动所述的上料控制模块、所述的微震控制模块、所述的图像抓拍模块和所述的倾倒控制模块分别完成在第一工位上的上料动作、在第三工位的微震和图像抓拍动作、在第五工位上的卸料动作的控制；上述动作的协调是由所述的流水线控制模块进行控制的，在开始前首先对各个动作机构进行自检；在自检通过后，流水线主要控制流程如下：

step1：转盘转动控制输出控制转盘转动45°角度以顺时针方式变换工位；

step2：等待在变换工位动作结束；

step3：启动上料控制模块控制在第一工位上的上料机构动作将待测物件容器中的被测颗粒物放置到第一工位上的托盘中；

step4：启动倾倒控制模块控制在第五工位上的卸料机构动作将安放在托盘上的被测颗粒物倾倒到出料口中，被测颗粒物由自身重力自动流入到已测物件容器内；

step5：启动微震控制模块控制在第三工位上的微震机构动作将安放在托盘上的被测颗粒物的排列状态发生一些变化；

step6：启动图像抓拍模块抓拍该工位上的托盘上被测颗粒物的图像，将抓拍的图像保存在微处理器的存储单元中；

step7：判断抓拍次数是否达到所设定的次数；如果没有达到转到step5，否则继续下一步计算；

step8：转到step1。

再进一步，所述的微震动作机构是由凸轮机构实现的，如附图8所示，托盘依靠自重与凸轮进行接触，凸轮机构由步进电机驱动，步进电机旋转一周，相应的凸轮机构就会对托盘发生一次微震，因此控制微震动作机构发生一次微震就是控制所述的微震动作机构中的步进电机旋转一周；所述的微震动作机构由微震控制模块进行控制，微震控制模块发出一个控制输出所述的微震动作机构发生一次微震；

更进一步，所述的倾倒动作机构是由凸轮机构实现的，如附图7所示，托盘依靠自重与凸轮进行接触，凸轮机构由步进电机驱动，步进电机旋转一周，相应的凸轮机构就会对托盘发生一次倾斜，附图7(b)是所述的倾倒机构使得托盘中的被测颗粒物由本身的重力作用倒入到出料口中的状态，因此控制倾倒动作机构发生一次倾倒动作就是控制所述的倾倒动作机构中的步进电机旋转一周；所述的倾倒动作机构由倾倒控制模块进行控制，倾倒控制模块发出一个控制输出所述的倾倒动作机构发生一次倾倒动作；

所述的上料动作机构，属于一种水车式上料机构，如附图1所示，其原理是通过动力装置3驱动传输带4，传输带3上固定着若干个扇形板式料斗6，当扇形板式料斗6穿过待测物件容器2时，扇形板式料斗6会带走在待测物件容器2内的待测颗粒物，当传输带4上的扇形板式料斗6转动到顶部时，扇形板式料斗6会发生翻转动作，这时待测颗粒物由于自身重力沿挡板5流入托盘7中，选择和设计扇形板式料斗6的大小以及形状控制流入流入托盘7中的待测颗粒物数量；所述的上料动作机构由上料控制模块控制，上料控制模块发出一个控制输出所述的上料动作机构对托盘进行一次上料动作；

转盘动作机构，用于改变托盘的工位，如附图4所示；转盘安置在工作台上，由步进电机驱动旋转，对于本发明中的8个工位的情况，转盘控制模块发出一个控制输出转盘顺时针方向旋转45°角度；

抓拍控制模块发出一个控制输出所述的摄像机抓拍一次托盘中的图像，抓拍的图像以6位编号+抓拍号，即以******N格式保存在微处理器的存储单元中，这里规定，每个待识别和计数的托盘都赋予一个新的6位编号，6位编号连续循环使用，N为第几次抓拍；

图像读取模块，用于读取存储单元中抓拍的图像，为了提高识别和计数效率，本发明中分别创建三个新的线程分别读取三次抓拍的图像，每个线程接着进行图像处理和自动计数运算，当上述运算都结束后保存识别和计数结果，然后杀死该线程；

图像处理模块，用于提取出被测颗粒物的前景图像；本发明中采用了一种与被测颗粒物在颜色或者灰度特征上具有显著区别的、无明显纹理的托盘，在检测前拍摄没有存放任何物体的托盘图像，作为背景图像保存在微处理器的存储单元中；在检测中将背景图像与抓拍图像进行差运算，即通过背景差运算得到被测颗粒物的前景图像；接着对所得到的前景图像进行二值化处理，所谓的二值化处理就是设定合适的阈值，将低于阈值的像素点，即背景设置为黑色，将大于等于阈值的像素点，即代表被测颗粒物的前景像素部分设置为白色；

图像在经过二值化处理之后，在被测颗粒物会出现很多噪声点；这些噪声点主要体现为离散的噪声前景点和目标区域中的小孔等；这对下一步连通区域检测带来不良影响，因此在进行连通集划分前一般都要先进行去噪声处理；

为了更有利于进行连通区域标示和自动计数，本发明通过数学形态学运算来实现去噪声处理；利用腐蚀和膨胀算子分别去除孤立的噪声前景点和填补目标区域的小孔；腐蚀算子在数学形态学中的作用是消除物体边界点和孤立点，使边界向内收缩的过程，可以把小于结构元素的物体去除；这样选取不同大小的结构元素来去除不同大小的干扰；腐蚀实际上把图像的外围去掉，同时保留图像内部部分；本发明中选半径为4的圆形结构元素来去除孤立的噪声前景点；膨胀算子在数学形态学中的作用与腐蚀的作用正好相反，它是对二值化物体边界点进行扩充，将与物体接触的所有背景点合并到该物体中，使边界向外部扩张的过程；如果两个物体之间的距离比较近，则膨胀运算可能会把两个物体连通到一起，膨胀对填补图像分割后物体中的空洞很有用；膨胀实际上是把图像的外围扩充了一圈，同时保留图像内部的部分；经过腐蚀的处理，二值化图像中的孤立噪声点能被很好地抑制，整个图像变得干净，有利于下一步的计数处理；

开运算操作是形态学的二次运算，是比腐蚀和膨胀更高一级的运算，它由腐蚀和膨胀组合而成；开运算操作一般使对象的轮廓变得光滑，可以断开两个物体之间狭窄连接桥和消除物体上细长的突出物；本发明中使用半径为4的圆形结构元素对二值化后的图像进行开操作，计算方法如公式（1）所示，

式中，f为二值化后的图像，B为半径为4的圆形结构元素，g为开运算操作后的图像，

为腐蚀算子，

为膨胀算子；

进一步，对开运算操作后的图像进行连通区域标识的工作，连通区域标识的工作用于标记已经被检测出来的各个被测颗粒物的区域，为计算各个区域的物理属性作好准备，这里采用8-连通算法；8连通算法选取前景对象像素在二维空间中所有相邻像素，将所有具有连通性的像素作为一个区域则构成了一个连通区域，8-连通判别算法如下：

Step21：对二值图从左到右，从上到下逐个像素扫描，扫描到前景点；

Step22：若当前点的右上点也是前景，则当前点跟右上点相同的值；

Step23：若当前点的右上点不是前景，则判断正上点，如为前景，则当前点跟正上点，并标记和正上点相同的值；

Step24：若当前点的右上点和正上点都不是前景，则判断左上点，如为前景，则当前点跟正上点，并标记和正上点相同的值；

Step25：若当前点左上、正上、右上及左前四个点都不为前景，则把数标加1；

自动计数模块，用于对连通区域标识的工作后的图像依据被测颗粒物的物理属性进行过滤和计数处理；经过连通区域标识的工作处理后，在二值图中的每一个连通域都被标识出来，连通区域面积的大小和周长都能有效被测颗粒物的物理属性，并且算法简单、实时性好；本发明优先选用基于面积的自动计数方法和基于周长的自动计数方法；对于每一种被测颗粒物的物理属性上有所区别，针对某一种被测颗粒物在检测前就必须获得该被测颗粒物的面积阈值T1和T2和周长阈值T3和T4；因此，对于上述两种自动计数方法针对某一种被测颗粒物在计数检测前，首先需要通过检测统计学习方式确定该被测颗粒物的面积阈值T1和T2以及周长阈值T3和T4，这里假设被测颗粒物的面积和周长的测量值符合正态分布，正态分布中的概率密度函数如公式（2）所示，

$f\left(x\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-\frac{1}{2}{\left(\frac{x-\mathrm{\μ}}{\mathrm{\σ}}\right)}^2}---\left(2\right)$

式中，μ为随机变量x的均值，σ为随机变量x的标准差，它们是正态分布的两个参数；通过对一批某被测颗粒物的检测得到一批检测数据，根据对这些数据的处理得到正态分布的两个参数；如对于某被测颗粒物的面积阈值T1和T2用公式（3）进行计算，

T1=μ-2.58σ                            （3）

T2=μ+2.58σ

按公式（3）这样的设置，对于落在面积阈值T1和T2范围内被测颗粒物的检测的概率达到99.73%；

自动计数模块中的以面积为阈值的计数算法如下：

Step31：对连通域标示后的二值图从上到下、从左到右进行扫描；分别计算每个连通区域的面积S；

Step32：对于大于或等于面积阈值T1和小于面积阈值T2的整体进行计数；对于大于或等于面积阈值T2和小于面积阈值T2+T1的整体进行加2计数；

自动计数模块中的以边界周长为阈值的计数算法如下：

Step41：对阈值化后的二值图像从上到下、从左到右进行扫描；如果遇到白色象素则进行标记，并按照Freeman编码方式进行逆时针跟踪，如果能够连接在一起，则表明该区域为一个整体；对图像中的每一个整体进行标记1，2，3，…，n(n为整数)；

Step42：统计各个不同整体的周长；由于按照Freeman编码所连通的象素是某个整体最外边界的象素，其周长便是边界上的象素数；

Step43：对于大于或等于边界周长阈值T3和小于边界周长阈值T4的整体进行计数；对于大于或等于边界周长阈值T4和小于边界周长阈值T3+T4的整体进行加2计数；

多数表决模块，用于进一步提高检测和识别精度；本发明中提出了一种简单的K/n的多数表决方法，即共有n张被识别的图像，如果有K张图像的计数识别结果相同就判定为该结果；本发明采用2/3的多数表决方法，即3次识别计数结果中有2次以上的计数结果相同就判定为该结果为最终识别结果；当3次识别计数结果都不一致时，保存原识别图像最后留给人工去识别处理；

多数表决模块的作用是将摄像机在不同的拍摄状态和时间所获得的计数识别结果在决策层进行信息融合；具体的做法是采用多数表决的方法来确定K/n多数表决系统的Counter_accuracy(K/n)；

${\mathrm{Counter}}_{\mathrm{accuracy}}(K/n)=\underset{i=0}{\overset{K}{\mathrm{\Σ}}}n*C_i*{\mathrm{Accuracy}}^{n-i}*{(1-\mathrm{Accuracy})}^i---\left(4\right)$

式中，Accuracy为单个计数识别的准确率，按照本发明的检测阈值规定，Accuracy=0.9973，采用2/3作为多数表决的话，那么可以通过如下计算得到2/3表决的正确识别率为，

${\mathrm{Counter}}_{\mathrm{accuracy}}(2/3)=\underset{i=0}{\overset{2}{\mathrm{\Σ}}}3*C_i*{\mathrm{Accuracy}}^{3-i}*{(1-\mathrm{Accuracy})}^i$

$={\mathrm{Accuracy}}^3+3*{\mathrm{Accuracy}}^2*(1-\mathrm{Accuracy})=0.99192+0.00806=0.99998$

根据上述的计算，对于10万次的检测计数结果中只有2次可能出现误检，因此，这样的检测精度已经认为达到了百分之百的检测精度要求；

结果输出模块，根据输出方式不同，分为原始图像输出、图像处理中间结果输出、识别和计数结果输出和表决结果输出；操作人员根据操作需要通过人机交互模块在人机界面上选择不同的输出方式，正常检测情况下只保存最终的表决结果输出，并用以下格式写入检测结果表中；

表1检测结果表

被测颗粒物ID	抓拍图像编号	被测颗粒物数量	机器检测时间	表决状态
					****	******	***	HHMMSS	T/F

表1中的被测颗粒物ID是检测前由操作人员输入的，抓拍图像编号是检测过程中机器自动循环生成的，被测颗粒物数量是由多数表决模块的表决结果所确定的，当多数表决模块中有两次以上同样的计数结果，就将该计数值作为被测颗粒物数量，同时将表决状态设置为True，对于表决状态为True的记录删除相对应的抓拍图像编号的所有原始图像和中间处理结果图像；当多数表决模块中出现了三次不一样的计数结果，被测颗粒物数量设置为三次计数结果的平均值，同时将表决状态设置为False；机器检测时间是由微处理器的内部时钟时间来设定的；

对于表决状态出现False情况，需要人工干预识别处理，这时在人机界面上会不断闪烁请求干预的信息，同时在人机界面上会同时显示三次识别的原始抓拍图像、机器识别和计数结果，操作人员根据这些信息确定图像中被测颗粒物数量，然后将人工确认的被测颗粒物数量写入到被测颗粒物数量的项目中，并同时将该人工干预记录写入知识库中，最后将表1中表决状态设置为True；

对于写入知识库中人工干预识别处理的记录，操作人员根据记录的信息分析误识别和不能识别的原因，通过适当调整识别阈值、改变识别条件和修正识别算法提高计数识别的准确性；

人机交互模块，主要根据装置请求干预的信息进行人工干预以提高装置的识别和计数精度；根据装置中记录的人工干预识别处理情况，通过统计工具调整识别阈值、改变识别条件和修正识别算法，实现在专业人员监督下的本发明装置的自学习和自完善功能。

对于在流水线上的托盘，设计时主要考虑实现以下几个功能：1）防止被测颗粒物在流水线的移动过程中掉落到检测线外；2）托盘作为图像处理的背景，要求所有托盘的颜色和大小基本上一致，表面无明显光反射；其颜色与被测颗粒物的颜色有显著区别或者被测颗粒物的灰度值与托盘的灰度值有明显的区别；3）存放着被测颗粒物的托盘相对固定在流水线上循环被检测，能在所述的倾倒机构的作用下托盘的发生倾斜使得被测颗粒物倾倒到已测物件容器中，能在所述的微震机构的作用下托盘发生微震使得被测颗粒物排列方式发生一些变化；4）托盘的大小稍小于摄像装置的成像范围，保证在图像处理时避免出现有非整个被测颗粒物出现在检测图像内；5）托盘制造的容易性和更换的方便性，采用模具压制方式成型。

本发明的有益效果主要表现在：1）采用了流水式自动识别和计数方法，上料动作、微震动作、图像抓拍动作和卸料动作都是并行进行的，提高了自动识别和计数的效率；2）通过多个层面来改善和提高计数的精度，从照明设计、托盘设计、微震改变被测颗粒物的状态、多种自动计数算法、多数表决算法、人工交互方式确认机器难以识别的结果等层面全面提升识别和计数的精度；3）从装置的硬件和软件设计角度消除被测颗粒物的重叠和粘连对识别和计数的影响；4）实现在专业人员监督下的装置的自学习和自完善功能，随着装置在工业领域中的各种应用能不断丰富识别和计数的知识库、图像识别和自动计数检测算法库；5）适用面广，采用了被测颗粒物分类的方法，针对某种被测颗粒物都有相对应的检测阈值和统计分析方法，保证了在检测适用面广的情况下高的检测精度。

附图说明

图1为一种上料动作机构图；

图2为盛放被测颗粒物的托盘图；

图3为一种基于机器视觉的流水式高精度、高速的颗粒物自动计数装置的平台；

图4为一种基于机器视觉的流水式高精度、高速的颗粒物自动计数装置的结构框图，其中11为工作台，12为转盘动作机构，13为微震动作机构，14为托盘，15为摄像机，16为照明，17为转盘，18为出料口，19为倾倒动作机构，20为上料动作机构，21为上料块，22为上料控制结构；

图5为一种基于机器视觉的流水式高精度、高速的颗粒物自动计数装置的功能框图；

图6为一种基于机器视觉的流水式高精度、高速的颗粒物自动计数装置的流水线控制流程图；

图7为倾倒机构动作示意图；

图8为微震机构动作示意图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图8，一种基于机器视觉的流水式高精度、高速的颗粒物自动计数装置，包括用于对颗粒物进行自动计数检测的流水线、用于拍摄被测颗粒物图像的摄像单元和用于对被测颗粒物图像进行图像处理以及协调控制流水线上各机构动作的微处理器，所述流水线包括用于将被测颗粒物从待测物件容器中提升到流水线上的托盘中的上料动作机构、用于将流水线上的托盘中的被测颗粒物倾倒到已测物件容器中的倾倒动作机构、用于使得流水线上的托盘按规定节奏进行间隙式转动的转盘动作机构和用于使得流水线上托盘中的被测颗粒物均匀分布减少重叠和粘连的微震动作机构，所述的微处理器还包括：

图像读取模块，用于从所述的摄像单元读取包含有被测颗粒物的图像；图像处理模块，用于对包含有被测颗粒物的图像进行数字图像处理，将被测颗粒物部分从整个图像背景中提取出来，并对提取出来的前景图像中的每个被测颗粒物进行标识；自动计数模块，通过扫描整幅前景图像中标识的被测颗粒物并进行统计得到被测颗粒物的数量；多数表决模块，由于基于机器视觉的自动计数方式在检测精度上属于一个概率问题，这里采用了对托盘中的被测颗粒物在不同的状态下分别进行了图像处理、识别和计数，这样每次自动计数识别结果是相对独立的，因此可以采用概率统计的方法对多个识别计数结果进行表决处理来提高自动计数装置的识别率；结果输出模块，根据输出方式不同，分为原始图像输出、图像处理中间结果输出、识别和计数结果输出和表决结果输出；上料控制模块，用于控制所述的上料动作机构的动作，将待测物件容器中的被测颗粒物放置到的托盘中；微震控制模块，用于控制所述的微震动作机构的动作，实施对盛放着被测颗粒物的托盘产生微震，以减少被测颗粒物的粘连和重叠；图像抓拍模块，用于控制所述的摄像机对盛放着被测颗粒物的托盘进行图像抓拍，并将抓拍的图像保存在微处理器中的存储单元中，以便后续的图像处理、识别和计数；倾倒控制模块，用于控制所述的倾倒动作机构的动作，使得已完成抓拍图像的托盘发生倾斜，将托盘中的被测颗粒物倾倒到出料口中，完成卸料动作；转盘控制模块，用于控制所述的转盘动作机构旋转45°的工位变动动作；流水线控制模块，用于控制检测流水线上的所述的上料动作机构、所述的微震动作机构、所述的摄像机、所述的倾倒动作机构和转盘动作机构按规定的流程并行协调动作；人机交互模块，用于在人工干预下提高装置的识别和计数精度、完成检测参数的设定和控制检测结果的输出；

为了实现在检测流水线上各种动作并行协调工作设计目标，本发明设计了8个工位，每个工位上都有相对应的托盘，在旋转式计数检测流水线上即有8个托盘，每个托盘用销钉被均匀固定在转盘的圆周方向上，相隔托盘之间的夹角为45°，如附图4所示；转盘由所述的转盘动作机构驱动，在每个工位上均会产生间歇式停留，完成搬运动作，停留的时间间隔不小于检测动作或者卸料动作或者上料动作中的最长执行时间；在工位1上由所述的上料动作机构完成上料的动作，通过所述的上料动作机构将待测物件容器中的被测颗粒物放置到工位1上的托盘中；在工位3上由所述的微震动作机构作用于该工位上的托盘，使得托盘中的被测颗粒物的排列状态发生一些变化，从而实现减少被测颗粒物重叠和粘连的效果；在对托盘进行微震动作后，紧接着由所述的摄像机完成拍摄图像的动作；为了提高检测精度，在工位3上有连续三次微震和图像抓拍动作，即微震动作→图像抓拍动作→微震动作→图像抓拍动作→微震动作→图像抓拍动作；在工位5上由所述的倾倒动作机构完成卸料动作，倾倒动作机构使得在该工位上的托盘发生倾斜，倾斜的结果使得托盘中的被测颗粒物由本身的重力作用倒入到出料口中，最终流入到已测物件容器内；在工位1上的上料动作、在工位3的微震和图像抓拍动作、在工位5上的卸料动作都是并行进行的，当微处理器控制转盘转动到工位位置停止时，同时启动所述的上料控制模块、所述的微震控制模块、所述的图像抓拍模块和所述的倾倒控制模块分别完成在工位1上的上料动作、在工位3的微震和图像抓拍动作、在工位5上的卸料动作的控制；上述动作的协调是由所述的流水线控制模块进行控制的，所述的流水线控制模块中的控制流程如附图6所示，在开始前首先对各个动作机构进行自检；在自检通过后，流水线主要控制流程如下：

step1：转盘转动控制输出控制转盘转动45°角度以顺时针方式变换工位；

step2：等待在变换工位动作结束；

step3：启动上料控制模块控制在工位1上的上料机构动作将待测物件容器中的被测颗粒物放置到工位1上的托盘中；

step4：启动倾倒控制模块控制在工位5上的卸料机构动作将安放在托盘上的被测颗粒物倾倒到出料口中，被测颗粒物由自身重力自动流入到已测物件容器内；

step5：启动微震控制模块控制在工位3上的微震机构动作将安放在托盘上的被测颗粒物的排列状态发生一些变化；

step6：启动图像抓拍模块抓拍该工位上的托盘上被测颗粒物的图像，将抓拍的图像保存在微处理器的存储单元中；

step7：判断抓拍次数是否达到所设定的次数；如果没有达到转到step5，否则继续下一步计算；

step8：转到step1；

所述的微震动作机构是由凸轮机构实现的，如附图8所示，托盘依靠自重与凸轮进行接触，凸轮机构由步进电机驱动，步进电机旋转一周，相应的凸轮机构就会对托盘发生一次微震，因此控制微震动作机构发生一次微震就是控制所述的微震动作机构中的步进电机旋转一周；所述的微震动作机构由微震控制模块进行控制，微震控制模块发出一个控制输出所述的微震动作机构发生一次微震；

所述的倾倒动作机构是由凸轮机构实现的，如附图7所示，托盘依靠自重与凸轮进行接触，凸轮机构由步进电机驱动，步进电机旋转一周，相应的凸轮机构就会对托盘发生一次倾斜，附图7(b)是所述的倾倒机构使得托盘中的被测颗粒物由本身的重力作用倒入到出料口中的状态，因此控制倾倒动作机构发生一次倾倒动作就是控制所述的倾倒动作机构中的步进电机旋转一周；所述的倾倒动作机构由倾倒控制模块进行控制，倾倒控制模块发出一个控制输出所述的倾倒动作机构发生一次倾倒动作；

所述的上料动作机构，属于一种水车式上料机构，如附图1所示，其原理是通过动力装置3驱动传输带4，传输带3上固定着若干个扇形板式料斗6，当扇形板式料斗6穿过待测物件容器2时，扇形板式料斗6会带走在待测物件容器2内的待测颗粒物，当传输带4上的扇形板式料斗6转动到顶部时，扇形板式料斗6会发生翻转动作，这时待测颗粒物由于自身重力沿挡板5流入托盘7中，选择和设计扇形板式料斗6的大小以及形状控制流入流入托盘7中的待测颗粒物数量；所述的上料动作机构由上料控制模块控制，上料控制模块发出一个控制输出所述的上料动作机构对托盘进行一次上料动作；

所述的转盘动作机构，用于改变托盘的工位，如附图4所示；转盘安置在工作台上，由步进电机驱动旋转，对于本发明中的8个工位的情况，所述的转盘控制模块发出一个控制输出转盘顺时针方向旋转45°角度；

所述的抓拍控制模块发出一个控制输出所述的摄像机抓拍一次托盘中的图像，抓拍的图像以6位编号+抓拍号，即以******N格式保存在微处理器的存储单元中，这里规定，每个待识别和计数的托盘都赋予一个新的6位编号，6位编号连续循环使用，N为第几次抓拍；

所述的图像读取模块，用于读取存储单元中抓拍的图像，为了提高识别和计数效率，本发明中分别创建三个新的线程分别读取三次抓拍的图像，每个线程接着进行图像处理和自动计数运算，当上述运算都结束后保存识别和计数结果，然后杀死该线程；

所述的图像处理模块，用于提取出被测颗粒物的前景图像并对其进行标识；本发明中采用了一种与被测颗粒物在颜色或者灰度特征上具有显著区别的、无明显纹理的托盘，在检测前拍摄没有存放任何物体的托盘图像，作为背景图像保存在微处理器的存储单元中；在检测中将背景图像与抓拍图像进行差运算，即通过背景差运算得到被测颗粒物的前景图像；接着对所得到的前景图像进行二值化处理，所谓的二值化处理就是设定合适的阈值，将低于阈值的像素点，即背景设置为黑色，将大于等于阈值的像素点，即代表被测颗粒物的前景像素部分设置为白色；

图像在经过二值化处理之后，在被测颗粒物会出现很多噪声点；这些噪声点主要体现为离散的噪声前景点和目标区域中的小孔等；这对下一步连通区域检测带来不良影响，因此在进行连通集划分前一般都要先进行去噪声处理；

为了更有利于进行连通区域标示和自动计数，本发明通过数学形态学运算来实现去噪声处理；利用腐蚀和膨胀算子分别去除孤立的噪声前景点和填补目标区域的小孔；腐蚀算子在数学形态学中的作用是消除物体边界点和孤立点，使边界向内收缩的过程，可以把小于结构元素的物体去除；这样选取不同大小的结构元素来去除不同大小的干扰；腐蚀实际上把图像的外围去掉，同时保留图像内部部分；本发明中选半径为4的圆形结构元素来去除孤立的噪声前景点；膨胀算子在数学形态学中的作用与腐蚀的作用正好相反，它是对二值化物体边界点进行扩充，将与物体接触的所有背景点合并到该物体中，使边界向外部扩张的过程；如果两个物体之间的距离比较近，则膨胀运算可能会把两个物体连通到一起，膨胀对填补图像分割后物体中的空洞很有用；膨胀实际上是把图像的外围扩充了一圈，同时保留图像内部的部分；经过腐蚀的处理，二值化图像中的孤立噪声点能被很好地抑制，整个图像变得干净，有利于下一步的计数处理；

开运算操作是形态学的二次运算，是比腐蚀和膨胀更高一级的运算，它由腐蚀和膨胀组合而成；开运算操作一般使对象的轮廓变得光滑，可以断开两个物体之间狭窄连接桥和消除物体上细长的突出物；本发明中使用半径为4的圆形结构元素对二值化后的图像进行开操作，计算方法如公式（1）所示，

式中，f为二值化后的图像，B为半径为4的圆形结构元素，g为开运算操作后的图像，

为腐蚀算子，

为膨胀算子；

进一步，对开运算操作后的图像进行连通区域标识的工作，连通区域标识的工作用于标记已经被检测出来的各个被测颗粒物的区域，为计算各个区域的物理属性作好准备，这里采用8-连通算法；8连通算法选取前景对象像素在二维空间中所有相邻像素，将所有具有连通性的像素作为一个区域则构成了一个连通区域，8-连通判别算法如下：

Step21：对二值图从左到右，从上到下逐个像素扫描，扫描到前景点；

Step22：若当前点的右上点也是前景，则当前点跟右上点相同的值；

Step23：若当前点的右上点不是前景，则判断正上点，如为前景，则当前点跟正上点，并标记和正上点相同的值；

Step24：若当前点的右上点和正上点都不是前景，则判断左上点，如为前景，则当前点跟正上点，并标记和正上点相同的值；

Step25：若当前点左上、正上、右上及左前四个点都不为前景，则把数标加1；

所述的自动计数模块，用于对连通区域标识的工作后的图像依据被测颗粒物的物理属性进行过滤和计数处理；经过连通区域标识的工作处理后，在二值图中的每一个连通域都被标识出来，连通区域面积的大小和周长都能有效被测颗粒物的物理属性，并且算法简单、实时性好；本发明优先选用基于面积的自动计数方法和基于周长的自动计数方法；对于每一种被测颗粒物的物理属性上有所区别，针对某一种被测颗粒物在检测前就必须获得该被测颗粒物的面积阈值T1和T2和周长阈值T3和T4；因此，对于上述两种自动计数方法针对某一种被测颗粒物在计数检测前，首先需要通过检测统计学习方式确定该被测颗粒物的面积阈值T1和T2以及周长阈值T3和T4，这里假设被测颗粒物的面积和周长的测量值符合正态分布，正态分布中的概率密度函数如公式（2）所示，

$f\left(x\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-\frac{1}{2}{\left(\frac{x-\mathrm{\μ}}{\mathrm{\σ}}\right)}^2}---\left(2\right)$

式中，μ为随机变量x的均值，σ为随机变量x的标准差，它们是正态分布的两个参数；通过对一批某被测颗粒物的检测得到一批检测数据，根据对这些数据的处理得到正态分布的两个参数；如对于某被测颗粒物的面积阈值T1和T2用公式（3）进行计算，

T1=μ-2.58σ                            （3）

T2=μ+2.58σ

按公式（3）这样的设置，对于落在面积阈值T1和T2范围内被测颗粒物的检测的概率达到99.73%；

所述的自动计数模块中的以面积为阈值的计数算法如下：

Step31：对连通域标示后的二值图从上到下、从左到右进行扫描；分别计算每个连通区域的面积S；

Step32：对于大于或等于面积阈值T1和小于面积阈值T2的整体进行计数；对于大于或等于面积阈值T2和小于面积阈值T2+T1的整体进行加2计数；

所述的自动计数模块中的以边界周长为阈值的计数算法如下：

Step41：对阈值化后的二值图像从上到下、从左到右进行扫描；如果遇到白色象素则进行标记，并按照Freeman编码方式进行逆时针跟踪，如果能够连接在一起，则表明该区域为一个整体；对图像中的每一个整体进行标记1，2，3，…，n(n为整数)；

Step42：统计各个不同整体的周长；由于按照Freeman编码所连通的象素是某个整体最外边界的象素，其周长便是边界上的象素数；

Step43：对于大于或等于边界周长阈值T3和小于边界周长阈值T4的整体进行计数；对于大于或等于边界周长阈值T4和小于边界周长阈值T3+T4的整体进行加2计数；

所述的多数表决模块，用于进一步提高检测和识别精度；本发明中提出了一种简单的K/n的多数表决方法，即共有n张被识别的图像，如果有K张图像的计数识别结果相同就判定为该结果；本发明采用2/3的多数表决方法，即3次识别计数结果中有2次以上的计数结果相同就判定为该结果为最终识别结果；当3次识别计数结果都不一致时，保存原识别图像最后留给人工去识别处理；

所述的多数表决模块的作用是将摄像机在不同的拍摄状态和时间所获得的计数识别结果在决策层进行信息融合；具体的做法是采用多数表决的方法来确定K/n多数表决系统的Counter_accuracy(K/n)；

${\mathrm{Counter}}_{\mathrm{accuracy}}(K/n)=\underset{i=0}{\overset{K}{\mathrm{\Σ}}}n*C_i*{\mathrm{Accuracy}}^{n-i}*{(1-\mathrm{Accuracy})}^i---\left(4\right)$

式中，Accuracy为单个计数识别的准确率，按照本发明的检测阈值规定，Accuracy=0.9973，采用2/3作为多数表决的话，那么可以通过如下计算得到2/3表决的正确识别率为，

${\mathrm{Counter}}_{\mathrm{accuracy}}(2/3)=\underset{i=0}{\overset{2}{\mathrm{\Σ}}}3*C_i*{\mathrm{Accuracy}}^{3-i}*{(1-\mathrm{Accuracy})}^i$

$={\mathrm{Accuracy}}^3+3*{\mathrm{Accuracy}}^2*(1-\mathrm{Accuracy})=0.99192+0.00806=0.99998$

根据上述的计算，对于10万次的检测计数结果中只有2次可能出现误检，因此，这样的检测精度已经认为达到了百分之百的检测精度要求；

所述的结果输出模块，根据输出方式不同，分为原始图像输出、图像处理中间结果输出、识别和计数结果输出和表决结果输出；操作人员根据操作需要通过人机交互模块在人机界面上选择不同的输出方式，正常检测情况下只保存最终的表决结果输出，并用以下格式写入检测结果表中；

表1检测结果表

被测颗粒物ID	抓拍图像编号	被测颗粒物数量	机器检测时间	表决状态
					****	******	***	HHMMSS	T/F

表1中的被测颗粒物ID是检测前由操作人员输入的，抓拍图像编号是检测过程中机器自动循环生成的，被测颗粒物数量是由多数表决模块的表决结果所确定的，当多数表决模块中有两次以上同样的计数结果，就将该计数值作为被测颗粒物数量，同时将表决状态设置为True，对于表决状态为True的记录删除相对应的抓拍图像编号的所有原始图像和中间处理结果图像；当多数表决模块中出现了三次不一样的计数结果，被测颗粒物数量设置为三次计数结果的平均值，同时将表决状态设置为False；机器检测时间是由微处理器的内部时钟时间来设定的；

对于表决状态出现False情况，需要人工干预识别处理，这时在人机界面上会不断闪烁请求干预的信息，同时在人机界面上会同时显示三次识别的原始抓拍图像、机器识别和计数结果，操作人员根据这些信息确定图像中被测颗粒物数量，然后将人工确认的被测颗粒物数量写入到被测颗粒物数量的项目中，并同时将该人工干预记录写入知识库中，最后将表1中表决状态设置为True；

对于写入知识库中人工干预识别处理的记录，操作人员根据记录的信息分析误识别和不能识别的原因，通过适当调整识别阈值、改变识别条件和修正识别算法提高计数识别的准确性；

所述的人机交互模块，主要根据装置请求干预的信息进行人工干预以提高装置的识别和计数精度；根据装置中记录的人工干预识别处理情况，通过统计工具调整识别阈值、改变识别条件和修正识别算法，实现在专业人员监督下的本发明装置的自学习和自完善功能。

对于在流水线上的托盘，设计时主要考虑实现以下几个功能：1）防止被测颗粒物在流水线的移动过程中掉落到检测线外；2）托盘作为图像处理的背景，要求所有托盘的颜色和大小基本上一致，表面无明显光反射；其颜色与被测颗粒物的颜色有显著区别或者被测颗粒物的灰度值与托盘的灰度值有明显的区别；3）存放着被测颗粒物的托盘相对固定在流水线上循环被检测，能在所述的倾倒动作机构的作用下托盘的发生倾斜使得被测颗粒物倾倒到已测物件容器中，能在所述的微震动作机构的作用下托盘发生微震使得被测颗粒物排列方式发生一些变化；4）托盘的大小稍小于摄像装置的成像范围，保证在图像处理时避免出现有非整个被测颗粒物出现在检测图像内；5）托盘制造的容易性和更换的方便性，采用模具压制方式成型。

实施例2，其余与实施例1相同，所不同的是在工位2、工位3和工位4上分别安置三个摄像机，这样能分担在实施例1中的工位3上的微震动作→图像抓拍动作→微震动作→图像抓拍动作→微震动作→图像抓拍动作，即在工位2上微震动作→图像抓拍动作，在工位3上微震动作→图像抓拍动作，在工位4上微震动作→图像抓拍动作，图像处理、自动计数和多数表决等计算仍然按照原有处理流程方式进行，这样分担式的处理能有效提高检测流水线的识别和计数效率。

Claims (13)

1.一种基于机器视觉的流水式高精度、高速的颗粒物自动计数装置，其特征在于：包括用于对颗粒物进行自动计数检测的流水线、用于拍摄被测颗粒物图像的摄像单元和用于对被测颗粒物图像进行图像处理以及协调控制流水线上各机构动作的微处理器，所述流水线包括用于将被测颗粒物从待测物件容器中提升到流水线上的托盘中的上料动作机构、用于将流水线上的托盘中的被测颗粒物倾倒到已测物件容器中的倾倒动作机构、用于使得流水线上的托盘按规定节奏进行间隙式转动的转盘动作机构和用于使得流水线上托盘中的被测颗粒物均匀分布减少重叠和粘连的微震动作机构，所述的微处理器还包括：

图像读取模块，用于从所述的摄像单元读取包含有被测颗粒物的图像；图像处理模块，用于对包含有被测颗粒物的图像进行数字图像处理，将被测颗粒物部分从整个图像背景中提取出来，并对提取出来的前景图像中的每个被测颗粒物进行标识；自动计数模块，通过扫描整幅前景图像中标识的被测颗粒物并进行统计得到被测颗粒物的数量；多数表决模块，由于基于机器视觉的自动计数方式在检测精度上属于一个概率问题，这里采用了对托盘中的被测颗粒物在不同的状态下分别进行了图像处理、识别和计数，这样每次自动计数识别结果是相对独立的，因此可以采用概率统计的方法对多个识别计数结果进行表决处理来提高自动计数装置的识别率；结果输出模块，根据输出方式不同，分为原始图像输出、图像处理中间结果输出、识别和计数结果输出和表决结果输出；上料控制模块，用于控制所述的上料动作机构的动作，将待测物件容器中的被测颗粒物放置到的托盘中；微震控制模块，用于控制所述的微震动作机构的动作，实施对盛放着被测颗粒物的托盘产生微震，以减少被测颗粒物的粘连和重叠；图像抓拍模块，用于控制所述的摄像机对盛放着被测颗粒物的托盘进行图像抓拍，并将抓拍的图像保存在微处理器中的存储单元中，以便后续的图像处理、识别和计数；倾倒控制模块，用于控制所述的倾倒动作机构的动作，使得已完成抓拍图像的托盘发生倾斜，将托盘中的被测颗粒物倾倒到出料口中，完成卸料动作；转盘控制模块，用于控制所述的转盘动作机构旋转45°的工位变动动作；流水线控制模块，用于控制检测流水线上的所述的上料动作机构、所述的微震动作机构、所述的摄像机、所述的倾倒动作机构和转盘动作机构按规定的流程并行协调动作；人机交互模块，用于在人工干预下提高装置的识别和计数精度、完成检测参数的设定和控制检测结果的输出。

2.如权利要求1所述的基于机器视觉的流水式高精度、高速的颗粒物自动计数装置，其特征在于：所述的流水线是一种旋转式的转盘，转盘上有8个托盘，每个托盘用销钉被均匀固定在转盘的圆周方向上，相隔托盘之间的夹角为45°；转盘由所述的转盘动作机构驱动，在每个工位上均会产生间歇式停留，完成搬运动作，停留的时间间隔不小于检测动作或者卸料动作或者上料动作中的最长执行时间。

3.如权利要求1或2所述的基于机器视觉的流水式高精度、高速的颗粒物自动计数装置，其特征在于：所述的微震动作机构是由凸轮机构实现的，托盘依靠自重与凸轮进行接触，凸轮机构由步进电机驱动，步进电机旋转一周，相应的凸轮机构就会对托盘发生一次微震，因此控制所述的微震动作机构发生一次微震就是控制所述的微震动作机构中的步进电机旋转一周；所述的微震动作机构由微震控制模块进行控制，所述的微震控制模块发出一个控制输出所述的微震动作机构发生一次微震。

4.如权利要求1或2所述的基于机器视觉的流水式高精度、高速的颗粒物自动计数装置，其特征在于：所述的倾倒动作机构是由凸轮机构实现的，托盘依靠自重与凸轮进行接触，凸轮机构由步进电机驱动，步进电机旋转一周，相应的凸轮机构就会对托盘发生一次倾斜，所述的倾倒动作机构使得托盘中的被测颗粒物由本身的重力作用倒入到出料口中的状态，因此所述的控制倾倒动作机构发生一次倾倒动作就是控制所述的倾倒动作机构中的步进电机旋转一周；所述的倾倒动作机构由所述的倾倒控制模块进行控制，所述的倾倒控制模块发出一个控制输出所述的所述的倾倒动作机构发生一次倾倒动作。

5.如权利要求1或2所述的基于机器视觉的流水式高精度、高速的颗粒物自动计数装置，其特征在于：所述的上料动作机构是一种水车式上料机构，通过动力装置驱动传输带，传输带上固定着若干个扇形板式料斗，当扇形板式料斗穿过待测物件容器时，扇形板式料斗会带走在待测物件容器内的待测颗粒物，当传输带上的扇形板式料斗转动到所述的上料动作机构的顶部时，扇形板式料斗会发生翻转动作，这时待测颗粒物由于自身重力沿挡板流入托盘中，选择和设计扇形板式料斗的大小以及形状来控制流入到托盘中的待测颗粒物数量；所述的上料动作机构由所述的上料控制模块控制，所述的上料控制模块发出一个控制输出所述的上料动作机构对托盘进行一次上料动作。

6.如权利要求1或2所述的基于机器视觉的流水式高精度、高速的颗粒物自动计数装置，其特征在于：所述的转盘动作机构中；转盘安置在工作台上，由步进电机驱动旋转。

7.如权利要求1所述的基于机器视觉的流水式高精度、高速的颗粒物自动计数装置，其特征在于：所述的抓拍控制模块发出一个控制输出所述的摄像机抓拍一次托盘中的图像，每个待识别和计数的托盘都赋予一个新的6位编号，6位编号连续循环使用，N为第几次抓拍。

8.如权利要求1所述的基于机器视觉的流水式高精度、高速的颗粒物自动计数装置，其特征在于：所述的图像读取模块中，分别创建三个新的线程分别读取三次抓拍的图像，每个线程接着进行图像处理和自动计数运算，当上述运算都结束后保存识别和计数结果，然后杀死该线程。

9.如权利要求1所述的基于机器视觉的流水式高精度、高速的颗粒物自动计数装置，其特征在于：所述的图像处理模块中，采用了一种与被测颗粒物在颜色或者灰度特征上具有显著区别的、无明显纹理的托盘，在检测前拍摄没有存放任何物体的托盘图像，作为背景图像保存在微处理器的存储单元中；在检测中将背景图像与抓拍图像进行差运算，即通过背景差运算得到被测颗粒物的前景图像；接着对所得到的前景图像进行二值化处理，所谓的二值化处理就是设定合适的阈值，将低于阈值的像素点，即背景设置为黑色，将大于等于阈值的像素点，即代表被测颗粒物的前景像素部分设置为白色；

使用半径为4的圆形结构元素对二值化后的图像进行开操作，计算方法如公式（1）所示，

式中，f为二值化后的图像，B为半径为4的圆形结构元素，g为开运算操作后的图像，

为腐蚀算子，

为膨胀算子；

进一步，对开运算操作后的图像进行连通区域标识的工作，连通区域标识的工作用于标记已经被检测出来的各个被测颗粒物的区域，为计算各个区域的物理属性作好准备，这里采用8-连通算法；8连通算法选取前景对象像素在二维空间中所有相邻像素，将所有具有连通性的像素作为一个区域则构成了一个连通区域，8-连通判别算法如下：

Step21：对二值图从左到右，从上到下逐个像素扫描，扫描到前景点；

Step22：若当前点的右上点也是前景，则当前点跟右上点相同的值；

Step23：若当前点的右上点不是前景，则判断正上点，如为前景，则当前点跟正上点，并标记和正上点相同的值；

Step24：若当前点的右上点和正上点都不是前景，则判断左上点，如为前景，则当前点跟正上点，并标记和正上点相同的值；

Step25：若当前点左上、正上、右上及左前四个点都不为前景，则把数标加1。

10.如权利要求1所述的基于机器视觉的流水式高精度、高速的颗粒物自动计数装置，其特征在于：所述的自动计数模块中，经过连通区域标识的工作处理后，在二值图中的每一个连通域都被标识出来，连通区域面积的大小和周长都能有效被测颗粒物的物理属性，并且算法简单、实时性好；选用基于面积的自动计数方法和基于周长的自动计数方法；对于每一种被测颗粒物的物理属性上有所区别，针对某一种被测颗粒物在检测前就必须获得该被测颗粒物的面积阈值T1和T2和周长阈值T3和T4；因此，对于上述两种自动计数方法针对某一种被测颗粒物在计数检测前，首先需要通过检测统计学习方式确定该被测颗粒物的面积阈值T1和T2以及周长阈值T3和T4，这里假设被测颗粒物的面积和周长的测量值符合正态分布，正态分布中的概率密度函数如公式（2）所示，

$f\left(x\right)=\frac{1}{\sqrt{2\mathrm{\π}}\mathrm{\σ}}{e}^{-\frac{1}{2}{\left(\frac{x-\mathrm{\μ}}{\mathrm{\σ}}\right)}^2}---\left(2\right)$

式中，μ为随机变量x的均值，σ为随机变量x的标准差，它们是正态分布的两个参数；通过对一批某被测颗粒物的检测得到一批检测数据，根据对这些数据的处理得到正态分布的两个参数；如对于某被测颗粒物的面积阈值T1和T2用公式（3）进行计算，

T1=μ-2.58σ                        （3）

T2=μ+2.58σ

按公式（3）这样的设置，对于落在面积阈值T1和T2范围内被测颗粒物的检测的概率达到99.73%；

所述的自动计数模块中的以面积为阈值的计数算法如下：

Step31：对连通域标示后的二值图从上到下、从左到右进行扫描；分别计算每个连通区域的面积S；

Step32：对于大于或等于面积阈值T1和小于面积阈值T2的整体进行计数；对于大于或等于面积阈值T2和小于面积阈值T2+T1的整体进行加2计数；

所述的自动计数模块中的以边界周长为阈值的计数算法如下：

Step41：对阈值化后的二值图像从上到下、从左到右进行扫描；如果遇到白色象素则进行标记，并按照Freeman编码方式进行逆时针跟踪，如果能够连接在一起，则表明该区域为一个整体；对图像中的每一个整体进行标记1，2，3，…，n(n为整数)；

Step42：统计各个不同整体的周长；由于按照Freeman编码所连通的象素是某个整体最外边界的象素，其周长便是边界上的象素数；

Step43：对于大于或等于边界周长阈值T3和小于边界周长阈值T4的整体进行计数；对于大于或等于边界周长阈值T4和小于边界周长阈值T3+T4的整体进行加2计数。

11.如权利要求1所述的基于机器视觉的流水式高精度、高速的颗粒物自动计数装置，其特征在于：所述的多数表决模块中，采用一种简单的K/n的多数表决方法，即共有n张被识别的图像，如果有K张图像的计数识别结果相同就判定为该结果；本发明采用2/3的多数表决方法，即3次识别计数结果中有2次以上的计数结果相同就判定为该结果为最终识别结果；当3次识别计数结果都不一致时，保存原识别图像最后留给人工去识别处理；

所述的多数表决模块的作用是将摄像机在不同的拍摄状态和时间所获得的计数识别结果在决策层进行信息融合；具体的做法是采用多数表决的方法来确定K/n多数表决系统的Counter_accuracy(K/n)；

${\mathrm{Counter}}_{\mathrm{accuracy}}(K/n)=\underset{i=0}{\overset{K}{\mathrm{\Σ}}}n*C_i*{\mathrm{Accuracy}}^{n-i}*{(1-\mathrm{Accuracy})}^i---\left(4\right)$

式中，Accuracy为单个计数识别的准确率，按照本发明的检测阈值规定，Accuracy=0.9973，采用2/3作为多数表决的话，那么可以通过如下计算得到2/3表决的正确识别率为，

${\mathrm{Counter}}_{\mathrm{accuracy}}(2/3)=\underset{i=0}{\overset{2}{\mathrm{\Σ}}}3*C_i*{\mathrm{Accuracy}}^{3-i}*{(1-\mathrm{Accuracy})}^i$

$={\mathrm{Accuracy}}^3+3*{\mathrm{Accuracy}}^2*(1-\mathrm{Accuracy})=0.99192+0.00806=0.99998$

根据上述的计算，对于10万次的检测计数结果中只有2次可能出现误检。

12.如权利要求1所述的基于机器视觉的流水式高精度、高速的颗粒物自动计数装置，其特征在于：所述的结果输出模块中，根据输出方式不同，分为原始图像输出、图像处理中间结果输出、识别和计数结果输出和表决结果输出；操作人员根据操作需要通过人机交互模块在人机界面上选择不同的输出方式，正常检测情况下只保存最终的表决结果输出，并用以下格式写入检测结果表中；

表1检测结果表

被测颗粒物ID 抓拍图像编号 被测颗粒物数量 机器检测时间 表决状态 **** ****** *** HHMMSS T/F

表1中的被测颗粒物ID是检测前由操作人员输入的，抓拍图像编号是检测过程中机器自动循环生成的，被测颗粒物数量是由多数表决模块的表决结果所确定的，当多数表决模块中有两次以上同样的计数结果，就将该计数值作为被测颗粒物数量，同时将表决状态设置为True，对于表决状态为True的记录删除相对应的抓拍图像编号的所有原始图像和中间处理结果图像；当多数表决模块中出现了三次不一样的计数结果，被测颗粒物数量设置为三次计数结果的平均值，同时将表决状态设置为False；机器检测时间是由微处理器的内部时钟时间来设定的；

对于表决状态出现False情况，需要人工干预识别处理，这时在人机界面上会不断闪烁请求干预的信息，同时在人机界面上会同时显示三次识别的原始抓拍图像、机器识别和计数结果，操作人员根据这些信息确定图像中被测颗粒物数量，然后将人工确认的被测颗粒物数量写入到被测颗粒物数量的项目中，并同时将该人工干预记录写入知识库中，最后将表1中表决状态设置为True；

对于写入知识库中人工干预识别处理的记录，操作人员根据记录的信息分析误识别和不能识别的原因，通过适当调整识别阈值、改变识别条件和修正识别算法提高计数识别的准确性。

13.如权利要求1所述的基于机器视觉的流水式高精度、高速的颗粒物自动计数装置，其特征在于：所述的人机交互模块中，根据装置请求干预的信息进行人工干预以提高装置的识别和计数精度；根据装置中记录的人工干预识别处理情况，通过统计工具调整识别阈值、改变识别条件和修正识别算法。

Images