CN102937583A - 基于单目多视角机器视觉的珍珠光洁度在线自动分级装置 - Google Patents

Abstract

一种基于单目多视角机器视觉的珍珠光洁度在线自动分级装置，包括用于对珍珠进行自动检测和分类的流水线，用于拍摄被检珍珠图像的单目多视角机器视觉装置，用于对被检珍珠图像进行图像处理、检测、识别、分类以及协调控制流水线上各动作机构的协调动作的微处理器，流水线包括上料动作机构、送检动作机构、下料动作机构、分级动作机构和分级执行机构；本发明提供一种具有机构简单、制造成本低、能满足珍珠光洁度和瑕疵等品质指标的检测、分级效率高、使用和维护方便和自动化程度高的基于单目多视角机器视觉的珍珠光洁度在线自动分级装置。

Description

基于单目多视角机器视觉的珍珠光洁度在线自动分级装置

技术领域

本发明属于立体成像技术、机器视觉技术、机械设计技术、光学技术和自动控制技术在珍珠自动分级方面的应用，尤其适用于大规模养殖珍珠企业的珍珠光洁度在线自动分级装置。

背景技术

珍珠在我国具有悠久的使用和培育历史。到2005年，我国淡水珍珠的年产量更是达到1500吨左右，约占世界珍珠产量的95％以上。出口淡水珍珠400～500吨，占国际市场淡水珍珠交易量的90％以上，海水珍珠年产量达到20吨，居世界首位。然而相对于我国如此大的珍珠产量，目前整个行业所采用的分级方法基本上仍停留在人工检测的阶段，企业需要安排大量的人员以肉眼观察的方式对珍珠的等级进行分类。这种人工检测的珍珠分级方法，由于珍珠体积小、数量多，分级工作负荷大、效率低，易疲劳，加上对于经验有较高的要求，检测结果易受人为因素影响，不但大大增加了珍珠生产企业的生产成本，也不利于实施准确有效和稳定的质量控制。因此，提高分级分选的效率，实现分级分选的自动化，对于珍珠的生产销售是一件极其重要的事情。

随着养殖珍珠国家分级标准的出台（GB/T 18781-2008），新标准的出台明确了养殖珍珠的定义、分类、质量因素及其级别标准等，使得对于出口产品实施分级检验制度成为可能，由此对于各珍珠生产和加工企业提出了新的要求。对珍珠进行准确快速的分级成为了珍珠生产企业工作重心之一。因此，对珍珠进行准确而快速的分级成为了珍珠生产企业的迫切需求。

国家发明申请号200710066683.0公开了一种基于机器视觉的珍珠实时检测和分级系统，运用机器视觉技术对顺序自由下落的珍珠表面进行图像采集，将采集到的图像传送到DSP、计算机等硬件设备中进行处理，并将处理结果按照珍珠分类标准做即时判别，最后把判别信息传送到分选装置，从而实现用设备自动将不同特征的珍珠进行分类，完成珍珠的大小、形状、光洁、瑕疵和颜色等全部外观品质指标的检测，实现珍珠的快速实时检测和分级。但是，该发明在图像获取技术方面存在着不足之处，为了要从多角度拍摄自由下落的珍珠表面需要配置多台高速摄像机，这样会增加硬件成本不利于产业推广；另一方面，要求多台高速摄像机实时抓拍自由下落的珍珠图像，对装置的控制精度有很高的要求；更重要的是由于珍珠图像在自由下落情况下进行抓拍的，所抓拍的图像对珍珠的光洁和瑕疵检测上造成不利影响，还有需要对多台高速摄像机的内部参数以及颜色系统进行校正；对于珍珠颜色的识别，要保证多台摄像机的颜色系统一致并非一件容易的事情。

珍珠作为非平面的球体目标，表面具有一定的弧度，要根据大小、形状、光洁、瑕疵和颜色分级，必须获得珍珠整个球体表面的图像。因此，检测一颗珍珠并对其进行有效分级需要获取多幅图像，采用一种以珍珠为中心的全方位视觉检测手段。另一方面，珍珠表面非常光滑，具有极高的反光性，很容易在珍珠表面产生周围物体的倒影；由于珍珠的表面具有反光以及呈现表面映像等特有现象，所以，我们在获取珍珠图像过程中，选择在柔弱光下进行，选择与之色差比较大的黑色作为背景，便于图像的分析与处理。照明方式选择为单点照明方式，光源的位置和镜头齐高，两者夹角小于10度。

因此，一种基于单目多视角机器视觉的流水式珍珠自动分级装置的设计迫切需要解决以下几个问题：1）如何设计一种低成本的、以物为中心的全景视觉装置来一次获得珍珠整个球体表面的图像；2）如何实时完成珍珠的光洁和瑕疵等外观品质指标的视觉检测；3）如何减少环境多义性和珍珠的表面反光对机器视觉检测结果的干扰；4）如何利用流水线的设计方式来提高检测速度，实现珍珠的快速实时检测和分级。

发明内容

为了克服已有的基于机器视觉的珍珠实时检测和分级系统的机构复杂、制造成本高、难以满足各种品质指标的检测需要、检测与分级效率低、使用和维护困难和自动化程度不高等不足；本发明提供一种具有机构简单、制造成本低、能满足珍珠光洁度和瑕疵等品质指标的检测、分级效率高、使用和维护方便和自动化程度高的基于单目多视角机器视觉的珍珠光洁度在线自动分级装置。

本发明解决其技术问题所采用的技术方案是：

一种基于单目多视角机器视觉的珍珠光洁度在线自动分级装置，包括用于对珍珠进行自动检测和分类的流水线，用于拍摄被检珍珠图像的单目多视角机器视觉装置和用于对被检珍珠图像进行图像处理、检测、识别、分类以及协调控制流水线上各动作机构的协调动作的微处理器，所述流水线包括用于将被检珍珠从待测物件容器中以每次一粒珍珠喂送到上料输入口的上料动作机构，用于将被检珍珠提升到视觉检测箱中进行视觉分析的送检动作机构，用于将送检动作机构的活动顶杆的翻板上的已检珍珠落入分级输入口的下料动作机构，用于将落入到分级输入口的已检珍珠根据分级判断结果控制分级输出口转动到相对应的珍珠分级容器上方的分级动作机构和用于将在分级输出口内的已检珍珠收集到相对应的珍珠分级容器中的分级执行机构；所述的微处理器还包括：

图像读取模块，用于从所述的广角摄像机读取包含有从9个不同视角拍摄的被检珍珠的图像；图像处理模块，用于从一幅图像中分割出9幅不同视角的珍珠图像和将9幅不同视角的图像背景中分割出珍珠图像，并根据知识库中保存的传感器的标定结果对9幅不同视角的珍珠图像进行透视投影转换处理；传感器标定模块，用于对广角摄像机的标定、鱼眼镜头的畸变矫正以及透视投影变换，将标定广角摄像机的内部参数以及透视投影变换的参数存储到知识库中；光洁度识别模块，用于根据国家标准对被检珍珠进行光洁度的识别；结果输出模块，用于将被检珍珠的瑕疵和光洁度的检测结果进行汇总，一方面根据国家检测标准自动生成一份检测结果表，另一方面，将检测结果的信息发送给流水线控制模块，让流水线控制模块控制相应的分级控制模块自动完成被检珍珠的自动分级；人机交互模块，用于在人工干预下完成检测参数的设定和控制检测结果的输出。

所述的视觉检测箱；由1个广角摄像机和8个平面镜所构成的单目多视角立体视觉装置，通过一个广角摄像机的一次成像来获取从9个视角拍摄的珍珠表面图像，实现一种以珍珠为观察中心的全方位视觉装置；主要由广角摄像机和2个平面镜斗型腔组成；每个斗型腔由尺寸相同的等腰梯形平面镜组成，上斗型腔呈上小下大，下斗型腔呈上大下小，上下斗型腔的大口径处尺寸相同，在上下斗型腔的大口径处将上下斗型腔合并为一整体，镜面朝向腔体内侧，且腔体的中轴线重合于摄像机的主光轴；广角镜头由上斗型腔小口端探入腔体内，镜头入射光线由上斗型腔端口的直射光线和镜面反射光线组成；通过腔体的直射光线投影在摄像机投影面的中央区域，被测珍珠通过活动支架被安置到中央区域，镜面反射光线投射到摄像机投影面的周边区域，且8个镜面的投影区域各不相同；因此，该装置拍摄的图像包含被测珍珠的多个影像，且这些影像来自于9不同透视投影点；所述的视觉检测箱一共有9个不同透视投影点，在摄像机中直接成像的为真实摄像机的透视投影点，所拍摄的图像如附图3中的视角0；其他8个均为由摄像机和反射镜面所成像的为虚拟摄像机的透视投影点，所拍摄的图像分别来自于视角1～视角8，所述的单目多视角立体视觉装置具有严格一致的内部参数和颜色系统。

所述的图像处理模块中，分割出珍珠图像后，根据知识库中保存的传感器的标定结果对9幅不同视角的珍珠图像进行透视投影转换处理，得到9幅不同视角的分割后无畸变的珍珠图像。

所述的光洁度识别模块中，从9个不同视角获取被检珍珠图像，首先需要将来自9个视角的经图像分割后的图像进行拼接，然后对拼接后的图像进行光洁度级别的识别分类；图像拼接解决的问题是通过对齐一系列的空间重叠的图像，从而构造一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野；所述的单目多视角机器视觉从9个不同视角拍摄被检珍珠的图像；按照所述的单目多视角立体视觉系统的设计，从8个反射镜面与广角摄像机的配置几何关系可知，视角1和视角3所拍摄的珍珠图像有50%重叠区域，视角3和视角5所拍摄的珍珠图像有50%重叠区域，视角5和视角7所拍摄的珍珠图像有50%重叠区域，视角2和视角4所拍摄的珍珠图像有50%重叠区域，视角4和视角6所拍摄的珍珠图像有50%重叠区域，视角6和视角8所拍摄的珍珠图像有50%重叠区域，视角1和视角2所拍摄的珍珠图像有56.7%重叠区域，视角3和视角4所拍摄的珍珠图像有56.7%重叠区域，视角5和视角6所拍摄的珍珠图像有56.7%重叠区域，视角7和视角8所拍摄的珍珠图像有56.7%重叠区域，视角0和视角5所拍摄的珍珠图像有87.8%重叠区域；这里对重叠区域图像采用图像融合方法，由于加权平均法具有算法简单、运算速度快的优点，采用加权平均法融合策略；该算法的思想是将2幅图像对应的像素点乘以一个加权系数后再相加得到融合图像的像素值；对于源图像和拼接图像，通过融合后得到的图像用公式（1）进行计算，

$I(x,y)=\left\{\begin{array}{cc}{I}_1(x,y)& (x,y)\∈I_1\\ L(x,y)\×(1-\mathrm{\α}1)+R(x,y)\×\mathrm{\α}1& (x,y)\∈(I_1\∩I_2)\\ I_2(x,y)& (x,y)\∈I_2\end{array}\right.---\left(1\right)$

式中，L(x,y),R(x,y)分别表示两幅拼接图像I₁和I₂的重叠区域，L(x,y)∈I₁，R(x,y)∈I₂,α1为权值，取值范围为[0,1]，α1的值可以由重叠区域的像素点计算得到，α1=s1/(s1+s2)，s1为I₁中重叠区域的所有像素和，s2为I₂中重叠区域的所有像素和；

进一步，对9幅从不同视角拍摄的珍珠图像进行拼接，拼接算法如下：

StepA1：利用公式（1）分别对视角1和视角3、视角5和视角7、视角2和视角4、视角6和视角8的经图像分割处理后的珍珠图像进行拼接，得到视角1-3、视角5-7、视角2-4、视角6-8的拼接图像；

StepA2：利用公式（1）分别对视角1-3和视角5-7、视角2-4和视角6-8的图像进行拼接，得到视角1-3-5-7、视角2-4-6-8的拼接图像；

StepA3：利用公式（1）对视角1-3-5-7、视角2-4-6-8的图像进行上下拼接，得到视角1-2-3-4-5-6-7-8的拼接图像；

StepA4：利用公式（1）对视角1-2-3-4-5-6-7-8、视角0的图像在视角5和视角0重叠区域进行拼接，得到视角0-1-2-3-4-5-6-7-8的拼接图像；

进一步，根据国家标准对被检珍珠表面进行光洁度识别和分类，首先，对视角0-1-2-3-4-5-6-7-8的拼接图像采用LOG算子进行局部二值化处理，然后统计二值化后的瑕疵区域像素点数目；LOG算子就是Laplacian-Gauss算子，该算子把Gauss平滑滤波器和Laplacian锐化滤波器结合了起来，先平滑掉噪声，再进行边缘检测；对于大花点瑕疵检测，如果统计二值化后的瑕疵区域像素点数目大于预设的阈值T1，则判定该被检珍珠有大花点瑕疵；对于螺纹瑕疵检测，去除二值化时可能在最外围形成的边圈，首先需要利用腐蚀算子操作获得所有连通区域的边界图；然后对于每一个连通区域，计算其最小包围盒；进一步根据最小包围盒和预设的长宽比阈值T2，来判断该连通区域是否是螺纹瑕疵；对于大花皮瑕疵检测，和大花点不同，大花皮指的是珍珠表面有一片或几片与周围梯度不同的区域，因此大花皮瑕疵检测时在LOG算子中采用5×5的模板的移动窗口进行二值化处理，如果统计二值化后的瑕疵区域像素点数目大于预设的阈值T3，则判定该被检珍珠有大花皮瑕疵。

5、如权利要求1或2所述的基于单目多视角机器视觉的珍珠光洁度在线自动分级装置，其特征在于：所述的光洁度识别模块中，对被检珍珠表面进行光洁度识别和分类的处理流程如下；

StepS1：读取经图像分割处理后的9幅不同视角的珍珠图像；

StepS2：采用拼接算法对9幅不同视角分割处理后的珍珠图像进行拼接处理；

StepS3：采用LOG算子对拼接处理后的图像进行局部二值化处理；

StepS4：采用大花点瑕疵检测算法对二值化处理后图像进行检测，判断瑕疵区域像素点数目是否大于预设的阈值T1，如果满足条件判定为大花点瑕疵并转到StepS12，否则继续；

StepS5：采用螺纹瑕疵检测算法对二值化处理后图像进行检测，判断瑕疵区域最小包围盒是否满足预设的长宽比阈值T2，如果满足条件判定为螺纹瑕疵并转到StepS12，否则继续；

StepS6：采用大花皮瑕疵检测算法对5×5模板的移动窗口LOG算子处理的二值化图像进行检测，判断瑕疵区域像素点数目是否大于预设的阈值T3，如果满足条件判定为大花皮瑕疵并转到StepS12，否则继续；

StepS7：判断瑕疵区域像素点数目是否大于预设的阈值T4，如果满足条件判定为中花点瑕疵并转到StepS11，否则继续；

StepS8：判断瑕疵区域像素点数目是否大于预设的阈值T5，如果满足条件判定为小花点瑕疵并转到StepS10，否则继续；

StepS9：输出判断结果为无瑕疵，等级A，结束；

StepS10：输出判断结果为微瑕疵，等级B，结束；

StepS11：输出判断结果为小瑕疵，等级C，结束；

StepS12：统计计算所有瑕疵区域的面积S_x和被检珍珠的表面积S_z，并计算K_xz=S_x/S_z；

StepS13：判断K_xz≥0.25，如果满足转到StepS15,否则继续；

StepS14：输出判断结果为瑕疵（大花点？、螺纹？、大花皮？），等级D，结束；

StepS15：输出判断结果为重瑕疵（大花点？、螺纹？、大花皮？），等级E，结束。

所述的上料动作机构与所述的送检动作机构有一个动作配合，当所述的送检动作机构的活动顶杆下降到某一个位置高度时，所述的上料动作机构的上料管中的被检珍珠依靠自身重力流入到送检机构的活动顶杆的翻门上，完成上料的动作。

所述的送检动作机构由活动顶杆、翻门、转动齿轮和步进电机所构成，活动顶杆内部中空，当翻门打开时，在翻门上的珍珠将沿顶杆内孔落下；活动顶杆的外侧配置有齿条，齿条与转动齿轮相啮合，步进电机带动转动齿轮正反转动，控制转动齿轮正反方向的转动就能控制活动顶杆的上下运动；当活动顶杆运动到上位极限状态时，活动顶杆将被测珍珠提升到检测箱中进行检测；当活动顶杆运动到下位极限状态时，这时活动顶杆对上料管出口处不发生遮挡，上料管的珍珠依靠自身的重量流入到活动顶杆的翻门上；活动顶杆的上部和翻门采用黑色无镜面反射的金属材料制成。

所述的下料动作机构安置在所述的送检动作机构的活动顶杆内，由翻门、弹簧铰链和牵引式电磁铁所构成，翻门通过弹簧铰链固定在活动顶杆上内侧；牵引式电磁铁不通电时弹簧铰链的弹簧力使得翻门处于闭合状态，当牵引式电磁铁通电时克服弹簧铰链中的弹簧力使得翻门打开，使得安置在活动顶杆的翻门上的珍珠依靠其本身重力下落到活动顶杆的内孔中，流入活动顶杆内孔中的珍珠接着流入到分级输入口中。

所述的分级动作机构由转动盘和步进电机构成，转盘的上面开有一个分级输入口，转盘的下面开有一个分级输出口，分级输入口和分级输出口是连通的，分级输出口下面配置了一根分级输出导管，分级输出口与分级输出导管之间配置有所述的分级执行机构，步进电机驱动转动盘的转动；

所述的分级执行机构由翻门、弹簧铰链和牵引式电磁铁所构成，翻门通过弹簧铰链固定在分级输出口；牵引式电磁铁不通电时弹簧铰链的弹簧力使得翻门处于闭合状态，当牵引式电磁铁通电时克服弹簧铰链中的弹簧力使得翻门打开，使得在分级输出口的已检珍珠依靠其本身重力下落到沿输出导管流入到相对应的珍珠分级容器中。

所述的流水线控制模块，用于控制所述的上料动作机构、所述的送检动作机构、所述的下料动作机构、所述的分级动作机构和所述的分级执行机构之间的协调顺序动作；下面以流水线动作顺序说明5种动作之间的时序关系，首先是送检动作机构的活动顶杆上下运动，送检动作机构的活动顶杆从上极限位运动到下极限位的时间为T1，从下极限位运动到上极限位的时间为T2，这里T1＝T2；当送检动作机构的活动顶杆从上极限位开始运动时刻触发图像抓拍机构进行被检珍珠图像的抓拍，然后进行图像分析、检测和分类识别；经过时间T11触发下料动作机构的动作，使得安置在活动顶杆的翻门上的珍珠依靠其本身重力下落到活动顶杆的内孔中，流入活动顶杆内孔中的珍珠接着流入到分级输入口中；经过时间T12根据分级判断结果触发分级动作机构的转动，使得分级输入口对准相对应的分级收集容器的转动，因此，在T12时间内必须完成对被测珍珠的图像分析、检测和分类识别处理；经过时间T13上料管的珍珠依靠自身的重量流入到送检动作机构的活动顶杆的翻门上；活动顶杆到达下极限位后改变运动方向，向上运动，经过时间T21后触发分级执行机构的电磁开关动作，使得已检珍珠流入到相对应的珍珠分级容器中；经过时间T22后触发分级动作机构的转动，使得分级输入口对准活动顶杆的转动，等待下一次被检珍珠的落下；经过时间T23后触发上料动作机构的送检准备动作，将一粒珍珠送入上料管内；活动顶杆到达上极限位后改变运动方向，向下运动，以此往复循环，每循环一次完成一粒珍珠的分类检测。

本发明的有益效果主要表现在：1）采用了流水线式珍珠实时自动检测和分级方法，上料动作、图像抓拍动作、图像分析和检测处理、卸料动作和分级动作都是并行进行的，提高了自动检测和分级的效率；2）通过单一的广角摄像机通过8个平面反射镜同时获取9幅来自不同视角的被检珍珠表面的图像，极大地简化了基于机器视觉的自动检测装置的复杂度，降低了装置的制造成本，同时也为后续图像处理和分析提供了便利；3）以养殖珍珠国家分级标准进行珍珠的图像分析和检测处理，所检测的指标符合国家标准。

附图说明

图1为一种基于单目多视角机器视觉的珍珠光洁度在线自动分级装置的总体说明图，其中1为珍珠分级入料口，2为LED灯，3为广角摄像机，4为镜面，5为珍珠，6为下料动作机构，7为活动顶杆，8为分级执行机构，9为分级输出口，10为步进电机，11为分级输入口，12为送检动作机构，13为上料动作机构，14为分级动作机构，15为珍珠分级容器；

图2为一种基于单目多视角机器视觉装置从不同视角拍摄被检珍珠的示意图，其中16为虚拟摄像机3的投影点，17为摄像机的投影点，18为虚拟摄像机1的投影点，19为第一镜面、20为虚拟摄像机4的投影点、21为第二镜面，22为被检珍珠，23为虚拟摄像机2的投影点；

图3为一种基于单目多视角机器视觉装置从9个不同视角拍摄被检珍珠的9幅图像；

图4为上料动作机构、送检动作机构和下料动作机构的关系结构图，其中，24为齿条，25为转动齿轮、26为上料管、27为翻板，28为自动下翻门，29为弹簧铰链；

图5为下料动作机构动作时在送检动作机构的活动顶杆的翻门上的已检珍珠下落到送检动作机构的活动顶杆的内孔中的情况示意图；

图6为在送检动作机构的活动顶杆在下位极限时，上料管的珍珠依靠自身的重量流入到活动顶杆的翻门上示意图；

图7为一种基于单目多视角机器视觉的珍珠光洁度在线自动分级装置的各机构动作序列说明图；

图8为一种基于单目多视角机器视觉的珍珠光洁度在线自动分级装置的硬件结构和软件系统构成说明图；

图9为一种基于单目多视角机器视觉的珍珠瑕疵自动检测处理流程图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图9，一种基于单目多视角机器视觉的珍珠光洁度在线自动分级装置，包括用于对珍珠进行自动检测和分类的流水线，用于拍摄被检珍珠图像的单目多视角机器视觉装置和用于对被检珍珠图像进行图像处理、检测、识别、分类以及协调控制流水线上各动作机构的协调动作的微处理器，所述流水线包括用于将被检珍珠从待测物件容器中以每次一粒珍珠喂送到上料输入口的上料动作机构，用于将被检珍珠提升到视觉检测箱中进行视觉分析的送检动作机构，用于将送检动作机构的活动顶杆的翻板上的已检珍珠落入分级输入口的下料动作机构，用于将落入到分级输入口的已检珍珠根据分级判断结果控制分级输出口转动到相对应的珍珠分级容器上方的分级动作机构和用于将在分级输出口内的已检珍珠收集到相对应的珍珠分级容器中的分级执行机构；

所述的视觉检测箱，用于从9个不同视角拍摄被检珍珠的图像；由1个广角摄像机和8个平面镜所构成的单目多视角立体视觉装置，通过一个广角摄像机的一次成像来获取从9个视角拍摄的珍珠表面图像，实现一种以珍珠为观察中心的全方位视觉装置；主要由广角摄像机和2个平面镜斗型腔组成；每个斗型腔由尺寸相同的等腰梯形平面镜组成，上斗型腔呈上小下大，下斗型腔呈上大下小，上下斗型腔的大口径处尺寸相同，在上下斗型腔的大口径处将上下斗型腔合并为一整体，镜面朝向腔体内侧，且腔体的中轴线重合于摄像机的主光轴；广角镜头由上斗型腔小口端探入腔体内，镜头入射光线由上斗型腔端口的直射光线和镜面反射光线组成；通过腔体的直射光线投影在摄像机投影面的中央区域，被测珍珠通过活动支架被安置到中央区域，镜面反射光线投射到摄像机投影面的周边区域，且8个镜面的投影区域各不相同；因此，该装置拍摄的图像包含被测珍珠的多个影像，且这些影像来自于9不同透视投影点，如附图3所示；本发明中一共有9个不同透视投影点，在摄像机中直接成像的为真实摄像机的透视投影点，所拍摄的图像如附图3中的视角0；其他8个均为由摄像机和反射镜面所成像的为虚拟摄像机的透视投影点，所拍摄的图像分别为附图3中的视角1～视角8，由于都是在同一个摄像机中成像，因此该装置具有严格一致的内部参数和颜色系统；

所述的微处理器还包括：如附图8所示，图像读取模块，用于从所述的广角摄像机读取包含有从9个不同视角拍摄的被检珍珠的图像；图像处理模块，用于从一幅图像中分割出9幅不同视角的珍珠图像和将9幅不同视角的图像背景中分割出珍珠图像，并根据知识库中保存的传感器的标定结果对9幅不同视角的珍珠图像进行透视投影转换处理；传感器标定模块，用于对广角摄像机的标定、鱼眼镜头的畸变矫正以及透视投影变换，将标定广角摄像机的内部参数以及透视投影变换的参数存储到知识库中；光洁度识别模块，用于根据国家标准对被检珍珠进行光洁度的识别；结果输出模块，用于将被检珍珠的瑕疵和光洁度的检测结果进行汇总，一方面根据国家检测标准自动生成一份检测结果表，另一方面，将检测结果的信息发送给流水线控制模块，让流水线控制模块控制相应的分级控制模块自动完成被检珍珠的自动分级；人机交互模块，用于在人工干预下完成检测参数的设定和控制检测结果的输出；

上料控制模块，用于控制所述的上料动作机构的动作，将被检珍珠从待测物件容器中以每次一粒珍珠喂送到上料输入口；下料控制模块，用于控制所述的下料动作机构的动作，将所述的送检动作机构的活动顶杆的翻板上的已检珍珠落入分级输入口；分级控制模块，用于控制所述的分级动作机构的动作，将落入到分级输入口的已检珍珠根据分级判断结果转动到相对应的珍珠分级容器上方；分级执行模块，用于控制所述的分级执行机构的动作，将在分级输出口内的已检珍珠收集到相对应的珍珠分级容器中；送检控制模块，用于控制所述的送检动作机构的动作，将被检珍珠提升到视觉检测箱中进行视觉分析；流水线控制模块，用于控制流水线上的所述的上料动作机构、所述的送检动作机构、所述的广角摄像机、所述的下料动作机构、所述的分级动作机构和所述的分级执行机构按规定的流程并行协调动作；

所述的上料动作机构，用于将被检珍珠从待测物件容器中以每次一粒珍珠喂送到上料管内；所述的上料动作机构与所述的送检动作机构有一个动作配合，当所述的送检动作机构的活动顶杆下降到某一个位置高度时，所述的上料动作机构的上料管中的被检珍珠依靠自身重力流入到送检机构的活动顶杆的翻门上，完成上料的动作；

所述的送检动作机构，用于将被检珍珠提升到视觉检测箱中进行视觉分析；所述的送检动作机构主要由活动顶杆、翻门、转动齿轮和步进电机所构成，活动顶杆内部中空，当翻门打开时，在翻门上的珍珠将沿顶杆内孔落下；活动顶杆的外侧配置有齿条，齿条与转动齿轮相啮合，步进电机带动转动齿轮正反转动，控制转动齿轮正反方向的转动就能控制活动顶杆的上下运动；当活动顶杆运动到上位极限状态时，活动顶杆将被测珍珠提升到检测箱中进行检测，如附图4所示；当活动顶杆运动到下位极限状态时，这时活动顶杆对上料管出口处不发生遮挡，上料管的珍珠依靠自身的重量流入到活动顶杆的翻门上，如附图6所示；活动顶杆的上部和翻门采用黑色无镜面反射的金属材料制成；

所述的下料动作机构，用于将所述的送检动作机构的活动顶杆的翻板上的已检珍珠落入分级输入口；下料动作机构安置在所述的送检动作机构的活动顶杆内，由翻门、弹簧铰链和牵引式电磁铁所构成，翻门通过弹簧铰链固定在活动顶杆上内侧；牵引式电磁铁不通电时弹簧铰链的弹簧力使得翻门处于闭合状态，当牵引式电磁铁通电时克服弹簧铰链中的弹簧力使得翻门打开，使得安置在活动顶杆的翻门上的珍珠依靠其本身重力下落到活动顶杆的内孔中，流入活动顶杆内孔中的珍珠接着流入到分级输入口中，如附图5所示；

所述的分级动作机构，用于将分级输入口对准活动顶杆的内孔等待流入活动顶杆内孔中的珍珠接着流入到分级输入口中和将落入到分级输出口内的已检珍珠根据分级判断结果转动到相对应的珍珠分级容器上方；主要由转动盘和步进电机构成，转盘的上面开有一个分级输入口，转盘的下面开有一个分级输出口，分级输入口和分级输出口是连通的，分级输出口下面配置了一根分级输出导管，分级输出口与分级输出导管之间配置有所述的分级执行机构，步进电机驱动转动盘的转动；

所述的分级执行机构，用于将分级输出口内的珍珠经分级输出导管流入到相对应的珍珠分级容器中，由翻门、弹簧铰链和牵引式电磁铁所构成，翻门通过弹簧铰链固定在分级输出口；牵引式电磁铁不通电时弹簧铰链的弹簧力使得翻门处于闭合状态，当牵引式电磁铁通电时克服弹簧铰链中的弹簧力使得翻门打开，使得在分级输出口的已检珍珠依靠其本身重力下落到沿输出导管流入到相对应的珍珠分级容器中；

流水线控制模块，用于控制所述的上料动作机构、所述的送检动作机构、所述的下料动作机构、所述的分级动作机构和所述的分级执行机构之间的协调顺序动作；下面以附图7所示的动作顺序说明5种动作之间的时序关系，首先是送检动作机构的活动顶杆上下运动，送检动作机构的活动顶杆从上极限位运动到下极限位的时间为T1，从下极限位运动到上极限位的时间为T2，本发明中T1＝T2；当送检动作机构的活动顶杆从上极限位开始运动时刻触发图像抓拍机构进行被检珍珠图像的抓拍，然后进行图像分析、检测和分类识别；经过时间T11触发下料动作机构的动作，使得安置在活动顶杆的翻门上的珍珠依靠其本身重力下落到活动顶杆的内孔中，流入活动顶杆内孔中的珍珠接着流入到分级输入口中；经过时间T12根据分级判断结果触发分级动作机构的转动，使得分级输入口对准相对应的分级收集容器的转动，因此，在T12时间内必须完成对被测珍珠的图像分析、检测和分类识别处理；经过时间T13上料管的珍珠依靠自身的重量流入到送检动作机构的活动顶杆的翻门上；活动顶杆到达下极限位后改变运动方向，向上运动，经过时间T21后触发分级执行机构的电磁开关动作，使得已检珍珠流入到相对应的珍珠分级容器中；经过时间T22后触发分级动作机构的转动，使得分级输入口对准活动顶杆的转动，等待下一次被检珍珠的落下；经过时间T23后触发上料动作机构的送检准备动作，将一粒珍珠送入上料管内；活动顶杆到达上极限位后改变运动方向，向下运动，以此往复循环，每循环一次完成一粒珍珠的分类检测；

所述的图像处理模块，用于从一幅图像中分割出9幅不同视角的珍珠图像和将9幅不同视角的图像背景中分割出珍珠图像，并根据知识库中保存的传感器的标定结果对9幅不同视角的珍珠图像进行透视投影转换处理，得到9幅不同视角的分割后无畸变的珍珠图像；

所述的光洁度识别模块，用于根据国家标准对被检珍珠进行光洁度的识别；对于被检珍珠的光洁度级别的识别分类，对于机器视觉来说就是检测珍珠表面的纹理，因此，需要从整个被检珍珠表面进行视觉检测；由于本发明从9个不同视角获取被检珍珠图像，首先需要将来自9个视角的经图像分割后的图像进行拼接，然后对拼接后的图像进行光洁度级别的识别分类；图像拼接解决的问题是通过对齐一系列的空间重叠的图像，从而构造一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野；由于本发明的单目多视角机器视觉从9个不同视角拍摄被检珍珠的图像，所拍摄的图像如附图3所示；按照本发明单目多视角立体视觉系统的设计，如附图1所示，从8个反射镜面与广角摄像机的配置几何关系可知，视角1和视角3所拍摄的珍珠图像有50%重叠区域，视角3和视角5所拍摄的珍珠图像有50%重叠区域，视角5和视角7所拍摄的珍珠图像有50%重叠区域，视角2和视角4所拍摄的珍珠图像有50%重叠区域，视角4和视角6所拍摄的珍珠图像有50%重叠区域，视角6和视角8所拍摄的珍珠图像有50%重叠区域，视角1和视角2所拍摄的珍珠图像有56.7%重叠区域，视角3和视角4所拍摄的珍珠图像有56.7%重叠区域，视角5和视角6所拍摄的珍珠图像有56.7%重叠区域，视角7和视角8所拍摄的珍珠图像有56.7%重叠区域，视角0和视角5所拍摄的珍珠图像有87.8%重叠区域；本发明对重叠区域图像采用图像融合方法，由于加权平均法具有算法简单、运算速度快的优点，本发明采用加权平均法融合策略；该算法的思想是将2幅图像对应的像素点乘以一个加权系数后再相加得到融合图像的像素值；对于源图像和拼接图像，通过融合后得到的图像用公式（1）进行计算，

$I(x,y)=\left\{\begin{array}{cc}{I}_1(x,y)& (x,y)\∈I_1\\ L(x,y)\×(1-\mathrm{\α}1)+R(x,y)\×\mathrm{\α}1& (x,y)\∈(I_1\∩I_2)\\ I_2(x,y)& (x,y)\∈I_2\end{array}\right.---\left(1\right)$

式中，L(x,y),R(x,y)分别表示两幅拼接图像I₁和I₂的重叠区域，L(x,y)∈I₁，R(x,y)∈I₂,α1为权值，取值范围为[0,1]，α1的值可以由重叠区域的像素点计算得到，α1=s1/(s1+s2)，s1为I₁中重叠区域的所有像素和，s2为I₂中重叠区域的所有像素和；

本发明中要对9幅从不同视角拍摄的珍珠图像进行拼接，拼接算法如下：

StepA1：利用公式（1）分别对视角1和视角3、视角5和视角7、视角2和视角4、视角6和视角8的经图像分割处理后的珍珠图像进行拼接，得到视角1-3、视角5-7、视角2-4、视角6-8的拼接图像；

StepA2：利用公式（1）分别对视角1-3和视角5-7、视角2-4和视角6-8的图像进行拼接，得到视角1-3-5-7、视角2-4-6-8的拼接图像；

StepA3：利用公式（1）对视角1-3-5-7、视角2-4-6-8的图像进行上下拼接，得到视角1-2-3-4-5-6-7-8的拼接图像；

StepA4：利用公式（1）对视角1-2-3-4-5-6-7-8、视角0的图像在视角5和视角0重叠区域进行拼接，得到视角0-1-2-3-4-5-6-7-8的拼接图像；

进一步，根据国家标准对被检珍珠表面进行光洁度识别和分类，本发明主要是通过珍珠表面纹理进行识别；首先，对视角0-1-2-3-4-5-6-7-8的拼接图像采用LOG算子进行局部二值化处理，然后统计二值化后的瑕疵区域像素点数目；LOG算子就是Laplacian-Gauss算子，该算子把Gauss平滑滤波器和Laplacian锐化滤波器结合了起来，先平滑掉噪声，再进行边缘检测，关于LOG算子实现方法参见数字图像处理的相关书籍；对于大花点瑕疵检测，如果统计二值化后的瑕疵区域像素点数目大于预设的阈值T1，则判定该被检珍珠有大花点瑕疵；对于螺纹瑕疵检测，去除二值化时可能在最外围形成的边圈，首先需要利用腐蚀算子操作获得所有连通区域的边界图；然后对于每一个连通区域，计算其最小包围盒；进一步根据最小包围盒和预设的长宽比阈值T2，来判断该连通区域是否是螺纹瑕疵；对于大花皮瑕疵检测，和大花点不同，大花皮指的是珍珠表面有一片或几片与周围梯度不同的区域，因此大花皮瑕疵检测时在LOG算子中采用5×5的模板的移动窗口进行二值化处理，如果统计二值化后的瑕疵区域像素点数目大于预设的阈值T3，则判定该被检珍珠有大花皮瑕疵；

更进一步，结合附图9对被检珍珠表面进行光洁度识别和分类的处理流程进行阐述；

StepS1：读取经图像分割处理后的9幅不同视角的珍珠图像；

StepS2：采用拼接算法对9幅不同视角分割处理后的珍珠图像进行拼接处理；

StepS3：采用LOG算子对拼接处理后的图像进行局部二值化处理；

StepS4：采用大花点瑕疵检测算法对二值化处理后图像进行检测，判断瑕疵区域像素点数目是否大于预设的阈值T1，如果满足条件判定为大花点瑕疵并转到StepS12，否则继续；

StepS5：采用螺纹瑕疵检测算法对二值化处理后图像进行检测，判断瑕疵区域最小包围盒是否满足预设的长宽比阈值T2，如果满足条件判定为螺纹瑕疵并转到StepS12，否则继续；

StepS6：采用大花皮瑕疵检测算法对5×5模板的移动窗口LOG算子处理的二值化图像进行检测，判断瑕疵区域像素点数目是否大于预设的阈值T3，如果满足条件判定为大花皮瑕疵并转到StepS12，否则继续；

StepS7：判断瑕疵区域像素点数目是否大于预设的阈值T4，如果满足条件判定为中花点瑕疵并转到StepS11，否则继续；

StepS8：判断瑕疵区域像素点数目是否大于预设的阈值T5，如果满足条件判定为小花点瑕疵并转到StepS10，否则继续；

StepS9：输出判断结果为无瑕疵，等级A，结束；

StepS10：输出判断结果为微瑕疵，等级B，结束；

StepS11：输出判断结果为小瑕疵，等级C，结束；

StepS12：统计计算所有瑕疵区域的面积S_x和被检珍珠的表面积S_z，并计算K_xz=S_x/S_z；

StepS13：判断K_xz≥0.25，如果满足转到StepS15,否则继续；

StepS14：输出判断结果为瑕疵（大花点？、螺纹？、大花皮？），等级D，结束；

StepS15：输出判断结果为重瑕疵（大花点？、螺纹？、大花皮？），等级E，结束。

为了一次性、全方位获取被检珍珠整个球体表面的图像，本发明设计了由1个广角摄像机和8个平面镜构成的单目多视角的立体视觉装置，通过一个广角摄像机的一次成像来获取从9个视角拍摄的珍珠表面图像，实现一种以珍珠为观察中心的全方位视觉装置；具体做法是：在广角摄像机前面放置由8枚平面镜构成的对称斗型腔，镜面朝向腔体内侧；物体光线经过8枚平面镜反射后，投影到摄像机图像平面的不同区域，在摄像机图像平面上投影多个影像，生成单目多视角立体图像；该图像等价于不同视角的多幅图像，等价于一个单目多视角的立体视觉装置，该装置通过一次成像就能从9个不同视角拍摄的珍珠表面图像，为全方位检测被测珍珠的光洁和瑕疵等外观品质指标的视觉检测；

附图2为单目多视角立体视觉系统的原理图；它主要由摄像单元、广角镜头和2个平面镜斗型腔组成；每个斗型腔由尺寸相同的等腰梯形平面镜组成，上斗型腔呈上小下大，下斗型腔呈上大下小，上下斗型腔的大口径处尺寸相同，在上下斗型腔的大口径处将上下斗型腔合并为一整体，镜面朝向腔体内侧，且腔体的中轴线重合于摄像机的主光轴；广角镜头由上斗型腔小口端探入腔体内，镜头入射光线由上斗型腔端口的直射光线和镜面反射光线组成；通过腔体的直射光线投影在摄像机投影面的中央区域，被测珍珠通过活动支架被安置到中央区域，镜面反射光线投射到摄像机投影面的周边区域，且8个镜面的投影区域各不相同；因此，该装置拍摄的图像包含被测珍珠的多个影像，且这些影像来自于9不同透视投影点，如附图3所示；本发明中一共有9个不同透视投影点，在摄像机中直接成像的为真实摄像机的透视投影点，所拍摄的图像如附图3中的视角0；其他8个均为由摄像机和反射镜面所成像的为虚拟摄像机的透视投影点，所拍摄的图像分别为附图3中的视角1～视角8，由于都是在同一个摄像机中成像，因此该装置具有严格一致的内部参数和颜色系统；

单目多视角立体图像提取装置中的摄像机和镜头使用前需要进行标定，为了增加摄像机的视角，选用了360°×180°的鱼眼广角镜头；因此，内部参数的标定包括鱼眼广角镜头投影模型参数、镜头半径方向和切线方向畸变参数、相机的焦点距离和图像主点位置参数；

在常规情况下鱼眼镜头的标定，要使用多幅图像实现全部模型参数的精确标定；由于本发明采用了单目多视角摄像装置使用平面镜反射光线，拍摄的一幅多视点投影图像上包含标定板的多个影像；由平面镜反射原理可知，这些标定板影像等价于同一标定板在不同位置上分别投影到相机投影平面上所获得的多幅标定板图像；所以，使用一幅标定板的多视点投影图像标定相机内部参数，等价于使用多幅标定板图像的标定操作，图像中包含标定板的9个独立影像，能够获得高精度的标定结果；鱼眼镜头畸变很大，边缘区域尤为严重，使用该图像对摄像机和鱼眼镜头进行了标定，使用标定结果对图像进行了畸变矫正，并进行透视投影变换，鱼眼镜头畸变导致的歪扭曲线边已经被矫正为直线，得到了标准的透视投影图像；关于广角摄像机的标定、鱼眼镜头的畸变矫正以及透视投影变换方法在数字图像处理和计算机视觉的相关书籍中均有介绍；

要实现珍珠实时自动检测和分级，需要对自动检测和分级过程中所必须完成动作的机构进行设计，其中包括：用于将被检珍珠自动送入到检测装置的活动顶杆上的上料动作机构，上料动作机构要保证每次只送一颗珍珠并且珍珠的位置正好落在活动顶杆上；用于将落在活动顶杆的翻板上被检珍珠提升到检测箱中进行视觉分析、分类和分级判断的送检动作机构；用于将活动顶杆上已检珍珠落入分级输入口的下料动作机构；用于对翻板上被检珍珠行视觉分析、分类和分级判断的微处理器；用于对翻板上已检珍珠根据分级判断结果将已检珍珠收集到相对应的珍珠分级容器中的分级执行机构；

本发明中，上料动作机构与送检动作机构有一个动作配合，当送检动作机构的活动顶杆下降到某一个位置高度时，上料动作机构的上料管中的被检珍珠依靠自身重力流入到送检动作机构的活动顶杆的翻门上，此时，送检动作机构的活动顶杆就迅速改变运动方向将流入到送检动作机构的活动顶杆的翻板上提升到检测箱中进行视觉分析；活动顶杆靠近转动齿轮一侧配置有转动齿轮相啮合的齿条，转动齿轮正反方向的转动使得活动顶杆的上下运动，控制转动齿轮正反方向的转动就能控制活动顶杆的上下运动，当活动顶杆运动到上位极限状态时，活动顶杆将被测珍珠提升到检测箱中进行检测，如附图4所示；当活动顶杆运动到下位极限状态时，这时活动顶杆对上料管出口处不发生遮挡，上料管的珍珠依靠自身的重量流入到活动顶杆的翻门上，如附图6所示；下料动作机构由翻门、弹簧铰链和牵引式电磁铁所构成，当牵引式电磁铁通电时克服弹簧铰链中的弹簧力使得翻门打开，使得安置在活动顶杆的翻门上的珍珠依靠其本身重力下落到活动顶杆的内孔中，流入活动顶杆内孔中的珍珠接着流入到分级输入口中，如附图5所示；在分级输入口中的珍珠根据当牵引式电磁铁失电时弹簧铰链中的弹簧力使得翻门关闭，以保证在翻门上的珍珠不落入到活动顶杆的内孔中；上料动作机构保证每次一粒珍珠进入上料管中，以保证落入到活动顶杆的翻门上只有一粒珍珠；

进一步，将上述几个机构的动作关联从上料机构开始取出一粒被测珍珠到最后分级执行机构将已检珍珠送入珍珠分级容器中实现实时自动检测和分级的流程进行整体说明；

Step1）上料动作机构以每一次动作将一粒被测珍珠送入上料管，当送检动作机构的活动顶杆运动到下位极限状态时，上料管的珍珠依靠自身的重量流入到送检动作机构的活动顶杆的翻门上，同时上料动作机构动作准备好一粒被测珍珠送入上料管；

Step2）送检动作机构的活动顶杆运动到上位极限状态时，活动顶杆将被测珍珠提升到检测箱中进行视觉检测，从9个不同视角拍摄被测珍珠的图像；

Step3）抓拍了被测珍珠的图像后启动下料动作机构，使得安置在活动顶杆的翻门上的珍珠依靠其本身重力下落到活动顶杆的内孔中，流入活动顶杆内孔中的珍珠接着流入到分级输入口中；

Step4）对分级输入口中的已检珍珠根据分级判断结果控制分级动作机构转动到相对应的珍珠分级容器的上方，接着控制分级执行机构的电磁开关使得已检珍珠流入到相对应的珍珠分级容器中；

Step5）返回到Step1）；

综上所述，送检动作机构的活动顶杆运动序列决定了其他机构的相关动作，送检动作机构的活动顶杆从下位极限向上运动时与上料机构的配合，该动作期间驱动分级动作机构的步进电机的转动动作将分级输出口对准已检珍珠等级所对应的珍珠分级容器；送检动作机构的活动顶杆运动到上位极限状态时与抓拍单元抓拍动作的配合，该动作期间驱动分级执行机构的电磁开关使得已检珍珠流入到相对应的珍珠分级容器中；送检动作机构的活动顶杆从上位极限状态向下运动时与下料机构的配合，该动作期间驱动分级动作机构的步进电机的转动动作将分级输入口对准活动顶杆的内孔；动作序列如附图7所示；

首先是送检动作机构的活动顶杆上下运动，送检动作机构的活动顶杆从上极限位运动到下极限位的时间为T1，从下极限位运动到上极限位的时间为T2，本发明中T1＝T2；当送检动作机构的活动顶杆从上极限位开始运动时刻触发图像抓拍机构进行被检珍珠图像的抓拍，然后进行图像分析、检测和分类识别；经过时间T11触发下料动作机构的动作，使得安置在活动顶杆的翻门上的珍珠依靠其本身重力下落到活动顶杆的内孔中，流入活动顶杆内孔中的珍珠接着流入到分级输入口中；经过时间T12根据分级判断结果触发分级动作机构的转动，使得分级输入口对准相对应的分级收集容器的转动，因此，在T12时间内必须完成对被测珍珠的图像分析、检测和分类识别处理；经过时间T13上料管的珍珠依靠自身的重量流入到送检动作机构的活动顶杆的翻门上；活动顶杆到达下极限位后改变运动方向，向上运动，经过时间T21后触发分级执行机构的电磁开关动作，使得已检珍珠流入到相对应的珍珠分级容器中；经过时间T22后触发分级动作机构的转动，使得分级输入口对准活动顶杆的转动，等待下一次被检珍珠的落下；经过时间T23后触发上料动作机构的送检准备动作，将一粒珍珠送入上料管内；活动顶杆到达上极限位后改变运动方向，向下运动，以此往复循环，每循环一次完成一粒珍珠的分类检测；

根据GB/T 18781-2008珍珠分级国家标准，珍珠分级是根据珍珠的类别（海水、淡水），分别从颜色、大小、形状、光泽、光洁度、珠层厚度（有核珍珠）等6个方面的质量因素进行评价，其中颜色、光泽、光洁度是根据国家标准样品对比给出级别；本发明依据GB/T 18781-2008珍珠分级国家标准对被检珍珠进行分级；

珍珠的光洁度：珍珠的光泽级别主要依据珍珠表面的瑕疵程度进行识别，分为5个等级，用表1进行归纳；

表1珍珠的光洁度级别

照明方式的设计是机器视觉照明系统中最为重要的环节，本发明的照明方式选择为单点照明方式，照明光源采用白色LED，LED的位置和镜头齐高，两者夹角小于10度，通过8枚平面镜构成的对称斗型腔的反射使得照射到珍珠表面的光均匀，无阴影、无反光、亮度大，满足不同检测指标的照明要求；

珍珠在检测箱中进行检测时，光照条件、图像背景的灰度值和珍珠的反射光强度均恒定在一定区域内，本发明采用了全局Ostu算法来进行图像分割，由于珍珠区域最外面有一层光晕，利用腐蚀算法去除最外层的光晕；

对于被检珍珠的光洁度级别的识别分类，对于机器视觉来说就是检测珍珠表面的纹理，因此，需要从整个被检珍珠表面进行视觉检测；由于本发明从9个不同视角获取被检珍珠图像，首先需要将来自9个视角的经图像分割后的图像进行拼接，然后对拼接后的图像进行光洁度级别的识别分类；图像拼接解决的问题是通过对齐一系列的空间重叠的图像，从而构造一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野；由于本发明的单目多视角机器视觉从9个不同视角拍摄被检珍珠的图像，所拍摄的图像如附图3所示；按照本发明单目多视角立体视觉系统的设计，如附图1所示，从8个反射镜面与广角摄像机的配置几何关系可知，视角1和视角3所拍摄的珍珠图像有50%重叠区域，视角3和视角5所拍摄的珍珠图像有50%重叠区域，视角5和视角7所拍摄的珍珠图像有50%重叠区域，视角2和视角4所拍摄的珍珠图像有50%重叠区域，视角4和视角6所拍摄的珍珠图像有50%重叠区域，视角6和视角8所拍摄的珍珠图像有50%重叠区域，视角1和视角2所拍摄的珍珠图像有56.7%重叠区域，视角3和视角4所拍摄的珍珠图像有56.7%重叠区域，视角5和视角6所拍摄的珍珠图像有56.7%重叠区域，视角7和视角8所拍摄的珍珠图像有56.7%重叠区域，视角0和视角5所拍摄的珍珠图像有87.8%重叠区域；本发明对重叠区域图像采用图像融合方法，由于加权平均法具有算法简单、运算速度快的优点，本发明采用加权平均法融合策略；该算法的思想是将2幅图像对应的像素点乘以一个加权系数后再相加得到融合图像的像素值；对于源图像和拼接图像，通过融合后得到的图像用公式（1）进行计算，

$I(x,y)=\left\{\begin{array}{cc}{I}_1(x,y)& (x,y)\∈I_1\\ L(x,y)\×(1-\mathrm{\α}1)+R(x,y)\×\mathrm{\α}1& (x,y)\∈(I_1\∩I_2)\\ I_2(x,y)& (x,y)\∈I_2\end{array}\right.---\left(1\right)$

式中，L(x,y),R(x,y)分别表示两幅拼接图像I₁和I₂的重叠区域，L(x,y)∈I₁，R(x,y)∈I₂,α1为权值，取值范围为[0,1]，α1的值可以由重叠区域的像素点计算得到，α1=s1/(s1+s2)，s1为I₁中重叠区域的所有像素和，s2为I₂中重叠区域的所有像素和。

Claims (10)

1.一种基于单目多视角机器视觉的珍珠光洁度在线自动分级装置，其特征在于：包括用于对珍珠进行自动检测和分类的流水线，用于拍摄被检珍珠图像的单目多视角机器视觉装置和用于对被检珍珠图像进行图像处理、检测、识别、分类以及协调控制流水线上各动作机构的协调动作的微处理器，所述流水线包括用于将被检珍珠从待测物件容器中以每次一粒珍珠喂送到上料输入口的上料动作机构，用于将被检珍珠提升到视觉检测箱中进行视觉分析的送检动作机构，用于将送检动作机构的活动顶杆的翻板上的已检珍珠落入分级输入口的下料动作机构，用于将落入到分级输入口的已检珍珠根据分级判断结果控制分级输出口转动到相对应的珍珠分级容器上方的分级动作机构和用于将在分级输出口内的已检珍珠收集到相对应的珍珠分级容器中的分级执行机构；所述的微处理器还包括：

图像读取模块，用于从所述的广角摄像机读取包含有从9个不同视角拍摄的被检珍珠的图像；图像处理模块，用于从一幅图像中分割出9幅不同视角的珍珠图像和将9幅不同视角的图像背景中分割出珍珠图像，并根据知识库中保存的传感器的标定结果对9幅不同视角的珍珠图像进行透视投影转换处理；传感器标定模块，用于对广角摄像机的标定、鱼眼镜头的畸变矫正以及透视投影变换，将标定广角摄像机的内部参数以及透视投影变换的参数存储到知识库中；光洁度识别模块，用于根据国家标准对被检珍珠进行光洁度的识别；结果输出模块，用于将被检珍珠的瑕疵和光洁度的检测结果进行汇总，一方面根据国家检测标准自动生成一份检测结果表，另一方面，将检测结果的信息发送给流水线控制模块，让流水线控制模块控制相应的分级控制模块自动完成被检珍珠的自动分级；人机交互模块，用于在人工干预下完成检测参数的设定和控制检测结果的输出。

2.如权利要求1所述的基于单目多视角机器视觉的珍珠光洁度在线自动分级装置，其特征在于：所述的视觉检测箱；由1个广角摄像机和8个平面镜所构成的单目多视角立体视觉装置，通过一个广角摄像机的一次成像来获取从9个视角拍摄的珍珠表面图像，实现一种以珍珠为观察中心的全方位视觉装置；主要由广角摄像机和2个平面镜斗型腔组成；每个斗型腔由尺寸相同的等腰梯形平面镜组成，上斗型腔呈上小下大，下斗型腔呈上大下小，上下斗型腔的大口径处尺寸相同，在上下斗型腔的大口径处将上下斗型腔合并为一整体，镜面朝向腔体内侧，且腔体的中轴线重合于摄像机的主光轴；广角镜头由上斗型腔小口端探入腔体内，镜头入射光线由上斗型腔端口的直射光线和镜面反射光线组成；通过腔体的直射光线投影在摄像机投影面的中央区域，被测珍珠通过活动支架被安置到中央区域，镜面反射光线投射到摄像机投影面的周边区域，且8个镜面的投影区域各不相同；因此，该装置拍摄的图像包含被测珍珠的多个影像，且这些影像来自于9不同透视投影点；所述的视觉检测箱一共有9个不同透视投影点，在摄像机中直接成像的为真实摄像机的透视投影点，所拍摄的图像如附图3中的视角0；其他8个均为由摄像机和反射镜面所成像的为虚拟摄像机的透视投影点，所拍摄的图像分别来自于视角1～视角8，所述的单目多视角立体视觉装置具有严格一致的内部参数和颜色系统。

3.如权利要求1或2所述的基于单目多视角机器视觉的珍珠光洁度在线自动分级装置，其特征在于：所述的图像处理模块中，分割出珍珠图像后，根据知识库中保存的传感器的标定结果对9幅不同视角的珍珠图像进行透视投影转换处理，得到9幅不同视角的分割后无畸变的珍珠图像。

4.如权利要求1或2所述的基于单目多视角机器视觉的珍珠光洁度在线自动分级装置，其特征在于：所述的光洁度识别模块中，从9个不同视角获取被检珍珠图像，首先需要将来自9个视角的经图像分割后的图像进行拼接，然后对拼接后的图像进行光洁度级别的识别分类；图像拼接解决的问题是通过对齐一系列的空间重叠的图像，从而构造一个无缝的、高清晰的图像，它具有比单个图像更高的分辨率和更大的视野；所述的单目多视角机器视觉从9个不同视角拍摄被检珍珠的图像；按照所述的单目多视角立体视觉系统的设计，从8个反射镜面与广角摄像机的配置几何关系可知，视角1和视角3所拍摄的珍珠图像有50%重叠区域，视角3和视角5所拍摄的珍珠图像有50%重叠区域，视角5和视角7所拍摄的珍珠图像有50%重叠区域，视角2和视角4所拍摄的珍珠图像有50%重叠区域，视角4和视角6所拍摄的珍珠图像有50%重叠区域，视角6和视角8所拍摄的珍珠图像有50%重叠区域，视角1和视角2所拍摄的珍珠图像有56.7%重叠区域，视角3和视角4所拍摄的珍珠图像有56.7%重叠区域，视角5和视角6所拍摄的珍珠图像有56.7%重叠区域，视角7和视角8所拍摄的珍珠图像有56.7%重叠区域，视角0和视角5所拍摄的珍珠图像有87.8%重叠区域；这里对重叠区域图像采用图像融合方法，由于加权平均法具有算法简单、运算速度快的优点，采用加权平均法融合策略；该算法的思想是将2幅图像对应的像素点乘以一个加权系数后再相加得到融合图像的像素值；对于源图像和拼接图像，通过融合后得到的图像用公式（1）进行计算，

$I(x,y)=\left\{\begin{array}{cc}{I}_1(x,y)& (x,y)\∈I_1\\ L(x,y)\×(1-\mathrm{\α}1)+R(x,y)\×\mathrm{\α}1& (x,y)\∈(I_1\∩I_2)\\ I_2(x,y)& (x,y)\∈I_2\end{array}\right.---\left(1\right)$

式中，L(x,y),R(x,y)分别表示两幅拼接图像I₁和I₂的重叠区域，L(x,y)∈I₁，R(x,y)∈I₂,α1为权值，取值范围为[0,1]，α1的值可以由重叠区域的像素点计算得到，α1=s1/(s1+s2)，s1为I₁中重叠区域的所有像素和，s2为I₂中重叠区域的所有像素和；

进一步，对9幅从不同视角拍摄的珍珠图像进行拼接，拼接算法如下：

StepA1：利用公式（1）分别对视角1和视角3、视角5和视角7、视角2和视角4、视角6和视角8的经图像分割处理后的珍珠图像进行拼接，得到视角1-3、视角5-7、视角2-4、视角6-8的拼接图像；

StepA2：利用公式（1）分别对视角1-3和视角5-7、视角2-4和视角6-8的图像进行拼接，得到视角1-3-5-7、视角2-4-6-8的拼接图像；

StepA3：利用公式（1）对视角1-3-5-7、视角2-4-6-8的图像进行上下拼接，得到视角1-2-3-4-5-6-7-8的拼接图像；

StepA4：利用公式（1）对视角1-2-3-4-5-6-7-8、视角0的图像在视角5和视角0重叠区域进行拼接，得到视角0-1-2-3-4-5-6-7-8的拼接图像；

进一步，根据国家标准对被检珍珠表面进行光洁度识别和分类，首先，对视角0-1-2-3-4-5-6-7-8的拼接图像采用LOG算子进行局部二值化处理，然后统计二值化后的瑕疵区域像素点数目；LOG算子就是Laplacian-Gauss算子，该算子把Gauss平滑滤波器和Laplacian锐化滤波器结合了起来，先平滑掉噪声，再进行边缘检测；对于大花点瑕疵检测，如果统计二值化后的瑕疵区域像素点数目大于预设的阈值T1，则判定该被检珍珠有大花点瑕疵；对于螺纹瑕疵检测，去除二值化时可能在最外围形成的边圈，首先需要利用腐蚀算子操作获得所有连通区域的边界图；然后对于每一个连通区域，计算其最小包围盒；进一步根据最小包围盒和预设的长宽比阈值T2，来判断该连通区域是否是螺纹瑕疵；对于大花皮瑕疵检测，和大花点不同，大花皮指的是珍珠表面有一片或几片与周围梯度不同的区域，因此大花皮瑕疵检测时在LOG算子中采用5×5的模板的移动窗口进行二值化处理，如果统计二值化后的瑕疵区域像素点数目大于预设的阈值T3，则判定该被检珍珠有大花皮瑕疵。

5.如权利要求1或2所述的基于单目多视角机器视觉的珍珠光洁度在线自动分级装置，其特征在于：所述的光洁度识别模块中，对被检珍珠表面进行光洁度识别和分类的处理流程如下；

StepS1：读取经图像分割处理后的9幅不同视角的珍珠图像；

StepS2：采用拼接算法对9幅不同视角分割处理后的珍珠图像进行拼接处理；

StepS3：采用LOG算子对拼接处理后的图像进行局部二值化处理；

StepS4：采用大花点瑕疵检测算法对二值化处理后图像进行检测，判断瑕疵区域像素点数目是否大于预设的阈值T1，如果满足条件判定为大花点瑕疵并转到StepS12，否则继续；

StepS5：采用螺纹瑕疵检测算法对二值化处理后图像进行检测，判断瑕疵区域最小包围盒是否满足预设的长宽比阈值T2，如果满足条件判定为螺纹瑕疵并转到StepS12，否则继续；

StepS6：采用大花皮瑕疵检测算法对5×5模板的移动窗口LOG算子处理的二值化图像进行检测，判断瑕疵区域像素点数目是否大于预设的阈值T3，如果满足条件判定为大花皮瑕疵并转到StepS12，否则继续；

StepS7：判断瑕疵区域像素点数目是否大于预设的阈值T4，如果满足条件判定为中花点瑕疵并转到StepS11，否则继续；

StepS8：判断瑕疵区域像素点数目是否大于预设的阈值T5，如果满足条件判定为小花点瑕疵并转到StepS10，否则继续；

StepS9：输出判断结果为无瑕疵，等级A，结束；

StepS10：输出判断结果为微瑕疵，等级B，结束；

StepS11：输出判断结果为小瑕疵，等级C，结束；

StepS12：统计计算所有瑕疵区域的面积S_x和被检珍珠的表面积S_z，并计算K_xz=S_x/S_z；

StepS13：判断K_xz≥0.25，如果满足转到StepS15,否则继续；

StepS14：输出判断结果为瑕疵（大花点？、螺纹？、大花皮？），等级D，结束；

StepS15：输出判断结果为重瑕疵（大花点？、螺纹？、大花皮？），等级E，结束。

6.如权利要求1或2所述的基于单目多视角机器视觉的珍珠光洁度在线自动分级装置，其特征在于：所述的上料动作机构与所述的送检动作机构有一个动作配合，当所述的送检动作机构的活动顶杆下降到某一个位置高度时，所述的上料动作机构的上料管中的被检珍珠依靠自身重力流入到送检机构的活动顶杆的翻门上，完成上料的动作。

7.如权利要求1或2所述的基于单目多视角机器视觉的珍珠光洁度在线自动分级装置，其特征在于：所述的送检动作机构由活动顶杆、翻门、转动齿轮和步进电机所构成，活动顶杆内部中空，当翻门打开时，在翻门上的珍珠将沿顶杆内孔落下；活动顶杆的外侧配置有齿条，齿条与转动齿轮相啮合，步进电机带动转动齿轮正反转动，控制转动齿轮正反方向的转动就能控制活动顶杆的上下运动；当活动顶杆运动到上位极限状态时，活动顶杆将被测珍珠提升到检测箱中进行检测；当活动顶杆运动到下位极限状态时，这时活动顶杆对上料管出口处不发生遮挡，上料管的珍珠依靠自身的重量流入到活动顶杆的翻门上；活动顶杆的上部和翻门采用黑色无镜面反射的金属材料制成。

8.如权利要求1或2所述的基于单目多视角机器视觉的珍珠光洁度在线自动分级装置，其特征在于：所述的下料动作机构安置在所述的送检动作机构的活动顶杆内，由翻门、弹簧铰链和牵引式电磁铁所构成，翻门通过弹簧铰链固定在活动顶杆上内侧；牵引式电磁铁不通电时弹簧铰链的弹簧力使得翻门处于闭合状态，当牵引式电磁铁通电时克服弹簧铰链中的弹簧力使得翻门打开，使得安置在活动顶杆的翻门上的珍珠依靠其本身重力下落到活动顶杆的内孔中，流入活动顶杆内孔中的珍珠接着流入到分级输入口中。

9.如权利要求1或2所述的基于单目多视角机器视觉的珍珠光洁度在线自动分级装置，其特征在于：所述的分级动作机构由转动盘和步进电机构成，转盘的上面开有一个分级输入口，转盘的下面开有一个分级输出口，分级输入口和分级输出口是连通的，分级输出口下面配置了一根分级输出导管，分级输出口与分级输出导管之间配置有所述的分级执行机构，步进电机驱动转动盘的转动；

所述的分级执行机构由翻门、弹簧铰链和牵引式电磁铁所构成，翻门通过弹簧铰链固定在分级输出口；牵引式电磁铁不通电时弹簧铰链的弹簧力使得翻门处于闭合状态，当牵引式电磁铁通电时克服弹簧铰链中的弹簧力使得翻门打开，使得在分级输出口的已检珍珠依靠其本身重力下落到沿输出导管流入到相对应的珍珠分级容器中。

10.如权利要求1所述的基于单目多视角机器视觉的珍珠光洁度在线自动分级装置，其特征在于：所述的流水线控制模块，用于控制所述的上料动作机构、所述的送检动作机构、所述的下料动作机构、所述的分级动作机构和所述的分级执行机构之间的协调顺序动作；下面以流水线动作顺序说明5种动作之间的时序关系，首先是送检动作机构的活动顶杆上下运动，送检动作机构的活动顶杆从上极限位运动到下极限位的时间为T1，从下极限位运动到上极限位的时间为T2，这里T1＝T2；当送检动作机构的活动顶杆从上极限位开始运动时刻触发图像抓拍机构进行被检珍珠图像的抓拍，然后进行图像分析、检测和分类识别；经过时间T11触发下料动作机构的动作，使得安置在活动顶杆的翻门上的珍珠依靠其本身重力下落到活动顶杆的内孔中，流入活动顶杆内孔中的珍珠接着流入到分级输入口中；经过时间T12根据分级判断结果触发分级动作机构的转动，使得分级输入口对准相对应的分级收集容器的转动，因此，在T12时间内必须完成对被测珍珠的图像分析、检测和分类识别处理；经过时间T13上料管的珍珠依靠自身的重量流入到送检动作机构的活动顶杆的翻门上；活动顶杆到达下极限位后改变运动方向，向上运动，经过时间T21后触发分级执行机构的电磁开关动作，使得已检珍珠流入到相对应的珍珠分级容器中；经过时间T22后触发分级动作机构的转动，使得分级输入口对准活动顶杆的转动，等待下一次被检珍珠的落下；经过时间T23后触发上料动作机构的送检准备动作，将一粒珍珠送入上料管内；活动顶杆到达上极限位后改变运动方向，向下运动，以此往复循环，每循环一次完成一粒珍珠的分类检测。

Images