CN102967586B - 基于单目多视角机器视觉的珍珠颜色光泽度在线自动分级装置 - Google Patents

Abstract

一种基于单目多视角机器视觉的珍珠颜色光泽度在线自动分级装置，包括用于对珍珠进行自动检测和分类的流水线，用于拍摄被检珍珠图像的单目多视角机器视觉装置，用于对被检珍珠图像进行图像处理、检测、识别、分类以及协调控制流水线上各动作机构的协调动作的微处理器，流水线包括上料动作机构、送检动作机构、下料动作机构、分级动作机构和分级执行机构；本发明提供一种具有机构简单、制造成本低、能满足珍珠颜色和色泽等品质指标的检测、分级效率高、使用和维护方便和自动化程度高的基于单目多视角机器视觉的珍珠颜色光泽度在线自动分级装置。

Description

基于单目多视角机器视觉的珍珠颜色光泽度在线自动分级装置

技术领域

本发明属于立体成像技术、机器视觉技术、机械设计技术、光学技术和自动控制技术在珍珠自动分级方面的应用，尤其适用于大规模养殖珍珠生产企业的珍珠自动分级。

背景技术

珍珠在我国具有悠久的使用和培育历史。到2005年，我国淡水珍珠的年产量更是达到1500吨左右，约占世界珍珠产量的95％以上。出口淡水珍珠400~500吨，占国际市场淡水珍珠交易量的90％以上，海水珍珠年产量达到20吨，居世界首位。然而相对于我国如此大的珍珠产量，目前整个行业所采用的分级方法基本上仍停留在人工检测的阶段，企业需要安排大量的人员以肉眼观察的方式对珍珠的等级进行分类。这种人工检测的珍珠分级方法，由于珍珠体积小、数量多，分级工作负荷大、效率低，易疲劳，加上对于经验有较高的要求，检测结果易受人为因素影响，不但大大增加了珍珠生产企业的生产成本，也不利于实施准确有效和稳定的质量控制。因此，提高分级分选的效率，实现分级分选的自动化，对于珍珠的生产销售是一件极其重要的事情。

随着养殖珍珠国家分级标准的出台（GB/T 18781-2008），新标准的出台明确了养殖珍珠的定义、分类、质量因素及其级别标准等，使得对于出口产品实施分级检验制度成为可能，由此对于各珍珠生产和加工企业提出了新的要求。对珍珠进行准确快速的分级成为了珍珠生产企业工作重心之一。因此，对珍珠进行准确而快速的分级成为了珍珠生产企业的迫切需求。

国家发明申请号200710066683.0公开了一种基于机器视觉的珍珠实时检测和分级系统，运用机器视觉技术对顺序自由下落的珍珠表面进行图像采集，将采集到的图像传送到DSP、计算机等硬件设备中进行处理，并将处理结果按照珍珠分类标准做即时判别，最后把判别信息传送到分选装置，从而实现用设备自动将不同特征的珍珠进行分类，完成珍珠的大小、形状、光洁、瑕疵和颜色等全部外观品质指标的检测，实现珍珠的快速实时检测和分级。但是，该发明在图像获取技术方面存在着不足之处，为了要从多角度拍摄自由下落的珍珠表面需要配置多台高速摄像机，这样会增加硬件成本不利于产业推广；另一方面，要求多台高速摄像机实时抓拍自由下落的珍珠图像，对装置的控制精度有很高的要求；更重要的是由于珍珠图像在自由下落情况下进行抓拍的，所抓拍的图像对珍珠的光洁和瑕疵检测上造成不利影响，还有需要对多台高速摄像机的内部参数以及颜色系统进行校正；对于珍珠颜色的识别，要保证多台摄像机的颜色系统一致并非一件容易的事情。

珍珠作为非平面的球体目标，表面具有一定的弧度，要根据大小、形状、光洁、瑕疵和颜色分级，必须获得珍珠整个球体表面的图像。因此，检测一颗珍珠并对其进行有效分级需要获取多幅图像，采用一种以珍珠为中心的全方位视觉检测手段。另一方面，珍珠表面非常光滑，具有极高的反光性，很容易在珍珠表面产生周围物体的倒影；由于珍珠的表面具有反光以及呈现表面映像等特有现象，所以，我们在获取珍珠图像过程中，选择在柔弱光下进行，选择与之色差比较大的黑色作为背景，便于图像的分析与处理。照明方式选择为单点照明方式，光源的位置和镜头齐高，两者夹角小于10度。

因此，一种基于单目多视角机器视觉的流水式珍珠自动分级装置的设计迫切需要解决以下几个问题：1）如何设计一种低成本的、以物为中心的全景视觉装置来一次获得珍珠整个球体表面的图像；2）如何一次完成珍珠的颜色和光泽度等外观品质指标的视觉检测；3）如何减少环境多义性和珍珠的表面反光对机器视觉检测结果的干扰；4）如何利用流水线的设计方式来提高检测速度，实现珍珠的快速实时检测和分级。

发明内容

为了克服已有的基于机器视觉的珍珠实时检测和分级系统的机构复杂、制造成本高、难以满足各种品质指标的检测需要、检测与分级效率低、使用和维护困难和自动化程度不高等不足，本发明提供一种具有机构简单、制造成本低、能同时满足珍珠颜色和光泽度品质指标的检测、检测与分级效率高、使用和维护方便和自动化程度高的基于单目多视角机器视觉的流水式珍珠自动分级装置。

本发明解决其技术问题所采用的技术方案是：

一种基于单目多视角机器视觉的珍珠颜色光泽度在线自动分级装置，包括用于对珍珠进行自动检测和分类的流水线，用于拍摄被检珍珠图像的单目多视角机器视觉装置和用于对被检珍珠图像进行图像处理、检测、识别、分类以及协调控制流水线上各动作机构的协调动作的微处理器，所述流水线包括用于将被检珍珠从待测物件容器中以每次一粒珍珠喂送到上料输入口的上料动作机构，用于将被检珍珠提升到视觉检测箱中进行视觉分析的送检动作机构，用于将送检动作机构的活动顶杆的翻板上的已检珍珠落入分级输入口的下料动作机构，用于将落入到分级输入口的已检珍珠根据分级判断结果控制分级输出口转动到相对应的珍珠分级容器上方的分级动作机构和用于将在分级输出口内的已检珍珠收集到相对应的珍珠分级容器中的分级执行机构；所述的微处理器还包括：

图像读取模块，用于从所述的广角摄像机读取包含有从9个不同视角拍摄的被检珍珠的图像；图像处理模块，用于从一幅图像中分割出9幅不同视角的珍珠图像和将9幅不同视角的图像背景中分割出珍珠图像，并根据知识库中保存的传感器的标定结果对9幅不同视角的珍珠图像进行透视投影转换处理；传感器标定模块，用于对广角摄像机的标定、鱼眼镜头的畸变矫正以及透视投影变换，将标定广角摄像机的内部参数以及透视投影变换的参数存储到知识库中；颜色色泽识别模块，用于根据国家标准对被检珍珠进行颜色和色泽的识别；结果输出模块，用于将被检珍珠的颜色和色泽的检测结果进行汇总，一方面根据国家检测标准自动生成一份检测结果表，另一方面，将检测结果的信息发送给流水线控制模块，让流水线控制模块控制相应的分级控制模块自动完成被检珍珠的自动分级；人机交互模块，用于在人工干预下完成检测参数的设定和控制检测结果的输出。

进一步，所述的视觉检测箱由1个广角摄像机和8个平面镜所构成的单目多视角立体视觉装置，通过一个广角摄像机的一次成像来获取从9个视角拍摄的珍珠表面图像，实现一种以珍珠为观察中心的全方位视觉装置；主要由广角摄像机和2个平面镜斗型腔组成；每个斗型腔由尺寸相同的等腰梯形平面镜组成，上斗型腔呈上小下大，下斗型腔呈上大下小，上下斗型腔的大口径处尺寸相同，在上下斗型腔的大口径处将上下斗型腔合并为一整体，镜面朝向腔体内侧，且腔体的中轴线重合于摄像机的主光轴；广角镜头由上斗型腔小口端探入腔体内，镜头入射光线由上斗型腔端口的直射光线和镜面反射光线组成；通过腔体的直射光线投影在摄像机投影面的中央区域，被测珍珠通过活动支架被安置到中央区域，镜面反射光线投射到摄像机投影面的周边区域，且8个镜面的投影区域各不相同；因此，该装置拍摄的图像包含被测珍珠的多个影像，且这些影像来自于9不同透视投影点；所述的视觉检测箱一共有9个不同透视投影点，在摄像机中直接成像的为真实摄像机的透视投影点，所拍摄的图像如附图3中的视角0；其他8个均为由摄像机和反射镜面所成像的为虚拟摄像机的透视投影点，所拍摄的图像分别来自于视角1~视角8，所述的单目多视角立体视觉装置具有严格一致的内部参数和颜色系统。

所述的图像处理模块中，分割出珍珠图像后，根据知识库中保存的传感器的标定结果对9幅不同视角的珍珠图像进行透视投影转换处理，得到9幅不同视角的分割后无畸变的珍珠图像。

所述的颜色色泽识别模块，用于根据国家标准对被检珍珠进行颜色和色泽的识别；首先需要将RGB颜色模型转换成HSL颜色模型，用公式（1）进行转换，

$l=\frac{1}{2}(\max +\min )---\left(1\right)$

$s=\left\{\begin{array}{cc}& \\ 0& \mathrm{if\; l}=0\mathrm{or}\max =\min \\ \frac{\max -\min }{\max +\min }=\frac{\max -\min }{2l}& \mathrm{if}0<l\&le;\frac{1}{2}\\ \frac{\max -\min }{2-(\max +\min )}=\frac{\max -\min }{2-2l}& \mathrm{if\; l}>\frac{1}{2}\end{array}\right.$

式中，r、g、b分别为RGB颜色空间中红、绿、蓝的坐标值，这些值在0到1之间，max为r、g、b中的最大者，min为r、g、b中的最小者；

按照国家标准将珍珠的颜色分为白色、红色、黄色、黑色及其他5个系列，然后再大系列下面再进行细分；对于珍珠的颜色描述，国家标准定义了以体色描述为主，伴色和晕彩描述为辅；这里将9幅RGB颜色模型的珍珠图像转换成HSL颜色模型珍珠图像，计算统计9幅HSL颜色模型珍珠图像的h分量值和l分量值，然后求其平均值h_T和l_T，作为体色；计算方法由公式（2）给出，

$h_T=\frac{\underset{i=0}{\overset{8}{\mathrm{\&Sigma;}}}{h}_{\mathrm{iT}}}{9}=\underset{i=0}{\overset{8}{\mathrm{\&Sigma;}}}\frac{\mathrm{\&Sigma;}{h}_i}{\mathrm{\&Sigma;}}/9,l_T=\frac{\underset{i=0}{\overset{8}{\mathrm{\&Sigma;}}}{l}_{\mathrm{iT}}}{9}=\underset{i=0}{\overset{8}{\mathrm{\&Sigma;}}}\frac{\mathrm{\&Sigma;}{l}_i}{\mathrm{\&Sigma;}}/9---\left(2\right)$

式中，h_T为9幅HSL颜色模型珍珠图像的h分量的平均值，h_iT为第i幅HSL颜色模型珍珠图像的h分量的平均值，l_T为9幅HSL颜色模型珍珠图像的l分量的平均值，l_iT为第i幅HSL颜色模型珍珠图像的l分量的平均值，∑为第i幅HSL颜色模型珍珠图像的总像素数；

进一步，根据h_T值与存储在检测指标库的珍珠颜色表中所规定的大类区分阈值范围来确定被检珍珠属于哪种颜色的大系列，然后根据l_T值与存储在检测指标库的珍珠颜色表中所规定的小类区分阈值范围来确定被检珍珠属于哪种颜色的大系列下的细分类别。

所述的颜色色泽识别模块中，设定每粒被检珍珠表面的每个成像像素点的颜色测量值在HSL颜色模型的H分量符合正态分布，因此从体色为中心的概率分布情况进行分析和判断是否存在着伴色和晕彩，进一步判断是什么颜色的伴色和晕彩；由于方差是测算离散趋势最重要、最常用的指标，伴色和晕彩是一种偏离体色的现象，利用被检珍珠表面的颜色测量值的方差值与规定的阈值进行比较来判断被检珍珠是否存在着伴色和晕彩；被检珍珠表面的颜色测量值的方差值用公式（3）进行计算，

$S_i=\frac{\mathrm{\&Sigma;}{h}_i^2}{\mathrm{\&Sigma;}}=-h_{\mathrm{iT}}^2---\left(3\right)$

式中，为第i幅HSL颜色模型珍珠图像中某个像素的h分量值的平方，为第i幅HSL颜色模型珍珠图像的h分量平均值的平方，S_i为第i幅HSL颜色模型珍珠图像的h分量的平方差，∑为第i幅HSL颜色模型珍珠图像的总像素数；

进一步，计算9幅HSL颜色模型珍珠图像的h分量的平方差，然后与存储在检测指标库的珍珠颜色表中方差阈值S_h进行比较，如果有一幅HSL颜色模型珍珠图像的h分量的平方差大于检测指标库的珍珠颜色表中方差阈值S_h就判定为有伴色和晕彩；

更进一步，判断被检珍珠的伴色和晕彩为何种颜色，具体做法是分别在9幅HSL颜色模型珍珠图像h分量的直方图上检索除了在检测指标库的珍珠颜色表中方差阈值S_h的h分量阈值以外的次高峰值，该峰值就是被检珍珠的伴色和晕彩的颜色，伴色和晕彩在直方图中是以孤立的小岛形状出现。

所述的颜色色泽识别模块中，对于被检珍珠色泽的识别，根据公式（1）计算得到被检珍珠的亮度信息；利用珍珠图像的反光区和光亮区的光强度信息加权得到珍珠的亮度值，并由此分辨出珍珠的光泽度；针对珍珠亮度分选的模糊特性，应用柯西隶属函数作为光泽度强弱分析的数学模型，进行光泽度等级的判别；由于颜色H、饱和度S均对亮度L信息有直接的影响，珍珠的光泽度的比较需要在同一颜色、同一饱和度的基础上进行分选；这里设计了相应的数据库的光泽度分类表，对不同颜色和不同饱和度的珍珠进行分类，形成一张珍珠颜色表；然后在珍珠颜色表中增添与亮度L信息有关的光泽度指标，在识别时，根据颜色和饱和度检测结果查找珍珠颜色表得到光泽度指标，然后将所得到4个光泽度指标分别与检测所得到的亮度L信息进行比较，最接近的就是所识别的光泽度；

根据国家标准被检珍珠的光泽级别分为：

V={A极强，B强，C中，D弱}

根据光泽分选经验和大量数据分析得出，对于每一种颜色的珍珠都有其相对应的光泽度指标，各隶属函数用公式（4）计算，

${\mathrm{\&mu;}}_A\left(l\right)=\frac{1}{1+\mathrm{\&alpha;}{\left({l-a}_A\right)}^{\mathrm{\&beta;}}}$ α>0,β为正偶数

${\mathrm{\&mu;}}_B\left(l\right)=\frac{1}{1+\mathrm{\&alpha;}{(l-a_B)}^{\mathrm{\&beta;}}}$ α>0,β为正偶数

${\mathrm{\&mu;}}_C\left(l\right)=\frac{1}{1+\mathrm{\&alpha;}{(l-a_C)}^{\mathrm{\&beta;}}}$ α>0,β为正偶数

${\mathrm{\&mu;}}_D\left(l\right)=\left\{\begin{array}{cc}1& l\&le;a\\ \frac{1}{1+\mathrm{\&alpha;}{(l-a_D)}^{\mathrm{\&beta;}}}& l>a,a>0,\mathrm{\&beta;}>0\end{array}\right.---\left(4\right)$

式中，μ_A(l)、μ_B(l)、μ_C(l)、μ_D(l)分别为某一种被检珍珠的光泽级别4种隶属函数的计算值，a_A、a_B、a_C、a_D分别为A、B、C、D珍珠分类的光泽度指标，l为被检珍珠的l分量值，α、β为参数，这里取α=0.0005，β＝2；

被检珍珠光泽度指标的形式保存在珍珠颜色表中，当识别被检珍珠颜色后就能得到其相关的光泽度指标和l分量值，分别代入公式（4）中的a_A、a_B、a_C、a_D、l，计算具体的各隶属函数的计算值，选四个隶属函数的计算值中的最大值就是被检珍珠的光泽度判定结果。

所述的上料动作机构与所述的送检动作机构有一个动作配合，当所述的送检动作机构的活动顶杆下降到某一个位置高度时，所述的上料动作机构的上料管中的被检珍珠依靠自身重力流入到送检机构的活动顶杆的翻门上，完成上料的动作。

所述的送检动作机构由活动顶杆、翻门、转动齿轮和步进电机所构成，活动顶杆内部中空，当翻门打开时，在翻门上的珍珠将沿顶杆内孔落下；活动顶杆的外侧配置有齿条，齿条与转动齿轮相啮合，步进电机带动转动齿轮正反转动，控制转动齿轮正反方向的转动就能控制活动顶杆的上下运动；当活动顶杆运动到上位极限状态时，活动顶杆将被测珍珠提升到检测箱中进行检测；当活动顶杆运动到下位极限状态时，这时活动顶杆对上料管出口处不发生遮挡，上料管的珍珠依靠自身的重量流入到活动顶杆的翻门上；活动顶杆的上部和翻门采用黑色无镜面反射的金属材料制成。

所述的下料动作机构安置在所述的送检动作机构的活动顶杆内，由翻门、弹簧铰链和牵引式电磁铁所构成，翻门通过弹簧铰链固定在活动顶杆上内侧；牵引式电磁铁不通电时弹簧铰链的弹簧力使得翻门处于闭合状态，当牵引式电磁铁通电时克服弹簧铰链中的弹簧力使得翻门打开，使得安置在活动顶杆的翻门上的珍珠依靠其本身重力下落到活动顶杆的内孔中，流入活动顶杆内孔中的珍珠接着流入到分级输入口中。

所述的分级动作机构由转动盘和步进电机构成，转盘的上面开有一个分级输入口，转盘的下面开有一个分级输出口，分级输入口和分级输出口是连通的，分级输出口下面配置了一根分级输出导管，分级输出口与分级输出导管之间配置有所述的分级执行机构，步进电机驱动转动盘的转动；

所述的分级执行机构由翻门、弹簧铰链和牵引式电磁铁所构成，翻门通过弹簧铰链固定在分级输出口；牵引式电磁铁不通电时弹簧铰链的弹簧力使得翻门处于闭合状态，当牵引式电磁铁通电时克服弹簧铰链中的弹簧力使得翻门打开，使得在分级输出口的已检珍珠依靠其本身重力下落到沿输出导管流入到相对应的珍珠分级容器中。

所述的流水线控制模块，用于控制所述的上料动作机构、所述的送检动作机构、所述的下料动作机构、所述的分级动作机构和所述的分级执行机构之间的协调顺序动作；下面以流水线动作顺序说明5种动作之间的时序关系，首先是送检动作机构的活动顶杆上下运动，送检动作机构的活动顶杆从上极限位运动到下极限位的时间为T1，从下极限位运动到上极限位的时间为T2，这里T1＝T2；当送检动作机构的活动顶杆从上极限位开始运动时刻触发图像抓拍机构进行被检珍珠图像的抓拍，然后进行图像分析、检测和分类识别；经过时间T11触发下料动作机构的动作，使得安置在活动顶杆的翻门上的珍珠依靠其本身重力下落到活动顶杆的内孔中，流入活动顶杆内孔中的珍珠接着流入到分级输入口中；经过时间T12根据分级判断结果触发分级动作机构的转动，使得分级输入口对准相对应的分级收集容器的转动，因此，在T12时间内必须完成对被测珍珠的图像分析、检测和分类识别处理；经过时间T13上料管的珍珠依靠自身的重量流入到送检动作机构的活动顶杆的翻门上；活动顶杆到达下极限位后改变运动方向，向上运动，经过时间T21后触发分级执行机构的电磁开关动作，使得已检珍珠流入到相对应的珍珠分级容器中；经过时间T22后触发分级动作机构的转动，使得分级输入口对准活动顶杆的转动，等待下一次被检珍珠的落下；经过时间T23后触发上料动作机构的送检准备动作，将一粒珍珠送入上料管内；活动顶杆到达上极限位后改变运动方向，向下运动，以此往复循环，每循环一次完成一粒珍珠的分类检测。

本发明的有益效果主要表现在：1）采用了流水线式珍珠实时自动检测和分级方法，上料动作、图像抓拍动作、图像分析和检测处理、卸料动作和分级动作都是并行进行的，提高了自动检测和分级的效率；2）通过单一的广角摄像机通过8个平面反射镜同时获取9幅来自不同视角的被检珍珠表面的图像，极大地简化了基于机器视觉的自动检测装置的复杂度，降低了装置的制造成本，同时也为后续图像处理和分析提供了便利；3）装置能从被测珍珠的颜色和颜色光泽度等指标对珍珠进行综合的实时自动检测和分级处理；4）以养殖珍珠国家分级标准进行珍珠的图像分析和检测处理，所检测的指标符合国家标准。

附图说明

图1为一种基于单目多视角机器视觉的珍珠颜色光泽度在线自动分级装置的总体说明图，其中1为珍珠分级入料口，2为LED灯，3为广角摄像机，4为镜面，5为珍珠，6为下料动作机构，7为活动顶杆，8为分级执行机构，9为分级输出口，10为步进电机，11为分级输入口，12为送检动作机构，13为上料动作机构，14为分级动作机构，15为珍珠分级容器；

图2为一种基于单目多视角机器视觉装置从不同视角拍摄被检珍珠的示意图，其中16为虚拟摄像机3的投影点，17为摄像机的投影点，18为虚拟摄像机1的投影点，19为第一镜面、20为虚拟摄像机4的投影点、21为第二镜面，22为被检珍珠，23为虚拟摄像机2的投影点；

图3为一种基于单目多视角机器视觉装置从9个不同视角拍摄被检珍珠的9幅图像；

图4为上料机构、送检机构和下料机构的关系结构图，其中，24为齿条，25为转动齿轮、26为上料管、27为翻板，28为自动下翻门，29为弹簧铰链；

图5为下料机构动作时在送检机构的活动顶杆的翻门上的已检珍珠下落到送检机构的活动顶杆的内孔中的情况示意图；

图6为在送检机构的活动顶杆在下位极限时，上料管的珍珠依靠自身的重量流入到活动顶杆的翻门上示意图；

图7为一种基于单目多视角机器视觉的珍珠颜色光泽度在线自动分级装置的各机构动作序列说明图；

图8为一种基于单目多视角机器视觉的珍珠颜色光泽度在线自动分级装置的硬件结构和软件系统构成说明图；

图9为一种被检珍珠图像h分量的直方图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图9，一种基于单目多视角机器视觉的珍珠颜色光泽度在线自动分级装置，包括用于对珍珠进行自动检测和分类的流水线，用于拍摄被检珍珠图像的单目多视角机器视觉装置和用于对被检珍珠图像进行图像处理、检测、识别、分类以及协调控制流水线上各动作机构的协调动作的微处理器，所述流水线包括用于将被检珍珠从待测物件容器中以每次一粒珍珠喂送到上料输入口的上料动作机构，用于将被检珍珠提升到视觉检测箱中进行视觉分析的送检动作机构，用于将送检动作机构的活动顶杆的翻板上的已检珍珠落入分级输入口的下料动作机构，用于将落入到分级输入口的已检珍珠根据分级判断结果控制分级输出口转动到相对应的珍珠分级容器上方的分级动作机构和用于将在分级输出口内的已检珍珠收集到相对应的珍珠分级容器中的分级执行机构；

所述的视觉检测箱，用于从9个不同视角拍摄被检珍珠的图像；由1个广角摄像机和8个平面镜所构成的单目多视角立体视觉装置，通过一个广角摄像机的一次成像来获取从9个视角拍摄的珍珠表面图像，实现一种以珍珠为观察中心的全方位视觉装置；主要由广角摄像机和2个平面镜斗型腔组成；每个斗型腔由尺寸相同的等腰梯形平面镜组成，上斗型腔呈上小下大，下斗型腔呈上大下小，上下斗型腔的大口径处尺寸相同，在上下斗型腔的大口径处将上下斗型腔合并为一整体，镜面朝向腔体内侧，且腔体的中轴线重合于摄像机的主光轴；广角镜头由上斗型腔小口端探入腔体内，镜头入射光线由上斗型腔端口的直射光线和镜面反射光线组成；通过腔体的直射光线投影在摄像机投影面的中央区域，被测珍珠通过活动支架被安置到中央区域，镜面反射光线投射到摄像机投影面的周边区域，且8个镜面的投影区域各不相同；因此，该装置拍摄的图像包含被测珍珠的多个影像，且这些影像来自于9不同透视投影点，如附图3所示；本发明中一共有9个不同透视投影点，在摄像机中直接成像的为真实摄像机的透视投影点，所拍摄的图像如附图3中的视角0；其他8个均为由摄像机和反射镜面所成像的为虚拟摄像机的透视投影点，所拍摄的图像分别为附图3中的视角1~视角8，由于都是在同一个摄像机中成像，因此该装置具有严格一致的内部参数和颜色系统；

所述的微处理器还包括：

图像读取模块，用于从所述的广角摄像机读取包含有从9个不同视角拍摄的被检珍珠的图像；图像处理模块，用于从一幅图像中分割出9幅不同视角的珍珠图像和将9幅不同视角的图像背景中分割出珍珠图像，并根据知识库中保存的传感器的标定结果对9幅不同视角的珍珠图像进行透视投影转换处理；传感器标定模块，用于对广角摄像机的标定、鱼眼镜头的畸变矫正以及透视投影变换，将标定广角摄像机的内部参数以及透视投影变换的参数存储到知识库中；颜色色泽识别模块，用于根据国家标准对被检珍珠进行颜色和色泽的识别；结果输出模块，用于将被检珍珠的颜色和色泽的检测结果进行汇总，一方面根据国家检测标准自动生成一份检测结果表，另一方面，将检测结果的信息发送给流水线控制模块，让流水线控制模块控制相应的分级控制模块自动完成被检珍珠的自动分级；人机交互模块，用于在人工干预下完成检测参数的设定和控制检测结果的输出；

上料控制模块，用于控制所述的上料动作机构的动作，将被检珍珠从待测物件容器中以每次一粒珍珠喂送到上料输入口；下料控制模块，用于控制所述的下料动作机构的动作，将所述的送检动作机构的活动顶杆的翻板上的已检珍珠落入分级输入口；分级控制模块，用于控制所述的分级动作机构的动作，将落入到分级输入口的已检珍珠根据分级判断结果转动到相对应的珍珠分级容器上方；分级执行模块，用于控制所述的分级执行机构的动作，将在分级输出口内的已检珍珠收集到相对应的珍珠分级容器中；送检控制模块，用于控制所述的送检动作机构的动作，将被检珍珠提升到视觉检测箱中进行视觉分析；流水线控制模块，用于控制流水线上的所述的上料动作机构、所述的送检动作机构、所述的广角摄像机、所述的下料动作机构、所述的分级动作机构和所述的分级执行机构按规定的流程并行协调动作；

所述的上料动作机构，用于将被检珍珠从待测物件容器中以每次一粒珍珠喂送到上料管内；所述的上料动作机构与所述的送检动作机构有一个动作配合，当所述的送检动作机构的活动顶杆下降到某一个位置高度时，所述的上料动作机构的上料管中的被检珍珠依靠自身重力流入到送检机构的活动顶杆的翻门上，完成上料的动作；

所述的送检动作机构，用于将被检珍珠提升到视觉检测箱中进行视觉分析；所述的送检动作机构主要由活动顶杆、翻门、转动齿轮和步进电机所构成，活动顶杆内部中空，当翻门打开时，在翻门上的珍珠将沿顶杆内孔落下；活动顶杆的外侧配置有齿条，齿条与转动齿轮相啮合，步进电机带动转动齿轮正反转动，控制转动齿轮正反方向的转动就能控制活动顶杆的上下运动；当活动顶杆运动到上位极限状态时，活动顶杆将被测珍珠提升到检测箱中进行检测，如附图4所示；当活动顶杆运动到下位极限状态时，这时活动顶杆对上料管出口处不发生遮挡，上料管的珍珠依靠自身的重量流入到活动顶杆的翻门上，如附图6所示；活动顶杆的上部和翻门采用黑色无镜面反射的金属材料制成；

所述的下料动作机构，用于将所述的送检动作机构的活动顶杆的翻板上的已检珍珠落入分级输入口；下料动作机构安置在所述的送检动作机构的活动顶杆内，由翻门、弹簧铰链和牵引式电磁铁所构成，翻门通过弹簧铰链固定在活动顶杆上内侧；牵引式电磁铁不通电时弹簧铰链的弹簧力使得翻门处于闭合状态，当牵引式电磁铁通电时克服弹簧铰链中的弹簧力使得翻门打开，使得安置在活动顶杆的翻门上的珍珠依靠其本身重力下落到活动顶杆的内孔中，流入活动顶杆内孔中的珍珠接着流入到分级输入口中，如附图5所示；

所述的分级动作机构，用于将分级输入口对准活动顶杆的内孔等待流入活动顶杆内孔中的珍珠接着流入到分级输入口中和将落入到分级输出口内的已检珍珠根据分级判断结果转动到相对应的珍珠分级容器上方；主要由转动盘和步进电机构成，转盘的上面开有一个分级输入口，转盘的下面开有一个分级输出口，分级输入口和分级输出口是连通的，分级输出口下面配置了一根分级输出导管，分级输出口与分级输出导管之间配置有所述的分级执行机构，步进电机驱动转动盘的转动；

所述的分级执行机构，用于将分级输出口内的珍珠经分级输出导管流入到相对应的珍珠分级容器中，由翻门、弹簧铰链和牵引式电磁铁所构成，翻门通过弹簧铰链固定在分级输出口；牵引式电磁铁不通电时弹簧铰链的弹簧力使得翻门处于闭合状态，当牵引式电磁铁通电时克服弹簧铰链中的弹簧力使得翻门打开，使得在分级输出口的已检珍珠依靠其本身重力下落到沿输出导管流入到相对应的珍珠分级容器中；

流水线控制模块，用于控制所述的上料动作机构、所述的送检动作机构、所述的下料动作机构、所述的分级动作机构和所述的分级执行机构之间的协调顺序动作；下面以附图7所示的动作顺序说明5种动作之间的时序关系，首先是送检动作机构的活动顶杆上下运动，送检动作机构的活动顶杆从上极限位运动到下极限位的时间为T1，从下极限位运动到上极限位的时间为T2，本发明中T1＝T2；当送检动作机构的活动顶杆从上极限位开始运动时刻触发图像抓拍机构进行被检珍珠图像的抓拍，然后进行图像分析、检测和分类识别；经过时间T11触发下料动作机构的动作，使得安置在活动顶杆的翻门上的珍珠依靠其本身重力下落到活动顶杆的内孔中，流入活动顶杆内孔中的珍珠接着流入到分级输入口中；经过时间T12根据分级判断结果触发分级动作机构的转动，使得分级输入口对准相对应的分级收集容器的转动，因此，在T12时间内必须完成对被测珍珠的图像分析、检测和分类识别处理；经过时间T13上料管的珍珠依靠自身的重量流入到送检动作机构的活动顶杆的翻门上；活动顶杆到达下极限位后改变运动方向，向上运动，经过时间T21后触发分级执行机构的电磁开关动作，使得已检珍珠流入到相对应的珍珠分级容器中；经过时间T22后触发分级动作机构的转动，使得分级输入口对准活动顶杆的转动，等待下一次被检珍珠的落下；经过时间T23后触发上料动作机构的送检准备动作，将一粒珍珠送入上料管内；活动顶杆到达上极限位后改变运动方向，向下运动，以此往复循环，每循环一次完成一粒珍珠的分类检测；

所述的图像处理模块，用于从一幅图像中分割出9幅不同视角的珍珠图像和将9幅不同视角的图像背景中分割出珍珠图像，并根据知识库中保存的传感器的标定结果对9幅不同视角的珍珠图像进行透视投影转换处理，得到9幅不同视角的分割后无畸变的珍珠图像；

所述的颜色色泽识别模块，用于根据国标要求对被检珍珠进行颜色和色泽的识别；HSL模型作为一种面向描述的颜色模型，其与人眼感觉颜色的原理最接近，符合人的视觉感知；本发明采用HSL颜色模型的H分量对珍珠色彩进行色系列分大类识别，S分量对珍珠色彩进行深浅度分小类识别，L分量对珍珠色泽进行分类识别；

HSL的H(hue)分量，代表的是人眼所能感知的颜色范围，这些颜色分布在一个平面的色相环上，取值范围是0°到360°的圆心角，每个角度可以代表一种颜色；HSL的S(saturation)分量，指的是色彩的饱和度，它用0%至100%的值描述了相同色相、明度下色彩纯度的变化；数值越大，颜色中的灰色越少，颜色越鲜艳；HSL的L(lightness)分量，指的是色彩的明度，作用是控制色彩的明暗变化。它同样使用了0%至100%的取值范围。数值越小，色彩越暗，越接近于黑色；数值越大，色彩越亮，越接近于白色；

通过所述的图像处理模块处理得到是9幅不同视角的分割后无畸变的珍珠图像，这些图像是用RGB颜色模型来描述的；因此，首先需要将RGB颜色模型转换成HSL颜色模型，用公式（1）进行转换，

$l=\frac{1}{2}(\max +\min )---\left(1\right)$

$s=\left\{\begin{array}{cc}& \\ 0& \mathrm{if\; l}=0\mathrm{or}\max =\min \\ \frac{\max -\min }{\max +\min }=\frac{\max -\min }{2l}& \mathrm{if}0<l\&le;\frac{1}{2}\\ \frac{\max -\min }{2-(\max +\min )}=\frac{\max -\min }{2-2l}& \mathrm{if\; l}>\frac{1}{2}\end{array}\right.$

式中，r、g、b分别为RGB颜色空间中红、绿、蓝的坐标值，这些值在0到1之间，max为r、g、b中的最大者，min为r、g、b中的最小者；

按照国家标准将珍珠的颜色分为白色、红色、黄色、黑色及其他5个系列，然后再大系列下面再进行细分；对于珍珠的颜色描述，国家标准定义了以体色描述为主，伴色和晕彩描述为辅；因此，本发明将9幅RGB颜色模型的珍珠图像转换成HSL颜色模型珍珠图像，计算统计9幅HSL颜色模型珍珠图像的h分量值和l分量值，然后求其平均值h_T和l_T，作为体色；计算方法由公式（2）给出，

$h_T=\frac{\underset{i=0}{\overset{8}{\mathrm{\&Sigma;}}}{h}_{\mathrm{iT}}}{9}=\underset{i=0}{\overset{8}{\mathrm{\&Sigma;}}}\frac{\mathrm{\&Sigma;}{h}_i}{\mathrm{\&Sigma;}}/9,l_T=\frac{\underset{i=0}{\overset{8}{\mathrm{\&Sigma;}}}{l}_{\mathrm{iT}}}{9}=\underset{i=0}{\overset{8}{\mathrm{\&Sigma;}}}\frac{\mathrm{\&Sigma;}{l}_i}{\mathrm{\&Sigma;}}/9---\left(2\right)$

式中，h_T为9幅HSL颜色模型珍珠图像的h分量的平均值，h_iT为第i幅HSL颜色模型珍珠图像的h分量的平均值，l_T为9幅HSL颜色模型珍珠图像的l分量的平均值，l_iT为第i幅HSL颜色模型珍珠图像的l分量的平均值，∑为第i幅HSL颜色模型珍珠图像的总像素数；

进一步，根据h_T值与存储在检测指标库的珍珠颜色表中所规定的大类区分阈值范围来确定被检珍珠属于哪种颜色的大系列，然后根据l_T值与存储在检测指标库的珍珠颜色表中所规定的小类区分阈值范围来确定被检珍珠属于哪种颜色的大系列下的细分类别；

关于被检珍珠的伴色和晕彩的检测，这里假设每粒被检珍珠表面的每个成像像素点的颜色测量值在HSL颜色模型的H分量符合正态分布，因此可以从体色为中心的概率分布情况进行分析和判断是否存在着伴色和晕彩，进一步判断是什么颜色的伴色和晕彩；由于方差是测算离散趋势最重要、最常用的指标，伴色和晕彩是一种偏离体色的现象，利用被检珍珠表面的颜色测量值的方差值与规定的阈值进行比较来判断被检珍珠是否存在着伴色和晕彩；被检珍珠表面的颜色测量值的方差值用公式（3）进行计算，

$S_i=\frac{\mathrm{\&Sigma;}{h}_i^2}{\mathrm{\&Sigma;}}=-h_{\mathrm{iT}}^2---\left(3\right)$

式中，为第i幅HSL颜色模型珍珠图像中某个像素的h分量值的平方，为第i幅HSL颜色模型珍珠图像的h分量平均值的平方，S_i为第i幅HSL颜色模型珍珠图像的h分量的平方差，∑为第i幅HSL颜色模型珍珠图像的总像素数；

进一步，计算9幅HSL颜色模型珍珠图像的h分量的平方差，然后与存储在检测指标库的珍珠颜色表中方差阈值S_h进行比较，如果有一幅HSL颜色模型珍珠图像的h分量的平方差大于检测指标库的珍珠颜色表中方差阈值S_h就判定为有伴色和晕彩；

更进一步，判断被检珍珠的伴色和晕彩为何种颜色，具体做法是分别在9幅HSL颜色模型珍珠图像h分量的直方图上检索除了在检测指标库的珍珠颜色表中方差阈值S_h的h分量阈值以外的次高峰值，该峰值就是被检珍珠的伴色和晕彩的颜色，如附图9所示，伴色和晕彩在直方图中是以孤立的小岛形状出现；

另一种识别被检珍珠主色、伴色和晕彩的方法是：将9幅HSL颜色模型珍珠图像h分量做直方图，分析直方图上被检珍珠的分布情况，采用分水岭算法扫描直方图，如果h分量直方图中只有一个峰值，那么该峰值处的h分量就判定为被检珍珠的主色；如果h分量直方图中除了有一个最高峰值以外还有一个或者多个次峰值，那么最高峰值处的h分量就判定为被检珍珠主色，次高峰处的h分量就判定为被检珍珠的伴色和晕彩的颜色；

对于被检珍珠光泽度的识别，根据公式（1）计算得到被检珍珠的亮度信息；利用珍珠图像的反光区和光亮区的光强度信息加权得到珍珠的亮度值，并由此分辨出珍珠的光泽度；针对珍珠亮度分选的模糊特性，应用柯西隶属函数作为光泽度强弱分析的数学模型，进行光泽度等级的判别；由于颜色H、饱和度S均对亮度L信息有直接的影响，珍珠的光泽度的比较需要在同一颜色、同一饱和度的基础上进行分选；因此，本发明设计了相应的数据库的光泽度分类表，对不同颜色和不同饱和度的珍珠进行分类，形成一张珍珠颜色表；然后在珍珠颜色表中增添与亮度L信息有关的光泽度指标，在识别时，根据颜色和饱和度检测结果查找珍珠颜色表得到光泽度指标，然后将所得到4个光泽度指标分别与检测所得到的亮度L信息进行比较，最接近的就是所识别的光泽度；

根据国家标准被检珍珠的光泽级别可分为：

V={A极强，B强，C中，D弱}

根据光泽分选经验和大量数据分析得出，对于每一种颜色的珍珠都有其相对应的光泽度指标，各隶属函数用公式（4）计算，

${\mathrm{\&mu;}}_A\left(l\right)=\frac{1}{1+\mathrm{\&alpha;}{\left({l-a}_A\right)}^{\mathrm{\&beta;}}}$ α>0,β为正偶数

${\mathrm{\&mu;}}_B\left(l\right)=\frac{1}{1+\mathrm{\&alpha;}{(l-a_B)}^{\mathrm{\&beta;}}}$ α>0,β为正偶数

${\mathrm{\&mu;}}_C\left(l\right)=\frac{1}{1+\mathrm{\&alpha;}{(l-a_C)}^{\mathrm{\&beta;}}}$ α>0,β为正偶数

${\mathrm{\&mu;}}_D\left(l\right)=\left\{\begin{array}{cc}1& l\&le;a\\ \frac{1}{1+\mathrm{\&alpha;}{(l-a_D)}^{\mathrm{\&beta;}}}& l>a,a>0,\mathrm{\&beta;}>0\end{array}\right.---\left(4\right)$

式中，μ_A(l)、μ_B(l)、μ_C(l)、μ_D(l)分别为某一种被检珍珠的光泽级别4种隶属函数的计算值，a_A、a_B、a_C、a_D分别为A、B、C、D珍珠分类的光泽度指标，l为被检珍珠的l分量值，α、β为参数，这里取α=0.0005，β＝2；

如对于某种颜色的珍珠，在L值位于130.0附近为极强，这样的珍珠表面反射光很明亮，表面映像很清晰；L值位于120.0附近为强，这样的珍珠表面反射光明亮，表面能看见物体映像；L值位于115.0附近为中，这样的珍珠表面反射不很明亮，表面能照见物体，但映像模糊；L值低于110.0为弱，这样的珍珠表面光泽吊滞，几乎无映像；这些信息以被检珍珠光泽度指标的形式保存在珍珠颜色表中，当识别被检珍珠颜色后就能得到其相关的光泽度指标，分别代入公式（4）中的a_A、a_B、a_C、a_D，得到公式（5），

${\mathrm{\&mu;}}_A\left(l\right)=\frac{1}{1+0.0005{(l-130)}^2}$ α>0,β为正偶数

${\mathrm{\&mu;}}_B\left(l\right)=\frac{1}{1+0.0005{(l-120)}^2}$ α>0,β为正偶数         (5)

${\mathrm{\&mu;}}_C\left(l\right)=\frac{1}{1+0.0005{(l-115)}^2}$ α>0,β为正偶数

${\mathrm{\&mu;}}_D\left(l\right)=\left\{\begin{array}{cc}1& l\&le;110\\ \frac{1}{1+\mathrm{\&alpha;}{(l-110)}^2}& l>110\end{array}\right.$

根据公式（1）计算得到被检珍珠的l分量值代入公式（4）计算具体的各隶属函数的计算值，选四个隶属函数的计算值中的最大值就是被检珍珠的光泽度判定结果。

为了一次性、全方位获取被检珍珠整个球体表面的图像，本发明设计了由1个广角摄像机和8个平面镜构成的单目多视角的立体视觉装置，通过一个广角摄像机的一次成像来获取从9个视角拍摄的珍珠表面图像，实现一种以珍珠为观察中心的全方位视觉装置；具体做法是：在广角摄像机前面放置由8枚平面镜构成的对称斗型腔，镜面朝向腔体内侧；物体光线经过8枚平面镜反射后，投影到摄像机图像平面的不同区域，在摄像机图像平面上投影多个影像，生成单目多视角立体图像；该图像等价于不同视角的多幅图像，等价于一个单目多视角的立体视觉装置，该装置通过一次成像就能从9个不同视角拍摄的珍珠表面图像，为全方位检测被测珍珠的颜色和光泽度等外观品质指标；

附图2为单目多视角立体视觉系统的原理图；它主要由摄像单元、广角镜头和2个平面镜斗型腔组成；每个斗型腔由尺寸相同的等腰梯形平面镜组成，上斗型腔呈上小下大，下斗型腔呈上大下小，上下斗型腔的大口径处尺寸相同，在上下斗型腔的大口径处将上下斗型腔合并为一整体，镜面朝向腔体内侧，且腔体的中轴线重合于摄像机的主光轴；广角镜头由上斗型腔小口端探入腔体内，镜头入射光线由上斗型腔端口的直射光线和镜面反射光线组成；通过腔体的直射光线投影在摄像机投影面的中央区域，被测珍珠通过活动支架被安置到中央区域，镜面反射光线投射到摄像机投影面的周边区域，且8个镜面的投影区域各不相同；因此，该装置拍摄的图像包含被测珍珠的多个影像，且这些影像来自于9不同透视投影点，如附图3所示；本发明中一共有9个不同透视投影点，在摄像机中直接成像的为真实摄像机的透视投影点，所拍摄的图像如附图3中的视角0；其他8个均为由摄像机和反射镜面所成像的为虚拟摄像机的透视投影点，所拍摄的图像分别为附图3中的视角1~视角8，由于都是在同一个摄像机中成像，因此该装置具有严格一致的内部参数和颜色系统；

单目多视角立体图像提取装置中的摄像机和镜头使用前需要进行标定，为了增加摄像机的视角，选用了360°×180°的鱼眼广角镜头；因此，内部参数的标定包括鱼眼广角镜头投影模型参数、镜头半径方向和切线方向畸变参数、相机的焦点距离和图像主点位置参数；

在常规情况下鱼眼镜头的标定，要使用多幅图像实现全部模型参数的精确标定；由于本发明采用了单目多视角摄像装置使用平面镜反射光线，拍摄的一幅多视点投影图像上包含标定板的多个影像；由平面镜反射原理可知，这些标定板影像等价于同一标定板在不同位置上分别投影到相机投影平面上所获得的多幅标定板图像；所以，使用一幅标定板的多视点投影图像标定相机内部参数，等价于使用多幅标定板图像的标定操作，图像中包含标定板的9个独立影像，能够获得高精度的标定结果；鱼眼镜头畸变很大，边缘区域尤为严重，使用该图像对摄像机和鱼眼镜头进行了标定，使用标定结果对图像进行了畸变矫正，并进行透视投影变换，鱼眼镜头畸变导致的歪扭曲线边已经被矫正为直线，得到了标准的透视投影图像；关于广角摄像机的标定、鱼眼镜头的畸变矫正以及透视投影变换方法在数字图像处理和计算机视觉的相关书籍中均有介绍；

要实现珍珠实时自动检测和分级，需要对自动检测和分级过程中所必须完成动作的机构进行设计，其中包括：用于将被检珍珠自动送入到检测装置的活动顶杆上的上料动作机构，上料动作机构要保证每次只送一颗珍珠并且珍珠的位置正好落在活动顶杆上；用于将落在活动顶杆的翻板上被检珍珠提升到检测箱中进行视觉分析、分类和分级判断的送检动作机构；用于将活动顶杆上已检珍珠落入分级输入口的下料动作机构；用于对翻板上被检珍珠行视觉分析、分类和分级判断的微处理器；用于对翻板上已检珍珠根据分级判断结果将已检珍珠收集到相对应的珍珠分级容器中的分级执行机构；

本发明中，上料动作机构与送检动作机构有一个动作配合，当送检动作机构的活动顶杆下降到某一个位置高度时，上料动作机构的上料管中的被检珍珠依靠自身重力流入到送检动作机构的活动顶杆的翻门上，此时，送检动作机构的活动顶杆就迅速改变运动方向将流入到送检动作机构的活动顶杆的翻板上提升到检测箱中进行视觉分析；活动顶杆靠近转动齿轮一侧配置有转动齿轮相啮合的齿条，转动齿轮正反方向的转动使得活动顶杆的上下运动，控制转动齿轮正反方向的转动就能控制活动顶杆的上下运动，当活动顶杆运动到上位极限状态时，活动顶杆将被测珍珠提升到检测箱中进行检测，如附图4所示；当活动顶杆运动到下位极限状态时，这时活动顶杆对上料管出口处不发生遮挡，上料管的珍珠依靠自身的重量流入到活动顶杆的翻门上，如附图6所示；下料动作机构由翻门、弹簧铰链和牵引式电磁铁所构成，当牵引式电磁铁通电时克服弹簧铰链中的弹簧力使得翻门打开，使得安置在活动顶杆的翻门上的珍珠依靠其本身重力下落到活动顶杆的内孔中，流入活动顶杆内孔中的珍珠接着流入到分级输入口中，如附图5所示；在分级输入口中的珍珠根据当牵引式电磁铁失电时弹簧铰链中的弹簧力使得翻门关闭，以保证在翻门上的珍珠不落入到活动顶杆的内孔中；上料动作机构保证每次一粒珍珠进入上料管中，以保证落入到活动顶杆的翻门上只有一粒珍珠；

进一步，将上述几个机构的动作关联从上料机构开始取出一粒被测珍珠到最后分级执行机构将已检珍珠送入珍珠分级容器中实现实时自动检测和分级的流程进行整体说明；

Step1）上料动作机构以每一次动作将一粒被测珍珠送入上料管，当送检动作机构的活动顶杆运动到下位极限状态时，上料管的珍珠依靠自身的重量流入到送检动作机构的活动顶杆的翻门上，同时上料动作机构动作准备好一粒被测珍珠送入上料管；

Step 2）送检动作机构的活动顶杆运动到上位极限状态时，活动顶杆将被测珍珠提升到检测箱中进行视觉检测，从9个不同视角拍摄被测珍珠的图像；

Step 3）抓拍了被测珍珠的图像后启动下料动作机构，使得安置在活动顶杆的翻门上的珍珠依靠其本身重力下落到活动顶杆的内孔中，流入活动顶杆内孔中的珍珠接着流入到分级输入口中；

Step 4）对分级输入口中的已检珍珠根据分级判断结果控制分级动作机构转动到相对应的珍珠分级容器的上方，接着控制分级执行机构的电磁开关使得已检珍珠流入到相对应的珍珠分级容器中；

Step 5）返回到Step1）；

综上所述，送检动作机构的活动顶杆运动序列决定了其他机构的相关动作，送检动作机构的活动顶杆从下位极限向上运动时与上料机构的配合，该动作期间驱动分级动作机构的步进电机的转动动作将分级输出口对准已检珍珠等级所对应的珍珠分级容器；送检动作机构的活动顶杆运动到上位极限状态时与抓拍单元抓拍动作的配合，该动作期间驱动分级执行机构的电磁开关使得已检珍珠流入到相对应的珍珠分级容器中；送检动作机构的活动顶杆从上位极限状态向下运动时与下料机构的配合，该动作期间驱动分级动作机构的步进电机的转动动作将分级输入口对准活动顶杆的内孔；动作序列如附图7所示；

首先是送检动作机构的活动顶杆上下运动，送检动作机构的活动顶杆从上极限位运动到下极限位的时间为T1，从下极限位运动到上极限位的时间为T2，本发明中T1＝T2；当送检动作机构的活动顶杆从上极限位开始运动时刻触发图像抓拍机构进行被检珍珠图像的抓拍，然后进行图像分析、检测和分类识别；经过时间T11触发下料动作机构的动作，使得安置在活动顶杆的翻门上的珍珠依靠其本身重力下落到活动顶杆的内孔中，流入活动顶杆内孔中的珍珠接着流入到分级输入口中；经过时间T12根据分级判断结果触发分级动作机构的转动，使得分级输入口对准相对应的分级收集容器的转动，因此，在T12时间内必须完成对被测珍珠的图像分析、检测和分类识别处理；经过时间T13上料管的珍珠依靠自身的重量流入到送检动作机构的活动顶杆的翻门上；活动顶杆到达下极限位后改变运动方向，向上运动，经过时间T21后触发分级执行机构的电磁开关动作，使得已检珍珠流入到相对应的珍珠分级容器中；经过时间T22后触发分级动作机构的转动，使得分级输入口对准活动顶杆的转动，等待下一次被检珍珠的落下；经过时间T23后触发上料动作机构的送检准备动作，将一粒珍珠送入上料管内；活动顶杆到达上极限位后改变运动方向，向下运动，以此往复循环，每循环一次完成一粒珍珠的分类检测；

根据GB/T 18781-2008珍珠分级国家标准，珍珠分级是根据珍珠的类别（海水、淡水），分别从颜色、大小、形状、光泽、颜色光泽度、珠层厚度（有核珍珠）等6个方面的质量因素进行评价，其中颜色、光泽、颜色光泽度是根据国家标准样品对比给出级别；本发明依据GB/T 18781-2008珍珠分级国家标准对被检珍珠进行分级；

1）珍珠的颜色：珍珠的颜色分为白色、红色、黄色、黑色及其他5个系列，各系列包括多种体色。如：

白色系列：纯白色、奶白色、银白色、瓷白色等；

红色系列：粉红色、浅玫瑰色、淡紫红色等；

黄色系列：浅黄色、米黄色、金黄色、橙黄色等；

黑色系列：黑色、蓝黑色、灰黑色、褐黑色、紫黑色、棕黑色、铁灰色等；

其他：紫色、褐色、青色、蓝色、棕色、紫红色、绿黄色、浅蓝色、绿色、古铜色等。

珍珠可能有伴色，如白色、粉红色、玫瑰色、银白色或绿色等伴色。

珍珠可能有晕彩，晕彩划分为晕彩强、晕彩明显、晕彩一般。

颜色的描述：以体色描述为主，伴色和晕彩描述为辅。

在珍珠的颜色识别中，首先是区分颜色系列，然后对色系中的色差的情况进行等级识别，比如对红色系列，即R色系，根据颜色从深粉红→粉红→浅粉红的过程分为5个等级，R1→R2→R3→R4→R5，其中：R1表示深粉红，R3表示粉红，R5表示浅粉红；

2）珍珠的光泽：珍珠的光泽级别主要依据反射光的亮度程度和影像清晰程度来进行识别的，海水珍珠与淡水珍珠指标有不同，共分为4个等级，用表1进行归纳；

表1珍珠的光泽级别

照明方式的设计是机器视觉照明系统中最为重要的环节，本发明的照明方式选择为单点照明方式，照明光源采用白色LED，LED的位置和镜头齐高，两者夹角小于10度，通过8枚平面镜构成的对称斗型腔的反射使得照射到珍珠表面的光均匀，无阴影、无反光、亮度大，满足不同检测指标的照明要求；

珍珠在检测箱中进行检测时，光照条件、图像背景的灰度值和珍珠的反射光强度均恒定在一定区域内，本发明采用了全局Ostu算法来进行图像分割，由于珍珠区域最外面有一层光晕，利用腐蚀算法去除最外层的光晕；

HSL模型作为一种面向描述的颜色模型，其与人眼感觉颜色的原理最接近，符合人的视觉感知；本发明采用HSL颜色模型的H分量对珍珠色彩进行分类识别；

识别珍珠光泽度时，需要把珍珠首先按照颜色H(白色系列、红色系列、紫黑色系列)、饱和度S(深、中、浅)分类，然后，按照同一色系、同一饱和度等级下根据L分量进行分类；

对于珍珠这类表面反光很强的物料光泽度的分选，将最初得到的珍珠图像RGB颜色模型转换到HSL颜色模型，进行图像分割等处理，从HSL颜色色模型中提取L分量计算珍珠的亮度信息；利用珍珠图像的反光区和光亮区的光强度信息加权得到珍珠的亮度值，并由此分辨出珍珠的光泽度；针对珍珠亮度分选的模糊特性，应用柯西隶属函数作为光泽度强弱分析的数学模型，进行光泽度等级的判别；颜色H、饱和度S均对亮度L信息有直接的影响，珍珠的光泽度的比较需要在同一颜色、同一饱和度的基础上进行分选；因此，本发明设计了相应的数据库的光泽度分类表，对不同颜色和不同饱和度的珍珠进行分类，然后在分类表中增添与亮度L信息有关的光泽度指标，在识别时，根据颜色和饱和度检测结果查找光泽度分类表得到光泽度指标，然后将所得到4个光泽度指标分别与检测所得到的亮度L信息进行比较，最接近的就是所识别的光泽度。

Claims (1)

1.一种基于单目多视角机器视觉的珍珠颜色光泽度在线自动分级装置，其特征在于：包括用于对珍珠进行自动检测和分类的流水线，用于拍摄被检珍珠图像的单目多视角机器视觉装置和用于对被检珍珠图像进行图像处理、检测、识别、分类以及协调控制流水线上各动作机构的协调动作的微处理器，所述流水线包括用于将被检珍珠从待测物件容器中以每次一粒珍珠喂送到上料输入口的上料动作机构，用于将被检珍珠提升到视觉检测箱中进行视觉分析的送检动作机构，用于将送检动作机构的活动顶杆的翻板上的已检珍珠落入分级输入口的下料动作机构，用于将落入到分级输入口的已检珍珠根据分级判断结果控制分级输出口转动到相对应的珍珠分级容器上方的分级动作机构和用于将在分级输出口内的已检珍珠收集到相对应的珍珠分级容器中的分级执行机构；所述的微处理器包括： 

图像读取模块，用于从广角摄像机读取包含有从9个不同视角拍摄的被检珍珠的图像；图像处理模块，用于从一幅图像中分割出9幅不同视角的珍珠图像和将9幅不同视角的图像背景中分割出珍珠图像，并根据知识库中保存的传感器的标定结果对9幅不同视角的珍珠图像进行透视投影转换处理；传感器标定模块，用于对广角摄像机的标定、鱼眼镜头的畸变矫正以及透视投影变换，将标定广角摄像机的内部参数以及透视投影变换的参数存储到知识库中；颜色色泽识别模块，用于根据国家标准对被检珍珠进行颜色和色泽的识别；结果输出模块，用于将被检珍珠的颜色和色泽的检测结果进行汇总，一方面根据国家检测标准自动生成一份检测结果表，另一方面，将检测结果的信息发送给流水线控制模块，让流水线控制模块控制相应的分级控制模块自动完成被检珍珠的自动分级；人机交互模块，用于在人工干预下完成检测参数的设定和控制检测结果的输出；

所述的视觉检测箱由1个广角摄像机和8个平面镜所构成的单目多视角立体视觉装置，通过一个广角摄像机的一次成像来获取从9个视角拍摄的珍珠表面图像，实现一种以珍珠为观察中心的全方位视觉装置；主要由广角摄像机和2个平面镜斗型腔组成；每个斗型腔由尺寸相同的等腰梯形平面镜组成，上斗型腔呈上小下大，下斗型腔呈上大下小，上下斗型腔的大口径处尺寸相同，在上下斗型腔的大口径处将上下斗型腔合并为一整体，镜面朝向腔体内侧，且腔体的中轴线重合于摄像机的主光轴；广角镜头由上斗型腔小口端探入腔体内，镜头入射光线由上斗型腔端口的直射光线和镜面反射光线组成；通过腔体的直射光线投影在摄像机投影面的中央区域，被测珍珠通过活动支架被安置到中央区域，镜面反射光线投射到摄像机投影面的周边区域，且8个镜面的投影区域各不相同；因此，该装 置拍摄的图像包含被测珍珠的多个影像，且这些影像来自于9个不同透视投影点；所述的视觉检测箱一共有9个不同透视投影点，在摄像机中直接成像的为真实摄像机的透视投影点，所拍摄的图像来自于视角0；其他8个均为由摄像机和反射镜面所成像的为虚拟摄像机的透视投影点，所拍摄的图像分别来自于视角1～视角8，所述的单目多视角立体视觉装置具有严格一致的内部参数和颜色系统； 

所述的图像处理模块中，分割出珍珠图像后，根据知识库中保存的传感器的标定结果对9幅不同视角的珍珠图像进行透视投影转换处理，得到9幅不同视角的分割后无畸变的珍珠图像； 

所述的颜色色泽识别模块，用于根据国家标准对被检珍珠进行颜色和色泽的识别；首先需要将RGB颜色模型转换成HSL颜色模型，用公式(1)进行转换， 

式中，r、g、b分别为RGB颜色空间中红、绿、蓝的坐标值，这些值在0到1之间，max为r、g、b中的最大者，min为r、g、b中的最小者； 

按照国家标准将珍珠的颜色分为白色、红色、黄色、黑色及其他5个系列，然后在大系列下面再进行细分；对于珍珠的颜色描述，国家标准定义了以体色描述为主，伴色和晕彩描述为辅；这里将9幅RGB颜色模型的珍珠图像转换成HSL颜色模型珍珠图像，计算统计9幅HSL颜色模型珍珠图像的h分量值和l分量值，然后求其平均值h_T和l_T，作为体色；计算方法由公式(2)给出， 

式中，h_T为9幅HSL颜色模型珍珠图像的h分量的平均值，h_iT为第i幅HSL颜色模型珍珠图像的h分量的平均值，l_T为9幅HSL颜色模型珍珠图像的l分量的平均值，l_iT为第i幅HSL颜色模型珍珠图像的l分量的平均值，∑为第i幅HSL颜色模型珍珠图像的总像素数； 

进一步，根据h_T值与存储在检测指标库的珍珠颜色表中所规定的大类区分阈值范围来确定被检珍珠属于哪种颜色的大系列，然后根据l_T值与存储在检测指标库的珍珠颜色表中所规定的小类区分阈值范围来确定被检珍珠属于哪种颜色的大系列下的细分类别； 

所述的颜色色泽识别模块中，设定每粒被检珍珠表面的每个成像像素点的颜色测量值在HSL颜色模型的H分量符合正态分布，因此从体色为中心的概率分布情况进行分析和判断是否存在着伴色和晕彩，进一步判断是什么颜色的伴色和晕彩；由于方差是测算离散趋势最重要、最常用的指标，伴色和晕彩是一种偏离体色的现象，利用被检珍珠表面的颜色测量值的方差值与规定的阈值进行比较来判断被检珍珠是否存在着伴色和晕彩；被检珍珠表面的颜色测量值的方差值用公式(3)进行计算， 

式中，为第i幅HSL颜色模型珍珠图像中某个像素的h分量值的平方，为第i幅HSL颜色模型珍珠图像的h分量平均值的平方，S_i为第i幅HSL颜色模型珍珠图像的h分量的平方差，∑为第i幅HSL颜色模型珍珠图像的总像素数； 

进一步，计算9幅HSL颜色模型珍珠图像的h分量的平方差，然后与存储在检测指标库的珍珠颜色表中方差阈值S_h进行比较，如果有一幅HSL颜色模型珍珠图像的h分量的平方差大于检测指标库的珍珠颜色表中方差阈值S_h就判定为有伴色和晕彩； 

更进一步，判断被检珍珠的伴色和晕彩为何种颜色，具体做法是分别在9幅HSL颜色模型珍珠图像h分量的直方图上检索除了在检测指标库的珍珠颜色表中方差阈值S_h的h分量阈值以外的次高峰值，该峰值就是被检珍珠的伴色和晕彩的颜色，伴色和晕彩在直方图中是以孤立的小岛形状出现； 

所述的颜色色泽识别模块中，对于被检珍珠色泽的识别，根据公式(1)计算得到被检珍珠的亮度信息；利用珍珠图像的反光区和光亮区的光强度信息加权 得到珍珠的亮度值，并由此分辨出珍珠的光泽度；针对珍珠亮度分选的模糊特性，应用柯西隶属函数作为光泽度强弱分析的数学模型，进行光泽度等级的判别；由于颜色H、饱和度S均对亮度L信息有直接的影响，珍珠的光泽度的比较需要在同一颜色、同一饱和度的基础上进行分选；这里设计了相应的数据库的光泽度分类表，对不同颜色和不同饱和度的珍珠进行分类，形成一张珍珠颜色表；然后在珍珠颜色表中增添与亮度L信息有关的光泽度指标，在识别时，根据颜色和饱和度检测结果查找珍珠颜色表得到光泽度指标，然后将所得到4个光泽度指标分别与检测所得到的亮度L信息进行比较，最接近的就是所识别的光泽度； 

根据国家标准被检珍珠的光泽级别分为： 

V＝{A极强，B强，C中，D弱} 

根据光泽分选经验和大量数据分析得出，对于每一种颜色的珍珠都有其相对应的光泽度指标，各隶属函数用公式(4)计算， 

α>0,β为正偶数 

α>0,β为正偶数 

α>0,β为正偶数 

式中，μ_A(l)、μ_B(l)、μ_C(l)、μ_D(l)分别为某一种被检珍珠的光泽级别4种隶属函数的计算值，a_A、a_B、a_C、a_D分别为A、B、C、D珍珠分类的光泽度指标，l为被检珍珠的l分量值，α、β为参数，这里取α＝0.0005，β＝2； 

被检珍珠光泽度指标的形式保存在珍珠颜色表中，当识别被检珍珠颜色后就能得到其相关的光泽度指标和l分量值，分别代入公式(4)中的a_A、a_B、a_C、a_D、l，计算具体的各隶属函数的计算值，选四个隶属函数的计算值中的最大值就是被检珍珠的光泽度判定结果； 

所述的上料动作机构与所述的送检动作机构有一个动作配合，当所述的送检动作机构的活动顶杆下降到某一个位置高度时，所述的上料动作机构的上料管中的被检珍珠依靠自身重力流入到送检机构的活动顶杆的翻门上，完成上料的动作； 

所述的送检动作机构由活动顶杆、翻门、转动齿轮和步进电机所构成，活动顶杆内部中空，当翻门打开时，在翻门上的珍珠将沿顶杆内孔落下；活动顶杆的外侧配置有齿条，齿条与转动齿轮相啮合，步进电机带动转动齿轮正反转动，控制转动齿轮正反方向的转动就能控制活动顶杆的上下运动；当活动顶杆运动到上 位极限状态时，活动顶杆将被测珍珠提升到检测箱中进行检测；当活动顶杆运动到下位极限状态时，这时活动顶杆对上料管出口处不发生遮挡，上料管的珍珠依靠自身的重量流入到活动顶杆的翻门上；活动顶杆的上部和翻门采用黑色无镜面反射的金属材料制成； 

所述的下料动作机构安置在所述的送检动作机构的活动顶杆内，由翻门、弹簧铰链和牵引式电磁铁所构成，翻门通过弹簧铰链固定在活动顶杆上内侧；牵引式电磁铁不通电时弹簧铰链的弹簧力使得翻门处于闭合状态，当牵引式电磁铁通电时克服弹簧铰链中的弹簧力使得翻门打开，使得安置在活动顶杆的翻门上的珍珠依靠其本身重力下落到活动顶杆的内孔中，流入活动顶杆内孔中的珍珠接着流入到分级输入口中； 

所述的分级动作机构由转动盘和步进电机构成，转盘的上面开有一个分级输入口，转盘的下面开有一个分级输出口，分级输入口和分级输出口是连通的，分级输出口下面配置了一根分级输出导管，分级输出口与分级输出导管之间配置有所述的分级执行机构，步进电机驱动转动盘的转动； 

所述的分级执行机构由翻门、弹簧铰链和牵引式电磁铁所构成，翻门通过弹簧铰链固定在分级输出口；牵引式电磁铁不通电时弹簧铰链的弹簧力使得翻门处于闭合状态，当牵引式电磁铁通电时克服弹簧铰链中的弹簧力使得翻门打开，使得在分级输出口的已检珍珠依靠其本身重力下落到沿输出导管流入到相对应的珍珠分级容器中； 

所述的流水线控制模块，用于控制所述的上料动作机构、所述的送检动作机构、所述的下料动作机构、所述的分级动作机构和所述的分级执行机构之间的协调顺序动作；下面以流水线动作顺序说明5种动作之间的时序关系，首先是送检动作机构的活动顶杆上下运动，送检动作机构的活动顶杆从上极限位运动到下极限位的时间为T1，从下极限位运动到上极限位的时间为T2，这里T1＝T2；当送检动作机构的活动顶杆从上极限位开始运动时刻触发图像抓拍机构进行被检珍珠图像的抓拍，然后进行图像分析、检测和分类识别；经过时间T11触发下料动作机构的动作，使得安置在活动顶杆的翻门上的珍珠依靠其本身重力下落到活动顶杆的内孔中，流入活动顶杆内孔中的珍珠接着流入到分级输入口中；经过时间T12根据分级判断结果触发分级动作机构的转动，使得分级输入口对准相对应的分级收集容器的转动，因此，在T12时间内必须完成对被测珍珠的图像分析、检测和分类识别处理；经过时间T13上料管的珍珠依靠自身的重量流入到送检动作机构的活动顶杆的翻门上；活动顶杆到达下极限位后改变运动方向，向上运动，经过时间T21后触发分级执行机构的电磁开关动作，使得已检珍珠流入到相对应的珍珠分级容器 中；经过时间T22后触发分级动作机构的转动，使得分级输入口对准活动顶杆的转动，等待下一次被检珍珠的落下；经过时间T23后触发上料动作机构的送检准备动作，将一粒珍珠送入上料管内；活动顶杆到达上极限位后改变运动方向，向下运动，以此往复循环，每循环一次完成一粒珍珠的分类检测。