CN103286081A - 基于单目多视角机器视觉的钢珠表面缺陷在线自动分选装置 - Google Patents

Abstract

一种基于单目多视角机器视觉的钢珠在线自动分选装置，包括用于对钢珠进行自动检测和分类的流水线，用于拍摄被检钢珠图像的单目多视角机器视觉装置，用于对被检钢珠图像进行图像处理、检测、识别、分类以及协调控制流水线上各动作机构的协调动作的微处理器，流水线包括上料动作机构、传输机构和分选执行机构；本发明提供一种具有机构简单、制造成本低、分选效率高、使用和维护方便的基于单目多视角机器视觉的钢珠在线自动分选装置。

Description

基于单目多视角机器视觉的钢珠表面缺陷在线自动分选装置

技术领域

本发明属于立体成像技术、机器视觉技术、机械设计技术、光学技术和自动控制技术在钢珠表面缺陷检测方面的应用，尤其适用于大规模钢珠生产企业的产品质量在线自动检测装置。

背景技术

轴承是机械基础部件，钢珠作为滚动球轴承的关键零件，其几何形状、大小和表面缺陷直接影响轴承精度、动态性能和使用寿命。我国的钢珠生产量居世界第一，但是产值并非第一，质量问题已经成为制约我国钢珠产业发展的重要问题。为此，各轴承生产厂家一直在探求一种能够对钢珠的加工质量进行检测并且对钢珠进行分选的行之有效的方法。

目前，国内多数钢珠生产厂家仍采用人工目视的方式对钢珠进行检测，大量的检测人员在白炽灯下用目视的方法对钢珠进行检测，并对其进行简单的分选。这种方法误差大而且容易受到个人主观因素的影响，不同的检测人员的检测差别较大，即使同一个检测人员在不同时期检测标准也会有较大变动，从而导致了分选后的钢珠质量良莠不齐，品质难以得到保证，产品竞争力不强。另一方面，检测人员长期在强光下工作，不仅对人眼的伤害很大，还容易产生视觉误差，直接导致对缺陷钢珠的漏检和误检。随着国内劳动力成本的不断上涨，钢珠生产厂家感到愈来愈难以承受这样巨大的劳动力成本。许多钢珠的检测工序不仅仅需要检测钢珠的外观质量，同时还需要准确获取检测的统计资料，比如钢珠表面缺陷类型、检测数量等等，这些工作很难依靠检测人员快速完成，从而也影响了钢珠生产企业产品质量和生产效益。

国外钢珠表面缺陷自动检测技术日趋成熟，已有相关产品。这些检测设备的检测原理通常采用涡流、光电传感器联合检测或光学探伤法。这些检测方法都需要钢珠做全面展开运动，其中展开运动机构的实现比较困难，制造维护成本高，检测效率低。另外，展开运动机构不能保证钢珠的完全展开，从而影响了检测精度。总结一下目前用于钢珠表面缺陷检测的技术有：声发射法、光电检测法、涡流探伤法、超声波探伤法、地磁场检测法；近年来涌现出一种机器视觉检测法。

机器视觉检测法针对目前我国钢珠制造业最迫切、最需要解决的问题，将机器视觉检测技术运用到钢珠生产线上。对于钢珠缺陷检测的视觉检测，目前主要存在着以下几个问题：1）钢珠表面缺陷是随机分布在钢珠表面上，检测时需要将球体全部“展开”，才能检测到钢珠的所有部位；2）视觉检测时不受钢珠大小尺寸规格限制，能对缺陷进行定量检测和分析，对缺陷形态、类型自动检测、识别和统计，并能将其长期保存以备今后查询和分析；3）检测中不受生产环境影响，保障检测精度、效率和鲁棒性。

对于钢珠表面缺陷检测，国家发明申请号200810243613.2公开了一种钢珠表面缺陷检测装置，进料机构通过进料通道与进给转盘连接，进给转盘的圆周设有若干检测腔，检测腔处设有为带检测钢珠提供照明的检测光源，检测腔的上方设有摄像机；进给转盘下方设有托盘和展开转盘，展开转盘通过一套机构使得钢珠所有表面进行展开。因此，这种展开装置机构复杂，同时也难保证钢珠表面都能有效展开；另外也增加了需要拍摄钢珠的次数，因而会影响到钢珠检测的效率，并且也要求拍摄钢珠的摄像机速度能满足清晰拍摄钢珠图像的要求。国家发明申请号201210134454.9公开了一种钢珠表面缺陷检测自动分选装置，工作台上设置有光源，在光源碗罩的左右两侧对称设置有安装在左支架上的左侧摄像机和安装在右支架上的右侧摄像机，左、右侧摄像机的镜头对称设置且分别与形成在光源碗罩上的左观测孔和右观测孔相对应设置。该方案是尝试通过多个摄像机来获取钢珠所有表面图像，因此存在着多个摄像机的同步控制问题，同时会增加检测装置的成本和体积。此外，上述两种钢珠检测方式均存在着漏检的可能性。

对于球体表面缺陷检测，国家实用新型申请号200720061570.7公开了基于机器视觉的球体表面缺陷检测系统照明装置，该照明装置包括照明顶盒、镜头、检测平台和盖板；盖板盖在检测平台上的被检测球体群上；照明顶盒具有三层结构，空腔里层为具有透光性和散光性的塑料或玻璃材质的漫射层，外层为非透明塑料外壳，中间层为LED阵列，LED阵列与置于照明顶盒之外的调光器连通；盖板为不透明刚性材料薄板，板上均匀分布多个圆孔，用于露出被测球体的球冠；这种方案虽然能够部分解决球面反光问题，但是存在着照明设备制造成本高，不适应于钢珠所有表面检测等问题。

因此，一种基于单目多视角机器视觉的钢珠表面缺陷检测装置必须解决如下两个方面的问题：1）钢珠表面缺陷是随机分布在钢珠表面，如何采用一个摄像机同时获取高质量的、钢珠整个球面的数字图像；2）钢珠表面的反光率相当高，接近于镜面反射，导致采集图像亮度分布不均，经常淹没所要检测的缺陷信息，特别是在法线方向上，会形成大片光晕而无法进行缺陷的检测；如何为钢珠视觉检测装置提供一种柔性体光源，以减少钢珠反射光引起的反射斑和光晕。

发明内容

为了克服已有的基于机器视觉的钢珠实时检测和分选系统的机构复杂、制造成本高、检测与分选效率低、使用和维护困难等不足；本发明提供一种具有机构简单、制造成本低、分选效率高、使用和维护方便的基于单目多视角机器视觉的钢珠在线自动分选装置。

本发明解决其技术问题所采用的技术方案是：

钢珠表面缺陷在线检测与分类装置要保证一定的速度和节拍，将钢珠依次、均速地送入检测轨道，钢珠沿轨道通过单目多视角检测箱，检测箱中的摄像机拍摄整个钢珠表面的全景图像，利用机器视觉对图像进行分割、钢珠全景图像的融合，对融合后的全景钢珠图像进行分割，并计算出整个钢珠表面的最大缺陷及缺陷总和；然后根据钢珠表面缺陷的情况对钢珠进行分选处理。

一种基于单目多视角机器视觉的钢珠在线自动分选装置，包括用于对钢珠进行自动检测和分类的流水线，用于拍摄被检钢珠图像的单目多视角机器视觉检测装置，用于为钢珠瑕疵检测提供照明光源的红色LED柔性漫射光照明光源和用于对被检钢珠图像进行图像处理、检测、识别、分类以及协调控制流水线上各动作机构的协调动作的微处理器，所述流水线包括用于将被检钢珠从待测物件容器中以每次一粒按一定速度和节拍钢珠喂送到上料输入口的上料动作机构，用于将被检钢珠通过单目多视角机器视觉检测装置的传输机构，用于将落入到分选输入口的已检钢珠根据分选判断结果收集到相对应的钢珠分选容器中的分选执行机构；所述的微处理器还包括：

图像读取模块，用于从单目多视角机器视觉检测装置中的摄像机读取包含有从5个不同视角拍摄的被检钢珠的图像；图像处理模块，用于从一幅图像中分割出5幅不同视角的钢珠图像和将5幅不同视角的图像背景中分割出钢珠图像，并根据知识库中保存的传感器的标定结果对5幅不同视角的钢珠图像进行透视投影转换处理；图像抓拍触发模块，用于对钢珠实施抓拍；传感器标定模块，用于对摄像机的标定、畸变矫正以及透视投影变换，将标定摄像机的内部参数以及透视投影变换的参数存储到知识库中；图像融合模块，用于将不同视角所获得的钢珠图像进行融合以便识别和检测整个钢珠表面的瑕疵；钢珠外观识别模块，用于根据国家标准对被检钢珠进行各种瑕疵的识别；分选控制模块，根据钢珠外观识别结果自动完成被检钢珠的自动分选；钢珠质量统计模块，根据钢珠外观识别结果将钢珠进行分类统计；人机交互模块，用于在人工干预下完成检测参数的设定、虚拟检测线的设定和控制检测结果的输出。

为了克服钢珠表面容易反光形成大片光晕等不利因素，本发明设计了一种红色LED柔性漫射光照明光源；所谓漫射光照明，其基本原理是，如果能够使各个方向进入镜头的反射光均匀，那么反射光引起的反射斑就被消除了。这类似于积分球的工作原理。如果一个表面从任意角度观察，亮度都是一样的，这个表面被称为是Lambertian，用一种体结构光照明，不管从哪个方向或角度入射或从哪个角度观察，任何表面都是被均匀照明的。这样能有效克服钢珠反射光引起的反射斑和光晕，而且也更加容易地获得钢珠表面的细微缺陷，从而为进一步的图像处理和钢珠表面缺陷检测以及分选奠定可靠的基础；具体做法是将散射照明先用360度发射出的LED光投射到比较粗糙的碗状漫射体上，碗状漫射体为具有积分效果的半球面内壁，通过半球型内壁的漫反射板多次反射，实现全空间区域的漫射光照明，对于凹凸不平表面检测起到特殊作用，达到完全消除阴影，产生一种无方向、柔和的光，然后再投射到钢珠上。

在钢珠表面缺陷检测过程中，要确定两个数值，钢珠表面像素点数量和缺陷像素点数量。因此，需要做两次分离操作，即将钢珠从背景中分离出来，将缺陷从钢珠中分离出来。在第一次分离中本发明采用了全局Ostu算法来进行分割，由于轨道和所述的单目多视角机器视觉检测装置的底部都是有无反射的黑色材料制作，选取一个合适的阈值T就能快速地将钢珠从背景中分离出来，选取阈值的方法从二值化直方图中选择两个峰之间的谷底时的灰度值作为阈值T；关于分离钢珠上的缺陷方法采用LOG算子对整个钢珠表面进行局部二值化处理，如果钢珠存在着缺陷就会检测出缺陷像素点，统计整个钢珠表面像素点的数量以及缺陷像素点的数量，并进行计算就能得到钢珠的缺陷量化指标；因此，可以用钢珠缺陷量化指标对钢珠品质进行分类；

所述的单目多视角机器视觉检测装置；由1个摄像机和4个平面镜所构成的单目多视角立体视觉装置，通过一个摄像机的一次成像来获取从5个视角拍摄的钢珠表面图像，实现一种以钢珠为观察中心的全方位视觉装置；主要由摄像机、漫射光照明光源和1个平面镜斗型腔组成；斗型腔由尺寸相同的等腰梯形平面镜组成，镜面朝向腔体内侧，且腔体的中轴线重合于摄像机的主光轴；摄像机镜头由漫射光照明光源小口端探入腔体内，镜头入射光线由漫射光照明光源发出的漫射光线和镜面反射光线组成；被测钢珠沿着导轨以某一速度V1滚动斜穿过平面镜斗型腔，当钢珠滚动至腔体的中轴线附近时，摄像机抓拍钢珠图像，并开始进行计时，t=0；所拍摄的图像包含被测钢珠的5副不同视角的影像，且这些影像来自于5不同透视投影点；所述的单目多视角机器视觉检测装置一共有5个不同透视投影点，在摄像机中直接成像的为实体摄像机的透视投影点，所拍摄的图像如附图12中的视角0；其他4个均为由摄像机和反射镜面所成像的为虚拟摄像机的透视投影点，所拍摄的图像分别来自于视角1～视角4，所述的单目多视角立体视觉装置具有严格一致的内部参数和颜色系统；为了获得整个钢珠球面的图像，当钢珠的直径为D、钢珠以V1速度纯滚动情况下，当计时器时间为t=1.57D/V1时，钢珠原底部正好转动到顶部，这时控制摄像机抓拍钢珠图像，又获得5个不同视角的钢珠图像；

所述的图像处理模块中，分割出钢珠图像后，根据知识库中保存的传感器的标定结果对5幅不同视角的钢珠图像进行透视投影转换处理，分别对t=0和t=1.57D/V1时刻得到10幅不同视角的分割后无畸变的钢珠图像；

所述的图像融合模块，用于将不同视角所获得的钢珠图像进行融合以便识别和检测整个钢珠表面的瑕疵；对重叠区域图像采用图像融合方法，由于加权平均法具有算法简单、运算速度快的优点，本发明采用加权平均法融合策略；该算法的思想是将2幅图像对应的像素点乘以一个加权系数后再相加得到融合图像的像素值；对于源图像和拼接图像，通过融合后得到的图像用公式（1）进行计算，

$I(x,y)=\left\{\begin{array}{cc}{I}_1(x,y)& (x,y)\∈I_1\\ L(x,y)\×(1-\mathrm{\α}1)+R(x,y)\mathrm{\α}1& (x,y)\∈(I_1\∩I_2)\\ I_2(x,y)& (x,y)\∈I_2\end{array}\right.---\left(1\right)$

式中，L(x,y),R(x,y)分别表示两幅拼接图像I₁和I₂的重叠区域，L(x,y)∈I₁，R(x,y)∈I₂,α1为权值，取值范围为[0,1]，α1的值可以由重叠区域的像素点计算得到，α1=s1/(s1+s2)，s1为I₁中重叠区域的所有像素和，s2为I₂中重叠区域的所有像素和；

本发明中，将t=0时刻用实体摄像机拍摄的图像称为俯视图，t=1.57D/V1时刻用实体摄像机拍摄的图像称为仰视图，t=0时刻用虚拟摄像机拍摄的图像分别称为左视图、主视图、右视图和后视图；发明中在用主视图上的钢珠图像直径D处为拼接融合的基准；首先，将左视图和主视图、右视图和后视图按“高平齐和宽相等”原则以钢珠主视图的直径处为基准进行拼接融合，得到左、主和右、后视图的融合拼接图像，拼接融合重合区域的大小为0.287D；然后，对左、主和右、后视图的融合拼接图像进行二次融合拼接得到左、主、右、后视图的融合拼接图像，融合拼接处在主视图和右视图部分，拼接融合重合区域的大小仍然为0.287D；接着，对左、主、右、后视图的融合拼接图像与俯视图进行融合拼接得到左、主、右、后、俯视图的融合拼接图像，融合拼接处在主视图和俯视图部分，拼接融合重合区域的大小仍然为0.287D；最后，左、主、右、后、俯视图的融合拼接图像与仰视图进行融合拼接得到左、主、右、后、俯、仰视图的融合拼接图像，融合拼接处在主视图和仰视图部分，拼接融合重合区域的大小仍然为0.287D；

所述的图像抓拍触发模块，用于对钢珠实施抓拍；具体做法是在实体摄像机的直接成像区域内画一条虚拟触发线，用MHI算法跟踪钢珠的运动，当钢珠滚动至虚拟触发线时触发摄像机抓拍钢珠图像，这时设置计时器t=0，并从抓拍的钢珠图像中计算出钢珠的直径D；当计时器时间t=1.57D/V1时，再次触发摄像机抓拍钢珠图像；

所述的MHI算法，MHI中得到的运动历史图像是一段时间间隔中的相邻图像帧进行帧间差分和灰度化处理之后得到的，这种得到运动历史图像的算法对于始终处于运动状态的目标可以很好地得到运动轮廓模板并且计算量比较小，MHI算法能用于创建一个运动梯度图像并通过SOBEL算子计算得到运动梯度的方向和大小，同时利用该结果可进一步用于估算对象的运动方向，由于MHI算法不需要背景建模只进行帧间差分处理就可以得到前景运动对象，因而该算法对于提取前景运动对象具有很高的实时性，计算方法如公式（2）所示，

$H_{\mathrm{\τ}}(x,y,t)=\left\{\begin{array}{c}\mathrm{\τ}\·\·\·\·\·\·\mathrm{ifD}(x,y,t)=1\\ \max (0,H_{\mathrm{\τ}}(x,y,t-1)-1)\·\·\·\mathrm{otherwise}\end{array}\right.---\left(2\right)$

式中，D(x,y,t)运动区域的二进制图像序列，τ为持续时间，H_τ(x,y,t-1)为上一个时刻的运动历史二进制图像序列；

通过MHI算法获得了轨道上的钢珠前景运动对象后，判断钢珠前景运动对象是否与虚拟触发线相接触，如果相接触就进行抓拍；

作为另一个优选方案是在轨道上两侧嵌入两根导线，当钢珠通过导线时，线路接通触发摄像机进行抓拍；

所述的钢珠外观识别模块，用于根据国家标准对被检钢珠进行各种瑕疵的识别；首先，对左、主、右、后、俯、仰视图的融合拼接图像采用LOG算子进行局部二值化处理，然后统计二值化后的瑕疵区域像素点数目；LOG算子就是Laplacian-Gauss算子，该算子把Gauss平滑滤波器和Laplacian锐化滤波器结合了起来，先平滑掉噪声，再进行边缘检测；通过LOG算子进行局部二值化处理的左、主、右、后、俯、仰视图的融合拼接图像，在6个不同视角方向同时检测整个钢珠表面是否存在着任何缺陷；统计整个钢珠表面像素点的数量以及缺陷像素点的数量，并用公式（3）计算就能得到钢珠的缺陷量化指标，

Index_defect=∑i/∑n      （3）

式中，∑n为整个钢珠表面像素点的数量，∑i为缺陷像素点的数量；

进一步，计算钢珠的最大缺陷面积；通过LOG算子进行局部二值化处理后的钢珠融合拼接图像，如果钢珠表面存在缺陷的话，进一步用遍历的方式计算钢珠的最大缺陷面积，具体做法是：对LOG算子进行局部二值化处理后的钢珠融合拼接图像中的各封闭区域统计其像素值，然后找出最大的封闭区域，其中每个封闭区域都是钢珠的表面缺陷；然后利用摄像机的标定结果，即每个像素对应钢珠实际面积大小关系，计算出钢珠的最大缺陷面积Defect_max；

如果Index_defect≥δ就将Flag_defect=0，表明钢珠存在着缺陷；否则设置为Flag_defect=1；δ根据质量控制要求进行设定，对于有严格要求的钢珠品质，δ设置为0.0001；对于有进一步分类要求的情况，还需要根据瑕疵的形状进一步进行识别和判断；识别和判断结果写入到数据库中，检测数据表主要由生产批次、检测时间、Index_defect和Defect_max四个item构成；

作为另一个优选方案是分别对左、主、右、后、俯、仰视图的钢珠图像采用LOG算子进行局部二值化处理，然后统计二值化后的瑕疵区域像素点数目；如果6个不同视角图像中有一张图像存在着缺陷就将Flag_defect=0，否则设置为Flag_defect=1；

所述的钢珠质量统计模块，根据钢珠外观识别结果将钢珠进行分类统计；分类统计是根据检测数据表的记录进行统计的，通过对数据库的表操作得到某一生产批次钢珠质量情况统计表，更进一步得到某一生产批次钢珠某种缺陷的分析结果；通过钢珠的质量统计能诊断在钢珠生产过程中产生某种缺陷的原因，提高产品的品质；

分选控制模块，根据钢珠外观识别结果Flag_defect自动完成被检钢珠的自动分选；电磁快门单元将合格钢珠和不合格钢珠自动分开；电磁快门状态与缺陷符号状态相一致，当Flag_defect=1时，控制电磁快门状态为1，这时轨道与合格钢珠收集管道相通；当Flag_defect=0时，控制电磁快门状态为0，这时轨道与不合格钢珠收集管道相通；

所述的上料动作机构，用于将检测钢珠以一定的速度和节拍，将钢珠依次、均速地送入检测轨道；主要由钢珠上料容器罐和送检动作单元构成，其中送检动作单元由电机和送检控制盘所组成；所述的电机带动所述的送检控制盘转动，送检控制盘上开有四个槽，如附图8所述；槽的宽度大于被检钢珠的直径，送检控制盘的材料刚度低于钢珠的材料刚度，以免划伤钢珠表面；所述的送检控制盘每旋转一周就会有4颗钢珠从钢珠上料容器罐的管道中通过所述的送检控制盘的槽，因此钢珠输送的节拍是由所述的电机控制的；如果想要控制向检测轨道输送4颗钢珠/秒，那么就控制电机的转速为转/秒；

所述的传输机构，用于将检测钢珠以一定滚动速度通过沿着检测导轨以某一速度V1滚动斜穿过平面镜斗型腔，如附图9b)所示；所述的检测轨道由三个部分构成，包括紧靠所述的送检控制盘的导引加速段、穿越平面镜斗型腔的均速转动段和紧靠电磁快门单元的钢珠分选段；为了便于提取钢珠前景对象，检测轨道表面进行黑色无反射设计，其刚度略低于钢球的刚度；所述的导引加速段与水平面成一个角度θ，导引加速段的导轨中间部分开有一个V型槽，V型槽由深变浅，V型槽的最深处的宽度值略大于钢珠的直径D，V型槽的最浅处的宽度值为钢珠直径D的1/8；所述的均速转动段的导轨中间部分开有一个V型槽，V型槽的深度与所述的导引加速段的导轨V型槽最浅处相同，V型槽的宽度为钢珠直径D的1/8；当钢珠从所述的送检控制盘的槽中穿过时，钢珠正好落在导轨上，如附图6b)所示；钢珠由自身重力作用在由深变浅V型槽中加速并作纯转动，当钢珠进入到导轨的均速转动段时钢珠为纯转动并且转动速度为V1；接着钢珠在其动能的作用下继续滚动通过所述的均速转动段，钢珠在所述的均速转动段有两次图像抓拍，如附图5所述，两次距离间隔为1.57D；由于钢珠处于纯转动状态，从俯视角度来看，第一次抓拍图像时的钢珠顶部位置在第二次抓拍图像时正好处于钢珠底部位置，这样就获得了整个钢珠的全景图像；接着对抓拍的钢珠全景图像进行处理和识别，识别结果控制所述的电磁快门；当钢珠滚动到电磁快门附近时，根据电磁快门的状态决定钢珠的最后滚动方向，如果检测结果是合格品，那么就将电磁快门的状态设置为1，钢珠就自动流向合格钢珠收集罐内；

所述的分选执行机构主要由电子快门单元构成，电子快门单元安装在导轨的钢珠分选段，电子快门只有两个工作状态；其工作状态的控制来自于对钢珠外观识别结果；附图3表示了钢珠外观识别结果Flag_defect=0时，即钢珠有缺陷的情况时，电子快门控制钢珠自动流向不合格钢珠收集罐的情况；附图4表示了钢珠外观识别结果Flag_defect=1时，即钢珠无缺陷的情况时，电子快门控制钢珠自动流向合格钢珠收集罐的情况；

本发明的有益效果主要表现在：1）采用了流水线式钢珠实时自动检测和分选方法，上料动作、图像抓拍动作、图像分析和检测处理和分选动作都是并行进行的，提高了自动检测和分选的效率；2）通过单一的摄像机通过4个平面反射镜同时获取5幅来自不同视角的被检钢珠表面的图像，极大地简化了基于机器视觉的自动检测装置的复杂度，降低了装置的制造成本，同时也为后续图像处理和分析提供了便利；3）通过特殊的设计让被检钢珠以某一恒定速度通过视觉检测箱，根据钢珠在检测箱中的位置抓拍钢珠图像，能确保摄像机获得整个钢珠表面图像；4）将不同视角的钢珠图像进行融合，为识别整个钢珠表面的瑕疵提供了有效支撑；5）照明光源采用了红色LED柔性漫射体光源设计，为获得钢珠表面的细微缺陷提供了有力保障；6）对融合拼接图像采用LOG算子进行局部二值化处理，能有效地识别钢珠各种表面缺陷。

附图说明

图1为一种基于单目多视角机器视觉的钢珠表面缺陷在线自动分选装置的总体说明图，其中1为摄像机，2为碗状漫射体，3为LED，4为视觉箱外壳，5为平面镜斗型腔，6为检测轨道，7为不合格品收集罐，8为合格品收集罐，9为电子快门，10为被检钢珠，11为送检动作单元，12为钢珠上料容器罐，13视觉箱上盖；

图2为被检钢珠在检测轨道上滚动状态说明图；

图3为电子快门控制被检钢珠流向不合格品收集罐的说明图；

图4为电子快门控制被检钢珠流向合格品收集罐的说明图；

图5为被检钢珠在轨道上滚动到虚拟触发线时抓拍钢珠图像情况示意图；

图6为被检钢珠从送检动作机构送入到检测轨道时的说明示意图，图6a)为钢珠在刚进入检测轨道的正视图，图6b)为钢珠在刚进入检测轨道的俯视图；

图7为一种单目多视角机器视觉的钢珠表面缺陷在线自动分选装置的硬件结构和软件系统构成说明图；

图8为送检动作机构中的送检控制盘；

图9为一种基于单目多视角机器视觉的钢珠表面缺陷在线自动分选装置示意图，图9a)为基于单目多视角机器视觉的钢珠表面缺陷在线自动分选装置中的视觉箱部分正视图，图9b)为基于单目多视角机器视觉的钢珠表面缺陷在线自动分选装置中的视觉箱部分A-A截面俯视图；

图10为从6个不同视角获得的钢珠全景视图，其中21为仰视图、22为主视图、23为左视图、24为俯视图、25为右视图、26为后视图；

图11为图10中6个视角方向的视图进行融合处理后得到的钢珠全景图像；

图12为从5个不同视角获得的钢珠全景视图。

具体实施方式

下面结合附图对本发明作进一步描述。

参照图1～图11，一种基于单目多视角机器视觉的钢珠在线自动分选装置，包括用于对钢珠进行自动检测和分类的流水线，用于拍摄被检钢珠图像的单目多视角机器视觉检测装置，用于为钢珠瑕疵检测提供照明光源的红色LED柔性漫射光照明光源和用于对被检钢珠图像进行图像处理、检测、识别、分类以及协调控制流水线上各动作机构的协调动作的微处理器，所述流水线包括用于将被检钢珠从待测物件容器中以每次一粒按一定速度和节拍钢珠喂送到上料输入口的上料动作机构，用于将被检钢珠通过单目多视角机器视觉检测装置的传输机构，用于将落入到分选输入口的已检钢珠根据分选判断结果收集到相对应的钢珠分选容器中的分选执行机构，附图7为单目多视角机器视觉的钢珠表面缺陷在线自动分选装置的硬件结构和软件系统构成说明图；所述的微处理器还包括：

图像读取模块，用于从单目多视角机器视觉检测装置中的摄像机读取包含有从5个不同视角拍摄的被检钢珠的图像；图像处理模块，用于从一幅图像中分割出5幅不同视角的钢珠图像和将5幅不同视角的图像背景中分割出钢珠图像，并根据知识库中保存的传感器的标定结果对5幅不同视角的钢珠图像进行透视投影转换处理；图像抓拍触发模块，用于对钢珠实施抓拍；传感器标定模块，用于对摄像机的标定、畸变矫正以及透视投影变换，将标定摄像机的内部参数以及透视投影变换的参数存储到知识库中；图像融合模块，用于将不同视角所获得的钢珠图像进行融合以便识别和检测整个钢珠表面的瑕疵；钢珠外观识别模块，用于根据国家标准对被检钢珠进行各种瑕疵的识别；分选控制模块，根据钢珠外观识别结果自动完成被检钢珠的自动分选；钢珠质量统计模块，根据钢珠外观识别结果将钢珠进行分类统计；人机交互模块，用于在人工干预下完成检测参数的设定、虚拟检测线的设定和控制检测结果的输出。

下面结合附图1对基于单目多视角机器视觉的钢珠表面缺陷在线自动分选装置的工作原理和流程进行说明；钢珠表面缺陷在线检测与分类装置要保证一定的速度和节拍，本发明中主要通过控制送检控制盘转动速度来实现上述要求的，送检控制盘如附图8所示；接着要将钢珠依次、均速地送入检测轨道，图2为检测轨道在均速转动段的剖面图，钢珠沿轨道通过单目多视角检测箱，如附图9所示；本发明中主要依靠钢珠的本身自重并用轨道来约束钢珠的滑动以及滚动方向，检测轨道由三个部分构成，包括紧靠送检控制盘的导引加速段、穿越视觉检测装置内部的均速转动段和紧靠电磁快门单元的钢珠分选段，如附图6所示；当钢珠滚动到检测虚拟线时触发检测箱中的摄像机拍摄整个钢珠表面的全景图像，如附图5所示；接着用全局Ostu算法对图像进行分割，得到俯视图、左视图、主视图、右视图和后视图5个视角的钢球图像；然后钢球继续往沿轨道向前滚动，当滚动到离检测虚拟线为1.57D距离时，再次触发检测箱中的摄像机拍摄整个钢珠表面的全景图像，用全局Ostu算法对图像进行分割得到钢珠的仰视图，图10为从6个不同视角获得的钢珠全景视图；接着，对6个不同视角的钢珠全景图像进行图像融合处理，得到俯视图、仰视图、左视图、主视图、右视图和后视图6个不同视角的钢球融合全景图像，图11为6个视角方向的视图进行融合处理后得到的钢珠全景图像；接着，对融合后的钢珠全景图像用LOG算子进行二次分割，得到钢珠全景图像上缺陷部分的图像，如果钢球存在着缺陷就计算出整个钢珠表面的最大缺陷、缺陷量化指标及缺陷总和；然后根据钢珠表面缺陷的情况控制分选执行机构的电子快门，如附图3和附图4所示，实现钢珠品质的自动分选处理。

为了克服钢珠表面容易反光形成大片光晕等不利因素，本发明设计了一种红色LED柔性漫射光照明光源；所谓漫射光照明，其基本原理是，如果能够使各个方向进入镜头的反射光均匀，那么反射光引起的反射斑就被消除了。这类似于积分球的工作原理。如果一个表面从任意角度观察，亮度都是一样的，这个表面被称为是Lambertian，用一种体结构光照明，不管从哪个方向或角度入射或从哪个角度观察，任何表面都是被均匀照明的。这样能有效克服钢珠反射光引起的反射斑和光晕，而且也更加容易地获得钢珠表面的细微缺陷，从而为进一步的图像处理和钢珠表面缺陷检测以及分选奠定可靠的基础；

所述的红色LED柔性漫射光照明光源，采用360度发射出的红色LED光投射到比较粗糙的碗状漫射体上，碗状漫射体为具有积分效果的半球面内壁，通过半球型内壁的漫反射板多次反射，实现全空间区域的漫射红色光照明，对凹凸不平、裂缝表面瑕疵检测起到特殊作用，并达到完全消除阴影，产生一种无方向、柔和的红色光，然后再投射到钢珠的整个表面上。

在钢珠表面缺陷检测过程中，要确定两个数值，钢珠表面像素点数量和缺陷像素点数量。因此，需要做两次分离操作，即将钢珠从背景中分离出来，将缺陷从钢珠中分离出来。在第一次分离中本发明采用了全局Ostu算法来进行分割，由于轨道和所述的单目多视角机器视觉检测装置的底部都是有无反射的黑色材料制作，选取一个合适的阈值T就能快速地将钢珠从背景中分离出来，选取阈值的方法从二值化直方图中选择两个峰之间的谷底时的灰度值作为阈值T；关于分离钢珠上的缺陷方法采用LOG算子对整个钢珠表面进行局部二值化处理，如果钢珠存在着缺陷就会检测出缺陷像素点，统计整个钢珠表面像素点的数量以及缺陷像素点的数量，并进行计算就能得到钢珠的缺陷量化指标；因此，可以用钢珠缺陷量化指标对钢珠品质进行分类；

所述的单目多视角机器视觉检测装置；由1个摄像机和4个平面镜所构成的单目多视角立体视觉装置，通过一个摄像机的一次成像来获取从5个视角拍摄的钢珠表面图像，实现一种以钢珠为观察中心的全方位视觉装置；主要由摄像机、漫射光照明光源和1个平面镜斗型腔组成；斗型腔由尺寸相同的等腰梯形平面镜组成，镜面朝向腔体内侧，且腔体的中轴线重合于摄像机的主光轴；摄像机镜头由漫射光照明光源小口端探入腔体内，镜头入射光线由漫射光照明光源发出的漫射光线和镜面反射光线组成；被测钢珠沿着导轨以某一速度V1滚动斜穿过平面镜斗型腔，当钢珠滚动至腔体的中轴线附近时，摄像机抓拍钢珠图像，并开始进行计时，t=0；所拍摄的图像包含被测钢珠的5副不同视角的影像，且这些影像来自于5不同透视投影点；所述的单目多视角机器视觉检测装置一共有5个不同透视投影点，在摄像机中直接成像的为实体摄像机的透视投影点，所拍摄的图像如附图12中的视角0；其他4个均为由摄像机和反射镜面所成像的为虚拟摄像机的透视投影点，所拍摄的图像分别来自于视角1～视角4，所述的单目多视角立体视觉装置具有严格一致的内部参数和颜色系统；为了获得整个钢珠球面的图像，当钢珠的直径为D、钢珠以V1速度纯滚动情况下，当计时器时间为t=1.57D/V1时，钢珠原底部正好转动到顶部，这时控制摄像机抓拍钢珠图像，又获得5个不同视角的钢珠图像；

所述的图像处理模块中，分割出钢珠图像后，根据知识库中保存的传感器的标定结果对5幅不同视角的钢珠图像进行透视投影转换处理，分别对t=0和t=1.57D/V1时刻得到10幅不同视角的分割后无畸变的钢珠图像；

所述的图像融合模块，用于将不同视角所获得的钢珠图像进行融合以便识别和检测整个钢珠表面的瑕疵；对重叠区域图像采用图像融合方法，由于加权平均法具有算法简单、运算速度快的优点，本发明采用加权平均法融合策略；该算法的思想是将2幅图像对应的像素点乘以一个加权系数后再相加得到融合图像的像素值；对于源图像和拼接图像，通过融合后得到的图像用公式（1）进行计算，

$I(x,y)=\left\{\begin{array}{cc}{I}_1(x,y)& (x,y)\∈I_1\\ L(x,y)\×(1-\mathrm{\α}1)+R(x,y)\mathrm{\α}1& (x,y)\∈(I_1\∩I_2)\\ I_2(x,y)& (x,y)\∈I_2\end{array}\right.---\left(1\right)$

式中，L(x,y),R(x,y)分别表示两幅拼接图像I₁和I₂的重叠区域，L(x,y)∈I₁，R(x,y)∈I₂,α1为权值，取值范围为[0,1]，α1的值可以由重叠区域的像素点计算得到，α1=s1/(s1+s2)　，s1为I₁中重叠区域的所有像素和，s2为I₂中重叠区域的所有像素和；

本发明中，将t=0时刻用实体摄像机拍摄的图像称为俯视图，t=1.57D/V1时刻用实体摄像机拍摄的图像称为仰视图，t=0时刻用虚拟摄像机拍摄的图像分别称为左视图、主视图、右视图和后视图；发明中在用主视图上的钢珠图像直径D处为拼接融合的基准；首先，将左视图和主视图、右视图和后视图按“高平齐和宽相等”原则以钢珠主视图的直径处为基准进行拼接融合，得到左、主和右、后视图的融合拼接图像，拼接融合重合区域的大小为0.287D；然后，对左、主和右、后视图的融合拼接图像进行二次融合拼接得到左、主、右、后视图的融合拼接图像，融合拼接处在主视图和右视图部分，拼接融合重合区域的大小仍然为0.287D；接着，对左、主、右、后视图的融合拼接图像与俯视图进行融合拼接得到左、主、右、后、俯视图的融合拼接图像，融合拼接处在主视图和俯视图部分，拼接融合重合区域的大小仍然为0.287D；最后，左、主、右、后、俯视图的融合拼接图像与仰视图进行融合拼接得到左、主、右、后、俯、仰视图的融合拼接图像，融合拼接处在主视图和仰视图部分，拼接融合重合区域的大小仍然为0.287D；

所述的图像抓拍触发模块，用于对钢珠实施抓拍；具体做法是在实体摄像机的直接成像区域内画一条虚拟触发线，用MHI算法跟踪钢珠的运动，当钢珠滚动至虚拟触发线时触发摄像机抓拍钢珠图像，这时设置计时器t=0，并从抓拍的钢珠图像中计算出钢珠的直径D；当计时器时间t=1.57D/V1时，再次触发摄像机抓拍钢珠图像；

所述的MHI算法，MHI中得到的运动历史图像是一段时间间隔中的相邻图像帧进行帧间差分和灰度化处理之后得到的，这种得到运动历史图像的算法对于始终处于运动状态的目标可以很好地得到运动轮廓模板并且计算量比较小，MHI算法能用于创建一个运动梯度图像并通过SOBEL算子计算得到运动梯度的方向和大小，同时利用该结果可进一步用于估算对象的运动方向，由于MHI算法不需要背景建模只进行帧间差分处理就可以得到前景运动对象，因而该算法对于提取前景运动对象具有很高的实时性，计算方法如公式（2）所示，

$H_{\mathrm{\τ}}(x,y,t)=\left\{\begin{array}{c}\mathrm{\τ}\·\·\·\·\·\·\mathrm{ifD}(x,y,t)=1\\ \max (0,H_{\mathrm{\τ}}(x,y,t-1)-1)\·\·\·\mathrm{otherwise}\end{array}\right.---\left(2\right)$

式中，D(x,y,t)运动区域的二进制图像序列，τ为持续时间，H_τ(x,y,t-1)为上一个时刻的运动历史二进制图像序列；

通过MHI算法获得了轨道上的钢珠前景运动对象后，判断钢珠前景运动对象是否与虚拟触发线相接触，如果相接触就进行抓拍；

作为另一个优选方案是在轨道上两侧嵌入两根导线，当钢珠通过导线时，线路接通触发摄像机进行抓拍；

所述的钢珠外观识别模块，用于根据国家标准对被检钢珠进行各种瑕疵的识别；首先，对左、主、右、后、俯、仰视图的融合拼接图像采用LOG算子进行局部二值化处理，然后统计二值化后的瑕疵区域像素点数目；LOG算子就是Laplacian-Gauss算子，该算子把Gauss平滑滤波器和Laplacian锐化滤波器结合了起来，先平滑掉噪声，再进行边缘检测；通过LOG算子进行局部二值化处理的左、主、右、后、俯、仰视图的融合拼接图像，在6个不同视角方向同时检测整个钢珠表面是否存在着任何缺陷；统计整个钢珠表面像素点的数量以及缺陷像素点的数量，并用公式（3）计算就能得到钢珠的缺陷量化指标，

Index_defect=∑i/∑n     （3）

式中，∑n为整个钢珠表面像素点的数量，∑i为缺陷像素点的数量；

进一步，计算钢珠的最大缺陷面积；通过LOG算子进行局部二值化处理后的钢珠融合拼接图像，如果钢珠表面存在缺陷的话，进一步用遍历的方式计算钢珠的最大缺陷面积，具体做法是：对LOG算子进行局部二值化处理后的钢珠融合拼接图像中的各封闭区域统计其像素值，然后找出最大的封闭区域，其中每个封闭区域都是钢珠的表面缺陷；然后利用摄像机的标定结果，即每个像素对应钢珠实际面积大小关系，计算出钢珠的最大缺陷面积Defect_max；

如果Index_defect≥δ就将Flag_defect=0，表明钢珠存在着缺陷；否则设置为Flag_defect=1；δ根据质量控制要求进行设定，对于有严格要求的钢珠品质，δ设置为0.0001；对于有进一步分类要求的情况，还需要根据瑕疵的形状进一步进行识别和判断；识别和判断结果写入到数据库中，检测数据表主要由生产批次、检测时间、Index_defect和Defect_max四个item构成；

作为另一个优选方案是分别对左、主、右、后、俯、仰视图的钢珠图像采用LOG算子进行局部二值化处理，然后统计二值化后的瑕疵区域像素点数目；如果6个不同视角图像中有一张图像存在着缺陷就将Flag_defect=0，否则设置为Flag_defect=1；

所述的钢珠质量统计模块，根据钢珠外观识别结果将钢珠进行分类统计；分类统计是根据检测数据表的记录进行统计的，通过对数据库的表操作得到某一生产批次钢珠质量情况统计表，更进一步得到某一生产批次钢珠某种缺陷的分析结果；通过钢珠的质量统计能诊断在钢珠生产过程中产生某种缺陷的原因，提高产品的品质；

分选控制模块，根据钢珠外观识别结果Flag_defect自动完成被检钢珠的自动分选；电磁快门单元将合格钢珠和不合格钢珠自动分开；电磁快门状态与缺陷符号状态相一致，当Flag_defect=1时，控制电磁快门状态为1，这时轨道与合格钢珠收集管道相通；当Flag_defect=0时，控制电磁快门状态为0，这时轨道与不合格钢珠收集管道相通；

所述的上料动作机构，用于将检测钢珠以一定的速度和节拍，将钢珠依次、均速地送入检测轨道；主要由钢珠上料容器罐和送检动作单元构成，其中送检动作单元由电机和送检控制盘所组成；所述的电机带动所述的送检控制盘转动，送检控制盘上开有四个槽，如附图8所述；槽的宽度大于被检钢珠的直径，送检控制盘的材料刚度低于钢珠的材料刚度，以免划伤钢珠表面；所述的送检控制盘每旋转一周就会有4颗钢珠从钢珠上料容器罐的管道中通过所述的送检控制盘的槽，因此钢珠输送的节拍是由所述的电机控制的；如果想要控制向检测轨道输送4颗钢珠/秒，那么就控制电机的转速为转/秒；

所述的传输机构，用于将检测钢珠以一定滚动速度通过沿着检测导轨以某一速度V1滚动斜穿过平面镜斗型腔，如附图9b)所示；所述的检测轨道由三个部分构成，包括紧靠所述的送检控制盘的导引加速段、穿越平面镜斗型腔的均速转动段和紧靠电磁快门单元的钢珠分选段；为了便于提取钢珠前景对象，检测轨道表面进行黑色无反射设计，其刚度略低于钢球的刚度；所述的导引加速段与水平面成一个角度θ，导引加速段的导轨中间部分开有一个V型槽，V型槽由深变浅，V型槽的最深处的宽度值略大于钢珠的直径D，V型槽的最浅处的宽度值为钢珠直径D的1/8；所述的均速转动段的导轨中间部分开有一个V型槽，V型槽的深度与所述的导引加速段的导轨V型槽最浅处相同，V型槽的宽度为钢珠直径D的1/8；当钢珠从所述的送检控制盘的槽中穿过时，钢珠正好落在导轨上，如附图6b)所示；钢珠由自身重力作用在由深变浅V型槽中加速并作纯转动，当钢珠进入到导轨的均速转动段时钢珠为纯转动并且转动速度为V1；接着钢珠在其动能的作用下继续滚动通过所述的均速转动段，钢珠在所述的均速转动段有两次图像抓拍，如附图5所述，两次距离间隔为1.57D；由于钢珠处于纯转动状态，从俯视角度来看，第一次抓拍图像时的钢珠顶部位置在第二次抓拍图像时正好处于钢珠底部位置，这样就获得了整个钢珠的全景图像；接着对抓拍的钢珠全景图像进行处理和识别，识别结果控制所述的电磁快门；当钢珠滚动到电磁快门附近时，根据电磁快门的状态决定钢珠的最后滚动方向，如果检测结果是合格品，那么就将电磁快门的状态设置为1，钢珠就自动流向合格钢珠收集罐内；

所述的分选执行机构主要由电子快门单元构成，电子快门单元安装在导轨的钢珠分选段，电子快门只有两个工作状态；其工作状态的控制来自于对钢珠外观识别结果；附图3表示了钢珠外观识别结果Flag_defect=0时，即钢珠有缺陷的情况时，电子快门控制钢珠自动流向不合格钢珠收集罐的情况；附图4表示了钢珠外观识别结果Flag_defect=1时，即钢珠无缺陷的情况时，电子快门控制钢珠自动流向合格钢珠收集罐的情况。

Claims (10)

1.一种基于单目多视角机器视觉的钢珠表面缺陷在线自动分选装置，其特征在于：包括用于对钢珠进行自动检测和分类的流水线，用于为钢珠瑕疵检测提供照明光源的红色LED柔性漫射光照明光源，用于拍摄被检钢珠图像的单目多视角机器视觉检测装置和用于对被检钢珠图像进行图像处理、检测、识别、分类以及协调控制流水线上各动作机构的协调动作的微处理器，所述流水线包括用于将被检钢珠从待测物件容器中以每次一粒按一定速度和节拍钢珠喂送到上料输入口的上料动作机构，用于将被检钢珠通过单目多视角机器视觉检测装置的传输机构，用于将落入到分选输入口的已检钢珠根据分选判断结果收集到相对应的钢珠分选容器中的分选执行机构；所述的微处理器还包括：

图像读取模块，用于从单目多视角机器视觉检测装置中的摄像机读取包含有从5个不同视角拍摄的被检钢珠的图像；图像处理模块，用于从一幅图像中分割出5幅不同视角的钢珠图像和将5幅不同视角的图像背景中分割出钢珠图像，并根据知识库中保存的传感器的标定结果对5幅不同视角的钢珠图像进行透视投影转换处理；图像抓拍触发模块，用于对钢珠实施抓拍；传感器标定模块，用于对摄像机的标定、畸变矫正以及透视投影变换，将标定摄像机的内部参数以及透视投影变换的参数存储到知识库中；图像融合模块，用于将不同视角所获得的钢珠图像进行融合以便识别和检测整个钢珠表面的瑕疵；钢珠外观识别模块，用于根据国家标准对被检钢珠进行各种瑕疵的识别；分选控制模块，根据钢珠外观识别结果自动完成被检钢珠的自动分选；钢珠质量统计模块，根据钢珠外观识别结果将钢珠进行分类统计；人机交互模块，用于在人工干预下完成检测参数的设定、虚拟检测线的设定和控制检测结果的输出。

2.如权利要求1所述的基于单目多视角机器视觉的钢珠表面缺陷在线自动分选装置，其特征在于：所述的单目多视角机器视觉检测装置；由1个摄像机和4个平面镜所构成的单目多视角立体视觉装置，通过一个摄像机的一次成像来获取从5个视角拍摄的钢珠表面图像，实现一种以钢珠为观察中心的全方位视觉装置；主要由摄像机、漫射光照明光源和1个平面镜斗型腔组成；斗型腔由尺寸相同的等腰梯形平面镜组成，镜面朝向腔体内侧，且腔体的中轴线重合于摄像机的主光轴；摄像机镜头由漫射光照明光源小口端探入腔体内，镜头入射光线由漫射光照明光源发出的漫射光线和镜面反射光线组成；被测钢珠沿着导轨以某一速度V1滚动斜穿过平面镜斗型腔，当钢珠滚动至腔体的中轴线附近时，摄像机抓拍钢珠图像，并开始进行计时，t=0；所拍摄的图像包含被测钢珠的5副不同视角的影像，且这些影像来自于5不同透视投影点；所述的单目多视角机器视觉检测装置一共有5个不同透视投影点，在摄像机中直接成像的为实体摄像机的透视投影点，所拍摄的图像如附图12中的视角0；其他4个均为由摄像机和反射镜面所成像的为虚拟摄像机的透视投影点，所拍摄的图像分别来自于视角1～视角4，所述的单目多视角立体视觉装置具有严格一致的内部参数和颜色系统；为了获得整个钢珠球面的图像，当钢珠的直径为D、钢珠以V1速度纯滚动情况下，当计时器时间为t=1.57D/V1时，钢珠原底部正好转动到顶部，这时控制摄像机抓拍钢珠图像，又获得5个不同视角的钢珠图像。

3.如权利要求1或2所述的基于单目多视角机器视觉的钢珠表面缺陷在线自动分选装置，其特征在于：所述的红色LED柔性漫射光照明光源，采用360度发射出的红色LED光投射到比较粗糙的碗状漫射体上，碗状漫射体为具有积分效果的半球面内壁，通过半球型内壁的漫反射板多次反射，实现全空间区域的漫射红色光照明，对凹凸不平、裂缝表面瑕疵检测起到特殊作用，并达到完全消除阴影，产生一种无方向、柔和的红色光，然后再投射到钢珠的整个表面上。

4.如权利要求1或2所述的基于单目多视角机器视觉的钢珠表面缺陷在线自动分选装置，其特征在于：所述的图像融合模块，用于将不同视角所获得的钢珠图像进行融合以便识别和检测整个钢珠表面的瑕疵；对重叠区域图像采用图像融合方法，由于加权平均法具有算法简单、运算速度快的优点，本发明采用加权平均法融合策略；该算法的思想是将2幅图像对应的像素点乘以一个加权系数后再相加得到融合图像的像素值；对于源图像和拼接图像，通过融合后得到的图像用公式（1）进行计算，

$I(x,y)=\left\{\begin{array}{cc}{I}_1(x,y)& (x,y)\∈I_1\\ L(x,y)\×(1-\mathrm{\α}1)+R(x,y)\mathrm{\α}1& (x,y)\∈(I_1\∩I_2)\\ I_2(x,y)& (x,y)\∈I_2\end{array}\right.---\left(1\right)$

式中，L(x,y),R(x,y)分别表示两幅拼接图像I₁和I₂的重叠区域，L(x,y)∈I₁，R(x,y)∈I₂,α1为权值，取值范围为[0,1]，α1的值可以由重叠区域的像素点计算得到，α1=s1/(s1+s2)　，s1为I₁中重叠区域的所有像素和，s2为I₂中重叠区域的所有像素和；

本发明中，将t=0时刻用实体摄像机拍摄的图像称为俯视图，t=1.57D/V1时刻用实体摄像机拍摄的图像称为仰视图，t=0时刻用虚拟摄像机拍摄的图像分别称为左视图、主视图、右视图和后视图；用主视图上的钢珠图像直径D处为拼接融合的基准；首先，将左视图和主视图、右视图和后视图按“高平齐和宽相等”原则以钢珠主视图的直径处为基准进行拼接融合，得到左、主和右、后视图的融合拼接图像，拼接融合重合区域的大小为0.287D；然后，对左、主和右、后视图的融合拼接图像进行二次融合拼接得到左、主、右、后视图的融合拼接图像，融合拼接处在主视图和右视图部分，拼接融合重合区域的大小仍然为0.287D；接着，对左、主、右、后视图的融合拼接图像与俯视图进行融合拼接得到左、主、右、后、俯视图的融合拼接图像，融合拼接处在主视图和俯视图部分，拼接融合重合区域的大小仍然为0.287D；最后，左、主、右、后、俯视图的融合拼接图像与仰视图进行融合拼接得到左、主、右、后、俯、仰视图的融合拼接图像，融合拼接处在主视图和仰视图部分，拼接融合重合区域的大小仍然为0.287D。

5.如权利要求1或2所述的基于单目多视角机器视觉的钢珠表面缺陷在线自动分选装置，其特征在于：所述的图像抓拍触发模块，用于对钢珠实施抓拍；具体做法是在实体摄像机的直接成像区域内画一条虚拟触发线，用MHI算法跟踪钢珠的运动，当钢珠滚动至虚拟触发线时触发摄像机抓拍钢珠图像，这时设置计时器t=0，并从抓拍的钢珠图像中计算出钢珠的直径D；当计时器时间t=1.57D/V1时，再次触发摄像机抓拍钢珠图像；

所述的MHI算法，MHI中得到的运动历史图像是一段时间间隔中的相邻图像帧进行帧间差分和灰度化处理之后得到的，这种得到运动历史图像的算法对于始终处于运动状态的目标可以很好地得到运动轮廓模板并且计算量比较小，MHI算法能用于创建一个运动梯度图像并通过SOBEL算子计算得到运动梯度的方向和大小，同时利用该结果可进一步用于估算对象的运动方向，由于MHI算法不需要背景建模只进行帧间差分处理就可以得到前景运动对象，因而该算法对于提取前景运动对象具有很高的实时性，计算方法如公式（2）所示，

$H_{\mathrm{\τ}}(x,y,t)=\left\{\begin{array}{c}\mathrm{\τ}\·\·\·\·\·\·\mathrm{ifD}(x,y,t)=1\\ \max (0,H_{\mathrm{\τ}}(x,y,t-1)-1)\·\·\·\mathrm{otherwise}\end{array}\right.---\left(2\right)$

式中，D(x,y,t)运动区域的二进制图像序列，τ为持续时间，H_τ(x,y,t-1)为上一个时刻的运动历史二进制图像序列；

通过MHI算法获得了轨道上的钢珠前景运动对象后，判断钢珠前景运动对象是否与虚拟触发线相接触，如果相接触就进行抓拍。

6.如权利要求1或2所述的基于单目多视角机器视觉的钢珠表面缺陷在线自动分选装置，其特征在于：所述的钢珠外观识别模块，用于根据国家标准对被检钢珠进行各种瑕疵的识别；首先，对左、主、右、后、俯、仰视图的融合拼接图像采用LOG算子进行局部二值化处理，然后统计二值化后的瑕疵区域像素点数目；LOG算子就是Laplacian-Gauss算子，该算子把Gauss平滑滤波器和Laplacian锐化滤波器结合了起来，先平滑掉噪声，再进行边缘检测；通过LOG算子进行局部二值化处理的左、主、右、后、俯、仰视图的融合拼接图像，在6个不同视角方向同时检测整个钢珠表面是否存在着任何缺陷；统计整个钢珠表面像素点的数量以及缺陷像素点的数量，并用公式（3）计算就能得到钢珠的缺陷量化指标，

Index_defect=∑i/∑n     （3）

式中，∑n为整个钢珠表面像素点的数量，∑i为缺陷像素点的数量；

进一步，计算钢珠的最大缺陷面积；通过LOG算子进行局部二值化处理后的钢珠融合拼接图像，如果钢珠表面存在缺陷的话，进一步用遍历的方式计算钢珠的最大缺陷面积，具体做法是：对LOG算子进行局部二值化处理后的钢珠融合拼接图像中的各封闭区域统计其像素值，然后找出最大的封闭区域，其中每个封闭区域都是钢珠的表面缺陷；然后利用摄像机的标定结果，即每个像素对应钢珠实际面积大小关系，计算出钢珠的最大缺陷面积Defect_max；

如果Index_defect≥δ就将Flag_defect=0，表明钢珠存在着缺陷；否则设置为Flag_defect=1；δ根据质量控制要求进行设定，对于有严格要求的钢珠品质，δ设置为0.0001；对于有进一步分类要求的情况，还需要根据瑕疵的形状进一步进行识别和判断；识别和判断结果写入到数据库中，检测数据表主要由生产批次、检测时间、Index_defect和Defect_max四个item构成。

7.如权利要求1或2或6所述的基于单目多视角机器视觉的钢珠表面缺陷在线自动分选装置，其特征在于：所述的钢珠质量统计模块，根据钢珠外观识别结果将钢珠进行分类统计；分类统计是根据检测数据表的记录进行统计的，通过对数据库的表操作得到某一生产批次钢珠质量情况统计表，更进一步得到某一生产批次钢珠某种缺陷的分析结果；通过钢珠的质量统计诊断在钢珠生产过程中产生某种缺陷的原因。

8.如权利要求1或2或6所述的基于单目多视角机器视觉的钢珠表面缺陷在线自动分选装置，其特征在于：分选控制模块，根据钢珠外观识别结果Flag_defect自动完成被检钢珠的自动分选；电磁快门单元将合格钢珠和不合格钢珠自动分开；电磁快门状态与缺陷符号状态相一致，当Flag_defect=1时，控制电磁快门状态为1，这时轨道与合格钢珠收集管道相通；当Flag_defect=0时，控制电磁快门状态为0，这时轨道与不合格钢珠收集管道相通。

9.如权利要求1或2所述的基于单目多视角机器视觉的钢珠表面缺陷在线自动分选装置，其特征在于：所述的上料动作机构，用于将检测钢珠以一定的速度和节拍，将钢珠依次、均速地送入检测轨道；主要由钢珠上料容器罐和送检动作单元构成，其中送检动作单元由电机和送检控制盘所组成；所述的电机带动所述的送检控制盘转动，送检控制盘上开有四个槽；槽的宽度大于被检钢珠的直径，送检控制盘的材料刚度低于钢珠的材料刚度；所述的送检控制盘每旋转一周就会有4颗钢珠从钢珠上料容器罐的管道中通过所述的送检控制盘的槽，钢珠输送的节拍是由所述的电机控制的。

10.如权利要求1所述的基于单目多视角机器视觉的钢珠表面缺陷在线自动分选装置，其特征在于：所述的传输机构，用于将检测钢珠以一定滚动速度通过沿着检测导轨以某一速度V1滚动斜穿过平面镜斗型腔；所述的检测轨道由三个部分构成，包括紧靠所述的送检控制盘的导引加速段、穿越平面镜斗型腔的均速转动段和紧靠电磁快门单元的钢珠分选段；为了便于提取钢珠前景对象，检测轨道表面进行黑色无反射设计，其刚度略低于钢球的刚度；所述的导引加速段与水平面成一个角度θ，导引加速段的导轨中间部分开有一个V型槽，V型槽由深变浅，V型槽的最深处的宽度值略大于钢珠的直径D，V型槽的最浅处的宽度值为钢珠直径D的1/8；所述的均速转动段的导轨中间部分开有一个V型槽，V型槽的深度与所述的导引加速段的导轨V型槽最浅处相同，V型槽的宽度为钢珠直径D的1/8；当钢珠从所述的送检控制盘的槽中穿过时，钢珠正好落在导轨上；钢珠由自身重力作用在由深变浅V型槽中加速并作纯转动，当钢珠进入到导轨的均速转动段时钢珠为纯转动并且转动速度为V1；接着钢珠在其动能的作用下继续滚动通过所述的均速转动段，钢珠在所述的均速转动段有两次图像抓拍，两次距离间隔为1.57D；在对两次抓拍的钢珠全景图像进行处理和识别后，识别结果控制所述的电磁快门；当钢珠沿着轨道滚动到电磁快门附近的钢珠分选段时，根据电磁快门的状态决定钢珠的最后滚动方向，如果检测结果是合格品，那么就将电磁快门的状态设置为1，钢珠就自动流向合格钢珠收集罐内。

Images