CN111185398B - 真空采血管在线全方位智能检测系统及检测方法 - Google Patents

Abstract

本发明涉及一种真空采血管在线全方位智能检测系统及检测方法，其解决了采血管无法360度范围检测；设备空间利用率低，相机利用率低，不合格的采血管没有分类剔除的技术问题，其安装在真空采血管贴标机上，设有反射和透射成像装置、机械旋转装置、剔除装置和控制装置；机械旋转装置设有能够旋转采血管的橡胶摩擦带；机械旋转装置前后两端分别设有反射成像装置，每个反射成像装置设有相机和反射镜组；控制装置设有工业计算机、图像采集卡、PLC、图像分析软件系统及触发光纤传感器，控制装置能够拼合处理反射成像装置拍摄图像，控制装置根据图像判断不合格采血管，控制剔除器剔除不合格采血管。本发明可广泛应用于真空采血管进行在线全方位检测。

Description

真空采血管在线全方位智能检测系统及检测方法

技术领域

本发明涉及一种医药制造行业的视觉自动检测系统，具体来说是一种利用人工智能视觉技术对真空采血管进行在线全方位检测系统及检测方法。

背景技术

真空采血管是一种采集人体血液样本的容器，供给自动验血机化验，血液样本是给医生诊断治疗提供具体参考数据的重要资料，因此采血管的质量关乎采血样本是否合格，如果采血管出现质量问题会延误病患的医治，危害患者的生命健康。采血管主要有以下几种检测要素：1、标签在采血管上的位置，标签上有采血量的刻度标识，如果采血管标签位置偏离，医生可能采集血样不足，导致血样分析失败或采了过多的血样造成浪费。2、采血管标签印刷有采血管类别、生产日期、生产企业和批准号等基本信息，如果印刷缺失会导致诸如医生使用过期的失效的采血管等问题。3、采血管标签打印有正副序列号，序列号打印缺失或副标残缺会对验血机的信息检索造成很大困难。4、有的采血管内部需要喷入抗凝血剂等化学试剂，化学试剂的有无或剂量是否合格对于人工检测是很困难的。5、采血管的密封性关乎血液样本的保存质量，直接关乎血液检测的成败，经过大量实验分析，广泛采用试管长度测量与标准长度比对和试管盖帽是否歪斜的辅助检测方法判定采血管密封是否良好,辅以人工真空度抽检测试。

申请号201410145881.6发明名称为真空采血管的传输装置及质量检测系统的中国发明专利公开了一种真空采血管的传输装置及质量检测系统，其质量检测系统包括控制装置、成像装置、传输装置和剔除装置；成像装置对真空采血管进行拍摄，将影像数据输出至控制装置；影像数据与预设的标准影像数据在控制装置中经过比对确定的控制指令输出至剔除装置，以使剔除装置根据控制指令剔除相应的真空采血管。由于采血管表面呈圆柱形，其在采血管检测时，无法对采血管圆周360度范围内缺陷进行检测；设备空间利用率低，是一整套的检测专用设备，无法做到贴标在线实时检测，空间效率、生产效率以及相机利用率低；经检测不合格的采血管分很多情况，没有分类剔除。

发明内容

本发明为了解决现有真空采血管无法360度范围检测；设备空间利用率低，相机利用率低，检测不合格的采血管没有分类剔除的技术问题，提供一种真空采血管在线全方位智能检测系统及检测方法。

本发明提供一种真空采血管在线全方位智能检测系统，其安装在真空采血管贴标机上，其设有反射和透射成像装置、机械旋转装置、剔除装置和控制装置；

所述机械旋转装置设有能够旋转采血管的橡胶摩擦带；

所述机械旋转装置前后两端分别设有所述反射成像装置，每个所述反射成像装置设有相机和反射镜组；

所述控制装置设有工业计算机、图像采集卡、PLC、图像分析软件系统及触发光纤传感器，所述控制装置能够拼合处理所述反射成像装置拍摄图像，所述控制装置根据所述图像判断不合格采血管，并控制所述剔除装置剔除不合格采血管。

优选地，反射镜设有两组。

优选地，反射成像装置还设有平行光源和弧面光源，所述弧面光源设有两组。

优选地，还设有透射成像装置，所述透射成像装置设有透射相机和背光源。

优选地，机械旋转装置设有伺服电机，所述伺服电机驱动所述橡胶摩擦带运动。

优选地，机械旋转装置还设有压力调整弹簧和位置调整螺母。

优选地，气缸剔除器设有两组，所述气缸剔除器根据不合格采血管性质分类剔除。

本发明还提供一种真空采血管在线全方位智能检测方法，包括如下步骤：

步骤1：将采血管在水平输送链轨上的轴向定位；

步骤2：将采血管编号，同时用相机1通过反射光路同时拍摄采血管表面三连续区域的图像；

步骤3：将采血管经过摩擦带稳定的旋转180度±5度后，用相机2通过反射光路同时拍摄采血管表面三连续区域的图像；

步骤4：将步骤2与步骤3中拍摄图像拉伸展开，通过角点特征匹配，得到采血管360度全景图像，检测标签缺陷并记录；

步骤5：用相机3拍摄采血管透射图像，分析采血管密封盖是否组装到位，同时通过测量阴影面积分析判断医学药剂的剂量并记录；

步骤6：对不合格采血管分类剔除，合格的采血管继续输送至待包装区。

本发明的有益效果是：

1、本发明设有采血管转动机构，在采血管随托辊运动的同时对采血管进行180度旋转，通过自动旋转机构，对采血管圆周范围所有缺陷进行检测；

2、本发明设计成像光路系统，采用多个反射镜，用一个相机就可以采集采血管三个角度的图像，每个角度涵盖约70度的范围，用一个相机完成以往需要三个相机完成的工作，提高设备空间利用率和节约相机成本，提高相机利用效率；

3、本发明采用新颖的图像处理算法，创新使用先进的图像拼接技术解决拼接过程中的重合问题，并且引入了基于卷积神经网络缺陷分析智能算法，对存在缺陷的大量标签图像进行训练，训练算法得到网络模型。根据训练模型检测拼接图像内的标签的缺陷，判断是否存在破损，从而有效解决了多张图像的重合和破边问题，避免了由于拍摄原因导致误剔；

4、本发明设有在线分类剔除装置，经过图像分析后，可判断采血管存在哪些缺陷，根据缺陷的类别可选择采用哪个剔除器，进行分类回收，对于可以人工修正的采血管分类剔除，经人工校正后，重新返回检测流水线，提高采血管不良品回收利用效率。

附图说明

图1是本发明的结构示意图；

图2是本发明的机械旋转装置结构示意图；

图3是本发明的透射成像装置位置示意图；

图4是本发明分类剔除示意图；

图5是本发明分类器剔除结构图；

图6是本发明控制装置示意图；

图7是本发明分类剔除流程示意图；

图8a是本发明第一表面反射成像工位成像示意图；

图8b是本发明第二表面反射成像工位成像示意图；

图9是本发明反射成像矫正图像示意图；

图10a是本发明真空采血管标签成像位置连续示意图；

图10b是本发明真空采血管标签成像位置非连续示意图；

图11是本发明速度变换补偿触发距离成像原理图；

图12是本发明针对采血管运动成像补偿曲线图。

附图符号说明：

1.第一成像相机；2.第二成像相机；3.透射成像相机；4.平行光源；5.弧面光源；6.反射镜；7.背光源；8.橡胶摩擦带；9.第一压力调整弹簧；10.位置调整螺母；11.伺服电机；12.第二压力调整弹簧；21.回收出料口；22.尼龙斜块；23.气缸固定支架；24.气缸；25.聚氨酯击打块；26.触发光纤探头；27.第一剔除器；28.第二剔除器；30.水平输送链轨；31.采血管托辊；32.定位平板；33.采血管；34.输送链条；51.工业计算机；52.图像采集卡；53.PLC；54.第一剔除器电磁阀；55.第二剔除器电磁阀；56.第一成像相机触发探头；57.第二成像相机触发探头；58.第三成像相机触发探头。

具体实施方式

下面结合附图和实施例对本发明做进一步说明，以使本发明所属技术领域的技术人员能够容易实施本发明。

实施例1：如图1-6所示，本发明直接安装在真空采血管贴标机水平输送链轨30上，其设有反射成像装置、透射成像装置、机械旋转装置、分类剔除装置和控制装置。机械旋转装置用于旋转采血管33，机械旋转装置前后两端分别设有一个反射成像装置，每个反射成像装置能够同时拍摄正对相机的真空采血管表面图像，及与正对相机表面图像成一定角度的真空采血管表面图像，在采血管33的上表面从3个角度进行成像，可沿圆周连续覆盖至少200度的范围；反射成像装置后设有透射成像装置，透射成像相机3透射成像是在水平输送链轨30的夹层放置背光源7，光线通过采血管托辊31之间的缝隙透过采血管33后进入透射成像相机3，形成透射成像；透射成像装置后设有第一剔除器27和第二剔除器28，对不合格采血管分类剔除，控制装置设有工业计算机51、图像采集卡、光纤传感器及图像处理程序组成，图像分析算法能够拼接、处理反射成像装置表面图像，控制装置根据图像判断不合格采血管，控制装置控制剔除装置剔除不合格采血管，智能检测系统直接安装在真空采血管贴标机上，能够实时在线检测剔除真空采血管。

如图2所示，机械旋转装置设有使用伺服电机11驱动的橡胶摩擦带8，伺服电机11能够精准控制旋转角度；在实际的生产过程中，贴标机的速度是变化的，橡胶摩擦带8根据实际生产的水平输送链轨30的速度反馈调节，这样能够保证采血管33的旋转角度；橡胶摩擦带8上设有第一压力调整弹簧9、第二压力调整弹簧12和位置调整螺母10，通过位置调整螺母10与第一压力调整弹簧9、第二压力调整弹簧12配合，确保采血管33运行到橡胶摩擦带8下方的时候，橡胶摩擦带8与采血管33的接触面使用橡胶材质，橡胶摩擦带8会压住采血管33，由于橡胶摩擦带8的速度跟采血管托辊31前进的速度存在一个速度差，橡胶摩擦带8会带动采血管33旋转180度。

如图1所示，位于第三拍摄区域的透射成像装置设有透射成像相机3和背光源7，背光源7光线通过采血管托辊31之间的缝隙透过采血管33后进入透射成像相机3，光线由下往上照射，透过采血管33进入相机3形成真空采血管33的暗场透射像。通过图像分析得到采血管33的整体长度和采血管33密封盖是否歪斜，以此判断采血管33密封盖有没有组装到位。同时相机3还可以用于对试管底部抗凝血剂检测，通过测量阴影面积对采血管33内喷有医学药剂的剂量进行分析判断。

如图4-5所示，分类剔除装置采用两组气缸剔除器，第一剔除器27和第二剔除器28，分别设置为第一回收区和第二回收区；每组气缸剔除器设有回收出料口21、尼龙斜块22和气缸固定支架23，气缸固定支架23上设有针形单作用气缸24和聚氨酯击打块25，聚氨酯击打块25与气缸24相连；工业计算机确定有缺陷的试管的位置序号，根据缺陷的不同分配给第一剔除器27或第二剔除器28，触发光纤探头26用于触发剔除计数,PLC控制电磁阀控制剔除气缸24伸出将不良品打出，不良品采血管在尼龙斜块22和重力作用下，沿抛物线运动最后从回收出料口排出到回收区域中，采血管33密封盖位置不对和密封盖歪斜的采血管33将打到第一回收区，第一回收区域的采血管经人工检验校正后重新回到检测流水线上；标签黏贴位置不合格及印刷缺失、序列号打印不全的采血管33将打到第二回收区，第二回收区的采血管经标签移除清洗后重新上贴标生产线；其它合格的采血管33将继续输送进入采血管合格品待包装区，其分类剔除流程如图7所示。分类剔除提高了不同状态的采血管33的回收再利用率，提高了整个真空采血管33生产线的运行效率。

如图6所示，控制装置设有工业计算机51、图像采集卡52、PLC53、图像处理分析软件系统、第一剔除器电磁阀54、第二剔除器电磁阀55、第一成像相机触发探头56、第二成像相机触发探头57和第三成像相机触发探头58，用于图像矫正、拼接处理，采血管密封性、内容物检测，采血管触发、剔除补偿控制。

位于第一拍摄区域的反射成像装置设有第一成像相机1、一个平行光源4、两个弧面光源5和两组反射镜6，第一成像相机1拍摄在采血管33上A、B、C连续区域的图像，其拍摄图像如图8a所示，平行光源4为B区域提供照明，弧面光源5分别A、C区域提供照明；三个反射镜6构成一组，其通过调整反射镜6位置及角度，使第一成像相机1通过反射光路同时拍摄采血管33上ABC三块连续区域的图像，为了检测的全面性，三幅图像涵盖采血管33上表面约200度的范围。

位于第二拍摄区域的反射成像装置设有第二成像相机2、一个平行光源4、两个弧面光源5和两组反射镜6，其结构与第一拍摄区域时的反射成像装置相同，分别拍摄DEF三区域的图像，其拍摄图像如图8b所示，DEF三区域的图像是经过机械旋转装置旋转180度后的采血管33表面图案。

对于图像矫正、拼接处理，通过第一拍摄区域和第二拍摄区域进行成像，每个成像是从3个角度拍摄。每个角度成像涵盖圆周70度左右的范围。各个角度成像区域必须保证一定的重合区域，通过第一拍摄区域和第二拍摄区域两次成像得到两幅图像，每幅图像内包含3个角度的成像。由于拍摄的是采血管33圆周外观图像因此会存在一定的曲面畸变，这就需要先使用标定板，对三个不同角度的图像进行标定，得到畸变矫正的参数。根据矫正参数消除曲面矫正对其进行平面展开，由于不同角度光线经过不同的距离进入相机的视野，所以在视野内的成像大小不同。中间区域的图像最大，而两边的图像较小。对两边的图像进行拉伸，进行亚像素级的插补扩展得到和B、E相同尺寸的图片。从不同角度采集的图像的边缘会有一定的重叠，需要根据重叠区域的特征点进行拼接，首先确定特征点的对应关系，然后利用这种关系找出相邻图片之间的变换关系。这种采用相邻图像特征点拼接的方法对光线变化不敏感，而且拼接精度高。之后对拼接图像经过矫正、拉伸，组成完整的连续360度范围采血管33表面图像，如图9所示图像。由于采血管33在托辊上的初始位置不一致，经过以上处理后标签的展开图在上述图中的位置也是不固定的，并且可能是断开的，如图10a和图10b所示，在分析标签有无前首先要进行定位——确定标签的位置。由于标签并没有没有360度粘贴在采血管外壁上，所以标签在展开图位置可能一部分在拼接图像的前半部分，一部分处于后半部分，这种情况下就要把标签两部分进行对接得到完整的标签图像后再判断标签有无歪斜、有无翘边、破损，分析标签上的印刷的生产日期或者字符有无印刷缺陷。

对于采血管密封性、内容物检测，第三拍摄区域采集的图像中会把相邻的采血管33也拍进视野得到3支采血管33，真正需要检测采血管33是中间的那支。因此图像分析第一步先对中间采血管33进行定位，得到采血管在图像中的区域。沿着采血管33运动方向进行多线扫描，找到采血管33边缘从而判断其在视野中的角度。沿着采血管33角度方向用36根线扫描采血管33的密封盖，勾勒出密封盖的边缘线。根据瓶盖的位置和采血管33的角度差，判断密封盖有没有盖偏；再根据采血管33底部的位置和密封盖的位置，计算整个采血管33的长度，判断该采血管33密封盖有没有组装到位。由于该工位是透射成像，在采血管33的底部没有标签，因此可以清晰的看到底部喷入的药剂；因为采血管33是透明的，在图像中灰度值非常高，接近饱和；但是药剂在图像中的灰度值比较低，普遍分布于灰度值区间[gray_min,gray_max]其中gray_min为灰度最小值，gray_max为灰度最大值，通过统计该区间内像素个数，若数量小于某一设定值，说明喷入采血管33的药剂数量太少，若数量大于某一设定值，说明喷入采血管33的药剂太多，均认定为不合格品。

对于采血管触发、剔除补偿控制，在线检测系统定位被检物的定位采用编码器和传感器的方案。如图11所示，传感器A和传感器B，当传感器A被触发时，记录下当前编码器的位置Encoder_A，当被测物经过传感器B时记录下编码器位置Encoder_B，根据二者之间的编码器差值Dis，判断该值是否在预先设定的范围之内，就可以确定是同一个被测物。对于采血管33的在线检测系统，由于空间的局限性和可扩展性，不采用传统靠光电触发相机拍照的系统，而是采用根据传动的速度变换补偿触发距离的方案。当采血管33经过第一工位的触发光电a时，记录下当前编码器的值EA，测量出拍照位置距离触发点的距离DelayS,理论上到EA+DelayS位置(Ta)进行触发拍照；但是被测物是运动的，而且速度还是变化的。这样的触发机制导致被测物在视野内位置不同，为后续图像拼接带来极大困难，因此需要对触发距离进行相应补偿。本发明同时公开触发距离补偿算法，根据链道运动的速度确定补偿因子，适当提前和延后触发拍照，减小成像的前后偏移量。图12所示的运动补偿曲线，图中的t1和t2时间点是PLC两次读取编码器的时刻，根据读取值计算速度变换的斜率K。K的计算公式为KS＝(P1-P2)/T,其中P1、P2是两次读取的编码器位置，T读取值的时间间隔T＝t2-t1。最后通过以下公式计算动态触发延迟位置EnDelay，EnDelay＝DelayS(1+K)，上式中的EnDelay是根据链道的运行速度实时计算的，作为触发点的延迟距离设定。

本发明还提供一种真空采血管在线全方位智能检测方法，其步骤包括：

步骤1：贴标后的采血管33经上料器转移到由两侧输送链条34和中间的采血管托辊31组成的水平输送链轨30上，输送采血管托辊31由软性尼龙材料制成，水平输送链轨30上设有定位平板32用于采血管33在水平输送链轨30上的轴向定位，用推板将采血管33紧靠在链道定位板上，采血管33盖帽一侧定位，便于拍照数据采集和分析；输送尼龙托辊31设有避让台阶，用于避让采血管33盖帽处的凸起，防止采血管33盖帽凸出引起采血管33在输送链道位置不周正，影响拍摄效果。

步骤2：水平输送链轨30上部设有第一成像相机1，平面光源4和弧面光源5，当采血管33经链道运行到触发探头处，对采血管33编号为1、2、3…，并马上读取编码器的当前位置信息，将其位置信息存储到系统中，形成位置信息表P_Table。P_Table表预留的缓存数为100个进行循环使用，根据延迟触发的距离EnDelay，在P_Table表的基础上生成拍照触发位置表T_Table。控制系统按照固定的循环周期扫描T_Table表内采血管33的触发位置，当前值达到触发位置时PLC输出触发信号，控制相机拍照。图像处理分析系统也要对采集过来的图像进行编号，生成存储采血管33图像的表Image_Table。拍摄系统输出触发相机拍照的信号，控制第一成像相机1通过反射光路同时拍摄采血管33表面A、B、C三区域的图像，为了检测的全面性，3幅图像需要涵盖采血管33上表面约200度的范围，受限于空间条件，采用两路反射镜6的对称光路设计，使得结构紧凑。

步骤3：当采血管33随链道运行到角度转动工位时，磨擦带8压住采血管33，摩擦带8与采血管33的接触面使用橡胶材质，伺服电机带动摩擦带8运转，随时根据链道编码器转度调整伺服电机转速，保证当采血管33经过摩擦带时，稳定的旋转180度±5度，当采血管33随链道运行到第二拍摄区域时，触发探头给系统发指令控制相机2拍摄D、E、F三区域的图像，这样链道上方相机2和平面光源4，对经过旋转180度的采血管33表面D、E、F区域进行二次成像。

步骤4：前后两个亮场图像采集一共拍摄6幅图像，分别是A、B、C、D、E、F区域的图像，图像之间会有重叠和破损区域。将6幅图像采用曲面展开、畸变矫正等图像处理技术对图像进行拉伸展开，然后通过角点特征匹配，将6幅图像依次对拼接，得到采血管33的360度全景图像。可对标签缺失、标签不全、标签位置偏移、副标签翘边、序列号打印不清不全、日期印刷等缺陷进行同时检测。对于同一只采血管33标签外观检测，因为需要图像拼接，所以要等该采血管33在第二拍摄区域成像之后才能进行图像分析，判断图像是否存在缺陷。并将分析的结果通过TCP通信协议将NG信号发送到PLC，写到采血管33的信息表中，供后续使用。

步骤5：对采血管33的密封性检测采取长度测量和盖帽歪斜检测的辅助检测方法可间接检测采血管33的密封性。第三拍摄区域上方设置透射成像相机3，在链道中间层设置背光源7。光线从下往上照射，透过采血管33进入透射成像相机3形成真空采血管33的暗场透射像。通过图像分析得到采血管33的整体长度和采血管33密封盖是否歪斜，以此判断采血管33密封盖有没有组装到位。同时透射成像相机3还可以用于对试管底部抗凝血剂检测，通过测量阴影面积对采血管33内喷有医学药剂的剂量进行分析判断。

当采血管33经过第三拍摄区域时，根据当前编码器值C_Encoder，以及两个工位之间的实际距离在第二拍摄区域存储的位置表P_Table内查找位置信息。从而确定当前采血管33是第几号采血管33，然后通过拍照片进行图像分析。将结果发送到PLC，控制系统得到信号时，把结果存储到表中对应采血管33的信息表中，供后续剔除工位使用。

步骤6：对不合格采血管分类剔除，采用两组气缸剔除器，对采血管33密封盖位置不对和密封盖歪斜的采血管33将打到第一回收区；标签黏贴位置不合格及印刷缺失、序列号打印不全的采血管33将打到第二回收区；其他合格的采血管33将继续输送进入采血管33合格品待包装区。

以上所述仅对本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡是在本发明的权利要求限定范围内，所做的任何修改、等同替换、改进等，均应在本发明的保护范围之内。

Claims (5)

1.一种真空采血管在线全方位智能检测系统，其安装在真空采血管贴标机组装线上，其特征是，其设有反射和透射成像装置、机械旋转装置、剔除装置和控制装置；

所述机械旋转装置设有能够旋转采血管的橡胶摩擦带；

所述机械旋转装置前后两端分别设有反射成像装置，每个所述反射成像装置分别设有相机和反射镜组；

所述控制装置设有工业控制计算机、图像采集卡、PLC、图像分析软件系统及触发光纤传感器，所述控制装置能够拼合、分析所述反射成像装置拍摄图像，所述控制装置根据拼合图像判断不合格采血管，并控制所述剔除装置剔除不合格采血管；所述反射镜设有两组；所述反射成像装置还设有平行光源和弧面光源，所述弧面光源设有两组；所述反射成像装置的每个成像是从3个角度拍摄，每个角度成像涵盖圆周70度的范围；还设有透射成像装置，所述透射成像装置设有透射相机和背光源；所述背光源光线通过采血管托辊缝隙透过采血管后进入透射相机形成真空采血管的暗场透射像，所述透射相机还用于对真空采血管底部抗凝血剂检测。

2.根据权利要求1所述真空采血管在线全方位智能检测系统，其特征在于，所述机械旋转装置设有伺服电机，所述伺服电机驱动所述橡胶摩擦带运动。

3.根据权利要求2所述真空采血管在线全方位智能检测系统，其特征在于，所述机械旋转装置还设有压力调整弹簧和位置调整螺母。

4.根据权利要求3所述真空采血管在线全方位智能检测系统，其特征在于，气缸剔除器设有两组，所述气缸剔除器根据不合格采血管性质分类剔除。

5.一种真空采血管在线全方位智能检测方法，其利用如权利要求1-4任一项所述的真空采血管在线全方位智能检测系统，其特征是，包括如下步骤：

步骤1：将采血管在水平输送链轨上的轴向定位；

步骤2：将采血管编号，同时用相机1通过反射光路拍摄采血管表面三连续区域的图像；

步骤3：将采血管经过摩擦带稳定的旋转180度±5度后，用相机2通过反射光路同时拍摄采血管表面三连续区域的图像；

步骤4：将步骤2与步骤3中拍摄图像拉伸展开，通过角点特征匹配，得到采血管360度全景图像，检测标签缺陷并记录；

步骤5：用相机3拍摄采血管透射图像，分析采血管密封盖是否组装到位，同时通过测量阴影面积分析判断医学药剂的剂量并记录；

步骤6：对不合格采血管分类剔除，而合格的采血管继续输送至待包装区。