CN101839688A - 基于机器视觉的生物芯片点样过程实时检测系统及分析方法 - Google Patents

Abstract

一种基于机器视觉的生物芯片点样过程实时检测系统，包括由光学照明部件和光学成像部件组成的图像拍摄设备、图像噪声去除部件、图像采集设备和图像处理设备，图像采集设备和图像处理设备安装在所述点样设备的工控机中；图像处理设备设置有图像采集模块、图像预处理模块、图像分割模块、图像模式分析模块和结果输出控制模块。本发明采用合理的光源，使得点样点从背景中突现出来；视频干扰隔离器配合预处理算法，使得图像噪声大大降低并增强了对比度；实现了生物芯片点样点质量检测的自动化和智能化，实时检测出点样点的大小、阵列整齐度、圆整度，使得检测过程更加客观、准确、实时和高速。还公开了该生物芯片点样过程实时检测系统的分析方法。

Description

基于机器视觉的生物芯片点样过程实时检测系统及分析方法

技术领域

本发明涉及的是一种针对生物芯片点样过程的机器视觉检测系统，尤其涉及基于机器视觉的生物芯片点样过程实时检测系统及分析方法，该系统可以实现对生物芯片制造过程的自动化质量监控和实时分析，属于生物芯片技术领域。

背景技术

生物芯片的出现是近年来高新技术领域中极具时代特征的重大进展，是物理学、微电子学与分子生物学综合交叉形成的高新技术。生物芯片技术通过微加工工艺在厘米见方的芯片上集成有成千上万个与生命相关的信息分子，它可以对生命科学与医学中的各种生物化学反应过程进行集成，从而实现对基因、配体、抗原等生物活性物质进行高效快捷的测试和分析。利用生物芯片技术，通过自动化的检测软件，能够在短时间内分析大量的生物分子，使人们快速准确地获取样品中的生物信息，一次可以对被检测对象进行多个指标的检验，效率是传统检测手段的成百上千倍。

点样法是生物芯片制备的一种重要方法，该方法将抗体、探针、PCR技术扩增cDNA或基因组DNA等不同探针样品，通过由阵列复制器或阵列点样机及电脑控制的机器人，准确、快速地定量点样于带正电荷的尼龙膜或硅片等相应位置上。点样的方式分两种，其一为接触式点样，即点样针直接与固相支持物表面接触，将样品留在固相支持物上；其二为非接触式点样，即喷点，它是以压电原理将样品通过毛细管直接喷至固相支持物表面。打印法的优点是探针密度高；缺点是定量准确性及重现性不好，打印针易堵塞且使用寿命有限。喷印法的优点是定量准确，重现性好，使用寿命长；缺点是喷印的斑点大，因此探针密度低。点样机器人有一套计算机控制三维移动装置、多个打印/喷印头、一个减震底座，上面可放内盛探针的多孔板和多个芯片。根据需要还可以有温度和湿度控制装置、针洗涤装置。打印/喷印针将探针从多孔板取出直接打印或喷印于芯片上。检验点样仪是否优秀的指标包括点样精度、点样速度、一次点样的芯片容量、样点的均一性、样品是否有交叉污染及设备操作的灵活性、简便性等等。其中，点样点的大小均一性、形状均一性、阵列整齐度对芯片的质量有重要的影响，对这些参数进行实时检测和客观统计有非常重要的意义。

目前对点样过程及效果的评判主要是通过人眼来进行的，首先在点样过程中，操作者紧盯着和视频显微镜连接的监视器，由人来判断是否出现点样异常；其次在点样完成之后，操作人员将载有样品点阵的膜或者其他固相载体交给检验班组，然后由检验人员凭其经验用肉眼观测，寻找出个别漏点、形状畸形、或者与大多数点大小悬殊较大的点，据此剔除不合格的芯片，并粗略统计点样合格率。这种人工检测方法的缺点是不客观(即每个检验人员的经验都不一样，当时操作者的状态也不一样)，不准确(都是大致和模糊的估算，没有量化概念)，不实时(即不能在点样过程中判断是否合格，而是离线判断，这样就不能即时根据点样效果检查仪器状态)，容易使人疲劳易漏检(生物芯片上的点样点是大量的、且分布密度很大的，这样的检测对象很容易使人疲劳)；总而言之，这种人工检测的方法费时、费力、不可靠，没有自动化程度可言，没有严密的量化数据，不能实时对点样过程进行自动监控，芯片和芯片之间质量也无法进行比较。

发明内容

本发明所要解决的技术问题之一是针对现有人工检测生物芯片质量的方法的缺点，不客观、不准确、不实时、不自动化，芯片和芯片之间质量也无法进行比较，容易使人疲劳易漏检，质检人员工作难度大的问题。而提供一种基于机器视觉的生物芯片点样过程实时检测系统及分析方法，生物芯片点样过程实时检测系统提供了相应的智能视觉实时检测系统，可以替代现有人工检测生物芯片质量的方法，可以自动化地、实时地、高速地检测生物芯片的点样点状况，可以实时提示异常状况，从而降低了质检人员的工作难度，也对芯片质量的量化统计提供了科学数据。

本发明涉及一种针对生物芯片点样过程的机器视觉检测系统，可以在生物芯片点样过程中，对相应的生物制品点样点进行实时抓拍图像、实时图像预处理、目标分割、几何参数计算、报警、保存图片、给出点样统计结果等。该系统可以实现对生物芯片制造过程的自动化质量监控和实时分析，适用于生物芯片。

本发明所需要解决的技术问题之二是提供基于上述生物芯片点样过程实时检测系统的分析方法。

作为本发明第一方面一种基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，包括：

一图像拍摄设备，该图像拍摄设备跟随点样设备的点样头进行同步三维运动并对点样区域进行拍摄以获取点样区域图像；

一图像采集设备，该图像采集设备与所述图像拍摄设备信号连接，对图像拍摄设备拍摄的图像进行采集并完成图像的数模转换；

一图像处理设备，该图像处理设备与所述图像采集设备信号连接，对图像采集设备所采集的点样区域图像进行处理、分析，并输出处理结果。

所述图像采集设备和图像处理设备安装在所述点样设备的工控机中。

所述图像拍摄设备包括：

一光学照明部件，该光学照明部件对点样区域进行照明，以增强点样区域的目标点和背景对比度；

一光学成像部件，该光学成像部件对点样区域进行拍摄，以获取点样区域图像并进行光电转换成视频信号输入至图像采集设备。

在本发明的图像拍摄设备中，所述光学照明部件和光学成像部件安装一个壳体内，其中光学照明部件布置于所述光学成像部件的周围，所述壳体通过一图像拍摄设备安装支架安装在点样设备的点样头上。

所述光学成像部件能够对目标点样点进行放大拍摄。

所述光学成像部件的视频输出端通过一图像噪声去除部件连接图像采集设备；所述图像噪声去除部件可以去除因为静电、接地不良、电机磁场引起的图像斑点噪声和横纹噪声。

所述图像处理设备设置有：

与图像拍摄设备连接，对图像拍摄设备拍摄的图像进行点样过程同步采集，并完成数据转移到内存的图像采集模块；

对图像采集模块采集的图像噪声进行信号处理到达进一步滤除目的的图像预处理模块；

实时从图像预处理模块处理得图像中把目标点样点从图像背景中以二值化的方式提取出来的图像分割模块；

对图像分割模块分割的结果计算其面积参数、位置参数、型心参数的图像模式分析模块；

根据图像分析模块的结果来提示并对异常点样点报警，并对整个点样过程给出统计结果的结果输出控制模块。

所述光学照明部件采用若干个LED灯以中心对称方式排列在光学成像部件的周围而构成。

所述LED灯采取斜射照明方式，所有的LED灯照射方向在点样点所在平面上汇聚成一点。

LED灯的发光颜色要按照色度学中的补色律，根据点样点的颜色来定，越能够将点样点从背景中突现出来就越好。

所述LED灯的数目最少两个，最多不限，只要镜头周围空间可以排列得下就行。

所述光学成像部件采用输出数字信号的数字相机，该数字相机由滤光片、6～25mm焦距的镜头、镜头接圈、CCD摄像头芯片部分组成；滤光片安装在镜头的前端，其工作波长由点样点的颜色波长来决定的，目的是仅让点样点颜色波长附近的光通过，一定程度上滤除杂色光、背景光、外界光的干扰作用；所述镜头通过镜头接圈与CCD摄像头芯片部分连接，镜头主要将点样点以清晰地成像到CCD摄像头芯片部分的成像面上，镜头焦距的选择跟物距、接圈的调节范围及放大倍数都有一定的耦合关系；镜头接圈主要是方便连续调节像距；CCD摄像头芯片部分主要完成光电转换，将相应的点样点图像以模拟信号表示。

所述图像噪声去除部件为一视频干扰隔离器，该视频干扰隔离器通过串联方式接入光学成像部件与图像采集设备之间的视频传输线中，目的是去除视频信号通过电缆传输后常常出现的图像翻滚、扭曲、抖动及干扰条纹等故障；所述视频干扰隔离器为有源视频干扰隔离器或无源视频干扰隔离器，从滤除噪声的效果来说，有源的视频干扰隔离器滤除噪声的效果好于无源的视频干扰隔离器，但有源的视频干扰隔离器要额外提供工作电源。本发明的视频干扰隔离器优选为有源视频干扰隔离器。

所述图像采集设备为一图像采集卡，该图像采集卡通过PCI插槽安装在工控机上，并通过视频数据线与视频干扰隔离器、数字相机串联起来，所述图像采集卡由工控机触发采集视频数据，并完成信号的模数转换过程。

本发明的图像采集模块采集图像的过程是采用点样点间隙拍摄的方法，点样过程是连续、高速进行的，即点样头在x-y平台上快速移动，到达指定位置后，作短暂的停顿时段T1(毫秒)，然后依靠压电原理点样耗时T2(毫秒)，然后再作短暂的等待时段T3(毫秒)后采集图像拍摄设备所拍摄图像，并对采集的图像进行存储并输入图像预处理模块、图像分割模块、图像模式分析模块自动分析；接着，开始启动，奔往下一个指定点，到达指定位置后，继续重复以上的“停顿——点样——等待——拍摄——启动”过程。

所述等待时段T3是指点样点样品已经在点样基质上展开并稳定下来的时间；该等待时段T3的长短可以通过试验确定。为了实时分析点样情况，图像采集模块由工控机在等待时段T3之后触发。

由于生物样品的颜色都比较浅，和基质背景的区分不明显，本发明的图像预处理模块通过增强算法加大目标和背景的灰度等级差，以进一步降低椒盐噪声和高斯噪声，增强图像的对比度。

由于图像采集模块采集的图像视野范围较大，里面包含了很多点样点以及其它无关信息，本发明的图像分割模块采用定位和分割的方法，对图像进行定位和分割，以缩小图像分析范围，只对含有当前的点样点的小范围图像进行分析，而忽略其它点样点、点样头。

本发明的图像分割模块主要是对定位后的小范围图像进行分析，通过自适应阈值算法将图像二值化，即将点样点以黑色表示，点样基质背景以白色表示。

所述的自适应阈值算法为双峰法、大津法取阈值、熵法取阈值、矩法取阈值、最小误差法或鲁棒性很强的自适应分割算法中的一种或它们的组合。由于点样空间的限制，很难构建一个封闭的光学条件非常好环境，为了避免日光灯及其它外界干扰，所以本发明的图像分割模块必须采取鲁棒性很强的自适应分割算法将图像采集模块所采集的图像进行图像二值化处理获取以黑色表示点样点的二值化图像。

本发明的图像模式分析模块对图像分割模块分割后以黑色表示点样点的二值化图像进行分析，用黑色区域象素的个数和来代表点样点面积，从而反映点样点大小；用黑色象素区域的型心代表点样点位置，从而反映点样阵列的整齐程度；根据黑色区域的形状，计算其形状参数，从而反映点样点的外观圆度质量。

本发明的结果输出控制模块根据图像模式分析模块计算出点样点的质量参数以后，可以根据用户的设置决定是否实时显示计算结果，是否提示点样异常情况，是否中断点样过程，是否进行补点进行等；同时，在一轮点样结束之后，可以给出详细的统计结果，如点样点面积的平均值、中值、众值、CV值、标准差等统计参数，并且以文本格式或者excel表格形式保存统计结果，以供备档。

作为本发明第二方面的基于机器视觉的生物芯片点样过程实时检测系统的分析方法，其在使用机器视觉系统之前，要对整个图像拍摄设备的光学系统进行调节，使得目标点样点在图像中清晰；然后采用ROI预选方法对图像拍摄设备预先设置ROI区域，将自动搜索目标点样点限制在这个ROI区域中，这样可以大大提高图像处理速度；其图像处理设备采用自适应的阈值确定方法来自动确定图像的阈值，把目标点样点从图像背景中以二值化的方式提取出来，并采用面积、形状因子来反映点样点的外观质量，采用型心坐标来反映点样阵列的整齐程度。

所述自适应阈值算法为双峰法、大津法取阈值、熵法取阈值、矩法取阈值、最小误差方法或鲁棒性很强的自适应分割算法中的一种或它们的组合。优选为鲁棒性很强的自适应分割算法。

每次图像拍摄设备位置若有变动，都要首先重新确定ROI区域。

本发明设定ROI区域的方法可以是手动，也可以用数据输入。

由于采用了上述技术方案，本发明具有的有益效果：

1、本发明的图像拍摄设备采用合理的光源，可以使得点样点从背景中突现出来。

2、本发明采用视频干扰隔离器并配合高效的增强算法，使得图像噪声大大降低并增强了对比度。

3、本发明的图像分割模块采用定位和分割的方法，将目标区域有效地缩小，大大减小了图像运算的工作量。

4、本发明的图像分割模块通过自适应阈值算法将图像二值化，即将点样点以黑色表示，点样基质背景以白色表示，有效地克服了图像光照的变化和周围环境的影响。

5、本发明图像的模式分析设计了一种能反映芯片质量的几何参数指标，并且给出量化的计算结果，实时性和精确性都是人工无法做到的。

6、结果输出控制模块本发明可以代替人工的现场值守，同时解决了大量数据统计的烦杂性和耗时问题。

本发明使检测过程与点样同步进行，检测速度可达每秒钟5个，可以给出量化的检测结果，克服了人工检测的易疲劳、主观性较强、结果模糊的缺点。本发明实现了生物芯片点样点质量检测的自动化和智能化，使得检测过程更加客观、准确、实时和高速。

附图说明

以下结合附图和具体实施方式来进一步说明本发明。

图1基于机器视觉的生物芯片点样过程实时检测系统配置在生物芯片点样设备上的结构示意图。

图2为本发明基于机器视觉的生物芯片点样过程实时检测系统的原理框图。

图3为数字相机的安装结构示意图。

图4为两个正常点样点的图片。

图5为与正常点相比面积相差10％的点样点图片。

图6为与正常点相比面积相差20％的点样点图片。

图7为与正常点相比面积相差30％的点样点图片。

具体实施方式

为了使本发明的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。

参见图1，图1是基于机器视觉的生物芯片点样过程实时检测系统配置在生物芯片点样设备上的结构示意图。该生物芯片点样设备上的结构示意图为现有设备，其包括一基台20，在基台20的底面设置有调节脚21，通过调节调节脚21可以调节基台20的水平。

在基台20上安装有点样平台8，点样平台8上可以用来放置生物芯片22。在点样平台8上安装有被伺服电机驱动的X向运动部件1，被伺服电机驱动的X向运动部件1由伺服电机带动丝杆驱动，该伺服电机与丝杆固定在点样平台8的下部，控制被伺服电机驱动的X向运动部件1在点样平台8的平面上进行X向，即点样平台8的长度方向运动。

在X向运动部件1上安装有被伺服电机驱动的Y向运动部件3，被伺服电机驱动的Y向运动部件3，由伺服电机带动丝杆驱动，该伺服电机与丝杆固定在被伺服电机驱动的X向运动部件1的横梁上，控制被伺服电机驱动的Y向运动部件3在点样平台8的平面进行Y向，即点样平台8的宽度方向运动。

在被伺服电机驱动的Y向运动部件3上安装有被伺服电机驱动的z向运动部件2。被伺服电机驱动的Z向运动部件2，也是由伺服电机带动丝杆驱动，该电机与丝杆固定在被伺服电机驱动的Y向运动部件3的横梁上，控制被伺服电机驱动的Z向运动部件2在点样平台8的垂直于平面进行Z向，即点样平台8的高度方向运动。

这样被伺服电机驱动的X向运动部件1、被伺服电机驱动的Z向运动部件2和被伺服电机驱动的Y向运动部件3三个运动部件就可以完成3个方向自由度的运动，点样头(图中未示出)通过针架13安装在z向运动部件3上，这样点样针就可以移动到(行程范围内的)点样平面上任意位置和任意高度。

X向运动部件1、Y向运动部件3和z向运动部件2的伺服电机与工控机6控制连接，工控机6上装有点样设备的应用软件，该应用软件完成对应点样工艺流程的各个动作的控制，如三轴的位置控制、针头清洗、吸样、点样、延时等等。通过工控机6即可控制X向运动部件1、Y向运动部件3和z向运动部件2实现X轴方向、Y轴方向以及Z轴方向的三维运动，实现生物芯片22的点样。

参见图2，本具体实施方式的基于机器视觉的生物芯片点样过程实时检测系统包括图像拍摄设备100、图像采集设备200和图像处理设备300，图像拍摄设备100跟随点样设备的点样头进行同步三维运动并对点样区域进行拍摄以获取点样区域图像，图像采集设备200与图像拍摄设备100信号连接，对图像拍摄设备100拍摄的图像进行采集并完成图像的数模转换；图像处理设备300与图像采集设备200信号连接，对图像采集设备200所采集的点样区域图像进行处理、分析，并输出处理结果。

图像采集设备200和图像处理设备300安装在点样设备的工控机6中，其中图像采集设备200为一图像采集卡5，图像采集卡5可以采取微视的V200采集卡。该图像采集卡5通过PCI插槽安装在工控机6上，而图像处理设备可采用软件的形式嵌在工控机6原有的应用软件中，所嵌入的软件能够实现图像采集设备200的初始化以及对图像采集设备200的软件触发，按照功能来区分，所嵌入的软件可以将图像处理设备300分为图像采集模块310、图像预处理模块320、图像分割模块330、图像模式分析模块340、结果输出控制模块350。

图像拍摄设备100通过一图像拍摄设备安装支架安装在点样设备的点样头上，该图像拍摄设备100包括光学照明部件100和光学成像部件120以及壳体部分，其中光学照明部件110对点样区域进行照明，以增强点样区域的目标点和背景对比度；光学成像部件120对点样区域进行拍摄，以获取点样区域图像。

参见图3，光学成像部件120可以采用输出数字信号的数字相机9，该数字相机9具体结构包括组合在一起的摄像头盒子前盖16和摄像头盒子后盖15(构成数字相机9的壳体部分)以及安装在摄像头盒子前盖16中心位置的CCD摄像头芯片部分18，CCD摄像头芯片部分18可以采取sony的彩色1/3”的CCD摄像头，PAL制式，12V供电；CCD摄像头主要完成光电转换，将相应的点样点图像以模拟信号表示。CCD芯片部分18中间设置镜头接圈19，镜头接圈19的末端嵌入镜头20，镜头20可以为焦距16mm的标准针孔镜头。镜头20主要将点样点以清晰地成像到CCD摄像头芯片部分18的成像面上，镜头接圈19主要是方便连续调节像距。镜头20焦距的选择跟物距、镜头接圈19的调节范围及放大倍数都有一定的耦合关系。

滤光片(图中未示出)安装在镜头20的前端，其工作波长由点样点的颜色波长来决定的，目的是仅让点样点颜色波长附近的光通过，一定程度上滤除杂色光、背景光、外界光的干扰。

光学照明部件120由两个LED照明灯17构成，两个LED照明灯17安装在摄像头盒子前盖16上，并在镜头20为中心在镜头20周围以对称方式排列，两个LED照明灯17采取同向斜射照明方式，其照射方向要保证能够在点样点所在平面上汇聚在一点，两个LED照明灯17的发光颜色要按照色度学中的补色律，根据点样点的颜色来定，越能够将点样点从背景中突现出来就越好。

壳体部分的摄像头盒子背盖15与摄像头盒子前盖16的一侧凸出，内嵌摄像头的Y向调整杆10，摄像头的Y向调整杆10是调整数字相机9位置的部件，摄像头的Y向调整杆10通过紧固螺丝14轴设于摄像头支架前端臂11的一端上，而摄像头支架前端臂11另一端又通过紧固螺丝14轴设于摄像头支架12的一端上，而摄像头支架12得另一端通过紧固螺丝14轴设于点样头的一根支撑杆2A上。这样只要松开几个紧固螺丝14，通过调整摄像头的Y向调整杆10、摄像头支架前端臂11、摄像头支架12的位置就可以实现数字相机9的俯仰调节、平移调节、高低调节多自由度的调整，调整好数字相机9的位置后，拧紧几个紧固螺丝14是实现数字相机位置的固定。上述内嵌摄像头的Y向调整杆10、摄像头支架前端臂11和摄像头支架12构成图像拍摄设备安装支架。

上述图像采集设备200，也就是图像采集卡5通过视频数据线23与数字相机9中的CCD摄像头芯片部分18连接起来，图像采集卡5由工控机6触发采集CCD摄像头芯片部分18所拍摄的图像，并完成所拍摄图像信号的模数转换过程。在CCD摄像头芯片部分18与图像采集卡5之间可以串入一视频干扰隔离器4，该视频干扰隔离器4为图2中所示的图像噪声去除部件400，以去除因为静电、接地不良、电机磁场引起的图像斑点噪声和横纹噪声。视频干扰隔离器4为有源视频干扰隔离器或无源视频干扰隔离器，从滤除噪声的效果来说，有源的视频干扰隔离器滤除噪声的效果好于无源的视频干扰隔离器，但有源的视频干扰隔离器要额外提供工作电源。本实施方式中的视频干扰隔离器4为有源视频干扰隔离器。

图像处理设备300中的图像采集模块310与图像噪声去除部件400连接，对图像拍摄设备100中光学成像部件120拍摄的图像进行点样过程同步采集，并完成数据转移到内存。图像采集模块310采集图像的过程是采用点样点间隙拍摄的方法，点样头按预设的点阵分布在点样平台8的平面上做位置移动。数字相机9随着点样头的运动而运动。点样过程是连续、高速进行的，即点样头在x-y平台上快速移动，到达指定位置后，作短暂的停顿时段T1(90-100毫秒)，然后依靠压电原理点样耗时T2(25-40毫秒)，然后再作短暂的等待时段T3(90-100毫秒)后采集图像拍摄设备100所拍摄图像，并对采集的图像进行存储并输入图像预处理模块320、图像分割模块330、图像模式分析模块340自动分析；接着，开始启动，奔往下一个指定点，到达指定位置后，继续重复以上的“停顿——点样——等待——拍摄——启动”过程。

等待时段T3是指点样点样品已经在点样基质上展开并稳定下来的时间；该等待时段T3的长短可以通过试验确定。为了实时分析点样情况，图像采集模块由工控机在等待时段T3之后触发。

由于生物样品的颜色都比较浅，和基质背景的区分不明显，图像预处理模块320通过增强算法对噪声进行信号处理，以加大目标和背景的灰度等级差，以进一步降低椒盐噪声和高斯噪声，增强图像的对比度。增强算法的目的是采用技术手段，将图像转换成更适合于机器分析识别的形式，以便从图像中获取所要的信息。增强算法与目标物的特性和处理目的有关，因此，不存在通用的增强算法。本专利结合生物芯片的具体情况，先用中值滤波或者高斯滤波方法去噪，然后用灰度变换方法增强图像的对比度。

由于图像采集模块310采集的图像视野范围较大，里面包含了很多点样点以及其它无关信息，图像分割模块330采用定位和分割的方法对图像进行定位和分割，其中定位方法将目标区域有效地缩小，大大减小了图像运算的工作量，使图像分割模块330只对含有当前的点样点的小范围图像进行分析，而忽略其它点样点、点样头。分割方法是通过自适应阈值算法将图像二值化，这里将点样点以黑色表示，点样基质背景以白色表示。其中自适应阈值算法为双峰法、大津法、熵法、矩法、最小误差方法或鲁棒性很强的自适应分割算法中的一种或它们的组合。为了保证分割结果的稳定行、可靠行，可以采取了同时用这几种方法求解各自阈值，然后以这5个阈值的中值作为最佳阈值。这样分割方法非常稳定。

但是由于点样空间的限制，很难构建一个封闭的光学条件非常好环境，为了避免日光灯及其它外界干扰，所以本发明的图像分割模块必须采取鲁棒性很强的自适应分割算法将图像采集模块所采集的图像进行图像二值化处理获取以黑色表示点样点的二值化图像。

图像模式分析模块340对图像分割模块330分割后以黑色表示点样点的二值化图像进行分析，用黑色区域象素的个数和来代表点样点面积，从而反映点样点大小；用黑色象素区域的型心代表点样点位置，从而反映点样阵列的整齐程度；根据黑色区域的形状，计算其形状参数，从而反映点样点的外观圆度质量。

结果输出控制模块350在计算出点样点的质量参数以后，采用液晶显示器7，用以显示程序的人机界面以及数字相机9的所见视场。结果输出控制模块350可以根据用户的设置决定是否实时显示计算结果，是否提示点样异常情况，是否中断点样过程，是否进行补点进行等。同时，在一轮点样结束之后，该模块可以给出详细的统计结果，如点样点面积的平均值、中值、众值、CV值、标准差等统计参数，并且以文本格式或者excel表格形式保存统计结果，以供备档。

基于机器视觉的生物芯片点样过程实时检测系统的分析方法，其在使用机器视觉系统之前，要对整个图像拍摄设备的光学系统进行调节，使得目标点样点在图像中清晰；然后采用ROI预选方法对图像拍摄设备预先设置ROI区域，将自动搜索目标点样点限制在这个ROI区域中，这样可以大大提高图像处理速度；要注意到是，每次摄像头位置若有变动，都要首先重新确定ROI区域。设定ROI区域的方法可以是手动，也可以用数据输入。其图像处理设备采用自适应的阈值确定方法来自动确定图像的阈值，把目标点样点从图像背景中以二值化的方式提取出来，并采用面积、形状因子来反映点样点的外观质量，采用型心坐标来反映点样阵列的整齐程度。

本具体实施方式的一个试验实例如下：

试验条件：双通道点样，点样点样液成分为某蛋白抗体和甲基紫混和液；

试验前：调好并固定好视觉系统(调节光学系统，使得目标点样点在图像中清晰；设置好ROI区域)，确定好点子参数参考值为：大小305象素、0通道点子象素坐标位置为(141，556)、1通道点子象素坐标位置为(150，146)；

警报设置：对点子大小误差超过15％的点进行报警，阵列位置超过3象素报警；

点样数据分析结果：

a)点子大小分析：

(点子面积参考值：305象素)，参见表1。

表1点子大小分析

以下为系统自动记录的一些点样点图片的情况：

两个正常点样点的图片，如图4所示；

与正常点相比面积相差10％的点样点图片，如图5所示：

与正常点相比面积相差20％的点样点图片，如图6所示；

与正常点相比面积相差30％的点样点图片，如图7所示。

b)0通道点子位置分析(阵列整齐分析)：

点子型心位置参考值：

Y轴方向参考象素坐标：551象素；

X轴方向参考象素坐标：146象素；

Y轴方向位置偏差统计情况，参见表2。

X轴方向位置偏差统计情况，参见表3。

表2Y轴方向位置偏差统计情况

表3X轴方向位置偏差统计情况

c)1通道点子位置分析(阵列整齐分析)：

点子型心位置参考值：

Y轴方向参考象素坐标：146象素；

X轴方向参考象素坐标：150象素；

Y轴方向位置偏差统计情况，参见表4。X轴方向位置偏差统计情况，参见表5。

表4Y轴方向位置偏差统计情况

表5X轴方向位置偏差统计情况

试验中，该系统能实时报警，凡是用肉眼能发现的大小、位置有较大偏差的点，该系统都能报警。有些肉眼不容易发现的差点，该系统也能发现，而且将该报警点的图片、位置、参数信息都记录下来。最后的统计数据在点样完成之后，立刻由程序自动生成，完全避免了人工统计的繁琐和复杂性。

这个试验，证明了该系统的准确性、实时性、高效率性。

由于采用上述技术方案，本发明采用合理的光源，在镜头20的中心周围对称方式排列2个LED照明灯17；两个LED照明灯17采取同向斜射照明方式，其照射方向要保证能够在点样点所在平面上汇聚在一点。LED灯的发光颜色要根据点样点的颜色来定，越能够将点样点从背景中突现出来就越好。滤光片安装在镜头20的前端，其工作波长由点样点的颜色波长来决定的，目的是仅让点样点颜色波长附近的光通过，一定程度上滤除杂色光、背景光、外界光的干扰。

视频干扰隔离器4作为图像噪声去除部件400并配合图像预处理模块320的预处理算法，使得图像噪声大大降低并增强了对比度；去除视频信号通过电缆传输后常常出现的图像翻滚、扭曲、抖动及干扰条纹等故障。

图像分割模块330采用定位和分割的方法，将目标区域有效地缩小，大大减小了图像运算的工作量；图像的自适应阈值算法，有效地克服了图像光照的变化和周围环境的影响。

图像模式分析模块340设计了一种能反映芯片质量的几何参数指标，用黑色区域象素的个数和来代表点样点面积，反映点样点大小；用黑色象素区域的型心代表点样点位置，反映点样阵列的整齐程度；根据黑色区域的形状，计算其形状参数，反映点样点的外观圆度质量。并且给出量化的计算结果，实时性和精确性都是人工无法做到的。

结果输出控制模块350可以代替人工的现场值守，该模块可以给出详细的统计结果，如点样点面积的平均值、中值、众值、CV值、标准差等统计参数，并且以文本格式或者excel表格形式保存统计结果，解决了大量数据统计的烦杂性和耗时问题。

本发明使检测过程与点样同步进行，检测速度可达每秒钟5个，可以给出量化的检测结果，克服了人工检测的易疲劳、主观性较强、结果模糊的缺点。本发明实现了生物芯片点样点质量检测的自动化和智能化，使得检测过程更加客观、准确、实时和高速。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本发明的特定例已经对基于机器视觉的生物芯片质量检测系统进行了详细的描述.本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等同物界定。

Claims (32)

1.一种基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，包括：

一图像拍摄设备，该图像拍摄设备跟随点样设备的点样头进行同步三维运动并对点样区域进行拍摄以获取点样区域图像；

一图像采集设备，该图像采集设备与所述图像拍摄设备信号连接，对图像拍摄设备拍摄的图像进行采集并完成图像的数模转换；

一图像处理设备，该图像处理设备与所述图像采集设备信号连接，对图像采集设备所采集的点样区域图像进行处理、分析，并输出处理结果。

2.根据权利要求1所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述图像采集设备和图像处理设备安装在所述点样设备的工控机中。

3.根据权利要求1所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述图像拍摄设备包括：

一光学照明部件，该光学照明部件对点样区域进行照明，以增强点样区域的目标点和背景对比度；

一光学成像部件，该光学成像部件对点样区域进行拍摄，以获取点样区域图像并进行光电转换成视频信号输入至图像采集设备。

4.根据权利要求3所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述光学照明部件和光学成像部件安装一个壳体内，其中光学照明部件布置于所述光学成像部件的周围；所述壳体通过一图像拍摄设备安装支架安装在点样设备的点样头上。

5.根据权利要求4所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述图像拍摄设备安装支架包括与壳体连接的Y向调整杆、摄像头支架前端臂和摄像头支架，其中Y向调整杆通过紧固螺丝轴设于摄像头支架前端臂的一端上，摄像头支架前端臂另一端又通过紧固螺丝轴设于摄像头支架的一端上，而摄像头支架的另一端通过紧固螺丝轴设于点样头的一根支撑杆上。

6.根据权利要求3所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述光学成像部件能够对目标点样点进行放大拍摄。

7.根据权利要求3所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述光源照明部件采用若干个LED灯以中心对称方式排列在光学成像部件的周围而构成。

8.根据权利要求7所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述LED灯采取斜射照明方式，所有的LED灯照射方向在点样点所在平面上汇聚成一点。

9.根据权利要求7所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，LED灯的发光颜色要按照色度学中的补色律，根据点样点的颜色来定，越能够将点样点从背景中突现出来就越好。

10.根据权利要求7所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述LED灯的数目最少两个。

11.根据权利要求3所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述光学成像部件采用输出数字信号的数字相机。

12.根据权利要求11所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述的数字相机由滤光片、6～25mm焦距的镜头、镜头接圈、CCD摄像头芯片部分组成；滤光片安装在镜头的前端，所述镜头通过镜头接圈与CCD摄像头芯片部分连接。

13.根据权利要求3所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述光学成像部件连接一图像噪声去除部件；所述图像噪声去除部件去除因为静电、接地不良、电机磁场引起的图像斑点噪声和横纹噪声。

14.根据权利要求13所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述图像噪声去除部件为一视频干扰隔离器，该视频干扰隔离器通过串联方式接入光学成像部件与图像采集设备之间的视频传输线中。

15.根据权利要求13所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述视频干扰隔离器为有源视频干扰隔离器。

16.根据权利要求14所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述图像采集设备为一图像采集卡，该图像采集卡通过PCI插槽安装在工控机上，并通过视频数据线与视频干扰隔离器、光学成像部件串联起来，所述图像采集卡由工控机触发采集视频数据，并完成信号的模数转换过程。

17.根据权利要求1所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述图像处理设备设置有：

保证拍摄的图像与点样过程同步，并完成数据转移到内存的过程的图像采集模块；

对噪声进行信号处理到达进一步滤除目的的图像预处理模块；

实时把目标点样点从背景中以二值化的方式提取出来的图像分割模块；

对分割的结果计算其面积参数、位置参数、型心参数的图像模式分析模块；

根据图像分析模块的结果来提示并对异常点样点报警，并对整个点样过程给出统计结果的结果输出控制模块。

18.根据权利要求17所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述的图像采集模块采集图像的过程是采用点样点间隙拍摄的方法，点样过程是连续、高速进行的，即点样头在x-y平台上快速移动，到达指定位置后，作短暂的停顿时段T1，然后依靠压电原理点样耗时T2，然后再作短暂的等待时段T3后采集图像拍摄设备所拍摄图像，并对采集的图像进行存储并输入图像预处理模块、图像分割模块、图像模式分析模块自动分析；接着，开始启动，奔往下一个指定点，到达指定位置后，继续重复以上的“停顿——点样——等待——拍摄——启动”过程。

19.根据权利要求18所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述等待时段T3是指点样点样品已经在点样基质上展开并稳定下来的时间；该等待时段T3的长短可以通过试验确定。

20.根据权利要求18所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，图像采集模块由工控机在等待时段T3之后触发。

21.根据权利要求17所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述的图像预处理模块通过增强算法加大目标和背景的灰度等级差，以进一步降低椒盐噪声和高斯噪声，增强图像的对比度。

22.根据权利要求18所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述的图像分割模块采用定位和分割的方法，对图像进行定位和分割，以缩小图像分析范围，只对含有当前的点样点的小范围图像进行分析，而忽略其它点样点、点样头。

23.根据权利要求22所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述的图像分割模块是对定位后的小范围图像进行分析，通过自适应阈值算法将图像二值化，即将点样点以黑色表示，点样基质背景以白色表示。

24.根据权利要求23所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述的自适应阈值算法为双峰法、大津法取阈值、熵法取阈值、矩法取阈值、最小误差法或鲁棒性很强的自适应分割算法中的一种或它们的组合。

25.根据权利要求23所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述的自适应阈值算法为鲁棒性很强的自适应分割算法。

26.根据权利要求23所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述的图像模式分析模块对图像分割模块分割后以黑色表示点样点的二值化图像进行分析，用黑色区域象素的个数和来代表点样点面积，从而反映点样点大小；用黑色象素区域的型心代表点样点位置，从而反映点样阵列的整齐程度；根据黑色区域的形状，计算其形状参数，从而反映点样点的外观圆度质量。

27.根据权利要求23所述的基于机器视觉的生物芯片点样过程实时检测系统，其特征在于，所述的结果输出控制模块根据图像模式分析模块计算出点样点的质量参数以后，可以根据用户的设置决定是否实时显示计算结果，是否提示点样异常情况，是否中断点样过程，是否进行补点进行；同时，在一轮点样结束之后，给出详细的统计结果。

28.一种权利要求1所述基于机器视觉的生物芯片点样过程实时检测系统的分析方法，其特征在于，是在使用机器视觉系统之前，要对整个图像拍摄设备的光学系统进行调节，使得目标点样点在图像中清晰；然后采用ROI预选方法对图像拍摄设备预先设置ROI区域，将自动搜索目标点样点限制在这个ROI区域中，这样大大提高图像处理速度；其图像处理设备采用自适应的阈值确定方法来自动确定图像的阈值，把目标点样点从图像背景中以二值化的方式提取出来，并采用面积、形状因子来反映点样点的外观质量，采用型心坐标来反映点样阵列的整齐程度。

29.根据权利要求28的分析方法，其特征在于，所述自适应阈值算法为双峰法、大津法取阈值、熵法取阈值、矩法取阈值、最小误差方法或鲁棒性很强的自适应分割算法中的一种或它们的组合。

30.根据权利要求28的分析方法，其特征在于，所述自适应阈值算法为鲁棒性很强的自适应分割算法。

31.根据权利要求28的分析方法，其特征在于，每次图像拍摄设备位置若有变动，都要首先重新确定ROI区域。

32.根据权利要求28的分析方法，其特征在于，设定ROI区域的方法是手动或用数据输入。

Images