CN1663697A

CN1663697A - 一种水果外观质量在线检测技术的视觉数据处理系统

Info

Publication number: CN1663697A
Application number: CN 200510038530
Authority: CN
Inventors: 赵杰文; 邹小波; 黄星奕; 蔡健荣
Original assignee: Jiangsu University
Current assignee: Jiangsu University
Priority date: 2005-03-23
Filing date: 2005-03-23
Publication date: 2005-09-07
Anticipated expiration: 2025-03-23
Also published as: CN1296148C

Abstract

本发明涉及一种实时在线检测和分级的机器视觉检测系统的软件实现方法，其由高质量动态图像获取、图像在外触发控制下的动态交换和图像处理三个经图像视觉数据信号依次连接而成的模块组成。其中所述的高质量动态图像的获取包括利用摄像头实时拍摄的原始图像采集模块、对采集的彩色编码进行解码Bayer转换模块和对数据进行线形处理的Gamma校正模块；所述的图像在外触发控制下的动态交换通过摄像头拍摄、图像处理模块和缓冲区中删除操作，实现系统对触发接口进行的不间断探测；所述的图像处理模块包括视野内通过背景分割、单体分割实行的图像快速分割、序列图像的有序存储等图像处理模块。其通过对视觉系统的视觉智能识别，综合判断每一水果的等级，并确定每个水果的位置信息，为水果外观质量在线检测提供判断依据。

Description

一种水果外观质量在线检测技术的视觉数据处理系统

所属技术领域

本发明涉及一种实时在线检测和分级的机器视觉检测系统的软件实现方法，特指一种水果外观质量在线检测技术的视觉数据处理系统。

背景技术

近年来，利用机器视觉技术进行水果的分级得到广泛的研究，相关美国专利有，Yang Tao等人的美国专利“Method and apparatus for sorting objects by color(通过颜色对物品进行分级的方法和装置)申请号：5339963”，用一个彩色摄像头对输送链上的物品进行快速检测与分级，主要用HIS颜色系统中的色度(H)进行分类计算。Yang Tao等人的美国专利“Methodand apparatus for sorting objects by color including stable color tansformation(用颜色对物品进行分级的方法和装置包括一种静态图像的转换方法)申请号：5533628”，描述了一种基于单个摄像头的水果分级系统。国内，有应义斌等人在他们所申请的多个相关中国专利(申请号：02136377.3，02266031.3，02160193.3 02295073.7，02295073.7)中也描述了一种基于单个摄像头的水果分级系统；专利申请号：200410065216.2中通过选用高速的数字信号摄像头解决以往模拟信号摄像头下图像由于运动而产生的模糊与多噪声问题，同时利用三个摄像系统同时在线拍摄，可以检测到水果全表面图像和检测水果缺陷等单个摄像系统无法完成的工作。这些系统由水果输送翻转系统、计算机视觉识别系统、分级系统组成。水果在输送装置上以一定速度向前输送，并使水果绕水平轴自由转动，摄像头摄取水果表面的图像信息。通过计算机视觉系统的视觉智能识别，综合判断每一水果的等级，并确定每个水果的位置信息，由计算机识别系统的控制模块将指令传输给分级系统，完成水果的分级。

但是在计算机视觉系统中通过图像采集卡如何获取高质量图像、如何使图像在外触发控制下动态交换、如何快速有效的进行初步分割以及如何使序列图像进行有序处理与存储等几个必经步骤的软件实现上未见报道。

发明内容

本发明提供一种水果外观质量在线检测技术的视觉数据处理系统系统，其可针对现有的一种基于三个摄像系统在线水果品质检测分级的装置与方法，中国专利申请号：200410065216.2，在高速的水果检测线上，用软件实现外触发控制获取高速数字摄像头中的图像和对序列图像进行快速分割、有序处理与存储。

本发明的技术方案如下：

本发明由高质量动态图像获取、图像在外触发控制下的动态交换和图像处理三个经图像视觉数据信号依次连接而成的模块组成。

所述的高质量动态图像的获取包括原始图像采集、Bayer转换和Gamma校正等功能模块，原始图像是通过Matrox meteorII系列板卡和Uniq-uc610摄像头对待检测的在线水果进行实时拍摄得到的，采集到的原始图像是10位的单色图像。Bayer转换就是根据原始单色图像自身的彩色编码进行解码的一个过程。Gamma校正的方法就是通过一次非线性拉伸从而使帧缓冲区的值与最终的显示亮度成线性关系。取出每个象素的RGB值，选用校正Gamma＝0.45(0.45＝1/2.2)进行调整，即R′＝255(R/255)^0.45 G′＝255(G/255)^0.45B′＝255(B/255)^0.45然后把R′G′B′分别赋给原来的R、G、B值即可得到较好的效果。

所述的图像在外触发控制下的动态交换是指实现如下功能：

(1)当整个检测线的软件系统开始运行的时候，摄像头拍摄、图像处理模块和缓冲区中删除操作就进入一个无限等待状态，也即系统对触发接口进行的不间断探测。

(2)水果随着生产线的移动，在某一个位置产生一个触发信号A，信号A被系统捕捉到且同时通知摄像头进行拍摄动作。

(3)摄像头拍摄结束马上又处于准备状态，等待系统发过来的下一个拍摄信号。

(4)拍摄到的图像随后进入一个缓冲区，并给图像处理模块发送消息B。

(5)图像处理模块不断的探测缓冲区，判断缓冲区发送消息B是否有效。如果有效，就开始真正意义上的图像处理操作，图像处理完后发送消息C。

(6)缓冲区中删除操作判断消息B和消息C，当两者同时有效时进行删除操作，删除操作完成后重新回到(1)。

所述的图像处理模块包括视野内图像的快速分割、序列图像的有序存储等图像处理模块。

所述的视野内图像的快速分割包括背景分割、单体分割等功能，即除了要把对象物从背景中分离出来外，还需把三个水果各自分开(即单体分割)，并且为了减少后续的处理时间还要把它们限定在最小的范围之内。

所述的背景分割采用能适合在线操作，针对水果图像的特殊性，提出一种陷阱法分割背景。所述的陷阱法是通过如下操作实现的：把黑色背景上的水果图像当作陷阱，水果上的果梗果萼或缺陷自然就是陷阱中的小岛。扫描图像的某一行时记录进入陷阱的位置和爬出陷进的位置，把两位置之外作为背景。当遇上小岛也会有相应的进出位置，可以通过设定标记把小岛忽略。

所述的单体分割即实现把视野图像中的多幅水果图像分开，且把单个水果图像限定在它的外接矩形中。单体分割是通过跳格法实现的，跳格法是通过如下方法进行的：

(1)在整个图像区域内从最左端开始进行单步扫描，直到碰到水果象素，从而得到最左边的点。

(2)中途扫描方法是刚碰到水果象素就跳出此次循环，然后进行下一纵行扫描。

(3)直到有一纵行没有扫描到水果象素为止，此时程序判断顺序纵向扫描结束。

(4)最后一列扫描线并不对应水果最右边的点，所以还需进行一轮逆序纵向单步回扫找到水果象素，扫描结束。

(5)得到子图像上下两点的横向扫描原理与此类似。

(6)以这4个点为基础，作苹果外接矩形。

所述的序列图像的有序存储是通过定义一个3*3*4的三维动态数组R[3][3][4]，该数组的第一维表示三个子图像(也即单个水果的图像)，第二维表示某单个水果的三个不同角度的图像，第三维表示某个角度下大小、形状、颜色、缺陷四个特征值。数组的第一维下标与触发次数的关系

n＝(I-1)％3其中I为触发次数。

第二维下标0对应某一苹果第一幅图像，1对应某一苹果第二幅图像，2对应某一苹果第三幅图像。

将该动态数组的元素不断进入清空，但最后运用ADO技术把动态数组清空前一刻的值写进了数据库。

本发明通过以上的技术方案，获得的如下效果：通过应用Bayer转换技术，Gamma校正技术对摄像头输出的质量较差的单色图像进行一系列变换，得到了比较满意的图像，基本解决了图像原始信号获取的问题，为其后对该图像需要进行的一系列处理过程打下了基础。跳格法分割子图像，不但把背景完全去除而且最大限度的保留了水果原有的特征(如果梗、果萼、缺陷等)，同时速度非常快，为整个程序处理节省了不少时间。图像的缓冲处理与多线程技术旨在提高系统运行效率。序列图像的算法为在线检测的后续机械操作奠定了基础，所有运算结果还实时的存入了数据库，为对比检验提供了依据。

附图说明

图1各功能模块之间的连接关系示意图；

图2UC-610的色彩编码图

图3图像在外触发控制下的动态交换流程图；

图4跳格法单体分割中的纵向横向扫描示意图；

图5序列图像演示；

具体实施方式

下面结合附图对本发明三个功能模块作进一步描述：

如图1所示，三个功能模块由图像视觉数据信号依次连接而成。

1.高质量动态图像的获取模块：该模块包括原始图像采集、Bayer转换和Gamma校正等功能模块，原始图像是通过Matrox meteorII板卡和Uniq-uc610摄像头对待检测的在线水果进行实时拍摄得到的，采集到的原始图像是10位的单色图像，其编码如图2所示；Bayer转换该象素的其他彩色分量就可以通过周边象素获得。即如果源象素是G值，则目标象素的R、B值由源象素的2邻域的平均值求得；如果源象素是R或者是B，那么目标象素的其余两个颜色值则通过源象素的4邻域的平均值求得。通过该方法转换后的图像颜色真实度很高。Gamma校正的方法就是通过一次非线性拉伸从而使帧缓冲区的值与最终的显示亮度成线性关系。取出每个象素的RGB值，选用校正Gamma＝0.45(0.45＝1/2.2)进行调整，即R′＝255(R/255)^0.45 G′＝255(G/255)^0.45 B′＝255(B/255)^0.45然后把R′G′B′分别赋给原来的R、G、B值即可得到较好的效果。

2.图像在外触发控制下的动态交换模块：

采用的触发装置是光电耦合传感器，有发射端和接收端。当系统开始运行的时候，触发就进入一个无限等待状态，也即系统对触发接口进行的不间断探测。水果随着生产线的移动，切断了发射端与接收端的光连通，因为系统设置成从高电平到低电平的过程为有效，所以从连通到阻断就产生一个触发信号，这个信号被系统捕捉到且同时通知摄像头进行拍摄动作。摄像头拍摄结束马上又处于准备状态，等待系统发过来的下一个拍摄信号，如此周而复始。拍摄到的图像随后进入一个缓冲区，等待图像处理模块的操作。图像处理模块在系统开始运行的时候也已经启动，也进入了一个无限等待状态，然后不断的探测缓冲区，判断缓冲区是否有有效的信息。如果找到有效信息，就开始真正意义上的图像处理操作。因为缓冲区的容量有限，所以处理结束的图像需要从缓冲区中删除。删除操作也要进入一个无限等待状态，在缓冲区中有信息的时候进入，而等待的是图像处理模块在操作结束后发送过来的完成信号。该过程的程序流程图如图3。

3.所述的图像处理模块包括视野内图像的快速分割、序列图像的有序存储等图像处理模块。

(1)视野内图像的快速分割模块：

用陷阱法把对象物从背景中分离出来外，通过跳格扫描法把三个水果各自分开(即单体分割)，且把单个水果图像限定在它的外接矩形中。其中陷阱法为：把黑色背景上的水果图像当作陷阱，水果上的果梗果萼或缺陷自然就是陷阱中的小岛，扫描图像的某一行时记录进入陷阱的位置和爬出陷进的位置，把两位置之外作为背景，当遇上小岛也会有相应的进出位置，可以通过设定标记把小岛忽略。用陷阱法分割出背景后的图像，不但把背景完全去除而且最大限度的保留了水果原有的特征(如果梗、果萼、缺陷等)。跳格扫描法如图4所示，首先在整个图像区域内从最左端开始进行单步扫描，直到碰到水果象素，从而得到最左边的点。为减少扫描时间，在水果象素上进行跳格扫描。中途也并不是像图4所示必须扫描一整个纵行再跳格，而是刚碰到水果象素就跳出此次循环，然后进行下一纵行扫描。如此下去必将有一纵行没有扫描到水果象素，此时程序判断顺序纵向扫描结束。最后一列扫描线并不对应水果最右边的点，所以还需进行一轮逆序纵向扫描。最后一列扫描线与水果最右边的点相距不远，不适宜再做跳格扫描，而是进行单步回扫，找到水果象素，扫描结束。得到子图像上下两点的横向扫描原理与此类似。

(2)序列图像的有序存储模块：

专利(申请号：200410065216.2)为了拍摄到水果整个表面的图像，用了三个摄像头，从不同的角度去拍摄。水果一边做直线运动一边进行自转，目的也是尽量多的暴露自身信息。这样视野中有三个水果在轮换，一个水果有三幅图像，每幅图像都有四个参数，所以必将序列图像的有序存储。为此定义了三个子图像，分别存储分割后的1、2、3号图像(见图5)。定义一个3*3*4的三维动态数组，该数组的第一维表示三个子图像(也即单个水果的图像)，第二维表示某单个水果的三个不同角度的图像，第三维表示某个角度下大小、形状、颜色、缺陷四个特征值。

序列图像的规律：(为简化起见，只取数组的前两维，即：R[3][3])

其中“I”表示触发信号量，触发一次累加一次。

I＝1 R[0][0](第一个的第一幅)

I＝2 R[1][0](第二个的第一幅)R[0][1](第一个的第二幅)

I＝3 R[2][0](第三个的第一幅)R[1][1](第二个的第二幅)R[0][2](第一个的第三幅)

I＝4 R[0][0](第四个的第一幅)R[2][1](第三个的第二幅)R[1][2](第二个的第三幅)

I＝5 R[1][0](第五个的第一幅)R[0][1](第四个的第二幅)R[2][2](第三个的第三幅)

I＝6 R[2][0](第六个的第一幅)R[1][1](第五个的第二幅)R[0][2](第四个的第三幅)

I＝7 R[0][0](第七个的第一幅)R[2][1](第六个的第二幅)R[1][2](第五个的第三幅)

I＝8 ... ... ...

由上面分析可以得到三个结论：

1)在三幅子图像中，左边一幅永远表示某个水果的第一幅图像，中间一幅永远表示某个水果的第二幅图像，右边一幅永远表示某个水果的第三幅图像，这是一个不变的原则，而变化的是水果在不断的进出。

2)当第三个水果进入视野时(即触发信号I＝3)，数组元素的安排与第六个水果进入视野时即触发信号I＝6)完全一样，所以每经过三次触发，数组元素的安排开始循环，于是取变量X＝I％3，从I＝1开始，X分别等于1、2、0；1、2、0；1、2、0...

3)I＝1与I＝2是特例，需要分开考虑。又因为前面的X＝1、2、0；1、2、0...，不符合从小到大的顺序，所以重新让X＝(I-1)％3，这样，X＝0、1、2；0、1、2...

Claims

1.一种水果外观质量在线检测技术的视觉数据处理系统，其特征在于由高质量动态图像获取、图像在外触发控制下的动态交换和图像处理三个经图像视觉数据信号依次连接而成的模块组成；其中所述的高质量动态图像的获取包括利用摄像头实时拍摄的原始图像采集模块、对采集的彩色编码进行解码Bayer转换模块和对数据进行线形处理的Gamma校正模块；所述的图像在外触发控制下的动态交换通过摄像头拍摄、图像处理模块和缓冲区中删除操作，实现系统对触发接口进行的不间断探测；所述的图像处理模块包括视野内通过背景分割、单体分割实行的图像快速分割、序列图像的有序存储等图像处理模块。

2.根据权利要求1所述的一种水果外观质量在线检测技术的视觉数据处理系统，其特征在于高质量动态图像获取模块中原始图像是通过Matrox meteorII系列板卡和Uniq-uc610摄像头对待检测的在线水果进行实时拍摄得到的，Bayer转换就是根据原始单色图像自身的彩色编码进行解码的一个过程。Gamma校正的方法就是通过一次非线性拉伸从而使帧缓冲区的值与最终的显示亮度成线性关系。

3.根据权利要求1所述的一种水果外观质量在线检测技术的视觉数据处理系统，其特征在于所述的图像在外触发控制下的动态交换过程如下：

(1)当整个检测线的软件系统开始运行的时候，摄像头拍摄、图像处理模块和缓冲区中删除操作就进入一个无限等待状态，也即系统对触发接口进行的不间断探测；

(2)水果随着生产线的移动，在某一个位置产生一个触发信号A，信号A被系统捕捉到且同时通知摄像头进行拍摄动作；

(3)摄像头拍摄结束马上又处于准备状态，等待系统发过来的下一个拍摄信号；

(4)拍摄到的图像随后进入一个缓冲区，并给图像处理模块发送消息B；

(5)图像处理模块不断的探测缓冲区，判断缓冲区发送消息B是否有效。如果有效，就开始真正意义上的图像处理操作，图像处理完后发送消息C；

(6)缓冲区中删除操作判断消息B和消息C，当两者同时有效时进行删除操作，删除操作完成后重新回到第一步。

4.根据权利要求1所述的一种水果外观质量在线检测技术的视觉数据处理系统，其特征在于所述的背景分割为陷阱法分割背景，其具体为：把黑色背景上的水果图像当作陷阱，水果上的果梗果萼或缺陷自然就是陷阱中的小岛；扫描图像的某一行时记录进入陷阱的位置和爬出陷进的位置，把两位置之外作为背景；当遇上小岛也会有相应的进出位置，可以通过设定标记把小岛忽略。

5.根据权利要求1所述的一种水果外观质量在线检测技术的视觉数据处理系统，其特征在于所述的单体分割通过跳格法实现的，具体为：

(1)在整个图像区域内从最左端开始进行单步扫描，直到碰到水果象素，从而得到最左边的点；

(2)中途扫描方法是刚碰到水果象素就跳出此次循环，然后进行下一纵行扫描；

(3)直到有一纵行没有扫描到水果象素为止，此时程序判断顺序纵向扫描结束；

(4)最后一列扫描线并不对应水果最右边的点，所以还需进行一轮逆序纵向单步回扫找到水果象素，扫描结束；

(5)得到子图像上下两点的横向扫描原理与此类似；

(6)以这4个点为基础，作苹果外接矩形。

6.根据权利要求1所述的一种水果外观质量在线检测技术的视觉数据处理系统，其特征在于所述的序列图像的有序存储是通过定义一个3*3*4的三维动态数组R[3][3][4]，该数组的第一维表示三个子图像，第二维表示某单个水果的三个不同角度的图像，第三维表示某个角度下大小、形状、颜色、缺陷四个特征值；将该动态数组的元素不断进入清空，但最后运用ADO技术把动态数组清空前一刻的值写进了数据库。