CN1142205A - 检测半透明物体表面特征的方法和装置 - Google Patents

Abstract

拍摄半透明物体例如带果皮的柑桔类水果的表面形貌特征以根据其表面特征进行分类。在柑桔类水果的情形，果皮的粗糙性或粒度、鼓包和凹坑、隆脊和低谷、割伤、扎伤、擦伤和裂口、纯腐烂或酸性腐烂都可通过象素扫描的数字分析来鉴定和根据果皮的表面质量分出等级。通过将拍摄的水果图像与背景图像分开并去掉背景图像而将水果分类。对整个物体图像作统计分析，以判断是否有可以当作缺陷或适于作分类评定基础的任何表面特征变化。如果有，则物体图像要受到高频或低通滤波以及象素光强的门限值处理以得出一个净化图像。然后将净化图像列入表格或编为连接锐跃迁或平缓跃迁的邻域以将特定的区域定为斑痕。将斑痕与给定的最小面积、形状要求和/或宽度相比较就可被鉴定为一个被找的表面缺陷。

Description

检测半透明物体表面特征的方法和装置

本发明涉及用于对物体表面特征和完整性进行形貌分析并根据这种表面分析将这些物体分出等级的方法和装置，尤其涉及一种用于对水果特别是柑桔类水果的表面进行光学分析，使得能够根据已选定的表面特性标准将水果分等(类)的方法和装置。

用于根据假想的光线透光度自动评价柑桔类水果然后根据这种评价在传送带系统中有选择性地分开水果的装置和方法已由康韦(Conway)在转让给本发明的同一受让人的美国专利3,930,994(1976)-“用于内部检验制品分出等级的方法和机构”中叙述过了。

康韦的目的是判断水果果肉冻伤的范围。为做到这一点，他将传送带上的水果定位在一对高强度光源(例如石英碘钨灯泡、x射线发生器或激光器)和一对放置得骑跨水果核心的检测器之间。检测器就是光电倍增管，其对准的开口接收透过水果的(即在水果中未被吸收或散射的)光线。检测器输出的信号耦合到一个由定时传感器控制的内部分析计算机，以将两个检测器的瞬时输出相比较，从而测得(假定从两个读数的预选差)水果的内部损伤范围，然后根据例如记录的损伤范围将水果分开来。

考虑到水果的表皮部分具有与果肉部分不同的光学吸收和散射特性，康韦认为当检测器的读数对应于从水果的果皮部分检测的光线时由检测器得到的信号是需要消除的误差信号(参见第6栏，32-43行)。为避免从柑桔类水果的表皮得到任何读数，康韦使用两个定时传感器，仅在一个检测器停止接收在水果内部散射并从果皮部分投射的光线和开始接收透过水果的果肉部分的光线之后开始果肉部分的损伤测定，并且随着水果在入射光束和透射光检测器之间顺着传送带向下行进，在检测器再次接收到在果皮内部散射的光线之前结束测定。

但是，通过上述光学机构一致可靠地检测柑桔类水果果内部分的光学特性已被证明是一个极为困难的任务。大多数频率的光线并不像透过晶体球之类的透明物体那样简单地透过水果。相反，光线要受到水果吸收并在水果里面散射。因而，不能可靠地鉴定小的组织结构，只有大面积冻伤才能通过使用x射线(水果对它更透明些)检测水果内部可靠一致地检测出来，如在美国专利3,768,645中所一般叙述的那样。

另外，虽然检测和除去带有损伤的果肉部分的水果具有重大的价值，但另一方面，甚至更大价值的分等功能则是根据水果表面结构特征或水果表皮或果皮的完整性将水果分成若干类的能力。例如，一箱果皮完好无损的桔子在市场上常比一箱显示出各种表皮疵点与组织结构特征和/或缺陷的桔子卖得更高的价钱，尽管两者的果肉部分都受欢迎并且甚至在某些水果的内部可能轻微损伤的情形也是如此。

可用鸡蛋做一个类比，通过这一类比，如像前面用康韦的参考文献举例说明的现有技术和灯光照鸡蛋的过程相似-即从高强度入射光线的对面观察鸡蛋来检查蛋内的血点或其他缺陷。最重要的是鸡蛋的里面即蛋黄和蛋白而非蛋壳。通过类比，康韦试图检查水果的内部而不是果皮或外表面。相反，本发明关心的不是被分类和分等级的物体里面的内容，而是物体外层“覆盖物”的形象外貌和完整性。

当柑桔类水果或其他物体的外表面特征由质量控制操作员用肉眼判断或人工评定时，这种人工分等的费用和可靠性因素在许多情形下会变得无法接受。而且，由于眼睛持久暴露在产生足够的散射光线让果皮放光到足以使果皮深层可见所需的高光强下所固的的健康风险，人工操作不能看见紧靠外表面的水果里层。并且人不能看见比可见光具有优越的深度穿透水果果皮的红外光。

因而，所需要的是一个用于光学检查本质上半透明或透明物体外表面或表面部位，判断表面结构特征和表面部位的完整性，进而根据这种判断作出筛选决定的智能化全自动机构。

本发明是一种用于将本质上为半透明的物体分出等级的方法和装置。水果，尤其是柑桔类水果可以根据本发明分出等级。正如下文所要进一步讨论的，许多其他型式的物体，只要这些物体对于所选特定频率的光线本质上是半透明或透明的，都可以由此而分出等级。为方便起见，本文中常常要专门提到水果(尤其是提到柑桔类水果)。尽管所有这类物体不用说都是包括在内的。

水果分出等级，系根据其表面部位特征进行的。此方法包括照射每一个水果使得光线在其中散射并透过其表面部位。在水果的情形(本发明的优选实施例主要就涉及水果)，要如此照射每个水果，使得在水果中散射的光线引起水果发光。透射到表面部位之外的这一发光被检测出来，从而得到整个发光图案的图像。

已经发现，在将本发明付诸实施的过程中，外表面上或靠近外表面处的缺陷显得比前面忽略表面缺陷的康韦所找出的内部缺陷要清楚得多。因而，每一幅这样的瞬时图像都构成一个对应于水果表面或靠近表面处的特征的数据矩阵。每个检得的图像转换成用于分析判断是否存在要找的表面特征的数据。这一点可通过将该数据与所选定的标准相比较来达到，由此，基于所观测到的表面特征数据，根据分析所得数据鉴定那些落在被排选的类别之内，可将水果进行分类。然后，分类后的水果可根据上述类别所选定义分出等级。这就使得有可能根据其表面部位特征将水果自动分类并分出等级。

图像中的数据必须处理得能够用图案识别水果的表面特征。在上述数据处理之前，要将不是通过物体表面特征散射的光线的扫描数据除去。表面特征的统计学测度被用来判断每个水果的大体整个表面上的表面特征的充分变化是否大到足以表示一个表面缺陷。

处理该数据一般还包括借助相对一个预定的频率阈的频率对数据滤波来选择由表面特征扫描的数据。在某些上述情形，数据滤波仅通过高频数据分量。在另一些上述情形，数据滤波仅通过数据的低频分量。

扫描水果发光图像一般用来收集必要的数据，如果这样的话，其步骤通常包括沿横切物体的一个预定的直线扫描水果。也有设想可以沿多条横切线扫描水果。每次扫描可以定位得与物体成同一个或另一个横切角度。

本方法还可包括光学形成一个水果图象，该图像同时包含其表面特征的全部或一个主要部分。在水果为一般的球形的场合，例如在许多种柑桔类水果的情形，形成图像包括形成一个分开的大体各为半球形的图像。

在所说明的实施例中，对水果摄像是通过将被照水果的图像(即从中放出的辉光)反射到一个背向被照水果的摄像器上来完成，以避免直接发射的光进入摄像器。这一点也可以简单地通过使摄像器与入射水果的照射光线的方向相对成一个角度做到。但是，应当指出，因为被摄像器检测的光线的大部分都已经在水果里面散射，才产生出一个最后的辉光投射穿过其表面部位的关系，本发明的方法甚至在摄像器直接面向入射光线的场合也能使用。而在本实施例的情形，尤其是当光线由LED(发光二极管)或激光光源构成时，与之耦合的水果检测和定时机构能用来防止直接检测光线即没有插进水果时可能造成的对摄像器的损害。

一般来说，本方法根据水果的表面形貌特征对水果分类。对于具有相对原果皮的柑桔类水果，这种分类可以包括根据孔隙率、鼓包和凹坑、隆脊和低谷、挫伤、腐烂以及其他挑选因素对其果皮进行分类。

扫描包括扫描一个二维阵列来提供水果表面形貌特征的一个二维图形图像。照射水果包括通过所选用的光发生机构投射出所选择的频率或频率组合的光来照射水果。

数据的处理还包括将所扫描的图像分离成一个背景和一个物体图像，并从所扫描的图像中去掉背景而基本留下物体图像。

根据果皮孔隙率对柑桔类水果分类包括用高通数据滤波器从所扫描的图像滤出高频数据。设置所滤图像的象素光强的一个门限值。将具有光强高于门限值的象素数字列入表格以鉴定果皮的孔隙率。

通过果皮外表面上的鼓包和凹坑对柑桔类水果进行分类包括使用低通/平滑数据滤波器由图像滤出低频数据。为所滤图像设备一个象素光强门限值。将具有光强高于门限值的象素的数字和分布列入表格以鉴定果皮外表面上的鼓包和凹坑。

根据果皮中的V形隆脊和凹谷或挫伤分类包括有选择地扫描图像以得出象素光强中的跃迁。设置象素光强和跃迁率的一个门限值。将连接对应于光强跃迁的象素边界的邻域中具有高于所设置的门限值光强的象素的数字列入表格。这些领域就定为斑痕。将超过一预定特性参数的斑痕数字列入表格，以鉴定果皮中的V形隆脊和凹谷。特性参数是斑痕的一个预定最小面积，并且将斑痕的数字列入表格以鉴定果皮中的V形隆脊和凹谷包括将超过预定的最小面积斑痕数字列入表格。或者说，特性参数可以是一定形状的并且因而将斑痕的数字列入表鉴定V形隆脊和凹谷包括将具有遵守预定形状定义的形状的斑痕数字列入表格。同样地，根据光强中的狭窄的锐中断鉴定挫伤。

通过表面腐烂分类包括扫描柑桔类水果的图像得出象素光强中比较平缓的跃迁。设置一个预定的门限值。将连接具有平缓跃迁的象素边界的邻域中具有光强在预定门限值之上的象素数字列入表格。邻域就定为斑痕。将超过一个给定的特性参数的斑痕数字列入表格以鉴定表面腐烂。

预定的门限值、形状、面积、宽度和特性参数，作为前述各分等方法中的适用数字，可以有选择地规定为柑桔类水果的尺寸(可根据已知的方法检测和自动输入)的一个函数。

本发明也可以表征为一种用于根据物体表面部位的特征，将本质上半透明的(例如柑桔类水果)或者本质上对所选一个光频率(或一些频率)透明的物体分出等级的装置。这种装置包括一个检验站和至少一个分等站。一条传送带将物体通过检验站并移向分等站。分等站的分等机构根据对物体表面特征的分类通过有选择地分流传送带上的物体而将物体分成等级。计算机化的光学摄像器在检验站生成物体的一个图形图像，并根据表面特征的至少一种形貌特性评价物体的表面特征。从而将物体分类并根据表面特征分出等级。

在一个将柑桔类水果分等的实施例中，计算机化的光学摄像器包括检验站的两个独立的照射/扫描光源和摄像器组合。在该实施例中，计算机化的光学摄像器可以包括两个棱镜聚焦的卤钨灯光源，布置得与通过检验站的垂直平面近似成120度，用来照射水果，并且相应于每个光源有一个摄像器用于扫描水果，摄像器与任一光源都不在一直线上。在本实施例中，摄像器背对水果，并且计算机化的光学摄像器还包括多个用于将在水果内生成并透射出果皮的发光图像反射到摄像器的反光镜。

更一般地说，本发明包括一种用于根据至少用一个光源照向物体构成的散射光强图案对物体进行分类的装置。一个传感元件将在物体里面散射并透射出其表面的光线转换成数字数据。一台数据整理计算机根据分析数字数据得出的物体表面形貌特征对物体进行分类。结果，物体被用光学方法分类，以备将它们分出等级。

现在，借助下面的附图(其中同样的元件用同样的数字标出)可使本发明更具体化。

图1是根据本发明使用一台特征模式计算机的分类和分等装置的简化方框图。

图2a是用在图1系统中的光学室的简化概略截面视图。

图2b是用在图1系统中的第二实施例的简化等角平面视图。

图3a是用本发明生成的光滑水果果皮的计算机图像，而图3b则是沿着选定的扫描线扫出的水果表面的相应直方图。

图4a是用本发明生成的带有酸性腐烂的水果的计算机图像，而图4bj也是沿着选定的图4a的水果的扫描线扫出的直方图。

图5a用本发明生成的示出纯腐烂水果的计算机图像，而图5b则是沿着选定的图5a的水果的扫描线扫出的直方图。

图6a是具有如本发明所判断的颗粒果皮的水果的计算机图像，而图6b则是沿着所选的扫描押线扫出的图6a的水果的表面形貌特征的直方图。

图7a是呈现如像本发明检测到的软鼓包和凹坑的水果的计算机图像，而图7b则是沿着选定的扫描线扫出的图7a的水果表面形貌特征的直方图。

图8a是带有如像本发明判断的隆脊和低谷缺陷的水果的计算机图像，而图8b则是沿着图8a的水果的选定的扫描线扫出的直方图。

图9a果皮中具有根据本发明判断的裂口或割伤的水果的计算机图像，而图9b则是沿着选定的扫描线扫出的图9a的水果的特征的直方图。

图10a是带有如像根据本发明判断的纯鼓包和凹坑的水果的计算机图像，而图10b则是沿着图10a的水果的所选扫描线扫出的直方图。

现在，可以借助以下的详细叙述来理解本发明及其各种不同的实施例。

在这个时候，阐明某些在上文中可能已经用到以及在下文中可能会用到的专门术语，相信是重要的。

因此，“透射光”是本质上以光束的形式穿过介质的光，它通过介质的结果可能有也可能没有“发散”。也可设想，这个专用名词的内涵就是入射光线的剩余部分，它在入射光束中存在的一些光强被散射或吸收之后，继续“前行”穿过介质。

为了本论述的目的，“散射”光是已经从入射光束的方向散开的光。基本上就是这个散射光造成了半透明物体中的辉光。

“吸收”光的意思是入射光束中既不透过介质也不在介质里面散射，但其能量则由介质代替保持的光。

本文中引用了“半透明”物体一词。这些引用词指的是一些物体，其中入射光束的选定频率或频谱的光可以有一部分被吸收以及一部分发散，不过从中至少有一些发散光由于穿出物体的表面部位而能够从外部检测出来。典型的例子有水果(例如南瓜、香瓜或柑桔类水果)、石蜡、某些陶瓷、某些塑料与复合材料(用可铸性树脂复合的纤维材料)，这里所选定的频率一般可以是可见光谱、近红外线，或者也许是别的频率。

“透明”物体指的是允许一个选定频率或多个频率的入射光以光束的形式(可以发散)大体自由透射的物体，其透射光在物体中基本不被吸收和散射。一个典型的例子是普通的窗户玻璃，其中的频率为可见光谱和某些别的频率。

至少其一部分表面部位是半透明或者吸收光线的透明物体，为了解释本文的说明书、权利要求书以及摘要的目的，被认为是透明物体，这是因为某些散射或吸收光线可能会出现在这样的物体中，至少会出现在它的表面部位，这就使得有可能应用本发明的方法的装置。这样一种物体的一个例子可以是塑料球，其内部-空气-对可见光是透明的，而表面部位-塑料-对可见光则是半透明的。另一个例子可以是一张在表面带有缺陷例如划痕、凹凸不平或疵点的玻璃。这类缺陷会散射和/或吸收一些透过玻璃的光线。这就使得能够根据本发明的理论将玻璃分类和分出等级。

因而，一般说来，比较熟悉本发明适合的技术的那些人员将会理解到，有许多类型的物体可以根据这些理论分类和分出等级。就我们的目的来说，一切这类物体都被认为包括在专用名词“半透明”之内，并由此最后明确。

因而，文中提到物体均可理解为包括属于前述定义的任何物体，包括但并不局限于柑桔类水果。同样地，文中提及的水果或柑桔类水果均可理解为是指可以根据本发明的方法和装置进行分类和分等级的一切物体。

物体的“表面部位”是指在其外周边的物体部位，它可以有相当的厚度(例如柑桔类水果的果皮)，并且还包括这类物体的上表面。由此，“表面”和“表面部位”在本质上是同义的。实际上，一个水果的缺陷是仅存于外表面还是在表面“以里”，只要其证据能用肉眼在外表面上检查得出来，在水果的市场价值上不会产生多少实际差别。

专用名词“鼓包”、“凹坑”、“纯腐烂”、“酸性腐烂”、“颗粒状表面”、和其他形貌特征以及与本文使用的有关果皮完整性的特征在柑桔产业中是众所周知的，仅作为可以检测的特征的例子给出，并且可以根据本发明用它对水果(或其他物体)进行分类。

对物体的表面形貌特征，尤其是象带果皮的柑桔类水果这样的球形物体的表面形貌特征扫描和计算处理，使得有可能根据其表面特征对物体分等级。在柑桔类水果的情形，果皮的粗糙度或表面粒度、鼓包和凹坑、隆脊和低谷、割伤、刺伤、擦伤和裂口、纯腐烂和酸性腐烂被用来通过象素扫描的数字分析进行光学鉴定并根据果皮表面部位的质量分出等级。

通过将所拍摄的物体图像分离为背景图像和物体本身的图像将物体分类。然后去掉背景图像。然后对作为包括两个半球的一个整体物体的图像进行统计学计算处理，以判断是否有任何表面特征的变化可以看作一个缺陷或者是可作出分类评判的一个适当基础。如果有，则物体图像要受到高频或低通滤波以及象素光强的门限值处理以导出一个净化的图像，然后将净化图像列成表格或者编进连接锐跃迁或平缓跃迁的邻域以鉴定定义为斑痕的特定面积，当将斑痕与一个选定的最小面积、形状要求和/或宽度比较时，可被鉴定为一个前面所述的表面缺陷。

图1是一个分类和分等级装置的方框图，它将特征计算机与本发明的方法结合起来。分类和分等级装置-本文中有时称为“系统”并用标号10一般表示-包括一个常规的传送带12，多个物体14在带上传送。正如上面所指出的，所示实施例中的物体14可以是水果，或者说尤其是柑桔类水果、或者是任何型式的本质上半透明或透明的物体。任何这类物体，尤其是具有表面形貌特征的任何上述球形物体都可通过系统10同等处理。

传送带12将水果14输送到一个光学室16，水果14在光学室16里的检验站18受到照射。传送带12输送并将水果定位，控制水果的姿态以供摄像。传送带设计得能在检验站18提供水果14的最大曝光。所示的实施例中的传送带系统12包括旋转水果14的驱动轴。在所示实施例中，水果14随着移动通过摄像站18而反向旋转，目的是至少部分地补偿其顺着传送带12向前的移动。换句话说，水果如此旋转，使得在持续时间的曝光期间，同一个表面趋向于保持面对摄像器30，以提供完整可靠的成像条件。当然，这一点也可通过从所周知的技术进行时间同步。

光学室16也许在图2a的简化横截面视图中被描述得更清楚些，图2示出传送带12将水果14载入光学室16中的检验站18，在检验站18用一对高强度光源22和24照射水果14。光源22和24从下方聚焦到水果14上，并且还可配备常规光源协助提供水果14表面的最佳照明。

另一方面，高强度光源22和24可以代之以两根或多根光纤，或者侧照水果14，或者放置得成一个较低的倾角向上伸出照射尽可能小的水果外表面。

作为另一个替代方案，光源24和24可以是激光光束或者是由LED形成的光束。此外，可以使用单一的光源，并且可用光学方法分成两个光源22和24或更多。总之，不言而喻，这些光源22和24或者单一的光源都提供将在水果内部散射的入射光，使得水果发光。而且，正如前面所提出的，根据被检验的物体的光学特性选择光的频率或者频谱，以在物体内产生所要求的散射以及最终投射出穿越水果表面的那种辉光。对柑桔类水果来说，普通的可见光谱就足够了。

对于某些应用，可能会要求特定的入射光波长或频谱，以使一种所要求的光学效应能增强监测的那种型式的物体中的特殊型式的缺陷。面对特殊型式的物体和缺陷，留给比较熟练的专业人员去决定入射光的正确频率或频谱。

检验站18按要求适当遮护，或者提供无反差的黑色不反射表面以避免虚假图像，或者在要求增加对水果的入射光强时包括进反射面。在任何情况下，在图2a所示的实施例中，水果内部散射并穿过果皮投射的辉光均从下部的镜面26a和26b反射到上部的镜面28a和28b。正如图2a中所进一步示出的那样，一个CCD矩阵或摄像器30得到其靠上反射镜28a和28b聚焦的光，拍摄出一个单一的计算机图像，实际上就是水果14的一个半球的整个外表面，如图3a-10a所示。

如图2b所示，实际上有两个摄像器30a和30b。每个摄像器拍摄两个半球之一的图像。例如，正如在图2b所看到的，水果14的第一半球图像被在下方的镜面27a反射到左上镜面29a，随后再到第一摄像器30a。该第一半球的图像也通左下方的镜面27b反射到右上方的镜面29b进入第一摄像器30a。

于是，当水果继续顺传送带行进并经过同步旋转露出其另一个半球之后，水果14的那个第二半球的图像被右下方的镜面27c反射到左上方的镜面29c，并由左下方的镜面27d反射到右上方的镜面29d，两者合成的图像被反射到另一摄像器30b中。

如图1所示，摄像器30耦合到一个特征模式计算机34。特征模式计算机34是一台个人计算机，耦合到运行必要的传送带功能与分等级功能的远程主计算机和一台为用户提供输入和输出访问系统10的输入/输出计算机38。水果14的特征分析在特征模式计算机34里进行。根据用户指令，通过输入/输出计算机38向远程主计算机36的输入将随着特征模式计算机34发出的命令在多个分等级站40执行分等级操作，分等级站可包括驱动排放阀门(水果14就靠它动作)的电磁线圈，水果14通过阀门被从传送带12排放到适当的分等储放器或二级传送带。这种排放已由拉瓦尔斯(Lavars)等人在美国专利号5,174,429(1992)-“传送带卸料装置和方法”中叙述过了。

于是，通过观察图1就可明白，系统10的特征模块由三个子系统构成，包括灯光和光学系统(包括光学室16、摄像器30与镜面26a和26b以及28a和28b构成的成像系统)以及在特征模式计算机里的图像处理。

中央输入/输出计算机38和远程主计算机36都是普通的基本上与现有技术分类和分等级装置中使用的是同一样的计算机。为此，对系统10的这些部分，除了提供背景支持叙述特征模式计算机34的工作之外，将不进一步作任何详细的叙述。中央输入/输出计算机38提供系统控制包括控制各种用户接口、选择输入和输出各种分类参数，在比图1所示简单的直线图更复杂的阵列中传送带12配备有多条传输通道的场合决定系统10中的传送带路径。

灯光系统使用两只卤钨投射灯泡22和24，放在水果14两侧且位于水果的中心线以下。系统10的设计要求既不限制使用任何特殊型式的灯泡或照射系统，也不限制灯泡数量。唯一的要求就是灯泡(一只或多只)发射适当频率或频谱的光线入射到水果上，透射过水果14的果皮产生一个发光效应，能够被摄像器检测出来。换句话说，只要光线的定位、强度和频率/频谱使得有光线穿透水果14的果皮或表皮并在其中散射，提供一个穿过果皮的发光效应。

摄像器上没有特别的滤光器，并且用电子学方法控制成像的曝光时间。电子控制曝光时间能补偿由于水果尺寸和果皮厚度的不同而造成的发光强度的差别。这一补偿可在运行开始阶段确定，并且可通过输入/输出控制器38自动或人工输入适当的校正数据。

自动控制可以通过使用一只光敏二极管44安装在每个摄像器30上借助于一个频率发生器(未示出)产生一个依赖于每个光敏二极管检测到的光总量的输出频率来实现。通过使用受光敏二极管44控制的频率发生器的输出频率，就控制了摄像器30中CCD芯片上的曝光时间。

不仅有大量的方法可以使水果14受到照射，而且有大量的方法可以用于拍摄水果14的计算机图像，既可使用一架摄像器也可使用多架摄像器以及各种不同的光学系统和配置。现在只限于所示的光学系统、照射系统或成像系统并不意味着限制本发明范围。相反，特意考虑了许多其他的变例和手段都可等效地用于得到本发明所要求的结果。在优选的实施例中，所要的一切就是提供每个水果14的一个大体完整的计算机图像，使得下面讨论的特征特性不致忽略水果表面的任何重要部分。实际上，对于某些应用来说，使用单个摄像器和简化的光这系统，仅用一个半球的图像就可能足够了。

特征模式计算机34执行图像并将分类信息送到系统的其他部分，用于按照众所周知的方式进行最后的排料选择。实施图像处理的实际方法或运运算并不苛刻，可以根据特征模式计算机34中所用的处理器的能力和容量及其控制软件广泛变化。在所示实施例中，特征模式计算机34使用得克萨斯仪器公司制造的TMS 320 C40型微处理器，借助使用通用图像处理开发包产生的运算来提供图像处理。该图像处理开发包系由马里兰州的亚美利尼克期(Amerinex)人工智能公司使用商标KB的版本销售。

叙述过系统10的基本硬件之后，我们现在一般地研究一下如何处理所拍摄的图像来提供表面形貌特征分等。在所示实施例中，处理的第一步是排除诸如来自光源22和24的反射光强度(它不构成来自水果14里面的散射光并射出果皮的辉光)之类的无用信息。转到图3a的例子，绘出了光滑水果果皮的实际计算机图像的明亮部分46。水果14的两个图像示于大体上绘出了水果两个半球的景像的图3a。于是，图形图像的部位46，由于其显然较高强度的电平，可作为不载有有关表面形貌特征信息的图形信息信号区去除掉。

下一步，整个扫描水果表面以提供构成图像的整个象素图案的最大、最小以及标准的光强离差，提供指示图像中是否存在可能构成要求进一步检查的表面缺陷(例如鼓包和凹坑、割伤、扎伤或腐烂)的光强变化。

柑桔类水果的鼓包是果皮稍稍脱离下面果肉因而稍稍鼓起或膨胀的区域。凹坑则相反，其果皮表面的一部分较邻近区域凹陷进去。

如果没有检测出缺陷，则图形图像受到例如表示水果表面粒度的高频数据检查。然后，由水果14得出的数据可反馈回到远程主计算机36用于按照用户标准分类的目的。

在一个例子中，水果表面球形统计分析表明存在果皮缺陷，缺陷的类型则可通过应用一系列的数据滤波器鉴定。高通数据滤波器可用于查找割伤和扎伤。带斑痕分析、描迹和大光强面积纵横比的低通滤波器对于鉴定鼓包和凹坑以及识别腐烂是很有用的。本文中斑痕被定义为具有一类表面形貌特征的果皮的邻接区域。

分离出鼓包和凹坑数据之后，显示超出标准离差数值的峰值光强的一系列检查可用来鉴定一类缺陷(例如鼓包和凹坑)的缺陷程度。做完这一切处理之后，随即将整个水果的尺寸与受损面积相比较以产生出受损表面的缺陷的百分比数值。其他的缺陷，例如腐烂和表皮破裂可以不计算百分比，不过不管水果受损面积的百分比率如何，都构成立即剔出该水果的一个原因。

这一处理的效果如何，现在可通过观察图3a-10a、比较其取自选定的扫描线上的象素光强直方图(如在相应的图3b-10b中分别所示)更好地评价。我们首先转到图3a，其中绘出了光滑桔子表皮的计算机图像，示出由反射图象提供给摄像器的两个图像。正如前面所讨论的，来自照射源的明亮区46由于不含有关果皮状况特性的信息而消除掉了。

然后，统计整个图形图像的信息，得出最大、最小以及标准离差来表示图像象素的光强变化。在这一情形，统计离差表示水果光滑并且完全在合格范围之内。此刻，进一步的统计分析成为不必要，并且水果位置被示踪在系统10里，并顺着选定路线的传送带12被载到适当分等级储放器42或二级传送带，或者用于根据附加的方法和标准进行分析和分类。

为了说明的目的，典型的扫描线48横切图3a中二个半球图像的一部分。然后，扫描线光强被绘成图3b的直方图，其中光强系对垂直轴作图并沿顺着水平轴的扫描线布置，使端50对应于图3b直方图的左端，扫描线48的端52对应于图3b直方图的右端。目视检查图3b的直方图表明象素光强的变化维持在距平均值相当有限的离差数值范围之内，提供一个完全不同于在图4b-10b中所绘直方图(其中示出各种不同的水果缺陷)的图案。借助常规的统计方法。图3b-10b的直方图可用有意义的统计参数来表征，通过那些分成各个类别的参数来可靠地鉴定水果14的表面形貌特征。

此外，虽然图3a中在水果14的一个半球图像上绘出了一根扫描线，但不用说，完全可以使用在不同方向和位置横切每个半球图像的多根扫描线48，来求得水果14的表面形貌特征的平均统计定义。

图4a示出一个受到称作酸性腐烂的表面腐烂(在表面形貌特征上可看得出来)损害的水果14的计算机图像。仍然是，明亮照射区46由于没有关系而从图像中除去。作全面的统计分析指出，在表面形貌特征当中存在有足够的象素变化，要求对表皮损伤作进一步的数据处理。因此，用一根典型的扫描线48横切水果14的一个半球图像，其相应的光强直方图(画在图4b中)示出从图4a中扫描线的下底(即图4b的直方图的左端)在图4a中扫描线48的上顶52(即图4b中直方图的右端)的光强变化。

比较图3b和4b的象素光强直方图，立刻显出一个清楚明确的图案特性差别。最大值和最小值之间存在一个更宽的变化，对平均值的离差比图3b中大得多。对图像进行处理以鉴定象素光强中的平稳跃迁区。自动地(基于统计测度)或者由用户通过中央输入/输出计算机38设置一个预定的门限值。将在连接带平稳跃迁的象素边界的邻域中具有高于预定门限值的充强的各象素的数字列入表格。这些邻域就定义为斑痕。然后将超过用于鉴定表面缺陷的给定特性参数的斑痕数字列入表格。如果这一数字超过给定的果皮面积的最大百分数，水果就被打上标记并被分以便剔除。

直方图的图案形状的识别也可借助常规的曲线符合技术在特征模式计算机34中进行。酸性腐烂直方图的特征在于巨大的中央尖峰急刀剧跌向台肩。需要的话可以采用多根扫描线48通过水果14的两个半球图像。然后对检验位置18上具有这一形状的直方图的水果可以打上酸腐烂损伤的标记，由传送带12运载并适当分等放进一个收集储放器42或者在远程主计算机36的控制下进到二级传送带上，远程主计算机则根据中央输入/输出计算机的命令按照特征模式计算机34的特征模式特征给出的参数集合动作。

同样地，图5a是水果14的两个半球的计算机图像，水果的特征在于纯腐烂表皮损伤。相应的直方图示于图5b，其特征在于巨大尖峰急速跌向扫描线上纯腐烂以外其他地方的平均象素光强。而且，这一图像与图3b和4b的图像截然不同，可通过常规的图案识别清楚地识别出来，因而水果在系统10中打上标记并分出等级。对于纯腐烂图像的处理类似于上面对酸性腐烂所叙述的处理。

图6a是具有高孔隙率或颗粒表面的水果14(在某些市场上可能会被消费者认为不大完美)的计算机图像。相应的直方图示于图6b，它说明高象素光强的散射变化，其结果如像是林立的细宽度高烟囱被深谷隔开。图6b的直方图与图3b-5b的图案截然不同，通过统计和图案识别，可对它做出鉴定并在系统10中将水果14适当分类并分出等级。尤其是，用一个高通数据滤波器将扫描图像滤波并留下高频数据。为所述滤波图像的象素光强设置一个门限值，并将具有高出这一门限的光强的象素数字列入表格以评估果皮的孔隙率。

图7a示出水果14的计算机图像，其表面特征在于表面损伤是所谓的软鼓包和凹坑，或者说其特征在于果皮形貌中的小山包和低谷。相应的直方图示于图7b(如像顺着图7a的典型扫描线48所看到的)。直方图形状与图3b-6b截然不同，其特征在于多个高峰，一些带有中间宽度的高峰被中间深度的低谷隔开。而且，图7b的直方图可以用统计学方法统计和图案识别使得有可能将带有软鼓包和凹坑缺陷的水果14打上标记，从而允许选择分等放入适当的收集储放器42或系统10的二级传送带。尤其是，使用低通滤波器或者任何平滑并软化象素数据光强的数据处理运算由图像滤出低频数据。为已滤得的图像设置一个象素光强门限值，将具有高于那个门限值的象素数字列入表中，以鉴定果皮中的小山包和低谷。

图8a示出水果14的两个半球的图形图像，其表皮受到所谓隆脊和低谷缺陷的损害。这些都是生长期间在果皮外表面上形成的纵向低谷和隆脊。相应的直方图示于8b，仍然是与图3b-7b的直方图截然不同的图案，其特征在于又宽又高的尖峰之间带有深谷，对应于形成在果皮中的隆脊和低谷。水果根据统计和图案识别被相应分类并被系统10分出等级。尤其是，图像被有选择地扫描以得出象素光强的锐跃迁。设置象素光强的一个门限值。将在连接相应于锐跃迁的象素边界的邻域中具有高出所设门限值的光强的象素数字列入表格。邻域被定为斑痕。然后将超过有于鉴定果皮中V形隆脊和凹谷的预定特性参数的斑痕数字列入表格。而且，如在图3a-10a的所有情形一样，对斑痕的绝对数字或斑痕中总果皮面积所占百分数提供一个判决标准，用来决定水果合格、剔出或作其他处理。

图9a对一个呈现“挫伤”(一般定义包括裂口、割伤、扎伤和擦伤)的水果示出水果14的图像。相应的直方图示于图9b，其特征在于很大很宽的尖峰带有又深又宽的邻接低谷，直方图经目验、统计分析，图案与图3a-8a所示的直方图截然不同，使得有可能将水果14分类并在系统10中适当地分出等级。尤其，图像被扫描得出象素光强锐跃迁。提供一个预定的门限值。将连接带锐跃迁的象素边界的邻域中具有光强在预定门限值之上的象素数字列入表格。邻域被定为斑痕。将超过预定面积的斑痕数字列入表格以鉴定所述果皮中的挫伤。

图10a是水果14的两个半球的计算机图像，其特征于纯鼓包和凹坑型表皮缺陷。相应的直方图示于图10b，提供了与众不同的被深谷隔开的多个带有窄项的中间宽度的高峰图案，其统计和图案与图3b-9b所示的截然不同。因而，带纯鼓包和凹坑的水果14可被选择分类并在系统10中分出等级。图像处理基本上与上述对软鼓包和凹坑所作的一样。

系统10的硬件和图像数据的处理现在都已经叙述了，我们来考虑用以实现数据处理的总体软件结构。系统10的操作，尤是特征模式计算机34的软件控制用图11的软件结构图来说明。图11的软件构造示出了特征模式计算机34用来完成上述操作的主模块。

实时核54提供所述的实施例的操作系统。主特征模块56完成起动任务，管理耦合到特征模式计算机34的各种资源，对付要求特别处理的事件中断，大量提出或指定必须执行的系统任务，在特征模式计算机34里的众多各不相让的软件请求中指定优先权。

主特征模块与多个其他模块或资源并行通信。例如模块56通过并行通信端口58控制并和远程主计算机36数据通信。与中央输入/输出计算机38的通信通过一个局域网模块60操纵。传送带12的移动和同步通过一个皮带同步模块62跟踪，模块62也与远程主计算机36通信以接信有关传送带速度和位置的信息。

摄像器30在模块64的控制下按一个高效图形帧捕捉协议与特征模式计算机34通信，模块64用于起动并监视视频帧捕捉卡的工作，在所示实施例中，该卡是加拿大不列颠哥伦比亚州(British Co1umlia)的频谱信号处理公司制造的SPECTRUM视频卡。

已处理的图形数据通过模块66从视频卡读出，并在数据处理模块68的控制下存到硬盘上归档。已处理的图像数据(例如在图3a-10a中所看到的)通过局域网转移模块70转移到中央输入/输出计算机38作为用户信息。这就使得操作员能够在系统运行时看到与系统10中的特征模块所见一样的处理图像。

外加的辅助性软件任务通过配置模块72管理，模块72建立和监控与计算机36和38以及可能与系统10联用的其他系统的通信。例如系统10的分类和分等级就可能与如像在美国专利5,164,795中所述的柑桔类水果的颜色和损伤分类系统联用，与颜色和损伤分类机的通信就通过使用模块72来建立。模块74提供视频卡的初始化并确认其可操作性。通用模块76则类似地建立和确定局域网控制和操作。

不言而喻，软件系统及其构造可以广泛改变，而仍然完成同样的收集图形数据，将数据处理以表征表面形貌特征的类别或特性，以及将此特性数据提供中央计算机38和远程主计算机36用于根据用户的选择标准适当判断和确定分类路线。

一般熟悉这一技术的那些人员都可作出许多变例和修改，而不需脱离本发明的精神和范围。因而必须明白，上面摆出的说明实施例仅仅是为了举例，不应当作像下面的权利要求书规定的那样限制本发明。

在叙述本发明及其各个实施例的说明书中所使用的单词不仅应从其一般的意义上理解，而且应包含一般意义的范围以外特别定义的结构、材料和行为动作。因而，下面权利要求书的单词或要素的定义不仅是在本说明书中规定的包含逐字提出的要素的组合，而且包括用于以大体同样的方式执行大体同样的功能达到大体同样的结果的一切等效结构、材料和行为动作。

除了所要求的要素的等效含义以外，一般熟悉这一技术的人员现在或以后知道的明显替代词也规定在其定义要素的范围之内。

于是，权利要求书被理解为包括上面特别仔细说明和叙述的，在概念上等效的，显然能够替代的以及还有在本质上体现本发明的基本思想的东西。

Claims (50)

1.一种根据物体至少一种选定的表面特征将半透明物体分类的方法，包括的步骤是：

照射物体使得光线在物体里面散射；

检测透射出物体表面的上述散射光；

将上述所检出的光转换为表示透过表面多个定义区域的每一区的光线的相对光强的数据；

分析上述数据以判断所选表面特征的存在；以及

根据上述判断将物体分类。

2.权利要求1的方法，其中所述分析步骤包括对物体的表面特征执行图案识别的步骤。

3.权利要求1的方法，其中在执行所述图案识别步骤前，还有一个去掉不是来源于由物体内部透出其表面的光的数据。

4.权利要求1的方法，其中所述分析数据的步骤包括导出数据的一个统计测度来判断是否有表明存在表面特征的足够强光变化。

5.权利要求3的方法，其中所述分析数据的步骤包括导出数据的一个统计i度来判断是否有表明存在表面特征的足够光强变化。

6.权利要求5的方法，其中所述转换数据的步骤还包括相对于一个选定的截止频率对数据进行频率滤波的步骤。

7.权利要求6的方法，其中所述频率滤波的步骤包括仅通过高频数据分量。

8.权利要求6的方法，其中所述频率滤波的步骤包括仅通过低频数据分量。

9.权利要求1的方法，其中所述检测步骤还包括光学形成一个从物体透射的散射光的图像的步骤。

10.权利要求9的方法，其中所述检测步骤包括扫描沿着一条横截上述图像的选定的线所形成的图像的步骤。

11.权利要求10的方法，其中所述扫描步骤沿着多条横截图像的扫描线进行。

12.权利要求9的方法，其中所述物体为一般球形，并且光学形成所述图像包括形成所述物体的大体两个半球的图象。

13.权利要求9的方法，其中所述光学形成图像的步骤包括用光学方法将从物体透出的散射光的图像反射到背向物体的摄像器。

14.权利要求1的方法，其中考虑多个表面特性，并且所述分析步骤包括判断在物体上是否存在任何上述表面特性。

15.权利要求14的方法，其中物体是带果皮的柑桔类水果，并且其中所述分析步骤包括判断柑桔类水果果皮中孔隙率的范围。

16.权利要求14的方法，其中物体是带果皮的柑桔类水果，并且其中所述分析步骤包括判断柑桔类水果果皮中鼓包和凹坑的范围。

17.权利要求14的方法，其中物体是带果皮的柑桔类水果，并且其中所述分析步骤包括判断柑桔类水果果皮中隆脊和低谷的范围。

18.权利要求14的方法，其中物体是带果皮的柑桔类水果，并且其中所述分析步骤包括判断柑桔类水果果皮中挫伤的范围。

19.权利要求14的方法，其中物体是带果皮的柑桔类水果，并且其中所述分析步骤包括判断柑桔类水果果皮中表面腐烂的范围。

20.权利要求9的方法，其中所述检测步骤包括扫描一个二维阵列的图像以提供至少一部分物体表面的二维图形图像的步骤。

21.权利要求1的方法，其中照射步骤包括以可见光照射物体。

22.权利要求1的方法，其中照射步骤包括以可见光谱以外的光照射物体。

23.权利要求22的方法，基中光线包括近红外光。

24.权利要求9的方法，其中所述分析步骤包括：

将图像分离为背景图像和物体图像；以及

去掉背景图像，留下物体图像。

25.权利要求24的方法，其中物体是带果皮的水果，并且其中所述分析步骤包括判断所述果皮的孔隙率范围，并且还包括：

扫描物体图像；

使用高通数据滤波器对所扫押的图像滤波以得到高频数据；

设置所滤图像象素光强的一个门限值；以及

将具有高出门限值的光强的象素数定列入表格。

26.权利要求24的方法，其中物体是带果皮的水果，并且其中所述分析步骤包括判断果皮中小山包和低谷的存在，并且还包括：

扫描物体图像；

使用低通/平滑数据滤波器对所扫描的图像滤波以得到低频数据；

设置所滤图像象素光强的一个门限值；以及

将具有高出门限值的光强的象素数字列入表格。

27.权利要求24的方法，其中物体是带果皮的水果，并且其中所述分析步骤包括判断果皮中V形隆脊和凹谷的存在，并且还包括：

有选择地扫描图像以得到象素光强的锐跃迁；

设置象素光强的门限值；

将连接对应于锐跃迁的象素边界的邻域中具有高过门限值的光强的象素数字列入表格，所述邻域定为斑痕；以及

将超过用以鉴定果皮中V形隆脊和凹谷的预定特性参数的斑痕数字列入表格。

28.权利要求27的方法，其中特性参数包括一个选定的最小斑痕面积，并且所述将斑痕数字列入表格的步骤包括将超过所选最小面积的斑痕数字列入表格。

29.权利要求27的方法，其中特性参数包括一个选定的斑痕形状，并且所述将斑痕数字列入表格中的步骤包括将遵守所选形状定义的斑痕数字列入表格。

30.权利要求24的方法，其中物体是带果皮的水果，并且其中所述分析步骤包括判断果皮表面中存在挫伤，并且还包括：

扫描物体图像以得到象素光强和锐跃迁；

设置物体图像的象素光强的一个选定的门限值；以及

将连接带有锐跃迁的象素边界的邻域中具有高过所选门限值的光强的象素数字列入表格，上述邻域就定为斑痕；以及

将超过用以鉴定果皮中的挫伤的所选面积和宽度的上述斑痕数字列入表格。

31.权利要求24的方法，其中物体是带果皮的水果，并且其中所述分析步骤包括判断表面腐烂的存在，并且还包括：

扫描物体图像以得出象素光强中的平缓跃迁；

设置象素光强的一个选定门限值；

将连接带有平缓跃迁的象素边界的邻域中具有高过门限值的光强的象素数字列入表格，上述领域就定为斑痕；以及

将超过用以鉴定表面腐烂的给定特性参数的上述数字列入表格。

32.权利要求31的方法，其中特性参数包括选定的上述斑痕的最小面积，并且所述列入表格的步骤包括将超过所选最小面积的斑痕数字列入表格。

33.权利要求31的方法，其中特性参数包括一个选定的形状，并且所述列入表格的步骤包括将具有遵守所选形状定义的形状的斑痕数字列入表格。

34.权利要求1的方法，其中物体系由水果、塑料物品、石蜡物品、陶瓷物品、复合材料以及玻璃物品构成的组合中选出。

35.权利要求1的方法，其中将多个物体分类，并且还包括根据其类别将上述物体分成等级的步骤。

36.一种用于判断半透明物体上存在至少一种选定的表面特征的装置，包括：

用于照射物体使得光线在其里面散射的机构；

用于检测透过物体表面的上述散射光线的机构；

用于将上述检出的光线转换为表示透过表面多个规定区域的每一区的相对光强的数据的机构；以及

用于分析上述数据以判断所选表面特征的存在的机构。

37.权利要求36的装置，其中所述检验机构包括用于建立一个透射散射光图像的机构。

38.权利要求37的装置，还包括用于拍摄h述图像的光学摄像机构。

39.权利要求37的装置，其中所述检测机构包括两个独立的检测机构。

40.权利要求39的装置，其中每个所述检测机构都包括用于拍摄上述图像的光学摄像机构，所述光学摄像机构用于拍摄上述图像的不同部分。

41.权利要求40的装置，其中物体大体是球形，并且每一个所述光学拍摄机构被用于拍摄大体相应于物体的一个半球的图像。

42.权利要求38的装置，还包括响应所述拍摄机构的输出，将其输出转换为表示图像的多个区域里面的相对光强的数据。

43.权利要求42的装置，还包括用于分析数据以判断物体的所选特征的存在的机构。

44.权利要求43的装置，其中所述分析数据的机构包括数字计算机机构。

45.权利要求43的装置，还包括响应所述数据分析机构用于根据上述判断将物体分类的机构。

46.权利要求45的装置，其中所述分类机构包括数字计算机机构。

47.权利要求43的装置，其中所述数据分析机构包括用于将上述相对光强与一个选定的标准图案相比较的机构。

48.权利要求47的装置，其中所述比较机构包括用于将所述相对光强与多个选定的标准图案相比较的机构。

49.一种用于判断半透明物体上存在所选表面特征的装置，包括：

至少一个朝着物体的光源；

用于将在物体里面散射并透过物体表面的光转换为数字信号的传感机构；以及

用于判断上述特征是否存在的计算机构。

50.权利要求49的装置，其中所述计算机构包括数字计算机机构。

Images