CN113615160B - 使用激光线的多摄像头成像系统 - Google Patents

Abstract

本发明涉及一种成像系统，该系统使用传统摄像头和单激光线在转换机或印刷机的输出端执行质量控制。该系统使用分布在印刷片材宽度上的多个摄像头。由于激光线，它可以重构印刷品的完整图像，即使片材不完全平坦或高度不同，也可以补偿几何和光度失真。传统摄像头的使用导致具有成本效益的系统。

Description

使用激光线的多摄像头成像系统

技术领域

本发明属于用于传输材料的卷筒纸或片材(例如纸张或纸板)的机器中的质量控制系统的成像系统的领域。

背景技术

使用印刷机或转换机时，一系列单张片材会行进穿过机器的各个单元。在一些机器中，卷筒纸代替了单独的片材。为了确保适当的质量，可以在印刷线的末端放置一个控制台。该质量控制台由可生成片材图像的成像系统组成。通过控制或检查算法来检查图像，以确定片材是否符合规格。换句话说，它会检查印刷/转换过程中可能发生的缺陷。

今天的系统可能需要检测宽片材上的小缺陷。因此，通常需要多个摄像头来检查整张片材的质量。现有技术的成像系统使用快速线性摄像头来拍摄片材。摄像头高速拍摄单行(或2-3行)片材，并且由于片材在摄像头下行进，它们能够拍摄整张片材(或整个卷筒纸，如果使用卷筒纸的话)。

如果片材没有以预期的瞬时速度在摄像头下行进，则会导致生成的图像变形。线性摄像头本身无法检测到这种现象。

此外，为了限制线性摄像头传感器的尺寸，摄像头使用了投影光学系统。因此，如果片材不是完全平坦的，即，其表面到传感器的距离发生变化，则会导致图像比例的局部变化。

如今，线性摄像头比变得比线性摄像头更便宜的二维摄像头(使用矩阵形状的传感器)更昂贵。

发明内容

本发明涉及一种在质量控制台的成像系统中使用二维摄像头从而获得一种廉价的系统的方法，该系统解决了现有技术中的上述问题。本发明还涉及实现所述方法的成像系统。

成像系统(和方法)很好地适用于配置为传输平面支撑的机器，如印刷机、模压切割机、卷帆索加工机，并且更普遍地是转换机。支撑采用单片材料的形式或卷筒纸的形式。支撑顶面在设备中在参考平面上方的给定高度处行进(该平面可以是真实表面，或者在使用卷筒纸时只是虚拟平面)。原则上，支撑在平面上行进，因此高度等于支撑厚度。然而，在实践中，该高度可能是可变的，例如，当片材在表面上飞行时，或者当支撑不是完全平坦时。

成像系统包括在支撑表面上投射激光线的激光源。至少有两个记录支撑的摄像头，这两个摄像头并排设置(沿着激光线)以潜在地拍摄支撑的整个宽度。激光线必须在每个图像中可见，以确定沿所述线的支撑的高度。由于所述高度信息，由摄像头传送的图像被组合/拼接成图像切片，其理想地描绘支撑的整个宽度。所得图像切片可用于质量控制。因此，在组合/拼接之前，在每个图像中选择不包含激光线的子区域并将其用于组合/拼接操作。请注意，要输出准确描绘支撑的整个宽度的图像切片，摄像头的视野必须部分重叠。此外，为了获得最佳精度，需要高度，因为它会影响摄像头到支撑的距离，从而影响记录图像中支撑的再现比例。

成像系统可以使用比激光源更多的摄像头来构建，或者可以使用每个摄像头一个激光源来构建，从而产生可以沿着支撑的宽度复制的模块。

通过重复上面提到的图像切片的拍摄，我们可以组合切片以获得整个支撑的图像(或至少是其高度大于单个图像切片的支撑的图像)。为此，我们可以使用转换机提供的支撑速度，或者使用图像切片之间的垂直重叠计算两个切片之间的支撑平移(或两者的组合)。为了使用垂直重叠计算支撑平移，我们确保支撑携带足够的纹理信息，例如在边界或支撑上有一组标记。与(最大)支撑速度相比，我们还对图像切片的拍摄进行了过采样，从而确保图像切片不会不相交。垂直重叠是指根据片材运动方向的重叠。由于支撑的照明可能随高度而变化，因此该方法可以有利地校正每个像素的光度信息。校正是像素坐标和相关支撑高度的函数。

用于构建图像切片的子区域不包含激光线，因此沿所述线测量的高度不完全等于所述子区域的高度。考虑到这种现象，我们可以有利地使用源自先前图像拍摄的激光线的高度来计算子区域中的高度信息。我们还可以结合源自多个图像拍摄的激光线的高度。

附图说明

本发明的实施方式在附图中以示例的方式示出，其中附图标记表示相同或相似的元件，并且其中；

图1示出了使用两个摄像头和单个激光源实现成像系统的示例；

图2示出了片材、激光线、两个摄像头的视野和检查区域；

图3示出了使用正交投影，具有不同高度的片材朝向参考高度上的片材的重新插值原理；

图4示出了使用片材的展开，具有不同高度的片材朝向参考高度上的片材的重新插值原理；

图5示出了由具有两个摄像头的系统重建印刷在片材上的自行车图像的示例；

图6示出了摄像头、照明和激光线的曝光时序的几个示例。

具体实施方式

图1示出了使用两个摄像头3、4来拍摄被检查的片材2的整个宽度的实施方式的示例。激光源5将光线6(激光线)投射到片材2上。激光线在摄像头3拍摄的图像和摄像头4拍摄的图像中可见。

请注意，激光的投影平面7与摄像头的光轴9相比具有一个角度。这会导致当片材的高度发生变化时，所述线在摄像头拍摄的图像的坐标系中发生偏移。因此，通过测量图像中所述线的位置，并知道摄像头和激光源的几何配置，我们可以计算出沿所述线的片材高度。理论上，片材应该是平的。然而，在实践中，它可能是弯曲的或波浪形的。如果片材顶面的高度发生变化，成像表面的(局部)比例也会发生变化。因此，为了检查片材上印刷品的准确性，或切割或折痕线的准确性，必须对这种现象进行补偿。

为了补偿由于高度变化引起的比例变化，沿激光线6测量片材的局部高度8。我们假设高度不沿片材的运动方向51变化。优选地，为了简化计算，摄像头3、4被定向成使得激光线6在图像上出现水平(对于完全平坦的片材)，并且片材51的运动方向大致遵循图像的列。在这种情况下，我们得到图像每一列的高度值。更一般地，与片材的运动方向相比位于横向方向上的激光线就足够了(例如，具有从45度到135度的角度)；与上述方向相比，图像行/列的方向无关紧要。

图2示出了分别以摄像头3、4的视野30、40从上方看到的片材。我们将片材的运动方向称为运动方向51，将激光线的方向(对于平坦的片材)称为横向方向。摄像头的视野沿横向方向略有重叠(例如它们可能重叠5％、10％或20％；重叠百分比可能随着片材的高度而变化)。激光线6穿过两个摄像头的视野。为了说明的目的，激光线6与直线的偏差在图中被夸大了。摄像头具有不包含激光线的检查区域31、41。检查区域用于对片材进行成像，并沿横向方向拼接在一起以在输出处形成单个图像。检查区域位于激光线下方或上方，即，在片材运动方向上的激光线之前或之后。

图3示出了如何重新计算与给定片材局部高度8的完全平坦片材相对应的图像。在此示例中，示出了片材的两种表现形式：一种是弯曲的，对应于真实情况(具有夸张的变形)，一种是在地面上，对应于参考情况。参考高度88的选择是任意的，但可以有利地对应于典型情况。此处我们假设参考片材是具有位于预定高度88处的表面29的完全平坦的片材。图3B表示由摄像头拍摄的图3A中的场景的图像。摄像头执行投影，因此场景中的点12和13映射到图像中的相同点130(它们沿场景中的方向11投影)。为了校正比例，我们以正交方式(即沿高度8的线)虚拟地将片材投影到参考高度29上，从而获得等价的正交投影，其中图像的比例不随到摄像头的距离而改变。我们将生成的图像称为重新插值的图像。例如，点12虚拟地投影在点14上。点14出现在图像上的位置140处。因此，为了获得完全平坦的片材的图像，我们取位置130处的像素值并将其移动到位置140处。请注意，位置140是连接图像的光学中心100和位置130的线110与对应于点12的投影14的运动线104的交点。可以对图像的每个点重复这个过程；变换由局部高度确定，局部高度沿图像中的运动线102、104是恒定的。一般来说，在这个示例中，函数是从投影表示到正交表示的映射，通过局部高度的测量成为可能。在实践中，我们使用该函数的逆函数：对于重新插值图像的每个位置H，我们计算对应于从位置H到位置L的变换，并用拍摄图像中位置L处的像素值(通过插值获得，因为L可能位于像素之间)填充位置H处的(重新插值图像的)像素。因此，重新插值图像是对应于在预先确定的高度处拍摄的完全平坦的支撑(片材)的图像的拍摄图像的重新内插。为每个摄像头计算重新插值的图像；重新插值的图像被拼接在一起，形成一个通用且更宽的拼接图像，作为输出用于进一步处理(例如用于质量控制)。检查区域限定在参考高度29处，从而确保整个片材宽度的适当覆盖(从运动方向垂直定义片材宽度)。请注意，我们忽略了由于先前的摄像头校准步骤而被校正的光学失真的任何补偿，这是相当标准的并且超出了本公开的范围。

由于实际中高度变化很小，所以印刷在支撑上的直线图像映射为拼接图像中的直线。此外，由于正交法表示，用于构建拼接图像的重新插值图像之间的连接点处的线上没有不连续性。

作为稍微更精确但计算量更大的替代方案，可以虚拟地展开片材(从光学中心到边缘)，而不是进行正交投影。这种方法如图4所示。不是将点12垂直投影到点14上，而是展开片材，从而将点12投影到点15上。为此，展开从光学中心10开始。它从投影点17开始，投影点17对应于高度值可用的下一个点。点17沿着以点10为中心的(圆)弧20投影。点17投影到地面29上，得到点19(为了解释的简单起见，我们假设点10在此位于参考高度29上)。请注意连接点17和19的线22与遵循摄像头自然投影光线的线16之间的区别(因此点17和18将出现在拍摄图像中的相同位置)。图4C示出了该操作或图4A的缩放图。下一个点12使用以点17为中心的弧进行投影。点12投影到点24上，点24与点17处于相同高度。通过将点24沿平行线23投影到线22获得投影14。对沿激光线的每个高度值重复计算，并应用于检查区域的每个像素，从而产生重新插值的图像。插值过程与图3的示例相同，不同之处在于坐标计算。

这里公开的成像设备适用于印刷机或转换机。例如，它可以放置在印刷机的输出或平压印刷机的输出。成像设备与传送系统耦合，该传送系统在成像设备下方平移片材，并将平移信息传送到成像设备。根据机器，最大支撑(或片材)宽度可能会有所不同，因此需要不同数量的摄像头。例如，窄机器可能配备两个摄像头，而较宽的机器可能沿横向配备3到9个摄像头。

有利地，不是为许多摄像头使用单个激光源，而是可以选择为每个摄像头使用一个激光源。这允许构建可复制以覆盖整个片材宽度的组合摄像头和激光源模块，从而确保独立于最大支撑宽度的质量。这从生产和校准逻辑上也是有利于的。计算片材高度的方法保持不变。

有利地，除了如上所述的检查区域的几何重新内插之外，我们可以校正检查区域的每个像素的光度信息。当支撑的高度变化时，到用于照亮支撑的照明设备的距离和到摄像头的距离会发生变化。这会导致摄像头感知的亮度发生变化。换句话说，如果高度变化，相同的支撑部分将导致不同的像素值。为了补偿这种现象，我们记录了参考的平坦表面的图像，其在两个不同的高度具有恒定的反射率：顶部高度和底部高度(例如在最小和最大预期高度)。然后，对于两个参考图像的每个像素，我们计算一个校正因子(针对图像的每种颜色)以将记录的像素值映射到单个参考值(对应于参考支撑的恒定反射率)。这产生了由校正因子(而不是颜色值)组成的两个图像。让我们称这些图像为亮度因子图像。当记录支撑表面的新图像时，我们计算每个像素位置的支撑表面高度，并基于相比于所述底部和顶部高度的像素高度，通过内插来自顶部亮度因子图像的值和来自底部因子图像的值来计算校正因子。实际上，这是基于应用于图像的每个颜色通道的三维坐标的插值。这种校正校正了由支撑表面高度引起的照明变化，但也校正了其他现象，例如摄像头渐晕或照明不均匀。

请注意，我们可能会在两个以上的高度记录参考平坦表面的反射率，并在两者之间进行内插以获得更精确的校正。然而，我们发现，鉴于我们的照明设置，两次测量就足够了。

图5示出了成像系统的拍摄过程。左图显示了成像系统正在拍摄画有自行车的片材。右图示出了片刻之后，在成像系统的下一个拍摄时刻的相同片材。该示例示出了一个带有两个摄像头的成像系统。左摄像头有视野30和检查区域31。右摄像头有视野40和检查区域41。图片示出了左摄像头拍摄的图像32和右摄像头拍摄的图片42。这些图片包含激光线6的图像。然后将这些图像重新内插到图片33和43中并组合成拼接图片34。该过程在片刻之后重复并显示在图片的右侧。在不同时刻拍摄的拼接图片34、340被组合/堆叠成重构图像35。重复所述堆叠以获得完整片材2的图像。严格来说，我们不一定需要片材的完整高度：我们只需要足够高以进行后续的质量控制操作。图片的拍摄频率与片材的运动50同步。如果处理得当，与支撑(片材)上存在的图像/图案相比，生成的重建图像不会显示任何间隙或任何重复。

请注意，在拼接之前用于重新内插图片的激光线的高度可能是源自同一图片的高度。但是，我们最好使用以前的图片之一。实际上，我们存储高度信息，直到被激光照亮的片材部分到达检查区域。例如，在图5中，我们使用在左侧描述的配置记录的高度信息(在时间T-1记录)并将其应用于图右侧的图像(在时间T记录)。事实上，在图的左侧，激光线接触到片材上所示的自行车传动装置的顶部，而在图的右侧，自行车传动装置的同一顶部位于检查区域的中心。请注意，我们也可以取两条线之间的任何值，或者使用两条线：一条在检查区域上方，一条在下方，并在两条线之间内插入高度信息，从而获得检查区域的每个像素的高度值。

为了获得对支撑表面的任何反射率都可见的激光图像，人们可能希望以不同的方式曝光检查区域和激光线。检查区域的曝光时间应保持较短。事实上，在曝光过程中，支撑的移动不应超过像素的一小部分，以避免运动模糊。检查区域的曝光时间是指摄像头“打开”(即记录图片)和照明设备照亮检查区域的时间。实际上，我们保持摄像头曝光时间长于“闪光”曝光时间，即照明打开和关闭的时刻之间的时间(这里我们考虑在图像曝光期间的闪光曝光，如果闪光在结束或曝光之后打开，或在其开始之前打开，我们不计算它)。检查区域的曝光时间为闪光打开且摄像头打开的时间。激光线的曝光时间不受同样约束的限制(激光线的曝光时间为激光打开和摄像头打开的时间)。如果支撑在曝光期间移动，也没有关系，只要支撑的高度在曝光期间不发生变化(即支撑可以移动超过一个像素而没有问题)。因此，为了确保激光线在激光使用较少功率的情况下可见(从而节省设备成本)，激光线的曝光时间被选择为长于检查区域的曝光时间。图6示出了曝光时序的示例。摄像头的曝光用线60表示，照明(即“闪光”)的曝光用线61表示，激光的曝光用线62表示。位置64表示关闭或闭合位置，而位置65代表打开或开放位置。激光线的曝光时间可以比闪光曝光时间长5至20倍，例如长10倍。例如，摄像头(60)的曝光时间可以设置为800微秒，而闪光曝光时间(61,66,67)可以设置为80微秒。激光线可以像在图6的示例中那样始终开启，或者与摄像头的曝光60同步(或近似同步)。照明的开/关曝光曲线66和67代表示例开/关曝光曲线61的等效替代方案。图6的横坐标代表时间。

请注意，通过使用图片32并将其与稍后时刻拍摄的图片320进行比较，人们可以使用一些利用图片之间重叠的图像处理算法来计算片材的运动。计算结果可用于验证片材50的平移符合规范。优选地，片材可以在边界上印刷一些标记，以确保这种方法的稳健性。此外，在支撑的运动不均匀或与预期不同的情况下，所述运动计算可用于适当地组合图像切片。

还请注意，该文件中公开的发明对于具有不同高度的完全平坦的支撑也是有用的。一旦高度与参考高度29不同，重新插值就会执行比例校正。

该文件中公开的成像系统可以例如应用于在模切机的输出处获取图像，其中单个片材倾向于在松散控制的高度处“飞行”。

请注意，我们总是使用“片材”或“支撑”来表示同一对象。如果我们想强调支撑以片材形式提供的事实，我们提到的是“单个片材”。

Claims (11)

1.一种用于设备的成像系统，所述设备被配置为在参考平面上方、在所述参考平面上方的一个高度处沿运动方向平移平坦的支撑，所述系统包括：

-激光源，其配置为在支撑表面上投射激光线，与所述运动方向相比，所述激光线处于横向方向，

-处理器，

- 两个摄像头，其具有沿所述激光线布置的重叠视野，

其中每个摄像头被配置为拍摄包括所述激光线的所述支撑表面的图像，

所述处理器配置为：

- 使用图像中所述线的位置，为每个图像计算所述支撑表面沿所述线的高度，

- 在每个图像中，根据所述运动方向选择所述激光线之前或之后的子区域，

- 使用计算出的高度将重叠或相邻的所述子区域组合成一个公共图像切片，以及

- 输出所述图像切片。

2.根据权利要求1所述的成像系统，其具有与摄像头一样多的激光源，其中每个摄像头被配置为拍摄其各自的激光线，以计算沿着所述线的所述支撑的高度。

3.根据权利要求1所述的成像系统，其中所述系统被配置为将图像的拍摄与所述支撑的所述平移同步，从而将在不同时间拍摄的所述图像切片组合成单个重构图像；所述系统被配置为输出所述重构图像。

4.根据前述权利要求中任一项所述的成像系统，还包括被配置为使所述支撑闪光的照明设备，其中闪光持续时间被配置为短于所述摄像头的曝光时间。

5.用于合并来自多个摄像头的图像的方法，用于具有在参考平面上方、在所述参考平面上方的一个高度处沿运动方向平移平坦的支撑的设备；所述方法包括：

- 通过使用激光源在与所述运动方向相比的横向方向上在支撑表面上投射激光线，

- 对于每个摄像头

- 拍摄包括所述激光线的所述支撑表面的图像，

-使用所述图像内所述激光线的位置来计算沿所述激光线的所述支撑的高度，

- 根据所述运动方向在所述激光线之前或之后选择所述图像中的预定区域，

- 将选定区域重新内插到对应于在预先确定的高度拍摄的完全平坦支撑的图像的表示中，

- 通过并排连接所述区域，将所述选定区域的所述表示连接为图像切片。

6.根据权利要求5所述的方法，其中所述重新内插的步骤还包括基于沿所述支撑表面的图像坐标和基于沿所述激光线的所述支撑的高度的光度校正的内插。

7.根据权利要求5所述的方法，还包括

- 将图像的拍摄与所述支撑的所述平移同步，并将得到的图像切片组合成代表所述支撑的公共重构图像，而没有任何间隙或任何重复。

8.根据权利要求5-7中任一项所述的方法，其中所述重新内插的步骤使用由同一所述摄像头在不同时间拍摄的沿着所述激光线的所述支撑的高度。

9.根据权利要求5-7中任一项所述的方法，其中通过比较由系统的至少一个摄像头拍摄的连续和重叠图像的内容来测量所述支撑的所述平移。

10.根据权利要求9所述的方法，还包括平移测量的输出。

11.根据权利要求5所述的方法，还包括在拍摄所述支撑的图像的同时用照明设备使所述支撑闪光，其中，在所述图像的曝光期间，闪光持续时间短于所述激光线的照明持续时间。

Images