CN105229698A - 用于监视并控制灌装系统的方法以及用于执行该方法的装置 - Google Patents

Abstract

公开了一种用于控制液体产品或固体产品、特别是食品工业产品用的灌装系统的方法，所述方法包括以下内容：一种用于分析灌装系统的动态状态的方法，该方法包括以下过程步骤：获得所述灌装系统的至少一部分中的图像序列；并且通过给定数量的帧的图像序列的光流计算来评价所述图像序列；评价光流；以及当对光流的评价预示或表示与正常操作状态存在偏差时，输出用于灌装系统的控制信号。

Description

用于监视并控制灌装系统的方法以及用于执行该方法的装置

技术领域

本发明总体上涉及对液体或固体产品(特别是食品行业产品)用灌装系统的控制。特别地，本发明涉及用于分析灌装系统的动态状态的方法、用于控制灌装系统的方法以及用于执行该方法的装置。

背景技术

灌装系统是包括用于灌装过程中的不同任务的多个单元的复杂技术结构，必须对这些任务进行协调以实现最大可能的生产力，即，灌装系统应当每单位时间能够完成最大可能数量的灌装或瓶装容器。

典型地，灌装系统包括通过输送器彼此连接的多个单元，容器在该输送器上在所述单元之间运送。所述单元可以是装瓶机、卸垛机、拆包机、清洗机、贴标机、打印机、包装机、码垛机、用于制造热塑性树脂容器的拉伸吹塑成型机等。在所述单元之间运送容器至关重要。例如，这里使用链式输送器、用于空的PET瓶的空气输送器、用于进给容器和排出容器的运送星形件和装置。在输送器线路上使用单链或多链运送路线。由于容器被连续地插入单元中，多链运送流需要被分离成独立的流。多链运送路线被用作缓冲区以补偿制造过程中的波动。例如，在专利说明书DE102010021733A和DE102007014802A中对这种灌装系统进行了说明。慕尼黑工业大学的材料处理、材料流、物流学院在1999年12月1日至2001年8月31日之间进行的研究项目“SimulationsgestütztePlanungundNutzungvon”(项目编号12265-N)的最终报告中也可以发现对灌装系统的总体说明。

这种灌装系统的目标是：在保持始终如一的、至少符合法定质量标准和卫生条例的质量的同时，在尽可能短的时间内例如用饮料灌装尽可能多的数量的容器(例如瓶)。为了确保这一点，需要用于对来自多个传感器的数据进行评价的系统控制，以确保平稳处理，即，及时检测任何故障或干扰以及相应地适应系统处理。

图1是包括两个单元1和2的灌装系统的截面的示意图，单元1和2借助于相应的输送器彼此连接。图1所示的输送器的截面能够被分成七部分，其中部分B和F中的容器3分别由单元1和单元2处理。例如，单元1可以是用于容器3的灌装装置，例如用于用饮料灌装瓶，而单元2可以是例如用于对被灌装的容器贴标的容器贴标装置。部分A、C、D、E和G是运送诸如瓶的容器的部分。在部分A中，瓶被运送到单元1(例如灭菌装置)中。在部分C中，在单元1中已处理的容器被运走。随后的部分D被用作运送缓冲区，例如，在部分D中，部分C的单链可以被分为若干平行的运送链或运送线路。特别地，缓冲区域被用于缓冲在其前、后位置上的单元的故障。由于灌装系统的容量被设计为与灌装机相关，缓冲区以使得缓冲区中总是提供充足的容器的方式来设计，以允许灌装机(即使在其他组件中出现了故障的情况下也)能够连续操作。在部分E中，多链运送路线在缓冲部分D中被再次分开并供给至单元2。在部分G中，在单元2中已处理的诸如贴标的瓶等的容器被运走并被进给到随后的单元(例如打印机)。运送路线还可以包括另外的进给装置4、6以及排出装置5、7。根据图1的进给装置4、6以及排出装置5、7的定位均仅为示意性的并且可以根据系统的设计而有所不同。例如，单元下游的传感器可以检查容器是否干净或是否被正确的灌装，并且在容器不符合质量标准时，可以通过排出装置5、7将该容器从运送流中移除。所述排出装置还可以用于(例如在灌装系统的若干个灌装线路被平行配置时)对容器流进行换向或分支。在灌装线路出现故障时，例如当线路中的容器清洁单元被关闭时，例如为了灌装相邻的缓冲区，容器流可以被换向。这通过进给装置4、6来完成。在例如DE102010021733A1中，对这种平行的灌装系统进行了说明。在各输送器部分A、C、D、E和G中的输送速度v₁、v₂、v₃、v₄和v₅以使得在生产中以稳态为主的方式来设定。“生产中的稳态”是指容器的装载和吞吐量是不变的(稳定的)，也就是单位时间的灌装容器的产量是不变的(稳定的)。在出现任何故障的情况下，例如当单元1(例如灌装装置)停止时，或者当容器(例如由于倒下的容器而)阻塞时，在系统的各位置容器或瓶的吞吐量发生变化。归因于例如图1所示的部分D中的缓冲路线，任何故障都可以被暂时地缓冲，以使得灌装容器的产量在那一时刻不会受影响。因此，从目前工艺水平可知，监视缓冲路线的负载是能够进行无故障生产的有效措施。

图1示出了根据目前工艺水平适于监视输送器带的传感器配置的示例。附图标记8示出了用于缓冲区的负载的监视的动态状态压力传感器。在例如DE3607858A或DE3616023A中对这种阻塞开关形式的动态状态压力传感器进行了说明。

附图标记9表示现有技术中已知的用于检测输送装置的负载的非接触测量技术，例如光传感器或挡光板。在实用新型DE202008009166U1中公开了在用于向包装机中进给物品的运送装置中使用的光传感器。根据DE102010021733A，公开了一种挡光板，其能够在重启灌装站时使运送路线中的被缓冲的容器列与仍在输送器线路中的那些容器之间没有间隙的连接。由于这种传感器系统几乎不提供关于运送装置的状态以及被运送的容器的信息，因此无法预估或很难预估设备的未来状态。为了平稳并且无障碍的生产，特别是对于复杂系统而言，需要更多信息。

随着对目前工艺水平的进一步了解，可以利用图像评价方法来补偿传感器技术以使得运送装置的状态能够得到更好的检测。

图1的附图标记10表示例如用于监视输送器系统的摄像机。

例如，存在名称为“DKAM-28HD”的、WernerNophutGmbH的、用于对成群地被运送的容器进行非接触计数的、以照相机为基础的商用系统。该计数系统识别并计数在输送器带上任意配置的玻璃瓶。此外，该系统能够识别瓶是打开的还是关闭的。

在DE102007014802A中说明了这种用于监视、控制并优化食品瓶(特别是饮料瓶)用的灌装系统的以照相机为基础的系统的进一步发展。这种方法使用光电识别系统，其具有至少一个电子照相机和一个下游的以计算机为基础的图像处理单元。使用图像处理来获得从所获图像中看到的对象的信息，以确定整个系统的至少一个部分的操作状态。例如，根据利用随后的轮廓比较(在轮廓比较之后可以是特征识别)的探测方法来实现对象识别。还可以使用该系统来识别未正确定位的容器(例如翻倒的容器)。还可以监视各系统的(例如从临时缓冲区)的流入行为。

发明内容

图像处理仅基于如下的对象识别原则是目前工艺水平的缺陷：根据利用随后的轮廓比较的探测法。为了实施该方法，各图像需要单独被分析，各图像仅反映操作状态的快照。而要说明生产设备的动态状态行为，使用单个图像分析是不足够的。将需要附上单独快照的进一步的评价步骤，而这一评价步骤在现有技术中并没有详细说明。由于各图像首先被单独评价，因此会花费大量时间。因此，应当避免分析多个单独图像。因此，除非达到例如用于系统中特定位置的被识别的对象的密度的临界值，即高于或低于的临界值，否则该操作不会被干涉。

因此，期望获得如下方法：用于分析灌装系统的动态状态，以便提前以较好的方式控制该系统。还期望具有在灌装过程中计划的质量特征。

因此，本发明的目标是提供如下方法：其用于改善复杂灌装系统的控制并且特别地用于无需人工干预的能够完全自动化的控制。

该目标通过包括技术方案1的特征的方法来解决。特别地，该目标通过如下方法解决：一种用于分析液体产品或固体产品、特别是食品工业产品用的灌装系统的动态状态的方法，其包括以下过程步骤：获得所述灌装系统的至少一部分中的图像序列；并且通过计算给定数量的帧的图像序列的光流来评价所述图像序列。

根据图像序列来计算光流并且光流能够被可视化为投射到图像中包含的对象的图像平面上的速度向量。因此，光流被用于表示移动信息并且能够识别场景的三维结构，以用于预估空间移动并且用于识别被称作“分割(segmentation)”的单独移动的对象。光流并不仅仅包括静态信息(即在给定时刻空间中的对象的位置和类型)，还包括移动信息(即对象将来的位置)。因此，光流还包括图像内容或对象的动态状态信息。由于光流的原因，可以预估在输送器带或路线上的移动的未来状态，从而能够在早期阶段采取措施防止故障。此外，可以使用光流以较高分辨率来示出待被监视的对象，从而能够更准确地检验质量标准。

根据一个实施方式，通过不同的方法(优选的根据Lucas-Kanade方法或根据Horn-Schunck方法)来计算光流。利用这些方法，通过所述给定数量的帧的图像序列计算向量场，各向量表示所述图像序列的像素点块或图像点的运动速度和运动方向。

根据一个实施方式，该方法使用光流对图像进行与图像内容有关的分割。例如，可以对单独的对象或对运动模式关于前面部分的(foreground)运动或后面部分的(background)运动进行这种分割。

根据特定的实施方式，光流被用于将前面部分的和后面部分的运动分开。这可以用在例如灌装系统中以避免事故。例如，当在通过光流监视的机器(例如拉伸吹塑成型机)中检测到一种表示在系统运行时操作人员的风险的运动模式时，能够启动紧急停止。

根据另一实施方式，使用光流来辨认移动对象。因此，例如在给定时刻可以确定在输送器带和缓冲路线上的负载密度。此外，光流包括表示在带和缓冲路线上的负载密度在给定时间段如何发展的信息。因此，光流用于预估输送器带的未来负载。在这一点上，辨认移动对象不限于容器还可以包括输送区域中的以及其周边的人、人体部分、障碍物、碎片和/或污染物。

在特定情况下，帧并不具有期望的分辨率来执行随后的分析，例如辨认检查器中的容器。借助于光流，可以将视频序列的若干帧结合，以形成具有较高分辨率的图像或形成可辨认的图像分割，从而能够计算具有较高分辨率的移动对象。特别地，可以就是否符合质量标准这一问题对例如瓶、玻璃或罐等被辨认的对象进行分析。例如，可以就灌装质量、损害或杂质对容器或容器中的内容物进行分析。

根据一个实施方式，根据从摄像机新获取的各个图像来连续地重新计算光流。可以使用该方法来连续地确定是否存在稳定的运动状态或者输送器装置上的运动状态是否动态状态改变。可选地，可以在给定时间间隔利用新的图像序列来重新计算光流。该变化使得对于图像评价计算机的要求降低，但缺点在于可得到的用于预估运动的信息较少。因此，该变化在灌装设备的对时序要求不严格的区域比较有利。

当基于在先后计算的光流之间的改变推断出光流时，可以获得动态状态发展的额外信息。

根据一个实施方式，该方法还包括以下过程步骤：将当前计算出的光流或推断出的光流与存储在数据库或专家系统或神经网络中的光流相比较；确定当前计算出的光流偏离存储的光流的值是否小于给定值；在当前计算出的光流偏离存储的光流的值小于给定值时输出控制信号。

通过将当前的光流与基于数据库、专家系统或神经网络中的经验的图像进行比较，可以非常快速并且容易地确定当前的光流(以及当前输送器装置的动态状态)是处于正常范围内还是会以故障终结。

在这一点上，存储的光流可以限定临界的输送过程状态。例如，输送状态可以被映射到学习过程中的光流，所述流对应于或者太慢或者太快的输送速度。这种临界输送过程的状态还可能对操作人员或产品质量(灰尘、不足的装料、破损的容器等)产生风险。

根据本发明的另一方面，提供利用了如上所述的分析灌装系统的动态状态的方法的方法，该方法用于控制液体产品或固体产品(特别是食品工业产品)用的灌装系统。特别地，该方法包括以下步骤：获得灌装系统的至少一部分的图像序列，通过计算给定数量的帧的图像序列的光流来评价图像序列；通过存储的光流来评定所计算的光流(包括判断是否进入临界情况)；当评价显示进入临界状态时对过程控制进行干预。

在系统控制中使用辅助手段“光流”，有助于改善系统安全性和质量检验。

上述目标还可以通过如下装置解决：用于分析液体产品或固体产品(特别是食品工业产品)用的灌装系统的动态状态的装置，该装置包括如下部件：图像获取装置；图像数据处理装置。该装置的特征在于，图像数据处理装置被设计为计算给定数量的帧的图像序列的光流。该装置还包括用于在如下方面评价光流的装置：在输送过程中是否存在或是否能预料到任何故障或干扰，或者在所述至少一个图像获取装置处的监视区域中的容器是否符合质量特征。这例如可以通过设计图像数据处理装置来产生，从而使得计算出的光流与存储在知识数据库中的对已知的输送过程状态成像的光流相比较，以便判断或评价在所述光流中成像的输送状态，如果必要的话，对即将出现的故障采取对策。

附图说明

下面将详细说明本发明的实施方式、发展、优点以及应用的可能性。所有所说明的和/或示出的特征(无论是单独还是结合)原则上都是本发明的对象，而不管其在权利要求及其从属中的概要如何。权利要求的内容也是说明书的一部分。在图中，

图1示意性地示出了根据现有技术的灌装系统的截面图；以及

图2示意性地示出了根据本发明的灌装系统的截面图。

具体实施方式

实现本发明，以改善液体产品或固体产品(特别是食品工业产品)用的灌装系统的控制。特别期望能够改善系统的安全性以及灌装产品的质量检验。通过改善系统控制，将可以实现高水平的自动化而使所需的工作人员的干预少，从而减小清洁室条件下的灌装系统中的污染。

特别期望能够改善基于视频监控的灌装系统的监控。从根据目前工艺水平的监视视频图像的帧处理出发，本发明旨在改善对图像序列的运动检测。当已知图像序列中的图像内容的差别时，这种信息尤其可以使用在运动检测、运动追踪、运动识别、图像分割、3D重建、目标识别上以及用于增加被识别对象的分辨率(超分辨率)。该预估的运动场接下来可以用于分析特定的运动，例如，能够借助于运动场检测异常行为。根据本发明，使用根据光流的原则的运动检测。根据维基百科，向量场在图像处理以及光学测量中被称作光流，所述场表示图像序列的各像素点的运动速度以及运动方向。光流可以被理解为投射到图像平面的可视对象的速度向量。光流是运动信息的重要说明。其形成了用于识别场景的三维结构以评价空间中的运动并用于识别单独移动的对象(分割)的基础。借助于微分法即基于灰度信号的导数和梯度来确定典型的光流并提供密集的运动场或向量场。基本的微分法由BertholdHorn和BrianSchunck提出，其假定亮度E在图像序列中的帧的各自位置处是恒定的。然后下面导出的公式是必要条件

$\frac{dE}{dt}=\frac{\∂E}{\∂t}+\frac{\∂E}{\∂x}\·\frac{dx}{dt}+\frac{\∂E}{\∂y}\·\frac{dy}{dt}$

用于确定速度的等式为：

$\frac{dE}{dt}+\frac{\∂E}{\∂x}\·\frac{dx}{dt}+\frac{\∂E}{\∂y}\·\frac{dy}{dt}=0.$

由此确定了向量场，即，借助于Lucas-Kanade方法或Horn-Schunck方法确定向量场。

光流能够进行如下应用：

实时运动检测

光流可以被用于前面部分的运动和后面部分的运动的分割。其可以被用于例如灌装系统以避免事故。例如，当通过光流监视的机器(例如拉伸吹塑成型机)识别出一种表示工作人员在机器运行时进入系统中的运动模式时，能够启动紧急停止。

超分辨率

在特定情形下，图像不具备执行随后分析所需的分辨率，例如用于在检查器中辨认容器的分辨率。光流有助于将视频序列的若干个图像结合以形成具有较高分辨率的图像。容器和/或容器的内容物可以相应地被更好地分析，例如在异物或损伤方面。

识别异常活动

视频中的运动场也可以用于检测诸如瓶阻塞、容器引导机构的活动、在借助于颈部处理来把持而产生的问题、振动、有缺陷的输送器带弯曲以及有缺陷的配件等异常活动。为此，首先需要的是了解正常的运动模式。接下来，分析该运动并比较其是否为正常运动。指数在与期望的运动模式的偏差的意义上指示这种运动不正常的程度，特别是在速度改变的情况下等。

本发明拟在液体产品或固体产品(特别是食品工业产品)用的灌装系统中使用。

图2示出使用本发明的灌装系统的截面图。图2中的与图1的附图标记相同的任何附图标记均表示相同的特征。根据参照图1的说明的介绍部分的特征的说明也同样适用于图2。本发明需要设置在两个处理单元1和2之间的区域的至少一个照相机。例如，第一照相机10-1能够监视灌装系统1的排出区域，第二照相机10-2能够监视用于打印被灌装的容器3的打印机2的缓冲区域和进给区域。但是，单元1和2的类型对于该应用的使用并不重要，其可以被其他类型(例如拉伸吹塑成型机以及随后的灭菌单元)替换。来自照相机10-1和10-2的信号被传递到评价装置11。评价装置11计算例如用于十个随后的视频图像的光流。根据不同的标准能够实现根据照相机10-1评价区域C的光流，根据照相机10-2评价区域D和E的光流。例如，可以使用来自照相机10-1的光流来检查灌装装置1的灌装结果。为此，关于光流的数据中的运动信息的分割例如以速度相同并且方向相同的对象来执行。一旦该对象被辨认并隔离，能够从多个前后连续的图像中为各被识别的对象产生具有较高分辨率的图像，并可以借助于特征提取来确定灌装高度是否正确或是否具有任何其他特征，例如在参数的期望范围内，例如灌装瓶的结构和颜色或容器的完整性。如果某个特征没有达到这种质量标准，例如评价装置11能够输出信号来启动排出装置5以将不符合需求的容器从运送装置移除。

在分割过程中，也会将与操作者12进入照相机10-1的图像区域相对应的模式分开。接下来运动信息(运动方向和速度)将被用来判断对人12是否具有任何风险，从而有必要的话，借助于评价装置11对机器的所述部分启动紧急停止。

可以使用照相机10-2的光流例如来计算缓冲区D的负载密度并且预估负载密度是否改变。在(例如灌装装置1)存在任何干扰或故障的情况下，将逐步对缓冲区D进行清除。这借助于评价装置11来识别，并且如果灌装装置1中的干扰持续并且缓冲区D的负载密度低于预定值，则评价装置11能够(例如关于打印机2的打印程序)采取矫正手段，以使打印产量降低。采取矫正手段的另一可能性可以是评价/控制单元11启动进给装置6以及，对应地，设置在平行的生产部门(未示出)中的排出装置以使被灌装的容器从平行的生产部门换向到打印机，从而使得生产过程不受干扰。

通过分开并计数移动的对象可以容易地确定负载密度。在这种情况下，还可以借助于模式识别算法来确定容器(瓶)是在正确的位置还是翻倒并有可能导致运送故障。如果是这样，评价装置11可以指示机器控制将这种倒下的瓶在相应设置的排出点从运送装置移除。

另一个可能性是，比较当前的光流数据与存储的光流数据。为此，在学习阶段可以获得用于正常运动模式的光流。可选地或附加地，也可以获得扰动情况的光流。这种比较数据可以存储在知识数据库，例如存储器中，或可选地存储在神经网络中。神经网络的优势是当前测量的光流和存储的光流之间的比较过程很快，并且对当前测量到的光流是否存在障碍或是否很快会出现障碍的评估很快。当前测量的光流与存储的光流的任何偏差可以例如以指数的形式发布，通过该指数可以确定这种偏差是否需要通过机器控制来采取矫正手段。

例如可以连续计算光流。因此，关于各新获取的图像，利用最后的例如十个捕捉到的图像计算新的光流。因此，光流的这种几乎连续的变化被用于获取额外的信息，例如关于运动状态是否改变的信息。接下来这种信息可以被插入以使得能够以更好的方式预估运动。

在灌装系统的对时序要求不严格的位置，也可以借助于未重叠的图像序列以预定间隔执行光流，其优势是预估运动所需的计算机能力和资源少。

Claims (17)

1.一种用于分析液体产品或固体产品、特别是食品工业产品用的灌装系统的动态状态的方法，其包括以下过程步骤：

获得所述灌装系统的至少一部分中的图像序列；并且

通过计算给定数量的帧的图像序列的光流来评价所述图像序列。

2.根据权利要求1所述的方法，其特征在于，通过所述给定数量的帧的图像序列计算向量场，各向量表示所述图像序列的像素点块或像素点的运动速度和运动方向。

3.根据权利要求1或2所述的方法，其特征在于，根据Lucas-Kanade方法或Horn-Schunck方法计算所述光流。

4.根据权利要求1-3中的任一项所述的方法，其特征在于，借助于所述光流对图像进行关于图像内容的分割。

5.根据权利要求4所述的方法，其特征在于，借助于所述光流将前面部分的运动和后面部分的运动分开。

6.根据权利要求4所述的方法，其特征在于，所述光流被用于辨认在移动的对象。

7.根据权利要求6所述的方法，其特征在于，被辨认的移动对象是灌装容器(3)、人(12)、人体的一部分、障碍物、异物和/或污染物。

8.根据权利要求6或7所述的方法，其特征在于，来自若干图像的被辨认的移动对象的图像分割被以较高分辨率计算。

9.根据权利要求6-8中的任一项所述的方法，其特征在于，对例如瓶、玻璃或罐的被辨认的对象是否符合质量标准进行分析。

10.根据权利要求1-9中任一项所述的方法，其特征在于，利用各新获得的图像来连续地重新计算所述光流。

11.根据权利要求1-9中任一项所述的方法，其特征在于，在给定时间间隔利用新的图像序列来重新计算所述光流。

12.根据权利要求10或11所述的方法，其特征在于，借助于在连续计算的光流之间的变化来推断所述光流。

13.根据权利要求1-12中任一项所述的方法，其特征在于，所述方法还包括如下过程步骤：

将当前计算出的光流或推断出的光流与存储在数据库或专家系统或神经网络中的光流相比较；

确定当前计算出的光流偏离存储的光流的值是否小于给定值；并且

在当前计算出的光流偏离存储的光流的值小于所述给定值时输出控制信号。

14.根据权利要求13所述的方法，其特征在于，所述存储的光流限定临界的输送过程状态。

15.根据权利要求14所述的方法，其特征在于，所述临界的输送过程状态是以下状态中的至少一种状态：

输送速度太低；

输送速度太高；

具有危害操作人员的风险；以及

具有危害产品质量的风险。

16.一种用于控制液体产品或固体产品、特别是食品工业产品用的灌装系统的方法，所述方法包括：

根据权利要求1-15中的任一项所述的方法；

对光流的评价；以及

当对光流的评价预示或表示与正常操作状态存在偏差时，输出用于灌装系统的控制信号。

17.一种用于分析液体产品或固体产品、特别是食品工业产品用的灌装系统的动态状态的装置，所述装置包括：

至少一个图像获取装置(10-1，10-2)；

图像数据处理装置(11)，所述图像数据处理装置(11)被设计为通过给定数量的帧的图像序列计算光流；以及

用于在如下方面评价所述光流的装置：在输送过程中是否存在或是否能预料到任何故障，或者在所述至少一个图像获取装置(10-1，10-2)的监视区域中的容器(3)是否符合质量特征。