CN113748389A - 用于监控工业过程步骤的方法和设备 - Google Patents

Abstract

本发明涉及一种用于借助于监控系统来监控工业过程的工业过程步骤的方法，其中所述方法包括如下步骤：‑提供监控系统的机器学习系统，所述机器学习系统借助于至少一个机器训练的决策算法包含作为输入数据的数字图像数据和作为输出数据的待监控的工业过程步骤的过程状态之间的相关性；‑借助于监控系统的至少一个图像记录单元的至少一个图像传感器来记录数字图像数据；‑通过机器学习系统的决策算法来确定工业过程步骤的至少一个当前过程状态，其方式为：基于训练的决策算法从作为机器学习系统的输入数据的所记录的数字图像数据中生成工业过程步骤的至少一个当前过程状态作为机器学习系统的输出数据；和‑通过借助于输出单元与至少一个确定的当前过程状态相关地产生视觉的、声学的和/或触觉的输出来监控工业过程步骤。

Description

用于监控工业过程步骤的方法和设备

技术领域

本发明涉及一种用于借助于监控系统来监控工业过程的工业过程步骤的方法。本发明同样涉及一种对此的监控系统。

背景技术

在工业生产中，当今也还需要部分手动的过程步骤，所述过程步骤必须通过人手工执行。恰好在质量保证的范围中，需要必须通过人主动执行的手动的或手工的过程步骤，以便对产品关于其预先确定的特征进行检查并且必要时将检查存档。

但是即使在生产中有仍需要通过专业人员执行的手动的或手工的过程步骤的子过程的情况下，也期望对手动地或手工地执行的过程步骤就其在质量保证的意义上的正确性进行检查或监控。因为在手动地或手工地处理整个工业过程的过程步骤期间的错误会在跟着其后的自动化的子过程中会引起设施的设施停机或损坏，这需要附加的维护和装配时间。此外，可能有错误地执行的过程步骤在质量保证中在结束时才被发现，这引起大的资源浪费。

从EP 1 183 578 B1中已知如下设备，所述设备描述增强现实系统，其具有用于上下文相关地渐显安装指示的移动设备。

从EP 1 157 316 B1中已知借助于增强现实技术来符合情形地支持交互作用的方法。对于优化的支持，尤其在系统构建时，在投入运行直至维护自动化技术控制的系统和过程时提出，自动地检测和统计学地分析具体的工作情形。

从US 2002/0010734 A1中已知联网的增强现实系统，其由一个或多个本地站点或多个本地站点和一个或多个远程站点构成。远程站点可以提供资源，所述资源在本地站点中不可用，例如数据库、高性能计算器等。

从US 6,463,438 B1中已知基于神经网络的图像识别系统，用于检测癌细胞并且将组织细胞分类成正常或不正常。

发明内容

本发明的目的是提出一种改进的方法以及一种改进的设备，借助所述方法和/或设备可以在质量保证方面监控工业过程的手动的过程步骤。

所述目的借助根据权利要求1的方法以及根据权利要求9的对应的设备根据本发明来实现。有利的设计方案在相应的从属权利要求中得出。

根据权利要求1，提出一种用于借助于监控系统来监控工业过程的工业过程步骤的方法，其中首先提供监控系统的机器学习系统。提供的机器学习系统具有至少一个机器训练的决策算法，所述决策算法包含作为输入数据的数字图像数据和作为输出数据的工业过程步骤的过程状态之间的相关性。机器学习系统因此借助至少一个决策算法提供给系统，其中数字图像数据作为输入数据关于其相应的过程状态被学习，使得通过输入数字图像数据基于经学习的普遍性的原理可以从经学习的相关性中推导出和确定相应的过程状态。

为了监控工业过程步骤、尤其通过人手动地或手工地执行的过程步骤，现在借助于至少一个图像记录单元的至少一个图像传感器来连续地记录数字图像数据。数字图像传感器在此可以由人佩戴在身体上并因此尤其在人的视线或操作范围中记录数字图像数据。在此可以提出，多个人参与待执行的过程步骤，其中这些人中的多个人可以配备图像记录单元。但是也可考虑的是，一个或多个人的视线和/或操作范围通过至少一个静态的图像记录单元和相应的图像传感器来记录。

经由有线的或无线的连接，所述通过至少一个图像记录单元记录的数字图像数据传送给具有至少一个决策算法的机器学习系统，其中基于作为到决策算法中的输入数据的数字图像数据，确定对此学习的过程状态作为输出数据。基于确定的过程状态，现在操控输出单元，使得将视觉的、声学的和/或触觉的输出对人、尤其参与该过程的人输出。

因此例如可考虑，在表征过程步骤的有错误的状况的识别到的过程状态中，将相应的视觉的、声学的和/或触觉的警告输出给人，以便因此意识到有错误的过程进程。

由此可能的是，在执行尤其手动的过程步骤时出现过程错误期间，已经可以向人指示相应的有错误地执行的过程进程，使得这种有错误的过程进程在整个工业过程中不进一步地传播并从而可能引起更大的损坏。更确切地说，通过本发明在执行手动的过程步骤时的错误在出现期间已经可以识别，并且将其指示给相关人员。此外也可能的是，在手动质量保证的范围中，通过自动识别有错误的构件支持对质量保证负责的人，从而改进和更有效地进行质量保证的过程步骤。此外，借助于本发明可以将手动执行的过程步骤存档，由此可以满足在执行安全攸关的过程步骤时的编档责任。

具有决策算法的机器学习系统例如可以在计算单元上执行，其中计算单元连同数字图像传感器一起可以安置在移动设备中并且由相关的人携带。此外也可考虑的是，具有决策算法的数字计算单元是更大的数据处理设施的组成部分，图像记录装置或数字图像传感器无线地或有线地与所述数据处理设施连接。当然也可考虑两个变型形式的混合形式，即决策算法的中央的和非中央的提供。

在一个实施方式中，机器学习系统的决策算法是人工神经网络，所述人工神经网络经由相应的输入神经元获得数字图像数据(在处理状态中或在未处理状态中)作为相应的输入数据，并且通过人工神经网络的相应的输出神经元生成输出，其中输出表征工业子过程的过程状态。由于在训练方法中训练人工神经网络连带其加权连接使得其可以将学习数据普遍化的能力，当前记录的图像数据可以作为输入数据提供给人工神经网络，使得基于学习可以将记录的图像数据与相应的过程状态相关联。

在一个实施方式中，数字图像数据通过至少一个移动设备记录，其中移动设备由参与工业过程步骤的人携带，并且其中在移动设备上设置有一个或多个数字图像传感器。由移动设备记录的图像数据随后被传输给具有至少一个决策算法的机器学习系统。

这种移动设备例如可以包含或是可由人佩戴的眼镜构造，其中在可佩戴的眼镜构造处设置有至少一个图像传感器。借助于由人佩戴的眼镜构造现在记录图像数据并且将其传输给具有决策算法的机器学习系统。数字图像传感器在此设置在眼镜构造处，使得当眼镜构造作为眼镜由人佩戴时，其记录人的视线范围。因为通常头沿视线方向定向，所以优选地人的操作范围或部段在人看向相应的方向时也被记录。这种具有眼镜构造的移动设备例如可以是VR眼镜(虚拟现实)或AR眼镜(增强现实)。

眼镜构造在此可以与在上文中描述的计算单元连接或者具有这种计算单元。在此可考虑的是，眼镜构造具有通信模块，以便当计算单元与机器学习算法的知识数据库设置在远离的地点处时，与计算单元通信。这种通信模块例如可以是无线的或有线的并且针对相应的通信标准，如蓝牙、以太网、WLAN等。借助于通信模块在此可以传输图像数据和/或当前过程状态，其借助于决策算法已经已知。

在此，输出单元为了视觉的、声学的和/或触觉的输出设置在眼镜构造处，使得输出单元可以产生给人的相应的视觉的、声学的和/或触觉的输出。在具有眼镜的相应的增强现实系统中可考虑的是，在人的视线范围中投影视觉类型的相应的指示，以便将从机器学习系统中确定的过程状态作为相应的输出传送给人。如果例如眼镜构造在空间中的位置以及其定向是已知的，那么除了纯视觉的输出之外也可以进行地点准确的输出，即人的可以通过人眼感觉到的周围环境通过相应的指示在视觉上被扩展，使得所述指示直接处于人的周围环境中的相应的物体处。

可考虑的是，声学输出呈语音输出、音调或其他声学指示的形式。触觉输出是可考虑的，例如呈振动等的形式。

数字图像传感器例如可以为用于记录2D图像数据的2D图像传感器。在该情况下，通常数字图像传感器足以。但是也可考虑的是，数字图像传感器是用于记录数字3D图像数据的3D图像传感器。也可考虑2D和3D图像数据的相应的组合。所述2D图像信息或3D图像信息于是根据机器学习系统的至少一个决策算法作为输入数据提供，以便获得过程状态作为输出数据。通过3D图像数据或者2D和3D图像数据的组合，实现明显更高的输出精度。因此，与3D图像数据或2D和3D图像数据的组合相关地，可以检测物理对象的相应的(附加的)参数，如例如大小和比值，并且在确定当前过程状态时一起考虑。此外，借助于3D图像数据在本发明的上下文中可以确定附加的深度信息，并且在确定当前过程状态时一起考虑。

借助于3D图像数据此外尤其可以扫描、测量对象和/或测量距其的距离并且在确定当前过程状态时一起考虑。这改进方法，因为检测和评估例如用于识别有错误的构件的其他信息并从而改进质量保证的过程步骤。

3D图像传感器例如可以为所谓的渡越时间相机。但是也存在其他的、已知的图像传感器，其可在本发明的上下文中使用。

此外可考虑的是，从3D图像数据中确定的、可以从3D图像数据中直接地或间接地推导的参数、如例如大小、关系、距离等至少部分地一起学习。因此，决策算法不仅包含在图像数据和过程状态之间的相关性，而且附加地在一个有利的设计方案中也还包括从3D图像数据或者2D和3D图像数据的组合中推导出来的过程参数和过程状态之间的相关性。由此可以改进识别精度。

但是作为具有图像传感器的移动设备也可考虑电话，如例如智能电话或平板电脑。移动设备在此除了图像记录单元之外也可以包含输出单元，使得相应的佩戴移动设备的人也可以通过移动设备感受输出单元的相应的输出。

监控系统在此可以设立成，使得在训练模式中机器学习系统的至少一个决策算法通过记录的数字图像数据学习。在此可考虑的是，首先机器学习系统的决策算法在训练模式中被训练并且随后仅在生产模式中运行。但是也可考虑训练模式和生产模式的组合，使得不仅连续地从机器学习系统的决策算法中确定过程状态作为输出数据，而且持续地也进一步地学习决策算法(和在其中存储的知识基础)(例如以公开的学习方法的形式)。由此可行的是，持续地发展决策算法，以便因此改进输出性能。

在此可考虑的是，机器学习方法的决策算法在第一可行的替选方案中在计算单元上作为实例运行，使得生产模式和可能训练模式基于相同知识或借助相同决策算法执行。在另一替选方案中但是也可考虑，至少一个决策算法在两个分离的计算单元上运行或者在一个计算单元中作为至少两个实例存在，其中执行决策算法的第一实例的生产模式，而同时在第二实例上执行训练模式。因此，在生产模式中，决策算法保持不变，而决策算法的第二实例持续发展。如果具有决策算法的机器学习系统在移动计算单元上执行，那么第二替选方案是特别有利的。因为在此通常计算能力并不提供给复杂的训练模式，在移动式计算单元中可以仅执行生产模式，而在远离设置的第二计算单元(例如服务器设施)上学习另一知识数据库。

据此有利的是，在训练模式中通过机器学习系统的训练模块基于记录的数字图像数据学习决策算法的一个或多个参数，和/或在生产模式中通过机器学习系统的决策算法确定工业过程步骤的至少一个当前过程状态。

在另一有利的实施方式中，工业过程步骤的至少一个当前过程状态通过在至少一个移动设备上执行的决策算法确定，其中移动设备由参与工业过程步骤的人携带。在此可考虑的是，也存在多个移动设备，在所述移动设备上分别执行机器学习系统的相应的决策算法，使得在每个移动设备处借助于执行的决策算法确定相应当前过程状态。

在此可考虑的是，将记录的数字图像数据传输给在网络中可访问的数据处理设施，其中通过机器学习系统的在数据处理设施上执行的训练模块基于记录的数字图像数据来学习决策算法的一个或多个参数，并且随后决策算法的参数由数据处理设施传输给由人携带的移动设备并且作为决策算法的基础。

由此可能的是，持续地借助记录的数字图像数据训练决策算法，并且以规则的间隔随后将经训练的决策算法的参数传输给相应的移动设备，以便因此持续地改进用于决策算法的基础或知识基础。由于移动设备不具有用于基于新记录的图像数据来训练决策算法的参数所需要的计算能力的事实，有利的是，在不同的设备上执行生产模式和训练模式。在此，大型服务器设施特别好地适合于训练这种决策算法。

替选地或附加地但是也能够考虑的是，将记录的数字图像数据传输给在网络中可访问的数据处理设施，其中工业过程步骤的至少一个当前的过程状态通过在数据处理设施上执行的决策算法确定，其中随后地，与工业过程步骤的确定的当前过程状态相关地通过数据处理设施操控输出单元，以产生视觉的、声学的和/或触觉的输出。在此可以提出，通过机器学习系统的在数据处理设施上执行的训练模块基于记录的数字图像数据学习决策算法的一个或多个参数。输出单元的操控在此可以直接地通过数据处理设施进行或者间接地通过插接一个或多个移动设备进行。

在该实施方式中，因此生产模式和可能训练模式在网络中可访问的数据处理设施上执行，使得只要输出单元设置在移动设备上，由移动设备仅传输图像传感器的图像数据，当前过程状态的结果向回传输到移动设备上。

在此可考虑的是，对于每个移动设备在数据处理设施上存在自身的决策算法，所述决策算法在训练模式中学习。数据处理设施于是可以设立成，使得其为了改进结果将决策算法彼此组合，以便这样将其进一步地优化。然而也可考虑的是，对于多个移动设备在数据处理设施上仅存在唯一的决策算法，所述决策算法通过多个不同的移动设备的输入在训练模式中训练。

如果在数据处理设施上存在多个决策算法，那么也能够考虑的是，其彼此无关地学习和从而随后选择最佳训练的决策算法。选择在此可以根据不同的标准进行，如例如识别质量、知识结构的简单性等。

在该上下文中，因此特别有利的是，例如在数据处理设施上存在的决策算法从多个彼此独立地训练的决策算法中与选择标准和/或优化标准相关地选择。这种选择标准和/或优化标准在此例如可以是识别质量、简单性、知识结构、在其上执行决策算法的移动设备的特性等。

选择的决策算法于是用于确定当前过程状态。这例如可以通过如下方式实现：将图像数据传输给数据处理单元并且在那里作为输入数据作为选择的决策算法的基础。然而这也可以通过如下方式实现：决策算法传输到相关的移动设备上并且在那里应用。

由此可以实现有效地选择最优地匹配于当前的情形的决策算法。因此例如可以选择决策算法，使得其最优地匹配于移动设备。如果移动设备例如为资源受限的或资源薄弱的设备(相对于其他移动设备减小的性能)，那么可以选择最优地匹配于在移动设备中存在的资源条件的决策算法。这例如可以表示，决策算法不是那么计算密集的并从而可以在移动设备上优化地执行(然而对此可能具有减小的精度或速度或效率)。这例如可以通过决策算法的简化的知识结构来实现。这当然也适用于监控系统。

但是也可考虑的是，生产模式在移动设备上执行和从而每个移动设备具有决策算法，由数据处理设施和在那里训练的决策算法将在那里存在的决策算法的参数传输给全部(或者其中选择的)移动设备上，以便因此将不同的经训练的决策算法在移动设备上组合。

所述目的此外也借助根据权利要求9的监控系统来实现，其中监控系统具有如下：

-至少一个图像记录单元，所述图像记录单元具有至少一个数字图像传感器用于记录数字图像数据；

-具有至少一个机器训练的决策算法的机器学习系统，所述决策算法包含作为机器学习系统的输入数据的数字图像数据和作为机器学习系统的输出数据的要监控的工业过程步骤的过程状态之间的相关性；

-至少一个计算单元，用于借助于可在计算单元上执行的决策算法来确定工业过程步骤的至少一个当前过程状态，其方式为：基于经训练的决策算法从作为机器学习系统的输入数据的所记录的数字图像数据中生成工业过程步骤的当前的过程状态作为机器学习系统的输出数据；和

-输出单元，所述输出单元设立用于与至少一个确定的当前过程状态相关地产生视觉的、声学的和/或触觉的输出。

监控系统的有利的设计方案在对应的从属权利要求中得出。

因此可以提出，机器学习系统是或者包含人工神经网络作为决策算法。

此外可以提出，监控系统具有至少一个移动设备，所述移动设备构成用于由至少一个人携带，并且在所述移动设备上设置有图像记录单元的至少一个数字图像传感器，使得可以记录数字图像数据，其中移动设备设立成，将所记录的数字图像数据传输给机器学习系统。

此外可以提出，监控系统具有训练模式，其中通过机器学习系统的训练模块基于所记录的数字图像数据来学习决策算法的一个或多个参数，和/或监控系统具有生产模式，其中通过机器学习系统的决策算法来确定工业过程步骤的至少一个当前过程状态。

此外可以提出，监控系统具有带有计算单元的移动设备，所述移动设备可以由参与工业过程步骤的人携带，其中移动设备设立成，通过在计算单元上执行的决策算法来确定工业过程步骤的至少一个当前过程状态。

此外可以提出，监控系统具有在网络中可访问的数据处理设施，所述数据处理设施设立成，接收由图像记录单元所记录的数字图像数据，通过机器学习系统的在数据处理设施上执行的训练模块基于接收的数字图像数据来学习决策算法的一个或多个参数，并且随后将决策算法的参数由数据处理设施传输给由人携带的移动设备。

此外可以提出，监控系统具有在网络中可访问的数据处理设施，所述数据处理设施设立成，接收由图像记录单元记录的数字图像数据，通过在数据处理设施执行的决策算法来确定工业过程步骤的至少一个当前过程状态，并且与工业过程步骤的确定的当前过程状态相关地操控输出单元，以产生视觉的、声学的和/或触觉的输出。

在此可以提出，数据处理设施此外设立成，通过机器学习系统的在数据处理设施上执行的训练模块基于接收的数字图像数据来学习决策算法的一个或多个参数并且作为决策算法的基础。

在此附加地始终可以提出，存在多于一个的决策算法，尤其用于训练模式或训练模块的决策算法和用于生产模式或生产模块的决策算法。在此，对于每个移动终端设备不仅在训练模式中而且在生产模式中可以分别存在自身的决策算法。但是也可考虑的是，对于确定的移动设备组存在自身的决策算法，所述决策算法通过移动设备组共同地在训练模式中学习。这样针对移动设备组训练的决策算法于是通过其参数也仅传输给处于组中的移动设备。

附图说明

根据附图示例性地详细阐述本发明。附图示出：

图1示出监控系统的示意图；

图2示出移动设备的示意图；

图3示出数据处理设施的示意图。

具体实施方式

图1示意地在非常大程度简化的视图中示出监控系统1的各个组件，借助所述监控系统要监控工业过程的未示出的手动的工业过程步骤。监控系统1在图1的实施例中具有增强现实系统100，所述增强现实系统以移动设备的形式具有至少两个图像传感器110和120。第一图像传感器110在此是用于记录2D图像数据的2D图像传感器，而第二图像传感器120是用于记录数字3D图像数据的3D图像传感器。

由图像传感器110和120记录的数字图像数据随后提供给第一计算单元130，所述第一计算单元随后基于其计算来操控增强现实系统100的输出单元140。输出单元140在此构成用于视觉地、声学地和/或触觉地输出给人。

图像传感器110或120和输出单元140不必强制性地是移动设备的整体的组成部分。也可考虑的是，在此为分布式组件，所述组件仅通过移动设备与计算单元130链接。然而，可考虑的并且优选的是集成的解决方案，其中移动设备、例如AR眼镜或VR眼镜包含图像传感器110或120和输出单元140。

因此有利的是，图像传感器110或120本身以及输出单元140是眼镜构造的组成部分，所述眼镜构造通过相关的人以眼镜的形式佩戴。第一计算单元130在此可以同样是眼镜的组成部分，由此能够实现非常紧凑的构造。但是也能够考虑的是，计算单元130以移动设备的形式佩戴在相关人的身体上并且在此无线地和/或有线地与眼镜连接。

监控系统1此外具有数据处理设施300，所述数据处理设施经由网络200与移动设备100或增强现实系统100连接。数据处理设施300在此具有第二计算单元310，所述第二计算单元结合确定当前过程状态对应地设立。因此，数据处理设施300的第二计算单元310例如可以执行训练模块，借助所述训练模块训练决策算法。也可考虑的是，第二计算单元310执行生产模块，借助所述生产模块基于决策算法确定当前过程状态。

经由网络200此外配置单元400可访问数据处理设施300，所述数据处理设施尤其可以包含关于图像的分类的信息。这例如在如下情况下是有意义的：即事先已经对记录的图像数据、现在为2D图像数据或3D图像数据进行分析和必要时分类。

图2示意地示出具有第一计算单元130的增强现实系统100和在不同的设计方案中传输的数据。首先，第一计算单元130从2D图像传感器110获得2D图像数据D110。此外，第一计算单元130从3D图像传感器获得3D图像数据D120。当然可考虑，仅2D图像数据D110或3D图像数据D120提供给第一计算单元130。

在第一实施方式中，图像数据D110和/或图像数据D120提供给增强现实系统100的第一计算单元130的第一决策模块131，其中第一决策模块构成用于执行决策算法，例如以神经网络的形式。第一决策模块130的决策算法在此是机器学习系统的组成部分并且包含一方为作为输入数据的数字图像数据和另一方为作为输出数据的要监控的工业过程步骤的过程状态之间的相关性。第一决策模块131的决策算法现在借助图像数据D110和/或D120作为输入数据来馈送并从而确定当前过程状态D131作为输出数据。当前过程状态D131为本地产生的决策数据，所述决策数据通过在第一计算单元上执行的决策算法借助于第一决策模块131生成。所述这样确定的当前过程状态D131随后经由第一计算单元130的接口传输到输出单元140上，在那里随后可以进行对应的声学的、视觉的和/或触觉的输出。在此，输出单元140可以构成为，使得其直接地根据确定的当前过程状态D131生成对应的输出。然而也可考虑的是，基于当前过程状态D131对应地操控在不具有其他智能的情况下存在的输出单元140。

在该实施方式中，增强现实系统100关于生产模式与可能存在的服务器系统自立地工作，其中决策算法可以保持被训练或不被训练。在此可考虑的是，通过第一决策模块也执行训练模式，以便进一步地训练在第一决策模块中存在的决策算法。训练模式和生产模式因此通过第一计算单元130共同地执行。

在另一实施方式中但是可考虑的是，将图像数据D110和D120经由网络200传输给已经从图1中已知的数据处理设施300和在那里存在的第二计算单元310。根据数据处理设施300实现哪个功能，作为增强现实系统100的第一计算单元130的结果可以是远程确定的当前过程状态D311或进一步训练的决策算法的参数D312。但是也可考虑的是，两个数据集D311、D312提供给第一计算单元130。

如果由数据处理设施300经由网络200提供通过数据处理设施进一步训练的决策算法的参数D312，那么所述参数D312提供给第一决策模块131。在那里存在的决策算法现在通过参数D312补充或者扩展或替代，使得第一决策模块131的生产模式以在数据处理设施中训练的决策算法为基础。当然与此并行地，此外将图像数据D110和D120提供给第一决策模块131，以便在本地通过第一计算单元130来确定当前过程状态D131。决策模块131的基础持续地通过远程训练的决策算法改进，由此可以改进识别率。

但是也可考虑的是，替选地或并行地通过数据处理设施300在第二计算单元310的生产模式中确定当前过程状态并且随后提供给第一计算单元130。如果仅通过数据处理设施300确定当前过程状态，那么其随后作为数据D311传输给输出单元140。然而如果同时也通过第一计算单元和在其中包含的决策模块131确定对应的当前过程状态D131，那么可提供对应的输出单元的两个过程状态。其随后可以从两个过程状态(本地：D131，远程：D311)中生成对应的输出。

图3以示意细节图示出数据处理设施300的第二计算单元310的数据流。如已经在图2中提到的那样，经由网络，图像数据D110和D120传输给第二计算单元310。第二计算单元310在此可以具有第二决策模块311和/或训练模块312，其中也为两个模块，若其都存在，都被提供相应的图像数据D110和D120。

第二决策模块311具有一个或多个决策算法，所述决策算法包含在作为输入数据的数字图像数据D110、D120和作为输出数据的过程状态D311之间的相关性。呈当前过程状态的形式的输出数据D311随后经由网络再次向回传输给增强现实系统100(参见图2)。

此外，第二计算单元310可以具有训练模块312，所述训练模块同样获得图像数据D110和D120。借助于训练模块随后在对应的学习方法中学习决策算法的参数并且随后必要时以参数数据D312的形式提供给决策模块311。决策算法的新学习的参数D312在此可以通过训练模块312经由网络又提供给增强现实系统100。

学习的参数D312到增强现实系统100的传输在此在离散的、不强制性固定预设的时刻进行。在此也可考虑的是，决策算法的所述参数D312传输给多于一个的增强现实系统，所述增强现实系统与数据处理设施300连接。

附图标记列表：

1 监控系统

100 移动设备/增强现实系统

110 2D图像传感器

120 3D图像传感器

130 第一计算单元

131 第一决策模块

140 输出单元

200 网络

300 数据处理设施

310 第二计算单元

311 第二决策模块

312 训练模块

400 配置单元

D110 2D图像数据

D120 3D图像数据

D131 本地确定的当前过程状态

D311 远程确定的当前过程状态

D312 决策算法的参数

D400 配置数据

Claims (18)

1.一种用于借助于监控系统(1)来监控工业过程的工业过程步骤的方法，其中所述方法包括如下步骤：

-提供所述监控系统(1)的机器学习系统，所述机器学习系统借助于至少一个机器训练的决策算法(131，311)包含作为输入数据(D110，D120)的数字图像数据和作为输出数据(D131，D311)的待监控的工业过程步骤的过程状态之间的相关性；

-借助于所述监控系统(1)的至少一个图像记录单元的至少一个图像传感器(110，120)来记录所述数字图像数据(D110，D120)；

-通过所述机器学习系统的所述决策算法(131，311)来确定所述工业过程步骤的至少一个当前过程状态(D131，D311)，其方式为：基于训练的决策算法(131，311)从作为所述机器学习系统的输入数据(D110，D120)的所记录的数字图像数据中生成工业过程步骤的至少一个当前过程状态作为所述机器学习系统的输出数据(D131，D311)；和

-通过借助于输出单元(140)与至少一个确定的当前过程状态(D131，D311)相关地产生视觉的、声学的和/或触觉的输出来监控所述工业过程步骤。

2.根据权利要求1所述的方法，

其特征在于，

所述机器学习系统包含人工神经网络作为决策算法(131，311)。

3.根据权利要求1或2所述的方法，

其特征在于，

所述数字图像数据(D110，D120)通过至少一个移动设备(100)记录并且传输给所述机器学习系统，所述移动设备由参与所述工业过程步骤的人携带并且设置在图像记录单元的至少一个数字图像传感器(110，120)上。

4.根据上述权利要求中任一项所述的方法，

其特征在于，

在训练模式中通过所述机器学习系统的训练模块(312)基于记录的数字图像数据(D110，D120)学习所述决策算法(131，311)的一个或多个参数(D312)，和/或在生产模式中通过所述机器学习系统的所述决策算法(131，311)来确定所述工业过程步骤的至少一个当前过程状态(D131，D311)。

5.根据上述权利要求中任一项所述的方法，

其特征在于，

通过在至少一个移动设备(100)上执行的决策算法(131)确定所述工业过程步骤的至少一个当前过程状态(D131)，所述移动设备由参与所述工业过程步骤的人携带。

6.根据权利要求5所述的方法，

其特征在于，

将记录的数字图像数据(D110，D120)传输给在网络(200)中可访问的数据处理设施(300)，其中通过所述机器学习系统的在所述数据处理设施(300)上执行的训练模块(312)基于所记录的数字图像数据(D110，D120)学习所述决策算法(131)的一个或多个参数(D312)，并且随后所述决策算法(131)的参数(D312)由所述数据处理设施(300)传输给由人携带的移动设备(100)上并且作为所述决策算法(131)的基础。

7.根据上述权利要求中任一项所述的方法，

其特征在于，

将所记录的数字图像数据(D110，D120)传输给在网络(200)中可访问的数据处理设施(300)，其中所述工业过程步骤的所述至少一个当前过程状态(D131，D311)通过在所述数据处理设施(300)上执行的决策算法(311)确定，其中随后与所述工业过程步骤的确定的当前过程状态相关地，通过所述数据处理设施(300)操控所述输出单元(140)来产生视觉的、声学的和/或触觉的输出。

8.根据权利要求7所述的方法，

其特征在于，

通过所述机器学习系统的在所述数据处理设施(300)上执行的训练模块(312)，基于所记录的数字图像数据来学习所述决策算法(311)的一个或多个参数(D312)。

9.根据上述权利要求中任一项所述的方法，

其特征在于，

在所述数据处理设施(300)上保存有多个决策算法，所述多个决策算法已彼此独立地学习或被彼此独立地学习，其中与选择标准和/或优化标准相关地，从所述多个决策算法中选择一个决策算法，其中所选择的决策算法作为确定所述当前过程状态的基础。

10.一种用于监控工业过程的工业过程步骤的监控系统(1)，其中所述监控系统(1)具有如下：

-至少一个图像记录单元，所述图像记录单元具有用于记录数字图像数据(D110，D120)的至少一个数字图像传感器(110，120)；

-具有至少一个机器训练的决策算法(131，311)的机器学习系统，所述决策算法包含作为所述机器学习系统的输入数据(D110，D120)的数字图像数据和作为所述机器学习系统的输出数据(D131，D311)的待监控的工业过程步骤的过程状态之间的相关性；

-至少一个计算单元(130，310)，所述计算单元用于借助于在所述计算单元(130，310)上可执行的决策算法(131，311)来确定所述工业过程步骤的至少一个当前过程状态，其方式为：基于训练的决策算法从作为所述机器学习系统的输入数据(D110，D120)的所记录的数字图像数据中生成所述工业过程步骤的至少一个当前过程状态作为所述机器学习系统的输出数据(D131，D311)；和

-输出单元(140)，所述输出单元设立用于与至少一个确定的当前过程状态(D131，D311)相关地为人产生视觉的、声学的和/或触觉的输出。

11.根据权利要求10所述的监控系统(1)，

其特征在于，

所述机器学习系统包含人工神经网络作为决策算法。

12.根据权利要求10或11所述的监控系统(1)，

其特征在于，

所述监控系统(1)具有至少一个移动设备(100)，所述移动设备构成用于由至少一个人携带并且在所述移动设备处可以设置有所述图像记录单元的至少一个数字图像传感器(110，120)，使得能够记录数字图像数据(D110，D120)，其中所述移动设备(100)设立成，将所记录的数字图像数据(D110，D120)传输给所述机器学习系统。

13.根据权利要求10至12中任一项所述的监控系统(1)，

其特征在于，

所述监控系统(1)具有训练模式，在所述训练模式中，通过所述机器学习系统的所述训练模块(312)基于所记录的数字图像数据(D110，D120)学习所述决策算法(131，311)的一个或多个参数(D312)，和/或所述监控系统(1)具有生产模式，在所述生产模式中，通过所述机器学习系统的所述决策算法(131，311)确定所述工业过程步骤的所述至少一个当前过程状态(D131，D311)。

14.根据权利要求10至13中任一项所述的监控系统(1)，

其特征在于，

所述监控系统(1)具有带有计算单元(130，310)的移动设备(100)，所述移动设备能够由参与所述工业过程步骤的人携带，其中所述移动设备设立成，通过在所述计算单元(130，310)上执行的决策算法来确定所述工业过程步骤的至少一个当前过程状态。

15.根据权利要求14所述的监控系统(1)，

其特征在于，

所述监控系统(1)具有在网络(200)中可访问的数据处理设施(300)，所述数据处理设施设立成，接收由所述图像记录单元记录的数字图像数据，通过在所述数据处理设施(300)上执行的所述机器学习系统的训练模块(312)基于接收到的数字图像数据来学习所述决策算法的一个或多个参数(D312)，并且随后所述决策算法的参数由所述数据处理设施(300)传输给由人携带的移动设备。

16.根据权利要求10至15中任一项所述的监控系统(1)，

其特征在于，

所述监控系统(1)具有在网络(200)中可访问的数据处理设施(300)，所述数据处理设施设立成，接收由所述图像记录单元记录的数字图像数据，通过在所述数据处理设施(300)上执行的决策算法来确定所述工业过程步骤的至少一个当前过程状态，并且与所述工业过程步骤的所述确定的当前过程状态相关地，操控所述输出单元(140)以产生视觉的、声学的和/或触觉的输出。

17.根据权利要求16所述的监控系统(1)，

其特征在于，

所述数据处理设施(300)此外设立成，通过在所述数据处理设施(300)上执行的所述机器学习系统的训练模块(312)基于接收到的数字图像数据学习所述决策算法的一个或多个参数，并且作为所述决策算法的基础。

18.根据权利要求10至17中任一项所述的监控系统(1)，

其特征在于，

所述监控系统(1)构成用于执行根据权利要求1至9中任一项所述的方法。

Images