CN113508349A - 用于具有混合现实和机器学习技术的qcs扫描架的360°辅助 - Google Patents
用于具有混合现实和机器学习技术的qcs扫描架的360°辅助 Download PDFInfo
- Publication number
- CN113508349A CN113508349A CN202080017971.0A CN202080017971A CN113508349A CN 113508349 A CN113508349 A CN 113508349A CN 202080017971 A CN202080017971 A CN 202080017971A CN 113508349 A CN113508349 A CN 113508349A
- Authority
- CN
- China
- Prior art keywords
- qcs
- gantry
- machine learning
- display
- field device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000010801 machine learning Methods 0.000 title claims abstract description 39
- 238000009434 installation Methods 0.000 claims abstract description 40
- 238000004519 manufacturing process Methods 0.000 claims abstract description 19
- 230000003287 optical effect Effects 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims abstract description 17
- 230000009471 action Effects 0.000 claims abstract description 13
- 238000004801 process automation Methods 0.000 claims abstract description 10
- 238000012423 maintenance Methods 0.000 claims abstract description 5
- 238000003908 quality control method Methods 0.000 claims abstract description 5
- 238000004891 communication Methods 0.000 claims description 11
- 230000002452 interceptive effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 description 14
- 238000003745 diagnosis Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000015654 memory Effects 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000013024 troubleshooting Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000002085 persistent effect Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000004886 process control Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
- G05B19/042—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B23/00—Testing or monitoring of control systems or parts thereof
- G05B23/02—Electric testing or monitoring
- G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/401—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by control arrangements for measuring, e.g. calibration and initialisation, measuring workpiece for machining purposes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
- G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
- G05B19/4063—Monitoring general control system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32014—Augmented reality assists operator in maintenance, repair, programming, assembly, use of head mounted display with 2-D 3-D display and voice feedback, voice and gesture command
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Manufacturing & Machinery (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- User Interface Of Digital Computer (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Electrically Operated Instructional Devices (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Telephonic Communication Services (AREA)
Abstract
本发明提供了一种装置、方法和非暂态机器可读介质，其用于使用光学传感器、显示器、chatbot、云服务和可操作地连接到该光学传感器和显示器的处理器来为具有混合现实和机器学习技术的质量控制扫描架提供360°辅助，其中处理器从与工业过程控制和自动化系统中的现场设备相关的服务器接收诊断信息，以使用光学传感器识别和检测现场设备的问题，以及使用显示器将用户引导到现场设备的位置和扫描架部分以采取步骤或动作来解决问题；以及连接到云服务器以获取质量控制系统的安装模块、调试模块、年度维护模块和培训模块。
Description
技术领域
本公开整体涉及自主操作工业设备。更具体地，本公开涉及用于具有混合现实(MR)和机器学习技术的质量控制系统(QCS)扫描架的360°辅助的系统和方法。
背景技术
QCS扫描架的安装、升级、维护需要专业领域知识，因为其涉及辐射源的处理，涉及具有一系列程序步骤的精确工作，并且应当是无差错的。在这个行业中，具有处理QCS扫描架专业知识的人正老龄化并且即将退休。由于能力差距以及缺乏专业知识，新的TAC和服务区域正面临支持QCS扫描架的困难。QCS扫描架的故障诊断需要专业领域知识来精确地识别潜在问题并解决该潜在问题。另外，纠正问题所需的时间可根据专业知识而变化。QCS扫描架的培训需要在物理扫描架和物理环境方面花时间进行培训。
发明内容
本公开提供了用于具有混合现实(MR)和机器学习技术的QCS扫描架的360°辅助的系统和方法。
在第一实施方案中，一种装置提供了用于具有混合现实(MR)和机器学习技术的QCS扫描架的360°辅助。该装置包括光学传感器、显示器和可操作地连接到光学传感器和显示器的处理器。处理器从与工业过程控制和自动化系统中的现场设备相关的服务器接收诊断信息；基于诊断信息识别现场设备的问题；使用光学传感器检测与所识别的问题对应的现场设备；使用显示器将用户引导到与所述问题相关的现场设备的位置和扫描架部分；以及使用显示器提供必要的步骤或动作以解决该问题。
在第二实施方案中，一种方法提供了用于具有混合现实(MR)和机器学习技术的QCS扫描架的360°辅助。该方法包括从与工业过程控制和自动化系统中的现场设备相关的服务器接收诊断信息；基于诊断信息识别现场设备的问题；使用光学传感器检测与所识别的问题对应的现场设备；使用显示器将用户引导到与所述问题相关的现场设备的位置和扫描架部分；以及使用显示器提供必要的步骤或动作以解决该问题。
在第三实施方案中，一种非暂态介质提供了用于具有混合现实(MR)和机器学习技术的QCS扫描架的360°辅助。指令使得一个或多个处理器从与工业过程控制和自动化系统中的现场设备相关的服务器接收诊断信息；基于诊断信息识别现场设备的问题；使用光学传感器检测与所识别的问题对应的现场设备；使用显示器将用户引导到与所述问题相关的现场设备的位置和扫描架部分；以及使用显示器提供必要的步骤或动作以解决该问题。
从以下附图、描述和权利要求书中，其他技术特征对本领域的技术人员是显而易见的。
附图说明
为了更完整地理解本公开，现在结合附图参考以下描述，在附图中：
图1示出了根据本公开的示例性工业过程控制和自动化系统；
图2示出了根据本公开的用于具有混合现实(MR)和机器学习技术的QCS扫描架的360°辅助的示例性设备；
图3示出了根据本公开的用于具有混合现实(MR)和机器学习技术的QCS扫描架的360°辅助的示例性QCS扫描架系统；
图4示出了根据本公开的实施方案的具有增强现实、Chatbot和机器学习技术的示例性QCS扫描架故障诊断技术；
图5示出了根据本公开的实施方案的使用虚拟现实和Chatbot技术的示例性QCS扫描架培训；
图6示出了根据本公开的实施方案的使用增强现实和Chatbot技术进行的QCS扫描架的示例性安装、调试和AMC；
图7A和图7B示出了根据本公开的实施方案的用于使用增强现实、Chatbot和机器学习技术对QCS扫描架问题进行故障诊断的示例性流程图；并且
图8A和图8B示出了根据本公开的实施方案的用于安装与调试的示例性流程图。
具体实施方式
下文讨论的图1至图8B以及用于描述本公开在该专利文献中的原理的各种实施方案仅以例证方式进行，并且不应被理解为以任何方式限制本公开的范围。本领域的技术人员将理解，本公开的原理可以在任何类型的适当布置的设备或系统中实现。
图1示出了根据本公开的示例性工业过程控制和自动化系统100。如图1所示，系统100包括有利于生产或加工至少一种产品或其他材料的各种部件。例如，系统100可用于有利于对一个或多个工业厂房中的部件的控制。每个工厂表示一个或多个加工设施(或其一个或多个部分)，诸如用于生产至少一种产品或其他材料的一个或多个制造设施。一般来说，每个工厂可实现一个或多个工业过程并且可单独地或共同地称为过程系统。过程系统通常表示被配置为以某种方式加工一种或多种产品或其他材料的其任何系统或部分。
在图1中，系统100包括一个或多个传感器102a和一个或多个致动器102b。传感器102a和致动器102b表示过程系统中可执行各种各样的功能中的任一种功能的部件。例如，传感器102a可测量过程系统中的多种特性，诸如压力、温度、流速、基重、水分、灰分、厚度等。另外，致动器102b可改变过程系统中的多种特性。传感器102a中的每个传感器包括用于测量过程系统中的一个或多个特性的任何合适的结构。致动器102b中的每个致动器包括用于在过程系统中对一个或多个条件进行操作或影响的任何合适的结构。
至少一个网络104耦接到传感器102a和致动器102b。网络104有利于与传感器102a和致动器102b的交互。例如，网络104可传输来自传感器102a的测量数据并且向致动器102b提供控制信号。网络104可表示任何合适的网络或网络的组合。作为特定示例，网络104可表示至少一个以太网网络、电信号网络(诸如HART或基金会现场总线网络)、气动控制信号网络、或任何其他或附加一种或多种类型的一个或多个网络。
系统100还包括各种控制器106。可在系统100中使用控制器106以执行各种功能以便控制一个或多个工业过程。例如，第一组控制器106可使用来自一个或多个传感器102a的测量结果来控制对一个或多个致动器102b的操作。第二组控制器106可用于优化由第一组控制器执行的控制逻辑或其他操作。第三组控制器106可用于执行额外的功能。
控制器106通常分层布置在系统中。例如，不同的控制器106可用于控制各个致动器、形成机器的致动器的集合、形成单元的机器的集合、形成工厂的单元的集合，以及形成企业的工厂的集合。控制器106的分层布置的特定示例被定义为过程控制的“普渡”模型。不同分层水平中的控制器106可经由一个或多个网络108和相关联的交换机、防火墙和其他部件进行通信。
每个控制器106包括用于控制工业过程的一个或多个方面的任何合适的结构。例如，控制器106中的至少一些控制器可表示比例积分微分(PID)控制器或多变量控制器，诸如鲁棒多变量预测控制技术(RMPCT)控制器或实现模型预测控制或其他高级预测控制的其他类型的控制器。作为特定示例，每个控制器106可表示运行实时操作系统、WINDOWS操作系统或其他操作系统的计算设备。
操作者对系统100的控制器106和其他部件的访问和交互可经由各种操作者控制台110发生。每个操作者控制台110可用于向操作者提供信息并且从操作者接收信息。例如，每个操作者控制台110可向操作者提供识别工业过程的当前状态的信息，诸如与工业过程相关联的警告、警报或其他状态和各种过程变量的值。每个操作者控制台110也可接收影响如何控制工业过程的信息，诸如通过接收由控制器106控制的过程变量的设定值或控制模式或者接收改变或影响控制器106如何控制工业过程的其他信息。
多个操作者控制台110可组合在一起并在一个或多个控制室112中使用。每个控制室112可包括以任何合适的布置方式布置的任意数量的操作者控制台110。在一些实施方案中，可使用多个控制室112来控制工业厂房，诸如，当每个控制室112包含用于管理工业厂房的分立部分的操作者控制台110时。
每个操作者控制台110包括用于向操作者显示信息以及与操作者进行交互的任何合适的结构。例如，每个操作者控制台110可以包括一个或多个处理设备114，诸如一个或多个处理器、微处理器、微控制器、现场可编程门阵列、专用集成电路、离散逻辑设备、或其他处理或控制设备。每个操作者控制台110还可以包括一个或多个存储器116，其存储由一个或多个处理设备114使用、生成或收集的指令和数据。每个操作者控制台110还可以包括有助于通过至少一个有线或无线网络进行通信的一个或多个网络接口118，诸如一个或多个以太网接口或无线收发器。
根据本公开，提供了一种技术，该技术用于具有混合现实(MR)和机器学习技术的QCS扫描架的360°辅助。系统100的一个或多个部件(例如，操作者控制台110)可被配置为执行与该技术相关联的一个或多个操作。
虽然图1示出了工业过程控制和自动化系统100的一个示例，但是可以对图1作出各种改变。例如，工业控制和自动化系统具有多种配置。图1所示的系统100旨在示出其中可以使用压力传感器的一个示例性操作环境。
图2示出了根据本公开的用于具有混合现实(MR)和机器学习技术的QCS扫描架的360°辅助的示例性设备。具体地，图2示出了示例计算设备200。在一些实施方案中，计算设备200可以表示操作者站、服务器、远程服务器或设备、或移动设备。计算设备200可以用于运行应用程序。为了便于解释，计算设备200被描述为在图1的系统100中使用，但是该设备也可以在任何其他合适的系统中使用(无论是否与工业方法控制和自动化有关)。
如图2所示，计算设备200包括至少一个处理器202、至少一个存储设备204、至少一个通信单元206和至少一个输入/输出(I/O)单元208。每个处理器202可执行指令，诸如可被加载到存储器210中的那些指令。每个处理器202代表任何合适的处理设备，诸如一个或多个微处理器、微控制器、数字信号处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或分立电路。
存储器210和持久性存储装置212是存储设备204的示例，该存储设备表示被配置为存储信息和便于信息检索的任何一个或多个结构(诸如数据、程序代码和/或临时或永久的其他合适的信息)。存储器210可表示随机存取存储器或任何其他合适的易失性的或非易失性的存储设备。持久性存储装置212可以包含支持数据的更长期存储的一个或多个部件或设备，诸如只读存储器、硬盘驱动器、闪存存储器或光盘。
通信单元206支持与其他系统或设备的通信。例如，通信单元206可包括至少一个网络接口卡或无线收发器，从而有利于通过至少一个有线或无线网络进行通信。通信单元206可通过任何合适的物理的或无线的通信链路来支持通信。
I/O单元208允许数据的输入和输出。例如，I/O单元208可通过键盘、鼠标、小键盘、触摸屏、手势控制、图像处理或其他合适的输入设备为用户输入提供连接。I/O单元208还可发送输出至显示器、打印机或其他合适的输出设备。
图3示出了根据本公开的用于具有混合现实(MR)和机器学习技术的QCS扫描架310的360°辅助的示例性QCS扫描架系统300。图3中示出的示例性QCS扫描架系统300的实施方案仅用于例证。图3不将本公开的范围限制于任何特定实施方式。
QCS扫描架系统300提供了解决潜在问题的混合现实(MR)(增强现实(AR)/虚拟现实(VR))、机器学习和Chatbot解决方案。使用MR，通过利用用于QCS扫描架的安装和升级的交互式指导来增强物理条件而使得QCS系统300的调试更安全、更容易并且对用户更友好。
QCS系统300将QCS扫描架诊断消息和故障信息与HoloLens 305集成。QCS系统300从本地/集中解决方案中心接收解决方案，并且启用交互式Chatbot和机器学习以进行故障诊断。
QCS系统使用VR和AR创建QCS扫描架的虚拟培训，这降低了培训和物理硬件的总成本。QCS系统提供关于在危险环境下安全处理辐射源的指导。QCS系统创建扫描架部件的模拟，其提供关于布线细节、设备位置识别、检查点等的详细信息。
AR解决方案为增强的物理扫描架提供了用于故障诊断的实时数据。AR解决方案增强了用于安装QCS扫描架的分步程序。AR解决方案可以上传实时扫描架状态。
机器学习和Chatbot 315使用与机器和专家聊天者的交互式即时聊天会话基于先前数据提供简单的故障诊断解决方案。机器学习和Chatbot 315可记录问题及其解决步骤以供将来使用。
VR解决方案可提供用于实施QCS扫描架的安装与调试的替代方式，而无需触及昂贵的物理部件。VR解决方案可模拟QCS扫描架场景，如实际系统故障诊断培训，并且可显示QCS系统的实时状态和提示。
QCS扫描架的术语“360°辅助”是指QCS扫描架的全面支持。QCS扫描架的关于支持的四个主要模块是模块1：接通过程中QCS扫描架问题的故障诊断；模块2：培训；模块3：QCS扫描架的安装与调试；和模块4：年度维护/定期检查。QCS扫描架支持的所有提及的模块需要不同技术/技术的组合和不同方法，以实现过程中的标准化、时间限制、可预测性和稳健性。
图4示出了根据本公开的实施方案的具有增强现实、Chatbot和机器学习技术的示例性QCS扫描架故障诊断技术400。图4中示出的示例性QCS扫描架故障诊断技术400的实施方案仅用于例证。图4不将本公开的范围限制于任何特定实施方式。
QCS故障诊断技术400包括HoloLens 405、Chatbot 410、问题识别415、电子文档420、机器学习服务器425和专家支持430。HoloLens 405是一种全息计算机，其被制造成基于扫描架版本识别QCS扫描架及其内部部件、虚拟布线布局、连接识别、扫描架机械部件识别等，还能够对扫描架进行视频流式传输以用于远程辅助。
Chatbot 410可提供基于交互式语音的Chatbot技术，该技术接受来自用户的语音输入并提供必要的输出以指导用户执行必要的动作。
问题识别415涉及将HoloLens与QCS服务器和QCS扫描架集成，以基于诊断信息提供扫描架相关的诊断。HoloLens可将用户引导至发生该问题的位置或扫描架部分，并且可提供必要的待执行步骤或动作以解决该问题。
电子文档420为HoloLens提供了识别对象并提供与该对象相关的信息(例如布线图、机械连接、测试点等)的能力。电子文档还在Chatbot的帮助下提供用户请求的任何文档的接收，这将减少搜索时间、数据可用性并改善用户体验。HoloLens可识别与现场设备相关的对象。用户可提供HoloLens使用音频传感器从外部设备接收的命令。HoloLens显示与所识别的对象的文档类型对应的文档。
机器学习服务器425是被提供以基于问题的重要性来解决问题的云服务。用户可使用Chatbot连接到机器学习服务器，可请求解决方案，可基于先前发生的类似问题来提供解决方案，并且可记录随后的程序步骤以解决当前问题，系统可通过该当前问题在将来提供更稳健和准确的解决方案。
如果机器学习服务器不能解决问题并且用户需要专家支持，则使用专家支持430。HoloLens可请求机器学习服务器以连接到可用专家。一旦与专家连接，专家就可以在实际看到问题的情况下对该问题进行解释，以便解决该问题。一旦解决问题，机器学习服务器就可以记录解决该问题所执行的步骤。
图5示出了根据本公开的实施方案的具有虚拟现实和Chatbot技术的示例性QCS扫描架培训系统500。图5中示出的示例性QCS扫描架培训500的实施方案仅用于例证。图5不将本公开的范围限制于任何特定实施方式。
QCS培训500包括HoloLens 505与Chatbot 510、基于云的培训手册，包括基于云的电子文档和视频培训515和基于云的虚拟培训模块520、以及虚拟培训525。
可穿戴设备或HoloLens 505是可在虚拟世界中模拟QCS扫描架的全息计算机，该全息计算机可对虚拟QCS扫描架进行成像。HoloLens 505可以显示物理扫描架的外观，并且可以显示可被虚拟成像的内部部件，以在使实际扫描架工作之前帮助用户学习不同的部件(例如，传感器、结构、硬件和软件配置)。
Chatbot 510为基于交互式语音的Chatbot，其接受来自用户的语音输入并且可提供必要的输出以指导用户执行必要的动作来解决问题。
基于云的电子文档和视频培训515可以涵盖QCS扫描架的基本介绍和工业用途。基于云的虚拟培训模块520可涵盖QCS扫描架、传感器、结构、硬件和软件配置、处理、服务和故障诊断的见解。培训模块的示例可包括安装与调试模块530、QCS应用模块535、故障诊断模块540、AMC与服务模块545等。
当用户佩戴HoloLens并且连接到基于云的培训模块时，使用虚拟培训525。HoloLens选择培训模块的角色。使用虚拟现实，Chatbot用户可以在不使用或触及物理扫描架的情况下进行调试、故障诊断、查看设备场景使用。
图6示出了根据本公开的实施方案的使用增强现实和Chatbot技术进行的QCS扫描架的示例性安装、调试与AMC系统600。图6中示出的QCS扫描架的示例性系统600仅用于例证。图6不将本公开的范围限制于任何特定实施方式。
QCS扫描架的系统600包括安装、调试和年度维护合同(AMC)。系统600包括HoloLens 605与Chatbot 610、基于云的安装与AMC模块615、安装与调试620、专家支持625以及AMC活动630。
HoloLens 605是被制造成识别位点位置并提供安装QCS扫描架的先决条件和检查的全息计算机。HoloLens 605可使用增强现实在QCS扫描架、各种传感器和内部部件的安装与调试期间指导用户。HoloLens可使远程助理能够进行专家建议。
Chatbot 610为基于交互式语音的Chatbot，其可接受来自用户的语音输入并且可提供必要的输出以指导用户执行必要的动作来解决问题。
基于云的安装与AMC模块615包括可基于来自云的要求而被访问的不同模块，该不同模块在很大程度上被分类为子模块。子模块包括用于支持各种版本的QCS扫描架的安装模块635、QCS传感器模块640、QCS软件安装与配置模块645、QCS扫描架模块650的AMC活动等。
安装与调试620包括连接到云服务的HoloLens。HoloLens选择可用于调试的QCS扫描架版本和传感器。安装与调试620可利用分步程序指导HoloLen调试QCS扫描架以及软件安装与配置，以全面启动QCS扫描架。
如果用户不清楚QCS扫描架的安装、调试和AMC过程的一部分或无法解决QCS扫描架的问题，则专家支持625可以为HoloLens提供用于安装、调试和AMC的专家支持。HoloLens可与专家连接并在与HoloLens用户对话时提供QCS扫描架的视觉效果。专家可以控制HoloLens以向用户指示部件。这样，专家可以更好地解释解决问题的步骤或程序。
AMC活动630基于可创建AMC清单的客户记录系统。AMC活动630可控制HoloLens指导用户执行ACM活动，该ACM活动使工程师能够收集活动和评论的便携式报告。HoloLens可为客户和用户记录生成AMC活动的最终报告。
图7A和图7B示出了根据本公开的实施方案的用于使用增强现实、Chatbot和机器学习技术对QCS扫描架问题进行故障诊断的示例性方法700、701。例如，图7A和图7B中所述的方法可结合图2中的计算设备200来执行。
在操作705中，计算设备200可以检测QCS扫描架的问题。在某些实施方案中，检测问题的计算设备200包括从与工业过程控制和自动化系统中的现场设备诸如QCS扫描架相关的服务器接收诊断信息。现场设备的问题包括导致现场设备在合适的操作要求下不工作的任何故障。
在操作710中，计算设备200可以连接到QCS服务器并接收潜在问题列表。潜在问题列表可包括已在特定机器自身上或从设备类型的共同故障列表中识别的典型问题。
在操作715中，计算设备200可接收用于从潜在问题列表中选择潜在问题的语音命令。潜在问题列表可显示在显示器上或作为音频输出提供给用户。在某些实施方案中，计算设备200可以基于诊断信息识别现场设备的问题。
在操作720中，计算设备200可以使用HoloLens上的光学传感器捕获QCS扫描架。计算设备200可使用光学传感器检测与所识别的问题对应的现场设备。一旦捕获并检测到现场设备，计算设备就可以识别与所识别的问题对应的特定部件。
在操作725中，计算设备200可以在HoloLens的显示器上显示与QCS扫描架的潜在问题相关的部件相对应的指示。计算设备200可以使用显示器将用户引导到与问题相关的现场设备的位置和扫描架部分。
在操作730中，计算设备200可以在语音命令中接收对用于解决问题的相关文档和程序的请求。计算设备200可提供必要的步骤或动作以解决该问题。必要的步骤或动作可显示在显示器上。与程序中的步骤相关的特定部件可在显示器上与任何相关文档被加亮或标记。计算设备200可在显示器上远离被加亮或标记的部件显示相关文档。
在操作735中，计算设备200可确定问题是否得到解决。如果问题得到解决，则计算设备200前进至操作780。如果问题未得到解决，则计算设备200前进至操作740。
在操作740中，计算设备200可检测到问题未得到解决。计算设备200可以从QCS服务器接收操作数据并确定现场设备仍然未有效地操作。
在操作745中，计算设备200可将HoloLens连接到机器学习服务器上的基于云的服务，以对潜在问题进行附加帮助。基于云的服务可与特定部件直接相关。
在操作750中，计算设备200可以使用Chatbot服务向机器学习服务器提供问题的详细信息。详细信息可包括来自QCS服务器的现场设备的信息以及由计算设备200捕获的任何信息。由计算设备捕获的信息可包括从光学传感器捕获的实时馈送或帧、从用户捕获的音频、从用于解决问题的过程的显示器捕获的帧等。
在操作755中，计算设备200可以基于先前历史从机器学习服务器接收问题的相关解决方案。先前历史包括从先前的现场设备以及相同类型的其他现场设备解决的问题。机器学习服务器可以基于所有输入数据或不同的替代选项提供最佳解决方案。
在操作760中，计算设备200可以确定问题是否得到解决。如果问题得到解决，则计算设备200前进至操作780。如果问题未得到解决，则计算设备200前进至操作765。
在操作765中，计算机设备200可以请求机器学习服务器连接到技术辅助中心(TAC)的主题专家。主题专家可以是具有特定类型现场设备经验的个人或处理过特定问题的个人。
在操作770中，计算设备200可将问题的详细信息和来自HoloLens的光学传感器的实时馈送提供给主题专家。主题专家可以连接到现场或发送与现场设备相关的相关信息。
在操作775中，计算设备200可以从主题专家接收用于解决问题的专家报告。专家报告可包括用于解决问题的分步指令。在每个步骤中，与相应步骤对应的不同部件可被加亮或具有置于显示器上的标记以用于识别。
在操作780中，计算设备200可以将问题类型和解决程序记录到机器学习服务器。问题类型和解决程序可与特定部件或部件的组装有关，或者与现场设备的故障有关。在操作785中，计算设备200确定问题已得到解决。
虽然图7A和图7B示出了用于具有混合现实(MR)和机器学习技术的QCS扫描架的360°辅助的方法700、701的一个示例，但是可以对图7进行各种改变。例如，图7中所示的各个步骤可以重叠、并行发生、以不同的顺序发生，或发生任何次数。
图8A和图8B示出了根据本公开的实施方案的用于安装与调试的示例性流程图。例如，图8A和8B中所述的方法可结合图6中的安装、调试与AMC系统600执行。
在操作805中，安装、调试与AMC系统600可开始QCS扫描架的安装、调试与AMC系统。
在操作810中，来自可穿戴设备的安装、调试与AMC系统600可连接到云服务器以获取用于安装、调试与AMC的角色。
在操作815中，安装、调试与AMC系统600可确定是否选择安装与调试角色。
在操作820中，安装、调试与AMC系统600使用对可穿戴设备的语音命令可向云服务器请求所需的安装模块以支持QCS扫描架的版本。
在操作825中，安装、调试与AMC系统600可获取针对QCS扫描架和传感器的列表支持的硬件和软件安装。
在操作830中，安装、调试与AMC系统600使用对可穿戴设备的语音命令可向云服务器请求所需模块，包括QCS扫描架安装模块、QCS传感器模块以及QCS软件安装与配置模块。
在操作835中，来自云服务器的安装、调试与AMC系统600可以接收待在可穿戴设备中针对QCS扫描架的安装和调试执行的程序的所需顺序。
在操作840中，安装、调试与AMC系统600可根据指令执行安装与调试，并且可评估可穿戴设备上的结果。
在操作845中，安装、调试与AMC系统600可确定用户是否能够执行指令或指令集。
在操作850中，安装、调试与AMC系统600可从主题专家接收帮助以利用实时视觉和交互式聊天解决问题。
在操作855中，安装、调试与AMC系统600可选择AMC模块。
在操作860中，安装、调试与AMC系统600使用对可穿戴设备的语音命令可基于QCS扫描架版本向云服务器请求AMC记录和清单。
在操作865中，安装、调试与AMC系统600可以接收AMC的所选QCS扫描架的列表清单。
在操作870中，来自云服务器的安装、调试与AMC系统600可接收待在可穿戴设备中针对AMC QCS扫描架执行的程序的所需顺序。
在操作875中，安装、调试与AMC系统600可根据指令执行AMC，并且可评估可穿戴设备上的结果。
在操作880中，安装、调试与AMC系统600确定用户是否能够执行指令。
在操作885中，安装、调试与AMC系统600可从主题专家接收帮助以利用实时视觉和交互式聊天解决问题。
虽然图8A和图8B示出了用于具有混合现实(MR)和机器学习技术的QCS扫描架的360°辅助的方法800、801的一个示例，但是可以对图8进行各种改变。例如，图8中所示的各个步骤可以重叠、并行发生、以不同的顺序发生，或发生任何次数。
阐述贯穿本专利文献中使用的某些字词和短语的定义可能是有利的。术语“传输”、“接收”、“通信”以及其衍生词涵盖直接通信和间接通信两者。术语“包括”和“包含”以及其衍生词意指包括但不限于此。术语“或”是包括性的，意指和/或。短语“与…相关联”以及其衍生词可以意指包括、包括在…内、与…互连、包含、包含在…内、连接到…或与…连接、耦接到…或与…耦接、可与…通信、与…协作、交错、并置、与…接近、结合到…或与…结合、具有、具有…的属性、具有与…的关系或与…具有关系等。当与项列表一起使用时，短语“…中的至少一个”意指可以使用所列的项中的一个或多个项的不同组合，并且可能仅需要列表中的一个项。例如，“A、B和C中的至少一者”包括以下任何组合：A，B，C，A和B，A和C，B和C，以及A和B和C。
虽然本公开已描述了某些实施方案和大体上相关联的方法，但是这些实施方案和方法的变更和置换对于本领域的技术人员来说将是显而易见的。因此，上文对示例性实施方案的描述不限定或约束本公开。在不脱离如以下权利要求书限定的本公开的实质和范围的情况下，其他改变、替换和变更也是可能的。
Claims (9)
1.一种使用chatbot应用程序在用户、系统和远程支持之间进行交互式通信的方法(700,701)，所述方法包括：
从与工业过程控制和自动化系统(100)中的现场设备(310)相关的服务器(425)接收(710)诊断信息；
基于所述诊断信息识别(715)所述现场设备的问题；
使用光学传感器(102a)检测(720)与所识别的问题对应的所述现场设备；
使用显示器(208)将用户引导(725)到与所述问题相关的所述现场设备的位置和扫描架部分；
使用所述显示器提供(730)必要的步骤或动作以解决所述问题；以及
使用云服务器(430)连接(810)用户以根据所选角色获取质量控制系统(QCS)的安装模块、调试模块、年度维护(AMC)模块和培训模块(530-545)。
2.根据权利要求1所述的方法，其中所述现场设备是质量控制系统(QCS)扫描架。
3.根据权利要求1所述的方法，其中当所述必要的步骤或动作未解决所述问题时，所述方法还包括：
向机器学习服务器上的基于云的服务提供(750)所述问题的详细信息；以及
基于类似现场设备的先前历史从所述机器学习服务器接收(755)相关解决方案。
4.根据权利要求3所述的方法，其中当所述相关解决方案未解决所述问题时，所述方法还包括：
请求(765)所述机器学习服务器连接到主题专家；以及
从所述主题专家接收(775)用于解决所述问题的专家报告。
5.根据权利要求4所述的方法，其中所述方法还包括：
向所述主题专家提供(770)来自所述光学传感器的实时馈送。
6.根据权利要求5所述的方法，其中所述方法还包括：
从所述主题专家接收(775)用于解决所述问题的指令，其中所述指令包括对所述实时馈送中的部件的识别；以及
在所述显示器上显示对应于所述指令中的特定操作而识别的所述部件上的标记。
7.根据权利要求1所述的方法，其中所述方法还包括：
基于机器学习服务器的所述必要步骤或动作记录(780)问题类型和解决程序。
8.一种装置(200)，所述装置包括：
光学传感器(102a)；
显示器(208)；和
处理器(202)，所述处理器可操作地连接到所述光学传感器和所述显示器，所述处理器被配置为执行根据权利要求1-7所述的方法。
9.一种用可执行指令进行编码的非暂态机器可读介质(212)，所述可执行指令在被执行时，使得一个或多个处理器(202)执行根据权利要求1-7所述的方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/297,285 US11520323B2 (en) | 2019-03-08 | 2019-03-08 | 360° assistance for QCS scanner with mixed reality and machine learning technology |
| US16/297,285 | 2019-03-08 | ||
| PCT/CA2020/050300 WO2020181365A1 (en) | 2019-03-08 | 2020-03-06 | 360° assistance for qcs scanner with mixe d reality and machine learning technology |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113508349A true CN113508349A (zh) | 2021-10-15 |
| CN113508349B CN113508349B (zh) | 2024-04-02 |
Family
ID=72336336
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202080017971.0A Active CN113508349B (zh) | 2019-03-08 | 2020-03-06 | 用于具有混合现实和机器学习技术的qcs扫描架的360°辅助 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11520323B2 (zh) |
| EP (1) | EP3935461A4 (zh) |
| JP (1) | JP2022523253A (zh) |
| CN (1) | CN113508349B (zh) |
| CA (1) | CA3131811A1 (zh) |
| MX (1) | MX2021010646A (zh) |
| WO (1) | WO2020181365A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102020212162A1 (de) * | 2020-09-28 | 2022-03-31 | Siemens Aktiengesellschaft | Einhausung für eine Herstellungs-Maschine und/oder einen Teil einer Fertigungsstraße sowie System zur Steuerung und/oder Regelung einer Fertigungsanlage |
| US11855933B2 (en) | 2021-08-20 | 2023-12-26 | Kyndryl, Inc. | Enhanced content submissions for support chats |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050240376A1 (en) * | 2004-04-21 | 2005-10-27 | Fuji Xerox Co., Ltd. | Failure diagnosis method, failure diagnosis apparatus, image forming apparatus, program, and storage medium |
| CN101017519A (zh) * | 2005-12-20 | 2007-08-15 | 通用电气医疗技术服务公司 | 用于医疗设备的机器辅助的客户自服务 |
| US20140068330A1 (en) * | 2012-09-06 | 2014-03-06 | Andrew Hecox | Predicting symptoms of run-time problems based on analysis of expert decision making |
| CN103959665A (zh) * | 2011-11-28 | 2014-07-30 | 恩德莱斯和豪瑟尔两合公司 | 维护设备和现场设备的系统和用于与现场设备通信的方法 |
| CN104375473A (zh) * | 2013-08-12 | 2015-02-25 | 恩德莱斯和豪瑟尔测量及调节技术分析仪表两合公司 | 维修现场设备的方法 |
| CN104977874A (zh) * | 2014-04-04 | 2015-10-14 | 洛克威尔自动控制技术股份有限公司 | 工业使能移动设备 |
| US20160132046A1 (en) * | 2013-03-15 | 2016-05-12 | Fisher-Rosemount Systems, Inc. | Method and apparatus for controlling a process plant with wearable mobile control devices |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102005061211B4 (de) | 2004-12-22 | 2023-04-06 | Abb Schweiz Ag | Verfahren zum Erzeugen einer Mensch-Maschine-Benutzer-Oberfläche |
| US9739012B1 (en) | 2016-02-22 | 2017-08-22 | Honeywell Limited | Augmented reality of paper sheet with quality measurement information |
| FI11504U1 (fi) | 2016-06-23 | 2017-01-13 | Valmet Technologies Oy | Informaatiojärjestely kuiturainakonetta varten |
| US10318570B2 (en) * | 2016-08-18 | 2019-06-11 | Rockwell Automation Technologies, Inc. | Multimodal search input for an industrial search platform |
| US10319128B2 (en) | 2016-09-26 | 2019-06-11 | Rockwell Automation Technologies, Inc. | Augmented reality presentation of an industrial environment |
| US10388075B2 (en) * | 2016-11-08 | 2019-08-20 | Rockwell Automation Technologies, Inc. | Virtual reality and augmented reality for industrial automation |
| US11010237B2 (en) * | 2019-02-08 | 2021-05-18 | Accenture Global Solutions Limited | Method and system for detecting and preventing an imminent failure in a target system |
-
2019
- 2019-03-08 US US16/297,285 patent/US11520323B2/en active Active
-
2020
- 2020-03-06 JP JP2021553357A patent/JP2022523253A/ja active Pending
- 2020-03-06 CN CN202080017971.0A patent/CN113508349B/zh active Active
- 2020-03-06 CA CA3131811A patent/CA3131811A1/en active Pending
- 2020-03-06 MX MX2021010646A patent/MX2021010646A/es unknown
- 2020-03-06 WO PCT/CA2020/050300 patent/WO2020181365A1/en active Application Filing
- 2020-03-06 EP EP20770803.3A patent/EP3935461A4/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050240376A1 (en) * | 2004-04-21 | 2005-10-27 | Fuji Xerox Co., Ltd. | Failure diagnosis method, failure diagnosis apparatus, image forming apparatus, program, and storage medium |
| CN101017519A (zh) * | 2005-12-20 | 2007-08-15 | 通用电气医疗技术服务公司 | 用于医疗设备的机器辅助的客户自服务 |
| CN103959665A (zh) * | 2011-11-28 | 2014-07-30 | 恩德莱斯和豪瑟尔两合公司 | 维护设备和现场设备的系统和用于与现场设备通信的方法 |
| US20140068330A1 (en) * | 2012-09-06 | 2014-03-06 | Andrew Hecox | Predicting symptoms of run-time problems based on analysis of expert decision making |
| US20160132046A1 (en) * | 2013-03-15 | 2016-05-12 | Fisher-Rosemount Systems, Inc. | Method and apparatus for controlling a process plant with wearable mobile control devices |
| CN104375473A (zh) * | 2013-08-12 | 2015-02-25 | 恩德莱斯和豪瑟尔测量及调节技术分析仪表两合公司 | 维修现场设备的方法 |
| CN104977874A (zh) * | 2014-04-04 | 2015-10-14 | 洛克威尔自动控制技术股份有限公司 | 工业使能移动设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020181365A1 (en) | 2020-09-17 |
| US20200285225A1 (en) | 2020-09-10 |
| EP3935461A4 (en) | 2022-11-30 |
| US11520323B2 (en) | 2022-12-06 |
| MX2021010646A (es) | 2021-11-12 |
| EP3935461A1 (en) | 2022-01-12 |
| JP2022523253A (ja) | 2022-04-21 |
| CA3131811A1 (en) | 2020-09-17 |
| CN113508349B (zh) | 2024-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10594555B2 (en) | Cloud-enabled testing of control systems | |
| US9869993B2 (en) | System and method for monitoring and/or diagnosing operation of a production line of an industrial plant | |
| US10591886B2 (en) | Control system, control program, and control method for device switching responsive to abnormality detection | |
| CN107085415B (zh) | 过程控制网络中的规则构建器 | |
| DE102017217760B4 (de) | Verfahren zur Inbetriebnahme und/oder Wartung eines Regel- und Steuergerätes für Feldgeräte für eine Gebäudeautomatisierung | |
| CN108009081B (zh) | 工程设计工具协同装置及工程设计工具协同方法 | |
| EP3336639A1 (en) | Device asset management apparatus, device asset management method, device asset management program, and non-transitory computer readable storage medium | |
| KR102212390B1 (ko) | 디지털 트윈 시뮬레이터 및 기계학습을 이용하는 실제 플랜트의 최적 운영 규칙 도출 장치 및 방법 | |
| CN113508349B (zh) | 用于具有混合现实和机器学习技术的qcs扫描架的360°辅助 | |
| CN109753029A (zh) | 识别和显示操作员访问过程对象的方法及操作员系统 | |
| EP3639097A1 (en) | Cloud-enabled testing of control systems | |
| US20180122133A1 (en) | System and method for displaying industrial asset alarms in a virtual environment | |
| JP2014035687A (ja) | エンジニアリングシステムとその監視制御方法 | |
| US9779610B2 (en) | Automated loop check for smart junction boxes | |
| US11543803B2 (en) | Process control system with an engineering system, an operator system and an archive system | |
| CN112904807B (zh) | 工业分析系统、方法和非暂态计算机可读介质 | |
| WO2017019438A1 (en) | METHOD AND SYSTEM FOR CO-OPERATIVE INTELLIGENT HMIs FOR EFFECTIVE PROCESS OPERATIONS | |
| JP5562224B2 (ja) | 遠方監視制御システム | |
| US11934168B2 (en) | Method and interface for automated loop checking of an industrial process control and automation system | |
| Karatsuipa | Automated system of production line management with usage of programmable logic controllers | |
| Pelliccione | Spotlight on Innovation: Best automation, control and instrumentation products in 21 categories. | |
| de Almeida Rodrigues | Implementing a Multi-Approach Debugging of Industrial IoT Workflows | |
| CN114625354A (zh) | 用于生成hmi图形的系统和方法 | |
| TR2021008830U5 (tr) | Endüstri̇yel tesi̇sleri̇n otomati̇k kontrolünü gerçekleşti̇rmek amaciyla geli̇şti̇ri̇len bi̇r otomasyon si̇stemi̇ | |
| ALARCON | Simulering av DIDRIK |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |