CN109313442B - 用于事件检测的自动视觉和声学分析 - Google Patents

用于事件检测的自动视觉和声学分析 Download PDF

Info

Publication number
CN109313442B
CN109313442B CN201780034638.9A CN201780034638A CN109313442B CN 109313442 B CN109313442 B CN 109313442B CN 201780034638 A CN201780034638 A CN 201780034638A CN 109313442 B CN109313442 B CN 109313442B
Authority
CN
China
Prior art keywords
data
event
alert
detected
operator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780034638.9A
Other languages
English (en)
Other versions
CN109313442A (zh
Inventor
克里斯托弗·S·古丘罗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ExxonMobil Technology and Engineering Co
Original Assignee
ExxonMobil Research and Engineering Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ExxonMobil Research and Engineering Co filed Critical ExxonMobil Research and Engineering Co
Publication of CN109313442A publication Critical patent/CN109313442A/zh
Application granted granted Critical
Publication of CN109313442B publication Critical patent/CN109313442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/048—Monitoring; Safety
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/61—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/23—Pc programming
    • G05B2219/23288—Adaptive states; learning transitions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/36—Nc in input of data, input key till input tape
    • G05B2219/36039—Learning task dynamics, process

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Measuring Volume Flow (AREA)

Abstract

本发明提供用于检测工业过程中的事件的系统和方法。获取系统可以包括相机和录音机中的一个，以分别获取成像数据和声学数据中的一种形式的监视数据。计算机系统可以包括机器学习引擎并且可以被编程为将监视数据分类到分类符；基于分类符，利用至少一个量化算子来量化监视数据；以及当至少一个量化算子满足对应于至少一个量化算子的预定规则时，检测事件。

Description

用于事件检测的自动视觉和声学分析
背景技术
本公开涉及用于事件检测的视觉和声学分析。具体地，本公开涉及用于工业过程中事件检测、通知和控制的自动化视觉和声学分析。
传统上，用于工业过程的分析专注于对传统以仪器为基础的过程数据进行操作的统计技术，并且将这样的数据与专用的预定模式表进行比较，以检测事件并且识别异常。连接到计算机或数据获取系统的仪器置于多件设备之中、之上或周围，以测量和记录过程数据，诸如温度、压力和流率。在一些情况下，使用相机以捕捉热像。一种仪器通常与一种测量相关联。有时手动地分析所记录的数据，以基于多件设备的专家/操作员预先指定的模式来识别事件。例如，如果来自温度传感器或热像的温度超过预定值，则可以检测事件。通常，这些仪器未经联网，仪器所记录的数据只能由物理上检查仪器的人员获取。
然而，预定模式表受限于操作员的专业技术/知识以及所记录的数据的类型。照此，可能会忽视操作员不知晓和所记录的数据未捕捉的异常。通常，对所记录的数据的分析并非在实时或接近实时的情况下完成，并且所检测到的异常无法及时得到纠正。此外，除非专门地或手动地将新发现的异常添加到预定模式表中，否则如果重新出现就未必能检测到异常。此外，在现有的工业过程中安装传感器和任何相关的配线可能具侵入性且成本高昂。
鉴于传统数据获取和分析的上述缺点，本发明人认识到本领域需要开发克服或改进这些限制的替代事件检测技术。
附图说明
图1是描绘出根据本发明的实施例的事件检测方法的流程图。
图2图示出根据本公开的实施例的应用机器学习引擎来量化包含阀的成像数据。
图3图示出根据本公开的实施例的应用机器学习引擎来量化包含仪表的成像数据。
图4图示出根据本公开的实施例的应用机器学习引擎来量化包含受限空间内运动的成像数据。
图5图示出根据本公开的实施例的应用机器学习引擎来量化包含热内容的成像数据。
具体实施方式
如背景技术段落所讨论，传统上用于工业过程的数据获取和分析存在若干缺点。为解决这些缺点，本公开的实施例提供低成本的实时机制，以在视觉上或声学上监视、识别、分析、报告并控制进行中的工业过程操作。如下所述，视觉和声学分析可以通过传统仪器不可用的方式测量并评估过程。这些机制可以用来补充或替代传统的过程测量技术。
本公开描述了通过使用低成本且易于安装的商品相机和录音机(例如，麦克风)来分别获取工业过程的成像数据(即，图像和/或视频)和声学数据(即，声音)并将它们存储在数据库中的视觉和声学分析。如本文所用，“工业过程”包括整个过程以及适用的过程设备、管道、阀以及与该过程相关联的任何其他物理结构。然后，可以将自动化过程与所获取的成像和声学数据与历史成像和声学数据进行比较，搜索预期和非预期的模式或事件。一旦发现事件，可以突出并呈现具有感兴趣区域的优先表(例如，经由控制台、电子邮件、文本或其他电子通信)给操作人员以便查看并识别潜在的异常。为了纠正异常，自动化过程也可以生成控制信号以直接控制多件设备，而无需操作人员参与。
自动化过程可以进一步包括机器学习算法，其可以通过使用来自操作人员和/或正受控制的多件设备的反馈而随时间增强。例如，机器学习算法可以基于反馈来适配自动化过程的事件检测、警告和控制协议。因此，随时间推移，自动化过程可以自我识别异常，而无需专家预先指定要查找的内容。替代地，该算法可以通过分析历史模式来学习正常和异常行为，而无需任何来自操作人员的反馈。
此外，原始收集的成像和声学数据可以被存储在历史数据库中，以提供基于当前需求而非开发自动化过程时所识别的需求来追溯查询数据库的能力。例如，历史化温度提供到过去的极窄窗口，但图像/视频和声音则存储得更多并且能够将来用于各种目的-其中多数可能在开发时尚未考虑过。譬如，成像数据或声学数据不限于特定一件设备、一件设备的一个组件或一件设备的特定物理属性。相反，来自一个相机的成像数据或者来自一个麦克风的声学数据可以立即捕捉关于工业环境内的多件设备的信息。因此，可以追溯进行离线查询来询问历史捕捉的信息，以搜索关于最初受监视或最初未受监视的多件设备的特定模式。
如下所示，可视化分析可以被应用于通常用传统过程仪器来解决的问题(诸如阀位置)和/或只能通过可视化历史分析来确定的事件(诸如人类侵入受限空间或确认挂锁/挂签)。此外，为操作员提供清晰的可视化“标志”会减少过程人员所需的人工分析量。
本公开的实施例可以提供一种用于检测工业过程中的事件的方法。所述方法可以包括以下步骤：从获取系统获取监视数据；将监视数据分类到分类符；基于分类符，使用至少一个量化算子来量化监视数据；当至少一个量化算子满足对应于至少一个量化算子的预定规则时，检测事件。
本公开的实施例可以提供一种用于检测工业过程中的事件的系统。所述系统可以包括获取系统和计算机系统。所述获取系统可以包括相机和录音机中的一个，以分别获取成像数据和声学数据中的一种形式的监视数据。所述计算机系统可以包括机器学习引擎并且可以被编程为将监视数据分类到分类符；基于分类符，利用至少一个量化算子来量化监视数据；以及当至少一个量化算子满足对应于至少一个量化算子的预定规则时，检测事件。
本公开的实施例可以提供存储指令的非暂时性机器可读介质，所述指令被适配为供一个或多个处理器执行以进行检测工业过程中的事件的操作。所述操作可以包括以下步骤：从获取系统获取监视数据；将监视数据分类到分类符；基于分类符，使用至少一个量化算子来量化监视数据；当至少一个量化算子满足对应于至少一个量化算子的预定规则时，检测事件；分析历史数据，以生成预期事件的库，预期事件中的每个与警告和控制信号中的一个相关联；将所检测到的事件与预期事件中的一个进行匹配；如果匹配，则发送警告和控制信号中的一个；以及如果不匹配，则生成并发送另一警告。
图1是描绘出根据本发明的实施例的事件检测方法100的流程图。方法100可以由包括一个或多个处理器的计算机系统执行。计算机系统可以包括存储介质，该存储介质可以包括二级或三级存储区或者一个或多个数据库，以允许非易失性或易失性存储所获取并经处理的数据，并且该存储介质可以包括待由一个或多个处理器执行的指令。计算机系统也可以包括至少一个显示单元，以将所获取和/或经处理的数据显示给操作人员。计算机系统可以被完全包含在一个位置，或者也可以跨闭路网络或本地网络、连接计算机的集群、以因特网为中心的网络或云平台实现。方法100不限于任何特定的编程语言或执行环境，并且可以被应用于任何计算机编程语言或逻辑。
方法100开始于步骤110，分别从成像和/或声学硬件中获取成像和/或声学数据，用于监视感兴趣的工业环境。成像硬件可以是能够从一个或多个角度拍摄工业环境或者工业环境中的特定多件设备的静态图像和/或视频的一个或多个商品相机以及任何所需外围设备。声学硬件可以是一个或多个商品音频/语音录音机以及能够记录工业环境内的机器发出的声音/噪音的任何所需外围设备。成像和声学硬件可以被电连接或无线连接到计算机系统，并且可以被安装在整个工业环境中的固定或移动位置。成像和声学硬件可以在正常的人类感测范围之内或之外操作(例如，红外线、紫外线等)。在下文中，成像硬件和声学硬件将被统称为“获取系统”，并且所获取的成像和/或声学数据将被称为“监视数据”。从步骤110开始，方法100继续到机器学习引擎120。
通过使用机器学习引擎120，在步骤122，方法100将监视数据分类到多个分类符中的一个。机器学习引擎120可以包括图像和声学处理算法，以从监视数据中识别基于此可以检测事件的一件或多件设备、一个或多个组件或者一个或多个特征。例如，机器学习引擎120可以从成像数据中识别诸如但不限于阀、仪表、开关和指示器的组件，并且分别将成像数据分类到诸如“阀”、“仪表”、“开关”和“指示器”的分类符。机器学习引擎120也可以从成像数据中识别诸如但不限于锁定或标记出空间的受限空间。在这样的情况下，成像数据可以被分类到“运动”分类符，以指示应当限制运动到所识别的受限空间。例如，具有温度内容的成像数据可以被分类到“热”，并且声学数据可以被分类到“声学”。
在步骤124，机器学习引擎120分析历史数据，该历史数据例如可以被存储在存储介质中。历史数据可以包含先前获取的监视数据、先前检测的事件以及先前生成的警告和控制信号。通过使用历史数据，机器学习引擎120可以生成并存储统计数据、历史模式和预期事件的库以及它们对应的警告和控制协议。如后所述，在方法100的不同步骤，可以调用库。
一旦在步骤122中将监视数据分类，方法100便移到步骤126，以使用量化算子来量化监视数据。针对与成像和声学数据相关联的每个分类符，机器学习引擎120可以利用算法和/或来自步骤124的历史模式来生成可以使用于识别/检测事件的一个或多个图形和/或数字量化算子。图2至图5图示出方法100如何用量化算子来量化监视数据的四个示例。
图2图示出根据本公开的实施例的包含阀的用于量化成像数据的机器学习引擎120的应用。在图2中，图像210表示原始图像，在方法100的步骤110中，例如可以由安装在炼油厂内的固定位置处的相机获取该原始图像。在步骤122，方法100的机器学习引擎120识别图像210内的两个阀，放大图像210以提供图像220，并且将图像220分类到“阀”分类符。
然后，鉴于“阀”分类符，机器学习引擎120在步骤126识别阀的阀杆并确定那些阀杆的长度并且使用图形指示符230、240以图形方式显示它们。图形指示符230、240可以被直接用作两个阀的位置的量化算子。替代地，机器学习引擎120也可以生成图形指示符250、260来指示阀杆的允许范围，并且计算图形指示符230、240相对于图形指示符250、260的比例或百分比作为量化算子。如图2所示，左阀杆的长度为其允许范围的35％，而右阀杆的长度为30％。通知这样的信息以及阀性能信息，炼油厂的操作人员可以推断出左阀和右阀被分别关闭65％和70％。
尽管图像210被示为静态图像，但应当理解，图像210可以只是视频记录的多个帧中的一个，并且方法100可以如上所述重复量化视频记录的每个帧的步骤。
图3图示出根据本公开的实施例的应用机器学习引擎120来量化包含仪表的成像数据。特别地，图3图示出记录仪表的视频的帧310。视频记录表示可以在方法100的步骤110中获取的成像数据。在步骤122，机器学习引擎120将视频记录分类到“仪表”分类符。在步骤126，机器学习引擎120检测仪表的指针并且生成图形指示符320。图形指示符320的位置或角度可以用作由仪表测量的压力的量化算子。随着机器学习引擎120从视频记录的帧到帧跟踪图形指示符320的角度，可以实时或接近实时地监视所测量的压力。
图4图示出根据本公开的实施例的应用机器学习引擎120来量化包含受限空间内运动的成像数据。图4图示出包含受限空间420的视频记录的帧410，其可以被机器学习引擎120识别并且在方法100的步骤122分类到“运动”分类符。在步骤126，机器学习引擎120生成轮廓430以识别帧410内的运动。在该示例中，轮廓430侵入到受限空间420内可以用作量化算子。此外，入侵的持续时间可以用作量化算子。
图5图示出根据本公开的实施例的应用机器学习引擎120来量化包含热内容的成像数据。特别地，图5图示出炼油厂的视频记录的帧510。在步骤122，机器学习引擎120识别炼油厂的火光(flare)并且将视频记录分类到“热”分类符。在步骤126，机器学习引擎120生成围绕火光的轮廓520并且计算量化算子530。在该示例中，量化算子530包括火光的面积、最高温度和平均温度。
针对在方法100的步骤110中所获取的声学数据，在步骤122，机器学习引擎120可以在声学数据中识别对应于特定多件设备的模式。例如，泵和压缩机可以基于它们独特的声学特性来识别，例如，可能从实验中先验已知声学特性。在步骤126，机器学习引擎可以从声学数据计算诸如频谱、幅度等的量化算子。
在步骤126中计算一个或多个量化算子之后，方法100移至步骤128。在步骤128，基于量化算子和预定协议/规则，并且由步骤124的历史数据分析通知，机器学习引擎120可以识别/检测到至少一个事件。例如，针对分类到“阀”分类符的图像数据，预定协议可以是：当阀杆的长度高于或低于规定阈值时，检测事件。针对分类到“仪表”分类符的图像数据，当指针的角度高于或低于规定阈值时，可以检测事件。针对分类到“运动”分类符的图像数据，当在限制空间内检测到运动时，可以检测事件。针对分类到“热”分类符的图像数据，当最高或平均温度高于或低于规定阈值时，可以检测事件。应领会到，针对每个分类符，可能存在一个以上可以用来检测事件的量化算子。例如，针对图5中分类到“热”分类符的图像数据，除平均和最高温度量化算子之外，当火光的面积高于或低于规定阈值时，可以检测事件。针对声学数据，当频谱中的频率或幅度高于或低于规定阈值时，可以检测事件。可选地，方法100可以识别一系列事件并且将每个事件与是真实的概率相关联。
在步骤130，方法100检查机器学习引擎120是否已检测到至少一个事件。如果未检测到事件，则方法100返回步骤110以获取新的监视数据，并且重复步骤122至128。如果检测到至少一个事件，则方法100移到步骤140并且从步骤124调用预期事件的库以及相应的警告和控制协议。如果所检测到的事件与预期事件中的一个匹配，则方法100通过使用历史警告或控制协议来警告工作流程或控制一件硬件。否则，方法100通过控制台、电子邮件、文本或其他电子通信向操作人员警告预期外检测到的事件，并且向操作人员提供描述性文本和支持图像，带有突出的感兴趣区域或声学数据的特定部分，以供查看并识别潜在的异常。
一旦被警告，方法100允许操作人员例如经由计算机系统的至少一个显示单元在步骤150可视化并分析相关的监视数据。此外，在步骤150，方法100允许操作人员可视化从存储介质中查询到的历史数据。因此，操作人员可以学习过去类似的事件，推断所检测到的事件是否异常，并且了解过去的事件如何得到纠正。
在步骤160，方法100可选地接收来自操作人员和/或多件受控设备的反馈。反馈可以包括关于预期或预期外检测到的事件是否是异常、异常是否已得到纠正以及为纠正异常所采取的步骤中的至少一个的信息。然后，方法100将所接收到的反馈提供给机器学习引擎120。基于来自步骤160的反馈和/或来自步骤124的统计历史分析，机器学习引擎120可以适配并增强其事件检测、警告和控制协议。因此，随时间推移，机器学习引擎120可以自我识别异常。
在步骤170，方法100通过历史化来自步骤110的监视数据和任何相应的警告(如上所述的文本和/或图像)或者在步骤140生成的控制信号来增强存储在存储介质中的历史数据。方法100基于以下至少一个来历史化监视数据：所获取的数据的类型/格式、监视数据的时间戳、获取系统的位置以及正监视的一件或多件设备或组件。从步骤170所得的增强历史数据可供机器学习引擎120用来分析后续的监视数据。
在步骤180，方法100允许来自步骤170的历史数据例如供操作人员查询。可以基于当前需求而非在开发方法100时所识别的需求来追溯查询历史数据。在步骤150可以可视化所查询到的历史数据。因此，操作人员可以查看、分析并可视化历史成像和/或声学数据，以更好地了解工业过程或者识别过去可能忽视的事件或模式。再次指出，操作人员可以通过步骤160向机器学习引擎120提供反馈，从而增强其事件检测能力。
附加实施例
实施例1：一种方法，包括以下步骤：从获取系统获取监视数据；将监视数据分类到分类符；基于分类符，使用至少一个量化算子来量化监视数据；当至少一个量化算子满足对应于至少一个量化算子的预定规则时，检测事件。
实施例2：根据实施例1所述的方法，进一步包括：将事件与是真实的概率相关联。
实施例3：根据前述实施例中任一项所述的方法，其中，监视数据是成像数据和声学数据中的一个。
实施例4：根据前述实施例中任一项所述的方法，进一步包括：分析历史数据，以生成预期事件的库，其中，预期事件中的每个与警告和控制信号中的一个相关联。
实施例5：根据前述实施例中任一项所述的方法，其中，通过由计算机系统操作的机器学习引擎来执行分类、量化、检测和分析中的至少一个。
实施例6：根据前述实施例中任一项所述的方法，进一步包括：当检测到事件时：将所检测到的事件与预期事件中的一个进行匹配；如果匹配，则发送警告和控制信号中的一个；以及如果不匹配，则生成并发送另一警告。
实施例7：根据前述实施例中任一项所述的方法，其中，警告和另一警告中的一个被发送到与所检测到的事件有关的设备的操作员。
实施例8：根据前述实施例中任一项所述的方法，进一步包括：基于来自操作员的反馈，适配机器学习引擎的协议。
实施例9：根据前述实施例中任一项所述的方法，其中，控制信号被发送到与所检测到的事件有关的可控设备。
实施例10：根据前述实施例中任一项所述的方法，进一步包括：通过以下方式增强历史数据：历史化所获取的监视数据；以及当检测到事件时，历史化所检测到的事件，将所检测到的事件与所获取的监视数据相关联；如果匹配，则历史化警告和控制信号中的一个，并且将警告和控制信号中的一个与所检测到的事件相关联，以及如果不匹配，则历史化另一警告，并且将另一警告与所检测到的事件相关联。
实施例11：一种系统，包括：获取监视数据的获取系统；以及包括机器学习引擎的计算机系统，所述机器学习引擎被编程为：将监视数据分类到分类符；基于分类符，使用至少一个量化算子来量化监视数据；以及当至少一个量化算子满足对应于至少一个量化算子的预定规则时，检测事件。
实施例12：根据实施例11所述的系统，其中，获取系统包括相机，并且监视数据是成像数据。
实施例13：根据实施例11至12中任一项所述的系统，其中，获取系统包括录音机，并且监视数据是声学数据。
实施例14：根据实施例11至13中任一项所述的系统，其中，机器学习引擎被进一步编程为分析存储在数据库中的历史数据，以生成预期事件的库，其中，预期事件中的每个与警告和控制信号中的一个相关联。
实施例15：根据实施例11至14中任一项所述的系统，其中，当检测到事件时，计算机系统被编程为：将所检测到的事件与预期事件中的一个进行匹配；如果匹配，则发送警告和控制信号中的一个；以及如果不匹配，则生成并发送另一警告。
实施例16：根据实施例11至15中任一项所述的系统，其中，计算机系统被编程为将警告和另一警告中的一个发送到设备的操作员。
实施例17：根据实施例11至16中任一项所述的系统，其中，计算机系统被编程为将控制信号发送到可控设备。
实施例18：根据实施例11至17中任一项所述的系统，其中，计算机系统被进一步编程为通过以下方式增强数据库中的历史数据：历史化所获取的监视数据；以及当检测到事件时，历史化所检测到的事件，将所检测到的事件与所获取的监视数据相关联；如果匹配，则历史化警告和控制信号中的一个，并且将警告和控制信号中的一个与所检测到的事件相关联，以及如果不匹配，则历史化另一警告，并且将另一警告与所检测到的事件相关联。
实施例19：根据实施例11至18中任一项所述的系统，其中，计算机系统被进一步编程为：查询数据库中的历史数据；以及在显示单元上显示所查询到的数据，以允许识别非预期事件。
实施例20：一种存储指令的非暂时性机器可读介质，指令被适配成供至少一个处理器执行以进行操作，包括：从获取系统获取监视数据；将监视数据分类到分类符；基于分类符，使用至少一个量化算子来量化监视数据；当至少一个量化算子满足对应于至少一个量化算子的预定规则时，检测事件；分析历史数据，以生成预期事件的库，其中，预期事件中的每个与警告和控制信号中的一个相关联；将所检测到的事件与预期事件中的一个进行匹配；如果匹配，则发送警告和控制信号中的一个；以及如果不匹配，则生成并发送另一警告。
本文具体说明和/或描述了本公开的实施例。然而，应当理解，在不脱离本公开的精神和预期范围的情况下，本公开的修改和变型涵盖于上述教导以及所附权利要求的范围内。与上述原理一致的进一步变型是允许的。

Claims (9)

1.一种用于自动化视觉分析检测工业环境的事件的方法，包括
分析历史数据，以生成预期事件的库，其中，所述预期事件中的每个与警告和控制信号中的一个相关联；
对于感兴趣的工业环境，从获取系统获取视觉监视数据，其中所述监视数据是成像数据；
识别所述视觉监视数据的相关部分；
利用机器学习引擎，将所述视觉监视数据的所述相关部分分类到分类符，其中所述分类符分类热内容和运动中的至少一种；
利用机器学习引擎，基于所述分类符，使用至少一个量化算子来量化所述视觉监视数据；以及
当所述至少一个量化算子满足对应于所述至少一个量化算子的预定规则时，利用机器学习引擎，检测事件，
其中当检测到事件时，将所检测到的事件与所述预期事件的库中的所述预期事件中的一个进行匹配；其中如果匹配，则发送所述警告和所述控制信号中的一个；以及其中如果不匹配，则生成并发送另一警告，以及
通过历史化所获取的视觉监视数据增强所述历史数据，
其中当检测到事件时，历史化所检测到的事件，将所检测到的事件与所获取的视觉监视数据相关联；
其中如果匹配，历史化所述警告和所述控制信号中的一个，并且将所述警告和所述控制信号中的一个与所检测到的事件相关联，以及
其中如果不匹配，历史化所述另一警告，并且将所述另一警告与所检测到的事件相关联。
2.根据权利要求1所述的方法，进一步包括：将所述事件与是真实的概率相关联。
3.根据权利要求1所述的方法，其中，所述警告和所述另一警告中的一个被发送到与感兴趣的工业环境的所检测到的事件有关的设备的操作员。
4.根据权利要求3所述的方法，进一步包括：基于来自所述操作员的反馈，适配所述机器学习引擎的协议。
5.根据权利要求1所述的方法，其中，所述控制信号被发送到与所检测到的事件有关的可控设备。
6.一种用于自动化视觉分析检测工业环境的事件的系统，包括：
获取系统，所述获取系统用于对于感兴趣的工业环境，获取视觉监视数据，其中，所述获取系统包括至少一个相机，并且所述视觉监视数据是成像数据；以及
计算机系统，所述计算机系统包括机器学习引擎，所述机器学习引擎被编程为：
识别所述视觉监视数据的相关部分；
将所述视觉监视数据的所述相关部分分类到分类符，其中所述分类符分类热内容和运动中的至少一种；
分析存储在数据库中的历史数据，以生成预期事件的库，其中，所述预期事件中的每个与警告和控制信号中的一个相关联；
基于所述分类符，使用至少一个量化算子来量化所述视觉监视数据；以及
当所述至少一个量化算子满足对应于所述至少一个量化算子的预定规则时，检测事件，
其中当检测到事件时，将所检测到的事件与所述预期事件中的一个进行匹配；其中如果匹配，则发送所述警告和所述控制信号中的一个；以及其中如果不匹配，则生成并发送另一警告；以及
通过历史化所获取的视觉监视数据增强所述数据库中的所述历史数据：
其中当检测到事件时，历史化所检测到的事件，将所检测到的事件与所获取的视觉监视数据相关联；
其中如果匹配，历史化所述警告和所述控制信号中的一个，并且将所述警告和所述控制信号中的一个与所检测到的事件相关联，以及
其中如果不匹配，历史化所述另一警告，并且将所述另一警告与所检测到的事件相关联。
7.根据权利要求6所述的系统，其中，所述计算机系统被编程为将所述警告和所述另一警告中的一个发送到设备的操作员。
8.根据权利要求6所述的系统，其中，所述计算机系统被编程为将所述控制信号发送到可控设备。
9.根据权利要求6所述的系统，其中，所述计算机系统被进一步编程为：
从所述数据库查询所述历史数据；以及
在显示单元上显示所查询到的数据，以允许识别非预期事件。
CN201780034638.9A 2016-06-08 2017-05-16 用于事件检测的自动视觉和声学分析 Active CN109313442B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662347159P 2016-06-08 2016-06-08
US62/347,159 2016-06-08
PCT/US2017/032876 WO2017213810A1 (en) 2016-06-08 2017-05-16 Automatic visual and acoustic analytics for event detection

Publications (2)

Publication Number Publication Date
CN109313442A CN109313442A (zh) 2019-02-05
CN109313442B true CN109313442B (zh) 2021-11-09

Family

ID=59067876

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780034638.9A Active CN109313442B (zh) 2016-06-08 2017-05-16 用于事件检测的自动视觉和声学分析

Country Status (6)

Country Link
US (1) US11188047B2 (zh)
EP (1) EP3469434B1 (zh)
CN (1) CN109313442B (zh)
CA (1) CA3026624A1 (zh)
SG (1) SG11201810089TA (zh)
WO (1) WO2017213810A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200348662A1 (en) * 2016-05-09 2020-11-05 Strong Force Iot Portfolio 2016, Llc Platform for facilitating development of intelligence in an industrial internet of things system
EP3469434B1 (en) * 2016-06-08 2023-07-19 ExxonMobil Technology and Engineering Company Automatic visual and acoustic analytics for event detection
US10783138B2 (en) * 2017-10-23 2020-09-22 Google Llc Verifying structured data
EP3603902B1 (en) * 2018-08-02 2023-06-28 Schneider Electric Industries SAS Method for building and/or maintaining an industrial machine

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1628179A1 (de) * 2004-07-24 2006-02-22 Cognis IP Management GmbH Vorrichtung und Verfahren zur Überwachung von Produktionsanlagen
CN102522082A (zh) * 2011-12-27 2012-06-27 重庆大学 一种公共场所异常声音的识别与定位方法
CN204350309U (zh) * 2014-09-29 2015-05-20 罗斯蒙特公司 无线工业过程监控器和无线监控系统
CN105608834A (zh) * 2014-09-30 2016-05-25 波音公司 事件检测系统

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3204874C2 (de) * 1982-02-11 1994-07-14 Atlas Elektronik Gmbh Passives Verfahren zum Gewinnen von Zieldaten von einer Schallquelle
JPH0767101A (ja) 1993-08-25 1995-03-10 Hitachi Ltd 異常監視方法及びその装置
JPH0778239A (ja) 1993-09-08 1995-03-20 Mitsubishi Heavy Ind Ltd プラントの異常監視装置
JPH07198331A (ja) 1993-12-28 1995-08-01 Babcock Hitachi Kk 画像処理によるメータの読取り方法
JPH0816234A (ja) 1994-06-28 1996-01-19 Mitsubishi Heavy Ind Ltd プラント異常検出装置
JPH08219324A (ja) 1995-02-08 1996-08-30 Mitsubishi Heavy Ind Ltd 弁の開閉状態検出装置
US5717456A (en) 1995-03-06 1998-02-10 Champion International Corporation System for monitoring a continuous manufacturing process
JP3056053B2 (ja) 1995-07-21 2000-06-26 バブコック日立株式会社 監視方法
JP3195537B2 (ja) 1996-05-29 2001-08-06 中国電力株式会社 監視装置とその装置を使用した監視方法
JPH1042274A (ja) 1996-07-25 1998-02-13 Babcock Hitachi Kk 異常監視方法および装置
JPH10210449A (ja) 1997-01-24 1998-08-07 Toshiba Corp 監視装置
JPH10255059A (ja) 1997-03-13 1998-09-25 Toshiba Corp 画像処理装置
JPH11284982A (ja) 1998-03-31 1999-10-15 Chugoku Electric Power Co Inc:The 監視装置及び方法
JPH11313310A (ja) 1998-04-30 1999-11-09 Toshiba Corp プラント監視装置
US6774806B1 (en) 1998-10-01 2004-08-10 Shell Oil Company Monitoring an element of a plant
JP2001022433A (ja) 1999-07-13 2001-01-26 Babcock Hitachi Kk 監視装置および監視方法
JP2002064811A (ja) 2000-08-23 2002-02-28 Mitsubishi Heavy Ind Ltd カメラ指向ずれ補正機能付き異常検知装置
JP2006060664A (ja) 2004-08-23 2006-03-02 Nec Corp 障害監視装置および障害監視方法
JP2006270275A (ja) 2005-03-22 2006-10-05 Nagasaki Univ 画像処理システム
JP2008017259A (ja) 2006-07-07 2008-01-24 Matsushita Electric Ind Co Ltd 画像認識カメラ
JP4842197B2 (ja) 2007-04-17 2011-12-21 財団法人ソフトピアジャパン 多重分割画像を用いた異常動作検出装置、異常動作検出方法及び異常動作検出用プログラム
US8824731B2 (en) 2007-10-31 2014-09-02 The Boeing Comapny Image processing of apparatus condition
US9031243B2 (en) * 2009-09-28 2015-05-12 iZotope, Inc. Automatic labeling and control of audio algorithms by audio recognition
JP5792671B2 (ja) 2012-03-30 2015-10-14 Ｊｘ日鉱日石エネルギー株式会社 異常検知方法及び異常検知装置
WO2013147901A1 (en) * 2012-03-31 2013-10-03 Intel Corporation System, device, and method for establishing a microphone array using computing devices
EP2685249A1 (en) 2012-07-12 2014-01-15 ABB Research Ltd. Method and device for detecting abnormal heat emission in an industrial process
KR101335640B1 (ko) 2012-09-11 2013-12-03 한국기계연구원 발전 플랜트의 게이지 점검 시스템 및 방법
GB201218209D0 (en) * 2012-10-10 2012-11-21 Univ Lancaster System state classifier
JP6044522B2 (ja) 2013-11-19 2016-12-14 横河電機株式会社 緩徐変化検出システム
JP2015153342A (ja) 2014-02-19 2015-08-24 三菱電機株式会社 設備点検装置および設備点検管理システム
US9736580B2 (en) * 2015-03-19 2017-08-15 Intel Corporation Acoustic camera based audio visual scene analysis
EP3469434B1 (en) * 2016-06-08 2023-07-19 ExxonMobil Technology and Engineering Company Automatic visual and acoustic analytics for event detection
US10635973B1 (en) * 2016-06-28 2020-04-28 Amazon Technologies, Inc. Recommendation system using improved neural network
US11205103B2 (en) * 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
US10706295B2 (en) * 2018-06-29 2020-07-07 Ford Global Technologies, Llc Street light with infrared illumination
US10643637B2 (en) * 2018-07-06 2020-05-05 Harman International Industries, Inc. Retroactive sound identification system
US10602268B1 (en) * 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US10424048B1 (en) * 2019-02-15 2019-09-24 Shotspotter, Inc. Systems and methods involving creation and/or utilization of image mosaic in classification of acoustic events

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1628179A1 (de) * 2004-07-24 2006-02-22 Cognis IP Management GmbH Vorrichtung und Verfahren zur Überwachung von Produktionsanlagen
CN102522082A (zh) * 2011-12-27 2012-06-27 重庆大学 一种公共场所异常声音的识别与定位方法
CN204350309U (zh) * 2014-09-29 2015-05-20 罗斯蒙特公司 无线工业过程监控器和无线监控系统
CN105608834A (zh) * 2014-09-30 2016-05-25 波音公司 事件检测系统

Also Published As

Publication number Publication date
CA3026624A1 (en) 2017-12-14
WO2017213810A1 (en) 2017-12-14
SG11201810089TA (en) 2018-12-28
EP3469434B1 (en) 2023-07-19
US20170357233A1 (en) 2017-12-14
US11188047B2 (en) 2021-11-30
CN109313442A (zh) 2019-02-05
EP3469434A1 (en) 2019-04-17

Similar Documents

Publication Publication Date Title
CN109313442B (zh) 用于事件检测的自动视觉和声学分析
US10598520B2 (en) Method and apparatus for pneumatically conveying particulate material including a user-visible IoT-based classification and predictive maintenance system noting maintenance state as being acceptable, cautionary, or dangerous
US11200427B2 (en) Methods and systems for image based anomaly detection
US20210174086A1 (en) Ar gauge scanner using a mobile device application
JP2022519228A (ja) 工業プロセスで使用されるコンポーネントから発生する信号の異常を検出及び測定するためのシステムと方法
US10152879B2 (en) Method, apparatus, and system for monitoring manufacturing equipment
JP3744527B2 (ja) 工程管理装置、工程管理方法、工程管理プログラム、および該プログラムを記録した記録媒体
WO2011125130A1 (ja) プラントの診断装置、診断方法、及び診断プログラム
JP6200833B2 (ja) プラントと制御装置の診断装置
KR102301201B1 (ko) IoT 센서 기반 회전 기기의 정밀 상태 진단 장치 및 방법
CN108369416B (zh) 异常诊断系统
JP6715282B2 (ja) 品質監視システム
US10078062B2 (en) Device health estimation by combining contextual information with sensor data
JP2021179740A (ja) 監視装置、監視方法、プログラムおよびモデル訓練装置
CN113544486A (zh) 故障诊断系统、预测规则生成方法及预测规则生成程序
KR20210071438A (ko) 설비상태 감지를 위한 데이터 분석 방법
JP6312955B1 (ja) 品質分析装置及び品質分析方法
KR20160053977A (ko) 모델 적응을 위한 장치 및 방법
JP2018159111A (ja) 高炉炉況状態判定装置及び高炉の操業方法
US20230366843A1 (en) Method and system for monitoring objects and equipment by thermal imaging and data analysis
CN111222428B (zh) 一种基于监控视频的器件紧固操作的检测方法
US20240104911A1 (en) Information processing device
US20240212121A1 (en) System and method for predictive monitoring of devices
WO2021053717A1 (ja) 異常判定装置及び異常判定方法
TW202400388A (zh) 模具沖壓決策系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant