CN112637572B - 一种基于场景识别的工业流程监督系统 - Google Patents
一种基于场景识别的工业流程监督系统 Download PDFInfo
- Publication number
- CN112637572B CN112637572B CN202110252922.1A CN202110252922A CN112637572B CN 112637572 B CN112637572 B CN 112637572B CN 202110252922 A CN202110252922 A CN 202110252922A CN 112637572 B CN112637572 B CN 112637572B
- Authority
- CN
- China
- Prior art keywords
- industrial
- flow
- time
- sequence
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0633—Workflow analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/18—Status alarms
- G08B21/24—Reminder alarms, e.g. anti-loss alarms
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Emergency Management (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Development Economics (AREA)
- Computing Systems (AREA)
- Educational Administration (AREA)
- Artificial Intelligence (AREA)
- Game Theory and Decision Science (AREA)
- General Health & Medical Sciences (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Testing And Monitoring For Control Systems (AREA)
Abstract
本发明提供了一种基于场景识别的工业流程监督系统,包括场景识别模块:用于通过预设的工业视觉摄像机获取监控区域的场景视频,并基于图像识别确定所述场景视频中的工业行为;流程调取模块:用于根据所述工业行为,在预设的工业数据库中调取工业流程模板;流程判断模块:用于比较所述工业流程模板和场景视频,判断是否存在流程异常,并输出判断结果;监督执行单元:用于监控所述工业流程模板中的根据所述判断结果,在所述工业流程异常时,流程修正并告警。
Description
技术领域
本发明涉及工业流程智能控制技术领域,特别涉及一种基于场景识别的工业流程监督系统。
背景技术
目前,工业视觉检测领域,现有的cv流程视觉检测多为简单的流程项检测(一般采用图像分类和目标物体检测)结合业务逻辑实现,以加油站的卸油区流程检测为例,卸油流程需要包含多项工序流程检测,每一项都有对应的时间及顺序要求,但每个加油站可能要求不一样,如加油站A需要在卸油车停稳后15min内先释放静电,然后摆放灭火器,接通输油管,而加油站B可能是要求卸油车挺稳后15min内先放置灭火器,再释放静电,但不允许接通输油管。
传统的cv识别方案先识别具体的流程项,然后按照时间顺序做逻辑判断,如识别到流程顺序不对或者有漏的则产生系统告警,但是一套系统只能识别一种流程组合。因此,传统方案不具备通用性,在面对多个加油站不同流程组合识别时(如上例中两个加油站需求组合不一致)需要调整代码逻辑,不能灵活快速对多种复杂业务逻辑场景进行调配。因此为了解决这一问题,现提出了本设计方法。
发明内容
本发明提供一种基于场景识别的工业流程监督系统,用以解决现有技术中不能灵活快速对多种复杂业务逻辑场景进行调配的情况。
一种基于场景识别的工业流程监督系统,包括:
场景识别模块:用于通过预设的工业视觉摄像机获取监控区域的场景视频,并基于图像识别确定所述场景视频中的工业行为;
流程调取模块:用于根据所述工业行为,在预设的工业数据库中调取工业流程模板;
流程判断模块:用于比较所述工业流程模板和场景视频,判断是否存在流程异常,并输出判断结果;
监督执行模块:用于监控所述工业流程模板中的根据所述判断结果,在所述工业流程异常时,流程修正并告警。
作为本发明的一种实施例,所述场景识别模块包括:
工业视觉摄像机设置单元:用于根据用户的监控需求,确定监控区域,并确定所述监控区域内设置工业视觉摄像机和工业设备;
监控单元:用于根据所述工业视觉摄像机获取监控区域的场地信息,并将所述场地信息、工业视觉摄像机和工业设备相对应;
信息判断单元:用于根据所述工业视觉摄像机实时获取监控区域的场景视频,并基于图像识别判断所述场景视频中存在的动态元素和静态元素;
动态分析单元:用于根据所述动态元素,分析动态行为过程,确定动态行为信息;
静态分析单元:用于根据所述静态元素,与预设的场地场景模板相匹配,确定场地场景信息;
行为确定单元:用于根据所述动态行为信息和场地场景信息,确定正在实施的工业行为。
作为本发明的一种实施例,所述信息判断单元判断所述场景视频中的动态元素和静态元素包括如下步骤:
获取场景视频,并对所述场景视频中的所有场景元素进行编号;
根据所述编号,确定一定时间内所述场景视频中的无位置变化的场景元素,并统计对应的编号,生成第一编号统计集合;
根据所述编号,确定一定时间内所述场景视频中无状态变化的场景元素,并统计对应的编号,生成第二编号统计集合;
根据所述编号,确定一定时间内所述场景视频中无体积变化的场景元素,并统计对应的编号,生成第三编号统计集合;
根据所述编号,确定一定时间内所述场景视频中无面积变化的场景元素,并统计对应的编号,生成第四编号统计集合;
筛选所述第一编号统计集合、第二编号统计集合、第三编号统计集合和第四编号统计集合中的相同编号,并确定所述相同编号对应的场景元素为静态场景元素;
根据所述相同编号,确定不相同编号和所述第一编号统计集合、第二编号统计集合、第三编号统计集合和第四编号统计集合中未统计编号,并确定所述不相同编号和未统计编号对应的场景元素为动态场景元素。
作为本发明的一种实施例,所述流程调取模块包括:
地点设置单元:用于根据所述监控区域,确定所述监控区域内的可实施工业行为,并确定所述可实施工业行为的对应的实施地点;
设备确定单元:用于根据所述实施地点,确定所述实施地点对应的工业设备;
流程设置单元:用于根据所述工业设备,确定对应的工业步骤,并基于所述工业步骤确定工业流程组合;
模板设置单元:用于根据所述工业流程组合与所述可实施工业行为,生成所述可实施工业行为对应的工业流程模板,并生成工业流程模板数据库。
作为本发明的一种实施例,所述流程调取模块还包括:
流程设置单元:用于根据所述工业流程模板,确定每一个工业流程步骤,并设定流程执行顺序和流程执行时间;
流程识别单元:用于将所述工业行为和工业流程模板对应,并在工业行为确定时,所述工业数据库自动输出对应的工业流程模板;
对比单元:用于将所述工业流程模板中每个流程步骤作为一个流程子项,确定所述流程子项的操作行为,并设置每个操作行为的对比项。
作为本发明的一种实施例,所述流程判断模块包括:
视频分析单元:用于在所述工业流程模板确定后,将所述场景视频与所述工业流程模板进行对应分析,确定所述工业行为的执行信息;
对比判断单元:用于将所述工业流程模板的预设流程顺序和预设执行时间与所述执行信息进行一一对比,确定对比结果;其中,
所述对比结果包括:顺序异常、时间异常和流程正确;
规则设置单元:用于预先设置预设流程顺序对比规则和预设执行时间对比规则;其中,
所述预设流程顺序对比规则包括:流程步骤顺序对比规则和流程步骤子项顺序对比规则;
所述预设执行时间对比规则包括:步骤执行时间规则、子项执行时间规则和步骤间隔时间规则。
作为本发明的一种实施例,所述流程判断模块判断是否存在流程异常还包括如下步骤:
步骤S1:基于所述工业流程模板,构建流程实施模型:
其中,表示第个步骤的实施特征;表示第个步骤的实施顺序;表示第个
步骤的实施时间;表示第个步骤的实施子项数;表示第个步骤的与上一实施步骤的
间隔时间;表示第个步骤的实施位置;表示第个步骤的实施面积;表示监控区域的
总面积;
步骤S2:根据流程实施步骤,构建对比规则模型:
其中,表示第个步骤的顺序判断函数;表示第个步骤的实施时间判断
函数;表示第个步骤与上一实施步骤的间隔时间;表示第个步骤预设的阈值时
间;表示第个步骤的预设的实际实施时间;表示第个步骤与上一步骤的预设间
隔时间;表示第个步骤与上一步骤的实际实施时间;
步骤S3:根据所述流程实施模型和对比规则模型,通过下式代入每个步骤的实际实施时间、实际间隔时间和实际执行顺序,判断是否存在流程异常:
作为本发明的一种实施例,所述监督执行模块包括:
结果判断模块:用于根据所述判断结果,确定流程是否异常,并在流程异常时输出流程异常信息;
结果处理单元:用于根据所述流程异常信息,通过预设策略对所述流程异常进行修正;其中,
所述预设策略包括主动调整策略和告警运维策略;
流程监督单元:用于根据所述工业流程模板,获取对所述工业流程处理的每个步骤的步骤执行信息,并根据所述步骤执行信息,判断所有步骤是否执行完毕,并输出执行结果。
作为本发明的一种实施例,所述监督执行模块还包括:
修正顺序排布单元:用于在具有多个工业行为的流程都具有流程异常时,确定所述工业行为的修正顺序;
修正序列划分单元:用于对不同工业行为中需要进行修正的步骤进行统计,生成修正步骤统计集合,并按照顺序异常将所述修正步骤统计集合中需要进行修正的步骤整理为顺序修正序列,按照时间异常将所述修正步骤统计集合中需要进行修正的步骤整理为时间异常序列;
修正流程确定单元:用于计算所述顺序修正序列和时间异常序列中每个步骤修正的重要性,确定待修正的工业流程对应的工业行为的修正顺序。
作为本发明的一种实施例,所述修正流程确定单元确定待修正的工业流程对应的工业行为的修正顺序包括以下步骤:
步骤1:基于所述顺序修正序列,通过确定需要进行执行顺序进行修正的第一工业行为集合,并确定所述第一工业行为集合的顺序调整的重要性:
其中,表示第一工业行为集合中第个工业行为中需要调整的步骤的数量;
表示第一工业行为集合中第个工业行为中需要调整的步骤的调整前位置特征;表示第
一工业行为集合中第个工业行为中需要调整的步骤的调整后位置特征;表示第一工业
行为集合中第个工业行为中需要调整步骤的调整参数;表示第一工业行为集合中第个
工业行为总步骤数;表示调整常数;共有个步骤;
步骤2:基于所述时间异常序列,确定需要进行执行时间修正的第二工业行为集合,通过下式确定所述第二工业行为集合的时间调整的重要性:
其中,表示第二工业行为集合中第个工业行为中需要调整的步骤的数量;
表示第二工业行为集合中第个工业行为中需要调整的步骤的调整前时间特征;表示第
二工业行为集合中第个工业行为中需要调整的步骤的调整后时间特征;表示第一工业
行为集合中第j个工业行为中需要调整的时间的步骤的调整参数; 表示第二工业行为
集合中第个工业行为总步骤数;
步骤3:根据所述第一工业行为的顺序调整的重要性和第二工业行为的时间调整的重要性,将所述重要性按照从大到小的顺序排列,确定工业流程异常的所有工业行为的修正顺序。
本发明有益效果在于:本发明能够基于图像识别技术判断工业流程的实施执行步骤,确定实施执行行为,然后基于流程组合在实施时的具体过程判断是否出现流程的执行异常,进而判断是否存在流程异常,本发明适用于多种工业行为,可以根据具体的工业行为通过对应的工业流程步骤模板来进行实施的执行监督,一套系统可以控制多种工业行为,适用于任何的工业场景。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种基于场景识别的工业流程监督系统的系统组成图;
图2为本发明实施例中一种卸油实施例工业流程模板图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
如附图1所示,本发明为一种基于场景识别的工业流程监督系统,包括:
场景识别模块:用于通过预设的工业视觉摄像机获取监控区域的场景视频,并基于图像识别确定所述场景视频中的工业行为;本发明是一种基于工业视觉的信息采集和流程判断的方法,因此本发明通过设置工业摄像机和进行监控,进而将监控的场景通过图像识别确定工业行为。
流程调取模块:用于根据所述工业行为,在预设的工业数据库中调取工业流程模板;工业行为一般都存在一定的顺序和步骤,因此本发明通过工业数据预设工业流程模板,这个模板上存在工业流程顺序和每个步骤,每个执行子项的时间以及步骤执行时间间隔。
流程判断模块:用于比较所述工业流程模板和场景视频,判断是否存在流程异常,并输出判断结果;在判断是否存在流程异常的时候,基于流程组合的对比判断,判断出是否存在异常,进而确定判断结果,结果就是异常还是不异常,异常的话,出现的异常的具体信息。
监督执行模块:用于监控所述工业流程模板中的根据所述判断结果,在所述工业流程异常时,流程修正并告警。流程监督模块用于在出现异常的时候,对异常进行判断,需要通过那种处理策略进行处理,而在没有异常或者异常处理完成之后判断所有的流程步骤是否都执行完成。
本发明能够基于图像识别技术判断工业流程的实施执行步骤,确定实施执行行为,然后基于流程组合在实施时的具体过程判断是否出现流程的执行异常,进而判断是否存在流程异常,本发明适用于多种工业行为,可以根据具体的工业行为通过对应的工业流程步骤模板来进行实施的执行监督,一套系统可以控制多种工业行为,适用于任何的工业场景。
作为本发明的一种实施例,所述场景识别模块包括:
工业视觉摄像机设置单元:用于根据用户的监控需求,确定监控区域,并确定所述监控区域内设置工业视觉摄像机和工业设备;监控需求是通过客户设置的,需求表示监控的区域和监控的设备。
监控单元:用于根据所述工业视觉摄像机获取监控区域的场地信息,并将所述场地信息、工业视觉摄像机和工业设备相对应;因为本发明基于图像识别,因此所有的场地信息、对应的工业视觉摄像机和工业设备对应时,容易进行场景识别。
信息判断单元:用于根据所述工业视觉摄像机实时获取监控区域的场景视频,并基于图像识别判断所述场景视频中存在的动态元素和静态元素;动态元素例如加油过程中:加油枪位置的变动,而静态元素为加油箱的位置,这个位置是无法改变的。
动态分析单元:用于根据所述动态元素,分析动态行为过程,确定动态行为信息;工业行为的动作都附带这动态元素的改变,因此通过动态元素判断工业行为。
静态分析单元:用于根据所述静态元素,与预设的场地场景模板相匹配,确定场地场景信息;静态元素为场景元素,能够判断具体的实施场景。
行为确定单元:用于根据所述动态行为信息和场地场景信息,确定正在实施的工业行为。动态行为和场景在图像识别技术之下,可以明确的确定工业行为。
作为本发明的一种实施例,所述信息判断单元判断所述场景视频中的动态元素和静态元素包括如下步骤:
获取场景视频,并对所述场景视频中的所有场景元素进行编号;场景元素的编号是用于在进行信息判断的时候,能将用户和场景元素进行绑定,进而实现通信息判断可以将员工和设备进行绑定,进而设备检测到具有异常时,可以直接进行定位。
根据所述编号,确定一定时间内所述场景视频中的无位置变化的场景元素,并统计对应的编号,生成第一编号统计集合;
根据所述编号,确定一定时间内所述场景视频中无状态变化的场景元素,并统计对应的编号,生成第二编号统计集合;
根据所述编号,确定一定时间内所述场景视频中无体积变化的场景元素,并统计对应的编号,生成第三编号统计集合;
根据所述编号,确定一定时间内所述场景视频中无面积变化的场景元素,并统计对应的编号,生成第四编号统计集合;
筛选所述第一编号统计集合、第二编号统计集合、第三编号统计集合和第四编号统计集合中的相同编号,并确定所述相同编号对应的场景元素为静态场景元素;
本发明从四个方面来判断是静态元素和动态元素,包括位置变化、状态变化(例如:加油的时候油表的变化状态),体积变化(例如:加油后油箱内油的体积减小),面积变化(例如在一些加工场景中,随着对产品不断增加其它辅助结构,表面积越来越大等)。有变化就是动态元素。但是无变化的例如加油的时候,车的大小、面积、体积、状态是没有什么变化的。但是如果还具有洗车流程时,如果车的位置发生变化,车辆也就是动态元素了。而编号的作用更容易统计工业流程中四个方面变化的数据。
根据所述相同编号,确定不相同编号和所述第一编号统计集合、第二编号统计集合、第三编号统计集合和第四编号统计集合中未统计编号,并确定所述不相同编号和未统计编号对应的场景元素为动态场景元素。
上述技术方案中,元素编号后,全程无变化的元素必定为静态元素,而除开静态元素之外的元素,也必定是动态元素。
作为本发明的一种实施例,所述流程调取模块包括:
地点设置单元:用于根据所述监控区域,确定所述监控区域内的可实施工业行为,并确定所述可实施工业行为的对应的实施地点;可实施工业行为就是基于现有的监控设备能够进行监控的可以实施操作的行为。例如:一个工业场地内只有加油、洗车、检测、维修的区域,那可实施工业行为就是:加油、洗车和维修。
设备确定单元:用于根据所述实施地点,确定所述实施地点对应的工业设备;每个实施地点都有工业设备,基于图像识别技术可以直接进行识别。例如:加油场景中加油枪、加邮箱和加油站位置。
流程设置单元:用于根据所述工业设备,确定对应的工业步骤,(例如:加油枪对应的步骤就是加油,洗车枪对应的步骤就是洗车)并基于所述工业步骤确定工业流程组合(就是整个工业流程的所有步骤);就是一个工业行为的执行步骤和每个步骤之间的组合关系。
模板设置单元:用于根据所述工业流程组合与所述可实施工业行为,生成所述可实施工业行为对应的工业流程模板,并生成工业流程模板数据库。工业流程模板数据库是基于预先的组合关系和和设备确定的,其还需要客户设置时间要求。工业流程模板数据库中不仅包括必要的步骤还包括用户对每个步骤设置的时间。
作为本发明的一种实施例,所述流程调取模块还包括:
流程设置单元:用于根据所述工业流程模板,确定每一个工业流程步骤,并设定流程执行顺序和流程执行时间;工业流程模板上具有具体的流程实施步骤和流程实施时间。例如加油场景中,确定加油这个步骤的时间,如果还存在静电检测等,还会设置静电检测的时间。
流程识别单元:用于将所述工业行为和工业流程模板对应,并在工业行为确定时,所述工业数据库自动输出对应的工业流程模板;因为需要高效的自动化,因此,在工业行为确定时,输出的模板也是对应的工业行为的模板。
对比单元:用于将所述工业流程模板中每个流程步骤作为一个流程子项,确定所述流程子项的操作行为,并设置每个操作行为的对比项。每一个步骤可能都存在多个执行子项,而一个工业行为的每个步骤都可能时一个一个行为的执行子项,因此本发明需要一一设置对比项。便于实现精确的控制每个步骤的实施。
作为本发明的一种实施例,所述流程判断模块包括:
视频分析单元:用于在所述工业流程模板确定后,将所述场景视频与所述工业流程模板进行对应分析,确定所述工业行为的执行信息;执行信息就是工业行为的实时执行步骤和每个执行步骤的执行时间。
对比判断单元:用于将所述工业流程模板的预设流程顺序和预设执行时间与所述执行信息进行一一对比,确定对比结果;其中,
所述对比结果包括:顺序异常、时间异常和流程正确;
顺序异常例如本应该先卸油在静电检测,实际场景中是先检测后进行卸油,这就是顺序异常。时间异常,本来卸油设定的10秒,实际操作时卸油20秒、30秒还没完成,这就代表存在异常。
因为每个步骤都需要从三个维度进行对比,因此本发明通过执行信息进行一一对比。
规则设置单元:用于预先设置预设流程顺序对比规则和预设执行时间对比规则;其中,
所述预设流程顺序对比规则包括:流程步骤顺序对比规则和流程步骤子项顺序对比规则;
所述预设执行时间对比规则包括:步骤执行时间规则、子项执行时间规则和步骤间隔时间规则。
本发明中的各种规则因为需要一定的严谨性,本发明的执行规则从两个必要维度时间和顺序上进行设置对比规则。
作为本发明的一种实施例,所述流程判断模块判断是否存在流程异常还包括如下步骤:
步骤S1:基于所述工业流程模板,构建流程实施模型:
其中,表示第个步骤的实施特征(在实施时每个步骤的实施行为的行为特征);表示第个步骤的实施顺序(实施顺序的顺序特征);表示第个步骤的实施时间;
表示第个步骤的实施子项数(就是每个步骤中,有包括了多少个子项目,例如加油过程中
还包括已经加的油油量检测);表示第个步骤的与上一实施步骤的间隔时间(为了工业
流程的高效运行,因此也需要设置间隔时间);表示第个步骤的实施位置;表示第个
步骤的实施面积(实施面积代表的是产品制造的是产品随着加油流程面积变化);表示监
控区域的总面积;
在上述步骤中,本发明构建的流程实施模型,基于指数函数和工业流程模板的实施结构特征其体现了流程实施过程中每个步骤具体的实施信息。
步骤S2:根据流程实施步骤,构建对比规则模型:
其中,表示第个步骤的顺序判断函数;表示第个步骤的实施时间判断
函数;表示第个步骤与上一实施步骤的间隔时间判断函数;表示第个步骤预设
的阈值时间;表示第个步骤的预设的实际实施时间;表示第个步骤与上一步骤
的预设间隔时间;表示第个步骤与上一步骤的实际实施时间;
在本发明的第二个步骤本发明通过设置顺序判断函数(用于验证某个工业行为的顺序是否正确,这个用于体现所有工业行为的顺序分布状态,基于回归函数和卷积函数);实施时间判断函数用于判断工业行为的每个步骤的时间是否符合要求,实施时间判断函数体现了每个步骤的实施时间的分布状况(采用随机分布和正太分布)。间隔时间判断函数与实施时间 的分布状况采用了相同的数学函数。
步骤S3:根据所述流程实施模型和对比规则模型,通过下式代入每个步骤的实际实施时间、实际间隔时间和实际执行顺序,判断是否存在流程异常:
在上述技术方案中,本发明构建流程实施模型就是构建在一个工业行为实施过程中的每个步骤的实施情况、实施时间、实施子项和实施间隔是时间等多项对比和实施面积,通过多项对比,确定具体模型,然后基于判断函数设置判断规则,讲规则参数化,最终通过代入每个步骤的实际实施时间、实际间隔时间和实际执行顺序确定是否存在流程步骤中的执行异常。
作为本发明的一种实施例,所述监督执行模块包括:
结果判断模块:用于根据所述判断结果,确定流程是否异常,并在流程异常时输出流程异常信息;在每个步骤的执行过程中,如果流程异常,会确定流程异常的具体信息,例如时间异常就输入出时间异常的具体信息,包括到底是时间不足还是时间超时,与预设的标注那时间相差多少,在那个步骤等。
结果处理单元:用于根据所述流程异常信息,通过预设策略对所述流程异常进行修正;其中,
所述预设策略包括主动调整策略和告警运维策略;
主动调整策略就是系统自动设置能够基于系统实现的调整策略,例如超时或者时间不足,进行告警提醒,但是如果严重超时,表示设备损坏,这就需要告警运维,通过运维人员进行处理。
流程监督单元:用于根据所述工业流程模板,获取对所述工业流程处理的每个步骤的步骤执行信息,并根据所述步骤执行信息,判断所有步骤是否执行完毕,并输出执行结果。因为最终的结果时需要判断所有的执行步骤是否都执行完全,因此本发明会判断每个执行步骤的执行信息,确定所有的流程步骤是否执行正确。
作为一个具体实施例:如下的泄油工业行为中:
如图2所示,设计一个可配置流程项是否必选、流程项依赖顺序、依赖时间的算法业务配置模板,用户可自由选配对应的参数即可实现灵活的流程检测方案;
A加油站,可以配置“释放静电检测”前置流程项为“卸油开始”,依赖时间为15min内,”;灭火器”检测的前置流程项为“释放静电检测”,无依赖时间;“卸油管连接检测”的前置流程为“卸油开始”,依赖时间为15min内,其他流程项(人员全时值守、登高检测等)根据加油站自己的实际需要配置即可;
B加油站可以配置, 可以配置“释放静电检测”前置流程项为“灭火器检测”, 无依赖时间”;灭火器”检测的前置流程项为“卸油开始”, 依赖时间为15min内;“卸油管连接检测”的前置流程为“卸油开始”,依赖时间为15min外,其他流程项(人员全时值守、登高检测等)根据加油站自己的实际需要配置即可;不同加油站根据需要配置不同的流程组合,配置好后,算法将按照组合里的顺序、时间等进行检测,如有出现顺序不对或者有漏的则产生系统告警。
作为本发明的一种实施例,所述监督执行模块还包括:
修正顺序排布单元:用于在具有多个工业行为的流程都具有流程异常时,确定所述工业行为的修正顺序;因为在一个厂区内一般情况下回同步实施多种工业行为,例如:车企工厂、造车的、检测车的、运输车的等等,多种工业行为。修顺序就是那个步骤如果错误,正确的步骤信息也通过本发明进行输出。
修正序列划分单元:用于对不同工业行为中需要进行修正的步骤进行统计,生成修正步骤统计集合,并按照顺序异常将所述修正步骤统计集合中需要进行修正的步骤整理为顺序修正序列,按照时间异常将所述修正步骤统计集合中需要进行修正的步骤整理为时间异常序列;多个行为存在异常的时候,本发明将其统计为序列,然后通过序列中每个工业行为的重要程度来判断那些工业行为先行修正,那些随后修正。用以保证不管有多少流程有失误,本发明都保持损失最小原则。
修正流程确定单元:用于计算所述顺序修正序列和时间异常序列中每个步骤修正的重要性,确定待修正的工业流程对应的工业行为的修正顺序。
作为本发明的一种实施例,所述修正流程确定单元确定待修正的工业流程对应的工业行为的修正顺序包括以下步骤:
步骤1:基于所述顺序修正序列,通过确定需要进行执行顺序进行修正的第一工业行为集合,并确定所述第一工业行为集合的顺序调整的重要性:
其中,表示第一工业行为集合中第个工业行为中需要调整的步骤的数量;
表示第一工业行为集合中第个工业行为中需要调整的步骤的调整前位置特征;表示第
一工业行为集合中第个工业行为中需要调整的步骤的调整后位置特征;表示第一工业
行为集合中第个工业行为中需要调整步骤的调整参数;表示第一工业行为集合中第个
工业行为总步骤数;表示调整常数;共有个步骤;
在上述第一个步骤中,本发明通过二维正态分布函数和指数函数对确定顺序异常的工业行为的每个行为的重要性,本发明通过顺序异常的每个工业行为的:需要调整的步骤的数量(体现需要调整的幅度,用来判断需要调整的工业行为顺序异常的程度)、调整前位置特征、调整后位置特征、需要调整步骤的调整参数(调整参数囊括了调整所要的需求内容,包括到底是人进行调整、还是系统能自动调整、调整需要的物力和人力,属于其在总得工业行为中重要程度得重要参数)、工业行为总步骤数(用于判断调整的不住书在总步骤数中的占比),通过个上述参数来确定重要性,能够体现每个工业行为的顺序因素,相对于自身的重要程度。
步骤2:基于所述时间异常序列,确定需要进行执行时间修正的第二工业行为集合,通过下式确定所述第二工业行为集合的时间调整的重要性:
其中,表示第二工业行为集合中第个工业行为中需要调整的步骤的数量;
表示第二工业行为集合中第个工业行为中需要调整的步骤的调整前时间特征;表示第
二工业行为集合中第个工业行为中需要调整的步骤的调整后时间特征;表示第一工业
行为集合中第j个工业行为中需要调整的时间的步骤的调整参数; 表示第二工业行为
集合中第个工业行为总步骤数;
在上述步骤中,本发明主要是对时间异常的工业行为的重要程度进行计算,与步骤1的不同点在于,本发明主要是时间的调整,因此,将调整步骤的参数替换为调整时间的参数,而其重要成度的计算方式还是相同的。通过个上述参数来确定重要性,能够体现每个工业行为的时间因素,相对于自身的重要程度。
步骤3:根据所述第一工业行为的顺序调整的重要性和第二工业行为的时间调整的重要性,将所述重要性按照从大到小的顺序排列,确定工业流程异常的所有工业行为的修正顺序。
在最后一个步骤中本发明基于重要程度的重要值来进行确定需要修正的所有工业行为的修正顺序,进而能合理的处理工业场景中出现的顺序异常和时间异常,符合大型和小型工厂的实际提高工作效率的需求。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种基于场景识别的工业流程监督系统,其特征在于,包括:
场景识别模块:用于通过预设的工业视觉摄像机获取监控区域的场景视频,并基于图像识别确定所述场景视频中的工业行为;
流程调取模块:用于根据所述工业行为,在预设的工业数据库中调取工业流程模板;
流程判断模块:用于比较所述工业流程模板和场景视频,判断是否存在流程异常,并输出判断结果;
监督执行模块:用于监控所述工业流程模板中的所述判断结果,在所述工业流程异常时,修正流程并告警;所述场景识别模块包括:
工业视觉摄像机设置单元:用于根据用户的监控需求,确定监控区域,并确定所述监控区域内设置工业视觉摄像机和工业设备;
监控单元:用于根据所述工业视觉摄像机获取监控区域的场地信息,并将所述场地信息、工业视觉摄像机和工业设备相对应;
信息判断单元:用于根据所述工业视觉摄像机实时获取监控区域的场景视频,并基于图像识别判断所述场景视频中存在的动态元素和静态元素;
动态分析单元:用于根据所述动态元素,分析动态行为过程,确定动态行为信息;
静态分析单元:用于根据所述静态元素,与预设的场地场景模板相匹配,确定场地场景信息;
行为确定单元:用于根据所述动态行为信息和场地场景信息,确定正在实施的工业行为;
所述信息判断单元判断所述场景视频中的动态元素和静态元素包括如下步骤:
获取场景视频,并对所述场景视频中的所有场景元素进行编号;
根据所述编号,确定一定时间内所述场景视频中的无位置变化的场景元素,并统计对应的编号,生成第一编号统计集合;
根据所述编号,确定一定时间内所述场景视频中无状态变化的场景元素,并统计对应的编号,生成第二编号统计集合;
根据所述编号,确定一定时间内所述场景视频中无体积变化的场景元素,并统计对应的编号,生成第三编号统计集合;
根据所述编号,确定一定时间内所述场景视频中无面积变化的场景元素,并统计对应的编号,生成第四编号统计集合;
筛选所述第一编号统计集合、第二编号统计集合、第三编号统计集合和第四编号统计集合中的相同编号,并确定所述相同编号对应的场景元素为静态场景元素;
根据所述相同编号,确定不相同编号和所述第一编号统计集合、第二编号统计集合、第三编号统计集合和第四编号统计集合中未统计编号,并确定所述不相同编号和未统计编号对应的场景元素为动态场景元素。
2.如权利要求1所述的一种基于场景识别的工业流程监督系统,其特征在于,所述流程调取模块包括:
地点设置单元:用于根据所述监控区域,确定所述监控区域内的可实施工业行为,并确定所述可实施工业行为的对应的实施地点;
设备确定单元:用于根据所述实施地点,确定所述实施地点对应的工业设备;
流程设置单元:用于根据所述工业设备,确定对应的工业步骤,并基于所述工业步骤确定工业流程组合;
模板设置单元:用于根据所述工业流程组合与所述可实施工业行为,生成所述可实施工业行为对应的工业流程模板,并生成工业流程模板数据库。
3.如权利要求1所述的一种基于场景识别的工业流程监督系统,其特征在于,所述流程调取模块还包括:
流程设置单元:用于根据所述工业流程模板,确定每一个工业流程步骤,并设定流程执行顺序和流程执行时间;
流程识别单元:用于将所述工业行为和工业流程模板对应,并在工业行为确定时,所述工业数据库自动输出对应的工业流程模板;
对比单元:用于将所述工业流程模板中每个流程步骤作为一个流程子项,确定所述流程子项的操作行为,并设置每个操作行为的对比项。
4.如权利要求1所述的一种基于场景识别的工业流程监督系统,其特征在于,所述流程判断模块包括:
视频分析单元:用于在所述工业流程模板确定后,将所述场景视频与所述工业流程模板进行对应分析,确定所述工业行为的执行信息;
对比判断单元:用于将所述工业流程模板的预设流程顺序和预设执行时间与所述执行信息进行一一对比,确定对比结果;其中,
所述对比结果包括:顺序异常、时间异常和流程正确;
规则设置单元:用于预先设置预设流程顺序对比规则和预设执行时间对比规则;其中,
所述预设流程顺序对比规则包括:流程步骤顺序对比规则和流程步骤子项顺序对比规则;
所述预设执行时间对比规则包括:步骤执行时间规则、子项执行时间规则和步骤间隔时间规则。
5.如权利要求1所述的一种基于场景识别的工业流程监督系统,其特征在于,所述流程判断模块判断是否存在流程异常,还包括如下步骤:
步骤S1:基于所述工业流程模板,构建流程实施模型:
其中,表示第个步骤的实施特征;表示第个步骤的实施顺序;表示第个步骤的实施时间;表示第个步骤的实施子项数;表示第个步骤的与上一实施步骤的间隔时间;表示第个步骤的实施位置;表示第个步骤的实施面积;表示监控区域的总面积;共有个步骤;
步骤S2:根据流程实施步骤,构建对比规则模型:
其中,表示第个步骤的顺序判断函数;表示第个步骤的实施时间判断函数;表示第个步骤与上一实施步骤的间隔时间;表示第个步骤的预设的阈值时间;表示第个步骤的预设的实际实施时间;表示第个步骤与上一步骤的预设间隔时间判断函数;表示第个步骤与上一步骤的实际实施时间;
步骤S3:根据所述流程实施模型和对比规则模型,通过下式代入每个步骤的实际实施时间、实际间隔时间和实际执行顺序,判断是否存在流程异常:
6.如权利要求1所述的一种基于场景识别的工业流程监督系统,其特征在于,所述监督执行模块包括:
结果判断模块:用于根据所述判断结果,确定流程是否异常,并在流程异常时输出流程异常信息;
结果处理单元:用于根据所述流程异常信息,通过预设策略对所述流程异常进行修正;其中,
所述预设策略包括主动调整策略和告警运维策略;
流程监督单元:用于根据所述工业流程模板,获取对所述工业流程处理的每个步骤的步骤执行信息,并根据所述步骤执行信息,判断所有步骤是否执行完毕,并输出执行结果。
7.如权利要求1所述的一种基于场景识别的工业流程监督系统,其特征在于,所述监督执行模块还包括:
修正顺序排布单元:用于在具有多个工业行为的流程都具有流程异常时,确定所述工业行为的修正顺序;
修正序列划分单元:用于对不同工业行为中需要进行修正的步骤进行统计,生成修正步骤统计集合,并按照顺序异常将所述修正步骤统计集合中需要进行修正的步骤整理为顺序修正序列,按照时间异常将所述修正步骤统计集合中需要进行修正的步骤整理为时间异常序列;
修正流程确定单元:用于计算所述顺序修正序列和时间异常序列中每个步骤修正的重要性,确定待修正的工业流程对应的工业行为的修正顺序。
8.如权利要求7所述的一种基于场景识别的工业流程监督系统,其特征在于,所述修正流程确定单元确定待修正的工业流程对应的工业行为的修正顺序包括以下步骤:
步骤1:基于所述顺序修正序列,通过确定需要进行执行顺序进行修正的第一工业行为集合,并确定所述第一工业行为集合的顺序调整的重要性:
其中,表示第一工业行为集合中第个工业行为中需要调整的步骤的数量;表示第一工业行为集合中第个工业行为中需要调整的步骤的调整前位置特征;表示第一工业行为集合中第个工业行为中需要调整的步骤的调整后位置特征;表示第一工业行为集合中第个工业行为中需要调整步骤的调整参数;表示第一工业行为集合中第个工业行为总步骤数;表示调整常数;共有个步骤;
步骤2:基于所述时间异常序列,确定需要进行执行时间修正的第二工业行为集合,通过下式确定所述第二工业行为集合的时间调整的重要性:
其中,表示第二工业行为集合中第个工业行为中需要调整的步骤的数量;表示第二工业行为集合中第个工业行为中需要调整的步骤的调整前时间特征;表示第二工业行为集合中第个工业行为中需要调整的步骤的调整后时间特征;表示第一工业行为集合中第j个工业行为中需要调整的时间的步骤的调整参数;表示第二工业行为集合中第个工业行为总步骤数;
步骤3:根据所述第一工业行为的顺序调整的重要性和第二工业行为的时间调整的重要性,将所述重要性按照从大到小的顺序排列,确定工业流程异常的所有工业行为的修正顺序。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110252922.1A CN112637572B (zh) | 2021-03-09 | 2021-03-09 | 一种基于场景识别的工业流程监督系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110252922.1A CN112637572B (zh) | 2021-03-09 | 2021-03-09 | 一种基于场景识别的工业流程监督系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112637572A CN112637572A (zh) | 2021-04-09 |
CN112637572B true CN112637572B (zh) | 2021-06-18 |
Family
ID=75297616
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110252922.1A Active CN112637572B (zh) | 2021-03-09 | 2021-03-09 | 一种基于场景识别的工业流程监督系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112637572B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017136489A1 (en) * | 2016-02-03 | 2017-08-10 | Caspo, Llc | Smart cooking system that produces and uses hydrogen fuel |
CN109711658A (zh) * | 2018-11-09 | 2019-05-03 | 成都数之联科技有限公司 | 一种工业生产优化检测系统和方法 |
CN110530872A (zh) * | 2019-07-26 | 2019-12-03 | 华中科技大学 | 一种多通道平面信息检测方法、系统及装置 |
CN110996060A (zh) * | 2019-12-10 | 2020-04-10 | 安徽银河物联通信技术有限公司 | 一种工业自动化智能联动系统及方法 |
CN111144262A (zh) * | 2019-12-20 | 2020-05-12 | 北京容联易通信息技术有限公司 | 一种基于监控视频的工序异常检测方法 |
-
2021
- 2021-03-09 CN CN202110252922.1A patent/CN112637572B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017136489A1 (en) * | 2016-02-03 | 2017-08-10 | Caspo, Llc | Smart cooking system that produces and uses hydrogen fuel |
CN109711658A (zh) * | 2018-11-09 | 2019-05-03 | 成都数之联科技有限公司 | 一种工业生产优化检测系统和方法 |
CN110530872A (zh) * | 2019-07-26 | 2019-12-03 | 华中科技大学 | 一种多通道平面信息检测方法、系统及装置 |
CN110996060A (zh) * | 2019-12-10 | 2020-04-10 | 安徽银河物联通信技术有限公司 | 一种工业自动化智能联动系统及方法 |
CN111144262A (zh) * | 2019-12-20 | 2020-05-12 | 北京容联易通信息技术有限公司 | 一种基于监控视频的工序异常检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN112637572A (zh) | 2021-04-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ilgin et al. | Evaluating the impact of sensor-embedded products on the performance of an air conditioner disassembly line | |
DE60205356T2 (de) | System, vorrichtung und verfahren zur diagnose eines strömungssystems | |
CN114049035B (zh) | 一种基于互联网的自动点胶监测系统及方法 | |
CN112115602B (zh) | 磨煤机管路堵塞状态确定方法、装置、存储介质及计算设备 | |
US10578667B2 (en) | Methods and systems for detecting, classifying and/or mitigating sensor error | |
CN110597196A (zh) | 数据采集系统及数据采集方法 | |
CN108287327A (zh) | 基于贝叶斯分类的计量自动化终端故障诊断方法 | |
CN110874691A (zh) | 一种总装下线控制方法及系统 | |
CN110878983B (zh) | 空调故障的确定方法和装置 | |
US7937168B2 (en) | Automated abnormal machine tracking and notifying system and method | |
CN114111352B (zh) | 一种碳化炉抽真空系统异常检测方法及系统 | |
CN112637572B (zh) | 一种基于场景识别的工业流程监督系统 | |
CN109409780B (zh) | 变更处理方法、装置、计算机设备和存储介质 | |
CN110763979A (zh) | 一种基于mes系统的led晶圆点测自动化系统 | |
CN112527778B (zh) | 基于异常信息数据库增量的异常消缺管理系统及方法 | |
CN113094244A (zh) | 一种用于数据中心的机房运行智能检测系统 | |
CN117013687A (zh) | 一种电力运行质量监测方法及系统 | |
CN112926756A (zh) | 一种中央空调设备ai维修知识库应用方法 | |
CN105137776B (zh) | 计量自动化终端控制辅助系统 | |
CN116859262A (zh) | 一种蓄电池组运维方法和系统 | |
CN116665401A (zh) | 一种化工生产用防事故报警系统 | |
CN114666774B (zh) | 一种蓝牙设备的标识匹配系统及方法 | |
CN106950609B (zh) | 一种检测产品线上装配组件的方法、装置及系统 | |
US20200159183A1 (en) | Quality analysis device and quality analysis method | |
CN114546864A (zh) | 软件质量评估方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |