CN111767837A - 一种槽罐车装卸料时阀门操作规范性的视觉评估方法 - Google Patents

一种槽罐车装卸料时阀门操作规范性的视觉评估方法 Download PDF

Info

Publication number
CN111767837A
CN111767837A CN202010601177.2A CN202010601177A CN111767837A CN 111767837 A CN111767837 A CN 111767837A CN 202010601177 A CN202010601177 A CN 202010601177A CN 111767837 A CN111767837 A CN 111767837A
Authority
CN
China
Prior art keywords
valve
unloading
during loading
sequence
tank truck
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010601177.2A
Other languages
English (en)
Other versions
CN111767837B (zh
Inventor
王修晖
黄冠承
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202010601177.2A priority Critical patent/CN111767837B/zh
Publication of CN111767837A publication Critical patent/CN111767837A/zh
Application granted granted Critical
Publication of CN111767837B publication Critical patent/CN111767837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Loading And Unloading Of Fuel Tanks Or Ships (AREA)

Abstract

本发明公开一种槽罐车装卸料时阀门操作规范性的视觉评估方法，其包括如下两个步骤：(1)主从式隐马尔科夫模型建立与离线训练阶段：以槽罐车装卸料时阀门操作序列中包含的关键步骤为隐藏状态，建立主从式隐马尔科夫模型，并进行训练；(2)合规操作事件序列的在线识别：以第一个阀门操作步骤为起始操作事件，顺序检测后续帧中是否存在符合槽罐车装卸料时阀门操作规范的动作序列。本发明提供的槽罐车装卸料时阀门操作规范性的视觉评估方法借助于智能视觉技术对装卸工人的操作监控视频进行实时检测与分析，并通过建立隐马尔科夫模型来识别槽罐车装卸料时的阀门操作序列是否符合规范，从而实现对不符合操作规范事件的识别与预警。

Description

一种槽罐车装卸料时阀门操作规范性的视觉评估方法
技术领域
本发明涉及人工智能领域，具体涉及一种槽罐车装卸料时阀门操作规范性的视觉评估方法。
背景技术
危险化学品装卸是危化品全生命周期安全管控的重要环节，装卸操作风险高、危害大，且作业中人员流动性大，文化水平参差不齐，在运输危险化学品的槽罐车装卸过程广泛存在车辆装卸过程不规范，人员操作技能不足、不遵守安全规定等问题。目前化工企业主要是通过视频监控、传感监测等技术手段，对事故情况进行监控报警。但是传统的视频监控只是将各处监视画面进行集中显示，辅助值班人员统一监管，功能上仅对视频图像进行了简单的捕获和保存，对现场风险隐患的分析判断仍是通过人工来完成，对监控人员专业素养要求较高，不仅工作量巨大、效率低下，且非常容易出现人为失误。
发明内容
针对现有技术的不足，本发明提出一种槽罐车装卸料时阀门操作规范性的视觉评估方法，具体技术方案如下：
一种槽罐车装卸料时阀门操作规范性的视觉评估方法，该方法包括主从式隐马尔科夫模型的建立与离线训练、合规操作事件序列的在线识别两个阶段；
其中，
所述的主从式隐马尔科夫模型建立与离线训练阶段包括如下步骤：
(1)根据槽罐车装卸料时阀门的操作规范，将阀门操作分为若干个关键步骤；
(2)对包括合规的正样本和不合规的负样本的开泵监控视频中的关键步骤进行标记，提取槽罐车装卸料时阀门的关键操作步骤的图像帧，将每个视频中的图像帧按时间顺序排成一个操作序列，构建操作序列数据集；
(3)以槽罐车装卸料时阀门的操作规范包含的关键步骤的数量N作为隐藏状态，建立主从式隐马尔科夫模型λ＝(A,B,π)，以槽罐车装卸料时阀门操作的合规时序事件为主链，不合规时序事件为从链；其中，N为操作序列数据集中的操作序列的个数，A为状态转移概率矩阵，B为混淆矩阵，π为初始状态分布向量；A和π采用随机初始值，B的初始值则通过计算训练样本集的全局均值和方差来获取；
(4)根据阀门操作正样本和负样本的操作序列数据集，计算出前向概率α和后向概率β，并根据正样本的操作序列数据集计算主链状态的期望，或根据负样本的操作序列数据集计算从链状态的期望；
(5)更新模型参数，判定是否达到最大迭代次数或误差小于设定的阈值，若为否，返回步骤(4)，若为是，则输出模型参数，得到训练好的主从式隐马尔科夫模型；
所述的合规操作事件序列的在线识别阶段包括如下步骤：
(1)根据阀门槽罐车装卸料时阀门的起始操作的特征信息，从阀门操作的实时监控录像中解析出对应于当前时刻的图像F1；
(2)提取图像F1及其后续的图像帧构建操作序列{F1,F2,F3,…,FN}；
(3)将操作序列{F1,F2,F3,…,FN}输入到训练好的主从式隐马尔科夫模型中，计算出概率最大的操作时间序列，并与槽罐车装卸料时阀门操作的合规时序进行比对，输出该监控图像中阀门操作是否合规的判断结果。
进一步地，所述的前向概率α和后向概率β的计算公式如下：
α0(j)＝πjbj(x0) (1)
Figure BDA0002558633350000021
βM(j)＝1 (3)
Figure BDA0002558633350000022
其中，M为观测操作图像集中图像的个数；N为隐藏状态的个数；αt+1(j)表示隐藏状态为Sj且到t+1时刻观测操作图像集{F1,F2,…,Ft}的概率；βt(j)为隐藏状态为Sj且从t+1时刻到T时刻观测操作图像集{Ft+1,Ft+2,…,FM}的概率；0≤t≤M-1；πj表示状态Sj成为第一个状态的概率；aij表示隐藏状态Si转换为Sj的概率；bi(xt+1)表示隐藏状态Sj表现为t+1时刻观测值xt+1的概率。
进一步地，所述的阀门槽罐车装卸料时阀门的起始操作的特征信息为操作员开始执行阀门操作前给出的OK手势。
本发明的有益效果如下：
本发明提供的用于槽罐车装卸料时阀门操作规范性的视觉评估方法，采用了智能视觉分析技术，通过对危化品装卸过程中各类场景因素的分析、操作行为的特征提取和操作规范的学习，建立操作规范性评估模型，实现对异常事件的类型判定和报警信息输出，以达到降低槽罐车装卸料过程中安全风险的目的。
附图说明
图1是本发明的功能流程图。
图2本发明的典型实施案例阀门操作时序。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明的槽罐车装卸料时阀门操作规范性的视觉评估方法包括主从式隐马尔科夫模型的建立与离线训练、合规操作事件序列的在线识别两个阶段；
其中，
所述的主从式隐马尔科夫模型建立与离线训练阶段包括如下步骤：
(1)根据槽罐车装卸料时阀门的操作规范，将阀门操作分为若干个关键步骤；
(2)对包括合规的正样本和不合规的负样本的开泵监控视频中的关键步骤进行标记，提取槽罐车装卸料时阀门的关键操作步骤的图像帧，将每个视频中的图像帧按时间顺序排成一个操作序列，构建操作序列数据集；
(3)以槽罐车装卸料时阀门的操作规范包含的关键步骤的数量N作为隐藏状态，建立主从式隐马尔科夫模型λ＝(A,B,π)，以槽罐车装卸料时阀门操作的合规时序事件为主链，不合规时序事件为从链；其中，N为操作序列数据集中的操作序列的个数，A为状态转移概率矩阵，B为混淆矩阵，π为初始状态分布向量；A和π采用随机初始值，B的初始值则通过计算训练样本集的全局均值和方差来获取；
(4)根据阀门操作正样本和负样本的操作序列数据集，计算出前向概率α和后向概率β，并根据正样本的操作序列数据集计算主链状态的期望，或根据负样本的操作序列数据集计算从链状态的期望；
所述的前向概率α和后向概率β的计算公式如下：
α0(j)＝πjbj(x0) (1)
Figure BDA0002558633350000031
βM(j)＝1 (3)
Figure BDA0002558633350000032
其中，M为观测操作图像集中图像的个数；N为隐藏状态的个数；αt+1(j)表示隐藏状态为Sj且到t+1时刻观测操作图像集{F1,F2,…,Ft}的概率；βt(j)为隐藏状态为Sj且从t+1时刻到T时刻观测操作图像集{Ft+1,Ft+2,…,FM}的概率；0≤t≤M-1；πj表示状态Sj成为第一个状态的概率；aij表示隐藏状态Si转换为Sj的概率；bi(xt+1)表示隐藏状态Sj表现为t+1时刻观测值xt+1的概率。
(5)更新模型参数，判定是否达到最大迭代次数或误差小于设定的阈值，若为否，返回步骤(4)，若为是，则输出模型参数，得到训练好的主从式隐马尔科夫模型；
所述的合规操作事件序列的在线识别阶段包括如下步骤：
(1)根据阀门槽罐车装卸料时阀门的起始操作的特征信息，从阀门操作的实时监控录像中解析出对应于当前时刻的图像F1；
(2)提取图像F1及其后续的图像帧构建操作序列{F1,F2,F3,…,FN}；
(3)将操作序列{F1,F2,F3,…,FN}输入到训练好的主从式隐马尔科夫模型中，计算出概率最大的操作时间序列，并与槽罐车装卸料时阀门操作的合规时序进行比对，输出该监控图像中阀门操作是否合规的判断结果。
考虑到起始操作事件定位的重要性，以及很多情况下起始操作不具有视觉可检测性，本发明设计阀门槽罐车装卸料时阀门的起始操作的特征信息为操作员开始执行阀门操作前给出的OK手势，以提高初始状态的正确识别率。
下面给出本发明的槽罐车装卸料时阀门操作规范性的视觉评估方法的其中一个典型的实施例。
该种槽罐车卸料时的开泵阀门操作规范分为八个关键操作：(1)打开槽车海底阀；(2)打开槽车手动阀；(3)关闭气包排空阀；(4)打开进气包手动阀；(5)打开气包出料阀；(6)打开泵前手动阀；(7)开泵；(8)打开泵出口手动阀，操作时序如图2所示。
根据本发明的方法，在主从式隐马尔科夫模型建立与离线训练阶段：首先，建立包括8个隐藏状态的主从式隐马尔科夫模型；然后，通过输入大量开泵监控视频，包括合规的正样本和不合规的负样本，提取每个视频中的关键操作图像帧构建操作序列，进而建立操作序列数据集，并用这个数据集训练主从式隐马尔科夫模型。
在合规操作事件序列的在线识别阶段：首先，输入待评估的监控视频，并根据用户设置的起始操作事件的特征信息，检测出起始操作事件所在的图像帧F1；然后，基于图像F1及其后续图像帧构造操作序列数据集{F1,F2,F3,…,FN}；最后，将操作序列数据集{F1,F2,F3,…,FN}输入到训练好的主从式隐马尔科夫模型中，计算出概率最大的操作事件序列，并与主链事件序列比对，从而输出阀门操作的合规性判断结果。
表1所示为本发明方法与直接识别法的对比实验结果，其中每一列数据表示关键操作个数K从3增加到8时，不同方法的合规性判断的正确率。这里的直接识别法是指的，按照时间顺序，通过相似性度量依次识别出每个关键操作对应的图片帧的方法。可以看出，本发明描述的方法整体识别率较高，且随着问题的复杂度提升(待识别的关键操作数增加)，正确识别率下降幅度较小。
表1本发明方法与直接识别法的对比实验结果
K＝3 K＝4 K＝5 K＝6 K＝7 K＝8
直接识别法 87.5％ 85.4％ 83.1％ 82.6％ 80.7％ 79.1％
本发明方法 98.6％ 98.5％ 97.6％ 97.2％ 96.8％ 96.2％
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (3)

1.一种槽罐车装卸料时阀门操作规范性的视觉评估方法，其特征在于，该方法包括主从式隐马尔科夫模型的建立与离线训练、合规操作事件序列的在线识别两个阶段；
其中，
所述的主从式隐马尔科夫模型建立与离线训练阶段包括如下步骤：
(1)根据槽罐车装卸料时阀门的操作规范，将阀门操作分为若干个关键步骤；
(2)对包括合规的正样本和不合规的负样本的开泵监控视频中的关键步骤进行标记，提取槽罐车装卸料时阀门的关键操作步骤的图像帧，将每个视频中的图像帧按时间顺序排成一个操作序列，构建操作序列数据集；
(3)以槽罐车装卸料时阀门的操作规范包含的关键步骤的数量N作为隐藏状态，建立主从式隐马尔科夫模型λ＝(A,B,π)，以槽罐车装卸料时阀门操作的合规时序事件为主链，不合规时序事件为从链；其中，N为操作序列数据集中的操作序列的个数，A为状态转移概率矩阵，B为混淆矩阵，π为初始状态分布向量；A和π采用随机初始值，B的初始值则通过计算训练样本集的全局均值和方差来获取；
(4)根据阀门操作正样本和负样本的操作序列数据集，计算出前向概率α和后向概率β，并根据正样本的操作序列数据集计算主链状态的期望，或根据负样本的操作序列数据集计算从链状态的期望；
(5)更新模型参数，判定是否达到最大迭代次数或误差小于设定的阈值，若为否，返回步骤(4)，若为是，则输出模型参数，得到训练好的主从式隐马尔科夫模型。
所述的合规操作事件序列的在线识别阶段包括如下步骤：
(1)根据阀门槽罐车装卸料时阀门的起始操作的特征信息，从阀门操作的实时监控录像中解析出对应于当前时刻的图像F1；
(2)提取图像F1及其后续的图像帧构建操作序列{F1,F2,F3,…,FN}；
(3)将操作序列{F1,F2,F3,…,FN}输入到训练好的主从式隐马尔科夫模型中，计算出概率最大的操作时间序列，并与槽罐车装卸料时阀门操作的合规时序进行比对，输出该监控图像中阀门操作是否合规的判断结果。
2.根据权利要求1所述的槽罐车装卸料时阀门操作规范性的视觉评估方法，其特征在于，所述的前向概率α和后向概率β的计算公式如下：
α0(j)＝πjbj(x0) (1)
Figure FDA0002558633340000021
βM(j)＝1 (3)
Figure FDA0002558633340000022
其中，M为观测操作图像集中图像的个数；N为隐藏状态的个数；αt+1(j)表示隐藏状态为Sj且到t+1时刻观测操作图像集{F1,F2,…,Ft}的概率；βt(j)为隐藏状态为Sj且从t+1时刻到T时刻观测操作图像集{Ft+1,Ft+2,…,FM}的概率；0≤t≤M-1；πj表示状态Sj成为第一个状态的概率；aij表示隐藏状态Si转换为Sj的概率；bi(xt+1)表示隐藏状态Sj表现为t+1时刻观测值xt+1的概率。
3.根据权利要求1所述的槽罐车装卸料时阀门操作规范性的视觉评估方法，其特征在于，所述的阀门槽罐车装卸料时阀门的起始操作的特征信息为操作员开始执行阀门操作前给出的OK手势。
CN202010601177.2A 2020-06-28 2020-06-28 一种槽罐车装卸料时阀门操作规范性的视觉评估方法 Active CN111767837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010601177.2A CN111767837B (zh) 2020-06-28 2020-06-28 一种槽罐车装卸料时阀门操作规范性的视觉评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010601177.2A CN111767837B (zh) 2020-06-28 2020-06-28 一种槽罐车装卸料时阀门操作规范性的视觉评估方法

Publications (2)

Publication Number Publication Date
CN111767837A true CN111767837A (zh) 2020-10-13
CN111767837B CN111767837B (zh) 2023-12-05

Family

ID=72722585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010601177.2A Active CN111767837B (zh) 2020-06-28 2020-06-28 一种槽罐车装卸料时阀门操作规范性的视觉评估方法

Country Status (1)

Country Link
CN (1) CN111767837B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593680A (zh) * 2013-11-19 2014-02-19 南京大学 一种基于隐马尔科夫模型自增量学习的动态手势识别方法
CN107402921A (zh) * 2016-05-18 2017-11-28 阿里巴巴集团控股有限公司 识别用户行为的事件时序数据处理方法、装置及系统
WO2019047593A1 (zh) * 2017-09-05 2019-03-14 百度在线网络技术（北京）有限公司 处理自动驾驶训练数据的方法和装置
WO2019223510A1 (zh) * 2018-05-21 2019-11-28 Oppo广东移动通信有限公司 应用程序预加载方法、装置、存储介质及移动终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593680A (zh) * 2013-11-19 2014-02-19 南京大学 一种基于隐马尔科夫模型自增量学习的动态手势识别方法
CN107402921A (zh) * 2016-05-18 2017-11-28 阿里巴巴集团控股有限公司 识别用户行为的事件时序数据处理方法、装置及系统
WO2019047593A1 (zh) * 2017-09-05 2019-03-14 百度在线网络技术（北京）有限公司 处理自动驾驶训练数据的方法和装置
WO2019223510A1 (zh) * 2018-05-21 2019-11-28 Oppo广东移动通信有限公司 应用程序预加载方法、装置、存储介质及移动终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
朱旭东;刘志镜: "基于主题隐马尔科夫模型的人体异常行为识别", 计算机科学, no. 003 *

Also Published As

Publication number Publication date
CN111767837B (zh) 2023-12-05

Similar Documents

Publication Publication Date Title
Ding et al. Self-supervised pretraining via contrast learning for intelligent incipient fault detection of bearings
EP3552013A1 (en) Intelligent systems and methods for process and asset health diagnosis, anomoly detection and control in wastewater treatment plants or drinking water plants
EP2930579A2 (en) State monitoring system, state monitoring method and state monitoring program
CN113192037B (zh) 一种皮带机监测方法、系统、介质及电子终端
CN101739556A (zh) 钢坯号自动识别方法
CN112258362B (zh) 危险源识别方法、系统及可读存储介质
TWI752638B (zh) 行駛監控方法及系統
CN111583592A (zh) 一种基于多维卷积神经网络的实验环境安全预警方法
US10043108B2 (en) Method and apparatus for detecting and classifying active matrix organic light emitting diode panel
CN111767837A (zh) 一种槽罐车装卸料时阀门操作规范性的视觉评估方法
CN111178198B (zh) 一种基于机器视觉的实验室危险品安全隐患自动监测方法
US20220304617A1 (en) System and method for diagnosing small bowel cleanliness
CN110109446B (zh) 一种基于时间序列特征的锌浮选过程模糊故障诊断方法
CN116224123A (zh) 电池异常检测系统、检测方法、存储介质及换电站
CN111531580A (zh) 一种基于视觉的多工业机器人故障检测方法及系统
CN114417995A (zh) 管网风险预警方法、装置、计算机设备及存储介质
CN114694258A (zh) 基于改进YOLOv5算法的化工厂工人设备操作行为识别的方法
CN113323699A (zh) 一种基于数据驱动的液压支架系统故障源精准辨识方法
CN113361430A (zh) 一种车辆状态信息采集监控方法及系统
CN117333726B (zh) 基于深度学习的石英晶体切割异常监测方法、系统及装置
CN115345527B (zh) 化学实验异常操作检测方法、装置、设备及可读存储介质
CN117046391B (zh) 一种反应釜生产聚合氯化铝的原料智能安全投加处理方法
Grushin et al. Decoding the black box: Extracting explainable decision boundary approximations from machine learning models for real time safety assurance of the national airspace
Nair et al. Assist Crime Prevention Using Machine Learning
CN110826942B (zh) 转运中心效率分析监测方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant