CN111767837B - 一种槽罐车装卸料时阀门操作规范性的视觉评估方法 - Google Patents

一种槽罐车装卸料时阀门操作规范性的视觉评估方法 Download PDF

Info

Publication number
CN111767837B
CN111767837B CN202010601177.2A CN202010601177A CN111767837B CN 111767837 B CN111767837 B CN 111767837B CN 202010601177 A CN202010601177 A CN 202010601177A CN 111767837 B CN111767837 B CN 111767837B
Authority
CN
China
Prior art keywords
unloading
valve
during loading
tank truck
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010601177.2A
Other languages
English (en)
Other versions
CN111767837A (zh
Inventor
王修晖
黄冠承
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Jiliang University
Original Assignee
China Jiliang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Jiliang University filed Critical China Jiliang University
Priority to CN202010601177.2A priority Critical patent/CN111767837B/zh
Publication of CN111767837A publication Critical patent/CN111767837A/zh
Application granted granted Critical
Publication of CN111767837B publication Critical patent/CN111767837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/29—Graphical models, e.g. Bayesian networks
    • G06F18/295—Markov models or related models, e.g. semi-Markov models; Markov random fields; Networks embedding Markov models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Loading And Unloading Of Fuel Tanks Or Ships (AREA)

Abstract

本发明公开一种槽罐车装卸料时阀门操作规范性的视觉评估方法，其包括如下两个步骤：(1)主从式隐马尔科夫模型建立与离线训练阶段：以槽罐车装卸料时阀门操作序列中包含的关键步骤为隐藏状态，建立主从式隐马尔科夫模型，并进行训练；(2)合规操作事件序列的在线识别：以第一个阀门操作步骤为起始操作事件，顺序检测后续帧中是否存在符合槽罐车装卸料时阀门操作规范的动作序列。本发明提供的槽罐车装卸料时阀门操作规范性的视觉评估方法借助于智能视觉技术对装卸工人的操作监控视频进行实时检测与分析，并通过建立隐马尔科夫模型来识别槽罐车装卸料时的阀门操作序列是否符合规范，从而实现对不符合操作规范事件的识别与预警。

Description

一种槽罐车装卸料时阀门操作规范性的视觉评估方法
技术领域
本发明涉及人工智能领域，具体涉及一种槽罐车装卸料时阀门操作规范性的视觉评估方法。
背景技术
危险化学品装卸是危化品全生命周期安全管控的重要环节，装卸操作风险高、危害大，且作业中人员流动性大，文化水平参差不齐，在运输危险化学品的槽罐车装卸过程广泛存在车辆装卸过程不规范，人员操作技能不足、不遵守安全规定等问题。目前化工企业主要是通过视频监控、传感监测等技术手段，对事故情况进行监控报警。但是传统的视频监控只是将各处监视画面进行集中显示，辅助值班人员统一监管，功能上仅对视频图像进行了简单的捕获和保存，对现场风险隐患的分析判断仍是通过人工来完成，对监控人员专业素养要求较高，不仅工作量巨大、效率低下，且非常容易出现人为失误。
发明内容
针对现有技术的不足，本发明提出一种槽罐车装卸料时阀门操作规范性的视觉评估方法，具体技术方案如下：
一种槽罐车装卸料时阀门操作规范性的视觉评估方法，该方法包括主从式隐马尔科夫模型的建立与离线训练、合规操作事件序列的在线识别两个阶段；
其中，
所述的主从式隐马尔科夫模型建立与离线训练阶段包括如下步骤：
(1)根据槽罐车装卸料时阀门的操作规范，将阀门操作分为若干个关键步骤；
(2)对包括合规的正样本和不合规的负样本的开泵监控视频中的关键步骤进行标记，提取槽罐车装卸料时阀门的关键操作步骤的图像帧，将每个视频中的图像帧按时间顺序排成一个操作序列，构建操作序列数据集；
(3)以槽罐车装卸料时阀门的操作规范包含的关键步骤的数量N作为隐藏状态，建立主从式隐马尔科夫模型λ＝(A,B,π)，以槽罐车装卸料时阀门操作的合规时序事件为主链，不合规时序事件为从链；其中，N为操作序列数据集中的操作序列的个数，A为状态转移概率矩阵，B为混淆矩阵，π为初始状态分布向量；A和π采用随机初始值，B的初始值则通过计算训练样本集的全局均值和方差来获取；
(4)根据阀门操作正样本和负样本的操作序列数据集，计算出前向概率α和后向概率β，并根据正样本的操作序列数据集计算主链状态的期望，或根据负样本的操作序列数据集计算从链状态的期望；
(5)更新模型参数，判定是否达到最大迭代次数或误差小于设定的阈值，若为否，返回步骤(4)，若为是，则输出模型参数，得到训练好的主从式隐马尔科夫模型；
所述的合规操作事件序列的在线识别阶段包括如下步骤：
(1)根据阀门槽罐车装卸料时阀门的起始操作的特征信息，从阀门操作的实时监控录像中解析出对应于当前时刻的图像F1；
(2)提取图像F1及其后续的图像帧构建操作序列{F1,F2,F3,…,FN}；
(3)将操作序列{F1,F2,F3,…,FN}输入到训练好的主从式隐马尔科夫模型中，计算出概率最大的操作时间序列，并与槽罐车装卸料时阀门操作的合规时序进行比对，输出该监控图像中阀门操作是否合规的判断结果。
进一步地，所述的前向概率α和后向概率β的计算公式如下：
α0(j)＝πjbj(x0) (1)
βM(j)＝1 (3)
其中，M为观测操作图像集中图像的个数；N为隐藏状态的个数；αt+1(j)表示隐藏状态为Sj且到t+1时刻观测操作图像集{F1,F2,…,Ft}的概率；βt(j)为隐藏状态为Sj且从t+1时刻到T时刻观测操作图像集{Ft+1,Ft+2,…,FM}的概率；0≤t≤M-1；πj表示状态Sj成为第一个状态的概率；aij表示隐藏状态Si转换为Sj的概率；bi(xt+1)表示隐藏状态Sj表现为t+1时刻观测值xt+1的概率。
进一步地，所述的阀门槽罐车装卸料时阀门的起始操作的特征信息为操作员开始执行阀门操作前给出的OK手势。
本发明的有益效果如下：
本发明提供的用于槽罐车装卸料时阀门操作规范性的视觉评估方法，采用了智能视觉分析技术，通过对危化品装卸过程中各类场景因素的分析、操作行为的特征提取和操作规范的学习，建立操作规范性评估模型，实现对异常事件的类型判定和报警信息输出，以达到降低槽罐车装卸料过程中安全风险的目的。
附图说明
图1是本发明的功能流程图。
图2本发明的典型实施案例阀门操作时序。
具体实施方式
下面根据附图和优选实施例详细描述本发明，本发明的目的和效果将变得更加明白，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明的槽罐车装卸料时阀门操作规范性的视觉评估方法包括主从式隐马尔科夫模型的建立与离线训练、合规操作事件序列的在线识别两个阶段；
其中，
所述的主从式隐马尔科夫模型建立与离线训练阶段包括如下步骤：
(1)根据槽罐车装卸料时阀门的操作规范，将阀门操作分为若干个关键步骤；
(2)对包括合规的正样本和不合规的负样本的开泵监控视频中的关键步骤进行标记，提取槽罐车装卸料时阀门的关键操作步骤的图像帧，将每个视频中的图像帧按时间顺序排成一个操作序列，构建操作序列数据集；
(3)以槽罐车装卸料时阀门的操作规范包含的关键步骤的数量N作为隐藏状态，建立主从式隐马尔科夫模型λ＝(A,B,π)，以槽罐车装卸料时阀门操作的合规时序事件为主链，不合规时序事件为从链；其中，N为操作序列数据集中的操作序列的个数，A为状态转移概率矩阵，B为混淆矩阵，π为初始状态分布向量；A和π采用随机初始值，B的初始值则通过计算训练样本集的全局均值和方差来获取；
(4)根据阀门操作正样本和负样本的操作序列数据集，计算出前向概率α和后向概率β，并根据正样本的操作序列数据集计算主链状态的期望，或根据负样本的操作序列数据集计算从链状态的期望；
所述的前向概率α和后向概率β的计算公式如下：
α0(j)＝πjbj(x0) (1)
βM(j)＝1 (3)
其中，M为观测操作图像集中图像的个数；N为隐藏状态的个数；αt+1(j)表示隐藏状态为Sj且到t+1时刻观测操作图像集{F1,F2,…,Ft}的概率；βt(j)为隐藏状态为Sj且从t+1时刻到T时刻观测操作图像集{Ft+1,Ft+2,…,FM}的概率；0≤t≤M-1；πj表示状态Sj成为第一个状态的概率；aij表示隐藏状态Si转换为Sj的概率；bi(xt+1)表示隐藏状态Sj表现为t+1时刻观测值xt+1的概率。
(5)更新模型参数，判定是否达到最大迭代次数或误差小于设定的阈值，若为否，返回步骤(4)，若为是，则输出模型参数，得到训练好的主从式隐马尔科夫模型；
所述的合规操作事件序列的在线识别阶段包括如下步骤：
(1)根据阀门槽罐车装卸料时阀门的起始操作的特征信息，从阀门操作的实时监控录像中解析出对应于当前时刻的图像F1；
(2)提取图像F1及其后续的图像帧构建操作序列{F1,F2,F3,…,FN}；
(3)将操作序列{F1,F2,F3,…,FN}输入到训练好的主从式隐马尔科夫模型中，计算出概率最大的操作时间序列，并与槽罐车装卸料时阀门操作的合规时序进行比对，输出该监控图像中阀门操作是否合规的判断结果。
考虑到起始操作事件定位的重要性，以及很多情况下起始操作不具有视觉可检测性，本发明设计阀门槽罐车装卸料时阀门的起始操作的特征信息为操作员开始执行阀门操作前给出的OK手势，以提高初始状态的正确识别率。
下面给出本发明的槽罐车装卸料时阀门操作规范性的视觉评估方法的其中一个典型的实施例。
该种槽罐车卸料时的开泵阀门操作规范分为八个关键操作：(1)打开槽车海底阀；(2)打开槽车手动阀；(3)关闭气包排空阀；(4)打开进气包手动阀；(5)打开气包出料阀；(6)打开泵前手动阀；(7)开泵；(8)打开泵出口手动阀，操作时序如图2所示。
根据本发明的方法，在主从式隐马尔科夫模型建立与离线训练阶段：首先，建立包括8个隐藏状态的主从式隐马尔科夫模型；然后，通过输入大量开泵监控视频，包括合规的正样本和不合规的负样本，提取每个视频中的关键操作图像帧构建操作序列，进而建立操作序列数据集，并用这个数据集训练主从式隐马尔科夫模型。
在合规操作事件序列的在线识别阶段：首先，输入待评估的监控视频，并根据用户设置的起始操作事件的特征信息，检测出起始操作事件所在的图像帧F1；然后，基于图像F1及其后续图像帧构造操作序列数据集{F1,F2,F3,…,FN}；最后，将操作序列数据集{F1,F2,F3,…,FN}输入到训练好的主从式隐马尔科夫模型中，计算出概率最大的操作事件序列，并与主链事件序列比对，从而输出阀门操作的合规性判断结果。
表1所示为本发明方法与直接识别法的对比实验结果，其中每一列数据表示关键操作个数K从3增加到8时，不同方法的合规性判断的正确率。这里的直接识别法是指的，按照时间顺序，通过相似性度量依次识别出每个关键操作对应的图片帧的方法。可以看出，本发明描述的方法整体识别率较高，且随着问题的复杂度提升(待识别的关键操作数增加)，正确识别率下降幅度较小。
表1本发明方法与直接识别法的对比实验结果
K＝3 K＝4 K＝5 K＝6 K＝7 K＝8
直接识别法 87.5％ 85.4％ 83.1％ 82.6％ 80.7％ 79.1％
本发明方法 98.6％ 98.5％ 97.6％ 97.2％ 96.8％ 96.2％
本领域普通技术人员可以理解，以上所述仅为发明的优选实例而已，并不用于限制发明，尽管参照前述实例对发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在发明的精神和原则之内，所做的修改、等同替换等均应包含在发明的保护范围之内。

Claims (3)

1.一种槽罐车装卸料时阀门操作规范性的视觉评估方法，其特征在于，该方法包括主从式隐马尔科夫模型的建立与离线训练、合规操作事件序列的在线识别两个阶段；
其中，
所述的主从式隐马尔科夫模型建立与离线训练阶段包括如下步骤：
(1)根据槽罐车装卸料时阀门的操作规范，将阀门操作分为若干个关键步骤；
(2)对包括合规的正样本和不合规的负样本的开泵监控视频中的关键步骤进行标记，提取槽罐车装卸料时阀门的关键操作步骤的图像帧，将每个视频中的图像帧按时间顺序排成一个操作序列，构建操作序列数据集；
(3)以槽罐车装卸料时阀门的操作规范包含的关键步骤的数量N作为隐藏状态，建立主从式隐马尔科夫模型λ＝(A,B,π)，以槽罐车装卸料时阀门操作的合规时序事件为主链，不合规时序事件为从链；其中，N为操作序列数据集中的操作序列的个数，A为状态转移概率矩阵，B为混淆矩阵，π为初始状态分布向量；A和π采用随机初始值，B的初始值则通过计算训练样本集的全局均值和方差来获取；
(4)根据阀门操作正样本和负样本的操作序列数据集，计算出前向概率α和后向概率β，并根据正样本的操作序列数据集计算主链状态的期望，或根据负样本的操作序列数据集计算从链状态的期望；
(5)更新模型参数，判定是否达到最大迭代次数或误差小于设定的阈值，若为否，返回步骤(4)，若为是，则输出模型参数，得到训练好的主从式隐马尔科夫模型；
所述的合规操作事件序列的在线识别阶段包括如下步骤：
(1)根据阀门槽罐车装卸料时阀门的起始操作的特征信息，从阀门操作的实时监控录像中解析出对应于当前时刻的图像F1；
(2)提取图像F1及其后续的图像帧构建操作序列{F1,F2,F3,…,FN}；
(3)将操作序列{F1,F2,F3,…,FN}输入到训练好的主从式隐马尔科夫模型中，计算出概率最大的操作时间序列，并与槽罐车装卸料时阀门操作的合规时序进行比对，输出该监控图像中阀门操作是否合规的判断结果。
2.根据权利要求1所述的槽罐车装卸料时阀门操作规范性的视觉评估方法，其特征在于，所述的前向概率α和后向概率β的计算公式如下：
α0(j)＝πjbj(x0) (1)
βM(j)＝1 (3)
其中，M为观测操作图像集中图像的个数；N为隐藏状态的个数；αt+1(j)表示隐藏状态为Sj且到t+1时刻观测操作图像集{F1,F2,…,Ft}的概率；βt(j)为隐藏状态为Sj且从t+1时刻到T时刻观测操作图像集{Ft+1,Ft+2,…,FM}的概率；0≤t≤M-1；πj表示状态Sj成为第一个状态的概率；aij表示隐藏状态Si转换为Sj的概率；bi(xt+1)表示隐藏状态Sj表现为t+1时刻观测值xt+1的概率。
3.根据权利要求1所述的槽罐车装卸料时阀门操作规范性的视觉评估方法，其特征在于，所述的阀门槽罐车装卸料时阀门的起始操作的特征信息为操作员开始执行阀门操作前给出的OK手势。
CN202010601177.2A 2020-06-28 2020-06-28 一种槽罐车装卸料时阀门操作规范性的视觉评估方法 Active CN111767837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010601177.2A CN111767837B (zh) 2020-06-28 2020-06-28 一种槽罐车装卸料时阀门操作规范性的视觉评估方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010601177.2A CN111767837B (zh) 2020-06-28 2020-06-28 一种槽罐车装卸料时阀门操作规范性的视觉评估方法

Publications (2)

Publication Number Publication Date
CN111767837A CN111767837A (zh) 2020-10-13
CN111767837B true CN111767837B (zh) 2023-12-05

Family

ID=72722585

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010601177.2A Active CN111767837B (zh) 2020-06-28 2020-06-28 一种槽罐车装卸料时阀门操作规范性的视觉评估方法

Country Status (1)

Country Link
CN (1) CN111767837B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593680A (zh) * 2013-11-19 2014-02-19 南京大学 一种基于隐马尔科夫模型自增量学习的动态手势识别方法
CN107402921A (zh) * 2016-05-18 2017-11-28 阿里巴巴集团控股有限公司 识别用户行为的事件时序数据处理方法、装置及系统
WO2019047593A1 (zh) * 2017-09-05 2019-03-14 百度在线网络技术（北京）有限公司 处理自动驾驶训练数据的方法和装置
WO2019223510A1 (zh) * 2018-05-21 2019-11-28 Oppo广东移动通信有限公司 应用程序预加载方法、装置、存储介质及移动终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593680A (zh) * 2013-11-19 2014-02-19 南京大学 一种基于隐马尔科夫模型自增量学习的动态手势识别方法
CN107402921A (zh) * 2016-05-18 2017-11-28 阿里巴巴集团控股有限公司 识别用户行为的事件时序数据处理方法、装置及系统
WO2019047593A1 (zh) * 2017-09-05 2019-03-14 百度在线网络技术（北京）有限公司 处理自动驾驶训练数据的方法和装置
WO2019223510A1 (zh) * 2018-05-21 2019-11-28 Oppo广东移动通信有限公司 应用程序预加载方法、装置、存储介质及移动终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于主题隐马尔科夫模型的人体异常行为识别;朱旭东;刘志镜;计算机科学(003);全文 *

Also Published As

Publication number Publication date
CN111767837A (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
CN108596184A (zh) 图像语义分割模型的训练方法、可读存储介质及电子设备
CN110008699B (zh) 一种基于神经网络的软件漏洞检测方法及装置
CN111079837B (zh) 一种用于二维灰度图像检测识别分类的方法
CN113111804B (zh) 一种人脸检测的方法、装置、电子设备及存储介质
CN111373406B (zh) 使用问题匹配的先验知识提取的加速仿真设置过程
Zhang et al. Adaptive monte carlo multiple testing via multi-armed bandits
CN116168348B (zh) 基于图像处理的安全监控方法、系统及存储介质
CN112307761A (zh) 基于注意力机制的事件抽取方法及系统
CN111767837B (zh) 一种槽罐车装卸料时阀门操作规范性的视觉评估方法
CN111310837A (zh) 车辆改装识别方法、装置、系统、介质和设备
CN114417995A (zh) 管网风险预警方法、装置、计算机设备及存储介质
CN111178198B (zh) 一种基于机器视觉的实验室危险品安全隐患自动监测方法
CN113469938A (zh) 基于嵌入式前端处理服务器的管廊视频分析方法及系统
CN112906593A (zh) 一种基于Faster RCNN的水闸图像识别方法
CN112036582A (zh) 配网抢修工单处理方法及装置
WO2022227512A1 (zh) 一种单阶段动态位姿识别方法、装置和终端设备
CN113379247B (zh) 企业安全隐患追踪模型的建模方法及系统
CN114694258A (zh) 基于改进YOLOv5算法的化工厂工人设备操作行为识别的方法
CN114896402A (zh) 一种文本关系抽取方法、装置、设备和计算机存储介质
CN114387564A (zh) 一种基于YOLOv5的磕头机停抽检测方法
CN112668551A (zh) 基于遗传算法的表情分类方法
CN117474457B (zh) 一种危化和工贸设备应急管理执法检查智能辅助系统
CN117370870B (zh) 知识和数据复合驱动的装备多工况识别与性能预测方法
CN114155589B (zh) 一种图像处理方法、装置、设备以及存储介质
CN115288994B (zh) 一种基于改进dcgan的压缩机异常状态检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant