CN111144262A - 一种基于监控视频的工序异常检测方法 - Google Patents

一种基于监控视频的工序异常检测方法 Download PDF

Info

Publication number
CN111144262A
CN111144262A CN201911325544.4A CN201911325544A CN111144262A CN 111144262 A CN111144262 A CN 111144262A CN 201911325544 A CN201911325544 A CN 201911325544A CN 111144262 A CN111144262 A CN 111144262A
Authority
CN
China
Prior art keywords
industrial production
image
frame
processing
production process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911325544.4A
Other languages
English (en)
Other versions
CN111144262B (zh
Inventor
任永建
许志强
孙昌勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Ronglian Yitong Information Technology Co ltd
Original Assignee
Beijing Ronglian Yitong Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Ronglian Yitong Information Technology Co ltd filed Critical Beijing Ronglian Yitong Information Technology Co ltd
Priority to CN201911325544.4A priority Critical patent/CN111144262B/zh
Publication of CN111144262A publication Critical patent/CN111144262A/zh
Application granted granted Critical
Publication of CN111144262B publication Critical patent/CN111144262B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • General Factory Administration (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于监控视频的工序异常检测方法，该基于监控视频的工序异常检测方法通过对工业生产过程中关于流水线上工人和/或产品的监控视频进行自动分析处理以判断该工业生产过程中是否存在工序异常的情况，其能够实现对工序本身的异常情况或者不同工序之间在顺序上的异常情况进行全天候的无间断精确识别，以提高对工序异常情况的高效性、精确性和全面性，此外，该基于监控视频的工序异常检测方法还能够根据对工序异常情况的识别结果进行实时的报警和/或信息结果存档操作，以便于后续对工业生产流水线进行实时监管和质量追溯，从而提高流水线的生产质量和生产效率。

Description

一种基于监控视频的工序异常检测方法
技术领域
本发明涉及工业制造质量控制的技术领域，特别涉及一种基于监控视频的工序异常检测方法。
背景技术
在工业制造领域，目前存在大量的依靠人工操作的流水线，而流水线上对应的是大量的产品生产工序，流水线上的工人只需要按照预先培训教授的正确操作步骤完成当前工序的操作即可，但是人工操作会由于不同工人的实际操作水平而存在差异，这造成流水线上的很多工序都未被正确执行。虽然，现有的流水线操作区都会设置视频监控，但是该视频监控都是通过监控人员纯人工肉眼去查看，这使得该视频监控方式无法及时地、精确地和全面地发现所有不合规的工序操作，这对流水线产品的生产安全和生产质量都带来不良的影响。可见，现有技术急需一种能够通过监控视频对流水线生产工序的操作情况和操作顺序进行自动的和智能化检测的方法。
发明内容
针对现有技术存在的缺陷，本发明提供一种基于监控视频的工序异常检测方法，该基于监控视频的工序异常检测方法包括如下步骤：步骤S1，获取关于工业生产过程的监控视频，并对该监控视频进行拆解处理，以得到关于该监控视频的若干帧图像；步骤S2，对该若干帧图像中的每一帧图像进行目标跟踪处理，以获得每一帧图像中预设目标对象的动作识别结果；步骤S3，根据该动作识别结果，对该每一帧图像进行时间标记处理，以获得对应的工序顺序标记结果；步骤S4，根据当前工业生产对应产品的流水线位置信息和该工序顺序标记结果，确定当前工业生产过程对应的工序执行状况；可见，该基于监控视频的工序异常检测方法通过对工业生产过程中关于流水线上工人和/或产品的监控视频进行自动分析处理以判断该工业生产过程中是否存在工序异常的情况，其能够实现对工序本身的异常情况或者不同工序之间在顺序上的异常情况进行全天候的无间断精确识别，以提高对工序异常情况的高效性、精确性和全面性，此外，该基于监控视频的工序异常检测方法还能够根据对工序异常情况的识别结果进行实时的报警和/或信息结果存档操作，以便于后续对工业生产流水线进行实时监管和质量追溯，从而提高流水线的生产质量和生产效率。
本发明提供一种基于监控视频的工序异常检测方法，其特征在于，所述基于监控视频的工序异常检测方法包括如下步骤：
步骤S1，获取关于工业生产过程的监控视频，并对所述监控视频进行拆解处理，以得到关于所述监控视频的若干帧图像；
步骤S2，对所述若干帧图像中的每一帧图像进行目标跟踪处理，以获得每一帧图像中预设目标对象的动作识别结果；
步骤S3，根据所述动作识别结果，对所述每一帧图像进行时间标记处理，以获得对应的工序顺序标记结果；
步骤S4，根据当前工业生产对应产品的流水线位置信息和所述工序顺序标记结果，确定当前工业生产过程对应的工序执行状况；
进一步，在所述步骤S1中，获取关于工业生产过程的监控视频，并对所述监控视频进行拆解处理，以得到关于所述监控视频的若干帧图像具体包括，
步骤S101，获取关于工业生产过程的监控视频流数据和所述工业生产过程对应的所有标准工序信息；
步骤S102，根据所述所有标准工序信息，将所述监控视频数据流分切为在数据内容上互不重叠的若干监控视频数据子流；
步骤S103，对所述若干监控视频数据子流中的每一个进行视频解码处理，以将每一个监控视频数据子流对应拆解成所述若干帧图像；
进一步，在所述步骤S101中，获取关于工业生产过程的监控视频流数据和所述工业生产过程对应的所有标准工序信息具体包括，
步骤S1011，对所述工业生产过程进行单目拍摄操作和/或双目拍摄操作，以获取关于所述工业生产过程的单目监控视频数据流和/或双目监控视频数据流；
步骤S1012，对所述工业生产过程对应的标准生产流程进行预设工业标准化神经网络模型的学习处理，以获得所述工业生产过程对应的所述所有标准工序信息；
或者，
在所述步骤S102中，根据所述所有标准工序信息，将所述监控视频数据流分切为在数据内容上互不重叠的若干监控视频数据子流具体包括，
根据所述所有标准工序信息，确定对应的生产流水线工序执行位置信息，并根据所述生产流水线工序执行位置信息，将所述监控视频数据流分切为在数据内容上互不重叠的若干监控视频数据子流；
或者，
在所述步骤S103中，对所述若干监控视频数据子流中的每一个进行视频解码处理，以将每一个监控视频数据子流对应拆解成所述若干帧图像具体包括，
步骤S1031，根据所述工业生产过程对应的工业生产参数，构建关于所述工业生产过程的视频解码处理模型，并对所述视频解码处理模型进行算法训练；
步骤S1032，基于经过所述算法训练的所述视频解码处理模型，对所述每一个监控视频数据子流进行所述视频解码处理，以拆解得到所述若干帧图像；
进一步，在所述步骤S2中，对所述若干帧图像中的每一帧图像进行目标跟踪处理，以获得每一帧图像中预设目标对象的动作识别结果具体包括，
步骤S201，通过预设目标跟踪算法，对每一帧图像中的预设目标对象进行所述目标跟踪处理，以获得所述目标对象在每一帧图像中的定位信息；
步骤S202，根据所述定位信息，对所有若干帧图像中的所述目标对象进行动作标定处理，以确定每一帧图像中所述目标对象的动作特征；
步骤S203，根据所述动作特征，对每一帧图像中的所述目标对象进行动作变化识别处理，以获得所述动作识别结果；
进一步，在所述步骤S201中，通过预设目标跟踪算法，对每一帧图像中的预设目标对象进行所述目标跟踪处理，以获得所述目标对象在每一帧图像中的定位信息具体包括，
通过预设目标跟踪算法，对每一帧图像中的工序执行人员和/或产品进行所述目标跟踪处理，以获得所述工序执行人员和/或产品对应的所述定位信息；
或者，
在所述步骤S202中，根据所述定位信息，对所有若干帧图像中的所述目标对象进行动作标定处理，以确定每一帧图像中所述目标对象的动作特征具体包括，
根据所述定位信息，对每一帧图像中的工序执行人员和/或产品进行像素解析处理以获取其在图像中的像素边界，再根据所述像素边界，确定所述工序执行人员和/或产品对应的像素边界动态变化，以实现所述动作标定处理并得到所述动作特征；
或者，
在所述步骤S203中，根据所述动作特征，对每一帧图像中的所述目标对象进行动作变化识别处理，以获得所述动作识别结果具体包括，
根据所述动作特征，确定每一帧图像中的工序执行人员和/或产品在不同自由度上的姿态变化，以实现所述动作变化识别处理并得到所述动作识别结果；
进一步，在所述步骤S3中，根据所述动作识别结果，对所述每一帧图像进行时间标记处理，以获得对应的工序顺序标记结果具体包括，
步骤S301，对所述动作识别结果进行预设阈值检测处理，并根据所述预设阈值检测处理的结果确定对应帧图像的时间戳信息；
步骤S302，根据所述时间戳信息，对每一帧图像进行时间顺序标记处理；
步骤S303，根据所述时间顺序标记处理的结果，对所有帧图像中对应的动作工序进行工序顺序标记处理，以获得所述工序顺序标记结果；
进一步，在所述步骤S301中，对所述动作识别结果进行预设阈值检测处理，并根据所述预设阈值检测处理的结果确定对应帧图像的时间戳信息具体包括，
步骤S3011，对所述动作识别结果进行关于动作幅度的数值化转换处理，以获得对应的动作评价值；
步骤S3012，将所述动作评价值与预设阈值进行对比处理，若所述动作评价值超过所述预设阈值，则对其对应帧图像进行时间戳标记处理，否则，不对其对应帧图像进行时间戳标记处理；
步骤S3013，根据所述步骤S3012的时间戳标记处理的结果，确定所述时间戳信息；
或者，
在所述步骤S303中，根据所述时间顺序标记处理的结果，对所有帧图像中对应的动作工序进行工序顺序标记处理，以获得所述工序顺序标记结果具体包括，
步骤S3031，根据所述时间顺序标记处理的结果，确定所有帧图像中具有时间戳标记的对应的时刻信息；
步骤S3032，根据所述时刻信息，对相应帧图像进行所述工序顺序标记处理，以获得关于所述工业生产过程对应的实时工序顺序信息；
进一步，在所述步骤S4中，根据当前工业生产对应产品的流水线位置信息和所述工序顺序标记结果，确定当前工业生产过程对应的工序执行状况具体包括，
步骤S401，在当前工业生产过程对应的流水线终端处设置边界绊线，根据所述产品与所述边界绊线之间的相对位置关系，确定所述流水线位置信息，；
步骤S402，若所述流水线位置信息指示所述产品已穿越所述边界绊线，则根据所述工序顺序标记结果，确定当前工业生产过程对应的工序执行状况；
步骤S403，若所述流水线位置信息指示所述产品未穿越所述边界绊线，则对所述流水线位置信息进行更新处理，直到所述流水线位置信息指示所述产品已穿越所述边界绊线为止；
进一步，在所述步骤S402，若所述流水线位置信息指示所述产品已穿越所述边界绊线，则根据所述工序顺序标记结果，确定当前工业生产过程对应的工序执行状况具体包括，
将所述工序顺序标记结果与当前工业生产过程对应标准工序顺序进行匹配处理，若两者相匹配，则确定当前工业生产过程对应的工序执行状态正常，否则，确定当前工业生产过程中对应的工序执行状态异常；
进一步，在所述步骤S4中，若确定当前工业生产过程中对应的工序执行状态异常，则保存当前工业生产过程对应的监控视频，并对所述监控视频进行异常分析处理和/或报警处理。
相比于现有技术，该基于监控视频的工序异常检测方法通过对工业生产过程中关于流水线上工人和/或产品的监控视频进行自动分析处理以判断该工业生产过程中是否存在工序异常的情况，其能够实现对工序本身的异常情况或者不同工序之间在顺序上的异常情况进行全天候的无间断精确识别，以提高对工序异常情况的高效性、精确性和全面性，此外，该基于监控视频的工序异常检测方法还能够根据对工序异常情况的识别结果进行实时的报警和/或信息结果存档操作，以便于后续对工业生产流水线进行实时监管和质量追溯，从而提高流水线的生产质量和生产效率。
进一步，如权利要求1所述的一种基于监控视频的工序异常检测方法，其特征在于：
在所述步骤S2中，对所述若干帧图像中的每一帧图像进行目标跟踪处理，以获得每一帧图像中预设目标对象的动作识别结果的具体操作还包括；
步骤A201、根据所述工业生产过程的监控视频，通过拆解得到的所述监控视频的若干帧图像，并采集所述监控视频图像的样本；
步骤A202、根据预先建立的图像预处理模型，对所述步骤A1采集的所述监控视频图像的样本进行灰度化等预处理，同时根据公式(1)对采集的所述监控视频图像的样本提取人物动作特征，以获取所述人物动作特征序列；
Figure BDA0002328297690000071
其中，π为圆周率，ln为自然对数是以常数e为底数的对数，tan为正切函数，N为所述人物动作识别关键节点值，其数值为人物高度y与骨骼节点数量27的比值，
Figure BDA0002328297690000072
为人物方位信息，θ为所述人物画面顶、底部与监控装置的夹角，f(s)为所述监控装置与所述监控画面人物的距离，x表示采集的所述监控视频图像中人物画面样本数量，y为所述监控视频图像的样本中人物画面的高度，z为所述监控视频图像的样本中人物画面各骨骼节点向量值，
Figure BDA0002328297690000073
为所述人物画面方位向量值，by为所述监控视频图像的样本中人物高度，cz为所述监控视频图像的样本中各骨骼节点的空间方位值，
Figure BDA0002328297690000074
为所述人物方位朝向，
Figure BDA0002328297690000075
为所述监控视频图像的样本经降维线性处理，
Figure BDA0002328297690000076
为所述获取的人物动作特征序列；
步骤A203、根据公式(2)对所述步骤A2获取的人物动作特征序列进行归一化处理，以获取人物特征相似度矩阵；
Figure BDA0002328297690000077
其中，j为特征相似度矩阵中骨骼节点运动轨迹的数量，ε为骨骼节点的角度，arctan为正切函数，vj为不同骨骼节点运动轨迹值，hε为骨骼节点角度时序变化，
Figure BDA0002328297690000078
为骨骼节点各序列值，
Figure BDA0002328297690000079
为动作样本方向向量值，
Figure BDA0002328297690000081
为骨骼节点角度时序的归一化处理，C(vj,hε)为所获取特征相似度矩阵；
步骤A204、将所述步骤A3获取的特征相似度矩阵与所述工业生产过程对应的所有标准工序信息匹配，通过公式(3)判断所述预设目标对象的动作识别结果是否与所述标准工序一致，执行不产生异常动作检测报警的操作；
Figure BDA0002328297690000082
其中，m为所述获得的特征相似度矩阵中样本数量，f(m)为给所述特征相似度矩阵分配序列号，q为所述工业生产过程对应的所有标准工序信息与特征相似度匹配的数据行数，r为所述工业生产过程对应的所有标准工序信息与特征相似度匹配的数据列数，O'(kq,lr)为所述工业生产过程对应的所有标准工序动作识别结果值，Compare(m)为特征相似度矩阵与所述工业生产过程对应的所有标准工序动作识别结果值匹配情况，Compare(m)计算值为趋近于0时，则表示所述监控装置获得的预设目标对象的动作识别结果与所述工业生产过程对应的所有标准工序信息匹配，执行不产生异常动作检测报警的操作。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于监控视频的工序异常检测方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的一种基于监控视频的工序异常检测方法的流程示意图。该基于监控视频的工序异常检测方法包括如下步骤：
步骤S1，获取关于工业生产过程的监控视频，并对该监控视频进行拆解处理，以得到关于该监控视频的若干帧图像；
步骤S2，对该若干帧图像中的每一帧图像进行目标跟踪处理，以获得每一帧图像中预设目标对象的动作识别结果；
步骤S3，根据该动作识别结果，对该每一帧图像进行时间标记处理，以获得对应的工序顺序标记结果；
步骤S4，根据当前工业生产对应产品的流水线位置信息和该工序顺序标记结果，确定当前工业生产过程对应的工序执行状况。
优选地，在该步骤S1中，获取关于工业生产过程的监控视频，并对该监控视频进行拆解处理，以得到关于该监控视频的若干帧图像具体包括，
步骤S101，获取关于工业生产过程的监控视频流数据和该工业生产过程对应的所有标准工序信息；
步骤S102，根据该所有标准工序信息，将该监控视频数据流分切为在数据内容上互不重叠的若干监控视频数据子流；
步骤S103，对该若干监控视频数据子流中的每一个进行视频解码处理，以将每一个监控视频数据子流对应拆解成该若干帧图像。
优选地，在该步骤S101中，获取关于工业生产过程的监控视频流数据和该工业生产过程对应的所有标准工序信息具体包括，
步骤S1011，对该工业生产过程进行单目拍摄操作和/或双目拍摄操作，以获取关于该工业生产过程的单目监控视频数据流和/或双目监控视频数据流；
步骤S1012，对该工业生产过程对应的标准生产流程进行预设工业标准化神经网络模型的学习处理，以获得该工业生产过程对应的该所有标准工序信息。
优选地，在该步骤S102中，根据该所有标准工序信息，将该监控视频数据流分切为在数据内容上互不重叠的若干监控视频数据子流具体包括，
根据该所有标准工序信息，确定对应的生产流水线工序执行位置信息，并根据该生产流水线工序执行位置信息，将该监控视频数据流分切为在数据内容上互不重叠的若干监控视频数据子流。
优选地，在该步骤S103中，对该若干监控视频数据子流中的每一个进行视频解码处理，以将每一个监控视频数据子流对应拆解成该若干帧图像具体包括，
步骤S1031，根据该工业生产过程对应的工业生产参数，构建关于该工业生产过程的视频解码处理模型，并对该视频解码处理模型进行算法训练；
步骤S1032，基于经过该算法训练的该视频解码处理模型，对该每一个监控视频数据子流进行该视频解码处理，以拆解得到该若干帧图像。
优选地，在该步骤S2中，对该若干帧图像中的每一帧图像进行目标跟踪处理，以获得每一帧图像中预设目标对象的动作识别结果具体包括，
步骤S201，通过预设目标跟踪算法，对每一帧图像中的预设目标对象进行该目标跟踪处理，以获得该目标对象在每一帧图像中的定位信息；
步骤S202，根据该定位信息，对所有若干帧图像中的该目标对象进行动作标定处理，以确定每一帧图像中该目标对象的动作特征；
步骤S203，根据该动作特征，对每一帧图像中的该目标对象进行动作变化识别处理，以获得该动作识别结果。
优选地，在该步骤S201中，通过预设目标跟踪算法，对每一帧图像中的预设目标对象进行该目标跟踪处理，以获得该目标对象在每一帧图像中的定位信息具体包括，
通过预设目标跟踪算法，对每一帧图像中的工序执行人员和/或产品进行该目标跟踪处理，以获得该工序执行人员和/或产品对应的该定位信息。
优选地，在该步骤S202中，根据该定位信息，对所有若干帧图像中的该目标对象进行动作标定处理，以确定每一帧图像中该目标对象的动作特征具体包括，
根据该定位信息，对每一帧图像中的工序执行人员和/或产品进行像素解析处理以获取其在图像中的像素边界，再根据该像素边界，确定该工序执行人员和/或产品对应的像素边界动态变化，以实现该动作标定处理并得到该动作特征。
优选地，在该步骤S203中，根据该动作特征，对每一帧图像中的该目标对象进行动作变化识别处理，以获得该动作识别结果具体包括，
根据该动作特征，确定每一帧图像中的工序执行人员和/或产品在不同自由度上的姿态变化，以实现该动作变化识别处理并得到该动作识别结果。
优选地，在该步骤S3中，根据该动作识别结果，对该每一帧图像进行时间标记处理，以获得对应的工序顺序标记结果具体包括，
步骤S301，对该动作识别结果进行预设阈值检测处理，并根据该预设阈值检测处理的结果确定对应帧图像的时间戳信息；
步骤S302，根据该时间戳信息，对每一帧图像进行时间顺序标记处理；
步骤S303，根据该时间顺序标记处理的结果，对所有帧图像中对应的动作工序进行工序顺序标记处理，以获得该工序顺序标记结果。
优选地，在该步骤S301中，对该动作识别结果进行预设阈值检测处理，并根据该预设阈值检测处理的结果确定对应帧图像的时间戳信息具体包括，
步骤S3011，对该动作识别结果进行关于动作幅度的数值化转换处理，以获得对应的动作评价值；
步骤S3012，将该动作评价值与预设阈值进行对比处理，若该动作评价值超过该预设阈值，则对其对应帧图像进行时间戳标记处理，否则，不对其对应帧图像进行时间戳标记处理；
步骤S3013，根据该步骤S3012的时间戳标记处理的结果，确定该时间戳信息。
优选地，在该步骤S303中，根据该时间顺序标记处理的结果，对所有帧图像中对应的动作工序进行工序顺序标记处理，以获得该工序顺序标记结果具体包括，
步骤S3031，根据该时间顺序标记处理的结果，确定所有帧图像中具有时间戳标记的对应的时刻信息；
步骤S3032，根据该时刻信息，对相应帧图像进行该工序顺序标记处理，以获得关于该工业生产过程对应的实时工序顺序信息。
优选地，在该步骤S4中，根据当前工业生产对应产品的流水线位置信息和该工序顺序标记结果，确定当前工业生产过程对应的工序执行状况具体包括，
步骤S401，在当前工业生产过程对应的流水线终端处设置边界绊线，根据该产品与该边界绊线之间的相对位置关系，确定该流水线位置信息，；
步骤S402，若该流水线位置信息指示该产品已穿越该边界绊线，则根据该工序顺序标记结果，确定当前工业生产过程对应的工序执行状况；
步骤S403，若该流水线位置信息指示该产品未穿越该边界绊线，则对该流水线位置信息进行更新处理，直到该流水线位置信息指示该产品已穿越该边界绊线为止。
优选地，在该步骤S402，若该流水线位置信息指示该产品已穿越该边界绊线，则根据该工序顺序标记结果，确定当前工业生产过程对应的工序执行状况具体包括，
将该工序顺序标记结果与当前工业生产过程对应标准工序顺序进行匹配处理，若两者相匹配，则确定当前工业生产过程对应的工序执行状态正常，否则，确定当前工业生产过程中对应的工序执行状态异常。
优选地，在该步骤S4中，若确定当前工业生产过程中对应的工序执行状态异常，则保存当前工业生产过程对应的监控视频，并对该监控视频进行异常分析处理和/或报警处理。
从上述实施例的内容可知，该基于监控视频的工序异常检测方法通过对工业生产过程中关于流水线上工人和/或产品的监控视频进行自动分析处理以判断该工业生产过程中是否存在工序异常的情况，其能够实现对工序本身的异常情况或者不同工序之间在顺序上的异常情况进行全天候的无间断精确识别，以提高对工序异常情况的高效性、精确性和全面性，此外，该基于监控视频的工序异常检测方法还能够根据对工序异常情况的识别结果进行实时的报警和/或信息结果存档操作，以便于后续对工业生产流水线进行实时监管和质量追溯，从而提高流水线的生产质量和生产效率。
优选地，在所述步骤S2中，对所述若干帧图像中的每一帧图像进行目标跟踪处理，以获得每一帧图像中预设目标对象的动作识别结果的具体操作还包括；
步骤A201、根据所述工业生产过程的监控视频，通过拆解得到的所述监控视频的若干帧图像，并采集所述监控视频图像的样本；
步骤A202、根据预先建立的图像预处理模型，对所述步骤A1采集的所述监控视频图像的样本进行灰度化等预处理，同时根据公式(1)对采集的所述监控视频图像的样本提取人物动作特征，以获取所述人物动作特征序列；
Figure BDA0002328297690000131
其中，π为圆周率，ln为自然对数是以常数e为底数的对数，tan为正切函数，N为所述人物动作识别关键节点值，其数值为人物高度y与骨骼节点数量27的比值，
Figure BDA0002328297690000132
为人物方位信息，θ为所述人物画面顶、底部与监控装置的夹角，f(s)为所述监控装置与所述监控画面人物的距离，x表示采集的所述监控视频图像中人物画面样本数量，y为所述监控视频图像的样本中人物画面的高度，z为所述监控视频图像的样本中人物画面各骨骼节点向量值，
Figure BDA0002328297690000141
为所述人物画面方位向量值，by为所述监控视频图像的样本中人物高度，cz为所述监控视频图像的样本中各骨骼节点的空间方位值，
Figure BDA0002328297690000142
为所述人物方位朝向，
Figure BDA0002328297690000143
为所述监控视频图像的样本经降维线性处理，
Figure BDA0002328297690000144
为所述获取的人物动作特征序列；
步骤A203、根据公式(2)对所述步骤A2获取的人物动作特征序列进行归一化处理，以获取人物特征相似度矩阵；
Figure BDA0002328297690000145
其中，j为特征相似度矩阵中骨骼节点运动轨迹的数量，ε为骨骼节点的角度，arctan为正切函数，vj为不同骨骼节点运动轨迹值，hε为骨骼节点角度时序变化，
Figure BDA0002328297690000146
为骨骼节点各序列值，
Figure BDA0002328297690000147
为动作样本方向向量值，
Figure BDA0002328297690000148
为骨骼节点角度时序的归一化处理，C(vj,hε)为所获取特征相似度矩阵；
步骤A204、将所述步骤A3获取的特征相似度矩阵与所述工业生产过程对应的所有标准工序信息匹配，通过公式(3)判断所述预设目标对象的动作识别结果是否与所述标准工序一致，执行不产生异常动作检测报警的操作；
Figure BDA0002328297690000149
其中，m为所述获得的特征相似度矩阵中样本数量，f(m)为给所述特征相似度矩阵分配序列号，q为所述工业生产过程对应的所有标准工序信息与特征相似度匹配的数据行数，r为所述工业生产过程对应的所有标准工序信息与特征相似度匹配的数据列数，O'(kq,lr)为所述工业生产过程对应的所有标准工序动作识别结果值，Compare(m)为特征相似度矩阵与所述工业生产过程对应的所有标准工序动作识别结果值匹配情况，Compare(m)计算值为趋近于0时，则表示所述监控装置获得的预设目标对象的动作识别结果与所述工业生产过程对应的所有标准工序信息匹配，执行不产生异常动作检测报警的操作。
上述技术方案的有益效果是：该技术方案为所述一种基于监控视频的工序异常检测方法的实现提供了技术支持，可通过监控装置全天候的无间断精确识别，提高对工序异常动作的高效检测，此外，该基于监控视频的工序异常检测方法还能够根据对工序异常情况的识别结果进行实时的报警，并根据预设控制系统反馈给控制中心，以便控制中心及时响应精确处理工序异常情况，避免对工业生产流水线进行紧急停止而造成人力物力的巨大浪费，进而提高工业生产流水线的运行效率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (11)

1.一种基于监控视频的工序异常检测方法，其特征在于，所述基于监控视频的工序异常检测方法包括如下步骤：
步骤S1，获取关于工业生产过程的监控视频，并对所述监控视频进行拆解处理，以得到关于所述监控视频的若干帧图像；
步骤S2，对所述若干帧图像中的每一帧图像进行目标跟踪处理，以获得每一帧图像中预设目标对象的动作识别结果；
步骤S3，根据所述动作识别结果，对所述每一帧图像进行时间标记处理，以获得对应的工序顺序标记结果；
步骤S4，根据当前工业生产对应产品的流水线位置信息和所述工序顺序标记结果，确定当前工业生产过程对应的工序执行状况。
2.如权利要求1所述的基于监控视频的工序异常检测方法，其特征在于：在所述步骤S1中，获取关于工业生产过程的监控视频，并对所述监控视频进行拆解处理，以得到关于所述监控视频的若干帧图像具体包括，
步骤S101，获取关于工业生产过程的监控视频流数据和所述工业生产过程对应的所有标准工序信息；
步骤S102，根据所述所有标准工序信息，将所述监控视频数据流分切为在数据内容上互不重叠的若干监控视频数据子流；
步骤S103，对所述若干监控视频数据子流中的每一个进行视频解码处理，以将每一个监控视频数据子流对应拆解成所述若干帧图像。
3.如权利要求2所述的基于监控视频的工序异常检测方法，其特征在于：在所述步骤S101中，获取关于工业生产过程的监控视频流数据和所述工业生产过程对应的所有标准工序信息具体包括，
步骤S1011，对所述工业生产过程进行单目拍摄操作和/或双目拍摄操作，以获取关于所述工业生产过程的单目监控视频数据流和/或双目监控视频数据流；
步骤S1012，对所述工业生产过程对应的标准生产流程进行预设工业标准化神经网络模型的学习处理，以获得所述工业生产过程对应的所述所有标准工序信息；
或者，
在所述步骤S102中，根据所述所有标准工序信息，将所述监控视频数据流分切为在数据内容上互不重叠的若干监控视频数据子流具体包括，根据所述所有标准工序信息，确定对应的生产流水线工序执行位置信息，并根据所述生产流水线工序执行位置信息，将所述监控视频数据流分切为在数据内容上互不重叠的若干监控视频数据子流；
或者，
在所述步骤S103中，对所述若干监控视频数据子流中的每一个进行视频解码处理，以将每一个监控视频数据子流对应拆解成所述若干帧图像具体包括，
步骤S1031，根据所述工业生产过程对应的工业生产参数，构建关于所述工业生产过程的视频解码处理模型，并对所述视频解码处理模型进行算法训练；
步骤S1032，基于经过所述算法训练的所述视频解码处理模型，对所述每一个监控视频数据子流进行所述视频解码处理，以拆解得到所述若干帧图像。
4.如权利要求1所述的基于监控视频的工序异常检测方法，其特征在于：在所述步骤S2中，对所述若干帧图像中的每一帧图像进行目标跟踪处理，以获得每一帧图像中预设目标对象的动作识别结果具体包括，
步骤S201，通过预设目标跟踪算法，对每一帧图像中的预设目标对象进行所述目标跟踪处理，以获得所述目标对象在每一帧图像中的定位信息；
步骤S202，根据所述定位信息，对所有若干帧图像中的所述目标对象进行动作标定处理，以确定每一帧图像中所述目标对象的动作特征；
步骤S203，根据所述动作特征，对每一帧图像中的所述目标对象进行动作变化识别处理，以获得所述动作识别结果。
5.如权利要求4所述的基于监控视频的工序异常检测方法，其特征在于：在所述步骤S201中，通过预设目标跟踪算法，对每一帧图像中的预设目标对象进行所述目标跟踪处理，以获得所述目标对象在每一帧图像中的定位信息具体包括，
通过预设目标跟踪算法，对每一帧图像中的工序执行人员和/或产品进行所述目标跟踪处理，以获得所述工序执行人员和/或产品对应的所述定位信息；
或者，
在所述步骤S202中，根据所述定位信息，对所有若干帧图像中的所述目标对象进行动作标定处理，以确定每一帧图像中所述目标对象的动作特征具体包括，
根据所述定位信息，对每一帧图像中的工序执行人员和/或产品进行像素解析处理以获取其在图像中的像素边界，再根据所述像素边界，确定所述工序执行人员和/或产品对应的像素边界动态变化，以实现所述动作标定处理并得到所述动作特征；
或者，
在所述步骤S203中，根据所述动作特征，对每一帧图像中的所述目标对象进行动作变化识别处理，以获得所述动作识别结果具体包括，
根据所述动作特征，确定每一帧图像中的工序执行人员和/或产品在不同自由度上的姿态变化，以实现所述动作变化识别处理并得到所述动作识别结果。
6.如权利要求1所述的基于监控视频的工序异常检测方法，其特征在于：在所述步骤S3中，根据所述动作识别结果，对所述每一帧图像进行时间标记处理，以获得对应的工序顺序标记结果具体包括，
步骤S301，对所述动作识别结果进行预设阈值检测处理，并根据所述预设阈值检测处理的结果确定对应帧图像的时间戳信息；
步骤S302，根据所述时间戳信息，对每一帧图像进行时间顺序标记处理；
步骤S303，根据所述时间顺序标记处理的结果，对所有帧图像中对应的动作工序进行工序顺序标记处理，以获得所述工序顺序标记结果。
7.如权利要求6所述的基于监控视频的工序异常检测方法，其特征在于：在所述步骤S301中，对所述动作识别结果进行预设阈值检测处理，并根据所述预设阈值检测处理的结果确定对应帧图像的时间戳信息具体包括，
步骤S3011，对所述动作识别结果进行关于动作幅度的数值化转换处理，以获得对应的动作评价值；
步骤S3012，将所述动作评价值与预设阈值进行对比处理，若所述动作评价值超过所述预设阈值，则对其对应帧图像进行时间戳标记处理，否则，不对其对应帧图像进行时间戳标记处理；
步骤S3013，根据所述步骤S3012的时间戳标记处理的结果，确定所述时间戳信息；
或者，
在所述步骤S303中，根据所述时间顺序标记处理的结果，对所有帧图像中对应的动作工序进行工序顺序标记处理，以获得所述工序顺序标记结果具体包括，
步骤S3031，根据所述时间顺序标记处理的结果，确定所有帧图像中具有时间戳标记的对应的时刻信息；
步骤S3032，根据所述时刻信息，对相应帧图像进行所述工序顺序标记处理，以获得关于所述工业生产过程对应的实时工序顺序信息。
8.如权利要求1所述的基于监控视频的工序异常检测方法，其特征在于：在所述步骤S4中，根据当前工业生产对应产品的流水线位置信息和所述工序顺序标记结果，确定当前工业生产过程对应的工序执行状况具体包括，
步骤S401，在当前工业生产过程对应的流水线终端处设置边界绊线，根据所述产品与所述边界绊线之间的相对位置关系，确定所述流水线位置信息；
步骤S402，若所述流水线位置信息指示所述产品已穿越所述边界绊线，则根据所述工序顺序标记结果，确定当前工业生产过程对应的工序执行状况；
步骤S403，若所述流水线位置信息指示所述产品未穿越所述边界绊线，则对所述流水线位置信息进行更新处理，直到所述流水线位置信息指示所述产品已穿越所述边界绊线为止。
9.如权利要求8所述的基于监控视频的工序异常检测方法，其特征在于：在所述步骤S402，若所述流水线位置信息指示所述产品已穿越所述边界绊线，则根据所述工序顺序标记结果，确定当前工业生产过程对应的工序执行状况具体包括，
将所述工序顺序标记结果与当前工业生产过程对应标准工序顺序进行匹配处理，若两者相匹配，则确定当前工业生产过程对应的工序执行状态正常，否则，确定当前工业生产过程中对应的工序执行状态异常。
10.如权利要求1所述的基于监控视频的工序异常检测方法，其特征在于：在所述步骤S4中，若确定当前工业生产过程中对应的工序执行状态异常，则保存当前工业生产过程对应的监控视频，并对所述监控视频进行异常分析处理和/或报警处理。
11.如权利要求1所述的一种基于监控视频的工序异常检测方法，其特征在于：
在所述步骤S2中，对所述若干帧图像中的每一帧图像进行目标跟踪处理，以获得每一帧图像中预设目标对象的动作识别结果的具体操作还包括；
步骤A201、根据所述工业生产过程的监控视频，通过拆解得到的所述监控视频的若干帧图像，并采集所述监控视频图像的样本；
步骤A202、根据预先建立的图像预处理模型，对所述步骤A1采集的所述监控视频图像的样本进行灰度化等预处理，同时根据公式(1)对采集的所述监控视频图像的样本提取人物动作特征，以获取所述人物动作特征序列；
Figure FDA0002328297680000061
其中，π为圆周率，ln为自然对数是以常数e为底数的对数，tan为正切函数，N为所述人物动作识别关键节点值，其数值为人物高度y与骨骼节点数量27的比值，
Figure FDA0002328297680000062
为人物方位信息，θ为所述人物画面顶、底部与监控装置的夹角，f(s)为所述监控装置与所述监控画面人物的距离，x表示采集的所述监控视频图像中人物画面样本数量，y为所述监控视频图像的样本中人物画面的高度，z为所述监控视频图像的样本中人物画面各骨骼节点向量值，
Figure FDA0002328297680000071
为所述人物画面方位向量值，by为所述监控视频图像的样本中人物高度，cz为所述监控视频图像的样本中各骨骼节点的空间方位值，
Figure FDA0002328297680000072
为所述人物方位朝向，
Figure FDA0002328297680000073
为所述监控视频图像的样本经降维线性处理，
Figure FDA0002328297680000074
为所述获取的人物动作特征序列；
步骤A203、根据公式(2)对所述步骤A2获取的人物动作特征序列进行归一化处理，以获取人物特征相似度矩阵；
Figure FDA0002328297680000075
其中，j为特征相似度矩阵中骨骼节点运动轨迹的数量，ε为骨骼节点的角度，arctan为正切函数，vj为不同骨骼节点运动轨迹值，hε为骨骼节点角度时序变化，
Figure FDA0002328297680000076
为骨骼节点各序列值，
Figure FDA0002328297680000077
为动作样本方向向量值，
Figure FDA0002328297680000078
为骨骼节点角度时序的归一化处理，C(vj,hε)为所获取特征相似度矩阵；
步骤A204、将所述步骤A3获取的特征相似度矩阵与所述工业生产过程对应的所有标准工序信息匹配，通过公式(3)判断所述预设目标对象的动作识别结果是否与所述标准工序一致，执行不产生异常动作检测报警的操作；
Figure FDA0002328297680000079
其中，m为所述获得的特征相似度矩阵中样本数量，f(m)为给所述特征相似度矩阵分配序列号，q为所述工业生产过程对应的所有标准工序信息与特征相似度匹配的数据行数，r为所述工业生产过程对应的所有标准工序信息与特征相似度匹配的数据列数，O'(kq,lr)为所述工业生产过程对应的所有标准工序动作识别结果值，Compare(m)为特征相似度矩阵与所述工业生产过程对应的所有标准工序动作识别结果值匹配情况，Compare(m)计算值为趋近于0时，则表示所述监控装置获得的预设目标对象的动作识别结果与所述工业生产过程对应的所有标准工序信息匹配，执行不产生异常动作检测报警的操作。
CN201911325544.4A 2019-12-20 2019-12-20 一种基于监控视频的工序异常检测方法 Active CN111144262B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911325544.4A CN111144262B (zh) 2019-12-20 2019-12-20 一种基于监控视频的工序异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911325544.4A CN111144262B (zh) 2019-12-20 2019-12-20 一种基于监控视频的工序异常检测方法

Publications (2)

Publication Number Publication Date
CN111144262A true CN111144262A (zh) 2020-05-12
CN111144262B CN111144262B (zh) 2023-05-16

Family

ID=70519117

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911325544.4A Active CN111144262B (zh) 2019-12-20 2019-12-20 一种基于监控视频的工序异常检测方法

Country Status (1)

Country Link
CN (1) CN111144262B (zh)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814557A (zh) * 2020-06-09 2020-10-23 珠海格力电器股份有限公司 动作流检测方法、装置、设备及存储介质
CN111994377A (zh) * 2020-07-21 2020-11-27 浙江大华技术股份有限公司 包装箱工序检测的方法、装置和计算机设备
CN112149546A (zh) * 2020-09-16 2020-12-29 珠海格力电器股份有限公司 一种信息处理方法、装置、电子设备及存储介质
CN112272288A (zh) * 2020-10-23 2021-01-26 岭东核电有限公司 核电作业监控方法、装置、计算机设备和存储介质
CN112380387A (zh) * 2020-10-23 2021-02-19 岭东核电有限公司 复盘试验视频确定方法、装置、电子设备和存储介质
CN112637572A (zh) * 2021-03-09 2021-04-09 北京容联易通信息技术有限公司 一种基于场景识别的工业流程监督系统
CN112732975A (zh) * 2020-12-31 2021-04-30 杭州海康威视数字技术股份有限公司 一种对象追踪方法、装置、电子设备及系统
CN113362324A (zh) * 2021-07-21 2021-09-07 上海脊合医疗科技有限公司 一种基于视频图像的骨骼健康检测方法及系统
CN113450125A (zh) * 2021-07-06 2021-09-28 北京市商汤科技开发有限公司 可溯源生产数据的生成方法、装置、电子设备及存储介质
CN113591589A (zh) * 2021-07-02 2021-11-02 北京百度网讯科技有限公司 产品漏检的识别方法、装置、电子设备及存储介质
CN113780206A (zh) * 2021-09-16 2021-12-10 福建平潭瑞谦智能科技有限公司 一种基于视频图像分析处理方法
CN114821478A (zh) * 2022-05-05 2022-07-29 北京容联易通信息技术有限公司 一种基于视频智能分析的工序流程检测方法及系统
CN114973109A (zh) * 2022-07-11 2022-08-30 卡奥斯工业智能研究院(青岛)有限公司 基于数字孪生的工作效率显示方法、装置及设备
CN116343131A (zh) * 2023-05-23 2023-06-27 深圳市鑫莱达安防技术有限公司 摄像机组智能监控预警方法、装置、设备及存储介质
CN116453245A (zh) * 2023-04-20 2023-07-18 东莞市伟创动力科技有限公司 一种电子锁解锁管理方法及系统
CN117115751A (zh) * 2023-09-22 2023-11-24 山东九州信泰信息科技股份有限公司 基于工业互联网的设备监控方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017091009A (ja) * 2015-11-04 2017-05-25 日本電気株式会社 異常作業検出システムおよび異常作業検出方法
CN107194559A (zh) * 2017-05-12 2017-09-22 杭州电子科技大学 一种基于三维卷积神经网络的工作流识别方法
CN107846575A (zh) * 2017-09-05 2018-03-27 容讯智能科技(上海)有限公司 危化品装卸货工序违章作业视频监控智能分析预警方法
CN110516636A (zh) * 2019-08-30 2019-11-29 盈盛智创科技(广州)有限公司 一种工序的监测方法、装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017091009A (ja) * 2015-11-04 2017-05-25 日本電気株式会社 異常作業検出システムおよび異常作業検出方法
CN107194559A (zh) * 2017-05-12 2017-09-22 杭州电子科技大学 一种基于三维卷积神经网络的工作流识别方法
CN107846575A (zh) * 2017-09-05 2018-03-27 容讯智能科技(上海)有限公司 危化品装卸货工序违章作业视频监控智能分析预警方法
CN110516636A (zh) * 2019-08-30 2019-11-29 盈盛智创科技(广州)有限公司 一种工序的监测方法、装置、计算机设备和存储介质

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111814557A (zh) * 2020-06-09 2020-10-23 珠海格力电器股份有限公司 动作流检测方法、装置、设备及存储介质
CN111994377B (zh) * 2020-07-21 2022-04-08 浙江大华技术股份有限公司 包装箱工序检测的方法、装置和计算机设备
CN111994377A (zh) * 2020-07-21 2020-11-27 浙江大华技术股份有限公司 包装箱工序检测的方法、装置和计算机设备
CN112149546A (zh) * 2020-09-16 2020-12-29 珠海格力电器股份有限公司 一种信息处理方法、装置、电子设备及存储介质
CN112149546B (zh) * 2020-09-16 2024-05-03 珠海格力电器股份有限公司 一种信息处理方法、装置、电子设备及存储介质
CN112272288A (zh) * 2020-10-23 2021-01-26 岭东核电有限公司 核电作业监控方法、装置、计算机设备和存储介质
CN112380387A (zh) * 2020-10-23 2021-02-19 岭东核电有限公司 复盘试验视频确定方法、装置、电子设备和存储介质
CN112380387B (zh) * 2020-10-23 2024-04-30 岭东核电有限公司 复盘试验视频确定方法、装置、电子设备和存储介质
CN112732975A (zh) * 2020-12-31 2021-04-30 杭州海康威视数字技术股份有限公司 一种对象追踪方法、装置、电子设备及系统
CN112637572B (zh) * 2021-03-09 2021-06-18 北京容联易通信息技术有限公司 一种基于场景识别的工业流程监督系统
CN112637572A (zh) * 2021-03-09 2021-04-09 北京容联易通信息技术有限公司 一种基于场景识别的工业流程监督系统
CN113591589A (zh) * 2021-07-02 2021-11-02 北京百度网讯科技有限公司 产品漏检的识别方法、装置、电子设备及存储介质
EP4156115A4 (en) * 2021-07-02 2024-07-10 Beijing Baidu Netcom Sci & Tech Co Ltd METHOD AND DEVICE FOR IDENTIFYING A PRODUCT WITH MISSED INSPECTION, ELECTRONIC DEVICE AND STORAGE MEDIUM
CN113591589B (zh) * 2021-07-02 2022-09-27 北京百度网讯科技有限公司 产品漏检的识别方法、装置、电子设备及存储介质
CN113450125A (zh) * 2021-07-06 2021-09-28 北京市商汤科技开发有限公司 可溯源生产数据的生成方法、装置、电子设备及存储介质
CN113362324A (zh) * 2021-07-21 2021-09-07 上海脊合医疗科技有限公司 一种基于视频图像的骨骼健康检测方法及系统
CN113362324B (zh) * 2021-07-21 2023-02-24 上海脊合医疗科技有限公司 一种基于视频图像的骨骼健康检测方法及系统
CN113780206A (zh) * 2021-09-16 2021-12-10 福建平潭瑞谦智能科技有限公司 一种基于视频图像分析处理方法
CN114821478A (zh) * 2022-05-05 2022-07-29 北京容联易通信息技术有限公司 一种基于视频智能分析的工序流程检测方法及系统
CN114821478B (zh) * 2022-05-05 2023-01-13 北京容联易通信息技术有限公司 一种基于视频智能分析的工序流程检测方法及系统
CN114973109A (zh) * 2022-07-11 2022-08-30 卡奥斯工业智能研究院(青岛)有限公司 基于数字孪生的工作效率显示方法、装置及设备
CN116453245A (zh) * 2023-04-20 2023-07-18 东莞市伟创动力科技有限公司 一种电子锁解锁管理方法及系统
CN116453245B (zh) * 2023-04-20 2023-11-14 东莞市伟创动力科技有限公司 一种电子锁解锁管理方法及系统
CN116343131B (zh) * 2023-05-23 2023-11-17 安徽光谷智能科技股份有限公司 摄像机组智能监控预警方法、装置、设备及存储介质
CN116343131A (zh) * 2023-05-23 2023-06-27 深圳市鑫莱达安防技术有限公司 摄像机组智能监控预警方法、装置、设备及存储介质
CN117115751A (zh) * 2023-09-22 2023-11-24 山东九州信泰信息科技股份有限公司 基于工业互联网的设备监控方法及系统

Also Published As

Publication number Publication date
CN111144262B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN111144262B (zh) 一种基于监控视频的工序异常检测方法
CN111127517B (zh) 一种基于监控视频的生产线产品定位方法
CN111191586B (zh) 一种施工现场人员安全帽佩戴情况巡检方法及系统
CN112396658B (zh) 一种基于视频的室内人员定位方法及定位系统
CN107194360B (zh) 逆向通行对象识别方法、装置及系统
CN111149129A (zh) 异常检测装置及异常检测方法
CN112613361A (zh) 一种安防监控用的智能化行为分析系统
CN101344966A (zh) 一种智能视觉监控中检测异常目标行为的方法
CN110688879A (zh) 一种仓储计数方法
CN109541022A (zh) 一种桥梁结构裂缝健康监测分析方法
CN111931573A (zh) 基于yolo进化深度学习模型的安全帽检测与预警方法
US20230186634A1 (en) Vision-based monitoring of site safety compliance based on worker re-identification and personal protective equipment classification
US20210166180A1 (en) Information processing apparatus, information processing method, and work evaluation system
Bai et al. Automated construction site monitoring based on improved YOLOv8-seg instance segmentation algorithm
CN113076899A (zh) 一种基于目标跟踪算法的高压输电线路异物检测方法
Dong et al. Vector detection network: An application study on robots reading analog meters in the wild
CN113947714A (zh) 一种视频监控和遥感的多模态协同优化方法及系统
CN117114420B (zh) 一种基于图像识别的工贸安全事故风险管控系统和方法
CN112183532A (zh) 基于弱监督协同学习算法的安全帽识别方法及存储介质
Singh et al. Vidaq: A framework for monitoring human machine interfaces
CN111178244A (zh) 一种异常生产场景的识别方法
CN111753599A (zh) 人员操作流程检测方法、装置、电子设备及存储介质
CN108181315B (zh) 一种基于图像处理的饼干损伤检测装置及检测方法
CN115104113A (zh) 作业率测量设备和作业率测量方法
Yang et al. A Deep Learning-based Framework for Vehicle License Plate Detection.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant