CN111222428B - 一种基于监控视频的器件紧固操作的检测方法 - Google Patents
一种基于监控视频的器件紧固操作的检测方法 Download PDFInfo
- Publication number
- CN111222428B CN111222428B CN201911377115.1A CN201911377115A CN111222428B CN 111222428 B CN111222428 B CN 111222428B CN 201911377115 A CN201911377115 A CN 201911377115A CN 111222428 B CN111222428 B CN 111222428B
- Authority
- CN
- China
- Prior art keywords
- fastening operation
- processing
- fastening
- result
- specifically includes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 80
- 238000001514 detection method Methods 0.000 title claims abstract description 12
- 238000000034 method Methods 0.000 claims abstract description 105
- 230000008569 process Effects 0.000 claims abstract description 83
- 238000004458 analytical method Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 85
- 238000012549 training Methods 0.000 claims description 31
- 230000003068 static effect Effects 0.000 claims description 30
- 238000004519 manufacturing process Methods 0.000 claims description 25
- 239000011159 matrix material Substances 0.000 claims description 15
- 230000009471 action Effects 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000000354 decomposition reaction Methods 0.000 claims description 5
- 230000004069 differentiation Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000002159 abnormal effect Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/04—Manufacturing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Entrepreneurship & Innovation (AREA)
- General Business, Economics & Management (AREA)
- Tourism & Hospitality (AREA)
- Marketing (AREA)
- Economics (AREA)
- Operations Research (AREA)
- Computing Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Quality & Reliability (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Manufacturing & Machinery (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Closed-Circuit Television Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种基于监控视频的器件紧固操作的检测方法，该基于监控视频的器件紧固操作的检测方法利用视频监控智能分析技术对器件紧固操作过程中的违规操作进行自动识别以确定相应的违规操作细节，该检测方法不仅能够实现对异常工序的24h无间断精准识别，并且还能够识别出不同类型的违规操作以进行实时告警并对告警信息进行存档，方便管理人员对流水线进行实时监管和质量追溯，从而极大提高工厂流水线的生产质量及生产效率。
Description
技术领域
本发明涉及工业制造质量控制的技术领域，特别涉及一种基于监控视频的器件紧固操作的检测方法。
背景技术
在生产洗衣机等产品的流水线中，通常需要采用螺丝等紧固件对工件进行紧固操作，为了保证在打螺丝时受力均匀，以防止紧固时出现缝隙，这就要求在流水线左右两侧布置两个操作人员针对同一个工件同时进行气枪打螺丝操作，若出现单人对同一个工件操作或者三人同时对同一个工件操作时均可能会造成工件紧固处因受力不均匀而产生缝隙，但是在流水线上的操作人员会出现不同的违规操作，从而导致该缝隙的产生。为了防止不同违规操作的出现，目前的解决办法就是通过日常人工巡检方式或者视频监控结合人工查看的方式，但是这两种方式不仅耗费大量的人力物力，并且还不能够实时地和准确地检测到每一个违规操作及其对应的操作区域。可见，现有的基于人工肉眼查看的流水线监督方式并不能及时地和全面地识别出所有违规操作，这种方式效率低下并且效果不明显，从而严重地影响流水线的生产质量。
发明内容
针对现有技术存在的缺陷，本发明提供一种基于监控视频的器件紧固操作的检测方法，该基于监控视频的器件紧固操作的检测方法包括如下步骤：步骤S1，获取关于操作区域的若干垂直监控视频，并根据该若干垂直监控视频对预设器件紧固操作识别算法进行训练处理；步骤S2，根据经过该训练处理的该预设器件紧固操作识别算法，对实时获得的垂直监控视频进行不同操作元素的识别处理；步骤S3，根据该识别处理的结果，对相应的操作元素进行关于违规与否的判断处理；步骤S4，根据该判断处理的结果，对当前器件紧固操作的整体工序执行情况进行分析处理；可见，该基于监控视频的器件紧固操作的检测方法利用视频监控智能分析技术对器件紧固操作过程中的违规操作进行自动识别以确定相应的违规操作细节，该检测方法不仅能够实现对异常工序的24h无间断精准识别，并且还能够识别出不同类型的违规操作以进行实时告警并对告警信息进行存档，方便管理人员对流水线进行实时监管和质量追溯，从而极大提高工厂流水线的生产质量及生产效率。
本发明提供一种基于监控视频的器件紧固操作的检测方法，其特征在于，所述基于监控视频的器件紧固操作的检测方法包括如下步骤：
步骤S1，获取关于操作区域的若干垂直监控视频，并根据所述若干垂直监控视频对预设器件紧固操作识别算法进行训练处理；
步骤S2，根据经过所述训练处理的所述预设器件紧固操作识别算法，对实时获得的垂直监控视频进行不同操作元素的识别处理；
步骤S3，根据所述识别处理的结果，对相应的操作元素进行关于违规与否的判断处理；
步骤S4，根据所述判断处理的结果，对当前器件紧固操作的整体工序执行情况进行分析处理；
进一步，在所述步骤S1中，获取关于操作区域的若干垂直监控视频，并根据所述若干垂直监控视频对预设器件紧固操作识别算法进行训练处理具体包括，
步骤S101，对所述器件紧固操作对应的流水生产线进行工序分解处理，以确定所述流水生产线对应每一个紧固操作点的操作区域属性；
步骤S102，根据每一个紧固操作点的操作区域属性，确定每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式；
步骤S103，根据每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式，获取每一个紧固操作点对应的垂直监控视频；
步骤S104，根据每一个紧固操作点对应的垂直监控视频，对所述预设器件紧固操作识别算法进行训练处理；
进一步，在所述步骤S101中，对所述器件紧固操作对应的流水生产线进行工序分解处理，以确定所述流水生产线对应每一个紧固操作点的操作区域属性具体包括，
获取所述流水生产线中对于加工对象不同待紧固部件对应的紧固操作工序，以确定所述不同待紧固部件对应的紧固操作点关于内部环境和/或外部环境的所述操作区域属性；
或者，
在所述步骤S102中，根据每一个紧固操作点的操作区域属性，确定每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式具体包括，
步骤S1021，根据每一个紧固操作点的操作区域属性，确定所述每一个紧固操作点在所述生产流水线中的紧固操作空间信息、紧固操作障碍信息和紧固操作允许时间信息中的至少一者；
步骤S1022，根据所述紧固操作空间信息、所述紧固操作障碍信息和所述紧固操作允许时间信息中的至少一者，确定摄像头相对于所述紧固操作点的垂直布置方式和/或所述摄像头的拍摄焦距和/或所述摄像头的抓拍频率；
或者，
在所述步骤S103中，根据每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式，获取每一个紧固操作点对应的垂直监控视频具体包括
在确定每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式后，向所有紧固操作点对应的摄像头发送拍摄触发控制时序信号，以使每一个紧固操作点对应的摄像头按照特定的时序获取关于其对应紧固操作点的垂直监控视频；
或者，
在所述步骤S104中，根据每一个紧固操作点对应的垂直监控视频，对所述预设器件紧固操作识别算法进行训练处理具体包括，
对每一个紧固操作点对应的垂直监控视频进行训练图像帧的解码摘选处理，并将摘选得到的若干帧垂直监控图像输入至所述预设器件紧固操作识别算法中，以实现所述训练处理；
进一步，在所述步骤S2中，根据经过所述训练处理的所述预设器件紧固操作识别算法，对实时获得的垂直监控视频进行不同操作元素的识别处理具体包括，
步骤S201，获取经过所述训练处理的所述预设器件紧固操作识别算法的容差度，并根据所述容差度确定对所述实时获得的垂直监控视频的解码模式；
步骤S202，根据所述解码模式，对所述实时获得的垂直监控视频进行解码处理，以获得在时间上连续的若干帧解码图像；
步骤S203，对所述若干帧解码图像进行静态操作元素识别处理和/或动态操作元素识别处理，以获得关于当前垂直监控视频的静态操作元素和/或动态操作元素；
进一步，在所述步骤S201中，获取经过所述训练处理的所述预设器件紧固操作识别算法的容差度，并根据所述容差度确定对所述实时获得的垂直监控视频的解码模式具体包括，
获取所述预设器件紧固操作识别算法对不同分辨率视频的识别容差度，并根据所述实时获得的垂直监控视频的实际分辨率，来获得具有相应解码精确度的不同解码模式；
或者，
在所述步骤S202中，根据所述解码模式，对所述实时获得的垂直监控视频进行解码处理，以获得在时间上连续的若干帧解码图像具体包括，
根据所述解码模式，对所述实时获得的垂直监控视频进行关于时序连续性的解码处理，以获得在时间上连续的所述若干帧解码图像；
或者，
在所述步骤S203中，对所述若干帧解码图像进行静态操作元素识别处理和/或动态操作元素识别处理，以获得关于当前垂直监控视频的静态操作元素和/或动态操作元素具体包括，
对所述若干帧解码图像中的每一帧进行关于加工对象整体或者部分或者操作人员数量的静态操作元素识别处理，和/或进行关于操作人员对所述加工对象动作的动态操作元素识别处理，以获得关于当前垂直监控视频的静态操作元素和/或动态操作元素；
进一步，在所述步骤S3中，根据所述识别处理的结果，对相应的操作元素进行关于违规与否的判断处理具体包括，
步骤S301A，从所述识别处理的结果中，提取关于当前垂直监控视频的静态操作元素和/或动态操作元素；
步骤S302A，将所述静态操作元素和/或所述动态操作元素与预设标准操作元素进行对比处理，以获得相应的差异化对照结果；
步骤S303A，根据所述差异化对照结果，确定相应的操作元素中是否存在违规操作；
或者，
在所述步骤S3中，根据所述识别处理的结果，对相应的操作元素进行关于违规与否的判断处理具体包括，
步骤S301B，从所述识别处理的结果对应的结果数据信息中提取与当前垂直监控视频相关的操作元素数据信息，并将所述操作元素数据信息分别记为a1、a2、…、an，ai表示第i个操作元素数据信息，i＝1、2、…、n，且将所述当前垂直监控视频相关的操作元素数据矩阵A记为A＝[a1 a2…an]；
步骤S302B，计算所述当前垂直监控视频相关的操作元素对应的差异矩阵D，其中，D＝A-B＝[e1 e2…en]，A为所述当前垂直监控视频相关的操作元素数据矩阵，B为预设标准数据矩阵，e1、e2、…、en为所述差异矩阵D的元素值；
步骤S303B，根据下面公式(1)，计算差异对照结果mi
在上述公式(1)中，mi为第i个操作元素对应的差异对照结果；
步骤S304B，将所述差异对照结果mi与预设差异阈值进行大小比较处理，以此实现对相应的操作元素进行关于违规与否的判断处理；
进一步，在所述步骤S302A中，将所述静态操作元素和/或所述动态操作元素与预设标准操作元素进行对比处理，以获得相应的差异化对照结果具体包括，
将所述静态操作元素和/或所述动态操作元素与预设标准操作元素进行对比处理，以获得关于加工对应放置朝向、操作人员数量和操作人员加工操作中至少一者的差异化对照结果；
或者，
在所述步骤S303A中，根据所述差异化对照结果，确定相应的操作元素中是否存在违规操作具体包括，
将所述差异化对照结果进行数值化转换处理，并判断所述数值化转换处理的结果是否超出预设差异阈值，若是，则确定相应的操作元素中存在违规操作，若否，则确定相应的操作元素中不存在违规操作；
进一步，在所述步骤S4中，根据所述判断处理的结果，对当前器件紧固操作的整体工序执行情况进行分析处理具体包括，
步骤S401，从所述判断处理的结果中提取关于违规行为存在的时间信息和/或位置信息；
步骤S402，根据所述时间信息和/或所述位置信息，对流水生产线中对应的违规工序进行时间定位处理和/或位置定位处理；
步骤S403，根据所述时间定位处理和/或所述位置定位处理的结果，对当前器件紧固操作的整体工序执行情况进行所述分析处理；
进一步，在所述步骤S403中，根据所述时间定位处理和/或所述位置定位处理的结果，对当前器件紧固操作的整体工序执行情况进行所述分析处理具体包括，
根据所述时间定位处理和/或所述位置定位处理的结果，对当前器件紧固操作的每一个工序进行关于操作人员分配和/或操作人员动作的分析处理；
进一步，在该步骤S4之后，还包括步骤S5，其具体为，
若确定存在违法操作，则截取该违法操作对应的视频数据和/或图片数据，或者根据该违法操作执行适应性的警报操作。
相比于现有技术，该基于监控视频的器件紧固操作的检测方法利用视频监控智能分析技术对器件紧固操作过程中的违规操作进行自动识别以确定相应的违规操作细节，该检测方法不仅能够实现对异常工序的24h无间断精准识别，并且还能够识别出不同类型的违规操作以进行实时告警并对告警信息进行存档，方便管理人员对流水线进行实时监管和质量追溯，从而极大提高工厂流水线的生产质量及生产效率。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种基于监控视频的器件紧固操作的检测方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参阅图1，为本发明实施例提供的一种基于监控视频的器件紧固操作的检测方法的流程示意图。该基于监控视频的器件紧固操作的检测方法包括如下步骤：
步骤S1，获取关于操作区域的若干垂直监控视频，并根据该若干垂直监控视频对预设器件紧固操作识别算法进行训练处理；
步骤S2，根据经过该训练处理的该预设器件紧固操作识别算法，对实时获得的垂直监控视频进行不同操作元素的识别处理；
步骤S3，根据该识别处理的结果，对相应的操作元素进行关于违规与否的判断处理；
步骤S4，根据该判断处理的结果，对当前器件紧固操作的整体工序执行情况进行分析处理。
优选地，在该步骤S1中，获取关于操作区域的若干垂直监控视频，并根据该若干垂直监控视频对预设器件紧固操作识别算法进行训练处理具体包括，
步骤S101，对该器件紧固操作对应的流水生产线进行工序分解处理，以确定该流水生产线对应每一个紧固操作点的操作区域属性；
步骤S102，根据每一个紧固操作点的操作区域属性，确定每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式；
步骤S103，根据每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式，获取每一个紧固操作点对应的垂直监控视频；
步骤S104，根据每一个紧固操作点对应的垂直监控视频，对该预设器件紧固操作识别算法进行训练处理。
优选地，在该步骤S101中，对该器件紧固操作对应的流水生产线进行工序分解处理，以确定该流水生产线对应每一个紧固操作点的操作区域属性具体包括，
获取该流水生产线中对于加工对象不同待紧固部件对应的紧固操作工序，以确定该不同待紧固部件对应的紧固操作点关于内部环境和/或外部环境的该操作区域属性。
优选地，在该步骤S102中，根据每一个紧固操作点的操作区域属性，确定每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式具体包括，
步骤S1021，根据每一个紧固操作点的操作区域属性，确定该每一个紧固操作点在该生产流水线中的紧固操作空间信息、紧固操作障碍信息和紧固操作允许时间信息中的至少一者；
步骤S1022，根据该紧固操作空间信息、该紧固操作障碍信息和该紧固操作允许时间信息中的至少一者，确定摄像头相对于该紧固操作点的垂直布置方式和/或该摄像头的拍摄焦距和/或该摄像头的抓拍频率。
优选地，在该步骤S103中，根据每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式，获取每一个紧固操作点对应的垂直监控视频具体包括
在确定每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式后，向所有紧固操作点对应的摄像头发送拍摄触发控制时序信号，以使每一个紧固操作点对应的摄像头按照特定的时序获取关于其对应紧固操作点的垂直监控视频。
优选地，在该步骤S104中，根据每一个紧固操作点对应的垂直监控视频，对该预设器件紧固操作识别算法进行训练处理具体包括，
对每一个紧固操作点对应的垂直监控视频进行训练图像帧的解码摘选处理，并将摘选得到的若干帧垂直监控图像输入至该预设器件紧固操作识别算法中，以实现该训练处理。
优选地，在该步骤S2中，根据经过该训练处理的该预设器件紧固操作识别算法，对实时获得的垂直监控视频进行不同操作元素的识别处理具体包括，
步骤S201，获取经过该训练处理的该预设器件紧固操作识别算法的容差度，并根据该容差度确定对该实时获得的垂直监控视频的解码模式；
步骤S202，根据该解码模式，对该实时获得的垂直监控视频进行解码处理，以获得在时间上连续的若干帧解码图像；
步骤S203，对该若干帧解码图像进行静态操作元素识别处理和/或动态操作元素识别处理，以获得关于当前垂直监控视频的静态操作元素和/或动态操作元素。
优选地，在该步骤S201中，获取经过该训练处理的该预设器件紧固操作识别算法的容差度，并根据该容差度确定对该实时获得的垂直监控视频的解码模式具体包括，
获取该预设器件紧固操作识别算法对不同分辨率视频的识别容差度，并根据该实时获得的垂直监控视频的实际分辨率，来获得具有相应解码精确度的不同解码模式。
优选地，在该步骤S202中，根据该解码模式，对该实时获得的垂直监控视频进行解码处理，以获得在时间上连续的若干帧解码图像具体包括，
根据该解码模式，对该实时获得的垂直监控视频进行关于时序连续性的解码处理，以获得在时间上连续的该若干帧解码图像。
优选地，在该步骤S203中，对该若干帧解码图像进行静态操作元素识别处理和/或动态操作元素识别处理，以获得关于当前垂直监控视频的静态操作元素和/或动态操作元素具体包括，
对该若干帧解码图像中的每一帧进行关于加工对象整体或者部分或者操作人员数量的静态操作元素识别处理，和/或进行关于操作人员对该加工对象动作的动态操作元素识别处理，以获得关于当前垂直监控视频的静态操作元素和/或动态操作元素。
优选地，在该步骤S3中，根据该识别处理的结果，对相应的操作元素进行关于违规与否的判断处理具体包括，
步骤S301A，从该识别处理的结果中，提取关于当前垂直监控视频的静态操作元素和/或动态操作元素；
步骤S302A，将该静态操作元素和/或该动态操作元素与预设标准操作元素进行对比处理，以获得相应的差异化对照结果；
步骤S303A，根据该差异化对照结果，确定相应的操作元素中是否存在违规操作。
优选地，在该步骤S3中，根据该识别处理的结果，对相应的操作元素进行关于违规与否的判断处理具体包括，
步骤S301B，从该识别处理的结果对应的结果数据信息中提取与当前垂直监控视频相关的操作元素数据信息，并将该操作元素数据信息分别记为a1、a2、…、an，ai表示第i个操作元素数据信息，i＝1、2、…、n，且将该当前垂直监控视频相关的操作元素数据矩阵A记为A＝[a1 a2 … an]；
步骤S302B，计算该当前垂直监控视频相关的操作元素对应的差异矩阵D，其中，D＝A-B＝[e1 e2 … en]，A为该当前垂直监控视频相关的操作元素数据矩阵，B为预设标准数据矩阵，e1、e2、…、en为该差异矩阵D的元素值；
步骤S303B，根据下面公式(1)，计算差异对照结果mi
在上述公式(1)中，mi为第i个操作元素对应的差异对照结果；
步骤S304B，将该差异对照结果mi与预设差异阈值进行大小比较处理，以此实现对相应的操作元素进行关于违规与否的判断处理。
优选地，在该步骤S302A中，将该静态操作元素和/或该动态操作元素与预设标准操作元素进行对比处理，以获得相应的差异化对照结果具体包括，
将该静态操作元素和/或该动态操作元素与预设标准操作元素进行对比处理，以获得关于加工对应放置朝向、操作人员数量和操作人员加工操作中至少一者的差异化对照结果；
或者，
在该步骤S303A中，根据该差异化对照结果，确定相应的操作元素中是否存在违规操作具体包括，
将该差异化对照结果进行数值化转换处理，并判断该数值化转换处理的结果是否超出预设差异阈值，若是，则确定相应的操作元素中存在违规操作，若否，则确定相应的操作元素中不存在违规操作。
优选地，在该步骤S4中，根据该判断处理的结果，对当前器件紧固操作的整体工序执行情况进行分析处理具体包括，
步骤S401，从该判断处理的结果中提取关于违规行为存在的时间信息和/或位置信息；
步骤S402，根据该时间信息和/或该位置信息，对流水生产线中对应的违规工序进行时间定位处理和/或位置定位处理；
步骤S403，根据该时间定位处理和/或该位置定位处理的结果，对当前器件紧固操作的整体工序执行情况进行该分析处理。
优选地，在该步骤S403中，根据该时间定位处理和/或该位置定位处理的结果，对当前器件紧固操作的整体工序执行情况进行该分析处理具体包括，
根据该时间定位处理和/或该位置定位处理的结果，对当前器件紧固操作的每一个工序进行关于操作人员分配和/或操作人员动作的分析处理。
优选地，在该步骤S4之后，还包括步骤S5，其具体为，
若确定存在违法操作，则截取该违法操作对应的视频数据和/或图片数据，或者根据该违法操作执行适应性的警报操作。
从上述实施例的内容可知，该基于监控视频的器件紧固操作的检测方法利用视频监控智能分析技术对器件紧固操作过程中的违规操作进行自动识别以确定相应的违规操作细节，该检测方法不仅能够实现对异常工序的24h无间断精准识别，并且还能够识别出不同类型的违规操作以进行实时告警并对告警信息进行存档，方便管理人员对流水线进行实时监管和质量追溯，从而极大提高工厂流水线的生产质量及生产效率。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种基于监控视频的器件紧固操作的检测方法，其特征在于，所述基于监控视频的器件紧固操作的检测方法包括如下步骤：
步骤S1，获取关于操作区域的若干垂直监控视频，并根据所述若干垂直监控视频对预设器件紧固操作识别算法进行训练处理，具体包括：
步骤S101，对所述器件紧固操作对应的流水生产线进行工序分解处理，以确定所述流水生产线对应每一个紧固操作点的操作区域属性，具体包括：获取所述流水生产线中对于加工对象的不同待紧固部件对应的紧固操作工序，以确定所述不同待紧固部件对应的紧固操作点关于内部环境和/或外部环境的所述操作区域属性；
步骤S102，根据每一个紧固操作点的操作区域属性，确定每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式，具体包括：步骤S1021，根据每一个紧固操作点的操作区域属性，确定所述每一个紧固操作点在所述流水生产线中的紧固操作空间信息、紧固操作障碍信息和紧固操作允许时间信息中的至少一者；步骤S1022，根据所述紧固操作空间信息、所述紧固操作障碍信息和所述紧固操作允许时间信息中的至少一者，确定摄像头相对于所述紧固操作点的垂直布置方式和/或所述摄像头的拍摄焦距和/或所述摄像头的抓拍频率；
步骤S103，根据每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式，获取每一个紧固操作点对应的垂直监控视频，具体包括：在确定每一个紧固操作点对应的摄像头布置方式和/或摄像头拍摄模式后，向所有紧固操作点对应的摄像头发送拍摄触发控制时序信号，以使每一个紧固操作点对应的摄像头按照特定的时序获取关于其对应紧固操作点的垂直监控视频；
步骤S104，根据每一个紧固操作点对应的垂直监控视频，对所述预设器件紧固操作识别算法进行训练处理，具体包括：对每一个紧固操作点对应的垂直监控视频进行训练图像帧的解码摘选处理，并将摘选得到的若干帧垂直监控图像输入至所述预设器件紧固操作识别算法中，以实现所述训练处理；
步骤S2，根据经过所述训练处理的所述预设器件紧固操作识别算法，对实时获得的垂直监控视频进行不同操作元素的识别处理；
步骤S3，根据所述识别处理的结果，对相应的操作元素进行关于违规与否的判断处理；
步骤S4，根据所述判断处理的结果，对当前器件紧固操作的整体工序执行情况进行分析处理。
2.如权利要求1所述的基于监控视频的器件紧固操作的检测方法，其特征在于：
在所述步骤S2中，根据经过所述训练处理的所述预设器件紧固操作识别算法，对实时获得的垂直监控视频进行不同操作元素的识别处理具体包括：
步骤S201，获取经过所述训练处理的所述预设器件紧固操作识别算法的容差度，并根据所述容差度确定对所述实时获得的垂直监控视频的解码模式；
步骤S202，根据所述解码模式，对所述实时获得的垂直监控视频进行解码处理，以获得在时间上连续的若干帧解码图像；
步骤S203，对所述若干帧解码图像进行静态操作元素识别处理和/或动态操作元素识别处理，以获得关于当前垂直监控视频的静态操作元素和/或动态操作元素。
3.如权利要求2所述的基于监控视频的器件紧固操作的检测方法，其特征在于：
在所述步骤S201中，获取经过所述训练处理的所述预设器件紧固操作识别算法的容差度，并根据所述容差度确定对所述实时获得的垂直监控视频的解码模式具体包括：
获取所述预设器件紧固操作识别算法对不同分辨率视频的识别容差度，并根据所述实时获得的垂直监控视频的实际分辨率，来获得具有相应解码精确度的不同解码模式；
在所述步骤S202中，根据所述解码模式，对所述实时获得的垂直监控视频进行解码处理，以获得在时间上连续的若干帧解码图像具体包括：
根据所述解码模式，对所述实时获得的垂直监控视频进行关于时序连续性的解码处理，以获得在时间上连续的所述若干帧解码图像；
在所述步骤S203中，对所述若干帧解码图像进行静态操作元素识别处理和/或动态操作元素识别处理，以获得关于当前垂直监控视频的静态操作元素和/或动态操作元素具体包括：
对所述若干帧解码图像中的每一帧进行关于加工对象整体或者部分以及操作人员数量的静态操作元素进行识别处理，和/或进行关于操作人员对所述加工对象动作的动态操作元素识别处理，以获得关于当前垂直监控视频的静态操作元素和/或动态操作元素。
4.如权利要求1所述的基于监控视频的器件紧固操作的检测方法，其特征在于：
在所述步骤S3中，根据所述识别处理的结果，对相应的操作元素进行关于违规与否的判断处理具体包括：
步骤S301A，从所述识别处理的结果中，提取关于当前垂直监控视频的静态操作元素和/或动态操作元素；
步骤S302A，将所述静态操作元素和/或所述动态操作元素与预设标准操作元素进行对比处理，以获得相应的差异化对照结果；
步骤S303A，根据所述差异化对照结果，确定相应的操作元素中是否存在违规操作；
或者
在所述步骤S3中，根据所述识别处理的结果，对相应的操作元素进行关于违规与否的判断处理具体包括：
步骤S301B，从所述识别处理的结果对应的结果数据信息中提取与当前垂直监控视频相关的操作元素数据信息，并将所述操作元素数据信息分别记为a1、a2、…、an，ai表示第i个操作元素数据信息，i=1、2、…、n，且将所述当前垂直监控视频相关的操作元素数据矩阵A记为A=[a1 a2… an]；
步骤S302B，计算所述当前垂直监控视频相关的操作元素对应的差异矩阵D，其中，D=A-B=[ … ]，A为所述当前垂直监控视频相关的操作元素数据矩阵，B为预设标准数据矩阵，、、…、为所述差异矩阵D的元素值；
步骤S303B，根据下面公式（1），计算差异对照结果；
；
在上述公式（1）中，为第i个操作元素对应的差异对照结果；
步骤S304B，将所述差异对照结果与预设差异阈值进行大小比较处理，以此实现对相应的操作元素进行关于违规与否的判断处理。
5.如权利要求4所述的基于监控视频的器件紧固操作的检测方法，其特征在于：
在所述步骤S302A中，将所述静态操作元素和/或所述动态操作元素与预设标准操作元素进行对比处理，以获得相应的差异化对照结果具体包括：
将所述静态操作元素和/或所述动态操作元素与预设标准操作元素进行对比处理，以获得关于加工对应放置朝向、操作人员数量和操作人员加工操作中至少一者的差异化对照结果；
在所述步骤S303A中，根据所述差异化对照结果，确定相应的操作元素中是否存在违规操作具体包括：
将所述差异化对照结果进行数值化转换处理，并判断所述数值化转换处理的结果是否超出预设差异阈值，若是，则确定相应的操作元素中存在违规操作，若否，则确定相应的操作元素中不存在违规操作。
6.如权利要求1所述的基于监控视频的器件紧固操作的检测方法，其特征在于：
在所述步骤S4中，根据所述判断处理的结果，对当前器件紧固操作的整体工序执行情况进行分析处理具体包括：
步骤S401，从所述判断处理的结果中提取关于违规行为存在的时间信息和/或位置信息；
步骤S402，根据所述时间信息和/或所述位置信息，对流水生产线中对应的违规工序进行时间定位处理和/或位置定位处理；
步骤S403，根据所述时间定位处理和/或所述位置定位处理的结果，对当前器件紧固操作的整体工序执行情况进行所述分析处理。
7.如权利要求6所述的基于监控视频的器件紧固操作的检测方法，其特征在于：
在所述步骤S403中，根据所述时间定位处理和/或所述位置定位处理的结果，对当前器件紧固操作的整体工序执行情况进行所述分析处理具体包括：
根据所述时间定位处理和/或所述位置定位处理的结果，对当前器件紧固操作的每一个工序进行关于操作人员分配和/或操作人员动作的分析处理。
8.如权利要求1所述的基于监控视频的器件紧固操作的检测方法，其特征在于：
在该步骤S4之后，还包括步骤S5，其具体为：
若确定存在违法操作，则截取该违法操作对应的视频数据和/或图片数据，或者根据该违法操作执行警报操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911377115.1A CN111222428B (zh) | 2019-12-27 | 2019-12-27 | 一种基于监控视频的器件紧固操作的检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911377115.1A CN111222428B (zh) | 2019-12-27 | 2019-12-27 | 一种基于监控视频的器件紧固操作的检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111222428A CN111222428A (zh) | 2020-06-02 |
| CN111222428B true CN111222428B (zh) | 2023-05-16 |
Family
ID=70829160
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911377115.1A Active CN111222428B (zh) | 2019-12-27 | 2019-12-27 | 一种基于监控视频的器件紧固操作的检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111222428B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105488806A (zh) * | 2015-12-23 | 2016-04-13 | 华中科技大学 | 一种工件位置追踪定位方法及定位系统 |
| CN107846575A (zh) * | 2017-09-05 | 2018-03-27 | 容讯智能科技(上海)有限公司 | 危化品装卸货工序违章作业视频监控智能分析预警方法 |
| CN108960668A (zh) * | 2018-07-19 | 2018-12-07 | 上海小蚁科技有限公司 | 工程质量监控的预警提示方法及装置、存储介质、计算设备 |
| CN110381293A (zh) * | 2019-06-18 | 2019-10-25 | 平安国际智慧城市科技股份有限公司 | 视频监控方法、装置及计算机可读存储介质 |
| JP2019191999A (ja) * | 2018-04-26 | 2019-10-31 | 東芝三菱電機産業システム株式会社 | プラント監視制御システム |
| CN110516636A (zh) * | 2019-08-30 | 2019-11-29 | 盈盛智创科技(广州)有限公司 | 一种工序的监测方法、装置、计算机设备和存储介质 |
-
2019
- 2019-12-27 CN CN201911377115.1A patent/CN111222428B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105488806A (zh) * | 2015-12-23 | 2016-04-13 | 华中科技大学 | 一种工件位置追踪定位方法及定位系统 |
| CN107846575A (zh) * | 2017-09-05 | 2018-03-27 | 容讯智能科技(上海)有限公司 | 危化品装卸货工序违章作业视频监控智能分析预警方法 |
| JP2019191999A (ja) * | 2018-04-26 | 2019-10-31 | 東芝三菱電機産業システム株式会社 | プラント監視制御システム |
| CN108960668A (zh) * | 2018-07-19 | 2018-12-07 | 上海小蚁科技有限公司 | 工程质量监控的预警提示方法及装置、存储介质、计算设备 |
| CN110381293A (zh) * | 2019-06-18 | 2019-10-25 | 平安国际智慧城市科技股份有限公司 | 视频监控方法、装置及计算机可读存储介质 |
| CN110516636A (zh) * | 2019-08-30 | 2019-11-29 | 盈盛智创科技(广州)有限公司 | 一种工序的监测方法、装置、计算机设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111222428A (zh) | 2020-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220259947A1 (en) | Monitoring system and method for wellsite equipment | |
| CN104966304B (zh) | 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法 | |
| CN110516522B (zh) | 一种巡检方法及系统 | |
| CN111144262A (zh) | 一种基于监控视频的工序异常检测方法 | |
| CN102348128A (zh) | 具有摄像机异常检测装置的监视用摄像机系统 | |
| CN111898486B (zh) | 监控画面异常的检测方法、装置及存储介质 | |
| CN106571965A (zh) | 一种用于酒店设备故障自检、互检反馈的监测展示系统及方法 | |
| CN116385948B (zh) | 一种预警铁路边坡异常的系统和方法 | |
| CN105976398A (zh) | 一种白天火灾视频检测方法 | |
| CN114140684A (zh) | 堵煤漏煤检测方法、装置、设备及存储介质 | |
| CN109313442B (zh) | 用于事件检测的自动视觉和声学分析 | |
| CN113111771A (zh) | 一种发电厂工作人员不安全行为的识别方法 | |
| CN115620192A (zh) | 一种高空作业安全绳穿戴检测的方法和装置 | |
| CN115802027A (zh) | 基于图像处理的在线监控设备运行异常检测方法 | |
| KR101214858B1 (ko) | 클러스터링 기법을 이용한 이동물체 검출장치 및 방법 | |
| CN111222428B (zh) | 一种基于监控视频的器件紧固操作的检测方法 | |
| CN117035669A (zh) | 基于人工智能的企业安全生产管理方法及系统 | |
| CN105187821A (zh) | 一种视频质量智能诊断分析系统 | |
| CN114387542A (zh) | 一种基于便携布控球的视频采集单元异常识别系统 | |
| CN110363109B (zh) | 一种基于计算机视觉的覆盖式漏油检测系统及方法 | |
| Van Den Hengel et al. | Finding camera overlap in large surveillance networks | |
| CN114565870A (zh) | 一种基于视觉的生产线管控方法及装置、系统、电子设备 | |
| CA3161056A1 (en) | A monitoring system and method for wellsite equipment | |
| CN110930362A (zh) | 一种螺钉安全检测方法、装置及系统 | |
| CN110728679A (zh) | 一种管接头漏水智能监测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |