CN116343131B - 摄像机组智能监控预警方法、装置、设备及存储介质 - Google Patents

摄像机组智能监控预警方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116343131B
CN116343131B CN202310584945.1A CN202310584945A CN116343131B CN 116343131 B CN116343131 B CN 116343131B CN 202310584945 A CN202310584945 A CN 202310584945A CN 116343131 B CN116343131 B CN 116343131B
Authority
CN
China
Prior art keywords
image
specification state
detected
abnormal
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310584945.1A
Other languages
English (en)
Other versions
CN116343131A (zh
Inventor
张勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Guanggu Intelligent Technology Co ltd
Original Assignee
Anhui Guanggu Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Guanggu Intelligent Technology Co ltd filed Critical Anhui Guanggu Intelligent Technology Co ltd
Priority to CN202310584945.1A priority Critical patent/CN116343131B/zh
Publication of CN116343131A publication Critical patent/CN116343131A/zh
Application granted granted Critical
Publication of CN116343131B publication Critical patent/CN116343131B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种摄像机组智能监控预警方法、装置、设备及存储介质，由于本发明通过对设置在工厂流水线不同区域的摄像机采集的目标区域图像进行图像特征识别，获取待检测物体的规格状态参数；然后按流水线加工工序依次将相邻区域中对应的规格状态参数进行对比确定待检测物体对应的变化规格状态参数和未变化规格状态参数；接着根据相邻区域查询待检测物体对应的应变规格状态参数和不变规格状态参数；最后根据上述参数对比判断相邻区域中是否存在异常加工工序或异常工序设备；若存在，则根据异常情况进行预警，避免了因流水线的流动特性导致人工监测不全面的情况，提高了监测全面性，进而可以在流水线出现异常时及时预警，减小损失。

Description

摄像机组智能监控预警方法、装置、设备及存储介质
技术领域
本发明涉及摄像机监控技术领域，尤其涉及一种摄像机组智能监控预警方法、装置、设备及存储介质。
背景技术
随着科技的不断发展，产业的不断升级，工厂流水线也逐渐向自动化趋势靠拢。自动化流水线在生产产品的过程中，由于是设备自动化操作，上下游设备间的加工节拍需要严格匹配，上游节拍快会导致下游无法消耗上游的产能，导致产品积压，上游节拍小了，将导致下游设备利用率下降。而且对于复杂的产线，柔性设备较多，多品种同时在线生产时，由于生产过程本身的波动，极易导致上下游的实际产能不匹配，或者在某一个环节出现问题使后续产线空置，极易导致整个流水线系统瘫痪。因此，需要实时监控流水线的工作状态，以防出现问题可以及时补救。
而目前对于工厂流水线的监控一般依靠固定机位的单个摄像机进行摄像记录，然后依靠人工的检测或者简单图像识别进行监测，但是由于流水线的工作特性，每一条流水线的工作特点都是流动的，现有的监控方式难以对流水线全流程的工作安全状态进行监测。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种摄像机组智能监控预警方法、装置、设备及存储介质，旨在解决现有的人工监控方式难以对流水线全流程的工作安全状态进行监测的技术问题。
为实现上述目的，本发明提供了一种摄像机组智能监控预警方法，所述方法包括以下步骤：
通过设置在工厂流水线不同区域的摄像机采集对应的目标区域图像；
对所述目标区域图像进行图像特征识别，获取不同区域中待检测物体的规格状态参数，所述规格状态参数用于表征物体的规格信息和状态信息；
按流水线加工工序依次将相邻区域中所述待检测物体对应的规格状态参数进行对比，确定所述待检测物体对应的变化规格状态参数和未变化规格状态参数；
根据所述相邻区域查询所述待检测物体对应的应变规格状态参数和不变规格状态参数；
根据所述变化规格状态参数、所述未变化规格状态参数、所述应变规格状态参数和所述不变规格状态参数判断所述相邻区域中是否存在异常加工工序和/或异常工序设备；
若存在，则根据所述异常加工工序和/或所述异常工序设备进行预警。
可选地，所述对所述目标区域图像进行图像特征识别，获取不同区域中待检测物体的规格状态参数的步骤包括：
对所述目标区域图像进行形态学处理，将形态学处理后的图像与所述目标区域图像进行结合，获得结合后的图像；
对所述结合后的图像进行感兴趣区域提取，并根据提取的感兴趣图像进行多特征融合分析，确定所述待检测物体的边缘轮廓；
基于所述边缘轮廓和所述感兴趣图像进行图像特征识别，获取所述待检测物体的规格信息；
按流水线加工工序依次确定相邻区域中所述边缘轮廓的姿态数据，根据所述姿态数据获取所述待检测物体的状态信息。
可选地，所述对所述结合后的图像进行感兴趣区域提取，并根据提取的感兴趣图像进行多特征融合分析，确定所述待检测物体的边缘轮廓的步骤包括：
对所述结合后的图像进行卷积处理，获得多个锚点；
根据所述多个锚点对所述结合后的图像进行前后景识别，获得前景图像；
对所述前景图像进行回归处理，获得所述结合后的图像对应的感兴趣图像；
根据所述感兴趣图像进行多特征融合分析，确定所述待检测物体的边缘轮廓。
可选地，所述按流水线加工工序依次确定相邻区域中所述边缘轮廓的姿态数据，根据所述姿态数据获取所述待检测物体的状态信息的步骤包括：
对所述边缘轮廓进行坐标提取，获得所述待检测物体的相对坐标组；
对所述相对坐标组进行向量处理，获得对应的特征向量组；
根据相邻区域的每帧目标区域图像的时间间隔对所述特征向量组进行姿态角度处理，获得所述边缘轮廓的姿态数据；
按流水线加工工序依次对相邻区域中所述姿态数据进行轨迹处理，获得所述待检测物体的状态信息。
可选地，所述通过设置在工厂流水线不同区域的摄像机采集对应的目标区域图像的步骤之前，还包括：
从预设样本图像集中随机抽取样本训练图像集，并对所述样本训练图像集进行感兴趣区域提取，获得所述样本训练图像集对应的感兴趣图像集；
将所述感兴趣图像集输入至初始深度卷积神经网络模型中进行迭代训练，获得训练模型；
从所述预设样本图像集中随机抽取样本测试图像集，并获取所述样本测试图像集中待检测物体的实际参数；
将所述样本测试图像集输入至所述训练模型中，并判断输出结果是否符合所述实际参数；
在所述输出结果不符合所述实际参数时，将所述样本训练图像集输入至所述训练模型中进行反向训练，直至所述输出结果符合所述实际参数，将所述输出结果符合所述实际参数时所对应的训练模型作为预设参数提取模型。
可选地，所述对所述目标区域图像进行图像特征识别，获取不同区域中待检测物体的规格状态参数的步骤包括：
对所述目标区域图像进行感兴趣区域提取，获得所述目标区域图像对应的感兴趣图像；
将所述感兴趣图像输入至预设参数提取模型中进行图像特征识别，获得不同区域中待检测物体的规格状态参数。
可选地，所述根据所述变化规格状态参数、所述未变化规格状态参数、所述应变规格状态参数和所述不变规格状态参数判断所述相邻区域中是否存在异常加工工序和/或异常工序设备的步骤包括：
判断所述未变化规格状态参数是否符合所述不变规格状态参数；
若不符合所述不变规格状态参数，则根据所述未变化规格状态参数中的异常不变参数确定所述相邻区域中的异常工序设备；
判断所述变化规格状态参数是否符合所述应变规格状态参数；
若不符合所述应变规格状态参数，则根据所述变化规格状态参数中的异常变化参数确定所述工厂流水线的异常加工工序。
此外，为实现上述目的，本发明还提出一种摄像机组智能监控预警装置，所述装置包括：
图像获取模块，用于通过设置在工厂流水线不同区域的摄像机采集对应的目标区域图像；
参数提取模块，用于对所述目标区域图像进行图像特征识别，获取不同区域中待检测物体的规格状态参数，所述规格状态参数用于表征物体的规格信息和状态信息；
参数检验模块，用于按流水线加工工序依次将相邻区域中所述待检测物体对应的规格状态参数进行对比，确定所述待检测物体对应的变化规格状态参数和未变化规格状态参数；
参数检验模块，还用于根据所述相邻区域查询所述待检测物体对应的应变规格状态参数和不变规格状态参数；
异常预警模块，用于根据所述变化规格状态参数、所述未变化规格状态参数、所述应变规格状态参数和所述不变规格状态参数判断所述相邻区域中是否存在异常加工工序和/或异常工序设备；
异常预警模块，还用于若存在，则根据所述异常加工工序和/或所述异常工序设备进行预警。
此外，为实现上述目的，本发明还提出一种摄像机组智能监控预警设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的摄像机组智能监控预警程序，所述摄像机组智能监控预警程序配置为实现如上文所述的摄像机组智能监控预警方法的步骤。
此外，为实现上述目的，本发明还提出一种存储介质，所述存储介质上存储有摄像机组智能监控预警程序，所述摄像机组智能监控预警程序被处理器执行时实现如上文所述的摄像机组智能监控预警方法的步骤。
本发明通过设置在工厂流水线不同区域的摄像机采集对应的目标区域图像；对所述目标区域图像进行图像特征识别，获取不同区域中待检测物体的规格状态参数，所述规格状态参数用于表征物体的规格信息和状态信息；然后按流水线加工工序依次将相邻区域中所述待检测物体对应的规格状态参数进行对比，接着确定所述待检测物体对应的变化规格状态参数和未变化规格状态参数；根据所述相邻区域查询所述待检测物体对应的应变规格状态参数和不变规格状态参数；最后根据所述变化规格状态参数、所述未变化规格状态参数、所述应变规格状态参数和所述不变规格状态参数判断所述相邻区域中是否存在异常加工工序和/或异常工序设备；若存在，则根据所述异常加工工序和/或所述异常工序设备进行预警。由于本发明在工厂流水线全流程采用摄像机组进行监测，对采集的目标区域图像进行识别并提取待检测物体的规格状态参数，通过对规格状态参数进行分析判断流水线相邻区域中是否存在异常加工工序或异常工序设备，并基于异常情况进行预警，避免了因流水线的流动特性导致人工监测不全面的情况，提高了监测全面性，进而可以在流水线出现异常时及时预警，减小损失。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的摄像机组智能监控预警设备的结构示意图；
图2为本发明摄像机组智能监控预警方法第一实施例的流程示意图；
图3为本发明摄像机组智能监控预警方法第二实施例的流程示意图；
图4为本发明摄像机组智能监控预警方法第三实施例的流程示意图；
图5为本发明摄像机组智能监控预警装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的摄像机组智能监控预警设备结构示意图。
如图1所示，该摄像机组智能监控预警设备可以包括：处理器1001，例如中央处理器（Central Processing Unit，CPU），通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏（Display）、输入单元比如键盘（Keyboard），可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如无线保真（Wireless-Fidelity，Wi-Fi）接口）。存储器1005可以是高速的随机存取存储器（RandomAccess Memory，RAM），也可以是稳定的非易失性存储器（Non-Volatile Memory，NVM），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对摄像机组智能监控预警设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及摄像机组智能监控预警程序。
在图1所示的摄像机组智能监控预警设备中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明摄像机组智能监控预警设备中的处理器1001、存储器1005可以设置在摄像机组智能监控预警设备中，所述摄像机组智能监控预警设备通过处理器1001调用存储器1005中存储的摄像机组智能监控预警程序，并执行本发明实施例提供的摄像机组智能监控预警方法。
本发明实施例提供了一种摄像机组智能监控预警方法，参照图2，图2为本发明摄像机组智能监控预警方法第一实施例的流程示意图。
本实施例中，所述摄像机组智能监控预警方法包括以下步骤：
步骤S10：通过设置在工厂流水线不同区域的摄像机采集对应的目标区域图像。
需要说明的是，本实施例方法的执行主体可以是能够监控流水线产品并进行异常状态预警的计算服务设备，例如监控预警摄像机等，还可以是能够实现相同或相似功能的其他电子设备，例如上述摄像机组智能监控预警设备，本实施例对此不加以限制。此处以上述摄像机组智能监控预警设备（简称监控预警设备）对本实施例和下述各实施例进行具体说明。
可理解的是，目标区域图像是在工厂流水线不同区域设置的摄像机采集的当前区域流水线的图像。一般而言，自动化流水线在生产产品的过程中，存在多个节点，每个节点由自动化设备对产品进行操作，例如切削、装配、打磨、抛光等自动化机械操作；对于复杂的产线，柔性设备较多，多品种同时在线生产时，生产过程本身的波动或者某一节点出现问题，极易导致该产线生产的产品出现问题造成经济损失，严重的可能导致整个流水线系统瘫痪。因此，可以在生产某产品的流水线上设置摄像机进行监控，例如在每一个节点区域或者在重要节点区域上设置摄像机，同时为提高监控的全面性，可以在该区域对向设置多个摄像机采集该区域的目标区域图像，本实施例对此不加以限制。在获取工厂流水线不同区域的摄像机采集的目标区域图像后，可以对目标图像进行分析，确定流水线上各设备或产品的工作状态。
步骤S20：对所述目标区域图像进行图像特征识别，获取不同区域中待检测物体的规格状态参数，所述规格状态参数用于表征物体的规格信息和状态信息。
需要说明的是，规格信息是流水线中正在生产的产品的规格数据，例如产品的面积、体积、轮廓、光泽度等参数，由于流水线是流动的，流水线中的产品规格信息不断变化，可以基于变化的规格信息判断流水线是否处于正常工作状态。并且目标区域图像是图像，一般体现的是产品的外形数据，为提高监控预警设备预警的精确性，还可以在流水线各节点布置重量感应装置，根据获取的产品重量和规格信息一起判断流水线是否处于正常工作状态，本实施例对此不加以限制。
可理解的是，状态信息是流水线中正在生产的产品或设备的状态数据，例如产品在打磨时的旋转状态，设备对产品打磨时机械臂或砂轮的运动状态等数据。由于流水线中的相同区域对产品的机械操作一般不变，因此产品或设备的状态信息也不会发生明显变化，从而可以基于状态信息判断流水线是否处于正常工作状态。规格状态参数是从目标区域图像中的产品或设备进行特征识别获取的数据参数，包含上述规格信息和状态信息。待检测物体是需要检测是否处于异常工作状态的物体，如可以对上述设备或产品进行检测是否处于异常工作状态。
在具体实现中，监控预警设备在获取目标区域图像后，可以对目标区域图像进行图像处理，例如灰度处理，去噪、增强、复原等图像处理，以提高目标区域图像中产品与设备对应图像的显著度；然后对所述目标区域图像进行感兴趣提取，利用如图像感兴趣区域自动提取等算法提取图像中产品与设备的轮廓，基于此轮廓提取产品或设备的具体的规格状态参数。然后在对规格状态参数进行分析，确定流水线上各设备或产品的工作状态是否存在异常。
步骤S30：按流水线加工工序依次将相邻区域中所述待检测物体对应的规格状态参数进行对比，确定所述待检测物体对应的变化规格状态参数和未变化规格状态参数。
需要说明的是，加工工序是流水线加工产品的工作顺序。相邻区域是流水线加工产品过程中相邻的上下工序所在的区域。变化规格状态参数是相邻工序下产品在流水线上被加工后，发生变化的规格信息或状态信息；未变化规格状态参数是相邻工序下在流水线上产品未被加工的部分所反映的规格信息或状态信息。
在具体实现中，由于工厂流水线处于流动状态，产品流动到各工序设备下被加工，加工过后产品的面积、体积、轮廓或重量会发生变化，具体到产品不同部位，其参数存在变化规格状态参数和未变化规格状态参数；例如对螺母的内部进行螺纹切刻时，与上一工序相比，螺母的外轮廓若没有发生变化，其外轮廓参数为未变化规格状态参数，螺母的内轮廓若从平滑变为螺纹轮廓，其内轮廓参数为变化规格状态参数。因此，监控预警设备获取各区域工序下产品的规格状态参数时，按流水线加工工序依次将相邻区域的规格状态参数进行对比，确定该产品或设备对应的变化规格状态参数和未变化规格状态参数。然后基于变化规格状态参数和未变化规格状态参数进行正常参数分析，是否存在异常的参数。
步骤S40：根据所述相邻区域查询所述待检测物体对应的应变规格状态参数和不变规格状态参数。
步骤S50：根据所述变化规格状态参数、所述未变化规格状态参数、所述应变规格状态参数和所述不变规格状态参数判断所述相邻区域中是否存在异常加工工序和/或异常工序设备。
需要说明的是，应变规格状态参数是正常工序下相邻工序的产品在流水线上被加工后，应发生变化的规格信息或状态信息。不变规格状态参数是正常工序下相邻工序在流水线上产品未被加工的部分所反映的规格信息或状态信息。
在具体实现中，以上述的螺母的内部螺纹切刻为例，在正常工序下，螺母的外轮廓不会发生变化，因此可以规定该工序下该产品的外轮廓部分的参数为不变规格状态参数；而螺母内轮廓需要加工从平滑变为螺纹轮廓，因此可以规定该工序下该产品的内轮廓部分的变化参数为应变规格状态参数。进一步的，可以将正常工序下产品对应的参数集合成数据库，相邻工序的参数可以划分为应变规格状态参数和不变规格状态参数，便于监控预警设备进行遍历。将待检测物体获取的变化规格状态参数和未变化规格状态参数与从数据库中遍历的应变规格状态参数和不变规格状态参数进行对比，判断该相邻区域工序下是否存在异常加工工序和/或异常工序设备。
步骤S60：若存在，则根据所述异常加工工序和/或所述异常工序设备进行预警。
可理解的是，若将待检测物体获取的变化规格状态参数和未变化规格状态参数与从数据库中遍历的应变规格状态参数和不变规格状态参数进行对比，存在数据不一致的情况，则可能此区域工序下可能存在异常工作状态。此时，则可以根据变化规格状态参数和未变化规格状态参数中的异常参数确定流水线对应该异常参数的设备、产品或工序，然后根据异常加工工序和/或异常工序设备进行预警。
进一步地，考虑到对设备或工序进行预警的精确性，本实施例中在步骤S50包括：判断所述未变化规格状态参数是否符合所述不变规格状态参数；若不符合所述不变规格状态参数，则根据所述未变化规格状态参数中的异常不变参数确定所述相邻区域中的异常工序设备；判断所述变化规格状态参数是否符合所述应变规格状态参数；若不符合所述应变规格状态参数，则根据所述变化规格状态参数中的异常变化参数确定所述工厂流水线的异常加工工序。
为便于理解，以上述螺母为例，正常工序下要为螺母内部切刻螺纹，若获取的未变化规格状态参数中不符合不变规格状态，例如参数包含螺母内部轮廓的参数，说明为螺母内部进行螺纹切刻的设备出现了问题，处于未工作状态；若获取的变化规格状态参数不符合应变规格状态参数，例如螺母外部轮廓的参数变化，则说明为螺母内部进行螺纹切刻变成了为螺母外部进行螺纹切刻，此时，则表示加工工序出现了问题。
在具体实现中，监控预警设备根据获取的未变化规格状态和变化规格状态参数遍历对应工序下正常的应变规格状态参数和不变规格状态参数并进行对比，此时可以判断未变化规格状态参数是否符合不变规格状态参数，若不符合不变规格状态参数，则确定未变化规格状态参数中的异常不变参数，根据异常不变参数确定相邻区域工序中的异常工序设备；若未变化规格状态参数符合不变规格状态参数，此时可以判断变化规格状态参数是否符合应变规格状态参数，若不符合应变规格状态参数，则可以确定变化规格状态参数中的异常变化参数，根据异常变化参数确定工厂流水线的异常加工工序。从而可以基于目标区域图像确定产品或设备的异常参数，准确判定异常的工序或设备，对流水线中异常设备或异常工序进行及时预警，减小工厂的损失。
本实施例监控预警设备在获取目标区域图像后，可以对目标区域图像进行图像处理，例如灰度处理，去噪、增强、复原等图像处理，以提高目标区域图像中产品与设备对应图像的显著度；然后对所述目标区域图像进行感兴趣提取，利用如图像感兴趣区域自动提取等算法提取图像中产品与设备的轮廓，基于此轮廓提取产品或设备的具体的规格状态参数。监控预警设备获取各区域工序下产品的规格状态参数时，按流水线加工工序依次将相邻区域的规格状态参数进行对比，确定该产品或设备对应的变化规格状态参数和未变化规格状态参数。然后基于变化规格状态参数和未变化规格状态参数进行正常参数分析，是否存在异常的参数。进一步的，可以将正常工序下产品对应的参数集合成数据库，相邻工序的参数可以划分为应变规格状态参数和不变规格状态参数，便于监控预警设备进行遍历。此时可以将待检测物体获取的变化规格状态参数和未变化规格状态参数与从数据库中遍历的应变规格状态参数和不变规格状态参数进行对比，判断该相邻区域工序下是否存在异常加工工序和/或异常工序设备，若存在数据不一致的情况，则可能此区域工序下可能存在异常工作状态。此时，则可以根据变化规格状态参数和未变化规格状态参数中的异常参数确定流水线对应该异常参数的设备、产品或工序，然后根据异常加工工序和/或异常工序设备进行预警。由于本实施例在工厂流水线全流程采用摄像机组进行监测，对采集的目标区域图像进行识别并提取待检测物体的规格状态参数，通过对规格状态参数进行分析判断流水线相邻区域中是否存在异常加工工序或异常工序设备，并基于异常情况进行预警，避免了因流水线的流动特性导致人工监测不全面的情况，提高了监测全面性，进而可以在流水线出现异常时及时预警，减小损失。
参考图3，图3为本发明摄像机组智能监控预警方法第二实施例的流程示意图。
基于上述第一实施例，在本实施例中，考虑到对目标区域图像进行图像特征识别获取规格状态参数的精确性，所述步骤S20包括：
步骤S21：对所述目标区域图像进行形态学处理，将形态学处理后的图像与所述目标区域图像进行结合，获得结合后的图像。
需要说明的是，形态学处理的过程是利用形态学的结构元来测量或提取输入图像中相应的形状或特征，以达到进行图像分析和目标识别的目的。此处利用形态学对目标区域图像进行处理是为了使目标区域图像的边缘轮廓变得更加明显，提高目标区域图像中产品或设备的显著度。具体过程如下：
可采用形态学的核结构对目标区域图像进行膨胀，图像膨胀的公式为：
；
其中，a表示进行图像膨胀过程中的位移点位；B为形态学的结构元素；A为原始图片；Ba是结构B平移a后得到的，D(a)表示A被B进行膨胀获得的图像，具体过程为根据上述公式对目标区域图像中任意一个在阴影部分的点a有B进行平移获得Ba，A被B膨胀的结果就是D(a)，获得形态学处理后的图像。接着可以将形态学处理后的图像与原图像A结合，进一步提高目标区域图像的形态学处理效果。
步骤S22：对所述结合后的图像进行感兴趣区域提取，并根据提取的感兴趣图像进行多特征融合分析，确定所述待检测物体的边缘轮廓。
需要说明的是，感兴趣区域提取作用是提取待检测物体的边缘轮廓，不仅能够去除图像中与设备或产品无关的冗余数据，还能提高图像特征处理和分析的速度并排除其它无关数据的干扰。
在具体实现中，可以利用深度卷积神经网络训练提取图像中的感兴趣区域，例如于Mask R-CNN深度卷积神经网络；训练深度卷积神经网络得到感兴趣区域提取模型，通过模型可以得到感兴趣区域，例如流水线中的产品或设备，并根据感兴趣区域对相应的产品或设备进行多特征融合分析，确定产品或设备边缘轮廓位置。
步骤S23：基于所述边缘轮廓和所述感兴趣图像进行图像特征识别，获取所述待检测物体的规格信息。
步骤S24：按流水线加工工序依次确定相邻区域中所述边缘轮廓的姿态数据，根据所述姿态数据获取所述待检测物体的状态信息。
需要说明的是，姿态数据是流水线中产品或设备运动过程的位置数据，根据产品或设备连续时刻图像所在的位置，可以获取产品或设备的运动姿态，根据其运动姿态可以反映产品或设备的状态信息。例如产品在打磨时的旋转状态，设备对产品打磨时机械臂或砂轮的运动状态等状态信息。
在具体实现中，监控预警设备基于边缘轮廓和感兴趣图像进行图像特征识别，可以获取产品或设备的规格信息；并按流水线加工工序依次确定相邻区域中边缘轮廓的姿态数据，根据姿态数据获取产品或设备的状态信息。从而对图像做进一步处理，提高目标区域图像中产品或设备的显著度，在特征识别获取规格状态参数时可以获得更加精确的数据，减小误差。
进一步地，考虑到感兴趣区域提取的精确性，本实施例中在步骤S22包括：对所述结合后的图像进行卷积处理，获得多个锚点；根据所述多个锚点对所述结合后的图像进行前后景识别，获得前景图像；对所述前景图像进行回归处理，获得所述结合后的图像对应的感兴趣图像；根据所述感兴趣图像进行多特征融合分析，确定所述待检测物体的边缘轮廓。
在具体实现中，基于上述的深度学习神经网络，模型内可以建立卷积层，通过卷积层可以对所述结合后的图像进行卷积处理，得到图像中的多个锚点；根据多个锚点可以生成与锚点数量对应的卷积核，然后根据各个卷积核判断上述结合后的图像的前景和后景，其中，前景表示待检测物体，后景表示其余冗杂图像，根据前景可以确定感兴趣区域。从而利用卷积核可以精确地确定感兴趣区域代表的产品或设备，提高感兴趣区域提取的精确性。
进一步地，考虑到获取的状态信息的精确性，本实施例中在步骤S24包括：对所述边缘轮廓进行坐标提取，获得所述待检测物体的相对坐标组；对所述相对坐标组进行向量处理，获得对应的特征向量组；根据相邻区域的每帧目标区域图像的时间间隔对所述特征向量组进行姿态角度处理，获得所述边缘轮廓的姿态数据；按流水线加工工序依次对相邻区域中所述姿态数据进行轨迹处理，获得所述待检测物体的状态信息。
需要说明的是，可以以待检测物体自身建立坐标轴，以中心点为坐标中心建立坐标系，并可以定义待检测物体边缘轮廓的突出点坐标为Pi(x ，y)，其中i表示第i个边缘轮廓突出点。
基于上述突出点坐标为Pi(x ，y)可以建立相对坐标组J集合，表示为：
J＝{P1，P2，…，Pn}；
其中，n表示待检测物体边缘轮廓的第n个突出点。
此时，可以根据相对坐标组进行向量处理，获得对应的特征向量组，各突出点之间的特征向量组可以表示为：
；
其中，Pi表示第i个突出点坐标，Pj表示第j个突出点坐标。
为便于理解，假设突出点为6个，特征向量组可以表示为：
S＝{B16，B25，B34}；
此时，可以根据相邻区域的每帧目标区域图像的时间间隔对所述特征向量组进行姿态角度处理，可以根据其中一个突出点为顶点，以被突出点连接的边构成夹角，作为突出点夹角，用θ表示，且θ∈[0 ,π]，以上述为例，可以表示为：
θ＝{θ1，θ2，θ3}；
此时，根据每帧目标区域图像的时间间隔对其突出点夹角进行描述待检测物体的角速度随时间的变化率，其中，突出点夹角速度为：
；
其中，t表示每帧目标区域图像的时间间隔。从而可以获得所述边缘轮廓的姿态的描述数据，根据获得的姿态数据；按流水线加工工序依次对相邻区域中所述姿态数据进行轨迹处理，获得所述待检测物体的状态信息。从而可以根据获得的产品或设备的精确姿态数据，确定更加精确的待检测物体的状态信息，提高对规格状态参数对比的精确性。
本实施例监控预警设备基于边缘轮廓和感兴趣图像进行图像特征识别，可以获取产品或设备的规格信息；并按流水线加工工序依次确定相邻区域中边缘轮廓的姿态数据，根据姿态数据获取产品或设备的状态信息。从而对图像做进一步处理，提高目标区域图像中产品或设备的显著度，在特征识别获取规格状态参数时可以获得更加精确的数据，减小误差。进一步地，可以基于上述的深度学习神经网络，模型内可以建立卷积层，通过卷积层可以对所述结合后的图像进行卷积处理，得到图像中的多个锚点；根据多个锚点可以生成与锚点数量对应的卷积核，然后根据各个卷积核判断上述结合后的图像的前景和后景，其中，前景表示待检测物体，后景表示其余冗杂图像，根据前景可以确定感兴趣区域。从而利用卷积核可以精确地确定感兴趣区域代表的产品或设备，提高感兴趣区域提取的精确性。
参考图4，图4为本发明摄像机组智能监控预警方法第三实施例的流程示意图。
基于上述各实施例，在本实施例中，考虑到对不同区域中待检测物体的规格状态参数的提取效率，所述步骤S10之前，所述方法还包括：
步骤S01：从预设样本图像集中随机抽取样本训练图像集，并对所述样本训练图像集进行感兴趣区域提取，获得所述样本训练图像集对应的感兴趣图像集。
需要说明的是，预设样本图像集是为了建立预设参数提取模型所使用的图像集。可以预先采集流水线中不同产品或不同设备的样本图像，与上述的目标区域图像并无差别，样本图像越多，最后获得的预设参数提取模型也就更加精确。
可理解的是，样本训练图像集是为了训练出预设参数提取模型，从预设样本图像集抽取一定数量的样本图像，样本图像的抽取可以根据数量进行抽取，也可以根据不同产品或设备的比例抽取，本实施例对此不加以限制。
步骤S02：将所述感兴趣图像集输入至初始深度卷积神经网络模型中进行迭代训练，获得训练模型。
需要说明的是，初始深度卷积神经网络模型是最初根据深度卷积神经网络构建的对样本训练图像集进行训练的网络模型。将感兴趣图像集输入至初始深度卷积神经网络模型中进行迭代训练，可以获得训练模型。
步骤S03：从所述预设样本图像集中随机抽取样本测试图像集，并获取所述样本测试图像集中待检测物体的实际参数。
步骤S04：将所述样本测试图像集输入至所述训练模型中，并判断输出结果是否符合所述实际参数。
需要说明的是，样本测试图像集是用于对训练模型进行正确率检测的图像集合。可以将预设样本图像集按预设比例（例如8:2）划分为训练集和测试集，训练集用于训练模型，测试集用于对训练后的模型进行评估和选择；同时在训练集上训练模型可以获取模型的权重系数，在测试集上评估模型时，可以根据最优权重系数选择最优的模型。
可理解的是，实际参数是获取预设样本图像集时，获取的此过程产品或设备的实际的相关规格状态参数。
步骤S05：在所述输出结果不符合所述实际参数时，将所述样本训练图像集输入至所述训练模型中进行反向训练，直至所述输出结果符合所述实际参数，将所述输出结果符合所述实际参数时所对应的训练模型作为预设参数提取模型。
需要说明的是，反向训练可以基于反向传播算法进行训练，反向传播算法是适合于多层神经元网络的一种学习算法，根据反向传播算法的原理将其用于卷积网络中也同样适用，反向传播算法网络输入输出关系实质上是一种映射关系，例如：n输入，m输出的初始卷积网络所完成的功能是从n维空间向m维空间中一有限域的连续映射，这一映射具有高度非线性。
在具体实现中，可以将预设样本图像集按预设比例（例如8:2）划分为训练集和测试集，训练集用于训练模型，测试集用于对训练后的模型进行评估和选择；从预设样本图像集的训练集中随机抽取样本训练图像集，并对样本训练图像集进行感兴趣区域提取，获得对应的感兴趣图像集；将感兴趣图像集输入至初始深度卷积神经网络模型中进行迭代训练，获得训练模型；然后从预设样本图像集的测试集中随机抽取样本测试图像集，并获取样本测试图像集中待检测物体的实际参数；最后将样本测试图像集输入至训练模型中，并判断输出结果是否符合所述实际参数；在输出结果不符合实际参数时，将样本训练图像集输入至训练模型中进行反向训练，直至输出结果符合实际参数，将所对应的训练模型作为预设参数提取模型。从而根据获得的预设参数提取模型，能够直接提取目标区域图像中待检测物体的状态规格参数，提高预警设备进行预警的效率。
进一步地，考虑到目标区域图像输入至预设参数提取模型前需要图像处理，本实施例中在步骤S20包括：对所述目标区域图像进行感兴趣区域提取，获得所述目标区域图像对应的感兴趣图像；将所述感兴趣图像输入至预设参数提取模型中进行图像特征识别，获得不同区域中待检测物体的规格状态参数。
在具体实现中，监控预警设备可以预先对目标区域图像进行感兴趣区域提取，获得对应的感兴趣图像，从而对图像做进一步处理，提高目标区域图像中产品或设备的显著度；然后将感兴趣图像输入至预设参数提取模型中进行图像特征识别，获得不同区域中待检测物体的规格状态参数。从而可以在预设参数提取模型提取规格状态参数时可以获得更加精确的数据，减小误差。
本实施例监控预警设备可以将预设样本图像集按预设比例（例如8:2）划分为训练集和测试集，训练集用于训练模型，测试集用于对训练后的模型进行评估和选择；从预设样本图像集的训练集中随机抽取样本训练图像集，并对样本训练图像集进行感兴趣区域提取，获得对应的感兴趣图像集；将感兴趣图像集输入至初始深度卷积神经网络模型中进行迭代训练，获得训练模型；然后从预设样本图像集的测试集中随机抽取样本测试图像集，并获取样本测试图像集中待检测物体的实际参数；最后将样本测试图像集输入至训练模型中，并判断输出结果是否符合所述实际参数；在输出结果不符合实际参数时，将样本训练图像集输入至训练模型中进行反向训练，直至输出结果符合实际参数，将所对应的训练模型作为预设参数提取模型。从而根据获得的预设参数提取模型，能够直接提取目标区域图像中待检测物体的状态规格参数，提高预警设备进行预警的效率。进一步地，监控预警设备可以预先对目标区域图像进行感兴趣区域提取，获得对应的感兴趣图像，从而对图像做进一步处理，提高目标区域图像中产品或设备的显著度；然后将感兴趣图像输入至预设参数提取模型中进行图像特征识别，获得不同区域中待检测物体的规格状态参数。从而可以在预设参数提取模型提取规格状态参数时可以获得更加精确的数据，减小误差。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有摄像机组智能监控预警程序，所述摄像机组智能监控预警程序被处理器执行时实现如上文所述的摄像机组智能监控预警方法的步骤。
参照图5，图5为本发明摄像机组智能监控预警装置第一实施例的结构框图。
如图5所示，本发明实施例提出的摄像机组智能监控预警装置包括：
图像获取模块501，用于通过设置在工厂流水线不同区域的摄像机采集对应的目标区域图像；
参数提取模块502，用于对所述目标区域图像进行图像特征识别，获取不同区域中待检测物体的规格状态参数，所述规格状态参数用于表征物体的规格信息和状态信息；
参数检验模块503，用于按流水线加工工序依次将相邻区域中所述待检测物体对应的规格状态参数进行对比，确定所述待检测物体对应的变化规格状态参数和未变化规格状态参数；
参数检验模块503，还用于根据所述相邻区域查询所述待检测物体对应的应变规格状态参数和不变规格状态参数；
异常预警模块504，用于根据所述变化规格状态参数、所述未变化规格状态参数、所述应变规格状态参数和所述不变规格状态参数判断所述相邻区域中是否存在异常加工工序和/或异常工序设备；
异常预警模块504，还用于若存在，则根据所述异常加工工序和/或所述异常工序设备进行预警。
本实施例本实施例监控预警设备在获取目标区域图像后，可以对目标区域图像进行图像处理，例如灰度处理，去噪、增强、复原等图像处理，以提高目标区域图像中产品与设备对应图像的显著度；然后对所述目标区域图像进行感兴趣提取，利用如图像感兴趣区域自动提取等算法提取图像中产品与设备的轮廓，基于此轮廓提取产品或设备的具体的规格状态参数。监控预警设备获取各区域工序下产品的规格状态参数时，按流水线加工工序依次将相邻区域的规格状态参数进行对比，确定该产品或设备对应的变化规格状态参数和未变化规格状态参数。然后基于变化规格状态参数和未变化规格状态参数进行正常参数分析，是否存在异常的参数。进一步的，可以将正常工序下产品对应的参数集合成数据库，相邻工序的参数可以划分为应变规格状态参数和不变规格状态参数，便于监控预警设备进行遍历。此时可以将待检测物体获取的变化规格状态参数和未变化规格状态参数与从数据库中遍历的应变规格状态参数和不变规格状态参数进行对比，判断该相邻区域工序下是否存在异常加工工序和/或异常工序设备，若存在数据不一致的情况，则可能此区域工序下可能存在异常工作状态。此时，则可以根据变化规格状态参数和未变化规格状态参数中的异常参数确定流水线对应该异常参数的设备、产品或工序，然后根据异常加工工序和/或异常工序设备进行预警。由于本实施例在工厂流水线全流程采用摄像机组进行监测，对采集的目标区域图像进行识别并提取待检测物体的规格状态参数，通过对规格状态参数进行分析判断流水线相邻区域中是否存在异常加工工序或异常工序设备，并基于异常情况进行预警，避免了因流水线的流动特性导致人工监测不全面的情况，提高了监测全面性，进而可以在流水线出现异常时及时预警，减小损失。
基于本发明上述摄像机组智能监控预警装置第一实施例，提出本发明摄像机组智能监控预警装置的第二实施例。
在本实施例中，所述参数提取模块502，还用于对所述目标区域图像进行形态学处理，将形态学处理后的图像与所述目标区域图像进行结合，获得结合后的图像；对所述结合后的图像进行感兴趣区域提取，并根据提取的感兴趣图像进行多特征融合分析，确定所述待检测物体的边缘轮廓；基于所述边缘轮廓和所述感兴趣图像进行图像特征识别，获取所述待检测物体的规格信息；按流水线加工工序依次确定相邻区域中所述边缘轮廓的姿态数据，根据所述姿态数据获取所述待检测物体的状态信息。
进一步地，所述参数提取模块502，还用于对所述结合后的图像进行卷积处理，获得多个锚点；根据所述多个锚点对所述结合后的图像进行前后景识别，获得前景图像；对所述前景图像进行回归处理，获得所述结合后的图像对应的感兴趣图像；根据所述感兴趣图像进行多特征融合分析，确定所述待检测物体的边缘轮廓。
进一步地，所述参数提取模块502，还用于对所述边缘轮廓进行坐标提取，获得所述待检测物体的相对坐标组；对所述相对坐标组进行向量处理，获得对应的特征向量组；根据相邻区域的每帧目标区域图像的时间间隔对所述特征向量组进行姿态角度处理，获得所述边缘轮廓的姿态数据；按流水线加工工序依次对相邻区域中所述姿态数据进行轨迹处理，获得所述待检测物体的状态信息。
进一步地，所述摄像机组智能监控预警装置还包括模型构建模块505，所述模型构建模块505，用于从预设样本图像集中随机抽取样本训练图像集，并对所述样本训练图像集进行感兴趣区域提取，获得所述样本训练图像集对应的感兴趣图像集；将所述感兴趣图像集输入至初始深度卷积神经网络模型中进行迭代训练，获得训练模型；从所述预设样本图像集中随机抽取样本测试图像集，并获取所述样本测试图像集中待检测物体的实际参数；将所述样本测试图像集输入至所述训练模型中，并判断输出结果是否符合所述实际参数；在所述输出结果不符合所述实际参数时，将所述样本训练图像集输入至所述训练模型中进行反向训练，直至所述输出结果符合所述实际参数，将所述输出结果符合所述实际参数时所对应的训练模型作为预设参数提取模型。
进一步地，所述参数提取模块502，还用于对所述目标区域图像进行感兴趣区域提取，获得所述目标区域图像对应的感兴趣图像；将所述感兴趣图像输入至预设参数提取模型中进行图像特征识别，获得不同区域中待检测物体的规格状态参数。
进一步地，所述异常预警模块504，还用于判断所述未变化规格状态参数是否符合所述不变规格状态参数；若不符合所述不变规格状态参数，则根据所述未变化规格状态参数中的异常不变参数确定所述相邻区域中的异常工序设备；判断所述变化规格状态参数是否符合所述应变规格状态参数；若不符合所述应变规格状态参数，则根据所述变化规格状态参数中的异常变化参数确定所述工厂流水线的异常加工工序。
本发明摄像机组智能监控预警装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光盘）中，包括若干指令用以使得一台终端设备（可以是手机，计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (5)

1.一种摄像机组智能监控预警方法，其特征在于，所述摄像机组智能监控预警方法包括：
通过设置在工厂流水线不同区域的摄像机采集对应的目标区域图像；
对所述目标区域图像进行图像特征识别，获取不同区域中待检测物体的规格状态参数，所述规格状态参数用于表征物体的规格信息和状态信息；
按流水线加工工序依次将相邻区域中所述待检测物体对应的规格状态参数进行对比，确定所述待检测物体对应的变化规格状态参数和未变化规格状态参数；
根据所述相邻区域查询所述待检测物体对应的应变规格状态参数和不变规格状态参数；
根据所述变化规格状态参数、所述未变化规格状态参数、所述应变规格状态参数和所述不变规格状态参数判断所述相邻区域中是否存在异常加工工序和/或异常工序设备；
若存在，则根据所述异常加工工序和/或所述异常工序设备进行预警；
其中，所述对所述目标区域图像进行图像特征识别，获取不同区域中待检测物体的规格状态参数的步骤包括：
采用形态学的核结构对所述目标区域图像进行膨胀，获得形态学处理后的图像，图像膨胀的公式为：
；
其中，a表示进行图像膨胀过程中的位移点位；B为形态学的结构元素；A为目标区域图像；Ba是结构元素B平移位移点位a后得到的，D(a)表示A被结构元素B进行膨胀获得的图像，膨胀过程为：根据图像膨胀的公式对目标区域图像中任意一个在阴影部分的位移点位a由结构元素B进行平移获得Ba，A被结构元素B膨胀，获得形态学处理后的图像D(a)；将所述形态学处理后的图像与所述目标区域图像进行结合，获得结合后的图像；
通过深度学习神经网络的卷积层对所述结合后的图像进行卷积处理，得到图像中的多个锚点；根据多个锚点生成与锚点数量对应的卷积核，并根据各个卷积核识别结合后的图像的前后景，获得前景图像，其中，前景表示待检测物体，后景表示其余冗杂图像；对所述前景图像进行回归处理，获得所述结合后的图像对应的感兴趣图像；根据所述感兴趣图像进行多特征融合分析，确定所述待检测物体的边缘轮廓；
基于所述边缘轮廓和所述感兴趣图像进行图像特征识别，获取所述待检测物体的规格信息；按流水线加工工序依次确定相邻区域中所述边缘轮廓的姿态数据，根据所述姿态数据获取所述待检测物体的状态信息；
其中，所述按流水线加工工序依次确定相邻区域中所述边缘轮廓的姿态数据，根据所述姿态数据获取所述待检测物体的状态信息的步骤包括：
对所述边缘轮廓进行坐标提取，获得所述待检测物体的相对坐标组；
对所述相对坐标组进行向量处理，获得对应的特征向量组；
根据相邻区域的每帧目标区域图像的时间间隔对所述特征向量组进行姿态角度处理，获得所述边缘轮廓的姿态数据；
按流水线加工工序依次对相邻区域中所述姿态数据进行轨迹处理，获得所述待检测物体的状态信息；
其中，所述通过设置在工厂流水线不同区域的摄像机采集对应的目标区域图像的步骤之前，还包括：
从预设样本图像集中随机抽取样本训练图像集，并对所述样本训练图像集进行感兴趣区域提取，获得所述样本训练图像集对应的感兴趣图像集；
将所述感兴趣图像集输入至初始深度卷积神经网络模型中进行迭代训练，获得训练模型；
从所述预设样本图像集中随机抽取样本测试图像集，并获取所述样本测试图像集中待检测物体的实际参数；
将所述样本测试图像集输入至所述训练模型中，并判断输出结果是否符合所述实际参数；
在所述输出结果不符合所述实际参数时，将所述样本训练图像集输入至所述训练模型中进行反向训练，直至所述输出结果符合所述实际参数，将所述输出结果符合所述实际参数时所对应的训练模型作为预设参数提取模型；
其中，所述根据所述变化规格状态参数、所述未变化规格状态参数、所述应变规格状态参数和所述不变规格状态参数判断所述相邻区域中是否存在异常加工工序和/或异常工序设备的步骤包括：
判断所述未变化规格状态参数是否符合所述不变规格状态参数；
若不符合所述不变规格状态参数，则根据所述未变化规格状态参数中的异常不变参数确定所述相邻区域中的异常工序设备；
判断所述变化规格状态参数是否符合所述应变规格状态参数；
若不符合所述应变规格状态参数，则根据所述变化规格状态参数中的异常变化参数确定所述工厂流水线的异常加工工序。
2.如权利要求1所述的摄像机组智能监控预警方法，其特征在于，所述对所述目标区域图像进行图像特征识别，获取不同区域中待检测物体的规格状态参数的步骤包括：
对所述目标区域图像进行感兴趣区域提取，获得所述目标区域图像对应的感兴趣图像；
将所述感兴趣图像输入至预设参数提取模型中进行图像特征识别，获得不同区域中待检测物体的规格状态参数。
3.一种摄像机组智能监控预警装置，其特征在于，所述装置包括：
图像获取模块，用于通过设置在工厂流水线不同区域的摄像机采集对应的目标区域图像；
参数提取模块，用于对所述目标区域图像进行图像特征识别，获取不同区域中待检测物体的规格状态参数，所述规格状态参数用于表征物体的规格信息和状态信息；
参数检验模块，用于按流水线加工工序依次将相邻区域中所述待检测物体对应的规格状态参数进行对比，确定所述待检测物体对应的变化规格状态参数和未变化规格状态参数；
参数检验模块，还用于根据所述相邻区域查询所述待检测物体对应的应变规格状态参数和不变规格状态参数；
异常预警模块，用于根据所述变化规格状态参数、所述未变化规格状态参数、所述应变规格状态参数和所述不变规格状态参数判断所述相邻区域中是否存在异常加工工序和/或异常工序设备；
异常预警模块，还用于若存在，则根据所述异常加工工序和/或所述异常工序设备进行预警；
其中，参数提取模块，还用于采用形态学的核结构对所述目标区域图像进行膨胀，获得形态学处理后的图像，图像膨胀的公式为：
；
其中，a表示进行图像膨胀过程中的位移点位；B为形态学的结构元素；A为目标区域图像；Ba是结构元素B平移位移点位a后得到的，D(a)表示A被结构元素B进行膨胀获得的图像，膨胀过程为：根据图像膨胀的公式对目标区域图像中任意一个在阴影部分的位移点位a由结构元素B进行平移获得Ba，A被结构元素B膨胀，获得形态学处理后的图像D(a)；将所述形态学处理后的图像与所述目标区域图像进行结合，获得结合后的图像；
通过深度学习神经网络的卷积层对所述结合后的图像进行卷积处理，得到图像中的多个锚点；根据多个锚点生成与锚点数量对应的卷积核，并根据各个卷积核识别结合后的图像的前后景，获得前景图像，其中，前景表示待检测物体，后景表示其余冗杂图像；对所述前景图像进行回归处理，获得所述结合后的图像对应的感兴趣图像；根据所述感兴趣图像进行多特征融合分析，确定所述待检测物体的边缘轮廓；
基于所述边缘轮廓和所述感兴趣图像进行图像特征识别，获取所述待检测物体的规格信息；按流水线加工工序依次确定相邻区域中所述边缘轮廓的姿态数据，根据所述姿态数据获取所述待检测物体的状态信息；
其中，所述异常预警模块，还用于对所述边缘轮廓进行坐标提取，获得所述待检测物体的相对坐标组；对所述相对坐标组进行向量处理，获得对应的特征向量组；根据相邻区域的每帧目标区域图像的时间间隔对所述特征向量组进行姿态角度处理，获得所述边缘轮廓的姿态数据；按流水线加工工序依次对相邻区域中所述姿态数据进行轨迹处理，获得所述待检测物体的状态信息；
其中，所述摄像机组智能监控预警装置还包括模型构建模块，所述模型构建模块，用于从预设样本图像集中随机抽取样本训练图像集，并对所述样本训练图像集进行感兴趣区域提取，获得所述样本训练图像集对应的感兴趣图像集；将所述感兴趣图像集输入至初始深度卷积神经网络模型中进行迭代训练，获得训练模型；从所述预设样本图像集中随机抽取样本测试图像集，并获取所述样本测试图像集中待检测物体的实际参数；将所述样本测试图像集输入至所述训练模型中，并判断输出结果是否符合所述实际参数；在所述输出结果不符合所述实际参数时，将所述样本训练图像集输入至所述训练模型中进行反向训练，直至所述输出结果符合所述实际参数，将所述输出结果符合所述实际参数时所对应的训练模型作为预设参数提取模型；
其中，所述异常预警模块，还用于判断所述未变化规格状态参数是否符合所述不变规格状态参数；若不符合所述不变规格状态参数，则根据所述未变化规格状态参数中的异常不变参数确定所述相邻区域中的异常工序设备；判断所述变化规格状态参数是否符合所述应变规格状态参数；若不符合所述应变规格状态参数，则根据所述变化规格状态参数中的异常变化参数确定所述工厂流水线的异常加工工序。
4.一种摄像机组智能监控预警设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的摄像机组智能监控预警程序，所述摄像机组智能监控预警程序配置为实现如权利要求1至2中任一项所述的摄像机组智能监控预警方法的步骤。
5.一种存储介质，其特征在于，所述存储介质上存储有摄像机组智能监控预警程序，所述摄像机组智能监控预警程序被处理器执行时实现如权利要求1至2任一项所述的摄像机组智能监控预警方法的步骤。
CN202310584945.1A 2023-05-23 2023-05-23 摄像机组智能监控预警方法、装置、设备及存储介质 Active CN116343131B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310584945.1A CN116343131B (zh) 2023-05-23 2023-05-23 摄像机组智能监控预警方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310584945.1A CN116343131B (zh) 2023-05-23 2023-05-23 摄像机组智能监控预警方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN116343131A CN116343131A (zh) 2023-06-27
CN116343131B true CN116343131B (zh) 2023-11-17

Family

ID=86884373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310584945.1A Active CN116343131B (zh) 2023-05-23 2023-05-23 摄像机组智能监控预警方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116343131B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013088247A (ja) * 2011-10-17 2013-05-13 Toppan Printing Co Ltd 品質監視システム及び品質監視方法
CN105554447A (zh) * 2015-12-11 2016-05-04 北京天地玛珂电液控制系统有限公司 一种基于图像处理技术的采煤工作面实时视频拼接系统
CN105759759A (zh) * 2016-03-10 2016-07-13 浙江工贸职业技术学院 一种产线设备和工序智能化联网管理系统
WO2017084186A1 (zh) * 2015-11-18 2017-05-26 华南理工大学 挠性电路板制造过程自动监测和智能分析系统及方法
CN108459572A (zh) * 2018-03-20 2018-08-28 广东美的制冷设备有限公司 监控方法、装置、系统、机器人及空调器生产设备
CN111144262A (zh) * 2019-12-20 2020-05-12 北京容联易通信息技术有限公司 一种基于监控视频的工序异常检测方法
CN112019805A (zh) * 2020-07-24 2020-12-01 神华和利时信息技术有限公司 工艺环境及流程的监控方法、装置、存储介质及电子设备
CN112818716A (zh) * 2021-01-17 2021-05-18 马陆咀 一种智能作业盯控可视化管理系统
CN115620492A (zh) * 2021-07-16 2023-01-17 贵州中烟工业有限责任公司 一种异常参数识别报警方法及计算机可读存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013088247A (ja) * 2011-10-17 2013-05-13 Toppan Printing Co Ltd 品質監視システム及び品質監視方法
WO2017084186A1 (zh) * 2015-11-18 2017-05-26 华南理工大学 挠性电路板制造过程自动监测和智能分析系统及方法
CN105554447A (zh) * 2015-12-11 2016-05-04 北京天地玛珂电液控制系统有限公司 一种基于图像处理技术的采煤工作面实时视频拼接系统
CN105759759A (zh) * 2016-03-10 2016-07-13 浙江工贸职业技术学院 一种产线设备和工序智能化联网管理系统
CN108459572A (zh) * 2018-03-20 2018-08-28 广东美的制冷设备有限公司 监控方法、装置、系统、机器人及空调器生产设备
CN111144262A (zh) * 2019-12-20 2020-05-12 北京容联易通信息技术有限公司 一种基于监控视频的工序异常检测方法
CN112019805A (zh) * 2020-07-24 2020-12-01 神华和利时信息技术有限公司 工艺环境及流程的监控方法、装置、存储介质及电子设备
CN112818716A (zh) * 2021-01-17 2021-05-18 马陆咀 一种智能作业盯控可视化管理系统
CN115620492A (zh) * 2021-07-16 2023-01-17 贵州中烟工业有限责任公司 一种异常参数识别报警方法及计算机可读存储介质

Also Published As

Publication number Publication date
CN116343131A (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
Park et al. Convolutional neural network based surface inspection system for non-patterned welding defects
US11715190B2 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
Yuan-Fu A deep learning model for identification of defect patterns in semiconductor wafer map
JP6742554B1 (ja) 情報処理装置およびそれを備えた電子機器
CN114881955B (zh) 基于切片的环状点云缺陷提取方法、装置、设备存储介质
Tang et al. Anomaly detection of core failures in die casting X-ray inspection images using a convolutional autoencoder
US12013918B2 (en) Method and apparatus for clustering images
CN117274264B (zh) 二次电池机械件智能装配方法及装置
CN117124138A (zh) 模具零件自动化加工系统及方法
CN111193627A (zh) 信息处理方法、装置、设备及存储介质
CN112132773B (zh) 飞机头部机盖铆点缺陷检测方法、装置、设备和存储介质
CN113657022B (zh) 一种芯片故障识别方法及相关设备
CN117030129A (zh) 纸杯在线检漏方法及其系统
US20210150078A1 (en) Reconstructing an object
CN109598712A (zh) 塑料泡沫餐盒的质量检测方法、装置、服务器及存储介质
CN111695582A (zh) 一种颤振纹理的检测方法及其装置
JP5137805B2 (ja) 検査システム及びその制御方法、コンピュータプログラム
CN116343131B (zh) 摄像机组智能监控预警方法、装置、设备及存储介质
CN110750876B (zh) 一种轴承数据模型训练及使用方法
CN114529543B (zh) 一种航空发动机外周螺钉垫片的安装检测方法及装置
CN112884057B (zh) 基于点云数据的三维曲面质量分类方法、系统及存储介质
CN115984759A (zh) 变电站开关状态识别方法、装置、计算机设备和存储介质
CN115797804A (zh) 一种基于不平衡时序航空飞行数据的异常检测方法
CN118212294B (zh) 基于三维视觉引导的自动化方法及系统
CN117541832B (zh) 异常检测方法、系统、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20231025

Address after: 237000 south of Subu Road, economic development zone, Lu'an City, Anhui Province

Applicant after: Anhui Guanggu Intelligent Technology Co.,Ltd.

Address before: 518000 512, 5 / F, building 3, Fukang Commercial Plaza, Fukang community, Longhua street, Longhua District, Shenzhen City, Guangdong Province

Applicant before: Shenzhen xinlaida Security Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Intelligent monitoring and warning methods, devices, equipment, and storage media for camera groups

Granted publication date: 20231117

Pledgee: Lu'an rural commercial bank Limited by Share Ltd.

Pledgor: Anhui Guanggu Intelligent Technology Co.,Ltd.

Registration number: Y2024980042183