CN117424988A - 一种用于智能化管理焊机的图像处理系统和处理方法 - Google Patents

一种用于智能化管理焊机的图像处理系统和处理方法 Download PDF

Info

Publication number
CN117424988A
CN117424988A CN202311731420.2A CN202311731420A CN117424988A CN 117424988 A CN117424988 A CN 117424988A CN 202311731420 A CN202311731420 A CN 202311731420A CN 117424988 A CN117424988 A CN 117424988A
Authority
CN
China
Prior art keywords
image
module
welding machine
camera module
working
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311731420.2A
Other languages
English (en)
Other versions
CN117424988B (zh
Inventor
江波
陈浙泊
俞国斌
廖志明
楼子昂
余建安
王炜
郑赛
于晓鹏
潘凌锋
陈龙威
陈一信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangshi Sanxin Taizhou Information Technology Co ltd
Hangzhou Fengjing Technology Co ltd
Hangzhou Sanxin Network Technology Co ltd
Wuyi County Quancheng Data Resource Development Co ltd
Research Institute of Zhejiang University Taizhou
Original Assignee
Guangshi Sanxin Taizhou Information Technology Co ltd
Hangzhou Fengjing Technology Co ltd
Hangzhou Sanxin Network Technology Co ltd
Wuyi County Quancheng Data Resource Development Co ltd
Research Institute of Zhejiang University Taizhou
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangshi Sanxin Taizhou Information Technology Co ltd, Hangzhou Fengjing Technology Co ltd, Hangzhou Sanxin Network Technology Co ltd, Wuyi County Quancheng Data Resource Development Co ltd, Research Institute of Zhejiang University Taizhou filed Critical Guangshi Sanxin Taizhou Information Technology Co ltd
Priority to CN202311731420.2A priority Critical patent/CN117424988B/zh
Publication of CN117424988A publication Critical patent/CN117424988A/zh
Application granted granted Critical
Publication of CN117424988B publication Critical patent/CN117424988B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/32—Individual registration on entry or exit not involving the use of a pass in combination with an identity check
    • G07C9/37—Individual registration on entry or exit not involving the use of a pass in combination with an identity check using biometric data, e.g. fingerprints, iris scans or voice recognition
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C9/00—Individual registration on entry or exit
    • G07C9/30—Individual registration on entry or exit not involving the use of a pass
    • G07C9/38—Individual registration on entry or exit not involving the use of a pass with central registration
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G08B3/1008—Personal calling arrangements or devices, i.e. paging systems
    • G08B3/1016—Personal calling arrangements or devices, i.e. paging systems using wireless transmission
    • G08B3/1025—Paging receivers with audible signalling details
    • G08B3/1033—Paging receivers with audible signalling details with voice message alert
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Image Processing (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明公开了一种用于智能化管理焊机的图像处理系统和处理方法,用于管理车间内的所有焊机，包括控制器、服务器、人脸图像识别模块、RFID识别模块、监控摄像模块、语音广播模块和人机交互界面，语音广播模块和监控摄像模块分别与服务器连接，语音广播模块、监控摄像模块、控制器和服务器之间进行组网，本发明在焊机的各个阶段通过图像处理系统采集焊机图像，通过对各阶段图像的处理获得焊机运行状态以及人员的状态，控制器根据图像处理结果自动控制各模块的运行，从而实现对焊机的智能化管理。

Description

一种用于智能化管理焊机的图像处理系统和处理方法
技术领域
本发明属于图像处理技术领域，涉及一种用于智能化管理焊机的图像处理系统和处理方法。
背景技术
目前，大部分制造业厂家对焊机的作业过程以及作业环境缺乏有效的安全监测手段，一般依靠人员自觉性以及管理人员人工监测，监测范围窄、效率较低，且对因焊接不良导致的产品质量问题缺乏有效的追踪手段。
目前也存在通过监控器来监控焊机的手段，但需要人员实时的关注，存在监测信息单一，缺乏对焊机故障、焊接参数的预警，用户与系统的交互较少的问题。
针对上述问题，现亟需通过对采集的图像进行处理，根据处理结果自动管理焊机的一种用于智能化管理焊机的图像处理系统和处理方法。
发明内容
本发明为了克服现有技术的不足，提供一种用于智能化管理焊机的图像处理系统和处理方法。
为了实现上述目的，本发明采用以下技术方案：一种用于智能化管理焊机的图像处理系统,用于管理车间内的所有焊机，包括控制器、服务器、人脸图像识别模块、RFID识别模块、监控摄像模块、语音广播模块和人机交互界面，人脸图像识别模块、RFID识别模块、人机交互界面、服务器分别与控制器连接，语音广播模块和监控摄像模块分别与服务器连接，语音广播模块、监控摄像模块、控制器和服务器之间进行组网，服务器用于向控制器下发设定的操作人员身份信息以及接收控制器的数据和指令，数据用于显示焊机的工作情况和分析；指令包括语音广播模块播放指令、监控摄像模块操作指令，服务器接收控制器指令后向语音广播模块、监控摄像模块发指令，使语音广播模块、监控摄像模块执行相应任务，车间包括安全人行通道区域与焊机工作区域，将焊机工作区域和焊机编号，将编号输入服务器，一组焊机工作区域配置一台焊机，焊机工作区域和焊机编号一一对应。
进一步的，所述监控摄像模块包括工作摄像模块和场景摄像模块，工作摄像模块设置在焊机工作区域，其成像范围设置为焊机工作区域，场景摄像模块的成像范围为安全人行通道区域，工作摄像模块和场景摄像模块与服务器实时交互，通过工作摄像模块和场景摄像模块采集的车间内操作人员图像，工作摄像模块和场景摄像模块包含图像实时采集的摄像头和进行图像实时处理的图像处理模块。
一种用于智能化管理焊机的图像处理方法，基于所述用于智能化管理焊机的图像处理系统的处理方法，包括以下步骤：
步骤1：背景初始化；
步骤2：车间入口的图像采集模块采集待进入车间人员进出卡的卡图像，人脸图像识别模块采集待进入车间人员的人脸图像，人员进入车间身份识别模块对卡图像和人脸图像进行处理，判断待进入的人员是否为该车间允许的人员，若是，车间入口闸门打开，执行步骤3，若否，语音广播报警，提示有非法人员进入；
步骤3：根据步骤2获取人员的编号、焊机编号、焊机工作区域的编号和工作摄像模块的编号，控制器控制该编号的焊机上电开机，开机信息读取模块将服务器存储的信息进行内部比对以及将服务器和控制器存储的信息进行比对，判断比对是否异常，若异常，语音广播模块报警，提示信息异常，进入待机模式，若不异常，执行步骤4；
步骤4：启动对应编号的工作摄像模块，工作摄像模块采集当前焊机工作区域图像，将其记为第一图像；提取服务器中该编号的工作摄像模块采集的初始图像，初始图像为工作摄像模块采集无操作人员时的焊机工作区域图像，人员判断模块对第一图像和初始对象进行处理，判断操作人员是否进入焊机工作区域，若是，执行步骤5，若否，语音广播报警，提示操作人员进入焊机工作区域，进入待机模式；
步骤5：工作摄像模块动态采集焊机工作区域的环境图像，场景摄像模块动态采集安全人行道区域的环境图像，环境监测模块对环境图像进行图像处理，判断环境是否异常，若是，语音广播模块报警，进入待机模式，若否，执行步骤6；
步骤6：选择操作模式，操作模式包括信息录入模式、运行模式和关机/待机模式，若选择信息录入模式，执行信息录入流程，若选择运行模式，执行步骤7，若选择关机/待机模式，进入待机模式或关机模式；
步骤7：工作摄像模块采集焊机工作区域的图像，人员监测模块对图像进行处理，判断操作人员行为是否异常，若是，进入待机模式，若否，执行步骤8；
步骤8：工作摄像模块采集当前焊机工作区域图像，人员离岗判断模块对图像进行处理，判断操作人员离岗是否超时，若是，进入待机模式，执行步骤9，若否，进入待机模式，执行步骤7；
步骤9：场景摄像模块采集安全人行道区域的图像，场景监测模块处理图像对目标进行跟踪，判断目标操作人员是否离开车间，若是，语音广播模块报警进行提示；进入待机模式；若否，语音广播模块报警进行提示，执行人员判断流程；
步骤10：判断离岗的操作人员是否进入焊机工作区域，若是执行步骤7，若否，执行步骤9；
步骤11：判断进入关机模式或者待机模式，若是关机模式，执行关机流程，通过人脸图像识别模块识别关机人员是否为操作人员，若是待机模式，执行待机流程，通过人脸图像识别模块识别待机人员是否为操作人员；
步骤12：结束步骤。
进一步的，所述步骤1中背景初始化的具体步骤为：
步骤1.1：设定工作摄像模块和场景摄像模块的坐标；
步骤1.2：建立背景环境模型；
步骤1.3：将车间区域分割为安全人行通道区域与焊机工作区域。
进一步的，步骤1.2的建立背景环境模型包括以下步骤：
步骤1.2.1:场景摄像头和工作摄像头在一天中多个时刻分别采集无人车间图像， 设定为初始化背景图像灰度值，；
为样本图像的总数量，为当前样本图像的序号，为当前序号为a的样 本图像灰度值；
步骤1.2.2：处理样本图像获得图像灰度直方图，计算t时刻的直方图分布；图 像灰度直方图的像素值取值范围为[0，255]，h(gk)=Lk,h(gk)为像素值gk的元素的个数，gk为 第k个像素值，k=0,1...255;Lk为像素值gk的像素个数，L为像素总数:
对单张图像灰度直方图做归一化处理：
；
为像素值为gk在图像中出现的概率；即为单张图像的图直方图；
计算t时刻的直方图分布，；其中为在t时刻第 a张图像的权重，a=1,2...N，为已知参数，为在t时刻第a张图像的图像直方图，根据单张图像灰度直方图的公式计算可得；
计算背景环境的直方图分布，； 是通过N张图像灰度直方图的加权平均计算得到背景直方分布图；为已知参数；
步骤1.2.3：样本图像根据傅立叶频率变换成频谱图；通过图像傅里叶变换的通用 公式获得和，为t时刻下的频率，为背景环境的频率，为设 定值，u为显著频率，取不同频率值；
步骤1.2.4：计算每个u，，每个gk下的； 当大于，或者大于，认为当前gk为变化巨大的灰度级，更新背景突 变变化个数总数；判断是否大于，若是，认为背景环境突变， 若否，认为背景环境正常；
其中为t时刻下的频率，为背景环境的频率；为频率变换阈值；其 中为t时刻下的直方图分布，为背景环境的直方图分布；为直方图分 布阈值；为背景突变变化个数设定阈值，为背景突变变化个数总数，为背 景突变变化个数。
进一步的，所述步骤3中开机信息读取模块将服务器存储的信息进行内部比对以及将服务器和控制器存储的信息进行比对，判断比对是否异常，具体包括以下步骤：
步骤3.1：控制器向服务器发送开机数据获取命令；
步骤3.2：控制器接收服务器下发的操作人员人脸图像、身份证信息和RFID标签信息，图像提取模块提取服务器存储的身份证上的人脸图像获得身份证人脸图像，图像识别模块识别身份证人脸图像；
步骤3.3：人脸图像比对模块将操作人员人脸图像与身份证人脸图像进行图像比对，判断比对是否一致，若一致，判定无异常，若不一致，语音广播模块报警，提示信息异常，进入待机模式；
步骤3.4：控制器将内存的操作人员人脸图像、身份证信息和RFID标签信息与服务器下发的操作人员人脸图像、身份证信息和RFID标签信息一一比对，判断全部比对是否一致，若一致，判定无异常，若不一致，语音广播模块报警，提示信息异常，进入待机模式。
进一步的，所述步骤5具体包括以下步骤：
步骤5.1:工作摄像模块动态采集焊机工作区域的环境图像，场景摄像模块动态采集安全人行道区域的环境图像，环境安全监测模块对环境图像进行图像处理，并判断焊机工作区域以及安全人行道区域的环境是否正常，若是，执行步骤5.2，若否，语音广播模块报警，提示用户环境异常，进入待机模式；
步骤5.2:RFID识别模块识别焊机、灭火器和工作摄像模块的RFID标签获取信息，与信息录入的RFID标签信息进行比对，若比对一致，表示目前本工位的焊机、灭火器、工作摄像模块一一对应且未更换，执行步骤6，若比对不一致，语音广播模块报警，提示用户异常，进入待机模式。
进一步的，所述步骤7通过对工作摄像模块采集操作人员的图像进行处理，判断操作人员焊接操作、离岗，具体包括以下步骤：
步骤7.1：工作摄像模块采集操作人员的图像，操作身份识别模块对图像进行处理，判断当前操作人员身份是否异常，若是，语音广播模块报警，提示操作人员身份异常，进入待机模式，若否，执行步骤7.2；
步骤7.2：工作摄像模块采集操作人员的图像，焊接操作识别模块对图像进行处理；判断操作人员是否进行焊接操作，若是，执行步骤7.4，若否，判定焊机处于待机状态，执行步骤7.3；
步骤7.3：基于步骤7.2中焊接操作识别模块对图像的处理结果，焊机待机判断模块判断焊机待机是否超时，若是，语音广播模块报警，提示待机超时，进入待机模式，若否，执行步骤7.2；
步骤7.4：工作摄像模块采集操作人员的图像，操作人员行为监测模块对图像进行处理，判断操作人员的行为是否正常，若是，执行步骤7.5，若否，语音广播模块报警，提示操作人员行为异常，进入待机模式；
步骤7.5：工作摄像模块采集焊机工作区域的图像，操作环境监测模块对图像进行处理，判断操作环境是否正常，若是，执行步骤7.2，若否，语音广播模块报警，提示操作环境异常，进入待机模式。
进一步的，所述步骤8中人员离岗判断模块对工作摄像模块采集当前焊机工作区域图像进行处理，判断操作人员离岗是否超时的方法，具体包括以下步骤：
步骤8.1：工作摄像模块采集无操作人员的焊机工作区域图像，将其标记为初始图像，采集当前焊机工作区域图像，将其记为第一图像，控制器比对初始图像和第一图像，判断第一图像中是否有操作人员，若有，执行步骤7.4，若无，执行步骤8.2;
步骤8.2：标记第一图像的采集时间，并记为T1；
步骤8.3：设定离岗时间阈值为t；
步骤8.4：提取时间T1到T1+t之间工作摄像模块采集的焊机工作区域图像；
步骤8.5：将焊机工作区域图像依次与初始图像比对，判断任一焊机工作区域图像中是否有操作人员，若有，判定操作人员离岗未超时，语音广播模块报警进行提示，进入待机模式，若无，判定操作人员离岗超时，语音广播模块报警进行提示，进入待机模式,执行步骤9。
进一步的，所述步骤9中场景监测模块通过多相机联动监测目标是否在车间，场景监测模块通过位置敏感度、空间注意力、时间注意力调用场景摄像模块，用于监测操作人员是否在车间，具体包括以下步骤：
步骤9.1：设定场景摄像模块位置敏感度排序权重；
步骤9.2：设定场景摄像模块空间观测注意力权重；
步骤9.3：设定场景摄像模块时间观测注意力权重；
步骤9.4：预估操作人员的位置；
步骤9.5：根据预估的操作人员位置得到车间空间坐标系下的坐标，根据各焊机工作区域在车间空间坐标系下的坐标，以及操作人员向各焊机工作区域移动的概率，获得操作人员在t+1时刻的目标焊机工作区域；
步骤9.6：由步骤9.1-步骤9.3获得总权重，根据目标焊机工作区域调用场景摄像模块，监测操作人员是否在车间。
综上所述，本发明的有益之处在于：
1、 本发明在焊机的各个阶段通过图像处理系统采集焊机图像，通过对各阶段图像的处理获得焊机运行状态以及人员的状态，控制器根据图像处理结果自动控制各模块的运行，从而实现对焊机的智能化管理。
2、 本发明结合控制器（MCU）、人脸图像识别模块、RFID识别模块、监控摄像模块、语音广播模块和人机交互界面，将焊机的开机工作前、开机、运行、关机进行全过程监测，实现人、机、芯的全过程绑定和安全监测，从而保证焊机焊接过程的人、机、芯绑定，对焊机周边环境进行有效安全监测和智能广播，保证焊接环境和焊接人员的安全。
3、 本发明通过背景环境模型消除背景突变对于目标追踪的影响；通过预估操作人员的位置；通过场景摄像模块加权追踪目标；通过对人员区分过滤非目标人员，从而降低了背景突变对于目标追踪的影响，提高目标追踪的准确性和准确性，大大提高了目标的追踪效率。
4、 本发明设置人机交互界面，人机交互界面支持查询历史数据，可在系统出现异常情况时及时向用户提供提示，通知异常情况；可向用户提供操作步骤或解决潜在异常的方法和步骤，帮助用户正常操作以及解决故障。
附图说明
图1为本发明的图像处理系统各模块连接示意图。
图2为本发明的车间区域分割示意图。
图3为本发明的场景摄像模块和工作摄像模块在车间分布示意图
图4为本发明的图像处理方法的总流程示意图。
图5为本发明的人员监测流程示意图。
图6为本发明的图像处理方法的开机信息读取流程示意图。
图7为本发明的环境安全监测流程。
图8为本发明的人脸关键数据点示意图。
图9a为本发明的人脸的五官比值K1示意图。
图9b为本发明的人脸的五官比值K2示意图。
图9c为本发明的人脸的五官比值K3示意图。
图10为本发明不同时刻场景摄像头的视野示意图。
图11为本发明的背景初始化流程图。
图12为本发明的操作人员移动示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明实施例中所有方向性指示(诸如上、下、左、右、前、后、横向、纵向……)仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
因安装误差等原因，本发明实施例中所指的平行关系可能实际为近似平行关系，垂直关系可能实际为近似垂直关系。
实施例一：
如图1-图3所示，一种用于智能化管理焊机的图像处理系统，图像处理系统用于管理车间内的所有焊机，包括控制器（MCU）、服务器、人脸图像识别模块、RFID识别模块、监控摄像模块、语音广播模块、人机交互界面、图像提取模块和图像识别模块，图像提取模块、图像识别模块、人脸图像识别模块、RFID识别模块、人机交互界面、服务器分别与控制器连接，控制器为图像处理系统的核心模块，控制器控制模块之间的连接和交互，执行系统运行和调度，语音广播模块和监控摄像模块分别与服务器连接，语音广播模块、监控摄像模块、控制器和服务器之间进行组网，从而实现多设备联动、操作人员跟踪和离岗报警功能。
服务器与控制器连接，服务器用于向控制器下发设定的操作人员身份信息以及接收控制器的数据和指令，数据包括焊机的工作时间、操作人员人员、工作状态等信息，收集这些信息用于显示焊机的工作情况和数据分析；指令包括语音广播模块播放指令、监控摄像模块操作指令，服务器接收控制器指令后向语音广播模块、监控摄像模块发指令，使语音广播模块、监控摄像模块执行相应任务；从而实现对车间焊机的智能化管理。
车间包括安全人行通道区域与焊机工作区域，如图2所述，若干焊机工作区域相邻设置形成工作区，安全人行通道区域位于两组工作区之间，将焊机工作区域和焊机编号，将编号输入服务器，任一焊机工作区域编号为k，k=1...U，U为焊机工作区域的总数，一组焊机工作区域配置一台焊机，焊机工作区域和焊机编号一一对应；
监控摄像模块包括工作摄像模块和场景摄像模块，工作摄像模块设置在焊机工作区域，其成像范围设置为焊机工作区域，场景摄像模块的成像范围为安全人行通道区域，工作摄像模块和场景摄像模块与服务器实时交互，通过工作摄像模块和场景摄像模块采集的车间内操作人员图像，实现车间内操作人员的实时跟踪，从而实现对操作人员的实时监管，实现智能化管理焊机，保证焊机安全生产。
图像提取模块用于提取采集图像中的信息，图像识别模块用于识别图像提取模块提取的信息，并将识别结果发送回控制器，控制器实时接收人脸图像识别模块的识别结果，并根据识别结果进行对应的处理。
人脸图像识别模块用于采集以及识别人脸图像；控制器与人脸图像识别模块连接，触发人脸图像识别模块采集以及识别图像，人脸图像识别模块接收控制器的采集图像命令，完成图像采集并进行人脸身份识别后，将识别结果发送回控制器，控制器实时接收人脸图像识别模块的识别结果，并根据识别结果进行对应的处理；
在信息录入过程中，人脸图像识别模块采集的操作人员人脸图像与身份证信息中的身份证人脸图像比对，从而将操作人员与控制器进行绑定，人脸图像识别模块采集的操作人员人脸图像与信息录入的人脸进行比对，从而确保操作人员与信息录入时保持一致。通过人脸图像识别模块的功能，可实现专机专用，使操作人员和焊机进行有效绑定。
RFID识别模块用于识别焊机、灭火器、工作摄像模块上的RFID标签；RFID识别模块与控制器连接，控制RFID射频信号发射，读取各RFID标签数据，焊机、监控摄像模块、灭火器贴有唯一标识号的RFID标签，实现焊机各个设备的绑定；
RFID识别模块包括RFID读写器和RFID标签，控制器通过通讯接口与RFID读写器连接进行数据交互，数据交互包括控制命令下发和读写数据上传，可通过USB、串口或者以太网进行数据通讯；本系统中，RFID识别模块中的RFID读写器与控制器连接，通过在焊机、灭火器、工作摄像模块分别贴上唯一的RFID标签，从而实现系统工作过程中的机芯绑定，将焊机、灭火器、工作摄像模块与控制器进行绑定，使用中必须识别到所有正确的RFID标签，焊机才能开启使用，以保证安全性。
控制器包括存储模块，信息录入的人脸图像与身份证信息存储至存储模块。
工作摄像模块采集不同系统阶段的焊机工作区域的图像；控制器根据系统运行状态向服务器发送指令，服务器向工作摄像模块发送相应的监测指令，在焊机运行过程中进行人员监测和操作环境监测，在焊机开机操作和待机时进行环境安全监测，工作摄像模块接收服务器的命令，根据不同的命令执行不同的监测任务，服务器实时接收工作摄像模块的监测识别结果；
场景摄像模块采集采集不同系统阶段的安全人行道区域的图像；控制器根据系统运行状态向服务器发送指令，服务器向场景摄像模块发送相应的监测指令，对安全人行道区域进行环境安全监测以及在人员离岗超时后进行人员监测，场景摄像模块接收服务器的命令，根据不同的命令执行不同的监测任务，服务器实时接收场景摄像模块的监测识别结果；
工作摄像模块和场景摄像模块除了包含图像实时采集的摄像头外，还包含进行图像实时处理的图像处理模块。
工作摄像模块依据服务器的指令执行设定的监测任务，用于在焊机运行过程中进行操作人员监测和操作环境监测以及在焊机开机操作和待机时只进行环境安全监测；语音广播模块依据控制器的指令对工作状态和异常情况进行播报。
语音广播模块依据服务器的指令对工作状态和异常情况进行播报，服务器与语音广播模块连接，语音广播模块基于WIFI与服务器进行数据交互，控制器根据当前焊机工作状态和异常情况，向服务器发送指令，服务器向语音广播模块发送指令，控制语音广播模块进行播报。
控制器与人机交互界面连接，人机交互界面具备不同操作按键，实现系统开机、信息录入、运行、待机、关机等，人机交互界面可支持查询历史数据，包括焊机运行时间、运行异常记录等，可在系统出现异常情况时及时向用户提供提示，通知异常情况；可向用户提供操作步骤或解决潜在异常的方法和步骤，提供尽可能的文字、图片和视频等多媒体支持，帮助用户正常操作以及解决故障，比如信息录入时，语音广播模块语音播报的同时，人机交互界面显示信息录入操作的步骤，方便用户操作。
本申请通过人脸图像识别模块、图像提取模块和图像识别模块对焊机工作区域的焊机、操作人员、焊机运行全过程采集的图像进行图像处理，控制器根据处理结果对焊机进行监测和管理，同时通过多相机联动监测离岗人员在车间的位置，提高离岗人员追踪的准确性和准确性，大大提高了离岗人员的追踪效率；图像处理系统还通过对安全人行道区域、焊机工作区域进行实时安全监测，使焊机具备实时安全监测功能，实现对焊机的智能化管理。
本申请通过服务器实现随时随地了解生产状况，远程控制焊机的效果，同时可实现历史焊接信息追溯，为焊接质量的提高提供技术保障。
如图4-图12所示，本申请提供一种用于智能化管理焊机的图像处理方法，包括以下步骤：
步骤1：背景初始化；
步骤2：车间入口的图像采集模块采集待进入车间人员进出卡的卡图像，人脸图像识别模块采集待进入车间人员的人脸图像，人员进入车间身份识别模块对卡图像和人脸图像进行处理，判断待进入的人员是否为该车间允许的人员，若是，车间入口闸门打开，执行步骤3，若否，语音广播报警，提示有非法人员进入；
步骤3：根据步骤2获取人员的编号、焊机编号、焊机工作区域的编号和工作摄像模块的编号，控制器控制该编号的焊机上电开机，开机信息读取模块将服务器存储的信息进行内部比对以及将服务器和控制器存储的信息进行比对，判断比对是否异常，若异常，语音广播模块报警，提示信息异常，进入待机模式，若不异常，执行步骤4；
步骤4：启动对应编号的工作摄像模块，工作摄像模块采集当前焊机工作区域图像，将其记为第一图像；提取服务器中该编号的工作摄像模块采集的初始图像，初始图像为工作摄像模块采集无操作人员时的焊机工作区域图像，人员判断模块对第一图像和初始对象进行处理，判断操作人员是否进入焊机工作区域，若是，执行步骤5，若否，语音广播报警，提示操作人员进入焊机工作区域，进入待机模式；
步骤5：工作摄像模块动态采集焊机工作区域的环境图像，场景摄像模块动态采集安全人行道区域的环境图像，环境监测模块对环境图像进行图像处理，判断环境是否异常，若是，语音广播模块报警，进入待机模式，若否，执行步骤6；
步骤6：选择操作模式，操作模式包括信息录入模式、运行模式和关机/待机模式，若选择信息录入模式，执行信息录入流程，若选择运行模式，执行步骤7，若选择关机/待机模式，进入待机模式或关机模式，
关机/待机模式为关机模式以及待机模式，此处的关机模式是指人工将焊机关机，此处的待机模式是指人工将焊机待机；
步骤7：工作摄像模块采集焊机工作区域的图像，人员监测模块对图像进行处理，判断操作人员行为是否异常，若是，进入待机模式，若否，执行步骤8；
步骤8：工作摄像模块采集当前焊机工作区域图像，人员离岗判断模块对图像进行处理，判断操作人员离岗是否超时，若是，进入待机模式，执行步骤9，若否，进入待机模式，执行步骤7；
步骤9：场景摄像模块采集安全人行道区域的图像，场景监测模块处理图像对目标进行跟踪，判断目标操作人员是否离开车间，若是，语音广播模块报警，可语音播报“XX工位人员不在车间”进行提示，执行步骤11；若否，语音广播模块报警，可语音播报“XX工位人员长时间离岗”进行提示，执行人员判断流程；
步骤10：判断离岗的操作人员是否进入焊机工作区域，若是执行步骤7，若否，执行步骤9；
步骤11：判断进入关机模式或者待机模式，若是关机模式，执行关机流程，通过人脸图像识别模块识别关机人员是否为操作人员，若是待机模式，执行待机流程，通过人脸图像识别模块识别待机人员是否为操作人员；
步骤12：结束步骤。
步骤1中背景初始化的具体步骤为：
步骤1.1：设定工作摄像模块和场景摄像模块的坐标；
步骤1.2：建立背景环境模型；
步骤1.3：将车间区域分割为安全人行通道区域与焊机工作区域；
步骤1.1将工作摄像模块和场景摄像模块的车间空间坐标系映射到像素坐标系，包括以下步骤：
步骤1.1.0：将焊机以及对应的焊机操作人员进行编号，两者一一对应，焊机与其所在焊机工作区域的工作摄像模块一一对应，编号信息并入操作人员编号集，将非操作人员，比如技术人员、领导人员进行编号，编号信息并入非操作人员编号集；
步骤1.1.1：将若干场景摄像模块设定为Ci(i=1,2,…Z)，若干工作摄像模块设定为Wj(j=1,2,…mo)，车间入门设为空间坐标原点（0，0，0），车间的长宽高为已知参数，场景摄像模块的坐标为（XCi,YCi,ZCi），工作摄像模块的坐标为（XWj,YWj,ZWj），以车间入门为起点，按照C1,W1,C2,W2,C3,W3,…进行排序，C1为第一场景摄像模块，其中Ci挂于车间高处，能够获得更多视野，Wj挂于焊机工作区域全覆盖位置；场景摄像模块的坐标（XCi,YCi,ZCi）以及工作摄像模块的坐标（XWj,YWj,ZWj）为已知参数；n为场景摄像模块的数量，m为工作摄像模块的数量；
步骤1.1.2：将工作摄像模块和场景摄像模块所在的车间空间坐标系转换为图像的像素坐标系，将像素坐标系转换为车间空间坐标系；
根据已知的车间空间坐标系转换为任一工作摄像模块以及场景摄像模块的相机坐标系；
将相机坐标系转换为成像平面坐标系；
将成像平面坐标系转换为像素坐标系；
将像素坐标系转换成车间空间坐标系；
获得图像与车间空间的距离转化式，将图像上两点距离D(u,v)转换成车间空间坐标系的两点距离d（x,y,z）,d（x,y,z）=F[D(u,v)]，F为转化式；
将车间空间坐标系的两点距离d（x,y,z）转化为图像上两点距离D(u,v),D(u,v)=f[d(x,y,z)]，f为转化式；
上述坐标系之间的转换为常规转换，F,f根据常规转化可得，F,f为设定值；
步骤1.2中建立背景环境模型包括以下步骤：
步骤1.2.1:场景摄像头和工作摄像头在一天中多个时刻分别采集无人车间图像， 获得N张样本图像，设定为初始化背景图像灰度值，；
为样本图像的总数量，为当前样本图像的序号，为当前序号为a的样 本图像灰度值；
步骤1.2.2：处理样本图像获得图像灰度直方图，计算t时刻的直方图分布；图 像灰度直方图的像素值取值范围为[0，255]，h(gk)=Lk,h(gk)为像素值gk的元素的个数，gk为 第k个像素值，k=0,1...255;Lk为像素值gk的像素个数，L为像素总数:
对单张图像灰度直方图做归一化处理：
；
为像素值为gk在图像中出现的概率；即为单张图像的图直方图；
计算t时刻的直方图分布，；其中为在t时刻第 a张图像的权重，a=1,2...N，为已知参数，为在t时刻第a张图像的图像直方图，根据单张图像灰度直方图的公式计算可得；
计算背景环境的直方图分布，；是 通过N张图像灰度直方图的加权平均计算得到背景直方分布图；为已知参数；
步骤1.2.3：样本图像根据傅立叶频率变换成频谱图；通过图像傅里叶变换的通用 公式获得和，为t时刻下的频率，为背景环境的频率，为设 定值，u为显著频率，取不同频率值；
步骤1.2.4：计算每个u，，每个gk下的； 当大于，或者大于，认为当前gk为变化巨大的灰度级，更新背景突 变变化个数总数；判断是否大于，若是，认为背景环境突变， 若否，认为背景环境正常；
其中为t时刻下的频率，为背景环境的频率；为频率变换阈值；其 中为t时刻下的直方图分布，为背景环境的直方图分布；为直方图分 布阈值；为背景突变变化个数设定阈值，为背景突变变化个数总数，为背 景突变变化个数；
在运行时段，焊机通常处于明亮的环境下，即背景亮度不变，在非运行时段，焊机通常处于黑暗的环境下，即背景亮度不变，为方便计算，将运行时段和非运行时段的背景统一，本实施例设定标准背景环境不变，因此标准背景环境的频率、设定的标准背景环境的直方图分布均为定值；
在其他实施例中，可将运行时段和非运行时段的背景环境分别设定，变化值分别与运行时段和非运行时段下的标准背景环境值进行比较，在此不做赘述。
步骤1.3包括以下步骤：
步骤1.3.1：提取图像中特征角点；
为了获得图像的特征角点，对图像上像素点G(u,v)进行滑窗处理，假设滑窗位置 变化为(x,y)，像素点G(u,v)的灰度值为I(u,v)，通过滑窗计算后，局部灰度变化加权平均 值E(x,y)，，为滑窗窗口权值，为每个对应点像素值的差异，确定每个像素的加权，一 般采用高斯权重的方法，距离像素点G(u,v)越近，加权越大，对该式通过泰勒展开后得到下 式：
式中:A、B、C表示二阶方向微分的近似值,A、B、C为系数,可以通过下式来表示：
式中:用X和Y来表示不同方向上的一阶方向微分,其中,，，表示一个可以对图像起到高斯滤波作用的 函数，为变化点(x,y)的灰度值；因此可得：
式中M就是Harris角点算法中定义的Hessian矩阵,得到
A(x,y)、B(x,y)、C(x,y)为系统函数；像素点的E(x,y)的值关系到矩阵M的特征值, 而且当2个特征值都比较大时,说明该点沿横纵坐标方向的灰度值变化量比较剧烈,因此该 像素点就是特征角点，同时为了简化计算量,去掉计算矩阵M的特征值的过程,定义矩阵行 列式，矩阵的对角线之和，并借此来定义一个Harris 角点响应函数:
式中m是经验常数;
判断还否大于Rt，Rt为阈值，若是，认为该像素点是特征角点，若否，认为 该像素点不是特征角点；
步骤1.3.2：提取的特征角点通过四层金字塔传递下来，根据四层特征角点计算图像角点坐标集；
金字塔光流算法从最顶层开始,通过分辨率最低的层级上计算角点，通过每个金字塔层级之间的映射关系将角点计算进行选代,得到最底层原始图像的角点，设定最底部的层级为0级，然后依次向上升级。对0级图像向下采样得到1级金字塔图像，然后继续向下采样到设定的层数，此时，角点在相邻两帧间的运动就足够微小，可以满足LK光流法的假设条件，就能计算出该层的光流值；
设定顶层角点初值为，计算顶层的角点值,得到的计算结 果表示为,加上初值，到了下一层计算的初值，然后再代入到一个分辨率更高的图层进行角点计算,如 此反复进行,直到达到最高分辨率的原始图像角点坐标集为止,得到:
步骤1.3.3：计算角点三帧差分图像；
为差分图像，为t时即当前输入帧，为当前帧稳定背景，，为t-1时的输入 帧，为t-2时的输入帧，t为当前时刻，将角点集（u，v），在中，设置为=255，代入计算连续三帧双差分图像；；当 时，
；
其中，为灰度差阈值；当时，认为该角点为噪点，将该角点滤掉；， 认为该角点在不同帧的图像均为稳定点，将该角点坐标并入区域角点坐标集；
步骤1.3.4：根据在不同层金字塔的区域角点坐标集，快速匹配计算两摄像头间的相似特征角点，确定场景摄像头的成像区域边界坐标，根据1.1.2）的坐标转换，获得场景摄像头成像区域边界在车间空间坐标系的坐标，依此获得相邻场景摄像头的视野重叠区域，将该区域标记为H，得到在场景摄像头采集的图像中视野重叠区域坐标；
步骤1.3.5：在不同层金字塔确定安全人行通道区域与焊机工作区域的分割以及各焊机工作区域之间的分割，安全人行通道区域与焊机工作区域边缘均贴有安全反光标识，根据区域角点坐标集、场景摄像模块和工作摄像模块的成像范围以及安全反光标识配合辅助分割区域，从而将车间的区域分割和场景摄像模块和工作摄像模块的区域分割进行统一；
人员以刷进出卡以及刷脸方式进入车间，步骤2中将图像识别模块识别的进出卡编号遍历操作人员编号集和非操作人员编号集，判断待进入人员为操作人员还是非操作人员，操作人员的进出卡存储设定的人脸图像、相应焊机的编号、位置、坐标，遍历操作人员编号集识别编号是否为本车间录入的编号，通过人脸图像识别模块识别人脸图像，将该人脸图像与进出卡存储的的人脸图像、进出卡存储的人脸图像与控制器中相应焊机的编号的人脸图像进行比对以判断待进入操作人员身份是否异常。
非操作人员的进出卡存储设定的人脸图像，遍历非操作人员编号集识别编号是否存在，通过人脸图像识别模块获得待进入人员的人脸图像，将该人脸图像与进出卡存储设定的人脸图像进行比对以判断待进入的非操作人员身份是否异常。
本实施例设定非操作人员具有进入各车间的权限。
步骤2人员进入车间身份识别模块执行人员进入车间身份识别，通过对卡图像和人脸图像进行处理，判断待进入的人员是否为该车间允许的人员具体包括以下步骤：
步骤2.0：图像采集模块采集待进入车间人员进出卡的卡图像，人脸图像识别模块采集待进入车间人员的人脸图像，图像提取模块提取卡图像中的编号，图像识别模块识别编号，人脸图像识别模块识别人脸图像；
步骤2.1：将图像识别模块识别的进出卡编号发送至服务器，遍历操作人员编号集和非操作人员编号集，判断进出卡编号是否匹配到对应编号，若是，执行步骤2.2，若否，语音广播模块报警，提示身份识别异常，车间入口闸门不开启；
步骤2.2：人脸图像比对模块将人脸图像识别模块识别的人脸图像与进出卡存储的设定人脸图像进行比对，判断比对是否一致，若是，执行步骤2.3，若否，语音广播模块报警，提示身份识别异常，车间入口闸门不开启；
步骤2.3：判断进出卡编号是操作人员编号还是非操作人员编号，若是操作人员编号，待进入人员为操作人员，执行步骤2.4，若是非操作人员编号，更新服务器中非操作人员的访问记录，执行步骤2.6；
步骤2.4：根据进出卡编号，获取相应焊机的编号，获取服务器内该编号焊机绑定的人脸图像；人脸图像比对模块将人脸图像识别模块识别的人脸图像与绑定的人脸图像进行比对，判断比对是否一致，若是，车间入口闸门开启，服务器向控制器发送该编号操作人员入岗通知；执行步骤2.5，若否，语音广播模块报警，提示身份识别异常，车间入口闸门不开启；
步骤2.5：第一场景摄像模块采集待进入人员的图像，建立LAB颜色模型对该图像进行处理，获取待进入人员的服装颜色特征值，将人员的颜色特征值发送至服务器，更新该编号下操作人员的服装特征值；便于根据服装特征值追踪目标;
步骤2.6：将刷脸获取的非操作人员人脸图像输入服务器，并将该人脸图像标记为非识别目标。
步骤3中开机信息读取模块执行开机信息读取流程，通过将服务器存储的信息进行内部比对以及将服务器和控制器存储的信息进行比对，判断比对是否异常，具体包括以下步骤：
步骤3.1：控制器向服务器发送开机数据获取命令；
步骤3.2：控制器接收服务器下发的操作人员人脸图像、身份证信息和RFID标签信息，图像提取模块提取服务器存储的身份证上的人脸图像获得身份证人脸图像，图像识别模块识别身份证人脸图像；
步骤3.3：人脸图像比对模块将操作人员人脸图像与身份证人脸图像进行图像比对，判断比对是否一致，若一致，判定无异常，若不一致，语音广播模块报警，提示信息异常，进入待机模式。
步骤3.4：控制器将内存的操作人员人脸图像、身份证信息和RFID标签信息与服务器下发的操作人员人脸图像、身份证信息和RFID标签信息一一比对，判断全部比对是否一致，若一致，判定无异常，若不一致，语音广播模块报警，提示信息异常，进入待机模式。
本申请在焊机运行前对录入信息进行确认有效防止出现更换控制器内存的预设的使用人员人脸图像或身份证信息的问题。
本申请通过步骤3.4可防止用户更换控制器和相关模块位置。
步骤4中人员判断模块执行人员判断流程，通过对第一图像和初始对象进行处理，判断操作人员是否进入焊机工作区域，具体包括以下步骤：
步骤4.1：根据操作人员的编号，获取工作摄像模块编号；
步骤4.2：提取服务器中该编号的工作摄像模块采集的初始图像；
工作摄像模块采集无操作人员的焊机工作区域图像，将其标记为初始图像;
步骤4.3：工作摄像模块采集当前焊机工作区域图像，将其记为第一图像，比对初始图像和第一图像，判断第一图像中是否有操作人员，若有，执行步骤步骤5.4，若无，判定焊机工作区域没有操作人员;
步骤4.4：工作摄像模块采集操作人员的人脸图像，判断人脸图像与焊机绑定的人脸图像是否一致，若是，判定操作人员进入焊机工作区域，若无，判定操作人员未进入焊机工作区域。
步骤5环境监测模块执行环境监测流程，进行环境监测，实现对焊机绑定设备、焊机工作区域环境以及安全人行道区域环境进行监测，安全人行道区域是指非焊机工作区域的环境；焊机工作区域环境为焊机运行前的环境监测，包括焊机工作区域内配备的设备进行监测以及对焊机工作区域的环境进行监测，环境监测模块对环境图像进行图像处理，判断环境是否异常具体包括以下步骤：
步骤5.1:工作摄像模块动态采集焊机工作区域的环境图像，场景摄像模块动态采集安全人行道区域的环境图像，环境安全监测模块对环境图像进行图像处理，并判断焊机工作区域以及安全人行道区域的环境是否正常，若是，执行步骤5.2，若否，语音广播模块报警，提示用户环境异常，进入待机模式；
步骤5.2:RFID识别模块识别焊机、灭火器和工作摄像模块的RFID标签获取信息，与信息录入的RFID标签信息进行比对，若比对一致，表示目前本工位的焊机、灭火器、工作摄像模块一一对应且未更换，执行步骤6，若比对不一致，语音广播模块报警，提示用户异常，进入待机模式。
环境安全监测模块对环境图像进行图像处理，以实现对焊机工作区域环境以及安全人行道区域中的火灾监测和烟雾监测，以保证环境安全，通过环境安全监测模块环境安全监测模块通过执行环境安全监测流程对环境图像进行处理，具体步骤为：
步骤A1：工作摄像模块采集焊机工作区域的图像，根据焊机工作区域背景环境模型判断当前焊机工作区域的图像的背景是否发生突变，若是，执行步骤A3，若否，认为焊机工作区域环境不变，焊机工作区域环境正常，执行步骤A2；
步骤A2：场景摄像模块采集安全人行道区域的图像，根据安全人行道区域背景环境模型判断安全人行道区域的背景是否发生突变，若是，执行步骤A3，若否，认为安全人行道区域正常，执行步骤5.2；
步骤A3：将步骤A1中工作摄像模块采集的焊机工作区域的图像或/和步骤A2中场景摄像模块采集的车间图像突变区域进行RGB转换成LAB模型，分别生成L、A、B三张分量图像；
步骤A4：设定低灰度阈值范围，基于低灰度阈值范围将L分量图像进行二值化提取，获取烟雾区域图像；
步骤A5：根据烟雾区域图像，计算、、，判断，且，，若是， 认为烟雾区域图像中含有低亮度区域,标记区域S1以及区域的位置p1，执行步骤A6；若否， 认为烟雾区域图像不含有低亮度区域，当前焊机工作区域的环境正常；
为烟雾判断的亮度阈值，和为烟雾判断的两个颜色通道阈值；为亮度，和为两个颜色通道；
步骤A6：设定高灰度阈值范围，基于高灰度阈值范围将L分量图像进行二值化提取，获取亮度区域图像；
步骤A7：根据亮度区域图像，计算、、，判断，且，，，若是，认为亮度区域图像中含有高亮区域,将高亮生成火焰区域，标记火焰区域 S2,计算火焰区域S2的最小外接位置p2，执行步骤A8；若否，认为亮度区域图像不含有高亮 区域，当前焊机工作区域的环境具有浓烟，但无火焰；
为火焰判断的亮度阈值，和为火焰判断的两个颜色通道阈值；
步骤A8：判断区域位置p1是否高于区域位置p2，若是，认为符合烟雾和火焰的分布，执行步骤A9，若否，认为不符合烟雾和火焰的分布，需重新检测区域位置p1和区域位置p2，执行步骤A5；
步骤A9：计算火焰面积变化率，判断是否大于，若是，认为火焰为变化的 火焰，执行步骤A10；若否，认为火焰为稳定光源的火焰；
；
，为第火焰区域面积；为采集的第张目标区域图像， 采集的第张目标区域图像，为火灾面积变化率阈值；
当有火灾发生时，火灾的火焰面积会逐渐增大，而蜡烛、灯光等稳定光源的火焰面 积相对稳定，基本不会发生变化，因此可通过火焰面积变化率作为判别火灾的依据之 一；
步骤A10：计算工作摄像模块连续采集的第张目标区域图像中的S1、S2和 ，判断S2、以及S2/S1是否逐渐变大，若是，认为火灾的火焰变大，执行步骤A11，若否，认 为火灾火焰还未变化；
步骤A11：提取图像中R(x,y)>G(x,y)> B(x,y)、R(x,y)>190的区域，标记为火焰区域S3，取火焰区域S2和火焰区域S3的并集S4，判断S4是否大于火焰区域阈值ST，若是，认为火灾面积超出阈值，人机交互界面显示焊机工作区域的灭火器位置，语音广播模块报警且启动应急广播，进入待机模式；若否，语音广播模块报警，进入待机模式。
R(x,y)、G(x,y)、B(x,y)为图像红、绿、蓝三个通道的颜色值；
步骤6中信息录入模式用于信息录入，以实现操作人员人脸信息、身份证信息和RFID标签信息录入，信息录入模式在设备初次使用或者操作人员更换时使用。
信息录入流程的步骤为：
步骤6.1：语音广播模块提示用户录入RFID标签信息，用户将身份证放入识别区并正对人脸图像识别模块，依次采集和识别操作人员身份证信息和人脸图像，实现身份证信息和人脸图像的录入；
步骤6.2：控制器将身份证字符串和身份证人脸图像绑定；
步骤6.3：控制器将身份证人脸图像和人脸图像进行特征比对，若比对一致，将身份证人脸图像与人脸图像绑定，使操作人员与身份证绑定；若比对异常，语音广播模块报警，提示用户重新录入，执行步骤6.1；
步骤6.4：控制器将RFID标签信息与身份证字符串绑定，以达到人机绑定。
步骤6.5：结束。
步骤7通过对工作摄像模块采集操作人员的图像进行处理，判断操作人员焊接操作、离岗，具体包括以下步骤：
步骤7.1：工作摄像模块采集操作人员的图像，操作身份识别模块对图像进行处理，判断当前操作人员身份是否异常，若是，语音广播模块报警，提示操作人员身份异常，进入待机模式，若否，执行步骤7.2;
步骤7.2：工作摄像模块采集操作人员的图像，焊接操作识别模块对图像进行处理；判断操作人员是否进行焊接操作，若是，执行步骤7.4，若否，判定焊机处于待机状态，执行步骤7.3；
步骤7.3：基于步骤7.2中焊接操作识别模块对图像的处理结果，焊机待机判断模块判断焊机待机是否超时，若是，语音广播模块报警，提示待机超时，进入待机模式，若否，执行步骤7.2；
步骤7.4：工作摄像模块采集操作人员的图像，操作人员行为监测模块对图像进行处理，判断操作人员的行为是否正常，若是，执行步骤7.5，若否，语音广播模块报警，提示操作人员行为异常，进入待机模式；
步骤7.5：工作摄像模块采集焊机工作区域的图像，操作环境监测模块对图像进行处理，判断操作环境是否正常，若是，执行步骤7.2，若否，语音广播模块报警，提示操作环境异常，进入待机模式；
步骤7.1中操作身份识别模块对图像进行处理，判断当前操作人员身份是否异常包括以下步骤：
步骤7.1.1：语音广播模块提示用户将身份证放入识别区并正对人脸图像识别模块，人脸图像识别模块依次采集和识别待操作人员的当前身份证信息和当前人脸图像；
步骤7.1.2：控制器将当前身份证人脸图像和当前人脸图像进行比对，若比对一致，执行步骤7.1.3；若比对异常，语音广播模块报警，提示身份识别失败，进入待机模式；
步骤7.1.3：控制器将当前身份证号字符串与信息录入的身份证号字符串进行比对，若比对一致，执行步骤7.1.4，若比对异常，语音广播模块提示身份识别失败，进入待机模式；
步骤7.1.4：控制器将当前人脸图像与信息录入的人脸图像进行比对，若比对一致，标记当前人脸图像，标记为标准人脸图像，执行步骤7.1.5；若否，语音广播模块提示身份识别失败，进入待机模式；
步骤7.1.5：工作摄像模块采集当前操作人员的图像，记为图像A，建立LAB颜色空间，获取操作人员服装的颜色特征值，将该颜色特征值记为标准颜色特征值；
步骤7.1.5.1：建立LAB颜色空间；
步骤7.1.5.2：采用Ace2p模型对图像A进行人体解析并分割，获取上半身与下半身区域；
步骤7.1.5.3：根据LAB颜色空间,获取上半身与下半身区域的颜色特征值。
步骤7.2中焊接操作识别模块对图像进行处理用于判断操作人员是否进行焊接操作或者焊机是否待机，焊机开机，操作人员是否进行焊接操作的判断为初步判断，当识别到操作人员佩戴头盔、面罩以及焊棒位于指定位置，且有电火花产生时，认为操作人员进行焊接操作，焊接操作识别模块具体包括以下步骤：
步骤7.2.1：基于轻量级神经网络模型pp-pico-det，采集头盔、面罩、焊棒数据集对其进行训练以及优化识别，获得目标监测模型Det1；
步骤7.2.2：工作摄像模块采集并处理焊机工作区域图像，获得判断图像，判断图像输入目标监测模型Det1；
步骤7.2.3：目标监测模型Det1分割判断图像获取并识别头部区域和手部区域；判断头部区域是否存在头盔以及面罩，手部区域是否存在焊棒，若头盔、面罩以及焊棒其中之一不存在，语音广播模块报警，提示操作人员头盔、面罩以及焊棒其中之一未配置，认为焊机处于待机状态，执行步骤Z6，若全部存在，执行步骤7.2.4；
步骤7.2.4：获取判断图像中焊棒的区域位置，提取焊棒尖端位置坐标；
焊棒的尖端位置为焊棒与待焊接部位的接触位置，因此该位置坐标为定值；
步骤7.2.5：提取焊机开机后设定时间t1内工作摄像模块采集的焊机工作区域图像，将焊机工作区域图像转换灰度图，通过高斯滤波进行平滑降噪、二值化处理获得焊机工作区域的二值化图像；
步骤7.2.6：以焊棒尖端位置坐标为中心，以设定长宽分割二值化图像，获得焊棒尖端图像；
步骤7.2.7：判断焊棒尖端图像中是否有亮度值大于230的区域，若是，认为有电火花，判定操作人员进行焊接操作，若否，认为没有电火花，判定操作人员未进行焊接操作。
步骤7.3中焊机待机判断模块判断焊机待机是否超时是通过焊接操作识别模块对图像的处理结果进行判断，具体包括以下步骤：
步骤7.3.1：标记焊接操作识别模块的判断结果，将判断结果为操作人员进行焊接操作标记为1，将判断结果为操作人员处于待机状态标记为0；
步骤7.3.2：执行焊接操作识别模块，记录焊接操作识别模块第一次判断结果为0的时间，标记为t2；
步骤7.3.3：设定待机时间阈值为T2；
步骤7.3.4：选取时间t2到t2+T2之间焊接操作识别模块的判断结果，判断结果是否均为0，若是，在时间T2内，认为焊机均处于待机状态，判定焊机待机超时，若否，在时间T2内，操作人员有进行焊接操作，判定焊机待机不超时。
步骤7.4的操作人员行为监测模块对图像进行处理，判断操作人员行为是否符合操作规范，具体包括以下步骤：
步骤7.4.1：工作摄像模块采集当前焊机工作区域图像，将其记为第一图像，人脸图像识别模块识别第一图像，判断人脸图像识别模块是否在第一图像识别到第一人脸图像，若是，执行步骤7.4.2；若否，执行步骤7.4.3；
步骤7.4.2：控制器将第一人脸图像与标准人脸图像进行比对，若比对一致，判定操作人员与绑定的操作人员一致，执行步骤7.4.1，若否，判定当前操作人员与绑定的操作人员不一致，语音广播模块报警，提示操作人员身份异常，进入待机模式；
步骤7.4.3：判断操作人员是否统一服装，若是，执行步骤7.4.4，若否，执行步骤7.4.5；
操作人员是否统一服装可在系统信息录入时进行设定，根据设定结果选择不同的操作步骤；
步骤7.4.4：控制器触发人脸图像识别模块采集并识别当前操作人员的人脸图像，并与标准人脸图像进行比对，若比对一致，判定操作人员与绑定的操作人员一致，执行步骤7.4.1，若否，判定当前操作人员与绑定的操作人员不一致，语音广播模块报警，提示操作人员身份异常，进入待机模式；
步骤7.4.5：根据LAB颜色空间，获取第一图像中人体服装的颜色特征值，将该颜色特征值与标准颜色特征值比对，若比对一致，判定操作人员与绑定的操作人员一致，执行步骤7.4.1，若否，判定当前操作人员与绑定的操作人员不一致，语音广播模块报警，提示操作人员身份异常，进入待机模式；
步骤7.4.6：工作摄像模块采集的第一图像输入目标监测模型Det1；
步骤7.4.8：目标监测模型Det1分割第一图像获取头部区域，并对头部区域进行识别，判断是否存在头盔以及面罩，若其中之一或全部未佩戴，语音广播模块报警，提示操作人员重新佩戴，进入待机模式，若全部佩戴，判定操作人员符合操作规范。
步骤7.5中操作环境监测模块对工作摄像模块采集焊机工作区域的图像进行处理，判断焊机运行时焊机工作区域环境的焊机环境以及安全人行道区域环境是否异常，具体包括以下步骤：
步骤7.5.1：场景摄像模块采集安全人行道区域的环境图像，环境安全监测模块对环境图像进行图像处理，判断安全人行道区域是否异常，若是，语音广播模块语音报警，提示安全人行道区域异常，进入待机模式，若否，执行步骤7.5.2；
步骤7.5.1与步骤5.1中的环境安全监测模块对环境图像进行图像处理判断环境是否异常的方法相同，在此不做赘述；
步骤7.5.2：工作摄像模块采集焊机工作区域的图像图像，操作环境监测模块对图像进行处理，判断焊机工作区域环境是否异常，若是，语音广播模块语音报警，提示焊机工作区域环境异常，进入待机模式，若否，执行步骤8。
步骤8中人员离岗判断模块对工作摄像模块采集当前焊机工作区域图像进行处理，判断操作人员离岗是否超时的方法具体包括以下步骤：
步骤8.1：工作摄像模块采集无操作人员的焊机工作区域图像，将其标记为初始图像，采集当前焊机工作区域图像，将其记为第一图像，控制器比对初始图像和第一图像，判断第一图像中是否有操作人员，若有，执行步骤7.4，若无，执行步骤8.2；
步骤8.2：标记第一图像的采集时间，并记为T1；
步骤8.3：设定离岗时间阈值为t；
步骤8.4：提取时间T1到T1+t之间工作摄像模块采集的焊机工作区域图像；
步骤8.5：将焊机工作区域图像依次与初始图像比对，判断任一焊机工作区域图像中是否有操作人员，若有，判定操作人员离岗未超时，语音广播模块报警，可语音播报“XX工位人员已离岗”进行提示，进入待机模式，若无，判定操作人员离岗超时，语音广播模块报警，可语音播报“XX工位人员长时间离岗”进行提示，进入待机模式,执行步骤9。
本实施例中离岗是指操作人员离开工作焊机区域；
步骤9中场景监测模块通过多相机联动监测目标是否在车间，场景监测模块通过位置敏感度、空间注意力、时间注意力调用场景摄像模块，用于监测操作人员是否在车间，具体包括以下步骤：
步骤9.1：设定场景摄像模块位置敏感度排序权重；
设定操作人员向各焊机工作区域移动的概率为，
；
上式中为操作人员和各焊机工作区域之间的连线与操作人员速度方向的夹 角，k为焊机工作区域的序号，k=1...U，U为焊机工作区域的总数：
如图12所示，为操作人员向焊机工作区域a移动方向的概率；
常规情况下，除两端的场景摄像模块外，其余场景摄像模块具有两个方向的视野重叠区域，当操作人员仅在一个场景摄像模块的成像范围内，获取场景摄像模块当前帧图像中操作人员的坐标，依据操作人员坐标和视野重叠区域坐标，操作人员与两端视野重叠区域的距离，获取多帧图像的操作人员坐标，计算操作人员与两端视野重叠区域的距离，比对上述距离变化，距离变短的一侧为操作人员速度方向；
当操作人员在两个场景摄像模块的成像范围内，认为操作人员在视野重叠区域，采集多帧后图像，判断操作人员出现的场景摄像模块编号，以确定操作人员的速度方向。
步骤9.2：设定场景摄像模块空间观测注意力权重；
;
上式中为t时刻空间观测注意力权重，为t时刻操作人员与各场景摄像模 块的距离值，
步骤9.3：设定场景摄像模块时间观测注意力权重；
；
上式中，为t时刻时间观测注意力权重，为操作人员的速度，，为在t时刻图像中操作人员的位置与为在时刻图像中操作人员的位置，根据 1.1.2）中图像与车间空间的距离转化式，获得车间空间坐标下的距离值，为时间差；
步骤9.4：预估操作人员的位置；
操作人员离开焊机工作区域后，确定操作人员速度方向，设定操作人员向车间入口移动为负，操作人员向车间出口移动为正；
更新和；
设定操作人员在t+1时刻图像的预估位置为；
；
步骤9.5：根据得到车间空间坐标系下的坐标，根据各焊机工作区域在车间空 间坐标系下的坐标，以及操作人员向各焊机工作区域移动的概率，获得操作人员在t+1 时刻的目标焊机工作区域；
步骤9.6：根据目标焊机工作区域，根据权重打开场景摄像模块；
目标焊机工作区域的相邻场景摄像模块分别为CiP0和Ci(P0+1)，CiP0一侧相 邻场景摄像模块为Ci(P0-1)、Ci(P0-2)等，Ci(P0+1)另一侧相邻场景摄像模块为Ci(P0+2)、 Ci(P0+3)等，
以目标焊机工作区域为中心，与各场景摄像模块Ci的距离为，
设定各场景摄像模块的拍摄权重为，
；
上式中Z为目标焊机工作区域相关的若干场景摄像模块的总数，z为设定值，i=1...Z。
步骤9中对目标进行跟踪的具体步骤为：
步骤C1：将待追踪的操作人员标记为ID1；
步骤C2：基于操作人员的预估位置调用场景摄像模块采集ID1图像，获取操作人员在像素坐标系下的位置以及在车间空间坐标系下的位置、拍摄时间t3、速度矢量Vt、颜色特征值；
速度矢量Vt的速度大小v，方向d；
步骤C3：判断在场景摄像模块的拍摄范围内是否出现新的工作人员ID2，若是，执行步骤C4，若否，继续追踪ID1；
步骤C4：判断ID1与ID2是否存在遮挡，若是，执行步骤C5；若否，执行步骤C6；
步骤C5：基于前n帧所预测的状态变量，模糊进行分类，包括ID1与ID2的位置、速度矢量Vt，比如ID1与ID2在前n帧的位置以及移动方向，获取n+k帧图像，判断n+k帧图像中ID1与ID2是否存在遮挡，若是，获取当前场景摄像模块id，语音广播模块报警遮挡，并指示操作人员望向当前场景摄像模块进行区分识别，若否，执行步骤C6；
步骤C6中执行人员区分流程；
人员区分流程包括以下步骤：
步骤C6.1：判断ID1或/和ID2的人脸图像是否可以识别，若是，通过ID1或/和ID2的人脸图像过滤ID2，若否，执行步骤C6.2；
步骤C6.2：判断ID1或/和ID2的服装特征值是否可以区分，若是，通过ID1或/和ID2的服装特征值过滤ID2，若否，执行步骤C6.3；
步骤C6.3：分别获取ID1与ID2的位置、速度矢量Vt，通过步骤9.4估算ID下一帧的位置阈值，通过阈值过滤掉ID2对于ID1轨迹的影响。
关机流程是通过人工自动操作焊机关机，具体包括以下步骤：
步骤11.1：人工操作焊机断电；
步骤11.2：人脸图像识别模块采集关机人员的人脸图像，将关机人员的人脸图像与录入的人脸图像比对，若比对一致，判定为本焊机绑定的操作人员操作关机，执行步骤11.3，若否，语音广播模块报警，语音播报：“XX工位焊机非本人关机”，提示用户；
步骤11.3：执行环境安全监测流程。
系统出现异常、完成焊接操作以及根据操作人员需要进行待机操作时，比如暂离岗等，均进入待机模式，执行待机流程；
系统出现异常时自动进入待机模式，完成焊接操作以及根据操作人员需要进行待机操作时，比如暂离岗等，手动进入待机模式；
待机流程，具体包括以下步骤：
步骤11.4：控制器控制焊机断电；
步骤11.5：人脸图像识别模块采集待机人员的人脸图像，将待机人员的人脸图像与录入的人脸图像比对，若比对一致，判定为本焊机绑定的操作人员操作待机，执行步骤11.6，若否，语音广播模块报警，语音播报：“XX工位焊机非本人待机”，提示用户；
步骤11.6：执行环境安全监测流程。
本实施例控制器可根据异常结果自动控制焊机进入待机模式，在排除异常情况后，通过人工操作解除待机模式；本实施例设定人工待机模式，根据实际操作需要，人工控制焊机本体进入待机模式。
LAB模型建立的步骤为：
步骤B5.1.1：将RGB颜色模式下的颜色值归一化到[0,1]范围内；
步骤B5.1.2：将归一化的RGB值转换为XYZ颜色空间；
上式中R,G,B为像素三个通道，取值范围均为[0,255]；X、Y、Z为图像中某像素点的三刺激值；
步骤B5.1.3：将XYZ颜色空间的值转换为LAB颜色空间；
上式中L为亮度，a和b是两个颜色通道，L取值范围是0到100；颜色通道a表示从绿 色到红色的分量，取值范围是-128到127，当a值为正时，颜色偏向红色，a值为负时，颜色偏 向绿色；颜色通道b表示从蓝色到黄色的分量，取值范围是-128到127，当b值为正时，颜色偏 向黄色，当b值为负时，颜色偏向蓝色；、、为参考值，用于标定亮度、颜 色饱和度的基准；取值1，取值0.95047，取值1.08883。
上述步骤中，录入的人脸图像与录入的身份证人脸图像、录入的人脸图像与实时的人脸图像、实时的人脸图像与实时的身份证人脸图像、第一图像与标准人脸图像等之间的图像特征比对具体步骤为：
步骤S1：将待比对人脸图像分别设定为图像B和图像C，
步骤S2：识别图像B和图像C，判断图像B或/和图像C人脸是否有眼镜，若有，执行步骤S3，若否，执行步骤S4；
步骤S3：提取图像B或/和图像C中人脸的眼部矩形区域，并对其进行二值化处理，提取“倒立8”轮廓，填充轮廓环形区域，去掉眼镜，根据眼部周围区域肤色填充，更新图像B或/和图像C；
步骤S4：采用轻量级HRnet人脸识别模型识别图像B得到68个人脸关键数据点位置和坐标，采用两个级联的CNN对人脸关键数据点进行监测，获得左眼、右眼、鼻尖、左嘴角、右嘴角坐标；
68个人脸关键数据点中鼻尖区域为关键数据点27-35计算最小外接矩形形成的区域，左眼区域为关键数据点36-41以及右眼为关键数据点42-47计算最小外接矩形，嘴角区域为关键数据点48-59计算最小外接矩形形成的区域，因此设定左眼坐标为关键数据点36-41坐标的中心（x1,y1），右眼坐标为关键数据点42-47坐标的中心（x2,y2），鼻尖坐标为关键数据点27-35坐标的中心（x3,y3），左嘴角为关键数据点48坐标（x4,y4），右嘴角为关键数据点59坐标（x5,y5）；
步骤S5：计算图像B中人脸的五官比值；
K1=L1/L2=((x1+x4)/2-x3)/((x2+x5)/2-x3)；
K2=H1/H2=((y1+y2)/2-y3)/((y4+y5)/2-y3)；
K3=X/Y=(x1-x2)/(y1-y2)；
K1、K2、K3为图像B的五官比值，以鼻尖为中心，K1为左眼和左嘴角的X方向均值点P1到鼻尖的距离L1和右眼和右嘴角的X方向均值点P2到鼻尖的距离L2的比值；K2为左眼和右眼的Y方向均值点P3到鼻尖的距离H1和左嘴角和右嘴角的Y方向均值点P4到鼻尖的距离H2的比值；K3为左眼和右眼X方向和Y方向的距离比值；
步骤S6：计算图像C中人脸的五官比值；
同理依据步骤S4和步骤S5，获得图像C中人脸的五官比值，K11、K21、K31，K11和K1对应，K11为左眼和左嘴角的X方向均值点到鼻尖的距离和右眼和右嘴角的X方向均值点到鼻尖的距离的比值；K21和K2对应，K21为左眼和右眼的Y方向均值点到鼻尖的距离和左嘴角和右嘴角的Y方向均值点到鼻尖的距离的比值；K31和K3对应，K31为左眼和右眼X方向和Y方向的距离比值；
步骤S7：计算图像B中人脸五官比值和图像C中人脸五官比值的差值，将差值与阈值对比，若差值小于阈值，判定图像B和图像C中的人脸为同一人，若差值不小于阈值，判定图像B和图像C中的人脸不是同一人；
其中，为五官比值的差值，阈值为，为0.01，分别与对比，若均小于，判定图像B和图像C中的人脸为同一人，若 不小于，判定图像B和图像C中的人脸不是同一人
显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

Claims (10)

1.一种用于智能化管理焊机的图像处理系统,用于管理车间内的所有焊机，其特征在于：包括控制器、服务器、人脸图像识别模块、RFID识别模块、监控摄像模块、语音广播模块和人机交互界面，人脸图像识别模块、RFID识别模块、人机交互界面、服务器分别与控制器连接，语音广播模块和监控摄像模块分别与服务器连接，语音广播模块、监控摄像模块、控制器和服务器之间进行组网，服务器用于向控制器下发设定的操作人员身份信息以及接收控制器的数据和指令，数据用于显示焊机的工作情况和分析；指令包括语音广播模块播放指令、监控摄像模块操作指令，服务器接收控制器指令后向语音广播模块、监控摄像模块发指令，使语音广播模块、监控摄像模块执行相应任务，车间包括安全人行通道区域与焊机工作区域，将焊机工作区域和焊机编号，将编号输入服务器，一组焊机工作区域配置一台焊机，焊机工作区域和焊机编号一一对应。
2.根据权利要求1所述的一种用于智能化管理焊机的图像处理系统，其特征在于：所述监控摄像模块包括工作摄像模块和场景摄像模块，工作摄像模块设置在焊机工作区域，其成像范围设置为焊机工作区域，场景摄像模块的成像范围为安全人行通道区域，工作摄像模块和场景摄像模块与服务器实时交互，通过工作摄像模块和场景摄像模块采集的车间内操作人员图像，工作摄像模块和场景摄像模块包含图像实时采集的摄像头和进行图像实时处理的图像处理模块。
3.一种用于智能化管理焊机的图像处理方法，其特征在于：基于上述权利要求1-2任一项所述的用于智能化管理焊机的图像处理系统的处理方法，包括以下步骤：
步骤1：背景初始化；
步骤2：车间入口的图像采集模块采集待进入车间人员进出卡的卡图像，人脸图像识别模块采集待进入车间人员的人脸图像，人员进入车间身份识别模块对卡图像和人脸图像进行处理，判断待进入的人员是否为该车间允许的人员，若是，车间入口闸门打开，执行步骤3，若否，语音广播报警，提示有非法人员进入；
步骤3：根据步骤2获取人员的编号、焊机编号、焊机工作区域的编号和工作摄像模块的编号，控制器控制该编号的焊机上电开机，开机信息读取模块将服务器存储的信息进行内部比对以及将服务器和控制器存储的信息进行比对，判断比对是否异常，若异常，语音广播模块报警，提示信息异常，进入待机模式，若不异常，执行步骤4；
步骤4：启动对应编号的工作摄像模块，工作摄像模块采集当前焊机工作区域图像，将其记为第一图像；提取服务器中该编号的工作摄像模块采集的初始图像，初始图像为工作摄像模块采集无操作人员时的焊机工作区域图像，人员判断模块对第一图像和初始对象进行处理，判断操作人员是否进入焊机工作区域，若是，执行步骤5，若否，语音广播报警，提示操作人员进入焊机工作区域，进入待机模式；
步骤5：工作摄像模块动态采集焊机工作区域的环境图像，场景摄像模块动态采集安全人行道区域的环境图像，环境监测模块对环境图像进行图像处理，判断环境是否异常，若是，语音广播模块报警，进入待机模式，若否，执行步骤6；
步骤6：选择操作模式，操作模式包括信息录入模式、运行模式和关机/待机模式，若选择信息录入模式，执行信息录入流程，若选择运行模式，执行步骤7，若选择关机/待机模式，进入待机模式或关机模式；
步骤7：工作摄像模块采集焊机工作区域的图像，人员监测模块执行人员监测流程，通过对图像进行处理，判断操作人员行为是否异常，若是，进入待机模式，若否，执行步骤8；
步骤8：工作摄像模块采集当前焊机工作区域图像，人员离岗判断模块执行人员离岗判断流程，通过对图像进行处理，判断操作人员离岗是否超时并进入待机模式，若是，执行步骤9，若否，执行步骤7；
步骤9：场景摄像模块采集安全人行道区域的图像，场景监测模块执行场景监测流程，通过处理图像对目标进行跟踪，判断操作人员是否离开车间并通过语音广播模块报警进行提示，若是，执行步骤11；若否，执行人员判断流程；
步骤10：判断离岗的操作人员是否进入焊机工作区域，若是执行步骤7，若否，执行步骤9；
步骤11：判断进入关机模式或者待机模式，若是关机模式，执行关机流程，通过人脸图像识别模块识别关机人员是否为操作人员，若是待机模式，执行待机流程，通过人脸图像识别模块识别待机人员是否为操作人员；
步骤12：结束步骤。
4.根据权利要求3所述的一种用于智能化管理焊机的图像处理方法，其特征在于：所述步骤1中背景初始化的具体步骤为：
步骤1.1：设定工作摄像模块和场景摄像模块的坐标；
步骤1.2：建立背景环境模型；
步骤1.3：将车间区域分割为安全人行通道区域与焊机工作区域。
5.根据权利要求4所述的一种用于智能化管理焊机的图像处理方法，其特征在于：所述步骤1.2的建立背景环境模型包括以下步骤：
步骤1.2.1:场景摄像头和工作摄像头在一天中多个时刻分别采集无人车间图像，获得N张样本图像，设定为初始化背景图像灰度值，/>；
为样本图像的总数量，/>为当前样本图像的序号，/>为当前序号为a的样本图像灰度值；
步骤1.2.2：处理样本图像获得图像灰度直方图，计算t时刻的直方图分布；图像灰度直方图的像素值取值范围为[0，255]，h(gk)=Lk,h(gk)为像素值gk的元素的个数，gk为第k个像素值，k=0,1...255;Lk为像素值gk的像素个数，L为像素总数:
对单张图像灰度直方图做归一化处理：
；
为像素值为gk在图像中出现的概率；即/>为单张图像的图直方图；
计算t时刻的直方图分布，/>；其中/>为在t时刻第a张图像的权重，a=1,2...N，/>为已知参数，/>为在t时刻第a张图像的图像直方图，根据单张图像灰度直方图/>的公式计算可得；
计算背景环境的直方图分布，/>；/>是通过N张图像灰度直方图的加权平均计算得到背景直方分布图；/>为已知参数；
步骤1.2.3：样本图像根据傅立叶频率变换成频谱图；通过图像傅里叶变换的通用公式获得和/>，/>为t时刻下的频率，/>为背景环境的频率，/>为设定值，u为显著频率，取不同频率值；
步骤1.2.4：计算每个u，，每个gk下的；当/>大于/>，或者/>大于/>，认为当前gk为变化巨大的灰度级，更新背景突变变化个数总数/>；判断/>是否大于，若是，认为背景环境突变，若否，认为背景环境正常；
其中为t时刻下的频率，/>为背景环境的频率；/>为频率变换阈值；其中为t时刻下的直方图分布，/>为背景环境的直方图分布；/>为直方图分布阈值；/>为背景突变变化个数设定阈值，/>为背景突变变化个数总数，/>为背景突变变化个数。
6.根据权利要求3所述的一种用于智能化管理焊机的图像处理方法，其特征在于：所述步骤3中开机信息读取模块将服务器存储的信息进行内部比对以及将服务器和控制器存储的信息进行比对，判断比对是否异常，具体包括以下步骤：
步骤3.1：控制器向服务器发送开机数据获取命令；
步骤3.2：控制器接收服务器下发的操作人员人脸图像、身份证信息和RFID标签信息，图像提取模块提取服务器存储的身份证上的人脸图像获得身份证人脸图像，图像识别模块识别身份证人脸图像；
步骤3.3：人脸图像比对模块将操作人员人脸图像与身份证人脸图像进行图像比对，判断比对是否一致，若一致，判定无异常，若不一致，语音广播模块报警，提示信息异常，进入待机模式；
步骤3.4：控制器将内存的操作人员人脸图像、身份证信息和RFID标签信息与服务器下发的操作人员人脸图像、身份证信息和RFID标签信息一一比对，判断全部比对是否一致，若一致，判定无异常，若不一致，语音广播模块报警，提示信息异常，进入待机模式。
7.根据权利要求3所述的一种用于智能化管理焊机的图像处理方法，其特征在于：所述步骤5具体包括以下步骤：
步骤5.1:工作摄像模块动态采集焊机工作区域的环境图像，场景摄像模块动态采集安全人行道区域的环境图像，环境安全监测模块对环境图像进行图像处理，并判断焊机工作区域以及安全人行道区域的环境是否正常，若是，执行步骤5.2，若否，语音广播模块报警，提示用户环境异常，进入待机模式；
步骤5.2:RFID识别模块识别焊机、灭火器和工作摄像模块的RFID标签获取信息，与信息录入的RFID标签信息进行比对，若比对一致，表示目前本工位的焊机、灭火器、工作摄像模块一一对应且未更换，执行步骤6，若比对不一致，语音广播模块报警，提示用户异常，进入待机模式。
8.根据权利要求3所述的一种用于智能化管理焊机的图像处理方法，其特征在于：所述步骤7通过对工作摄像模块采集操作人员的图像进行处理，判断操作人员焊接操作、离岗，具体包括以下步骤：
步骤7.1：工作摄像模块采集操作人员的图像，操作身份识别模块对图像进行处理，判断当前操作人员身份是否异常，若是，语音广播模块报警，提示操作人员身份异常，进入待机模式，若否，执行步骤7.2；
步骤7.2：工作摄像模块采集操作人员的图像，焊接操作识别模块对图像进行处理；判断操作人员是否进行焊接操作，若是，执行步骤7.4，若否，判定焊机处于待机状态，执行步骤7.3；
步骤7.3：基于步骤7.2中焊接操作识别模块对图像的处理结果，焊机待机判断模块判断焊机待机是否超时，若是，语音广播模块报警，提示待机超时，进入待机模式，若否，执行步骤7.2；
步骤7.4：工作摄像模块采集操作人员的图像，操作人员行为监测模块对图像进行处理，判断操作人员的行为是否正常，若是，执行步骤7.5，若否，语音广播模块报警，提示操作人员行为异常，进入待机模式；
步骤7.5：工作摄像模块采集焊机工作区域的图像，操作环境监测模块对图像进行处理，判断操作环境是否正常，若是，执行步骤7.2，若否，语音广播模块报警，提示操作环境异常，进入待机模式。
9.根据权利要求3所述的一种用于智能化管理焊机的图像处理方法，其特征在于：所述步骤8中人员离岗判断模块对工作摄像模块采集当前焊机工作区域图像进行处理，判断操作人员离岗是否超时的方法，具体包括以下步骤：
步骤8.1：工作摄像模块采集无操作人员的焊机工作区域图像，将其标记为初始图像，采集当前焊机工作区域图像，将其记为第一图像，控制器比对初始图像和第一图像，判断第一图像中是否有操作人员，若有，执行步骤7.4，若无，执行步骤8.2;
步骤8.2：标记第一图像的采集时间，并记为T1；
步骤8.3：设定离岗时间阈值为t；
步骤8.4：提取时间T1到T1+t之间工作摄像模块采集的焊机工作区域图像；
步骤8.5：将焊机工作区域图像依次与初始图像比对，判断任一焊机工作区域图像中是否有操作人员并通过语音广播模块报警进行提示，进入待机模式,若有，判定操作人员离岗未超时，若无，判定操作人员离岗超时，执行步骤9。
10.根据权利要求3所述的一种用于智能化管理焊机的图像处理方法，其特征在于：所述步骤9中场景监测模块通过多相机联动监测目标是否在车间，场景监测模块通过位置敏感度、空间注意力、时间注意力调用场景摄像模块，用于监测操作人员是否在车间，具体包括以下步骤：
步骤9.1：设定场景摄像模块位置敏感度排序权重；
步骤9.2：设定场景摄像模块空间观测注意力权重；
步骤9.3：设定场景摄像模块时间观测注意力权重；
步骤9.4：预估操作人员的位置；
步骤9.5：根据预估的操作人员位置得到车间空间坐标系下的坐标，根据各焊机工作区域在车间空间坐标系下的坐标，以及操作人员向各焊机工作区域移动的概率，获得操作人员在t+1时刻的目标焊机工作区域；
步骤9.6：由步骤9.1-步骤9.3获得总权重，根据目标焊机工作区域调用场景摄像模块，监测操作人员是否在车间。
CN202311731420.2A 2023-12-15 2023-12-15 一种用于智能化管理焊机的图像处理系统和处理方法 Active CN117424988B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311731420.2A CN117424988B (zh) 2023-12-15 2023-12-15 一种用于智能化管理焊机的图像处理系统和处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311731420.2A CN117424988B (zh) 2023-12-15 2023-12-15 一种用于智能化管理焊机的图像处理系统和处理方法

Publications (2)

Publication Number Publication Date
CN117424988A true CN117424988A (zh) 2024-01-19
CN117424988B CN117424988B (zh) 2024-03-15

Family

ID=89528705

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311731420.2A Active CN117424988B (zh) 2023-12-15 2023-12-15 一种用于智能化管理焊机的图像处理系统和处理方法

Country Status (1)

Country Link
CN (1) CN117424988B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003204213B2 (en) * 1999-08-31 2005-03-17 Matsushita Electric Industrial Co., Ltd. Monitor camera system and method of displaying picture from monitor camera thereof
CN109190552A (zh) * 2018-08-29 2019-01-11 上海常仁信息科技有限公司 一种基于机器人的人脸识别系统和方法
CN110428522A (zh) * 2019-07-24 2019-11-08 青岛联合创智科技有限公司 一种智慧新城的智能安防系统
CN112163453A (zh) * 2020-08-25 2021-01-01 同济大学 一种人机协作环境下的人员状态检测方法及系统
CN112929604A (zh) * 2021-01-27 2021-06-08 河北科迪新能源科技有限公司 一种办公室图像采集管理系统
WO2021208275A1 (zh) * 2020-04-12 2021-10-21 南京理工大学 一种交通视频背景建模方法及系统
CN114663995A (zh) * 2022-03-31 2022-06-24 游密科技(深圳)有限公司 离岗预警方法、装置、计算机设备、存储介质和程序产品
CN116051811A (zh) * 2023-03-31 2023-05-02 深圳思谋信息科技有限公司 区域识别方法、装置、计算机设备及计算机可读存储介质
WO2023124387A1 (zh) * 2021-12-31 2023-07-06 上海商汤智能科技有限公司 摄像装置遮挡检测方法、装置、电子设备、存储介质及计算机程序产品

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003204213B2 (en) * 1999-08-31 2005-03-17 Matsushita Electric Industrial Co., Ltd. Monitor camera system and method of displaying picture from monitor camera thereof
CN109190552A (zh) * 2018-08-29 2019-01-11 上海常仁信息科技有限公司 一种基于机器人的人脸识别系统和方法
CN110428522A (zh) * 2019-07-24 2019-11-08 青岛联合创智科技有限公司 一种智慧新城的智能安防系统
WO2021208275A1 (zh) * 2020-04-12 2021-10-21 南京理工大学 一种交通视频背景建模方法及系统
CN112163453A (zh) * 2020-08-25 2021-01-01 同济大学 一种人机协作环境下的人员状态检测方法及系统
CN112929604A (zh) * 2021-01-27 2021-06-08 河北科迪新能源科技有限公司 一种办公室图像采集管理系统
WO2023124387A1 (zh) * 2021-12-31 2023-07-06 上海商汤智能科技有限公司 摄像装置遮挡检测方法、装置、电子设备、存储介质及计算机程序产品
CN114663995A (zh) * 2022-03-31 2022-06-24 游密科技(深圳)有限公司 离岗预警方法、装置、计算机设备、存储介质和程序产品
CN116051811A (zh) * 2023-03-31 2023-05-02 深圳思谋信息科技有限公司 区域识别方法、装置、计算机设备及计算机可读存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YUKANG LIU: "Publisher: IEEE Cite This PDF", 《2015 IEEE 24TH INTERNATIONAL SYMPOSIUM ON INDUSTRIAL ELECTRONICS (ISIE)》, 1 October 2015 (2015-10-01) *
罗娜娜: "焊接生产现场安全管理系统设计", 《信息与电脑(理论版)》, 31 March 2023 (2023-03-31) *
高文;: "面部识别和检测在车辆超员监控系统的应用", 工业控制计算机, no. 11, 25 November 2018 (2018-11-25) *

Also Published As

Publication number Publication date
CN117424988B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN105979210B (zh) 一种基于多枪多球摄像机阵列的行人识别系统
US8036425B2 (en) Neural network-controlled automatic tracking and recognizing system and method
CN110826538A (zh) 一种用于电力营业厅的异常离岗识别系统
CN111242025B (zh) 一种基于yolo的动作实时监测方法
CN106778609A (zh) 一种电力施工现场人员制服穿着识别方法
CN112396658B (zh) 一种基于视频的室内人员定位方法及定位系统
KR100326203B1 (ko) 피부색 및 움직임 자동 추적에 의한 얼굴 촬영/인식방법과 그장치
CN109685075A (zh) 一种基于图像的电力设备识别方法、装置及系统
CN113903081A (zh) 一种水电厂图像视觉识别人工智能报警方法及装置
CN109409289A (zh) 一种电力作业安全监督机器人安全作业识别方法及系统
CN110414381A (zh) 追踪式人脸识别系统
CN110874866B (zh) 一种基于视频的变电站三维监控方法及系统
CN105844245A (zh) 一种伪装人脸检测方法及系统
CN112487891B (zh) 一种应用于电力作业现场的视觉智能动态识别模型构建方法
CN109241847A (zh) 基于视觉图像的油田作业区安全监控系统
CN112184773A (zh) 一种基于深度学习的安全帽佩戴检测方法及系统
CN113807240A (zh) 基于非配合式人脸识别的变电站人员着装智能监控方法
CN112613449A (zh) 一种基于视频人脸图像的安全帽佩戴检测识别方法及系统
CN113111771A (zh) 一种发电厂工作人员不安全行为的识别方法
CN113808087A (zh) 钢板表面的缺陷管控方法、装置及计算机可读存储介质
CN110057820B (zh) 在线检测氯化氢合成炉氯氢配比的方法、系统及存储介质
CN110543809A (zh) 一种电力作业现场风险监管入侵视频识别方法
CN117424988B (zh) 一种用于智能化管理焊机的图像处理系统和处理方法
CN112532927A (zh) 一种施工现场智能安全管控系统
CN117412180B (zh) 一种基于多相机联动目标监测的焊机和目标监测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant