CN117412180A - 一种基于多相机联动目标监测的焊机和目标监测方法 - Google Patents

一种基于多相机联动目标监测的焊机和目标监测方法 Download PDF

Info

Publication number
CN117412180A
CN117412180A CN202311731422.1A CN202311731422A CN117412180A CN 117412180 A CN117412180 A CN 117412180A CN 202311731422 A CN202311731422 A CN 202311731422A CN 117412180 A CN117412180 A CN 117412180A
Authority
CN
China
Prior art keywords
personnel
camera
welding machine
operator
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311731422.1A
Other languages
English (en)
Other versions
CN117412180B (zh
Inventor
陈浙泊
江波
潘凌锋
廖志明
楼子昂
余建安
王炜
郑赛
于晓鹏
陈龙威
陈一信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangshi Sanxin Taizhou Information Technology Co ltd
Hangzhou Fengjing Technology Co ltd
Wuyi County Quancheng Data Resource Development Co ltd
Hangzhou Sanxin Network Technology Co ltd
Research Institute of Zhejiang University Taizhou
Original Assignee
Guangshi Sanxin Taizhou Information Technology Co ltd
Hangzhou Fengjing Technology Co ltd
Wuyi County Quancheng Data Resource Development Co ltd
Hangzhou Sanxin Network Technology Co ltd
Research Institute of Zhejiang University Taizhou
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangshi Sanxin Taizhou Information Technology Co ltd, Hangzhou Fengjing Technology Co ltd, Wuyi County Quancheng Data Resource Development Co ltd, Hangzhou Sanxin Network Technology Co ltd, Research Institute of Zhejiang University Taizhou filed Critical Guangshi Sanxin Taizhou Information Technology Co ltd
Priority to CN202311731422.1A priority Critical patent/CN117412180B/zh
Publication of CN117412180A publication Critical patent/CN117412180A/zh
Application granted granted Critical
Publication of CN117412180B publication Critical patent/CN117412180B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/22—Electrical actuation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/22—Status alarms responsive to presence or absence of persons
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种基于多相机联动目标监测的焊机和目标监测方法,包括焊机本体、控制器、服务器、人脸识别模块、语音广播模块、工作摄像头和场景摄像头，焊机位于车间，车间划分为安全人行通道区域与焊机工作区域，工作摄像头的成像范围设置为焊机工作区域，场景摄像头的成像范围设置为安全人行通道区域，本发明通过背景模型消除背景突变对于目标追踪的影响；通过预估操作人员的位置；通过场景摄像头加权追踪目标；通过对人员区分过滤非目标人员，从而降低了背景突变对于目标追踪的影响，提高目标追踪的准确性和准确性，大大提高了目标的追踪效率。

Description

一种基于多相机联动目标监测的焊机和目标监测方法
技术领域
本发明属于目标追踪领域，涉及一种基于多相机联动目标监测的焊机和目标监测方法。
背景技术
焊接车间装配有监控器对焊接人员在车间的行为进行跟踪，在跟踪过程中鉴于车间背景复杂、目标间遮挡、由不同摄像机的不同视点引起的视觉外观和周围环境的巨大变化，以及每个目标出现的摄像头数量和整个跨摄像头网络中的目标数量都是未知的，导致无法准确、快速、自动对目标进行追踪，同时缺少对目标行径路径以及目标的预估，使摄像头全部参与目标追踪，浪费部分摄像资源，加重图像处理的工作，有效性差,严重影响了搜寻目标的效率。
发明内容
本发明为了克服现有技术的不足，提供一种基于多相机联动目标监测的焊机和目标监测方法。
为了实现上述目的，本发明采用以下技术方案：一种基于多相机联动目标监测的焊机和目标监测方法,包括焊机本体、控制器、服务器、人脸识别模块、语音广播模块、工作摄像头和场景摄像头，焊机位于车间，车间划分为安全人行通道区域与焊机工作区域，工作摄像头的成像范围设置为焊机工作区域，场景摄像头的成像范围设置为安全人行通道区域，
还包括：
参数设定模块，参数设定模块用于设定工作摄像头和场景摄像头的坐标；
背景模块，背景模块用于建立背景模型；
区域分割模块，区域分割模块用于将车间区域分割为安全人行通道区域与焊机工作区域；
身份识别模块，身份识别模块用于识别待进入人员的身份，判断待进入的人员是否为当前车间可进入的人员；
人员进岗监测模块，用于监测操作人员是否进入焊机工作区域；
人员在岗监测模块，用于监测操作人员是否离岗；
人员离岗监测模块，人员离岗监测模块用于识别焊机工作区域的操作人员离岗是否超时；
场景监测模块，场景监测模块用于预估操作人员的目标位置，并对目标进行追踪；
待机模块，待机模块用于控制焊机本体待机并识别待机人员的身份。
进一步的，所述参数设定模块、背景模块、区域分割模块、身份识别模块、人员进岗监测模块、人员在岗监测模块、人员离岗监测模块、场景监测模块、待机模块分别与控制器连接，通过控制器控制各个模块之间的连接和交互。
一种焊机的目标监测方法，包括以下步骤：
1） 背景初始化；
2） 人员进入车间，身份识别模块执行身份识别流程，判断待进入的人员是否为该车间允许的人员，若是，控制器向服务器发送该人员的进入通知，若否，语音广播报警，提示有非法人员进入；
3） 人员进岗监测模块执行人员进岗监测流程，判断操作人员是否进入焊机工作区域，若是，执行4），若否，执行人员进岗监测流程；
4） 人员在岗监测模块执行人员在岗监测流程，判断操作人员是否离岗，若是，执行5），若否，执行人员在岗监测流程；
5） 人员离岗监测模块执行人员离岗监测流程，判断操作人员离岗是否超时，若是，执行场景监测流程，若否，语音广播模块报警提示，焊机本体进入待机模式；
6） 场景监测模块执行场景监测流程进行目标跟踪，判断操作人员是否离开车间，若是，语音广播模块报警提示，焊机本体进入待机模式；若否，语音广播模块报警提示，执行人员进岗监测流程；
7） 判断离岗人员是否进入焊机工作区域，若是执行4），若否，执行6）；
8） 待机模式，执行待机流程；
9） 结束步骤。
进一步的，所述背景初始化的具体步骤为：
1.1）：设定工作摄像头和场景摄像头的坐标；
1.2）：建立背景模型；
1.3）：将车间区域分割为安全人行通道区域与焊机工作区域。
进一步的，所述 1.1)将工作摄像头和场景摄像头的车间空间坐标系映射到像素坐标系，包括以下步骤：
1.1.0)：将焊机本体以及对应的焊机操作人员进行编号，两者一一对应，焊机本体与其所在焊机工作区域的工作摄像头一一对应，编号信息并入操作人员编号集，将非操作人员进行编号，编号信息并入非操作人员编号集；
1.1.1)：设定场景摄像头、工作摄像头以及车间入门的车间空间坐标：
将若干场景摄像头设定为Ci(i=1,2,…Z)，若干工作摄像头设定为Wj(j=1,2,…mo)，车间入门设为空间坐标原点（0，0，0），车间的长宽高为已知参数，场景摄像头的坐标为（XCi,YCi,ZCi），工作摄像头的坐标为（XWj,YWj,ZWj），以车间入门为起点，按照C1,W1,C2,W2,C3,W3,…进行排序，C1为第一场景摄像头，场景摄像头的坐标（XCi,YCi,ZCi）以及工作摄像头的坐标（XWj,YWj,ZWj）为已知参数；n为场景摄像头的数量，m为工作摄像头的数量；
1.1.2）将工作摄像头和场景摄像头所在的车间空间坐标系转换为图像的像素坐标系，将像素坐标系转换为车间空间坐标系；
根据已知的车间空间坐标系转换为任一工作摄像头以及场景摄像头的相机坐标系；
将相机坐标系转换为成像平面坐标系；
将成像平面坐标系转换为像素坐标系；
将像素坐标系转换成车间空间坐标系；
获得图像与车间空间的距离转化式，将图像上两点距离D(u,v)转换成车间空间坐标系的两点距离d（x,y,z）,d（x,y,z）=F[D(u,v)]，F为转化式；
将车间空间坐标系的两点距离d（x,y,z）转化为图像上两点距离D(u,v),D(u,v)=f[d(x,y,z)]，f为转化式。
进一步的，所述1.2）中建立背景模型包括以下步骤：
1.2.1）:场景摄像头和工作摄像头在一天中多个时刻分别采集无人车间图像，获 得N张样本图像，设定为初始化背景图像灰度值，；
为样本图像的总数量，为当前样本图像的序号，为当前序号为a的样 本图像灰度值；
1.2.2）处理样本图像获得图像灰度直方图，计算t时刻的直方图分布；图 像灰度直方图的像素值取值范围为[0，255]，h(gk)=Lk,h(gk)为像素值gk的元素的个数，gk为 第k个像素值，k=0,1...255;Lk为像素值gk的像素个数，L为像素总数:
对单张图像灰度直方图做归一化处理：
；
为像素值为gk在图像中出现的概率；即为单张图像的直方图；
计算t时刻的直方图分布，；其中为在t时刻第 a张图像的权重，a=1,2...N，为已知参数，为在t时刻第a张图像的图像直方图，根据上述公式计算可得；
计算背景环境的直方图分布，； 是通过N张图像灰度直方图的加权平均计算得到背景直方分布图；为已知参数；
1.2.3）样本图像根据傅立叶频率变换成频谱图；通过图像傅里叶变换的通用公式 获得和，为t时刻下的频率，为背景环境的频率，为设定值， u为显著频率，取不同频率值；
1.2.4）计算每个u，，每个gk下的； 当大于，或者大于，认为当前gk为变化巨大的灰度级，更新背景突 变变化个数总数；判断是否大于，若是，认为背景环境突变， 若否，认为背景环境正常；
其中为t时刻下的频率，为背景环境的频率；为频率变换阈值； 其 中为t时刻下的直方图分布，为背景环境的直方图分布；为直方图分 布阈值；为背景突变变化个数设定阈值，为背景突变变化个数总数，为背 景突变变化个数。
进一步的，所述1.3）包括以下步骤：
1.3.1）提取图像中特征角点；
为了获得图像的特征角点，对图像上像素点G(u,v)进行滑窗处理，假设滑窗位置 变化为(x,y)，像素点G(u,v)的灰度值为I(u,v)，通过滑窗计算后，局部灰度变化加权平均 值E(x,y)，，为滑窗窗口权值，为每个对应点像素值的差异，确定每个像素的加权，一 般采用高斯权重的方法，距离像素点G(u,v)越近，加权越大，对该式通过泰勒展开后得到下 式：
式中:A、B、C表示二阶方向微分的近似值,A、B、C为系数,可以通过下式来表示：
式中:用X和Y来表示不同方向上的一阶方向微分,其中, ，，表示一个可以对图像起到高斯滤波作用的 函数，为变化点(x,y)的灰度值；因此可得：
式中M就是Harris角点算法中定义的Hessian矩阵,得到
A(x,y)、B(x,y)、C(x,y)为系统函数；像素点的E(x,y)的值关系到矩阵M的特征值, 而且当2个特征值都比较大时,说明该点沿横纵坐标方向的灰度值变化量比较剧烈,因此该 像素点就是特征角点，同时为了简化计算量,去掉计算矩阵M的特征值的过程,定义矩阵行 列式，矩阵的对角线之和，并借此来定义一个Harris 角点响应函数:
式中m是经验常数;
判断还否大于Rt，Rt为阈值，若是，认为该像素点是特征角点，若否，认为 该像素点不是特征角点;
1.3.2）提取的特征角点通过四层金字塔传递下来，根据四层特征角点计算图像角点坐标集；
金字塔光流算法从最顶层开始,通过分辨率最低的层级上计算角点，通过每个金字塔层级之间的映射关系将角点计算进行选代,得到最底层原始图像的角点，设定最底部的层级为0级，然后依次向上升级;对0级图像向下采样得到1级金字塔图像，然后继续向下采样到设定的层数，此时，角点在相邻两帧间的运动就足够微小，可以满足LK光流法的假设条件，就能计算出该层的光流值；
设定顶层角点初值为，计算顶层的角点值,得到的计算结 果表示为,加上初值，到了下一层计算的初值，然后再代入到一个分辨率更高的图层进行角点计算,如 此反复进行,直到达到最高分辨率的原始图像角点坐标集为止,得到:
1.3.3）计算角点三帧差分图像；
为差分图像，为t时即当前输入帧，为当前帧稳定背景，，为t-1时的输入 帧，为t-2时的输入帧，t为当前时刻，将角点集（u，v），在中，设置为=255，代入计算连续三帧双差分图像；；当 时，
；
其中，为灰度差阈值；当时，认为该角点为噪点，将该角点滤掉；， 认为该角点在不同帧的图像均为稳定点，将该角点坐标并入区域角点坐标集；
1.3.4）根据在不同层金字塔的区域角点坐标集，快速匹配计算两摄像头间的相似特征角点，确定场景摄像头的成像区域边界坐标，根据1.1.2）的坐标转换，获得场景摄像头成像区域边界在车间空间坐标系的坐标，依此获得相邻场景摄像头的视野重叠区域，将该区域标记为H，得到在场景摄像头采集的图像中视野重叠区域坐标；
1.3.5）在不同层金字塔确定安全人行通道区域与焊机工作区域的分割以及各焊机工作区域之间的分割，安全人行通道区域与焊机工作区域边缘均贴有安全反光标识，根据区域角点坐标集、场景摄像头和工作摄像头的成像范围以及安全反光标识配合辅助分割区域，从而将车间的区域分割和场景摄像头和工作摄像头的区域分割进行统一。
进一步的，所述2）中身份识别流程具体包括以下步骤：
2.1）将识别的卡内编号发送至控制器，遍历操作人员编号集和非操作人员编号集，判断卡内编号是否匹配到对应编号，若是，执行2.2），若否，语音广播模块报警，提示身份识别异常，车间入口闸门不开启；
2.2）将刷脸获取的实时人脸图像与卡内的人脸图像进行比对，判断比对是否一致，若是，执行2.3），若否，语音广播模块报警，提示身份识别异常，车间入口闸门不开启；
2.3）判断卡内编号是操作人员编号还是非操作人员编号，若是操作人员编号，执行2.4），若是非操作人员编号，更新服务器中非操作人员的访问记录；
2.4）根据卡内编号，提取相应焊机本体的编号，获取控制器内该编号焊机本体绑定的人脸图像；将实时人脸图像与绑定的人脸图像进行比对，判断比对是否一致，若是，车间入口闸门开启，服务器接收该编号操作人员入岗的信息；执行2.5），若否，语音广播模块报警，提示身份识别异常，车间入口闸门不开启；
2.5）第一场景摄像头采集待进入人员的图像，建立LAB颜色模型，获取待进入人员的服装颜色特征值，将人员的颜色特征值发送至控制器，更新该编号下操作人员的服装特征值；便于根据服装特征值追踪目标；
2.6）将刷脸获取的非操作人员人脸图像输入服务器，并将该人脸图像标记为非识别目标。
进一步的，所述6）中场景监测流程通过位置敏感度、空间注意力、时间注意力调用场景摄像头，用于监测操作人员是否在车间，具体包括以下步骤：
6.1.0)设定场景摄像头位置敏感度排序权重；
设定操作人员向各焊机工作区域移动的概率为，
；
上式中为操作人员和各焊机工作区域之间的连线与操作人员速度方向的夹 角，k为焊机工作区域的序号，k=1...U，U为焊机工作区域的总数；
6.1.1)设定场景摄像头空间观测注意力权重；
;
上式中为t时刻空间观测注意力权重，为t时刻操作人员与各场景摄像头 的距离值，
6.1.2)设定场景摄像头时间观测注意力权重；
；
上式中，为t时刻时间观测注意力权重，为操作人员的速度，，为在t时刻图像中操作人员的位置与为在时刻图像中操作人员的位置，根据 1.1.2）中图像与车间空间的距离转化式，获得车间空间坐标下的距离值，为时间差；
6.1.3)预估操作人员的位置；
操作人员离开焊机工作区域后，确定操作人员速度方向，设定操作人员向车间入口移动为负，操作人员向车间出口移动为正；
更新和；
设定操作人员在t+1时刻图像的预估位置为；
；
6.1.4)根据得到车间空间坐标系下的坐标，根据各焊机工作区域在车间空 间坐标系下的坐标，以及操作人员向各焊机工作区域移动的概率，获得操作人员在t+1 时刻的目标焊机工作区域；
6.1.5)根据目标焊机工作区域，根据权重打开场景摄像头；
目标焊机工作区域的相邻场景摄像头分别为CiP0和Ci(P0+1)，CiP0一侧相邻 场景摄像头为Ci(P0-1)、Ci(P0-2)，Ci(P0+1)另一侧相邻场景摄像头为Ci(P0+2)、Ci(P0+ 3)，
以目标焊机工作区域为中心，与各场景摄像头Ci的距离为，
设定各场景摄像头的拍摄权重为，
；
上式中Z为目标焊机工作区域相关的若干场景摄像头的总数，Z为设定值，i=1...Z。
进一步的，所述6)中对目标进行跟踪的具体步骤为：
6.2.0)将待追踪的操作人员标记为ID1；
6.2.1)基于操作人员的预估位置调用场景摄像头采集ID1图像，获取操作人员在像素坐标系下的位置以及在车间空间坐标系下的位置、拍摄时间t3、速度矢量Vt、颜色特征值；
6.2.2)判断在场景摄像头的拍摄范围内是否出现新的工作人员ID2，若是，执行6.2.3)，若否，继续追踪ID1；
6.2.3）判断ID1与ID2是否存在遮挡，若是，执行6.2.4）；若否，执行6.2.5）；
6.2.4）基于前n帧所预测的状态变量，模糊进行分类，包括ID1与ID2的位置、速度矢量Vt，比如ID1与ID2在前n帧的位置以及移动方向，获取n+k帧图像，判断n+k帧图像中ID1与ID2是否存在遮挡，若是，获取当前场景摄像头id，语音广播模块报警遮挡，并指示操作人员望向当前场景摄像头进行区分识别，若否，执行6.2.5）；
6.2.5）执行人员区分流程。
综上所述，本发明的有益之处在于：
本发明通过背景模型消除背景突变对于目标追踪的影响；通过预估操作人员的位置；通过场景摄像头加权追踪目标；通过对人员区分过滤非目标人员，从而降低了背景突变对于目标追踪的影响，提高目标追踪的准确性和准确性，大大提高了目标的追踪效率。
附图说明
图1为本发明的焊机模块连接示意图。
图2为本发明的场景摄像头和工作摄像头在车间分布示意图。
图3为本发明的车间区域分割示意图。
图4为本发明的目标监测方法总流程。
图5为本发明不同时刻场景摄像头的视野示意图。
图6为本发明的背景初始化流程图。
图7为本发明的操作人员移动示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
本发明实施例中所有方向性指示(诸如上、下、左、右、前、后、横向、纵向……)仅用于解释在某一特定姿态下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
因安装误差等原因，本发明实施例中所指的平行关系可能实际为近似平行关系，垂直关系可能实际为近似垂直关系。
实施例一：
如图1-3所示，一种基于多相机联动目标监测的焊机，包括焊机本体、控制器（MCU）、服务器、人脸识别模块、语音广播模块、工作摄像头和场景摄像头，焊机位于车间，车间划分为安全人行通道区域与焊机工作区域，焊机工作区域设有若干，任一焊机工作区域分布有焊机本体，工作摄像头和场景摄像头分别与控制器连接，控制器与焊机本体连接，工作摄像头和场景摄像用于追踪目标在车间的移动轨迹，工作摄像头的成像范围设置为焊机工作区域，场景摄像头的成像范围设置为安全人行通道区域。
人脸识别模块用于采集以及识别人脸图像；
语音广播模块依据焊机管理监测控制器的指令对工作状态和异常情况进行播报；
还包括：
参数设定模块，参数设定模块用于设定工作摄像头和场景摄像头的坐标；
背景模块，背景模块用于建立背景模型；
区域分割模块，区域分割模块用于将车间区域分割为安全人行通道区域与焊机工作区域；
身份识别模块，身份识别模块用于识别待进入人员的身份，判断待进入的人员是否为当前车间可进入的人员；
人员进岗监测模块，用于监测操作人员是否进入焊机工作区域；
人员在岗监测模块，用于监测操作人员是否离岗；
人员离岗监测模块，人员离岗监测模块用于识别焊机工作区域的操作人员离岗是否超时；
场景监测模块，场景监测模块用于预估操作人员的目标位置，并对目标进行追踪；
待机模块，待机模块用于控制焊机本体待机并识别待机人员的身份。
参数设定模块、背景模块、区域分割模块、身份识别模块、人员进岗监测模块、人员在岗监测模块、人员离岗监测模块、场景监测模块、待机模块分别与控制器连接，通过控制器控制各个模块之间的连接和交互，执行全流程功能的运行和调度，并通过控制器实现焊机本体的控制功能。
目标为焊机的操作人员。
如图4-6所示，本申请还提供了一种焊机的目标监测方法，包括以下步骤：
1） ：背景初始化；
2）：人员进入车间，身份识别模块执行身份识别流程，判断待进入的人员是否为该车间允许的人员，若是，控制器向服务器发送该人员的进入通知，若否，语音广播报警，提示有非法人员进入；
3）人员进岗监测模块执行人员进岗监测流程，判断操作人员是否进入焊机工作区域，若是，执行4），若否，执行人员进岗监测流程；
4） 人员在岗监测模块执行人员在岗监测流程，判断操作人员是否离岗，若是，执行5），若否，执行人员在岗监测流程；
5） 人员离岗监测模块执行人员离岗监测流程，判断操作人员离岗是否超时，若是，执行场景监测流程，若否，语音广播模块报警，可语音播报“XX工位人员已离岗”进行提示，焊机本体进入待机模式；
6） 场景监测模块执行场景监测流程进行目标跟踪，判断操作人员是否离开车间，若是，语音广播模块报警，可语音播报“XX工位人员不在车间”进行提示，焊机本体进入待机模式；若否，语音广播模块报警，可语音播报“XX工位人员长时间离岗”进行提示，执行人员进岗监测流程；
7） 判断离岗人员是否进入焊机工作区域，若是执行4），若否，执行6）；
8） 待机模式，执行待机流程；
9） 结束步骤。
背景初始化的具体步骤为：
1.1）：设定工作摄像头和场景摄像头的坐标；
1.2）：建立背景模型；
1.3）：将车间区域分割为安全人行通道区域与焊机工作区域；
1.1)将工作摄像头和场景摄像头的车间空间坐标系映射到像素坐标系，包括以下步骤：
1.1.0)：将焊机本体以及对应的焊机操作人员进行编号，两者一一对应，焊机本体与其所在焊机工作区域的工作摄像头一一对应，编号信息并入操作人员编号集，将非操作人员，比如技术人员、领导人员进行编号，编号信息并入非操作人员编号集；
1.1.1)：设定场景摄像头、工作摄像头以及车间入门的车间空间坐标；
将若干场景摄像头设定为Ci(i=1,2,…Z)，若干工作摄像头设定为Wj(j=1,2,…mo)，车间入门设为空间坐标原点（0，0，0），车间的长宽高为已知参数，场景摄像头的坐标为（XCi,YCi,ZCi），工作摄像头的坐标为（XWj,YWj,ZWj），以车间入门为起点，按照C1,W1,C2,W2,C3,W3,…进行排序，C1为第一场景摄像头，其中Ci挂于车间高处，能够获得更多视野，Wj挂于焊机工作区域全覆盖位置；场景摄像头的坐标（XCi,YCi,ZCi）以及工作摄像头的坐标（XWj,YWj,ZWj）为已知参数；n为场景摄像头的数量，m为工作摄像头的数量；
1.1.2）将工作摄像头和场景摄像头所在的车间空间坐标系转换为图像的像素坐标系，将像素坐标系转换为车间空间坐标系；
根据已知的车间空间坐标系转换为任一工作摄像头以及场景摄像头的相机坐标系；
将相机坐标系转换为成像平面坐标系；
将成像平面坐标系转换为像素坐标系；
将像素坐标系转换成车间空间坐标系；
获得图像与车间空间的距离转化式，将图像上两点距离D(u,v)转换成车间空间坐标系的两点距离d（x,y,z）,d（x,y,z）=F[D(u,v)]，F为转化式；
将车间空间坐标系的两点距离d（x,y,z）转化为图像上两点距离D(u,v),D(u,v)=f[d(x,y,z)]，f为转化式；
上述坐标系之间的转换为常规转换，F,f根据常规转化可得，F,f为设定值；
1.2）中建立背景模型包括以下步骤：
1.2.1）:场景摄像头和工作摄像头在一天中多个时刻分别采集无人车间图像，获 得N张样本图像；设定为初始化背景图像灰度值，；
为样本图像的总数量，为当前样本图像的序号，为当前序号为a的样 本图像灰度值；
1.2.2）处理样本图像获得图像灰度直方图，计算t时刻的直方图分布；图 像灰度直方图的像素值取值范围为[0，255]，h(gk)=Lk,h(gk)为像素值gk的元素的个数，gk为 第k个像素值，k=0,1...255;Lk为像素值gk的像素个数，L为像素总数:
对单张图像灰度直方图做归一化处理：
；
为像素值为gk在图像中出现的概率；即为单张图像的直方图；
计算t时刻的直方图分布，；其中为在t时刻第 a张图像的权重，a=1,2...N，为已知参数，为在t时刻第a张图像的图像直方图，根据述公式计算可得；
计算背景环境的直方图分布，； 是通过N张图像灰度直方图的加权平均计算得到背景直方分布图；为已知参数；
1.2.3）样本图像根据傅立叶频率变换成频谱图；通过图像傅里叶变换的通用公式 获得和，为t时刻下的频率，为背景环境的频率，为设定值， u为显著频率，取不同频率值；
1.2.4）计算每个u，，每个gk下的；当大于，或者大于，认为当前gk为 变化巨大的灰度级，更新背景突变变化个数总数；判断是否大于，若是，认为背景环境突变，若否，认为背景环境正常；
其中为t时刻下的频率，为背景环境的频率；为频率变换阈值； 其 中为t时刻下的直方图分布，为背景环境的直方图分布；为直方图分 布阈值；为背景突变变化个数设定阈值，为背景突变变化个数总数，为背 景突变变化个数；
在运行时段，焊机本体通常处于明亮的环境下，即背景亮度不变，在非运行时段，焊机本体通常处于黑暗的环境下，即背景亮度不变，为方便计算，将运行时段和非运行时段的背景统一，本实施例设定标准背景环境不变，因此标准背景环境的频率、设定的标准背景环境的直方图分布均为定值；
在其他实施例中，可将运行时段和非运行时段的背景环境分别设定，变化值分别与运行时段和非运行时段下的标准背景环境值进行比较，在此不做赘述。
1.3）包括以下步骤：
1.3.1）提取图像中特征角点；
为了获得图像的特征角点，对图像上像素点G(u,v)进行滑窗处理，假设滑窗位置 变化为(x,y)，像素点G(u,v)的灰度值为I(u,v)，通过滑窗计算后，局部灰度变化加权平均 值E(x,y)，，为滑窗窗口权值，为每个对应点像素值的差异，确定每个像素的加权，一 般采用高斯权重的方法，距离像素点G(u,v)越近，加权越大，对该式通过泰勒展开后得到下 式：
式中:A、B、C表示二阶方向微分的近似值,A、B、C为系数,可以通过下式来表示：
式中:用X和Y来表示不同方向上的一阶方向微分,其中, ，，表示一个可以对图像起到高斯滤波作用的 函数，为变化点(x,y)的灰度值；因此可得：
式中M就是Harris角点算法中定义的Hessian矩阵,得到
A(x,y)、B(x,y)、C(x,y)为系统函数；像素点的E(x,y)的值关系到矩阵M的特征值, 而且当2个特征值都比较大时,说明该点沿横纵坐标方向的灰度值变化量比较剧烈,因此该 像素点就是特征角点，同时为了简化计算量,去掉计算矩阵M的特征值的过程,定义矩阵行 列式，矩阵的对角线之和，并借此来定义一个Harris 角点响应函数:
式中m是经验常数;
判断还否大于Rt，Rt为阈值，若是，认为该像素点是特征角点，若否，认为 该像素点不是特征角点。
1.3.2）提取的特征角点通过四层金字塔传递下来，根据四层特征角点计算图像角点坐标集；
金字塔光流算法从最顶层开始,通过分辨率最低的层级上计算角点，通过每个金字塔层级之间的映射关系将角点计算进行选代,得到最底层原始图像的角点，设定最底部的层级为0级，然后依次向上升级。对0级图像向下采样得到1级金字塔图像，然后继续向下采样到设定的层数，此时，角点在相邻两帧间的运动就足够微小，可以满足LK光流法的假设条件，就能计算出该层的光流值；
设定顶层角点初值为，计算顶层的角点值,得到的计算结 果表示为,加上初值，到了下一层计算的初值，然后再代入到一个分辨率更高的图层进行角点计算,如 此反复进行,直到达到最高分辨率的原始图像角点坐标集为止,得到:
1.3.3）计算角点三帧差分图像；
为差分图像，为t时即当前输入帧，为当前帧稳定背景，，为t-1时的输入 帧，为t-2时的输入帧，t为当前时刻，将角点集（u，v），在中，设置为=255，代入计算连续三帧双差分图像；；当 时，
；
其中，为灰度差阈值；当时，认为该角点为噪点，将该角点滤掉；， 认为该角点在不同帧的图像均为稳定点，将该角点坐标并入区域角点坐标集；
1.3.4）根据在不同层金字塔的区域角点坐标集，快速匹配计算两摄像头间的相似特征角点，确定场景摄像头的成像区域边界坐标，根据1.1.2）的坐标转换，获得场景摄像头成像区域边界在车间空间坐标系的坐标，依此获得相邻场景摄像头的视野重叠区域，将该区域标记为H，得到在场景摄像头采集的图像中视野重叠区域坐标；
1.3.5）在不同层金字塔确定安全人行通道区域与焊机工作区域的分割以及各焊机工作区域之间的分割，安全人行通道区域与焊机工作区域边缘均贴有安全反光标识，根据区域角点坐标集、场景摄像头和工作摄像头的成像范围以及安全反光标识配合辅助分割区域，从而将车间的区域分割和场景摄像头和工作摄像头的区域分割进行统一；
2）中将刷卡识别的人员编号遍历操作人员编号集和非操作人员编号集，判断待进入人员为操作人员还是非操作人员，操作人员的卡内信息包括编号、人脸图像、相应焊机本体的编号、位置、坐标，遍历操作人员编号集识别编号是否为本车间录入的编号，通过刷脸可获得待进入操作人员的人脸图像，将该人脸图像与卡内的人脸图像、卡内的人脸图像与控制器中相应焊机本体的编号的人脸图像进行比对以判断待进入操作人员身份是否异常，
非操作人员的卡内信息包括编号、人脸图像，遍历非操作人员编号集识别编号是否存在，通过刷脸可获得待进入人员的人脸图像，将该人脸图像与卡内的人脸图像进行比对以判断待进入的非操作人员身份是否异常；
本实施例设定非操作人员具有进入各车间的权限；
身份识别流程具体包括以下步骤；
2.1）将识别的卡内编号发送至控制器，遍历操作人员编号集和非操作人员编号集，判断卡内编号是否匹配到对应编号，若是，执行2.2），若否，语音广播模块报警，提示身份识别异常，车间入口闸门不开启；
2.2）将刷脸获取的实时人脸图像与卡内的人脸图像进行比对，判断比对是否一致，若是，执行2.3），若否，语音广播模块报警，提示身份识别异常，车间入口闸门不开启；
2.3）判断卡内编号是操作人员编号还是非操作人员编号，若是操作人员编号，执行2.4），若是非操作人员编号，更新服务器中非操作人员的访问记录；
2.4）根据卡内编号，提取相应焊机本体的编号，获取控制器内该编号焊机本体绑定的人脸图像；将实时人脸图像与绑定的人脸图像进行比对，判断比对是否一致，若是，车间入口闸门开启，服务器接收该编号操作人员入岗的信息；执行2.5），若否，语音广播模块报警，提示身份识别异常，车间入口闸门不开启；
2.5）第一场景摄像头采集待进入人员的图像，建立LAB颜色模型，获取待进入人员的服装颜色特征值，将人员的颜色特征值发送至控制器，更新该编号下操作人员的服装特征值；便于根据服装特征值追踪目标；
2.6）将刷脸获取的非操作人员人脸图像输入服务器，并将该人脸图像标记为非识别目标。
3）中人员进岗监测流程包括以下步骤：
A.1）根据操作人员的编号，获取对应焊机工作区域的工作摄像头的id；
A.2）提取该id的工作摄像头采集的初始图像；
工作摄像头采集无操作人员的焊机工作区域图像，将其标记为初始图像;
A.3）工作摄像头采集当前焊机工作区域图像，将其记为第一图像，控制器比对初始图像和第一图像，判断第一图像中是否有操作人员，若有，执行步骤A.4），若无，判定焊机工作区域没有操作人员;
A.4）工作摄像头采集操作人员的人脸图像，判断人脸图像与本焊机工作区域的焊机本体绑定的人脸图像是否一致，若是，判定操作人员进入焊机工作区域，若无，判定操作人员未进入焊机工作区域。
4） 中人员在岗监测流程与人员进岗监测流程的步骤相同，判断操作人员是否离开焊机工作区域，若是，执行步骤5），若否，执行人员在岗监测流程继续判断；
待进入人员的人脸图像与卡内的人脸图像、卡内的人脸图像与绑定的人脸图像、工作摄像头采集操作人员的人脸图像与焊机工作区域的焊机本体绑定的人脸图像是否一致的图像特征比对通过人脸比对流程进行，具体步骤为：
步骤S1：将待比对人脸图像分别设定为图像B和图像C，
步骤S2：识别图像B和图像C，判断图像B或/和图像C人脸是否有眼镜，若有，执行步骤S3，若否，执行步骤S4；
步骤S3：提取图像B或/和图像C中人脸的眼部矩形区域，并对其进行二值化处理，提取“倒立8”轮廓，填充轮廓环形区域，去掉眼镜，根据眼部周围区域肤色填充，更新图像B或/和图像C；
步骤S4：采用轻量级HRnet人脸识别模型识别图像B得到68个人脸关键数据点位置和坐标，采用两个级联的CNN对人脸关键数据点进行检测，获得左眼、右眼、鼻尖、左嘴角、右嘴角坐标；
68个人脸关键数据点中鼻尖区域为关键数据点27-35计算最小外接矩形形成的区域，左眼区域为关键数据点36-41以及右眼为关键数据点42-47计算最小外接矩形，嘴角区域为关键数据点48-59计算最小外接矩形形成的区域，因此设定左眼坐标为关键数据点36-41坐标的中心（x1,y1），右眼坐标为关键数据点42-47坐标的中心（x2,y2），鼻尖坐标为关键数据点27-35坐标的中心（x3,y3），左嘴角为关键数据点48坐标（x4,y4），右嘴角为关键数据点59坐标（x5,y5）；
步骤S5：计算图像B中人脸的五官比值；
K1=L1/L2=((x1+x4)/2-x3)/((x2+x5)/2-x3)；
K2=H1/H2=((y1+y2)/2-y3)/((y4+y5)/2-y3)；
K3=X/Y=(x1-x2)/(y1-y2)；
K1、K2、K3为图像B的五官比值，以鼻尖为中心，K1为左眼和左嘴角的X方向均值点P1到鼻尖的距离L1和右眼和右嘴角的X方向均值点P2到鼻尖的距离L2的比值；K2为左眼和右眼的Y方向均值点P3到鼻尖的距离H1和左嘴角和右嘴角的Y方向均值点P4到鼻尖的距离H2的比值；K3为左眼和右眼X方向和Y方向的距离比值；
步骤S6：计算图像C中人脸的五官比值；
同理依据步骤S4和步骤S5，获得图像C中人脸的五官比值，K11、K21、K31，K11和K1对应，K11为左眼和左嘴角的X方向均值点到鼻尖的距离和右眼和右嘴角的X方向均值点到鼻尖的距离的比值；K21和K2对应，K21为左眼和右眼的Y方向均值点到鼻尖的距离和左嘴角和右嘴角的Y方向均值点到鼻尖的距离的比值；K31和K3对应，K31为左眼和右眼X方向和Y方向的距离比值；
步骤S7：计算图像B中人脸五官比值和图像C中人脸五官比值的差值，将差值与阈值对比，若差值小于阈值，判定图像B和图像C中的人脸为同一人，若差值不小于阈值，判定图像B和图像C中的人脸不是同一人；
；
其中，为五官比值的差值，阈值为，为0.01，分别 与对比，若均小于，判定图像B和图像C中的人脸为同一人，若不小于，判定图像B和图像C中的人脸不是同一人。
5） 中人员离岗监测流程包括以下步骤：
5.1）：标记第一图像的采集时间，并记为T1；
5.2）：设定离岗时间阈值为t；
5.3）：提取时间T1到T1+t之间工作摄像头采集的焊机工作区域图像；
5.4）：将焊机工作区域图像依次与初始图像比对，执行人员进岗监测流程，判断任一焊机工作区域图像中是否有操作人员，若有，判定操作人员离岗未超时，语音广播模块报警，可语音播报“XX工位人员已离岗”进行提示，焊机本体进入待机模式，若无，判定操作人员离岗超时，语音广播模块报警，可语音播报“XX工位人员长时间离岗”进行提示，焊机本体进入待机模式，执行场景监测流程。
6）中场景监测流程通过位置敏感度、空间注意力、时间注意力调用场景摄像头，用于监测操作人员是否在车间，具体包括以下步骤：
6.1.0)设定场景摄像头位置敏感度排序权重；
设定操作人员向各焊机工作区域移动的概率为，
；
上式中为操作人员和各焊机工作区域之间的连线与操作人员速度方向的夹 角，k为焊机工作区域的序号，k=1...U，U为焊机工作区域的总数：
如图7所示，为操作人员向焊机工作区域a移动方向的概率；
常规情况下，除两端的场景摄像头外，其余场景摄像头具有两个方向的视野重叠区域，当操作人员仅在一个场景摄像头的成像范围内，获取场景摄像头当前帧图像中操作人员的坐标，依据操作人员坐标和视野重叠区域坐标，操作人员与两端视野重叠区域的距离，获取多帧图像的操作人员坐标，计算操作人员与两端视野重叠区域的距离，比对上述距离变化，距离变短的一侧为操作人员速度方向；
当操作人员在两个场景摄像头的成像范围内，认为操作人员在视野重叠区域，采集多帧后图像，判断操作人员出现的场景摄像头编号，以确定操作人员的速度方向。
6.1.1)设定场景摄像头空间观测注意力权重；
;
上式中为t时刻空间观测注意力权重，为t时刻操作人员与各场景摄像头 的距离值，
6.1.2)设定场景摄像头时间观测注意力权重；
；
上式中，为t时刻时间观测注意力权重，为操作人员的速度， ，为在t时刻图像中操作人员的位置与为在时刻图像中操作人员的位置，根 据1.1.2）中图像与车间空间的距离转化式，获得车间空间坐标下的距离值，为时间差；
6.1.3)预估操作人员的位置；
操作人员离开焊机工作区域后，确定操作人员速度方向，设定操作人员向车间入口移动为负，操作人员向车间出口移动为正；
更新和；
设定操作人员在t+1时刻图像的预估位置为；
；
6.1.4)根据得到车间空间坐标系下的坐标，根据各焊机工作区域在车间空 间坐标系下的坐标，以及操作人员向各焊机工作区域移动的概率，获得操作人员在t+1 时刻的目标焊机工作区域；
6.1.5)根据目标焊机工作区域，根据权重打开场景摄像头；
目标焊机工作区域的相邻场景摄像头分别为CiP0和Ci(P0+1)，CiP0一侧相邻 场景摄像头为Ci(P0-1)、Ci(P0-2)等，Ci(P0+1)另一侧相邻场景摄像头为Ci(P0+2)、Ci(P0+ 3)等，
以目标焊机工作区域为中心，与各场景摄像头Ci的距离为，
设定各场景摄像头的拍摄权重为，
；
上式中Z为目标焊机工作区域相关的若干场景摄像头的总数，z为设定值，i=1...Z；
6)中对目标进行跟踪的具体步骤为：
6.2.0)将待追踪的操作人员标记为ID1；
6.2.1)基于操作人员的预估位置调用场景摄像头采集ID1图像，获取操作人员在像素坐标系下的位置以及在车间空间坐标系下的位置、拍摄时间t3、速度矢量Vt、颜色特征值；
速度矢量Vt的速度大小v，方向d；
6.2.2)判断在场景摄像头的拍摄范围内是否出现新的工作人员ID2，若是，执行6.2.3)，若否，继续追踪ID1；
6.2.3）判断ID1与ID2是否存在遮挡，若是，执行6.2.4）；若否，执行6.2.5）；
6.2.4）基于前n帧所预测的状态变量，模糊进行分类，包括ID1与ID2的位置、速度矢量Vt，比如ID1与ID2在前n帧的位置以及移动方向，获取n+k帧图像，判断n+k帧图像中ID1与ID2是否存在遮挡，若是，获取当前场景摄像头id，语音广播模块报警遮挡，并指示操作人员望向当前场景摄像头进行区分识别，若否，执行6.2.5）；
6.2.5）执行人员区分流程；
人员区分流程包括以下步骤：
6.2.5.1）判断ID1或/和ID2的人脸图像是否可以识别，若是，通过ID1或/和ID2的人脸图像过滤ID2，若否，执行6.2.5.2）；
6.2.5.2）判断ID1或/和ID2的服装特征值是否可以区分，若是，通过ID1或/和ID2的服装特征值过滤ID2，若否，执行6.2.5.3）；
6.2.5.3）分别获取ID1与ID2的位置、速度矢量Vt，通过6.1.3)步骤估算ID下一帧的位置阈值，通过阈值过滤掉ID2对于ID1轨迹的影响。
6）通过场景监测流程对目标进行跟踪，当监测到目标不在车间，语音广播模块报警，可语音播报“XX工位人员不在车间”进行提示，同时场景摄像头和工作摄像头针对该目标在安全人行道区域和焊机工作区域的跟踪停止，场景摄像头和工作摄像头处于正常待调用状态，
当监测到目标在车间，语音广播模块报警，可语音播报“XX工位人员长时间离岗”进行提示，执行人员进岗监测流程，工作摄像头采集对应编号的焊机工作区域的图像，判断离岗的操作人员是否进入焊机工作区域，若是，执行人员在岗监测流程，若否，场景监测模块持续对目标进行跟踪。
离岗的操作人员在未进入焊机工作区域以及未出车间的过程中持续被场景监测模块进行跟踪。
同时场景摄像头和工作摄像头针对该目标在安全人行道区域和焊机工作区域的跟踪停止，场景摄像头和工作摄像头处于正常待调用状态
本实施例控制器可根据异常结果控制焊机本体进入待机模式，在排除异常情况后，通过人工操作解除待机模式；本实施例也设定人工待机模式，根据实际操作需要，人工控制焊机本体进入待机模式，
人工控制焊机本体进入待机模式的具体步骤为：
8.1）：控制器控制焊机本体断电；
8.2）:人脸识别模块采集待机人员的人脸图像，将待机人员的人脸图像与录入的人脸图像比对，若比对一致，判定为本焊机本体绑定的操作人员操作待机，若否，语音广播模块报警，语音播报：“XX工位焊机本体非本人待机”，提示用户。
显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

Claims (10)

1.一种基于多相机联动目标监测的焊机,其特征在于：包括焊机本体、控制器、服务器、人脸识别模块、语音广播模块、工作摄像头和场景摄像头，焊机位于车间，工作摄像头的成像范围设置为焊机工作区域，场景摄像头的成像范围设置为安全人行通道区域，
还包括：
参数设定模块，参数设定模块用于设定工作摄像头和场景摄像头的坐标；
背景模块，背景模块用于建立背景模型；
区域分割模块，区域分割模块用于将车间区域分割为安全人行通道区域与焊机工作区域；
身份识别模块，身份识别模块用于识别待进入人员的身份，判断待进入的人员是否为当前车间可进入的人员；
人员进岗监测模块，用于监测操作人员是否进入焊机工作区域；
人员在岗监测模块，用于监测操作人员是否离岗；
人员离岗监测模块，人员离岗监测模块用于识别焊机工作区域的操作人员离岗是否超时；
场景监测模块，场景监测模块用于预估操作人员的目标位置，并对目标进行追踪；
待机模块，待机模块用于控制焊机本体待机并识别待机人员的身份。
2.根据权利要求1所述的一种基于多相机联动目标监测的焊机，其特征在于：所述参数设定模块、背景模块、区域分割模块、身份识别模块、人员进岗监测模块、人员在岗监测模块、人员离岗监测模块、场景监测模块、待机模块分别与控制器连接，通过控制器控制各个模块之间的连接和交互。
3.一种焊机的目标监测方法，其特征在于：包括以下步骤：
1） 背景初始化；
2） 人员进入车间，身份识别模块执行身份识别流程，判断待进入的人员是否为该车间允许的人员，若是，控制器向服务器发送该人员的进入通知，若否，语音广播报警，提示有非法人员进入；
3） 人员进岗监测模块执行人员进岗监测流程，判断操作人员是否进入焊机工作区域，若是，执行4），若否，执行人员进岗监测流程；
4） 人员在岗监测模块执行人员在岗监测流程，判断操作人员是否离岗，若是，执行5），若否，执行人员在岗监测流程；
5） 人员离岗监测模块执行人员离岗监测流程，判断操作人员离岗是否超时，若是，焊机本体进入待机模式，执行场景监测流程，若否，语音广播模块报警提示，焊机本体进入待机模式；
6） 场景监测模块执行场景监测流程进行目标跟踪，判断操作人员是否离开车间，若是，语音广播模块报警提示；若否，语音广播模块报警提示，执行人员进岗监测流程；
7） 判断离岗的操作人员是否进入焊机工作区域，若是执行4），若否，执行6）；
8） 待机模式；
9） 结束步骤。
4.根据权利要求3所述的一种焊机的目标监测方法，其特征在于：所述背景初始化的具体步骤为：
1.1）设定工作摄像头和场景摄像头的坐标；
1.2）建立背景模型；
1.3）将车间区域分割为安全人行通道区域与焊机工作区域。
5.根据权利要求4所述的一种焊机的目标监测方法，其特征在于：所述 1.1)将工作摄像头和场景摄像头的车间空间坐标系映射到像素坐标系，包括以下步骤：
1.1.0)将焊机本体以及对应的焊机操作人员进行编号，两者一一对应，焊机本体与其所在焊机工作区域的工作摄像头一一对应，编号信息并入操作人员编号集，将非操作人员进行编号，编号信息并入非操作人员编号集；
1.1.1)设定场景摄像头、工作摄像头以及车间入门的车间空间坐标；
1.1.2）将工作摄像头和场景摄像头所在的车间空间坐标系转换为图像的像素坐标系，将像素坐标系转换为车间空间坐标系。
6.根据权利要求4所述的一种焊机的目标监测方法，其特征在于：所述1.2）中建立背景模型包括以下步骤：
1.2.1）:场景摄像头和工作摄像头在一天中多个时刻分别采集无人车间图像，获得N张样本图像；
1.2.2）处理样本图像获得图像灰度直方图，计算t时刻的直方图分布；gk为第k个像素值，k=0,1...255;
1.2.3）样本图像根据傅立叶频率变换成频谱图；通过图像傅里叶变换的通用公式获得和/>，/>为t时刻下的频率，/>为背景环境的频率，/>为设定值，u为显著频率，取不同频率值；
1.2.4）计算每个u，，每个gk下的/>；当/>大于/>，或者/>大于/>，认为当前gk为变化巨大的灰度级，更新背景突变变化个数总数/>；判断/>是否大于/>，若是，认为背景环境突变，若否，认为背景环境正常；
其中为t时刻下的频率，/>为背景环境的频率；/>为频率变换阈值； 其中为t时刻下的直方图分布，/>为背景环境的直方图分布；/>为直方图分布阈值；/>为背景突变变化个数设定阈值，/>为背景突变变化个数总数，/>为背景突变变化个数。
7.根据权利要求4所述的一种焊机的目标监测方法，其特征在于：所述1.3）包括以下步骤：
1.3.1）提取图像中特征角点；
1.3.2）提取的特征角点通过四层金字塔传递下来，根据四层特征角点计算图像角点坐标集；
1.3.3）计算角点三帧差分图像；
1.3.4）根据在不同层金字塔的区域角点坐标集，快速匹配计算两摄像头间的相似特征角点，确定场景摄像头的成像区域边界坐标，根据1.1.2）的坐标转换，获得场景摄像头成像区域边界在车间空间坐标系的坐标，依此获得相邻场景摄像头的视野重叠区域，将该区域标记为H，得到在场景摄像头采集的图像中视野重叠区域坐标；
1.3.5）在不同层金字塔确定安全人行通道区域与焊机工作区域的分割以及各焊机工作区域之间的分割，安全人行通道区域与焊机工作区域边缘均贴有安全反光标识，根据区域角点坐标集、场景摄像头和工作摄像头的成像范围以及安全反光标识配合辅助分割区域，从而将车间的区域分割和场景摄像头和工作摄像头的区域分割进行统一。
8.根据权利要求4所述的一种焊机的目标监测方法，其特征在于：所述2）中身份识别流程具体包括以下步骤：
2.1）将识别的卡内编号发送至控制器，遍历操作人员编号集和非操作人员编号集，判断卡内编号是否匹配到对应编号，若是，执行2.2），若否，语音广播模块报警，提示身份识别异常，车间入口闸门不开启；
2.2）将刷脸获取的实时人脸图像与卡内的人脸图像进行比对，判断比对是否一致，若是，执行2.3），若否，语音广播模块报警，提示身份识别异常，车间入口闸门不开启；
2.3）判断卡内编号是操作人员编号还是非操作人员编号，若是操作人员编号，执行2.4），若是非操作人员编号，更新服务器中非操作人员的访问记录；
2.4）根据卡内编号，提取相应焊机本体的编号，获取控制器内该编号焊机本体绑定的人脸图像；将实时人脸图像与绑定的人脸图像进行比对，判断比对是否一致，若是，车间入口闸门开启，服务器接收该编号操作人员入岗的信息；执行2.5），若否，语音广播模块报警，提示身份识别异常，车间入口闸门不开启；
2.5）第一场景摄像头采集待进入人员的图像，建立LAB颜色模型，获取待进入人员的服装颜色特征值，将人员的颜色特征值发送至控制器，更新该编号下操作人员的服装特征值；便于根据服装特征值追踪目标；
2.6）将刷脸获取的非操作人员人脸图像输入服务器，并将该人脸图像标记为非识别目标。
9.根据权利要求5所述的一种焊机的目标监测方法，其特征在于：所述6）中场景监测流程通过位置敏感度、空间注意力、时间注意力调用场景摄像头，用于监测操作人员是否在车间，具体包括以下步骤：
6.1.0)设定场景摄像头位置敏感度排序权重；
6.1.1)设定场景摄像头空间观测注意力权重；
6.1.2)设定场景摄像头时间观测注意力权重；
6.1.3)预估操作人员的位置；
6.1.4)根据预估的操作人员位置得到车间空间坐标系下的坐标，根据各焊机工作区域在车间空间坐标系下的坐标，以及操作人员向各焊机工作区域移动的概率，获得操作人员在t+1时刻的目标焊机工作区域；
6.1.5)根据目标焊机工作区域，根据各场景摄像头的拍摄权重打开场景摄像头。
10.根据权利要求5所述的一种焊机的目标监测方法，其特征在于：所述6)中对目标进行跟踪的具体步骤为：
6.2.0)将待追踪的操作人员标记为ID1；
6.2.1)基于操作人员的预估位置调用场景摄像头采集ID1图像，获取操作人员在像素坐标系下的位置以及在车间空间坐标系下的位置、拍摄时间t3、速度矢量Vt、颜色特征值；
6.2.2)判断在场景摄像头的拍摄范围内是否出现新的工作人员ID2，若是，执行6.2.3)，若否，继续追踪ID1；
6.2.3）判断ID1与ID2是否存在遮挡，若是，执行6.2.4）；若否，执行6.2.5）；
6.2.4）基于前n帧所预测的状态变量，模糊进行分类，包括ID1与ID2的位置、速度矢量Vt，比如ID1与ID2在前n帧的位置以及移动方向，获取n+k帧图像，判断n+k帧图像中ID1与ID2是否存在遮挡，若是，获取当前场景摄像头id，语音广播模块报警遮挡，并指示操作人员望向当前场景摄像头进行区分识别，若否，执行6.2.5）；
6.2.5）执行人员区分流程。
CN202311731422.1A 2023-12-15 2023-12-15 一种基于多相机联动目标监测的焊机和目标监测方法 Active CN117412180B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311731422.1A CN117412180B (zh) 2023-12-15 2023-12-15 一种基于多相机联动目标监测的焊机和目标监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311731422.1A CN117412180B (zh) 2023-12-15 2023-12-15 一种基于多相机联动目标监测的焊机和目标监测方法

Publications (2)

Publication Number Publication Date
CN117412180A true CN117412180A (zh) 2024-01-16
CN117412180B CN117412180B (zh) 2024-03-15

Family

ID=89491226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311731422.1A Active CN117412180B (zh) 2023-12-15 2023-12-15 一种基于多相机联动目标监测的焊机和目标监测方法

Country Status (1)

Country Link
CN (1) CN117412180B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545705B1 (en) * 1998-04-10 2003-04-08 Lynx System Developers, Inc. Camera with object recognition/data output
CN107679471A (zh) * 2017-09-24 2018-02-09 天津大学 基于视频监控平台的室内人员空岗检测方法
CN109242439A (zh) * 2018-09-21 2019-01-18 国家电网有限公司 基于变电站设备相关联数据的特征提取识别方法
WO2019228091A1 (zh) * 2018-06-01 2019-12-05 杭州海康威视数字技术股份有限公司 考勤管理的方法和考勤管理设备
WO2020143330A1 (zh) * 2019-01-08 2020-07-16 平安科技（深圳）有限公司 一种人脸图像的捕捉方法、计算机可读存储介质及终端设备
CN111999698A (zh) * 2020-07-05 2020-11-27 泓福芯林科技江苏有限公司 一种人员定位系统及定位方法
CN112929604A (zh) * 2021-01-27 2021-06-08 河北科迪新能源科技有限公司 一种办公室图像采集管理系统
CN114411428A (zh) * 2021-12-29 2022-04-29 浙江大学台州研究院 一种基于点激光布匹接缝检测的闭环控制装置和方法
CN114663995A (zh) * 2022-03-31 2022-06-24 游密科技(深圳)有限公司 离岗预警方法、装置、计算机设备、存储介质和程序产品
CN115512298A (zh) * 2022-09-28 2022-12-23 昆岳互联环境技术(江苏)有限公司 基于框定区域下目标跟踪算法的集控区域离岗识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6545705B1 (en) * 1998-04-10 2003-04-08 Lynx System Developers, Inc. Camera with object recognition/data output
CN107679471A (zh) * 2017-09-24 2018-02-09 天津大学 基于视频监控平台的室内人员空岗检测方法
WO2019228091A1 (zh) * 2018-06-01 2019-12-05 杭州海康威视数字技术股份有限公司 考勤管理的方法和考勤管理设备
CN109242439A (zh) * 2018-09-21 2019-01-18 国家电网有限公司 基于变电站设备相关联数据的特征提取识别方法
WO2020143330A1 (zh) * 2019-01-08 2020-07-16 平安科技（深圳）有限公司 一种人脸图像的捕捉方法、计算机可读存储介质及终端设备
CN111999698A (zh) * 2020-07-05 2020-11-27 泓福芯林科技江苏有限公司 一种人员定位系统及定位方法
CN112929604A (zh) * 2021-01-27 2021-06-08 河北科迪新能源科技有限公司 一种办公室图像采集管理系统
CN114411428A (zh) * 2021-12-29 2022-04-29 浙江大学台州研究院 一种基于点激光布匹接缝检测的闭环控制装置和方法
CN114663995A (zh) * 2022-03-31 2022-06-24 游密科技(深圳)有限公司 离岗预警方法、装置、计算机设备、存储介质和程序产品
CN115512298A (zh) * 2022-09-28 2022-12-23 昆岳互联环境技术(江苏)有限公司 基于框定区域下目标跟踪算法的集控区域离岗识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
WEI WANG: "An FPGA co-processor for adaptive lane departure warning system", 《2013 IEEE INTERNATIONAL SYMPOSIUM ON CIRCUITS AND SYSTEMS (ISCAS)》, 1 August 2013 (2013-08-01) *
李志华;陈耀武;: "基于多摄像头的目标连续跟踪", 电子测量与仪器学报, no. 02, 15 February 2009 (2009-02-15) *
陈振业: "5G结合视频监控在卷烟制丝生产车间应用的思考", 《轻工科技》, 31 August 2020 (2020-08-31) *

Also Published As

Publication number Publication date
CN117412180B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN109522793B (zh) 基于机器视觉的多人异常行为检测与识别方法
CA2985854C (en) A method and system for automated microbial colony counting from streaked sample on plated media
CN104637058B (zh) 一种基于图像信息的客流量识别统计方法
CN105404847B (zh) 一种遗留物实时检测方法
CN106991668B (zh) 一种天网摄像头拍摄画面的评价方法
CN109460719A (zh) 一种电力作业安全识别方法
CN101389004A (zh) 一种基于在线学习的运动目标分类方法
CN102542289A (zh) 一种基于多高斯计数模型的人流量统计方法
CN109409289A (zh) 一种电力作业安全监督机器人安全作业识别方法及系统
CN109711322A (zh) 一种基于rfcn的人车分离方法
CN113449606B (zh) 一种目标对象识别方法、装置、计算机设备及存储介质
CN111353338B (zh) 一种基于营业厅视频监控的能效改进方法
CN105844659A (zh) 运动部件的跟踪方法和装置
CN107368786B (zh) 一种基于机器视觉的乘客越过扶手带检测方法
CN112183472A (zh) 一种基于改进RetinaNet的试验现场人员是否穿着工作服检测方法
CN112434545A (zh) 一种智能场所管理方法及系统
CN110827434A (zh) 网格化目标识别的社区安保巡防记录系统及方法
CN113808087A (zh) 钢板表面的缺陷管控方法、装置及计算机可读存储介质
CN115775407A (zh) 一种基于fpga的高精度快速红外测温系统
CN117412180B (zh) 一种基于多相机联动目标监测的焊机和目标监测方法
CA3122938A1 (en) A system and method for monitoring bacterial growth of bacterial colonies and predicting colony biomass
CN117424988B (zh) 一种用于智能化管理焊机的图像处理系统和处理方法
Landabaso et al. Robust tracking and object classification towards automated video surveillance
Kini Real time moving vehicle congestion detection and tracking using OpenCV
CN114677667A (zh) 一种基于深度学习的变电站电气设备红外故障识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant