CN117875909A - 用于便携式记录交互的建筑施工管控方法及系统 - Google Patents

用于便携式记录交互的建筑施工管控方法及系统 Download PDF

Info

Publication number
CN117875909A
CN117875909A CN202410269014.7A CN202410269014A CN117875909A CN 117875909 A CN117875909 A CN 117875909A CN 202410269014 A CN202410269014 A CN 202410269014A CN 117875909 A CN117875909 A CN 117875909A
Authority
CN
China
Prior art keywords
user
construction
information
video
wearing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410269014.7A
Other languages
English (en)
Other versions
CN117875909B (zh
Inventor
陈一凡
陈亚东
陈阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Wanfu Internet Technology Group Co ltd
Original Assignee
Beijing Wanfu Internet Technology Group Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Wanfu Internet Technology Group Co ltd filed Critical Beijing Wanfu Internet Technology Group Co ltd
Priority to CN202410269014.7A priority Critical patent/CN117875909B/zh
Publication of CN117875909A publication Critical patent/CN117875909A/zh
Application granted granted Critical
Publication of CN117875909B publication Critical patent/CN117875909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Alarm Systems (AREA)

Abstract

本发明提供了用于便携式记录交互的建筑施工管控方法及系统,涉及数据处理技术领域,通过根据佩戴用户定位信息调度优化移动摄像头采集用户施工视频流,进而根据用户施工任务信息分析生成异常行为标识结果;当异常行为标识结果大于或等于异常行为数量阈值,将异常行为标识结果存储于第一用户记录仪并进行上级记录仪联立存储上传。解决现有技术中存在施工过程无法做到精细化程度较高地施工行为追踪记录,导致对于风险施工行为追溯管理的有效性和及时性较弱,导致施工安全难于得到保障的技术问题。达到了提高建筑施工过程的安全管控的精细化程度以及施工安全管理执行的及时性,实现施工环节安全风险的及时预警,保证建筑工程安全施工的技术效果。

Description

用于便携式记录交互的建筑施工管控方法及系统
技术领域
本发明涉及数据处理技术领域,具体涉及用于便携式记录交互的建筑施工管控方法及系统。
背景技术
传统施工方式由于信息收集和记录手段的不足导致无法提供足够精细化的施工行为追踪记录,使得施工管理者难以实时监测和评估施工现场上发生的各种活动,从而在发现潜在风险行为时,采取有效措施的速度较慢,进而增加了事故发生的风险。同时,传统方法也难以提供高度详细的施工行为记录,导致在事后的风险分析和管理中存在信息缺失的可能性。
综上所述,现有技术中存在施工过程无法做到精细化程度较高的施工行为追踪记录,导致对于风险施工行为追溯管理的有效性和及时性较弱,导致施工安全难于得到保障的技术问题。
发明内容
本申请提供了用于便携式记录交互的建筑施工管控方法及系统,用于针对解决现有技术中存在施工过程无法做到精细化程度较高的施工行为追踪记录,导致对于风险施工行为追溯管理的有效性和及时性较弱,导致施工安全难于得到保障的技术问题。
鉴于上述问题,本申请提供了用于便携式记录交互的建筑施工管控方法及系统。
本申请的第一个方面,提供了用于便携式记录交互的建筑施工管控方法,所述方法包括:获得多个便携式记录仪一一对应的多个佩戴状态信息,其中,所述多个佩戴状态信息的任意一个至少包括佩戴用户身份信息、佩戴用户定位信息和用户施工任务信息;根据所述佩戴用户定位信息,对多个移动摄像头进行调度优化,采集用户施工视频流;根据所述用户施工任务信息,对所述用户施工视频流行为分析,生成异常行为标识结果;当异常行为标识结果的标识行为数量大于或等于异常行为数量阈值,将所述异常行为标识结果存储于第一用户记录仪;基于所述佩戴用户身份信息对所述第一用户记录仪进行上级记录仪匹配,获得上级记录仪编号;将所述异常行为标识结果和所述佩戴用户身份信息联立存储,根据所述上级记录仪编号发送至上级记录仪。
本申请的第二个方面,提供了用于便携式记录交互的建筑施工管控系统,所述系统包括:佩戴状态获得单元,用于获得多个便携式记录仪一一对应的多个佩戴状态信息,其中,所述多个佩戴状态信息的任意一个至少包括佩戴用户身份信息、佩戴用户定位信息和用户施工任务信息;调度优化执行单元,用于根据所述佩戴用户定位信息,对多个移动摄像头进行调度优化,采集用户施工视频流;行为分析执行单元,用于根据所述用户施工任务信息,对所述用户施工视频流行为分析,生成异常行为标识结果;异常行为存储单元,用于当异常行为标识结果的标识行为数量大于或等于异常行为数量阈值,将所述异常行为标识结果存储于第一用户记录仪;设备匹配执行单元,用于基于所述佩戴用户身份信息对所述第一用户记录仪进行上级记录仪匹配,获得上级记录仪编号;联立存储执行单元,用于将所述异常行为标识结果和所述佩戴用户身份信息联立存储,根据所述上级记录仪编号发送至上级记录仪。
本申请中提供的一个或多个技术方案,至少具有如下技术效果或优点:
本申请实施例提供的方法通过获得多个便携式记录仪一一对应的多个佩戴状态信息,其中,所述多个佩戴状态信息的任意一个至少包括佩戴用户身份信息、佩戴用户定位信息和用户施工任务信息;根据所述佩戴用户定位信息,对多个移动摄像头进行调度优化,采集用户施工视频流;根据所述用户施工任务信息,对所述用户施工视频流行为分析,生成异常行为标识结果;当异常行为标识结果的标识行为数量大于或等于异常行为数量阈值,将所述异常行为标识结果存储于第一用户记录仪;基于所述佩戴用户身份信息对所述第一用户记录仪进行上级记录仪匹配,获得上级记录仪编号;将所述异常行为标识结果和所述佩戴用户身份信息联立存储,根据所述上级记录仪编号发送至上级记录仪。达到了提高建筑施工过程的安全管控的精细化程度以及施工安全管理执行的及时性,实现施工环节安全风险的及时预警,保证建筑工程安全施工的技术效果。
附图说明
图1为本申请提供的用于便携式记录交互的建筑施工管控方法流程示意图;
图2为本申请提供的用于便携式记录交互的建筑施工管控方法中生成异常行为标识结果的流程示意图;
图3为本申请提供的用于便携式记录交互的建筑施工管控系统的结构示意图。
附图标记说明:佩戴状态获得单元1, 调度优化执行单元2, 行为分析执行单元3,异常行为存储单元4, 设备匹配执行单元5, 联立存储执行单元6。
具体实施方式
本申请提供了用于便携式记录交互的建筑施工管控方法及系统,用于针对解决现有技术中存在施工过程无法做到精细化程度较高的施工行为追踪记录,导致对于风险施工行为追溯管理的有效性和及时性较弱,导致施工安全难于得到保障的技术问题。达到了提高建筑施工过程的安全管控的精细化程度以及施工安全管理执行的及时性,实现施工环节安全风险的及时预警,保证建筑工程安全施工的技术效果。
本发明技术方案中对数据的获取、存储、使用、处理等均符合相关规定。
下面,将参考附图对本发明中的技术方案进行清楚、完整的描述,显然,所描述的实施例仅是本发明的一部分实施例,而不是本发明的全部实施例,应理解,本发明不受这里描述的示例实施例的限制。基于本发明的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部。
实施例一:
如图1所示,本申请提供了用于便携式记录交互的建筑施工管控方法,应用于便携式记录交互的建筑施工管控系统,所述系统和多个便携式记录仪、多个移动摄像头通信连接,所述多个便携式记录仪佩戴于多个用户预设位置,包括:
A100:获得多个便携式记录仪一一对应的多个佩戴状态信息,其中,所述多个佩戴状态信息的任意一个至少包括佩戴用户身份信息、佩戴用户定位信息和用户施工任务信息;
具体而言,在本实施例中,参与建筑施工的多个用户在用户预设位置例如安全帽顶部都佩戴有移动摄像头,移动摄像头用于进行建筑施工用户在施工过程中的行为记录,同时,多个用户在用户预设位置例如工作服胸口佩戴便携式记录仪,便携式记录仪具有GPS功能以及可擦写存储器,基于GPS定位功能所述便携式记录仪可以获得当前佩戴便携式记录仪的用户在施工场所的实时位置以及用户面朝方向,基于可擦写存储器所述便携式记录仪可以动态写入当前佩戴用户的施工任务以及用户身份,例如佩戴用户身份信息写入瓦工,用户施工任务信息写入墙壁铺瓦。
同时,应用于便携式记录交互的建筑施工管控系统和多个用户的多个便携式记录仪、多个移动摄像头通信连接,基于此,本实施例通过应用于便携式记录交互的建筑施工管控系统直接通信获得多个便携式记录仪一一对应的多个佩戴状态信息,所述多个佩戴状态信息的任意一个至少包括佩戴用户身份信息、佩戴用户定位信息和用户施工任务信息,所述佩戴用户定位信息采用地图显示器进行屏显,具有直观性。
A200:根据所述佩戴用户定位信息,对多个移动摄像头进行调度优化,采集用户施工视频流;
在一个实施例中,根据所述佩戴用户定位信息,对多个移动摄像头进行调度优化,采集用户施工视频流,本申请提供的方法步骤A200还包括:
A210:获得所述多个移动摄像头的多个移动区域约束信息和多个转动角度约束信息;
A220:基于所述佩戴用户定位信息,获得第一侧面方位和第二侧面方位;
A230:根据所述佩戴用户定位信息和所述多个移动区域约束信息,获得第一组最近部署距离和第二组最近部署距离,其中,所述第一组最近部署距离位于所述第一侧面方位,所述第二组最近部署距离位于所述第二侧面方位;
A240:根据所述第一组最近部署距离和所述多个转动角度约束信息,获得第一组最大水平夹角,其中,所述第一组最大水平夹角表征所述第一组最近部署距离的移动摄像头的预设定位轴线和第一侧面方位垂直面的水平方向最大夹角;
A250:根据所述第二组最近部署距离和所述多个转动角度约束信息,获得第二组最大水平夹角,其中,所述第一组最大水平夹角或所述第二组最大水平夹角均大于0°,且小于或等于90°;
A260:根据所述第一组最近部署距离和所述第一组最大水平夹角,对所述多个移动摄像头的第一组移动摄像头进行择一调度,获得第一待调度摄像头进行所述第一侧面方位的视频流采集,获得第一施工视频流;
A270:根据所述第二组最近部署距离和所述第二组最大水平夹角,对所述多个移动摄像头的第二组移动摄像头进行择一调度,获得第二待调度摄像头进行所述第二侧面方位的视频流采集,获得第二施工视频流;
A280:将所述第一施工视频流和所述第二施工视频流按照时序融合,生成所述用户施工视频流。
在一个实施例中,根据所述第一组最近部署距离和所述第一组最大水平夹角,对所述多个移动摄像头的第一组移动摄像头进行择一调度,获得第一待调度摄像头进行所述第一侧面方位的视频流采集,获得第一施工视频流,本申请提供的方法步骤A260还包括:
A261:基于移动摄像头型号信息,获得摄像距离阈值;
A262:根据所述摄像距离阈值结合所述第一组最近部署距离对所述的第一组移动摄像头进行筛选,获得移动摄像头一级筛选结果;
A263:从所述移动摄像头一级筛选结果,提取所述第一组最大水平夹角的最大值的移动摄像头,设为所述第一待调度摄像头;
A264:基于所述第一待调度摄像头的最近部署距离和最大水平夹角部署所述第一待调度摄像头,并进行所述第一侧面方位的视频流采集,获得所述第一施工视频流。
具体而言,应理解的,用于建筑施工环境安全性较低,因而为避免施工过程安全事故发生,不同工种的建筑施工用户具有行动空间约束,同时,为提高工作效率,对同一工种的建筑施工用户设置有施工范围,例如瓦工不能进入木工的工作环境。
基于此本实施例基于多个所述用户施工任务信息获得多个用户可移动区域,进而将所述多个用户可移动区域作为所述多个移动区域约束信息,所述移动区域约束信息表征移动摄像头(就是佩戴移动摄像头的用户)的可活动区间范围。
同时,应理解的,本实施例中移动摄像头具有机械支架或云台,允许摄像头在水平和垂直方向上旋转或倾斜,从而扩展其视野范围,基于此,本实施例首先获得型号参数相一致的多个用户的多个移动摄像头的水平旋转角度范围、垂直旋转角度范围,进而结合多个用户的所述佩戴用户定位信息,获得所述多个转动角度约束信息,所述转动角度约束信息即就是不特定用户在某一朝向限制下,其佩戴的移动摄像头的可视范围,例如不特定用户面朝正北方向,移动摄像头的水平旋转角度范围为左75°右75°、垂直旋转角度范围为上75°下75°,结合该不特定用户的朝向为正北方向,该不特定用户的所述转动角度约束信息为西75°东75°,正北方向上75°下75°。
在本实施例中,每个施工用户的行为视频都可以通过调度其他用户佩戴的移动摄像头进行采集,基于此,本实施例以进行不特定用户(第一用户)行为视频采集过程的移动摄像头调度为例,进行技术方案的详细阐述。
具体的,基于步骤A100可知所述佩戴用户定位信息包括用户在建筑施工工地的位置坐标以及用户正面朝向,因而本实施例调用获得第一用户的第一佩戴用户定位信息,进而基于所述佩戴用户定位信息中的用户正面朝向,获得表征垂直于用户正面朝向的第一侧面方位和第二侧面方位,例如用户正面朝向为北偏东45°,则第一侧面方位为北偏东45°至北偏西45°,第二侧面方位北偏东45°至南偏东45°。
进一步的,根据多个用户的多个移动区域约束信息,将除了当前第一用户的所述佩戴用户定位信息对应用户的剩余多个用户的多个移动摄像头划分为处于第一侧面方位的第一组最近部署距离和处于第二侧面方位的第二组最近部署距离,所述最近部署距离是基于佩戴用户定位信息计算获得的其他用户与第一用户之间的垂直距离。
应理解的,第一组最近部署距离中存在若干个用户和若干个移动摄像头,且若干个移动摄像头采用前述获得的对应的转动角度约束信息标识,第二组最近部署距离中也存在若干个用户和若干个移动摄像头,且若干个移动摄像头采用前述获得的对应的转动角度约束信息标识。
以第一用户的所述佩戴用户定位信息中第一用户在建筑施工工地的位置坐标以及第一用户正面朝向为基准,生成所述预设定位轴线,获得垂直于所述预设定位轴线的垂直轴线生成的垂直于水平面的垂直面,作为所述第一侧方位垂直面。
基于第一组最近部署距离进行所包含用户的转动角约束信息在多少转动角约束信息中进行调用,以获得对应的第一组转动角约束信息。
进一步的,对第一组转动角约束信息新增平行于第一侧方位垂直面的多个垂直面,从而计算所述第一组最近部署距离的移动摄像头的预设定位轴线和第一侧面方位垂直面的水平方向最大夹角,获得第一组最大水平夹角。
采用相同方法,根据所述第二组最近部署距离和所述多个转动角度约束信息,获得第二组最大水平夹角,所述第一组最大水平夹角或所述第二组最大水平夹角均大于0°,且小于或等于90°,应理解的,最大的水平夹角越小,则说明对应移动摄像头部署位置越偏。
根据所述第一组最近部署距离和所述第一组最大水平夹角,对所述多个移动摄像头的第一组移动摄像头进行择一调度,获得第一待调度摄像头进行所述第一侧面方位的视频流采集,获得从第一侧面方位角度进行第一用户施工行为图像采集的所述第一施工视频流。
确定进行第一施工视频流采集的运动摄像头的方法如下:
交互获得第一组最近部署距离中若干个移动摄像头的所述第一组移动摄像头型号信息,进而基于摄像头型号信息在互联网或摄像头生产厂家获得第一组摄像距离阈值,所述摄像距离阈值既就是所述移动摄像头可进行清晰拍摄的距离长度。
对第一组移动摄像头中若干个移动摄像头的若干个摄像距离阈值和第一组最近部署距离中若干个移动摄像头与第一用户的移动摄像头的直线距离进行映射加和,获得第一组综合摄像距离。
基于第一组综合摄像距离进行序列化处理,将最长摄像距离的移动摄像头作为所述移动摄像头一级筛选结果。以所述移动摄像头一级筛选结果为移动摄像头调度依据,在所述第一组最大水平夹角中映射调度该移动摄像头的最大水平夹角,根据所述移动摄像头一级筛选结果在第一组移动摄像头中选择获得所述第一待调度摄像头,其中,所述第一待调度摄像头采用前述调用获得的最大水平夹角标识处理。
基于所述第一待调度摄像头的最近部署距离和最大水平夹角部署所述第一待调度摄像头,并进行所述第一侧面方位的视频流采集,获得所述第一施工视频流。
采用相同方法,根据所述第二组最近部署距离和所述第二组最大水平夹角,对所述多个移动摄像头的第二组移动摄像头进行择一调度,获得第二待调度摄像头进行所述第二侧面方位的视频流采集,获得从第二侧面方位角度进行第一用户施工行为图像采集的第二施工视频流。
所述时序融合为指将两个或多个视频按照它们的采集时间进行时间轴对准,以便在不同角度或来源下拍摄的视频在同时刻能够被同步观察和比较。基于此,本实施例将所述第一施工视频流和所述第二施工视频流按照时序融合,生成所述用户施工视频流。
本实施例通过计算处于第一用户对称角度的两组用户的移动摄像头与第一用户的直线距离以及移动摄像头参数,进行可对第一用户进行有效视频采集的用户的摄像头筛选定位,实现了对第一用户进行多方向同步图像采集,为后续进行第一用户的施工行为风险分析提供可靠数据的技术效果。
本实施例通过根据所述佩戴用户定位信息,对多个移动摄像头进行调度优化,从而进行当前不特定用户的用户施工视频流采集,实现了获得具有高清晰度的用户行为分析视频,达到了为后续进行该用户是否存在危险操作行为分析提供有效参考的技术效果。
A300:根据所述用户施工任务信息,对所述用户施工视频流行为分析,生成异常行为标识结果;
在一个实施例中,如图2所示,根据所述用户施工任务信息,对所述用户施工视频流行为分析,生成异常行为标识结果,本申请提供的方法步骤A300还包括:
A310:根据所述用户施工任务信息,获得危险区域坐标信息和异常作业标识行为;
A320:根据所述危险区域坐标信息,对所述用户施工视频流进行区域标记,获得施工视频流标识结果,其中,所述施工视频流标识结果包括用户侵入视频帧数,所述用户侵入视频帧数表征用户施工时进入危险标识区域的视频帧数;
A330:对所述用户施工视频流进行语义分割,获得用户行为识别结果;
A340:当所述用户行为识别结果属于所述异常作业标识行为,对所述用户行为识别结果标识异常行为标签,其中,所述异常行为标签具有异常行为类型和异常行为触发频率;
A350:将所述用户侵入视频帧数和所述异常行为标签,添加进所述异常行为标识结果。
在一个实施例中,对所述用户施工视频流进行语义分割,获得用户行为识别结果,本申请提供的方法步骤A330还包括:
A331:对所述用户施工视频流按照第一步长进行分割,获得第一用户施工视频序列;
A332:对所述用户施工视频流按照第二步长进行分割,获得第二用户施工视频序列,其中,所述第二步长小于所述第一步长的八分之一;
A333:获得语义分割节点,其中,所述语义分割节点包括目标定位通道和动作提取通道,所述目标定位通道和所述动作提取通道均为卷积神经网络;
在一个实施例中,获得语义分割节点,本申请提供的方法步骤A333还包括:
A333-1:构建第一损失函数:
其中,表征第一损失函数输出值,/>表征第i帧训练视频的用户定位区域和第i帧标识视频的用户定位区域的非交集面积,/>表征可以容忍的定位偏差面积,m表征训练视频总帧数,/>表征第i帧训练视频的损失因子;
A333-2:构建第二损失函数:
其中,表征第二损失函数输出值,/>表征任意一帧训练视频的第j个定位点的坐标,/>表征任意一帧标识视频的第j个定位点的坐标,/>表征/>和/>的欧式距离,表征欧式距离偏离阈值,n表征动作识别定位点总数量;
A333-3:根据所述第一损失函数,训练所述目标定位通道,根据所述第二损失函数,训练所述动作提取通道,将所述目标定位通道和所述动作提取通道作为并行通道全连接,生成所述语义分割节点。
A334:激活所述目标定位通道接收所述第一用户施工视频序列,激活所述动作提取通道接收所述第二用户施工视频序列进行语义识别,生成用户行为识别结果。
具体而言,基于步骤A200所述内容可知,为避免施工过程安全事故发生,不同工种的建筑施工用户具有行动空间约束,同时,为提高工作效率,对同一工种的建筑施工用户设置有施工范围约束。
基于此,本实施例基于第一用户的所述用户施工任务信息获得第一用户可移动区域(施工过程可活动区间范围),进而将第一用户可移动区域以外区域作为用户进入存在生命风险的所述危险标识区域,进而获得表征所述危险标识区域的所述危险区域坐标信息。
进一步的,本实施例根据所述用户施工任务信息进行任务类型提取,进而交互获得该任务类型对应的施工任务容易造成工地施工的危险施工特征行为集合作为所述异常作业标识行为。
根据所述危险区域坐标信息,使用图像或视频处理的技术,比如目标检测、目标跟踪等,来识别和标记危险区域以对所述用户施工视频流进行危险标识区域的标记,进而基于危险标识区域标记进行第一用户在所述用户施工视频流的每一帧是否进入危险标识区域的判断,从而获得所述施工视频流标识结果,所述施工视频流标识结果包括用户侵入视频帧数,所述用户侵入视频帧数表征用户施工时进入危险标识区域的视频帧数。
进一步的,在本实施例中,预设表征视频中包含帧数的所述第一步长和所述第二步长,所述第二步长小于所述第一步长的八分之一。
应理解的,由于异常施工行为出现的转瞬即逝以及用户进出危险标识区域的时间跨度较大的特性,对所述用户施工视频流按照第一步长进行分割,获得视频帧数符合第一步长的若干个视频构成的所述第一用户施工视频序列,所述第一用户施工视频序列用于分析确定第一用户进入危险标识区域的次数;对所述用户施工视频流按照第二步长进行分割,获得视频帧数符合第二步长的若干个视频构成的第二用户施工视频序列,所述第二用户施工视频序列用于分析确定第一用户出现异常施工行为的次数。
预构建用于提取第一用户的动作特征的所述语义分割节点,所述语义分割节点包括用于进行第一用户定位的所述目标定位通道和用于提取第一用户的动作细节的所述动作提取通道,所述目标定位通道和所述动作提取通道均基于卷积神经网络构建。
具体的,所述动作提取通道的构建过程如下:
预构建第一损失函数:
其中,表征第一损失函数输出值,/>表征第i帧训练视频的用户定位区域和第i帧标识视频的用户定位区域的非交集面积,/>表征可以容忍的定位偏差面积,m表征训练视频总帧数,/>表征第i帧训练视频的损失因子。
基于卷积神经网络构建所述目标定位通道,交互获得所述第一用户的所述用户施工任务信息中施工工具,将施工工具作为识别第一用户的识别特征。
进一步的,获得样本携带施工工具的施工图像,并基于人工标识进行施工工具识别标记,以获得多组样本施工工具-样本施工工具标识结果,此处基于携带施工工具进行施工人员定位,从而提高施工人员特征识别的准确性和效率性。
将多组样本施工工具-样本施工攻击标识结果标识划分为训练集、测试集和验证集,进行所述目标定位通道的训练、测试和验证,同时,通过不断调整模型的参数以最小化所述第一损失函数的值,从而使模型的输出的逐渐接近真实标签,完成所述目标定位通道的训练,所述目标定位通道基于输入图像进行施工工具识别从而间接定位施工人员。
具体的,所述动作提取通道的构建过程如下:
预构建第二损失函数:
其中,表征第二损失函数输出值,/>表征任意一帧训练视频的第j个定位点的坐标,/>表征任意一帧标识视频的第j个定位点的坐标,/>表征/>和/>的欧式距离,表征欧式距离偏离阈值,n表征动作识别定位点总数量。
以所述异常作业标识行为为基准,交互获得多张具有异常作业行为的历史图像,作为样本异常行为训练图像,采用训练所述目标定位通道相同方法,进行所述动作提取通道的训练,同时,在动作提取通道训练过程中,通过不断调整模型的参数以最小化所述第二损失函数的值,从而使模型的输出的逐渐接近真实标签,完成所述动作提取通道的训练。
将所述目标定位通道和所述动作提取通道作为并行通道全连接,生成所述语义分割节点。
激活所述目标定位通道接收所述第一用户施工视频序列,激活所述动作提取通道接收所述第二用户施工视频序列进行语义识别,生成用户行为识别结果。
当所述用户行为识别结果属于所述异常作业标识行为,对所述用户行为识别结果标识异常行为标签,所述异常行为标签具有异常行为类型和异常行为触发频率;将所述用户侵入视频帧数和所述异常行为标签,添加进所述异常行为标识结果。
本实施例基于用户移动区域变化以及异常施工行为出现的时间特性,对于第一用户的所述用户施工视频流进行不同帧数跨度的图像采集,并构建双通道的语义分割节点进行异常识别,实现了获得具有代表性的第一用户的用户施工区域异常和用户行为异常的所述用户侵入视频帧数和所述异常行为标签,为后续进行施工用户的施工管控提供有效参考。
A400:当异常行为标识结果的标识行为数量大于或等于异常行为数量阈值,将所述异常行为标识结果存储于第一用户记录仪;
具体而言,在本实施例中,所述异常行为数量阈值包括侵入视频帧数阈值和异常行为数量阈值,当异常行为标识结果的用户侵入视频帧数大于或等于所述侵入视频帧数阈值,或所述异常行为标签的总计异常行为数量大于或等于所述异常行为数量阈值时,将所述异常行为标识结果存储于第一用户记录仪,第一用户可基于第一用户记录仪进行自身风险行为的回看从而帮助第一用户进行行为矫正,提高施工安全性。
A500:基于所述佩戴用户身份信息对所述第一用户记录仪进行上级记录仪匹配,获得上级记录仪编号;
A600:将所述异常行为标识结果和所述佩戴用户身份信息联立存储,根据所述上级记录仪编号发送至上级记录仪。
具体而言,在本实施例中,所述上级记录仪为在建筑施工中进行安全管理的工作人员的记录仪,同时,不同工种往往具有不同的安全管理工作人员,基于此,本实施例基于第一用户的所述佩戴用户身份信息对所述第一用户记录仪进行安全管理的管理工作人员所使用的上级记录仪匹配,获得上级记录仪编号。
将所述异常行为标识结果和所述佩戴用户身份信息联立存储,根据所述上级记录仪编号发送至上级记录仪,以实现安全管理人员可基于上级记录仪进行其所负责的所述第一用户的施工风险行为查看管理。
本实施例达到了提高建筑施工过程的安全管控的精细化程度以及施工安全管理执行的及时性,实现施工环节安全风险的及时预警,保证建筑工程安全施工的技术效果。
在一个实施例中,本申请提供的方法步骤还包括:
A341:当所述用户行为识别结果不属于所述异常作业标识行为,判断所述用户施工任务信息是否具有标准化作业动作;
A342:若具有,判断所述用户行为识别结果是否具有所述标准化作业动作;
A343:若不具有,对所述用户行为识别结果进行施工质量异常标识,生成施工质量异常标签,添加进所述异常行为标识结果。
具体而言,在本实施例中,当所述用户行为识别结果中不存在所述异常作业标识行为时,则进一步判断所述用户施工任务信息是否具有标准化作业动作,所述标准化作业动作为施工中必须执行的行为,例如拆卸脚手架的标准化作业动作中需要有穿戴适当的个人防护装备,包括头盔、手套、安全带和其他必要的装备。
若具有,则判断所述用户行为识别结果是否具有所述标准化作业动作,具体的判断方法为,基于反向传播神经网络新构建标准化作业动作识别模块,所述标准化作业动作识别模块的构建方法如下:
交互获得多个用户施工任务的多组标准化作业动作视频,进而进行抽帧,获得多张标准化动作图像,每张标准化动作图像具有施工任务标识。进而基于多张标准化动作图像按照18:1:1划分为训练集、测试集和验证集,基于训练集进行标准化作业动作识别模块的训练,基于测试集进行识别模块训练,基于验证进行识别模块识别准确度验证,直至标准化动作识别模块可以根据图像进行图像中标准化动作所属用户施工任务的准确度高于98%。
将第二用户施工视频序列逐帧同步至所述标准化动作识别模块,获得标准化动作识别图像,获得的标准化动作识别图像具有用户任务标识,进而判断识别获得的任务标识和第一用户的所述用户施工任务信息是否具有一致性,从而判断所述用户行为识别结果是否具有所述标准化作业动作。
若不具有一致性,对所述用户行为识别结果进行施工质量异常标识,生成施工质量异常标签,添加进所述异常行为标识结果。
本实施通过在第一用户不具有异常行为的基础上,进一步新增用户是否符合标准行为的判断,达到了提高用户施工行为识别判断的全面性的技术效果,间接实现了提高建筑施工管理安全性和精细化程度的技术效果。
实施例二:
基于与前述实施例中用于便携式记录交互的建筑施工管控方法相同的发明构思,如图3所示,本申请提供了用于便携式记录交互的建筑施工管控系统,其中,所述系统包括:
佩戴状态获得单元1,用于获得多个便携式记录仪一一对应的多个佩戴状态信息,其中,所述多个佩戴状态信息的任意一个至少包括佩戴用户身份信息、佩戴用户定位信息和用户施工任务信息;
调度优化执行单元2,用于根据所述佩戴用户定位信息,对多个移动摄像头进行调度优化,采集用户施工视频流;
行为分析执行单元3,用于根据所述用户施工任务信息,对所述用户施工视频流行为分析,生成异常行为标识结果;
异常行为存储单元4,用于当异常行为标识结果的标识行为数量大于或等于异常行为数量阈值,将所述异常行为标识结果存储于第一用户记录仪;
设备匹配执行单元5,用于基于所述佩戴用户身份信息对所述第一用户记录仪进行上级记录仪匹配,获得上级记录仪编号;
联立存储执行单元6,用于将所述异常行为标识结果和所述佩戴用户身份信息联立存储,根据所述上级记录仪编号发送至上级记录仪。
在一个实施例中,所述调度优化执行单元2还包括:
获得所述多个移动摄像头的多个移动区域约束信息和多个转动角度约束信息;
基于所述佩戴用户定位信息,获得第一侧面方位和第二侧面方位;
根据所述佩戴用户定位信息和所述多个移动区域约束信息,获得第一组最近部署距离和第二组最近部署距离,其中,所述第一组最近部署距离位于所述第一侧面方位,所述第二组最近部署距离位于所述第二侧面方位;
根据所述第一组最近部署距离和所述多个转动角度约束信息,获得第一组最大水平夹角,其中,所述第一组最大水平夹角表征所述第一组最近部署距离的移动摄像头的预设定位轴线和第一侧面方位垂直面的水平方向最大夹角;
根据所述第二组最近部署距离和所述多个转动角度约束信息,获得第二组最大水平夹角,其中,所述第一组最大水平夹角或所述第二组最大水平夹角均大于0°,且小于或等于90°;
根据所述第一组最近部署距离和所述第一组最大水平夹角,对所述多个移动摄像头的第一组移动摄像头进行择一调度,获得第一待调度摄像头进行所述第一侧面方位的视频流采集,获得第一施工视频流;
根据所述第二组最近部署距离和所述第二组最大水平夹角,对所述多个移动摄像头的第二组移动摄像头进行择一调度,获得第二待调度摄像头进行所述第二侧面方位的视频流采集,获得第二施工视频流;
将所述第一施工视频流和所述第二施工视频流按照时序融合,生成所述用户施工视频流。
在一个实施例中,所述调度优化执行单元2还包括:
基于移动摄像头型号信息,获得摄像距离阈值;
根据所述摄像距离阈值结合所述第一组最近部署距离对所述的第一组移动摄像头进行筛选,获得移动摄像头一级筛选结果;
从所述移动摄像头一级筛选结果,提取所述第一组最大水平夹角的最大值的移动摄像头,设为所述第一待调度摄像头;
基于所述第一待调度摄像头的最近部署距离和最大水平夹角部署所述第一待调度摄像头,并进行所述第一侧面方位的视频流采集,获得所述第一施工视频流。
在一个实施例中,所述行为分析执行单元3还包括:
根据所述用户施工任务信息,获得危险区域坐标信息和异常作业标识行为;
根据所述危险区域坐标信息,对所述用户施工视频流进行区域标记,获得施工视频流标识结果,其中,所述施工视频流标识结果包括用户侵入视频帧数,所述用户侵入视频帧数表征用户施工时进入危险标识区域的视频帧数;
对所述用户施工视频流进行语义分割,获得用户行为识别结果;
当所述用户行为识别结果属于所述异常作业标识行为,对所述用户行为识别结果标识异常行为标签,其中,所述异常行为标签具有异常行为类型和异常行为触发频率;
将所述用户侵入视频帧数和所述异常行为标签,添加进所述异常行为标识结果。
在一个实施例中,所述行为分析执行单元3还包括:
对所述用户施工视频流按照第一步长进行分割,获得第一用户施工视频序列;
对所述用户施工视频流按照第二步长进行分割,获得第二用户施工视频序列,其中,所述第二步长小于所述第一步长的八分之一;
获得语义分割节点,其中,所述语义分割节点包括目标定位通道和动作提取通道,所述目标定位通道和所述动作提取通道均为卷积神经网络;
激活所述目标定位通道接收所述第一用户施工视频序列,激活所述动作提取通道接收所述第二用户施工视频序列进行语义识别,生成用户行为识别结果。
在一个实施例中,所述行为分析执行单元3还包括:
构建第一损失函数:
其中,表征第一损失函数输出值,/>表征第i帧训练视频的用户定位区域和第i帧标识视频的用户定位区域的非交集面积,/>表征可以容忍的定位偏差面积,m表征训练视频总帧数,/>表征第i帧训练视频的损失因子;
构建第二损失函数:
其中,表征第二损失函数输出值,/>表征任意一帧训练视频的第j个定位点的坐标,/>表征任意一帧标识视频的第j个定位点的坐标,/>表征/>和/>的欧式距离,表征欧式距离偏离阈值,n表征动作识别定位点总数量;
根据所述第一损失函数,训练所述目标定位通道,根据所述第二损失函数,训练所述动作提取通道,将所述目标定位通道和所述动作提取通道作为并行通道全连接,生成所述语义分割节点。
在一个实施例中,所述行为分析执行单元3还包括:
当所述用户行为识别结果不属于所述异常作业标识行为,判断所述用户施工任务信息是否具有标准化作业动作;
若具有,判断所述用户行为识别结果是否具有所述标准化作业动作;
若不具有,对所述用户行为识别结果进行施工质量异常标识,生成施工质量异常标签,添加进所述异常行为标识结果。
综上所述的任意一项方法或者步骤可作为计算机指令或程序存储在各种不限类型的计算机存储器中,通过各种不限类型的计算机处理器识别计算机指令或程序,进而实现上述任一项方法或者步骤。
基于本发明的上述具体实施例,本技术领域的技术人员在不脱离本发明原理的前提下,对本发明所作的任何改进和修饰,皆应落入本发明的专利保护范围。

Claims (8)

1.用于便携式记录交互的建筑施工管控方法,其特征在于,应用于便携式记录交互的建筑施工管控系统,所述系统和多个便携式记录仪、多个移动摄像头通信连接,所述多个便携式记录仪佩戴于多个用户预设位置,包括:
获得多个便携式记录仪一一对应的多个佩戴状态信息,其中,所述多个佩戴状态信息的任意一个至少包括佩戴用户身份信息、佩戴用户定位信息和用户施工任务信息;
根据所述佩戴用户定位信息,对多个移动摄像头进行调度优化,采集用户施工视频流;
根据所述用户施工任务信息,对所述用户施工视频流行为分析,生成异常行为标识结果;
当异常行为标识结果的标识行为数量大于或等于异常行为数量阈值,将所述异常行为标识结果存储于第一用户记录仪;
基于所述佩戴用户身份信息对所述第一用户记录仪进行上级记录仪匹配,获得上级记录仪编号;
将所述异常行为标识结果和所述佩戴用户身份信息联立存储,根据所述上级记录仪编号发送至上级记录仪。
2.如权利要求1所述的方法,其特征在于,根据所述佩戴用户定位信息,对多个移动摄像头进行调度优化,采集用户施工视频流,包括:
获得所述多个移动摄像头的多个移动区域约束信息和多个转动角度约束信息;
基于所述佩戴用户定位信息,获得第一侧面方位和第二侧面方位;
根据所述佩戴用户定位信息和所述多个移动区域约束信息,获得第一组最近部署距离和第二组最近部署距离,其中,所述第一组最近部署距离位于所述第一侧面方位,所述第二组最近部署距离位于所述第二侧面方位;
根据所述第一组最近部署距离和所述多个转动角度约束信息,获得第一组最大水平夹角,其中,所述第一组最大水平夹角表征所述第一组最近部署距离的移动摄像头的预设定位轴线和第一侧面方位垂直面的水平方向最大夹角;
根据所述第二组最近部署距离和所述多个转动角度约束信息,获得第二组最大水平夹角,其中,所述第一组最大水平夹角或所述第二组最大水平夹角均大于0°,且小于或等于90°;
根据所述第一组最近部署距离和所述第一组最大水平夹角,对所述多个移动摄像头的第一组移动摄像头进行择一调度,获得第一待调度摄像头进行所述第一侧面方位的视频流采集,获得第一施工视频流;
根据所述第二组最近部署距离和所述第二组最大水平夹角,对所述多个移动摄像头的第二组移动摄像头进行择一调度,获得第二待调度摄像头进行所述第二侧面方位的视频流采集,获得第二施工视频流;
将所述第一施工视频流和所述第二施工视频流按照时序融合,生成所述用户施工视频流。
3.如权利要求2所述的方法,其特征在于,根据所述第一组最近部署距离和所述第一组最大水平夹角,对所述多个移动摄像头的第一组移动摄像头进行择一调度,获得第一待调度摄像头进行所述第一侧面方位的视频流采集,获得第一施工视频流,包括:
基于移动摄像头型号信息,获得摄像距离阈值;
根据所述摄像距离阈值结合所述第一组最近部署距离对所述的第一组移动摄像头进行筛选,获得移动摄像头一级筛选结果;
从所述移动摄像头一级筛选结果,提取所述第一组最大水平夹角的最大值的移动摄像头,设为所述第一待调度摄像头;
基于所述第一待调度摄像头的最近部署距离和最大水平夹角部署所述第一待调度摄像头,并进行所述第一侧面方位的视频流采集,获得所述第一施工视频流。
4.如权利要求1所述的方法,其特征在于,根据所述用户施工任务信息,对所述用户施工视频流行为分析,生成异常行为标识结果,包括:
根据所述用户施工任务信息,获得危险区域坐标信息和异常作业标识行为;
根据所述危险区域坐标信息,对所述用户施工视频流进行区域标记,获得施工视频流标识结果,其中,所述施工视频流标识结果包括用户侵入视频帧数,所述用户侵入视频帧数表征用户施工时进入危险标识区域的视频帧数;
对所述用户施工视频流进行语义分割,获得用户行为识别结果;
当所述用户行为识别结果属于所述异常作业标识行为,对所述用户行为识别结果标识异常行为标签,其中,所述异常行为标签具有异常行为类型和异常行为触发频率;
将所述用户侵入视频帧数和所述异常行为标签,添加进所述异常行为标识结果。
5.如权利要求4所述的方法,其特征在于,对所述用户施工视频流进行语义分割,获得用户行为识别结果,包括:
对所述用户施工视频流按照第一步长进行分割,获得第一用户施工视频序列;
对所述用户施工视频流按照第二步长进行分割,获得第二用户施工视频序列,其中,所述第二步长小于所述第一步长的八分之一;
获得语义分割节点,其中,所述语义分割节点包括目标定位通道和动作提取通道,所述目标定位通道和所述动作提取通道均为卷积神经网络;
激活所述目标定位通道接收所述第一用户施工视频序列,激活所述动作提取通道接收所述第二用户施工视频序列进行语义识别,生成用户行为识别结果。
6.如权利要求5所述的方法,其特征在于,获得语义分割节点,包括:
构建第一损失函数:
其中,表征第一损失函数输出值,/>表征第i帧训练视频的用户定位区域和第i帧标识视频的用户定位区域的非交集面积,/>表征可以容忍的定位偏差面积,m表征训练视频总帧数,/>表征第i帧训练视频的损失因子;
构建第二损失函数:
其中,表征第二损失函数输出值,/>表征任意一帧训练视频的第j个定位点的坐标,表征任意一帧标识视频的第j个定位点的坐标,/>表征/>和/>的欧式距离,/>表征欧式距离偏离阈值,n表征动作识别定位点总数量;
根据所述第一损失函数,训练所述目标定位通道,根据所述第二损失函数,训练所述动作提取通道,将所述目标定位通道和所述动作提取通道作为并行通道全连接,生成所述语义分割节点。
7.如权利要求4所述的方法,其特征在于,还包括:
当所述用户行为识别结果不属于所述异常作业标识行为,判断所述用户施工任务信息是否具有标准化作业动作;
若具有,判断所述用户行为识别结果是否具有所述标准化作业动作;
若不具有,对所述用户行为识别结果进行施工质量异常标识,生成施工质量异常标签,添加进所述异常行为标识结果。
8.用于便携式记录交互的建筑施工管控系统,其特征在于,所述系统包括:
佩戴状态获得单元,用于获得多个便携式记录仪一一对应的多个佩戴状态信息,其中,所述多个佩戴状态信息的任意一个至少包括佩戴用户身份信息、佩戴用户定位信息和用户施工任务信息;
调度优化执行单元,用于根据所述佩戴用户定位信息,对多个移动摄像头进行调度优化,采集用户施工视频流;
行为分析执行单元,用于根据所述用户施工任务信息,对所述用户施工视频流行为分析,生成异常行为标识结果;
异常行为存储单元,用于当异常行为标识结果的标识行为数量大于或等于异常行为数量阈值,将所述异常行为标识结果存储于第一用户记录仪;
设备匹配执行单元,用于基于所述佩戴用户身份信息对所述第一用户记录仪进行上级记录仪匹配,获得上级记录仪编号;
联立存储执行单元,用于将所述异常行为标识结果和所述佩戴用户身份信息联立存储,根据所述上级记录仪编号发送至上级记录仪。
CN202410269014.7A 2024-03-11 2024-03-11 用于便携式记录交互的建筑施工管控方法及系统 Active CN117875909B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410269014.7A CN117875909B (zh) 2024-03-11 2024-03-11 用于便携式记录交互的建筑施工管控方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410269014.7A CN117875909B (zh) 2024-03-11 2024-03-11 用于便携式记录交互的建筑施工管控方法及系统

Publications (2)

Publication Number Publication Date
CN117875909A true CN117875909A (zh) 2024-04-12
CN117875909B CN117875909B (zh) 2024-06-11

Family

ID=90581612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410269014.7A Active CN117875909B (zh) 2024-03-11 2024-03-11 用于便携式记录交互的建筑施工管控方法及系统

Country Status (1)

Country Link
CN (1) CN117875909B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020056677A1 (zh) * 2018-09-20 2020-03-26 中建科技有限公司深圳分公司 一种用于建筑施工现场的违规检测方法、系统及设备
CN113645405A (zh) * 2021-07-30 2021-11-12 深圳法翼软件技术有限公司 一种用于人员监管的服务记录仪、管理平台系统及方法
CN115484437A (zh) * 2022-09-09 2022-12-16 广东重工建设监理有限公司 一种佩戴式旁站记录仪和系统及其旁站监理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020056677A1 (zh) * 2018-09-20 2020-03-26 中建科技有限公司深圳分公司 一种用于建筑施工现场的违规检测方法、系统及设备
CN113645405A (zh) * 2021-07-30 2021-11-12 深圳法翼软件技术有限公司 一种用于人员监管的服务记录仪、管理平台系统及方法
CN115484437A (zh) * 2022-09-09 2022-12-16 广东重工建设监理有限公司 一种佩戴式旁站记录仪和系统及其旁站监理方法

Also Published As

Publication number Publication date
CN117875909B (zh) 2024-06-11

Similar Documents

Publication Publication Date Title
CN109978409B (zh) 一种多工程企业级智慧工地区块链管理方法
CN111242574A (zh) 一种基于gps技术的智慧工地现场巡检管理系统及方法
CN111598040B (zh) 一种建筑工人身份识别及安全帽佩戴检测方法及系统
CN112785798B (zh) 面向电力变电站工程建设项目施工人员的行为分析方法
CN110163485A (zh) 一种机房巡检系统
CN206672041U (zh) 一种基于增强现实的矿用设备智能巡检和维护辅助系统
US20020072960A1 (en) Methods and devices utilizing a tracking system
CN113807240A (zh) 基于非配合式人脸识别的变电站人员着装智能监控方法
CN113034311A (zh) 一种基于bim的建筑施工监管系统及方法
CN111126217A (zh) 基于智能识别的输电线路智能运维管理系统
CN212933544U (zh) 一种基于边缘计算的现场作业安全识别系统
CN112184773A (zh) 一种基于深度学习的安全帽佩戴检测方法及系统
CN113469544A (zh) 一种安全作业的风险管控方法及系统
CN112819374A (zh) 一种铁路桥梁施工人员风险管理系统与方法
CN115294519A (zh) 一种基于轻量化网络的异常事件检测及预警方法
CN112580470A (zh) 城市视觉感知方法、装置、电子设备和存储介质
CN111860187A (zh) 一种高精度的佩戴口罩识别方法及系统
CN113922502B (zh) 一种智能视频运维管理系统及管理方法
Sun et al. Dynamic human systems risk prognosis and control of lifting operations during prefabricated building construction
CN117875909B (zh) 用于便携式记录交互的建筑施工管控方法及系统
CN113518123A (zh) 一种基于增强现实技术的国网数字换流站运维系统
CN116523492A (zh) 水电站监管方法及系统、电子设备和存储介质
CN116193083A (zh) 一种基于人工智能的安全识别系统
CN115481941A (zh) 一种多功能区联合的智能化安防管理方法及系统
RU2694139C1 (ru) Способ определения девиантного поведения человека в режиме одновременной работы группы видеокамер

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant