CN117333940A - 一种营销作业风险因素的精细识别方法和系统 - Google Patents

一种营销作业风险因素的精细识别方法和系统 Download PDF

Info

Publication number
CN117333940A
CN117333940A CN202311266792.2A CN202311266792A CN117333940A CN 117333940 A CN117333940 A CN 117333940A CN 202311266792 A CN202311266792 A CN 202311266792A CN 117333940 A CN117333940 A CN 117333940A
Authority
CN
China
Prior art keywords
feature
marketing
target
risk factors
fine
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311266792.2A
Other languages
English (en)
Inventor
李金灿
宋波
黄嘉宁
沙沛东
孙弘
秦洁露
黄冬生
代颖
李俊辉
杨振华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangxi Power Grid Co Ltd
Original Assignee
Guangxi Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangxi Power Grid Co Ltd filed Critical Guangxi Power Grid Co Ltd
Priority to CN202311266792.2A priority Critical patent/CN117333940A/zh
Publication of CN117333940A publication Critical patent/CN117333940A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Image Analysis (AREA)
  • Social Psychology (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Psychiatry (AREA)

Abstract

本发明属于图像识别技术领域，尤其涉及营销作业风险因素的精细识别方法和系统，方法包括基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，以检测作业人员的外观特征；识别营销作业现场图像中人员的人体关键点，并与所述外观特征结合，以得到营销作业风险因素的精细识别结果。基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，以检测作业人员的外观特征；识别营销作业现场图像中人员的人体关键点，并与所述外观特征结合，以得到营销作业风险因素的精细识别结果，能够提高识别作业活动中特定风险因素的准确度。

Description

一种营销作业风险因素的精细识别方法和系统
技术领域
本发明属于图像识别技术领域，尤其涉及一种营销作业风险因素的精细识别方法和系统。
背景技术
电网企业现场作业的安全监督办法虽然较为完善，但仍需相关安全管理人员人为执行，因此并不能保证百分之百的落到实处。特别是针对营销领域现场作业范围广、作业数量多、时效性要求高、部分作业在用户侧、主业人员和项目外单位人员兼有等问题，更难以保证监督人员对所有营销作业过程进行实时监控与风险预警信息实时反馈。
安全着装是电力作业安全管理中的重要内容，在电力作业场景下能够有效的保护作业人员的安全。但在实际作业中，作业人员不按照安全管理规定佩戴安全服装或执行操作时未按规定戴绝缘服装等违章行为时有发生，给电力作业现场带来极大的安全隐患。同时，这些安全服装和绝缘服装的外观不显眼，因此在实际的识别中，容易和其他的服装混淆，识别效果差。
发明内容
为了解决或者改善上述问题，本发明提供了营销作业风险因素的精细识别方法和系统，具体技术方案如下：
本发明提供一种营销作业风险因素的精细识别方法，包括：基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，以检测作业人员的外观特征；识别营销作业现场图像中人员的人体关键点，并与所述外观特征结合，以得到营销作业风险因素的精细识别结果。
优选的，所述基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，包括：基于深度残差神经网络处理原始图像数据，得到具有一定深度的特征图以表示目标；基于混合注意力机制，增强有利于表示目标的特征图并抑制其他特征图，在特征图内增强目标所在的前景区域并抑制背景区域的信息；采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率。
优选的，所述采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率，包括：基于所述目标的特征图，设计金字塔结构的区域建议网络以生成目标候选区域；在区域建议结果上，调整区域特征的尺寸以使每一个区域的特征图尺寸保持一致；通过全连接层对候选区域进行回归，以判定目标类型和位置。
优选的，所述识别营销作业现场图像中人员的人体关键点，包括：检测人体的各个关键点，确定人体关节的位置，以输出对应的特征点置信图；对检测到的人员的肢体的方向进行评估，以确定各个关键点之间的连接关系，聚类得到完整的个体信息和关键点之间的连接关系，构建人体骨骼姿态，输出局部亲和域。
优选的，所述作业人员的外观特征，包括安全帽、防护服和绝缘手套；对应的，所述以得到营销作业风险因素的精细识别结果，包括：通过所述外观特征，确定风险防护设备的完备状态信息；通过所述特征点置信图和所述局部亲和域，确定作业的行为状态信息。
本发明提供一种营销作业风险因素的精细识别系统，包括：第一模块，用于基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，以检测作业人员的外观特征；第二模块，用于识别营销作业现场图像中人员的人体关键点，并与所述外观特征结合，以得到营销作业风险因素的精细识别结果。
优选的，所述基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，包括：基于深度残差神经网络处理原始图像数据，得到具有一定深度的特征图以表示目标；基于混合注意力机制，增强有利于表示目标的特征图并抑制其他特征图，在特征图内增强目标所在的前景区域并抑制背景区域的信息；采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率。
优选的，所述采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率，包括：基于所述目标的特征图，设计金字塔结构的区域建议网络以生成目标候选区域；在区域建议结果上，调整区域特征的尺寸以使每一个区域的特征图尺寸保持一致；通过全连接层对候选区域进行回归，以判定目标类型和位置。
优选的，所述识别营销作业现场图像中人员的人体关键点，包括：检测人体的各个关键点，确定人体关节的位置，以输出对应的特征点置信图；对检测到的人员的肢体的方向进行评估，以确定各个关键点之间的连接关系，聚类得到完整的个体信息和关键点之间的连接关系，构建人体骨骼姿态，输出局部亲和域。
优选的，所述作业人员的外观特征，包括安全帽、防护服和绝缘手套；对应的，所述以得到营销作业风险因素的精细识别结果，包括：通过所述外观特征，确定风险防护设备的完备状态信息；通过所述特征点置信图和所述局部亲和域，确定作业的行为状态信息。
本发明的有益效果为：基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，以检测作业人员的外观特征；识别营销作业现场图像中人员的人体关键点，并与所述外观特征结合，以得到营销作业风险因素的精细识别结果，能够提高识别作业活动中特定风险因素的准确度。
附图说明
图1是根据本发明的营销作业风险因素的精细识别方法的流程图；
图2是根据本发明的营销作业风险因素的精细识别系统的示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
为解决背景提到的技术问题，本发明提供如图1所示的一种营销作业风险因素的精细识别方法，包括：基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，以检测作业人员的外观特征；识别营销作业现场图像中人员的人体关键点，并与所述外观特征结合，以得到营销作业风险因素的精细识别结果。
所述基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，包括：基于深度残差神经网络处理原始图像数据，得到具有一定深度的特征图以表示目标；基于混合注意力机制，增强有利于表示目标的特征图并抑制其他特征图，在特征图内增强目标所在的前景区域并抑制背景区域的信息；采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率。
所述采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率，包括：基于所述目标的特征图，设计金字塔结构的区域建议网络以生成目标候选区域；在区域建议结果上，调整区域特征的尺寸以使每一个区域的特征图尺寸保持一致；通过全连接层对候选区域进行回归，以判定目标类型和位置。
所述识别营销作业现场图像中人员的人体关键点，包括：检测人体的各个关键点，确定人体关节的位置，以输出对应的特征点置信图；对检测到的人员的肢体的方向进行评估，以确定各个关键点之间的连接关系，聚类得到完整的个体信息和关键点之间的连接关系，构建人体骨骼姿态，输出局部亲和域。
所述作业人员的外观特征，包括安全帽、防护服和绝缘手套；对应的，所述以得到营销作业风险因素的精细识别结果，包括：通过所述外观特征，确定风险防护设备的完备状态信息；通过所述特征点置信图和所述局部亲和域，确定作业的行为状态信息。
目前已有部分学者研究作业人员安全帽检测等手段，但主要技术思路均集中在“人员检测—身体部位检测—防护措施(安全帽)判别”这一方案，首先从监控图像中检测到作业人员，随后对作业人员各个部分进行检测，最后判断是否按照规定佩戴安全帽等。该方案步骤较为繁琐，且各个阶段之间联系不紧密，如在检测作业人员时，通常没有采用细节部分的信息，而在检测安全帽佩戴情况时，又仅使用头部的图像进行判断，导致模型整体鲁棒性不强。此外，现有方法对身体各个部分之间的联系仅使用距离来判断，因此在实际应用中很容易受到作业人员距离、动作变化等因素的影响。
本发明主要构建了一个作业人员安全防护状态细粒度辨识模型，通过多通道特征融合及多标签输出结构，对作业人员的安全帽、防护服、绝缘手套等防护措施进行端到端检测。相比于其他方法而言，该模型采用“整体—局部”联合识别方案，无需单独考虑局部目标识别之后的归属问题，且识别过程简单，有利于变电站作业人员安全管控的部署应用。
作业人员安全防护状态细粒度辨识模型的整体结构，主要可分为特征提取模块、细粒度安全防护辨识模块、人体关键点连接模块。
其中，特征提取过程包括：
特征提取网络是实现计算机视觉的基础结构，原始图像中数据量大、噪声多，直接对原始图像数据进行处理不仅需要进行无用的计算，且由于噪声的干扰，效果往往较差。因此，计算机视觉领域常采用卷积神经网络结构对图像特征进行提取和组合，从而形成能够表达图像复杂结构的深层语义信息。由于本发明的检测对象为工作服、绝缘手套等类别，该类别与普通衣服、未带绝缘手套这两种情况极为相似，通常的特征提取网络难以满足本发明应用的需求。因此，本发明在深度残差神经网络的基础上，引入混合注意力机制及多尺度特征融合机制，从而加强网络的提取和表达能力。
基础网络：本发明以ResNet为基础设计作业人员安全防护状态细粒度辨识模型的特征提取网络，深度残差网络(Deepresidualnetwork,ResNet)是计算机视觉领域最具有代表性的特征提取网络之一，相比于其他基于卷积神经网络的特征提取网络而言，深度残差网络采用残差结构实现参数的跨层连接和融合，能够有效解决卷积神经网络在模型深度过深时出现的梯度爆炸和过拟合问题。同时由于残差跨连接结构的应用，深度残差网络在特征的提取方面也表现出了明显的优势。随着网络层数的增加，对于深层特征的提取能力进一步增强，但会导致纹理特征的丢失，不利于后续细粒度目标检测任务的实施，同时计算量也将大幅上升。考虑到模型精度和计算量等因素，本发明选择ResNet-101作为模型的基础网络。
混合注意力机制的相关内容包括：
图片中的像素信息由卷积神经网络进行特征提取后，形成一定深度的特征图，由这些特征图来表示目标。在作业人员安全防护状态细粒度辨识任务中，未穿工作服和穿工作服、未戴绝缘手套和戴绝缘手套、未戴安全帽和戴安全帽之间的形状差异不明显，常用的特征提取网络难以提取到具有区分性的特征。为了提高特征提取网络对有效特征提取的能力，在提取特征时需要对重要区域赋予更多的关注，比如工作服的颜色及结构、安全帽和绝缘手套的颜色等。为了实现这一目标，本发明在特征提取网络中加入混合注意力模块，该模块主要分为通道注意力层和空间注意力层，通道注意力层可以增强有利于表示目标的特征图并抑制其他特征图，而空间注意力层则是在特征图内增强目标所在的前景区域，并抑制背景区域的信息。通过设计混合注意力模块，可以使得特征提取过程中尽可能聚焦于前景与背景之间的差异性区域，增加特征提取的有效性。
混合注意力的过程，需要经过通道注意力(模块)处理和空间注意力(模块)处理，其中，通道注意力(模块处理的过程)通过公式(1)计算得到：
其中，AvgPool(F)表示对特征图F执行平均池化操作，/>MaxPool(F)表示对特征图F执行最大值池化操作，MLP(*)表示使用多层感知机对注意力图进行学习，在本发明中多层感知机的参数为W1和W0，σ(*)表示执行Sigmod激活操作，/>和/>则分别表示每一个通道的特征图经过平均池化和最大值池化后的结果。Mc(F)表示经过通道注意力模块计算后得到的通道注意力图。其中/>
空间注意力(模块处理的过程)可以通过公式(2)计算得到：
其中，均值池化和最大值池化均在通道维度进行，因此得到的特征维度为/>在得到均值池化特征和最大值池化特征后，对两者进行拼接，得到维度为/>的新特征。随后，对特征执行卷积操作，即f7×7(*)，其中所使用的卷积核大小为7×7。
最终将通道注意力模块和空间注意力模块进行串联应用，形成混合注意力模块，计算公式(3)：
多尺度特征融合的相关内容包括：
卷积神经网络通过对原始图像进行卷积和池化操作，获取不同尺度的特征图。实验表明，浅层特征图分辨率高，较为完整的保留了原始图片的细节信息，但对于物体的整体形态表示能力不足；深层特征图经过了复杂的非线性变换，包含丰富的语义信息，但同时也由于分辨率过低而导致图片中的细节信息丢失。对于输电线路超小目标检测任务而言，浅层特征图难以捕捉目标整体形态信息，而深层特征图则由于卷积操作导致小目标像素信息损失，可利用信息大大减少。因此，本发明采用特征金字塔网络进行多尺度特征融合，从而作业人员安全防护状态细粒度辨识的准确率。
细粒度安全防护辨识的相关内容包括：
设置细粒度安全防护辨识模块，用于现场作业人员的安全防护措施是否符合规定进行检测。为了实现安全防护措施细粒度辨识。
本模块借鉴FasterRCNN的目标分类头进行设计。首先，本模块基于特征提取模块得到的特征图，设计了金字塔结构的区域建议网络(FPN-RPN)，用于生成目标候选区域。随后，在区域建议结果的基础上，本发明采用ROIAlign操作对区域特征进行尺寸调整，使每个区域的特征图尺寸保持一致。最后，通过全连接层对候选区域进行回归，判定目标类型与位置。
1)FPN-RPN：提出采用多尺度特征融合的方案来提取更为丰富的特征图，因此，在特征图的使用上同样构建FPN-RPN网络结构来完成候选区域建议。
在采用RPN网络生成候选锚框时，本发明首先设计了5种比例的候选锚框，分别是{1:3，1:2，1:1，2:1，3:1}，而特征提取网络中的特征金字塔结构共提供了5种不同尺度的特征图，因此在进行RPN操作时同一比例的锚框也应具有5个尺度，分别分布在对应的特征图中。随后，RPN网络对于生成的先验锚框进行分类，提取属于前景的锚框。在进行锚框的分类和回归时，首先采用卷积核大小为3×3的卷积对预测分支进行特征的融合，然后利用卷积核大小为1×1的全卷积进行分类和回归的预测，与原RPN网络使用全连接层的方式相比，该方式可以有效减少网络参数量，同时增强网络非线性的表达能力。
在RPN网络中，主要是需要通过分类层来判断该锚框是属于前景区域或者背景区域，并输出对应的概率分数，同时，RPN中还设置了回归层，用于调整锚框的位置，其中位置调整的公式：其中，即为回归曾预测得到的位置参数。
经过RPN网络后，每个锚框都可以获得一个置信度分数，分数的大小即表示该锚框存在目标的可能性的大小。因此，本发明选取置信度最高的2000个锚框作为候选框，用于后续的检测。
2)ROIAlign：经过FPN-RPN网络得到的候选区域大小不一，对应的特征图也具有不同的尺寸。在进行目标的分类和回归时，要求每个候选框输入的特征维度相同。若直接将候选框重采样到指定大小，则不同长宽比的目标会产生不同的形变，导致最终检测困难。因此，本发明中采取ROIAlign操作对候选框的尺寸进行统一。
本发明中设置ROIAlign操作后输出的特征图大小为7×7大，ROIAlign算法具体实现：
1)将原图中的感兴趣区域映射到特征图中，保留浮点数；
2)将特征图中的感兴趣区域平均切割为7×7大小的网格；
3)将采样数设置为4，在每个网格中将其均分成4个部分，以每部分的中心作为采样点；
4)对每个网格内的像素点进行最大池化操作，作为池化结果。
5)损失函数设计
训练细粒度安全防护辨识模块时，需要根据模型的损失函数来判断模型训练情况，当模型损失函数接近稳定状态时，可认为模型收敛。在细粒度安全防护辨识模块训练中需要对其中的RPNβ阶段和细粒度分类阶段分别建立损失函数。
RPN网络的损失函数：其中，等式左边第一项是分类任务的损失函数，第二项为边界框回归的损失函数，通过将多任务损失相加作为RPN网络的损失函数L，然后通过反向传播算法不断更新网络中的参数，直到网络性能最优。
细粒度分类阶段的损失函数：
L(p,u,tu,v)＝Lcls(p,u)+λ[u≥1]Lloc(tu,v)(u＝0,1,2,K)，该损失函数的组成和RPN网络的损失函数相似，在细粒度分类阶段中，由于不存在背景区域，因此除去了u＝0的情况，只计算需要分类的目标的损失。
设置营销现场作业人员关键点链接模块，以识别营销作业现场图像中人员的人体关键点。
借鉴OpenPose算法的思路，在特征提取模块的基础上，构建作业人员关键点连接模块，通过将人体关键点与上一小节中的身体部位识别结果相结合，从而保证作业人员安全防护状态识别结果的完整性和准确性。
作业人员关键点连接模块可以分成两部分，第一部分是对人体的各个关键点进行检测，从而得到人体各个关节的位置；第二部分是通过对人员的肢体的方向进行评估，寻找各个关键点之间的连接关系，从而聚类得到完整的个体信息以及各个关键点之间的连接关系，构建人体骨骼姿态。这两个部分输出的识别结果分别称为特征点置信图PCMs和局部亲和域PAFs。
为了实现对人体关键点置信图和局部亲和域的预测，本算法采用了双路分支预测网络
本发明提供如图2所示的一种营销作业风险因素的精细识别系统，包括：第一模块1，用于基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，以检测作业人员的外观特征；第二模块2，用于识别营销作业现场图像中人员的人体关键点，并与所述外观特征结合，以得到营销作业风险因素的精细识别结果。
所述基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，包括：基于深度残差神经网络处理原始图像数据，得到具有一定深度的特征图以表示目标；基于混合注意力机制，增强有利于表示目标的特征图并抑制其他特征图，在特征图内增强目标所在的前景区域并抑制背景区域的信息；采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率。
所述采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率，包括：基于所述目标的特征图，设计金字塔结构的区域建议网络以生成目标候选区域；在区域建议结果上，调整区域特征的尺寸以使每一个区域的特征图尺寸保持一致；通过全连接层对候选区域进行回归，以判定目标类型和位置。
所述识别营销作业现场图像中人员的人体关键点，包括：检测人体的各个关键点，确定人体关节的位置，以输出对应的特征点置信图；对检测到的人员的肢体的方向进行评估，以确定各个关键点之间的连接关系，聚类得到完整的个体信息和关键点之间的连接关系，构建人体骨骼姿态，输出局部亲和域。
所述作业人员的外观特征，包括安全帽、防护服和绝缘手套；对应的，所述以得到营销作业风险因素的精细识别结果，包括：通过所述外观特征，确定风险防护设备的完备状态信息；通过所述特征点置信图和所述局部亲和域，确定作业的行为状态信息。
本领域普通技术人员可以意识到，结合本实施例中所公开的实施例描述的各示例的单元，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的实施例中，应该理解到，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元可结合为一个单元，一个单元可拆分为多个单元，或一些特征可以忽略等。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (10)

1.一种营销作业风险因素的精细识别方法，其特征在于，包括：
基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，以检测作业人员的外观特征；
识别营销作业现场图像中人员的人体关键点，并与所述外观特征结合，以得到营销作业风险因素的精细识别结果。
2.根据权利要求1所述营销作业风险因素的精细识别方法，其特征在于，所述基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，包括：
基于深度残差神经网络处理原始图像数据，得到具有一定深度的特征图以表示目标；
基于混合注意力机制，增强有利于表示目标的特征图并抑制其他特征图，在特征图内增强目标所在的前景区域并抑制背景区域的信息；
采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率。
3.根据权利要求2所述营销作业风险因素的精细识别方法，其特征在于，所述采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率，包括：
基于所述目标的特征图，设计金字塔结构的区域建议网络以生成目标候选区域；
在区域建议结果上，调整区域特征的尺寸以使每一个区域的特征图尺寸保持一致；
通过全连接层对候选区域进行回归，以判定目标类型和位置。
4.根据权利要求3所述营销作业风险因素的精细识别方法，其特征在于，所述识别营销作业现场图像中人员的人体关键点，包括：
检测人体的各个关键点，确定人体关节的位置，以输出对应的特征点置信图；
对检测到的人员的肢体的方向进行评估，以确定各个关键点之间的连接关系，聚类得到完整的个体信息和关键点之间的连接关系，构建人体骨骼姿态，输出局部亲和域。
5.根据权利要求4所述营销作业风险因素的精细识别方法，其特征在于，所述作业人员的外观特征，包括安全帽、防护服和绝缘手套；
对应的，所述以得到营销作业风险因素的精细识别结果，包括：
通过所述外观特征，确定风险防护设备的完备状态信息；
通过所述特征点置信图和所述局部亲和域，确定作业的行为状态信息。
6.一种营销作业风险因素的精细识别系统，其特征在于，包括：
第一模块，用于基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，以检测作业人员的外观特征；
第二模块，用于识别营销作业现场图像中人员的人体关键点，并与所述外观特征结合，以得到营销作业风险因素的精细识别结果。
7.根据权利要求6所述营销作业风险因素的精细识别系统，其特征在于，所述基于深度残差神经网络、混合注意力机制和多尺度特征融合机制，处理原始图像数据，包括：
基于深度残差神经网络处理原始图像数据，得到具有一定深度的特征图以表示目标；
基于混合注意力机制，增强有利于表示目标的特征图并抑制其他特征图，在特征图内增强目标所在的前景区域并抑制背景区域的信息；
采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率。
8.根据权利要求7所述营销作业风险因素的精细识别系统，其特征在于，所述采用特征金字塔网络进行多尺度特征融合，以提高目标的粒度辨识的准确率，包括：
基于所述目标的特征图，设计金字塔结构的区域建议网络以生成目标候选区域；
在区域建议结果上，调整区域特征的尺寸以使每一个区域的特征图尺寸保持一致；
通过全连接层对候选区域进行回归，以判定目标类型和位置。
9.根据权利要求8所述营销作业风险因素的精细识别系统，其特征在于，所述识别营销作业现场图像中人员的人体关键点，包括：
检测人体的各个关键点，确定人体关节的位置，以输出对应的特征点置信图；
对检测到的人员的肢体的方向进行评估，以确定各个关键点之间的连接关系，聚类得到完整的个体信息和关键点之间的连接关系，构建人体骨骼姿态，输出局部亲和域。
10.根据权利要求9所述营销作业风险因素的精细识别系统，其特征在于，所述作业人员的外观特征，包括安全帽、防护服和绝缘手套；
对应的，所述以得到营销作业风险因素的精细识别结果，包括：
通过所述外观特征，确定风险防护设备的完备状态信息；
通过所述特征点置信图和所述局部亲和域，确定作业的行为状态信息。
CN202311266792.2A 2023-09-27 2023-09-27 一种营销作业风险因素的精细识别方法和系统 Pending CN117333940A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311266792.2A CN117333940A (zh) 2023-09-27 2023-09-27 一种营销作业风险因素的精细识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311266792.2A CN117333940A (zh) 2023-09-27 2023-09-27 一种营销作业风险因素的精细识别方法和系统

Publications (1)

Publication Number Publication Date
CN117333940A true CN117333940A (zh) 2024-01-02

Family

ID=89294524

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311266792.2A Pending CN117333940A (zh) 2023-09-27 2023-09-27 一种营销作业风险因素的精细识别方法和系统

Country Status (1)

Country Link
CN (1) CN117333940A (zh)

Similar Documents

Publication Publication Date Title
CN111898514B (zh) 一种基于目标检测与动作识别的多目标视觉监管方法
CN107133569A (zh) 基于泛化多标记学习的监控视频多粒度标注方法
CN109034210A (zh) 基于超特征融合与多尺度金字塔网络的目标检测方法
Han et al. Deep learning-based workers safety helmet wearing detection on construction sites using multi-scale features
CN107145851A (zh) 建筑作业区危险源智能识别系统
CN113553979B (zh) 一种基于改进yolo v5的安全服检测方法和系统
CN112149514B (zh) 一种施工作业人员的安全着装检测方法及系统
Hao et al. The design of intelligent transportation video processing system in big data environment
CN110232316A (zh) 一种基于改进的dsod模型的车辆检测与识别方法
CN112200106A (zh) 跨相机行人重识别与跟踪方法
CN110110755A (zh) 基于ptgan区域差距与多重分支的行人重识别检测算法及装置
Zhao et al. Detection and location of safety protective wear in power substation operation using wear-enhanced YOLOv3 algorithm
CN104504377A (zh) 一种公交车乘客拥挤程度识别系统及方法
CN116846059A (zh) 一种用于电网巡检和监控的边缘检测系统
Yang et al. Safety helmet wearing detection based on an improved YOLOv3 scheme
Zhao et al. Research of fire smoke detection algorithm based on video
CN117333816A (zh) 一种面向营销现场作业的安全风险辨识的前端系统
Li et al. Application research of artificial intelligent technology in substation inspection tour
CN114325856A (zh) 基于边缘计算的输电线异物监测方法
CN112597902A (zh) 一种基于核电安全的小目标智能识别方法
CN117333940A (zh) 一种营销作业风险因素的精细识别方法和系统
CN109614926B (zh) 基于预测模型的分布式光纤传感信号模式识别方法及系统
CN101286238A (zh) 仿生智能监控系统
Liu et al. Abnormal behavior analysis strategy of bus drivers based on deep learning
CN113221640B (zh) 一种带电作业主动预警与安全监测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication