CN115601712B - 适用于现场安全措施的图像数据处理方法及系统 - Google Patents
适用于现场安全措施的图像数据处理方法及系统 Download PDFInfo
- Publication number
- CN115601712B CN115601712B CN202211612224.9A CN202211612224A CN115601712B CN 115601712 B CN115601712 B CN 115601712B CN 202211612224 A CN202211612224 A CN 202211612224A CN 115601712 B CN115601712 B CN 115601712B
- Authority
- CN
- China
- Prior art keywords
- measure
- image
- safety
- safety measure
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title abstract description 17
- 238000010276 construction Methods 0.000 claims abstract description 75
- 238000012549 training Methods 0.000 claims description 63
- 238000012545 processing Methods 0.000 claims description 61
- 238000000034 method Methods 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 25
- 238000010606 normalization Methods 0.000 claims description 23
- 238000012360 testing method Methods 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 12
- 230000005540 biological transmission Effects 0.000 claims description 5
- 239000004744 fabric Substances 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012216 screening Methods 0.000 claims 1
- 238000010801 machine learning Methods 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/36—Applying a local operator, i.e. means to operate on image points situated in the vicinity of a given point; Non-linear local filtering operations, e.g. median filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
- Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
- Y04S10/00—Systems supporting electrical power generation, transmission or distribution
- Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Nonlinear Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Alarm Systems (AREA)
Abstract
本发明提供一种适用于现场安全措施的图像数据处理方法及系统，通过机器学习的方式自动对施工现场的图像中的安全措施进行识别，具体的在该方案中，电子设备在获取到图像采集设备采集的施工现场的图像之后，采用retinex单尺度SSR增强算法进行增强处理，将增强后的现场图像输入预先采用机器学习方式训练得到的安全措施识别模型对图像中的安全措施进行识别，得到至少一个安全措施的特征信息，然后将这些特征信息发送至监督人员的终端设备，通过模型对图像进行识别，直接得到现场的安全措施的特征信息，不需要在每个现场配置专门的安全人员，有效降低人工成本，并且模型对图像的处理速度非常快，有效提高了安全措施的识别效率。
Description
技术领域
本发明涉及图像处理技术，尤其涉及一种适用于现场安全措施的图像数据处理方法及系统。
背景技术
随着经济和科学技术的飞速发展，各个行业对于电力的需求和应用也更加多样化，需要在各种施工环境中进行电网工程建设以及维护，涉及电力的行业也容易造成重大安全事故，安全性是重中之重。
目前，现有技术中对于一般的施工现场，均需要配备专门的监督人员，对于施工现场的安全措施和不安全行为进行人工管理，以减少安全事故的发生，但是随着社会发展，涉及电力的施工数量越来越多，并且涉及的范围越来越大，全部采用人工进行安全监测和识别，需要耗费非常大的成本，并且监督人员承受着较大的压力，且采用人工对现场图像一一进行识别判断，又导致安全措施的识别效率较低。
发明内容
本发明实施例提供一种适用于现场安全措施的图像数据处理方法及系统。能够高效准确的实现对施工现场的安全措施的识别监督，且有效降低人工成本。
本发明实施例的第一方面，提供一种适用于现场安全措施的图像数据处理方法，包括：
从施工现场设置的图像采集设备中获取现场图像；
将所述现场图像采用retinex单尺度SSR增强算法进行增强处理，得到增强后的现场图像；
将所述增强后的现场图像，输入预先训练得到的安全措施识别模型进行识别，得到至少一个安全措施的特征信息，每个安全措施的特征信息中包括所述安全措施的中心坐标，高度，宽度以及类别，所述安全措施识别模型是根据预先标定的图像集合，采用YOLOv5算法训练得到的可以对安全措施进行识别的模型；
将所述至少一个安全措施的特征信息发送至监督人员的终端设备，每个安全措施的特征信息用于确定所述安全措施是否设置正确。
可选地，在第一方面的一种可能实现方式中，所述方法还包括：
采集获取多个施工现场的图像，每个施工现场的图像中包括至少一个安全措施，所述安全措施包括安全围栏，标识牌，绝缘垫和红布幔；
对每个施工现场的图像中的安全措施进行标定，并将标定的安全措施的信息进行归一化处理，得到标签数据；
将所述多个施工现场的图像以及标签数据按照预设比例进行划分，得到训练集和测试集；
基于YOLOv5算法构建初始模型；
基于所述训练集，所述测试集对所述初始模型进行训练和测试，得到所述安全措施识别模型。
可选地，在第一方面的一种可能实现方式中，对标定的安全措施的信息进行归一化处理采用的归一化公式为：
,
,
,
;
其中，W表示标定的安全措施的原始宽度，H标识标定的安全措施的原始高度，表示标定的安全措施的右上角的坐标，表示标定的安全
措施的左下角的坐标，（X,Y）为归一化处理后的安全措施的中心点坐标，W为归一化处理后
的安全措施的宽，H为归一化处理后的安全措施的高。
可选地，在第一方面的一种可能实现方式中，模型训练过程中采用的损失函数为：
;
其中，N表示所述训练集中的样本数量，为正整数，m表示所述训练集中作为训练样本的施工现场的图像，k表示标定的安全措施，a为模型训练过程中预测的输出。
可选的，在第一方面的一种可能实现方式中，所述方法还包括：
接收所述终端设备发送的安全措施提示信息，所述安全措施提示信息用于提示所述施工现场的安全措施是否设置正确；
将所述安全措施提示信息发送至施工人员的终端设备。
可选地，在第一方面的一种可能实现方式中，所述图像采集设备为设置在施工现场的无线云台摄像机；
相应的，所述从施工现场设置的图像采集设备中获取现场图像，包括：
接收所述无线云台摄像机实时传输的视频数据，所述视频数据是所述无线云台摄像机实时拍摄施工现场得到的；
根据预设时间间隔，对所述视频数据中的图像帧进行采样，得到所述现场图像。
本发明实施例的第二方面，提供一种适用于现场安全措施的图像数据处理装置，包括：
图像获取模块，用于从施工现场设置的图像采集设备中获取现场图像；
增强处理模块，用于将所述现场图像采用retinex单尺度SSR增强算法进行增强处理，得到增强后的现场图像；
识别处理模块，用于将所述增强后的现场图像，输入预先训练得到的安全措施识别模型进行识别，得到至少一个安全措施的特征信息，每个安全措施的特征信息中包括所述安全措施的中心坐标，高度，宽度以及类别，所述安全措施识别模型是根据预先标定的图像集合，采用YOLOv5算法训练得到的可以对安全措施进行识别的模型；
发送模块，用于将所述至少一个安全措施的特征信息发送至监督人员的终端设备，每个安全措施的特征信息用于确定所述安全措施是否设置正确。
本发明实施例的第三方面，提供一种电子设备，包括：
处理器，存储器以及传输接口；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现第一方面任一项所述的方法。
本发明实施例的第四方面，提供一种可读存储介质，所述可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面任一项所述的方法。
本发明实施例的第五方面，提供一种适用于现场安全措施的图像数据处理系统，包括：设置于施工现场的无线云台摄像机，电子设备以及监督人员的终端设备；
其中，所述无线云台摄像机用于对所述施工现场进行图像或者视频采集；所述终端设备用于接收所述电子设备传输的至少一个安全措施的识别特征信息；
所述电子设备用于执行第一方面任一项所述的方法。
本发明提供的一种适用于现场安全措施的图像数据处理方法及系统，通过机器学习的方式自动对施工现场的图像中的安全措施进行识别，具体的在该方案中，电子设备在获取到图像采集设备采集的施工现场的图像之后，采用retinex单尺度SSR增强算法进行增强处理，处理后的现场图像的清晰度明显提升，并且在图像结构和信噪比上也有较大提升，有利于后续进行安全措施的进一步识别。
并且，在增强处理后，将增强后的现场图像输入预先采用机器学习方式训练得到的安全措施识别模型对图像中的安全措施进行识别，得到至少一个安全措施的特征信息，然后将这些特征信息发送至监督人员的终端设备，以判断现场的安全措施的设置是否符合要求，通过模型对图像进行识别，直接得到现场的安全措施的特征信息，不需要在每个现场配置专门的安全人员，有效降低人工成本，并且模型对图像的处理速度非常快，有效提高了安全措施的识别效率。
附图说明
图1为本发明提供的适用于现场安全措施的图像数据处理方法实施例一的流程示意图；
图2为本发明提供的适用于现场安全措施的图像数据处理方法实施例二的流程示意图；
图3为本发明提供的适用于现场安全措施的图像数据处理方法实施例三的流程示意图；
图4为本发明提供的适用于现场安全措施的图像数据处理装置实施例一的示意图；
图5为本发明提供的适用于现场安全措施的图像数据处理装置实施例二的示意图；
图6为本发明提供的适用于现场安全措施的图像数据处理装置实施例三的示意图；
图7为本发明提供的电子设备实施例的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。
应当理解，在本发明的各种实施例中，各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
应当理解，在本发明中，“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本发明中，“多个”是指两个或两个以上。“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。“包含A、B和C”、“包含A、B、C”是指A、B、C三者都包含，“包含A、B或C”是指包含A、B、C三者之一，“包含A、B和/或C”是指包含A、B、C三者中任1个或任2个或3个。
应当理解，在本发明中，“与A对应的B”、“与A相对应的B”、“A与B相对应”或者“B与A相对应”，表示B与A相关联，根据A可以确定B。根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。A与B的匹配，是A与B的相似度大于或等于预设的阈值。
取决于语境，如在此所使用的“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。
下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
针对现有技术中存在的问题，本发明提供的一种适用于现场安全措施的图像数据处理方法及系统。
该适用于现场安全措施的图像数据处理方案主要应用在适用于现场安全措施的图像数据处理系统的电子设备侧。本发明提供的适用于现场安全措施的图像数据处理系统具体包括：至少一个施工现场的无线云台摄像机，电子设备以及各工作人员的终端设备，尤其是作为安全监督人员的终端设备。
应理解，该无线云台摄像机作为图像采集设备设置在施工现场，如果有需要，也可以在同一个施工现场设置多个图像采集设备。该无线云台摄像机为高清摄像机，既可以拍摄现场的高清图像，也可以拍摄高清视频，并且支持无线传输方式，例如：可以支持第四代移动通信技术（the 4th generation mobile communication technology，简称：4G），第五代移动通信技术（5th Generation Mobile Communication Technology，简称：5G）全网通卡的摄像机。或者可以内置WIFI模块，或者支持热点功能和无线路由器的工作方式等，对此本方案不做限制。该无线云台摄像机中拍摄获取到的视频或者图像文件可以在其中进行保存，保存时间可以根据实际情况进行设置。
该电子设备可以是控制管理各个施工现场的服务器，也可以是设置的专门用于进行安全措施识别的个人电脑，个人计算机等计算机设备，具体的设备形态不做限制，能够进行数据处理分析即可。
现场用户以及监督人员的终端设备可以是施工用终端，工业显示器，智能手机，电脑等能够被用户持有，并且能够进行内容的显示和输出的设备。
基于上述系统架构，下面对本发明提供的适用于现场安全措施的图像数据处理方法进行详细说明。
图1为本发明提供的适用于现场安全措施的图像数据处理方法实施例一的流程示意图，如图1所示，该方案应用于电子设备中，具体包括以下步骤：
S11，从施工现场设置的图像采集设备中获取现场图像。
在本步骤中，电子设备要对现场的安全措施进行识别处理，首先要从各个施工现场获取现场图像，具体的可以通过现场设置的图像采集设备中获取现场图像。电子设备可以主动向图像采集设备发送图像获取请求，由图像采集设备根据该图像获取请求进行拍摄，并返回现场图像。也可以是现场的图像采集设备主动拍摄现场图像进行实时上报。
在一种具体实现方式中，该图像采集设备可以为设置在施工现场的无线云台摄像机。因此电子设备获取现场图像的方式可以是：接收所述无线云台摄像机实时传输的视频数据，所述视频数据是所述无线云台摄像机实时拍摄施工现场得到的；根据预设时间间隔，对所述视频数据中的图像帧进行采样，得到所述现场图像。
在该实现方式中，无线云台摄像机实时对现场进行拍摄，得到现场的视频数据，并将该视频数据实时传输给电子设备，电子设备在需要对现场的安全措施进行识别时候，需要从该视频数据中获取现场图像，由于视频数据由很多帧图像组成，为了能够保障对现场安全措施的识别效果，并不是随意的图像都能够作为待识别的现场图像。因此电子设备需要对该视频数据中的图像进行采样，具体可以按照预设时间进行采样，将采样的图像全部作为现场图像，按照后续方式进行识别处理。
可选的，在电子设备对视频数据按照预设时间间隔进行采样后，得到的多张图像中，可以进一步的进行筛选，从这些采样的现场图像中，按照图像的特征数据，识别出图像质量最高的图像作为现场图像（例如：筛选出清晰度最高的图像，信噪比最高的图像，或者结构性相似性最好的图像等），以进行后续的识别处理，能够有效的提升现场安全措施的识别准确度。
S12，将现场图像采用retinex单尺度SSR增强算法进行增强处理，得到增强后的现场图像。
在本步骤中，在获取到现场图像之后，本方案中并不直接对该现场图像进行模型识别处理，而是首先对该图像进行增强处理，提高图像质量。
具体的，在对图像进行增强的过程中，可以直接采用拉普拉斯算子，直方图等方式进行增强，但是这些方式的增强效果都比较有限。本方案中，提出一种采用retinex单尺度（Single Scale Retinex，简称：SSR）增强算法的方式对现场图像进行增强处理。
retinex理论算法主要根据入射光线L（x，y）与物体的反射性质R（x,y）相乘得出。在该retinex理论算法中：
第一步，先试用对数运算将照射光与反射光分开：
S(x,y)=log(R(x,y)*L(x,y))=logR(x,y)+log L(x,y)。
第二步，再使用高斯模板对原待加强的现场图像进行卷积运算，也就是低通滤波，得到D(x,y)：
D(x,y)=S( x,y)* G( x,y) ；其中，G（x,y）代表高斯模板的函数。
第三步，使用原本的现场图像减去经过低通滤波后的图像，得到高频增强的图像r(x, y)： r(x,y)= S (x,y)- logD( x,y) ；
第四步，对r (x, y)取反对数，便可以得到增强图像R (x,y)：
R(x,y)= exp[r( x,y)]；
最后再对R(x,y)作对比度增强，便可以得到最终的处理结果。
进一步的，单尺度算法 SSR 是在retinex的理论基础上提出的，这一算法将retinex理论进行了实现，且具有较好的增强效果，具体的过程为将待增强的现场图像首先进行去雾处理，然后根据尺度构造高斯模型，再进行傅里叶转换至频域，最后进行高频增强，然后进行还原处理得到增强后的图像。
具体的，SRR单尺度算法过程中，首先根据已经得到的图像S通过卷积运算来估计入射光的模型：L(x,y)= S( x,y)* G( x,y);其中，G( x,y)为高斯卷积函数，该函数的表达式为：
；是高斯卷积函数的尺度常数，其值越大，则图像中的细
节部分的凸显效果越好，其越小便越加模糊。
之后 SSR 单尺度算法再通过在对数域中取对数来获得反射分量，反射分量与入射分量的关系以下公式来表达： R(x,y)=S( x,y)/ L(x,y)；
再通过对该表达式两边取对数，通过相减获得反射分量：
r(x, y)=logR(x,y)=logS( x,y)-log L(x,y)；
通过上述计算方式，在增强过程中对数转换过后，得到最终的图像更接近人眼的感知效果，并且对数转换可以将计算转换到更加容易进行的加减领域，减少运算时间，提高图像运算的效率。进一步的，由于人眼对于图像中变化比较大的图像区域更加敏感，因此，如果算法的目的是获得高频的信息，可以在计算 L (x, y)的过程中去除其中的低频部分，以使得高频的部分更加突出，让对人眼更加敏感的信息得到保存，这也是单尺度算法中去雾的原理。对于重要的需要感知的特征进一步进行了增强。
本方案中，对于原现场图像的增强处理的过程后，还可以采用直方均衡算法、线性函数增强算法、自适应直方均衡算法、以及拉普拉斯算子几种常见的对比度增强方法中选择合适的处理方式，对图像再次进行增强，尽可能的强化图像的边缘地区，使得图像的信息细节可以更具体，并且该过程中不对原有图像的颜色特点等造成影响。
S13，将增强后的现场图像，输入预先训练得到的安全措施识别模型进行识别，得到至少一个安全措施的特征信息。
在本方案中，每个安全措施的特征信息中包括所述安全措施的中心坐标，高度，宽度以及类别，所述安全措施识别模型是根据预先标定的图像集合，采用YOLOv5算法训练得到的可以对安全措施进行识别的模型。
YOLOv5算法是一种单阶段目标检测算法，为了提高目标检测的速度和精度，该算法主要做了以下改进：输入端的Mosaic数据增强、自适应锚框计算、自适应图片缩放操作；基准端的Focus结构与CSP结构；Neck端的SPP与FPN+PAN结构；输出端的损失函数GIOU_Loss以及预测框筛选的DIOU_nms。从而使采用这种算法训练得到的目标识别模型的识别速度与精度都有极大的提升。
在本步骤中，在将现场图像按照前述步骤进行增强处理以后，将增强后的现场图像输入预先采用YOLOv5算法训练得到的安全措施识别模型中，对现场图像中的安全措施进行识别处理，得到图像中所有的安全措施的特征信息。一般来说，识别出的特征信息包括安全措施的中心坐标，高度，宽度和类别。
S14，将至少一个安全措施的特征信息发送至监督人员的终端设备，每个安全措施的特征信息用于确定安全措施是否设置正确。
在本步骤中，通过前述的过程，识别除了现场图像中的所有安全措施之后，将识别出的一个或者一个以上的安全措施的特征信息，全部发送至监督人员的终端设备中进行的判断，以确定这些安全确实的设置是不是正确。
可选的，在另一种实现方式中，为了能够更进一步的提高对安全措施的识别效率，在得到至少一个安全措施的特征信息之后，可以在电子设备中直接进行处理。在该方案中，针对已有的现场，以及设置图像采集设备的位置都固定的情况下，可预先在电子设备中配置每个安全措施正确配置时候的安全措施的图像或者特征信息，也就是说，对于固定的现场，设置正确的每个安全措施的特征信息是相对固定的，将正确设置的安全措施的特征信息作为衡量标准，可以确定出需要识别的安全措施当下是否设置正确。
在这种方案中，电子设备在得到至少一个安全措施的特征信息后，从本地预先配置的特征信息中，获取每个安全措施的标准特征信息（正确设置时的特征信息），然后对标准特征信息和实际识别出的特征信息进行对比，当同一个安全措施的实际特征信息与标准特征信息之间的误差在预设范围内，则可以确定这个安全措施的设置是正确的，该方案并不需要再将安全措施的特征信息发送给监督人员的终端设备，通过自动进行判断即可得到结论，更进一步的降低了监督人员的工作量，提高了对安全措施的识别效率。
本实施例提供的适用于现场安全措施的图像数据处理方法，通过机器学习的方式自动对施工现场的图像中的安全措施进行识别，具体的在该方案中，电子设备在获取到图像采集设备采集的施工现场的图像之后，采用retinex单尺度SSR增强算法进行增强处理，将增强后的现场图像输入预先采用机器学习方式训练得到的安全措施识别模型对图像中的安全措施进行识别，得到至少一个安全措施的特征信息，然后将这些特征信息发送至监督人员的终端设备，通过模型对图像进行识别，直接得到现场的安全措施的特征信息，不需要在每个现场配置专门的安全人员，有效降低人工成本，并且模型对图像的处理速度非常快，有效提高了安全措施的识别效率。
图2为本发明提供的适用于现场安全措施的图像数据处理方法实施例二的流程示意图，如图2所示，在图1所示的实施例的中，安全措施识别模型可以按照如下方式进行训练：
S21，采集获取多个施工现场的图像，每个施工现场的图像中包括至少一个安全措施，安全措施包括安全围栏，标识牌，绝缘垫和红布幔。
在本步骤中，通过图像采集设备，在光照条件较好的情况下从固定角度对多个不同的施工现场分别进行图像采集。应理解针对同一个施工现场可以采集多个图像，并且每个图像中可以包括一个或者一个以上的安全措施，针对每个施工现场，也可以从各个不同的角度进行拍摄，从而使得图像中的安全措施的不同的角度都可以被采集到。
S22，对每个施工现场的图像中的安全措施进行标定，并将标定的安全措施的信息进行归一化处理，得到标签数据。
在本步骤中，在得到了施工现场的图像之后，针对每个图像，采用标定工具将图像中的安全措施进行标定，得到标签数据。每个图像对应的标签数据中包括图像中的每个安全措施的特征数据。进一步地，对标定后的安全措施的信息进行归一化处理，具体的，可以采用如下公式对安全措施的特征进行归一化处理：
,
,
,
;
其中，W表示标定的安全措施的原始宽度，H标识标定的安全措施的原始高度，表示标定的安全措施的右上角的坐标，表示标定的安全
措施的左下角的坐标，（X,Y）为归一化处理后的安全措施的中心点坐标，W为归一化处理后
的安全措施的宽，H为归一化处理后的安全措施的高。
S23，将多个施工现场的图像以及标签数据按照预设比例进行划分，得到训练集和测试集。
在按照上述方式进行标定和归一化处理之后，得到归一化处理后的标签数据。综合的前述采集的施工现场的所有图像以及归一化处理后的标签数据，将这些数据总体进行划分，得到训练集和测试集，一般来说训练集的数据要多于测试集，具体的可以按照预设比例进行划分，本发明对此不做限制。例如，可以采用8:2的比例进行划分，得到最终的训练集和测试集。
S24，基于YOLOv5算法构建初始模型。
S25，基于训练集，测试集对初始模型进行训练和测试，得到安全措施识别模型。
在上述两个步骤中，在本步骤中，采用YOLOv5算法，并将图像中的安全措施的边框作为回归损失函数构建初始模型。然后将之前得到的训练集和测试机导入该初始模型中进行训练和测试，在该训练过程中，采用的损失函数的公式为：
;
其中，N表示所述训练集中的样本数量，为正整数，m表示所述训练集中作为训练样本的施工现场的图像，k表示标定的安全措施，a为模型训练过程中预测的输出。
在刚开始训练的过程中，由于神经网络的不稳定性会导致训练误差比较高，随着训练的迭代次数越来越多，误差会越来越小，直至四千次左右，模型基本上就可以达到稳定，从而可以得到最终的训练结果，也就是前述的安全措施识别模型。
本实施例提供的适用于现场安全措施的图像数据处理方法，采用YOLOv5算法构建训练模型，训练得到本方案所需要的安全措施识别模型，然后在具体的应用场景下对该模型进行部署，实现对施工现场的现场图像中的安全措施的识别，直接得到现场的安全措施的特征信息，不需要在每个现场配置专门的安全人员，有效降低人工成本，并且模型对图像的处理速度非常快，有效提高了安全措施的识别效率。
图3为本发明提供的适用于现场安全措施的图像数据处理方法实施例三的流程示意图，如图3所示，在前述两个实施例的基础上，该方法还包括：
S15，接收终端设备发送的安全措施提示信息，安全措施提示信息用于提示施工现场的安全措施是否设置正确。
S16，将安全措施提示信息发送至施工人员的终端设备。
在本实施例中，电子设备在得到了现场图像中的至少一个安全措施的特征信息之后，将这些安全措施的特征信息发送至监督人员的终端设备上，监督人员的终端设备将这些安全措施以及对应的特征信息进行展示，由监督人员进行判断，确定每个安全措施是否设置正确，并进行确认，从而在终端设备中生成安全措施提示信息，再通过终端设备将安全措施提示信息返回电子设备。电子设备在接收到安全措施提示信息之后，可以通过施工现场的电子屏幕或者现场的工作人员的终端设备等，将该安全措施提示信息进行输出，提示现场的工作人员，那些安全措施设置不正确，需要调整后再进行施工。
在本方案中，可选的，监督人员的终端设备也可以直接对接收到的电子设备发送现场图像中的安全措施的特征信息直接进行分析处理，具体的，可预先在监督人员的终端设备中配置每个安全措施正确配置时候的安全措施的图像或者特征信息，对于固定的现场，设置正确的每个安全措施的特征信息是相对固定的，将正确设置的安全措施的特征信息作为衡量标准，可以确定出需要识别的安全措施当下是否设置正确。该监督人员的终端设备在得到至少一个安全措施的特征信息后，从本地预先配置的特征信息中，获取每个安全措施的标准特征信息，然后对标准特征信息和实际识别出的特征信息进行对比，当同一个安全措施的实际特征信息与标准特征信息之间的误差在预设范围内，则可以确定这个安全措施的设置是正确的，否则，则设置的不正确，根据判断的结果生成安全措施提示信息。
本实施例中，通过监督人员的终端设备对现场图像中的安全措施的特征信息的分析处理，得到现场安全措施的设置是否正确，并反馈到施工现场进行输出，保证施工现场的安全，更进一步的降低了监督人员的工作量，提高了对安全措施的识别效率。
图4为本发明提供的适用于现场安全措施的图像数据处理装置实施例一的示意图，如图4所示，该适用于现场安全措施的图像数据处理装置100包括：
图像获取模块101，用于从施工现场设置的图像采集设备中获取现场图像；
增强处理模块102，用于将所述现场图像采用retinex单尺度SSR增强算法进行增强处理，得到增强后的现场图像；
识别处理模块103，用于将所述增强后的现场图像，输入预先训练得到的安全措施识别模型进行识别，得到至少一个安全措施的特征信息，每个安全措施的特征信息中包括所述安全措施的中心坐标，高度，宽度以及类别，所述安全措施识别模型是根据预先标定的图像集合，采用YOLOv5算法训练得到的可以对安全措施进行识别的模型；
发送模块104，用于将所述至少一个安全措施的特征信息发送至监督人员的终端设备，每个安全措施的特征信息用于确定所述安全措施是否设置正确。
图5为本发明提供的适用于现场安全措施的图像数据处理装置实施例二的示意图，如图5所示，在上述实施例的基础上，该适用于现场安全措施的图像数据处理装置100还包括：
图像采集模块105，用于采集获取多个施工现场的图像，每个施工现场的图像中包括至少一个安全措施，所述安全措施包括安全围栏，标识牌，绝缘垫和红布幔；
标定模块106，用于对每个施工现场的图像中的安全措施进行标定，并将标定的安全措施的信息进行归一化处理，得到标签数据；
数据处理模块107，用于将所述多个施工现场的图像以及标签数据按照预设比例进行划分，得到训练集和测试集；
模型训练模块108，用于基于YOLOv5算法构建初始模型；
所述模型训练模块108还用于基于所述训练集，所述测试集对所述初始模型进行训练和测试，得到所述安全措施识别模型。
可选的，对标定的安全措施的信息进行归一化处理采用的归一化公式为：
,
,
,
;
其中，W表示标定的安全措施的原始宽度，H标识标定的安全措施的原始高度，表示标定的安全措施的右上角的坐标，表示标定的安全
措施的左下角的坐标，（X,Y）为归一化处理后的安全措施的中心点坐标，W为归一化处理后
的安全措施的宽，H为归一化处理后的安全措施的高。
可选的，模型训练过程中采用的损失函数为：
;
其中，N表示所述训练集中的样本数量，为正整数，m表示所述训练集中作为训练样本的施工现场的图像，k表示标定的安全措施，a为模型训练过程中预测的输出。
图6为本发明提供的适用于现场安全措施的图像数据处理装置实施例三的示意图，如图6所示，在上述实施例的基础上，该适用于现场安全措施的图像数据处理装置100还包括：
接收模块109，用于接收所述终端设备发送的安全措施提示信息，所述安全措施提示信息用于提示所述施工现场的安全措施是否设置正确；
所述发送模块104还用于将所述安全措施提示信息发送至施工人员的终端设备。
可选的，所述图像采集设备为设置在施工现场的无线云台摄像机；
相应的，所述图像获取模块101具体用于：
接收所述无线云台摄像机实时传输的视频数据，所述视频数据是所述无线云台摄像机实时拍摄施工现场得到的；
根据预设时间间隔，对所述视频数据中的图像帧进行采样，得到所述现场图像。
前述任一实施例提供的适用于现场安全措施的图像数据处理装置，用于执行前述任一方法实施例中的技术方案，其实现原理和技术效果类似，在此不再赘述。
图7为本发明提供的电子设备实施例的示意图，如图7所示，该电子设备200包括：
处理器201，存储器202以及传输接口203；
所述存储器202存储计算机执行指令；
所述处理器201执行所述存储器202存储的计算机执行指令，以实现前述任一方法实施例中的技术方案。
本发明还提供一种可读存储介质，所述可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现前述任一方法实施例的技术方案。
在上述电子设备的实施例中，应理解，处理器可以是中央处理单元（英文：CentralProcessing Unit，简称：CPU），还可以是其他通用处理器、数字信号处理器（英文：DigitalSignal Processor，简称：DSP）、专用集成电路（英文：Application Specific IntegratedCircuit，简称：ASIC）等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。
Claims (6)
1.一种适用于现场安全措施的图像数据处理方法，其特征在于，包括：
对设置在施工现场的无线云台摄像机实时上传的视频数据中根据预设时间间隔进行帧采样，并对多个采样的图像中筛选出结构相似性最高的图像作为现场图像；
将所述现场图像采用retinex单尺度SSR增强算法进行增强处理，得到增强后的现场图像，所述采用retinex单尺度SSR增强算法进行增强处理包括对所述现场图像进行去雾处理，根据尺度构造高斯模型进行卷积处理，进行傅里叶变化和高频增强处理，其中，在构造所述高斯模型过程中，计算入射光模型时剔除所述现场图像的低频部分；
将所述增强后的现场图像，输入预先训练得到的安全措施识别模型进行识别，得到至少一个安全措施的特征信息，每个安全措施的特征信息中包括所述安全措施的中心坐标，高度，宽度以及类别，所述安全措施识别模型是根据预先标定的图像集合，采用YOLOv5算法训练得到的可以对安全措施进行识别的模型；
将所述至少一个安全措施的特征信息发送至监督人员的终端设备，每个安全措施的特征信息用于确定所述安全措施是否设置正确；
其中，所述安全措施识别模型是按照如下方式训练得到的：
采集获取多个施工现场的图像，每个施工现场的图像中包括至少一个安全措施，所述安全措施包括安全围栏，标识牌，绝缘垫和红布幔；
对每个施工现场的图像中的安全措施进行标定，并将标定的安全措施的信息进行归一化处理，得到标签数据，对标定的安全措施的信息进行归一化处理采用的归一化公式为：,/>,/>,/>；其中，W表示标定的安全措施的原始宽度，H标识标定的安全措施的原始高度，/>表示标定的安全措施的右上角的坐标，/>表示标定的安全措施的左下角的坐标，（X,Y）为归一化处理后的安全措施的中心点坐标，W为归一化处理后的安全措施的宽，H为归一化处理后的安全措施的高；
将所述多个施工现场的图像以及标签数据按照预设比例进行划分，得到训练集和测试集；
基于YOLOv5算法构建初始模型；
基于所述训练集，所述测试集对所述初始模型进行训练和测试，得到所述安全措施识别模型，在模型训练过程中采用的损失函数为：
；
其中，N表示所述训练集中的样本数量，为正整数，m表示所述训练集中作为训练样本的施工现场的图像，k表示标定的安全措施，a为模型训练过程中预测的输出。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
接收所述终端设备发送的安全措施提示信息，所述安全措施提示信息用于提示所述施工现场的安全措施是否设置正确；
将所述安全措施提示信息发送至施工人员的终端设备。
3.一种适用于现场安全措施的图像数据处理装置，其特征在于，包括：
图像获取模块，用于对设置在施工现场的无线云台摄像机实时上传的视频数据中根据预设时间间隔进行帧采样，并对多个采样的图像中筛选出结构相似性最高的图像作为现场图像；
增强处理模块，用于将所述现场图像采用retinex单尺度SSR增强算法进行增强处理，得到增强后的现场图像，所述采用retinex单尺度SSR增强算法进行增强处理包括对所述现场图像进行去雾处理，根据尺度构造高斯模型进行卷积处理，进行傅里叶变化和高频增强处理，其中，在构造所述高斯模型过程中，计算入射光模型时剔除所述现场图像的低频部分；
识别处理模块，用于将所述增强后的现场图像，输入预先训练得到的安全措施识别模型进行识别，得到至少一个安全措施的特征信息，每个安全措施的特征信息中包括所述安全措施的中心坐标，高度，宽度以及类别，所述安全措施识别模型是根据预先标定的图像集合，采用YOLOv5算法训练得到的可以对安全措施进行识别的模型；
发送模块，用于将所述至少一个安全措施的特征信息发送至监督人员的终端设备，每个安全措施的特征信息用于确定所述安全措施是否设置正确；
其中，所述装置还包括：
图像采集模块，用于采集获取多个施工现场的图像，每个施工现场的图像中包括至少一个安全措施，所述安全措施包括安全围栏，标识牌，绝缘垫和红布幔；
标定模块，用于对每个施工现场的图像中的安全措施进行标定，并将标定的安全措施的信息进行归一化处理，得到标签数据，对标定的安全措施的信息进行归一化处理采用的归一化公式为：,/>,/>,/>；其中，W表示标定的安全措施的原始宽度，H标识标定的安全措施的原始高度，表示标定的安全措施的右上角的坐标，/>表示标定的安全措施的左下角的坐标，（X,Y）为归一化处理后的安全措施的中心点坐标，W为归一化处理后的安全措施的宽，H为归一化处理后的安全措施的高；
数据处理模块，用于将所述多个施工现场的图像以及标签数据按照预设比例进行划分，得到训练集和测试集；
模型训练模块，用于：
基于YOLOv5算法构建初始模型；
基于所述训练集，所述测试集对所述初始模型进行训练和测试，得到所述安全措施识别模型，在模型训练过程中采用的损失函数为：
；
其中，N表示所述训练集中的样本数量，为正整数，m表示所述训练集中作为训练样本的施工现场的图像，k表示标定的安全措施，a为模型训练过程中预测的输出。
4.一种电子设备，其特征在于，包括：
处理器，存储器以及与其他设备进行数据传输的传输接口；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现权利要求1或2所述的方法。
5.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1或2所述的方法。
6.一种适用于现场安全措施的图像数据处理系统，其特征在于，包括：设置于施工现场的无线云台摄像机，电子设备以及监督人员的终端设备；
其中，所述无线云台摄像机用于对所述施工现场进行图像或者视频采集；所述终端设备用于接收所述电子设备传输的至少一个安全措施的识别特征信息；
所述电子设备用于执行权利要求1或2所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211612224.9A CN115601712B (zh) | 2022-12-15 | 2022-12-15 | 适用于现场安全措施的图像数据处理方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211612224.9A CN115601712B (zh) | 2022-12-15 | 2022-12-15 | 适用于现场安全措施的图像数据处理方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115601712A CN115601712A (zh) | 2023-01-13 |
| CN115601712B true CN115601712B (zh) | 2023-08-22 |
Family
ID=84854188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211612224.9A Active CN115601712B (zh) | 2022-12-15 | 2022-12-15 | 适用于现场安全措施的图像数据处理方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115601712B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116311088B (zh) * | 2023-05-24 | 2023-08-04 | 山东亿昌装配式建筑科技有限公司 | 一种基于建筑工地的施工安全监测方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652046A (zh) * | 2020-04-17 | 2020-09-11 | 济南浪潮高新科技投资发展有限公司 | 基于深度学习的安全穿戴检测方法、设备及系统 |
| CN112163572A (zh) * | 2020-10-30 | 2021-01-01 | 国网北京市电力公司 | 识别对象的方法和装置 |
| CN115180522A (zh) * | 2022-05-31 | 2022-10-14 | 品茗科技股份有限公司 | 一种起吊装置施工现场的安全监测方法和系统 |
| CN115376130A (zh) * | 2022-08-22 | 2022-11-22 | 广东电网有限责任公司 | 电力施工现场识别模型的生成方法、装置、设备及介质 |
-
2022
- 2022-12-15 CN CN202211612224.9A patent/CN115601712B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111652046A (zh) * | 2020-04-17 | 2020-09-11 | 济南浪潮高新科技投资发展有限公司 | 基于深度学习的安全穿戴检测方法、设备及系统 |
| CN112163572A (zh) * | 2020-10-30 | 2021-01-01 | 国网北京市电力公司 | 识别对象的方法和装置 |
| CN115180522A (zh) * | 2022-05-31 | 2022-10-14 | 品茗科技股份有限公司 | 一种起吊装置施工现场的安全监测方法和系统 |
| CN115376130A (zh) * | 2022-08-22 | 2022-11-22 | 广东电网有限责任公司 | 电力施工现场识别模型的生成方法、装置、设备及介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115601712A (zh) | 2023-01-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2020078229A1 (zh) | 目标对象的识别方法和装置、存储介质、电子装置 | |
| CN108197546B (zh) | 人脸识别中光照处理方法、装置、计算机设备及存储介质 | |
| CN107563976B (zh) | 美颜参数获取方法、装置、可读存储介质和计算机设备 | |
| CN113706495B (zh) | 一种在传送带上自动检测锂电池参数的机器视觉检测系统 | |
| CN109544870B (zh) | 用于智能监控系统的报警判断方法与智能监控系统 | |
| CN115601712B (zh) | 适用于现场安全措施的图像数据处理方法及系统 | |
| CN110602488A (zh) | 一种日夜型摄像装置切换异常检测方法、装置及摄像装置 | |
| WO2023093151A1 (zh) | 图像筛选方法及装置、电子设备和存储介质 | |
| CN110879131B (zh) | 目视光学系统的成像质量测试方法、成像质量测试装置和电子设备 | |
| CN107016324B (zh) | 一种指纹图像处理方法和指纹探测设备 | |
| CN112926483A (zh) | 标准机柜状态指示灯识别监测方法、装置和系统 | |
| CN111639708B (zh) | 图像处理方法、装置、存储介质及设备 | |
| TW201445458A (zh) | 一種攝像設備的檢測裝置及方法 | |
| CN112069880A (zh) | 活体检测方法、装置、电子设备和计算机可读介质 | |
| CN112883762A (zh) | 一种活体检测方法、装置、系统及存储介质 | |
| Negar et al. | Smartphone-based light intensity calculation application for accessibility measurement | |
| CN111669575B (zh) | 图像处理效果的测试方法、系统、电子设备、介质及终端 | |
| WO2017219562A1 (zh) | 一种二维码生成方法及装置 | |
| CN109060831B (zh) | 一种基于底板拟合的自动脏污检测方法 | |
| CN113011222B (zh) | 一种活体检测系统、方法及电子设备 | |
| CN110532993B (zh) | 一种人脸防伪方法、装置、电子设备及介质 | |
| CN112907454B (zh) | 获取图像的方法、装置、计算机设备和存储介质 | |
| US11893791B2 (en) | Pre-processing image frames based on camera statistics | |
| CN108745444B (zh) | 一种试管及试管架识别系统 | |
| CN117191701A (zh) | 一种适用于打光量化的测试方法、系统、平台及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: Image data processing methods and systems applicable to on-site safety measures Granted publication date: 20230822 Pledgee: Nanjing Bank Co.,Ltd. Nanjing Financial City Branch Pledgor: NANJING ELECTRIC POWER AUTOMATION EQUIPMENT THIRD FACTORY Co.,Ltd. Registration number: Y2024980015791 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right |