CN111680610A - 一种施工场景异常监测方法和装置 - Google Patents
一种施工场景异常监测方法和装置 Download PDFInfo
- Publication number
- CN111680610A CN111680610A CN202010493650.XA CN202010493650A CN111680610A CN 111680610 A CN111680610 A CN 111680610A CN 202010493650 A CN202010493650 A CN 202010493650A CN 111680610 A CN111680610 A CN 111680610A
- Authority
- CN
- China
- Prior art keywords
- construction scene
- image
- processing unit
- central processing
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000010276 construction Methods 0.000 title claims abstract description 138
- 238000000034 method Methods 0.000 title claims abstract description 37
- 238000012544 monitoring process Methods 0.000 title claims abstract description 37
- 238000012545 processing Methods 0.000 claims abstract description 82
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 75
- 238000013528 artificial neural network Methods 0.000 claims abstract description 47
- 230000002159 abnormal effect Effects 0.000 claims abstract description 22
- 238000004364 calculation method Methods 0.000 claims abstract description 11
- 230000006399 behavior Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 17
- 230000002087 whitening effect Effects 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 13
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000007635 classification algorithm Methods 0.000 claims description 9
- 230000005856 abnormality Effects 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000012805 post-processing Methods 0.000 claims description 5
- 238000012806 monitoring device Methods 0.000 claims description 3
- 238000004148 unit process Methods 0.000 claims description 3
- 230000005764 inhibitory process Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 description 11
- 125000004122 cyclic group Chemical group 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 239000002689 soil Substances 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000002893 slag Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种施工场景异常监测方法和装置,中央处理器调用算法模型,中央处理器接收施工场景图像,神经网络处理器根据算法模型对施工场景图像进行运算,输出运算结果,中央处理器基于运算结果判断施工场景图像中的施工场景是否存在异常;通过对施工场景图像进行运算,基于运算结果判断施工场景有无异常,避免人工长期监控施工场景,降低了所需人力。
Description
技术领域
本发明属于施工场景图像监测领域,特别涉及一种施工场景异常监测方法和装置。
背景技术
随着我国经济建设的高速发展,各行业类的工地施工如火如荼,诸如国家公路、高铁轨道线、电力变电站和高压输电网、石油管道铺设等等,这些工地现场,很多都处于偏离城市地带,同时具有一个显著特点就是随着工地的建设施工,工地施工地点也随着线路的不断变化而迁移,传统的监控方案不太能够满足该类项目的应用需求,高清智能布控球是在国内4G网络的普及、高清视频技术、GPS北斗定位、存储等电子信息技术的高速发展和成熟的技术产物,能够广泛的应用于远程临时布控场景,包括上述工地的安全管控的应用;但现有的方案的只能实现监控,通过4G将监控图像回传至远程监控中心,由监控中心的人员来判断是否存在违规行为,监控中心人员需要24小时持续关注监控图像,比较费人力资源。
发明内容
针对上述问题,本发明提出一种施工场景异常监测方法,包括:
中央处理器调用算法模型;
中央处理器接收施工场景图像;
神经网络处理器根据算法模型对施工场景图像进行运算,输出运算结果;
中央处理器基于运算结果判断施工场景图像中的施工场景是否存在异常。
优选地,中央处理器接收施工场景图像之前还包括:
基于算法模型初始化神经网络处理器的算子,得到权重和偏置;
基于算法模型初始化神经网络处理器的内存,具体包括:
获取待输入施工场景图像尺寸;
加载算法模型获取输出大小,预估临时变量内存大小;
基于输出大小申请相应的输出接收内存大小;
基于临时变量内存大小申请相应内存。
优选地,所述神经网络处理器根据算法模型对施工场景图像进行运算之前还包括:
中央处理器将施工场景图像由YUV格式转换为RGB格式,转换公式具体为:
R=Y+1.4075*V
G=Y-0.3455*U-0.7169*V
B=Y+1.779*U
中央处理器对施工场景图像进行白化处理,具体包括:
计算施工场景图像所有像素的均值和方差;
对施工场景图像上的每个像素减去均值,随后除以方差,得到白化处理后的施工场景图像。
优选地,所述神经网络处理器根据算法模型对施工场景图像进行运算,得到运算结果包括:
获取施工场景图像的特征图,基于下述公式计算结果:
Y=Wx+B
式中,Y为运算结果,x为输入特征图,W为权重数据,B为偏置。
优选地,中央处理器基于分类算法、检测算法和分割算法处理神经网络处理器输出的运算结果;
分类算法:中央处理器将神经网络处理器输出的运算结果输入softmax函数,输出最大值索引;
检测算法:中央处理器对申请网络处理器输出的运算结果进行分类和定位,将定位结果直接输出,将分类结果保留阈值的索引,进行非极大值抑制操作,合法索引,根据索引保留定位框,将结果输出;
分割算法:中央处理器基于神经网络处理器计算像素值通道结果,基于像素值通道结果和阈值判断每个像素所属类别,得到分割结果。
优选地,所述算法模型为行人越界模型,中央处理器基于重叠度算法判断行人有无越界,具体包括:
获取行人框区域;
获取周界框区域;
计算行人框区域和周界框区域的交集;
计算交集与行人框区域的比值;
判断比值是否超过预设阈值,若比值超过预设阈值,判定行人越界。
优选地,若中央处理器基于运算结果判断施工场景图像中的施工场景存在异常,则中央处理器发送异常信息。
优选地,中央处理器基于算法模型,追踪兴趣目标;
优选地,所述中央处理器调用算法模型之前,还包括对算法模型进行训练。
优选地,判断施工场景图像中施工场景有无施工行为,若无施工行为,中央处理器减少单位时间内施工场景图像关键帧的接收数量。
本发明还提出一种施工场景异常监测装置,包括中央处理器和神经网络处理器,中央处理器包括:
算法调用单元,用于调用算法模型;
图像接收单元,用于接收施工场景图像;
图像转换单元,用于转换图像类型;
图像白化单元,用于对图像进行白化处理;
后处理单元,用于基于分类算法、检测算法和分割算法处理神经网络处理器输出的运算结果;
判断单元,用于基于运算结果判断图像中的施工场景是否存在异常;
发送单元,用于基于判断单元的判断结果发送异常信息;
神经网络处理器包括:
运算单元,用于根据算法模型对施工场景图像进行运算,得到运算结果。
本发明的施工场景异常监测方法和装置,通过对施工场景图像进行运算,基于运算结果判断施工场景有无异常,避免人工长期监控施工场景,降低了所需人力。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了施工场景异常监测方法流程图;
图2示出了神经网络处理器初始化示意图;
图3示出了初始化神经网络处理器内存示意图;
图4示出了分类算法示意图;
图5示出了检测算法示意图;
图6示出了分割算法示意图;
图7示出了IOU计算示意图;
图8示出了行人越界报警流程示意图;
图9示出了安全帽、工装检测流程示意图;
图10示出了追踪渣土车流程示意图;
图11示出了中央处理器和神经网络处理器处理流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地说明,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提出一种施工场景异常监测方法,可以应用在不同的施工场地,例如电力施工场地,电力施工大多数存在带电作业,危险等级较高,如果不进行异常监测,容易导致安全事件发生。具体可以是监测外界不相关人员进入施工区域、监测施工人员有无穿戴工作服装、监测施工人员有无违规行为等等。不同监测目的对应不同的算法模型;本实施例提出监测方法还可以应用在如轨道施工场地、油气管道铺设场地等等。
首先需要存储不同的算法模型,例如行人越界模型、火焰与烟雾监测模型、侵入监测模型、工装穿戴监测模型等等,根据实际需求预先存储不同的算法模型。
参照图1,根据现场需求,调用相应的算法模型,例如当前为了防止火灾发生,需要监测有无火焰,那么就调用火焰与烟雾监测模型,如果防止外界的人或物进入施工场景,那么就调用侵入监测模型;本实施例中是通过中央处理器(CPU,central processing unit)调用相应的算法模型,具体是中央处理器内设有算法调用单元,算法调用单元调用算法模型。
接收施工场景图像,具体可以是实时接收施工场景的视频图像,也可以是间歇性的采集施工场景图片;本实施例中是通过中央处理器接收施工场景图像,具体是中央处理器内设有图像接收单元,图像接收单元用于接收施工场景图像。
根据算法模型对施工场景图像进行运算,得到运算结果;本实施例中通过神经网络处理器(NPU,Neural-network Processing Unit)对施工场景图像进行运算,具体是,中央处理器将接收的图像发送给神经网络处理器内的运算单元,运算单元根据调用的算法模型进行运算,得到运算结果;例如调用的是行人越界模型,运算单元根据算法模型中需要的运算算子与输入的图像进行相应的运算,最终得到特定长度的运算特征值。
基于运算结果判断图像中的施工场景是否存在异常;本实施例中是将运算单元运算得到的运算特征值发送至中央处理器,中央处理器内设有判断单元,判断单元根据运算单元输出的运算特征值进行处理,结合自身的结果,对运算特征值进行处理,根据用户指定的分类信息,判断是否属于异常状态信息,根据用户指定的安全帽、工装等要求,判断人员是否佩戴安全帽、工装是否规范等信息,根据用户指定的操作行为,判断人员是否存在违规操作信息。
另外中央处理器调用相应的算法模型后,接收图像施工场景图像之前,根据调用的算法模型,初始化神经网络处理器的内存和相关算子,参照图2,启动卷积层、激活层、批量归一化层、全连接层等,初始化卷积算子,池化算子,BN算子等,例如在卷积层,初始化后可得到偏置B和权重W;
根据调用算法模型的输出大小初始化神经网络处理器的内存,因为程序在运行的过程中是需要一系列的内存资源的,在程序初始化的时候把这些资源事先分配好,可以让程序在持续的运行过程中速度更快;示例性的参照图3,确定待输入施工场景图像的尺寸,以224*224*3为例,神经网络处理器加载相应的算法模型,神经网络处理器输出大小,例如1000*1,那么就申请相应的输出接收内存大小为1000,并且预估临时变量内存大小,如预估临时变量大小为224*224*5,即申请相应的224*224*5大小的内存,从而初始化成功;另外一种方式是确定待输入施工场景图像的尺寸为224*224*3后,直接申请224*224*3的内存,若申请失败,则退出初始化,重新初始化,若申请成功,再申请输出接收内存大小为1000,申请相应的临时变量内存大小为224*224*5,若申请失败,退出初始化,若申请成功,则初始化成功。
从摄像头获取的图像为YUV类型,一般算法模型接受的图像数据类型为RGB或BGR,因此需要将YUV数据转换为RGB数据,中央处理器在接收到施工场景图像后,通过中央处理器内的图像转换单元转换图像类型,转换公式如下所示:
R=Y+1.4075*V
G=Y-0.3455*U-0.7169*V
B=Y+1.779*U
一幅图像最终成像会受环境照明强度、物体反射、拍摄相机等多因素的影响。为了能获得图像中包含的那些不受外界影响的恒定信息,我们需要对图像进行白化处理。图像类型转换后,通过中央处理器内的图像白化单元对图像进行白化处理,具体是计算图像所有像素的均值和方差,然后对图像上的每个像素减去均值,然后除以方差,该处理使得图像数据分布更为集中,对于数据结果有较大的帮助,白化处理的公式为:
Xi’=(Xi-μ)/σ
式中Xi表示像素,μ为均值,σ为方差,Xi’表示白化处理后的像素。
可以利用OpenCV的内置函数计算均值和方差,然后遍历每个像素值并对每个像素做变换。将经过图像转换和白化处理后的图像发送至神经网络处理器,随后神经网络处理器对图像进行运算。
关于神经网络对图像进行运算,以全连接操作为例,公式为:
Y=Wx+B
其中x为施工场景图像的特征图,W为权重,权重保存在模型中,已经在初始化时加载到神经网络处理器中;B为偏置,同样也已经在初始化时加载在神经网络处理器中;神经网络处理器直接根据该公式进行运算,Y即为运算后的结果。
中央处理器接收到神经网络处理器的数据之后,结合自身的结果,对结果进行后处理,根据算法类型的不同,后处理可分为以下几个方面:
参照图4,分类算法:中央处理器将神经网络处理器输出的运算结果输入softmax函数,输出最大值索引,通过接收到的数据,进行种类区分,直接对分类结果进行输出。
参照图5,检测算法:中央处理器对申请网络处理器输出的运算结果进行分类和定位,将定位结果直接输出,将分类结果保留阈值的索引,进行非极大值抑制操作(NMS,Non-Maximum Suppression),合法索引,根据索引保留定位框,将结果输出。
参照图6,分割算法:中央处理器基于神经网络处理器计算像素值通道结果,基于像素值通道结果和阈值判断每个像素所属类别,得到分类结果。
例如调用的是行人越界模型,通过阈值以及非极大值抑制的操作,获取到行人目标位置,根据获取到的行人目标位置,与预先设置的边界范围进行比对,通过交并比(IOU,Intersection over Union)的形式来判断行人是否越界;
参照图7,令行人框大小为A(第一区域和第二区域之和),周界区域大小为B(第二区域与第三区域之和),行人与周界交叉区域为C(第二区域),图中的点为行人框中心值,此时IOU值计算为:
IOU=C/A
如果IOU值大于设定的阈值,则视为越界。
如果中央处理器判断出施工场景存在异常信息,则将施工场景图像和分析得到的异常信息上传至远程监控中心,使得远程控制中心的工作人员得知施工场景的异常现象,由监控中心的工作人员来进一步判断是否存在异常现象。
当中央处理器判断施工场地当前存在异常现象时,可以向报警装置发送信号,启动报警装置发出报警信号,例如可以是灯光报警、声音报警等等,以提示现场人员目前存在异常状况,需要暂停施工;参照图8,为行人越界报警流程,首先是要检测到行人,检测到行人后再进行越界检测,如果判定行人越界,则发出告警提示,如果判定没有越界,则不执行任何操作,这一过程是循环往复,循环检测有无行人,有无越界。参照图9,为安全帽、工装检测流程,首先是要检测到行人,检测到行人后再进行安全帽、工装检测,如果判定行人未佩戴安全帽或未着工装,则发出告警提示,如果判定行人佩戴安全帽且着工装,则不执行任何操作,这一过程是循环往复,循环检测有无行人,有无佩戴安全帽和工装。
所述调用算法模型之前,还包括对算法模型进行训练,例如当前算法模型是安全帽有无佩戴模型,首先进行安全帽数据集采集,采集路径包括施工现场采集以及网络来源,对收集到的数据集进行人工标注,在图像中标注出安全帽的位置信息,将标注数据集根据4:1的比例划分为训练集和验证集,使用faster-rcnn神经网络对训练数据集进行训练,对验证集进行测试,选择在验证集上效果最好的模型进行留存,从而得到训练好的安全帽有无佩戴模型。
本实施例中的异常检测方法还可以基于算法模型,追踪兴趣目标,例如追踪目标任务、目标车辆等等;参照图10,如追踪一辆渣土车,首先通过卷积神经网络把渣土车找到,判断是否有需要关注的渣土车,如果没有需要关注的渣土车则继续查找,如果有,对渣土车进行ID命名,通过KCF方法(目标跟踪算法)进行持续追踪,保持车辆在相机成像内时,持续存在检测框框柱目标;如果渣土车未出图像边界,则持续追踪,如果渣土车出了图像边界,继续检测图像中有无需要关注的渣土车。
追踪感兴趣目标,首先判断视频中是否存在运动目标,判断运动目标的方法基本上包括3种:侦查法,光流法,背景建模法,以帧差法为例,帧差法需要存储前一帧图像,然后用实时提取的后一帧与前一帧对应像素点做差,或者是间隔几帧之间对应像素点做差。做差之后会形成一个差值图像,有些是因为光照不均匀而形成的噪声,有些是目标的位置,所以需要对差值图像进行阈值处理,将噪声去除掉,挑选出目标,也即标定目标的位置。如果某点的像素值小于设定的阈值,则说明该点像素变化不大,所以将其归背景,否则就是目标像素。首先要从摄像头逐帧采集视频图像,然后将第K帧和K-1帧分别保存,然后将这两帧图像对应的像素点做差。对所得的差值进行阈值化。所谓的阈值化,就是设定一个阈值a,当所得的差值的绝对值大于a时,就将该点的像素归为前景像素,否则归为目标物体像素。一般这样直接提取出来的目标图像一般都不是很精确,会有背景噪声,而且目标区域会不光滑,所以还需要进行形态学处理和连通性分析,至此就完成了运动目标的检测。
帧差法的具体实现是首先定义IplImage类型的指针pFrame,pFrImg,pBkImg,分别用来指向实时采集的视频图像,提取出的前景图像和背景图像;再定义矩阵变量pFrMat,pBkMat,pFrameMat,因为有些函数的参数是数组类型的,所以要将相应的图像转换为矩阵之后再进行处理。用一个while循环对视频进行逐帧读取,将获取的图像转换为灰度图像之后,进行高斯平滑。然后用第K帧与第K-1帧作差,将所得的结果进行二值化和形态学处理。最后将结果显示在相应的窗口内。其中逐帧读取调用的是cvQureyFrame函数,该函数可以实现从文件或者采集设备中视频文件的逐帧抓取,它会先对采集的帧图像进行解压,然后再将解压的帧图像返回。图像由彩色图像转换为灰度图像采用的是cvCvtColor函数,这个函数可以实现图像的颜色空间转换。颜色空间主要有RGB,HSV,HIS等,调用这个函数可以实现这几个颜色空间的相互转换。在实验过程当中进行的是彩色图像向灰度图像的转化,需要注意源图像和目标图像的格式不一样,目标图像必须的单通道的。作差调用cvAbsDiff函数,这个函数可求得两个数组差的绝对值,但是需将图像转换为矩阵的格式。二值化函数cvThreshold,该函数中的第3个参数threshold值的选取很重要,需要根据实验结果不断修改以使分割出来的目标最准确。对二值化图像的膨胀和腐蚀运算分别调用cvErode函数和cvDilate函数,这两个函数默认的模板都是3*3大小的。
兴趣目标检测到后,接着对视频帧和待跟踪目标模板都进行特征的提取,根据这些特征进行目标跟踪,目标跟踪成功则继续跟踪目标;但如果目标没有成功跟踪到,说明待跟踪模板需要更新或者目标已经不在视线范围内,此时重新进行目标识别,得到新的待跟踪目标模板。其实只要视频帧中目标与待跟踪目标模板的相似度量较大,则跟踪容易成功。一般再继续跟踪的时候会利用目标的状态信息进行估计,预测下一帧图像的大致位置,这样在减少计算量的同时也提高了速度。
为了降低装置的功耗,还判断图像中施工场景有无施工行为,根据有无施工行为,调节单位时间内接收相应数量的关键帧(I帧),关键帧是图像视频编解码中携带信息最多的帧,因此数据量比较大;差别帧(P帧)是与前一关键帧的差值部分,因此差别帧数据量比较小;如果场景中没有施工行为,证明视频画面变化较小,此时只需少量的关键帧和较多的差别帧就可以进行监控,这样就能减少流量的需要。
若无施工行为,减少单位时间内施工场景图像关键帧(I帧)的接收数量,增加单位时间内施工场景图像差别帧(P帧)的接收数量。
施工场景有无施工行为主要是采用深度学习的方法来判断,具体步骤如下。
采集多种不同施工场景的现场照片以及无施工行为的照片,每一种施工场景和无施工行为场景均采集多张照片,例如采集8种不同施工场景图片,每一种施工场景包含有100张照片,无施工行为的照片也采集100张。
使用resnet-18模型进行分类训练,分为9个不同的不同类别(0表示无施工行为,1-8分别表示8种不同的施工场景)。
进行监测时,获取现场的施工场景照片,送入resnet-18模型获取得出分类结果,从而即可判断实际为何种场景以及是否是无施工行。
本实施例还提出一种施工场景异常监测装置,包括中央处理器和神经网络处理器,中央处理器包括:
算法调用单元,用于根据现场监测需求调用相应的算法模型;
图像接收单元,用于接收施工场景图像,可以接收图像或视频;
判断单元,用于基于运算单元的运算结果判断图像中的施工场景是否存在异常。
图像转换单元,用于对图像接收单元接收的图像进行图像转换,将YUV类型图像转换为RGB或BGR图像;
图像白化单元,用于对转换类型后的图像进行白化处理;
后处理单元,用于基于分类算法、检测算法和分割算法处理神经网络处理器输出的运算结果;
发送单元,用于基于判断单元的判断结果发送异常信息至监控中心,以使监控中心的工作人员获知异常情况;
神经网络处理器包括运算单元,用于根据算法模型对图像接收单元接收的施工场景图像进行运算,得到运算结果,例如调用的是行人越界模型,运算单元根据模型中需要的运算算子与输入的图像进行相应的运算最终得到特定长度的运算特征值。
上述监测系统是基于嵌入式的,因此功耗较低,另外通过判断现场有无施工行为,调节单位时间内P帧和I帧的接收数量,进一步地降低系统功耗,能够在电池的支撑下,实现8-10小时连续运行。
配置4G无线模块,在运行过程中能够实现数据、图像上传功能。
还包括报警装置,报警装置根据中央处理器的信号启动。
参照图11,中央处理器调用相应的算法模型,接收相机采集的图像,然后对图像进行预处理,包括图像类型转换和图像白化处理,随后中央处理器将预处理后的图像数据传输至神经网络处理器,神经网络处理器对图像进行运算,运算结束后,将运算结果发送至中央处理器,中央处理器基于运算结果判断有无异常情况,如果有异常情况,则中央处理器发送信号至报警装置,报警装置发出报警信号,同时中央处理器将施工场景图像和异常信息发送至监控中心,以使监控中心的工作人员获知异常情况。
尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种施工场景异常监测方法,其特征在于,
中央处理器调用算法模型;
中央处理器接收施工场景图像;
神经网络处理器根据算法模型对施工场景图像进行运算,输出运算结果;
中央处理器接收运算结果,并基于运算结果判断施工场景图像中的施工场景是否存在异常。
2.根据权利要求1所述的施工场景异常监测方法,其特征在于,中央处理器接收施工场景图像之前还包括:
基于算法模型初始化神经网络处理器的算子,得到权重和偏置;
基于算法模型初始化神经网络处理器的内存,具体包括:
获取待输入施工场景图像尺寸;
加载算法模型获取输出大小,预估临时变量内存大小;
基于输出大小申请相应的输出接收内存大小;
基于临时变量内存大小申请相应内存。
3.根据权利要求1所述的施工场景异常监测方法,其特征在于,所述神经网络处理器根据算法模型对施工场景图像进行运算之前还包括:
中央处理器将施工场景图像由YUV格式转换为RGB格式,转换公式具体为:
R=Y+1.4075*V
G=Y-0.3455*U-0.7169*V
B=Y+1.779*U
中央处理器对施工场景图像进行白化处理,具体包括:
计算施工场景图像所有像素的均值和方差;
对施工场景图像上的每个像素减去均值,随后除以方差,得到白化处理后的施工场景图像。
4.根据权利要求2所述的施工场景异常监测方法,其特征在于,所述神经网络处理器根据算法模型对施工场景图像进行运算,得到运算结果包括:
获取施工场景图像的特征图,基于下述公式计算结果:
Y=Wx+B
式中,Y为运算结果,x为输入特征图,W为权重数据,B为偏置。
5.根据权利要求1所述的施工场景异常监测方法,其特征在于,中央处理器基于分类算法、检测算法和分割算法处理神经网络处理器输出的运算结果;
分类算法:中央处理器将神经网络处理器输出的运算结果输入softmax函数,输出最大值索引;
检测算法:中央处理器对申请网络处理器输出的运算结果进行分类和定位,将定位结果直接输出,将分类结果保留阈值的索引,进行非极大值抑制操作,合法索引,根据索引保留定位框,将结果输出;
分割算法:中央处理器基于神经网络处理器计算像素值通道结果,基于像素值通道结果和阈值判断每个像素所属类别,得到分割结果。
6.根据权利要求1所述的施工场景异常监测方法,其特征在于,所述算法模型为行人越界模型,中央处理器基于重叠度算法判断行人有无越界,具体包括:
获取行人框区域;
获取周界框区域;
计算行人框区域和周界框区域的交集;
计算交集与行人框区域的比值;
判断比值是否超过预设阈值,若比值超过预设阈值,判定行人越界。
7.根据权利要求1所述的施工场景异常监测方法,其特征在于,若中央处理器基于运算结果判断施工场景图像中的施工场景存在异常,则中央处理器发送异常信息。
8.根据权利要求1所述的施工场景异常监测方法,其特征在于,中央处理器基于算法模型,追踪兴趣目标;
优选地,所述中央处理器调用算法模型之前,还包括对算法模型进行训练。
9.根据权利要求1所述的施工场景异常监测方法,其特征在于,判断施工场景图像中施工场景有无施工行为,若无施工行为,中央处理器减少单位时间内施工场景图像关键帧的接收数量。
10.一种施工场景异常监测装置,其特征在于,包括中央处理器和神经网络处理器,中央处理器包括:
算法调用单元,用于调用算法模型;
图像接收单元,用于接收施工场景图像;
图像转换单元,用于转换图像类型;
图像白化单元,用于对图像进行白化处理;
后处理单元,用于基于分类算法、检测算法和分割算法处理神经网络处理器输出的运算结果;
判断单元,用于基于运算结果判断图像中的施工场景是否存在异常;
发送单元,用于基于判断单元的判断结果发送异常信息;
神经网络处理器包括:
运算单元,用于根据算法模型对施工场景图像进行运算,得到运算结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010493650.XA CN111680610A (zh) | 2020-06-03 | 2020-06-03 | 一种施工场景异常监测方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010493650.XA CN111680610A (zh) | 2020-06-03 | 2020-06-03 | 一种施工场景异常监测方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111680610A true CN111680610A (zh) | 2020-09-18 |
Family
ID=72434991
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010493650.XA Pending CN111680610A (zh) | 2020-06-03 | 2020-06-03 | 一种施工场景异常监测方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111680610A (zh) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112465811A (zh) * | 2020-12-16 | 2021-03-09 | 国网四川省电力公司电力科学研究院 | 电力作业现场高精度动态目标定位方法及装置 |
CN113052140A (zh) * | 2021-04-25 | 2021-06-29 | 合肥中科类脑智能技术有限公司 | 一种基于视频的变电站人员车辆违规检测方法及系统 |
CN113627345A (zh) * | 2021-08-11 | 2021-11-09 | 深圳市捷顺科技实业股份有限公司 | 一种通道闸行人检测方法、装置、设备及可读存储介质 |
CN114219283A (zh) * | 2021-12-14 | 2022-03-22 | 江苏紫喻智能科技有限公司 | 一种标准施工流程检测方法 |
CN114529865A (zh) * | 2022-01-07 | 2022-05-24 | 南方电网深圳数字电网研究院有限公司 | 施工作业的自动监管方法及装置 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107645652A (zh) * | 2017-10-27 | 2018-01-30 | 深圳极视角科技有限公司 | 一种基于视频监控的非法越界报警系统 |
CN109635758A (zh) * | 2018-12-18 | 2019-04-16 | 武汉市蓝领英才科技有限公司 | 智慧工地基于视频的高空作业人员安全带穿戴检测方法 |
CN110232320A (zh) * | 2019-05-08 | 2019-09-13 | 华中科技大学 | 实时检测工地现场工人危险靠近施工机械的方法及系统 |
KR20190107401A (ko) * | 2018-03-12 | 2019-09-20 | 광주과학기술원 | 실시간 비주얼 이상 감지 방법 및 그 장치 |
CN110390262A (zh) * | 2019-06-14 | 2019-10-29 | 平安科技(深圳)有限公司 | 视频分析方法、装置、服务器及存储介质 |
CN110598570A (zh) * | 2019-08-20 | 2019-12-20 | 贵州民族大学 | 一种行人异常行为检测方法、系统、存储介质及计算机设备 |
CN111199200A (zh) * | 2019-12-27 | 2020-05-26 | 深圳供电局有限公司 | 基于电力防护装备的佩戴检测方法、装置和计算机设备 |
-
2020
- 2020-06-03 CN CN202010493650.XA patent/CN111680610A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107645652A (zh) * | 2017-10-27 | 2018-01-30 | 深圳极视角科技有限公司 | 一种基于视频监控的非法越界报警系统 |
KR20190107401A (ko) * | 2018-03-12 | 2019-09-20 | 광주과학기술원 | 실시간 비주얼 이상 감지 방법 및 그 장치 |
CN109635758A (zh) * | 2018-12-18 | 2019-04-16 | 武汉市蓝领英才科技有限公司 | 智慧工地基于视频的高空作业人员安全带穿戴检测方法 |
CN110232320A (zh) * | 2019-05-08 | 2019-09-13 | 华中科技大学 | 实时检测工地现场工人危险靠近施工机械的方法及系统 |
CN110390262A (zh) * | 2019-06-14 | 2019-10-29 | 平安科技(深圳)有限公司 | 视频分析方法、装置、服务器及存储介质 |
CN110598570A (zh) * | 2019-08-20 | 2019-12-20 | 贵州民族大学 | 一种行人异常行为检测方法、系统、存储介质及计算机设备 |
CN111199200A (zh) * | 2019-12-27 | 2020-05-26 | 深圳供电局有限公司 | 基于电力防护装备的佩戴检测方法、装置和计算机设备 |
Non-Patent Citations (3)
Title |
---|
房晓晶: "基于卷积神经网络的图像超分辨率应用研究", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
柳黎: "改进的红外图像行人检测和交叠率算法", 《计算机系统应用》 * |
银浩: "基于视频图像的油管道区域工程车违停检测系统的设计与实现", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112465811A (zh) * | 2020-12-16 | 2021-03-09 | 国网四川省电力公司电力科学研究院 | 电力作业现场高精度动态目标定位方法及装置 |
CN113052140A (zh) * | 2021-04-25 | 2021-06-29 | 合肥中科类脑智能技术有限公司 | 一种基于视频的变电站人员车辆违规检测方法及系统 |
CN113627345A (zh) * | 2021-08-11 | 2021-11-09 | 深圳市捷顺科技实业股份有限公司 | 一种通道闸行人检测方法、装置、设备及可读存储介质 |
CN114219283A (zh) * | 2021-12-14 | 2022-03-22 | 江苏紫喻智能科技有限公司 | 一种标准施工流程检测方法 |
CN114529865A (zh) * | 2022-01-07 | 2022-05-24 | 南方电网深圳数字电网研究院有限公司 | 施工作业的自动监管方法及装置 |
CN114529865B (zh) * | 2022-01-07 | 2024-10-08 | 南方电网数字平台科技(广东)有限公司 | 施工作业的自动监管方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111680610A (zh) | 一种施工场景异常监测方法和装置 | |
CN103069434B (zh) | 用于多模式视频事件索引的方法和系统 | |
CN102348128B (zh) | 具有摄像机异常检测装置的监视用摄像机系统 | |
JP5325899B2 (ja) | 侵入警報ビデオ処理装置 | |
KR102122859B1 (ko) | 교통 영상감시시스템의 멀티 표적 추적 방법 | |
CN106951889A (zh) | 井下高危区域动目标监测和管理系统 | |
CN103208185A (zh) | 一种基于车灯识别的夜间车辆检测方法及系统 | |
KR102282800B1 (ko) | 라이다와 영상카메라를 이용한 멀티 표적 추적 방법 | |
CN113160575A (zh) | 一种非机动车辆及驾驶人的交通违法行为检测方法及系统 | |
CN110826429A (zh) | 一种基于景区视频的旅游突发事件自动监测的方法及系统 | |
CN109615904A (zh) | 停车管理方法、装置、计算机设备和存储介质 | |
CN113837007B (zh) | 一种基于桥梁监控视频中车辆匹配深度学习的桥梁荷载分布识别方法 | |
CN113239911B (zh) | 一种无人驾驶智能塔吊视觉场景分析方法和装置 | |
CN111967396A (zh) | 障碍物检测的处理方法、装置、设备及存储介质 | |
KR20210158037A (ko) | 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법 | |
CN110728212A (zh) | 一种基于计算机视觉的道路井盖监控装置及监控方法 | |
CN114067396A (zh) | 基于视觉学习的居配工程现场试验数字化管理系统及方法 | |
CN116886874A (zh) | 一种生态园安防监控预警数据的采集方法及其系统 | |
CN115909219A (zh) | 一种基于视频分析的场景变更检测方法与系统 | |
CN114445751A (zh) | 视频关键帧图像轮廓特征的提取方法和装置 | |
CN108510527A (zh) | 一种基于帧差法和运动点聚类的运动目标检测方法 | |
KR20150033047A (ko) | 객체를 검출하기 위한 전처리 장치 및 방법 | |
CN116156149B (zh) | 一种用于检测摄像头移动的检测方法及装置 | |
CN101539988A (zh) | 基于Internet和GPRS的智能视频监控系统 | |
CN117372967B (zh) | 基于物联网智慧路灯的远程监控方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200918 |