CN111414807B - 一种基于yolo技术的潮水识别与危机预警方法 - Google Patents
一种基于yolo技术的潮水识别与危机预警方法 Download PDFInfo
- Publication number
- CN111414807B CN111414807B CN202010127428.8A CN202010127428A CN111414807B CN 111414807 B CN111414807 B CN 111414807B CN 202010127428 A CN202010127428 A CN 202010127428A CN 111414807 B CN111414807 B CN 111414807B
- Authority
- CN
- China
- Prior art keywords
- image
- representing
- tide
- value
- tidal water
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 title claims abstract description 57
- 238000000034 method Methods 0.000 title claims abstract description 51
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 27
- 238000012937 correction Methods 0.000 claims description 9
- 230000009191 jumping Effects 0.000 claims description 9
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000035945 sensitivity Effects 0.000 claims description 5
- 239000003595 mist Substances 0.000 claims description 4
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 230000009193 crawling Effects 0.000 claims description 3
- 238000006073 displacement reaction Methods 0.000 claims description 3
- 239000011541 reaction mixture Substances 0.000 claims description 3
- 238000002834 transmittance Methods 0.000 claims description 3
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000007812 deficiency Effects 0.000 abstract description 2
- 239000013589 supplement Substances 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 208000037062 Polyps Diseases 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 208000014674 injury Diseases 0.000 description 2
- 235000006506 Brasenia schreberi Nutrition 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000002360 explosive Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Remote Sensing (AREA)
- Astronomy & Astrophysics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于YOLO技术的潮水识别与危机预警方法，该方法通过缩放、旋转、平移、对称等方面的数据增强操作建立潮水数据集，利用滤波提取出大气折射率，对图像进行色彩平衡操作，选取大气光成分A。利用暗通道去雾，对图像进行去雾，并且对图像进行白平衡操作，从而获得较清晰的图像。对处理后的图像，采用YOLO网络进行训练，获得潮水识别模型。根据模型，对输入的图像进行识别，并计算潮水的位置和高度，到设备的距离和时间，当发生危险时可以及时发出预警。本发明是目前对潮水识别和危机预警方面的有益补充，可自动监测潮水的状态，弥补人工巡逻的不足，降低因涌潮引起的人员死亡率和避免家庭悲剧的发生。
Description
技术领域：
本发明涉及深度学习技术领域，尤其涉及基于回归的目标识别方法领域， 具体是指一种基于YOLO技术的潮水识别与危机预警方法。
背景技术：
潮水伤人事件的主要原因是人们不够了解涌潮的特性，主观上不重视且 主管部门主要采用定期巡逻预警的方式提醒群众，由于人力、覆盖面有限， 预警效果较差，因此急需一种潮水识别和危机预警方法，自动识别潮水并提 前危机预警。
近些年，随着深度学习技术的快速发展，基于深度学习的方法被广泛应 用于目标识别领域。目前基于深度学习的目标识别方法主要分为两类：一是 基于候选区域的目标识别方法，其具有较高的检测准确率，但是检测速度较 慢，不适用于涌潮检测；二是基于回归的目标识别方法，其检测速度较快， 如SSD、YOLO v3、R-CNN等。其中SSD目标检测方法对于小目标的检测率 较低，并且神经网络的调试参数需要手工设置且较依赖调试经验。R-CNN方 法的准确率较高，但由于其算法复杂程度较高，因此检测所花费的时间较多。YOLO v3方法在保证准确度的同时，其检测时间只需29毫秒，可满足涌潮检 测实时性的要求，因此选择YOLO v3方法识别潮水相对更加合适。
目前已有部分学者研究基于YOLO技术的图像识别方法，如张辉提出了 一种基于图像识别的自动跟踪算法，可识别高强度运动下的人体动作，实现 快速、精准地提取人体动作特征。裴月玲等人基于车牌识别系统下，提出了基于人工智能的车牌号与车型识别算法。廖恩红等人提出了一种基于卷积神 经网络的食品图像识别算法，实现对食物的精准分类。Kanghui Zhou等人基 于数值天气预报数据，提出了一种对短时大雨，冰雹，对流阵风和雷暴等强 对流天气的深度学习目标预测解决方案，可获得较好的预测技巧。Guoli Zhang等人为了减少森林大火给社会和经济造成的损失，提出了一种基于卷积神经 网络的森林火灾敏感性空间预测模型，扩展了CNN在森林火灾敏感性预测中 的应用。Jiangyun Li等人为了改进息肉检测方法的缺陷，通过增加不同级别的特征图融合，提出一种基于深度神经网络的检测算法，实现了高准确的息 肉检测。
虽然上述各位学者侧重研究利用YOLO技术实现各种应用，但鲜少有用 于潮水识别及预警的应用领域研究报道，由于潮水有其特定的移动形态及运 动速度等考虑因素，上述有关YOLO技术的现有方法都并不能直接适用于潮水的识别和预警，有鉴于此，本案由此而生。
发明内容：
本发明公开一种基于YOLO技术的潮水识别与危机预警方法，该方法考 虑了潮水形状和朝向多样性、运动速度快、容易受到雾霾天气影响等因素， 结合YOLO技术的应用可实时识别出所监控潮水的位置，并分析到达的时间和高度，当存在危机状态时可通知周围人员，达到预警效果，从而避免涌潮 带来的安全隐患，避免人员的受伤甚至死亡。
为了实现上述发明目的，本发明所采用的技术方案为：
一种基于YOLO技术的潮水识别与危机预警方法，内容包括：
步骤1：采用爬虫技术爬取现有图片库中的潮水图像，对图像进行数据增 强处理，获得不同类型潮水形态的若干图片，共同构建成潮水训练集；
步骤2：判断网络模型当前所处状态：若当前为训练状态，则加载潮水训 练集中的潮水图像数据；若当前为识别状态，则读取摄像头采集的潮水图像 数据；
步骤3：将图像从RGB颜色空间转到LAB颜色空间，然后进行伽马校正 后转回RGB颜色空间，获得经过白平衡处理后的图像；
步骤4：从高到低排序图像的暗原色值，选取排序为第0.1％个的原像素 的最大值作为大气光成分A；
步骤5：引入暗通道模型和雾模型，对雾模型进行滤波处理，计算大气折 射率；
步骤6：根据计算的大气光成分A和大气折射率，利用暗通道模型对图 像进行去雾，得到去雾后的图像；
步骤7：将去雾后图像归一化，并送入YOLO卷积网络；
步骤8：判断当前模型所处状态，如果当前状态是识别状态，则跳到步骤 12；若当前状态为训练状态，则判断图像是否处理完成：如果每一个图像都 处理完，则跳到步骤9；若仍存在未处理完的，则读取训练集中下一个图像， 跳到步骤2；
步骤9：通过YOLO的网络卷积层，计算卷积神经网络中的三层卷积层 的每一层输出特征值，将所有的特征值组成卷积神经网络中卷积层的输出特 征值矩阵；
步骤10：计算输出预测值，计算表达预测值与真实情况之间差距程度的 损失函数值，并比较损失函数值与所设定阈值的大小：若损失函数值小于阈 值，则模型训练完成，获得训练好的网络模型以及网络模型的权重参数，并 令当前状态为识别状态，执行步骤2；若损失函数值大于阈值，则执行步骤 11；
步骤11：利用损失函数值进行反向传播，更新网络偏置项参数和权重矩 阵，跳到步骤10；
步骤12：调用之前输出的权重文件加载网络模型，送入YOLO的网络卷 积层，提取图像特征并识别目标，获得每个潮水目标的检测框及置信度分数， 输出检测框的坐标；
步骤13：寻找置信度最大的检测框，计算最大检测框与其余各框的两框 重叠比例IOU，并删除IOU值大于所设定阈值的检测框；
步骤14：判断是否完成所有检测框的判断，若仍有未完成的，则返回步 骤13；若均完成，则获得检测框并将该检测框作为识别框，获得识别框中心 点的坐标作为该目标潮水的图片坐标，计算当前潮水的位置、速度、高度、到达时间；
步骤15：判断潮水高度、速度和到达时间是否都大于各自设定的阈值， 如果三个参数都大于各自所设定阈值，则启动报警提醒，报警后以及上述三 个参数不同时满足都大于各自阈值时，重新执行步骤2。
所述步骤1中图像增强处理方式为：利用opencv-python库的resize函数 调节图片的分辨率，增加对应标签；利用opencv-python库的 getRotationMatrix2D函数，将图像进行旋转，旋转角度为随机生成，旋转范围 为7度-15度；将图像往x轴、y轴方向上随机移动像素距离，移动范围为1-10 个像素点，实现图像的平移；给图像做中心对称，实现图像的对称数据增强。
所述步骤3中的伽马校正方式为：通过公式(1)对其L通道进行伽马校正：
其中，表示校正前有雾图像的L通道的均值；La表示伽马校正后的L通道。
所述步骤5中的大气折射率计算方法如下：令去雾系数值为0.95，然后 按照下列步骤进行：
(5.1)令暗通道模型为
其中，Jdark(a)表示图像J(a)的暗通道，J(a)表示去雾后的图像，Jc表示三 颜色通道，c表示R,G,B三个通道中的某一通道，Jc(a)表示图像a的每个通 道，a表示输入的图像；
(5.2)利用待去雾图像I(a)、大气光成分A值和大气折射率，获得雾模 型为：
I(a)＝J(a)t(a)+A(1-t(a)) (3)
其中，t(a)表示大气折射率，反应了光线的穿透能力；
(5.3)对公式(3)进行变形，转化成以下模型：
(5.4)根据大气光成分A，对模型(4)进行滤波处理，得到以下模型：
(5.5)通过公式(6)，计算大气折射率t(a)：
其中，ω表示雾气参数，其范围是[0,1]。
所述步骤6中的图像去雾方法具体步骤如下：
(6.1)通过公式(7)将的值取到[0,1]，得到白平衡后的输入图像为：
(6.2)令白平衡后的雾模型表示为：
I'(a)＝J'(a)t(a)+A(1-t(a)) (8)
(6.3)根据公式(8)和公式(9)，可得到去雾后的图像J(a)；
其中，t0表示折射率设定的最低值，一般取值为0.1。
所述步骤10中的输出预测值计算方式为：根据当前权重矩阵和网络偏置 项参数，通过公式(10)计算输出预测值：
δ＝g(wβ1+wβ2+b) (10)
其中，δ表示输出预测值，g()表示激活函数，w表示当前权重矩阵，b表 示网络偏置项参数，β1和β2表示输出预测值矩阵向量。
所述步骤10中的损失函数计算方式为：根据当前权重矩阵，通过公式(11) 计算损失函数：
Loss＝α1Loss中心坐标及宽高+α2Loss置信度+α3Loss分类 (11)
其中，Loss表示总损失度，Loss中心坐标及宽高表示预测的坐标与实际的坐标的误差，Loss置信度表示每个边界框预测值的置信度误差，Loss分类表示分类时的概率值误 差，α1,α2,α3表示误差损失因子。
所述步骤11中网络偏置项参数和权重矩阵更新方式为：通过公式(12)和 (13)更新网络偏置项参数和权重矩阵：
其中，表示更新后的网络偏置项参数，bl表示更新前的网络偏置项参数，/>表示当前层的敏感度图，η表示学习率，即梯度，/>表示更新后的权重矩 阵，ωl表示更新前的权重矩阵。
所述步骤12中先将图片resize成416*416的格式，调用图片检测函数， 对提取特征进行循环判断和识别目标，获得每一个类标签的概率，对每一个 类标签概率进行判断，选择最大概率的类型作为目标，并定位图像中每个潮 水目标的检测框和置信度分数，输出检测框的坐标。
所述步骤13中IOU通过公式(14)：
其中，object_conf表示置信度(confidence score)，即预测边框中包含目标的置信度，Pr(obiect)表示目标是否存在于预测边框对应的单元格中，取1表示存在， 取0表示不存在；为预测框与真实值的交并比。
所述步骤14中，根据摄像头所在的位置和像素尺寸，获得当前潮水到设 备所在位置的距离D1，计算相邻图片中潮水的距离为：
D2＝f(x1-x2) (15)
其中，D2表示相邻图片中潮水位置的位移，x1表示第一个图片中识别框 中点的横坐标，x2表示第二个图片中识别框中点的横坐标；
根据检测框的宽度，获得潮水的高度，令Tin表示截图的时间间隙，计算 潮水的速度为D2/Tin，通过公式(16)计算潮水到达摄像头所在位置的时间T：
T＝D1×Tin/D2 (16)。
本发明与现有技术相比，有益效果主要表现在：本发明方法通过缩放、 旋转、平移、对称等方面的数据增强操作建立潮水数据集，利用滤波提取出 大气折射率，对图像进行色彩平衡操作，选取大气光成分A。利用暗通道去 雾，对图像进行去雾，并且对图像进行白平衡操作，从而获得较清晰的图像。对处理后的图像，采用YOLO网络进行训练，获得潮水识别模型。根据模型， 对输入的图像进行识别，并计算潮水的位置和高度，到设备的距离和时间， 当发生危险时可以及时发出预警。本发明是目前对潮水识别和危机预警方面 的有益补充，可自动监测潮水的状态，弥补人工巡逻的不足，降低因涌潮引 起的人员死亡率和避免家庭悲剧的发生。
附图说明：
图1为本发明所提供方法的流程图。
具体实施方式：
本实施例公开一种基于YOLO技术的潮水识别与危机预警方法，该方法 如图1所示，主要步骤如下：
(1)采用爬虫技术爬取百度图片中的潮水图像。利用opencv-python库 的resize函数调节图片的分辨率，增加对应标签；利用opencv-python库的getRotationMatrix2D函数，将图像进行旋转，旋转角度为随机生成，旋转范围 为7度-15度；将图像往x轴、y轴方向上随机移动像素距离，移动范围为1-10 个像素点，实现图像的平移；给图像做中心对称，实现图像的对称数据增强。经过平移、旋转、对称和缩放的数据增强操作，获得包含横向潮水、竖向潮 水、斜向潮水、爆炸型潮水等四类不同潮水形态的共1629张图片，并对图片 中所有潮水进行标注，建立潮水训练集。
(2)判断当前模型状态是训练状态还是识别状态，如果当前状态是训练 状态，则加载潮水训练集中的潮水图像数据；如果当前状态为识别状态，则 读取摄像头采集的潮水图像数据。
(3)将图像从RGB颜色空间转到LAB颜色空间，通过公式(1)对其L通 道进行伽马校正。将伽马校正后的图像转回RGB颜色空间，获得经过白平衡 处理后的图像。
其中，表示校正前有雾图像的L通道的均值；La表示伽马校正后的L 通道。
(4)从高到低排序图像的暗原色值，选取排序为第0.1％个的原像素的最 大值作为大气光成分A。
(5)令去雾系数值为0.95，引入暗通道模型和雾模型，对雾模型进行滤 波处理，计算大气折射率。大气折射率的具体计算方法包含如下步骤：
(5.1)令暗通道模型为
其中，Jdark(a)表示图像J(a)的暗通道，J(a)表示去雾后的图像，Jc表示三 颜色通道，c表示R,G,B三个通道中的某一通道，Jc(a)表示图像a的每个通 道，a表示输入的图像。
(5.2)利用待去雾图像I(a)、大气光成分A值和大气折射率，获得雾模 型为 I(a)＝J(a)t(a)+A(1-t(a)) (3)
其中，t(a)表示大气折射率，反应了光线的穿透能力。
(5.3)对公式(3)进行变形，转化成以下模型：
(5.4)根据大气光成分A，对模型(4)进行滤波处理，得到以下模型：
(5.5)通过公式(6)，计算大气折射率t(a)。
其中，ω表示雾气参数(即反应去雾程度的参数)，其范围是[0,1]，本方 法ω值的经验值可为0.95，保留一部分雾。
(6)根据计算的大气光成分A和大气折射率，利用暗通道模型对图像进 行去雾，得到去雾后的图像；图像去雾方法的具体步骤如下：
(6.1)通过公式(7)将的值取到[0,1]，得到白平衡后的输入图像为
(6.2)令白平衡后的雾模型表示为：
I'(a)＝J'(a)t(a)+A(1-t(a)) (8)
(6.3)根据公式(8)和公式(9)，可到去雾后的图像J(a)
其中，t0表示折射率设定的最低值，一般取值为0.1。
(7)把去雾后的图像归一化为416*416图像，并将其图像送入YOLO的 卷积网络；
(8)判断当前模型所处状态，如果当前状态是识别状态，则跳到步骤12， 若为训练状态则需判断图像是否处理完成。如果每一个图像都处理完，则跳 到步骤(9)，尚有未处理完的，则读取训练集中下一个图像，跳到步骤(2)。
(9)通过YOLO的网络卷积层，计算卷积神经网络中网格大小分别为 13×13、26×26和52×52的三层卷积层的每一层输出特征值，将所有的特征 值组成卷积神经网络中卷积层的输出特征值矩阵；
(10)根据当前权重矩阵和网络偏置项参数，通过公式(10)计算输出预测 值，通过公式(11)计算表达预测值与真实情况之间差距程度的损失函数，如果 损失函数小于阈值Lossy，则训练完成，获得网络模型的权重参数，获得网络 模型，令当前状态为识别状态，读取摄像头采集的潮水图像数据，跳到步骤(3)； 如果损失函数大于阈值，则跳到步骤(11)。
δ＝g(wβ1+wβ2+b) (10)
其中，δ表示输出预测值，g()表示激活函数，w表示当前权重矩阵，b表 示网络偏置项参数，β1和β2表示输出预测值矩阵向量。
Loss＝α1Loss中心坐标及宽高+α2Loss置信度+α3Loss分类 (11)
其中，Loss表示总损失度，Loss中心坐标及宽高表示预测的坐标与实际的坐标的误差，Loss置信度表示每个边界框预测值的置信度误差，Loss分类表示分类时的概率值误 差。α1,α2,α3表示误差损失因子。
(11)利用损失值进行反向传播，通过公式(12)和(13)更新网络偏置项参 数和权重矩阵，跳到步骤(10)。
其中，表示更新后的网络偏置项参数，bl表示更新前的网络偏置项参数，/>表示当前层的敏感度图，η表示学习率，即梯度，/>表示更新后的权重矩 阵，ωl表示更新前的权重矩阵。
(12)调用之前输出的权重文件加载网络模型，将图片resize成416*416 的格式，送入YOLO的网络卷积层，提取图像特征，调用图片检测函数，对 提取特征进行循环判断和识别目标，获得每一个类标签的概率。对每一个类 标签概率进行判断，选择最大概率的类型作为目标，并定位图像中每个潮水 目标的检测框和置信度分数，输出检测框的坐标。
(13)在所有的检测框中找到置信度最大的框，通过公式(14)依次计算其 与剩余框的两框重叠比例IOU，如果IOU值大于阈值，则将该框删除。
其中，object_conf表示置信度(confidence score)，即预测边框中包含目标的置信度，Pr(obiect)表示目标是否存在于预测边框对应的单元格中，取1表示存在， 取0表示不存在。为预测框与真实值的交并比(intersection overunion)。
(14)判断是否完成所有检测框的判断，如果没有完成，则重新跳到步 骤(13)，如果均完成则获得检测框，该检测框为识别框，获得识别框中目标为 识别的潮水目标。
(15)将识别框中心点的坐标作为该目标潮水的图片坐标。根据摄像头 所在的位置和像素尺寸，获得当前潮水到设备所在位置的距离D1，计算相邻 图片中潮水的距离为：
D2＝f(x1-x2) (15)
其中，D2表示相邻图片中潮水位置的位移，x1表示第一个图片中识别框 中点的横坐标，x2表示第二个图片中识别框中点的横坐标。
(16)根据检测框的宽度，获得潮水的高度，令Tin表示截图的时间间隙， 计算潮水的速度为D2/Tin。通过公式(16)计算潮水到达摄像头所在位置的时间 T：
T＝D1×Tin/D2 (16)
(17)根据潮水的位置、速度、高度和到达时间等潮水参数，并且判断 潮水高度、速度和到达时间是否都大于阈值，如果三个参数都大于所设定阈 值，则表示该潮水可能会造成一定的危险，立即通知管理人员，并通过语音和报警灯对摄像头所在的周围人员进行危机报警，完成预警后重新跳到步骤 (2)；如果三个参数不同时满足大于各自设定阈值的条件，则直接跳到步骤(2)。
本发明提供了基于YOLO技术的潮水识别与危机预警方法。该方法通过 缩放、旋转、平移、对称等方面的数据增强操作建立潮水数据集，之后利用 滤波提取出大气折射率，对图像进行色彩平衡操作，选取大气光成分A。利 用暗通道去雾，对图像进行去雾，并且对图像进行白平衡操作，从而获得较 清晰的图像。对处理后的图像，采用YOLO网络进行训练，获得潮水识别模 型。根据模型，对输入的图像进行识别，并计算潮水的位置，到设备的距离和时间，当发生危险时可以及时发出预警。
在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然 仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和 附图应被认为是说明性的而非限制性的。
Claims (9)
1.一种基于YOLO技术的潮水识别与危机预警方法，其特征在于：内容包括：
步骤1：采用爬虫技术爬取现有图片库中的潮水图像，对图像进行数据增强处理，获得不同类型潮水形态的若干图片，共同构建成潮水训练集；
步骤2：判断网络模型当前所处状态：若当前为训练状态，则加载潮水训练集中的潮水图像数据；若当前为识别状态，则读取摄像头采集的潮水图像数据；
步骤3：将图像从RGB颜色空间转到LAB颜色空间，然后进行伽马校正后转回RGB颜色空间，获得经过白平衡处理后的图像；
步骤4：从高到低排序图像的暗原色值，选取排序为第0.1％个的原像素的最大值作为大气光成分A；
步骤5：引入暗通道模型和雾模型，对雾模型进行滤波处理，计算大气折射率；
步骤6：根据计算的大气光成分A和大气折射率，利用暗通道模型对图像进行去雾，得到去雾后的图像；
步骤7：将去雾后图像归一化，并送入YOLO卷积网络；
步骤8：判断当前模型所处状态，如果当前状态是识别状态，则跳到步骤12；若当前状态为训练状态，则判断图像是否处理完成：如果每一个图像都处理完，则跳到步骤9；若仍存在未处理完的，则读取训练集中下一个图像，跳到步骤2；
步骤9：通过YOLO的网络卷积层，计算卷积神经网络中的三层卷积层的每一层输出特征值，将所有的特征值组成卷积神经网络中卷积层的输出特征值矩阵；
步骤10：计算输出预测值，计算表达预测值与真实情况之间差距程度的损失函数值，并比较损失函数值与所设定阈值的大小：若损失函数值小于阈值，则模型训练完成，获得训练好的网络模型以及网络模型的权重参数，并令当前状态为识别状态，执行步骤2；若损失函数值大于阈值，则执行步骤11；
步骤11：利用损失函数值进行反向传播，更新网络偏置项参数和权重矩阵，跳到步骤10；
步骤12：调用之前输出的权重文件加载网络模型，送入YOLO的网络卷积层，提取图像特征并识别目标，获得每个潮水目标的检测框及置信度分数，输出检测框的坐标；
步骤13：寻找置信度最大的检测框，计算最大检测框与其余各框的两框重叠比例IOU，并删除IOU值大于所设定阈值的检测框；
步骤14：判断是否完成所有检测框的判断，若仍有未完成的，则返回步骤13；若均完成，则获得检测框并将该检测框作为识别框，获得识别框中心点的坐标作为该目标潮水的图片坐标，计算当前潮水的位置、速度、高度、到达时间；
具体如下；根据摄像头所在的位置和像素尺寸，获得当前潮水到设备所在位置的距离D1，计算相邻图片中潮水的距离为：
D2＝f(x1-x2) (15)
其中，D2表示相邻图片中潮水位置的位移，x1表示第一个图片中识别框中点的横坐标，x2表示第二个图片中识别框中点的横坐标；
根据检测框的宽度，获得潮水的高度，令Tin表示截图的时间间隙，计算潮水的速度为D2/Tin，通过公式(16)计算潮水到达摄像头所在位置的时间T：
T＝D1×Tin/D2 (16)
步骤15：判断潮水高度、速度和到达时间是否都大于各自设定的阈值，如果三个参数都大于各自所设定阈值，则启动报警提醒，报警后以及上述三个参数不同时满足都大于各自阈值时，重新执行步骤2。
2.根据权利要求1所述的一种基于YOLO技术的潮水识别与危机预警方法，其特征在于：所述步骤1中图像增强处理方式为：利用opencv-python库的resize函数调节图片的分辨率，增加对应标签；利用opencv-python库的getRotationMatrix2D函数，将图像进行旋转，旋转角度为随机生成，旋转范围为7度-15度；将图像往x轴、y轴方向上随机移动像素距离，移动范围为1-10个像素点，实现图像的平移；给图像做中心对称，实现图像的对称数据增强。
3.根据权利要求1所述的一种基于YOLO技术的潮水识别与危机预警方法，其特征在于：所述步骤3中的伽马校正方式为：通过公式(1)对其L通道进行伽马校正：
其中，表示校正前有雾图像的L通道的均值；La表示伽马校正后的L通道。
4.根据权利要求1所述的一种基于YOLO技术的潮水识别与危机预警方法，其特征在于：所述步骤5中的大气折射率计算方法如下：令去雾系数值为0.95，然后按照下列步骤进行：
(5.1)令暗通道模型为
其中，Jdark(a)表示图像J(a)的暗通道，J(a)表示去雾后的图像，Jc表示三颜色通道，c表示R,G,B三个通道中的某一通道，Jc(a)表示图像a的每个通道，a表示输入的图像；
(5.2)利用待去雾图像I(a)、大气光成分A值和大气折射率，获得雾模型为：
I(a)＝J(a)t(a)+A(1-t(a)) (3)
其中t(a)表示大气折射率，反应了光线的穿透能力；
(5.3)对公式(3)进行变形，转化成以下模型：
(5.4)根据大气光成分A，对模型(4)进行滤波处理，得到以下模型：
(5.5)通过公式(6)，计算大气折射率t(a)：
其中，ω表示雾气参数，其范围是[0,1]。
5.根据权利要求4所述的一种基于YOLO技术的潮水识别与危机预警方法，其特征在于：所述步骤6中的图像去雾方法具体步骤如下：
(6.1)通过公式(7)将的值取到[0,1]，得到白平衡后的输入图像为：
(6.2)令白平衡后的雾模型表示为：
I'(a)＝J'(a)t(a)+A(1-t(a)) (8)
(6.3)根据公式(8)和公式(9)，可得到去雾后的图像J(a)；
其中，t0表示折射率设定的最低值，一般取值为0.1。
6.根据权利要求1所述的一种基于YOLO技术的潮水识别与危机预警方法，其特征在于：所述步骤10中的输出预测值计算方式为：根据当前权重矩阵和网络偏置项参数，通过公式(10)计算输出预测值：
δ＝g(wβ1+wβ2+b) (10)
其中，δ表示输出预测值，g()表示激活函数，w表示当前权重矩阵，b表示网络偏置项参数，β1和β2表示输出预测值矩阵向量；
所述步骤10中的损失函数计算方式为：根据当前权重矩阵，通过公式(11)计算损失函数：
Loss＝α1Loss中心坐标及宽高+α2Loss置信度+α3Loss分类 (11)
其中，Loss表示总损失度，Loss中心坐标及宽高表示预测的坐标与实际的坐标的误差，Loss置信度表示每个边界框预测值的置信度误差，Loss分类表示分类时的概率值误差，α1,α2,α3表示误差损失因子。
7.根据权利要求1所述的一种基于YOLO技术的潮水识别与危机预警方法，其特征在于：所述步骤11中网络偏置项参数和权重矩阵更新方式为：通过公式(12)和(13)更新网络偏置项参数和权重矩阵：
其中，表示更新后的网络偏置项参数，bl表示更新前的网络偏置项参数，/>表示当前层的敏感度图，η表示学习率，即梯度，/>表示更新后的权重矩阵，ωl表示更新前的权重矩阵。
8.根据权利要求1所述的一种基于YOLO技术的潮水识别与危机预警方法，其特征在于：所述步骤12中先将图片resize成416*416的格式，调用图片检测函数，对提取特征进行循环判断和识别目标，获得每一个类标签的概率，对每一个类标签概率进行判断，选择最大概率的类型作为目标，并定位图像中每个潮水目标的检测框和置信度分数，输出检测框的坐标。
9.根据权利要求8所述的一种基于YOLO技术的潮水识别与危机预警方法，其特征在于：所述步骤13中IOU通过公式(14)：
其中，object_conf表示置信度(confidence score)，即预测边框中包含目标的置信度，Pr(obiect)表示目标是否存在于预测边框对应的单元格中，取1表示存在，取0表示不存在；为预测框与真实值的交并比。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010127428.8A CN111414807B (zh) | 2020-02-28 | 2020-02-28 | 一种基于yolo技术的潮水识别与危机预警方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010127428.8A CN111414807B (zh) | 2020-02-28 | 2020-02-28 | 一种基于yolo技术的潮水识别与危机预警方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111414807A CN111414807A (zh) | 2020-07-14 |
| CN111414807B true CN111414807B (zh) | 2024-02-27 |
Family
ID=71492797
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010127428.8A Active CN111414807B (zh) | 2020-02-28 | 2020-02-28 | 一种基于yolo技术的潮水识别与危机预警方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111414807B (zh) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112036452B (zh) * | 2020-08-13 | 2024-02-02 | 西安理工大学 | 一种基于ssd神经网络的水深自动监测方法 |
| CN112287812B (zh) * | 2020-10-27 | 2022-11-01 | 广东电网有限责任公司 | 一种攀爬情况识别方法 |
| CN112487947A (zh) * | 2020-11-26 | 2021-03-12 | 西北工业大学 | 基于图像融合与目标检测网络的低照度图像目标检测方法 |
| CN112949389A (zh) * | 2021-01-28 | 2021-06-11 | 西北工业大学 | 一种基于改进目标检测网络的雾霾图像目标检测方法 |
| CN113609891A (zh) * | 2021-06-15 | 2021-11-05 | 北京瞭望神州科技有限公司 | 一种船只识别监测方法及系统 |
| CN113870870B (zh) * | 2021-12-02 | 2022-04-05 | 自然资源部第一海洋研究所 | 一种基于卷积神经网络的海洋哺乳动物发声实时识别方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101625732A (zh) * | 2009-08-03 | 2010-01-13 | 杭州电子科技大学 | 江河潮水水位的预测方法 |
| CN101625733A (zh) * | 2009-08-03 | 2010-01-13 | 杭州电子科技大学 | 基于神经网络的潮水水位和时间预测方法 |
| CN102156803A (zh) * | 2011-03-18 | 2011-08-17 | 杭州电子科技大学 | 基于视频识别的江河涌潮检测方法 |
| KR101610595B1 (ko) * | 2015-07-16 | 2016-04-07 | 김승우 | 긴급 폭풍해일 예측 시스템 및 그 방법 |
| CN105894090A (zh) * | 2016-04-22 | 2016-08-24 | 大连海事大学 | 一种基于自适应变异粒子群优化的潮汐智能实时预报方法 |
| CN108509919A (zh) * | 2018-04-03 | 2018-09-07 | 哈尔滨哈船智控科技有限责任公司 | 一种基于深度学习对视频或图片中水线的检测和识别方法 |
| CN109373981A (zh) * | 2018-09-29 | 2019-02-22 | 大连海事大学 | 一种防波堤内部水域增减水的精确预报方法 |
| CN109508630A (zh) * | 2018-09-27 | 2019-03-22 | 杭州朗澈科技有限公司 | 一种基于人工智能识别水尺水位的方法 |
| CN110610165A (zh) * | 2019-09-18 | 2019-12-24 | 上海海事大学 | 一种基于yolo模型的船舶行为分析方法 |
-
2020
- 2020-02-28 CN CN202010127428.8A patent/CN111414807B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101625732A (zh) * | 2009-08-03 | 2010-01-13 | 杭州电子科技大学 | 江河潮水水位的预测方法 |
| CN101625733A (zh) * | 2009-08-03 | 2010-01-13 | 杭州电子科技大学 | 基于神经网络的潮水水位和时间预测方法 |
| CN102156803A (zh) * | 2011-03-18 | 2011-08-17 | 杭州电子科技大学 | 基于视频识别的江河涌潮检测方法 |
| KR101610595B1 (ko) * | 2015-07-16 | 2016-04-07 | 김승우 | 긴급 폭풍해일 예측 시스템 및 그 방법 |
| CN105894090A (zh) * | 2016-04-22 | 2016-08-24 | 大连海事大学 | 一种基于自适应变异粒子群优化的潮汐智能实时预报方法 |
| CN108509919A (zh) * | 2018-04-03 | 2018-09-07 | 哈尔滨哈船智控科技有限责任公司 | 一种基于深度学习对视频或图片中水线的检测和识别方法 |
| CN109508630A (zh) * | 2018-09-27 | 2019-03-22 | 杭州朗澈科技有限公司 | 一种基于人工智能识别水尺水位的方法 |
| CN109373981A (zh) * | 2018-09-29 | 2019-02-22 | 大连海事大学 | 一种防波堤内部水域增减水的精确预报方法 |
| CN110610165A (zh) * | 2019-09-18 | 2019-12-24 | 上海海事大学 | 一种基于yolo模型的船舶行为分析方法 |
Non-Patent Citations (4)
| Title |
|---|
| A Modular Real-time Tidal Prediction Model based on Grey-GMDH Neural Network;Zhang ZeGuo et al.;《Applied Artificial Intelligence》;第32卷(第2期);165-185 * |
| Single Image Haze Removal Using Dark Channel Prior;Kaiming He et al.;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;第33卷(第12期);2341 – 2353 * |
| 基于深度信念网络的钱塘江潮位预报研究;鲍枫林;《中国优秀硕士学位论文全文数据库 (基础科学辑)》;A012-76 * |
| 基于混沌优化BP神经网络的江河涌潮短期预报模型;王瑞荣 等;《水力发电学报》;第35卷(第04期);80-88 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111414807A (zh) | 2020-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111414807B (zh) | 一种基于yolo技术的潮水识别与危机预警方法 | |
| CN111444809B (zh) | 一种基于改进YOLOv3的输电线路异常目标检测方法 | |
| US20230351573A1 (en) | Intelligent detection method and unmanned surface vehicle for multiple type faults of near-water bridges | |
| CN110796009A (zh) | 基于多尺度卷积神经网络模型的海上船只检测方法及系统 | |
| CN112861635B (zh) | 一种基于深度学习的火灾及烟雾实时检测方法 | |
| CN110060508B (zh) | 一种用于内河桥区的船舶自动检测方法 | |
| CN114743119B (zh) | 基于无人机的高铁接触网吊弦螺母缺陷检测方法 | |
| CN113076871A (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
| CN111222478A (zh) | 一种工地安全防护检测方法和系统 | |
| CN107731011B (zh) | 一种港口泊船监测方法、系统及电子设备 | |
| CN111008994A (zh) | 基于MPSoC的运动目标实时检测跟踪系统及方法 | |
| WO2024051296A1 (zh) | 一种复杂天气下障碍物检测方法及装置 | |
| CN117437201A (zh) | 一种基于改进YOLOv7的道路裂缝检测方法 | |
| CN114399734A (zh) | 一种基于视觉信息的森林火灾预警方法 | |
| CN112907138B (zh) | 一种从局部到整体感知的电网场景预警分类方法及系统 | |
| CN114463624A (zh) | 一种应用于城市管理监督的违章建筑物检测方法及装置 | |
| CN114155551A (zh) | 基于YOLOv3改进的复杂环境下的行人检测方法及装置 | |
| CN113537017A (zh) | 基于级联型回归修正的光学遥感图像飞机检测方法和装置 | |
| CN116109954B (zh) | 房屋安全隐患识别方法、装置及存储介质 | |
| CN115995075A (zh) | 一种车辆自适应导航方法、装置、电子设备及存储介质 | |
| CN114926791A (zh) | 一种路口车辆异常变道检测方法、装置、存储介质及电子设备 | |
| CN113627284B (zh) | 基于改进CenterNet的实时火焰检测方法及检测装置 | |
| CN117011785B (zh) | 基于时空关联和高斯热图的烟火检测方法、装置及系统 | |
| Liu et al. | A novel UAV target detection method based on the improved YOLOv4-tiny network | |
| CN118038320A (zh) | 一种基于图片识别的安全隐患识别方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |