CN110619365B - 一种落水检测方法 - Google Patents

一种落水检测方法 Download PDF

Info

Publication number
CN110619365B
CN110619365B CN201910880971.2A CN201910880971A CN110619365B CN 110619365 B CN110619365 B CN 110619365B CN 201910880971 A CN201910880971 A CN 201910880971A CN 110619365 B CN110619365 B CN 110619365B
Authority
CN
China
Prior art keywords
image
target
detection
detection model
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910880971.2A
Other languages
English (en)
Other versions
CN110619365A (zh
Inventor
方武
李晨曦
祖宝明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Trade and Commerce
Original Assignee
Suzhou Institute of Trade and Commerce
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Trade and Commerce filed Critical Suzhou Institute of Trade and Commerce
Priority to CN201910880971.2A priority Critical patent/CN110619365B/zh
Publication of CN110619365A publication Critical patent/CN110619365A/zh
Application granted granted Critical
Publication of CN110619365B publication Critical patent/CN110619365B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种落水检测方法，包括：获取可见光图像与热图像；调用目标检测模型对可见光图像与热图像进行叠加，得目标图像；调用目标检测模型对目标图像进行检测，得到目标图像中包含落水者的最终目标框。通过使用该检测方法，提高检测速度及定位准确率，提高夜间等复杂环境下的识别率。

Description

一种落水检测方法
技术领域
本发明涉及图像识别和深度学习领域，尤其涉及一种基于可见光图像和热图像特征叠加的落水检测方法。
背景技术
图像融合作为信息融合的一个分支，是当前信息融合研究中的一个热点。图像融合的数据形式是包含有明暗、色彩、温度、距离以及其他的景物特征的图像。这些图像可以以一副，或者一列的形式给出。而图像融合是将2张或2张以上的图像信息融合到1张图像上，使得融合的图像含有更多的信息、能够更方便人来观察或者计算机处理。然而传统的识别检测算法存在准确率不高，鲁棒性不强，检测识别速度慢等缺点。
发明内容
本发明目的是提供一种落水检测方法，通过使用该检测方法，提高检测速度及定位准确率，提高夜间等复杂环境下的识别率。
为达到上述目的，本发明采用的技术方案是：一种落水检测方法，包括：
获取可见光图像与热图像；
调用目标检测模型对可见光图像与热图像进行叠加，得目标图像；
调用目标检测模型对目标图像进行检测，得到目标图像中包含落水者的最终目标框。
上述技术方案中，所述目标检测模型通过如下步骤构建：
构建十四层卷积神经网络模型；
对十四层卷积神经网络模型进行预训练，得预检测模型；
对预检测模型进行二次训练，得检测模型；
对检测模型进行测试，得目标检测模型。
上述技术方案中，所述十四层卷积神经网络模型包括八层卷积层与六层最大值池化层，第一层与最后一层为所述卷积层，第二层至第十三层以最大值池化层与卷积层交替设置。
上述技术方案中，步骤“对十四层卷积神经网络模型进行预训练”中是采用迁移学习方法，预训练的范围为通用行人检测数据库。
上述技术方案中，步骤“对预检测模型进行二次训练”中二次训练的范围为训练样本集。
上述技术方案中，所述训练样本集通过如下步骤构建：
获取样本图像；
对样本图像扩充数据集；
对数据集标注，得训练样本集。
上述技术方案中，步骤“对检测模型进行测试”包括：
对样本图像缩放，得子图像；
将子图像平均分为若干个预测框；
在每个预测框输出大小不同的若干个目标框；
若目标框中温差大于十度，则该目标框检测概率设为1，否则设为0.5，预测值＝目标框*检测概率；
利用目标框对检测模型进行测试，得目标检测模型。
上述技术方案中，所述子图像大小为832*832像素，对所述子图像均分为一百六十九个预测框。
上述技术方案中，所述预测框为13*13矩阵，每一所述预测框内预测五个尺寸大小不同的目标框。
上述技术方案中，所述可见光图像与热图像通过树莓派摄像头同时获取。
由于上述技术方案运用，本发明与现有技术相比具有下列优点：
1.本发明中将可见光图像与热图像的特征进行叠加，可用于复杂环境下实时落水人员识别检测，提高夜间等复杂环境下的识别率。
2.目标检测模型是由定制化十四层卷积神经网络模型经通用行人检测数据库与训练样本集多次训练，及目标框测试得到，基于分类回归的卷积神经网络目标检测方法具有速度快、精度高的优点，可用于实时落水人员识别检测系统。
具体实施方式
下面结合实施例对本发明作进一步描述：
实施例一：一种落水检测方法，包括：
获取可见光图像与热图像；
调用目标检测模型对可见光图像与热图像进行叠加，得目标图像；
调用目标检测模型对目标图像进行检测，得到目标图像中包含落水者的最终目标框。
其中，目标检测模型通过如下步骤构建：
构建十四层卷积神经网络模型；
对十四层卷积神经网络模型进行预训练，得预检测模型；
对预检测模型进行二次训练，得检测模型；
对检测模型进行测试，得目标检测模型。
其中，所述十四层卷积神经网络模型包括八层卷积层与六层最大值池化层，第一层与最后一层为所述卷积层，第二层至第十三层以最大值池化层与卷积层交替设置。卷积神经网络结构参数表见表1。
表1卷积网络结构参数表
其中，预检测模型的获取步骤为：采用迁移学习方法利用通用行人检测数据库对十四层卷积神经网络模型进行预训练得到。
其中，检测模型的获取步骤为：
通过手机、无人机或摄像机等具有拍摄功能的设备采集落水人员的图像，作为样本图像；
对样本图像采用经典数据增强的方法扩充数据集；
对扩充后的数据集进行标注，所述标注是指对图像中标注矩形框，所述矩形框内包含落水人员大小和位置坐标，且对所述标注设定标签，所述标签是指标注的矩形框内落水人员的类别，得训练样本集；
利用训练样本集对预检测模型进行二次训练，得检测模型。
其中，目标检测模型的获取步骤为：
将样本图像缩放成832*832像素的子图像；
将子图像平均分为13*13矩阵大小的一百六十九个预测框，每一预测框内预测五个尺寸大小不同的目标框，根据常见落水人员尺寸比例将目标框分别设置为：32*46像素、38*52像素、46*62像素、36*48像素与78*118像素，对目标框通过热图像传感器检测每个像素点位置的温度，取最高值-最低值，若目标框中温差大于湿度，则该目标框检测概率设为1，否则设为0.5，预测值＝目标框*检测概率，取最大预测值为落水者的最终目标框；
利用目标框对检测模型进行测试，得目标检测模型。
利用目标检测模型，对同时获取的可见光图像与热图像进行叠加，并检测识别，以确定所述目标图像中落水人员的分类及其位置坐标。
y＝M(x)，为输入到输出的映射函数；
其中，x为输入图像，y为落水人员分类及其位置坐标。
本申请选择树莓派摄像头平台进行测试，所述树莓派摄像头测试平台参数见表2。
表2树莓派摄像头测试平台参数
上述实施例只为说明本发明的技术构思及特点，其目的在于让熟悉此项技术的人士能够了解本发明的内容并据以实施，并不能以此限制本发明的保护范围。凡根据本发明精神实质所作的等效变化或修饰，都应涵盖在本发明的保护范围之内。

Claims (6)

1.一种落水检测方法，其特征在于，包括：
获取可见光图像与热图像；
调用目标检测模型对可见光图像与热图像进行叠加，得目标图像；
调用目标检测模型对目标图像进行检测，得到目标图像中包含落水者的最终目标框；
所述目标检测模型通过如下步骤构建：
构建十四层卷积神经网络模型；
对十四层卷积神经网络模型进行预训练，得预检测模型；
构建训练样本集，对预检测模型进行二次训练，得检测模型；所述训练样本集的构建过程包括：获取样本图像，对样本图像扩充数据集，对数据集标注，得训练样本集；
对样本图像缩放，得子图像；
将子图像平均分为若干个预测框；
在每个预测框输出大小不同的若干个目标框；
若目标框中温差大于十度，则该目标框检测概率设为1，否则设为0.5，预测值＝目标框*检测概率；
利用目标框对检测模型进行测试，得目标检测模型。
2.根据权利要求1所述的落水检测方法，其特征在于：所述十四层卷积神经网络模型包括八层卷积层与六层最大值池化层，第一层与最后一层为所述卷积层，第二层至第十三层以最大值池化层与卷积层交替设置。
3.根据权利要求1所述的落水检测方法，其特征在于：步骤“对十四层卷积神经网络模型进行预训练”中是采用迁移学习方法，预训练的范围为通用行人检测数据库。
4.根据权利要求1所述的落水检测方法，其特征在于：所述子图像大小为832*832像素，对所述子图像均分为一百六十九个预测框。
5.根据权利要求4所述的落水检测方法，其特征在于：所述预测框为13*13矩阵，每一所述预测框内预测五个尺寸大小不同的目标框。
6.根据权利要求1所述落水检测方法，其特征在于：所述可见光图像与热图像通过树莓派摄像头同时获取。
CN201910880971.2A 2019-09-18 2019-09-18 一种落水检测方法 Active CN110619365B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910880971.2A CN110619365B (zh) 2019-09-18 2019-09-18 一种落水检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910880971.2A CN110619365B (zh) 2019-09-18 2019-09-18 一种落水检测方法

Publications (2)

Publication Number Publication Date
CN110619365A CN110619365A (zh) 2019-12-27
CN110619365B true CN110619365B (zh) 2023-09-12

Family

ID=68923484

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910880971.2A Active CN110619365B (zh) 2019-09-18 2019-09-18 一种落水检测方法

Country Status (1)

Country Link
CN (1) CN110619365B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112418181B (zh) * 2020-12-13 2023-05-02 西北工业大学 一种基于卷积神经网络的人员落水检测方法
CN112784769B (zh) * 2021-01-26 2022-06-14 江苏师范大学 一种基于树莓派和机器视觉的双黄蛋在线识别系统和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109086678A (zh) * 2018-07-09 2018-12-25 天津大学 一种基于深度监督学习提取图像多级特征的行人检测方法
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN110119718A (zh) * 2019-05-15 2019-08-13 燕山大学 一种基于深度学习的落水检测及救援控制系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019144575A1 (zh) * 2018-01-24 2019-08-01 中山大学 一种快速行人检测方法及装置
CN109086678A (zh) * 2018-07-09 2018-12-25 天津大学 一种基于深度监督学习提取图像多级特征的行人检测方法
CN110119718A (zh) * 2019-05-15 2019-08-13 燕山大学 一种基于深度学习的落水检测及救援控制系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于双通道的快速低空无人机检测识别方法;马旗等;《光学学报》;20190827(第12期);摘要，章节1-4 *

Also Published As

Publication number Publication date
CN110619365A (zh) 2019-12-27

Similar Documents

Publication Publication Date Title
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN110363158B (zh) 一种基于神经网络的毫米波雷达与视觉协同目标检测与识别方法
Rijal et al. Ensemble of deep neural networks for estimating particulate matter from images
CN111814661B (zh) 基于残差-循环神经网络的人体行为识别方法
CN111767882A (zh) 一种基于改进yolo模型的多模态行人检测方法
CN108734143A (zh) 一种巡检机器人的基于双目视觉的输电线路在线检测方法
CN110246181B (zh) 基于锚点的姿态估计模型训练方法、姿态估计方法和系统
CN108090472B (zh) 基于多通道一致性特征的行人重识别方法及其系统
CN107944450A (zh) 一种车牌识别方法及装置
CN110569779A (zh) 基于行人局部和整体属性联合学习的行人属性识别方法
CN108229435B (zh) 一种用于行人识别的方法
CN110619365B (zh) 一种落水检测方法
CN113326735B (zh) 一种基于YOLOv5的多模态小目标检测方法
CN111274988B (zh) 一种基于多光谱的车辆重识别方法及装置
CN115170792A (zh) 红外图像处理方法、装置及设备、存储介质
CN115147745A (zh) 一种基于城市无人机图像的小目标检测方法
CN113298177B (zh) 夜间图像着色方法、装置、介质和设备
CN111353412B (zh) 端到端的3D-CapsNet火焰检测方法及装置
Zhou et al. Calibration and location analysis of a heterogeneous binocular stereo vision system
CN117079125A (zh) 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法
CN116363629A (zh) 一种基于改进YOLOv5的交通标志检测方法
CN116596971A (zh) 一种航拍运动目标的双重检测方法及系统、存储介质
CN116580324A (zh) 一种基于YOLOv5的无人机对地目标检测方法
CN114550016B (zh) 一种基于上下文信息感知的无人机定位方法及系统
CN109740405A (zh) 一种非对齐相似车辆前窗差异信息检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant