CN110909767A - 一种移动端的救生衣检测方法 - Google Patents

一种移动端的救生衣检测方法 Download PDF

Info

Publication number
CN110909767A
CN110909767A CN201911063639.3A CN201911063639A CN110909767A CN 110909767 A CN110909767 A CN 110909767A CN 201911063639 A CN201911063639 A CN 201911063639A CN 110909767 A CN110909767 A CN 110909767A
Authority
CN
China
Prior art keywords
life jacket
mobile terminal
model
box
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911063639.3A
Other languages
English (en)
Inventor
宣琦
张鑫辉
孙翊杰
赵佳康
翔云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University of Technology ZJUT
Original Assignee
Zhejiang University of Technology ZJUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University of Technology ZJUT filed Critical Zhejiang University of Technology ZJUT
Priority to CN201911063639.3A priority Critical patent/CN110909767A/zh
Publication of CN110909767A publication Critical patent/CN110909767A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G08B21/24—Reminder alarms, e.g. anti-loss alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)

Abstract

一种移动端的救生衣检测方法，包括以下步骤：1)数据获取：通过移动端设备采集船上图片；2)数据处理：对图片进行人体是否穿戴救生衣标注；3)模型训练：用目标检测模型训练救生衣穿戴检测；4)模型检测：移动端设备用训练好的救生衣检测模型对摄像头进行实时检测，获得摄像头中每个人体位置并判断是否穿戴救生衣；5)系统预警：移动端设备根据模型检测结果，判断是开启警报机制。本发明选取移动端设备，节省成本与空间，使用SSDlite模型，提高对救生衣的检测速度和准确率，具有较高的实际应用价值。

Description

一种移动端的救生衣检测方法
技术领域
本发明涉及计算机应用技术领域及目标检测领域，特别是涉及一种移动端的救生衣检测方法。
背景技术
近年来，随着经济发展，我国沿海渔业与旅游业迅速发展，出海人数居高不下，但他们往往忽视安全问题。出海的特点是水深、流急、路途远、时间长，往往需要渡过不小的海面，并且大海喜怒无常，偶尔还会遇到打上岩石的巨浪。在海钓盛行的台湾地区，每年都有十多人在海钓时丧生，而绝多数是未穿戴救生衣掉进海里被浪卷走，错过救援时间，所以救生衣对出海人员安全至关重要。
然而，自然环境下的救生衣识别面临许多困难和挑战：救生衣标准不固定、人体遮挡、船上硬件设施不足等，因此仅仅依靠传统手动提取特征的方法和利用简单神经网络并不能达到期望的效果。
因此，需要一种有效的救生衣检测方法，检测和识别出海船只人员是否穿戴救生衣，提高管理水平，当发生出海船只人员未穿戴救生衣可以及时预警。
发明内容
为了克服现有技术的不足，本发明提供一种移动端的救生衣检测方法。该方法使用目标检测模型SSDlite，针对移动端设备进行模型优化，可以有效提高移动端救生衣检测的速度和准确率，提高出海安全性。
本发明解决其技术问题所采用的技术方案如下：
一种移动端的救生衣检测方法,包括以下步骤：
S1：数据获取：通过移动端设备采集船上的图片；
S2：数据处理：对图片进行人体是否穿戴救生衣标注；
S3：模型训练：用目标检测模型SSDlite训练救生衣穿戴检测；
S4：模型检测：移动端设备用训练好的救生衣检测模型对摄像头进行实时检测，获得摄像头中每个人体位置并判断是否穿戴救生衣；
S5：系统预警：根据模型检测结果，判断是否开启预警机制。
优选地，所述步骤S1中，利用移动端设备，每隔1s从摄像头取帧并保存为JPEG格式。
所述步骤S2中，去除不含人体的图片，将包含人体的JPEG图片转换为300*300大小，再通过人工用软件Labelimg手动标定人体边框，标签类别分别为‘wear’跟‘not wear’，生成xml文件，将图片与xml文件做成VOC2007数据集格式并转换成tfrecord格式。
所述步骤S3中，包括以下步骤：
S3-1:将图片作为模型的输入，通过mobilenet-v2主网络+6个convolutionalfeature layers一共提取出6个不同尺寸的feature map，用于提取不同大小的bbox，检测不同大小的目标；
S3-2:通过RPN与6个不同尺寸的feature map生成default box；
S3-3:通过边框预测网络将6个不同尺寸的feature map输入到一个conv层，得到最后的边框预测结果；
S3-4:通过分类网络将6个不同尺寸的feature map输入到一个conv层，得到最后的分类结果；
S3-5:通过模型分类与实际结果对比，再利用L1 Loss完成边框回归操作获得物体的精确位置，计算损失函数，同时更新整个网络的参数，得到训练模型，训练损失包括分类损失和回归损失，计算式如下：
Figure BDA0002258591710000021
其中N表示正样本的数目，
Figure BDA0002258591710000022
表示第i个先验框与第j个ground truth box匹配，且ground truth的类别为p，c为类别预测置信度，l为先验框对应边框的位置预测值，g是ground truth的位置参数，Lconf跟Lloc计算公式分别为：
Figure BDA0002258591710000023
Figure BDA0002258591710000024
Figure BDA0002258591710000025
Figure BDA0002258591710000031
Figure BDA0002258591710000032
Figure BDA0002258591710000033
其中
Figure BDA0002258591710000034
表示ground truth box，
Figure BDA0002258591710000035
表示default box,
Figure BDA0002258591710000036
表示预测的box相对于default box的偏移量，SmoothL1函数的定义为
Figure BDA0002258591710000037
所述步骤S4中，移动端设备将图片转换为300*300大小，传入训练好的SSDlite救生衣检测模型中，得到每个人体位置及是否穿戴救生衣的结果。
所述步骤S5中，若S4中模型判断图片中含有人员未穿戴救生衣，则移动端设备开启预警机制，上传图片，向管理员预警；反之，则不开启预警机制。
本发明的有益效果为：由于船上空间限制及环境限制，不适合放置大型运算设备，本发明选取移动端设备进行救生衣检测，节省成本与空间。相比于传统手动提取图像特征与简单利用神经网络的方法，本发明选取不同类型、不同大小等各种不同特征的救生衣训练SSDlite目标检测模型，节省了检测时间并且提高了准确率，本发明添加预警机制，能及时提醒管理员，能较好地提高出海安全性。
附图说明
图1为本发明实施例的移动端的救生衣检测方法的流程图；
图2为本发明实施例的SSDlite目标检测模型流程图；
图3为本发明实施例的mobilenet-v2的结构图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的描述。
参照图1-图3，一种移动端的救生衣检测方法，包括以下步骤：
S1：数据获取：通过移动端设备采集船上的图片；
S2：数据处理：对图片进行人体是否穿戴救生衣标注；
S3：模型训练：用目标检测模型SSDlite训练人体救生衣穿戴检测；
S4：模型检测：用训练好的救生衣检测模型对摄像头进行实时检测，获得摄像头中每个人体位置并判断是否穿戴救生衣；
S5：系统预警：根据模型检测结果，判断是否开启预警机制。
优选地，所述步骤S1中，利用移动端设备树莓派3B+，每隔1s从船上摄像头取帧并保存为JPEG格式。
所述步骤S2中，去除不含人体的图片，将包含人体的JPEG图片转换为300*300大小，再通过人工用软件Labelimg手动标定人体边框，标签类别分别为‘wear’跟‘not wear’，生成xml文件，将图片与xml文件做成VOC2007数据集格式并转换成tfrecord格式，并按照9:1的比例得到训练集跟测试集。
所述步骤S3对应图2包括以下步骤：
S3-1:将图片作为模型的输入，通过mobilenet-v2+6个convolutional featurelayers一共提取出6个不同尺寸的featuremap，用于提取不同大小的bbox，检测不同大小的目标；
如图3所示：mobilenet-v2主网络包括：1个con2d层->17个bottleneck层->1个con2d层->1个avgpool层->1个con2d层，一个bottleneck层包括1个con2d层->1个dwise层->1个con2d层。网络中使用relu6，对relu的激活范围限制到6，使网络在移动端设备float16/int8的低精度也会有较好的数值分辨率；
S3-2:通过RPN与6个不同尺寸的feature map生成default box:
经验框尺度计算公式：
Figure BDA0002258591710000041
式中m表示参与预测的卷积层，这里设定为6；
Box长宽计算公式：
Figure BDA0002258591710000042
Figure BDA0002258591710000043
Figure BDA0002258591710000044
当长宽比例为1时，添加一个经验框：
Figure BDA0002258591710000045
因此每个卷积特征位置可产生对应的6个default box；
中心点计算公式：
Figure BDA0002258591710000051
|fk|表示第k个特征映射的分辨率，上式主要将特征映射的每一个default box坐标中心特征归一化到[0,1]；
S3-3:通过边框预测网络将6个不同尺寸的feature map输入到一个conv层，得到最后的边框预测结果为[N,total number of prediction bounding box,4]；
bbox的四个输出值含义是指相对应的default box的中心x坐标偏移，中心y坐标偏移，width偏移值，height偏移值；
S3-4:通过分类网络将6个不同尺寸的feature map输入到一个conv层，得到最后的分类结果为[N,total number of prediction bounding box,class num]；
S3-5:通过模型分类与实际结果对比，再利用L1 Loss完成边框回归操作获得物体的精确位置，计算损失函数，同时更新整个网络的参数，得到训练模型，训练损失包括分类损失和回归损失，计算式如下：
Figure BDA0002258591710000052
其中N表示正样本的数目，
Figure BDA0002258591710000053
表示第i个先验框与第j个ground truth box匹配，且ground truth的类别为p，c为类别预测置信度，l为先验框对应边框的位置预测值，g是ground truth的位置参数，Lconf跟Lloc计算公式分别为：
Figure BDA0002258591710000054
Figure BDA0002258591710000055
Figure BDA0002258591710000056
Figure BDA0002258591710000057
Figure BDA0002258591710000058
Figure BDA0002258591710000059
其中
Figure BDA0002258591710000061
表示ground truth box，
Figure BDA0002258591710000062
表示default box,
Figure BDA0002258591710000063
表示预测的box相对于default box的偏移量，SmoothL1函数的定义为
Figure BDA0002258591710000064
所述步骤S4中，通过移动端设备-树莓派3B+，间隔时间读取摄像头，并将图片转换为300*300大小，传入训练好的救生衣检测模型，获得每个人体位置、面积、得分,根据(0.01*原图<面积<0.8*原图)跟(得分>0.5)删除可能错误的图片,最后得出图片中人员是否穿戴救生衣。
所述步骤S5中，若S4中模型判断图片中含有人员未穿戴救生衣，则树莓派3b+开启预警机制，在原图上打上模型预测的标签并上传云端服务器，管理员能及时获取信息并可以根据图片内的标签看到具体未穿戴救生衣人员；反之，则不开启预警机制。
如上所述为本发明移动端的救生衣检测方法的实施例介绍，本发明通过标注船上视频图片制作训练数据，通过SSDlite模型训练得到救生衣检测模型，移动端设备-树莓派3B+使用模型检测摄像头中人体位置并判断出是否穿戴救生衣，最后上传未穿戴救生衣人员图片，供管理员查看。本发明相比于传统手动提取特征的方法和简单的神经网络方法，具有检测速度快和准确率高的优势。
以上所述，仅为本发明专利较佳的实施例，对本发明而言仅仅是说明性，而非限制性，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (9)

1.一种移动端的救生衣检测方法，其特征在于，所述方法包括以下步骤：
S1：数据获取：通过移动端设备采集船上的图片；
S2：数据处理：对图片进行人体是否穿戴救生衣标注；
S3：模型训练：用目标检测模型训练救生衣穿戴检测；
S4：模型检测：用训练好的救生衣检测模型对摄像头进行实时检测，获得摄像头中每个人体位置并判断是否穿戴救生衣；
S5：系统预警：移动端设备根据模型检测结果，判断是否开启预警机制。
2.如权利要求1所述的一种移动端的救生衣检测方法，其特征在于，所述步骤S1中，移动端设备从摄像头取帧并保存图片，移动端设备包括树莓派3B+，图片格式包括JPEG。
3.如权利要求1所述的一种移动端的救生衣检测方法，其特征在于，所述步骤S3中，用目标检测模型训练人体救生衣穿戴检测，目标检测模型包括SSDlite。
4.如权利要求1或2或3所述的一种移动端的救生衣检测方法，其特征在于，所述步骤S3包括以下步骤：
S3-1:通过mobilenet-v2主网络+convolutional feature layers提取出6个不同尺寸的feature map，用于提取不同大小的bbox，检测不同大小的目标；
S3-2:通过RPN与6个不同尺寸的feature map生成default box，当长宽比例为1时，添加一个经验框：
Figure FDA0002258591700000011
每个卷积特征位置可产生对应的6个default box，最后将特征映射的每一个default box坐标中心特征归一化到[0,1]；
S3-3:通过S3-1构建的6个不同尺寸的feature map跟S3-2构建的default bbox输出边框预测结果；
S3-4:通过S3-1构建的6个不同尺寸的feature map跟conv层得到分类结果；
S3-5:训练损失包括分类损失和回归损失，计算式如下：
Figure FDA0002258591700000012
其中N表示正样本的数目，
Figure FDA0002258591700000013
表示第i个先验框与第j个ground truth box匹配，且ground truth的类别为p，c为类别预测置信度，l为先验框对应边框的位置预测值，g是ground truth的位置参数。
5.如权利要求4所述的一种移动端的救生衣检测方法，其特征在于，所述步骤S3-1中，mobilenet-v2主网络包括：1个con2d层->17个bottleneck层->1个con2d层->1个avgpool层->1个con2d层，其中一个bottleneck层包括：1个con2d层->1个dwise层->1个con2d层，mobilenet-v2主网络中使用relu6，对relu的激活范围限制到6，使网络在移动端设备float16/int8的低精度也会有较好的数值分辨率。
6.如权利要求4所述的一种移动端的救生衣检测方法，其特征在于，所述步骤S3-2中，经验框尺度计算公式：
Figure FDA0002258591700000021
smax＝0.8，smin＝0.2
式中m表示参与预测的卷积层，这里设定为6；
Box长宽计算公式：
Figure FDA0002258591700000022
Figure FDA0002258591700000023
Figure FDA0002258591700000024
中心点计算公式：
Figure FDA0002258591700000025
|fk|表示第k个特征映射的分辨率。
7.如权利要求4所述的一种移动端的救生衣检测方法，其特征在于，所述步骤S3-5中，Lconf跟Lloc计算公式分别为：
Figure FDA0002258591700000026
Figure FDA0002258591700000027
Figure FDA0002258591700000028
Figure FDA0002258591700000029
Figure FDA00022585917000000210
Figure FDA0002258591700000031
其中
Figure FDA0002258591700000032
表示ground truth box，
Figure FDA0002258591700000033
表示default box,
Figure FDA0002258591700000034
表示预测的box相对于default box的偏移量，SmoothL1函数的定义为
Figure FDA0002258591700000035
8.如权利要求1或2或3所述的一种移动端的救生衣检测方法，其特征在于，所述步骤S4中，移动端设备读取摄像头并传入救生衣检测模型，得到人体面积和得分，根据一定规律删除可能错误的图片得出图片中人员是否穿戴救生衣，删除错误图片规律如:人体面积>0.8*原图面积；人体面积<0.01*原图面积；人体未穿戴救生衣得分<0.5。
9.如权利要求1或2或3所述的一种移动端的救生衣检测方法，其特征在于，所述步骤S5中，当移动端设备判断出摄像头中含有人员未穿戴救生衣，开启预警模式，上传图片至服务器并提醒管理员。
CN201911063639.3A 2019-11-04 2019-11-04 一种移动端的救生衣检测方法 Pending CN110909767A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911063639.3A CN110909767A (zh) 2019-11-04 2019-11-04 一种移动端的救生衣检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911063639.3A CN110909767A (zh) 2019-11-04 2019-11-04 一种移动端的救生衣检测方法

Publications (1)

Publication Number Publication Date
CN110909767A true CN110909767A (zh) 2020-03-24

Family

ID=69816270

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911063639.3A Pending CN110909767A (zh) 2019-11-04 2019-11-04 一种移动端的救生衣检测方法

Country Status (1)

Country Link
CN (1) CN110909767A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380914A (zh) * 2020-10-21 2021-02-19 浙江工业大学 一种基于深度学习的渔船安全监控方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190147318A1 (en) * 2017-11-14 2019-05-16 Google Llc Highly Efficient Convolutional Neural Networks
CN109886139A (zh) * 2019-01-28 2019-06-14 平安科技（深圳）有限公司 人体检测模型生成方法、排污口异常检测方法以及装置
CN109961014A (zh) * 2019-02-25 2019-07-02 中国科学院重庆绿色智能技术研究院 一种煤矿输送带危险区域监测方法及系统
CN110287804A (zh) * 2019-05-30 2019-09-27 广东电网有限责任公司 一种基于移动视频监控的电力作业人员着装识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190147318A1 (en) * 2017-11-14 2019-05-16 Google Llc Highly Efficient Convolutional Neural Networks
CN109886139A (zh) * 2019-01-28 2019-06-14 平安科技（深圳）有限公司 人体检测模型生成方法、排污口异常检测方法以及装置
CN109961014A (zh) * 2019-02-25 2019-07-02 中国科学院重庆绿色智能技术研究院 一种煤矿输送带危险区域监测方法及系统
CN110287804A (zh) * 2019-05-30 2019-09-27 广东电网有限责任公司 一种基于移动视频监控的电力作业人员着装识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARK SANDLER等: "MobileNetV2: Inverted Residuals and Linear Bottlenecks", 《ARXIV.ORG》 *
WEI LIU等: "SSD:Single Shot MultiBox Detector", 《ARXIV.ORG》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112380914A (zh) * 2020-10-21 2021-02-19 浙江工业大学 一种基于深度学习的渔船安全监控方法
CN112380914B (zh) * 2020-10-21 2024-02-20 浙江工业大学 一种基于深度学习的渔船安全监控方法

Similar Documents

Publication Publication Date Title
CN110807429B (zh) 基于tiny-YOLOv3的施工安全检测方法及系统
CN111860652B (zh) 基于图像检测的动物体重测量方法、装置、设备及介质
CN110598693A (zh) 一种基于Faster-RCNN的船牌识别方法
CN111639629B (zh) 一种基于图像处理的猪只体重测量方法、装置及存储介质
CN109543647B (zh) 一种道路异常识别方法、装置、设备及介质
CN112819068B (zh) 一种基于深度学习的船舶作业违章行为实时侦测方法
CN113591592B (zh) 水上目标识别方法、装置、终端设备及存储介质
CN112926541A (zh) 一种睡岗检测方法、装置及相关设备
CN113158962A (zh) 一种基于YOLOv4的泳池溺水检测方法
CN116824335A (zh) 一种基于YOLOv5改进算法的火灾预警方法及系统
CN116152697A (zh) 一种混凝土结构裂缝的三维模型测量方法及相关装置
CN110909767A (zh) 一种移动端的救生衣检测方法
CN111723688A (zh) 人体动作识别结果的评价方法、装置和电子设备
CN112215714A (zh) 基于无人机的稻穗检测方法及装置
CN116562467A (zh) 一种海洋鱼类目标种类识别及分布预测方法及系统
CN109034033B (zh) 一种基于改进vgg16卷积网络的排烟视频检测方法
CN115937991A (zh) 人体摔倒识别方法、装置、计算机设备及存储介质
CN115690546A (zh) 虾长测量方法、装置、电子设备及存储介质
CN109632042B (zh) 一种高精度的水位检测系统
KR102460899B1 (ko) 심층 구조 학습 기반 사람 계수 방법 및 시스템
CN112598738A (zh) 一种基于深度学习的人物定位方法
CN206115501U (zh) 基于OpenCV图像识别技术的LNG加气检定系统
CN117854116B (zh) 一种基于贝塞尔曲线的海参原位长度测量方法
CN115063694B (zh) 基于滑坡形态复杂度的众包标注任务难度评估方法及系统
CN113807311A (zh) 一种多尺度目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200324