CN111695485A - 一种基于yolo和sppe的酒店发小卡片检测方法 - Google Patents

一种基于yolo和sppe的酒店发小卡片检测方法 Download PDF

Info

Publication number
CN111695485A
CN111695485A CN202010510644.0A CN202010510644A CN111695485A CN 111695485 A CN111695485 A CN 111695485A CN 202010510644 A CN202010510644 A CN 202010510644A CN 111695485 A CN111695485 A CN 111695485A
Authority
CN
China
Prior art keywords
pedestrian
yolo
sppe
small card
hotel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010510644.0A
Other languages
English (en)
Inventor
陈海波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenlan Artificial Intelligence Application Research Institute (Shandong) Co.,Ltd.
Original Assignee
DeepBlue AI Chips Research Institute Jiangsu Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DeepBlue AI Chips Research Institute Jiangsu Co Ltd filed Critical DeepBlue AI Chips Research Institute Jiangsu Co Ltd
Priority to CN202010510644.0A priority Critical patent/CN111695485A/zh
Publication of CN111695485A publication Critical patent/CN111695485A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/12—Hotels or restaurants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于YOLO和SPPE的酒店发小卡片行为的检测方法，其方法包括：采用YOLO算法检测出采集的帧图像里是否有行人，如有则对行人进行识别，得到行人总数以及每个行人的最小矩形包围框的任意两个对角顶点的像素坐标；采用SPPE算法对所述帧图像中检测到的每个行人，分别进行人体姿态估计，得到每个行人的重要关节点的像素坐标及score，剔除腿部各点分数较低的行人；根据所述帧图像，判断图像里的每个行人是否有发小卡片行为的嫌疑；根据前后多帧图像，综合判定当前时刻是否有发小卡片行为存在。本发明通过YOLO和SPPE两个算法的融合，在人体的多种姿态下，依然能够有效的识别是否有人在酒店发小卡片。

Description

一种基于YOLO和SPPE的酒店发小卡片检测方法
技术领域
本发明涉及本发明涉及图像处理领域，尤其涉及一种基于YOLO和SPPE的酒店发小卡片检测方法。
背景技术
YOLO算法是一个基于深度学习的目标检测模型，YOLO-v3作为YOLO系列目前最新的算法，其在图像检测速度及准确率上，都达到了较高的水准。在基础网络上，借鉴了YOLO-v2中Darknet-19以及Resnet的设计，使用了很多有良好表现的3*3和1*1的卷积层，并且融合了FPN多尺度金字塔算法，最终形成有53个卷积层的Darknet-53。并且在anchor上，仿照SSD算法形成多尺度预测，一共有3种尺度，每种尺度预测3个box。图3提供了YOLO-v3的结构图(参考文献：RedmonJ，FarhadiA.Yolov3：An incremental improvement[J].arXiv：1804.02767，2018.)。
SPPE是一个实时单人姿态检测算法，其使用的是Hourglass方法。Hourglass首先利用卷积层和池化层将特征缩放到很小的分辨率，每一个池化层都会进行网络分叉，对原来池化过的特征再进行卷积，得到最低分辨率特征后，网络开始向上采样，并逐渐结合不同尺度的特征信息。得到Hourglass网络模块输出后，再采用两个连续的1*1卷积层进行处理，得到最终的网络输出。(SPPE算法参考文献：Hao-Shu Fang1,Shuqin Xie.RMPE:RegionalMulti-Person Pose Estimation[J].arXiv:1612.00137，2018.)
当前基于图像的视频分析的技术发展日趋完善，应用的场景也是越来越广。许多研究学者提出将视频分析技术加入到各个服务行业，如酒店业。在已有的视频监控系统的基础上，加上智能化视频分析技术，提供实时报警功能，减少酒店各种传统意义上的痛点。
而酒店发小卡片是酒店行业多年来十分头疼的顽疾，传统的解决方法需要酒店安排专门的人员时刻紧盯各路监控，不仅效率低，而且容易漏掉。更为严重的是，由于发小广告这一灰色产业牵涉利益巨大，时常发生酒店工作人员与发小卡片人员内外勾结，利益均分，使得酒店房间里有小卡片成为全社会的公开的秘密，致使酒店行业蒙羞。此时，利用计算机技术对发小卡片的人员进行自动甄别并报警，就显得格外有效。
发明内容
1、本发明的目的
为了解决上述问题，本发明提供了一种基于YOLO和SPPE的酒店发小卡片检测方法，将深度学习的图像识别技术运用于酒店，能实现对来酒店发小卡片的人员自动进行机器识别，并发出报警信号。
2、本发明所采用的技术方案
本发明提出了一种基于YOLO和SPPE的酒店发小卡片检测方法：
采用YOLO算法检测出采集的帧图像里是否有行人，如有则对行人进行识别，得到行人总数以及每个行人的最小矩形包围框的任意两个对角顶点的像素坐标；
采用SPPE算法对所述帧图像中检测到的每个行人，分别进行人体姿态估计，得到每个行人的重要关节点的像素坐标及score，剔除腿部各点分数较低的行人；
根据所述帧图像，判断图像里的每个行人是否有发小卡片行为的嫌疑；
根据前后多帧图像，综合判定当前时刻是否有发小卡片行为存在。
更进一步，采用YOLO算法检测出采集的帧图像为获取单路摄像头采集的视频流。
更进一步，所述视频流为连续的监控画面，设置图像处理速度为每秒60/n帧。
更进一步，采用YOLO算法对所述图像中的行人进行识别时，设置识别阈值，即YOLO算法识别出的物体的精度大于或者等于阈值时，才确定该物体为行人。
更进一步，剔除腿部各点分数较低的行人时，即是此时人体只有部分在图像里，设定的识别剔除阈值，即SPPE算法识别出第k个人的左大腿、右大腿、左膝盖、右膝盖、左脚和右脚这6个点的score有一个小于识别剔除阈值时，则剔除该行人。
更进一步，重要关节点的像素坐标包括鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左臀、右臀、左手腕、右手腕、左大腿、右大腿、左膝盖、右膝盖、左脚掌和右脚掌。
更进一步，如果左手手腕的高度大于手肘的高度且大于手臂的高度，或者右手满足，那么就判定这一帧图像里疑似有人在发小卡片。
更进一步，根据前后多帧图像，综合判定当前时刻是否有发小卡片行为存在时，将长度L里的第0位的值删除，并将变量S的值添加到末尾；判断条件sum(S)>10是否成立，若是，则判定当前有人在发小卡片，并发出报警信号；否则，结束所述帧图像的识别工作；其中，L为长度20且初始元素全为0的列表。
更进一步，获取新的一帧视频流图像，并回到YOLO算法检测步骤。
3、本发明所采用的有益效果
(1)本发明所提出的技术方案通过YOLO和SPPE两个算法的融合，在人体的多种姿态下，依然能够有效的识别是否有人在酒店发小卡片，效率高，实用性强。
(2)本发明通过多个重要部位的像素采集和算法比对，实现精确检测。
附图说明
图1是本发明实施例中一种基于YOLO和SPPE的酒店发小卡片行为的检测流程图；
图2是本发明实施例中采用YOLO算法识别行人的示意图；
图3是本发明实施例中采用YOLO算法的拓扑结构图；
图4是本发明实施例中人体只有部分在图像里的示例。
具体实施方式
下面结合本发明实例中的附图，对本发明实例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域技术人员在没有做创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
下面将结合附图对本发明实例作进一步地详细描述。
实施例1
本发明的实施例提供了一种基于YOLO和SPPE的酒店发小卡片行为的检测方法。
请参考图1，图1是本发明实施例中一种基于YOLO和SPPE的酒店发小卡片行为的检测方法的流程图，具体包括如下步骤：
S101:获取单路摄像头的视频流，并对当前帧图像进行处理；
S102:采用YOLO算法检测出所述帧图像里是否有行人，如有则对行人进行识别，得到行人总数以及每个行人的最小矩形包围框的任意两个对角顶点的像素坐标；
S103:采用SPPE算法对所述帧图像中检测到的每个行人，分别进行人体姿态估计，得到每个行人的17个重要关节点的像素坐标及score；
S104:根据所述帧图像中检测到的每个行人的17个重要关节点的score，剔除腿部各点分数较低的行人；
S105:根据所述帧图像，判断图像里的每个行人是否有发小卡片行为的嫌疑；
S106:根据前后多帧图像，综合判定当前时刻是否有发小卡片行为存在。
S107:获取新的一帧视频流图像，并回到第2步
步骤S101中，视频流为连续的监控画面，设置图像处理速度为每秒5帧，所述的帧图像里是否有人未知；
步骤S102中，采用YOLO算法对所述图像中的行人进行识别时，识别阈值设置为0.5，即YOLO算法识别出的物体的精度大于或者等于0.5时，才确定该物体为行人；如图2所示，为本发明实施例中，对行人进行识别的状态示意图；
步骤S103中，所述17个重要关节点包括：鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左臀、右臀、左手腕、右手腕、左大腿、右大腿、左膝盖、右膝盖、左脚和右脚；
步骤S104中，剔除腿部各点分数较低的行人时，即是此时人体只有部分在图像里；所设定的识别阈值为0.2，即SPPE算法识别出第k个人的左大腿、右大腿、左膝盖、右膝盖、左脚和右脚这6个点的score有一个小于0.2时，则剔除该行人。
如图3所示，为本发明实施例中，人体只有部分在图像里示意图；
步骤S105中，判断图像里的每个行人是否有发小卡片行为的嫌疑，具体包括如下步骤：
S201:先从每个人的
Figure BDA0002528092330000041
Figure BDA0002528092330000042
Figure BDA0002528092330000051
这8个关键点中取出
Figure BDA0002528092330000052
判断条件
Figure BDA0002528092330000053
是否成立？若是，则第k个人有从下门缝发小卡片嫌疑，并令S＝1；否则，开始第5.2步。其中，
Figure BDA0002528092330000054
Figure BDA0002528092330000055
Figure BDA0002528092330000056
分别为第k个人的左肩、右肩、左大腿、右大腿、左膝盖、右膝盖、左脚和右脚，
Figure BDA0002528092330000057
分别为第k个人所述的8个关键点按照x值从小到大排序，并取出的最大值和最小值，
Figure BDA0002528092330000058
Figure BDA0002528092330000059
分别为第k个人所述的8个关键点按照y值从小到大排序，并取出的最大值和最小值，S为变量，初始值为0；
S202:判断
Figure BDA00025280923300000510
是否成立？若是，则第k个人有从上门缝发小卡片嫌疑，并令S＝1；否则，第k个人无发小卡片嫌疑；
S203:继续判断第k+1个人有无发小卡片嫌疑；
步骤S106中，根据前后多帧图像，综合判定当前时刻是否有发小卡片行为存在时，将L里的第0位的值删除，并将S的值添加到末尾。判断条件sum(S)>10是否成立？若是，则判定当前有人在发小卡片，并发出报警信号；否则，结束所述帧图像的识别工作。其中，L为长度20且初始元素全为0的列表；
步骤S107中，获取新的一帧视频流图像，并回到第2步。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种基于YOLO和SPPE的酒店发小卡片检测方法，其特征在于：
采用YOLO算法检测出采集的帧图像里是否有行人，如有则对行人进行识别，得到行人总数以及每个行人的最小矩形包围框的任意两个对角顶点的像素坐标；
采用SPPE算法对所述帧图像中检测到的每个行人，分别进行人体姿态估计，得到每个行人的重要关节点的像素坐标及score，剔除腿部各点分数较低的行人；
根据所述帧图像，判断图像里的每个行人是否有发小卡片行为的嫌疑；
根据前后多帧图像，综合判定当前时刻是否有发小卡片行为存在。
2.根据权利要求1所述的基于YOLO和SPPE的酒店发小卡片检测方法，其特征在于：采用YOLO算法检测出采集的帧图像为获取单路摄像头采集的视频流。
3.根据权利要求2所述的基于YOLO和SPPE的酒店发小卡片检测方法，其特征在于：所述视频流为连续的监控画面，设置图像处理速度为每秒60/n帧。
4.根据权利要求1所述的一种基于YOLO和SPPE的酒店发小卡片行为的检测方法，其特征在于：采用YOLO算法对所述图像中的行人进行识别时，设置识别阈值，即YOLO算法识别出的物体的精度大于或者等于阈值时，才确定该物体为行人。
5.根据权利要求1所述的一种基于YOLO和SPPE的酒店发小卡片行为的检测方法，其特征在于：剔除腿部各点分数较低的行人时，即是此时人体只有部分在图像里，设定的识别剔除阈值，即SPPE算法识别出第k个人的左大腿、右大腿、左膝盖、右膝盖、左脚和右脚这6个点的score有一个小于识别剔除阈值时，则剔除该行人。
6.根据权利要求1所述的一种基于YOLO和SPPE的酒店发小卡片行为的检测方法，其特征在于重要关节点的像素坐标包括鼻子、左眼、右眼、左耳、右耳、左肩、右肩、左臀、右臀、左手腕、右手腕、左大腿、右大腿、左膝盖、右膝盖、左脚掌和右脚掌。
7.根据权利要求6所述的一种基于YOLO和SPPE的酒店发小卡片行为的检测方法，其特征在于：所述的判断图像里的每个行人是否有发小卡片行为的嫌疑，具体为：先从每个人的重要关节点，并选取横纵坐标的阈值范围，判断条件
Figure FDA0002528092320000011
是否成立，若是，则第k个人有从下门缝发小卡片嫌疑，并令S＝1；否则，开始下一步。
8.根据权利要求7所述的一种基于YOLO和SPPE的酒店发小卡片行为的检测方法，其特征在于：如果左手手腕的高度大于手肘的高度且大于手臂的高度，或者右手满足，那么就判定这一帧图像里疑似有人在发小卡片。
9.根据权利要求1所述的一种基于YOLO和SPPE的酒店发小卡片行为的检测方法，其特征在于：根据前后多帧图像，综合判定当前时刻是否有发小卡片行为存在时，将长度L里的第0位的值删除，并将变量S的值添加到末尾；判断条件sum(S)>10是否成立，若是，则判定当前有人在发小卡片，并发出报警信号；否则，结束所述帧图像的识别工作；其中，L为长度20且初始元素全为0的列表。
10.根据权利要求1所述的一种基于YOLO和SPPE的酒店发小卡片行为的检测方法，其特征在于：获取新的一帧视频流图像，并回到YOLO算法检测步骤。
CN202010510644.0A 2020-06-08 2020-06-08 一种基于yolo和sppe的酒店发小卡片检测方法 Pending CN111695485A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010510644.0A CN111695485A (zh) 2020-06-08 2020-06-08 一种基于yolo和sppe的酒店发小卡片检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010510644.0A CN111695485A (zh) 2020-06-08 2020-06-08 一种基于yolo和sppe的酒店发小卡片检测方法

Publications (1)

Publication Number Publication Date
CN111695485A true CN111695485A (zh) 2020-09-22

Family

ID=72479724

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010510644.0A Pending CN111695485A (zh) 2020-06-08 2020-06-08 一种基于yolo和sppe的酒店发小卡片检测方法

Country Status (1)

Country Link
CN (1) CN111695485A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392754A (zh) * 2021-06-11 2021-09-14 成都掌中全景信息技术有限公司 一种基于yolov5行人检测算法减少行人误检测率的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163157A (zh) * 2019-05-24 2019-08-23 南京邮电大学 一种利用新型损失函数进行多人姿态估计的方法
CN110399794A (zh) * 2019-06-20 2019-11-01 平安科技（深圳）有限公司 基于人体的姿态识别方法、装置、设备及存储介质
CN111062239A (zh) * 2019-10-15 2020-04-24 平安科技（深圳）有限公司 人体目标检测方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110163157A (zh) * 2019-05-24 2019-08-23 南京邮电大学 一种利用新型损失函数进行多人姿态估计的方法
CN110399794A (zh) * 2019-06-20 2019-11-01 平安科技（深圳）有限公司 基于人体的姿态识别方法、装置、设备及存储介质
CN111062239A (zh) * 2019-10-15 2020-04-24 平安科技（深圳）有限公司 人体目标检测方法、装置、计算机设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113392754A (zh) * 2021-06-11 2021-09-14 成都掌中全景信息技术有限公司 一种基于yolov5行人检测算法减少行人误检测率的方法

Similar Documents

Publication Publication Date Title
CN107833236B (zh) 一种动态环境下结合语义的视觉定位系统和方法
CN108710868B (zh) 一种基于复杂场景下的人体关键点检测系统及方法
CN108052896B (zh) 基于卷积神经网络与支持向量机的人体行为识别方法
WO2020042419A1 (zh) 基于步态的身份识别方法、装置、电子设备
CN104881637B (zh) 基于传感信息及目标追踪的多模信息系统及其融合方法
CN108898047B (zh) 基于分块遮挡感知的行人检测方法及系统
WO2013015528A1 (en) Apparatus, method, and medium detecting object pose
CN114220176A (zh) 一种基于深度学习的人体行为的识别方法
CN107767416B (zh) 一种低分辨率图像中行人朝向的识别方法
CN105046719B (zh) 一种视频监控方法及系统
CN111241913A (zh) 一种检测人员摔倒的方法、装置及系统
JP6773829B2 (ja) 対象物認識装置、対象物認識方法、及び対象物認識プログラム
CN109271932A (zh) 基于颜色匹配的行人再识别方法
CN112541424A (zh) 复杂环境下行人跌倒的实时检测方法
CN113111767A (zh) 一种基于深度学习3d姿态评估的跌倒检测方法
CN112149494A (zh) 一种多人姿态识别方法及系统
CN115116127A (zh) 一种基于计算机视觉和人工智能的跌倒检测方法
CN112926522A (zh) 一种基于骨骼姿态与时空图卷积网络的行为识别方法
CN113780145A (zh) 精子形态检测方法、装置、计算机设备和存储介质
CN104504162B (zh) 一种基于机器人视觉平台的视频检索方法
CN111695485A (zh) 一种基于yolo和sppe的酒店发小卡片检测方法
CN112183287A (zh) 一种移动机器人在复杂背景下的人数统计方法
CN109492513B (zh) 光场监控的人脸空间去重方法
CN116862832A (zh) 一种基于三维实景模型的作业人员定位方法
CN111753587A (zh) 一种倒地检测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220418

Address after: 250000 13th floor, Hanyu Golden Valley artificial intelligence building, Jingshi Road, Jinan area, China (Shandong) pilot Free Trade Zone, Jinan City, Shandong Province

Applicant after: Shenlan Artificial Intelligence Application Research Institute (Shandong) Co.,Ltd.

Address before: 213000 No.103, building 4, Chuangyan port, Changzhou science and Education City, No.18, middle Changwu Road, Wujin District, Changzhou City, Jiangsu Province

Applicant before: SHENLAN ARTIFICIAL INTELLIGENCE CHIP RESEARCH INSTITUTE (JIANGSU) Co.,Ltd.