CN111950458A - 一种游泳馆监控系统、方法及智能机器人 - Google Patents

一种游泳馆监控系统、方法及智能机器人 Download PDF

Info

Publication number
CN111950458A
CN111950458A CN202010809061.8A CN202010809061A CN111950458A CN 111950458 A CN111950458 A CN 111950458A CN 202010809061 A CN202010809061 A CN 202010809061A CN 111950458 A CN111950458 A CN 111950458A
Authority
CN
China
Prior art keywords
information
lifesaver
natatorium
swimmer
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010809061.8A
Other languages
English (en)
Inventor
蒋伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Everstep Technology Shanghai Co ltd
Original Assignee
Everstep Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Everstep Technology Shanghai Co ltd filed Critical Everstep Technology Shanghai Co ltd
Priority to CN202010809061.8A priority Critical patent/CN111950458A/zh
Publication of CN111950458A publication Critical patent/CN111950458A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14—Error detection or correction of the data by redundancy in operation
    • G06F11/1402—Saving, restoring, recovering or retrying
    • G06F11/1446—Point-in-time backing up or restoration of persistent data
    • G06F11/1458—Management of the backup or restore process
    • G06F11/1464—Management of the backup or restore process for networked environments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/955—Hardware or software architectures specially adapted for image or video understanding using specific electronic processors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Abstract

本发明提供了一种游泳馆监控系统、方法及智能机器人，所述系统包括摄像采集模块、游泳人员密度采集模块、救生员状态采集模块和信息反馈模块，所述摄像采集模块输出端分别与所述游泳人员密度采集模块和救生员状态采集模块的输入端连接，所述所述游泳人员密度采集模块和救生员状态采集模块的输出端均与所述信息反馈模块连接，通过深度学习的方式对游泳馆内的游泳人员密度和救生员状态进行实时检测，对救生员实现无人化管理，提高游泳馆内人员的安全性。

Description

一种游泳馆监控系统、方法及智能机器人
技术领域
本发明涉及运动与安防技术领域，尤其涉及一种游泳馆监控系统、方法及智能机器人。
背景技术
游泳馆是主要用于进行游泳、跳水、水球等水上运动的体育建筑。在现代，世界各国都建有游泳馆，游泳馆按功能可分为四种，比赛馆：作为游泳、水球、跳水等项目竞赛和表演之用，设有看台，平时作为训练之用；训练馆：专供运动员训练用，有游泳和跳水设备，只设少量观摩席，不设看台；室内公共游泳池：供公众锻炼、游乐、休息、医疗用，布置比较灵活；家庭游泳池：面积不应小于25平方米。
目前由于人们生活水平提高，对于游泳馆的需求也越来越大，更多的人进入游泳馆学习或者练习游泳。
而游泳馆内需要保证访客安全，因此需要对游泳馆内状态进行监测，比如申请号为201910386770.7，专利名称为“一种用于游泳池的监控方法及系统”的发明专利申请，其公开了一种用于游泳池的监控方法及系统，通过对游泳者面部表情和肢体动作的识别分析来实现监控。其技术方案要点是在游泳池设置一种监控系统实施安全监控，所述监控系统包括视频采集单元、预处理单元、特征提取单元、训练单元、识别单元和报警单元，溺水识别模型训练完成后，视频采集单元采集游泳者的实时游泳视频，预处理和特征提取后输入到溺水识别模型，识别到溺水特征时，则触发报警单元进行报警。本公开采用游泳池监控方法及系统通过深度神经网络训练的溺水识别模型，对溺水有很好的预防作用。
但是在实际进行安全保护的时候，为了安全起见，一般的游泳馆会配备一定数量的救生员，以确保访客的安全，因此需要对游泳馆内的救生员进行监控，确保救生员的状态，以及时应对突发事件，而传统的监控方式并没有对救生员的状态进行监控，而且即使监控也是采用人工审核的方式进行，不仅人工成本高，而且在出现意外情况时影响救援速度。
因此，有必要提供一种新型的游泳馆监控系统、方法及智能机器人以解决现有技术中存在的上述问题。
发明内容
本发明的目的在于提供一种游泳馆监控系统、方法及智能机器人，通过深度学习的方式对游泳馆内的游泳人员密度和救生员状态进行实时检测，对游泳人员和救生员状态实现无人化管理。
为实现上述目的，本发明的所述一种游泳馆监控系统，包括摄像采集模块、游泳人员密度采集模块、救生员状态采集模块和信息反馈模块，所述摄像采集模块输出端分别与所述游泳人员密度采集模块和救生员状态采集模块的输入端连接，所述所述游泳人员密度采集模块和救生员状态采集模块的输出端均与所述信息反馈模块连接，其中：
所述摄像采集模块安装在所述游泳馆内部并采集游泳馆内的游泳馆图像；
所述游泳人员密度采集模块根据所述游泳馆图像进行建模训练并预测输出游泳池内的游泳人员的状态信息；
所述救生员状态采集模块根据所述游泳馆图像进行建模训练并预测输出游泳池内救生员的状态信息；
所述信息反馈模块根据所述游泳人员的状态信息和所述救生员的状态信息进行反馈提示。
本发明的有益效果在于：通过摄像采集模块实时获取游泳馆内部的图像信息，游泳人员密度采集模块和救生员状态采集模块基于图像信息建立卷积神经网络模型以实现游泳人员的状态信息监测和救生员状态信息检测，通过深度学习的方式实现对游泳馆内游泳人员和救生员的状态监控，实现无人化管理，降低了人工成本，提高了游泳馆内人员的安全性。
进一步的，所述摄像采集模块包括四个摄像头，所述摄像头安装在游泳池内部顶端，所述摄像头的拍摄角度为0-90°。其有益效果在于：通过四个摄像头对游泳馆内部实现180°拍摄，将游泳馆内的图像完整记录，从而确保采集的游泳馆图像信息准确，不会出现检测遗漏的情况。
进一步的，所述游泳人员密度采集模块包括依次连接的人员数据采集单元、人员卷积神经网络单元、人员模型训练单元和人员模型监控单元，所述人员数据采集单元输入端与所述摄像采集模块连接，所述人员模型监控单元的输入端与所述摄像采集模块连接，其中：
所述人员数据采集单元根据所述游泳馆图像提取出多个静态图片，并获取所述静态图片上的游泳人员数量信息和游泳人员位置信息，将静态图片上的信息作为游泳人员训练信息，获取的游泳人员数量信息和游泳人员位置信息作为游泳人员核对信息以对游泳人员数量和位置进行核对；
所述人员卷积神经网络单元搭建得到人员卷积神经网络模型；
所述人员模型训练单元接收所述游泳人员训练信息进行模型训练并输出游泳人员测试信息，并通过游泳人员核对信息对所述游泳人员测试信息进行核对得到游泳人员差值信息，所述游泳人员差值信息为所述游泳人员测试信息与所述游泳人员核对信息之间的比值，将所述游泳人员差值信息反馈至所述人员卷积神经网络模型，直至所述游泳人员差值信息小于第一预设值，得到最终人员卷积神经网络模型；
所述人员模型监控单元提取所述摄像采集模块的图像数据并传输至所述最终人员卷积神经网络模型，通过最终人员卷积神经网络模型得到游泳池内人员信息的预测结果。
其有益效果在于：通过游泳馆图像信息对建立的人员卷积神经网络模型进行训练和评估，得到符合要求的人员卷积神经网络模型，并通过人员卷积神经网络模型对游泳馆内的游泳人员进行监控预测，最终得到准确的游泳人员数量信息，实现无人化监测，降低人工成本，提高检测效率。
进一步的，所述游泳人员位置信息的获取过程包括：根据所述游泳馆图像在游泳馆内建立直角坐标系，根据所述静态图片对应获取每一个游泳人员在所述直角坐标系上的位置坐标数据。其有益效果在于：通过建立坐标系的方式来获取每一个游泳人员在游泳馆内的坐标数据，从而得到每一个监测到的游泳人员的位置信息，以便于准确监测游泳人员的位置信息，满足监控需求。
进一步的，所述救生员状态采集模块包括依次连接的救生员数据采集单元、救生员卷积神经网络单元、救生员模型训练单元和救生员模型监控单元，所述救生员数据采集单元输入端与所述摄像采集模块连接，所述救生员模型监控单元的输入端还与所述摄像采集模块连接，其中：
所述救生员数据采集单元根据所述游泳馆图像提取出多个静态图片，并获取所述静态图片上的救生员数量信息和救生员位置信息，将静态图片上的信息作为救生员训练信息，将所述救生员数量信息和救生员位置信息作为救生员核对信息以对实际的救生员数量和位置信息进行核对；
所述救生员卷积神经网络单元搭建得到救生员卷积神经网络模型；
所述救生员模型训练单元接收所述救生员训练信息进行模型训练并输出救生员测试信息，并通过救生员核对信息对所述救生员测试信息进行核对得到救生员差值信息，所述救生员差值信息为所述救生员测试信息与所述救生员核对信息之间的比值，将所述救生员差值信息反馈至所述救生员卷积神经网络模型，直至所述救生员差值信息小于第二预设值，得到最终救生员卷积神经网络模型；
所述救生员模型监控单元提取所述摄像采集模块的图像数据并传输至所述最终救生员卷积神经网络模型，通过最终救生员卷积神经网络模型得到救生员状态信息的预测结果。
其有益效果在于：通过采集的游泳馆图像来获取救生员训练信息和救生员核对信息，并通过救生员训练信息对搭建的救生员卷积神经网络模型进行训练评估，直至得到满足要求的救生员卷积神经网络模型，并通过救生员卷积神经网络模型对游泳馆内的救生员状态进行预测监控，在没有人工审核的情况下，准确获取救生员的状态信息，整个过程通过线上预测进行，准确掌握救生员的状态信息，在遇到突发情况的时候提高救援效率。
进一步的，所述救生员位置信息的获取过程包括：根据所述游泳馆图像在游泳馆内建立直角坐标系，根据所述静态图片对应获取每一个救生员在所述直角坐标系上的位置坐标数据。其有益效果在于：通过建立坐标系的方式来获取每一个救生员在游泳馆内的坐标数据，从而得到每一个监测到的救生员的位置信息，以便于准确监测游泳人员的位置信息，满足监控需求。
进一步的，所述救生员数量信息包括在岗信息和不在岗信息两个类别，其中救生员与座椅的连体图片信息为在岗信息，空座椅的图片信息为不在岗信息。其有益效果在于：通过观察救生员和座椅的状态信息来区分救生员的在岗状态，从而对救生员的状态进行准确检测，以便时刻掌握各个位置的救生员的在岗状态。
进一步的，当所述救生员状态信息的预测结果显示存在救生员不在岗信息时，所述信息反馈模块采用广播报警提示。其有益效果在于：在救生员不在岗的时候进行广播报警提示，防止救生员不在岗而导致的救援效率降低。
本发明还公开了一种游泳馆监控方法，包括如下步骤：
采集游泳馆内的游泳馆内的游泳馆图像；
根据所述游泳馆图像进行建模训练并预测输出游泳池内的游泳人员状态信息和救生员状态信息；
根据输出的游泳人员状态信息和救生员状态信息进行反馈提示。
其有益效果在于：上述监控方法通过获取游泳馆内的图像信息，并以此训练评估搭建的救生员卷积神经网络模型和人员卷积神经网络模型，得到符合要求的最终救生员卷积神经网络模型和最终人员卷积神经网络模型，并通过最终救生员卷积神经网络模型和最终人员卷积神经网络模型对游泳馆内的图像进行分析预测，准确掌握每一个游泳人员和救生员的信息，以便对游泳馆内进行管理，提高整体的安全性。
本发明还提供了一种游泳馆监控智能机器人，包括上述的游泳馆监控系统。其有益效果在于：上述智能机器人包括游泳馆监控系统，可以通过智能机器人对游泳馆实现全方位监控，通过智能机器人方便进行管理。
进一步的，所述智能机器人采用Hi3559AAI芯片。其有益效果在于：相比于传统的GPU服务器大幅度提高数据处理速度。
进一步的，所述智能机器人将采集的所述游泳馆图像信息通过网络转存至云端，并将预测采集到的游泳人员数量信息和救生员状态信息保存至本地存储器，并通过网络上传至云端备份。其有益效果在于：将采集和监测到的信息数据分别本地储存并云端备份，便于调用查看，操作方便。
附图说明
图1为本发明的监控系统工作原理示意图；
图2为本发明的游泳人员密度采集模块工作原理示意图；
图3为本发明的救生员状态采集模块工作原理示意图；
图4为本发明的监控方法工作流程示意图；
图5为本发明的输入图片信息尺寸和六个特征面的结构信息示意图。
图中标号：
1-摄像采集模块；
2-游泳人员密度采集模块；201-人员数据采集单元；202-人员卷积神经网络单元；203-人员模型训练单元；204-人员模型监控单元；
3-救生员状态采集模块；301-救生员数据采集单元；302-救生员卷积神经网络单元；303-救生员模型训练单元；304-救生员模型监控单元；
4-信息反馈模块。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。除非另外定义，此处使用的技术术语或者科学术语应当为本发明所属领域内具有一般技能的人士所理解的通常意义。本文中使用的“包括”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
针对现有技术存在的问题，如图1所示，本发明的实施例提供了一种游泳馆监控系统，包括摄像采集模块1、游泳人员密度采集模块2、救生员状态采集模块3和信息反馈模块4，所述摄像采集模块1输出端分别与所述游泳人员密度采集模块2和救生员状态采集模块3的输入端连接，所述游泳人员密度采集模块2和救生员状态采集模块3的输出端均与所述信息反馈模块4连接，其中：
所述摄像采集模块1安装在所述游泳馆内部并采集游泳馆内的游泳馆图像；
所述游泳人员密度采集模块2根据所述游泳馆图像进行建模训练并预测输出游泳池内的游泳人员的状态信息；
所述救生员状态采集模块3根据所述游泳馆图像进行建模训练并预测输出游泳池内救生员的状态信息；
所述信息反馈模块4根据所述游泳人员数量信息和所述救生员的状态信息进行反馈提示。
其中游泳人员状态信息主要包括游泳人员数量信息和位置信息，而救生员状态信息也主要包括救生员数量信息和位置信息。
在一种可能的实施方式中，所述摄像采集模块1包括四个摄像头，所述摄像头安装在游泳池内部顶端，摄像头位于游泳馆的游泳池的前方进行拍摄，所述摄像头的拍摄角度为0-90°。
进一步的，摄像头采用全景摄像头，四个摄像头组成球机拍摄系统，实现游泳馆内180°拍摄，全面记录位于全景摄像头前方的游泳馆内的图像，避免遗漏局部区域。
在一种可能的实施方式中，如图2所示，所述游泳人员密度采集模块2包括依次连接的人员数据采集单元201、人员卷积神经网络单元202、人员模型训练单元203和人员模型监控单元204，所述人员数据采集单元201输入端与所述摄像采集模块1连接，所述人员模型监控单元204的输入端与所述摄像采集模块1连接，其中：
所述人员数据采集单元201根据所述游泳馆图像提取出多个静态图片，并获取所述静态图片上的游泳人员数量信息和游泳人员位置信息，将静态图片上的信息作为游泳人员训练信息，获取的游泳人员数量信息和游泳人员位置信息作为游泳人员核对信息以对实际的游泳人员数量和位置进行核对。
其中，获取静态图片上的游泳人员数量信息时采用在图片上标注的方式进行，以确保能够准确获取游泳人员的信息。
所述人员卷积神经网络单元202搭建得到人员卷积神经网络模型；
所述人员模型训练单元203接收静态图片上的信息作为游泳人员训练信息进行模型训练并输出游泳人员测试信息，并通过获取的游泳人员数量信息和游泳人员位置信息作为游泳人员核对信息对所述游泳人员测试信息进行核对得到游泳人员差值信息，所述游泳人员差值信息为所述游泳人员测试信息与所述游泳人员核对信息之间的比值，将所述游泳人员差值信息反馈至所述人员卷积神经网络模型，直至所述游泳人员差值信息小于第一预设值，得到最终人员卷积神经网络模型；
所述人员模型监控单元204提取所述摄像采集模块1的图像数据并传输至所述最终人员卷积神经网络模型，通过最终人员卷积神经网络模型得到游泳池内游泳人员信息的预测结果，包括游泳人员的数量密度和位置。
进一步的，在对人员卷积神经网络模型进行训练评估时，第一预设值的精度小于10％，即在人员卷积神经网络模型的预测结果与拍摄图像的真实结果之间的比值大于90％的时候，表示当前人员卷积神经网络模型达到要求，可以成为最终人员卷积神经网络模型进行预测，完成模型的训练和评估过程。
在一种可能的实施方式中，所述游泳人员位置信息的获取过程包括：根据所述游泳馆图像在游泳馆内建立直角坐标系，根据所述静态图片对应获取每一个游泳人员在所述直角坐标系上的位置坐标数据。
在一种可能的实施方式中，如图3所示，所述救生员状态采集模块包括依次连接的救生员数据采集单元301、救生员卷积神经网络单元302、救生员模型训练单元303和救生员模型监控单元304，所述救生员模型监控单元301的输入端还与所述摄像采集模块1连接，其中：
所述救生员数据采集单元301根据所述游泳馆图像提取出多个静态图片，并获取所述静态图片上的救生员数量信息和救生员位置信息，将静态图片上的信息作为救生员训练信息，将所述救生员数量信息和救生员位置信息作为救生员核对信息以对实际的救生员数量和位置信息进行核对；
所述救生员卷积神经网络单元302搭建得到救生员卷积神经网络模型；
所述救生员模型训练单元303接收静态图片上的信息作为救生员训练信息进行模型训练并输出救生员测试信息，并通过获取到的救生员数量信息和救生员位置信息作为救生员核对信息对所述救生员测试信息进行核对得到救生员差值信息，所述救生员差值信息为所述救生员测试信息与所述救生员核对信息之间的比值，将所述救生员差值信息反馈至所述救生员卷积神经网络模型，直至所述救生员差值信息小于第二预设值，得到最终救生员卷积神经网络模型；
所述救生员模型监控单元304提取所述摄像采集模块1的图像数据并传输至所述最终救生员卷积神经网络模型，通过最终救生员卷积神经网络模型得到救生员状态信息的预测结果。
通过上述方式确定游泳馆内的救生员的状态，包括位置信息和状态信息，可以实现无人化监控管理，而且通过真实的检测数据对建立的救生员卷积神经网络模型进行训练评估，得到的最终救生员卷积神经网络模型可以满足监控的使用需求，实现无人化监测。
优选的是，在具体实施例中，由于一般游泳馆内的救生员人数不多，在具体监控时要求监测准确，因此第二预设值一般设置为大于95％。
在一种可能的实施方式中，所述救生员位置信息的获取过程包括：根据所述游泳馆图像在游泳馆内建立直角坐标系，根据所述静态图片对应获取每一个救生员在所述直角坐标系上的位置坐标数据。
在一种可能的实施方式中，所述救生员数量信息包括在岗信息和不在岗信息两个类别，其中救生员与座椅的连体图片信息为在岗信息，空座椅的图片信息为不在岗信息。
在一种可能的实施方式中，当所述救生员状态信息的预测结果显示存在救生员不在岗信息时，所述信息反馈模块采用广播报警提示。
需要说明的是，在建立人员卷积神经网络模型的时候，由于一般拍摄的游泳馆图像是高分辨率图像，而将高分辨率图像信息传输到人员卷积神经网络模型的时候，可能会出现图像压缩后目标过小而检测不到的情况，因此调整图片尺寸为1000mm*1000mm，保证输入人员卷积神经网络模型的图像信息在压缩后也能够清楚的查看，便于检测。
具体的，其中输入的图片信息和六个特征面的结构信息如图5所示。
需要说明的是，卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一；卷积神经网络具有表征学习能力，能够按其阶层结构对输入信息进行平移不变分类，因此也被称为“平移不变人工神经网络”。
卷积神经网络仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程要求。
需要说明的是，本方案中用到的卷积神经网络模型均为现有技术中的常用卷积神经网络模型，搭建过程为现有技术中的常用手段，并不涉及对其本身的改进，其功能原理现有技术中有相关说明，此处不再赘述。
如图4所示，本发明还提供了一种游泳馆监控方法，包括如下步骤：
S1、采集游泳馆内的游泳馆内的游泳馆图像。
具体的，采集游泳馆内的图像信息，并根据图像信息获取多个静态图片，获取所述静态图片中的救生员的状态信息和游泳人员的状态信息；
S2、根据所述游泳馆图像进行建模训练并预测输出游泳池内的游泳人员状态信息和救生员状态信息。
具体过程为：分别搭建救生员卷积神经网络模型和人员卷积神经网络模型，并通过救生员数量信息和游泳人员数量信息对所述救生员卷积神经网络模型、人员卷积神经网络模型进行训练评估，得到最终救生员卷积神经网络模型和最终人员卷积神经网络模型；
S3、根据输出的游泳人员状态信息和救生员状态信息进行反馈提示。
具体的，所述最终救生员卷积神经网络模型和最终人员卷积神经网络模型接收采集的所述图像信息，并分别对所述图像信息进行预测，预测得到救生员的状态信息和游泳人员的状态信息，并进行反馈提示。
上述监控方法的工作过程与监控系统的工作过程类似，此处不再赘述。
本发明还提供了一种游泳馆监控智能机器人，包括上述的游泳馆监控系统，通过将游泳馆监控系统集成到智能机器人之中，使得其可以以机器人的方式对游泳馆进行动态监控，使用起来更加方便。
在一种可能的实施方式中，所述智能机器人采用Hi3559AAI芯片。
在对最终人员卷积神经网络模型和最终救生员卷积神经网络模型进行模型预测的时候，将训练模型文件转为pb模型，再转为caffe模型，最后再转Hi3559AAI芯片加速专有格式.wk后以c代码加载并预测，实现模型预测过程，与传统的GPU服务器预测速度相比，采用Hi3559AAI芯片的预测速度大幅度提高，具体对比如下表所示。
GPU服务器 Hi3559A芯片
0.29秒 0.13秒
在一种可能的实施方式中，所述智能机器人将采集的所述游泳馆图像信息通过网络转存至云端，并将预测采集到的游泳人员数量信息和救生员状态信息保存至本地存储器，并通过网络上传至云端备份，方便对数据进行管理和调用，以便在后续过程中进行追溯。
与现有技术相比，本申请方案的有益效果在于：将游泳馆内图像中的游泳人员数量信息和救生员数量信息结构化，做到无人化管理游泳人员视频审核和救生员视频审核，降低人工成本和部分硬件支出，在监测的同时获取游泳人员和救生员的状态信息和坐标信息，避免只获取人数孤立信息，能够更好的对游泳馆内进行管理，提高安全性。
虽然在上文中详细说明了本发明的实施方式，但是对于本领域的技术人员来说显而易见的是，能够对这些实施方式进行各种修改和变化。但是，应理解，这种修改和变化都属于权利要求书中所述的本发明的范围和精神之内。而且，在此说明的本发明可有其它的实施方式，并且可通过多种方式实施或实现。

Claims (12)

1.一种游泳馆监控系统，其特征在于，包括摄像采集模块、游泳人员密度采集模块、救生员状态采集模块和信息反馈模块，所述摄像采集模块输出端分别与所述游泳人员密度采集模块和救生员状态采集模块的输入端连接，所述所述游泳人员密度采集模块和救生员状态采集模块的输出端均与所述信息反馈模块连接，其中：
所述摄像采集模块安装在所述游泳馆内部并采集游泳馆内的游泳馆图像；
所述游泳人员密度采集模块根据所述游泳馆图像进行建模训练并预测输出游泳池内的游泳人员的状态信息；
所述救生员状态采集模块根据所述游泳馆图像进行建模训练并预测输出游泳池内救生员的状态信息；
所述信息反馈模块根据所述游泳人员的状态信息和所述救生员的状态信息进行反馈提示。
2.根据权利要求1所述的游泳馆监控系统，其特征在于，所述摄像采集模块包括四个摄像头，所述摄像头安装在游泳池内部顶端，所述摄像头的拍摄角度为0-90°。
3.根据权利要求2所述的游泳馆监控系统，其特征在于，所述游泳人员密度采集模块包括依次连接的人员数据采集单元、人员卷积神经网络单元、人员模型训练单元和人员模型监控单元，所述人员数据采集单元输入端与所述摄像采集模块连接，所述人员模型监控单元的输入端与所述摄像采集模块连接，其中：
所述人员数据采集单元根据所述游泳馆图像提取出多个静态图片，并获取所述静态图片上的游泳人员数量信息和游泳人员位置信息，将静态图片上的信息作为游泳人员训练信息，获取的游泳人员数量信息和游泳人员位置信息作为游泳人员核对信息以对游泳人员数量和位置进行核对；
所述人员卷积神经网络单元搭建得到人员卷积神经网络模型；
所述人员模型训练单元接收所述游泳人员训练信息进行模型训练并输出游泳人员测试信息，并通过游泳人员核对信息对所述游泳人员测试信息进行核对得到游泳人员差值信息，所述游泳人员差值信息为所述游泳人员测试信息与所述游泳人员核对信息之间的比值，将所述游泳人员差值信息反馈至所述人员卷积神经网络模型，直至所述游泳人员差值信息小于第一预设值，得到最终人员卷积神经网络模型；
所述人员模型监控单元提取所述摄像采集模块的图像数据并传输至所述最终人员卷积神经网络模型，通过最终人员卷积神经网络模型得到游泳池内人员信息的预测结果。
4.根据权利要求3所述的游泳馆监控系统，其特征在于，所述游泳人员位置信息的获取过程包括：根据所述游泳馆图像在游泳馆内建立直角坐标系，根据所述静态图片对应获取每一个游泳人员在所述直角坐标系上的位置坐标数据。
5.根据权利要求2所述的游泳馆监控系统，其特征在于，所述救生员状态采集模块包括依次连接的救生员数据采集单元、救生员卷积神经网络单元、救生员模型训练单元和救生员模型监控单元，所述救生员数据采集单元输入端与所述摄像采集模块连接，所述救生员模型监控单元的输入端还与所述摄像采集模块连接，其中：
所述救生员数据采集单元根据所述游泳馆图像提取出多个静态图片，并获取所述静态图片上的救生员数量信息和救生员位置信息，将静态图片上的信息作为救生员训练信息，将所述救生员数量信息和救生员位置信息作为救生员核对信息以对实际的救生员数量和位置信息进行核对；
所述救生员卷积神经网络单元搭建得到救生员卷积神经网络模型；
所述救生员模型训练单元接收所述救生员训练信息进行模型训练并输出救生员测试信息，并通过救生员核对信息对所述救生员测试信息进行核对得到救生员差值信息，所述救生员差值信息为所述救生员测试信息与所述救生员核对信息之间的比值，将所述救生员差值信息反馈至所述救生员卷积神经网络模型，直至所述救生员差值信息小于第二预设值，得到最终救生员卷积神经网络模型；
所述救生员模型监控单元提取所述摄像采集模块的图像数据并传输至所述最终救生员卷积神经网络模型，通过最终救生员卷积神经网络模型得到救生员状态信息的预测结果。
6.根据权利要求5所述的游泳馆监控系统，其特征在于，所述救生员位置信息的获取过程包括：根据所述游泳馆图像在游泳馆内建立直角坐标系，根据所述静态图片对应获取每一个救生员在所述直角坐标系上的位置坐标数据。
7.根据权利要求5所述的游泳馆监控系统，其特征在于，所述救生员数量信息包括在岗信息和不在岗信息两个类别，其中救生员与座椅的连体图片信息为在岗信息，空座椅的图片信息为不在岗信息。
8.根据权利要求7所述的游泳馆监控系统，其特征在于，当所述救生员状态信息的预测结果显示存在救生员不在岗信息时，所述信息反馈模块采用广播报警提示。
9.一种游泳馆监控方法，其特征在于，包括如下步骤：
采集游泳馆内的游泳馆内的游泳馆图像；
根据所述游泳馆图像进行建模训练并预测输出游泳池内的游泳人员状态信息和救生员状态信息；
根据输出的游泳人员状态信息和救生员状态信息进行反馈提示。
10.一种游泳馆监控智能机器人，其特征在于，包括权利要求1至8任一所述的游泳馆监控系统。
11.根据权利要求10所述的游泳馆监控智能机器人，其特征在于，所述智能机器人采用Hi3559AAI芯片。
12.根据权利要求10所述的游泳馆监控智能机器人，其特征在于，所述智能机器人将采集的所述游泳馆图像信息通过网络转存至云端，并将预测采集到的游泳人员数量信息和救生员状态信息保存至本地存储器，并通过网络上传至云端备份。
CN202010809061.8A 2020-08-12 2020-08-12 一种游泳馆监控系统、方法及智能机器人 Pending CN111950458A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010809061.8A CN111950458A (zh) 2020-08-12 2020-08-12 一种游泳馆监控系统、方法及智能机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010809061.8A CN111950458A (zh) 2020-08-12 2020-08-12 一种游泳馆监控系统、方法及智能机器人

Publications (1)

Publication Number Publication Date
CN111950458A true CN111950458A (zh) 2020-11-17

Family

ID=73333346

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010809061.8A Pending CN111950458A (zh) 2020-08-12 2020-08-12 一种游泳馆监控系统、方法及智能机器人

Country Status (1)

Country Link
CN (1) CN111950458A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837052A (zh) * 2021-09-18 2021-12-24 泰州市雷信农机电制造有限公司 基于区块链的限流触发系统
CN115471978A (zh) * 2022-08-18 2022-12-13 北京声智科技有限公司 一种游泳场所的监控方法及装置
CN115633321A (zh) * 2022-12-05 2023-01-20 北京数字众智科技有限公司 一种无线通信网络监控方法及系统
CN115880104A (zh) * 2023-02-08 2023-03-31 山东捷瑞数字科技股份有限公司 一种基于数字孪生的游泳馆管理系统

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326937A (zh) * 2016-08-31 2017-01-11 郑州金惠计算机系统工程有限公司 基于卷积神经网络的人群密度分布估计方法
CN108257122A (zh) * 2018-01-09 2018-07-06 北京百度网讯科技有限公司 基于机器视觉的纸张缺陷检测方法、装置及服务器
CN109241941A (zh) * 2018-09-28 2019-01-18 天津大学 一种基于深度学习分析的养殖场监控家禽数量的方法
CN109726658A (zh) * 2018-12-21 2019-05-07 上海科技大学 人群计数及定位方法、系统、电子终端及存储介质
CN109996041A (zh) * 2019-04-04 2019-07-09 安徽工程大学 一种基于无人机的户外游泳监控系统及监控方法
CN110135325A (zh) * 2019-05-10 2019-08-16 山东大学 基于尺度自适应网络的人群人数计数方法及系统
CN110188597A (zh) * 2019-01-04 2019-08-30 北京大学 一种基于注意力机制循环缩放的密集人群计数与精确定位方法和系统
CN110569772A (zh) * 2019-08-30 2019-12-13 北京科技大学 一种泳池内人员状态检测方法
CN111191525A (zh) * 2019-12-13 2020-05-22 上海伯镭智能科技有限公司 一种基于多旋翼无人机的开放公共场所人流密度估测方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106326937A (zh) * 2016-08-31 2017-01-11 郑州金惠计算机系统工程有限公司 基于卷积神经网络的人群密度分布估计方法
CN108257122A (zh) * 2018-01-09 2018-07-06 北京百度网讯科技有限公司 基于机器视觉的纸张缺陷检测方法、装置及服务器
CN109241941A (zh) * 2018-09-28 2019-01-18 天津大学 一种基于深度学习分析的养殖场监控家禽数量的方法
CN109726658A (zh) * 2018-12-21 2019-05-07 上海科技大学 人群计数及定位方法、系统、电子终端及存储介质
CN110188597A (zh) * 2019-01-04 2019-08-30 北京大学 一种基于注意力机制循环缩放的密集人群计数与精确定位方法和系统
CN109996041A (zh) * 2019-04-04 2019-07-09 安徽工程大学 一种基于无人机的户外游泳监控系统及监控方法
CN110135325A (zh) * 2019-05-10 2019-08-16 山东大学 基于尺度自适应网络的人群人数计数方法及系统
CN110569772A (zh) * 2019-08-30 2019-12-13 北京科技大学 一种泳池内人员状态检测方法
CN111191525A (zh) * 2019-12-13 2020-05-22 上海伯镭智能科技有限公司 一种基于多旋翼无人机的开放公共场所人流密度估测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
张鹏: "《基于Java 3D的虚拟现实技术研究与实践》", 31 August 2017, 苏州大学出版社 *
曲思源: "《高速铁路运营安全保障体系及应用》", 31 August 2018, 中国铁道出版社 *
杨建华: "《游泳与救生》", 31 August 2013, 西南交通大学出版社 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837052A (zh) * 2021-09-18 2021-12-24 泰州市雷信农机电制造有限公司 基于区块链的限流触发系统
CN115471978A (zh) * 2022-08-18 2022-12-13 北京声智科技有限公司 一种游泳场所的监控方法及装置
CN115633321A (zh) * 2022-12-05 2023-01-20 北京数字众智科技有限公司 一种无线通信网络监控方法及系统
CN115633321B (zh) * 2022-12-05 2023-05-05 北京数字众智科技有限公司 一种无线通信网络监控方法及系统
CN115880104A (zh) * 2023-02-08 2023-03-31 山东捷瑞数字科技股份有限公司 一种基于数字孪生的游泳馆管理系统

Similar Documents

Publication Publication Date Title
CN111950458A (zh) 一种游泳馆监控系统、方法及智能机器人
CN109819208B (zh) 一种基于人工智能动态监控的密集人群安防监控管理方法
WO2022022368A1 (zh) 基于深度学习的监所行为规范检测装置及方法
CN106241533B (zh) 基于机器视觉的电梯乘员综合安全智能监控方法
CN109299683B (zh) 一种基于人脸识别和行为大数据的安防评估系统
CN109522793A (zh) 基于机器视觉的多人异常行为检测与识别方法
CN110728223A (zh) 一种基于深度学习的安全帽佩戴识别方法
CN111626116B (zh) 基于融合多注意力机制和Graph的视频语义分析方法
CN111191486A (zh) 一种溺水行为识别方法、监控相机及监控系统
WO2021082112A1 (zh) 神经网络训练、骨骼图构建、异常行为监控方法和系统
CN108805008A (zh) 一种基于深度学习的社区车辆安保系统
CN111160149B (zh) 基于运动场景及深度学习的车载人脸识别系统及方法
CN112489368A (zh) 智能跌倒识别与检测报警方法及系统
CN110206330B (zh) 一种基于大数据的校园楼层智能防护系统
Ezzahout et al. Conception and development of a video surveillance system for detecting, tracking and profile analysis of a person
CN111707375A (zh) 一种具备智能测温考勤和异常行为检测的电子班牌
CN110478862A (zh) 一种健身指导系统及其指导方法
CN110929687A (zh) 一种基于关键点检测的多人行为识别系统及工作方法
CN113642507A (zh) 基于多摄像头同人检测的考试监控方法、系统、设备及介质
CN112036327A (zh) 一种基于ssd的轻量化安全帽检测方法
CN114220143A (zh) 一种佩戴口罩的人脸识别方法
CN115731579A (zh) 基于交叉注意力Transformer网络的陆生动物个体识别方法
Cho et al. Learning drone-control actions in surveillance videos
CN111908288A (zh) 一种基于TensorFlow的电梯安全系统及方法
CN112735083A (zh) 一种利用YOLOv5和OpenVINO进行火焰检测的嵌入式网关及其部署方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201117