CN112034857A - 一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统 - Google Patents
一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统 Download PDFInfo
- Publication number
- CN112034857A CN112034857A CN202010945718.3A CN202010945718A CN112034857A CN 112034857 A CN112034857 A CN 112034857A CN 202010945718 A CN202010945718 A CN 202010945718A CN 112034857 A CN112034857 A CN 112034857A
- Authority
- CN
- China
- Prior art keywords
- sneezing
- disinfection
- robot
- coughing
- binocular
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004659 sterilization and disinfection Methods 0.000 title claims abstract description 102
- 206010041232 sneezing Diseases 0.000 title claims abstract description 96
- 206010011224 Cough Diseases 0.000 title claims abstract description 79
- 238000000034 method Methods 0.000 title claims abstract description 41
- 230000006399 behavior Effects 0.000 claims abstract description 66
- 239000000443 aerosol Substances 0.000 claims abstract description 40
- 238000013135 deep learning Methods 0.000 claims abstract description 10
- 230000007480 spreading Effects 0.000 claims abstract description 8
- 238000003892 spreading Methods 0.000 claims abstract description 8
- 230000000249 desinfective effect Effects 0.000 claims abstract description 7
- 238000005457 optimization Methods 0.000 claims abstract description 5
- 239000000126 substance Substances 0.000 claims abstract description 5
- 238000009826 distribution Methods 0.000 claims description 26
- 230000001954 sterilising effect Effects 0.000 claims description 26
- 230000006870 function Effects 0.000 claims description 17
- 230000003287 optical effect Effects 0.000 claims description 15
- 238000012549 training Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 6
- GNFTZDOKVXKIBK-UHFFFAOYSA-N 3-(2-methoxyethoxy)benzohydrazide Chemical compound COCCOC1=CC=CC(C(=O)NN)=C1 GNFTZDOKVXKIBK-UHFFFAOYSA-N 0.000 claims description 5
- 238000009792 diffusion process Methods 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 4
- 238000007635 classification algorithm Methods 0.000 claims description 4
- 238000002360 preparation method Methods 0.000 claims description 4
- 238000013526 transfer learning Methods 0.000 claims description 4
- 230000002068 genetic effect Effects 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims description 3
- 241000700605 Viruses Species 0.000 description 11
- 208000015181 infectious disease Diseases 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 241000711573 Coronaviridae Species 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000005180 public health Effects 0.000 description 3
- 208000035473 Communicable disease Diseases 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000007123 defense Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002458 infectious effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000011109 contamination Methods 0.000 description 1
- 239000000645 desinfectant Substances 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000005560 droplet transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000003344 environmental pollutant Substances 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000001717 pathogenic effect Effects 0.000 description 1
- 231100000719 pollutant Toxicity 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 208000023504 respiratory system disease Diseases 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009385 viral infection Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
- A61L2/00—Methods or apparatus for disinfecting or sterilising materials or objects other than foodstuffs or contact lenses; Accessories therefor
- A61L2/24—Apparatus using programmed or automatic operation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
- A61L9/00—Disinfection, sterilisation or deodorisation of air
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
- A61L2202/00—Aspects relating to methods or apparatus for disinfecting or sterilising materials or objects
- A61L2202/10—Apparatus features
- A61L2202/14—Means for controlling sterilisation processes, data processing, presentation and storage means, e.g. sensors, controllers, programs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
- A61L2202/00—Aspects relating to methods or apparatus for disinfecting or sterilising materials or objects
- A61L2202/20—Targets to be treated
- A61L2202/25—Rooms in buildings, passenger compartments
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61L—METHODS OR APPARATUS FOR STERILISING MATERIALS OR OBJECTS IN GENERAL; DISINFECTION, STERILISATION OR DEODORISATION OF AIR; CHEMICAL ASPECTS OF BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES; MATERIALS FOR BANDAGES, DRESSINGS, ABSORBENT PADS OR SURGICAL ARTICLES
- A61L2209/00—Aspects relating to disinfection, sterilisation or deodorisation of air
- A61L2209/10—Apparatus features
- A61L2209/11—Apparatus for controlling air treatment
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Health & Medical Sciences (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Animal Behavior & Ethology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Epidemiology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
- Apparatus For Disinfection Or Sterilisation (AREA)
Abstract
本发明涉及一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统，包括：固定相机、消毒机器人、打喷嚏和咳嗽识别计算机和控制计算机；其中消毒机器人包含机器人运动平台、双目移动相机和自动消毒器；固定相机通过有线方式、移动相机通过无线方式将实时采集的图像送入识别计算机；识别计算机采用深度学习方法自动识别和区分室内场景中打喷嚏和咳嗽行为，并利用立体视觉原理定位人员所在位置以及打喷嚏方向，并将有关信息送入控制计算机；控制计算机根据行为发生位置以及打喷嚏方向，实时预测飞沫和气溶胶的传播区域，并利用无线接收到的机器人到各个消毒区域的路径规划，采用优化方法分配多机器人消毒任务，精准消杀有害物质。
Description
技术领域
本发明涉及动作识别和多任务分配技术领域，具体涉及一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统。
背景技术
新冠肺炎短时间内在全球范围迅速传播，已成为受国际关注的大流行病。我国明确指出健全公共卫生服务联防联控、防治结合、群防群治工作机制，夯实公共卫生体系基础，要做到常态化防疫，并提高公共卫生管理的精准水平。
公共场所防护意识较为薄弱，存在较高感染风险。国内外都有报道超市聚集性感染新冠病毒的案例。一项病毒传播模拟显示，如果有新冠肺炎患者在超市咳嗽，病毒瞬间会沿着过道扩散开来，1分钟后蔓延到整个过道，并且穿过货架，2分钟后病毒就扩散到旁边的过道。研究模型观察到小于20微米的气溶胶颗粒不会下沉到地面，而是随气流悬浮在空气中。公共场所存在飞沫传播感染病毒的重大风险。
据专家推测新冠病毒将与人相伴很长时期，室内公共场所的防护和消毒是抗疫工作的重中之重。目前采取的措施是对公共场所实施定时或不定时全面的人工消毒，需大量人力，而且会造成消毒剂用量过度，产生不必要的浪费，并影响周围环境和人体健康。而往往人员感染病毒是在病毒携带者打喷嚏、咳嗽时将病毒以飞沫形式扩散，引起周围人员在不经意间感染。这种集中消杀的方式不能做到及时防治的作用。为及时发现咳嗽和打喷嚏等传播病毒的可疑行为，杜绝病毒随飞沫和气溶胶不断扩散，可以将深度学习技术用于识别在公共场所打喷嚏、咳嗽行为，锁定发生位置后派遣消毒机器人前往污染位置和区域，并对污染区域进行协作消毒作业。可及时有效地防止因人打喷嚏、咳嗽而污染某个区域，切断了疾病由飞沫、气溶胶传播的可能性，并可对聚集性疫情发出预警。
经调研，目前国内外还没有打喷嚏、咳嗽行为自动识别的实时定点消毒类似设备。美国康涅狄格州韦斯特波特市的警方正在测试一种“流行病无人机”，可以在疫情大流行期间监测并发现公共场所有传染性呼吸系统疾病的人。在190英尺外监测人们的体温，并能通过传感器和电脑视觉探测到打喷嚏、咳嗽、心率和呼吸频率。国外利用无人机检测识别感染病毒的疑似人员，而没有及时有效阻断疑似人员通过打喷嚏、咳嗽扩散病毒的传播，存在感染到其他人员的危险。此外，其方法是检测是否出现利用胳膊肘挡住口鼻的图像，而中国人打喷嚏、咳嗽的习惯大多数还没有这种行为特征，需要通过捕获其他特征动作实现打喷嚏、咳嗽识别功能。
该系统可用于办公室、超市、购物中心、机场、游轮、医院和其他人群工作或聚集的地方，遏制打喷嚏和咳嗽人群可能携带的新冠病毒以及其它传染病有害病毒的进一步传播，最大限度提高公共场所的安全性，具有重大的社会效益和经济效益。
发明内容
本发明解决的技术问题是提出一种能够克服自动识别公共场所打喷嚏和咳嗽行为，并实现快速、定点消毒的方法。
为了解决上述问题，本发明实施例提出了一种基于视觉传感和深度学习技术自动识别、定位室内公共场所打喷嚏和咳嗽行为，预测飞沫和气溶胶的传播范围，多台消毒机器人快速出击，协作消杀飞沫、气溶胶中的致病物质，并对聚集性传染病感染现象发出预警的方法，包括：
系统组成：固定相机、消毒机器人、打喷嚏和咳嗽识别计算机和控制计算机；
消毒机器人包含机器人运动平台、双目移动相机和自动消毒器三部分，双目移动相机和自动消毒器随机器人运动平台在公共场所内移动；
固定相机通过有线方式、移动相机通过无线方式将实时采集的图像送入识别计算机；
识别计算机采用深度学习方法自动识别和区分公共场所打喷嚏和咳嗽行为，并利用双目立体视觉原理定位打喷嚏或咳嗽人员所在位置以及打喷嚏方向，并将有关信息送入控制计算机；
控制计算机根据行为发生位置以及打喷嚏方向，实时预测飞沫和气溶胶的传播区域，并利用无线接收到的机器人到各个消毒区域的路径规划，采用进化算法、遗传算法等优化方法分配多机器人消毒任务，无线控制消毒机器人快速出击，精准消杀飞沫和气溶胶中的有害物质。
其中，固定相机由M台固定在公共场所的相机组成，相邻的两个相机组成立体视觉系统。
其中，消毒机器人由N台消毒机器人组成，包含N台机器人运动平台、N对双目移动相机和N台自动消毒器，双目移动相机和自动消毒器随所固定的机器人运动平台在公共场所内移动，双目移动相机实时获取双目图像，并通过无线方式发送到打喷嚏和咳嗽识别计算机，机器人运动平台和控制计算机之间通过无线方式通信，发送路径规划、接收消毒有关指令和控制自动消毒器消毒。
信号处理步骤包含：
步骤a、对M台固定相机、N对双目移动相机进行立体标定；
步骤b、M台固定相机、N对双目移动相机图像采集与传输；
步骤c、打喷嚏、咳嗽行为自动识别；
步骤d、人员室内定位与打喷嚏方向确定；
步骤e、飞沫、气溶胶空间分布实时预测；
步骤f、机器人运动平台定位、路径规划；
步骤g、多机器人消毒任务分配。
其中，步骤c具体包括：
步骤c1、打喷嚏、咳嗽行为数据集准备，具体包括：模拟公共场所走路、聊天、打喷嚏、咳嗽等行为，利用记录设备采集大量不同行为的视频；
步骤c2、数据集格式转换与行为标注，具体包括：获取视频中RGB图片文件，获取光流信息文件，对RGB图片文件和光流信息文件进行行为标注；
步骤c3、基于深度学习的打喷嚏和咳嗽行为识别模型训练，具体包括：采用双路卷积模型分类算法用于打喷嚏和咳嗽视频动作分类，其中一路接收RGB输入的训练，而另一个接收光流信息输入，由于无法满足训练模型需要的大量的打喷嚏和咳嗽视频数据集，利用其它行为数据集、采用迁移学习方法提高训练精度；
步骤c4、打喷嚏、咳嗽行为自动识别，具体包括：将采集的视频文件转换为RGB图片文件和光流信息文件，将RGB图片文件和光流信息文件输入已经完成的模型进行行为预测。
其中，步骤d具体包括：
步骤d1、基于双目立体视觉原理确定打喷嚏或咳嗽行为人员的空间位置，具体包括：利用固定相机中相邻两个相机组成的双目立体视觉系统确定人员的在公共场所的空间位置坐标，利用双目移动相机所确定的人员相对于消毒机器人的坐标与消毒机器人在空间定位坐标相结合确定人员在公共场所的空间位置坐标；
步骤d2、基于双目立体视觉原理确定打喷嚏的朝向，具体包括：获取打喷嚏过程中双目立体相机左相机前后两帧图像中人头中心的坐标，获取打喷嚏过程中双目立体相机右相机前后两帧图像中人头中心的坐标，利用立体视觉原理求取前后两帧图像中人头中心的三维坐标，根据前后两帧图像中人头中心的三维坐标的变化确定打喷嚏的朝向。
其中，步骤e具体包括：
步骤e1、飞沫、气溶胶空间分布初始预测，具体包括：根据人员的位置、身高和打喷嚏朝向预测打喷嚏产生的飞沫、气溶胶空间分布范围，根据人员的位置预测咳嗽产生的飞沫、气溶胶空间位置和分布范围；
步骤e2、气溶胶空间分布实时预测，具体包括：根据人员打喷嚏或咳嗽行为预测的飞沫、气溶胶空间位置和分布范围得到飞沫、气溶胶水平面二维分布图像，基于图像形态学膨胀方法、根据气溶胶扩散的速度实时预测气溶胶空间分布。
其中，步骤g具体包括：
步骤g1、确定目标函数，多机器人消毒任务分配的问题可以抽象为将W个消毒任务分配给N个机器人，目标是用较少的机器人在较短的时间内完成消毒任务，目标函数为：
min f＝T+K1N实际+K2S剩下
其中，T为分配出去的消毒面积完成时间，N实际为工作机器人数目，S剩下为未安排消毒的剩余面积，K1、K2为调节系数；
步骤g2、目标函数优化，具体包括：初始化多机器人消毒任务分配方案，迭代分配方案、优化目标函数，确定最优分配方案。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒系统的基本组成与原理框图；
图2为本发明实施例中提供的一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒系统的实际组成框图；
图3为本发明实施例中的信号处理步骤；
图4为本发明实施例中的典型信号处理算法。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
本发明实施例提出了一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法及系统，其基本组成与原理如图1所示，包括：固定相机、消毒机器人、打喷嚏和咳嗽识别计算机和控制计算机；消毒机器人包含机器人运动平台、双目移动相机和自动消毒器三部分，双目移动相机和自动消毒器随机器人运动平台在公共场所内移动；固定相机通过有线方式、移动相机通过无线方式将实时采集的图像送入识别计算机；识别计算机采用深度学习方法自动识别和区分公共场所打喷嚏和咳嗽行为，并利用双目立体视觉原理定位打喷嚏或咳嗽人员所在位置以及打喷嚏方向，并将有关信息送入控制计算机；控制计算机根据行为发生位置以及打喷嚏方向，实时预测飞沫和气溶胶的传播区域，并利用无线接收到的机器人到各个消毒区域的路径规划，采用进化算法、遗传算法等优化方法分配多机器人消毒任务，无线控制消毒机器人快速出击，精准消杀飞沫和气溶胶中的有害物质。
本发明实施例提出了一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒系统，其实际组成框图如图2所示，其中，固定相机由M台固定在公共场所的相机组成，相邻的两个相机组成立体视觉系统。其中，消毒机器人由N台消毒机器人组成，包含N台机器人运动平台、N对双目移动相机和N台自动消毒器，双目移动相机和自动消毒器随所固定的机器人运动平台在公共场所内移动，双目移动相机实时获取双目图像，并通过无线方式发送到打喷嚏和咳嗽识别计算机，机器人运动平台和控制计算机之间通过无线方式通信，发送路径规划、接收消毒有关指令和控制自动消毒器消毒。
本发明实施例提出了一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒系统，其信号处理步骤如图3所示，包含：
步骤a(S1)、对M台固定相机、N对双目移动相机进行立体标定；
步骤b(S2)、M台固定相机、N对双目移动相机图像采集与传输；
步骤c(S3)、打喷嚏、咳嗽行为自动识别；
步骤d(S4)、人员室内定位与打喷嚏方向确定；
步骤e(S5)、飞沫、气溶胶空间分布实时预测；
步骤f(S6)、机器人运动平台定位、路径规划；
步骤g(S7)、多机器人消毒任务分配。
其中，步骤c具体包括：
步骤c1、打喷嚏、咳嗽行为数据集准备，具体包括：模拟公共场所走路、聊天、打喷嚏、咳嗽等行为，利用记录设备采集大量不同行为的视频；
步骤c2、数据集格式转换与行为标注，具体包括：获取视频中有关文件，对文件进行行为标注；
步骤c3、打喷嚏和咳嗽行为识别模型训练，具体包括：采用分类算法用于打喷嚏和咳嗽视频动作分类，由于无法满足训练模型需要的大量的打喷嚏和咳嗽视频数据集，利用其它行为数据集、采用迁移学习方法提高训练精度；
步骤c4、打喷嚏、咳嗽行为自动识别，具体包括：将采集的视频文件转换为模型所需文件，将模型所需文件输入已经完成的模型进行行为预测。
其中，步骤d具体包括：
步骤d1、基于双目立体视觉原理确定打喷嚏或咳嗽行为人员的空间位置，具体包括：利用固定相机中相邻两个相机组成的双目立体视觉系统确定人员的在公共场所的空间位置坐标，利用双目移动相机所确定的人员相对于消毒机器人的坐标与消毒机器人在空间定位坐标相结合确定人员在公共场所的空间位置坐标；
步骤d2、基于双目立体视觉原理确定打喷嚏的朝向，具体包括：获取打喷嚏过程中双目立体相机左相机前后两帧图像中人头中心的坐标，获取打喷嚏过程中双目立体相机右相机前后两帧图像中人头中心的坐标，利用立体视觉原理求取前后两帧图像中人头中心的三维坐标，根据前后两帧图像中人头中心的三维坐标的变化确定打喷嚏的朝向。
其中，步骤e具体包括：
步骤e1、飞沫、气溶胶空间分布初始预测，具体包括：根据人员的位置、身高和打喷嚏朝向预测打喷嚏产生的飞沫、气溶胶空间分布范围，根据人员的位置预测咳嗽产生的飞沫、气溶胶空间位置和分布范围；
步骤e2、气溶胶空间分布实时预测，具体包括：根据人员打喷嚏或咳嗽行为预测的飞沫、气溶胶空间位置和分布范围得到飞沫、气溶胶水平面二维分布图像，基于图像形态学膨胀方法、根据气溶胶扩散的速度实时预测气溶胶空间分布。
其中，步骤g具体包括：
步骤g1、确定目标函数，多机器人消毒任务分配的问题可以抽象为将W个消毒任务分配给N个机器人，目标是用较少的机器人在较短的时间内完成消毒任务，目标函数为：
min f＝T+K1N实际+K2S剩下
其中，T为分配出去的消毒面积完成时间，N实际为工作机器人数目，S剩下为未安排消毒的剩余面积，K1、K2为调节系数；
步骤g2、目标函数优化，具体包括：初始化多机器人消毒任务分配方案，迭代分配方案、优化目标函数，确定最优分配方案。
本发明实施例提出了一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒系统，其典型信号处理算法如图4所示，
其中，基于深度学习的打喷嚏、咳嗽行为自动识算法(步骤c)具体包括：
步骤c1、打喷嚏、咳嗽行为数据集准备，具体包括：模拟公共场所走路、聊天、打喷嚏、咳嗽等行为，利用记录设备采集大量不同行为的视频；
步骤c2、数据集格式转换与行为标注，具体包括：获取视频中RGB图片文件，获取光流信息文件，对RGB图片文件和光流信息文件进行行为标注；
步骤c3、基于深度学习的打喷嚏和咳嗽行为识别模型训练，具体包括：采用双路卷积模型分类算法用于打喷嚏和咳嗽视频动作分类，其中一路接收RGB输入的训练，而另一个接收光流信息输入，由于无法满足训练模型需要的大量的打喷嚏和咳嗽视频数据集，利用其它行为数据集、采用迁移学习方法提高训练精度；
步骤c4、打喷嚏、咳嗽行为自动识别，具体包括：将采集的视频文件转换为RGB图片文件和光流信息文件，将RGB图片文件和光流信息文件输入已经完成的模型进行行为预测。
其中，基于进化算法的多机器人消毒任务分配算法(步骤g)具体包括：
步骤g1、确定目标函数，多机器人消毒任务分配的问题可以抽象为将M个消毒任务分配给N个机器人，目标是用较少的机器人在较短的时间内完成消毒任务。
假设条件如下：
●每个机器人具有相同的病毒消杀能力值K(单位时间内消毒面积)；
●每个消毒任务用面积Si(t)描述，其中Si(t)为消毒点i在t时刻污染面积，i＝1...M，假设目前t0时刻污染物面积为Si(t0)，基于气溶胶扩散速度，利用图形学膨胀原理求解t时刻的Si(t)(t＞t0)；
●每个消毒点i分配的机器人数为Numi，空闲的机器人数为Numfree，
●每个机器人某一时刻只能分配一个消毒任务，有消毒任务机器人不再分配；
●每个机器人行驶速度为V，到各个消毒点路径长度为Lij，到各个消毒点时间tij＝Lij/V(i＝1...M，j＝1...N)；
每个消毒任务完成时间Ti(i＝1...M)计算：
●假设消毒点i分配的机器人数为Numi，根据Numi个机器人到消毒点i时间tij从小到大排序，对应的机器人编号为NP，(P＝1...Numi)。
●首先计算第2个机器人到达之前第1个机器人消毒剩余的面积
●如果
则搜寻
时间点，消毒点i任务完成时间
●如果
则根据上述规则，判断：第3个机器人到达之前第2个机器人消毒剩余的面积
根据
是否＜＝0继续分析，直到
目标函数：
用较少的机器人在较短的时间内完成消毒任务，即：
上式中，L为没有安排机器人的消毒点数目，编号为QA，A＝1...L，安排机器人的消毒点数目编号为QB，B＝1...M-L，
为安排机器人的消毒点最长消毒时间，
为未安排消毒的剩余面积，N-Numfree为工作机器人数目，λ1和λ2为比例调整系数。
步骤g2、目标函数优化，具体包括：编码策略和目标函数优化。
编码策略为：
问题的每个解表示为将M个消毒任务分配给N台机器人的分配方案，任一时刻，每个机器人只有一个任务，每一个消毒任务可能多个机器人合作完成。问题的解用固定长度的符号向量表示，每个基因值表示一个机器人分配到的消毒任务(0，1...M)，其中0表示机器人空闲。如：
| 0 | 1 | 3 | 3 | …… | 6 | 4 |
采用进化算法对分配方案进行优化。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (8)
1.一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统，其特征在于，所述系统包括：
固定相机、消毒机器人、打喷嚏和咳嗽识别计算机和控制计算机；
消毒机器人包含机器人运动平台、双目移动相机和自动消毒器三部分，双目移动相机和自动消毒器随机器人运动平台在公共场所内移动；
固定相机中具有公共视场区域的两个相机、消毒机器人的双目移动相机分别组成立体视觉系统；
固定相机通过有线方式、移动相机通过无线方式将实时采集的图像送入识别计算机；
识别计算机采用深度学习方法自动识别和区分公共场所打喷嚏和咳嗽行为，并利用双目立体视觉原理定位打喷嚏或咳嗽人员所在位置以及打喷嚏方向，并将有关信息送入控制计算机；
控制计算机根据行为发生位置以及打喷嚏方向，实时预测飞沫和气溶胶的传播区域，并利用无线接收到的机器人到各个消毒区域的路径规划，采用进化算法、遗传算法等优化方法分配多机器人消毒任务，无线控制消毒机器人快速出击，精准消杀飞沫和气溶胶中的有害物质。
2.根据权利要求1所述的系统，其特征在于，所述固定相机由M台固定在公共场所的相机组成，相邻具有公共区域的两个相机组成立体视觉系统。
3.根据权利要求1所述的系统，其特征在于，所述消毒机器人由N台消毒机器人组成，包含N台机器人运动平台、N对双目移动相机和N台自动消毒器，双目移动相机和自动消毒器随所固定的机器人运动平台在公共场所内移动，双目移动相机实时获取双目图像，并通过无线方式发送到打喷嚏和咳嗽识别计算机，机器人运动平台和控制计算机之间通过无线方式通信，发送路径规划、接收消毒有关指令和控制自动消毒器消毒。
4.一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统，其特征在于，包含：
步骤a、对M台固定相机、N对双目移动相机进行立体标定；
步骤b、M台固定相机、N对双目移动相机图像采集与传输；
步骤c、打喷嚏、咳嗽行为自动识别；
步骤d、人员室内定位与打喷嚏方向确定；
步骤e、飞沫、气溶胶空间分布实时预测；
步骤f、机器人运动平台定位、路径规划；
步骤g、多机器人消毒任务分配。
5.根据权利要求4所述的一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统，其特征在于，步骤c具体包括：
步骤c1、打喷嚏、咳嗽行为数据集准备，具体包括：模拟公共场所走路、聊天、打喷嚏、咳嗽等行为，利用记录设备采集大量不同行为的视频；
步骤c2、数据集格式转换与行为标注，具体包括：获取视频中RGB图片文件，获取光流信息文件，对RGB图片文件和光流信息文件进行行为标注；
步骤c3、基于深度学习的打喷嚏和咳嗽行为识别模型训练，具体包括：采用双路卷积模型分类算法用于打喷嚏和咳嗽视频动作分类，其中一路接收RGB输入的训练，而另一个接收光流信息输入，由于无法满足训练模型需要的大量的打喷嚏和咳嗽视频数据集，利用其它行为数据集、采用迁移学习方法提高训练精度；
步骤c4、打喷嚏、咳嗽行为自动识别，具体包括：将采集的视频文件转换为RGB图片文件和光流信息文件，将RGB图片文件和光流信息文件输入已经完成的模型进行行为预测。
6.根据权利要求4所述的一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统，其特征在于，步骤d具体包括：
步骤d1、基于双目立体视觉原理确定打喷嚏或咳嗽行为人员的空间位置，具体包括：利用固定相机中相邻两个相机组成的双目立体视觉系统确定人员的在公共场所的空间位置坐标，利用双目移动相机所确定的人员相对于消毒机器人的坐标与消毒机器人在空间定位坐标相结合确定人员在公共场所的空间位置坐标；
步骤d2、基于双目立体视觉原理确定打喷嚏的朝向，具体包括：获取打喷嚏过程中双目立体相机左相机前后两帧图像中人头中心的坐标，获取打喷嚏过程中双目立体相机右相机前后两帧图像中人头中心的坐标，利用立体视觉原理求取前后两帧图像中人头中心的三维坐标，根据前后两帧图像中人头中心的三维坐标的变化确定打喷嚏的朝向。
7.根据权利要求4所述的一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统，其特征在于，步骤e具体包括：
步骤e1、飞沫、气溶胶空间分布初始预测，具体包括：根据人员的位置、身高和打喷嚏朝向预测打喷嚏产生的飞沫、气溶胶空间分布范围，根据人员的位置预测咳嗽产生的飞沫、气溶胶空间位置和分布范围；
步骤e2、气溶胶空间分布实时预测，具体包括：根据人员打喷嚏或咳嗽行为预测的飞沫、气溶胶空间位置和分布范围得到飞沫、气溶胶水平面二维分布图像，基于图像形态学膨胀方法、根据气溶胶扩散的速度实时预测气溶胶空间分布。
8.根据权利要求4所述的一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统，其特征在于，步骤g具体包括：
步骤g1、确定目标函数，多机器人消毒任务分配的问题可以抽象为将W个消毒任务分配给N个机器人，目标是用较少的机器人在较短的时间内完成消毒任务，目标函数为：
min f＝T+K1N实际+K2S剩下
其中，T为分配出去的消毒面积完成时间，N实际为工作机器人数目，S剩下为未安排消毒的剩余面积，K1、K2为调节系数；
步骤g2、目标函数优化，具体包括：初始化多机器人消毒任务分配方案，迭代分配方案、优化目标函数，确定最优分配方案。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010945718.3A CN112034857B (zh) | 2020-09-10 | 2020-09-10 | 公共场所打喷嚏、咳嗽行为识别与消毒方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010945718.3A CN112034857B (zh) | 2020-09-10 | 2020-09-10 | 公共场所打喷嚏、咳嗽行为识别与消毒方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112034857A true CN112034857A (zh) | 2020-12-04 |
| CN112034857B CN112034857B (zh) | 2023-10-31 |
Family
ID=73584656
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010945718.3A Active CN112034857B (zh) | 2020-09-10 | 2020-09-10 | 公共场所打喷嚏、咳嗽行为识别与消毒方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112034857B (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113398298A (zh) * | 2021-05-17 | 2021-09-17 | 山东科伦药业有限公司 | 一种原辅料包装表面自动消毒系统 |
| CN114643588A (zh) * | 2022-05-19 | 2022-06-21 | 睿驰(深圳)智能有限公司 | 一种自主移动消毒机器人的控制方法、系统及介质 |
| WO2023282125A1 (ja) * | 2021-07-09 | 2023-01-12 | パナソニックＩｐマネジメント株式会社 | エアロゾル到達領域推定システム、エアロゾル到達領域推定方法、及び、プログラム |
| WO2023032076A1 (ja) * | 2021-09-01 | 2023-03-09 | 日本電信電話株式会社 | 判定システム、判定方法及びコンピュータープログラム |
| CN116059424A (zh) * | 2023-03-06 | 2023-05-05 | 合肥泷睿机器人有限责任公司 | 一种移动式病毒消杀机器人用导航定位消杀系统 |
| EP4195168A1 (en) * | 2021-12-07 | 2023-06-14 | Koninklijke Philips N.V. | A system and method for detecting surface contamination |
| CN118662675A (zh) * | 2024-08-07 | 2024-09-20 | 比亚迪股份有限公司 | 车辆座舱消杀控制方法、系统及车辆 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682592A (zh) * | 2016-12-08 | 2017-05-17 | 北京泛化智能科技有限公司 | 一种基于神经网络方法的图像自动识别系统及方法 |
| US20180211347A1 (en) * | 2017-01-26 | 2018-07-26 | Cainiao Smart Logistics Holding Limited | Item picking method and apparatus |
| KR20190104486A (ko) * | 2019-08-21 | 2019-09-10 | 엘지전자 주식회사 | 행동 방향성 인식기반 서비스 요구자 식별 방법 |
| WO2020116233A1 (ja) * | 2018-12-07 | 2020-06-11 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| CN111554404A (zh) * | 2020-04-13 | 2020-08-18 | 吾征智能技术(北京)有限公司 | 一种基于室内环境的疾病预测系统及其预测方法 |
| CN111626232A (zh) * | 2020-05-29 | 2020-09-04 | 广州云从凯风科技有限公司 | 一种基于生物识别特征的消毒方法、系统、设备和介质 |
-
2020
- 2020-09-10 CN CN202010945718.3A patent/CN112034857B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682592A (zh) * | 2016-12-08 | 2017-05-17 | 北京泛化智能科技有限公司 | 一种基于神经网络方法的图像自动识别系统及方法 |
| US20180211347A1 (en) * | 2017-01-26 | 2018-07-26 | Cainiao Smart Logistics Holding Limited | Item picking method and apparatus |
| WO2020116233A1 (ja) * | 2018-12-07 | 2020-06-11 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| KR20190104486A (ko) * | 2019-08-21 | 2019-09-10 | 엘지전자 주식회사 | 행동 방향성 인식기반 서비스 요구자 식별 방법 |
| CN111554404A (zh) * | 2020-04-13 | 2020-08-18 | 吾征智能技术(北京)有限公司 | 一种基于室内环境的疾病预测系统及其预测方法 |
| CN111626232A (zh) * | 2020-05-29 | 2020-09-04 | 广州云从凯风科技有限公司 | 一种基于生物识别特征的消毒方法、系统、设备和介质 |
Non-Patent Citations (3)
| Title |
|---|
| 张辉;王耀南;易俊飞;钟杭;刘理;缪志强;江一鸣;: "面向重大疫情应急防控的智能机器人系统研究", 中国科学:信息科学, vol. 50, no. 07, pages 1069 - 1090 * |
| 李光东;程进;周子肖;刘宝宇;王骏琦;史立根;姚宇军;常创创;李文月;邹小平;: "基于深度学习的不规范驾驶行为智能识别系统", 传感器世界, no. 02, pages 7 - 11 * |
| 汪中原;: "基于5G技术的智能机器人技术", 电子技术, no. 03, pages 54 - 55 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113398298A (zh) * | 2021-05-17 | 2021-09-17 | 山东科伦药业有限公司 | 一种原辅料包装表面自动消毒系统 |
| WO2023282125A1 (ja) * | 2021-07-09 | 2023-01-12 | パナソニックＩｐマネジメント株式会社 | エアロゾル到達領域推定システム、エアロゾル到達領域推定方法、及び、プログラム |
| WO2023032076A1 (ja) * | 2021-09-01 | 2023-03-09 | 日本電信電話株式会社 | 判定システム、判定方法及びコンピュータープログラム |
| EP4195168A1 (en) * | 2021-12-07 | 2023-06-14 | Koninklijke Philips N.V. | A system and method for detecting surface contamination |
| WO2023104558A1 (en) | 2021-12-07 | 2023-06-15 | Koninklijke Philips N.V. | A system and method for detecting surface contamination |
| CN114643588A (zh) * | 2022-05-19 | 2022-06-21 | 睿驰(深圳)智能有限公司 | 一种自主移动消毒机器人的控制方法、系统及介质 |
| CN116059424A (zh) * | 2023-03-06 | 2023-05-05 | 合肥泷睿机器人有限责任公司 | 一种移动式病毒消杀机器人用导航定位消杀系统 |
| CN118662675A (zh) * | 2024-08-07 | 2024-09-20 | 比亚迪股份有限公司 | 车辆座舱消杀控制方法、系统及车辆 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112034857B (zh) | 2023-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112034857A (zh) | 一种公共场所打喷嚏、咳嗽行为自动识别与自动消毒方法和系统 | |
| Li et al. | A spatiotemporally resolved infection risk model for airborne transmission of COVID-19 variants in indoor spaces | |
| WO2021097367A1 (en) | Monitoring and enforcing infection safety procedures in operating rooms | |
| Ooi et al. | Risk assessment of airborne COVID-19 exposure in social settings | |
| US11703818B2 (en) | Systems and methods for indoor air quality based on dynamic people modeling to simulate or monitor airflow impact on pathogen spread in an indoor space and to model an indoor space with pathogen killing technology, and systems and methods to control administration of a pathogen killing technology | |
| Liu et al. | A survey of COVID-19 in public transportation: Transmission risk, mitigation and prevention | |
| Chen et al. | Estimation of the SARS-CoV-2 transmission probability in confined traffic space and evaluation of the mitigation strategies | |
| Hernandez-Mejia et al. | When is SARS-CoV-2 in your shopping list? | |
| Khamis et al. | AI and robotics in the fight against COVID-19 pandemic | |
| Paton et al. | Reaerosolization of spores from flooring surfaces to assess the risk of dissemination and transmission of infections | |
| Duives et al. | The multi-dimensional challenges of controlling SARS-CoV-2 transmission in indoor spaces: Insights from the linkage of a microscopic pedestrian simulation and virus transmission models | |
| CN112561244A (zh) | 一种结合室内人员信息的建筑环境评价方法及系统 | |
| Usman et al. | A social distancing index: Evaluating navigational policies on human proximity using crowd simulations | |
| WO2024013729A2 (en) | A system based on ai and crowd dynamics invented to improve safety and efficiency while traveling in groups or clusters during crowded events like hajj and umrah | |
| Zhang et al. | Assessing the impact of architectural and behavioral interventions for controlling indoor COVID-19 infection risk: An agent-based approach | |
| Curtis et al. | An outdoor hotel quarantine facility model in Australia: best practice with optimal outcomes | |
| Stevenson et al. | Airborne transmission: a new paradigm with major implications for infection control and public health | |
| Zhang et al. | Analysis of SARS-CoV-2 transmission in a university classroom based on real human close contact behaviors | |
| Mukherjee et al. | A mesoscale agent based modeling framework for flow-mediated infection transmission in indoor occupied spaces | |
| Liu et al. | Disinfection robots scheduling and routing problem for healthy buildings | |
| CN114863352B (zh) | 基于视频分析的人员群体行为监控方法 | |
| Soh et al. | Improving operational processes for COVID-19 ready smart campus | |
| EP3951275A2 (en) | System and method for indoor air quality based on dynamic people modeling to simulate or monitor airflow impact on pathogen spread in an indoor space and to model an indoor space with pathogen killing | |
| Ennaceur et al. | Emerging technologies to combat the COVID-19 pandemic | |
| Zhen et al. | A Markov chain-based approach for assessing respiratory infection risk in a multi-zone office building |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |