CN113095226B - 一种基于双脑控制和隐私保护的无人机疫情预警方法、系统及设备 - Google Patents
一种基于双脑控制和隐私保护的无人机疫情预警方法、系统及设备 Download PDFInfo
- Publication number
- CN113095226B CN113095226B CN202110395628.6A CN202110395628A CN113095226B CN 113095226 B CN113095226 B CN 113095226B CN 202110395628 A CN202110395628 A CN 202110395628A CN 113095226 B CN113095226 B CN 113095226B
- Authority
- CN
- China
- Prior art keywords
- data
- unmanned aerial
- aerial vehicle
- time
- brain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
- G06F21/6245—Protecting personal data, e.g. for financial or medical purposes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/80—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for detecting, monitoring or modelling epidemics or pandemics, e.g. flu
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Bioethics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Business, Economics & Management (AREA)
- Bioinformatics & Computational Biology (AREA)
- Emergency Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Evolutionary Biology (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种基于双脑控制和隐私保护的无人机疫情预警方法、设备及系统,所述疫情预警包括云数据中心、边缘处理设备、无人机三个部分;通过“电脑‑人脑”双脑脑机系统接入边缘计算设备中的路径规划系统,操控无人机的飞行路线,无人机巡航进行体温检测、人脸数据采集、跟踪,结合边缘计算设备的高效处理速度,通过与云端服务器进行交互,比对疑似病人曾经出没的地区和场所,安全、高效地对疑似病人进行评估和处理。同时对采集的疑似病人的时空数据进行匿名和差分隐私保护,防止攻击者对数据的恶意窃取。可以用于机场、车站、大型商场等场所,也可以用于小区内部公共场所内。
Description
技术领域
本发明属于网络医疗系统技术以及机器学习和信息安全交叉领域,具体涉及一种基于双脑控制和隐私保护的无人机疫情预警方法、系统及设备。
背景技术
随着2020年的新型冠状病毒的大肆流行,引起了极为严重的传染病的传播,对于国家的经济造成了巨大的影响。如同2003年的SARS病毒一般,被传染的人群的重要特征就是发热、干咳,所以对人群密集型公共场所进行大规模的体温检测,将极大地减少人群间相互传染的几率,减轻医务人员的工作负担。
无人机在物联网中的广泛运用已经逐步进入人们的视野,人体体温红外检测装置已经运用在了很多智能物联网设备当中,比如智能机器人等等。无人机在人群密集的公共场所检测体温,具备着其他设备所无法实现的便利性,空中没有障碍物,无人机可以进入人群拥挤的场所进行测温,红外信号的监测也不会受到影响。
在人的身份信息识别方面,较之于其它的生物识别技术,人脸识别技术的优势非常明显。首先,作为识别特征,人脸具有稳定、可靠、安全、便利等特点。在一般情况下,人的面部特征是非常稳定可靠的,面像也是用于区分人的首要特征。正因为如此,在防疫的筛查、安全保卫、出入控制中,人脸识别得到广泛的应用。
在防疫工作中,对无人机的控制有很多方式,目前较为主流的无人机控制仍然是人为控制,这将带来一定的工作强度,当人感觉到疲劳时,也有可能会操控失误。脑机接口(brain-computer interface,BCI)是在大脑与外部设备之间建立的直接的交流通道。以往的研究证明,基于脑电图(electroencephalorgraph,EEG)的脑机接口是严重运动失能患者与外界通信的有效手段。由于电脑偶尔会出现故障和人的精力聚集程度是有限的,引入“电脑-人脑”双脑协作脑机接口,在电脑出现故障或者指令不够精确的情况下,由自然人辅助控制无人机,对其进行弥补矫正。因此,“电脑-人脑”双脑协作是一种相辅相成的模式。
差分隐私是2006年由DWORK提出的一种新型的隐私保护机制,由于差分隐私对于隐私的定义不依赖于攻击者的背景知识,所以它可以提供强有力的隐私保护。而在隐私保护过程中,如何既保护隐私数据的安全性,又保障数据的可用性是其关键问题。尤其是如何保护新冠疫情检测环境下的用户位置隐私而不影响数据可用性是本发明专利关注的焦点问题。
现有公开专利文本“一种基于无人机的疫情防护监控方法、装置和存储介质202010385377.9”公开了“通过无人机获取输入图像,通过预先训练好的单步人脸检测网络从所述输入图像中获取人脸图像,并根据所述人脸图像获取体温值,实现了远程非接触式的体温检测,无需检测人员近距离测温”,但这种方法会存在人为失误和故障的风险,且这种疫情防护监控方法容易泄露被监控人群的隐私信息。
发明内容
本发明的目的在于通过“电脑-人脑”双脑控制无人机飞行,防止出现人为控制失误或者电脑故障的情况;针对疾病传播的疑似人,通过无人机进行体温检测、人脸数据采集、跟踪,结合边缘计算设备的高效处理速度,通过与云端服务器进行交互,比对疑似病人曾经出没的地区和场所,安全、高效地对疑似病人进行评估和处理。同时对采集的疑似病人的时空数据进行匿名和差分隐私保护,防止攻击者对数据的恶意窃取。可以用于机场、车站、大型商场等场所,也可以用于小区内部公共场所内。
为实现以上目的,本发明提供如下技术方案:
第一方面,本申请提供一种基于双脑控制和隐私保护的无人机疫情预警系统,包括云数据中心、边缘处理设备、无人机组设备;其中无人机组设备包括:若干监控无人机,无人机控制电脑;
所述云数据中心接收边缘处理设备上传的数据并存储,处理后返回边缘处理设备;所述边缘处理中心接收、处理无人机传输的人群信息、同时规划无人机飞行路径;所述无人机组设备中若干监控无人机通过图像监控和红外监控采集人脸信息和人体温度,并将所述监控无人机采集的数据传输至边缘处理设备,并按边缘处理设备返回的指令更改行驶路径。
第二方面,本申请提供一种基于双脑控制和隐私保护的无人机疫情预警方法,用于无人机控制电脑,所述疫情预警方法包括如下步骤:
输入无人机控制者的脑电信号,通过经数据训练后形成的“电脑-人脑”双脑脑机接口路径规划模型接入边缘计算设备中传统路径规划模型,共同处理和控制监控无人机的行驶路径,实现无人机巡航;
所述监控无人机中设置有摄像头和红外热成像仪,所述监控无人机在巡航过程中实时监测人群温度,获取体温偏高的目标人员实时体温数据,且同时对体温偏高的目标人员进行人脸图像采集,并将目标人员的人脸图像和实时体温数据传送至边缘处理设备,经边缘处理设备处理后获取风险评估结果;所述风险评估结果是所述边缘处理设备收到目标人员的人脸数据和体温数据后,对人脸图像中的面部特征提取后,上传至云服务器进行比对,获取身份信息后,在资料库内获取目标人员个人近期行程信息,通过制定的风险评级系统,对目标人员进行风险评级的结果。
根据风险评估结果确定是否对目标人员进行跟踪监控,若目标人员风险评级过高,则对目标人员进行监控或隔离并向边缘处理设备实时更新位置信息,直至妥善处理后警报解除,在匿名和差分隐私保护条件下将目标人员信息上传到云服务器,目标人员信息存储于云服务器且用于以后的风险评级;若目标人员风险评级较低,则继续进行人群检测。
第三方面,本申请提供一种基于双脑控制和隐私保护的无人机疫情预警设备,即无人机组,包括:飞行控制模块、红外体温监控模块和人脸数据采集模块。
飞行控制模块:包括经数据训练后形成的“电脑-人脑”双脑脑机接口路径规划模型,用于输入无人机控制者的脑电信号,接入边缘计算设备中传统路径规划模型,共同规划和控制无人机的行驶路径,实现巡航;根据风险评估结果确定是否对目标人员进行跟踪监控,若目标人员风险评级过高,则对目标人员进行监控或隔离并向边缘处理设备实时更新位置信息,直至妥善处理后警报解除,在匿名和差分隐私保护条件下将目标人员信息上传到云服务器,目标人员信息存储于云服务器且用于以后的风险评级;若目标人员风险评级较低,则继续进行人群检测;
红外体温监控模块:用于在巡航过程中监测人群温度数据,触发人脸数据采集模块对体温偏高的目标人员进行人脸图像采集;
人脸数据采集模块:用于采集体温偏高的目标人员的人脸图像,并将目标人员的人脸图像和实时体温传送至边缘处理设备,获取风险评估结果;所述风险评估结果是所述边缘处理设备收到目标人员的人脸数据和体温数据后,对人脸图像中的面部特征提取后,上传至云服务器进行比对,获取身份信息后,在资料库内获取目标人员个人近期行程信息,通过制定的风险评级系统,对目标人员进行风险评级的结果。
进一步的,所述无人机组还携带多个光源和语音模块,所述光源可用于夜间或光线昏暗环境下的照明,语音模块可用于播放防疫相关信息或人工语音信息。
进一步的,所述经数据训练后形成的“电脑-人脑”双脑脑机接口路径规划模型训练步骤如下:
步骤1-1:头戴便携式脑电设备的用户静坐在电脑面前,集中注意力,根据提示进行无人机飞行的运动想象,采集到初始脑电数据集A;
步骤1-2:采用带通滤波器和改进的独立分量分析方法对初始脑电信号数据进行预处理,得到脑电数据集A’;
步骤1-3:使用公共空间模式(CSP)对上述脑电数据集A’进行特征提取,获取特征提取后的脑电数据集D;
步骤1-4:通过支持向量机(SVM)的方法分类上述脑电数据集D,识别出用户对无人机飞行的运动想象,为后续在线无人机操控做准备。
步骤1-5:在不同被试用户的脑电数据采集完成之后进行特征提取和分类建模,进入在线测试阶段:被试用户带上脑电便携设备进行动作想象,根据识别出来的想象动作,包含a上升、b悬停、c下降、d前进、e转向,以此来控制无人机的飞行路线,若无人机按照指示飞行,则表明被测用户的脑电顺利控制了无人机。
具体使用时,将“电脑-人脑”双脑脑机接口系统连接上无人机操控软件系统,无人机控制者(自然人)可以通过脑电信号,辅助无人机控制电脑控制无人机飞行,在后续步骤中检测到体温偏高的可疑人员时,指示无人机悬停,进行后续预警等步骤;若单纯用无人机控制电脑控制无人机飞行,容易出现路线规划精度不够的情况,有无人机控制者(自然人)辅助可以更精确地控制无人机的飞行路线;若电脑控制无人机时出现故障,无人机飞行就会失去指引,此时,无人机控制者(自然人)同样可以独立控制无人机飞行,从而暂时代替故障电脑指引无人机行进路线,确保无人机稳定运行。
进一步的,所述通过制定的风险评级系统对目标人员进行风险评级的步骤包括:接收到云端服务器传送来的目标人员的行程信息和体温数据,同时整合各省市地区实时疫情情况,以及目标人员曾经通行的同场所的确诊数据,按照评估模型,进行分析处理,生成风险评估等级;
进一步的,所述对时空位置数据进行匿名和差分隐私保护,保证其数据的安全性和可用性;在时间和空间两方面进行泛化处理,实现时空数据的隐私保护,所述泛化处理步骤包括:
步骤3-1:针对某一特定区域M,将该区域平均分为m×n个大小相同的网格区域,并为其添加横纵坐标。i为该区域的横坐标,j为该区域的纵坐标,其中,0≤i≤m-1,0≤j≤n-1。
步骤3-2:无人机设备获取目标人员的实际位置和时间数据,并根据得到的经纬度位置数据将其映射于上述网格区域,由(x,y,t)表示t时刻的位置数据。其中,t表示数据采集时间,x表示采集点的横坐标,y表示采集点的纵坐标。其中,0≤x≤m-1,0≤y≤n-1,这里设定x和y仅保留小数点后一位。同时无人机生成虚假的时空位置信息(xf,yf,tf)和隐私距离p,以及随机扰动函数RT(x),并将虚假位置数据、隐私距离p和随机扰动函数RT(x)一并发送给服务器端,同时需满足真实位置和虚假位置的距离恰好为p,即dis{(xf,yf),(x,y)}=p。
步骤3-3:服务器端以虚假位置(xf,yf)为圆心,以隐私距离p为半径做圆,选取该圆圆弧上的点所坐落的所有网格区域位置,去除不可能位置之后,生成长度为m的位置序列,该位置序列必然包含真实位置(x,y);同时,服务器将tf作为输入,分别执行RT(x)函数m次,生成长度为m的随机时间序列。
步骤3-4:服务器端将上述位置序列和随机时间序列随机搭配后生成二元组集合,表示为{[(x1,y1,t1),g1],[(x2,y2,t2),g2],…,[(xm,ym,tm),gm]},其中gi(i=1,2,…,m,且0≤gi≤1)表示该时空位置为真实位置的置信度,初始值均为0。服务器端将生成的二元组发送给上传数据的无人机。
步骤3-5:无人机收到二元组集合之后,对所有gi进行随机赋值,但必须保证所有gi值各不相同,同时记录真实位置(x,y)所对应的gi值;无人机采用可逆扰动函数HT(x)对二元组中的所有gi值进行扰动,从而得到新的二元组集合{[(x1,y1,t1),g1’],[(x2,y2,t2),g2’],…,[(xm,ym,tm),gm’]},重新发送给服务器端。
步骤3-6:服务器将二元组集合中的所有时空位置数据根据下式进行泛化,得到泛化后的二元组集合{[(x1’,y1’,t1’),g1’],[(x2’,y2’,t2’),g2’],…,[(xm’,ym’,tm’),gm’]}。
特别地,对于时间t,在整点时间前后三十分钟内的时间算作该整点时间,具体来讲,整点前的三十分钟(不包含第三十分钟这个时间点)和整点后的三十分钟(包含第三十分钟这个时间点)的时间都算作该整点时间。由此得到泛化后时间t’。比如10:05算作10:00,9:30也算作10:00。
步骤3-7:对于处理后的相同时空位置数据进行整合,记录相同数据的密集度集合Q={q1,q2,q3…,qn}。根据先前设置的隐私预算ρ确定噪声参数ε,向集合Q中添加拉普拉斯噪声,并进行初步的约束性处理,得到Q'={q'1,q'2,q'3,…,q'n}。
步骤3-8:设Q'={q'1,q'2,q'3,…,q'n}已经加噪完毕,由噪声序列产生的方式可知,q'i(i=1,2,…,n)的取值大部分为非正整数行,将其正整数化所得到的Q”={q”1,q”2,q”3,…,q”n}是经过约束后的可用加噪数据。
与现有技术相比,本发明的有益效果是:
1、使用脑电控制无人机飞行,一方面适用于手脚不便的人员控制使用,另一方面在电脑控制无人机飞行的时候,容易出现路线规划精度不够的情况,有无人机控制者(自然人)辅助可以更精确地控制无人机的飞行路线。
2、通过无人机对人群进行体温检测,方便迅速,覆盖面广,采集人脸信息通过边缘计算设备进行处理可以极大地降低身份识别时间;根据疑似病人的出行轨迹,评估风险等级,对疑似病人进行有效分类,并决定是否对疑似病人进行隔离或检测,大大减轻医务工作者的工作量。
3、采集时空数据的安全性得到了匿名和差分隐私的双重保护,通过匿名,即便服务器端也不能获取真实的位置信息;通过时间和空间的泛化处理,使得时空数据可以进行差分隐私保护,并且通过对加噪后数据的约束处理,实现了数据的可用性。
附图说明
图1是本发明具体实施方式中所述疫情预警系统示意图;
图2是本发明具体实施方式中所述预警系统场景示意图;
图3是本发明具体实施方式中所述隐私保护部分的位置匿名示意图;
图4是本发明具体实施方式中所述隐私保护部分的位置泛化示意图;
图5是本发明具体实施方式中所述隐私保护部分的时间泛化示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明公开的一种基于双脑控制和隐私保护的无人机疫情预警系统进行清楚、完整的描述,系统整体运行步骤和详细过程如下:
步骤1中,“电脑-人脑”脑机系统需要接入边缘计算设备中的路径规划系统,通过“电脑-人脑”操控无人机的飞行路线,该“电脑-人脑”系统控制无人机飞行的方法包括脑电数据集的离线采集处理和在线测试等步骤:
步骤1-1:离线数据采集用户头戴便携式EmotivEPOC+脑电设备静坐在电脑面前,集中注意力,根据提示进行无人机飞行的运动想象,采集到初始脑电数据集A;
步骤1-2:采用带通滤波器和改进的独立分量分析方法对所述脑电信号数据进行预处理后提取到较为纯净的脑电数据集A’;
首先,所述脑电信号数据包括delta频段(1~4Hz)、theta频段(4~8Hz)、alpha频段(8~12Hz)、beta频段(18~26Hz)和gamma频段(36~44Hz)等5个频段数据,因此对应的所述带通滤波器的频率为1Hz~44Hz。
进而采用改进的独立分量分析对带通滤波器处理后的脑电数据集进一步进行去伪迹处理,具体过程为:
设A=(a1,a2,…,aC)T为一组观测信号,S=(s1,s2,…,sK)T为一组相互独立的信源。A中的各分量由S中各独立信源线性组合而成,即 i=1,2,…,C,用矩阵表示为A=GS。由于观测信号数目不能小于独立信源数,即C≥K,为方便说明,故取C=K。式中G为L×K维常系数矩阵,矩阵系数gij是未知的。从观测信号A中分离出信源S的各分量,需要寻找一分解矩阵W对观测信号A进行分离,即S=WTA。令N=WTG,则S=WTA=WTGS=NS。接着,对观测信号A进行白化处理。设T为一线性变换,如果的协方差矩阵CA为单位矩阵,即则T为白化矩阵。白化矩阵T的求解可通过对A协方差矩阵Ca=E(AAT)的对角化来实现。因Ca是实对称矩阵,由矩阵分析理论可知,必存在一正交矩阵E,使的协方差矩阵C对角化,即CA=ECaET=∧。其中E的行向量是Ca的特征矩阵,∧是由Ca的特征值λi组成的对角矩阵,即∧=diag(λ1,…,λC)。白化矩阵T则可以表示为T=ET∧-1/2E。经白化处理后,观测信号A变为具有单位方差的信号向量且中各信号分量相互正交。令wi为矩阵W的某一列向量,其对应于S中的一分量为Si,利用改进的自适应梯度下降法实现从观测信号中分离出某一独立分量Si,具体步骤如下:
(1)利用一随机向量初始化wi,设置收敛误差标准为0<A<<1,其中,wi为分离观测信号A的分解矩阵W的某一列向量。
(2)用改进的自适应梯度下降法调整wi,即
(3)归一化wi(C+1)为:
wi(C+1)=wi(C+1)/min{||wi(C+1)-wi(C)||,||wi(C+1)+wi(C)||},与前一个分量相关联,并考虑最优的情况;
(4)如果||wi(C+1)-wi(C)‖<A或‖wi(C+1)+wi(C)||<A则结束,否则回到第(2)步,重复(2)、(3)、(4)步骤。
每提取出一个独立分量,要从观测信号中减去这一独立分量,如此重复,直至所有的独立分量完全分离,得到预处理后的脑电数据集A’。
步骤1-3:使用公共空间模式(CSP)对上述脑电数据集A’进行特征提取,获取特征提取后的脑电数据集D;
步骤1-4:采用支持向量机对脑电数据集D进行分类,识别出用户的想象动作。支持向量机通过使用非线性映射(核函数)将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分,并基于结构风险最小化理论在特征空间中建构最优分割超平面。
步骤1-5:在不同被试用户的脑电数据采集完成之后进行特征提取和分类建模,进入在线测试阶段:被试用户带上脑电便携设备进行动作想象,根据识别出来的想象动作,包含a上升、b悬停、c下降、d前进、e转向,以此来控制无人机的飞行路线,若无人机按照指示飞行,则表明被测用户的脑电顺利控制了无人机。
步骤1-6:将“电脑-人脑”双脑脑机接口系统连接上无人机操控软件系统,无人机控制者(自然人)可以通过脑电信号,辅助无人机控制电脑控制无人机飞行,在后续步骤中检测到体温偏高的可疑人员时,指示无人机悬停,进行后续预警等步骤。
若单纯用无人机控制电脑控制无人机飞行,容易出现路线规划精度不够的情况,有无人机控制者(自然人)辅助可以更精确地控制无人机的飞行路线。
若电脑控制无人机时出现故障,无人机飞行就会失去指引。此时,无人机控制者(自然人)同样可以独立控制无人机飞行,从而暂时代替故障电脑指引无人机行进路线,确保无人机稳定运行。
步骤2中,根据图1和图2所示,无人机飞行过程中对人群温度进行巡视,并对高温可疑人员进行示警。
无人机按照边缘计算设备指定的巡航路线飞行,在无人机携带的红外检测设备的检测下,发现人群中有体温过高的疑似病人,向边缘计算设备发送位置信息。
在边缘计算设备的规划下,对目标对象进行跟踪,并启用人脸数据采集设备,将采集后的人脸数据传输到边缘计算设备中,在不引起人群恐慌的前提下,快速锁定疑似病人身份信息。
边缘计算设备对图像数据进行判断是否满足质量要求,能否提取确定的生物特征上传给云端服务器,完成身份锁定。如果图像模糊无法识别或者云端服务器无法确定身份信息,则命令正在执行跟踪任务的无人机重新采集新的人脸图像数据。在无法采集人脸信息的极端条件下,需要工作人员发出信号,人工获取疑似病人的身份信息上传云端服务器。
采集成功后,边缘计算设备对人脸数据进行预处理,对提取出来的生物特征,上传至云端服务器,云端服务器将处理后的生物特征与资料库内的数据进行对比。
获取疑似病人的身份信息后,同时提取其近期的行程信息,根据各地最新发布的疫情信息和等级,以及疑似病人曾经出没的公共场所的疫情信息,根据评估标准,对疑似病人的患病几率评级。
根据不同等级的疑似级别,给收到警报的工作人员不同的应急情况指示,对于风险极大的患者需要上报公安部门或卫生检查部门,防止造成更大程度的恐慌和扩散。在确定疑似病人的风险等级较高后,将该疑似病人的风险等级作为评判其他疑似病人的标准之一保存到数据库,以供下次评估使用。
步骤3中,在上传数据到云服务器的同时,对目标人员的隐私数据进行匿名和差分隐私的双重保护,步骤如下:
步骤3-1,针对某一特定区域M,将该区域平均分为10×10个大小相同的矩形网格区域,并为其添加横纵坐标。i为该区域的横坐标,j为该区域的纵坐标,其中,0≤i≤9,0≤j≤9。
步骤3-2:无人机设备获取其实际位置和实际时间数据,将数据上传至服务器端,并根据得到的经纬度位置数据将其映射于所得到的矩形网格区域,由(x,y,t)表示时刻t的位置数据。同时无人机生成虚假的时空位置信息(xf,yf,tf)和隐私距离p,以及随机扰动函数RT(x),并发送给服务器端,同时需满足真实位置和虚假位置的距离恰好为p,此处设置p为1。
步骤3-3:根据图3所示,服务器端以虚假位置(xf,yf)为圆心,以隐私距离p为半径做圆,选取该圆圆弧上的点所坐落的所有网格区域位置,去除不可能位置之后,生成长度为m的位置序列,该位置序列必然包含真实位置(x,y);同时,服务器将tf作为输入,分别执行RT(x)函数m次,生成长度为m的随机时间序列。
步骤3-4:服务器端将上述两个位置序列和随机时间序列随机搭配后生成二元组集合,表示为{[(x1,y1,t1),g1],[(x2,y2,t2),g2],…,[(xm,ym,tm),gm]},其中gi(i=1,2,…,m,且0≤gi≤1)表示该时空位置为真实位置的置信度,初始值均为0。服务器端将生成的二元组发送给上传数据的无人机。
步骤3-5:无人机收到二元组集合之后,对所有gi进行随机赋值,但必须保证所有gi值各不相同,同时记录真实位置(x,y)所对应的gi值,如表1所示;
表1
序号 | 位置(x,y) | 时间t | 置信度g |
1 | (2.4,5.6) | 2020-12-01-9:00 | 0.15 |
2 | (2.2,5.9) | 2020-12-01-9:10 | 0.67 |
3 | (2.1,5.5) | 2020-12-01-8:35 | 0.48 |
4 | (2.2,5.7) | 2020-12-01-8:55 | 0.93 |
5 | (2.1,5.3) | 2020-12-01-9:30 | 0.35 |
6 | (2.8,5.2) | 2020-12-01-10:20 | 0.66 |
7 | (2.7,5.2) | 2020-12-01-10:01 | 0.71 |
8 | (2.6,5.0) | 2020-12-01-10:24 | 0.59 |
9 | (7.2,1.5) | 2020-12-01-9:45 | 0.74 |
10 | (7.1,1.9) | 2020-12-01-10:25 | 0.48 |
11 | (7.4,1.5) | 2020-12-01-10:55 | 0.52 |
12 | (7.3,1.0) | 2020-12-01-11:05 | 0.80 |
13 | (7.1,1.3) | 2020-12-01-10:38 | 0.25 |
无人机采用可逆扰动函数HT(x)对二元组中的所有gi值进行扰动,从而得到新的二元组集合{[(x1,y1,t1),g1’],[(x2,y2,t2),g2’],…,[(xm,ym,tm),gm’]},重新发送给服务器端,如表2所示。
表2
步骤3-6:根据图4和图5所示,服务器将二元组集合中的所有时空位置数据根据下式进行泛化,得到泛化后的二元组集合{[(x1’,y1’,t1’),g1’],[(x2’,y2’,t2’),g2’],…,[(xm’,ym’,tm’),gm’]}。
特别地,对于时间t,在整点时间前后三十分钟内的时间算作该整点时间,具体来讲,整点前的三十分钟(不包含第三十分钟这个时间点)和整点后的三十分钟(包含第三十分钟这个时间点)的时间都算作该整点时间。由此得到泛化后时间t’。比如10:05算作10:00,9:30也算作10:00。泛化后的数据如表3所示。
表3
步骤3-7:对于处理后的相同数据进行整合,记录相同数据的密集度集合Q={q1,q2,q3…,qn}。如表4所示。
表4
x’ | y’ | t’ | Q |
2 | 6 | 2020-12-01-9:00 | 4 |
3 | 5 | 2020-12-01-10:00 | 3 |
7 | 2 | 2020-12-01-10:00 | 2 |
7 | 1 | 2020-12-01-11:00 | 2 |
2 | 5 | 2020-12-01-10:00 | 1 |
7 | 2 | 2020-12-01-11:00 | 1 |
设攻击者攻击成功的概率ρ为0.01,每个区域的人员密集度为7,所以全局敏感度l=7。因此,向表3添加Laplace噪声为:
Lap(7/2ln2(1-0.01))
Laplace分布的概率密度函数为:
其中,μ=0,b=Lap(7/2ln2(1-0.01))。加噪后如表5所示。
表5
步骤3-8:设Q'={q'1,q'2,q'3,…,q'n}已经加噪完毕,但由于现实应用,所用密集度数据需要为正整数,实现数据可用性,所以对加噪后数据进行约束处理。最终结果如表6所示。
表6
x’ | y’ | t’ | Q” |
2 | 6 | 2020-12-01-9:00 | 4 |
3 | 5 | 2020-12-01-10:00 | 3 |
7 | 2 | 2020-12-01-10:00 | 2 |
7 | 1 | 2020-12-01-11:00 | 2 |
2 | 5 | 2020-12-01-10:00 | 2 |
7 | 2 | 2020-12-01-11:00 | 1 |
Claims (8)
1.一种基于双脑控制和隐私保护的无人机疫情预警方法,用于无人机组,所述无人机组包括若干监控无人机和无人机控制电脑;所述监控无人机有图像采集模块和红外温度检测模块,其特征在于,所述疫情预警方法包括以下步骤:
所述若干监控无人机在所述无人机控制电脑控制下飞行,所述无人机控制电脑在传统路径规划模型和“电脑-人脑”双脑路径规划模型的共同规划下控制无人机的行驶路径,实现巡航;
所述若干监控无人机的红外温度检测模块检测到超出正常范围的体温值即触发图像采集模块获取目标人员的人脸图像,并将人脸图像和实时体温数据传送至边缘处理设备;
根据边缘处理设备对目标人员的识别处理后得到的风险评估结果,确定是否对目标人员进行跟踪监控;所述风险评估结果是所述边缘处理设备收到目标人员的人脸图像和实时体温数据后,对人脸图像中的面部特征提取并上传至云服务器进行比对,获取身份信息后,在资料库内获取目标人员个人近期行程信息,通过制定的风险评级模型,对目标人员进行风险评级的结果;将所述数据上传到云服务器包括对采集信息的时空数据进行匿名和差分隐私保护,上传后的目标人员信息也存储于云服务器;
所述时空数据的隐私保护,具体是通过在时间和空间两方面进行泛化处理;
通过如下方法在时间和空间两方面进行所述泛化处理:
步骤1:针对某一特定区域M,将该区域平均分为m×n个大小相同的网格区域,并为其添加横纵坐标;i为该区域的横坐标,j为该区域的纵坐标,其中,0≤i≤m-1,0≤j≤n-1;
步骤2:无人机设备获取目标人员的实际位置和时间数据,并根据得到的经纬度位置数据将其映射于上述网格区域,由(x,y,t)表示t时刻的位置数据;其中,t表示数据采集时间,x表示采集点的横坐标,y表示采集点的纵坐标;其中,0≤x≤m-1,0≤y≤n-1,这里设定x和y仅保留小数点后一位;同时无人机生成虚假的时空位置信息(xf,yf,tf)和隐私距离p,以及随机扰动函数RT(x),并将虚假位置数据、隐私距离p和随机扰动函数RT(x)一并发送给服务器端,同时需满足真实位置和虚假位置的距离恰好为p,即dis{(xf,yf),(x,y)}=p;
步骤3:服务器端以虚假位置(xf,yf)为圆心,以隐私距离p为半径做圆,选取该圆弧上的点所坐落的所有网格区域位置,去除不可能位置之后,生成长度为m的位置序列,该位置序列必然包含真实位置(x,y);同时,服务器将tf作为输入,分别执行RT(x)函数m次,生成长度为m的随机时间序列;
步骤4:服务器端将上述位置序列和随机时间序列随机搭配后生成二元组集合,表示为{[(x1,y1,t1),g1],[(x2,y2,t2),g2],…,[(xm,ym,tm),gm]},其中gi, i=1,2,…,m,且0≤gi≤1, 表示该时空位置为真实位置的置信度,初始值均为0;服务器端将生成的二元组发送给上传数据的无人机;
步骤5:无人机收到二元组集合之后,对所有gi进行随机赋值,但必须保证所有gi值各不相同,同时记录真实位置(x,y)所对应的gi值;无人机采用可逆扰动函数HT(x)对二元组中的所有gi值进行扰动,从而得到新的二元组集合{[(x1,y1,t1),g1’],[(x2,y2,t2),g2’],…,[(xm,ym,tm),gm’]},重新发送给服务器端;
步骤6:服务器将二元组集合中的所有时空位置数据根据下式进行泛化,得到泛化后的二元组集合{[(x1’,y1’,t1’),g1’],[(x2’,y2’,t2’),g2’],…,[(xm’,ym’,tm’),gm’]};
特别地,对于时间t,在整点时间前后三十分钟内的时间算作该整点时间,具体来讲,整点前的三十分钟但不包含第三十分钟这个时间点和整点后的三十分钟且包含第三十分钟这个时间点的时间都算作该整点时间;由此得到泛化后时间t’;
步骤7:对于处理后的相同时空位置数据进行整合,记录相同数据的密集度集合Q={q1,q2,q3…,qn};根据先前设置的隐私预算ρ确定噪声参数ε,向集合Q中添加拉普拉斯噪声,并进行初步的约束性处理,得到Q'={q'1,q'2,q'3,…,q'n};
步骤8:设Q'={q'1,q'2,q'3,…,q'n}已经加噪完毕,由噪声序列产生的方式可知,q'i(i=1,2,…,n)的取值大部分为非正整数行,将其正整数化所得到的Q”={q'1',q'2',q'3',…,q'n'}是经过约束后的可用加噪数据。
2.根据权利要求1所述的一种基于双脑控制和隐私保护的无人机疫情预警方法,其特征在于,所述“电脑-人脑”双脑路径规划模型训练方法包括:头戴便携式脑电设备的用户静坐在电脑面前,集中注意力,根据提示进行无人机飞行的运动想象,采集到初始脑电数据集;采用带通滤波器和改进的独立分量分析方法对初始脑电信号数据进行预处理,得到脑电数据集;使用公共空间模式对上述脑电数据集进行特征提取,获取特征提取后的脑电数据集;通过支持向量机的方法分类上述脑电数据集,识别出用户对无人机飞行的运动想象;不同被试用户的脑电数据采集完成之后进行特征提取和分类建模。
3.根据权利要求2所述一种基于双脑控制和隐私保护的无人机疫情预警方法,其特征在于,所述电脑-人脑”双脑路径规划模型训练方法还包括步骤:在线测试阶段,被试用户带上脑电便携设备进行动作想象,根据识别出来的想象动作,包含a上升、b悬停、c下降、d前进、e转向,以此来控制无人机的飞行路线。
5.根据权利要求1所述的一种基于双脑控制和隐私保护的无人机疫情预警方法,其特征在于,所述边缘处理设备收到目标人员的人脸图像和实时体温数据后还包括步骤:边缘计算设备对无人机传输的人脸数据信息进行判断是否满足质量要求,若不符合则发送命令使无人机重新采集,满足要求后对人脸数据进行预处理,特征提取后,发往云端服务器进行对比。
6.一种基于双脑控制和隐私保护的无人机疫情预警设备,即无人机组,其特征在于,包括:飞行控制模块、红外体温监控模块和人脸数据采集模块;
飞行控制模块:包括经数据训练后形成的“电脑-人脑”双脑脑机接口路径规划模型,用于输入无人机控制者的脑电信号,接入边缘计算设备中传统路径规划模型,共同规划和控制无人机的行驶路径,实现巡航;根据风险评估结果确定是否对目标人员进行跟踪监控,若目标人员风险评级过高,则对目标人员进行监控或隔离并向边缘处理设备实时更新位置信息,直至妥善处理后警报解除;若目标人员风险评级较低,则继续进行人群检测;
红外体温监控模块:用于在巡航过程中监测人群温度数据,触发人脸数据采集模块对体温偏高的目标人员进行人脸图像采集;
人脸数据采集模块:用于采集体温偏高的目标人员的人脸图像,并将目标人员的人脸图像和实时体温传送至边缘处理设备,获取风险评估结果;所述风险评估结果是所述边缘处理设备收到目标人员的人脸图像和实时体温数据后,对人脸图像中的面部特征提取并上传至云服务器进行比对,获取身份信息后,在资料库内获取目标人员个人近期行程信息,通过制定的风险评级模型,对目标人员进行风险评级的结果;将所述数据上传到云服务器包括对采集信息的时空数据进行匿名和差分隐私保护,上传后的目标人员信息也存储于云服务器;
所述时空数据的隐私保护,具体是通过在时间和空间两方面进行泛化处理;
通过如下方法在时间和空间两方面进行所述泛化处理:
步骤1:针对某一特定区域M,将该区域平均分为m×n个大小相同的网格区域,并为其添加横纵坐标;i为该区域的横坐标,j为该区域的纵坐标,其中,0≤i≤m-1,0≤j≤n-1;
步骤2:无人机设备获取目标人员的实际位置和时间数据,并根据得到的经纬度位置数据将其映射于上述网格区域,由(x,y,t)表示t时刻的位置数据;其中,t表示数据采集时间,x表示采集点的横坐标,y表示采集点的纵坐标;其中,0≤x≤m-1,0≤y≤n-1,这里设定x和y仅保留小数点后一位;同时无人机生成虚假的时空位置信息(xf,yf,tf)和隐私距离p,以及随机扰动函数RT(x),并将虚假位置数据、隐私距离p和随机扰动函数RT(x)一并发送给服务器端,同时需满足真实位置和虚假位置的距离恰好为p,即dis{(xf,yf),(x,y)}=p;
步骤3:服务器端以虚假位置(xf,yf)为圆心,以隐私距离p为半径做圆,选取该圆弧上的点所坐落的所有网格区域位置,去除不可能位置之后,生成长度为m的位置序列,该位置序列必然包含真实位置(x,y);同时,服务器将tf作为输入,分别执行RT(x)函数m次,生成长度为m的随机时间序列;
步骤4:服务器端将上述位置序列和随机时间序列随机搭配后生成二元组集合,表示为{[(x1,y1,t1),g1],[(x2,y2,t2),g2],…,[(xm,ym,tm),gm]},其中gi, i=1,2,…,m,且0≤gi≤1, 表示该时空位置为真实位置的置信度,初始值均为0;服务器端将生成的二元组发送给上传数据的无人机;
步骤5:无人机收到二元组集合之后,对所有gi进行随机赋值,但必须保证所有gi值各不相同,同时记录真实位置(x,y)所对应的gi值;无人机采用可逆扰动函数HT(x)对二元组中的所有gi值进行扰动,从而得到新的二元组集合{[(x1,y1,t1),g1’],[(x2,y2,t2),g2’],…,[(xm,ym,tm),gm’]},重新发送给服务器端;
步骤6:服务器将二元组集合中的所有时空位置数据根据下式进行泛化,得到泛化后的二元组集合{[(x1’,y1’,t1’),g1’],[(x2’,y2’,t2’),g2’],…,[(xm’,ym’,tm’),gm’]};
特别地,对于时间t,在整点时间前后三十分钟内的时间算作该整点时间,具体来讲,整点前的三十分钟但不包含第三十分钟这个时间点和整点后的三十分钟且包含第三十分钟这个时间点的时间都算作该整点时间;由此得到泛化后时间t’;
步骤7:对于处理后的相同时空位置数据进行整合,记录相同数据的密集度集合Q={q1,q2,q3…,qn};根据先前设置的隐私预算ρ确定噪声参数ε,向集合Q中添加拉普拉斯噪声,并进行初步的约束性处理,得到Q'={q'1,q'2,q'3,…,q'n};
步骤8:设Q'={q'1,q'2,q'3,…,q'n}已经加噪完毕,由噪声序列产生的方式可知,q'i(i=1,2,…,n)的取值大部分为非正整数行,将其正整数化所得到的Q”={q”1,q”2,q”3,…,q”n}是经过约束后的可用加噪数据。
7.根据权利要求6所述的预警设备,其特征在于,所述预警设备还包括多个光源和语音模块。
8.一种基于双脑控制和隐私保护的无人机疫情预警系统,其特征在于,包括云数据中心、边缘处理设备和权利要求6或7中任意一项所述的预警设备。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110395628.6A CN113095226B (zh) | 2021-04-13 | 2021-04-13 | 一种基于双脑控制和隐私保护的无人机疫情预警方法、系统及设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110395628.6A CN113095226B (zh) | 2021-04-13 | 2021-04-13 | 一种基于双脑控制和隐私保护的无人机疫情预警方法、系统及设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113095226A CN113095226A (zh) | 2021-07-09 |
CN113095226B true CN113095226B (zh) | 2022-07-22 |
Family
ID=76676813
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110395628.6A Active CN113095226B (zh) | 2021-04-13 | 2021-04-13 | 一种基于双脑控制和隐私保护的无人机疫情预警方法、系统及设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113095226B (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111046369A (zh) * | 2020-03-13 | 2020-04-21 | 南京邮电大学 | 基于双脑脑机接口系统的在线身份认证方法 |
CN111638728A (zh) * | 2020-06-17 | 2020-09-08 | 南京邮电大学 | 一种基于车载无人机的快速大范围人群聚集情况监控方法 |
-
2021
- 2021-04-13 CN CN202110395628.6A patent/CN113095226B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111046369A (zh) * | 2020-03-13 | 2020-04-21 | 南京邮电大学 | 基于双脑脑机接口系统的在线身份认证方法 |
CN111638728A (zh) * | 2020-06-17 | 2020-09-08 | 南京邮电大学 | 一种基于车载无人机的快速大范围人群聚集情况监控方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113095226A (zh) | 2021-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Al Nahian et al. | Towards an accelerometer-based elderly fall detection system using cross-disciplinary time series features | |
US6092058A (en) | Automatic aiding of human cognitive functions with computerized displays | |
CN109477951A (zh) | 在保护隐私的同时识别人及/或识别并量化疼痛、疲劳、情绪及意图的系统及方法 | |
CN109787679A (zh) | 基于多旋翼无人机的警用红外搜捕系统及方法 | |
CN108509897A (zh) | 一种人体姿态识别方法和系统 | |
CN111564224A (zh) | 一种具有健康监测的智能监控系统及其实现方法 | |
CN111539253B (zh) | 一种人脸检测方法、装置、终端及存储介质 | |
Memar et al. | Physiological measures for human performance analysis in human-robot teamwork: Case of tele-exploration | |
CN108566536A (zh) | 基于可穿戴设备的特征采集分析系统 | |
CN111062303A (zh) | 图像处理方法、系统及计算机存储介质 | |
CN110680282A (zh) | 一种大脑暂时性异常态的检测方法、装置和系统 | |
Cheng et al. | Image-based EEG signal processing for driving fatigue prediction | |
CN113095226B (zh) | 一种基于双脑控制和隐私保护的无人机疫情预警方法、系统及设备 | |
Lim et al. | A novel simulation environment for cognitive human factors engineering research | |
Guragain et al. | EEG-based classification of microsleep by means of feature selection: an application in aviation | |
US20210350256A1 (en) | Measuring risk within a media scene | |
CN113276867A (zh) | 一种自动驾驶情景下的脑电波紧急控制系统及方法 | |
CN106781245A (zh) | 基于可穿戴设备的服刑人员斗殴预警的方法与系统 | |
Gill et al. | Face Mask Detection Using ResNet50 Model and fine tuning it on various hyperactive parameters | |
Ma et al. | Research on drowsy-driving monitoring and warning system based on multi-feature comprehensive evaluation | |
Ding et al. | Driving fatigue detection with three prefrontal EEG channels and deep learning model | |
Xiang et al. | Single camera based gait analysis method with scaled and image coordinate key-points | |
Corichi et al. | Real-time prediction of altered states in Drone pilots using physiological signals | |
CN110517435A (zh) | 一种便携式即时防火预警及信息采集处理预警系统及方法 | |
Dahmane et al. | V2X-based COVID-19 Pandemic Severity Reduction in Smart Cities |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |