CN117412707A - 目标监视和告警系统及方法 - Google Patents
目标监视和告警系统及方法 Download PDFInfo
- Publication number
- CN117412707A CN117412707A CN202280039351.6A CN202280039351A CN117412707A CN 117412707 A CN117412707 A CN 117412707A CN 202280039351 A CN202280039351 A CN 202280039351A CN 117412707 A CN117412707 A CN 117412707A
- Authority
- CN
- China
- Prior art keywords
- data
- target
- filter
- operable
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 99
- 238000012544 monitoring process Methods 0.000 title claims abstract description 55
- 230000033001 locomotion Effects 0.000 claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 claims abstract description 22
- 230000008569 process Effects 0.000 claims abstract description 22
- 230000003068 static effect Effects 0.000 claims abstract description 16
- 230000002123 temporal effect Effects 0.000 claims description 29
- 238000004891 communication Methods 0.000 claims description 25
- 230000035945 sensitivity Effects 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 18
- 230000003044 adaptive effect Effects 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 206010047571 Visual impairment Diseases 0.000 claims description 10
- 238000002955 isolation Methods 0.000 claims description 7
- 238000013473 artificial intelligence Methods 0.000 claims description 6
- 238000003491 array Methods 0.000 claims description 5
- 230000000116 mitigating effect Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 230000001934 delay Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 abstract description 5
- 238000001514 detection method Methods 0.000 description 55
- 238000009826 distribution Methods 0.000 description 50
- 238000012545 processing Methods 0.000 description 20
- 238000010586 diagram Methods 0.000 description 18
- 230000036962 time dependent Effects 0.000 description 17
- 230000006870 function Effects 0.000 description 15
- 238000001914 filtration Methods 0.000 description 13
- 230000005021 gait Effects 0.000 description 12
- 238000007781 pre-processing Methods 0.000 description 8
- 230000007704 transition Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000005670 electromagnetic radiation Effects 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 230000005856 abnormality Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 3
- 150000001875 compounds Chemical class 0.000 description 3
- 238000007796 conventional method Methods 0.000 description 3
- 230000007787 long-term memory Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 230000000241 respiratory effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 239000004615 ingredient Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000002459 sustained effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000005406 washing Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000009194 climbing Effects 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000002939 conjugate gradient method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011480 coordinate descent method Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 208000030175 lameness Diseases 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000002922 simulated annealing Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
目标监视和告警系统用于识别和跟踪雷达数据中的目标。原始帧数据被过滤以去除与静态对象的反射相关的数据。在过滤后的数据中识别移动目标并对它们随时间而变化的位置进行跟踪,从而生成目标数据。神经网络可以处理目标数据,计算跌倒可能性分数,并在跌倒可能性高于告警阈值的情况下生成跌倒告警。人员识别模块可以从数据中提取每个目标的位置特征和运动特征,并生成目标与人员的概率识别。
Description
技术领域
本文的公开内容涉及用于识别和跟踪监视区域中的目标的系统和方法。具体地,本公开内容涉及使用雷达芯片来识别监视区域内的对象并在检测到跌倒事件时提醒第三方。
背景技术
目标监视系统用于多种场景。例如,跌倒检测是重要的应用,特别是对于独居在家中和公寓中且与紧急情况下可以帮助他们的人隔离的老年人而言更是如此。对于这些人来说,跌倒、受伤或危及生命的医疗状况可能会在很长一段时间内未被家人或支持人员发现。一些包含紧急呼叫按钮的可穿戴和手持设备可使用,但是,这些设备需要手动激活以在需要帮助时提醒其他人。万一老人跌倒,他可能无法启动紧急按钮并呼叫他人帮助。
另一种可用于跌倒检测的解决方案是通过摄像机监视。然而,摄像机监视并不是一个可行的解决方案,因为它需要不断观看视频以了解跌倒检测或人员所需的任何帮助。
此外,目标监视系统可以区分群体或人群中的个人,这由于多种原因可能是很重要的。例如,当对公共目标区域内的多个对象进行单独监视时,例如持续的健康跟踪或跌倒风险,通常需要识别监视区域内的每个个体。因此,需要一种能够在人群中区分个体的方法。
在其他应用中,出于安全原因可能需要目标监视。进入特定场所的人员可能需要经过适当的身份验证。随着风险越来越普遍,人员识别已成为主要问题。已经存在许多基于多种参数来识别人的常规技术,例如,向安全人员出示身份证,而身份证非常容易伪造。用于人识别的其他电子方法是基于多种参数的识别,例如基于生物特征的指纹识别、眼睛瞳孔匹配、面部识别、语音匹配、扫描图像-照片匹配等。此类方法涉及人员与人识别设备/装置的紧密接近。例如,生物指纹识别允许手指或拇指触摸生物识别机器,照片匹配需要人的面部或身体紧密接近相机或捕获机器。有一些方法可以远程识别人员。例如,通过视频进行远程异步识别,涉及到流媒体注册记录、通过代理对其进行验证、客户端进一步出示经过人工智能分析的身份证明文件等。现有的常规方法涉及依赖于很容易伪造的物理身份文件的一系列步骤。因此,没有一种常规技术可以在不需要对象人员的任何输入的情况下提供远距离的人识别。远程识别非常必要,因为这种识别可以帮助定位恐怖分子、定位失踪人员、定位儿童、定位老人和宠物以及识别陌生人等多种应用。
仍然需要改进的目标监视。当前的公开内容解决了这一需求。
发明内容
根据当前公开的主题的一个方面,引入了一种目标监视和告警系统,该目标监视和告警系统包括雷达单元、处理器单元和通信模块。雷达单元可以包括连接到振荡器并被配置成将电磁波发射到监视区域中的至少一个发射器天线,以及包括被配置成接收由监视区域内的对象反射的电磁波并且可操作以生成原始数据的至少一个接收器天线。处理器单元可以包括移动体隔离处理器,通信模块被配置成且可操作以向第三方传达告警。
在目标监视和告警系统的各种示例中,处理器单元还包括:用于存储帧数据的帧缓冲存储器单元;数据滤波器,该数据滤波器被配置成接收原始数据,并且该数据滤波器可操作以处理原始数据来去除与来自静态对象的反射相关的数据,从而生成过滤后的数据;跟踪器模块,该跟踪器模块被配置成从数据滤波器接收过滤后的数据,并且该跟踪器模块可操作以对过滤后的数据进行处理,来识别移动目标并对移动目标随时间而变化的位置进行跟踪,从而生成目标数据;以及告警阈值生成器,该告警阈值生成器可操作以生成告警阈值。
在适当的情况下,神经网络可以被配置成从跟踪器模块接收选自高度轮廓、信噪比和到对象的径向距离的目标数据输入,并且可操作以生成跌倒可能性分数。跌倒识别模块可以被配置成从神经网络接收跌倒可能性分数并且如果可能性分数高于告警阈值则生成跌倒告警。
在目标监视和告警系统的一些示例中,处理器单元还包括人员识别模块,人员识别模块包括位置特征提取模块和运动特征提取模块。因此,处理器单元可操作以通过对目标的位置特征和运动特征应用所存储的人工智能(AI)算法来生成目标的概率识别。处理器单元还可以可操作以生成人员的识别简档。
告警阈值生成器可以被配置成从跌倒告警减缓管理器接收通信,跌倒告警减缓管理器可以被配置成且可操作以从遥测系统接收输入并且使用灵敏度图来生成告警阈值。灵敏度图可以包括二进制文件,该二进制文件具有二维阵列的堆栈,例如具有十个二维阵列的堆栈,每个二维阵列具有20行和20列。
在适当的情况下,数据滤波器可以包括时间滤波器单元,接收到的数据可以通过该时间滤波器单元来产生过滤后的输出,时间滤波器单元可以可操作以:选择帧捕获速率;从第一帧收集原始数据;等待时间延迟;从第二帧收集原始数据;以及从第二帧数据中减除(减去)第一帧数据。
另外或替代地,时间滤波器至少包括移动目标指示模块,移动目标指示模块可以可操作以选择滤波器时间常数、在滤波器时间常数期间应用无限脉冲响应滤波器、应用低通滤波器、以及从原始数据中去除背景。
可选地,时间滤波器可以至少包括自适应移动目标指示模块,自适应移动目标指示模块可以可操作以选择初始滤波器时间常数、以初始滤波器时间常数应用无限脉冲响应滤波器、应用低通滤波器、从下一帧中减除结果、检测图像数据的变化、以及相应地更新滤波器时间常数。
不同地,时间滤波器可以至少包括扩展的移动目标指示模块,扩展的移动目标指示模块可操作以选择滤波器时间常数、在滤波器时间常数期间应用无限脉冲响应滤波器、应用低通滤波器、减除当前帧中若干先前帧的平均值、以及从过滤后的图像中去除伪影。
另外或替代地,时间滤波器至少包括局部自适应移动目标指示模块,局部自适应移动目标指示模块可以可操作以选择初始滤波器时间常数、以初始滤波器时间常数应用无限脉冲响应滤波器、应用低通滤波器、从下一帧中减除结果、检测图像数据的变化、根据图像数据的局部变化率将帧分割成体素子集、以适应图像数据的局部变化率的方式为每个体素子集设置局部滤波器时间常数、在相关联的局部滤波器时间常数期间将无限脉冲响应滤波器应用于每个体素子集、以及从图像数据的下一帧中的每个体素子集中减除局部背景。
在适当的情况下,时间滤波器可以至少包括低运动信噪比增强模块,低运动信噪比增强模块可以可操作以应用低信噪比时间滤波器、对多个帧上的移动目标指示(MTI)图像的能量值进行平均、以及检测平均后的数据的变化。时间滤波器的其他示例可以至少包括运动滤波器组。
在一些示例中,时间滤波器至少包括残像去除模块。可选地,残像去除模块可操作以捕获默认背景图像、将默认背景图像设置为背景的值、设置背景阈值、捕获第一帧的原始数据、从原始数据中减除背景以生成过滤后的候选数据、计算过滤后的候选数据与最后记录的帧图像之间的差并且如果差高于阈值则从原始数据中减除默认背景以生成新的过滤后的数据、将新的过滤后的数据记录为下一帧图像、将背景更新为新帧图像、以及捕获下一帧的原始数据。另外或替代地,残像去除模块可操作以捕获默认背景图像、将默认背景图像设置为背景的值、设置背景阈值、捕获第一帧的原始数据、从原始数据中减除背景以生成过滤后的候选数据、计算过滤后的候选数据与最后记录的帧图像之间的差并且如果差低于阈值则将过滤后的候选数据记录为下一帧图像、将背景更新为新帧图像、以及捕获下一帧的原始数据。
当前公开内容的其他方面教导了一种用于对监视区域内的目标进行监视的方法,该方法包括:提供雷达单元,雷达单元包括至少一个接收器天线和连接到振荡器的至少一个发射器天线;提供包括移动体隔离处理器的处理器单元;提供被配置成且可操作以向第三方传达告警的通信模块;雷达单元通过向监视区域发射电磁波并接收监视区域内的对象反射的电磁波来生成原始数据;将帧数据存储在帧缓冲存储器单元中;通过接收原始数据并去除与静态对象反射相关的数据从而生成过滤后的数据来生成过滤后的数据;通过识别过滤后的数据中的移动目标并跟踪移动目标随时间而变化的位置来生成目标数据;生成告警阈值;训练神经网络以接收从高度轮廓、信噪比和到对象的径向距离中选择的目标数据输入,并生成跌倒可能性分数;以及如果可能性分数高于告警阈值,则生成跌倒告警。
在本发明的又一个方面,公开了一种用于远程且非侵入地执行人员识别的系统。该系统包括基于雷达的人员识别设备、处理单元、数据库和通信器。
在本发明的另一方面,基于雷达的人员识别设备可以包括分别被配置成向监视区域发射电磁辐射束和接收由监视区域内的对象反射的电磁波的发射器阵列和接收器。该设备还可以包括用于分析和处理接收到的电磁波的预处理单元。预处理单元可以包括多个针对待识别人员的特征提取模块。预处理单元可以包括位置特征提取模块、运动特征提取模块等模块。处理单元可以通过将存储的人工智能(AI)算法应用于人员的位置特征和运动特征来生成人员的概率识别。然后,概率识别可以用于生成该人员的识别简档。
在本发明的另一方面,多个人员的识别简档可以存储在数据库中。然后,通信器可以将识别报告通过通信网络传输至有关部门。
附图说明
为了更好地理解实施方式并示出其可以如何实施,现在将仅通过示例的方式参考附图。
现在详细具体参考附图,需要强调的是,示出的细节是作为示例并且仅出于对所选实施方式的说明性讨论的目的,并且是为了提供被认为是对原理和概念方面最有用且容易理解的描述而呈现。在这方面,没有尝试比基本理解所需的更详细地示出结构细节;结合附图进行的描述使得本领域技术人员清楚如何将各种选定的实施方式付诸实践。在附图中:
图1是可能的跌倒检测和告警系统的示意图;
图2是指示跌倒检测系统内的数据流的示意框图;
图3是表示跌倒检测方法的动作的流程图;
图4是表示从图像数据中去除静态对象的可能动作的流程图;
图5是表示用于在从监视区域收集的数据内生成和跟踪目标的可能动作的流程图;
图6是表示用于检测监视区域内的跌倒事件的可能动作的流程图;
图7A是从监视区域收集的数据的球坐标中的未过滤帧的示例;
图7B是已去除静态对象的数据的球坐标中的过滤后的帧的示例;
图7C表示球坐标中的过滤后的数据,指示出了局部最大值的位置;
图7D表示球坐标中的过滤后的数据,指示出了最强局部最大峰的位置;
图7E表示转换为笛卡尔坐标的过滤后的数据;
图8A和图8B是分别指示竖直(xz)和水平(xy)图像部段中跟踪峰的预期位置和测量位置的图像;
图9A至图9H示出了跟踪目标的一系列帧,该目标短暂地从视野中消失后又出现;以及
图10A至图10H示出了跟踪穿过被排除区域的目标的一系列帧;
图11示出了目标的可能的三维能量分布(profile),其被划分为上部区域、中部区域和下部区域;
图12A示出了站立目标的三维能量分布特征;
图12B示出了非躺着目标的三维能量分布特征;
图12C示出了跌倒目标的三维能量分布特征;
图12D示出了持续跌倒目标的三维能量分布特征。
图13A是示出根据本发明的一方面的用于用时间相关的能量分布填充数据库的示例性方法的示意流程图;
图13B是示出根据本发明的一方面的用于异常检测和告警生成的示例性方法的示意流程图;
图14示出了目标区域的一组标准能量分布;
图15示出了目标区域的目标段的一组时间相关的能量分布;
图16A、图17A和图18A示出了本发明的示例性实施方式中正常行为情况下所有时间窗上的KL散度值;
图16B、图17B和图18B示出了本发明的示例性实施方式中实际跌倒情况下所有时间窗上的KL散度值;
图18C是用于使用监督学习生成跌倒可能性分数的训练系统的框图;
图18D是指示假阳性记录和假阴性记录随时间而变化的曲线图;
图19A是示意性地表示跌倒告警生成器的所选部件的框图;
图19B和图19C示意性地指示了可以由跌倒验证模块使用的灵敏度图;
图19D、图19E、图19F和图19G是灵敏度图的各种示例;
图20是示出在可能的跌倒事件期间高度轮廓输入可能如何随时间变化的曲线图;
图21是示出系统的各个元件如何彼此相关的框图;
图22示出了使用基于雷达的人员识别设备来远程识别人的系统的示意图;
图23示出了根据本发明的一方面的用于提取位置特征的在目标人员周围创建的框的示意图;
图24示出了根据本发明的一方面的用于通过基于雷达的人员识别设备进行识别的人员的不同位置;
图25A至图25E示出了根据本发明的一方面的用于通过基于雷达的人员识别设备进行识别的人员的不同位姿;
图26示出了根据本发明的一方面的用于通过基于雷达的人员识别设备进行识别的人员的不同定向;
图27示出了示出根据本发明的一方面的用于通过基于雷达的人员识别设备来识别人员的方法的流程图;
图28是表示结合到雷达扫描系统中的可能的移动体隔离系统的选定部件的示意性框图;
图29A是表示用于从图像数据中去除静态对象的方法的选定步骤的流程图;
图29B是表示用于图像数据的移动目标指示过滤的方法的选定步骤的流程图;
图30A是表示用于图像数据的扩展的移动目标指示过滤的方法的选定步骤的流程图;
图30B是表示用于图像数据的自适应移动目标指示过滤的方法的选定步骤的流程图;
图30C是表示用于图像数据的分段帧移动目标指示过滤的方法的选定步骤的流程图;
图31A是表示用于低运动目标增强的方法的选定步骤的流程图;
图31B是表示用于对包括低运动的图像数据进行过滤的可能方法的选定步骤的流程图;
图32A至图32C呈现了目标区域内三个指示体素处的重建信号的幅度和相位随时间而变化的图;
图33A至图33C呈现分别在图32A至图32C中指示的三个不同体素处的重建信号的第一特征值和第二特征值的图;
图34A至图34C示出了与图32A至图32C中指示的三个体素点相关联的不同信号特征;
图35是表示用于去除通过背景去除产生的残像图像的方法的选定步骤的流程图。
具体实施方式
本公开内容的各方面涉及跌倒检测系统和方法。具体地,本公开内容涉及使用雷达芯片来扫描诸如封闭房间之类的监视区域。扫描雷达芯片获得的数据可以被处理以识别监视区域内的目标。所识别的目标可以被跟踪和分析以指示它们的位姿,使得可以应用跌倒检测规则并检测跌倒事件。
使用目标区域中跌倒对象的反射来生成跌倒告警的某些图像处理解决方案是可用的。然而,这些图像处理解决方案无法将对象人员的跌倒与该区域中存在的其他对象区分开来。例如,来自盛有水的马桶的反射能量与跌倒的人的反射能量相似。因此,房间内存在的对象的倒落会生成错误告警。
需要改进的解决方案,该改进的解决方案通过识别反射信号何时异常来在反射信号对于目标区域的该部分来说不寻常的情况下阻止跌倒告警。因此,本公开内容的另外方面涉及用于识别跌倒检测中的异常并过滤跌倒告警的系统和方法。扫描雷达芯片获得的数据可以被处理以生成监视区域内的当前能量分布。可以将当前能量分布与时间相关能量分布进行比较,以检测跌倒事件中的异常并过滤跌倒告警。
本公开内容的各方面涉及用于隔离图像数据中的移动对象的系统和方法。具体地,本公开内容涉及用于区分由扫描监视区域的雷达芯片获得的图像数据内的与静止和缓慢移动的对象有关的数据的过滤系统。
由扫描雷达芯片获得的原始数据可以被传递到移动体隔离处理器,该移动体隔离处理器将每帧原始数据存储在缓冲存储器中并应用时间滤波器来识别在监视区域内移动的可跟踪对象。
该系统可以进一步增强数据的信噪比,并将噪声与缓慢振荡的目标区分开来。
本公开内容的又一方面涉及用于使用基于雷达的人员识别设备来远程识别人员的系统和方法。具体地,本公开内容涉及使用雷达芯片来提取多个参数并分析这些参数以生成识别报告。识别报告可能会发送给有关当局。
根据需要,本文公开了本发明的具体实施方式;然而,应当理解,所公开的实施方式仅仅是本发明的示例,本发明可以以各种和替代形式来实施。附图不一定按比例绘制;某些特征可能会被放大或最小化以示出特定部件的细节。因此,本文公开的具体结构和功能细节不应被解释为限制性的,而仅作为教导本领域技术人员以不同方式应用本发明的代表性基础。
在适当的情况下,在本公开内容的各种实施方式中,本文描述的一个或更多个任务可以由数据处理器例如用于执行多个指令的计算平台或分布式计算系统执行。可选地,数据处理器包括或访问用于存储指令、数据等的易失性存储器。另外或替代地,数据处理器可以访问用于存储指令和/或数据的非易失性存储装置,例如磁硬盘、闪存驱动器、可移动介质等。
特别注意的是,本文公开的系统和方法在其应用中可以不限于在描述中阐述或在附图和示例中示出的部件或方法的构造和布置的细节。本公开内容的系统和方法可以具有其他实施方式,或者能够以多种方式和技术来实践和执行。
与本文描述的那些类似或等同的替代方法和材料可以用于本公开内容的实施方式的实践或测试。然而,本文描述的特定方法和材料仅用于说明性目的。材料、方法和示例并非旨在必然是限制的。因此,各种实施方式可以适当地省略、替代或添加各种过程或部件。例如,可以按照与所描述的不同的顺序来执行这些方法,并且可以添加、省略或组合各种步骤。另外,关于某些实施方式描述的方面和部件可以在各种其他实施方式中组合。
现在参考图1,图1是可能的跌倒检测和告警系统100的示意图。跌倒检测系统100包括雷达单元104、处理器单元126和通信模块134。
雷达单元104包括发射器的阵列106和接收器的阵列110。发射器可以包括连接到至少一个发射器天线TX或连接到发射器天线的阵列106的振荡器108。因此,发射器可以被配置成产生指向诸如封闭房间等之类的监视区域105的电磁辐射束,诸如微波辐射等。接收器可以包括被配置成且可操作以接收由监视区域105内的对象102反射的电磁波的至少一个接收天线RX或接收器天线的阵列110。
可以包括诸如数据滤波器123、跟踪器模块125、步态分类模块127和跌倒识别模块129之类的模块的处理器单元126可以被配置成从雷达单元104接收数据并且可操作以基于接收到的数据生成跌倒告警。在适当的情况下,可以提供预处理器112以在将数据传送到处理器单元126之前处理原始数据,如本文所述。
通信模块134被配置成且可操作以向第三方138传达跌倒告警。可选地,通信模块134可以与诸如互联网之类的计算机网络136通信,通信模块可以经由该计算机网络向第三方138例如电话、计算机、可穿戴设备等传达告警。
应当注意的是,该系统还可以包括用于在示意性表示的对象监视站中使用的基于雷达的无源步态速度监视器127。步态速度监视器127可以可操作以生成沿着扩展目标区域105通过的对象的步态速度的值。步态速度监视器包括至少一个雷达扫描布置和处理器单元。
雷达扫描布置104被配置成在扩展范围内监视对象102的移动。扩展范围105的尺寸适合于测量沿着例如4-8米的路径的持续步态的速度。因此,举例来说,可能优选的是定位扫描布置以覆盖例如5-6平方米的目标区域中的移动。
在适当的情况下,可以使用单个雷达扫描布置来监视扩展目标区域的整个长度,然而在需要的情况下,可以优选多个扫描布置。雷达通常包括至少一个射频发射器天线阵列和至少一个射频接收器天线阵列。射频发射器天线连接到振荡器(射频信号源)并且被配置成且可操作以向目标区域发射电磁波。射频接收器天线被配置成接收从目标区域内的对象反射回的电磁波。
可以包括诸如数据滤波器123、跟踪器模块125和步态分类模块127之类的模块的处理器单元126因此可以被配置成从雷达单元接收数据并且可操作以通过应用步态分类规则来处理目标数据并进一步可操作以计算对象的步态速度。
现在参考图2的框图,图2指示通过跌倒检测系统100的可能数据流。原始数据由雷达模块104生成,其通常包括以特定角度和范围反射的能量的幅度值。原始数据12可以被表示为例如图7A所示的球坐标中的图像。预处理器单元112可以从雷达模块104接收原始数据12。预处理器单元112包括分布生成器114、体素选择器116和输出118。
数据滤波器123直接从雷达模块104接收原始数据12,或者替代地可以从预处理器单元112接收经预处理的数据14。数据滤波器123可以包括时间滤波器,时间滤波器可操作以处理原始数据12以便去除与来自静态对象的反射有关的所有数据。滤波器123可以由此生成诸如图7B中所示的过滤后的图像16,该过滤后的图像仅包括与监视区域内的移动对象有关的数据,其中背景被去除。
在某些示例中,数据滤波器123可以包括存储器单元和微处理器。因此,数据滤波器123可以将来自第一帧的第一组原始数据集和来自时间间隔之后的第二帧的第二组原始数据集存储在存储器单元中。微处理器可以可操作以从第二帧数据中减除第一帧数据,从而生成过滤后的帧数据。本领域技术人员将想到用于过滤数据的其他方法。
过滤后的图像数据16可以被传送到跟踪器模块125,跟踪器模块125可操作以处理过滤后的图像数据16,以便用该数据识别移动目标并跟踪所识别的移动目标随时间而变化的位置,从而生成目标数据24。
跟踪器模块125可以包括检测器1252、关联器1254和跟踪器1256,并且可操作以生成与监视区域内的目标有关的数据24。检测器1252从时间滤波器123接收过滤后的图像数据16并且处理过滤后的图像数据16以检测其能量分布内的局部最大峰18。图7C示出了过滤后的数据图像16的示例,其指示出了局部最大峰的位置。
峰数据18可以被传送到关联器1254。关联器1254可操作以将每个帧的峰数据18存储在存储器元件中并将每个峰与目标对象关联并且进一步生成每个目标的单个测量位置。图7D表示过滤后的数据,其指示出了球坐标中的能量分布和测量位置。通常,球坐标可以被转换成诸如图7E所示的笛卡尔坐标。
跟踪器125可以被配置成从每个帧接收目标数据或跟踪数据,并且可操作以用每个帧中的每个目标或跟踪目标的位置值和速度值来填充目标数据库或跟踪目标数据库,从而生成可以用于计算每个帧中每个跟踪目标的预测位置22的跟踪数据。举例来说,图8A和图8B是分别指示竖直(xz)和水平(xy)图像部分中的预期和测量的跟踪位置的图像;
关联器1254还可以可操作以从目标跟踪器1256接收跟踪数据。因此,当测量20与现有跟踪目标的预期位置重合时,测量可以与该现有目标关联。替代地,在测量的位置与任何跟踪目标不重合的情况下,测量可以与新的跟踪目标相关联。
跟踪数据24可以被传送到步态分类模块127和/或跌倒识别模块129,步态分类模块127和/或跌倒识别模块129可操作以通过应用跌倒检测规则来处理目标数据24并且在需要时生成跌倒告警输出26。
根据一些示例,跌倒识别模块129包括位姿检测器和跌倒检测器。位姿检测器可以被配置成将目标数据存储在存储器单元中,生成每个目标的能量分布,并且应用位姿选择规则从而为每个跟踪目标选择位姿。位姿检测器还可操作以将每个目标的位姿历史存储在存储器单元中。然后,跌倒检测器可以从存储器单元访问位姿历史,并且如果至少一个跟踪目标被识别为跌倒,则生成跌倒告警。
现在参考图3的流程图,教导了一种使用诸如上述系统进行跌倒检测的方法。该方法可以包括:提供诸如本文所述的雷达单元1302,提供被配置成从雷达单元接收原始数据并且可操作以基于所接收的数据生成跌倒告警的至少一个处理器单元,以及提供被配置成且可操作以向第三方传达跌倒告警的通信模块。可选地,提供处理器可以包括提供时间滤波器1304、提供跟踪器模块1306、以及提供跌倒识别模块1308,诸如如上所述。
该方法还可以包括:雷达扫描目标区域1310,例如通过向监视区域发射电磁波以及接收从监视区域中的对象反射的电磁波;将多帧原始数据传输至处理器单元1312;从原始数据帧中去除静态对象1314;将过滤后的数据传输到跟踪器模块1316,识别过滤后的数据中的移动目标1318;将目标数据传送至跌倒识别模块1320;随时间推移跟踪移动目标;向目标分配位姿1322;将位姿历史存储在存储器单元1324中;应用跌倒检测规则1326;如果检测到跌倒1328,则生成跌倒告警1330。
参考图4的流程图,图4表示用于从图像数据中去除静态对象1400的可能动作,可以应用时间滤波器来选择帧捕获速率1402,以从第一帧收集原始数据1404;等待可能由帧捕获速率确定的时间延迟1406;从第二帧收集原始数据1408;以及从第二帧数据中减除第一帧数据1410。以这种方式,可以产生过滤后的图像,其中静态背景被去除并且仅保留移动目标数据。
现在参考图5的流程图,表示了用于生成1530并跟踪1550从监视区域收集的数据内的目标的可能动作。
该方法可以包括检测每帧过滤后的数据内的局部最大值1510并且将每个局部最大值与目标对象关联。
识别过滤后的数据中的移动目标的步骤可以包括:设置峰检测阈值1512;检测每帧过滤后的数据内的局部最大值1514;针对每个局部最大值定义着色(stain)区域或点反射延展区域1518;通过仅选择具有高于峰检测阈值的幅度1516且不位于较大局部最大值的着色区域内1520的局部最大值来选择峰。
可以从检测器获得峰数据1532并且可以从跟踪器获得跟踪数据1534。因此,可以将每个选定的峰与目标对象关联1536。可选地,可以将多个峰与公共目标关联1538。
在适当的情况下,如果峰与现有目标的预期位置重合,则可以将该峰与该现有目标关联。替代地,在峰的位置与任何跟踪目标不重合的情况下,峰可以与新的目标相关联。
可以通过在跟踪存储器或数据库中将每个目标的位置值记录在每帧中来随时间推移跟踪移动目标1550;在每个帧中记录每个目标的速度值1552;预测每个帧中的目标的预期值1554;对每个目标的后续值进行采样1556,将跟踪数据发送到关联器1556并将每个目标的预期值与每个目标的测量值进行比较。
现在参考图9A至图9H,其示出了一系列过滤后的数据的帧。这一系列帧指示监视区域内随着时间推移被跟踪的移动目标。被跟踪的目标在每个帧中通过指示目标跟踪的位置的小圆圈标记。特别值得注意的是,在图9G中,没有指示目标的位置。例如,当监视区域内的移动对象(由数据中的目标表示)移动到静止对象后面时,可能会发生这种场景。数据滤波器通常会从帧中去除静止对象,从而使移动对象在过滤后的数据中不可见。
请注意,尽管对象在过滤后的数据中丢失,但关联的目标并未从跟踪数据库中去除。更确切地说,缺失的目标被保留,并且针对后续帧计算其预期位置,使得当对象峰返回到诸如图9H中的视图时,峰再次与原始目标关联。
现在参考图10A至图10H,其示出了一系列过滤后的数据的帧。该一系列帧指示穿过监视区域内的被排除区域的移动目标,每个帧中用虚线矩形标记该移动目标。例如,当持续移动的对象干扰数据时,从数据中排除某些区域可能很有用。这种持续移动的对象可以是例如摇摆的钟摆、波纹状的窗帘等。
注意,当被跟踪对象在被排除区域内通过时,诸如图10D至图10F所示,该对象不再被物理监视,但关联的跟踪目标不会从跟踪数据库中去除。更确切地说,缺失的跟踪目标被保留,并且针对后续帧计算其预期位置,使得当对象峰移出诸如图10G中的排除区域时,测量再次与原始目标关联。
现在参考图6的流程图,其表示用于检测监视区域内的跌倒事件的可能动作,向目标分配位姿1610的阶段可以包括:获得目标数据1612;生成每个目标的能量分布1614;应用位姿选择规则1616,附加地或替代地,应用机器学习算法,诸如神经网络1617;选择当前位姿1618;记录当前位姿1620并将当前位姿保存在位姿历史中1622。
跌倒检测阶段1630可以包括获得所有目标的位姿历史1632;仅当在一个目标中检测到跌倒1636且没有向其他目标分配站立位姿1638时,应用跌倒决策规则1634并提供告警1640。
现在参考示出了在适当的情况下目标的可能的三维能量分布的图11,为每个目标生成能量分布包括为来自上部区域或目标的反射能量的幅度分配第一值;为来自中间区域或目标的反射能量的幅度分配第二值;以及为来自下部区域或目标的反射能量的幅度分配第三值。
可以针对多种位姿定义特征能量分布,例如,当幅度的第三值高于第一值和第二值两者时,可以识别跌倒位姿或躺着位姿,诸如图12C和图12D所示。这样的位姿可能会生成跌倒告警。
例如,当第一值、第二值和第三值具有类似的幅度时,诸如图12A所示,可以识别站立位姿。
当幅度的第三值不高于第一值和第二值两者时,诸如图12B所示,位姿可以被简单地分类为不躺着。
现在返回参考图1,系统100还可以可操作以检测异常,以便更准确地检测跌倒并生成告警。因此,雷达单元104还包括预处理器单元112,预处理器单元112处理从接收器110接收的数据。
预处理器单元112包括被配置成生成目标区域的能量分布的分布生成器114。分布生成器114针对目标区域的各个段生成一组标准能量分布122和时间相关的能量分布124。在适当的情况下,此类能量分布122可以根据需要提前生成并预加载到单元中。标准能量分布122和时间相关的能量分布124的集合存储在数据库120中。预处理器单元112还包括段选择器116,段选择器116被配置成通过选择在通过反射到达接收天线110所花费的时间来测量的给定深度范围处(沿水平线测量的角度)的给定方位角范围内接收到的辐射来选择监视区域102中的感兴趣目标段。分布生成器114还生成由段选择器116选择的监视区域102的每个目标段的当前能量分布。输出单元118将标准能量分布122和时间相关的能量分布124发送到数据库120,并将每个目标段的当前能量分布发送到处理单元126以用于异常检测和过滤告警。输出单元118还被配置成将接收器110接收到的原始数据发送至处理单元126。输出单元118还将所选择的感兴趣的目标段发送到处理单元126以用于异常检测。
处理单元126包括跌倒检测模块128,跌倒检测模块128可以被配置成从输出单元118接收数据并且可操作以基于跌倒检测规则生成跌倒告警。异常跌倒告警由异常检测模块130过滤,异常检测模块130可以被配置成接收来自输出单元118的所选目标段的当前能量分布以及来自数据库120的标准能量分布122和时间相关的能量分布124的集合。对于选定的目标段,将当前能量分布与对应的时间相关的能量分布进行比较,并过滤掉异常跌倒告警。告警生成器132然后生成跌倒告警并将其发送到预期接收者的通信设备(未示出)。跌倒告警可以通过通信网络传达至接收者的智能手机、计算机、笔记本电脑、可穿戴设备(如智能手表、电子带、可穿戴项圈等)。通信网络包括蓝牙网络、有线LAN、无线LAN、WiFi网络、Zigbee网络、Z-Wave网络或以太网。告警生成器132可以产生文本消息、图像、短视频消息、振动信号、蜂鸣器、蜂鸣声、铃声、传呼、鸣叫声及其组合形式的告警。上面提供的用于生成告警的音频/振动装置本质上是示例性的并且不应该限制本发明的范围。
参考图13A,其示出了用于用时间相关的能量分布填充数据库的示例性方法。目标区域的每个部分的时间相关的能量分布示出了在一天的给定时间选择每组能量分布的相对可能性。该过程开始于步骤202,在步骤202处生成一组标准能量分布122并将其存储在数据库120中。该组标准能量分布122表征与处于不同位姿(站立、坐着、躺着、行走、俯身等......)的对象相关联的预期能量分布。图14示出了示例性对象的一组32个标准能量分布。这些标准能量分布是根据在很长一段时间内收集的大量数据样本生成的。
在步骤204处,段选择器116将目标区域分割成若干目标段。在步骤206处定义用于收集时间相关数据的学习时段。在示例性实施方式中,以1小时的时间间隔定义48小时的学习时段。在步骤208处,对于每个时间间隔,记录每个目标段的活动。该活动通过雷达单元104的接收器110从目标段接收的反射来记录。在步骤210处,分布生成器114从标准能量分布集合中选择目标段的最接近匹配,并在步骤212处为每个段生成时间相关的能量分布124。时间相关的能量分布124存储在数据库120中。
在步骤214处,确定学习时段的所有时间间隔是否已经完成。注意,即使在学习期结束之后,系统也可以在操作期间以持续的方式继续采集分布。如果需要,较旧数据可能会被覆盖或清除。以这种方式,之前的48小时可以总是被划分为多个时间间隔,诸如根据需要划分为24或12个时间间隔。
如果“是”,则学习时段的所有时间间隔都已完成,然后用时间相关的能量分布填充数据库120的过程完成,并且过程在步骤218处停止。否则,在步骤216处记录下一个时间间隔的每个目标段的活动,并且过程从步骤210重复。图15示出了目标区域的各个目标段的一组示例性的时间相关的能量分布124。本文中的术语“超级体素”指的是目标区域的“目标段”,其中“X”和“Y”坐标定义了特定目标段。
现在参考图13B,其是示出用于跌倒告警中的异常检测和告警生成的示例性方法的示意流程图。如果基于跌倒检测规则在目标区域102中检测到跌倒,则在步骤302处,由雷达单元104的接收器110记录与目标区域102相对应的数据。在步骤304处,对于目标区域102的每个目标段,当前能量分布由分布生成器114生成并由输出单元118发送到处理单元126。在步骤306处,将当前能量分布与存储在数据库120中的记录的时间相关的能量分布124进行比较。基于比较,在步骤308处确定跌倒检测中是否检测到异常。如果在跌倒检测中没有检测到异常,则在步骤310处生成告警并通过各种手段将告警提供给预期接收者。如果在跌倒检测中检测到异常,则过滤掉跌倒告警并且从步骤304重复该过程。该过程在步骤312完成。
在示例性实施方式中,使用测量概率分布与参考概率分布有何不同的Kullback–Leibler(KL)散度来解释跌倒告警中的异常检测的过程。度量Mi由KL散度定义为:
其中,是指目标段的时间相关的能量分布;并且PD是指目标段的当前能量分布。
定义阈值T,使得如果Mi<T,则跌倒检测无异常。因此,会生成跌倒告警并将其发送给预期的接收者。否则,如果Mi≥T,则在跌倒检测中检测到异常,则跌倒检测被过滤掉并且不生成告警。
另外或替代地,还可以根据基于数据库中的信息的质量及其多样性的置信度分数来提供异常分数。可以提供过滤机制来基于诸如异常分数等参数来执行决策功能,以进一步选择适当的告警生成。
应当清楚地理解,使用Kullback–Leibler(KL)散度解释的跌倒告警中的异常检测过程本质上是示例性的并且不应当限制本发明的范围。任何其他合适的概率分布函数都可以用于该目的而不限制本发明的范围。
图16A、图17A和图18A示出了本发明的示例性实施方式中正常行为情况下所有时间窗上的KL散度值。
图16B、图17B和图18B示出了本发明的示例性实施方式中实际跌倒情况下所有时间窗上的KL散度值。
注意,图16A和图17A中的圆圈点表示检测到的异常,其不对应于实际跌倒。此类异常通常不会导致生成告警,因为它们不会伴随跌倒检测事件。
应当注意,图16B和图17B中的圆圈点表示检测到的与实际跌倒相对应的异常。此类异常通常会伴随跌倒检测事件,因此会生成跌倒告警。
图16A和图16B表示在学习时段完成之前记录的散度值。相比之下,图17A和图17B表示在完成学习时段之后记录的散度值。因此,图16A中记录为异常的事件比图17A中记录的异常事件多,尽管这两者中的此些事件都表示正常行为。
现在参考图18A,其示出了没有实际跌倒发生的KL散度,应当注意的是,尽管记录了若干跌倒检测事件,如以绿色圈出的,但是没有检测到对应的异常。因此,避免了假阳性。
相比之下,在图18B中,在实际跌倒确实发生的情况下,这些生成的跌倒检测事件以绿色圈出,值得注意的是,这些事件也对应于异常。因此,生成跌倒检测告警。
上述系统和方法通过避免假阳性而提供了跌倒检测方法的改进。
系统的其他特征包括能够保留稀罕事件诸如洗衣机等的操作的长期记忆,否则如果仅考虑48小时的记忆片,则稀罕事件可能被视为异常。
还应当注意的是,系统可以基于时间相关分布对目标区域内的区域进行分类。例如,如果例如主要在夜间长时间检测到躺着位姿,则可以将该区域识别为床,或者如果例如在特征性短时间段内检测到坐和/或站立分布,则可以将该区域识别为马桶,等等。这样的分类系统可以构成高级房间学习的基础。
现在返回参考图1,注意到通信模块134还可以被配置成可选地经由计算机网络与事件检测模块通信。事件检测可以包括机器学习系统,诸如可操作以生成跌倒可能性分数的神经网络140。在特定示例中,神经网络可以由诸如来自高度轮廓、信噪比和到目标的径向距离等及其组合的处理器输入提供。
现在参考图18C的框图,其表示用于使用监督学习生成跌倒可能性分数的可能的训练系统400的主要部件。这样的训练系统400是通过说明的方式呈现的并且可以在设置期间使用。
可以使用各种模型,诸如神经网络、非线性模型、网络回归模型、S形函数神经元网络等。为了说明的目的,本文描述了神经网络,然而,本领域技术人员将想到其他模型和训练系统。
具体地,已经发现,长短期记忆循环神经网络架构可能特别适合于跌倒事件的实时评估,因为如果其被配置成例如监视高度轮廓之间的转变,则其相对容易实现。当然,应当理解,在适当的情况下,诸如CNN之类的其他架构可以是优选的。
该示例的训练系统400包括神经网络420、真实患者记录440和误差生成器460。记录的事件可以在训练阶段期间被监视,例如在发生已知跌倒事件的测试环境内,使得实际事件状态442是已知的,例如是否已经发生跌倒或对象是否躺下等。类似地,神经网络生成预测的事件状态422。误差生成器460比较实际事件状态442和预测事件状态422,从而产生成本函数,该成本函数被反馈到神经网络,神经网络优化各种神经元参数,以便可能地使用迭代技术或启发式技术来最小化成本函数。
举例来说,成本函数可以由控制器对每个输入的误差的平方求和来生成,但是根据需要可以优选其他成本函数。
在生成成本函数之后,控制器可以调整神经元参数以便最小化成本函数。最小化算法可以包括但不限于启发式方法,诸如模因算法、差分进化、进化算法、动态松弛、遗传算法、随机重启爬山、Nelder-Mead单纯启发式:流行的近似最小化启发式(不调用梯度)、粒子群优化、引力搜索算法、人工蜂群优化、模拟退火、随机隧道、禁忌搜索、反应搜索优化(RSO)等。另外或替代地,最小化可以包括迭代方法,诸如牛顿法、顺序二次规划、内点法、坐标下降法、共轭梯度法、梯度下降、次梯度法、捆绑下降法、椭球法、简化梯度法、拟牛顿法、用于随机优化的同时扰动随机近似(SPSA)法、插值法等。
训练系统400的特定特征是记录的事件向神经网络提供真实对象参数444,使得神经网络被优化以对于任何给定的对象参数组产生尽可能接近真实患者记录的实际事件状态442的预测诊断422。
因此,一旦经过训练,神经网络420就能够根据监视到的参数诸如高度轮廓、信噪比、到对象的距离等生成跌倒可能性分数。还应注意的是,如果需要,可以根据需要提供其他输入参数,诸如身体体积、体重、步态速度、呼吸频率、心率、心率变异性、日常生活活动、体温、血压等。
跌倒可能性分数可以由指示跌倒事件已经发生的置信度的百分比值来表示。
图18D是指示假阳性和假阴性状态记录(损失值)的比率如何随时间而变化的图。降低的比率表明系统能够在训练数据期间以及使用验证数据的盲测期间学习成功识别错误事件。
应当理解,机器学习事件检测模块可以允许单个网络验证多种情况下的事件,例如从站立跌倒、从轮椅跌倒、跌倒后站起的对象、从床上跌倒的对象、从床上起来的对象等。
现在参考图19A的框图,示出了跌倒告警生成器的选定部件。跌倒告警生成器包括事件检测模块、告警减缓器和跌倒验证模块。事件检测被配置成接收来自基于雷达的监视器的输入并生成跌倒可能性分数。告警减缓器被配置成接收来自遥测系统的输入并使用表示监视区域的灵敏度图来生成告警阈值。
告警阈值可以呈现生成告警之前所需的最小确定性的动态值。跌倒验证模块被配置成将来自事件检测模块的跌倒可能性分数与来自告警减缓器的告警阈值进行比较。如果跌倒可能性分数的百分比值高于告警阈值,则可以生成跌倒告警。
具体参考图19B和图19C,其示意性地指示可以由跌倒验证模块使用的灵敏度图。每个灵敏度图可以是包括二维阵列的堆栈的二进制文件,例如十个20×20矩阵层的堆栈。
如图19C所示,每个20×20矩阵层可以通过从最小值X_MIN到最大值X_MAX将阵列划分为等间隔X_INT来排列X值,并且划分使得:
X_INT=(X_MAX-X_MIN)/20
因此,单个矩阵层可以用于设置跌倒检测灵敏度,而其他层可能用于其他房间映射,例如目标检测灵敏度。位置到区域映射函数可以提供映射索引为:
MapIndX=(X_fall-X_min)/X_int
跌倒概率图可以允许根据告警在房间内的位置以及该房间的历史数据来调整告警阈值。举例来说,各种灵敏度图如下所示:
指示从躺着转变到弯曲的灵敏度图的示例的图19D,
指示从躺着转变到站立的灵敏度图的示例的图19E,
指示了跌倒后没有转变的灵敏度图的示例的图19F,以及
指示从站立转变到跌倒后躺着的特征的灵敏度图的示例的图19G。
图20指示可以输入到事件检测模块中的可能的高度轮廓输入参数,针对给定坐标处的连续帧指示来自20个高度层中的每一个的反射能量的强度。在示例中可以看出,在前80到100帧期间,大量能量从高度层9到20反射,在后续帧期间,大部分能量在低于6的高度层处反射。这表明80到100帧期间从站立位姿到躺着位姿的快速转变。这种转变可能预示着跌倒。其他参数可以用作输入,诸如帧的信噪比以及到反射信号的径向距离。
参考图21的框图,应当注意,跌倒检测可以通过为跌倒分类器准备数据来实现,这样的数据通常由诸如本文描述的基于雷达的监视器来收集。该数据可以包括监视区域内的目标的高度轮廓以及目标距检测器的距离,这些数据被输入到跌倒分类器,该跌倒分类器可以确定对象的当前位姿,当前位姿可以被输入到位姿决策函数,该位姿决策函数提供确认对象的位姿状态的位姿决策输出。位姿状态可以被输入到位姿转变函数中,用于确定位姿转变事件是否已经发生。例如,位姿转变事件可以用作长短期记忆循环神经网络的输入。
人类存在监视器可以通过检测位姿转变时是否有人类存在来进一步减缓跌倒告警。可以根据由被配置成表征监视区域的机器学习模块提供的灵敏度图来确定人类存在。注意,这可能需要在需要时添加另外的灵敏度层。
所获得的输入可以被提供给跌倒事件管理器单元,该跌倒事件管理器单元使用灵敏度图进一步减缓跌倒告警生成。因此,疑似跌倒可以视情况而定被验证或无效。
现在参考图22,其是用于人员远程识别的系统2100的示意图。系统2100包括基于雷达的人员识别设备2104、处理单元2118、数据库2120和通信器2122。
基于雷达的人员识别设备2104包括发射器的阵列2106和接收器的阵列2110。发射器的阵列2106可以包括连接到至少一个发射器天线或发射器天线的阵列的振荡器2108。因此,发射器2106可以被配置成产生指向诸如封闭房间或开放区域之类的监视区域2102的电磁辐射束,诸如微波辐射等。接收器2110可以包括接收器天线阵列,其被配置成且可操作以接收由监视区域2102内的对象反射的电磁波。监视区域2102被示出为包括以不同位姿站立的两个人员2102a和2102b。然而,监视区域2102可以包括仅聚焦一个人员的较小区域或聚焦更多人以测量他们的身体参数的较大区域,而不限制本发明的范围。
在特定实施方式中,人员识别设备2104在没有任何物理接触或附着的情况下监视人员2102a和2102b。人员识别设备2104可以适当地定位在距监视区域2102几英尺的距离处,以有效地监视人员2102a和2102b。在一种实施方式中,人员识别设备2104位于各种场所的任何位置。场所可以包括诸如但不限于住宅楼、电梯区域、场所入口、学校、医院、访客区域、接待处、办公室、商场等。人员识别设备2104可以位于监视区域的地理边界内部或外部的任何地方,如房屋的墙壁或天花板。
由人员识别设备2104的接收器2110接收的信息包括人员2102a和2102b的位置、形状和运动参数。可以监视的参数可以包括但不限于身高,体重,身体体积,体型,身体结构,取向,站、坐、躺下的各种位姿,走、跑的方式,速度,加速度等。
接收器2110接收到的电磁信号被发送到人员识别设备2104的预处理单元2112。预处理单元2112包括位置特征提取模块2114和提取人员2102a和2102b的不同位置的特征的形状提取模块2115。不同的人员可以以不同的位姿站立,诸如直立、倾斜、自由式、交叉双臂、面向人员识别设备2104、背对人员识别设备2104等,如图26所示。
在一些实施方式中,位置特征提取模块2114过滤掉从存在于监视区域2102中的其他对象(未示出)接收的非期望信号。位置特征提取模块2114还可以考虑人员距人员识别设备2104的距离来提取人员的位置特征。例如,一个人员可以位于距离设备2104仅1米的位置,而另一个人员可以站在距离设备2104稍远一点(例如,2米),如图3所示。在另一实例中,位置特征提取模块2114考虑人员相对于设备2104的定向角度来提取位置的特征。位置特征提取模块2114生成目标人员周围的边界或框2200,如图23所示。在人周围创建框有助于测量人员的身体特征,包括人员在特定的站立或坐着位姿下的身高和身体宽度。在本发明的特定实施方式中,框可以沿着3轴被分割成各种小尺寸的片,以更准确地确定人员的身体特征。确定物理特征的准确性与框的片数量成比例地增加。在本发明的优选实施方式中,位置特征提取模块2114生成目标人员的19个位置轮廓特征。
预处理单元2112还包括运动特征提取模块2116,其被配置成从接收到的电磁信号中提取人员2102a和2102b的运动特征。运动特征可以包括但不限于加速度和速度的速率、运动轨迹、人员在行走时直立的背部、在行走期间的弯曲、在行走时向前看等。在本发明的优选实施方式中,运动特征提取模块2116生成目标人员的11个动态轮廓特征。
还应当注意的是,可以检测和提取其他特征移动,其可能与可以监视的位姿不直接相关,诸如头部移动、握手,或者诸如在运动期间的步长、步速、步的对称性、跛行、左或右摆动腿等及其组合。这样的移动还可以提供目标人员的动态轮廓特征的数据。
此外,预处理单元2112还可以被配置成且可操作以提取目标人员的特征形状特征。
图25A至图25E纯粹出于说明性目的呈现了可以使用根据本发明实施方式的人员识别设备2104来识别的人员的各种示例性位姿。例如,人员的识别设备被配置成基于任何类型的位姿来识别人员,例如坐在椅子中说话(图25A)、行走(图25B)、坐在椅子上(图25C)、躺下(图25D)、以不同的方式坐在沙发上(自由式或盘腿式)(图25E)等等。应当理解,人员还可以采用许多其他位置。
模块2114、2115和2116分别生成的人员2102a和2102b的位置、形状和运动特征被发送到处理单元118。处理单元118被配置成基于所提取的人员2102a和2102b的特征来生成沿3轴的位置和运动向量以及形状向量。处理单元2118还被配置成基于包括但不限于性别、体重、年龄、体型、身高等的参数来生成人的生理概况。
处理单元2118通过将存储的人工智能(AI)算法应用于人员的位置和运动特征以及生理参数来生成人员的概率识别。然后使用概率识别来生成该人员的识别概况。
在一些实施方式中,处理单元2118被配置用于通过机器学习进行手动或自动训练,以增强所存储的用于人员识别的概率算法。它可以使用神经网络、统计学、运筹学和物理学的方法来发现接收到的位置和运动特征数据中隐藏的见解,而无需对其进行显式编程。处理单元2118可以被“即时”训练以基于训练数据构建概率模型。可以定期对生成的概率模型进行训练、测试和验证,以提高系统性能。
各人员的生理简档、提取的位置、形状和运动特征以及识别简档可以存储在数据库2120中。
当需要时,可以将各人员或一组人员的整理的简档和识别报告发送给第三方2126a、2126b和2126c。例如,有兴趣识别特定个人的有关当局可能包括但不限于学校、警察局、市政部门、家长、有关政府部门或办公室、服务器、客户端设备等。简档和识别报告通过通信器2122从数据库2120发送,通信器2122通过通信网络2124传输信息。通信网络2124可以包括蓝牙网络、有线LAN、无线LAN、WiFi网络、Zigbee网络、Z-Wave网络或以太网。
作为本发明的几个示例性应用,失踪的强盗或恐怖分子或失踪的人或儿童或宠物(如果在任何位置被识别)的简档和识别报告可以被发送到警察局。当主人离开时,简档和识别报告也可以被发送到诸如房子之类的房屋的所有者的通信设备,从而识别并通知在他不在期间访问他的房子的访客。
该系统的另一个应用可以是通过人员在房子里走来走去的方式和他身体的形状,以及通过改变的习惯诸如在一天中的不寻常时间更频繁或更长的时间地使用浴室来跟踪该人员的健康状况。当有不止一名居住者时,识别人员身份的能力非常重要。低分辨率雷达图像的使用维护了隐私,因为不可能生成人员的高分辨率图像,但能够进行识别。
参照图27,其是示出根据本发明的一方面的人员识别设备的示例性方法的示意流程图。该过程开始于步骤2602,并且在步骤2604处,电磁波(EM)由人员识别设备2104的发射器2106朝向监视区域2102发射。在步骤2606处,接收器2110接收从监视区域2102反射的EM波。在步骤2608处,将接收到的EM信号传送到预处理单元2112的位置特征提取模块2114和运动特征提取模块2116。
在步骤2610处,位置特征提取模块2114和运动特征提取模块2116过滤掉非期望数据并相应地在步骤2612处提取目标人员的形状、位置和运动特征。在步骤2614处,将提取的位置和运动特征传送到处理单元2118。处理单元2118通过将存储的人工智能(AI)算法应用于人员的位置、形状和运动特征以及生成的生理参数来生成人员的概率识别。在步骤2616处,使用概率识别来生成人员的识别简档。在步骤2618处,将人员的生理简档和识别简档存储在数据库2120中。当需要时,在步骤2620处,可以将人员的生理简档和识别简档发送给一个或更多个第三方以向其通知所识别的人员。此外,或者替代地在适当的情况下,所识别的人员的身份可以被发送给第三方,而不是对应的识别简档。该过程在步骤2622处完成。
上述系统和方法可以远程且非侵入地执行患者的识别。
现在参考图28,其是可能的目标监视和告警系统3100的示意图。跌倒检测系统3100包括雷达单元3104、处理器单元3120和通信模块3130。
雷达单元3104包括发射器的阵列3106和接收器的阵列3110。发射器可以包括连接到至少一个发射器天线TX或发射器天线的阵列3106的振荡器3108。因此,发射器可以被配置成产生指向诸如封闭房间等之类的监视区域3105的电磁辐射束,诸如微波辐射等。接收器可以包括被配置成且可操作以接收由监视区域3105内的对象3102反射的电磁波的至少一个接收天线RX或接收器天线的阵列3110。
处理器单元3120可以包括各种模块,诸如帧缓冲存储器单元3122和时间滤波器单元3124。时间滤波器单元本身可以包括各种数据过滤模块,接收的数据可以经由这些数据过滤模块来产生过滤后的输出。数据过滤模块的示例包括移动目标指示(MTI)模块3125a、自适应MTI模块3125b、局部自适应MTI模块3125c、低运动信噪比增强模块3125d、运动滤波器组3125e和幻像残像去除模块3125f。本领域技术人员可以想到其他滤波器模块。
通信模块3134被配置成且可操作以向第三方3138传达输出图像。可选地,通信模块3134可以与诸如互联网之类的计算机网络3136通信,通信模块可以经由该计算机网络向第三方3138例如电话、计算机、可穿戴设备等传达告警。
时间滤波器可以用于区分感兴趣的对象和背景对象,因为它们可以用于在来自静止对象诸如墙壁和家具或振动和摆动对象诸如风扇、洗衣机、植物、窗帘等的反射上突出来自移动对象的反射。还应注意,时间滤波器还可以用于突出其他缓慢变化的现象,诸如系统传感器噪声和天线串扰。
参考图29A的流程图,其表示用于从图像数据中去除静态对象3200的可能动作,可以应用时间滤波器来选择帧捕获速率3202,以从第一帧收集原始数据3204;等待可能由帧捕获速率确定的时间延迟3206;从第二帧收集原始数据3208;以及从第二帧数据中减除第一帧数据3210。以这种方式,可以产生过滤后的图像,其中静态背景被去除并且仅保留移动目标数据。
通过将多个帧存储在帧缓冲存储器单元内,可以通过应用如图29B所示的移动目标指示(MTI)滤波器来进一步改进时间滤波器。
在将数据信号传送到图像重建块之前可以将MTI应用于数据信号,或直接将MTI应用于图像数据。MTI可以例如使用无限脉冲响应(IIR)低通滤波器(LPF)来估计背景数据。从图像数据中减除该背景数据以隔离来自移动对象的反射。注意,这样的过程可以通过从当前帧减除先前若干帧的平均值来实现。可选地,可以通过IIR或FIR低通滤波器诸如上述LPF实现来计算平均值。
MTI IIR滤波器时间常数或IIR响应取平均值的持续时间通常是固定的以最好地满足要求,或者是短的以更好地适应动态目标,或者是长的以适应静止或慢速目标。
因此,MTI方法3220可以包括诸如选择滤波器时间常数3222、在所选择的时间常数的持续时间内应用IIR滤波器3224、应用低通滤波器3226以及从原始数据中去除背景3228的步骤。
已经发现,当对象突然从背景中移除时,MTI可能会产生诸如残像或幻影等伪影。例如,当椅子被移动、人在睡眠中移动、墙壁被短暂遮挡等时,随后的背景扣除可能导致此类事件在图像中先前占据的位置处留下阴影。由于信号很复杂,因此无法区分真实对象及其负阴影。
类似地,背景中被遮挡的静止对象在被前景中的移动对象揭露的情况下当突然出现时可能看起来是动态的。
此外,感兴趣的缓慢变化可能会被抑制,例如,来自坐着或躺着的人的反射可能随着时间的推移变化很小,因此它们的影响可能会通过背景扣除而减弱。
现在参考图30A,示出了扩展的移动目标指示滤波器方法3240,包括选择滤波器时间常数3242、在所选择的时间常数的持续时间内应用IIR滤波器3244、应用低通滤波器3246,并且从原始图像中去除背景的步骤可以通过从当前帧中减除若干先前帧的平均值3248并进一步通过从过滤后的图像中去除诸如阴影和幻影残像之类的伪影来实现3250。
当前公开内容的一方面是引入可操作以减少这种残像图像和虚假动态伪影的滤波器。滤波器可以进一步增加对低运动目标的灵敏度,而不会错误检测静态或甚至振动对象。
现在参考图30B,用于减少伪影的方法可以包括可操作以根据检测到的数据的变化来调整图像数据的IIR滤波器时间常数的自适应MTI单元3260。因此,对于大的变化可以选择短的时间常数,从而减少动态伪影。对于小的变化可以选择较长的时间常数,以便增加对低运动目标的灵敏度,因为每个瞬时图像与许多帧的平均值的差比与最近几帧的平均值的差更大。
因此,教导了一种用于选择初始滤波器时间常数3262、以初始滤波器时间常数应用IIR滤波器3264、应用低通滤波器3266、以及从下一帧中减除结果3268的方法。检测图像数据的变化3270并且在处理另外的数据之前相应地更新滤波器时间常数3272。
上述MTI过滤的示例将所有帧数据视为一个整体,为帧内的所有体素产生公共时间常数。令人惊讶地发现,自适应MTI方法本身可以扩展到超出对整个帧的一般时间常数的选择。
现在参考图30C,示出了用于分段帧MTI的方法,其中可以为每个体素子集选择局部时间常数3280。该方法包括以下步骤:选择初始滤波器时间常数3282、应用达初始滤波器时间常数的持续时间的IIR滤波器3282、应用低通滤波器3286、以及从下一帧中减除结果3288。检测图像数据的变化3290并且针对每个体素子集确定这些变化的速率。
滤波器还可以根据图像数据的局部变化率将帧分割成体素子集3292。可以以适应图像数据的局部变化率的方式为每个体素子集设置局部滤波器时间常数3294。在相关局部滤波器时间常数3296的持续时间内将IIR滤波器应用于每个体素子集。可以从图像数据的下一帧中的每个体素子集中减除局部背景3298。
注意,在分段帧MTI的极端版本中,子集可以仅包括一个体素并且可以仅针对一个体素选择局部时间常数。实际上,可以根据需要单独为每个体素或为图像的每个区域选择时间常数。因此,可以针对在同一组图像数据中同时发生的多种现象来优化时间常数。
可以使用各种方法来增强低运动目标。例如,如图31A所示,一种方法3320包括应用MTI滤波器3322。可以在若干帧上对移动目标指示(MTI)图像的能量值诸如幅度、幅度的S形或其他这样的能量函数进行平均3324,并且可以检测平均数据中的变化3326。
注意,组合的信号和噪声通常具有比单独的噪声更高的平均值。因此,平均信噪比大于一,这可以实现对低运动和低SNR目标诸如躺着静止的呼吸人员的检测。
应当理解,改进的信噪比可以进一步增强从背景中的静止振动反射对象以及感兴趣的前景移动对象反射的信号。因此,可以应用隔离功能来区分振幅小于一毫米的振动对象的微运动与例如振幅大约一厘米的呼吸人员的低运动。
如图31B所示,用于增强低运动目标3340的其他方法包括应用运动特征滤波器组3340。滤波器的组合可以应用于提取各种时间特征。运动特征滤波器组可以基于相位变化和统计学来区分不同的运动类型。应用此类滤波器的方法的示例可以包括应用绝对值之平均值(Mean(Abs(raw-image)))滤波器3344、应用平均值之绝对值(Abs(Mean(raw-image)))滤波器3346、以及应用实部-虚部协方差矩阵特征值滤波器3348。应当理解,可以根据需要以任何顺序或组合来应用滤波器。
有多种方法来处理低运动目标的原始数据。例如,根据需要,累积能量可以计算为以下任意一项:
L0范数,∑x,
其中,如果|RawImg-BG|>阈值,则X=1;否则,X=0;
L1范数,∑|RawImg-BG|;或者
L2范数
因此,如果绝对值的平均值Mean(Abs(RawImg))接近平均值的绝对值Abs(Mean(RawImg)),则可以检测到低运动高径向横截面(RCS)静态干扰。类似地,如果相量特征值λ1、λ2服从任一((λ1-λ2)>θCirc*(λ1+λ2)或者(λ2<θSNR*噪声)。
作为示例并且为了更好地说明可以如何使用滤波器来区分不同的运动类型,现在参考图32A至图32C,其呈现了在目标区域内在三个指示的体素处重构的信号的幅度和相位随时间变化的图。
图33A至图33C的曲线呈现分别从图32A至图32C中指示的三个不同体素接收的能量的x特征值和y特征值的图。图33A的图示出了围绕中心点的明显随机相位分布,这是典型的背景噪声。图33B的图示出了围绕中心点的大体圆形相位分布,这是呼吸对象不另外移动的典型情况,实际上,该相位分布是从反射来自躺着的对象的能量的体素获得的。图33C的图示出了围绕具有大半径的圆弧的相位分布,这是缓慢振荡对象、在这种情况下是摆动的灯的典型情况。
图34A至图34C进一步示出了与图32A至图32C所示的三个体素点相关的图。特别地:
·在第一行中,绝对值的平均值(mean(abs))/平均值的绝对值(abs(mean))用蓝色绘制,并且
SNR=RawImg/NoiseRMS以红色绘制。
·在第二行中,2λ2/(λ1+λ2)以蓝色绘制,并且
λ2/NoiseRMS以红色绘制
返回参考图30A,用于从时间过滤的图像中去除伪影的另一种方法可以是当发生大的变化时将背景数据重置为默认值。现在参考图35的流程图,呈现了用于去除由背景去除生成的余像图像的方法3400的选定步骤。该方法可以包括,视情况而定可能在设置期间、在目标区域发生显著变化时或者以定期间隔(诸如每天、每小时、周期性)捕获默认背景图像3402。将该图像设置为背景的默认值3404。
设置背景重置阈值3406,其确定仅对于噪声而言被认为合理的帧之间的最大数据变化。当捕获原始数据帧时,从原始数据中减除背景3410,但是所得过滤后的候选数据不一定被记录为帧图像。在记录帧图像之前,计算过滤后的候选数据与最后记录的帧图像之间的差3412并与阈值3414进行比较。注意,在适当的情况下,可以根据原始背景差来单独重置每个体素的背景,如图30C中所描述的。
如果差低于阈值,则将新的过滤后的数据记录为下一帧图像,ImgOut=ImgIn–BgImg 3418。然后使用候选帧更新背景3420并捕获下一帧的原始数据3422。例如,新帧可以被保存到如本文所述的MTI滤波器所使用的帧缓冲存储器单元,例如使用公式BgImg=(1-a)*BgImg+a*ImgIn。
如果差高于阈值,则在记录过滤后的帧图像之前,根据以下公式将背景重置为默认值:
如果ImgOut>thr*噪声,则BgImg=ImgIn
并且它是从原始数据中减除的默认背景值3416。然后将所得的过滤后的数据记录为下一个过滤后的帧图像3418。
应当理解,为了清楚起见,在单独的实施方式的上下文中描述的本发明的某些特征也可以在单个实施方式中组合地提供。相反,为了简洁起见,在单个实施方式的上下文中描述的本公开内容的各种特征也可以单独地或以任何合适的子组合或在本公开内容的任何其他描述的实施方式中适当地提供。在各个实施方式的上下文中描述的某些特征不被认为是这些实施方式的基本特征,除非该实施方式在没有这些元件的情况下无法操作。
尽管已经结合本发明的具体实施方式描述了本发明,但是显然其他替代、修改、变化和等同物对于本领域技术人员来说将是显而易见的。因此,旨在涵盖落入本发明的精神和所附权利要求的广泛范围内的所有这样的替代、修改、变化和等同物。另外,上文阐述的各种实施方式是根据示例性框图、流程图和其他图示来描述的。如本领域普通技术人员将显而易见的,所示实施方式及其各种替代方案可以在不限于所示示例的情况下实现。例如,框图和随附的描述不应被解释为强制特定的架构、布局或配置。
技术说明
本文使用的技术和科学术语应当具有与本公开所属领域的普通技术人员通常理解的相同的含义。然而,预计在本申请的专利有效期内,将开发出许多相关系统和方法。因此,诸如计算单元、网络、显示器、存储器、服务器等术语的范围旨在包括所有此类先验新技术。
如本文所用,术语“约”是指至少±10%。
术语“包含”、“包含有”、“包括”、“包括有”、“具有”以及它们的同根词意思是“包括但不限于”并且表明包括所列出的部分,但通常不排除其他部件。此类术语涵盖术语“由......组成”和“基本上由......组成”。
用语“基本上由......组成”是指组合物或方法可以包括附加成分和/或步骤,但前提是附加成分和/或步骤不会实质上改变所要求保护的组合物或方法的基本和新颖特征。
如本文所用,单数形式“一”、“一个”和“该”可以包括复数引用,除非上下文另外明确指出。例如,术语“化合物”或“至少一种化合物”可以包括多种化合物,包括其混合物。
本文使用的词语“示例性”意指“用作示例、实例或说明”。被描述为“示例性”的任何实施方式不一定被解释为比其他实施方式优选或有利,或者排除来自其他实施方式的特征的结合。
词语“可选”在本文中用于表示“在一些实施方式中提供而在其他实施方式中不提供”。本公开内容的任何特定实施方式可以包括多个“可选”特征,除非这些特征冲突。
每当本文指示数值范围时,其意在包括指示范围内的任何引用的数字(分数或整数)。用语“在第一指示数和第二指示数之间的范围/范围在第一指示数和第二指示数之间”和“范围从第一指示数到第二指示数/从第一指示数到第二指示数的范围”在本文中可互换使用,并且旨在包括第一指示数和第二指示数以及其间的所有小数和整数。因此,应当理解,范围格式的描述仅仅是为了方便和简洁,并且不应当被解释为是对本披露内容的范围的不灵活的限制。因此,范围的描述应当被认为已经具体披露了所有可能的子范围以及该范围内的单个数值。例如,对诸如从1至6的范围的描述应当被认为已经具体披露了子范围,诸如从1至3、从1至4、从1至5、从2至4、从2至6,从3至6等,以及该范围内的单个数字,例如1、2、3、4、5和6以及非整数中间值。无论范围的广度如何,这都适用。
应当理解,为了清楚起见,在单独的实施方式的上下文中描述的本公开内容的某些特征也可以在单个实施方式中组合地提供。相反,为了简洁起见,在单个实施方式的上下文中描述的本公开内容的各种特征也可以单独地或以任何合适的子组合或在本公开内容的任何其他描述的实施方式中适当地提供。在各个实施方式的上下文中描述的某些特征不被认为是这些实施方式的基本特征,除非该实施方式在没有这些元件的情况下无法操作。
尽管已经结合本公开内容的具体实施方式描述了本发明,但是显然其他替代、修改、变化和等同物对于本领域技术人员来说将是显而易见的。因此,旨在涵盖落入所附权利要求的精神和广泛范围内的所有此类替代、修改和变化。
本说明书中提及的所有出版物、专利和专利申请均通过引用整体并入本说明书中,其程度如同每个单独的出版物、专利或专利申请被具体且单独地表明通过引用并入本文一样。另外,本申请中任何参考文献的引用或识别不应被解释为承认此类参考文献可作为本公开内容的现有技术。就所使用的章节标题而言,它们不应被解释为必然的限制。
所公开主题的范围由所附权利要求限定,并且包括本领域技术人员在阅读前述描述后将想到的上文描述的各种特征的组合和子组合及其变化和修改。
Claims (25)
1.一种目标监视和告警系统,所述目标监视和告警系统包括雷达单元、处理器单元和通信模块,
所述雷达单元包括:
至少一个发射器天线,所述至少一个发射器天线连接到振荡器,并且所述至少一个发射器天线被配置成将电磁波发射到监视区域中;以及
至少一个接收器天线,所述至少一个接收器天线被配置成接收由所述监视区域内的对象反射的电磁波,并且所述至少一个接收器天线能够操作以生成原始数据;
所述处理器单元包括移动体隔离处理器,并且所述通信模块被配置成且能够操作以将告警传达至第三方;
其中:
所述处理器单元还包括:
帧缓冲存储器单元,所述帧缓冲存储器单元用于存储帧数据;
数据滤波器,所述数据滤波器被配置成接收所述原始数据,并且所述数据滤波器能够操作以对所述原始数据进行处理来去除与来自静态对象的反射相关的数据,从而生成过滤后的数据;跟踪器模块,所述跟踪器模块被配置成从所述数据滤波器接收所述过滤后的数据,并且所述跟踪器模块能够操作以对所述过滤后的数据进行处理,来识别移动目标并对所述移动目标随时间而变化的位置进行跟踪,从而生成目标数据;以及
告警阈值生成器,所述告警阈值生成器能够操作以生成告警阈值;
神经网络,所述神经网络被配置成从所述跟踪器模块接收目标数据输入,并且所述神经网络能够操作以生成跌倒可能性分数,所述目标数据输入选自高度轮廓、信噪比和到对象的径向距离;以及
跌倒识别模块,所述跌倒识别模块被配置成从所述神经网络接收所述跌倒可能性分数,并且所述跌倒识别模块能够操作以在所述可能性分数高于告警阈值的情况下生成跌倒告警。
2.根据权利要求1所述的目标监视和告警系统,其中,所述告警阈值生成器被配置成接收来自跌倒告警减缓管理器的通信。
3.根据权利要求2所述的目标监视和告警系统,其中,所述告警减缓管理器被配置成且能够操作以接收来自遥测系统的输入并使用灵敏度图来生成所述告警阈值。
4.根据权利要求3所述的目标监视和告警系统,其中,所述灵敏度图包括二进制文件,所述二进制文件具有二维阵列的堆栈。
5.根据权利要求4所述的目标监视和告警系统,其中,所述灵敏度图包括具有十个二维阵列的堆栈,每个二维阵列均具有20行和20列。
6.根据权利要求1所述的目标监视和告警系统,其中,所述数据滤波器包括时间滤波器单元,所接收的数据能够通过所述时间滤波器单元来产生过滤后的输出。
7.根据权利要求6所述的目标监视和告警系统,其中,所述时间滤波器能够操作以:选择帧捕获速率;从第一帧收集原始数据;等待时间延迟;从第二帧收集原始数据;以及从第二帧数据中减除第一帧数据。
8.根据权利要求6所述的目标监视和告警系统,其中,所述时间滤波器至少包括移动目标指示模块。
9.根据权利要求8所述的目标监视和告警系统,其中,所述移动目标指示能够操作以:选择滤波器时间常数;在所述滤波器时间常数期间内应用无限脉冲响应滤波器;应用低通滤波器;以及从所述原始数据中去除背景。
10.根据权利要求6所述的目标监视和告警系统,其中,所述时间滤波器至少包括自适应移动目标指示模块。
11.根据权利要求10所述的目标监视和告警系统,其中,所述自适应移动目标指示模块能够操作以:选择初始滤波器时间常数;以所述初始滤波器时间常数应用无限脉冲响应滤波器;应用低通滤波器;从下一帧中减除结果;检测图像数据的变化;以及相应地更新所述滤波器时间常数。
12.根据权利要求6所述的目标监视和告警系统,其中,所述时间滤波器至少包括扩展的移动目标指示模块。
13.根据权利要求12所述的目标监视和告警系统,其中,所述自适应移动目标指示模块能够操作以:选择滤波器时间常数;在所述滤波器时间常数期间应用无限脉冲响应滤波器;应用低通滤波器;从当前帧中减除多个先前帧的平均值;以及从过滤后的图像中去除伪影。
14.根据权利要求6所述的目标监视和告警系统,其中,所述时间滤波器至少包括局部自适应移动目标指示模块。
15.根据权利要求14所述的目标监视和告警系统,其中,所述局部自适应移动目标指示模块能够操作以:选择初始滤波器时间常数;以所述初始滤波器时间常数应用无限脉冲响应滤波器;应用低通滤波器;从下一帧中减除结果;检测图像数据的变化;根据图像数据的局部变化率来将帧分割成体素子集;以适应所述图像数据的局部变化率的方式针对每个体素子集设置局部滤波器时间常数;在相关联的局部滤波器时间常数期间内将所述无限脉冲响应滤波器应用于每个体素子集;以及从图像数据的下一帧中的每个体素子集中减除局部背景。
16.根据权利要求6所述的目标监视和告警系统,其中,所述时间滤波器至少包括低运动信噪比增强模块。
17.根据权利要求16所述的目标监视和告警系统,其中,所述低运动信噪比增强模块能够操作以:应用低信噪比时间滤波器;对多个帧上的移动目标指示(MTI)图像的能量值进行平均;以及检测平均后的数据的变化。
18.根据权利要求6所述的目标监视和告警系统,其中,所述时间滤波器至少包括运动滤波器组。
19.根据权利要求6所述的目标监视和告警系统,其中,所述时间滤波器至少包括残像去除模块。
20.根据权利要求19所述的目标监视和告警系统,其中,所述残像去除模块能够操作以:捕获默认背景图像;将所述默认背景图像设置为背景的值;设置背景阈值;捕获第一帧的原始数据;从原始数据中减去背景以生成过滤后的候选数据;计算过滤后的候选数据与最后记录的帧图像之间的差,并且在所述差高于阈值的情况下,从原始数据中减去默认背景以生成新的过滤后的数据;将所述新的过滤后的数据记录为下一帧图像;将所述背景更新为新的帧图像;以及捕获下一帧的原始数据。
21.根据权利要求19所述的目标监视和告警系统,其中,所述残像去除模块能够操作以:捕获默认背景图像;将所述默认背景图像设置为背景的值;设置背景阈值;捕获第一帧的原始数据;从原始数据中减除背景以生成过滤后的候选数据;计算过滤后的候选数据与最后记录的帧图像之间的差,并且在所述差低于阈值的情况下,将所述过滤后的候选数据记录为下一帧图像;将所述背景更新为新的帧图像;以及捕获下一帧的原始数据。
22.根据权利要求1所述的目标监视和告警系统,其中,所述处理器单元还包括人员识别模块,所述人员识别模块包括位置特征提取模块和运动特征提取模块。
23.根据权利要求22所述的目标监视和告警系统,其中,所述处理器单元能够操作以通过对所述目标的位置特征和运动特征应用所存储的人工智能(AI)算法来生成目标的概率识别。
24.根据权利要求23所述的目标监视和告警系统,其中,所述处理器单元还能够操作以生成所述人员的识别简档。
25.一种用于对监视区域内的目标进行监视的方法,所述方法包括:
提供雷达单元,所述雷达单元包括至少一个发射器天线和至少一个接收器天线,所述至少一个发射器天线连接到振荡器;
提供处理器单元,所述处理器单元包括移动体隔离处理器;
提供通信模块,所述通信模块被配置成且能够操作以将告警传达至第三方;
所述雷达单元通过向所述监视区域发射电磁波并接收由所述监视区域内的对象反射的电磁波,来生成原始数据;
将帧数据存储在帧缓冲存储器单元中;
通过下述方式生成过滤后的数据:接收原始数据并去除与来自静态对象的反射相关的数据,从而生成过滤后的数据;
通过对所述过滤后的数据中的移动目标进行识别并且对所述移动目标随时间而变化的位置进行跟踪,来生成目标数据;
生成告警阈值;
对神经网络进行训练,以接收目标数据输入并生成跌倒可能性分数,所述目标数据输入选自高度轮廓、信噪比和到对象的径向距离;以及
在所述可能性分数高于告警阈值的情况下,生成跌倒告警。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US63/195,189 | 2021-06-01 | ||
US63/196,240 | 2021-06-03 | ||
US63/210,601 | 2021-06-15 | ||
US202163211828P | 2021-06-17 | 2021-06-17 | |
US63/211,828 | 2021-06-17 | ||
PCT/IB2022/055109 WO2022254347A1 (en) | 2021-06-01 | 2022-06-01 | Target monitoring and alert system and method |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117412707A true CN117412707A (zh) | 2024-01-16 |
Family
ID=89493044
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280039351.6A Pending CN117412707A (zh) | 2021-06-01 | 2022-06-01 | 目标监视和告警系统及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117412707A (zh) |
-
2022
- 2022-06-01 CN CN202280039351.6A patent/CN117412707A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
He et al. | WiFi vision: Sensing, recognition, and detection with commodity MIMO-OFDM WiFi | |
Yu et al. | Noninvasive human activity recognition using millimeter-wave radar | |
Alvarez et al. | Behavior analysis through multimodal sensing for care of Parkinson’s and Alzheimer’s patients | |
Planinc et al. | Introducing the use of depth data for fall detection | |
Rastogi et al. | A systematic review on machine learning for fall detection system | |
Fan et al. | Robust unobtrusive fall detection using infrared array sensors | |
AU2020411056B2 (en) | Fall detection systems and methods | |
CN112184626A (zh) | 姿态识别方法、装置、设备及计算机可读介质 | |
EP4351416A1 (en) | Target monitoring and alert system and method | |
US20220373646A1 (en) | Joint estimation of respiratory and heart rates using ultra-wideband radar | |
CN113657150A (zh) | 一种跌倒检测方法、装置和计算机可读存储介质 | |
Boudouane et al. | Fall detection system with portable camera | |
Liu et al. | An automatic in-home fall detection system using Doppler radar signatures | |
Espinosa et al. | Application of convolutional neural networks for fall detection using multiple cameras | |
Krupitzer et al. | Beyond position-awareness—Extending a self-adaptive fall detection system | |
Nahian et al. | Contactless fall detection for the elderly | |
Hillyard et al. | Never use labels: Signal strength-based Bayesian device-free localization in changing environments | |
Lu et al. | Visual guided deep learning scheme for fall detection | |
Vesa et al. | Human activity recognition using smartphone sensors and beacon-based indoor localization for ambient assisted living systems | |
US20240021062A1 (en) | Target monitoring and alert system and method | |
Lafontaine et al. | Denoising UWB Radar Data for Human Activity Recognition Using Convolutional Autoencoders | |
Bazgir et al. | Active shooter detection in multiple-person scenario using RF-based machine vision | |
Dai | Vision-based 3d human motion analysis for fall detection and bed-exiting | |
WO2021214757A1 (en) | System, method and computer program product for remote measurement of vital signs | |
Liu et al. | Human behavior sensing: challenges and approaches |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |