CN116106855B - 摔倒检测方法及摔倒检测装置 - Google Patents
摔倒检测方法及摔倒检测装置 Download PDFInfo
- Publication number
- CN116106855B CN116106855B CN202310391380.5A CN202310391380A CN116106855B CN 116106855 B CN116106855 B CN 116106855B CN 202310391380 A CN202310391380 A CN 202310391380A CN 116106855 B CN116106855 B CN 116106855B
- Authority
- CN
- China
- Prior art keywords
- target object
- point cloud
- target
- preset
- millimeter wave
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/411—Identification of targets based on measurements of radar reflectivity
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/886—Radar or analogous systems specially adapted for specific applications for alarm systems
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Abstract
本发明提供了一种摔倒检测方法及摔倒检测装置。该方法包括获取毫米波雷达采集的回波信号，其中，回波信号是毫米波雷达向目标区域内的目标对象发射调频连续毫米波信号后，经目标对象反射被毫米波雷达所接收得到的；基于预设处理规则，对回波信号进行转化处理，得到时序上的多帧点云数据，其中，点云数据包括多个点云信息；基于预设跟踪规则，对多个点云数据中的点云信息进行聚类跟踪处理，得到至少一个目标对象的时序上的多个关联点云；基于预设判定规则，根据目标对象的多个关联点云，确定目标对象的摔倒判定结果；在摔倒判定结果表明目标对象处于摔倒姿态的情况下，将转换数据输入至摔倒识别网络模型，输出目标对象的摔倒识别结果。
Description
技术领域
本发明涉及无线感知技术领域，更具体地，涉及一种摔倒检测方法、摔倒检测装置、电子设备、计算机可读存储介质以及计算机程序产品。
背景技术
对于老年人和病人等特殊人群，例如老年人一旦跌倒，可能会导致髋关节、脊椎骨、手腕部位骨折以及加重病情等不利情况的发生。髋关节是人体上半身承重支柱，一旦发生骨折，无法站立行走，甚至坐起来翻身都是问题。特别是独居老人，一旦发生摔倒情况，很可能会因无法得到及时救治而死亡。
目前常见的有三类跌倒检测系统：基于穿戴式设备的、基于环境传感器、以及基于视频传感器的人体跌倒检测系统。上述三种检测系统中，非穿戴式的两种系统对摔倒行为能够实现较精准检测。此外穿戴式设备只能针对穿戴人员进行检测，部分人员会对穿戴式设备具有排斥性，且单个成本较高，不利于大范围应用。基于图像、视频传感器的检测系统，虽然精准度高，但是涉及监视隐私，特别是浴室、卫生间等地，不适合安装，无法对老人等特殊人群的摔倒姿态进行全方位的实时检测。
发明内容
有鉴于此，本发明实施例提供了一种摔倒检测方法、摔倒检测装置、电子设备、计算机可读存储介质以及计算机程序产品。
本发明实施例的一个方面提供了一种摔倒检测方法，包括：
获取毫米波雷达采集的回波信号，其中，上述回波信号是上述毫米波雷达向目标区域内的目标对象发射调频连续毫米波信号后，经上述目标对象反射被上述毫米波雷达所接收得到的；
基于预设处理规则，对上述回波信号进行转化处理，得到时序上的多帧点云数据，其中，上述点云数据包括多个点云信息，上述点云信息包括表征一个上述目标对象的一个关键点的位置信息和速度信息；
基于预设跟踪规则，对多个上述点云数据中的点云信息进行聚类跟踪处理，得到至少一个目标对象的时序上的多个关联点云；
基于预设判定规则，根据上述目标对象的多个上述关联点云的高度，确定上述目标对象的摔倒判定结果；
在上述摔倒判定结果表明上述目标对象处于摔倒姿态的情况下，将转换数据输入至摔倒识别网络模型，输出上述目标对象的摔倒识别结果，其中，上述转换数据是对上述关联点云进行转换得到的。
根据本发明的实施例，基于预设判定规则，根据上述目标对象的多个上述关联点云，确定上述目标对象的摔倒判定结果，包括：
针对每个上述关联点云，在上述关联点云的中心高度小于预设高度阈值的情况下，将与上述关联点云在时序上相关的预设帧数的关联点云确定为多个目标点云；
在多个上述目标点云中存在目标帧数的目标点云的中心高度小于上述预设高度阈值的情况下，确定上述目标对象的上述摔倒判定结果为上述摔倒姿态。
根据本发明的实施例，将转换数据输入至摔倒识别网络模型，输出上述目标对象的摔倒识别结果，包括：
基于预设体素化规则，对多个上述关联点云进行格式转换处理，得到多个上述转换数据；
将多个上述转换数据输入上述摔倒识别网络模型，得到上述摔倒识别结果，其中，上述摔倒识别网络模型是对利用卷积层、长短期记忆层以及全连接层构建的多层神经网络进行训练得到的。
根据本发明的实施例，还包括：
在上述摔倒识别结果表明上述目标对象处于摔倒的情况下，利用报警装置发出报警提示信息，上述报警装置包括显示装置、语音装置、灯光装置中的至少一种。
根据本发明的实施例，基于预设处理规则，对上述回波信号进行转化处理，得到时序上的多帧点云数据，包括：
对上述回波信号进行快时间维度的傅里叶变换，得到上述目标对象的距离信息；
对上述回波信号进行慢时间维度的傅里叶变换，得到上述目标对象的速度信息和目标夹角，其中，上述目标夹角表征上述目标对象分别与毫米波雷达的两个接收天线连线之间的夹角；
基于三维空间转换规则，根据上述距离信息、上述速度信息和上述目标夹角，生成多帧时序上的上述点云数据。
根据本发明的实施例，对上述回波信号进行快时间维度的傅里叶变换，得到上述目标对象的距离信息，包括：
对上述回波信号进行快时间维度的傅里叶变换，得到目标差拍频率；
根据上述目标差拍频率、信号周期和频率差确定上述目标对象的距离信息，其中，上述信号周期表征发射的调频连续毫米波信号的最低频率增长到峰值频率所使用的时间，上述频率差表征上述峰值频率和上述最低频率的差值。
根据本发明的实施例，对上述回波信号进行慢时间维度的傅里叶变换，得到上述目标对象的速度信息和目标夹角，包括：
对上述回波信号进行慢时间维度的傅里叶变换，得到多普勒频率；
根据上述多普勒频率和上述回波信号的中心频率，确定上述目标对象的上述速度信息；
根据上述毫米波雷达的两个接收天线之间的相位角差、目标对象与两个接收天线之间的距离差确定上述目标夹角。
根据本发明的实施例，基于预设跟踪规则，对多个上述点云数据中的点云信息进行聚类跟踪处理，得到至少一个目标对象的时序上的多个关联点云，包括：
利用基于密度的聚类算法，对多个上述点云数据中的点云信息进行聚类处理，得到每个上述点云数据的表征不同目标对象的多个簇；
利用卡尔曼滤波方法对多个点云数据中的多个簇进行目标跟踪处理，得到至少一个目标对象的时序上的多个关联点云。
根据本发明的实施例，利用卡尔曼滤波方法对多个点云数据中的多个簇进行目标跟踪处理，得到至少一个目标对象的时序上的多个关联点云，包括：
针对每个上述点云数据中的每个簇，利用卡尔曼滤波模型对上述簇的下一时刻的位置进行预测，得到预测位置，其中，上述簇表征上述目标对象的实际测量位置；
基于上述预测位置，对下一时刻的点云数据中表征实际测量位置的簇进行关联，得到与上述簇对应的关联的簇，其中，上述簇和上述关联的簇表征时序上的两个关联点云；
其中，利用卡尔曼滤波方法对多个点云数据中的多个簇进行目标跟踪处理，得到至少一个目标对象的时序上的多个关联点云，还包括：
根据上述预测位置和测量位置对上述卡尔曼滤波模型进行更新，得到更新的卡尔曼滤波模型，以利用上述更新的卡尔曼滤波模型对下一时刻的点云数据中的簇进行预测处理。
本发明实施例的另一个方面提供了一种摔倒检测装置，包括：
获取模块，用于获取毫米波雷达采集的回波信号，其中，上述回波信号是上述毫米波雷达向目标区域内的目标对象发射调频连续毫米波信号后，经上述目标对象反射被上述毫米波雷达所接收得到的；
转换模块，用于基于预设处理规则，对上述回波信号进行转化处理，得到时序上的多帧点云数据，其中，上述点云数据包括多个点云信息，上述点云信息包括表征一个上述目标对象的一个关键点的位置信息和速度信息；
聚类跟踪模块，用于基于预设跟踪规则，对多个上述点云数据中的点云信息进行聚类跟踪处理，得到至少一个目标对象的时序上的多个关联点云；
判定模块，用于基于预设判定规则，根据上述目标对象的多个上述关联点云，确定上述目标对象的摔倒判定结果；
识别模块，用于在上述摔倒判定结果表明上述目标对象处于摔倒姿态的情况下，将转换数据输入至摔倒识别网络模型，输出上述目标对象的摔倒识别结果，其中，上述转换数据是对上述关联点云进行转换得到的。
本发明实施例的另一个方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上所述的方法。
本发明实施例的另一个方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
本发明实施例的另一个方面提供了一种计算机程序产品，所述计算机程序产品包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。
根据本发明的实施例，通过将回波信号转换为时序上的多帧点云数据，利用预设跟踪规则对多个点云数据中的点云信息进行聚类跟踪，对目标对象的关联点云进行高度速度的判定以进行摔倒姿态的初次判定，在初次判定目标对象处于摔倒姿态的情况下利用摔倒识别网络模型对与关联点云对应的转换数据进行处理，以进一步确定该目标对象是否处于摔倒姿态，由于采用点云信息进行聚类跟踪，从而对目标点云进行高度速度检测，进而初步判断目标人体是否摔倒，并利用摔倒识别网络模型对摔倒姿态进行进一步确认，实现了在不侵犯目标对象的隐私的情况下准确识别目标对象的摔倒情况，提高了摔倒检测的准确性和便捷性。
附图说明
通过以下参照附图对本发明实施例的描述，本发明的上述以及其他目的、特征和优点将更为清楚，在附图中：
图1示出了根据本发明实施例的可以应用摔倒检测方法的示例性系统架构图；
图2示出了根据本发明实施例的摔倒检测方法的流程图；
图3示出了根据本发明实施例的回波信号的生成示意图；
图4示出了根据本发明另一实施例的摔倒检测方法的流程图；
图5示出了根据本发明实施例的聚类处理后的点云信息示意图；
图6示出了根据本发明实施例的目标夹角的位置示意图；
图7示出了根据本发明实施例的聚类示意图；
图8示出了根据本发明实施例的点云中心的距离的计算示意图；
图9示出了根据本发明实施例的毫米波雷达在一种场景中的安装示意图；
图10示出了根据本发明实施例的对目标对象的摔倒检测示意图；
图11示出了根据本发明实施例的监测显示界面示意图；
图12示出了根据本发明实施例的摔倒报警界面示意图；
图13示出了根据本发明实施例的摔倒过程中高度分析示意图；
图14示出了根据本发明实施例的摔倒检测显示界面示意图；
图15示出了根据本发明实施例的摔倒检测装置的框图；
图16示出了根据本发明实施例的适于实现上文描述的方法的电子设备的框图。
具体实施方式
以下，将参照附图来描述本发明的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。在下面的详细描述中，为便于解释，阐述了许多具体的细节以提供对本发明实施例的全面理解。然而，明显地，一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语（包括技术和科学术语）具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释（例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等）。
本发明的实施例提供了摔倒检测方法及摔倒检测装置。该方法包括获取毫米波雷达采集的回波信号，其中，回波信号是毫米波雷达向目标区域内的目标对象发射调频连续毫米波信号后，经目标对象反射被毫米波雷达所接收得到的；基于预设处理规则，对回波信号进行转化处理，得到时序上的多帧点云数据，其中，点云数据包括多个点云信息，点云信息包括表征一个目标对象的一个关键点的位置信息和速度信息；基于预设跟踪规则，对多个点云数据中的点云信息进行聚类跟踪处理，得到至少一个目标对象的时序上的多个关联点云；基于预设判定规则，根据目标对象的多个关联点云的高度，确定目标对象的摔倒判定结果；在摔倒判定结果表明目标对象处于摔倒姿态的情况下，将转换数据输入至摔倒识别网络模型，输出目标对象的摔倒识别结果，其中，转换数据是对关联点云进行转换得到的。
图1所示仅为可以应用本发明实施例的系统架构的示例，以帮助本领域技术人员理解本发明的技术内容，但并不意味着本发明实施例不可以用于其他设备、系统、环境或场景。
如图1所示，该实施例的系统架构100可以包括第一终端设备101、第二终端设备102、第三终端设备103，网络104、服务器105和毫米波雷达106。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103、服务器105和毫米波雷达106之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等。
用户可以使用第一终端设备101、第二终端设备102、第三终端设备103通过网络104与服务器105交互，以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用，例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端和/或社交平台软件等（仅为示例）。
第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等。
服务器105可以是提供各种服务的服务器，例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103所浏览的网站提供支持的后台管理服务器（仅为示例）。后台管理服务器可以对接收到的用户请求等数据进行分析等处理，并将处理结果（例如根据用户请求获取或生成的网页、信息、或数据等）反馈给终端设备。
毫米波雷达106可以是AWR1843型毫米波雷达。
需要说明的是，本发明实施例所提供的摔倒检测方法可以由服务器105、第一终端设备101、第二终端设备102、第三终端设备103、能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的其他服务器或服务器集群中的一种执行。相应地，本发明实施例所提供的摔倒检测装置一般可以设置于服务器105、第一终端设备101、第二终端设备102、第三终端设备103、能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群中的一种中。
应该理解，图1中的终端设备、网络、服务器和毫米波雷达的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络、服务器和毫米波雷达。
图2示出了根据本发明实施例的摔倒检测方法的流程图。图3示出了根据本发明实施例的回波信号的生成示意图。
根据本发明的实施例，如图2所示，摔倒检测方法包括操作S201~操作S205。
在操作S201，获取毫米波雷达采集的回波信号，其中，回波信号是毫米波雷达向目标区域内的目标对象发射调频连续毫米波信号后，经目标对象反射被毫米波雷达所接收得到的；
在操作S202，基于预设处理规则，对回波信号进行转化处理，得到时序上的多帧点云数据，其中，点云数据包括多个点云信息，点云信息包括表征一个目标对象的一个关键点的位置信息和速度信息；
在操作S203，基于预设跟踪规则，对多个点云数据中的点云信息进行聚类跟踪处理，得到至少一个目标对象的时序上的多个关联点云；
在操作S204，基于预设判定规则，根据目标对象的多个关联点云，确定目标对象的摔倒判定结果；
在操作S205，在摔倒判定结果表明目标对象处于摔倒姿态的情况下，将转换数据输入至摔倒识别网络模型，输出目标对象的摔倒识别结果，其中，转换数据是对关联点云进行转换得到的。
根据本发明的实施例，毫米波雷达的调频带宽例如可以是4GHz，信号周期T为一个Chirp时间。当TX（发射天线）发射信号为，RX（接收天线）接收信号为，其中，/>和/>分别为与发射天线和接收天线对应的信号的频率，/>和分别为与发射天线和接收天线对应的信号的相位，且频率和相位均为瞬时值，则经过混频器处理后的回波信号/>如公式（1）所示，其中，回波信号（图3中的IF信号）是一种线性调频脉冲信号，其以振幅作为时间的函数。
（1）
其中，t为当前时刻。
根据本发明的实施例，基于预设处理规则，对回波信号进行转化处理，得到时序上的多帧点云数据，例如可以采用傅里叶转换方法对回波信号进行处理，从而得到目标对象每个关键点的位置信息和速度信息，关键点可以是头部、肩膀等人体部位。
根据本发明的实施例，基于预设跟踪规则，对多个点云数据中的点云信息进行聚类跟踪处理，得到至少一个目标对象的时序上的多个关联点云，例如对多帧点云数据中同一个关键点进行关联，基于预设判定规则，根据目标对象的多个关联点云，确定目标对象的摔倒判定结果，例如确定目标对象是否处于摔倒状态。在确定目标对象处于摔倒状态时，将关联点云进行转换得到转换数据，将转换数据输入到摔倒识别网络模型进行识别，以确定目标对象是否属于摔倒状态的摔倒识别结果。
根据本发明的实施例，通过将回波信号转换为时序上的多帧点云数据，利用预设跟踪规则对多个点云数据中的点云信息进行聚类跟踪，对目标对象的关联点云进行高度速度的判定以进行摔倒姿态的初次判定，在初次判定目标对象处于摔倒姿态的情况下利用摔倒识别网络模型对与关联点云对应的转换数据进行处理，以进一步确定该目标对象是否处于摔倒姿态，由于采用点云信息进行聚类跟踪，从而对目标点云进行高度速度检测，进而初步判断目标人体是否摔倒，并利用摔倒识别网络模型对摔倒姿态进行进一步确认，实现了在不侵犯目标对象的隐私的情况下准确识别目标对象的摔倒情况，提高了摔倒检测的准确性和便捷性。
图4示出了根据本发明另一实施例的摔倒检测方法的流程图。
根据本发明的实施例，基于预设判定规则，根据目标对象的多个关联点云，确定目标对象的摔倒判定结果，包括如下操作：
针对每个关联点云，在关联点云的中心高度小于预设高度阈值的情况下，将与关联点云在时序上相关的预设帧数的关联点云确定为多个目标点云；
在多个目标点云中存在目标帧数的目标点云的中心高度小于预设高度阈值的情况下，确定目标对象的摔倒判定结果为摔倒姿态。
根据本发明的实施例，在目标对象为人的情况下，设定人体高度均值1.7米，直立状态下的人体经毫米波雷达扫描后，人体的关联点云的中心高度在1.4米左右（胸部及腹部反射点最多，头部及腿部反射点较少）。设定摔倒的预设高度阈值为0.7米，速度阈值为0.7m/s。若过去时刻的多帧（例如40帧）点云数据中，存在预设帧数（例如5帧以上）的人体点云数据的中心高度在1.4米以上（保证人体初始状态为直立状态），且过去10帧中存在3帧以上人体点云中在0.7米以下，则判定此时人体处于高度检测下的摔倒姿态。
在一种可替换的实施例中，如图4所示，还可以同时对关联点云的速度进行检测，以确定目标对象是否摔倒，例如设定预设速度阈值为0.7m/s，在上述10帧中存在3帧以上速度大于0.7m/s，结合高度检测确定人体处于摔倒状态。
根据本发明的实施例，将转换数据输入至摔倒识别网络模型，输出目标对象的摔倒识别结果，包括如下操作：
基于预设体素化规则，对多个关联点云进行格式转换处理，得到多个转换数据；
将多个转换数据输入摔倒识别网络模型，得到摔倒识别结果，其中，摔倒识别网络模型是利用卷积层、长短期记忆层以及全连接层构建的多层神经网络进行训练得到的。
根据本发明的实施例，将关联点云转化为预设空间网格格式，例如可以是16*16*16的空间网格形式，如图5所示，得到转换数据，转换数据是摔倒识别网络模型的输入数据。其中，摔倒识别网络模型的数据集在制作时可以包含8个动作，每个动作包含40帧点云信息。
根据本发明的实施例，摔倒识别网络模型的训练环境为一个具有3090显卡的tensorflow训练环境。将训练好的摔倒识别网络模型保存于本地存储器上，并嵌入至本发明的计算机程序中，相当于一个黑箱函数，对动作进行判定，最终输出表征动作分类的摔倒识别结果。
根据本发明的实施例，上述摔倒检测方法还包括如下操作：
在摔倒识别结果表明目标对象处于摔倒的情况下，利用报警装置发出报警提示信息，报警装置包括显示装置、语音装置、灯光装置中的至少一种。
根据本发明的实施例，显示装置可以是监护人的移动终端，例如在对家中老人的点云分布进行监控时，如确认老人处于摔倒状态，可以通过通信模块将报警提示信息传输至监护人的移动终端上，以提醒监护人家中老人摔倒需要帮助。
根据本发明的实施例，语音装置可以指喇叭等扬声器。灯光报警装置可以指具有灯光闪烁功能的LED模组。
需要说明的是，在对目标对象的摔倒状态进行识别监控之前，均获得了目标对象或监护人的授权。
根据本发明的实施例，基于预设处理规则，对回波信号进行转化处理，得到时序上的多帧点云数据，包括如下操作：
对回波信号进行快时间维度的傅里叶变换，得到目标对象的距离信息；
对回波信号进行慢时间维度的傅里叶变换，得到目标对象的速度信息和目标夹角，其中，目标夹角表征目标对象分别与毫米波雷达的两个接收天线连线之间的夹角；
基于三维空间转换规则，根据距离信息、速度信息和目标夹角，生成多帧时序上的点云数据。
根据本发明的实施例，对回波信号进行快时间维度的傅里叶变换，得到目标对象的距离信息，包括：
对回波信号进行快时间维度的傅里叶变换，得到目标差拍频率；
根据目标差拍频率、信号周期和频率差确定目标对象的距离信息，其中，信号周期表征发射的调频连续毫米波信号的最低频率增长到峰值频率所使用的时间，频率差表征峰值频率和最低频率的差值。
根据本发明的实施例，在公式（1）中，由于，则/>，/>为雷达发射波探测到目标对象并接收到回波的时间。这段时间内，毫米波走了两段距离，由于光速无限快，信号周期T时间很短，设该时间段内目标对象近似处于相对静止状态。则可以得到，其中，c为光速，B 1为频率差，通过对IF（中频的回波信号）信号做快时间维度的傅里叶变换（Range FFT），可以得到对应的目标差拍频率/>，继而得到目标对象的距离信息R’。
根据本发明的实施例，对回波信号进行慢时间维度的傅里叶变换，得到目标对象的速度信息和目标夹角，包括如下操作：
对回波信号进行慢时间维度的傅里叶变换，得到多普勒频率；根据多普勒频率和回波信号的中心频率，确定目标对象的速度信息；根据毫米波雷达的两个接收天线之间的相位角差、目标对象与两个接收天线之间的距离差确定目标夹角。
根据本发明的实施例，发射天线发射连续的多个调频连续毫米波信号，则接收天线可以得到多个回波信号，对回波信号做慢时间维度的傅里叶变换（Doppler FFT）可以得到多普勒频率，进而得到速度信息。
在一种实施例中，假设一物体运动速度为v（径向速度）靠近毫米波雷达，其初始位置距离雷达为R，则回波时延为，设发射信号为/>，其中，/>为幅值，则回波信号可表示为公式（2）
（2）
因此在FMCW的差拍信号中，差拍信号的频率为公式（3）：
（3）
其中，和/>分别为目标运动和静止状态下差拍信号的频率，/>为多普勒频率，B 2为扫频带宽，c为光速， T为信号周期（一个chirp时间），f为chirp中心频率，v为目标速度，此处速度为正代表靠近目标，若远离目标，则符号为负。在一个chirp内部，因为时间较短，称为快时间维度，设定其内部如公式（4）:
（4）
对于慢时间维度（chirp维度），由径向运动导致的差频信号则不能忽略，为公式（5）：
（5）
则有公式（6）：
（6）
对慢速度维进行FFT计算，可得到，从而计算出目标物体的速度信息v。第k个信号采样点的频率/>与采样频率/>的关系为：/>（/>）。
假设通过慢时间维度的傅里叶变换处理之后，在距离-速度多普勒热力图中，为Range-FFT（快时间维度的傅里叶变换）中目标物体对应坐标的序列号，/>为Doppler-FFT（慢时间维度的傅里叶变换）中目标物体对应坐标的序列号，则有公式（7）：
（7）
上式中，Nchirp为chirp累加总数，为采样频率。联立公式可得公式（8）：
（8）
因为，总的chirp时间/>为/>，分别代入公式，可得公式（9）：
（9）
因此，其距离分辨率为，其速度分辨率为/>，/>为毫米波信号的波长。对于多目标距离速度检测，只要在二维频谱图中找到对应点的频谱峰值，每个点的谱峰对应的坐标即包含距离速度信息。
图5示出了根据本发明实施例的聚类处理后的点云信息示意图。图6示出了根据本发明实施例的目标夹角的位置示意图。
如图5所示，当雷达扫描到物体时，可以探测到其具体方位角，这由多根天线共同测出。发射天线发射毫米波，碰到物体后返回被接收天线接收。设毫米波雷达有一个发射天线，两个接收天线，且两接收天线之间距离为l,物体到接收天线1的距离为d，到接收天线2的距离为，目标对象与两个接收天线之间的距离差为/>，如图6所示，则有公式（10）：
（10）
毫米波信号在返程时多了距离，则接收天线TX2比TX1接收到信号的时延为，其中c为光速。设发射天线RX发射的毫米波为/>，则接收天线TX1收到的回波信号为/>，其中/>为毫米波发射到接收的间隔时间，则接收天线TX2收到的回波信号为/>。据此，可以算出TX1和TX2接收到的回波的相位角差为公式（11）：
（11）
通过检测两根天线的相位角差，即可求出/>，代入公式，可得公式（12）的目标夹角/>：
（12）
目标夹角即物体方位角/>。当使用多个接收信号TX时，后面各个天线的信号相对于前面的天线，多了相移/>，因此信号穿过N个天线后相位（相较第一个接收天线）出现线性递增。通过对穿过的N个天线的信号进行采样，可以估计/>并形成该信号序列的FFT（角度FFT）。增加接收信号器即提升了采样个数，也就增强了角分辨率。
根据本发明的实施例，通过检测出目标对象的距离信息、速度信息和目标夹角，可转换为三维空间坐标，继而形成多帧时序上的点云数据。
图7示出了根据本发明实施例的聚类示意图。
根据本发明的实施例，基于预设跟踪规则，对多个点云数据中的点云信息进行聚类跟踪处理，得到至少一个目标对象的时序上的多个关联点云，包括：
利用基于密度的聚类算法，对多个点云数据中的点云信息进行聚类处理，得到每个点云数据的表征不同目标对象的多个簇；
利用卡尔曼滤波方法对多个点云数据中的多个簇进行目标跟踪处理，得到至少一个目标对象的时序上的多个关联点云。
根据本发明的实施例，对于点云数据的聚类，使用的是DBSCAN算法， DBSCAN（Density-Based Spatial Clustering of Applications with Noise）是一个基于密度的聚类算法。它将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为簇，并可在噪声的空间数据库中发现任意形状的聚类。参照图7，具体算法描述如下：
（1）将所有的点云数据存储在数据库中，检测数据库中尚未检查过的对象p（即点云数据，如图7中的点A和点B），如果p未被处理（未被归为某个簇或者标记为噪声），则检查其邻域，若包含的对象数不小于人为设置的最小点云数（minPts），建立新簇C，将其中的所有点加入候选集N；
（2）对候选集N 中所有尚未被处理的对象q，检查其邻域，若至少包含minPts个对象，则将这些对象加入N；如果q 未归入任何一个簇，则将q 加入C；
（3）重复步骤2，继续检查N 中未处理的对象，直至当前候选集N为空；
（4）重复步骤1~3，直到所有对象都归入了某个簇或标记为噪声。
根据本发明的实施例，利用卡尔曼滤波方法对多个点云数据中的多个簇进行目标跟踪处理，得到至少一个目标对象的时序上的多个关联点云。
根据本发明的实施例，利用卡尔曼滤波方法对多个点云数据中的多个簇进行目标跟踪处理，得到至少一个目标对象的时序上的多个关联点云，包括：
针对每个点云数据中的每个簇，利用卡尔曼滤波模型对簇的下一时刻的位置进行预测，得到预测位置，其中，簇表征目标对象的实际测量位置；
基于预测位置，对下一时刻的点云数据中表征实际测量位置的簇进行关联，得到与簇对应的关联的簇，其中，簇和关联的簇表征时序上的两个关联点云；
其中，利用卡尔曼滤波方法对多个点云数据中的多个簇进行目标跟踪处理，得到至少一个目标对象的时序上的多个关联点云，还包括：
根据预测位置和测量位置对卡尔曼滤波模型进行更新，得到更新的卡尔曼滤波模型，以利用更新的卡尔曼滤波模型对下一时刻的点云数据中的簇进行预测处理。
根据本发明的实施例，卡尔曼滤波是一种线性滤波方法，其设定控制噪声以及观测噪声均为高斯噪声，室内环境符合该条件。此外，在室内观测人体活动情况，由于人体的运动速度有限，可以设定人体的运动模型为恒加速模型。
卡尔曼滤波需要先对控制过程建模，卡尔曼滤波模型可表示为公式（13）：
（13）
其中，A为状态参数，例如目标对象的位置信息，B为控制参数，例如目标人体是加速行走或匀速行走，W为过程噪声，符合高斯分布。U为测量参数，例如目标对象的某些反射点的位置、速度，V为测量误差，符合高斯分布，X为预测值，例如目标对象的预测位置，Z为测量值，例如目标对象的实际测量位置，k为第k个点云数据。
追踪过程主要分为两个过程：预测过程以及更新过程。其预测过程可由预测（估计）状态方程表示为公式（14）：
（14）
其更新过程可由其更新方程表示为公式（15）：
（15）
其中，预测的位置，/>为更新后的预测（估计）状态方程，/>为这一时刻预测值方差或协方差矩阵；/>为这一时刻最优估计值方差或协方差。
图8示出了根据本发明实施例的点云中心的距离的计算示意图。
帧间目标关联可由目标的空间位置进行关联，由于每一帧所占的时间很短（1秒20帧）。因此，上一帧与当前帧所检测出的目标对象，可由两帧中的目标对象的最短距离进行联系，两帧间目标对象的最短距离目标即为同一目标。目标关联可结合图8和图4进行描述，该过程可以分为以下几个步骤：
(1)当前帧目标采集。毫米波雷达采集当前状态下的点云数据，假设当前帧为第N帧，并通过DBSCAN算法进行聚类，筛除杂波点，留下目标点，并算出各个目标点云中心，假设有m个目标点。
(2)目标关联。对比上一帧各目标的点云中心，假设有n个目标，并分别计算两帧之间点云中心的距离，最终形成[m,n]的距离矩阵，距离为欧式距离。找到矩阵中的最小值，记录其矩阵下标i(0<i<m+1)和j(0<j<n+1)，如果在给定阈值L（一般与邻域半径相同）范围内，则关联当前帧的第i个目标和上一帧的第j个目标。
(3)重复第(2)步直到没有满足条件的点集。
(4)当前帧剩余的点集为新目标，加入目标队列，以进行上述的关联操作，从而实现了检测区域内目标对象的点云跟踪关联，进而得到时序上的多个关联点云。
根据本发明的实施例，针对当前点云帧，上述步骤已经对每个点云进行了目标标注。可以创建一个列表，将各个目标对象的不同关键点的点集分开存储进列表内。针对杂波点云，直接舍弃不存储，完成去噪过程。综上完成点集的分割存储，从而利用列表中的关联点云进行目标对象的摔倒判定结果的判定。
图9示出了根据本发明实施例的毫米波雷达在一种场景中的安装示意图。图10示出了根据本发明实施例的对目标对象的摔倒检测示意图。图11示出了根据本发明实施例的监测显示界面示意图。图12示出了根据本发明实施例的摔倒报警界面示意图。
根据本发明的实施例，如图9，为房间中模拟的摔倒检测环境，左图中包括硬件产品毫米波雷达、软垫以及处理数据的电脑，为实验所需的全部条件。右图为最终的雷达安装细节，雷达最终被安装于高度约1.8米的支架上，并有10-15度倾斜角。图10为在房间中的摔倒过程。
当毫米波雷达连上电脑，开始对整个房间的进行监测时，如图11所示，电脑显示器会显示当前的人体点云状态，且人体框图为非红色，当有多人出现时，会出现多个点云实时动态框图。当人体出现摔倒过程时，在显示帧数的地方会变为黄色（如图中右上角的数字所在的区域），且会显示具体的跌倒人的编号（编号从1001开始）。此外，电脑会发出持续且剧烈的警报声，如果摔倒的人无法起来，会持续警报。参见图12，其为当人体发生摔倒时的警报画面。右上角显示为当前雷达当前检测的帧数（1秒20帧）。
图13示出了根据本发明实施例的摔倒过程中高度分析示意图。图14示出了根据本发明实施例的摔倒检测显示界面示意图。
根据本发明的实施例，在该环境下，可以采集2000帧数据，并做记录。如图13所示，为摔倒过程人体高度分析图，蓝色为雷达点云所显示的最高点，中间的浅绿色为中心点，深绿色为最低点（脚部信号反射强度弱，形成很少或没有点云）。本图中只包含摔倒动作，可以很轻易看出，图中每一个曲线下降沿都代表一次人体摔倒过程。
如图14所示，为本方法对采集的数据做出的摔倒检测显示。结合图13~14可以看出，本次摔倒过程共为8次，本方法全部检出，显示了本方法的检测准确性。
图15示出了根据本发明实施例的摔倒检测装置的框图。
如图15所示，摔倒检测装置1500包括获取模块1510、转换模块1520、聚类跟踪模块1530、判定模块1540和识别模块1550。
获取模块1510，用于获取毫米波雷达采集的回波信号，其中，回波信号是毫米波雷达向目标区域内的目标对象发射调频连续毫米波信号后，经目标对象反射被毫米波雷达所接收得到的。
转换模块1520，用于基于预设处理规则，对回波信号进行转化处理，得到时序上的多帧点云数据，其中，点云数据包括多个点云信息，点云信息包括表征一个目标对象的一个关键点的位置信息和速度信息。
聚类跟踪模块1530，用于基于预设跟踪规则，对多个点云数据中的点云信息进行聚类跟踪处理，得到至少一个目标对象的时序上的多个关联点云。
判定模块1540，用于基于预设判定规则，根据目标对象的多个关联点云的高度，确定目标对象的摔倒判定结果。
识别模块1550，用于在摔倒判定结果表明目标对象处于摔倒姿态的情况下，将转换数据输入至摔倒识别网络模型，输出目标对象的摔倒识别结果，其中，转换数据是对关联点云进行转换得到的。
根据本发明的实施例，通过将回波信号转换为时序上的多帧点云数据，利用预设跟踪规则对多个点云数据中的点云信息进行聚类跟踪，对目标对象的关联点云进行高度速度的判定以进行摔倒姿态的初次判定，在初次判定目标对象处于摔倒姿态的情况下利用摔倒识别网络模型对与关联点云对应的转换数据进行处理，以进一步确定该目标对象是否处于摔倒姿态，由于采用点云信息进行聚类跟踪，从而对目标点云进行高度速度检测，进而初步判断目标人体是否摔倒，并利用摔倒识别网络模型对摔倒姿态进行进一步确认，实现了在不侵犯目标对象的隐私的情况下准确识别目标对象的摔倒情况，提高了摔倒情况识别的准确性和便捷性。
根据本发明的实施例，判定模块1540包括第一确定单元和第二确定单元。
第一确定单元，用于针对每个关联点云，在关联点云的中心高度小于预设高度阈值的情况下，将与关联点云在时序上相关的预设帧数的关联点云确定为多个目标点云。
第二确定单元，用于在多个目标点云中存在目标帧数的目标点云的中心高度小于预设高度阈值的情况下，确定目标对象的摔倒判定结果为摔倒姿态。
根据本发明的实施例，识别模块1550包括第一转换单元和识别单元。
第一转换单元，用于基于预设体素化规则，对多个关联点云进行格式转换处理，得到多个转换数据。
识别单元，用于将多个转换数据输入摔倒识别网络模型，得到摔倒识别结果，其中，摔倒识别网络模型是对利用卷积层、长短期记忆层以及全连接层构建的多层神经网络进行训练得到的。
根据本发明的实施例，摔倒检测装置1500还包括报警模块。
报警模块，用于在摔倒识别结果表明目标对象处于摔倒的情况下，利用报警装置发出报警提示信息，报警装置包括显示装置、语音装置、灯光装置中的至少一种。
根据本发明的实施例，转换模块1520包括第二转换单元、第三转换单元和生成单元。
第二转换单元，用于对回波信号进行快时间维度的傅里叶变换，得到目标对象的距离信息。
第三转换单元，用于对回波信号进行慢时间维度的傅里叶变换，得到目标对象的速度信息和目标夹角，其中，目标夹角表征目标对象分别与毫米波雷达的两个接收天线连线之间的夹角。
生成单元，用于基于三维空间转换规则，根据距离信息、速度信息和目标夹角，生成多帧时序上的点云数据。
根据本发明的实施例，第二转换单元包括第一转换子单元和第一确定子单元。
第一转换子单元，用于对回波信号进行快时间维度的傅里叶变换，得到目标差拍频率。
第一确定子单元，用于根据目标差拍频率、信号周期和频率差确定目标对象的距离信息，其中，信号周期表征发射的调频连续毫米波信号的最低频率增长到峰值频率所使用的时间，频率差表征峰值频率和最低频率的差值。
根据本发明的实施例，第三转换单元包括第二转换子单元、第二确定子单元和第三确定子单元。
第二转换子单元，用于对回波信号进行慢时间维度的傅里叶变换，得到多普勒频率。
第二确定子单元，用于根据多普勒频率和回波信号的中心频率，确定目标对象的速度信息。
第三确定子单元，用于根据毫米波雷达的两个接收天线之间的相位角差、目标对象与两个接收天线之间的距离差确定目标夹角。
根据本发明的实施例，聚类跟踪模块1530包括聚类单元和跟踪单元。
聚类单元，用于利用基于密度的聚类算法，对多个点云数据中的点云信息进行聚类处理，得到每个点云数据的表征不同目标对象的多个簇。
跟踪单元，用于利用卡尔曼滤波方法对多个点云数据中的多个簇进行目标跟踪处理，得到至少一个目标对象的时序上的多个关联点云。
根据本发明的实施例，跟踪单元包括预测子单元和关联子单元。
预测子单元，用于针对每个点云数据中的每个簇，利用卡尔曼滤波模型对簇的下一时刻的位置进行预测，得到预测位置，其中，簇表征目标对象的实际测量位置。
关联子单元，用于基于预测位置，对下一时刻的点云数据中表征实际测量位置的簇进行关联，得到与簇对应的关联的簇，其中，簇和关联的簇表征时序上的两个关联点云。
根据本发明的实施例，跟踪单元还包括更新子单元。
更新子单元，用于根据预测位置和测量位置对卡尔曼滤波模型进行更新，得到更新的卡尔曼滤波模型，以利用更新的卡尔曼滤波模型对下一时刻的点云数据中的簇进行预测处理。
根据本发明的实施例的模块、单元、子单元中的任意多个、或其中任意多个的至少部分功能可以在一个模块中实现。根据本发明实施例的模块、单元、子单元中的任意一个或多个可以被拆分成多个模块来实现。根据本发明实施例的模块、单元、子单元中的任意一个或多个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（Field ProgrammableGate Array ，FPGA）、可编程逻辑阵列（Programmable Logic Arrays ，PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（Application Specific Integrated Circuit，ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式的硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，根据本发明实施例的模块、单元、子单元中的一个或多个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
例如，获取模块1510、转换模块1520、聚类跟踪模块1530、判定模块1540和识别模块1550中的任意多个可以合并在一个模块/单元/子单元中实现，或者其中的任意一个模块/单元/子单元可以被拆分成多个模块/单元/子单元。或者，这些模块/单元/子单元中的一个或多个模块/单元/子单元的至少部分功能可以与其他模块/单元/子单元的至少部分功能相结合，并在一个模块/单元/子单元中实现。根据本发明的实施例，获取模块1510、转换模块1520、聚类跟踪模块1530、判定模块1540和识别模块1550中的至少一个可以至少被部分地实现为硬件电路，例如现场可编程门阵列（FPGA）、可编程逻辑阵列（PLA）、片上系统、基板上的系统、封装上的系统、专用集成电路（ASIC），或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现，或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者，获取模块1510、转换模块1520、聚类跟踪模块1530、判定模块1540和识别模块1550中的至少一个可以至少被部分地实现为计算机程序模块，当该计算机程序模块被运行时，可以执行相应的功能。
需要说明的是，本发明的实施例中摔倒检测装置部分与本发明的实施例中摔倒检测方法部分是相对应的，摔倒检测装置部分的描述具体参考摔倒检测方法部分，在此不再赘述。
图16示出了根据本发明实施例的适于实现上文描述的方法的电子设备的框图。图16示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图16所示，根据本发明实施例的电子设备1600包括处理器1601，其可以根据存储在只读存储器（Read-Only Memory，ROM）1602中的程序或者从存储部分1608加载到随机访问存储器（Random Access Memory，RAM）1603中的程序而执行各种适当的动作和处理。处理器1601例如可以包括通用微处理器（例如CPU）、指令集处理器和/或相关芯片组和/或专用微处理器（例如，专用集成电路（ASIC）），等等。处理器1601还可以包括用于缓存用途的板载存储器。处理器1601可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1603中，存储有电子设备1600操作所需的各种程序和数据。处理器 1601、ROM 1602以及RAM 1603通过总线1604彼此相连。处理器1601通过执行ROM 1602和/或RAM1603中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意，所述程序也可以存储在除ROM 1602和RAM 1603以外的一个或多个存储器中。处理器1601也可以通过执行存储在所述一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。
根据本发明的实施例，电子设备1600还可以包括输入/输出（I/O）接口1605，输入/输出（I/O）接口1605也连接至总线1604。系统1600还可以包括连接至I/O接口1605的以下部件中的一项或多项：包括键盘、鼠标等的输入部分1606；包括诸如阴极射线管（CRT）、液晶显示器（Liquid Crystal Display，LCD）等以及扬声器等的输出部分1607；包括硬盘等的存储部分1608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1609。通信部分1609经由诸如因特网的网络执行通信处理。驱动器1610也根据需要连接至I/O接口1605。可拆卸介质1611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1610上，以便于从其上读出的计算机程序根据需要被安装入存储部分1608。
根据本发明的实施例，根据本发明实施例的方法流程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分1609从网络上被下载和安装，和/或从可拆卸介质1611被安装。在该计算机程序被处理器1601执行时，执行本发明实施例的系统中限定的上述功能。根据本发明的实施例，上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
本发明还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的；也可以是单独存在，而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被执行时，实现根据本发明实施例的方法。
根据本发明的实施例，计算机可读存储介质可以是非易失性的计算机可读存储介质。例如可以包括但不限于：便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM（Erasable Programmable Read Only Memory，EPROM）或闪存）、便携式紧凑磁盘只读存储器（Computer Disc Read-Only Memory，CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
例如，根据本发明的实施例，计算机可读存储介质可以包括上文描述的ROM 1602和/或RAM 1603和/或ROM 1602和RAM 1603以外的一个或多个存储器。
本发明的实施例还包括一种计算机程序产品，其包括计算机程序，该计算机程序包含用于执行本发明实施例所提供的方法的程序代码，当计算机程序产品在电子设备上运行时，该程序代码用于使电子设备实现本发明实施例所提供的摔倒检测方法。
在该计算机程序被处理器1601执行时，执行本发明实施例的系统/装置中限定的上述功能。根据本发明的实施例，上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中，该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中，该计算机程序也可以在网络介质上以信号的形式进行传输、分发，并通过通信部分1609被下载和安装，和/或从可拆卸介质1611被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
根据本发明的实施例，可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例提供的计算机程序的程序代码，具体地，可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。
以上对本发明的实施例进行了描述。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。尽管在以上分别描述了各实施例，但是这并不意味着各个实施例中的措施不能有利地结合使用。本发明的范围由所附权利要求及其等同物限定。不脱离本发明的范围，本领域技术人员可以做出多种替代和修改，这些替代和修改都应落在本发明的范围之内。
Claims (7)
1.一种摔倒检测方法，其特征在于，包括：
获取毫米波雷达采集的回波信号，其中，所述回波信号是所述毫米波雷达向目标区域内的目标对象发射调频连续毫米波信号后，经所述目标对象反射被所述毫米波雷达所接收得到的；
基于预设处理规则，对所述回波信号进行转化处理，得到时序上的多帧点云数据，其中，所述点云数据包括多个点云信息，所述点云信息包括表征一个所述目标对象的一个关键点的位置信息和速度信息；
基于预设跟踪规则，对多个所述点云数据中的点云信息进行聚类跟踪处理，得到至少一个目标对象的时序上的多个关联点云；
基于预设判定规则，根据所述目标对象的多个所述关联点云的高度和速度，确定所述目标对象的摔倒判定结果；
在所述摔倒判定结果表明所述目标对象处于摔倒姿态的情况下，将转换数据输入至摔倒识别网络模型，输出所述目标对象的摔倒识别结果，其中，所述转换数据是对所述关联点云进行转换得到的；
其中，将转换数据输入至摔倒识别网络模型，输出所述目标对象的摔倒识别结果，包括：
基于预设体素化规则，对多个所述关联点云进行格式转换处理，得到多个所述转换数据，其中，所述预设体素化规则用于将关联点云转化为预设空间网格格式；
将多个所述转换数据输入所述摔倒识别网络模型，得到所述摔倒识别结果，其中，所述摔倒识别网络模型是对利用卷积层、长短期记忆层以及全连接层构建的多层神经网络进行训练得到的；
其中，基于预设处理规则，对所述回波信号进行转化处理，得到时序上的多帧点云数据，包括：
对所述回波信号进行快时间维度的傅里叶变换，得到所述目标对象的距离信息；
对所述回波信号进行慢时间维度的傅里叶变换，得到所述目标对象的速度信息和目标夹角，其中，所述目标夹角表征所述目标对象分别与毫米波雷达的两个接收天线连线之间的夹角；
基于三维空间转换规则，根据所述距离信息、所述速度信息和所述目标夹角，生成多帧时序上的所述点云数据；
其中，对所述回波信号进行慢时间维度的傅里叶变换，得到所述目标对象的速度信息和目标夹角，包括：
对所述回波信号进行慢时间维度的傅里叶变换，得到多普勒频率；
根据所述多普勒频率和所述回波信号的中心频率，确定所述目标对象的所述速度信息；
根据所述毫米波雷达的两个接收天线之间的相位角差、目标对象与两个接收天线之间的距离差确定所述目标夹角。
2.根据权利要求1所述的方法，其特征在于，基于预设判定规则，根据所述目标对象的多个所述关联点云，确定所述目标对象的摔倒判定结果，包括：
针对每个所述关联点云，在所述关联点云的中心高度小于预设高度阈值的情况下，将与所述关联点云在时序上相关的预设帧数的关联点云确定为多个目标点云；
在多个所述目标点云中存在目标帧数的目标点云的中心高度小于所述预设高度阈值的情况下，确定所述目标对象的所述摔倒判定结果为所述摔倒姿态。
3.根据权利要求1所述的方法，其特征在于，还包括：
在所述摔倒识别结果表明所述目标对象处于摔倒的情况下，利用报警装置发出报警提示信息，所述报警装置包括显示装置、语音装置、灯光装置中的至少一种。
4.根据权利要求1所述的方法，其特征在于，对所述回波信号进行快时间维度的傅里叶变换，得到所述目标对象的距离信息，包括：
对所述回波信号进行快时间维度的傅里叶变换，得到目标差拍频率；
根据所述目标差拍频率、信号周期和频率差确定所述目标对象的距离信息，其中，所述信号周期表征发射的调频连续毫米波信号的最低频率增长到峰值频率所使用的时间，所述频率差表征所述峰值频率和所述最低频率的差值。
5.根据权利要求1所述的方法，其特征在于，基于预设跟踪规则，对多个所述点云数据中的点云信息进行聚类跟踪处理，得到至少一个目标对象的时序上的多个关联点云，包括：
利用基于密度的聚类算法，对多个所述点云数据中的点云信息进行聚类处理，得到每个所述点云数据的表征不同目标对象的多个簇；
利用卡尔曼滤波方法对多个点云数据中的多个簇进行目标跟踪处理，得到至少一个目标对象的时序上的多个关联点云。
6.根据权利要求1所述的方法，其特征在于，利用卡尔曼滤波方法对多个点云数据中的多个簇进行目标跟踪处理，得到至少一个目标对象的时序上的多个关联点云，包括：
针对每个所述点云数据中的每个簇，利用卡尔曼滤波模型对所述簇的下一时刻的位置进行预测，得到预测位置，其中，所述簇表征所述目标对象的实际测量位置；
基于所述预测位置，对下一时刻的点云数据中表征实际测量位置的簇进行关联，得到与所述簇对应的关联的簇，其中，所述簇和所述关联的簇表征时序上的两个关联点云；
其中，利用卡尔曼滤波方法对多个点云数据中的多个簇进行目标跟踪处理，得到至少一个目标对象的时序上的多个关联点云，还包括：
根据所述预测位置和测量位置对所述卡尔曼滤波模型进行更新，得到更新的卡尔曼滤波模型，以利用所述更新的卡尔曼滤波模型对下一时刻的点云数据中的簇进行预测处理。
7.一种摔倒检测装置，其特征在于，包括：
获取模块，用于获取毫米波雷达采集的回波信号，其中，所述回波信号是所述毫米波雷达向目标区域内的目标对象发射调频连续毫米波信号后，经所述目标对象反射被所述毫米波雷达所接收得到的；
转换模块，用于基于预设处理规则，对所述回波信号进行转化处理，得到时序上的多帧点云数据，其中，所述点云数据包括多个点云信息，所述点云信息包括表征一个所述目标对象的一个关键点的位置信息和速度信息；
聚类跟踪模块，用于基于预设跟踪规则，对多个所述点云数据中的点云信息进行聚类跟踪处理，得到至少一个目标对象的时序上的多个关联点云；
判定模块，用于基于预设判定规则，根据所述目标对象的多个所述关联点云高度和速度，确定所述目标对象的摔倒判定结果；
识别模块，用于在所述摔倒判定结果表明所述目标对象处于摔倒姿态的情况下，将转换数据输入至摔倒识别网络模型，输出所述目标对象的摔倒识别结果，其中，所述转换数据是对所述关联点云进行转换得到的；
其中，识别模块包括：
第一转换单元，用于基于预设体素化规则，对多个关联点云进行格式转换处理，得到多个转换数据，其中，所述预设体素化规则用于将关联点云转化为预设空间网格格式；
识别单元，用于将多个转换数据输入摔倒识别网络模型，得到摔倒识别结果，其中，摔倒识别网络模型是对利用卷积层、长短期记忆层以及全连接层构建的多层神经网络进行训练得到的；
其中，转换模块包括：
第二转换单元，用于对回波信号进行快时间维度的傅里叶变换，得到目标对象的距离信息；
第三转换单元，用于对回波信号进行慢时间维度的傅里叶变换，得到目标对象的速度信息和目标夹角，其中，目标夹角表征目标对象分别与毫米波雷达的两个接收天线连线之间的夹角；
其中，第三转换单元包括：
第二转换子单元，用于对回波信号进行慢时间维度的傅里叶变换，得到多普勒频率；
第二确定子单元，用于根据多普勒频率和回波信号的中心频率，确定目标对象的速度信息；
第三确定子单元，用于根据毫米波雷达的两个接收天线之间的相位角差、目标对象与两个接收天线之间的距离差确定目标夹角。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310391380.5A CN116106855B (zh) | 2023-04-13 | 2023-04-13 | 摔倒检测方法及摔倒检测装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310391380.5A CN116106855B (zh) | 2023-04-13 | 2023-04-13 | 摔倒检测方法及摔倒检测装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116106855A CN116106855A (zh) | 2023-05-12 |
| CN116106855B true CN116106855B (zh) | 2023-07-18 |
Family
ID=86264171
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310391380.5A Active CN116106855B (zh) | 2023-04-13 | 2023-04-13 | 摔倒检测方法及摔倒检测装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116106855B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116687394B (zh) * | 2023-08-04 | 2023-10-20 | 亿慧云智能科技（深圳）股份有限公司 | 基于毫米波雷达的摔倒检测方法、装置、设备及存储介质 |
| CN117368876B (zh) * | 2023-10-18 | 2024-03-29 | 广州易而达科技股份有限公司 | 一种人体检测方法、装置、设备及存储介质 |
| CN117636404B (zh) * | 2024-01-26 | 2024-04-16 | 贵州信邦富顿科技有限公司 | 基于非穿戴式设备的跌倒检测方法及系统 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022059955A1 (ko) * | 2020-09-15 | 2022-03-24 | (주)스마트레이더시스템 | 레이더 포인트 클라우드 기반 자세 판단 시스템 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102481883B1 (ko) * | 2017-09-27 | 2022-12-27 | 삼성전자주식회사 | 위험 상황을 감지하는 방법 및 장치 |
| CN109581361A (zh) * | 2018-11-22 | 2019-04-05 | 九牧厨卫股份有限公司 | 一种检测方法、检测装置、终端以及检测系统 |
| CN109394229A (zh) * | 2018-11-22 | 2019-03-01 | 九牧厨卫股份有限公司 | 一种跌倒检测方法、装置及系统 |
| CN110179471A (zh) * | 2019-05-30 | 2019-08-30 | 南方科技大学 | 摔倒检测方法、装置、设备和存储介质 |
| EP4081107A4 (en) * | 2019-12-23 | 2024-01-24 | Vayyar Imaging Ltd | FALL DETECTION SYSTEMS AND METHODS |
| CN111709277A (zh) * | 2020-04-29 | 2020-09-25 | 平安科技（深圳）有限公司 | 人体摔倒检测方法、装置、计算机设备和存储介质 |
| CN112396804A (zh) * | 2020-11-11 | 2021-02-23 | 湖南时变通讯科技有限公司 | 基于点云的数据处理方法、装置、设备及介质 |
| CN113920326A (zh) * | 2021-09-10 | 2022-01-11 | 浙江汉德瑞智能科技有限公司 | 基于人体骨骼关键点检测的摔倒行为识别方法 |
| CN113866751A (zh) * | 2021-10-15 | 2021-12-31 | 苏州米力特智能科技有限公司 | 基于毫米波雷达的老人行为监测系统和方法 |
| CN114296076A (zh) * | 2022-01-04 | 2022-04-08 | 长沙莫之比智能科技有限公司 | 一种基于毫米波雷达的室内跌倒检测方法和装置 |
| CN114720977B (zh) * | 2022-06-10 | 2022-09-20 | 长沙莫之比智能科技有限公司 | 对象跌倒检测方法、装置、毫米波雷达和存储介质 |
| CN114994663A (zh) * | 2022-06-21 | 2022-09-02 | 无锡威孚高科技集团股份有限公司 | 一种基于毫米波雷达的跌倒检测方法及系统 |
| CN115343684A (zh) * | 2022-08-12 | 2022-11-15 | 无锡博奥玛雅医学科技有限公司 | 一种基于毫米波雷达的跌倒检测方法及系统 |
| CN115345908B (zh) * | 2022-10-18 | 2023-03-07 | 四川启睿克科技有限公司 | 一种基于毫米波雷达的人体姿态识别方法 |
-
2023
- 2023-04-13 CN CN202310391380.5A patent/CN116106855B/zh active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022059955A1 (ko) * | 2020-09-15 | 2022-03-24 | (주)스마트레이더시스템 | 레이더 포인트 클라우드 기반 자세 판단 시스템 |
Non-Patent Citations (2)
| Title |
|---|
| Fall Detection System Based on Millimeter Wave Radar and Machine Learning;Jiye Liang 等;2022 6th International Conference on Robotics and Automation Sciences;全文 * |
| 基于激光雷达的老人跌倒检测及预警处理系统;左嘉成 等;《电子制作》;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116106855A (zh) | 2023-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116106855B (zh) | 摔倒检测方法及摔倒检测装置 | |
| Yu et al. | Noninvasive human activity recognition using millimeter-wave radar | |
| US10175348B2 (en) | Use of range-rate measurements in a fusion tracking system via projections | |
| US8704702B2 (en) | Method for estimating an object motion characteristic from a radar signal, a computer system and a computer program product | |
| US11506776B2 (en) | Method and device with improved radar resolution | |
| CN109917390A (zh) | 基于雷达的车辆检测方法和系统 | |
| CN113267773B (zh) | 一种基于毫米波雷达的室内人员准确检测和精确定位方法 | |
| JP2017156219A (ja) | 追尾装置、追尾方法およびプログラム | |
| US20220179062A1 (en) | Detection apparatus and method | |
| CN113963441A (zh) | 一种基于跨域增强的毫米波雷达手势识别方法及系统 | |
| JP2015175700A (ja) | 位置推定装置、位置推定方法およびプログラム | |
| Xie et al. | Lightweight midrange arm-gesture recognition system from MmWave radar point clouds | |
| JP7377494B2 (ja) | 属性の識別装置および識別方法 | |
| US20210405178A1 (en) | Tracking radar targets represented by multiple reflection points | |
| JP2022001864A (ja) | 移動オブジェクトを検出する方法、装置及び電子機器 | |
| CN113439274A (zh) | 身份识别方法、终端设备及计算机存储介质 | |
| Zhou et al. | Human body recognition based on the sparse point cloud data from MIMO millimeter-wave radar for smart home | |
| Zande | 3D Point Cloud Object Detection for Millimeter Wave Radar: a Synthesis Study | |
| JP2016114577A (ja) | 信号処理装置、信号処理方法及びプログラム | |
| JP2001083232A (ja) | 受動ターゲット位置決定装置 | |
| Chen et al. | A Safe-Distance Control Scheme to Avoid New Infection like Covid-19 Virus using Millimeter-Wave Radar | |
| Fet et al. | Enhancements to the locosmotion person tracking system | |
| Li et al. | Passive Multi-user Gait Identification through micro-Doppler Calibration using mmWave Radar | |
| Raimondi et al. | mmDetect: YOLO-based Processing of mm-Wave Radar Data for Detecting Moving People | |
| CN117687017A (zh) | 目标跟踪方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |