CN117471421B - 对象跌倒检测模型的训练方法及跌倒检测方法 - Google Patents
对象跌倒检测模型的训练方法及跌倒检测方法 Download PDFInfo
- Publication number
- CN117471421B CN117471421B CN202311790461.9A CN202311790461A CN117471421B CN 117471421 B CN117471421 B CN 117471421B CN 202311790461 A CN202311790461 A CN 202311790461A CN 117471421 B CN117471421 B CN 117471421B
- Authority
- CN
- China
- Prior art keywords
- signal quality
- model
- features
- fall detection
- signal set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 269
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000012549 training Methods 0.000 title claims abstract description 55
- 238000000605 extraction Methods 0.000 claims abstract description 104
- 238000012545 processing Methods 0.000 claims description 49
- 230000000873 masking effect Effects 0.000 claims description 31
- 230000006870 function Effects 0.000 abstract description 101
- 230000008447 perception Effects 0.000 abstract description 4
- 238000004590 computer program Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 14
- 230000015654 memory Effects 0.000 description 10
- 238000005457 optimization Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 238000013136 deep learning model Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000004806 packaging method and process Methods 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 238000013441 quality evaluation Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/411—Identification of targets based on measurements of radar reflectivity
- G01S7/412—Identification of targets based on measurements of radar reflectivity based on a comparison between measured values and known or stored values
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/886—Radar or analogous systems specially adapted for specific applications for alarm systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Networks & Wireless Communication (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明提供了一种对象跌倒检测模型的训练方法及跌倒检测方法,可以应用于智能感知领域。该方法包括:对用于对象跌倒检测的样本信号集进行第一层级信号质量特征提取,得到多个第一层级信号质量特征,其中,样本信号集表征在预设时间段收集的多个样本信号;将多个第一层级信号质量特征输入至信号质量特征提取子模型中,得到信号质量分数;将样本信号集输入至检测子模型中得到初始跌倒检测结果;基于初始跌倒检测结果、信号质量分数和与样本信号集对应的标签数据,得到目标损失函数值;基于目标损失函数值分别对信号质量特征提取子模型和检测子模型进行优化,得到经训练的对象跌倒检测模型。
Description
技术领域
本发明涉及智能感知领域,尤其涉及一种对象跌倒检测模型的训练方法及跌倒检测方法。
背景技术
由于无线信号在对象跌倒检测中具备的非接触、隐私规避等优势,采用无线信号的对象跌倒检测愈发流行,在基于无线信号的对象跌倒检测中,通常利用深度学习模型强大的非线性拟合能力,从复杂的无线信号中提取到与对象相关的信息并实现对象跌倒的监测。
在实际应用场景中,无线信号易受硬件和环境噪声的影响,使得无线信号不能清晰地甚至完全不能反映对象状态信息,最终表现为信号质量差。且信号质量差的无线信号将对于对象跌倒检测存在较大影响,对于信号质量差的无线信号进行的对象跌倒检测常导致深度学习模型产生不正确或者误导的检测结果。
发明内容
鉴于上述问题,本发明提供了一种对象跌倒检测模型的训练方法、跌倒检测方法以及上述方法的装置、设备、存储介质。
根据本发明的一个方面,提供了一种对象跌倒检测模型的训练方法,对象跌倒检测模型包括:信号质量特征提取子模型和检测子模型,上述方法包括:对用于对象跌倒检测的样本信号集进行第一层级信号质量特征提取,得到多个第一层级信号质量特征,其中,样本信号集表征在预设时间段收集的多个样本信号;
将多个第一层级信号质量特征输入至信号质量特征提取子模型中,得到信号质量分数;将样本信号集输入至检测子模型中得到初始跌倒检测结果;
基于初始跌倒检测结果、信号质量分数和与样本信号集对应的标签数据,得到目标损失函数值;
基于目标损失函数值分别对信号质量特征提取子模型和检测子模型进行优化,得到经训练的对象跌倒检测模型。
根据本发明的实施例,对用于对象跌倒检测的样本信号集进行第一层级信号质量特征提取,得到多个第一层级信号质量特征,包括:对样本信号集进行第一层级信号质量特征提取,得到样本信号集在多个维度各自的初始信号质量特征;对样本信号集在多个维度各自的初始信号质量特征分别进行掩码处理,得到多个第一层级信号质量特征。
根据本发明的实施例,初始信号质量特征包括:样本信号集的频域特征、多普勒域特征以及空域特征;其中,对样本信号集进行第一层级信号质量特征提取,得到样本信号集在多个维度各自的初始信号质量特征,包括:对样本信号集在快时间维度进行傅里叶变换,得到样本信号集的频域特征;对频域特征在慢时间维度进行傅里叶变换,得到样本信号集的多普勒域特征;对多普勒域特征在天线维度进行傅里叶变换,得到样本信号集的空域特征。
根据本发明的实施例,信号质量特征提取子模型包括:深度特征提取层和全连接层;第一层级信号质量特征包括:掩码处理后的频域特征、掩码处理后的多普勒域特征以及掩码处理后的空域特征,将多个第一层级信号质量特征输入至信号质量特征提取子模型中,得到信号质量分数,包括:将掩码处理后的频域特征、掩码处理后的多普勒域特征以及掩码处理后的空域特征分别输入至各自对应的深度特征提取层中,得到多个第二层级信号质量特征;将多个第二层级信号质量特征输入至全连接层,得到信号质量分数。
根据本发明的实施例,将多个第二层级信号质量特征输入至全连接层,得到信号质量分数,通过以下公式(1)得到:
;(1)
其中,X f ,X d ,X s 分别为与掩码处理后的频域特征对应的第二层级信号质量特征,与掩码处理后的多普勒域特征对应的第二层级信号质量特征以及与掩码处理后的空域特征对应的第二层级信号质量特征,E f ,E d ,E s 分别为与掩码处理后的频域特征、掩码处理后的多普勒域特征和掩码处理后的空域特征对应的深度特征提取层,FC表示全连接层,q为样本信号集的信号质量分数。
根据本发明的实施例,基于初始跌倒检测结果、信号质量分数和与样本信号集对应的标签数据,得到目标损失函数值,包括:基于初始跌倒检测结果、信号质量分数和与样本信号集对应的标签数据,得到目标跌倒检测结果;基于目标跌倒检测结果和信号质量分数,得到目标损失函数值。
根据本发明的实施例,基于初始跌倒检测结果、信号质量分数和标签数据,得到目标跌倒检测结果,通过以下公式(2)得到:
;(2)
其中,y为标签数据,p为初始跌倒检测结果,为目标跌倒检测结果。
根据本发明的实施例,基于目标跌倒检测结果和信号质量分数,得到目标损失函数值,包括:基于目标跌倒检测结果和标签数据,得到第一中间损失函数;基于信号质量分数,得到第二中间损失函数;基于第一中间损失函数和第二中间损失函数,得到目标损失函数值。
根据本发明的实施例,基于目标损失函数值分别对信号质量特征提取子模型和检测子模型进行优化,得到经训练的对象跌倒检测模型,包括:基于目标损失函数值对检测子模型进行参数调整,得到经训练的检测子模型;基于目标损失函数值对信号质量特征提取子模型进行参数调整,得到经训练的信号质量特征提取子模型;基于经训练的检测子模型和经训练的信号质量特征提取子模型,得到经训练的对象跌倒检测模型。
本发明的另一个方面提供了一种对象跌倒检测方法,包括:
接收从目标对象反射的预设时间段的多个毫米波,得到毫米波雷达回波信号集;
对毫米波雷达回波信号集进行第一层级信号质量特征提取,得到毫米波雷达回波信号集的多个第一层级信号质量特征;
将毫米波雷达回波信号集的多个第一层级信号质量特征输入至经对象跌倒检测模型的训练方法训练得到的信号质量特征提取子模型中,得到毫米波雷达回波信号集的信号质量分数;
将毫米波雷达回波信号集的信号质量分数与质量分数阈值进行比对,得到比对结果;
在比对结果表征毫米波雷达回波信号集的信号质量分数大于质量分数阈值的情况下,将毫米波雷达回波信号集输入至经对象跌倒检测模型的训练方法训练得到的检测子模型中输出针对毫米波雷达回波信号集的跌倒检测结果。
本发明的另一个方面提供了一种对象跌倒检测模型的训练装置,对象跌倒检测模型包括:信号质量特征提取子模型和检测子模型,上述装置包括:
特征确定模块,用于对用于对象跌倒检测的样本信号集进行第一层级信号质量特征提取,得到多个第一层级信号质量特征,其中,样本信号集表征在预设时间段收集的多个样本信号;
信号质量分数确定模块,用于将多个第一层级信号质量特征输入至信号质量特征提取子模型中,得到信号质量分数;
初始检测结果确定模块,用于将样本信号集输入至检测子模型中得到初始跌倒检测结果;
损失函数值确定模块,用于基于初始跌倒检测结果、信号质量分数和与样本信号集对应的标签数据,得到目标损失函数值;
模型优化模块,用于基于目标损失函数值分别对信号质量特征提取子模型和检测子模型进行优化,得到经训练的对象跌倒检测模型。
本发明的另一个方面提供了一种对象跌倒检测装置,包括:
信息集获取模块,用于接收从目标对象反射的预设时间段的多个毫米波,得到毫米波雷达回波信号集;
特征提取模块,用于对毫米波雷达回波信号集进行第一层级信号质量特征提取,得到毫米波雷达回波信号集的多个第一层级信号质量特征;
信号集输入模块,用于将毫米波雷达回波信号集的多个第一层级信号质量特征输入至经对象跌倒检测模型的训练方法训练得到的信号质量特征提取子模型中,得到毫米波雷达回波信号集的信号质量分数;
比对模块,用于将毫米波雷达回波信号集的信号质量分数与质量分数阈值进行比对,得到比对结果;
检测结果确定模块,用于在比对结果表征毫米波雷达回波信号集的信号质量分数大于质量分数阈值的情况下,将毫米波雷达回波信号集输入至经对象跌倒检测模型的训练方法训练得到的检测子模型中输出针对毫米波雷达回波信号集的跌倒检测结果。
本发明的另一个方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得一个或多个处理器执行上述方法。
本发明的另一个方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述方法。
本发明的另一个方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述方法。
根据本发明提供的对象跌倒检测模型的训练方法,通过对样本信号集进行第一层级信号质量特征提取,得到多个第一层级信号质量特征,并将多个第一层级信号质量特征分别输入至各自对应的信号特征提取子模型中,得到信号质量分数,以及将样本信号集输入至检测子模型中得到初始跌倒检测结果,再利用初始跌倒检测结果、信号质量分数和样本数据对应的标签数据,得到目标损失函数值,利用目标损失函数值对对象跌倒检测模型包括的信号质量特征提取子模型和检测子模型信号分别进行优化,以实现对象跌倒检测模型的优化。由于通过第一层级信号质量特征提取以及信号特征提取子模型得到信号质量分数,以实现对样本信号集的信号质量评估,并利用信号质量分数对目标损失函数值进行影响,使得经过目标损失函数值优化的对象跌倒检测模型,可以减小低质量样本对检测结果的影响,因此,至少部分的解决了相关技术中信号质量差的信号对跌倒检测结果影响较大的问题,实现了提高对象跌倒检测准确率以及对象跌倒检测模型鲁棒性的技术效果。
附图说明
通过以下参照附图对本发明实施例的描述,本发明的上述内容以及其他目的、特征和优点将更为清楚,在附图中:
图1示出了根据本发明实施例的对象跌倒检测模型的训练方法及对象跌倒检测方法的应用场景图。
图2示出了根据本发明实施例的对象跌倒检测模型的训练方法的流程图。
图3示出了根据本发明实施例的确定信号质量分数流程图。
图4示出了根据本发明实施例的对象跌倒检测方法的流程图。
图5示出了根据本发明实施例的对象跌倒检测模型的效果图。
图6示出了根据本发明实施例的信号质量分数阈值与F1分数的关系图。
图7示出了根据本发明实施例的信号质量分数阈值与对象跌倒检测子模型检测准确率的关系图。
图8示出了根据本发明实施例的低质量信号和高质量信号的对比图。
图9示出了根据本发明实施例的对象跌倒检测模型的训练装置的结构框图。
图10示出了根据本发明实施例的对象跌倒检测装置的结构框图。
图11示出了根据本发明实施例的适于实现对象跌倒检测模型的训练方法及对象跌倒检测方法的电子设备的方框图。
具体实施方式
以下,将参照附图来描述本发明的实施例。但是应该理解,这些描述只是示例性的,而并非要限制本发明的范围。在下面的详细描述中,为便于解释,阐述了许多具体的细节以提供对本发明实施例的全面理解。然而,明显地,一个或多个实施例在没有这些具体细节的情况下也可以被实施。此外,在以下说明中,省略了对公知结构和技术的描述,以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例,而并非意在限制本发明。在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在,但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义,除非另外定义。应注意,这里使用的术语应解释为具有与本说明书的上下文相一致的含义,而不应以理想化或过于刻板的方式来解释。
在使用类似于“A、B和C等中至少一个”这样的表述的情况下,一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如,“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。
在本发明的技术方案中,所涉及的用户信息(包括但不限于用户个人信息、用户状态信息、用户设备信息,例如位置信息等)和数据(包括但不限于用于分析的数据、存储的数据、毫米波雷达回波信号等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、存储、使用、加工、传输、提供、公开和应用等处理,均遵守相关国家和地区的相关法律法规和标准,采取了必要保密措施,不违背公序良俗,并提供有相应的操作入口,供用户选择授权或者拒绝。
在研究过程中发现,基于无线信号的对象跌倒检测是一项重要的健康监测手段,无线信号具有非接触,隐私规避等优势。在无线感知中,由于深度学习强大的非线性拟合能力,使得研究人员可以从复杂的无线回波信号中提取到与对象相关的信息并实现对对象跌倒的监测,因此深度学习技术在对象跌倒感知中备受瞩目。
无线信号易受硬件和环境噪声的影响,该特性使得无线信号中包含的与对象相关的信息可能会被噪声模糊或完全覆盖,从而导致无线信号不能清晰地甚至完全不能反映对象状态信息,最终表现为信号质量差。特别地,即使在人为控制的数据采集环境内,仍然会有来自硬件和环境的噪声导致信号质量变差,导致采集到的数据不可信。
而低质量信号对于对象跌倒检测中的深度学习方法有两方面的影响。在训练阶段,低质量信号包含很少或不包含对象状态信息,最终会导致深度学习模型性能不佳。另外在实际部署过程中,低质量信号会导致深度学习模型产生不正确甚至误导的结果,例如:对象跌倒监测中误报和漏报等情况,这是健康监测领域中的重要关注点,需要最大程度地避免这些情况的发生。因此,评估信号质量并制定针对低质量信号的策略是对象跌倒感知中的一个重要问题,然而现有方法很少有针对对象跌倒感知设计实现信号质量的评估方案。
评估信号质量主要面临两大挑战。首先,与音频和视觉等常见传感方式不同,无线信号质量无法被人类直接感知,这导致人为标注无线信号质量变得及其困难,因此不能直接使用监督学习的方式评估信号质量。其次,由于无线信号的复杂传播和硬件带来的噪声,无线信号的分布偏移是广泛存在并且是复杂多变的,因此无线信号质量统计建模的方法在准确表征由噪声引起的丰富的变化方面存在困难。
有鉴于此,本发明的实施例提供了一种对象跌倒检测模型的训练方法,对象跌倒检测模型包括:信号质量特征提取子模型和检测子模型,方法包括:对用于对象跌倒检测的样本信号集进行第一层级信号质量特征提取,得到多个第一层级信号质量特征,其中,样本信号集表征在预设时间段收集的多个样本信号;将多个第一层级信号质量特征输入至信号质量特征提取子模型中,得到信号质量分数;将样本信号集输入至检测子模型中得到初始跌倒检测结果;基于初始跌倒检测结果、信号质量分数和与样本信号集对应的标签数据,得到目标损失函数值;基于目标损失函数值分别对信号质量特征提取子模型和检测子模型进行优化,得到经训练的对象跌倒检测模型。
图1示出了根据本发明实施例的对象跌倒检测模型的训练方法及对象跌倒检测方法的应用场景图。
如图1所示,根据该实施例的应用场景100可以包括第一终端设备101、第二终端设备102、第三终端设备103、网络104以及服务器105。网络104用以在第一终端设备101、第二终端设备102、第三终端设备103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用第一终端设备101、第二终端设备102、第三终端设备103中的至少一个通过网络104与服务器105交互,以接收或发送消息等。第一终端设备101、第二终端设备102、第三终端设备103上可以安装有各种通讯客户端应用,例如购物类应用、网页浏览器应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等(仅为示例)。
第一终端设备101、第二终端设备102、第三终端设备103可以是具有显示屏并且支持网页浏览的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器,例如对用户利用第一终端设备101、第二终端设备102、第三终端设备103所浏览的网站提供支持的后台管理服务器(仅为示例)。后台管理服务器可以对接收到的用户请求等数据进行分析等处理,并将处理结果(例如根据用户请求获取或生成的网页、信息、或数据等)反馈给终端设备。
需要说明的是,本发明实施例所提供的对象跌倒检测模型的训练方法及对象跌倒检测方法一般可以由服务器105执行。相应地,本发明实施例所提供的对象跌倒检测模型的训练装置及对象跌倒检测装置一般可以设置于服务器105中。本发明实施例所提供的对象跌倒检测模型的训练方法及对象跌倒检测方法也可以由不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群执行。相应地,本发明实施例所提供的对象跌倒检测模型的训练装置及对象跌倒检测装置也可以设置于不同于服务器105且能够与第一终端设备101、第二终端设备102、第三终端设备103和/或服务器105通信的服务器或服务器集群中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
以下将基于图1描述的场景,通过图2~图8对发明实施例的对象跌倒检测模型的训练方法及对象跌倒检测方法进行详细描述。
图2示出了根据本发明实施例的对象跌倒检测模型的训练方法的流程图。
如图2所示,对象跌倒检测模型包括:信号质量特征提取子模型和检测子模型,该方法包括操作S210~操作S250。
在操作S210,对用于对象跌倒检测的样本信号集进行第一层级信号质量特征提取,得到多个第一层级信号质量特征,其中,样本信号集表征在预设时间段收集的多个样本信号。
在操作S220,将多个第一层级信号质量特征输入至信号质量特征提取子模型中,得到信号质量分数。
在操作S230,将样本信号集输入至检测子模型中得到初始跌倒检测结果。
在操作S240,基于初始跌倒检测结果、信号质量分数和与样本信号集对应的标签数据,得到目标损失函数值。
在操作S250,基于目标损失函数值分别对信号质量特征提取子模型和检测子模型进行优化,得到经训练的对象跌倒检测模型。
根据本发明的实施例,样本信号集包括:对同一对象的不同时刻采集的多个信号,其中,不同时刻可以为连续的时刻。
根据本发明的实施例,样本信息集中的信号可以为无线信号,对于无线信号的类别不进行限定,可以为毫米波雷达回波信号。
根据本发明的实施例,基于每个样本信号可以确定对象在某一个时刻的状态信息,基于样本信号集可以确定对象在一段时间内对象状态信息。
根据本发明的实施例,对于对象不进行限定,对象可以包括人、动物等。
根据本发明的实施例,第一层级信号质量特征可以为从频域、多普勒域、空域三个维度上的信号质量特征。
根据本发明的实施例,通过对样本信号集进行第一层级的信号质量特征提取和掩码处理,得到多个第一层级信号质量特征,可以从多角度对样本信号集进行信号质量特征提取,从而对信号质量特征进行更准确的提取。
根据本发明的实施例,通过将多个第一层级信号质量特征输入至深度特征提取层可以实现对第一层级信号质量特征即较低层级特征进行更深层次的特征提取,得到多个第二层级信号质量特征,即得到多个能够表征信号质量特征的深度特征,再对多个深度特征进行融合,从而得到信号质量分数。
根据本发明的实施例,通过对多个第一层级信号质量特征进行更深层次的特征提取,并将得到的深度特征进行融合,得到信号质量分数,可以更准确且全面的获取到能够表征信号质量的特征。并且,通过提取信号质量特征获取信号质量分数可以解决现有技术中难以对于信号质量进行评估的技术问题。
根据本发明的实施例,初始跌倒检测结果可以包括与样本信号集对应的对象的跌倒概率。
根据本发明的实施例,对于检测子模型不进行限定,可以为任何能够进行跌倒检测的模型,例如:可以为深度学习模型,具体地,可以如卷积神经网络、循环神经网络等。
根据本发明的实施例,为加快训练效率,可以在对样本信号集进行第一层级信号质量特征提取的同时,将样本信号输入至检测子模型中,以使得确定信号质量分数的同时,也能够确定初始跌倒检测结果。
根据本发明的实施例,将样本信号集输入至检测子模型中得到初始跌倒检测结果,以使得后续基于初始跌倒检测结果进行检测子模型的优化。
根据本发明的实施例,标签数据可以为与样本信号集对应的对象是否跌倒。
根据本发明的实施例,通过初始跌倒检测结果、信号质量分数以及与样本信号集对应的标签数据,可以确定与初始跌倒检测结果和标签数据相关的损失函数值以及与信号质量分数相关的损失函数,并基于该损失函数值和损失函数得到目标损失函数值。
根据本发明的实施例,通过将信号质量分数也代入到对象跌倒检测模型的目标损失函数值求解中,通过利用该目标损失函数值对对象跌倒检测模型不断的调整优化,使得对象跌倒检测模型对于低质量信号的检测也更加偏向于对象真实状态,从而提高模型检测效率。
根据本发明的实施例,可以基于目标损失函数值分别对信号质量特征提取子模型和检测子模型进行参数调整,通过多次迭代的参数调整过程,得到经训练的信号质量特征提取子模型和经训练的检测子模型,从而得到经训练的对象跌倒检测模型。
根据本发明的实施例,由于对于信号质量特征提取子模型和检测子模型的优化中采用的损失函数值为拟合了信号质量分数的目标损失函数值,因此,基于该目标损失函数值训练得到的检测子模型可以在对无线信号的识别中,降低信号质量分数低的信号对于任务网络的影响。
根据本发明的实施例,通过对样本信号集进行第一层级信号质量特征提取,得到多个第一层级信号质量特征,并将多个第一层级信号质量特征分别输入至各自对应的信号特征提取子模型中,得到信号质量分数,以及将样本信号集输入至检测子模型中得到初始跌倒检测结果,再利用初始跌倒检测结果、信号质量分数和样本数据对应的标签数据,得到目标损失函数值,利用目标损失函数值对对象跌倒检测模型包括的信号质量特征提取子模型和检测子模型信号分别进行优化,以实现对象跌倒检测模型的优化。由于通过第一层级信号质量特征提取以及信号特征提取子模型得到信号质量分数,以实现对样本信号集的信号质量评估,并利用信号质量分数影响目标损失函数值,使得经过目标损失函数值优化的对象跌倒检测模型,可以减小低质量样本对检测结果的影响,因此,至少部分的解决了相关技术中信号质量差的信号对跌倒检测结果影响较大的问题,实现了提高对象跌倒检测准确率以及对象跌倒检测模型鲁棒性的技术效果。
根据本发明的实施例,对用于对象跌倒检测的样本信号集进行第一层级信号质量特征提取,得到多个第一层级信号质量特征,包括:对样本信号集进行第一层级信号质量特征提取,得到样本信号集在多个维度各自的初始信号质量特征;对样本信号集在多个维度各自的初始信号质量特征分别进行掩码处理,得到多个第一层级信号质量特征。
根据本发明的实施例,对样本信号集进行第一层级信号质量特征提取,可以为在多个维度上对样本信号集进行提取,对于多个维度不做具体限定,例如可以为:快时间维度即距离域、慢时间维度即速度域以及天线维度即角度域。
根据本发明的实施例,初始信号质量特征可以为频域特征、多普勒域特征和空域特征。
根据本发明的实施例,由于样本信号集中可能包括有多个样本信号,因此,样本信号集在各个维度的初始信号质量特征可能也为多个初始信号质量特征,每个初始信号质量特征与样本信号可以存在一一对应的关系。
根据本发明的实施例,对于掩码处理的采用的具体方式不进行限定,可以为随机掩码(mask)处理,即随机在每个维度取预设比例的初始信号质量特征置0。
根据本发明的实施例,对于预设比例不进行限定,可以为10%。
根据本发明的实施例,进行掩码处理后的样本信号集的初始信号质量特征为该样本信号集的第一层级信号质量特征,样本信号集的第一层级信号质量特征例如为:掩码处理后的频域特征、掩码处理后的的样本信号集的样本信号集的空域特征等。
根据本发明的实施例,对于提取到的多个维度各自的初始信号质量特征,考虑到信号质量在特征层面上的影响是广泛分布的,而非是点或小区域型的,因此,在提取到的多个维度的初始信号质量特征上都做了掩码处理,可以使得信号质量特征提取子模型更加关注于各个维度的初始信号质量特征中与信号质量息息相关的全局特征,而非局部特征,从而进一步增加了信息质量分数的准确性。
根据本发明的实施例,初始信号质量特征包括:样本信号集的频域特征、多普勒域特征以及空域特征,对样本信号集进行第一层级信号质量特征提取,得到样本信号集在多个维度各自的初始信号质量特征,可以包括以下操作。
对样本信号集在快时间维度进行傅里叶变换,得到样本信号集的频域特征;对频域特征在慢时间维度进行傅里叶变换,得到样本信号集的多普勒域特征;对多普勒域特征在天线维度进行傅里叶变换,得到样本信号集的空域特征。
根据本发明的实施例,通过对样本信号集中的各个样本信号在快时间维度进行快速傅里叶变换(Fast Fourier Transform,FFT),由于样本信号集中包括有多个不同时刻的样本信号,因此,得到与多个不同时刻的样本信号各自对应的频域特征,在时间上累积形成该样本信号集的频域特征。
根据本发明的实施例,通过对样本信号集中各个样本信号的频域特征在慢时间维度上分别做快速傅里叶变换,从而得到与各个样本信号的频域特征分别对应的多普勒域特征,在时间上累积形成该样本信号集的多普勒域特征。
根据本发明的实施例,通过对上述多个多普勒域特征在天线维度上做快速傅里叶变换,从而得到与各个多普勒域特征各自对应的空域特征,在时间上累积形成该样本信号集的空域特征。
根据本发明的实施例,对样本信号集的频域特征进行掩码处理可以得到掩码处理后的频域特征;对样本信号集的多普勒域特征进行掩码处理可以得到掩码处理后的多普勒域特征;对样本信号集的空域特征进行掩码处理可以得到掩码处理后的空域特征。
根据本发明的实施例,通过在慢时间维度、快时间维度以及天线维度分别进行傅里叶变换,实现从频域、多普勒域以及空域三个维度的信号特征来表征样本信号集的初始信号质量特征,从而实现了采用多维度刻画样本信号集的信号特征,多个维度互为补充,更全面且更准确的得到能够表征信号质量的信号特征。
图3示出了根据本发明实施例的确定信号质量分数流程图。
如图3所示,信号质量特征提取子模型包括:深度特征提取层和全连接层;第一层级信号质量特征包括:掩码处理后的频域特征、掩码处理后的多普勒域特征以及掩码处理后的空域特征;确定信号质量分数流程包括操作S310~操作S320。
在操作S310,将掩码处理后的频域特征、掩码处理后的多普勒域特征以及掩码处理后的空域特征分别输入至各自对应的深度特征提取层中,得到多个第二层级信号质量特征。
在操作S320,将多个第二层级信号质量特征输入至全连接层,得到信号质量分数。
根据本发明的实施例,对于深度特征提取层不进行限定,可以为任意能够对第一层级信号质量特征进行更深层次提取的模型,例如:深度学习模型,更具体地,可以如卷积神经网络。
根据本发明的实施例,对于频域特征、多普勒域特征以及空域特征分别构建有各自对应的深度特征提取层。
根据本发明的实施例,由于样本信号集中包括的每个样本信号分别具备各自的频域特征、多普勒域特征以及空域特征,因此,将样本信号集的掩码处理后的频域特征、多普勒域特征以及空域特征,分别输入至各自对应的深度特征提取层中,可以得到与样本信号集中的每个样本信号分别对应的多个第二层级信号质量特征,进而得到该样本信号集的多个第二层级信号质量特征。
根据本发明的实施例,样本信号集的多个第二层级信号质量特征分别包括与样本信号集的频域特征对应的第二层级信号质量特征、与样本信号集的多普勒域特征对应的第二层级信号质量特征以及与样本信号集的空域特征对应的第二层级信号质量特征。
根据本发明的实施例,在通过与掩码处理后频域特征、掩码处理后多普勒域特征以及掩码处理后空域特征各自对应的深度特征提取层进行深度特征提取后,得到与掩码处理后频域特征、掩码处理后多普勒域特征以及掩码处理后空域特征各自对应第二层级信号质量特征,即深度特征,将与掩码处理后频域特征、掩码处理后多普勒域特征以及掩码处理后空域特征各自对应第二层级信号质量特征输入至全连接层可以完成信号质量分数的映射。
根据本发明的实施例,全连接层可以为全连接神经网络。
根据本发明的实施例,将多个第二层级信号质量特征输入至全连接层,得到信号质量分数,通过以下公式(1)得到:
;(1)
其中,X f ,X d ,X s 分别为与掩码处理后的频域特征对应的第二层级信号质量特征,与掩码处理后的多普勒域特征对应的第二层级信号质量特征以及与掩码处理后的空域特征对应的第二层级信号质量特征,E f ,E d ,E s 分别为与掩码处理后的频域特征、掩码处理后的多普勒域特征和掩码处理后的空域特征对应的深度特征提取层,FC表示全连接层,q为样本信号集的信号质量分数。
根据本发明的实施例,在对样本信号集进行第一层级信号质量特征提取后,再将得到的多个第一层级信号质量特征输入至各自对应的深度特征提取层中,可以实现对于表征样本信号集的信号质量特征进行多个维度多个层次的提取,从而更准确的确定信号质量特征。同时,利用全连接层将多个维度的深层特征进行融合并映射为信号质量分数,可以实现更准确的对样本信号集的信号质量分数进行估测。
根据本发明的实施例,基于初始跌倒检测结果、信号质量分数和与样本信号集对应的标签数据,得到目标损失函数值,可以包括以下操作。
基于初始跌倒检测结果、信号质量分数和与样本信号集对应的标签数据,得到目标跌倒检测结果;基于目标跌倒检测结果和信号质量分数,得到目标损失函数值。
根据本发明的实施例,由于检测子模型对于低质量的样本应当不给予信任,因此,可以通过添加一定比例的真实标签,来使得任务网络在低质量信号的输出上更加偏向真实值,即可以体现为需要添加的真实标签的比例越高,无线信号的质量就越低,因此,基于上述思想,可以得到目标跌倒检测结果如以下公式(2)所示。
根据本发明的实施例,基于初始跌倒检测结果、信号质量分数和标签数据,得到目标跌倒检测结果,通过以下公式(2)得到:
;(2)
其中,y为标签数据,p为初始跌倒检测结果,为目标跌倒检测结果。
根据本发明的实施例,基于目标跌倒检测结果和信号质量分数,得到目标损失函数值,可以包括以下操作。
基于目标跌倒检测结果和标签数据,得到第一中间损失函数;基于信号质量分数,得到第二中间损失函数;基于第一中间损失函数和第二中间损失函数,得到目标损失函数值。
根据本发明的实施例,基于目标跌倒检测结果和标签数据,能够得到第一中间损失函数,以及利用信号质量分数得到第二中间损失函数,并基于第一中间损失函数和第二中间损失函数来得到目标损失函数值,其公式可以为以下公式(3)所示。
;(3)
其中,为目标损失函数值,/>为第一中间损失函数,/>为第二中间损失函数,/>为控制第一中间损失函数和第二中间损失函数的超参数。
根据本发明的实施例,通过加入第二中间损失函数可以防止信号质量分数趋近于0。
根据本发明的实施例,对于第一中间损失函数和第二中间损失函数的具体类型不进行限定,可以为任意进行损失函数求解的方式,例如:范数损失、均方差损失等。
根据本发明的实施例,基于目标损失函数值分别对信号质量特征提取子模型和检测子模型进行优化,得到经训练的对象跌倒检测模型,可以包括以下操作。
基于目标损失函数值对检测子模型进行参数调整,得到经训练的检测子模型;基于目标损失函数值对信号质量特征提取子模型进行参数调整,得到经训练的信号质量特征提取子模型;基于经训练的检测子模型和经训练的信号质量特征提取子模型,得到经训练的对象跌倒检测模型。
根据本发明的实施例,可以先利用目标损失函数值对检测子模型进行参数调整,再对信号质量特征提取子模型进行参数调整。同样地,也可以利用目标损失函数值对检测子模型和信号质量特征提取子模型同时进行参数调整。
根据本发明的实施例,通过利用目标损失函数对检测子模型和信号质量特征提取子模型进行不断的更新,可以使得检测子模型和信号质量特征提取子模型逐渐达到更优。
根据本发明的实施例,通过利用目标损失函数对检测子模型和信号质量特征提取子模型进行参数调整,可以使得经训练的检测子模型更好的避免低质量信号对于任务网络的影响,同时可以得到更精确的信号质量分数。
图4示出了根据本发明实施例的对象跌倒检测方法的流程图。
如图4所示,该方法包括操作S410~操作S450。
在操作S410,接收从目标对象反射的预设时间段的多个毫米波,得到毫米波雷达回波信号集。
在操作S420,对毫米波雷达回波信号集进行第一层级信号质量特征提取,得到毫米波雷达回波信号集的多个第一层级信号质量特征。
在操作S430,将毫米波雷达回波信号集的多个第一层级信号质量特征输入至经对象跌倒检测模型的训练方法训练得到的信号质量特征提取子模型中,得到毫米波雷达回波信号集的信号质量分数。
在操作S440,将毫米波雷达回波信号集的信号质量分数与质量分数阈值进行比对,得到比对结果。
在操作S450,在比对结果表征毫米波雷达回波信号集的信号质量分数大于质量分数阈值的情况下,将毫米波雷达回波信号集输入至经对象跌倒检测模型的训练方法训练得到的检测子模型中输出针对毫米波雷达回波信号集的跌倒检测结果。
根据本发明的实施例,在比对结果表征毫米波雷达回波信号集的信号质量分数小于等于质量分数阈值的情况下,拒绝毫米波雷达回波信号集。
根据本发明的实施例,毫米波雷达回波信号集可以包括:接收到的目标对象对于毫米波雷达的多个回波信号,其中,该多个回波信号可以为在预设时间段连续接收到的多个回波信号。
根据本发明的实施例,对于质量分数阈值不进行限定,可以根据实际情况设置不同的质量分数阈值。
根据本发明的实施例,在比对结果表征毫米波雷达回波信号集的信号质量分数小于等于质量分数阈值的情况下,可以不将毫米波雷达回波信号集输入至检测子模型中,而是重新接收针对该目标对象的毫米波雷达回波信号集。
根据本发明的实施例,在接收针对该目标对象的毫米波雷达回波信号集之前,皆为向该目标对象发送信号接收请求,并得到该目标对象授权后进行的接收。
根据本发明的实施例,由于信号质量分数小于等于质量分数阈值的毫米波雷达回波信号集,仅包含少量的或者并不包含对象状态信息,因此,舍弃该毫米波雷达回波信号集,可以避免对于对象状态信息的误测。
图5示出了根据本发明实施例的对象跌倒检测模型的效果图。
根据本发明的实施例,图5示出了基于上述对象跌倒检测模型的训练方法的训练得到的对象跌倒检测模型即对于信号具有质量评估的对象跌倒检测模型,以及基于原始训练方法训练得到的对象跌倒检测模型即对于信号未经质量评估的对象跌倒检测模型在准确率、精度、召回率以及F1分数四个方面的比对柱状图。
根据本发明的实施例,F1分数为准确率和召回率的调和平均数。
根据本发明的实施例,由图5可知,具有信号质量分数评估的对象跌倒检测模型在准确率、精度、召回率以及F1分数等方面皆优于未经信号质量分数评估的对象跌倒检测模型。
图6示出了根据本发明实施例的信号质量分数阈值与F1分数的关系图;图7示出了根据本发明实施例的信号质量分数阈值与对象跌倒检测子模型检测准确率的关系图。
根据本发明的实施例,由图6可知,质量分数阈值越高对象跌倒检测模型的F1分数越高。
根据本发明的实施例,由图 7可知,信号质量分数阈值越高对象跌倒检测模型的准确率越高,且在信号质量分数阈值达到0.04时,上升趋势逐渐平缓。
图8示出了根据本发明实施例的低质量信号和高质量信号的对比图。
根据本发明的实施例,通过从频域、多普勒域、空域三个为维度提取信号得到三个维度的信号质量特征,并从提取到的三个维度的信号质量特征出发确定信号质量分数,基于信号质量分数来确定信号为高质量信号还是低质量信号,可以通过质量分数阈值进行高质量信号和低质量信号的区别,例如:信号的信号质量分数大于质量分数阈值的可以为高质量信号,信号的信号质量分数小于等于质量分数阈值的可以为低质量信号,也可以采用其他方式进行高质量信号和低质量信号的区分。
根据本发明的实施例,由图8可以更直观的确定利用上述三个维度确定的信号质量特征可以更好的表征信号质量,通过从频域、空域即分别为从距离和角度的方向来对信号质量特征进行表示,并通过时间来表征下一时刻的信号质量特征。可以明显地看出,高质量信号即信号质量分数高的信号噪声较少,而低质量信号即信号质量分数低的信号噪声较多,难以进行识别。
基于上述对象跌倒检测模型的训练方法及对象跌倒检测方法,本发明还提供了一种对象跌倒检测模型的训练装置及对象跌倒检测装置。以下将结合图9和图10对进行详细描述。
图9示出了根据本发明实施例的对象跌倒检测模型的训练装置的结构框图。
如图9所示,该实施例的对象跌倒检测模型的训练装置900包括特征确定模块910、信号质量分数确定模块920、初始检测结果确定模块930、损失函数值确定模块940以及模型优化模块950。
特征确定模块910,用于对用于对象跌倒检测的样本信号集进行第一层级信号质量特征提取,得到多个第一层级信号质量特征,其中,样本信号集表征在预设时间段收集的多个样本信号。
信号质量分数确定模块920,用于将多个第一层级信号质量特征输入至信号质量特征提取子模型中,得到信号质量分数。
初始检测结果确定模块930,用于将样本信号集输入至检测子模型中得到初始跌倒检测结果。
损失函数值确定模块940,用于基于初始跌倒检测结果、信号质量分数和与样本信号集对应的标签数据,得到目标损失函数值。
模型优化模块950,用于基于目标损失函数值分别对信号质量特征提取子模型和检测子模型进行优化,得到经训练的对象跌倒检测模型。
根据本发明的实施例,特征确定模块910包括:初始特征确定子模块和掩码处理子模块。
初始特征确定子模块,用于对样本信号集进行第一层级信号质量特征提取,得到样本信号集在多个维度各自的初始信号质量特征。
掩码处理子模块,用于对样本信号集在多个维度各自的初始信号质量特征分别进行掩码处理,得到多个第一层级信号质量特征。
根据本发明的实施例,初始信号质量特征包括:样本信号集的频域特征、多普勒域特征以及空域特征。初始特征确定子模块包括:频域特征提取单元、多普勒域特征特征提取单元以及空域特征提取单元。
频域特征提取单元,用于对样本信号集在快时间维度进行傅里叶变换,得到样本信号集的频域特征。
多普勒域特征特征提取单元,用于对频域特征在慢时间维度进行傅里叶变换,得到样本信号集的多普勒域特征。
空域特征提取单元,用于对多普勒域特征在天线维度进行傅里叶变换,得到样本信号集的空域特征。
根据本发明的实施例,信号质量特征提取子模型包括:深度特征提取层和全连接层;第一层级信号质量特征包括:掩码处理后的频域特征、掩码处理后的多普勒域特征以及掩码处理后的空域特征;信号质量分数确定模块920包括:第二层级信号特征提取子模块和信号质量分数确定子模块。
第二层级信号特征提取子模块,用于将掩码处理后的频域特征、掩码处理后的多普勒域特征以及掩码处理后的空域特征分别输入至各自对应的深度特征提取层中,得到多个第二层级信号质量特征。
信号质量分数确定子模块,用于将多个第二层级信号质量特征输入至全连接层,得到信号质量分数。
根据本发明的实施例,损失函数值确定模块940包括:目标跌倒检测结果确定子模块和目标损失函数值确定子模块。
目标跌倒检测结果确定子模块,用于基于初始跌倒检测结果、信号质量分数和与样本信号集对应的标签数据,得到目标跌倒检测结果。
目标损失函数值确定子模块,用于基于目标跌倒检测结果和信号质量分数,得到目标损失函数值。
根据本发明的实施例,目标损失函数值确定子模块包括:第一中间损失函数确定单元、第二中间损失函数确定单元以及目标损失函数值确定单元。
第一中间损失函数确定单元,用于基于目标跌倒检测结果和标签数据,得到第一中间损失函数。
第二中间损失函数确定单元,用于基于信号质量分数,得到第二中间损失函数。
目标损失函数值确定单元,用于基于第一中间损失函数和第二中间损失函数,得到目标损失函数值。
根据本发明的实施例,模型优化模块950包括:第一训练子模块、第二训练子模块以及模型训练子模块。
第一训练子模块,用于基于目标损失函数值对检测子模型进行参数调整,得到经训练的检测子模型。
第二训练子模块,用于基于目标损失函数值对信号质量特征提取子模型进行参数调整,得到经训练的信号质量特征提取子模型。
模型训练子模块,用于基于经训练的检测子模型和经训练的信号质量特征提取子模型,得到经训练的对象跌倒检测模型。
根据本发明的实施例,特征确定模块910、信号质量分数确定模块920、初始检测结果确定模块930、损失函数值确定模块940以及模型优化模块950中的任意多个模块可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本发明的实施例,特征确定模块910、信号质量分数确定模块920、初始检测结果确定模块930、损失函数值确定模块940以及模型优化模块950中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,特征确定模块910、信号质量分数确定模块920、初始检测结果确定模块930、损失函数值确定模块940以及模型优化模块950中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图10示出了根据本发明实施例的对象跌倒检测装置的结构框图。
如图10所示,该实施例的对象跌倒检测装置1000包括信息集获取模块1010、特征提取模块1020、信号集输入模块1030、比对模块1040以及检测结果确定模块1050。
信息集获取模块1010,用于接收从目标对象反射的预设时间段的多个毫米波,得到毫米波雷达回波信号集。
特征提取模块1020,用于对毫米波雷达回波信号集进行第一层级信号质量特征提取,得到毫米波雷达回波信号集的多个第一层级信号质量特征。
信号集输入模块1030,用于将毫米波雷达回波信号集的多个第一层级信号质量特征输入至经对象跌倒检测模型的训练方法训练得到的信号质量特征提取子模型中,得到毫米波雷达回波信号集的信号质量分数。
比对模块1040,用于将毫米波雷达回波信号集的信号质量分数与质量分数阈值进行比对,得到比对结果。
检测结果确定模块1050,用于在比对结果表征毫米波雷达回波信号集的信号质量分数大于质量分数阈值的情况下,将毫米波雷达回波信号集输入至经对象跌倒检测模型的训练方法训练得到的检测子模型中输出针对毫米波雷达回波信号集的跌倒检测结果。
根据本发明的实施例,信息集获取模块1010、特征提取模块1020、信号集输入模块1030、比对模块1040以及检测结果确定模块1050中的任意多个模块可以合并在一个模块中实现,或者其中的任意一个模块可以被拆分成多个模块。或者,这些模块中的一个或多个模块的至少部分功能可以与其他模块的至少部分功能相结合,并在一个模块中实现。根据本发明的实施例,信息集获取模块1010、特征提取模块1020、信号集输入模块1030、比对模块1040以及检测结果确定模块1050中的至少一个可以至少被部分地实现为硬件电路,例如现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA)、片上系统、基板上的系统、封装上的系统、专用集成电路(ASIC),或可以通过对电路进行集成或封装的任何其他的合理方式等硬件或固件来实现,或以软件、硬件以及固件三种实现方式中任意一种或以其中任意几种的适当组合来实现。或者,信息集获取模块1010、特征提取模块1020、信号集输入模块1030、比对模块1040以及检测结果确定模块1050中的至少一个可以至少被部分地实现为计算机程序模块,当该计算机程序模块被运行时,可以执行相应的功能。
图11示出了根据本发明实施例的适于实现对象跌倒检测模型的训练方法及对象跌倒检测方法的电子设备的方框图。
如图11所示,根据本发明实施例的电子设备1100包括处理器1101,其可以根据存储在只读存储器ROM 1102中的程序或者从存储部分1108加载到随机访问存储器RAM 1103中的程序而执行各种适当的动作和处理。处理器1101例如可以包括通用微处理器(例如CPU)、指令集处理器和/或相关芯片组和/或专用微处理器(例如,专用集成电路(ASIC))等等。处理器1101还可以包括用于缓存用途的板载存储器。处理器1101可以包括用于执行根据本发明实施例的方法流程的不同动作的单一处理单元或者是多个处理单元。
在RAM 1103中,存储有电子设备1100操作所需的各种程序和数据。处理器 1101、ROM 1102以及RAM 1103通过总线1104彼此相连。处理器1101通过执行ROM 1102和/或RAM1103中的程序来执行根据本发明实施例的方法流程的各种操作。需要注意,程序也可以存储在除ROM 1102和RAM 1103以外的一个或多个存储器中。处理器1101也可以通过执行存储在一个或多个存储器中的程序来执行根据本发明实施例的方法流程的各种操作。
根据本发明的实施例,电子设备1100还可以包括输入/输出(I/O)接口1105,输入/输出(I/O)接口1105也连接至总线1104。电子设备1100还可以包括连接至输入/输出(I/O)接口1105的以下部件中的一项或多项:包括键盘、鼠标等的输入部分1106;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1107;包括硬盘等的存储部分1108;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至输入/输出(I/O)接口1105。可拆卸介质1111,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1110上,以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
本发明还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的设备/装置/系统中所包含的;也可以是单独存在,而未装配入该设备/装置/系统中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本发明实施例的方法。
根据本发明的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。例如,根据本发明的实施例,计算机可读存储介质可以包括上文描述的ROM 1102和/或RAM 1103和/或ROM 1102和RAM 1103以外的一个或多个存储器。
本发明的实施例还包括一种计算机程序产品,其包括计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。当计算机程序产品在计算机系统中运行时,该程序代码用于使计算机系统实现本发明实施例所提供的对象跌倒检测模型的训练方法及对象跌倒检测方法。
在该计算机程序被处理器1101执行时执行本发明实施例的系统/装置中限定的上述功能。根据本发明的实施例,上文描述的系统、装置、模块、单元等可以通过计算机程序模块来实现。
在一种实施例中,该计算机程序可以依托于光存储器件、磁存储器件等有形存储介质。在另一种实施例中,该计算机程序也可以在网络介质上以信号的形式进行传输、分发,并通过通信部分1109被下载和安装,和/或从可拆卸介质1111被安装。该计算机程序包含的程序代码可以用任何适当的网络介质传输,包括但不限于:无线、有线等等,或者上述的任意合适的组合。
在这样的实施例中,该计算机程序可以通过通信部分1109从网络上被下载和安装,和/或从可拆卸介质1111被安装。在该计算机程序被处理器1101执行时,执行本发明实施例的系统中限定的上述功能。根据本发明的实施例,上文描述的系统、设备、装置、模块、单元等可以通过计算机程序模块来实现。
根据本发明的实施例,可以以一种或多种程序设计语言的任意组合来编写用于执行本发明实施例提供的计算机程序的程序代码,具体地,可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。程序设计语言包括但不限于诸如Java,C++,python,“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
本领域技术人员可以理解,本发明的各个实施例记载的特征可以进行多种组合或/或结合,即使这样的组合或结合没有明确记载于本发明中。特别地,在不脱离本发明精神和教导的情况下,本发明的各个实施例记载的特征可以进行多种组合和/或结合。所有这些组合和/或结合均落入本发明的范围。
以上对本发明的实施例进行了描述。但是,这些实施例仅仅是为了说明的目的,而并非为了限制本发明的范围。尽管在以上分别描述了各实施例,但是这并不意味着各个实施例中的措施不能有利地结合使用。不脱离本发明的范围,本领域技术人员可以做出多种替代和修改,这些替代和修改都应落在本发明的范围之内。
Claims (10)
1.一种对象跌倒检测模型的训练方法,其特征在于,所述对象跌倒检测模型包括:信号质量特征提取子模型和检测子模型,所述方法包括:
对用于对象跌倒检测的样本信号集进行第一层级信号质量特征提取,得到多个第一层级信号质量特征,其中,所述样本信号集表征在预设时间段收集的多个样本信号,所述第一层级信号质量特征包括:掩码处理后的频域特征、掩码处理后的多普勒域特征以及掩码处理后的空域特征;
将多个所述第一层级信号质量特征输入至所述信号质量特征提取子模型中,得到信号质量分数;
将所述样本信号集输入至所述检测子模型中得到初始跌倒检测结果;
基于所述初始跌倒检测结果、所述信号质量分数和与所述样本信号集对应的标签数据,得到目标损失函数值;
基于所述目标损失函数值分别对所述信号质量特征提取子模型和所述检测子模型进行优化,得到经训练的对象跌倒检测模型。
2.根据权利要求1所述的方法,其特征在于,所述对用于对象跌倒检测的样本信号集进行第一层级信号质量特征提取,得到多个第一层级信号质量特征,包括:
对所述样本信号集进行第一层级信号质量特征提取,得到所述样本信号集在多个维度各自的初始信号质量特征;
对所述样本信号集在多个维度各自的初始信号质量特征分别进行掩码处理,得到多个所述第一层级信号质量特征。
3.根据权利要求2所述的方法,其特征在于,所述初始信号质量特征包括:所述样本信号集的频域特征、多普勒域特征以及空域特征;
其中,所述对所述样本信号集进行第一层级信号质量特征提取,得到所述样本信号集在多个维度各自的初始信号质量特征,包括:
对所述样本信号集在快时间维度进行傅里叶变换,得到所述样本信号集的频域特征;
对所述频域特征在慢时间维度进行傅里叶变换,得到所述样本信号集的多普勒域特征;
对所述多普勒域特征在天线维度进行傅里叶变换,得到所述样本信号集的空域特征。
4.根据权利要求3所述的方法,其特征在于,所述信号质量特征提取子模型包括:深度特征提取层和全连接层;
其中,所述将多个所述第一层级信号质量特征输入至信号质量特征提取子模型中,得到信号质量分数,包括:
将所述掩码处理后的频域特征、所述掩码处理后的多普勒域特征以及所述掩码处理后的空域特征分别输入至各自对应的深度特征提取层中,得到多个第二层级信号质量特征;
将多个所述第二层级信号质量特征输入至所述全连接层,得到所述信号质量分数。
5.根据权利要求4所述的方法,其特征在于,所述将多个所述第二层级信号质量特征输入至所述全连接层,得到所述信号质量分数,通过以下公式(1)得到:
;(1)
其中,X f ,X d ,X s 分别为与掩码处理后的频域特征对应的第二层级信号质量特征,与掩码处理后的多普勒域特征对应的第二层级信号质量特征以及与掩码处理后的空域特征对应的第二层级信号质量特征,E f ,E d ,E s 分别为与掩码处理后的频域特征、掩码处理后的多普勒域特征和掩码处理后的空域特征对应的深度特征提取层,FC表示全连接层,q为样本信号集的信号质量分数。
6.根据权利要求1所述的方法,其特征在于,所述基于所述初始跌倒检测结果、所述信号质量分数和与所述样本信号集对应的标签数据,得到目标损失函数值,包括:
基于所述初始跌倒检测结果、所述信号质量分数和与所述样本信号集对应的标签数据,得到目标跌倒检测结果;
基于所述目标跌倒检测结果和所述信号质量分数,得到目标损失函数值。
7.根据权利要求6所述的方法,其特征在于,所述基于所述初始跌倒检测结果、所述信号质量分数和所述标签数据,得到目标跌倒检测结果,通过以下公式(2)得到:
;(2)
其中,y为标签数据,p为初始跌倒检测结果,为目标跌倒检测结果。
8.根据权利要求6所述的方法,其特征在于,所述基于所述目标跌倒检测结果和所述信号质量分数,得到目标损失函数值,包括:
基于所述目标跌倒检测结果和所述标签数据,得到第一中间损失函数;
基于所述信号质量分数,得到第二中间损失函数;
基于所述第一中间损失函数和所述第二中间损失函数,得到所述目标损失函数值。
9.根据权利要求1所述的方法,其特征在于,所述基于所述目标损失函数值分别对所述信号质量特征提取子模型和所述检测子模型进行优化,得到经训练的对象跌倒检测模型,包括:
基于所述目标损失函数值对所述检测子模型进行参数调整,得到经训练的检测子模型;
基于所述目标损失函数值对所述信号质量特征提取子模型进行参数调整,得到经训练的信号质量特征提取子模型;
基于所述经训练的检测子模型和所述经训练的信号质量特征提取子模型,得到所述经训练的对象跌倒检测模型。
10.一种对象跌倒检测方法,其特征在于,包括:
接收从目标对象反射的预设时间段的多个毫米波,得到毫米波雷达回波信号集;
对所述毫米波雷达回波信号集进行第一层级信号质量特征提取,得到所述毫米波雷达回波信号集的多个第一层级信号质量特征,所述第一层级信号质量特征包括:掩码处理后的频域特征、掩码处理后的多普勒域特征以及掩码处理后的空域特征;
将所述毫米波雷达回波信号集的多个所述第一层级信号质量特征输入至经权利要求1~9中任一项所述的对象跌倒检测模型的训练方法训练得到的信号质量特征提取子模型中,得到所述毫米波雷达回波信号集的信号质量分数;
将所述毫米波雷达回波信号集的信号质量分数与质量分数阈值进行比对,得到比对结果;
在所述比对结果表征所述毫米波雷达回波信号集的信号质量分数大于所述质量分数阈值的情况下,将所述毫米波雷达回波信号集输入至经权利要求1~9中任一项所述的对象跌倒检测模型的训练方法训练得到的检测子模型中输出针对所述毫米波雷达回波信号集的跌倒检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311790461.9A CN117471421B (zh) | 2023-12-25 | 2023-12-25 | 对象跌倒检测模型的训练方法及跌倒检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311790461.9A CN117471421B (zh) | 2023-12-25 | 2023-12-25 | 对象跌倒检测模型的训练方法及跌倒检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117471421A CN117471421A (zh) | 2024-01-30 |
CN117471421B true CN117471421B (zh) | 2024-03-12 |
Family
ID=89623859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311790461.9A Active CN117471421B (zh) | 2023-12-25 | 2023-12-25 | 对象跌倒检测模型的训练方法及跌倒检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117471421B (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018107374A1 (zh) * | 2016-12-14 | 2018-06-21 | 深圳先进技术研究院 | 跌倒检测设备、跌倒检测方法及装置 |
WO2020087974A1 (zh) * | 2018-10-30 | 2020-05-07 | 北京字节跳动网络技术有限公司 | 生成模型的方法和装置 |
CN111597877A (zh) * | 2020-04-02 | 2020-08-28 | 浙江工业大学 | 一种基于无线信号的跌倒检测方法 |
CN112346050A (zh) * | 2020-10-23 | 2021-02-09 | 清华大学 | 基于Wi-Fi设备的跌倒检测方法及系统 |
CN117137478A (zh) * | 2023-07-27 | 2023-12-01 | 深圳开鸿数字产业发展有限公司 | 跌倒检测方法、设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210106864A (ko) * | 2020-02-20 | 2021-08-31 | 삼성전자주식회사 | 레이더 신호에 기초한 오브젝트 검출 방법 및 장치 |
US20230190140A1 (en) * | 2020-05-19 | 2023-06-22 | Resmed Sensor Technologies Limited | Methods and apparatus for detection and monitoring of health parameters |
CN112052942B (zh) * | 2020-09-18 | 2022-04-12 | 支付宝(杭州)信息技术有限公司 | 神经网络模型训练方法、装置及系统 |
-
2023
- 2023-12-25 CN CN202311790461.9A patent/CN117471421B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018107374A1 (zh) * | 2016-12-14 | 2018-06-21 | 深圳先进技术研究院 | 跌倒检测设备、跌倒检测方法及装置 |
WO2020087974A1 (zh) * | 2018-10-30 | 2020-05-07 | 北京字节跳动网络技术有限公司 | 生成模型的方法和装置 |
CN111597877A (zh) * | 2020-04-02 | 2020-08-28 | 浙江工业大学 | 一种基于无线信号的跌倒检测方法 |
CN112346050A (zh) * | 2020-10-23 | 2021-02-09 | 清华大学 | 基于Wi-Fi设备的跌倒检测方法及系统 |
CN117137478A (zh) * | 2023-07-27 | 2023-12-01 | 深圳开鸿数字产业发展有限公司 | 跌倒检测方法、设备及存储介质 |
Non-Patent Citations (2)
Title |
---|
"Fall detection via human posture representation and support vector machine";Kaibo Fan等;《Sage Journals Home》;20170506;1-21 * |
"基于深度学习的老人跌倒检测系统";彭俊城等;《信息与电脑》;20230831(第8期);152-155 * |
Also Published As
Publication number | Publication date |
---|---|
CN117471421A (zh) | 2024-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20220252712A1 (en) | Human Detection Method and Device, Electronic Apparatus and Storage Medium | |
Ristic et al. | Bernoulli filter for joint detection and tracking of an extended object in clutter | |
CN111611144B (zh) | 用于处理性能测试数据的方法、装置、计算设备和介质 | |
CN111881777B (zh) | 一种视频处理方法和装置 | |
CN112149503A (zh) | 目标事件检测方法、装置和电子设备和可读介质 | |
CN111953665B (zh) | 服务器攻击访问识别方法及系统、计算机设备、存储介质 | |
Zhao et al. | A Lightweight Object Detection Network for Real‐Time Detection of Driver Handheld Call on Embedded Devices | |
CN115973144A (zh) | 一种自动泊车识别障碍物的方法、装置、电子设备及介质 | |
CN114004255A (zh) | 姿势检测方法、姿势检测装置、电子设备及可读存储介质 | |
Nasiri et al. | IR small target detection based on human visual attention using pulsed discrete cosine transform | |
CN117471421B (zh) | 对象跌倒检测模型的训练方法及跌倒检测方法 | |
CN116343169A (zh) | 路径规划方法、目标对象运动控制方法、装置及电子设备 | |
Pan et al. | Ship detection using online update of clutter map based on fuzzy statistics and spatial property | |
Bae et al. | Joint estimation of multi‐target signal‐to‐noise ratio and dynamic states in cluttered environment | |
CN113205059A (zh) | 车位的检测方法、系统、终端及计算机可读存储介质 | |
CN113989632A (zh) | 一种遥感图像桥梁检测方法、装置、电子设备及存储介质 | |
CN113177609A (zh) | 数据类别不均衡的处理方法及设备、系统、存储介质 | |
CN112668364A (zh) | 一种基于视频的行为预测方法及装置 | |
CN117985053B (zh) | 感知能力检测方法及装置 | |
Gong et al. | Distributed fuzzy maximum‐censored mean level detector‐constant false alarm rate detector based on voting fuzzy fusion rule | |
Bae et al. | Method to improve efficiency of human detection using scalemap | |
CN114818777B (zh) | 有源角度欺骗干扰识别模型的训练方法及装置 | |
CN116188905A (zh) | 遥感地物要素分类模型训练方法、装置、电子设备及介质 | |
Ji et al. | An improved sequential initiation method for multitarget track in clutter with large noise measurement | |
CN110874608B (zh) | 分类方法、系统和电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |