CN116540204B - 一种行为识别方法、装置、终端设备及介质 - Google Patents
一种行为识别方法、装置、终端设备及介质 Download PDFInfo
- Publication number
- CN116540204B CN116540204B CN202310815506.7A CN202310815506A CN116540204B CN 116540204 B CN116540204 B CN 116540204B CN 202310815506 A CN202310815506 A CN 202310815506A CN 116540204 B CN116540204 B CN 116540204B
- Authority
- CN
- China
- Prior art keywords
- behavior
- network model
- behavior recognition
- identified
- loss function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 55
- 230000006399 behavior Effects 0.000 claims abstract description 283
- 238000012549 training Methods 0.000 claims abstract description 57
- 230000006870 function Effects 0.000 claims description 72
- 238000004590 computer program Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000014509 gene expression Effects 0.000 claims description 7
- 230000009471 action Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 7
- 238000005516 engineering process Methods 0.000 description 7
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000009499 grossing Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000013526 transfer learning Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- HJVCHYDYCYBBQX-HLTLHRPFSA-N (2s,3s,4e,6e,8s,9s)-3-amino-9-methoxy-2,6,8-trimethyl-10-phenyldeca-4,6-dienoic acid Chemical compound OC(=O)[C@@H](C)[C@@H](N)/C=C/C(/C)=C/[C@H](C)[C@@H](OC)CC1=CC=CC=C1 HJVCHYDYCYBBQX-HLTLHRPFSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- PBLZLIFKVPJDCO-UHFFFAOYSA-N omega-Aminododecanoic acid Natural products NCCCCCCCCCCCC(O)=O PBLZLIFKVPJDCO-UHFFFAOYSA-N 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
- G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
- G01S7/417—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section involving the use of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本申请适用于人体行为识别技术领域，提供了一种行为识别方法、装置、终端设备及介质，通过获取训练数据；构建初始行为识别网络模型，并利用训练数据对其训练，得到中间行为识别网络模型；根据真实标签，对微多普勒数据进行划分，得到多个类簇中心；利用特征提取器提取第二环境中待识别行为的特征表示，并根据特征表示和类簇中心，得到其伪标签；根据类簇中心和伪标签，构建特征分布损失函数；利用待识别行为的互信息，构建冗余损失函数；根据特征分布损失函数和冗余损失函数，对中间行为识别网络模型进行反向传播，得到最终行为识别网络模型；利用最终行为识别网络模型识别待识别行为。本申请能提高跨环境时行为识别的准确度。
Description
技术领域
本申请属于人体行为识别技术领域，尤其涉及一种行为识别方法、装置、终端设备及介质。
背景技术
人体行为识别技术可以通过对人体动作、姿态、表情等特征的分析和识别，来推断人的行为意图和情感状态，在智能家居、智能安防、智能医疗、虚拟现实等领域都有所研究。主流的人体行为识别使用的数据包括采集自摄像头、惯性传感器和雷达设备的数据。其中，毫米波雷达（millimeter-wave radar）是一种毫米波频段（30-300 GHz）的无线电设备，其精度适合于识别人体大小物体的动作识别和定位。相比于摄像头和惯性传感器，毫米波雷达分别具有全天候和全天时工作的优势。在过去的几十年里，研究者们已经在毫米波雷达识别人体行为方面取得了一系列的研究成果。例如，可以利用毫米波雷达技术监测人体的呼吸、心跳、姿态等生理特征，并将其用于健康监测和疾病诊断。同时，毫米波雷达技术还可以用于监测人体的动作，例如跑步、散步、跳跃等，实现对人体行为的实时识别和跟踪。
在近年来毫米波雷达技术和深度学习技术等领域的迅速发展下，基于雷达技术的人体行为识别成为了一个具有广泛研究和应用价值的课题。然而，由于不同环境下雷达反射情况之间的差异性，导致传统基于毫米波雷达技术的人体行为识别方法的识别准确度较低。
发明内容
本申请提供了一种行为识别方法、装置、终端设备及介质，可以解决传统人体行为识别方法在跨环境时识别准确度较低的问题。
第一方面，本申请提供了一种行为识别方法，包括：
获取训练数据；训练数据包括第一环境中的已识别行为信息对应的微多普勒数据；已识别行为信息包括行为和行为对应的真实标签；
构建初始行为识别网络模型，并利用训练数据对初始行为识别网络模型进行训练，得到中间行为识别网络模型；行为识别网络模型包括用于提取行为的特征表示的特征提取器和用于根据特征表示对行为进行分类的分类器；
根据真实标签，对微多普勒数据进行类簇划分，得到多个类簇中心；
利用特征提取器提取第二环境中待识别行为的特征表示，并根据特征表示和多个类簇中心，得到待识别行为的伪标签；
根据多个类簇中心和伪标签，构建待识别行为对应的特征分布损失函数；
利用待识别行为的互信息，构建特征表示对应的冗余损失函数；
根据特征分布损失函数和冗余损失函数，对中间行为识别网络模型进行反向传播，得到最终行为识别网络模型；
利用最终行为识别网络模型对待识别行为进行识别。
可选的，第一环境和第二环境之间雷达电磁波的背景噪声不同。
可选的，利用训练数据对初始行为识别网络模型进行训练，得到中间行为识别网络模型，包括：
利用初始行为识别网络模型对训练数据进行识别，得到训练数据对应的伪标签；
根据训练数据对应的真实标签和伪标签/>，构建标签平滑损失函数，并利用标签平滑损失函数对初始行为识别网络模型进行反向传播，得到中间行为识别网络模型。
可选的，根据特征表示和多个类簇中心，得到待识别行为的伪标签，包括：
通过计算公式
得到待识别行为的伪标签；其中，/>表示第/>个待识别行为的伪标签，，/>表示待识别行为的总数量，/>表示第/>个待识别行为/>的特征表示，/>表示第/>个类簇中心，/>，/>表示类簇中心的总数量，/>表示向量的L2范数。
可选的，特征分布损失函数的表达式如下：
；
其中，表示待识别行为对应的特征分布损失值，/>表示逻辑函数，。
可选的，冗余损失函数的表达式如下：
；
其中，表示待识别行为的特征表示对应的冗余损失值，/>表示目标域数据集样本数量，/>表示通过队列结构存储的历史特征输出集合，/>。
可选的，根据特征分布损失函数和冗余损失函数，对中间行为识别网络模型进行反向传播，得到最终行为识别网络模型，包括：
通过计算公式
；
得到联合损失值，/>表示正则项/>的权重，/>；
利用联合损失值对中间行为识别网络模型进行反向传播，得到最终行为识别网络模型。
第二方面，本申请提供了一种行为识别装置，包括：
数据获取模块，用于获取训练数据；训练数据包括第一环境中的已识别行为信息对应的微多普勒数据；已识别行为信息包括行为和行为对应的真实标签；
模型构建模块，用于构建初始行为识别网络模型，并利用训练数据对初始行为识别网络模型进行训练，得到中间行为识别网络模型；行为识别网络模型包括用于提取行为的特征表示的特征提取器和用于根据特征表示对行为进行分类的分类器；
类簇划分模块，用于根据真实标签，对微多普勒数据进行类簇划分，得到多个类簇中心；
伪标签识别模块，用于利用特征提取器提取第二环境中待识别行为的特征表示，并根据特征表示和多个类簇中心，得到待识别行为的伪标签；
第一损失函数模块，用于根据多个类簇中心和伪标签，构建待识别行为对应的特征分布损失函数；
第二损失函数模块，用于利用待识别行为的互信息，构建特征表示对应的冗余损失函数；
模型更新模块，用于根据特征分布损失函数和冗余损失函数，对中间行为识别网络模型进行反向传播，得到最终行为识别网络模型；
识别模块，用于利用最终行为识别网络模型对待识别行为进行识别。
第三方面，本申请提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的行为识别方法。
第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述的行为识别方法。
本申请的上述方案有如下的有益效果：
本申请提供的行为识别方法，根据第二环境中待识别行为的特征表示和第一环境中训练数据的类簇中心，得到待识别行为的伪标签，利用了类簇中心代替训练数据的特征表示分布，实现了无源自适应，提高了跨环境时行为识别的普适性和准确性；根据多个类簇中心和伪标签，构建待识别行为对应的特征分布损失函数，能够减小待识别行为的特征分布与训练数据的特征分布之间的差距，提升行为识别模型的拟合能力，从而提高行为识别的准确性；利用待识别行为的互信息，构建特征表示对应的冗余损失函数，能够以此消除待识别行为特征表示中的冗余编码，有助于提高行为识别的准确性。
本申请的其它有益效果将在随后的具体实施方式部分予以详细说明。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的行为识别方法的流程图；
图2为本申请一实施例提供的行为识别模型的结构示意图；
图3为本申请一实施例中行为识别方法的执行流程图；
图4为本申请一实施例中对微多普勒数据进行类簇划分的示意图；
图5为本申请一实施例提供的行为识别装置的结构示意图；
图6为本申请一实施例提供的终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
针对传统人体行为识别方法在跨环境时识别准确度较低的问题，本申请提供了一种行为识别方法、装置、终端设备及介质，该方法根据第二环境中待识别行为的特征表示和第一环境中训练数据的类簇中心，得到待识别行为的伪标签，利用了类簇中心代替训练数据的特征表示分布，实现了无源自适应，提高了跨环境时行为识别的普适性和准确性；根据多个类簇中心和伪标签，构建待识别行为对应的特征分布损失函数，能够减小待识别行为的特征分布与训练数据的特征分布之间的差距，提升行为识别模型的拟合能力，从而提高行为识别的准确性；利用待识别行为的互信息，构建特征表示对应的冗余损失函数，能够以此消除待识别行为特征表示中的冗余编码，有助于提高行为识别的准确性。
如图1所示，本申请提供的行为识别方法具体包括以下步骤：
步骤11，获取训练数据。训练数据包括第一环境中的已识别行为信息对应的微多普勒数据。
在本申请的实施例中，第一环境和第二环境之间雷达电磁波的背景噪声不同，上述已识别行为信息包括行为和行为对应的真实标签。
示例性的，在本申请的一实施例中，第一环境为室内环境，第二环境为室外环境，已识别行为信息包括{（行为1，真实标签：下蹲），（行为2，真实标签：走动），（行为3，真实标签：跳跃）}。
需要说明的是，上述微多普勒数据可通过对采集的雷达人体回波信号进行时频变换得到，示例性的，将毫米波雷达发射和接收人体动作的回波时间序列通过短时傅立叶变换提取反映人动作速度随时间变化的微多普勒特征。
步骤12，构建初始行为识别网络模型，并利用训练数据对初始行为识别网络模型进行训练，得到中间行为识别网络模型。
如图2所示，上述行为识别网络模型包括用于提取行为的特征表示的特征提取器（如图2中21所示）和用于根据特征表示对行为进行分类的分类器（如图2中22所示）。在本申请的实施例中，上述行为识别网络模型是基于全卷积残差网络（ResNet）构建的，也可采用其他具备特征提取和分类功能的网络模型作为行为识别网络模型。
具体的，特征提取器包括多个依次连接的残差块，多个残差块中的每个残差块包括全连接层和归一化层，特征提取器的输入端接收微多普勒数据，特征提取器的输出端连接分类器的输入端，分类器包括一个残差块，分类器的输入端接收特征表示，分类器的输出端输出识别结果。
在本申请的实施例中，在利用初始行为识别网络模型得到训练数据的识别结果（伪标签）后，可根据训练数据的伪标签和真实标签，构建标签平滑损失函数并利用其对初始行为识别网络模型进行反向传播，更新初始行为识别网络模型的参数，得到中间行为识别网络模型。具体的，标签平滑的表达式如下：
其中，表示训练数据的软标签，/>表示训练数据的真实标签，/>表示标签平滑方法的一个极小的超参数，一般取/>。
步骤13，根据真实标签，对微多普勒数据进行类簇划分，得到多个类簇中心。
示例性的，将真实标签相同的微多普勒数据划分为同一类簇，并加权平均计算各类簇的类簇中心，得到多个类簇中心。
步骤14，利用特征提取器提取第二环境中待识别行为的特征表示，并根据特征表示和多个类簇中心，得到待识别行为的伪标签。
具体的，首先获取第二环境中待识别行为的微多普勒数据（无标签），并利用中间行为识别网络模型的特征提取器提取微多普勒数据（无标签）的特征表示，本申请借鉴了迁移学习的思想，第一环境中的训练数据为迁移学习中的源域，第二环境中的待识别行为数据为迁移学习中的目标域，考虑到在某些迁移学习的应用场景中，源域数据并不开放访问或源域数据特别大导致高昂传输成本的问题，因此，本申请用训练数据（源域数据）的类簇中心代替源域数据的分布，以规避上述问题，实现无源领域自适应，提高了行为识别的普适性。
然后，通过计算公式
；
得到待识别行为的伪标签。
其中，表示第/>个待识别行为的伪标签，/>，/>表示待识别行为的总数量，/>表示第/>个待识别行为/>的特征表示，/>表示第/>个类簇中心，，/>表示类簇中心的总数量，/>表示向量的L2范数。
需要说明的是，在本申请的实施例中，第一环境和第二环境之间的差异体现在第一环境和所述第二环境之间雷达电磁波的背景噪声不同。
步骤15，根据多个类簇中心和伪标签，构建待识别行为对应的特征分布损失函数。
构建特征分布损失函数是为了缩小第一环境中训练数据（源域数据）和第二环境中待识别行为数据（目标域数据）的分布差距，以提升行为识别模型在跨环境时的拟合能力。
具体的，特征分布损失函数的表达式如下：
其中，表示待识别行为对应的特征分布损失值，/>表示逻辑函数，。
步骤16，利用待识别行为的互信息，构建特征表示对应的冗余损失函数。
相似的冗余编码会损害行为识别模型的识别能力。在本申请的实施例中，上述冗余损失函数的表达式如下：
；
其中，表示待识别行为的特征表示对应的冗余损失值，/>表示目标域数据集样本数量，/>表示通过队列结构存储的历史特征输出集合，/>。
下面对其构建过程进行示例性说明。
通过计算公式
；
得到。其中，/>表示/>和/>之间的互信息，/>表示为特征提取器提取的特征表示，/>表示/>的信息熵，值为固定的常数，/>表示/>和/>之间的相对熵，也等于/>。/>表示/>和/>之间的条件概率，/>和/>表示不同的目标域输入，
再代入正态分布概率密度函数，得到冗余损失函数/>。
步骤17，根据特征分布损失函数和冗余损失函数，对中间行为识别网络模型进行反向传播，得到最终行为识别网络模型。
步骤18，利用最终行为识别网络模型对待识别行为进行识别。
具体的，对采集的第二环境中（如室外环境）待识别行为的雷达回波信号进行时频处理，得到待识别行为的微多普勒数据，然后将微多普勒数据输入到最终行为识别网络模型中，最终行为识别网络模型中输出待识别行为的识别结果。示例性的，识别结果为{（待识别行为1，标签：下蹲），（待识别行为2，标签：跑动）}。
为了验证本申请提供的行为识别方法的可靠性和鲁棒性，在本申请的一实施例中中，将本申请提供的行为识别方法在Office31数据集上进行了实验，实验准确率（%）对比结果结果如下表所示：
其中，DomainInfoMin表示本申请提供的行为识别方法，Pretrained only表示仅预训练的模型，用来对比其他无监督领域自适应方法对模型准确率的提升程度。ADDA和GRL都是经典的无监督领域自适应方法，SHOT是经典的无源领域自适应方法，实验结果表明，本申请提供的行为识别方法的准确率优于其他行为识别方法。
下面对步骤17（根据特征分布损失函数和冗余损失函数，对中间行为识别网络模型进行反向传播，得到最终行为识别网络模型）的具体过程进行示例性说明。
步骤17.1，通过计算公式
得到联合损失值，/>表示正则项/>的权重，/>。
步骤17.2，利用联合损失值对中间行为识别网络模型进行反向传播，得到最终行为识别网络模型。
下面结合具体实施例对本申请提供的行为识别方法进行示例性说明。
如图3所示，在本实施例中，行为识别方法分为预训练阶段（如图3中①所示）和微调阶段（如图3中②所示）。
具体的，在预训练阶段，将第一环境中的已识别行为信息对应的微多普勒数据作为源域数据，然后构建初始行为识别网络模型，并利用训练数据对初始行为识别网络模型进行训练，得到中间行为识别网络模型。
在微调阶段，如图4所示，根据真实标签，对微多普勒数据进行类簇划分，得到多个类簇中心。然后将第二环境中待识别行为对应的微多普勒数据作为目标域数据，利用特征提取器提取第二环境中待识别行为的特征表示，并根据特征表示和多个类簇中心，得到待识别行为的伪标签，再根据多个类簇中心和伪标签，构建待识别行为对应的充分编码损失（特征分布损失函数），然后利用待识别行为的互信息，构建特征表示对应的冗余损失函数（冗余损失函数/>），随后根据特征分布损失函数和冗余损失函数，对中间行为识别网络模型进行反向传播，得到最终行为识别网络模型，最后利用最终行为识别网络模型对待识别行为进行识别。
下面对本申请提供的行为识别装置进行示例性说明。
如图5所示，该行为识别装置500包括：
数据获取模块501，用于获取训练数据；训练数据包括第一环境中的已识别行为信息对应的微多普勒数据；已识别行为信息包括行为和行为对应的真实标签；
模型构建模块502，用于构建初始行为识别网络模型，并利用训练数据对初始行为识别网络模型进行训练，得到中间行为识别网络模型；行为识别网络模型包括用于提取行为的特征表示的特征提取器和用于根据特征表示对行为进行分类的分类器；
类簇划分模块503，用于根据真实标签，对微多普勒数据进行类簇划分，得到多个类簇中心；
伪标签识别模块504，用于利用特征提取器提取第二环境中待识别行为的特征表示，并根据特征表示和多个类簇中心，得到待识别行为的伪标签；
第一损失函数模块505，用于根据多个类簇中心和伪标签，构建待识别行为对应的特征分布损失函数；
第二损失函数模块506，用于利用待识别行为的互信息，构建特征表示对应的冗余损失函数；
模型更新模块507，用于根据特征分布损失函数和冗余损失函数，对中间行为识别网络模型进行反向传播，得到最终行为识别网络模型；
识别模块508，用于利用最终行为识别网络模型对待识别行为进行识别。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
如图6所示，本申请的实施例提供了一种终端设备，如图6所示，该实施例的终端设备D10包括：至少一个处理器D100（图6中仅示出一个处理器）、存储器D101以及存储在所述存储器D101中并可在所述至少一个处理器D100上运行的计算机程序D102，所述处理器D100执行所述计算机程序D102时实现上述任意各个方法实施例中的步骤。
具体的，所述处理器D100执行所述计算机程序D102时，通过采集获取训练数据，再构建初始行为识别网络模型，并利用训练数据对初始行为识别网络模型进行训练，得到中间行为识别网络模型，然后根据真实标签，对微多普勒数据进行类簇划分，得到多个类簇中心，再利用特征提取器提取第二环境中待识别行为的特征表示，并根据特征表示和多个类簇中心，得到待识别行为的伪标签，然后根据多个类簇中心和伪标签，构建待识别行为对应的特征分布损失函数，再利用待识别行为的互信息，构建特征表示对应的冗余损失函数，随后根据特征分布损失函数和冗余损失函数，对中间行为识别网络模型进行反向传播，得到最终行为识别网络模型，最后利用最终行为识别网络模型对待识别行为进行识别。其中，根据第二环境中待识别行为的特征表示和第一环境中训练数据的类簇中心，得到待识别行为的伪标签，利用了类簇中心代替训练数据的特征表示分布，实现了无源自适应，提高了跨环境时行为识别的普适性和准确性；根据多个类簇中心和伪标签，构建待识别行为对应的特征分布损失函数，能够减小待识别行为的特征分布与训练数据的特征分布之间的差距，提升行为识别模型的拟合能力，从而提高行为识别的准确性；利用待识别行为的互信息，构建特征表示对应的冗余损失函数，能够以此消除待识别行为特征表示中的冗余编码，有助于提高行为识别的准确性。
所称处理器D100可以是中央处理单元(CPU，Central Processing Unit)，该处理器D100还可以是其他通用处理器、数字信号处理器 (DSP，Digital Signal Processor)、专用集成电路 (ASIC，Application Specific Integrated Circuit)、现成可编程门阵列(FPGA，Field-Programmable Gate Array) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器D101在一些实施例中可以是所述终端设备D10的内部存储单元，例如终端设备D10的硬盘或内存。所述存储器D101在另一些实施例中也可以是所述终端设备D10的外部存储设备，例如所述终端设备D10上配备的插接式硬盘，智能存储卡（SMC，SmartMedia Card ），安全数字（SD，Secure Digital）卡，闪存卡（Flash Card）等。进一步地，所述存储器D101还可以既包括所述终端设备D10的内部存储单元也包括外部存储设备。所述存储器D101用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器D101还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到行为识别装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述是本申请的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。
Claims (10)
1.一种行为识别方法，其特征在于，包括：
获取训练数据；所述训练数据包括第一环境中的已识别行为信息对应的微多普勒数据；所述已识别行为信息包括行为和所述行为对应的真实标签；
构建初始行为识别网络模型，并利用所述训练数据对所述初始行为识别网络模型进行训练，得到中间行为识别网络模型；所述行为识别网络模型包括用于提取行为的特征表示的特征提取器和用于根据所述特征表示对行为进行分类的分类器；
根据所述真实标签，对所述微多普勒数据进行类簇划分，得到多个类簇中心；
利用所述特征提取器提取第二环境中待识别行为的特征表示，并根据所述特征表示和所述多个类簇中心，得到所述待识别行为的伪标签；
根据所述多个类簇中心和所述伪标签，构建所述待识别行为对应的特征分布损失函数；
利用所述待识别行为的互信息，构建所述特征表示对应的冗余损失函数；
根据所述特征分布损失函数和所述冗余损失函数，对所述中间行为识别网络模型进行反向传播，得到最终行为识别网络模型；
利用所述最终行为识别网络模型对所述待识别行为进行识别。
2.根据权利要求1所述的行为识别方法，其特征在于，所述第一环境和所述第二环境之间雷达电磁波的背景噪声不同。
3.根据权利要求1所述的行为识别方法，其特征在于，所述利用所述训练数据对所述初始行为识别网络模型进行训练，得到中间行为识别网络模型，包括：
利用所述初始行为识别网络模型对所述训练数据进行识别，得到所述训练数据对应的伪标签；
根据所述训练数据对应的真实标签和所述伪标签/>，构建标签平滑损失函数，并利用所述标签平滑损失函数对所述初始行为识别网络模型进行反向传播，得到所述中间行为识别网络模型。
4.根据权利要求1所述的行为识别方法，其特征在于，所述根据所述特征表示和所述多个类簇中心，得到所述待识别行为的伪标签，包括：
通过计算公式
得到所述待识别行为的伪标签；其中，/>表示第/>个待识别行为的伪标签，，/>表示待识别行为的总数量，/>表示第/>个待识别行为/>的特征表示，/>表示第/>个类簇中心，/>，/>表示类簇中心的总数量，/>表示向量的L2范数。
5.根据权利要求4所述的行为识别方法，其特征在于，所述特征分布损失函数的表达式如下：
其中，表示待识别行为对应的特征分布损失值，/>表示逻辑函数，/>。
6.根据权利要求5所述的行为识别方法，其特征在于，所述冗余损失函数的表达式如下：
其中，表示待识别行为的特征表示对应的冗余损失值，/>表示目标域数据集样本数量，/>表示通过队列结构存储的历史特征输出集合，/>。
7. 根据权利要求6所述的行为识别方法，其特征在于，所述根据所述特征分布损失函数和所述冗余损失函数，对所述中间行为识别网络模型进行反向传播，得到最终行为识别网络模型，包括：
通过计算公式
得到联合损失，/>表示正则项/>的权重，/>；
利用所述联合损失对所述中间行为识别网络模型进行反向传播，得到所述最终行为识别网络模型。
8.一种行为识别装置，其特征在于，包括：
数据获取模块，用于获取训练数据；所述训练数据包括第一环境中的已识别行为信息对应的微多普勒数据；所述已识别行为信息包括行为和所述行为对应的真实标签；
模型构建模块，用于构建初始行为识别网络模型，并利用所述训练数据对所述初始行为识别网络模型进行训练，得到中间行为识别网络模型；所述行为识别网络模型包括用于提取行为的特征表示的特征提取器和用于根据所述特征表示对行为进行分类的分类器；
类簇划分模块，用于根据所述真实标签，对所述微多普勒数据进行类簇划分，得到多个类簇中心；
伪标签识别模块，用于利用所述中间行为识别网络模型提取第二环境中待识别行为的特征表示，并根据所述特征表示和所述多个类簇中心，得到所述待识别行为的伪标签；
第一损失函数模块，用于根据所述多个类簇中心和所述伪标签，构建所述待识别行为对应的特征分布损失函数；
第二损失函数模块，用于利用所述待识别行为的互信息，构建所述特征表示对应的冗余损失函数；
模型更新模块，用于根据所述特征分布损失函数和所述冗余损失函数，对所述中间行为识别网络模型进行反向传播，得到最终行为识别网络模型；
识别模块，用于利用所述最终行为识别网络模型对所述待识别行为进行识别。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的行为识别方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的行为识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310815506.7A CN116540204B (zh) | 2023-07-05 | 2023-07-05 | 一种行为识别方法、装置、终端设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310815506.7A CN116540204B (zh) | 2023-07-05 | 2023-07-05 | 一种行为识别方法、装置、终端设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116540204A CN116540204A (zh) | 2023-08-04 |
| CN116540204B true CN116540204B (zh) | 2023-09-05 |
Family
ID=87454471
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310815506.7A Active CN116540204B (zh) | 2023-07-05 | 2023-07-05 | 一种行为识别方法、装置、终端设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116540204B (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263638A (zh) * | 2019-05-16 | 2019-09-20 | 山东大学 | 一种基于显著信息的视频分类方法 |
| CN112507901A (zh) * | 2020-12-14 | 2021-03-16 | 华南理工大学 | 一种基于伪标签自纠正的无监督行人重识别方法 |
| WO2022001489A1 (zh) * | 2020-06-28 | 2022-01-06 | 北京交通大学 | 一种无监督域适应的目标重识别方法 |
| CN114241517A (zh) * | 2021-12-02 | 2022-03-25 | 河南大学 | 基于图像生成和共享学习网络的跨模态行人重识别方法 |
| CN114706054A (zh) * | 2022-03-22 | 2022-07-05 | 中南大学 | 一种人体运动微多普勒信号识别的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8167430B2 (en) * | 2009-08-31 | 2012-05-01 | Behavioral Recognition Systems, Inc. | Unsupervised learning of temporal anomalies for a video surveillance system |
-
2023
- 2023-07-05 CN CN202310815506.7A patent/CN116540204B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110263638A (zh) * | 2019-05-16 | 2019-09-20 | 山东大学 | 一种基于显著信息的视频分类方法 |
| WO2022001489A1 (zh) * | 2020-06-28 | 2022-01-06 | 北京交通大学 | 一种无监督域适应的目标重识别方法 |
| CN112507901A (zh) * | 2020-12-14 | 2021-03-16 | 华南理工大学 | 一种基于伪标签自纠正的无监督行人重识别方法 |
| CN114241517A (zh) * | 2021-12-02 | 2022-03-25 | 河南大学 | 基于图像生成和共享学习网络的跨模态行人重识别方法 |
| CN114706054A (zh) * | 2022-03-22 | 2022-07-05 | 中南大学 | 一种人体运动微多普勒信号识别的方法 |
Non-Patent Citations (1)
| Title |
|---|
| "Accurate locating method of abnormal low voltage split line loss based on redundancy check";Yang Junting等;《2022 2nd International Conference on Networking, Communications and Information Technology》;111-113 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116540204A (zh) | 2023-08-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Gutiérrez et al. | Comprehensive review of vision-based fall detection systems | |
| Chouhan et al. | Soft computing approaches for image segmentation: a survey | |
| Islam et al. | Human activity recognition using tools of convolutional neural networks: A state of the art review, data sets, challenges, and future prospects | |
| Wu et al. | Cascaded fully convolutional networks for automatic prenatal ultrasound image segmentation | |
| Anitha et al. | Brain tumour classification using two‐tier classifier with adaptive segmentation technique | |
| Li et al. | Pulmonary nodule classification with deep convolutional neural networks on computed tomography images | |
| Li et al. | Concurrent activity recognition with multimodal CNN-LSTM structure | |
| Al Hadhrami et al. | Transfer learning with convolutional neural networks for moving target classification with micro-Doppler radar spectrograms | |
| Sarkar et al. | Human activity recognition from sensor data using spatial attention-aided CNN with genetic algorithm | |
| JP7108123B2 (ja) | 画像処理方法、画像処理装置、プロセッサ、電子機器、記憶媒体及びコンピュータプログラム | |
| CN115343704A (zh) | 基于多任务学习的fmcw毫米波雷达的手势识别方法 | |
| Cao et al. | An improved fuzziness based random vector functional link network for liver disease detection | |
| Shah et al. | Data portability for activities of daily living and fall detection in different environments using radar micro-doppler | |
| Zhang et al. | Classification of canker on small datasets using improved deep convolutional generative adversarial networks | |
| CN116338684A (zh) | 基于毫米波雷达与深度学习的人体跌倒检测方法及系统 | |
| Sasank et al. | Hybrid deep neural network with adaptive rain optimizer algorithm for multi-grade brain tumor classification of MRI images | |
| Kumar et al. | Smart Healthcare: Disease Prediction Using the Cuckoo‐Enabled Deep Classifier in IoT Framework | |
| CN116540204B (zh) | 一种行为识别方法、装置、终端设备及介质 | |
| Sivanandan et al. | A new CNN architecture for efficient classification of ultrasound breast tumor images with activation map clustering based prediction validation | |
| She et al. | RadarSpecAugment: A simple data augmentation method for radar-based human activity recognition | |
| CN110969203B (zh) | 基于自相关和cam网络的hrrp数据去冗余方法 | |
| CN110414562B (zh) | X光片的分类方法、装置、终端及存储介质 | |
| Qiao et al. | Person identification with low training sample based on micro-doppler signatures separation | |
| Yu | Deep learning methods for human action recognition | |
| Ege | Human activity classification with deep learning using FMCW radar |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |