CN111210907A - 一种基于空时注意力机制的疼痛强度估计方法 - Google Patents
一种基于空时注意力机制的疼痛强度估计方法 Download PDFInfo
- Publication number
- CN111210907A CN111210907A CN202010034752.5A CN202010034752A CN111210907A CN 111210907 A CN111210907 A CN 111210907A CN 202010034752 A CN202010034752 A CN 202010034752A CN 111210907 A CN111210907 A CN 111210907A
- Authority
- CN
- China
- Prior art keywords
- neural network
- attention
- time
- layer
- layer neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000036407 pain Effects 0.000 title claims abstract description 68
- 238000000034 method Methods 0.000 title claims abstract description 29
- 238000013528 artificial neural network Methods 0.000 claims abstract description 115
- 230000002123 temporal effect Effects 0.000 claims abstract description 27
- 238000000605 extraction Methods 0.000 claims abstract description 24
- 238000012549 training Methods 0.000 claims abstract description 19
- 230000000306 recurrent effect Effects 0.000 claims abstract description 18
- 150000001875 compounds Chemical class 0.000 claims description 20
- 239000013598 vector Substances 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 8
- 238000001228 spectrum Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 210000004205 output neuron Anatomy 0.000 claims description 3
- 230000036962 time dependent Effects 0.000 claims description 3
- 239000000284 extract Substances 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 9
- 238000010988 intraclass correlation coefficient Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 6
- 238000012360 testing method Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 206010012289 Dementia Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000037324 pain perception Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Public Health (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Image Analysis (AREA)
Abstract
本发明提出了一种基于空时注意力机制的疼痛强度估计方法。首先将人脸图像映射到预训练模型VGG‑16中得到一个深度特征图谱，将该特征图谱输入到空间注意力模块中得到空间注意力图谱，并将空间注意力图谱作用到深度特征图谱上得到空间注意力特征。然后，将空间注意力特征提取网络固定，每幅图像生成相应的空间注意力特征，将该特征输入到循环神经网络中，后接时间注意力模块，生成时间注意力特征，并利用该特征估计视频序列的疼痛强度。本发明通过引入空时注意力机制，在提取空时疼痛特征的同时，更加关注人脸上和疼痛最为相关的区域以及视频序列中具有疼痛强度的图像帧，从而有效提升疼痛强度估计效果。
Description
技术领域
本发明属于医学领域，具体涉及一种疼痛强度估计方法。
背景技术
在临床医疗中，疼痛是病人一个极其常见的现象。鉴于疼痛给病人所带来的伤害，它被定义为继四大生命体征——体温、脉搏、呼吸、血压之后的第五大生命体征。然而，如果在医疗机构中没有一个有效的疼痛评估方式，盲目地采取一些治疗手段，那么极有可能导致医疗事故的产生。因此，准确的疼痛评估是医疗过程中极其重要的一个环节。目前疼痛的评估主要分为两种：自我评估和观察者评估。自我评估要求病人在规定时间内口述0～10个等级的疼痛感受强度，但由于医院中总会存在一些特殊的群体，例如：痴呆症患者、新生儿患者等一些具有语言功能障碍的人群，自我表达的方式不能在这类病人身上实行，因此，自我评估的手段并不总是有效。观察者评估则需要专业的医疗人员或者病人亲属持续不断的观察，这个过程的效率非常低。与此同时，伴随着计算机视觉的发展，对人脸的图像或视频的分析研究也取得了长足的进步。如果能够借助计算机来完成病人疼痛强度状态的监测任务，将极大提升病人在医疗机构的治疗体验。
近年来，大量关于疼痛强度估计的研究已在国内外展开。文献“Rodriguez P,Cucurull G,Gonzàlez J,et al.Deep pain:Exploiting long short-term memorynetworks for facial expression classification[J].IEEE transactions oncybernetics,2017.”提出了一种基于CNN和LSTM的疼痛强度估计方法，该方法通过CNN提取空域特征，LSTM提取时域特征，将两者结合形成动态的空时疼痛估计方法。该方法虽然模型简单，但该模型忽略了疼痛表情的空时显著性特征，即，在空间上只有人脸的部分区域对疼痛估计有贡献，在时间上仅有部分图像帧具有疼痛信息。所以该方法只是一种针对一般表情的强度估计方法，对于疼痛表情强度的估计并不具有针对性。
发明内容
为了克服现有技术的不足，本发明提出了一种基于空时注意力机制的疼痛强度估计方法，该方法包括两个部分：空间注意力特征提取、时间注意力特征提取及疼痛估计。空间注意力特征提取网络由VGG-16和空间注意力模块构成，时间注意力特征提取网络由循环神经网络和时间注意力模块构成。首先将人脸图像映射到预训练模型VGG-16(该网络已由Google公司提出并公开使用)中得到一个深度特征图谱。将该特征图谱输入到空间注意力模块中得到空间注意力图谱，并将空间注意力图谱作用到深度特征图谱上得到空间注意力特征，利用该特征估计图像中的疼痛强度。然后，将空间注意力特征提取网络固定，每幅图像生成相应的空间注意力特征，将该特征输入到循环神经网络中，后接时间注意力模块，生成时间注意力特征，并利用该特征估计视频序列的疼痛强度。本发明通过引入空时注意力机制，在提取空时疼痛特征的同时，更加关注人脸上和疼痛最为相关的区域以及视频序列中具有疼痛强度的图像帧，从而有效提升疼痛强度估计效果。
为达到上述目的，本发明提出了一种基于空时注意力机制的疼痛强度估计方法，包括以下步骤：
步骤1：人脸视频序列图像的空间注意力特征提取
步骤1-1：将人脸图像输入到预训练模型VGG-16中，该模型的第四个卷积块输出特征图谱为
W、H、C分别为特征图谱的宽、高和通道尺寸，特征图谱F中每个位置的特征向量对应原始图像中的一个感受域；
步骤1-2：在预训练模型VGG-16中构造空间注意力模块计算空间注意力权重图谱，方法如下：
空间注意力模块包含两层全连接神经网络，将特征图谱F输入空间注意力模块第一层神经网络，按照下式计算输出：
Mij＝tanh(WijFij+bij)
式中，
为W×H尺寸大小的特征图谱在(i,j)位置的特征向量，
为第一层神经网络在特征图谱(i,j)位置的权重参数，d为第一层神经网络的输出神经元个数，
为第一层神经网络(i,j)位置的偏置，tanh()为第一层神经网络的激活函数，
为第一层神经网络在(i,j)位置的输出结果；
第二层神经网络将第一层神经网络的输出作为输入，按照下式计算第二层神经网络在(i,j)位置的注意力权重值：
Aij＝σ(uTMij+c)
式中，
为第二层神经网络的权重参数，
为第二层神经网络的偏置，σ()为第二层神经网络的激活函数，全部位置的Aij组成注意力权重图谱
步骤1-3：按照下式计算空间注意力模块输出：
O＝A⊙F
式中，⊙为注意力图谱与特征图谱对应位置的特征向量的乘积运算，
为空间注意力模块输出；
步骤1-4：再将空间注意力模块输出O作为预训练模型VGG-16中第五个卷积块的输入，得到最终的空间注意力特征
步骤2：人脸视频序列的时间注意力特征提取及疼痛估计
步骤2-1：将在t时刻的图像空间注意力特征
输入到循环神经网络中，输出具有时间相关性的特征
其中l为循环神经网络的神经元个数；
步骤2-2：构造时间注意力模块计算时间注意力权重，方法如下：
时间注意力模块包含两层神经网络，将时间相关性特征ht输入第一层神经网络，通过下式得到t时刻的输出：
gt＝tanh(Pht+q)
式中，
是第一层神经网络的权重参数，
是第一层神经网络的偏置；
第二层神经网络将第一层神经网络的输出作为输入，按照下式计算第二层神经网络的输出结果：
et＝σ(vTgt+r)
式中，
是第二层神经网络的权重参数，
是第二层神经网络的偏置；
使用Softmax函数归一化各个时刻第二层神经网络的输出，生成时间注意力权重：
式中T为一个视频序列包含的时刻长度，t′为时间参数，et′为在t′时刻第二层神经网络的输出结果；
步骤2-3：将时间注意力权重与相应时刻的时间相关性特征进行加权平均得到时间注意力特征：
步骤2-4：采用时间注意力特征估计疼痛强度：
式中，
为疼痛强度估计值，
为循环神经网络参数，
为循环神经网络偏置。
本发明的有益效果是：由于采用了本发明的一种基于空时注意力机制的疼痛强度估计方法，克服了现有技术只针对一般表情进行强度估计，对于疼痛表情强度估计不具有针对性的缺点，在提取空时疼痛特征的同时，更加关注人脸上和疼痛最为相关的区域以及视频序列中具有疼痛强度的图像帧，从而有效提升疼痛强度估计实验效果。
附图说明
图1是本发明方法流程图。
具体实施方式
下面结合附图和实施例对本发明进一步说明。
本发明提出了一种基于空时注意力机制的疼痛强度估计方法，包括以下步骤：
步骤1：人脸视频序列图像的空间注意力特征提取
步骤1-1：将人脸图像输入到预训练模型VGG-16中，该模型的第四个卷积块输出特征图谱为
W、H、C分别为特征图谱的宽、高和通道尺寸，特征图谱F中每个位置的特征向量对应原始图像中的一个感受域；
步骤1-2：在预训练模型VGG-16中构造空间注意力模块计算空间注意力权重图谱，方法如下：
空间注意力模块包含两层全连接神经网络，将特征图谱F输入空间注意力模块第一层神经网络，按照下式计算输出：
Mij＝tanh(WijFij+bij)
式中，
为W×H尺寸大小的特征图谱在(i,j)位置的特征向量，
为第一层神经网络在特征图谱(i,j)位置的权重参数，d为第一层神经网络的输出神经元个数，
为第一层神经网络(i,j)位置的偏置，tanh()为第一层神经网络的激活函数，
为第一层神经网络在(i,j)位置的输出结果；
第二层神经网络将第一层神经网络的输出作为输入，按照下式计算第二层神经网络在(i,j)位置的注意力权重值：
Aij＝σ(uTMij+c)
式中，
为第二层神经网络的权重参数，
为第二层神经网络的偏置，σ()为第二层神经网络的激活函数，全部位置的Aij组成注意力权重图谱
步骤1-3：按照下式计算空间注意力模块输出：
O＝A⊙F
式中，⊙为注意力图谱与特征图谱对应位置的特征向量的乘积运算，
为空间注意力模块输出；
步骤1-4：再将空间注意力模块输出O作为预训练模型VGG-16中第五个卷积块的输入，得到最终的空间注意力特征
步骤2：人脸视频序列的时间注意力特征提取及疼痛估计
步骤2-1：将在t时刻的图像空间注意力特征
输入到循环神经网络中，输出具有时间相关性的特征
其中l为循环神经网络的神经元个数；
步骤2-2：构造时间注意力模块计算时间注意力权重，方法如下：
时间注意力模块包含两层神经网络，将时间相关性特征ht输入第一层神经网络，通过下式得到t时刻的输出：
gt＝tanh(Pht+q)
式中，
是第一层神经网络的权重参数，
是第一层神经网络的偏置；
第二层神经网络将第一层神经网络的输出作为输入，按照下式计算第二层神经网络的输出结果：
et＝σ(vTgt+r)
式中，
是第二层神经网络的权重参数，
是第二层神经网络的偏置；
使用Softmax函数归一化各个时刻第二层神经网络的输出，生成时间注意力权重：
式中T为一个视频序列包含的时刻长度，t′为时间参数，et′为在t′时刻第二层神经网络的输出结果；
步骤2-3：将时间注意力权重与相应时刻的时间相关性特征进行加权平均得到时间注意力特征：
步骤2-4：采用时间注意力特征估计疼痛强度：
式中，
为疼痛强度估计值，
为循环神经网络参数，
为循环神经网络偏置。
如图1所示，本实施例进行疼痛估计具体步骤如下：
(1)输入视频
将数据库中采集到的人脸视频序列作为本发明的输入视频。
(2)空间注意力特征提取
对人脸视频序列进行空间注意力特征提取，使得人脸上与疼痛最为相关的区域更加突出，从而更加容易区分疼痛等级。
本发明中空间注意力特征提取网络由嵌入空间注意力模块的预训练模型VGG-16构成。将图像输入到由FER2013表情图像数据库预训练的VGG-16模型中，该模型的第四个卷积块输出特征图谱为F，维度为14×14×512，14、14、512分别为特征图谱的宽、高和通道尺寸，F中每个位置的特征向量对应原始图像中的一个感受域。
计算空间注意力权重图谱，采用空间索引的空间注意力模块。该模块包含两层全连接神经网络：第一层采用位置个性化的参数，第二层采用位置共享的参数。
第一层的神经网络在不同的位置采用不同的参数，按照下式计算第一层神经网络的结果：
Mij＝tanh(WijFij+bij)
式中，
为14×14大小的特征图谱在(i,j)位置的特征向量，
为该层神经网络在(i,j)位置的权重参数，
为该层神经网络(i,j)位置的偏置，tanh为该层神经网络的激活函数，
为该层神经网络在(i,j)位置的输出结果。
第二层神经网络将第一层神经网络的输出作为输入，并采用位置共享的参数，按照下式计算第二层神经网络的结果：
Aij＝σ(uTMij+c)
式中，
为该层神经网络的权重参数，
为该层神经网络的偏置，σ为该层神经网络的激活函数，
为该层神经网络的输出，也即在(i,j)位置的注意力权重值，全部位置的Aij组成注意力权重图谱A，维度为14×14。
将注意力图谱作用在特征图谱上，按照下式计算空间注意力模块的输出：
O＝A⊙F
O为的维度为14×14×512，输入到预训练模型VGG-16第五个卷积块中得到最终的空间注意力特征
(3)时间注意力特征提取
在视频序列中，对每一个时刻所得到的特征向量施以相应的权重生成具有时间注意力的疼痛特征，使具有强烈疼痛的特征向量重要性提高，从而对疼痛强度的估计更加准确。为了获取更多的训练数据，本发明将数据库中的长视频截成一系列的视频序列，每个视频序列包含32帧图像。
本发明中，时间注意力特征提取网络由嵌入时间注意力模块的循环神经网络构成；将在t时刻的图像空间注意力特征
输入到循环神经网络中提取具有时间相关性的特征，记为
采用时间注意力模块计算时间注意力权重，该模块包含两层在时间上共享参数的神经网络，由下式得到t时刻第一层神经网络的输出：
gt＝tanh(Pht+q)
式中，
是该层神经网络的权重参数，
是该层神经网络的偏置。
第二层神经网络将第一层神经网络的输出作为输入，按照下式计算第二层神经网络的输出：
et＝σ(vTgt+r)
为了让各个时刻的权重和为1，使用Softmax函数来归一化各个时刻在第二层神经网络的输出，生成时间注意力权重：
式中T为一个视频序列包含的时刻长度，本发明中T取32，即一个视频序列包含32帧图像。利用时间注意力权重与相应时刻的特征向量进行加权平均得到时间注意力特征：
该时间注意力特征维度为128×1，该特征被用来估计疼痛强度：
式中，
为循环神经网络参数，
为循环神经网络偏置。
(4)训练深度神经网络
给定疼痛强度估计的训练集为
包含N个视频序列，每个视频序列包含Tn幅图像，
为第n个视频序列t时刻的图像，
为对应于
的标签。先对图像进行空间注意力特征提取，该特征被用来估计图像帧的疼痛强度。然后固定空间注意力特征提取网络，将生成的空间注意力特征输入到时间注意力特征提取网络中，生成时间注意力特征，该特征被用来估计视频序列的疼痛强度。在估计疼痛强度的两个过程中，均使用均方误差代价通过反向传播的方式训练网络参数：
式中，
为估计疼痛强度的两个过程中空间注意力特征提取网络和时间注意力特征提取网络对第a个样本的预测结果，M为样本个数也即数据库中图像个数。在空间注意力特征提取网络的训练中，使用的标签为每幅图像的疼痛强度，在时间注意力特征提取网络的训练中，使用的标签为该视频序列中每幅图像疼痛强度的平均值。
在训练之后，分别计算预测结果与真实标签之间的皮尔森相关系数(PearsonCorrelation Coefficient,PCC)和类内相关系数(Intraclass CorrelationCoefficient,ICC)，计算出的PCC和ICC值越大，说明本发明所提出的疼痛估计方法越准确。
本发明使用疼痛强度估计领域公知数据库UNBC进行测试。UNBC数据库共包含48398幅图像，200个视频段。数据库给出了每幅图像的疼痛强度值。通过计算本发明在整个数据库上的疼痛强度预测值与测试集的疼痛强度值的皮尔森相关系数(PearsonCorrelation Coefficient,PCC)和类内相关系数(Intraclass CorrelationCoefficient,ICC)来衡量本发明算法的有效性。该指标取值在[0,1]之间，越大越好。
表1本发明与文献1测试结果比较：
表1测试结果比较
| PCC | ICC | |
| 文献1方法 | 0.78 | 0.45 |
| 本发明方法 | 0.89 | 0.72 |
由表1可以看出，本发明在UNBC数据库上性能较文献1方法有较大提升。具体为：PCC指标提高了14％，ICC指标提高了60％。
Claims (1)
1.一种基于空时注意力机制的疼痛强度估计方法，其特征在于，包括以下步骤：
步骤1：人脸视频序列图像的空间注意力特征提取
步骤1-1：将人脸图像输入到预训练模型VGG-16中，该模型的第四个卷积块输出特征图谱为
W、H、C分别为特征图谱的宽、高和通道尺寸，特征图谱F中每个位置的特征向量对应原始图像中的一个感受域；
步骤1-2：在预训练模型VGG-16中构造空间注意力模块计算空间注意力权重图谱，方法如下：
空间注意力模块包含两层全连接神经网络，将特征图谱F输入空间注意力模块第一层神经网络，按照下式计算输出：
Mij＝tanh(WijFij+bij)
式中，
为W×H尺寸大小的特征图谱在(i,j)位置的特征向量，
为第一层神经网络在特征图谱(i,j)位置的权重参数，d为第一层神经网络的输出神经元个数，
为第一层神经网络(i,j)位置的偏置，tanh()为第一层神经网络的激活函数，
为第一层神经网络在(i,j)位置的输出结果；
第二层神经网络将第一层神经网络的输出作为输入，按照下式计算第二层神经网络在(i,j)位置的注意力权重值：
Aij＝σ(uTMij+c)
式中，
为第二层神经网络的权重参数，
为第二层神经网络的偏置，σ()为第二层神经网络的激活函数，全部位置的Aij组成注意力权重图谱
步骤1-3：按照下式计算空间注意力模块输出：
O＝A⊙F
式中，⊙为注意力图谱与特征图谱对应位置的特征向量的乘积运算，
为空间注意力模块输出；
步骤1-4：再将空间注意力模块输出O作为预训练模型VGG-16中第五个卷积块的输入，得到最终的空间注意力特征
步骤2：人脸视频序列的时间注意力特征提取及疼痛估计
步骤2-1：将在t时刻的图像空间注意力特征
输入到循环神经网络中，输出具有时间相关性的特征
其中l为循环神经网络的神经元个数；
步骤2-2：构造时间注意力模块计算时间注意力权重，方法如下：
时间注意力模块包含两层神经网络，将时间相关性特征ht输入第一层神经网络，通过下式得到t时刻的输出：
gt＝tanh(Pht+q)
式中，
是第一层神经网络的权重参数，
是第一层神经网络的偏置；
第二层神经网络将第一层神经网络的输出作为输入，按照下式计算第二层神经网络的输出结果：
et＝σ(vTgt+r)
式中，
是第二层神经网络的权重参数，
是第二层神经网络的偏置；
使用Softmax函数归一化各个时刻第二层神经网络的输出，生成时间注意力权重：
式中T为一个视频序列包含的时刻长度，t′为时间参数，et′为在t′时刻第二层神经网络的输出结果；
步骤2-3：将时间注意力权重与相应时刻的时间相关性特征进行加权平均得到时间注意力特征：
步骤2-4：采用时间注意力特征估计疼痛强度：
式中，
为疼痛强度估计值，
为循环神经网络参数，
为循环神经网络偏置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010034752.5A CN111210907A (zh) | 2020-01-14 | 2020-01-14 | 一种基于空时注意力机制的疼痛强度估计方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010034752.5A CN111210907A (zh) | 2020-01-14 | 2020-01-14 | 一种基于空时注意力机制的疼痛强度估计方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111210907A true CN111210907A (zh) | 2020-05-29 |
Family
ID=70785619
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010034752.5A Pending CN111210907A (zh) | 2020-01-14 | 2020-01-14 | 一种基于空时注意力机制的疼痛强度估计方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111210907A (zh) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461089A (zh) * | 2020-06-17 | 2020-07-28 | 腾讯科技（深圳）有限公司 | 一种人脸检测的方法、人脸检测模型的训练方法及装置 |
| CN112115601A (zh) * | 2020-09-10 | 2020-12-22 | 西北工业大学 | 一种可靠的用户注意力监测估计表示模型 |
| CN112861970A (zh) * | 2021-02-09 | 2021-05-28 | 哈尔滨工程大学 | 一种基于特征融合的细粒度图像分类方法 |
| CN114943924A (zh) * | 2022-06-21 | 2022-08-26 | 深圳大学 | 基于人脸表情视频的疼痛评估方法、系统、设备及介质 |
| WO2024197967A1 (zh) * | 2023-03-28 | 2024-10-03 | 中国科学院深圳先进技术研究院 | 一种基于时空信息的面部疼痛表情分析方法及系统 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107463609A (zh) * | 2017-06-27 | 2017-12-12 | 浙江大学 | 一种使用分层时空注意力编解码器网络机制解决视频问答的方法 |
| GB201820004D0 (en) * | 2018-12-07 | 2019-01-23 | Univ Oxford Innovation Ltd | Method and data processing apparatus for generating real-time alerts about a patient |
| CN110059587A (zh) * | 2019-03-29 | 2019-07-26 | 西安交通大学 | 基于时空注意力的人体行为识别方法 |
| CN110335261A (zh) * | 2019-06-28 | 2019-10-15 | 山东科技大学 | 一种基于时空循环注意力机制的ct淋巴结检测系统 |
-
2020
- 2020-01-14 CN CN202010034752.5A patent/CN111210907A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107463609A (zh) * | 2017-06-27 | 2017-12-12 | 浙江大学 | 一种使用分层时空注意力编解码器网络机制解决视频问答的方法 |
| GB201820004D0 (en) * | 2018-12-07 | 2019-01-23 | Univ Oxford Innovation Ltd | Method and data processing apparatus for generating real-time alerts about a patient |
| CN110059587A (zh) * | 2019-03-29 | 2019-07-26 | 西安交通大学 | 基于时空注意力的人体行为识别方法 |
| CN110335261A (zh) * | 2019-06-28 | 2019-10-15 | 山东科技大学 | 一种基于时空循环注意力机制的ct淋巴结检测系统 |
Non-Patent Citations (4)
| Title |
|---|
| GUANGYI CHEN ETAL.: ""Spatial一Temporal Attention一Aware Learning for Video一B ased Person Re一Identification"", 《TRRR TRANSACTTONS ON TMACR PROCRSSING》 * |
| YUN HAN ET AL.: ""Robust Human Action Recognition Using Global Spatial一Temporal Attention for Human Skeleton Data"", 《IEEE》 * |
| 刘天亮;谯庆伟;万俊伟;戴修斌;罗杰波;: "融合空间-时间双网络流和视觉注意的人体行为识别", 电子与信息学报 * |
| 黄东;冯晓毅;彭进业;张晓彪;王坤伟;: "基于视频序列的疼痛估计研究方法综述", 中国体视学与图像分析 * |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111461089A (zh) * | 2020-06-17 | 2020-07-28 | 腾讯科技（深圳）有限公司 | 一种人脸检测的方法、人脸检测模型的训练方法及装置 |
| CN112115601A (zh) * | 2020-09-10 | 2020-12-22 | 西北工业大学 | 一种可靠的用户注意力监测估计表示模型 |
| CN112115601B (zh) * | 2020-09-10 | 2022-05-17 | 西北工业大学 | 一种可靠的用户注意力监测估计表示模型 |
| CN112861970A (zh) * | 2021-02-09 | 2021-05-28 | 哈尔滨工程大学 | 一种基于特征融合的细粒度图像分类方法 |
| CN114943924A (zh) * | 2022-06-21 | 2022-08-26 | 深圳大学 | 基于人脸表情视频的疼痛评估方法、系统、设备及介质 |
| CN114943924B (zh) * | 2022-06-21 | 2024-05-14 | 深圳大学 | 基于人脸表情视频的疼痛评估方法、系统、设备及介质 |
| WO2024197967A1 (zh) * | 2023-03-28 | 2024-10-03 | 中国科学院深圳先进技术研究院 | 一种基于时空信息的面部疼痛表情分析方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111210907A (zh) | 一种基于空时注意力机制的疼痛强度估计方法 | |
| WO2020215557A1 (zh) | 医学影像解释方法、装置、计算机设备及存储介质 | |
| CN109993230B (zh) | 一种面向脑功能磁共振图像分类的tsk模糊系统建模方法 | |
| CN102422324B (zh) | 年龄估计设备和方法 | |
| CN114299380A (zh) | 对比一致性学习的遥感图像语义分割模型训练方法及装置 | |
| KR102503885B1 (ko) | 비디오 프레임의 공간 정보와 동적 정보를 다층 bi-lstm을 통해 분석하여 인간 우울증 수준을 예측하는 장치 및 방법 | |
| Yang et al. | Simper: Simple self-supervised learning of periodic targets | |
| Alvino et al. | Computerized measurement of facial expression of emotions in schizophrenia | |
| Bian et al. | An accurate lstm based video heart rate estimation method | |
| CN112070685B (zh) | Hifu治疗系统的动态软组织运动预测的方法 | |
| CN115024706A (zh) | 一种融合ConvLSTM和CBAM注意力机制的非接触式心率测量方法 | |
| CN111259759B (zh) | 基于域选择迁移回归的跨数据库微表情识别方法及装置 | |
| CN116671919A (zh) | 一种基于可穿戴设备的情绪检测提醒方法 | |
| CN108937967A (zh) | 一种基于vr技术的心理学记忆数据提升检测方法及系统 | |
| Shi et al. | Intracerebral hemorrhage imaging based on hybrid deep learning with electrical impedance tomography | |
| CN113616209B (zh) | 基于时空注意力机制的精神分裂症患者甄别方法 | |
| CN111210912A (zh) | 一种帕金森预测方法及装置 | |
| Kwaśniewska et al. | Real-time facial features detection from low resolution thermal images with deep classification models | |
| CN113255789A (zh) | 基于对抗网络和多被试脑电信号的视频质量评价方法 | |
| Johns et al. | Variable-domain functional principal component analysis | |
| CN115831352B (zh) | 一种基于动态纹理特征和时间分片权重网络的检测方法 | |
| Al-Sharif et al. | Predicting Heart Disease using Neural Networks | |
| CN107731306A (zh) | 一种基于热成像技术的非接触式心率提取方法 | |
| Schiratti et al. | Mixed-effects model for the spatiotemporal analysis of longitudinal manifold-valued data | |
| Nagarhalli et al. | Evaluating the Effectiveness of the Convolution Neural Network in Detecting Brain Tumors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| AD01 | Patent right deemed abandoned |
Effective date of abandoning: 20240126 |
|
| AD01 | Patent right deemed abandoned |