CN110298241A - 疼痛信息处理方法、装置、设备及存储介质 - Google Patents

疼痛信息处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN110298241A
CN110298241A CN201910425369.XA CN201910425369A CN110298241A CN 110298241 A CN110298241 A CN 110298241A CN 201910425369 A CN201910425369 A CN 201910425369A CN 110298241 A CN110298241 A CN 110298241A
Authority
CN
China
Prior art keywords
pain
expressive features
sampling instant
image frame
features vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910425369.XA
Other languages
English (en)
Inventor
周霆
张智慧
沈蔚慈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Love Medical Polytron Technologies Inc
Original Assignee
Jiangsu Love Medical Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Love Medical Polytron Technologies Inc filed Critical Jiangsu Love Medical Polytron Technologies Inc
Priority to CN201910425369.XA priority Critical patent/CN110298241A/zh
Publication of CN110298241A publication Critical patent/CN110298241A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4824—Touch or pain perception evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pain & Pain Management (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种疼痛信息处理方法、装置、设备及存储介质，通过获取目标用户疼痛表情视频流，并根据所述视频流得到各个采样时刻对应的表情图像帧，提取所述各个采样时刻对应的表情图像帧对应的表情特征向量，对所述各个采样时刻对应的表情特征向量进行分组，得到多个表情特征向量组，基于所述多个表情特征向量组得到所述目标用户对应的疼痛等级，从而将时间维度对疼痛表情的影响充分融合到表情特征中，将时间维度作为疼痛程度判断的一个计算维度，可以有效提高对用户疼痛程度分析的准确性。

Description

疼痛信息处理方法、装置、设备及存储介质
技术领域
本申请涉及疼痛信息处理领域，特别涉及一种疼痛信息处理方法、装置、设备及存储介质。
背景技术
疼痛评估作为临床急性疼痛、慢性疼痛和难治性疼痛必要的诊断方法，临床环境可以通过患者主诉方式了解患者疼痛情况，但医生与患者比例严重失衡，如某年仅国内的年手术量就达到六千万台，而国内的麻醉医生仅有十万人不到，造成大量患者的疼痛无法及时治疗。
面部表情与疼痛具有强关联性，现有技术是基于单幅表情图像的疼痛等级分析，例如将单张表情图像作为输入，采用卷积神经网络提炼单幅图片的疼痛特征，最后经过全连接层训练得到该幅图像对应的疼痛等级，如图1A所示，而由于患者面部表情变化快，很难拍到真实表情，因此，基于单幅表情图像分析的准确率偏低，不利于患者的治疗。
发明内容
本申请的目的在于提供一种疼痛信息处理方法、装置、设备及存储介质，以提高对用户疼痛程度分析的准确性。
第一方面，本申请实施例提供了一种疼痛信息处理方法，包括：
获取目标用户疼痛表情视频流，并根据所述视频流得到各个采样时刻对应的表情图像帧；
提取所述各个采样时刻对应的表情图像帧对应的表情特征向量；
对所述各个采样时刻对应的表情特征向量进行分组，得到多个表情特征向量组；
基于所述多个表情特征向量组得到所述目标用户对应的疼痛等级。
在一种可能的实现方式中，在本申请实施例提供的上述方法中，所述提取所述各个采样时刻对应的表情图像帧对应的表情特征向量之前，所述方法还包括：
对所述表情图像帧进行平滑去噪处理，并提取面部区域；
调正所述面部区域中的人脸位置，获得调正人脸位置后的表情图像帧。
在一种可能的实现方式中，在本申请实施例提供的上述方法中，还包括：
对所述调正人脸位置后的表情图像帧进行归一化处理。
在一种可能的实现方式中，在本申请实施例提供的上述方法中，所述提取所述各个采样时刻对应的表情图像帧对应的表情特征向量，包括：
将所述各个采样时刻对应的表情图像帧依次输入基于神经网络训练的疼痛等级识别模型中的特征提取层，提取各个采样时刻对应的表情特征向量。
在一种可能的实现方式中，在本申请实施例提供的上述方法中，所述对所述各个采样时刻对应的表情特征向量进行分组，得到多个表情特征向量组，包括：
通过所述疼痛等级识别模型中的特征连接层，将t-i时刻表情特征向量加入t时刻表情特征向量中，得到t时刻对应的表情特征向量组。
在一种可能的实现方式中，在本申请实施例提供的上述方法中，所述基于所述多个表情特征向量组得到所述目标用户对应的疼痛等级，包括：
将所述t时刻对应的表情特征向量组输入所述疼痛等级识别模型中的分类层，得到t时刻对应的疼痛等级；
基于各个时刻对应的疼痛等级，确定所述目标用户对应的疼痛等级。
在一种可能的实现方式中，在本申请实施例提供的上述方法中，包括训练神经网络，其包括：
将训练疼痛表情视频流提取到的各个采样时刻对应的表情图像帧作为神经网络的输入数据；
将训练疼痛表情视频流对应的分类标签作为神经网络的输出数据；
通过神经网络分类所述输入数据，及比较分类结果与所述输出数据的对应关系训练出疼痛等级识别模型。
在一种可能的实现方式中，在本申请实施例提供的上述方法中，所述神经网络从底层向上层依次包括：
输入层、卷积层、池化层、全连接层，以及输出层。
第二方面，本申请实施例提供了一种疼痛信息处理装置，包括：
获取模块，用于获取目标用户疼痛表情视频流，并根据所述视频流得到各个采样时刻对应的表情图像帧；
提取模块，用于提取所述各个采样时刻对应的表情图像帧对应的表情特征向量；
特征融合模块，用于对所述各个采样时刻对应的表情特征向量进行分组，得到多个表情特征向量组；
分类模块，用于基于所述多个表情特征向量组得到所述目标用户对应的疼痛等级。
在一种可能的实现方式中，在本申请实施例提供的上述装置中，还包括：
预处理模块，用于在所述提取模块提取所述各个采样时刻对应的表情图像帧对应的表情特征向量之前，对所述表情图像帧进行平滑去噪处理，并提取面部区域；调正所述面部区域中的人脸位置，获得调正人脸位置后的表情图像帧。
在一种可能的实现方式中，在本申请实施例提供的上述装置中，还包括：
归一化模块，用于对所述调正人脸位置后的表情图像帧进行归一化处理。
在一种可能的实现方式中，在本申请实施例提供的上述装置中，
所述提取模块，具体用于将所述各个采样时刻对应的表情图像帧依次输入基于神经网络训练的疼痛等级识别模型中的特征提取层，提取各个采样时刻对应的表情特征向量。
在一种可能的实现方式中，在本申请实施例提供的上述装置中，
所述特征融合模块，具体用于通过所述疼痛等级识别模型中的特征连接层，将t-i时刻表情特征向量加入t时刻表情特征向量中，得到t时刻对应的表情特征向量组。
在一种可能的实现方式中，在本申请实施例提供的上述装置中，
所述分类模块，具体用于将所述t时刻对应的表情特征向量组输入所述疼痛等级识别模型中的分类层，得到t时刻对应的疼痛等级；基于各个时刻对应的疼痛等级，确定所述目标用户对应的疼痛等级。
在一种可能的实现方式中，在本申请实施例提供的上述装置中，还包括神经网络训练模块，用于：
将训练疼痛表情视频流提取到的各个采样时刻对应的表情图像帧作为神经网络的输入数据；
将训练疼痛表情视频流对应的分类标签作为神经网络的输出数据；
通过神经网络分类所述输入数据，及比较分类结果与所述输出数据的对应关系训练出疼痛等级识别模型。
在一种可能的实现方式中，在本申请实施例提供的上述装置中，所述神经网络从底层向上层依次包括：
输入层、卷积层、池化层、融合层、全连接层，以及输出层。
第三方面，本申请实施例提供了一种电子设备，包括：存储器和处理器；
所述存储器，用于存储计算机程序；
其中，所述处理器执行所述存储器中的计算机程序，以实现上述第一方面以及第一方面的各个实施方式中所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序被处理器执行时用于实现上述第一方面以及第一方面的各个实施方式中所述的方法。
与现有技术相比，本申请提供的疼痛信息处理方法、装置、设备及存储介质，通过获取目标用户疼痛表情视频流，并对所述视频流进行分帧处理，得到各个采样时刻对应的表情图像帧，提取所述各个采样时刻对应的表情图像帧对应的表情特征向量，对所述各个采样时刻对应的表情特征向量进行分组，得到多个表情特征向量组，该表情特征向量组包括t时刻表情特征向量和t-i时刻表情特征向量，基于所述多个表情特征向量组得到所述目标用户对应的疼痛等级，从而将时间维度对疼痛表情的影响充分融合到表情特征中，将时间维度作为疼痛程度判断的一个计算维度，可以有效提高对用户疼痛程度分析的准确性。
附图说明
图1为本申请实施例一提供的疼痛信息处理方法的流程示意图；
图1A为现有技术中神经网络的计算过程；
图2为本申请实施例提供的神经网络的计算过程；
图3为本申请实施例二提供的疼痛信息处理装置的结构示意图；
图4为本申请实施例三提供的电子设备的结构示意图。
具体实施方式
下面结合附图，对本申请的具体实施方式进行详细描述，但应当理解本申请的保护范围并不受具体实施方式的限制。
除非另有其它明确表示，否则在整个说明书和权利要求书中，术语“包括”或其变换如“包含”或“包括有”等等将被理解为包括所陈述的元件或组成部分，而并未排除其它元件或其它组成部分。
实际情况下，用户表情变化往往非常快，因此很难抓拍到用户的真实表情，而且人脸表情变化是有延续性的，现有技术中基于单幅图像帧的分析忽略了表情前后变化的关联性，而视频流比较容易采集，也包含了表情前后变化的关联性，因此，本申请提供的方案是基于用户疼痛表情视频流来对用户的疼痛程度进行分析。
图1为本申请实施例一提供的疼痛信息处理方法的流程示意图，如图1所示，该方法包括：
S101、获取目标用户疼痛表情视频流，并根据所述视频流得到各个采样时刻对应的表情图像帧。
实际应用中，可以利用摄像设备拍摄目标用户的人脸视频，来获取目标用户疼痛表情视频流，之后根据该视频流可以得到各个采样时刻对应的表情图像帧，例如t-2时刻的表情图像帧，t-1时刻的表情图像帧，t时刻的表情图像帧等。
S102、提取所述各个采样时刻对应的表情图像帧对应的表情特征向量。
实际应用中，可以通过构建神经网络来提取表情特征向量，S102具体实现为：将所述各个采样时刻对应的表情图像帧依次输入基于神经网络训练的疼痛等级识别模型中的特征提取层，提取各个采样时刻对应的表情特征向量。
举例来说，该神经网络为卷积神经网络，包括参数和结构，结构可以根据实际需要设置，参数则通过训练得到，该神经网络从底层向上层依次包括：输入层、卷积层、池化层、全连接层，以及输出层。则将表情图像帧输入卷积神经网络之后，可以采用卷积层中的多卷积核对表情图像帧进行多次卷积运算，卷积运算之后通过池化层运算提取表情特征向量。其中采用ReLU(Rectified Linear Unit，线性整流函数)作为激活函数，卷积运算公式如下：
其中，σ为ReLU激活函数，n为神经元数量，wi为第i个神经元对应的权重矩阵，xi为第i个神经元的输入，bi为偏置参数。
通过神经网络计算后可以得到与时间相关联的表情特征向量，可以标记为：
Ht-1＝[Ft-1，1，Ft-1，2，…，Ft-1，i，…，Ft-1，n]；
其中，Ht-1表示t-1时刻表情图像帧的表情特征向量，其中Ft-1，i表示Ht-1向量中第i个特征元素。
实际应用中，为了准确地提取表情图像帧对应的表情特征向量，本实施例中，在S102之前，还可以包括步骤：对所述表情图像帧进行平滑去噪处理，并提取面部区域，调正所述面部区域中的人脸位置，获得调正人脸位置后的表情图像帧。具体的，可以采用高斯滤波模型对所述表情图像帧进行平滑去噪处理，可以采用五官定位模型调正所述面部区域中的人脸位置。
实际应用中，为了更准确地提取表情图像帧对应的表情特征向量，本实施例中，在获得调正人脸位置后的表情图像帧之后，还可以包括：对所述调正人脸位置后的表情图像帧进行归一化处理。
S103、对所述各个采样时刻对应的表情特征向量进行分组，得到多个表情特征向量组。
一种实施方式中，该表情特征向量组可以包括t时刻表情特征向量和t-i时刻表情特征向量。
以上述神经网络为例，S103可以具体实现为：通过所述疼痛等级识别模型中的特征连接层，将t-i时刻表情特征向量加入t时刻表情特征向量中，得到t时刻对应的表情特征向量组。实际应用中，可将任意两个时刻的表情特征向量进行合并，将时间维度作为疼痛程度判断的一个计算维度，每幅表情图像帧训练的表情特征向量作为下一时刻计算的参数之一，如图2所示。其中，Input(t)表示t时刻的输入，Conv(t，n)表示n次卷积运算，FullConnected(t)表示t时刻的全连接层计算，Output(t)表示t时刻输出的疼痛等级。
举例来说，将t时刻表情特征向量Ht和t-i时刻表情特征向量Ht-1进行合并，可以得到多个合并之后的表情特征向量组，例如：将Ht-1表情特征向量加入到下一时刻的表情特征向量Ht中，将Ht-1和Ht合并得到Ht′，如下式所示：
Ht′＝[Ht-1，Ht]＝[Ft-1，1，Ft-1，2，…，Ft-1，n，Ft，1，Ft，2，…，Ft，n]；
其中，Ht′为[1，2*n]尺寸的表情特征向量，作为t时刻神经网络全连接层的输入数据。
S104、基于所述多个表情特征向量组得到所述目标用户对应的疼痛等级。
其中，疼痛等级可以分为0到10级，代表不同的疼痛程度，例如0代表没有疼痛，6代表比较疼痛，10代表剧烈疼痛。
实际应用中，S104可以具体实现为：将所述t时刻对应的表情特征向量组输入所述疼痛等级识别模型中的分类层，得到t时刻对应的疼痛等级，基于各个时刻对应的疼痛等级，确定所述目标用户对应的疼痛等级。
实际应用中，以上述神经网络为例，将得到的多个合并之后的表情特征向量组输入神经网络的全连接层中，基于全连接层的输出，可以采用Softmax分类函数计算得到合并t-i时刻表情特征向量之后的t时刻对应的疼痛等级，从而可以得到各个时刻合并表情特征向量之后计算得到的疼痛等级序列。进一步的，可以将疼痛等级序列进行平均，将平均值作为最终的目标用户的疼痛等级，也可以将疼痛等级序列中的最大值作为最终的目标用户的疼痛等级，本申请对此不做限定。
以上述将Ht-1和Ht合并得到Ht′为例，针对Ht′进行全连接层计算，计算公式如下：
Ft＝σ(Wt′H′t)＝σ(WtHt+WrecHt-1)
其中，Wt是t时刻表情特征向量Ht的权重矩阵，Wrec是t-1时刻表情特征向量Ht-1的权重矩阵，σ是激活函数。
本实施例中，还包括训练神经网络的步骤，其包括：将训练疼痛表情视频流提取到的各个采样时刻对应的表情图像帧作为神经网络的输入数据；将训练疼痛表情视频流对应的分类标签作为神经网络的输出数据；通过神经网络分类所述输入数据，及比较分类结果与所述输出数据的对应关系训练出疼痛等级识别模型。
因此，本实施中通过获取目标用户疼痛表情视频流，并根据该视频流得到各个采样时刻对应的表情图像帧，提取各个采样时刻对应的表情图像帧对应的表情特征向量，对各个采样时刻对应的表情特征向量进行分组，得到多个表情特征向量组，基于多个表情特征向量组得到所述目标用户对应的疼痛等级，从而将时间维度对疼痛表情的影响充分融合到表情特征中，将时间维度作为疼痛程度判断的一个计算维度，可以有效提高对用户疼痛程度分析的准确性。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
图3为本申请实施例二提供的疼痛信息处理装置的结构示意图，如图3所示，该装置包括：
获取模块310，用于获取目标用户疼痛表情视频流，并根据该视频流得到各个采样时刻对应的表情图像帧；
提取模块320，用于提取所述各个采样时刻对应的表情图像帧对应的表情特征向量；
特征融合模块330，用于对所述各个采样时刻对应的表情特征向量进行分组，得到多个表情特征向量组；
分类模块340，用于基于所述多个表情特征向量组得到所述目标用户对应的疼痛等级。
本实施例提供的疼痛信息处理装置，通过获取目标用户疼痛表情视频流，并根据该视频流得到各个采样时刻对应的表情图像帧，提取所述各个采样时刻对应的表情图像帧对应的表情特征向量，对所述各个采样时刻对应的表情特征向量进行分组，得到多个表情特征向量组，基于所述多个表情特征向量组得到所述目标用户对应的疼痛等级，从而将时间维度对疼痛表情的影响充分融合到表情特征中，将时间维度作为疼痛程度判断的一个计算维度，可以有效提高对用户疼痛程度分析的准确性。
一种实施方式中，在实施例二的基础上，所述装置还包括：
预处理模块，用于在所述提取模块提取所述各个采样时刻对应的表情图像帧对应的表情特征向量之前，对所述表情图像帧进行平滑去噪处理，并提取面部区域；调正所述面部区域中的人脸位置，获得调正人脸位置后的表情图像帧。
一种实施方式中，在实施例二的基础上，所述装置还包括：
归一化模块，用于对所述调正人脸位置后的表情图像帧进行归一化处理。
一种实施方式中，在实施例二的基础上，所述提取模块320，具体用于将所述各个采样时刻对应的表情图像帧依次输入基于神经网络训练的疼痛等级识别模型中的特征提取层，提取各个采样时刻对应的表情特征向量；
所述特征融合模块330，具体用于通过所述疼痛等级识别模型中的特征连接层，将t-i时刻表情特征向量加入t时刻表情特征向量中，得到t时刻对应的表情特征向量组；
所述分类模块340，具体用于将所述t时刻对应的表情特征向量组输入所述疼痛等级识别模型中的分类层，得到t时刻对应的疼痛等级；基于各个时刻对应的疼痛等级，确定所述目标用户对应的疼痛等级。
一种实施方式中，在上述实施例方式的基础上，所述装置还包括神经网络训练模块，用于：
将训练疼痛表情视频流提取到的各个采样时刻对应的表情图像帧作为神经网络的输入数据；
将训练疼痛表情视频流对应的分类标签作为神经网络的输出数据；
通过神经网络分类所述输入数据，及比较分类结果与所述输出数据的对应关系训练出疼痛等级识别模型。
一种实施方式中，在上述实施例方式的基础上，所述神经网络从底层向上层依次包括：输入层、卷积层、池化层、融合层、全连接层，以及输出层。
图4为本申请实施例三提供的电子设备的结构示意图，如图4所示，该设备包括：存储器401和处理器402；
存储器401，用于存储计算机程序；
其中，处理器402执行存储器401中的计算机程序，以实现如上所述各方法实施例所提供的方法。
在实施例中，以一电子设备对本申请提供的疼痛信息处理装置进行示例。处理器可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备中的其他组件以执行期望的功能。
存储器可以包括一个或多个计算机程序产品，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器可以运行程序指令，以实现上文的本申请的各个实施例中的方法以及/或者其他期望的功能。在计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。
本申请实施例四提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，该计算机程序被处理器执行时用于实现如上所述各方法实施例所提供的方法。
实际应用中，本实施例中的计算机程序可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、C++、python等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
实际应用中，计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
前述对本申请的具体示例性实施方案的描述是为了说明和例证的目的。这些描述并非想将本申请限定为所公开的精确形式，并且很显然，根据上述教导，可以进行很多改变和变化。对示例性实施例进行选择和描述的目的在于解释本申请的特定原理及其实际应用，从而使得本领域的技术人员能够实现并利用本申请的各种不同的示例性实施方案以及各种不同的选择和改变。本申请的范围意在由权利要求书及其等同形式所限定。

Claims (10)

1.一种疼痛信息处理方法，其特征在于，包括：
获取目标用户疼痛表情视频流，并根据所述视频流得到各个采样时刻对应的表情图像帧；
提取所述各个采样时刻对应的表情图像帧对应的表情特征向量；
对所述各个采样时刻对应的表情特征向量进行分组，得到多个表情特征向量组；
基于所述多个表情特征向量组得到所述目标用户对应的疼痛等级。
2.根据权利要求1所述的方法，其特征在于，所述提取所述各个采样时刻对应的表情图像帧对应的表情特征向量之前，所述方法还包括：
对所述表情图像帧进行平滑去噪处理，并提取面部区域；
调正所述面部区域中的人脸位置，获得调正人脸位置后的表情图像帧。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
对所述调正人脸位置后的表情图像帧进行归一化处理。
4.根据权利要求1所述的方法，其特征在于，所述提取所述各个采样时刻对应的表情图像帧对应的表情特征向量，包括：
将所述各个采样时刻对应的表情图像帧依次输入基于神经网络训练的疼痛等级识别模型中的特征提取层，提取各个采样时刻对应的表情特征向量。
5.根据权利要求4所述的方法，其特征在于，所述对所述各个采样时刻对应的表情特征向量进行分组，得到多个表情特征向量组，包括：
通过所述疼痛等级识别模型中的特征连接层，将t-i时刻表情特征向量加入t时刻表情特征向量中，得到t时刻对应的表情特征向量组。
6.根据权利要求5所述的方法，其特征在于，所述基于所述多个表情特征向量组得到所述目标用户对应的疼痛等级，包括：
将所述t时刻对应的表情特征向量组输入所述疼痛等级识别模型中的分类层，得到t时刻对应的疼痛等级；
基于各个时刻对应的疼痛等级，确定所述目标用户对应的疼痛等级。
7.根据权利要求6所述的方法，其特征在于，所述方法包括训练神经网络，其包括：
将训练疼痛表情视频流提取到的各个采样时刻对应的表情图像帧作为神经网络的输入数据；
将训练疼痛表情视频流对应的分类标签作为神经网络的输出数据；
通过神经网络分类所述输入数据，及比较分类结果与所述输出数据的对应关系训练出疼痛等级识别模型。
8.根据权利要求7所述的方法，其特征在于，所述神经网络从底层向上层依次包括：
输入层、卷积层、池化层、全连接层，以及输出层。
9.一种疼痛信息处理装置，其特征在于，包括：
获取模块，用于获取目标用户疼痛表情视频流，并根据所述视频流得到各个采样时刻对应的表情图像帧；
提取模块，用于提取所述各个采样时刻对应的表情图像帧对应的表情特征向量；
特征融合模块，用于对所述各个采样时刻对应的表情特征向量进行分组，得到多个表情特征向量组；
分类模块，用于基于所述多个表情特征向量组得到所述目标用户对应的疼痛等级。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
预处理模块，用于在所述提取模块提取所述各个采样时刻对应的表情图像帧对应的表情特征向量之前，对所述表情图像帧进行平滑去噪处理，并提取面部区域；调正所述面部区域中的人脸位置，获得调正人脸位置后的表情图像帧。
CN201910425369.XA 2019-05-21 2019-05-21 疼痛信息处理方法、装置、设备及存储介质 Pending CN110298241A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910425369.XA CN110298241A (zh) 2019-05-21 2019-05-21 疼痛信息处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910425369.XA CN110298241A (zh) 2019-05-21 2019-05-21 疼痛信息处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN110298241A true CN110298241A (zh) 2019-10-01

Family

ID=68027033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910425369.XA Pending CN110298241A (zh) 2019-05-21 2019-05-21 疼痛信息处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN110298241A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111081375A (zh) * 2019-12-27 2020-04-28 北京深测科技有限公司 健康监测的预警方法及系统
CN111274953A (zh) * 2020-01-19 2020-06-12 江苏爱朋医疗科技股份有限公司 一种根据表情判断疼痛的方法及系统
CN113116299A (zh) * 2021-03-05 2021-07-16 上海市第一妇婴保健院 疼痛程度评估方法、疼痛程度评估装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107330393A (zh) * 2017-06-27 2017-11-07 南京邮电大学 一种基于视频分析的新生儿疼痛表情识别方法
CN107358180A (zh) * 2017-06-28 2017-11-17 江苏爱朋医疗科技股份有限公司 一种人脸表情的疼痛评估方法
CN107832746A (zh) * 2017-12-01 2018-03-23 北京小米移动软件有限公司 表情识别方法及装置
CN107958244A (zh) * 2018-01-12 2018-04-24 成都视观天下科技有限公司 一种基于视频多帧人脸特征融合的人脸识别方法及装置
US20180193652A1 (en) * 2017-01-11 2018-07-12 Boston Scientific Neuromodulation Corporation Pain management based on emotional expression measurements
CN109522818A (zh) * 2018-10-29 2019-03-26 中国科学院深圳先进技术研究院 一种表情识别的方法、装置、终端设备及存储介质
CN109670486A (zh) * 2019-01-30 2019-04-23 深圳前海达闼云端智能科技有限公司 一种基于视频的人脸识别方法、装置及计算设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180193652A1 (en) * 2017-01-11 2018-07-12 Boston Scientific Neuromodulation Corporation Pain management based on emotional expression measurements
CN107330393A (zh) * 2017-06-27 2017-11-07 南京邮电大学 一种基于视频分析的新生儿疼痛表情识别方法
CN107358180A (zh) * 2017-06-28 2017-11-17 江苏爱朋医疗科技股份有限公司 一种人脸表情的疼痛评估方法
CN107832746A (zh) * 2017-12-01 2018-03-23 北京小米移动软件有限公司 表情识别方法及装置
CN107958244A (zh) * 2018-01-12 2018-04-24 成都视观天下科技有限公司 一种基于视频多帧人脸特征融合的人脸识别方法及装置
CN109522818A (zh) * 2018-10-29 2019-03-26 中国科学院深圳先进技术研究院 一种表情识别的方法、装置、终端设备及存储介质
CN109670486A (zh) * 2019-01-30 2019-04-23 深圳前海达闼云端智能科技有限公司 一种基于视频的人脸识别方法、装置及计算设备

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111081375A (zh) * 2019-12-27 2020-04-28 北京深测科技有限公司 健康监测的预警方法及系统
CN111081375B (zh) * 2019-12-27 2023-04-18 北京深测科技有限公司 健康监测的预警方法及系统
CN111274953A (zh) * 2020-01-19 2020-06-12 江苏爱朋医疗科技股份有限公司 一种根据表情判断疼痛的方法及系统
CN111274953B (zh) * 2020-01-19 2023-09-26 江苏爱朋医疗科技股份有限公司 一种根据表情判断疼痛的方法及系统
CN113116299A (zh) * 2021-03-05 2021-07-16 上海市第一妇婴保健院 疼痛程度评估方法、疼痛程度评估装置、设备及存储介质
CN113116299B (zh) * 2021-03-05 2023-05-09 上海市第一妇婴保健院 疼痛程度评估方法、疼痛程度评估装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Ben et al. Video-based facial micro-expression analysis: A survey of datasets, features and algorithms
WO2019120115A1 (zh) 人脸识别的方法、装置及计算机装置
Tu et al. ORSI salient object detection via multiscale joint region and boundary model
CN109508638A (zh) 人脸情绪识别方法、装置、计算机设备及存储介质
CN110298241A (zh) 疼痛信息处理方法、装置、设备及存储介质
CN107194361A (zh) 二维姿势检测方法及装置
CN109543663A (zh) 一种犬只身份识别方法、装置、系统及存储介质
CN111222486B (zh) 手部姿态识别模型的训练方法、装置、设备及存储介质
Huan et al. Deep convolutional neural networks for classifying body constitution based on face image
CN109325456A (zh) 目标识别方法、装置、目标识别设备及存储介质
CN107219925A (zh) 姿势检测方法、装置及服务器
CN110390674A (zh) 图像处理方法、装置、存储介质、设备以及系统
CN110503076A (zh) 基于人工智能的视频分类方法、装置、设备和介质
CN107316029A (zh) 一种活体验证方法及设备
Zhu et al. Tiny object tracking: A large-scale dataset and a baseline
CN110298279A (zh) 一种肢体康复训练辅助方法及系统、介质、设备
CN109063643A (zh) 一种用于脸部信息部分隐藏条件下的面部表情痛苦度识别方法
CN109977832A (zh) 一种图像处理方法、装置及存储介质
CN110458792A (zh) 人脸图像质量的评价方法及装置
Gang et al. Recognition of honeycomb lung in CT images based on improved MobileNet model
CN115223239B (zh) 一种手势识别方法、系统、计算机设备以及可读存储介质
CN110458145A (zh) 一种基于二维动态特征的离线笔迹个体识别系统及方法
Feng et al. Unsupervised domain adaptive fundus image segmentation with category-level regularization
Ma et al. Rectify vit shortcut learning by visual saliency
CN108717522A (zh) 一种基于深度学习和相关滤波的人体目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191001