CN109524109A - 一种基于肌肉压力状态的非接触式疲劳监测方法 - Google Patents

一种基于肌肉压力状态的非接触式疲劳监测方法 Download PDF

Info

Publication number
CN109524109A
CN109524109A CN201811416740.8A CN201811416740A CN109524109A CN 109524109 A CN109524109 A CN 109524109A CN 201811416740 A CN201811416740 A CN 201811416740A CN 109524109 A CN109524109 A CN 109524109A
Authority
CN
China
Prior art keywords
frequency domain
state
image
contactless
personnel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811416740.8A
Other languages
English (en)
Inventor
洪侃
刘国栋
李旭强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangxi Science and Technology Normal University
Original Assignee
Jiangxi Science and Technology Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangxi Science and Technology Normal University filed Critical Jiangxi Science and Technology Normal University
Priority to CN201811416740.8A priority Critical patent/CN109524109A/zh
Publication of CN109524109A publication Critical patent/CN109524109A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Abstract

本发明涉及一种基于肌肉压力状态的非接触式疲劳监测方法。现有的疲劳检测大多数都是通过心率和医院的肌电图来检测身体疲劳状态而我们的方法通过非接触式的方法来检测身体当前的肌肉压力状态从而反应身体健康状态。本发明包括以下步骤：步骤一、获取人员的面部信息，步骤二、对图像进行多LBP特征提取，步骤三、选择ROI并进行跟踪，步骤四、对运动信息进行频域分析：将得到的运动信息进行滤波再转到频域使用窗口时间为30s的快速傅里叶变换进行处理得到频域特征；步骤五、使用LSTM模型对频域特征进行识别分类：通过已有的数据来训练一个LSTM模型，将频域特征放到这个模型中进行分类识别得到疲劳状态。

Description

一种基于肌肉压力状态的非接触式疲劳监测方法
技术领域
本发明涉及人体健康检测领域，尤其是一种基于肌肉压力状态的 非接触式疲劳监测方法。
背景技术
之前的疲劳压力检测都是通过去医院做肌电图检查或者一些接 触式压力检测器，这种无法满足现实环境需求，去医院检查会花费 大量的时间和金钱，并且检测结果很长时间才能出来。而我们的检 测方法只需要提取面部的肌肉变化，通过相关的算法进行处理后就 能得到身体的肌肉疲劳状况。
利用非接触式的光谱成像获取人脸信息高效而实用，但是噪声 问题一直困扰着业界。在实验过程中散射和路径效应等带来的系统 误差和噪声较大,为压力特征的获取带来了困扰。同时外部的干扰也 会影响到数据。单从实验和外部环境的角度去解决这些问题并不现 实,不然非接触无干预的目标将无法实现。为此我们在对图像去噪的 同时,利用LBP算法模型提取特征点作为参照以降低噪声对算法的影 响。
发明内容
(一)解决的技术问题
本发明的目的是克服现有技术的不足，本发明提供了一种基于 肌肉压力状态的非接触式疲劳监测方法，解决提取物理压力信号中 所产生的问题。
(二)技术方案
本发明的技术方案：一种基于肌肉压力状态的非接触式疲劳监 测方法，包括：
步骤一、获取人员的面部信息：使用单波段相机(640nm波段) 来采集人员的面部图像，采集120s的图像片段并进行去噪和去伪影 处理，从而获取人员的面部信息；
步骤二、对图像进行多LBP(Local Binary Patterns局部二值 模式)特征提取：将从步骤一得到的处理后的人员面部图像进行多 LBP特征提取，然后把得到的特征进行存储；
步骤三、选择ROI(Region Of Interest感兴趣区域)并进行 跟踪：通过对面部图像的每个区域的特征进行分析得到合适的区域。 使用光流法对选定的ROI区域的特征进行跟踪，得该区域的特征点 的运动信息；
步骤四、对运动信息进行频域分析：将步骤三得到的运动信息 进行滤波再转到频域使用窗口时间为30s的FFT(快速傅里叶变换) 进行处理得到频域特征；
步骤五、使用LSTM(Long Short-Term Memory长短时记忆网络) 模型对频域特征进行识别分类：通过已有的数据来训练一个LSTM模 型，将频域特征放到这个模型中进行分类识别得到疲劳状态。
一种基于肌肉压力状态的非接触式疲劳监测方法，其中：在步 骤二中为了对人脸图像进行滤波处理，在此我们选用业界比较常用 的中值滤波，它能在滤掉噪声的同时还能保护图像边缘信息不受模 糊，我们以4*4的滑动窗口来遍历图像进行滤波祛除噪声使图像变 的更加的平滑为下一步处理做好基础。之后,我们需要脸部的特征点 做参照同时还能有效的抑制噪声对图像的影响，因此我们对人脸图 像进行多尺度的LBP特征处理。多尺度的LBP特征能够很好的描述 图像的局部特征和全局特征，图像大时选取的尺度应该越大，由于 我们的图像像素是1392*1040，所以选取尺度为4的多尺度LBP特征 进行处理。
由于得到的人脸图片比较大，为了防止噪声影响人脸图片的质 量，我们使用多尺度的LBP(MB-LBP)来提取人脸特征点信息。原始的 LBP算子定义在像素3*3的邻域内，以邻域中心像素为阈值，相邻的8 个像素的灰度值与邻域中心的像素值进行比较，若周围像素大于中 心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域 内的8个点经过比较可产生8位二进制数，将这8位二进制数依次排列 形成一个二进制数字，这个二进制数字就是中心像素的LBP值。而 MB-LBP是基本LBP的一种扩展，选择合适的尺度，将图像区域分为多 个子区域块，再把每个区域块分为一个个小区域。计算小区域的灰 度平均值作为当前小区域的灰度值，依次类推周围的小区域灰度值 也是这样计算。当前小区域的灰度值与周围小区域的灰度值进行比 较得到的LBP特征就是MB-LBP。MB-LBP的区域块是9*9，分为9个小区 域，小区域大小为3*3，里面的值就是每个小区域的平均灰度值，然 后再进行比较。MB-LBP不仅提高了面部信息的快速提取也增加了对 噪声的鲁棒性。不同尺度的MB-LBP对面部信息提取的程度不一样， 通过我们的多次试验，我们选取了提取速度快，得到的局部信息细 微的4*4MB-LBP来对面部进行提取过滤。
一种基于肌肉压力状态的非接触式疲劳监测方法，其中：在步 骤三中我们在人脸图像上选取了脸部信号作为ROI。我们选用 Lucas-Kandae optical flow来跟踪ROI区域的变化。Lucas-Kandae 光流算法是一种两帧差分的光流估计算法，算法假设被跟踪的物体亮度基本保持不变且运动相对帧率较慢，在数学上的体现是连续可 导。算法计算两帧在时间t到t+αt之间每个每个像素点位置的移动。 它是基于图像信号的泰勒级数，这种方法称为差分也就是对于空间 和时间坐标使用偏导数。我们可以把图像约束方程可以写为:
I(x,y,z,t)＝I(x+δx,y+δy,z+δz,t+δt)
其中I(x,y,z,t)为在(x,y,z,t)位置的体素。我们假设移动足够的小， 那么对图像约束方程使用泰勒公式，我们可以得到：
从这个方程中我们可以得到:
VxVy,Vz分别是I(x,y,z,t)的光流向量中x，y，z的组成。和则 是图像在(x,y,z,t)这一点向相应方向的差分。所以
IxVx+IyVy+IzVz＝-It
方程可以写做：假设流(Vx,Vy,Vz)在一个大小为m*m*m(m>1)的小窗中是一个常数，那么从像素组中可以得到方 程组:
记作：
(A代表系数矩阵，代表假设流)为了解决这个超定问题，通常采 用最小二乘法将这个光流方程解出来了，得到了光流的运动位置即 下一帧被跟踪区域的坐标信息。
我们在选定的ROI内随机选取三个点，利用光流法计算三个点的 运动轨迹S1，S2，S3：
其中x,y代表此刻点的位置，a,b,c分别代表这三个特征点，比如 代表第一个特征点的第一帧的位置，依次类推，r代表帧数， 总共有R帧图片。我们选取第一帧的ROI区域的三个点的中心点为 固定参考点S0。通过这些运动轨迹可以知道测试者面部区域的运动情 况，根据三个特征点的情况，我们计算出三个特征点与固定参考点 的欧式距离，得到了三组特征序列D1、D2、D3，然后对这三个距离 特征序列求平均值作为最终的特征序列D,这特征序列是时间上连续 的。
Di＝‖Si-S0‖2i＝1,2,3
这里D作为我们信号的输入,提取出运动状态下的肌肉高频抖动信号. 最终将信号作为特征放入LSTM模型中分类训练。
一种基于肌肉压力状态的非接触式疲劳监测方法，其中：在步 骤四中我们把特征信号从时域转换到频域上进行分析。我们对特征 序列进行了傅立叶变换，把时域转换到频域上进行分析。
一种基于肌肉压力状态的非接触式疲劳监测方法，其中：在步 骤五中为此我们将特征信号作为输入放到LSTM模型中训练。训练平 台是Python和tensorflow。
(三)有益效果
本发明的优点在于：利用脸部的特征点做参照能有效的抑制噪 声对图像的影响；MB-LBP不仅提高了面部信息的快速提取也增加了 对噪声的鲁棒性。
附图说明
图1为本发明的算法主要流程图。
图2为3*3大小的原始LBP。
图3为本发明的9*9的多尺度块LBP。
图4为本发明的实施例2中特征信号基线频谱图。
图5为本发明的实施例2中特征信号运动状态频谱图。
图6为本发明的实施例2中特征信号运动的峰值频率。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术 方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明 一部分实施例，而不是全部的实施例。基于本发明中的实施例，本 领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他 实施例，都属于本发明保护的范围。
实施例1、请参阅图1-图4，一种基于肌肉压力状态的非接触式 疲劳监测方法，包括如下：步骤一、获取人员的面部信息：使用单 波段相机来采集人员的面部图像，采集120s的图像片段并进行去噪 和去伪影处理，从而获取人员的面部信息；
步骤二、对图像进行多LBP特征提取：将从步骤一得到的处理 后的人员面部图像进行多LBP特征提取，然后把得到的特征进行存 储；
步骤三、选择ROI(感兴趣区域)并进行跟踪：通过对面部图像 的每个区域的特征进行分析得到合适的区域，使用光流法对选定的 ROI区域的特征进行跟踪，得该区域的特征点的运动信息；
步骤四、对运动信息进行频域分析：将步骤三得到的运动信息 进行滤波再转到频域使用窗口时间为30s的FFT(快速傅里叶变换) 进行处理得到频域特征；
步骤五、使用LSTM模型对频域特征进行识别分类：通过已有的 数据来训练一个LSTM模型，将频域特征放到这个模型中进行分类识 别得到疲劳状态。
实施例2、请参阅图4-图6，一种基于肌肉压力状态的非接触式 疲劳监测方法，其中：以一个特征信号为例，我们从基线和运动状 态的频谱图可以看出，在基线状态下FFT图上无明显的峰值，波形 都是杂乱没有规律,但在运动状态下FFT图上在1.5HZ处有明显峰值。 同时,我们统计了所有参与人员的峰值区间(如图6),我们发现他们 的肌肉抖动高频区间都高于1HZ，我们可以看到运动状态下肌肉运动 的峰值频率因人而异。但是,这也说明了肌肉运动特征D对于运动状 态十分敏感。由此，我们将D作为最终的特征信号放入LSTM模型中, 来训练我们的特征信号分类模型以实现最终的基线和运动状态分类 探测模型。我们可以看出,我们提取的特征信号对运动状态非常敏感 为分类打下了很好的基础。为此我们将特征信号作为输入放到LSTM 模型中训练。训练平台是Python和tensorflow。下图给出了我们利 用tensorflow搭建了一个基于LSTM分类网络，将得到的频率信息 作为输入，设置了8个LSTM cell单元，学习率为0.003，batch size 为30。输出则分为运动状态和基线状态。我们将剩下的12位 participants的数据作为testing。利用tensorflow能够可视化的优点下，在tensorflow上完成测试,而分类准确率达到令人鼓舞的 75％。其余同实施例1。
工作原理：
算法的物理原理就是:物理压力下脸部肌肉的变动(或者抖动) 会合基线状态明显不同。为了提取这种肌肉的变化,这个主要步骤为， 在实验中获得测试人员的多光谱图像，随后从多光谱图像中提取面 部信号，然后滤波去噪后,我们将多变量相关性的方法应用于物理压 力下脸部ROI(Region Of Interest感兴趣区域)的选择。在获取 了ROI之后,我们利用LBP(Local Binary Patterns局部二值模式) 和optical flow(光流)算法跟踪ROI区域的特征点的运动轨迹, 并通过这些运动轨迹提取运动特征。最终通过LSTM(LongShort-Term Memory长短时记忆网络)算法实现物理压力和基线的分类。最终， 构建出无需参与人员的背景资料和基线状态信息的非接触式物理压 力识别算法模型。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语 仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不 一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或 者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵 盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品 或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素， 或者是还包括为这种过程、方法、物品或者设备所固有的要素。在 没有更多限制的情况下，由语句“包括一个……”限定的要素，并 不排除在包括所述要素的过程、方法、物品或者设备中还存在另外 的相同要素。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人 员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这 些实施例进行多种变化、修改、替换和变型，本发明的范围由所附 权利要求及其等同物限定。

Claims (4)

1.一种基于肌肉压力状态的非接触式疲劳监测方法，其特征在于：所述基于肌肉压力状态的非接触式疲劳监测方法包括如下步骤：
步骤一、获取人员的面部信息：使用单波段相机来采集人员的面部图像，采集120s的图像片段并进行去噪和去伪影处理，从而获取人员的面部信息；
步骤二、对图像进行多LBP特征提取：将从步骤一得到的处理后的人员面部图像进行多LBP特征提取，然后把得到的特征进行存储；
步骤三、选择感兴趣区域并进行跟踪：通过对面部图像的每个区域的特征进行分析得到合适的区域，使用光流法对选定的ROI区域的特征进行跟踪，得该区域的特征点的运动信息；
步骤四、对运动信息进行频域分析：将步骤三得到的运动信息进行滤波再转到频域使用窗口时间为30s的快速傅里叶变换进行处理得到频域特征；
步骤五、使用LSTM模型对频域特征进行识别分类：通过已有的数据来训练一个LSTM模型，将频域特征放到这个模型中进行分类识别得到疲劳状态。
2.根据权利要求1所述的一种基于肌肉压力状态的非接触式疲劳监测方法，其特征在于：在所述步骤一中，通过单波段相机640nm波段来采集120s的人员面部图像，这些人员都是在正常基线状态和经过剧烈运动后心率达到165-180时的状态下采集的图像。
3.根据权利要求1所述的一种基于肌肉压力状态的非接触式疲劳监测方法，其特征在于：在所述步骤三中选择的ROI区域为面部的左右脸颊，经过处理后人员身体的基线状态的频域特征是没有明显的波峰，而疲劳状态的频域特征则有很明显波峰出现。
4.根据权利要求1所述的一种基于肌肉压力状态的非接触式疲劳监测方法，其特征在于：在所述步骤五中，通过已有的数据来训练一个LSTM模型，该模型将得到的频率信息作为输入，设置了8个LSTM cell单元，学习率为0.003，batch size为30，输出则分为运动状态和基线状态。
CN201811416740.8A 2018-11-26 2018-11-26 一种基于肌肉压力状态的非接触式疲劳监测方法 Pending CN109524109A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811416740.8A CN109524109A (zh) 2018-11-26 2018-11-26 一种基于肌肉压力状态的非接触式疲劳监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811416740.8A CN109524109A (zh) 2018-11-26 2018-11-26 一种基于肌肉压力状态的非接触式疲劳监测方法

Publications (1)

Publication Number Publication Date
CN109524109A true CN109524109A (zh) 2019-03-26

Family

ID=65794325

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811416740.8A Pending CN109524109A (zh) 2018-11-26 2018-11-26 一种基于肌肉压力状态的非接触式疲劳监测方法

Country Status (1)

Country Link
CN (1) CN109524109A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110693494A (zh) * 2019-10-10 2020-01-17 中国科学院心理研究所 一种基于多通道肌电的骨骼肌状态在线评估方法
CN112364832A (zh) * 2020-12-02 2021-02-12 华戎信息产业有限公司 一种基于欧拉影像放大的人脸识别方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012115346A2 (ko) * 2011-02-23 2012-08-30 사회복지법인 삼성생명공익재단 안면 신경 모니터링 장치 및 방법
CN105469065A (zh) * 2015-12-07 2016-04-06 中国科学院自动化研究所 一种基于递归神经网络的离散情感识别方法
CN107731306A (zh) * 2017-10-10 2018-02-23 江西科技师范大学 一种基于热成像技术的非接触式心率提取方法
CN108038414A (zh) * 2017-11-02 2018-05-15 平安科技（深圳）有限公司 基于循环神经网络的人物性格分析方法、装置及存储介质
CN108805089A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态的情绪识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012115346A2 (ko) * 2011-02-23 2012-08-30 사회복지법인 삼성생명공익재단 안면 신경 모니터링 장치 및 방법
CN105469065A (zh) * 2015-12-07 2016-04-06 中国科学院自动化研究所 一种基于递归神经网络的离散情感识别方法
CN107731306A (zh) * 2017-10-10 2018-02-23 江西科技师范大学 一种基于热成像技术的非接触式心率提取方法
CN108038414A (zh) * 2017-11-02 2018-05-15 平安科技（深圳）有限公司 基于循环神经网络的人物性格分析方法、装置及存储介质
CN108805089A (zh) * 2018-06-14 2018-11-13 南京云思创智信息科技有限公司 基于多模态的情绪识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XUQIANG LI,ET AL.: ""Detection of physical stress using facial muscle activity"" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110693494A (zh) * 2019-10-10 2020-01-17 中国科学院心理研究所 一种基于多通道肌电的骨骼肌状态在线评估方法
CN112364832A (zh) * 2020-12-02 2021-02-12 华戎信息产业有限公司 一种基于欧拉影像放大的人脸识别方法和系统

Similar Documents

Publication Publication Date Title
Wang et al. SegRoot: A high throughput segmentation method for root image analysis
Batool et al. Fast detection of facial wrinkles based on Gabor features using image morphology and geometric constraints
Lee et al. FingerNet: Deep learning-based robust finger joint detection from radiographs
CN105913081B (zh) 基于改进的PCAnet的SAR图像分类方法
CN109377441A (zh) 具有隐私保护功能的舌像采集方法和系统
Jayanthi et al. Automatic diagnosis of retinal diseases from color retinal images
CN109003265A (zh) 一种基于贝叶斯压缩感知的无参考图像质量客观评价方法
CN109524109A (zh) 一种基于肌肉压力状态的非接触式疲劳监测方法
CN106529441B (zh) 基于模糊边界分片的深度动作图人体行为识别方法
CN104200218B (zh) 一种基于时序信息的跨视角动作识别方法及系统
CN107334469A (zh) 基于支持向量机的非接触多人心率测量方法及装置
CN104679967B (zh) 一种判断心理测试可靠性的方法
CN113240018B (zh) 一种基于误差反向传播算法的手绘图形分类方法及系统
CN108446639A (zh) 低功耗增强现实设备
CN106326827A (zh) 掌静脉识别系统
Islam et al. A New Image Quality Index and it‟ s Application on MRI Image
Ningtyas et al. Performance analysis of local binary pattern and k-nearest neighbor on image classification of fingers leaves
CN110175531B (zh) 一种基于姿态的考生位置定位方法
CN110796638B (zh) 毛孔检测方法
Zhang et al. Regions of interest extraction based on visual attention model and watershed segmentation
Magoulas et al. Tumor detection in colonoscopy using the unsupervised k-windows clustering algorithm and neural networks
Yuan et al. Rotation and illumination invariant texture analysis: matching clothes with complex patterns for blind people
Al-Olofi et al. Improved anomaly detection in low-resolution and noisy whole-slide images using transfer learning
KR102595838B1 (ko) 영상 콘텐츠의 광고 효과 평가 방법 및 이를 적용하는 시스템
CN113694482B (zh) 一种用于个体化治疗肌少症的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination