CN109620221A - 基于智能眼镜的疲劳提醒方法、装置、智能眼镜及介质 - Google Patents
基于智能眼镜的疲劳提醒方法、装置、智能眼镜及介质 Download PDFInfo
- Publication number
- CN109620221A CN109620221A CN201811203500.XA CN201811203500A CN109620221A CN 109620221 A CN109620221 A CN 109620221A CN 201811203500 A CN201811203500 A CN 201811203500A CN 109620221 A CN109620221 A CN 109620221A
- Authority
- CN
- China
- Prior art keywords
- fatigue
- vibration
- index
- tired
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Ophthalmology & Optometry (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Eye Examination Apparatus (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于智能眼镜的疲劳提醒方法、装置、智能眼镜及介质，通过获取眼部肌电信号、振动信号以及眼部图像，再根据获取的所述眼部图像，确定预设时间段眼部开闭状态，根据获取的所述肌电信号以及预先建立的肌电时变参数模型，获取用于评价疲劳的肌电指标，根据获取的所述振动信号以及预先建立的振动时变参数模型，获取用于评价疲劳的振动指标，根据所述肌电指标、所述振动指标以及预设时间内眼部开闭状态，确定待测者的疲劳指数，以此结合肌电信号、振动信号以及眼部图像等综合分析眼部疲劳指数，提高疲劳确定的准确性，最后根据待测者的所述疲劳指数，发出疲劳提醒，以提醒待测者。
Description
技术领域
本发明涉及语音检测技术领域，尤其涉及一种基于智能眼镜的疲劳提醒方法、装置、智能眼镜及介质。
背景技术
疲劳是指由于持续地进行体力和脑力劳动而造成的生理和心理的失调，通常人在疲劳时会变得迟钝，对身体的控制能力降低。例如驾驶员在疲劳状态下驾驶车辆，会头脑不清醒，昏昏欲睡，反应迟钝，不能准确判断和迅速处理各种异常情况；动作失调，手脚不听使唤，烦躁不安，注意力不集中，判断误差较大等等，通常通过驾驶员的眼部状态信息也可以反映驾驶员是否疲劳。
目前，疲劳提醒通常通过检测眨眼频率，根据眨眼频率以及阀值来判断眼部是否疲劳，这种方式虽然可以在一定程度上反映出眼部的疲劳状态，但是人处于过度疲劳时有时会通过强制睁大眼睛来保持注意力，例如驾驶时，此时眼部肌肉的张力会比较大，眼部肌肉的振动频率也会提高，但是眨眼频率并不一定会很高，仅通过眨眼频率判断眼部是否疲劳结果不一定准确。因此，提高疲劳提醒的准确度是一个亟待解决的问题。
上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供了一种基于智能眼镜的疲劳提醒方法、装置、智能眼镜及介质，旨在提高疲劳提醒的准确性。
为实现上述目的，本发明提供了一种基于智能眼镜的疲劳提醒方法，所述智能眼镜包括肌电传感器、振动传感器以及红外摄像头，所述方法包括：
通过所述肌电传感器、所述振动传感器以及所述红外摄像头，分别对应获取待测者眼部肌电信号、振动信号以及眼部图像；
根据获取的所述眼部图像，确定预设时间段眼部开闭状态；
根据获取的所述肌电信号以及预先建立的肌电时变参数模型，获取用于评价疲劳的肌电指标；
根据获取的所述振动信号以及预先建立的振动时变参数模型，获取用于评价疲劳的振动指标；
根据所述肌电指标、所述振动指标以及预设时间内眼部开闭状态，确定待测者的疲劳指数；
根据待测者的所述疲劳指数，发出疲劳提醒。
优选地，所述智能眼镜还包括光线传感器；
相应地，所述根据所述肌电指标、所述振动指标以及预设时间内眼部开闭状态，确定待测者的疲劳指数的步骤之前，所述方法还包括：
通过所述光线传感器，获取外界的光线强度；
根据所述光线强度，确定疲劳修正值；
相应地，所述根据所述肌电指标、所述振动指标以及预设时间内眼部开闭状态，确定待测者的疲劳指数的步骤，具体为：
根据所述肌电指标、所述振动指标、预设时间内眼部开闭状态以及所述疲劳修正值，确定待测者的疲劳指数。
优选地，所述根据所述肌电指标、所述振动指标、预设时间内眼部开闭状态以及所述疲劳修正值，确定待测者的疲劳指数的步骤，具体包括：
在眼部开闭状态为张开状态时，所述待测者的疲劳指数为η，η＝γ(λ1*α)*(λ2*β)；和/或，
在眼部开闭状态为闭合状态时，所述待测者的疲劳指数为η，η＝λ3(γ(λ1*α)*(λ2*β))；
其中，λ1、λ2分别为肌电指标和振动指标的权重；
γ为疲劳修正值；
α为肌电指标；
β为振动指标；
λ3为眼部处于闭合状态相对于张开状态时的权重。
优选地，所述通过所述肌电传感器、所述振动传感器以及所述红外摄像头，分别对应获取待测者眼部肌电信号、振动信号以及眼部图像的步骤之前，还包括：
采集肌电样本数据，所述肌电样本数据包括待测者疲劳前后的肌电信号；
根据采集的所述肌电样本数据，对时变参数模型训练并求取时变参数模型的肌电时变参数，得到肌电时变参数模型；和/或，
所述通过所述肌电传感器、所述振动传感器以及所述红外摄像头，分别对应获取待测者眼部肌电信号、振动信号以及眼部图像的步骤之前，还包括：
采集振动样本数据，所述振动样本数据包括待测者疲劳前后的振动信号；
根据所述振动样本数据，训练时变参数模型并求取模型的振动时变参数，得到振动时变参数模型。
优选地，所述通过所述肌电传感器、所述振动传感器以及所述红外摄像头，分别对应获取待测者眼部肌电信号、振动信号以及眼部图像的步骤之前，还包括：
建立时变参数模型，所述时变参数模型为：
其中，x(n)表示肌电/振动信号的第n个采样值；
w(n)为白噪声残值；
p为AR模型的阶数；
ak是时变参数模型的第k个系数，即要确定的参数。
优选地，所述根据光线强度，确定疲劳修正值的步骤，具体包括：
根据光线强度，确定第一疲劳修正值；
根据当前时间，确定第二疲劳修正值；
根据所述第一疲劳修正值以及所述第二疲劳修正值，确定疲劳修正值。
优选地，所述根据获取的所述眼部图像，确定预设时间段眼部开闭状态的步骤，具体包括：
将获取的所述眼部图像拟合形成椭圆；
根据椭圆的长轴长度、短轴长度，计算预设时间段每帧图像中眼部开度；
根据所述预设时间段每帧图像中眼部开度，确定预设时间段眼部开闭状态。
为了实现上述目的，本发明还提供一种基于智能眼镜的疲劳提醒装置，包括：
疲劳信息获取模块，用于通过所述肌电传感器、所述振动传感器以及所述红外摄像头，分别对应获取眼部肌电信号、振动信号以及眼部图像；
眼部状态分析模块，用于根据获取的所述眼部图像，确定预设时间段眼部开闭状态；
第一指标确定模块，用于根据获取的所述肌电信号以及预先建立的肌电时变参数模型，获取用于评价疲劳的肌电指标；
第二指标确定模块，用于根据获取的所述振动信号以及预先建立的振动时变参数模型，获取用于评价疲劳的振动指标；
疲劳指数分析模块，用于根据所述肌电指标、所述振动指标以及预设时间内眼部开闭状态，确定待测者的疲劳指数；
疲劳提醒发送模块，用于根据待测者的所述疲劳指数，发出疲劳提醒。
为了实现上述目的，本发明还提供一种智能眼镜，所述智能眼镜包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于智能眼镜的疲劳提醒程序，所述基于智能眼镜的疲劳提醒程序配置为实现上述的基于智能眼镜的疲劳提醒方法的步骤。
为了实现上述目的，本发明还提供一种存储介质，所述存储介质上存储有基于智能眼镜的疲劳提醒程序，所述基于智能眼镜的疲劳提醒程序被处理器执行时实现上述的基于智能眼镜的疲劳提醒方法的步骤。
本发明通过获取眼部肌电信号、振动信号以及眼部图像，再根据获取的所述眼部图像，确定预设时间段眼部开闭状态，根据获取的所述肌电信号以及预先建立的肌电时变参数模型，获取用于评价疲劳的肌电指标，根据获取的所述振动信号以及预先建立的振动时变参数模型，获取用于评价疲劳的振动指标，根据所述肌电指标、所述振动指标以及预设时间内眼部开闭状态，确定待测者的疲劳指数，以此结合肌电信号、振动信号以及眼部图像等综合分析眼部疲劳指数，提高疲劳确定的准确性，最后根据待测者的所述疲劳指数，发出疲劳提醒，以提醒待测者。
附图说明
图1是本发明实施例方案涉及的硬件运行环境的智能眼镜的结构示意图；
图2为本发明基于智能眼镜的疲劳提醒方法第一实施例的流程示意图；
图3为本发明基于智能眼镜的疲劳提醒方法第二实施例的流程示意图；
图4为本发明基于智能眼镜的疲劳提醒方法第三实施例的流程示意图；
图5为本发明基于智能眼镜的疲劳提醒方法第四实施例的流程示意图；
图6为本发明基于智能眼镜的疲劳提醒方法第五实施例的流程示意图
图7为本发明基于智能眼镜的疲劳提醒装置第一实施例的结构框图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参照图1，图1为本发明实施例方案涉及的硬件运行环境的用户行为识别设备结构示意图。
如图1所示，该智能眼镜可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的结构并不构成对智能眼镜的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种存储介质的存储器1005中可以包括操作系统、数据存储模块、网络通信模块、用户接口模块以及基于智能眼镜的疲劳提醒程序。
在图1所示的智能眼镜中，网络接口1004主要用于与网络服务器进行数据通信；用户接口1003主要用于与用户进行数据交互；本发明智能眼镜中的处理器1001、存储器1005可以设置在智能眼镜中，所述智能眼镜通过处理器1001调用存储器1005中存储的基于智能眼镜的疲劳提醒程序，并执行本发明实施例提供的基于智能眼镜的疲劳提醒方法。在本实施例中，所述智能眼镜包括肌电传感器、振动传感器、红外摄像头以及光线传感器。在本实施例中，肌电传感器、振动传感器安装在智能眼镜的镜架(镜框或镜腿)上，肌电传感器的探针与眼部接触(通常是与上眼睑轻触)，红外摄像头安装在镜框上对眼部进行拍摄，光线传感器安装在镜架(镜框或镜腿)上，光线传感器的具体安装位置不做限制，只要能检测到外界光线即可，在其他实施例中，肌电传感器、振动传感器、红外摄像头以及光线传感器也可以是采用其他方式设置在智能眼镜上。
本发明实施例提供了一种基于智能眼镜的疲劳提醒方法，参照图2，图2为本发明基于智能眼镜的疲劳提醒方法第一实施例的流程示意图。
本实施例中，所述基于智能眼镜的疲劳提醒方法包括如下步骤：
步骤S10：通过所述肌电传感器、所述振动传感器以及所述红外摄像头，分别对应获取待测者眼部肌电信号、振动信号以及眼部图像；
需要说明的是，肌电信号(electromyography，简称EMG)是众多肌纤维中运动单元动作电位(MUAP)在时间和空间上的叠加，应用电子学仪器记录肌肉静止或收缩时的电活动，及应用电刺激检查神经、肌肉兴奋及传导功能的方法，通过此检查可以确定周围神经、神经元、神经肌肉接头及肌肉本身的功能状态。在本实施例中，通过肌电传感器检测其电势获取肌电信号。肌电传感器可以安装在智能眼镜的镜腿并与眼部的上眼睑接触，以采集肌电信号。
具体实现时，振动信号通过振动传感器采集，振动传感器安装在智能眼镜的镜架上，由于眼部眼睑振动通常会带动智能眼镜的镜架的振动，可以通过检测镜架的振动来反应眼部的振动；为了使效果更好，也可以将振动信号安装在智能眼镜上，振动传感器的触头与上眼睑接触，可以直接地感测眼部的振动信号。眼部图像通过红外摄像头对眼部区域进行捕捉。
步骤S20：根据获取的所述眼部图像，确定预设时间段眼部开闭状态；
需要说明的是，在预设时间内眼部处于闭合或张开状态也是待测者疲劳的一个表征，例如待测者在驾驶时，通常预设时间内眼部处于张开状态时眼部肌肉越紧张则说明越疲劳；若是预设时间内眼部处于张开状态时眼部肌肉越紧张且伴随有肌肉振动，在眼部肌肉紧张程度一定的前提下，肌肉振动频率越大，则说明越疲劳；而预设时间内眼部处于闭合状态时若眼部肌肉紧张，则说明待测者虽然严重疲劳但是还有意识；预设时间内眼部处于闭合状态时若眼部肌肉放松，说明待测者严重疲劳且进入睡眠状态。
具体实现时，可以对预设时间内每帧图像中眼部开度进行归一处理，再统计得出预设时间内的眼部开闭状态，例如，在预设时间内各帧图像统计的张开的次数大于预设张开阀值，则判断眼部为张开状态；预设时间内各帧图像统计的闭合的次数大于预设阀值，则判断眼部为闭合状态，以此可以忽略偶尔眨眼带来的噪音，判断出预设时间内眼部的状态。
例如，假设预设时间内有20帧图像，设置每帧图像中眼部开度大于0时，取值为1，若其中15帧图像为眼部开度大于0，则统计开度总值为15，当开度总值大于预设阀值，则判断眼部处于张开，以此将偶尔的眨眼忽略。
步骤S30：根据获取的所述肌电信号以及预先建立的肌电时变参数模型，获取用于评价疲劳的肌电指标；
需要说明的是，所述步骤S20和所述步骤S30可以同时进行，也可以是S20在前，也可以是S30在前。人体各种形式的运动，主要是靠一些肌肉细胞的收缩活动来完成的，而这些机械收缩运动总是在动作电位发生数毫秒后才开始运动，因此，肌肉信号是产生肌肉力的电信号根源，而肌电指标可以表征眼部肌肉的紧张程度。在本实施例中，通过利用获取的所述肌电信号以及预先建立的时变参数模型，获取用于评价疲劳的肌电指标，从最小均方误差拟合角度对随机信号进行分析，克服了经典谱估计的频率分辨率低和方差性能不好的缺点。而在其他实施例中，也可以采用加窗变换法或短时变换法(SFFT)对肌电信号处理。
具体实现时，根据时变参数模型对肌电信号由一个标量替换成向量过程，从线性非平稳转化成线性时不变，再用递推最小二乘法求解模型中的参数，以对肌电信号进行特征提取，得到用于表征疲劳的肌电指标。
步骤S40：根据获取的所述振动信号以及预先建立的振动时变参数模型，获取用于评价疲劳的振动指标；
需要说明的是，步骤S30和步骤S40可以没有先后关系，也可以是S30在前，也可以是S40在前，在此不做具体限制。
具体实现时，通过时变参数模型对振动信号转化，再用递推最小二乘法求解模型中的参数，对振动信号进行特征提取，得到用于表征疲劳的振动指标。具体过程与步骤S30相同，在此不再赘述。在其他实施例中，振动信号也可以采用其他本领域技术人员公知的方式处理，例如傅里叶变换等。
步骤S50：根据所述肌电指标、所述振动指标以及预设时间内眼部开闭状态，确定待测者的疲劳指数；
需要说明的是，通过肌电指标、振动指标，预设时间内眼部开闭状态等综合考虑待测者的疲劳指数，可以提高获取疲劳指数的准确度。
步骤S60：根据待测者的所述疲劳指数，发出疲劳提醒。
具体实现时，在判断出待测者的疲劳指数达到预设阀值时，确定待测者处于疲劳状态，可以发出疲劳提醒。发出疲劳提醒的方式有多种，例如智能眼镜将疲劳提醒发送给终端，终端可以通过发出提示语音例如疲劳请注意或嘀嗒等，以提示待测者。
本发明通过获取眼部肌电信号、振动信号、眼部图像以及光线强度，再根据获取的所述眼部图像，确定预设时间段眼部开闭状态，根据获取的所述肌电信号以及预先建立的肌电时变参数模型，获取用于评价疲劳的肌电指标，根据获取的所述振动信号以及预先建立的振动时变参数模型，获取用于评价疲劳的振动指标，根据光线强度，确定疲劳修正值，根据所述肌电指标、所述振动指标、预设时间内眼部开闭状态以及所述疲劳修正值，确定待测者的疲劳指数，以此结合肌电信号、振动信号、眼部图像以及光线强度等综合分析眼部疲劳指数，提高疲劳确定的准确性，最后根据待测者的所述疲劳指数，发出疲劳提醒，以提醒待测者。
参阅图3，图3为本发明基于智能眼镜的疲劳提醒方法第二实施例的流程示意图。
基于上述第一实施例，所述智能眼镜还包括光线传感器；在本实施例中，所述步骤S50之前，所述方法还包括：
步骤S71：通过所述光线传感器，获取外界的光线强度。
需要说明的是，步骤S70与步骤S20、所述步骤S30、所述步骤S40之间可以没有先后关系，即可以同时进行，也可以非同时进行。光线强度通过光线传感器(Light-Sensor，又称为亮度传感器)获取，感测光线强弱。通常光线强弱对人的视野会有较大影响，例如白天阳光明媚和阴天人的视野是不同的，又例如白天和晚上，人的视野也是不同的，例如驾驶员在夜晚时由于视野不佳更需要集中精神，工作了一天，夜晚也比较疲劳，故设置疲劳修正值可以充分考虑该情况的发生。
步骤S72：根据所述光线强度，确定疲劳修正值。
需要说明的是，通常，晚上(19点-22点)，深夜(22点-次日2点)，拂晓(2点-4点)，黎明(4点到6点)，各个阶段的疲劳程度会不一样，疲劳修正值可以是按各阶段设置，例如晚上的疲劳修正值为7，而深夜的疲劳修正值为10；也可以是在当处于19点至次日黎明时，疲劳修正值呈正比增加。
具体实现时，所述步骤S71包括：
根据光线强度，确定第一疲劳修正值；
根据当前时间，确定第二疲劳修正值；
根据所述第一疲劳修正值以及所述第二疲劳修正值，确定疲劳修正值。
相应地，所述步骤S50，具体为：
步骤S51：根据所述肌电指标、所述振动指标、预设时间内眼部开闭状态以及所述疲劳修正值，确定待测者的疲劳指数。
具体实现时，确定待测者的疲劳指数的步骤，具体包括：
在眼部开闭状态为张开状态时，所述待测者的疲劳指数为η，η＝γ(λ1*α)*(λ2*β)；和/或，
在眼部开闭状态为闭合状态时，所述待测者的疲劳指数为η，η＝λ3(γ(λ1*α)*(λ2*β))；
其中，λ1、λ2分别为肌电指标和振动指标的权重；
γ为疲劳修正值；
α为肌电指标；
β为振动指标；
λ3为眼部处于闭合状态相对于张开状态时的权重。
优选地，λ1＞λ2，具体取值可以通过用户自定义，也可以是提前预设，在此不做具体限制。
由于眼部处于闭合状态时说明待测者(特别是驾驶员)处于极度疲劳，通过λ3的取值为10或者是更高，此时若长期闭眼说明待测者进入深度疲劳，需要及时提醒。
参照图4，图4为本发明基于智能眼镜的疲劳提醒方法第三实施例的流程示意图。
基于上述第一实施例或第二实施例，在本实施例中，所述步骤S10之前，还包括：
步骤S101：采集肌电样本数据，所述肌电样本数据包括待测者疲劳前后的肌电信号；
具体实现时，可以采集至少20名健康的待测者检测疲劳前后的肌电信号。
步骤S102：根据采集的所述肌电样本数据，对时变参数模型训练并求取时变参数模型的肌电时变参数，得到肌电时变参数模型。
具体实现时，根据采集的待测者疲劳前后的肌电信号，对时变参数模型训练，求解得到时变参数模型中待求的参数，将参数求解出后得到的模型，即为肌电时变参数模型。
参照图5，图5为本发明基于智能眼镜的疲劳提醒方法第四实施例的流程示意图。
基于上述第一实施例或第二实施例，在本实施例中，所述步骤S10之前，还包括：
步骤S103：采集振动样本数据，所述振动样本数据包括待测者疲劳前后的振动信号；
具体实现时，可以采集至少20名健康的待测者检测疲劳前后的振动信号。
步骤S104：根据所述振动样本数据，训练时变参数模型并求取模型的振动时变参数，得到振动时变参数模型。
具体实现时，根据采集的待测者疲劳前后的振动信号，对时变参数模型训练，求解得到时变参数模型中待求的参数，将参数求解出后得到的模型，即为振动时变参数模型。
参照图6，图6为本发明基于智能眼镜的疲劳提醒方法第五实施例的流程示意图。
基于上述第一实施例，在本实施例中，所述步骤S20具体包括：
步骤S21：将获取的所述眼部图像拟合形成椭圆；
具体实现时，将获取的所述眼部图像拟合形成椭圆，具体包括：
对眼部图像灰度化处理；
对灰度化后的眼部图像提取边缘；
根据提取的边缘拟合形成椭圆。
步骤S22：根据椭圆的长轴长度、短轴长度，计算预设时间段每帧图像中眼部开度；
具体实现时，根据椭圆的长轴长度为a、短轴长度为b，每帧图像中眼部开度计算公式为b/a。在b/a为0时说明该帧图像中眼部处于闭合状态，而b/a大于0时说明该帧图像中眼部处于张开状态。
步骤S23：根据所述预设时间段每帧图像中眼部开度，确定预设时间段眼部开闭状态。
具体实现时，可以通过统计预设时间内每帧图像中眼部的状态，当张开的次数达到预设次数，则判断预设时间段眼部处于张开状态；当闭合的次数达到预设次数，则判断预设时间段眼部处于闭合状态。
此外，本发明实施例还提出一种存储介质，所述存储介质上存储有基于智能眼镜的疲劳提醒识别程序，所述基于智能眼镜的疲劳提醒程序被处理器执行时实现如上文所述的基于智能眼镜的疲劳提醒方法的步骤。
参照图7，图7为本发明基于智能眼镜的疲劳提醒装置第一实施例的结构框图。
如图7所示，本发明实施例提出的基于智能眼镜的疲劳提醒装置包括：
疲劳信息获取模块701，用于通过所述肌电传感器、所述振动传感器以及所述红外摄像头，分别对应获取眼部肌电信号、振动信号以及眼部图像；
需要说明的是，肌电信号(electromyography，简称EMG)是众多肌纤维中运动单元动作电位(MUAP)在时间和空间上的叠加，应用电子学仪器记录肌肉静止或收缩时的电活动，及应用电刺激检查神经、肌肉兴奋及传导功能的方法，通过此检查可以确定周围神经、神经元、神经肌肉接头及肌肉本身的功能状态。
具体实现时，疲劳信息获取模块701获取眼部肌电信号、振动信号以及眼部图像。
眼部状态分析模块702，用于根据获取的所述眼部图像，确定预设时间段眼部开闭状态；
具体实现时，眼部状态分析模块702根据获取的所述眼部图像，确定预设时间段眼部开闭状态。
第一指标确定模块703，用于根据获取的所述肌电信号以及预先建立的肌电时变参数模型，获取用于评价疲劳的肌电指标；
具体实现时，第一指标确定模块703根据获取的所述肌电信号以及预先建立的肌电时变参数模型，获取用于评价疲劳的肌电指标。
第二指标确定模块704，用于根据获取的所述振动信号以及预先建立的振动时变参数模型，获取用于评价疲劳的振动指标；
具体实现时，第二指标确定模块704根据获取的所述振动信号以及预先建立的振动时变参数模型，获取用于评价疲劳的振动指标。
疲劳指数分析模块705，用于根据所述肌电指标、所述振动指标、预设时间内眼部开闭状态以及所述疲劳修正值，确定待测者的疲劳指数；
具体实现时，疲劳指数分析模块705根据所述肌电指标、所述振动指标以及预设时间内眼部开闭状态，确定待测者的疲劳指数。
疲劳提醒发送模块706，用于根据待测者的所述疲劳指数，发出疲劳提醒。
具体实现时，疲劳提醒发送模块706根据待测者的所述疲劳指数，发出疲劳提醒。
本发明通过获取眼部肌电信号、振动信号以及眼部图像，再根据获取的所述眼部图像，确定预设时间段眼部开闭状态，根据获取的所述肌电信号以及预先建立的肌电时变参数模型，获取用于评价疲劳的肌电指标，根据获取的所述振动信号以及预先建立的振动时变参数模型，获取用于评价疲劳的振动指标，根据所述肌电指标、所述振动指标以及预设时间内眼部开闭状态，确定待测者的疲劳指数，以此结合肌电信号、振动信号以及眼部图像等综合分析眼部疲劳指数，提高疲劳确定的准确性，最后根据待测者的所述疲劳指数，发出疲劳提醒，以提醒待测者。
本发明基于智能眼镜的疲劳提醒装置装置的其他实施例或具体实现方式可参照上述各方法实施例，此处不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器/随机存取存储器、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (10)
1.一种基于智能眼镜的疲劳提醒方法，所述智能眼镜包括肌电传感器、振动传感器以及红外摄像头，其特征在于，所述方法包括：
通过所述肌电传感器、所述振动传感器以及所述红外摄像头，分别对应获取待测者眼部肌电信号、振动信号以及眼部图像；
根据获取的所述眼部图像，确定预设时间段眼部开闭状态；
根据获取的所述肌电信号以及预先建立的肌电时变参数模型，获取用于评价疲劳的肌电指标；
根据获取的所述振动信号以及预先建立的振动时变参数模型，获取用于评价疲劳的振动指标；
根据所述肌电指标、所述振动指标以及预设时间内眼部开闭状态，确定待测者的疲劳指数；
根据待测者的所述疲劳指数，发出疲劳提醒。
2.如权利要求1所述的基于智能眼镜的疲劳提醒方法，其特征在于，所述智能眼镜还包括光线传感器；
相应地，所述根据所述肌电指标、所述振动指标以及预设时间内眼部开闭状态，确定待测者的疲劳指数的步骤之前，所述方法还包括：
通过所述光线传感器，获取外界的光线强度；
根据所述光线强度，确定疲劳修正值；
相应地，所述根据所述肌电指标、所述振动指标以及预设时间内眼部开闭状态，确定待测者的疲劳指数的步骤，具体为：
根据所述肌电指标、所述振动指标、预设时间内眼部开闭状态以及所述疲劳修正值，确定待测者的疲劳指数。
3.如权利要求2所述的基于智能眼镜的疲劳提醒方法，其特征在于，所述根据所述肌电指标、所述振动指标、预设时间内眼部开闭状态以及所述疲劳修正值，确定待测者的疲劳指数的步骤，具体包括：
在眼部开闭状态为张开状态时，所述待测者的疲劳指数为η，η＝γ(λ1*α)*(λ2*β)；和/或，
在眼部开闭状态为闭合状态时，所述待测者的疲劳指数为η，η＝λ3(γ(λ1*α)*(λ2*β))；
其中，λ1、λ2分别为肌电指标和振动指标的权重；
γ为疲劳修正值；
α为肌电指标；
β为振动指标；
λ3为眼部处于闭合状态相对于张开状态时的权重。
4.如权利要求1或2所述的基于智能眼镜的疲劳提醒方法，其特征在于，所述通过所述肌电传感器、所述振动传感器以及所述红外摄像头，分别对应获取待测者眼部肌电信号、振动信号以及眼部图像的步骤之前，还包括：
采集肌电样本数据，所述肌电样本数据包括待测者疲劳前后的肌电信号；
根据采集的所述肌电样本数据，对时变参数模型训练并求取时变参数模型的肌电时变参数，得到肌电时变参数模型；和/或，
所述通过所述肌电传感器、所述振动传感器以及所述红外摄像头，分别对应获取待测者眼部肌电信号、振动信号以及眼部图像的步骤之前，还包括：
采集振动样本数据，所述振动样本数据包括待测者疲劳前后的振动信号；
根据所述振动样本数据，训练时变参数模型并求取模型的振动时变参数，得到振动时变参数模型。
5.如权利要求1或2所述的基于智能眼镜的疲劳提醒方法，其特征在于，所述通过所述肌电传感器、所述振动传感器以及所述红外摄像头，分别对应获取待测者眼部肌电信号、振动信号以及眼部图像的步骤之前，还包括：
建立时变参数模型，所述时变参数模型为：
其中，x(n)表示肌电/振动信号的第n个采样值；
w(n)为白噪声残值；
p为AR模型的阶数；
ak是时变参数模型的第k个系数，即要确定的参数。
6.如权利要求2所述的基于智能眼镜的疲劳提醒方法，其特征在于，所述根据光线强度，确定疲劳修正值的步骤，具体包括：
根据光线强度，确定第一疲劳修正值；
根据当前时间，确定第二疲劳修正值；
根据所述第一疲劳修正值以及所述第二疲劳修正值，确定疲劳修正值。
7.如权利要求1所述的基于智能眼镜的疲劳提醒方法，其特征在于，所述根据获取的所述眼部图像，确定预设时间段眼部开闭状态的步骤，具体包括：
将获取的所述眼部图像拟合形成椭圆；
根据椭圆的长轴长度、短轴长度，计算预设时间段每帧图像中眼部开度；
根据所述预设时间段每帧图像中眼部开度，确定预设时间段眼部开闭状态。
8.一种基于智能眼镜的疲劳提醒装置，其特征在于，包括：
疲劳信息获取模块，用于通过所述肌电传感器、所述振动传感器以及所述红外摄像头，分别对应获取眼部肌电信号、振动信号以及眼部图像；
眼部状态分析模块，用于根据获取的所述眼部图像，确定预设时间段眼部开闭状态；
第一指标确定模块，用于根据获取的所述肌电信号以及预先建立的肌电时变参数模型，获取用于评价疲劳的肌电指标；
第二指标确定模块，用于根据获取的所述振动信号以及预先建立的振动时变参数模型，获取用于评价疲劳的振动指标；
疲劳指数分析模块，用于根据所述肌电指标、所述振动指标以及预设时间内眼部开闭状态，确定待测者的疲劳指数；
疲劳提醒发送模块，用于根据待测者的所述疲劳指数，发出疲劳提醒。
9.一种智能眼镜，其特征在于，所述智能眼镜包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的基于智能眼镜的疲劳提醒程序，所述基于智能眼镜的疲劳提醒程序配置为实现如权利要求1至7中任一项所述的基于智能眼镜的疲劳提醒方法的步骤。
10.一种存储介质，其特征在于，所述存储介质上存储有基于智能眼镜的疲劳提醒程序，所述基于智能眼镜的疲劳提醒程序被处理器执行时实现如权利要求1至7任一项所述的基于智能眼镜的疲劳提醒方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811203500.XA CN109620221B (zh) | 2018-10-16 | 2018-10-16 | 基于智能眼镜的疲劳提醒方法、装置、智能眼镜及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811203500.XA CN109620221B (zh) | 2018-10-16 | 2018-10-16 | 基于智能眼镜的疲劳提醒方法、装置、智能眼镜及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109620221A true CN109620221A (zh) | 2019-04-16 |
| CN109620221B CN109620221B (zh) | 2022-09-23 |
Family
ID=66066378
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811203500.XA Active CN109620221B (zh) | 2018-10-16 | 2018-10-16 | 基于智能眼镜的疲劳提醒方法、装置、智能眼镜及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109620221B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113143299A (zh) * | 2021-04-26 | 2021-07-23 | 广东小天才科技有限公司 | 一种视力监测方法、系统、眼镜及头戴智能设备 |
| CN113378681A (zh) * | 2021-06-02 | 2021-09-10 | 联想(北京)有限公司 | 一种疲劳测量方法、装置及计算机可读介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104757981A (zh) * | 2015-03-16 | 2015-07-08 | 于莹光 | 一种高灵敏收发一体红外检测驾驶员疲劳度的方法及装置 |
| CN106200004A (zh) * | 2016-07-15 | 2016-12-07 | 宇龙计算机通信科技(深圳)有限公司 | 提醒方法、智能眼镜及车载系统 |
| CN206741130U (zh) * | 2017-05-19 | 2017-12-12 | 天津职业技术师范大学 | 一种具有监测和提示功能的防走神眼镜 |
| CN107510460A (zh) * | 2017-09-28 | 2017-12-26 | 歌尔科技有限公司 | 一种头戴显示设备防疲劳控制方法及头戴显示设备 |
| CN107918215A (zh) * | 2017-11-30 | 2018-04-17 | 西安科锐盛创新科技有限公司 | 防止疲劳驾驶的眼镜 |
| US20180275429A1 (en) * | 2017-03-22 | 2018-09-27 | Johnson & Johnson Vision Care, Inc. | Systems and methods for ciliary muscle vibration detection |
-
2018
- 2018-10-16 CN CN201811203500.XA patent/CN109620221B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104757981A (zh) * | 2015-03-16 | 2015-07-08 | 于莹光 | 一种高灵敏收发一体红外检测驾驶员疲劳度的方法及装置 |
| CN106200004A (zh) * | 2016-07-15 | 2016-12-07 | 宇龙计算机通信科技(深圳)有限公司 | 提醒方法、智能眼镜及车载系统 |
| US20180275429A1 (en) * | 2017-03-22 | 2018-09-27 | Johnson & Johnson Vision Care, Inc. | Systems and methods for ciliary muscle vibration detection |
| CN206741130U (zh) * | 2017-05-19 | 2017-12-12 | 天津职业技术师范大学 | 一种具有监测和提示功能的防走神眼镜 |
| CN107510460A (zh) * | 2017-09-28 | 2017-12-26 | 歌尔科技有限公司 | 一种头戴显示设备防疲劳控制方法及头戴显示设备 |
| CN107918215A (zh) * | 2017-11-30 | 2018-04-17 | 西安科锐盛创新科技有限公司 | 防止疲劳驾驶的眼镜 |
Non-Patent Citations (1)
| Title |
|---|
| CHAOFENG LÜ ET AL.: "Ultrathin Flexible Piezoelectric Sensors for Monitoring Eye Fatigue", 《JOURNAL OF MICROMECHANICS AND MICROENGINEERING》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113143299A (zh) * | 2021-04-26 | 2021-07-23 | 广东小天才科技有限公司 | 一种视力监测方法、系统、眼镜及头戴智能设备 |
| CN113378681A (zh) * | 2021-06-02 | 2021-09-10 | 联想(北京)有限公司 | 一种疲劳测量方法、装置及计算机可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109620221B (zh) | 2022-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109726771A (zh) | 异常驾驶检测模型建立方法、装置及存储介质 | |
| Brown et al. | An integrated model of choices and response times in absolute identification. | |
| CN101583313B (zh) | 觉醒状态判断模型生成装置、觉醒状态判断装置以及警告装置 | |
| CN107480872A (zh) | 一种基于数据交换网络的在线教学考评系统及方法 | |
| CN110991381A (zh) | 一种基于行为和语音智能识别的实时课堂学生状态分析与指示提醒系统和方法 | |
| CN108464839A (zh) | 一种基于机器学习的车载疲劳驾驶监测预警系统 | |
| CN110119672A (zh) | 一种嵌入式疲劳状态检测系统及方法 | |
| CN103472922A (zh) | 一种基于p300与ssvep混合式脑机接口的目的地选择系统 | |
| CN114246589B (zh) | 记忆认知能力测评方法及系统 | |
| CN114648354A (zh) | 一种基于眼动追踪和情绪状态的广告测评方法和系统 | |
| CN106055894A (zh) | 一种基于人工智能的行为分析方法和系统 | |
| CN109770925A (zh) | 一种基于深度时空网络的疲劳检测方法 | |
| CN109620221A (zh) | 基于智能眼镜的疲劳提醒方法、装置、智能眼镜及介质 | |
| CN108714020B (zh) | 自适应心理调节仪、实时眼动延时求取方法及存储介质 | |
| CN109949438A (zh) | 异常驾驶监测模型建立方法、装置及存储介质 | |
| CN110520041A (zh) | 脑波数据分析系统、信息处理终端、电子设备以及用于认知症检查的信息的呈现方法 | |
| CN105147304A (zh) | 一种人格特质值测验的刺激信息编制方法 | |
| TW201642126A (zh) | 評估一使用者對一可攜式行動裝置之使用程度的方法 | |
| CN105105771A (zh) | 潜能值测验的认知指标分析方法 | |
| CN109276243A (zh) | 脑电心理测试方法及终端设备 | |
| CN109875583A (zh) | 一种基于ar技术的疲劳驾驶检测系统及方法 | |
| CN113951837A (zh) | 一种睡眠环境中阅读面测光方法 | |
| CN101382837B (zh) | 复合动作模式脑电鼠标控制装置 | |
| CN111857355A (zh) | 一种阅读状态监测反馈系统 | |
| CN115083337A (zh) | 一种led显示驱动系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |