CN112494044A - 疲劳驾驶检测方法、装置、可读存储介质及电子设备 - Google Patents

疲劳驾驶检测方法、装置、可读存储介质及电子设备 Download PDF

Info

Publication number
CN112494044A
CN112494044A CN202011240992.7A CN202011240992A CN112494044A CN 112494044 A CN112494044 A CN 112494044A CN 202011240992 A CN202011240992 A CN 202011240992A CN 112494044 A CN112494044 A CN 112494044A
Authority
CN
China
Prior art keywords
vector
electrocardiogram
vectors
effective
algorithm
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011240992.7A
Other languages
English (en)
Other versions
CN112494044B (zh
Inventor
朱宝峰
何光宇
程万军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd
Original Assignee
Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd filed Critical Shenyang Neusoft Intelligent Medical Technology Research Institute Co Ltd
Priority to CN202011240992.7A priority Critical patent/CN112494044B/zh
Publication of CN112494044A publication Critical patent/CN112494044A/zh
Application granted granted Critical
Publication of CN112494044B publication Critical patent/CN112494044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Hospice & Palliative Care (AREA)
  • Pathology (AREA)
  • Developmental Disabilities (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Educational Technology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本公开涉及一种疲劳驾驶检测方法、装置、可读存储介质及电子设备,应用于车辆,方法包括:采集所述车辆内驾驶员在不同时间段内的心电信号;对每一时间段的心电信号进行采样,得到所述心电信号对应的心电向量;通过预设聚类算法对多个所述心电向量进行聚类,以得到有效心电向量;在所述有效心电向量中识别出所述心电信号的关键点;根据所述关键点确定所述驾驶员是否处于疲劳驾驶状态。如此,在驾驶员驾驶车辆的过程中,车辆或者车载安全系统可以对驾驶员的身体健康状态和精神状态进行监控,有效避免驾驶员疲劳驾驶,进而可以减少交通事故的发生。

Description

疲劳驾驶检测方法、装置、可读存储介质及电子设备
技术领域
本公开涉及心电监控技术领域,具体地,涉及一种疲劳驾驶检测方法、装置、可读存储介质及电子设备。
背景技术
随着经济和科技的快速发展,汽车被越来越多的人拥有和使用。汽车作为交通工具,给我们的生活和工作都带来了极大的方便,同时也带来了交通安全的问题。全国各地每年都有不计其数的交通事故发生,造成了重大的人员伤亡和财产损失。随着科技的发展,汽车的性能和安全报警系统也越来越完善,然而每年仍有很多交通事故发生,这与驾驶员的身体健康状态和精神状态有着极大的关系。
目前的车辆及车载安全系统对于驾驶人员的身体健康状态和精神状态是没有监控的,也就是说全凭驾驶员自身的感觉来判断。例如,当驾驶员感觉到自己的身体出现异常或者特别疲倦时,停止驾驶车辆,以避免交通事故的发生。然而,人的感觉有时也是会出错的,不能有效避免交通事故的发生。
发明内容
本公开的目的是提供一种疲劳驾驶检测方法、装置、可读存储介质及电子设备,以有效避免交通事故的发生。
为了实现上述目的,本公开第一方面提供一种疲劳驾驶检测方法,应用于车辆,包括:
采集所述车辆内驾驶员在不同时间段内的心电信号;
对每一时间段的心电信号进行采样,得到所述心电信号对应的心电向量;
通过预设聚类算法对多个所述心电向量进行聚类,以得到有效心电向量;
在所述有效心电向量中识别出所述心电信号的关键点;
根据所述关键点确定所述驾驶员是否处于疲劳驾驶状态。
可选地,所述预设聚类算法包括马氏距离算法;
所述通过预设聚类算法对多个所述心电向量进行聚类,以得到有效心电向量,包括:
通过以下公式确定所述多个心电向量的马氏距离中心点Center:
Figure BDA0002768405770000021
其中,N为每一所述心电向量包括的元素的数量,J为所述心电向量的数量,xkj为第j个心电向量的第k个元素,k的取值范围为1至N,j的取值范围1至J;
将多个所述心电向量作为列向量或行向量组成心电向量矩阵,并确定所述心电向量矩阵的协方差矩阵;
根据所述协方差矩阵,通过以下公式确定每一所述心电向量与所述马氏距离中心点的马氏距离:
Figure BDA0002768405770000022
其中,DM(xj)表征第j个心电向量xj与所述马氏距离中心点Center的马氏距离,Cov-1表征所述心电向量矩阵的协方差矩阵Cov的逆矩阵;
将所述马氏距离位于预设置信区间的心电向量确定为有效心电向量。
可选地,所述预设聚类算法包括相似度算法;所述通过预设聚类算法对多个所述心电向量进行聚类,以得到有效心电向量,包括:
获取样本心电向量,所述样本心电向量为正常的心电向量;
针对每一所述心电向量,根据所述相似度算法确定所述心电向量与所述样本心电向量的相似度;
将所述相似度大于或等于预设阈值的心电向量确定为有效心电向量。
可选地,所述预设聚类算法包括马氏距离算法和相似度算法,所述相似度算法包括余弦相似度算法和相关性算法;所述通过预设聚类算法对多个所述心电向量进行聚类,以得到有效心电向量,包括:
通过所述马氏距离算法,确定每一心电向量与多个所述心电向量的马氏距离中心点的马氏距离;
将所述马氏距离位于预设置信区间的心电向量确定为第一有效心电向量;
根据所述余弦相似度算法,确定每一所述第一有效心电向量与样本心电向量的余弦相似度;
将所述余弦相似度大于余弦相似度阈值的第一有效心电向量确定为第二有效心电向量;
根据所述相关性算法,确定每一所述第二有效心电向量与所述样本心电向量的相关系数;
将所述相关系数大于相关系数阈值的第二有效心电向量确定为有效心电信号。
可选地,所述车辆的方向盘上设置有心电信号传感芯片;所述采集所述车辆内驾驶员在不同时刻下的心电信号,包括:
在所述车辆内驾驶员的手部与所述心电信号传感芯片接触时,通过所述心电信号传感芯片采集所述驾驶员在不同时刻下的心电信号。
可选地,在得到所述有效心电向量之后,所述方法还包括:
对所述有效心电向量进行高斯滤波和巴特沃斯滤波;
所述在所述有效心电向量中识别出所述心电信号的关键点,包括:
在滤波后的有效心电向量中识别出所述心电信号的关键点。
可选地,所述关键点包括以下中的至少一者:P波峰值点、R波位置点、T波位置点、Q波位置点和S波位置点。
本公开第二方面还提供一种疲劳驾驶检测装置,应用于车辆,包括:
采集模块,用于采集所述车辆内驾驶员在不同时间段内的心电信号;
采样模块,用于对每一时间段的心电信号进行采样,得到所述心电信号对应的心电向量;
聚类模块,用于通过预设聚类算法对多个所述心电向量进行聚类,以得到有效心电向量;
识别模块,用于在所述有效心电向量中识别出所述心电信号的关键点;
确定模块,用于根据所述关键点确定所述驾驶员是否处于疲劳驾驶状态。
可选地,所述预设聚类算法包括马氏距离算法;所述聚类模块包括:
第一确定子模块,用于通过以下公式确定所述多个心电向量的马氏距离中心点Center:
Figure BDA0002768405770000041
其中,N为每一所述心电向量包括的元素的数量,J为所述心电向量的数量,xkj为第j个心电向量的第k个元素,k的取值范围为1至N,j的取值范围1至J;
第二确定子模块,用于将多个所述心电向量作为列向量或行向量组成心电向量矩阵,并确定所述心电向量矩阵的协方差矩阵;
第三确定子模块,用于根据所述协方差矩阵,通过以下公式确定每一所述心电向量与所述马氏距离中心点的马氏距离:
Figure BDA0002768405770000042
其中,DM(xj)表征第j个心电向量xj与所述马氏距离中心点Center的马氏距离,Cov-1表征所述心电向量矩阵的协方差矩阵Cov的逆矩阵;
第四确定子模块,用于将所述马氏距离位于预设置信区间的心电向量确定为有效心电向量。
可选地,所述预设聚类算法包括相似度算法;所述聚类模块包括:
获取子模块,用于获取样本心电向量,所述样本心电向量为正常的心电向量;
第五确定子模块,用于针对每一所述心电向量,根据所述相似度算法确定所述心电向量与所述样本心电向量的相似度;
第六确定子模块,用于将所述相似度大于或等于预设阈值的心电向量确定为有效心电向量。
可选地,所述预设聚类算法包括马氏距离算法和相似度算法,所述相似度算法包括余弦相似度算法和相关性算法;所述聚类模块包括:
第七确定子模块,用于通过所述马氏距离算法,确定每一心电向量与多个所述心电向量的马氏距离中心点的马氏距离;
第八确定子模块,用于将所述马氏距离位于预设置信区间的心电向量确定为第一有效心电向量;
第九确定子模块,用于根据所述余弦相似度算法,确定每一所述第一有效心电向量与样本心电向量的余弦相似度;
第十确定子模块,用于将所述余弦相似度大于余弦相似度阈值的第一有效心电向量确定为第二有效心电向量;
第十一确定子模块,用于根据所述相关性算法,确定每一所述第二有效心电向量与所述样本心电向量的相关系数;
第十二确定子模块,用于将所述相关系数大于相关系数阈值的第二有效心电向量确定为有效心电信号。
可选地,所述车辆的方向盘上设置有心电信号传感芯片;所述采集模块用于:在所述车辆内驾驶员的手部与所述心电信号传感芯片接触时,通过所述心电信号传感芯片采集所述驾驶员在不同时刻下的心电信号。
可选地,所述装置还包括:
滤波模块,用于对所述有效心电向量进行高斯滤波和巴特沃斯滤波;
所述识别模块用于:在滤波后的有效心电向量中识别出所述心电信号的关键点。
可选地,所述关键点包括以下中的至少一者:P波峰值点、R波位置点、T波位置点、Q波位置点和S波位置点。
本公开第三方面提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开第一方面所提供的所述方法的步骤。
本公开第四方面提供一种电子设备,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现本公开第一方面所提供的所述方法的步骤。
通过上述技术方案,首先,在驾驶员驾驶车辆的过程中,采集驾驶员的心电信号,对其进行采样得到心电向量,接着,通过聚类方式识别出有效心电向量,然后,在有效心电向量中识别出心电信号的关键点,最后,根据所识别出的关键点确定驾驶员是否处于疲劳驾驶状态。如此,在驾驶员驾驶车辆的过程中,车辆或者车载安全系统可以对驾驶员的身体健康状态和精神状态进行监控,有效避免驾驶员疲劳驾驶,进而可以减少交通事故的发生。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据一示例性实施例示出的一种疲劳驾驶检测方法的流程图。
图2是根据一示例性实施例示出的一种疲劳驾驶检测装置的框图。
图3是根据一示例性实施例示出的一种电子设备的框图。
图4是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
如上所示,目前的车辆及车载安全系统无法对驾驶员的身体健康状态和精神状态进行监控,从而导致驾驶员疲劳驾驶,易引发交通事故。考虑到驾驶员的心电信号可以在一定程度上反映驾驶员的精神状态是否处于疲劳状态,因此,本公开提供一种疲劳驾驶检测方法、装置、可读存储介质及电子设备,可以在车辆行驶过程中,基于驾驶员的心电信号确定其是否处于疲劳驾驶状态,进而可以有效避免交通事故的发生。
图1是根据一示例性实施例示出的一种疲劳驾驶检测方法的流程图,该方法可以应用于车辆,或者应用于车辆上的车载安全系统。如图1所示,该方法可以包括以下步骤。
在步骤101中,采集车辆内驾驶员在不同时间段内的心电信号。
示例地,可以利用心电图机等医疗设备获取车辆内驾驶员在不同时间段内的心电信号,也可以通过可穿戴设备获取车辆内驾驶员在不同时间段内的心电信号。本领域技术人员须知的是,心电图机的体积较大,而车辆内空间有限,因此,驾驶员通常不会在车辆内放置心电图机。此外,可穿戴设备可以实时采集驾驶员的心电信号,若要获取驾驶员在驾驶车辆过程中的心电信号,可能还需要从可穿戴设备采集的心电信号中筛选出驾驶员在驾驶车辆过程中的心电信号。
因此,在本公开一种可能的方式中,车辆的方向盘上设置有心电信号传感芯片,在驾驶员的手部与心电信号传感芯片接触时,可以通过心电信号传感芯片采集驾驶员在不同时间段内的心电信号。
示例地,驾驶员在驾驶车辆时,双手是握着方向盘的,因此,可以在驾驶员的双手与方向盘接触的位置各设置一个心电信号传感芯片,这样,驾驶员在驾驶车辆时,该心电信号传感芯片即可采集到驾驶员在驾驶车辆过程中的心电信号。
在步骤102中,对每一时间段的心电信号进行采样,得到心电信号对应的心电向量。
每一时间段的心电信号为连续的信号,不便于后续进行数据分析,因此,在本公开中,在获得不同时间段内的心电信号之后,可以针对每一时间段的心电信号进行采样,以得到离散的心电数据,并且这些心电数据可以组成一个心电向量。其中,每一时间段的时长均相同,其可以为2s、5s等,本公开对此不作具体限定。
示例地,针对每一时间段的心电信号,可以根据预设的采样频率进行采样。例如,每一时间段的时长为2s,预设的采样频率为1000Hz,则可以从每一时间段对应的心电信号中采样出2000个采样点,并根据这2000个采样点组成心电向量,心电向量中的元素为各采样点对应的心电幅值,其中,可以用电压值表征心电幅值。
在步骤103中,通过预设聚类算法对多个心电向量进行聚类,以得到有效心电向量。
由于在车载环境中存在各种不稳定的震动频率,所采集到的心电信号可能会存在严重的失真现象,严重失真的心电信号无法可靠的反映驾驶员的健康状态或精神状态,因此,在本公开中,在对心电向量进行心电形态学分析之前,需对多个心电向量进行筛选,以筛选出有效心电向量,剔除无效心电向量。示例地,可以通过聚类算法对多个心电向量进行聚类,以区分出有效心电向量和无效心电向量。值得说明的是,无效心电向量为失真离群的心电信号。
在步骤104中,在有效心电向量中识别出心电信号的关键点。
心电信号的关键点是指能够表征心电信号特征,以及便于后续分析驾驶员健康状态或精神状态的采样点,该关键点通常包括心电信号对应的心电波形图中的P、Q、R、S、T等关键点。示例地,关键点可以包括以下中的至少一者:P波峰值点、R波位置点、T波位置点、Q波位置点和S波位置点。
示例地,可以通过WFDB心电信号处理工具包,首先,在有效心电向量中确定出R波,然后,以R波为基础分别向前向后检测P波起始点(P_onset)、P波(P_wave)、P波终止点(P_offset)、Q波(Q_wave)、S波(S_wave)、T波(T_wave)以及T波终止点(T_offset)。在确定出上述这些关键点之后,结合采集到的原始心电信号,获得各关键点对应的心电幅值。例如,表1是从各心电向量中检测到的各关键点和关键点对应的心电幅值。
表1检测到的各关键点的位置和关键点对应的心电幅值
Figure BDA0002768405770000091
在步骤105中,根据关键点确定驾驶员是否处于疲劳驾驶状态。
在本公开中,可以根据所确定的关键点进行病症诊断,例如,根据关键点诊断驾驶员的窦性心动过速还是过缓、ST段是否发生改变、T波是否改变、或者诊断驾驶员的心率值等等。
示例地,可以预设存储健康状态下的样本关键点,在按照上述方式确定出驾驶员心电信号的关键点之后,通过比对,确定驾驶员的健康状态是否出现异常,以及驾驶员是否处于疲劳驾驶。具体地比对方式可以根据实际需求设定,本公开对此不作具体限定。
采用上述技术方案,首先,在驾驶员驾驶车辆的过程中,采集驾驶员的心电信号,对其进行采样得到心电向量,接着,通过聚类方式识别出有效心电向量,然后,在有效心电向量中识别出心电信号的关键点,最后,根据所识别出的关键点确定驾驶员是否处于疲劳驾驶状态。如此,在驾驶员驾驶车辆的过程中,车辆或者车载安全系统可以对驾驶员的身体健康状态和精神状态进行监控,有效避免驾驶员疲劳驾驶,进而可以减少交通事故的发生。
下面对本公开所采用的聚类算法进行详细说明。
在本公开中,该聚类算法可以包括:马氏距离算法和/或相似度算法,其中,相似度算法可以包括余弦相似度算法和相关性算法。
在一种实施例中,该预设聚类算法包括马氏距离算法,上述通过预设聚类算法对多个心电向量进行聚类,以得到有效心电向量的具体实施方式可以为:
首先,通过以下方式(1)确定多个心电向量的马氏距离中心点Center:
Figure BDA0002768405770000101
其中,N为每一心电向量包括的元素的数量,也即是采样点数,J为心电向量的数量,xkj为第j个心电向量的第k个元素,k的取值范围为1至N,j的取值范围1至J。
接着,将多个心电向量作为列向量或行向量组成心电向量矩阵,并确定心电向量矩阵的协方差矩阵。
示例地,假设心电向量的数量为J,每一心电向量包括的元素数量为N,则将每个心电向量作为矩阵的列向量,可以组成一个N行J列的心电向量矩阵,并确定该心电向量矩阵的协方差矩阵。
针对每一心电向量,可以通过公式(2)确定其与多个心电向量(包括其自身)的协方差:
cij=E[(Xi-E[Xi])(Xj-E[Xj])] (2)
其中,cij表征第i个心电向量与第j个心电向量的协方差,其中,i、j的取值范围为1至J,Xi表征第i个心电向量,E[Xi]表征第i个心电向量中元素的期望,Xj表征第j个心电向量,E[Xj]表征第j个心电向量中元素的期望。
根据所求得的协方差组成协方差矩阵Cov=(cij)J×J
然后,根据协方差矩阵,通过以下公式(3)确定每一心电向量与马氏距离中心点的马氏距离:
Figure BDA0002768405770000111
其中,DM(Xj)表征第j个心电向量xj与马氏距离中心点Center的马氏距离,Cov-1表征心电向量矩阵的协方差矩阵Cov的逆矩阵。
最后,将马氏距离位于预设置信区间的心电向量确定为有效心电向量。
值得说明的是,采集到的心电信号的数据表现为正太分布,则其马氏距离应当服从卡方分布。预设置信区间可以为96%,位于该预置信区间内的心电向量为有效心电向量,不在该预设直线区间内的心电向量视为失真离群的无法辨识的无效心电向量,因此,可以将马氏距离位于该预设置信区间的心电向量确定为有效心电向量。
在另一种实施例中,预设聚类算法包括相似度算法,上述通过预设聚类算法对多个心电向量进行聚类,以得到有效心电向量的具体实施方式可以为:
首先,获取一样本心电向量,该样本心电向量为正常的心电向量。本公开所述的正常的心电向量是指身体状态为健康状态,且精神状态为不疲劳状态下的心电向量。
接着,针对每一心电向量,根据相似度算法确定心电向量与样本心电向量的相似度。其中,可以采用相关技术中的相似度算法确定每一心电向量与样本心电向量的相似度。
示例地,相似度算法可以包括余弦相似度算法和/或相关性算法。其中,余弦相似度算法如公式(4)所示:
Figure BDA0002768405770000121
其中,Sqj表征第j个心电向量与样本心电向量之间的余弦相似度,xkq表征样本心电向量中第k个元素,xkj表征第j个心电向量中第k个元素。
相关性算法如公式(5)所示:
Figure BDA0002768405770000122
其中,rqj表征第j个心电向量与样本心电向量之间的相关系数,
Figure BDA0002768405770000123
表征样本心电向量中元素的平均值,
Figure BDA0002768405770000124
表征第j个心电向量中元素的平均值。
最后,将相似度大于或等于预设阈值的心电向量确定为有效心电向量。其中,心电向量与样本心电向量的相似度越大,表明心电向量与正常的心电向量越相似,即,该心电向量为有效心电向量的可能性就越大。例如,相似度接近于1,表示心电向量与样本心电向量越相似,相似度接近于0,表示心电向量与样本心电向量越不相似。
示例地,预设阈值包括余弦相似度阈值和相关系数阈值,余弦相似度阈值可以为90%,相关系数阈值也可以为90%,则将余弦相似度大于或等于90%,和/或,相关系数大于或等于90%的心电向量确定为有效心电向量。
在又一种实施例中,预设聚类算法包括马氏距离算法和相似度算法,且相似度算法包括余弦相似度算法和相关性算法,上述通过预设聚类算法对多个心电向量进行聚类,以得到有效心电向量的具体实施方式可以为:
首先,通过马氏距离算法,确定每一心电向量与该多个心电向量的马氏距离中心点的马氏距离。
值得说明的是,可以按照上述实施例中描述的公式(1),计算出多个心电向量的马氏距离中心点,之后再参照上述公式(2)和(3)计算每一心电向量与马氏距离中心点的马氏距离,此处不再赘述。
接着,将马氏距离位于预设置信区间的心电向量确定为第一有效心电向量。
之后,根据余弦相似度算法,确定每一第一有效心电向量与样本心电向量的余弦相似度,并将余弦相似度大于余弦相似度阈值的第一有效心电向量确定为第二有效心电向量。
在该实施例中,仅计算马氏距离位于预设置信区间的第一有效心电向量与样本心电向量的余弦相似度,而不是计算所有的心电向量与样本心电向量的余弦相似度,如此,减少了计算余弦相似度的工作量。其中,可以参照上述公式(4)计算每一第一有效心电向量与样本心电向量的余弦相似度,此处不再赘述。
然后,根据相关性算法,确定每一第二有效心电向量与样本心电向量的相关系数,并将相关系数大于相关系数阈值的第二有效心电向量确定为有效心电信号。
同样地,仅计算余弦相似度大于余弦相似度阈值的第二有效心电向量与样本心电向量的相关系数,进一步减少了计算相关系数的工作量。其中,可以参照上述公式(5)计算每一第二有效心电向量与样本心电向量的相关系数,此处不再赘述。
采用上述方式中的任意一种方式均可以从多个心电向量去除失真离群的心电向量,得到有效心电向量。
在得到有效心电向量之后,还可以对该有效心电向量进行滤波。示例地,可以对有效心电向量进行高斯滤波和巴特沃斯滤波,将有效心电向量中的肌电干扰、高频干扰、工频干扰和基线漂移等滤除,得到质量更好的心电向量。之后,在滤波后的有效心电向量中识别出心电信号的关键点。
采用上述方案,可以通过聚类算法去除失真的心电向量,得到有效心电向量,并对有效心电向量进行滤波处理,可以得到质量较好的心电向量,并在该质量较好的心电向量中识别出心电信号的关键点。如此,可以准确识别出心电信号的关键点,进而基于所识别出的关键点可以对驾驶员的身体健康状态和精神状态进行精准监控,有效避免交通事故的发生。
基于同一发明构思,本公开还提供一种疲劳驾驶检测装置。图2是根据一示例性实施例示出的一种疲劳驾驶检测装置的框图,该装置应用于车辆。如图2所示,该疲劳驾驶检测装置200可以包括:
采集模块201,用于采集所述车辆内驾驶员在不同时间段内的心电信号;
采样模块202,用于对每一时间段的心电信号进行采样,得到所述心电信号对应的心电向量;
聚类模块203,用于通过预设聚类算法对多个所述心电向量进行聚类,以得到有效心电向量;
识别模块204,用于在所述有效心电向量中识别出所述心电信号的关键点;
确定模块205,用于根据所述关键点确定所述驾驶员是否处于疲劳驾驶状态。
可选地,所述预设聚类算法包括马氏距离算法;所述聚类模块203可以包括:
第一确定子模块,用于通过以下公式确定所述多个心电向量的马氏距离中心点Center:
Figure BDA0002768405770000151
其中,N为每一所述心电向量包括的元素的数量,J为所述心电向量的数量,xkj为第j个心电向量的第k个元素,k的取值范围为1至N,j的取值范围1至J;
第二确定子模块,用于将多个所述心电向量作为列向量或行向量组成心电向量矩阵,并确定所述心电向量矩阵的协方差矩阵;
第三确定子模块,用于根据所述协方差矩阵,通过以下公式确定每一所述心电向量与所述马氏距离中心点的马氏距离:
Figure BDA0002768405770000152
其中,DM(xj)表征第j个心电向量xj与所述马氏距离中心点Center的马氏距离,Cov-1表征所述心电向量矩阵的协方差矩阵Cov的逆矩阵;
第四确定子模块,用于将所述马氏距离位于预设置信区间的心电向量确定为有效心电向量。
可选地,所述预设聚类算法包括相似度算法;所述聚类模块203可以包括:
获取子模块,用于获取样本心电向量,所述样本心电向量为正常的心电向量;
第五确定子模块,用于针对每一所述心电向量,根据所述相似度算法确定所述心电向量与所述样本心电向量的相似度;
第六确定子模块,用于将所述相似度大于或等于预设阈值的心电向量确定为有效心电向量。
可选地,所述预设聚类算法包括马氏距离算法和相似度算法,所述相似度算法包括余弦相似度算法和相关性算法;所述聚类模块203可以包括:
第七确定子模块,用于通过所述马氏距离算法,确定每一心电向量与多个所述心电向量的马氏距离中心点的马氏距离;
第八确定子模块,用于将所述马氏距离位于预设置信区间的心电向量确定为第一有效心电向量;
第九确定子模块,用于根据所述余弦相似度算法,确定每一所述第一有效心电向量与样本心电向量的余弦相似度;
第十确定子模块,用于将所述余弦相似度大于余弦相似度阈值的第一有效心电向量确定为第二有效心电向量;
第十一确定子模块,用于根据所述相关性算法,确定每一所述第二有效心电向量与所述样本心电向量的相关系数;
第十二确定子模块,用于将所述相关系数大于相关系数阈值的第二有效心电向量确定为有效心电信号。
可选地,所述车辆的方向盘上设置有心电信号传感芯片;所述采集模块201可以用于:在所述车辆内驾驶员的手部与所述心电信号传感芯片接触时,通过所述心电信号传感芯片采集所述驾驶员在不同时刻下的心电信号。
可选地,所述装置还可以包括:
滤波模块,用于对所述有效心电向量进行高斯滤波和巴特沃斯滤波;
所述识别模块204可以用于:在滤波后的有效心电向量中识别出所述心电信号的关键点。
可选地,所述关键点包括以下中的至少一者:P波峰值点、R波位置点、T波位置点、Q波位置点和S波位置点。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
图3是根据一示例性实施例示出的一种电子设备的框图。如图3所示,该电子设备300可以包括:处理器301,存储器302。该电子设备300还可以包括多媒体组件303,输入/输出(I/O)接口304,以及通信组件305中的一者或多者。
其中,处理器301用于控制该电子设备300的整体操作,以完成上述的疲劳驾驶检测方法中的全部或部分步骤。存储器302用于存储各种类型的数据以支持在该电子设备300的操作,这些数据例如可以包括用于在该电子设备300上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器302可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件303可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器302或通过通信组件305发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口304为处理器301和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件305用于该电子设备300与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G、4G、NB-IOT、eMTC、或其他5G等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件305可以包括:Wi-Fi模块,蓝牙模块,NFC模块等等。
在一示例性实施例中,电子设备300可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的疲劳驾驶检测方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的疲劳驾驶检测方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器302,上述程序指令可由电子设备300的处理器301执行以完成上述的疲劳驾驶检测方法。
图4是根据一示例性实施例示出的一种电子设备的框图。例如,电子设备400可以被提供为一服务器。参照图4,电子设备400包括处理器422,其数量可以为一个或多个,以及存储器432,用于存储可由处理器422执行的计算机程序。存储器432中存储的计算机程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理器422可以被配置为执行该计算机程序,以执行上述的疲劳驾驶检测方法。
另外,电子设备400还可以包括电源组件426和通信组件450,该电源组件426可以被配置为执行电子设备400的电源管理,该通信组件450可以被配置为实现电子设备400的通信,例如,有线或无线通信。此外,该电子设备400还可以包括输入/输出(I/O)接口458。电子设备400可以操作基于存储在存储器432的操作系统,例如Windows ServerTM,Mac OSXTM,UnixTM,LinuxTM等等。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的疲劳驾驶检测方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器432,上述程序指令可由电子设备400的处理器422执行以完成上述的疲劳驾驶检测方法。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的疲劳驾驶检测方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合。为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。

Claims (10)

1.一种疲劳驾驶检测方法,其特征在于,应用于车辆,包括:
采集所述车辆内驾驶员在不同时间段内的心电信号;
对每一时间段的心电信号进行采样,得到所述心电信号对应的心电向量;
通过预设聚类算法对多个所述心电向量进行聚类,以得到有效心电向量;
在所述有效心电向量中识别出所述心电信号的关键点;
根据所述关键点确定所述驾驶员是否处于疲劳驾驶状态。
2.根据权利要求1所述的方法,其特征在于,所述预设聚类算法包括马氏距离算法;
所述通过预设聚类算法对多个所述心电向量进行聚类,以得到有效心电向量,包括:
通过以下公式确定所述多个心电向量的马氏距离中心点Center:
Figure FDA0002768405760000011
其中,N为每一所述心电向量包括的元素的数量,J为所述心电向量的数量,xkj为第j个心电向量的第k个元素,k的取值范围为1至N,j的取值范围1至J;
将多个所述心电向量作为列向量或行向量组成心电向量矩阵,并确定所述心电向量矩阵的协方差矩阵;
根据所述协方差矩阵,通过以下公式确定每一所述心电向量与所述马氏距离中心点的马氏距离:
Figure FDA0002768405760000012
其中,DM(xj)表征第j个心电向量xj与所述马氏距离中心点Center的马氏距离,Cov-1表征所述心电向量矩阵的协方差矩阵Cov的逆矩阵;
将所述马氏距离位于预设置信区间的心电向量确定为有效心电向量。
3.根据权利要求1所述的方法,其特征在于,所述预设聚类算法包括相似度算法;所述通过预设聚类算法对多个所述心电向量进行聚类,以得到有效心电向量,包括:
获取样本心电向量,所述样本心电向量为正常的心电向量;
针对每一所述心电向量,根据所述相似度算法确定所述心电向量与所述样本心电向量的相似度;
将所述相似度大于或等于预设阈值的心电向量确定为有效心电向量。
4.根据权利要求1所述的方法,其特征在于,所述预设聚类算法包括马氏距离算法和相似度算法,所述相似度算法包括余弦相似度算法和相关性算法;所述通过预设聚类算法对多个所述心电向量进行聚类,以得到有效心电向量,包括:
通过所述马氏距离算法,确定每一心电向量与多个所述心电向量的马氏距离中心点的马氏距离;
将所述马氏距离位于预设置信区间的心电向量确定为第一有效心电向量;
根据所述余弦相似度算法,确定每一所述第一有效心电向量与样本心电向量的余弦相似度;
将所述余弦相似度大于余弦相似度阈值的第一有效心电向量确定为第二有效心电向量;
根据所述相关性算法,确定每一所述第二有效心电向量与所述样本心电向量的相关系数;
将所述相关系数大于相关系数阈值的第二有效心电向量确定为有效心电信号。
5.根据权利要求1-4中任一项所述的方法,其特征在于,所述车辆的方向盘上设置有心电信号传感芯片;所述采集所述车辆内驾驶员在不同时刻下的心电信号,包括:
在所述车辆内驾驶员的手部与所述心电信号传感芯片接触时,通过所述心电信号传感芯片采集所述驾驶员在不同时刻下的心电信号。
6.根据权利要求1-4中任一项所述的方法,其特征在于,在得到所述有效心电向量之后,所述方法还包括:
对所述有效心电向量进行高斯滤波和巴特沃斯滤波;
所述在所述有效心电向量中识别出所述心电信号的关键点,包括:
在滤波后的有效心电向量中识别出所述心电信号的关键点。
7.根据权利要求6所述的方法,其特征在于,所述关键点包括以下中的至少一者:P波峰值点、R波位置点、T波位置点、Q波位置点和S波位置点。
8.一种疲劳驾驶检测装置,其特征在于,应用于车辆,包括:
采集模块,用于采集所述车辆内驾驶员在不同时间段内的心电信号;
采样模块,用于对每一时间段的心电信号进行采样,得到所述心电信号对应的心电向量;
聚类模块,用于通过预设聚类算法对多个所述心电向量进行聚类,以得到有效心电向量;
识别模块,用于在所述有效心电向量中识别出所述心电信号的关键点;
确定模块,用于根据所述关键点确定所述驾驶员是否处于疲劳驾驶状态。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。
10.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-7中任一项所述方法的步骤。
CN202011240992.7A 2020-11-09 2020-11-09 疲劳驾驶检测方法、装置、可读存储介质及电子设备 Active CN112494044B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011240992.7A CN112494044B (zh) 2020-11-09 2020-11-09 疲劳驾驶检测方法、装置、可读存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011240992.7A CN112494044B (zh) 2020-11-09 2020-11-09 疲劳驾驶检测方法、装置、可读存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN112494044A true CN112494044A (zh) 2021-03-16
CN112494044B CN112494044B (zh) 2024-06-14

Family

ID=74955794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011240992.7A Active CN112494044B (zh) 2020-11-09 2020-11-09 疲劳驾驶检测方法、装置、可读存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN112494044B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022246770A1 (zh) * 2021-05-27 2022-12-01 华为技术有限公司 驾驶状态检测方法及装置、设备、存储介质、系统、车辆

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11151230A (ja) * 1997-11-19 1999-06-08 Nissan Motor Co Ltd 車両用運転者状態計測装置
US20070265540A1 (en) * 2006-05-10 2007-11-15 Toyata Jidosha Kabushiki Kaisha Method and device for monitoring heart rhythm in a vehicle
CN101856225A (zh) * 2010-06-30 2010-10-13 重庆大学 一种心电信号r波峰检测方法
CN104055522A (zh) * 2014-07-01 2014-09-24 清华大学深圳研究生院 一种心律失常情况下心电信号身份识别方法
CN104398256A (zh) * 2014-11-13 2015-03-11 北京海思敏医疗技术有限公司 一种通过计算机实现的心电波形的检测方法及装置
CN104586383A (zh) * 2015-01-12 2015-05-06 北京世纪今科医疗器械有限公司 一种心电波形分类方法及装置
CN105654046A (zh) * 2015-12-29 2016-06-08 中国科学院深圳先进技术研究院 心电信号身份识别方法及装置
CN105708443A (zh) * 2016-01-27 2016-06-29 湖南人文科技学院 一种基于体域网的心电感知诊断方法
WO2018072170A1 (zh) * 2016-10-20 2018-04-26 哈尔滨工业大学深圳研究生院 基于ecg信号的身份识别方法及装置
CN108216113A (zh) * 2018-01-28 2018-06-29 郑州大学 一种基于心电信号监测的安全带报警装置
CN108852380A (zh) * 2018-07-09 2018-11-23 南京邮电大学 基于ecg信号的疲劳、情绪分析方法
CN109171712A (zh) * 2018-09-28 2019-01-11 东软集团股份有限公司 心房颤动识别方法、装置、设备及计算机可读存储介质
CN109377722A (zh) * 2018-11-13 2019-02-22 陕西科技大学 驾驶员心电数据监测装置及利用该装置的疲劳提醒系统
CN109938719A (zh) * 2019-03-21 2019-06-28 扬州大学 一种基于生理参数的驾驶员疲劳检测方法
CN109938723A (zh) * 2019-03-08 2019-06-28 度特斯(大连)实业有限公司 一种人体疾病风险的判别方法及设备
CN110141218A (zh) * 2019-06-17 2019-08-20 东软集团股份有限公司 一种心电信号分类方法、装置及程序产品、存储介质
WO2019171921A1 (ja) * 2018-03-07 2019-09-12 日本電信電話株式会社 疲労度推定方法、疲労度推定装置およびプログラム
CN110533880A (zh) * 2019-09-17 2019-12-03 东南大学 一种基于心电信号的异常驾驶状态检测及预警控制方法
US20190385744A1 (en) * 2018-06-18 2019-12-19 Zoll Medical Corporation Medical device for estimating risk of patient deterioration
CN111067511A (zh) * 2019-11-21 2020-04-28 东软集团股份有限公司 一种心电数据中关键点的确定方法、装置及设备
CN111407260A (zh) * 2020-03-30 2020-07-14 华南理工大学 方向盘嵌入心电传感器的基于脑电和心电的疲劳检测方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11151230A (ja) * 1997-11-19 1999-06-08 Nissan Motor Co Ltd 車両用運転者状態計測装置
US20070265540A1 (en) * 2006-05-10 2007-11-15 Toyata Jidosha Kabushiki Kaisha Method and device for monitoring heart rhythm in a vehicle
CN101856225A (zh) * 2010-06-30 2010-10-13 重庆大学 一种心电信号r波峰检测方法
CN104055522A (zh) * 2014-07-01 2014-09-24 清华大学深圳研究生院 一种心律失常情况下心电信号身份识别方法
CN104398256A (zh) * 2014-11-13 2015-03-11 北京海思敏医疗技术有限公司 一种通过计算机实现的心电波形的检测方法及装置
CN104586383A (zh) * 2015-01-12 2015-05-06 北京世纪今科医疗器械有限公司 一种心电波形分类方法及装置
CN105654046A (zh) * 2015-12-29 2016-06-08 中国科学院深圳先进技术研究院 心电信号身份识别方法及装置
CN105708443A (zh) * 2016-01-27 2016-06-29 湖南人文科技学院 一种基于体域网的心电感知诊断方法
WO2018072170A1 (zh) * 2016-10-20 2018-04-26 哈尔滨工业大学深圳研究生院 基于ecg信号的身份识别方法及装置
CN108216113A (zh) * 2018-01-28 2018-06-29 郑州大学 一种基于心电信号监测的安全带报警装置
WO2019171921A1 (ja) * 2018-03-07 2019-09-12 日本電信電話株式会社 疲労度推定方法、疲労度推定装置およびプログラム
US20190385744A1 (en) * 2018-06-18 2019-12-19 Zoll Medical Corporation Medical device for estimating risk of patient deterioration
CN108852380A (zh) * 2018-07-09 2018-11-23 南京邮电大学 基于ecg信号的疲劳、情绪分析方法
CN109171712A (zh) * 2018-09-28 2019-01-11 东软集团股份有限公司 心房颤动识别方法、装置、设备及计算机可读存储介质
CN109377722A (zh) * 2018-11-13 2019-02-22 陕西科技大学 驾驶员心电数据监测装置及利用该装置的疲劳提醒系统
CN109938723A (zh) * 2019-03-08 2019-06-28 度特斯(大连)实业有限公司 一种人体疾病风险的判别方法及设备
CN109938719A (zh) * 2019-03-21 2019-06-28 扬州大学 一种基于生理参数的驾驶员疲劳检测方法
CN110141218A (zh) * 2019-06-17 2019-08-20 东软集团股份有限公司 一种心电信号分类方法、装置及程序产品、存储介质
CN110533880A (zh) * 2019-09-17 2019-12-03 东南大学 一种基于心电信号的异常驾驶状态检测及预警控制方法
CN111067511A (zh) * 2019-11-21 2020-04-28 东软集团股份有限公司 一种心电数据中关键点的确定方法、装置及设备
CN111407260A (zh) * 2020-03-30 2020-07-14 华南理工大学 方向盘嵌入心电传感器的基于脑电和心电的疲劳检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
F. G. SILVA TEODORO, S. M. PERES AND C. A. M. LIMA: "Feature selection for biometric recognition based on electrocardiogram signals", 《2017 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS (IJCNN)》, 3 July 2017 (2017-07-03), pages 2911 - 2920 *
李卓妮: "成人及胎儿心电信号R波检测算法的研究", 《中国优秀硕士学位论文全文数据库》, 15 December 2013 (2013-12-15), pages 136 - 290 *
麻妙玲: "用于身份识别的典型心电波形自动筛选策略的研究", 《中国优秀硕士学位论文全文数据库》, 15 November 2018 (2018-11-15), pages 138 - 77 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022246770A1 (zh) * 2021-05-27 2022-12-01 华为技术有限公司 驾驶状态检测方法及装置、设备、存储介质、系统、车辆

Also Published As

Publication number Publication date
CN112494044B (zh) 2024-06-14

Similar Documents

Publication Publication Date Title
Bach et al. An improved algorithm for model-based analysis of evoked skin conductance responses
Haufe et al. EEG potentials predict upcoming emergency brakings during simulated driving
CN102014742A (zh) 现场可部署的震荡检测器
DE102014204671A1 (de) System und verfahren zur bestimmung von veränderungen eines körperzustands
DE102014206648A1 (de) System und Verfahren zur biometrischen Identifizierung in einem Fahrzeug
US20180011532A1 (en) Methods and apparatuses for determining head movement
WO2001091627B1 (en) System and device for multi-scale analysis and representation of electrocardiographic data
EP3398505B1 (en) Brain activity analysis apparatus
CN111671420A (zh) 一种从静息态脑电数据中提取特征的方法及终端设备
CN111358459A (zh) 一种心律失常识别方法、装置、设备和存储介质
CN106874872A (zh) 工频噪声滤除装置与方法
CN112494044B (zh) 疲劳驾驶检测方法、装置、可读存储介质及电子设备
CN111631704A (zh) 基于心电与脑电信息结合的糖尿病前期检测系统和方法
Hag et al. A wearable single EEG channel analysis for mental stress state detection
CN112842358A (zh) 脑部生理数据的处理系统、方法、设备及存储介质
Andrade et al. EMG decomposition and artefact removal
EP3956747A1 (en) Neural menu navigator and navigation methods
CN113693578B (zh) 一种心率估计方法、装置、设备、系统及存储介质
Szczuko Rough set-based classification of EEG signals related to real and imagery motion
CN114435373A (zh) 疲劳驾驶检测方法、装置、计算机设备和存储介质
Jokić et al. An efficient ECG modeling for heartbeat classification
Jokić et al. An efficient approach for heartbeat classification
Khan et al. Performance analysis of modified zero crossing counts method for heart arrhythmias detection and implementation in HDL
Song et al. Driver drowsiness detection using single-channel dry EEG
CN110584650A (zh) 一种基于hrv的驾驶舒适度量化方法、装置和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant