CN110334614A - 一种疲劳状态预警方法、装置、设备及存储介质 - Google Patents
一种疲劳状态预警方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN110334614A CN110334614A CN201910531860.0A CN201910531860A CN110334614A CN 110334614 A CN110334614 A CN 110334614A CN 201910531860 A CN201910531860 A CN 201910531860A CN 110334614 A CN110334614 A CN 110334614A
- Authority
- CN
- China
- Prior art keywords
- target object
- fatigue state
- face
- information
- key point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 230000001815 facial effect Effects 0.000 claims abstract description 14
- 238000012549 training Methods 0.000 claims description 37
- 238000010801 machine learning Methods 0.000 claims description 31
- 238000012360 testing method Methods 0.000 claims description 26
- 230000003068 static effect Effects 0.000 claims description 16
- 238000010200 validation analysis Methods 0.000 claims description 15
- 230000009471 action Effects 0.000 claims description 5
- 235000013399 edible fruits Nutrition 0.000 claims description 2
- 238000012512 characterization method Methods 0.000 claims 1
- 210000003128 head Anatomy 0.000 description 12
- 238000010276 construction Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000012545 processing Methods 0.000 description 5
- 230000003542 behavioural effect Effects 0.000 description 4
- 206010048232 Yawning Diseases 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000002790 cross-validation Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000011017 operating method Methods 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 235000002673 Dioscorea communis Nutrition 0.000 description 1
- 241000544230 Dioscorea communis Species 0.000 description 1
- 241000406668 Loxodonta cyclotis Species 0.000 description 1
- 208000035753 Periorbital contusion Diseases 0.000 description 1
- 241001282135 Poromitra oscitans Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000019659 mouth feeling Nutrition 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种疲劳状态预警方法、装置、设备及存储介质，所述方法包括：获取目标对象在预设时间段内的多个图像；确定所述多个图像中目标对象的脸部关键点特征信息；所述脸部关键点特征信息表征所述目标对象在所述预设时间段内的脸部状态信息以及脸部动作信息；将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果；基于所述目标对象的疲劳状态判断结果，对所述目标对象进行预警控制，采用本申请的技术方案，将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，从而准确得到所述目标对象的疲劳状态判断结果；并基于判断结果，实现了对所述目标对象进行准确地预警控制。
Description
技术领域
本申请涉及互联网应用技术领域，尤其涉及一种疲劳状态预警方法、装置、设备及存储介质。
背景技术
日常生活中，用户如果长时间使用手机或电脑等电子产品阅读电子书籍、观看长短视频或玩游戏，就会容易产生疲劳感。而对于自制能力较差的青少年而言，在使用电子产品时更容易发生这种现象。
对此，现有技术提出了通过控制电子产品的使用时长来对用户进行提醒，从而避免用户处于疲劳状态。比如，在游戏APP中，当用户持续使用APP的时间超过设定时长时，则对用户发出休息提醒。但是以计时为主的方案的设定时长可以修改，并且由于不同年龄段的用户在不同场合、不同时间节点使用电子产品后产生疲劳感的时长不固定，所以通过设定时长对用户的疲劳状态进行预警显然是不准确的。
因此，有必要提供一种疲劳状态预警方法、装置、设备及存储介质，从而准确地判断出用户是否处于疲劳状态，并进行预警控制。
发明内容
针对现有技术方案的缺陷，本申请提供了一种疲劳状态预警方法、装置、设备及存储介质，可以准确地判断出用户是否处于疲劳状态，并进行预警控制。
一方面，本申请提供了一种疲劳状态预警方法，所述方法包括：
获取目标对象在预设时间段内的多个图像；
确定所述多个图像中目标对象的脸部关键点特征信息；所述脸部关键点特征信息表征所述目标对象在所述预设时间段内的脸部状态信息以及脸部动作信息；
将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果；
基于所述目标对象的疲劳状态判断结果，对所述目标对象进行预警控制。
另一方面提供了一种疲劳状态预警装置，所述装置包括：
图像获取模块，用于获取目标对象在预设时间段内的多个图像；
特征信息确定模块，用于确定所述多个图像中目标对象的脸部关键点特征信息；所述多个图像对应的所述脸部关键点特征信息表征所述目标对象在所述预设时间段内的脸部状态信息以及脸部动作信息；
疲劳状态确定模块，用于将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果；
预警控制模块，用于基于所述目标对象的疲劳状态判断结果，对所述目标对象进行预警控制。
另一方面提供了一种疲劳状态预警设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上所述的疲劳状态预警方法。
另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上所述的疲劳状态预警方法。
本申请提供的疲劳状态预警方法、装置、设备及存储介质，具有如下技术效果：
本申请通过获取目标对象在预设时间段内的多个图像；并确定所述多个图像中表征目标对象脸部状态信息以及脸部动作信息的脸部关键点特征信息；将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，从而准确得到所述目标对象的疲劳状态判断结果；并基于判断结果，对所述目标对象进行准确地预警控制。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1是本申请实施例提供的一种疲劳状态预警系统的示意图；
图2是本申请实施例提供的一种疲劳状态预警方法的流程示意图；
图3是本申请实施例提供的当确定用户处于疲劳状态时，用户所使用手机的提示信息显示界面；
图4是本申请实施例提供的疲劳状态确定模型的一种确定方法的流程示意图；
图5是本申请实施例提供的疲劳状态确定模型的另一种确定方法的流程示意图；
图6是本申请实施例提供的疲劳状态确定模型的另一种确定方法的流程示意图；
图7是本申请实施例提供的一种疲劳状态预警装置的结构示意图；
图8是本申请实施例提供的一种服务器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1，图1是本申请实施例提供的一种疲劳状态预警系统的示意图，如图1所示，该疲劳状态预警系统可以至少包括服务器01和客户端02。
具体的，本说明书实施例中，所述服务器01可以包括一个独立运行的服务器，或者分布式服务器，或者由多个服务器组成的服务器集群。服务器01可以包括有网络通信单元、处理器和存储器等等。具体的，所述服务器01可以用于判断目标对象的疲劳状态。
具体的，本说明书实施例中，所述客户端02可以包括智能手机、台式电脑、平板电脑、笔记本电脑、数字助理、智能可穿戴设备等类型的实体设备，也可以包括运行于实体设备中的软体，例如一些服务商提供给用户的网页页面，也可以为该些服务商提供给用户的应用。具体的，所述客户端02可以用于获取目标对象在预设时间段内的多个图像。
以下介绍本申请的一种疲劳状态预警方法，图2是本申请实施例提供的一种疲劳状态预警方法的流程示意图，本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，所述方法可以包括：
S201：获取目标对象在预设时间段内的多个图像；
在本说明书实施例中，所述目标对象可以为使用手机、电脑等电子产品的不同年龄段的用户，例如所述目标对象可以为正在使用手机看小说或玩游戏的青少年。
在本说明书实施例中，可以通过目标对象所使用电子产品的摄像头获取目标对象在预设时间段内的视频，从而根据视频获取目标对象在预设时间段内的每一帧图像或间隔特定时间的多个图像。
S203：确定所述多个图像中目标对象的脸部关键点特征信息；所述脸部关键点特征信息表征所述目标对象在所述预设时间段内的脸部状态信息以及脸部动作信息。
在本说明书实施例中，所述脸部状态信息可以包括脸部的油光度、眼神呆滞等状态信息，所述脸部动作信息可以包括打哈欠、眼睛睁闭、点头等动作信息，所述眼睛睁闭不同于眨眼动作，当眼睛闭合超过预设时间时，确定眼睛为闭合状态。
在本说明书实施例中，所述确定所述多个图像中目标对象的脸部关键点特征信息可以包括：
获取每个图像中所述目标对象的静态特征信息和表情特征信息；所述静态特征信息可以包括脸部的油光度、眼神呆滞、瞳孔大小等信息；所述表情特征信息可以包括打哈欠、眼睛睁闭、点头等动作的频率信息。
基于所述目标对象在同一区域的表情特征信息确定所述目标对象的动态特征信息；
将所述多个图像的静态特征信息以及所述动态特征信息确定为所述脸部关键点特征信息。
在本说明书实施例中，所述脸部关键点特征信息可以包括眼部特征信息，所述确定所述多个图像中目标对象的脸部关键点特征信息可以包括：
获取所述多个图像中目标对象的眼部位置信息；
基于所述目标对象的眼部位置信息，确定所述目标对象眼部的静态特征信息和表情特征信息；所述眼部的静态特征信息可以包括眼部的黑眼圈、单次闭眼时间、瞳孔大小等信息，所述眼部的表情特征信息可以包括眼睛的睁闭次数。
基于所述目标对象在眼部的表情特征信息确定所述目标对象的眼部动态特征信息；
将所述多个图像的眼部静态特征信息以及动态特征信息确定为所述脸部关键点特征信息。
在本说明书实施例中，可以提取多个图像中目标对象的眼部特征信息，并将其确定为所述脸部关键点特征信息，从而后续可根据目标对象的眼部特征信息判断所述目标对象是否处于疲劳状态。
在本说明书实施例中，所述脸部关键点特征信息可以包括嘴部特征信息，所述确定所述多个图像中目标对象的脸部关键点特征信息可以包括：
获取所述多个图像中目标对象的嘴部位置信息；
基于所述目标对象的嘴部位置信息，确定所述目标对象嘴部的静态特征信息和表情特征信息；所述嘴部的静态特征信息可以包括嘴巴周围皮肤的油光等信息，所述嘴部的表情特征信息可以包括打哈欠的次数。
基于所述目标对象在嘴部的表情特征信息确定所述目标对象的嘴部动态特征信息；
将所述多个图像的嘴部静态特征信息以及动态特征信息确定为所述脸部关键点特征信息。
在本说明书实施例中，可以提取多个图像中目标对象的嘴部特征信息，并将其确定为所述脸部关键点特征信息，从而后续可根据目标对象的嘴部特征信息判断所述目标对象是否处于疲劳状态。
在本说明书实施例中，所述脸部关键点特征信息可以包括头部特征信息，所述确定所述多个图像中目标对象的脸部关键点特征信息可以包括：
获取所述多个图像中目标对象的头部位置信息；
基于所述目标对象的头部位置信息，确定所述目标对象头部的静态特征信息和表情特征信息；所述头部的静态特征信息可以包括额头皮肤油光度、头部倾斜度等信息，所述头部的表情特征信息可以包括点头的频率信息。
基于所述目标对象在头部的表情特征信息确定所述目标对象的头部动态特征信息；
将所述多个图像的头部静态特征信息以及动态特征信息确定为所述脸部关键点特征信息。
在本说明书实施例中，可以提取多个图像中目标对象的头部特征信息，并将其确定为所述脸部关键点特征信息，从而后续可根据目标对象的头部特征信息判断所述目标对象是否处于疲劳状态。
S205：将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果；
在本说明书实施例中，所述将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果可以包括：
将所述目标对象的脸部关键点特征信息输入所述疲劳状态确定模型，得到所述目标对象处于疲劳状态的概率；
当所述目标对象处于疲劳状态的概率大于预设概率阈值时，确定所述目标对象处于疲劳状态。
当所述目标对象处于疲劳状态的概率小于等于预设概率阈值时，确定所述目标对象处于正常状态。
在本说明书实施例中，所述方法还可以包括：
确定所述多个图像中目标对象的姿态信息；所述姿态信息表征所述目标对象在所述预设时间段内的肢体动作；
在本说明书实施例中，所述姿态信息可以包括用手揉眼睛的动作、频率等信息。
相应的，所述将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果可以包括：
将所述目标对象的脸部关键点特征信息与姿态信息输入所述疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果。
相应的，所述将所述目标对象的脸部关键点特征信息输入所述疲劳状态确定模型，得到所述目标对象处于疲劳状态的概率可以包括：
将所述目标对象的脸部关键点特征信息与所述姿态信息输入所述疲劳状态确定模型，得到所述目标对象处于疲劳状态的概率。
在本说明书实施例中，结合用户的脸部关键点特征信息与姿态信息判断用户的疲劳状态，提高了疲劳状态的判断准确率。
S207：基于所述目标对象的疲劳状态判断结果，对所述目标对象进行预警控制。
在本说明书实施例中，所述基于所述目标对象的疲劳状态判断结果，对所述目标对象进行预警控制可以包括：
当所述目标对象处于疲劳状态时，向所述目标对象发送预警提示信息。
在本说明书实施例中，所述预警提示信息可以包括目标对象使用电子产品的时长、休息提示信息等。向所述目标对象发送预警提示信息的同时，还可以控制目标对象当前所使用的电子产品屏幕自动关闭。例如，如图3所示，当用户正在使用手机看新闻且手机中的疲劳状态确定模型判断出用户处于疲劳状态时，在新闻的显示界面弹出提示信息“休息一下吧”，或者直接关闭手机屏幕，从而防止用户长时间处于疲劳状态。
在本说明书实施例中，所述疲劳状态确定模型可以包括机器学习的二分类模型，可以选择的模型包括线性分类器(例如：逻辑回归模型)、支持向量机(SVM)、朴素贝叶斯(NB)、决策树(DT)等。训练过程中将正负样本照片输入给疲劳判断模型，通过模型评估指标(精确率和召回率、AUC)进行多次迭代训练得到模型。AUC(Area Under Curve)被定义为ROC曲线下与坐标轴围成的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y＝x这条直线的上方，所以AUC的取值范围在0.5和1之间。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。ROC(Receiver Operating Characteristic，接收者操作特征)，其主要分析工具是一个画在二维平面上的曲线——ROC curve。平面的横坐标是负正类率(falsepositive rate，FPR)，纵坐标是真正类率(true positive rate，TPR)。对某个分类器而言，我们可以根据其在测试样本上的表现得到一个TPR和FPR点对。这样，此分类器就可以映射成ROC平面上的一个点。调整这个分类器分类时候使用的阈值，我们就可以得到一个经过(0，0)，(1，1)的曲线，这就是此分类器的ROC曲线。一般情况下，这个曲线都应该处于(0，0)和(1，1)连线的上方。因为(0，0)和(1，1)连线形成的ROC曲线实际上代表的是一个随机分类器。
在本说明书实施例中，如图4所示，所述疲劳状态确定模型包括采用下述方法确定：
S401：获取样本图像集，每个样本图像包括至少一个脸部关键点特征信息；
在本说明书实施例中，通过众测、众包、专业采集和标注得到正负样本，正样本是用户短时间正常使用手机时的脸容照片，脸容包括没有眨眼、没有闭眼、没有打哈欠、脸部干净。负样本是用户长时间使用手机后的脸容照片，脸容包括频繁眨眼、间隔闭眼、打哈欠、脸部泛油。正负样本比例可以根据实际情况进行设置，例如可以设置为1：1。
在标注正负样本的过程中，还可以结合图像中的姿态信息进行标注，例如用户用手揉眼睛的姿态可表明用户处于疲劳状态。
S403：将所述样本图像集按照第一预设比例划分成训练数据集和验证数据集；
在本说明书实施例中，所述将所述样本图像集按照第一预设比例划分成训练数据集和验证数据集可以包括：
将所述样本图像集按照第二预设比例划分成训练数据集、验证数据集和测试数据集。
在数据分析中，有些算法需要利用现有的数据构建模型，比如贝叶斯分类器，决策树，线性回归等，这类算法统称为监督学习(Supervisied Learning)算法。构建模型需要的数据称之为训练数据(Train Data)。
模型构建完后，需要利用数据验证模型的正确性，这部分数据被称为测试数据(Test Data)。测试数据不能用于模型构建之中，只能用于最后检验模型的准确性。
一般做预测分析时，会将数据分为两大部分。一部分是训练数据，用于构建模型，一部分是测试数据，用于检验模型。但是，有时候模型的构建过程中也需要检验模型，辅助模型构建，所以会将训练数据再分为两个部分：
1)训练数据；2)验证数据(Validation Data)。
验证数据用于负责模型的构建。典型的例子是用裁剪决策树，求出最优叶节点数，防止过渡拟合(Over fitting)。
训练数据(Test Data)：用于模型构建。
验证数据(Validation Data)：可选，用于辅助模型构建，可以重复使用。
测试数据(Test Data)：用于检测模型构建，此数据只在模型检验时使用，用于评估模型的准确率。绝对不允许用于模型构建过程，否则会导致过渡拟合。
S405：基于机器学习算法对所述训练数据集进行疲劳状态预测训练；
S407：基于所述训练数据集与所述验证数据集确定所述机器学习算法的模型参数；
在本说明书实施例中，当通过所述训练数据集训练预设次数或预设时间时，暂停训练，通过验证数据判断训练模型是否训练完毕，若否，则继续采用训练数据集进行训练，直至验证数据验证所述训练模型训练通过为止。
S409：基于所述机器学习算法的模型参数构建所述疲劳状态确定模型。
在本说明书实施例中，当所述机器学习算法为一个时，所述方法还可以包括：
基于所述测试数据集确定所述疲劳状态确定模型的疲劳状态预测准确率。
在本说明书实施例中，在确定疲劳状态确定模型之后，还可以对其准确率进行计算，从而可使用户预期模型确定疲劳状态的准确度。
在本说明书实施例中，如图5所示，当所述机器学习算法为多个时，所述基于所述机器学习算法的模型参数构建所述疲劳状态确定模型可以包括：
S4091：基于多个机器学习算法的模型参数构建与所述多个机器学习算法对应的机器学习模型；
S4093：基于所述测试数据集确定多个机器学习模型的疲劳状态预测准确率；
S4095：将多个疲劳状态预测准确率由高到低进行排序；
S4097：将排序最前的疲劳状态预测准确率对应的机器学习模型确定为所述疲劳状态确定模型。
在本说明书实施例中，可以通过将多个模型进行对比训练，确定出准确率最高的模型作为所述疲劳状态确定模型，从而提高了目标对象的疲劳状态预测准确率。
如图6所示，当所述机器学习算法为多个时，疲劳状态确定模型的构建方法如下：
获取样本图像集，所述样本图像集包括多个样本图像，每个样本图像包括至少一个脸部关键点特征信息；
将所述样本图像集按照第一预设比例划分成训练数据集、验证数据集和测试数据；其中，所述训练数据集、验证数据集用于构建多个算法对应的训练模型；模型构建过程中，采用验证数据对其进行交叉验证，从而使其符合要求，得到每个模型的最佳参数；
基于每个模型的最佳参数，构建多个模型；
基于所述测试数据，计算多个模型的准确率；
将准确率最高的模型作为最终模型，即疲劳状态确定模型。
在本说明书实施例中，交叉验证可以包括K层交叉检验，K层交叉检验就是把原始的数据随机分成K个部分。在这K个部分中，选择一个作为测试数据，剩下的K-1个作为训练数据。
交叉检验的过程实际上是把实验重复做K次，每次实验都从K个部分中选择一个不同的部分作为测试数据(保证K个部分的数据都分别做过测试数据)，剩下的K-1个当作训练数据进行实验，最后把得到的K个实验结果平均。
由以上本说明书实施例提供的技术方案可见，本说明书实施例通过获取目标对象在预设时间段内的多个图像；并确定所述多个图像中表征目标对象脸部状态信息以及脸部动作信息的脸部关键点特征信息；将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，从而准确得到所述目标对象的疲劳状态判断结果；并基于判断结果，对所述目标对象进行准确地预警控制。
本申请实施例还提供了一种疲劳状态预警装置，如图7所示，所述装置包括：
图像获取模块710，用于获取目标对象在预设时间段内的多个图像；
特征信息确定模块720，用于确定所述多个图像中目标对象的脸部关键点特征信息；所述多个图像对应的所述脸部关键点特征信息表征所述目标对象在所述预设时间段内的脸部状态信息以及脸部动作信息；
疲劳状态确定模块730，用于将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果；
预警控制模块740，用于基于所述目标对象的疲劳状态判断结果，对所述目标对象进行预警控制。
在一些实施例中，所述特征信息确定模块还可以包括：
特征信息获取单元，用于获取每个图像中所述目标对象的静态特征信息和表情特征信息；
动态特征信息确定单元，用于基于所述目标对象在同一区域的表情特征信息确定所述目标对象的动态特征信息；
脸部关键点特征信息确定单元，用于将所述多个图像的静态特征信息以及所述动态特征信息确定为所述脸部关键点特征信息。
在一些实施例中，所述装置还可以包括：
姿态信息确定模块，用于确定所述多个图像中目标对象的姿态信息；所述姿态信息表征所述目标对象在所述预设时间段内的肢体动作；
在一些实施例中，所述疲劳状态确定模块可以包括：
疲劳状态确定单元，将所述目标对象的脸部关键点特征信息与姿态信息输入所述疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果。
在一些实施例中，所述疲劳状态确定模块可以包括：
概率确定子单元，用于将所述目标对象的脸部关键点特征信息输入所述疲劳状态确定模型，得到所述目标对象处于疲劳状态的概率；
疲劳状态确定子单元，用于当所述目标对象处于疲劳状态的概率大于预设概率阈值时，确定所述目标对象处于疲劳状态。
在一些实施例中，所述预警控制模块可以包括：
信息发送单元，用于当所述目标对象处于疲劳状态时，向所述目标对象发送预警提示信息。
在一些实施例中，所述装置还包括疲劳状态确定模型构建模块，所述模块包括：
样本图像集获取单元，用于获取样本图像集，每个样本图像包括至少一个脸部关键点特征信息；
数据集划分单元，用于将所述样本图像集按照第一预设比例划分成训练数据集和验证数据集；
预测训练单元，用于基于机器学习算法对所述训练数据集进行疲劳状态预测训练；
模型参数确定单元，用于基于所述训练数据集与所述验证数据集确定所述机器学习算法的模型参数；
疲劳状态确定模型构建单元，用于基于所述机器学习算法的模型参数构建所述疲劳状态确定模型。
在一些实施例中，所述数据集划分单元还包括：
数据集划分子单元，用于将所述样本图像集按照第二预设比例划分成训练数据集、验证数据集和测试数据集。
当所述机器学习算法为一个时，所述装置还可以包括：
预测准确率确定模块，用于基于所述测试数据集确定所述疲劳状态确定模型的疲劳状态预测准确率。
当所述机器学习算法为多个时，所述疲劳状态确定模型构建单元可以包括：
模型构建子单元，用于基于多个机器学习算法的模型参数构建与所述多个机器学习算法对应的机器学习模型；
准确率确定子单元，用于基于所述测试数据集确定多个机器学习模型的疲劳状态预测准确率；
排序子单元，用于将多个疲劳状态预测准确率由高到低进行排序；
确定疲劳状态确定模型子单元，用于将排序最前的疲劳状态预测准确率对应的机器学习模型确定为所述疲劳状态确定模型。
所述的装置实施例中的装置与方法实施例基于同样地发明构思。
本申请实施例提供了一种疲劳状态预警设备，该设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现如上述方法实施例所提供的疲劳状态预警方法。
本申请的实施例还提供了一种存储介质，所述存储介质可设置于终端之中以保存用于实现方法实施例中一种疲劳状态预警方法相关的至少一条指令、至少一段程序、代码集或指令集，该至少一条指令、该至少一段程序、该代码集或指令集由该处理器加载并执行以实现上述方法实施例提供的疲劳状态预警方法。
可选地，在本说明书实施例中，存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书实施例所述存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
本申请实施例所提供的疲劳状态预警方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行。以运行在服务器上为例，图8是本申请实施例提供的一种疲劳状态预警方法的服务器的硬件结构框图。如图8所示，该服务器800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(Central ProcessingUnits，CPU)810(处理器810可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器830，一个或一个以上存储应用程序823或数据822的存储介质820(例如一个或一个以上海量存储设备)。其中，存储器830和存储介质820可以是短暂存储或持久存储。存储在存储介质820的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器810可以设置为与存储介质820通信，在服务器800上执行存储介质820中的一系列指令操作。服务器800还可以包括一个或一个以上电源860，一个或一个以上有线或无线网络接口850，一个或一个以上输入输出接口840，和/或，一个或一个以上操作系统821，例如Windows ServerTM，Mac OS XTM，UnixTM，LinuxTM，FreeBSDTM等等。
输入输出接口840可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器800的通信供应商提供的无线网络。在一个实例中，输入输出接口840包括一个网络适配器(Network Interface Controller，NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口840可以为射频(RadioFrequency，RF)模块，其用于通过无线方式与互联网进行通讯。
本领域普通技术人员可以理解，图8所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器800还可包括比图8中所示更多或者更少的组件，或者具有与图8所示不同的配置。
由上述本申请提供的疲劳状态预警方法、装置、设备或存储介质的实施例可见，本申请通过获取目标对象在预设时间段内的多个图像；并确定所述多个图像中表征目标对象脸部状态信息以及脸部动作信息的脸部关键点特征信息；将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，从而准确得到所述目标对象的疲劳状态判断结果；并基于判断结果，对所述目标对象进行准确地预警控制。
需要说明的是：上述本申请实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种疲劳状态预警方法，其特征在于，所述方法包括：
获取目标对象在预设时间段内的多个图像；
确定所述多个图像中目标对象的脸部关键点特征信息；所述脸部关键点特征信息表征所述目标对象在所述预设时间段内的脸部状态信息以及脸部动作信息；
将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果；
基于所述目标对象的疲劳状态判断结果，对所述目标对象进行预警控制。
2.根据权利要求1所述的方法，其特征在于，所述确定所述多个图像中目标对象的脸部关键点特征信息包括：
获取每个图像中所述目标对象的静态特征信息和表情特征信息；
基于所述目标对象在同一区域的表情特征信息确定所述目标对象的动态特征信息；
将所述多个图像的静态特征信息以及所述动态特征信息确定为所述脸部关键点特征信息。
3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定所述多个图像中目标对象的姿态信息；所述姿态信息表征所述目标对象在所述预设时间段内的肢体动作；
相应的，所述将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果包括：
将所述目标对象的脸部关键点特征信息与姿态信息输入所述疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果。
4.根据权利要求1所述的方法，其特征在于，所述将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果包括：
将所述目标对象的脸部关键点特征信息输入所述疲劳状态确定模型，得到所述目标对象处于疲劳状态的概率；
当所述目标对象处于疲劳状态的概率大于预设概率阈值时，确定所述目标对象处于疲劳状态。
5.根据权利要求1所述的方法，其特征在于，所述基于所述目标对象的疲劳状态判断结果，对所述目标对象进行预警控制包括：
当所述目标对象处于疲劳状态时，向所述目标对象发送预警提示信息。
6.根据权利要求1所述的方法，其特征在于，所述疲劳状态确定模型包括采用下述方法确定：
获取样本图像集，每个样本图像包括至少一个脸部关键点特征信息；
将所述样本图像集按照第一预设比例划分成训练数据集和验证数据集；
基于机器学习算法对所述训练数据集进行疲劳状态预测训练；
基于所述训练数据集与所述验证数据集确定所述机器学习算法的模型参数；
基于所述机器学习算法的模型参数构建所述疲劳状态确定模型。
7.根据权利要求6所述的方法，其特征在于，所述将所述样本图像集按照第一预设比例划分成训练数据集和验证数据集包括：
将所述样本图像集按照第二预设比例划分成训练数据集、验证数据集和测试数据集；
当所述机器学习算法为一个时，所述方法还包括：
基于所述测试数据集确定所述疲劳状态确定模型的疲劳状态预测准确率；
当所述机器学习算法为多个时，所述基于所述机器学习算法的模型参数构建所述疲劳状态确定模型包括：
基于多个机器学习算法的模型参数构建与所述多个机器学习算法对应的机器学习模型；
基于所述测试数据集确定多个机器学习模型的疲劳状态预测准确率；
将多个疲劳状态预测准确率由高到低进行排序；
将排序最前的疲劳状态预测准确率对应的机器学习模型确定为所述疲劳状态确定模型。
8.一种疲劳状态预警装置，其特征在于，所述装置包括：
图像获取模块，用于获取目标对象在预设时间段内的多个图像；
特征信息确定模块，用于确定所述多个图像中目标对象的脸部关键点特征信息；所述多个图像对应的所述脸部关键点特征信息表征所述目标对象在所述预设时间段内的脸部状态信息以及脸部动作信息；
疲劳状态确定模块，用于将所述目标对象的脸部关键点特征信息输入疲劳状态确定模型，得到所述目标对象的疲劳状态判断结果；
预警控制模块，用于基于所述目标对象的疲劳状态判断结果，对所述目标对象进行预警控制。
9.一种疲劳状态预警设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如权利要求1-7任一所述的疲劳状态预警方法。
10.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如权利要求1-7任一所述的疲劳状态预警方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910531860.0A CN110334614A (zh) | 2019-06-19 | 2019-06-19 | 一种疲劳状态预警方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910531860.0A CN110334614A (zh) | 2019-06-19 | 2019-06-19 | 一种疲劳状态预警方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110334614A true CN110334614A (zh) | 2019-10-15 |
Family
ID=68142197
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910531860.0A Pending CN110334614A (zh) | 2019-06-19 | 2019-06-19 | 一种疲劳状态预警方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110334614A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476114A (zh) * | 2020-03-20 | 2020-07-31 | 深圳追一科技有限公司 | 疲劳检测方法、装置、终端设备及存储介质 |
| CN111695510A (zh) * | 2020-06-12 | 2020-09-22 | 浙江工业大学 | 一种基于图像的电脑操作员的疲劳检测方法 |
| CN112734699A (zh) * | 2020-12-24 | 2021-04-30 | 浙江大华技术股份有限公司 | 物品状态告警方法、装置、存储介质及电子装置 |
| CN112992352A (zh) * | 2021-03-10 | 2021-06-18 | 广州云从鼎望科技有限公司 | 员工健康预警方法、装置及介质 |
| CN113469023A (zh) * | 2021-06-28 | 2021-10-01 | 北京百度网讯科技有限公司 | 确定警觉度的方法、装置、设备和存储介质 |
| CN113971869A (zh) * | 2020-07-23 | 2022-01-25 | 易程融创信息科技有限公司 | 一种老人居家安全监测方法及装置 |
| CN114631807A (zh) * | 2022-03-16 | 2022-06-17 | 苏州科医世凯半导体技术有限责任公司 | 一种对象参与度确定方法、装置、电子设备及存储介质 |
| CN115144615A (zh) * | 2022-04-28 | 2022-10-04 | 广东小天才科技有限公司 | 运动状态修正方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107212890A (zh) * | 2017-05-27 | 2017-09-29 | 中南大学 | 一种基于步态信息的运动识别和疲劳检测方法及系统 |
| CN107437100A (zh) * | 2017-08-08 | 2017-12-05 | 重庆邮电大学 | 一种基于跨模态关联学习的图像位置预测方法 |
| CN108446645A (zh) * | 2018-03-26 | 2018-08-24 | 天津大学 | 基于深度学习的车载人脸识别方法 |
| CN108664947A (zh) * | 2018-05-21 | 2018-10-16 | 五邑大学 | 一种基于表情识别的疲劳驾驶预警方法 |
| CN109447025A (zh) * | 2018-11-08 | 2019-03-08 | 北京旷视科技有限公司 | 疲劳检测方法、装置、系统及计算机可读存储介质 |
| CN109815937A (zh) * | 2019-02-25 | 2019-05-28 | 湖北亿咖通科技有限公司 | 疲劳状态智能识别方法、装置及电子设备 |
-
2019
- 2019-06-19 CN CN201910531860.0A patent/CN110334614A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107212890A (zh) * | 2017-05-27 | 2017-09-29 | 中南大学 | 一种基于步态信息的运动识别和疲劳检测方法及系统 |
| CN107437100A (zh) * | 2017-08-08 | 2017-12-05 | 重庆邮电大学 | 一种基于跨模态关联学习的图像位置预测方法 |
| CN108446645A (zh) * | 2018-03-26 | 2018-08-24 | 天津大学 | 基于深度学习的车载人脸识别方法 |
| CN108664947A (zh) * | 2018-05-21 | 2018-10-16 | 五邑大学 | 一种基于表情识别的疲劳驾驶预警方法 |
| CN109447025A (zh) * | 2018-11-08 | 2019-03-08 | 北京旷视科技有限公司 | 疲劳检测方法、装置、系统及计算机可读存储介质 |
| CN109815937A (zh) * | 2019-02-25 | 2019-05-28 | 湖北亿咖通科技有限公司 | 疲劳状态智能识别方法、装置及电子设备 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111476114A (zh) * | 2020-03-20 | 2020-07-31 | 深圳追一科技有限公司 | 疲劳检测方法、装置、终端设备及存储介质 |
| CN111695510A (zh) * | 2020-06-12 | 2020-09-22 | 浙江工业大学 | 一种基于图像的电脑操作员的疲劳检测方法 |
| CN113971869A (zh) * | 2020-07-23 | 2022-01-25 | 易程融创信息科技有限公司 | 一种老人居家安全监测方法及装置 |
| CN112734699A (zh) * | 2020-12-24 | 2021-04-30 | 浙江大华技术股份有限公司 | 物品状态告警方法、装置、存储介质及电子装置 |
| CN112992352A (zh) * | 2021-03-10 | 2021-06-18 | 广州云从鼎望科技有限公司 | 员工健康预警方法、装置及介质 |
| CN113469023A (zh) * | 2021-06-28 | 2021-10-01 | 北京百度网讯科技有限公司 | 确定警觉度的方法、装置、设备和存储介质 |
| CN114631807A (zh) * | 2022-03-16 | 2022-06-17 | 苏州科医世凯半导体技术有限责任公司 | 一种对象参与度确定方法、装置、电子设备及存储介质 |
| CN115144615A (zh) * | 2022-04-28 | 2022-10-04 | 广东小天才科技有限公司 | 运动状态修正方法、装置、电子设备及存储介质 |
| CN115144615B (zh) * | 2022-04-28 | 2024-09-24 | 广东小天才科技有限公司 | 运动状态修正方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110334614A (zh) | 一种疲劳状态预警方法、装置、设备及存储介质 | |
| CN111291841B (zh) | 图像识别模型训练方法、装置、计算机设备和存储介质 | |
| CN105830080B (zh) | 使用特定于应用和特定于应用类型的模型进行移动设备行为的高效分类的方法和系统 | |
| CN105488957B (zh) | 疲劳驾驶检测方法及装置 | |
| Kardan et al. | Comparing and combining eye gaze and interface actions for determining user learning with an interactive simulation | |
| CN109684047A (zh) | 事件处理方法、装置、设备和计算机存储介质 | |
| US11154997B2 (en) | Method and apparatus for providing feedback regarding motion of a rotary shaver performed by a user | |
| US10706281B2 (en) | Controlling focal parameters of a head mounted display based on estimated user age | |
| CN114419736A (zh) | 一种实验评分方法、系统、设备及可读存储介质 | |
| US11749019B2 (en) | Systems and methods for matching facial images to reference images | |
| US11620494B2 (en) | Adaptable on-deployment learning platform for driver analysis output generation | |
| CN106295547A (zh) | 一种图像比对方法及图像比对装置 | |
| KR20200002149A (ko) | 자동 레이블링이 가능한 머신 러닝 방법 및 장치 | |
| CN107590473A (zh) | 一种人脸活体检测方法、介质和相关装置 | |
| CN109461068A (zh) | 欺诈行为的判断方法、装置、设备及计算机可读存储介质 | |
| CN113806512B (zh) | 机器人对话模型的训练方法、装置、设备及存储介质 | |
| CN110741387A (zh) | 人脸识别方法、装置、存储介质及电子设备 | |
| Rhue | Beauty’s in the AI of the beholder: how AI anchors subjective and objective predictions | |
| CN110169021A (zh) | 用于过滤多条消息的方法和设备 | |
| CN111444930A (zh) | 一种确定二分类模型的预测效果的方法及装置 | |
| CN110198299A (zh) | 一种入侵检测方法和装置 | |
| CN109469968A (zh) | 一种基于图像识别的空调控制的方法及装置 | |
| Alikhanov et al. | Design of Contextual Filtered Features for Better Smartphone-User Receptivity Prediction | |
| CN109815212A (zh) | 一种智能数据库构建方法、装置及系统 | |
| US11900327B2 (en) | Evaluation adjustment factoring for bias |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |