CN114488571A - 一种能监测疲劳驾驶的智能音频眼镜及疲劳驾驶监测方法 - Google Patents

一种能监测疲劳驾驶的智能音频眼镜及疲劳驾驶监测方法 Download PDF

Info

Publication number
CN114488571A
CN114488571A CN202210211464.1A CN202210211464A CN114488571A CN 114488571 A CN114488571 A CN 114488571A CN 202210211464 A CN202210211464 A CN 202210211464A CN 114488571 A CN114488571 A CN 114488571A
Authority
CN
China
Prior art keywords
main control
eye image
control unit
user
fatigue driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210211464.1A
Other languages
English (en)
Inventor
涂昕
张建让
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Shenke Venture Capital Technology Co ltd
Original Assignee
Shenzhen Shenke Venture Capital Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Shenke Venture Capital Technology Co ltd filed Critical Shenzhen Shenke Venture Capital Technology Co ltd
Priority to CN202210211464.1A priority Critical patent/CN114488571A/zh
Publication of CN114488571A publication Critical patent/CN114488571A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02CSPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00Non-optical adjuncts; Attachment thereof
    • G02C11/10Electronic devices other than hearing aids
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/24Reminder alarms, e.g. anti-loss alarms

Landscapes

  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

本发明公开了一种能监测疲劳驾驶的智能音频眼镜及疲劳驾驶监测方法,智能音频眼镜包括有镜框和两个镜腿,镜框上设有至少一个摄像头,主控板上设有主控单元和音频处理单元,主控单元预存有正常状态眼睛图像组和异常状态眼睛图像组;摄像头用于拍摄用户人眼图像并传输至主控单元;主控单元用于将用户人眼图像与预存的正常状态眼睛图像组和异常状态眼睛图像组中的图像进行对比,根据对比结果判断出当前用户人眼是否为异常状态,并且当用户人眼的多次异常状态满足预设的触发条件时,通过音频处理单元控制喇叭发出疲劳驾驶提醒。本发明既能满足音频眼镜的基本使用需求,又能实时监测驾驶人员眼部状态,并在监测到疲劳驾驶时及时发出声音提醒。

Description

一种能监测疲劳驾驶的智能音频眼镜及疲劳驾驶监测方法
技术领域
本发明涉及智能音频眼镜,尤其涉及一种能监测疲劳驾驶的智能音频眼镜及疲劳驾驶监测方法。
背景技术
智能音频眼镜是在用户佩戴眼镜的同时,可以与手机等智能设备建立蓝牙通信,从而实现音频播放功能的智能穿戴设备。现有的智能音频眼镜仅具有音频信号的蓝牙收发功能,其功能单一,对于驾驶员而言只具有眼镜的基本功能以及音频播放功能,不能满足使用需求。
发明内容
本发明要解决的技术问题在于,针对现有技术的不足,提供一种既能满足音频眼镜的基本使用需求,又能实时监测驾驶人员眼部状态,并在监测到疲劳驾驶时及时发出声音提醒的智能音频眼镜以及基于该智能音频眼镜的疲劳驾驶监测方法。
为解决上述技术问题,本发明采用如下技术方案。
一种能监测疲劳驾驶的智能音频眼镜,其包括有镜框和两个镜腿,所述镜框上设有至少一个摄像头,所述摄像头的镜头朝向用户人眼,至少一个镜腿内设有主控板和喇叭,所述主控板上设有主控单元和音频处理单元,所述摄像头连接于所述主控单元,所述音频处理单元连接于所述主控单元与所述喇叭之间,其中:所述主控单元预存有正常状态眼睛图像组和异常状态眼睛图像组;所述摄像头用于拍摄用户人眼图像并传输至所述主控单元;所述主控单元用于将所述用户人眼图像与预存的正常状态眼睛图像组和异常状态眼睛图像组中的图像进行对比,根据对比结果判断出当前用户人眼是否为异常状态,并且当用户人眼的多次异常状态满足预设的触发条件时,通过所述音频处理单元控制所述喇叭发出疲劳驾驶提醒。
优选地,所述镜框上设有两个摄像头,两个摄像头分别用于拍摄用户双眼的图像。
优选地,所述摄像头位于以用户眼球正前方为基线向外0°至90°的夹角范围内。
优选地,所述镜腿上设有麦克风,所述麦克风连接于所述音频处理单元。
优选地,包括有电池和供电单元,所述供电单元连接于所述主控单元与所述电池之间,所述电池和所述主控板分别设于两个镜腿内。
优选地,所述主控单元包括有SOC功能控制器。
一种智能音频眼镜的疲劳驾驶监测方法,所述智能音频眼镜包括有镜框和两个镜腿,所述镜框上设有至少一个摄像头,所述摄像头的镜头朝向用户人眼,至少一个镜腿内设有主控板和喇叭,所述主控板上设有主控单元和音频处理单元,所述摄像头连接于所述主控单元,所述音频处理单元连接于所述主控单元与所述喇叭之间,所述疲劳驾驶监测方法包括有如下步骤:步骤S1,将正常状态眼睛图像组和异常状态眼睛图像组预存于所述主控单元;步骤S2,所述摄像头拍摄用户人眼图像并实时传输至所述主控单元;步骤S3,所述主控单元将所述用户人眼图像与预存的正常状态眼睛图像组和异常状态眼睛图像组中的图像进行对比,若当前用户人眼图像归类于正常状态眼睛图像组则返回执行步骤S2,若当前用户人眼图像归类于异常状态眼睛图像组则执行步骤S4;步骤S4,所述主控单元记录1次异常状态,并且当用户人眼的多次异常状态满足预设的触发条件时,所述主控单元通过所述音频处理单元控制所述喇叭发出疲劳驾驶提醒。
优选地,所述步骤S4中,所述触发条件包括:在设定时间内异常状态次数达到设定阈值时产生触发。
优选地,所述异常状态眼睛图像组中的图像包括:上下眼睑距离小于睁眼状态上下眼睑距离2/3时的图像;以及上下眼睑闭合时的图像。
优选地,所述主控单元还根据所述用户人眼图像记录用户的眨眼时间间隔,并且当眨眼时间间隔达到设定时间间隔值时,通过所述音频处理单元控制所述喇叭发出疲劳驾驶提醒。
本发明公开的能监测疲劳驾驶的智能音频眼镜中,首先将正常状态眼睛图像组和异常状态眼睛图像组预存于所述主控单元,作为后续对比基础,当用户佩戴智能眼镜后,利用所述摄像头拍摄用户人眼图像并实时传输至所述主控单元,所述主控单元基于预设的程序和算法将所述用户人眼图像与预存的正常状态眼睛图像组和异常状态眼睛图像组中的图像进行对比判断,若当前用户人眼图像归类于正常状态眼睛图像组则继续采集用户人眼图像,若当前用户人眼图像归类于异常状态眼睛图像组,则所述主控单元记录1次异常状态,并且当用户人眼的多次异常状态满足预设的触发条件时,所述主控单元通过所述音频处理单元控制所述喇叭发出疲劳驾驶提醒。基于上述原理可见,本发明不仅能满足音频眼镜的基本使用需求,还能实时监测驾驶人员眼部状态,并在监测到疲劳驾驶时及时发出声音提醒,较好地满足了用户需要和使用需求。
附图说明
图1为本发明智能音频眼镜的立体图;
图2为用户佩戴智能音频眼镜后的俯视图;
图3为本发明智能音频眼镜的电路框图;
图4为本发明疲劳驾驶监测方法的流程图;
图5为正常状态眼睛图像和异常状态眼睛图像的示意图。
具体实施方式
下面结合附图和实施例对本发明作更加详细的描述。
本发明公开了一种能监测疲劳驾驶的智能音频眼镜,结合图1至图5所示,其包括有镜框1和两个镜腿2,所述镜框1上设有至少一个摄像头3,所述摄像头3的镜头朝向用户人眼,至少一个镜腿2内设有主控板和喇叭6,所述主控板上设有主控单元4和音频处理单元5,所述摄像头3连接于所述主控单元4,所述音频处理单元5连接于所述主控单元4与所述喇叭6之间,其中:
所述主控单元4预存有正常状态眼睛图像组和异常状态眼睛图像组;
所述摄像头3用于拍摄用户人眼图像并传输至所述主控单元4;
所述主控单元4用于将所述用户人眼图像与预存的正常状态眼睛图像组和异常状态眼睛图像组中的图像进行对比,根据对比结果判断出当前用户人眼是否为异常状态,并且当用户人眼的多次异常状态满足预设的触发条件时,通过所述音频处理单元5控制所述喇叭6发出疲劳驾驶提醒。
上述结构中,首先将正常状态眼睛图像组和异常状态眼睛图像组预存于所述主控单元4,作为后续对比基础,当用户佩戴智能眼镜后,利用所述摄像头3拍摄用户人眼图像并实时传输至所述主控单元4,所述主控单元4基于预设的程序和算法将所述用户人眼图像与预存的正常状态眼睛图像组和异常状态眼睛图像组中的图像进行对比判断,若当前用户人眼图像归类于正常状态眼睛图像组则继续采集用户人眼图像,若当前用户人眼图像归类于异常状态眼睛图像组,则所述主控单元4记录1次异常状态,并且当用户人眼的多次异常状态满足预设的触发条件时,所述主控单元4通过所述音频处理单元5控制所述喇叭6发出疲劳驾驶提醒。基于上述原理可见,本发明不仅能满足音频眼镜的基本使用需求,还能实时监测驾驶人员眼部状态,并在监测到疲劳驾驶时及时发出声音提醒,较好地满足了用户需要和使用需求。
为了实现双眼同时监测,本实施例中,所述镜框1上设有两个摄像头3,两个摄像头3分别用于拍摄用户双眼的图像。
智能眼镜本身具有驾驶模式启动按键,当启动驾驶模式后,摄像头将开启并周期性进行人眼部位采集样片,样片采集后由图像处理算法处理后并与标准眼部图片进行比对和记录异常眼部特征发生的次数,标准眼部特征图示及异常眼部特征。
作为一种优选方式,所述摄像头3位于以用户眼球正前方为基线向外0°至90°的夹角范围内。实际应用中,人眼部由中间向外的一部分区域能更加清楚地展示眼睛状态,比如眨眼、闭眼、睁眼等状态,对此,本实施例优选采用人眼前方偏外侧的区域作为人眼图像的主要采集区域,所以优选将所述摄像头3设置在该0°至90°的夹角范围内,以更加准确地拍摄到人眼的实际状态图像。
为了实现通话功能,本实施例中,所述镜腿2上设有麦克风7,所述麦克风7连接于所述音频处理单元5。
相应地,本实施例包括有电池8和供电单元9,所述供电单元9连接于所述主控单元4与所述电池8之间,所述电池8和所述主控板分别设于两个镜腿2内。
作为一种优选方式,所述主控单元4包括有SOC功能控制器。
为了更好地描述本发明的技术方案,本发明还公开了一种智能音频眼镜的疲劳驾驶监测方法,结合图1至图5所示,所述智能音频眼镜包括有镜框1和两个镜腿2,所述镜框1上设有至少一个摄像头3,所述摄像头3的镜头朝向用户人眼,至少一个镜腿2内设有主控板和喇叭6,所述主控板上设有主控单元4和音频处理单元5,所述摄像头3连接于所述主控单元4,所述音频处理单元5连接于所述主控单元4与所述喇叭6之间,所述疲劳驾驶监测方法包括有如下步骤:
步骤S1,将正常状态眼睛图像组和异常状态眼睛图像组预存于所述主控单元4;
步骤S2,所述摄像头3拍摄用户人眼图像并实时传输至所述主控单元4;
步骤S3,所述主控单元4将所述用户人眼图像与预存的正常状态眼睛图像组和异常状态眼睛图像组中的图像进行对比,若当前用户人眼图像归类于正常状态眼睛图像组则返回执行步骤S2,若当前用户人眼图像归类于异常状态眼睛图像组则执行步骤S4;
步骤S4,所述主控单元4记录1次异常状态,并且当用户人眼的多次异常状态满足预设的触发条件时,所述主控单元4通过所述音频处理单元5控制所述喇叭6发出疲劳驾驶提醒。
上述方法中,当前用户人眼图像与正常状态眼睛图像组中的某个(些)图像相近或者一致时,则将其归类于正常状态眼睛图像组;当前用户人眼图像与异常状态眼睛图像组中的某个(些)图像相近或者一致时,则将其归类于异常状态眼睛图像组。其中涉及的图像特征对比可采用现有技术中任何一种图像特征对比算法或者手段,此部分图像对比技术相对成熟,本实施例不再赘述。
作为一种优选方式,所述步骤S4中,所述触发条件包括:在设定时间内异常状态次数达到设定阈值时产生触发。
实际应用中,请参见图5,所述异常状态眼睛图像组中的图像包括:
上下眼睑距离小于睁眼状态上下眼睑距离2/3时的图像;
以及上下眼睑闭合时的图像。
本实施例中,还可根据用户的眨眼频率来判断其疲劳与否,具体是指,所述主控单元4还根据所述用户人眼图像记录用户的眨眼时间间隔,并且当眨眼时间间隔达到设定时间间隔值时,通过所述音频处理单元5控制所述喇叭6发出疲劳驾驶提醒。
基于上述两种判断手段,本发明疲劳驾驶监测方法在实际应用中可参考如下实施例。
实施例一
本实施例中,请参见图5,对于图像的判断主要依托两个方面的数据:
1、单位时间内的眨眼次数。人在困乏时所表现出来的特征是:上眼脸下垂速度及持续时间,以及眼内进入异物或正常频繁眨眼持续时间/频率是不相同的,也就是说,单位时间内正常眨眼次数会比困乏时的次数多,正常情况下眨眼的频率比困乏时的眨眼频率要高。比如:正常眨眼频率约0.5~0.8S,而困乏时眨眼频率约2.5S以上,因此,记录上眼脸的异常动作频率有助于对驾驶人的疲劳状态进行判断。
2、眼睛睁开的程度或是大小,即上下眼脸之间的距离,比如上下眼脸之间的距离小于眼睛完全睁开状态下的3/2可视为异常状态,上下眼脸闭合视为异常状态。
当上述两个条件都满足且达到系统设定次数后(比如2分鈡内系统记录的异常次为大于等于2次,且初步判定驾驶员存在疲劳情况,精神状态不佳),系统会通过音频模块发出警示,提醒驾驶人停车休息以避免风险,从而达到疲劳驾驶提醒的目的;如果未达到系统警示设定条件,摄像头将继续工作并在关闭驾驶模式后、退出驾驶模式前清除系统缓存信息。
以上所述只是本发明较佳的实施例,并不用于限制本发明,凡在本发明的技术范围内所做的修改、等同替换或者改进等,均应包含在本发明所保护的范围内。

Claims (10)

1.一种能监测疲劳驾驶的智能音频眼镜,其特征在于,包括有镜框(1)和两个镜腿(2),所述镜框(1)上设有至少一个摄像头(3),所述摄像头(3)的镜头朝向用户人眼,至少一个镜腿(2)内设有主控板和喇叭(6),所述主控板上设有主控单元(4)和音频处理单元(5),所述摄像头(3)连接于所述主控单元(4),所述音频处理单元(5)连接于所述主控单元(4)与所述喇叭(6)之间,其中:
所述主控单元(4)预存有正常状态眼睛图像组和异常状态眼睛图像组;
所述摄像头(3)用于拍摄用户人眼图像并传输至所述主控单元(4);
所述主控单元(4)用于将所述用户人眼图像与预存的正常状态眼睛图像组和异常状态眼睛图像组中的图像进行对比,根据对比结果判断出当前用户人眼是否为异常状态,并且当用户人眼的多次异常状态满足预设的触发条件时,通过所述音频处理单元(5)控制所述喇叭(6)发出疲劳驾驶提醒。
2.如权利要求1所述的能监测疲劳驾驶的智能音频眼镜,其特征在于,所述镜框(1)上设有两个摄像头(3),两个摄像头(3)分别用于拍摄用户双眼的图像。
3.如权利要求1所述的能监测疲劳驾驶的智能音频眼镜,其特征在于,所述摄像头(3)位于以用户眼球正前方为基线向外0°至90°的夹角范围内。
4.如权利要求1所述的能监测疲劳驾驶的智能音频眼镜,其特征在于,所述镜腿(2)上设有麦克风(7),所述麦克风(7)连接于所述音频处理单元(5)。
5.如权利要求1所述的能监测疲劳驾驶的智能音频眼镜,其特征在于,包括有电池(8)和供电单元(9),所述供电单元(9)连接于所述主控单元(4)与所述电池(8)之间,所述电池(8)和所述主控板分别设于两个镜腿(2)内。
6.如权利要求1所述的能监测疲劳驾驶的智能音频眼镜,其特征在于,所述主控单元(4)包括有SOC功能控制器。
7.一种智能音频眼镜的疲劳驾驶监测方法,其特征在于,所述智能音频眼镜包括有镜框(1)和两个镜腿(2),所述镜框(1)上设有至少一个摄像头(3),所述摄像头(3)的镜头朝向用户人眼,至少一个镜腿(2)内设有主控板和喇叭(6),所述主控板上设有主控单元(4)和音频处理单元(5),所述摄像头(3)连接于所述主控单元(4),所述音频处理单元(5)连接于所述主控单元(4)与所述喇叭(6)之间,所述疲劳驾驶监测方法包括有如下步骤:
步骤S1,将正常状态眼睛图像组和异常状态眼睛图像组预存于所述主控单元(4);
步骤S2,所述摄像头(3)拍摄用户人眼图像并实时传输至所述主控单元(4);
步骤S3,所述主控单元(4)将所述用户人眼图像与预存的正常状态眼睛图像组和异常状态眼睛图像组中的图像进行对比,若当前用户人眼图像归类于正常状态眼睛图像组则返回执行步骤S2,若当前用户人眼图像归类于异常状态眼睛图像组则执行步骤S4;
步骤S4,所述主控单元(4)记录1次异常状态,并且当用户人眼的多次异常状态满足预设的触发条件时,所述主控单元(4)通过所述音频处理单元(5)控制所述喇叭(6)发出疲劳驾驶提醒。
8.如权利要求7所述的智能音频眼镜的疲劳驾驶监测方法,其特征在于,所述步骤S4中,所述触发条件包括:在设定时间内异常状态次数达到设定阈值时产生触发。
9.如权利要求7所述的智能音频眼镜的疲劳驾驶监测方法,其特征在于,所述异常状态眼睛图像组中的图像包括:
上下眼睑距离小于睁眼状态上下眼睑距离2/3时的图像;
以及上下眼睑闭合时的图像。
10.如权利要求7所述的智能音频眼镜的疲劳驾驶监测方法,其特征在于,所述主控单元(4)还根据所述用户人眼图像记录用户的眨眼时间间隔,并且当眨眼时间间隔达到设定时间间隔值时,通过所述音频处理单元(5)控制所述喇叭(6)发出疲劳驾驶提醒。
CN202210211464.1A 2022-03-05 2022-03-05 一种能监测疲劳驾驶的智能音频眼镜及疲劳驾驶监测方法 Pending CN114488571A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210211464.1A CN114488571A (zh) 2022-03-05 2022-03-05 一种能监测疲劳驾驶的智能音频眼镜及疲劳驾驶监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210211464.1A CN114488571A (zh) 2022-03-05 2022-03-05 一种能监测疲劳驾驶的智能音频眼镜及疲劳驾驶监测方法

Publications (1)

Publication Number Publication Date
CN114488571A true CN114488571A (zh) 2022-05-13

Family

ID=81486262

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210211464.1A Pending CN114488571A (zh) 2022-03-05 2022-03-05 一种能监测疲劳驾驶的智能音频眼镜及疲劳驾驶监测方法

Country Status (1)

Country Link
CN (1) CN114488571A (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106558191A (zh) * 2016-12-16 2017-04-05 天津牧瞳星科技有限公司 一种疲劳驾驶预警眼镜
CN108133573A (zh) * 2017-12-26 2018-06-08 中国神华能源股份有限公司 疲劳驾驶报警系统
CN109367479A (zh) * 2018-08-31 2019-02-22 南京理工大学 一种疲劳驾驶监测方法及装置
CN113744499A (zh) * 2021-08-12 2021-12-03 科大讯飞股份有限公司 一种疲劳预警方法、眼镜、系统和计算机可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106558191A (zh) * 2016-12-16 2017-04-05 天津牧瞳星科技有限公司 一种疲劳驾驶预警眼镜
CN108133573A (zh) * 2017-12-26 2018-06-08 中国神华能源股份有限公司 疲劳驾驶报警系统
CN109367479A (zh) * 2018-08-31 2019-02-22 南京理工大学 一种疲劳驾驶监测方法及装置
CN113744499A (zh) * 2021-08-12 2021-12-03 科大讯飞股份有限公司 一种疲劳预警方法、眼镜、系统和计算机可读存储介质

Similar Documents

Publication Publication Date Title
WO2020078465A1 (zh) 驾驶状态分析方法和装置、驾驶员监控系统、车辆
CN104079972B (zh) 一种检测用户在睡眠状态下自动关闭电视的方法及系统
CN103885589B (zh) 眼动追踪方法及装置
CN204631388U (zh) 一种新式智能眼镜结构
CN201060334Y (zh) 防瞌睡眼镜
CN109116991A (zh) 穿戴式设备的控制方法、装置、存储介质及穿戴式设备
CN106526863B (zh) 一种眼镜
CN110319545A (zh) 环境管理方法、装置和空调
CN105630143A (zh) 一种调整屏幕显示的方法和装置
CN110319544A (zh) 环境管理方法、装置和空调
CN109561213A (zh) 一种护眼模式控制方法、终端及计算机可读存储介质
CN104090384A (zh) 一种眨眼监控的眼镜及其方法
CN109407858A (zh) 一种智能眼镜
CN110262074B (zh) 一种智能护眼仪
CN106557167A (zh) 智能眼镜及其控制设备的方法、系统及控制器
CN105866953A (zh) 基于智能眼镜的通透率控制方法、装置以及智能眼镜
CN110099305A (zh) 一种智能识别不同用户观看电视时长的电视及控制系统
CN102043942A (zh) 目视方向判断方法、影像处理方法及其装置、和显示装置
CN109635851A (zh) 一种基于人脸多特征融合的智能电视用户疲劳检测系统及方法
CN113744499B (zh) 一种疲劳预警方法、眼镜、系统和计算机可读存储介质
CN105701971A (zh) 一种基于虹膜识别的防止疲劳驾驶系统、装置及方法
CN201812366U (zh) 电脑显示器视力保护系统
CN114488571A (zh) 一种能监测疲劳驾驶的智能音频眼镜及疲劳驾驶监测方法
CN206833366U (zh) 防走神可穿戴式智能设备
CN204465805U (zh) 一种瞌睡驾驶提醒的蓝牙装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination