CN115107694A - 一种安全带佩戴提醒方法、装置、系统及车辆 - Google Patents
一种安全带佩戴提醒方法、装置、系统及车辆 Download PDFInfo
- Publication number
- CN115107694A CN115107694A CN202210042001.7A CN202210042001A CN115107694A CN 115107694 A CN115107694 A CN 115107694A CN 202210042001 A CN202210042001 A CN 202210042001A CN 115107694 A CN115107694 A CN 115107694A
- Authority
- CN
- China
- Prior art keywords
- signal
- vehicle
- safety belt
- target
- passenger
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000003062 neural network model Methods 0.000 claims abstract description 36
- 238000013528 artificial neural network Methods 0.000 claims description 37
- 238000012790 confirmation Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 description 33
- 206010039203 Road traffic accident Diseases 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 238000005457 optimization Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R22/00—Safety belts or body harnesses in vehicles
- B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R22/00—Safety belts or body harnesses in vehicles
- B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
- B60R2022/4808—Sensing means arrangements therefor
- B60R2022/4816—Sensing means arrangements therefor for sensing locking of buckle
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Automotive Seat Belt Assembly (AREA)
Abstract
本申请实施例提供一种安全带佩戴提醒方法、装置、系统及车辆,该方法包括:在车辆处于上电状态的情况下,获取车辆上每一目标座位分别对应的第一信号和车辆内部对应的图像信息,第一信号用于指示对应的安全带是否插入锁扣中以及安全带是否与锁扣匹配,目标座位为车辆上有乘员乘坐的座位;将图像信息输入至目标神经网络模型,获取用于指示车辆上的乘员是否扣系安全带的第二信号;在至少一个目标座位对应的第一信号指示安全带未插入锁扣中或安全带与锁扣不匹配,和/或第二信号指示至少一个乘员未扣系安全带时,输出第一提醒信号。本申请可以判断车辆上是否存在未佩戴安全带的乘员,在有乘员未佩戴安全带时提醒,提升了车辆行驶中乘员的安全性。
Description
技术领域
本申请涉及汽车技术领域,特别是涉及一种安全带佩戴提醒方法、装置、系统及车辆。
背景技术
安全带是保证车辆乘员安全的重要设备,安全带佩戴提醒装置(SBR,Safety BeltReminder)用于及时提醒座舱内人员扣系安全带,避免在发生交通事故情况下因座舱内人员未扣系安全带增加人员伤亡。传统安全带佩戴提醒装置主要由安全带插扣、安全带锁扣、报警器、车速传感器、控制器等组成,通过检测车速信号和安全带扣系状态对舱内主副驾安全带是否扣系进行提醒。但存在座舱内人员实际未佩戴安全带,只是将安全带插扣一直插入安全带锁扣中的情况,此时传统的安全带佩戴提醒装置不会发出报警提示,存在较大的安全隐患。
发明内容
本申请实施例提供了一种安全带佩戴提醒方法、装置、系统及车辆,以解决在安全带插入锁扣的情况下安全带与锁扣不匹配或乘员未佩戴安全带时如何进行安全带佩戴提醒的问题。
第一方面,本申请实施例提供一种安全带佩戴提醒方法,包括:
在车辆处于上电状态的情况下,获取所述车辆上每一目标座位分别对应的第一信号和所述车辆内部对应的图像信息,所述第一信号用于指示对应的安全带是否插入锁扣中以及所述安全带是否与所述锁扣匹配,所述目标座位为所述车辆上有乘员乘坐的座位;
将所述图像信息输入至目标神经网络模型,获取用于指示所述车辆上的乘员是否扣系安全带的第二信号;
在至少一个所述目标座位对应的所述第一信号指示对应的安全带未插入锁扣中或所述安全带与所述锁扣不匹配,和/或,所述第二信号指示至少一个所述乘员未扣系安全带时,输出第一提醒信号。
第二方面,本申请实施例还提供一种安全带佩戴提醒装置,包括:
第一获取模块,用于在车辆处于上电状态的情况下,获取所述车辆上每一目标座位分别对应的第一信号和所述车辆内部对应的图像信息,所述第一信号用于指示对应的安全带是否插入锁扣中以及所述安全带是否与所述锁扣匹配,所述目标座位为所述车辆上有乘员乘坐的座位;
第二获取模块,用于将所述图像信息输入至目标神经网络模型,获取用于指示所述车辆上的乘员是否扣系安全带的第二信号;
第一输出模块,用于在至少一个所述目标座位对应的所述第一信号指示对应的安全带未插入锁扣中或所述安全带与所述锁扣不匹配,和/或,所述第二信号指示至少一个所述乘员未扣系安全带时,输出第一提醒信号。
第三方面,本申请实施例还提供一种安全带佩戴提醒系统,包括:
控制器;
与所述控制器连接的安全带检测器和图像处理器;
其中,所述安全带检测器用于:在车辆处于上电状态的情况下,检测所述车辆上每一目标座位分别对应的第一信号,并将所述第一信号发送至所述控制器,其中,所述第一信号用于指示对应的安全带是否插入锁扣中以及所述安全带是否与所述锁扣匹配,所述目标座位为所述车辆上有乘员乘坐的座位;
所述图像处理器用于:在所述车辆处于上电状态的情况下,获取所述车辆内部对应的图像信息,将所述图像信息输入至目标神经网络模型,获取用于指示所述车辆上的乘员是否扣系安全带的第二信号,并将所述第二信号发送至所述控制器;
所述控制器用于:接收所述安全带检测器发送的所述第一信号和所述图像处理器发送的所述第二信号,并在至少一个所述目标座位对应的所述第一信号指示对应的安全带未插入锁扣中或所述安全带与所述锁扣不匹配,和/或,所述第二信号指示至少一个所述乘员未扣系安全带时,输出第一提醒信号。
第四方面,本申请实施例还提供一种车辆,包括上述的安全带佩戴提醒系统。
本申请实施例至少包括以下技术效果:
本申请技术方案,通过获取指示安全带是否插入锁扣的第一信号和指示乘员是否扣系安全带的第二信号,根据第一信号和第二信号判断车辆上是否存在未佩戴安全带的乘员,只有在第一信号指示乘员所乘坐的座位对应的安全带插入锁扣且安全带与锁扣匹配、第二信号指示乘员已扣系安全带的情况下,才确定乘员佩戴了安全带。只根据第一信号或第二信号判断乘员是否佩戴安全带的提醒方法,可能存在乘员只是将安全带插入锁扣中而并未实际扣系安全带的情况或成员将与锁扣不匹配的安全带插入锁扣中的情况,因此本申请可以更加准确的判断出乘员是否佩戴安全带。并且在确定有乘员未佩戴安全带的情况下进行提醒,提升了车辆在行驶过程中车辆上乘员的安全性,同时可以降低发生交通事故时车内乘员因未佩戴安全带出现严重伤亡的概率。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
图1是本申请实施例提供的安全带佩戴提醒方法的流程示意图之一;
图2是本申请实施例提供的安全带佩戴提醒方法的流程示意图之二;
图3是本申请实施例提供的安全带佩戴提醒方法的流程示意图之三;
图4是本申请实施例提供的目标神经网络模型的训练过程对应的流程示意图;
图5是本申请实施例提供的安全带佩戴提醒装置的结构示意图;
图6是本申请实施例提供的安全带佩戴提醒系统的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。
在本申请的各种实施例中,应理解,下述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本申请实施例提供一种安全带佩戴提醒方法,如图1所示,该方法可以包括:
步骤101,在车辆处于上电状态的情况下,获取车辆上每一目标座位分别对应的第一信号和车辆内部对应的图像信息,第一信号用于指示对应的安全带是否插入锁扣中以及安全带是否与锁扣匹配,目标座位为车辆上有乘员乘坐的座位。
在驾驶员启动车辆后,车辆处于上电状态,针对车辆上有乘员乘坐的每一目标座位,车辆上的控制器通过安全带检测器获取对应的第一信号,其中,在车辆的每一座位处均设置有安全带检测器,用于检测对应座位的安全带是否插入锁扣中以及安全带是否与锁扣匹配。
具体的,安全带检测器包括第一检测模块和第二检测模块,第一检测模块用于检测安全带是否插入锁扣中,第二检测模块用于检测安全带是否与锁扣匹配。在锁扣内设置有开关结构,当安全带插入锁扣中时,开关结构处于导通状态,当安全带未插入锁扣中时,开关结构处于断开状态,第一检测模块通过该开关结构的状态可以判断安全带是否插入锁扣中。第一检测模块只能检测出安全带是否插入锁扣中,并不能判断出该安全带是否为对应座位的安全带,当乘员使用一与安全带结构相同的插扣结构插入锁扣中时,第一检测模块仍会检测到开关结构处于导通状态。因此,需要在第一检测模块检测到安全带插入锁扣中的情况下,通过第二检测模块检测安全带是否与锁扣匹配。
可选的,第二检测模块在检测安全带是否与锁扣匹配时,可以采用以下两种方式中的任一种,当然也可以采用其他方式,本申请不做具体限定。
第一种方式,可以在对应座位的安全带和锁扣内分别设置磁性结构,在锁扣处设置磁场检测结构,在设置有磁性结构的安全带插入设置有磁性结构的锁扣中时,会产生磁场,该磁场检测结构检测到该磁场并向第二检测模块发送一指示检测到磁场的信号,在磁场检测结构未检测到磁场时会向第二检测模块发送一指示未检测到磁场的信号。此时,第二检测模块根据磁场检测结构发送的信号可以确定安全带与锁扣是否匹配。
第二种方式,可以在安全带的插扣位置内设置射频卡,在卡扣处设置射频读写器,在设置有射频卡的安全带插入设置有射频读写器的卡扣中时,射频读写器所发射出的电磁波开始读取射频卡内的信息,其中,在所述射频读写卡中预先存储有预设信息,在读取到的信息与预设信息相同时,确认信息正确并向第二检测模块发送一用于指示信息正确的信号,在读取到的信息与预设信息不相同时,确认信息错误并向第二检测模块发送一用于指示信息错误的信号。那么第二检测模块通过射频读写器发送的信号可以确定射频卡内的信息是否正确,进而确定所述安全带与所述卡扣是否匹配。
安全带检测器通过第一检测模块和第二检测模块可以确定所述第一信号,所述第一信号包括已插入信号和未插入信号,已插入信号表示对应的安全带插入锁扣且安全带与锁扣匹配,未插入信号表示对应的安全带未插入锁扣或安全带与锁扣不匹配。可选的,所述第一信号可以通过高、低电平信号表示已插入信号和未插入信号。那么,通过所述第一信号可以确定对应的目标座位上的安全带是否插入锁扣中以及安全带是否与锁扣匹配。
具体的,可以在车辆座舱内的每个座位上设置压力传感器,在所述压力传感器检测到的压力大于预设压力时,可以确定所述座位上有人员乘坐,进而确定所述座位为所述目标座位。
但是仅通过第一信号不能确定乘员是否佩戴安全带,可能存在乘员只是将安全带从身体后方插入锁扣中,而此时乘员并未扣系安全带,也就是说,乘员并未被安全带固定,因此,仅通过第一信号不能准确确定乘员是否佩戴安全带。在获取所述第一信号的情况下还需要获取车辆内部对应的图像信息,该图像信息包括车辆座舱内的每一座位处的画面,具体的,可以将采集所述图像信息的摄像设备设置在座舱内部的A柱上或者后视镜位置,其中所述摄像设备的数量可以是多个,以保证可以采集到车辆座舱内每一座位处的图像信息,在所述摄像设备为多个时,所述图像信息为每个摄像设备所分别采集的图像信息的集合。
步骤102,将图像信息输入至目标神经网络模型,获取用于指示车辆上的乘员是否扣系安全带的第二信号。
所述图像信息中包括了车辆座舱内的每一座位处的图像信息,通过所述图像信息可以判断座位上是否有乘员乘坐以及乘坐在座位上的乘员是否扣系安全带,其中,扣系安全带表示乘员被安全带固定,未扣系安全带表示乘员未被安全带固定。具体的,所述目标神经网络模型为预先训练完成的神经网络模型,通过将所述图像信息输入至所述目标神经网络模型,可以获取到用于指示所述车辆上的乘员是否扣系安全带的第二信号,具体的,所述第二信号包括已扣系信号和未扣系信号,已扣系信号表示对应的乘员被安全带固定,未扣系信号表示对应的乘员未被安全带固定。可选的,所述第二信号可以通过高、低电平信号表示已插入信号和未插入信号。那么,通过所述第二信号可以确定车辆座舱内的乘员数量以及每一乘员是否扣系安全带。
步骤103,在至少一个目标座位对应的第一信号指示对应的安全带未插入锁扣中或安全带与锁扣不匹配,和/或,第二信号指示至少一个乘员未扣系安全带时,输出第一提醒信号。
通过所述第一信号和所述第二信号,可以确定所述车辆上的乘员是否扣系安全带、其所乘坐的座位对应的安全带是否插入锁扣中以及安全带是否与锁扣匹配。在至少一个所述目标座位对应的所述第一信号指示对应的安全带未插入锁扣中或安全带与锁扣不匹配,和/或,所述第二信号指示至少一个所述乘员未扣系安全带的情况下,可以确定所述车辆上存在乘员在未扣系安全带和/或其所乘坐的座位对应的安全带未插入锁扣中或安全带与锁扣不匹配,此时需要输出第一提醒信号,以提示车辆上未佩戴安全带的乘员佩戴安全带。其中,本申请中的佩戴安全带是指乘员所乘坐的座位对应的安全带插入锁扣中、安全带与锁扣匹配且乘员被安全带固定。
本申请实施例通过获取指示安全带是否插入锁扣的第一信号和指示乘员是否扣系安全带的第二信号,根据第一信号和第二信号判断车辆上是否存在未佩戴安全带的乘员,只有在第一信号指示乘员所乘坐的座位对应的安全带插入锁扣且与锁扣匹配、第二信号指示乘员已扣系安全带的情况下,才确定乘员佩戴了安全带。只根据第一信号或第二信号判断乘员是否佩戴安全带的提醒方法,可能存在乘员只是将安全带插入锁扣中而并未实际扣系安全带的情况,因此本申请可以更加准确的判断出乘员是否佩戴安全带。并且在确定有乘员未佩戴安全带的情况下进行提醒,提升了车辆在行驶过程中车辆上乘员的安全性,同时可以降低发生交通事故时车内乘员因未佩戴安全带出现严重伤亡的概率。
在本申请一可选实施例中,所述输出第一提醒信号,包括:
获取所述车辆对应的第一车速;
根据所述第一车速确定所述第一提醒信号对应的目标类别;
根据所述目标类别输出对应的目标提醒内容。
具体的,在至少一个所述目标座位对应的所述第一信号指示对应的安全带未插入锁扣中或安全带与锁扣不匹配,和/或,所述第二信号指示至少一个所述乘员未扣系安全带时,可以确定当前车辆上存在未佩戴安全带的乘员,此时需要输出第一提醒信号,以提醒乘员佩戴安全带。具体的提醒内容可以根据当前车辆对应的第一车辆进行确定,在第一车速为零、也就是车辆还没有进入行驶状态时,输出的提醒内容可以是以提醒为目的的内容,例如:请系好安全带,在第一车速达到预设车速、也就是车辆已经进入行驶状态时,输出的提醒内容可以是以警告为目的的内容,例如:您未扣系安全带,请立即系好安全带。
因此,可以根据所述第一车速确定所述第一提醒信号对应的目标类别,然后根据所述目标类别输出对应的目标提醒内容。
进一步的,所述根据所述第一车速确定所述第一提醒信号对应的目标类别,包括:
在所述第一车速为第一预设车速时,所述第一提醒信号对应的目标类别为第一类别;
在所述第一车速为第二预设车速时,所述第一提醒信号对应的目标类别为第二类别;
其中,所述第二预设车速大于所述第一预设车速。
具体的,所述第一提醒信号对应的目标类别可以根据所述第一车速的具体时速进行确定,其中,所述第一预设车速可以为零,所述第二预设车速可以为车辆处于低速行驶时对应的车速,例如20公里每小时。
在所述第一车速为第一预设车速时,所述车辆处于静止状态,此时第一提醒信号对应的目标类别为第一类别;在所述第一车速为第二预设车速时,所述车辆处于行驶状态,此时第一提醒信号对应的目标类别为第二类别。其中,在所述目标类别为第一类别时,输出的目标提醒内容是与所述第一类别对应的提醒内容,此时该提醒内容可以是以提醒为目的的内容,例如请系好安全带。在所述目标类别为第二类别时,输出的目标提醒内容是与所述第二类别对应的提醒内容,此时该提醒内容可以是以警告为目的的内容,例如您未扣系安全带,请立即系好安全带。
本申请上述实施方案,通过获取车辆当前的第一车速,确定与所述第一车速对应的第一提醒信号的目标类别,并根据所述目标类别输出对应的目标提醒内容,可以在车辆处于不同状态时,输出不同的提醒内容,以使乘员可以根据提醒内容正确佩戴安全带,确保在车辆行驶过程中车辆上乘员均佩戴安全带,提高车辆在行车过程中乘员的安全性。
在本申请一可选实施例中,所述目标神经网络模型包括第一神经网络子模型和第二神经网络子模型,所述将所述图像信息输入至目标神经网络模型,获取用于指示所述车辆上的乘员是否扣系安全带的第二信号,包括:
将所述图像信息输入至所述第一神经网络子模型,获取所述图像信息中每一乘员对应的目标图像区域;
将所述每一乘员对应的所述目标图像区域输入至所述第二神经网络子模型,获取用于指示所述车辆上的乘员是否扣系安全带的第二信号。
具体的,通过摄像设备获取的图像信息中包括了车辆上每一座位处的图像,为了确定车辆上的乘员是否扣系安全带,首先需要确定乘员在车辆上的具体位置,也就是说需要获取所述图像信息中每一乘员对应的目标图像区域,然后对每一所述目标图像区域进行处理,确定每一所述目标图像区域对应的乘员是否扣系安全带。
本申请实施例中提供的目标神经网络模型包括第一神经网络子模型和第二神经网络子模型,其中,第一神经网络子模型用于对输入的图像信息进行处理,确定图像信息中每一乘员对应的目标图像区域。第二神经网络子模型用于对输入的每一目标图像信息进行处理,确定每一目标图像信息对应的乘员是否扣系安全带,并输出所述第二信号。也就是说,第一神经网络子模型可以确定车辆内的乘员数量,以及每一乘员对应的目标图像信息;第二神经网络子模型可以确定车辆上每一乘员是否扣系安全带。那么,通过第一子神经网络模型和第二子神经网络模型的结合可以确定车辆内乘员是否扣系安全带。
本申请上述实施方案,通过将所述图像信息输入第一神经网络子模型,得到每一乘员对应的目标图像区域,然后通过将目标图像区域输入至第二神经网络子模型,得到用于指示所述车辆上的乘员是否扣系安全带的第二信号,实现了基于图像处理确定图像信息中的乘员是否扣系安全带,且由于所述目标神经网络模型是预先训练得到的,因此,可以快速通过该目标神经网络模型确定图像信息中的乘员是否扣系安全带,从而可以确定乘员是否扣系安全带。
如图2所示,将所述图像信息输入至所述第一神经网络子模型,获取所述图像信息中每一乘员对应的目标图像区域,可以包括以下步骤:
步骤201,调整所述图像信息的尺寸。
步骤202,将调整后的图像信息输入至第一神经网络子模型,获取每一乘员的检测区域。
步骤203,去除检测区域内冗余的检测框。
步骤204,输出图像信息中每一乘员对应的目标图像区域以及乘员数量。
具体的,所述步骤201中调整所述图像信息的尺寸目的在于使调整后的图像信息可以满足第一神经网络子模型对输入图像的尺寸要求,所述第一神经网络子模型采用的算法可以是YOLO(You Only Look Once)算法,还可以是其他的目标检测算法,具体检测算法本申请不做具体限定,具体的,所述YOLO算法可以由24层卷积层和2层全连接处组成。步骤203在去除检测区域内冗余的检测框可以采用非极大值抑制(Non-Maximum Suppression,NMS)算法,采用NSM算法可以将步骤202中所检测到的检测区域对应的多个检测框进行去冗余操作,最终只保留一个检测框,以便于在步骤204中根据检测框的数量确定乘员数量、以及确定检测框对应的图像区域为目标图像区域。
如图3所示,将所述每一乘员对应的所述目标图像区域输入至所述第二神经网络子模型,获取用于指示所述车辆上的乘员是否扣系安全带的第二信号,可以包括以下步骤:
步骤301,获取目标图像区域中的安全带图像区域。
步骤302,将每一乘员对应的安全带图像区域输入至第二神经网络子模型,获取用于指示所述车辆上的乘员是否扣系安全带的第二信号。
具体的,在将所述目标图像信息输入至第二神经网络子模型之前,需要将所述目标图像区域中的安全带图像区域切割出来,然后将安全带图像区域对应的图像信息输入至第二神经网络子模型进行处理。其中,所述第二神经网络子模型可以是卷积神经网络分类模型,或其他可以检测出目标图像区域的乘员是否扣系安全带的算法,本申请不做具体限定。
如图4所示,为目标神经网络模型中第二神经网络子模型的训练过程的流程示意图,该神经网络模型依次包括:卷积层、池化层、dropout、卷积层、池化层、Bi-LSTM层、dropout、全连接层、全连接层和分类,采集数据(分为已扣系安全带数据和未扣系安全带数据)按照60%训练、20%验证和20%测试划分,将60%的训练数据集进行特征输入,通过神经网络模型后输出预览结果,利用预览结果和标签数据构造模型的损失函数,根据损失函数确定优化函数,然后通过优化函数对卷积层、全连接层、Bi-LSTM层、分类中的参数进行优化迭代,当达到迭代次数时结束训练,当未达到迭代次数时继续进行优化迭代。卷积神经网络模型训练完成之后,将20%的验证数据集和20%的测试数据集用对于模型的验证及测试。通过验证以及测试可以确定第二神经网络模型的准确率,若模型的准确率低于预设阈值,则需要继续对模型进行训练,以使得第二神经网络模型的准确率达到预设阈值。因为只有在模型的准确率高于预设阈值时,才能够准确的判断出目标图像区域内的乘员是否扣系安全带。
在本申请一可选实施例中,所述方法还包括:
将所述图像信息输入至所述目标神经网络模型,获取用于指示所述乘员是否规范扣系安全带的第三信号;
在所述第三信号指示所述乘员未规范扣系安全带的情况下,输出第二提醒信号。
需要说明的是,当安全带肩带位置太高时,会有可能割伤驾乘人员颈部,而当安全带肩带位置太低时,安全带肩带容易滑落导致无法限制驾乘人员身体前倾。所以在调节安全带高度时,应使安全带肩带跨过肩部的中央。
在训练目标神经网络子模型时可以设置标签信息,以使所述目标神经网络子模型可以对图像信息中的乘员是否规范佩戴安全带进行判断。具体是否规范可以根据安全带肩带距离乘员颈部的距离确定。具体为,乘员的颈部与安全带距离为第一距离,在所述第一距离小于第一预设距离,或,所述第一距离大于第二预设距离的情况下,确定乘员未规范佩戴安全带。在所述第一距离大于第一预设距离且小于第二预设距离的情况下,确定乘员规范佩戴安全带。其中,所述第二预设距离大于所述第一预设距离。
通过将所述图像信息输入至目标神经网络模型,可以确定乘员是否规范扣系安全带,所述目标神经网络子模型可以输出乘员佩戴安全带是否规范的第三信号。
具体的,第三信号包括已规范扣系信号和未规范扣系信号。可选的,所述第三信号可以通过高、低电平信号表示已规范扣系信号和未规范扣系信号。那么,通过所述第三信号可以确定对应的乘员是否规范扣系安全带。
本申请上述实施方案,通过目标神经网络模型可以对乘员是否规范佩戴安全带进行检测,并在乘员未规范佩戴安全带时进行提醒,以使乘员根据提醒调整安全带的位置,将安全带肩带跨过肩部中央,防止由于安全带佩戴不规范导致的乘员受到额外伤害或安全带不能很好的固定乘员,提升了车辆在行驶过程中车辆上乘员的安全性,同时可以降低发生交通事故时车内乘员因未规范佩戴安全带出现严重伤亡的概率。
在本申请一可选实施例中,所述方法还包括:
在每一所述目标座位分别对应的所述第一信号均指示对应的安全带插入锁扣中且与所述锁扣匹配、所述第二信号指示每一所述乘员均扣系安全带,且所述第一车速为第一预设车速时,输出用于指示安全带已佩戴的确认信号。
具体的,在所述车辆上每一所述目标座位分别对应的所述第一信号均指示对应的安全带插入锁扣中且与所述锁扣匹配,且所述第二信号指示每一所述乘员均扣系安全带,可以确定当前所述车辆上的每一乘客均扣系了安全带,且每一乘客对应的座位上的安全带均插入了锁扣中。此时,当车辆处于第一预设车速时,可以输出用于指示安全带已佩戴的确认信号。
本申请上述实施方案,通过输出用于指示安全带已佩戴的确认信号,可以使车辆上的驾驶员知晓每一乘员均佩戴了安全带,从而无需一一确认每一乘员的安全带佩戴情况,节省了启动车辆前的确认时间。
在本申请一可选实施例中,所述输出第一提醒信号,包括:
通过所述车辆的显示器和/或扬声器输出所述第一提醒信号,以使所述显示器显示对应的提示文字,和/或,所述扬声器播放对应的提示语音。
具体的,在输出第一提醒信号时,可以通过显示器进行显示或扬声器进行播放或同时通过显示器进行显示、扬声器进行播放。其中,所述显示器和所述扬声器可以是车辆上原有的设备。在输出所述第一提醒信号时,可以由安全带佩戴提醒系统直接发送控制指令至显示器和/或扬声器,也可以发送控制指令至车辆终端,然后由车辆终端将所述控制指令转发至显示器和/或扬声器,具体方式需要根据安全带佩戴提醒系统与显示器和/或扬声器的连接情况确定,本申请不做具体限定。
本申请上述实施方案,通过显示器和/或扬声器输出所述第一提醒信号,以提醒乘员正确佩戴安全带,从而可以提升车辆在行驶过程中车辆上乘员的安全性。
本申请实施例还提供一种安全带佩戴提醒装置,如图5所示,所述装置包括:
第一获取模块501,用于在车辆处于上电状态的情况下,获取所述车辆上每一目标座位分别对应的第一信号和所述车辆内部对应的图像信息,所述第一信号用于指示对应的安全带是否插入锁扣中以及所述安全带是否与所述锁扣匹配,所述目标座位为所述车辆上有乘员乘坐的座位;
第二获取模块502,用于将所述图像信息输入至目标神经网络模型,获取用于指示所述车辆上的乘员是否扣系安全带的第二信号;
第一输出模块503,用于在至少一个所述目标座位对应的所述第一信号指示对应的安全带未插入锁扣中或所述安全带与所述锁扣不匹配,和/或,所述第二信号指示至少一个所述乘员未扣系安全带时,输出第一提醒信号。
可选的,所述第一输出模块包括:
获取子模块,用于获取所述车辆对应的第一车速;
确定子模块,用于根据所述第一车速,确定所述第一提醒信号对应的目标类别;
输出子模块,用于根据所述目标类别输出对应的目标提醒内容。
可选的,所述确定子模块包括:
第一确定单元,用于在所述第一车速为第一预设车速时,所述第一提醒信号对应的目标类别为第一类别;
第二确定单元,用于在所述第一车速为第二预设车速时,所述第一提醒信号对应的目标类别为第二类别;
其中,所述第二预设车速大于所述第一预设车速。
可选的,所述目标神经网络模型包括第一神经网络子模型和第二神经网络子模型,所述第二获取模块包括:
第一获取子模块,用于将所述图像信息输入至所述第一神经网络子模型,获取所述图像信息中每一乘员对应的目标图像区域;
第二获取子模块,用于将所述每一乘员对应的所述目标图像区域输入至所述第二神经网络子模型,获取用于指示所述车辆上的乘员是否扣系安全带的第二信号。
可选的,所述装置还包括:
第二输出模块,用于在每一所述目标座位分别对应的所述第一信号均指示对应的安全带插入锁扣中且与所述锁扣匹配、所述第二信号指示每一所述乘员均扣系安全带,且所述第一车速为第一预设车速时,输出用于指示安全带已佩戴的确认信号。
可选的,所述第一输出模块还用于:通过所述车辆的显示器和/或扬声器输出所述第一提醒信号,以使所述显示器显示对应的提示文字,和/或,所述扬声器播放对应的提示语音。
可选的,所述装置还包括:
第三获取模块,用于将所述图像信息输入至所述目标神经网络模型,获取用于指示所述乘员是否规范扣系安全带的第三信号;
第三输出模块,用于在所述第三信号指示所述乘员未规范扣系安全带的情况下,输出第二提醒信号。
本申请提供的安全带佩戴提醒装置,通过获取指示安全带是否插入锁扣的第一信号和指示乘员是否扣系安全带的第二信号,根据第一信号和第二信号判断车辆上是否存在未佩戴安全带的乘员,只有在第一信号指示乘员所乘坐的座位对应的安全带插入锁扣、第二信号指示乘员已扣系安全带的情况下,才确定乘员佩戴了安全带。只根据第一信号或第二信号判断乘员是否佩戴安全带的提醒方法,可能存在乘员只是将安全带插入锁扣中而并未实际扣系安全带的情况,因此本申请可以更加准确的判断出乘员是否佩戴安全带。并且在确定有乘员未佩戴安全带的情况下进行提醒,提升了车辆在行驶过程中车辆上乘员的安全性,同时可以降低发生交通事故时车内乘员因未佩戴安全带出现严重伤亡的概率。
本申请实施例还提供一种安全带佩戴提醒系统,如图6所示,所述安全带佩戴提醒系统600包括:
控制器601;
与所述控制器601连接的安全带检测器602和图像处理器603;
其中,所述安全带检测器602用于:在车辆处于上电状态的情况下,检测所述车辆上每一目标座位分别对应的第一信号,并将所述第一信号发送至所述控制器601,其中,所述第一信号用于指示对应的安全带是否插入锁扣中以及所述安全带是否与所述锁扣匹配,所述目标座位为所述车辆上有乘员乘坐的座位;
所述图像处理器603用于:在所述车辆处于上电状态的情况下,获取所述车辆内部对应的图像信息,将所述图像信息输入至目标神经网络模型,获取用于指示所述车辆上的乘员是否扣系安全带的第二信号,并将所述第二信号发送至所述控制器601;
所述控制器601用于:接收所述安全带检测器602发送的所述第一信号和所述图像处理器603发送的所述第二信号,并在至少一个所述目标座位对应的所述第一信号指示对应的安全带未插入锁扣中或所述安全带与所述锁扣不匹配,和/或,所述第二信号指示至少一个所述乘员未扣系安全带时,输出第一提醒信号。
具体的,所述安全带检测器设置在车辆内每一座位处,用于检测对应座位的安全带是否插入锁扣中。该图像处理器可以是视频监控智能运维系统(Video IntelligentMaintenance System,VMIS),该VMIS可以包括驾驶员检测系统(Driver MonitoringSystem,DMS)和乘员监控系统(Occupancy Monitoring System,OMS),其中,DMS用于确定驾驶员是否扣系安全带,DMS的摄像设备可以设置在车辆的A柱位置,OMS用于确定车辆上除驾驶员外的乘员是否扣系安全带,OMS的摄像设备可以设置在后视镜位置。具体的,所述摄像设备的数量可以是多个,以保证可以采集到车辆座舱内每一座位处的图像信息,在所述摄像设备为多个时,所述图像信息为每个摄像设备所分别采集的图像信息的集合。
需要说明的是,所述控制器还与设置在每一座位处的压力传感器连接,在所述压力传感器检测到的压力大于预设压力时,可以确定所述座位上有人员乘坐,压力传感器向所述控制器发送压力信号,以使所述控制器可以确定车辆的座位中有乘员乘坐的目标座位。
可选的,所述系统还包括:与所述控制器601连接的车速检测器604;
所述车速检测器604用于:检测所述车辆对应的第一车速,并将所述第一车速发送至所述控制器601;
所述控制器601还用于:根据所述第一车速确定所述第一提醒信号对应的目标类别,并根据所述目标类别输出对应的目标提醒内容。
可选的,所控制器还用于:在所述第一车速为第一预设车速时,所述第一提醒信号对应的目标类别为第一类别;在所述第一车速为第二预设车速时,所述第一提醒信号对应的目标类别为第二类别;
其中,所述第二预设车速大于所述第一预设车速。
具体的,所述车速检测器可以设置在车辆驱动桥的桥壳上,用于实时监测车辆速度。
可选的,所述目标神经网络模型包括第一神经网络子模型和第二神经网络子模型,所述图像处理器还用于:将所述图像信息输入至所述第一神经网络子模型,获取所述图像信息中每一乘员对应的目标图像区域;将所述每一乘员对应的所述目标图像区域输入至所述第二神经网络子模型,获取用于指示所述车辆上的乘员是否扣系安全带的第二信号。
可选的,所述控制器还用于:在每一所述目标座位分别对应的所述第一信号均指示对应的安全带插入锁扣中且与所述锁扣匹配、所述第二信号指示每一所述乘员均扣系安全带,且所述第一车速为第一预设车速时,输出用于指示安全带已佩戴的确认信号。
可选的,所述控制器还用于:通过所述车辆的显示器和/或扬声器输出所述第一提醒信号,以使所述显示器显示对应的提示文字,和/或,所述扬声器播放对应的提示语音。
可选的,所述图像处理器还用于:将所述图像信息输入至所述目标神经网络模型,获取用于指示所述乘员是否规范扣系安全带的第三信号,并将所述第三信号发送至所述控制器;
所述控制器还用于:在所述第三信号指示所述乘员未规范扣系安全带的情况下,输出第二提醒信号。
本申请提供的安全带佩戴提醒系统,通过获取指示安全带是否插入锁扣的第一信号和指示乘员是否扣系安全带的第二信号,根据第一信号和第二信号判断车辆上是否存在未佩戴安全带的乘员,只有在第一信号指示乘员所乘坐的座位对应的安全带插入锁扣、第二信号指示乘员已扣系安全带的情况下,才确定乘员佩戴了安全带。只根据第一信号或第二信号判断乘员是否佩戴安全带的提醒方法,可能存在乘员只是将安全带插入锁扣中而并未实际扣系安全带的情况,因此本申请可以更加准确的判断出乘员是否佩戴安全带。并且在确定有乘员未佩戴安全带的情况下进行提醒,提升了车辆在行驶过程中车辆上乘员的安全性,同时可以降低发生交通事故时车内乘员因未佩戴安全带出现严重伤亡的概率。
本申请实施例还提供一种车辆,所述车辆包括上述的安全带佩戴提醒系统。
需要说明的是,所述车辆可以是家用小型汽车、七座商务车、大巴车或其他涉及安全带扣系的交通工具。
设置有该安全提醒系统的车辆,可以根据第一信号和第二信号准确的判断车辆上是否存在未佩戴安全带的乘员,并在确定有乘员未佩戴安全带的情况下进行提醒,提升了车辆在行驶过程中车辆上乘员的安全性,同时可以降低发生交通事故时车内乘员因未佩戴安全带出现严重伤亡的概率。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。
Claims (10)
1.一种安全带佩戴提醒方法,其特征在于,所述方法包括:
在车辆处于上电状态的情况下,获取所述车辆上每一目标座位分别对应的第一信号和所述车辆内部对应的图像信息,所述第一信号用于指示对应的安全带是否插入锁扣中以及所述安全带是否与所述锁扣匹配,所述目标座位为所述车辆上有乘员乘坐的座位;
将所述图像信息输入至目标神经网络模型,获取用于指示所述车辆上的乘员是否扣系安全带的第二信号;
在至少一个所述目标座位对应的所述第一信号指示对应的安全带未插入锁扣中或所述安全带与所述锁扣不匹配,和/或,所述第二信号指示至少一个所述乘员未扣系安全带时,输出第一提醒信号。
2.根据权利要求1所述的安全带佩戴提醒方法,其特征在于,所述输出第一提醒信号,包括:
获取所述车辆对应的第一车速;
根据所述第一车速确定所述第一提醒信号对应的目标类别;
根据所述目标类别输出对应的目标提醒内容。
3.根据权利要求2所述的安全带佩戴提醒方法,其特征在于,所述根据所述第一车速确定所述第一提醒信号对应的目标类别,包括:
在所述第一车速为第一预设车速时,所述第一提醒信号对应的目标类别为第一类别;
在所述第一车速为第二预设车速时,所述第一提醒信号对应的目标类别为第二类别;
其中,所述第二预设车速大于所述第一预设车速。
4.根据权利要求1所述的安全带佩戴提醒方法,其特征在于,所述目标神经网络模型包括第一神经网络子模型和第二神经网络子模型,所述将所述图像信息输入至目标神经网络模型,获取用于指示所述车辆上的乘员是否扣系安全带的第二信号,包括:
将所述图像信息输入至所述第一神经网络子模型,获取所述图像信息中每一乘员对应的目标图像区域;
将所述每一乘员对应的所述目标图像区域输入至所述第二神经网络子模型,获取用于指示所述车辆上的乘员是否扣系安全带的第二信号。
5.根据权利要求3所述的安全带佩戴提醒方法,其特征在于,所述方法还包括:
在每一所述目标座位分别对应的所述第一信号均指示对应的安全带插入锁扣中且与所述锁扣匹配、所述第二信号指示每一所述乘员均扣系安全带,且所述第一车速为第一预设车速时,输出用于指示安全带已佩戴的确认信号。
6.根据权利要求1所述的安全带佩戴提醒方法,其特征在于,所述输出第一提醒信号,包括:
通过所述车辆的显示器和/或扬声器输出所述第一提醒信号,以使所述显示器显示对应的提示文字,和/或,所述扬声器播放对应的提示语音。
7.根据权利要求1所述的安全带佩戴提醒方法,其特征在于,所述方法还包括:
将所述图像信息输入至所述目标神经网络模型,获取用于指示所述乘员是否规范扣系安全带的第三信号;
在所述第三信号指示所述乘员未规范扣系安全带的情况下,输出第二提醒信号。
8.一种安全带佩戴提醒装置,其特征在于,所述装置包括:
第一获取模块,用于在车辆处于上电状态的情况下,获取所述车辆上每一目标座位分别对应的第一信号和所述车辆内部对应的图像信息,所述第一信号用于指示对应的安全带是否插入锁扣中以及所述安全带是否与所述锁扣匹配,所述目标座位为所述车辆上有乘员乘坐的座位;
第二获取模块,用于将所述图像信息输入至目标神经网络模型,获取用于指示所述车辆上的乘员是否扣系安全带的第二信号;
第一输出模块,用于在至少一个所述目标座位对应的所述第一信号指示对应的安全带未插入锁扣中或所述安全带与所述锁扣不匹配,和/或,所述第二信号指示至少一个所述乘员未扣系安全带时,输出第一提醒信号。
9.一种安全带佩戴提醒系统,其特征在于,所述系统包括:
控制器;
与所述控制器连接的安全带检测器和图像处理器;
其中,所述安全带检测器用于:在车辆处于上电状态的情况下,检测所述车辆上每一目标座位分别对应的第一信号,并将所述第一信号发送至所述控制器,其中,所述第一信号用于指示对应的安全带是否插入锁扣中以及所述安全带是否与所述锁扣匹配,所述目标座位为所述车辆上有乘员乘坐的座位;
所述图像处理器用于:在所述车辆处于上电状态的情况下,获取所述车辆内部对应的图像信息,将所述图像信息输入至目标神经网络模型,获取用于指示所述车辆上的乘员是否扣系安全带的第二信号,并将所述第二信号发送至所述控制器;
所述控制器用于:接收所述安全带检测器发送的所述第一信号和所述图像处理器发送的所述第二信号,并在至少一个所述目标座位对应的所述第一信号指示对应的安全带未插入锁扣中或所述安全带与所述锁扣不匹配,和/或,所述第二信号指示至少一个所述乘员未扣系安全带时,输出第一提醒信号。
10.一种车辆,其特征在于,包括如权利要求8所述的安全带佩戴提醒系统。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210042001.7A CN115107694A (zh) | 2022-01-14 | 2022-01-14 | 一种安全带佩戴提醒方法、装置、系统及车辆 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210042001.7A CN115107694A (zh) | 2022-01-14 | 2022-01-14 | 一种安全带佩戴提醒方法、装置、系统及车辆 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115107694A true CN115107694A (zh) | 2022-09-27 |
Family
ID=83325121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210042001.7A Pending CN115107694A (zh) | 2022-01-14 | 2022-01-14 | 一种安全带佩戴提醒方法、装置、系统及车辆 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115107694A (zh) |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102874210A (zh) * | 2012-06-18 | 2013-01-16 | 浙江吉利汽车研究院有限公司杭州分公司 | 一种防止安全带假系的装置 |
CN106004782A (zh) * | 2016-06-01 | 2016-10-12 | 廊坊市金色时光科技发展有限公司 | 一种安全带装置 |
CN107139879A (zh) * | 2017-06-30 | 2017-09-08 | 吴速 | 一种安全带佩系检视装置、检视系统以及检视方法 |
CN108898054A (zh) * | 2018-05-24 | 2018-11-27 | 合肥工业大学 | 一种基于语义分割的安全带检测方法 |
CN109460699A (zh) * | 2018-09-03 | 2019-03-12 | 厦门瑞为信息技术有限公司 | 一种基于深度学习的驾驶员安全带佩戴识别方法 |
-
2022
- 2022-01-14 CN CN202210042001.7A patent/CN115107694A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102874210A (zh) * | 2012-06-18 | 2013-01-16 | 浙江吉利汽车研究院有限公司杭州分公司 | 一种防止安全带假系的装置 |
CN106004782A (zh) * | 2016-06-01 | 2016-10-12 | 廊坊市金色时光科技发展有限公司 | 一种安全带装置 |
CN107139879A (zh) * | 2017-06-30 | 2017-09-08 | 吴速 | 一种安全带佩系检视装置、检视系统以及检视方法 |
CN108898054A (zh) * | 2018-05-24 | 2018-11-27 | 合肥工业大学 | 一种基于语义分割的安全带检测方法 |
CN109460699A (zh) * | 2018-09-03 | 2019-03-12 | 厦门瑞为信息技术有限公司 | 一种基于深度学习的驾驶员安全带佩戴识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8284041B2 (en) | Method and apparatus for in-vehicle presence detection and driver alerting | |
US8576061B2 (en) | System and method for controlling one or more vehicle features based on driver status | |
US8335616B2 (en) | Individualizable post-crash assist system | |
US11772599B2 (en) | Methods and systems for detecting whether a seat belt is used in a vehicle | |
US6922154B2 (en) | Infant safety device | |
US8190332B2 (en) | Intelligent child safety seat | |
US20200017066A1 (en) | Child seat warning system | |
CN110949311B (zh) | 安全带检测装置、方法、系统、车辆和存储介质 | |
CN108639057B (zh) | 车载控制平台及其控制方法 | |
CN115107694A (zh) | 一种安全带佩戴提醒方法、装置、系统及车辆 | |
CN111791823A (zh) | 一种基于图像识别的儿童安全智能监控座椅系统 | |
JP2006117046A (ja) | 乗員保護システム、及び乗員保護装置 | |
CN212022574U (zh) | 一种车内儿童乘员状态识别设备 | |
CN114347999B (zh) | 一种基于多特征融合的乘员类型识别方法、系统、装置 | |
US20220212658A1 (en) | Personalized drive with occupant identification | |
US12017676B2 (en) | Driver monitoring device, driver monitoring method, and non-transitory computer-readable medium | |
CN113844399A (zh) | 基于舱内监控实现自适应气囊点爆的控制系统及方法 | |
US20230182762A1 (en) | Driver monitoring device, driver monitoring method, and non-transitory computer-readable medium | |
KR20130021980A (ko) | 차량의 승원 파악 및 시트벨트 경고 시스템과 그 방법 | |
CN110001571B (zh) | 一种基于usb充电控制的安全带诱系装置及方法 | |
US11958436B2 (en) | Seatbelt interlock | |
CN213007862U (zh) | 一种安全辅助驾驶系统及车辆 | |
EP3933667A1 (en) | Process for configuring a vehicle airbag module and vehicle airbag system | |
CN116039559A (zh) | 识别座椅安全装置安全状态的方法和装置 | |
CN108583280B (zh) | 控制启用车机系统的方法与装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |