CN110053582A - 座椅安全带扣紧检测 - Google Patents

座椅安全带扣紧检测 Download PDF

Info

Publication number
CN110053582A
CN110053582A CN201910049971.8A CN201910049971A CN110053582A CN 110053582 A CN110053582 A CN 110053582A CN 201910049971 A CN201910049971 A CN 201910049971A CN 110053582 A CN110053582 A CN 110053582A
Authority
CN
China
Prior art keywords
area
seat
occupant
computer
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910049971.8A
Other languages
English (en)
Inventor
休伯特·萨瓦斯基
乐嘉良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN110053582A publication Critical patent/CN110053582A/zh
Pending legal-status Critical Current

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4808—Sensing means arrangements therefor
    • B60R2022/485—Sensing means arrangements therefor for sensing belt anchor position, belt orientation, or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4866—Displaying or indicating arrangements thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4883—Interlock systems
    • B60R2022/4891—Interlock systems preventing use of the vehicle when the seatbelt is not fastened

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Traffic Control Systems (AREA)
  • Seats For Vehicles (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了“座椅安全带扣紧检测”。一种计算机被编程为识别表示座椅安全带的图像的第一和第二区域、在检测到所述第一区域和所述第二区域中不存在所述座椅安全带时致动输出装置以输送第一输出并且在检测到所述第一区域中不存在所述座椅安全带而在所述第二区域中存在所述座椅安全带时致动所述输出装置以输送第二输出。

Description

座椅安全带扣紧检测
技术领域
本公开涉及车辆座椅安全带领域，并且更具体地，涉及车辆座椅安全带扣检测。
背景技术
驾驶员状态监测(DSM)系统检测车辆驾驶员座椅中的乘员是否注意力不集中，诸如困倦。一些DSM系统从电动助力转向系统接收输入并分析转向模式。一些DSM系统使用车道监测摄像头来检测车辆是否偏离车道。一些DSM系统测量生理数据，如心率或皮肤电导率。一些DSM系统使用监测乘员的摄像头来例如检测乘员的眼睑下垂是否太长或太频繁。
车辆通常配备有传感器以检测座椅安全带是否扣紧。这些传感器通常位于约束系统的插扣中。例如，车辆可以包括插扣中的每一者内的舌簧开关以检测座椅安全带的夹子是否扣入插扣中。
但是位于插扣中的传感器不能确定座椅安全带是否扣紧，并且不能确定是否不正确地扣紧。此外，传感器是附加部件并且成本高于驾驶员状态监测系统。
发明内容
本文描述的系统可以监测未扣紧座椅安全带和不正确地扣紧座椅安全带这两者。所述系统包括用于监测车辆乘员的摄像头。用于监测所述乘员的所述摄像头可以支持驾驶员状态监测系统和对座椅安全带扣紧的检测这两者，从而允许省略所述座椅安全带扣中的传感器。所述摄像头还可以支持其他功能，诸如基于驾驶员注视方向点亮仪表板控件。在检测到座椅安全带未扣紧时，所述系统可以致动一个或多个装置，包括输出装置和一个或多个车速控件，例如节气门或变速器齿轮箱。
所述系统包括计算机，并且所述计算机被编程为识别座椅安全带图像的第一和第二区域、在检测到所述第一区域和所述第二区域中不存在座椅安全带时致动输出装置以输送第一输出并且在检测到所述第一区域中不存在所述座椅安全带而在所述第二区域中存在所述座椅安全带时致动所述输出装置以输送第二输出。
计算机可以进一步被编程为在检测到所述图像中有乘员、所述第一区域中不存在所述座椅安全带并且所述第二区域中不存在所述座椅安全带时，致动所述输出装置以输送所述第一输出；以及在检测到所述图像中有所述乘员、所述第一区域中不存在所述座椅安全带而所述第二区域中存在所述座椅安全带时，致动所述输出装置以输送所述第二输出。
所述计算机还可以被编程为在所述图像中为乘员的胸部处的所述第一区域选择位置。
所述计算机还可以被编程为在所述图像中为乘员的肩部上方和头部或颈部旁边的所述第二区域选择位置。
计算机可以进一步被编程为在确定乘员注意力不集中时致动所述输出装置以输送第三输出。
所述第一区域在所述图像中可以位于预期坐在座椅中的百分之五十身高的乘员的胸部所处的位置。
所述第二区域在所述图像中可以位于预期坐在所述座椅中的百分之五十身高的乘员的肩部上方和头部或颈部旁边的位置。
所述第一输出可以包括用户界面的第一次致动和车速的限制，而所述第二输出可以包括所述用户界面的第二次致动和车速的限制。
一种方法包括：识别座椅安全带图像的第一和第二区域，在检测到所述第一区域和所述第二区域中不存在座椅安全带时致动输出装置以输送第一输出，并且在检测到所述第一区域中不存在所述座椅安全带而在所述第二区域中存在所述座椅安全带时致动所述输出装置以输送第二输出。
所述方法可以包括：在检测到所述图像中有乘员、所述第一区域中不存在所述座椅安全带并且所述第二区域中不存在所述座椅安全带时，致动所述输出装置以输送所述第一输出；以及在检测到所述图像中有所述乘员、所述第一区域中不存在所述座椅安全带而所述第二区域中存在所述座椅安全带时，致动所述输出装置以输送所述第二输出。
所述方法可以包括在所述图像中为乘员的胸部处的所述第一区域选择位置。
所述方法可以包括在所述图像中为乘员的肩部上方和头部或颈部旁边的所述第二区域选择位置。
所述方法可以包括在确定乘员注意力不集中时致动所述输出装置以输送第三输出。
所述第一区域在所述图像中可以位于预期坐在座椅中的百分之五十身高的乘员的胸部所处的位置。
所述第二区域在所述图像中可以位于预期坐在所述座椅中的百分之五十身高的乘员的肩部上方和头部或颈部旁边的位置。
所述第一输出可以包括用户界面的第一次致动和车速的限制，而所述第二输出可以包括所述用户界面的第二次致动和车速的限制。
一种车辆包括：座椅；摄像头，其对准所述座椅；和计算机，其与所述摄像头进行通信，并且所述计算机被编程为识别来自所述摄像头的座椅安全带图像的第一和第二区域、在检测到所述第一区域和所述第二区域中不存在座椅安全带时致动输出装置以输送第一输出并且在检测到所述第一区域中不存在所述座椅安全带而在所述第二区域中存在所述座椅安全带时致动所述输出装置以输送第二输出。
所述计算机还可以被编程为在所述图像中为乘员的胸部处的所述第一区域选择位置并且在所述图像中为所述乘员的肩部上方和头部或颈部旁边的所述第二区域选择位置。
所述第一区域在所述图像中可以位于预期坐在所述座椅中的百分之五十身高的乘员的胸部所处的位置，而所述第二区域在所述图像中可以位于预期坐在所述座椅中的百分之五十身高的乘员的肩部上方和头部或颈部旁边的位置。
所述第一输出可以包括用户界面的第一次致动和车速的限制，而所述第二输出可以包括所述用户界面的第二次致动和车速的限制。
附图说明
图1是示例性车辆的俯视图，其中为了进行说明暴露出了乘客舱。
图2是图1的车辆的后视镜的后视图。
图3是图1的车辆的控制系统的框图。
图4A是图1的车辆的座椅的前视图，该座椅上的乘员以第一布置系上座椅安全带。
图4B是图1的车辆的座椅的前视图，该座椅上的乘员以第二布置系上座椅安全带。
图4C是图1的车辆的座椅的前视图，该座椅上的乘员以第三布置系上座椅安全带。
图5是用于基于座椅安全带的布置来控制图1的车辆的示例性过程的过程流程图。
具体实施方式
参考图1，车辆30可以是自主车辆。计算机32(图3中所示)可以被配置为完全地或在较小程度上独立于驾驶人员的介入而操作车辆30。计算机32可以被编程为操作推进、制动系统、转向和/或其他车辆系统。出于本公开的目的，自主操作意味着计算机32控制推进、制动系统和转向；半自主操作意味着计算机32控制推进、制动系统和转向中的一者或两者，并且驾驶人员控制剩余操作；并且非自主操作意味着驾驶人员控制推进、制动系统和转向。
车辆30包括乘客舱34，其可以容纳车辆30的乘员(如果有的话)。乘客舱34包括一个或多个前排座椅36、38，其包括设置在乘客舱34的前部的驾驶员座椅36和乘客座椅38。乘客舱还可以包括设置在前排座椅36、38后面的一个或多个后排座椅40。乘客舱34还可以包括在乘客舱34后部的第三排座椅(未示出)。在图1中，前排座椅36、38被示为斗式座椅(bucket seat)，但是座椅36、38、40也可以是其他类型。座椅36、38、40及其部件的位置和定向可为可由乘员调整。
参考图4A至图4C，每个座椅36、38、40都可以包括座椅靠背42、座椅底部44和头枕46。头枕46可以由座椅靠背42支撑并且可以相对于座椅靠背42是固定的或可移动的。座椅靠背42可以由座椅底部44支撑并且可以相对于座椅底部44是固定的或可移动的。座椅靠背42、座椅底部44和/或头枕46可为可通过多个自由度进行调整。具体地，座椅靠背42、座椅底部44和/或头枕46本身可以是可调整的，换句话说，可以是座椅靠背42、座椅底部44和/或头枕46内的可调部件，和/或可为可相对于彼此进行调整。
每个座椅36、38、40都具有约束系统48。约束系统48是三点式系带，这意味着座椅安全带50在被紧固时附接在乘员周围的三个点处：锚固件52、伸缩器54和插扣56。替代地，约束系统48可以包括另一个数量和/或布置的附接点。
锚固件52以常规方式将座椅安全带50的一端附接到座椅36、38、40的框架(未示出)。座椅安全带50的另一端送入伸缩器54，该伸缩器可以包括伸展和缩回座椅安全带50的常规滑阀(未示出)。夹子58沿着座椅安全带50自由滑动，并且当与插扣56接合时，将座椅安全带50分成膝带60和肩带62。
参考图1和图2，摄像头64对准座椅36、38、40中的一者或多者，即，被布置为具有包括座椅36、38、40中的一者或多者的视野。具体地，摄像头64可以对准座椅36、38、40，例如，对准驾驶员座椅36的座椅靠背42。例如，摄像头64可以固定地安装在座椅靠背42处于摄像头64的视野中的位置，而不管如何调整座椅36、38、40的位置。对于另一个示例，摄像头64可以例如通过伺服马达(未示出)可移动地安装，并且摄像头64的移动可以跟踪座椅36、38、40的位置的调整。摄像头64附接在乘客舱34中。例如，摄像头64可以附接到后视镜66并且面向后方。对于另一个示例，摄像头64可以安装在仪表板上或仪表板中，诸如在方向盘后面或者在仪表板上居中靠近挡风玻璃底部边缘。对于另一个示例，摄像头64可以安装在乘客舱34的车顶上，例如靠近遮阳板。摄像头64以视频的形式输出数据，即，图像的时间序列，例如数字图像。摄像头64检测电磁辐射；例如，摄像头64可以检测一些或全部可见光光谱，并且替代地或另外地，可以检测一些或全部红外和/或紫外光谱。
参考图3，计算机32是基于微处理器的计算机。计算机32包括处理器、存储器等。计算机32的存储器包括用于存储可由处理器执行的指令以及用于电子地存储数据和/或数据库的存储器。
计算机32可以通过诸如控制器局域网(CAN)总线、以太网、WiFi、局域互连网(LIN)、车载诊断装置连接器(OBD-II)等通信网络68和/或通过任何其他有线或无线通信网络来传输和接收数据。计算机32可以经由通信网络68与摄像头64、用户界面70、调速器72和其他部件进行通信。
用户界面70向车辆30的乘员呈现信息并且从乘员接收信息。用户界面70可以位于例如车辆30的乘客舱34中的仪表板上，或者位于乘员可以容易看到的任何地方。用户界面70可以包括用于向乘员提供信息的拨号盘、数字读出器、屏幕、扬声器等，例如，诸如已知的人机界面(HMI)元件。用户界面70可以包括用于从乘员接收信息的按钮、旋钮、小键盘、传声器等等。
调速器72将车辆30的速度限制为最大速度。最大速度可以是正数或零，并且最大速度以速率为单位(例如每小时英里数)来测量。调速器72可以被实施为在计算机32中超驰其他输入的编程或者使车辆30的发动机的发动机转速增加到与最大速度相对应的发动机转速以上的编程。以每次循环数(例如每分钟转数)测量发动机转速。替代地，调速器72可以被实施为在计算机32中编程，其防止车辆30换挡到特定挡位(例如，停车挡或第一挡)以上的挡位，因此将车辆30的速度限制到在该特定挡位中可实现的最大速度。替代地或另外地，调速器72可以通过防止驾驶员换挡离开停车挡来禁止变速器齿轮箱起作用。
图5是示出用于基于约束系统48是否和/或如何被扣紧来控制车辆30的示例性过程500的过程流程图。通常，根据过程500，计算机32可以在约束系统48解扣时提供第一输出和/或当约束系统48不正确地扣紧使得肩带62在乘员后面时可以提供第二输出。第一输出可以包括用户界面70的第一次致动(例如具有扣紧安全带的消息)和到最大速度的速度限制，而第二输出可以包括与第一次致动不同的用户界面70的第二次致动和到最大速度的速度限制。计算机32的存储器存储用于执行过程500的步骤的可执行指令。
过程500在框505中开始，其中计算机32确定点火装置是否开启，换句话说，车辆30的发动机或马达是否正在运行。如果点火装置关闭，则过程500重启以继续监测座椅安全带50的使用。
如果点火装置开启，则接下来在框510中，计算机32从摄像头64接收图像数据。数据是由摄像头64输出的图像序列中的图像74的形式。
接下来，在决策框515中，计算机32检测图像74中是否有乘员。计算机32可以对来自摄像头64的数据执行常规的对象识别算法以识别对象，例如坐在驾驶员座椅36中的乘员的上部躯干和/或头部和/或面部。(过程500关于驾驶员座椅36进行描述，但是也可以应用于座椅36、38、40中的任何一者或全部)。例如，计算机32可以使用灰度梯度将边缘检测应用于图像74。灰度梯度可以是两个像素之间的亮度差除以像素之间的距离。计算机32可以确定边缘的位置，例如灰度梯度高于边缘阈值的任何地方。与灰度梯度一样，可以通过每像素距离的亮度来测量边缘阈值。计算机32的存储器可以存储表示待检测对象(例如躯干、头部等)的形状，以及以像素或物理距离(例如，英寸)测量的相应尺寸。例如，所存储的头部形状可以是高9英寸且宽6英寸的垂直定向的椭圆形。可以将检测到的边缘的子集与存储的形状进行比较，并根据检测到的边缘与存储的形状匹配的程度进行评分。如果检测到的边缘的子集的分数高于检测阈值，则将检测到的边缘的子集分类为存储的形状的实例，例如分类为头部的实例。如果在图像74中检测到诸如头部等身体部位，则计算机32推断图像74中有乘员。如果在驾驶员座椅36中未检测到乘员，则过程500重启以继续监测约束系统48。
如果在驾驶员座椅36中检测到乘员，则接下来在框520中，计算机32定位第一区域76。计算机32识别图像74中的第一区域76，如图4A至图4C中所示。选择第一区域76以对应于驾驶员座椅36的乘员的胸部的位置。例如，计算机32可以在图像74中为计算机32在以上决策框515中检测到的乘员的胸部处的第一区域76选择位置。如果计算机32检测到乘员的头部，则计算机32可以将第一区域76的中心与检测到的头部的中心水平对齐，并且计算机32可以将第一区域76的顶部边缘设定为向下垂直偏移检测到的头部的底部点。垂直偏移可以是以例如像素或英寸测量的标量值，并存储在计算机32的存储器中。垂直偏移可以被选择为例如下巴与胸骨之间的平均垂直距离。替代地，垂直偏移可以是随着例如乘员头部的顶点与图像74的顶部之间的垂直距离而变化的变量。因此，垂直偏移可以作为从头部的顶点到图像74的顶部的垂直距离的关系(例如作为具有从头部的顶点到图像74的顶部的垂直距离和垂直偏移的列的查找表)存储在计算机32的存储器中。
无论垂直偏移是标量常数还是变量，对于较高乘员，第一区域76都将位于图像74中的比对于较矮乘员更高的位置处。一旦确定，第一区域76的位置就可以作为图像74中的像素坐标存储在计算机32的存储器中，例如右边像素的数量和从图像74的左上角向下的像素的数量。替代地，对于另一个示例，第一区域76可以在图像74中位于预期坐在驾驶员座椅36中的百分之五十的乘员的胸部所处的位置。对于该替代方案，第一区域76的位置可以作为图像74中的像素坐标预先存储在计算机32的存储器中。
接下来，在决策框525中，计算机32检测图像74的第一区域76中是存在还是不存在座椅安全带50。计算机32可以对图像74的第一区域76执行常规的对象识别算法以识别对象，例如肩带62。例如，计算机32可以使用灰度梯度将边缘检测应用于图像74。计算机32可以确定第一区域76内的边缘的位置，例如，灰度梯度高于边缘阈值的任何地方。计算机32的存储器可以存储表示待检测对象(例如，肩带62)的形状以及以像素或物理距离(例如，英寸)测量的相应尺寸。例如，存储的肩带62的形状可以是以45°的角度间隔3英寸的两条平行线。可以将检测到的边缘的子集与存储的形状进行比较，并根据检测到的边缘与存储的形状匹配的程度进行评分。如果检测到的边缘的子集的分数高于检测阈值，则将检测到的边缘的子集分类为存储的形状的实例，例如分类为肩带62的实例。如果检测到在第一区域76中存在座椅安全带50，则如图4A中所示，过程500前进到框555。
如果检测到在第一区域76中不存在座椅安全带50(如图4B和4C中所示)，则接下来在框530中，计算机32致动输出装置以输出包括车速限制的输出。速度限制是第一输出和第二输出这两者的组成部分。输出装置可以包括调速器72。计算机32可以指示调速器72将车速限制到最大速度或将挡位限制到最大挡位。可以选择最大速度低于典型的街道行驶速度。最大速度可以是零，或者最大速度可以低于典型的速度限制但是对于(例如)在乘员的私人车道上的其他行驶来说足够高。替代地，可以选择最大挡位以防止车辆30换挡到例如高于停车挡或高于第一挡。
接下来，在框535中，计算机32定位第二区域78。计算机32识别图像74中的第二区域78，如图4A至图4C中所示。选择第二区域78以对应于驾驶员座椅36上面的乘员肩部上方和头部或颈部旁边的位置。例如，计算机32可以在图像74中为计算机32在以上决策框515中检测到的乘员的肩部上方和头部或颈部旁边的第二区域78选择位置。如果计算机32检测到乘员的头部，则计算机32可以将第二区域78的中心与检测到的头部的中心垂直对齐，并且计算机32可以将第二区域78的左边缘设定为从检测到的头部的最右边点开始水平向右偏移的位置处。水平偏移可以是以例如像素或英寸测量的标量值，并存储在计算机32的存储器中。水平偏移可以被选择为例如从下颌骨的末端到锁骨的外端的平均水平距离。替代地，水平偏移可以是随着例如乘员头部的顶点与图像74的顶部之间的垂直距离而变化的变量。因此，水平偏移可以作为从头部的顶点到图像74的顶部的水平距离的关系(例如作为具有从头部的顶点到图像74的顶部的垂直距离和垂直偏移的列的查找表)存储在计算机32的存储器中。
一旦确定，第二区域78的位置就可以作为图像74中的像素坐标存储在计算机32的存储器中。替代地，对于另一个示例，第二区域78可以在图像74中位于预期坐在驾驶员座椅36中的百分之五十身高的乘员的肩部上方和头部或颈部旁边的位置。对于该替代方案，第二区域78的位置可以作为图像74中的像素坐标预先存储在存储器中。
接下来，在决策框540中，计算机32检测图像74的第二区域78中是存在还是不存在座椅安全带50。计算机32可以对图像74的第二区域78执行常规的对象识别算法以识别对象，例如肩带62，如上面关于决策框515所描述的。如果检测到在第二区域78中存在座椅安全带50，则如图4B中所示，过程500前进到框550。
如果检测到在第二区域78中不存在座椅安全带50(如图4C中所示)，则接下来在框545中，计算机32致动输出装置以输送用户界面70的第一次致动。第一次致动是第一输出的组成部分。输出装置包括用户界面70。用户界面70的第一次致动可以向乘员传达座椅安全带50没有扣紧或者乘员应扣紧座椅安全带50的消息。用户界面70的第一次致动可以包括点亮仪表板上的灯或在屏幕上显示文字以及诸如哔哔声等噪声。在框545之后，过程500重启以继续监测座椅安全带50的使用。
如果检测到在第二区域78中存在座椅安全带50(如图4B中所示)，则在决策框540之后，在框550中，计算机32致动输出装置以输送用户界面70的第二次致动。第二次致动是第二输出的组成部分。输出装置包括用户界面70。用户界面70的第二次致动可以向乘员传达以下消息：座椅安全带50被不正确地扣紧或者乘员应重新扣紧座椅安全带50使得肩带62在乘客的躯干前面。用户界面70的第二次致动可以包括点亮仪表板上的灯或在屏幕上显示文字以及诸如哔哔声等噪声。在框550之后，过程500重启以继续监测座椅安全带50的使用。
在决策框525之后，如果检测到在第一区域76中存在座椅安全带50(如图4A中所示)，则在决策框555中，计算机32例如使用常规技术来确定乘员是否注意力集中。例如，注意力确定可以包括计算机32确定乘员的面部是否相对于车辆30向前定向，例如不向后或向下倾斜。计算机32可以对来自摄像头64的数据执行常规的对象识别算法(例如，如上面关于决策框515所描述的)以识别对象，例如，向前定向或向下或向上定向的乘员的面部。检测到乘员的面部向前定向被分类为注意力集中，而检测面部向下或向上定向被分类为注意力不集中。如果乘员注意力集中，则过程500重启以继续监测座椅安全带50的使用。
如果乘员注意力不集中，则接下来在框560中，计算机32致动输出装置以输送包括用户界面70的第三次致动的第三输出。输出装置包括用户界面70。用户界面70的第三次致动可以警告乘员更加关注驾驶任务。用户界面70的第三次致动可以包括点亮仪表板上的灯或在屏幕上显示文字以及诸如哔哔声等噪声。第三输出还可以包括例如制动车辆30。在框560之后，过程500重启以继续监测座椅安全带50的使用。
通常，所描述的计算系统和/或装置可以采用许多计算机操作系统中的任一者，包括但绝不限于以下版本和/或变型的操作系统：Ford应用程序、AppLink/SmartDevice Link中间件、Microsoft操作系统、Microsoft操作系统、Unix操作系统(例如，由加州红木海岸的Oracle公司发布的操作系统)、由纽约阿蒙克市的国际商业机器公司(International Business Machines)发布的AIX UNIX操作系统、Linux操作系统、由加州库比蒂诺的Apple公司发布的Mac OSX和iOS操作系统、由加拿大滑铁卢的黑莓有限公司(Blackberry,Ltd)发布的BlackBerry OS以及由谷歌股份有限公司和开放手机联盟(Open Handset Alliance)开发的Android操作系统，或由QNX SoftwareSystems供应的CAR信息娱乐平台。计算装置的示例包括但不限于车载计算机、计算机工作站、服务器、台式计算机、笔记本计算机、膝上型计算机或手持式计算机，或者一些其他计算系统和/或装置。
计算装置通常包括计算机可执行指令，其中所述指令可以由诸如以上列出的那些计算装置等一个或多个计算装置来执行。计算机可执行指令可以从使用各种编程语言和/或技术创建的计算机程序编译或解译，所述编程语言和/或技术单独地或组合地包括但不限于JavaTM、C、C++、Matlab、Simulink、Stateflow、Visual Basic、Java Script、Perl、HTML等。这些应用程序中的一些可以在虚拟机(诸如Java虚拟机、Dalvik虚拟机等)上编译和执行。通常，处理器(例如，微处理器)例如从存储器、计算机可读介质等接收指令，并且执行这些指令，由此执行一个或多个过程，包括本文所述的一个或多个过程。可以使用多种计算机可读介质来存储和传输此类指令和其他数据。计算装置中的文件通常是存储在计算机可读介质(诸如存储介质、随机存取存储器等)上的数据集合。
计算机可读存储介质(也称为处理器可读介质)包括参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非暂时性的(例如，有形的)介质。这种介质可以采取许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质可以包括例如光盘或磁盘以及其他持久性存储器。易失性介质可以包括(例如)通常构成主存储器的动态随机存取存储器(DRAM)。这样的指令可以由一种或多种传输介质来传输，所述一种或多种传输介质包括同轴电缆、铜线和光纤，包括具有耦接至ECU的处理器的系统总线的电线。常见形式的计算机可读介质包括(例如)软磁盘、软盘、硬盘、磁带、任何其他磁性介质、CD-ROM、DVD、任何其他任何光学介质、穿孔卡、纸带、带有穿孔图案的任何其他物理介质、RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带，或计算机可以从中读取的任何其他介质。
数据库、数据存储库或本文描述的其他数据存储区可以包括用于存储、访问和检索各种数据的各种机构，包括分层数据库、文件系统中的文件集、专用格式的应用程序数据库、关系型数据库管理系统(RDBMS)等。每个这样的数据存储区通常包括在采用计算机操作系统(诸如上述一种操作系统)的计算装置内，并且经由网络以各种方式中的任何一种或多种来访问。文件系统可为可从计算机操作系统访问，并且可以包括以各种格式存储的文件。RDBMS除了用于创建、存储、编辑和执行已存储的程序的语言(诸如上述PL/SQL语言)之外还采用结构化查询语言(SQL)。
在一些示例中，系统元件可以被实施为一个或多个计算装置(例如，服务器、个人计算机等)上的、存储在与所述一个或多个计算装置相关联的计算机可读介质(例如，磁盘、存储器等)上的计算机可读指令(例如，软件)。计算机程序产品可以包括存储在计算机可读介质上用于执行本文所述的功能的此类指令。
在附图中，相同的附图标记指示相同元件。此外，可以改变这些元件中的一些或全部。关于本文所述的介质、过程、系统、方法、启发法等，应理解，虽然已经将此类过程等的步骤描述为根据某个有序序列发生，但是此类过程可以采用以本文所述顺序之外的顺序执行的所描述步骤来实践。还应理解，可以同时执行某些步骤、可以添加其他步骤，或者可以省略本文所述的某些步骤。换句话说，本文对过程的描述是为了示出某些实施例而提供，而决不应将其理解为对权利要求进行限制。
因此，应理解，上文描述意图是说明性的而非限制性的。在阅读了以上描述之后，除了所提供的示例之外的许多实施例和应用对于本领域技术人员而言将是显而易见的。因此，本发明的范围不应参考以上描述来确定，而是替代地，应参考所附权利要求连同此类权利要求所赋予权利的等效物的全部范围来确定。可以预测和预期，在本文讨论的技术中将发生未来的发展，并且所公开的系统和方法将并入到此类未来的实施例中。总之，应理解，本发明能够进行修改和变化并且仅由所附权利要求来限定。
除非本文做出相反的明确指示，否则权利要求中使用的所有术语意图被给予其如本领域技术人员所理解的普通和通常的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的元件中的一者或多者。
已经以说明性方式描述了本公开，并且应理解，已经使用的术语意图本质上为描述性词语而非限制性词语。鉴于以上教导，本公开的许多修改和变化是可能的，并且本公开可以不同于具体描述的其他方式来实践。
根据本发明，提供了一种系统，所述系统具有：计算机，所述计算机被编程为：识别座椅安全带图像的第一和第二区域，在检测到所述第一区域和所述第二区域中不存在座椅安全带时致动输出装置以输送第一输出，并且在检测到所述第一区域中不存在所述座椅安全带而在所述第二区域中存在所述座椅安全带时致动所述输出装置以输送第二输出。
根据一个实施例，所述计算机还被编程为在检测到所述图像中有乘员、所述第一区域中不存在所述座椅安全带并且所述第二区域中不存在所述座椅安全带时，致动所述输出装置以输送所述第一输出；以及在检测到所述图像中有所述乘员、所述第一区域中不存在所述座椅安全带而所述第二区域中存在所述座椅安全带时，致动所述输出装置以输送所述第二输出。
根据一个实施例，所述计算机还被编程为在所述图像中为乘员的胸部处的所述第一区域选择位置。
根据一个实施例，所述计算机还被编程为在所述图像中为乘员的肩部上方和头部或颈部旁边的所述第二区域选择位置。
根据一个实施例，所述计算机还被编程为在确定乘员注意力不集中时致动所述输出装置以输送第三输出。
根据一个实施例，所述第一区域在所述图像中位于预期坐在座椅中的百分之五十身高的乘员的胸部所处的位置。
根据一个实施例，所述第二区域在所述图像中位于预期坐在所述座椅中的百分之五十身高的乘员的肩部上方和头部或颈部旁边的位置。
根据一个实施例，所述第一输出包括用户界面的第一次致动和车速的限制，而所述第二输出包括所述用户界面的第二次致动和车速的限制。
根据本发明，一种方法包括：识别座椅安全带图像的第一和第二区域，在检测到所述第一区域和所述第二区域中不存在座椅安全带时致动输出装置以输送第一输出，并且在检测到所述第一区域中不存在所述座椅安全带而在所述第二区域中存在所述座椅安全带时致动所述输出装置以输送第二输出。
根据一个实施例，上述发明的特征还在于，在检测到所述图像中有乘员、所述第一区域中不存在所述座椅安全带并且所述第二区域中不存在所述座椅安全带时，致动所述输出装置以输送所述第一输出；以及在检测到所述图像中有所述乘员、所述第一区域中不存在所述座椅安全带而所述第二区域中存在所述座椅安全带时，致动所述输出装置以输送所述第二输出。
根据一个实施例，上述发明的特征还在于，在所述图像中为乘员的胸部处的所述第一区域选择位置。
根据一个实施例，上述发明的特征还在于，在所述图像中为乘员的肩部上方和头部或颈部旁边的所述第二区域选择位置。
根据一个实施例，上述发明的特征还在于，在确定乘员注意力不集中时致动所述输出装置以输送第三输出。
根据一个实施例，所述第一区域在所述图像中位于预期坐在座椅中的百分之五十身高的乘员的胸部所处的位置。
根据一个实施例，所述第二区域在所述图像中位于预期坐在所述座椅中的百分之五十身高的乘员的肩部上方和头部或颈部旁边的位置。
根据一个实施例，所述第一输出包括用户界面的第一次致动和车速的限制，而所述第二输出包括所述用户界面的第二次致动和车速的限制。
根据本发明，提供一种车辆，所述车辆具有：座椅；摄像头，其对准所述座椅；和计算机，其与所述摄像头进行通信，并且被编程为识别来自所述摄像头的座椅安全带图像的第一和第二区域，在检测到所述第一区域和所述第二区域中不存在座椅安全带时致动输出装置以输送第一输出，并且在检测到所述第一区域中不存在所述座椅安全带而在所述第二区域中存在所述座椅安全带时致动所述输出装置以输送第二输出。
根据一个实施例，所述计算机还被编程为在所述图像中为乘员的胸部处的所述第一区域选择位置并且在所述图像中为所述乘员的肩部上方和头部或颈部旁边的所述第二区域选择位置。
根据一个实施例，所述第一区域在所述图像中位于预期坐在所述座椅中的百分之五十身高的乘员的胸部所处的位置，而所述第二区域在所述图像中位于预期坐在所述座椅中的百分之五十身高的乘员的肩部上方和头部或颈部旁边的位置。
根据一个实施例，所述第一输出包括用户界面的第一次致动和车速的限制，而所述第二输出包括所述用户界面的第二次致动和车速的限制。

Claims (11)

1.一种方法，其包括：
识别座椅安全带图像的第一和第二区域；
在检测到所述第一区域和所述第二区域中不存在座椅安全带时，致动输出装置以输送第一输出；以及
在检测到所述第一区域中不存在所述座椅安全带而所述第二区域中存在所述座椅安全带时，致动所述输出装置以输送第二输出。
2.如权利要求1所述的方法，其还包括：
在检测到所述图像中有乘员、所述第一区域中不存在所述座椅安全带并且所述第二区域中不存在所述座椅安全带时，致动所述输出装置以输送所述第一输出；以及
在检测到所述图像中有所述乘员、所述第一区域中不存在所述座椅安全带而所述第二区域中存在所述座椅安全带时，致动所述输出装置以输送所述第二输出。
3.如权利要求1所述的方法，其还包括在所述图像中为乘员的胸部处的所述第一区域选择位置。
4.如权利要求1所述的方法，其还包括在所述图像中为乘员的肩部上方和头部或颈部旁边的所述第二区域选择位置。
5.如权利要求1所述的方法，其还包括在确定乘员注意力不集中时致动所述输出装置以输送第三输出。
6.如权利要求1所述的方法，其中所述第一区域在所述图像中位于预期坐在座椅中的百分之五十身高的乘员的胸部所处的位置。
7.如权利要求1所述的方法，其中所述第二区域在所述图像中位于预期坐在所述座椅中的百分之五十身高的乘员的肩部上方和头部或颈部旁边的位置。
8.如权利要求1所述的方法，其中所述第一输出包括用户界面的第一次致动和车速的限制，而所述第二输出包括所述用户界面的第二次致动和车速的限制。
9.一种计算机，其被编程为执行如权利要求1至8中任一项所述的方法。
10.一种车辆，其包括如权利要求9所述的计算机。
11.如权利要求10所述的车辆，其还包括座椅和对准所述座椅的摄像头，其中所述计算机与所述摄像头进行通信。
CN201910049971.8A 2018-01-19 2019-01-18 座椅安全带扣紧检测 Pending CN110053582A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/875,411 2018-01-19
US15/875,411 US10501048B2 (en) 2018-01-19 2018-01-19 Seatbelt buckling detection

Publications (1)

Publication Number Publication Date
CN110053582A true CN110053582A (zh) 2019-07-26

Family

ID=67145360

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910049971.8A Pending CN110053582A (zh) 2018-01-19 2019-01-18 座椅安全带扣紧检测

Country Status (3)

Country Link
US (1) US10501048B2 (zh)
CN (1) CN110053582A (zh)
DE (1) DE102019101355A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517261A (zh) * 2019-08-30 2019-11-29 上海眼控科技股份有限公司 安全带状态检测方法、装置、计算机设备和存储介质
CN113147664A (zh) * 2020-01-07 2021-07-23 Aptiv技术有限公司 检测车辆中是否使用了安全带的方法和系统
CN113378752A (zh) * 2021-06-23 2021-09-10 济南博观智能科技有限公司 一种行人背包检测方法、装置、电子设备及存储介质
US11975683B2 (en) 2021-06-30 2024-05-07 Aptiv Technologies AG Relative movement-based seatbelt use detection

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018121013A1 (en) * 2016-12-29 2018-07-05 Zhejiang Dahua Technology Co., Ltd. Systems and methods for detecting objects in images
US10825260B2 (en) 2019-01-04 2020-11-03 Jand, Inc. Virtual try-on systems and methods for spectacles
US11046273B2 (en) * 2019-01-22 2021-06-29 GM Global Technology Operations LLC Seat belt status determining system and method
US10850702B2 (en) * 2019-03-18 2020-12-01 Pony Ai Inc. Vehicle seat belt monitoring
DE102019003620A1 (de) * 2019-05-23 2020-11-26 Cigergun Deger Sicherheitssystem für Kraftfahrzeuge
US10773683B1 (en) * 2019-08-12 2020-09-15 Ford Global Technologies, Llc Occupant seatbelt status
US11729432B2 (en) * 2019-11-19 2023-08-15 Thales Avionics, Inc. Inflight entertainment system using video object recognition to monitor seat areas and generate flight crew notifications
AT523045B1 (de) * 2020-03-02 2021-05-15 Emotion3D Gmbh Verfahren und Vorrichtung zur Sitzgurterkennung
CA3179919A1 (en) 2020-04-15 2021-10-21 Warby Parker Inc. Virtual try-on systems for spectacles using reference frames
CN111950348A (zh) * 2020-06-29 2020-11-17 北京百度网讯科技有限公司 安全带的佩戴状态识别方法、装置、电子设备和存储介质
US11827175B2 (en) * 2020-12-30 2023-11-28 Joyson Safety Systems Acquisition Llc Adapting shoulder anchor for seatbelt
DE102021211739B4 (de) 2021-10-18 2023-07-06 Volkswagen Aktiengesellschaft Bestimmung der Sternumsposition
US20230196796A1 (en) * 2021-12-20 2023-06-22 Veoneer Us, Inc. Method and system for seatbelt detection using determination of shadows
US11798296B2 (en) * 2021-12-21 2023-10-24 Veoneer Us, Llc Method and system for seatbelt detection using adaptive histogram normalization

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
JP3286219B2 (ja) * 1997-09-11 2002-05-27 トヨタ自動車株式会社 座席の使用状況判定装置
JP4403102B2 (ja) * 2004-05-26 2010-01-20 株式会社東芝 エアバッグ装置及び乗員検知装置並びにプログラム
FR2883417B1 (fr) * 2005-03-16 2007-05-11 Ulis Soc Par Actions Simplifie Detecteur bolometrique, dispositif de detection infrarouge mettant en oeuvre un tel detecteur et procede de fabrication de ce detecteur
US20070195990A1 (en) 2006-02-16 2007-08-23 Uri Levy Vision-Based Seat Belt Detection System
FI20115502A0 (fi) 2011-05-23 2011-05-23 Teknologian Tutkimuskeskus Vtt Oy Järjestelmä, tunnistusyksikkö, menetelmä ja tietokoneohjelma matkustajien turvavyökäytön tunnistamiseksi ajoneuvossa
US9365186B2 (en) 2014-08-17 2016-06-14 Toyota Motor Engineering & Manufacturing North America, Inc. Advanced seatbelt interlock using video recognition
US9552524B2 (en) * 2014-09-15 2017-01-24 Xerox Corporation System and method for detecting seat belt violations from front view vehicle images
US9650016B2 (en) * 2014-12-04 2017-05-16 GM Global Technology Operations LLC Detection of seatbelt position in a vehicle
CN105373779B (zh) 2015-11-10 2018-09-28 北京数字智通科技有限公司 一种车辆安全带智能检测方法及智能检测系统
US9821761B2 (en) * 2015-11-20 2017-11-21 Ford Global Technologies, Llc System and method for webbing payout
CN105488453B (zh) 2015-11-30 2019-03-26 杭州全实鹰科技有限公司 一种基于图像处理的驾驶员未系安全带检测识别方法
WO2018042536A1 (ja) * 2016-08-31 2018-03-08 東芝デジタルソリューションズ株式会社 装着検出装置、撮影装置、拘束装置及び装着検出プログラム
US10611335B2 (en) * 2017-05-15 2020-04-07 Joyson Safety Acquisition LLC Detection and monitoring of occupant seat belt
US10688951B2 (en) * 2017-11-22 2020-06-23 GM Global Technology Operations LLC System and method for determining whether a seatbelt is used incorrectly, and for taking corrective action when the seatbelt is used incorrectly
US10471930B2 (en) * 2017-11-22 2019-11-12 GM Global Technology Operations LLC Misrouted seatbelt webbing

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110517261A (zh) * 2019-08-30 2019-11-29 上海眼控科技股份有限公司 安全带状态检测方法、装置、计算机设备和存储介质
CN113147664A (zh) * 2020-01-07 2021-07-23 Aptiv技术有限公司 检测车辆中是否使用了安全带的方法和系统
US11597347B2 (en) 2020-01-07 2023-03-07 Aptiv Technologies Limited Methods and systems for detecting whether a seat belt is used in a vehicle
CN113147664B (zh) * 2020-01-07 2023-09-12 Aptiv技术有限公司 检测车辆中是否使用了安全带的方法和系统
US11772599B2 (en) 2020-01-07 2023-10-03 Aptiv Technologies Limited Methods and systems for detecting whether a seat belt is used in a vehicle
CN113378752A (zh) * 2021-06-23 2021-09-10 济南博观智能科技有限公司 一种行人背包检测方法、装置、电子设备及存储介质
CN113378752B (zh) * 2021-06-23 2022-09-06 济南博观智能科技有限公司 一种行人背包检测方法、装置、电子设备及存储介质
US11975683B2 (en) 2021-06-30 2024-05-07 Aptiv Technologies AG Relative movement-based seatbelt use detection

Also Published As

Publication number Publication date
US10501048B2 (en) 2019-12-10
US20190225186A1 (en) 2019-07-25
DE102019101355A1 (de) 2019-07-25

Similar Documents

Publication Publication Date Title
CN110053582A (zh) 座椅安全带扣紧检测
CN111132886B (zh) 乘员监测系统与车辆控制系统的集成
US20230023870A1 (en) Neural network applications in resource constrained environments
RU2657597C2 (ru) Система обнаружения и идентификации присутствия пассажира в транспортном средстве
US9942522B2 (en) In-vehicle camera system
US10298722B2 (en) Apparatus and method for adjusting driving position of driver
US20170329329A1 (en) Controlling autonomous-vehicle functions and output based on occupant position and attention
CN104071037B (zh) 用于测量驾驶者头部位置的方法和系统
US7243945B2 (en) Weight measuring systems and methods for vehicles
CN105667421B (zh) 包括眼跟踪装置的供车辆使用的系统和方法
US9513744B2 (en) Control systems employing novel physical controls and touch screens
CN106560836A (zh) 在车辆中提供防物品遗失服务的设备、方法和移动终端
US20170269695A1 (en) Orientation-independent air gesture detection service for in-vehicle environments
US20190299897A1 (en) Enhanced occupant seating inputs to occupant protection control system for the future car
CN110001547A (zh) 输入输出装置以及包括输入输出装置的车辆
CN107107953A (zh) 乘员监视系统和方法
US10189434B1 (en) Augmented safety restraint
CN109484343A (zh) 车辆上安装的车辆控制设备和用于控制车辆的方法
CN205737035U (zh) 可自动调整状态的汽车座椅
CN105667351B (zh) 汽车座椅调节方法和系统
US20160238707A1 (en) Interior trim apparatuses for motor vehicles including one or more infrared emitting diodes and one or more infrared sensors
CN104118354B (zh) 一种独自行车警示装置
US20230052099A1 (en) Autonomous vehicles and methods of using same
US20230398994A1 (en) Vehicle sensing and control systems
KR20170135196A (ko) 디스플레이 장치 및 이를 포함하는 차량

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination