CN111469802A - 座椅安全带状态确定系统和方法 - Google Patents

座椅安全带状态确定系统和方法 Download PDF

Info

Publication number
CN111469802A
CN111469802A CN202010075031.9A CN202010075031A CN111469802A CN 111469802 A CN111469802 A CN 111469802A CN 202010075031 A CN202010075031 A CN 202010075031A CN 111469802 A CN111469802 A CN 111469802A
Authority
CN
China
Prior art keywords
seat belt
vehicle
image data
camera image
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010075031.9A
Other languages
English (en)
Other versions
CN111469802B (zh
Inventor
M.巴尔塔泽
R.墨吉
K.尼斯特尔
G.卡姆希
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN111469802A publication Critical patent/CN111469802A/zh
Application granted granted Critical
Publication of CN111469802B publication Critical patent/CN111469802B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01544—Passenger detection systems detecting seat belt parameters, e.g. length, tension or height-adjustment
    • B60R21/01546—Passenger detection systems detecting seat belt parameters, e.g. length, tension or height-adjustment using belt buckle sensors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4808—Sensing means arrangements therefor
    • B60R2022/4816—Sensing means arrangements therefor for sensing locking of buckle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4866—Displaying or indicating arrangements thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mechanical Engineering (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

用于车辆的座椅安全带状态确定系统和方法，其评估座椅安全带并确定座椅安全带是否被扣住以及座椅安全带是否正确地被定路线到乘客身上。为了评估座椅安全带状态，该系统和方法使用车辆舱室内部的座椅安全带传感器和摄像机来生成数据，然后结合机器学习技术（例如，通过使用神经网络实现的监督机器学习技术）来分析该数据，以将座椅安全带状态分类成一个或多个分类，诸如：乘客不存在，乘客存在/座椅安全带未被佩戴，乘客存在/座椅安全带被不正确地佩戴，乘客存在/座椅安全带被正确地佩戴，以及视野被遮挡。

Description

座椅安全带状态确定系统和方法
技术领域
本文所描述的示例性实施例总体上涉及用于车辆的系统和方法，且更具体地涉及使用一个或多个摄像机和传感器来确定座椅安全带是否被正确扣住和定路线的座椅安全带状态确定系统和方法。
背景技术
在安全性和舒适性方面，改善驾驶体验是汽车制造商和用户等的共同目标。
座椅安全带是几乎所有车辆中所找到的标准安全装置。尽管它们被广泛采用，座椅安全带并不总是由乘客正确地佩戴和使用。例如，仍然存在乘客忘记或选择不佩戴座椅安全带、或在其定路线方面不正确地佩戴座椅安全带的情况。如人们将预期的，在这些情况下，座椅安全带通常不太有效。对于大多数座椅安全带配置，佩戴和定路线座椅安全带的适当方式包括：使得下部或腰部安全带跨过乘客臀部的上部并且使得上部或肩部安全带跨过乘客肩部和胸部。
本文所公开的座椅安全带状态确定系统和方法被设计为解决这些问题。
发明内容
根据一个方面，提供一种用于车辆的座椅安全带状态确定方法，所述车辆具有一个或多个车辆摄像机和一个或多个座椅安全带传感器。该方法可以包括以下步骤：利用车辆摄像机收集摄像机图像数据；利用所述座椅安全带传感器收集座椅安全带数据；以及执行座椅安全带分类过程，该座椅安全带分类过程接收摄像机图像数据作为输入并且提供座椅安全带分类作为输出，其中座椅安全带分类过程将来自摄像机图像数据的图像分类为表示座椅安全带的状态的一个或多个分类。
根据各种实施例，所述座椅安全带状态确定方法还可以包括以下特征中的任何一个或这些特征中的一些或全部的任何技术上可行的组合：
•所述摄像机图像数据收集步骤还包括：利用所述车辆摄像机收集摄像机图像数据并且通过车辆通信网络将所述摄像机图像数据提供给车辆数据处理模块，所述摄像机图像数据包括示出所述车辆的舱室中的座椅区域的图像；
•所述座椅安全带数据收集步骤还包括：利用所述座椅安全带传感器收集座椅安全带数据，并通过车辆通信网络将所述座椅安全带数据提供到车辆数据处理模块，所述座椅安全带数据包括表明座椅安全带是否扣住的信号；
•所述执行步骤还包括：通过预处理所述摄像机图像数据使得所述预处理的摄像机图像数据在大小上被减小并且被标准化，来执行所述座椅安全带分类过程；
•所述预处理步骤还包括：通过从所述摄像机图像数据中的图像裁剪感兴趣区域（ROI）来减小摄像机图像数据的大小，其中所述ROI对应于乘客和座椅安全带的预期位置；
•所述预处理步骤还包括通过执行从包括以下的列表中选择的一个或多个标准化技术来标准化所述摄像机图像数据：水平翻转一个或多个图像使得它们具有标准取向；归一化像素使得它们具有标准范围内的强度；转换一个或多个图像的数据使得它们具有标准数量的比特/像素；或者缩放一个或多个图像使得它们具有标准尺寸；
•所述执行步骤还包括执行作为所述座椅安全带分类过程的一部分的场景分类过程，所述场景分类过程接收预处理的摄像机图像数据作为输入并且提供场景分类作为输出，所述场景分类过程将来自所述预处理的摄像机图像数据的图像分类到表示乘客不存在、乘客存在或视野被遮挡的一个或多个分类中；
•所述场景分类过程还包括：使用神经网络来预测所述场景分类中的哪个或哪些场景分类最佳地表示来自所述预处理的摄像机图像数据的所述图像并且逐个图像地进行预测；
•所述场景分类输出包括多个概率值，所述概率值的每个在[0，1]之间并且表示来自预处理摄像机图像数据的所述图像表示特定场景的概率，并且所有可能场景的所述概率值的总和等于1；
•所述神经网络是具有Xception类型架构的卷积神经网络，并且使用Adam优化器来训练；
•所述场景分类过程还包括：使用一个或多个数据扩充技术来补充用于所述神经网络的训练数据，所述数据扩充技术包括从包括以下各项的列表中选择的一个或多个技术：图像旋转数据扩充技术、图像裁剪数据扩充技术或图像亮度数据扩充技术；
•所述执行步骤还包括执行包括座椅安全带分段过程的座椅安全带分类过程，所述座椅安全带分段过程接收预处理的摄像机图像数据作为输入并且提供分段的座椅安全带作为输出，所述座椅安全带分段过程从预处理的摄像机图像数据中的图像识别多个座椅安全带像素；
•所述座椅安全带分段过程还包括：使用神经网络来预测所述图像中的每个像素或像素的组是否对应于座椅安全带并且逐个像素地进行；
•所分段的座椅安全带输出是二进制图像，其中，所述像素中的每个根据其是否是座椅安全带像素而被分配“0”或“1”；
•所述神经网络是具有DenseNet类型架构的完全卷积神经网络；
•所述执行步骤还包括：执行包括乘客姿势估计过程的所述座椅安全带分类过程，所述乘客姿势估计过程接收预处理的摄像机图像数据作为输入并且提供乘客姿势估计作为输出，所述乘客姿势估计过程估计一个或多个乘客身体部位在预处理的摄像机图像数据中的图像中的位置；
•所述乘客姿势估计过程还包括：使用神经网络来估计所述身体部位在所述图像中的位置；
•所述执行步骤还包括：执行包括座椅安全带分段过程和乘客姿势估计过程两者的所述座椅安全带分类过程，所述座椅安全带分段过程输出包括多个座椅安全带像素的分段的座椅安全带，所述乘客姿势估计过程输出估计一个或多个乘客身体部位的位置的乘客姿势估计，并且其中，所述座椅安全带分类过程将所述多个座椅安全带像素与所述乘客身体部位的所估计的位置进行比较，并且当所述座椅安全带的一部分在所述乘客身体部位的颈部和肩部之间延伸时，所述座椅安全带分类过程确定乘客存在并且所述座椅安全带被正确地佩戴；
•所述座椅安全带分类过程将来自所述摄像机图像数据的所述图像分类为从包括以下各项的列表中选择的一个或多个分类：乘客不存在、视野被遮挡、乘客存在/座椅安全带被正确佩戴、或乘客存在/座椅安全带被不正确地佩戴；
•还包括以下步骤：当所述座椅安全带分类过程确定乘客存在但所述座椅安全带被不正确地佩戴时，执行一个或多个补救动作，所述补救动作选自包括以下各项的列表：向乘客发送视觉警报、向乘客发送听觉警报、或者当车辆是自主或半自主车辆时自动停止车辆；
根据另一方面，提供一种用于车辆的座椅安全带状态确定系统，包括：一个或多个车辆摄像机，其安装在车辆内部并且提供摄像机图像数据；一个或多个座椅安全带传感器，其安装在车辆内部并提供座椅安全带数据；车辆数据处理模块，其安装在车辆上，并且联接到车辆摄像机以接收摄像机图像数据，并且联接到座椅安全带传感器以接收座椅安全带数据；以及计算机程序产品，其被配置用于安装在所述车辆数据处理模块上。所述计算机程序产品包括电子指令，所述电子指令在由所述车辆数据处理模块执行时使所述车辆数据处理模块执行以下步骤：执行座椅安全带分类过程，所述座椅安全带分类过程使用所述摄像机图像数据作为输入并且提供座椅安全带分类作为输出，其中所述座椅安全带分类过程将来自所述摄像机图像数据的图像分类成表示所述座椅安全带的状态的一个或多个分类。
1. 一种用于车辆的座椅安全带状态确定方法，所述车辆具有一个或多个车辆摄像机以及一个或多个座椅安全带传感器，所述方法包括以下步骤：
利用所述车辆摄像机收集摄像机图像数据；
利用所述座椅安全带传感器收集座椅安全带数据；以及
执行座椅安全带分类过程，所述座椅安全带分类过程接收所述摄像机图像数据作为输入并且提供座椅安全带分类作为输出，其中所述座椅安全带分类过程将来自所述摄像机图像数据的图像分类为表示所述座椅安全带的状态的一个或多个分类。
2. 根据技术方案1所述的方法，其中，摄像机图像数据收集步骤还包括：利用所述车辆摄像机收集摄像机图像数据并且通过车辆通信网络将所述摄像机图像数据提供给车辆数据处理模块，所述摄像机图像数据包括示出所述车辆的舱室中的座椅区域的图像。
3. 根据技术方案1所述的方法，其中，座椅安全带数据收集步骤还包括：利用所述座椅安全带传感器收集座椅安全带数据，并通过车辆通信网络将所述座椅安全带数据提供到车辆数据处理模块，所述座椅安全带数据包括表明座椅安全带是否被扣住的信号。
4. 根据技术方案1所述的方法，其中，执行步骤还包括：通过预处理所述摄像机图像数据来执行所述座椅安全带分类过程，使得所预处理的摄像机图像数据在大小上被减小并且被标准化。
5. 根据技术方案4所述的方法，其中，预处理步骤还包括：通过从所述摄像机图像数据中的图像裁剪感兴趣区域（ROI）来减小摄像机图像数据的大小，其中所述ROI对应于乘客和座椅安全带的预期位置。
6. 根据技术方案4所述的方法，其中，预处理步骤还包括通过执行从包括以下各项的列表中选择的一个或多个标准化技术来标准化所述摄像机图像数据：水平翻转一个或多个图像以使它们具有标准取向；归一化像素以使它们具有标准范围内的强度；转换一个或多个图像的数据以使它们具有标准数量的比特/像素；或者缩放一个或多个图像以使它们具有标准尺寸。
7. 根据技术方案1所述的方法，其中，执行步骤还包括：执行作为所述座椅安全带分类过程的一部分的场景分类过程，所述场景分类过程接收经预处理的摄像机图像数据作为输入并且提供场景分类作为输出，所述场景分类过程将来自所述经预处理的摄像机图像数据的图像分类到表示乘客不存在、乘客存在或视野被遮挡的一个或多个分类中。
8. 根据技术方案7所述的方法，其中，所述场景分类过程还包括：使用神经网络来预测所述场景分类中的哪个或哪些场景分类最佳地表示来自所述经预处理的摄像机图像数据的图像并且逐个图像地进行预测。
9. 根据技术方案8所述的方法，其中，场景分类输出包括多个概率值，所述概率值的每个在[0，1]之间并且表示来自所述经预处理的摄像机图像数据的所述图像表示特定场景的概率，并且所有可能场景的所述概率值的总和等于1。
10. 根据技术方案8所述的方法，其中，所述神经网络是具有Xception类型架构的卷积神经网络，并且使用Adam优化器来训练。
11. 根据技术方案8所述的方法，其中，所述场景分类过程还包括：使用一个或多个数据扩充技术来补充用于所述神经网络的训练数据，所述数据扩充技术包括从包括以下各项的列表中选择的一个或多个技术：图像旋转数据扩充技术、图像裁剪数据扩充技术或图像亮度数据扩充技术。
12. 根据技术方案1所述的方法，其中，执行步骤还包括：执行包括座椅安全带分段过程的座椅安全带分类过程，所述座椅安全带分段过程接收经预处理的摄像机图像数据作为输入并且提供分段的座椅安全带作为输出，所述座椅安全带分段过程从所述经预处理的摄像机图像数据中的图像识别多个座椅安全带像素。
13. 根据技术方案12所述的方法，其中，所述座椅安全带分段过程还包括：使用神经网络来预测所述图像中的每个像素或像素组是否对应于座椅安全带并且逐个像素地进行预测。
14. 根据技术方案12所述的方法，其中，分段的座椅安全带输出是二进制图像，其中，所述像素中的每个根据其是否是座椅安全带像素而被分配“ 0 ”或“ 1 ”。
15. 根据技术方案12所述的方法，其中，所述神经网络是具有DenseNet类型架构的完全卷积神经网络。
16. 根据技术方案1所述的方法，其中，执行步骤还包括：执行包括乘客姿势估计过程的所述座椅安全带分类过程，所述乘客姿势估计过程接收经预处理的摄像机图像数据作为输入并且提供乘客姿势估计作为输出，所述乘客姿势估计过程估计一个或多个乘客身体部位在所述经预处理的摄像机图像数据中的图像中的位置。
17. 根据技术方案16所述的方法，其中，所述乘客姿势估计过程还包括：使用神经网络来估计身体部位在所述图像中的位置。
18. 根据技术方案1所述的方法，其中，执行步骤还包括：执行包括座椅安全带分段过程和乘客姿势估计过程两者的所述座椅安全带分类过程，所述座椅安全带分段过程输出包括多个座椅安全带像素的分段的座椅安全带，所述乘客姿势估计过程输出估计一个或多个乘客身体部位的位置的乘客姿势估计，并且
其中，所述座椅安全带分类过程将所述多个座椅安全带像素与所述乘客身体部位的估计位置进行比较，并且当所述座椅安全带的一部分在所述乘客身体部位的颈部和肩部之间延伸时，所述座椅安全带分类过程确定乘客存在并且所述座椅安全带被正确地佩戴。
19. 根据技术方案1所述的方法，其中，所述座椅安全带分类过程将来自所述摄像机图像数据的所述图像分类为从包括以下各项的列表中选择的一个或多个分类：乘客不存在、视野被遮挡、乘客存在/座椅安全带被正确佩戴、或乘客存在/座椅安全带被不正确地佩戴。
20. 根据技术方案1所述的方法，还包括以下步骤：
当所述座椅安全带分类过程确定乘客存在但所述座椅安全带被不正确地佩戴时，执行一个或多个补救动作，所述补救动作选自包括以下各项的列表：向所述乘客发送视觉警报、向所述乘客发送听觉警报、或者当所述车辆是自主或半自主车辆时自动停止所述车辆。
21. 一种用于车辆的座椅安全带状态确定系统，包括：
一个或多个车辆摄像机，其安装在所述车辆内部并且提供摄像机图像数据；
一个或多个座椅安全带传感器，其安装在所述车辆内部并提供座椅安全带数据；
车辆数据处理模块，其安装在所述车辆上，并且联接到所述车辆摄像机以接收所述摄像机图像数据，并且联接到所述座椅安全带传感器以接收所述座椅安全带数据；以及
计算机程序产品，其被配置用于安装在所述车辆数据处理模块上，其中所述计算机程序产品包括电子指令，所述电子指令在由所述车辆数据处理模块执行时使所述车辆数据处理模块执行以下步骤：
执行座椅安全带分类过程，所述座椅安全带分类过程使用所述摄像机图像数据作为输入并且提供座椅安全带分类作为输出，其中所述座椅安全带分类过程将来自所述摄像机图像数据的图像分类成表示所述座椅安全带的状态的一个或多个分类。
附图说明
下文将结合附图描述一个或多个示例性实施例，其中相同的附图标记表示相同的元件，并且在附图中：
图1是安装在车辆上的座椅安全带状态确定系统的实施例的示意性框图；
图2是绘示可以与图1的系统一起使用的座椅安全带状态确定方法的实施例的流程图；以及
图3是绘示可以用于图2的座椅安全带状态确定方法的座椅安全带分类过程的实施例的流程图。
具体实施方式
本文所描述的座椅安全带状态确定系统和方法被设计成评估座椅安全带并确定座椅安全带是否扣住以及是否正确地定路线（routed）在乘客身上。传统的系统通常仅确定座椅安全带是否被扣住或被佩戴，但不提供关于座椅安全带如何被定路线到乘客身上（即，是否被正确佩戴）的反馈。为了评估座椅安全带状态，本系统和方法使用车辆舱室内的座椅安全带传感器和摄像机两者来生成数据，然后结合机器学习技术（例如，通过使用神经网络实现的监督机器学习技术）来分析该数据，以将座椅安全带状态分类成一个或多个分类，诸如：乘客不存在，乘客存在/座椅安全带未被佩戴，乘客存在/座椅安全带被不正确地佩戴，乘客存在/座椅安全带被正确地佩戴，以及视野被遮挡。本系统和方法还可以在不需要座椅中的重量传感器并且不必标记或以其他方式改变座椅安全带的情况下执行这样的评估，使得本系统和方法可以在具有现有车辆设备的各种场景中使用，以便避免昂贵的修改。
现在转到图1，示出了具有用于提高乘客安全性的座椅安全带状态确定系统12的车辆10的示例，其中该系统能够执行下面描述的座椅安全带状态确定方法。根据该示例，系统12包括车辆硬件14，其具有一个或多个车辆摄像机20-26、座椅安全带传感器30-36、车辆数据处理模块40、车辆通信模块50、车辆自主驾驶模块60、其它车辆电子模块70、以及执行本文所描述的方法、步骤和/或功能所需的系统、模块、装置、部件、硬件、软件等的任何其它合适的组合。车辆硬件14的各种部件可以通过车辆通信网络80（例如，有线车辆通信总线、无线车辆通信网络或一些其他合适的通信网络）连接。车辆10可以是传统的非自主车辆或自主或半自主车辆。短语“自主或半自主车辆”以及任何派生术语广泛地指代能够在没有驾驶员请求的情况下自动执行驾驶相关动作或功能的任何车辆，并且包括落入汽车工程师协会（SAE）国际分类系统的1-5级内的动作。
本领域技术人员将理解的是，车辆硬件14的示意性框图仅意在说明与本方法一起使用的一些更相关的硬件部件，并且其并不意味着是将通常在这种车辆上找到的车辆硬件的精确或详尽的表示。此外，车辆硬件14的结构或架构可以与图1中所示的结构或架构显著不同（例如，摄像机20-26、座椅安全带传感器30-36和/或模块40-70可以彼此或与其它设备集成或者彼此或与其它设备以其它方式组合，而不是所有都是单独的独立部件）。由于无数的潜在布置并且为了简洁和清楚起见，结合图1的所示实施例描述了车辆硬件14，但是应当理解的是，本系统和方法不限于此。
车辆摄像机20-26安装在车辆舱室内部，并向本系统和方法提供摄像机图像数据。尽管以下示例在生成对应图像或静止帧的视频摄像机的上下文中描述了车辆摄像机20-26，但是这些摄像机可以包括在工业中已知或使用的任何合适的摄像机或视觉系统，只要其能够收集关于车辆舱室内部的环境的图像、图示和/或其他信息。取决于特定应用，车辆摄像机20-26中的一个或多个可以包括：静态摄像机、视频摄像机；BW和/或彩色摄像机；模拟和/或数字摄像机；宽和/或窄视场（FOV）摄像机；并且可以是单声道和/或立体声系统的一部分，这里仅举几个可能性。根据非限制性示例，车辆硬件14包括一个或多个摄像机20-26，其是面向乘客的CMOS视频摄像机，并且经由车辆通信网络80向系统12的其余部分（包括车辆数据处理模块40）提供摄像机图像数据。摄像机20-26中的每个可以是广角摄像机（例如，具有大约140°或更大的FOV），使得可以获得所讨论的乘客的全视图或接近全视图。由摄像机20-26输出的摄像机图像数据可以包括原始视频或静止图像数据（即，没有或具有很少的预处理），或者在摄像机具有其自己的图像处理资源并且在将所捕获的图像作为摄像机图像数据输出之前对所捕获的图像执行预处理的情况下，摄像机图像数据可以包括预处理的视频或静止图像数据。还存在其它可能性。
车辆摄像机20-26可以根据任何数量的不同配置布置或设置在车辆舱室中。例如，在没有天窗的车辆中，本系统可以仅使用单个摄像机20、24来监测整行座椅，其中摄像机20、24可以安装在车辆车顶或车顶内衬中位于驾驶员侧和乘客侧座椅之间的中心位置处。在这种配置中，摄像机20、24将需要足够宽的FOV，使得它可以同时监测或观看多个座椅。在该配置中，摄像机20可以安装在后视镜组件中，摄像机24可以安装在信息娱乐单元等中，或者它们可以安装在其它位于中心的位置中。另一方面，如果车辆具有防止这种布置的天窗或其它位于中心的物体，本系统可以具有安装在车辆舱室内分别更靠近车辆A柱和B柱的侧位置的两个或更多个侧摄像机22、26，其将代替单个的中心地安装的摄像机20、24，因此，座椅安全带状态确定系统12可以具有用于第一行和/或第二行监测的单个摄像机、用于第一行和/或第二行监测的多个摄像机、或适于该特定车辆的舱室布局的一些其它配置。根据一个示例，该系统包括用于监测第一行的单个中心地安装的摄像机20和用于监测第二行的单个中心地安装的摄像机24。当然，摄像机的其它配置和组合也是可能的，包括具有更多或更少摄像机、不同安装位置和第三行监测的摄像机的配置和组合。
座椅安全带传感器30-36安装在车辆舱室内部，并且联接到所讨论的座椅安全带中的每个座椅安全带，以便向本系统和方法提供座椅安全带数据。尽管下面的例子在非接触式电磁传感器的背景下描述了座椅安全带传感器30-36，但是应当理解的是，这些仅仅是示例，因为座椅安全带传感器30-36不限于任何特定种类的传感器。根据具体应用，座椅安全带传感器30-36中的一个或多个可以包括：接触式和/或非接触式传感器、电磁传感器（例如，霍尔效应传感器或簧片开关传感器），或者可以是乘员分类系统（OCS）的一部分，这里仅举几个可能性。根据非限制性示例，座椅安全带传感器30-36中的每个包括非接触式霍尔效应传感器，其中磁性元件位于座椅安全带舌片（插入件）或座椅安全带带扣（接收件）上，并且对应的传感器元件位于这两个部件中的另一个上。当座椅安全带舌片正确地插入座椅安全带带扣中时，由磁性元件产生的磁场的存在将导致传感器元件输出表明其操作状态的电压，如本领域所广泛已知和理解的。由座椅安全带传感器30-36输出的座椅安全带数据的确切形式或结构可以变化，并且不限于任何特定实施例。当然，也存在座椅安全带传感器的其它可能性。
车辆数据处理模块40、车辆通信模块50、车辆自主驾驶模块60以及其他车辆电子模块70可以包括任何合适的部件，并且可以根据行业中已知或使用的任何合适的配置来布置。因为模块40-70的特定架构不是关键的，并且因为这些模块可以根据如此多的不同实施例来提供，所以除了另有说明的地方之外，模块40的部件的以下描述可以适用于模块40-70中的任何一个。例如，模块40-70中的每个可以包括一个或多个处理装置42、存储器装置44、I/O装置以及通常在这些模块上找到的任何其它硬件和/或软件。处理装置42可以是能够处理电子指令的任何类型的装置，包括微处理器、微控制器、主处理器、控制器、车辆通信处理器、通用处理单元（GPU）、加速器、现场可编程门阵列（FPGA）和专用集成电路（ASIC），这里仅举几个可能性。它可以是仅用于模块40的专用处理器，或者可以与其它车辆系统、模块、装置、部件等共享。处理装置42可以执行各种类型的电子指令，诸如存储在存储器装置44中的软件和/或固件程序，其使得模块40能够执行各种功能。存储器装置44可以是非暂时性计算机可读介质；这些包括不同类型的随机存取存储器（RAM），包括各种类型的动态RAM（DRAM）和静态RAM（SRAM））、只读存储器（ROM）、固态驱动器（SSD）（包括诸如固态混合驱动器（SSHD）的其它固态存储装置）、硬盘驱动器（HDD）、磁盘或光盘驱动器、或电子地存储信息的其它合适的计算机介质。在一个示例中，处理装置42执行程序或处理数据，并且存储器装置44存储程序或其他数据，以便有助于执行或支持本方法的至少一部分。
车辆数据处理模块40从一个或多个车辆摄像机20-26接收摄像机图像数据，并从一个或多个座椅安全带传感器30-36接收座椅安全带数据，并且可以被配置为在提供座椅安全带状态信息作为输出之前评估、分析和/或以其他方式处理该输入，如下文所解释的。车辆数据处理模块40可以间接或直接连接到车辆摄像机20-26和座椅安全带传感器30-36，以及其它模块50-70的任何组合（例如，经由车辆通信网络80）。车辆数据处理模块40可以与车辆摄像机20-26和/或座椅安全带传感器30-36集成或组合，使得它们是单个封装模块或单元的一部分，或者模块40可以与车辆中的任何数量的其它系统、模块、装置和/或部件组合。
车辆通信模块50为车辆提供短距离和/或长距离无线通信能力，使得车辆可以与各种装置和系统通信和交换数据，例如包括其他车辆或与自主或半自主车辆一起使用的后端或基于云的设施。例如，车辆通信模块50可以包括允许短距离无线通信（例如，BluetoothTM、其它IEEE 802.15通信、Wi-FiTM、其它IEEE 802.11通信、车辆到车辆的通信等）的短距离无线电路。模块50还可以包括蜂窝芯片组和/或车辆远程信息处理单元，其使得能够与后端设施或其它远程定位的实体进行远程无线通信（例如，蜂窝、远程信息处理通信等）。根据一个非限制性示例，车辆通信模块50包括与上文所提到的装置类似的处理和存储器装置52、54、短距离无线电路56、呈蜂窝芯片组形式的长距离无线电路58、以及一个或多个天线。车辆通信模块50可以间接地或直接地连接到车辆摄像机20-26和座椅安全带传感器30-36，以及其它模块40、60、70的任何组合（例如，经由车辆通信网络80）。模块50可以与车辆中的任何数量的其它系统、模块、装置和/或部件组合。
车辆自主驾驶模块60是可选部件，并且为车辆提供自主和/或半自主驾驶能力，并且取决于特定实施例，可以是单个模块或单元、或者模块或单元的组合。车辆自主驾驶模块60的特定布置、配置和/或架构不是强制性的，只要该模块有助于使车辆能够执行自主和/或半自主驾驶功能即可。车辆自主驾驶模块60可以间接或直接连接到车辆摄像机20-26和座椅安全带传感器30-36，以及其它模块40、50、70的任何组合（例如，经由车辆通信网络80）。模块60可以与车辆中的任何数量的其它系统、模块、装置和/或部件组合，或者在替代方案中，模块60可以完全省略（如上文所提到的，这是可选部件）。
车辆电子模块70可以包括有助于实现本方法所需的任何其它合适的模块。例如，模块70可以包括信息娱乐模块、动力系控制模块（PCM）、发动机控制模块（ECM）、变速器控制模块（TCM）、车身控制模块（BCM）、牵引控制或稳定性控制模块、巡航控制模块、转向控制模块、制动控制模块等的任何组合。与前述模块一样，车辆电子模块70可以间接或直接连接到车辆摄像机20-26和座椅安全带传感器30-36，以及其它模块40、50、60的任何组合（例如，经由车辆通信网络80）。模块70可以与车辆中的任何数量的其它系统、模块、装置和/或部件组合。
现在转到图2的流程图，示出了座椅安全带状态确定方法100的示例，其使用摄像机图像数据和座椅安全带数据结合机器学习技术来评估车辆舱室内的一个或多个座椅区域。假定座椅中有乘客，并且座椅区域的图像没有被某些类型的物体遮挡或以其他方式阻挡（例如，毯子铺在乘客的上方，使得座椅安全带被遮挡），则该方法可以确定座椅安全带是否扣住并且正确地定路线跨过乘客。根据方法100的一个非限制性示例，该方法首先收集摄像机图像数据和座椅安全带数据，然后该方法执行座椅安全带分类过程（例如，利用机器学习技术的多步骤计算机视觉算法），然后座椅安全带分类过程的输出被滤波。如果该方法确定座椅安全带被不正确地定路线或佩戴，则可以采取一个或多个补救动作来解决该情况。如上所述，本方法不需要座椅中的重量传感器，也不需要标记或以其它方式改变座椅安全带，使得本方法可以在现有车辆设备的各种场景中使用。
当车辆10开着和/或正在被驾驶时，座椅安全带状态确定方法100可以在后台持续运行，或者其可以周期性地和/或响应于某种类型的触发事件而执行。例如，在车辆启动并且已经执行了初始座椅安全带状态检查之后，方法100然后可以周期性地径直地被执行（例如，每秒一次、每十秒一次、每分钟一次等）。或者，代替周期性地被执行，方法100可以响应于一个或多个触发事件（例如，检测到解扣的座椅安全带、车辆进入高交通量或高风险区域、车辆进入高速公路等）而被执行。应当理解的是，执行方法100的条件和/或频率不限于上述场景，因为存在其它可能性。
从步骤110开始，该方法收集摄像机图像数据并将其提供给座椅安全带状态确定系统12，例如，步骤110可以使用安装在车辆舱室内部的一个或多个车辆摄像机20-26来收集原始摄像机图像数据，并将这种数据提供给车辆数据处理模块40和/或一些其它部件。摄像机图像数据可以包括单个摄像机图像或帧、多个摄像机图像或帧（例如，在预定时间量内由车辆摄像机20-26拍摄的图像连拍）或视频镜头，从其可以提取一个或多个图像。根据非限制性示例，步骤110通过以特定速率（例如，5帧/秒）从视频馈送提取静止图像或帧来收集摄像机图像数据。然而，收集或采样摄像机图像数据的确切频率可以根据特定应用及其需要和/或资源而变化。一旦收集并提供了摄像机图像数据，该方法就可以进行到步骤114。
在步骤114中，该方法收集并提供呈多种不同形式中的任何一种形式的座椅安全带数据。根据一个实施例，步骤114从座椅安全带传感器30-36收集座椅安全带数据，并将这种数据提供给车辆数据处理模块40和/或一些其它部件。结合摄像机图像数据，座椅安全带数据有助于该方法确定特定座椅安全带的精确状态或状况。在其最常见的使用中，座椅安全带数据表明特定的座椅安全带是否扣住（即，座椅安全带舌片是否完全插入座椅安全带带扣中）。座椅安全带数据本身可能不会揭示某些场景，诸如伪插销板场景等；但是当该方法结合摄像机图像数据使用座椅安全带数据时，这些场景是可检测的，如将解释的。收集或采样座椅安全带数据的确切频率可以根据特定应用及其需要和/或资源而变化。
接下来，该方法在步骤118执行或进行座椅安全带分类过程（例如，计算机视觉算法）。座椅安全带分类过程被设计成评估特定的座椅区域，并将乘客和座椅安全带的当前状态分类到一个或多个分类中，诸如：乘客不存在、乘客存在/座椅安全带未被佩戴、乘客存在/座椅安全带被不正确地佩戴、乘客存在/座椅安全带被正确地佩戴、和/或视野被遮挡。根据一个示例，步骤118中的座椅安全带分类过程接收摄像机图像数据作为输入，并且提供座椅安全带分类作为输出，其中座椅安全带分类将来自摄像机图像数据的图像分类到一个或多个分类中（例如，以上列出的那些分类）。为了使方法100的输出实时或几乎实时可用，步骤118中的所有或大部分处理将可能需要在车辆10处执行，诸如在车辆电子模块40、50、60、70等中的一个或多个中执行，但这不是必需的。在图3的更详细的流程图中示出了步骤118的非限制性示例，其中在以下段落中图示和讨论多个子步骤210-258。
从图3中的步骤210开始，该方法预处理摄像机图像数据，并且可以根据任何数量的不同技术来进行预处理。步骤210接收摄像机图像数据作为输入，并提供经预处理的摄像机图像数据作为输出，并且其中该步骤通过减少所涉及的数据量和/或标准化该数据来预处理摄像机图像数据。例如，为了减少所涉及的数据量，预处理步骤210可以从图像中的一者裁剪感兴趣区域（ROI），其中ROI对应于乘客和座椅安全带的预期位置。ROI的尺寸、形状、位置等可以是固定的和预定的，或者其可以每次基于特定图像的内容被选择。根据一个示例，每个ROI大于或等于250×250个像素，并且在一个实施例中，大于或等于300×300个像素。这样，该方法可以提取ROI内它最感兴趣的特征，并且忽略ROI之外的可能无用的数据。
关于标准化数据，预处理步骤210可以翻转图像以使它们都处于标准取向，它可以归一化像素以使它们都具有在标准范围内的强度，它可以转换数据以使每个图像具有标准数量的比特/像素，它可以缩放图像以使它们具有标准尺寸，或者它可以使用一些其它图像数据标准化技术。通过首先标准化摄像机图像数据，随后可以以更统一或标准的方式评估数据。在翻转图像的标准化示例中，例如，步骤210可以水平翻转车辆的左侧上的所有图像，使得它们的取向与车辆的右侧的那些图像的取向相同，反之亦然。这得到具有标准取向的图像集合。在不同的标准化示例中，步骤210可以归一化像素的强度以考虑可能使后续分类困难的不同摄像机、照明条件等。该技术可以通过如下所述归一化每个像素的强度I来实现，使得所有的像素强度在范围[-1，1]内。对于8比特/像素的摄像机，可以使用以下：
I↑' = （（I/255）-0.5）x2
也可以使用其它图像处理技术。一旦步骤210已经生成预处理的摄像机图像数据作为输出，则该方法继续进行。
在步骤214中，该方法执行场景分类过程，并且可以根据任何数量的不同技术来执行场景分类过程。根据一个示例，步骤214接收预处理的摄像机图像数据作为输入并提供场景分类作为输出，并且该步骤将图像分类到不同的场景或情形中，使得场景分类输出是该过程认为图像应当落入哪个分类的统计预测。例如，步骤214中的场景分类器可以针对每个预处理图像确定乘客是否坐在所讨论的座椅中以及座椅区域的视野是否被遮挡或阻挡；在该意义上，步骤214在"逐个图像"的基础上分类。为此，步骤214可以使用离线构建的场景分类器，但是场景分类器随后被安装在车辆上并且在每次执行步骤214时被执行。构建场景分类器的一种方式是使用机器学习技术，其中基于样本数据或训练数据构建的模型可以被应用于新输入（例如，来自步骤210的新的经预处理的摄像机图像），以便预测新输入的分类。机器学习技术可以特别适合于像步骤214中的场景分类器那样的应用，其中开发可以适当地解决每个可能的环境或条件集合的算法是不可行的。步骤214可以考虑的一些潜在分类包括：乘客不存在，乘客存在，以及视野被遮挡。当然，可以替代地使用其它分类方法和分类。
可以结合步骤214使用的合适的机器学习技术的示例是监督式深度学习技术，诸如用于从大的样本数据集合或训练数据集合构建和训练神经网络的那些技术。经训练的神经网络是预测哪个场景分类最佳地表示特定图像的模型。例如，监督学习算法可以用于构建和训练卷积神经网络，该卷积神经网络基于与数千、数万、数十万、甚至数百万的先前收集的图像及其对应的场景分类（即，训练数据）有关的信息。神经网络基于包括多个单独训练示例的训练数据的大集合，每个单独训练示例包括单独图像及其对应的分类。每个训练示例可以被表示为数组或向量，并且训练数据可以被表示为矩阵。为了利用上文所解释的机器学习技术，该方法必须首先构建和训练神经网络（例如，深度神经网络、卷积神经网络等）。应当理解的是 ，除非另有说明，否则步骤214中用于构建、训练和使用神经网络的大部分讨论将适用于方法100中的使用神经网络的其他步骤。
结合步骤214使用的神经网络是一种多层网络，其被设计成从像素信息中识别视觉图案和/或特征，诸如构成预处理的摄像机图像的类型。神经网络由互连的神经元或节点的集合构成，每个互连的神经元或节点是具有一个或多个输入和一个或多个输出的数学函数，其中一个神经元的输出被用作一个或多个其他神经元的输入。神经元可以连接到下一层中的多个神经元，但是神经元对于给定的一组输入仅输出单个值（因此，神经元可以具有“多个”输出，全部输出都输出相同的单个值）。数学函数通常包括线性函数和除其之外的非线性函数（也称为激活函数）。线性函数通常具有用于线性函数中的一个或多个权重或常数；这些权重对于每个神经元可以是唯一的（尽管许多神经元可以应用相同的数学函数，但是不同的权重集合是唯一的并且可以被“调节”）。一旦神经元接收到输入并且将线性和非线性函数应用于输入，则输出单个数字并且将其称为神经元的激活。神经网络的最后一层可以包括用于每种可能的分类或结果的一个神经元（例如，在步骤214中的三个神经元；每个神经元用于以下分类：乘客不存在、乘客存在、或图像被遮挡），其中每个神经元表示所讨论的图像属于该特定分类的概率。最后一层中的每个神经元输出在[0，1]之间的单个概率值，并且所有概率值的总和加起来为1（最后一层是概率分布）。这是多级分类器的示例。
本领域技术人员将理解的是，存在多种方式来构建和训练神经网络以用于以上列出的目的，其中的任何一种都可以与本方法一起使用。根据步骤214的一个非限制性示例，使用具有Xception类型架构的卷积神经网络，其中卷积神经网络使用合适的Adam优化算法以有监督的方式被训练。当然，也可以替代地使用其它类型的神经网络架构，诸如基于ResNet、VGGNet、AlexNet、Inception、MobileNet等的那些，以及其它类型的优化方法，如简单随机梯度下降、AdaGrad、AdaDelta、RMSProp等。通过函数的迭代优化，诸如利用如分类交叉熵的损失函数，监督学习技术可以学习预测针对新的预处理图像（输入）的场景分类（输出），即使当新的预处理图像表示训练数据中不存在的情况时。例如，步骤214可以使用包含数千、数万或甚至数十万个经预处理的座椅区域的图像（例如，座椅区域的至少10,000个图像）的数据库来训练神经网络，其中一些图像示出座椅上没有乘客、座椅上有乘客、乘客佩戴座椅安全带、乘客没有佩戴座椅安全带、或其中不能确定座椅安全带的状态或定路线的受阻的视野。机器学习领域的技术人员将理解的是，存在可以用于构建、训练和/或优化神经网络的多种技术、算法、过程等，包括以下描述的那些，并且该方法不限于任何特定的一种。
用于训练神经网络的一种潜在技术是Adam优化算法或Adam优化器，尽管这是可选的。Adam优化器是一种随机梯度下降算法或方法，其可以通过快速找到每个图像的最优值来有效地训练神经网络。可以替代地使用其他类型的优化技术和/或算法，包括上文所提到的那些以及梯度下降算法的各种示例，来训练神经网络。如上文所解释的，在本上下文中可以使用Adam优化器，以通过调整作为线性函数的一部分的权重来尝试和减少错误。这样做的一种方式是最初选择随机的一组权重，并且然后执行优化过程，使得神经网络以及因此该模型开始表现很差，但是被优化以精确地执行。学习速率是指优化技术在迭代之间改变权重的程度/速度，并且可以根据需要进行调整。最终模型将包括用于各神经元的权重集合，其中已经针对准确度优化了每组权重。
本领域技术人员将理解的是，可以使用多种不同的技术来补充或扩充训练数据，包括以下技术的任何组合。在图像旋转数据扩充技术中，该方法采用经预处理的图像及其已知的输出（即，其已知的场景分类）并以在[-30°, 30°]范围内的随机角度旋转该图像。然后，将旋转后的图像和相同的输出保存为新的训练示例。还可以使用图像裁剪数据扩充技术，其中该方法再次获取经预处理的图像及其已知的输出，然后有目的地裁剪该图像的一部分，使得丢弃在[0，25]像素范围内的随机边缘。同样，这种数据扩充技术的思想是生成更多的训练示例，使得模型覆盖更多的可能性。在又一示例中，可以采用图像亮度数据扩充技术，其中该技术获取经预处理的图像及其已知的输出，并且随机地改变图像中的随机部分（例如，随机四边形）的亮度和/或对比度。神经网络的权重和/或其他参数可以在多个阶段中被优化；例如，可以首先优化神经网络的层的一半的权重和/或参数，然后其次优化另一半的权重和/或参数，或者可以一起优化它们，在这里列举两种可能性。数据扩充的这个过程可以重复任何次数，以通过产生表示新条件的新训练示例来有助于补充和增加训练数据。上述技术中的许多（如果不是全部）可以离线完成；即，神经网络可以在车辆被制造之前在后端或基于云的设施处被构建和训练，使得所得到的模型可以被加载和保存在车辆上（例如，在车辆数据处理模块40中）并且在步骤214中被利用。
步骤214对每个新的经预处理图像（输入）进行分类，并提供对应的场景分类（输出）。根据以上提供的示例，步骤214输出表明以下三种可能场景或情形之一的场景分类：乘客不存在、乘客存在、或图像具有被遮挡的视野。可以替代地使用其他潜在的分类。如果该方法确定乘客不存在于所讨论的座椅中，则该方法此时可以结束或循环到开始，以便节省计算资源等（如果座椅中没有乘客，则不需要尝试并确定座椅安全带是否正确地定路线）。如果该方法确定图像当前被遮挡（例如，物体在摄像机前面、乘客坐在防止摄像机能够看到座椅安全带的位置等），则该方法可能想要向驾驶员/乘客警告该遮挡，使得可以解决该遮挡。如上文所提到的，在步骤214中的神经网络或模型可以针对每个可能的分类输出在[0，1]之间的单独概率，其中所有概率的总和加起来为1。然后，具有最高概率的输出被认为是最可能的场景。该方法将考虑场景分类输出以及步骤218和222的输出，如下文所解释的。
在步骤218中，该方法执行座椅安全带分段过程，并且可以以任何数量的不同方式来进行座椅安全带分段过程。根据一个示例，步骤218接收经预处理的摄像机图像数据作为输入，并且提供分段的座椅安全带作为输出，其中分段的座椅安全带输出包括已经被该过程识别为所讨论的座椅安全带的一部分的像素的集合。换句话说，步骤218评估经预处理的摄像机图像，并且基于逐个像素或逐个像素组确定哪些像素对应于图像中的座椅安全带，并且哪些像素不对应于座椅安全带。该输出随后可以用于分析座椅安全带定路线，并确定定路线是否正确或不正确，这将在下面进行解释。在这个意义上，步骤218在“逐个像素”的基础上进行分段或评估，这与在“逐个图像”的基础上进行评估的步骤214形成对比。为此，步骤218可以使用离线构建的座椅安全带分段器或像素化器，但是座椅安全带分段器或像素化器随后安装在车辆上并且在每次执行步骤218时被执行。构建座椅安全带分段器的一种方式是使用机器学习技术，诸如上文所描述的监督式深度学习技术，其中，基于样本数据或训练数据构建的模型被应用于新的输入（例如，来自步骤210的新的经预处理的摄像机图像的一个或多个像素），以便预测所讨论的像素是否是座椅安全带的一部分或对应于一些其他物品（例如，乘客、座椅、背景物体等）。机器学习技术可以特别适合于像步骤218中的座椅安全带分段器的应用，其中开发可以适当地解决每个可能的环境或条件集合的算法是不可行的。
根据步骤218的一个非限制性示例，使用具有DenseNet类型架构的完全卷积神经网络，其中使用合适的优化算法以监督的方式训练完全卷积神经网络。当然，可以替代地使用其它类型的神经网络架构，诸如上面列出的那些或SegNet、U-Net、DeepLab等。通过函数的迭代优化，其中该函数将是与以上在场景分类过程中所使用的函数不同的函数，即使当新的经预处理的图像表示训练数据中不存在的情况时，监督学习技术也可以学习以为新的经预处理的图像（输入）生成分段座椅安全带（输出）。例如，步骤218可以使用包含数千、数万或甚至数十万个经预处理的座椅安全带的图像（例如，至少10,000个座椅安全带的图像）的数据库来训练神经网络，所述图像示出了：乘客佩戴呈各种配置的座椅安全带、乘客未佩戴座椅安全带、乘客佩戴部分受阻的座椅安全带以使得座椅安全带的部分可见而其他部分受阻、乘客佩戴其中下部或腰部安全带和上部或肩部安全带是单独可见的座椅安全带等。机器学习领域的技术人员将理解的是，存在可用于构建、训练和/或优化神经网络的许多技术、算法、过程等，包括上述那些技术、算法、过程，并且该方法不限于任何特定的技术、算法、过程等。
在步骤222中，该方法执行乘客姿势估计过程，并且可以根据多种不同方式中的任何一种来进行乘客姿势估计过程。根据一个示例，步骤222接收经预处理的摄像机图像数据作为输入，并且提供乘客姿势估计作为输出，其中乘客姿势估计输出包括与某些乘客身体部位的估计位置有关的信息，诸如关键关节和特征（例如，膝盖、臀部、肩部、肘部、手腕、颈部、前额、眼睛、耳朵等）。通过知道座椅安全带的位置（例如，来自分段的座椅安全带输出）和某些身体部位的位置（例如，来自乘客姿势估计输出），该方法将能够确定座椅安全带是否正确地定路线跨过乘客的身体，如将解释的。为此，步骤222可以使用离线构建的姿势估计器，但姿势估计器随后被安装在车辆上并在每次执行步骤222时被执行。构建姿势估计器的一种方法是使用机器学习技术，诸如上述的监督式深度学习技术，其中基于样本数据或训练数据构建的模型被应用于新的输入（例如，来自步骤210的示出处于特定姿势或姿态的乘客的新的经预处理的摄像机图像），以便估计特定身体部位的位置。机器学习技术可以特别适合于像步骤222中的姿势估计器的应用，其中开发可以适当地解决环境或姿势的每个可能的集合的算法是不可行的。
在步骤222的一个示例中，使用具有卷积姿势机器类型架构的卷积神经网络，其中使用合适的优化算法以监督的方式训练卷积神经网络。当然，可以替代地使用其他类型的神经网络架构，诸如以上列出的那些或级联金字塔网络。通过函数的迭代优化，所述函数将是与以上在场景分类过程中所使用的函数不同的函数，即使当新的经预处理的图像表示训练数据中不存在的情况时，监督学习技术可以学习以为新的经预处理的图像（输入）生成乘客姿势估计（输出）。例如，步骤222可以使用包含数千、数万或甚至数十万个处于不同姿势的乘客的经预处理的图像（例如，至少10,000个乘客姿势的图像）的数据库来训练神经网络，所述经预处理的图像示出不同身材的乘客、坐在不同方位的乘客（例如，手臂和/或腿交叉、手臂和/或腿伸直、头部倾斜、头部伸直、肩部下垂、肩部成直角等）。机器学习领域的技术人员将理解的是，存在可以用于构建、训练和/或优化神经网络的许多技术、算法、过程等，包括以上所描述的那些，并且该方法不限于任何特定的技术、算法、过程等。
在某种意义上，步骤222的乘客姿势估计或输出是所讨论的乘客的某些身体部位的数字表示或虚拟模型，其中虚拟模型包括身体部位的位置和/或这些身体部位之间的连接。乘客姿势估计过程可能特别感兴趣的是与颈部和肩部有关的信息，诸如它们的估计位置、取向、大小、形状等。利用乘客姿势或姿态的这种虚拟模型，该方法将能够在以后确定座椅安全带定路线（routing）是正确的还是不正确的。应当理解的是，以上关于机器学习技术的所有讨论，包括涉及构建、训练和使用神经网络、数据扩充技术等的讨论，也可以应用于步骤222。一旦乘客姿势估计过程完成，该方法继续进行。
此时，步骤230-258接收来自步骤214-222的输出，并确定所讨论的图像的座椅安全带分类。在步骤230的一个示例中，该方法使用来自步骤214的场景分类输出来确定乘客是否存在；如果乘客不存在，则步骤234将图像分类为“乘客不存在”。如果乘客存在，则步骤230可以再次使用来自步骤214的场景分类输出来确定正被分析或评估的图像是否具有被遮挡的视野，其中乘客和/或座椅安全带被遮挡或以其他方式被遮挡而看不见，使得该方法无法作出确定。如果是这种情况，则步骤238可以将图像分类为“视野被遮挡”。如果步骤230确定乘客存在并且视野未被遮挡，则该方法可以进行到步骤250。
在步骤250中，该方法确定座椅安全带是否被正确地定路线到乘客身上。例如，步骤250可以重叠、叠加和/或以其他方式比较来自步骤218的分段座椅安全带输出与来自步骤222的乘客姿势估计，以便确定座椅安全带的一部分（例如，上部或肩部安全带的躯干部分）是否在乘客的颈部和肩部之间延伸。存在可以执行这种比较或评估的许多方式。在一个这种示例中，由分段座椅安全带过程（即，分段的座椅安全带）输出的二进制图像从肩部位置到颈部位置被逐像素地遍历。如果这些像素中的任何一个被标记为属于座椅安全带，则定路线是正确的；如果不是，则定路线不正确。步骤250可以确定座椅安全带的下部或腰部安全带部分是否延伸跨过乘客的臀部或腰部，并且这可以在颈部和肩部评估之外或代替颈部和肩部评估来完成。当然，可以替代地使用用于从步骤214-222的输出来确定正确的座椅安全定路线的其它技术和方法。如果该方法确定座椅安全带被正确地佩戴或定路线，则步骤254可以将图像分类为“乘客存在/座椅安全带被正确地佩戴”。相反，如果该方法确定座椅安全带被不正确地佩戴或被不正确地定路线，则步骤258可以将图像分类为“乘客存在/座椅安全带被不正确地佩戴”。还可以使得步骤230-258中的一个或多个使用来自座椅安全带传感器30-36的座椅安全带数据以确定座椅安全带是否被完全扣住或插入。除了上文所描述的步骤之外，该信息可以用作单独的座椅安全带状态检查，或者根据一些其它实施例被使用。来自步骤118中的座椅安全带分类过程的这些分类和/或其他输出可以被保存在车辆上的任何合适的存储器装置中或其他地方，诸如在基于云的设施处。
回到图2，由于步骤118已经完成，方法进行到步骤122以对座椅安全带分类过程的输出进行滤波。任何数量的不同滤波、平均和/或其它技术可以用于确认或验证座椅安全带分类状态。这种技术的非限制性示例涉及时间积分，其中，一个或多个前述步骤的输出随着时间被积分或滤波，以便减少噪声和/或杂散输出。如果步骤118针对摄像机图像数据的每帧输出座椅安全带分类输出（例如，表示不同分类的数字输出），则步骤122可以通过在某一时间段或一定数量的帧（例如，在5、10、50帧等）上对步骤118的输出进行时间积分来对该输出进行滤波。在将座椅安全带分类从一个状态改变到另一状态之前，步骤122可能要求所改变的状态不是仅仅是瞬时的，而是持续的，如由时间积分的结果所示。本领域技术人员将理解的是，可以替代地使用其它滤波、积分和/或其它技术。
最后，步骤126可以对某些座椅安全带分类执行补救动作。例如，如果该方法确定座椅安全带分类是诸如在步骤238中的“视野被遮挡”，该方法可以向乘客发送视觉和/或听觉警报，要求他们移除障碍物。例如，如果该方法确定座椅安全带分类对应于诸如在步骤258中的“乘客存在/座椅安全带被不正确地佩戴”，则步骤126可以向乘客发送视觉和/或听觉警报（例如，类似于当前座椅安全带警告的仪表板响铃和灯），要求他们通过调整座椅安全带等来补救该情况。在自主或半自主车辆的背景下，该方法可以采用按比例缩放的方法，该方法以对乘客的视觉和/或听觉警报开始，随后是车辆如果在一定量的时间内未被补救将停止驾驶的警告。如果座椅安全带状态没有改变，则步骤126可以使用车辆自主驾驶模块60来自动地使车辆安全停止，直到乘客满意地补救座椅安全带状态（即，确保座椅安全带被扣住并正确地定路线）为止。一旦这发生，自主或半自主车辆可以在其路线上继续。其它补救措施当然也是可能的。
虽然方法100已经被图示为具有特定的步骤顺序，但是应当理解的是，这些步骤的确切次序或顺序可以变化。例如，该方法可以在执行其它方法步骤之前、之后或期间来收集摄像机图像数据和/或座椅安全带数据。在不同的示例中，步骤118可以被构造成使得如果步骤234确定没有乘客存在或者如果步骤238确定图像被遮挡，则该方法结束。本方法不限于任何特定的步骤顺序或步骤组合，并且本方法可以包括比所示和所描述的步骤更多、更少或不同的步骤。
应当理解的是，前述描述不是对本发明的限定，而是对本发明的一个或多个优选示例性实施例的描述。本发明不限于在本文公开的特定实施例，而是仅由以下的权利要求书限定。此外，包含在前述描述中的陈述涉及特定实施例，并且不应被解释为对本发明的范围或对权利要求书中所使用的术语的定义的限制，除非术语或短语在上文被明确地定义。各种其它实施例和对所公开的实施例的各种改变和修改对于本领域技术人员将变得显而易见。例如，步骤的特定组合和次序仅是一种可能性，因为本方法可以包括具有比本文所示的步骤更少、更多或不同的步骤的步骤组合。所有这些其它实施例、变化和修改都旨在落入所附权利要求书的范围内。
如本说明书和权利要求书中所使用的，当与一个或多个部件或其它项目的列表结合使用时，术语“例如（for example）”、“例如（e.g.,）”、“例如（for instance）”、“诸如”和“像”以及动词“包括（comprising）”、“具有”、“包括（including）”和它们的其它动词形式均应被解释为开放式的，意味着该列表不应被认为是排除其它附加部件或项目。其它术语应使用其最宽泛的合理含义来解释，除非其用于需要不同解释的上下文中。此外，术语“和/或”应被解释为包含性的“或”。作为示例，短语“A、B和/或C”包括：“A”；“B”；“C”；“A和B”；“A和C”；“B和C”；以及“A、B和C”。

Claims (10)

1.一种用于车辆的座椅安全带状态确定方法，所述车辆具有一个或多个车辆摄像机以及一个或多个座椅安全带传感器，所述方法包括以下步骤：
利用所述车辆摄像机收集摄像机图像数据；
利用所述座椅安全带传感器收集座椅安全带数据；以及
执行座椅安全带分类过程，所述座椅安全带分类过程接收所述摄像机图像数据作为输入并且提供座椅安全带分类作为输出，其中所述座椅安全带分类过程将来自所述摄像机图像数据的图像分类为表示所述座椅安全带的状态的一个或多个分类。
2.根据权利要求1所述的方法，其中，摄像机图像数据收集步骤还包括：利用所述车辆摄像机收集摄像机图像数据并且通过车辆通信网络将所述摄像机图像数据提供给车辆数据处理模块，所述摄像机图像数据包括示出所述车辆的舱室中的座椅区域的图像。
3.根据权利要求1所述的方法，其中，座椅安全带数据收集步骤还包括：利用所述座椅安全带传感器收集座椅安全带数据，并通过车辆通信网络将所述座椅安全带数据提供到车辆数据处理模块，所述座椅安全带数据包括表明座椅安全带是否被扣住的信号。
4.根据权利要求1所述的方法，其中，执行步骤还包括：通过预处理所述摄像机图像数据来执行所述座椅安全带分类过程，使得所预处理的摄像机图像数据在大小上被减小并且被标准化。
5.根据权利要求4所述的方法，其中，预处理步骤还包括：通过从所述摄像机图像数据中的图像裁剪感兴趣区域（ROI）来减小摄像机图像数据的大小，其中所述ROI对应于乘客和座椅安全带的预期位置。
6.根据权利要求4所述的方法，其中，预处理步骤还包括通过执行从包括以下各项的列表中选择的一个或多个标准化技术来标准化所述摄像机图像数据：水平翻转一个或多个图像以使它们具有标准取向；归一化像素以使它们具有标准范围内的强度；转换一个或多个图像的数据以使它们具有标准数量的比特/像素；或者缩放一个或多个图像以使它们具有标准尺寸。
7.根据权利要求1所述的方法，其中，执行步骤还包括：执行作为所述座椅安全带分类过程的一部分的场景分类过程，所述场景分类过程接收经预处理的摄像机图像数据作为输入并且提供场景分类作为输出，所述场景分类过程将来自所述经预处理的摄像机图像数据的图像分类到表示乘客不存在、乘客存在或视野被遮挡的一个或多个分类中。
8.根据权利要求7所述的方法，其中，所述场景分类过程还包括：使用神经网络来预测所述场景分类中的哪个或哪些场景分类最佳地表示来自所述经预处理的摄像机图像数据的图像并且逐个图像地进行预测。
9.根据权利要求8所述的方法，其中，场景分类输出包括多个概率值，所述概率值的每个在[0，1]之间并且表示来自所述经预处理的摄像机图像数据的所述图像表示特定场景的概率，并且所有可能场景的所述概率值的总和等于1。
10.根据权利要求8所述的方法，其中，所述神经网络是具有Xception类型架构的卷积神经网络，并且使用Adam优化器来训练。
CN202010075031.9A 2019-01-22 2020-01-22 座椅安全带状态确定系统和方法 Active CN111469802B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/253,312 US11046273B2 (en) 2019-01-22 2019-01-22 Seat belt status determining system and method
US16/253312 2019-01-22

Publications (2)

Publication Number Publication Date
CN111469802A true CN111469802A (zh) 2020-07-31
CN111469802B CN111469802B (zh) 2022-08-30

Family

ID=71403222

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010075031.9A Active CN111469802B (zh) 2019-01-22 2020-01-22 座椅安全带状态确定系统和方法

Country Status (3)

Country Link
US (1) US11046273B2 (zh)
CN (1) CN111469802B (zh)
DE (1) DE102019134141B4 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743326A (zh) * 2021-09-07 2021-12-03 中国南方电网有限责任公司超高压输电公司大理局 安全带佩戴状态监测系统、方法、装置和计算机设备

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10988268B2 (en) * 2018-06-14 2021-04-27 General Electric Company System and method for performing operations on an engine
US10850702B2 (en) * 2019-03-18 2020-12-01 Pony Ai Inc. Vehicle seat belt monitoring
EP3719697B1 (en) * 2019-04-04 2023-10-18 Aptiv Technologies Limited Method and device for determining whether a hand cooperates with a manual steering element of a vehicle
US11420579B2 (en) 2019-06-21 2022-08-23 GM Global Technology Operations LLC System and method to automatically set the height of the torso section of a seat belt
EP3795441A1 (en) 2019-09-17 2021-03-24 Aptiv Technologies Limited Method and device for determining an estimate of the capability of a vehicle driver to take over control of a vehicle
US20210086715A1 (en) * 2019-09-25 2021-03-25 AISIN Technical Center of America, Inc. System and method for monitoring at least one occupant within a vehicle using a plurality of convolutional neural networks
US11729432B2 (en) * 2019-11-19 2023-08-15 Thales Avionics, Inc. Inflight entertainment system using video object recognition to monitor seat areas and generate flight crew notifications
EP3848256A1 (en) 2020-01-07 2021-07-14 Aptiv Technologies Limited Methods and systems for detecting whether a seat belt is used in a vehicle
US11465746B2 (en) * 2020-02-17 2022-10-11 Jeff Johnson Method and apparatus for detecting seatbelt compliance in commercial passenger aircraft
US11663815B2 (en) * 2020-03-27 2023-05-30 Infosys Limited System and method for inspection of heat recovery steam generator
US11676406B2 (en) 2020-05-20 2023-06-13 Applications Mobiles Overview Inc. System and method of augmenting a three-dimensional objects training dataset
US11597408B2 (en) 2020-07-09 2023-03-07 Aptiv Technologies Limited Vehicle control system
CN112016502B (zh) * 2020-09-04 2023-12-26 平安国际智慧城市科技股份有限公司 安全带检测方法、装置、计算机设备及存储介质
CN112232136B (zh) * 2020-09-22 2023-05-05 北京紫光展锐通信技术有限公司 车辆安全带检测方法和装置、电子设备及存储介质
US11740540B2 (en) * 2020-10-22 2023-08-29 Uatc, Llc Mounting assembly for a cabin camera
US20220203930A1 (en) * 2020-12-29 2022-06-30 Nvidia Corporation Restraint device localization
GB2602830B (en) * 2021-01-18 2023-11-29 Aptiv Tech Ltd Safety apparatus for indicating the usage state of a seat belt
US11975683B2 (en) 2021-06-30 2024-05-07 Aptiv Technologies AG Relative movement-based seatbelt use detection
US11951935B2 (en) * 2021-07-22 2024-04-09 GM Global Technology Operations LLC System and method for assessing seatbelt routing using seatbelt routing zones that are based on size and shape of occupant
KR102616328B1 (ko) * 2021-12-27 2023-12-21 현대모비스 주식회사 안전벨트 착용 판단 장치 및 방법
CN115214430B (zh) * 2022-03-23 2023-11-17 广州汽车集团股份有限公司 车辆座椅调节方法及车辆
EP4300436A1 (en) * 2022-06-30 2024-01-03 Fundacion Centro de Tecnologias de Interaccion Visual y Communicaciones VICOMTECH Method and system for detecting presence of objects in passenger compartments of transport means
DE102022003927A1 (de) * 2022-10-24 2024-04-25 Mercedes-Benz Group AG Verfahren zum Betrieb einer Insassenrückhaltevorrichtung eines Fahrzeuges
DE102023003669A1 (de) 2023-09-09 2023-11-30 Mercedes-Benz Group AG Verfahren zum Erkennen einer Gurtlose eines Sicherheitsgurtes in einem Fahrzeug

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040220705A1 (en) * 2003-03-13 2004-11-04 Otman Basir Visual classification and posture estimation of multiple vehicle occupants
CN102717773A (zh) * 2012-06-01 2012-10-10 浙江吉利汽车研究院有限公司杭州分公司 一种汽车安全带的检测控制方法及装置
CN102910132A (zh) * 2012-09-29 2013-02-06 重庆长安汽车股份有限公司 汽车用影像识别乘员存在感知系统
CN104657752A (zh) * 2015-03-17 2015-05-27 银江股份有限公司 一种基于深度学习的安全带佩戴识别方法
US20160159320A1 (en) * 2014-12-04 2016-06-09 GM Global Technology Operations LLC Detection of seatbelt position in a vehicle

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6662092B2 (en) 2000-12-15 2003-12-09 General Motors Corporation Fuzzy logic control method for deployment of inflatable restraints
DE10133759C2 (de) 2001-07-11 2003-07-24 Daimler Chrysler Ag Gurtführungserkennung mit Bildverarbeitungssystem im Kfz
US6682095B2 (en) * 2002-06-21 2004-01-27 Breed Automotive Technology, Inc. Non-safety vehicle systems control using occupant classification
US6756889B2 (en) 2002-09-12 2004-06-29 General Motors Corporation Dual sensor crash sensing system
US6748307B1 (en) 2002-11-25 2004-06-08 General Motors Corporation Collision sensing system
US6816766B2 (en) 2002-11-26 2004-11-09 General Motors Corporation Continuous collision severity prediction
US6999863B2 (en) 2003-01-06 2006-02-14 General Motors Corporation Variation manager for crash sensing algorithms
US6726260B1 (en) 2003-02-20 2004-04-27 General Motors Corporation Extending bumper with combined stiffener and method
US7159901B2 (en) 2003-06-10 2007-01-09 General Motors Corporation Deployable knee bolster for instrument panel
US7401846B2 (en) 2004-04-02 2008-07-22 Gm Global Technology Operations, Inc. Volume-filling mechanical assemblies and methods of operating the same
US7334656B2 (en) 2004-05-25 2008-02-26 Gm Global Technology Operations, Inc. Hood elevation system
US7232178B2 (en) 2005-02-10 2007-06-19 General Motors Corporation Vehicle hood assembly and method of elevating vehicle hood
US7369928B2 (en) 2005-05-04 2008-05-06 Gm Global Technology Operations, Inc. Automatically adjusting head restraint system
DE102006040244B3 (de) 2006-08-28 2007-08-30 Robert Bosch Gmbh Vorrichtung und Verfahren zur Sitzbelegungserkennung
US20090058061A1 (en) * 2007-08-30 2009-03-05 Fuisz Richard C System for providing an indication indicative of whether or not a seat belt of a vehicle occupant is fastened
US8226119B2 (en) 2008-11-03 2012-07-24 GM Global Technology Operations LLC Continuously variable deployment airbag
US8606465B2 (en) 2008-11-12 2013-12-10 GM Global Technology Operations LLC Performance-based classification method and algorithm for drivers
US20100121536A1 (en) 2008-11-12 2010-05-13 Gm Global Technology Operations, Inc. Performance-based classification method and algorithm for passengers
US8135506B2 (en) 2009-05-19 2012-03-13 GM Global Technology Operations LLC Methods and systems for providing vehicle information
US8339268B2 (en) 2009-11-10 2012-12-25 GM Global Technology Operations LLC Driver configurable drowsiness prevention
US7997620B1 (en) 2010-03-10 2011-08-16 GM Global Technology Operations LLC Adaptive load-limiting seat belt buckle presenter
US9511683B2 (en) 2010-08-25 2016-12-06 GM Global Technology Operations LLC Occupant recognition and verification system
US20120053794A1 (en) 2010-08-25 2012-03-01 Gm Global Technology Operations, Inc. Individualizable convenience system for drivers
US8335616B2 (en) 2010-09-27 2012-12-18 GM Global Technology Operations LLC Individualizable post-crash assist system
US8727377B2 (en) 2012-02-23 2014-05-20 GM Global Technology Operations LLC Adaptive vent and method for airbag
US9150238B2 (en) 2012-06-04 2015-10-06 GM Global Technology Operations LLC System and method for automatically adjusting a steering tilt position
US8967665B1 (en) 2014-01-23 2015-03-03 GM Global Technology Operations LLC Inflatable cushion for a side-impact airbag
US9365186B2 (en) * 2014-08-17 2016-06-14 Toyota Motor Engineering & Manufacturing North America, Inc. Advanced seatbelt interlock using video recognition
US9598037B2 (en) 2014-09-03 2017-03-21 GM Global Technology Operations LLC Sensor based occupant protection system
US9415746B1 (en) * 2016-01-13 2016-08-16 International Business Machines Corporation Vehicle safety belt bypass warning system
EP3545466A4 (en) * 2016-12-29 2019-11-27 Zhejiang Dahua Technology Co., Ltd. SYSTEMS AND METHODS FOR DETECTING OBJECTS IN IMAGES
DE112018002494B4 (de) * 2017-05-15 2024-02-08 Joyson Safety Systems Acquisition Llc Erkennung und Überwachung eines Sicherheitsgurtes für Insassen
US10501048B2 (en) * 2018-01-19 2019-12-10 Ford Global Technologies, Llc Seatbelt buckling detection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040220705A1 (en) * 2003-03-13 2004-11-04 Otman Basir Visual classification and posture estimation of multiple vehicle occupants
CN102717773A (zh) * 2012-06-01 2012-10-10 浙江吉利汽车研究院有限公司杭州分公司 一种汽车安全带的检测控制方法及装置
CN102910132A (zh) * 2012-09-29 2013-02-06 重庆长安汽车股份有限公司 汽车用影像识别乘员存在感知系统
US20160159320A1 (en) * 2014-12-04 2016-06-09 GM Global Technology Operations LLC Detection of seatbelt position in a vehicle
CN104657752A (zh) * 2015-03-17 2015-05-27 银江股份有限公司 一种基于深度学习的安全带佩戴识别方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743326A (zh) * 2021-09-07 2021-12-03 中国南方电网有限责任公司超高压输电公司大理局 安全带佩戴状态监测系统、方法、装置和计算机设备
CN113743326B (zh) * 2021-09-07 2024-01-19 中国南方电网有限责任公司超高压输电公司大理局 安全带佩戴状态监测系统、方法、装置和计算机设备

Also Published As

Publication number Publication date
US11046273B2 (en) 2021-06-29
CN111469802B (zh) 2022-08-30
US20200231109A1 (en) 2020-07-23
DE102019134141B4 (de) 2023-02-23
DE102019134141A1 (de) 2020-07-23

Similar Documents

Publication Publication Date Title
CN111469802B (zh) 座椅安全带状态确定系统和方法
US11597347B2 (en) Methods and systems for detecting whether a seat belt is used in a vehicle
US10369926B2 (en) Driver state sensing system, driver state sensing method, and vehicle including the same
EP4242990A2 (en) System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device
CN107428302A (zh) 利用车辆内部相机的占用者尺寸和姿势的检测
WO2018145028A1 (en) Systems and methods of a computational framework for a driver's visual attention using a fully convolutional architecture
US20110037595A1 (en) Driver state monitoring system
US11361574B2 (en) System and method for monitoring for driver presence and position using a driver facing camera
JP2009301367A (ja) 運転者状態推定装置
CN112214644A (zh) 交通工具乘员数据收集与利用人工智能的处理
US11783636B2 (en) System and method for detecting abnormal passenger behavior in autonomous vehicles
US20220230474A1 (en) Activity identification method and apparatus
Baltaxe et al. Marker-less vision-based detection of improper seat belt routing
US20230294628A1 (en) Apparatus for estimating behavior of vehicle occupant and method for the same
EP4113461A1 (en) Relative movement-based seatbelt use detection
GB2585247A (en) Occupant classification method and apparatus
WO2021262166A1 (en) Operator evaluation and vehicle control based on eyewear data
US20220009439A1 (en) Enhanced occupant collision safety system
JP2019074964A (ja) 運転不能状態予測装置及び運転不能状態予測システム
CN114475511B (zh) 基于视觉的气囊启动
EP4303822A1 (en) Child seat detection for a seat occupancy classification system
CN116152790B (zh) 一种安全带检测方法及装置
Greer et al. (Safe) SMART Hands: Hand Activity Analysis and Distraction Alerts Using a Multi-Camera Framework
CN117253218A (zh) 安全带高度调节方法及相关装置
CN117985024A (zh) 车载系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant