CN115703420A - 用于安全和定制应用的多模态乘员座位映射 - Google Patents

用于安全和定制应用的多模态乘员座位映射 Download PDF

Info

Publication number
CN115703420A
CN115703420A CN202210539543.5A CN202210539543A CN115703420A CN 115703420 A CN115703420 A CN 115703420A CN 202210539543 A CN202210539543 A CN 202210539543A CN 115703420 A CN115703420 A CN 115703420A
Authority
CN
China
Prior art keywords
vehicle
modality
sensor
occupant
seats
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210539543.5A
Other languages
English (en)
Inventor
A.M.哈米斯
W.童
A.B.科斯德维亚迪
R.L.麦克恩斯
N.R.乔达摩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN115703420A publication Critical patent/CN115703420A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/593—Recognising seat occupancy
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Seats For Vehicles (AREA)

Abstract

根据示例性实施例，提供了一种系统，该系统包括一个或多个第一传感器、一个或多个第二传感器和处理器。所述一个或多个第一传感器具有第一传感器模态，其被配置成获得与车辆的一个或多个座位的占用状态有关的第一传感器数据。所述一个或多个第二传感器具有不同于第一传感器模态的第二传感器模态，其被配置成获得与车辆的一个或多个座位的占用状态有关的第二传感器数据。处理器联接到所述一个或多个第一传感器和所述一个或多个第二传感器，并被配置成至少基于第一传感器数据和第二传感器数据的融合来促使确定车辆的一个或多个座位的占用状态。

Description

用于安全和定制应用的多模态乘员座位映射
技术领域
本技术总体上涉及车辆，更具体地，涉及用于车辆的乘员座位映射的方法和系统。
背景技术
如今，一些车辆包括用于确定车辆座位上是否有乘员或物体的系统。然而，现有系统可能不总是能提供对座位上的乘员或物体的最佳评估。
因此，希望提供改进的方法和系统，用于评估车辆座位的状态，包括乘员或座位上的物体的状态。
发明内容
根据示例性实施例，提供了一种系统，该系统包括一个或多个第一传感器、一个或多个第二传感器和处理器。所述一个或多个第一传感器具有第一传感器模态，其被配置为获得与车辆的一个或多个座位的占用状态有关的第一传感器数据。所述一个或多个第二传感器具有不同于第一传感器模态的第二传感器模态，其被配置为获得与车辆的一个或多个座位的占用状态有关的第二传感器数据。处理器联接到所述一个或多个第一传感器和所述一个或多个第二传感器，并被配置成至少基于第一传感器数据和第二传感器数据的融合促使确定车辆的一个或多个座位的占用状态。
另外在示例性实施例中，所述一个或多个座位包括车辆的多个座位，并且处理器被配置为：基于多个座位中的每一个的占用状态生成车辆的乘员座位映射；并且基于乘员座位映射提供用于控制一个或多个车辆系统的指令。
另外在示例性实施例中，处理器被配置为基于第一传感器模态和第二传感器模态的不同初步映射生成乘员座位映射，其中不同权重被分配给不同初步映射中的每一个。
另外在示例性实施例中，处理器被配置为：为显示系统提供指令以向车辆用户显示乘员座位映射；并且基于车辆用户提供的输入来改进乘员座位映射。
另外在示例性实施例中，第一和第二模态包括以下两种或多种：重量传感模态、视觉传感模态、距离传感模态、音频传感模态和生物传感模态。
另外在示例性实施例中，第一传感器模态包括重量传感模态；并且第二传感器模态包括视觉传感模态。
另外在示例性实施例中，该系统还包括不同于第一传感器模态和第二传感器模态的第三传感器模态的一个或多个第三传感器，并且被配置为获得与车辆的一个或多个座位的占用状态有关的第三传感器数据；并且处理器被配置成至少基于第一传感器数据、第二传感器数据和第三传感器数据的融合来促使确定车辆的一个或多个座位的占用状态。
另外在示例性实施例中，第一、第二和第三模态包括以下三种或更多种：重量传感模态、视觉传感模态、距离传感模态、音频传感模态和生物传感模态。
另外在示例性实施例中，第一传感器模态包括重量传感模态；第二传感器模态包括视觉传感模态；第三传感器模态包括音频传感模态。
在另一示例性实施例中，提供了一种方法，包括：通过第一传感器模态的一个或多个第一传感器获得与车辆的一个或多个座位的占用状态有关的第一传感器数据；通过不同于第一传感器模态的第二传感器模态的一个或多个第二传感器获得与车辆的一个或多个座位的占用状态有关的第二传感器数据；以及通过处理器基于第一传感器数据和第二传感器数据的融合确定车辆的一个或多个座位的占用状态。
另外在示例性实施例中，所述一个或多个座位包括车辆的多个座位，并且该方法还包括：通过处理器基于多个座位中的每一个的占用状态生成车辆的乘员座位映射；以及通过处理器提供用于基于乘员座位映射控制一个或多个车辆系统的指令。
另外在示例性实施例中，生成乘员座位映射的步骤包括基于第一传感器模态和一个或多个第二传感器模态的不同初步映射生成乘员座位映射，其中不同权重被分配给不同初步映射中的每一个。
另外在示例性实施例中，该方法还包括：根据处理器提供的指令，通过显示系统为车辆用户显示乘员座位映射；以及通过处理器基于车辆用户提供的输入来改进乘员座位映射。
另外在示例性实施例中，第一和第二模态包括以下两种或多种：重量传感模态、视觉传感模态、距离传感模态、音频传感模态和生物传感模态。
另外在示例性实施例中，第一传感器模态包括重量传感模态；第二传感器模态包括视觉传感模态。
另外在示例性实施例中，该方法还包括：通过不同于第一传感器模态和第二传感器模态的第三传感器模态的一个或多个第三传感器获得与车辆的一个或多个座位的占用状态有关的第三传感器数据；其中确定占用状态的步骤包括通过处理器基于第一传感器数据、第二传感器数据和第三传感器数据的融合来确定车辆的一个或多个座位的占用状态。
另外在示例性实施例中，第一、第二和第三模态包括以下三种或更多种：重量传感模态、视觉传感模态、距离传感模态、音频传感模态和生物传感模态。
另外在示例性实施例中，第一传感器模态包括重量传感模态；第二传感器模态包括视觉传感模态；第三传感器模态包括音频传感模态。
在另一个示例性实施例中，提供了一种车辆，其包括：车身；推进系统，被配置为产生车身的运动；第一传感器模态的一个或多个第一传感器，被配置为获得与车辆的一个或多个座位的占用状态有关的第一传感器数据；不同于第一传感器模态的第二传感器模态的一个或多个第二传感器，被配置成获得与车辆的一个或多个座位的占用状态有关的第二传感器数据；以及联接到所述一个或多个第一传感器和所述一个或多个第二传感器的处理器，该处理器被配置为至少基于第一传感器数据和第二传感器数据的融合来促使确定车辆的一个或多个座位的占用状态。
另外在示例性实施例中，所述一个或多个座位包括车辆的多个座位，并且处理器被配置为：基于多个座位中的每一个的占用状态生成车辆的乘员座位映射；并且基于乘员座位映射提供用于控制一个或多个车辆系统的指令。
附图说明
下文将结合以下附图描述本公开，其中相同的附图标记表示相同的元件，其中：
图1是根据示例性实施例的车辆的功能框图，该车辆包括用于生成车辆的乘员座位映射的控制系统，并且该控制系统基于乘员座位映射控制车辆系统；
图2是根据示例性实施例的用于生成车辆的乘员座位映射和用于基于乘员座位映射控制车辆系统的过程的流程图，该过程可以结合图1的车辆实施；
图3是根据示例性实施例的车辆的乘员座位映射的图示，其可以由图1的车辆和图2的过程产生并结合其实施；
图4是根据示例性实施例的图2的过程的子过程的流程图，包括基于视觉的乘员座位映射的生成，并且可以结合图1的车辆实施；
图5是根据示例性实施例的图2的过程的附加子过程的流程图，包括基于语音的乘员座位映射的生成，并且可以结合图1的车辆实施；
图6是根据示例性实施例的图2的过程的附加子过程的流程图，包括确认或改进乘员座位映射中的乘员交互，并且可以结合图1的车辆实施。
具体实施方式
以下详细描述本质上仅是示例性的，并不旨在限制本公开或其应用和使用。此外，不打算受前述背景技术或以下详细描述中提出的任何理论的约束。
图1示出了根据示例性实施例的车辆100。如下面更详细描述的，车辆100包括控制系统102，用于产生车辆的乘员座位映射(occupant seat mapping)，并用于基于乘员座位映射控制车辆系统。
在各种实施例中，车辆100包括汽车。车辆100可以是多种不同类型的汽车中的任何一种，例如轿车、货车、卡车或运动型多用途车(SUV)，并且在某些实施例中，可以是两轮驱动(2WD)(即后轮驱动或前轮驱动)、四轮驱动(4WD)或全轮驱动(AWD)，和/或各种其他类型的车辆。在某些实施例中，交通工具100还可以包括摩托车或其他交通工具，例如飞机、航天器、船舶等，和/或一个或多个其他类型的移动平台(例如，机器人和/或其他移动平台)。
车辆100包括布置在底盘116上的车身103。车身103基本上包围车辆100的其他部件。车身103和底盘116可以共同形成框架。车辆100还包括多个车轮112。车轮112每个都在车身103的相应拐角附近可旋转地连接到底盘116，以便于车辆100的运动。在一个实施例中，车辆100包括四个车轮112，尽管这在其他实施例中可以变化(例如对于卡车和某些其他车辆)。
驱动系统110安装在底盘116上，并例如通过轴114驱动车轮112。驱动系统110优选包括推进系统。在某些示例性实施例中，驱动系统110包括与其变速器联接的内燃机和/或电动机/发电机。在某些实施例中，驱动系统110可以变化，和/或可以使用两个或更多个驱动系统110。举例来说，车辆100还可以结合多种不同类型的推进系统中的任何一种或组合，例如，汽油或柴油燃料发动机、“替代燃油汽车”(FFV)发动机(即，使用汽油和酒精的混合物)、气体化合物(例如，氢气和/或天然气)燃料发动机、燃烧/电动机混合发动机，以及电动机。
如图1所示，车辆还包括各种受控系统104，其由控制系统102至少部分地基于由控制系统102产生的乘员座位映射来控制。如图1所示，在各种实施例中，各种受控系统104包括用于车辆100的安全气囊系统105、座位安全带系统106和信息娱乐系统107，并且由控制系统102至少部分地基于由控制系统102产生的乘员座位映射来控制。例如，在各种实施例中，安全气囊系统105的安全气囊的展开至少部分基于车辆座位中乘员的体型和/或年龄来控制。此外，在各种实施例中，座位安全带系统106的调节也至少部分地基于车辆座位中乘员的体型和/或年龄来实施控制。此外，在各种实施例中，可以基于车辆100中乘员的年龄来定制经由车辆信息娱乐系统107提供的内容(例如，用于教育和/或娱乐内容)。同样在某些实施例中，如图1所示，一个或多个其他系统108也可以至少部分基于车辆乘员的体型和/或年龄来控制，例如门锁、门窗和/或其他车辆系统。
在图1所示的实施例中，控制系统102联接到各种受控系统104(例如，包括气囊系统105、座位安全带系统106、信息娱乐系统107和/或一个或多个其他系统108)，并联接到驱动系统110。同样如图1所示，在各种实施例中，控制系统102包括传感器阵列120、显示系统135、控制器140。
在各种实施例中，传感器阵列120包括各种传感器，这些传感器获得用于产生和/或实现车辆100的乘员座位映射的传感器数据。在所示实施例中，传感器阵列120包括一个或多个乘员传感器121、重量传感器122、相机124、距离传感器126、音频传感器128、生物传感器130和输入传感器132。
在各种实施例中，乘员传感器121包括一个或多个质量传感器、力检测传感器和/或其他传感器，其联接到车辆100的一个或多个座位并被配置成检测车辆座位上的乘员或物体的存在。同样在各种实施例中，重量传感器122被配置成测量车辆座位上的乘员和/或物体的重量(和/或质量)。在某些实施例中，相机124设置在车辆100的车厢内，并且面向车厢内。
同样在各种实施例中，相机124获得车辆100的车厢内的乘员和/或物体的相机传感器数据，包括车辆座位上的数据。在某些实施例中，相机124包括在车辆100内部(例如，车厢)的一个或多个可见光相机。同样在某些实施例中，相机124可包括一个或多个红外相机，和/或车辆100内部(例如，车厢)的其他相机。
在某些实施例中，距离传感器126包括一个或多个雷达传感器(例如，低能雷达传感器)，和/或在某些实施例中，包括一个或多个激光雷达、声纳和/或其他距离传感器。在某些实施例中，音频传感器128包括一个或多个麦克风和/或其他音频传感器，其被设置在车厢内和/或被配置为捕获车辆100的车厢内的音频信号(包括语音和信号)。
此外，在某些实施例中，生物传感器130包括一个或多个传感器，这些传感器被配置成检测和/或测量车辆100内(包括车辆座位上)乘员的一个或多个生物参数，例如乘员的心跳、呼吸、脑电波和/或其他生物参数。此外，在某些实施例中，输入传感器132包括一个或多个触摸屏传感器、附加的音频传感器(麦克风)和/或其他输入传感器，其被配置为从车辆100的驾驶员和/或其他乘员获得输入(包括关于由控制器140生成的车辆的乘员座位映射的确认和/或改进)。
在各种实施例中，显示系统135向车辆100的驾驶员或其他用户提供关于经由控制器140生成的车辆100的初步乘员座位映射的通知。此外，在各种实施例中，显示系统135允许车辆100的驾驶员或其他用户有机会确认和/或改进该初步乘员座位映射，例如通过与显示系统135的交互，如通过输入传感器132检测的。在某些实施例中，显示系统135例如通过显示屏提供乘员座位映射的视觉描绘。在某些实施例中，乘员座位映射的音频、触觉和/或其他描述和/或与其相关的信息可以由显示系统135提供。
在各种实施例中，控制器140联接到传感器阵列120和显示系统135。此外，在各种实施例中，控制器140还联接到驱动系统110和/或一个或多个受控系统104(例如，包括气囊系统105、座位安全带系统106、信息娱乐系统107和/或一个或多个其他系统108)。
在各种实施例中，控制器140包括计算机系统(这里也称为计算机系统14)，并且包括处理器142、存储器144、接口146、存储设备148和计算机总线150。在各种实施例中，控制器(或计算机系统)140产生车辆100的乘员座位映射，并控制车辆运行，包括基于乘员座位映射的受控系统104的运行。在各种实施例中，控制器140根据图2的过程的步骤以及图3-6的实现方式和子过程来提供这些和其他功能。
在各种实施例中，控制器140(以及，在某些实施例中，控制系统102本身)设置在车辆100的车身103内。在一个实施例中，控制系统102安装在底盘116上。在某些实施例中，控制器140和/或控制系统102和/或其一个或多个部件可以设置在车身103的外部，例如在远程执行图像处理的远程服务器上、在云中或其他设备中。
应当理解，控制器140可以不同于图1所示的实施例。例如，控制器140可以联接到或者可以利用一个或多个远程计算机系统和/或其他控制系统，例如作为一个或多个上述车辆100设备和系统的一部分。
在所示实施例中，控制器140的计算机系统包括处理器142、存储器144、接口146、存储设备148和总线150。处理器142执行控制器140的计算和控制功能，并且可以包括任何类型的处理器或多个处理器、诸如微处理器的单个集成电路、或者任何合适数量的集成电路设备和/或电路板，它们协同工作以实现处理单元的功能。在操作期间，处理器142执行包含在存储器144内的一个或多个程序152，如此，控制控制器140和控制器140的计算机系统的一般操作，通常在执行这里描述的过程中，例如下面结合图2进一步讨论的过程200以及图3-6的实现方式和子过程。
存储器144可以是任何类型的合适的存储器。例如，存储器144可以包括各种类型的动态随机存取存储器(DRAM)，例如SDRAM、各种类型的静态RAM(SRAM)和各种类型的非易失性存储器(PROM、EPROM和闪存)。在某些示例中，存储器144位于和/或共同位于与处理器142相同的计算机芯片上。在所示实施例中，存储器144存储上述程序152以及各种存储值154(例如，在各种实施例中，包括存储的身高、体重、骨骼特征、生物数据和/或识别车辆100的座位中的物体和/或乘员的不同分类的其他特征的测量值)。
总线150用于在控制器140的计算机系统的各种组件之间传输程序、数据、状态和其他信息或信号。接口146允许例如从系统驱动器和/或另一计算机系统到控制器140的计算机系统的通信，并且可以使用任何合适的方法和装置来实现。在一个实施例中，接口146从传感器阵列120获得各种数据。接口146可以包括一个或多个网络接口，以与其他系统或组件通信。接口146还可以包括一个或多个网络接口以与技术人员通信，和/或一个或多个存储接口以连接到存储装置，例如存储设备148。
存储设备148可以是任何合适类型的存储装置，包括各种不同类型的直接存取存储器和/或其他存储设备。在一个示例性实施例中，存储设备148包括程序产品，存储器144可以从该程序产品接收程序152，该程序152执行本公开的一个或多个过程的一个或多个实施例，例如下面结合图2进一步讨论的过程200的步骤以及图3-6的实现方式和子过程。在另一个示例性实施例中，程序产品可以直接存储在存储器144和/或磁盘(例如，磁盘157)中，和/或由存储器144和/或磁盘(例如，磁盘157)访问，如下所述。
总线150可以是连接计算机系统和组件的任何合适的物理或逻辑装置。这包括但不限于直接硬线连接、光纤、红外和无线总线技术。在操作期间，程序152存储在存储器144中，并由处理器142执行。
将会理解，尽管在全功能计算机系统的环境中描述了该示例性实施例，但是本领域技术人员将会认识到，本公开的机制能够作为程序产品来分发，其中一种或多种类型的非暂时性计算机可读信号承载介质用于存储程序及其指令并执行其分发，例如承载程序并包含存储在其中的用于使计算机处理器(例如处理器142)执行和执行程序的计算机指令的非暂时性计算机可读介质。这种程序产品可以采取多种形式，并且无论用于执行分发的计算机可读信号承载介质的具体类型如何，本公开都同样适用。信号承载介质的例子包括：可记录介质，例如软盘、硬盘、存储卡和光盘，以及传输介质，例如数字和模拟通信链路。应当理解，在某些实施例中也可以利用基于云的存储和/或其他技术。将类似地意识到，控制器140的计算机系统也可以在其他方面不同于图1中描绘的实施例，例如，控制器140的计算机系统可以联接到或者可以以其他方式利用一个或多个远程计算机系统和/或其他控制系统。
图2是过程200的流程图，该过程200用于产生车辆的乘员座位映射，并用于基于乘员座位映射控制车辆系统，根据示例性实施例，过程200可以结合图1的车辆100实施。下面还将结合图3-6进一步讨论图2的过程200，图3-6示出了根据各种实施例的过程200的不同实现方式和子过程。
如图2所示，该过程开始于步骤202。在一个实施例中，当车辆驾驶或点火循环开始时，例如当驾驶员接近或进入车辆100时，或者当驾驶员打开车辆和/或点火装置时(例如通过转动钥匙、接合智能钥匙或启动按钮等)，过程200开始。在一个实施例中，过程200的步骤在车辆运行期间连续执行。
在各种实施例中，在步骤204期间，获得乘员传感器数据。在各种实施例中，从图1的一个或多个乘员传感器121获得关于车辆100的座位(例如，图1的一个或多个车辆座位101)中物体和/或乘员的存在的传感器数据。类似于上面关于图1的乘员传感器121的讨论，在各种实施例中，乘员传感器数据可以通过第一传感器模态由一个或多个重量传感器、质量传感器、力传感器和/或其他乘员传感器获得。
在各种实施例中，在步骤206期间，确定车辆座位是否被占用。在各种实施例中，图1的处理器142基于从每个车辆座位101获得的乘员传感器数据确定每个车辆座位101是否被占用。
在各种实施例中，对于每个车辆座位，如果确定车辆座位未被占用，则过程进行到步骤208。在步骤208中，座位状态被处理器设置为等于“未被占用”。在各种实施例中，该过程然后进行到步骤228(下面进一步描述)。
相反，如果确定车辆座位被占用，则获得附加的传感器数据(步骤210)。在各种实施例中，通过来自不同于步骤204的第一传感器模态的一个或多个第二传感器模态的传感器数据获得附加的传感器数据。在某些实施例中，步骤210的附加传感器数据来自相机数据(例如，来自图1的一个或多个相机124，诸如来自生成视觉数据的一个或多个可见光相机，和/或来自一个或多个红外和/或其他相机)和/或来自距离传感器数据(例如，来自图1的一个或多个距离传感器126，诸如来自一个或多个低能雷达、其他雷达、激光雷达、声纳和/或其他距离传感器)。
在各种实施例中，对每个车辆座位的乘员或物体进行识别(步骤212)。在各种实施例中，对于每个车辆座位，处理器142基于步骤210的附加传感器数据(例如，经由来自图1的相机124和/或距离传感器126的相机视觉数据、其他相机数据和/或距离数据)来识别乘员或物体。
在各种实施例中，对于每个车辆座位，确定乘员或物体是否是人(步骤214)。在各种实施例中，对于每个车辆座位，处理器142基于步骤212的识别(例如，基于附加传感器数据与图1的存储器144中的一个或多个存储值154的比较)来确定乘员或物体是否是人。
在各种实施例中，如果在步骤214确定乘员或物体不是人，则确定乘员或物体是否是宠物(即，动物)(步骤216)。在各种实施例中，对于每个车辆座位，处理器142基于步骤212的识别(例如，基于附加传感器数据与图1的存储器144中的一个或多个存储值154的比较)来确定乘员或物体是否是宠物(即，动物)。
在各种实施例中，如果在步骤216确定乘员或物体是宠物，则过程进行到步骤218。在步骤218中，座位状态被处理器设置为等于“宠物”。在各种实施例中，该过程然后进行到步骤228(下面进一步描述)。
相反，在各种实施例中，如果确定乘员或物体不是宠物，则过程替代地前进到步骤220。在步骤220中，座位状态被处理器设置为等于“物体”。在各种实施例中，该过程然后进行到步骤228(下面进一步描述)。
返回参考步骤214，在各种实施例中，如果确定乘员或物体是人，则获得并分析各种进一步的传感器数据(在图2中被称为组合步骤222)。如图2所示，在各种实施例中，经由来自不同于步骤204的第一传感器模态的一个或多个附加传感器模态的传感器数据来获得另外的传感器数据，例如，如下面结合步骤226-242(参考图2，它们也被统称为组合步骤222)所描述的。
在某些实施例中，获得乘员重量传感器数据(步骤226)。在各种实施例中，对于每个车辆座位，通过图1的一个或多个重量传感器122获得乘员重量传感器数据。同样在各种实施例中，为每个这样的乘员确定重量(步骤228)。在各种实施例中，重量由图1的处理器142基于重量传感器数据确定和/或由一个或多个重量传感器122直接测量。
同样在某些实施例中，获取相机和/或距离数据(步骤230)。在各种实施例中，对于每个车辆座位，通过一个或多个相机124(例如可见光和/或红外相机)和/或距离传感器126(例如低能雷达和/或其他距离传感器)获得相机和/或距离传感器数据。同样在各种实施例中，为每个这样的乘员确定姿势估计(步骤232)。在各种实施例中，姿势估计由图1的处理器142基于相机和/或距离传感器数据(例如，来自可见光相机的视觉数据，和/或在某些实施例中来自其他相机数据和/或距离数据)来确定，并且根据示例性实施例在下面结合图4进一步描述。
同样在某些实施例中，获得音频传感器数据(步骤234)。在各种实施例中，对于每个车辆座位，通过一个或多个音频传感器128(例如，车辆内的麦克风)获得音频传感器数据(例如，车辆座位的乘员的语音数据)。同样在各种实施例中，对音频传感器数据执行来源估计(步骤236)和声学特征提取(步骤238)。在各种实施例中，在分析音频数据时，处理器142使用步骤234的音频传感器数据来执行步骤236的来源估计和步骤238的声学特征提取。如图2所示，对音频数据的这种分析(步骤236和238)也可以被统称为音频传感器数据分析的组合步骤235，这将在下面根据示例性实施例结合图5进一步描述。
同样在某些实施例中，获取生物传感器数据(步骤240)。在各种实施例中，对于每个车辆座位，通过一个或多个生物传感器130获得生物传感器数据(例如，心率数据、脑电波数据、呼吸数据等)。此外，在各种实施例中，在步骤242相对于生物传感器数据确定生物值(例如，心率、脑波模式、呼吸模式等)。在各种实施例中，处理器142基于生物传感器数据执行生物值的确定。
在各种实施例中，为人类乘员执行映射(步骤222)。在各种实施例中，处理器142基于反映多种不同传感器模态的不同类型的传感器数据，包括在步骤224-242中表示的和以上描述的各种传感器模态，来执行对人类乘员的特征(包括关于体型和年龄)的映射。在某些实施例中，这导致基于不同传感器模态的人类乘员的多个映射(例如，在某些实施例中，基于重量传感器数据的一个或多个第一映射，基于相机数据和/或距离传感器数据的一个或多个附加映射，基于音频传感器数据的一个或多个附加映射，基于生物数据的一个或多个附加映射，等等)。在某些实施例中，在步骤222期间，处理器142使用贝叶斯数学技术生成这些不同映射中的每一个。
此外，在各种实施例中，执行映射整合(步骤224)。在各种实施例中，在步骤224期间，处理器142整合来自步骤222的不同模态的各种映射，以生成人类乘员的综合和/或组合映射，包括关于体型(例如，体重和身高)和年龄。
在各种实施例中，在步骤228期间，步骤224的组合映射(对于由人占据的座位)进一步与步骤208(对于未被占据的座位)、218(对于由宠物占据的座位)和220(对于由除了人或宠物之外的物体占据的座位)的座位设置相组合，以便生成车辆的初步合并座位映射(包括其所有座位)。在各种实施例中，步骤228的初步合并座位映射由处理器142使用各种车辆座位的步骤208、218、220和220的映射/状态，同时还使用任何先验信息(其可以在如图2所示的步骤226单独获得)来生成。例如，在某些实施例中，这种先验信息可以包括在车辆运行时，成人(而不是儿童)通常会坐在驾驶员座位上，等等。在各种实施例中，初步乘员座位映射包括每个车辆座位的描绘以及车辆座位上的任何乘员或物体的分类(例如，车辆座位是否未被占用、被物体占用、被宠物占用、被小体型、中体型或大体型儿童占用、或者被小体型、中体型或大体型的成人占用)。这种乘员座位映射的示例在图3中示出，并在下面结合其进一步描述。
在某些实施例中，在步骤228期间，在确定初步合并座位映射时，来自不同传感器模态的不同乘员座位映射各自被赋予权重。在某些实施例中，在确定初步合并座位映射时，来自不同传感器模态的不同乘员座位映射各自被赋予相同的权重。在某些其他实施例中，在确定初步合并座位映射时，基于不同的相应置信度和/或预期准确度，来自不同传感器模态的不同乘员座位映射各自被赋予不同的权重。例如，在某些实施例中，概率信息融合用于产生初步合并乘员座位映射。
例如，在某些实施例中，在步骤228期间，通过首先做出以下假设来进行信息融合：(i)pw表示通过具有方差σw的基于重量的估计器来检测成人的概率；(ii)pv表示通过具有方差σv的基于视觉的估计器来检测成人的概率；(iii)ps表示通过具有方差σs的基于语音的估计器检测成人的概率；而(iv)ww，wv和ws是聚合多个预测的权重。
同样在某些实施例中，这些权重与每个传感模态的方差成反比。座位占用的概率符合下面的等式：
Figure BDA0003647617400000121
同样在各种实施例中，参考等式1：(i)如果0.5<p[s(seat)]≤1，则车辆座位被确定为被成人占用。相反，进一步参考等式1：(ii)如果0≤p[s(seat)]<0.5，则确定车辆座位被儿童占用。如果是p[s(seat)]＝0.5，则座位占用状态被确定为未定义。
在另一个示例性实施例中，可以使用MAP最大(最大后验规则)和/或结合邓普斯特/Dempster规则，以便为乘员座位映射的不同分量提供权重。例如，在某些实施例中，可以对各种车辆座位重复不同的基于视觉估计器Zv和基于语音的估计器Za，以生成兼而基于视觉的映射和基于语音的映射(和/或类似地基于其他不同的传感器模态生成其他映射)。
举例来说，在某些实施例中，各种车辆座位的基于视觉的估计Zv(例如，来自车辆中的可见光相机)可用于根据以下等式生成基于视觉的单模映射：
Figure BDA0003647617400000131
其中，
Figure BDA0003647617400000132
表示驾驶员座位被成人占据的概率。
作为继续的示例，在某些实施例中，对各种车辆座位的基于声学的估计Za(例如，来自车辆中的麦克风)可以用于根据以下等式生成基于语音的单模映射：
Figure BDA0003647617400000133
其中，
Figure BDA0003647617400000134
表示在给定声学观测的情况下，驾驶员座位被成人占据的概率。
此外，在某些实施例中，通过应用MAP(最大后验概率规则)将单独观测(单模映射)递归地整合到全局映射中，获得每个座位的最终状态。
例如，在某些实施例中，根据以下等式，如果人类乘员是成人的综合概率大于人类乘员是儿童的综合概率，则乘员被确定为成人：
p[s(D)＝adult]＞p[s(D)＝child] (等式4)。
作为进一步的示例，在某些实施例中，根据以下等式，如果人类乘员是儿童的综合概率大于人类乘员是成人的综合概率，则确定乘员是儿童：
p[s(D)＝adult]＜p[s(D)＝child] (等式5)。
作为进一步的示例，在某些实施例中，根据以下等式，如果人类乘员是儿童的综合概率等于人类乘员是成人的综合概率，则确定乘员是未定义的：
p[s(D)＝adult]＝p[s(D)＝child] (等式6)。
应当理解，类似的和/或相关的技术也可以用于其他不同的传感器形式和/或车辆座位乘员的特征，以及与其对应的不同乘员座位映射的整合。
继续参考图2，同样在各种实施例中，作为步骤228的一部分，显示车辆的初步乘员座位映射。在各种实施例中，根据由图1的处理器142提供的指令，经由图1的显示系统135(例如，经由其显示屏)为车辆的驾驶员或乘员显示步骤228的初步乘员座位映射。在某些实施例中，一个或多个其他类型的通知(例如，音频和/或触觉)具有关于初步乘员座位映射的信息。
在各种实施例中，从车辆的驾驶员或其他用户接收输入(步骤230)。在各种实施例中，经由图1的输入传感器132接收用户输入(例如，从显示系统135的触摸屏和/或一个或多个其他输入设备)。在各种实施例中，用户输入提供用于对于步骤228的初步乘员座位映射的确认和/或改进。例如，驾驶员或其他用户可以确认初步乘员座位映射是准确的，或者如果初步乘员座位映射的一部分不准确，则可以进行调整。
在各种实施例中，实现用户的确认和/或改进(步骤232)。在各种实施例中，处理器142根据用户输入进行初步乘员座位映射的确认或调整的输入。
如图2所示，在某些实施例中，步骤230和232也可以被认为是(实现来自人类交互的用户输入的)组合步骤229，这将在下面根据示例性实施例结合图6进一步更详细地描述。
继续参考图2，在各种实施例中，生成最终的乘员座位映射(步骤234)。在各种实施例中，处理器142基于步骤228的初步乘员座位映射，并且在步骤230、232中结合任何用户确认和/或调整之后，生成最终乘员座位映射。
同样在各种实施例中，采取一个或多个车辆动作(步骤236)。在各种实施例中，处理器142基于步骤234的乘员座位映射提供用于控制和调节图1的一个或多个受控系统104的操作的指令。例如，在各种实施例中，基于乘员座位映射调整气囊展开，包括是否有任何宠物和/或人被放置在特定的车辆座位中，和/或包括人类乘员的体型等。作为另外的例子，在各种实施例中，基于人类乘员的体型来调节座位安全带(例如，张力、定位或其他调节)。作为附加示例，在各种实施例中，信息娱乐(例如，信息和/或娱乐)内容可以基于乘员的年龄来定制(例如，成人还是儿童喜欢的歌曲、表演和/或电影等)。作为进一步的示例，一个或多个其他车辆系统也可以基于乘员座位映射被控制和/或调整(例如，儿童锁、自动窗户等的控制)。
在各种实施例中，该过程然后在步骤238终止。
参考图3，提供了可结合图2的过程200使用的乘员座位映射的实现方式的图示。如图3所示，图表310示出了乘员座位映射的标识号312和座位占用的不同可能类别314。如图3所示，不同的类别314可包括(还包括其他可能的类别)：(i)第一类别316，代表“未被占用”座位的；(ii)第二类别318，代表“物体”(例如，无生命的)；(iii)第三类别320，代表“大体型成人”(例如，就成人的身高和/或体重而言)；(iv)第四类别322，表示“中体型成人”(例如，成人的身高和/或体重小于“大体型成人”)；(v)第五类别324，表示“小体型成人”(例如，成人的身高和/或体重小于“中体型成人”)；(vi)第六类别326，代表“大体型儿童”(例如，根据儿童的身高和/或体重)；(vii)第七类别328，代表“中体型儿童”(例如，儿童的身高和/或体重小于“大体型儿童”)；(viii)第八类别330，代表“小体型儿童”(例如，儿童的身高和/或体重小于“中体型儿童”)；以及(ix)第九类别，代表宠物(例如动物)。
图3中还描绘了特定车辆的乘员座位映射的不同示例性实现方式340、350和360。如图3所示：(i)第一实施方式340，其为每个车辆座位提供了每种类型的物体/乘员(或空缺)的图示以及来自图表310的数字标记；(ii)第二实现方式350，其为每个车辆座位提供具有来自图表310的每种类型的物体/乘员(或空缺)的数字标记的方框图；以及(iii)第三实施方式360，其为每个车辆座位提供简单的数字序列，该序列具有来自图表310的每种类型的物体/乘员(或空缺)的数字标记。在该特定车辆的该特定示例中，不同的示例性实施方式340、350、360各自描绘了：(i)大体型成人占据前驾驶员座位341；(ii)前排乘员座位342未被占用；(iii)中体型儿童占据后驾驶员侧座位343；(iv)物体占据后部中间座位344；以及(v)小体型成人占据后排乘员侧座位345。
图4是根据示例性实施例的图2的过程200的上述步骤(或子过程)232的流程图，包括基于视觉的乘员座位映射的生成，并且可以结合图1的车辆100实施。如图4所示，相机和/或距离传感器数据401(例如，来自图2的步骤230)被用于生成乘员的姿势(步骤402)。在各种实施例中，在步骤402期间，处理器142生成人类乘员的二维姿势。
同样在各种实施例中，获得关于已知人体比例的存储数据(步骤404)。在各种实施例中，平均尺寸和比例是从如图4所示的典型(或平均)骨架图403中获得的，包括一个或多个儿童的典型(或平均)骨架图403(a)、女性的典型(或平均)骨架图403(b)以及男性的典型(或平均)骨架图403(c)。
在各种实施例中，骨架图403是从存储在图1的存储器144中的存储值154中检索的。例如，在各种实施例中，骨架图403可经由先前的研究和/或测量和/或从公开可用的数据等生成。
在各种实施例中，生成启发式规则(步骤406)。在各种实施例中，图1的处理器142基于对应于骨架图403的各种测量结果生成启发式规则，用于确定车辆座位的人类乘员的年龄和体型，例如，基于来自不同年龄段的已知平均值，以及不同人类骨架参数的尺寸(例如，体重和身高)，人类骨架参数诸如人类上部躯干、头部、肩部和/或其他骨架部分的长度、宽度和/或配置，以及手臂和/或其他骨架部分的位置和/或各种骨架部分的相对比例。
同样在各种实施例中，执行骨架映射(步骤408)。在各种实施例中，处理器142根据步骤406的启发式规则提供步骤408的姿势的骨架映射。在各种实施例中，骨架映射包括人类乘员的上部躯干、头部、肩部和/或其他骨架部分的长度、宽度和/或配置的测量和/或估计，以及人类骨架的手臂和/或其他部分的位置和/或各种骨架部分的相对比例，用于与步骤406的启发式规则进行比较。
在各种实施例中，在步骤410期间，利用步骤408的骨架映射生成姿势乘员座位映射。在各种实施例中，姿势乘员座位映射由处理器142生成，并用于图2的步骤222和224的映射的姿势分量。下表显示了从姿势估计器获得的测量值和乘员类别之间的映射示例。
表1姿势估计器的测量值与乘员类别的映射
Figure BDA0003647617400000161
Figure BDA0003647617400000171
该表的扩展版本用于查找与不同测量值最匹配的类别。
图5是根据示例性实施例的图2的过程200的上述组合步骤(或子过程)235的流程图，包括基于语音的乘员座位映射的生成，并且可以结合图1的车辆100实施。如图5所示，音频传感器128(例如，车厢麦克风)从步骤234(上面结合图2描述的)采集音频数据，例如来自车辆座位上的乘员的语音话语。同样如图5中所描绘的以及上面关于图2所提到的，在各种实施例中，由处理器142针对乘员的音频/语音信号执行来源分离(步骤236)和特征提取(步骤238)。在某些实施例中，特征提取利用特征向量，并且可以包括例如声学信号的音调信息、梅尔频率倒谱系数(MFCC)、巴克频率倒谱系数(BFCC)、滤波器组能量、对数滤波器组能量线性预测(PLP)系数和/或频谱子带质心等。例如，MFCC系数是代表音频的频率系数，它是基于感知来模拟人耳的行为。它是从声音话语的傅立叶变换(FTT)或离散余弦变换(DCT)中导出的。FFT/DCT和MFCC之间的一个区别在于，在MFCC中，频带以对数方式定位(在梅尔mel标度上)，这比FFT或DCT的线性间隔频带更接近人类听觉系统的响应。在各种实施例中，这提供了改进的数据处理。
此外，在各种实施例中，提取的特征被合并到基于语音的年龄段聚类模型中(步骤502)。该模型可以使用k-均值、模糊C-均值、分层聚类、自组织映射(SOM)神经网络、高斯混合模型(GMM)或隐马尔可夫模型(HHM)来构建。例如，k-均值可以用作硬聚类方法，或者GMM可以用作软聚类技术。在各种实施例中，处理器142结合诸如GMM的聚类技术利用步骤238提取的特征，以便基于与不同年龄段和/或其他分类的语音话语的已知或预期特征或模式(例如，作为图1的存储器144的存储值154)的比较，对乘员的年龄和/或语音话语的其他特征进行分类。GMM为每个说话者的频谱特征建模。高斯混合密度被定义为多个高斯分量的总和。代表不同安静和噪声条件(不同信噪比水平的平稳和非平稳噪声)的训练数据被用于估计GMM模型参数。迭代期望最大化(EM)算法用于找到模型中使似然函数最大化的参数值。EM算法聚类高斯混合，并且添加的混合的平均值被用作匹配分数。说话人年龄段对应的最大匹配分数是算法的输出。在各种实施例中，在步骤504期间，处理器142利用步骤502的建模来生成图2的步骤222和224的映射的语音分量。
图6是根据示例性实施例的图2的过程200的上述组合步骤(或子过程)220的流程图，包括确认或改进乘员-座位映射中的乘员交互，并且可以结合图1的车辆100实施。如图6所示和以上结合图2所述，在步骤238产生初步的乘员座位映射并显示给用户。同样如图6所示和如上所述，在步骤230接收关于初步乘员座位映射的用户输入。
此外，在各种实施例中，如图6所示，在步骤602期间确定用户输入是否代表初步乘员座位映射的确认或改进。在各种实施例中，该确定由处理器142做出。在各种实施例中，如果在步骤602确定用户输入是初步乘员座位映射的确认，则在步骤604处理器142将初步乘员座位映射保持为乘员座位映射，并在图2的上述步骤234中用作最终乘员座位映射。相反，在各种实施例中，如果在步骤602确定用户输入是初步乘员座位映射的改进(或调整)，则在步骤606以用户输入中请求的方式改进(即调整)初步乘员座位映射以用作乘员座位映射，并在上述图2的步骤234中用作最终乘员座位映射。
因此，提供了方法、系统和车辆，用于生成车辆的乘员座位映射，并用于基于乘员座位映射控制车辆系统。在各种实施例中，来自多种不同类型的传感器模态的传感器数据被用于生成车辆的乘员座位映射，例如用于确定每个车辆座位是否被占用，以及如果被占用，该车辆座位是被物体、宠物还是人占用，以及人类乘员的年龄和体型(例如，在体重方面)。在各种实施例中，乘员座位映射用于调节各种车辆系统的控制，例如气囊展开、座位安全带调节、信息娱乐内容定制和/或其他系统控制。
应当理解，系统、车辆和方法可以不同于附图中所示和本文所述的那些。例如，图1的车辆100和控制系统102及其部件可以在不同的实施例中变化。将类似地意识到，过程200的步骤可以不同于图2所示的步骤，和/或过程200的各个步骤可以同时发生和/或以不同于图2所示的顺序发生。将类似地意识到，图3-6的各种实现方式和子处理器在各种实施例中也可以不同。
虽然在前面的详细描述中已经介绍了至少一个示例性实施例，但是应该理解还存在大量的变化。还应当理解，一个或多个示例性实施例仅仅是示例，并不旨在以任何方式限制本公开的范围、适用性或配置。相反，前面的详细描述将为本领域技术人员提供实施一个或多个示例性实施例的便利路线图。应当理解，在不脱离所附权利要求及其法律等同所阐述的本公开的范围的情况下，可以对元件的功能和布置进行各种改变。

Claims (10)

1.一种系统，包括：
一个或多个第一传感器，具有第一传感器模态，其被配置为获得与车辆的一个或多个座位的占用状态有关的第一传感器数据；
一个或多个第二传感器，具有不同于第一传感器模态的第二传感器模态，其被配置为获得与车辆的一个或多个座位的占用状态有关的第二传感器数据；和
处理器，其联接至所述一个或多个第一传感器和所述一个或多个第二传感器，并被配置为至少基于所述第一传感器数据和所述第二传感器数据的融合而促使确定所述车辆的一个或多个座位的占用状态。
2.根据权利要求1所述的系统，其中，所述一个或多个座位包括车辆的多个座位，并且所述处理器被配置为：
基于多个座位中的每一个的占用状态生成车辆的乘员座位映射；以及
基于该乘员座位映射提供用于控制一个或多个车辆系统的指令。
3.根据权利要求2所述的系统，其中，所述处理器被配置为基于所述第一传感器模态和所述第二传感器模态的不同初步映射生成所述乘员座位映射，其中，不同的权重被分配给所述不同初步映射中的每一个。
4.根据权利要求3所述的系统，其中，所述处理器被配置为：
为显示系统提供指令以向车辆用户显示乘员座位映射；以及
基于车辆用户提供的输入改进乘员座位映射。
5.根据权利要求1所述的系统，其中，所述第一和第二模态包括以下两种或多种：重量传感模态、视觉传感模态、距离传感模态、音频传感模态和生物传感模态。
6.根据权利要求1所述的系统，其中：
第一传感器模态包括重量传感模态；和
第二传感器模态包括视觉传感模态。
7.根据权利要求1所述的系统，进一步包括：
一个或多个第三传感器，具有不同于第一传感器模态和第二传感器模态的第三传感器模态，其被配置成获得与车辆的一个或多个座位的占用状态有关的第三传感器数据；
其中，所述处理器被配置成至少基于所述第一传感器数据、所述第二传感器数据和所述第三传感器数据的融合来促使确定所述车辆的一个或多个座位的占用状态。
8.根据权利要求7所述的系统，其中，所述第一、第二和第三模态包括以下三种或更多种：重量传感模态、视觉传感模态、距离传感模态、音频传感模态和生物传感模态。
9.根据权利要求7所述的系统，其中：
第一传感器模态包括重量传感模态；
第二传感器模态包括视觉传感模态；
第三传感器模态包括音频传感模态。
10.一种方法，包括：
经由具有第一传感器模态的一个或多个第一传感器获得与车辆的一个或多个座位的占用状态有关的第一传感器数据；
经由具有不同于第一传感器模态的第二传感器模态的一个或多个第二传感器获得与车辆的一个或多个座位的占用状态有关的第二传感器数据；和
基于第一传感器数据和第二传感器数据的融合，通过处理器确定车辆的一个或多个座位的占用状态。
CN202210539543.5A 2021-08-10 2022-05-17 用于安全和定制应用的多模态乘员座位映射 Pending CN115703420A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/444,824 US20230047872A1 (en) 2021-08-10 2021-08-10 Multimodal occupant-seat mapping for safety and personalization applications
US17/444,824 2021-08-10

Publications (1)

Publication Number Publication Date
CN115703420A true CN115703420A (zh) 2023-02-17

Family

ID=85040015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210539543.5A Pending CN115703420A (zh) 2021-08-10 2022-05-17 用于安全和定制应用的多模态乘员座位映射

Country Status (3)

Country Link
US (1) US20230047872A1 (zh)
CN (1) CN115703420A (zh)
DE (1) DE102022111331A1 (zh)

Also Published As

Publication number Publication date
US20230047872A1 (en) 2023-02-16
DE102022111331A1 (de) 2023-02-16

Similar Documents

Publication Publication Date Title
CN111741884B (zh) 交通遇险和路怒症检测方法
US11417121B1 (en) Apparatus, systems and methods for classifying digital images
US20030204384A1 (en) High-performance sensor fusion architecture
CN112655000B (zh) 车内用户定位方法、车载交互方法、车载装置及车辆
CN111507233B (zh) 一种多模态信息融合的智能车路面类型识别方法
CN109641562B (zh) 乘员概况分析系统
CN107554528B (zh) 驾乘人员的疲劳等级检测方法及装置、存储介质、终端
US20050201591A1 (en) Method and apparatus for recognizing the position of an occupant in a vehicle
Bernardi et al. Driver and Path Detection through Time‐Series Classification
CN111341349A (zh) 情绪推断装置、情绪推断方法、及存储介质
CN104025188A (zh) 声学信号修改
US11551279B2 (en) Systems and methods for making vehicle purchase recommendations based on a user preference profile
CN116194342A (zh) 用于分析车辆内部的计算机实现的方法
LU100925B1 (en) Removing noise caused by vehicular movement from sensor signals using Deep Neural Networks
CN113938855B (zh) 一种基于WiFi的驾驶人行为感知信号处理方法
CN115703420A (zh) 用于安全和定制应用的多模态乘员座位映射
CN114420293A (zh) 用于高效检索人格数据的技术
Devarakota et al. Occupant classification using range images
CN112829755B (zh) 通过乘员脚部位置压力分布识别乘员状态的系统与方法
CN113705543A (zh) 一种车内物品防遗忘监控方法、装置、设备及介质
US20230322173A1 (en) Method for automatically controlling vehicle interior devices including driver`s seat and apparatus therefor
KR20230106521A (ko) 차량 기능을 실행하기 위한 시스템 및 방법
Abut et al. Intelligent Vehicles and Transportation
Abut et al. Vehicle Systems and Driver Modelling: DSP, human-to-vehicle interfaces, driver behavior, and safety
KASHEVNIK et al. PERSONALIZED DANGEROUS SITUATION DETECTION IN VEHICLE CABINS USING SMARTPHONE SENSORS

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination