CN108664881A - 用于乘员感测的装置和方法 - Google Patents

用于乘员感测的装置和方法 Download PDF

Info

Publication number
CN108664881A
CN108664881A CN201810214869.4A CN201810214869A CN108664881A CN 108664881 A CN108664881 A CN 108664881A CN 201810214869 A CN201810214869 A CN 201810214869A CN 108664881 A CN108664881 A CN 108664881A
Authority
CN
China
Prior art keywords
occupant
image
reflecting surface
sensing
imaging sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810214869.4A
Other languages
English (en)
Inventor
E·拉斐尔
A·利普森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN108664881A publication Critical patent/CN108664881A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/654—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/20—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors for lighting specific fittings of passenger or driving compartments; mounted on specific fittings of passenger or driving compartments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q3/00—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors
    • B60Q3/70—Arrangement of lighting devices for vehicle interiors; Lighting devices specially adapted for vehicle interiors characterised by the purpose
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01534—Passenger detection systems using field detection presence sensors using electromagneticwaves, e.g. infrared
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/188—Displaying information using colour changes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/31—Virtual images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/60—Structural details of dashboards or instruments
    • B60K2360/68—Features of instruments
    • B60K2360/695—Dial features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1223—Mirror assemblies combined with other articles, e.g. clocks with sensors or transducers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Electromagnetism (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)

Abstract

提供了一种用于对乘员进行成像的方法和装置。该装置包括反射表面；配置为捕捉反射表面的图像的成像传感器；以及配置为处理所捕捉的图像并且基于所捕捉的图像来进行控制以执行功能的控制器。该方法和装置可以在车辆中实施以检测乘员移动和行为。

Description

用于乘员感测的装置和方法
背景技术
根据示例性实施例的装置和方法涉及乘员感测系统。更具体地，根据示例性实施例的装置和方法涉及基于车辆的乘员感测系统。
发明内容
一个或多个示例性实施例提供了感测车辆乘员的方法和装置。更具体地，一个或多个示例性实施例提供了通过对反射表面进行成像来感测乘员移动、位置、状态和/或行为的方法和装置。
根据示例性实施例的一个方面，提供了一种感测乘员的装置。该装置包括：反射表面；配置为捕捉反射表面的图像的成像传感器；以及配置为处理所捕捉的图像并且基于所捕捉的图像来进行控制以执行功能的控制器。
反射表面可以是玻璃表面。此外，反射表面可以是挡风玻璃、仪表盘透镜、A柱装饰板、仪表板和气囊盖板中的至少一个。
成像传感器可以包括捕捉反射表面的红外图像的红外传感器。
该装置可以包括配置为照亮车辆的乘员的照明设备。
控制器可以基于由成像传感器捕捉的图像来控制照明设备照亮车辆的乘员。
照明设备可以包括红外照明器。
照明设备可以安装在转向柱、仪表板或顶篷中。
反射表面可以包括配置为反射红外光的涂层。此外，反射表面可以透射可见光。
乘员感测装置可以安装在车辆中。
成像传感器可以安装在转向柱、仪表板、立柱或顶篷中。
控制器可以配置为分析图像以确定乘员的姿势、乘员注视的方向、乘员的面部跟踪以及乘员的运动中的至少一个。
根据示例性实施例的一个方面，提供了一种用于感测车辆的乘员的方法。该方法包括照亮对象，通过对反射表面进行成像来捕捉对象的图像，以及基于所捕捉的图像执行功能。
照亮对象可以包括基于所捕捉的图像调整对象的照明。
执行功能可以包括分析所捕捉的图像以确定对象的姿势、对象注视的方向、对象的面部跟踪以及对象的运动中的至少一个。
照亮对象可以包括用红外光照亮对象。
反射表面可以包括配置为反射红外光的涂层。
反射表面可以包括挡风玻璃、仪表盘透镜、A柱装饰板、仪表板和气囊盖板中的至少一个。
捕捉图像可以包括捕捉反射表面的红外图像。
通过以下对示例性实施例的详细描述以及附图，示例性实施例的其他目的、优点和新颖特征将变得更加明显。
附图说明
图1示出了根据示例性实施例的感测乘员的装置的框图；
图2示出了根据示例性实施例的感测对象的方法的流程图；
图3示出了根据示例性实施例的一个方面的感测车辆的乘员的装置的图；以及
图4示出了根据示例性实施例的一个方面的与直接捕捉图像相比感测车辆的乘员的装置所捕捉的图像的示例。
具体实施方式
现在将参考附图中的图1至图4来详细描述感测车辆的乘员的装置和方法，其中相同的附图标记始终表示相同的元件。
以下的公开内容将使本领域技术人员能够实践本发明构思。然而，这里公开的示例性实施例仅仅是示例性的，并不将本发明构思限制于这里描述的示例性实施例。此外，通常应当将每个示例性实施例的特征或方面的描述视为可用于其他示例性实施例的方面。
还应理解的是，当在此处陈述的是第一元件“连接到”、“附接到”、“形成在”或“设置在”第二元件上时，第一元件可以直接连接到、直接形成在或者直接设置在第二元件上，或者可以在第一元件与第二元件之间存在有中间元件，除非陈述了第一元件“直接”连接到、附接到、形成在或设置在第二元件上。此外，如果第一元件配置为从第二元件“发送”或“接收”信息，则第一元件可以直接向第二元件发送或从第二元件接收信息、通过总线发送或接收信息、通过网络发送或接收信息或者通过中间元件发送或接收信息，除非指示第一元件“直接”向第二元件发送信息或从第二元件接收信息。
在整个本公开中，可以将所公开的一个或多个元件组合成单个设备或组合成一个或多个设备。另外，可以在分开的设备上提供单独的元件。
车辆可以包括配置为检测事件并收集执行车辆功能所需的信息的多个传感器。其中一些传感器是设计成收集与乘员有关的信息，以便例如检测乘员的存在、乘员的运动以及乘员的位置。一种这样的传感器是面向车辆的乘员或操作者的成像传感器或相机。可以度来自相机的图像数据进行分析，以检测出车辆的乘员或操作者的面部表情、移动、姿势、位置和/或存在。然而，由于空间是有限的并且在相机视野上存在有障碍物，因此，将相机放置在适当位置以捕捉乘员的图像具有一定难度。
解决上述问题的一种方法是捕捉诸如车辆的乘员或操作者之类的对象的反射图像。由于可以从其上捕捉反射的表面有很多，因此，用于放置成像传感器(如相机)以捕捉反射图像的位置的数量也有所增多。因此，在捕捉乘员的图像以及基于图像或从图像得出的信息来执行功能这些方面具有更大的灵活性。
图1示出了根据示例性实施例的感测乘员的装置100的框图。如图1所示，根据示例性实施例的感测乘员的装置100包括控制器101、电源102、存储装置103、输出104、照明设备105、用户输入106、成像传感器107以及通信设备108。然而，感测乘员的装置100并不局限于上述配置，并且可以配置为包括其他元件和/或省略一个或多个前述元件。感测乘员的装置100可以实施为车辆的一部分，实施为独立部件，实施为车载设备与车外设备之间的混合物或者实施在另一个计算设备中。
控制器101控制感测乘员的装置100的整体操作和功能。控制器101可以控制感测乘员的装置100的存储装置103、输出104、照明设备105、用户输入106和通信设备108中的一个或多个。控制器101可以包括处理器、微处理器、中央处理单元(CPU)、图形处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、电路以及硬件、软件和固件组件的组合中的一个或多个。
控制器101可以配置为从感测乘员的装置100的存储装置103、输出104、照明设备105、用户输入106、成像传感器107和通信设备108中的一个或多个发送和/或接收信息。该信息可以经由总线或网络发送和接收，或者可以从感测乘员的装置100的存储装置103、输出104、用户输入106和通信设备108中的一个或多个中直接读取或写入到其中。合适的网络连接的示例包括控制器区域网络(CAN)、面向媒体的系统传输(MOST)、本地互连网络(LIN)、局域网(LAN)，诸如蓝牙和802.11等无线网络以及诸如以太网等其他适当连接。
电源102向感测乘员的装置100的控制器101、存储装置103、输出104、照明设备105、用户输入106、成像传感器107和通信设备108中的一个或多个提供电力。电源102可以包括电池、插座、电容器、太阳能电池、发电机、风能设备、交流发电机等中的一个或多个。
存储装置103配置为存储信息并检索由感测乘员的装置100使用的信息。存储装置103可以由控制器101控制来存储和检索从照明设备105接收的信息。该信息可以包括信息和/或由成像传感器107拍摄的一个或多个图像。另外，存储装置103还可以包括配置为由处理器执行以执行感测乘员的装置100的功能的计算机指令。
存储装置103可以包括软盘、光盘、CD-ROM(光盘只读存储器)、磁光盘、ROM(只读存储器)、RAM(随机存取存储器)、EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪存存储器、高速缓冲存储器以及其他类型的适用于存储机器可执行指令的介质/机器可读介质中的一个或多个。
输出104以一种或多种形式输出信息，包括：视觉、听觉和/或触觉形式。输出104可以由控制器101控制来向感测乘员的装置100的用户提供输出。输出104可以包括扬声器、音频、显示器、位于中央的显示器、平视显示器、挡风玻璃显示器、触觉回馈设备、振动设备、触觉反馈设备、轻触反馈设备、全息显示器、仪表灯、仪表板显示器、中控台显示器、后视镜显示器、侧视镜显示器、指示灯等中的一个或多个。
根据一个示例，输出104可以是中控台显示器、仪表板显示器或平视显示器中的一个或多个。输出104可以配置为基于对来自成像传感器107的图像所进行的分析来输出一个或多个消息或通知。通知可以采用一种或多种形式，例如声音通知、灯光通知和显示通知。
用户输入106配置为向感测乘员的装置100提供信息和命令。用户输入106可以用于向控制器101提供用户输入等。用户输入106可以包括触摸屏、键盘、软键盘、按钮、运动检测器、语音输入检测器、麦克风、相机、轨迹板、鼠标、触摸板等中的一个或多个。用户输入106可以配置为接收用户输入以确认或取消输出104所输出的通知。
照明设备105可以是灯、红外照明器等中的一个或多个。照明设备105可以位于转向柱、仪表板、立柱或顶篷中。另外，照明设备105可以配置为照亮车辆的对象或乘员。具体地，照明设备105可以基于由成像传感器107所捕捉的图像来调节照明度。
成像传感器107可以是相机、红外相机或夜视相机中的一个或多个。成像传感器107可以位于转向柱、仪表板、立柱或顶篷中。成像传感器107可以配置为捕捉反射表面的红外图像或其他图像。
通信设备108可以由感测乘员的装置100用来根据各种通信方法与各种类型的外部装置进行通信。通信设备108可以用于向成像设备107发送图像信息以及从成像设备107接收图像信息。照明设备105和/或成像传感器107可以经由通信设备108向控制器发送命令和/或信息以及从控制器接收命令和/或信息。另外，通信设备108可以将图像信息发送到输出104，以便在感测乘员的装置100的显示器上输出。
根据一个示例，通信设备可以用于将信息从感测乘员的装置100提供到其他设备。此信息可以包括乘员的状态、乘员的位置、乘员的眼睛注视方向、乘员是否感到困倦、乘员的位置、乘员的移动、乘员头部的位置、或者乘员的手臂、腿、脚、手、手指或其他肢体的位置。
通信设备108可以包括各种通信模块，例如远程信息处理单元、广播接收模块、近场通信(NFC)模块、GPS接收器、有线通信模块或无线通信模块中的一个或多个。广播接收模块可以包括地面广播接收模块，其包括用于接收地面广播信号的天线、解调器和均衡器等。NFC模块是根据NFC方法与位于附近的外部装置进行通信的模块。GPS接收器是从GPS卫星接收GPS信号并检测当前位置的模块。有线通信模块可以是通过诸如局域网、控制器区域网络(CAN)或外部网络等有线网络来接收信息的模块。无线通信模块是通过使用无线通信协议(诸如IEEE 802.11协议、WiMAX、Wi-Fi或IEEE通信协议)来连接到外部网络并与该外部网络进行通信的模块。无线通信模块还可以包括移动通信模块，此模块访问移动通信网络并根据各种移动通信标准(诸如第三代(3G)、第三代合作伙伴计划(3GPP)、长期演进(LTE)、蓝牙、EVDO、CDMA、GPRS、EDGE或ZigBee)来执行通信。
根据一个示例，感测乘员的装置100的控制器101可以配置为控制成像传感器以捕捉反射表面的图像，处理所捕捉的图像并基于所捕捉的图像来进行控制以执行功能。
感测乘员的装置100的控制器101可以配置为基于由成像传感器捕捉的图像来控制照明设备照亮车辆的乘员。另外，感测乘员的装置100的控制器101可以配置为分析图像以确定乘员的姿势、乘员注视的方向、乘员的面部跟踪和乘员的动作中的至少一个。
图2示出了根据示例性实施例的感测对象的方法的流程图。图2的方法可以由感测乘员的装置100执行，或者可以编码到计算机可读介质中作为可由计算机执行以执行该方法的指令。
参考图2，在操作210中可以照亮对象。例如，红外照明设备可以向对象发出红外光。
在操作S220中，成像传感器捕捉对象的反射图像。例如，红外成像传感器可以从车辆的挡风玻璃或其他表面捕捉对象的反射图像。
在操作S230中，控制器可以基于所捕捉的图像来进行控制以执行功能。例如，控制器可以调节由照明设备向对象发出的光。在另一示例中，控制器可以基于对所捕捉的图像的分析来进行控制以执行车辆的功能。对所捕捉的图像的分析可以确定乘员的姿势、乘员注视的方向、乘员的面部跟踪以及乘员的运动中的一个或多个。
图3示出了根据示例性实施例的一个方面的感测车辆的乘员的装置的视图。图3的图示示出了感测乘员的装置的示例性设置。
参考图3，车辆的操作者301位于车辆的方向盘305后方。挡风玻璃304反射操作者301的图像。挡风玻璃304是反射表面的一个示例。然而，反射表面可以是挡风玻璃、仪表盘透镜、A柱装饰板、仪表板、玻璃表面、塑料表面和气囊盖板中的一个或多个。此外，反射表面可以具有配置为反射红外光的涂层。例如，反射表面可以是对红外光谱或可见光谱进行反射的反射涂层可以施加在其上的任何表面。
照明设备302可以放置在仪表板307或其他合适的位置上，并且可以照亮车辆的操作者301。例如，照明设备302可以向操作者301发出红外光。所发出的光增强了挡风玻璃304中的反射，并且同样存在于仪表板307中的成像传感器303可以捕捉来自挡风玻璃304的反射图像。可以通过红外成像来捕捉由成像传感器303捕捉的图像。控制器(未示出)可以控制成像传感器303和照明设备302的操作。
图4示出了根据示例性实施例的一个方面的与直接捕捉图像相比感测车辆的乘员的装置所捕捉的图像的示例。参考图4，第一图像401示出了通过直接成像捕捉的对象的图像。第二图像402是通过对对象的反射进行成像而捕捉的对象的图像。可以看出，直接成像图像401比反射图像402要清晰得多。
由示例性实施例捕捉的第三图像403比第二图像402更清晰，并且几乎与直接成像图像401一样清晰和详细。此图像的清晰度使得能够使用反射成像来产生图像，而所产生的图像可以用于基于对图像或图像中对象的动作的分析来执行功能。
根据图4所示的示例，面部特征404以及其他特征可以在第三图像中检测到并且可以用于确定对象的面部表情和/或对象的注视。对第三图像403或面部表情404的分析可以用于基于第三图像403来执行功能。
这里公开的过程、方法或算法可以传送给/由处理设备、控制器或计算机执行，其可以包括任何现有的可编程电子控制设备或专用电子控制设备。类似地，过程、方法或算法可以作为可由控制器或计算机以多种形式执行的数据和指令进行存储，所述形式包括但不限于永久存储在不可写存储介质(诸如ROM设备)上的信息以及可更改地存储在可写存储介质(诸如软盘、磁带、CD、RAM设备以及其他磁性和光学介质)上的信息。过程、方法或算法也可以在软件可执行对象中实现。或者，过程、方法或算法可以使用合适的硬件部件来整体地或部分地体现，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、控制器或其他硬件组件或设备、或者硬件、软件和固件组件的组合。
以上已参照附图描述了一个或多个示例性实施例。上面描述的示例性实施例应该仅被认为是描述性的，而不是为了限制的目的。而且，可以在不脱离由以下权利要求限定的本发明构思的精神和范围的情况下对示例性实施例进行修改。

Claims (10)

1.一种感测乘员的装置，所述装置包括：
反射表面；
配置为捕捉所述反射表面的图像的成像传感器；以及
配置为处理所述所捕捉的图像并且基于所述所捕捉的图像来进行控制以执行功能的控制器。
2.根据权利要求1所述的装置，其中所述反射表面包括玻璃表面。
3.根据权利要求1所述的装置，其中所述反射表面包括挡风玻璃、仪表盘透镜、A柱装饰板、仪表板和气囊盖板中的至少一个。
4.根据权利要求1所述的装置，其中所述成像传感器包括捕捉所述反射表面的红外图像的红外传感器。
5.根据权利要求1所述的装置，还包括配置为照亮所述车辆的乘员的照明设备。
6.根据权利要求5所述的装置，其中所述控制器基于由所述成像传感器捕捉的所述图像来控制所述照明设备照亮所述车辆的所述乘员。
7.根据权利要求6所述的装置，其中所述照明设备包括红外照明器。
8.根据权利要求7所述的装置，其中所述照明设备安装在转向柱、仪表板或顶篷中。
9.根据权利要求1所述的装置，其中所述反射表面包括配置为反射红外光的涂层。
10.根据权利要求1所述的装置，其中所述反射表面透射可见光。
CN201810214869.4A 2017-03-27 2018-03-15 用于乘员感测的装置和方法 Pending CN108664881A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/470204 2017-03-27
US15/470,204 US20180272978A1 (en) 2017-03-27 2017-03-27 Apparatus and method for occupant sensing

Publications (1)

Publication Number Publication Date
CN108664881A true CN108664881A (zh) 2018-10-16

Family

ID=63450373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810214869.4A Pending CN108664881A (zh) 2017-03-27 2018-03-15 用于乘员感测的装置和方法

Country Status (3)

Country Link
US (1) US20180272978A1 (zh)
CN (1) CN108664881A (zh)
DE (1) DE102018106552A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3757615A1 (en) * 2019-06-28 2020-12-30 Infineon Technologies AG Method for determining distance information of an object using a time of flight system and time of flight system
DE102021212047A1 (de) 2021-10-26 2023-04-27 Robert Bosch Gesellschaft mit beschränkter Haftung Beleuchtungsvorrichtung für eine Beobachtungsvorrichtung für ein Fahrzeug

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104670091A (zh) * 2013-12-02 2015-06-03 现代摩比斯株式会社 利用投影单元的增强现实车道变更辅助系统
US20150294169A1 (en) * 2014-04-10 2015-10-15 Magna Electronics Inc. Vehicle vision system with driver monitoring

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009136551A (ja) * 2007-12-07 2009-06-25 Denso Corp 車両用顔特徴量検出装置及び顔特徴量検出方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104670091A (zh) * 2013-12-02 2015-06-03 现代摩比斯株式会社 利用投影单元的增强现实车道变更辅助系统
US20150294169A1 (en) * 2014-04-10 2015-10-15 Magna Electronics Inc. Vehicle vision system with driver monitoring

Also Published As

Publication number Publication date
DE102018106552A1 (de) 2018-09-27
US20180272978A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
US11488366B2 (en) Augmented reality lighting effects
JP6042555B2 (ja) 低ルクス及び高ルクス条件における物体認識
CN105247414B (zh) 影像投射装置
US20160063327A1 (en) Wearable Device To Display Augmented Reality Information
CN109788174B (zh) 一种补光方法及终端
KR101879334B1 (ko) 근접 센서 및 이의 제어 방법
EP3640070B1 (en) Apparatus for in-vehicle impairment detection with driver verification
KR20130107981A (ko) 시선 추적 장치 및 방법
AU2006252382A2 (en) Method and apparatus for displaying properties onto an object or life form
CN105564343A (zh) 用于连接移动照相机装置的装置和方法
CN108664881A (zh) 用于乘员感测的装置和方法
US11335090B2 (en) Electronic device and method for providing function by using corneal image in electronic device
US10268216B2 (en) Method and system for providing position or movement information for controlling at least one function of an environment
US20200150758A1 (en) Display device, learning device, and control method of display device
CN105323539A (zh) 车用安全系统及其操作方法
CN111684394A (zh) 视线检测装置、所述视线检测装置的控制方法、角膜反射像位置的检测方法、计算机程序以及存储介质
KR20190054727A (ko) 스마트 미러 디바이스 및 그 제어 방법
KR101636429B1 (ko) 생체정보 인증 처리 시스템
CN114779920A (zh) 一种基于生物识别的全车窗手势控制系统及其控制方法
CN215987334U (zh) 一种获取皮肤纹路图像的模组以及电子设备
CN113405674B (zh) 体温测量方法及摄像设备
CN110758237A (zh) 电子装置及行车安全提醒方法
JPH11338615A (ja) 画像処理による注視点検出手段を利用した車載システム
KR20190048944A (ko) 지문 영상 획득 방법 및 이를 지원하는 전자 장치
CN117382391A (zh) 玻璃透光率的调节方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181016

WD01 Invention patent application deemed withdrawn after publication