CN114697596A - 用于监视车辆中的乘客并检测乘客活动的相机系统 - Google Patents

用于监视车辆中的乘客并检测乘客活动的相机系统 Download PDF

Info

Publication number
CN114697596A
CN114697596A CN202111619848.9A CN202111619848A CN114697596A CN 114697596 A CN114697596 A CN 114697596A CN 202111619848 A CN202111619848 A CN 202111619848A CN 114697596 A CN114697596 A CN 114697596A
Authority
CN
China
Prior art keywords
activity
vehicle
image data
occupant
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111619848.9A
Other languages
English (en)
Inventor
永田勝己
中川真志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Engineering and Manufacturing North America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Engineering and Manufacturing North America Inc filed Critical Toyota Motor Engineering and Manufacturing North America Inc
Publication of CN114697596A publication Critical patent/CN114697596A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/65—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive
    • B60K35/656—Instruments specially adapted for specific vehicle types or users, e.g. for left- or right-hand drive the user being a passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/29—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area inside the vehicle, e.g. for viewing passengers or cargo
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3605—Destination input or retrieval
    • G01C21/3617—Destination input or retrieval using user history, behaviour, conditions or preferences, e.g. predicted or inferred from previous use or current movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G06V40/176—Dynamic expression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/164—Infotainment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/176—Camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/21—Optical features of instruments using cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/741—Instruments adapted for user detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B60R2300/8013—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo for child monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Social Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Traffic Control Systems (AREA)
  • Emergency Alarm Devices (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请涉及用于监视车辆中的乘客并检测乘客活动的相机系统。公开了用于监视系统的方法、系统和装置。监视系统包括被配置为存储图像数据的存储器和被配置为捕获包括车辆内的乘客的活动的第一图像数据的第一相机。电子控制单元被配置为从第一相机获得包括乘客的第一图像数据、基于第一图像数据确定乘客的活动，以及确定乘客的活动将与乘客的基线活动不同。电子控制单元被配置为在确定乘客的活动将与基线活动不同之前和之后的时间段内在存储器中并使用相机记录和捕获第一图像数据。

Description

用于监视车辆中的乘客并检测乘客活动的相机系统
技术领域
本公开涉及监视车辆中的乘客的活动，以及检测、预测和记载活动的任何变化。
背景技术
当用车辆行驶时，驾驶员通常看不到车辆的后舱。在某些情况下，即使通过后视镜，车辆的乘客也可能完全不在驾驶员的视线内。例如，2岁以下的婴儿或小孩可能坐在车辆后排的面向后的汽车座椅上。为了监视孩子，驾驶员可以在汽车座椅前设置一面镜子，并使用车辆的后视镜看到孩子。但是，这种布置受到镜子定位和尺寸的限制，且只能看到车舱的一小部分。在一些情况下，驾驶员可能还想监视车辆中的其它年轻乘客、车辆中的宠物或其它动物、和/或车辆中驾驶员使用镜子系统可能看不到的易碎物品。此外，驾驶员可能希望在乘客的某个活动发生之前预见它，或者观察在车辆外部发生的已由乘客触发的某个动作的事件。类似地，随着全自主车辆的发展，个人可能希望在车辆的乘客没有在车辆中出现时对其进行监视。此外，如果婴儿或动物乘客遇险，或者易碎物品变得不安全或翻倒，听力受损的驾驶员可能不会收到警报。
因此，需要一种用于安全地预见、预测和/或报告车辆内和车辆周围的乘客的活动的系统和方法。
发明内容
一般而言，本公开中描述的主题的一个方面可以在用于车辆的监视系统中实施。监视系统包括第一相机，该第一相机被配置为捕获包括车辆中的一个或多个乘客的第一图像数据。监视系统包括被配置为存储图像数据的存储器。监视系统包括耦合到第一相机和存储器的电子控制单元。电子控制单元被配置为从第一相机获得包括所述一个或多个乘客的第一图像数据。电子控制单元被配置为基于第一图像数据确定所述一个或多个乘客中的每个乘客的活动。活动是运动和面部表情中的一个或多个。电子控制单元被配置为确定所述一个或多个乘客中的每个乘客的活动将与所述一个或多个乘客中的每个乘客的基线(baseline)活动不同。电子控制单元被配置为在确定所述一个或多个乘客中的每个乘客的活动将与基线活动不同之前和之后的时间段内，在存储器中并使用第一相机记录和捕获第一图像数据。
这些和其它实施例可以可选地包括以下特征中的一个或多个。第一相机可以包括一个或多个内部相机。一个或多个内部相机可以被配置为捕获车辆内部的不同视图。
电子控制单元可以包括输出设备。输出设备可以被配置为响应于确定所述一个或多个乘客中的至少一个乘客的活动与基线活动不同，向输出设备的用户通知活动正在发生。输出设备可以包括一个或多个显示器。电子控制单元可以被配置为通过在输出设备上显示与活动对应的图标来向输出设备的用户通知活动正在发生。电子控制单元可以被配置为通过在输出设备上显示来自所述一个或多个内部相机的实况视频来向输出设备的用户通知活动正在发生。一个或多个显示器可以包括车辆显示器，车辆显示器包括位于车辆的前舱中的平视显示器、多信息显示器和车载信息娱乐显示器中的一个或多个。所述一个或多个显示器可以包括位于移动设备上的移动显示器。移动显示器可以位于远离车辆的位置。
监视系统还可以包括用户界面，该用户界面被配置为接收来自用户的命令以在所述一个或多个显示器上显示来自所述一个或多个内部相机的实况视频图像。
监视系统还可以包括第二相机。第二相机可以包括一个或多个外部相机，该一个或多个外部相机被配置为捕获车辆外部的周围环境的视图。用户界面可以被配置为接收来自用户的命令以在所述一个或多个显示器上显示来自所述一个或多个外部相机的实况视频图像。
监视系统还可以包括导航单元。导航单元可以被配置为获得导航地图信息，包括实体的分配和车辆的当前位置。电子控制单元可以被配置为当监视系统确定所述一个或多个乘客中的至少一个乘客的活动正在发生时向用户通知到实体的路线。
在另一方面，该主题可以实施在用于车辆的监视系统中。该监视系统包括第一相机。第一相机被配置为捕获包括车辆中的乘客的第一图像数据。监视系统包括被配置为存储图像数据的存储器。监视系统包括耦合到第一相机和存储器的电子控制单元。电子控制单元被配置为从第一相机获得包括该乘客的第一图像数据。电子控制单元被配置为确定该乘客的基线活动。电子控制单元被配置为基于第一图像数据确定该乘客的活动。电子控制单元被配置为确定该乘客的活动将与乘客的基线活动不同。电子控制单元被配置为在确定乘客的活动将与基线活动不同之前和之后的时间段内，在存储器中并使用第一相机记录和捕获第一图像数据。
电子控制单元可以被配置为观察乘客的活动。电子控制单元可以被配置为确定与乘客的活动相关联的运动模式和面部表情。电子控制单元可以被配置为确立以最频繁发生的乘客的活动是乘客的基线活动。监视系统可以包括被配置为接收来自用户的数据输入的用户界面。电子控制单元可以被配置为接收来自用户的数据输入，该数据输入用乘客的基线活动分配乘客的运动模式和面部表情。
在另一方面，该主题可以实施为一种用于向输出设备的用户通知车辆内的乘客的活动的方法。该方法包括由处理器并从第一相机获得包括乘客的车辆的车舱的第一图像数据。该方法包括由处理器确定乘客在车辆的车舱内的活动。该方法包括由处理器确定乘客的活动将与乘客的基线活动不同。该方法包括由处理器并使用第一相机在存储器中记录和存储第一图像数据。该方法包括由处理器将第一图像数据发送到输出设备，从而向用户通知乘客的活动。记录第一图像数据的步骤可以包括在确定乘客的活动将与基线活动不同的步骤之前和之后的时间段内记录第一图像数据。该方法还可以包括从第二相机并由处理器获得车辆外部的周围环境的第二图像数据。该方法还可以包括由处理器并使用第二相机在存储器中记录和存储第二图像数据。该方法还可以包括在确定乘客的活动将与乘客的基线活动不同之后，由处理器将第二图像数据发送到输出设备。记录第二图像数据的步骤可以包括在确定乘客的活动将与基线活动不同之前和之后的时间段内记录第二图像数据。
附图说明
本领域技术人员在检查以下各图和详细描述后将清楚本发明的其它系统、方法、特征和优点。附图中所示的部件不一定按比例绘制，并且可能被夸大以更好地说明本发明的重要特征。
图1是根据本发明的一个方面的示例监视系统的框图。
图2是根据本发明的一个方面使用图1的监视系统捕获图像数据以预测和/或检测活动的示例过程的流程图。
图3是根据本发明的一个方面使用图1的监视系统检测或预测活动并采取动作的示例过程的流程图。
图4是根据本发明的一个方面使用图1的监视系统生成、确立或以其它方式确定乘客的基线活动的示例过程的流程图。
图5示出了根据本发明的一个方面的图1的监视系统的一个或多个内部相机在车辆内的定位的示例图解。
图6示出了根据本发明的一个方面的图1的监视系统的一个或多个外部相机在车辆上的定位的示例图解。
图7示出了根据本发明的一个方面的图1的监视系统的输出设备在车辆内的示例图解。
具体实施方式
本文公开了用于监视车辆内部的乘客并检测车辆内部的乘客的某些活动的系统、车辆和方法。可以实施本公开中描述的主题的特定实施例以实现以下优点中的一个或多个。监视系统包括车辆内的内部相机，用于捕获实况视频图像并将图像传输到电子控制单元(例如，车载信息娱乐(IVI)系统等)。电子控制单元将在实况视频馈送上运行经训练的边缘计算人工智能(AI)算法，以识别乘客的类型，例如婴儿、小孩、宠物或易碎物品，并且当检测到某些乘客活动时，将诸如实况视频图像和/或通知图标之类的数据发送到多信息显示器(MID)、平视显示器(HUD)、IVI显示器和/或其它用户设备。
监视系统使用AI，包括机器算法学习，以及模型来及时地预见、预测或以其它方式确定乘客的特定活动(“活动”)何时发生或将要发生。通过预见、预测或以其它方式确定活动何时发生或将要发生，监视系统主动预见活动并且可以采取行动来报告或以其它方式记录或记载活动。例如，如果乘客遇险，例如哭泣或窒息的婴儿，如果宠物或其它动物处于兴奋状态，或者如果物品移动到可能损坏物品的位置或车辆内部，那么监视系统可以提醒用户。监视系统可以从活动或情况的每个实例中学习。
监视系统在活动发生之前、之后和期间捕获和记录图像数据，以完整记载活动周围的情况。此外，监视系统可以由用户手动激活以在任何时间，诸如在红灯时，或在车辆临时停车时查看车辆内部的实况实时视频。
图1是监视系统100的框图。监视系统100可以被改装、耦合到、包括或被包括在车辆102内。监视系统100还可以耦合、连接到或包括外部数据库104。监视系统100可以连接到将外部数据库104与车辆102链接的网络106。网络106可以是在车辆102和外部数据库104之间连接、耦合和/或以其它方式通信的局域网(LAN)、广域网(WAN)、蜂窝网络、互联网或它们的组合。
监视系统100监视车辆的乘客并检测、识别、预测和/或预见在车辆102内发生和/或可能在不久的将来发生的活动。监视系统100可以刚好在活动之前激活，并在活动发生之前、期间和之后记录和捕获图像数据。监视系统100可以使用包括机器学习算法的人工智能来预测活动何时将要或已经发生。监视系统可以耦合、连接到或包括内部边缘计算设备118，用于在车辆102的位置处进行快速且高效的处理。内部边缘计算设备可以包括中央处理单元(CPU)、图形处理单元(GPU)、张量处理单元(TPU)、神经处理单元(NPU)等中的一个或多个。边缘计算设备118可以包括关系数据库或行为模型数据库，其提供不同对象或个体的正常运动和/或特征的模型。边缘计算设备118可以被实时更新和/或提供更新。边缘计算设备118可以将模型存储到和/或提供给ECU 108。
监视系统100可以包括或被改装或以其它方式与车辆102耦合。车辆102是能够运输人、物体或永久或临时固定的装置的交通工具。车辆102可以是自驱动轮式交通工具，诸如汽车、运动型多功能车、卡车、公共汽车、货车或其它马达、电池或燃料电池驱动的车辆。例如，车辆102可以是电动车辆、混合动力车辆、氢燃料电池车辆、插电式混合动力车辆或具有燃料电池堆、马达和/或发电机的任何其它类型的车辆。车辆的其它示例包括自行车、火车、飞机或船舶，以及能够运输的任何其它形式的交通工具。车辆102可以是半自主的或自主的。即，车辆102可以在没有人工输入的情况下自动操纵和导航。自主车辆可以具有和使用一个或多个传感器和/或导航单元来自主驾驶。
监视系统100包括一个或多个处理器，诸如电子控制单元(ECU)108和存储器110。监视系统100可以包括其它部件，诸如导航单元112、包括一个或多个内部相机116a、一个或多个外部相机116b的一个或多个传感器114、网络接入设备120、用户界面122和输出设备124。监视系统100还可以包括其它传感器136，诸如车速传感器和接近传感器。监视系统100还可以耦合、连接到和/或包括一个或多个车辆部件，诸如马达和/或发电机126、引擎128、电池130、变速器132和/或电池管理控制单元(BMCU)134。
ECU 108可以被实现为单个ECU或多个ECU。ECU 108可以电耦合到车辆102内的一些或所有其它部件，诸如马达和/或发电机126、变速器132、引擎128、电池130、电池管理控制单元(BMCU)134、存储器110、网络接入设备120和/或一个或多个传感器114。ECU108可以包括专门设计用于预测车辆102内的活动的一个或多个处理器或控制器。ECU 108可以生成预测模型并使用机器学习算法在活动发生之前预见活动。
ECU 108可以分析车辆102的内部环境并将数据与基线进行比较和/或将数据输入到模型中以预见、预测或以其它方式确定环境内的任何活动。如果活动被预测或以其它方式被检测到，那么ECU 108可以用于记录、记载、提供或以其它方式用于减轻活动的后果。ECU108可以耦合到存储器110并且执行存储在存储器110中的指令。
存储器110可以耦合到ECU 108并存储ECU 108执行的指令。存储器110可以包括随机存取存储器(RAM)或其它易失性或非易失性存储器中的一个或多个。存储器110可以是非暂态存储器或数据存储设备，诸如硬盘驱动器、固态盘驱动器、混合盘驱动器或其它合适的数据存储装置，并且还可以存储可由ECU 108加载和执行的机器可读指令。此外，存储器110可以用于在活动发生之前、之后和/或期间记录和存储图像数据以记载活动。
监视系统100可以包括用户界面122。监视系统100可以在用户界面122上显示一个或多个通知。当监视系统100被初始化或激活时，用户界面122上的一个或多个通知可以通知车辆的乘员。用户界面122可以包括从用户界面元件、按钮、拨号盘、麦克风、键盘或触摸屏接收用户输入的输入/输出设备。例如，用户界面122可以接收用户输入，该用户输入可以包括关于在检测到活动时要记录的图像数据量或视频长度的配置。用户界面122还可以接收用户输入，该用户输入可以包括关于何时激活相机116a-b、何时回放记录以及何时将实况视频传输到输出设备124的配置。图7中图示了位于车辆前舱中的输出设备124的示例。输出设备124可以是例如显示器，诸如挡风玻璃中的平视显示器(HUD)502、仪表板中的多信息显示器(MID)504和/或IVI显示器506。例如，HUD 502、MID 504和IVI显示器506中的每一个可以显示通知图标508，其指示乘客的特定活动，例如孩子哭泣，和/或乘客舱的实况视频510。附加地或替代地，输出设备124可以是移动设备上的显示器。移动设备还可以包括用户界面122。在其它示例中，输出设备124可以是扬声器、音频和/或视觉指示器、或可刷新的盲文显示器。
监视系统100可以包括网络接入设备120。网络接入设备120可以包括通信端口或信道，诸如Wi-Fi单元、
Figure BDA0003437571320000081
单元、射频识别(RFID)标签或读取器，或用于接入蜂窝网络(诸如，3G、4G或5G)的蜂窝网络单元中的一个或多个。网络接入设备120可以向外部数据库104传输数据和从外部数据库104接收数据。例如，ECU 108可以经由网络106与外部数据库104通信以获得关于车辆102的位置附近的实体的信息。
监视系统可以包括导航单元112和/或一个或多个传感器114。导航单元112可以集成到车辆102或耦合到车辆102的单独单元，诸如具有导航能力的个人设备。当导航单元112与车辆102分离时，导航单元112可以经由网络接入设备120与车辆102通信。车辆102可以包括用于检测包括车辆102的当前位置的位置数据和日期/时间信息的全球定位系统(GPS)单元(未示出)而不是导航单元112。在这方面，ECU 108可以基于从GPS单元接收的数据来执行导航单元112的功能。导航单元112或ECU 108中的至少一个可以预测或建议包括起始位置和目的地位置的路线集。导航单元112或ECU 108可以执行导航功能。导航功能可以包括例如路线和路线集预测、提供导航指令以及接收诸如预测路线和路线集或目的地的核实的用户输入。
导航单元112可以提供和获得包括位置数据的导航地图信息，该位置数据可以包括车辆102的当前位置、起始位置、目的地位置和/或起始位置或当前位置与目的地位置之间的路线。导航单元112可以包括用于存储路线数据的存储器(未示出)。导航单元112可以从能够检测与位置信息对应的数据的其它传感器接收数据。例如，其它传感器可以包括陀螺仪或加速度计。
导航地图信息可以包括实体信息。实体信息可以包括诸如医院或兽医办公室之类的感兴趣的地点的位置。如果乘客的某些活动发生，诸如如果婴儿或动物受伤或生病，那么这些不同实体的位置可能是有用的。
一个或多个传感器114可以包括一个或多个内部相机116a、一个或多个外部相机116b和/或其它传感器136。一个或多个内部相机116a可以包括定位在车辆102内的多个相机，以捕获车辆102的车舱内的不同视图，例如如图5中所示。一个或多个内部相机116a可以定位在车辆102内，诸如在前排座椅的后面以捕获后排座椅的视图，或在后排座椅的后面以捕获车辆座椅后面的货物区域的视图。例如，一个或多个内部相机116a可以定位在第二排座椅的前部以捕获汽车座椅中的乘客的视图。一个或多个内部相机116a可以定位在后窗附近并且指向皮卡车的外部或者放置在卡车货舱中的货舱栏杆上，例如，以捕获货车货舱的视图。一个或多个内部相机可以定位在天花板中。一个或多个内部相机116a可以捕获包括车辆102内部或车辆102内环境的单个帧或图像或连续视频的图像数据。车辆内的不同视图可以用于形成整个车舱的全景或360度图像，这允许监视系统100捕获车辆102内的活动，诸如哭泣的婴儿、吠叫的狗或已经转动到非期望位置的物品。一个或多个内部相机116a可以是便携式相机，其可以由用户容易地附接或安装在车辆102内并且通过车辆102中的电源，诸如通过USB连接器供电。
一个或多个外部相机116b可以包括定位在车辆102的外部的多个相机，以捕获车辆102外部的周围环境的不同视图，例如如图6中所示。一个或多个外部相机116b可以沿着车辆102的框架602，诸如沿着车辆102的车顶604、行李箱606或前部608定位。周围环境的不同视图可以用于形成车辆102外部的周围环境的全景或360度图像。一个或多个外部相机116b可以捕获包括车辆102外部的周围环境的单个帧或图像或连续视频的图像数据，这允许监视系统100捕获车辆102外部的可能影响车辆102内的乘客的活动的活动，诸如接近或试图打开车辆的个人。
监视系统100可以耦合、连接到和/或包括一个或多个车辆部件。一个或多个车辆部件可以包括马达和/或发电机126。马达和/或发电机126可以将电能转换成机械能，诸如扭矩，并且可以将机械能转换成电能。马达和/或发电机126可以耦合到电池130。马达和/或发电机126可以将来自电池130的能量转换成机械能，并且可以例如经由再生制动将能量提供回电池130。车辆102可以包括一个或多个附加的发电设备，诸如引擎128或燃料电池堆(未示出)。引擎128燃烧燃料以提供动力来作为由马达和/或发电机126供应的动力的替代和/或附加。
电池130可以耦合到马达和/或发电机126并且可以向马达和/或发电机126提供电能和从马达和/或发电机126接收电能。电池130可以包括一个或多个可再充电电池。
BMCU 134可以耦合到电池130并且可以控制和管理电池130的充电和放电。例如，BMCU 134可以使用电池传感器测量用于确定电池130的充电状态(SOC)的参数。BMCU 134可以控制电池130。
一个或多个车辆部件可以包括变速器132。变速器132可以具有不同的档位和/或模式，诸如泊车、驱动和/或空档，并且可以在不同档位之间换档。给定速度量，变速器132管理提供给车辆102的车轮的功率量。一个或多个车辆部件可以包括转向设备138。转向设备138控制车辆的移动方向以遵循期望的路线。
监视系统100可以包括或耦合到外部数据库104。数据库是诸如由计算机为搜索和检索而组织的任何信息片段的集合，并且数据库可以按表格、模式、查询、报告或任何其它数据结构进行组织。数据库可以使用任意数量的数据库管理系统。外部数据库104可以包括存储或提供信息的第三方服务器或网站。信息可以包括实时信息、定期更新的信息或用户输入的信息。服务器可以是网络中的用于向网络中的其它计算机提供服务，诸如访问文件或共享外围设备的计算机。
外部数据库104可以是关系数据库或行为模型数据库，其提供不同对象或个体的正常运动和/或特征的模型。外部数据库104可以被实时更新和/或提供更新。外部数据库104可以存储和/或向ECU 108提供模型。
图2是用于捕获内部图像数据以用于预测和/或检测活动的示例过程200的流程图。一个或多个计算机或一个或多个数据处理装置，例如图1的监视系统100的ECU 108，经适当编程，可以实现过程200。
监视系统100确定是否激活内部相机116a和/或外部相机116b(208)。监视系统100可以基于车辆102内的一个或多个乘客的活动来确定是否激活内部相机116a和/或外部相机116b。
在一些实施方式中，监视系统100经由网络106与外部数据库104连接。例如，外部数据库104可以是交通信息数据库。监视系统100可以向交通信息数据库提供车辆102的当前位置，并且作为响应，接收情境因素，包括车辆102的当前位置附近内的一个或多个交通灯或信号的状态。
一旦监视系统100被激活，监视系统100就确定是否激活内部相机116a(202)。一旦车辆启动，监视系统100就可以自动激活。替代地，监视系统100可以由驾驶员、前排乘客或由自主车辆的远程用户手动激活。监视系统100可以基于车辆102中后排乘客的存在来确定是否激活内部相机116a。一旦监视系统100激活一个或多个内部相机116a，监视系统100就使用一个或多个内部相机116a(204)捕获图像数据。
特别地，一个或多个内部相机116a可以捕获车辆102内的环境的图像数据。一个或多个内部相机116a可以定位在车辆102的内部并且指向车辆102的内部舱室以监视或捕获车辆102内的乘客的图像数据。一个或多个内部相机116a中的每一个可以指向车辆102的内部舱室的不同部分，诸如朝向前舱的后部、朝向后舱中的一排或多排座椅的前部、座椅后面的货物区域，或向外朝向卡车的货舱。一个或多个相机116a也可以定位在车辆102的行李箱内以捕获行李箱内的图像数据。由一个或多个内部相机116a捕获的图像数据可以是单帧图像和/或多帧视频。单帧图像和/或多帧视频可以存储或缓存在存储器110中。不同的视角和/或视图可以被捕获并且随后被拼接、合并或以其它方式组合以形成全景图像和/或视频。
一旦内部相机116a被激活，监视系统100就确定是否激活外部相机116b(206)。外部相机可以基于一个或多个乘客的特定活动，例如哭泣的婴儿或兴奋的动物而被激活。一旦监视系统100激活一个或多个外部相机116b，监视系统100就使用一个或多个外部相机116b捕获图像数据(208)。图像数据可以是单帧图像和/或多帧视频。单帧图像和/或多帧视频可以存储或缓存在存储器110中。
特别地，一个或多个外部相机116b可以捕获车辆102外部的周围环境的图像数据。一个或多个外部相机116b可以定位在车辆102的外部。一个或多个外部相机116b中的每一个可以捕获车辆102外部的周围环境的不同视角的不同图像，使得所有一个或多个外部相机116b可以捕获周围环境的360度透视图。不同的图像可以稍后被拼接、合并或以其它方式组合以形成全景图像和/或视频。
所有相机116a-b之间的图像数据可以组合或以其它方式合并成图像或视频，该图像或视频在一段时间内捕获车辆102内部和外部的整个环境，并且图像数据包括车辆102内部的不同乘客和车辆102外部的环境。
图3是用于在监视系统被激活时检测或预测乘客活动的示例过程300的流程图。一个或多个计算机或一个或多个数据处理装置，例如，图1的监视系统100的ECU 108，经适当编程，可以实现过程300。
一旦监视系统100开始捕获图像数据以监视活动，监视系统100就获得或生成乘客及其对应活动的基线或基线模型(302)。基线或基线模型用于预测、确定或以其它方式检测某些乘客活动。例如，监视系统100可以预测婴儿乘客何时睡觉或变得激怒。在另一个示例中，监视系统100可以预测动物乘客何时因车辆外部发生的事件而兴奋。在又一个示例中，监视系统100可以预测直立物品何时变得不安全或不平衡。图4进一步描述了获得或生成基线或基线模型。基线或基线模型的生成和使用为监视系统100提供控制模型用于与当前情况进行比较，这允许监视系统100预测性地确定活动何时将发生。通过对典型乘客活动建模，监视系统100自适应地使用机器学习来预测乘客的活动。
监视系统100从图像数据中识别乘客(304)。为了识别图像数据内的不同乘客，监视系统100可以使用多个关节和片段对图像数据内的图形进行分割、勾勒或以其它方式映射。片段可以表示乘客的线性表示或轮廓，并且关节可以表示不同片段之间的顶点、等高线(contours)或其它角度。
一旦映射了乘客的轮廓，监视系统100就可以将多个关节和片段的表示与乘客数据库内已经映射的对象进行比较，以识别乘客。例如，监视系统100可以将诸如儿童或宠物之类的乘客的轮廓与存储的乘客的轮廓进行比较并确定轮廓的形状匹配，因此监视系统100将乘客识别为孩子或宠物。一旦乘客被识别为孩子或宠物，监视系统100就将把图像分割成特定的关注区域以监视乘客，这将减少监视系统100所需的图像处理量。例如，可以监视孩子的面部、头部和臂区域。作为另一个示例，可以监视宠物的头部、嘴巴、腿和尾巴区域。
在乘客被识别并与乘客数据库内的对应乘客匹配之后，监视系统100确定乘客的对应基线活动(306)。基线和/或基线模型可以具有乘客数据库内和与识别出的乘客匹配的乘客对应和相关联的多个活动，诸如婴儿是否醒着并且满足，或者动物是否坐下或躺下。这些多个运动可以被认为是乘客的基线活动，并且可以用来与乘客的不同活动进行比较以预测活动。监视系统100可以经由边缘计算设备118利用计算机视觉处理来高效地处理图像并对多个期望的识别进行分类，使得不会在提醒用户时造成不必要的延迟。这可以通过设置优先级化的识别步骤的频率和序列、简化图像比较过程、通过动态分割减少图像内的检测区域等来完成。例如，基线和/或基线模型可以包括用于检测特定活动的一组频率，并且可以在优先级化的步骤中识别特定活动以确认预测是准确的。例如，当婴儿正在醒来时，基线模型可以首先检测头部移动，然后嘴巴移动，然后臂/手/腿移动，然后眼睛移动，然后身体其它部位的移动并按该特定顺序，以确定婴儿正在醒来。
监视系统100然后确定乘客的活动(308)。乘客的活动可以包括例如婴儿哭泣、动物乘客在车辆内部站起来、或从直立位置翻倒的物体乘客。监视系统100跨越一段时间内拍摄的图像数据的多个帧来跟踪乘客的片段或轮廓。图像数据的不同帧的捕获之间的时间段可以预先配置或预设。监视系统100可以使用机器学习算法来预测或确定活动，该算法利用基线或基线模型来使用模式进行预测或确定。监视系统100还可以处理自学习以创建/修改新的基线或基线模型以适于特定乘客。新的基线或基线模型可以通过外部数据库104共享给其它车辆。
响应于确定乘客的活动正在发生，监视系统100可以缓冲、记录或捕获内部图像数据(310)。在检测到活动正在发生之前，监视系统100可能已经在存储器110中缓冲内部图像数据。监视系统100可以在存储器110中以循环记录方式连续记录和/或捕获内部图像数据。当乘客活动返回基线时，监视系统100可以停止记录和/或捕获内部图像数据。替代地，当监视系统100检测到活动正在发生时，监视系统100可以设置定时器以在设定的时间量后停止内部图像数据的缓存。当设定的时间量到期时，监视系统100可以停止内部图像数据的记录和/或捕获并将内部图像数据存储在存储器110中。设定的时间量可以预先配置或通过用户界面122经由用户输入来配置。
在缓冲的图像数据开始时和在设定的时间量结束时的时间范围之外捕获的任何图像数据可以从存储器110中删除或以其它方式移除以节省计算资源。由于缓冲的内部图像数据在活动被检测到之前开始记录并且直到之后的设定时间量，因此监视系统100记录和存储活动之前、期间和之后的图像数据。
在一些实施方式中，监视系统100在确定活动正在发生之后开始缓冲和记录图像数据。通过在检测到活动之后激活图像数据的记录和/或缓冲，监视系统100减少了操作内部相机116a和/或外部相机116b所需的能量的量，这提高了车辆102的能量效率。
监视系统100可以将图像数据提供给输出设备(312)。输出设备是使用监视系统100的人的计算设备。图像数据可以是指示乘客的活动，诸如婴儿睡觉或狗吠叫的通知图标。附加地或替代地，图像数据可以是从内部相机116a捕获的数据的实况馈送图像。
监视系统100可以响应于检测到乘客的特定活动来操作或控制一个或多个车辆部件(314)。当监视系统100检测到乘客被发生在车辆102外部的事件激怒时，监视系统可以激活外部相机116b。当监视系统100检测到特定乘客活动可能对乘客有危险或分散驾驶员的注意力时，例如如果卡车货舱中的动物变得未被固定和/或从车辆消失时，监视系统100可以使车辆102减速到在道路一侧停下来。在另一个示例中，在自主或半自主车辆的情况下，当监视系统检测到乘客生病或正在经历身体紧急情况时，导航单元112可以向驾驶员通知附近医院或将车辆改道到附近医院。
图4是用于生成、确立或以其它方式确定乘客的基线活动的示例过程400的流程图。一个或多个计算机或一个或多个数据处理装置，例如图1的监视系统100的ECU 108，经适当编程，可以实现过程400。
监视系统100观察车辆内乘客的活动，并且当乘客的活动重复多次时，监视系统100确定存在与乘客402的某些活动相关联的运动模式和面部表情。例如，监视系统100可以观察到婴儿乘客经常在其眼睛睁着的情况下表达满足表情。监视系统100还可以观察到婴儿乘客在婴儿正在睡觉时其眼睛闭合一段时间。监视系统100还可以观察到婴儿乘客在婴儿哭泣时在其嘴巴张大的情况下表现出激怒的表情。作为另一个示例，监视系统100可以观察到狗乘客经常坐下或躺下。监视系统100还可以观察到狗乘客用所有四条腿站立，或者当狗正在吠叫时狗正在做快速的头部移动。使用该数据，监视系统100确立最频繁发生的乘客活动是乘客406的基线活动。随着乘客的基线活动出现得更频繁，监视系统100可以增加乘客的活动是基线的一部分的可能性。但是，如果乘客的活动出现的频率较低，那么监视系统100可以降低乘客的活动可能是基线的一部分的可能性。包含在基线中所需的百分比或频率可以是预先确定的和/或用户配置的。替代地，监视系统100可以接收来自用户的数据输入以指示乘客的某些活动并手动将这些活动分配为基线404。例如，监视系统可以观察车辆102内的乘客并请求用户识别和分配乘客的活动作为基线，例如直立放置的易碎灯。
已经以说明性的方式公开了本发明的示例性实施例。因此，应以非限制性的方式阅读全文使用的术语。虽然本领域技术人员会想到对本文教导的微小修改，但应该理解的是，旨在限制在本文所保证的专利范围内的是合理地落入本文贡献的技术进步的范围内的所有这些实施例，并且该范围不应受到限制，只根据所附权利要求及其等效形式的限制。

Claims (20)

1.一种用于车辆的监视系统，包括：
第一相机，被配置为捕获包括车辆中的一个或多个乘客的第一图像数据；
存储器，被配置为存储图像数据；
电子控制单元，耦合到第一相机和存储器并且被配置为：
从第一相机获得包括所述一个或多个乘客的第一图像数据，
基于第一图像数据确定所述一个或多个乘客中的每个乘客的活动，其中活动包括乘客的运动和面部表情中的一个或多个，
确定所述一个或多个乘客中的每个乘客的活动将与所述一个或多个乘客中的每个乘客的基线活动不同，以及
在确定所述一个或多个乘客中的每个乘客的活动将与基线活动不同之前和之后的时间段内，在存储器中并使用第一相机记录和捕获第一图像数据。
2.如权利要求1所述的监视系统，其中，第一相机包括被配置为捕获车辆内部的不同视图的一个或多个内部相机。
3.如权利要求2所述的监视系统，其中，电子控制单元还包括输出设备，并且其中电子控制单元还被配置为响应于确定所述一个或多个乘客中的至少一个乘客的活动与基线活动不同，向输出设备的用户通知活动正在发生。
4.如权利要求3所述的监视系统，其中，输出设备包括一个或多个显示器。
5.如权利要求4所述的监视系统，其中，电子控制单元被配置为通过在输出设备上显示与活动对应的图标来向输出设备的用户通知活动正在发生。
6.如权利要求4所述的监视系统，其中，电子控制单元被配置为通过在输出设备上显示来自所述一个或多个内部相机的实况视频图像来向输出设备的用户通知活动正在发生。
7.如权利要求4所述的监视系统，其中，所述一个或多个显示器包括车辆显示器，其中所述车辆显示器包括位于车辆的前舱中的平视显示器、多信息显示器和车载信息娱乐显示器中的一个或多个。
8.如权利要求7所述的监视系统，其中，所述一个或多个显示器包括位于移动设备上的移动显示器。
9.如权利要求8所述的监视系统，其中，车辆是自主车辆，并且移动显示器位于远离车辆的位置。
10.如权利要求3所述的监视系统，所述监视系统还包括用户界面，所述用户界面被配置为接收来自用户的命令以在一个或多个显示器上显示来自所述一个或多个内部相机的实况视频图像。
11.如权利要求10所述的监视系统，所述监视系统还包括第二相机，所述第二相机包括被配置为捕获车辆外部的周围环境的视图的一个或多个外部相机。
12.如权利要求11所述的监视系统，其中，用户界面还被配置为接收来自用户的命令以在所述输出设备上显示来自所述一个或多个外部相机的实况视频图像。
13.如权利要求3所述的监视系统，所述监视系统还包括导航单元，所述导航单元被配置为获得包括实体的位置和车辆的当前位置的导航地图信息，
其中电子控制单元还被配置为当所述监视系统确定所述一个或多个乘客中的至少一个乘客的活动正在发生时向用户通知到所述实体的路线。
14.一种用于车辆的监视系统，包括：
第一相机，被配置为捕获包括车辆中的乘客的第一图像数据；
存储器，被配置为存储图像数据；
电子控制单元，耦合到第一相机和存储器并且被配置为：
从第一相机获得包括乘客的第一图像数据，
确定乘客的基线活动，
基于第一图像数据确定乘客的活动，
确定乘客的活动将与乘客的基线活动不同，以及
在确定乘客的活动将与基线活动不同之前和之后的时间段内，在存储器中并使用第一相机记录和捕获第一图像数据。
15.如权利要求14所述的监视系统，其中，确定乘客的基线活动包括：
观察乘客的活动，
确定与乘客的活动相关联的运动模式和面部表情，以及
确立最频繁发生的乘客的活动是乘客的基线活动。
16.如权利要求14所述的监视系统，所述监视系统还包括被配置为接收来自用户的数据输入的用户界面，其中确定乘客的基线活动包括：
接收来自用户的数据输入，所述数据输入用乘客的基线活动分配乘客的运动模式和面部表情。
17.一种用于向输出设备的用户通知车辆内的乘客的活动的方法，包括：
由处理器并从第一相机获得包括乘客的车辆的车舱的第一图像数据；
由处理器确定车辆的车舱内的乘客的活动；
由处理器确定乘客的活动将与乘客的基线活动不同；
由处理器并使用第一相机在存储器中记录和存储第一图像数据；以及
由处理器将第一图像数据发送到输出设备，从而向用户通知乘客的活动。
18.如权利要求17所述的方法，其中，记录第一图像数据包括在确定乘客的活动将与基线活动不同之前和之后的时间段内记录第一图像数据。
19.如权利要求17所述的方法，所述方法还包括：
从第二相机并由处理器获得车辆外部的周围环境的第二图像数据；
由处理器并使用第二相机在存储器中记录和存储第二图像数据；以及
在确定乘客的活动将与乘客的基线活动不同之后，由处理器将第二图像数据发送到输出设备。
20.如权利要求19所述的方法，其中，记录第二图像数据包括在确定乘客的活动将与基线活动不同之前和之后的时间段内记录第二图像数据。
CN202111619848.9A 2020-12-28 2021-12-28 用于监视车辆中的乘客并检测乘客活动的相机系统 Pending CN114697596A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/135,429 2020-12-28
US17/135,429 US11645855B2 (en) 2020-12-28 2020-12-28 Camera system to monitor the passengers in a vehicle and detect passenger activities

Publications (1)

Publication Number Publication Date
CN114697596A true CN114697596A (zh) 2022-07-01

Family

ID=82119209

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111619848.9A Pending CN114697596A (zh) 2020-12-28 2021-12-28 用于监视车辆中的乘客并检测乘客活动的相机系统

Country Status (3)

Country Link
US (1) US11645855B2 (zh)
JP (1) JP2022104907A (zh)
CN (1) CN114697596A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230077868A1 (en) * 2021-09-03 2023-03-16 Rivian Ip Holdings, Llc Systems and methods for deterrence of intruders
EP4311707A1 (en) * 2022-07-26 2024-01-31 Volvo Car Corporation Passenger monitoring system

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11067405B2 (en) * 2010-06-07 2021-07-20 Affectiva, Inc. Cognitive state vehicle navigation based on image processing
US20160057138A1 (en) * 2014-03-07 2016-02-25 Hoyos Labs Ip Ltd. System and method for determining liveness
US20170111587A1 (en) * 2015-10-14 2017-04-20 Garmin Switzerland Gmbh Navigation device wirelessly coupled with auxiliary camera unit
US10259451B2 (en) * 2017-07-19 2019-04-16 GM Global Technology Operations LLC Motion sickness mitigation system and method
US11132562B2 (en) * 2019-06-19 2021-09-28 Toyota Motor Engineering & Manufacturing North America, Inc. Camera system to detect unusual circumstances and activities while driving
US20210183261A1 (en) * 2019-12-13 2021-06-17 We Say Hi, Inc. Interactive virtual learning system and methods of using same

Also Published As

Publication number Publication date
US11645855B2 (en) 2023-05-09
JP2022104907A (ja) 2022-07-12
US20220207278A1 (en) 2022-06-30

Similar Documents

Publication Publication Date Title
US20230023870A1 (en) Neural network applications in resource constrained environments
US9714037B2 (en) Detection of driver behaviors using in-vehicle systems and methods
CN111048171B (zh) 解决晕动病的方法和装置
US9955326B2 (en) Responding to in-vehicle environmental conditions
EP2758879B1 (en) A computing platform for development and deployment of sensor-driven vehicle telemetry applications and services
CN114697596A (zh) 用于监视车辆中的乘客并检测乘客活动的相机系统
US11935281B2 (en) Vehicular in-cabin facial tracking using machine learning
WO2021036363A1 (zh) 乘员保护方法及装置
KR20210121015A (ko) 남겨진 객체의 검출
Poon et al. YOLO-based deep learning design for in-cabin monitoring system with fisheye-lens camera
US20230077868A1 (en) Systems and methods for deterrence of intruders
US20210245771A1 (en) Artificial intelligence-enabled alarm for detecting passengers locked in vehicle
US11132562B2 (en) Camera system to detect unusual circumstances and activities while driving
US11845390B2 (en) Cabin monitoring system
US20230083504A1 (en) Systems and methods for capturing images around vehicle for insurance claim processing
CN107933461A (zh) 基于单摄像头的车内识别融合装置及方法
US20230398994A1 (en) Vehicle sensing and control systems
JP7370073B2 (ja) システムおよびプログラム等
US20240124007A1 (en) Truck bed hauling warning system for shifting loads
JP7188369B2 (ja) 車内監視システム、車内監視装置、及び車内監視プログラム
US11950316B1 (en) Vehicle-passenger assistance facilitation
US20240112337A1 (en) Vehicular driver monitoring system with health monitoring
US20240112147A1 (en) Systems and methods to provide services to a disabled vehicle
CN117355872A (zh) 电子设备、电子设备的控制方法以及程序
CN116547729A (zh) 关注对象共享装置、关注对象共享方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230629

Address after: Aichi Prefecture, Japan

Applicant after: Toyota Motor Corp.

Address before: Texas, USA

Applicant before: TOYOTA MOTOR ENGINEERING & MANUFACTURING NORTH AMERICA, Inc.

SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination