CN108388837A - 一种用于评估自主车辆的内部的系统和方法 - Google Patents

一种用于评估自主车辆的内部的系统和方法 Download PDF

Info

Publication number
CN108388837A
CN108388837A CN201810076036.6A CN201810076036A CN108388837A CN 108388837 A CN108388837 A CN 108388837A CN 201810076036 A CN201810076036 A CN 201810076036A CN 108388837 A CN108388837 A CN 108388837A
Authority
CN
China
Prior art keywords
output
vehicle
pixel
controller
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810076036.6A
Other languages
English (en)
Other versions
CN108388837B (zh
Inventor
布鲁诺·希里·贾勒斯·科斯塔
玛德琳·J·吴
吉内什·J·杰恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Global Technologies LLC
Original Assignee
Ford Global Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Global Technologies LLC filed Critical Ford Global Technologies LLC
Publication of CN108388837A publication Critical patent/CN108388837A/zh
Application granted granted Critical
Publication of CN108388837B publication Critical patent/CN108388837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/006—Indicating maintenance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S3/00—Vehicle cleaning apparatus not integral with vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
    • B60S5/00—Servicing, maintaining, repairing, or refitting of vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
    • G08G1/202—Dispatching vehicles on the basis of a location, e.g. taxi dispatching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/06—Combustion engines, Gas turbines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/0875—Registering performance data using magnetic data carriers
    • G07C5/0891—Video recorder in combination with video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Automation & Control Theory (AREA)
  • Quality & Reliability (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Business, Economics & Management (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种自主车辆包括内部传感器，该内部传感器包括IR摄像机和可见光摄像机。车辆的内部的图像是在乘客乘车前后使用摄像机拍摄的。前后的红外图像被相减以获得差分图像。阈值强度之上的像素集群在一起。具有阈值之上尺寸的群集被确定为异常。来自可见光摄像机的对应于异常的图像的一部分被发送给调度器，调度器然后可以清理车辆以接载另一乘客或者继续行进到清洁站。可以基于IR图像和可见光图像的组合来识别异常。

Description

一种用于评估自主车辆的内部的系统和方法
技术领域
本发明涉及一种用于自主车辆的传感器系统和方法。
背景技术
自主车辆是许多研究和开发的主题。这种车辆包括能够识别和避开障碍物并且导航到目的地的一组传感器和控制逻辑。自主车辆的一个应用是用作可以按需接载乘客的出租车。
本文公开的系统和方法提供了一种用于提供自主出租车服务的方法。
发明内容
根据本发明，提供一种用于车辆的系统，包括：
红外(IR)摄像机，该红外(IR)摄像机感测车辆的内部；
控制器，该控制器连接到IR摄像机并且编程为--
接收IR摄像机的第一输出；
在第一输出之后接收IR摄像机的第二输出；以及
如果在第一输出和第二输出之间的变化指示异常，则调用补救措施。
根据本发明的一个实施例，还包括：
可见光摄像机，该可见光摄像机可操作地连接到控制器并且在可见光摄像机的视野中具有车辆的内部；
其中控制器还被编程为：
接收可见光摄像机的第三输出；
如果在第一输出和第二输出之间的变化指示异常，则(a)识别第三输出中对应于异常的关注区域(ROI)，以及(b)将ROI传送到调度器。
根据本发明的一个实施例，其中控制器还被编程为：
接收来自调度器的输入；
如果输入是继续行进到清洁站的指令，则将车辆自主地驱动到清洁站。
根据本发明的一个实施例，控制器还被编程为：
如果输入是继续行进到下一个接载位置的指令，则将车辆自主地驱动到下一个接载位置。
根据本发明的一个实施例，控制器还被编程为：
在第三输出之前接收来自可见光摄像机的第四输出；
评估(a)第一输出和第二输出之间的差异与(b)第四输出和第三输出之间的差异的组合；以及
如果组合指示异常，则调用补救措施。
根据本发明的一个实施例，控制器还被编程为在接载乘客之前利用IR摄像机捕获第一输出并且在放下乘客之后利用IR摄像机捕获第二输出。
根据本发明的一个实施例，控制器还被编程为：
从第二输出中减去第一输出以获得差分图像；以及
评估差分图像以确定第一输出和第二输出是否指示异常。
根据本发明的一个实施例，控制器还被编程为：
识别差分图像中超过阈值的像素；以及
评估差分图像中超过阈值的像素是否指示异常。
根据本发明的一个实施例，控制器还被编程为：
识别差分图像中超过阈值的像素；以及
评估差分图像中超过阈值的像素是否指示异常。
根据本发明的一个实施例，控制器还被编程为：
识别差分图像中超过阈值的像素以获得阈值之上的像素；
识别连续的阈值之上的像素的集群；以及
如果集群中的任何一个大于阈值尺寸，则将大于阈值尺寸的集群识别为异常。
根据本发明，提供一种方法包括，通过车辆的控制器进行以下步骤：
接收在IR摄像机的视野中具有车辆的内部的IR摄像机的第一输出；
在第一输出之后接收IR摄像机的第二输出；
确定在第一输出和第二输出之间的变化指示异常；以及
响应于确定第一输出和第二输出之间的变化指示异常，而调用补救措施。
根据本发明的一个实施例，还包括：
接收来自可见光摄像机的第三输出，可见光摄像机的视野包括车辆的内部；
响应于确定第一输出和第二输出之间的变化指示异常，而(a)识别在第三输出中对应于异常的关注区域(ROI)，以及(b)将ROI传送到调度器。
根据本发明的一个实施例，还包括：
接收来自调度器的包括继续行进到清洁站的指令的输入；以及
响应于输入，而将车辆自主地驱动到清洁站。
根据本发明的一个实施例，还包括：
接收来自调度器的包括继续行进到下一个接载位置的指令的输入；以及
响应于输入，而将车辆自主地驱动到下一个接载位置。
根据本发明的一个实施例，还包括：
在第三输出之前接收来自可见光摄像机的第四输出；
评估第一输出和第二输出之间的差异与第四输出和第三输出之间的差异的组合；以及
确定组合指示异常。
根据本发明的一个实施例，还包括在接载乘客之前利用IR摄像机捕获第一输出并且在放下乘客之后利用IR摄像机捕获第二输出。
根据本发明的一个实施例，还包括：
从第二输出中减去第一输出以获得差分图像；以及
评估差分图像以确定第一输出和第二输出是否指示异常。
根据本发明的一个实施例，还包括：
识别差分图像中超过阈值的像素；以及
评估差分图像中超过阈值的像素是否指示异常。
根据本发明的一个实施例，还包括：
识别差分图像中超过阈值的像素；以及
评估差分图像中超过阈值的像素是否指示异常。
根据本发明的一个实施例，还包括：
识别差分图像中超过阈值的像素以获得阈值之上的像素；
识别连续的阈值之上的像素的集群；以及
将大于阈值尺寸的集群识别为异常。
附图说明
为了本发明的优点将被容易的理解，将通过参考附图中所示的具体实施例来提出对上面简要描述的本发明更加详细的描述。理解这些附图仅描述了本发明的典型实施例并且因此不应被考虑为限制其范围，将通过使用附图利用附加的特征和细节来描述和解释本发明，在附图中：
图1A是用于实施本发明的实施例的系统的示意性框图；
图1B是包括用于实施本发明的实施例的内部传感器的车辆的示意性框图；
图2是适合于实施根据本发明的实施例的方法的示例性计算装置的示意性框图；
图3是用于根据本发明的实施例评估自主出租车的状态的方法的过程流程图；以及
图4A至图4D是示出了根据本发明的实施例识别车辆内部中的异常的图像。
具体实施方式
参考图1A和图1B，车辆100(参见图1B)可以容纳控制器102。车辆100可以包括本领域中已知的任何车辆。车辆100可以具有本领域已知的任何车辆的所有结构和特征，该结构和特征包括车轮、连接到车轮的传动系统、连接到传动系统的发动机、转向系统、制动系统以及本领域中已知的被包括在车辆中的其它系统。
如本文更详细讨论的，控制器102可以执行自主导航和碰撞避免。控制器102可以接收来自一个或多个外部传感器104的一个或多个输出。例如，一个或多个摄像机106a可以被安装到车辆100，并且将接收到的图像流输出到控制器102。控制器102可以接收来自一个或多个麦克风106b的一个或多个音频流。例如，一个或多个麦克风106b或麦克风阵列106b可以被安装到车辆100并且将音频流输出到控制器102。麦克风106b可以包括具有随角度变化的灵敏度的定向麦克风。
外部传感器104可以包括诸如RADAR(无线电检测和测距)106c、LIDAR(光检测和测距)106d、SONAR(声音导航和测距)106e等的传感器。
控制器102可以执行接收外部传感器104的输出的自主操作模块108。自主操作模块108可以包括障碍物识别模块110a、碰撞预测模块110b以及判定模块110c。障碍物识别模块110a分析外部传感器的输出并且识别潜在的障碍物，该障碍物包括人、动物、车辆、建筑物、路沿以及其它物体和结构。特别地，障碍物识别模块110a可以识别传感器输出中的车辆图像。
碰撞预测模块110b基于车辆100当前的轨迹或当前的预期路径预测哪些障碍物图像可能与车辆100发生碰撞。碰撞预测模块110b可以评估与由障碍物识别模块110a识别的物体碰撞的可能性。判定模块110c可以做出停止、加速、转弯等的决定以便避开障碍物。碰撞预测模块110b预测潜在碰撞的方式和判定模块110c采取行动以避开潜在碰撞的方式都可以根据自主车辆领域中已知的任何方法或系统。
判定模块110c可以通过致动控制车辆100的方向和速度的一个或多个致动器112来控制车辆的轨迹。例如，致动器112可以包括转向致动器114a、加速器致动器114b以及制动致动器114c。致动器114a-114c的配置可以根据自主车辆领域中已知的这种致动器的任何实施方式。
本文公开的实施例中，自主操作模块108可以执行到指定位置的自主导航、自主停车以及本领域已知的其它自动驾驶活动。
自主操作模块108还可以包括根据本文所公开的方法评估车辆100的内部的状态的内部模块110d。内部模块110d可以评估一个或多个内部传感器116的输出。内部传感器116可以包括一个或多个摄像机118a，即可见光摄像机(诸如静态图像或视频摄像机)。内部传感器116也可以包括一个或多个红外(IR)摄像机118b。内部传感器116可以包括本领域已知的任何传感器，诸如电化学传感器、湿度传感器或电子温度计。例如，内部模块110d可以实施2016年11月4日提交的标题为“一种用于评估自主车辆的内部的系统和方法(A Systemand Methods for Assessing the Interior of a Autonomous Vehicle)”的美国申请序列号15/343,726中公开的技术，其全部内容在此并入本文。
如图1B所示，一个或多个摄像机118a可以在车辆中定位和定向，以在摄像机118a中的至少一个的视野中具有所有座椅表面(座椅底部和座椅靠背)。车辆内部的其它区域也可以位于摄像机118a中的至少一个的视野中。
一个或多个IR摄像机118b可以在车辆中定位和定向，以在IR摄像机118b中的至少一个的视野中具有所有座椅表面(座椅底部和座椅靠背)。车辆内部的其它区域也可以位于IR摄像机118b中的至少一个的视野中。
控制器102可以诸如通过网络122与服务器120进行数据通信，网络122可以包括任何有线或无线网络连接，含蜂窝数据网络连接。本文公开的方法可以由服务器120、控制器102或两者的组合来实施。
图2是示出示例性计算装置200的框图。计算装置200可以用于执行诸如本文所讨论的各种程序。控制器102和服务器系统120可以具有计算装置200的一些或全部属性。
计算装置200包括一个或多个处理器202、一个或多个存储装置204、一个或多个接口206、一个或多个大容量存储装置208、一个或多个输入/输出(I/O)装置210以及显示装置230，所有这些装置都连接到总线212。处理器202包括执行存储在存储装置204和/或大容量存储装置208中的指令的一个或多个处理器或控制器。处理器202也可以包括诸如高速缓冲存储器的各种类型的计算机可读介质。
存储装置204包括诸如易失性存储器(例如，随机存取存储器(RAM)214)和/或非易失性存储器(例如，只读存储器(ROM)216)的各种计算机可读介质。存储装置204也可以包括诸如闪存的可重写ROM。
大容量存储装置208包括各种计算机可读介质，诸如磁带、磁盘、光盘、固态存储器(例如，闪存)等等。如图2所示，特定大容量存储装置是硬盘驱动器224。各种驱动器也可以被包括在大容量存储装置208中以使得能够从各种计算机可读介质读取和/或写入各种计算机可读介质。大容量存储装置208包括可移动介质226和/或不可移动介质。
I/O装置210包括允许将数据和/或其它信息输入到计算装置200或从计算装置200取回的各种装置。示例性I/O装置210包括光标控制装置、键盘、小键盘、麦克风、监视器或其它显示装置、扬声器、打印机、网络接口卡、调制解调器、镜头、CCD(电荷耦合器件(ChargeCoupled Device))或其它图像捕获装置等。
显示装置230包括能够向计算装置200中的一个或多个用户显示信息的任何类型的装置。显示装置230的示例包括监视器、显示终端、视频投影装置等。
接口206包括允许计算装置200与其它系统、装置或计算环境交互的各种接口。示例性接口206包括任意数量的不同网络接口220，诸如与局域网(LAN)、广域网(WAN)、无线网络以及因特网的接口。其它接口包括用户界面218和外围装置接口222。接口206也可以包括一个或多个外围接口，诸如用于打印机、指向装置(鼠标、跟踪板等)、键盘等的接口。
总线212允许处理器202、存储装置204、接口206、大容量存储装置208、I/O装置210以及显示装置230彼此通信，以及与耦合到总线212的其它装置或部件通信。总线212表示几种类型的总线结构(诸如系统总线、外围部件互连(Peripheral Component Interconnect，PCI)总线、IEEE 1394总线，通用串行总线(Universal Serial Bus，USB)等等)中的一个或多个。
为了说明的目的，程序和其它可执行程序部件在本文中被示出为离散块，但是可以理解的是，这种程序和部件可以在不同时间驻留在计算装置200的不同存储部件中，并且由处理器202执行。可替选地，本文描述的系统和程序可以以硬件、或者硬件、软件和/或固件的组合的形式来实施。例如，一个或多个专用集成电路(ASIC)可以被编程为执行本文描述的系统和程序中的一个或多个。
参考图3，所示出的方法300可以被用于获得来自内部传感器116的数据，以便评估车辆100的内部的状况。方法300可以由控制器102、服务器系统120执行，或者在这些装置之间进行分配。
方法300可以包括使用一个或多个摄像机118a、一个或多个IR摄像机118b、或者一个或多个摄像机118a和一个或多个IR摄像机118b两者来接收302车辆的内部的一个或多个初始图像。
步骤302可以恰好在旅程中接载一个或多个乘客之前(例如，在接载位置处当一个或多个乘客进入车辆之前)、在从调度区域出发之前、在清洁站处清洁或检查之后、或者在之前的旅程中放下乘客之后而进行。
步骤302的一个或多个图像可以由控制器102存储，并且可以附加地或可替选地传送给服务器系统120，服务器系统120可以将步骤302的一个或多个图像存储在旅程数据记录中。
控制器100然后可以接载304一个或多个乘客、自主地导航到目的地、以及在目的地处放置306一个或多个乘客。
方法300然后可以包括使用一个或多个摄像机118a、一个或多个IR摄像机118b或者一个或多个摄像机118a和一个或多个IR摄像机118B两者来接收308车辆的内部的一个或多个最终图像。步骤308可以在放置306一个或多个乘客之后立即执行。例如，响应于在停靠在目的地之后检测到车辆100的一个或多个车门的关闭。在步骤308接收到的图像可以由控制器102在本地存储，并且可以附加地或可替选地传送到服务器系统120。
方法300然后可以包括执行310背景减除，例如，从相同区域的最终图像中减去区域的初始图像。例如，如图4A的可见光图像中所示，可以相对于车辆的后座执行方法300。在图4B中示出了初始IR图像，并且在图4C中示出具有溢出物(spill)的最终IR图像。由于溢出物可能很热(例如溢出的咖啡)或很冷(例如，冷饮或者由于蒸发而冷却的液体)，溢出物将通常在IR图像中是特别可见的。图4D示出了从图像4C的相应像素值中减去图像4B的像素值的差分图像，即可以从最终图像中的给定位置处的像素中减去初始图像中的该位置处的像素以获得差异，该差异是差分图像中该位置处的像素值。
方法300可以包括应用312一个或多个阈值或应用其它图像处理技术来突出差分图像中的异常。例如，差分图像中具有低于阈值的强度的像素可以被移除。例如，在像素强度处于0和255之间的情况下，差分图像中高于40的强度可被保留并且进一步评估。剩余的像素然后可以被分组为连续像素的集群。然后可以评估每个群集占用的区域。那些由尺寸阈值(size threshold)以下的区域包围的群集可以从进一步考虑中移除。那些占据区域大于尺寸阈值的集群可以被进一步处理或者被识别为可能是溢出液体的异常。在一些实施例中，尺寸阈值是相对尺寸阈值，即那些小于图像中集群尺寸的某个百分比或其它函数的集群可被确定为低于尺寸阈值。可以执行本领域已知的其它处理技术，诸如视网膜大脑皮层理论(retinex)处理等。
在一些实施例中，步骤314的异常检测可以包括可见光和IR图像两者的处理。例如，IR差分图像可以被计算为初始IR图像和最终IR图像之间(即，乘客旅程之前和之后)的差异。可见光差分图像可以被计算为初始可见光图像和最终可见光图像之间的差异。可以分析这两个差分图像以确定是否存在异常。例如，可以以与上述相同的方式对可见光差分图像执行集群尺寸的阈值转换、分类归并以及评估。因此，在IR差分图像和可见光差分图像两者中都发现异常的情况下，确定出现异常的可能性将增加。
如果在步骤314的输出中检测到316异常，则方法300可以包括将警告发送到318调度器(dispatcher)。在一些实施例中，警告可以包括对应于每个异常的可见光图像的一部分。例如，如图4D所示，白色区域指示异常。相应的区域(例如在相同区域的可见光图像4A中的边界矩形)可以与警告一起发送，由此使得调度器能够验证是否出现溢出物。例如，可以传输具有对应于诸如通过叠加在图像上的边界矩形来突出的异常的区域的可见光图像。
调度器然后可以指示车辆继续行进到清洁站或释放320车辆以自主地行进到下一个接载位置，诸如由控制器102从服务器系统120接收到的接载位置。控制器102然后将使车辆继续行进到由调度器指示的位置。
在上面的描述中，参考形成本文的一部分的附图，并且该附图通过说明具体实施方式来示出，在该具体实施方式中可以实践本公开。可以理解的是在不脱离本发明的范围的情况下可以使用其它实施方式并且可以改变结构。说明书中，涉及“一个实施例”、“实施例”、“示例性实施例”等的内容表示描述的实施例可包括特定的特征、结构或者特性，但是每个实施例未必包括该特定的特征、结构或者特性。此外，这类词组未必涉及相同的实施例。而且，当结合实施例描述特定的特征、结构或者特性时，可以主张：不论是否明确的描述，结合其它实施例来改变这种特征、结构或者特性都在本领域技术人员的公知常识内。
本文公开的系统、装置以及方法的实施方式可包括或使用专用计算机或者通用计算机，如本文讨论的，该专用计算机或者通用计算机包括计算机硬件，例如一个或多个处理器以及系统存储器。在本发明范围内的实施方式也可包括用于承载或者存储计算机可执行的指令和/或数据结构的传统介质和其它计算机可读介质。这种计算机可读介质可以是任意可得介质，该介质可以通过通用计算机系统或者专用计算机系统存取。承载计算机可执行指令的计算机可读介质是传输介质。因此，举例来说但是不限于此，本发明的实施方式包括至少两个明显不同种类的计算机可读介质：计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括随机存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、只读光盘驱动器(CD-ROM)、固态驱动器(SSD)(例如，基于RAM)、闪存、相变存储器(PCM)、其它类型存储器、其它光盘存储、磁盘存储或者其它磁盘存储装置、或者任意其它介质，该任意其它介质可用于以计算机可执行指令或者数据结构的形式存储需要的程序代码装置并且其可通过通用计算机或者专用计算机存取。
本文公开的系统、装置以及方法的实施方式可通过计算机网络通信。“网络”限定为一个或多个数据连接，该数据连接能够在计算机系统和/或模块和/或其它电子装置之间传输电子数据。当信息通过网络或其它通信连接(硬连线的、无线的或者硬连线的或无线的结合)转移或提供到计算机时，计算机适当地将该连接视为传输介质。传输介质可包括网络和/或数据连接，该网络和/或数据连接可包括可用于以计算机可执行指令或者数据结构的形式承载需要的程序代码装置并且其可通过通用计算机或者专用计算机存取。上述的结合也应当认为包含在计算机可读介质的范围内。
例如，计算机可执行指令包括指令和数据，当在处理器中执行时，该指令和数据导致通用计算机、专用计算机或者专用处理装置执行某一功能或某组功能。例如，计算机可执行指令可以是二进制、中间格式指令(诸如汇编语言)或者甚至是源代码。尽管本主题是以结构特征和/或方法行为的特定语言描述的，然而可以理解的是：所附权利要求限定的本主题不是必须限定为已描述的特征或者本文描述的行为。当然，描述的特征和行为公开为实施权利要求的示例性形式。
本领域技术人员将会理解的是，本发明可在具有很多类型的计算机系统配置的网络计算环境中实践，该计算机系统配置包括装在仪表盘上的车载计算机、个人计算机、台式计算机、笔记本计算机、消息处理器、手持装置、多处理器系统、基于微处理器或可编程的家用电子产品、网络个人计算机(network PC)、微型计算机、大型计算机、移动电话、个人数字助理(PDA)、平板电脑、寻呼机、路由器、交换器、各种存储设备等。本发明也可在分布式系统环境中实践，其中，通过网络链接的(通过硬连线数据链路、无线数据链路或者通过硬连线数据链路和无线数据链路的结合)本地计算机系统以及远程计算机系统二者都执行任务。在分布式系统环境中，程序模块可位于本地存储装置和远程存储装置中。
而且，在适当的情况下，本文描述的功能可以以下一种或多种部件执行：硬件、软件、固件、数字部件或者模拟部件。例如，一种或多种专用集成电路(ASIC)可编程以实施本文描述的一种或多种系统和程序。贯穿说明书和权利要求书使用的某些术语涉及具体系统部件。如本领域技术人员将理解的，部件可涉及到不同的名称。本文不旨在区分在名称上有区别而在功能上没有区别的部件。
应当注意的是，本文讨论的传感器实施例包括计算机硬件、软件、固件、或者以上任意组合以执行它们的功能的至少一部分。例如，传感器可包括配置为在一个或多个处理器中执行的计算机代码，并且可包括由计算机代码控制的硬件逻辑电路/硬件电子电路。这些示例性装置以说明的目的提供于本文中，并且不旨在限制于此。本发明的实施例可实施于本领域技术人员已知的其它类型的装置中。
本发明的至少一些实施例涉及计算机程序产品，该计算机程序产品包括存储在任意计算机可用介质上的这种逻辑(例如，以软件的形式)。如本文描述的，这种软件当在一个或多个数据处理装置中被执行时使该装置操作。
虽然上面已经描述了本发明的各种实施例，但是应当理解的是，它们仅仅是作为示例而非限制性的。对于相关领域的技术人员显而易见的是，在不脱离本发明的精神和范围的情况下，可以在形式和细节上进行各种改变。因此，本发明的宽度和范围不应该由上述示例性实施例中的任何一个限制，而应仅根据所附权利要求及其等同物来限定。为了说明和描述的目的，呈现了前述描述。它不是穷举的，也不是将披露限制为所公开的精确形式。鉴于上述教导，许多修改和变化是可能的。此外，应当注意，可以以期望的任意组合方式使用上述替代实施例中的任何或全部，以形成本发明的另外的混合实施例。

Claims (15)

1.一种用于车辆的系统，包括：
红外(IR)摄像机，所述红外(IR)摄像机感测所述车辆的内部；
控制器，所述控制器连接到所述IR摄像机并且编程为--
接收所述IR摄像机的第一输出；
在所述第一输出之后接收所述IR摄像机的第二输出；以及
如果在所述第一输出和所述第二输出之间的变化指示异常，则调用补救措施。
2.根据权利要求1所述的系统，还包括：
可见光摄像机，所述可见光摄像机可操作地连接到所述控制器并且在可见光摄像机的视野中具有所述车辆的视野；
其中所述控制器还被编程为：
接收所述可见光摄像机的第三输出；
如果在所述第一输出和所述第二输出之间的所述变化指示所述异常，则(a)识别所述第三输出中对应于所述异常的关注区域(ROI)，以及(b)将ROI传送到调度器；
接收来自所述调度器的输入；
如果所述输入是继续行进到清洁站的指令，则将车辆自主地驱动到所述清洁站；以及
如果所述输入是继续行进到下一个接载位置的指令，则将所述车辆自主地驱动到所述下一个接载位置。
3.根据权利要求2所述的系统，其中所述控制器还被编程为：
在所述第三输出之前接收来自所述可见光摄像机的第四输出；
评估(a)所述第一输出和所述第二输出之间的差异与(b)所述第四输出和所述第三输出之间的差异的组合；以及
如果所述组合指示所述异常，则调用所述补救措施。
4.根据权利要求1所述的系统，其中所述控制器还被编程为在接载乘客之前利用所述IR摄像机捕获所述第一输出并且在放下乘客之后利用所述IR摄像机捕获所述第二输出。
5.根据权利要求4所述的系统，其中所述控制器还被编程为：
从所述第二输出中减去所述第一输出以获得差分图像；以及
评估所述差分图像以确定所述第一输出和所述第二输出是否指示所述异常。
6.根据权利要求5所述的系统，其中所述控制器还被编程为：
识别所述差分图像中超过阈值的像素；以及
评估所述差分图像中超过所述阈值的所述像素是否指示所述异常。
7.根据权利要求5所述的系统，其中所述控制器还被编程为：
识别所述差分图像中超过阈值的像素；以及
评估所述差分图像中超过所述阈值的所述像素是否指示所述异常。
8.根据权利要求5所述的系统，其中所述控制器还被编程为：
识别所述差分图像中超过阈值的像素以获得阈值之上的像素；
识别连续的阈值之上的像素的集群；以及
如果所述集群中的任何一个大于阈值尺寸，则将大于所述阈值尺寸的所述集群识别为异常。
9.一种方法，包括通过车辆的控制器进行以下步骤：
接收在IR摄像机的视野中具有所述车辆的内部的IR摄像机的第一输出；
在所述第一输出之后接收所述IR摄像机的第二输出；
确定在所述第一输出和所述第二输出之间的变化指示异常；以及
响应于确定所述第一输出和所述第二输出之间的所述变化指示所述异常，而调用补救措施。
10.根据权利要求9述的方法，还包括：
接收来自可见光摄像机的第三输出，所述可见光摄像机的视野包括所述车辆的所述内部；
响应于确定所述第一输出和所述第二输出之间的所述变化指示所述异常，而(a)识别在所述第三输出中对应于所述异常的关注区域(ROI)，以及(b)将所述ROI传送到调度器。
11.根据权利要求10述的方法，还包括：
接收来自所述调度器的包括继续行进到清洁站的指令的输入；以及
响应于所述输入，而将所述车辆自主地驱动到所述清洁站。
12.根据权利要求10述的方法，还包括：
接收来自所述调度器的包括继续行进到下一个接载位置的指令的输入；以及
响应于所述输入，而将所述车辆自主地驱动到所述下一个接载位置。
13.根据权利要求10述的方法，还包括：
在所述第三输出之前接收来自所述可见光摄像机的第四输出；
评估所述第一输出和所述第二输出之间的差异与所述第四输出和所述第三输出之间的差异的组合；以及
确定所述组合指示所述异常。
14.根据权利要求9所述的方法，还包括：
在接载乘客之前利用所述IR摄像机捕获所述第一输出并且在放下所述乘客之后利用所述IR摄像机捕获所述第二输出；
从所述第二输出中减去所述第一输出以获得差分图像；
识别所述差分图像中超过阈值的像素；以及
评估所述差分图像中超过所述阈值的所述像素是否指示所述异常。
15.根据权利要求14所述的方法，还包括：
识别所述差分图像中超过阈值的像素以获得阈值之上的像素；
识别连续的阈值之上的像素的集群；以及
将大于所述阈值尺寸的集群识别为异常。
CN201810076036.6A 2017-02-03 2018-01-26 一种用于评估自主车辆的内部的系统和方法 Active CN108388837B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/424,309 US10290158B2 (en) 2017-02-03 2017-02-03 System and method for assessing the interior of an autonomous vehicle
US15/424,309 2017-02-03

Publications (2)

Publication Number Publication Date
CN108388837A true CN108388837A (zh) 2018-08-10
CN108388837B CN108388837B (zh) 2023-07-04

Family

ID=61730967

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810076036.6A Active CN108388837B (zh) 2017-02-03 2018-01-26 一种用于评估自主车辆的内部的系统和方法

Country Status (6)

Country Link
US (1) US10290158B2 (zh)
CN (1) CN108388837B (zh)
DE (1) DE102018102285A1 (zh)
GB (1) GB2561062A (zh)
MX (1) MX2018001297A (zh)
RU (1) RU2018103182A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190577A (zh) * 2018-09-13 2019-01-11 长安大学 一种结合头枕和人脸特征的出租车副驾座异常的图像信号检测方法
CN110110704A (zh) * 2019-05-21 2019-08-09 北京首汽智行科技有限公司 一种车辆卫生监控方法及系统
CN113246931A (zh) * 2021-06-11 2021-08-13 创新奇智(成都)科技有限公司 一种车辆控制方法、装置、电子设备及存储介质

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807172B2 (en) * 2013-10-18 2017-10-31 At&T Intellectual Property I, L.P. Mobile device intermediary for vehicle adaptation
JP2019087045A (ja) * 2017-11-07 2019-06-06 トヨタ自動車株式会社 ドライバレス輸送システム
US11073838B2 (en) 2018-01-06 2021-07-27 Drivent Llc Self-driving vehicle systems and methods
US10303181B1 (en) 2018-11-29 2019-05-28 Eric John Wengreen Self-driving vehicle systems and methods
WO2019185359A1 (en) * 2018-03-29 2019-10-03 Robert Bosch Gmbh Method and system for vision-based vehicle interior environment sensing guided by vehicle prior information
US10471804B1 (en) 2018-09-18 2019-11-12 Drivent Llc Self-driving vehicle systems and methods
US10282625B1 (en) 2018-10-01 2019-05-07 Eric John Wengreen Self-driving vehicle systems and methods
US10289922B1 (en) * 2018-09-18 2019-05-14 Eric John Wengreen System for managing lost, mislaid, or abandoned property in a self-driving vehicle
US10479319B1 (en) 2019-03-21 2019-11-19 Drivent Llc Self-driving vehicle systems and methods
US10493952B1 (en) 2019-03-21 2019-12-03 Drivent Llc Self-driving vehicle systems and methods
US11221621B2 (en) 2019-03-21 2022-01-11 Drivent Llc Self-driving vehicle systems and methods
US11644833B2 (en) 2018-10-01 2023-05-09 Drivent Llc Self-driving vehicle systems and methods
US10900792B2 (en) 2018-10-22 2021-01-26 Drivent Llc Self-driving vehicle systems and methods
US10794714B2 (en) 2018-10-01 2020-10-06 Drivent Llc Self-driving vehicle systems and methods
US10832569B2 (en) 2019-04-02 2020-11-10 Drivent Llc Vehicle detection systems
US10481606B1 (en) 2018-11-01 2019-11-19 Drivent Llc Self-driving vehicle systems and methods
JP2020095354A (ja) * 2018-12-10 2020-06-18 トヨタ自動車株式会社 運行支援装置、運行支援システム、及び運行支援プログラム
US10377342B1 (en) 2019-02-04 2019-08-13 Drivent Technologies Inc. Self-driving vehicle systems and methods
US10744976B1 (en) 2019-02-04 2020-08-18 Drivent Llc Self-driving vehicle systems and methods
DE102019208871A1 (de) * 2019-06-18 2020-12-24 Thyssenkrupp Ag Einrichtung und Verfahren zur Ermittlung des Innenraumzustandes eines Fahrzeugs
EP3796209A1 (en) * 2019-09-17 2021-03-24 Aptiv Technologies Limited Method and system for determining an activity of an occupant of a vehicle
US11361574B2 (en) 2019-10-23 2022-06-14 Bendix Commercial Vehicle Systems Llc System and method for monitoring for driver presence and position using a driver facing camera
US11334985B2 (en) 2019-10-25 2022-05-17 Robert Bosch Gmbh System and method for shared vehicle cleanliness detection
US11017248B1 (en) 2019-12-18 2021-05-25 Waymo Llc Interior camera system for a self driving car
US11262562B2 (en) 2020-03-18 2022-03-01 Waymo Llc Infrared camera module cover
US20220063569A1 (en) * 2020-08-27 2022-03-03 Ford Global Technologies, Llc Wet seat detection
FR3116686B1 (fr) * 2020-11-26 2023-12-08 Faurecia Interieur Ind Dispositif de capture d’images et véhicule comprenant un tel dispositif de capture d’images
CN112525267A (zh) * 2020-12-21 2021-03-19 南京领行科技股份有限公司 一种车内环境检测方法、装置、电子设备及存储介质
US11820338B2 (en) 2021-02-10 2023-11-21 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle cleaning and feedback system using adjustable ground truth
US11780349B2 (en) 2021-03-10 2023-10-10 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for detecting objects left behind by using heated resistive filament in a vehicle
JP2022155335A (ja) * 2021-03-30 2022-10-13 パナソニックＩｐマネジメント株式会社 インキャビンモニタリングシステムおよび車室内検知方法
DE102022202349A1 (de) 2022-03-09 2023-09-14 Brose Fahrzeugteile Se & Co. Kommanditgesellschaft, Bamberg Verfahren und Überwachungssystem zur elektronischen Ermittlung eines Reinigungsbedarfes betreffend einen Innenraum eines Fahrzeuges

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001247611A1 (en) * 2000-03-20 2001-12-13 Gentex Corporation System for Controlling Exterior Vehicle Lights
US20130010096A1 (en) * 2009-12-02 2013-01-10 Tata Consultancy Services Limited Cost effective and robust system and method for eye tracking and driver drowsiness identification
CN102975719A (zh) * 2011-09-02 2013-03-20 现代自动车株式会社 使用红外线传感器检测驾驶者状况的装置和方法
CN103164708A (zh) * 2011-12-13 2013-06-19 施乐公司 确定车辆承载检测的像素分类阈值
CN103493112A (zh) * 2011-02-22 2014-01-01 菲力尔系统公司 红外传感器系统及方法
WO2014120248A1 (en) * 2013-02-03 2014-08-07 Michael Gurin Systems for a shared vehicle
CN104442624A (zh) * 2013-09-13 2015-03-25 福特全球技术公司 用于自动录像的车辆系统
CN105191288A (zh) * 2012-12-31 2015-12-23 菲力尔系统公司 异常像素检测
CN205160655U (zh) * 2012-12-21 2016-04-13 菲力尔系统公司 用于交通工具的红外成像系统
CN108016449A (zh) * 2016-11-04 2018-05-11 福特全球技术公司 一种用于评估自主车辆的内部的系统和方法

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7596242B2 (en) 1995-06-07 2009-09-29 Automotive Technologies International, Inc. Image processing for vehicular applications
US9290146B2 (en) * 1992-05-05 2016-03-22 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
JPH06273255A (ja) 1993-03-22 1994-09-30 Mitsubishi Heavy Ind Ltd 漏油検知方法及び装置
US6587573B1 (en) * 2000-03-20 2003-07-01 Gentex Corporation System for controlling exterior vehicle lights
US6005958A (en) * 1997-04-23 1999-12-21 Automotive Systems Laboratory, Inc. Occupant type and position detection system
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
US7813559B2 (en) 2001-11-13 2010-10-12 Cyberoptics Corporation Image analysis for pick and place machines with in situ component placement inspection
US6781676B2 (en) * 2002-03-22 2004-08-24 Trw Inc. Structured lighting detection of vehicle occupant type and position
SE0201529D0 (sv) 2002-05-21 2002-05-21 Flir Systems Ab Method and apparatus for IR camera inspections
DE10305861A1 (de) 2003-02-13 2004-08-26 Adam Opel Ag Vorrichtung eines Kraftfahrzeuges zur räumlichen Erfassung einer Szene innerhalb und/oder außerhalb des Kraftfahrzeuges
EA009547B1 (ru) 2003-06-11 2008-02-28 ФАРРИ БРАЗЕРС ЛЛСи Способ визуального обнаружения утечки химиката, выделяющегося из объекта
JP3832455B2 (ja) * 2003-07-31 2006-10-11 日産自動車株式会社 車輌周囲表示装置
US20050131625A1 (en) 2003-11-19 2005-06-16 Birger Alexander B. Schoolchildren transportation management systems, methods and computer program products
JP4351919B2 (ja) 2004-01-21 2009-10-28 株式会社ケンウッド 送りバス用管理装置、出迎え管理装置、送りバス用管理方法及び出迎え管理方法
WO2007141858A1 (ja) 2006-06-08 2007-12-13 Fujitsu Limited 汚れ検出方式
JP5178085B2 (ja) * 2007-08-07 2013-04-10 株式会社村上開明堂 撮像装置付きバックミラー
US8124931B2 (en) 2007-08-10 2012-02-28 Schlumberger Technology Corporation Method and apparatus for oil spill detection
DE102008009190A1 (de) 2008-02-15 2009-08-27 Siemens Aktiengesellschaft Verfahren zur automatischen Bestimmung der Ruhephase des Herzens
JP5509801B2 (ja) 2009-11-13 2014-06-04 三菱電機株式会社 エレベータシステム
US8959163B1 (en) * 2010-08-04 2015-02-17 Open Invention Network, Llc Method and apparatus of organizing and delivering data to intended recipients
CN202448860U (zh) 2011-12-21 2012-09-26 浙江吉利汽车研究院有限公司 一种出租车行李遗忘提醒装置
CN202422205U (zh) 2012-02-29 2012-09-05 李德明 移动助学公交管理系统
US9128185B2 (en) 2012-03-15 2015-09-08 GM Global Technology Operations LLC Methods and apparatus of fusing radar/camera object data and LiDAR scan points
DE102012007559A1 (de) 2012-04-14 2012-11-08 Daimler Ag Verfahren und Vorrichtung zur Dichtheitsprüfung eines Fahrzeugs
CA2878107A1 (en) 2012-07-04 2014-01-09 Repsol, S.A. Infrared image based early detection of oil spills in water
US10055694B2 (en) 2012-08-07 2018-08-21 Hitachi, Ltd. Use-assisting tool for autonomous mobile device, operation management center, operation system, and autonomous mobile device
CN202871022U (zh) 2012-08-08 2013-04-10 厦门雅迅网络股份有限公司 一种基于gps和人脸识别的校车全自动监控系统
US20140163329A1 (en) 2012-12-11 2014-06-12 Elwha Llc Unobtrusive Active Eye Interrogation with Gaze Attractor
US9101297B2 (en) 2012-12-11 2015-08-11 Elwha Llc Time-based unobtrusive active eye interrogation
DE102013001332B4 (de) 2013-01-26 2017-08-10 Audi Ag Verfahren zur Erfassung des Verschmutzungsgrades eines Fahrzeugs
US9488982B2 (en) 2013-02-03 2016-11-08 Michael H Gurin Systems for a shared vehicle
CN203224912U (zh) 2013-02-28 2013-10-02 湖南科技学院 基于物联网的校车安全监控系统
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
JP6343769B2 (ja) 2013-08-23 2018-06-20 中嶋　公栄 忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム
JP5818857B2 (ja) 2013-10-24 2015-11-18 キヤノン株式会社 情報処理装置およびその制御方法
CN104597857A (zh) 2013-10-31 2015-05-06 大连易维立方技术有限公司 校车远程安全监控方法
CN104601937A (zh) 2013-10-31 2015-05-06 大连易维立方技术有限公司 校车远程安全监控系统
US9814410B2 (en) 2014-05-06 2017-11-14 Stryker Corporation Person support apparatus with position monitoring
JP6827918B2 (ja) * 2014-06-11 2021-02-10 ヴェリディウム アイピー リミテッド 生体情報に基づいて、ユーザの車両へのアクセスを容易にするためのシステムと方法
US20160078576A1 (en) 2014-09-17 2016-03-17 Fortress Systems International, Inc. Cloud-based vehicle monitoring systems and methods
US10133927B2 (en) 2014-11-14 2018-11-20 Sony Corporation Method and system for processing video content
CN107580715B (zh) 2015-04-23 2022-05-31 Bd科斯特公司 用于自动计数微生物菌落的方法和系统
KR101646134B1 (ko) * 2015-05-06 2016-08-05 현대자동차 주식회사 자율주행차량 및 그 제어 방법
US9616773B2 (en) 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
EP3888958B1 (en) * 2015-06-03 2023-05-24 ClearMotion, Inc. Method of mitigating motion sickness in an autonomous vehicle
US10150448B2 (en) 2015-09-18 2018-12-11 Ford Global Technologies. Llc Autonomous vehicle unauthorized passenger or object detection
US20170091559A1 (en) * 2015-09-29 2017-03-30 Valeo North America, Inc. Camera monitor system for a vehicle
US9855926B2 (en) 2016-01-26 2018-01-02 GM Global Technology Operations LLC Systems and methods for promoting cleanliness of a vehicle
US20170267251A1 (en) * 2016-03-15 2017-09-21 Palo Alto Research Center Incorporated System And Method For Providing Context-Specific Vehicular Driver Interactions
KR101777518B1 (ko) * 2016-04-07 2017-09-11 엘지전자 주식회사 인테리어 카메라 장치, 이를 포함하는 차량 운전 보조장치 및 이를 포함하는 차량
US20170330044A1 (en) 2016-05-10 2017-11-16 GM Global Technology Operations LLC Thermal monitoring in autonomous-driving vehicles
JP6792351B2 (ja) 2016-06-01 2020-11-25 キヤノン株式会社 符号化装置、撮像装置、符号化方法、及びプログラム
US9760827B1 (en) * 2016-07-22 2017-09-12 Alpine Electronics of Silicon Valley, Inc. Neural network applications in resource constrained environments

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2001247611A1 (en) * 2000-03-20 2001-12-13 Gentex Corporation System for Controlling Exterior Vehicle Lights
US20130010096A1 (en) * 2009-12-02 2013-01-10 Tata Consultancy Services Limited Cost effective and robust system and method for eye tracking and driver drowsiness identification
CN103493112A (zh) * 2011-02-22 2014-01-01 菲力尔系统公司 红外传感器系统及方法
CN102975719A (zh) * 2011-09-02 2013-03-20 现代自动车株式会社 使用红外线传感器检测驾驶者状况的装置和方法
CN103164708A (zh) * 2011-12-13 2013-06-19 施乐公司 确定车辆承载检测的像素分类阈值
CN205160655U (zh) * 2012-12-21 2016-04-13 菲力尔系统公司 用于交通工具的红外成像系统
CN105191288A (zh) * 2012-12-31 2015-12-23 菲力尔系统公司 异常像素检测
WO2014120248A1 (en) * 2013-02-03 2014-08-07 Michael Gurin Systems for a shared vehicle
CN104442624A (zh) * 2013-09-13 2015-03-25 福特全球技术公司 用于自动录像的车辆系统
CN108016449A (zh) * 2016-11-04 2018-05-11 福特全球技术公司 一种用于评估自主车辆的内部的系统和方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
NANXIANG LI等: "Modeling of Driver Behavior in Real World Scenarios Using Multiple Noninvasive Sensors", 《IEEE TRANSACTIONS ON MULTIMEDIA》 *
S PENDLETON等: "Autonomous golf cars for public trial of mobility-on-demand service", 《2015 IEEE/RSJ INTERNATIONAL CONFERENCE ON INTELLIGENT ROBOTS AND SYSTEMS (IROS)》 *
ZHICHAOC: "智能小车中红外检测", 《HTTPS://WWW.DOCIN.COM/P-1152639021.HTML》 *
兰羽: "基于红外传感器ST188的自动循迹小车设计", 《电子设计工程》 *
激埃特光电: "通过红外传感器技术保护乘客的安全", 《HTTP://WWW.GIAITECH.COM.CN/ARCHIVES/2336.HTML》 *
钟令: "基于红外图像的车辆前方行人识别与跟踪技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109190577A (zh) * 2018-09-13 2019-01-11 长安大学 一种结合头枕和人脸特征的出租车副驾座异常的图像信号检测方法
CN109190577B (zh) * 2018-09-13 2021-10-26 长安大学 一种结合头枕和人脸特征的出租车副驾座异常的图像信号检测方法
CN110110704A (zh) * 2019-05-21 2019-08-09 北京首汽智行科技有限公司 一种车辆卫生监控方法及系统
CN113246931A (zh) * 2021-06-11 2021-08-13 创新奇智(成都)科技有限公司 一种车辆控制方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
GB201801668D0 (en) 2018-03-21
CN108388837B (zh) 2023-07-04
RU2018103182A (ru) 2019-07-30
US20180225890A1 (en) 2018-08-09
US10290158B2 (en) 2019-05-14
GB2561062A (en) 2018-10-03
DE102018102285A1 (de) 2018-08-09
MX2018001297A (es) 2018-11-09

Similar Documents

Publication Publication Date Title
CN108388837A (zh) 一种用于评估自主车辆的内部的系统和方法
US10479328B2 (en) System and methods for assessing the interior of an autonomous vehicle
US10705521B2 (en) Autonomous driving interface
CN108062095A (zh) 在概率框架内使用传感器融合的物体追踪
CN108345836A (zh) 用于自主车辆的标志识别
US20160297642A1 (en) Intelligent building system for providing elevator occupancy information with anonymity
US20180067488A1 (en) Situational awareness determination based on an annotated environmental model
KR20200115594A (ko) 차량 탑재 제어 유닛, fpga 기반 차량 자동 주행 방법 및 장치
CN108334081A (zh) 用于对象检测的循环深度卷积神经网络
GB2554123A (en) Detecting hazards in anticipation of opening vehicle doors
GB2559032A (en) Autonomous school bus
US11269327B2 (en) Picking up and dropping off passengers at an airport using an autonomous vehicle
CN111347985A (zh) 自动驾驶出租车
US20190272755A1 (en) Intelligent vehicle and method for using intelligent vehicle
US20220129696A1 (en) Using temporal filters for automated real-time classification
CN113165651A (zh) 电子装置及其控制方法
CN114170826A (zh) 自动驾驶控制方法和装置、电子设备和存储介质
JP7172464B2 (ja) 車両及び車両の運用方法
JP2019525863A (ja) 車両におけるアダプティブクルーズコントロールのための追い越し加速支援
JP6600344B2 (ja) 車両制御装置、車両制御方法、及び、車両制御装置の制御プログラム
JP7186749B2 (ja) 管理システム、管理方法、管理装置、プログラム及び通信端末
US20210195145A1 (en) Video processing request system for converting synchronous video processing task requests to asynchronous video processing requests
US20210103738A1 (en) Autonomous system terminus assistance techniques
US20210039660A1 (en) Anomaly Detector For Vehicle Control Signals
JP7071847B2 (ja) 自動運転車両を制御するためのシステム、方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant