CN108388837B - 一种用于评估自主车辆的内部的系统和方法 - Google Patents
一种用于评估自主车辆的内部的系统和方法 Download PDFInfo
- Publication number
- CN108388837B CN108388837B CN201810076036.6A CN201810076036A CN108388837B CN 108388837 B CN108388837 B CN 108388837B CN 201810076036 A CN201810076036 A CN 201810076036A CN 108388837 B CN108388837 B CN 108388837B
- Authority
- CN
- China
- Prior art keywords
- output
- vehicle
- anomaly
- receiving
- controller
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 35
- 238000004140 cleaning Methods 0.000 claims abstract description 12
- 230000008859 change Effects 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 9
- 230000000246 remedial effect Effects 0.000 claims description 8
- 230000002159 abnormal effect Effects 0.000 claims 1
- 230000006870 function Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000005856 abnormality Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 239000007788 liquid Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000001444 catalytic combustion detection Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 235000020965 cold beverage Nutrition 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000029305 taxis Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/006—Indicating maintenance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
- B60S3/00—Vehicle cleaning apparatus not integral with vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60S—SERVICING, CLEANING, REPAIRING, SUPPORTING, LIFTING, OR MANOEUVRING OF VEHICLES, NOT OTHERWISE PROVIDED FOR
- B60S5/00—Servicing, maintaining, repairing, or refitting of vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
- B60W10/06—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W10/00—Conjoint control of vehicle sub-units of different type or different function
- B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0953—Predicting travel path or likelihood of collision the prediction being responsive to vehicle dynamic parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/254—Analysis of motion involving subtraction of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/20—Monitoring the location of vehicles belonging to a group, e.g. fleet of vehicles, countable or determined number of vehicles
- G08G1/202—Dispatching vehicles on the basis of a location, e.g. taxi dispatching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/06—Combustion engines, Gas turbines
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/18—Braking system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/20—Steering systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30268—Vehicle interior
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/0875—Registering performance data using magnetic data carriers
- G07C5/0891—Video recorder in combination with video camera
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Transportation (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Automation & Control Theory (AREA)
- Quality & Reliability (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Game Theory and Decision Science (AREA)
- Business, Economics & Management (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
一种自主车辆包括内部传感器,该内部传感器包括IR摄像机和可见光摄像机。车辆的内部的图像是在乘客乘车前后使用摄像机拍摄的。前后的红外图像被相减以获得差分图像。阈值强度之上的像素集群在一起。具有阈值之上尺寸的群集被确定为异常。来自可见光摄像机的对应于异常的图像的一部分被发送给调度器,调度器然后可以清理车辆以接载另一乘客或者继续行进到清洁站。可以基于IR图像和可见光图像的组合来识别异常。
Description
技术领域
本发明涉及一种用于自主车辆的传感器系统和方法。
背景技术
自主车辆是许多研究和开发的主题。这种车辆包括能够识别和避开障碍物并且导航到目的地的一组传感器和控制逻辑。自主车辆的一个应用是用作可以按需接载乘客的出租车。
本文公开的系统和方法提供了一种用于提供自主出租车服务的方法。
发明内容
根据本发明,提供一种用于车辆的系统,包括:
红外(IR)摄像机,该红外(IR)摄像机感测车辆的内部;
控制器,该控制器连接到IR摄像机并且编程为--
接收IR摄像机的第一输出;
在第一输出之后接收IR摄像机的第二输出;以及
如果在第一输出和第二输出之间的变化指示异常,则调用补救措施。
根据本发明的一个实施例,还包括:
可见光摄像机,该可见光摄像机可操作地连接到控制器并且在可见光摄像机的视野中具有车辆的内部;
其中控制器还被编程为:
接收可见光摄像机的第三输出;
如果在第一输出和第二输出之间的变化指示异常,则(a)识别第三输出中对应于异常的关注区域(ROI),以及(b)将ROI传送到调度器。
根据本发明的一个实施例,其中控制器还被编程为:
接收来自调度器的输入;
如果输入是继续行进到清洁站的指令,则将车辆自主地驱动到清洁站。
根据本发明的一个实施例,控制器还被编程为:
如果输入是继续行进到下一个接载位置的指令,则将车辆自主地驱动到下一个接载位置。
根据本发明的一个实施例,控制器还被编程为:
在第三输出之前接收来自可见光摄像机的第四输出;
评估(a)第一输出和第二输出之间的差异与(b)第四输出和第三输出之间的差异的组合;以及
如果组合指示异常,则调用补救措施。
根据本发明的一个实施例,控制器还被编程为在接载乘客之前利用IR摄像机捕获第一输出并且在放下乘客之后利用IR摄像机捕获第二输出。
根据本发明的一个实施例,控制器还被编程为:
从第二输出中减去第一输出以获得差分图像;以及
评估差分图像以确定第一输出和第二输出是否指示异常。
根据本发明的一个实施例,控制器还被编程为:
识别差分图像中超过阈值的像素;以及
评估差分图像中超过阈值的像素是否指示异常。
根据本发明的一个实施例,控制器还被编程为:
识别差分图像中超过阈值的像素;以及
评估差分图像中超过阈值的像素是否指示异常。
根据本发明的一个实施例,控制器还被编程为:
识别差分图像中超过阈值的像素以获得阈值之上的像素;
识别连续的阈值之上的像素的集群;以及
如果集群中的任何一个大于阈值尺寸,则将大于阈值尺寸的集群识别为异常。
根据本发明,提供一种方法包括,通过车辆的控制器进行以下步骤:
接收在IR摄像机的视野中具有车辆的内部的IR摄像机的第一输出;
在第一输出之后接收IR摄像机的第二输出;
确定在第一输出和第二输出之间的变化指示异常;以及
响应于确定第一输出和第二输出之间的变化指示异常,而调用补救措施。
根据本发明的一个实施例,还包括:
接收来自可见光摄像机的第三输出,可见光摄像机的视野包括车辆的内部;
响应于确定第一输出和第二输出之间的变化指示异常,而(a)识别在第三输出中对应于异常的关注区域(ROI),以及(b)将ROI传送到调度器。
根据本发明的一个实施例,还包括:
接收来自调度器的包括继续行进到清洁站的指令的输入;以及
响应于输入,而将车辆自主地驱动到清洁站。
根据本发明的一个实施例,还包括:
接收来自调度器的包括继续行进到下一个接载位置的指令的输入;以及
响应于输入,而将车辆自主地驱动到下一个接载位置。
根据本发明的一个实施例,还包括:
在第三输出之前接收来自可见光摄像机的第四输出;
评估第一输出和第二输出之间的差异与第四输出和第三输出之间的差异的组合;以及
确定组合指示异常。
根据本发明的一个实施例,还包括在接载乘客之前利用IR摄像机捕获第一输出并且在放下乘客之后利用IR摄像机捕获第二输出。
根据本发明的一个实施例,还包括:
从第二输出中减去第一输出以获得差分图像;以及
评估差分图像以确定第一输出和第二输出是否指示异常。
根据本发明的一个实施例,还包括:
识别差分图像中超过阈值的像素;以及
评估差分图像中超过阈值的像素是否指示异常。
根据本发明的一个实施例,还包括:
识别差分图像中超过阈值的像素;以及
评估差分图像中超过阈值的像素是否指示异常。
根据本发明的一个实施例,还包括:
识别差分图像中超过阈值的像素以获得阈值之上的像素;
识别连续的阈值之上的像素的集群;以及
将大于阈值尺寸的集群识别为异常。
附图说明
为了本发明的优点将被容易的理解,将通过参考附图中所示的具体实施例来提出对上面简要描述的本发明更加详细的描述。理解这些附图仅描述了本发明的典型实施例并且因此不应被考虑为限制其范围,将通过使用附图利用附加的特征和细节来描述和解释本发明,在附图中:
图1A是用于实施本发明的实施例的系统的示意性框图;
图1B是包括用于实施本发明的实施例的内部传感器的车辆的示意性框图;
图2是适合于实施根据本发明的实施例的方法的示例性计算装置的示意性框图;
图3是用于根据本发明的实施例评估自主出租车的状态的方法的过程流程图;以及
图4A至图4D是示出了根据本发明的实施例识别车辆内部中的异常的图像。
具体实施方式
参考图1A和图1B,车辆100(参见图1B)可以容纳控制器102。车辆100可以包括本领域中已知的任何车辆。车辆100可以具有本领域已知的任何车辆的所有结构和特征,该结构和特征包括车轮、连接到车轮的传动系统、连接到传动系统的发动机、转向系统、制动系统以及本领域中已知的被包括在车辆中的其它系统。
如本文更详细讨论的,控制器102可以执行自主导航和碰撞避免。控制器102可以接收来自一个或多个外部传感器104的一个或多个输出。例如,一个或多个摄像机106a可以被安装到车辆100,并且将接收到的图像流输出到控制器102。控制器102可以接收来自一个或多个麦克风106b的一个或多个音频流。例如,一个或多个麦克风106b或麦克风阵列106b可以被安装到车辆100并且将音频流输出到控制器102。麦克风106b可以包括具有随角度变化的灵敏度的定向麦克风。
外部传感器104可以包括诸如RADAR(无线电检测和测距)106c、LIDAR(光检测和测距)106d、SONAR(声音导航和测距)106e等的传感器。
控制器102可以执行接收外部传感器104的输出的自主操作模块108。自主操作模块108可以包括障碍物识别模块110a、碰撞预测模块110b以及判定模块110c。障碍物识别模块110a分析外部传感器的输出并且识别潜在的障碍物,该障碍物包括人、动物、车辆、建筑物、路沿以及其它物体和结构。特别地,障碍物识别模块110a可以识别传感器输出中的车辆图像。
碰撞预测模块110b基于车辆100当前的轨迹或当前的预期路径预测哪些障碍物图像可能与车辆100发生碰撞。碰撞预测模块110b可以评估与由障碍物识别模块110a识别的物体碰撞的可能性。判定模块110c可以做出停止、加速、转弯等的决定以便避开障碍物。碰撞预测模块110b预测潜在碰撞的方式和判定模块110c采取行动以避开潜在碰撞的方式都可以根据自主车辆领域中已知的任何方法或系统。
判定模块110c可以通过致动控制车辆100的方向和速度的一个或多个致动器112来控制车辆的轨迹。例如,致动器112可以包括转向致动器114a、加速器致动器114b以及制动致动器114c。致动器114a-114c的配置可以根据自主车辆领域中已知的这种致动器的任何实施方式。
本文公开的实施例中,自主操作模块108可以执行到指定位置的自主导航、自主停车以及本领域已知的其它自动驾驶活动。
自主操作模块108还可以包括根据本文所公开的方法评估车辆100的内部的状态的内部模块110d。内部模块110d可以评估一个或多个内部传感器116的输出。内部传感器116可以包括一个或多个摄像机118a,即可见光摄像机(诸如静态图像或视频摄像机)。内部传感器116也可以包括一个或多个红外(IR)摄像机118b。内部传感器116可以包括本领域已知的任何传感器,诸如电化学传感器、湿度传感器或电子温度计。例如,内部模块110d可以实施2016年11月4日提交的标题为“一种用于评估自主车辆的内部的系统和方法(A Systemand Methods for Assessing the Interior of a Autonomous Vehicle)”的美国申请序列号15/343,726中公开的技术,其全部内容在此并入本文。
如图1B所示,一个或多个摄像机118a可以在车辆中定位和定向,以在摄像机118a中的至少一个的视野中具有所有座椅表面(座椅底部和座椅靠背)。车辆内部的其它区域也可以位于摄像机118a中的至少一个的视野中。
一个或多个IR摄像机118b可以在车辆中定位和定向,以在IR摄像机118b中的至少一个的视野中具有所有座椅表面(座椅底部和座椅靠背)。车辆内部的其它区域也可以位于IR摄像机118b中的至少一个的视野中。
控制器102可以诸如通过网络122与服务器120进行数据通信,网络122可以包括任何有线或无线网络连接,含蜂窝数据网络连接。本文公开的方法可以由服务器120、控制器102或两者的组合来实施。
图2是示出示例性计算装置200的框图。计算装置200可以用于执行诸如本文所讨论的各种程序。控制器102和服务器系统120可以具有计算装置200的一些或全部属性。
计算装置200包括一个或多个处理器202、一个或多个存储装置204、一个或多个接口206、一个或多个大容量存储装置208、一个或多个输入/输出(I/O)装置210以及显示装置230,所有这些装置都连接到总线212。处理器202包括执行存储在存储装置204和/或大容量存储装置208中的指令的一个或多个处理器或控制器。处理器202也可以包括诸如高速缓冲存储器的各种类型的计算机可读介质。
存储装置204包括诸如易失性存储器(例如,随机存取存储器(RAM)214)和/或非易失性存储器(例如,只读存储器(ROM)216)的各种计算机可读介质。存储装置204也可以包括诸如闪存的可重写ROM。
大容量存储装置208包括各种计算机可读介质,诸如磁带、磁盘、光盘、固态存储器(例如,闪存)等等。如图2所示,特定大容量存储装置是硬盘驱动器224。各种驱动器也可以被包括在大容量存储装置208中以使得能够从各种计算机可读介质读取和/或写入各种计算机可读介质。大容量存储装置208包括可移动介质226和/或不可移动介质。
I/O装置210包括允许将数据和/或其它信息输入到计算装置200或从计算装置200取回的各种装置。示例性I/O装置210包括光标控制装置、键盘、小键盘、麦克风、监视器或其它显示装置、扬声器、打印机、网络接口卡、调制解调器、镜头、CCD(电荷耦合器件(ChargeCoupled Device))或其它图像捕获装置等。
显示装置230包括能够向计算装置200中的一个或多个用户显示信息的任何类型的装置。显示装置230的示例包括监视器、显示终端、视频投影装置等。
接口206包括允许计算装置200与其它系统、装置或计算环境交互的各种接口。示例性接口206包括任意数量的不同网络接口220,诸如与局域网(LAN)、广域网(WAN)、无线网络以及因特网的接口。其它接口包括用户界面218和外围装置接口222。接口206也可以包括一个或多个外围接口,诸如用于打印机、指向装置(鼠标、跟踪板等)、键盘等的接口。
总线212允许处理器202、存储装置204、接口206、大容量存储装置208、I/O装置210以及显示装置230彼此通信,以及与耦合到总线212的其它装置或部件通信。总线212表示几种类型的总线结构(诸如系统总线、外围部件互连(Peripheral Component Interconnect,PCI)总线、IEEE 1394总线,通用串行总线(Universal Serial Bus,USB)等等)中的一个或多个。
为了说明的目的,程序和其它可执行程序部件在本文中被示出为离散块,但是可以理解的是,这种程序和部件可以在不同时间驻留在计算装置200的不同存储部件中,并且由处理器202执行。可替选地,本文描述的系统和程序可以以硬件、或者硬件、软件和/或固件的组合的形式来实施。例如,一个或多个专用集成电路(ASIC)可以被编程为执行本文描述的系统和程序中的一个或多个。
参考图3,所示出的方法300可以被用于获得来自内部传感器116的数据,以便评估车辆100的内部的状况。方法300可以由控制器102、服务器系统120执行,或者在这些装置之间进行分配。
方法300可以包括使用一个或多个摄像机118a、一个或多个IR摄像机118b、或者一个或多个摄像机118a和一个或多个IR摄像机118b两者来接收302车辆的内部的一个或多个初始图像。
步骤302可以恰好在旅程中接载一个或多个乘客之前(例如,在接载位置处当一个或多个乘客进入车辆之前)、在从调度区域出发之前、在清洁站处清洁或检查之后、或者在之前的旅程中放下乘客之后而进行。
步骤302的一个或多个图像可以由控制器102存储,并且可以附加地或可替选地传送给服务器系统120,服务器系统120可以将步骤302的一个或多个图像存储在旅程数据记录中。
控制器100然后可以接载304一个或多个乘客、自主地导航到目的地、以及在目的地处放置306一个或多个乘客。
方法300然后可以包括使用一个或多个摄像机118a、一个或多个IR摄像机118b或者一个或多个摄像机118a和一个或多个IR摄像机118B两者来接收308车辆的内部的一个或多个最终图像。步骤308可以在放置306一个或多个乘客之后立即执行。例如,响应于在停靠在目的地之后检测到车辆100的一个或多个车门的关闭。在步骤308接收到的图像可以由控制器102在本地存储,并且可以附加地或可替选地传送到服务器系统120。
方法300然后可以包括执行310背景减除,例如,从相同区域的最终图像中减去区域的初始图像。例如,如图4A的可见光图像中所示,可以相对于车辆的后座执行方法300。在图4B中示出了初始IR图像,并且在图4C中示出具有溢出物(spill)的最终IR图像。由于溢出物可能很热(例如溢出的咖啡)或很冷(例如,冷饮或者由于蒸发而冷却的液体),溢出物将通常在IR图像中是特别可见的。图4D示出了从图像4C的相应像素值中减去图像4B的像素值的差分图像,即可以从最终图像中的给定位置处的像素中减去初始图像中的该位置处的像素以获得差异,该差异是差分图像中该位置处的像素值。
方法300可以包括应用312一个或多个阈值或应用其它图像处理技术来突出差分图像中的异常。例如,差分图像中具有低于阈值的强度的像素可以被移除。例如,在像素强度处于0和255之间的情况下,差分图像中高于40的强度可被保留并且进一步评估。剩余的像素然后可以被分组为连续像素的集群。然后可以评估每个群集占用的区域。那些由尺寸阈值(size threshold)以下的区域包围的群集可以从进一步考虑中移除。那些占据区域大于尺寸阈值的集群可以被进一步处理或者被识别为可能是溢出液体的异常。在一些实施例中,尺寸阈值是相对尺寸阈值,即那些小于图像中集群尺寸的某个百分比或其它函数的集群可被确定为低于尺寸阈值。可以执行本领域已知的其它处理技术,诸如视网膜大脑皮层理论(retinex)处理等。
在一些实施例中,步骤314的异常检测可以包括可见光和IR图像两者的处理。例如,IR差分图像可以被计算为初始IR图像和最终IR图像之间(即,乘客旅程之前和之后)的差异。可见光差分图像可以被计算为初始可见光图像和最终可见光图像之间的差异。可以分析这两个差分图像以确定是否存在异常。例如,可以以与上述相同的方式对可见光差分图像执行集群尺寸的阈值转换、分类归并以及评估。因此,在IR差分图像和可见光差分图像两者中都发现异常的情况下,确定出现异常的可能性将增加。
如果在步骤314的输出中检测到316异常,则方法300可以包括将警告发送到318调度器(dispatcher)。在一些实施例中,警告可以包括对应于每个异常的可见光图像的一部分。例如,如图4D所示,白色区域指示异常。相应的区域(例如在相同区域的可见光图像4A中的边界矩形)可以与警告一起发送,由此使得调度器能够验证是否出现溢出物。例如,可以传输具有对应于诸如通过叠加在图像上的边界矩形来突出的异常的区域的可见光图像。
调度器然后可以指示车辆继续行进到清洁站或释放320车辆以自主地行进到下一个接载位置,诸如由控制器102从服务器系统120接收到的接载位置。控制器102然后将使车辆继续行进到由调度器指示的位置。
在上面的描述中,参考形成本文的一部分的附图,并且该附图通过说明具体实施方式来示出,在该具体实施方式中可以实践本公开。可以理解的是在不脱离本发明的范围的情况下可以使用其它实施方式并且可以改变结构。说明书中,涉及“一个实施例”、“实施例”、“示例性实施例”等的内容表示描述的实施例可包括特定的特征、结构或者特性,但是每个实施例未必包括该特定的特征、结构或者特性。此外,这类词组未必涉及相同的实施例。而且,当结合实施例描述特定的特征、结构或者特性时,可以主张:不论是否明确的描述,结合其它实施例来改变这种特征、结构或者特性都在本领域技术人员的公知常识内。
本文公开的系统、装置以及方法的实施方式可包括或使用专用计算机或者通用计算机,如本文讨论的,该专用计算机或者通用计算机包括计算机硬件,例如一个或多个处理器以及系统存储器。在本发明范围内的实施方式也可包括用于承载或者存储计算机可执行的指令和/或数据结构的传统介质和其它计算机可读介质。这种计算机可读介质可以是任意可得介质,该介质可以通过通用计算机系统或者专用计算机系统存取。承载计算机可执行指令的计算机可读介质是传输介质。因此,举例来说但是不限于此,本发明的实施方式包括至少两个明显不同种类的计算机可读介质:计算机存储介质(装置)和传输介质。
计算机存储介质(装置)包括随机存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、只读光盘驱动器(CD-ROM)、固态驱动器(SSD)(例如,基于RAM)、闪存、相变存储器(PCM)、其它类型存储器、其它光盘存储、磁盘存储或者其它磁盘存储装置、或者任意其它介质,该任意其它介质可用于以计算机可执行指令或者数据结构的形式存储需要的程序代码装置并且其可通过通用计算机或者专用计算机存取。
本文公开的系统、装置以及方法的实施方式可通过计算机网络通信。“网络”限定为一个或多个数据连接,该数据连接能够在计算机系统和/或模块和/或其它电子装置之间传输电子数据。当信息通过网络或其它通信连接(硬连线的、无线的或者硬连线的或无线的结合)转移或提供到计算机时,计算机适当地将该连接视为传输介质。传输介质可包括网络和/或数据连接,该网络和/或数据连接可包括可用于以计算机可执行指令或者数据结构的形式承载需要的程序代码装置并且其可通过通用计算机或者专用计算机存取。上述的结合也应当认为包含在计算机可读介质的范围内。
例如,计算机可执行指令包括指令和数据,当在处理器中执行时,该指令和数据导致通用计算机、专用计算机或者专用处理装置执行某一功能或某组功能。例如,计算机可执行指令可以是二进制、中间格式指令(诸如汇编语言)或者甚至是源代码。尽管本主题是以结构特征和/或方法行为的特定语言描述的,然而可以理解的是:所附权利要求限定的本主题不是必须限定为已描述的特征或者本文描述的行为。当然,描述的特征和行为公开为实施权利要求的示例性形式。
本领域技术人员将会理解的是,本发明可在具有很多类型的计算机系统配置的网络计算环境中实践,该计算机系统配置包括装在仪表盘上的车载计算机、个人计算机、台式计算机、笔记本计算机、消息处理器、手持装置、多处理器系统、基于微处理器或可编程的家用电子产品、网络个人计算机(network PC)、微型计算机、大型计算机、移动电话、个人数字助理(PDA)、平板电脑、寻呼机、路由器、交换器、各种存储设备等。本发明也可在分布式系统环境中实践,其中,通过网络链接的(通过硬连线数据链路、无线数据链路或者通过硬连线数据链路和无线数据链路的结合)本地计算机系统以及远程计算机系统二者都执行任务。在分布式系统环境中,程序模块可位于本地存储装置和远程存储装置中。
而且,在适当的情况下,本文描述的功能可以以下一种或多种部件执行:硬件、软件、固件、数字部件或者模拟部件。例如,一种或多种专用集成电路(ASIC)可编程以实施本文描述的一种或多种系统和程序。贯穿说明书和权利要求书使用的某些术语涉及具体系统部件。如本领域技术人员将理解的,部件可涉及到不同的名称。本文不旨在区分在名称上有区别而在功能上没有区别的部件。
应当注意的是,本文讨论的传感器实施例包括计算机硬件、软件、固件、或者以上任意组合以执行它们的功能的至少一部分。例如,传感器可包括配置为在一个或多个处理器中执行的计算机代码,并且可包括由计算机代码控制的硬件逻辑电路/硬件电子电路。这些示例性装置以说明的目的提供于本文中,并且不旨在限制于此。本发明的实施例可实施于本领域技术人员已知的其它类型的装置中。
本发明的至少一些实施例涉及计算机程序产品,该计算机程序产品包括存储在任意计算机可用介质上的这种逻辑(例如,以软件的形式)。如本文描述的,这种软件当在一个或多个数据处理装置中被执行时使该装置操作。
虽然上面已经描述了本发明的各种实施例,但是应当理解的是,它们仅仅是作为示例而非限制性的。对于相关领域的技术人员显而易见的是,在不脱离本发明的精神和范围的情况下,可以在形式和细节上进行各种改变。因此,本发明的宽度和范围不应该由上述示例性实施例中的任何一个限制,而应仅根据所附权利要求及其等同物来限定。为了说明和描述的目的,呈现了前述描述。它不是穷举的,也不是将披露限制为所公开的精确形式。鉴于上述教导,许多修改和变化是可能的。此外,应当注意,可以以期望的任意组合方式使用上述替代实施例中的任何或全部,以形成本发明的另外的混合实施例。
Claims (14)
1.一种用于车辆的系统,包括:
红外摄像机,所述红外摄像机感测所述车辆的内部;
控制器,所述控制器连接到所述红外摄像机;
可见光摄像机,所述可见光摄像机可操作地连接到所述控制器并且在可见光摄像机的视野中具有所述车辆的视野;
其中,所述控制器编程为--
接收所述红外摄像机的第一输出;
在所述第一输出之后接收所述红外摄像机的第二输出;
如果在所述第一输出和所述第二输出之间的变化指示异常,则调用补救措施;
接收所述可见光摄像机的第三输出;以及
如果在所述第一输出和所述第二输出之间的所述变化指示所述异常,则(a)识别所述第三输出中对应于所述异常的关注区域,以及(b)将关注区域传送到调度器。
2.根据权利要求1所述的系统,其中所述控制器还被编程为:
接收来自所述调度器的输入;
如果所述输入是继续行进到清洁站的指令,则将车辆自主地驱动到所述清洁站;以及
如果所述输入是继续行进到下一个接载位置的指令,则将所述车辆自主地驱动到所述下一个接载位置。
3.根据权利要求2所述的系统,其中所述控制器还被编程为:
在所述第三输出之前接收来自所述可见光摄像机的第四输出;
评估(a)所述第一输出和所述第二输出之间的差异与(b)所述第四输出和所述第三输出之间的差异的组合;以及
如果所述组合指示所述异常,则调用所述补救措施。
4.一种用于车辆的系统,包括:
红外摄像机,所述红外摄像机感测所述车辆的内部;
控制器,所述控制器连接到所述红外摄像机;
可见光摄像机,所述可见光摄像机可操作地连接到所述控制器并且在可见光摄像机的视野中具有所述车辆的视野;
其中,所述控制器编程为:
接收所述红外摄像机的第一输出;
在所述第一输出之后接收所述红外摄像机的第二输出;
如果在所述第一输出和所述第二输出之间的变化指示异常,则调用补救措施;
其中所述控制器还被编程为在接载乘客之前利用所述红外摄像机捕获所述第一输出并且在放下乘客之后利用所述红外摄像机捕获所述第二输出。
5.根据权利要求4所述的系统,其中所述控制器还被编程为:
从所述第二输出中减去所述第一输出以获得差分图像;以及
评估所述差分图像以确定所述第一输出和所述第二输出是否指示所述异常。
6.根据权利要求5所述的系统,其中所述控制器还被编程为:
识别所述差分图像中超过阈值的像素;以及
评估所述差分图像中超过所述阈值的所述像素是否指示所述异常。
7.根据权利要求5所述的系统,其中所述控制器还被编程为:
识别所述差分图像中超过阈值的像素以获得阈值之上的像素;
识别连续的阈值之上的像素的集群;以及
如果所述集群中的任何一个大于阈值尺寸,则将大于所述阈值尺寸的所述集群识别为异常。
8.一种用于车辆的方法,包括通过车辆的控制器进行以下步骤:
接收在红外摄像机的视野中具有所述车辆的内部的红外摄像机的第一输出;
在所述第一输出之后接收所述红外摄像机的第二输出;
确定在所述第一输出和所述第二输出之间的变化指示异常;
响应于确定所述第一输出和所述第二输出之间的所述变化指示所述异常,而调用补救措施;
接收来自可见光摄像机的第三输出,所述可见光摄像机的视野包括所述车辆的所述内部;
响应于确定所述第一输出和所述第二输出之间的所述变化指示所述异常,而(a)识别在所述第三输出中对应于所述异常的关注区域,以及(b)将所述关注区域传送到调度器。
9.根据权利要求8所述的方法,还包括:
接收来自所述调度器的包括继续行进到清洁站的指令的输入;以及
响应于所述输入,而将所述车辆自主地驱动到所述清洁站。
10.根据权利要求8所述的方法,还包括:
接收来自所述调度器的包括继续行进到下一个接载位置的指令的输入;以及
响应于所述输入,而将所述车辆自主地驱动到所述下一个接载位置。
11.根据权利要求8所述的方法,还包括:
在所述第三输出之前接收来自所述可见光摄像机的第四输出;
评估所述第一输出和所述第二输出之间的差异与所述第四输出和所述第三输出之间的差异的组合;以及
确定所述组合指示所述异常。
12.一种用于车辆的方法,包括通过车辆的控制器进行以下步骤:
接收在红外摄像机的视野中具有所述车辆的内部的红外摄像机的第一输出;
在所述第一输出之后接收所述红外摄像机的第二输出;
确定在所述第一输出和所述第二输出之间的变化指示异常;
响应于确定所述第一输出和所述第二输出之间的所述变化指示所述异常,而调用补救措施在接载乘客之前利用所述红外摄像机捕获所述第一输出并且在放下所述乘客之后利用所述红外摄像机捕获所述第二输出。
13.根据权利要求12所述的方法,还包括:
从所述第二输出中减去所述第一输出以获得差分图像;
识别所述差分图像中超过阈值的像素;以及
评估所述差分图像中超过所述阈值的所述像素是否指示所述异常。
14.根据权利要求13所述的方法,还包括:
识别所述差分图像中超过阈值的像素以获得阈值之上的像素;
识别连续的阈值之上的像素的集群;以及
将大于所述阈值尺寸的集群识别为异常。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/424,309 US10290158B2 (en) | 2017-02-03 | 2017-02-03 | System and method for assessing the interior of an autonomous vehicle |
US15/424,309 | 2017-02-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108388837A CN108388837A (zh) | 2018-08-10 |
CN108388837B true CN108388837B (zh) | 2023-07-04 |
Family
ID=61730967
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810076036.6A Active CN108388837B (zh) | 2017-02-03 | 2018-01-26 | 一种用于评估自主车辆的内部的系统和方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10290158B2 (zh) |
CN (1) | CN108388837B (zh) |
DE (1) | DE102018102285A1 (zh) |
GB (1) | GB2561062A (zh) |
MX (1) | MX2018001297A (zh) |
RU (1) | RU2018103182A (zh) |
Families Citing this family (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9807172B2 (en) * | 2013-10-18 | 2017-10-31 | At&T Intellectual Property I, L.P. | Mobile device intermediary for vehicle adaptation |
JP2019087045A (ja) * | 2017-11-07 | 2019-06-06 | トヨタ自動車株式会社 | ドライバレス輸送システム |
US11073838B2 (en) | 2018-01-06 | 2021-07-27 | Drivent Llc | Self-driving vehicle systems and methods |
US10303181B1 (en) | 2018-11-29 | 2019-05-28 | Eric John Wengreen | Self-driving vehicle systems and methods |
WO2019185359A1 (en) * | 2018-03-29 | 2019-10-03 | Robert Bosch Gmbh | Method and system for vision-based vehicle interior environment sensing guided by vehicle prior information |
CN109190577B (zh) * | 2018-09-13 | 2021-10-26 | 长安大学 | 一种结合头枕和人脸特征的出租车副驾座异常的图像信号检测方法 |
US10471804B1 (en) | 2018-09-18 | 2019-11-12 | Drivent Llc | Self-driving vehicle systems and methods |
US10282625B1 (en) | 2018-10-01 | 2019-05-07 | Eric John Wengreen | Self-driving vehicle systems and methods |
US10289922B1 (en) * | 2018-09-18 | 2019-05-14 | Eric John Wengreen | System for managing lost, mislaid, or abandoned property in a self-driving vehicle |
US10479319B1 (en) | 2019-03-21 | 2019-11-19 | Drivent Llc | Self-driving vehicle systems and methods |
US10493952B1 (en) | 2019-03-21 | 2019-12-03 | Drivent Llc | Self-driving vehicle systems and methods |
US11221621B2 (en) | 2019-03-21 | 2022-01-11 | Drivent Llc | Self-driving vehicle systems and methods |
US11644833B2 (en) | 2018-10-01 | 2023-05-09 | Drivent Llc | Self-driving vehicle systems and methods |
US10900792B2 (en) | 2018-10-22 | 2021-01-26 | Drivent Llc | Self-driving vehicle systems and methods |
US10794714B2 (en) | 2018-10-01 | 2020-10-06 | Drivent Llc | Self-driving vehicle systems and methods |
US10832569B2 (en) | 2019-04-02 | 2020-11-10 | Drivent Llc | Vehicle detection systems |
US10481606B1 (en) | 2018-11-01 | 2019-11-19 | Drivent Llc | Self-driving vehicle systems and methods |
JP2020095354A (ja) * | 2018-12-10 | 2020-06-18 | トヨタ自動車株式会社 | 運行支援装置、運行支援システム、及び運行支援プログラム |
US10377342B1 (en) | 2019-02-04 | 2019-08-13 | Drivent Technologies Inc. | Self-driving vehicle systems and methods |
US10744976B1 (en) | 2019-02-04 | 2020-08-18 | Drivent Llc | Self-driving vehicle systems and methods |
CN110110704A (zh) * | 2019-05-21 | 2019-08-09 | 北京首汽智行科技有限公司 | 一种车辆卫生监控方法及系统 |
DE102019208871A1 (de) * | 2019-06-18 | 2020-12-24 | Thyssenkrupp Ag | Einrichtung und Verfahren zur Ermittlung des Innenraumzustandes eines Fahrzeugs |
EP3796209A1 (en) * | 2019-09-17 | 2021-03-24 | Aptiv Technologies Limited | Method and system for determining an activity of an occupant of a vehicle |
US11361574B2 (en) | 2019-10-23 | 2022-06-14 | Bendix Commercial Vehicle Systems Llc | System and method for monitoring for driver presence and position using a driver facing camera |
US11334985B2 (en) | 2019-10-25 | 2022-05-17 | Robert Bosch Gmbh | System and method for shared vehicle cleanliness detection |
US11017248B1 (en) | 2019-12-18 | 2021-05-25 | Waymo Llc | Interior camera system for a self driving car |
US11262562B2 (en) | 2020-03-18 | 2022-03-01 | Waymo Llc | Infrared camera module cover |
US20220063569A1 (en) * | 2020-08-27 | 2022-03-03 | Ford Global Technologies, Llc | Wet seat detection |
FR3116686B1 (fr) * | 2020-11-26 | 2023-12-08 | Faurecia Interieur Ind | Dispositif de capture d’images et véhicule comprenant un tel dispositif de capture d’images |
CN112525267A (zh) * | 2020-12-21 | 2021-03-19 | 南京领行科技股份有限公司 | 一种车内环境检测方法、装置、电子设备及存储介质 |
US11820338B2 (en) | 2021-02-10 | 2023-11-21 | Toyota Motor Engineering & Manufacturing North America, Inc. | Autonomous vehicle cleaning and feedback system using adjustable ground truth |
US11780349B2 (en) | 2021-03-10 | 2023-10-10 | Toyota Motor Engineering & Manufacturing North America, Inc. | System and method for detecting objects left behind by using heated resistive filament in a vehicle |
JP2022155335A (ja) * | 2021-03-30 | 2022-10-13 | パナソニックIpマネジメント株式会社 | インキャビンモニタリングシステムおよび車室内検知方法 |
CN113246931B (zh) * | 2021-06-11 | 2021-09-28 | 创新奇智(成都)科技有限公司 | 一种车辆控制方法、装置、电子设备及存储介质 |
DE102022202349A1 (de) | 2022-03-09 | 2023-09-14 | Brose Fahrzeugteile Se & Co. Kommanditgesellschaft, Bamberg | Verfahren und Überwachungssystem zur elektronischen Ermittlung eines Reinigungsbedarfes betreffend einen Innenraum eines Fahrzeuges |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102975719A (zh) * | 2011-09-02 | 2013-03-20 | 现代自动车株式会社 | 使用红外线传感器检测驾驶者状况的装置和方法 |
CN103164708A (zh) * | 2011-12-13 | 2013-06-19 | 施乐公司 | 确定车辆承载检测的像素分类阈值 |
Family Cites Families (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7596242B2 (en) | 1995-06-07 | 2009-09-29 | Automotive Technologies International, Inc. | Image processing for vehicular applications |
US9290146B2 (en) * | 1992-05-05 | 2016-03-22 | Intelligent Technologies International, Inc. | Optical monitoring of vehicle interiors |
JPH06273255A (ja) | 1993-03-22 | 1994-09-30 | Mitsubishi Heavy Ind Ltd | 漏油検知方法及び装置 |
US6587573B1 (en) * | 2000-03-20 | 2003-07-01 | Gentex Corporation | System for controlling exterior vehicle lights |
US6005958A (en) * | 1997-04-23 | 1999-12-21 | Automotive Systems Laboratory, Inc. | Occupant type and position detection system |
US7027621B1 (en) * | 2001-03-15 | 2006-04-11 | Mikos, Ltd. | Method and apparatus for operator condition monitoring and assessment |
US7813559B2 (en) | 2001-11-13 | 2010-10-12 | Cyberoptics Corporation | Image analysis for pick and place machines with in situ component placement inspection |
US6781676B2 (en) * | 2002-03-22 | 2004-08-24 | Trw Inc. | Structured lighting detection of vehicle occupant type and position |
SE0201529D0 (sv) | 2002-05-21 | 2002-05-21 | Flir Systems Ab | Method and apparatus for IR camera inspections |
DE10305861A1 (de) | 2003-02-13 | 2004-08-26 | Adam Opel Ag | Vorrichtung eines Kraftfahrzeuges zur räumlichen Erfassung einer Szene innerhalb und/oder außerhalb des Kraftfahrzeuges |
EA009547B1 (ru) | 2003-06-11 | 2008-02-28 | ФАРРИ БРАЗЕРС ЛЛСи | Способ визуального обнаружения утечки химиката, выделяющегося из объекта |
JP3832455B2 (ja) * | 2003-07-31 | 2006-10-11 | 日産自動車株式会社 | 車輌周囲表示装置 |
US20050131625A1 (en) | 2003-11-19 | 2005-06-16 | Birger Alexander B. | Schoolchildren transportation management systems, methods and computer program products |
JP4351919B2 (ja) | 2004-01-21 | 2009-10-28 | 株式会社ケンウッド | 送りバス用管理装置、出迎え管理装置、送りバス用管理方法及び出迎え管理方法 |
WO2007141858A1 (ja) | 2006-06-08 | 2007-12-13 | Fujitsu Limited | 汚れ検出方式 |
JP5178085B2 (ja) * | 2007-08-07 | 2013-04-10 | 株式会社村上開明堂 | 撮像装置付きバックミラー |
US8124931B2 (en) | 2007-08-10 | 2012-02-28 | Schlumberger Technology Corporation | Method and apparatus for oil spill detection |
DE102008009190A1 (de) | 2008-02-15 | 2009-08-27 | Siemens Aktiengesellschaft | Verfahren zur automatischen Bestimmung der Ruhephase des Herzens |
JP5509801B2 (ja) | 2009-11-13 | 2014-06-04 | 三菱電機株式会社 | エレベータシステム |
EP2507742A2 (en) * | 2009-12-02 | 2012-10-10 | Tata Consultancy Services Limited | A cost effective and robust system and method for eye tracking and driver drowsiness identification |
US8959163B1 (en) * | 2010-08-04 | 2015-02-17 | Open Invention Network, Llc | Method and apparatus of organizing and delivering data to intended recipients |
WO2012115878A1 (en) * | 2011-02-22 | 2012-08-30 | Flir Systems, Inc. | Infrared sensor systems and methods |
CN202448860U (zh) | 2011-12-21 | 2012-09-26 | 浙江吉利汽车研究院有限公司 | 一种出租车行李遗忘提醒装置 |
CN202422205U (zh) | 2012-02-29 | 2012-09-05 | 李德明 | 移动助学公交管理系统 |
US9128185B2 (en) | 2012-03-15 | 2015-09-08 | GM Global Technology Operations LLC | Methods and apparatus of fusing radar/camera object data and LiDAR scan points |
DE102012007559A1 (de) | 2012-04-14 | 2012-11-08 | Daimler Ag | Verfahren und Vorrichtung zur Dichtheitsprüfung eines Fahrzeugs |
CA2878107A1 (en) | 2012-07-04 | 2014-01-09 | Repsol, S.A. | Infrared image based early detection of oil spills in water |
US10055694B2 (en) | 2012-08-07 | 2018-08-21 | Hitachi, Ltd. | Use-assisting tool for autonomous mobile device, operation management center, operation system, and autonomous mobile device |
CN202871022U (zh) | 2012-08-08 | 2013-04-10 | 厦门雅迅网络股份有限公司 | 一种基于gps和人脸识别的校车全自动监控系统 |
US20140163329A1 (en) | 2012-12-11 | 2014-06-12 | Elwha Llc | Unobtrusive Active Eye Interrogation with Gaze Attractor |
US9101297B2 (en) | 2012-12-11 | 2015-08-11 | Elwha Llc | Time-based unobtrusive active eye interrogation |
CN205160655U (zh) * | 2012-12-21 | 2016-04-13 | 菲力尔系统公司 | 用于交通工具的红外成像系统 |
CN105191288B (zh) * | 2012-12-31 | 2018-10-16 | 菲力尔系统公司 | 异常像素检测 |
DE102013001332B4 (de) | 2013-01-26 | 2017-08-10 | Audi Ag | Verfahren zur Erfassung des Verschmutzungsgrades eines Fahrzeugs |
US9488982B2 (en) | 2013-02-03 | 2016-11-08 | Michael H Gurin | Systems for a shared vehicle |
WO2014120248A1 (en) * | 2013-02-03 | 2014-08-07 | Michael Gurin | Systems for a shared vehicle |
CN203224912U (zh) | 2013-02-28 | 2013-10-02 | 湖南科技学院 | 基于物联网的校车安全监控系统 |
US9751534B2 (en) * | 2013-03-15 | 2017-09-05 | Honda Motor Co., Ltd. | System and method for responding to driver state |
JP6343769B2 (ja) | 2013-08-23 | 2018-06-20 | 中嶋 公栄 | 忘れ物防止システム、旅客自動車の乗務員に対する情報提供方法、コンピュータプログラム |
US20150077556A1 (en) * | 2013-09-13 | 2015-03-19 | Ford Global Technologies, Llc | Vehicle system for automated video recording |
JP5818857B2 (ja) | 2013-10-24 | 2015-11-18 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
CN104597857A (zh) | 2013-10-31 | 2015-05-06 | 大连易维立方技术有限公司 | 校车远程安全监控方法 |
CN104601937A (zh) | 2013-10-31 | 2015-05-06 | 大连易维立方技术有限公司 | 校车远程安全监控系统 |
US9814410B2 (en) | 2014-05-06 | 2017-11-14 | Stryker Corporation | Person support apparatus with position monitoring |
JP6827918B2 (ja) * | 2014-06-11 | 2021-02-10 | ヴェリディウム アイピー リミテッド | 生体情報に基づいて、ユーザの車両へのアクセスを容易にするためのシステムと方法 |
US20160078576A1 (en) | 2014-09-17 | 2016-03-17 | Fortress Systems International, Inc. | Cloud-based vehicle monitoring systems and methods |
US10133927B2 (en) | 2014-11-14 | 2018-11-20 | Sony Corporation | Method and system for processing video content |
CN107580715B (zh) | 2015-04-23 | 2022-05-31 | Bd科斯特公司 | 用于自动计数微生物菌落的方法和系统 |
KR101646134B1 (ko) * | 2015-05-06 | 2016-08-05 | 현대자동차 주식회사 | 자율주행차량 및 그 제어 방법 |
US9616773B2 (en) | 2015-05-11 | 2017-04-11 | Uber Technologies, Inc. | Detecting objects within a vehicle in connection with a service |
EP3888958B1 (en) * | 2015-06-03 | 2023-05-24 | ClearMotion, Inc. | Method of mitigating motion sickness in an autonomous vehicle |
US10150448B2 (en) | 2015-09-18 | 2018-12-11 | Ford Global Technologies. Llc | Autonomous vehicle unauthorized passenger or object detection |
US20170091559A1 (en) * | 2015-09-29 | 2017-03-30 | Valeo North America, Inc. | Camera monitor system for a vehicle |
US9855926B2 (en) | 2016-01-26 | 2018-01-02 | GM Global Technology Operations LLC | Systems and methods for promoting cleanliness of a vehicle |
US20170267251A1 (en) * | 2016-03-15 | 2017-09-21 | Palo Alto Research Center Incorporated | System And Method For Providing Context-Specific Vehicular Driver Interactions |
KR101777518B1 (ko) * | 2016-04-07 | 2017-09-11 | 엘지전자 주식회사 | 인테리어 카메라 장치, 이를 포함하는 차량 운전 보조장치 및 이를 포함하는 차량 |
US20170330044A1 (en) | 2016-05-10 | 2017-11-16 | GM Global Technology Operations LLC | Thermal monitoring in autonomous-driving vehicles |
JP6792351B2 (ja) | 2016-06-01 | 2020-11-25 | キヤノン株式会社 | 符号化装置、撮像装置、符号化方法、及びプログラム |
US9760827B1 (en) * | 2016-07-22 | 2017-09-12 | Alpine Electronics of Silicon Valley, Inc. | Neural network applications in resource constrained environments |
US10479328B2 (en) * | 2016-11-04 | 2019-11-19 | Ford Global Technologies, Llc | System and methods for assessing the interior of an autonomous vehicle |
-
2017
- 2017-02-03 US US15/424,309 patent/US10290158B2/en active Active
-
2018
- 2018-01-26 CN CN201810076036.6A patent/CN108388837B/zh active Active
- 2018-01-29 RU RU2018103182A patent/RU2018103182A/ru not_active Application Discontinuation
- 2018-01-30 MX MX2018001297A patent/MX2018001297A/es unknown
- 2018-02-01 DE DE102018102285.9A patent/DE102018102285A1/de active Pending
- 2018-02-01 GB GB1801668.3A patent/GB2561062A/en not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102975719A (zh) * | 2011-09-02 | 2013-03-20 | 现代自动车株式会社 | 使用红外线传感器检测驾驶者状况的装置和方法 |
CN103164708A (zh) * | 2011-12-13 | 2013-06-19 | 施乐公司 | 确定车辆承载检测的像素分类阈值 |
Also Published As
Publication number | Publication date |
---|---|
GB201801668D0 (en) | 2018-03-21 |
CN108388837A (zh) | 2018-08-10 |
RU2018103182A (ru) | 2019-07-30 |
US20180225890A1 (en) | 2018-08-09 |
US10290158B2 (en) | 2019-05-14 |
GB2561062A (en) | 2018-10-03 |
DE102018102285A1 (de) | 2018-08-09 |
MX2018001297A (es) | 2018-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108388837B (zh) | 一种用于评估自主车辆的内部的系统和方法 | |
CN108388834B (zh) | 利用循环神经网络和级联特征映射的对象检测 | |
US10479328B2 (en) | System and methods for assessing the interior of an autonomous vehicle | |
CN111050116B (zh) | 利用时间递归网络进行在线动作检测的系统和方法 | |
US10810871B2 (en) | Vehicle classification system | |
CN107220581B (zh) | 通过后置摄像机的行人检测和运动预测 | |
US20180164809A1 (en) | Autonomous School Bus | |
US11587329B2 (en) | Method and apparatus for predicting intent of vulnerable road users | |
US11269327B2 (en) | Picking up and dropping off passengers at an airport using an autonomous vehicle | |
CN111347985B (zh) | 自动驾驶出租车 | |
WO2018145028A1 (en) | Systems and methods of a computational framework for a driver's visual attention using a fully convolutional architecture | |
US11481913B2 (en) | LiDAR point selection using image segmentation | |
US10776642B2 (en) | Sampling training data for in-cabin human detection from raw video | |
CN112069546A (zh) | 用于潜在增强的车辆安全性的系统和方法 | |
US11721089B2 (en) | Using temporal filters for automated real-time classification | |
Mohandes et al. | Preference‐based smart parking system in a university campus | |
Rajendar et al. | Prediction of stopping distance for autonomous emergency braking using stereo camera pedestrian detection | |
US20210039660A1 (en) | Anomaly Detector For Vehicle Control Signals | |
US20210103738A1 (en) | Autonomous system terminus assistance techniques | |
CN113170092A (zh) | 图像处理装置、图像处理方法以及图像处理系统 | |
Greer et al. | Ensemble Learning for Fusion of Multiview Vision with Occlusion and Missing Information: Framework and Evaluations with Real-World Data and Applications in Driver Hand Activity Recognition | |
EP4125063A1 (en) | Methods and systems for occupancy class prediction and methods and systems for occlusion value determination | |
US20220012506A1 (en) | System and method of segmenting free space based on electromagnetic waves | |
CN118053062A (zh) | 使用多个神经网络执行电子设备或车辆的感知任务的方法 | |
WO2023001636A1 (en) | Electronic device and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |