CN111788101A - 确定和响应车辆的内部状态 - Google Patents

确定和响应车辆的内部状态 Download PDF

Info

Publication number
CN111788101A
CN111788101A CN201980014786.3A CN201980014786A CN111788101A CN 111788101 A CN111788101 A CN 111788101A CN 201980014786 A CN201980014786 A CN 201980014786A CN 111788101 A CN111788101 A CN 111788101A
Authority
CN
China
Prior art keywords
vehicle
seat
child
interior
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980014786.3A
Other languages
English (en)
Other versions
CN111788101B (zh
Inventor
A.温德尔
C.K.路德维克
L.A.费恩斯特拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Waymo LLC
Original Assignee
Waymo LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Waymo LLC filed Critical Waymo LLC
Priority to CN202110670610.2A priority Critical patent/CN113353073A/zh
Publication of CN111788101A publication Critical patent/CN111788101A/zh
Application granted granted Critical
Publication of CN111788101B publication Critical patent/CN111788101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/02—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles the seat or part thereof being movable, e.g. adjustable
    • B60N2/0224—Non-manual adjustments, e.g. with electrical operation
    • B60N2/0244—Non-manual adjustments, e.g. with electrical operation with logic circuits
    • B60N2/0272—Non-manual adjustments, e.g. with electrical operation with logic circuits using sensors or detectors for detecting the position of seat parts
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/04—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to presence or absence of the driver, e.g. to weight or lack thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/0024—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat
    • B60N2/0026—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for identifying, categorising or investigation of the occupant or object on the seat for distinguishing between humans, animals or objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/24—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles
    • B60N2/26—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children
    • B60N2/266—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children with detection or alerting means responsive to presence or absence of children; with detection or alerting means responsive to improper locking or installation of the child seats or parts thereof
    • B60N2/271—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children with detection or alerting means responsive to presence or absence of children; with detection or alerting means responsive to improper locking or installation of the child seats or parts thereof detecting or alerting means responsive to securing the child in the seat
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • B60R16/0234—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions related to maintenance or repairing of vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01528—Passenger detection systems mounted on the bag
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01544—Passenger detection systems detecting seat belt parameters, e.g. length, tension or height-adjustment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01554—Seat position sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01556—Child-seat detection systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0025—Planning or execution of driving tasks specially adapted for specific operations
    • B60W60/00253—Taxi operations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/002—Seats provided with an occupancy detection means mounted therein or thereon
    • B60N2/0021—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement
    • B60N2/0023—Seats provided with an occupancy detection means mounted therein or thereon characterised by the type of sensor or measurement for detection of driver fatigue
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/24—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles
    • B60N2/26—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children
    • B60N2/266—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children with detection or alerting means responsive to presence or absence of children; with detection or alerting means responsive to improper locking or installation of the child seats or parts thereof
    • B60N2/268—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles for particular purposes or particular vehicles for children with detection or alerting means responsive to presence or absence of children; with detection or alerting means responsive to improper locking or installation of the child seats or parts thereof detecting or alerting means responsive to the installation of the child seats in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/10—Field detection presence sensors
    • B60N2210/16—Electromagnetic waves
    • B60N2210/18—Infrared
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2210/00—Sensor types, e.g. for passenger detection systems or for controlling seats
    • B60N2210/10—Field detection presence sensors
    • B60N2210/16—Electromagnetic waves
    • B60N2210/22—Optical; Photoelectric; Lidar [Light Detection and Ranging]
    • B60N2210/24—Cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2230/00—Communication or electronic aspects
    • B60N2230/30—Signal processing of sensor data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R22/00—Safety belts or body harnesses in vehicles
    • B60R22/48—Control systems, alarms, or interlock systems, for the correct application of the belt or harness
    • B60R2022/4866—Displaying or indicating arrangements thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/043—Identity of occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/049—Number of occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/227—Position in the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Mathematical Physics (AREA)
  • Combustion & Propulsion (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Seats For Vehicles (AREA)

Abstract

本公开的各方面涉及确定和响应自动驾驶车辆100的内部状态。例如，接收由安装在车辆中的相机530、532和534捕获的车辆的内部的图像。对图像进行处理，以便识别车辆内的预定位置处一个或多个可见标志物950、956、960、966。基于所识别的一个或多个可见标志物来确定车辆的内部状态。响应动作是使用所确定的内部状态识别的动作，并且控制车辆以执行响应动作。

Description

确定和响应车辆的内部状态
相关申请的交叉引用
本申请要求2018年2月21日提交的美国专利申请第15/901,379号的申请日的权益，其公开内容通过引用结合于此。
背景技术
自主车辆，诸如不需要人类驾驶员的车辆，可以用来帮助将乘客或物品从一个地点运输到另一个位置。这种车辆可以在完全自主模式下操作，在该完全自主模式下乘客可以提供某一初始输入，诸如接载(pickup)或目的地位置，并且车辆将自己操纵到该位置。
发明内容
本公开的一个方面提供了一种确定和响应自动驾驶(self-driving)车辆的内部状态的方法。该方法包括：接收由安装在车辆中的相机捕获的车辆的内部的图像；对图像进行处理，以便识别车辆内预定位置处的一个或多个可见标志物；基于所识别的一个或多个可见标志物来确定车辆的内部状态；使用所确定的内部状态来识别响应动作；以及控制车辆以执行响应动作。
在一个示例中，使用提供所确定的内部状态的机器学习模型来处理图像。在另一示例中，该方法还包括使用一个或多个可见标志物来确定车辆的乘客的高度，并且其中确定车辆的内部状态是基于所确定的高度的。在另一个示例中，内部状态指示车辆的座位被占用。在另一个示例中，车辆的内部状态指示车辆的座位未被占用。在另一个示例中，一个或多个可见标志物位于车辆的座位的座位靠背上，并且车辆的内部状态指示座位未被占用。在另一个示例中，一个或多个可见标志物位于车辆的座位的座位安全带(seatbelt)上，并且车辆的内部状态指示座位被乘客占据。在本例中，车辆的内部状态指示乘客系有座位安全带。在另一个示例中，该方法还进一步包括基于车辆当前是否正处于载有一个或多个乘客到目的地的行程中来核验(qualify)所确定的内部状态。在另一示例中，所确定的内部状态指示车辆内的乘客数量。在另一个示例中，当所确定的内部状态指示车辆被乘客占用并且行程刚刚结束时，响应动作包括向乘客提供听觉通知以指示是离开车辆的时间了。在另一示例中，当所确定的内部状态指示车辆未被占用并且行程正在进行时，响应动作包括取消行程。在另一示例中，当所确定的内部状态指示儿童在车辆中时，响应动作包括提供通知，所述通知指示儿童必须在车辆内的特定座位中。在这个示例中，响应动作包括直到儿童在车辆内的特定座位中才开始行程。在另一示例中，所确定的内部状态指示儿童在车辆中，响应动作包括提供通知，所述通知指示儿童必须在车辆内处于适当的儿童约束(restraint)中。在本例中，响应动作包括直到儿童处于适当的儿童约束中才开始行程。在另一示例中，所确定的内部状态指示儿童在车辆中，响应动作包括向与行程相关联的账户持有人的客户端设备提供请求确认儿童被允许乘坐车辆的通知。在另一示例中，所确定的内部状态指示儿童在车辆中，并且该方法还包括关闭与儿童所处的座位相邻的气囊。在另一示例中，所确定的内部状态指示乘客没有系座位安全带，响应动作包括提供请求乘客使用座位安全带的通知。
本公开的另一方面提供了一种用于确定和响应自动驾驶车辆的内部状态的系统。该系统包括一个或多个处理器，该一个或多个处理器被配置为：接收由安装在车辆中的相机捕获的车辆的内部的图像；对图像进行处理，以便识别车辆内预定位置处的一个或多个可见标志物；基于所识别的一个或多个可见标志物来确定车辆的内部状态；使用所确定的内部状态来识别响应动作；以及控制车辆以执行响应动作。
附图说明
图1是根据示例性实施例的示例车辆的功能图。
图2是根据本公开各方面的示例系统的功能图。
图3是根据本公开各方面的图2的系统的绘图。
图4是根据本公开各方面的车辆的示例外部视图。
图5是根据本公开各方面的车辆的示例内部视图。
图6是根据本公开各方面的车辆的控制台的示例。
图7是根据本公开各方面的示例系统的各方面的示例功能图。
图8是根据本公开各方面的车辆的示例内部视图。
图9是根据本公开各方面的车辆的示例内部视图。
图10是根据本公开各方面的示例流程图。
具体实施方式
概述
本技术涉及在提供运输服务的过程中自主确定无人(driverless)驾驶或自主车辆的内部状态。该状态可以指车辆是否被任何乘客占用以及这些乘客的特征，诸如在一些情况下可以用来推断年龄的高度。在一些情况下，车辆的内部状态还可以包括那些乘客的状态以及车辆的其他状态信息，诸如车辆中是否有任何对象(诸如包或行李)，以及车辆是否损坏或脏污。
典型地，对于利用驾驶员的运输服务，驾驶员能够快速视觉地检查车辆的状态。当然，在没有驾驶员的情况下，车辆内部的图像可以被发送给人类操作员进行查看。虽然这是确认无人驾驶车辆的内部状态的有效且有用的方式，但是在车辆和远程操作员之间来回发送信息时存在一些延迟，这在某些情况下会有问题，诸如在乘客解开他的/她的座位安全带并在车辆周围移动的情况下。此外，在车辆处于不能与车辆的计算设备进行连接的区域(诸如没有蜂窝服务的区域)的情况下，该过程可能变得无效。此外，随着车辆的数量的增加，使用人类操作员可能会变得低效的。
当存在检查车辆的内部状态的人类操作员时，为了确定车辆的内部状态，可以在车辆内安装一个或多个相机。例如，相机可以在车辆前部安装在车辆的顶篷(headliner)的左侧、中间或右侧，并且朝向车辆的后部内部取向，以便观察乘客可能坐下的位置，或者座位下方的位置和货物区域中的位置。这些相机可以包括典型的可见光相机、基于事件的相机、飞行时间相机和/或红外相机，其可以在非常弱的光线条件下捕获车辆的图像，诸如在夜间、恶劣天气期间、或者当车辆在隧道或停车库时。
为了使用一个或多个相机确定车辆的状态，可以生成模型。例如，可以训练诸如分类器或神经网络的各种机器学习技术来识别车辆的内部状态。训练可以包括将车队(fleet)的车辆的原始内部的外观的图像标记(label)为空的或处于默认状态。为了改善模型的有用性，训练图像可以包括不同的照明条件、配色方案或车龄。换句话说，因为车辆内阴影的外观和形状可能随着汽车在不同情况下行驶而改变，所以用包括不同照明条件的图像进行训练可能特别有用。
除了车辆的默认状态的图像之外，具有处于不同状态的乘客或其他对象的车辆的内部的图像还可以根据其状态被标记，并被用于训练模型。作为示例，具有乘客或其他对象的图像的标记可以简单地为“被占用”，而默认状态的图像可以被标记为“未被占用”。也可以使用其他更复杂的标记方案来识别特定类型的对象或这些对象的状态。来自传感器的附加数据可用于确定车辆的内部状态。
除了上述模型和传感器之外，或者作为上述模型和传感器的替选，可以在车辆内放置标志物(marker)，以便确定或帮助确定车辆的状态。这些标志物可以包括IR反射材料，以得到改善的夜间的能见度。标志物可以包括图案、圆圈、之字形或其他设置在乘客的座位的座位靠背、座位底座和座位安全带上的配置。
为了确定车辆的内部状态，一个或多个相机可以捕获车辆的图像。可以对图像进行处理，以便识别车辆内预定位置处的一个或多个可见标志物。可见标志物可以与图案信息进行比较，以便确定状态信息。在这点上，图案信息可以将状态信息与标志物可见性相关联。图案数据也可用于将标志物可见性和位置与乘客的可能高度或年龄相关，如下面进一步讨论的。
一旦确定了内部状态，就可以使用动作数据来处理和响应该内部状态。例如，动作数据可以包括由人类操作员定义并存储在车辆软件中的策略的集合。这些策略可以定义响应动作或车辆如何对所确定的车辆的内部状态进行响应。动作数据还可以包括取决于行程状态的不同策略。然后可以控制车辆以执行响应动作。
本文描述的特征可以允许无人驾驶车辆确定车辆的内部状态，并且如果需要，有效地对这些确定进行响应。当没有驾驶员检查内部状态并且远程操作员无法检查内部状态时，这是特别重要的。此外，通过使用车辆处的计算设备，即使在没有蜂窝服务的地方，或者在黑暗中，也可以确定内部状态。因此，该过程变得更加有效，同时维持车辆的乘客的隐私，因为数据不必须被传输到车辆的外部。这反过来允许自动驾驶车辆在没有人类干预的情况下更有效和可靠地操作。
示例系统
如图1所示，根据本公开的一个方面的车辆100包括各种组件。虽然本公开的某些方面对于特定类型的车辆特别有用，但是车辆可以是任何类型的车辆，包括但不限于汽车、卡车、摩托车、公共汽车、娱乐车辆等。车辆可以具有一个或多个计算设备，诸如包含一个或多个处理器120、存储器130和通常存在于通用计算设备中的其他组件的计算设备110。
存储器130存储一个或多个处理器120可访问的信息，包括可由处理器120运行或以其他方式使用的指令134和数据132。存储器130可以是能够存储处理器可访问的信息的任何类型，包括计算设备可读介质，或存储可借助于电子设备读取的数据的其他介质，例如硬盘驱动器、存储卡、ROM、RAM、DVD或其他光盘，以及其他可写和只读存储器。系统和方法可以包括前述的不同组合，由此指令和数据的不同部分被存储在不同类型的介质上。
指令134可以是由处理器直接(例如机器代码)或间接(例如脚本)运行的任何指令集。例如，指令可以作为计算设备代码存储在计算设备可读介质上。在这方面，术语“指令”和“程序”在本文中可以互换使用。指令可以以目标代码格式存储，以便由处理器直接处理，或者以任何其他计算设备语言存储，包括按需解释或预先编译的独立源代码模块的集合(collection)或脚本。下面更详细地解释指令的例程、方法和功能。
处理器120可以根据指令134来检索、存储或修改数据132。例如，虽然所要求保护的主题不受任何特定的数据结构限制，但是数据可以被存储在计算设备寄存器中，作为具有多个不同的字段和记录的表格、XML文档、或者平面文件被存储在关系数据库中。数据也可以以任何计算设备可读格式被格式化。
一个或多个处理器120可以是任何传统处理器，例如商用CPU。替选地，一个或多个处理器可以是专用设备，例如ASIC或其他基于硬件的处理器。尽管图1在功能上将处理器、存储器和计算设备110的其他元件示出为在同一块内，但是本领域普通技术人员将理解，处理器、计算设备或存储器可以实际上包括可以存放在同一物理外壳内或可以不存放在同一物理外壳内的多个处理器、计算设备或存储器。例如，存储器可以是位于与计算设备110的外壳不同的外壳中的硬盘驱动器或其他存储介质。因此，对处理器或计算设备的引用将被理解为包括对可以并行操作或可以不并行操作的处理器或计算设备或存储器的集合的引用。
计算设备110可以具有通常结合计算设备使用的所有组件，例如上述处理器和存储器，以及用户输入150(例如，鼠标、键盘、触摸屏和/或麦克风)和各种电子显示器(例如，具有屏幕的监视器或可操作以显示信息的任何其他电学设备)。在该示例中，车辆包括内部电子显示器152以及一个或多个扬声器154，以提供信息或视听体验。在这方面，内部电子显示器152可以位于车辆100的车厢内，并且可以由计算设备110使用以向车辆100内的乘客提供信息。
计算设备110还可以包括一个或多个无线网络连接156，以促进与其他计算设备(诸如下面详细描述的客户端计算设备和服务器计算设备)的通信。无线网络连接可以包括短程通信协议(诸如蓝牙、蓝牙低能耗(LE)、蜂窝连接)，以及各种配置和协议(包括互联网、万维网、内部网、虚拟专用网、广域网、本地网、使用一个或多个公司专有的通信协议的专用网、以太网、WiFi和HTTP，以及前述的各种组合)。
在一个示例中，计算设备110可以是并入车辆100中的自主驾驶计算系统。自主驾驶计算系统可能能够与车辆的各种组件通信。例如，返回图1，计算设备110可以与车辆100的各种系统(例如，减速系统160、加速系统162、转向系统164、信令系统166、导航系统168、定位系统170和感知系统172)通信，以便根据存储器130的指令134控制车辆100的移动、速度等。再者，尽管这些系统被示为在计算设备110的外部，但实际上，这些系统也可以并入计算设备110中，又作为用于控制车辆100的自主驾驶计算系统。
作为示例，计算设备110可以与减速系统160和加速系统162交互，以便控制车辆的速度。类似地，转向系统164可以由计算设备110使用，以便控制车辆100的方向。例如，如果车辆100被配置用于在道路上使用，诸如汽车或卡车，则转向系统可以包括控制车轮角度以使车辆转弯的组件。信令系统166可以由计算设备110使用，以便例如通过在需要时点亮转弯信号或刹车灯，来将车辆的意图用信号通知给其他驾驶员或车辆。
导航系统168可以由计算设备110使用，以便确定并遵循到达位置的路线。在这方面，导航系统168和/或数据132可以存储详细的地图信息，例如识别道路的形状和高度(elevation)、车道线、交叉路口、人行横道、限速、交通信号、建筑物、标志、实时交通信息、靠边停车位、植被或其他此类对象和信息的高度详细的地图。如下文进一步讨论的，这些停车点可以是“手动”选择或识别的区域，在所述区域中车辆能够合法地停下并停放达某一时间段，诸如路肩(shoulder)区域、停车位、停车场、紧急靠边停车位等。
计算设备110可以使用定位系统170来确定车辆在地图上或地球上的相对或绝对位置。例如，定位系统170可以包括GPS接收器，以确定设备的纬度、经度和/或海拔位置。诸如基于激光的定位系统、惯性辅助GPS或基于相机的定位的其他定位系统也可用于识别车辆的位置。车辆的位置可以包括绝对地理位置(诸如纬度、经度和海拔)以及相对位置信息(诸如相对于紧邻其周围的其他汽车的位置，其通常可以用比绝对地理位置更少的噪声来确定)。
定位系统170还可以包括与计算设备110通信的其他设备(诸如加速度计、陀螺仪或其他方向/速度检测设备)，以确定车辆的方向和速度或其变化。仅作为示例，加速设备可确定其相对于重力的方向或垂直于重力方向的平面的俯仰、偏航或滚转(或其变化)。该设备还可以跟踪速度的增加或减少以及这种变化的方向。这里阐述的设备提供位置和朝向数据可以自动地提供给计算设备110、其他计算设备以及前述的组合。
感知系统172还包括一个或多个组件，用于检测车辆外部的对象，诸如如其他车辆、道路中的障碍物、交通信号、标志、树木等。例如，感知系统172可以包括激光、声纳、雷达、相机和/或记录可以由计算设备110处理的数据的任何其他检测设备。在车辆是小型乘用车辆(诸如汽车)的情况下，汽车可以包括安装在车顶或其他方便位置的激光器或其他传感器。
计算设备110可以通过控制各种组件来控制车辆的方向和速度。举例来说，计算设备110可以使用来自详细地图信息和导航系统168的数据完全自主地将车辆导航到目的地位置。计算设备110可以使用定位系统170来确定车辆的位置，以及可以使用感知系统172在需要时检测并响应对象以安全到达该位置。为此，计算设备110可以使车辆加速(例如，由加速系统162通过增加提供给发动机的燃料或其他能量)、减速(例如，由减速系统160通过减少供应给发动机的燃料、改变档位和/或施加制动)、改变方向(例如，由转向系统164通过转动车辆100的前轮或后轮)，并且发信号通知这种改变(例如，通过点亮信令系统166的转弯信号)。因此，加速系统162和减速系统160可以是传动系统的一部分，该传动系统包括车辆的发动机和车辆的车轮之间的各种组件。同样，通过控制这些系统，计算设备110也可以控制车辆的传动系统，以便自主地操纵车辆。
车辆100的计算设备110也可以从其他计算设备接收信息或向其他计算设备传送信息。图2和图3分别是示例系统200的绘图和功能图，示例系统200包括经由网络260连接的多个计算设备210、220、230、240和存储系统250。系统200还包括车辆100和车辆100A，车辆100A可以类似于车辆100被配置。尽管为了简单起见，仅描绘了几个车辆和计算设备，但是典型的系统可以包括明显更多。
如图3所示，计算设备210、220、230、240中的每一个可以包括一个或多个处理器、存储器、数据和指令。这种处理器、存储器、数据和指令可以类似于计算设备110的一个或多个处理器120、存储器130、数据132和指令134来配置。
网络260和中间的(intervening)节点可以包括各种配置和协议，包括短程通信协议(诸如蓝牙、蓝牙LE)，互联网、万维网、内连网、虚拟专用网、广域网、本地网、使用一个或多个公司专有的通信协议的专用网、以太网、WiFi和HTTP、以及前述各项的各种组合。这样的通信可以由能够向其他计算设备发送数据和从其他计算设备接收数据的任何设备(诸如调制解调器和无线接口)促进。
在一个示例中，一个或多个计算设备110可以包括具有多个计算设备的服务器，例如负载平衡服务器群，其与网络的不同节点交换信息，目的是从其他计算设备接收数据、处理数据以及向其他计算设备发送数据。例如，一个或多个计算设备210可以包括能够经由网络260与车辆100的计算设备110或车辆100A的类似计算设备以及计算设备220、230、240通信的一个或多个服务器计算设备。例如，车辆100和100A可以是可以由服务器计算设备调度到不同位置的车辆的车队的一部分。在这点上，车队的车辆可以周期性地向服务器计算设备发送由车辆的相应定位系统提供的位置信息，并且一个或多个服务器计算设备可以跟踪车辆的位置。
此外，服务器计算设备210可以使用网络260以向诸如用户222、232、242的用户发送信息，并在诸如计算设备220、230、240的显示器224、234、244的显示器上呈现信息。在这点上，计算设备220、230、240可以被认为是客户端计算设备。
如图3所示，每个客户端计算设备220、230、240可以是旨在由用户222、232、242使用的个人计算设备，并且具有通常结合个人计算设备使用的所有组件，包括一个或多个处理器(例如，中央处理单元(CPU))、存储数据和指令的存储器(例如，RAM和内部硬盘驱动器)、诸如显示器224、234、244的显示器(例如，具有屏幕的监视器、触摸屏、投影仪、电视机或可操作来显示信息的其他设备)和用户输入设备226、236、246(例如，鼠标、键盘、触摸屏或麦克风)。客户端计算设备还可以包括用于记录视频流的相机、扬声器、网络接口设备、以及用于将这些元件彼此连接的所有组件。
此外，客户端计算设备220和230还可以包括用于确定客户端计算设备的位置和朝向的组件228和238。例如，这些组件可以包括用于确定设备的纬度、经度和/或高度的GPS接收器，以及加速度计、陀螺仪或其他方向/速度检测设备，如上关于车辆100的定位系统170所描述的。
尽管客户端计算设备220、230和240可以各自包括全尺寸的个人计算设备，但是它们可以替选地包括能够通过诸如互联网的网络与服务器无线交换数据的移动计算设备。仅作为示例，客户端计算设备220可以是移动电话或能够经由互联网或其他网络获得信息的设备，诸如支持无线的PDA、平板PC、可穿戴计算设备或系统、或上网本。在另一示例中，客户端计算设备230可以是可穿戴计算系统，被示出为图2中的手表。作为示例，用户可以使用小型键盘、键区、麦克风、使用相机的视觉信号或触摸屏来输入信息。
在一些示例中，客户端计算设备240可以是管理员用来向诸如用户222和232的用户提供礼宾(concierge)服务的礼宾工作站。例如，礼宾人员242可以使用礼宾工作站240通过他们各自的客户端计算设备或车辆100或100A经由电话呼叫或音频连接与用户通信，以便于车辆100和100A的安全操作和用户的安全，如下面进一步详细描述的。尽管在图2和图3中仅示出了单个礼宾工作站240，但是在典型的系统中可以包括任意数量的这样的工作站。
存储系统250可以存储各种类型的信息，如下面更详细描述的。该信息可以由诸如一个或多个服务器计算设备210的服务器计算设备取回或以其他方式访问，以便执行本文描述的一些或所有特征。例如，该信息可以包括可用于向一个或多个服务器计算设备识别用户的诸如凭证的用户账户信息(例如，在传统单因素认证的情况下的用户名和密码，以及在多因素认证中通常使用的其他类型的凭证(诸如随机标识符、生物测定等))。用户账户信息还可以包括个人信息，诸如用户的姓名、联系信息、用户的客户端计算设备(或者在多个设备使用同一用户账户的情况下，多个客户端计算设备)的标识信息，以及用户的一个或多个唯一信号。
存储系统250还可以存储用于生成和评估位置之间的路线的路线(routing)数据。例如，路线信息可用于估计在第一位置的车辆到达第二位置花费多长时间。在这点上，路线信息可以包括地图信息，不一定像上面描述的详细地图信息那样具体，但是包括道路，以及关于那些道路的信息，诸如方向(单向、双向等)、朝向(北、南等)、速度限制、以及识别预期交通状况的交通信息等。
如同存储器130一样，存储系统250可以是能够存储可由服务器计算设备210访问的信息的任何类型的计算机化存储装置，诸如硬盘驱动器、存储器卡、ROM、RAM、DVD、CD-ROM、可写存储器和只读存储器。此外，存储系统250可以包括分布式存储系统，其中数据存储在物理上位于相同或不同地理位置的多个不同存储设备上。存储系统250可以经由如图2所示的网络260连接到计算设备，和/或可以直接连接到或结合到计算设备110、210、220、230、240等中的任何一个。
车辆100还包括感知系统172的传感器。
图4是车辆100的示例配置。在该示例中，车顶(roof-top)外壳420和穹顶(dome)外壳422可以包括激光雷达(lidar)传感器以及各种相机和雷达单元。此外，位于车辆100前端的外壳430和车辆的驾驶员侧和乘客侧的外壳440、442可以各自存放激光雷达传感器。例如，外壳440位于驾驶员车门460的前方。车辆100还包括同样位于车辆100的车顶的雷达单元和/或相机的外壳450、452。附加的雷达单元和相机(未示出)可以位于车辆100的前端和后端和/或沿着车顶或车顶上(roof-top)外壳420的其他位置。这些雷达、相机和激光传感器或设备中的每一个可以与处理组件相关联，所述处理组件处理来自作为感知系统172的一部分的这些设备的数据，并将传感器数据提供给计算设备110。
图5是车辆100的示例内部视图，例如，在图4的示例性配置中，朝向车辆100的前方观察。例如，在该视图中，包括内部电子显示器152的仪表板区域510是可见的。尽管车辆100包括方向盘、油门(加速)踏板或制动(减速)踏板，这将允许其中乘客将经由传动系统直接控制车辆的转向、加速和/或减速的半自主或手动驾驶模式，这些输入对于自主驾驶模式不是必需的。反而，如下面进一步详细描述的，用户输入限于用户输入150的麦克风(未示出)、控制台520的特征和无线网络连接156。在这点上，内部电子显示器152仅仅向乘客提供信息，并且不需要包括触摸屏或用于用户输入的其他接口。在其他实施例中，内部电子显示器152可以包括触摸屏或用于由乘客输入信息(诸如目的地等)的其他用户输入设备。
图6是具有按钮的集合的控制台520的侧面透视图，这些按钮可以是用户输入150的一部分。该控制台可以使用例如图4所描绘的车辆100的配置来使用。在本示例中的按钮的集合包括可以启动行程或使车辆靠边停车的两个按钮。控制台520可以在车辆100内部位于顶篷区域540处，如图5所示(车辆的车顶的内表面)。在该示例中，控制台520包括按钮606、608、610和612。这些按钮中的每一个进行操作来向计算设备110发送信号。响应于来自按钮606的信号，计算设备110可以使乘客与礼宾人员(concierge)联系。来自按钮608的信号可以使计算设备110锁定或解锁门(取决于门的当前状态)。按钮608可以使乘客能够启动非紧急停止。例如，来自按钮610的信号可以使得计算设备将车辆靠边停车。按钮612可以使乘客能够启动到目的地或下车(drop off)位置的行程。例如，来自按钮612的信号可以使得计算设备启动到目的地的行程。
为了确定车辆的内部状态，可以在车辆内安装一个或多个相机。例如，相机可以在车辆的前部安装在车辆的顶篷(headliner)的左侧、中间或右侧，并且朝向车辆的后部内部取向，以便观察乘客可能坐下的位置。例如，图5描绘了安装在车辆100的顶篷区域540内的相机530、532和534。其他附加相机也可以放置在车辆的内部。例如，参考图8(下面进一步讨论)，附加的相机536可以安装在中间一排座位(包括座位802和804)之间，以获得后排长椅座位806的有用视图。这些相机可以包括典型的可见光相机、基于事件的相机、立体相机(其可提供三维信息)、飞行时间相机和/或红外相机，其可以在非常弱的光线条件下捕获车辆的图像，诸如在夜间、恶劣天气期间、或者当车辆在隧道或停车库时。另外或替选地，可以放置相机，以便观看座位下方的区域和任何货物区域。
为了使用一个或多个相机确定车辆的状态，数据132可以存储如图7所示的模型702。模型702可以“离线”生成，即提前和/或在远程计算设备处生成，并经由网络260和无线网络连接156发送到车辆100。例如，模型可以是机器学习模型，并且可以训练诸如分类器或神经网络的各种机器学习技术来识别车辆的内部状态。训练可以包括将车队(fleet)的车辆的原始内部的外观的图像标记为空的或处于默认状态。为了改善模型的有用性，训练图像可以包括不同的照明条件或车龄(即，一些车辆可能随着时间最终开始展示正常的磨损)。换句话说，因为车辆内阴影的外观和形状可能随着汽车在不同情况下行驶而改变，所以用包括不同照明条件的图像进行训练可能特别有用。
除了车辆的默认状态的图像之外，具有处于不同状态的乘客或其他对象的车辆的内部的图像还可以根据它们的状态来被标记，并被用于训练模型。作为示例，具有乘客或其他对象的图像的标记可以简单地为“被占用”，而默认状态的图像可以被标记为“未被占用”。
也可以使用其他更复杂的标记方案来识别特定类型的对象或这些对象的状态。例如，图像可以标记有关于乘客的细节,乘客的数量(1、2、3等)，乘客坐在哪里(即，哪个座位)，乘客是否系安全带，乘客是否没有正确地坐在座位上，乘客是成人还是儿童，乘客和安全气囊之间是否有对象(诸如包或手提袋)，乘客是否系他的/她的安全带，等等。标记可用于作为人类的移动对象和并非人类的移动对象。作为移动的并且不是人类的对象可能被认为是或被识别为服务动物或宠物。其他标记可以包括车辆中是否有个人物品或个人物品是否放置在批准的行李位置。在某些情况下，这还可以包括物品的类型，诸如移动电话、包等。还有其他标记可以与车辆本身的物理属性相对应，诸如座位是否处于直立和向前的位置，车辆是否损坏(例如，座位上是否有裂缝)，车门是否打开(以及在某些情况下，有多宽)，车厢灯是否正常起作用，以及甚至相机是否正常工作。此外，为了提供有用的训练图像，由远程操作员查看的实际乘客的图像也可以由那些远程操作员标记用于训练。
除了上述模型和传感器之外，或者作为上述模型和传感器的替选，可以在车辆内放置标志物，以便确定或帮助确定车辆的状态。这些标志物可以包括IR反射材料，以得到改善的夜间的能见度。图8是车辆100的示例内部视图，例如在图4的示例配置中，例如从图5的相机532的视角朝向车辆100的后部观察。在该视图中，座位802、804以及长椅座位806的一部分是可见的。包括长椅座位806的两个座位的座位中的每一个可以包括一个或多个固定标志物。这些标志物可以包括，例如，如座位802的座位靠背810和座位底座812以及长椅座位806的一部分上所示的圆圈850，如座位804的座位靠背820和座位底座822以及长椅座位806的一部分上所示的之字形860，或者放置或编织在车辆100的座位的不同区域上的其他图案。作为示例，图案可以对应于座位上的全部或部分徽标或其他艺术品。在这点上，之字形或点可以用其他图案等代替。
虽然在图8中未示出(因为它们收缩在座位安全带隔间内)，但是分别用于座位802和804的安全带830和840(以及用于长椅座位806的安全带)也可以包括标志物。例如，如图9所示，其中座位安全带830和840围绕乘客902和904延伸，标志物950、960在相应的座位安全带上可见。
数据132还可以以表格、数据库或其他存储结构的形式存储图案数据704。图案数据可以将状态信息与标志物可见性相关联。作为示例，如果座位靠背810或座位底座812上的标志物在座位的图像中是可见的，则座位很可能是未被占用的，如图8所示。然而，如果仅座位靠背上的一个或多个标志物的一部分可见，但是座位靠背和座位底座上的其余标志物在图像中不可见，则座位很可能被占用，如下面关于图9进一步讨论的。类似地，如果位于座位安全带上的标志物在被占用的座位前面不可见，则很可能占用该座位的乘客没有系他的或她的座位安全带，如下面关于图9进一步讨论的。作为示例，可以将标志物以这样的方式放置在座位安全带上，即座位安全带的一部分从相机的视角可以被身体部位、衣服、包或手持物品部分遮挡，并且标志物仍然可以在图像中被捕获，使得允许对座位安全带的使用的检测。例如，冗余标志物可以沿着安全带的整个长度(或可用长度)放置在肩膀和大腿部分中的一个或两个上，使得仅一个或多个标志物或安全带的一部分需要是可见的，以成功检测系有他的或她的座位安全带的乘客。图案数据也可用于将标志物可见性和位置与乘客的可能高度或年龄相关，如下面进一步讨论的。替选地，不是存储图案的表格或数据库，而是使用不同状态下的座位和图案的标记的图像，即具有不同高度、重量、位置等的乘客，来进一步如上所述的训练模型。标志物可以另外位于弹性座垫(靠背和底座)上，使得系统可以确定座位的哪些部分被覆盖。标志物将会足够密集，以至于小对象会掩盖多个点。例如，系统可以基于掩盖的标志物的图案的大小来确定移动电话被留在座位上。
数据132还可以以表格、数据库或其他存储结构的形式存储动作数据706。例如，为了解决和响应所确定的车辆的内部状态，动作数据可以包括可由人类操作员定义的策略的集合。这些策略可以定义车辆如何响应所确定的车辆的内部状态。例如，如果未成年人在车辆内，则可以通知安排行程的账户持有人，可以关闭未成年人所坐位置附近的安全气囊(如果合适)，可以播放通知以指示行程不会开始，直到儿童被放置在适当的座位上(诸如在中间座位，在适当的约束装置中，诸如增高垫或儿童的汽车座位)，并且儿童被正确地扣入(buckle)座位。作为另一示例，如果唯一的乘客是未成年人或儿童，可以通知礼宾人员和/或账户持有人，以确认儿童被允许自己乘坐或年龄足够大以至于自己乘坐。可以向礼宾人员提供车辆的内部的图像，以便对情况的安全性进行评估，并根据需要进行干预，例如通过使汽车暂停其行程，或者通过联系未成年乘客或账户持有人。
动作数据还可以包括取决于行程状态的不同策略。例如，如果车辆未被占用，但车辆正在行程中，则行程可能被取消。如果车辆被占用，但是行程刚刚结束，则计算设备可以试图通知占用者他或她必须离开车辆，请求紧急服务，或者请求远程操作员的帮助。如果行程正在进行中，但乘客移开座位安全带或腾出座位，则这可能会导致立即靠边停车(如果已经不在进行中)，联系礼宾人员评估情况，等等。作为另一个示例，如果存在被识别为未成年人的占用者，并且下车点被占用，则车辆可以联系账户持有人(直接地和/或经由服务器计算设备410)以检查另一个位置是否适合让未成年人下车。类似地，如果存在被识别为未成年人的占用者，则车辆内的行程改变可能不被允许，或者如果未成年人击中“靠边停车”按钮，诸如按钮608，账户持有人可能得到通知。这些响应中的全部或一些可以使用汽车中的不同传感器进行交叉验证，例如使用来自车辆的内部相机和/或座位安全带传感器中的一个或多个的图像。
除了上述和附图中所示的操作之外，现在将描述各种操作。应当理解，以下操作不必以下面描述的精确顺序来执行。反而，各种步骤可以按照不同的次序或者同时被处理，并且步骤还可以被添加或者省略。
为了启动从接载位置到目的地位置的行程，服务器计算设备410可以通过网络260将该信息(例如，作为调度(dispatching)指令)发送到计算设备110。如上面所讨论的，计算设备110可以使用来自服务器计算设备410的信息来朝向接载位置操纵车辆。一旦车辆距接载位置某个预定距离，计算设备110可以试图将车辆停在靠近接载位置的位置，以便允许乘客进入。类似地，计算设备110可以朝向目的地位置操纵车辆，并且试图将车辆停在靠近目的地位置的位置，以便允许乘客出去。在行程之前、期间和之后的所有时间，计算设备都可以确定车辆的内部状态，并使车辆根据需要做出响应。
为了确定车辆的内部状态，诸如相机530-536中的任何一个的相机可以用于捕获车辆100的内部的图像。例如，相机532可以捕获对应于图8或图9的视图的图像，并将该图像发送到计算设备110以供进一步处理。可以周期性地捕获图像，诸如每5秒或更多或更少，这可以例如取决于车辆当前是否在行程中而改变。在这点上，紧接在行程之前、在行程期间或紧接在行程之后，与车辆当前不在行程中并且车辆应当没有乘客的情况相比可以更频繁地捕获图像。
在一个示例中，可以使用上面描述的模型来处理图像。例如，可以将图像输入到模型中，该模型可以根据用于训练模型的信息的类型来输出信息。该输出信息可以对应于所确定的车辆的内部的状态信息或所确定的车辆的内部状态。例如，输出可以包括关于乘客的细节，乘客的数量(1、2、3等)，乘客坐在哪里(即，哪个座位)，乘客是否没有正确地坐在座位上，乘客是否系座位安全带，乘客是成人还是儿童，乘客和安全气囊之间是否有对象(诸如包或手提袋)，乘客是否系他的/她的座位安全带，是否存在服务动物或宠物，车辆中是否有个人物品或个人物品是否放置在批准的行李位置，座位是否处于直立和向前的位置，车辆是否损坏(例如，座位上是否有裂缝)，车门是否打开(以及在某些情况下，有多宽)，车厢灯是否正常起作用，相机是否正常工作。关于个人物品，输出还可以包括物品的类型，诸如移动电话、包等。
作为另一示例，图像可以由计算设备110处理以确定标志物的可见性，或者更确切地说，哪些标志物在图像中可见。该处理可以(或者可以不)包括使用一个或多个训练的分类器来将图像裁剪成重要(salient)部分(诸如对应于座位的部分)并检测图像中标志物的存在。其输出可以输入到另一个分类器中，该分类器可以使用裁剪或未裁剪图像中标志物的存在和/或图案来识别每个座位的状态。这可能包括座位是否被占用，座位的占用者是否系有他的或她的座位安全带，等等。如果在图像中描绘了多于一个座位，则输出可以包括每个座位的前述信息，或者可以更通用，诸如“图像包含两人，一人系安全带，一人不系安全带”。
例如，转到图8，所有的标志物850和860都是可见的，但是安全带830或840的标志物都不可见。转到图9，乘客902挡住(block)除座位802的标志物850之一之外的所有标志物。只有两个是可见的，包括标志物952，并且一个标志物952被座位安全带830部分遮挡。座位安全带830的所有标志物950都是可见的。乘客904几乎挡住座位804的所有之字形标志物860，除了之字形标志物860的对应于标志物962的小区域。座位安全带840的所有标志物960都是可见的。
图案数据704然后可以被计算设备110访问和使用，以确定车辆的内部的状态信息。例如，状态信息可以指示特定座位是否被占用，以及被占用座位的占用者是否系安全带。这可用于确定关于车辆是否被占用、坐在车辆中的乘客的数量、乘客是否系有他们的安全带、车辆中是否有太多乘客等等。作为示例，返回到图8，所有标志物850都是可见的以及座位安全带830的标志物是不可见的信息可以与图案数据704进行比较。图案数据可以将可见的和遮挡的标志物的这种组合识别为与座位802未被乘客占用和座位安全带830未使用相关联。类似地，所有标志物860都是可见的以及座位安全带840的标志物是不可见的信息可以与图案数据704进行比较。图案数据可以将可见的和遮挡的标志物的这种组合识别为与座位804未被乘客占用和座位安全带840未使用相关联。
转到图9，可以将除标志物952和954之外的所有标志物都是可见的并且标志物952被部分遮挡的信息与图案数据704进行比较。图案数据可以将可见的和遮挡的标志物的这种组合识别为与座位802被乘客占用相关联。类似地，座位804的之字形标志物860(将之字形标志物860的对应于标志物962的小区域除外)被遮挡的信息可以与图案数据704进行比较。图案数据可以将可见的和遮挡的标志物的这种组合识别为与座位804被乘客占用相关联。虽然图中未描绘，但是如果标志物950或960在图像中不可见，则这可以指示乘客902和904没有系他们的座位安全带。
除了确定座位是否被占用以及乘客是否系座位安全带之外，计算设备110还可以使用标志物来确定乘客的高度。例如，座位安全带上的哪个标志物在图像中是可见的可以用来估计座位安全带落在乘客的肩膀上和/或相对于座位的位置。例如，可以使用分类器或其他视觉算法来检测乘客的肩膀的边缘，并将该位置与已知的座位安全带标志物位置以及图像中这些座位安全带标志物位置相对于座位的相对位置进行比较。附加地或替选地，另一个分类器可以检测不同身体特征的位置，并将这些特征的位置与座位安全带标志物或标志物所处的位置进行比较。此外，座位的边缘可以使用座位的标志物来估计或先验已知的。这可以预先测量一次(假设座位的位置保持相对静止)，或者测量几次，以捕获图像中座位的边缘可能位于的几个不同的可能位置。这又可以用来估计乘客的高度，或者更简单地说，乘客躯干的长度。例如，最低可见的标志物(在座位上靠近座位安全带和乘客的肩膀)可能对应于乘客的高度(或至少乘客的到他的或她的肩膀的高度)。类似地，标志物本身可能会将信息编码到其中，诸如特定的颜色、形状变化或其他配置。在这方面，最低的可见的标志物(在座位上靠近座位安全带和乘客的肩膀)可能与所估计的乘客的高度直接相关联。此外，通过结合标志物来确定相对于座位上的位置的高度，这可以降低由不同身体形状引起的误差的可能性(因为座位安全带标志物可能在不同的位置结束)。
例如，座位安全带830具有八个标志物950。标志物956邻近乘客902的肩膀912。座位安全带830上的标志物956的位置和相对于座位安全带的其他标志物950以及相对于座位810的位置可用于确定乘客902身高低于5英尺。这可以指示乘客902是儿童。类似地，座位安全带840具有八个标志物960。标志物966邻近乘客904的肩膀914。座位安全带840上的标志物966的位置和相对于座位安全带的其他标志物960以及相对于座位820的位置可用于确定乘客902身高超过5.5英尺。这可以指示乘客902是成年人。
在一些情况下，当儿童的汽车座位位于车辆中时，也可以在汽车座位上放置标志物，以确保汽车座位存在并相对于座位正确定位。这些标志物可以与上面描述的那些相同或相似，并且可以使用上面描述的任何示例来识别。
作为标志物的附加或替选，座位安全带本身可以是除了黑色之外的颜色。例如，典型的黑色座位安全带可能很难与黑色毛衣或夹克区分开来。在这方面，座位安全带可以由红色、黄色、粉色、绿色、蓝色、靛蓝色、紫色织物制成，而不是典型的黑色。这可以改善使用模型或其他图像处理来识别乘客躯干或大腿的区域中的特定颜色而确定乘客是否系座位安全带的有效性。
所确定的内部状态(例如，使用上述模型和/或标志物示例中的任何一个来确定)可以进一步由可用于确定如何响应所确定的内部状态的其他信息来核验。例如，取决于行程的状态，行程刚刚结束，行程即将开始，或者当前在车辆中行程正在进行，计算设备110可以进一步确定关于车辆的内部状态。例如，如果行程刚刚结束，并且个人物品位于车辆中，则计算设备可以确定个人物品被落下。当然，如果在行程期间该同样的个人物品在车辆中，则该物品就不一定会被落下。作为另一个示例，如果行程已经结束，但是乘客仍然坐在车辆中，则这可能再次需要与行程当前正在进行并且乘客坐好的情况相比不同的响应。
在一些示例中，一个或多个座位内的传感器可用于确定对象是否位于这些座位中的任何一个上。如果是，则计算设备110可以使用模型和/或标志物来确定对象的类型，诸如它是否是成人、儿童、移动电话、包等。
一旦车辆的内部状态被确定并且在一些情况下如上所述被核验，计算设备110可以使用动作数据706来确定适当的响应。作为示例，如果车辆的状态指示车辆被占用并且行程刚刚结束，则计算设备可以向乘客提供听觉通知以指示是离开的时间了。如果乘客没有离开，则计算设备可以请求远程操作员或紧急服务的帮助(如果该人员没有反应的话，等等)。
此外，使用所估计的乘客的高度，计算设备110可以施行关于乘客是否足够高或者是否年龄真的足够大以至于单独乘坐车辆以便在没有垫高座位(booster seat)或汽车座位的情况下在车辆中乘坐的规则。例如，当所确定的内部状态指示车辆中有未成年人或儿童，诸如乘客902时，计算设备可以施行在上面讨论的动作数据中定义的策略。作为示例，如果未成年人在车辆内，则可以通知安排行程的账户持有人，可以关闭未成年人所坐位置附近的安全气囊(如果合适)，可以播放通知以指示行程不会开始，直到儿童被放置在适当的座位上(诸如在中间座位，在增高垫或儿童的汽车座位)并且儿童被正确地扣入(buckle)座位。作为另一个示例，如果唯一的乘客是儿童，则可以例如通过向他或她的客户端计算设备发送通知来通知账户持有人，以确认儿童被允许自己乘坐或年龄足够大以至于自己乘坐。
作为另一个示例，所确定的内部状态指示个人物品被落下，计算设备110可以经由乘客的客户端计算设备提供通知，并且如果设备被留在车辆中，则可以提供听觉通知(诸如喇叭或扬声器上的其他消息)以警示乘客。该通知可以由计算设备110通过网络直接发送给客户端计算设备，发送给服务器计算设备210(服务器计算设备210可以将该通知转发给客户端计算设备)，或者使用任何其他方法。该通知可以使乘客意识到有东西被落下，并且与涉及远程操作员且必须通过网络来回发送若干消息的情况相比更快地取回它。
作为另一个示例，如果所确定的内部状态指示车辆损坏、变脏或需要清洁或修理，则取决于损坏的量，计算设备110可以使车辆停止服务并要求车辆返回服务站。如果损坏轻微，则车辆可以继续提供运输服务。如果损坏的量不清楚，或者在有任何损坏的某些情况下，相同的图像或另一个图像可能被发送给远程操作员进行检查，以确定如何前进(proceed)。
在某些情况下，计算设备110可以向乘客提供通知，以指示乘客在车辆能够前进之前必须解决的问题。例如，乘客可能需要关门、系好他的或她的座位安全带、在乘客和气囊之间移动对象、移除非服务动物(如果不允许宠物)等。
在行程期间，计算设备110还可以周期性地或连续地监视车辆的内部状态。这可能包括确定乘客是否在睡觉、是否试图胡乱摆弄(tamper)或移除车辆的部件、是否有不受约束的宠物、是否解开了座位安全带和/或是否离开了座位。计算设备甚至能够确定车辆外部的对象，诸如树枝或人的一部分是否正通过窗户延伸到车辆中。这可以允许计算设备对这种情况做出响应，否则这种情况将需要人类操作员的持续检查(如上面所指出的，这可能变得低效)，并且这甚至可以改善乘客的隐私，因为几乎不需要远程操作员查看乘客的图像，除非例如存在一些安全问题。随着时间的推移，该模型甚至可以被训练成检测乘客是否遇险或者他们是否正在经历晕动病(motion sickness)，并且允许计算设备改变车辆的路线和/或在需要时请求适当的帮助。
图10是根据本公开各方面的示例流程图1000，其可以由一个或多个计算设备的一个或多个处理器来执行，诸如计算设备110的处理器120，以便确定和响应诸如车辆100的自动驾驶车辆的内部状态。在该示例中，在框1010，接收由安装在车辆中的相机捕获的车辆的内部的图像。在框1020，对图像进行处理，以便识别车辆内预定位置处的一个或多个可见标志物。在框1030，基于所识别的一个或多个可见标志物来确定车辆的内部状态。在框1040，使用所确定的内部状态来识别响应动作。在框1050，控制车辆以执行响应动作。
除非另有说明，否则前述替选示例并不相互排斥，而是可以以各种组合来实现，以获得独特的优点。由于能够在不脱离由权利要求限定的主题的情况下使用以上讨论的特征的这些以及其他变化和组合，应当以说明的方式而不是以限制由权利要求限定的主题的方式来进行前述对实施例的描述。此外，对这里描述的示例以及被措辞为“诸如”、“包括”等等的短语的提供不应被解释为将权利要求的主题限制于特定的示例；反而，这些示例意图示出许多可能的实施例中的仅一个。另外，不同的附图中的相同的参考标号能够标识相同或者相似的元素。

Claims (20)

1.一种确定和响应自动驾驶车辆的内部状态的方法，所述方法包括:
接收由安装在车辆中的相机捕获的车辆的内部的图像；
对图像进行处理，以便识别车辆内预定位置处的一个或多个可见标志物；
基于所识别的一个或多个可见标志物来确定车辆的内部状态；
使用所确定的内部状态来识别响应动作；以及
控制车辆以执行响应动作。
2.根据权利要求1所述的方法，其中，使用提供所确定的内部状态的机器学习模型来处理图像。
3.根据权利要求1所述的方法，还包括：使用一个或多个可见标志物来确定车辆的乘客的高度，并且其中确定车辆的内部状态是基于所确定的高度的。
4.根据权利要求1所述的方法，其中，所述内部状态指示车辆的座位被占用。
5.根据权利要求1所述的方法，其中，所述车辆的内部状态指示所述车辆的座位未被占用。
6.根据权利要求1所述的方法，其中，所述一个或多个可见标志物位于车辆的座位的座位靠背上，并且所述车辆的内部状态指示座位未被占用。
7.根据权利要求1所述的方法，其中，所述一个或多个可见标志物位于车辆的座位的座位安全带上，并且所述车辆的内部状态指示座位被乘客占用。
8.根据权利要求7所述的方法，其中，所述车辆的内部状态指示所述乘客系有座位安全带。
9.根据权利要求1所述的方法，还包括：基于所述车辆当前是否正处于载有一个或多个乘客到目的地的行程中来核验所确定的内部状态。
10.根据权利要求1所述的方法，其中，所确定的内部状态指示车辆内的乘客数量。
11.根据权利要求1所述的方法，其中，当所确定的内部状态指示车辆被乘客占用并且行程刚刚结束时，所述响应动作包括向乘客提供听觉通知以指示是离开车辆的时间了。
12.根据权利要求1所述的方法，其中，当所确定的内部状态指示车辆未被占用并且行程正在进行时，所述响应动作包括取消行程。
13.根据权利要求1所述的方法，其中，当所确定的内部状态指示儿童在车辆中时，所述响应动作包括提供通知，所述通知指示儿童必须在车辆内的特定座位中。
14.根据权利要求13所述的方法，其中，所述响应动作包括直到儿童在车辆的特定座位中才开始行程。
15.根据权利要求1所述的方法，其中，所确定的内部状态指示儿童在车辆中，所述响应动作包括提供通知，所述通知指示儿童必须在车辆内处于适当的儿童约束中。
16.根据权利要求15所述的方法，其中，所述响应动作包括直到儿童处于适当的儿童约束中才开始行程。
17.根据权利要求1所述的方法，其中，所确定的内部状态指示儿童在车辆中，所述响应动作包括向与行程相关联的账户持有人的客户端设备提供请求确认儿童被允许乘坐车辆的通知。
18.根据权利要求1所述的方法，其中，所确定的内部状态指示儿童在车辆中，并且所述方法还包括关闭与儿童所处的座位相邻的气囊。
19.根据权利要求1所述的方法，其中，所确定的内部状态指示乘客没有系座位安全带，所述响应动作包括提供请求乘客使用座位安全带的通知。
20.一种用于确定和响应自动驾驶车辆的内部状态的系统，所述系统包括一个或多个处理器，所述一个或多个处理器被配置为:
接收由安装在车辆中的相机捕获的车辆的内部的图像；
对图像进行处理，以便识别车辆内预定位置处的一个或多个可见标志物；
基于所识别的一个或多个可见标志物来确定车辆的内部状态；
使用所确定的内部状态来识别响应动作；以及
控制车辆以执行响应动作。
CN201980014786.3A 2018-02-21 2019-02-19 确定和响应车辆的内部状态 Active CN111788101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110670610.2A CN113353073A (zh) 2018-02-21 2019-02-19 确定和响应车辆的内部状态

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/901,379 US10838425B2 (en) 2018-02-21 2018-02-21 Determining and responding to an internal status of a vehicle
US15/901,379 2018-02-21
PCT/US2019/018542 WO2019164825A1 (en) 2018-02-21 2019-02-19 Determining and responding to an internal status of a vehicle

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110670610.2A Division CN113353073A (zh) 2018-02-21 2019-02-19 确定和响应车辆的内部状态

Publications (2)

Publication Number Publication Date
CN111788101A true CN111788101A (zh) 2020-10-16
CN111788101B CN111788101B (zh) 2021-06-29

Family

ID=67616827

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980014786.3A Active CN111788101B (zh) 2018-02-21 2019-02-19 确定和响应车辆的内部状态
CN202110670610.2A Pending CN113353073A (zh) 2018-02-21 2019-02-19 确定和响应车辆的内部状态

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110670610.2A Pending CN113353073A (zh) 2018-02-21 2019-02-19 确定和响应车辆的内部状态

Country Status (6)

Country Link
US (3) US10838425B2 (zh)
EP (1) EP3755594A4 (zh)
JP (1) JP6985523B2 (zh)
KR (1) KR102254043B1 (zh)
CN (2) CN111788101B (zh)
WO (1) WO2019164825A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200269795A1 (en) * 2019-02-27 2020-08-27 Zf Friedrichshafen Ag Marking object arrangeable at a child seat for adaptive actuation of an airbag, method to determine a position and/or orientation of a child seat relative to a car seat and computer program for adaptive actuation of an airbag

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102003940B1 (ko) * 2016-11-11 2019-10-01 엘지전자 주식회사 자율 주행 차량 및 그 제어방법
US10838425B2 (en) * 2018-02-21 2020-11-17 Waymo Llc Determining and responding to an internal status of a vehicle
US11614735B1 (en) * 2018-05-18 2023-03-28 Uatc, Llc Systems and methods for remote status detection of autonomous vehicles
JP7081315B2 (ja) * 2018-06-07 2022-06-07 トヨタ自動車株式会社 シートベルト装着状態判定装置
JP7040409B2 (ja) * 2018-11-07 2022-03-23 トヨタ自動車株式会社 モビリティサービス支援装置、モビリティシステム、モビリティサービス支援方法、及びモビリティサービス支援用コンピュータプログラム
US10864826B2 (en) * 2019-01-30 2020-12-15 Ford Global Technologies, Llc Seat including infrared-indicator material in a pattern
US10640082B1 (en) 2019-02-11 2020-05-05 Gm Cruise Holdings Llc Child rider features for an autonomous vehicle
US10679226B1 (en) * 2019-02-27 2020-06-09 Capital One Services, Llc System and method for providing disposal recommendation for a vehicle owner
US10913428B2 (en) * 2019-03-18 2021-02-09 Pony Ai Inc. Vehicle usage monitoring
US11491940B2 (en) * 2019-04-19 2022-11-08 GM Global Technology Operations LLC System and method for detecting improper posture of an occupant using a seatbelt restraint system
US11568743B2 (en) * 2019-08-07 2023-01-31 Ford Global Technologies, Llc Systems and methods for managing a vehicle fleet based on compliance regulations
US11193312B1 (en) * 2019-09-30 2021-12-07 Ambarella International Lp Child safety lock
JP7379074B2 (ja) 2019-10-17 2023-11-14 株式会社今仙電機製作所 車両用シート、車両、車両の制御方法及びそのプログラム
US11148636B2 (en) * 2019-11-11 2021-10-19 GM Global Technology Operations LLC Time based seatbelt routing detection via in-cabin sensors
US11729432B2 (en) * 2019-11-19 2023-08-15 Thales Avionics, Inc. Inflight entertainment system using video object recognition to monitor seat areas and generate flight crew notifications
CN112836549A (zh) * 2019-11-22 2021-05-25 虹软科技股份有限公司 用户信息的检测方法及系统、电子设备
US11017248B1 (en) 2019-12-18 2021-05-25 Waymo Llc Interior camera system for a self driving car
US11951997B2 (en) * 2020-02-06 2024-04-09 Micron Technology, Inc. Artificial intelligence-enabled alarm for detecting passengers locked in vehicle
US11465746B2 (en) * 2020-02-17 2022-10-11 Jeff Johnson Method and apparatus for detecting seatbelt compliance in commercial passenger aircraft
US11262562B2 (en) 2020-03-18 2022-03-01 Waymo Llc Infrared camera module cover
CN111439170B (zh) * 2020-03-30 2021-09-17 上海商汤临港智能科技有限公司 儿童状态检测方法及装置、电子设备、存储介质
JP2022002947A (ja) * 2020-06-18 2022-01-11 エヌビディア コーポレーション 基準マーキングを使用するマシン学習ベースのシートベルト検出及び使用認識
KR102378665B1 (ko) * 2020-08-26 2022-03-25 주식회사 켐트로닉스 차량의 긴급 제어 시스템 및 방법
US20220203930A1 (en) * 2020-12-29 2022-06-30 Nvidia Corporation Restraint device localization
US11807257B2 (en) * 2021-06-07 2023-11-07 Toyota Connected North America, Inc. Sensing interactions with unpermitted components within a vehicle
US11938878B1 (en) * 2021-06-25 2024-03-26 Zoox, Inc. Occupant restraint system and method
US11951935B2 (en) * 2021-07-22 2024-04-09 GM Global Technology Operations LLC System and method for assessing seatbelt routing using seatbelt routing zones that are based on size and shape of occupant
CN116091075A (zh) * 2021-11-02 2023-05-09 博泰车联网(武汉)有限公司 自动驾驶车辆的控制系统、方法、设备、存储介质及产品
EP4303821A1 (en) * 2022-07-07 2024-01-10 Aptiv Technologies Limited Seated passenger height estimation

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6775606B1 (en) * 2000-12-07 2004-08-10 Siemens Aktiengesellschaft Device and method for sensing an object and use of the device and method for adjusting an element
JP2007055294A (ja) * 2005-08-22 2007-03-08 Tokai Rika Co Ltd 車両用乗員検知装置
JP2007168668A (ja) * 2005-12-22 2007-07-05 Calsonic Kansei Corp シート制御装置
CN103359038A (zh) * 2013-08-05 2013-10-23 北京汽车股份有限公司 一种识别儿童坐副驾驶位置的方法、系统及汽车
KR101478053B1 (ko) * 2013-09-09 2014-12-31 박용재 어린이 통학차량용 안전시스템
US9442647B2 (en) * 2014-04-25 2016-09-13 Honda Motor Co., Ltd. System and method for limiting interaction between a portable electronic device and a navigation system in a vehicle
CN107010073A (zh) * 2015-11-30 2017-08-04 法拉第未来公司 基于数据聚合自动检测车辆中的占用条件的系统和方法

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4448842B2 (ja) * 1996-02-23 2010-04-14 エレシス ノース アメリカ インコーポレイテッド 車両の乗員感知装置とその方法
JP2003044863A (ja) * 2001-07-30 2003-02-14 Nissan Motor Co Ltd 仕切線認識装置
JP4403102B2 (ja) * 2004-05-26 2010-01-20 株式会社東芝 エアバッグ装置及び乗員検知装置並びにプログラム
US7321306B2 (en) 2004-12-10 2008-01-22 International Business Machines Corporation Wireless system to detect presence of child in a baby car seat
US7845560B2 (en) * 2004-12-14 2010-12-07 Sky-Trax Incorporated Method and apparatus for determining position and rotational orientation of an object
JP4595666B2 (ja) * 2005-05-13 2010-12-08 パナソニック電工株式会社 車両用安全システム
KR100753115B1 (ko) * 2006-06-13 2007-08-29 한국원자력연구원 차량 탑승자 인식장치 및 방법
DE102006040244B3 (de) * 2006-08-28 2007-08-30 Robert Bosch Gmbh Vorrichtung und Verfahren zur Sitzbelegungserkennung
JP4856506B2 (ja) * 2006-09-14 2012-01-18 本田技研工業株式会社 車両のシートベルト装置
DE102006056094A1 (de) * 2006-11-28 2008-05-29 Robert Bosch Gmbh Fahrerassistenzsystem mit Anwesenheitsüberwachung
JP2008234009A (ja) * 2007-03-16 2008-10-02 Denso Corp 健康管理支援システム
JP2009090962A (ja) * 2007-09-18 2009-04-30 Auto Network Gijutsu Kenkyusho:Kk シートベルト装着情報出力システム、車両用シート及び車両
US8605947B2 (en) * 2008-04-24 2013-12-10 GM Global Technology Operations LLC Method for detecting a clear path of travel for a vehicle enhanced by object detection
US8509982B2 (en) 2010-10-05 2013-08-13 Google Inc. Zone driving
WO2014064898A1 (ja) 2012-10-26 2014-05-01 日本電気株式会社 乗車人数計測装置、方法およびプログラム
US8880273B1 (en) * 2013-01-16 2014-11-04 Google Inc. System and method for determining position and distance of objects using road fiducials
US20160301698A1 (en) 2013-12-23 2016-10-13 Hill-Rom Services, Inc. In-vehicle authorization for autonomous vehicles
US9650016B2 (en) * 2014-12-04 2017-05-16 GM Global Technology Operations LLC Detection of seatbelt position in a vehicle
US9616773B2 (en) * 2015-05-11 2017-04-11 Uber Technologies, Inc. Detecting objects within a vehicle in connection with a service
CN106274669B (zh) * 2015-06-10 2020-03-24 联想(北京)有限公司 一种安全预警方法及装置
KR20170074740A (ko) * 2015-12-22 2017-06-30 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
JP6751436B2 (ja) 2015-09-04 2020-09-02 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 自律走行車両へのアクセス及び運転制御
JP2017083308A (ja) * 2015-10-28 2017-05-18 アルパイン株式会社 電子装置、施設特定方法および施設特定プログラム
US9663032B1 (en) * 2015-11-09 2017-05-30 Ford Global Technologies, Llc Child seat monitoring system and method
US9821761B2 (en) * 2015-11-20 2017-11-21 Ford Global Technologies, Llc System and method for webbing payout
CN105730392A (zh) * 2016-04-05 2016-07-06 上海汽车集团股份有限公司 安全带未系提醒系统及方法
CN105946786B (zh) 2016-05-06 2018-12-07 厦门理工学院 一种安全带规范佩戴的检测方法、提醒系统及控制方法
US20170330044A1 (en) 2016-05-10 2017-11-16 GM Global Technology Operations LLC Thermal monitoring in autonomous-driving vehicles
JP2017222337A (ja) * 2016-06-14 2017-12-21 アイシン精機株式会社 着座状態検出装置
CN106494349A (zh) * 2016-10-25 2017-03-15 深圳市元征科技股份有限公司 一种安全带未系报警方法及装置
US10838425B2 (en) * 2018-02-21 2020-11-17 Waymo Llc Determining and responding to an internal status of a vehicle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6775606B1 (en) * 2000-12-07 2004-08-10 Siemens Aktiengesellschaft Device and method for sensing an object and use of the device and method for adjusting an element
JP2007055294A (ja) * 2005-08-22 2007-03-08 Tokai Rika Co Ltd 車両用乗員検知装置
JP2007168668A (ja) * 2005-12-22 2007-07-05 Calsonic Kansei Corp シート制御装置
CN103359038A (zh) * 2013-08-05 2013-10-23 北京汽车股份有限公司 一种识别儿童坐副驾驶位置的方法、系统及汽车
KR101478053B1 (ko) * 2013-09-09 2014-12-31 박용재 어린이 통학차량용 안전시스템
US9442647B2 (en) * 2014-04-25 2016-09-13 Honda Motor Co., Ltd. System and method for limiting interaction between a portable electronic device and a navigation system in a vehicle
CN107010073A (zh) * 2015-11-30 2017-08-04 法拉第未来公司 基于数据聚合自动检测车辆中的占用条件的系统和方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200269795A1 (en) * 2019-02-27 2020-08-27 Zf Friedrichshafen Ag Marking object arrangeable at a child seat for adaptive actuation of an airbag, method to determine a position and/or orientation of a child seat relative to a car seat and computer program for adaptive actuation of an airbag
US11491942B2 (en) * 2019-02-27 2022-11-08 Zf Friedrichshafen Ag Marking object arrangeable at a child seat for adaptive actuation of an airbag, method to determine a position and/or orientation of a child seat relative to a car seat and computer program for adaptive actuation of an airbag

Also Published As

Publication number Publication date
JP6985523B2 (ja) 2021-12-22
US10838425B2 (en) 2020-11-17
KR20200102000A (ko) 2020-08-28
US11619949B2 (en) 2023-04-04
US20190258263A1 (en) 2019-08-22
JP2021509876A (ja) 2021-04-08
WO2019164825A1 (en) 2019-08-29
CN111788101B (zh) 2021-06-29
KR102254043B1 (ko) 2021-05-20
CN113353073A (zh) 2021-09-07
US20210034067A1 (en) 2021-02-04
US20230205223A1 (en) 2023-06-29
EP3755594A1 (en) 2020-12-30
EP3755594A4 (en) 2021-11-17

Similar Documents

Publication Publication Date Title
CN111788101B (zh) 确定和响应车辆的内部状态
KR102325200B1 (ko) 자율 주행 차량에서 정차 분석을 향상시키기 위해 승객들의 승하차 시간을 추정하기
JP7344339B2 (ja) 自律車両のための状況認識停車
EP3500902B1 (en) Method and system for determining and dynamically updating a route and driving style for passenger comfort
JP6051162B2 (ja) 検出された物体の挙動を予測するシステム及び方法
CN107878460A (zh) 自动驾驶车辆的控制方法和服务器
JP7382327B2 (ja) 情報処理装置、移動体、情報処理方法及びプログラム
JP2019153219A (ja) 車両管理システム、車両管理方法、およびプログラム
US20240071231A1 (en) Information presentation device
JP7308573B2 (ja) システム及びプログラム等
WO2021131789A1 (ja) 車両
WO2023053487A1 (ja) 置き去り通知装置、置き去り通知方法および置き去り通知プログラム
JP7223472B1 (ja) システム及びプログラム等
JP7367014B2 (ja) 信号処理装置、信号処理方法、プログラム、及び、撮像装置
KR20230159450A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
CN117083218A (zh) 信息处理装置、信息处理方法和程序
JP2023061984A (ja) システム及びプログラム等
JP2023029831A (ja) システム及びプログラム等
CN117546219A (zh) 信息处理系统和信息处理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant