CN112334370A - 诸如车道偏离警报的自动化载运工具动作以及相关联的系统和方法 - Google Patents

诸如车道偏离警报的自动化载运工具动作以及相关联的系统和方法 Download PDF

Info

Publication number
CN112334370A
CN112334370A CN201880094788.3A CN201880094788A CN112334370A CN 112334370 A CN112334370 A CN 112334370A CN 201880094788 A CN201880094788 A CN 201880094788A CN 112334370 A CN112334370 A CN 112334370A
Authority
CN
China
Prior art keywords
vehicle
shock
frequency
determined
vibration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880094788.3A
Other languages
English (en)
Other versions
CN112334370B (zh
Inventor
王铭钰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhuoyu Technology Co ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112334370A publication Critical patent/CN112334370A/zh
Application granted granted Critical
Publication of CN112334370B publication Critical patent/CN112334370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/12—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to parameters of the vehicle itself, e.g. tyre models
    • B60W40/13—Load or weight
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/12—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to parameters of the vehicle itself, e.g. tyre models
    • B60W40/13—Load or weight
    • B60W2040/1307—Load distribution on each wheel suspension
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2422/00—Indexing codes relating to the special location or mounting of sensors
    • B60W2422/70—Indexing codes relating to the special location or mounting of sensors on the wheel or the tire
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2422/00—Indexing codes relating to the special location or mounting of sensors
    • B60W2422/95—Measuring the same parameter at multiple locations of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/35—Road bumpiness, e.g. potholes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • B60W2552/53—Road markings, e.g. lane marker or crosswalk
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems
    • B60W2710/207—Steering angle of wheels

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

键到动作的映射可以使各种载运工具系统自动化。一些自动化可以提供车道偏离警报。用于车道偏离映射的键可以指定载运工具驶过车道反光轮廓标时预期的震动模式。这些基于震动的映射可以包括具有震动模式的键，例如，定义震动频率或震动位置。用于应急灯映射的键可以基于以下条件：例如(1)载运工具在道路上、停止、没有堵车以及没有在停车信号处；(2)载运工具的部件发生故障；或(3)天气状况。

Description

诸如车道偏离警报的自动化载运工具动作以及相关联的系统 和方法
技术领域
本公开涉及载运工具中的自动化动作，并且更具体地，涉及执行与载运工具状况数据匹配的动作。
背景技术
驾驶辅助技术的发展包括诸如自适应巡航、自动停车、车道偏离警报、车道保持和疲劳驾驶提醒之类的功能。这些驾驶辅助功能被设计为使驾驶更安全和更轻松。驾驶辅助功能可以从诸如包括光成像、检测和测距(LIDAR)在内的载运工具传感器网络以及其他传感器获得载运工具状况数据，并且可以使用该数据来选择警报。
例如，车道偏离警报系统(LDWS)在系统确定载运工具正偏离正常驾驶时向驾驶员提供预警。LDWS可以由平视显示器(HUD)、相机或其他传感器以及控制器组成。当LDWS被启用时，传感器(通常是位于机身侧面或后视镜上的相机)和控制器连续采集数据并识别行驶车道。LDWS还获得载运工具在当前行驶车道内的位置数据。控制器可以检测载运工具何时偏离行驶车道。取决于所确定的载运工具驾驶员和载运工具的当前操作状态(例如，转向信号是否接通)，控制器可以经由HUD发出报警信号或警报。整个过程可以约每500毫秒连续重复一次。
在计算机化驾驶辅助技术之前，另一种驾驶警报系统在车道线上实现了抬高的、通常是反射性的车道反光轮廓标，以分隔行驶车道或表示行驶车道的边缘。载运工具驶过车道反光轮廓标将引起震动，以提醒载运工具驾驶员注意。
附图说明
图1是示出根据本技术的实施例的可以在其上操作一些实施方式的装置的概述的框图。
图2是示出根据本技术的实施例的可以在其中操作一些实施方式的环境的概述的框图。
图3是根据本技术的实施例配置的具有传感器网络和处理系统的部分代表性载运工具的示意图。
图4是示出根据本技术的实施例的在一些实施方式中使用的用于通过具有与载运工具状况数据相匹配的键的映射使载运工具动作自动化的过程的流程图。
图5A是示出根据本技术的实施例的在一些实施方式中使用的用于转换载运工具状况数据并识别基于震动的车道偏离映射的过程的流程图。
图5B是示出根据本技术的实施例的在一些实施方式中使用的用于转换载运工具状况数据并识别应急灯映射的过程的流程图。
图6A-图6C是示出根据本技术的实施例的在一些实施方式中使用的各种示例键-动作映射的示意图。
通过结合附图参考下面的详细说明，可以更好地理解本文介绍的技术，在附图中，相同的附图标记指示相同或功能相似的元件。
具体实施方式
本文提供了用于使载运工具动作自动化的实施例，例如，基于载运工具状况数据提供车道偏离警报和/或应急灯提醒。载运工具状况数据可以从载运工具的一个或多个传感器(例如，“载运工具传感器网络”)收集，或者从诸如交通数据、天气数据、车行道映射、GPS信号等之类的外部源收集。
载运工具动作自动化系统可以包括将一个或多个键映射到一个或多个载运工具动作的映射。当映射键与载运工具状况数据匹配时，载运工具动作自动化系统可以使载运工具执行该映射中的一个或多个动作。在一些实施方式中，映射“键”可以是基于规则的键，其为状况类型定义一个或多个值或值范围，其中，当来自载运工具状况数据的对应状况类型的值等于该值或落在值范围内时，键被匹配。在一些情况下，可以将这些键定义为与运算符连接的多个条件的表达式。在一些实施方式中，映射“键”可以是基于模型的键，其包括一个或多个经训练的模型，经训练的模型从载运工具状况数据接收经识别的值并产生对经识别的值是否与该键匹配的指示。在一些实施方式中，映射键既可以是基于规则的键也可以是基于模型的键，包括规则和一个或多个模型二者。映射中的一个或多个动作可以包括，例如激活警报系统、打开应急灯或其他信号系统、向其他载运工具发信号、自动控制载运工具的部件，例如制动器、加速器或转向器等。下面参考图4和图6A至图6C公开了关于映射的附加信息。
在一些实施方式中，载运工具动作自动化系统包括用于车道偏离动作的映射，例如，激活车道偏离的警报、使载运工具减速或控制载运工具的转向以避免车道偏离。在一些实施方式中，这些车道偏离映射的键可以基于对载运工具中由载运工具驶过车道反光轮廓标引起的震动模式的识别。这些基于震动的映射可以包括具有震动模式的键，例如，定义震动频率和/或针对某些载运工具位置，例如特定轮胎，检测到的震动频率。震动模式可以对应于已知的与驶过车道反光轮廓标相对应的震动频率。在一些实施方式中，这些震动模式可以基于诸如载运工具的配置或当前驾驶状况之类的因素。下面参考图5A公开了关于识别车道偏离动作的映射的附加信息。
在一些实施方式中，载运工具动作自动化系统包括用于应急灯动作的映射，例如，提醒载运工具驾驶员激活载运工具的应急灯或自动启用载运工具的应急灯。在各种实施方式中，用于这些应急灯映射的键可以包括载运工具状况，其中：(1)道路上的载运工具在指定速度以下、没有堵车以及没有在停车信号处；(2)载运工具的一个或多个指定部件发生故障；或(3)载运工具处于特定的天气状况。下面参考图5B公开了关于识别应急灯动作的映射的附加信息。
尽管现有的驾驶辅助功能可以在一些情况下警报驾驶员偏离车道，但是当载运工具偏离行驶车道时，这些功能会发生故障而不会触发车道偏离警报。本文公开的技术方面可以通过使车道偏离警报更加可靠来改善驾驶辅助功能的功能。具体地，单独或结合基于视觉的LDWS指示符使用震动模式进行车道偏离警报动作的键映射，无论是机器学习模型还是条件值，都可以提高警报的准确性和驾驶安全性。
现有的驾驶辅助功能也无法提供应急灯动作，例如，建议何时激活应急灯或自动启用应急灯。本文公开的技术方面通过提供这些应急灯动作进一步改善驾驶辅助功能的功能。具体地，将映射用于应急灯动作进一步提高了警报准确性和驾驶安全性，其中，映射具有使用诸如速度、车行道状况、天气状况、交通等因素的经训练的模型或条件值键。
下面参考附图更详细地讨论几种实施方式。图1是示出所公开的技术的一些实施方式可以在其上运行的装置的概述的框图。装置可以包括装置100的硬件部件，其使用键映射(作为条件值或经训练的模型)来使载运工具动作自动化，以实现新的(并改善现有的)辅助驾驶功能。装置100可以包括一个或多个输入装置120，其向处理器110(例如CPU、GPU、HPU等)提供输入，以通知其动作。这些动作可以由硬件控制器来介导，硬件控制器解释从输入装置接收的信号，并使用通信协议向处理器110传送信息。输入装置120包括例如鼠标、键盘、触摸屏、红外传感器、触摸板、可穿戴输入装置、基于相机或图像的输入装置、麦克风或其他用户输入装置。
处理器110可以在装置中包括单个处理单元或多个处理单元，或者分布在多个装置中。处理器110可以例如通过使用总线(例如PCI总线或SCSI总线)与其他硬件装置耦合。处理器110可以与用于装置(例如用于显示器130)的硬件控制器进行通信。显示器130可以用于显示文本和图形。在一些实施方式中，显示器130向用户提供图形和文本视觉反馈。在一些实施方式中，显示器130包括输入装置作为显示器的一部分，例如，当输入装置是触摸屏或配备有人眼方向监测系统时。在一些实施方式中，显示器与输入装置分开。合适的显示装置的示例是：LCD显示屏、LED显示屏、投影、全息或增强现实显示器(例如平视显示装置或头戴式装置)等。其他I/O装置140也可以与处理器耦合，例如网卡、显卡、声卡、USB，火线或其他外部装置、相机、打印机、杨声器、CD-ROM驱动器、DVD驱动器、磁盘驱动器或蓝光装置。
在一些实施方式中，装置100还包括能够与网络节点无线地或以有线方式进行通信的通信装置。通信装置可以使用例如TCP/IP协议通过网络与另一装置或服务器通信。装置100可以利用通信装置在多个网络装置之间分配操作。
处理器110可以访问装置中或分布在多个装置中的存储器150。存储器包括用于易失性和非易失性存储的各种硬件装置中的一个或多个，并且可以包括只读和可写存储器。例如，存储器可以包括随机存取存储器(RAM)、各种缓存、CPU寄存器、只读存储器(ROM)和可写的非易失性存储器，例如，闪存、硬盘驱动器、软盘、CD、DVD、磁存储装置、磁带驱动器、装置缓冲器等。存储器不是与底层硬件分离的传播信号；因此，存储器是非暂时性的。存储器150可以包括存储程序和软件的程序存储器160，例如操作系统162、辅助驱动系统164和其他应用程序166。存储器150还可以包括数据存储器170，其可以存储例如可以向程序存储器160或装置100的任何元件提供的载运工具状况数据、经识别的条件、自动化映射、配置数据、设置、用户选项或偏好等。
一些实施方式可以与许多其他计算系统环境或配置一起操作。可能适合与该技术一起使用的计算系统、环境和/或配置的示例包括但不限于个人计算机、服务器计算机、手持式或膝上型装置、蜂窝电话、可穿戴电子装置、平板装置、多处理器系统、基于微处理器的系统、可编程消费电子产品、网络PC、小型计算机、大型计算机、包括上述任何系统或装置的分布式计算环境等。
图2是示出所公开的技术的一些实施方式可以在其中运行的环境200的概述的框图。环境200可以包括一个或多个载运工具，其包括计算装置205，计算装置205的示例可以包括上述装置100。具有计算装置205的载运工具可以使用通过网络230到一个或多个远程计算机(例如服务器计算装置)的逻辑连接在联网环境中运行。
在一些实施方式中，服务器210可以是边缘服务器，其接收客户端请求并通过其他服务器220，例如被示出为服务器220A-C的三个服务器，协调那些请求的实现。服务器计算装置210和220可以包括计算系统，例如上述装置100。尽管每个服务器计算装置210和220在逻辑上被显示为单个服务器，但是每个服务器计算装置都可以是分布式计算环境，其包含位于相同或地理位置不同的物理位置的多个计算装置。在一些实施方式中，每个服务器220对应于一组服务器。
服务器计算装置210和220可以各自充当其他服务器/客户端装置的服务器或客户端。服务器210可以与数据库215连接。服务器220A-C可以各自与对应的数据库225A-C连接。如上所述，每个服务器220可以对应于一组服务器，并且这些服务器中的每一个可以共享数据库或者可以具有它们自己的数据库。数据库215和225可以储存(例如，存储)信息。尽管数据库215和225在逻辑上被显示为单个单元，但是数据库215和225可以分别是(或可以包括)包含多个计算装置的分布式计算环境，可以位于其对应的服务器内，或者可以位于相同或地理位置不同的物理位置。
网络230可以是局域网(LAN)或广域网(WAN)，或者可以是其他有线或无线网络。网络230可以是互联网或一些其他公共或私有网络。具有计算装置205的载运工具可以通过诸如无线通信连接(例如蜂窝网络或卫星连接)的网络接口与网络230连接。虽然服务器210和服务器220之间的连接被示为单独的连接，但是这些连接可以是任何合适种类的局域网、广域网、有线或无线网络，包括网络230或单独的公共或私有网络。
图3是示出具有传感器网络304-318和/或处理系统320的载运工具302的示例300的局部示意图。在一些实施方式中，载运工具302可以是具有计算装置205的载运工具。在示例300中，载运工具302的传感器网络包括震动传感器304，其中，一个传感器位于悬架上或以其他方式测量每个载运工具轮胎处的震动。这种布置允许系统确定包括震动频率或位置中的一个或两者的震动模式。载运工具302的传感器网络还可以包括：用于载运工具周围的各个区域的LIDAR传感器，例如后传感器306a和前传感器306b；相机，例如相机308；发动机和其他部件传感器310，其监测相关联的部件的功能状态；方向盘位置传感器312；天气传感器314；天线316，提供与外部计算系统的无线通信；以及速度/加速度传感器318。传感器304-318并未穷尽用于各种实施方式的载运工具传感器网络中的传感器的类型、位置或功能。
图4是示出用于一些实施方式的过程400的流程图，过程400用于通过具有与载运工具状况数据匹配的键映射使载运工具动作自动化。在一些实施方式中，过程400可以由具有传感器网络的载运工具，例如如上所述的载运工具205或302，的计算系统执行。
在框402处，由载运工具计算系统执行的过程400可以与载运工具传感器网络接口连接以获得载运工具状况数据。载运工具传感器网络可以包括任何合适类型的数据收集装置，例如震动传感器、相机、激光发射器和反射检测器、天气传感器、速度传感器、加速度传感器、部件功能传感器、方向盘位置或轮胎方向传感器、指示其他载运工具系统(例如信号灯、雨刷、制动器、音响系统、环境控制、导航系统等)的接合状态的传感器、用于网络连接的收发器等。来自载运工具传感器网络的载运工具状况数据可以包括震动读数、图像或视频、激光反射读数、天气数据(例如湿度读数、温度等)、速度或加速度数据、部件是否能够运行的指示、部件正在运行的级别的指示、轮胎或方向盘的角度、其他载运工具系统的状态、通过网络访问的数据等。在一些实施方式中，载运工具状况数据的一部分可以来自载运工具传感器网络先前记录的数据的日志。
在框404处，过程400可以将载运工具状况数据转换为一个或多个经识别的条件。在各种实施方式中，将载运工具状况数据转换为一个或多个经识别的条件可以包括以下一项或多项：将载运工具状况数据中的值与阈值进行比较；从载运工具状况数据中提取值；对载运工具状况数据执行各种分析；从载运工具状况数据中的网络数据或其他外部源数据识别条件等。使用阈值进行转换的过程可以包括：将载运工具状况数据的某些部分与对应的阈值进行比较，其中，在阈值被满足时识别出条件。作为示例，当湿度读数比对应的阈值高时可以设置“下雨”条件，和/或当亮度读数比对应的阈值低时可以设置“夜间”条件。通过提取值进行转换的过程可以包括：记录载运工具状况数据中的值，例如，当前速度、方向盘位置的角度或载运工具部件是否正常运行。
包括对载运工具状况数据的各个方面进行分析的转换过程可以实现多种合适算法中的任何一个。例如，使用环境状况数据，过程400可以执行物体识别以识别一个或多个物体，环境状况数据例如图像(相机、红外或其他基于光的数据)、LIDAR读数、运动数据等，，一个或多个物体可以与轨迹和/或位置相关联，和/或可以自动映射到虚拟环境中。在一些实施方式中，代替识别特定物体，过程400可以仅识别物体处于特定位置。例如，物体识别可以是识别人员、其他载运工具、车道边缘、车道反光轮廓标类型、停车信号、天气状况等。物体识别还可以包括：确定这些物体相对于载运工具的位置以及它们的预测移动(例如，它们是否停止、它们向哪个方向移动、它们以什么速度移动等)。在一些实施方式中，物体识别和后续处理可用于确定当前交通状况、载运工具是否在车行道上、载运工具是否在停车信号处等。
车道反光轮廓标可以具有不同的“类型”，例如，各个车道反光轮廓标的形状、大小、材料和/或车道反光轮廓标之间的间距。在各种实施方式中，车道反光轮廓标可以是添加到车行道的塑料结节、在车行道的路面上做成的凹陷和/或对车行道的其他添加或修改。车道反光轮廓标的类型可以部分确定由于驶过车道反光轮廓标导致的震动频率。在一些实施方式中，物体识别可以通过在图像中识别车道反光轮廓标的类型、间距和/或形状来确定车道反光轮廓标的类型，例如凸起的圆顶、柔性凸片、矩形棱柱、路面凹陷和/或其他类型。在一些实施方式中，车道反光轮廓标具有反射表面，并且过程400可以基于一个或多个车道反光轮廓标的反射性或反射图案来确定车道反光轮廓标的类型。在一些实施方式中，过程400可以访问已知的车道定界配置(例如车道定界符)类型集合，并且可以选择与所确定的车道定界特征(例如大小、形状、间距)最匹配的类型。
在一些实施方式中，将载运工具状况数据转换为经识别的条件可以包括：识别载运工具当前正经历的震动模式，其可以包括识别正在经历震动的载运工具的震动频率和/或位置。下面关于框502和504描述用于确定震动模式的附加细节。
在一些实施方式中，将载运工具状况数据转换为经识别的条件可以包括：从网络数据或来自另一外部源的数据中识别条件。例如，该外部源数据可以由载运工具天线例如经由小区网络或卫星信号来接收。过程400可以从该数据来确定条件，数据例如是载运工具周围区域的地图(其也可以识别车行道、停车型信号位置、特定车行道的预定车道反光轮廓标类型等)、GPS读数、载运工具附近的天气数据、载运工具所在车行道的交通数据等。
在框406处，过程400可以识别具有键数据的一个或多个映射，键数据与在框406处识别的条件匹配。如上所述，“映射”将一个或多个条件的键(A)映射到至少一个动作(B)。匹配可以基于与在框406处确定的一个或多个条件有关的映射键的评估而发生。下面参考图6A至图6C提供了关于各种映射配置的附加细节。
在一些情况下，映射键可以为一个或多个条件类型指定值或值范围。当指定类型的条件与值或值范围匹配时，则键匹配。键可以是这样的值或值范围的表达式，并由运算符连接，例如以下的等价形式：“AND”“OR”“＜”“＞”“NOT”“+”“-”“/”“*”等。例如，键可以是“NOT(夜间)AND(速度-10kph)/2＞15kph AND IN(减速度，1.2m/s^2-2.2m/s^2)”，这意味着该键在条件指示以下各项时被匹配：(1)并非夜间，(2)载运工具当前速度减去十公里每小时然后除以2大于15公里每小时，并且(3)载运工具在1.2-2.2米每秒平方的范围内减速。
在一些实施方式中，映射键包括经训练的模型，经训练的模型从载运工具状况数据接收经识别的条件或其他值，并产生键是否被匹配的指示，即，经识别的值是否与键匹配。如本文中所使用的，“经训练的模型”或“模型”是指使用训练数据进行训练以对新数据项做出预测或提供概率的构造，无论新数据项是否被包括在训练数据中。例如，训练数据可以包括具有各种参数和分配的分类的项目。新数据项可以具有模型可以用其来为新数据项分配分类的参数。作为另一示例，模型可以是基于对大量先前识别的交通模式和减速度数据的分析，通过对训练数据的分析(例如在给定当前交通模式的情况下交通减速的可能性)得出的概率分布。合适模型的示例包括：神经网络、支持向量机、决策树、决策树森林、Parzen窗口、贝叶斯、聚类、强化学习、概率分布以及其他。可以针对各种情况、数据类型、源和输出格式配置模型。
在一些实施方式中，经训练的模型可以是具有多个输入节点的神经网络，这些输入节点接收载运工具状况数据或经识别的条件，例如，作为个体值、作为稀疏向量、作为图像的直方图版本等。输入节点可以对应于各自接收输入并产生结果的功能。可以向一个或多个级别的中间节点提供这些结果，每个中间节点基于较低级别节点结果的组合产生进一步结果。在将结果传递到下一层节点之前，可以将加权因子应用于每个节点的输出。在最后一层(“输出层”)，一个或多个节点可以产生一个对输入进行分类的值，一旦模型被训练，该值就可以被用作对键是否被匹配的确定。例如，输出可以是0-1之间的值，与该频谱任一端的接近程度指示匹配确定的置信度因子。
可以通过监督学习来训练神经网络，其中，训练数据包括：载运工具状况数据或经识别的人在驾驶时的状态作为输入，以及对应的人类动作作为输出。在训练过程中，随着将这些训练项目应用于模型，可以将模型的输出与期望的输出进行比较(即，匹配是正确的输出，其中，人类执行与键匹配的动作)。基于该比较，可以例如通过改变神经网络的节点之间的权重或在神经网络中每个节点处使用的函数的参数来修改神经网络，以使模型输出为键的“匹配”或“不匹配”结果提供更好的输出。尽管以上描述了神经网络的一种配置，作为上述特定配置的附加或替代，也可以使用其他配置。
在一些实施方式中，在模型最初被训练和部署之后，可以使用载运工具状况数据和驾驶时人类动作之间另外观察到的对应关系来更新对该模型的训练。在一些实施方式中，可以使用以下各项来创建附加的模型训练项目：(1)经训练的模型被映射到的动作的人类发起；以及(2)与人类发起动作何时发生有关的载运工具的至少一个条件的值。可以通过以下方式来更新模型训练：通过向经训练的模型提供至少一个条件的值并基于模式输出与人类发起动作的比较更新经训练的模型的一个或多个参数来应用每个附加模型训练项目。
可以在框406处识别的一个潜在映射是以下键(A)到动作(B)的映射：(A)特定震动模式，包括特定震动频率和/或一个或多个特定震动位置，(B)车道偏离警报。下面参考图5A更详细地讨论了这种类型的映射。在框406处可以识别的第二潜在映射是以下键(A)到动作(B)的映射：(A)载运工具在道路上、比指定速度低、没有堵车、并且没有在停车信号处，(B)用于应急灯的动作(，例如自动启用应急灯或向驾驶员提供通知以启用应急灯。下面参考图5B更详细地讨论了这种类型的映射。在框406处可以识别的第三潜在映射是以下键(A)到动作(B)的映射：(A)载运工具处于特定天气状况下，(B)用于应急灯的动作。在框406处可以识别的第四潜在映射是以下键(A)到动作(B)的映射：(A)载运工具的一个或多个指定部件中的故障状况，(B)用于应急灯的动作。
在框408处，过程400可以使载运工具采取在框406处识别的映射中指定的一个或多个动作。在各种实施方式中，动作可以包括自动启用、禁用或控制载运工具系统，例如应急灯、前灯、雾灯、制动器、防抱死制动系统、转向器、雨刷、音响系统控件、座椅位置配置、后视镜位置配置、自动驾驶模式(例如运动模式、eco模式、恶劣天气模式等)。在一些实施方式中，动作可以包括提供通知，例如语音通知、报警、视觉通知或其任何组合中的一个或多个。在一些实施方式中，可以基于键匹配来修改动作。例如，键可以指定要匹配的多种方式或匹配级别，以及用于根据键匹配的方式或级别来控制相应的一个或多个动作的参数。作为更具体的示例，键可以指定用于紧急载运工具的物体识别(例如基于图像数据和/或警笛声)，并且还可以指定距离范围条件。当键匹配时(例如在指定范围内的某个距离处识别了紧急载运工具)，映射可以指定两个动作：首先，基于与紧急载运工具的距离落在该范围内的位置，自动将载运工具中的音响系统的音量减小一定量；以及第二，播放报警声。该报警向驾驶员表明紧急载运工具接近驾驶员应寻找的位置，同时与所确定的紧急载运工具距离成比例地减小声音系统的音量允许驾驶员在接近时更轻松地识别载运工具位置。
在一些实施方式中，当找到针对与映射到车道偏离警报动作的震动模式有关的键的匹配时，并且当载运工具包括另一车道偏离警报系统(LDWS)时，使载运工具采取一个或多个动作可以基于以下各项的组合：(a)一个或多个经识别的条件与特定震动模式的第一键之间的匹配，以及(b)由LDWS进行的车道偏离确定。在一些实施方式中，该组合是通过对以下各项进行加权来部分执行的：(i)为LDWS车道偏离检测而产生的值和为一个或多个经识别的条件与第一键之间的匹配而产生的值中的一个或两者(ii)可靠性因子和置信度分数中的一个或两者。例如，映射键可以使用经训练的模型指示车道偏离，并且经训练的模型输出可以表示55％的置信度分数。另外，LDWS可以以置信度分数85％指示车道偏离。这些分数可以被用作为加权因子，以分数(55％+85％)/2＝70％确定车道偏离的总体结果。当分数大于50％时，可以发出车道偏离，因此将采取警报动作。然而，在该示例中，映射系统具有可靠性因子90％，而LDWS具有可靠性因子仅为40％，这些值可以被用作为其他加权因子。因此，映射可以以分数(55％*90％)＝49.5％指示车道偏离，而LDWS可以以分数(85％*40％)＝34％指示没有车道偏离。然后，组合出车道偏离结果，得分为(49.5％+34％)/2＝41.75％。现在分数小于50％，因此不会采取警报动作。
图5A是示出了在一些实施方式中使用的用于转换载运工具状况数据并识别基于震动的车道偏离映射的的过程500的流程图。在一些实施方式中，过程500作为过程400的子过程被执行，从而实现框404和406。
在框502处，过程500可以根据载运工具的载运工具状况数据获得一个或多个震动信号。在一些实施方式中，这可以是在框402处获得的载运工具状况数据。可以从载运工具的一个或多个震动传感器获得震动信号。在一些实施方式中，可以从与载运工具的每个轮胎相对应的震动接收震动信号。可以从震动信号中确定震动频率。在一些实施方式中，可以针对载运工具该载运工具行驶所经过的环境的细节来调整震动频率。例如，调整因子可以包括以下一项或多项：载运工具中使用的悬架的详细信息、悬架上的磨损量、载运工具的重量、经识别的道路状况、载运工具的当前速度和/或载运工具的加速度。在一些实施方式中，这些调整因子中的一个或多个可以对所接收的震动信号具有一个或多个预定影响，该影响可以被抵消以对信号进行归一化，从而消除由于这些因子引起的震动频率中的差异。过程500还可以包括执行附加调整，例如，放大、应用滤波器和/或去除本底噪声。例如，过程500可以包括过滤出对于特定类型的地形(例如砾石)或对于特定的天气状况(例如雨)的预期震动。
在框504处，过程500可以基于震动信号来确定震动模式，如框502中所修改的。震动模式可以包括至少一个震动频率，并且在一些实施方式中，可以包括一个或多个震动频率的位置。可以基于测量震动的传感器的位置来确定震动位置，例如，传感器与哪个轮胎、哪个避震器等附接。如果载运工具有四个轮子，则震动频率的震动位置可以被确定为以下一项或多项：右前、左前、右后、左后、左、右、前、后或所有，这取决于哪个轮胎、一对轮胎或所有四个轮胎正在经历该频率的震动。例如，如果对载运工具的左侧轮胎的震动测量中的仅一个或两个被识别为处于震动频率范围内，则特定震动频率范围内的所测量的震动的位置可以被确定为仅该载运工具左侧。作为另一示例，过程500可以针对左前震动、左后震动或左侧震动做出单独的确定(如果针对载运工具左侧轮胎的震动的两个测量值都被识别为在震动频率范围内)。可以对载运工具的右侧做出类似的确定。
在框506处，过程500可以从可用映射集合中选择具有与震动有关的键的下一映射。在框508处，过程500可以应用所选择的映射来确定键是否与载运工具的经识别的条件(包括在框504处确定的震动模式)匹配。如上所述，这可以包括：确定来自载运工具状况数据的值是否与映射的键的值匹配，或者将该值与经训练的模型一起使用。震动模式的各个方面可以用于确定这些匹配或作为经训练的模型的输入。
在一些实施方式中，当载运工具具有四个轮胎时，其中，两个轮胎在载运工具的左侧，并且两个轮胎在载运工具的右侧，当根据震动模式确定震动位置为仅在载运工具的左侧或仅在该载运工具的右侧时，映射键可以指定匹配。
在一些实施方式中，映射可以基于不同的震动位置，这取决于载运工具是否大体上直线行驶。“大体上直线”行驶可以是由方向盘位置在中心位置的阈值量之内(例如，+/-10度)指示的情况。可以通过判断第一种情况来匹配该映射的键，在第一种情况中，载运工具略微转向不同车道，同时大体上直线行驶，第一种情况是通过确定载运工具一侧的两个轮胎都正在经历指示驶过车道反光轮廓标的震动来判断的。通过确定仅载运工具一侧的前轮胎正在经历指示驶过车道反光轮廓标的震动，该映射可以在第二种情况下进行匹配，在第二种情况中，载运工具正在转向不同的车道(即，不是大体上直线行驶)。更具体地，如果震动位置被确定为仅载运工具的左侧(如由针对载运工具左侧轮胎的两次震动测量在指定的震动频率范围内所指示的)，则当方向盘方向指示载运工具大体上直线行驶时，该键可以被匹配。另外，如果震动位置被确定为仅载运工具的左侧(如由仅左前轮调震动测量在指定的震动频率范围内所指示的)，则当方向盘方向指示载运工具不是大体上直线行驶时，该键可以被匹配。可以对载运工具的右侧做出类似的确定。
在一些实施方式中，其中，映射键包括与震动频率有关的条件，震动频率可以基于观察到的与驶过车道反光轮廓标的载运工具相对应的一个或多个震动频率。例如，震动测量可以从驶过车道反光轮廓标的不同载运工具配置的多次迭代中获得。可以例如使用回归分析来分析这些震动频率，以消除载运工具之间的差异的影响，或者可以对这些震动频率进行分类，使得可以确定载运工具特性以在驶过车道定界符时引起震动频率的特定变化。在一些实施方式中，还可以针对不同类型的车道定界符分别确定震动频率。
在框510处，如果在框508处应用的映射的键与载运工具的经识别的条件匹配，则过程500继续至框512。如果不匹配，则过程500可以继续到框514。在框512处，可以将所选择的映射添加到匹配映射集合。可以例如在框408处通过过程400使载运工具执行用于匹配映射集合中的映射的动作。在框514处，过程500可以确定在使用震动模式的映射集合中是否还存在更多映射。如果存在，则过程500返回框506以选择下一个映射并确定其是否与载运工具状况匹配。如果不存在，则过程500结束，例如，继续到框408。
图5B是示出在一些实施方式中使用的用于转换载运工具状况数据并识别应急灯映射的过程550的流程图。在一些实施方式中，过程550作为过程400的子过程被执行，从而实现框404和406。
在框552处，过程550可以从包括载运工具速度、载运工具是否堵车、载运工具是否在停车信号处、载运工具是否在车行道上等的载运工具状况数据中识别载运工具状况。可以如以上参考框402和404所讨论的确定这些状况。可以在不同的实施方式中以不同的方式确定这些状况中的一个或多个。例如，可以基于物体分析、识别载运工具周围的其他载运工具的密度和速度来确定交通状况，或者可以基于载运工具的位置以及从该载运工具外部的源(例如网络交通数据)获得的针对该载运工具位置的交通数据来确定交通状况。类似地，可以从测量载运工具速度的载运工具部件上的传感器，或者从所确定的位置中的差异(例如基于GPS数据)除以所确定的载运工具位置之间的时间来确定载运工具速度。作为另一示例，与车行道图相比，可以通过成像和物体识别或者基于所确定的载运工具位置来确定载运工具是否在车行道上。作为最后的示例，与包括停车信号标识的图相比，可以基于成像和物体识别或者基于所确定的载运工具位置来确定载运工具是否在停车信号处。
框554-560对应于应急灯动作的映射键中的条件。当载运工具速度在阈值以下(例如，停止、已减速至15kph或其他合适的阈值以下)(如框554中所示)、载运工具在车行道上(如框556中所示)、载运工具的速度不是由于其当前正堵车(如框558中所示)以及载运工具的速度不是由于其当前在停车信号处(如框560中所示)时，键被匹配。当速度阈值为“停止”(即，0)时，可以将框554-556指定为映射键的表达式，如下所示：“速度(0)AND道路(真)ANDNOT(堵车)AND NOT(在停车信号处)。”
如果载运工具状况与映射键匹配，则过程550可以继续至框562，框562发出信号表示映射是匹配的，从而使载运工具采取映射的一个或多个应急灯动作，例如，自动启用应急灯或通知驾驶员以启用应急灯(例如，在框408处)。
在一些实施方式中，在框562处确定匹配之前，映射键可以包括一个或多个附加元素。例如，在一些实施方式中，进一步的条件可以包括在载运工具的阈值距离内存在一个或多个其他载运工具和/或在载运工具的阈值距离内存在变换车道。
图6A至图6C是示出在一些实施方式中使用的动作映射600、630和660的各种代表性键的示意图。
示例600示出了具有键602和动作604的映射。键602定义了明确的条件，该条件从经识别的载运工具状况中获取值。可以例如使用运算符将这些条件布置为表达式。当表达式的计算结果为真时，则键被匹配，从而导致执行动作604中的动作。
示例630示出了与键632和634的映射。键632使用经训练的神经网络模型，该模型接收经识别的载运工具动作条件作为输入并提供指定条件是否与键匹配的输出。在一些实施方式中，键632可以包括多个经训练的模型(未示出)，其输出可以被组合以确定匹配。可以使用加权因子来组合模型输出，例如，由模型产生的置信度级别和/或各个模型的预定可靠性的权重。表示匹配的模型或组合模型的输出导致执行动作634中的动作。
示例660示出了具有键662和动作664的映射。键662是混合键，其包括条件和一个或多个经训练的模型两者。条件部分可以类似于示例600确定匹配，并且一个或多个经训练的模型部分可以类似于示例630确定匹配。然后，示例662中的键可以根据每个部分的确定来确定组合匹配。该组合可以应用加权因子，例如，每个部分的预定可靠性。加权因子也可以是每个部分的置信度因子。经训练的模型部分的置信度因子可以基于模型的输出与匹配或不匹配确定相对应的接近程度。例如，每个模型都可以产生0-1的分数，其中，小于0.5的分数表示不匹配，并且分数0.5或大于0.5的分数表示匹配，其中，接近0产生较高的“不匹配”置信度因子而接近1产生较高的“匹配”置信度因子。虽然条件部分可以是二进制结果，但是该部分的置信度因子可以基于为基本的识别条件确定的置信度。例如，基于物体识别的条件可以具有来自系统的置信度分数，该置信度分数指定系统对特定对象已被正确识别的置信度如何。如果组合匹配表示与键662的匹配，则这导致执行动作664中的动作。
以下是所公开技术的附加示例的非穷举性列表。
1、一种用于在载运工具中提供车道偏离警报的方法，该方法包括：
获得一个或多个震动信号；
基于一个或多个震动信号来确定载运工具的震动模式，载运工具的震动模式包括对第一震动频率的识别；
确定震动模式与第二震动频率匹配，第二震动频率被预定为与驶过车道反光轮廓标相对应；以及
响应于对震动模式与第二震动频率匹配的确定，提供车道偏离警报。
2、根据权利要求1所述的方法，其中，载运工具的震动模式还包括对一个或多个震动位置的识别。
3、根据权利要求2所述的方法，其中，确定一个或多个震动位置是基于来自载运工具传感器网络的对载运工具的每个轮胎的震动水平的测量。
4、根据权利要求3所述的方法，
其中，载运工具具有四个轮胎，其中，两个轮胎在载运工具的左侧，并且两个轮胎在载运工具的右侧；
其中，确定震动模式与第二震动频率匹配包括：确定震动位置被确定为仅载运工具的左侧或仅载运工具的右侧；
其中，如果对载运工具的左侧轮胎的震动测量中的仅一个或两者被识别为与第二震动频率匹配，则震动位置被确定为仅载运工具的左侧；以及
其中，如果对载运工具的右侧轮胎的震动测量中的仅一个或两者被识别为与第二震动频率匹配，则震动位置被确定为仅载运工具的右侧。
5、根据权利要求4所述的方法，还包括：
获取对载运工具的转向方向的指示；
其中，当转向方向指示载运工具大体上直线行进时，
仅当对载运工具的两个左侧轮胎的震动测量都被识别为与第二震动频率匹配时，震动位置被确定为仅载运工具的左侧；以及
仅当对载运工具的两个右侧轮胎的震动测量都被识别为与第二震动频率匹配时，震动位置被确定为仅载运工具的右侧；以及
其中，当转向方向指示载运工具不是大体上直线行进时，
仅当转向方向向左并且仅对载运工具的左前轮胎的震动测量被识别为与第二震动频率匹配时，震动位置被确定为仅载运工具的左侧；以及
仅当转向方向向右并且仅对载运工具的右前轮胎的震动测量被识别为与第二震动频率匹配时，震动位置被确定为仅载运工具的右侧。
6、根据权利要求1所述的方法，其中，被预定为与驶过车道反光轮廓标相对应的第二震动频率基于对载运工具正在其上运行的车行道上使用的车道反光轮廓标的类型的识别。
7、根据权利要求6所述的方法，其中，确定车道反光轮廓标的类型基于在由载运工具上的一个或多个相机捕捉的图像上执行的物体识别。
8、根据权利要求6所述的方法，其中，确定车道反光轮廓标的类型基于先前确定的多种车行道与车道反光轮廓标的类型之间的对应关系，车行道包括道路。
9、根据权利要求1所述的方法，其中，确定所述震动频率是通过基于以下一项或多项施加调整因子来执行的：
载运工具中使用的悬架的细节，
对悬架上的磨损量的识别，
载运工具的重量，
经识别的道路状况，
载运工具的当前速度或加速度，或
其任何组合。
10、根据权利要求1所述的方法，
其中，载运工具包括车道偏离警报系统LDWS；以及
其中，提供车道偏离警报还响应于以下组合：(a)对震动模式与第二震动频率匹配的确定，以及(b)由LDWS进行的车道偏离确定。
11、根据权利要求10所述的方法，其中，组合是通过对以下各项进行加权来部分执行的：(i)为LDWS车道偏离确定而产生的值或为确定震动模式与第二震动频率匹配而产生的值中的任意一个或两者，(ii)可靠性因子或置信度分数中的任意一个或两者。
12、一种用于使载运工具的载运工具动作自动化的系统，所述系统包括：
一个或多个载运工具传感器，其提供一个或多个震动信号；
一个或多个处理器；以及
存储指令的存储器，所述指令在由所述一个或多个处理器执行时，使所述一个或多个处理器执行包括以下各项的操作：
基于一个或多个震动信号来确定载运工具的震动模式，载运工具的震动模式包括对第一震动频率的识别；
确定震动模式与第二震动频率匹配，第二震动频率被预定为与驶过车道反光轮廓标相对应；以及
响应于对震动模式与第二震动频率匹配的确定，提供车道偏离警报。
13、根据权利要求12所述的系统，其中，载运工具的震动模式还包括对一个或多个震动位置的识别。
14、根据权利要求13所述的系统，其中，确定一个或多个震动位置基于来自载运工具传感器网络的对载运工具的每个轮胎的震动水平的测量。
15、根据权利要求14所述的系统，
其中，载运工具具有四个轮胎，其中，两个轮胎在载运工具的左侧，并且两个轮胎在载运工具的右侧；
其中，确定震动模式与第二震动频率匹配包括：确定震动位置被确定为仅载运工具的左侧或仅载运工具的右侧；
其中，如果对载运工具的左侧轮胎的震动测量中的仅一个或两者被识别为与第二震动频率匹配，则震动位置被确定为仅载运工具的左侧；以及
其中，如果对载运工具的右侧轮胎的震动测量中的仅一个或两者被识别为与第二震动频率匹配，则震动位置被确定为仅载运工具的右侧。
16、根据权利要求15所述的系统，
其中，一个或多个载运工具传感器还提供对载运工具的转向方向的指示；
其中，当转向方向指示载运工具大体上直线行进时，
仅当对载运工具的两个左侧轮胎的震动测量都被识别为与第二震动频率匹配时，震动位置被确定为仅载运工具的左侧；以及
仅当对载运工具的两个右侧轮胎的震动测量都被识别为与第二震动频率匹配时，震动位置被确定为仅载运工具的右侧；以及
其中，当转向方向指示载运工具不是大体上直线行进时，
仅当转向方向向左并且仅对载运工具的左前轮胎的震动测量被识别为与第二震动频率匹配时，震动位置被确定为仅载运工具的左侧；以及
仅当转向方向向右并且仅对载运工具的右前轮胎的震动测量被识别为与第二震动频率匹配时，震动位置被确定为仅载运工具的右侧。
17、根据权利要求12所述的系统，其中，被预定为与驶过车道反光轮廓标相对应的第二震动频率基于对载运工具正在其上运行的车行道上使用的车道反光轮廓标的类型的识别。
18、根据权利要求17所述的系统，其中，车道反光轮廓标的类型是基于在由所述载运工具上的一个或多个相机捕捉的图像上执行的物体识别来确定的。
19、根据权利要求17所述的系统，其中，车道反光轮廓标的类型是基于先前确定的多种车行道与车道反光轮廓标之间的对应关系来确定的，车行道包括道路。
20、根据权利要求12所述的系统，其中，震动频率是通过基于以下一项或多项施加调整因子来确定的：
载运工具中使用的悬架的细节，
对悬架上的磨损量的识别，
载运工具的重量，
经识别的道路状况，
载运工具的当前速度或加速度，或
其任何组合。
21、根据权利要求12所述的系统，
其中，载运工具包括车道偏离警报系统LDWS；以及
其中，提供所述车道偏离警报还响应于以下组合：(a)对震动模式与第二震动频率匹配的确定，以及(b)由LDWS进行的车道偏离确定。
22、根据权利要求21所述的系统，其中，组合是通过对以下各项进行加权来部分执行的：(i)为LDWS车道偏离确定而产生的值或为确定震动模式与第二震动频率匹配而产生的值中的任意一个或两者，(ii)可靠性因子或置信度分数中的任意一个或两者。
本领域技术人员将理解，在不背离本技术的情况下，可以以各种方式改变上述附图中示出的部件和步骤或处理元件。例如，可以重新排列逻辑顺序，可以并行执行子步骤，可以省略图示的逻辑，可以包括其他逻辑等。在一些实施方式中，一个或多个所描述的部件可以执行一个或多个所描述的步骤。
在本说明书中对“实施方式”的引用(例如，“一些实施方式”、“各种实施方式”、“一个实施方式”、“一种实施方式”等)表示结合该实施方式描述的特定特征、结构或特性被包括在本公开的至少一个实施方式中。在说明书中各处的出现的这些短语不一定都指代相同的实施方式，也不一定是与其他实施方式互斥的单独的或备选的实施方式。此外，描述了可以由一些实施方式而不是由其他实施方式展现的各种特征。类似地，描述了各种要求，这些要求可以是一些实施方式的要求但不是其他实施方式的要求。
如本文所使用的，在阈值以上表示：比较中的项目的值在指定的其他值以上，比较中的项目是在某指定数量的项目中具有最大值的项目，或者比较中的项目具有指定的最高百分比值内的值。如本文所使用的，在阈值以下表示：比较中的项目的值在指定的其他值以下，比较中的项目是在某指定数量的项目中具有最小值的项目，或者比较中的项目具有指定的最低百分比值内的值。如本文所使用的，在阈值内表示：比较中的项目的值在两个指定的其他值之间，比较中的项目在中间的指定数量的项目中，或者比较中的项目具有中间的指定百分比范围内的值。当没有另外定义时，相对术语(例如，高或不重要)可以被理解为分配值并确定该值如何与既定阈值进行比较。例如，短语“选择快速连接”可以被理解为表示选择具有分配的值的连接，该分配的值与其高于阈值的连接速度相对应。
如本文所使用的，单词“或”指代项目集合的任何可能的排列。例如，短语“A、B或C”指代A、B、C或其任何组合中的至少一个，例如以下各项中的任何一项：A；B；C；A和B；A和C；B和C；A、B和C；或若干个任何项目，例如A和A；B、B和C；A、A、B、C和C；等等。
尽管已经以对结构特征和/或方法动作特定的语言描述了主题，但是应当理解的是，在所附权利要求中限定的主题不必受限于上面描述的特定特征或动作。为了说明的目的，本文已经描述了特定实施例和实施方式，但是在不脱离该实施例和实施方式的范围的情况下可以进行各种修改。上面描述的特定特征和动作被公开为实现所附权利要求的示例形式。因此，除了所附权利要求外，实施例和实施方式不受限制。

Claims (22)

1.一种用于在载运工具中提供车道偏离警报的方法，所述方法包括：
获取一个或多个震动信号；
基于所述一个或多个震动信号来确定所述载运工具的震动模式，所述载运工具的震动模式包括对第一震动频率的识别；
确定所述震动模式与第二震动频率匹配，所述第二震动频率被预定为与驶过车道反光轮廓标相对应；以及
响应于对所述震动模式与所述第二震动频率匹配的确定，提供所述车道偏离警报。
2.根据权利要求1所述的方法，其中，所述载运工具的震动模式还包括对一个或多个震动位置的识别。
3.根据权利要求2所述的方法，其中，确定所述一个或多个震动位置是基于来自载运工具传感器网络的对所述载运工具的每个轮胎的震动水平的测量。
4.根据权利要求3所述的方法，
其中，所述载运工具具有四个轮胎，其中，两个轮胎在所述载运工具的左侧，并且两个轮胎在所述载运工具的右侧；
其中，确定所述震动模式与所述第二震动频率匹配包括：确定所述震动位置被确定为仅所述载运工具的左侧或仅所述载运工具的右侧；
其中，如果对所述载运工具的左侧轮胎的震动测量中的仅一个或两者被识别为与所述第二震动频率匹配，则所述震动位置被确定为仅所述载运工具的左侧；以及
其中，如果对所述载运工具的右侧轮胎的震动测量中的仅一个或两者被识别为与所述第二震动频率匹配，则所述震动位置被确定为仅所述载运工具的右侧。
5.根据权利要求4所述的方法，还包括：
获取对所述载运工具的转向方向的指示；
其中，当所述转向方向指示所述载运工具大体上直线行进时，
仅当对所述载运工具的两个左侧轮胎的震动测量都被识别为与所述第二震动频率匹配时，所述震动位置被确定为仅所述载运工具的左侧；以及
仅当对所述载运工具的两个右侧轮胎的震动测量都被识别为与所述第二震动频率匹配时，所述震动位置被确定为仅所述载运工具的右侧；以及
其中，当所述转向方向指示所述载运工具不是大体上直线行进时，
仅当所述转向方向向左并且仅对所述载运工具的左前轮胎的震动测量被识别为与所述第二震动频率匹配时，所述震动位置被确定为仅所述载运工具的左侧；以及
仅当所述转向方向向右并且仅对所述载运工具的右前轮胎的震动测量被识别为与所述第二震动频率匹配时，所述震动位置被确定为仅所述载运工具的右侧。
6.根据权利要求1所述的方法，其中，所述被预定为与驶过车道反光轮廓标相对应的第二震动频率基于对载运工具正在其上运行的车行道上使用的车道反光轮廓标的类型的识别。
7.根据权利要求6所述的方法，其中，确定所述车道反光轮廓标的类型基于在由所述载运工具上的一个或多个相机捕捉的图像上执行的物体识别。
8.根据权利要求6所述的方法，其中，确定所述车道反光轮廓标的类型基于先前确定的多种车行道与车道反光轮廓标的类型之间的对应关系，所述车行道包括道路。
9.根据权利要求1所述的方法，其中，确定所述震动频率是通过基于以下一项或多项施加调整因子来执行的：
所述载运工具中使用的悬架的细节，
对所述悬架上的磨损量的识别，
所述载运工具的重量，
经识别的道路状况，
所述载运工具的当前速度或加速度，或
其任何组合。
10.根据权利要求1所述的方法，
其中，所述载运工具包括车道偏离警报系统LDWS；以及
其中，提供所述车道偏离警报还响应于以下的组合：(a)对所述震动模式与所述第二震动频率匹配的确定，以及(b)由所述LDWS进行的车道偏离确定。
11.根据权利要求10所述的方法，其中，所述组合是通过对以下各项进行加权来部分执行的：(i)为所述LDWS车道偏离确定而产生的值或为确定所述震动模式与所述第二震动频率匹配而产生的值中的任意一个或两者，(ii)可靠性因子或置信度分数中的任意一个或两者。
12.一种用于使载运工具的载运工具动作自动化的系统，所述系统包括：
一个或多个载运工具传感器，其提供一个或多个震动信号；
一个或多个处理器；以及
存储指令的存储器，所述指令在由所述一个或多个处理器执行时，使所述一个或多个处理器执行包括以下各项的操作：
基于所述一个或多个震动信号来确定所述载运工具的震动模式，所述载运工具的震动模式包括对第一震动频率的识别；
确定所述震动模式与第二震动频率匹配，所述第二震动频率被预定为与驶过车道反光轮廓标相对应；以及
响应于对所述震动模式与所述第二震动频率匹配的确定，提供所述车道偏离警报。
13.根据权利要求12所述的系统，其中，所述载运工具的震动模式还包括对一个或多个震动位置的识别。
14.根据权利要求13所述的系统，其中，确定所述一个或多个震动位置基于来自载运工具传感器网络的对所述载运工具的每个轮胎的震动水平的测量。
15.根据权利要求14所述的系统，
其中，所述载运工具具有四个轮胎，其中，两个轮胎在所述载运工具的左侧，并且两个轮胎在所述载运工具的右侧；
其中，确定所述震动模式与所述第二震动频率匹配包括：确定所述震动位置被确定为仅所述载运工具的左侧或仅所述载运工具的右侧；
其中，如果对所述载运工具的左侧轮胎的震动测量中的仅一个或两者被识别为与所述第二震动频率匹配，则所述震动位置被确定为仅所述载运工具的左侧；以及
其中，如果对所述载运工具的右侧轮胎的震动测量中的仅一个或两者被识别为与所述第二震动频率匹配，则所述震动位置被确定为仅所述载运工具的右侧。
16.根据权利要求15所述的系统，
其中，所述一个或多个载运工具传感器还提供对所述载运工具的转向方向的指示；
其中，当所述转向方向指示所述载运工具大体上直线行进时，
仅当对所述载运工具的两个左侧轮胎的震动测量都被识别为与所述第二震动频率匹配时，所述震动位置被确定为仅所述载运工具的左侧；以及
仅当对所述载运工具的两个右侧轮胎的震动测量都被识别为与所述第二震动频率匹配时，所述震动位置被确定为仅所述载运工具的右侧；以及
其中，当所述转向方向指示所述载运工具不是大体上直线行进时，
仅当所述转向方向向左并且仅对所述载运工具的左前轮胎的震动测量被识别为与所述第二震动频率匹配时，所述震动位置被确定为仅所述载运工具的左侧；以及
仅当所述转向方向向右并且仅对所述载运工具的右前轮胎的震动测量被识别为与所述第二震动频率匹配时，所述震动位置被确定为仅所述载运工具的右侧。
17.根据权利要求12所述的系统，其中，所述被预定为与驶过车道反光轮廓标相对应的第二震动频率基于对载运工具正在其上运行的车行道上使用的车道反光轮廓标的类型的识别。
18.根据权利要求17所述的系统，其中，所述车道反光轮廓标的类型是基于在由所述载运工具上的一个或多个相机捕捉的图像上执行的物体识别来确定的。
19.根据权利要求17所述的系统，其中，所述车道反光轮廓标的类型是基于先前确定的多种车行道与车道反光轮廓标之间的对应关系来确定的，所述车行道包括道路。
20.根据权利要求12所述的系统，其中，所述震动频率是通过基于以下一项或多项施加调整因子来确定的：
所述载运工具中使用的悬架的细节，
对所述悬架上的磨损量的识别，
所述载运工具的重量，
经识别的道路状况，
所述载运工具的当前速度或加速度，或
其任何组合。
21.根据权利要求12所述的系统，
其中，所述载运工具包括车道偏离警报系统LDWS；以及
其中，提供所述车道偏离警报还响应于以下的组合：(a)对所述震动模式与所述第二震动频率匹配的确定，以及(b)由所述LDWS进行的车道偏离确定。
22.根据权利要求21所述的系统，其中，所述组合是通过对以下各项进行加权来部分执行的：(i)为所述LDWS车道偏离确定而产生的值或为确定所述震动模式与所述第二震动频率匹配而产生的值中的任意一个或两者，(ii)可靠性因子或置信度分数中的任意一个或两者。
CN201880094788.3A 2018-10-26 2018-10-26 车道偏离警报的自动化载运工具动作及关联的系统和方法 Active CN112334370B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/112166 WO2020082350A1 (en) 2018-10-26 2018-10-26 Automated vehicle actions such as lane departure warning, and associated systems and methods

Publications (2)

Publication Number Publication Date
CN112334370A true CN112334370A (zh) 2021-02-05
CN112334370B CN112334370B (zh) 2024-04-30

Family

ID=70330827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880094788.3A Active CN112334370B (zh) 2018-10-26 2018-10-26 车道偏离警报的自动化载运工具动作及关联的系统和方法

Country Status (4)

Country Link
US (1) US11491979B2 (zh)
EP (1) EP3703990A4 (zh)
CN (1) CN112334370B (zh)
WO (1) WO2020082350A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10319228B2 (en) 2017-06-27 2019-06-11 Waymo Llc Detecting and responding to sirens
DE102018203560A1 (de) * 2018-03-08 2019-09-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Steuereinheit zur Erkennung einer Fahrspurbegrenzung
KR102483649B1 (ko) * 2018-10-16 2023-01-02 삼성전자주식회사 차량 위치 결정 방법 및 차량 위치 결정 장치
US11586216B2 (en) * 2020-03-27 2023-02-21 Intel Corporation Driving surface protrusion pattern detection for autonomous vehicles
US11034364B1 (en) 2020-06-05 2021-06-15 Gatik Ai Inc. Method and system for context-aware decision making of an autonomous agent
WO2023114396A1 (en) * 2021-12-16 2023-06-22 Gatik Ai Inc. Method and system for addressing failure in an autonomous agent

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1582382A2 (en) * 2004-03-29 2005-10-05 NISSAN TECHNICAL CENTER NORTH AMERICA, Inc. Rumble strip responsive systems
US20080243337A1 (en) * 2007-03-28 2008-10-02 Nissan Technical Center North America, Inc. Lane departure avoidance system
US20120033076A1 (en) * 2010-08-09 2012-02-09 Nissan Motor Co., Ltd. Vibration applying structure detecting device and vehicle control device
US20140257628A1 (en) * 2013-03-06 2014-09-11 GM Global Technology Operations LLC Steering-wheel-hold detection for lane keeping assist feature
US20180043870A1 (en) * 2016-08-15 2018-02-15 Toyota Jidosha Kabushiki Kaisha Lane departure prevention apparatus
CN108583573A (zh) * 2018-03-30 2018-09-28 吉利汽车研究院（宁波）有限公司 一种车道偏离防止系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7109850B2 (en) * 2004-03-29 2006-09-19 Nissan Technical Center North America, Inc. Rumble strip responsive systems
US7365662B2 (en) 2006-07-25 2008-04-29 Infineon Technologies Ag DC-offset correction circuit for a communication system and method of correcting a DC-offset in a communication system

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1582382A2 (en) * 2004-03-29 2005-10-05 NISSAN TECHNICAL CENTER NORTH AMERICA, Inc. Rumble strip responsive systems
US20080243337A1 (en) * 2007-03-28 2008-10-02 Nissan Technical Center North America, Inc. Lane departure avoidance system
US20120033076A1 (en) * 2010-08-09 2012-02-09 Nissan Motor Co., Ltd. Vibration applying structure detecting device and vehicle control device
US20140257628A1 (en) * 2013-03-06 2014-09-11 GM Global Technology Operations LLC Steering-wheel-hold detection for lane keeping assist feature
US20180043870A1 (en) * 2016-08-15 2018-02-15 Toyota Jidosha Kabushiki Kaisha Lane departure prevention apparatus
CN108583573A (zh) * 2018-03-30 2018-09-28 吉利汽车研究院（宁波）有限公司 一种车道偏离防止系统

Also Published As

Publication number Publication date
EP3703990A1 (en) 2020-09-09
WO2020082350A1 (en) 2020-04-30
EP3703990A4 (en) 2020-11-11
US11491979B2 (en) 2022-11-08
US20210046930A1 (en) 2021-02-18
CN112334370B (zh) 2024-04-30

Similar Documents

Publication Publication Date Title
US20210074091A1 (en) Automated vehicle actions, and associated systems and methods
CN112334370B (zh) 车道偏离警报的自动化载运工具动作及关联的系统和方法
US11485284B2 (en) System and method for driver distraction determination
CN107430591B (zh) 车辆驾驶员辅助系统
US10976748B2 (en) Detecting and responding to sounds for autonomous vehicles
US20160031450A1 (en) Systems and Methods for Building Road Models, Driver Models, and Vehicle Models and Making Predictions Therefrom
US9665802B2 (en) Object-centric fine-grained image classification
US20190359208A1 (en) Feature-based prediction
US20180293449A1 (en) Systems and methods for near-crash determination
US20190088135A1 (en) System and method for relative positioning based safe autonomous driving
US10336252B2 (en) Long term driving danger prediction system
CN109933062A (zh) 自动驾驶车辆的报警系统
US11242040B2 (en) Emergency braking for autonomous vehicles
JP2017535873A (ja) 路上シーン認識のための連続オクルージョンモデル
CN111094095B (zh) 自动地感知行驶信号的方法、装置及运载工具
CN113165646B (zh) 用于检测车辆周围的风险因素的电子设备及其控制方法
WO2021104833A1 (en) Method and device for promoting driving safety of vehicle
JP2023543611A (ja) センサ性能低下状態を決定する方法
US11840265B1 (en) Variable safe steering hands-off time and warning
CN115470835A (zh) 用于调谐在机器学习算法内使用的机器学习分类器的超声波系统和方法
Klette et al. Vision-based driver assistance systems
US20240046779A1 (en) Driving determination system, driving determination method, and recording medium
US20230192136A1 (en) Filtering real-world objects for inclusion in a simulated environment
CN115469316A (zh) 使用机器学习算法对障碍物进行分类的超声波系统和方法
CN115470836A (zh) 用于重新配置车辆内使用的机器学习模型的超声波系统和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240522

Address after: Building 3, Xunmei Science and Technology Plaza, No. 8 Keyuan Road, Science and Technology Park Community, Yuehai Street, Nanshan District, Shenzhen City, Guangdong Province, 518057, 1634

Patentee after: Shenzhen Zhuoyu Technology Co.,Ltd.

Country or region after: China

Address before: 518057 Shenzhen Nanshan High-tech Zone, Shenzhen, Guangdong Province, 6/F, Shenzhen Industry, Education and Research Building, Hong Kong University of Science and Technology, No. 9 Yuexingdao, South District, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: SZ DJI TECHNOLOGY Co.,Ltd.

Country or region before: China