CN104853972A - 利用板载车辆平台中的图像处理支持扩增车辆的adas特征 - Google Patents

利用板载车辆平台中的图像处理支持扩增车辆的adas特征 Download PDF

Info

Publication number
CN104853972A
CN104853972A CN201380054120.3A CN201380054120A CN104853972A CN 104853972 A CN104853972 A CN 104853972A CN 201380054120 A CN201380054120 A CN 201380054120A CN 104853972 A CN104853972 A CN 104853972A
Authority
CN
China
Prior art keywords
image
vehicle
adas
data
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380054120.3A
Other languages
English (en)
Other versions
CN104853972B (zh
Inventor
V.S.克萨文
V.B.罗尔茨
A.P.兰加拉彦
S.拉蒂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN104853972A publication Critical patent/CN104853972A/zh
Application granted granted Critical
Publication of CN104853972B publication Critical patent/CN104853972B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083Setting, resetting, calibration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/009Priority selection
    • B60W2050/0094Priority selection of control units
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062Adapting control system settings
    • B60W2050/0075Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0095Automatic control mode change
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

本文描述了目的在于利用板载车辆平台中的图像处理支持来扩增车辆的高级驾驶员辅助系统(ADAS)特征的系统和方法。可以从与车辆的ADAS相关联的一个或多个图像传感器接收图像。可以处理所接收的图像。至少部分地基于经处理的图像而确定行动。响应于所述确定而向ADAS控制器传输消息。

Description

利用板载车辆平台中的图像处理支持扩增车辆的ADAS特征
技术领域
本公开的实施例一般涉及车辆中的信息系统,并且更具体地涉及利用板载(on-board)车辆平台中的图像处理支持来扩增(augment)车辆的高级驾驶员辅助系统特征。
背景技术
高级驾驶员辅助系统(ADAS)是意图在驾驶过程中帮助驾驶员的系统,其通常旨在增加车辆和道路安全性,以及提供便利性。ADAS特征的示例是车道偏离警告。在某些常规车道偏离警告系统中,可以实现一个或多个激光传感器、红外传感器或其组合。
附图说明
参考附图阐述详细描述。在图中,参考数字的(一个或多个)最左数位标识参考数字首次出现在的图。不同图中的相同参考数字的使用指示类似或相同的项。
图1是依照公开的实施例的用于扩增车辆的ADAS特征的配置的框图。
图2是依照公开的实施例的用于扩增车辆的ADAS特征的系统的图解。
图3是依照公开的实施例的用于扩增车辆的ADAS特征的系统的图解。
图4是依照公开的实施例的用于利用板载车辆平台中的图像处理支持来扩增车辆的ADAS特征的方法的流程图。
现在将在下文中参考附图更加充分地描述某些实现,在附图中示出各种实现和/或方面。然而,各种方面可以以许多不同形式来实现并且不应当解释为受限于本文所阐述的实现;而是,提供这些实现使得本公开将是透彻和完整的,并且将向本领域技术人员充分地传达本公开的范围。同样的数字自始至终是指同样的元件。
具体实施方式
以下参考附图更加充分地描述本公开的实施例,在附图中示出本公开的实施例。然而,本公开可以以许多不同形式体现并且不应当解释为受限于本文所阐述的实施例;而是,提供这些实施例使得本公开将是透彻和完整的,并且将向本领域技术人员充分地传达本公开的范围。同样的数字自始至终是指同样的元件。
本文中的某些实施例目的可以在于利用板载车辆平台中的图像处理支持来扩增车辆的ADAS特征。车辆可以包括一个或多个处理器、联网接口和可以使其能够捕获图像数据、处理图像数据并且利用板载车辆平台中的图像处理支持来扩增车辆的ADAS特征的其它计算设备。在一些实施例中,来自ADAS相机的图像可以以低频传递至板载车辆平台,诸如车辆内信息娱乐(IVI)系统。板载车辆平台可以处理图像以提供附加ADAS特征。实现在IVI系统中的ADAS特征典型地不是任务关键(mission-critical)的安全特征并且因此将很可能不需要严格的实时执行。IVI系统可以不是对专用ADAS处理器的替换,而是可以起到ADAS子系统的免费赠送(complimentary)的扩增的作用。现在将参考附图描述本公开的示例实施例。
现在参考图1,图示了依照本公开的实施例的用于利用板载车辆平台中的图像处理支持来扩增车辆的ADAS特征的示例系统配置100。配置可以包括但不限于一个或多个车辆102。车辆102可以包括一个或多个系统,所述系统包括用于实现与车辆102相关联的功能和特征的一个或多个处理设备,如以下将更加详细地讨论的那样。车辆102可以包括能够捕获与车辆102相关联的数据的一个或多个图像传感器106a-106b(集体称为106)。例如,图像传感器106可以是外部视频相机106a、106b,所述外部视频相机106a、106b当车辆102在其行程中前进时可以捕获诸如视频之类的关于道路状况的数据。
车辆102可以包括车辆板载平台,诸如车辆内信息娱乐(IVI)系统110。如本文所使用的,IVI系统110可以是指为车辆102提供娱乐和信息特征的车辆102中的系统。IVI系统110可以是车辆主计算机的部分或独立系统。IVI系统110可以与用于扩增车辆102的ADAS特征的系统通信,如本文所描述的那样。IVI系统110还可以包括以下更加详细地描述的通信耦合到电子存储器的一个或多个处理器。
车辆102可以通过多个类型的网络120与远程服务器130建立连接,诸如作为非限制性示例的无线保真(Wi-Fi)网络、Wi-Fi直接网络、蓝牙®、无线电网络、蜂窝网络(例如第三代或第四代)、卫星网络、线缆网络、基于陆上线路的网络、因特网、内联网、电话网络、电视网络、数据网络或将多个计算设备连接到彼此的其它通信介质。根据本文中的某些实施例,多个网络可以被车辆102利用以使得能够实现与远程服务器130的通信。
在一些实施例中,车辆102可以被配置成耦合到电子设备140。电子设备140可以包括通信耦合到电子设备存储器的一个或多个电子设备处理器,以及用户接口和输出元件,诸如车辆102的扬声器。电子设备140可以经由通信链路与车辆102通信。在本文中的某些实施例中,与扩增车辆102的ADAS特征的实现有关的设备可以在IVI系统110上板载地存在,使得本文所描述的功能性可以与IVI系统110相关联。在其它实施例中,本文所描述的功能性可以独立于其它系统而驻留或者可以与各种其它系统相关联。
IVI系统110可以与一个或多个电子设备140通信。在一方面中,电子设备140可以充当IVI系统110的扩展。例如,如果IVI系统110不具有因特网能力,则IVI系统110可以与同车辆102相关联的电子设备140通信以利用电子设备140的通信能力。
通信链路可以是任何合适的电子通信链路,包括但不限于,硬连线的连接、串行链路、并行链路、无线链路、蓝牙®信道、ZigBee®(紫蜂)连接、无线保真(Wi-Fi)连接、近场通信(NFC)协议、专有协议连接或其组合。在一方面中,通信链路可以是安全的使得拦截和破译电子设备140与IVI系统110之间的通信相对困难。在某些实施例中,通信链路可以被加密。另外,在某些实施例中,通信可以在多于一个的开放系统互连(OSI)模型层处被加密。例如,电子设备140与车辆102之间的通信可以在应用层和传输或链路层二者处被加密。在一些实施例中,通信链路可以通过与车辆102相关联的电子设备140的通信能力。例如,如果车辆102不具有因特网能力,则IVI系统110可以能够通过其与例如具有蜂窝通信能力的智能电话的关联来访问数据。
出于本讨论的目的,车辆102可以包括但不限于汽车、卡车、轻型卡车、重型卡车、皮卡车(pickup truck)、小型货车、跨界车、厢式货车、商务车、私人车辆、运动型多用途车、拖拉机拖车、航空器、飞机、喷气式飞机、直升机、空间飞船、水运工具、摩托车或具有信息和媒体能力的任何其它合适的车辆。然而,将领会到的是,本公开的实施例还可以使用在其中可以实现扩增ADAS特征的其它输运或非输运相关的应用中。
车辆传感器可以是与车辆102相关联的任何合适的数据收集元件。作为结果,车辆传感器可以收集车辆102内的或与其相关联的音频、视觉、触觉或环境信息。例如,车辆传感器可以包括车辆102的舱室中的一个或多个相机106c,其可以捕获乘员的图像以及场景信息,诸如车辆102内的照明条件或车辆102外部的天气。车辆传感器还可以是GPS设备、麦克风、座椅重量传感器或与车辆102相关联的其它类型的数据收集元件。
另外,合适的电子设备可以包括但不限于智能电话、平板设备、膝上型计算机、电子书阅读设备、基于处理器的设备等。
图2除了别的之外尤其描绘了用于利用IVI系统110中的图像处理支持来扩增车辆102的ADAS特征的车辆(例如图1中的车辆102)中的示例车辆计算系统200的框图。如图2中所示,多个车辆系统可以交互以促进提供经扩增的ADAS特征。例如,计算系统205可以存在以用于控制车辆的标准设备或组件,其在一个实施例中可以包括引擎设备、刹车设备、动力转向设备、门控制设备、窗控制设备等。计算系统205还可以包括可以存在于车辆102中的各种输入/输出(“I/O”)设备260,诸如收集设备,诸如车辆传感器(例如麦克风、座椅重量传感器、相机、用于捕获车辆102内的图像的面向内部的相机106c和用于从车辆的周围环境捕获图像的面向外部的相机106a、106b二者)和显示设备,诸如发光二极管(“LED”)显示器和有机发光二极管(“OLED”)显示器,作为非限制性示例。主处理器212可以与标准引擎控制设备262和I/O设备260通信以激活设备、向这些设备发送信息,或者从这些设备收集信息,这作为非限制性示例。
计算系统205可以包括单个特征固定功能的设备,诸如ADAS图像芯片上系统(SoC)270。SoC可以是将计算系统的所有组件集成到单个芯片中的集成电路。SoC可以包含数字、模拟、混合信号和/或射频功能,其可以全部在单个芯片衬底上。SoC可以包括微控制器、微处理器或(一个或多个)数字信号处理器核。在一些实施例中,SoC可以包括多于一个的处理器核。SoC还可以包括块,其可以包括ROM、RAM、电可擦除可编程只读存储器(EEPROM)、闪速存储器和/或任何其它类型的非易失性存储器。SoC可以包括一个或多个定时源,诸如振荡器和/或锁相环路。SoC可以包括接口,诸如USB、火线、以太网、通用异步接收器/发射器(USART)、串行外围接口(SPI)总线和/或面向媒体的系统输运(MOST)总线。在一些实施例中,ADAS图像SoC 270可以与计算系统205的一个或多个I/O设备260通信。
计算系统205可以与IVI系统110通信。如本文所使用的,IVI系统可以是指为车辆提供娱乐和信息特征的车辆中的系统。
IVI系统110可以包括但不限于处理器210、存储器220、一个或多个通信设备240和收发器250。处理器210可以与IVI系统110中的通信设备240通信。例如,处理器210可以与存储器220通信以执行被存储在存储器220中的某些计算机可执行的指令或模块(诸如226、228、230、232)以促进如本文所描述的扩增车辆102的ADAS特征。在一个实施例中,处理器210还可以与一个或多个通信设备240通信以发送和从诸如以上列举的那些之类的各种类型的网络接收消息。收发器250可以促进这样的消息的发送和接收。在一些实施例中,发射器和分离的接收器可以分别用于发送和接收消息。
根据本文中的某些实施例,处理器210、存储器220、通信设备240和收发器250可以在IVI系统110中的系统板上板载(以下“板载(onboard)”)。以此方式,这些设备可以在带外操作,或者仅可以获取最小功率,作为非限制性示例,诸如与车辆停止运转、休眠或待用相关联。在一个示例中,备用电池可以用于提供充足的功率以使得IVI系统110中的设备能够在带外操作。因此,IVI系统110中的设备可以保持唤醒(例如在车辆102已经停止运转之后)并且可以提供一定的功能性,诸如与用户设备(例如电子设备)通信以发送和接收与扩增车辆102的ADAS特征相关联的消息。这样的功能性在本文中可以称为带外或带外操作。IVI系统110中的设备还可以在带外操作时与彼此通信。例如,处理器210可以在带外操作时与存储器220通信以执行其中的计算机可执行的指令或模块。
计算系统205中的设备和/或程序模块例如在车辆102掉电时可能停止运转,并且因此不可以在带外操作。例如,可以控制车辆102中的诸如引擎、刹车、门、窗、硬盘或与主操作系统或其程序模块之一通信的其它设备之类的标准组件的主操作系统(未示出)不可以在车辆102停止运转时为操作的。然而,存储器220中的O/S 222可以在车辆102停止运转或者否则处于诸如休眠或待用之类的低功率状态中时为操作的,因为根据本文中的某些实施例,它可以板载定位或者定位在固件中的板层级处。这样的配置可以使得IVI系统110中的设备能够发送消息、接收消息并且引起扩增车辆102的ADAS特征的执行。作为示例,根据某些实施例,IVI系统110的处理器210可以与计算系统205的主处理器212(和/或其它设备)通信以唤醒主处理器212,使得它可以引起由用户经由一个或多个行动码所请求的功能的执行。在一个实施例中,这样的通信可以经由CAN BUS(总线)协议而发生,如以下将更加详细地描述的那样。
在某些实施例中,IVI系统110的处理器210还可以响应于执行上下文引擎(诸如232)中的计算机可执行指令以生成或处理上下文信息而与计算系统205的主处理器212和/或其它设备通信。
处理器210和212可以包括任何数目的合适的处理设备,诸如中央处理单元(“CPU”)、数字信号处理器(“DSP”)、精简指令集计算机(“RISC”)、复杂指令集计算机(“CISC”)、微处理器、微控制器、现场可编程门阵列(“FPGA”)或其任何组合。在一个实施例中,系统200可以基于Intel®架构系统,并且处理器210和芯片集可以来自Intel®处理器和芯片集的族,诸如Intel® Atom®处理器族。处理器210还可以包括作为用于处置特定数据处理功能或任务的一个或多个专用集成电路(“ASIC”)或专用标准产品(“ASSP”)的部分的一个或多个处理器。此外,任何数目的合适的I/O接口和/或通信接口(例如网络接口、数据总线接口等)可以促进处理器210与系统200的其它组件之间的通信。
一个或多个通信设备240可以促进系统200与可以在包含系统200的车辆102外部的其它设备之间的通信。例如,一个或多个通信设备240可以使得系统200能够从电子设备140接收消息和/或向电子设备140(如图1中所图示)发送消息。通信设备240可以使得能够实现通过不同网络的各种类型的通信,所述不同网络诸如无线网络,包括但不限于,无线保真(Wi-Fi)网络、Wi-Fi直接网络、无线电网络、蜂窝网络、GPS网络、ZigBee®连接、蓝牙®信道、专有协议连接和其它无线链路,以及硬连线的连接、串行链路连接、并行链路连接或其组合。
根据各种配置,一个或多个接口卡或电路可以支持以上列举的多个网络。在一个实施例中,这样的一个或多个接口卡或电路可以是板载的,使得存储器220中的固件可以访问和控制与IVI系统110相关联的通信。
现在转向存储器220的内容,存储器220可以包括任何数目的合适的存储器设备,诸如缓存、只读存储器设备、随机存取存储器(“RAM”)、动态RAM(“DRAM”)、静态RAM(“SRAM”)、同步动态RAM(“SDRAM”)、双数据率(“DDR”)SDRAM(“DDR-SDRAM”)、RAM-BUS DRAM(“RDRAM”)、闪速存储器设备、电可擦除可编程只读存储器(“EEPROM”)、非易失性RAM(“NVRAM”)、通用串行总线(“USB”)可移除存储器、磁性存储设备、可移除存储设备(例如存储器卡等)和/或非可移除存储设备。如所期望的,存储器220可以包括与系统200通信的内部存储器设备和/或外部存储器设备。
存储器220可以存储数据、可执行指令和/或各种程序模块,其由处理器210利用。可以由存储器220存储的数据的示例包括数据文件224和可以由处理器210执行的任何数目的合适的程序模块和/或应用,诸如但不限于操作系统(“OS”)222、视觉分析模块226、ADAS增强模块228、导航引擎230和上下文引擎232。这些模块中的每一个可以实现为单独的模块,或者可替换地,模块中的一个或多个可以执行与其它模块相关联的功能性中的全部或至少一些。在某些实施例中,这些模块可以存储为只读存储器220中的固件,从而使得对于本文所描述的功能而言更加难以被篡改或禁用。
数据文件224可以包括可以促进扩增车辆102的ADAS特征的任何合适的信息。示例信息可以包括但不限于可以用于认证电子设备140、通过一个或多个图像传感器106捕获数据、处理图像和从中央服务器130获得信息的信息,以及可以促进本文所描述的过程的其它信息。
操作系统222可以包括促进系统200的一般操作以及图2中的存储器220中所图示的其它程序模块的执行的合适模块或应用。
视觉分析模块226可以执行许多功能以促进从ADAS图像SoC 270接收的图像的处理。视觉分析模块270可以与ADAS增强模块228通信以确定或标识要应用于所接收的图像的处理的类型。
ADAS增强模块228可以执行许多功能以促进扩增车辆的ADAS特征。例如,ADAS增强模块228可以从一个或多个源(例如导航引擎230、上下文引擎232、远程服务器130、电子设备140等)接收或以其它方式获得信息。另外,ADAS增强模块228可以与视觉分析模块226通信以通过使用一个或多个可适用的技术或算法来处理图像。ADAS增强模块228然后可以分析在图像的处理期间生成的数据并且可以确定或标识行动。例如,行动可以是使头灯变暗、改变风挡刮水器的速度或者向车辆的驾驶员生成警告以向驾驶员通知车辆102车道偏离。
导航引擎230可以执行许多功能以提供通常显示在仪表盘视频屏幕上的与路线指令组合的电子地图。例如,导航引擎230可以从车辆的一个或多个GPS设备接收连续信息并且可以更新被显示给驾驶员的地图上的车辆102的位置。导航引擎230可以至少部分地基于从车辆102的一个或多个GPS设备接收的数据而获得关于零售商业、餐馆、交通状况和其它兴趣点的信息。导航引擎230可以与ADAS增强模块228通信并且传输数据以促进扩增车辆102的ADAS特征。
上下文引擎232可以执行许多功能以促进上下文信息的形成和处理。例如,上下文引擎232可以基于所接收的数据而标识现有上下文信息、基于所接收的数据而生成上下文信息,或者基于所接收的数据而处理(例如扩增或更新)上下文信息。上下文引擎232可以通过使用上下文信息来获得相关信息,诸如推荐或可以用于帮助车辆102的驾驶员或乘员的其它信息。上下文引擎232可以向ADAS增强模块228传输相关信息和/或上下文信息以促进扩增车辆102的ADAS特征。
一个或多个总线通信模块(未示出)可以包括可以被系统200中的设备用于与彼此通信的各种协议。示例协议可以是CAN(控制器区域网络)BUS协议,其中通信通过控制器区域网络在没有主机计算机设备的情况下发生在设备之间。例如,在一个示例中,处理器210可以使用CAN BUS协议来与主处理器212通信以唤醒主处理器212并且指令其激活I/O设备260。除CAN BUS协议之外的协议,诸如其它基于消息的协议,可以使用在其它实施例中。在其它示例中,可以提供芯片集(未示出)以控制车辆计算系统200中的设备之间的通信。
附加于或可替换于存储器220,其它实施例可以包括可以被提供以用于存储诸如存储在存储器220中的那些之类的计算机可执行指令的一个或多个合适的计算机可读媒介。诸如处理器210之类的一个或多个处理设备可以执行这样的计算机可执行指令以促进车辆的远程管理,如以上与存储器220中的模块226、228、230、232相关联地描述的那样。如本文所使用的,术语“计算机可读介质”可以描述用于以任何形式保留信息的任何形式的合适存储器或存储器设备,包括各种种类的存储设备(例如磁性、光学、静态的等)。事实上,本公开的各种实施例可以以多种合适的形式实现。
图3描绘了依照本公开的一个实施例的用于扩增车辆的ADAS特征的系统的图解。在简要概述中,系统300可以包括ADAS图像SoC 270。ADAS图像SoC 270可以与一个或多个图像传感器106相关联。图像传感器106可以捕获车辆102中和/或周围的图像并且向ADAS图像SoC 270的视频/图像处理模块312传输图像。ADAS图像SoC还可以包括图案识别器314、图案分类器316、光学字符识别(OCR)模块318和/或几何分析模块320。另外,ADAS图像SoC 270可以包括车道偏离警告模块330、前向碰撞警告模块332和/或交通标志识别模块334。ADAS图像SoC 270可以与车辆102的IVI系统110通信。ADAS图像SoC 270可以通过连接272与IVI系统110通信,所述连接272可以是有线或无线信道或模式。在一些实施例中,连接272可以是如本文所描述的任何有线连接中的一个。在一些实施例中,连接272可以是如本文所描述的任何无线连接中的一个。连接272可以是无线连接。例如,连接272可以是无线电链路或光学链路。无线电链路可以包括蓝牙连接、近场通信连接、蜂窝数据连接、点对点连接或Wi-Fi连接。光学链路可以包括光纤连接或红外数据连接。IVI系统110可以包括视觉分析模块226和ADAS增强模块228。另外,IVI系统110可以包括导航引擎230和/或上下文引擎232。ADAS图像SoC 270、IVI系统110和ADAS控制器380可以通过使用诸如CAN BUS协议之类的至少一个通信协议经由诸如374之类的总线与彼此通信。
仍参考图3,更加详细地,诸如相机之类的一个或多个图像传感器106可以捕获车辆102中和/或周围的视频。在一些实施例中,图像传感器106可以捕获连续视频。视频/图像处理模块312可以从图像传感器106接收图像并且处理单个帧或帧的样本。视频/图像处理模块312可以与图案识别器314、图案分类器316、OCR模块318和几何分析模块320中的一个或多个通信。
图案识别器314可以执行许多功能以处理所接收的图像并且标识图像或一系列图像中的图案。图案分类器316可以执行许多功能以确定由图案识别器314识别的图案的种类。OCR模块318可以执行功能以转换图像来标识文本。几何分析模块320可以执行功能以通过使用几何算法和技术来处理图像。模块可以与视频/图像处理模块312和/或ADAS图像SoC 270的各种ADAS特征模块330、332、334通信。
ADAS图像SoC 270可以包括车道偏离警告(LDW)模块330。LDW模块330可以指令视频/图像处理模块312确定车轮距车道的距离。这可以通过视频/图像处理模块312与图案识别器314和图案分类器316通信以标识和确定图像中的车道标记来完成。视频/图像处理模块312还可以与几何分析模块320通信以通过使用可以嵌入或者以其它方式与图像相关联的信息(诸如相机光学信息)处理图像几何和车辆几何。LDW模块330还可以从计算系统205接收信息,指示车辆102的闪光灯的使用。基于经处理的图像数据和从计算系统205接收的数据,LDW模块330可以确定以生成警告警报以提醒驾驶员注意车辆接近于车道的边缘。
ADAS图像SoC 270可以包括前向碰撞警告(FCW)模块332。FCW模块332可以指令视频/图像处理模块312检测接近车辆102的对象。例如,FCW模块332可以指令视频/图像处理模块312检测相继图像样本中的对象。如果在所标识的对象的大小方面存在相对于车辆的速度的改变,则FCW模块332可以确定与该对象的碰撞概率。车辆102的速度可以从车辆102的计算系统205接收。视频/图像处理模块312可以检测对象并且通过使用几何分析模块320来追踪对象的相对大小。FCW模块332可以确定以生成警告警报以提醒驾驶员注意与所标识的对象碰撞的概率是否超过预定阈值。
ADAS图像SoC 270可以包括交通标志识别(TSR)模块334。TSR模块334可以指令视频/图像处理模块312检测图像。视频/图像处理模块312可以处理从图像传感器106接收的图像,通过使用OCR 318模块以标识图像中的文本并且通过使用图案分类器316以基于对象的形状来标识标志的类型。在一些实施例中,TSR模块334可以确定以提醒驾驶员注意交通标志。
在一些实施例中,ADAS特征可以驻留在IVI系统110中。例如,ADAS特征可以驻留在IVI系统110的ADAS增强模块228上。驻留在IVI系统110中或者与其相关联的ADAS特征可以是非关键的安全特征,其将不需要严格的实时执行。通过将IVI系统110利用于车辆102的ADAS特征,驻留在车辆102的计算系统205中的ADAS特征可以增加计算系统205用于诸如车道偏离或前向碰撞检测之类的关键安全特征的能力。
视觉分析模块226可以包括图像处理模块346、场景分析特征提取模块348、图案识别模块350和/或启发式分析模块352。视觉分析模块226可以包括促进图像处理的其它模块,其可能未被示出。
图像处理模块346可以执行图像处理功能性,诸如缩放、裁剪、图像的投影和/或复杂信号处理算法(例如线性滤波、像素化、隐马尔可夫建模)。场景分析特征提取模块348可以处理所接收的图像以标识图像中的一个或多个对象。图案识别模块350可以执行图像处理图像以标识图像中的图案或一系列图像中的图案。
启发式分析模块352可以执行许多功能以促进所接收的图像的启发式分析。启发式分析可以是基于在先知识的分析,其基于各种决策规则或加权方法而确定或标识风险。在一些实施例中,启发式分析模块352可以使用机器学习技术。例如,成千上万的之前被分类的测试图像可以被处理以便构建图像的数据库以允许各个项的高效分析和归类以供将来使用。
视觉分析模块226可以从ADAS增强模块228接收关于所接收的图像的处理的指令。ADAS增强模块228可以包括以下模块中的一个或多个:错误方向进向(heading)检测模块362、雨检测和刮水器控制模块364以及头灯控制模块368。
视觉分析模块226和/或ADAS增强模块228可以从诸如导航引擎230、上下文引擎232、远程服务器130、电子设备140、云服务和/或任何其它类型的数据储存库之类的另一源接收信息。视觉分析模块226可以至少部分地基于从一个或多个源接收的信息而处理所接收的图像。ADAS增强模块228可以至少部分地基于从诸如导航引擎230之类的一个或多个源接收的数据和从视觉分析模块226接收的经处理的图像而确定行动。
ADAS增强模块228可以包括诸如错误方向进向检测(WDHD)模块362、雨检测和刮水器控制(RDWC)模块364和/或头灯控制(HLC)模块368之类的ADAS特征模块。
WDHD模块362可以执行许多功能以检测车辆102是否在道路的不正确侧上。例如,WDHD模块362可以从GPS设备接收或获得信息以确定车辆102的当前位置中的当前驾驶方向。WDHD模块362可以指令视觉分析模块226确定车辆102是否在道路的正确侧上。视觉分析模块226可以至少部分地基于视觉分析模块226的图案识别模块350、启发式分析模块352、场景分析特征提取模块348和OCR模块(未示出)而处理所接收的图像以除其它因素外尤其标识道路标志、标识道路标志的放置、检测车道标记、检测道路分隔物。WDHD模块362可以接收经处理的图像和相关信息以及来自诸如GPS设备和导航引擎230之类的其它源的信息以确定车辆102是否在道路的错误侧上。WDHD模块362可以确定车辆在道路的不正确侧上并且可以基于该确定来确定行动。例如,WDHD模块362可以确定行动为生成对车辆102的驾驶员的可听警告。WDHD模块362然后可以生成包括行动的消息并且通过CAN总线374向ADAS控制器380传输消息。ADAS控制器380然后可以与车辆102的计算系统205通信并且计算系统205可以标识适当的组件来制定(enact)由WDHD模块362标识的行动。
类似地,RDWC模块364可以执行许多功能以检测降水并且响应于标识到降水,可以生成用以传输到ADAS控制器380的消息以调节车辆102的风挡刮水器的速度。RDWC模块364可以接收由视觉分析模块226的一个或多个组件处理的图像以及来自诸如中央服务器130之类的其它源的信息以确定行动。
作为另一示例,HLC模块368可以执行许多功能以在不同环境和条件中控制头灯。例如,HLC模块368可以响应于从诸如导航引擎230之类的源接收的信息和从视觉分析模块226接收的经处理的图像而引导车辆102开启/关闭头灯、调亮/调暗头灯。例如,图像可以被处理并且HLC模块368可以使用经处理的图像和针对诸如导航引擎230之类的其它源接收的信息来在2车道道路和多车道道路之间进行区分、区分道路分隔物的存在、标识正在逼近的车辆、确定隧道的存在。HLC模块368可以生成到ADAS控制器380的包括行动的消息以响应于确定而控制头灯的功能。
另外,ADAS图像SoC 270、IVI系统110和ADAS控制器380可以经由诸如CAN总线374之类的通信协议与彼此通信。例如,对于安全关键的ADAS特征,诸如车道偏离警告,LDW模块330可以基于由视频/图像处理模块312处理的图像而确定或标识行动。可以包括所确定的行动的消息可以经由总线374被传输至ADAS控制器380。ADAS控制器380然后可以与车辆的计算系统205通信以制定由LDW模块330标识的行动,诸如通过车辆102的扬声器向车辆的驾驶员发出警告信号和言语消息。
类似地,对于非关键ADAS特征,诸如雨检测,RDWC模块364可以基于由视觉分析模块226处理的图像而确定行动。例如,图案识别模块350和场景分析提取模块348可以处理从ADAS图像SoC 270接收的图像以标识降水及其在可见度中的影响。RDWC模块364可以基于经处理的图像和可能已经从诸如导航引擎230之类的其它源接收到的信息而确定行动。例如,RDWC模块364可以确定风挡刮水器应当被开启和适当的刮水器速度。消息然后可以通过总线374由ADAS增强模块228传输至ADAS控制器380。ADAS控制器380然后可以与车辆的计算系统205通信以制定由RDWC模块364标识的行动。
图4图示了根据一个实施例的用于利用板载车辆平台中的图像处理来扩增车辆的ADAS特征的示例流程图。在简要概述中,IVI系统110可以接收402由车辆传感器106捕获的数据。IVI系统110可以处理404所接收的数据。IVI系统110可以分析406所接收的数据。IVI系统110可以传输408经分析的数据。
仍参考图4,更加详细地,在一些实施例中,IVI系统110可以接收402由车辆传感器106捕获的数据。例如,ADAS图像SoC 270可以与一个或多个图像传感器106a、106b、106c通信以捕获连续视频或图像的多个帧。单个帧或帧的样本可以从ADAS图像SoC 270传递至IVI 215。图像可以包括附加数据,诸如何时捕获到图像的时间戳或图像传感器106的光学数据。光学数据可以包括诸如图像传感器106的焦距和图像传感器106的分辨率之类的数据。如果图像传感器106的镜头参数跨所有图像是固定的,则光学参数可以不需要随每一个图像发送。
来自ADAS图像SoC 270的图像可以以低频传输至IVI系统110。例如,图像可以以大约1图像/秒的速率从ADAS图像SoC 270传输至IVI系统110。在一些实施例中,来自图像传感器106的图像可以响应于由ADAS图像SoC 270标识到的触发事件而传输,所述触发事件诸如是天气方面的改变(例如如果开始下雨的话)。图像可以通过接口272在ADAS图像SoC 270到IVI系统110之间传输。例如,接口272可以是USB接口或面向媒体的系统输运(MOST)总线。
在一些实施例中,IVI系统110可以处理404所接收的数据。处理所接收的图像可以至少部分地基于来自因特网连接、数据库、云服务、导航系统230或上下文引擎232的数据。在一些实施例中,图像的基本处理可以由视觉分析模块226的一个或多个组件执行。视觉分析模块226的组件可以包括图像处理346、场景分析和特征提取348、图案识别350和/或启发式分析352。
在一些实施例中,视觉分析模块226可以处理404从ADAS图像SoC 270接收的图像。如之前所讨论的,视觉分析模块226可以包括图像处理组件346,其可以提供诸如缩放、裁剪、图像投影、线性滤波、像素化和/或隐马尔可夫模型(HMM)之类的图像处理功能性。从ADAS图像SoC 270接收的图像可以由场景分析特征提取348、图案识别模块350和/或启发式分析模块352处理。
在一些实施例中,ADAS增强模块228可以至少部分地基于经处理的数据而确定行动。例如,ADAS增强模块228可以从视觉分析模块226接收经处理的数据。另外,ADAS增强模块228可以从诸如导航引擎230、上下文引擎232、数据库、远程服务器130、电子设备140、云服务和/或因特网之类的其它源接收信息。
在一些实施例中,来自导航引擎230和/或上下文引擎232的数据可以用于增强ADAS的功能性。例如,来自导航引擎230的即将到来的道路弯曲信息可以用于头灯控制。上下文引擎232可以提供来自其它汽车的车辆对车辆信息,其可以提供对天气条件的洞察并且可以用于刮水器控制或头灯控制。
ADAS增强模块228可以基于从视觉分析模块226接收的数据和从其它源接收的信息而确定行动。以下示例用于说明性目的,并且不应当解释为本公开的限制。示例说明了其中由ADAS图像传感器106(例如车辆102的面向外部的相机)捕获的图像可以被IVI系统110用于扩增车辆ADAS供应的情形。
在一些实施例中,ADAS增强模块228的WDHD模块362可以用于检测车辆102是否正在道路上的错误方向上前进以及车辆是否在道路的正确侧上。车辆102的位置可以由车辆102的GPS设备标识。车辆的位置可以被传输至WRHD模块362。另外,导航引擎230可以向ADAS增强模块228的WRHD模块362传输附加信息。WRHD模块362可以确定车辆102在单向道路还是双向道路上和车辆102应当驾驶在道路的右侧还是左侧。从ADAS图像SoC 270接收的图像然后可以被视觉分析模块346分析和/或处理以检测车道、道路分隔物、人行道和交通标志,其可以确定车辆102当前是否驾驶在道路的正确侧上或者车辆102是否正在单向街道上的错误方向上前进。例如,场景分析特征提取348模块处理所接收的图像以在图像中标识侧道的位置和交通标志的位置。指示场景分析特征提取模块348所标识的侧道和交通标志的位置的数据可以被传输至WRHD 362模块以供进一步分析。例如,WRHD 362可以确定车辆102正驾驶在道路的错误侧上并且至少部分地基于经处理的图像和来自导航引擎230的信息而确定406行动。
在另一示例中,RDWC模块364可以从视觉分析模块226接收经处理的图像。RDWC模块364可以通过使用可以应用于来自ADAS图像传感器106的图像的技术和算法来应用另外的处理以检测不同类型的降水(例如雨、雪、雨夹雪、冰雹)及其严重性。RDWC模块364可以至少部分地基于经处理的图像和可以本地检索或者通过网络连接从源检索的信息而确定406行动。在一个示例中,行动可以是基于降水的检测而调节车辆102的刮水器。
在另一示例中,HLC模块368可以检测车辆102周围的照明条件。HLC模块368可以与视觉分析模块226通信以请求从ADAS图像SoC接收的图像的特定处理。HLC模块368可以请求通过视觉分析模块226处理由特定图像传感器106(例如具有较宽视野以较好地评估照明条件的相机)捕获的图像。视觉分析模块226可以通过检测正在逼近的车辆的头灯而同时通过场景分析确保路旁灯不被误认为用于车辆并且识别亮点和估计其距图像的距离来标识正接近的车辆。响应于场景分析特征提取模块348,HLC模块368可以基于经处理的图像而确定行动。例如,由HLC模块368确定的行动可以是在没有分隔物的多向道路上正接近的车辆的情况下调暗头灯。在一些实施例中,由HLC模块368确定的行动可以是基于由视觉分析模块226标识的环境光的水平而开启/关闭头灯。
IVI系统110可以响应于确定或标识了行动而向ADAS控制器传输408消息。例如,ADAS增强模块228可以至少部分地基于所确定的行动而生成消息并且向ADAS控制器传输408消息。ADAS控制器接收并且将消息引导至计算系统205的适当组件以履行制定所确定的行动。例如,在其中HLC模块368标识到正接近的车辆并且确定调暗头灯的示例中,ADAS增强模块228可以生成消息并且通过CAN总线向ADAS控制器380传输消息以用于所要求的行动。另外,ADAS控制器380可以通过USB接口或MOST总线向车辆102的计算系统205传输消息。控制车辆102的头灯的计算系统205的组件可以接收标识行动的消息并且制定行动。
以上参考根据示例实施例的系统、方法、装置和/或计算机程序产品的框图和流程图而描述本公开的某些方面。将理解的是,框图和流程图的一个或多个框以及框图和流程图中的框的组合分别可以由计算机可执行程序指令来实现。同样地,根据一些实施例,框图和流程图的一些框可以不一定需要以所呈现的次序执行,或者可以根本不一定需要执行。
可以将这些计算机可执行程序指令加载到专用计算机或其它特定机器、处理器或产生特定机器的其它可编程数据处理装置上,使得在计算机、处理器或其它可编程数据处理装置上执行的指令创建用于实现在一个或多个流程图框中指定的一个或多个功能的构件。这些计算机程序指令还可以存储在可以引导计算机或其它可编程数据处理装置以特定方式运转的计算机可读存储器中,使得存储在计算机可读存储器中的指令产生包括指令构件的制品,所述指令构件实现在一个或多个流程图框中指定的一个或多个功能。作为示例,某些实施例可以提供计算机程序产品,包括具有体现在其中的计算机可读程序代码或程序指令的计算机可用介质,所述计算机可读程序代码被适配成被执行以实现在一个或多个流程图框中指定的一个或多个功能。还可以将计算机程序指令加载到计算机或其它可编程数据处理装置上以使一系列操作元件或步骤在计算机或其它可编程装置上执行来产生计算机实现的过程,使得在计算机或其它可编程装置上执行的指令提供用于实现在一个或多个流程图框中指定的功能的元件或步骤。
因此,框图和流程图的框支持用于执行指定功能的构件的组合、用于执行指定功能的元件或步骤和用于执行指定功能的程序指令构件的组合。还将理解的是,框图和流程图的每一个框以及框图和流程图中的框的组合可以由执行所指定功能、元件或步骤的专用、基于硬件的计算机系统或专用硬件和计算机指令的组合来实现。
除了别的外尤其诸如“能够”、“可以”、“可能”或“可”之类的条件性语言,除非另行明确陈述,或者在如所使用的上下文内以其它方式被理解,否则一般意图传达某些实施例可以包括,而其它实施例不包括,某些特征、元件和/或操作。因此,这样的条件性语言一般不意图暗示特征、元件和/或操作以任何方式对一个或多个实施例是被要求的,或者一个或多个实施例必定包括用于在有或没有用户输入或提示的情况下决定是否这些特征、元件和/或操作被包括或者要在任何特定实施例中执行的逻辑。
在获益于前述描述和相关联的附图中呈现的教导的情况下,本文所阐述的本公开的许多修改和其它实施例将是明显的。因此,要理解的是,本公开不限于所公开的特定实施例并且修改和其它实施例意图被包括在随附权利要求的范围内。尽管本文采用特定术语,但是它们仅以一般和描述性的意义被使用而不是用于限制的目的。

Claims (25)

1.一种计算机实现的方法,包括:
通过车辆板载平台的一个或多个处理器从与车辆的高级驾驶员辅助系统(ADAS)相关联的一个或多个图像传感器接收图像;
通过车辆板载平台的一个或多个处理器处理所接收的图像;
通过车辆板载平台的一个或多个处理器、至少部分地基于经处理的图像而确定行动;以及
通过车辆板载平台的一个或多个处理器、响应于所述确定而向ADAS控制器传输消息。
2.权利要求1的计算机实现的方法,其中响应于由ADAS标识的触发事件而接收来自与ADAS相关联的一个或多个图像传感器的图像。
3.权利要求1的计算机实现的方法,其中经由USB连接、蓝牙连接、光纤连接、以太网连接、Wi-Fi连接、蜂窝数据连接或面向媒体的系统输运总线而接收图像。
4.权利要求1-3中任一项的计算机实现的方法,其中处理所接收的图像还包括至少部分地基于来自因特网连接、一个或多个数据库、导航系统或上下文引擎中至少一个的数据而处理所接收的图像。
5.权利要求1-3中任一项的计算机实现的方法,其中处理所接收的图像还包括缩放、裁剪、图像投影、线性滤波、像素化、隐马尔可夫模型(HMM)、场景分析、特征提取、图案识别或启发式图像分析中的至少一个。
6.权利要求1的计算机实现的方法,其中所接收的图像还包括附加数据,其中附加数据还包括以下中的至少一个:所接收的图像中的图像何时被拍摄的时间戳或一个或多个图像传感器中至少一个的光学数据。
7.权利要求1-3中任一项的计算机实现的方法,还包括:
至少部分地基于机器学习技术而生成图像特征的数据库以对从一个或多个图像传感器接收的图像进行分类。
8.一种驻留在具有存储在其上的多个指令的计算机可读介质上的计算机程序产品,所述指令在由处理器执行时使处理器执行包括以下各项的操作:
接收由与车辆的高级驾驶员辅助系统(ADAS)相关联的一个或多个车辆传感器所捕获的数据;
分析来自一个或多个车辆传感器的所接收的数据;以及
向车辆的ADAS控制器发布经分析的数据。
9.权利要求8的计算机程序产品,其中响应于由ADAS标识的事件而接收来自一个或多个车辆传感器的数据。
10.权利要求8或9的计算机程序产品,其中通过USB连接、蓝牙连接、光纤连接、以太网连接、Wi-Fi连接、蜂窝数据连接或面向媒体的系统输运总线而接收来自一个或多个车辆传感器的数据。
11.权利要求8的计算机程序产品,还包括处理所接收的数据。
12.权利要求11的计算机程序产品,其中处理所接收的数据还包括至少部分地基于从车辆的因特网连接、一个或多个数据库、导航系统或上下文引擎中的至少一个接收的数据而处理所接收的数据。
13.权利要求8或9的计算机程序产品,还包括至少部分地基于机器学习技术生成数据库以对从一个或多个车辆传感器接收的数据进行分类。
14.权利要求8或9的计算机程序产品,其中一个或多个车辆传感器还包括ADAS相机、麦克风或GPS系统中的至少一个。
15.一种系统,包括:
用于接收由车辆的高级驾驶员辅助系统(ADAS)的一个或多个相机所拍取的多个图像的构件;
用于分析从车辆的ADAS接收的多个图像的构件;以及
用于至少部分地基于多个经分析的图像而标识行动的构件。
16.权利要求15的系统,还包括:
用于经由USB连接、蓝牙连接、光纤连接、以太网连接、Wi-Fi连接、蜂窝数据连接或面向媒体的系统输运总线来传输多个图像的构件。
17.权利要求15的系统,还包括:
用于通过对从ADAS的一个或多个相机接收的图像进行分类而扩增数据库的构件。
18.权利要求15的系统,还包括:
用于处理多个所接收的图像的构件,其中处理还包括基本图像处理、复杂信号处理、场景分析、特征提取、图案识别或启发式分析中的至少一个。
19.权利要求15的系统,还包括
用于从因特网连接、一个或多个数据库、导航系统和上下文引擎中的至少一个接收附加数据的构件;以及
用于至少部分地基于附加数据而分析多个所接收的图像的构件。
20.一种系统,包括:
至少一个处理器;以及
存储计算机可执行指令的至少一个存储器,其中所述至少一个处理器被配置成访问所述至少一个存储器并且执行计算机可执行指令以:
  从与车辆的高级驾驶员辅助系统(ADAS)相关联的一个或多个图像传感器接收多个图像;
  处理所述多个图像;
  至少部分地基于经处理的多个图像而确定行动;以及
  响应于所述确定而向ADAS控制器传输消息。
21.权利要求15的系统或权利要求20的系统,其中响应于由ADAS标识的事件而接收多个图像。
22.权利要求15的系统或权利要求20的系统,其中多个图像还包括附加数据,其中附加数据包括以下中的至少一个:多个图像中的一个何时被创建的时间戳、拍取多个图像中的图像的相机的焦距、多个图像中的图像的分辨率或用于拍取多个图像中的图像的相机的类型的标识。
23.权利要求20的系统,其中经由USB连接、蓝牙连接、光纤连接、以太网连接、Wi-Fi连接、蜂窝数据连接或面向媒体的系统输运总线而接收多个图像。
24.权利要求20的系统,其中为了处理所接收的多个图像,所述至少一个处理器还被配置成执行计算机可执行指令以进行以下中的至少一个:缩放、裁剪、图像投影、线性滤波、像素化、隐马尔可夫模型(HMM)、场景分析、特征提取、图案识别或启发式图像分析。
25.权利要求20、23或24中任一项的系统,其中所述至少一个处理器还被配置成执行计算机可执行指令以:
至少部分地基于机器学习技术而生成图像特征的数据库以对从一个或多个图像传感器接收的多个图像进行分类。
CN201380054120.3A 2012-11-16 2013-06-27 利用板载车辆平台中的图像处理支持扩增车辆的adas特征 Active CN104853972B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/679,280 US9165196B2 (en) 2012-11-16 2012-11-16 Augmenting ADAS features of a vehicle with image processing support in on-board vehicle platform
US13/679280 2012-11-16
PCT/US2013/048223 WO2014077908A1 (en) 2012-11-16 2013-06-27 Augmenting adas features of a vehicle with image processing support in on-board vehicle platform

Publications (2)

Publication Number Publication Date
CN104853972A true CN104853972A (zh) 2015-08-19
CN104853972B CN104853972B (zh) 2018-03-30

Family

ID=50727566

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380054120.3A Active CN104853972B (zh) 2012-11-16 2013-06-27 利用板载车辆平台中的图像处理支持扩增车辆的adas特征

Country Status (4)

Country Link
US (1) US9165196B2 (zh)
EP (2) EP3674158A1 (zh)
CN (1) CN104853972B (zh)
WO (1) WO2014077908A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106454225A (zh) * 2016-09-08 2017-02-22 深圳华汽车科技有限公司 Adas设备摄像头的非独占式接入系统及方法
CN106828506A (zh) * 2017-02-22 2017-06-13 张军 一种基于上下文感知的自动辅助驾驶系统
CN106981211A (zh) * 2015-12-22 2017-07-25 本田技研工业株式会社 限制信息告知装置以及方法
CN108496178A (zh) * 2016-01-05 2018-09-04 御眼视觉技术有限公司 用于估计未来路径的系统和方法
CN108508882A (zh) * 2017-02-28 2018-09-07 郑州宇通客车股份有限公司 一种车辆辅助驾驶控制平台
CN109649275A (zh) * 2018-11-29 2019-04-19 福瑞泰克智能系统有限公司 一种基于增强现实的驾驶辅助系统及方法
CN109726623A (zh) * 2017-10-31 2019-05-07 维布络有限公司 通过拼接帧以辅助车辆驾驶员的方法和系统
CN110462343A (zh) * 2017-04-03 2019-11-15 罗伯特·博世有限公司 基于地图的用于车辆的自动图像标记
CN110779538A (zh) * 2018-07-30 2020-02-11 通用汽车环球科技运作有限责任公司 相对于自主导航而跨本地和基于云的系统来分配处理资源
CN112585929A (zh) * 2018-08-27 2021-03-30 大众汽车股份公司 请求、分析并将车辆的驾驶员辅助系统的数据传送给外部用户
CN112654545A (zh) * 2018-09-07 2021-04-13 图森有限公司 用于车辆的后向感知系统
CN113815533A (zh) * 2020-06-19 2021-12-21 上海网车科技有限公司 前向adas及自动泊车融合控制器

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140125802A1 (en) * 2012-11-08 2014-05-08 Microsoft Corporation Fault tolerant display
US20140267793A1 (en) * 2013-03-15 2014-09-18 Delphi Display Systems, Inc. System and method for vehicle recognition in a dynamic setting
US10694106B2 (en) 2013-06-14 2020-06-23 Qualcomm Incorporated Computer vision application processing
DE102014210411A1 (de) * 2013-09-06 2015-03-12 Robert Bosch Gmbh Verfahren und Steuer- und Erfassungseinrichtung zum Plausibilisieren einer Falschfahrt eines Kraftfahrzeugs
EP2848487B1 (en) * 2013-09-12 2020-03-18 Volvo Car Corporation Manoeuvre generation for automated drive
JP6032248B2 (ja) * 2014-07-09 2016-11-24 トヨタ自動車株式会社 車両用照明装置
US10169066B2 (en) * 2015-08-06 2019-01-01 Ionroad Technologies Ltd. System and method for enhancing advanced driver assistance system (ADAS) as a system on a chip (SOC)
US11433809B2 (en) 2016-02-02 2022-09-06 Magna Electronics Inc. Vehicle vision system with smart camera video output
DE102016114413A1 (de) * 2016-08-04 2018-03-22 Visteon Global Technologies, Inc. Vorrichtung zur Erzeugung von objektabhängigen Audiodaten und Verfahren zur Erzeugung von objektabhängigen Audiodaten in einem Fahrzeuginnenraum
US10750119B2 (en) 2016-10-17 2020-08-18 Magna Electronics Inc. Vehicle camera LVDS repeater
DE102017204691B3 (de) 2017-03-21 2018-06-28 Audi Ag Steuervorrichtung zum redundanten Ausführen einer Betriebsfunktion sowie Kraftfahrzeug
CN107316486A (zh) * 2017-07-11 2017-11-03 湖南星云智能科技有限公司 基于双摄像头的无人驾驶汽车视觉识别系统
US10783725B1 (en) * 2017-09-27 2020-09-22 State Farm Mutual Automobile Insurance Company Evaluating operator reliance on vehicle alerts
CN109587518B (zh) 2017-09-28 2022-06-07 三星电子株式会社 图像传输装置、操作图像传输装置的方法以及片上系统
LU100815B1 (en) 2018-05-31 2019-12-02 Iee Sa Sensor-Based Artificial Intelligence Monitoring and/or Surveillance System With Read And Write Access to own Memory
US11148675B2 (en) 2018-08-06 2021-10-19 Qualcomm Incorporated Apparatus and method of sharing a sensor in a multiple system on chip environment
US10498727B1 (en) * 2018-08-29 2019-12-03 Capital One Services, Llc Systems and methods of authentication using vehicle data
US11138348B2 (en) * 2018-10-09 2021-10-05 Intel Corporation Heterogeneous compute architecture hardware/software co-design for autonomous driving
US20200133308A1 (en) * 2018-10-18 2020-04-30 Cartica Ai Ltd Vehicle to vehicle (v2v) communication less truck platooning
US10748038B1 (en) 2019-03-31 2020-08-18 Cortica Ltd. Efficient calculation of a robust signature of a media unit
LU101028B1 (en) 2018-12-06 2020-06-08 Iee Sa Method for Online Training of an Artificial Intelligence (AI) Sensor System
WO2020145432A1 (ko) * 2019-01-09 2020-07-16 엘지전자 주식회사 Multi soc 시스템을 통해 차량을 제어하는 방법
US11113402B2 (en) * 2019-03-29 2021-09-07 Intel Corporation Tunneling functional safety communications over an enhanced serial peripheral interface
CN109993118B (zh) * 2019-03-30 2021-08-20 上海识装信息科技有限公司 一种动作的识别方法及其识别系统
LU101167B1 (en) 2019-04-01 2020-10-02 Iee Sa Method and System for Predicting the Time Behavior of an Environment using a Sensing Device, a Physical Model and an Artificial Neural Network
US20200406833A1 (en) * 2019-06-26 2020-12-31 Hugh Lafon Carter Navigation and monitoring system for vehicles
US11594036B2 (en) * 2019-08-21 2023-02-28 Micron Technology, Inc. Advanced driver-assistance system (ADAS) operation utilizing algorithmic skyline detection
US11675042B1 (en) 2020-03-18 2023-06-13 Samsara Inc. Systems and methods of remote object tracking
US12049116B2 (en) 2020-09-30 2024-07-30 Autobrains Technologies Ltd Configuring an active suspension
US11341786B1 (en) 2020-11-13 2022-05-24 Samsara Inc. Dynamic delivery of vehicle event data
DE102021201573A1 (de) * 2021-02-18 2022-08-18 Robert Bosch Gesellschaft mit beschränkter Haftung Aktivieren einer zweiten Recheneinheit einer Recheneinrichtung mit einer ersten Recheneinheit und der zweiten Recheneinheit
CN113655365A (zh) * 2021-07-07 2021-11-16 武汉极目智能技术有限公司 一种基于adas的自动化产测系统及方法
CN113442853A (zh) * 2021-07-31 2021-09-28 重庆长安汽车股份有限公司 一种主动进气格栅防结冰装置及方法
US12110075B2 (en) 2021-08-05 2024-10-08 AutoBrains Technologies Ltd. Providing a prediction of a radius of a motorcycle turn
US12063207B2 (en) * 2021-09-28 2024-08-13 Fortinet, Inc. Non-interfering access layer end-to-end encryption for IOT devices over a data communication network

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007093471A1 (de) * 2006-02-17 2007-08-23 Robert Bosch Gmbh Bilderfassungseinrichtung für ein fahrerassistenzsystem
CN101101333A (zh) * 2006-07-06 2008-01-09 三星电子株式会社 用于产生行进车辆的驾驶员辅助信息的设备和方法
US20110007162A1 (en) * 2008-01-10 2011-01-13 Karsten Haug Method and device for image detection for motor vehicles
KR20120116204A (ko) * 2011-04-12 2012-10-22 현대자동차주식회사 선행차량을 이용한 차선 인식 장치 및 그 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10104734A1 (de) * 2001-02-02 2002-08-29 Daimler Chrysler Ag Verfahren zur Steuerung technischer Einrichtungen auf Grundlage von Bilddaten
DE10210723A1 (de) * 2002-03-12 2003-09-25 Bosch Gmbh Robert Spurwechselassistent für Kraftfahrzeuge
DE10218010A1 (de) * 2002-04-23 2003-11-06 Bosch Gmbh Robert Verfahren und Vorrichtung zur Querführungsunterstützung bei Kraftfahrzeugen
DE10303046A1 (de) * 2003-01-24 2004-10-21 Daimlerchrysler Ag Verfahren und Vorrichtung zur quantitativen Abschätzung der Sichtweite in Fahrzeugen
US7337650B1 (en) * 2004-11-09 2008-03-04 Medius Inc. System and method for aligning sensors on a vehicle
US20090292468A1 (en) * 2008-03-25 2009-11-26 Shunguang Wu Collision avoidance method and system using stereo vision and radar sensor fusion
US8751154B2 (en) * 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8805110B2 (en) * 2008-08-19 2014-08-12 Digimarc Corporation Methods and systems for content processing
EP2209091B1 (en) * 2009-01-16 2012-08-08 Honda Research Institute Europe GmbH System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system
WO2010084521A1 (ja) * 2009-01-20 2010-07-29 本田技研工業株式会社 ウインドシールド上の雨滴を同定するための方法及び装置
WO2010092664A1 (ja) * 2009-02-10 2010-08-19 トヨタ自動車株式会社 車載情報処理装置、情報提供装置及び車両用情報処理システム
WO2010099416A1 (en) * 2009-02-27 2010-09-02 Magna Electronics Alert system for vehicle
EP2256667B1 (en) * 2009-05-28 2012-06-27 Honda Research Institute Europe GmbH Driver assistance system or robot with dynamic attention module
EP2442291B1 (en) 2010-10-13 2013-04-24 Harman Becker Automotive Systems GmbH Traffic event monitoring
DE102011009106A1 (de) * 2011-01-21 2012-07-26 Audi Ag Verfahren zum Betrieb eines eine auf einen Überholvorgang bezogene Empfehlung ausgebenden Fahrerassistenzsystems eines Kraftfahrzeugs und Kraftfahrzeug
US9460354B2 (en) * 2012-11-09 2016-10-04 Analog Devices Global Object detection
US9045041B2 (en) * 2013-02-27 2015-06-02 Here Global B.V. Driver behavior from probe data for augmenting a data model

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007093471A1 (de) * 2006-02-17 2007-08-23 Robert Bosch Gmbh Bilderfassungseinrichtung für ein fahrerassistenzsystem
US20090315992A1 (en) * 2006-02-17 2009-12-24 Karsten Haug Image Capturing Device for a Driver Assistance System
CN101101333A (zh) * 2006-07-06 2008-01-09 三星电子株式会社 用于产生行进车辆的驾驶员辅助信息的设备和方法
US20110007162A1 (en) * 2008-01-10 2011-01-13 Karsten Haug Method and device for image detection for motor vehicles
KR20120116204A (ko) * 2011-04-12 2012-10-22 현대자동차주식회사 선행차량을 이용한 차선 인식 장치 및 그 방법

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106981211A (zh) * 2015-12-22 2017-07-25 本田技研工业株式会社 限制信息告知装置以及方法
CN108496178B (zh) * 2016-01-05 2023-08-08 御眼视觉技术有限公司 用于估计未来路径的系统和方法
CN108496178A (zh) * 2016-01-05 2018-09-04 御眼视觉技术有限公司 用于估计未来路径的系统和方法
CN106454225A (zh) * 2016-09-08 2017-02-22 深圳华汽车科技有限公司 Adas设备摄像头的非独占式接入系统及方法
CN106828506A (zh) * 2017-02-22 2017-06-13 张军 一种基于上下文感知的自动辅助驾驶系统
CN108508882A (zh) * 2017-02-28 2018-09-07 郑州宇通客车股份有限公司 一种车辆辅助驾驶控制平台
CN110462343B (zh) * 2017-04-03 2023-08-18 罗伯特·博世有限公司 使用自动标记的图像来对车辆进行导航的方法和系统
CN110462343A (zh) * 2017-04-03 2019-11-15 罗伯特·博世有限公司 基于地图的用于车辆的自动图像标记
CN109726623A (zh) * 2017-10-31 2019-05-07 维布络有限公司 通过拼接帧以辅助车辆驾驶员的方法和系统
CN110779538A (zh) * 2018-07-30 2020-02-11 通用汽车环球科技运作有限责任公司 相对于自主导航而跨本地和基于云的系统来分配处理资源
CN110779538B (zh) * 2018-07-30 2024-03-08 通用汽车环球科技运作有限责任公司 相对于自主导航而跨本地和基于云的系统来分配处理资源
CN112585929A (zh) * 2018-08-27 2021-03-30 大众汽车股份公司 请求、分析并将车辆的驾驶员辅助系统的数据传送给外部用户
CN112585929B (zh) * 2018-08-27 2024-05-28 大众汽车股份公司 请求、分析并将车辆的驾驶员辅助系统的数据传送给外部用户
CN112654545A (zh) * 2018-09-07 2021-04-13 图森有限公司 用于车辆的后向感知系统
CN112654545B (zh) * 2018-09-07 2023-12-05 图森有限公司 用于车辆的后向感知系统
CN109649275A (zh) * 2018-11-29 2019-04-19 福瑞泰克智能系统有限公司 一种基于增强现实的驾驶辅助系统及方法
CN113815533A (zh) * 2020-06-19 2021-12-21 上海网车科技有限公司 前向adas及自动泊车融合控制器
CN113815533B (zh) * 2020-06-19 2023-04-07 魔视智能科技(上海)有限公司 前向adas及自动泊车融合控制器

Also Published As

Publication number Publication date
EP2920040A4 (en) 2017-06-07
WO2014077908A1 (en) 2014-05-22
EP2920040B1 (en) 2024-10-09
EP2920040A1 (en) 2015-09-23
US20140139670A1 (en) 2014-05-22
US9165196B2 (en) 2015-10-20
EP3674158A1 (en) 2020-07-01
CN104853972B (zh) 2018-03-30

Similar Documents

Publication Publication Date Title
CN104853972A (zh) 利用板载车辆平台中的图像处理支持扩增车辆的adas特征
US11615706B2 (en) System and method for driving assistance along a path
US10885777B2 (en) Multiple exposure event determination
CN111292351B (zh) 车辆检测方法及执行其的电子设备
CN107209988B (zh) 确定机动车辆接近交通灯的最佳速度的方法
JP7420734B2 (ja) データ配信システム、センサデバイス及びサーバ
KR20150013775A (ko) 현재 상황 묘사를 생성하는 방법 및 시스템
US20180300620A1 (en) Foliage Detection Training Systems And Methods
US10387737B1 (en) Rider rating systems and methods for shared autonomous vehicles
US11861915B2 (en) Pipeline architecture for road sign detection and evaluation
CN113415275A (zh) 车辆消息的处理方法、装置、可读介质及电子设备
US11267402B1 (en) Systems and methods for prioritizing driver warnings in a vehicle
CN113837127A (zh) 一种地图和v2v数据融合模型和方法、系统及介质
US20210004016A1 (en) U-turn control system for autonomous vehicle and method therefor
JP2024086761A (ja) システム、プログラム、機械学習方法、及び機械学習モデル等
US11760376B2 (en) Machine learning updating with sensor data
US10759449B2 (en) Recognition processing device, vehicle control device, recognition control method, and storage medium
KR20210146891A (ko) 정보 처리 장치 및 정보 처리 방법
US20230090338A1 (en) Method and system for evaluation and development of automated driving system features or functions
Aguilar-Rivera et al. Evaluation of AI-based Smart-Sensor Deployment at the Extreme Edge of a Software-Defined Network
CN118262298A (zh) 存在于道路上的对象的分类
CN117755334A (zh) 一种入侵检测方法、装置以及车辆
CN117480082A (zh) 利用对象的相关性评估自主车辆感知系统的性能

Legal Events

Date Code Title Description
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant