CN107627958A - 用于增强车辆环境感知的系统和方法 - Google Patents

用于增强车辆环境感知的系统和方法 Download PDF

Info

Publication number
CN107627958A
CN107627958A CN201710512841.4A CN201710512841A CN107627958A CN 107627958 A CN107627958 A CN 107627958A CN 201710512841 A CN201710512841 A CN 201710512841A CN 107627958 A CN107627958 A CN 107627958A
Authority
CN
China
Prior art keywords
information
vehicle
camera
controller
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710512841.4A
Other languages
English (en)
Other versions
CN107627958B (zh
Inventor
S·G·帕拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN107627958A publication Critical patent/CN107627958A/zh
Application granted granted Critical
Publication of CN107627958B publication Critical patent/CN107627958B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/004Arrangements for holding or mounting articles, not otherwise provided for characterised by position outside the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking

Abstract

提供了一种用于增强车辆环境感知的系统方法。该系统包括存储器,其包括一个或多个可执行指令;控制器,其配置成读取和执行该一个或多个可执行指令;摄像头,其配置成查看或捕捉或查看和捕捉车辆环境的选定部分的图像;显示器,其配置成展现信息;用户输入,其配置成允许向系统提供一个或多个命令。该可执行指令另外使得控制器能够基于该一个或多个命令来操作摄像头、检索车辆环境的选定部分的信息、从所检索的信息来产生感知信息,并且展现感知信息。

Description

用于增强车辆环境感知的系统和方法
背景技术
符合本文的示例性实施例的系统和方法涉及车辆环境感知的增强。更具体地,这些系统和方法涉及通过查看车辆环境的摄像头和展现此环境的显示器的实施来增强车辆环境感知。
操作不熟悉车辆的驾驶员可能不确定他们的车辆的精确边界。这种不确定性可导致驾驶员不合理地过于谨慎并且在操作车辆时产生不必要的不安感觉。因此驾驶员希望增强他们对他们的车辆周围的环境的感知。
发明内容
本文提出了一种用于增强车辆环境感知的系统。该系统包括存储器,其具有一个或多个可执行指令;控制器,其配置成读取和执行该一个或多个可执行指令;摄像头,其配置成查看或捕捉或查看和捕捉车辆环境的选定部分的图像;显示器,其配置成展现信息;用户输入,其配置成允许向系统提供一个或多个命令。该可执行指令另外使得控制器能够基于该一个或多个命令来操作该摄像头、从该摄像头检索该车辆环境的选定部分的信息、从该车辆环境的选定部分的所检索的信息产生感知信息,以及通过该显示器展现所检索的感知信息。
该系统可以进一步包括传感器,其配置成确定车辆何时遇到路面特征并且向控制器发送对应的传感器信号。该可执行指令另外使得该控制器检索传感器信号并且启动摄像头以查看或捕捉或查看和捕捉车辆环境的选定部分的图像。该系统还可以进一步包括通信装置,其配置成以信号方式与远程方进行通信。该可执行指令另外可以使得控制器能够检索传感器信号,并且经由该通信装置向远程方发送输出信号。
车辆所遇到的路面特征可以是坑洞、减速带、路缘、跑道终点线、道路车道指示器、泥坑、水坑或湿路面。该摄像头可以定位在车辆的侧视镜组件处。该显示器可以配置成展现侧视镜组件的感知信息,或该显示器可以配置成在车辆信息娱乐单元的控制台屏幕处展现感知信息。该车辆环境的选定部分基本上可以包括前轮胎和其相应的下层路面相交的位置。该可执行指令可以进一步使得控制器能够向存储器记录和存储感知信息。
本文提出了另一种用于增强车辆环境感知的系统。该系统包括存储器,其具有一个或多个可执行指令;控制器,其配置成读取和执行该一个或多个可执行指令;至少两个摄像头,其配置成查看或捕捉或查看和捕捉车辆环境的选定部分的图像;显示器,其配置成展现信息;用户输入,其配置成允许向系统提供一个或多个命令。该可执行指令另外使得控制器能够基于该一个或多个命令来操作该摄像头、从该摄像头检索该车辆环境的选定部分的信息、从该车辆环境的选定部分的所检索的信息产生感知信息,以及通过该显示器展现来自至少一个摄像头的感知信息。
该系统可以进一步包括传感器,其配置成确定车辆何时遇到路面特征并且向控制器发送对应的传感器信号。该可执行指令可以进一步使得该控制器能够检索传感器信号并且启动至少一个摄像头以查看或捕捉或查看和捕捉来自车辆环境的选定部分的至少一个图像。该系统还可以进一步包括通信装置,其配置成以信号方式与远程方进行通信。该可执行指令还可以使得控制器能够检索传感器信号,并且经由该通信装置向远程方发送输出信号。
车辆所遇到的路面特征可以是坑洞、减速带、路缘、跑道终点线、道路车道指示器、泥坑、水坑或湿路面。附加显示器可以配置成展现附加信息。该至少两个摄像头因此可以定位在车辆的第一侧视镜组件和第二侧视镜组件处,且该显示器可以配置成在该第一侧视镜组件处展现感知信息,且该附加显示器配置成在该第二侧视镜组件处展现附加感知信息。
该摄像头可以定位在该车辆的第一侧视镜组件和第二侧视镜组件处。该显示器可以配置成在该车辆信息娱乐单元的控制台屏幕处展现信息。该车辆环境的选定部分基本上可以包括每个前轮胎和其相应的下层路面相交的位置。该可执行指令可以进一步使得控制器能够向存储器记录和存储感知信息。
本文还提出了一种用于增强车辆环境感知的方法。该方法包括以下操作:提供定位在车辆的侧视镜组件处的摄像头,该摄像头配置成查看或捕捉或查看和捕捉前轮胎和其相应的下层路面相交的位置的图像;提供显示器,该显示器配置成展现信息;提供用户输入,该用户输入配置成允许向该摄像头提供一个或多个命令;经由该用户输入指令该摄像头的操作;经由该摄像头查看或捕捉或查看和捕捉车辆环境的选定部分的图像;经由该控制器从该摄像头检索该车辆环境的选定部分的信息;经由该控制器从该车辆环境的选定部分的所检索的信息产生感知信息;以及经由该显示器展现该感知信息。该显示器可以配置成在侧视镜组件处展现感知信息,或该显示器可以配置成在车辆信息娱乐单元的控制台屏幕处展现感知信息。
附图说明
图1示出了用于增强车辆环境感知的系统的示例性实施例的示例性框图;
图2示出了用于增强车辆环境感知的示例性系统的示例性图;
图3示出了用于增强在示例性车辆环境内实施的车辆环境感知的示例性系统的方面;
图4示出了用于增强车辆环境感知的示例性系统的其它方面;
图4A示出了图4的系统的附加方面;
图5示出了用于增强车辆环境感知的示例性系统的某些特征的示例性实施例;
图6示出了用于增强车辆环境感知的示例性系统的某些特征的另一个示例性实施例;以及
图7示出了总体上说明可以执行为增强车辆环境感知的方法的流程图。
具体实施方式
现在将参考附图的图1至7详细地描述用于增强车辆环境感知的系统和方法,其中相同的附图标号指代全部相同元件。以下公开将使得本领域技术人员能够实践发明概念。然而,本文所公开的示例性实施例仅仅是示例性的并且不会将发明概念限于本文所述的示例性实施例。另外,每个示例性实施例的特征或方面的描述应通常视为对于其它示例性实施例的方面而言是可用的。
还应理解的是,当本文陈述第一元件“连接至”第二元件、“形成在第二元件上”或“设置在第二元件上”时,第一元件可以直接连接至第二元件、直接形成在第二元件上或直接设置在第二元件上,或第一元件与第二元件之间可存在介入元件,除非陈述第一元件“直接”连接至第二元件、直接形成在第二元件上或直接设置在第二元件上。另外,如果第一元件配置成从第二元件“接收”信息,那么第一元件可以直接从第二元件接收信息、经由总线接收信息、经由网络接收信息或经由中间元件接收信息,除非第一元件指示为“直接”从第二元件接收信息。
在整个公开内容中,所公开的一个或多个元件可以组合至单个装置中或组合至一个或多个装置中。另外,单个元件可以设置在单独装置上。
车辆环境应当被视为包围车辆的所有边界的物理位置。车辆环境总体上不会延伸超过这些边界五码以上。另外还应当理解的是,车辆可以是但不限于乘用车、摩托车、卡车、运动型多用途车(SUV)、休闲车(RV)、海运船或飞机。
下文讨论的示例性系统和方法给驾驶员(即,车辆操作者)提供增强包围正运行的车辆的环境的感知(即,可视性)的益处。这样的增强感知最终可增加一层保护和驾驶员舒适性,以及允许驾驶员更了解他们的车辆的性能。以下实例(例如)可促进停放和避免车辆出现路边冒进(curb rash)使得他们的驾驶员难以操控。
对于热衷者,以下实例可取决于路面提供不同益处。将高性能车辆带至跑道的驾驶员可以实施示例性系统和方法以在一圈过程中可视地记录车辆移动。记录此移动可能有助于驾驶员围绕转弯研究车辆/车轮定位,以便最终改善赛车时间,并且最终为驾驶员提供在赛道上消耗最佳时间的选择。然而,将车辆(例如,全尺寸/中型卡车)带离道路的驾驶员可以实施示例性系统和方法,以根据周围地形更好地了解轮胎位置。了解轮胎位置可以帮助驾驶员在困难条件下安全地从一个点移动至另一个点。
详细地参考附图且具体参考图1,用于增强车辆环境感知的示例性系统的框图总体上是由附图标号100来指示。如所示,所公开系统100包括控制器101、电源102、存储器103、显示器104、用户输入105和摄像头107。系统100可以进一步包括振动传感器106和通信装置108。然而,系统100不限于前述提及的配置,并且可以配置成包括附加元件和/或省略一个或多个前述提及的元件。
控制器101基本上控制系统100的整体操作和功能。在阅读和执行一个或多个可执行指令时,控制器101可以控制、发送和/或接收来自存储器103、显示器104、用户输入105、振动传感器106、摄像头107和通信装置108中的一个或多个的信息。控制器101可以包括以下一项,但不限于以下项:处理器、微处理器、中央处理单元(CPU)、图形处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机以及硬件、软件和固件部件的组合。
电源102向系统100的控制器101、存储器103、显示器104、用户输入105、振动传感器106、摄像头107和通信装置108中的一个或多个提供供电。电源102可以包括但不限于电池、插座、电容器、太阳能电池、发电机、风能装置、交流发电机等。
存储器103配置成用于记录信息、存储信息和检索由系统100使用的信息。存储器103可以包括可执行指令的一个或多个模块,该可执行指令由控制器101读取和执行,以便执行系统100的功能。存储器103还可以由控制器101控制以记录、存储和检索可以包括一种或多种不同类型的信息的感知信息,诸如但不限于车辆环境信息、关于车辆环境的信息、车辆所在的特定环境的信息、关于车辆的信息、关于车辆乘客的信息、关于行驶路线的信息和时间戳信息。
车辆环境信息可以是在车辆的位置处查看的视频数据或捕捉的图像数据(例如,街道场景图像、路外场景图像和赛道场景图像)。关于车辆环境的信息可以包括但不限于道路名称、城市名称、州名称、国家名称、邮政编码、道路段、道路车道和坐标信息。车辆所在的特定环境的信息可以包括但不限于环境声音、振动、环境温度、车速、路面类型、路面特征、环境异常和道路损坏严重性信息(例如,道路损坏程度)。关于车辆乘客的信息包括车辆中的乘客的数量和车辆中的乘客位置。关于车辆的信息可以包括关于诸如窗户、升降门、天窗、座椅位置等的车辆部件的信息。
本领域一般技术人员应当理解的是,路面特征可以是坑洞、缓冲带、路缘、跑道终点线、道路车道指示器、泥坑、水坑、湿路面、干燥路面等。路表类型可以是但不限于混凝土、沥青、砾石、泥土、泥浆。声音可以通过放置在车辆周围的各个位置处的换能器、麦克风等来检测,这些位置包括内部舱室、轮舱等。振动可以由振动传感器106检测,并且可以是放置车辆周围的各个位置处的一个或多个加速度计,这些位置包括内部舱室、方向盘、轮舱等。关于行驶路线的信息可以包括但不限于基于车辆的位置上传至存储器103的街道地图。时间戳信息可以指示通过摄像头107来查看或捕捉图像的时间。
存储器103可以包括以下项当中的一个或多个:软盘、光盘、CD-ROM(光盘-只读存储器)、磁光盘,ROM(只读存储器)、RAM(随机存取存储器),EPROM(可擦除可编程只读存储器)、EEPROM(电可擦除可编程只读存储器)、磁卡或光卡、闪速存储器、高速缓存存储器和适用于存储机器可执行指令的其它类型的介质/机器可读介质。
存储器103可以包括数据库,其配置成记录和存储感知信息,该感知信息包括但不限于车辆环境信息、关于车辆环境的信息、车辆所在的特定环境的信息、关于车辆的信息、关于车辆乘客的信息、关于行驶路线的信息和时间戳信息。数据库中的条目可以包括例如但不限于车辆环境信息、关于车辆的环境的信息、车辆所在的特定环境的信息、关于车辆的信息、关于车辆的乘客的信息、关于行驶路线的信息和时间戳信息。
显示器104通常呈现可以是电子形式的视觉信息(例如,感知信息)的展现。显示器104可以由控制器101控制以向系统用户提供此展现的信息。显示器104可以包括允许通过本领域中已知的OLED屏幕、LED屏幕、LCD屏幕或全息显示器来展现视觉信息的电子器件。另外,显示器104可以进一步配置成产生包括但不限于视觉通知、可听通知或光通知的通知。如下文所讨论,显示器104另外可以位于车辆信息娱乐单元的控制台屏幕处或位于一个或两个车辆的侧视镜组件内。
用户输入105配置成向系统100提供信息和命令,并且可以用于允许向控制器101提供一个或多个命令。用户输入105可以包括但不限于触摸屏(经由虚拟按钮)、键盘、软键盘、按钮、运动检测器、语音输入检测器、麦克风、摄像头、触控板、鼠标、触摸板等。用户输入106可以配置成接收用户命令来确认或解除由显示器104产生的通知。用户输入106还可以配置成启动或停用系统100或摄像头107。
如上文所讨论,振动传感器106可以是放置在车辆周围的各个位置处的一个或多个加速度计。振动传感器106可以检测车辆何时遇到道路特征。例如、振动传感器106可以检测车辆的一个或多个轮胎何时遇到路面上的坑洞或车辆何时碰撞到物理对象(例如树枝、动物、路缘等)。在这种遇到下,振动传感器106可以向控制器101发送传感器信号。这些传感器信号可由控制器101记录并且存储在存储器103中。
摄像头107可以是用于查看或捕捉图像的光学仪器,这些图像可以在被发射至控制器101之前被本地存储,如本领域中总体上所知的。摄像头107的实例可以包括但不限于各种数字单镜头反光摄像头、无反光镜摄像头和袖珍摄像头。图像可以是数字的并且被例证为被捕捉为单独的静态照片或被查看为构成视频的一系列图像。因而,当摄像头107可被引导来查看或捕捉或查看和捕捉车辆环境的选定部分的图像时。
系统100可以使用通信装置108来与各种类型的外部远程方进行通信。通信装置108可以用于选择/接收感知信息,包括例如但不限于车辆环境信息、关于车辆的环境的信息、车辆所在的特定环境的信息、关于车辆的信息、关于车辆的乘客的信息、关于行驶路线的信息和时间戳信息。通信装置108还可以配置成发射指令至操作系统100/从移动装置接收指令,该移动装置诸如移动电话、智能手表、膝上型计算机、平板计算机等。
另外,通信装置108另外可以配置成通过向远程方发送和接收包括信号的信息来检测关于车辆的位置的信息。信息信号可以由或从远程方检测,远程方诸如但不限于全球定位系统(GPS)卫星群、呼叫中心、计算装置或移动计算装置。例如,远程GPS卫星可以检测车辆坐标,且坐标可以与来自速度计、罗盘、加速度计和/或摄像头107的信息一起使用来确定位置信息,诸如道路名称、城市名称、州名称、国家名称、邮政编码、道路段、道路车道和/或坐标信息。
通信装置108可以包括可执行指令的各种通信模块。这样的模块可以包括但不限于GPS模块、广播接收模块、近场通信(NFC)模块、有线通信模块和无线通信模块。广播接收模块可以包括地面广播接收模块,其包括用于接收地面广播信号的天线、解调器和均衡器。NFC模块是根据NFC方法与位于附近距离的外部设备进行通信的模块。GPS模块是从卫星群的一个或多个GPS卫星接收GPS信号并且检测当前位置的模块。有线通信模块可以是通过有线网络(诸如局域网、控制器区域网络(CAN)或外部网络)经由以太网电缆、光纤电缆、同轴电缆等接收信息的模块。无线通信模块是通过使用诸如Wi-Fi或IEEE通信协议的无线通信协议连接至外部网络并且与外部网络进行通信的模块。无线通信模块可以进一步包括移动通信模块,其根据各种移动通信标准存取移动通信网络和执行通信,该移动通信标准诸如第三代(3G)、第三代合作项目(3GPP)、长期演进(LTE)、蓝牙或无线个域网。
根据示例性方面,控制器101配置成基于来自用户输入105的一个或多个命令来操作摄像头107、从摄像头107检索车辆环境的选定部分的信息、从所检索的信息产生感知信息,并且通过显示器104展现感知信息。
控制器101可以进一步配置成检索从振动传感器106发送的传感器信号,并且启动摄像头107以查看或捕捉车辆环境的选定部分的图像。控制器101可以进一步配置成从振动传感器106检索传感器信号,并且通过通信装置108向远程方发送输出信号。根据另一个示例性方面,控制器101可以配置成向存储器记录和存储感知信息。
图2示出了根据示例性方面的用于增强车辆环境感知的系统200的图。参考图2,如上文所讨论,一个或多个车辆209还可以实施通信装置108以通过网络210向总体上位于远程服务器211内的存储器203(上文所讨论)发射信息和从该存储器接收信息。可以由车辆209发射或接收或发射和接收的感知信息可以包括但不限于(如上文所讨论)车辆环境信息、关于车辆环境的信息、其中车辆209所在的特定环境的信息、关于车辆209的信息、关于车辆209的乘客的信息、关于行驶路线的信息和时间戳信息。为了通过网络210发射和接收信息以及执行增强车辆环境感知的功能,车辆209或服务器211或车辆209和服务器211两者可以包括配置成执行存储在服务器203的存储器203中的指令的一个或多个控制器201(上文所讨论)。
图3示出了系统300的示例性方面,其中摄像头307位于车辆309的侧视镜组件312处。可看出,摄像头307被安装至镜组件312的朝前方向侧,并且可以被引导朝向位置313,在该位置处,车辆309的对应前轮胎胎314和其相应的下层路面315相交。应当理解的是,摄像头307可以通过焊接工序、粘合剂或可以模制至镜组件312的主体中的插座配置而接合至镜组件312。
图4和4A示出了系统400的另一个示例性方面,其中摄像头位于车辆409的两个侧视镜组件412处。如所示,当系统400已被指令操作时,如上文所讨论,显示器404配置成在每个侧视镜组件412(即,车辆的对应前轮胎和其相应下层路面相交的位置)处展现感知信息。
在图5中可更详细地看到至少一个侧视镜组件512的配置。如此实例中所示,镜组件512包括壳体516,其中摄像头507安装至壳体516的下侧。摄像头507经由电导管517耦接至显示器504的独立电子部件(例如,控制器)。摄像头507被定位成使得视线与显示器504的所展现视图相反。摄像头507另外配置成查看或捕捉或查看和捕捉朝向车辆的前侧的车辆环境的图像(参见图4和4A)。另外,显示器504位于镜518后面,允许光从后面穿过镜504的反射侧。因而,在系统500的操作期间,驾驶员可以在注视镜518时查看来自显示器504的所展现的信息。应当理解的是,镜518可以由丙烯酸材料制造。
图6示出了系统600的另一个示例性方面,其中显示器配置成在车辆信息娱乐单元620的控制台屏幕619处展现感知信息613。如此实例中所示,同时展现前轮胎和相应的下层路面相交的两个位置613。然而,本领域技术人员将理解的是,一次可以展现一个位置613。另外,本领域技术人员另外将理解的是,信息娱乐单元620可能不一定具有如图6中所公开的配置。
参考图7最佳地描述用于增强车辆环境感知的示例性方法730。方法730可以由如上所讨论的系统100的任何实例来执行,或可以作为可由计算机执行来执行方法730的指令而编码至计算机可读介质中。另外,方法730的操作可以由嵌入在车辆中的系统100、通过网络与车辆通信的服务器或通过网络与车辆通信的服务器与嵌入在车辆中的系统100的组合来执行。
参考图7,给驾驶员(即,车辆操作者)提供了一种位于车辆的侧视镜组件处的摄像头,该摄像头配置成在操作M731中查看或捕捉或捕捉和查看前轮胎和其相应的下层路面相交的位置的图像。在操作M731期间,驾驶员被进一步提供配置成展现信息的显示器。在操作M731期间,驾驶员进一步被提供用户输入,其配置成允许向摄像头提供一个或多个命令。在操作732中,方法730包括指令摄像头的操作,其可以经由用户输入进行并且可以由驾驶员进行或可以由乘客进行。在操作733中,方法730包括查看或捕捉或查看和捕捉车辆环境的选定部分的图像,这可以经由摄像头进行。在操作734中,方法730包括从摄像头检索车辆环境的选定部分的信息,这可以通过控制器进行。在操作735中,方法730包括从车辆环境的选定部分的所检索的信息产生感知信息。在操作736中,方法730包括展现感知信息,这可以通过显示器进行。如上文所讨论,应当理解的是,显示器可以在车辆信息娱乐单元的侧视镜组件处或控制台屏幕处或在这两个位置的组合位置处展现感知信息。
应当理解的是,上述公开的实施例仅仅是实例,且其它实施例可采取各种和替代形式。图式不一定按比例绘制;某些特征可以被放大或最小化以示出特定部件的细节。因此,本文公开的具体结构和功能细节并不解释为限制,而仅仅解释为用于教导本领域技术人员以各种方式采用本发明的代表性基础。如本领域一般技术人员将理解的是,参考任何一个图式说明并描述的各个特征可结合一个或多个其它图式中说明的特征以产生未明确说明或描述的实施例。所说明的特征组合提供用于各个应用的代表性实施例。然而,特定应用或实施方案可期望与本发明的教导一致的特征的各个组合和修改。
本文公开的系统以及方法的特征可传递至处理装置、控制器或计算机/由处理装置、控制器或计算机实施,该处理装置、控制器或计算机可包括任何现有的可编程电子控制单元或专用电子控制单元。类似地,该程序特征和方法可存储为可由控制器或计算机执行的呈许多形式的数据和指令,该形式包括(但不限于)永久地存储在诸如ROM装置的不可写存储介质上的信息以及可变地存储在诸如软盘、磁带、CD、RAM装置以及其它磁性和光学介质的可写存储介质上的信息。该系统特征和方法还可在软件可执行对象中实施。替代地,该系统特征和方法可全部或部分使用合适的硬件部件(诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、状态机、控制器或其它硬件部件或装置)或硬件、软件和固件部件的组合来实施。这样的示例性装置作为车辆计算系统的部分可以是车载的或可以是远程非车载的,并且与一个或多个车辆上的装置进行远程通信。
虽然上文描述了示例性实施例,但是并不希望这些实施例描述由权利要求书涵盖的所有可能形式。用在说明书中的词汇是描述性词汇,而不是限制性的词汇,且应当理解的是,可以进行各种变化而并不脱离本发明的精神和范围。如先前所述,各个实施例的特征可组合成形成可以不明确描述或说明的本发明的进一步实施例。虽然各个实施例就一个或多个期望特性而言可能已经描述为提供优点或优于其它实施例或现有技术实施方案,但是本领域一般技术人员认识到,可牺牲一个或多个特征或特性以实现取决于具体应用和实施方案的所需整体系统属性。这些属性可包括(但不限于)成本、强度、耐用性、生命周期成本、市场适销性、外观、包装、大小、服务能力、重量、可制造性、便于组装等。因而,就一个或多个特性而言,描述为所需性不及其它实施例或现有技术实施方案的实施例不在本发明的范围之外并且对于特定应用可为所需的。

Claims (10)

1.一种用于增强车辆环境感知的系统,所述系统包括:
存储器,其包括一个或多个可执行指令;
控制器,其配置成读取和执行所述一个或多个可执行指令;
摄像头,其配置成查看或捕捉或查看和捕捉所述车辆环境的选定部分的图像;
显示器,其配置成展现信息;
用户输入,其配置成允许向所述系统提供一个或多个命令;以及
其中所述可执行指令使得所述控制器能够:
基于所述一个或多个命令来操作所述摄像头;
从所述摄像头检索所述车辆环境的所述选定部分的信息;
从所述车辆环境的所述选定部分的所述检索的信息产生感知信息;以及
通过所述显示器展现所述感知信息。
2.根据权利要求1所述的系统,其进一步包括:
传感器,其配置成确定所述车辆何时遇到路面特征并且向所述控制器发送对应的传感器信号;以及
其中所述可执行指令使得所述控制器能够检索所述传感器信号并且启动所述摄像头以查看或捕捉或查看和捕捉所述车辆环境的所述选定部分的图像。
3.根据权利要求2所述的系统,其进一步包括:
通信装置,其配置成以信号形式与远程方进行通信;以及
其中所述可执行指令使得所述控制器能够检索所述传感器信号,并且经由所述通信装置向所述远程方发送输出信号。
4.根据权利要求1所述的系统,其中:
所述摄像头定位在所述车辆的所述侧视镜组件处;以及
所述显示器配置成在所述侧视镜组件处展现所述感知信息。
5.根据权利要求1所述的系统,其中:
所述摄像头定位在所述车辆的所述侧视镜组件处;以及
所述显示器配置成在所述车辆信息娱乐单元的所述控制台屏幕处展现所述感知信息。
6.一种用于增强车辆环境感知的系统,所述系统包括:
存储器,其包括一个或多个可执行指令;
控制器,其配置成读取和执行所述一个或多个可执行指令;
多个摄像头,其配置成查看或捕捉或查看和捕捉所述车辆环境的选定部分的图像;
显示器,其配置成展现信息;
用户输入,其配置成允许向所述系统提供一个或多个命令;以及
其中所述可执行指令使得所述控制器能够:
基于所述一个或多个命令来操作所述多个摄像头;
从所述多个摄像头检索所述车辆环境的所述选定部分的信息;
从所述车辆环境的所述选定部分的所述检索的信息产生感知信息;以及
通过所述显示器展现来自至少一个所述摄像头的所述感知信息。
7.根据权利要求6所述的系统,其进一步包括:
传感器,其配置成确定所述车辆何时遇到路面特征并且向所述控制器发送对应的传感器信号;以及
其中所述可执行指令使得所述控制器能够检索所述传感器信号并且启动至少一个所述摄像头以查看或捕捉或查看和捕捉来自所述车辆环境的所述选定部分的至少一个图像。
8.根据权利要求7所述的系统,其进一步包括:
通信装置,其配置成以信号形式与远程方通信;以及
其中所述可执行指令使得所述控制器能够检索所述传感器信号,并且经由所述通信装置向所述远程方发送输出信号。
9.根据权利要求6所述的系统,其进一步包括:
附加显示器,其配置成展现附加信息;以及
其中所述多个摄像头定位在所述车辆的第一侧视镜组件和第二侧视镜组件处,且其中所述显示器配置成在所述第一侧视镜组件处展现所述感知信息,且所述附加显示器配置成在所述第二侧视镜组件处展现附加感知信息。
10.根据权利要求6所述的系统,其中:
所述多个摄像头定位在所述车辆的第一侧视镜组件和第二侧视镜组件处;以及
所述显示器配置成在所述车辆信息娱乐单元的所述控制台屏幕处展现所述感知信息。
CN201710512841.4A 2016-07-19 2017-06-29 用于增强车辆环境感知的系统和方法 Expired - Fee Related CN107627958B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/213440 2016-07-19
US15/213,440 US10086763B2 (en) 2016-07-19 2016-07-19 System and method for enhancing vehicle environment perception

Publications (2)

Publication Number Publication Date
CN107627958A true CN107627958A (zh) 2018-01-26
CN107627958B CN107627958B (zh) 2021-06-18

Family

ID=60890408

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710512841.4A Expired - Fee Related CN107627958B (zh) 2016-07-19 2017-06-29 用于增强车辆环境感知的系统和方法

Country Status (3)

Country Link
US (1) US10086763B2 (zh)
CN (1) CN107627958B (zh)
DE (1) DE102017116073A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782686A (zh) * 2018-07-30 2020-02-11 本田技研工业株式会社 控制装置以及计算机可读存储介质
CN112249029A (zh) * 2020-10-30 2021-01-22 高新兴科技集团股份有限公司 一种基于ar辅助车辆近距离调整姿态的方法及系统

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170349148A1 (en) * 2016-06-03 2017-12-07 GM Global Technology Operations LLC Method and apparatus for detecting road condition data and weather condition data using vehicular crowd-sensing
US11145142B2 (en) * 2016-09-06 2021-10-12 International Business Machines Corporation Detection of road surface defects
US11403865B2 (en) * 2017-07-25 2022-08-02 Nec Corporation Number-of-occupants detection system, number-of-occupants detection method, and program
JP2019073079A (ja) * 2017-10-12 2019-05-16 本田技研工業株式会社 車両構造
DE102018201852B4 (de) * 2018-02-07 2020-02-13 Audi Ag Bildschirmvorrichtung mit steuerbarem Zusatz-Leuchtelement
DE112019004817A5 (de) 2018-09-26 2021-06-10 Zf Friedrichshafen Ag Vorrichtung zum erfassen einer fahrzeugumgebung für ein fahrzeug
KR102529918B1 (ko) * 2018-10-16 2023-05-08 현대자동차주식회사 차량 물튐 현상 대응 장치, 그를 포함한 시스템 및 그 방법
JP7094929B2 (ja) * 2019-09-20 2022-07-04 本田技研工業株式会社 車両点検装置、及び車両点検システム
US11586216B2 (en) * 2020-03-27 2023-02-21 Intel Corporation Driving surface protrusion pattern detection for autonomous vehicles
US20220396148A1 (en) * 2021-06-15 2022-12-15 Toyota Motor Engineering & Manufacturing North America, Inc. Dual-sided display for a vehicle
DE102022001553A1 (de) 2022-05-04 2023-11-09 Bundesrepublik Deutschland, vertr. durch das Bundesministerium der Verteidigung, vertr. durch das Bundesamt für Ausrüstung, Informationstechnik und Nutzung der Bundeswehr Verfahren und Vorrichtung zur Kontrolle des sicheren Einsatzes von Flugkörpern an Hubschraubern

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5303205A (en) * 1990-02-26 1994-04-12 Trend Tec Inc. Vehicular distance measuring system with integral mirror display
US20020118282A1 (en) * 2001-02-20 2002-08-29 Yoshiyuki Nakamura On-vehicle video camera
JP2004328399A (ja) * 2003-04-24 2004-11-18 Denso Corp 車載カメラ装置
CN1918901A (zh) * 2004-02-16 2007-02-21 松下电器产业株式会社 驾驶辅助装置
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
CN101505398A (zh) * 2008-02-05 2009-08-12 广西鑫闽电子科贸有限公司 机车司机辅助监视系统及用于监视机车设备运行的方法
CN201442550U (zh) * 2009-04-03 2010-04-28 隋勇 车载鹰眼后视系统
US8125529B2 (en) * 2009-02-09 2012-02-28 Trimble Navigation Limited Camera aiming using an electronic positioning system for the target
CN101479130B (zh) * 2006-06-28 2012-05-30 约翰逊控制技术公司 车辆视觉系统
CN202608668U (zh) * 2012-06-07 2012-12-19 厦门健秀镜业有限公司 一种侧面无盲区外后视镜
EP2540571B1 (en) * 2010-02-24 2014-08-20 Sung-Ho Cho Left/right rearview device for a vehicle
CN204978463U (zh) * 2015-09-07 2016-01-20 国网天津市电力公司 一种具有减震效果的车载摄像头安装底座
US9296339B2 (en) * 2002-11-14 2016-03-29 Magna Electronics Inc. Camera module for vehicle
US20160193971A1 (en) * 2015-01-02 2016-07-07 Atieva, Inc. Location Based Activation of a Vehicle Camera System

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9384402B1 (en) * 2014-04-10 2016-07-05 Google Inc. Image and video compression for remote vehicle assistance
EP4030378A1 (en) * 2015-05-10 2022-07-20 Mobileye Vision Technologies Ltd. Road profile along a predicted path

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5303205A (en) * 1990-02-26 1994-04-12 Trend Tec Inc. Vehicular distance measuring system with integral mirror display
US20020118282A1 (en) * 2001-02-20 2002-08-29 Yoshiyuki Nakamura On-vehicle video camera
US9296339B2 (en) * 2002-11-14 2016-03-29 Magna Electronics Inc. Camera module for vehicle
JP2004328399A (ja) * 2003-04-24 2004-11-18 Denso Corp 車載カメラ装置
CN1918901A (zh) * 2004-02-16 2007-02-21 松下电器产业株式会社 驾驶辅助装置
CN101479130B (zh) * 2006-06-28 2012-05-30 约翰逊控制技术公司 车辆视觉系统
CN101505398A (zh) * 2008-02-05 2009-08-12 广西鑫闽电子科贸有限公司 机车司机辅助监视系统及用于监视机车设备运行的方法
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
US8125529B2 (en) * 2009-02-09 2012-02-28 Trimble Navigation Limited Camera aiming using an electronic positioning system for the target
CN201442550U (zh) * 2009-04-03 2010-04-28 隋勇 车载鹰眼后视系统
EP2540571B1 (en) * 2010-02-24 2014-08-20 Sung-Ho Cho Left/right rearview device for a vehicle
CN202608668U (zh) * 2012-06-07 2012-12-19 厦门健秀镜业有限公司 一种侧面无盲区外后视镜
US20160193971A1 (en) * 2015-01-02 2016-07-07 Atieva, Inc. Location Based Activation of a Vehicle Camera System
CN204978463U (zh) * 2015-09-07 2016-01-20 国网天津市电力公司 一种具有减震效果的车载摄像头安装底座

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110782686A (zh) * 2018-07-30 2020-02-11 本田技研工业株式会社 控制装置以及计算机可读存储介质
CN112249029A (zh) * 2020-10-30 2021-01-22 高新兴科技集团股份有限公司 一种基于ar辅助车辆近距离调整姿态的方法及系统
CN112249029B (zh) * 2020-10-30 2022-03-11 高新兴科技集团股份有限公司 一种基于ar辅助车辆近距离调整姿态的方法及系统

Also Published As

Publication number Publication date
US10086763B2 (en) 2018-10-02
US20180022278A1 (en) 2018-01-25
CN107627958B (zh) 2021-06-18
DE102017116073A1 (de) 2018-01-25

Similar Documents

Publication Publication Date Title
CN107627958A (zh) 用于增强车辆环境感知的系统和方法
US20210192941A1 (en) Feedback performance control and tracking
US10847032B2 (en) Apparatus for informing parking position and method thereof
US10410250B2 (en) Vehicle autonomy level selection based on user context
KR102637101B1 (ko) 자율 주행 차량 및 그의 동작 방법
US10982968B2 (en) Sensor fusion methods for augmented reality navigation
CN106394553A (zh) 驾驶员辅助设备及其控制方法
CN110070744A (zh) 使用航空无人机辅助操作道路车辆的方法和系统
CN106143282A (zh) 车辆用组合尾灯及包括其的车辆
CN107867296A (zh) 安装在车辆上的车辆控制装置和控制该车辆的方法
CN108146345A (zh) 车辆控制装置及包括该车辆控制装置的车辆
JP7237992B2 (ja) 困難な運転状態下でのランドマークによる強化されたナビゲーション指示
US10818110B2 (en) Methods and systems for providing a mixed autonomy vehicle trip summary
CN109910749A (zh) 设于车辆的车辆控制装置及车辆的控制方法
CN106205175A (zh) 用于车辆的显示设备和车辆
CN109664887A (zh) 自主行驶车辆及其控制方法
CN106240457A (zh) 车辆驾驶辅助装置及车辆
WO2018094384A1 (en) Optimal route selection for autonomous vehicles
CN108694837A (zh) 错误路径车辆检测
CN109572708A (zh) 车辆行驶控制装置及车辆行驶方法
CN115427251A (zh) 预测性再生制动
KR20160114486A (ko) 이동단말기 및 이동 단말기의 제어방법
CN109131276A (zh) 用于自主车辆中的制动系统的接触式传感器组件
CN114882464B (zh) 多任务模型训练方法、多任务处理方法、装置及车辆
CN116359943A (zh) 使用无源图像传感器和现有光源的飞行时间相机

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210618