CN115520198A - 图像处理方法、系统和车辆 - Google Patents
图像处理方法、系统和车辆 Download PDFInfo
- Publication number
- CN115520198A CN115520198A CN202210425832.2A CN202210425832A CN115520198A CN 115520198 A CN115520198 A CN 115520198A CN 202210425832 A CN202210425832 A CN 202210425832A CN 115520198 A CN115520198 A CN 115520198A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- control unit
- electronic control
- autonomous driving
- vehicle infotainment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title description 2
- 238000004891 communication Methods 0.000 claims abstract description 121
- 238000000034 method Methods 0.000 claims description 71
- 238000012545 processing Methods 0.000 claims description 41
- 238000003702 image correction Methods 0.000 claims description 8
- 238000003384 imaging method Methods 0.000 abstract description 21
- 238000001514 detection method Methods 0.000 description 43
- 238000003860 storage Methods 0.000 description 39
- 230000006870 function Effects 0.000 description 33
- 230000033001 locomotion Effects 0.000 description 29
- 230000015654 memory Effects 0.000 description 26
- 230000008569 process Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 13
- 230000005540 biological transmission Effects 0.000 description 10
- 230000009471 action Effects 0.000 description 9
- 238000005259 measurement Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 230000006399 behavior Effects 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 230000001133 acceleration Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 239000007789 gas Substances 0.000 description 4
- 238000013515 script Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 3
- 238000004146 energy storage Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003936 working memory Effects 0.000 description 3
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000001351 cycling effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002592 echocardiography Methods 0.000 description 2
- 239000000446 fuel Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 241001596784 Pegasus Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000002485 combustion reaction Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- WPYVAWXEWQSOGY-UHFFFAOYSA-N indium antimonide Chemical compound [Sb]#[In] WPYVAWXEWQSOGY-UHFFFAOYSA-N 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000009347 mechanical transmission Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000005404 monopole Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000010399 physical interaction Effects 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
- B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
- B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
- B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/268—Signal distribution or switching
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
- B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Physics & Mathematics (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Mathematical Physics (AREA)
- Traffic Control Systems (AREA)
Abstract
根据本披露内容的至少一个实施例的成像系统包括:多个相机,所述多个相机设置在车辆的车身的不同位置处,所述多个相机中的每个相机配置为从所述车辆周围的环境收集图像数据;自主驾驶(“AD”)电子控制单元(“ECU”),所述AD ECU包括AD处理器;车载信息娱乐(“IVI”)ECU,所述IVI ECU包括IVI处理器;以及从所述多个相机中的第一相机延伸到所述AD ECU的通信路径,其中,所述ADECU将通信路径分成与所述AD处理器互连的第一路径和离开所述AD ECU并且与所述IVI ECU互连的第二路径,并且其中,由所述第一相机收集的图像数据在被发送到IVI ECU之前沿着所述通信路径被发送到所述AD ECU。
Description
技术领域
本披露内容总体上涉及车辆系统、具体地涉及车辆成像和处理系统。
背景技术
近年来,运输方法显著地变化。这种变化部分是由于考虑到自然资源的有限可用性、个人技术激增、以及对采用更环保的运输解决方案的社会转变。这些考虑鼓励了许多新型灵活燃料车辆、混合动力电动车辆和电动车辆的发展。虽然这些车辆看起来是新的,但它们通常被实施为仅仅与替代性动力源相关联的许多传统子系统。实际上,车辆的设计和构造受限于标准框架大小、形状、材料和运输概念。除其他之外,这些限制无法利用新技术、动力源和支撑架构的优势。
发明内容
根据本发明的一个方面,提供了一种图像处理系统,包括:多个相机,所述多个相机设置在车辆的车身的不同位置处,所述多个相机中的每个相机配置为从所述车辆周围的环境收集图像数据;自主驾驶电子控制单元,所述自主驾驶电子控制单元包括自主驾驶处理器;车载信息娱乐电子控制单元,所述车载信息娱乐电子控制单元包括车载信息娱乐处理器;以及从所述多个相机中的第一相机延伸到所述自主驾驶电子控制单元的通信路径,其中,所述自主驾驶电子控制单元将通信路径分成与所述自主驾驶电子控制单元的所述自主驾驶处理器互连的第一路径和离开所述自主驾驶电子控制单元并且与所述车载信息娱乐电子控制单元互连的第二路径,并且由所述第一相机收集的图像数据在被发送到车载信息娱乐电子控制单元之前沿着所述通信路径被发送到所述自主驾驶电子控制单元。
附图说明
图1示出了根据本披露内容的实施例的车辆;
图2示出了根据本披露内容的至少一些实施例的车辆的平面图;
图3A是根据本披露内容的实施例的车辆的通信环境的实施例的框图;
图3B是根据本披露内容的实施例的车辆内的内部传感器的实施例的框图;
图3C是根据本披露内容的实施例的车辆的导航系统的实施例的框图;
图4示出了根据本披露内容的一个实施例的车辆的仪表板的实施例;
图5是车辆的通信子系统的实施例的框图;
图6是与本文呈现的实施例相关联的计算环境的框图;
图7是与本文描述的一个或多个部件相关联的计算设备的框图;
图8是根据本披露内容的实施例的成像处理系统的框图;以及
图9是根据本披露内容的实施例的用于在自主驾驶与车载信息娱乐控制器之间共享相机的方法的流程图。
具体实施方式
将结合车辆并且在一些实施例中结合电动车辆、可再充电电动车辆和/或混合动力电动车辆以及相关联的系统来描述本披露内容的实施例。
图1示出了根据本披露内容的实施例的车辆100的透视图。电动车辆100包括车辆前部110、车辆尾部或后部120、车顶130、至少一个车辆侧面160、车辆底盘140以及车辆内部150。在任何情况下,车辆100可以包括框架104以及安装或附连至其上的一个或多个车身面板108。车辆100可以包括一个或多个内部部件(例如,车辆100的内部空间150或用户空间内部的部件等)、外部部件(例如,车辆100的内部空间150或用户空间外部的部件等)、驱动系统、控制系统、结构部件等。
尽管以轿车的形式示出,但是应当理解,本文描述的车辆100可以包括任何运输工具或任何型号的运输工具,其中运输工具被设计用于移动一个或多个有形物体,诸如人、动物、货物等。术语“车辆”不要求运输工具移动或能够移动。典型的车辆可以包括但不限于轿车、卡车、摩托车、公共汽车、汽车、火车、铁路运输工具、船只、船舶、海上运输工具、海底运输工具、飞机、航天飞机、飞行器、人力运输工具等。
在一些实施例中,车辆100可以包括能够对驾驶操作、例如自主或半自主控制加以辅助的多个传感器、设备和/或系统。各种传感器与系统的示例可以包括但不以任何方式限于以下一个或多个:相机(例如,独立的、立体的、组合式图像等)、红外(IR)传感器、射频(RF)传感器、超声传感器(例如,换能器、收发器等)、雷达传感器(例如,物体检测传感器和/或系统)、激光雷达(光成像、检测和探距)系统、测距传感器和/或设备(例如,编码器等)、取向传感器(例如,加速度计、陀螺仪、磁力计等)、导航传感器与系统(例如,GPS等)、以及其他探距、成像和/或物体检测传感器。传感器可以设置在车辆100的内部空间150中和/或在车辆100的外部上。在一些实施例中,传感器和系统可以设置在车辆100的一个或多个部分中(例如,车架104、车身面板、隔室等)。
可以选择和/或配置车辆传感器和系统以适应与车辆100相关联的操作级别。除其他之外,可以改变系统中使用的传感器的数量以增加或减少可用于车辆控制系统的信息(例如,影响车辆100的控制能力)。另外或可替代地,传感器和系统可以是与车辆100相关联的一个或多个高级驾驶员辅助系统(ADAS)的一部分。在任何情况下,传感器和系统可以用于在任何操作级别(例如,从完全手动操作到完全自主操作等)提供驾驶辅助,如本文所描述。
可以将车辆的各种控制和/或操作级别描述为对应于与车辆100相关联的实现车辆驾驶操作的自主级别。例如,在级别0或完全手动驾驶操作下,驾驶员(例如,人类驾驶员)可以负责与车辆相关联的所有驾驶控制操作(例如,转向、加速、制动等)。级别0可以被称为“无自动化”级别。在级别1下,车辆可以负责与车辆相关联的有限数量的驾驶操作,而驾驶员仍然负责大多数驾驶控制操作。级别1车辆的示例可以包括可以由车辆控制油门控制和/或制动操作(例如,巡航控制操作等)的车辆。级别1可以被称为“驾驶员辅助”级别。在级别2下,车辆可以收集(例如,经由一个或多个驾驶辅助系统、传感器等)关于车辆的环境(例如,周围区域、道路、交通、环境条件等)的信息、并且使用所收集的信息来控制与车辆相关的驾驶操作(例如,转向、加速、制动等)。在级别2自主车辆中,可以要求驾驶员执行不受车辆控制的其他方面的驾驶操作。级别2可以被称为“部分自动化”级别。应当理解,级别0至2全部都涉及驾驶员监控车辆的驾驶操作。
在级别3下,除了当车辆请求操作者作用或干预控制一个或多个驾驶操作时,驾驶员可以脱离对车辆的所有驾驶操作的控制。换言之,除非要求驾驶员接管车辆,否则驾驶员可以脱离对车辆的控制。级别3可以被称为“条件自动化”级别。在级别4下,驾驶员可以脱离对车辆的所有驾驶操作的控制,并且即使当用户未能响应干预请求时,车辆也可以控制驾驶操作。级别4可以被称为“高自动化”级别。在级别5下,车辆可以在所有驾驶模式下控制与车辆相关联的所有驾驶操作。级别5的车辆可以在驾驶车辆时连续监测交通、车辆、道路和/或环境条件。在级别5下,在任何驾驶模式中都不需要人类驾驶员交互。相应地,级别5可以被称为“完全自动化”级别。应当理解,在级别3至5下,车辆和/或与车辆相关联的一个或多个自动化驾驶系统监控车辆的驾驶操作和驾驶环境。
如图1所示,车辆100可以例如包括以下至少一个:测距和成像系统112(例如,激光雷达等)、成像传感器116A、116F、116L至116P(例如,相机、IR等)、无线电物体检测和测距系统传感器116B(例如,雷达、RF等)、超声传感器116C和/或其他物体检测传感器116D、116E。在一些实施例中,激光雷达系统112和/或传感器可以安装在车辆100的车顶130上。在一个实施例中,雷达传感器116B可以至少设置在车辆100的前部110、尾部120或侧面160处。除其他之外,雷达传感器可以用于监控和/或检测在车辆100附近或接近车辆的其他车辆、行人和/或其他物体的位置。虽然被示为与车辆100的一个或多个区域相关联,但应当理解,图1和图2中示出的任何传感器和系统116A至116P、112可以在车辆100的任何位置、区域和/或区中设置在车辆100中、上和/或周围。
现在参考图2,将描述根据本披露内容的实施例的车辆100的平面图。特别地,图2示出了至少部分地由设置在车辆100中、上和/或周围的传感器和系统116A至116P、112限定的车辆感测环境200。每个传感器116A至116P可以包括操作检测范围R和操作检测角度。操作检测范围R可以限定传感器116A至116P的有效检测极限或距离。在一些情况下,这个有效检测极限可以被限定为从传感器116A至116P的一部分(例如,透镜、感测表面等)到偏离传感器116A至116P的空间中的点的距离。有效检测极限可以限定某一距离,超过该距离,传感器116A至116P的感测能力就恶化、不能工作或不可靠。在一些实施例中,有效检测极限可以限定某一距离,在该距离内,传感器116A至116P的感测能力能够提供准确和/或可靠的检测信息。操作检测角度可以限定传感器116A至116P的跨度或水平极限和/或垂直极限之间的至少一个角度。如可以理解,传感器116A至116P的操作检测极限和操作检测角度一起可以限定传感器116A至116P的有效检测区216A至216D(例如,有效检测区域和/或体积等)。
在一些实施例中,车辆100可以包括测距和成像系统112,诸如激光雷达等。测距和成像系统112可以配置为检测车辆100周围的环境中的视觉信息。可以处理在测距和成像系统112周围的环境中检测到的视觉信息(例如,经由一个或多个传感器和/或系统处理器等),以生成车辆周围的环境200的完整360度视图。测距和成像系统112可以配置为例如在车辆100驾驶时实时地生成环境200的变化360度视图。在一些情况下,测距和成像系统112可以具有有效检测极限204,所述有效检测极限是从车辆100的中心向外在360度上的某一距离。测距和成像系统112的有效检测极限204限定车辆100周围的观察区208(例如,区域和/或体积等)。落在观察区208之外的任何物体处于未检测到的区212中并且将不会被车辆100的测距和成像系统112检测到。
传感器数据和信息可以由监控车辆感测环境200的车辆100的一个或多个传感器或系统116A至116P、112收集。可以处理这个信息(例如,经由处理器、计算机视觉系统等)以确定与车辆感测环境200相关联的一个或多个检测区208、216A至216D内的目标(例如,物体、标志、人、标记、道路、路况等)。在一些情况下,可以处理来自多个传感器116A至116P的信息以形成复合传感器检测信息。例如,第一传感器116A和第二传感器116F可以对应于瞄准车辆100的向前行进方向的第一相机116A和第二相机116F。在这个示例中,可以组合由相机116A、116F收集的图像以形成立体图像信息。这个复合信息可以通过例如增加确定与一个或多个检测区208、216A至216D中的目标相关联的深度的能力来提高一个或多个传感器116A至116P中的单个传感器的能力。类似的图像数据可以由瞄准向后行进方向车辆100的后视相机(例如,传感器116G、116H)收集。
在一些实施例中,可以有效地接合多个传感器116A至116P以增大感测区并提供增大的感测覆盖范围。例如,可以接合设置在车辆的前部110上的多个雷达传感器116B,以提供跨越车辆的整个前部110的覆盖区216B。在一些情况下,多个雷达传感器116B可以覆盖包括一个或多个其他传感器检测区216A的检测区216B。这些重叠的检测区可以提供冗余感测、增强感测,和/或提供在较大区(例如,区216B)的特定部分(例如,区216A)内的更多感测细节。另外或可替代地,车辆100的传感器116A至116P可以布置为经由车辆100周围的一个或多个感测区208、216A至216D而产生完全覆盖。在一些区域中,两个或更多个传感器116D、116E的感测区216C可以在重叠区220处相交。在一些区域中,(例如,两个或更多个传感器116E、116J、116K等的)两个或更多个感测区216C、216D的角度和/或检测极限可以在虚拟交叉点224处会合。
在一个实施例中,车辆100可以包括一个或多个相机116L至116P,每个相机配置为从车辆100周围的环境(例如,内部空间150的外部)收集图像数据。相机116L至116P中的一个或多个可以从有效检测极限204内(例如,在观察区208中)的环境收集图像数据。车辆100可以包括前部相机传感器116L、后部相机传感器116P、第一侧面相机传感器116N、第二侧面相机传感器116O和/或中央相机传感器116M。在一些实施例中,中央相机传感器116M可以设置在车辆100的内部空间150中。中央相机传感器116M可以配置为从内部空间150外部的环境收集图像数据,而不从车辆100的内部空间150收集图像数据。相机116L至116P中的一个或多个可以配置为收集上述任何检测区216A至216D中的图像数据。
车辆100可以包括设置在车辆100的后部120附近的多个传感器116E、116G、116H、116J、116K、116P。这些传感器可以包括但不限于,成像传感器、相机、IR、无线电物体检测和测距传感器、雷达、RF、超声传感器和/或其他物体检测传感器。除其他之外,这些传感器116E、116G、116H、116J、116K、116P可以检测靠近或接近车辆100的后部的目标。例如,可以由测距和成像系统(例如,激光雷达)112、后视相机116G、116H、116P和/或面向后部的雷达传感器116J、116K中的一个或多个检测接近车辆100的后部120的另一车辆。如上所述,可以处理来自后视相机116G、116H、116P的图像以生成对相机116G、116H、116P中的两个或更多个可见的目标的立体视图(例如,提供与物体或环境相关联的深度等)。作为另一示例,车辆100可能正在驾驶,并且测距和成像系统112、面向前部的相机116A、116F、116L、面向前部的雷达传感器116B和/或超声传感器116C中的一个或多个可以检测车辆100前方的目标。这种方法可以在上述自主驾驶级别中的至少一个自主驾驶级别中向车辆控制系统提供关键传感器信息。例如,当车辆100自主地驾驶(例如,级别3、级别4或级别5)并且检测到在行进路径中停止的其他车辆时,可以将传感器检测信息发送到车辆100的车辆控制系统以控制与车辆100相关联的驾驶操作(例如,制动、减速等)(在这个示例中,使车辆100减慢以避免与停止的其他车辆碰撞)。作为又一示例,车辆100可以操作,并且测距和成像系统112和/或面向侧面的传感器116D、116E、116N、116O(例如,雷达、超声、相机、其组合和/或其他类型的传感器)中的一个或多个可以检测位于车辆100的侧面的目标。应当理解,传感器116A至116P中的任一个可以检测既在车辆100的侧面160又在前部110处的目标(例如,与从车辆100的前部110行进到车辆的后部120的车辆100的中心线成对角角度设置)。另外或可替代地,传感器116A至116P中的任一个可以检测既在车辆100的侧面160又在后部120处或同时在这两个位置处的目标(例如,与车辆100的中心线成对角角度设置)。
图3A至图3C是根据本披露内容的实施例的车辆100的通信环境300的实施例的框图。通信系统300可以包括一个或多个车辆驾驶车辆传感器与系统304、传感器处理器340、传感器数据存储器344、车辆控制系统348、通信子系统350、控制数据364、计算设备368、显示设备372、以及可以与车辆100相关联的其他部件374。这些相关联的部件可以经由至少一个总线360彼此电耦合和/或通信耦合。在一些实施例中,一个或多个相关联的部件可以通过通信网络352向导航源356A、控制源356B或某个其他实体356N中的至少一个发送和/或接收信号。
根据本披露内容的至少一些实施例,通信网络352可以包括任何类型的已知通信介质或通信介质集合,并且可以使用任何类型的协议,诸如SIP、TCP/IP、SNA、IPX、AppleTalk等,以在端点之间传输消息。通信网络352可以包括有线和/或无线通信技术。互联网是通信网络352的示例,该通信网络构成了互联网协议(IP)网络,该互联网协议网络由位于世界各地的许多计算机、计算网络和其他通信设备构成,它们通过许多电话系统和其他方式连接。通信网络352的其他示例包括但不限于标准的普通老式电话系统(POTS)、综合业务数字网(ISDN)、公共交换电话网(PSTN)、比如以太网、令牌环网络和/或类似等局域网(LAN)、广域网(WAN)、包括但不限于虚拟专用网络(“VPN”)的虚拟网络;互联网、内联网、外联网、蜂窝网络、红外网络;无线网络(例如,在IEEE 802.9协议集、本领域已知的协议和/或任何其他无线协议中的任何一种下运行的网络),以及本领域已知的任何其他类型的分组交换或电路交换网络和/或这些和/或其他网络的任意组合。另外,可以理解,通信网络352不必限于任何一种网络类型,而是可以包括许多不同的网络和/或网络类型。通信网络352可以包括多个不同的通信介质,诸如同轴电缆、铜电缆/电线、光纤电缆、用于发射/接收无线消息的天线、以及其组合。
驾驶车辆传感器和系统304可以包括至少一个导航传感器或系统308(例如,全球定位系统(GPS)等)、取向传感器或系统312、测距传感器或系统316、激光雷达传感器或系统320、雷达传感器或系统324、超声传感器或系统328、相机传感器或系统332、红外(IR)传感器或系统336、和/或其他传感器或系统338。这些驾驶车辆传感器和系统304可以与结合图1和图2描述的传感器和系统116A至116P、112类似(如果不相同的话)。
导航传感器308可以包括具有接收器和天线的一个或多个传感器,所述传感器配置为利用基于卫星的导航系统,所述导航系统包括能够向车辆100的至少一个部件提供地理定位和时间信息的导航卫星网络。本文描述的导航传感器308的示例可以包括但不限于以下至少一个:GLOTM系列GPS与GLONASS组合传感器、GPS 15xTM系列传感器、GPS 16xTM系列的具有高灵敏度接收器和天线的传感器、GPS 18xOEM系列高灵敏度GPS传感器、Dewetron DEWE-VGPS系列GPS传感器、GlobalSat 1-Hz系列GPS传感器、其他工业等效导航传感器和/或系统,并且可以使用任何已知或未来开发的标准和/或架构来执行导航和/或地理定位功能。
取向传感器312可以包括配置为确定车辆100相对于至少一个参考点的取向的一个或多个传感器。在一些实施例中,取向传感器312可以包括至少一个压力换能器、应力/应变仪、加速度计、陀螺仪和/或地磁传感器。本文描述的导航传感器308的示例可以包括但不限于以下至少一个:Bosch Sensortec BMX 160系列低功率绝对定向传感器、BoschSensortec BMX055 9轴传感器、Bosch Sensortec BMI055 6轴惯性传感器、BoschSensortec BMI160 6轴惯性传感器、具有集成Cortex M0+微控制器的Bosch SensortecBMF055 9轴惯性传感器(加速度计、陀螺仪和磁力计)、Bosch Sensortec BMP280绝对气压传感器、Infineon TLV493D-A1B6 3D磁传感器、Infineon TLI493D-W1B6 3D磁传感器、Infineon TL系列3D磁传感器、Murata Electronics SCC2000系列组合式陀螺仪传感器与加速度计、Murata Electronics SCC1300系列组合式陀螺仪传感器与加速度计、其他工业等效取向传感器和/或系统,这些传感器和/或系统可以使用任何已知或未来开发的标准和/或架构来执行取向检测和/或确定功能。
测距传感器和/或系统316可以包括配置为确定车辆100的位置随时间的变化的一个或多个部件。在一些实施例中,测距系统316可以利用来自一个或多个其他传感器和/或系统304的数据来确定车辆100相对于车辆100的先前测得位置的位置(例如,距离、定位等)。另外或可替代地,测距传感器316可以包括一个或多个编码器、霍尔速度传感器、和/或配置为随时间测量车轮速度、旋转和/或转数的其他测量传感器/设备。如本文所描述的测距传感器/系统316的示例可以包括但不限于以下至少一个:Infineon TLE4924/26/27/28C高性能速度传感器、Infineon TL4941plusC(B)单芯片差动霍尔轮速传感器、InfineonTL5041plusC巨磁电阻(GMR)效应传感器、Infineon TL系列磁传感器、EPC 25SP型Accu-CoderProTM增量式轴编码器、采用先进的磁感测和信号处理技术的EPC 30M紧凑型增量式编码器、EPC 925型绝对轴编码器、EPC型958绝对轴编码器、EPC型MA36S/MA63S/SA36S绝对轴编码器、DynaparTM F18换向光学编码器、DynaparTM HS35R系列相控阵列编码器传感器、其他工业等效测距传感器和/或系统,并且可以使用任何已知的或未来开发的标准和/或架构来执行位置变化检测和/或确定功能的改变。
激光雷达传感器/系统320可以包括配置为使用激光照射来测量与目标的距离的一个或多个部件。在一些实施例中,激光雷达传感器/系统320可以提供车辆100周围的环境的3D成像数据。可以处理所述成像数据以生成车辆100周围的环境的完全360度视图。激光雷达传感器/系统320可以包括配置为产生多个目标照射激光束(例如,激光通道)的激光发生器。在一些实施例中,该多个激光束可以瞄准或指向旋转反射表面(例如,反射镜)并且从激光雷达传感器/系统320向外引导至测量环境中。旋转反射表面可以配置为围绕轴线连续旋转360度,使得多个激光束被引导到车辆100周围的完全360度范围内。激光雷达传感器/系统320的光电二极管接收器可以检测来自多个激光束的发射到测量环境中的光何时返回(例如,反射回波)到激光雷达传感器/系统320。激光雷达传感器/系统320可以基于与光发射到所检测到的光返回相关联的时间来计算从车辆100到被照射目标的距离。在一些实施例中,激光雷达传感器/系统320可以每秒产生超过200万个点并且具有至少100米的有效操作范围。本文描述的激光雷达传感器/系统320的示例可以包括但不限于以下至少一个:LiDARTM HDL-64E 64通道激光雷达传感器、LiDARTM HDL-32E 32通道激光雷达传感器、LiDARTM PUCKTM VLP-16 16通道激光雷达传感器、LeicaGeosystems Pegasus:Two移动传感器平台、LIDAR-Lite v3测量传感器、Quanergy M8激光雷达传感器、Quanergy S3固态激光雷达传感器、LeddarVU紧凑型固态固定波束激光雷达传感器、其他工业等效的激光雷达传感器和/或系统,并且可以使用任何已知的或未来开发的标准和/或架构来执行在车辆100周围的环境中的被照射目标和/或障碍物检测。
雷达传感器324可以包括配置为检测车辆100的环境中的物体/目标的一个或多个无线电部件。在一些实施例中,雷达传感器324可以随时间确定与目标相关联的距离、位置和/或运动向量(例如,角度、速度等)。雷达传感器324可以包括配置为产生和发射电磁波(例如,无线电、微波等)的发射器、以及配置为检测返回的电磁波的接收器。在一些实施例中,雷达传感器324可以包括配置为解释返回的电磁波并确定目标的位置特性的至少一个处理器。如本文所述的雷达传感器324的示例可以包括但不限于以下至少一个:InfineonRASICTM RTN7735PL发射器与RRN7745PL/46PL接收器传感器、Autoliv ASP车辆雷达传感器、Delphi L2C0051TR 77GHz ESR电子扫描雷达传感器、Fujitsu Ten Ltd.公司汽车紧凑型77GHz 3D电子扫描毫米波雷达传感器、其他工业等效雷达传感器和/或系统,并且可以使用任何已知或未来开发的标准和/或架构在车辆100周围的环境中执行无线电目标/或障碍物检测。
超声传感器328可以包括配置为检测车辆100的环境中的物体/目标的一个或多个部件。在一些实施例中,超声传感器328可以随时间确定与目标相关联的距离、位置和/或运动向量(例如,角度、速度等)。超声传感器328可以包括配置为产生和发射超声波并解释那些波的返回回波的超声发射器与接收器、或收发器。在一些实施例中,超声传感器328可以包括配置为解释返回的超声波并确定目标的位置特性的至少一个处理器。本文描述的超声传感器328的示例可以包括但不限于以下至少一个:Texas Instruments TIDA-00151汽车超声传感器接口IC传感器、MB8450超声波接近度传感器、ParkSonarTM-EZ超声波接近度传感器、Murata Electronics MA40H1S-R开放式结构超声传感器、Murata Electronics MA40S4R/S开放式结构超声传感器、Murata ElectronicsMA58MF14-7N防水超声传感器、其他工业等效的超声传感器和/或系统,并且可以使用任何已知的或未来开发的标准和/或架构来在车辆100周围的环境中执行目标物和/或障碍物超声波检测。
相机传感器332可以包括配置为检测与车辆100的环境相关联的图像信息的一个或多个部件。在一些实施例中,相机传感器332可以包括透镜、滤波器、图像传感器和/或数字图像处理器。本披露内容的一方面在于,可以一起使用多个相机传感器332来产生立体图像,从而提供深度测量。如本文所述的相机传感器332的示例可以包括但不限于以下至少一个:ONAR0820AT CMOS数字图像传感器、ON MT9V024全局快门VGA GS CMOS图像传感器、Teledyne DALSA Falcon2相机传感器、CMOSIS CMV50000高速CMOS图像传感器、其他工业等效相机传感器和/或系统,并且可以使用任何已知或未来开发的标准和/或架构在车辆100周围的环境中执行视觉目标和/或障碍物检测。
红外(IR)传感器336可以包括配置为检测与车辆100的环境相关联的图像信息的一个或多个部件。IR传感器336可以配置为在少光、黑暗或不良光照环境中检测目标。IR传感器336可以包括IR发光元件(例如,IR发光二极管(LED)等)和IR光电二极管。在一些实施例中,IR光电二极管可以配置为检测与IR发光元件发射的波长相同或大约相同波长的返回IR光。在一些实施例中,IR传感器336可以包括配置为解释返回的IR光并确定目标的位置特性的至少一个处理器。IR传感器336可以配置为检测和/或测量与目标(例如,物体、行人、其他车辆等)相关联的温度。如本文所述的IR传感器336的示例可以包括但不限于以下至少一个:光电二极管铅盐IR阵列传感器、光电二极管OD-850近红外LED传感器、光电二极管SA/SHA727稳态IR发射器与IR检测器、LS微测辐射热计传感器、TacFLIR 380-HDInSb MWIR FPA与HD MWIR热传感器、VOx 640x480像素检测器传感器、Delphi IR传感器、其他工业等效IR传感器和/或系统,并且使用任何已知或未来开发的标准和/或架构在车辆100周围的环境中执行IR视觉目标和/或障碍物检测。
车辆100还可以包括一个或多个内部传感器337。内部传感器337可以测量车辆100的内部环境的特性。这些内部传感器337可以是如结合图3B描述的。
导航系统302可以包括用于手动或自主地导航车辆的任何硬件和/或软件。导航系统302可以是如结合图3C描述的。
在一些实施例中,驾驶车辆传感器和系统304可以包括其他传感器338和/或上述传感器306至337的组合。另外或可替代地,上述传感器306至337中的一个或多个传感器可以包括配置为处理和/或解释由一个或多个传感器306至337检测到的信号的一个或多个处理器。在一些实施例中,由车辆传感器和系统304提供的至少一些传感器信息的处理可以由至少一个传感器处理器340来处理。原始的和/或经处理的传感器数据可以存储在传感器数据存储器344存储介质中。在一些实施例中,传感器数据存储器344可以存储由传感器处理器340用来处理由传感器和系统304提供的传感器信息的指令。在任何情况下,传感器数据存储器344可以是磁盘驱动器、光学存储设备、诸如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)等固态存储设备,它们可以是可编程的、可闪存更新的等。
车辆控制系统348可以从传感器处理器340接收经处理的传感器信息,并且确定要控制车辆100的某个方面。控制车辆100的某个方面可以包括经由与车辆相关联的一个或多个显示设备372来呈现信息、向与车辆相关联的一个或多个计算设备368发送命令、和/或控制车辆的驾驶操作。在一些实施例中,车辆控制系统348可以对应于根据上述驾驶自主性级别来控制车辆100的驾驶操作的一个或多个计算系统。在一个实施例中,车辆控制系统348可以通过控制给车辆的加速度计和/或制动系统的输出信号来操作车辆100的速度。在这个示例中,车辆控制系统348可以接收描述车辆100周围的环境的传感器数据,并且基于所接收的传感器数据来确定要调整车辆100的加速度、动力输出和/或制动。车辆控制系统348可以另外控制车辆100的转向和/或其他驾驶功能。
车辆控制系统348可以与驾驶传感器和系统304实时地通信,从而形成反馈环路。特别地,在接收到描述车辆100周围环境中的目标状况的传感器信息时,车辆控制系统348可以自主地改变车辆100的驾驶操作。然后,车辆控制系统348可以接收描述由于改变了驾驶操作而对在环境中检测到的目标状况的任何改变的后续传感器信息。这种观察(例如,经由传感器等)和动作(例如,车辆操作的所选控制或非控制等)的连续循环允许车辆100在环境中自主地操作。
在一些实施例中,车辆100的一个或多个部件(例如,驾驶车辆传感器304、车辆控制系统348、显示设备372等)可以经由车辆100的通信子系统350通过通信网络352与一个或多个实体356A至356N通信。结合图5更详细地描述通信子系统350的实施例。例如,导航传感器308可以接收来自导航源356A的全球定位、位置和/或导航信息。在一些实施例中,仅举几个示例,导航源356A可以是与NAVSTAR GPS、GLONASS、EU Galileo和/或北斗导航卫星系统(BDS)类似(如果不相同的话)的全球导航卫星系统(GNSS)。
在一些实施例中,车辆控制系统348可以接收来自一个或多个控制源356B的控制信息。控制源356可以提供车辆控制信息,包括自主驾驶控制命令、车辆操作超驰控制命令等。控制源356可以对应于自主车辆控制系统、交通控制系统、行政控制实体、和/或一些其他控制服务器。本披露内容的一方面在于,车辆控制系统348和/或车辆100的其他部件可以通过通信网络352并且经由通信子系统350与控制源356交换讯息。
与控制车辆100的驾驶操作相关联的信息可以存储在控制数据存储器364存储介质中。控制数据存储器364可以存储由车辆控制系统348用来控制车辆100的驾驶操作的指令、历史控制信息、自主驾驶控制规则等。在一些实施例中,控制数据存储器364可以是磁盘驱动器、光学存储设备、诸如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)等固态存储设备,它们可以是可编程的、可闪存更新的等。
除了本文描述的机械部件之外,车辆100还可以包括多个用户界面设备。用户界面设备接收人为输入并将其转换为机械运动或电信号或刺激。人为输入可以是以下一个或多个:运动(例如,在二维或三维空间中的身体运动、身体部位运动等)、语音、触摸、和/或与车辆100的部件的物理交互。在一些实施例中,人为输入可以配置为控制本文描述的车辆100和/或车辆100的系统的一个或多个功能。用户界面可以包括但不限于以下各项的至少一个图形用户界面:显示设备、方向盘或转向机构、变速杆或按钮(例如,包括停车位置、空挡位置、倒车位置和/或驱动位置等)、油门控制踏板或机构、制动器控制踏板或机构、动力控制开关、通信设备等。
图3B示出了车辆100的内部传感器337的实施例的框图。这些内部传感器337可以至少部分地基于内部传感器337的功能被布置成一个或多个组。例如,车辆100的内部空间可以包括环境传感器、(一个或多个)用户界面传感器、和/或安全传感器。另外或可替代地,可以存在与车辆内的不同设备(例如,智能电话、平板计算机、笔记本计算机、可穿戴设备等)相关联的传感器。
环境传感器可以包括配置为收集与车辆100的内部环境有关的数据的传感器。环境传感器的示例可以包括但不限于以下一个或多个:氧气/空气传感器301、温度传感器303、湿度传感器305、光/光电传感器307以及更多。氧气/空气传感器301可以配置为检测车辆100的内部空间108中的空气的品质或特性(例如,包括车辆100内的空气的气体的比率和/或类型,危险气体水平、安全气体水平等)。温度传感器303可以配置为检测车辆100的一个或多个物体、用户216、和/或区域的温度读数。湿度传感器305可以检测车辆100内的空气中存在的水蒸气的量。光/光电传感器307可以检测车辆100中存在的光的量。此外,光/光电传感器307可以配置为检测与车辆100内的光相关联的不同水平的光强度。
用户界面传感器可以包括配置为收集与车辆100中的一个或多个用户(例如,驾驶员和/或乘客(一个或多个))有关的数据的传感器。如可以理解,用户界面传感器可以包括配置为收集来自车辆100的一个或多个区域中的用户216的数据的传感器。用户界面传感器的示例可以包括但不限于以下一个或多个:红外传感器309、运动传感器311、重量传感器313、无线网络传感器315、生物特征传感器317、相机(或图像)传感器319、音频传感器321以及更多。
红外传感器309可以用于测量从车辆100中的至少一个表面、用户或其他物体辐射的IR光。除其他之外,红外传感器309可以用于测量温度、形成图像(尤其是在低光条件下)、识别用户216、并且甚至检测车辆100中的运动。
运动传感器311可以检测车辆100内的物体的运动和/或移动。可选地,运动传感器311可以单独或组合地使用以检测移动。例如,当车辆100后部的乘客解开安全带并开始在车辆10上四处移动时,用户可能在操作车辆100(例如,在驾驶时等)。在该示例中,可以通过运动传感器311检测乘客的移动。响应于检测到该移动和/或与该移动相关联的方向,可以防止乘客碰触和/或触及至少一些车辆控制特征。如可以理解,可以向用户警示这种移动/运动,使得用户可以采取行动以防止乘客干扰车辆控制。可选地,可以增加车辆中的运动传感器的数量以提高与在车辆100中检测到的运动相关联的准确度。
重量传感器313可以用于收集与车辆100的不同区域中的物体和/或用户有关的数据。在一些情况下,重量传感器313可以被包括在车辆100的座椅和/或底板中。可选地,车辆100可以包括无线网络传感器315。该传感器315可以配置为检测车辆100内的(一个或多个)无线网络。无线网络的示例可以包括但不限于利用Wi-FiTM、ZigBee、IEEE802.11、以及其他无线技术标准的无线通信。例如,可以经由无线网络传感器315在车辆100内检测移动热点。在这种情况下,车辆100可以确定来利用和/或/经由与车辆100相关联的一个或多个其他设备来共享检测到的移动热点。
生物特征传感器317可以用于识别和/或记录与用户相关联的特征。据预期生物特征传感器317可以包括以下至少一个:图像传感器、IR传感器、指纹读取器、重量传感器、测压元件、力换能器、心率监测器、血压监测器、以及本文提供的类似物。
相机传感器319可以记录静止图像、视频和/或其组合。相机传感器319可以单独或组合地使用以识别车辆100内的物体、用户、和/或其他特征。除其他之外,可以将两个或更多个相机传感器319组合使用以形成立体和/或三维(3D)图像。可以记录和/或使用立体图像来确定与车辆100中的物体和/或用户相关联的深度。此外,组合使用的相机传感器319可以确定与识别用户的特征相关联的复杂几何形状。例如,相机传感器319可以用于确定用户脸部的各个特征之间的尺寸(例如,从用户的鼻子到用户的脸颊的深度/距离,用户眼睛的中心之间的线性距离、以及更多)。这些尺寸可以用于验证、记录、并且甚至修改用于识别用户的特征。相机传感器319还可以用于确定与车辆100内的物体和/或用户相关联的移动。应当理解,可以增加在车辆100中使用的图像传感器的数量,以提供在车辆100中检测到的图像的更大的尺寸准确度和/或视图。
音频传感器321可以配置为接收来自车辆100的用户的音频输入。来自用户的音频输入可以对应于语音命令、在车辆100中检测到的对话、在车辆100中进行的电话呼叫、和/或在车辆100中进行的其他声音表达。音频传感器321可以包括但不限于:麦克风和其他类型的声-电换能器或传感器。可选地,内部音频传感器321可以配置为接收声波并将其转换为等效的模拟或数字信号。内部音频传感器321可以用于确定与车辆100中的各种声音相关联的一个或多个位置。可以基于由两个或更多个内部音频传感器321检测到的声音之间对音量水平、强度等的比较来确定声音的位置。例如,第一音频传感器321可以位于车辆100的第一区域中,并且第二音频传感器321可以位于车辆100的第二区域中。如果第一音频传感器321A检测到第一音量水平的声音,并且第二音频传感器321在车辆100的第二区域中检测到第二更高音量水平的声音,则可以确定该声音更靠近车辆100的第二区域。如可以理解,可以增加车辆100中使用的声音接收器的数量(例如,多于两个等),以增加围绕声音检测和声音的位置或来源的测量准确度(例如,经由三角测量等)。
安全传感器可以包括配置为收集与车辆100的用户和/或一个或多个部件的安全性有关的数据的传感器。安全传感器的示例可以包括但不限于以下一个或多个:力传感器325、机械运动传感器327、取向传感器329、约束传感器331以及更多。
力传感器325可以包括在车辆100内的配置为检测在车辆100中观察到的力的一个或多个传感器。力传感器325的一个示例可以包括将测得的力(例如,力、重量、压力等)转换成输出信号的力换能器。机械运动传感器327可以对应于编码器、加速度计、阻尼质量以及类似物。可选地,机械运动传感器327可以适于测量在车辆100内观察到的重力(即,G力)。测量在车辆100内观察到的G力可以提供与车辆100中的一个或多个用户可能已经遭受的车辆的加速度、减速度、碰撞和/或力有关的有价值信息。取向传感器329可以包括配置为检测与车辆100相关联的取向的加速度计、陀螺仪、磁传感器等。
约束传感器331可以对应于与车辆100中的一个或多个约束设备和/或系统相关联的传感器。安全带和安全气囊是约束设备和/或系统的示例。如可以理解,约束设备和/或系统可以与配置为检测该设备/系统的状态的一个或多个传感器相关联。该状态可以包括与设备/系统相关联的伸出、接合、缩回、脱离接合、展开、和/或其他电气或机械状况。
相关联的设备的传感器323可以包括与车辆100中的设备相关联的任何传感器。如前所述,典型的设备可以包括智能电话、平板计算机、笔记本计算机等。预期车辆控制系统348可以采用与这些设备相关联的各个传感器。例如,典型的智能手机可以包括图像传感器、IR传感器、音频传感器、陀螺仪、加速度计、无线网络传感器、指纹读取器以及更多。本披露内容的一方面在于,这些相关联的设备的传感器323中的一个或多个可以被车辆100的一个或多个子系统使用。
图3C示出了(一个或多个)GPS/导航子系统302。(一个或多个)导航子系统302可以是任何现有的或未来构建的导航系统,该系统可以使用例如来自全球定位系统(GPS)的位置数据来提供导航信息或控制车辆100。(一个或多个)导航子系统302可以包括若干部件,诸如但不限于以下一个或多个:GPS天线/接收器331、位置模块333、地图数据库335等。通常,这若干部件或模块331至335可以是硬件、软件、固件、计算机可读介质、或其组合。
GPS天线/接收器331可以是能够从GPS卫星或其他导航系统接收信号的任何天线、GPS圆盘、和/或接收器。这些信号可以被GPS天线/接收器331解调、转换、解释等、并被提供给位置模块333。因此,GPS天线/接收器331可以将来自GPS系统的时间信号转换并将位置(例如,地图上的坐标)提供给位置模块333。可替代地,位置模块333可以将时间信号解释为坐标或其他位置信息。
位置模块333可以是被设计用于车辆100中的卫星导航系统的控制器。位置模块333可以从GPS天线/接收器331获取方位数据,以在单元的地图数据库335中定位道路上的使用者或车辆100。位置模块333可以使用道路数据库335对沿着也在数据库335中的道路上的其他位置给出方向。当GPS信号不可用时,位置模块333可以应用航位推算来评估来自以下传感器304的距离数据:这些传感器包括但不限于以下一个或多个:附接至车辆100的传动系的速度传感器、陀螺仪、加速度计等。另外或可替代地,位置模块333可以使用Wi-Fi热点的已知位置、蜂窝塔数据等比如通过使用到达时间差(TDOA)和/或到达频率差(FDOA)技术来确定车辆100的位置。
地图数据库335可以包括用于存储关于地图的信息、地理信息系统(GIS)信息、位置信息等的任何硬件和/或软件。地图数据库335可以包括用于存储该信息的任何数据定义或其他结构。通常,地图数据库335可以包括道路数据库,该道路数据库可以包括感兴趣区域的一个或多个矢量地图。可以将街道名称、街道号码、门牌号码和其他信息编码为地理坐标,使得用户可以通过街道地址找到某个期望的目的地。兴趣点(航路点)也可以与其地理坐标一起存储。例如,兴趣点可以包括高速相机、加油站、公共停车场和“曾在此停车”(或“你曾在此停车”)的信息。地图数据库335还可以包括道路或街道特性,例如,速度限制、停车灯/停车标志的位置、车道划分线、学校位置等。地图数据库内容可以由通过与因特网通信的无线系统所连接的服务器产生或更新,即使在车辆100沿着现有街道行驶时也是如此,从而产生最新地图。
当以L4或L5操作并且基于来自外部和内部车辆传感器的传感器信息时,车辆控制系统348可以响应于当前车辆位置、感测到的物体信息、感测到的车辆乘员信息、车辆相关信息、外部环境信息以及来自地图数据库335的导航信息,来控制车辆的驾驶行为。
感测到的物体信息是指感测到的关于车辆外部的物体的信息。示例包括:有生命物体,比如动物及其属性(例如,动物类型、当前空间位置、当前活动等)和行人及其属性(例如,身份、年龄、性别、当前空间位置、当前活动等)等;以及无生命物体及其属性,比如其他车辆(例如,当前车辆状态或活动(停车或运动中或当前采用的自动化级别)、乘员或操作者身份、车辆类型(卡车、轿车等)、车辆空间位置等),路缘(地形和空间位置),坑洼(大小和空间位置),车道划分标记(类型或颜色和空间位置),标牌(类型或颜色和空间位置,比如限速标志、让行标志、停车标志以及其他限制性或警告标志),交通信号灯(例如,红色、黄色、蓝色、绿色等),建筑物(空间位置),墙壁(高度和空间位置),路障(高度和空间位置)等。
感测到的乘员信息是指感测到的关于车辆内部的乘员的信息。示例包括乘员的数量和身份及其属性(例如,座位、年龄、性别、注视方向、生物信息、认证信息、偏好、历史行为模式(例如当前或历史用户驾驶行为、历史用户路线、目的地和路径点偏好)、国籍、民族和种族、语言偏好(例如,西班牙语、英语、中文等)、当前乘员角色(例如,操作者或乘客)、乘员优先级排序(例如,车主比儿童乘员的排序更高)、电子日历信息(例如,OutlookTM)、以及医疗信息和历史等。
车辆相关信息是指感测到的关于所选车辆的信息。示例包括车辆制造商、类型、型号、制造年份、当前地理位置、当前车辆状态或活动(停车或运动中或当前采用的自动化级别)、车辆规格与能力、当前感测到的车辆操作参数、以及其他信息。
外部环境信息是指感测到的关于所选车辆的外部环境的信息。示例包括道路类型(铺面、砾石、砖块等)、道路状况(例如,潮湿、干燥、结冰、有雪等)、天气条件(例如,室外温度、压力、湿度、风速和风向等)、环境光条件(例如,一天中的时刻)、车辆周围环境的发展程度(例如,城市或乡村)等。
在典型的实施方式中,自动车辆控制系统348基于来自某些传感器的反馈、特别是围绕车辆外周定位的激光雷达和雷达传感器,来构建车辆附近的空间的三维地图,使得自动车辆控制系统348能够识别有生命和无生命物体并对其进行空间定位。其他传感器、比如用于关于在附近移动的外部物体进行测距计算的惯性测量单元、陀螺仪、车轮编码器、声纳传感器、运动传感器;以及朝外的相机(例如,用于执行计算机视觉处理)可以提供进一步的情景信息以生成更准确的三维地图。导航信息与三维地图组合而提供短程、中程和长程路线跟踪和路线选择。车辆控制系统348处理真实世界信息、以及GPS数据和驾驶速度,以准确地确定每个车辆的精确方位(低至几厘米),同时针对附近的有生命和无生命物体进行校正。
车辆控制系统348可以基本上实时处理当前车辆的乘员和附近其他有生命或无生命物体的集合映射信息并对其行为建模(或预测)、并且基于集合映射信息和所建模的行为来发出适当的关于车辆操作的命令。在一些命令(比如在红灯和停车标志处停车)被硬编码到车辆中的同时,基于先前驾驶经验通过配置文件更新来学习和记录其他响应。所学行为的示例包括:右车道中的缓慢移动或停止的车辆或紧急车辆表明跟随它的汽车将试图越过它的概率更高,道路中的坑洞、岩石或其他异物等同于驾驶员转向避开它的概率更高,并且一条车道上的交通拥堵意味着在同一方向上移动的其他驾驶员在相邻车道中越过或在路肩上行驶的概率更高。
图4示出了车辆100的仪表板400的一个实施例。车辆100的仪表板400包括:方向盘410、车辆操作显示器420(例如,配置为呈现和/或显示驾驶数据,诸如速度、测量到的空气阻力、车辆信息、娱乐信息等)、一个或多个辅助显示器424(例如,配置为呈现和/或显示从操作显示器420、娱乐应用、电影、音乐等分离的信息)、抬头显示器434(例如,配置为显示先前描述的任何信息,包括但不限于,诸如到目的地的路线的引导信息、或用于警告潜在碰撞的障碍物警告信息、或者诸如速度、阻力等一些或全部主要车辆操作数据)、电力管理显示器428(例如,配置为显示与车辆100的电力水平、备用电力、充电状态等相对应的数据)、以及输入设备432(例如,控制器、触摸屏或配置为与仪表板或车辆100的部件中的一个或多个显示器对接的其他接口设备。输入设备432可以配置为操纵杆、鼠标、触摸板、平板计算机、3D手势捕获设备等)。在一些实施例中,输入设备432可以用于手动操纵车辆100的一部分进入充电位置(例如,将充电板移动到希望的分隔距离等)。
虽然仪表板400的一个或多个显示器可以是触摸屏显示器,但是应当理解,车辆操作显示器可以是不能接收触摸输入的显示器。例如,横跨内部空间中心线404并跨越第一区408A和第二区408B的操作显示器420可以与接收来自触摸的输入、尤其是接收来自乘客的输入隔离。在一些情况下,提供车辆操作或关键系统信息和界面的显示器可以被约束而无法接收触摸输入和/或配置为非触摸显示器。这种类型的配置可以防止在提供触摸输入时的危险错误,其中这种输入可能导致事故或不想要的控制。
在一些实施例中,仪表板400的一个或多个显示器可以是移动设备和/或驻留在诸如智能电话等移动设备上的应用。另外或可替代地,本文描述的任何信息可以呈现给操作显示器420的一个或多个部分420A至420N或其他显示器424、428、434。在一个实施例中,仪表板400的一个或多个显示器可以与仪表板400物理地分离或从其拆卸。在一些情况下,可拆卸的显示器可以保持栓系到仪表板。
操作显示器420的部分420A至420N可以动态地重新配置和/或调整大小以适应所描述的任何信息显示。另外或可替代地,用于经由操作显示器420可视地呈现信息的部分420A至420N的数量可以根据需要动态地增加或减少,并且不限于所示的配置。
图5示出了根据本披露内容的实施例的可以可选地与车辆100相关联的通信部件的硬件图。
通信部件可以包括一个或多个有线或无线设备,诸如(一个或多个)收发器和/或调制解调器,该调制解调器不仅允许本文披露的各种系统之间的通信而且还允许与诸如网络上的设备和/或诸如互联网等分布式网络上和/或云中的设备等其他设备和/或与(一个或多个)其他车辆通信。
通信子系统350还可以包括车辆间和车辆内通信能力,诸如用于车辆乘员和/或车辆到车辆通信中的任何一个或多个的热点和/或接入点连接。
另外,虽然未具体示出,但通信子系统350可以包括一个或多个通信链路(可以是有线或无线)和/或通信总线(由总线管理器574管理),包括以下一个或多个:CAN bus、OBD-II、ARCINC 429、Byteflight、CAN(控制器局域网)、D2B(国内数字总线)、FlexRay、DC-BUS、IDB-1394、IEBus、I2C、ISO 9141-1/-2、J1708、J1587、J1850、J1939、ISO 11783、关键词协议2000、LIN(本地互联网络)、MOST(媒体导向系统传输)、多功能车辆总线、SMARTwireX、SPI、VAN(车辆局域网)等、或者总体上是任何通信协议和/或标准(一个或多个)。
各种协议和通信可以无线地和/或通过传输介质中的一个或多个进行通信,这些传输介质诸如单线、双绞线、光纤、IEEE 1394、MIL-STD-1553、MIL-STD-1773、电力线通信等。(所有上述标准和协议均通过援引以其全文并入本文)。
如所讨论的,通信子系统350使得在任何车辆间系统和子系统之间实现通信并且实现与非并置资源(比如,通过互联网等网络可到达的那些资源)通信。
除了众所周知的部件(为清楚起见而省略)之外,通信子系统350还包括互连元件,包括以下一个或多个:一个或多个天线504、交织器/解交织器508、模拟前端(AFE)512、存储器/存储装置/高速缓存516、控制器/微处理器520、MAC电路系统522、调制器/解调器524、编码器/解码器528、多个连接性管理器534、558、562、566、GPU 540、加速度计544、复用器/解复用器552、发射器570、接收器572、以及附加无线电部件(诸如,Wi-Fi 模块580、Wi-Fi/BT MAC模块584、(一个或多个)附加发射器588和(一个或多个)附加接收器592)。设备350中的各种元件通过一个或多个链路/总线5(同样为了清楚起见而未示出)进行连接。
设备350可以具有一个或多个天线504,以用于无线通信,诸如多输入多输出(MIMO)通信、多用户多输入多输出(MU-MIMO)通信LTE、4G、5G、近场通信(NFC)等,并且通常用于任何类型的无线通信。(一个或多个)天线504可以包括但不限于以下一个或多个:定向天线、全向天线、单极天线、贴片天线、环形天线、微带天线、偶极天线、以及适用于通信发射/接收的任何其他天线(一个或多个)。在示例性实施例中,使用MIMO的发射/接收可能需要特定的天线间隔。在另一示例性实施例中,MIMO发射/接收可以实现空间分集,从而允许每个天线处的不同信道特性。在又一实施例中,MIMO发射/接收可以用于将资源分配给例如在车辆100内和/或另一车辆中的多个用户。
(一个或多个)天线504通常与模拟前端(AFE)512交互,这对于实现正确处理接收到的调制信号并对发射的信号进行信号调节来说是必需的。AFE 512可以在功能上位于天线与数字基带系统之间,以便将模拟信号转换为数字信号以进行处理,反之亦然。
子系统350还可以包括控制器/微处理器520和存储器/存储装置/高速缓存516。子系统350可以与存储器/存储装置/高速缓存516交互,该存储器/存储装置/高速缓存可以存储对于配置和发射或接收本文描述的信息来说必要的信息和操作。存储器/存储装置/高速缓存516还可以与控制器/微处理器520执行应用编程或指令结合使用,并且用于程序指令和/或数据的临时或长期存储。作为示例,存储器/存储装置/高速缓存520可以包括计算机可读设备、RAM、ROM、DRAM、SDRAM和/或其他存储设备(一个或多个)和介质。
控制器/微处理器520可以包括通用可编程处理器或控制器,以用于执行与子系统350相关的应用编程或指令。此外,控制器/微处理器520可以执行用于配置和发射/接收信息的操作,如本文所述。控制器/微处理器520可以包括多个处理器核和/或实施多个虚拟处理器。可选地,控制器/微处理器520可以包括多个物理处理器。作为示例,控制器/微处理器520可以包括专门配置的专用集成电路(ASIC)或其他集成电路、数字信号处理器(一个或多个)、控制器、硬连线电子或逻辑电路、可编程逻辑设备或门阵列、专用计算机等。
子系统350可以进一步包括(一个或多个)发射器570、588和(一个或多个)接收器572、592,它们可以使用该一个或多个天线504和/或链路/总线分别向其他设备、子系统和/或其他目的地发射信号和从其接收信号。子系统350电路系统中包括介质访问控制或MAC电路系统522。MAC电路系统522提供用于控制对无线介质的访问。在示例性实施例中,MAC电路系统522可以被布置为争夺无线介质并且对通过有线/无线介质传送的帧或分组进行配置。
子系统350还可以可选地包含安全模块(未示出)。此安全模块可以包含关于但不限于将设备连接到一个或多个其他设备或其他可用网络(一个或多个)所需的安全参数的信息,并且可以包括WEP或WPA/WPA-2(可选地+AES和/或TKIP)安全访问密钥、网络密钥等。WEP安全访问密钥是Wi-Fi网络使用的安全密码。知道这个码可以使得无线设备能够与接入点和/或另一设备交换信息。信息交换可以通过编码消息进行,其中WEP访问码通常由网络管理员选择。WPA是也与网络连接结合使用的附加安全标准,其中加密比WEP更强。
在一些实施例中,通信子系统350还包括GPU 540、加速度计544、Wi-Fi/BT/BLE(低功耗)PHY模块580和Wi-Fi/BT/BLE MAC模块584、以及可选的无线发射器588和可选的无线接收器592。在一些实施例中,GPU 540可以是包括至少一个电路和/或芯片的图形处理单元或视觉处理单元,其操纵和改变存储器以加速帧缓冲器中的图像的创建以便输出到至少一个显示设备。GPU 540可以包括以下一个或多个:显示设备连接端口、印刷电路板(PCB)、GPU芯片、金属氧化物半导体场效应管(MOSFET)、存储器(例如,单倍数据速率随机存取存储器(SDRAM)、双倍数据速率随机存取存储器(DDR)RAM等、和/或其组合)、辅助处理芯片(例如,处理视频输出能力、处理和/或除GPU芯片之外的其他功能等)、电容器、散热器、温度控制或冷却风扇、母板连接、屏蔽等。
各种连接性管理器534、558、562、566管理和/或协调子系统350与本文披露的一个或多个系统以及一个或多个其他设备/系统之间的通信。连接性管理器534、558、562、566包括充电连接性管理器534、车辆数据库连接性管理器558、远程操作系统连接性管理器562、以及传感器连接性管理器566。
充电连接性管理器534不仅可以协调车辆100与充电设备/车辆之间的物理连接性,而且还可以与电力管理控制器、一个或多个第三方以及可选地计费系统(一个或多个)中的一者或多者通信。作为示例,车辆100可以与充电设备/车辆建立通信以进行以下一者或多者:协调两者间的互连性(例如,通过将车辆上的充电插座与充电车辆上的充电器空间对准),以及可选地共享导航信息。一旦完成充电,就可以跟踪所提供的充电量并且可选地将其转发给例如第三方以进行计费。除了能够管理用于交换电力的连接性之外,充电连接性管理器534还可以将诸如计费信息等信息传送给充电车辆和/或第三方。此计费信息可以是例如车辆的所有者、车辆的驾驶员/乘员(一个或多个)、公司信息、或者通常可用于针对所接收的电力向适当的实体收费的任何信息。
车辆数据库连接性管理器558允许子系统接收和/或共享存储在车辆数据库中的信息。此信息可以与其他车辆部件/子系统和/或诸如第三方和/或充电系统等其他实体共享。该信息还可以与一个或多个车辆乘员设备共享,诸如驾驶员用于跟踪关于车辆100和/或经销商或服务/维护提供商的信息的移动设备上的app(应用)。通常,存储在车辆数据库中的任何信息可以可选地与可选地受到任何隐私或机密约束的任何一个或多个其他设备共享。
远程操作系统连接性管理器562促进车辆100与任何一个或多个自主车辆系统之间的通信。这些通信可以包括以下一个或多个:导航信息、车辆信息、其他车辆信息、天气信息、乘员信息、或者通常与车辆100的远程操作有关的任何信息。
传感器连接性管理器566促进任何一个或多个车辆传感器(例如,驾驶车辆传感器和系统304等)与任何一个或多个其他车辆系统之间的通信。传感器连接性管理器566还可以促进任何一个或多个传感器和/或车辆系统与任何其他目的地(诸如服务公司、应用程序、或者通常地需要传感器数据的任何目的地)之间的通信。
根据一个示例性实施例,可以经由用于充电的导体(一个或多个)来传送本文讨论的任何通信。可用于这些通信的一个示例性协议是电力线通信(PLC)。PLC是使用电线同时携载数据以及交流电(AC)电力传输或电力分配的通信协议。它也被称为电力线载波、电力线数字订户线(PDSL)、电源通信、电力线通信、或电力线联网(PLN)。对于车辆中的DC环境,PLC可以与CAN总线、电力线上的LIN总线(DC-LIN)和DC-BUS结合使用。
通信子系统还可以可选地管理一个或多个标识符,比如与车辆、以及其中的一个或其他系统或子系统或部件和/或设备相关联的IP(互联网协议)地址(一个或多个)。这些标识符可以与本文讨论的任何一个或多个连接性管理器结合使用。
图6示出了可以用作本文提供和描述的服务器、用户计算机或其他系统的计算环境600的框图。计算环境600包括一个或多个用户计算机或计算设备,诸如车辆计算设备604、通信设备608和/或更多设备612。这些计算装置604、608、612可以包括通用个人计算机(仅作为示例,包括运行各种版本的Microsoft Corp.'s和/或Apple Corp.'s操作系统的个人计算机和/或膝上型计算机);和/或运行各种各样商用或类似UNIX的操作系统中的任一种操作系统的工作站计算机。这些计算设备604、608、612还可以具有各种应用中的任一种,包括例如数据库客户端和/或服务器应用以及网络浏览器应用。可替代地,这些计算设备604、608、612可以是能够经由网络352进行通信和/或显示和导航网页或其他类型的电子文档或信息的任何其他电子设备,例如瘦客户端计算机、支持互联网的移动电话和/或个人数字助理。尽管示出了具有两个计算设备的示例性计算环境600,但可以支持任何数量的用户计算机或计算设备。
计算环境600还可以包括一个或多个服务器614、616。在这个示例中,服务器614被示为网络服务器,并且服务器616被示为应用服务器。网络服务器614可以用于处理来自计算设备604、608、612的针对网页或其他电子文档的请求。网络服务器614可以运行操作系统,包括上面讨论的那些中的任一操作系统以及任何可商购的服务器操作系统。网络服务器614还可以运行各种各样的服务器应用,包括SIP(会话发起协议)服务器、HTTP(s)服务器、FTP服务器、CGI服务器、数据库服务器、服务器等。在一些情况下,网络服务器614可以将操作可用操作发布为一个或多个网络服务。
计算环境600还可以包括一个或多个文件和/或应用服务器616,所述服务器除了操作系统之外还可以包括可由在计算设备604、608、612中的一个或多个计算设备上运行的客户端访问的一个或多个应用。(一个或多个)服务器616和/或614可以是能够响应于计算设备604、608、612而执行程序或脚本的一个或多个通用计算机。作为一个示例,服务器616、614可以执行一个或多个网络应用。网络应用可以实施为用任何编程语言编写的一个或多个脚本或程序,例如C、或C++、和/或任何脚本语言,例如Perl、Python或TCL、以及任何编程/脚本语言的组合。(一个或多个)应用服务器616还可以包括数据库服务器,包括但不限于可从 等商购的那些数据库服务器,这些数据块服务器可以处理来自在计算设备604、608、612上运行的数据库客户端的请求。
由服务器614和/或616创建的网页可以经由网络(文件)服务器614、616转发到计算设备604、608、612。类似地,网络服务器614可以能够从计算设备604、608、612(例如,用户计算机等)接收网页请求、网络服务调用和/或输入数据,并且可以将网页请求和/或输入数据转发到网络(应用)服务器616。在另外的实施例中,服务器616可以用作文件服务器。尽管为了便于描述,图6示出了单独的网络服务器614和文件/应用服务器616,但是本领域技术人员将认识到,关于服务器614、616描述的功能可以由单个服务器和/或多个专用服务器执行,具体取决于特定于实施方式的需求和参数。计算机系统604、608、612、网络(文件)服务器614和/或网络(应用)服务器616可以用作图1至图6中描述的系统、设备或部件。
计算环境600还可以包括数据库618。数据库618可以驻留在各种位置。作为示例,数据库618可以驻留在一个或多个计算机604、608、612、614、616的本地(和/或驻留在其中)的存储介质上。可替代地,该数据库可以远离任何或所有计算机604、608、612、614、616,并且与这些计算机中的一个或多个计算机通信(例如,经由网络352)。数据库618可以驻留在本领域技术人员熟悉的存储区域网络(“SAN”)中。类似地,用于执行归属于计算机604、608、612、614、616的功能的任何必要文件可以视情况而本地存储在相应计算机上和/或远程地存储。数据库618可以是适于响应于SQL格式的命令而存储、更新和取得数据的关系数据库,诸如Oracle
图7示出了计算机系统700的一个实施例,其上可以部署或执行上述服务器、用户计算机、计算设备或者其他系统或部件。计算机系统700被示出为包括可以经由总线704电耦合的硬件元件。硬件元件可以包括一个或多个中央处理单元(CPU)708;一个或多个输入设备712(例如,鼠标、键盘等);以及一个或多个输出设备716(例如,显示设备、打印机等)。计算机系统700还可以包括一个或多个存储设备720。作为示例,(一个或多个)存储设备720可以是磁盘驱动器、光学存储设备、诸如随机存取存储器(“RAM”)和/或只读存储器(“ROM”)的固态存储设备,它们可以是可编程的、可闪存更新的和/或类似的。
计算机系统700可以另外地包括计算机可读存储介质读取器724;通信系统728(例如,调制解调器、网卡(无线或有线)、红外通信设备等);以及工作存储器736,其可以包括如上所述的RAM和ROM设备。计算机系统700还可以包括处理加速单元732,其可以包括DSP、专用处理器和/或类似物。
计算机可读存储介质读取器724还可以连接到计算机可读存储介质,它们一起(并且可选地,结合(一个或多个)存储设备720)全面地表示远程、本地、固定和/或可移动存储设备加上用于临时和/或更永久地包含计算机可读信息的存储介质。通信系统728可以允许与上文关于本文描述的计算机环境描述的网络和/或任何其他计算机交换数据。此外,如本文所披露的,术语“存储介质”可以表示用于存储数据的一个或多个装置,包括只读存储器(ROM)、随机存取存储器(RAM)、磁RAM、核心存储器、磁盘存储介质、光存储器介质、闪存装置和/或用于存储信息的其他机器可读介质。
计算机系统700还可以包括被示出为当前位于工作存储器736内的软件元件,包括操作系统740和/或其他代码744。应当理解,计算机系统700的替代实施例可以具有与上述不同的许多变型。例如,也可以使用定制硬件和/或可以在硬件、软件(包括便携式软件,诸如小应用程序)或两者中实施的特定元件。此外,可以采用到诸如网络输入/输出设备等其他计算设备的连接。
本文描述的处理器340、708的示例可以包括但不限于以下至少一个:800和801、具有4G LTE集成和64位运算的 620和615、具有64位架构的A7处理器、M7运动协处理器、系列、CoreTM系列处理器、系列处理器、AtomTM系列处理器、Intel系列处理器、i5-4670K和i7-4770K 22nmHaswell、i5-3570K 22nm Ivy Bridge、FXTM系列处理器、FX-4300、FX-6300和FX-8350 32nm Vishera、Kaveri处理器、TexasJacinto C6000TM汽车信息娱乐处理器、TexasOMAPTM汽车级移动处理器、CortexTM-M处理器、Cortex-A和ARM926EJ-STM处理器、其他工业等效处理器;并且可以使用任何已知的或未来开发的标准、指令集、库、和/或架构来执行计算功能。
在常规的自主车辆中,车辆可以将第一组相机用于自主驾驶(“AD”)系统,并将不同的第二组相机用于车载信息娱乐(“IVI”)功能。如可以理解,这种传统方法导致存在多个重复的系统,这些系统需要附加的布线、机械空间,并且增加了车辆和相关联的系统的复杂性。
针对上述问题和其他问题设想了本文提出的实施例。本披露内容的目的是提供这样的方法和系统,其在AD电子控制单元(“ECU”)处从公共的一组相机接收图像数据、在ADECU的处理器处使用该数据、并将该数据转发到IVI ECU以供数字驾驶舱或其他信息娱乐系统进一步处理和使用。该系统可以包括一个或多个相机,每个相机包含图像传感器和串行器。这些相机可以被馈送到AD ECU,AD ECU可以具有解串器,解串器进而向AD片上系统(“SoC”)或处理器以及IVI图像信号处理器(“ISP”)馈送。在一个实施例中,IVI ISP可以位于IVI ECU上、IVI SoC中或相机本身中。IVI ISP可以将经处理的传感器数据发送到另一个串行器,该串行器将视频发送到IVI ECU上的解串器,该解串器进而将共享的传感器数据提供给IVI SoC。在一些实施例中,单个IVI ISP可以用于处理两个相机馈送,因此ISP潜在地可以以任何方式组合。
在一个实施例中,ISP可以在相机外部,从而向AD SoC提供原始传感器数据。这种方法可以在每个ECU中包括一组特定的串行器、解串器步骤,其中插入ISP并且具有相关的连接性。相机可以在AD控制与IVI控制之间切换,并且相机可以在低功率模式(例如,当车辆100被停放时等)与高功率模式(例如,当车辆100未停放和/或AD模式被启用(engage)时等)之间切换。在一些实施例中,来自传感器的必要的嵌入式数据可以被转发到两个ISP以使得能够进行必要的处理和校正(例如,图像异常检测等)。
现在参考图8,示出了根据本披露内容的实施例的成像处理系统800的框图。图像处理系统800可以包括多个相机804A至804N,这些相机设置在车辆100的车身上的不同位置处,该多个相机804A至804N中的每个相机可以配置为从车辆周围的环境(例如,在多个相机804A至804N的有效检测极限204内)收集图像数据。在一些实施例中,多个相机804A至804N可以对应于如上所述的车辆100的传感器116A至116P、系统112和相机332中的任何一个或多个。
图像处理系统800可以包括AD ECU 814和IVI ECU 838。在一些实施例中,AD ECU814可以对应于上文结合图3A至图3C描述的车辆控制系统348。AD ECU 814可以对应于电子控制模块或其他控制器,其包括存储器、处理器、一个或多个输入端/输出端以及执行车辆100的AD功能所需的硬件和软件。如图8所示,AD ECU 814可以包括微控制器单元824和ADSoC 828。微控制器单元824可对应于AD ECU 814的处理器,该处理器在AD SoC 828不活动、设置为低功率模式或关闭时处理AD ECU 814的功能。在一些实施例中,微控制器单元824可以对应于AD SoC 828的备用处理器。AD SoC 828可以对应于AD ECU 814的AD处理器,该处理器在正常操作条件下(例如,当AD被启用时,当AD SoC 828被激活时,和/或当需要AD功能时,等等)处理车辆100的AD功能。AD SoC 828可以对应于包括CPU、GPU、存储器、输入端/输出端等中的至少一者的集成电路。AD SoC 828可以是专用集成电路的为AD功能和处理预留的一部分。
IVI ECU 838可以对应于专用于提供基于信息娱乐的功能、交互和体验的单独的控制单元或模块。在一些实施例中,IVI ECU 838可以提供由车辆100的仪表板400呈现的数据。IVI ECU 838可以与AD ECU 814分离并间隔开。在一个实施例中,将IVI功能与AD功能分离会使每个ECU的安全性、冗余性和寿命增加。IVI ECU 838可以包括IVI SoC 844。IVI SoC844可以对应于IVI ECU 838的IVI处理器,该处理器处理车辆100的信息娱乐(例如,信息和娱乐)功能。IVI SoC 844可以对应于包括CPU、GPU、存储器、输入端/输出端等中的至少一者的集成电路。IVI SoC 844可以是专用集成电路的为信息娱乐功能(包括处理、通知和呈现)预留的一部分。
多个相机804A至804N中的每一个可以包括图像传感器808A至808N和串行器812A至812N。图像传感器808A至808N可以对应于上文结合相机传感器332描述的图像传感器。串行器812A至812N可以与图像传感器808A至808N互连并控制这些图像传感器。在一些实施例中,串行器812A至812N可以包括高速数据信道(例如,用于转发由图像传感器808A至808N收集的图像数据)和低延迟控制信道(例如,用于控制图像传感器808A至808N)。高速数据信道和低延迟控制信道可以通过单根电缆(例如,同轴电缆、屏蔽双绞线电缆、差分对等)提供。串行器812A至812N可以包括至少一个接收器、编码器/格式器、串行器、电缆驱动器、控制器、时钟等。本文描述的串行器的示例可以包括但不限于Maxim IntegratedTM型号MAX96717/17F串行器、Maxim IntegratedTM型号MAX9295E双串行器、Texas Instruments型号DS90UB935-Q1汽车级串行器等。除其他之外,串行器812A至812N可以将从图像传感器804A至804N接收的图像数据转换成可以通过高速数据信道或通信路径815高效传输的格式。
通信路径815可以对应于串行器812A至812N与AD ECU 814之间的有线互连。例如,通信路径815可以对应于同轴电缆、屏蔽双绞线电缆、差分对或其他通信电缆。如图8所示,通信路径815可以对应于从第一串行器812A到第一解串器816A的有线连接。多个相机804A至804N中的每个相机可以通过相应的通信路径815互连。在一些实施例中,串行器812A至812N和/或解串器816A至816N中的一个或多个可以在通信路径815的任一端处组合在一起。另外或可替代地,可以通过单个串行器812A至812N发送多于一个的视频流。
在一些实施例中,通信路径815可以连接到AD ECU 814的相应解串器816A至816N。类似于串行器812A至812N,解串器816A至816N可包括高速数据信道和低延迟控制信道。解串器816A至816N可以包括至少一个接收器、编码器/格式器、串行器、电缆驱动器、控制器、时钟等。本文描述的解串器的示例可以包括但决不限于Maxim IntegratedTM型号MAX96712四通道解串器、Texas Instruments型号DS90UB914A-Q1汽车级解串器等。除其他之外,解串器816A至816N可以从串行器812A至812N接收串行化的图像数据并将串行化的图像数据转换成解串行化的传感器数据。
本披露内容的一方面在于,AD ECU 814可以在车辆100的任何其他部件接收到来自多个相机804A至804N的图像数据之前接收到所述图像数据。在一个实施例中,通信路径815可以对应于多个相机804A至804N与AD ECU 814之间的直接且不间断的有线连接。
在图像数据被解串行化为传感器数据之后,传感器数据沿着第一路径818A被发送到AD SoC 828。第一路径818A可以对应于第一解串器816A与AD SoC 828之间的有线连接。该有线连接可以对应于电迹线、电缆等。除了将传感器数据发送到AD SoC 828之外,第一解串器816A可以沿着第二路径818B将传感器数据发送到IVI ECU 838。类似于第一路径818A,第二路径818B可以对应于第一解串器816A与IVI ECU 838之间的有线连接。沿着第一路径818A发送的传感器数据可以与沿着第二路径818B发送的传感器数据相同。
在一些实施例中,沿着第二路径818B发送的传感器数据可以首先由第一IVI ISP832A处理。图像处理系统800的IVI ISP 832A至832N可以对应于信号处理器,所述信号处理器可以处理传感器数据以进行图像锐化、降低噪声、进行颜色和/或亮度调整、和/或以其他方式格式化去往IVI ECU 838的传感器数据。IVI ISP 832A至832N可以是AD ECU 814的一部分。另外或可替代地,IVI ISP 832A至832N可以是IVI ECU 838的一部分。在一些实施例中,一个或多个信号处理部件856可以与AD ECU 814分离并且是IVI ECU 838的一部分。
尽管示出了单个IVI ISP 832A至832N与多个相机804A至804N中的每个相机相关联,但是本披露内容的一方面在于,单个IVI ISP 832A至832N可以为多个相机804A至804N中的一个或多个相机提供信号处理。
当IVI ISP 832A至832N是AD ECU 814的一部分时,经图像处理的传感器数据可以在发送或传输到IVI ECU 838之前被提供给相应的IVI串行器836A至836N。IVI串行器836A至836N可以与上述串行器812A至812N相同和/或执行基本上相同的功能。然后,经串行化处理的传感器数据可以从AD ECU 814(例如,通过IVI串行器836A至836N)发送到IVI ECU 838的相应IVI解串器840A至840N。解串器840A至840N可以与上述解串器816A至816N相同和/或执行基本上相同的功能。例如,解串器840A至840N可以对应于Maxim IntegratedTM型号MAX96712四通道解串器、Texas Instruments型号DS90UB914A-Q1汽车级解串器等。解串器840A至840N中的每一个都可以互连到IVI SoC 844。
尽管结合第一相机804A进行了描述,但是应当理解,来自多个相机804A至804N中的每个相机的图像数据都可以由AD ECU 814经由其他相应的通信路径以如所描述的类似的(如果不相同的话)方式接收。
在一些实施例中,IVI ECU 838可以包括与AD ECU 814的至少一个通信反向信道848、852。例如,IVI SoC 844可以基于接收到的传感器数据确定图像异常(例如,图像问题、图像校正、相机问题等)并与AD SoC 828和微控制器单元824中的一者或多者通信以报告问题,并且在某些情况下采取纠正措施。纠正措施可以包括:AD ECU 814选择多个相机804A至804N中的其他相机以用于AD功能、关闭AD系统、控制车辆100、阻止启用特定AD模式等。在一个实施例中,纠正措施可以包括对到相机804A至804N中的一个或多个相机的通信链路进行重置。作为另一示例,纠正措施可包括对相机804A至804N中的一个或多个相机进行功率循环。在一个实施例中,IVI SoC 844可以经由第一信道848将基于接收到的传感器数据的图像校正信息传送到AD SoC 828。在一些实施例中,当第一信道848被确定为不活动时,IVISoC 844可以经由第二信道852将图像校正信息传送到AD ECU 814的微控制器单元824(例如,微控制器)。当AD SoC 828不活动、车辆100在停放中和/或AD功能关闭等时,第一信道848可以不活动。
在将图像数据发送到车辆100的任何其他部件(例如,IVI ECU 838等)之前将图像数据发送到AD ECU 814的至少一个益处包括但不限于确保图像数据不受干扰、未被更改、并且没有以任何方式被延迟。这使图像处理系统800、AD功能和车辆100的功能的安全性增强。
图9是根据本披露内容的实施例的用于在AD ECU 814与IVI ECU 838之间共享相机804A至804N的方法900的流程图。虽然在图9中示出了方法900的步骤的一般顺序,但是方法900可以包括更多或更少的步骤,或者可以与图9中所示的步骤不同地排列步骤的顺序。通常,方法900以开始操作904开始并以结束操作944结束。方法900可以作为由计算机系统(例如,传感器处理器340、车辆控制系统348、计算设备368、计算机系统700、AD ECU 814、IVI ECU 838等)执行的一组计算机可执行指令而被执行,并且被编码或存储在计算机可读介质(例如,控制数据364、工作存储器736等)上。在下文中,方法900将会参考结合图1至图8描述的系统、部件、组件、设备、软件等来解释。
方法900可以在步骤904处开始,并且通过从车辆100的多个相机804A至804N中的一个或多个相机接收图像数据(步骤908)来继续进行。多个相机804A至804N可以对应于上述传感器116A至116P、系统112和相机332中的一个或多个。图像数据可以对应于来自位于车辆100外部并且在传感器116A至116P、系统112和相机332的有效检测极限204内的环境的图像。可以在多个相机804A至804N处通过相关联的串行器812A至812N对图像数据串行化。图像数据的串行化可以允许数据比未被串行化时更高效地通过有线连接和通信路径815发送。
接下来,方法900通过将图像数据发送到AD ECU 814(步骤912)来继续进行。更具体地,方法900可以通过将图像数据通过通信路径815(例如,有线/电缆连接)发送到AD ECU814的解串器816A至816N来继续进行。通信路径815可以对应于在多个相机804A至804N与ADECU 814之间的直接(例如,不间断的)通信路径。
在接收到图像数据时,解串器816A至816N可以将图像数据解串为传感器数据(步骤916)。两个单独的通信路径818A、818B可以连接到解串器816A至816N。第一路径818A可以从第一解串器816A延伸到AD SoC 828并且第二路径818B可以从第一解串器816A延伸到IVIECU 838。在一个实施例中,第二路径818B可以包括离开AD ECU 814并进入IVI ECU 838的通信电缆。在任何情况下,方法900都通过将解串的传感器数据通过第一路径818A发送到ADSoC 828(步骤920)并通过将解串的传感器数据通过第二路径818B发送到IVI ECU 838(步骤924)来继续进行。步骤920和924可以同时或顺序地发生,其中,步骤920在步骤924之前发生。
在一些实施例中,将解串的传感器数据发送到IVI ECU 838可以包括在解串的传感器数据到达IVI ECU 838的IVI SoC 844之前将该数据发送到IVI ISP 832A至832N。IVIISP 832A至832N可以是AD ECU 814的一部分。另外或可替代地,IVI ISP 832A至832N可以是IVI ECU 838的一部分。在一些实施例中,IVI ISP 832A至832N可以是多个相机804A至804N的一部分。当IVI ISP 832A至832N是AD ECU 814的一部分时,在将经处理的传感器数据发送到IVI ECU 838之前,可能需要(例如,通过IVI串行器836A至836N等)对经处理的传感器数据进行串行化。如可以理解,在该示例中,IVI ECU 838可以包括一个或多个IVI解串器840A至840N,所述解串器接收经处理的传感器数据并在将经处理的传感器数据转发到IVI SoC 844之前解串经处理的传感器数据。
方法900可以通过确定由多个相机804A至804N收集的图像数据是否包括一个或多个图像异常(步骤928)来继续进行。在一些实施例中,该确定可以通过AD SoC 828将接收到的传感器数据与可能存储在AD ECU 814的存储器中的预定品质阈值和指标进行比较来做出。在一个实施例中,该确定可以通过IVI SoC 844将接收到的传感器数据与可能存储在IVI ECU 838的存储器中的预定品质阈值和指标进行比较来做出。如上所述,该确定可以由AD SoC 828和IVI ECU 838中的每一者独立地进行。在任何情况下,当接收到的传感器数据未能满足预定的品质阈值和/或指标或落入其内时,可以确定存在图像异常。图像异常可以包括但绝不限于图像问题、所需的图像校正、发现的相机问题等。如果基于接收到的传感器数据确定不存在图像异常,则方法900可以在步骤944处结束。
在图像数据包括图像异常的情况下,方法900可以通过确定AD SoC 828和/或第一信道848是否是活动的(步骤932)来继续进行。当经由第一信道发送初始通信并且从AD SoC828接收到指示活动的响应时,可以确定AD SoC 828是活动的。另一方面,当经由第一信道848发送初始通信并且没有从AD SoC 828接收到响应时,可以确定AD SoC 828不活动。在一个实施例中,可以经由第一信道848将初始通信发送到AD SoC 828,并且可以通过第一信道848接收到AD SoC 828不活动的响应。
当AD SoC 828和/或第一信道848被确定为是活动的时,方法900可以通过经由第一信道848将关于图像数据和/或图像异常的信息发送到AD ECU 814的AD SoC 828和/或微控制器单元824(步骤936)来继续进行。在一些实施例中,并且根据图像异常的严重程度,ADECU 814的AD SoC 828和/或微控制器单元824可以确定要采取纠正措施,例如选择多个相机804A至804N中的其他相机以用于AD功能、关闭AD系统、控制车辆100、阻止启用特定AD模式等。方法900可以结束944或返回到步骤908并继续迭代。
当AD SoC 828被确定为不活动时,方法900可以通过IVI SoC 844经由第二信道852将关于图像数据和/或图像异常的信息发送到AD ECU 814的微控制器单元824(步骤940)来继续进行。在一些实施例中,(例如,当车辆100被停放、不处于AD模式等时)AD SoC828可以被设置为不活动状态以节省能量。在这种情况下,IVI ECU 838可以经由第二信道852与AD ECU 814通信。在一些实施例中,并且根据图像异常的严重程度,微控制器单元824可以确定要采取纠正措施,例如选择多个相机804A至804N中的其他相机以用于AD功能、关闭AD系统、控制车辆100,阻止启用特定AD模式等。方法900可以结束944或返回到步骤908并继续迭代。
可以连续且自动地执行本文讨论的任何步骤、功能和操作。
已经关于车辆系统和电动车辆描述了本披露内容的示例性系统和方法。然而,为了避免不必要地模糊本披露内容,前面的描述省略了许多已知的结构和设备。这种省略不应被解释为对要求保护的披露内容的范围的限制。阐述了许多具体细节以提供对本披露内容的理解。然而,应当理解,本披露内容可以以超出本文阐述的具体细节的各种方式来实践。
此外,虽然本文所示的示例性实施例示出了系统的相搭配的各种部件,但是系统的某些部件可以远程地定位、定位在诸如LAN和/或互联网的分布式网络的远距离部分处、或者定位在专用系统内。因此,应当理解,该系统的部件可以组合成一个或多个设备,诸如服务器、通信设备,或并置在分布式网络的特定节点上,诸如模拟和/或数字电信网络、分组交换网络或电路交换网络。从前面的描述中将理解,并且出于计算效率的原因,系统的部件可以布置在分布式部件网络内的任何位置,而不影响系统的操作。
此外,应当理解,连接元件的各种链路可以是有线或无线链路或其任何组合、或能够将数据提供/和传送到经连接的元件并从经连接的元件提供和/或传送数据的任何其他已知或后续发展的(一个或多个)元件。这些有线或无线链路也可以是安全链路,并且可以能够传送加密信息。例如,用作链路的传输介质可以是用于电信号的任何合适的载体,包括同轴电缆、铜线和光纤,并且可以采用声波或光波的形式,诸如在无线电波和红外线数据通信期间生成的那些。
尽管已经关于特定的事件序列讨论和说明了流程图,但是应当理解,在不实质上影响所披露的实施例、配置和方面的操作的情况下,可以发生对这个序列的改变、添加和省略。
可以使用本披露内容的许多变化和修改。可以提供本披露内容的一些特征而不提供其他特征。
在又一实施例中,可以结合专用计算机、经编程的微处理器或微控制器和(一个或多个)外围集成电路元件、ASIC或其他集成电路、数字信号处理器、硬连线的电子器件或逻辑电路(诸如离散元件电路)、可编程逻辑设备或门阵列(诸如PLD、PLA、FPGA、PAL)、专用计算机、任何相当的装置等来实施本披露内容的系统和方法。通常,可以使用能够实施本文所示方法的任何(一个或多个)设备或装置来实施本披露内容的各个方面。可以用于本披露内容的示例性硬件包括计算机、手持式设备、电话(例如,蜂窝、互联网、数字、模拟、混合等),以及本领域中已知的其他硬件。这些设备中的一些设备包括处理器(例如,单个或多个微处理器)、存储器、非易失性存储器、输入设备和输出设备。此外,还可以构造替代性软件实施方式,包括但不限于,分布式处理或部件/对象分布式处理、并行处理或虚拟机处理,以实施本文描述的方法。
在又一实施例中,所披露的方法可以容易地结合使用对象或面向对象的软件开发环境的软件来实施,该软件开发环境提供可以在各种计算机或工作站平台上使用的便携式源代码。可替代地,可以使用标准逻辑电路或VLSI设计部分地或完全地以硬件实施所披露的系统。使用软件还是硬件来实施根据本披露内容的系统取决于对系统的速度和/或效率要求、特定功能以及所使用的特定软件或硬件系统或微处理器或微计算机系统。
在又一实施例中,所披露的方法可以部分地以软件来实施,该软件可以存储在存储介质上,在与控制器和存储器合作的经编程通用计算机、专用计算机、微处理器等上执行。在这些情况下,本披露内容的系统和方法可以实施为嵌入在个人计算机上的程序(诸如小应用程序、或CGI脚本)、驻留在服务器或计算机工作站上的资源、嵌入专用测量系统、系统部件等的例程。该系统还可以通过将系统和/或方法物理地结合到软件和/或硬件系统中来实施。
尽管本披露内容参考特定标准和协议描述了在实施例中实施的部件和功能,但是本披露内容不限于这类标准和协议。本文未提及的其他类似标准和协议是存在的并且被认为包括在本披露内容中。而且,本文提及的标准和协议以及本文未提及的其他类似标准和协议定期地被具有基本相同功能的更快或更有效的等效物所取代。具有相同功能的这类替代标准和协议被认为是包括在本披露内容中的等效物。
本披露内容在各种实施例、配置和方面包括基本上如本文所描绘和描述的部件、方法、过程、系统和/或装置,包括其各种实施例、子组合以及子集。本领域技术人员在理解本披露内容之后将明白如何制造和使用本文披露的系统和方法。本披露内容在多个不同实施例、配置和方面包括在不存在本文未描绘和/或描述的事项的情况下,或在其不同的实施例、配置或方面包括在不存在在之前的设备或过程中可能已经使用的此类事项的情况下,提供设备和过程,以例如用于改善性能、实现方便和/或降低实施成本。
已经出于说明和描述的目的呈现了本披露内容的前述讨论。前述内容并不旨在将本披露内容限制于本文披露的一种或多种形式。在例如上述具体实施方式中,出于精简本披露内容的目的,将本披露内容的各种特征在一个或多个实施例、配置或方面中组合在一起。本披露内容的实施例、配置或方面的特征可以在除了以上讨论的那些之外的替代性实施例、配置或方面中进行组合。本披露内容的这种方法不应被解释为反映以下意图:所要求保护的本披露内容需要比在各权利要求中明确叙述的更多的特征。而是,如所附权利要求所反映的,创造性方面仰赖于少于单个前述所披露实施例、配置或方面的所有特征。因此,所附权利要求特此结合在本具体实施方式中,其中每条权利要求依赖其自身作为本披露内容的独立的优选实施例。
而且,虽然本披露内容的描述已经包括了对一个或多个实施例、配置或方面以及某些变化和修改的描述,但其他的变更、组合、以及修改也在本披露内容的范围之内,例如,正如可能在本领域的技术人员理解了本披露内容之后的技能和知识范围之内。旨在获得在允许的范围内包括替代性实施例、配置或方面的权利,包括对所要求保护的那些的替代性的、可互换的和/或等效的结构、功能、范围或步骤,而无论此类替代性的、可互换的和/或等效的结构、功能、范围或步骤是否在本文中披露,并且并非旨在公开地献出任何可获专利的主题。
实施例包括一种图像处理系统,所述视频处理系统包括:多个相机,所述多个相机设置在车辆的车身的不同位置处,所述多个相机中的每个相机配置为从所述车辆周围的环境收集图像数据;自主驾驶(“AD”)电子控制单元(“ECU”),所述AD ECU包括AD处理器;车载信息娱乐(“IVI”)ECU,所述IVI ECU包括IVI处理器;以及从所述多个相机中的第一相机延伸到所述AD ECU的通信路径,其中,所述AD ECU将通信路径分成与所述AD ECU的所述AD处理器互连的第一路径和离开所述AD ECU并且与所述IVI ECU互连的第二路径,并且其中,由所述第一相机收集的图像数据在被发送到IVI ECU之前沿着所述通信路径被发送到所述ADECU。
上述系统的各方面包括其中,所述AD ECU在所述AD ECU的第一解串器处将所述通信路径分成所述第一路径和所述第二路径,其中,由所述第一相机收集的图像数据被解串为传感器数据,所述传感器数据沿着所述第一路径被发送到所述AD处理器并且沿着所述第二路径被发送到所述IVI ECU。上述系统的各方面包括其中,沿着所述第二路径被发送到所述IVI ECU的所述传感器数据在到达所述IVI ECU的所述IVI处理器之前依次传递通过IVI图像信号处理器、串行器以及然后第二解串器。上述系统的各方面包括其中,所述IVI ECU包括所述IVI图像信号处理器。上述系统的各方面包括其中,所述AD ECU包括所述IVI图像信号处理器和所述串行器。上述系统的各方面包括其中,所述IVI ECU包括所述第二解串器。上述系统的各方面包括其中,沿着所述第一路径被发送到所述AD处理器的所述传感器数据和沿着所述第二路径被发送到所述IVI ECU的所述传感器数据是相同的解串的数据。上述系统的各方面包括其中,所述IVI ECU沿着所述IVI处理器与所述AD处理器之间的第一信道将图像校正信息传送到所述AD ECU。上述系统的各方面包括其中,当所述第一信道被确定为不活动时,所述IVI ECU沿着第二信道将图像校正信息传送到所述AD ECU的微控制器。
实施例包括一种方法,所述方法包括:经由设置在车辆的车身不同位置处的多个相机从所述车辆周围的环境接收图像数据;经由从所述多个相机中的第一相机延伸到自主驾驶(“AD”)电子控制单元(“ECU”)的通信路径将由所述第一相机收集的图像数据发送到所述AD ECU;经由所述AD ECU的解串器将由所述第一相机收集的所述图像数据解串为传感器数据;经由第一路径将所述传感器数据发送到所述AD ECU的AD处理器;以及经由第二路径将所述传感器数据发送到车载信息娱乐(“IVI”)ECU,其中,所述第二路径与所述第一路径不同,并且其中,所述IVI ECU与所述AD ECU分离并间隔开。
上述方法的各方面包括其中,所述传感器数据在到达所述IVI ECU的IVI处理器之前被发送到IVI图像信号处理器。上述方法的各方面包括其中,所述IVI图像信号处理器是所述AD ECU的一部分。上述方法的各方面包括其中,离开所述IVI图像信号处理器的传感器数据被所述AD ECU的串行器串行化为串行化的传感器数据,并且其中,所述串行化的传感器数据在到达所述IVI ECU的所述IVI处理器之前被所述IVI ECU的串行器解串。上述方法的方面还包括:由所述IVI处理器基于接收到的传感器数据确定由所述第一相机收集的所述图像数据包括图像异常;以及经由所述IVI处理器与所述AD处理器之间的第一信道发送关于所述图像异常的图像数据信息。上述方法的方面还包括:由所述IVI处理器确定所述第一信道是不活动的;以及经由所述IVI处理器与所述AD ECU的微控制器之间的第二信道发送关于所述图像异常的所述图像数据信息。
实施例包括一种车辆,所述车辆包括:多个相机,所述多个相机设置在车辆的车身的不同位置处,所述多个相机中的每个相机配置为从所述车辆外部的环境收集图像数据;自主驾驶(“AD”)电子控制单元(“ECU”);车载信息娱乐(“IVI”)ECU,所述IVI ECU与所述ADECU分离并且间隔开;以及从所述多个相机中的第一相机延伸到所述AD ECU的有线通信连接;解串器,所述解串器沿着所述有线通信连接接收由所述第一相机收集的图像数据并将由所述第一相机收集的所述图像数据解串为传感器数据;第一有线通信路径,所述第一有线通信路径设置在所述解串器与所述AD ECU的处理器之间;第二有线通信路径,所述第二有线通信路径从所述解串器朝向所述IVI ECU延伸,其中,所述传感器数据沿着所述第一有线通信路径从所述解串器被发送到所述AD ECU的所述处理器并且沿着所述第二有线通信路径从所述解串器朝向所述IVI ECU发送。
上述车辆的各方面包括其中,沿着所述第二有线通信路径被发送的所述传感器数据在到达所述IVI ECU的处理器之前依次传递通过IVI图像信号处理器、串行器以及然后第二解串器。上述车辆的各方面包括其中,所述IVI ECU包括所述IVI图像信号处理器。上述车辆的各方面包括其中,所述AD ECU包括所述IVI图像信号处理器和所述串行器,并且其中,所述IVI ECU包括所述第二解串器。上述车辆的各方面包括其中,沿着所述第一有线通信路径被发送的所述传感器数据和沿着所述第二有线通信路径被发送的所述传感器数据是相同的解串的数据。
如本文基本上披露的所述方面/实施例中的任一个或多个方面/实施例。
如本文基本上披露的任何一个或多个方面/实施例可选地与如本文基本上披露的任何一个或多个其他方面/实施例相组合。
如本文基本上披露的被适配为执行上述方面/实施例中的任何一个或多个方面/实施例的一种或多种装置。
短语“至少一个”、“一个或多个”、“或”和“和/或”是开放式表达,这些短语在操作中既是合取性又是析取性的。例如,表达“A、B和C中的至少一个”、“A、B或C中的至少一个”、“A、B和C中的一个或多个”、“A、B或C中的一个或多个”、“A、B和/或C”、“A、B或C”中的每个表达意指单独的A、单独的B、单独的C、A和B在一起、A和C在一起、B和C在一起、或A、B和C在一起。
术语“一”或“一个”实体指的是一个或多个该实体。这样,术语“一”(或“一个”),“一个或多个”和“至少一个”在本文中可互换使用。还应注意,术语“包括”、“包含”和“具有”可互换使用。
如本文所使用的,术语“自动”及其变型指的是在执行过程或操作时,在没有重要的人为输入的情况下完成的任何过程或操作,该过程或操作通常是连续的或半连续的。然而,如果在执行过程或操作之前接收到输入,即使过程或操作的执行使用了重要的或不重要的人为输入,过程或操作也可以是自动的。如果人为输入影响过程或操作的执行方式,则认为此类输入是重要的。不认为同意执行过程或操作的人为输入是“重要的”。
本披露内容的各方面可以采取完全是硬件的实施例、完全是软件的实施例(包括固件、常驻软件、微代码等)、或者组合了软件和硬件方面的实施例的形式,这些通常都可以在本文被称为“电路”、“模块”或“系统”。可以使用一个或多个计算机可读介质(一个或多个)的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。
计算机可读存储介质可以是例如但不限于电子、磁、光、电磁、红外或半导体系统、装置或设备、或前述的任何合适的组合。计算机可读存储介质的更具体示例(非详尽列表)将包括以下:具有一根或多根电线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁性存储设备或前述的任何合适组合。在本文件的上下文中,计算机可读存储介质可以是任何有形介质,其可以包含或存储程序以用于由指令执行系统、装置或设备使用或与其结合使用。
计算机可读信号介质可以包括传播的数据信号,其中计算机可读程序代码嵌入在该数据信号中,例如,在基带中或作为载波的一部分。这种传播的信号可以采用各种形式中的任何一种,包括但不限于电磁、光学或其任何合适的组合。计算机可读信号介质可以是任何计算机可读介质,其并非计算机可读存储介质并且可以传送、传播或传输程序,以用于由指令执行系统、装置或设备使用或与其结合使用。计算机可读介质上嵌入的程序代码可以使用任何适当的媒介来传输,包括但不限于无线、有线、光纤电缆、RF等、或者前述的任何合适的组合。
如本文所使用的,术语“确定”、“计算”、“推断”及其变型可互换使用,并且包括任何类型的方法、过程、数学运算或技术。
术语“电动车辆”(EV)在本文中也称为电驱动车辆,可以使用一个或多个电动马达或牵引马达来推进。电动车辆可以用来自车外来源的电力通过收集器系统被供电、或者可以自含有电池或发电机以将燃料转换成电力。电动车辆总体上包括可再充电的电力储存系统(RESS)(也称为全电动车辆(FEV))。电力储存方法可以包括:储存在车辆的车载电池(例如,电池电动车辆或BEV)中的化学能、车载动能储存装置(例如,惯性轮)、和/或静态能量(例如,通过车载双层电容器)。可再充电的车载电储存装置的形式可以有电池、双电层电容器和惯性轮能量储存装置。
术语“混合动力电动车辆”是指可以将常规(通常是化石燃料供能的)动力系与某种形式的电动推进相结合的车辆。大多数混合动力电动车辆将常规内燃机(ICE)推进系统与电动推进系统(混合动力车辆传动系)相结合。在并联式混合动力车中,ICE和电动马达都连接至机械传动装置、并且通常可以通过常规传动装置同时传递动力以驱动车轮。在串联式混合动力车中,仅电动马达驱动动力系,并且较小的ICE用作发电机以对电动马达供电或对电池再充电。动力分配式混合动力车具有串联和并联特性。完全混合动力车、有时也称为强混合动力车,是可以仅以发动机、仅以电池或以两者的组合运行的车辆。中型混合动力车是不能单独以其电动马达驱动的车辆,因为电动马达没有足够的动力来自行推进车辆。
术语“可再充电电动车辆”或“REV”是指具有车载可再充电能量储存装置的车辆,包括电动车辆和混合动力电动车辆。
Claims (20)
1.一种图像处理系统,包括:
多个相机,所述多个相机设置在车辆的车身的不同位置处,所述多个相机中的每个相机配置为从所述车辆周围的环境收集图像数据;
自主驾驶电子控制单元,所述自主驾驶电子控制单元包括自主驾驶处理器;
车载信息娱乐电子控制单元,所述车载信息娱乐电子控制单元包括车载信息娱乐处理器;以及
从所述多个相机中的第一相机延伸到所述自主驾驶电子控制单元的通信路径,其中,所述自主驾驶电子控制单元将通信路径分成与所述自主驾驶电子控制单元的所述自主驾驶处理器互连的第一路径和离开所述自主驾驶电子控制单元并且与所述车载信息娱乐电子控制单元互连的第二路径,并且由所述第一相机收集的图像数据在被发送到车载信息娱乐电子控制单元之前沿着所述通信路径被发送到所述自主驾驶电子控制单元。
2.如权利要求1所述的图像处理系统,其中,所述自主驾驶电子控制单元在所述自主驾驶电子控制单元的第一解串器处将所述通信路径分成所述第一路径和所述第二路径,其中,由所述第一相机收集的图像数据被解串为传感器数据,所述传感器数据沿着所述第一路径被发送到所述自主驾驶处理器并且沿着所述第二路径被发送到所述车载信息娱乐电子控制单元。
3.如权利要求2所述的图像处理系统,其中,沿着所述第二路径被发送到所述车载信息娱乐电子控制单元的所述传感器数据在到达所述车载信息娱乐电子控制单元的所述车载信息娱乐处理器之前依次传递通过车载信息娱乐图像信号处理器、串行器以及然后第二解串器。
4.如权利要求3所述的图像处理系统,其中,所述车载信息娱乐电子控制单元包括所述车载信息娱乐图像信号处理器。
5.如权利要求3所述的图像处理系统,其中,所述自主驾驶电子控制单元包括所述车载信息娱乐图像信号处理器和所述串行器。
6.如权利要求5所述的图像处理系统,其中,所述车载信息娱乐电子控制单元包括所述第二解串器。
7.如权利要求6所述的图像处理系统,其中,沿着所述第一路径被发送到所述自主驾驶处理器的所述传感器数据和沿着所述第二路径被发送到所述车载信息娱乐电子控制单元的所述传感器数据是相同的解串的数据。
8.如权利要求7所述的图像处理系统,其中,所述车载信息娱乐电子控制单元沿着所述车载信息娱乐处理器与所述自主驾驶处理器之间的第一信道将图像校正信息传送到所述自主驾驶电子控制单元。
9.如权利要求8所述的图像处理系统,其中,当所述第一信道被确定为不活动时,所述车载信息娱乐电子控制单元沿着第二信道将图像校正信息传送到所述自主驾驶电子控制单元的微控制器。
10.一种方法,包括:
经由设置在车辆的车身不同位置处的多个相机从所述车辆周围的环境接收图像数据;
经由从所述多个相机中的第一相机延伸到自主驾驶电子控制单元的通信路径将由所述第一相机收集的图像数据发送到所述自主驾驶电子控制单元;
经由所述自主驾驶电子控制单元的解串器将由所述第一相机收集的所述图像数据解串为传感器数据;
经由第一路径将所述传感器数据发送到所述自主驾驶电子控制单元的自主驾驶处理器;以及
经由第二路径将所述传感器数据发送到车载信息娱乐电子控制单元,其中,所述第二路径与所述第一路径不同,并且其中,所述车载信息娱乐电子控制单元与所述自主驾驶电子控制单元分离并间隔开。
11.如权利要求10所述的方法,其中,所述传感器数据在到达所述车载信息娱乐电子控制单元的车载信息娱乐处理器之前被发送到车载信息娱乐图像信号处理器。
12.如权利要求11所述的方法,其中,所述车载信息娱乐图像信号处理器是所述自主驾驶电子控制单元的一部分。
13.如权利要求12所述的方法,其中,离开所述车载信息娱乐图像信号处理器的传感器数据被所述自主驾驶电子控制单元的串行器串行化为串行化的传感器数据,并且其中,所述串行化的传感器数据在到达所述车载信息娱乐电子控制单元的所述车载信息娱乐处理器之前被所述车载信息娱乐电子控制单元的串行器解串。
14.如权利要求13所述的方法,还包括:
由所述车载信息娱乐处理器基于接收到的传感器数据确定由所述第一相机收集的所述图像数据包括图像异常;以及
经由所述车载信息娱乐处理器与所述自主驾驶处理器之间的第一信道发送关于所述图像异常的图像数据信息。
15.如权利要求14所述的方法,还包括:
由所述车载信息娱乐处理器确定所述第一信道是不活动的;以及
经由所述车载信息娱乐处理器与所述自主驾驶电子控制单元的微控制器之间的第二信道发送关于所述图像异常的所述图像数据信息。
16.一种车辆,包括:
多个相机,所述多个相机设置在车辆的车身的不同位置处,所述多个相机中的每个相机配置为从所述车辆外部的环境收集图像数据;
自主驾驶电子控制单元;
车载信息娱乐电子控制单元,所述车载信息娱乐电子控制单元与所述自主驾驶电子控制单元分离并且间隔开;以及
从所述多个相机中的第一相机延伸到所述自主驾驶电子控制单元的有线通信连接;
解串器,所述解串器沿着所述有线通信连接接收由所述第一相机收集的图像数据并将由所述第一相机收集的所述图像数据解串为传感器数据;
第一有线通信路径,所述第一有线通信路径设置在所述解串器与所述自主驾驶电子控制单元的处理器之间;
第二有线通信路径,所述第二有线通信路径从所述解串器朝向所述车载信息娱乐电子控制单元延伸,其中,所述传感器数据沿着所述第一有线通信路径从所述解串器被发送到所述自主驾驶电子控制单元的所述处理器并且沿着所述第二有线通信路径从所述解串器朝向所述车载信息娱乐电子控制单元发送。
17.如权利要求16所述的车辆,其中,沿着所述第二有线通信路径被发送的所述传感器数据在到达所述车载信息娱乐电子控制单元的处理器之前依次传递通过车载信息娱乐图像信号处理器、串行器以及然后第二解串器。
18.如权利要求17所述的车辆,其中,所述车载信息娱乐电子控制单元包括所述车载信息娱乐图像信号处理器。
19.如权利要求17所述的车辆,其中,所述自主驾驶电子控制单元包括所述车载信息娱乐图像信号处理器和所述串行器,并且其中,所述车载信息娱乐电子控制单元包括所述第二解串器。
20.如权利要求19所述的车辆,其中,沿着所述第一有线通信路径被发送的所述传感器数据和沿着所述第二有线通信路径被发送的所述传感器数据是相同的解串的数据。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/358,298 | 2021-06-25 | ||
US17/358,298 US11647164B2 (en) | 2021-06-25 | 2021-06-25 | Methods and systems for camera sharing between autonomous driving and in-vehicle infotainment electronic control units |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115520198A true CN115520198A (zh) | 2022-12-27 |
Family
ID=84542881
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210425832.2A Pending CN115520198A (zh) | 2021-06-25 | 2022-04-21 | 图像处理方法、系统和车辆 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11647164B2 (zh) |
CN (1) | CN115520198A (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023006711A (ja) * | 2021-06-30 | 2023-01-18 | 株式会社アイシン | 物体検出システム |
US20230017962A1 (en) * | 2021-07-15 | 2023-01-19 | Waymo Llc | Denial of service response to the detection of illicit signals on the in-vehicle communication network |
US12095805B2 (en) | 2021-07-15 | 2024-09-17 | Waymo Llc | Autonomous vehicle security measures in response to an attack on an in-vehicle communication network |
US20230093126A1 (en) * | 2021-09-17 | 2023-03-23 | Waymo Llc | Snapshots for Evaluating Component Operation in Autonomous Vehicles |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8818275B2 (en) | 2011-03-10 | 2014-08-26 | Continental Automotive Systems, Inc | Enhancing vehicle infotainment systems by adding remote sensors from a portable device |
US20190222823A1 (en) * | 2017-12-18 | 2019-07-18 | Immersive Tech, Inc. | Techniques for Capturing and Rendering Videos with Simulated Reality Systems and for Connecting Services with Service Providers |
KR102618900B1 (ko) * | 2019-01-08 | 2023-12-29 | 삼성전자주식회사 | 디스플레이 장치 및 그 제어 방법 |
CN110278277A (zh) | 2019-06-26 | 2019-09-24 | 大陆投资(中国)有限公司 | 用于实现车载信息娱乐功能的系统 |
US11587314B2 (en) * | 2020-04-08 | 2023-02-21 | Micron Technology, Inc. | Intelligent correction of vision deficiency |
US12097844B2 (en) * | 2020-04-30 | 2024-09-24 | Zoox, Inc. | Constraining vehicle operation based on uncertainty in perception and/or prediction |
CN211557370U (zh) | 2020-05-07 | 2020-09-22 | 华人运通(上海)自动驾驶科技有限公司 | 一种视频处理装置和车辆 |
US11721100B2 (en) * | 2020-05-26 | 2023-08-08 | Ambarella International Lp | Automatic air recirculation systems for vehicles |
-
2021
- 2021-06-25 US US17/358,298 patent/US11647164B2/en active Active
-
2022
- 2022-04-21 CN CN202210425832.2A patent/CN115520198A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220417472A1 (en) | 2022-12-29 |
US11647164B2 (en) | 2023-05-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12080160B2 (en) | Feedback performance control and tracking | |
US11710153B2 (en) | Autonomy first route optimization for autonomous vehicles | |
US10992860B2 (en) | Dynamic seam adjustment of image overlap zones from multi-camera source images | |
US10845803B2 (en) | Method and apparatus for simultaneous processing and logging of automotive vision system with controls and fault monitoring | |
US11821990B2 (en) | Scene perception using coherent doppler LiDAR | |
US9984572B1 (en) | Method and system for sharing parking space availability among autonomous vehicles | |
CN110254392B (zh) | 使用灵活认证装置和方法来提供并控制访问车辆的方法 | |
US10837790B2 (en) | Productive and accident-free driving modes for a vehicle | |
US10286915B2 (en) | Machine learning for personalized driving | |
US10982968B2 (en) | Sensor fusion methods for augmented reality navigation | |
US10946868B2 (en) | Methods and devices for autonomous vehicle operation | |
US11892560B2 (en) | High precision multi-sensor extrinsic calibration via production line and mobile station | |
US11014569B2 (en) | Vehicle control system using nonlinear dynamic model states and steering offset estimation | |
US10818110B2 (en) | Methods and systems for providing a mixed autonomy vehicle trip summary | |
US11636077B2 (en) | Methods, devices, and systems for processing sensor data of vehicles | |
US11702110B2 (en) | Methods and systems to enhance safety of bi-directional transition between autonomous and manual driving modes | |
US11560131B2 (en) | Lane prediction and smoothing for extended motion planning horizon | |
US11647164B2 (en) | Methods and systems for camera sharing between autonomous driving and in-vehicle infotainment electronic control units | |
CN115427251A (zh) | 预测性再生制动 | |
US20200094687A1 (en) | Supplemental battery system | |
CN116359943A (zh) | 使用无源图像传感器和现有光源的飞行时间相机 | |
US11571987B2 (en) | Optimization of battery pack size using swapping | |
US11257230B2 (en) | Adaptive feature map anchor pruning |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |