CN111295599A - 在汽车环境中广播传感器输出的方法和系统 - Google Patents

在汽车环境中广播传感器输出的方法和系统 Download PDF

Info

Publication number
CN111295599A
CN111295599A CN201880070390.6A CN201880070390A CN111295599A CN 111295599 A CN111295599 A CN 111295599A CN 201880070390 A CN201880070390 A CN 201880070390A CN 111295599 A CN111295599 A CN 111295599A
Authority
CN
China
Prior art keywords
vehicle
ecu
data
processing circuit
raw
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880070390.6A
Other languages
English (en)
Inventor
J·H·楚
R·古拉蒂
R·哈德克
A·强恩
R·卡考伊
B·卡蒂班
A·萨克森
S·维欣
S·卡普尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN111295599A publication Critical patent/CN111295599A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/51Display arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Studio Devices (AREA)

Abstract

在汽车环境中广播传感器输出的方法和系统允许诸如相机(108)之类的传感器将相对未处理的(原始)数据输出到两个或更多个不同的处理电路(406,412),其中这些处理电路位于单独且不同的嵌入式控制单元(ECU)中。该两个或更多个不同的处理电路中的第一处理电路处理原始数据供人类消费。该两个或更多个不同的处理电路中的第二处理电路处理原始数据供机器利用,诸如用于自动驾驶功能。此类布置允许在利用来自传感器的数据方面有更大的灵活性,而不会在处理流中施加不适当的等待时间,并且不会损害供人类使用和机器使用的关键性能指标。相机系统(400)的每个相机108(l)‑108(M)与嵌入式控制单元(ECU)(402(l)‑402(M))相关联,每个ECU包括串行化器/解串器(404(l)‑404(M))。相机(108(1))和(108(2))没有操作者功能,并因此将其输出发送到计算机视觉ECU(406),特别是其中的解串器/串行化器(408),以供计算机视觉片上系统(SoC)(410)进行处理。相机(108(3)‑108(M))可用于操作者辅助以及自动驾驶员辅助系统ADAS功能。串行化器/解串器(404(3)‑404(M))包括双端口输出,该双端口输出不仅将原始图像数据提供给计算机视觉ECU(406),而且还提供给资讯娱乐ECU(412)。计算机视觉ECU(406)与资讯娱乐ECU(412)是分开的并且是不同的。解串器/串行化器(414)接收并解串数据,然后将数据传递到具有相关联的显示器(418)的资讯娱乐SoC(416)。此布置允许相对低的等待时间,因为数据并非被一个电路处理且然后被传递到另一电路进行进一步处理。

Description

在汽车环境中广播传感器输出的方法和系统
优先权要求
本申请要求于2017年10月30日提交的题为“METHODS AND SYSTEMS TO BROADCASTCAMERA OUTPUTS IN AN AUTOMOTIVE ENVIRONMENT(在汽车环境中广播相机输出的方法和系统)”的美国临时专利申请S/N.62/578,775的优先权,该临时专利申请的内容通过援引被全部纳入于此。
本申请还要求于2018年9月7日提交的题为“METHODS AND SYSTEMS TO BROADCASTSENSOR OUTPUTS IN AN AUTOMOTIVE ENVIRONMENT(在汽车环境中广播传感器输出的方法和系统)”的美国专利申请S/N.16/125,231的优先权,该专利申请的内容通过援引被全部纳入于此。
背景
I.公开领域
本公开的技术一般地涉及将交通工具中的传感器用于多种目的。
II.背景技术
在计算机出现之前,汽车工业就开始广泛渗透到社会中。早期的计算设备太大且笨重以至于无法纳入到汽车中。然而,随着计算设备的大小和成本下降,交通工具(尤其是汽车)已经着手将计算设备纳入到交通工具的常规操作中。
虽然引擎管理和排气控制见证了计算设备在汽车中的首次广泛使用,但最近的汽车已经见证了计算设备扩散到几乎每个带有能够监视与交通工具操作有关的几乎任何功能的传感器的系统中以及能够为操作者和乘客提供强大的多媒体体验的先进视听系统中。计算能力和计算设备的激增导致协助此类交通工具的安全操作的努力也在增加。
协助交通工具安全操作的一项早期努力是引入倒车相机。操作者能够用来自该相机的图像补充后视镜中可用的视像和通过后窗的直接查看。在许多情况下,可以消除所谓的盲点。近期的进展是使用相机来协助停车,而更近期的进展是见证了对自动驾驶(self-driving)或自主驾驶交通工具的测试。尽管相机可被用于这些活动中的每一者,但是对于用于人类消费的图像(例如,倒车相机视像)相对于用于机器消费的图像(例如,自动停车或自动驾驶用途)可能有不同的处理要求。解决这些不同处理要求的当前方法可以使用重复相机,或可以使用单个集成电路(IC)通过共享的成像处理管道执行两种处理活动。在自动驾驶过程中可以使用其他传感器,诸如雷达、声纳、光检测和测距(LIDAR)、红外等。同样地,其他传感器(诸如测量速度、引擎转数、排气等的传感器)可被用于自动驾驶目的以及性能计算两者。在大多数情况下,当传感器是双重用途时,可能会有重复的传感器或执行两种用途的计算的单个IC。尽管可以接受,但是每种解决方案都涉及折衷。因此,需要针对这些处理要求的更优化的解决方案。
公开概述
详细描述中所公开的各方面包括在汽车环境中广播传感器输出的方法和系统。特别地,诸如相机之类的传感器将相对未处理的(原始)数据输出到两个或更多个不同的处理电路,其中这些处理电路位于单独且不同的嵌入式控制单元(ECU)中。该两个或更多个不同的处理电路中的第一处理电路处理原始数据供人类消费。该两个或更多个不同的处理电路中的第二处理电路处理原始数据供机器利用,诸如用于自动驾驶功能。此类布置允许在利用来自传感器的数据方面有更大的灵活性,而不会在处理流中施加不适当的等待时间,并且不会损害供人类使用和机器使用的关键性能指标。特别地,不同的处理电路可以针对此类处理被不同地优化,并且可以来自不同的供应商(如果需要)。此外,处理电路可以取决于用途而具有不同级别的安全认证。在特别构想的方面中,传感器是相机,并且处理电路是图像处理电路。虽然数据被提供给两个此类图像处理电路,但是整体连接要求可被降低。更进一步,通过将数据复制到两个不同的图像处理电路,数据的完整性不会因在两个集成电路(IC)之间传递时的不必要的编码和解码而受到损害。
就此而言,在一个方面,公开了一种交通工具。该交通工具包括传感器,其被配置成感测与该交通工具有关的数据并输出原始数据。该交通工具还包括第一ECU,该第一ECU包括通信地耦合至传感器并被配置成接收原始数据的第一处理电路。该交通工具还包括与第一ECU分开且不同的第二ECU。第二ECU包括通信地耦合至传感器并被配置成接收原始数据的第二处理电路。
在另一方面,公开了一种交通工具。该交通工具包括图像捕捉传感器,其被配置成感测与该交通工具有关的图像数据并输出原始图像数据。该交通工具还包括第一ECU,该第一ECU包括第一图像处理电路,第一图像处理电路通信地耦合至图像捕捉传感器并被配置成接收原始图像数据并在该交通工具内的显示器上输出原始图像数据的视觉表示。该交通工具还包括与第一ECU分开且不同的第二ECU。第二ECU包括第二图像处理电路,第二图像处理电路通信地耦合至图像捕捉传感器并且被配置成接收原始图像数据并处理原始图像数据供机器利用。
在另一方面,公开了一种方法。该方法包括用交通工具上的相机捕捉图像。该方法还包括将来自相机的原始图像数据提供给第一ECU中的第一图像处理电路。该方法还包括将来自相机的原始图像数据提供给与第一ECU分开且不同的第二ECU中的第二图像处理电路。该方法还包括在由第一图像处理电路进行处理之后,将经处理的图像数据呈现在该交通工具内的显示器上。
在另一方面,公开了一种用于交通工具的ECU。该ECU包括被配置成捕捉交通工具外部的图像的相机。该ECU还包括第一输出端,该第一输出端被配置成将来自相机的原始图像数据提供给第一图像处理电路。该ECU还包括第二输出端,该第二输出端被配置成将来自相机的原始图像数据提供给第二图像处理电路。
附图简述
图1是交通工具内的示例性计算系统的简化示意图;
图2是示例性交通工具上的相机的视野范围的简化俯视图。
图3是为交通工具操作者提供信息化高级驾驶员辅助系统(ADAS)图像的示例性显示器输出;
图4是示例性相机网络的框图,其中相机通过专用的单个串行化器将原始图像数据广播至两个图像处理电路;
图5A是第二示例性相机网络的框图,其中相机将原始图像数据提供给第一图像处理电路,并且直通电路将原始图像数据传递给第二图像处理电路;
图5B是类似于图5A的另一直通电路的框图;
图6是第三示例性相机网络的框图,其中相机与两个串行化器一起工作以将原始图像数据提供给两个图像处理电路;以及
图7是解说用于将原始图像数据广播到交通工具中的多个图像处理电路的示例性过程的流程图。
详细描述
现在参照附图,描述了本公开的若干示例性方面。措辞“示例性”在本文中用于意指“用作示例、实例、或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
详细描述中所公开的各方面包括在汽车环境中广播传感器输出的方法和系统。特别地,诸如相机之类的传感器将相对未处理的(原始)数据输出到两个或更多个不同的处理电路,其中这些处理电路位于单独且不同的嵌入式控制单元(ECU)中。该两个或更多个不同的处理电路中的第一处理电路处理原始数据供人类消费。该两个或更多个不同的处理电路中的第二处理电路处理原始数据供机器利用,诸如用于自动驾驶功能。此类布置允许在利用来自传感器的数据方面有更大的灵活性,而不会在处理流中施加不适当的等待时间,并且不会损害供人类使用和机器使用的关键性能指标。特别地,不同的处理电路可以针对此类处理被不同地优化,并且可以来自不同的供应商(如果需要)。此外,处理电路可以取决于用途而具有不同级别的安全认证。在特别构想的方面中,传感器是相机,并且处理电路是图像处理电路。虽然数据被提供给两个此类图像处理电路,但是整体连接要求可被降低。更进一步,通过将数据复制到两个不同的图像处理电路,数据的完整性不会因在两个集成电路(IC)之间传递时的不必要的编码和解码而受到损害。
虽然本公开的大部分内容是在相机和图像处理的上下文中呈现的,但是本公开并不局限于此,并且读者应当理解,在本文所阐述的系统和方法中也容易使用其他种类的图像传感器,诸如雷达、光检测和测距(LIDAR)、声纳、红外、微波、毫米波、3d点云等。例如,可以将原始雷达数据转换为b扫描并呈现给操作者,同时可以并发地将原始数据用于机器视觉感知和计划。同样地,尽管具体地构想了图像传感器和图像处理,但是可在多个上下文中使用的其他种类的传感器也可以从本公开中受益。例如,来自传感器的可用于控制引擎的数据也可被呈现以供人类感知。产生此类操作控制和信息化数据的其他传感器也可以从本公开中受益。
就此而言,图1是交通工具100的简化框图。交通工具100被解说为汽车,但是可以是另一种形式的交通工具,诸如摩托车、船、飞机等。交通工具100可以包括各种传感器102(1)-102(N),其中,如图所示,N=7。应当理解,可以存在多于或少于七个传感器102。传感器102(1)-102(N)可以是使用声纳、激光或某种形式的雷达来检测邻近物体的邻近度传感器。附加地,交通工具100可包括一个或多个内部传感器104(1)-104(2)。内部传感器104(1)-104(2)可以检测门106是否打开或交通工具100的其他内部状况。交通工具100可以进一步包括一个或多个相机108(1)-108(M),其中,如图所示,M=4。应当理解,可以存在多于或少于四个相机108。交通工具100可以具有将传感器102和104中的一些或全部耦合到中枢112的网络110。可以存在网桥114以协助提供网络110。显示器116和扬声器118也可以与网络110相关联。中枢112可以包括访问存储在存储器120中的软件的控制系统。尽管本公开的各方面构想了相机108(1)-108(M)被定向成向外(尽管它们可以定位在内部或外部),但是有可能可以使用部分或全部相机108(1)-108(M)来监视交通工具100的内部(例如,观察驾驶员是否清醒或分心)。
网络110可以是单个同构网络(诸如具有多点或环形拓扑的公共总线),或者可以由不同的通信链路(诸如单独的点对点电缆)形成。
在实践中,相机108(1)-108(M)可以在显示器116之一上将倒车视像提供给操作者,以及将数据提供给控制系统以协助高级驾驶员辅助系统(ADAS)。相机传感器原始输出可被转换为YUV以供人类消费,或可被转换为灰阶以供机器消费。相机传感器原始输出(RGGB,RCCB,RCCC,RCCG)甚至可以被直接馈入深度神经网络以用于在ADAS中进行对象检测和跟踪。图2解说了相机108(1)-108(8)的示例性视场集合。如图所示,相机108(1)-108(4)是用于交通、行人和标牌检测的侧面相机,并且可以是全幅鱼眼高动态范围(HDR)相机。相机108(5)可以是具有圆形鱼眼HDR相机的后向相机。相机108(6)-108(8)可以是正向的并且执行不同的功能。相机108(6)可以是广角的,带有用于插入、行人和交通信号灯检测的全幅鱼眼镜头。相机108(7)可以是具有大致准直透镜的主相机,用于检测物体、车道和交通信号灯以及帮助路径定界和横向控制辅助。相机108(8)可以是窄准直的,用于物体、车道、交通信号灯和碎片检测。相机108(8)的范围可以大于相机108(7)的范围。
图3解说了在显示器116之一上的来自相机108(5)的输出,同时还允许用户通过触摸按钮300选择来自不同相机的不同视像。
在传统系统中,单个集成电路(IC)可以用作控制系统。这样的方法给需要相对较大电路的IC施加了很大的负担,该电路可能具有大的和/或昂贵的硅面积以及大量封装要求。由于大的管芯面积,这种大型硅元件可能具有低成品率。同样,这样的大型多功能电路可能会导致独立的处理功能竞争访问相关联的共享存储器,这可能会影响性能、可靠性和/或需要电路与存储器之间的附加链路。其他传统系统可以经由共享总线链路将不止一个IC连接在一起,诸如外围组件互连(PCI)高速(PCIe),从而需要仔细考虑和划分处理任务及跨IC集合的数据传递,并需要考虑共享存储器空间和可用总线通信数据率。本公开的各示例性方面允许多个不同的数据处理电路与传感器进行互操作,从而减少对这种大型多功能电路的需求。使用多个数据处理电路的能力允许数据处理电路针对特定功能进行优化,并将不同功能分开以免竞争相同的共享存储器资源,这进而可允许对不同的数据处理电路进行不同的安全认证。成本节省可以是有可能的,因为可能不需要针对不同电路进行认证测试的费用。如上所述,在特别构想的方面中,数据处理电路是图像处理电路,并且数据是可以根据图像处理电路是与机器消费还是与人类消费相关联而被不同地处理的图像数据。
就此而言,本公开的各示例性方面允许相机108(1)-108(M)将原始图像数据广播至多个图像处理电路。在图4-6中解说了四个示例性网络结构。
参考图4,解说了相机系统400,其中每个相机108(1)-108(M)与嵌入式控制单元(ECU)402(1)-402(M)相关联,该嵌入式控制单元可具有必要且充足的结构来容纳相关联的相机108(1)-108(M)、本地存储器(未示出)、可选控制系统(未示出)以及网络接口。网络接口可以是简单的同轴电缆插座等。另外,每个ECU 402(1)-402(M)包括串行化器/解串器404(1)-404(M)。相机108(1)-108(M)中的一些(例如相机108(1)和108(2))可能没有操作者功能,并因此串行化器/解串器404(1)和404(2)可以将其输出发送到计算机视觉ECU406,特别是其中的解串器/串行化器408,以供计算机视觉片上系统(SoC)410进行处理。相反,一些相机(例如,相机108(3)-108(M))对于操作者辅助以及ADAS功能两者可能都是有用的。串行化器/解串器404(3)-404(M)可以包括双端口输出,该双端口输出不仅将原始图像数据提供给计算机视觉ECU 406,而且还提供给资讯娱乐ECU 412。应当理解,计算机视觉ECU 406与资讯娱乐ECU 412是分开的并且是不同的。解串器/串行化器414接收并解串数据,然后将数据传递到具有相关联的显示器418的资讯娱乐SoC 416。注意,虽然被称为资讯娱乐SoC,但是应当理解,SoC 416可以仅具有非娱乐功能,诸如控制倒车相机向操作者的显示。这样的实现是因制造商而异的而非本公开的中心。感兴趣的是将来自ECU 402(1)-402(M)的原始图像数据广播至处理原始图像数据以供计算机或机器使用(即,ADAS功能)的图像处理电路以及处理原始图像数据以通过显示器呈现给人类的图像处理电路两者的能力。通过使处理功能分叉,可以在从单个共享相机传感器获取输入的同时针对相应功能优化图像处理电路。同样,用于ADAS功能的图像处理电路可符合汽车安全完整性等级(ASIL)D级(ASIL-D)(或根据需要符合ASIL-C或–B),而用于人类消费的图像处理电路不必达到该严格标准。此外,此布置允许相对低的等待时间,因为数据并非被一个电路处理且然后被传递到另一电路进行进一步处理。更进一步,此布置避免了由于编码、解码和/或压缩以获得特定网络格式(例如,以太网交通工具网络)的数据而导致的数据损坏。
图5A提供了替换相机系统500,其中所有ECU 502(1)-502(M)将原始数据提供给第一ECU 504。原始数据由解串器/串行化器506和508解串。来自解串器/串行化器506的数据被提供给计算机视觉SoC 510。来自解串器/串行化器508的数据被提供给计算机视觉SoC510和第二ECU 512两者。在示例性方面中,数据由串行化器/解串器514重新串行化,然后被传送到第二ECU 512。因此,数据通过穿过第一ECU 504被提供给第二ECU 512。在另一示例性方面,数据以并行格式被传递到第二ECU 512。在又一方面,数据在到达解串器/串行化器508之前被多路复用,并且一条路径传递到第二ECU 512,而在到达第二ECU 512之前根本没有被解串。在第二ECU 512处,解串器/串行化器516解串数据(如果需要),并将数据提供给资讯娱乐SoC 518。尽管替换相机系统500在第一ECU 504和第二ECU 512之间具有额外的连接,但是此连接不会造成较大的等待时间延迟。上面针对图4的相机系统400概述的大多数其他优点也可用于替换相机系统500。进一步注意,此布置允许资讯娱乐SoC 518在计算机视觉SoC 510中发生故障时提供冗余。
替换相机系统500的接近变体是图5B中解说的替换相机系统500B。替换相机系统500B还提供直通布置。然而,代替在第一ECU 504B内进行解串和串行化,第一ECU 504B具有多路复用器530,该多路复用器530从ECU 502(1)-502(M)获取原始数据并向第二ECU 512提供单个输出,其中数据由解串器/串行化器516解串。
在图6中解说了第四相机系统600。在许多方面,相机系统600类似于图4的相机系统400,但是使用两个串行化器602A(3)-602A(M)和602B(3)-602B(M)来代替具有两个输出端的串行化器/解串器。
应当理解,尽管在图4-6中仅解说了传感器数据的两种用途,但是本公开不限于此。原始数据可以被提供给两个或更多个不同的处理电路。在示例性方面,原始数据可以被提供给机器视觉处理电路、人类视觉处理电路和数据日志记录电路。
参考图7提供了操作方法的流程图。过程700开始于用交通工具上的相机捕捉图像(框702),并将来自相机的原始图像数据提供给第一图像处理电路(框704)。原始图像数据还从相机被提供给第二图像处理电路(框706)。原始图像数据然后在由第一图像处理电路处理后作为经处理的图像数据被呈现在交通工具内的显示器上(框708)。并发地,原始图像数据被第二图像处理电路用于ADAS功能(框710)。
如本文所使用的,原始图像数据包括但不限于拜耳(Bayer)RGB图像数据、RCCB、RCCC、RCCG和单色。
尽管特别构想了适用于汽车,但是应当理解,本文公开的概念也适用于其他交通工具。
尽管不是本公开的中心,但是应当理解,在许多情况下,在各ECU之间存在虚拟反向通道或其他反向通道。因此,尽管上面的讨论可能集中在自相机的链路的串行化器部分到该链路在计算机视觉SoC端的解串器部分,但反向通道可以允许数据从SoC传递到相机。
本领域技术人员将进一步领会,结合本文所公开的各方面描述的各种解说性逻辑块、模块、电路和算法可被实现为电子硬件、存储在存储器中或另一计算机可读介质中并由处理器或其他处理设备执行的指令、或这两者的组合。作为示例,本文中描述的设备可被用在任何电路、硬件组件、IC、或IC芯片中。本文中所公开的存储器可以是任何类型和大小的存储器,且可配置成存储所需的任何类型的信息。为清楚地解说这种可互换性,各种解说性组件、框、模块、电路和步骤在上文已经以其功能性的形式一般性地作了描述。此类功能性如何被实现取决于具体应用、设计选择、和/或加诸于整体系统上的设计约束。技术人员可针对每种特定应用以不同方式来实现所描述的功能性,但此类实现决策不应被解读为致使脱离本公开的范围。
结合本文中所公开的各方面描述的各种解说性逻辑块、模块、以及电路可用设计成执行本文中描述的功能的处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其任何组合来实现或执行。处理器可以是微处理器,但在替换方案中,处理器可以是任何常规处理器、控制器、微控制器或状态机。处理器还可以被实现为计算设备的组合(例如DSP与微处理器的组合、多个微处理器、与DSP核协作的一个或多个微处理器、或任何其他此类配置)。
本文所公开的各方面可被体现为硬件和存储在硬件中的指令,并且可驻留在例如随机存取存储器(RAM)、闪存、只读存储器(ROM)、电可编程ROM(EPROM)、电可擦可编程ROM(EEPROM)、寄存器、硬盘、可移动盘、CD-ROM、或本领域中所知的任何其它形式的计算机可读介质中。示例性存储介质被耦合至处理器,以使得处理器能从/向该存储介质读取信息和写入信息。替换地,存储介质可被整合到处理器。处理器和存储介质可驻留在ASIC中。ASIC可驻留在远程站中。在替换方案中,处理器和存储介质可作为分立组件驻留在远程站、基站或服务器中。
还注意到,本文任何示例性方面中描述的操作步骤是为了提供示例和讨论而被描述的。所描述的操作可按除了所解说的顺序之外的众多不同顺序来执行。此外,在单个操作步骤中描述的操作实际上可在数个不同步骤中执行。另外,示例性方面中讨论的一个或多个操作步骤可被组合。应理解,如对本领域技术人员显而易见地,在流程图中解说的操作步骤可进行众多不同的修改。本领域技术人员还将理解,可使用各种不同技术和技艺中的任何一种来表示信息和信号。例如,贯穿上面说明始终可能被述及的数据、指令、命令、信息、信号、比特、码元和码片可由电压、电流、电磁波、磁场或磁粒子、光场或光粒子、或其任何组合来表示。
提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对于本领域技术人员将是显而易见的,并且本文中所定义的普适原理可被应用于其他变形。由此,本公开并非旨在被限定于本文中所描述的示例和设计,而是应被授予与本文中所公开的原理和新颖特征一致的最广义的范围。

Claims (23)

1.一种交通工具,包括:
传感器,所述传感器被配置成感测与所述交通工具有关的数据并输出原始数据;
第一嵌入式控制单元(ECU),所述第一嵌入式控制单元(ECU)包括通信地耦合至所述传感器并配置成接收所述原始数据的第一处理电路;以及
与第一ECU分开且不同的第二ECU,所述第二ECU包括通信地耦合至所述传感器并配置成接收所述原始数据的第二处理电路。
2.如权利要求1所述的交通工具,其特征在于,所述传感器包括图像捕捉传感器,第一处理电路包括第一图像处理电路,而第二处理电路包括第二图像处理电路。
3.如权利要求2所述的交通工具,其特征在于,所述传感器包括雷达传感器、光检测和测距(LIDAR)传感器、声纳传感器或相机中的一者。
4.如权利要求2所述的交通工具,其特征在于,进一步包括内部显示器,所述内部显示器耦合到第一图像处理电路并且配置成在来自所述传感器的图像被所述第一图像处理电路处理之后在所述内部显示器上呈现所述图像。
5.如权利要求2所述的交通工具,其特征在于,所述第二图像处理电路被配置成处理所述原始数据以用于高级驾驶员辅助系统(ADAS)。
6.如权利要求2所述的交通工具,其特征在于,所述传感器被定位在所述交通工具上以便感测在所述交通工具前方、所述交通工具侧面或所述交通工具后方的数据。
7.如权利要求2所述的交通工具,其特征在于,进一步包括串行化器,所述串行化器耦合到所述传感器并且耦合到第一图像处理电路和第二图像处理电路两者,其中所述串行化器将所述原始数据提供给第一图像处理电路和第二图像处理电路。
8.如权利要求2所述的交通工具,其特征在于,进一步包括第一串行化器以及第二串行化器,第一串行化器耦合到所述传感器并且配置成将所述原始数据提供给第一图像处理电路,第二串行化器耦合到所述传感器并且配置成将所述原始数据提供给第二图像处理电路。
9.如权利要求2所述的交通工具,其特征在于,进一步包括:
第一串行化器,所述第一串行化器耦合到所述传感器和第一图像处理电路;以及
直通电路,所述直通电路配置成从第一串行化器接收所述原始数据,并将所述原始数据提供给第二图像处理电路。
10.如权利要求9所述的交通工具,其特征在于,第一ECU进一步包括:
第一解串器,所述第一解串器配置成从所述第一串行化器接收所述原始数据;以及
第二串行化器,所述第二串行化器配置成从第一解串器接收所述原始数据并将所述原始数据发送到第二ECU。
11.如权利要求1所述的交通工具,其特征在于,所述原始数据包括拜耳RGB数据。
12.如权利要求1所述的交通工具,其特征在于,所述传感器包括高动态范围(HDR)相机。
13.如权利要求1所述的交通工具,其特征在于,进一步包括与第一ECU分开且不同的第三ECU,所述第三ECU包括通信地耦合至所述传感器并配置成接收所述原始数据的第三处理电路。
14.如权利要求1所述的交通工具,其特征在于,所述第二处理电路至多符合汽车安全完整性等级(ASIL)D级(ASIL-D)。
15.如权利要求1所述的交通工具,其特征在于,所述传感器被配置成检测所述交通工具内的状况。
16.一种交通工具,包括:
图像捕捉传感器,所述图像捕捉传感器配置成感测与所述交通工具有关的图像数据并输出原始图像数据;
第一嵌入式控制单元(ECU),所述第一嵌入式控制单元(ECU)包括第一图像处理电路,所述第一图像处理电路通信地耦合至所述图像捕捉传感器并配置成接收所述原始图像数据并在所述交通工具内的显示器上输出所述原始图像数据的视觉表示;以及
与第一ECU分开且不同的第二ECU,所述第二ECU包括第二图像处理电路,所述第二图像处理电路通信地耦合至所述图像捕捉传感器并配置成接收所述原始图像数据并处理所述原始图像数据以供机器利用。
17.如权利要求16所述的交通工具,其特征在于,所述机器利用包括高级驾驶员辅助系统(ADAS)。
18.一种方法,包括:
用交通工具上的相机捕捉图像;
将来自所述相机的原始图像数据提供给第一嵌入式控制单元(ECU)中的第一图像处理电路;
将来自所述相机的所述原始图像数据提供给与第一ECU分开且不同的第二ECU中的第二图像处理电路;以及
在由所述第一图像处理电路处理之后,将经处理的图像数据呈现在所述交通工具内的显示器上。
19.如权利要求18所述的方法,其特征在于,进一步包括通过所述第二图像处理电路将来自所述相机的所述原始图像数据用于机器视觉目的。
20.如权利要求19所述的方法,其特征在于,将所述原始图像数据用于机器视觉目的包括将所述原始图像数据用于高级驾驶员辅助系统(ADAS)。
21.一种用于交通工具的嵌入式控制单元(ECU),所述ECU包括:
相机,所述相机配置成捕捉交通工具外部的图像;
第一输出端,所述第一输出端配置成将来自所述相机的原始图像数据提供给第一图像处理电路;以及
第二输出端,所述第二输出端配置成将来自所述相机的所述原始图像数据提供给第二图像处理电路。
22.如权利要求21所述的ECU,其特征在于,进一步包括串行化器,所述串行化器包括所述第一输出端和所述第二输出端。
23.如权利要求21所述的ECU,其特征在于,进一步包括第一串行化器和第二串行化器,所述第一串行化器包括所述第一输出端而所述第二串行化器包括所述第二输出端。
CN201880070390.6A 2017-10-30 2018-09-10 在汽车环境中广播传感器输出的方法和系统 Pending CN111295599A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201762578775P 2017-10-30 2017-10-30
US62/578,775 2017-10-30
US16/125,231 US20190132555A1 (en) 2017-10-30 2018-09-07 Methods and systems to broadcast sensor outputs in an automotive environment
US16/125,231 2018-09-07
PCT/US2018/050287 WO2019089132A1 (en) 2017-10-30 2018-09-10 Methods and systems to broadcast sensor outputs in an automotive environment

Publications (1)

Publication Number Publication Date
CN111295599A true CN111295599A (zh) 2020-06-16

Family

ID=66244537

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880070390.6A Pending CN111295599A (zh) 2017-10-30 2018-09-10 在汽车环境中广播传感器输出的方法和系统

Country Status (4)

Country Link
US (1) US20190132555A1 (zh)
EP (1) EP3704512A1 (zh)
CN (1) CN111295599A (zh)
WO (1) WO2019089132A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11163303B2 (en) * 2018-02-13 2021-11-02 Nvidia Corporation Sharing sensor data between multiple controllers to support vehicle operations
JP6607272B2 (ja) * 2018-03-02 2019-11-20 株式会社Jvcケンウッド 車両用記録装置、車両用記録方法及びプログラム
JP2019159380A (ja) * 2018-03-07 2019-09-19 株式会社デンソー 物体検知装置、物体検知方法およびプログラム
US20200039448A1 (en) * 2018-08-01 2020-02-06 Magna Electronics Inc. Vehicular camera system with dual video outputs
US11810363B2 (en) * 2019-01-31 2023-11-07 Toyota Motor North America, Inc. Systems and methods for image processing using mobile devices
US20210110217A1 (en) * 2019-10-11 2021-04-15 Zf Active Safety And Electronics Us Llc Automotive sensor fusion
CN111347976B (zh) * 2020-03-11 2021-06-04 广州小鹏汽车科技有限公司 车载显示系统及车辆
CN111932715A (zh) * 2020-08-13 2020-11-13 昆易电子科技(上海)有限公司 一种自动驾驶数据采集及转发装置及方法
US11863712B1 (en) * 2021-10-06 2024-01-02 Samsara Inc. Daisy chaining dash cams
CN114666515A (zh) * 2022-03-29 2022-06-24 上海富瀚微电子股份有限公司 一种原始图像数据的实时获取装置及其方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100097202A1 (en) * 2008-07-30 2010-04-22 Fujitsu Ten Limited Eco-drive assist apparatus and method
CN102548822A (zh) * 2009-12-28 2012-07-04 丰田自动车株式会社 驾驶辅助装置
GB2490131A (en) * 2011-04-19 2012-10-24 Acard Technology Corp A vehicular around-view driving monitor and recorder
US9229526B1 (en) * 2012-09-10 2016-01-05 Amazon Technologies, Inc. Dedicated image processor
CN105388801A (zh) * 2014-08-27 2016-03-09 瑞萨电子株式会社 控制系统、中继装置和控制方法
US20170223306A1 (en) * 2016-02-02 2017-08-03 Magna Electronics Inc. Vehicle vision system with smart camera video output

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2516698B (en) * 2013-07-30 2017-03-22 Jaguar Land Rover Ltd Vehicle distributed network providing feedback to a user
US10120715B2 (en) * 2015-12-10 2018-11-06 Automotive Research & Testing Center Distributed network management system and method for a vehicle

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100097202A1 (en) * 2008-07-30 2010-04-22 Fujitsu Ten Limited Eco-drive assist apparatus and method
CN102548822A (zh) * 2009-12-28 2012-07-04 丰田自动车株式会社 驾驶辅助装置
GB2490131A (en) * 2011-04-19 2012-10-24 Acard Technology Corp A vehicular around-view driving monitor and recorder
US9229526B1 (en) * 2012-09-10 2016-01-05 Amazon Technologies, Inc. Dedicated image processor
CN105388801A (zh) * 2014-08-27 2016-03-09 瑞萨电子株式会社 控制系统、中继装置和控制方法
US20170223306A1 (en) * 2016-02-02 2017-08-03 Magna Electronics Inc. Vehicle vision system with smart camera video output

Also Published As

Publication number Publication date
US20190132555A1 (en) 2019-05-02
EP3704512A1 (en) 2020-09-09
WO2019089132A1 (en) 2019-05-09

Similar Documents

Publication Publication Date Title
CN111295599A (zh) 在汽车环境中广播传感器输出的方法和系统
US11704781B2 (en) Enhanced high-dynamic-range imaging and tone mapping
US10116873B1 (en) System and method to adjust the field of view displayed on an electronic mirror using real-time, physical cues from the driver in a vehicle
TWI827642B (zh) 在多片上系統環境中共用感測器的裝置、方法和電腦可讀取媒體
US11908104B2 (en) Weighted normalized automatic white balancing
WO2022134364A1 (zh) 车辆的控制方法、装置、系统、设备及存储介质
CN211956161U (zh) 一种域控制器系统及汽车
US9563582B2 (en) Modular device, system, and method for reconfigurable data distribution
WO2017066956A1 (zh) 车载监控方法及装置
JP7280874B2 (ja) 固体撮像素子、撮像装置、および、固体撮像素子の制御方法
US20180268227A1 (en) Image recording system, image recording method and image recording program
CN109318799B (zh) 汽车、汽车adas系统及其控制方法
CN105270260A (zh) 结合传感器的车用智能影像安全系统
US11689812B2 (en) Camera system included in vehicle and control method therefor
DE102022117475A1 (de) Übermitteln von fehlern an einen isolierten sicherheitsbereich eines systems auf einem chip
Nikolić Embedded vision in advanced driver assistance systems
US11573856B1 (en) Transmitting data between regions of varying safety integrity levels in a system on a chip
US20210255984A1 (en) Vehicular sensor testing system with standardized i2c communication
EP3787282A1 (en) Imaging device
CN218768138U (zh) 片上系统及智能行车系统
EP4243410A1 (en) Method for safety monitoring of a communication network of an automated vehicle, and communication network
JP2023126074A (ja) 対象システムに対する診断動作の実行
CN115593313A (zh) 一种车辆驾驶辅助系统
DE112022003757T5 (de) Übertragung von daten zwischen regionen mit variierenden sicherheitsintegritätsstufen in einem system auf einem chip
TWI555655B (zh) 攝影機、遠端控制系統及遠端控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200616