CN114467260A - 驾驶员辅助系统的有损压缩的高级驾驶辅助系统传感器数据处理 - Google Patents

驾驶员辅助系统的有损压缩的高级驾驶辅助系统传感器数据处理 Download PDF

Info

Publication number
CN114467260A
CN114467260A CN202080066498.5A CN202080066498A CN114467260A CN 114467260 A CN114467260 A CN 114467260A CN 202080066498 A CN202080066498 A CN 202080066498A CN 114467260 A CN114467260 A CN 114467260A
Authority
CN
China
Prior art keywords
driver assistance
assistance system
advanced driver
sensor
adas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080066498.5A
Other languages
English (en)
Inventor
E·施特里格尔
S·海因里希
D·科雷克尔
T·费希纳
M·普菲泽
R·蒂尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Continental Zhixing Germany Co ltd
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Publication of CN114467260A publication Critical patent/CN114467260A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3059—Digital compression and data reduction techniques where the original information is represented by a subset or similar information, e.g. lossy compression
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/60—General implementation details not specific to a particular type of compression
    • H03M7/6005—Decoder aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Abstract

本发明涉及一种高级驾驶员辅助系统传感器数据处理装置(40、28、58、70)和一种用于驾驶员辅助系统或车辆自动驾驶系统的高级驾驶员辅助系统(ADAS)传感器数据分析评估方法。根据本发明的高级驾驶员辅助系统传感器数据处理装置(40、28、58、70)包括输入接口(401、281、581、701)、解压模块(7)、处理单元(44、22、55)和输出单元(400、280、57)。输入接口(401、281、581、701)设置用于，接收高级驾驶员辅助系统(ADAS)传感器(1、14)的数据，该数据已被压缩模块(6)有损压缩。解压模块(7)设置用于，解压高级驾驶员辅助系统(ADAS)传感器(1、14)的压缩数据(IcSD)。处理单元(44、22、55)设置用于，处理高级驾驶员辅助系统(ADAS)传感器(1、14)的解压数据(IdSD)，其中，与高级驾驶员辅助系统(ADAS)/自动驾驶(AD)功能相关的信息(RI)从解压的传感器数据(IdSD)中获知。输出单元(400、280、57)设置用于，输出所获知的与高级驾驶员辅助系统(ADAS)功能相关的信息(RI)。使用有损压缩的优点是在研发过程中减少持久存储所获取传感器数据所需的内存数量，减少将传感器数据传输到处理单元所需的频带宽度，以及在“智能”高级驾驶员辅助系统(ADAS)传感器内传输数据只需很小的频带宽度。

Description

驾驶员辅助系统的有损压缩的高级驾驶辅助系统传感器数据 处理
技术领域
本发明涉及高级驾驶员辅助系统(ADAS)传感器数据处理装置、高级驾驶员辅助系统(ADAS)的传感器系统和用于驾驶员辅助系统或车辆自动驾驶系统的高级驾驶员辅助系统(ADAS)传感器数据分析评估方法。
背景技术
用于全面辅助或自动驾驶(缩写AD，英文Automated Driving)的车载ADAS(英文Advanced Driver Assistance Systems，中文：高级驾驶辅助系统)或周围环境检测传感器的数量正在迅速增加。单一高级驾驶员辅助系统(ADAS)传感器的数据量同样也在增加。例如，未来高级驾驶员辅助系统(ADAS)摄像机的图像传感器将有越来越多的像素，能以更好的分辨率和更大的检测区域(视野)检测目标。
随着车载高级驾驶辅助系统(ADAS)传感器网络数据量的增加，人们正在寻求压缩数据的解决方案。
目标是减少高级驾驶辅助系统(ADAS)传感器数据在车辆总线上传输的数据量。
当前高级驾驶辅助系统(ADAS)领域中的系统使用无损压缩算法减少数据量。然而，由此实现的压缩率是有限的。
发明内容
本发明的第一观点涉及的是高级驾驶员辅助系统(ADAS)传感器数据传输中可使压缩率明显提高的有损压缩算法的使用。
另一观点涉及的是用于分析评估有损压缩的高级驾驶员辅助系统(ADAS)传感器数据的高级驾驶员辅助系统(ADAS)传感器数据处理装置和传感器系统架构。
另一观点涉及的是减少要存储数据，以便为研发、测试和可能的算法验证进行后续的分析评估。
在此，基本考虑的是以下几点：
如果决定使用有损压缩存储研发和测试传感器数据，并用于高级驾驶员辅助系统(ADAS)传感器(例如卫星照摄像机)和处理高级驾驶员辅助系统(ADAS)传感器数据的计算单元(或处理单元)(例如车辆辅助或自动驾驶中央控制器(ADCU))之间的传输，会有以下后果：
-在处理单元上使用的算法必须是专为有损数据研发的，或至少要证明其适用于有损数据。
-如果同样的算法也要用于“智能”高级驾驶员辅助系统(ADAS)传感器(传感器数据检测和计算单元是“一站式”)，则在此也必须使用有损数据。只有这样才能确保算法特性一致，并能基于所记录数据对这类算法进行验证。
根据本发明所述高级驾驶员辅助系统(ADAS)传感器数据处理装置包括输入接口、解压模块、处理单元和输出单元。输入接口设置用于，接收高级驾驶员辅助系统(ADAS)传感器已被压缩模块进行了有损压缩的数据。解压模块设置用于，解压高级驾驶员辅助系统(ADAS)传感器的压缩数据。处理单元设置用于，处理或分析评估高级驾驶员辅助系统(ADAS)传感器的解压数据，其中，与高级驾驶员辅助系统(ADAS)/自动驾驶(AD)功能相关的信息由解压传感器数据获知。输出单元设置用于，输出获知的、与高级驾驶员辅助系统(ADAS)/自动驾驶(AD)功能相关的信息。
根据本发明所述，用于车辆的高级驾驶员辅助系统(ADAS)的传感器系统包括至少一个高级驾驶员辅助系统(ADAS)传感器、具有数据输出接口的压缩模块和根据本发明所述高级驾驶员辅助系统(ADAS)传感器数据处理装置。
高级驾驶员辅助系统(ADAS)传感器设置用于，生成与检测到的车辆周围环境有关的数据，并将数据传输到压缩模块。压缩模块设置用于，有损压缩传感器生成的数据。数据输出接口设置用于，向高级驾驶员辅助系统(ADAS)传感器数据处理装置的输入接口输出经压缩的传感器数据。
使用有损压缩的优点是在研发过程中减少持久存储所获取传感器数据所需的内存数量，减少将传感器数据传输到处理单元所需的频带宽度，以及在“智能”高级驾驶员辅助系统(ADAS)传感器内传输数据只需很小的频带宽度。
根据优选的其他结构形式，高级驾驶员辅助系统(ADAS)的传感器系统(仅)包括一个壳体，高级驾驶员辅助系统(ADAS)传感器数据处理装置例如作为SoC(片上系统)被整合在该壳体中。该高级驾驶员辅助系统(ADAS)的传感器系统也可被称为智能、灵便或一站式传感器系统。这类智能传感器系统尤其预先规定压缩模块和解压模块“先后”实施“同步”操控。在此，特殊之处在于，在高级驾驶员辅助系统(ADAS)的传感器系统内，传感器生成的数据先借助整合压缩模块进行有损压缩，然后再由整合的解压模块进行解压。从传统观点来看，这在传感器内似乎很麻烦，甚至是荒谬的，因为人们接受的是处理单元处理有损解压的高级驾驶员辅助系统(ADAS)传感器数据，而不是在高级驾驶员辅助系统(ADAS)的传感器系统内其他地方获取的“完整”原始数据。
作为高级驾驶员辅助系统(ADAS)传感器数据处理装置替代选择的有益设计方案预先规定，高级驾驶员辅助系统(ADAS)传感器数据处理装置是外部单元，它可以有线或无线的方式与车辆中单独设置的高级驾驶员辅助系统(ADAS)的传感器系统(通常没有自己的集成数据处理单元)相连接。这类外部高级驾驶员辅助系统(ADAS)传感器处理装置尤其可以是车辆的用于高级驾驶员辅助系统(ADAS)/自动驾驶(AD)功能的中央控制器(车辆辅助或自动驾驶中央控制器(ADCU))。
换句话说，本发明涉及的是高级驾驶员辅助系统(ADAS)传感器或高级驾驶员辅助系统(ADAS)摄像机内数据压缩单元后的解压单元设置。在一种情况下，这可以是一种一站式智能传感器/摄像机，或是一种两站式传感器/摄像机，带有单独的传感器头和到处理站的传输区段。如果使用有损压缩，传感器数据分析评估的算法必须针对这类有损数据进行调整适配或至少进行验证。如果在智能传感器(一站式)和带附加处理单元的独立传感器(两站式)中使用相同的算法，则智能传感器中的传感器数据必须在输入后进行压缩，然后再进行解压(或仅简单进行“转码”)。这确保传感器数据分析评估算法有相同的输出条件。
高级驾驶员辅助系统(ADAS)的传感器系统的高级驾驶员辅助系统(ADAS)传感器或用于高级驾驶员辅助系统(ADAS)传感器数据处理装置的高级驾驶员辅助系统(ADAS)传感器优选可以是摄像机传感器，并且高级驾驶员辅助系统(ADAS)传感器数据由此可以是图像数据。例如，高级驾驶员辅助系统(ADAS)摄像机传感器生成的图像数据以有损压缩形式交给高级驾驶员辅助系统(ADAS)传感器数据处理装置的输入接口。在此情况下，传感器数据处理相当于图像处理。
处理单元优选可以是图像处理单元，或可在处理单元上实施图像处理算法，从而将处理单元设置用于目标检测、车道标记检测、交通标志检测、交通信号灯信号检测、光源检测和/或车辆周围环境的空间重建。
根据有益的其他结构形式，用于图像数据的高级驾驶员辅助系统(ADAS)传感器数据处理装置包括光流计算模块，所述模块设置用于，获知由摄像机传感器在不同时间点检测到的两个单一图像未压缩图像数据之间的光流，并将所获知的光流提供给处理单元。
本发明另一标的涉及用于根据本发明所述高级驾驶员辅助系统(ADAS)摄像机传感器系统的图像预处理模块，所述模块包括输入单元、光流计算模块、压缩模块和输出单元。输入单元设置用于，接收高级驾驶员辅助系统(ADAS)摄像机传感器的未压缩图像数据。光流计算模块设置用于，确定高级驾驶员辅助系统(ADAS)摄像机传感器在不同时间点检测到两幅单一图像未压缩图像数据间的光流。压缩模块设置用于，对高级驾驶员辅助系统(ADAS)摄像机传感器接收的未压缩图像数据进行有损压缩。输出单元设置用于，将所获知的光流和经压缩的图像数据输出到根据本发明所述用于摄像机图像数据的高级驾驶员辅助系统(ADAS)传感器数据处理装置的输入接口。
相应高级驾驶员辅助系统(ADAS)传感器数据处理装置优选预先规定用于摄像机图像数据，其中，高级驾驶员辅助系统(ADAS)传感器数据处理装置的处理单元设置用于，在处理摄像机传感器(有损)解压图像数据时对所提供经检测的光流加以考虑。
此外，本发明还涉及带有根据本发明所述高级驾驶员辅助系统(ADAS)传感器数据处理装置或根据本发明所述高级驾驶员辅助系统(ADAS)的传感器系统的车辆，作为选项，可带有高级驾驶员辅助系统(ADAS)的摄像机系统和根据本发明所述图像预处理模块。
根据本发明所述用于高级驾驶辅助系统(ADAS)传感器数据分析评估的(计算机实施)方法包括以下步骤：
a)接收车载高级驾驶辅助系统(ADAS)的传感器系统的有损压缩数据，
b)解压有损压缩数据，
c)处理解压后的数据，以获知与高级驾驶辅助系统(ADAS)功能相关的信息；以及
d)输出与高级驾驶辅助系统(ADAS)功能相关的所获知的信息。
此外，本发明涉及程序元件，如果用所述程序元件对高级驾驶员辅助系统(ADAS)传感器数据处理装置编程时，程序元件命令处理单元执行根据本发明所述高级驾驶员辅助系统(ADAS)传感器数据分析评估方法，本发明还涉及存储有这类程序元件的计算机可读媒介。
本发明尤其可在数字电子电路、计算机硬件、固件或软件中实现。
附图说明
下面将对本发明实施例、更多细节及附图进行解释。其中：
图1示出用于存储高级驾驶员辅助系统(ADAS)的传感器系统传感器数据的第一种可能性；
图2示出用于通过无损压缩传感器数据来存储高级驾驶员辅助系统(ADAS)的传感器系统的传感器数据的第二种可能性；
图3示出高级驾驶员辅助系统(ADAS)的传感器系统，带有单独的高级驾驶员辅助系统(ADAS)传感器数据处理装置，所述传感器数据处理装置可传输和存储有损压缩的传感器数据；
图4示出智能高级驾驶员辅助系统(ADAS)的传感器系统，带有集成在传感器模块中的处理单元，用于处理有损压缩的传感器数据；
图5示出智能高级驾驶员辅助系统(ADAS)的摄像机传感器模块，带有基于所检测图像数据的光流计算模块；以及
图6示出高级驾驶员辅助系统(ADAS)的摄像机传感器系统，带有基于所检测图像数据的光流计算模块和单独的图像处理单元。
具体实施方式
图1示意性展示的是如何将传感器数据存储在当前高级驾驶员辅助系统(ADAS)的传感器系统100中，用于研发和测试目的。高级驾驶员辅助系统(ADAS)的传感器系统100包括例如是摄像机传感器、雷达传感器、激光雷达传感器或激光扫描仪传感器的高级驾驶员辅助系统(ADAS)传感器头1。高级驾驶员辅助系统(ADAS)传感器头1有第一数据输出接口10，通过该第一数据输出接口可将传感器数据(SD)以未压缩形式输出到处理单元2的数据输入接口21和(高级驾驶员辅助系统(ADAS)的传感器系统外)存储单元3。处理单元2对未压缩高级驾驶员辅助系统(ADAS)的传感器数据(SD)进行处理，以提取与高级驾驶员辅助系统(ADAS)或自动驾驶(AD)功能相关的信息(RI)。所提取的相关信息(RI)通过高级驾驶员辅助系统(ADAS)的传感器系统100的信息输出接口20输出到高级驾驶员辅助系统(ADAS)或自动驾驶(AD)系统。在该架构中，高级驾驶员辅助系统(ADAS)传感器数据(SD)的输出和存储无需额外压缩。
图2展示的是在高级驾驶员辅助系统(ADAS)的传感器系统100(参照图1)中，如何对传感器数据(SD)进行额外的无损压缩。在外部压缩单元4(其从高级驾驶员辅助系统(ADAS)传感器头1的第一数据输出接口10接收未压缩的高级驾驶员辅助系统(ADAS)传感器数据(SD))中，传感器数据被无损压缩，经压缩的数据(cSD)被传输到存储单元5。在此，需存储的数据量可减少约2倍。尽管如此，由于存储单元5必须有相应规格，因此对需存储的数据量而言，依然是很高的成本费用。
存储传感器数据高成本问题的解决方案是有损压缩，它能显著提高压缩率(～>系数10以下)。
图3示意性展示的是带独立的、能传输和存储明显更多经压缩传感器数据的高级驾驶员辅助系统(ADAS)传感器数据处理装置40的高级驾驶员辅助系统(ADAS)的传感器系统30。高级驾驶员辅助系统(ADAS)传感器头1检测数据，并将其传输到内部压缩模块6。内部压缩模块6设置用于，对高级驾驶员辅助系统(ADAS)传感器数据进行有损压缩，并将有损压缩的高级驾驶员辅助系统(ADAS)传感器数据(IcSD)传送到数据输出接口300。从高级驾驶员辅助系统(ADAS)的传感器系统30的数据输出接口300将(有损)压缩的高级驾驶员辅助系统(ADAS)传感器数据(IcSD)输出到外部(例如中央)高级驾驶员辅助系统(ADAS)传感器数据处理装置40的输入接口401。
输入接口401将经压缩的高级驾驶员辅助系统(ADAS)传感器数据(IcSD)传送到高级驾驶员辅助系统(ADAS)传感器数据处理装置40的解压模块7。解压模块7设置用于，解压经压缩的高级驾驶员辅助系统(ADAS)传感器数据(IcSD)。由于这些数据已被有损压缩，解压后的高级驾驶员辅助系统(ADAS)传感器数据(IdSD)有别于最初检测到的传感器数据(SD)，即有别于原始数据，解压后的传感器数据受到详细信息损失的困扰。解压后的高级驾驶员辅助系统(ADAS)传感器数据(IdSD)被传输到高级驾驶员辅助系统(ADAS)传感器数据处理装置40的处理单元44。处理单元44配置用于，处理有损解压的高级驾驶员辅助系统(ADAS)传感器数据(IdSD)，即从传感器数据检测与高级驾驶员辅助系统(ADAS)/自动驾驶(AD)功能相关的信息。
在处理单元44上使用的算法是专为有损数据研发的，或现有算法必须证明适用于无损(原始)数据。通过处理单元44或外部高级驾驶员辅助系统(ADAS)传感器数据处理装置40的输出接口400，所获知的相关信息(RI)被输出到高级驾驶员辅助系统(ADAS)或自动驾驶(AD)系统。
此外，有损压缩的高级驾驶员辅助系统(ADAS)的传感器数据(IcSD)可从高级驾驶员辅助系统(ADAS)的传感器系统30的数据输出接口300输出到外部存储单元9，并在那里存储用于测试或验证目的。
外部高级驾驶员辅助系统(ADAS)传感器数据处理装置40尤其能以车辆辅助或自动驾驶中央控制器(ADCU)的固定组成部分的形式或作为车辆辅助或自动驾驶中央控制器(ADCU)的固定组成部分来构造。车辆辅助或自动驾驶中央控制单元(ADCU)可从相同或不同类型的多个高级驾驶员辅助系统(ADAS)传感器30(图3中未显示)接收有损压缩传感器数据(IcSD)。尤其是摄像机传感器、激光雷达传感器、激光扫描仪传感器、雷达传感器和/或超声波传感器可用作高级驾驶员辅助系统(ADAS)传感器30。在此，并非所有高级驾驶员辅助系统(ADAS)传感器都必须对其数据进行压缩。在低数据速率(例如超声波传感器)情况下，这些数据也可不经压缩传输到车辆辅助或自动驾驶中央控制器(ADCU)。然而，在高数据速率(例如源于摄像机传感器、高分辨率雷达传感器、激光雷达传感器或激光扫描仪传感器等)情况下，在传输到车辆辅助或自动驾驶中央控制器(ADCU)之前，在传感器侧进行高度(因而有损)压缩是必要的或有益的。
图4展示的是整合的高级驾驶员辅助系统(ADAS)的传感器系统200示意图，即带有整合的处理单元22的高级驾驶员辅助系统(ADAS)传感器，它还可存储明显更高压缩程度的传感器数据。与图3中整体系统的主要区别是，这里的传感器头1和处理单元22被设置在共同壳体中(“一站式解决方案”)。人们可将高级驾驶员辅助系统(ADAS)的传感器系统200想象为两个分组24、28的组合(图4中的虚线框)，其中，第一分组24对应于图3中的高级驾驶员辅助系统(ADAS)传感器30，第二分组28对应于图3中的传感器数据处理装置40。这里的特别之处在于，在高级驾驶员辅助系统(ADAS)的传感器系统200内，由传感器头1检测到的数据(SD)先借助整合的压缩模块6进行有损压缩，然后由整合的解压模块7再次解压。从传统角度看，这在传感器内似乎是无意义的，因为人们接受的是处理单元22处理的是有损解压的高级驾驶员辅助系统(ADAS)传感器数据(IcSD)，而不是在高级驾驶员辅助系统(ADAS)的传感器系统200内获取的“完整”原始数据(SD)。然而，高级驾驶员辅助系统(ADAS)的传感器系统200可通过传感器分组24的输出接口240将有损压缩的传感器数据(IcSD)输出到外部存储单元9。另一较大优点是，用于获知相关信息(RI)的相同算法可用于整合的处理单元22，这些算法用于外部高级驾驶员辅助系统(ADAS)传感器数据处理装置40(参照图3)的处理单元44。通过处理单元22或智能高级驾驶员辅助系统(ADAS)的传感器系统200的输出接口280，所获知的相关信息(RI)被输出到高级驾驶员辅助系统(ADAS)控制系统或AD(自动驾驶)控制系统。
图5和图6将更详细地解释另两个实施例。在两种情况中，高级驾驶员辅助系统(ADAS)传感器头1是成像传感器，即摄像机传感器14。摄像机传感器14尤其可以是单目摄像机传感器。在此情况下，高级驾驶员辅助系统(ADAS)传感器数据(SD)是(二维平面)图像数据。作为替代选择，摄像机传感器例如作为立体摄像机传感器可提供三维立体图像数据。
在单目摄像机传感器中，车辆周围环境的至少部分三维立体重建对许多高级驾驶员辅助系统(ADAS)/自动驾驶(AD)功能很重要。例如，对避免碰撞或紧急制动辅助而言，能尽可能精确地估计与可能的(动态或静止)碰撞对象的距离至关重要。为此，从摄像机传感器至少两幅时间上错开(或前后连续)检测到的图像中确定光流(OF)非常重要。光流(OF)表示第一幅图像中特征与稍后时间点检测到的第二幅图像中同一特征相比的偏移。光流(OF)的确定是机器视觉的较为重要的算法。然而，图像数据的有损压缩会造成光流矢量的干扰。因此，在此预先规定，在压缩前计算光流，例如在预选后，单独处理光流矢量或无损地将它们传输到传感器数据分析评估单元70或传感器数据分析评估分组58。
图5示意性展示的是智能高级驾驶员辅助系统(ADAS)的传感器系统500，它在基本架构上相似于图4所示的高级驾驶员辅助系统(ADAS)的传感器系统200。在摄像机传感器分组54(左侧虚线区域)中，“原始”图像数据(SD)由摄像机传感器14检测。除了压缩模块6外，原始图像数据(SD)也被提供给光流计算模块16。光流计算模块16设置用于，获知由摄像机传感器14在不同时间点检测到的两幅未压缩图像数据(SD)之间的光流(OF)。检测到的光流(OF)被传输到摄像机传感器分组的输出接口540。有损压缩的图像数据(IcSD)从压缩模块6传输到摄像机传感器分组54的输出接口540。
图像数据处理分组58的输入接口581(右侧虚线区域)从摄像机传感器分组54的输出接口540接收所获知的光流(OF)和有损压缩的图像数据(IcSD)。接收到的有损压缩图像数据由解压模块7解压，并作为(有损)解压图像数据(IdSD)传输到处理单元55的输入点53。处理单元55在输入侧也有检测到的光流(OF)。考虑到光流，处理单元55对解压的图像数据进行处理，以获知与高级驾驶员辅助系统(ADAS)/自动驾驶(AD)功能相关的信息(RI)。所述相关信息通过处理单元55的输出端57输出。
从摄像机传感器分组54的输出接口540可输出检测到的光流(OF)和用于存储的有损压缩图像数据(IcSD)(参照图3和图4)，这在图5中没有展示。
图6示意性展示的是具有外部图像数据处理单元70的高级驾驶员辅助系统(ADAS)摄像机系统60。该系统可被认为与图5所示系统相似，只是那里所示摄像机传感器分组54在此对应于带有一部分图像预处理部(光流计算模块16)和摄像机传感器模块60的输出接口600的独立的摄像机传感器模块60(“卫星摄像机传感器”)。摄像机传感器模块60的输出接口600将压缩后的图像数据(IcSD)和计算得到的光流(OF)以无线或有线的方式传输到外部(或中央)图像数据处理单元70的输入接口701(或也可传输到未展示的存储单元)。为简单起见，图6中外部图像数据处理单元70的处理单元55、其输入点53和其输出57被给予与图5中相同的参考号。
当然，也可在外部图像处理单元70中预先规定另外的处理单元，或在处理单元55上执行另外的或附加的图像处理算法。也可行的是，除了在外部或中央的传感器数据处理装置中进行图像处理外，还处理其他高级驾驶员辅助系统(ADAS)传感器的传感器数据(其呈原始传感器数据(SD)形式或有损解压的传感器数据(IdSD)形式)。在此情况下，图像处理单元70是外部高级驾驶员辅助系统(ADAS)传感器数据处理装置40的一部分，或图像处理单元70的一部分被整合到外部高级驾驶员辅助系统(ADAS)传感器数据处理装置40中。图5和图6主要示例性地呈现了对压缩前所计算的光流(OF)的考虑。

Claims (13)

1.一种高级驾驶员辅助系统传感器数据处理装置(40、28、58、70)，其包括输入接口(401、281、581、701)、解压模块(7)、处理单元(44、22、55)和输出单元(400、280、57)，其中，
-输入接口(401、281、581、701)设置用于，接收高级驾驶员辅助系统(ADAS)传感器(1、14)的数据，该数据已被压缩模块(6)有损压缩，
-解压模块(7)设置用于，解压高级驾驶员辅助系统(ADAS)传感器(1、14)的压缩数据(IcSD)，
-处理单元(44、22、55)设置用于，处理高级驾驶员辅助系统(ADAS)传感器(1、14)的解压数据(IdSD)，其中，与高级驾驶员辅助系统(ADAS)/自动驾驶(AD)功能相关的信息(RI)从解压的传感器数据(IdSD)中获知，以及
-输出单元(400、280、57)设置用于，输出所获知的与高级驾驶员辅助系统(ADAS)/自动驾驶(AD)功能相关的信息(RI)。
2.一种用于车辆的高级驾驶员辅助系统的传感器系统(30；200、24；500、54；60)，其包括：至少一个高级驾驶员辅助系统(ADAS)传感器(1、14)、带有数据输出接口(300、240、540、600)的压缩模块(6)和根据权利要求1所述的高级驾驶员辅助系统传感器数据处理装置(40、28、58、70)，其中
-高级驾驶员辅助系统(ADAS)传感器(1、14)生成关于车辆周围环境的数据，并将其传输到压缩模块(6)，
-压缩模块(6)设置用于，对传感器生成的数据(SD)有损压缩，以及
-数据输出接口(300、240、540、600)设置用于，将压缩后的传感器数据(IcSD)输出到高级驾驶员辅助系统(ADAS)传感器数据处理装置(401、281、581、701)的输入接口。
3.根据权利要求2所述的高级驾驶员辅助系统的传感器系统(200、24；500、54)，其中，
高级驾驶员辅助系统(ADAS)的传感器系统(200、24；500、54)包括壳体，并且高级驾驶员辅助系统(ADAS)传感器数据处理装置(28；58)被整合在该壳体中。
4.根据权利要求1所述的高级驾驶员辅助系统传感器数据处理装置(40、70)，其中，高级驾驶员辅助系统(ADAS)传感器处理装置(40、70)是外部单元，其能与根据权利要求2所述的单独设置在车辆中的高级驾驶员辅助系统的传感器系统(30、60)相连接。
5.根据上述权利要求中任一项所述的高级驾驶员辅助系统传感器数据处理装置(40、28、58、70)或高级驾驶员辅助系统的传感器系统(30；200、24；500、54；60)，其中，高级驾驶员辅助系统(ADAS)传感器(1、14)是摄像机传感器(14)，高级驾驶员辅助系统(ADAS)传感器数据(SD)是图像数据。
6.根据权利要求5所述的高级驾驶员辅助系统传感器数据处理装置(40、28、58、70)或高级驾驶员辅助系统的传感器系统(30；200、24；500、54；60)，其中，处理单元(44、22、55)是或包括图像处理单元，所述图像处理单元设置用于目标检测、车道标记检测、交通标志检测、交通信号灯信号检测、光源检测和/或车辆周围环境的空间重建。
7.根据权利要求5或6所述的高级驾驶员辅助系统的传感器系统(500、54；60)包括
光流计算模块(16)，所述光流计算模块设置用于
-获知由摄像机传感器(14)在不同时间点检测到的两个单一图像的未压缩图像数据之间的光流(OF)
以及
-将获知的光流(OF)提供给处理单元(55)。
8.一种用于根据权利要求5或6所述的高级驾驶员辅助系统的传感器系统(500、54；60)的图像预处理模块(6、16、540、600)，所述图像预处理模块包括输入单元、光流计算模块(16)、压缩模块(6)和输出单元(540、600)，其中，
-输入单元设置用于，从高级驾驶员辅助系统(ADAS)摄像机传感器(14)接收未压缩的图像数据(SD)，
-光流计算模块(16)设置用于，确定由高级驾驶员辅助系统(ADAS)摄像机传感器(14)在不同时间点检测到的两个单一图像的未压缩图像数据(SD)之间的光流(OF)，
-压缩模块(16)设置用于，对从高级驾驶员辅助系统(ADAS)摄像机传感器(14)接收的未压缩图像数据进行有损压缩，以及
-输出单元(540、600)设置用于，将获知的光流(OF)和压缩后的图像数据(IcSD)输出到根据权利要求1所述的、用于摄像机图像数据的高级驾驶员辅助系统传感器数据处理装置(58，70)的输入接口。
9.根据权利要求1所述的用于摄像机图像数据的高级驾驶员辅助系统传感器数据处理装置(58，70)，设置用于，处理根据权利要求7所述的高级驾驶员辅助系统(ADAS)的传感器系统(500、54；60)的传感器数据和/或根据权利要求8所述的图像预处理模块的传感器数据，其中，处理单元(55)设置用于，在处理摄像机传感器(14)的解压图像数据(IdSD)时对所提供的获知的光流(OF)加以考虑。
10.一种具有根据权利要求1、4至6中任一项所述的高级驾驶员辅助系统传感器数据处理装置(40、28、58、70)和/或根据权利要求2、3、5、6、7或9中任一项所述的高级驾驶员辅助系统(ADAS)的传感器系统(30；200、24；500、54；60)的车辆，作为选项地，所述高级驾驶员辅助系统(ADAS)的传感器系统包括根据权利要求8所述的图像预处理模块。
11.一种用于高级驾驶员辅助系统传感器数据分析评估的方法，所述方法包括以下步骤
a)接收车辆高级驾驶员辅助系统(ADAS)的传感器系统(1、14)的有损压缩数据(IcSD)，
b)解压有损压缩数据(IcSD)，
c)处理解压的数据(IdSD)，以获知与高级驾驶员辅助系统(ADAS)功能相关的信息(RI)，以及
d)输出与高级驾驶员辅助系统(ADAS)功能相关的所获知的信息(RI)。
12.一种程序元件，当用所述程序元件对高级驾驶员辅助系统传感器数据处理装置的处理单元编程时，所述程序元件命令所述处理单元执行根据权利要求11所述的方法。
13.一种能由计算机读取的媒介，在其上存储根据权利要求12所述的程序元件。
CN202080066498.5A 2019-09-24 2020-07-16 驾驶员辅助系统的有损压缩的高级驾驶辅助系统传感器数据处理 Pending CN114467260A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102019214587.6A DE102019214587A1 (de) 2019-09-24 2019-09-24 Verarbeitung verlustbehaftet komprimierten ADAS-Sensordaten für Fahrerassistenzsysteme
DE102019214587.6 2019-09-24
PCT/DE2020/200059 WO2021058066A1 (de) 2019-09-24 2020-07-16 Verarbeitung verlustbehaftet komprimierten adas-sensordaten für fahrerassistenzsysteme

Publications (1)

Publication Number Publication Date
CN114467260A true CN114467260A (zh) 2022-05-10

Family

ID=71950372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080066498.5A Pending CN114467260A (zh) 2019-09-24 2020-07-16 驾驶员辅助系统的有损压缩的高级驾驶辅助系统传感器数据处理

Country Status (5)

Country Link
US (1) US11876540B2 (zh)
EP (1) EP4034438A1 (zh)
CN (1) CN114467260A (zh)
DE (2) DE102019214587A1 (zh)
WO (1) WO2021058066A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115567121A (zh) * 2022-10-18 2023-01-03 纵目科技（上海）股份有限公司 数据传输方法、系统、介质及超声波传感器

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220116052A1 (en) * 2020-10-12 2022-04-14 Uatc, Llc Systems and Methods for Compressing and Storing Sensor Data Collected by an Autonomous Vehicle
DE102021210494A1 (de) * 2021-09-21 2023-03-23 Robert Bosch Gesellschaft mit beschränkter Haftung Verarbeiten von Sensordaten in einem Steuergerät mittels verlustbehafteter Kompression

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011113265B3 (de) * 2011-09-13 2012-11-08 Audi Ag Verfahren zur Bildverarbeitung von mit einem optischen Sensor in einem Kraftfahrzeug aufgenommenen Bilddaten und Kraftfahrzeug
US9944307B2 (en) * 2015-06-26 2018-04-17 Steering Solutions Ip Holding Corporation Steering assembly and method of monitoring a space within vehicle
DE102015120130A1 (de) * 2015-11-20 2017-05-24 Valeo Schalter Und Sensoren Gmbh Verfahren zur Übertragung von Daten wenigstens eines Messgrößenaufnehmers eines Steuernetzwerks, Sender, Empfänger, Messgrößenaufnahmevorrichtung und Steuernetzwerk
US20170232975A1 (en) * 2016-02-11 2017-08-17 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Situation awareness in a vehicle
US10069511B2 (en) * 2016-12-12 2018-09-04 Texas Instruments Incorporated Lossless data compression
US10708524B2 (en) * 2017-09-01 2020-07-07 Semiconductor Components Industries, Llc Methods and apparatus for high dynamic range imaging
EP3480061B1 (en) * 2017-11-07 2022-09-21 STMicroelectronics S.r.l. A method of integrating driver assistance systems in vehicles, corresponding system, circuit, kit and vehicle
WO2019191313A1 (en) * 2018-03-27 2019-10-03 Nvidia Corporation Remote operation of vehicles using immersive virtual reality environments
US11594036B2 (en) * 2019-08-21 2023-02-28 Micron Technology, Inc. Advanced driver-assistance system (ADAS) operation utilizing algorithmic skyline detection
US20210127090A1 (en) * 2019-10-28 2021-04-29 Micron Technology, Inc. Distributed neural network processing on an intelligent image sensor stack

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115567121A (zh) * 2022-10-18 2023-01-03 纵目科技（上海）股份有限公司 数据传输方法、系统、介质及超声波传感器

Also Published As

Publication number Publication date
US11876540B2 (en) 2024-01-16
DE102019214587A1 (de) 2021-03-25
US20220294467A1 (en) 2022-09-15
DE112020004532A5 (de) 2022-08-18
EP4034438A1 (de) 2022-08-03
WO2021058066A1 (de) 2021-04-01

Similar Documents

Publication Publication Date Title
CN114467260A (zh) 驾驶员辅助系统的有损压缩的高级驾驶辅助系统传感器数据处理
CN110325818B (zh) 经由多模融合的联合3d对象检测和取向估计
US10282860B2 (en) Monocular localization in urban environments using road markings
CN110070572B (zh) 使用稀疏深度数据生成距离图像的方法和系统
CN107273788B (zh) 在车辆中执行车道检测的成像系统与车辆成像系统
CN111034182B (zh) 图像处理装置
CN109196304B (zh) 物体距离检测装置
JP2019075097A (ja) ドライバ支援システムの特徴に基づく周辺情報のデータ低減方法および装置
US20230326055A1 (en) System and method for self-supervised monocular ground-plane extraction
CN111319560B (zh) 信息处理系统、程序和信息处理方法
JP2006322795A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP2006318062A (ja) 画像処理装置、画像処理方法、および画像処理用プログラム
CN112712608B (zh) 用于通过车辆收集性能数据的系统和方法
CN111345038A (zh) 摄像机系统的测试方法，摄像机系统的控制设备，摄像机系统和具有该摄像机系统的车辆
US11810363B2 (en) Systems and methods for image processing using mobile devices
CN115565158B (zh) 车位检测方法、装置、电子设备和计算机可读介质
CN116107902A (zh) 测试数据的回灌方法和装置、测试数据的回灌系统
US11915487B2 (en) System and method for self-supervised depth and ego-motion overfitting
CN112639902B (zh) 队列车辆判别装置和车辆
US11080536B2 (en) Image processing device, non-transitory readable recording medium storing program, information processing system, and control method of image processing device
WO2020003764A1 (ja) 画像処理装置、移動装置、および方法、並びにプログラム
CN117173693B (zh) 3d目标检测方法、电子设备、介质以及驾驶设备
EP3995922A1 (en) Method and system for providing perception scan data for controlling a self-driving vehicle
US20240070909A1 (en) Apparatus and method for distance estimation
US20240135717A1 (en) Data extraction device, data extraction method, and data transmission device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240410

Address after: Ingolstadt, Germany

Applicant after: Continental Zhixing Germany Co.,Ltd.

Country or region after: Germany

Address before: Ingolstadt, Germany

Applicant before: CONTI TEMIC MICROELECTRONIC GmbH

Country or region before: Germany