CN116916030A - 用于在车辆中进行适应性的视频数据压缩的方法和相应的装置 - Google Patents
用于在车辆中进行适应性的视频数据压缩的方法和相应的装置 Download PDFInfo
- Publication number
- CN116916030A CN116916030A CN202310395354.XA CN202310395354A CN116916030A CN 116916030 A CN116916030 A CN 116916030A CN 202310395354 A CN202310395354 A CN 202310395354A CN 116916030 A CN116916030 A CN 116916030A
- Authority
- CN
- China
- Prior art keywords
- image
- vehicle
- video data
- color space
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000013144 data compression Methods 0.000 title claims abstract description 25
- 230000003044 adaptive effect Effects 0.000 title claims description 6
- 238000007906 compression Methods 0.000 claims abstract description 23
- 230000006835 compression Effects 0.000 claims abstract description 23
- 238000004891 communication Methods 0.000 claims abstract description 18
- 238000004458 analytical method Methods 0.000 claims description 11
- 238000011002 quantification Methods 0.000 claims 1
- 230000005540 biological transmission Effects 0.000 description 13
- 238000012545 processing Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 235000019642 color hue Nutrition 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000012958 reprocessing Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
- H04L69/04—Protocols for data compression, e.g. ROHC
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/507—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
- G07C5/0841—Registering performance data
- G07C5/085—Registering performance data using electronic data carriers
- G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/124—Quantisation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Security & Cryptography (AREA)
- Medical Informatics (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
在按照本发明的用于在车辆中适应性地进行视频数据压缩的方法中，通过车辆(F)的图像传感器检测(1)具有预定义的色彩空间质量的依次相续的图像(B‑1、B0)的视频数据。确定(2)与车辆、行驶情况、车辆的环境和/或车辆与外部通信网络的连接相关的至少一个参数。根据至少一个所确定的参数使视频数据压缩参数化(3)，其中，通过所述参数化定义色彩空间质量的降低。借助参数化的视频数据压缩对视频数据进行压缩(4)，其中，根据所述参数化降低(4‑1)两个依次相续的图像的色彩空间质量，并且通过具有降低的色彩空间质量的两个依次相续的图像计算(4‑2)差别图像(B0′)。
Description
技术领域
本发明涉及一种用于在车辆中进行适应性的视频数据压缩的方法，所述方法尤其可以使用在传输由车辆传感器记录的视频数据时。本发明还涉及一种相应的装置。
背景技术
现今在机动车中使用多种传感器。不同的传感器例如通常被用于监测车辆环境，其中，所产生的传感器数据被提供给驾驶员辅助系统，以使驾驶员在道路交通中驾驶车辆时能够提高舒适性和安全性。例如可以在车辆中安装一个或多个视频摄像头或基于超声波、雷达或激光的传感器。
所检测的传感器数据可以本地地在车辆中进行处理和分析。尤其是在对高分辨率的传感器数据、例如尤其是图像数据和视频数据进行复杂的分析时，在此由于车辆本地可用的计算能力有限，有利的是，通过通信网络将获得的传感器数据传送给中央计算单元以在那里进行分析。这同样使得能够在中央计算单元中共同地分析车辆的更多传感器数据，以例如使用传输的数据来训练用于自动驾驶的环境感知方面的神经网络。此外，例如针对由操作者对车辆的远程控制的操纵、即所谓的“远程操纵驾驶”，也需要将全面的传感器数据实时地从车辆传输给操作者。
这只有在提供高而稳定的数据传输率、短延迟时间和均匀的网络覆盖的移位网络中才能实现。然而，在现实中，相应车辆的无线电连接的参数是变化的，原因例如是在车辆行驶时穿过具有不同无线电覆盖的区域。例如，基于当前的移位无线电标准，在城市中通常存在良好的网络覆盖，从而能够满足上述数据传输的要求。而在村镇和农村地区，基于当前的移位无线电标准的覆盖往往是不完整的，从而必要时必须使用数据传输速率较低的旧的移位无线电标准，或者在短期内根本无法通过移位无线电进行数据传输。
这尤其在传输高分辨率的传感器数据时是存在问题的，因为这涉及到高的数据传输速率。因此，对于这些情况存在用于减少传感器数据的数据量的方法，以便例如即使在移位无线电技术方面不发达的地区也能进行传输。
DE 10 2018 215 151 A1公开了一种雷达控制单元，其中，对雷达数据进行过滤。在此，雷达数据的其中不包含潜在目标物体的部分被消除，以减少雷达数据的量。雷达控制单元也可以可选地进行进一步的无损的压缩。经过过滤的并且必要时无损的压缩的雷达原始数据被输入分析单元，所述分析单元可以位于车内或车外。在一个实施例中，原始雷达数据可以从车辆向服务器传输或传输至云系统，在那里基于所传输的原始雷达数据和计划的驾驶机动确定车辆的最佳的驾驶位置。
DE 10 2012 206 406 A1描述了一种用于产生用于传输图像数据的数据流的方法，所述图像数据通过车辆的数码摄像机检测。在此，根据已知的压缩方法、例如针对视频编码的MPEG-4标准，为所检测的视频图像的图像段产生并且传输内编码图像数据或者差别编码图像数据。
发明内容
本发明所要解决的技术问题在于，提供一种用于适应性地进行视频数据压缩的方法和相应的装置。
所述技术问题通过一种用于在车辆中进行适应性的视频数据压缩的方法、一种用于在车辆中适应性地进行视频数据压缩的装置解决。
在按照本发明的用于在车辆中适应性地进行视频数据压缩的方法中，通过车辆的图像传感器检测具有预定义的色彩空间质量的依次相续的图像的视频数据。确定与车辆、行驶情况、车辆的环境和/或车辆与外部通信网络的连接相关的至少一个参数。根据至少一个所确定的参数，使视频数据压缩参数化，其中，通过所述参数化定义色彩空间质量的降低。借助参数化的视频数据压缩对视频数据进行压缩，其中，根据该参数化降低两个依次相续的图像的色彩空间质量，并且通过具有降低的色彩空间质量的两个依次相续的图像计算差别图像。
色彩空间质量在此理解为任意的色彩空间特征，通过所述色彩空间特征能够指定所检测的像素的亮度值和/或颜色值。尤其可以通过预定义的色彩空间质量表示视频数据中包含的像素可以具有多少种彩色色调或者灰色调。
通过本发明可以根据需求以有效的方式进行视频压缩，该视频压缩不需要大的计算耗费，因此可以快速地进行。因此，按照本发明的视频数据压缩可以作为实时应用在车辆中、例如在车辆的控制设备中实现。此外，以此方式可以显著减少视频数据的传输所需的带宽。此外，通过按照本发明的视频压缩突出显示了相应的视频图像的动态区域。这种突出显示允许例如自动驾驶的人工神经网络和算法有针对性地分析图像的突出显示的区域。
按照本发明的一个实施方式，检查当前图像与之前的图像相比图像内容是否存在变化，其中，如果存在变化，则进一步处理和传输差别图像，并且其中，如果在两个依次相续的图像之间没有确定变化，或者涉及的是视频序列的第一个图像，则不传送差别图像。通过仅在相对于之前的图像存在变化时发送差别图像，或者由于不存在之前的图像，进一步降低了所传输的视频数据的数据量。
为了检查当前图像的变化，有利地首先计算量化的图像，并且针对当前的图像的像素的相应亮度值和/或颜色值分别计算与之前的量化的图像的相应的值的差值。
在此尤其可以将差值与对应配属的阈值进行比较。
根据当前所确定的关于车辆、行驶情况、车辆的环境或者与外部通信网络的车辆连接的参数同样能够有利地选择图像的量化的程度。
按照一种实施方式，对所有像素计算、压缩和传输差值。
按照另一实施方式，仅针对所检测的图像的局部区域计算、压缩和传输差值，其中，针对该局部区域传输位置数据。
像素的亮度值和/或颜色值有利地以二进制表示存在，其中，对该二进制表示应用二进制移位以降低色彩空间质量，并且其中，视频数据压缩的参数化包括二进制移位的数量。
在计算差别图像之后，同样有利地将运行长度编码应用于像素的亮度值和/或颜色值，其中，针对运行长度编码，将关于相同的亮度值和/或颜色值在依次相续的像素中出现的频率的信息存储在通过移位释放的比特中，并且其中，关于分别应用的二进制移位的数量的信息对应配属于压缩的视频数据，该信息与压缩的视频数据共同地存储或传输以重建视频数据。
也可以在计算差别图像后首先有利地对各个单独的像素的差值进行二进制分类，并且可以将二进制分类的像素输入运行长度编码。
按照本发明的用于在车辆中适应性地进行视频数据压缩的装置包括
-图像传感器，该图像传感器以预定义的色彩空间质量检测依次相续的图像的视屏数据；
-分析控制单元，该分析控制单元用于确定与车辆、行驶情况、车辆的环境和/或车辆与外部通信网络的连接有关的至少一个参数，并且用于根据所确定的至少一个参数对视频数据压缩进行参数化，其中，通过该参数化定义色彩空间质量的降低；
-压缩单元，在该压缩单元中借助参数化的视频数据压缩对视频数据进行压缩，其中，根据该参数化降低两个依次相续的图像的色彩空间质量，并且通过具有降低的色彩空间质量的两个依次相续的图像计算差别图像，和
-用于传输压缩的视频数据的通信单元。
按照本发明的计算机程序包括使装置执行按照本发明的方法的步骤的指令。
最后，本发明还包括一种机动车，该机动车设置用于执行按照本发明的方法或具有按照本发明的装置。
附图说明
本发明的其它技术特征由以下描述和相关权利要求结合附图示出。
图1示出了流程图，该流程图描述了按照本发明的在车辆中自适应性地进行视频数据压缩的方法的基本步骤；
图2示出了用于按照本发明地压缩视频数据的多个子步骤；
图3示意性地示出了在依次相续的时间点检测的两个视频图像的示例，其中，从之后的图像中仅传输具有图像变化的局部区域并且被用于重建所检测的图像；并且
图4示意性地示出了具有按照本发明的装置的车辆和中央服务器，压缩的视频数据被传输至该中央服务器。
具体实施方式
为了更好地理解本发明的原理，以下根据附图详细阐述本发明的实施方式。不言而喻的是，本发明不局限于该实施方式，而是在不离开本发明的在权利要求中规定的保护范围的情况下还能够将所述技术特征进行组合或优化。
图1示出按照本发明的方法的流程图。在第一个方法步骤1中，由车辆的一个或者多个图像传感器检测视频数据。图像传感器尤其可以是车辆的外部摄像机，通过该外部摄像机产生车辆环境的二维或三维图像的视频记录。即使图像传感器在每个时间点分别仅针对各个单独的图像检测图像数据，在此仍实现对依次相续的图像的视频数据的连续的检测。在进一步处理之前首先可以暂存所检测的视频数据，其中，可以检测并且存储附加的位置和/或时间数据作为用于图像数据的元数据。
所检测的图像数据的亮度值和/或颜色值在此可以通过不同的特征的颜色空间特征来指定。因此，所述亮度值和/或颜色值可以根据颜色空间通过颜色、例如RGB或CMYK表示。同样，也可以例如通过YCbCr模型通过亮度加色度来进行指定，所述YCbCr模型将颜色信息分为基本亮度Y和两个颜色成分Cb(蓝-黄色度)和Cr(红-绿色度)。也可以进行HSL色彩模型中的基于色调、饱和度和亮度的特征的描述。以下以RGB色彩空间为例阐述本发明，在该RGB色彩空间中，各个单独的像素的颜色由红、绿和蓝三原色的相加的混合表示，并且色彩空间质量与色彩深度相对应。
由于图像中的多个像素和通常的刷新率尤其是在高色彩深度的情况下产生大量的数据。例如对于具有24比特的色彩深度和30赫兹的刷新率的全高清格式(1920×1080像素)的RGB视频信号，每秒产生的数据量为3×8×1920×1080×30＝1492992000比特并且因此产生约为178MB/s的数据传输速率。
色彩深度在此表示图像数据中包含的像素可以有多少种彩色色调或者灰色调。因此，色彩深度例如可以是24比特，该色彩深度例如在使用RGB色彩空间时以分别8比特均匀地分为红色份额、绿色份额和蓝色份额。比特值为0意味着色彩份额缺失，比特值为255意味着色彩份额以最大的强度存在。通过混合三种颜色份额，总共可以显示256×256×256＝1677万种颜色。以同样的方式，以8比特表示256种不同的灰色调，所述灰色调足以表示从黑色向白色的无阶梯地感知的变化。
在方法步骤2中确定与车辆、行驶情况、车辆的环境和/或车辆与外部通信网络的连接相关的至少一个参数。例如，车辆的当前速度例如可以在检测视频数据时由车辆的控制设备读出。同样，可以通过其它车辆传感器检测车辆环境，或者可以与导航系统确定的车辆当前位置结合地由地图数据确定关于车辆环境的信息。同样可以从位于车辆中的移位无线电单元问询当前可用的用于数据传输的带宽。由此确定的参数实现了后续的压缩的情景上的适配，例如，由于移位无线电单元的接收条件良好并且因此车辆与外部通信网络的连接有较大的可用的带宽时，选择比在接收条件差时更低程度的压缩。尤其可以通过确定可用的带宽适配视频数据压缩，使得能够通过外部的通信网络不间断地传输压缩的视频数据。
在过程步骤3中，对视频数据的后续的压缩进行参数化，其中，通过该参数化根据至少一个所确定的参数来定义颜色深度的降低。在此，本发明利用了这样一个事实，即对于图像处理和图像分析，图像的颜色变化或灰色变化并非必须高分辨率地存在。而是通过降低颜色深度使得图像内的物体的棱边被锐化，这对于这种再处理是有利的。
在过程步骤4中，随即借助参数化的视频数据压缩对视频数据进行压缩，之后将压缩的数据传输至中央服务器以进行进一步的图像处理和图像分析。以下描述用于按照本发明视频数据压缩的算法。
如图2所示，将多个子步骤用于视频数据压缩，其中，部分这些步骤是可选的。尤其对于视频序列的第一个图像不存在前一个图像，因此不能与前一个图像进行比较，并且也无法产生差别图像。因此，对于视频序列的这种第一个图像，仅执行子步骤4-1、4-5并且必要时还执行在这种情况下也可选的子步骤4-6和4-7。而子步骤4-2、4-3只针对视频序列中已经存在前一个图像的图像进行，必要时可选地进行的子步骤4-4同样如此。
在第一子步骤4-1中，在此首先对由图像传感器检测的原始图像进行量化。在此将二进制移位或者移位操作应用于像素的以二进制表示存在的颜色值，其中，视频数据压缩的之前执行的参数化包括二进制移位的数量。关于分别应用的二进制移位的数量的信息在此对应配属于压缩的图像数据，并与压缩的图像数据共同被存储或传输，以之后重建图像数据。
将二进制的移位操作应用于像素的颜色份额，从而最大的可用的比特值并因此颜色值降低，相似的颜色由此被统一地显示。这在色彩深度显著降低时例如产生的结果为，通过图像传感器检测的道路相同地显示为灰色，或者由图像传感器检测的天空统一地显示为蓝色。颜色变化更加的粗糙或者必要时根本不再显示，取而代之地产生具有突出的颜色对比的图像。
在此尤其可以规定，针对每个颜色份额和每个像素应用相同的二进制移位操作，例如，每个像素的红色份额、绿色份额和蓝色份额的颜色值向右移位一个或多个比特。然而也可行的是，例如根据不同颜色份额以何种范围存在于图像信号中为不同的颜色份额选择不同程度的移位。此外还可行的是，为不同的图像区域选择不同程度的移位，例如在图像边缘选择比在图像中心更大的移位。
以下两个表格示出了通过二进制移位操作以及接着进行的可选的四舍五入对五个颜色值30到34(十进制)进行压缩的示例。为了清楚起见，在此仅示出了具有最低位值的五个比特("最小有效比特")，因此在每个颜色值具有8个比特的色彩空间表示中，主要的三个比特值没有在表中示出。以下数值由颜色值30至34的原始数值移动1、2或3个数位位置而产生：
可以看出，原始的5个不同的颜色值30至34(十进制)在移位1比特之后就已经降低为3个不同的颜色值，并且在移位2比特或者3比特之后降低为仅两个不同的颜色值。
在压缩时还可以可选地借助二进制移位操作进行四舍五入，其中，移位后的值被四舍五入至高一级的量化级别。四舍五入的信息在此由通过移位操作省略的比特得出。这在以下针对五个颜色值30至34的上述示例的表格中进行了说明，其中，同样仅示出了五个二进制值。以下数值由颜色值30至34的原始数值移位1、2或3个数位位置而产生：
在此，对于颜色值30至34，在以附加的四舍五入移位1比特之后降低至三个颜色值，在以附加的四舍五入移位2比特之后降低至两个不同的颜色值，并且在以附加的四舍五入移位3比特之后降低至仅一个颜色值。
在接下来的子步骤4-2中，将当前的量化的图像与之前的量化图像进行比较，并且在必要时计算完整的或部分的差别图像。尤其可以将紧邻的前一个图像用于比较，即例如在刷新率为30赫兹的情况下可以将33ms前检测的图像用于比较。然而也可以考虑的是采用更早的图像。
为此，针对当前的图像在时间点t0的每个像素，针对颜色值或灰度值计算出与前一图像在时间点t-1的像素的颜色值或灰度值的差值。以此方式得到差别图像，其中，图像的未改变的位置为每个颜色值或者灰度值都得到值“0”。这例如可以是下述情况，即由于颜色深度的降低而使车辆前面的路面看起来是相同的灰色，前提是在该区域中没有例如由于道路上的物体或其他道路使用者出现在拍摄的图像区域而发生明显的变化。而如果在一区域中存在明显的变化，则像素在此具有在差别计算中得出的值。
参考图像的比较或者计算在此优选基于阈值。如果在针对像素进行差别计算之后检测到其中一个颜色值或者灰度值超过阈值，则图像或图像区域存在变化。阈值例如可以根据对视频数据的后续处理事先地定义。但阈值同样可以根据当前在过程步骤2中确定的关于车辆、行驶情况、车辆的环境或者与外部通信网络的车辆连接的参数进行选择。
在后续的子步骤4-3中随即检查对于当前的图像来说与前一图像相比，图像内容是否存在变化。如果图像内容不存在变化，则不传输差别图像并且继续子步骤4-1中针对视频序列的下一个图像继续进行所述方法。这可以是下述情况，即在两个依次相续的图像之间未检测到变化，或者涉及的是视频序列的第一个图像，从而不可能存在相对于前一个图像的变化。
而如果视频序列的两个图像之间存在变化，则在子步骤4-4至4-7中继续进行压缩方法。在此可以考虑两种不同的实施方式。由此能够使得一方面尽管以降低的颜色深度、然而仍以不同的与颜色相关的灰色调对差别图像进行处理并且最终进行传输。然而同样可行的是，针对差别图像完全地舍弃不同的颜色或者灰色调。在所述第二种情况下，首先在子步骤4-4中将差别图像转换为二进制的黑白图像，而在所述第一种情况下跳过该子步骤4-4。
在后续的子步骤4-5中随即针对差别图像将运行长度编码应用于差值，或者在传输非差别编码的图像时将运行长度编码应用于像素的颜色值、灰度值或者黑白值。因此例如在相同的差值或者颜色值依次相续地重复四次时，该值不会被传输四次，而是传输下述信息，即在图像数据中确定的差值或者颜色值产生四次。在此，一方面，所出现的颜色值的由于应用二进制移位操作而产生的减少使得与原始图像相比，相同的差值或者颜色值的数量增加，并且因此接着应用的运行长度编码的有效性提高。另一方面，对于依次相续的图像的其中不存在变化的区域，即使不减少出现的颜色值，也会产生多个相同的差值。
可选地可以在子步骤4-6中针对运行长度编码将关于依次相续的像素出现相同的差值或者颜色值的频率的信息存储在通过移位释放的比特中。该所谓的“位压缩(Bitpacking)”将在以下针对在对二进制值进行三次移位的情况下传输颜色值“16”(十进制)或“00010000”(二进制)的示例中说明。二进制值“00010000”向右移三次产生“00000010”，相应地，通过左移3位的重建再次产生二进制值“00010000”。二进制值“00000010”的在向右移位三次之后未使用的(下划线)区域现在可以用于表示后续的颜色值重复的数量。由此对于相同颜色值的四次依次相续的重复的上述示例产生“100|00010”，其格式为“依次相续的值的数量|移位的值”。然而选择性地也可行的是反向的排列“00010|100”，其格式为“移位值|依次相续的值的数量”。
由于在子步骤4-1至4-6中不必进行复杂的计算来处理数据，因此可以实时地执行所述子步骤。如果可以舍弃实时处理，则这允许在车辆中使用的计算耗费提高。在这种情况下，可以在可选的子步骤4-7中应用额外的、更复杂的压缩方法，以实现进一步提高的压缩率。
在对视频数据进行上述压缩后，在过程步骤5中将压缩的差别图像传输至服务器。通过该服务器随即能够将差别图像解压缩，并且从解压缩的数据重建原始的图像。由此传输的视频图像能够随即在重建之后例如用于训练用于在自动驾驶时进行环境识别的人工神经网络。在进行所谓的“边角案例检测”时，在此即使在训练数据中的异常情况中也能够检测动态物体，所述动态物体例如在自动驾驶的领域具有重要意义。由此同样可以使用传输的视频图像来进行预测性的维护的方法、即所谓的“预测性服务”。
对于由此传输的视频数据的服务器侧的使用可以规定，在服务器处设置数据库，所接收的差别图像在处理和分析之后仍继续维持在该数据库中。
一方面，差别图像的传输可以以下述形式进行，即针对所有像素计算、压缩和传输差值。这尤其在针对所检测的图像的相当一部分存在变化的情况下是特别有利的。
然而同样可以规定，差值不是针对整个图像、即针对所有像素进行传输和处理，而是仅针对所检测的图像的局部区域进行传输和处理。这尤其在仅有整个图像的较小的区域改变时是有利的。在这种情况下，随即例如通过给出图像内的位置和区域的大小来传输针对改变的区域的位置数据。例如可以为图像的矩形的子区域确定差值，其中，该子区域可以通过该局部区域的左上方的像素的位置数据和该局部区域中的沿着水平和垂直方向的其它像素的数量来指定。
图3示例性地示出了针对在时间点t0由车辆检测的图像的这种子区域的传输。在此首先在时间点t-1通过车辆检测图像B-1。对于该图像B-1，在本示例中不存在之前的图像，因此针对所有像素压缩的图像数据以图像B-1'的形式传送至中央服务器。在进行传输后，然后服务器对所接收的图像数据进行解压缩，并且重建与原始图像B-1相对应的图像B-1”。
之后在后续的时间t0通过车辆检测图像B0。相对于图像B-1，在此唯一的变化是图像中所包含的左侧的交通灯不再是布置在上方的红色信号灯，而是现在布置在下方的绿色信号灯。由于图像内容的其余部分相对于之前的时间点t-1没有变化，在这种情况下仅传输显示交通灯的信号灯的图像数据B0'就足够了。在服务器侧重建图像时，仅须将之前的图像B-1中的信号灯区域的这些像素替换为与图像数据B0'相对应的像素，以获得时间点t0的重建的图像B0”。
对于车辆中的原始的图像数据的压缩，同样对于服务器侧的对压缩的图像数据的重建，也可以规定，使用下述表格取代二进制移位操作的应用，该表格中存储有针对不同颜色值和移位操作提前计算的值。在另一实施方式中还可以规定，相应的表格通过车辆生成并传输至服务器。
压缩的图像数据的通过车辆的传输可以以推送模型的形式实现，其中，车辆连续地传输图像数据或者例如每当针对新的路段产生视频数据时传输图像数据。传输同样也可以以拉模型(Pull-Model)的形式实现，其中，所检测的图像数据首先存储在车辆的存储器中并且仅在服务器要求时才由车辆进行传输。
图4示意性地示出了具有按照本发明的装置的车辆F和中央服务器S。该服务器可以作为云端中的用于多个车辆的后台服务器提供，并且是在此未进一步描述的IT基础设施的部分。车辆F尤其可以是轿车或者货车。
该车辆具有不同的单元以执行按照本发明的方法。尤其设置分析控制单元AS，其例如可以设计为车辆F的控制设备并且可以具有一个或者多个微控制器或者微处理器。
此外，在所示的例子中，分别设置有向前指向的和向后指向的图像传感器BS，通过该图像传感器能够检测车辆前面和后面的车辆环境。然而车辆同样可以配备仅一个图像传感器或者附加地也具有检测侧向的车辆环境的图像传感器。在此尤其可以涉及一个或者多个车辆摄像机，其在可见光或近红外光谱范围内检测车辆环境。
由图像传感器产生的视频数据通过车辆中的数字的数据总线DB输入压缩单元K，该压缩单元如上所述地对视频数据进行压缩。对于视频数据压缩的参数化，在此由分析控制单元AS分析与车辆、行驶情况、车辆的环境和/或车辆与外部通信网络的连接相关的参数。根据该分析的结果，分析控制单元AS随即控制压缩单元K来压缩当前存在的视频数据。参数化可以连续地或者以规律的间隔更新，以便由此能够在任何时候快速地对当前的参数做出反应。
所述车辆还具有通信单元C，压缩的视频数据能够通过该通信单元传输至服务器S。传输在此例如可以借助移位无线电标准、例如4G或5G，或者基于无线局域网、例如WLAN进行。压缩的视频数据同样可以借助通信单元C通过车对车(Car2Car)连接传输给外部车辆。
车辆可以附加地具有未示出的其它部件。例如可以设置用于存储视频数据的存储器。存储器在此既可以具有易失性存储区域也可以具有非易失性存储区域，并且可以包括不同的存储设备和存储介质。此外，用于执行实现按照本发明的方法的程序的指令可以存储在存储器中。车辆同样可以通过例如分析GPS信号的位置检测单元进行定位，以例如能够将位置数据对应配属于与所检测的视频数据。此外，检测视频数据的时间点可以借助时间单位来确定，以便为视频数据配设相应的时间戳。这些部件可以作为独立的单元存在，然后通过数字数据总线DB为车辆中的上述单元提供相应的信息，或者也可以集成在分析控制单元AS、压缩单元K或者其它单元中。
本发明可以应用于任何进行基于图像的环境感知的车辆，但并不局限于此。
附图标记列表
1-4 基本的方法步骤
4-1-4-7 用于进行视频数据压缩和重建的方法步骤
5 用于传输压缩的视频数据的方法步骤。
B-1、B-1′、B-1" 在时间点t-1检测的图像数据、基于此传输和重建的图像数据
B0、B0′、B0" 在时间点t0检测的图像数据、传输的差别图像和重建的图像数据
F 车辆
S 服务器
BS 图像传感器
AS 分析控制单元
C 通信单元
DB 数据总线
K 压缩单元
Claims (11)
1.一种用于在车辆中进行适应性的视频数据压缩的方法，在所述方法中，
-通过所述车辆(F)的图像传感器检测(1)依次相续的图像(B-1、B0)的具有预定义的色彩空间质量的视频数据；
-确定(2)与所述车辆、行驶情况、所述车辆的环境和/或所述车辆与外部通信网络的连接相关的至少一个参数；
-根据至少一个所确定的参数使视频数据压缩参数化(3)，其中，通过所述参数化定义色彩空间质量的降低；
-借助参数化的视频数据压缩对视频数据进行压缩(4)，其中，根据所述参数化降低(4-1)两个依次相续的图像(B-1、B0)的色彩空间质量，并且通过具有降低的色彩空间质量的两个依次相续的图像计算(4-2)差别图像(B0′)。
2.根据权利要求1所述的方法，其中，检查(4-3)当前的图像(B0)与之前的图像(B-1)相比图像内容是否存在变化，并且其中，如果存在变化，则进一步处理和传送差别图像(B0′)，并且其中，如果在两个依次相续的图像之间没有确定变化，或者涉及的是视频序列的第一个图像，则不传送差别图像。
3.根据权利要求2所述的方法，其中，为了检查所述当前的图像(B0)的变化，首先计算量化的图像，并且针对当前的量化的图像的像素的相应亮度值和/或颜色值分别计算与之前的量化的图像的相应的值的差值。
4.根据权利要求3所述的方法，其中，将所述差值与对应配属的阈值比较。
5.根据权利要求4所述的方法，其中，根据当前所确定的关于所述车辆、行驶情况、车辆环境或与外部通信网络的车辆连接的参数选择所述图像的所述量化的程度。
6.根据前述权利要求之一所述的方法，其中，针对所有像素计算、压缩和传送各差值。
7.根据权利要求1至5之一所述的方法，其中，仅针对所检测的图像的局部区域计算、压缩和传送各差值并且传送针对该局部区域的位置数据。
8.根据前述权利要求之一所述的方法，其中，像素的亮度值和/或颜色值以二进制表示存在，其中，对该二进制表示应用二进制移位以降低所述色彩空间质量，并且其中，所述视频数据压缩的所述参数化包括二进制移位的数量。
9.根据前述权利要求之一所述的方法，其中，在计算所述差别图像(B0′)之后，将运行长度编码应用(4-5)于所述像素的所述亮度值和/或颜色值，并且针对运行长度编码将关于相同的亮度值和/或颜色值在依次相续的像素中出现的频率的信息存储在通过移位释放的比特中，并且其中，将关于分别应用的二进制移位的数量的信息对应配属于所述压缩的视频数据，该信息与所述压缩的视频数据共同地存储或传送以重建所述视频数据。
10.根据前述权利要求之一所述的方法，其中，在计算所述差别图像(B0′)之后首先对各个单独的像素的差值进行二进制分类(4-4)，并且将所述二进制分类的像素输入所述运行长度编码。
11.一种用于在车辆中适应性地进行视频数据压缩的装置，该装置包括
-图像传感器(S)，该图像传感器以预定义的色彩空间质量检测依次相续的图像(B-1、B0)的视屏数据；
-分析控制单元(AS)，所述分析控制单元用于确定与所述车辆、行驶情况、所述车辆的环境和/或所述车辆与外部通信网络的连接有关的至少一个参数，并且用于根据所确定的至少一个参数对视频数据压缩进行参数化，其中，通过所述参数化定义所述色彩空间质量的降低；
-压缩单元(K)，在该压缩单元中借助参数化的所述视频数据压缩对所述视频数据进行压缩，其中，根据所述参数化降低两个依次相续的图像(B-1、B0)的色彩空间质量，并且通过具有降低的色彩空间质量的两个依次相续的图像计算差别图像(B0′)，和
-用于传输压缩的所述视频数据的通信单元(C)。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102022203889.4 | 2022-04-20 | ||
| DE102022203889.4A DE102022203889A1 (de) | 2022-04-20 | 2022-04-20 | Verfahren zur adaptiven Videodatenkompression in einem Fahrzeug und entsprechende Vorrichtung |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116916030A true CN116916030A (zh) | 2023-10-20 |
Family
ID=88238557
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310395354.XA Pending CN116916030A (zh) | 2022-04-20 | 2023-04-13 | 用于在车辆中进行适应性的视频数据压缩的方法和相应的装置 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN116916030A (zh) |
| DE (1) | DE102022203889A1 (zh) |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2375909A (en) | 2001-05-25 | 2002-11-27 | Digital Image Res Ltd | Vehicle security system which transmits image and location data |
| DE102012206406A1 (de) | 2012-04-18 | 2013-10-24 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Vorrichtung zur Erzeugung eines Datenstroms zur Übertragung von Bilddaten |
| DE102018215151A1 (de) | 2018-09-06 | 2020-03-12 | Zf Friedrichshafen Ag | Verfahren und Steuerungseinheit für eine Radarsensorarchitektur |
| US10771787B2 (en) | 2018-11-30 | 2020-09-08 | Toyota Motor North America, Inc. | Dynamic data compression systems and methods for use with vehicle data |
| EP3937491A1 (en) | 2020-07-07 | 2022-01-12 | Ree Technology GmbH | Optimizing video encoding and/or transmission for remote driving applications |
-
2022
- 2022-04-20 DE DE102022203889.4A patent/DE102022203889A1/de active Pending
-
2023
- 2023-04-13 CN CN202310395354.XA patent/CN116916030A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| DE102022203889A1 (de) | 2023-10-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112913237B (zh) | 使用深度神经网络的人工智能编码和人工智能解码方法和设备 | |
| CN104322072B (zh) | 分层vdr编码方法以及编码器 | |
| EP3926962A1 (en) | Apparatus and method for processing point cloud data | |
| CN110225341A (zh) | 一种任务驱动的码流结构化图像编码方法 | |
| CN105391972B (zh) | 图像通信设备、图像发送设备和图像接收设备 | |
| JP7330962B2 (ja) | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 | |
| DE112018005250T5 (de) | Punktwolkenkomprimierung | |
| CN111314702B (zh) | 一种基于图像识别的车辆实时监控系统、方法及设备 | |
| US20150139500A1 (en) | Method and System for Optimizing Image Processing in Driver Assistance Systems | |
| IL272813B (en) | "A method for encoding and a method for decoding a search panel and compatible devices" | |
| CN115210765A (zh) | 点云数据发送装置、发送方法、处理装置和处理方法 | |
| CN114009046A (zh) | 用于处理点云数据的装置和方法 | |
| EP4243413A1 (en) | Point cloud data transmission device, point cloud data transmission method, point cloud data reception device, and point cloud data reception method | |
| WO2020075862A1 (ja) | 三次元データ符号化方法、三次元データ復号方法、三次元データ符号化装置、及び三次元データ復号装置 | |
| CN104756497B (zh) | 图像传送系统 | |
| Chan et al. | Influence of AVC and HEVC compression on detection of vehicles through Faster R-CNN | |
| US20220415033A1 (en) | Shared Training of Neural Networks to Reduce Data and for the Object Detection of Image Data | |
| US11140420B2 (en) | Methods and systems for balancing compression ratio with processing latency | |
| GB2350515A (en) | Video encoder | |
| CN116916030A (zh) | 用于在车辆中进行适应性的视频数据压缩的方法和相应的装置 | |
| CN116636214A (zh) | 点云编解码方法与系统、及点云编码器与点云解码器 | |
| CN117315189A (zh) | 点云重建方法、系统、终端设备及计算机存储介质 | |
| CN109474825A (zh) | 一种脉冲序列压缩方法及系统 | |
| CN102800110B (zh) | 一种确定图像的感知量及图像编码的方法及装置 | |
| KR102489429B1 (ko) | 원격 주행을 위한 주행 영상 데이터 송수신 시스템 및 이의 실행 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |