CN114666006A - 用于优先分段数据的速率自适应编码解码方案 - Google Patents

用于优先分段数据的速率自适应编码解码方案 Download PDF

Info

Publication number
CN114666006A
CN114666006A CN202110520939.0A CN202110520939A CN114666006A CN 114666006 A CN114666006 A CN 114666006A CN 202110520939 A CN202110520939 A CN 202110520939A CN 114666006 A CN114666006 A CN 114666006A
Authority
CN
China
Prior art keywords
priority
sparse
encoder
encoded information
decoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110520939.0A
Other languages
English (en)
Inventor
J.坎皮斯
R.布斯丁
E.基肖恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GM Global Technology Operations LLC
Original Assignee
GM Global Technology Operations LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GM Global Technology Operations LLC filed Critical GM Global Technology Operations LLC
Publication of CN114666006A publication Critical patent/CN114666006A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0001—Systems modifying transmission characteristics according to link quality, e.g. power backoff
    • H04L1/0009—Systems modifying transmission characteristics according to link quality, e.g. power backoff by adapting the channel coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种速率自适应系统中的方法，包括：由编码器将分段图像中的多个数据簇分类为对应于具有预定优先级的不同预定标签的多个类别之一；由编码器对数据进行矢量化，以生成用于其对应标签的稀疏矢量xi；由编码器通过将测量矩阵Ai(t)与稀疏矢量xi相乘以生成一组编码信息yi来编码多个稀疏矢量xi；由编码器向解码器以优先顺序发送多组编码信息yi；由所述解码器解码所述多组编码信息yi，以基于确定测量矩阵Ai(t)来确定所述多个稀疏矢量xi；以及将多个稀疏矢量xi联合成单个图像帧。

Description

用于优先分段数据的速率自适应编码解码方案
技术领域
本公开总体上涉及感知系统和方法，并且更具体地涉及用于共享分段(segmented)图像的系统和方法。
背景技术
车辆的传感器共享可能具有可观的益处。但是，传感器共享可能会有许多困难。由于例如数据传输的成本和通信的高潜在等待时间，车辆产生的大量数据可能不会被不加区别地共享，这可能使数据无关紧要。标准压缩方法不能利用在图像中发现的分段输入的稀疏性质，不能达到高压缩率，并且难以动态(on-the-fly)适应以优化信道吞吐量。
因此，期望提供可以利用分段输入的稀疏性质以允许传感器共享的系统和方法。此外，结合附图和本发明的背景，从随后的详细描述和所附的权利要求书，本发明的其他期望的特征和特性将变得显而易见。
发明内容
公开了用于提供速率(rate)自适应感知共享的系统和方法。在一个实施例中，公开了一种用于实现场景感知共享的速率自适应系统。该系统包括观看系统处的基于优先级的编码器和远程系统处的基于优先级的解码器。该基于优先级的编码器包括控制器，该控制器被配置为：将所接收的场景的分段图像中的多个数据簇分割(split)成多个不同的预定标签中的一个，其中每个标签被分配有预定的优先级水平；对用于多个标签的数据进行矢量化(例如，将分割的数据转换成用于每个标签的矢量，其中每个矢量包括单独的矩阵，其中对应于标签的像素被标记，而剩余的像素未被标记)，以生成用于其对应标签的稀疏矢量xi，该稀疏矢量具有其对应标签的优先级水平；通过将测量矩阵Ai(t)与稀疏矢量xi相乘以生成具有其对应标签的优先级水平的相应标签的一组编码信息yi，来编码多个稀疏矢量xi，从而生成多组编码信息yi；以及以优先顺序发送多组编码信息yi，其中较高优先级水平组的编码信息yi在较低优先级水平组的编码信息yi之前发送。基于优先级的解码器包括控制器，该控制器被配置为：接收多组编码信息yi；基于确定测量矩阵Ai(t)，解码多组编码信息yi以确定多个稀疏矢量
Figure BDA0003063942260000021
以及将多个稀疏矢量
Figure BDA0003063942260000022
联合成一个联合矢量；其中该联合矢量可以被重新整形为包括近似图像分段的场景的近似图像。
在一个实施例中，基于优先级的编码器还被配置为以优先顺序编码多个稀疏矢量xi，其中较高优先级水平稀疏矢量xi在较低优先级水平稀疏矢量xi之前被编码。
在一个实施例中，测量矩阵Ai(t)被配置为允许以比对应于较低优先级水平稀疏矢量xi的数据更高的分辨率来编码对应于较高优先级水平稀疏矢量xi的数据。
在一个实施例中，基于优先级的解码器还被配置为以优先顺序解码多组编码信息yi，以确定多个稀疏矢量
Figure BDA0003063942260000023
其中较高优先级水平组的编码信息yi在较低优先级水平组的编码信息yi之前被解码。
在一个实施例中，基于优先级的解码器还被配置为解码多组编码信息yi，以基于yi＝Ai(t)xi确定多个稀疏矢量
Figure BDA0003063942260000024
使得||xi||是最小的。
在一个实施例中，基于在基于优先级的编码器处和基于优先级的解码器处已知的公共种子，在基于优先级的编码器处和基于优先级的解码器处确定测量矩阵Ai(t)。
在一个实施例中，基于由基于优先级的解码器向基于优先级的编码器提供的反馈，在基于优先级的编码器处确定测量矩阵Ai(t)的维数(dimensions)。
在一个实施例中，优先编码器被配置为基于根据用标签分段的像素的数量来估计标签的稀疏性水平s来确定测量矩阵Ai(t)的维数。
在一个实施例中，优先解码器被配置为基于根据用标签分段的像素的数量来估计标签的稀疏性水平s来确定测量矩阵Ai(t)的维数。
在一个实施例中，优先编码器和优先解码器均进一步被配置为基于当前帧(或最后一对帧)中每个标签的稀疏性和速率的总和小于或等于约束来确定下一帧中要使用的测量矩阵Ai(t)的维数。
在一个实施例中，场景的分段图像从摄像机图像、雷达深度图像、激光雷达深度图像或声音图像中导出；观察系统包括自主或半自主驱动的车辆；并且远程系统包括基于云的、基于边缘云的计算系统、基础设施或其他车辆。
在另一个实施例中，提供了一种速率自适应系统中的方法，该速率自适应系统包括观看系统处的基于优先级的编码器和远程系统处的基于优先级的解码器，用于实现场景的感知共享。该方法包括由基于优先级的编码器根据多个不同的预定标签中的一个来分割接收到的场景的分段图像中的多个数据簇，其中每个标签被分配预定的优先级水平；由基于优先级的编码器对多个标签的数据进行矢量化(例如，将分割的数据转换成每个标签的矢量，其中每个矢量包括单独的矩阵，在该矩阵中，对应于标签的像素被标记，而剩余的像素未被标记)，以生成用于其对应标签的稀疏矢量xi，该稀疏矢量具有其对应标签的优先级水平；由基于优先级的编码器通过将测量矩阵Ai(t)与稀疏矢量xi相乘以生成具有其对应标签的优先级水平的其对应标签的一组编码信息yi，来编码多个稀疏矢量xi，从而生成多组编码信息yi；由基于优先级的编码器以优先顺序向基于优先级的解码器发送多组编码信息yi，其中较高优先级水平组的编码信息yi在较低优先级水平组的编码信息yi之前发送；由基于优先级的解码器解码多组编码信息yi，以基于确定测量矩阵Ai(t)来确定所述多个稀疏矢量
Figure BDA0003063942260000031
将所述多个稀疏矢量
Figure BDA0003063942260000032
联合为一个联合矢量，其中所述联合矢量可以被重新整形为包括近似图像分段的场景的近似图像。
在一个实施例中，编码多个稀疏矢量xi包括以优先顺序编码多个稀疏矢量xi，其中较高优先级水平稀疏矢量xi在较低优先级水平稀疏矢量xi之前被编码。
在一个实施例中，测量矩阵Ai(t)被配置为允许以比对应于较低优先级水平稀疏矢量xi的数据更高的分辨率来编码对应于较高优先级水平稀疏矢量xi的数据。
在一个实施例中，解码多组编码信息yi包括以优先顺序解码多组编码信息yi，其中较高优先级水平组的编码信息yi在较低优先级水平组的编码信息yi之前被解码。
在一个实施例中，解码多组编码信息yi包括解码多组编码信息yi，以基于yi＝Ai(t)xi确定多个稀疏矢量
Figure BDA0003063942260000033
使得||xi||是最小的。
在一个实施例中，该方法还包括基于在基于优先级的编码器处和在基于优先级的解码器处已知的公共种子，在基于优先级的编码器处和基于优先级的解码器处确定测量矩阵Ai(t)。
在一个实施例中，该方法还包括基于由基于优先级的解码器向基于优先级的编码器提供的反馈，在基于优先级的编码器处和基于优先级的解码器处确定测量矩阵Ai(t)的维数。
在一个实施例中，该方法还包括基于根据当前帧(或最后几帧)中用标签分段的像素的数量来估计标签的稀疏性水平s来确定将在基于优先级的编码器和基于优先级的解码器处用于下一帧的测量矩阵Ai(t)的维数。
在一个实施例中，该方法还包括基于为当前帧(或最后几帧)中的每个标签确定的稀疏性和速率的总和小于或等于约束，来确定要在下一帧中使用的测量矩阵Ai(t)的维数。
在一个实施例中，场景的分段图像从摄像机图像、雷达深度图像、激光雷达深度图像或声音图像中导出；观察系统包括自主或半自主驱动的车辆；以及远程系统包括基于云的计算系统、基于边缘云的计算系统、基础设施或另一车辆。
在另一个实施例中，提供了一种用于实现场景感知共享的速率自适应系统。该速率自适应系统包括：车辆，其包括被配置为拍摄场景图像的成像设备；控制器，其通过车辆分段算法配置为从场景图像生成场景的分段图像；以及基于优先级的编码器，其包括控制器，该控制器被配置为：根据多个不同的预定标签之一分割场景的分段图像中的多个数据簇，其中每个标签被分配预定的优先级水平；对多个标签的数据进行矢量化(例如，将分割的数据转换成每个标签的矢量，其中每个矢量包括单独的矩阵，其中对应于标签的像素被标记，而剩余的像素未被标记)，以生成用于其对应标签的稀疏矢量xi，该稀疏矢量具有其对应标签的优先级水平；通过将测量矩阵Ai(t)与稀疏矢量xi相乘以生成用于其对应标签的一组编码信息yi，该一组编码信息具有其对应标签的优先级水平，来编码多个稀疏矢量xi，从而生成多组编码信息yi；以及以优先顺序发送多组编码信息yi，其中较高优先级水平组的编码信息yi在较低优先级水平组的编码信息yi之前发送。该速率自适应系统还包括远程系统处的基于优先级的解码器，该解码器包括控制器，该控制器被配置为：接收多组编码信息yi；基于确定测量矩阵Ai(t)，解码多组编码信息yi以确定多个稀疏矢量
Figure BDA0003063942260000041
以及将所述多个稀疏矢量
Figure BDA0003063942260000042
联合(unite)成联合矢量，其中所述联合矢量可以被重新整形成包括近似图像分段的场景的近似图像。
附图说明
当结合附图阅读时，从以下详细描述中可以最好地理解本公开的各方面，其中相同的附图标记表示相同的元件，并且
图1是根据一些实施例的描绘示例速率自适应编码/解码系统的框图；
图2是根据一些实施例的可以实现基于优先级的编码器和/或基于优先级的解码器的示例车辆的框图；
图3是根据一些实施例的描绘基于优先级的编码器中的示例过程的过程流程图；
图4是根据一些实施例的描述基于优先级的编码器中的另一示例过程的过程流程图；
图5是根据一些实施例的描述基于优先级的解码器中的示例过程的过程流程图；
图6是根据一些实施例的描述感知共享的示例过程的过程流程图；和
图7是根据一些实施例的描述速率自适应系统中的示例过程的过程流程图，该速率自适应系统包括观看系统处的基于优先级的编码器和远程系统处的基于优先级的解码器，用于能使场景的感知共享。
具体实施方式
以下详细描述本质上仅仅是示例性的，并不旨在限制应用和使用。此外，不打算受前面的技术领域、背景技术、发明内容或下面的详细描述中提出的任何明示或暗示的理论的约束。
这里可以根据功能和/或逻辑块组件和各种处理步骤来描述本公开的实施例。应当理解，这种块组件可以由被配置为执行指定功能的任何数量的硬件、软件和/或固件组件来实现。例如，本公开的实施例可以采用各种集成电路组件，例如存储元件、数字信号处理元件、逻辑元件、查找表等，其可以在一个或多个微处理器或其他控制设备的控制下执行各种功能。此外，本领域技术人员将理解，本公开的实施例可以结合任何数量的系统来实施，并且这里描述的系统仅仅是本公开的示例性实施例。
为了简洁起见，与信号处理、数据传输、信令、控制、移动通信、车辆对车辆通信以及系统的其他功能方面(以及系统的各个操作组件)相关的传统技术在此不再详细描述。此外，本文包含的各图中所示的连接线旨在表示各种元件之间的示例功能关系和/或物理联接。应当注意，在本公开的实施例中可以存在许多替代的或附加的功能关系或物理连接。
为了实现感知共享，无论是云还是其他车辆，都需要高速压缩。所描述的系统、方法、装置和技术利用低等级的分段数据并利用压缩感知来达到图像数据的高压缩率。所描述的系统、方法、装置和技术可以允许近乎实时地将分段图像传播到例如邻近车辆、基于云的设备、边缘云设备、基础设施等。所描述的系统、方法、装置和技术提供了速率/优先级自适应方案中的低复杂度编码和解码。所描述的系统、方法、装置和技术可以允许更高优先级的像素以更高的分辨率(更少的失真)被编码，并且允许更高优先级的像素首先被解码。
所描述的系统、方法、装置和技术可以自适应地设置压缩传感参数，以匹配所需的精度水平。所描述的系统、方法、装置和技术可以为编码器和解码器利用公共种子值。种子的确切要求可以预先设置，或者作为反馈从解码器传输到编码器。
在给定总体速率约束的情况下，所描述的系统、方法、装置和技术可以允许或增加较高优先级段的分辨率(例如，根据对象的类型)。所描述的系统、方法、装置和技术还可以允许优先编码和传输，其中具有较高优先级的段以较低的等待时间被编码和传输。所描述的系统、方法、装置和技术还可以允许优先解码，其中具有较高优先级的片段以较低的等待时间被解码。所描述的系统、方法、装置和技术可以提供高效且消耗最小计算资源和处理时间的编码技术。所描述的系统、方法、装置和技术可以应用于摄像机图像、雷达/激光雷达深度图像和声音图像等。
图1是描绘示例速率自适应编码/解码系统100的框图，该速率自适应编码/解码系统100能够实现从具有场景视图的观看系统(诸如第一车辆或基于基础设施的系统(例如，交通灯或标志))到远程系统(诸如基于云的系统、基于基础设施的系统、另一车辆或基于边缘云的系统)的感知场景的图像(例如，摄像机图像、雷达/激光雷达深度图像或声音图像)的感知共享。示例速率自适应编码/解码系统100包括观看系统处的基于优先级的编码器102和远程系统处的基于优先级的解码器104。
在该示例中，由观看系统提供感知场景的图像106作为具有原始分段的图像。图像106包括识别三个车辆108的位置的三个像素簇和识别骑车人110的一像素簇。图像106由基于优先级的编码器102接收，编码器102将图像编码为具有高压缩比的编码图像112。编码图像112被传输(例如，通过已知的无线技术)到基于优先级的解码器104。基于优先级的解码器104将图像112解码为完全分段的图像114，其可以作为具有解码分段的图像116存储在远程系统中。基于优先级的编码器102可以使用基于优先级的解码器104已知的预定种子值来编码图像106。替代地，基于优先级的编码器102可以使用从基于优先级的解码器104提供的可选反馈118中导出的种子值来编码图像106。在任一情况下，基于优先级的解码器104可以基于与基于优先级的编码器102对图像106进行编码期间使用的种子值相同的种子值来解码编码图像112。
图2是可以实现基于优先级的编码器102和/或基于优先级的解码器104的示例车辆200的框图。车辆200通常包括底盘12、车身14、前轮16和后轮18。车身14布置在底盘12上，并且基本上封闭车辆200的部件。车身14和底盘12可以共同形成框架。车轮16-18每个都在车身14的相应拐角附近可旋转地联接到底盘12。车辆200在所示实施例中被描绘为客车，但是其他车辆类型，包括摩托车、卡车、运动型多功能车(SUV)、休闲车(RV)、船舶、飞机等，也可以使用。车辆200能够手动、自主和/或半自主驱动。
车辆200还包括推进系统20、传动系统22、转向系统24、制动系统26、传感器系统28、致动器系统30、至少一个数据存储设备32、至少一个控制器34和通信系统36，该通信系统36被配置为向和从其他实体48(例如，其他车辆、基础设施、基于边缘云的系统、基于云的系统)无线传送信息。
数据存储设备32存储用于自动控制车辆200的数据。数据存储设备32可以是控制器34的一部分，独立于控制器34，或者是控制器34的一部分和独立系统的一部分。
控制器34包括至少一个处理器44和计算机可读存储设备或介质46。在各种实施例中，控制器34实现基于优先级的编码器102和/或基于优先级的解码器104。尽管图2中仅示出了一个控制器34，但是车辆200的实施例可以包括任意数量的控制器34，这些控制器34通过任意合适的通信介质或通信介质的组合进行通信，并且协作来处理传感器信号、执行逻辑、计算、方法和/或算法，并且生成控制信号以自动控制车辆200的特征。
处理器44可以是任何定制的或市售的处理器、中央处理器(CPU)、图形处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、与控制器相关联的几个处理器中的辅助处理器、基于半导体的微处理器(以微芯片或芯片集的形式)、其任何组合或通常用于执行指令的任何设备。
计算机可读存储设备或介质46可以在例如只读存储器(ROM)、随机存取存储器(RAM)和保持活动存储器(KAM)中包括易失性和非易失性存储器。KAM是永久性或非易失性存储器，其可在处理器掉电时用于存储各种操作变量。计算机可读存储设备或介质可以使用许多已知的存储设备(例如PROM(可编程只读存储器)、EPROM(电PROM)、EEPROM(电可擦除PROM)、闪存或能够存储数据的任何其他电、磁、光学或组合存储设备)来实现，其中一些代表由控制器使用的可执行编程指令。编程指令可以包括一个或多个单独的程序，每个程序包括用于实现逻辑功能的可执行指令的有序列表。
图3是描述基于优先级的编码器中的示例过程300的过程流程图。编码器可以由控制器来实现，该控制器由编码在非暂时性计算机可读介质上的编程指令来配置，该编程指令可配置成使控制器中的一个或多个处理器执行示例过程300。过程300内的操作顺序不限于图3中所示的顺序执行，而是可以根据本公开以一个或多个适合的不同顺序来执行。
示例过程300包括根据应用于像素簇的标签来分割(或分类)接收到的分段图像301中的像素簇(操作302)。因为分段图像301包括稀疏数据(例如，每个像素簇)，所以编码器可以专注于稀疏数据。在这个例子中，有三个标签，行人标签(303)被分配1级优先级，骑车人标签(305)被分配2级优先级，车辆标签(307)被分配3级优先级。根据标签分割该分段图像。
示例过程300包括矢量化(操作304、306、308)。稀疏数据以分段图像301的帧的形式被接收。基于标签分割的数据帧(操作302)，并将分割的数据转换成矢量(例如，矢量化)，每个标签一个矢量。在一个示例中，矢量化(例如，将分割的数据转换成矢量)包括为每个标签提供单独的矩阵(例如，0-1矩阵)，其中一些像素被标记(值为1)，其余像素未被标记(像素值为零)。这些矩阵中的每一个都被矢量化，因为每个矩阵都与单个标签相关联，并且唯一被标记的像素是对应于该矩阵的相关标签的像素。
在图示的例子中，来自标记为“行人”的分割的数据被矢量化(操作304)成第一稀疏矢量x1(309)，来自标记为“骑车人”的分割的数据被矢量化(操作306)成第二稀疏矢量x2(311)，来自标记为“车辆”的分割的数据被矢量化(操作308)成第三稀疏矢量x3(313)。矢量化操作(操作304、306、308)可以基于优先编码器的计算能力并行或顺序(例如，基于优先顺序)执行。
示例过程300包括生成要传输的编码信息(操作310、312、314)。要传输的编码信息包括每个稀疏矢量xi的一组编码信息yi。每组编码信息yi通过将测量矩阵Ai(t)乘以稀疏矢量xi来生成。测量矩阵Ai(t)可根据相应标签的估计稀疏性水平和所需的准确度来配置。更高优先级的稀疏矢量可能需要更高的准确度水平，这将在相应的测量矩阵的维数中表现出来。在该示例中，通过将第一测量矩阵A1(t)(315)与第一稀疏矢量x1(例如，y1＝A1(t)x1)相乘来生成第一稀疏矢量x1(309)的第一组编码信息y1(321)，通过将第二测量矩阵A2(t)(317)与第二稀疏矢量x2(例如，y2＝A2(t)x2)相乘来生成第二稀疏矢量x2(311)的第二组编码信息y2(323)(操作312)，并且通过将第三测量矩阵A3(t)(319)乘以第三稀疏矢量x3(例如，y3＝A3(t)x3)来生成第三稀疏矢量x3(313)的第三组编码信息y3(325)(操作314)。三组编码信息(y1、y2、y3)可以基于优先编码器处的计算能力并行或顺序(例如，基于优先顺序)生成。三组编码信息(y1、y2、y3)可以按优先级顺序(例如，经由已知的无线技术)传输到远程位置处的基于优先级的解码器，用于解码、重建和存储对应于分段图像301的场景的图像。
产生编码信息(y1，y2，y3)的编码过程可以基于优先级来执行，其中可以基于优先级编码器处的计算和/或传输能力首先编码和/或传输较高优先级信息(例如优先级1信息y1)，可以基于优先级编码器处的计算和/或传输能力接下来编码和/或传输下一较高优先级信息(例如优先级2信息y2)，以及可以基于优先编码器处的计算和/或传输能力第三次编码和/或传输第三较高优先级信息(例如，优先级3信息y3)，当存在计算和/或传输约束时，这可以确保在优先解码器处以最低可能的等待时间接收到较高优先级的信息。
图4是描述基于优先级的编码器中的示例过程400的过程流程图。编码器可以由控制器来实现，该控制器由编码在非暂时性计算机可读介质上的编程指令来配置，该编程指令可配置成使控制器中的一个或多个处理器执行示例过程400。过程400内的操作顺序不限于图4中所示的顺序执行，而是可以根据本公开以一个或多个合适的不同顺序来执行。
示例过程400包括根据应用于像素簇的标签将来自接收的分段图像401的数据帧中的像素簇分割(或分类)成层(稀疏数据矢量xi)(操作402)。在这个例子中，有三个标签，行人标签(403)被分配1级优先级，骑车人标签(405)被分配2级优先级，车辆标签(407)被分配3级优先级。稀疏数据根据标签分割成三层之一。
在该例子中，分割操作包括矢量化。稀疏数据以分段图像401的帧的形式被接收。基于标签分割的数据帧，并将分割的数据转换成矢量(例如，矢量化)，每个标签一个矢量。在该示例中，来自标记为“行人”的分割的数据被矢量化成第一稀疏矢量x1，来自标记为“骑车人”的分割的数据被矢量化成第二稀疏矢量x2，来自标记为“车辆”的分割的数据被矢量化成第三稀疏矢量x3。矢量化操作可以基于优先编码器处的计算能力并行或顺序(例如，基于优先顺序)执行。
示例过程400包括基于逐层编码数据帧，以生成要传输的编码信息(操作404、406、408)。要传输的编码信息包括每个稀疏矢量xi的一组编码信息yi。每组编码信息yi通过将测量矩阵Ai(t)乘以稀疏矢量xi来生成。测量矩阵Ai(t)可根据相应标签的估计稀疏性水平和所需的准确度水平来配置。更高优先级的稀疏矢量可能需要更高的准确度水平，这将在相应的测量矩阵的维数中表现出来。在该示例中，通过将第一测量矩阵A1(t)(415)与第一稀疏矢量x1(例如，y1＝A1(t)x1)相乘来生成第一稀疏矢量x1的第一组编码信息y1(409)(操作404)，通过将第二测量矩阵A2(t)(417)与第二稀疏矢量x2(例如，y2＝A2(t)x2)相乘来生成第二稀疏矢量x2的第二组编码信息y2(411)(操作406)，以及通过将第三测量矩阵A3(t)(419)乘以第三稀疏矢量x3(例如，y3＝A3(t)x3)来生成第三稀疏矢量x3的第三组编码信息y3(413)(操作408)。三组编码信息(y1、y2、y3)可以基于优先编码器处的计算能力并行或顺序(例如，基于优先顺序)生成。
产生编码信息(y1，y2，y3)的编码过程可以基于优先级来执行，其中首先编码较高优先级信息(例如，优先级1信息y1)，接下来编码下一个较高优先级信息(例如，优先级2信息y2)，并且第三个较高优先级信息(例如，优先级3信息y3)被第三个编码。这可以确保当存在计算约束时，总是首先对较高优先级的信息进行编码。
三组编码信息(y1，y2，y3)按优先级排序，并传输(例如，通过已知的无线技术)到远程位置处的基于优先级的解码器(操作410)，用于解码、重建和存储对应于分段图像401的场景的图像。
编码信息(y1，y2，y3)的传输可以基于优先级来执行，其中首先传输较高优先级信息(例如，优先级1信息y1)，接下来传输下一个较高优先级信息(例如，优先级2信息y2)，以及第三次传输第三个较高优先级信息(例如，优先级3信息y3)。这可以确保在优先级最低的解码器处以尽可能低的等待时间接收到较高优先级的信息。
示例过程400还包括生成测量矩阵Ai(t)的操作(操作411)。对于初始帧(例如，在时间t＝0)，为每个标签生成具有m行(例如，公共种子)的随机矩阵A0(操作412)。这个随机矩阵A0用于通过yi＝A0(t)xi对每个帧进行编码。优先编码器和优先解码器可以使用相同的种子来生成该随机矩阵A0。这确保优先解码器能够解码编码信息以重构编码数据。每个标签不需要相同的随机矩阵A0，每个标签也不需要相同尺寸的矩阵。先前的理解可用于确定不同的每个标签的初始尺寸。具有预设参数和公共种子可以允许在两端(编码器和解码器)为每个标签随机生成相同的测量矩阵。
对于每个帧，过程400包括通过基于y1＝A1(t)x1找到
Figure BDA0003063942260000111
使得||x1||最小(操作414)、基于y2＝A2(t)找到
Figure BDA0003063942260000112
使得||x2||最小(操作416)以及基于y3＝A3(t)找到
Figure BDA0003063942260000113
使得||x3||最小(操作418)，来解码先前生成的帧。操作414、416、418可以基于优先编码器处的计算能力并行或顺序(例如，基于优先)执行。
基于解码操作(414、416、418)，过程400包括在速率之和小于或等于约束(速率之和≤约束)的情况下，确定下一帧中分配给每个标签的行数(操作420)。这导致生成用于编码下一帧数据的下一测量矩阵At＝[A1(t)|A2(t)|A3(t)](421)。这些测量矩阵是基于一个公共种子随机选取的。估计的稀疏性水平是通过检查前一帧中每个标签的稀疏性水平并将其与准确度(和优先级)一起使用来确定每个标签的每个测量矩阵的行数来确定的。操作411提供可重复的操作，该可重复的操作可被优先解码器用来解码和重构编码的信息。
图5是描述基于优先级的解码器中的示例过程500的过程流程图。解码器可以由控制器来实现，该控制器由编码在非暂时性计算机可读介质上的编程指令来配置，该编程指令可配置成使控制器中的一个或多个处理器执行示例过程500。过程500内的操作顺序不限于图5中所示的顺序执行，而是可以根据本公开以一个或多个合适的不同顺序来执行。
示例过程500包括针对初始帧(例如，在时间t＝0)为每个标签生成具有m行(例如，公共种子)的随机测量矩阵A0(操作502)。这个随机矩阵A0用于解码每一类标记数据。优先编码器和优先解码器使用相同的种子来生成相同的测量矩阵A0。这确保了优先解码器能够解码编码信息以重构该编码数据。每个标签不需要相同的随机矩阵A0，每个标签也不需要相同尺寸的矩阵。先前的理解可用于确定用于不同的每个标签的初始尺寸。具有预设参数和公共种子可以允许在两端(编码器和解码器)为每个标签随机生成相同的测量矩阵。
示例过程500包括接收接收多组(501a，501b，501c)的编码信息(y1，y2，y3)并解码该编码信息(y1，y2，y3)以基于yi＝Ai(t)xi确定每个稀疏数据矢量
Figure BDA0003063942260000121
使得||xi||1最小(操作504)。在该示例中，这包括基于y1＝A1(t)x1确定第一稀疏数据矢量
Figure BDA0003063942260000122
使得||x1||最小，基于y2＝A2(t)x2确定第二稀疏数据矢量
Figure BDA0003063942260000123
使得||x2||最小，以及基于y3＝A3(t)x3确定第三稀疏数据矢量
Figure BDA0003063942260000124
使得||x3||最小。考虑到优先编码器处的计算能力和/或在解码器处接收编码信息的定时，解码编码信息y1以找到稀疏数据矢量
Figure BDA0003063942260000125
可以与解码编码信息y2以找到稀疏数据矢量
Figure BDA0003063942260000126
并行或顺序地(例如，基于优先级)执行，和/或与解码该编码信息y3以找到稀疏数据矢量
Figure BDA0003063942260000127
并行或顺序地(例如，基于优先级)执行。
示例过程500包括将层(例如，第一稀疏数据矢量
Figure BDA0003063942260000128
第二稀疏数据矢量
Figure BDA0003063942260000129
和第三稀疏数据矢量
Figure BDA00030639422600001210
)联合成单个帧(例如，联合矢量)(操作506)。该联合矢量可以被重新整形为包括近似图像分段的场景508的近似图像。
解码操作504取决于在优先解码器处执行的测量矩阵Ai的确定。对于每个标签，示例过程500包括根据用标签分段的像素的数量来估计稀疏性水平s(操作510、512、514)。该估计基于解码图像。因此，在该示例中，对于标签1(509)，示例性过程500包括根据用行人标签分段的像素数量来估计稀疏性水平s(操作510)，对于标签2(511)，示例性过程500包括根据用骑车人标签分段的像素数量来估计稀疏性水平s(操作512)，并且对于标签3(513)，示例性过程500包括根据用车辆标签分段的像素数量来估计稀疏性水平s(操作514)。
示例过程500包括在速率总和小于或等于约束(速率总和≤约束)的情况下，确定下一帧中分配给每个标签的行数(操作516)。这导致生成用于编码下一帧数据的下一测量矩阵At＝[A1(t)|A2(t)|A3(t)](517)。一旦确定了行数，就使用一个公共种子随机生成矩阵，以便它们在两端匹配。操作510、512、514、516提供可重复的操作，其允许优先解码器使用优先编码器中用于编码该编码信息的相同矩阵来解码和重构编码信息。
图6是描述用于感知共享的示例过程600的过程流程图。示例过程包括通过车辆606的成像设备604捕捉场景的图像602。图像602可以包括摄像机图像、雷达/激光雷达深度图像、声音图像或其他。
示例过程600包括对原始图像602应用分段算法(操作608)，以产生分段结果610。示例过程600包括将编码器612应用于分段结果610以生成编码分段614。编码器612可以被配置成应用诸如图3和/或图4所示的编码过程来生成编码的分段614。
示例过程600包括经由无线链路616将编码的分段614传输到远程站点的解码器618，例如基于云的服务器620。解码器618可以被配置成应用如图5所示的解码过程来生成解码的分段622。
图7是描述速率自适应系统中的示例过程700的过程流程图，该速率自适应系统包括观看系统处的基于优先级的编码器和远程系统处的基于优先级的解码器，用于实现场景的感知共享。过程700内的操作顺序不限于图7中所示的顺序执行，而是可以根据本公开以一个或多个合适的变化顺序来执行。
示例过程700包括由基于优先级的编码器将接收到的场景的分段图像中的多个数据簇分割成多个不同的预定标签之一，其中每个标签被分配有预定的优先级水平(操作702)。
示例过程700包括由基于优先级的编码器对多个标签的数据进行矢量化，以生成用于其对应标签的稀疏矢量xi，该稀疏矢量具有其对应标签的优先级水平(操作704)。在该示例中，矢量化包括将分割的数据转换成每个标签的矢量，其中每个矢量包括单独的矩阵，在该矩阵中，对应于标签的像素被标记，其余像素未被标记。
示例过程700包括由基于优先级的编码器通过将测量矩阵Ai(t)乘以稀疏矢量xi来编码多个稀疏矢量xi，以生成具有其对应标签的优先级水平的相应标签的一组编码信息yi，从而生成多组编码信息yi(操作706)。多个稀疏矢量xi的编码可以包括以优先顺序编码多个稀疏矢量xi，其中较高优先级水平稀疏矢量xi在较低优先级水平稀疏矢量xi之前被编码。测量矩阵Ai(t)可以被配置为允许以比对应于较低优先级水平稀疏矢量xi的数据更高的分辨率来编码对应于较高优先级水平稀疏矢量xi的数据。
示例过程700包括由基于优先级的编码器向基于优先级的解码器以优先顺序发送多组编码信息yi，其中较高优先级水平组的编码信息yi在较低优先级水平组的编码信息yi之前被发送(操作708)。
示例过程700包括由基于优先级的解码器解码多组编码信息yi，以基于确定测量矩阵Ai(t)来确定多个稀疏矢量
Figure BDA0003063942260000143
(操作710)。对多组编码信息yi的解码可以包括以优先顺序解码多组编码信息yi，其中较高优先级水平组的编码信息yi在较低优先级水平组的编码信息yi之前被解码。对多组编码信息yi的解码可以包括解码多组编码信息yi，以基于yi＝Ai(t)xi确定多个稀疏矢量
Figure BDA0003063942260000141
使得||xi||最小。基于优先级的编码器处和基于优先级的解码器处的测量矩阵Ai(t)可以基于在基于优先级的编码器处和基于优先级的解码器处已知的公共种子来确定。基于优先级的编码器处和基于优先级的解码器处的测量矩阵Ai(t)的维数可以基于由基于优先级的解码器向基于优先级的编码器提供的反馈来确定。测量矩阵Ai(t)的维数可以基于根据在前一帧中用标签分段的像素的数量来估计标签的稀疏性水平s来确定。给定估计的稀疏性、所需的精度(优先级)和总和速率约束(总和速率小于或等于约束)，可以在两端确定地确定每个测量矩阵的行数。然后可以基于相同的种子随机生成测量矩阵，从而在两端处提供相同的测量矩阵。
示例过程700包括将多个稀疏矢量
Figure BDA0003063942260000142
联合成单个图像帧(例如，联合矢量)(操作712)，其中联合矢量可以被重新整形为包括近似图像分段的场景的近似图像。
前述概述了几个实施例的特征，使得本领域技术人员可以更好地理解本公开的方面。本领域的技术人员应该理解，他们可以容易地使用本公开作为设计或修改其他过程和结构的基础，以实现与这里介绍的实施例相同的目的和/或实现相同的优点。本领域的技术人员还应该认识到，这种等同构造不脱离本公开的精神和范围，并且在不脱离本公开的精神和范围的情况下，他们可以在此做出各种改变、替换和变更。

Claims (10)

1.一种用于实现场景的感知共享的速率自适应系统，该系统包括：
观看系统处的基于优先级的编码器，包括控制器，该控制器被配置成：
根据多个不同的预定标签中的一个，分割所接收到的场景的分段图像中的多个数据簇，其中每个标签被分配预定的优先级水平；
对用于多个标签的数据进行矢量化，以生成用于其对应标签的稀疏矢量xi，该稀疏矢量具有其对应标签的优先级水平；
通过将测量矩阵Ai(t)与稀疏矢量xi相乘来编码多个稀疏矢量xi，以生成用于其对应标签的一组编码信息yi，该一组编码信息具有其对应标签的优先级水平，从而生成多组编码信息yi；和
以优先顺序发送多组编码信息yi，其中较高优先级水平组的编码信息yi在较低优先级水平组的编码信息yi之前发送；和
远程系统处的基于优先级的解码器，包括控制器，该控制器被配置成：
接收多组编码信息yi；
基于确定测量矩阵Ai(t)，解码多组编码信息yi以确定多个稀疏矢量
Figure FDA0003063942250000011
和
将多个稀疏矢量
Figure FDA0003063942250000012
联合成一联合矢量；
其中该联合矢量能够被重新整形为包括近似图像分段的场景的近似图像。
2.根据权利要求1所述的速率自适应系统，其中，基于优先级的编码器还被配置为以优先顺序对多个稀疏矢量xi进行编码，其中在较低优先级水平稀疏矢量xi之前对较高优先级水平稀疏矢量xi进行编码。
3.根据权利要求1所述的速率自适应系统，其中，所述测量矩阵Ai(t)被配置为允许以比对应于所述较低优先级水平稀疏矢量xi的数据更高的分辨率对对应于所述较高优先级水平稀疏矢量xi的数据进行编码。
4.根据权利要求1所述的速率自适应系统，其中，基于优先级的解码器还被配置为以优先顺序解码多组编码信息yi，以确定多个稀疏矢量
Figure FDA0003063942250000013
其中，较高优先级水平组的编码信息yi在较低优先级水平组的编码信息yi之前被解码。
5.根据权利要求1所述的速率自适应系统，其中，基于优先级的解码器还被配置为解码多组编码信息yi，以基于yi＝Ai(t)xi确定多个稀疏矢量
Figure FDA0003063942250000021
使得||xi||是最小的。
6.根据权利要求1所述的速率自适应系统，其中，基于在基于优先级的编码器处和在基于优先级的解码器处已知的公共种子，在基于优先级的编码器处和基于优先级的解码器处确定测量矩阵Ai(t)。
7.根据权利要求1所述的速率自适应系统，其中，基于由基于优先级的解码器向基于优先级的编码器提供的反馈，在基于优先级的编码器处确定所述测量矩阵Ai(t)的维数。
8.根据权利要求1所述的速率自适应系统，其中，所述优先编码器和所述优先解码器都被配置为基于根据用标签分段的像素的数量来估计标签的稀疏性水平s来确定所述测量矩阵Ai(t)的维数。
9.根据权利要求8所述的速率自适应系统，其中，所述优先编码器和所述优先解码器都被进一步配置为基于当前帧中的每个标签的稀疏性并且使速率的总和小于或等于约束来确定将在下一帧中使用的测量矩阵Ai(t)的维数。
10.一种速率自适应系统中的方法，该速率自适应系统包括观看系统处的基于优先级的编码器和远程系统处的基于优先级的解码器，用于实现场景的感知共享，该方法包括：
由基于优先级的编码器根据多个不同的预定标签中的一个来分割在接收到的场景的分段图像中的多个数据簇，其中每个标签被分配预定的优先级水平；
由基于优先级的编码器对多个标签的数据进行矢量化，以生成用于其对应标签的稀疏矢量xi，该稀疏矢量具有其对应标签的优先级水平；
由基于优先级的编码器通过将测量矩阵Ai(t)与稀疏矢量xi相乘以生成具有其对应标签的优先级水平的该对应标签的一组编码信息yi，来编码多个稀疏矢量xi，从而生成多组编码信息yi；
由基于优先级的编码器以优先顺序向基于优先级的解码器发送多组编码信息yi，其中较高优先级水平组的编码信息yi在较低优先级水平组的编码信息yi之前发送；
由基于优先级的解码器解码多组编码信息yi，以基于确定测量矩阵Ai(t)来确定所述多个稀疏矢量
Figure FDA0003063942250000022
将所述多个稀疏矢量
Figure FDA0003063942250000031
联合为一联合矢量，其中该联合矢量能够被重新整形为包括近似图像分段的场景的近似图像。
CN202110520939.0A 2020-12-22 2021-05-13 用于优先分段数据的速率自适应编码解码方案 Pending CN114666006A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/131,740 US11438627B2 (en) 2020-12-22 2020-12-22 Rate adaptive encoding decoding scheme for prioritized segmented data
US17/131,740 2020-12-22

Publications (1)

Publication Number Publication Date
CN114666006A true CN114666006A (zh) 2022-06-24

Family

ID=81846856

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110520939.0A Pending CN114666006A (zh) 2020-12-22 2021-05-13 用于优先分段数据的速率自适应编码解码方案

Country Status (3)

Country Link
US (1) US11438627B2 (zh)
CN (1) CN114666006A (zh)
DE (1) DE102021111881A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023014750A (ja) * 2021-07-19 2023-01-31 ウーブン・プラネット・ホールディングス株式会社 移動体制御システム、移動体制御方法、移動体遠隔支援システム

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1065568A (zh) * 1991-02-27 1992-10-21 通用电气公司 用于传输分段编码视频信号的装置
US20010012324A1 (en) * 1998-03-09 2001-08-09 James Oliver Normile Method and apparatus for advanced encoder system
WO2004056028A1 (en) * 2002-12-18 2004-07-01 Koninklijke Philips Electronics N.V. Adaptive encoding of digital multimedia information
US20040170182A1 (en) * 2001-08-09 2004-09-02 Masaaki Higashida Transmission apparatus and transmission method
CN1568620A (zh) * 2001-10-12 2005-01-19 皇家飞利浦电子股份有限公司 使用可变速率调制的视频传送
US20070121720A1 (en) * 2005-11-30 2007-05-31 Kenji Yamane Image coding apparatus, image decoding apparatus and image processing system
CN101867438A (zh) * 2009-04-20 2010-10-20 清华大学 自适应分配多级速率方法和多级速率自适应配置器
US20140193031A1 (en) * 2012-03-22 2014-07-10 Massachusetts Institute Of Technology Compressive sensing with local geometric features
CN105340283A (zh) * 2013-08-09 2016-02-17 索尼公司 发送装置、发送方法、接收装置、接收方法、编码装置以及编码方法
CN109089123A (zh) * 2018-08-23 2018-12-25 江苏大学 基于1比特矢量量化的压缩感知多描述编解码方法
CN109937578A (zh) * 2016-07-05 2019-06-25 高讯科技有限公司 用于视频流的方法和系统
US20190385063A1 (en) * 2018-06-15 2019-12-19 Google Llc Sparse recovery autoencoder
CN110784745A (zh) * 2019-11-26 2020-02-11 科大讯飞股份有限公司 一种视频传输方法、装置、系统、设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8363548B1 (en) * 2008-12-12 2013-01-29 Rockstar Consortium Us Lp Method and system for packet discard precedence for video transport
US20180240335A1 (en) * 2017-02-17 2018-08-23 International Business Machines Corporation Analyzing vehicle sensor data

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1065568A (zh) * 1991-02-27 1992-10-21 通用电气公司 用于传输分段编码视频信号的装置
US20010012324A1 (en) * 1998-03-09 2001-08-09 James Oliver Normile Method and apparatus for advanced encoder system
US20040170182A1 (en) * 2001-08-09 2004-09-02 Masaaki Higashida Transmission apparatus and transmission method
CN1568620A (zh) * 2001-10-12 2005-01-19 皇家飞利浦电子股份有限公司 使用可变速率调制的视频传送
WO2004056028A1 (en) * 2002-12-18 2004-07-01 Koninklijke Philips Electronics N.V. Adaptive encoding of digital multimedia information
US20070121720A1 (en) * 2005-11-30 2007-05-31 Kenji Yamane Image coding apparatus, image decoding apparatus and image processing system
CN101867438A (zh) * 2009-04-20 2010-10-20 清华大学 自适应分配多级速率方法和多级速率自适应配置器
US20140193031A1 (en) * 2012-03-22 2014-07-10 Massachusetts Institute Of Technology Compressive sensing with local geometric features
CN105340283A (zh) * 2013-08-09 2016-02-17 索尼公司 发送装置、发送方法、接收装置、接收方法、编码装置以及编码方法
CN109937578A (zh) * 2016-07-05 2019-06-25 高讯科技有限公司 用于视频流的方法和系统
US20190385063A1 (en) * 2018-06-15 2019-12-19 Google Llc Sparse recovery autoencoder
CN109089123A (zh) * 2018-08-23 2018-12-25 江苏大学 基于1比特矢量量化的压缩感知多描述编解码方法
CN110784745A (zh) * 2019-11-26 2020-02-11 科大讯飞股份有限公司 一种视频传输方法、装置、系统、设备及存储介质

Also Published As

Publication number Publication date
US11438627B2 (en) 2022-09-06
DE102021111881A1 (de) 2022-06-23
US20220201333A1 (en) 2022-06-23

Similar Documents

Publication Publication Date Title
US11729406B2 (en) Video compression using deep generative models
US11924445B2 (en) Instance-adaptive image and video compression using machine learning systems
US11388416B2 (en) Video compression using deep generative models
KR20220150298A (ko) 순환-기반 머신 러닝 시스템들을 사용한 비디오 압축
KR20200044652A (ko) 영상의 주관적 품질을 평가하는 방법 및 장치
CN110799996A (zh) 在不同的深度学习架构之间的知识转移
KR20240054975A (ko) 기계 학습 시스템들을 사용하여 네트워크 파라미터 서브공간에서의 인스턴스 적응적 이미지 및 비디오 압축
CN114096987A (zh) 视频处理方法及装置
CN116917926A (zh) 特征图数据的指示
US20230336736A1 (en) Method for chroma subsampled formats handling in machine-learning-based picture coding
Chamain et al. End-to-End Image Classification and Compression with variational autoencoders
JP2023543520A (ja) 機械学習を基にしたピクチャコーディングにおけるクロマサブサンプリングフォーマット取り扱いのための方法
CN114666006A (zh) 用于优先分段数据的速率自适应编码解码方案
WO2022194137A1 (zh) 视频图像的编解码方法及相关设备
Zhang et al. Bandwidth-efficient multi-task AI inference with dynamic task importance for the Internet of Things in edge computing
KR20200044668A (ko) Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
EP4120684A1 (en) Method and system for optimizing image and video compression for machine vision
CN112385225A (zh) 用于改进图像编码的方法和系统
CN116939218A (zh) 区域增强层的编解码方法和装置
KR20240050435A (ko) 조건부 이미지 압축
CN117321989A (zh) 基于神经网络的图像处理中的辅助信息的独立定位
CN113574882B (zh) 使用深度生成性模型的视频压缩
WO2024032075A1 (zh) 图像处理网络的训练、编解码方法及电子设备
CN116996661B (zh) 三维视频展示方法、装置、设备及介质
WO2023102868A1 (en) Enhanced architecture for deep learning-based video processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination