CN116112694A - 一种应用于模型训练的视频数据编码方法及系统 - Google Patents

一种应用于模型训练的视频数据编码方法及系统 Download PDF

Info

Publication number
CN116112694A
CN116112694A CN202211581196.9A CN202211581196A CN116112694A CN 116112694 A CN116112694 A CN 116112694A CN 202211581196 A CN202211581196 A CN 202211581196A CN 116112694 A CN116112694 A CN 116112694A
Authority
CN
China
Prior art keywords
data
coding
model
encoding
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211581196.9A
Other languages
English (en)
Other versions
CN116112694B (zh
Inventor
左金晶
金伟
殷波
范文沁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Tianchen Jiahang Technology Co ltd
Original Assignee
Wuxi Tianchen Jiahang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Tianchen Jiahang Technology Co ltd filed Critical Wuxi Tianchen Jiahang Technology Co ltd
Priority to CN202211581196.9A priority Critical patent/CN116112694B/zh
Publication of CN116112694A publication Critical patent/CN116112694A/zh
Application granted granted Critical
Publication of CN116112694B publication Critical patent/CN116112694B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/19—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding using optimisation based on Lagrange multipliers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提出了一种应用于模型训练的视频数据编码方法及系统，属于图像数据处理的技术领域，其中方法具体包括步骤如下：步骤1、锁定数据训练集的获取源头；步骤2、建立数据传输通信链路；步骤3、通过数据通信链路发送数据读取请求；步骤4、构建数据编码模型，并对请求读取到的数据进行编码操作；步骤5、将编码后的数据通过数据传输链路进行传输；步骤6、将编码后的数据作为训练集应用于自动驾驶模型中。本发明通过对传输的视频数据进行编码压缩，可以有效的降低存储容量，以及传输过程中占用的带宽；同时，针对解码过程会出现的问题，进一步提出影像编码数据的无损恢复方法提高有效数据的利用方式，从而提高应用模型训练后的性能。

Description

一种应用于模型训练的视频数据编码方法及系统
技术领域
本发明属于图像数据处理的技术领域，特别是涉及一种应用于模型训练的视频数据编码方法及系统。
背景技术
随着计算机技术的发展，信息呈现的形式逐渐被影像数据替代，基于影像数据进行日常生活的作业的方式也逐渐在生活中占据一席地位。
在高清视频数据和超高清视频数据的出现浪潮下，视频数据占用的存储空间逐渐增加，因此如何实现影像数据的高效传输，成为众多应用领域中的热点问题之一。
基于影像数据分析处理的图像数据处理领域，为了更好的提高图像数据分析模型的性能，常会采用模型性能训练的方式，提高其性能。因此，有效数据集的构建与传输应用成为当前亟待解决的问题之一。
发明内容
发明目的：提出一种应用于模型训练的视频数据编码方法及系统，以解决现有技术存在的上述问题。通过对影像视频数据的有效编码，提高数据的传输速度，以及提高有效数据的利用方式，从而提高模型训练后的性能。
技术方案：第一方面，提出了一种应用于模型训练的视频数据编码方法，该方法具体包括以下步骤：
步骤1、锁定数据训练集的获取源头；
步骤2、建立数据传输通信链路；
步骤3、通过数据通信链路发送数据读取请求；
步骤4、构建数据编码模型，并对请求读取到的数据进行编码操作；其中，数据编码模型执行编码的过程中，具体包括以下步骤：
步骤4.1、采用树形编码的形式划分编码单元；其中，编码单元包括：帧内预测单元、帧间预测单元、变换编码单元、量化编码单元、环路滤波单元和熵编码单元；
步骤4.2、利用所述帧内预测单元执行帧内预测，利用帧间预测单元执行帧间预测；
步骤4.3、利用所述变换编码单元执行变化编码；
步骤4.4、利用所述量化编码单元执行量化编码；
步骤4.5、利用环路滤波单元执行环路滤波；
步骤4.6、利用所述熵编码单元结合不同单元的数据处理结果，执行熵编码操作。
步骤5、将编码后的数据通过数据传输链路进行传输；
步骤6、将编码后的数据作为训练集应用于自动驾驶模型中。
在第一方面的一些可实现方式中，执行编码的过程中，通过将可变分辨率帧编码为I帧的方式进行编码操作；针对读取到的原始帧，首先进行降采样，对比将采样后与原始帧的大小，以原始帧大小为参考，将降采样后的图像帧其余部分以像素0进行填充；随后采用数据编码模型对其进行编码操作。
在第一方面的一些可实现方式中，自动驾驶模型针对获得的数据训练集首先对其进行解码，随后基于解码后的数据进行性能训练。针对编码后的影像数据，构建影像数据无损恢复模型从不同层面进行编码后的影像数据到原始无损数据的恢复，通过针对性的种类分析，获得高质量的视频数据。具体包括以下步骤：
步骤6.1、构建影像数据无损恢复模型；
步骤6.2、利用影像数据无损恢复模型从不同层面从不同层面进行对传输过来的编码数据进行解码操作。
利用影像数据无损恢复模型从单帧层面恢复无损影像数据的过程中，在深度学习技术的基础上，先分析作为先验信息的编码单元划分结构和图像边缘结构的特点，挖掘两者之间的潜在联系，获得影像数据恢复所需的特征信息；随后，通过基于注意力机制的多模态信息融合，优化先验信息中的有效信息。
利用影像数据无损恢复模型从多帧层面恢复无损影像数据的过程中，基于影像数据参考帧的时域信息与目标帧对齐的基础，通过添加多尺度可变卷积模块，以及分析可变卷积的实现机制，从梯度反向传播的方向上优化影像数据无损恢复模型的训练效果。
步骤6.3、自动驾驶模型读取解码后的数据进行性能训练。
第二方面，提出一种应用于模型训练的视频数据编码系统，用于实现视频数据编码方法，该系统具体包括以下模块：
用于根据需求从锁定的数据源头读取所需的影像数据的数据源读取模块；
用于构建数据传输链路的链路构建模块；
用于根据应用需求生成数据请求信息的数据请求模块；
用于对响应数请求的数据信息进行编码的编码模块；
用于基于传输链路实现编码信息交互的数据交互模块；
用于对接收到编码数据进行解码，并将解码后的数据作为后续应用基础的数据解码模块。
在第二方面的一些可实现方式中，在辅助智能驾驶的应用领域中，面对智能模型训练过程的数据集获取过程中，首先采用数据源读取模块根据需求确定数据训练集的获取源头，并读取相应的数据；其次，利用链路构建模块构建用于实现数据通信的传输链路；再次，根据应用于的对象生成数据读取请求，并通过数据传输链路传输至对应的数据源头；从次，数据源头响应数据请求，利用数据编码模块将请求的数据进行编码，并再次通过传输链路将编码后的数据传输给应用对象；最后，利用数据解码模块对接收到的影像数据进行解码，并将解码后的数据作为训练集传输至自动驾驶模型中。
第三方面，提出一种应用于模型训练的视频数据编码设备，该设备包括：处理器以及存储有计算机程序指令的存储器。
其中，处理器读取并执行计算机程序指令，以实现视频数据编码方法。
第四方面，提出一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令。计算机程序指令被处理器执行时，以实现视频数据编码方法。
有益效果：本发明提出了一种应用于模型训练的视频数据编码方法及系统，通过对传输的视频数据进行编码压缩，可以有效的降低存储容量，以及传输过程中占用的带宽。另外，本发明针对应用过程中会出现的解码恢复过程构建影像数据无损恢复模型从不同层面进行编码后的影像数据到原始无损数据的恢复，通过针对性的种类分析，获得高质量的视频数据。
附图说明
图1为本发明的数据处理流程图。
具体实施方式
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
申请人认为在自动驾驶的应用领域，通过对影像数据的分析可以有效辅助驾驶人员对当前路况的识别，从而辅助驾驶人员的安全进行驾驶行为。为了有效提高自动驾驶过程中的模型识别分析能力，在进行智能化分析过程之前，首先采用海量的影响数据集对分析模型进行性能训练，但是海量的数据集由于占据的存储空间较大，因此普遍存储在云端或本地大型数据库，模型进行训练的作业时，需要借助互联网进行数据的读取操作。而大量的源数据传输往往会出现传输速度极慢，占据传输资源过多等现象，因此为了实现高效的数据传输，本发明针对模型训练所需要的的影像数据，提出一种应用于模型训练的视频数据编码方法及系统，实现高效的数据传输与读取。
实施例一
在一个实施例中，基于智能化驾驶应用邻域的需求，提出一种应用于模型训练的视频数据编码方法，如图1所示，该方法具体包括以下步骤：
步骤1、锁定数据训练集的获取源头；
步骤2、建立数据传输通信链路；
步骤3、通过数据通信链路发送数据读取请求；
步骤4、构建数据编码模型，并对请求读取到的数据进行编码操作；其中，数据编码模型执行编码的过程中包括帧内帧间预测、变化、量化、环路滤波和熵编码步骤。
步骤5、将编码后的数据通过数据传输链路进行传输；
步骤6、将编码后的数据进行解码后，作为训练集应用于自动驾驶模型中。
在进一步的实施例中，在视频编码的过程中针对编码单元的划分，由于高清影像数据的爆炸式增长，基于宏块的编码方式无法适应高分辨率的编码任务，因此本实施例采用基于树形编码单元的方式替换现有技术中的宏块方式。
具体的，一个树形编码单元采用四叉树的划分方式，获得亮度与色，而一个亮度和两个色度再结合语法元素信息，构成一个帧内预测编码单元。随后对帧内预测编码单元进行再次划分，获得预测单元和变换单元，其中预测单元用于存储编码时的预测信息，例如参考帧的选取信息、角度信息等；变换单元用于执行编码过程中的变换以及量化操作。通过在平坦区域采用大编码，细节区域采用小编码的方式灵活划分。优选实施例中，可根据图像分辨率以及内容的不同按需求进行灵活划分，从而突破传统的固定宏块限制。
在进一步的实施例中，由于视频帧之间相邻的像素存在强相关性，因此本实施例通过利用相邻块的重建像素信息预测当前块的像素信息，可以有消除空间上的冗余。另外，由于相邻帧之间存在大量的相似信息，因此本实施例进一步提出通过运动搜索与运动补偿的方式，对帧间信息的冗余进行消除。
在进一步的实施例中，由于利用数据编码模型执行编码的过程中，主要的失真来源于量化编码的过程，量化的步长越大，则信息损失就越大，因此本实施例通过联合调解机制实现对量化参数、量化步长的精准调控。
具体的，根据预设次数的实验数据获得量化参数存在以下线性关系：
QP＝4.2lnλ+13.7
式中，λ表示拉格朗日优化因子。当面对的图像包含A*B个像素时，若目标码率为tol，那么平均每像素的目标比特数为：
Figure BDA0003991054920000051
结合实验数据，λ与平均每像素的目标比特数bit之间的关系表达式为：
λ＝α*bitβ
式中，α和β是根据实验数据获得的常数。根据获得的关系表达式，得知在码率控制平稳精准的情况下，实际码率往往更接近目标码率，因此，在采用可变分辨率的情况时，树形编码的实际码率存在较大程度上的提升，进而量化参数减少，使得画质质量得到有效提升。
本实施例通过对传输的视频数据进行编码压缩，可以有效的降低存储容量，以及传输过程中占用的带宽。
实施例二
在实施例一基础上的进一步实施例中，执行编码的过程中，通过将可变分辨率帧编码为I帧的方式进行编码操作；
针对读取到的原始帧，首先进行降采样，对比将采样后与原始帧的大小，以原始帧大小为参考，将降采样后的图像帧其余部分以像素0进行填充；随后采用数据编码模型对其进行编码操作。优选实施例中，将降采样后的数据放置整体布局中的左上角。
通过填0操作，强制为I帧的全零块则会被编码器决策成Skip块，从而消耗极低码率。优选实施例中将降采样的数据放置在左上角，因此执行编码的过程中，可变分帧消耗的码率便集中在左上角的图像中，从而减少大量码率的使用。
在进一步的实施例中，为了保证可变分帧I帧后续的P帧可以获得高质量的参考帧，则后续对可变分帧I帧做二倍目标码率处理，即目标码率是P帧的2倍。
实施例三
在实施例一基础上的进一步实施例中，自动驾驶模型针对获得的数据训练集首先对其进行解码，随后基于解码后的数据进行性能训练。为了获得有效的影像数据，从而提高后续的模型分析性能，本实施例针对编码后的影像数据，构建影像数据无损恢复模型从不同层面进行编码后的影像数据到原始无损数据的恢复，通过针对性的种类分析，获得高质量的视频数据。
现有技术在基于深度学习实现单帧原始无损数据的恢复过程中，常采用将先验信息作为额外通道的方式，将先验信息与目标图像在通道维度上进行直接拼接后同步输入神经网络中。由于先验信息与目标图像特征之间属于不同种模态，因此现有技术中提出的方法并不能有效的将两者进行结合。针对当前存在缺陷，本实施例通过先分析先验信息中编码单元划分结构和图像边缘结构的特点，挖掘出两者之间的潜在联系，从而获得有助于图像恢复的特征信息，并更进一步提出基于注意力机制的多模态信息融合方式，用于实现不同模态信息的融合，优化先验信息中的有效特征。
具体的，通过分析编码过程中采用的方法以及图像边缘结构的特点，获得编码单元划分结构和图像边缘结构包含了目标图像中的块效应和振铃效应等噪声分布，两个结构单元共同包含了目标图像失真强度的信息。随后将获得信息作为先验信息，并用于后续的数据处理。最后，执行先验信息与编码图像特征图融合的作业时，利用注意力机制实现多模态融合，将编码单元划分结构信息和物体边缘结构信息作为权重加权到目标图像的特征中，并将其作为知道网络对目标图像不同区域做不同程度滤波处理的依据。
面向多帧数据恢复的过程中，常采用参考帧的时域信息与目标帧对齐，随后在将对齐后的时域信息融合到目标帧特征信息上的方式，实现无损数据恢复。但是由于时域对齐的效果有恢复效果具备较大的影响，因此现有技术中采用光流法和可变形卷积法常会出现伪影的现象。针对该问题，本实施例通过分析可变卷积的实现机制，从梯度反向传播的方向上优化影像数据无损恢复模型的训练效果。
具体的，在常见的标准卷积中，对于输入特征图的卷积位置，标准卷积的卷积核以当前卷积位置为中心，并通过正方形的固定样式进行采样，随后与卷积核中的对应的点加权求和，得到最终对应位置的值。但是由于标准卷积中固定形状的存在，因此特征的提取能力受到相应的限制。本实施例通过对卷积核的采样位置添加可学习的偏移量，采用可变形卷积增强卷积操作的形变能力。优选实施例中，可变形卷积表达式为：
Figure BDA0003991054920000071
式中，p表示当前的卷积位置；N表示卷积核大小；w表示卷积核；x表示输入特征图；b表示偏置；pi表示当前卷积的偏移位置；Δpi表示可变形卷积的卷积核采样位置相对于标准卷积的卷积核采样位置的偏移量。
在进一步的实施中，针对恢复好的影像数据进一步提出一种质量评价方法，用于衡量无损恢复的效果。由与输入数据与输出数据的形式相同，因此采用均方差的形式衡量输入与输出之间的距离，通过获取像素值之间差值的方式衡量输出数据与原始数据之间的相似性。
具体的，针对视频数据，对所有帧的均方差求均值，获得两组视频数据之间的相似度距离，同时，在优选实施例中，为了提高影像数据无损恢复模型的性能，均方差也可直接用做影像数据无损恢复模型性能训练过程中的损失函数。其中均方差的表达式为：
Figure BDA0003991054920000072
式中，n表示用于分析的样本数量；yi表示原始视频数据；
Figure BDA0003991054920000073
表示影像数据无损恢复模型的输出数据。
为了提高模型的性能，在模型的性能训练过程中采用梯度反向传播的方式计算梯度，进而实现模型参数优化。由于可变形卷积相比于标准卷积在偏移值和特征值方面具有不同的性质，因此面对可变形卷从特征值的像素信息到偏移值的位置信息的梯度反向传播过程中，采用双线性插值实现采样。
本实施例提出的影像数据无损恢复模型有效克服了编码视频后的伪影，相比于现有技术，具备更好的质量恢复性能。面向单帧的数据恢复过程中，利用编码过程中采用的划分结构以及图像物体边缘结构作为先验信息，实现压缩图像的恢复过程；另外，本实施例介于先验信息与压缩图像为不同模态的信息，进一步在模型中提出通过注意力机制实现不同模态信息的融合。面向多帧的数据恢复过程中，进一步提出采用多尺度对齐的方式，从梯度反向传播的机制中优化可变形卷积训练不稳定的缺陷。
实施例四
在一个实施例中，提出一种应用于模型训练的视频数据编码系统用于实现视频数据的编码方法，该系统具体包括以下模块：数据源读取模块、链路构建模块、数据请求模块、数据编码模块、数据交互模块、数据解码模块。
其中，数据源读取模块用于根据需求从对应的数据获取源头读取相应的影像数据；链路构建模块用于构建实现数据通信的传输链路；数据请求模块用于根据需求生成所需的数据请求；数据编码模块用于对响应数据请求的影像数据进行编码；数据交互模块用于通过数据传输链路将编码后的影像数据传输至应用模型中；数据解码模块用于对编码后的影像数据进行恢复。
在进一步的实施例中，在辅助智能驾驶的应用领域中，面对智能模型训练过程的数据集获取过程中，首先采用数据源读取模块根据需求确定数据训练集的获取源头，并读取相应的数据；其次，利用链路构建模块构建用于实现数据通信的传输链路；再次，根据应用于的对象生成数据读取请求，并通过数据传输链路传输至对应的数据源头；从次，数据源头响应数据请求，利用数据编码模块将请求的数据进行编码，并再次通过传输链路将编码后的数据传输给应用对象；最后，利用数据解码模块对接收到的影像数据进行解码，并将解码后的数据作为训练集传输至自动驾驶模型中。
实施例五
在一个实施例中，提出一种应用于模型训练的视频数据编码设备，该设备包括：处理器以及存储有计算机程序指令的存储器。
其中，处理器读取并执行计算机程序指令，以实现视频数据编码方法。
实施例六
在一个实施例中，提出一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令。
其中，计算机程序指令被处理器执行时，以实现视频数据编码方法。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上做出各种变化。

Claims (10)

1.一种应用于模型训练的视频数据编码方法，其特征在于，具体包括以下步骤：
步骤1、锁定数据训练集的获取源头；
步骤2、建立数据传输通信链路；
步骤3、通过数据通信链路发送数据读取请求；
步骤4、构建数据编码模型，并对请求读取到的数据进行编码操作；
步骤5、将编码后的数据通过数据传输链路进行传输；
步骤6、将编码后的数据作为训练集应用于自动驾驶模型中。
2.根据权利要求1所述的一种应用于模型训练的视频数据编码方法，其特征在于，执行编码的过程中，通过将可变分辨率帧编码为I帧的方式进行编码操作；
针对读取到的原始帧，首先进行降采样，对比将采样后与原始帧的大小，以原始帧大小为参考，将降采样后的图像帧其余部分以像素0进行填充；随后采用数据编码模型对其进行编码操作。
3.根据权利要求1所述的一种应用于模型训练的视频数据编码方法，其特征在于，所述数据编码模型执行编码的过程中，包括：
步骤4.1、划分编码单元；所述编码单元包括：帧内预测单元、帧间预测单元、变换编码单元、量化编码单元、环路滤波单元和熵编码单元；
步骤4.2、利用所述帧内预测单元执行帧内预测，利用帧间预测单元执行帧间预测；
步骤4.3、利用所述变换编码单元执行变化编码；
步骤4.4、利用所述量化编码单元执行量化编码；
步骤4.5、利用环路滤波单元执行环路滤波；
步骤4.6、利用所述熵编码单元结合不同单元的数据处理结果，执行熵编码操作。
4.根据权利要求3所述的一种应用于模型训练的视频数据编码方法，其特征在于，采用树形编码的形式执行编码单元的划分操作。
5.根据权利要求1所述的一种应用于模型训练的视频数据编码方法，其特征在于，所述步骤6具体包括以下步骤：
步骤6.1、构建影像数据无损恢复模型；
步骤6.2、利用影像数据无损恢复模型从不同层面从不同层面进行对传输过来的编码数据进行解码操作；
步骤6.3、自动驾驶模型读取解码后的数据进行性能训练。
6.根据权利要求5所述的一种应用于模型训练的视频数据编码方法，其特征在于，利用影像数据无损恢复模型从单帧层面恢复无损影像数据的过程中，在深度学习技术的基础上，先分析作为先验信息的编码单元划分结构和图像边缘结构的特点，挖掘两者之间的潜在联系，获得影像数据恢复所需的特征信息；随后，通过基于注意力机制的多模态信息融合，优化先验信息中的有效信息。
7.根据权利要求5所述的一种应用于模型训练的视频数据编码方法，其特征在于，利用影像数据无损恢复模型从多帧层面恢复无损影像数据的过程中，基于影像数据参考帧的时域信息与目标帧对齐的基础，通过添加多尺度可变卷积模块，以及分析可变卷积的实现机制，从梯度反向传播的方向上优化影像数据无损恢复模型的训练效果。
8.一种应用于模型训练的视频数据编码系统，用于实现如权利要求1-7任意一项所述的视频数据编码方法，其特征在于，具体包括以下模块：
数据源读取模块，被设置为根据需求从锁定的数据源头读取所需的影像数据；
链路构建模块，被设置为构建数据传输的链路；
数据请求模块，被设置为根据应用需求生成数据请求信息；
数据编码模块，被设置为对响应数请求的数据信息进行编码；
数据交互模块，被设置为基于传输链路实现编码信息的交互；
数据解码模块，被设置为对接收到编码数据进行解码，并将解码后的数据作为后续应用的基础。
9.一种应用于模型训练的视频数据编码设备，其特征在于，所述设备包括：
处理器以及存储有计算机程序指令的存储器；
所述处理器读取并执行所述计算机程序指令，以实现如权利要求1-7任意一项所述的视频数据编码方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-7任意一项所述的视频数据编码方法。
CN202211581196.9A 2022-12-09 2022-12-09 一种应用于模型训练的视频数据编码方法及系统 Active CN116112694B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211581196.9A CN116112694B (zh) 2022-12-09 2022-12-09 一种应用于模型训练的视频数据编码方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211581196.9A CN116112694B (zh) 2022-12-09 2022-12-09 一种应用于模型训练的视频数据编码方法及系统

Publications (2)

Publication Number Publication Date
CN116112694A true CN116112694A (zh) 2023-05-12
CN116112694B CN116112694B (zh) 2023-12-15

Family

ID=86258762

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211581196.9A Active CN116112694B (zh) 2022-12-09 2022-12-09 一种应用于模型训练的视频数据编码方法及系统

Country Status (1)

Country Link
CN (1) CN116112694B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117155403A (zh) * 2023-10-31 2023-12-01 广东鑫钻节能科技股份有限公司 一种数字能源空压站的数据编码方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9247260B1 (en) * 2006-11-01 2016-01-26 Opera Software Ireland Limited Hybrid bitmap-mode encoding
CN108520535A (zh) * 2018-03-26 2018-09-11 天津大学 基于深度恢复信息的物体分类方法
US20180332301A1 (en) * 2017-05-15 2018-11-15 Peking University Method, apparatus, and system for deep feature coding and decoding
US20190037226A1 (en) * 2016-02-03 2019-01-31 Allwinner Technology Co., Ltd. Lossless Compression Method And System Applied To Hardware Video Decoding
CN109495744A (zh) * 2018-10-29 2019-03-19 西安电子科技大学 基于联合生成对抗网络的大倍率遥感影像压缩方法
CN111711824A (zh) * 2020-06-29 2020-09-25 腾讯科技（深圳）有限公司 视频编解码中的环路滤波方法、装置、设备及存储介质
CN112001854A (zh) * 2020-07-14 2020-11-27 浙江大华技术股份有限公司 一种编码图像的修复方法及相关系统和装置
CN112734867A (zh) * 2020-12-17 2021-04-30 南京航空航天大学 一种基于空谱特征分离提取的多光谱图像压缩方法及系统
US11153566B1 (en) * 2020-05-23 2021-10-19 Tsinghua University Variable bit rate generative compression method based on adversarial learning
WO2022088631A1 (zh) * 2020-10-28 2022-05-05 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
CN114581544A (zh) * 2022-05-09 2022-06-03 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 图像压缩方法、计算机设备及计算机存储介质

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9247260B1 (en) * 2006-11-01 2016-01-26 Opera Software Ireland Limited Hybrid bitmap-mode encoding
US20190037226A1 (en) * 2016-02-03 2019-01-31 Allwinner Technology Co., Ltd. Lossless Compression Method And System Applied To Hardware Video Decoding
US20180332301A1 (en) * 2017-05-15 2018-11-15 Peking University Method, apparatus, and system for deep feature coding and decoding
CN108520535A (zh) * 2018-03-26 2018-09-11 天津大学 基于深度恢复信息的物体分类方法
CN109495744A (zh) * 2018-10-29 2019-03-19 西安电子科技大学 基于联合生成对抗网络的大倍率遥感影像压缩方法
US11153566B1 (en) * 2020-05-23 2021-10-19 Tsinghua University Variable bit rate generative compression method based on adversarial learning
CN111711824A (zh) * 2020-06-29 2020-09-25 腾讯科技（深圳）有限公司 视频编解码中的环路滤波方法、装置、设备及存储介质
CN112001854A (zh) * 2020-07-14 2020-11-27 浙江大华技术股份有限公司 一种编码图像的修复方法及相关系统和装置
WO2022088631A1 (zh) * 2020-10-28 2022-05-05 Oppo广东移动通信有限公司 图像编码方法、图像解码方法及相关装置
CN112734867A (zh) * 2020-12-17 2021-04-30 南京航空航天大学 一种基于空谱特征分离提取的多光谱图像压缩方法及系统
CN114581544A (zh) * 2022-05-09 2022-06-03 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 图像压缩方法、计算机设备及计算机存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117155403A (zh) * 2023-10-31 2023-12-01 广东鑫钻节能科技股份有限公司 一种数字能源空压站的数据编码方法
CN117155403B (zh) * 2023-10-31 2023-12-29 广东鑫钻节能科技股份有限公司 一种数字能源空压站的数据编码方法

Also Published As

Publication number Publication date
CN116112694B (zh) 2023-12-15

Similar Documents

Publication Publication Date Title
Hu et al. FVC: A new framework towards deep video compression in feature space
Hu et al. Coarse-to-fine deep video coding with hyperprior-guided mode prediction
TWI830107B (zh) 通過指示特徵圖資料進行編碼
TWI834087B (zh) 用於從位元流重建圖像及用於將圖像編碼到位元流中的方法及裝置、電腦程式產品
US11012718B2 (en) Systems and methods for generating a latent space residual
CN114501010A (zh) 图像编码方法、图像解码方法及相关装置
CN115606179A (zh) 用于使用学习的下采样特征进行图像和视频编码的基于学习的下采样的cnn滤波器
CN116112694B (zh) 一种应用于模型训练的视频数据编码方法及系统
CN114900691B (zh) 编码方法、编码器及计算机可读存储介质
CN116965029A (zh) 使用卷积神经网络对图像进行译码的装置和方法
CN117480778A (zh) 残差编码和视频编码方法、装置、设备和系统
CN115552905A (zh) 用于图像和视频编码的基于全局跳过连接的cnn滤波器
CN116711308A (zh) 视频编解码以及模型训练方法与装置
US11895330B2 (en) Neural network-based video compression with bit allocation
CN115604485A (zh) 视频图像的解码方法及装置
KR20010019704A (ko) 움직임이 없는 배경을 갖는 영상의 매크로블록 단위 객체 기반부호화 처리 방법
KR100289054B1 (ko) 매크로블록 단위 영역 분할 및 배경 모자이크구성방법
CN109168000B (zh) 一种基于rc预测的hevc帧内预测快速算法
CN100459714C (zh) 测量区块假像及关联的编码/解码/译码的方法和设备
WO2023151365A1 (zh) 图像滤波方法、装置、设备及存储介质、程序产品
WO2023050431A1 (zh) 编解码方法、解码器、编码器及计算机可读存储介质
CN109803147B (zh) 基于视频纹理特征的变换处理方法及装置
WO2024016775A1 (zh) 数据处理方法、装置、设备
TW202416712A (zh) 使用神經網路進行圖像區域的並行處理-解碼、後濾波和rdoq
Wang et al. STSIC: Swin-transformer-based scalable image coding for human and machine

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant