CN115334314A - 一种高清晰度低秩电视高维信号数据的压缩及重建方法 - Google Patents

一种高清晰度低秩电视高维信号数据的压缩及重建方法 Download PDF

Info

Publication number
CN115334314A
CN115334314A CN202211256346.9A CN202211256346A CN115334314A CN 115334314 A CN115334314 A CN 115334314A CN 202211256346 A CN202211256346 A CN 202211256346A CN 115334314 A CN115334314 A CN 115334314A
Authority
CN
China
Prior art keywords
rank
image
television
signal data
dimensional signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211256346.9A
Other languages
English (en)
Other versions
CN115334314B (zh
Inventor
邵勇
赵文强
邵炳翔
韩禄嘉
刘霁
阎妍
吴佳欣
苏婕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou 804 Central Broadcasting Station Henan Province
Xinxiang University
Original Assignee
Zhengzhou 804 Central Broadcasting Station Henan Province
Xinxiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou 804 Central Broadcasting Station Henan Province, Xinxiang University filed Critical Zhengzhou 804 Central Broadcasting Station Henan Province
Priority to CN202211256346.9A priority Critical patent/CN115334314B/zh
Publication of CN115334314A publication Critical patent/CN115334314A/zh
Application granted granted Critical
Publication of CN115334314B publication Critical patent/CN115334314B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/40—Tree coding, e.g. quadtree, octree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)

Abstract

本发明提出一种高清晰度低秩电视高维信号数据的压缩及重建方法，在混合压缩编码框架中的分块步骤引入低秩优化方法优化分块，改善分块效果；在重建滤波步骤针对分块编码的方法优化了神经网络模型，提高滤波重建的质量。与经典方法相比，本发明方法实现了更高的信号噪声比，保持了压缩率，提高了压缩质量。

Description

一种高清晰度低秩电视高维信号数据的压缩及重建方法
技术领域
本发明属于图像视频处理领域与信号处理领域，特别地，涉及一种高清晰度低秩电视高维信号数据的压缩方法。
背景技术
自发明电视以来，电视信号作为信息的载体获得了广阔的应用空间。在数字高清电视越来越普及的今天，电视高维信号即视频产生的速度也非常惊人，从安防行业的监控摄像，教育领域的远程课堂，到娱乐领域的游戏直播，电商行业的带货直播，高清数字电视比以往任何时候都产生了更海量的数据。这为电视高维信号的传输，存储带来了巨大的挑战。再随着4K及8K超高清视频，高动态范围和虚拟现实技术的快速推进，人们对视频质量的要求也越来越高。相应的，电视高维信号数据的压缩所起到的相对效用也越来越高，优秀的压缩方法能够保持视频质量并大幅降低数据量，从而在未来科技发展中起到重要作用。
国际通用的视频编解码压缩标准是ITU-T颁布的H.26X系列标准。当前，各领域广泛应用的编解码标准是H.264/高级视频编码（即AVC），该编码标准可以用较少的码率完成视频的传输，同时可以保证视频的质量不发生大幅下降。其继任者H.265/HEVC针对高清晰度视频进行了优化，相比前代技术在压缩质量上得到提升。最新的H.266/VVC标准引入机器学习的卷积神经网络技术优化压缩质量。可见，随着硬件技术的提升和机器学习技术的发展，以卷积神经网络为代表的智能压缩技术在视频编解码方向上将发挥重要作用。
视频压缩编码通常采用分块压缩编码结构来尽可能提高整体压缩率，然而，基于分块压缩编码的架构会引起图像的块效应问题。由于相邻块的量化参数不同，便会导致不同的量化误差，在反量化过程中恢复的图像可能就会在块与块相邻处产生肉眼可见的不一致问题。卷积神经网络等机器学习方法就被用于块划分上，通过大量数据的训练使分块更为精确，降低不同块之间量化参数的差异性，减弱甚至消除块效应。
标准方法如H.266/VVC标准常采用基于块边界强度阈值的优化方法，即如果边界两侧的像素值发生高度变化，此时相邻块量化参数的不一致不会引起明显的图像不一致现象，这种状态的边界就不需要优化；而平坦区域的不连续块边界更容易引起人注意，此时的边界就需要采用卷积神经网络等机器学习算法优化。通过上述方法重新对分块进行优化。块边界强度与图像变化程度、即梯度强相关；块边界的特点是像素梯度变化大，而自然边界的特点中也包含了这一点，这就容易造成混淆；使得部分自然边界也被卷积神经网络“优化”，造成信号噪声比的下降。因此需要对块划分的标准作进一步改进。
此外，在接收端进行解码恢复时，使用常规神经网络模型根据压缩图像进行直接重建解码恢复，直接得到重建帧图像。但这样对于处理器算力要求较高，且精度受限于神经网络结构的复杂度，因此目前解码恢复的清晰度还有进一步提高的空间。
发明内容
本发明提出一种高清晰度低秩电视高维信号数据的压缩方法，与经典分块优化方法相比，其在发送端采用视频块的秩信息对分块标准进行优化，把内容相似的块进行合并，提高分块的精确度；并在接收端采用与之对应的优化的神经网络模型和计算方法，解决人工分块和自然边界的边界强度混淆问题，进一步提高压缩质量，降低运算量。
一种高清晰度低秩电视高维信号数据的压缩及重建方法：
步骤1：电视高维信号的分块低秩性测试与优化
设原始帧图像为
Figure DEST_PATH_IMAGE001
，以
Figure 28219DEST_PATH_IMAGE001
内部某一像素为基准，可以将
Figure 115123DEST_PATH_IMAGE001
分成左上、右上、左下、右下 四个子图，形成四叉树结构的子图集合。以此类推，在每个子图内部，也可以找到一基准像 素，进一步划分子图，从而四叉树的深度即增加1；设四叉树的深度为
Figure 792092DEST_PATH_IMAGE002
，则在四叉树的叶节 点上，图像被划分为
Figure DEST_PATH_IMAGE003
张子图，即编码块
Figure 433289DEST_PATH_IMAGE004
；
对上述每一个编码块
Figure 588327DEST_PATH_IMAGE004
，进行奇异值分解后得到：
Figure DEST_PATH_IMAGE005
，其中
Figure 529738DEST_PATH_IMAGE006
表示
Figure 377609DEST_PATH_IMAGE004
的第
Figure DEST_PATH_IMAGE007
个奇异值；
计算编码块
Figure 771681DEST_PATH_IMAGE004
的最优秩
Figure 730410DEST_PATH_IMAGE008
：
Figure 526327DEST_PATH_IMAGE010
Figure 279520DEST_PATH_IMAGE008
表示满足对数式大于0的参数
Figure 426467DEST_PATH_IMAGE007
的最小值；
如果相邻编码块的最优秩相等，则将两个相邻编码块合并为一个编码块，其最优秩等于原最优秩；如果合并后的编码块完全共享同一矩形边界，且最优秩相等，则将两个编码块进一步合并为一个编码块，其最优秩等于原最优秩；
步骤2：基于分块低秩性测试与优化方法的电视高维信号压缩；
步骤3：基于神经网络模型的图像滤波重建
神经网络包括4个隐藏层和一个输出层；输出层输出残差图像；得到残差图像后，将输入的原图像和得到的残差图像做差，即可实现重建；
其中，神经网络模型的第一个隐藏层由一组卷积定义，即：
Figure DEST_PATH_IMAGE011
其中
Figure DEST_PATH_IMAGE013
其中
Figure 657728DEST_PATH_IMAGE014
为一组卷积模板，模板尺寸是5*5，
Figure DEST_PATH_IMAGE015
表示卷积模板中元素的相对坐标，
Figure 308153DEST_PATH_IMAGE016
表示线性截距；
Figure DEST_PATH_IMAGE017
为激励函数，系数
Figure 701088DEST_PATH_IMAGE018
用于提高模型对特定数据集的分类正确率，参数
Figure DEST_PATH_IMAGE019
用 于防止模型过拟合。
步骤1、步骤2在发送端实施。
步骤1、步骤2在发送端的处理器中实施。
步骤1、步骤2在发送端的服务器中实施。
步骤3在接收端实施。
步骤3在接收端的处理器中实施。
步骤3在接收端的服务器中实施。
还包括传输步骤。
传输步骤在传输链路中实施。
所述传输链路包括卫星链路、光纤链路、视频数据线链路、5G链路。
发明点及技术效果：
1、通过对原始帧内图像的低秩特性进行测量，度量图像的信息丰富程度，为压缩分块提供客观参照依据；并根据编码块的最优秩优化分块方法，通过优化分块将分块数降低，有助于减轻块邻接处产生梯度突变的现象且保持压缩比率，同时避免传统算法中自然图像本身梯度带来的人工分块和自然边界的边界强度混淆问题。
2、基于上述分块方法，对应优化了神经网络模型的图像滤波重建方法，根据特别设计的隐藏层（包括激励函数等）对重建图像与原图像的残差值进行优化，使重建图像在有限算力的情况下尽可能逼近原图像，从而实现压缩质量的提升。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1是四叉树子图结构示意图。
图2是边界完全共享示意图。
具体实施方式
本发明系统包括：发送端、接收端、传输链路。其中发送端用于将采集或输入的视频数据进行分块和编码压缩；传输链路用于将编码压缩后的数据传输至接收端；接收端用于将接收到的数据解码恢复重建。
发送端和接收端中包含有处理器，也可包含服务器。
传输链路为卫星链路、光纤链路、视频数据线链路、5G链路等。
在发送端实施：
（一）电视高维信号的分块低秩性测试与优化
将电视高维信号按采样时间逐帧分为若干个编码块，根据编码块的低秩性测试结果对分块进行优化。
电视高维信号（视频）由时序上的连续帧（图像）组成，常用的压缩方法采用多叉树的方法将每帧划分为不同编码块，并针对每个区块进行分别压缩，这样可以提高压缩率；然而，非自然的分块容易产生块与块之间邻接部分产生较大的梯度突变，产生视觉上的不连续感；为了克服这一问题，本发明提出一种基于低秩性测试的编码块优化方法，利用编码块的低秩性优化分块，减轻块邻接处产生梯度突变的现象。
S1.1原始帧内的低秩性测试。
图像的秩是图像线性无关的行向量或者列向量的最大个数，即图像组成的矩阵的秩。图像的秩反映了图像中信息的丰富程度。当图像的秩较小时，表示图像中变化较为平坦或稀疏，自然的分块较少；当图像的秩较大时，表示图像中变化较为剧烈或密集，自然的分块较多。通过帧内的低秩性测试，可以反映一张图像中自然分块的特点，从而使人工分块更加趋近于自然分块。
图像（或其子图像）的秩不大于图像的最大行（列）数，例如一个256*256大小的图像，其秩最大为256.通过奇异值分解计算，可以将图像矩阵重构为任意秩的低秩图像，损失一部分细节信息，但保留大部分轮廓。
设原始帧图像为
Figure 801243DEST_PATH_IMAGE001
，以
Figure 101775DEST_PATH_IMAGE001
内部某一像素为基准，可以将
Figure 137864DEST_PATH_IMAGE001
分成左上、右上、左下、右下 四部分（图1），形成四叉树结构的子图集合。同样，在每个子图内部，也可以找到一基准像 素，进一步划分子图。按上述方法每划分一次，四叉树的深度即增加一。假设四叉树的深度 为
Figure 232859DEST_PATH_IMAGE002
，则在四叉树的叶节点上，图像被划分为
Figure 354399DEST_PATH_IMAGE003
张子图，即编码块
Figure 458621DEST_PATH_IMAGE004
。
对上述每一个编码块
Figure 818058DEST_PATH_IMAGE004
，进行奇异值分解，即：
Figure DEST_PATH_IMAGE021
假设图像的列数大于行数，则分解后的矩阵
Figure 83954DEST_PATH_IMAGE022
中包含了
Figure 427211DEST_PATH_IMAGE004
的
Figure DEST_PATH_IMAGE023
个奇异值。
Figure 803966DEST_PATH_IMAGE023
表示
Figure 549068DEST_PATH_IMAGE004
的 行数与列数的更小值。
定义：
Figure DEST_PATH_IMAGE025
其中
Figure 985865DEST_PATH_IMAGE006
表示
Figure 816418DEST_PATH_IMAGE004
的第
Figure 262443DEST_PATH_IMAGE007
个奇异值。
计算编码块
Figure 862051DEST_PATH_IMAGE004
的最优秩
Figure 469750DEST_PATH_IMAGE008
：
Figure 787599DEST_PATH_IMAGE026
上式中
Figure DEST_PATH_IMAGE027
表示自然对数，
Figure 506156DEST_PATH_IMAGE008
表示满足对数式大于0的参数
Figure 225851DEST_PATH_IMAGE007
的最小值。
S1.2根据编码块的最优秩优化分块。
如果相邻编码块的最优秩相等，则将两个相邻编码块合并为一个编码块，其最优秩等于原最优秩。
如果合并后的编码块完全共享同一矩形边界，且最优秩相等，则将两个编码块进一步合并为一个编码块，其最优秩等于原最优秩。
所述完全共享，是指两个矩形子图共享一条边界，且这条边界不被其它任何一个子图共享（图2）。
（二）基于分块低秩性测试与优化方法的电视高维信号压缩
电视信号的发送端通过步骤1所述分块低秩性测试与优化方法减轻块邻接处产生梯度突变的现象（块效应）；并将分块后的电视高维信号数据（含原视频和分块数据）传递给压缩执行模块。
压缩执行模块按照分块数据，逐块对块内视频数据进行压缩、编码；并根据帧内信息、帧间信息进行进一步量化编码，形成最终的压缩码流数据。
在传输链路中实施：
压缩码流数据由电视信号的发送方传递给接收方。
在接收端实施：
电视信号的接收方收到压缩码流数据后，采用步骤3所述方法对压缩码流数据进行解码，最终获得重建的图像。
（三）基于神经网络模型的图像滤波重建
根据特别设计的隐藏层对重建图像与原图像的残差值进行优化，使重建图像尽可能逼近原图像，从而实现压缩质量的提升。
建立并训练神经网络模型.
所述的神经网络模型由输入层、输出层和隐藏层组成。神经网络的输入层是压缩编码框架经帧内预测、帧间预测后的重建帧（重建图像），输出层是与输入帧对应的预测残差，即帧修正量；通过将输入层与输出层相加可得滤波重建帧，用于压缩编码框架的后续步骤。神经网络模型的隐藏层定义如下。
隐藏层共有四层。
神经网络模型的第一个隐藏层由一组卷积定义，即：
Figure 270030DEST_PATH_IMAGE011
其中
Figure 809596DEST_PATH_IMAGE013
式4中，
Figure 597423DEST_PATH_IMAGE028
表示第一个隐藏层，其大小与输入层图像
Figure 192132DEST_PATH_IMAGE001
相同，
Figure DEST_PATH_IMAGE029
表示元素的坐标，
Figure 141633DEST_PATH_IMAGE014
为一组卷积模板，模板尺寸是5*5，
Figure 902916DEST_PATH_IMAGE015
表示卷积模板中元素的相对坐标，且
Figure 494434DEST_PATH_IMAGE030
。
Figure 923142DEST_PATH_IMAGE016
表示线性截距。
函数
Figure 309124DEST_PATH_IMAGE017
称为激励函数，用于提高模型对线性不可分数据集的分类效果。系数
Figure 88861DEST_PATH_IMAGE018
用于 提高模型对特定数据集的分类正确率，参数
Figure 218491DEST_PATH_IMAGE019
可防止模型过拟合。经过实验优选
Figure DEST_PATH_IMAGE031
,
Figure 236125DEST_PATH_IMAGE032
。
神经网络模型的第二个隐藏层由一组卷积定义，即：
Figure DEST_PATH_IMAGE033
式6中，
Figure 527429DEST_PATH_IMAGE034
表示第二个隐藏层，其大小与输入层图像
Figure 528884DEST_PATH_IMAGE001
相同，
Figure 462204DEST_PATH_IMAGE029
表示元素的坐标，
Figure DEST_PATH_IMAGE035
为一组卷积模板，模板尺寸是5*5，
Figure 334346DEST_PATH_IMAGE015
表示卷积模板中元素的相对坐标，且
Figure 327709DEST_PATH_IMAGE036
。
Figure DEST_PATH_IMAGE037
表示线性截距。
Figure 285301DEST_PATH_IMAGE017
定义同5.
根据
Figure 756734DEST_PATH_IMAGE014
、
Figure 14540DEST_PATH_IMAGE035
两种形态的对称型模板定义的双重卷积层，相比经典的矩阵卷积层而 言，可以更好的捕捉分块的边界特征，因此可以提高重建效果。
神经网络模型的第三个隐藏层由一组卷积定义，即：
Figure 178805DEST_PATH_IMAGE038
式7中，
Figure DEST_PATH_IMAGE039
表示第三个隐藏层，其大小与输入层图像
Figure 623693DEST_PATH_IMAGE001
相同，
Figure 633237DEST_PATH_IMAGE029
表示元素的坐标，
Figure 11129DEST_PATH_IMAGE040
为一组卷积模板，模板尺寸是9*9，
Figure 80716DEST_PATH_IMAGE015
表示卷积模板中元素的相对坐标。
Figure DEST_PATH_IMAGE041
表示线性 截距。
Figure 275549DEST_PATH_IMAGE017
定义同5.
神经网络模型的第四个隐藏层由一组卷积定义，即：
Figure 88784DEST_PATH_IMAGE042
式8中，
Figure DEST_PATH_IMAGE043
表示第四个隐藏层，其大小与输入层图像
Figure 55603DEST_PATH_IMAGE001
相同，
Figure 296092DEST_PATH_IMAGE029
表示元素的坐标，
Figure 981151DEST_PATH_IMAGE044
为一组卷积模板，模板尺寸是17*17，
Figure 598077DEST_PATH_IMAGE015
表示卷积模板中元素的相对坐标。
Figure DEST_PATH_IMAGE045
表示线 性截距。
Figure 419403DEST_PATH_IMAGE017
定义同5.
在第三、四层设置更大尺寸的卷积模板与前两层组成金字塔式的联合检测方法，可以捕捉不同尺度下的边界特征，提高重建效果。
神经网络的输出层与第四层连接，定义如下：
Figure 96372DEST_PATH_IMAGE046
式9中
Figure DEST_PATH_IMAGE047
表示神经网络的输出层，其大小与输入层图像
Figure 3148DEST_PATH_IMAGE001
相同，
Figure 158186DEST_PATH_IMAGE029
表示元素的坐 标，其每一个元素表示与输入帧对应元素的预测残差。
Figure 365176DEST_PATH_IMAGE048
表示第四层坐标为
Figure 681888DEST_PATH_IMAGE015
的元素与输出层坐标为
Figure DEST_PATH_IMAGE049
的元素之间的线性关系权值。
Figure 75960DEST_PATH_IMAGE050
表示线性截距。
Figure 34689DEST_PATH_IMAGE017
定义同 5.
根据模型定义(4)-(9)，还需确定式中各项卷积模板参数、线性截距参数、线性关系权值参数。可准备若干组用于学习的样本图像，每组图像包括一张重建帧和一张残差图像，残差图像由输入的原图像和重建帧作差获得。
对于每组样本图像，以重建帧作为输入，根据模型可计算其输出的一张预测残差 图像
Figure 830607DEST_PATH_IMAGE047
，与该组样本中已知的残差图像
Figure DEST_PATH_IMAGE051
存在误差定义如下：
Figure DEST_PATH_IMAGE053
Figure 52641DEST_PATH_IMAGE054
为线性比例系数，有助于提高检测方法对噪声的鲁棒性。作为优选，取
Figure DEST_PATH_IMAGE055
。
根据式(10)，并采用BP算法，可迭代计算并使
Figure 934009DEST_PATH_IMAGE056
趋于极限，当
Figure 430849DEST_PATH_IMAGE056
达到迭 代条件时，所获得参数作为式(4)-(9)的模型参数。
将输入的原图像和得到的残差图像做差，即可得到重建帧。
每组图像包括一张重建帧和一张残差图像，残差图像由输入的原图像和重建帧作差获得。
本发明提出一种高清晰度低秩电视高维信号数据的压缩方法，在混合压缩编码框架中的分块步骤引入低秩优化方法优化分块，改善分块效果;在滤波步骤针对分块编码的方法优化了神经网络模型，提高滤波重建的质量。以下给出本发明方法压缩信噪比对比图，与经典方法相比，本发明方法实现了更高的信号噪声比，保持了压缩率，提高了压缩质量。
Figure 346853DEST_PATH_IMAGE058
本发明方案能达到的效果包括但不限于以下：
通过对原始帧内图像的低秩特性进行测量，度量图像的信息丰富程度，为压缩分块提供客观参照依据；并根据编码块的最优秩优化分块方法，通过优化分块将分块数降低，有助于减轻块邻接处产生梯度突变的现象且保持压缩比率，同时避免传统算法中自然图像本身梯度带来的人工分块和自然边界的边界强度混淆问题。
基于上述分块方法，对应优化了神经网络模型的图像滤波重建方法，根据特别设计的隐藏层（包括激励函数等）对重建图像与原图像的残差值进行优化，使重建图像在有限算力的情况下尽可能逼近原图像，从而实现压缩质量的提升。
除此之外，实施例中记载的诸多效果，也是本发明所能够达到的效果，也是为了解决技术问题所专门设计的，同样属于本发明的发明贡献。
以上各种实施例仅为有限列举，由于篇幅无法穷举，因此不作为对权利保护范围的 限定，所有和上述产品、方法类似的技术方案均在本申请保护范围之内。

Claims (10)

1.一种高清晰度低秩电视高维信号数据的压缩及重建方法，其特征在于：
步骤1：电视高维信号的分块低秩性测试与优化
设原始帧图像为
Figure 353451DEST_PATH_IMAGE001
，以
Figure 736503DEST_PATH_IMAGE001
内部某一像素为基准，可以将
Figure 985082DEST_PATH_IMAGE001
分成左上、右上、左下、右下四个 子图，形成四叉树结构的子图集合，以此类推，在每个子图内部，也可以找到一基准像素，进 一步划分子图，从而四叉树的深度即增加1；设四叉树的深度为
Figure 583554DEST_PATH_IMAGE002
，则在四叉树的叶节点上， 图像被划分为
Figure 663505DEST_PATH_IMAGE003
张子图，即编码块
Figure 689230DEST_PATH_IMAGE004
；
对上述每一个编码块
Figure 221842DEST_PATH_IMAGE004
，进行奇异值分解后得到：
Figure 889584DEST_PATH_IMAGE005
，其中
Figure 761725DEST_PATH_IMAGE006
表 示
Figure 20668DEST_PATH_IMAGE004
的第
Figure 243839DEST_PATH_IMAGE007
个奇异值；
计算编码块
Figure 184113DEST_PATH_IMAGE004
的最优秩
Figure 973078DEST_PATH_IMAGE008
：
Figure DEST_PATH_IMAGE009
Figure 75026DEST_PATH_IMAGE008
表示满足对数式大于0的参数
Figure 582231DEST_PATH_IMAGE007
的最小值；
如果相邻编码块的最优秩相等，则将两个相邻编码块合并为一个编码块，其最优秩等于原最优秩；如果合并后的编码块完全共享同一矩形边界，且最优秩相等，则将两个编码块进一步合并为一个编码块，其最优秩等于原最优秩；
步骤2：基于分块低秩性测试与优化方法的电视高维信号压缩；
步骤3：基于神经网络模型的图像滤波重建
神经网络包括4个隐藏层和一个输出层；输出层输出残差图像；得到残差图像后，将输入的原图像和得到的残差图像做差，即可实现重建；
其中，神经网络模型的第一个隐藏层由一组卷积定义，即：
Figure 60616DEST_PATH_IMAGE010
其中
Figure 969667DEST_PATH_IMAGE011
其中
Figure 773675DEST_PATH_IMAGE012
为一组卷积模板，模板尺寸是5*5，
Figure 705859DEST_PATH_IMAGE013
表示卷积模板中元素的相对坐标，
Figure 50252DEST_PATH_IMAGE014
表 示线性截距；
Figure 751492DEST_PATH_IMAGE015
为激励函数，系数
Figure 788718DEST_PATH_IMAGE016
用于提高模型对特定数据集的分类正确率，参数
Figure 208198DEST_PATH_IMAGE017
用于防 止模型过拟合。
2.如权利要求1所述的一种高清晰度低秩电视高维信号数据的压缩及重建方法，其特征在于：步骤1、步骤2在发送端实施。
3.如权利要求2所述的一种高清晰度低秩电视高维信号数据的压缩及重建方法，其特征在于：步骤1、步骤2在发送端的处理器中实施。
4.如权利要求2所述的一种高清晰度低秩电视高维信号数据的压缩及重建方法，其特征在于：步骤1、步骤2在发送端的服务器中实施。
5.如权利要求1所述的一种高清晰度低秩电视高维信号数据的压缩及重建方法，其特征在于：步骤3在接收端实施。
6.如权利要求3所述的一种高清晰度低秩电视高维信号数据的压缩及重建方法，其特征在于：步骤3在接收端的处理器中实施。
7.如权利要求3所述的一种高清晰度低秩电视高维信号数据的压缩及重建方法，其特征在于：步骤3在接收端的服务器中实施。
8.如权利要求1-7所述的任一一种高清晰度低秩电视高维信号数据的压缩及重建方法，其特征在于：还包括传输步骤。
9.如权利要求8所述的一种高清晰度低秩电视高维信号数据的压缩及重建方法，其特征在于：传输步骤在传输链路中实施。
10.如权利要求9所述的一种高清晰度低秩电视高维信号数据的压缩及重建方法，其特征在于：所述传输链路包括卫星链路、光纤链路、视频数据线链路、5G链路。
CN202211256346.9A 2022-10-14 2022-10-14 一种高清晰度低秩电视高维信号数据的压缩及重建方法 Active CN115334314B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211256346.9A CN115334314B (zh) 2022-10-14 2022-10-14 一种高清晰度低秩电视高维信号数据的压缩及重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211256346.9A CN115334314B (zh) 2022-10-14 2022-10-14 一种高清晰度低秩电视高维信号数据的压缩及重建方法

Publications (2)

Publication Number Publication Date
CN115334314A true CN115334314A (zh) 2022-11-11
CN115334314B CN115334314B (zh) 2023-04-07

Family

ID=83913202

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211256346.9A Active CN115334314B (zh) 2022-10-14 2022-10-14 一种高清晰度低秩电视高维信号数据的压缩及重建方法

Country Status (1)

Country Link
CN (1) CN115334314B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002007438A1 (en) * 2000-07-17 2002-01-24 Trustees Of Boston University Generalized lapped biorthogonal transform embedded inverse discrete cosine transform and low bit rate video sequence coding artifact removal
CN103595981A (zh) * 2013-10-25 2014-02-19 西安电子科技大学 基于非局部低秩的色彩滤波阵列图像去马赛克方法
CN104504672A (zh) * 2014-12-27 2015-04-08 西安电子科技大学 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法
CN105469359A (zh) * 2015-12-09 2016-04-06 武汉工程大学 基于局部约束低秩表示的人脸超分辨率重建方法
US20190086496A1 (en) * 2017-09-18 2019-03-21 Regents Of The University Of Minnesota System and method for controlling noise in magnetic resonance imaging using a local low rank technique
CN109584319A (zh) * 2018-12-05 2019-04-05 重庆邮电大学 一种基于非局部低秩和全变分的图像压缩感知重构算法
CN113556546A (zh) * 2020-04-24 2021-10-26 中国人民解放军海军航空大学 一种两阶段多假设预测视频压缩感知重构方法
US20220207364A1 (en) * 2019-04-23 2022-06-30 Interdigital Vc Holdings, Inc. Framework for coding and decoding low rank and displacement rank-based layers of deep neural networks

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002007438A1 (en) * 2000-07-17 2002-01-24 Trustees Of Boston University Generalized lapped biorthogonal transform embedded inverse discrete cosine transform and low bit rate video sequence coding artifact removal
CN103595981A (zh) * 2013-10-25 2014-02-19 西安电子科技大学 基于非局部低秩的色彩滤波阵列图像去马赛克方法
CN104504672A (zh) * 2014-12-27 2015-04-08 西安电子科技大学 基于NormLV特征的低秩稀疏邻域嵌入超分辨方法
CN105469359A (zh) * 2015-12-09 2016-04-06 武汉工程大学 基于局部约束低秩表示的人脸超分辨率重建方法
US20190086496A1 (en) * 2017-09-18 2019-03-21 Regents Of The University Of Minnesota System and method for controlling noise in magnetic resonance imaging using a local low rank technique
CN109584319A (zh) * 2018-12-05 2019-04-05 重庆邮电大学 一种基于非局部低秩和全变分的图像压缩感知重构算法
US20220207364A1 (en) * 2019-04-23 2022-06-30 Interdigital Vc Holdings, Inc. Framework for coding and decoding low rank and displacement rank-based layers of deep neural networks
CN113556546A (zh) * 2020-04-24 2021-10-26 中国人民解放军海军航空大学 一种两阶段多假设预测视频压缩感知重构方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
ANKUR KUMAR.: "Vision Transformer Compression with Structured Pruning and Low Rank Approximation", 《ARXIV》 *
HUI ZHAO,ET AL.: "Hybrid-Weighted Total Variation and Nonlocal Low-Rank-Based Image Compressed Sensing Reconstruction", 《IEEE ACCESS ( VOLUME: 8)》 *
KE LI,ET AL.: "A randomized generalized low rank approximations of matrices algorithm for high dimensionality reduction and image compression", 《DBLP》 *
XINFENG ZHANG,ET AL.: "Low-Rank Decomposition-Based Restoration of Compressed Images via Adaptive Noise Estimation", 《 IEEE TRANSACTIONS ON IMAGE PROCESSING ( VOLUME: 25, ISSUE: 9, SEPTEMBER 2016)》 *
宋云等.: "基于非局部相似块低秩的压缩感知图像重建算法", 《电子学报》 *
王圳萍等: "加权低秩矩阵恢复的混合噪声图像去噪", 《计算机科学》 *

Also Published As

Publication number Publication date
CN115334314B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
CN100527842C (zh) 基于背景的运动估计编码方法
CN108921910B (zh) 基于可伸缩卷积神经网络的jpeg编码压缩图像复原的方法
TWI834087B (zh) 用於從位元流重建圖像及用於將圖像編碼到位元流中的方法及裝置、電腦程式產品
CN112102212B (zh) 一种视频修复方法、装置、设备及存储介质
CN113766249B (zh) 视频编解码中的环路滤波方法、装置、设备及存储介质
Yu et al. Quality enhancement network via multi-reconstruction recursive residual learning for video coding
CN110751649A (zh) 视频质量评估方法、装置、电子设备及存储介质
Hu et al. An adaptive two-layer light field compression scheme using GNN-based reconstruction
Löhdefink et al. GAN-vs. JPEG2000 image compression for distributed automotive perception: Higher peak SNR does not mean better semantic segmentation
CN110677644B (zh) 一种视频编码、解码方法及视频编码帧内预测器
CN114386595A (zh) 一种基于超先验架构的sar图像压缩方法
CN115442609A (zh) 特征数据编解码方法和装置
CN115604485A (zh) 视频图像的解码方法及装置
CN115334314B (zh) 一种高清晰度低秩电视高维信号数据的压缩及重建方法
CN116777745A (zh) 一种基于稀疏自适应聚类的图像超分辨率重建方法
CN108259914B (zh) 基于物体库的云图像编码方法
CN115499666A (zh) 视频的压缩方法、解压缩方法、装置、设备和存储介质
CN114979711B (zh) 音视频或图像分层压缩方法和装置
CN114189695B (zh) 一种基于gan的hevc压缩视频视觉感知提升方法
CN113822801A (zh) 基于多分支卷积神经网络的压缩视频超分辨率重建方法
Xie et al. Just noticeable visual redundancy forecasting: a deep multimodal-driven approach
CN117337449A (zh) 点云质量增强方法、编码和解码方法及装置、存储介质
Li et al. You Can Mask More For Extremely Low-Bitrate Image Compression
CN111565317A (zh) 图像压缩方法、编解码网络训练方法、装置及电子设备
CN117692652B (zh) 一种基于深度学习的可见光与红外视频融合编码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant