CN112543339A - 一种基于残差重构的视频仿真方法及装置 - Google Patents

一种基于残差重构的视频仿真方法及装置 Download PDF

Info

Publication number
CN112543339A
CN112543339A CN202011432932.5A CN202011432932A CN112543339A CN 112543339 A CN112543339 A CN 112543339A CN 202011432932 A CN202011432932 A CN 202011432932A CN 112543339 A CN112543339 A CN 112543339A
Authority
CN
China
Prior art keywords
sampling
video frame
measurement vector
vector
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011432932.5A
Other languages
English (en)
Other versions
CN112543339B (zh
Inventor
杜翠凤
蒋仕宝
叶杨
逯艳杰
李壮
杜金凯
刘晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Jiesai Communication Planning And Design Institute Co ltd
GCI Science and Technology Co Ltd
Original Assignee
Guangzhou Jiesai Communication Planning And Design Institute Co ltd
GCI Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Jiesai Communication Planning And Design Institute Co ltd, GCI Science and Technology Co Ltd filed Critical Guangzhou Jiesai Communication Planning And Design Institute Co ltd
Priority to CN202011432932.5A priority Critical patent/CN112543339B/zh
Publication of CN112543339A publication Critical patent/CN112543339A/zh
Application granted granted Critical
Publication of CN112543339B publication Critical patent/CN112543339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种基于残差重构的视频仿真方法及装置，方法包括：基于初始采样间隔，通过稀疏表示算法对待处理视频进行解码，分别得到采样前视频帧、采样后视频帧和采样时刻视频帧；进行矢量化处理；计算采样时刻测量矢量的预测值，并得到对应的自适应采样间隔；基于初始采样间隔、自适应采样间隔对采样时刻测量矢量进行重构；对重构后的采样时刻测量矢量进行解码，得到自适应采样时刻视频帧；以解码后得到的自适应采样时刻视频帧进行仿真输出。本发明实施例提供的基于残差重构的视频仿真方法及装置，通过基于残差重构的特定算法，使得视频仿真能够根据实时图像调整不同的采样间隔，提升了视频仿真的效果，推进了仿真采样的智能化进程。

Description

一种基于残差重构的视频仿真方法及装置
技术领域
本发明涉及视频处理技术领域，尤其是涉及一种基于残差重构的视频仿真方法及装置。
背景技术
随着宽带的普及与计算机技术的发展，利用采样技术对接收到的视频进行仿真，实时探测、监视设防区域，是协助公共安全部门维持社会安定的重要手段，在涉及教育、政府、娱乐、医疗、酒店、运动等各种领域都具有重要作用。
现如今，视频监控均是采用在任何时间段都分配相同的采样间隔的方法来实现图像资源的采集与仿真，但是，发明人经研究发现，在诸如交通道路的监控中，上班早高峰或者下班晚高峰的变化情况较为复杂，与之相对的，在深夜或者凌晨的时间段，往往图像的要素变化并不明显，因此，若都采用相同的采样间隔，将无法有效利用采样资源，导致视频监控的仿真效果变差。
发明内容
本发明提供一种基于残差重构的视频仿真方法及装置，以解决现有的仿真方法无法有效利用采样资源，仿真效果较差的技术问题，通过基于残差重构的特定算法，使得视频仿真能够根据实时图像调整不同的采样间隔，提升了视频仿真的效果，推进了仿真采样的智能化进程。
为了解决上述技术问题，本发明实施例提供了一种基于残差重构的视频仿真方法，包括：
基于初始采样间隔，通过稀疏表示算法对待处理视频进行解码，分别得到对应的采样前视频帧、采样后视频帧和采样时刻视频帧；
分别对所述采样前视频帧、所述采样后视频帧和所述采样时刻视频帧进行矢量化处理，得到对应的采样前测量矢量、采样后测量矢量、采样时刻测量矢量；
根据所述采样前测量矢量与所述采样后测量矢量，计算所述采样时刻测量矢量的预测值，并得到对应的自适应采样间隔；
基于所述初始采样间隔、所述自适应采样间隔对所述采样时刻测量矢量进行重构；
对重构后的所述采样时刻测量矢量进行解码，得到对应的自适应采样时刻视频帧；
以解码后得到的自适应采样时刻视频帧进行仿真输出。
作为其中一种优选方案，所述分别对所述采样前视频帧、所述采样后视频帧和所述采样时刻视频帧进行矢量化处理，得到对应的采样前测量矢量、采样后测量矢量、采样时刻测量矢量的步骤，具体为：
根据预置的矢量计算式进行矢量化处理：
Z＝TY
其中，T为128维度的向量，Z包括矢量化处理后的采样前测量矢量ZT-1、采样后测量矢量ZT+1、采样时刻测量矢量ZT，Y包括矢量化处理前的采样前视频帧YT-1、采样后视频帧YT+1和采样时刻视频帧YT。
作为其中一种优选方案，所述根据所述采样前测量矢量与所述采样后测量矢量，计算所述采样时刻测量矢量的预测值的步骤，具体为：
根据预置的预测值计算式计算所述预测值：
Figure BDA0002825778500000021
其中，
Figure BDA0002825778500000022
为采样时刻测量矢量的预测值，ZT-1为矢量化处理后的采样前测量矢量，ZT+1矢量化处理后的采样后测量矢量，α与β分别为常数。
作为其中一种优选方案，所述基于所述初始采样间隔、所述自适应采样间隔对所述采样时刻测量矢量进行重构的步骤，具体为：
基于所述初始采样间隔与所述自适应采样间隔计算采样变化系数；
根据所述预测值、所述采样时刻测量矢量计算在所述自适应采样间隔时的预测误差，并不断迭代；
以迭代后的所述自适应采样间隔对所述采样时刻测量矢量进行重构。
作为其中一种优选方案，所述基于所述初始采样间隔与所述自适应采样间隔计算采样变化系数的步骤，具体为：
根据预置的采样变化系数计算式进行计算：
INT0＝C×INTa
其中，INTa为初始采样间隔，INT0为自适应采样间隔，C为采样系数。
本发明另一实施例还提供了一种基于残差重构的视频仿真装置，包括控制器，所述控制器被配置为：
基于初始采样间隔，通过稀疏表示算法对待处理视频进行解码，分别得到对应的采样前视频帧、采样后视频帧和采样时刻视频帧；
分别对所述采样前视频帧、所述采样后视频帧和所述采样时刻视频帧进行矢量化处理，得到对应的采样前测量矢量、采样后测量矢量、采样时刻测量矢量；
根据所述采样前测量矢量与所述采样后测量矢量，计算所述采样时刻测量矢量的预测值，并得到对应的自适应采样间隔；
基于所述初始采样间隔、所述自适应采样间隔对所述采样时刻测量矢量进行重构；
对重构后的所述采样时刻测量矢量进行解码，得到对应的自适应采样时刻视频帧；
以解码后得到的自适应采样时刻视频帧进行仿真输出。
作为其中一种优选方案，所述控制器还被配置为：
根据预置的矢量计算式进行矢量化处理：
Z＝TY
其中，T为128维度的向量，Z包括矢量化处理后的采样前测量矢量ZT-1、采样后测量矢量ZT+1、采样时刻测量矢量ZT，Y包括矢量化处理前的采样前视频帧YT-1、采样后视频帧YT+1和采样时刻视频帧YT。
作为其中一种优选方案，所述控制器还被配置为：
根据预置的预测值计算式计算所述预测值：
Figure BDA0002825778500000031
其中，
Figure BDA0002825778500000032
为采样时刻测量矢量的预测值，ZT-1为矢量化处理后的采样前测量矢量，ZT+1矢量化处理后的采样后测量矢量，α与β分别为常数。
作为其中一种优选方案，所述控制器还被配置为：
基于所述初始采样间隔与所述自适应采样间隔计算采样变化系数；
根据所述预测值、所述采样时刻测量矢量计算在所述自适应采样间隔时的预测误差，并不断迭代；
以迭代后的所述自适应采样间隔对所述采样时刻测量矢量进行重构。
作为其中一种优选方案，所述控制器还被配置为：
根据预置的采样变化系数计算式进行计算：
INT0＝C×INTa
其中，INTa为初始采样间隔，INT0为自适应采样间隔，C为采样系数。
相比于现有技术，本发明实施例的有益效果在于，通过将每一采样时刻的关键帧转化成特征矩阵(该矩阵可以认为是稀疏表示的算法解码后的稀疏特征信息)，然后结合前一时刻和后一时刻的特征矩阵对当前时刻的特征矩阵进行预测，进而重构采样时刻的视频帧，使得视频仿真能够基于获取到的实时采样资源不断调整采样频率，进而提高了采样资源的利用率，提升了视频仿真的效果，使得重构后的视频帧相比于初始采样间隔的视频帧，不会出现图像模糊、取流异常、画面冻结和信号丢失等情况，推进了视频监控仿真的智能化进程。
附图说明
图1是本发明其中一种实施例中的基于残差重构的视频仿真方法的流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请描述中，术语“第一”、“第二”、“第三”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本申请的描述中，需要说明的是，除非另有定义，本发明所使用的所有的技术和科学术语与属于本的技术领域的技术人员通常理解的含义相同。本发明中说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明，对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。
本发明一实施例提供了一种基于残差重构的视频仿真方法，具体的，请参见图1，图1示出为本发明其中一种实施例中的基于残差重构的视频仿真方法的流程示意图，其中包括：
S1、基于初始采样间隔，通过稀疏表示算法对待处理视频进行解码，分别得到对应的采样前视频帧、采样后视频帧和采样时刻视频帧；
S2、分别对所述采样前视频帧、所述采样后视频帧和所述采样时刻视频帧进行矢量化处理，得到对应的采样前测量矢量、采样后测量矢量、采样时刻测量矢量；
S3、根据所述采样前测量矢量与所述采样后测量矢量，计算所述采样时刻测量矢量的预测值，并得到对应的自适应采样间隔；
S4、基于所述初始采样间隔、所述自适应采样间隔对所述采样时刻测量矢量进行重构；
S5、对重构后的所述采样时刻测量矢量进行解码，得到对应的自适应采样时刻视频帧；
S6、以解码后得到的自适应采样时刻视频帧进行仿真输出。
进一步的，在上述实施例中，对于步骤S2：分别对所述采样前视频帧、所述采样后视频帧和所述采样时刻视频帧进行矢量化处理，得到对应的采样前测量矢量、采样后测量矢量、采样时刻测量矢量，具体为：
根据预置的矢量计算式进行矢量化处理：
Z＝TY
其中，T为128维度的向量，Z包括矢量化处理后的采样前测量矢量ZT-1、采样后测量矢量ZT+1、采样时刻测量矢量ZT，Y包括矢量化处理前的采样前视频帧YT-1、采样后视频帧YT+1和采样时刻视频帧YT。
进一步的，在上述实施例中，对于步骤S3中根据所述采样前测量矢量与所述采样后测量矢量，计算所述采样时刻测量矢量的预测值的步骤，具体为：
根据预置的预测值计算式计算所述预测值：
Figure BDA0002825778500000061
其中，
Figure BDA0002825778500000062
为采样时刻测量矢量的预测值，ZT-1为矢量化处理后的采样前测量矢量，ZT+1矢量化处理后的采样后测量矢量，α与β分别为常数。
进一步的，在上述实施例中，对于步骤S4：基于所述初始采样间隔、所述自适应采样间隔对所述采样时刻测量矢量进行重构的步骤，具体为：
S41、基于所述初始采样间隔与所述自适应采样间隔计算采样变化系数；
S42、根据所述预测值、所述采样时刻测量矢量计算在所述自适应采样间隔时的预测误差，并不断迭代；
S43、以迭代后的所述自适应采样间隔对所述采样时刻测量矢量进行重构。
进一步的，在上述实施例中，对于步骤S41：基于所述初始采样间隔与所述自适应采样间隔计算采样变化系数的步骤，具体为：
根据预置的采样变化系数计算式进行计算：
INT0＝C×INTa
其中，INTa为初始采样间隔，INT0为自适应采样间隔，C为采样系数。
为便于理解，本发明实施例提供的基于残差重构的视频仿真方法，具体原理如下：
首先通过稀疏表示的算法进行视频解码，使用稀疏表示重建数据时需要更加关注重建数据变换前后的特征损失问题，为了尽可能的保留样本的原始特征，我们期望原始特征通过变换前后的方差最小，这样就可以使得变换后的特征表示能够充分的表示原始样本的特征结构，假设X表示视频帧，那么Y表示重构样本，如下所示：
YT＝HTXT
其中，XT表示表示原始的视频帧，HT表示稀疏系数。
然后将稀疏表示样本YT转化成矢量化，ZT表示表示初始采样间隔的测量矢量，T表示转换规则，一般将样本中的数据按照128维度的向量进行转换，如下所示：
ZT＝TYT
接着，采用时间序列多假设的预测方法，结合前一时刻和后一时刻的视频帧，重构采样时刻的测量矢量。
应当说明的是，如果对每一个时刻的视频帧时间序列进行独立重构的话，无疑割裂了视频帧的时间相关性，不能充分利用一个周期内不同视频帧的时间相关性，为了解决这个问题，提出了一种多假设预测残差重构的方法。
结合前一时刻测量矢量ZT-1和后一时刻测量矢量ZT+1对当前时刻测量矢量
Figure BDA0002825778500000073
进行预测，这相当于增加当前时刻测量矢量ZT的观测率，能够有效提升当前时刻网络流量矩阵的重构质量。多假设预测值为：
Figure BDA0002825778500000071
优选地，通过预置的预测值计算式计算所述预测值：
Figure BDA0002825778500000072
其中，α加β总和为1，一般为各自设为0.5。
之后，采用多假设预测残差重构算法，实现残差重构，得到重构数据，由于摄像头在不同时间段内具有不同的动态变化特征(采集的数据在慢变周期特征表示事件的稳定变化时段；快变周期特征表示事件的快速变化时段)，因此，在同样的采样间隔下不同时刻摄像头的多假设预测精度也不相同。如果给所有的摄像头在任何时刻分配同样的采样间隔就会造成无法有效利用采样资源和传输带宽的问题。
假设固定采样间隔为INT0、INTa，采样系数为C，那么三者之间的关系可以表示为：
INT0＝C×INTa
摄像头在第T时刻测量矢量的预测误差表示：
Figure BDA0002825778500000081
其中，ZT表示T时刻的采样值，
Figure BDA0002825778500000082
表示T时刻的经过时间序列多假设测量矢量预测值，如果第T时刻的预测误差越大，那么需要的采样间隔越小，因此可以把eT作为摄像头视频的自适应采样参数，即C＝k/eT。其中k是常数，由实际的网络情况进行选取。
将多假设预测值
Figure BDA0002825778500000083
结合自适应采样间隔得到的当前时刻测量矢量
Figure BDA0002825778500000084
进行多次迭代(如果预测值
Figure BDA0002825778500000085
与测量矢量
Figure BDA0002825778500000086
的误差太大，那么需要再次迭代，知道预测值和测量值的误差在设定的范围内)得到当前时刻测量矢量预测值
Figure BDA0002825778500000087
并结合重构预测残差
Figure BDA0002825778500000088
得到高质量的重构结果，如下所示：
Figure BDA0002825778500000089
最后，通过解码端进行数据解码，重构T时刻的视频帧
Figure BDA00028257785000000810
并以
Figure BDA00028257785000000811
作为视频仿真的输入。
采用自适应采样的方法适应采样的方法进行视频监控仿真的数据输入，不仅能够减少采样样本的数据，还充分利用一个周期内不同视频帧的时间相关性实现采样样本的校正。通过进行多次迭代实现T时刻样本的校正，并以校正值作为当前视频监控仿真的输入端，能够增加模型的鲁棒性，比如T时刻视频图像模糊、取流异常、画面冻结和信号丢失等情况，这些情况都是可以通过视频的相关性，采用预测-残差重构的方法来实现的，不仅可以用来诊断图像的质量，还能提高仿真输入数据的质量。
为便于理解，本发明实施例通过采用采样时刻、前一时刻和后一时刻的视频帧，通过编码端的处理，将每一时刻的关键帧转化成特征矩阵(该矩阵可以认为是稀疏表示的算法处理后的稀疏特征信息)，然后结合前一时刻和后一时刻的特征矩阵对当前时刻的特征矩阵进行预测，进一步，采用解码端重构采样时刻的视频帧，对比真实采样时刻的视频帧和重构采样时刻的视频帧之间的误差，最后，对比误差和设定的误差阈值的关系调整采样间隔，如果误差大于设定误差阈值，那么就应该进一步缩小采样间隔，相反，增加采样间隔，以此来自适应视频监控的采样要素的变化情况。
本发明另一实施例提供了一种基于残差重构的视频仿真装置，包括控制器，其特征在于，所述控制器被配置为：
基于初始采样间隔，通过稀疏表示算法对待处理视频进行解码，分别得到对应的采样前视频帧、采样后视频帧和采样时刻视频帧；
分别对所述采样前视频帧、所述采样后视频帧和所述采样时刻视频帧进行矢量化处理，得到对应的采样前测量矢量、采样后测量矢量、采样时刻测量矢量；
根据所述采样前测量矢量与所述采样后测量矢量，计算所述采样时刻测量矢量的预测值，并得到对应的自适应采样间隔；
基于所述初始采样间隔、所述自适应采样间隔对所述采样时刻测量矢量进行重构；
对重构后的所述采样时刻测量矢量进行解码，得到对应的自适应采样时刻视频帧；
以解码后得到的自适应采样时刻视频帧进行仿真输出。
在其中一种实施例中，所述控制器还被配置为：
根据预置的矢量计算式进行矢量化处理：
Z＝TY
其中，T为128维度的向量，Z包括矢量化处理后的采样前测量矢量ZT-1、采样后测量矢量ZT+1、采样时刻测量矢量ZT，Y包括矢量化处理前的采样前视频帧YT-1、采样后视频帧YT+1和采样时刻视频帧YT。
在其中一种实施例中，所述控制器还被配置为：
根据预置的预测值计算式计算所述预测值：
Figure BDA0002825778500000091
其中，
Figure BDA0002825778500000101
为采样时刻测量矢量的预测值，ZT-1为矢量化处理后的采样前测量矢量，ZT+1矢量化处理后的采样后测量矢量，α与β分别为常数。
在其中一种实施例中，所述控制器还被配置为：
基于所述初始采样间隔与所述自适应采样间隔计算采样变化系数；
根据所述预测值、所述采样时刻测量矢量计算在所述自适应采样间隔时的预测误差，并不断迭代；
以迭代后的所述自适应采样间隔对所述采样时刻测量矢量进行重构。
在其中一种实施例中，所述控制器还被配置为：
根据预置的采样变化系数计算式进行计算：
INT0＝C×INTa
其中，INTa为初始采样间隔，INT0为自适应采样间隔，C为采样系数。
本发明实施例提供的基于残差重构的视频仿真方法及装置，有益效果在于，通过将每一采样时刻的关键帧转化成特征矩阵(该矩阵可以认为是稀疏表示的算法解码后的稀疏特征信息)，然后结合前一时刻和后一时刻的特征矩阵对当前时刻的特征矩阵进行预测，进而重构采样时刻的视频帧，使得视频仿真能够基于获取到的实时采样资源不断调整采样频率，进而提高了采样资源的利用率，提升了视频仿真的效果，使得重构后的视频帧相比于初始采样间隔的视频帧，不会出现图像模糊、取流异常、画面冻结和信号丢失等情况，推进了视频监控仿真的智能化进程。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种基于残差重构的视频仿真方法，其特征在于，包括：
基于初始采样间隔，通过稀疏表示算法对待处理视频进行解码，分别得到对应的采样前视频帧、采样后视频帧和采样时刻视频帧；
分别对所述采样前视频帧、所述采样后视频帧和所述采样时刻视频帧进行矢量化处理，得到对应的采样前测量矢量、采样后测量矢量、采样时刻测量矢量；
根据所述采样前测量矢量与所述采样后测量矢量，计算所述采样时刻测量矢量的预测值，并得到对应的自适应采样间隔；
基于所述初始采样间隔、所述自适应采样间隔对所述采样时刻测量矢量进行重构；
对重构后的所述采样时刻测量矢量进行解码，得到对应的自适应采样时刻视频帧；
以解码后得到的自适应采样时刻视频帧进行仿真输出。
2.如权利要求1所述的基于残差重构的视频仿真方法，其特征在于，所述分别对所述采样前视频帧、所述采样后视频帧和所述采样时刻视频帧进行矢量化处理，得到对应的采样前测量矢量、采样后测量矢量、采样时刻测量矢量的步骤，具体为：
根据预置的矢量计算式进行矢量化处理：
Z＝TY
其中，T为128维度的向量，Z包括矢量化处理后的采样前测量矢量ZT-1、采样后测量矢量ZT+1、采样时刻测量矢量ZT，Y包括矢量化处理前的采样前视频帧YT-1、采样后视频帧YT+1和采样时刻视频帧YT。
3.如权利要求1所述的基于残差重构的视频仿真方法，其特征在于，所述根据所述采样前测量矢量与所述采样后测量矢量，计算所述采样时刻测量矢量的预测值的步骤，具体为：
根据预置的预测值计算式计算所述预测值：
Figure FDA0002825778490000021
其中，
Figure FDA0002825778490000022
为采样时刻测量矢量的预测值，ZT-1为矢量化处理后的采样前测量矢量，ZT+1矢量化处理后的采样后测量矢量，α与β分别为常数。
4.如权利要求1所述的基于残差重构的视频仿真方法，其特征在于，所述基于所述初始采样间隔、所述自适应采样间隔对所述采样时刻测量矢量进行重构的步骤，具体为：
基于所述初始采样间隔与所述自适应采样间隔计算采样变化系数；
根据所述预测值、所述采样时刻测量矢量计算在所述自适应采样间隔时的预测误差，并不断迭代；
以迭代后的所述自适应采样间隔对所述采样时刻测量矢量进行重构。
5.如权利要求4所述的基于残差重构的视频仿真方法，其特征在于，所述基于所述初始采样间隔与所述自适应采样间隔计算采样变化系数的步骤，具体为：
根据预置的采样变化系数计算式进行计算：
INT0＝C×INTa
其中，INTa为初始采样间隔，INT0为自适应采样间隔，C为采样系数。
6.一种基于残差重构的视频仿真装置，包括控制器，其特征在于，所述控制器被配置为：
基于初始采样间隔，通过稀疏表示算法对待处理视频进行解码，分别得到对应的采样前视频帧、采样后视频帧和采样时刻视频帧；
分别对所述采样前视频帧、所述采样后视频帧和所述采样时刻视频帧进行矢量化处理，得到对应的采样前测量矢量、采样后测量矢量、采样时刻测量矢量；
根据所述采样前测量矢量与所述采样后测量矢量，计算所述采样时刻测量矢量的预测值，并得到对应的自适应采样间隔；
基于所述初始采样间隔、所述自适应采样间隔对所述采样时刻测量矢量进行重构；
对重构后的所述采样时刻测量矢量进行解码，得到对应的自适应采样时刻视频帧；
以解码后得到的自适应采样时刻视频帧进行仿真输出。
7.如权利要求6所述的基于残差重构的视频仿真装置，其特征在于，所述控制器还被配置为：
根据预置的矢量计算式进行矢量化处理：
Z＝TY
其中，T为128维度的向量，Z包括矢量化处理后的采样前测量矢量ZT-1、采样后测量矢量ZT+1、采样时刻测量矢量ZT，Y包括矢量化处理前的采样前视频帧YT-1、采样后视频帧YT+1和采样时刻视频帧YT。
8.如权利要求6所述的基于残差重构的视频仿真装置，其特征在于，所述控制器还被配置为：
根据预置的预测值计算式计算所述预测值：
Figure FDA0002825778490000031
其中，
Figure FDA0002825778490000032
为采样时刻测量矢量的预测值，ZT-1为矢量化处理后的采样前测量矢量，ZT+1矢量化处理后的采样后测量矢量，α与β分别为常数。
9.如权利要求1所述的基于残差重构的视频仿真装置，其特征在于，所述控制器还被配置为：
基于所述初始采样间隔与所述自适应采样间隔计算采样变化系数；
根据所述预测值、所述采样时刻测量矢量计算在所述自适应采样间隔时的预测误差，并不断迭代；
以迭代后的所述自适应采样间隔对所述采样时刻测量矢量进行重构。
10.如权利要求9所述的基于残差重构的视频仿真装置，其特征在于，所述控制器还被配置为：
根据预置的采样变化系数计算式进行计算：
INT0＝C×INTa
其中，INTa为初始采样间隔，INT0为自适应采样间隔，C为采样系数。
CN202011432932.5A 2020-12-09 2020-12-09 一种基于残差重构的视频仿真方法及装置 Active CN112543339B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011432932.5A CN112543339B (zh) 2020-12-09 2020-12-09 一种基于残差重构的视频仿真方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011432932.5A CN112543339B (zh) 2020-12-09 2020-12-09 一种基于残差重构的视频仿真方法及装置

Publications (2)

Publication Number Publication Date
CN112543339A true CN112543339A (zh) 2021-03-23
CN112543339B CN112543339B (zh) 2022-08-02

Family

ID=75019790

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011432932.5A Active CN112543339B (zh) 2020-12-09 2020-12-09 一种基于残差重构的视频仿真方法及装置

Country Status (1)

Country Link
CN (1) CN112543339B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113300905A (zh) * 2021-04-16 2021-08-24 广州技象科技有限公司 一种流量预测自适应调整方法、装置、设备及存储介质
CN113890794A (zh) * 2021-09-09 2022-01-04 广州杰赛科技股份有限公司 一种大规模mimo信道估计方法、装置及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101827264A (zh) * 2009-03-06 2010-09-08 刘永 分层式自适应的视频帧采样方法
EP2343901A1 (en) * 2010-01-08 2011-07-13 Research In Motion Limited Method and device for video encoding using predicted residuals
CN105957017A (zh) * 2016-06-24 2016-09-21 电子科技大学 一种基于自适应关键帧采样的视频拼接方法
CN108833918A (zh) * 2018-06-20 2018-11-16 腾讯科技（深圳）有限公司 视频编码方法、解码方法、装置、计算机设备及存储介质
CN109120931A (zh) * 2018-09-05 2019-01-01 浙江树人学院 一种基于帧间相关性的流媒体视频压缩方法
CN110933429A (zh) * 2019-11-13 2020-03-27 南京邮电大学 基于深度神经网络的视频压缩感知与重构方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101827264A (zh) * 2009-03-06 2010-09-08 刘永 分层式自适应的视频帧采样方法
EP2343901A1 (en) * 2010-01-08 2011-07-13 Research In Motion Limited Method and device for video encoding using predicted residuals
CN105957017A (zh) * 2016-06-24 2016-09-21 电子科技大学 一种基于自适应关键帧采样的视频拼接方法
CN108833918A (zh) * 2018-06-20 2018-11-16 腾讯科技（深圳）有限公司 视频编码方法、解码方法、装置、计算机设备及存储介质
CN109120931A (zh) * 2018-09-05 2019-01-01 浙江树人学院 一种基于帧间相关性的流媒体视频压缩方法
CN110933429A (zh) * 2019-11-13 2020-03-27 南京邮电大学 基于深度神经网络的视频压缩感知与重构方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
安文 等: "基于自适应采样的多假设预测残差重构算法研究", 《自动化学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113300905A (zh) * 2021-04-16 2021-08-24 广州技象科技有限公司 一种流量预测自适应调整方法、装置、设备及存储介质
CN113890794A (zh) * 2021-09-09 2022-01-04 广州杰赛科技股份有限公司 一种大规模mimo信道估计方法、装置及存储介质
CN113890794B (zh) * 2021-09-09 2023-06-27 广州杰赛科技股份有限公司 一种大规模mimo信道估计方法、装置及存储介质

Also Published As

Publication number Publication date
CN112543339B (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
WO2021093393A1 (zh) 基于深度神经网络的视频压缩感知与重构方法和装置
CN112085102B (zh) 基于三维时空特征分解的无参考视频质量评价方法
CN112543339B (zh) 一种基于残差重构的视频仿真方法及装置
CN111787323A (zh) 一种基于对抗学习的可变比特率生成式压缩方法
CN108960333B (zh) 基于深度学习的高光谱图像无损压缩方法
CN109636721B (zh) 基于对抗学习和注意力机制的视频超分辨率方法
CN111158068A (zh) 一种基于简单卷积循环神经网络的短临预报方法及系统
CN113313683B (zh) 基于元迁移学习的无参考视频质量评价方法
JP2022549031A (ja) 正常なデータへのデータサンプルの変換
CN113256506A (zh) 使用先前帧统计信息经由卷积神经网络来处理视频帧
CN110365966B (zh) 一种基于视窗的视频质量评价方法及装置
CN117893409A (zh) 基于光照条件约束扩散模型的人脸超分辨率重建方法及系统
US20240153260A1 (en) Information processing system, information processing device, information processing method, and storage medium
CN114202473A (zh) 一种基于多尺度特征和注意力机制的图像复原方法及装置
Lu et al. Environment-aware multiscene image enhancement for internet of things enabled edge cameras
CN114663307B (zh) 基于不确定性网络的集成图像去噪系统
CN113890794B (zh) 一种大规模mimo信道估计方法、装置及存储介质
CN115374844A (zh) 交通数据预测方法、装置、设备及存储介质
CN108093266A (zh) 利用组归一化稀疏表示的图像压缩感知重构系统及其方法
CN103634591A (zh) 一种视频质量评估的方法、装置和系统
CN116963156B (zh) 一种无线信号传输能力检测方法和装置
CN114863026B (zh) 三维车道线信息生成方法、装置、设备和计算机可读介质
Wang et al. SRL1: Structured reweighted ℓ 1 minimization for compressive sampling of videos
Mazurek et al. An efficient estimation of the Structural Similarity index using the GPGPU programming techniques
JP2023167507A (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant