CN106686385B - 视频压缩感知重构方法及装置 - Google Patents

视频压缩感知重构方法及装置 Download PDF

Info

Publication number
CN106686385B
CN106686385B CN201611260793.6A CN201611260793A CN106686385B CN 106686385 B CN106686385 B CN 106686385B CN 201611260793 A CN201611260793 A CN 201611260793A CN 106686385 B CN106686385 B CN 106686385B
Authority
CN
China
Prior art keywords
frame
layer
video
fragment
debris
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201611260793.6A
Other languages
English (en)
Other versions
CN106686385A (zh
Inventor
王健宗
肖京
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201611260793.6A priority Critical patent/CN106686385B/zh
Publication of CN106686385A publication Critical patent/CN106686385A/zh
Priority to JP2018530728A priority patent/JP6570155B2/ja
Priority to SG11201808823PA priority patent/SG11201808823PA/en
Priority to EP17885721.5A priority patent/EP3410714A4/en
Priority to KR1020187017256A priority patent/KR102247907B1/ko
Priority to US16/084,234 priority patent/US10630995B2/en
Priority to PCT/CN2017/091311 priority patent/WO2018120723A1/zh
Priority to AU2017389534A priority patent/AU2017389534A1/en
Priority to TW106135245A priority patent/TWI664853B/zh
Application granted granted Critical
Publication of CN106686385B publication Critical patent/CN106686385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本发明公开了一种视频压缩感知重构方法及装置，该方法包括：B、在收到待重构的压缩视频帧后，根据预先确定的提取规则提取出所述压缩视频帧的帧碎片；C、将提取的帧碎片输入经预先训练的视频帧重构模型的帧碎片输入层，由所述视频帧重构模型的多个特征抽象隐含层对输入的帧碎片进行特征抽象，建立帧碎片到帧碎片块之间的非线性映射；D、由所述视频帧重构模型的多个特征抽象隐含层根据建立的所述非线性映射将输入的帧碎片重构为帧碎片块，并由所述视频帧重构模型的帧碎片块输出层输出重构的帧碎片块，基于重构的帧碎片块生成重构的视频。本发明能高速且高质量的渲染重构视频帧。

Description

视频压缩感知重构方法及装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种视频压缩感知重构方法及装置。
背景技术
现有的基于时间域的视频压缩感知算法普遍对计算复杂度非常敏感，特别是在渲染重构视频帧时处理速度极慢，即便使用图形处理器(Graphics Processing Unit，GPU)进行并行加速也无法显著改善这个问题。虽然，目前也有算法能够较快的完成视频块的感知重建，但是重建的质量通常较低。因此，如何高速且高质量的渲染重构视频帧已经成为一种亟待解决的技术问题。
发明内容
本发明的主要目的在于提供一种视频压缩感知重构方法及装置，旨在高速且高质量的渲染重构视频帧。
为实现上述目的，本发明提供的一种视频压缩感知重构方法，所述方法包括以下步骤：
B、在收到待重构的压缩视频帧后，根据预先确定的提取规则提取出所述压缩视频帧的帧碎片；
C、将提取的帧碎片输入经预先训练的视频帧重构模型的帧碎片输入层，由所述视频帧重构模型的多个特征抽象隐含层对输入的帧碎片进行特征抽取，建立帧碎片到帧碎片块之间的非线性映射；
D、由所述视频帧重构模型的多个特征抽象隐含层根据建立的所述非线性映射将输入的帧碎片重构为帧碎片块，并由所述视频帧重构模型的帧碎片块输出层输出重构的帧碎片块，基于重构的帧碎片块生成重构的视频。
优选地，所述步骤B之前还包括：
A、创建并训练视频帧重构模型，所述视频帧重构模型包括至少一个帧碎片输入层、至少一个帧碎片块输出层和多个特征抽象隐含层。
优选地，所述视频帧重构模型包括一个帧碎片输入层、一个帧碎片块输出层和k个特征抽象隐含层，k为大于1的自然数，每一个特征抽象隐含层包含如下公式：
hk(y)＝θ(bk+wky)，
其中，hk(y)为第k层特征抽象隐含层激活值向量，Lk为第k层特征抽象隐含层的神经元数目，为第k层特征抽象隐含层的输入向量；0(bk+wky)为激活函数，bk为第k层特征抽象隐含层的神经元偏置向量，wk为第k层权值矩阵，为从第k-1层映射到第k层的权值矩阵， 为第k-1层特征抽象隐含层的输入向量；基于所述特征抽象隐含层激活值向量、神经元数目、激活函数、神经元偏置向量与权值矩阵训练得到视频帧重构模型f(yi；ω)，其中，ω是所述特征抽象隐含层激活值向量、神经元数目、激活函数、神经元偏置向量与权值矩阵的参数集合，yi为经所述帧碎片输入层输入的帧碎片，f(yi；ω)为由多个特征抽象隐含层对经所述帧碎片输入层输入的帧碎片进行特征抽取，建立起来的帧碎片到帧碎片块之间的非线性映射。
优选地，所述预先确定的提取规则为：
对待重构的压缩视频帧进行块分割，将所述待重构的压缩视频帧分成若干帧碎片。
优选地，所述步骤A还包括训练数据和测试数据的生成步骤，该训练数据和测试数据的生成步骤包括：
获取预设数量的不同种类的自然场景下的视频，并将获取的各个视频转换到灰度颜色空间；
将转换后的各个视频通过预定义的度量转换矩阵进行压缩；
将所有压缩后的视频按照预设比例分成第一数据集和第二数据集，将第一数据集作为训练集，第二数据集作为测试集。
此外，为实现上述目的，本发明还提供一种视频压缩感知重构装置，所述视频压缩感知重构装置包括：
提取模块，用于在收到待重构的压缩视频帧后，根据预先确定的提取规则提取出所述压缩视频帧的帧碎片；
特征抽象模块，用于将提取的帧碎片输入经预先训练的视频帧重构模型的帧碎片输入层，由所述视频帧重构模型的多个特征抽象隐含层对输入的帧碎片进行特征抽取，建立帧碎片到帧碎片块之间的非线性映射；
重构模块，用于由所述视频帧重构模型的多个特征抽象隐含层根据建立的所述非线性映射将输入的帧碎片重构为帧碎片块，并由所述视频帧重构模型的帧碎片块输出层输出重构的帧碎片块，基于重构的帧碎片块生成重构的视频。
优选地，所述视频压缩感知重构装置还包括：
创建模块，用于创建并训练视频帧重构模型，所述视频帧重构模型包括至少一个帧碎片输入层、至少一个帧碎片块输出层和多个特征抽象隐含层。
优选地，所述视频帧重构模型包括一个帧碎片输入层、一个帧碎片块输出层和k个特征抽象隐含层，k为大于1的自然数，每一个特征抽象隐含层包含如下公式：
hk(y)＝θ(bk+wky)，
其中，hk(y)为第k层特征抽象隐含层的激活值向量，Lk为第k层特征抽象隐含层的神经元数目，为第k层特征抽象隐含层的输入向量；0(bk+wky)为激活函数，bk为第k层特征抽象隐含层的神经元偏置向量，wk为第k层权值矩阵，为从第k-1层映射到第k层的权值矩阵， 为第k-1层特征抽象隐含层的输入向量；基于所述特征抽象隐含层激活值向量、神经元数目、激活函数、神经元偏置向量与权值矩阵训练得到视频帧重构模型f(yi；ω)，其中，ω是所述特征抽象隐含层激活值向量、神经元数目、激活函数、神经元偏置向量与权值矩阵的参数集合，yi为经所述帧碎片输入层输入的帧碎片，f(yi；ω)为由多个特征抽象隐含层对经所述帧碎片输入层输入的帧碎片进行特征抽取，建立起来的帧碎片到帧碎片块之间的非线性映射。
优选地，所述预先确定的提取规则为：
对待重构的压缩视频帧进行块分割，将所述待重构的压缩视频帧分成若干帧碎片。
优选地，所述创建模块还包括用于生成训练数据和测试数据的生成单元，所述生成单元用于：
获取预设数量的不同种类的自然场景下的视频，并将获取的各个视频转换到灰度颜色空间；将转换后的各个视频通过预定义的度量转换矩阵进行压缩；将所有压缩后的视频按照预设比例分成第一数据集和第二数据集，将第一数据集作为训练集，第二数据集作为测试集。
本发明提出的视频压缩感知重构方法及装置，通过预先确定的提取规则提取出待重构的压缩视频帧的帧碎片；由经预先训练的视频帧重构模型的多个特征抽象隐含层对该帧碎片进行特征抽取，建立帧碎片到帧碎片块之间的非线性映射，并根据所述非线性映射将输入的帧碎片重构为帧碎片块之后输出。由于是将待重构的压缩视频帧提取为帧碎片后，针对帧碎片来进行重构，而不是直接对较大的压缩视频帧进行处理，降低了计算复杂度，提高了视频帧重构的速度；而且，通过预先训练的视频帧重构模型的多个特征抽象隐含层对每一帧碎片进行特征抽取，并将帧碎片重构为帧碎片块进行输出，能有效地提取压缩视频帧的每一细节特征，提高了视频帧重构的质量。
附图说明
图1为本发明视频压缩感知重构方法第一实施例的流程示意图；
图2为本发明视频压缩感知重构方法第二实施例的流程示意图；
图3为本发明视频压缩感知重构方法一实施例中视频帧重构模型的结构示意图；
图4为本发明视频压缩感知重构装置第一实施例的功能模块示意图；
图5为本发明视频压缩感知重构装置第二实施例的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图和实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明提供一种视频压缩感知重构方法。
参照图1，图1为本发明视频压缩感知重构方法第一实施例的流程示意图。
在第一实施例中，该视频压缩感知重构方法包括：
步骤S10，在收到待重构的压缩视频帧后，根据预先确定的提取规则提取出所述压缩视频帧的帧碎片。
本实施例中，接收到待重构的压缩视频帧后，并不直接对所述压缩视频帧进行渲染重构，而是先对所述压缩视频帧按照预先确定的提取规则进行帧碎片的提取。该预先确定的提取规则可以是根据颜色、内容、格式、面积大小等不同特征对所述压缩视频帧进行帧碎片的提取，在此不做限定。
在一种可选的实施方式中，所述预先确定的提取规则为：对待重构的压缩视频帧进行块分割，将所述待重构的压缩视频帧分成若干帧碎片。例如，对如JPEG、PNG等各种类型的压缩视频帧进行块分割，将所述压缩视频帧分成N*M(例如，32*32)的帧碎片，N和M为正整数。其中，对所述压缩视频帧进行块分割时，可以将所述压缩视频帧等分成各个相同大小的帧碎片，也可以将所述压缩视频帧按一定比例或随机分成不同大小的帧碎片，在此不做限定。帧碎片既可以是形状规则的正方形、长方形等，也可以是形状不规则的碎片，在此不做限定。
步骤S20，将提取的帧碎片输入经预先训练的视频帧重构模型的帧碎片输入层，由所述视频帧重构模型的多个特征抽象隐含层对输入的帧碎片进行特征抽取，建立帧碎片到帧碎片块之间的非线性映射。
提取出所述压缩视频帧的帧碎片之后，可利用经预先训练好的视频帧重构模型对该帧碎片进行相应的处理。其中，该视频帧重构模型可以是在每一次进行视频压缩感知重构时进行建立并训练，也可以是预先创建并训练好的模型，每一次进行视频压缩感知重构时直接调用该模型即可，在此不做限定。
例如，本实施例中，所述视频帧重构模型可包括帧碎片输入层、帧碎片块输出层和多个特征抽象隐含层，在提取出所述压缩视频帧的帧碎片之后，将提取的帧碎片输入该视频帧重构模型的帧碎片输入层，由所述视频帧重构模型的多个特征抽象隐含层对输入的帧碎片进行特征抽取，建立帧碎片到帧碎片块之间的非线性映射，从而将每一帧碎片与最终重构的帧碎片块形成联系。
步骤S30，由所述视频帧重构模型的多个特征抽象隐含层根据建立的所述非线性映射将输入的帧碎片重构为帧碎片块，并由所述视频帧重构模型的帧碎片块输出层输出重构的帧碎片块，基于重构的帧碎片块生成重构的视频。
所述视频帧重构模型的多个特征抽象隐含层根据建立的所述非线性映射即每一帧碎片经特征抽取后与最终重构的帧碎片块之间的映射关系，将输入的帧碎片重构为最终的帧碎片块，并经由所述视频帧重构模型的帧碎片块输出层输出重构的帧碎片块，基于重构的帧碎片块生成重构的视频，如对重构的帧碎片块进行拼接、组合等方式最终生成重构的视频，完成所述压缩视频帧的渲染重构。
本实施例通过预先确定的提取规则提取出待重构的压缩视频帧的帧碎片；由经预先训练的视频帧重构模型的多个特征抽象隐含层对该帧碎片进行特征抽取，建立帧碎片到帧碎片块之间的非线性映射，并根据所述非线性映射将输入的帧碎片重构为帧碎片块之后输出。由于是将待重构的压缩视频帧提取为帧碎片后，针对帧碎片来进行重构，而不是直接对较大的压缩视频帧进行处理，降低了计算复杂度，提高了视频帧重构的速度；而且，通过预先训练的视频帧重构模型的多个特征抽象隐含层对每一帧碎片进行特征抽取，并将帧碎片重构为帧碎片块进行输出，能有效地提取压缩视频帧的每一细节特征，提高了视频帧重构的质量。
如图2所示，本发明第二实施例提出一种视频压缩感知重构方法，在上述实施例的基础上，在上述步骤S10之前还包括：
步骤S40，创建并训练视频帧重构模型，所述视频帧重构模型包括至少一个帧碎片输入层、至少一个帧碎片块输出层和多个特征抽象隐含层。
本实施例中，在进行视频帧重构之前，还需创建并训练视频帧重构模型，所述视频帧重构模型包括至少一个帧碎片输入层、至少一个帧碎片块输出层和多个特征抽象隐含层。在对视频帧重构模型进行训练之前，还包括训练数据和测试数据的生成步骤，该训练数据和测试数据的生成步骤包括：
获取预设数量(例如，100个)的不同种类的自然场景下的视频，并将获取的各个视频转换到灰度颜色空间。其中，获取的所有视频的数据大小累计和需满足预设值(例如，10K)。
将转换后的各个视频通过预定义尺寸为wm×hm×dm(例如，wm＝8，hm＝8，dm＝16)的度量转换矩阵进行压缩。例如，wb为具有预设数量视频的视频块b的宽度，hb为视频块b的高度，db为视频块b的长度(即视频帧的数量)，每个视频块为xi∈wb×hb×db，i∈N，N为不小于1的正整数，压缩后的视频帧yi∈wb×hb，其中， 为度量转换矩阵。
将所有压缩后的视频按照预设比例如X∶Y(例如，7∶3)的比例分成第一数据集和第二数据集，其中，第一数据集中的视频数量大于第二数据集中的视频数量，将第一数据集作为训练集，第二数据集作为测试集，其中，X大于0，Y大于0。
在一种实施方式中，该视频帧重构模型的训练过程如下：
在训练该视频帧重构模型时，可以将输入的视频帧的batch size(批量尺寸)设置成200，总的训练次数可以设为10×106个迭代次数，输入的每张视频帧之间的大小差值被规约化到均值为0，标准差为1的范围。在训练的起始阶段，每一特征抽象隐含层的神经元权值被随机初始化，随机值来自一个范围为的均匀分布，变量s为先前特征抽象隐含层的神经元数目。
在训练过程中，采用随机梯度下降(SGD，Stochastic Gradient Descent)算法来对该视频帧重构模型中的各个参数进行优化。随机梯度下降算法适用于控制变量较多，受控系统比较复杂，无法建立准确数学模型的最优化控制过程。本实施例中，起始学习率可以设置为0.001，每隔3×106次迭代学习率会变为原来的十分之一。随机梯度下降算法的冲量项(Momentum)可以设置为0.9，在随机梯度下降的同时还可以对梯度进行裁剪，假设需要求解的目标函数为：E(x)＝f(x)+r(x)，其中f(x)为损失函数，用来评价模型训练损失，是任意的可微凸函数，r(x)为规范化约束因子，用来对模型进行限制，根据模型参数的概率分布不同，r(x)一般有L1范式约束(模型服从高斯分布)和L2范式约束(模型服从拉普拉斯分布)，通过使用L2范式对权值更新梯度进行裁剪以确保梯度始终处于一定范围之类，这样可以防止梯度爆炸现象影响模型的收敛，梯度裁剪的阈值可以被设定为10。
进一步地，在其他实施例中，如图3所示，图3为本发明视频压缩感知重构方法一实施例中视频帧重构模型的结构示意图。该视频帧重构模型包括一个帧碎片输入层、一个帧碎片块输出层和k个特征抽象隐含层(k为大于1的自然数)，每一个特征抽象隐含层有如下公式：
hk(y)＝θ(bk+wky)，
其中，hk(y)为第k层特征抽象隐含层的激活值向量，Lk为第k层特征抽象隐含层的神经元数目，为第k层特征抽象隐含层的输入向量；θ(*)也即θ(bk+wky)为激活函数，其表达式为θ(x)＝max(x，0)，bk为第k层特征抽象隐含层的神经元偏置向量，wk为第k层的权值矩阵，为从第k-1层映射到第k层的权值矩阵， 为第k-1层特征抽象隐含层的输入向量。
基于所述特征抽象隐含层激活值向量、神经元数目、激活函数、神经元偏置向量与权值矩阵训练得到视频帧重构模型f(yi；ω)，其中，ω是所述特征抽象隐含层激活值向量、神经元数目、激活函数、神经元偏置向量与权值矩阵的参数集合，yi为经所述帧碎片输入层输入的帧碎片，f(yi；ω)为由多个特征抽象隐含层对经所述帧碎片输入层输入的帧碎片进行特征抽取，建立起来的帧碎片到帧碎片块之间的非线性映射。
参照图3，该帧碎片输入层接收帧碎片的输入，经过K层特征抽象隐含层的帧特征抽取，最后输入到该帧碎片块输出层，该帧碎片块输出层的维度与最终重构的视频块的总尺寸一致，均为wm×hm×dm。为了训练该视频帧重构模型，需要根据输入参数不断调整模型的权值和偏置项。假定把模型的所有参数构成的集合表示为L(ω)，使用误差反向传播(Error Back Propagation，BP)算法对参数进行更新，优化函数为MSE(Mean SquaredError，平均平方和错误)，则有：
在一个优选的实施方式中，该视频帧重构模型的帧碎片输入层维度可以设为8×8，该视频帧重构模型的帧碎片块输出层维度可以设为8×8×16，该视频帧重构模型的特征抽象隐含层可以设为7层，各个特征抽象隐含层维度可以分别设为128，256，384，512，512，4096，2048。
本发明进一步提供一种视频压缩感知重构装置。
参照图4，图4为本发明视频压缩感知重构装置第一实施例的功能模块示意图。
在第一实施例中，该视频压缩感知重构装置包括：
提取模块01，用于在收到待重构的压缩视频帧后，根据预先确定的提取规则提取出所述压缩视频帧的帧碎片；
本实施例中，接收到待重构的压缩视频帧后，并不直接对所述压缩视频帧进行渲染重构，而是先对所述压缩视频帧按照预先确定的提取规则进行帧碎片的提取。该预先确定的提取规则可以是根据颜色、内容、格式、面积大小等不同特征对所述压缩视频帧进行帧碎片的提取，在此不做限定。
在一种可选的实施方式中，所述预先确定的提取规则为：对待重构的压缩视频帧进行块分割，将所述待重构的压缩视频帧分成若干帧碎片。例如，对如JPEG、PNG等各种类型的压缩视频帧进行块分割，将所述压缩视频帧分成N*M(例如，32*32)的帧碎片，N和M为正整数。其中，对所述压缩视频帧进行块分割时，可以将所述压缩视频帧等分成各个相同大小的帧碎片，也可以将所述压缩视频帧按一定比例或随机分成不同大小的帧碎片，在此不做限定。帧碎片既可以是形状规则的正方形、长方形等，也可以是形状不规则的碎片，在此不做限定。
特征抽象模块02，用于将提取的帧碎片输入经预先训练的视频帧重构模型的帧碎片输入层，由所述视频帧重构模型的多个特征抽象隐含层对输入的帧碎片进行特征抽取，建立帧碎片到帧碎片块之间的非线性映射；
提取出所述压缩视频帧的帧碎片之后，可利用经预先训练好的视频帧重构模型对该帧碎片进行相应的处理。其中，该视频帧重构模型可以是在每一次进行视频压缩感知重构时进行建立并训练，也可以是预先创建并训练好的模型，每一次进行视频压缩感知重构时直接调用该模型即可，在此不做限定。
例如，本实施例中，所述视频帧重构模型可包括帧碎片输入层、帧碎片块输出层和多个特征抽象隐含层，在提取出所述压缩视频帧的帧碎片之后，将提取的帧碎片输入该视频帧重构模型的帧碎片输入层，由所述视频帧重构模型的多个特征抽象隐含层对输入的帧碎片进行特征抽取，建立帧碎片到帧碎片块之间的非线性映射，从而将每一帧碎片与最终重构的帧碎片块形成联系。
重构模块03，用于由所述视频帧重构模型的多个特征抽象隐含层根据建立的所述非线性映射将输入的帧碎片重构为帧碎片块，并由所述视频帧重构模型的帧碎片块输出层输出重构的帧碎片块，基于重构的帧碎片块生成重构的视频。
所述视频帧重构模型的多个特征抽象隐含层根据建立的所述非线性映射即每一帧碎片经特征抽取后与最终重构的帧碎片块之间的映射关系，将输入的帧碎片重构为最终的帧碎片块，并经由所述视频帧重构模型的帧碎片块输出层输出重构的帧碎片块，基于重构的帧碎片块生成重构的视频，如对重构的帧碎片块进行拼接、组合等方式最终生成重构的视频，完成所述压缩视频帧的渲染重构。
本实施例通过预先确定的提取规则提取出待重构的压缩视频帧的帧碎片；由经预先训练的视频帧重构模型的多个特征抽象隐含层对该帧碎片进行特征抽取，建立帧碎片到帧碎片块之间的非线性映射，并根据所述非线性映射将输入的帧碎片重构为帧碎片块之后输出。由于是将待重构的压缩视频帧提取为帧碎片后，针对帧碎片来进行重构，而不是直接对较大的压缩视频帧进行处理，降低了计算复杂度，提高了视频帧重构的速度；而且，通过预先训练的视频帧重构模型的多个特征抽象隐含层对每一帧碎片进行特征抽取，并将帧碎片重构为帧碎片块进行输出，能有效地提取压缩视频帧的每一细节特征，提高了视频帧重构的质量。
如图5所示，本发明第二实施例提出一种视频压缩感知重构装置，在上述实施例的基础上，还包括：
创建模块04，用于创建并训练视频帧重构模型，所述视频帧重构模型包括至少一个帧碎片输入层、至少一个帧碎片块输出层和多个特征抽象隐含层。
本实施例中，在进行视频帧重构之前，还需创建并训练视频帧重构模型，所述视频帧重构模型包括至少一个帧碎片输入层、至少一个帧碎片块输出层和多个特征抽象隐含层。所述创建模块04还包括用于生成训练数据和测试数据的生成单元，所述生成单元用于：获取预设数量(例如，100个)的不同种类的自然场景下的视频，并将获取的各个视频转换到灰度颜色空间。其中，获取的所有视频的数据大小累计和需满足预设值(例如，10K)。
将转换后的各个视频通过预定义尺寸为wm×hm×dm(例如，wm＝8，hm＝8，dm＝16)的度量转换矩阵进行压缩。例如，wb为具有预设数量视频的视频块b的宽度，hb为视频块b的高度，db为视频块b的长度(即视频帧的数量)，每个视频块为xi∈wb×hb×db，i∈N，N为不小于1的正整数，压缩后的视频帧yi∈wb×hb，其中， 为度量转换矩阵。
将所有压缩后的视频按照预设比例如X∶Y(例如，7∶3)的比例分成第一数据集和第二数据集，其中，第一数据集中的视频数量大于第二数据集中的视频数量，将第一数据集作为训练集，第二数据集作为测试集，其中，X大于0，Y大于0。
在一种实施方式中，该视频帧重构模型的训练过程如下：
在训练该视频帧重构模型时，可以将输入的视频帧的batch size(批量尺寸)设置成200，总的训练次数可以设为10×106个迭代次数，输入的每张视频帧之间的大小差值被规约化到均值为0，标准差为1的范围。在训练的起始阶段，每一特征抽象隐含层的神经元权值被随机初始化，随机值来自一个范围为的均匀分布，变量s为先前特征抽象隐含层的神经元数目。
在训练过程中，采用随机梯度下降(SGD，Stochastic Gradient Descent)算法来对该视频帧重构模型中的各个参数进行优化。随机梯度下降算法适用于控制变量较多，受控系统比较复杂，无法建立准确数学模型的最优化控制过程。本实施例中，起始学习率可以设置为0.001，每隔3×106次迭代学习率会变为原来的十分之一。随机梯度下降算法的冲量项(Momentum)可以设置为0.9，在随机梯度下降的同时还可以对梯度进行裁剪，假设需要求解的目标函数为：E(x)＝f(x)+r(x)，其中f(x)为损失函数，用来评价模型训练损失，是任意的可微凸函数，r(x)为规范化约束因子，用来对模型进行限制，根据模型参数的概率分布不同，r(x)一般有L1范式约束(模型服从高斯分布)和L2范式约束(模型服从拉普拉斯分布)，通过使用L2范式对权值更新梯度进行裁剪以确保梯度始终处于一定范围之类，这样可以防止梯度爆炸现象影响模型的收敛，梯度裁剪的阈值可以被设定为10。
进一步地，在其他实施例中，该视频帧重构模型包括一个帧碎片输入层、一个帧碎片块输出层和k个特征抽象隐含层(k为大于1的自然数)，每一个特征抽象隐含层有如下公式：
hk(y)＝θ(bk|wky)，
其中，hk(y)为第k层特征抽象隐含层的激活值向量，Lk为第k层特征抽象隐含层的神经元数目，为第k层特征抽象隐含层的输入向量；θ(*)也即θ(bk+wky)为激活函数，其表达式为θ(x)＝max(x，0)，bk为第k层特征抽象隐含层的神经元偏置向量，wk为第k层的权值矩阵，为从第k-1层映射到第k层的权值矩阵， 为第k-1层特征抽象隐含层的输入向量。
基于所述特征抽象隐含层激活值向量、神经元数目、激活函数、神经元偏置向量与权值矩阵训练得到视频帧重构模型f(yi；ω)，其中，ω是所述特征抽象隐含层激活值向量、神经元数目、激活函数、神经元偏置向量与权值矩阵的参数集合，yi为经所述帧碎片输入层输入的帧碎片，f(yi；ω)为由多个特征抽象隐含层对经所述帧碎片输入层输入的帧碎片进行特征抽取，建立起来的帧碎片到帧碎片块之间的非线性映射。
参照图3，该帧碎片输入层接收帧碎片的输入，经过K层特征抽象隐含层的帧特征抽取，最后输入到该帧碎片块输出层，该帧碎片块输出层的维度与最终重构的视频块的总尺寸一致，均为wm×hm×dm。为了训练该视频帧重构模型，需要根据输入参数不断调整模型的权值和偏置项。假定把模型的所有参数构成的集合表示为L(ω)，使用误差反向传播(Error Back Propagation，BP)算法对参数进行更新，优化函数为MSE(Mean SquaredError，平均平方和错误)，则有：
在一个优选的实施方式中，该视频帧重构模型的帧碎片输入层维度可以设为8×8，该视频帧重构模型的帧碎片块输出层维度可以设为8×8×16，该视频帧重构模型的特征抽象隐含层可以设为7层，各个特征抽象隐含层维度可以分别设为128，256，384，512，512，4096，2048。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件来实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
以上参照附图说明了本发明的优选实施例，并非因此局限本发明的权利范围。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。另外，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
本领域技术人员不脱离本发明的范围和实质，可以有多种变型方案实现本发明，比如作为一个实施例的特征可用于另一实施例而得到又一实施例。凡在运用本发明的技术构思之内所作的任何修改、等同替换和改进，均应在本发明的权利范围之内。

Claims (10)

1.一种视频压缩感知重构方法，其特征在于，所述方法包括以下步骤：
B、在收到待重构的压缩视频帧后，根据预先确定的提取规则提取出所述压缩视频帧的帧碎片；
C、将提取的帧碎片输入经预先训练的视频帧重构模型的帧碎片输入层，由所述视频帧重构模型的多个特征抽象隐含层对输入的帧碎片进行特征提取，建立帧碎片到帧碎片块之间的非线性映射；
D、由所述视频帧重构模型的多个特征抽象隐含层根据建立的所述非线性映射将输入的帧碎片重构为帧碎片块，并由所述视频帧重构模型的帧碎片块输出层输出重构的帧碎片块，基于重构的帧碎片块生成重构的视频。
2.如权利要求1所述的视频压缩感知重构方法，其特征在于，所述步骤B之前还包括：
A、创建并训练视频帧重构模型，所述视频帧重构模型包括至少一个帧碎片输入层、至少一个帧碎片块输出层和多个特征抽象隐含层。
3.如权利要求1或2所述的视频压缩感知重构方法，其特征在于，所述视频帧重构模型包括一个帧碎片输入层、一个帧碎片块输出层和k个特征抽象隐含层，k为大于1的自然数，每一个特征抽象隐含层包含如下公式：
hk(y)＝θ*bk+wky)，
其中，hk(y)为第k层特征抽象隐含层的激活值向量，Lk为第k层特征抽象隐含层的神经元数目，为第k层特征抽象隐含层的输入向量；θ(bk+wky)为激活函数，bk为第k层特征抽象隐含层的神经元偏置向量，wk为第k层的权值矩阵，为从第k-1层映射到第k层的权值矩阵，为第k-1层特征抽象隐含层的输入向量；基于所述特征抽象隐含层激活值向量、神经元数目、激活函数、神经元偏置向量与权值矩阵训练得到视频帧重构模型f(yi；ω)，其中，ω是所述特征抽象隐含层激活值向量、神经元数目、激活函数、神经元偏置向量与权值矩阵的参数集合，yi为经所述帧碎片输入层输入的帧碎片，f(yi；ω)为由多个特征抽象隐含层对经所述帧碎片输入层输入的帧碎片进行特征提取，建立起来的帧碎片到帧碎片块之间的非线性映射。
4.如权利要求1或2所述的视频压缩感知重构方法，其特征在于，所述预先确定的提取规则为：
对待重构的压缩视频帧进行块分割，将所述待重构的压缩视频帧分成若干帧碎片。
5.如权利要求2所述的视频压缩感知重构方法，其特征在于，所述步骤A还包括训练数据和测试数据的生成步骤，该训练数据和测试数据的生成步骤包括：
获取预设数量的不同种类的自然场景下的视频，并将获取的各个视频转换到灰度颜色空间；
将转换后的各个视频通过预定义的度量转换矩阵进行压缩；
将所有压缩后的视频按照预设比例分成第一数据集和第二数据集，将第一数据集作为训练集，第二数据集作为测试集。
6.一种视频压缩感知重构装置，其特征在于，所述视频压缩感知重构装置包括：
提取模块，用于在收到待重构的压缩视频帧后，根据预先确定的提取规则提取出所述压缩视频帧的帧碎片；
特征抽象模块，用于将提取的帧碎片输入经预先训练的视频帧重构模型的帧碎片输入层，由所述视频帧重构模型的多个特征抽象隐含层对输入的帧碎片进行特征抽取，建立帧碎片到帧碎片块之间的非线性映射；
重构模块，用于由所述视频帧重构模型的多个特征抽象隐含层根据建立的所述非线性映射将输入的帧碎片重构为帧碎片块，并由所述视频帧重构模型的帧碎片块输出层输出重构的帧碎片块，基于重构的帧碎片块生成重构的视频。
7.如权利要求6所述的视频压缩感知重构装置，其特征在于，还包括：
创建模块，用于创建并训练视频帧重构模型，所述视频帧重构模型包括至少一个帧碎片输入层、至少一个帧碎片块输出层和多个特征抽象隐含层。
8.如权利要求6或7所述的视频压缩感知重构装置，其特征在于，所述视频帧重构模型包括一个帧碎片输入层、一个帧碎片块输出层和k个特征抽象隐含层，k为大于1的自然数，每一个特征抽象隐含层包含如下公式：
hk(y)＝θ(bk+wky)，
其中，hk(y)为第k层特征抽象隐含层的激活值向量，Lk为第k层特征抽象隐含层的神经元数目，为第k层特征抽象隐含层的输入向量；θ(bk+wky)为激活函数，bk为第k层特征抽象隐含层的神经元偏置向量，wk为第k层权值矩阵，为从第k-1层映射到第k层的权值矩阵，为第k-1层特征抽象隐含层的输入向量；基于所述特征抽象隐含层激活值向量、神经元数目、激活函数、神经元偏置向量与权值矩阵训练得到视频帧重构模型f(yi；ω)，其中，ω是所述特征抽象隐含层激活值向量、神经元数目、激活函数、神经元偏置向量与权值矩阵的参数集合，yi为经所述帧碎片输入层输入的帧碎片，f(yi；ω)为由多个特征抽象隐含层对经所述帧碎片输入层输入的帧碎片进行特征抽取，建立起来的帧碎片到帧碎片块之间的非线性映射。
9.如权利要求6或7所述的视频压缩感知重构装置，其特征在于，所述预先确定的提取规则为：
对待重构的压缩视频帧进行块分割，将所述待重构的压缩视频帧分成若干帧碎片。
10.如权利要求7所述的视频压缩感知重构装置，其特征在于，所述创建模块还包括用于生成训练数据和测试数据的生成单元，所述生成单元用于：
获取预设数量的不同种类的自然场景下的视频，并将获取的各个视频转换到灰度颜色空间；将转换后的各个视频通过预定义的度量转换矩阵进行压缩；将所有压缩后的视频按照预设比例分成第一数据集和第二数据集，将第一数据集作为训练集，第二数据集作为测试集。
CN201611260793.6A 2016-12-30 2016-12-30 视频压缩感知重构方法及装置 Active CN106686385B (zh)

Priority Applications (9)

Application Number Priority Date Filing Date Title
CN201611260793.6A CN106686385B (zh) 2016-12-30 2016-12-30 视频压缩感知重构方法及装置
KR1020187017256A KR102247907B1 (ko) 2016-12-30 2017-06-30 비디오　압축　감지　재구성　방법, 시스템, 전자장치 및 저장매체
SG11201808823PA SG11201808823PA (en) 2016-12-30 2017-06-30 Video compressed sensing reconstruction method, system, electronic device, and storage medium
EP17885721.5A EP3410714A4 (en) 2016-12-30 2017-06-30 METHOD AND SYSTEM FOR RECONSTRUCTING A VIDEO COMPRESSION SENSING AND ELECTRONIC DEVICE AND STORAGE MEDIUM
JP2018530728A JP6570155B2 (ja) 2016-12-30 2017-06-30 圧縮センシングによる映像再構成方法、システム、電子装置及び記憶媒体
US16/084,234 US10630995B2 (en) 2016-12-30 2017-06-30 Video compressed sensing reconstruction method, system, electronic device, and storage medium
PCT/CN2017/091311 WO2018120723A1 (zh) 2016-12-30 2017-06-30 视频压缩感知重构方法、系统、电子装置及存储介质
AU2017389534A AU2017389534A1 (en) 2016-12-30 2017-06-30 Video compressed sensing reconstruction method, system, electronic device, and storage medium
TW106135245A TWI664853B (zh) 2016-12-30 2017-10-13 視訊壓縮感測重建方法及裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611260793.6A CN106686385B (zh) 2016-12-30 2016-12-30 视频压缩感知重构方法及装置

Publications (2)

Publication Number Publication Date
CN106686385A CN106686385A (zh) 2017-05-17
CN106686385B true CN106686385B (zh) 2018-09-25

Family

ID=58848741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611260793.6A Active CN106686385B (zh) 2016-12-30 2016-12-30 视频压缩感知重构方法及装置

Country Status (9)

Country Link
US (1) US10630995B2 (zh)
EP (1) EP3410714A4 (zh)
JP (1) JP6570155B2 (zh)
KR (1) KR102247907B1 (zh)
CN (1) CN106686385B (zh)
AU (1) AU2017389534A1 (zh)
SG (1) SG11201808823PA (zh)
TW (1) TWI664853B (zh)
WO (1) WO2018120723A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106686385B (zh) * 2016-12-30 2018-09-25 平安科技（深圳）有限公司 视频压缩感知重构方法及装置
CN109451314B (zh) * 2018-04-23 2021-06-08 杭州电子科技大学 一种基于图模型的图像压缩感知方法
CN108986043B (zh) * 2018-06-26 2021-11-05 衡阳师范学院 一种基于自适应的块压缩感知图像重构方法
CN110704681B (zh) 2019-09-26 2023-03-24 三星电子（中国）研发中心 一种生成视频的方法及系统
CN113382247B (zh) * 2021-06-09 2022-10-18 西安电子科技大学 基于间隔观测的视频压缩感知系统及方法、设备及存储介质
CN113992920A (zh) * 2021-10-25 2022-01-28 北京大学深圳研究生院 一种基于深度展开网络的视频压缩感知重建方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105992009A (zh) * 2015-02-05 2016-10-05 袁琳琳 基于运动补偿和分块的视频压缩感知的处理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577700B1 (en) * 2001-06-22 2003-06-10 Liang-Shih Fan Neural network based multi-criteria optimization image reconstruction technique for imaging two- and three-phase flow systems using electrical capacitance tomography
CN1317673C (zh) 2004-03-18 2007-05-23 致伸科技股份有限公司 利用神经网络分辨影像中文字与图形的系统及其方法
TW201520905A (zh) 2013-11-28 2015-06-01 Nat Univ Chin Yi Technology 字元影像辨識方法與辨識裝置
US20160050440A1 (en) * 2014-08-15 2016-02-18 Ying Liu Low-complexity depth map encoder with quad-tree partitioned compressed sensing
CN105868769A (zh) 2015-01-23 2016-08-17 阿里巴巴集团控股有限公司 图像中的人脸关键点定位方法及装置
CN104978612A (zh) 2015-01-27 2015-10-14 厦门大学 基于ahp-rbf的分布式大数据系统风险预测方法
EP3259914A1 (en) 2015-02-19 2017-12-27 Magic Pony Technology Limited Interpolating visual data
CN105163121B (zh) 2015-08-24 2018-04-17 西安电子科技大学 基于深度自编码网络的大压缩比卫星遥感图像压缩方法
CN105405054A (zh) 2015-12-11 2016-03-16 平安科技（深圳）有限公司 基于理赔照片深度学习实现保险理赔反欺诈的方法及服务器
CN105740950B (zh) 2016-01-19 2019-03-29 南京邮电大学 基于滑齿法的神经网络的模板匹配方法
US10499056B2 (en) * 2016-03-09 2019-12-03 Sony Corporation System and method for video processing based on quantization parameter
CN106204447A (zh) * 2016-06-30 2016-12-07 北京大学 基于总变差分和卷积神经网络的超分辨率重建方法
CN106686385B (zh) 2016-12-30 2018-09-25 平安科技（深圳）有限公司 视频压缩感知重构方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105992009A (zh) * 2015-02-05 2016-10-05 袁琳琳 基于运动补偿和分块的视频压缩感知的处理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于压缩感知的多描述编码研究;王良君;《中国博士学位论文全文数据库 信息科技辑》;20131115;全文 *
基于多重假设的视频压缩感知分层重建;常侃等;《数据采集与处理》;20131130;第28卷(第6期);全文 *

Also Published As

Publication number Publication date
TWI664853B (zh) 2019-07-01
KR20190019894A (ko) 2019-02-27
EP3410714A1 (en) 2018-12-05
US10630995B2 (en) 2020-04-21
SG11201808823PA (en) 2018-11-29
US20190075309A1 (en) 2019-03-07
WO2018120723A1 (zh) 2018-07-05
CN106686385A (zh) 2017-05-17
EP3410714A4 (en) 2019-11-06
KR102247907B1 (ko) 2021-05-04
JP6570155B2 (ja) 2019-09-04
AU2017389534A1 (en) 2018-10-04
TW201841504A (zh) 2018-11-16
JP2019511850A (ja) 2019-04-25

Similar Documents

Publication Publication Date Title
CN106686385B (zh) 视频压缩感知重构方法及装置
CN109934761B (zh) 基于卷积神经网络的jpeg图像隐写分析方法
Oh et al. Blind deep S3D image quality evaluation via local to global feature aggregation
CN107944556A (zh) 基于块项张量分解的深度神经网络压缩方法
CN106462724A (zh) 基于规范化图像校验面部图像的方法和系统
CN110288697A (zh) 基于多尺度图卷积神经网络的3d人脸表示与重建方法
WO2021115356A1 (zh) 自适应窗宽窗位调节方法、装置、计算机系统及存储介质
CN110516716A (zh) 基于多分支相似度网络的无参考图像质量评价方法
CN106780645A (zh) 动态mri图像重建方法及装置
CN115409755B (zh) 贴图处理方法和装置、存储介质及电子设备
CN112184547B (zh) 红外图像的超分辨率方法及计算机可读存储介质
CN111047508A (zh) 图像处理方法、装置、计算机设备和存储介质
CN111915589A (zh) 基于空洞卷积的立体图像质量评价方法
Bourbia et al. A multi-task convolutional neural network for blind stereoscopic image quality assessment using naturalness analysis
CN106663186B (zh) 用于脸部识别的方法和系统
CN108470208A (zh) 一种基于原始生成对抗网络模型的分组卷积方法
CN113627404B (zh) 基于因果推断的高泛化人脸替换方法、装置和电子设备
CN112164056B (zh) 基于交互式卷积神经网络的无参考立体图像质量评价方法
CN114897884A (zh) 基于多尺度边缘特征融合的无参考屏幕内容图像质量评估方法
CN113744158A (zh) 图像生成方法、装置、电子设备和存储介质
CN112560326A (zh) 压力场的确定方法及装置
CN110111326B (zh) 基于ert系统的重建图像质量评价方法
CN110659561A (zh) 互联网暴恐视频识别模型的优化方法及装置
CN115994913A (zh) 神经网络的图像特征处理方法、装置、设备和介质
Zhuo et al. User-assisted inverse procedural facade modeling and compressed image rendering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant