CN116934879A - 模型训练方法、装置、电子设备及计算机可读存储介质 - Google Patents

模型训练方法、装置、电子设备及计算机可读存储介质 Download PDF

Info

Publication number
CN116934879A
CN116934879A CN202210369933.2A CN202210369933A CN116934879A CN 116934879 A CN116934879 A CN 116934879A CN 202210369933 A CN202210369933 A CN 202210369933A CN 116934879 A CN116934879 A CN 116934879A
Authority
CN
China
Prior art keywords
image
video
training
model
loss value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210369933.2A
Other languages
English (en)
Inventor
胡坤磊
刘杰
卢军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL Technology Group Co Ltd
Original Assignee
TCL Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TCL Technology Group Co Ltd filed Critical TCL Technology Group Co Ltd
Priority to CN202210369933.2A priority Critical patent/CN116934879A/zh
Publication of CN116934879A publication Critical patent/CN116934879A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/002Image coding using neural networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例提供了一种模型训练方法、装置、电子设备及计算机可读存储介质。方法包括:获取多帧第一图像以及多帧第二图像;其中,每一帧第一图像均有一对应的第二图像;将每一帧第一图像以及对应的一帧第二图像作为一个训练样本,得到由多个训练样本构成的训练集;建立视频压缩复原模型;利用训练集对视频压缩复原模型进行训练,得到训练好的视频压缩复原模型。本申请实施例训练出的视频压缩复原模型可以在传输视频前对视频进行压缩,传输完成后对视频进行复原,实现视频的高速传输。

Description

模型训练方法、装置、电子设备及计算机可读存储介质
技术领域
本申请涉及图像处理技术领域,尤其涉及一种模型训练方法、装置、电子设备及计算机可读存储介质。
背景技术
随着互联网技术及电子设备技术的发展,越来越多的电子设备配备有像素更高的摄像头,且电子设备的摄像头像素越来越高,录制出来视频的清晰度也越来越高。视频已逐渐发展成为人们工作学习、娱乐生活中非常重要的一部分。
然而,清晰的视频数据量十分庞大,传输速率慢。
发明内容
根据本申请的实施例提供一种模型训练方法、装置、电子设备及计算机可读存储介质。
本申请实施例提供一种模型训练方法,包括:
获取多帧第一图像以及多帧第二图像;其中,每一帧第一图像均有一对应的第二图像;
将每一帧第一图像以及对应的一帧第二图像作为一个训练样本,得到由多个训练样本构成的训练集;
建立视频压缩复原模型;
利用训练集对视频压缩复原模型进行训练,得到训练好的视频压缩复原模型。
本申请实施例还提供了一种模型训练装置,包括:
第一获取模块,用于获取多帧第一图像以及多帧第二图像;其中,每一帧第一图像均有一对应的第二图像;
第二获取模块,用于将每一帧第一图像以及对应的一帧第二图像作为一个训练样本,得到由多个训练样本构成的训练集;
模型建立模块,用于建立视频压缩复原模型;
模型训练模块,用于利用训练集对视频压缩复原模型进行训练,得到训练好的视频压缩复原模型。
本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行以实现上述的模型训练方法中的步骤。
本申请实施例还提供一种电子设备,电子设备包括处理器、存储器以及存储于存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序以实现本申请实施例提供的任一种模型训练方法中的步骤。
本申请实施例建立了一种视频压缩复原模型,基于多帧清晰图像和对应的多帧模糊图像训练该视频压缩复原模型,训练好的模型既可以实现视频的压缩,又能够实现视频的复原。使用该模型可以在传输视频前对视频进行压缩,传输完成后对视频进行复原,实现视频的高速传输。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的模型训练方法的第一种流程示意图。
图2为本申请实施例提供的Unet网络结构的结构示意图。
图3为本申请实施例提供的视频压缩与编码示意图。
图4为本申请实施例提供的视频复原与解码示意图。
图5为本申请实施例提供的网络流程图。
图6为本申请实施例提供的模型训练方法的第二种流程示意图。
图7为本申请实施例提供的模型训练装置的第一种结构示意图。
图8为本申请实施例提供的模型训练装置的第二种结构示意图。
图9为本申请实施例提供的电子设备的第一种结构示意图。
图10为本申请实施例提供的电子设备的第二种结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有付出创造性劳动前提下所获得的的所有实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书以及上述附图中的术语“第一”、“第二”、“第三”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应当理解,这样描述的对象在适当情况下可以互换。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含。例如,包含了一系列步骤的过程、方法或包含了一系列模块或单元的装置、终端、系统不必限于清楚地列出的那些步骤或模块和单元,还可以包括没有清楚地列出的步骤或模块或单元,也可以包括对于这些过程、方法、装置、终端或系统固有的其它步骤或模块或单元。
本申请实施例提供一种模型训练方法,该模型训练方法的执行主体可以是电子设备。其中,电子设备可以是计算机设备,该计算机设备可以是诸如智能手机、平板电脑、个人计算机之类的终端设备,也可以是服务器。以下进行具体分析说明。
请参阅图1,图1为本申请实施例提供的模型训练方法的第一种流程示意图。该模型训练方法可以包括:
110、获取多帧第一图像以及多帧第二图像;其中,每一帧第一图像均有一对应的第二图像。
在一实施例中,首先获取多帧第一图像以及多帧第二图像。其中,第一图像与第二图像一一对应,第一图像及其对于的第二图像的画面的内容和尺寸均相同。其中,第一图像的分辨率大于其对应的第二图像的分辨率,或者第一图像是通过对对应的第二图像进行上采样处理得到的,或者对应的第二图像是通过对第一图像进行下采样处理得到的。
在一实施例中,多帧第一图像以及对应的多帧第二图像可以取自相应的视频。即,获取多帧第一图像以及对应的多帧第二图像的步骤可以包括:获取第一视频以及对应的第二视频,根据第一视频获取多帧第一图像,根据对应的第二视频获取对应的多帧第二图像。
在一实施例中,可以获取第一类视频数据集,第一类视频数据集中包含多个第一视频和多个第二视频,其中,每一个第一视频均有一对应的第二视频。对于第一类视频数据集中的每一个第一视频及其对应的第二视频,可以根据第一视频确定多帧第一图像,根据第一视频对应的第二视频确定多帧第二图像。
第一类视频数据集为包含成对的第一视频与第二视频的数据集,包括网络上公开的一些视频超分数据集,例如REDS数据集、Vimeo90k数据集等。其中,REDS数据集场景基本都是户外,在制作过程中包含有一些刻意的晃动镜头,可以提高视频压缩复原网络的鲁棒性。
第一类视频数据集中,第一视频及其对应的第二视频包含相同的视频内容;其中,第一视频的分辨率大于其对应的第二视频的分辨率,或者第一视频是通过对对应的第二视频进行上采样处理得到的,或者对应的第二视频是通过对第一视频进行下采样处理得到的。
在一实施例中,可以获取第二类视频数据集,第二类视频数据集中包含多个第一视频。对第二类视频数据集中的第一视频进行下采样处理,得到各第一视频对应的第二视频,第一视频及其对应的第二视频包含相同的视频内容。对于第二类视频数据集中的每一个第一视频,根据第一视频确定多帧第一图像,根据第一视频对应的第二视频确定多帧第二图像。
第二类视频数据集为仅包含第一视频的数据集,包括网络中一些开源的第一视频资料,例如Youtube、Youku、Iqiyi等公开网站。对于第二类视频数据集,由于下载的数据集中一般都只有第一视频,因而需要对第一视频进行处理得到相对应的第二视频。
在一实施例中,可以使用降质算法对各第一视频进行处理,得到各第一视频对应的第二视频,例如BD算法、BI算法等。其中,BI降质算法也称Bicubic下采样方法。
在一实施例中,第一图像可理解为清晰图像,上述第二图像可理解为模糊图像,上述第一视频可理解为清晰视频,上述第二视频可理解为模糊视频。需要说明的是,本申请实施例所指的“清晰”和“模糊”,是两个相对的概念,并不规定分辨率达到多少为“清晰”,分辨率达到多少为“模糊”,清晰和模糊是相对而言的。
清晰图像和模糊图像之前可以通过上采样处理或下采样处理进行转换,例如,通过对清晰图像进行下采样处理,可以得到模糊图像,通过对模糊图像进行上采样处理,可以得到清晰图像。
同样的,清晰视频和模糊视频之前也可以通过上采样处理或下采样处理进行转换,例如,通过对清晰视频进行下采样处理,可以得到模糊视频,通过对模糊视频进行上采样处理,可以得到清晰视频。
120、将每一帧第一图像以及对应的一帧第二图像作为一个训练样本,得到由多个训练样本构成的训练集。
本申请实施例中,获取多帧第一图像和对应的多帧图像后,将每一帧第一图像以及对应的一帧第二图像构成的{第一图像,第二图像}对作为一个训练样本,得到多个训练样本构成的训练集。
130、建立视频压缩复原模型。
在一实施例中,本申请实施例建立的视频压缩复原模型包括视频压缩网络和视频复原网络,其中,视频压缩网络可以用于对第一图像进行压缩,视频复原网络可以用于对第二图像进行复原。
在一实施例中,本申请提供的视频压缩复原模型的视频压缩网络和视频复原网络中包含对称的Unet网络结构。
请参阅图2,图2为本申请实施例提供的Unet网络结构的结构示意图。在本申请中,将Unet网络结构从中间分割为对称的第一Unet网络结构和第二Unet网络结构,在视频压缩网络中使用第一Unet网络结构,在视频复原网络中使用第二Unet网络结构,第一Unet网络结构与第二Unet网络结构相互对称。
或者,视频压缩网络和视频复原网络中也可以使用非对称网络,例如FRVSR网络。当在视频压缩网络和/或视频复原网络中使用非对称网络时,可以在视频压缩网络和视频复原网络中搭建出对称的网络。
在一实施例中,视频压缩复原模型中还包括编码模块和解码模块。
目前常见的视频压缩复原技术多是基于传统的编解码技术,运营商将高清的视频数据通过编码技术压缩之后经网络下发到本地设备,消费者在本地设备上接收到编码后通过解码技术将其复原为原始或者较低分辨率视频观看。在这种模式下,运营商对于视频压缩比率的需求与消费者对于高清视频的需求天然相悖,需要在两者之间达到平衡的状态。
当前深度学习技术日趋成熟,通过视频压缩网络可以对视频进行额外的压缩,假设压缩网络对每一帧图片做四倍下采样,则图片的长和宽均缩小为初始图片的四分之一,整张图片的占用体积减少到原始图片的十六分之一;另一方面传统的编解码技术也可以对视频进行较大比例的压缩,例如H.264,HEVC编解码标准也可以对视频做到最高近百倍的压缩比,因此将深度学习网络与传统编解码技术相结合,就可以到达更高压缩比例的视频编解码。
本文提出在视频压缩复原模型中加入编码模块和解码模块,将压缩复原网络和传统编解码相结合,提出基于深度学习网络与传统编解码技术结合的视频压缩复原方法,能够在不降低甚至提高视频分辨率的前提下,减少视频的传输带宽,为运营商减少维护成本同时提升消费者的视频观看体验。
140、利用训练集对视频压缩复原模型进行训练,得到训练好的视频压缩复原模型。
本申请的编码模块和解码模块与视频压缩网络、视频复原网络一起构成视频压缩复原模型整体,其中,编码模块和解码模块首先参与训练该视频压缩复原模型。
在一实施例中,利用训练集对视频压缩复原模型进行训练包括对视频压缩网络进行训练以及对视频复原网络进行训练。其中,编码模块参与对视频压缩网络的训练,解码模块参与对视频复原网络的训练,将成熟的编解码技术结合到深度学习中,在图像压缩、复原的过程中保证图像质量。
请参阅图3,图3为本申请实施例提供的视频压缩与编码示意图,其中示出了本申请的视频压缩复原模型的视频压缩与编码部分的训练流程。
如图3所示,本申请将第一视频(清晰视频)输入视频压缩网络,对第一视频进行四倍下采样处理,得到原第一视频十六分之一大小的压缩视频。然后,将压缩视频以及第一视频对应的第二视频(模糊视频)输入编码模块进行H.264编码,得到两个进一步压缩的视频,分别为压缩视频的编码视频以及第二视频的编码视频。
由于视频由多帧连续的图像构成,因而上述步骤也可描述为:将第一图像(清晰图像)输入视频压缩网络进行处理,输出第一图像的压缩图像,将第一图像的压缩图像输入编码模块进行处理,输出压缩图像的编码图像,将第一图像对应的第二图像(模糊图像)输入编码模块进行处理,输出第二图像的编码图像。
然后,可以通过比较这两种编码视频的编码图像之间的差异,确定模型的训练进程。具体的,比较这两种编码视频之间的差异的过程,即根据这两种编码视频计算损失函数的损失值的过程。
在一实施例中,本申请的视频压缩复原模型使用两种损失函数,包括L1损失函数和SSIM损失函数。
LI损失函数为:
在本申请实施例中,X为压缩图像的编码图像,作为比较标准。为视频压缩网络输出的第一图像的编码图像。
SSIM的全称为structural similarity index,即为结构相似性,是一种衡量两张图像相似度的指标。
SSIM损失函数为:
其中,X和为输入的两帧图像,例如X为压缩图像的编码图像,/>为视频压缩网络输出的第一图像的编码图像,则其中μX是X的平均值,/>是/>的平均值,σX是X的方差,/>的方差,/>是X和/>的协方差,c1=(k1L)2,c2=(k2L)2,c1和c2是用来维持稳定的常数,L是像素值的动态范围,k1=0.01,k2=0.03,k1和k2为默认值。
在一实施例中,根据压缩图像的编码图像和第二图像的编码图像确定第一损失值和第二损失值,具体的,将压缩图像的编码图像和第二图像的编码图像输入LI损失函数进行计算,得到第一损失值,将压缩图像的编码图像和第二图像的编码图像输入SSIM损失函数进行计算,得到第二损失值。请参阅图4,图4为本申请实施例提供的视频复原与解码示意图,其中示出了本申请的视频压缩复原模型的视频复原与解码部分的训练流程。
如图4所示,本申请将之前得到的压缩视频的编码视频输入解码模块进行H.264解码,得到解码视频。随后将解码视频输入视频复原网络做四倍上采样处理,得到复原视频。
由于视频由多帧连续的图像构成,因而上述步骤也可描述为:将压缩图像的编码图像输入解码模块进行处理,输出解码图像;将解码图像输入视频复原网络进行处理,输出复原图像。
然后,可以通过比较复原视频的复原图像(模糊图像的复原图像)以及原第一视频(清晰视频)中的第一图像(第二图像对应的第一图像,也即模糊图像对应的清晰图像),确定模型的训练进程。具体的,比较复原视频与第一视频之间的差异的过程,即根据复原视频与第一视频计算损失函数的损失值的过程。
在一实施例中,根据第一图像和复原图像得到第三损失值和第四损失值,具体的,将第一图像和复原图像输入LI损失函数进行计算,得到第三损失值;将第一图像和复原图像输入SSIM损失函数进行计算,得到第四损失值。
需要说明的是,本申请中,视频压缩与编码部分的网络结构以及视频复原与解码部分的网络结构的训练不是独立进行的,而是作为一个整体进行的,即,本申请在获取到第一损失值和第二损失值后,或者获取到第三损失值和第四损失值后,并不根据已获取的损失值反馈至对应的网络结构,调整对应的网络结构的参数,而是根据第一损失值、第二损失值、第三损失值和第四损失值这四种损失值一起反馈至整个模型,调整模型的参数。这样做的目的是使网络学习得更加充分,更契合视频压缩复原任务的连贯不分割特性。
在一实施例中,当第一损失值、第二损失值、第三损失值和第四损失值满足预设条件时,结束训练,得到训练好的视频压缩复原模型。其中,第一损失值、第二损失值、第三损失值和第四损失值满足预设条件包括第一损失值、第二损失值、第三损失值和第四损失值均停止下降,或者第一损失值、第二损失值、第三损失值和第四损失值的统计次数均已达到预设次数(即模型已经训练了预设次数)。当各损失值停止下降或者达到预设次数时,结束训练,得到训练好的视频压缩复原模型。
本申请实施例中,训练好的视频压缩复原模型可用于对视频进行压缩和复原。
请参阅图5,图5为本申请实施例提供的网络流程图。
在一实施例中,利用训练集对视频压缩复原模型进行训练,得到训练好的视频压缩复原模型之后,可以将待处理视频输入训练好的视频压缩复原模型,得到待处理视频的压缩视频,经视频压缩复原模型压缩后得到的压缩视频相比原待处理视频体积更小,能够快速传输。其中,传输方式可以包括不同电子设备之间进行视频传输的传输方式,或者从网络端下载视频的传输方式,等等,此处不做限制。
另一方面,电子设备也可以获取经过压缩的压缩视频,该压缩视频可以是通过上述训练好的视频压缩复原模型压缩得到的。当电子设备接收到该压缩视频时,可以将该压缩视频输入训练好的视频压缩复原模型,通过视频压缩复原模型对该压缩视频进行复原,得到该压缩视频的复原模型。若该压缩视频是通过将待处理视频输入到训练好的视频压缩复原模型中得到的,则该压缩视频的复原模型也即该待处理视频的复原视频。
例如,待处理视频中可以包括多个第一图像,将第一图像输入训练好的视频压缩复原模型,利用该训练好的视频压缩复原模型种的视频压缩网络对第一图像进行压缩,输出第一图像的压缩图像。然后,将第一图像的压缩图像输入编码模块进行处理,输出压缩图像的编码图像。该编码图像相对原第一图像清晰度有所下降,但数据量也显著减少。该压缩图像的编码图像可以用于进行数据传输,能够显著提高运输速度。
其中,清晰度的上升,可以指图像或视频的分辨率提高,或者图像或视频经过了上采样处理。清晰度的下降,可以指图像或视频的分辨率降低,或者图像或视频经过了下采样处理。
当数据运输完成后,可以根据该压缩图像的编码图像,复原出第一的图像。具体的,将该压缩图像的编码图像输入解码模块进行处理,输出解码图像,然后,将解码图像输入视频复原网络进行处理,输出复原图像。该复原图像保留了原第一图像的清晰度。
本申请实施例还提供一种模型训练方法。请参阅图6,图6为本申请实施例提供的模型训练方法的第二种流程示意图。该模型训练方法可以包括:
201、获取多帧第一图像以及多帧第二图像;其中,每一帧第一图像均有一对应的第二图像。
在一实施例中,首先获取多帧第一图像以及多帧第二图像。其中,第一图像与第二图像一一对应,第一图像及其对于的第二图像的画面的内容和尺寸均相同。其中,第一图像的分辨率大于其对应的第二图像的分辨率,或者第一图像是通过对对应的第二图像进行上采样处理得到的,或者对应的第二图像是通过对第一图像进行下采样处理得到的。
在一实施例中,多帧第一图像以及对应的多帧第二图像可以取自相应的视频。即,获取多帧第一图像以及对应的多帧第二图像的步骤可以包括:获取第一视频以及对应的第二视频,根据第一视频获取多帧第一图像,根据对应的第二视频获取对应的多帧第二图像。
需要说明的是,本申请实施例所指的“第一”和“第二”,只是为了区分不同的图像(或不同的视频),并不规定分辨率达到多少为“第一”,分辨率达到多少为“第二”。
202、将每一帧第一图像以及对应的一帧第二图像作为一个训练样本,得到由多个训练样本构成的训练集。
本申请实施例中,获取多帧第一图像和对应的多帧图像后,将每一帧第一图像以及对应的一帧第二图像构成的{第一图像,第二图像}对作为一个训练样本,得到多个训练样本构成的训练集。
203、建立视频压缩复原模型。
本申请实施例建立的视频压缩复原模型中可以包括视频压缩网络和视频复原网络,其中视频压缩网络可以用于对第一图像进行压缩,视频复原网络可以用于对第二图像进行复原。
在一实施例中,本申请提供的视频压缩复原模型的视频压缩网络和视频复原网络中包含对称的Unet网络结构。
请参阅图2,图2为Unet网络结构的结构示意图。在本申请中,将Unet网络结构从中间分割为对称的第一Unet网络结构和第二Unet网络结构,在视频压缩网络中使用第一Unet网络结构,在视频复原网络中使用第二Unet网络结构,第一Unet网络结构与第二Unet网络结构相互对称。
本申请实施例中,视频压缩复原模型中还包括编码模块和解码模块。本文提出在视频压缩复原模型中加入编码模块和解码模块,将压缩复原网络和传统编解码相结合,提出基于深度学习网络与传统编解码技术结合的视频压缩复原方法,能够在不降低甚至提高视频分辨率的前提下,减少视频的传输带宽,为运营商减少维护成本同时提升消费者的视频观看体验。
本申请的编码模块和解码模块与视频压缩网络、视频复原网络一起构成视频压缩复原模型整体,其中,编码模块和解码模块首先参与训练该视频压缩复原模型。
204、将第一图像输入视频压缩网络进行处理,输出第一图像的压缩图像。
其中,在视频压缩网络中对第一图像进行四倍下采样处理,得到原第一图像十六分之一大小的压缩图像。
205、将第一图像的压缩图像输入编码模块进行处理,输出压缩图像的编码图像。
其中,将第一图像的压缩图像输入编码模块进行H.264编码,从而对图像进一步压缩,得到压缩图像的编码图像。
206、将与第一图像对应的第二图像输入编码模块进行处理,输出第二图像的编码图像。
其中,将第一图像对应的第二图像输入编码模块进行H.264编码,对该第二图像进行压缩,得到第二图像的编码图像。
207、将压缩图像的编码图像和第二图像的编码图像代入LI损失函数进行计算,得到第一损失值。
本申请中,得到压缩图像的编码图像和第二图像的编码图像后,将压缩图像的编码图像和第二图像的编码图像代入LI损失函数进行计算,得到第一损失值。
其中,L1损失函数的相关描述请参见上个实施例的描述,在此不再赘述。
208、将压缩图像的编码图像和第二图像的编码图像代入SSIM损失函数进行计算,得到第二损失值。
本申请中,得到压缩图像的编码图像和第二图像的编码图像后,将将压缩图像的编码图像和第二图像的编码图像代入SSIM损失函数进行计算,得到第二损失值。
其中,SSIM损失函数的相关描述请参见上个实施例的描述,在此不再赘述。
需要说明的是,本申请在获取到第一损失值和第二损失值后,并不直接根据已获取的损失值反馈至视频压缩网络,调整视频压缩网络的参数。
209、将压缩图像的编码图像输入解码模块进行处理,输出解码图像。
步骤205中得到的压缩图像的编码图像经历了视频压缩网络和编码模块的双重压缩,从步骤209开始,根据该压缩图像的编码图像可以复原出清晰的图像。
其中,在步骤209中,将压缩图像的编码图像输入解码模块进行H.264解码,得到解码图像。
210、将解码图像输入视频复原网络进行处理,输出复原图像。
其中,将解码图像输入视频复原网络进行四倍上采样处理,得到复原图像。
211、将第一图像和复原图像代入LI损失函数进行计算,得到第三损失值。
获取到复原图像后,将第一图像和复原图像代入LI损失函数进行计算,得到第三损失值。
212、将第一图像和复原图像代入SSIM损失函数进行计算,得到第四损失值。
获取到复原图像后,将第一图像和复原图像代入SSIM损失函数进行计算,得到第四损失值。
第三损失值和第四损失值反映了第一图像经该视频压缩复原模型处理后得到的复原图像与原复原图像的差异。
213、当第一损失值、第二损失值、第三损失值和第四损失值满足预设条件时,结束训练,得到训练好的视频压缩复原模型。
本申请中,视频压缩与编码部分的网络结构以及视频复原与解码部分的网络结构的训练不是独立进行的,而是作为一个整体进行的,根据第一损失值、第二损失值、第三损失值和第四损失值这四种损失值一起反馈至整个模型,调整模型的参数。这样做的目的是使网络学习得更加充分,更契合视频压缩复原任务的连贯不分割特性。
在一实施例中,当第一损失值、第二损失值、第三损失值和第四损失值满足预设条件时,结束训练,得到训练好的视频压缩复原模型。其中,第一损失值、第二损失值、第三损失值和第四损失值满足预设条件包括第一损失值、第二损失值、第三损失值和第四损失值均停止下降,或者第一损失值、第二损失值、第三损失值和第四损失值的统计次数均已达到预设次数(即模型已经训练了预设次数)。当各损失值停止下降或者达到预设次数时,结束训练,得到训练好的视频压缩复原模型。
由上述可知,本申请实施例所提供的模型训练方法首先获取多帧第一图像以及多帧第二图像;其中,每一帧第一图像均有一对应的第二图像;然后将每一帧第一图像以及对应的一帧第二图像作为一个训练样本,得到由多个训练样本构成的训练集;建立视频压缩复原模型;进而利用训练集对视频压缩复原模型进行训练,得到训练好的视频压缩复原模型。本申请实施例建立了一种视频压缩复原模型,基于多帧清晰图像和对应的多帧模糊图像训练该视频压缩复原模型,训练好的模型既可以实现视频的压缩,又能够实现视频的复原。使用该模型可以在传输视频前对视频进行压缩,实现视频的高速传输,传输完成后对视频进行复原,保证视频的清晰度。
为便于更好的实施本申请实施例提供的模型训练方法,本申请实施例还提供一种基于上述模型训练方法的装置。其中名词的含义与上述模型训练方法中相同,具体实现细节可以参考方法实施例中的说明。
请参阅图7,图7为本申请实施例提供的模型训练装置300的第一种结构示意图。该模型训练装置300包括:
第一获取模块301,用于获取多帧第一图像以及多帧第二图像;其中,每一帧第一图像均有一对应的第二图像;
第二获取模块302,用于将每一帧第一图像以及对应的一帧第二图像作为一个训练样本,得到由多个训练样本构成的训练集;
模型建立模块303,用于建立视频压缩复原模型;
模型训练模块304,用于利用训练集对视频压缩复原模型进行训练,得到训练好的视频压缩复原模型。
在一实施例中,第一图像及其对应的第二图像的画面的内容和尺寸均相同;其中,第一图像的分辨率大于其对应的第二图像的分辨率,或者第一图像是通过对对应的第二图像进行上采样处理得到的,或者对应的第二图像是通过对第一图像进行下采样处理得到的。
在一实施例中,在获取多帧第一图像以及多帧第二图像时,第一获取模块301具体用于:
获取第一类视频数据集,第一类视频数据集包含多个第一视频和多个第二视频;其中,每一个第一视频均有一对应的第二视频;
对于第一类视频数据集中的每一个第一视频及其对应的第二视频,根据第一视频确定多帧第一图像,根据第一视频对应的第二视频确定多帧第二图像。
在一实施例中,第一视频及其对应的第二视频包含相同的视频内容;其中,第一视频的分辨率大于其对应的第二视频的分辨率,或者第一视频是通过对对应的第二视频进行上采样处理得到的,或者对应的第二视频是通过对第一视频进行下采样处理得到的。
在一实施例中,在获取多帧第一图像以及多帧第二图像时,第一获取模块301具体用于:
获取第二类视频数据集,第二类视频数据集中包含多个第一视频;
对第二类视频数据集中的第一视频进行下采样处理,得到各第一视频对应的第二视频,第一视频及其对应的第二视频包含相同的视频内容;
对于第二类视频数据集中的每一个第一视频,根据第一视频确定多帧第一图像,根据第一视频对应的第二视频确定多帧第二图像。
在一实施例中,视频压缩复原模型包括视频压缩网络、视频复原网络、编码模块和解码模块,在利用训练集对视频压缩复原模型进行训练,得到训练好的视频压缩复原模型时,模型训练模块304具体用于:
利用训练集对视频压缩网络和编码模块进行训练,得到第一损失值和第二损失值;
利用训练集对视频复原网络和解码模块进行训练,得到第三损失值和第四损失值;
当第一损失值、第二损失值、第三损失值和第四损失值满足预设条件时,结束训练,得到训练好的视频压缩复原模型。
在一实施例中,在利用训练集对视频压缩网络和编码模块进行训练,得到第一损失值和第二损失值时,模型训练模块304具体用于:
将第一图像输入视频压缩网络进行处理,输出第一图像的压缩图像;
将第一图像的压缩图像输入编码模块进行处理,输出压缩图像的编码图像;
将与第一图像对应的第二图像输入编码模块进行处理,输出第二图像的编码图像;
根据压缩图像的编码图像和第二图像的编码图像确定第一损失值和第二损失值。
在一实施例中,视频压缩复原模型的损失函数包括L1损失函数和SSIM损失函数,在根据压缩图像的编码图像和第二图像的编码图像确定第一损失值和第二损失值时,模型训练模块304具体用于:
将压缩图像的编码图像和第二图像的编码图像代入LI损失函数进行计算,得到第一损失值;
将压缩图像的编码图像和第二图像的编码图像代入SSIM损失函数进行计算,得到第二损失值。
在一实施例中,在利用训练集对视频复原网络和解码模块进行训练,得到第三损失值和第四损失值时,模型训练模块304具体用于:
将压缩图像的编码图像输入解码模块进行处理,输出解码图像;
将解码图像输入视频复原网络进行处理,输出复原图像;
根据第一图像和复原图像确定第三损失值和第四损失值。
在一实施例中,视频压缩复原模型的损失函数包括L1损失函数和SSIM损失函数,在根据第一图像和复原图像确定第三损失值和第四损失值时,模型训练模块304具体用于:
将第一图像和复原图像代入LI损失函数进行计算,得到第三损失值;
将第一图像和复原图像代入SSIM损失函数进行计算,得到第四损失值。
在一实施例中,视频压缩网络包含第一Unet网络结构,视频复原网络包含第二Unet网络结构,第一Unet网络结构与第二Unet网络结构相互对称。
请参阅图8,图8为本实施例提供的模型训练装置的第二种结构示意图。在一实施例中,在利用训练集对视频压缩复原模型进行训练,得到训练好的视频压缩复原模型之后,模型训练装置300还包括视频压缩模块305和视频复原模块306:
视频压缩模块305,用于将待处理视频输入训练好的视频压缩复原模型进行处理,输出待处理视频对应的压缩视频;
视频复原模块306,用于将压缩视频输入训练好的视频压缩复原模型进行处理,输出待处理视频的复原视频。
由上述可知,本申请实施例提供了一种模型训练装置300,其中第一获取模块301首先获取多帧第一图像以及多帧第二图像;其中,每一帧第一图像均有一对应的第二图像;然后第二获取模块302将每一帧第一图像以及对应的一帧第二图像作为一个训练样本,得到由多个训练样本构成的训练集;模型建立模块303建立视频压缩复原模型;进而模型训练模块304利用训练集对视频压缩复原模型进行训练,得到训练好的视频压缩复原模型。本申请实施例建立了一种视频压缩复原模型,基于多帧清晰图像和对应的多帧模糊图像训练该视频压缩复原模型,训练好的模型既可以实现视频的压缩,又能够实现视频的复原。使用该模型可以在传输视频前对视频进行压缩,实现视频的高速传输,传输完成后对视频进行复原,保证视频的清晰度。
本申请实施例还提供一种电子设备400。请参阅图9,图9为本申请实施例提供的电子设备的第一种结构示意图。电子设备400包括处理器401以及存储器402。其中,处理器401与存储器402电性连接。
该处理器401是电子设备400的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器402内的计算机程序,以及通过存储在存储器402内的数据,执行电子设备400的各种功能并处理数据,从而对电子设备400进行整体监控。
该存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的计算机程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。
在本申请实施例中,电子设备400中的处理器401会按照如下的步骤,将可在处理器401上执行的计算机程序存储在存储器402中,并由处理器401执行存储在存储器402中的计算机程序,从而实现各种功能,如下:
获取多帧第一图像以及多帧第二图像;其中,每一帧第一图像均有一对应的第二图像;
将每一帧第一图像以及对应的一帧第二图像作为一个训练样本,得到由多个训练样本构成的训练集;
建立视频压缩复原模型;
利用训练集对视频压缩复原模型进行训练,得到训练好的视频压缩复原模型。
请一并参阅图10,图10为本申请实施例提供的电子设备的第二种结构示意图。在某些实施方式中,电子设备400还可以包括:显示屏403、射频电路404、音频电路405以及电源406。其中,其中,显示屏403、射频电路404、音频电路405以及电源406分别与处理器401电性连接。
该显示屏403可以用于显示由用户输入的信息或提供给用户的信息以及各种图形用户接口,这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示屏403可以包括显示面板,在某些实施方式中,可以采用液晶显示屏(Liquid CrystalDisplay,LCD)、或者有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板。
该射频电路404可以用于收发射频信号,以通过无线通信与网络设备或其他电子设备建立无线通讯,与网络设备或其他电子设备之间收发信号。
该音频电路405可以用于通过扬声器、传声器提供用户与电子设备之间的音频接口。
该电源406可以用于给电子设备400的各个部件供电。在一些实施例中,电源406可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管图9和图10中未示出,电子设备400还可以包括摄像头、蓝牙模块等,在此不再赘述。
本申请实施例还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行以实现上述的模型训练方法中的步骤,比如:获取多帧第一图像以及多帧第二图像;其中,每一帧第一图像均有一对应的第二图像;将每一帧第一图像以及对应的一帧第二图像作为一个训练样本,得到由多个训练样本构成的训练集;建立视频压缩复原模型;利用训练集对视频压缩复原模型进行训练,得到训练好的视频压缩复原模型。
在本申请实施例中,存储介质可以是磁碟、光盘、只读存储器(Read Only Memory,ROM)、或者随机存取记忆体(Random Access Memory,RAM)等。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
需要说明的是,对本申请实施例的模型训练方法而言,本领域普通测试人员可以理解实现本申请实施例的模型训练方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,该计算机程序可存储于一计算机可读的存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个处理器执行,在执行过程中可包括如模型训练方法的实施例的流程。其中,该计算机可读的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的模型训练装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。该集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读的存储介质中,该计算机可读的存储介质譬如为只读存储器,磁盘或光盘等。
本文所使用的术语「模块」可看做为在该运算系统上执行的软件对象。本文该的不同组件、模块、引擎及服务可看做为在该运算系统上的实施对象。而本文该的装置及方法优选的以软件的方式进行实施,当然也可在硬件上进行实施,均在本申请保护范围之内。
以上对本申请实施例所提供的一种模型训练方法、装置、电子设备及计算机可读存储介质进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上,本说明书内容不应理解为对本申请的限制。

Claims (15)

1.一种模型训练方法,其特征在于,包括:
获取多帧第一图像以及多帧第二图像;其中,每一帧第一图像均有一对应的第二图像;
将每一帧第一图像以及对应的一帧第二图像作为一个训练样本,得到由多个训练样本构成的训练集;
建立视频压缩复原模型;
利用所述训练集对所述视频压缩复原模型进行训练,得到训练好的视频压缩复原模型。
2.根据权利要求1所述的方法,其特征在于,所述第一图像及其对应的第二图像的画面的内容和尺寸均相同;其中,所述第一图像的分辨率大于其对应的第二图像的分辨率,或者所述第一图像是通过对所述对应的第二图像进行上采样处理得到的,或者所述对应的第二图像是通过对所述第一图像进行下采样处理得到的。
3.根据权利要求1所述的方法,其特征在于,所述获取多帧第一图像以及多帧第二图像,包括:
获取第一类视频数据集,所述第一类视频数据集包含多个第一视频和多个第二视频;其中,每一个第一视频均有一对应的第二视频;
对于所述第一类视频数据集中的每一个第一视频及其对应的第二视频,根据所述第一视频确定多帧第一图像,根据所述第一视频对应的第二视频确定多帧第二图像。
4.根据权利要求3所述的方法,其特征在于,所述第一视频及其对应的第二视频包含相同的视频内容;其中,所述第一视频的分辨率大于其对应的第二视频的分辨率,或者所述第一视频是通过对所述对应的第二视频进行上采样处理得到的,或者所述对应的第二视频是通过对所述第一视频进行下采样处理得到的。
5.根据权利要求1所述的方法,其特征在于,所述获取多帧第一图像以及多帧第二图像,包括:
获取第二类视频数据集,所述第二类视频数据集中包含多个第一视频;
对所述第二类视频数据集中的第一视频进行下采样处理,得到各第一视频对应的第二视频,所述第一视频及其对应的第二视频包含相同的视频内容;
对于所述第二类视频数据集中的每一个第一视频,根据所述第一视频确定多帧第一图像,根据所述第一视频对应的第二视频确定多帧第二图像。
6.根据权利要求3或5所述的方法,其特征在于,所述视频压缩复原模型包括视频压缩网络、视频复原网络、编码模块和解码模块,所述利用所述训练集对所述视频压缩复原模型进行训练,得到训练好的视频压缩复原模型,包括:
利用所述训练集对所述视频压缩网络和所述编码模块进行训练,得到第一损失值和第二损失值;
利用所述训练集对所述视频复原网络和所述解码模块进行训练,得到第三损失值和第四损失值;
当所述第一损失值、所述第二损失值、所述第三损失值和所述第四损失值满足预设条件时,结束训练,得到训练好的视频压缩复原模型。
7.根据权利要求6所述的方法,其特征在于,所述利用所述训练集对所述视频压缩网络和所述编码模块进行训练,得到第一损失值和第二损失值,包括:
将所述第一图像输入所述视频压缩网络进行处理,输出所述第一图像的压缩图像;
将所述第一图像的压缩图像输入所述编码模块进行处理,输出所述压缩图像的编码图像;
将与所述第一图像对应的第二图像输入所述编码模块进行处理,输出所述第二图像的编码图像;
根据所述压缩图像的编码图像和所述第二图像的编码图像确定第一损失值和第二损失值。
8.根据权利要求7所述的方法,其特征在于,所述视频压缩复原模型的损失函数包括L1损失函数和SSIM损失函数,所述根据所述压缩图像的编码图像和所述第二图像的编码图像确定第一损失值和第二损失值,包括:
将所述压缩图像的编码图像和所述第二图像的编码图像代入所述LI损失函数进行计算,得到第一损失值;
将所述压缩图像的编码图像和所述第二图像的编码图像代入所述SSIM损失函数进行计算,得到第二损失值。
9.根据权利要求7所述的方法,其特征在于,所述利用所述训练集对所述视频复原网络和所述解码模块进行训练,得到第三损失值和第四损失值,包括:
将所述压缩图像的编码图像输入所述解码模块进行处理,输出解码图像;
将所述解码图像输入所述视频复原网络进行处理,输出复原图像;
根据所述第一图像和所述复原图像确定第三损失值和第四损失值。
10.根据权利要求9所述的方法,其特征在于,所述视频压缩复原模型的损失函数包括L1损失函数和SSIM损失函数,所述根据所述第一图像和所述复原图像确定第三损失值和第四损失值,包括:
将所述第一图像和所述复原图像代入所述LI损失函数进行计算,得到第三损失值;
将所述第一图像和所述复原图像代入所述SSIM损失函数进行计算,得到第四损失值。
11.根据权利要求1所述的方法,其特征在于,所述视频压缩网络包含第一Unet网络结构,所述视频复原网络包含第二Unet网络结构,所述第一Unet网络结构与所述第二Unet网络结构相互对称。
12.根据权利要求1所述的方法,其特征在于,所述利用所述训练集对所述视频压缩复原模型进行训练,得到训练好的视频压缩复原模型之后,还包括:
将待处理视频输入所述训练好的视频压缩复原模型进行处理,输出所述待处理视频对应的压缩视频;
将所述压缩视频输入所述训练好的视频压缩复原模型进行处理,输出所述待处理视频的复原视频。
13.一种模型训练装置,其特征在于,包括:
第一获取模块,用于获取多帧第一图像以及多帧第二图像;其中,每一帧第一图像均有一对应的第二图像;
第二获取模块,用于将每一帧第一图像以及对应的一帧第二图像作为一个训练样本,得到由多个训练样本构成的训练集;
模型建立模块,用于建立视频压缩复原模型;
模型训练模块,用于利用所述训练集对所述视频压缩复原模型进行训练,得到训练好的视频压缩复原模型。
14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行以实现如权利要求1至10任一项所述的模型训练方法中的步骤。
15.一种电子设备,其特征在于,所述电子设备包括处理器、存储器以及存储于所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序以实现如权利要求1至10任一项所述的模型训练方法中的步骤。
CN202210369933.2A 2022-04-08 2022-04-08 模型训练方法、装置、电子设备及计算机可读存储介质 Pending CN116934879A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210369933.2A CN116934879A (zh) 2022-04-08 2022-04-08 模型训练方法、装置、电子设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210369933.2A CN116934879A (zh) 2022-04-08 2022-04-08 模型训练方法、装置、电子设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN116934879A true CN116934879A (zh) 2023-10-24

Family

ID=88385208

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210369933.2A Pending CN116934879A (zh) 2022-04-08 2022-04-08 模型训练方法、装置、电子设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN116934879A (zh)

Similar Documents

Publication Publication Date Title
CN111681167B (zh) 画质调整方法和装置、存储介质及电子设备
CN111580765B (zh) 投屏方法、投屏装置、存储介质、被投屏设备与投屏设备
US9386319B2 (en) Post-process filter for decompressed screen content
WO2020097888A1 (zh) 视频处理方法、装置、电子设备及计算机可读存储介质
US20180091768A1 (en) Apparatus and methods for frame interpolation based on spatial considerations
DE112013004778T5 (de) Kodierung von Bildern unter Verwendung eines 3D-Netzes von Polygonen und entsprechenden Strukturen
US11985358B2 (en) Artifact removal method and apparatus based on machine learning, and method and apparatus for training artifact removal model based on machine learning
WO2011014637A1 (en) System and method of compressing video content
US20220256140A1 (en) Video encoding method and apparatus, computer device, and storage medium
WO2016048507A1 (en) Video coding rate control including target bitrate and quality control
US12003386B2 (en) Method for enhancing quality of media
WO2023005740A1 (zh) 图像编码、解码、重建、分析方法、系统及电子设备
CN114554211A (zh) 内容自适应视频编码方法、装置、设备和存储介质
EP3703372A1 (en) Interframe prediction method and apparatus, and terminal device
CN116847087A (zh) 视频处理方法、装置、存储介质及电子设备
US9997132B2 (en) Data transmission method, data transmission system and portable display device of transmitting compressed data
US11503306B2 (en) Image and video data processing method and system
WO2022268181A1 (zh) 视频增强处理方法、装置、电子设备和存储介质
CN116934879A (zh) 模型训练方法、装置、电子设备及计算机可读存储介质
US11528488B2 (en) Image and video data processing method and system
US20150124873A1 (en) Chroma Down-Conversion and Up-Conversion Processing
WO2021057464A1 (zh) 视频处理方法和装置、存储介质和电子装置
CN108933945B (zh) 一种gif图片的压缩方法、装置及存储介质
CN117237259B (zh) 基于多模态融合的压缩视频质量增强方法及装置
CN113160342B (zh) 基于反馈的编码方法及装置、存储介质、电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication