CN110381304A - 用于修复空洞图片的模型训练方法、空洞图片的修复方法 - Google Patents

用于修复空洞图片的模型训练方法、空洞图片的修复方法 Download PDF

Info

Publication number
CN110381304A
CN110381304A CN201910665914.2A CN201910665914A CN110381304A CN 110381304 A CN110381304 A CN 110381304A CN 201910665914 A CN201910665914 A CN 201910665914A CN 110381304 A CN110381304 A CN 110381304A
Authority
CN
China
Prior art keywords
picture
empty
reparation
repairing
empty picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910665914.2A
Other languages
English (en)
Inventor
代斌
习艳会
孙炎
胡国锋
高延凯
张小牤
毕育欣
时凌云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201910665914.2A priority Critical patent/CN110381304A/zh
Publication of CN110381304A publication Critical patent/CN110381304A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明的实施例提供一种用于修复空洞图片的模型训练方法、空洞图片的修复方法，涉及3D显示技术领域，可以修复空洞图片，提高显示效果。一种用于修复空洞图片的模型训练方法，包括：建立训练图片集；根据所述训练图片集，训练得到第一修复网络模型。

Description

用于修复空洞图片的模型训练方法、空洞图片的修复方法
技术领域
本发明涉及3D显示技术领域，尤其涉及一种用于修复空洞图片的模型训练方法、空洞图片的修复方法。
背景技术
随着显示技术的发展，裸眼3D(3 Dimensions，三维)显示技术得到广泛的应用。裸眼3D显示技术的基本原理是：通过视差来使观众产生一种立体的观影效果。在观看立体电视的过程中，观众通过在自己的左右眼同时观察到的不同的视频图像，在大脑中融合产生一个具有深度效果的立体图像。
利用裸眼3D显示技术显示，观众不需要佩戴任何设备，将是未来的一种主要显示方式。然而，裸眼3D显示技术存在视点少，且不连续的问题，严重影响了裸眼3D技术的发展。
发明内容
本发明的实施例提供一种用于修复空洞图片的模型训练方法、空洞图片的修复方法，可以修复空洞图片，提高显示效果。
为达到上述目的，本发明的实施例采用如下技术方案：
一方面，本发明的实施例提供了一种用于修复空洞图片的模型训练方法，包括：建立训练图片集；所述训练图片集包括多组训练图片对，每组训练图片对包括一张空洞图片和一张对应的非空洞图片；所述空洞图片指的是发生扩张的图片，所述非空洞图片指的是未发生扩张的图片；根据所述训练图片集，训练得到第一修复网络模型；所述第一修复网络模型用于将输入的所述空洞图片修复为对应的所述非空洞图片。
可选地，根据所述训练图片集，训练得到第一修复网络模型，包括：构建卷积神经网络；每次选取一组所述训练图片对中的所述空洞图片，输入所述卷积神经网络中，获取该空洞图片对应的修复图片；根据多组所述训练图片对的每组中，所述空洞图片对应的所述修复图片和所述非空洞图片，计算损失值；判断所述卷积神经网络输出的损失值是否小于第一阈值，若否，则调整所述卷积神经网络的参数，直至所述卷积神经网络的损失值小于第一阈值，得到所述第一修复网络模型。
可选地，所述卷积神经网络包括多层卷积层和多个激活函数；构建卷积神经网络，包括：构建第一卷积层，对应的第一激活函数为F1(xi)＝max(0，W1×xi+B1)；所述第一卷积层的卷积核为f1×f1×3，卷积核个数为n1，W1和B1为所述第一卷积层的参数，xi为所述空洞图片；构建第二卷积层，对应的第二激活函数为F2(xi)＝max(0，W2×F1(xi)+B2)；所述第二卷积层的卷积核为f2×f2×n1，卷积核个数为n2，W2和B2为所述第二卷积层的参数；构建第三卷积层，对应的第三激活函数为F3(xi)＝max(0，W3×F2(xi)+B3)；所述第三卷积层的卷积核为f3×f3×n2，卷积核个数为n3，W3和B3为所述第三卷积层的参数；构建第四卷积层，对应的第四激活函数为xf＝max(0，W4×F3(xi)+B4)；所述第四卷积层的卷积核为f4×f4×n3，卷积核个数为3，W4和B4为所述第四卷积层的参数，xf为所述空洞图片xi对应的修复图片。
可选地，根据多组所述训练图片对的每组中，所述空洞图片对应的所述修复图片和所述非空洞图片，计算损失值，包括：
根据损失函数计算得到每组所述训练图片对对应的损失值L(Θ)；其中，xr指的是所述空洞图片xi对应的所述非空洞图片，Θ为所述卷积神经网络的参数，Θ＝{W1，W2，W3，W4，B1，B2，B3，B4}。
可选地，在建立训练图片集之后，训练得到第一修复网络模型之前，所述用于修复空洞图片的模型训练方法还包括：分别对所述训练图片集中每组所述训练图片对中的所述空洞图片和所述非空洞图片进行预处理；所述预处理，包括：翻转、旋转、调整亮度中的至少一种。
可选地，训练得到第一修复网络模型之后，所述用于修复空洞图片的模型训练方法还包括：根据多组所述训练图片对的每组中，所述空洞图片对应的所述修复图片和所述非空洞图片，分别计算峰值信噪比和结构相似性；当所述峰值信噪比和所述结构相似性均为最大值时，将获取所述修复图片所利用的所述第一修复网络模型，作为所述第一修复网络模型。
可选地，当所述峰值信噪比和所述结构相似性均为最大值时，将获取所述修复图片所利用的所述第一修复网络模型，作为所述第一修复网络模型之后，所述用于修复空洞图片的模型训练方法还包括：将所述第一修复网络模型中的参数，保留N位小数；其中，N为大于等于1的正整数。
再一方面，本发明的实施例还提供一种空洞图片的修复方法，其特征在于，包括：将空洞图片输入，由上述所述的用于修复空洞图片的模型训练方法得到的第一修复网络模型中，获取所述空洞图片对应的修复图片。
可选地，将空洞图片输入第一修复网络模型中，获取所述空洞图片对应的修复图片，包括：将所述空洞图片输入第一卷积层，利用第一激活函数，得到第一中间图片；将所述第一中间图片输入第二卷积层，利用第二激活函数，得到第二中间图片；将所述第二中间图片输入第三卷积层，利用第三激活函数，得到第三中间图片；将所述第三中间图片输入第四卷积层，利用第四激活函数，得到该空洞图片对应的所述修复图片。
另一方面，本发明的实施例还提供一种计算机设备，包括存储单元和处理单元；所述存储单元中存储可在所述处理单元上运行的计算机程序并存储结果；所述处理单元执行所述计算机程序时实现如上所述的用于修复空洞图片的模型训练方法，和/或如上所述的空洞图片的修复方法。
又一方面，本发明的实施例还提供一种计算机可读介质，其存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的用于修复空洞图片的模型训练方法，和/或如上所述的空洞图片的修复方法。
本发明的实施例提供一种用于修复空洞图片的模型训练方法、空洞图片的修复方法，通过建立包括多组训练图片对的训练图片集，其中，每组训练图片对包括一张空洞图片和一张对应的非空洞图片，由此，使用训练图片集训练第一修复网络模型，以使第修复网络模型在后续应用中能够将空洞图片修复为非空洞图片。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为参考相机与虚拟相机的设置关系示意图；
图2为空洞产生原理示意图；
图3为本发明实施例提供的一种用于修复空洞图片的模型训练方法的流程图；
图4为本发明实施例提供的再一种用于修复空洞图片的模型训练方法的流程图；
图5为本发明实施例提供的另一种用于修复空洞图片的模型训练方法的流程图；
图6为本发明实施例提供的又一种用于修复空洞图片的模型训练方法的流程图；
图7为本发明实施例提供的又一种用于修复空洞图片的模型训练方法的流程图；
图8为本发明实施例提供的又一种用于修复空洞图片的模型训练方法的流程图；
图9为本发明实施例提供的一种空洞图片的修复方法的流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
针对裸眼3D显示技术中存在的视点少且不连续的问题，研究者提出了多视点裸眼3D技术，该技术指的是利用棱镜产生多视点的图片，使观众在不同位置能看到立体图片。但是，该技术又存在多视点的图片获取问题。
例如，4视点裸眼3D技术，需采用4台摄像机进行4个视点的拍摄；8视点裸眼3D技术，需采用8台摄像机进行8个视点的拍摄。随着视点的增多，需要的摄像机数量越多，摄像机数量越多成本越高同时，多个摄像机的标定是否一致将会直接影响到拍摄的图片效果。
其中，标定指的是使用标准仪器对摄像机的准确度进行检测，判断是否符合标准。
为了解决多视点的图片获取问题，研究者进一步提出了虚拟视点绘制技术(DepthImage Based Rendering，DIBR)。该技术将一个摄像机作为参考摄像机，拍摄的图片作为参考图片，该参考图片经3D变换后，计算产生多个虚拟视点位置处的虚拟图片，以形成多视点图片。虚拟视点绘制技术大大降低了成本，并且减小了数据传输量。
例如，如图1所示，在真实场景中，针对一点O，设置一个参考摄像机a，对参考摄像机a拍摄的参考图片进行3D变换，得到虚拟摄像机b1和虚拟摄像机b1′、虚拟摄像机b2和虚拟摄像机b2′等多对虚拟摄像机(即，多个虚拟视点)位置处的虚拟图片。
其中，虚拟摄像机b1和虚拟摄像机b1′，关于参考摄像机a与物体O的连线垂直对称。同样的，其他多对虚拟摄像机关于参考摄像机a与物体O的连线垂直对称。
需要说明的是，第一，3D变换指的是将参考图片的水平方向像素进行不同的平移，垂直方向像素不变，即可得到对应的虚拟图片。
对参考图片进行3D变换时，可以利用移轴算法进行计算，公式为：
其中，(u,v)表示参考图片的像素坐标，(u′,v′)表示虚拟图片的像素坐标，au表示摄像机参数，tx表示虚拟摄像机与参考摄像机之间的物理距离，Z表示拍摄像素点的深度值，Zc为零视差平面的深度值。
此处，深度值指的是距离摄像机镜头所在平面的垂直距离，而零视差平面可以根据历史经验进行设定。
示例的，参考图片上的某一像素坐标为(1,2)，根据公式(一)可得v'＝2，则对应的虚拟图片的像素坐标为
第二，根据参考图片的质量，产生适量的虚拟视点位置处的虚拟图片。
然而，在上述虚拟视点绘制技术中，对参考摄像机拍摄的参考图片进行3D变换，获取虚拟视点处的虚拟图片时，容易产生空洞，影响图片的显示画质和观看效果。
其中，空洞产生的原因是在3D变换过程中，参考图片上相邻位置的像素映射到虚拟图片上时并不相邻，即，参考图片上的可见物体在虚拟图片上绘制时发生了扩张。
示例的，如图2所示，参考图片上的p和q是水平方向上相邻的像素，映射形成某一虚拟图片时，p映射到p′，q映射到q′，p′和q′之间没有映射的像素，因此，p′和q′像素之间形成了空洞。
基于此，为了解决空洞问题，本发明的实施例提供一种用于修复空洞图片的模型训练方法，如图3所示，包括：
S10、建立训练图片集。
训练图片集包括多组训练图片对，每组训练图片对包括一张空洞图片和一张对应的非空洞图片；空洞图片指的是发生扩张的图片，非空洞图片指的是未发生扩张的图片。
可以理解的是，空洞图片指的是在虚拟视点绘制技术中，经3D变换时，根据参考相机拍摄的参考图片，获取虚拟视点处的虚拟图片，相邻像素映射后位置不相邻，从而导致发生了扩张的图片。非空洞图片指的是像素映射正确，未发生扩张的图片。
S20、根据训练图片集，训练得到第一修复网络模型。
第一修复网络模型用于将输入的空洞图片修复为对应的非空洞图片。
本发明的实施例提供一种用于修复空洞图片的模型训练方法，通过建立包括多组训练图片对的训练图片集，其中，每组训练图片对包括一张空洞图片和一张对应的非空洞图片，由此，使用训练图片集训练第一修复网络模型，以使第修复网络模型在后续应用中能够将空洞图片修复为非空洞图片。
可选地，如图4所示，上述S10建立训练图片集之后，S20训练得到第一修复网络模型之前，用于修复空洞图片的模型训练方法还包括：
S30、分别对训练图片集中每组训练图片对中的空洞图片和非空洞图片进行预处理。
预处理，包括：翻转、旋转、调整亮度中的至少一种。
翻转是将空洞图片或非空洞图片进行从左向右或从右向左、从上到下或从下到上的180度翻转；旋转是将空洞图片或非空洞图片以中心或某个顶点为原点随机旋转一定角度；调整亮度是将空洞图片或非空洞图片的亮度进行随机处理。
在训练模型之前，对空洞图片和非空洞图片进行预处理，校正空洞图片和非空洞图片的内容，可以起到扩充训练图片集的作用，使训练出的模型可以处理多种拍摄条件下拍摄的图像，提高模型识别的准确度。
可选地，如图5所示，上述S20中根据训练图片集，训练得到第一修复网络模型，包括：
S21、构建卷积神经网络(Convolutional Neural Network，CNN)。
卷积神经网络是一个多层结构学习算法，利用图片中的空间相对位置和权重，减少网络权重的数目，以提高复杂网络训练性能。
可选地，卷积神经网络包括多层卷积层和多个激活函数。
其中，设置多层卷积层(Convolutional layer)的目的是提取输入的图片的不同特征。同时，引入多个激活函数(Activation functions)是为了增加卷积神经网络的非线性。
在上述基础上，S21中构建卷积神经网络，如图6所示，包括：
S211、构建第一卷积层，对应的第一激活函数为F1(xi)＝max(0，W1×xi+B1)。
第一卷积层的卷积核为f1×f1×3，卷积核个数为n1，W1和B1为第一卷积层的参数，xi为空洞图片。
其中，每个卷积核包含长、宽、深三个维度。
此处，f1×f1×3表示矩阵的长为f1，宽为f1，深为3。3指的是输入的图像为RGB三通道图像，由此，对应有3个尺寸为f1×f1的矩阵，该3个尺寸为f1×f1的矩阵称为一个卷积核，每个矩阵中的数值均为权重。
需要说明的是，输入的图片可以根据不同的卷积核，卷积得到不同的特征，因此，卷积核的个数越多，相应提取到的特征越多，但是计算量增大，速度会降低。
因此，在保证特征的提取效果的同时还需保证计算速度，卷积核的尺寸和个数，需根据需要进行设定，本发明对此不作限定。
S212、构建第二卷积层，对应的第二激活函数为F2(xi)＝max(0，W2×F1(xi)+B2)。
第二卷积层的卷积核为f2×f2×n1，卷积核个数为n2，W2和B2为第二卷积层的参数。
S213、构建第三卷积层，对应的第三激活函数为F3(xi)＝max(0，W3×F2(xi)+B3)。
第三卷积层的卷积核为f3×f3×n2，卷积核个数为n3，W3和B3为第三卷积层的参数。
S214、构建第四卷积层，对应的第四激活函数为xf＝max(0，W4×F3(xi)+B4)。
第四卷积层的卷积核为f4×f4×n3，卷积核个数为3，W4和B4为第四卷积层的参数，xf为空洞图片xi对应的修复图片。
S22、每次选取一组训练图片对中的空洞图片，输入卷积神经网络中，获取该空洞图片对应的修复图片。
可以理解的是，修复图片指的是经3D变换产生的空洞图片，利用卷积神经网络，将错误位置的像素修复至正确位置，从而产生的图片。
S23、根据多组训练图片对的每组中，空洞图片对应的修复图片和非空洞图片，计算损失值。
其中，基于卷积神经网络，根据修复图片和非空洞图片，计算得到的损失值越大，表示修复的效果越差，修复图片与非空洞图片相差甚远；而损失值越小，表示修复的效果越好，修复图片与非空洞图片越相似。
可选地，上述S23中，根据多组训练图片对的每组中，空洞图片对应的修复图片和非空洞图片，计算损失值，包括：
根据损失函数计算得到每组训练图片对对应的损失值L(Θ)。
其中，xr指的是空洞图片xi对应的非空洞图片，Θ为卷积神经网络的参数，Θ＝{W1，W2，W3，W4，B1，B2，B3，B4}。
此处，损失函数为均方差损失函数，计算的是空洞图片对应的修复图片与非空洞图片的欧氏距离。
S24、判断卷积神经网络输出的损失值是否小于第一阈值，若否，则调整卷积神经网络的参数，直至卷积神经网络的损失值小于第一阈值，得到第一修复网络模型。
其中，第一阈值可以根据需要进行设定，本发明对此不进行限定。
可以理解的是，将计算得到的损失值与第一阈值相比较，若损失值较大，说明训练出的卷积神经网络修复空洞图片的效果与期望的效果还有差距，因此，对卷积神经网络的参数进行反向调整，弥补差距，直至损失值小于第一阈值，以达到预期的修复效果。
可选地，如图7所示，上述S20中训练得到第一修复网络模型之后，用于修复空洞图片的模型训练方法还包括：
S40、根据多组训练图片对的每组中，空洞图片对应的修复图片和非空洞图片，分别计算峰值信噪比和结构相似性。
需要说明的是，第一，峰值信噪比(Peak signal-to-noise ratio,PSNR)为基于两张图片对应像素的均方误差的图像质量评价。
针对任一张空洞图片对应的修复图片和非空洞图片，需转换为灰度图片，再根据计算得到峰值信噪比PSNR。
其中，MSE为转换为灰度图片的修复图片与非空洞图片对应像素的均方误差，修复图片和非空洞图片均包括m×n个像素，Pf(i,j)为转换为灰度图片的修复图片中第i行第j列像素的灰度值，Pr(i,j)为转换为灰度图片的非空洞图片中第i行第j列像素的灰度值，MAX为像素的最大灰度值。
若数据传输的位数为6，则存在26个灰度，最大灰度为255，即，MAX为255。
基于此，计算得到的峰值信噪比的数值越大，表示失真越小，即，空洞图片对应的修复图片与非空洞图片越相似。
第二，结构相似性(Structural Similarity，SSIM)为一种从亮度、对比度、结构三方面度量图像相似性的图像评价指标。
第一步，针对任一张空洞图片对应的修复图片和非空洞图片，需转换为灰度图片，再根据分别计算得到转换为灰度图片的修复图片的灰度值均值和转换为灰度图片的非空洞图片的灰度值均值
第二步，根据分别计算得到转换为灰度图片的修复图片的灰度值方差和转换为灰度图片的非空洞图片的灰度值方差
第三步，根据计算得到转换为灰度图片的修复图片和转换为灰度图片的非空洞图片的灰度值协方差
第四步：根据分别计算得到转换为灰度图片的修复图片和转换为灰度图片的非空洞图片的亮度l(Pf,Pr)、对比度c(Pf,Pr)、结构s(Pf,Pr)。
其中，C1＝(K1×L)2，C2＝(K2×L)2，分别是用来维持稳定的常数。示例的，K1＝0.01，K2＝0.03，L＝255。
第五步，根据SSIM(Pf,Pr)＝l(Pf,Pr)×c(Pf,Pr)×s(Pf,Pr)，计算得到结构相似性SSIM。
基于上述，计算得到的结构相似性的取值范围为[0,1]，值越大，表示图像失真越小，即，空洞图片对应的修复图片与非空洞图片越相似。
S50、当峰值信噪比和结构相似性均为最大值时，将获取修复图片所利用的第一修复网络模型，作为第一修复网络模型。
可以理解的是，当两种图像评价指标均为最大值时，表示此时图像失真最小，即空洞图片对应的修复图片与非空洞图片最相似，则得到该空洞图片对应的修复图片所利用的第一修复网络模型，对空洞的修复效果最好，由此，将其作为第一修复网络模型。
可选地，如图8所示，上述S50中当峰值信噪比和结构相似性均为最大值时，将获取修复图片所利用的第一修复网络模型，作为第一修复网络模型之后，用于修复空洞图片的模型训练方法还包括：
S60、将第一修复网络模型中的参数，保留N位小数。
其中，N为大于等于1的正整数。
此处，为了降低计算量，提高计算效率，可以根据需要设定小数位数，本发明对此不进行限定。
本发明的实施例还提供一种空洞图片的修复方法，包括：
将空洞图片输入，由如上所述的用于修复空洞图片的模型训练方法得到的第一修复网络模型中，获取空洞图片对应的修复图片。
本发明的实施例提供一种空洞图片的修复方法，通过第一修复网络模型，获取到空洞图片对应的修复图片，以修复空洞图片，提高显示效果。
可选地，如图9所示，将空洞图片输入第一修复网络模型中，获取空洞图片对应的修复图片，包括：
S101、将空洞图片输入第一卷积层，利用第一激活函数，得到第一中间图片。
S102、将第一中间图片输入第二卷积层，利用第二激活函数，得到第二中间图片。
S103、将第二中间图片输入第三卷积层，利用第三激活函数，得到第三中间图片。
S104、将第三中间图片输入第四卷积层，利用第四激活函数，得到该空洞图片对应的修复图片。
示例的，第一步：将1张为10×10×3的空洞图片输入第一卷积层，若第一卷积层中，卷积核为3×3×3，卷积核个数为64，利用每个卷积核中的每个矩阵与空洞图片对应的矩阵进行卷积，并进行图片边缘填充，再利用第一激活函数进行非线性映射，得到64张10×10的第一中间图片。
第二步：将64张10×10的第一中间图片输入第二卷积层，若第二卷积层中，卷积核为5×5×64，卷积核个数为128，利用每个卷积核中的每个矩阵与空洞图片对应的矩阵进行卷积，并进行图片边缘填充，再利用第二激活函数进行非线性映射，得到128张10×10的第二中间图片。
第三步：将128张10×10的第二中间图片输入第三卷积层，若第三卷积层中，卷积核为7×7×128，卷积核个数为256，利用每个卷积核中的每个矩阵与空洞图片对应的矩阵进行卷积，并进行图片边缘填充，再利用第三激活函数进行非线性映射，得到256张10×10的第三中间图片。
第四步：将256张10×10的第三中间图片输入第四卷积层，若第四卷积层中，卷积核为1×1×256，卷积核个数为3，利用每个卷积核中的每个矩阵与空洞图片对应的矩阵进行卷积，并进行图片边缘填充，再利用第四激活函数进行非线性映射，得到3张10×10的第四中间图片，该3张第四中间图片分别为修复图片的RGB三通道图像，由此，得到空洞图片对应的修复图片。
本发明的实施例还提供一种计算机设备，包括存储单元和处理单元；存储单元中存储可在处理单元上运行的计算机程序并存储结果；处理单元执行计算机程序时实现如上所述的用于修复空洞图片的模型训练方法，和/或如上所述的空洞图片的修复方法。
本发明的实施例还提供一种计算机可读介质，其存储有计算机程序，计算机程序被处理器执行时实现如上所述的用于修复空洞图片的模型训练方法，和/或如上所述的空洞图片的修复方法。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (11)

1.一种用于修复空洞图片的模型训练方法，其特征在于，包括：
建立训练图片集；所述训练图片集包括多组训练图片对，每组训练图片对包括一张空洞图片和一张对应的非空洞图片；所述空洞图片指的是发生扩张的图片，所述非空洞图片指的是未发生扩张的图片；
根据所述训练图片集，训练得到第一修复网络模型；所述第一修复网络模型用于将输入的所述空洞图片修复为对应的所述非空洞图片。
2.根据权利要求1所述的用于修复空洞图片的模型训练方法，其特征在于，根据所述训练图片集，训练得到第一修复网络模型，包括：
构建卷积神经网络；
每次选取一组所述训练图片对中的所述空洞图片，输入所述卷积神经网络中，获取该空洞图片对应的修复图片；
根据多组所述训练图片对的每组中，所述空洞图片对应的所述修复图片和所述非空洞图片，计算损失值；
判断所述卷积神经网络输出的损失值是否小于第一阈值，若否，则调整所述卷积神经网络的参数，直至所述卷积神经网络的损失值小于第一阈值，得到所述第一修复网络模型。
3.根据权利要求2所述的用于修复空洞图片的模型训练方法，其特征在于，所述卷积神经网络包括多层卷积层和多个激活函数；
构建卷积神经网络，包括：
构建第一卷积层，对应的第一激活函数为F1(xi)＝max(0，W1×xi+B1)；所述第一卷积层的卷积核为f1×f1×3，卷积核个数为n1，W1和B1为所述第一卷积层的参数，xi为所述空洞图片；
构建第二卷积层，对应的第二激活函数为F2(xi)＝max(0，W2×F1(xi)+B2)；所述第二卷积层的卷积核为f2×f2×n1，卷积核个数为n2，W2和B2为所述第二卷积层的参数；
构建第三卷积层，对应的第三激活函数为F3(xi)＝max(0，W3×F2(xi)+B3)；所述第三卷积层的卷积核为f3×f3×n2，卷积核个数为n3，W3和B3为所述第三卷积层的参数；
构建第四卷积层，对应的第四激活函数为xf＝max(0，W4×F3(xi)+B4)；所述第四卷积层的卷积核为f4×f4×n3，卷积核个数为3，W4和B4为所述第四卷积层的参数，xf为所述空洞图片xi对应的修复图片。
4.根据权利要求3所述的用于修复空洞图片的模型训练方法，其特征在于，根据多组所述训练图片对的每组中，所述空洞图片对应的所述修复图片和所述非空洞图片，计算损失值，包括：
根据损失函数计算得到每组所述训练图片对对应的损失值L(Θ)；
其中，xr指的是所述空洞图片xi对应的所述非空洞图片，Θ为所述卷积神经网络的参数，Θ＝{W1，W2，W3，W4，B1，B2，B3，B4}。
5.根据权利要求1所述的用于修复空洞图片的模型训练方法，其特征在于，在建立训练图片集之后，训练得到第一修复网络模型之前，所述用于修复空洞图片的模型训练方法还包括：
分别对所述训练图片集中每组所述训练图片对中的所述空洞图片和所述非空洞图片进行预处理；
所述预处理，包括：翻转、旋转、调整亮度中的至少一种。
6.根据权利要求1-5任一项所述的用于修复空洞图片的模型训练方法，其特征在于，训练得到第一修复网络模型之后，所述用于修复空洞图片的模型训练方法还包括：
根据多组所述训练图片对的每组中，所述空洞图片对应的所述修复图片和所述非空洞图片，分别计算峰值信噪比和结构相似性；
当所述峰值信噪比和所述结构相似性均为最大值时，将获取所述修复图片所利用的所述第一修复网络模型，作为所述第一修复网络模型。
7.根据权利要求6所述的用于修复空洞图片的模型训练方法，其特征在于，当所述峰值信噪比和所述结构相似性均为最大值时，将获取所述修复图片所利用的所述第一修复网络模型，作为所述第一修复网络模型之后，所述用于修复空洞图片的模型训练方法还包括：
将所述第一修复网络模型中的参数，保留N位小数；其中，N为大于等于1的正整数。
8.一种空洞图片的修复方法，其特征在于，包括：
将空洞图片输入，由权利要求1-7任一项所述的用于修复空洞图片的模型训练方法得到的第一修复网络模型中，获取所述空洞图片对应的修复图片。
9.根据权利要求8所述的空洞图片的修复方法，其特征在于，将空洞图片输入第一修复网络模型中，获取所述空洞图片对应的修复图片，包括：
将所述空洞图片输入第一卷积层，利用第一激活函数，得到第一中间图片；
将所述第一中间图片输入第二卷积层，利用第二激活函数，得到第二中间图片；
将所述第二中间图片输入第三卷积层，利用第三激活函数，得到第三中间图片；
将所述第三中间图片输入第四卷积层，利用第四激活函数，得到该空洞图片对应的所述修复图片。
10.一种计算机设备，其特征在于，包括存储单元和处理单元；所述存储单元中存储可在所述处理单元上运行的计算机程序并存储结果；所述处理单元执行所述计算机程序时实现如权利要求1-7任一项所述的用于修复空洞图片的模型训练方法，和/或如权利要求8-9任一项所述的空洞图片的修复方法。
11.一种计算机可读介质，其存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的用于修复空洞图片的模型训练方法，和/或如权利要求8-9任一项所述的空洞图片的修复方法。
CN201910665914.2A 2019-07-23 2019-07-23 用于修复空洞图片的模型训练方法、空洞图片的修复方法 Pending CN110381304A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910665914.2A CN110381304A (zh) 2019-07-23 2019-07-23 用于修复空洞图片的模型训练方法、空洞图片的修复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910665914.2A CN110381304A (zh) 2019-07-23 2019-07-23 用于修复空洞图片的模型训练方法、空洞图片的修复方法

Publications (1)

Publication Number Publication Date
CN110381304A true CN110381304A (zh) 2019-10-25

Family

ID=68255033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910665914.2A Pending CN110381304A (zh) 2019-07-23 2019-07-23 用于修复空洞图片的模型训练方法、空洞图片的修复方法

Country Status (1)

Country Link
CN (1) CN110381304A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298734A (zh) * 2021-06-22 2021-08-24 云南大学 一种基于混合空洞卷积的图像修复方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090003702A1 (en) * 2007-06-27 2009-01-01 Microsoft Corporation Image completion
CN108460830A (zh) * 2018-05-09 2018-08-28 厦门美图之家科技有限公司 图像修复方法、装置及图像处理设备
CN108615228A (zh) * 2018-05-09 2018-10-02 上海理工大学 基于混合神经网络的人脸图像补全方法
CN109462747A (zh) * 2018-12-11 2019-03-12 成都美律科技有限公司 基于生成对抗网络的dibr系统空洞填充方法
CN109978786A (zh) * 2019-03-22 2019-07-05 北京工业大学 一种基于卷积神经网络的Kinect深度图修复方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090003702A1 (en) * 2007-06-27 2009-01-01 Microsoft Corporation Image completion
CN108460830A (zh) * 2018-05-09 2018-08-28 厦门美图之家科技有限公司 图像修复方法、装置及图像处理设备
CN108615228A (zh) * 2018-05-09 2018-10-02 上海理工大学 基于混合神经网络的人脸图像补全方法
CN109462747A (zh) * 2018-12-11 2019-03-12 成都美律科技有限公司 基于生成对抗网络的dibr系统空洞填充方法
CN109978786A (zh) * 2019-03-22 2019-07-05 北京工业大学 一种基于卷积神经网络的Kinect深度图修复方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298734A (zh) * 2021-06-22 2021-08-24 云南大学 一种基于混合空洞卷积的图像修复方法及系统
CN113298734B (zh) * 2021-06-22 2022-05-06 云南大学 一种基于混合空洞卷积的图像修复方法及系统

Similar Documents

Publication Publication Date Title
US10855909B2 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
CN101072289B (zh) 一种图像特效的自动生成方法及装置
CN107358631A (zh) 一种虑及三维畸变的双目视觉重建方法
CN111047709B (zh) 一种双目视觉裸眼3d图像生成方法
CN107767413A (zh) 一种基于卷积神经网络的图像深度估计方法
CN107945282A (zh) 基于对抗网络的快速多视角三维合成和展示方法及装置
CN104506872B (zh) 一种平面视频转立体视频的方法及装置
CN103595989A (zh) 三维影像显示装置及三维影像处理方法
CN103325120A (zh) 一种快速自适应支持权值双目视觉立体匹配方法
CN102065313A (zh) 平行式相机阵列的未标定多视点图像校正方法
CN106780573B (zh) 一种全景图特征匹配精度优化的方法及系统
CN103561257B (zh) 一种基于深度参考平面的无干扰的光编码深度提取方法
CN103945207B (zh) 一种基于视点合成的立体图像垂直视差消除方法
CN106340045B (zh) 三维人脸重建中基于双目立体视觉的标定优化方法
CN101848397A (zh) 一种改进的计算集成图像的高分辨率重构方法
CN106056622B (zh) 一种基于Kinect相机的多视点深度视频复原方法
CN105654547A (zh) 三维重建方法
CN106530282A (zh) 基于空域特征的无参考立体图像质量客观评价方法
CN110096993A (zh) 双目立体视觉的目标检测设备及方法
CN103208110A (zh) 视频图像的转换方法及装置
CN101662695B (zh) 一种获取虚拟视图的方法和装置
CN116579962A (zh) 一种基于鱼眼相机的全景感知方法、装置、设备及介质
CN103997638A (zh) 一种矩阵式相机阵列多视点图像校正方法
CN109714587A (zh) 一种多视点图像产生方法、装置、电子设备及存储介质
CN110381304A (zh) 用于修复空洞图片的模型训练方法、空洞图片的修复方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191025

RJ01 Rejection of invention patent application after publication