CN114549369B - 数据修复方法、装置、计算机及可读存储介质 - Google Patents
数据修复方法、装置、计算机及可读存储介质 Download PDFInfo
- Publication number
- CN114549369B CN114549369B CN202210448573.5A CN202210448573A CN114549369B CN 114549369 B CN114549369 B CN 114549369B CN 202210448573 A CN202210448573 A CN 202210448573A CN 114549369 B CN114549369 B CN 114549369B
- Authority
- CN
- China
- Prior art keywords
- image
- sample
- repaired
- area
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000003860 storage Methods 0.000 title claims abstract description 26
- 230000008439 repair process Effects 0.000 claims abstract description 312
- 238000011084 recovery Methods 0.000 claims abstract description 36
- 238000005457 optimization Methods 0.000 claims abstract description 22
- 230000006870 function Effects 0.000 claims description 182
- 238000012545 processing Methods 0.000 claims description 45
- 238000011176 pooling Methods 0.000 claims description 38
- 238000000926 separation method Methods 0.000 claims description 35
- 230000004927 fusion Effects 0.000 claims description 33
- 238000012549 training Methods 0.000 claims description 30
- 238000004590 computer program Methods 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 16
- 238000009877 rendering Methods 0.000 claims description 10
- 238000000605 extraction Methods 0.000 claims description 3
- 238000010191 image analysis Methods 0.000 claims 1
- 230000001976 improved effect Effects 0.000 abstract description 14
- 238000010586 diagram Methods 0.000 description 23
- 238000005516 engineering process Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 14
- 230000003287 optical effect Effects 0.000 description 13
- 238000013473 artificial intelligence Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 12
- 238000013461 design Methods 0.000 description 8
- 230000000295 complement effect Effects 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 230000002349 favourable effect Effects 0.000 description 4
- 238000007499 fusion processing Methods 0.000 description 4
- 241000282414 Homo sapiens Species 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000005067 remediation Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本申请实施例公开了一种数据修复方法、装置、计算机及可读存储介质，该方法包括：获取修复图像样本，获取修复图像样本所对应的修复区域标签及原始图像样本；基于第一区域预测模型对修复图像样本进行预测，得到样本预测修复区域；基于第一媒体修复模型对样本预测修复区域及修复图像样本进行修复，得到修复图像样本所对应的样本优化图像；根据样本预测修复区域、修复区域标签、原始图像样本及样本优化图像，对第一区域预测模型及第一媒体修复模型进行联合参数调整，得到第一区域预测模型所对应的目标区域预测模型，以及第一媒体修复模型所对应的目标媒体修复模型。采用本申请，可以提高数据修复的准确性。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种数据修复方法、装置、计算机及可读存储介质。
背景技术
随着深度学习的发展与应用，对于图像的修复也逐渐开始采用深度学习的方式实现，目前，一般是通过将待修复的图像输入到模型中，进行图像的修复处理，这也就使得在该模型中，需要对该待修复的图像进行更为全面的信息识别，也就是说，需要训练更多的参数，用于对图像进行修复处理，使得对于模型的训练更为复杂，涉及的数据更多，也导致了模型可能产生的误差增大，从而降低了数据修复的准确性。
发明内容
本申请实施例提供了一种数据修复方法、装置、计算机及可读存储介质，可以提高对数据修复的准确性。
本申请实施例一方面提供了一种数据修复方法，该方法包括：
获取修复图像样本，获取修复图像样本所对应的修复区域标签及原始图像样本；
基于第一区域预测模型对修复图像样本进行预测，得到样本预测修复区域；
基于第一媒体修复模型对样本预测修复区域及修复图像样本进行修复，得到修复图像样本所对应的样本优化图像；
根据样本预测修复区域、修复区域标签、原始图像样本及样本优化图像，对第一区域预测模型及第一媒体修复模型进行联合参数调整，得到第一区域预测模型所对应的目标区域预测模型，以及第一媒体修复模型所对应的目标媒体修复模型。
本申请实施例一方面提供了一种数据修复方法，该方法包括：
获取待修复图像帧，基于目标区域预测模型对待修复图像帧进行预测，得到待修复图像帧的待修复区域；
基于目标媒体修复模型对待修复图像帧中的待修复区域进行修复，得到待修复图像帧所对应的优化图像帧；目标区域预测模型与目标媒体修复模型是通过联合训练得到的。
本申请实施例一方面提供了一种数据修复装置，该装置包括：
样本获取模块，用于获取修复图像样本，获取修复图像样本所对应的修复区域标签及原始图像样本；
样本区域预测模块，用于基于第一区域预测模型对修复图像样本进行预测，得到样本预测修复区域；
样本修复模块，用于基于第一媒体修复模型对样本预测修复区域及修复图像样本进行修复，得到修复图像样本所对应的样本优化图像；
模型调整模块，用于根据样本预测修复区域、修复区域标签、原始图像样本及样本优化图像，对第一区域预测模型及第一媒体修复模型进行联合参数调整，得到第一区域预测模型所对应的目标区域预测模型，以及第一媒体修复模型所对应的目标媒体修复模型。
其中，该装置还包括：
初始预测模块，用于将修复图像样本输入第二区域预测模型进行预测，得到修复图像样本中的初始预测修复区域；
第一调整模块，用于根据初始预测修复区域与修复区域标签生成第一损失函数，通过第一损失函数对第二区域预测模型进行参数调整，得到第一区域预测模型；
第一修复模块，用于将修复图像样本及修复区域标签输入第二媒体修复模型进行修复，得到修复图像样本所对应的初始优化图像；
修复模型生成模块，用于根据初始优化图像与原始图像样本生成第二损失函数，通过第二损失函数对第二媒体修复模型进行参数调整，得到第一媒体修复模型。
其中，修复图像样本是指组成视频样本的N个样本图像帧中的一个样本图像帧；N为正整数；
该装置还包括：
前序获取模块，用于获取修复图像样本在N个样本图像帧中的前序图像样本，获取前序图像样本所对应的前序样本修复区域；
该样本区域预测模块，具体用于：
将前序图像样本、修复图像样本及前序样本修复区域输入第一区域预测模型进行预测，得到样本预测修复区域；
该样本修复模块，具体用于：
将前序图像样本、修复图像样本、样本预测修复区域及前序样本修复区域，输入第一媒体修复模型，在第一媒体修复模型中，对修复图像样本进行修复，得到修复图像样本所对应的样本优化图像。
其中，该装置还包括：
轨迹生成模块，用于获取前景对象样本及常规视频数据，对前景对象样本进行模拟运动处理，得到对象运动轨迹；
数据融合模块，用于基于对象运动轨迹，将前景对象样本与常规视频数据进行融合，得到融合视频数据；
样本生成模块，用于对融合视频数据进行场景渲染优化，生成视频样本。
其中，该模型调整模块，包括：
第一损失生成单元，用于根据样本预测修复区域及修复区域标签生成第三损失函数；
第二损失生成单元，用于根据原始图像样本及样本优化图像生成第四损失函数；
损失结合单元，用于对第三损失函数与第四损失函数进行函数结合，得到联合损失函数；
联合调整单元，用于通过联合损失函数对第一区域预测模型及第一媒体修复模型进行联合参数调整，得到第一区域预测模型所对应的目标区域预测模型，以及第一媒体修复模型所对应的目标媒体修复模型。
其中，修复图像样本是指组成视频样本的N个样本图像帧中的一个样本图像帧；N为正整数；
该装置还包括：
该前序获取模块，还用于获取修复图像样本在N个样本图像帧中的前序图像样本，获取前序图像样本所对应的前序样本修复区域；
该第一损失生成单元，包括：
第一预测子单元，用于将前序样本修复区域及样本优化图像输入第一区域预测模型进行预测，得到第一预测区域；
第二预测子单元，用于将前序样本修复区域及原始图像样本输入第一区域预测模型进行预测，得到第二预测区域；
辅助损失生成子单元，用于根据第一预测区域及第二预测区域，生成辅助损失函数；
区域损失生成子单元，用于根据样本预测修复区域及修复区域标签之间的差异数据，生成区域差异损失函数；
第一损失组合子单元，用于根据辅助损失函数与区域差异损失函数，生成第三损失函数。
其中，该第二损失生成单元，包括：
图像损失生成子单元，用于获取原始图像样本与样本优化图像之间的图像差异数据，根据图像差异数据生成图像差异损失函数；
结果判别子单元，用于将原始图像样本输入第一判别器进行检测，得到原始图像样本所对应的原始判别结果，将样本优化图像输入第一判别器进行检测，得到样本优化图像所对应的优化判别结果；
判别损失生成子单元，用于根据原始判别结果与优化判别结果，生成判别损失函数；
第二损失组合子单元，用于对图像差异损失函数与判别损失函数进行组合，得到第四损失函数。
其中，第一区域预测模型包括区域分离模型及区域识别模型；该装置还包括：
分离预测模块，用于将修复图像样本输入初始区域分离模型进行预测，得到二值预测图像，从二值预测图像中获取分离修复区域；
识别预测模块，用于将修复图像样本输入初始区域识别模型进行预测，得到修复图像样本中的预测边框，将预测边框在修复图像样本中所对应的区域确定为识别修复区域；
损失获取模块，用于根据分离修复区域与修复区域标签生成第一区域损失函数，根据识别修复区域与修复区域标签生成第二区域损失函数，根据分离修复区域与识别修复区域生成第三区域损失函数；
模型生成模块，用于根据第一区域损失函数、第二区域损失函数及第三区域损失函数，对初始区域分离模型及初始区域识别模型进行联合参数调整，得到初始区域分离模型所对应的区域分离模型，以及初始区域识别模型所对应的区域识别模型。
本申请实施例一方面提供了一种数据修复装置，该装置包括：
图像获取模块，用于获取待修复图像帧；
区域预测模块，用于基于目标区域预测模型对待修复图像帧进行预测，得到待修复图像帧的待修复区域；
数据修复模块，用于基于目标媒体修复模型对待修复图像帧中的待修复区域进行修复，得到待修复图像帧所对应的优化图像帧；目标区域预测模型与目标媒体修复模型是通过联合训练得到的。
其中，待修复图像帧是指组成视频数据的M个图像帧中的一个图像帧；M为正整数；
该区域预测模块，包括：
前序获取单元，用于在M个图像帧中获取待修复图像帧的前序图像帧，获取前序图像帧所对应的前序修复区域；
区域预测单元，用于将前序修复区域、前序图像帧及待修复图像帧输入目标区域预测模型进行预测，得到待修复图像帧所对应的待修复区域；
该数据修复模块，具体用于：
将前序图像帧、待修复图像帧、前序修复区域及待修复区域输入目标媒体修复模型进行修复，得到待修复图像帧的优化图像帧。
其中，区域预测单元，包括：
数据输入子单元，用于将前序修复区域、前序图像帧及待修复图像帧输入目标区域预测模型；
初始预测子单元，用于在目标区域预测模型中，基于前序图像帧与待修复图像帧之间的图像连续性，对待修复图像帧进行预测，得到待修复图像帧所对应的初始预测区域；
区域调整子单元，用于在目标区域预测模型中，基于前序修复区域的区域连续性，对初始预测区域进行调整，得到待修复图像帧所对应的待修复区域。
其中，该数据修复模块，包括：
模型输入单元，用于将前序图像帧、待修复图像帧、前序修复区域及待修复区域输入目标媒体修复模型中；
图像组合单元，用于在目标媒体修复模型中，对前序图像帧与前序修复区域进行组合，得到前序组合图像；
图谱获取单元，用于获取前序组合图像的像素特征图谱及语义特征图谱，获取待修复图像帧的像素特征图谱及语义特征图谱；
特征融合单元，用于对前序组合图像的像素特征图谱及待修复图像帧的像素特征图谱进行特征融合，得到注意力图谱；
修复获取单元，用于根据注意力图谱，从前序组合图像的语义特征图谱中获取语义修复数据；
图像修复单元，用于获取待修复区域在待修复图像帧中的语义特征图谱，基于语义修复数据对待修复区域的语义特征图谱进行修复处理，得到待修复图像帧的优化图像帧。
其中，该区域预测模块，包括：
数据池化单元，用于在目标区域预测模型中，采用k个池化参数，分别对待修复图像帧进行池化处理，得到待修复图像帧所对应的k个池化特征；k为正整数；
特征卷积单元，用于对k个池化特征分别进行卷积处理，得到k个卷积特征；
特征预测单元，用于对k个卷积特征进行特征融合预测，得到待修复图像帧的待修复区域。
本申请实施例一方面提供了一种计算机设备，包括处理器、存储器、输入输出接口；
处理器分别与存储器和输入输出接口相连，其中，输入输出接口用于接收数据及输出数据，存储器用于存储计算机程序，处理器用于调用该计算机程序，以使包含该处理器的计算机设备执行本申请实施例一方面中的数据修复方法。
本申请实施例一方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序适于由处理器加载并执行，以使得具有该处理器的计算机设备执行本申请实施例一方面中的数据修复方法。
本申请实施例一方面提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例一方面中的各种可选方式中提供的方法。
实施本申请实施例，将具有如下有益效果：
在本申请实施例中，可以获取修复图像样本，获取修复图像样本所对应的修复区域标签及原始图像样本；基于第一区域预测模型对修复图像样本进行预测，得到样本预测修复区域；基于第一媒体修复模型对样本预测修复区域及修复图像样本进行修复，得到修复图像样本所对应的样本优化图像；根据样本预测修复区域、修复区域标签、原始图像样本及样本优化图像，对第一区域预测模型及第一媒体修复模型进行联合参数调整，得到第一区域预测模型所对应的目标区域预测模型，以及第一媒体修复模型所对应的目标媒体修复模型。进一步地，可以基于目标区域预测模型及目标媒体修复模型对图像进行修复处理。通过以上过程，实现了对多任务的联合训练及使用，以实现不同任务之间的相互调整及促进，充分学习不同任务中的互补信息及相似信息等，得到互相增益的效果，也就是说，不同任务之间可以互相提供增进的有效信息，以促进不同任务的模型表现，相互提升不同模型的输出结果的精确性，有利于模型的设计和效果的提升，从而提高数据修复的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种数据修复的网络交互架构图；
图2是本申请实施例提供的一种数据修复场景示意图；
图3是本申请实施例提供的一种模型训练的方法流程图；
图4是本申请实施例提供的一种多步训练方法示意图；
图5是本申请实施例提供的一种数据修复的方法流程图；
图6是本申请实施例提供的一种区域预测方法示意图；
图7是本申请实施例提供的另一种区域预测方法示意图；
图8是本申请实施例提供的一种修复方法示意图；
图9是本申请实施例提供的另一种修复方法示意图；
图10是本申请实施例提供的一种数据修复装置示意图；
图11是本申请实施例提供的另一种数据修复装置示意图；
图12是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请实施例中，请参见图1，图1是本申请实施例提供的一种数据修复的网络交互架构图。其中，计算机设备101可以与终端设备之间进行数据交互，不同的终端设备之间也可以互相进行数据交互等，其中，该终端设备的数量可以为一个或至少两个，例如终端设备的数量为3个，如图1中所示的终端设备102a、终端设备102b及终端设备102c等，可选的，也可以只存在计算机设备101。其中，计算机设备101可以从计算机设备101自身的存储空间中获取修复图像样本，也可以从任意一个或多个终端设备中获取修复图像样本等，在此不做限制。计算机设备101可以基于获取到的修复图像样本，进行模型训练，具体的，是对第一区域预测模型及第一媒体修复模型进行联合训练，得到第一区域预测模型所对应的目标区域预测模型，以及第一媒体修复模型所对应的目标媒体修复模型等。进一步地，可以基于训练好的目标区域预测模型及目标媒体修复模型，进行数据修复。
其中，本申请可以涉及人工智能领域的机器学习技术，通过机器学习技术对模型的训练样本进行扩充，以及对模型进行训练等。
其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。例如，本申请中对于目标区域预测模型及目标媒体修复模型等的训练及使用等，通过对模型进行训练，以使得模型不断学习新的知识或技能，进而得到训练好的模型，以用于数据修复。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶、智慧交通等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
具体的，请参见图2，图2是本申请实施例提供的一种数据修复场景示意图。如图2所示，本申请进行了多任务的模型联合训练，以及基于联合训练后的模型的使用。如图2所示，计算机设备可以获取修复图像，并基于修复图像，对区域预测模型与媒体修复模型进行模型训练及预测使用。举例来说，在进行模型训练时，该修复图像是指修复图像样本，将修复图像样本输入至第一区域预测模型中进行预测，得到该修复图像样本对应的样本预测修复区域，也就是说，此时在图2中的区域预测模型用于表示第一区域预测模型，修复区域用于表示样本预测修复区域。进一步地，计算机设备可以将修复区域作为第一媒体修复模型的输入，即，将修复图像样本与样本预测修复区域输入第一媒体修复模型中进行修复，得到修复图像样本所对应的样本优化图像。其中，在进行模型训练时，还包括图2中虚线所指示的部分，即，进一步可以对第一区域预测模型与第一媒体修复模型进行联合调整，得到第一区域预测模型所对应的目标区域预测模型，以及第一媒体修复模型所对应的目标媒体修复模型。其中，在模型使用过程中，该修复图像可以是待修复的图像帧，区域预测模型是指目标区域预测模型，修复区域是指待修复区域，媒体修复模型是指目标媒体修复模型，优化图像是指优化图像帧，具体的，计算机设备可以将待修复图像帧输入目标区域预测模型，基于目标区域预测模型进行预测，得到待修复图像帧的待修复区域。基于目标媒体修复模型对待修复图像帧中的待修复区域进行修复，得到待修复图像帧所对应的优化图像帧。通过对多任务的模型进行联合训练，可以互相提升模型的输出结果的准确性，不同任务之间提供互相增进的有效信息，以促进不同任务的模型表现，进而提高了数据修复的准确性。
可以理解的是，本申请实施例中所提及的计算机设备包括但不限于终端设备或服务器。换句话说，计算机设备可以是服务器或终端设备，也可以是由服务器和终端设备组成的系统。其中，以上所提及的终端设备可以是一种电子设备，包括但不限于手机、平板电脑、台式电脑、笔记本电脑、掌上电脑、车载设备、增强现实/虚拟现实（Augmented Reality/Virtual Reality，AR/VR）设备、头盔显示器、可穿戴设备、智能音箱、数码相机、摄像头及其他具备网络接入能力的移动互联网设备（mobile internet device，MID）等。其中，以上所提及的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、车路协同、内容分发网络（Content Delivery Network，CDN）、以及大数据和人工智能平台等基础云计算服务的云服务器。
可选的，本申请实施例中所涉及的数据可以存储在计算机设备或终端设备中的任意一个设备或至少两个设备中，或者可以基于云存储技术或区块链网络对该数据进行存储，在此不做限制。
进一步地，请参见图3，图3是本申请实施例提供的一种模型训练的方法流程图。如图3所示，该数据修复过程包括如下步骤：
步骤S301，获取修复图像样本，获取修复图像样本所对应的修复区域标签及原始图像样本。
在本申请实施例中，计算机设备可以获取修复图像样本，其中，该修复图像样本可以是图像，也可以是组成视频样本的N个样本图像帧中的一个样本图像帧，N为正整数。可选的，当该修复图像样本是图像时，可以获取该修复图像样本所对应的修复区域标签及原始图像样本。可选的，当该修复图像样本是组成视频样本的N个样本图像帧中的一个样本图像帧时，可以直接获取该修复图像样本所对应的修复区域标签及原始图像样本。或者，可以查找该修复图像样本所对应的修复区域标签，若查找到该修复区域标签，则可以直接获取该修复区域标签；若未查找到该修复区域标签，则可以基于该修复图像样本的前序图像样本，预测该修复图像样本的修复区域标签。换句话说，视频样本中可以包括N个样本图像帧，其中，存在首位图像帧的修复区域标签及关键图像帧的修复区域标签，该首位图像帧是指位于N个样本图像帧中的首位的图像帧，N个样本图像帧包括关键图像帧。其中，当该修复图像样本是组成视频样本的N个样本图像帧中的一个样本图像帧时，获取修复图像样本在N个样本图像帧中的前序图像样本，获取前序图像样本所对应的前序样本修复区域。
可选的，计算机设备可以直接获取到第一区域预测模型及第一媒体修复模型，或者，可以进行初步调整，得到第一区域预测模型及第一媒体修复模型。具体的，计算机设备可以获取第二区域预测模型及第二媒体修复模型，将第二区域预测模型确定为第一区域预测模型，将第二媒体修复模型确定为第一媒体修复模型；或者，可以采用修复图像样本对第二区域预测模型进行参数调整，得到第一区域预测模型，采用修复图像样本对第二媒体修复模型进行参数调整，得到第一媒体修复模型等。可选的，该第一区域预测模型的数量可以为d个，d为正整数。
可选的，计算机设备可以直接从数据集中获取修复图像样本；或者，可以从互联网等获取修复图像样本；或者，可以生成修复图像样本等，在此不做限制，即也可以通过其他方式获取到修复图像样本。本申请中可以采用以上任意一种方式，或多种方式结合的方式，获取到修复图像样本。举例来说，在生成修复图像样本时，计算机设备可以获取原始图像样本，对原始图像样本进行损坏处理，得到修复图像样本。该损坏处理可以包括但不限于添加水印、擦除部分区域、添加区域噪声或区域模糊处理等，也就是说，通过一个原始图像样本可以生成一个或至少两个相对应的修复图像样本。
其中，当修复图像样本是组成视频样本N个样本图像帧中的一个图像帧时，计算机设备可以获取前景对象样本及常规视频数据，对前景对象样本进行模拟运动处理，得到对象运动轨迹。可选的，该前景对象样本可以是但不限于区域噪声、区域擦除蒙版、物体对象或区域模糊蒙版等。基于对象运动轨迹，将前景对象样本与常规视频数据进行融合，得到融合视频数据。对融合视频数据进行场景渲染优化，生成视频样本，具体的，该场景渲染优化包括但不限于色调调整或光照处理等，也就是说，可以对融合视频数据进行色调调整或光照处理等后处理，使得得到的视频样本更像真实场景，提高视频样本的真实性。其中，该常规视频数据可以认为是视频样本所对应的原始样本，也就是说，组成常规视频数据的N个常规视频帧是组成视频样本的N个样本图像帧的原始图像样本，例如，N个常规视频帧中的第一个常规视频帧，是N个样本图像帧中的第一个样本图像帧的原始图像样本等。
步骤S302，基于第一区域预测模型对修复图像样本进行预测，得到样本预测修复区域。
在本申请实施例中，计算机设备可以将修复图像样本输入第一区域预测模型进行预测，得到样本预测修复区域。当修复图像样本是组成视频样本的N个样本图像帧中的一个样本图像帧时，可以将前序图像样本、修复图像样本及前序样本修复区域输入第一区域预测模型进行预测，得到样本预测修复区域。可选的，该前序图像样本的数量可以为p，p为小于或等于前序数量阈值的自然数，这是由于对于N个样本图像帧中的首位图像帧来说，不存在前序图像样本。具体的，可以将N个样本图像帧中位于修复图像样本之前的样本图像帧，确定为该修复图像样本的前序图像样本。或者，可以在N个样本图像帧中，获取位于修复图像样本之前的样本图像帧的样本图像帧数，若该样本图像帧数小于或等于前序数量阈值，则将位于修复图像样本之前的样本图像帧，确定为该修复图像样本的前序图像样本；若该样本图像帧数大于前序数量阈值，则在N个样本图像帧中，以修复图像样本为基础，依次向前获取前序数量阈值所对应的样本图像帧，作为该修复图像样本的前序图像样本。或者，可以对视频样本进行语义解析，得到N个样本图像帧分别对应的样本图像语义信息，基于样本图像语义信息将N个样本图像帧分为一个或至少两个样本集群，每个样本集群中所包括的样本图像帧，在视频样本中连续且样本图像语义信息的相似度大于图像相似阈值，计算机设备可以获取修复图像样本所在的目标样本集群，将目标样本集群中位于该修复图像样本之前的样本图像帧，确定为该修复图像样本的前序图像样本。
举例来说，假定该修复图像样本是指N个样本图像帧中的第t个样本图像帧，可以
将该修复图像样本记作Xt，将该修复图像样本的前序图像样本的数量记作p，即，得到该修
复图像样本的前序图像样本为（Xt-p，…，Xt-2，Xt-1），当然，p为小于或等于前序数量阈值的自
然数，也就是说，当该修复图像样本为视频样本的首位图像帧时，修复图像样本不存在前序
图像样本，当该修复图像样本为视频样本的第二个图像帧时，修复图像样本存在一个前序
图像样本等。即，上述前序图像样本（Xt-p，…，Xt-2，Xt-1）仅为一种可能的表现形式，在该例子
下，前序图像样本的数量为至少三个。其中，将前序图像样本Xt-p的前序样本修复区域记作
Bt-p，…，将前序图像样本Xt-2的前序样本修复区域记作Bt-2，将前序图像样本Xt-1的前序样本
修复区域记作Bt-1等，具体的，计算机设备可以将前序图像样本、修复图像样本及前序图像
样本的前序样本修复区域，即（Xt-p，…，Xt-2，Xt-1，Xt，Bt-p，…，Bt-2，Bt-1），输入第一区域预测
模型进行预测，得到样本预测修复区域，记作
。其中，前序图像样本、修复图像样本与前
序图像样本的前序样本修复区域的排列顺序，可以根据模型需要进行调整，在此不做限制。
其中，该前序样本修复区域是指对应的前序图像样本的前序修复区域标签，可选的，若视频
样本中存在首位图像帧的修复区域标签及关键图像帧的修复区域标签，则可以基于第一区
域预测模型，预测前序常规图像样本的前序样本修复区域，该前序常规图像样本是指该前
序图像样本中，除首位图像帧及关键图像帧之外的图像帧。
步骤S303，基于第一媒体修复模型对样本预测修复区域及修复图像样本进行修复，得到修复图像样本所对应的样本优化图像。
在本申请实施例中，计算机设备可以将样本预测修复区域及修复图像样本输入第
一媒体修复模型进行修复，得到修复图像样本所对应的样本优化图像。当修复图像样本是
组成视频样本的N个样本图像帧中的一个样本图像帧时，可以将前序图像样本、修复图像样
本、样本预测修复区域及前序样本修复区域，即（Xt-p，…，Xt-2，Xt-1，Xt，Bt-p，…，Bt-2，Bt-1，
），
输入第一媒体修复模型，在第一媒体修复模型中，对修复图像样本进行修复，得到修复图像
样本所对应的样本优化图像。其中，前序图像样本、修复图像样本、样本预测修复区域及前
序图像样本的前序样本修复区域的排列顺序，可以根据模型需要进行调整，在此不做限制。
步骤S304，根据样本预测修复区域、修复区域标签、原始图像样本及样本优化图像，对第一区域预测模型及第一媒体修复模型进行联合调整，得到第一区域预测模型所对应的目标区域预测模型，以及第一媒体修复模型所对应的目标媒体修复模型。
在本申请实施例中，计算机设备可以根据样本预测修复区域及修复区域标签生成第三损失函数，根据原始图像样本及样本优化图像生成第四损失函数。其中，该第三损失函数可以是h1个第一模型损失函数中的任意一个，或由h1个第一模型损失函数中的至少两个组合得到，或由h1个第一模型损失函数中的至少两个加权组合得到。h1为正整数。可选的，该h1个第一模型损失函数可以包括如公式①所示的损失函数：
如公式①所示，LCE用于表示一种第一模型损失函数，Bgt用于表示该修复图像样本
的修复区域标签，
用于表示样本预测修复区域。
可选的，该h1个第一模型损失函数可以包括如公式②所示的损失函数：
如公式②所示，Lfocal用于表示一种第一模型损失函数，Bgt用于表示该修复图像样
本的修复区域标签，
用于表示样本预测修复区域。γ是一种指数参数，可以是基于经验
值得到的，也可以是常用的参数值等。
其中，以上公式①及公式②是例举的可能的第一模型损失函数，h1个第一模型损失函数也可以包括其他的损失函数，如交并比损失（intersection over unionloss，IoUloss）及广义交并比损失（Generalized Intersection over Union，GIoUloss）等，在此不做限制。
可选的，修复图像样本是指组成视频样本的N个样本图像帧中的一个样本图像帧，可以将h1个第一模型损失函数中的任意一个第一模型损失函数，确定为第三损失函数；或者，可以将h1个第一模型损失函数中的至少两个第一模型损失函数进行组合，得到第三损失函数；或者，可以将h1个第一模型损失函数中的至少两个第一模型损失函数进行加权求和，得到第三损失函数。或者，可以基于样本预测修复区域及修复区域标签之间的差异数据，生成区域差异损失函数，基于第二判别器对第一区域预测模型进行判别检测，得到辅助损失函数，基于区域差异损失函数与辅助损失函数生成第三损失函数。具体的，可以将前序样本修复区域及样本优化图像输入第一区域预测模型进行预测，得到第一预测区域。可选的，可以在前序图像样本中获取与修复图像样本相邻的邻接图像样本，将该邻接图像样本的前序样本修复区域及样本优化图像输入第一区域预测模型进行预测，得到第一预测区域。将前序样本修复区域及原始图像样本输入第一区域预测模型进行预测，得到第二预测区域。可选的，可以将邻接图像样本的前序样本修复区域及原始图像样本输入第一区域预测模型进行预测，得到第二预测区域。根据第一预测区域及第二预测区域，生成辅助损失函数。可选的，该辅助损失函数的一种可能的生成方式可以参见公式③所示：
如公式③所示，LDS用于表示辅助损失函数，DS用于表示第二判别器，NetS用于表示
第一区域预测模型，Yt用于表示原始图像样本，Bt-1用于表示邻接图像样本的前序样本修复
区域，
用于表示样本优化图像。也就是说，NetS(Yt,Bt-1)用于表示第二预测区域，
用于表示第一预测区域。进一步地，可以将第一预测区域输入第二判别器
进行检测，得到第一区域检测结果，将第二预测区域输入第二判别器进行检测，得到第二区
域检测结果，根据第一区域检测结果与第二区域检测结果的差异数据，生成辅助损失函数。
通过第一媒体修复模型的相关数据对第一区域预测模型进行参数调整，使得第一区域预测
模型的输出结果更适用且有利于第一媒体修复模型的任务执行，实现了不同模型之间的相
互促进优化，进而提高数据修复的准确性。
进一步地，可以根据样本预测修复区域及修复区域标签之间的差异数据，生成区域差异损失函数。其中，该区域差异损失函数可以是根据h1个第一模型损失函数所生成的，即可以是h1个第一模型损失函数中的任意一个，或由h1个第一模型损失函数中的至少两个组合得到，或由h1个第一模型损失函数中的至少两个加权组合得到。可以根据辅助损失函数与区域差异损失函数，生成第三损失函数。
其中，可以将该第三损失函数记作Lseg，例如，该Lseg=LCE，或者，Lseg=Lfocal，或者，Lseg=LCE+…+Lfocal，或者，Lseg=λLCE+…+μLfocal等，在此不做限制，其中，λ及μ等用于表示对应的第一模型损失函数的函数权重。可选的，当修复图像样本是指组成视频样本的N个样本图像帧中的一个样本图像帧时，第三损失函数还可以包括辅助损失函数，如，Lseg=LCE+…+Lfocal+LDS等。
进一步地，可以根据h2个第二模型损失函数生成第四损失函数，该第四损失函数可以是h2个第二模型损失函数中的任意一个，或由h2个第二模型损失函数中的至少两个组合得到，或由h2个第二模型损失函数中的至少两个加权组合得到。h2为正整数。可选的，该h2个第二模型损失函数可以包括如公式④所示的损失函数：
如公式④所示，Lsec用于表示一种第二模型损失函数，Yt用于表示原始图像样本，
用于表示样本优化图像。“|| ||2”用于表示一种运算符号。
可选的，该h2个第二模型损失函数可以包括如公式⑤所示的损失函数：
如公式⑤所示，Lstyle用于表示一种第二模型损失函数，F可以是一种神经网络，如视觉几何群网络（Visual Geometry Group Network，VGG）等。
可选的，该h2个第二模型损失函数可以包括如公式⑥所示的损失函数：
如公式⑥所示，Lgan用于表示一种第二模型损失函数，D用于表示第一判别器。
其中，以上公式④至公式⑥是例举的可能的第二模型损失函数，h2个第二模型损失函数也可以包括其他的损失函数，如交叉熵损失函数或逐点差异损失函数等，在此不做限制。
一种可选的第四损失函数生成方式中，可以获取原始图像样本与样本优化图像之
间的图像差异数据，根据图像差异数据生成图像差异损失函数，可以参见公式④及公式⑤
等。将原始图像样本输入第一判别器进行检测，得到原始图像样本所对应的原始判别结果，
将样本优化图像输入第一判别器进行检测，得到样本优化图像所对应的优化判别结果，根
据原始判别结果与优化判别结果，生成判别损失函数。可以参见公式⑥所示，其中，D(Yt)用
于表示原始判别结果，
用于表示优化判别结果。对图像差异损失函数与判别损失函
数进行组合，得到第四损失函数。其中，可以将第四损失函数记作Linput，如，Linput=Lsec，或
Linput=Lstyle，或Linput=Lsec+Lgan等。
进一步地，可以对第三损失函数与第四损失函数进行函数结合，得到联合损失函数，记作LALL。通过联合损失函数对第一区域预测模型及第一媒体修复模型进行联合参数调整，得到第一区域预测模型所对应的目标区域预测模型，以及第一媒体修复模型所对应的目标媒体修复模型。
在本申请实施例中，可以获取修复图像样本，获取修复图像样本所对应的修复区域标签及原始图像样本；基于第一区域预测模型对修复图像样本进行预测，得到样本预测修复区域；基于第一媒体修复模型对样本预测修复区域及修复图像样本进行修复，得到修复图像样本所对应的样本优化图像；根据样本预测修复区域、修复区域标签、原始图像样本及样本优化图像，对第一区域预测模型及第一媒体修复模型进行联合参数调整，得到第一区域预测模型所对应的目标区域预测模型，以及第一媒体修复模型所对应的目标媒体修复模型。进一步地，可以基于目标区域预测模型及目标媒体修复模型对图像进行修复处理。通过以上过程，实现了对多任务的联合训练及使用，以实现不同任务之间的相互调整及促进，充分学习不同任务中的互补信息及相似信息等，得到互相增益的效果，也就是说，不同任务之间可以互相提供增进的有效信息，以促进不同任务的模型表现，相互提升不同模型的输出结果的精确性，有利于模型的设计和效果的提升，从而提高数据修复的准确性。
进一步可选的，可以进行初步调整，得到第一区域预测模型及第一媒体修复模型，该过程可以参见图4，图4是本申请实施例提供的一种多步训练方法示意图。如图4所示，该过程可以包括如下步骤：
步骤S401，获取修复图像样本，获取修复图像样本所对应的修复区域标签及原始图像样本。
在本申请实施例中，可以参见图3的步骤S301的相关描述，在此不再进行赘述。
步骤S402，进行初步调整，得到第一区域预测模型及第一媒体修复模型。
在本申请实施例中，计算机设备可以获取第二区域预测模型及第二媒体修复模型，采用修复图像样本对第二区域预测模型进行参数调整，得到第一区域预测模型，采用修复图像样本对第二媒体修复模型进行参数调整，得到第一媒体修复模型等。
具体的，将修复图像样本输入第二区域预测模型进行预测，得到修复图像样本中的初始预测修复区域；根据初始预测修复区域与修复区域标签生成第一损失函数，通过第一损失函数对第二区域预测模型进行参数调整，得到第一区域预测模型。其中，该第一损失函数的生成可以参见第三损失函数的生成方式，在第三损失函数中是基于修复区域标签及样本预测修复区域所得到的，而第一损失函数是基于修复区域标签及初始预测修复区域所得到的，即将第三损失函数中的样本预测修复区域更改为初始预测修复区域，即可以表示第一损失函数的生成方式。将修复图像样本及修复区域标签输入第二媒体修复模型进行修复，得到修复图像样本所对应的初始优化图像；根据初始优化图像与原始图像样本生成第二损失函数，通过第二损失函数对第二媒体修复模型进行参数调整，得到第一媒体修复模型。其中，第二损失函数的生成可以参见第四损失函数的生成方式，其中，第四损失函数是基于样本优化图像及原始图像样本所得到的，第二损失函数是基于初始优化图像与原始图像样本所得到的。
可选的，该第一区域预测模型的数量可以为d个，d为正整数。例如，第一区域预测模型可以包括区域分离模型及区域识别模型。可以将修复图像样本输入初始区域分离模型进行预测，得到二值预测图像，从二值预测图像中获取分离修复区域。将修复图像样本输入初始区域识别模型进行预测，得到修复图像样本中的预测边框，将预测边框在修复图像样本中所对应的区域确定为识别修复区域。根据分离修复区域与修复区域标签生成第一区域损失函数，根据识别修复区域与修复区域标签生成第二区域损失函数，根据分离修复区域与识别修复区域生成第三区域损失函数。根据第一区域损失函数、第二区域损失函数及第三区域损失函数，对初始区域分离模型及初始区域识别模型进行联合参数调整，得到初始区域分离模型所对应的区域分离模型，以及初始区域识别模型所对应的区域识别模型。可选的，d个第一区域预测模型可以包括区域分离模型、区域识别模型或物体检测模型等中的任意一个或多个。由于d个第一区域预测模型的作用均是为了识别修复图像样本中需要进行修复的区域，因此，在理论上，各个第一区域预测模型针对修复图像样本所得到的结果均有一定的相似性，可以对d个第一区域预测模型进行联合训练，以基于预测结果进行相互调整，从而提高需要修复的区域的预测准确性。
步骤S403，基于第一区域预测模型对修复图像样本进行预测，得到样本预测修复区域。
在本申请实施例中，可以参见图3的步骤S302的相关描述，在此不再进行赘述。
步骤S404，基于第一媒体修复模型对样本预测修复区域及修复图像样本进行修复，得到修复图像样本所对应的样本优化图像。
在本申请实施例中，可以参见图3的步骤S303的相关描述，在此不再进行赘述。
步骤S405，根据样本预测修复区域、修复区域标签、原始图像样本及样本优化图像，对第一区域预测模型及第一媒体修复模型进行联合调整，得到第一区域预测模型所对应的目标区域预测模型，以及第一媒体修复模型所对应的目标媒体修复模型。
在本申请实施例中，可以参见图3的步骤S304的相关描述，在此不再进行赘述。
进一步地，可以参见图5，图5是本申请实施例提供的一种数据修复的方法流程图。如图5所示，该方法可以包括如下步骤：
步骤S501，获取待修复图像帧，基于目标区域预测模型对待修复图像帧进行预测，得到待修复图像帧的待修复区域。
在本申请实施例中，计算机设备可以将待修复图像帧输入目标区域预测模型进行预测，得到待修复图像帧的待修复区域。其中，一种区域预测方式下，可以在目标区域预测模型中，采用k个池化参数，分别对待修复图像帧进行池化处理，得到待修复图像帧所对应的k个池化特征；k为正整数。对k个池化特征分别进行卷积处理，得到k个卷积特征。对k个卷积特征进行特征融合预测，得到待修复图像帧的待修复区域。
举例来说，可以参见图6，图6是本申请实施例提供的一种区域预测方法示意图。如图6所示，计算机设备可以将待修复图像帧601输入目标区域预测模型中，得到初始图像特征602，采用k个池化参数，分别对待修复图像帧的初始图像特征602进行池化处理，得到待修复图像帧所对应的k个池化特征，如池化特征6031、池化特征6032及池化特征6033等。进一步地，可以对k个池化特征分别进行卷积处理，得到k个卷积特征，如池化特征6031所对应的卷积特征6041、池化特征6032所对应的卷积特征6042，及池化特征6033所对应的卷积特征6043等。可以对k个卷积特征进行特征融合预测，得到待修复图像帧的待修复区域。具体的，可以基于初始图像特征602的初始特征尺寸，分别对k个卷积特征进行上采样处理，得到k个卷积特征分别对应的上采样特征。对初始图像特征602与k个上采样特征进行特征融合，得到融合特征605；或者，对k个上采样特征进行特征融合，得到融合特征605。对融合特征605进行预测，得到预测结果606，该预测结果606包括待修复图像帧的待修复区域6061。
一种区域预测方式下，可以在目标区域预测模型中，获取待修复图像帧的初始图像特征，对该初始图像特征进行卷积处理，得到初始卷积特征，对该初始卷积特征进行池化处理，得到编码池化特征，以增大感受野，其中，感受野是指特征图上的某个点在输入空间所受影响的区域，即，特征图上的像素点映射回输入图像上的区域大小。进一步地，对编码池化特征进行返卷积处理，得到解码卷积特征，对该解码卷积特征进行上采样处理，得到该待修复图像帧的预测特征图谱，对该预测特征图谱进行激活处理，得到待修复图像帧的待修复区域。
一种区域预测方式下，可以在目标区域预测模型中，获取待修复图像帧的初始图像特征，对该初始图像特征进行卷积处理，得到初始卷积特征，对该初始卷积特征进行池化处理，得到编码池化特征，对该编码池化特征进行连续卷积处理，即通过r个卷积层，依次对该编码池化特征进行卷积处理，预测得到待修复图像帧的待修复区域，其中，r为正整数。举例来说，参见图7，图7是本申请实施例提供的另一种区域预测方法示意图。如图7所示，计算机设备可以获取待修复图像帧的初始图像特征701，对该初始图像特征701进行卷积处理，得到初始卷积特征702，对该初始卷积特征进行池化处理，得到编码池化特征703，对该编码池化特征进行连续卷积处理，即通过r个卷积层，依次对该编码池化特征进行卷积处理，预测得到待修复图像帧704的待修复区域7041。
一种区域预测方式下，可以在目标区域预测模型中，获取待修复图像帧的初始图像特征，采用s个卷积尺寸，分别对初始图像特征进行空洞卷积采样，得到s个空洞卷积特征，s为正整数。对s个空洞卷积特征进行特征融合，得到空洞融合特征，对该空洞融合特征进行多尺度特征提取，得到全局特征及局部特征。基于全局特征及局部特征进行预测，得到待修复图像帧中的待修复区域。
其中，以上仅为例举的几种可选的区域预测方式，也可以采用其他方式预测待修复图像帧中的待修复区域，在此不做限制。
其中，待修复图像帧是指组成视频数据的M个图像帧中的一个图像帧；M为正整数。计算机设备可以在M个图像帧中获取待修复图像帧的前序图像帧，获取前序图像帧所对应的前序修复区域；将前序修复区域、前序图像帧及待修复图像帧输入目标区域预测模型进行预测，得到待修复图像帧所对应的待修复区域。可选的，该前序图像帧的数量可以为小于或等于前序数量阈值的自然数，这是由于对于M个图像帧中位于首位的图像帧来说，不存在前序图像帧。具体的，可以将M个图像帧中位于待修复图像帧之前的图像帧，确定为该待修复图像帧的前序图像帧。或者，可以在M个图像帧中，获取位于待修复图像帧之前的图像帧的图像帧数，若该图像帧数小于或等于前序数量阈值，则将位于待修复图像帧之前的图像帧，确定为该待修复图像帧的前序图像帧；若该图像帧数大于前序数量阈值，则在M个图像帧中，以待修复图像帧为基础，依次向前获取前序数量阈值所对应的图像帧，作为该待修复图像帧的前序图像帧。或者，可以对视频样本进行语义解析，得到M个图像帧分别对应的图像语义信息，基于图像语义信息将M个图像帧分为一个或至少两个图像集群，每个图像集群中所包括的图像帧，在视频样本中连续且图像语义信息的相似度大于图像相似阈值，计算机设备可以获取待修复图像帧所在的目标图像集群，将目标图像集群中位于该待修复图像帧之前的图像帧，确定为该待修复图像帧的前序图像帧。
具体的，可以将前序修复区域、前序图像帧及待修复图像帧输入目标区域预测模型。一种区域预测方式下，在目标区域预测模型中，基于前序图像帧与待修复图像帧之间的图像连续性，对待修复图像帧进行预测，得到待修复图像帧所对应的初始预测区域。在目标区域预测模型中，基于前序修复区域的区域连续性，对初始预测区域进行调整，得到待修复图像帧所对应的待修复区域。
或者，可以采样上述任意一种区域预测方式，预测待修复图像帧所对应的待修复区域。具体的，在任意一种区域预测方式中，当获取待修复图像帧的初始图像特征时，可以在目标区域预测模型中，对该前序修复区域、前序图像帧及待修复图像帧进行特征融合提取，得到初始图像特征。例如，可以分别获取前序修复区域、前序图像帧及待修复图像帧的特征图谱，对前序修复区域、前序图像帧及待修复图像帧的特征图谱进行特征融合处理，得到初始图像特征；或者，可以对前序修复区域、前序图像帧及待修复图像帧进行拼接，得到输入数据，获取输入数据的初始图像特征。
可选的，该目标区域预测模型的数量可以为d个，d为正整数，如目标区域分离模型或目标区域识别模型等。计算机设备可以基于d个目标区域预测模型分别预测该待修复图像帧的单体预测区域，对d个单体预测区域进行融合调整，得到待修复图像帧的待修复区域。
步骤S502，基于目标媒体修复模型对待修复图像帧中的待修复区域进行修复，得到待修复图像帧所对应的优化图像帧。
在本申请实施例中，目标区域预测模型与目标媒体修复模型是通过联合训练得到的。计算机设备可以将待修复图像帧及待修复区域输入目标区域预测模型进行修复，得到待修复图像帧所对应的优化图像帧。具体的，可以在目标媒体修复模型中，基于待修复区域确定该待修复图像帧中的有效区域，基于有效区域中的有效图像信息，对该待修复区域进行修复处理，得到待修复图像帧所对应的优化图像帧。或者，可以在目标媒体修复模型中，获取待修复图像帧的待修复图像特征，基于待修复区域对该待修复图像特征进行特征解析，得到待修复图像帧的待修复语义特征及待修复渲染特征等，对该待修复语义特征及待修复渲染特征进行修复处理，得到优化语义特征及优化渲染特征，对该优化语义特征及优化渲染特征进行特征融合处理，得到优化特征图谱，将优化特征图谱转换为优化图像帧。其中，待修复语义特征是指用于表示待修复图像帧中的图像内容的相关特征，待修复渲染特征是指用于表示待修复图像帧中的光照及色调等的分布及变化等的相关特征。
其中，待修复图像帧是指组成视频数据的M个图像帧中的一个图像帧；M为正整数。可以将前序图像帧、待修复图像帧、前序修复区域及待修复区域输入目标媒体修复模型进行修复，得到待修复图像帧的优化图像帧。一种修复方式下，可以将前序图像帧、待修复图像帧、前序修复区域及待修复区域输入目标媒体修复模型中；在目标媒体修复模型中，对前序图像帧与前序修复区域进行组合，得到前序组合图像；获取前序组合图像的像素特征图谱及语义特征图谱，获取待修复图像帧的像素特征图谱及语义特征图谱；对前序组合图像的像素特征图谱及待修复图像帧的像素特征图谱进行特征融合，得到注意力图谱；根据注意力图谱，从前序组合图像的语义特征图谱中获取语义修复数据；获取待修复区域在待修复图像帧中的语义特征图谱，基于语义修复数据对待修复区域的语义特征图谱进行修复处理，得到待修复图像帧的优化图像帧。
举例来说，可以参见图8，图8是本申请实施例提供的一种修复方法示意图。如图8所示，计算机设备在目标媒体修复模型中，可以对前序图像帧与前序修复区域进行组合，得到前序组合图像802，如图8中所示的前序组合图像8021及前序组合图像8022等。获取前序组合图像802的像素特征图谱及语义特征图谱，如前序组合图像8021的像素特征图谱及语义特征图谱，及前序组合图像8022的像素特征图谱及语义特征图谱等。获取待修复图像帧801的像素特征图谱8031及语义特征图谱8032。对前序组合图像802的像素特征图谱及待修复图像帧801的像素特征图谱8031进行特征融合，得到注意力图谱；根据注意力图谱，从前序组合图像的语义特征图谱中获取语义修复数据。获取待修复区域在待修复图像帧中的语义特征图谱804，基于语义修复数据对待修复区域的语义特征图谱进行修复处理，得到待修复图像帧的优化图像帧805。
一种修复方式下，可以在目标媒体修复模型中，获取前序图像帧与待修复图像帧中的相邻帧及一组非相邻帧的前向光流和反向光流，基于待修复区域对该前向光流及反向光流进行修复，得到优化光流场。进一步，可以基于优化光流场中的光流轨迹，为待修复区域中的待修复像素点传播候选像素。具体的，该优化光流场可以包括前向光流场及反向光流场，通过串联前向光流场及反向光流场，得到候选像素集合，基于光流轨迹对候选像素集合进行优化，得到待修复区域中的待修复像素点的候选像素。进一步地，可以对待修复区域中的待修复像素点的候选像素与待修复图像帧中的有效像素进行融合，对该待修复区域中的待修复像素点进行像素优化，实现对待修复区域的修复，得到待修复图像帧所对应的优化图像帧。
一种修复方式下，可以参见图9，图9是本申请实施例提供的另一种修复方法示意图，如图9所示，可以在目标媒体修复模型中，获取图像帧序列901，包括b个图像帧，如图9中的前序图像帧9011、前序图像帧9012及待修复图像帧9013等，b为正整数。采用u个块尺寸，分别对图像帧序列901进行处理，得到u个块尺寸分别对应的块融合特征，其中，u为正整数。对u个块融合特征进行卷积融合处理，得到序列融合特征，对序列融合特征进行特征还原处理，得到图像帧序列901所对应的优化图像帧序列904，如前序图像帧9011所对应的优化图像帧9041、前序图像帧9012所对应的优化图像帧9042及待修复图像帧9013所对应的优化图像帧9043等。具体的，可以获取图像帧序列901中的每个图像帧分别对应的第一特征图谱、第二特征图谱及内容特征图谱，其中，第一特征图谱与第二特征图谱用于进行注意力处理。以一个块尺寸为例，可以采用第i个块尺寸，从d个图像帧分别对应的第一特征图谱中获取第一块特征9021，采用第i个块尺寸，从d个图像帧分别对应的第二特征图谱中获取第二块特征9022。其中，第一块特征9021可以认为是由b*h/r1*w/r2个r1*r2的特征组成的，第二块特征9022可以认为是由b*h/r1*w/r2个r1*r2的特征组成的。其中，i为小于或等于u的正整数，h为图像帧的高度，w为图像帧的宽度，r1*r2是指对应的块尺寸。通过第一块特征9021与第二块特征9022获取区域相似性903。采用第i个块尺寸，从d个图像帧分别对应的内容特征图谱中获取内容块特征9023。对区域相似性903与内容块特征9023进行特征融合处理，得到第i个块尺寸所对应的块融合特征。同理，可以得到u个块尺寸分别对应的块融合特征。
其中，以上仅为例举的几种可选的修复方式，也可以采用其他方式对待修复图像帧进行修复，得到优化图像帧，在此不做限制。
可选的，对修复图像样本进行预测，得到样本预测修复区域的方式，也可以采用图5中的步骤S501所示的区域预测方式；对修复图像样本进行修复，得到样本优化图像的方式，可以采用图5中的步骤S502所示的修复方式等。
在本申请实施例中，可以获取待修复图像帧，基于目标区域预测模型对待修复图像帧进行预测，得到待修复图像帧的待修复区域；基于目标媒体修复模型对待修复图像帧中的待修复区域进行修复，得到待修复图像帧所对应的优化图像帧；目标区域预测模型与目标媒体修复模型是通过联合训练得到的。通过以上过程，实现了对多任务的联合训练及使用，以实现不同任务之间的相互调整及促进，充分学习不同任务中的互补信息及相似信息等，得到互相增益的效果，也就是说，不同任务之间可以互相提供增进的有效信息，以促进不同任务的模型表现，相互提升不同模型的输出结果的精确性，有利于模型的设计和效果的提升，从而提高数据修复的准确性。
可选的，本申请中进行模型训练的计算机设备（即图3所示的计算机设备）与模型预测的计算机设备（即图5所示的计算机设备）可以是相同的设备，也可以是不同的设备。
可选的，本申请可以应用于任意一个需要进行媒体修复的场景中，如对视频数据的修复场景或对图像的修复场景等。例如，计算机设备可以响应针对视频数据的修复请求，获取组成该视频数据的M个图像帧，采用上述图5所示的各个过程，对M个图像帧进行修复处理，得到M个图像帧分别对应的优化图像帧，将M个优化图像帧组成优化视频数据。可选的，当该针对视频数据的修复请求是由业务设备发送至计算机设备的时，计算机设备在得到优化视频数据时，还可以将该优化视频数据发送至该业务设备。或者，假定计算机设备获取到针对视频数据的上传请求，若检测到该视频数据存在异常，则可以获取组成该视频数据的M个图像帧，采用上述图5所示的各个过程，对M个图像帧进行修复处理，得到M个图像帧分别对应的优化图像帧，将M个优化图像帧组成优化视频数据，对该优化视频数据进行上传处理。
进一步地，请参见图10，图10是本申请实施例提供的一种数据修复装置示意图。该数据修复装置可以是运行于计算机设备中的一个计算机程序（包括程序代码等），例如该数据修复装置可以为一个应用软件；该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图10所示，该数据修复装置1000可以用于图3所对应实施例中的计算机设备，具体的，该装置可以包括：样本获取模块11、样本区域预测模块12、样本修复模块13及模型调整模块14。
样本获取模块11，用于获取修复图像样本，获取修复图像样本所对应的修复区域标签及原始图像样本；
样本区域预测模块12，用于基于第一区域预测模型对修复图像样本进行预测，得到样本预测修复区域；
样本修复模块13，用于基于第一媒体修复模型对样本预测修复区域及修复图像样本进行修复，得到修复图像样本所对应的样本优化图像；
模型调整模块14，用于根据样本预测修复区域、修复区域标签、原始图像样本及样本优化图像，对第一区域预测模型及第一媒体修复模型进行联合参数调整，得到第一区域预测模型所对应的目标区域预测模型，以及第一媒体修复模型所对应的目标媒体修复模型。
其中，该装置1000还包括：
初始预测模块15，用于将修复图像样本输入第二区域预测模型进行预测，得到修复图像样本中的初始预测修复区域；
第一调整模块16，用于根据初始预测修复区域与修复区域标签生成第一损失函数，通过第一损失函数对第二区域预测模型进行参数调整，得到第一区域预测模型；
第一修复模块17，用于将修复图像样本及修复区域标签输入第二媒体修复模型进行修复，得到修复图像样本所对应的初始优化图像；
修复模型生成模块18，用于根据初始优化图像与原始图像样本生成第二损失函数，通过第二损失函数对第二媒体修复模型进行参数调整，得到第一媒体修复模型。
其中，修复图像样本是指组成视频样本的N个样本图像帧中的一个样本图像帧；N为正整数；
该装置1000还包括：
前序获取模块19，用于获取修复图像样本在N个样本图像帧中的前序图像样本，获取前序图像样本所对应的前序样本修复区域；
该样本区域预测模块12，具体用于：
将前序图像样本、修复图像样本及前序样本修复区域输入第一区域预测模型进行预测，得到样本预测修复区域；
该样本修复模块13，具体用于：
将前序图像样本、修复图像样本、样本预测修复区域及前序样本修复区域，输入第一媒体修复模型，在第一媒体修复模型中，对修复图像样本进行修复，得到修复图像样本所对应的样本优化图像。
其中，该装置1000还包括：
轨迹生成模块20，用于获取前景对象样本及常规视频数据，对前景对象样本进行模拟运动处理，得到对象运动轨迹；
数据融合模块21，用于基于对象运动轨迹，将前景对象样本与常规视频数据进行融合，得到融合视频数据；
样本生成模块22，用于对融合视频数据进行场景渲染优化，生成视频样本。
其中，该模型调整模块14，包括：
第一损失生成单元141，用于根据样本预测修复区域及修复区域标签生成第三损失函数；
第二损失生成单元142，用于根据原始图像样本及样本优化图像生成第四损失函数；
损失结合单元143，用于对第三损失函数与第四损失函数进行函数结合，得到联合损失函数；
联合调整单元144，用于通过联合损失函数对第一区域预测模型及第一媒体修复模型进行联合参数调整，得到第一区域预测模型所对应的目标区域预测模型，以及第一媒体修复模型所对应的目标媒体修复模型。
其中，修复图像样本是指组成视频样本的N个样本图像帧中的一个样本图像帧；N为正整数；
该装置1000还包括：
该前序获取模块19，还用于获取修复图像样本在N个样本图像帧中的前序图像样本，获取前序图像样本所对应的前序样本修复区域；
该第一损失生成单元141，包括：
第一预测子单元1411，用于将前序样本修复区域及样本优化图像输入第一区域预测模型进行预测，得到第一预测区域；
第二预测子单元1412，用于将前序样本修复区域及原始图像样本输入第一区域预测模型进行预测，得到第二预测区域；
辅助损失生成子单元1413，用于根据第一预测区域及第二预测区域，生成辅助损失函数；
区域损失生成子单元1414，用于根据样本预测修复区域及修复区域标签之间的差异数据，生成区域差异损失函数；
第一损失组合子单元1415，用于根据辅助损失函数与区域差异损失函数，生成第三损失函数。
其中，该第二损失生成单元142，包括：
图像损失生成子单元1421，用于获取原始图像样本与样本优化图像之间的图像差异数据，根据图像差异数据生成图像差异损失函数；
结果判别子单元1422，用于将原始图像样本输入第一判别器进行检测，得到原始图像样本所对应的原始判别结果，将样本优化图像输入第一判别器进行检测，得到样本优化图像所对应的优化判别结果；
判别损失生成子单元1423，用于根据原始判别结果与优化判别结果，生成判别损失函数；
第二损失组合子单元1424，用于对图像差异损失函数与判别损失函数进行组合，得到第四损失函数。
其中，第一区域预测模型包括区域分离模型及区域识别模型；该装置1000还包括：
分离预测模块23，用于将修复图像样本输入初始区域分离模型进行预测，得到二值预测图像，从二值预测图像中获取分离修复区域；
识别预测模块24，用于将修复图像样本输入初始区域识别模型进行预测，得到修复图像样本中的预测边框，将预测边框在修复图像样本中所对应的区域确定为识别修复区域；
损失获取模块25，用于根据分离修复区域与修复区域标签生成第一区域损失函数，根据识别修复区域与修复区域标签生成第二区域损失函数，根据分离修复区域与识别修复区域生成第三区域损失函数；
模型生成模块26，用于根据第一区域损失函数、第二区域损失函数及第三区域损失函数，对初始区域分离模型及初始区域识别模型进行联合参数调整，得到初始区域分离模型所对应的区域分离模型，以及初始区域识别模型所对应的区域识别模型。
本申请实施例提供了一种数据修复装置，该装置可以获取修复图像样本，获取修复图像样本所对应的修复区域标签及原始图像样本；基于第一区域预测模型对修复图像样本进行预测，得到样本预测修复区域；基于第一媒体修复模型对样本预测修复区域及修复图像样本进行修复，得到修复图像样本所对应的样本优化图像；根据样本预测修复区域、修复区域标签、原始图像样本及样本优化图像，对第一区域预测模型及第一媒体修复模型进行联合参数调整，得到第一区域预测模型所对应的目标区域预测模型，以及第一媒体修复模型所对应的目标媒体修复模型。进一步地，可以基于目标区域预测模型及目标媒体修复模型对图像进行修复处理。通过以上过程，实现了对多任务的联合训练及使用，以实现不同任务之间的相互调整及促进，充分学习不同任务中的互补信息及相似信息等，得到互相增益的效果，也就是说，不同任务之间可以互相提供增进的有效信息，以促进不同任务的模型表现，相互提升不同模型的输出结果的精确性，有利于模型的设计和效果的提升，从而提高数据修复的准确性。
进一步地，请参见图11，图11是本申请实施例提供的另一种数据修复装置示意图。该数据修复装置可以是运行于计算机设备中的一个计算机程序（包括程序代码等），例如该数据修复装置可以为一个应用软件；该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图11所示，该数据修复装置1100可以用于图5所对应实施例中的计算机设备，具体的，该装置可以包括：图像获取模块31、区域预测模块32及数据修复模块33。
图像获取模块31，用于获取待修复图像帧；
区域预测模块32，用于基于目标区域预测模型对待修复图像帧进行预测，得到待修复图像帧的待修复区域；
数据修复模块33，用于基于目标媒体修复模型对待修复图像帧中的待修复区域进行修复，得到待修复图像帧所对应的优化图像帧；目标区域预测模型与目标媒体修复模型是通过联合训练得到的。
其中，待修复图像帧是指组成视频数据的M个图像帧中的一个图像帧；M为正整数；
该区域预测模块32，包括：
前序获取单元321，用于在M个图像帧中获取待修复图像帧的前序图像帧，获取前序图像帧所对应的前序修复区域；
区域预测单元322，用于将前序修复区域、前序图像帧及待修复图像帧输入目标区域预测模型进行预测，得到待修复图像帧所对应的待修复区域；
该数据修复模块33，具体用于：
将前序图像帧、待修复图像帧、前序修复区域及待修复区域输入目标媒体修复模型进行修复，得到待修复图像帧的优化图像帧。
其中，区域预测单元322，包括：
数据输入子单元3221，用于将前序修复区域、前序图像帧及待修复图像帧输入目标区域预测模型；
初始预测子单元3222，用于在目标区域预测模型中，基于前序图像帧与待修复图像帧之间的图像连续性，对待修复图像帧进行预测，得到待修复图像帧所对应的初始预测区域；
区域调整子单元3223，用于在目标区域预测模型中，基于前序修复区域的区域连续性，对初始预测区域进行调整，得到待修复图像帧所对应的待修复区域。
其中，该数据修复模块33，包括：
模型输入单元331，用于将前序图像帧、待修复图像帧、前序修复区域及待修复区域输入目标媒体修复模型中；
图像组合单元332，用于在目标媒体修复模型中，对前序图像帧与前序修复区域进行组合，得到前序组合图像；
图谱获取单元333，用于获取前序组合图像的像素特征图谱及语义特征图谱，获取待修复图像帧的像素特征图谱及语义特征图谱；
特征融合单元334，用于对前序组合图像的像素特征图谱及待修复图像帧的像素特征图谱进行特征融合，得到注意力图谱；
修复获取单元335，用于根据注意力图谱，从前序组合图像的语义特征图谱中获取语义修复数据；
图像修复单元336，用于获取待修复区域在待修复图像帧中的语义特征图谱，基于语义修复数据对待修复区域的语义特征图谱进行修复处理，得到待修复图像帧的优化图像帧。
其中，该区域预测模块32，包括：
数据池化单元323，用于在目标区域预测模型中，采用k个池化参数，分别对待修复图像帧进行池化处理，得到待修复图像帧所对应的k个池化特征；k为正整数；
特征卷积单元324，用于对k个池化特征分别进行卷积处理，得到k个卷积特征；
特征预测单元325，用于对k个卷积特征进行特征融合预测，得到待修复图像帧的待修复区域。
参见图12，图12是本申请实施例提供的一种计算机设备的结构示意图。如图12所示，本申请实施例中的计算机设备可以包括：一个或多个处理器1201、存储器1202和输入输出接口1203。该处理器1201、存储器1202和输入输出接口1203通过总线1204连接。存储器1202用于存储计算机程序，该计算机程序包括程序指令，输入输出接口1203用于接收数据及输出数据，如用于计算机设备与终端设备等之间进行数据交互；处理器1201用于执行存储器1202存储的程序指令。
其中，该处理器1201可以执行如下操作：
获取修复图像样本，获取修复图像样本所对应的修复区域标签及原始图像样本；
基于第一区域预测模型对修复图像样本进行预测，得到样本预测修复区域；
基于第一媒体修复模型对样本预测修复区域及修复图像样本进行修复，得到修复图像样本所对应的样本优化图像；
根据样本预测修复区域、修复区域标签、原始图像样本及样本优化图像，对第一区域预测模型及第一媒体修复模型进行联合参数调整，得到第一区域预测模型所对应的目标区域预测模型，以及第一媒体修复模型所对应的目标媒体修复模型。
其中，该处理器1201可以执行如下操作：
获取待修复图像帧，基于目标区域预测模型对待修复图像帧进行预测，得到待修复图像帧的待修复区域；
基于目标媒体修复模型对待修复图像帧中的待修复区域进行修复，得到待修复图像帧所对应的优化图像帧；目标区域预测模型与目标媒体修复模型是通过联合训练得到的。
其中，待修复图像帧是指组成视频数据的M个图像帧中的一个图像帧；M为正整数；
在基于目标区域预测模型对待修复图像帧进行预测，得到待修复图像帧的待修复区域时，该处理器1201可以执行如下操作：
在M个图像帧中获取待修复图像帧的前序图像帧，获取前序图像帧所对应的前序修复区域；
将前序修复区域、前序图像帧及待修复图像帧输入目标区域预测模型进行预测，得到待修复图像帧所对应的待修复区域；
基于目标媒体修复模型对待修复图像帧中的待修复区域进行修复，得到待修复图像帧所对应的优化图像帧，包括：
将前序图像帧、待修复图像帧、前序修复区域及待修复区域输入目标媒体修复模型进行修复，得到待修复图像帧的优化图像帧。
其中，在将前序修复区域、前序图像帧及待修复图像帧输入目标区域预测模型进行预测，得到待修复图像帧所对应的待修复区域时，该处理器1201可以执行如下操作：
将前序修复区域、前序图像帧及待修复图像帧输入目标区域预测模型；
在目标区域预测模型中，基于前序图像帧与待修复图像帧之间的图像连续性，对待修复图像帧进行预测，得到待修复图像帧所对应的初始预测区域；
在目标区域预测模型中，基于前序修复区域的区域连续性，对初始预测区域进行调整，得到待修复图像帧所对应的待修复区域。
其中，在将前序图像帧、待修复图像帧、前序修复区域及待修复区域输入目标媒体修复模型进行修复，得到待修复图像帧的优化图像帧时，该处理器1201可以执行如下操作：
将前序图像帧、待修复图像帧、前序修复区域及待修复区域输入目标媒体修复模型中；
在目标媒体修复模型中，对前序图像帧与前序修复区域进行组合，得到前序组合图像；
获取前序组合图像的像素特征图谱及语义特征图谱，获取待修复图像帧的像素特征图谱及语义特征图谱；
对前序组合图像的像素特征图谱及待修复图像帧的像素特征图谱进行特征融合，得到注意力图谱；
根据注意力图谱，从前序组合图像的语义特征图谱中获取语义修复数据；
获取待修复区域在待修复图像帧中的语义特征图谱，基于语义修复数据对待修复区域的语义特征图谱进行修复处理，得到待修复图像帧的优化图像帧。
其中，在基于目标区域预测模型对待修复图像帧进行预测，得到待修复图像帧的待修复区域时，该处理器1201可以执行如下操作：
在目标区域预测模型中，采用k个池化参数，分别对待修复图像帧进行池化处理，得到待修复图像帧所对应的k个池化特征；k为正整数；
对k个池化特征分别进行卷积处理，得到k个卷积特征；
对k个卷积特征进行特征融合预测，得到待修复图像帧的待修复区域。
在一些可行的实施方式中，该处理器1201可以是中央处理单元 (centralprocessing unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器 (digitalsignal processor，DSP)、专用集成电路 (application specific integrated circuit，ASIC)、现成可编程门阵列 (field-programmable gate array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
该存储器1202可以包括只读存储器和随机存取存储器，并向处理器1201和输入输出接口1203提供指令和数据。存储器1202的一部分还可以包括非易失性随机存取存储器。例如，存储器1202还可以存储设备类型的信息。
具体实现中，该计算机设备可通过其内置的各个功能模块执行如该图3或图5中各个步骤所提供的实现方式，具体可参见该图3或图5中各个步骤所提供的实现方式，在此不再赘述。
本申请实施例通过提供一种计算机设备，包括：处理器、输入输出接口、存储器，通过处理器获取存储器中的计算机程序，执行该图3或图5中所示方法的各个步骤，进行数据修复操作。本申请实施例实现了可以获取修复图像样本，获取修复图像样本所对应的修复区域标签及原始图像样本；基于第一区域预测模型对修复图像样本进行预测，得到样本预测修复区域；基于第一媒体修复模型对样本预测修复区域及修复图像样本进行修复，得到修复图像样本所对应的样本优化图像；根据样本预测修复区域、修复区域标签、原始图像样本及样本优化图像，对第一区域预测模型及第一媒体修复模型进行联合参数调整，得到第一区域预测模型所对应的目标区域预测模型，以及第一媒体修复模型所对应的目标媒体修复模型。进一步地，可以基于目标区域预测模型及目标媒体修复模型对图像进行修复处理。通过以上过程，实现了对多任务的联合训练及使用，以实现不同任务之间的相互调整及促进，充分学习不同任务中的互补信息及相似信息等，得到互相增益的效果，也就是说，不同任务之间可以互相提供增进的有效信息，以促进不同任务的模型表现，相互提升不同模型的输出结果的精确性，有利于模型的设计和效果的提升，从而提高数据修复的准确性。
本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序适于由该处理器加载并执行图3或图5中各个步骤所提供的数据修复方法，具体可参见该图3或图5中各个步骤所提供的实现方式，在此不再赘述。另外，对采用相同方法的有益效果描述，也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节，请参照本申请方法实施例的描述。作为示例，计算机程序可被部署为在一个计算机设备上执行，或者在位于一个地点的多个计算机设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算机设备上执行。
该计算机可读存储介质可以是前述任一实施例提供的数据修复装置或者该计算机设备的内部存储单元，例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备，例如该计算机设备上配备的插接式硬盘，智能存储卡（smart media card，SMC），安全数字（secure digital，SD）卡，闪存卡（flash card）等。进一步地，该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图3或图5中的各种可选方式中所提供的方法，实现了对多任务的联合训练及使用，以实现不同任务之间的相互调整及促进，充分学习不同任务中的互补信息及相似信息等，得到互相增益的效果，也就是说，不同任务之间可以互相提供增进的有效信息，以促进不同任务的模型表现，相互提升不同模型的输出结果的精确性，有利于模型的设计和效果的提升，从而提高数据修复的准确性。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同对象，而非用于描述特定顺序。此外，术语“包括”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在该说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的，具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据修复设备的处理器以产生一个机器，使得通过计算机或其他可编程数据修复设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据修复设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据修复设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。
Claims (15)
1.一种数据修复方法，其特征在于，所述方法包括：
获取修复图像样本，获取所述修复图像样本所对应的修复区域标签及原始图像样本；所述修复图像样本是指组成视频样本的N个样本图像帧中的一个样本图像帧；N为正整数；
获取所述修复图像样本在所述N个样本图像帧中的前序图像样本，获取所述前序图像样本所对应的前序样本修复区域；
将所述前序图像样本、所述修复图像样本及所述前序样本修复区域输入第一区域预测模型进行预测，得到样本预测修复区域；
将所述前序图像样本、所述修复图像样本、所述样本预测修复区域及所述前序样本修复区域，输入第一媒体修复模型，在所述第一媒体修复模型中，对所述修复图像样本进行修复，得到所述修复图像样本所对应的样本优化图像；
根据所述样本预测修复区域、所述修复区域标签、所述原始图像样本及所述样本优化图像，对所述第一区域预测模型及所述第一媒体修复模型进行联合参数调整，得到所述第一区域预测模型所对应的目标区域预测模型，以及所述第一媒体修复模型所对应的目标媒体修复模型。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
将所述修复图像样本输入第二区域预测模型进行预测，得到所述修复图像样本中的初始预测修复区域；
根据所述初始预测修复区域与所述修复区域标签生成第一损失函数，通过所述第一损失函数对所述第二区域预测模型进行参数调整，得到所述第一区域预测模型；
将所述修复图像样本及所述修复区域标签输入第二媒体修复模型进行修复，得到所述修复图像样本所对应的初始优化图像；
根据所述初始优化图像与所述原始图像样本生成第二损失函数，通过所述第二损失函数对所述第二媒体修复模型进行参数调整，得到所述第一媒体修复模型。
3.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取前景对象样本及常规视频数据，对所述前景对象样本进行模拟运动处理，得到对象运动轨迹；
基于所述对象运动轨迹，将所述前景对象样本与所述常规视频数据进行融合，得到融合视频数据；
对所述融合视频数据进行场景渲染优化，生成所述视频样本。
4.如权利要求1所述的方法，其特征在于，所述根据所述样本预测修复区域、所述修复区域标签、所述原始图像样本及所述样本优化图像，对所述第一区域预测模型及所述第一媒体修复模型进行联合参数调整，得到所述第一区域预测模型所对应的目标区域预测模型，以及所述第一媒体修复模型所对应的目标媒体修复模型，包括：
根据所述样本预测修复区域及所述修复区域标签生成第三损失函数，根据所述原始图像样本及所述样本优化图像生成第四损失函数；
对所述第三损失函数与所述第四损失函数进行函数结合，得到联合损失函数；
通过所述联合损失函数对所述第一区域预测模型及所述第一媒体修复模型进行联合参数调整，得到所述第一区域预测模型所对应的目标区域预测模型，以及所述第一媒体修复模型所对应的目标媒体修复模型。
5.如权利要求4所述的方法，其特征在于，所述方法还包括：
获取所述修复图像样本在所述N个样本图像帧中的前序图像样本，获取所述前序图像样本所对应的前序样本修复区域；
所述根据所述样本预测修复区域及所述修复区域标签生成第三损失函数，包括：
将所述前序样本修复区域及所述样本优化图像输入所述第一区域预测模型进行预测，得到第一预测区域；
将所述前序样本修复区域及所述原始图像样本输入所述第一区域预测模型进行预测，得到第二预测区域；
根据所述第一预测区域及所述第二预测区域，生成辅助损失函数；
根据所述样本预测修复区域及所述修复区域标签之间的差异数据，生成区域差异损失函数；
根据所述辅助损失函数与所述区域差异损失函数，生成第三损失函数。
6.如权利要求4所述的方法，其特征在于，所述根据所述原始图像样本及所述样本优化图像生成第四损失函数，包括：
获取所述原始图像样本与所述样本优化图像之间的图像差异数据，根据所述图像差异数据生成图像差异损失函数；
将所述原始图像样本输入第一判别器进行检测，得到所述原始图像样本所对应的原始判别结果，将所述样本优化图像输入所述第一判别器进行检测，得到所述样本优化图像所对应的优化判别结果；
根据所述原始判别结果与所述优化判别结果，生成判别损失函数；
对所述图像差异损失函数与所述判别损失函数进行组合，得到第四损失函数。
7.如权利要求1所述的方法，其特征在于，所述第一区域预测模型包括区域分离模型及区域识别模型；所述方法还包括：
将所述修复图像样本输入初始区域分离模型进行预测，得到二值预测图像，从所述二值预测图像中获取分离修复区域；
将所述修复图像样本输入初始区域识别模型进行预测，得到所述修复图像样本中的预测边框，将所述预测边框在所述修复图像样本中所对应的区域确定为识别修复区域；
根据所述分离修复区域与所述修复区域标签生成第一区域损失函数，根据所述识别修复区域与所述修复区域标签生成第二区域损失函数，根据所述分离修复区域与所述识别修复区域生成第三区域损失函数；
根据所述第一区域损失函数、所述第二区域损失函数及所述第三区域损失函数，对所述初始区域分离模型及所述初始区域识别模型进行联合参数调整，得到所述初始区域分离模型所对应的所述区域分离模型，以及所述初始区域识别模型所对应的所述区域识别模型。
8.一种数据修复方法，其特征在于，所述方法包括：
获取待修复图像帧，所述待修复图像帧是指组成视频数据的M个图像帧中的一个图像帧；M为正整数；
在所述M个图像帧中获取所述待修复图像帧的前序图像帧，获取所述前序图像帧所对应的前序修复区域；
将所述前序修复区域、所述前序图像帧及所述待修复图像帧输入目标区域预测模型进行预测，得到所述待修复图像帧所对应的待修复区域；
将所述前序图像帧、所述待修复图像帧、所述前序修复区域及所述待修复区域输入目标媒体修复模型进行修复，得到所述待修复图像帧所对应的优化图像帧；所述目标区域预测模型与所述目标媒体修复模型是通过联合训练得到的。
9.如权利要求8所述的方法，其特征在于，所述将所述前序修复区域、所述前序图像帧及所述待修复图像帧输入目标区域预测模型进行预测，得到所述待修复图像帧所对应的待修复区域，包括：
将所述前序修复区域、所述前序图像帧及所述待修复图像帧输入目标区域预测模型；
在所述目标区域预测模型中，基于所述前序图像帧与所述待修复图像帧之间的图像连续性，对所述待修复图像帧进行预测，得到所述待修复图像帧所对应的初始预测区域；
在所述目标区域预测模型中，基于所述前序修复区域的区域连续性，对所述初始预测区域进行调整，得到所述待修复图像帧所对应的待修复区域。
10.如权利要求8所述的方法，其特征在于，所述将所述前序图像帧、所述待修复图像帧、所述前序修复区域及所述待修复区域输入目标媒体修复模型进行修复，得到所述待修复图像帧所对应的优化图像帧，包括：
将所述前序图像帧、所述待修复图像帧、所述前序修复区域及所述待修复区域输入目标媒体修复模型中；
在所述目标媒体修复模型中，对所述前序图像帧与所述前序修复区域进行组合，得到前序组合图像；
获取所述前序组合图像的像素特征图谱及语义特征图谱，获取所述待修复图像帧的像素特征图谱及语义特征图谱；
对所述前序组合图像的像素特征图谱及所述待修复图像帧的像素特征图谱进行特征融合，得到注意力图谱；
根据所述注意力图谱，从所述前序组合图像的语义特征图谱中获取语义修复数据；
获取所述待修复区域在所述待修复图像帧中的语义特征图谱，基于所述语义修复数据对所述待修复区域的语义特征图谱进行修复处理，得到所述待修复图像帧的优化图像帧。
11.如权利要求8所述的方法，其特征在于，所述将所述前序修复区域、所述前序图像帧及所述待修复图像帧输入目标区域预测模型进行预测，得到所述待修复图像帧所对应的待修复区域，包括：
在目标区域预测模型中，对所述前序修复区域、所述前序图像帧及所述待修复图像帧进行特征融合提取，得到初始图像特征；
采用k个池化参数，分别对所述待修复图像帧的初始图像特征进行池化处理，得到所述待修复图像帧所对应的k个池化特征；k为正整数；
对所述k个池化特征分别进行卷积处理，得到k个卷积特征；
对所述k个卷积特征进行特征融合预测，得到所述待修复图像帧的待修复区域。
12.一种数据修复装置，其特征在于，所述装置包括：
样本获取模块，用于获取修复图像样本，获取所述修复图像样本所对应的修复区域标签及原始图像样本；所述修复图像样本是指组成视频样本的N个样本图像帧中的一个样本图像帧；N为正整数；
前序获取模块，用于获取所述修复图像样本在所述N个样本图像帧中的前序图像样本，获取所述前序图像样本所对应的前序样本修复区域；
样本区域预测模块，用于将所述前序图像样本、所述修复图像样本及所述前序样本修复区域输入第一区域预测模型进行预测，得到样本预测修复区域；
样本修复模块，用于将所述前序图像样本、所述修复图像样本、所述样本预测修复区域及所述前序样本修复区域，输入第一媒体修复模型，在所述第一媒体修复模型中，对所述修复图像样本进行修复，得到所述修复图像样本所对应的样本优化图像；
模型调整模块，用于根据所述样本预测修复区域、所述修复区域标签、所述原始图像样本及所述样本优化图像，对所述第一区域预测模型及所述第一媒体修复模型进行联合参数调整，得到所述第一区域预测模型所对应的目标区域预测模型，以及所述第一媒体修复模型所对应的目标媒体修复模型。
13.一种数据修复装置，其特征在于，所述装置包括：
图像获取模块，用于获取待修复图像帧；所述待修复图像帧是指组成视频数据的M个图像帧中的一个图像帧；M为正整数；
区域预测模块，用于在所述M个图像帧中获取所述待修复图像帧的前序图像帧，获取所述前序图像帧所对应的前序修复区域；
区域预测模块，还用于将所述前序修复区域、所述前序图像帧及所述待修复图像帧输入目标区域预测模型进行预测，得到所述待修复图像帧所对应的待修复区域；
数据修复模块，用于将所述前序图像帧、所述待修复图像帧、所述前序修复区域及所述待修复区域输入目标媒体修复模型进行修复，得到所述待修复图像帧所对应的优化图像帧；所述目标区域预测模型与所述目标媒体修复模型是通过联合训练得到的。
14.一种计算机设备，其特征在于，包括处理器、存储器、输入输出接口；
所述处理器分别与所述存储器和所述输入输出接口相连，其中，所述输入输出接口用于接收数据及输出数据，所述存储器用于存储计算机程序，所述处理器用于调用所述计算机程序，以使得所述计算机设备执行权利要求1-7任一项所述的方法，或者执行权利要求8-11任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于由处理器加载并执行，以使得具有所述处理器的计算机设备执行权利要求1-7任一项所述的方法，或者执行权利要求8-11任一项所述的方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210448573.5A CN114549369B (zh) | 2022-04-24 | 2022-04-24 | 数据修复方法、装置、计算机及可读存储介质 |
| PCT/CN2023/089718 WO2023207778A1 (zh) | 2022-04-24 | 2023-04-21 | 数据修复方法、装置、计算机及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210448573.5A CN114549369B (zh) | 2022-04-24 | 2022-04-24 | 数据修复方法、装置、计算机及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114549369A CN114549369A (zh) | 2022-05-27 |
| CN114549369B true CN114549369B (zh) | 2022-07-12 |
Family
ID=81667324
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210448573.5A Active CN114549369B (zh) | 2022-04-24 | 2022-04-24 | 数据修复方法、装置、计算机及可读存储介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114549369B (zh) |
| WO (1) | WO2023207778A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114549369B (zh) * | 2022-04-24 | 2022-07-12 | 腾讯科技（深圳）有限公司 | 数据修复方法、装置、计算机及可读存储介质 |
| CN117649358B (zh) * | 2024-01-30 | 2024-04-16 | 腾讯科技（深圳）有限公司 | 图像处理方法、装置、设备及存储介质 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107993210A (zh) * | 2017-11-30 | 2018-05-04 | 北京小米移动软件有限公司 | 图像修复方法、装置及计算机可读存储介质 |
| KR20210089166A (ko) * | 2018-11-07 | 2021-07-15 | 스펙트럼 옵틱스 아이엔씨. | 신경망을 사용한 밝은 반점 제거 |
| CN113016005A (zh) * | 2018-11-13 | 2021-06-22 | 三星电子株式会社 | 联合无监督对象分割与修复 |
| KR20210066366A (ko) * | 2019-11-28 | 2021-06-07 | 삼성전자주식회사 | 영상 복원 방법 및 장치 |
| CN111325699B (zh) * | 2020-03-20 | 2021-05-25 | 腾讯科技（深圳）有限公司 | 图像修复方法和图像修复模型的训练方法 |
| CN113689341A (zh) * | 2020-05-18 | 2021-11-23 | 京东方科技集团股份有限公司 | 图像处理方法及图像处理模型的训练方法 |
| CN111783605B (zh) * | 2020-06-24 | 2024-05-24 | 北京百度网讯科技有限公司 | 一种人脸图像识别方法、装置、设备及存储介质 |
| CN112184585B (zh) * | 2020-09-29 | 2024-03-29 | 中科方寸知微(南京)科技有限公司 | 一种基于语义边缘融合的图像补全方法及系统 |
| KR20220047141A (ko) * | 2020-10-08 | 2022-04-15 | 에스케이텔레콤 주식회사 | 영상복원 방법 및 장치 |
| WO2021077140A2 (en) * | 2021-02-05 | 2021-04-22 | Innopeak Technology, Inc. | Systems and methods for prior knowledge transfer for image inpainting |
| CN113436100B (zh) * | 2021-06-28 | 2023-11-28 | 北京百度网讯科技有限公司 | 用于修复视频的方法、装置、设备、介质和产品 |
| CN113284073B (zh) * | 2021-07-08 | 2022-04-15 | 腾讯科技（深圳）有限公司 | 一种图像修复方法、装置及存储介质 |
| CN113689356B (zh) * | 2021-09-14 | 2023-11-24 | 三星电子（中国）研发中心 | 一种图像修复的方法和装置 |
| CN113888431A (zh) * | 2021-09-30 | 2022-01-04 | Oppo广东移动通信有限公司 | 图像修复模型的训练方法、装置、计算机设备及存储介质 |
| CN114049280A (zh) * | 2021-11-25 | 2022-02-15 | 广州华多网络科技有限公司 | 图像消除修复方法及其装置、设备、介质、产品 |
| CN114549369B (zh) * | 2022-04-24 | 2022-07-12 | 腾讯科技（深圳）有限公司 | 数据修复方法、装置、计算机及可读存储介质 |
-
2022
- 2022-04-24 CN CN202210448573.5A patent/CN114549369B/zh active Active
-
2023
- 2023-04-21 WO PCT/CN2023/089718 patent/WO2023207778A1/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| CN114549369A (zh) | 2022-05-27 |
| WO2023207778A1 (zh) | 2023-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108229478B (zh) | 图像语义分割及训练方法和装置、电子设备、存储介质和程序 | |
| CN114549369B (zh) | 数据修复方法、装置、计算机及可读存储介质 | |
| CN111723635B (zh) | 实时场景理解系统 | |
| CN112037142B (zh) | 一种图像去噪方法、装置、计算机及可读存储介质 | |
| CN111783749A (zh) | 一种人脸检测方法、装置、电子设备及存储介质 | |
| CN111310770B (zh) | 目标检测方法和装置 | |
| CN113095346A (zh) | 数据标注的方法以及数据标注的装置 | |
| CN111768438B (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
| CN111652181B (zh) | 目标跟踪方法、装置及电子设备 | |
| CN112954399B (zh) | 一种图像处理方法、装置以及计算机设备 | |
| CN114926766A (zh) | 识别方法及装置、设备、计算机可读存储介质 | |
| CN111833360A (zh) | 一种图像处理方法、装置、设备以及计算机可读存储介质 | |
| CN115577768A (zh) | 半监督模型训练方法和装置 | |
| CN115273032A (zh) | 交通标志识别方法、装置、设备及介质 | |
| CN115131634A (zh) | 图像识别方法、装置、设备、存储介质及计算机程序产品 | |
| CN114529890A (zh) | 状态检测方法、装置、电子设备及存储介质 | |
| CN111008622B (zh) | 一种图像对象检测方法、装置以及计算机可读存储介质 | |
| CN117252947A (zh) | 图像处理方法、装置、计算机、存储介质及程序产品 | |
| Lange et al. | Lopr: Latent occupancy prediction using generative models | |
| KR102612625B1 (ko) | 신경망 기반의 특징점 학습 장치 및 방법 | |
| CN111914809A (zh) | 目标对象定位方法、图像处理方法、装置和计算机设备 | |
| CN116977484A (zh) | 图像脱敏方法、装置、电子设备及存储介质 | |
| CN115345782A (zh) | 图像处理方法、装置、计算机、可读存储介质及程序产品 | |
| CN116563840B (zh) | 基于弱监督跨模态对比学习的场景文本检测与识别方法 | |
| CN117036895B (zh) | 基于相机与激光雷达点云融合的多任务环境感知方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40071520 Country of ref document: HK |