CN117152167A - 一种目标移除、基于分割大模型的目标移除方法及设备 - Google Patents
一种目标移除、基于分割大模型的目标移除方法及设备 Download PDFInfo
- Publication number
- CN117152167A CN117152167A CN202311421347.9A CN202311421347A CN117152167A CN 117152167 A CN117152167 A CN 117152167A CN 202311421347 A CN202311421347 A CN 202311421347A CN 117152167 A CN117152167 A CN 117152167A
- Authority
- CN
- China
- Prior art keywords
- target
- image
- processed
- area
- shadow
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 118
- 230000011218 segmentation Effects 0.000 title claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 81
- 238000001914 filtration Methods 0.000 claims abstract description 32
- 239000011159 matrix material Substances 0.000 claims description 119
- 230000008439 repair process Effects 0.000 claims description 54
- 230000008569 process Effects 0.000 claims description 44
- 230000004927 fusion Effects 0.000 claims description 42
- 230000003287 optical effect Effects 0.000 claims description 35
- 238000000605 extraction Methods 0.000 claims description 25
- 238000007499 fusion processing Methods 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 abstract description 3
- 238000005516 engineering process Methods 0.000 abstract description 2
- 238000012216 screening Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 33
- 238000004891 communication Methods 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 5
- 241000422846 Sequoiadendron giganteum Species 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 238000003709 image segmentation Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000004075 alteration Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 101100269850 Caenorhabditis elegans mask-1 gene Proteins 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请涉及图像处理技术领域，尤其涉及一种目标移除、基于分割大模型的目标移除方法及设备。获取待处理图像和待处理图像中待移除目标的影子的第一位置信息，由于影子是因为物体遮住了光的传播，不能穿过不透明物体而形成的较暗区域，即饱和度较低的区域，因此对待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，即筛选出饱和度在预设饱和度范围的像素点构成的候选区域，将包含第一位置信息的候选区域，确定为待移除目标的影子对应的第一目标区域，在待处理图像中将第一目标区域移除，即可得到准确的将待移除目标的影子移除后的目标移除图像。本申请所保护的技术方案具有可控性、可靠性、可泛化性特点，符合可信赖特性。
Description
技术领域
本申请涉及图像处理技术领域，尤其涉及一种目标移除、基于分割大模型的目标移除方法及设备。
背景技术
在一些应用场景中，为了图像的美观，一般只在图像中保留“主角”，而把一些其他的“非主角”的目标移除，其中，目标可以是树、灯、人、动物、车辆等。例如，可以将一个图像中的“路人”移除，如果由人工对图像进行P图将花费大量的时间，效率极低。
随着分割一切模型（Segment Anything Model，SAM）的出现，SAM能够实现对图像中的目标进行分割，但是，SAM无法将阴影部分单独分割出来，例如无法将待移除目标的影子单独分割出来，在目标移除过程中也就无法将图像中待移除目标的影子移除。也就是说，目前将待移除目标移除之后的目标图像中会包括已经移除的目标的影子，从而导致目标图像不真实、不和谐。
因此，如何将图像中的待移除目标的影子移除成为亟待解决的问题。
发明内容
本申请实施例提供了一种目标移除、基于分割大模型的目标移除方法及设备，用以解决现有技术中无法将影子移除的问题。
第一方面，本申请提供了一种目标移除方法，所述方法包括：
获取待处理图像，以及所述待处理图像中待移除目标的影子的第一位置信息；
对所述待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，将包含所述第一位置信息的候选区域，确定为所述待移除目标的影子对应的第一目标区域；
在所述待处理图像中将所述第一目标区域移除，得到目标移除图像。
在本申请实施例中，获取待处理图像，以及待处理图像中待移除目标的影子的第一位置信息，由于影子是因为物体遮住了光的传播，不能穿过不透明物体而形成的较暗区域，即饱和度较低的区域，因此，对待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，即筛选出饱和度在预设饱和度范围的像素点构成的候选区域，将包含第一位置信息的候选区域，确定为待移除目标的影子对应的第一目标区域，在待处理图像中将第一目标区域移除，即可得到准确的将待移除目标的影子移除后的目标移除图像。
进一步地，所述确定为所述待移除目标的影子对应的第一目标区域之后，所述在所述待处理图像中将所述第一目标区域移除之前，所述方法还包括：
获取所述待处理图像中所述待移除目标的第二位置信息；
将所述待处理图像输入到分割模型中，确定所述待处理图像中包括的目标对应的移除区域；
将包含所述第二位置信息的移除区域，确定为所述待移除目标对应的第二目标区域；
所述在所述待处理图像中将所述第一目标区域移除，得到目标移除图像包括：
在所述待处理图像中将所述第一目标区域和所述第二目标区域移除，得到目标移除图像。
进一步地，所述在所述待处理图像中将所述第一目标图像移除之前，所述方法还包括：
确定所述第一目标区域与所述第二目标区域是否存在重叠区域，若存在，则对所述第一目标区域进行调整，使调整后的第一目标区域与所述第二目标区域不重叠。
进一步地，所述方法还包括：
将所述目标移除图像输入到图像修复模型中，得到修复图像，所述修复图像为对所述待处理图像中被移除区域进行填充修复后的图像。
进一步地，所述将所述目标移除图像输入到图像修复模型中，得到修复图像包括：
确定所述第一目标区域在所述待处理图像中对应的影子图像，并基于灰度共生矩阵算法对所述影子图像进行处理，得到目标影子纹理图；
将所述目标移除图像和所述目标影子纹理图输入到所述图像修复模型中，所述图像修复模型对所述目标移除图像和所述目标影子纹理图进行下采样处理，得到第一目标移除图像和第一目标影子纹理图；所述图像修复模型对所述第一目标移除图像进行局部特征提取处理和全局特征提取处理，得到局部特征矩阵和全局特征矩阵，并基于局部二值模式算子对所述目标影子纹理图进行处理，得到纹理特征矩阵；将所述纹理特征矩阵和所述局部特征矩阵进行第一融合处理，得到第一融合矩阵，并将所述局部特征矩阵和所述全局特征矩阵进行交叉融合处理，得到第二融合矩阵；基于所述第一融合矩阵和所述第二融合矩阵，确定所述第一目标移除图像对应的第一修复图像；并对所述第一修复图像进行快速傅里叶卷积处理，得到第二修复图像，对所述第二修复图像进行上采样处理，得到所述修复图像。
进一步地，所述确定所述第一目标区域在所述待处理图像中对应的影子图像包括：
确定所述第一目标区域在所述待处理图像中对应的掩码图，所述掩码图中所述第一目标区域包括的像素点的掩码为1，非所述第一目标区域包括的像素点的掩码为0；
将所述掩码图和所述待处理图像相乘，得到所述第一目标区域在所述待处理图像中对应的影子图像。
进一步地，若所述待处理图像为视频中的图像帧，所述方法还包括：
将所述目标移除图像，以及与所述待处理图像相邻的下一图像帧输入到光流模型中，得到与所述待处理图像相邻的下一图像帧中，所述待移除目标和/或所述待移除目标的影子对应的预测区域；
将所述下一图像帧更新为待处理图像，并在更新后的待处理图像中将所述待移除目标和/或所述待移除目标的影子对应的预测区域移除，得到更新后的目标移除图像。
进一步地，所述将所述下一图像帧更新为待处理图像之后，所述在更新后的待处理图像中将所述待移除目标和/或所述待移除目标的影子对应的预测区域移除之前，所述方法还包括：
若得到了所述待移除目标的影子对应的预测区域，则对更新后的待处理图像进行滤波处理，确定符合所述预设饱和度范围的像素点构成的候选区域；
将与所述待移除目标的影子对应的预测区域存在重叠的候选区域，确定为所述待移除目标的影子对应的第一目标预测区域；
使用所述第一目标预测区域对所述待移除目标的影子对应的预测区域进行更新。
进一步地，所述将所述下一图像帧更新为待处理图像之后，所述在更新后的待处理图像中将所述待移除目标和/或所述待移除目标的影子对应的预测区域移除之前，所述方法还包括：
若得到了所述待移除目标对应的预测区域，则将更新后的待处理图像输入到所述分割模型中，确定更新后的待处理图像中包括的目标对应的移除区域；
将与所述待移除目标对应的预测区域存在重叠的移除区域，确定为所述待移除目标对应的第二目标预测区域；
使用所述第二目标预测区域对所述待移除目标对应的预测区域进行更新。
第二方面，本申请实施例还提供了一种基于分割大模型的目标移除方法，所述方法包括：
获取待处理图像、所述待处理图像中待移除目标的影子的第三位置信息及所述待移除目标的第四位置信息；
对所述待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，将包含所述第三位置信息的候选区域，确定为所述待移除目标的影子对应的第三目标区域；
将所述待处理图像输入到所述分割大模型中，确定所述待处理图像中包括的目标对应的移除区域；将包含所述第四位置信息的移除区域，确定为所述待移除目标对应的第四目标区域；
在所述待处理图像中将所述第三目标区域和所述第四目标区域移除，得到目标移除图像。
第三方面，本申请实施例还提供了一种目标移除装置，所述装置包括：
获取模块，用于获取待处理图像，以及所述待处理图像中待移除目标的影子的第一位置信息；
确定模块，用于对所述待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，将包含所述第一位置信息的候选区域，确定为所述待移除目标的影子对应的第一目标区域；
移除模块，用于在所述待处理图像中将所述第一目标区域移除，得到目标移除图像。
进一步地，所述获取模块，还用于获取所述待处理图像中所述待移除目标的第二位置信息；
所述确定模块，还用于将所述待处理图像输入到分割模型中，确定所述待处理图像中包括的目标对应的移除区域；
所述移除模块，具体用于在所述待处理图像中将所述第一目标区域和所述第二目标区域移除，得到目标移除图像。
进一步地，所述装置还包括：
调整模块，用于确定所述第一目标区域与所述第二目标区域是否存在重叠区域，若存在，则对所述第一目标区域进行调整，使调整后的第一目标区域与所述第二目标区域不重叠。
进一步地，所述装置还包括：
修复模块，用于将所述目标移除图像输入到图像修复模型中，得到修复图像，所述修复图像为对所述待处理图像中被移除区域进行填充修复后的图像。
进一步地，所述修复模块，具体用于确定所述第一目标区域在所述待处理图像中对应的影子图像，并基于灰度共生矩阵算法对所述影子图像进行处理，得到目标影子纹理图；将所述目标移除图像和所述目标影子纹理图输入到所述图像修复模型中，所述图像修复模型对所述目标移除图像和所述目标影子纹理图进行下采样处理，得到第一目标移除图像和第一目标影子纹理图；所述图像修复模型对所述第一目标移除图像进行局部特征提取处理和全局特征提取处理，得到局部特征矩阵和全局特征矩阵，并基于局部二值模式算子对所述目标影子纹理图进行处理，得到纹理特征矩阵；将所述纹理特征矩阵和所述局部特征矩阵进行第一融合处理，得到第一融合矩阵，并将所述局部特征矩阵和所述全局特征矩阵进行交叉融合处理，得到第二融合矩阵；基于所述第一融合矩阵和所述第二融合矩阵，确定所述第一目标移除图像对应的第一修复图像；并对所述第一修复图像进行快速傅里叶卷积处理，得到第二修复图像，对所述第二修复图像进行上采样处理，得到所述修复图像。
进一步地，所述确定模块，还用于确定所述第一目标区域在所述待处理图像中对应的掩码图，所述掩码图中所述第一目标区域包括的像素点的掩码为1，非所述第一目标区域包括的像素点的掩码为0；将所述掩码图和所述待处理图像相乘，得到所述第一目标区域在所述待处理图像中对应的影子图像。
进一步地，若所述待处理图像为视频中的图像帧，所述装置还包括：
预测模块，用于将所述目标移除图像，以及与所述待处理图像相邻的下一图像帧输入到光流模型中，得到与所述待处理图像相邻的下一图像帧中，所述待移除目标和/或所述待移除目标的影子对应的预测区域；
所述移除模块，还用于将所述下一图像帧更新为待处理图像，并在更新后的待处理图像中将所述待移除目标和/或所述待移除目标的影子对应的预测区域移除，得到更新后的目标移除图像。
进一步地，所述确定模块，还用于若得到了所述待移除目标的影子对应的预测区域，则对更新后的待处理图像进行滤波处理，确定符合所述预设饱和度范围的像素点构成的候选区域；将与所述待移除目标的影子对应的预测区域存在重叠的候选区域，确定为所述待移除目标的影子对应的第一目标预测区域；使用所述第一目标预测区域对所述待移除目标的影子对应的预测区域进行更新。
进一步地，所述确定模块，还用于若得到了所述待移除目标对应的预测区域，则将更新后的待处理图像输入到所述分割模型中，确定更新后的待处理图像中包括的目标对应的移除区域；将与所述待移除目标对应的预测区域存在重叠的移除区域，确定为所述待移除目标对应的第二目标预测区域；使用所述第二目标预测区域对所述待移除目标对应的预测区域进行更新。
第四方面，本申请实施例还提供了一种基于分割大模型的目标移除装置，所述装置包括：
获取模块，用于获取待处理图像、所述待处理图像中待移除目标的影子的第三位置信息及所述待移除目标的第四位置信息；
确定模块，用于对所述待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，将包含所述第三位置信息的候选区域，确定为所述待移除目标的影子对应的第三目标区域；将所述待处理图像输入到所述分割大模型中，确定所述待处理图像中包括的目标对应的移除区域；将包含所述第四位置信息的移除区域，确定为所述待移除目标对应的第四目标区域；
移除模块，用于在所述待处理图像中将所述第三目标区域和所述第四目标区域移除，得到目标移除图像。
第五方面，本申请实施例还提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任一项所述目标移除方法的步骤，或，如上述基于分割大模型的目标移除方法的步骤。
第六方面，本申请实施例还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述目标移除方法的步骤，或，如上述基于分割大模型的目标移除方法的步骤。
附图说明
为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种目标移除方法的流程示意图；
图2a为本申请实施例提供的待处理图像示意图；
图2b为本申请实施例提供的相关技术的目标移除效果示意图；
图3a为本申请实施例提供的一种滤波处理后的图像示意图；
图3b为本申请实施例提供的一种图3a对应的掩码图；
图4为本申请实施例提供的一种图像分割示意图；
图5为本申请实施例提供的一种SAM处理流程示意图；
图6为本申请实施例提供的一种目标掩码图确定示意图；
图7为本申请实施例提供的一种目标移除过程示意图；
图8为本申请实施例提供的一种LaMa模型的图像修复过程示意图；
图9为本申请实施例提供的图像修复的示意图；
图10为本申请实施例提供的第一目标预测区域确定示意图；
图11为本申请实施例提供的一种视频的目标移除过程的示意图；
图12为本申请实施例提供的一种视频的目标移除的流程示意图；
图13为本申请实施例提供的一种基于分割大模型的目标移除方法的流程示意图；
图14为本申请实施例提供的目标移除装置的结构示意图；
图15为本申请实施例提供的基于分割大模型的目标移除装置的结构示意图；
图16为本申请实施例提供的一种电子设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图，对本申请的实施例的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供了一种目标移除方法及设备，该方法中获取待处理图像，以及待处理图像中待移除目标的影子的第一位置信息；对待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，将包含第一位置信息的候选区域，确定为待移除目标的影子对应的第一目标区域；在待处理图像中将该第一目标区域移除，得到目标移除图像。
图1为本申请实施例提供的一种目标移除方法的流程示意图，该过程包括以下步骤：
S101：获取待处理图像，以及所述待处理图像中待移除目标的影子的第一位置信息。
本申请实施例提供的目标移除方法应用于电子设备，该电子设备可以是服务器、PC、智能移动终端等。
图2a为本申请实施例提供的待处理图像示意图，如图2a所示，在进行目标移除时需要将图2a中正在打羽毛球的人移除，即将图2a中框选的人移除。
相关技术中，在对目标移除时只能将待移除目标，即正在打羽毛球的人移除，而从图2a中由于光照原因，图2a中还包括待移除目标的影子，而SAM无法将待移除目标的影子单独分割出来，在目标移除过程中也就无法将图像中待移除目标的影子移除。图2b为本申请实施例提供的相关技术的目标移除效果示意图，如图2b所示，相关技术中已经成功将待移除目标从图像中移除，但是待移除目标的影子还保留在图像中，导致得到的效果示意图图2不真实、不和谐。为了将待移除目标的影子移除，在本申请实施例中，可以获取待处理图像，以及待处理图像中待移除目标的影子的第一位置信息。
其中，待处理图像可以是电子设备的使用者输入的任意图像，也可以是视频中的某一图像帧，例如，可以是电子设备的使用者在观看视频时所选择的任一图像帧。待移除目标可以是待处理图像中的人物、动物、树木、建筑、花草等任一元素。
其中，第一位置信息可以是待移除目标的影子中包含的任一像素点的位置信息，例如，电子设备的使用者在可视化页面中显示的待处理图像中点选的像素点的位置信息；该第一位置信息也可以是待移除目标的影子中包含的多个像素点的位置信息，例如电子设备的使用者在可视化页面中显示的待处理图像中所框选的区域中包括的每个像素点的位置信息。
S102：对所述待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，将包含所述第一位置信息的候选区域，确定为所述待移除目标的影子对应的第一目标区域。
由于影子是因为物体遮住了光的传播，光不能穿过不透明物体而形成的较暗区域，即阴影区域，其饱和度较低，因此，在本申请实施例中，可以对待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域。也就是说，通过滤波的方式将待处理图像中饱和度较高的像素点滤除，得到符合预设饱和度范围的像素点构成的候选区域，由于候选区域是饱和度较低的像素点构成的，因此，可以认为所确定的候选区域可能为阴影区域，即影子所对应的区域。针对颜色饱和度低的特点，在HSV（(Hue，Saturation，Value）颜色模型下，饱和度是指色彩的纯度，纯色中没有灰色，颜色中混合的灰色越多，饱和度越低，饱和度值通常从0到100%测量，但在跨平台计算机视觉和机器学习软件库OpenCV中，饱和度的范围是从0到255。影子是由于物体遮住了光的传播，不能穿过不透明物体而形成的较暗区域，其饱和度较低，因此，在本申请实施例中，可以使用OpenCV进行滤波处理，其中预设饱和度范围可以设置为0-90。需要说明的是，本申请对如何对待处理图像进行滤波处理不进行限制，本领域的技术人员可根据需要进行配置。图3a为本申请实施例提供的一种滤波处理后的图像示意图，如图3a所示，该图像中较高饱和度的像素点已经被滤除，保留了符合预设饱和度范围的像素点构成的候选区域。
由于已经获取到了待移除目标的影子的第一位置信息，因此，在确定了待处理图像中的候选区域之后，可以将包含该第一位置信息的候选区域，确定为待移除目标的影子对应的第一目标区域。为了便于理解，在本申请实施例中对图3a进行处理，得到图3a对应的掩码图，图3b为本申请实施例提供的一种图3a对应的掩码图，如图3b所示，将可以包含第一位置信息的候选区域，确定为待移除目标的影子对应的第一目标区域，图中框选标识的候选区域即为第一目标区域。
S103：在所述待处理图像中将所述第一目标区域移除，得到目标移除图像。
在确定了待移除目标的影子对应的第一目标区域之后，可以在待处理图像中将第一目标区域移除，得到目标移除图像。在本申请实施例中，在将第一目标区域移除时，可以在待处理图像中将第一目标区域中包括的像素点的像素值设置为预设值，例如，在待处理图像中将第一目标区域中包括的像素点的像素值设置为0或者255，即将待处理图像中第一目标区域中包括的像素点设置为白色或者黑色。当然，还可以将待处理图像中第一目标区域中包括的像素点设置为其他颜色，本申请实施例对此不进行限制。
在本申请实施例中，获取待处理图像，以及待处理图像中待移除目标的影子的第一位置信息，由于影子是因为物体遮住了光的传播，不能穿过不透明物体而形成的较暗区域，即饱和度较低的区域，因此，对待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，即筛选出饱和度在预设饱和度范围的像素点构成的候选区域，将包含第一位置信息的候选区域，确定为待移除目标的影子对应的第一目标区域，在待处理图像中将第一目标区域移除，即可得到准确的将待移除目标的影子移除后的目标移除图像。
为了准确的将待移除目标移除，在上述实施例的基础上，在本申请实施例中，所述确定为所述待移除目标的影子对应的第一目标区域之后，所述在所述待处理图像中将所述第一目标区域移除之前，所述方法还包括：
获取所述待处理图像中所述待移除目标的第二位置信息；
将所述待处理图像输入到分割模型中，确定所述待处理图像中包括的目标对应的移除区域；
将包含所述第二位置信息的移除区域，确定为所述待移除目标对应的第二目标区域；
所述在所述待处理图像中将所述第一目标区域移除，得到目标移除图像包括：
在所述待处理图像中将所述第一目标区域和所述第二目标区域移除，得到目标移除图像。
在进行目标移除时，还可以将待移除目标从待处理图像中移除，在本申请实施例中，在确定了第一目标区域之后，在将第一目标区域从待处理图像中移除之前，还可以获取待处理图像中待移除目标的第二位置信息。该第二位置信息可以是待移除目标中包含的任一像素点的位置信息，例如，电子设备的使用者在可视化页面中显示的待处理图像中点选的像素点的位置信息；该第二位置信息也可以是待移除目标中包含的多个像素点的位置信息，例如电子设备的使用者在可视化页面中显示的待处理图像中所框选的区域中包括的每个像素点的位置信息。
为了将待处理图像中包括的待移除目标移除，在获取到待处理图像中待移除目标的第二位置信息之后，可以识别待处理图像中包括的每个目标，在本申请实施例中，可以将该待处理图像输入到分割模型中，确定待处理图像中包括的目标，每个目标所在的区域即为移除区域。
具体的，假设待处理图像中包括的目标分别为大树1、大树2、人物A和椅子。在本申请实施例中，可以将该待处理图像输入到分割模型中，该分割模型可以是SAM，SAM可以确定待处理图像中包括的每个目标对应的区域，在本申请实施例，可以将每个目标对应的区域称为移除区域。那么，将上述待处理图像输入到SAM中，所确定的移除区域可以分别是，大树1对应的移除区域、大树2对应的移除区域、人物A对应的移除区域和椅子对应的移除区域。
为了便于理解，图4为本申请实施例提供的一种图像分割示意图，如图4所示，将图2a输入到SAM中之后，SAM将输出该图像2a中包括的每个目标对应的移除区域，如图4可知，SAM将图像2a分割为多个区域，分别为移除区域1、移除区域2、移除区域3、移除区域4等。
为了便于理解下面对SAM的原理进行说明。SAM 是一个强大的图像分割基础模型，SAM在规模庞大的任意分割10亿掩码数据集（Segment Anything 1-Billion maskdataset，SA-1B）数据集上进行训练，该数据集中包含 1100 万张图像和 10 亿多个掩码。大量的训练让 SAM 了具备惊人的零样本泛化能力，SAM 可以在不需要任何标注的情况下，对任何图像中的任何物体进行分割。
SAM在Transformer视觉模型的基础上，对实时性能进行了特定的权衡。如图5所示，图5为本申请实施例提供的一种SAM处理流程示意图，SAM主要包括三个组件，分别为图像编码器（image encoder）、灵活提示编码器（prompt encoder）和快速掩码解码器（maskdecoder）。
其中，图像编码器。受可扩展性和强大的预训练方法的启发，使用了maskedautoencoder（MAE）预训练Vision Transformer（ViT），ViT至少适用于处理高分辨率输入。图像编码器每个图像运行一次，并且可以在灵活提示编码器之前应用。
其中，灵活提示编码器。考虑两组提示：稀疏和密集，其中，稀疏提示例如为点、框、文本，密集提示例如为掩码。通过位置编码来表示点和框，这些位置编码与每个提示类型的学习嵌入相加，并使用基于对比文本-图像对的预训练方法或者模型（ContrastiveLanguage-Image Pre-Training，CLIP）模型来确定自由格式文本。密集提示，即掩码，使用卷积嵌入，并与图像嵌入逐元素求和。
其中，快速掩码解码器，有效地将图像嵌入、提示嵌入和输出token映射到掩码。该设计受到的启发，采用了完善的Transformer解码器块，然后是动态掩码预测头。修改的解码器块在两个方向上使用提示自注意力和交叉注意力来更新所有嵌入。在运行两个块之后，对图像嵌入进行上采样，多层感知机（MLP，Multilayer Perceptron，MLP）将输出token映射到动态线性分类器，然后动态线性分类器计算每个图像位置的掩码前景概率。
需要说明的是，上述对于SAM的原理的说明只是简要的介绍，SAM为现有技术，其他关于SAM的介绍本申请实施例中不再赘述。
在确定了待处理图像中包括的目标对应的移除区域之后，可以将包含该第二位置信息的移除区域，确定为待移除目标对应的第二目标区域。
具体的，由于分割模型将待处理图像框选了多个移除区域，因此，为了便于确定第二目标区域，可以确定该多个移除区域对应的掩码图，例如，将每个移除区域中包括的像素点的掩码确定为1，将非移除区域中包括的像素点的掩码确定为0。在确定待移除目标对应的第二目标区域时，可以根据第二位置信息确定目标像素点，并确定该目标像素点对应的掩码，将该目标像素点对应的掩码所在的候选区域确定为第二目标区域。
在确定了第二目标区域之后，在待处理图像中将第一目标区域移除，得到目标移除图像时，在本申请实施例中，可以在待处理图像中将第一目标区域和第二目标区域一起移除，从而得到目标移除图像，此时，该目标移除图像为不包括待移除目标和待移除目标的影子的图像。
为了提高目标移除的效率，在上述各实施例的基础上，在本申请实施例中，所述在所述待处理图像中将所述第一目标图像移除之前，所述方法还包括：
确定所述第一目标区域与所述第二目标区域是否存在重叠区域，若存在，则对所述第一目标区域进行调整，使调整后的第一目标区域与所述第二目标区域不重叠。
由于待移除目标的影子和待移除目标具有一定连通性，也就是说，所确定的第一目标区域和第二目标区域之间可能存在重叠的区域，因此，在确定了第一目标区域和第二目标区域之后，可以确定第一目标区域与第二目标区域之间是否存在重叠区域。如果存在，为了提高目标移除的效率，避免重复移除，可以对第一目标区域进行调整，使调整后的第一目标区域与所述第二目标区域不重叠。当然，在本申请实施例中，也可以对第二目标区域进行调整，使调整后的第一目标区域与所述第二目标区域不重叠。
具体的，在对第一目标区域进行调整时，可以确定第一目标区域对应的第一掩码图，以及第二目标区域对应的第二掩码图，由于掩码图中是由0和1组成的，因此，在本申请实施例中，可以将第一掩码图减去第二掩码图，得到待移除目标的影子对应的目标掩码图，该目标掩码图中包括的像素点组成的区域即为调整后的第一目标区域。图6为本申请实施例提供的一种目标掩码图确定示意图，如图6所示，图6中最左边（图示中的左右）的a为第一目标区域对应的第一掩码图，第一掩码图中由1组成的区域可以看做是第一目标区域，为了方便确定第一目标区域和第二目标区域之间是否存在重叠，在本申请实施例中，在确定第一目标区域对应的第一掩码图时，第一掩码图中不仅包括第一目标区域，还包括待处理图像中非第一目标区域中的像素点，其中非第一目标区域中的像素点对应的掩码标识为0。也就是说，第一掩码图中包括了待处理图像中的每个像素点，其中，归属于第一目标区域的像素点对应的掩码为1，不归属于第一目标区域的像素点对应的掩码为0，即第一掩码图中，由掩码1组成的区域即为第一目标区域，即待移除目标的影子对应的区域。图6中，中间的b为第二目标区域对应的第二掩码图，该第二掩码图中由1组成的区域即为第二目标区域，即待移除目标对应的区域，由0组成的区域即为非第二目标区域。在掩码图相减时，第一掩码图中掩码为0的像素点的值不变，第一掩码图中掩码为1的像素点减去第二掩码图中对应像素点的掩码，即为该像素点的新值，得到的目标掩码图即为图6中最右边（图示中的左右）所示的c。
下面结合一个具体的实施例对目标移除过程进行说明，图7为本申请实施例提供的一种目标移除过程示意图，如图7所示，待处理图像为视频中的首帧图片，电子设备的使用者，即用户，可以在该首帧图片中点选移除目标和目标影子，其中，移除目标即为上述各实施例中的待移除目标，目标影子即为上述各实施例中的待移除目标的影子。通过用户的点选操作即可获取到待处理图像中待移除目标的样子的第一位置信息，以及待移除目标的第二位置信息。在得到了第一位置信息和第二位置信息之后，可以基于色彩滤波器对视频首帧图片，即待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，将包含第一位置信息的候选区域，确定为待移除目标的影子对应的第一目标区域，并确定该第一目标区域对应的目标影子掩码图。在基于色彩滤波器对视频首帧图片进行处理的同时，还可以将该视频首帧图片输入到SAM中，确定包括的目标对应的移除区域，将包含第二位置信息的移除区域，确定为待移除目标对应的第二目标区域，并确定该第二目标区域对应的目标掩码图。基于确定的目标掩码图和目标影子掩码图即可进行目标移除，从而得到目标移除图像。
为了保证目标移除后的图像的真实性，在上述各实施例的基础上，在本申请实施例中，所述方法还包括：
将所述目标移除图像输入到图像修复模型中，得到修复图像，所述修复图像为对所述待处理图像中被移除区域进行填充修复后的图像。
由于目标移除图像中被移除的区域是使用预设像素值进行替换的，因此，为了保证目标移除图像的真实性，在本申请实施例中，在得到了目标移除图像之后，可以将该目标移除图像输入到图像修复模型中，得到修复图像，即对待处理图像中被移除区域进行填充修复。
具体的，可以将目标移除图像输入到large mask inpainting（LaMa）模型中进行图像修复，得到修复图像。采用LaMa模型进行已被移除区域的图像修复，是基于傅里叶卷积的分辨率鲁棒的大掩模修复，使用快速傅里叶卷积、一种结合了对抗损失和高感受野感知损失的多损失组合以及一个大掩膜生成的程序。如果希望还原较大范围遮挡的图像，网络在浅层就应该获得更大的感受野。而目前的卷积模型，如残差神经网络（ResNet）的感受野增长是缓慢的，特别是对于大范围的遮挡，整个感受野可能都落在被遮挡的区域。而LaMa模型可以进行较好的图像修复，如图8所示，图8为本申请实施例提供的一种LaMa模型的图像修复过程示意图，将一个掩码图，即黑白图m，一个原始图像x，先将掩码图m取反和彩色图像x相乘，得到带有掩码的彩色图片，然后将其和掩码图基于通道进行叠加，得到一个4通道的图片x’。将x’输入绘画网络（Inpainting Network），即LaMa模型中，LaMa模型先是降采样到低分辨率，再经过几个快速傅里叶卷积FFC残差块，最后输出上采样，生成了一张高分辨的修复图像。需要说明的是，上述关于LaMa模型的内容只是为了便于理解进行的简要说明，如何使用LaMa模型对图像进行修复为现有技术，本申请实施例不再赘述。
为了进一步保证目标移除后的图像的真实性，在上述各实施例的基础上，在本申请实施例中，所述将所述目标移除图像输入到图像修复模型中，得到修复图像包括：
确定所述第一目标区域在所述待处理图像中对应的影子图像，并基于灰度共生矩阵算法对所述影子图像进行处理，得到目标影子纹理图；
将所述目标移除图像和所述目标影子纹理图输入到所述图像修复模型中，所述图像修复模型对所述目标移除图像和所述目标影子纹理图进行下采样处理，得到第一目标移除图像和第一目标影子纹理图；所述图像修复模型对所述第一目标移除图像进行局部特征提取处理和全局特征提取处理，得到局部特征矩阵和全局特征矩阵，并基于局部二值模式算子对所述目标影子纹理图进行处理，得到纹理特征矩阵；将所述纹理特征矩阵和所述局部特征矩阵进行第一融合处理，得到第一融合矩阵，并将所述局部特征矩阵和所述全局特征矩阵进行交叉融合处理，得到第二融合矩阵；基于所述第一融合矩阵和所述第二融合矩阵，确定所述第一目标移除图像对应的第一修复图像；并对所述第一修复图像进行快速傅里叶卷积处理，得到第二修复图像，对所述第二修复图像进行上采样处理，得到所述修复图像。
通过观察发现，图像中的影子区域通常是可以看出来背景的纹理特征的，也就是说，如果一个图像中包括影子区域，该影子区域只是相对于其他背景部分的颜色较暗，因为光线被影子所对应的目标遮挡了，但是通过颜色较暗区域依然可以观察出背景的特征，而待移除目标所在区域完全被遮挡，无法观察出背景的特征，因此，在本申请实施例中，为了进一步保证目标移除后的图像的真实性，在对目标图像进行修复的过程中，可以考虑影子区域的纹理特征，该纹理特征将有助于对第一目标区域的修复。在本申请实施例中，可以确定影子区域即第一目标区域在待处理图像中对应的影子图像，也就是说，得到待处理图像中待移除目标的影子所在区域的图像。在得到了影子图像之后，可以基于灰度共生矩阵算法对影子图像进行处理，得到目标影子纹理图。需要说明的是，灰度共生矩阵算法为现有技术，本申请实施例不再赘述。
通过提取影子区域的纹理特征图获得影子区域的先验信息，将该信息作为模型输入的一部分用于指导影子区域的图像修复。在得到了目标影子纹理图之后，可以将目标移除图像和目标影子纹理图输入到图像修复模型中，以使图像修复模型在对目标移除图像进行修复时参考目标影子纹理图的特征。
图像修复模型在接收到目标移除图像和目标影子纹理图之后，可以对目标移除图像进行下采样处理得到第一目标移除图像，并对目标影子纹理图进行下采样处理得到第一目标影子纹理图。需要说明的是，如何对图像进行下采样处理为现有技术，在本申请实施例中不再赘述。
在得到了第一目标移除图像和第一目标影子纹理图之后，图像修复模型可以对第一目标移除图像进行局部特征提取，得到局部特征矩阵，并对第一目标移除图像进行全局特征提取，得到全局特征矩阵。需要说明的是，如何对图像进行局部特征提取处理和全局特征提取处理为现有技术，本申请实施例中不再赘述，示例性地，本领域的技术人员可以参考LaMa模型在进行局部特征提取处理和全局特征提取处理的步骤。
在进行局部特征提取处理和全局特征提取处理的同时，还可以基于局部二值模式算子（Local binary patterns，LBP）对目标影子纹理图进行处理，得到纹理特征矩阵。LBP算子是表达图像局部纹理特征的算子，也就是说，纹理特征矩阵和局部特征矩阵均是用于描述图像局部特征的矩阵，因此，在本申请实施例中，可以将纹理特征矩阵和基于局部特征提取处理得到的局部特征矩阵进行第一融合处理，得到第一融合矩阵。其中第一融合处理可以是将纹理特征矩阵和局部特征矩阵拼接、相加等，本申请实施例对此不进行限制。
在本申请实施例中，还可以将局部特征矩阵和全局特征矩阵进行交叉融合处理，得到第二融合矩阵。如何进行交叉融合处理为现有技术，本申请实施例中不再赘述。示例性地，本领域的技术人员可以参考LaMa模型中交叉融合处理的步骤。
在得到了第一融合矩阵和第二融合矩阵之后，可以确定第一目标移除图像对应的第一修复图像。具体的，可以对第一融合矩阵和第二融合矩阵进行非线性处理，并对非线性处理之后的第一融合矩阵和第二融合矩阵进行拼接，得到目标融合矩阵，根据该目标融合矩阵即可得到第一目标移除图像对应的第一修复图像。在得到了该第一修复图像之后，为了进一步保证图像修复的效果，可以对该第一修复图像进行快速傅里叶卷积（FastFourier Convolution，FFC）处理，得到第二修复图像。在得到了第二修复图像之后，对该第二修复图像进行上采样处理，即可得到修复图像。需要说明的是，如何进行FFC处理和上采样处理为现有技术，本申请实施例中不再赘述。示例性的，本领域的技术人员可以参考LaMa模型的FFC处理以及上采样的过程。
具体的，图9为本申请实施例提供的图像修复的示意图，如图9所示，在进行图像修复时，可以确定第一目标区域和第二目标区域对应的掩码图mask，该掩码图mask是为了提示图像修复模型移除区域的位置信息。在进行图像修复时，图像修复模型将在图9中所示的彩色图像中进行修复。在本申请实施例中，可以将掩码图mask和彩色图片融合，得到包含移除区域的图像x’，需要说明的是，图9中所示的图像x’只是为了形象的进行表示，其并不代表图像修复模型的全部出入。由于待移除目标的影子区域的纹理特征是有助于对第一目标区域的修复的，因此，在本申请实施例中，还可以确定第一目标区域在待处理图像中对应的影子图像，并基于灰度共生矩阵算法对影子图像进行处理，得到目标影子纹理图。图像修复模型可以对目标移除图像和目标影子纹理图进行下采样处理，得到第一目标移除图像和第一目标影子纹理图，其中，目标移除图像即为包括移除区域的图像x’。图像修复模型对第一目标移除图像进行局部特征提取处理和全局特征提取处理，得到局部特征矩阵和全局特征矩阵，并基于局部二值模式算子对目标影子纹理图进行处理，得到纹理特征矩阵；将纹理特征矩阵和局部特征矩阵进行第一融合处理，得到第一融合矩阵，并将局部特征矩阵和全局特征矩阵进行交叉融合处理，得到第二融合矩阵；基于第一融合矩阵和第二融合矩阵，确定所述第一目标移除图像对应的第一修复图像，纹理特征在图像修复过程中被采纳。上述确定第一修复图像的过程可以看做是一次FFC处理，为了进一步保证图像修复的效果，可以对第一修复图像再一次进行FFC处理，得到第二修复图像，对第二修复图像进行上采样处理，得到修复图像。
在一种可能的实施方式中，在上述各实施例的基础上，在本申请实施例中，所述确定所述第一目标区域在所述待处理图像中对应的影子图像包括：
确定所述第一目标区域在所述待处理图像中对应的掩码图，所述掩码图中所述第一目标区域包括的像素点的掩码为1，非所述第一目标区域包括的像素点的掩码为0；
将所述掩码图和所述待处理图像相乘，得到所述第一目标区域在所述待处理图像中对应的影子图像。
在确定第一目标区域在待处理图像中对应的影子图像时，可以确定第一目标区域对应的掩码图，该掩码图中每个像素点的位置是按照待处理图像中包括的像素点的位置排列的，其中第一目标区域中包括的像素点对应的掩码为1，非第一目标区域中包括的像素点对应的掩码为0。也就是说，在对目标移除图像进行修复时，可以将待处理图像中第一目标区域中包括的像素点的掩码确定为1，将不归属于第一目标区域的像素点的掩码确定为0，从而得到第一目标区域对应的掩码图。在得到了掩码图之后，将掩码图与待处理图像相乘，即可得到第一目标区域在待处理图像中对应的影子图像。
具体的，针对待处理图像中的每个像素点，将待处理图像中该像素点的像素值与掩码图中该像素点对应的掩码相乘。也就是说，如果待处理图像中的像素点A为第一目标区域中包括的像素点，那么该像素点A的掩码则为1，将对应的像素值与掩码相乘即可得到该像素点在待处理图像中的像素的值；如果该像素点A为非第一目标区域中的像素点，那么该像素点A的掩码则为0，将对应的像素值与掩码相乘即可得到0。将待处理图像中的每个像素点进行上述处理之后，即可得到第一目标区域在待处理图像中对应的影子图像。
为了提高对视频中的目标移除的效率，在上述各实施例的基础上，在本申请实施例中，若所述待处理图像为视频中的图像帧，所述方法还包括：
将所述目标移除图像，以及与所述待处理图像相邻的下一图像帧输入到光流模型中，得到与所述待处理图像相邻的下一图像帧中，所述待移除目标和/或所述待移除目标的影子对应的预测区域；
将所述下一图像帧更新为待处理图像，并在更新后的待处理图像中将所述待移除目标和/或所述待移除目标的影子对应的预测区域移除，得到更新后的目标移除图像。
由于图像帧是组成视频的最小单位，也就是说，视频中包括了较多的图像帧，如果针对每一个图像帧均由电子设备的使用者确定第一位置信息和/或第二位置信息，费时费力，因此，为了提高对视频中的目标移除的效率，在本申请实施例中，如果待处理图像为视频中的图像帧，那么，则可以根据影子运动方向与目标运动方向基本一致的特点，以目标运动轨迹作为模板，采用光流法实现对影子区域的追踪。光流法是预测两个图像之间运动轨迹的任务，其中，所预测的两个图像通常是视频的两个连续的图像帧。
在本申请实施例中，可以基于光流模型预测待移除目标和/或待移除目标的影子对应的预测区域。光流模型通常以两张图像作为输入，并预测一个“流”：流表示第一张图像中所预测区域的每个像素点的位移，并将其映射到第二张图像中其对应的像素点。光流法可预测光流的水平和垂直位移。
在本申请实施例中，可以将目标移除图像，以及与待处理图像相邻的下一图像帧输入到光流模型中，得到与待处理图像相邻的下一图像帧中，待移除目标和/或待移除目标的影子对应的预测区域。将目标移除图像输入到光流模型中是为了使光流模型明确，接下来需要对哪一个或者哪几个目标的位置进行预测，也就是说，输入目标移除图像是为了标识需要预测的区域的位置信息。
在得到了待移除目标和/或待移除目标的影子对应的预测区域之后，即可在下一图像帧中将待移除目标和/或待移除目标的影子对应的预测区域移除。因此，在本申请实施例中，可以将下一图像帧更新为待处理图像，并在更新后的待处理图像中将待移除目标和/或待移除目标的影子对应的预测区域移除，得到更新后的目标移除图像。
具体的，假设电子设备监测到电子设备的使用者在待处理的视频的第一个图像帧中点选了待移除目标的影子，则可以将电子设备的使用者所点选的像素点的位置信息确定为第一位置信息，并将该第一个图像帧确定为待处理图像，并对该待处理图像进行滤波处理，确定包含该第一位置信息的候选区域，即确定待移除目标的影子对应的第一目标区域，从而将该第一目标区域从该待处理图像中移除，得到目标移除图像。由于视频一般是连续的，与该待处理图像相邻的下一图像帧中大概率同样会存在待移除目标的影子，因此，在本申请实施例中，可以使用光流模型预测该下一图像帧中待移除目标的影子对应的预测区域。在一种可能的实施方式中，可以确定第一目标区域对应的第一掩码图，和/或第二目标区域对应的第二掩码图，该第一掩码图和/或第二掩码图用于标识接下来需要预测的区域，以及需要预测的区域的位置信息。将该第一掩码图和/或第二掩码图、待处理图像以及与该待处理图像相邻的下一图像帧输入到光流模型中，光流模型经过一系列的卷积（conv）、池化（pool）、上采样（upsample）等处理，最终输出预测的光流结果，因为预测的光流结果实际上就是让光流模型做像素级别的匹配，故可以根据光流方向得到该下一图像帧的待移除目标和/或待移除目标的影子对应的预测区域。在得到了该光流模型预测的该下一图像帧中待移除目标和/或待移除目标的影子对应的预测区域之后，将该下一图像帧更新为待处理图像，并在更新后的待处理图像中将待移除目标和/或待移除目标的影子对应的预测区域移除，得到更新后的目标移除图像。
为了进一步提高目标移除的准确率，在上述各实施例的基础上，在本申请实施例中，所述将所述下一图像帧更新为待处理图像之后，所述在更新后的待处理图像中将所述待移除目标和/或所述待移除目标的影子对应的预测区域移除之前，所述方法还包括：
若得到了所述待移除目标的影子对应的预测区域，则对更新后的待处理图像进行滤波处理，确定符合所述预设饱和度范围的像素点构成的候选区域；
将与所述待移除目标的影子对应的预测区域存在重叠的候选区域，确定为所述待移除目标的影子对应的第一目标预测区域；
使用所述第一目标预测区域对所述待移除目标的影子对应的预测区域进行更新。
由于视频中的待移除目标和待移除目标的影子的形状、位置都会发生改变，采用光流模型虽然可以有效的捕捉运动趋势，进行稳定的跟踪，但是光流模型所预测的预测区域可能会存在一些偏差，因此为了进一步提高目标移除的准确率，在本申请实施例中，如果得到了待移除目标的影子对应的预测区域，则说明更新后的待处理图像中可能存在待移除目标的影子，可以对更新后的待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，如何确定候选区域在上述各实施例中已经进行了详细的说明，在本申请实施例中不再赘述。
在确定了各候选区域之后，可以将与待移除目标的影子对应的预测区域存在重叠的候选区域确定为待移除目标的影子对应的第一目标预测区域，并使用确定的第一目标预测区域对待移除目标的影子对应的预测区域进行更新。
具体的，图10为本申请实施例提供的第一目标预测区域确定示意图，如图10所示，图10中的指导掩码图为基于光流模型确定的预测区域对应的掩码图，图10中的精细掩码图为基于滤波处理确定的候选区域对应的掩码图，当精细掩码图中有区域和指导掩码图有相交部分时，精细掩码图区域得以保留，当精细掩码图中有区域和指导掩码图完全不相交时，该区域被舍弃，最终得到融合掩码图，该融合掩码图中标识为1的像素点所构成的区域即可确定为第一目标预测区域。
为了进一步提高目标移除的准确率，在上述各实施例的基础上，在本申请实施例中，所述将所述下一图像帧更新为待处理图像之后，所述在更新后的待处理图像中将所述待移除目标和/或所述待移除目标的影子对应的预测区域移除之前，所述方法还包括：
若得到了所述待移除目标对应的预测区域，则将更新后的待处理图像输入到所述分割模型中，确定更新后的待处理图像中包括的目标对应的移除区域；
将与所述待移除目标对应的预测区域存在重叠的移除区域，确定为所述待移除目标对应的第二目标预测区域；
使用所述第二目标预测区域对所述待移除目标对应的预测区域进行更新。
为了进一步提高目标移除的准确率，在本申请实施例中，如果得到了待移除目标对应的预测区域，则说明更新后的待处理图像中可能存在待移除目标的影子，可以将该更新后的待处理图像输入到分割模型中，确定更新后的待处理图像中包括的目标对应的移除区域，如何基于分割模型确定目标对应的移除区域上述各实施例中已经进行了详细的说明，本申请实施例中不再赘述。
在确定了各移除区域之后，可以将与待移除目标对应的预测区域存在重叠的移除区域，确定为待移除目标对应的第二目标预测区域，并使用确定的第二目标预测区域对待移除目标对应的预测区域进行更新。需要说明的是，如何确定移除区域与待移除目标对应的预测区域是否存在重叠的过程，与如何确定候选区域与待移除目标的影子对应的预测区域是否存在重叠的过程一致，本申请实施例对如何确定重叠的过程不再赘述。
在本申请实施例中，将光流模型输出的待移除目标和/或待移除目标的影子对应的预测区域，与SAM分支、色彩滤波器分支得到结果进行融合，最终得到更新后的待处理图像最终的预测区域。该更新后的待处理图像的最终的预测区域可以作为输入重复上述过程得到与其相邻的下一图像帧的预测结果，如此循环，直至视频最后一帧。
另外，在上述各实施例的基础上，在针对视频中的每个图像帧进行了目标移除之后，可以对该图像帧进行图像修复，在修复后的视频中，不仅去除了待移除目标，也去除了待移除目标的影子，使得修复后的视频更加接近真实情况。
由于不可能让电子设备的使用者逐帧点选待移除目标和待移除目标的影子，因此，在本申请实施例中利用光流法进行待移除目标及待移除目标的影子的跟踪检测。提出了一种将光流追踪与 SAM 相结合用于视频的目标移除方法，可以利用嵌入在视频中的丰富局部结构信息来跟踪待移除目标和/或待移除目标的影子。因此，在本申请实施例中，只需要在视频的某一个图像帧中用稀疏点注释待移除目标和/或待移除目标的影子，使用光流法可以保证在目标移除过程中在未知对象上有更好的泛化能力，并且本申请实施例提供的目标移除方法还有助于保持 SAM 的固有灵活性，同时有效地扩展了在视频的目标移除方面的能力。
下面结合一个具体的实施例对视频的目标移除过程进行说明，图11为本申请实施例提供的一种视频的目标移除过程的示意图。电子设备的使用者在视频的首帧图像中点选待移除目标和待移除目标的影子，电子设备通过监测电子设备的使用者的点选操作，将该首帧图像确定为待处理图像，根据点选操作获取待移除图像中待移除目标的影子的第一位置信息，以及待移除目标的第二位置信息。根据该第一位置信息和第二位置信息，确定待移除目标的影子对应的第一目标区域，以及待移除目标对应的第二目标区域。如何确定第一目标区域和第二目标区域在上述各实施例中已经进行详细的说明，在本申请实施例中不再赘述。
在确定了第一目标区域和第二目标区域之后，可以确定第一目标区域对应的掩码图：首帧目标影子掩码图，以及第二目标区域对应的掩码图：首帧目标掩码图。按照视频中图像帧的排列序列，可以将该待处理图像和与其相邻的下一图像帧，以及首帧目标影子掩码图、首帧目标掩码图输入到光流模型FlowNet中，对该下一图像帧中待移除目标和待移除目标的影子进行预测，得到预测区域。并将该下一图像帧更新为待处理图像，并将该更新后的待处理图像输入到SAM模型中，确定更新后的待处理图像中包括的目标对应的移除区域，将与待移除目标对应的预测区域存在重叠的移除区域，确定为待移除目标对应的第二目标预测区域，使用该第二目标预测区域对待移除目标对应的预测区域进行更新。同时，对更新后的待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，将与待移除目标的影子对应的预测区域存在重叠的候选区域，确定为待移除目标的影子对应的第一目标预测区域，使用该第一目标预测区域对待移除目标的影子对应的预测区域进行更新。在更新后的待处理图像中将待移除目标和/或待移除目标的影子对应的预测区域移除，得到更新后的目标移除图像。当前帧的结果作为输入重复上述过程得到下一帧的结果，如此循环，直至视频最后一帧。
下面结合一个具体实施例对视频的目标移除过程进行说明，图12为本申请实施例提供的一种视频的目标移除的流程示意图，如图12所示，包括以下步骤：
S1201：获取待处理视频，以及接收到的待处理视频中的待处理图像、待移除目标的影子的第一位置信息和待移除目标的第二位置信息。
在本申请实施例中，电子设备的使用者可以上传待处理视频，并在该待处理视频中点选待移除目标的影子和待移除目标。电子设备基于监测到的点选操作确定待移除目标的影子的第一位置信息，以及待移除目标的第二位置信息。
S1202：当前待处理图像输入到SAM中，确定待处理图像中包括的目标对应的移除区域，将包含第二位置信息的移除区域，确定为待移除目标对应的第二目标区域。
S1203：对待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，将包含第一位置信息的候选区域，确定为待移除目标的影子对应的第一目标区域。
S1204：在待处理图像中将第一目标区域和第二目标区域移除，得到目标移除图像。
S1205：将目标移除图像输入到图像修复模型中，得到修复图像。
S1206：基于光流模型预测与待处理图像相邻的下一图像帧中，待移除目标和待移除目标的影子对应的预测区域，并将该下一图像帧更新为待处理图像，并执行S1202。
在本申请实施例中，待移除目标对应的预测区域的信息即可看做是待移除目标的第二位置信息；待移除目标的影子对应的预测区域的信息即可看做是待移除目标的影子的第一位置信息。
目前分割一切大模型中无法对目标影子进行分割，本申请实施例中基于分割一切大模型，采用光流法和色彩滤波器融合的方法对视频中目标进行分析，对待移除目标的影子区域进行提取，同时在视频帧间进行目标跟踪，实现视频序列下目标和影子的分割。而后提取影子区域的纹理特征，与分割掩图合成注意力先验，用于指导图像修复。最终实现对视频中指定对象及其影子的移除。
图13为本申请实施例提供的一种基于分割大模型的目标移除方法的流程示意图，该过程包括以下步骤：
S1301：获取待处理图像、所述待处理图像中待移除目标的影子的第三位置信息及所述待移除目标的第四位置信息。
在本申请实施例中，待移除目标的影子的第三位置信息及待移除目标的第四位置信息，与上述各实施例中所描述的第一位置信息和第二位置信息本质是上是相同的，只是在为了便于区分使用了不同的表述。
S1302：对所述待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，将包含所述第三位置信息的候选区域，确定为所述待移除目标的影子对应的第三目标区域。
在本申请实施例中，待移除目标的影子对应的第三目标区域与上述各实施例中所描述的第一目标区域本质是上是相同的，只是在为了便于区分使用了不同的表述。另外，如何确定第一目标区域上述各实施例中已经进行了详细的描述，本申请实施例中确定第三目标区域的过程与确定第一目标区域的过程相似，本申请实施例中不再赘述。
S1303：将所述待处理图像输入到所述分割大模型中，确定所述待处理图像中包括的目标对应的移除区域；将包含所述第四位置信息的移除区域，确定为所述待移除目标对应的第四目标区域。
在本申请实施例中，待移除目标对应的第四目标区域与上述各实施例中所描述的第二目标区域本质是上是相同的，只是在为了便于区分使用了不同的表述。另外，如何确定第二目标区域上述各实施例中已经进行了详细的描述，本申请实施例中确定第四目标区域的过程与确定第一目标区域的过程相似，本申请实施例中不再赘述。
另外，在本申请实施例中，“大模型”可以理解为是基于转换器（transformer）架构的模型；该“大模型”也可以理解为是具有庞大的参数规模和复杂程度的机器学习模型，例如，具有数百万到数十亿参数或者上百亿参数的神经网络模型；该“大模型”也可以理解为是通过半（弱）监督、全监督、自监督或者无监督等技术，在大规模训练数据上训练得到的一种深度学习模型。在本申请实施例中，“大模型”可以处理多种不同任务，在训练“大模型”时一般是基于某个目标任务领域的训练数据进行训练的，训练得到的“大模型”一般情况下可以被迁移到与目标任务领域相近的其他任务领域中进行使用。
S1304：在所述待处理图像中将所述第三目标区域和所述第四目标区域移除，得到目标移除图像。
上述各实施例中已经对如何将目标区域移除进行了详细的说明，本申请实施例中不再赘述。
本申请所保护的技术方案具有可控性、可靠性、可泛化性特点，符合可信赖特性。
图14为本申请实施例提供的目标移除装置的结构示意图，如图14所示，该装置包括：
获取模块1401，用于获取待处理图像，以及所述待处理图像中待移除目标的影子的第一位置信息；
确定模块1402，用于对所述待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，将包含所述第一位置信息的候选区域，确定为所述待移除目标的影子对应的第一目标区域；
移除模块1403，用于在所述待处理图像中将所述第一目标区域移除，得到目标移除图像。
在一种可能的实施方式中，所述获取模块1401，还用于获取所述待处理图像中所述待移除目标的第二位置信息；
所述确定模块1402，还用于将所述待处理图像输入到分割模型中，确定所述待处理图像中包括的目标对应的移除区域；
所述移除模块1403，具体用于在所述待处理图像中将所述第一目标区域和所述第二目标区域移除，得到目标移除图像。
在一种可能的实施方式中，所述装置还包括：
调整模块1404，用于确定所述第一目标区域与所述第二目标区域是否存在重叠区域，若存在，则对所述第一目标区域进行调整，使调整后的第一目标区域与所述第二目标区域不重叠。
在一种可能的实施方式中，所述装置还包括：
修复模块1405，用于将所述目标移除图像输入到图像修复模型中，得到修复图像，所述修复图像为对所述待处理图像中被移除区域进行填充修复后的图像。
在一种可能的实施方式中，所述修复模块1405，具体用于确定所述第一目标区域在所述待处理图像中对应的影子图像，并基于灰度共生矩阵算法对所述影子图像进行处理，得到目标影子纹理图；将所述目标移除图像和所述目标影子纹理图输入到所述图像修复模型中，所述图像修复模型对所述目标移除图像和所述目标影子纹理图进行下采样处理，得到第一目标移除图像和第一目标影子纹理图；所述图像修复模型对所述第一目标移除图像进行局部特征提取处理和全局特征提取处理，得到局部特征矩阵和全局特征矩阵，并基于局部二值模式算子对所述目标影子纹理图进行处理，得到纹理特征矩阵；将所述纹理特征矩阵和所述局部特征矩阵进行第一融合处理，得到第一融合矩阵，并将所述局部特征矩阵和所述全局特征矩阵进行交叉融合处理，得到第二融合矩阵；基于所述第一融合矩阵和所述第二融合矩阵，确定所述第一目标移除图像对应的第一修复图像；并对所述第一修复图像进行快速傅里叶卷积处理，得到第二修复图像，对所述第二修复图像进行上采样处理，得到所述修复图像。
在一种可能的实施方式中，所述确定模块1402，还用于确定所述第一目标区域在所述待处理图像中对应的掩码图，所述掩码图中所述第一目标区域包括的像素点的掩码为1，非所述第一目标区域包括的像素点的掩码为0；将所述掩码图和所述待处理图像相乘，得到所述第一目标区域在所述待处理图像中对应的影子图像。
在一种可能的实施方式中，若所述待处理图像为视频中的图像帧，所述装置还包括：
预测模块1406，用于将所述目标移除图像，以及与所述待处理图像相邻的下一图像帧输入到光流模型中，得到与所述待处理图像相邻的下一图像帧中，所述待移除目标和/或所述待移除目标的影子对应的预测区域；
所述移除模块1403，还用于将所述下一图像帧更新为待处理图像，并在更新后的待处理图像中将所述待移除目标和/或所述待移除目标的影子对应的预测区域移除，得到更新后的目标移除图像。
在一种可能的实施方式中，所述确定模块1402，还用于若得到了所述待移除目标的影子对应的预测区域，则对更新后的待处理图像进行滤波处理，确定符合所述预设饱和度范围的像素点构成的候选区域；将与所述待移除目标的影子对应的预测区域存在重叠的候选区域，确定为所述待移除目标的影子对应的第一目标预测区域；使用所述第一目标预测区域对所述待移除目标的影子对应的预测区域进行更新。
在一种可能的实施方式中，所述确定模块1402，还用于若得到了所述待移除目标对应的预测区域，则将更新后的待处理图像输入到所述分割模型中，确定更新后的待处理图像中包括的目标对应的移除区域；将与所述待移除目标对应的预测区域存在重叠的移除区域，确定为所述待移除目标对应的第二目标预测区域；使用所述第二目标预测区域对所述待移除目标对应的预测区域进行更新。
图15为本申请实施例提供的基于分割大模型的目标移除装置的结构示意图，如图15所示，该装置包括：
获取模块1501，用于获取待处理图像、所述待处理图像中待移除目标的影子的第三位置信息及所述待移除目标的第四位置信息；
确定模块1502，用于对所述待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，将包含所述第三位置信息的候选区域，确定为所述待移除目标的影子对应的第三目标区域；将所述待处理图像输入到所述分割大模型中，确定所述待处理图像中包括的目标对应的移除区域；将包含所述第四位置信息的移除区域，确定为所述待移除目标对应的第四目标区域；
移除模块1503，用于在所述待处理图像中将所述第三目标区域和所述第四目标区域移除，得到目标移除图像。
图16为本申请实施例提供的一种电子设备结构示意图，在上述各实施例的基础上，本申请还提供了一种电子设备，如图16所示，包括：处理器1601、通信接口1602、存储器1603和通信总线1604，其中，处理器1601，通信接口1602，存储器1603通过通信总线1604完成相互间的通信；
所述存储器1603中存储有计算机程序，当所述程序被所述处理器1601执行时，使得所述处理器1601执行如下步骤：
获取待处理图像，以及所述待处理图像中待移除目标的影子的第一位置信息；
对所述待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，将包含所述第一位置信息的候选区域，确定为所述待移除目标的影子对应的第一目标区域；
在所述待处理图像中将所述第一目标区域移除，得到目标移除图像。
在一种可能的实施方式中，所述处理器1601，用于获取所述待处理图像中所述待移除目标的第二位置信息；
将所述待处理图像输入到分割模型中，确定所述待处理图像中包括的目标对应的移除区域；
将包含所述第二位置信息的移除区域，确定为所述待移除目标对应的第二目标区域；
所述在所述待处理图像中将所述第一目标区域移除，得到目标移除图像包括：
在所述待处理图像中将所述第一目标区域和所述第二目标区域移除，得到目标移除图像。
在一种可能的实施方式中，所述处理器1601，用于确定所述第一目标区域与所述第二目标区域是否存在重叠区域，若存在，则对所述第一目标区域进行调整，使调整后的第一目标区域与所述第二目标区域不重叠。
在一种可能的实施方式中，所述处理器1601，用于将所述目标移除图像输入到图像修复模型中，得到修复图像，所述修复图像为对所述待处理图像中被移除区域进行填充修复后的图像。
在一种可能的实施方式中，所述处理器1601，用于确定所述第一目标区域在所述待处理图像中对应的影子图像，并基于灰度共生矩阵算法对所述影子图像进行处理，得到目标影子纹理图；
将所述目标移除图像和所述目标影子纹理图输入到所述图像修复模型中，所述图像修复模型对所述目标移除图像和所述目标影子纹理图进行下采样处理，得到第一目标移除图像和第一目标影子纹理图；所述图像修复模型对所述第一目标移除图像进行局部特征提取处理和全局特征提取处理，得到局部特征矩阵和全局特征矩阵，并基于局部二值模式算子对所述目标影子纹理图进行处理，得到纹理特征矩阵；将所述纹理特征矩阵和所述局部特征矩阵进行第一融合处理，得到第一融合矩阵，并将所述局部特征矩阵和所述全局特征矩阵进行交叉融合处理，得到第二融合矩阵；基于所述第一融合矩阵和所述第二融合矩阵，确定所述第一目标移除图像对应的第一修复图像；并对所述第一修复图像进行快速傅里叶卷积处理，得到第二修复图像，对所述第二修复图像进行上采样处理，得到所述修复图像。
在一种可能的实施方式中，所述处理器1601，用于确定所述第一目标区域在所述待处理图像中对应的掩码图，所述掩码图中所述第一目标区域包括的像素点的掩码为1，非所述第一目标区域包括的像素点的掩码为0；
将所述掩码图和所述待处理图像相乘，得到所述第一目标区域在所述待处理图像中对应的影子图像。
在一种可能的实施方式中，所述处理器1601，用于若所述待处理图像为视频中的图像帧，将所述目标移除图像，以及与所述待处理图像相邻的下一图像帧输入到光流模型中，得到与所述待处理图像相邻的下一图像帧中，所述待移除目标和/或所述待移除目标的影子对应的预测区域；
将所述下一图像帧更新为待处理图像，并在更新后的待处理图像中将所述待移除目标和/或所述待移除目标的影子对应的预测区域移除，得到更新后的目标移除图像。
在一种可能的实施方式中，所述处理器1601，用于若得到了所述待移除目标的影子对应的预测区域，则对更新后的待处理图像进行滤波处理，确定符合所述预设饱和度范围的像素点构成的候选区域；
将与所述待移除目标的影子对应的预测区域存在重叠的候选区域，确定为所述待移除目标的影子对应的第一目标预测区域；
使用所述第一目标预测区域对所述待移除目标的影子对应的预测区域进行更新。
在一种可能的实施方式中，所述处理器1601，用于若得到了所述待移除目标对应的预测区域，则将更新后的待处理图像输入到所述分割模型中，确定更新后的待处理图像中包括的目标对应的移除区域；
将与所述待移除目标对应的预测区域存在重叠的移除区域，确定为所述待移除目标对应的第二目标预测区域；
使用所述第二目标预测区域对所述待移除目标对应的预测区域进行更新。
所述处理器1601还可以执行如下步骤：
获取待处理图像、所述待处理图像中待移除目标的影子的第三位置信息及所述待移除目标的第四位置信息；
对所述待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，将包含所述第三位置信息的候选区域，确定为所述待移除目标的影子对应的第三目标区域；
将所述待处理图像输入到所述分割大模型中，确定所述待处理图像中包括的目标对应的移除区域；将包含所述第四位置信息的移除区域，确定为所述待移除目标对应的第四目标区域；
在所述待处理图像中将所述第三目标区域和所述第四目标区域移除，得到目标移除图像。
上述电子设备提到的通信总线可以是外设部件互连标准（Peripheral ComponentInterconnect，PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，EISA）总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口1602用于上述电子设备与其他设备之间的通信。存储器可以包括随机存取存储器（RandomAccess Memory，RAM），也可以包括非易失性存储器（Non-Volatile Memory，NVM），例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。上述处理器可以是通用处理器，包括中央处理器、网络处理器（Network Processor，NP）等；还可以是数字指令处理器（Digital Signal Processing，DSP）、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在上述各实施例的基础上，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由处理器执行的计算机程序，当所述程序在所述处理器上运行时，使得所述处理器执行时实现如下步骤：
获取待处理图像，以及所述待处理图像中待移除目标的影子的第一位置信息；
对所述待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，将包含所述第一位置信息的候选区域，确定为所述待移除目标的影子对应的第一目标区域；
在所述待处理图像中将所述第一目标区域移除，得到目标移除图像。
在一种可能的实施方式中，所述确定为所述待移除目标的影子对应的第一目标区域之后，所述在所述待处理图像中将所述第一目标区域移除之前，所述方法还包括：
获取所述待处理图像中所述待移除目标的第二位置信息；
将所述待处理图像输入到分割模型中，确定所述待处理图像中包括的目标对应的移除区域；
将包含所述第二位置信息的移除区域，确定为所述待移除目标对应的第二目标区域；
所述在所述待处理图像中将所述第一目标区域移除，得到目标移除图像包括：
在所述待处理图像中将所述第一目标区域和所述第二目标区域移除，得到目标移除图像。
在一种可能的实施方式中，所述在所述待处理图像中将所述第一目标图像移除之前，所述方法还包括：
确定所述第一目标区域与所述第二目标区域是否存在重叠区域，若存在，则对所述第一目标区域进行调整，使调整后的第一目标区域与所述第二目标区域不重叠。
在一种可能的实施方式中，所述方法还包括：
将所述目标移除图像输入到图像修复模型中，得到修复图像，所述修复图像为对所述待处理图像中被移除区域进行填充修复后的图像。
在一种可能的实施方式中，所述将所述目标移除图像输入到图像修复模型中，得到修复图像包括：
确定所述第一目标区域在所述待处理图像中对应的影子图像，并基于灰度共生矩阵算法对所述影子图像进行处理，得到目标影子纹理图；
将所述目标移除图像和所述目标影子纹理图输入到所述图像修复模型中，所述图像修复模型对所述目标移除图像和所述目标影子纹理图进行下采样处理，得到第一目标移除图像和第一目标影子纹理图；所述图像修复模型对所述第一目标移除图像进行局部特征提取处理和全局特征提取处理，得到局部特征矩阵和全局特征矩阵，并基于局部二值模式算子对所述目标影子纹理图进行处理，得到纹理特征矩阵；将所述纹理特征矩阵和所述局部特征矩阵进行第一融合处理，得到第一融合矩阵，并将所述局部特征矩阵和所述全局特征矩阵进行交叉融合处理，得到第二融合矩阵；基于所述第一融合矩阵和所述第二融合矩阵，确定所述第一目标移除图像对应的第一修复图像；并对所述第一修复图像进行快速傅里叶卷积处理，得到第二修复图像，对所述第二修复图像进行上采样处理，得到所述修复图像。
在一种可能的实施方式中，所述确定所述第一目标区域在所述待处理图像中对应的影子图像包括：
确定所述第一目标区域在所述待处理图像中对应的掩码图，所述掩码图中所述第一目标区域包括的像素点的掩码为1，非所述第一目标区域包括的像素点的掩码为0；
将所述掩码图和所述待处理图像相乘，得到所述第一目标区域在所述待处理图像中对应的影子图像。
在一种可能的实施方式中，若所述待处理图像为视频中的图像帧，所述方法还包括：
将所述目标移除图像，以及与所述待处理图像相邻的下一图像帧输入到光流模型中，得到与所述待处理图像相邻的下一图像帧中，所述待移除目标和/或所述待移除目标的影子对应的预测区域；
将所述下一图像帧更新为待处理图像，并在更新后的待处理图像中将所述待移除目标和/或所述待移除目标的影子对应的预测区域移除，得到更新后的目标移除图像。
在一种可能的实施方式中，所述将所述下一图像帧更新为待处理图像之后，所述在更新后的待处理图像中将所述待移除目标和/或所述待移除目标的影子对应的预测区域移除之前，所述方法还包括：
若得到了所述待移除目标的影子对应的预测区域，则对更新后的待处理图像进行滤波处理，确定符合所述预设饱和度范围的像素点构成的候选区域；
将与所述待移除目标的影子对应的预测区域存在重叠的候选区域，确定为所述待移除目标的影子对应的第一目标预测区域；
使用所述第一目标预测区域对所述待移除目标的影子对应的预测区域进行更新。
在一种可能的实施方式中，所述将所述下一图像帧更新为待处理图像之后，所述在更新后的待处理图像中将所述待移除目标和/或所述待移除目标的影子对应的预测区域移除之前，所述方法还包括：
若得到了所述待移除目标对应的预测区域，则将更新后的待处理图像输入到所述分割模型中，确定更新后的待处理图像中包括的目标对应的移除区域；
将与所述待移除目标对应的预测区域存在重叠的移除区域，确定为所述待移除目标对应的第二目标预测区域；
使用所述第二目标预测区域对所述待移除目标对应的预测区域进行更新。
所述处理器执行时还可以实现如下步骤：
获取待处理图像、所述待处理图像中待移除目标的影子的第三位置信息及所述待移除目标的第四位置信息；
对所述待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，将包含所述第三位置信息的候选区域，确定为所述待移除目标的影子对应的第三目标区域；
将所述待处理图像输入到所述分割大模型中，确定所述待处理图像中包括的目标对应的移除区域；将包含所述第四位置信息的移除区域，确定为所述待移除目标对应的第四目标区域；
在所述待处理图像中将所述第三目标区域和所述第四目标区域移除，得到目标移除图像。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
对于系统/装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请是参照根据本申请的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (11)
1.一种目标移除方法，其特征在于，所述方法包括：
获取待处理图像，以及所述待处理图像中待移除目标的影子的第一位置信息；
对所述待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，将包含所述第一位置信息的候选区域，确定为所述待移除目标的影子对应的第一目标区域；
在所述待处理图像中将所述第一目标区域移除，得到目标移除图像。
2.根据权利要求1所述的方法，其特征在于，所述确定为所述待移除目标的影子对应的第一目标区域之后，所述在所述待处理图像中将所述第一目标区域移除之前，所述方法还包括：
获取所述待处理图像中所述待移除目标的第二位置信息；
将所述待处理图像输入到分割模型中，确定所述待处理图像中包括的目标对应的移除区域；
将包含所述第二位置信息的移除区域，确定为所述待移除目标对应的第二目标区域；
所述在所述待处理图像中将所述第一目标区域移除，得到目标移除图像包括：
在所述待处理图像中将所述第一目标区域和所述第二目标区域移除，得到目标移除图像。
3.根据权利要求2所述的方法，其特征在于，所述在所述待处理图像中将所述第一目标图像移除之前，所述方法还包括：
确定所述第一目标区域与所述第二目标区域是否存在重叠区域，若存在，则对所述第一目标区域进行调整，使调整后的第一目标区域与所述第二目标区域不重叠。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述方法还包括：
将所述目标移除图像输入到图像修复模型中，得到修复图像，所述修复图像为对所述待处理图像中被移除区域进行填充修复后的图像。
5.根据权利要求4所述的方法，其特征在于，所述将所述目标移除图像输入到图像修复模型中，得到修复图像包括：
确定所述第一目标区域在所述待处理图像中对应的影子图像，并基于灰度共生矩阵算法对所述影子图像进行处理，得到目标影子纹理图；
将所述目标移除图像和所述目标影子纹理图输入到所述图像修复模型中，所述图像修复模型对所述目标移除图像和所述目标影子纹理图进行下采样处理，得到第一目标移除图像和第一目标影子纹理图；所述图像修复模型对所述第一目标移除图像进行局部特征提取处理和全局特征提取处理，得到局部特征矩阵和全局特征矩阵，并基于局部二值模式算子对所述目标影子纹理图进行处理，得到纹理特征矩阵；将所述纹理特征矩阵和所述局部特征矩阵进行第一融合处理，得到第一融合矩阵，并将所述局部特征矩阵和所述全局特征矩阵进行交叉融合处理，得到第二融合矩阵；基于所述第一融合矩阵和所述第二融合矩阵，确定所述第一目标移除图像对应的第一修复图像；并对所述第一修复图像进行快速傅里叶卷积处理，得到第二修复图像，对所述第二修复图像进行上采样处理，得到所述修复图像。
6.根据权利要求5所述的方法，其特征在于，所述确定所述第一目标区域在所述待处理图像中对应的影子图像包括：
确定所述第一目标区域在所述待处理图像中对应的掩码图，所述掩码图中所述第一目标区域包括的像素点的掩码为1，非所述第一目标区域包括的像素点的掩码为0；
将所述掩码图和所述待处理图像相乘，得到所述第一目标区域在所述待处理图像中对应的影子图像。
7.根据权利要求1或2所述的方法，其特征在于，若所述待处理图像为视频中的图像帧，所述方法还包括：
将所述目标移除图像，以及与所述待处理图像相邻的下一图像帧输入到光流模型中，得到与所述待处理图像相邻的下一图像帧中，所述待移除目标和/或所述待移除目标的影子对应的预测区域；
将所述下一图像帧更新为待处理图像，并在更新后的待处理图像中将所述待移除目标和/或所述待移除目标的影子对应的预测区域移除，得到更新后的目标移除图像。
8.根据权利要求7所述的方法，其特征在于，所述将所述下一图像帧更新为待处理图像之后，所述在更新后的待处理图像中将所述待移除目标和/或所述待移除目标的影子对应的预测区域移除之前，所述方法还包括：
若得到了所述待移除目标的影子对应的预测区域，则对更新后的待处理图像进行滤波处理，确定符合所述预设饱和度范围的像素点构成的候选区域；
将与所述待移除目标的影子对应的预测区域存在重叠的候选区域，确定为所述待移除目标的影子对应的第一目标预测区域；
使用所述第一目标预测区域对所述待移除目标的影子对应的预测区域进行更新。
9.根据权利要求7所述的方法，其特征在于，所述将所述下一图像帧更新为待处理图像之后，所述在更新后的待处理图像中将所述待移除目标和/或所述待移除目标的影子对应的预测区域移除之前，所述方法还包括：
若得到了所述待移除目标对应的预测区域，则将更新后的待处理图像输入到分割模型中，确定更新后的待处理图像中包括的目标对应的移除区域；
将与所述待移除目标对应的预测区域存在重叠的移除区域，确定为所述待移除目标对应的第二目标预测区域；
使用所述第二目标预测区域对所述待移除目标对应的预测区域进行更新。
10.一种基于分割大模型的目标移除方法，其特征在于，所述方法包括：
获取待处理图像、所述待处理图像中待移除目标的影子的第三位置信息及所述待移除目标的第四位置信息；
对所述待处理图像进行滤波处理，确定符合预设饱和度范围的像素点构成的候选区域，将包含所述第三位置信息的候选区域，确定为所述待移除目标的影子对应的第三目标区域；
将所述待处理图像输入到所述分割大模型中，确定所述待处理图像中包括的目标对应的移除区域；将包含所述第四位置信息的移除区域，确定为所述待移除目标对应的第四目标区域；
在所述待处理图像中将所述第三目标区域和所述第四目标区域移除，得到目标移除图像。
11.一种电子设备，其特征在于，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如上述权利要求1-9任一项所述的目标移除方法的步骤，或，如上述权利要求10所述的基于分割大模型的目标移除方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311421347.9A CN117152167B (zh) | 2023-10-31 | 2023-10-31 | 一种目标移除、基于分割大模型的目标移除方法及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311421347.9A CN117152167B (zh) | 2023-10-31 | 2023-10-31 | 一种目标移除、基于分割大模型的目标移除方法及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117152167A true CN117152167A (zh) | 2023-12-01 |
| CN117152167B CN117152167B (zh) | 2024-03-01 |
Family
ID=88903030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311421347.9A Active CN117152167B (zh) | 2023-10-31 | 2023-10-31 | 一种目标移除、基于分割大模型的目标移除方法及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117152167B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118586959A (zh) * | 2024-08-06 | 2024-09-03 | 杭州明讯软件技术有限公司 | 基于大数据的游客行为预测系统及方法 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012173944A (ja) * | 2011-02-21 | 2012-09-10 | Nikon Corp | 画像処理装置および画像処理プログラム |
| CN105005766A (zh) * | 2015-07-01 | 2015-10-28 | 深圳市迈科龙电子有限公司 | 一种车身颜色识别方法 |
| CN107507146A (zh) * | 2017-08-28 | 2017-12-22 | 武汉大学 | 一种自然图像软阴影消除方法 |
| CN107705574A (zh) * | 2017-10-09 | 2018-02-16 | 荆门程远电子科技有限公司 | 一种精准快速的道路违章停车全自动抓拍系统 |
| CN107767390A (zh) * | 2017-10-20 | 2018-03-06 | 苏州科达科技股份有限公司 | 监控视频图像的阴影检测方法及其系统、阴影去除方法 |
| CN112819720A (zh) * | 2021-02-02 | 2021-05-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113378775A (zh) * | 2021-06-29 | 2021-09-10 | 武汉大学 | 一种基于深度学习的视频阴影检测与消除方法 |
| CN115908886A (zh) * | 2021-08-17 | 2023-04-04 | 浙江大华技术股份有限公司 | 图像分类方法、图像处理设备及存储装置 |
| US20230144724A1 (en) * | 2020-04-02 | 2023-05-11 | Agfa Healthcare Nv | Method for Finding Image Regions that Significantly Influence Classification in a Tool for Pathology Classification in a Medical Image |
-
2023
- 2023-10-31 CN CN202311421347.9A patent/CN117152167B/zh active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012173944A (ja) * | 2011-02-21 | 2012-09-10 | Nikon Corp | 画像処理装置および画像処理プログラム |
| CN105005766A (zh) * | 2015-07-01 | 2015-10-28 | 深圳市迈科龙电子有限公司 | 一种车身颜色识别方法 |
| CN107507146A (zh) * | 2017-08-28 | 2017-12-22 | 武汉大学 | 一种自然图像软阴影消除方法 |
| CN107705574A (zh) * | 2017-10-09 | 2018-02-16 | 荆门程远电子科技有限公司 | 一种精准快速的道路违章停车全自动抓拍系统 |
| CN107767390A (zh) * | 2017-10-20 | 2018-03-06 | 苏州科达科技股份有限公司 | 监控视频图像的阴影检测方法及其系统、阴影去除方法 |
| US20230144724A1 (en) * | 2020-04-02 | 2023-05-11 | Agfa Healthcare Nv | Method for Finding Image Regions that Significantly Influence Classification in a Tool for Pathology Classification in a Medical Image |
| CN112819720A (zh) * | 2021-02-02 | 2021-05-18 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
| CN113378775A (zh) * | 2021-06-29 | 2021-09-10 | 武汉大学 | 一种基于深度学习的视频阴影检测与消除方法 |
| CN115908886A (zh) * | 2021-08-17 | 2023-04-04 | 浙江大华技术股份有限公司 | 图像分类方法、图像处理设备及存储装置 |
Non-Patent Citations (3)
| Title |
|---|
| TAO YU等: "Inpaint Anything: Segment Anything Meets Image Inpainting", ARXIV:2304.06790V1, pages 1 - 7 * |
| YONGHUI WANG等: "Detect Any Shadow: Segment Anything forVideo Shadow Detection", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY ( EARLY ACCESS ), pages 1 - 13 * |
| 高萍;张国平;陈琦;徐洪波;葛镜;: "单幅图像阴影检测与去除算法的研究", 信息技术, no. 6, pages 80 - 84 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118586959A (zh) * | 2024-08-06 | 2024-09-03 | 杭州明讯软件技术有限公司 | 基于大数据的游客行为预测系统及方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117152167B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111292264B (zh) | 一种基于深度学习的图像高动态范围重建方法 | |
| CN110705583A (zh) | 细胞检测模型训练方法、装置、计算机设备及存储介质 | |
| CN117152167B (zh) | 一种目标移除、基于分割大模型的目标移除方法及设备 | |
| CN108241854B (zh) | 一种基于运动和记忆信息的深度视频显著性检测方法 | |
| CN113538480A (zh) | 图像分割处理方法、装置、计算机设备和存储介质 | |
| CN114331951B (zh) | 图像检测方法、装置、计算机、可读存储介质及程序产品 | |
| CN111145188A (zh) | 一种基于ResNet与UNet模型的图像分割方法 | |
| CN113808005A (zh) | 一种基于视频驱动的人脸姿态迁移方法及装置 | |
| CN111382647B (zh) | 一种图片处理方法、装置、设备及存储介质 | |
| CN111968095A (zh) | 一种产品表面缺陷检测方法及系统及装置及介质 | |
| CN113065459B (zh) | 一种基于动态条件卷积的视频实例分割方法及系统 | |
| KR102628115B1 (ko) | 영상 처리 방법, 장치, 기록 매체 및 전자 장치 | |
| CN111988657A (zh) | 一种广告插入方法及装置 | |
| CN112487974A (zh) | 视频流多人分割方法、系统、芯片及介质 | |
| CN116843901A (zh) | 医学图像分割模型训练方法和医学图像分割方法 | |
| CN115270184A (zh) | 视频脱敏、车辆的视频脱敏方法、车载处理系统 | |
| CN114549369A (zh) | 数据修复方法、装置、计算机及可读存储介质 | |
| Zhang et al. | Video extrapolation in space and time | |
| CN108520532B (zh) | 识别视频中物体运动方向的方法及装置 | |
| CN111612681A (zh) | 数据获取方法、水印识别方法、水印去除方法及装置 | |
| CN113177957A (zh) | 一种细胞图像的分割方法、装置、电子设备及存储介质 | |
| CN117372810A (zh) | 遥感图像语义分割模型训练方法、分割方法及相关装置 | |
| Molina-Cabello et al. | Vehicle type detection by convolutional neural networks | |
| Xiang et al. | InvFlow: Involution and multi-scale interaction for unsupervised learning of optical flow | |
| García et al. | A Gaussian-Median filter for moving objects segmentation applied for static scenarios |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |