CN117274123A - 一种图像处理方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供一种图像处理方法、装置、电子设备及存储介质，涉及图像处理领域，用于修复图像中目标对象的被遮挡的图像信息。该方法包括：获得多个先验图像和待修复图像，先验图像和待修复图像包括基于内窥镜获得的目标对象的图像；根据先验图像和待修复图像，获得待修复区域的先验信息，待修复区域的先验信息包含多个先验图像的先验信息区域中，与待修复区域对应的区域的图像信息；将先验信息包含的来自多个先验图像的图像信息进行图像的加权融合，获得融合先验信息；将融合先验信息和待修复图像，输入至扩散模型，获得扩散模型输出的修复后的图像；显示修复后的图像，并根据待修复图像中遮挡对象的位置信息。

Description

一种图像处理方法、装置、电子设备及存储介质

技术领域

本申请涉及图像处理领域，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

背景技术

随着科技的发展，医学领域也逐渐引入了各种图像装置，使医生更方便快捷地对病人进行诊断或进行医疗手术。

例如，内窥镜可以经口腔进入胃内或经其他天然孔道进入人体内，观察空间较为狭窄的人体内组织的状况，借助内窥镜，医生可以观察胃内的溃疡或肿瘤等问题。在使用内窥镜的过程中，医生有时还需要使用其他工具辅助治疗，例如剪刀和手术刀等医用器械。但医生在使用这些器械时，内窥镜图像中人体组织的一部分图像信息会被器械等遮挡对象遮挡，医生无法在使用器械的同时观察人体组织(内窥镜拍摄的目标对象)的整体情况，不利于治疗。

因此，如何对遮挡对象遮挡的目标对象的图像信息进行修复成为亟待解决的技术问题。

发明内容

本申请提供一种图像处理方法、装置、电子设备及存储介质，用于修复图像中目标对象的被遮挡的图像信息。

第一方面，本申请提供一种图像处理方法，该方法包括：获得多个先验图像和待修复图像，先验图像和待修复图像包括基于内窥镜获得的目标对象的图像；先验图像包括先验信息区域，先验信息区域为目标对象未被遮挡对象遮挡的图像区域,遮挡对象包括医疗器械，或医疗器械的一部分；待修复图像包括待修复区域，待修复区域为目标对象被遮挡对象遮挡的图像区域；根据先验图像和待修复图像，获得待修复区域的先验信息，待修复区域的先验信息包含多个先验图像的先验信息区域中，与待修复区域对应的区域的图像信息；将先验信息包含的来自多个先验图像的图像信息进行图像的加权融合，获得融合先验信息；将融合先验信息和待修复图像，输入至扩散模型，获得扩散模型输出的修复后的图像；扩散模型为用于修复目标对象的图像信息的模型，融合先验信息用于扩散模型填充待修复区域；显示修复后的图像，并根据待修复图像中遮挡对象的位置信息，在修复后的图像上显示遮挡对象对应的图像信息，修复后的图像上显示的遮挡对象对应的图像信息的透明度大于0。

由上述实施例可知，本申请提供的图像处理方法会先获得目标对象的先验图像和待修复图像。在遮挡对象包括医疗器械，或医疗器械的一部分，先验图像和待修复图像包括基于内窥镜获得的图像的情况下，由于先验图像和待修复图像都是针对目标对象，如人体内部组织的图像，且先验图像包括目标对象未被遮挡对象遮挡的先验信息区域，如人体内部组织未被如医疗器械遮挡的图像区域，而先验图像中包含的目标对象(如人体内部组织)的图像信息与待修复图像中包含的目标对象(如人体内部组织)的图像信息不完全相同，例如先验图像中可能包含更多的人体内部组织图像信息，因此这些图像信息中可能包含待修复图像中待修复区域对应的图像信息，也即待修复图像中人体内部组织被医疗器械遮挡的图像信息。基于此，本申请提供的图像处理方法进一步根据先验图像和待修复图像，获得先验图像的先验信息区域中与待修复图像待修复区域对应的区域的图像信息，作为待修复区域的先验信息，如先验图像中人体内部组织的图像信息，对应于待修复图像中被医疗器械遮挡的图像信息，作为待修复区域的先验信息。由于先验信息包含多个先验图像中目标对象的图像信息，因此可进行图像的加权融合，从而获得综合多个先验图像中目标对象的图像信息的融合先验信息。本方法将融合先验信息和待修复图像输入至用于修复目标对象的扩散模型，融合先验信息作为填充待修复区域的信息，可引导扩散模型对待修复图像的待修复区域修复得更加真实。同时，又由于待修复图像和先验图像的拍摄角度和光照条件不同，其待修复区域需要修复的图像信息与融合先验信息不完全相同，因此本方法在使用融合先验信息对待修复区域进行修复的同时，还在扩散模型中使用了待修复图像中目标对象的图像信息，使修复后的图像信息不仅能够与目标对象真实被遮挡的图像信息相近，更使得修复后的图像信息能够适应整张图像。除此之外，由于在遮挡对象作为工具(如医疗器械)的情况下，虽然遮挡对象(如医疗器械)遮挡了目标对象的图像信息，但是遮挡对象的使用者(如医生)同样需要视觉观察感知到遮挡对象(如医疗器械)的位置，以便使用。因此，本方法在显示修复后的图像时，还根据待修复图像中遮挡对象(如医疗器械)的位置信息，以透明度大于0，即半透明的方式在修复后的图像上显示遮挡对象(如医疗器械)，从而显示的修复后的图像能同时观察到遮挡对象遮挡的图像信息，以及遮挡对象的信息，提高使用者的使用体验。

可选的，根据先验图像和待修复图像，获得待修复区域的先验信息，包括：根据先验信息区域中目标对象的图像信息，对多个先验图像进行聚类，获得至少一个聚类中心；将与聚类中心的距离最近的先验图像，确定为聚类中心对应的目标先验图像；根据目标先验图像和待修复图像，获得待修复区域的先验信息。

可选的每个先验图像中还包括遮挡对象；根据先验图像和待修复图像，获得待修复区域的先验信息，包括：根据遮挡对象在先验图像中的位置信息，对多个先验图像进行聚类，获得至少一个聚类中心；将与聚类中心的距离最近的先验图像，确定为聚类中心对应的目标先验图像；根据目标先验图像和待修复图像，获得待修复区域的先验信息。

可选的，在根据遮挡对象在先验图像中的位置信息，对多个先验图像进行聚类，获得至少一个聚类中心之前，图像处理方法还包括：对各个先验图像进行图像分割，获得各个先验图像中遮挡对象的对应区域；将遮挡对象的对应区域的中心坐标，确定为遮挡对象在先验图像中的位置信息。

可选的，第一先验图像包括第一先验信息区域，第二先验图像包括第二先验信息区域；第一先验图像和第二先验图像为任意两个先验图像；在第一先验信息区域中第一目标区域的位置与第二先验信息区域中第二目标区域的位置相同的情况下，第一目标区域与第二目标区域包含的图像信息相同。

可选的，根据先验图像和待修复图像，获得待修复区域的先验信息，包括：基于各个先验图像的先验信息区域包含的图像信息，对多个先验图像进行分类，得到至少一个先验图像组，同一先验图像组中，先验图像的先验信息区域包含的图像信息满足预设相似条件；从各个先验图像组中分别确定出一个目标先验图像；不同目标先验图像的先验信息区域包含的图像信息不完全相同；根据各个目标先验图像和待修复图像，获得待修复区域的先验信息。

可选的，根据目标先验图像和待修复图像，获得待修复区域的先验信息，包括：针对各个目标先验图像，基于目标对象的特征，将目标先验图像与待修复图像进行特征匹配，获得目标先验图像中目标对象，与待修复图像中目标对象的特征对应关系；根据特征对应关系，将目标先验图像的先验信息区域中，与待修复图像中目标对象的待修复区域对应的区域的图像信息，确定为待修复区域的先验信息。

可选的，先验图像和待修复图像为时序连续的视频帧图像，先验图像的时序早于待修复图像的时序。

第二方面，本申请提供一种图像处理装置，该图像处理装置包括：图像获取模块，用于获得多个先验图像和待修复图像，先验图像和待修复图像包括基于内窥镜获得的目标对象的图像；先验图像包括先验信息区域，先验信息区域为目标对象未被遮挡对象遮挡的图像区域,遮挡对象包括医疗器械，或医疗器械的一部分；待修复图像包括待修复区域，待修复区域为目标对象被遮挡对象遮挡的图像区域；先验信息获取模块，用于根据先验图像和待修复图像，获得待修复区域的先验信息，待修复区域的先验信息包含多个先验图像的先验信息区域中，与待修复区域对应的区域的图像信息；先验信息融合模块，用于将先验信息包含的来自多个先验图像的图像信息进行图像的加权融合，获得融合先验信息；修复模块，用于将融合先验信息和待修复图像，输入至扩散模型，获得扩散模型输出的修复后的图像；扩散模型为用于修复目标对象的图像信息的模型，融合先验信息用于扩散模型填充待修复区域；显示模块，用于显示修复后的图像，并根据待修复图像中遮挡对象的位置信息，在修复后的图像上显示遮挡对象对应的图像信息，修复后的图像上显示的遮挡对象对应的图像信息的透明度大于0。

可选的，先验信息获取模块包括聚类单元、目标先验确定单元和先验信息确定单元。聚类单元，用于根据先验信息区域中目标对象的图像信息，对多个先验图像进行聚类，获得至少一个聚类中心。目标先验确定单元，用于将与聚类中心的距离最近的先验图像，确定为聚类中心对应的目标先验图像。先验信息确定单元，用于根据目标先验图像和待修复图像，获得待修复区域的先验信息。

可选的，每个先验图像中还包括遮挡对象；先验信息获取模块包括聚类单元、目标先验确定单元和先验信息确定单元。聚类单元，用于根据遮挡对象在先验图像中的位置信息，对多个先验图像进行聚类，获得至少一个聚类中心。目标先验确定单元，用于将与聚类中心的距离最近的先验图像，确定为聚类中心对应的目标先验图像。先验信息确定单元，用于根据目标先验图像和待修复图像，获得待修复区域的先验信息。

可选的，图像处理装置还包括位置信息确定单元，用于在根据遮挡对象在先验图像中的位置信息，对多个先验图像进行聚类，获得至少一个聚类中心之前，对各个先验图像进行图像分割，获得各个先验图像中遮挡对象的对应区域；将遮挡对象的对应区域的中心坐标，确定为遮挡对象在先验图像中的位置信息。

可选的，第一先验图像包括第一先验信息区域，第二先验图像包括第二先验信息区域；第一先验图像和第二先验图像为任意两个先验图像；在第一先验信息区域中第一目标区域的位置与第二先验信息区域中第二目标区域的位置相同的情况下，第一目标区域与第二目标区域包含的图像信息相同。

可选的，先验信息获取模块，具体用于基于各个先验图像的先验信息区域包含的图像信息，对多个先验图像进行分类，得到至少一个先验图像组，同一先验图像组中，先验图像的先验信息区域包含的图像信息满足预设相似条件；从各个先验图像组中分别确定出一个目标先验图像；不同目标先验图像的先验信息区域包含的图像信息不完全相同；根据各个目标先验图像和待修复图像，获得待修复区域的先验信息。

可选的，先验信息获取模块，具体用于：针对各个目标先验图像，基于目标对象的特征，将目标先验图像与待修复图像进行特征匹配，获得目标先验图像中目标对象，与待修复图像中目标对象的特征对应关系；根据特征对应关系，将目标先验图像的先验信息区域中，与待修复图像中目标对象的待修复区域对应的区域的图像信息，确定为待修复区域的先验信息。

可选的，先验图像和待修复图像为时序连续的视频帧图像，先验图像的时序早于待修复图像的时序。

第三方面，本申请实施例提供一种电子设备，包括：存储器和处理器；存储器和处理器耦合；存储器用于存储计算机程序代码，计算机程序代码包括计算机指令；其中，当处理器执行计算机指令时，使得电子设备执行如第一方面及其任一种可能的设计方式的图像处理方法。

第四方面，本申请提供一种计算机可读存储介质，该计算机可读存储介质包括：计算机软件指令；当计算机软件指令在图像处理装置中运行时，使得图像处理装置实现上述第一方面的方法。

第五方面，本申请提供一种计算机程序产品，当该计算机程序产品在图像处理装置上运行时，使得图像处理装置执行上述第一方面描述的相关方法的步骤，以实现上述第一方面的方法。

上述第二方面至第五方面的有益效果可以参考第一方面的对应描述，不再赘述。

附图说明

图1为本申请提供的一种图像处理方法中内窥镜拍摄的人体内组织状况图像存在遮挡对象，和内窥镜拍摄的人体内组织状况图像不存在遮挡对象的示意图；

图2为本申请提供的一种图像处理系统的结构示意图；

图3为本申请提供的一种图像处理系统中作为图像处理设备11包括的计算装置的结构示意图；

图4为本申请提供的一种图像处理方法的流程示意图；

图5为本申请提供的一种图像处理方法的先验图像A和待修复图像B的示例图；

图6为本申请提供的一种图像处理方法的对待修复图像C进行修复的示意图；

图7为本申请提供的一种图像处理装置的示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

需要说明的是，本申请实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。

为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不是在对数量和执行次序进行限定。

由背景技术可知，越来越多的领域引入了图像装置，如交通领域和医学领域。例如，在医学领域中，由于人体内组织的状况不容易直接观察到，因此医生可借助各种探入型图像装置，如耳鼻喉内窥镜、胃镜、腹腔镜等多种内窥镜，经由口腔或其他人体的天然孔道等进入人体内，获取人体内组织的真实状况的图像。

在一些情况下，例如在医疗手术的过程中，医生借助内窥镜观察人体内组织状况的同时，还可能需要借助手术刀等医用器械辅助治疗，但是这些医用器械可能成为遮挡人体内组织(内窥镜拍摄的目标对象)的图像信息的遮挡对象。在不存在遮挡对象的情况下，如图1中内窥镜拍摄的人体内组织状况图像A，内窥镜拍摄人体内组织状况图像的图像信息未被遮挡。在存在遮挡对象的情况下，如图1中内窥镜拍摄的人体内组织状况图像B，内窥镜拍摄人体内组织状况图像的图像信息会被遮挡对象部分遮挡。可见，内窥镜拍摄人体内组织状况时，这些医用器械可能会成为遮挡对象，遮掩人体内组织(内窥镜拍摄的目标对象)，因此医生无法在使用器械的同时观察人体内组织的整体情况，这会对医疗手术过程造成的一定程度的影响。

因此，如何修复图像中目标对象被遮挡对象遮挡的图像信息成为亟待解决的技术问题。

针对上述问题，本申请提供一种图像处理方法、装置、电子设备及存储介质。

在一些可能的实施例中，本申请实施例提供的一种图像处理方法可应用于如图2所示的图像处理系统中。该图像处理系统至少包括图像处理设备11。

图像处理设备11可以获得多个先验图像和待修复图像，先验图像和待修复图像包括基于内窥镜获得的目标对象的图像；先验图像包括先验信息区域，先验信息区域为目标对象未被遮挡对象遮挡的图像区域,遮挡对象包括医疗器械，或医疗器械的一部分；待修复图像包括待修复区域，待修复区域为目标对象被遮挡对象遮挡的图像区域；根据先验图像和待修复图像，获得待修复区域的先验信息，待修复区域的先验信息包含多个先验图像的先验信息区域中，与待修复区域对应的区域的图像信息；将先验信息包含的来自多个先验图像的图像信息进行图像的加权融合，获得融合先验信息；将融合先验信息和待修复图像，输入至扩散模型，获得扩散模型输出的修复后的图像；扩散模型为用于修复目标对象的图像信息的模型，融合先验信息用于扩散模型填充待修复区域；显示修复后的图像，并根据待修复图像中遮挡对象的位置信息，在修复后的图像上显示遮挡对象对应的图像信息，修复后的图像上显示的遮挡对象对应的图像信息的透明度大于0。

可选的，图像处理设备11还可以根据先验信息区域中目标对象的图像信息，对多个先验图像进行聚类，获得至少一个聚类中心。图像处理设备11会将与聚类中心的距离最近的先验图像，确定为聚类中心对应的目标先验图像，再根据目标先验图像和待修复图像，获得待修复区域的先验信息。

可选的，图像处理设备11可以根据遮挡对象在先验图像中的位置信息，对多个先验图像进行聚类，获得至少一个聚类中心；将与聚类中心的距离最近的先验图像，确定为聚类中心对应的目标先验图像；根据目标先验图像和待修复图像，获得待修复区域的先验信息。

可选的，图像处理设备11可以在根据遮挡对象在先验图像中的位置信息，对多个先验图像进行聚类，获得至少一个聚类中心之前，对各个先验图像进行图像分割，获得各个先验图像中遮挡对象的对应区域；将遮挡对象的对应区域的中心坐标，确定为遮挡对象在先验图像中的位置信息。

可选的，图像处理设备11可以在第一先验信息区域中第一目标区域的位置与第二先验信息区域中第二目标区域的位置相同的情况下，第一目标区域与第二目标区域包含的图像信息相同。

可选的，图像处理设备11可以基于各个先验图像的先验信息区域包含的图像信息，对多个先验图像进行分类，得到至少一个先验图像组，同一先验图像组中，先验图像的先验信息区域包含的图像信息满足预设相似条件；从各个先验图像组中分别确定出一个目标先验图像；不同目标先验图像的先验信息区域包含的图像信息不完全相同；根据各个目标先验图像和待修复图像，获得待修复区域的先验信息。

可选的，图像处理设备11可以针对各个目标先验图像，基于目标对象的特征，将目标先验图像与待修复图像进行特征匹配，获得目标先验图像中目标对象，与待修复图像中目标对象的特征对应关系；根据特征对应关系，将目标先验图像的先验信息区域中，与待修复图像中目标对象的待修复区域对应的区域的图像信息，确定为待修复区域的先验信息。

在另一些可能的实施例中，本申请实施例图像处理系统中可以包括图像处理设备11和图像获取设备12。图像处理设备11和图像获取设备12通信连接。

应理解，图像处理设备11和图像获取设备12的数量不限，本申请中以一个图像处理设备11和一个图像获取设备12为例进行说明。

图像获取设备12可以对目标对象进行拍摄，生成目标对象的图像，并将目标对象的图像发送给图像处理设备11。图像获取设备12拍摄的目标对象的图像可以包括目标对象的待修复图像，图像获取设备12拍摄的目标对象的图像还可以包括目标对象的先验图像。

图像处理设备11可以接收到图像获取设备发送的目标对象的图像，并对其中的待修复图像进行处理。

本申请实施例中的图像处理设备11可以是中心平台服务器、台式电脑、平板电脑、笔记本电脑、手持计算机、可穿戴电子设备、手持计算机、超级移动个人计算机(Ultra-mobile Personal Computer，UMPC)、上网本等电子设备，本申请实施例对此不做任何限制。

本申请实施例中的图像获取设备12可以是胃镜、腹腔镜、喉镜等各种内窥镜，也可以抓拍装置、摄像机等任意一种图像拍摄装置，本申请对此不做任何限制。

本申请实施例中的图像处理设备11可以包括如图3所示的计算装置，该计算装置包括处理器101，存储器102、通信接口103、总线104。处理器101，存储器102以及通信接口103之间可以通过总线104连接。

处理器101是计算装置的控制中心，可以是一个处理器，也可以是多个处理元件的统称。例如，处理器101可以是一个通用中央处理单元(central process ing unit，CPU)，也可以是其他通用处理器等。其中，通用处理器可以是微处理器或者是任何常规的处理器等。

作为一些实施例，处理器101可以包括一个或多个CPU，例如图3中所示的CPU 0和CPU 1。

存储器102可以是只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrical lyerasable programmable read-only memory，EEPROM)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

一些可能的实现方式中，存储器102可以独立于处理器101存在，存储器102可以通过总线104与处理器101相连接，用于存储指令或者程序代码。处理器101调用并执行存储器102中存储的指令或程序代码时，能够实现本申请实施例提供的模型部署方法。

在本申请实施例中，对于图像处理设备而言，存储器102中存储的软件程序不同，实现的功能不同。关于各设备所执行的功能将结合下面的流程图进行描述。

另一种可能的实现方式中，存储器102也可以和处理器101集成在一起。

通信接口103，用于计算装置与其他设备通过通信网络连接，所述通信网络可以是以太网，无线接入网(radio access network，RAN)，无线局域网(wireless local areanetworks，WLAN)等。通信接口103可以包括用于接收数据的接收单元，以及用于发送数据的发送单元。

总线104，可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(Peripheral Component Interconnect，PCI)总线或扩展工业标准体系结构(Extended Industry Standard Architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

需要指出的是，图3中示出的结构并不构成对该计算装置的限定，除图3所示部件之外，该计算装置可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

在一些可能的实施例中，如图4所示，本申请实施例提供的图像处理方法可包括S201至S205。示例性的，本申请实施例提供的图像处理方法可以应用于图像处理设备，如图2所示的图像处理系统中的图像处理设备11。

S201，获得多个先验图像和待修复图像。

其中，先验图像和待修复图像包括基于内窥镜获得的目标对象的图像，先验图像包括先验信息区域，先验信息区域为目标对象未被遮挡对象遮挡的图像区域,遮挡对象包括医疗器械，或医疗器械的一部分。待修复图像包括待修复区域，待修复区域为目标对象被遮挡对象遮挡的图像区域。

应理解，上述先验图像可以是目标对象被遮挡对象部分遮挡的图像，也可以是目标对象未被遮挡的图像，这些图像中都包含目标对象的图像信息。由于待修复图像和先验图像都是目标对象的图像，因此待修复图像中待修复区域，目标对象被遮挡对象遮挡的图像区域的图像信息，可能存在于先验图像的先验区域的图像信息中。

上述先验图像和待修复图像可以包括基于内窥镜获得的目标对象的图像，当然，先验图像和待修复图像也可以是通过其他成像设备获得的图像，例如先验图像和待修复图像还可以是基于其他医学成像设备获得的图像，或者先验图像和待修复图像也可以是基于其他拍摄设备获得的图像，本申请对此不做限定。

上述目标对象可以为人体内部组织，遮挡对象可以为医疗器械，或者，遮挡对象也可以是医疗器械的一部分，例如医疗器械包括器械头和器械杆的情况下，可将医疗器械的器械杆作为遮挡对象。当然，目标对象和遮挡对象还可以是其他事物。例如，目标对象为人像，遮挡对象为人的手持物品，本申请对此不做限定。

S202，根据先验图像和待修复图像，获得待修复区域的先验信息。

其中，待修复区域的先验信息包含多个先验图像的先验信息区域中，与待修复区域对应的区域的图像信息。

示例的，目标对象可以为人体，那么先验图像和待修复图像都为人体图像。先验图像可以是未被遮挡对象遮挡的人体图像、手臂被遮挡对象遮挡的人体图像、手部被遮挡对象遮挡的人体图像和腿部被遮挡对象遮挡的人体图像等。待修复图像可以是目标对象(人体)脸部被遮挡对象遮挡的人体图像。

如图5所示，如对于目标对象(人体)的腿部被遮挡的人体图像这样的先验图像A，其先验信息区域则为除了腿部以外的区域。对于目标对象(人体)的脸部被遮挡对象遮挡的人像图像，这样的待修复图像B，其待修复区域为脸部被遮挡对象遮挡的区域。可见，在先验图像的先验信息区域中，包含目标对象(人体)的脸部被遮挡对象遮挡的信息，即可对应于待修复图像B待修复区域中目标对象的图像信息。

S203，将先验信息包含的来自多个先验图像的图像信息进行图像的加权融合，获得融合先验信息。

应理解，先验信息是从先验图像中获得的图像信息，所以先验信息本质上仍旧是图像信息，并且先验信息为先验信息区域中与待修复区域对应的区域的图像信息，因此先验信息包含的都是目标对象的同一区域的图像信息。又由于每个目标先验图像都对应一种先验信息，多个目标先验图像对应多个先验信息的情况下，可将这多个目标对象同一区域的图像信息(先验信息)通过加权融合的方式，融合至一个能表征多个先验信息的融合先验信息。

S204，将融合先验信息和待修复图像，输入至扩散模型，获得扩散模型输出的修复后的图像。

其中，扩散模型为用于修复目标对象的图像信息的模型，融合先验信息用于扩散模型填充待修复区域。

应理解，在未知其他条件以及不加约束条件的情况下，对于待修复图像中待修复区域的修复，最终出现的待修复区域可以是多种不同的图像信息。例如，通过图像修复模型，对于人像中人脸缺失的眼睛进行修复，在未知其他条件以及不加约束条件的情况下，修复的眼睛可能是任意形状的眼睛和任意瞳色的眼睛。可见，图像处理领域中，这些图像修复问题大多都是反问题，即问题的解(对待修复区域进行修复的图像信息)并不唯一。为了缩小问题的解，更好地逼近真实解(即待修复区域真实对应的图像信息)，需要在解决问题时添加先验信息，即用已知信息限制图像的修复的图像信息。

本方法将融合先验信息和待修复图像，输入至扩散模型，待修复图像中的待修复区域即为需要扩散模型需要修复的区域，而先验信息作为填充待修复区域的图像信息。待修复区域中填充的融合先验信息可作为待修复区域中引入噪声过程或者去噪过程的信息，引导扩散模型根据先验信息，修复生成待修复区域的图像信息。

在本申请的图像处理方法中，为了使对待修复区域进行修复后得到的修复后图像，更逼近目标对象真实被遮挡住的图像信息，将先验信息区域中与待修复区域对应的区域的图像信息作为先验信息，并将多个先验信息进行融合获得融合先验信息。进一步的，本方法根据待修复图像中已知的目标对象的图像信息，和待修复区域的融合先验信息，对待修复图像的待修复区域进行修复。

示例的，如图6所示，如果目标对象为人体内部组织(如胃部)，遮挡对象为医用器械，先验图像C1、先验图像C2和待修复图像C都为人体内部组织的图像。如图6所示，待修复图像C中的线条即表征人体内部组织的结构，待修复图像C中还包含遮挡对象医用器械，人体内部组织被医用器械遮挡的图像信息区域即为待修复区域。在先验图像C1和先验图像C2中，待修复图像中人体内部组织被医用器械遮挡的图像信息，在先验图像C1和先验图像C2中未被遮挡，那么与待修复区域对应的区域的图像信息，即为待修复图像对应的先验信息，即图示先验图像C1的先验信息C1和先验图像C2的先验信息C2。进一步的，本方法实施例中可将先验信息C1和先验信息C2进行融合，获得融合先验信息。再将融合先验信息和待修复图像，输入至扩散模型，获得扩散模型输出的修复后的图像。由于待修复区域中修复的图像信息是根据融合先验信息进行修复的，而融合先验信息为目标对象(人体内部组织)中真实的图像信息，因此修复后的图像信息也应当与目标对象(人体内部组织)中真实的图像信息相对一致。

S205，显示修复后的图像，并根据待修复图像中遮挡对象的位置信息。

其中，在修复后的图像上显示遮挡对象对应的图像信息，修复后的图像上显示的遮挡对象对应的图像信息的透明度大于0。

应理解，在目标对象为人体内部组织，遮挡对象为医疗器械的情况下，医生借助目标对象的修复后的图像，使用医疗器械(遮挡对象)，虽然能够完全观察到人体内部组织(目标对象)的情况，但是难以判断医疗器械(遮挡对象)的使用状况。

因此，本方法将根据待修复图像中医疗器械(遮挡对象)的位置信息，在修复后的图像上显示医疗器械(遮挡对象)对应的图像信息，并在修复后的图像上显示的医疗器械(遮挡对象)对应的图像信息的透明度大于0。这样显示的修复后的图像，既不遮挡人体内部组织(目标对象)的图像信息，还能够显示医疗器械(遮挡对象)的图像信息。

由上述实施例可知，本申请实施例提供的图像处理方法会先获得目标对象的先验图像和待修复图像。在遮挡对象包括医疗器械或医疗器械的一部分，先验图像和待修复图像包括基于内窥镜获得的图像的情况下，由于先验图像和待修复图像都是针对目标对象，如人体内部组织的图像，且先验图像包括目标对象未被遮挡对象遮挡的先验信息区域，如人体内部组织未被如医疗器械遮挡的图像区域，而先验图像中包含的目标对象(如人体内部组织)的图像信息与待修复图像中包含的目标对象(如人体内部组织)的图像信息不完全相同，例如先验图像中可能包含更多的人体内部组织图像信息，因此这些图像信息中可能包含待修复图像中待修复区域对应的图像信息，也即待修复图像中人体内部组织被医疗器械遮挡的图像信息。基于此，本申请提供的图像处理方法进一步根据先验图像和待修复图像，获得先验图像的先验信息区域中与待修复图像待修复区域对应的区域的图像信息，作为待修复区域的先验信息，如先验图像中人体内部组织的图像信息，对应于待修复图像中被医疗器械遮挡的图像信息，作为待修复区域的先验信息。由于先验信息包含多个先验图像中目标对象的图像信息，因此可进行图像的加权融合，从而获得综合多个先验图像中目标对象的图像信息的融合先验信息。本方法将融合先验信息和待修复图像输入至用于修复目标对象的扩散模型，融合先验信息作为填充待修复区域的信息，可引导扩散模型对待修复图像的待修复区域修复得更加真实。同时，又由于待修复图像和先验图像的拍摄角度和光照条件不同，其待修复区域需要修复的图像信息与融合先验信息不完全相同，因此本方法在使用融合先验信息对待修复区域进行修复的同时，还在扩散模型中使用了待修复图像中目标对象的图像信息，使修复后的图像信息不仅能够与目标对象真实被遮挡的图像信息相近，更使得修复后的图像信息能够适应整张图像。除此之外，由于在遮挡对象作为工具(如医疗器械)的情况下，虽然遮挡对象(如医疗器械)遮挡了目标对象的图像信息，但是遮挡对象的使用者(如医生)同样需要视觉观察感知到遮挡对象(如医疗器械)的位置，以便使用。因此，本方法在显示修复后的图像时，还根据待修复图像中遮挡对象(如医疗器械)的位置信息，以透明度大于0，即半透明的方式在修复后的图像上显示遮挡对象(如医疗器械)，从而显示的修复后的图像能同时观察到遮挡对象遮挡的图像信息，以及遮挡对象的信息，提高使用者的使用体验。

在一种可能的实施例中，根据先验图像和待修复图像，获得待修复区域的先验信息，包括：根据先验信息区域中目标对象的图像信息，对多个先验图像进行聚类，获得至少一个聚类中心。将与聚类中心的距离最近的先验图像，确定为聚类中心对应的目标先验图像。根据目标先验图像和待修复图像，获得待修复区域的先验信息。

上述根据先验信息区域中目标对象的图像信息，对多个先验图像进行聚类，获得的各个聚类中心，分别表征先验图像的图像信息的特征的不同类别。由于先验图像与某一聚类中心的距离，可表征先验图像中目标对象的图像信息，与该聚类中心表征的特征类别的相符程度，因此本方法将与聚类中心的距离最近的先验图像，确定为聚类中心对应的目标先验图像，即将目标对象的图像信息与聚类中心表征的特征最相符的先验图像，作为目标先验图像。

例如，每个聚类中心对应的特征可以是先验图像的先验信息区域中包含目标对象的其中至少一部分图像信息。距离聚类中心最近的先验图像，可能为具有该聚类中心表征的目标对象的部分图像信息最完整和/或最清晰的图像。每个目标先验图像中包含目标对象的其中一部分图像信息，多个目标先验图像即可就有目标对象各个部分最完整和/或最清晰的图像信息，有效地表征出目标对象该部分的图像信息。从而，从多张目标先验图像中获取的目标先验信息就能具有目标对象较为完整清晰的图像信息。那么，针对目标对象的待修复区域，目标对象被遮挡(缺少)的图像信息，也能根据目标先验信息也能进行较好的修复。

当然，上述聚类的方式仅为示例，还能有其他方式进行聚类，本申请对此不做具体限定。

示例的，在目标对象为人的情况下，待修复图像为目标对象(人体)脸部被遮挡的图像，聚类中心还能表征先验图像的先验信息区域包含目标对象(人体)的腿部的图像信息等。那么多个目标先验图像，即可获得目标对象(人体)各个部分，如手部，躯体部位的图像信息，从而，能够从目标先验图像中获得目标对象(人体)较为完整的图像信息，当然，这之中也包含待修复中弥补对象被遮挡的图像信息。那么，针对目标对象的待修复区域(脸部)的图像信息，可根据目标先验图像中的目标先验信息可对待修复区域进行较好的修复。

在一种可能的实施例中，第一先验图像包括第一先验信息区域，第二先验图像包括第二先验信息区域。第一先验图像和第二先验图像为任意两个先验图像。在第一先验信息区域中第一目标区域的位置与第二先验信息区域中第二目标区域的位置相同的情况下，第一目标区域与第二目标区域包含的图像信息相同。

例如，在先验图像为基于内窥镜获得的人体组织(目标对象)，遮挡对象为医疗器械的情况下，第一先验图像和第二先验图像中，遮挡对象遮挡的人体组织(目标对象)的位置发生了改变，两张先验图像中遮挡对象对应的两个图像区域以外的区域，目标对象的其他区域包含的图像信息相同。即内窥镜和目标对象之间相对位置不发生改变，只有遮挡对象的位置发生了改变。

在一种可能的实施例中，每个先验图像中还包括遮挡对象。根据先验图像和待修复图像，获得待修复区域的先验信息，包括：根据遮挡对象在先验图像中的位置信息，对多个先验图像进行聚类，获得至少一个聚类中心。将与聚类中心的距离最近的先验图像，确定为聚类中心对应的目标先验图像。根据目标先验图像和待修复图像，获得待修复区域的先验信息。

那么，在每个先验图像中都包含遮挡对象的情况下，还可以根据遮挡对象在先验图像中的位置信息，对多个先验图像进行聚类。根据这种聚类方式获得的聚类中心表征的特征则是遮挡对象在先验图像中的位置。那么，距离聚类中心最近的目标先验图像，则是遮挡对象距离聚类中心表征的遮挡对象在先验图像中的位置最接近的先验图像。

在上述第一先验图像和第二先验图像中，两张图像中只有遮挡对象对应的图像区域的图像信息发生了变化。在第一先验信息区域中第一目标区域的位置与第二先验信息区域中第二目标区域的位置相同的情况下，第一目标区域与第二目标区域包含的图像信息相同。那么，对这样的先验图像，根据遮挡对象在先验图像中的位置信息进行聚类，即根据先验图像中不具有的目标对象的图像信息和具有的目标对象的图像信息进行聚类。从而，根据与聚类中心的距离最近的先验图像，即目标对象缺失其中一部分图像信息，但具有其他部分的图像信息的先验图像中最具有代表性的一张，作为目标先验图像。虽然目标先验图像中目标对象一个区域被遮挡了，先验信息区域还包含目标对象其他区域的图像信息，那么根据多个这样的目标先验图像中先验区域的目标对象的图像信息，也能够获得目标对象较为完整的图像信息。从而，针对目标对象的待修复区域也能做到较好的修复。

在一种可能的实施例中，在根据遮挡对象在先验图像中的位置信息，对多个先验图像进行聚类，获得至少一个聚类中心之前，本申请实施例提供的图像处理方法还包括：对各个先验图像进行图像分割，获得各个先验图像中遮挡对象的对应区域。将遮挡对象的对应区域的中心坐标，确定为遮挡对象在先验图像中的位置信息。

应理解，所谓图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同。简单的说就是在一副图像中，把目标从背景中分离出来。本方法将遮挡对象从先验图像中划分出来，获得遮挡对象的对应区域，并根据挡对象的对应区域的中心坐标，确定为遮挡对象在先验图像中的位置信息。

在一种可能的实施例中，根据先验图像和待修复图像，获得待修复区域的先验信息，包括：基于各个先验图像的先验信息区域包含的图像信息，对多个先验图像进行分类，得到至少一个先验图像组，同一先验图像组中，先验图像的先验信息区域包含的图像信息满足预设相似条件。从各个先验图像组中分别确定出一个目标先验图像。不同目标先验图像的先验信息区域包含的图像信息不完全相同。根据各个目标先验图像和待修复图像，获得待修复区域的先验信息。

例如，在目标对象为人像的情况下，待修复图像中目标对象被遮挡对象遮挡的区域为人脸部区域，那么其中一个先验图像组A的预设相似条件可以为图像信息中包含目标对象的人脸部区域的图像信息。对于先验图像组A来说，其中的先验图像都包含人脸部区域的图像信息，目标先验图像可以是通过图像质量评分等方式，选择出的图像信息最完整清楚的先验图像。那么，根据这样的目标先验图像和待修复图像，获得的待修复区域的先验信息能够很好修复目标对象被遮挡对象遮挡的区域为人脸部区域的待修复图像。

在一种可能的实施例中，根据目标先验图像和待修复图像，获得待修复区域的先验信息，包括：针对各个目标先验图像，基于目标对象的特征，将目标先验图像与待修复图像进行特征匹配，获得目标先验图像中目标对象，与待修复图像中目标对象的特征对应关系。根据特征对应关系，将目标先验图像的先验信息区域中，与待修复图像中目标对象的待修复区域对应的区域的图像信息，确定为待修复区域的先验信息。

例如，通过SIFT匹配算法(Scale-invariant feature transform)，可将目标先验图像和待修复图像进行特征匹配。SIFT匹配算法会提取每张图像上的特征点，并对图像中的特征点进行对应，因此目标先验图像和待修复图像中相对应的图像信息的特征都能通过SIFT匹配算法得到对应，那么在目标先验图像和待修复图像中目标对象的特征得到对应后，也可以随之确定待修复图像中的待修复区域和目标先验图像中的先验信息区域之间的对应关系。进一步的，将目标先验图像的先验信息区域中，与待修复图像中目标对象的待修复区域对应的区域的图像信息，确定为待修复区域的先验信息。

当然，还能够通过其他方式对图像进行特征匹配，例如通过SURF(Speeded UpRobust Features,加速稳健特征)匹配算法，对目标先验图像和待修复图像进行特征匹配，本申请对此不做限定。

在一种可能的实施例中，先验图像和待修复图像为时序连续的视频帧图像，先验图像的时序早于待修复图像的时序。

例如，针对于人体内部组织，基于内窥镜获取的一组连续视频帧图像。先验图像为该组视频帧图像中时序最后的图像，而先验图像则为该组视频帧图像中获取时间早于先验图像的获取时间的图像。

在一种可能的实施例中，本申请提供一种图像处理装置，如图7所示，该图像处理装置包括图像获取模块301、先验信息获取模块302、先验信息融合模块303、修复模块304和显示模块305。

图像获取模块301，用于获得多个先验图像和待修复图像，先验图像和待修复图像包括基于内窥镜获得的目标对象的图像。先验图像包括先验信息区域，先验信息区域为目标对象未被遮挡对象遮挡的图像区域,遮挡对象包括医疗器械，或医疗器械的一部分。待修复图像包括待修复区域，待修复区域为目标对象被遮挡对象遮挡的图像区域。

先验信息获取模块302，用于根据先验图像和待修复图像，获得待修复区域的先验信息，待修复区域的先验信息包含多个先验图像的先验信息区域中，与待修复区域对应的区域的图像信息。

先验信息融合模块303，用于将先验信息包含的来自多个先验图像的图像信息进行图像的加权融合，获得融合先验信息。

修复模块304，用于将融合先验信息和待修复图像，输入至扩散模型，获得扩散模型输出的修复后的图像。扩散模型为用于修复目标对象的图像信息的模型，融合先验信息用于扩散模型填充待修复区域。

显示模块305，用于显示修复后的图像，并根据待修复图像中遮挡对象的位置信息，在修复后的图像上显示遮挡对象对应的图像信息，修复后的图像上显示的遮挡对象对应的图像信息的透明度大于0。

在一种可能的实施例中，先验信息获取模块302包括聚类单元、目标先验确定单元和先验信息确定单元。聚类单元，用于根据先验信息区域中目标对象的图像信息，对多个先验图像进行聚类，获得至少一个聚类中心。目标先验确定单元，用于将与聚类中心的距离最近的先验图像，确定为聚类中心对应的目标先验图像。先验信息确定单元，用于根据目标先验图像和待修复图像，获得待修复区域的先验信息。

在一种可能的实施例中，每个先验图像中还包括遮挡对象；先验信息获取模块302包括聚类单元、目标先验确定单元和先验信息确定单元。聚类单元，用于根据遮挡对象在先验图像中的位置信息，对多个先验图像进行聚类，获得至少一个聚类中心。目标先验确定单元，用于将与聚类中心的距离最近的先验图像，确定为聚类中心对应的目标先验图像。先验信息确定单元，用于根据目标先验图像和待修复图像，获得待修复区域的先验信息。

在一种可能的实施例中，图像处理装置还包括位置信息确定单元，用于在根据遮挡对象在先验图像中的位置信息，对多个先验图像进行聚类，获得至少一个聚类中心之前，对各个先验图像进行图像分割，获得各个先验图像中遮挡对象的对应区域；将遮挡对象的对应区域的中心坐标，确定为遮挡对象在先验图像中的位置信息。

在一种可能的实施例中，第一先验图像包括第一先验信息区域，第二先验图像包括第二先验信息区域；第一先验图像和第二先验图像为任意两个先验图像；在第一先验信息区域中第一目标区域的位置与第二先验信息区域中第二目标区域的位置相同的情况下，第一目标区域与第二目标区域包含的图像信息相同。

在一种可能的实施例中，先验信息获取模块302，具体用于基于各个先验图像的先验信息区域包含的图像信息，对多个先验图像进行分类，得到至少一个先验图像组，同一先验图像组中，先验图像的先验信息区域包含的图像信息满足预设相似条件；从各个先验图像组中分别确定出一个目标先验图像；不同目标先验图像的先验信息区域包含的图像信息不完全相同；根据各个目标先验图像和待修复图像，获得待修复区域的先验信息。

在一种可能的实施例中，先验信息获取模块302，具体用于：针对各个目标先验图像，基于目标对象的特征，将目标先验图像与待修复图像进行特征匹配，获得目标先验图像中目标对象，与待修复图像中目标对象的特征对应关系；根据特征对应关系，将目标先验图像的先验信息区域中，与待修复图像中目标对象的待修复区域对应的区域的图像信息，确定为待修复区域的先验信息。

在一种可能的实施例中，先验图像和待修复图像为时序连续的视频帧图像，先验图像的时序早于待修复图像的时序。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将图像处理装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

本申请实施例还提供了一种计算机可读存储介质。上述方法实施例中的全部或者部分流程可以由计算机指令来指示相关的硬件完成，该程序可存储于上述计算机可读存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。计算机可读存储介质可以是前述任一实施例的或内存。上述计算机可读存储介质也可以是上述图像处理装置的外部存储设备，例如上述图像处理装置上配备的插接式硬盘，智能存储卡(smart media card，SMC)，安全数字(secure digital，SD)卡，闪存卡(flash card)等。进一步地，上述计算机可读存储介质还可以既包括上述图像处理装置的内部存储单元也包括外部存储设备。上述计算机可读存储介质用于存储上述计算机程序以及上述图像处理装置所需的其他程序和数据。上述计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。

本申请实施例还提供一种计算机程序产品，该计算机产品包含计算机程序，当该计算机程序产品在计算机上运行时，使得该计算机执行上述实施例中所提供的任一项图像处理方法。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看附图、公开内容、以及所附权利要求书，可理解并实现公开实施例的其他变化。在权利要求中，“包括”(Compris ing)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (11)

1.一种图像处理方法，其特征在于，包括：

获得多个先验图像和待修复图像，所述先验图像和所述待修复图像包括基于内窥镜获得的目标对象的图像；所述先验图像包括先验信息区域，所述先验信息区域为所述目标对象未被遮挡对象遮挡的图像区域,所述遮挡对象包括医疗器械，或医疗器械的一部分；所述待修复图像包括待修复区域，所述待修复区域为所述目标对象被所述遮挡对象遮挡的图像区域；

根据所述先验图像和所述待修复图像，获得所述待修复区域的先验信息，所述待修复区域的先验信息包含多个所述先验图像的所述先验信息区域中，与所述待修复区域对应的区域的图像信息；

将所述先验信息包含的来自多个所述先验图像的图像信息进行图像的加权融合，获得融合先验信息；

将所述融合先验信息和所述待修复图像，输入至扩散模型，获得所述扩散模型输出的所述修复后的图像；所述扩散模型为用于修复所述目标对象的图像信息的模型，所述融合先验信息用于所述扩散模型填充所述待修复区域；

显示所述修复后的图像，并根据所述待修复图像中所述遮挡对象的位置信息，在所述修复后的图像上显示所述遮挡对象对应的图像信息，所述修复后的图像上显示的所述遮挡对象对应的图像信息的透明度大于0。

2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述先验图像和所述待修复图像，获得所述待修复区域的先验信息，包括：

根据所述先验信息区域中所述目标对象的图像信息，对多个所述先验图像进行聚类，获得至少一个聚类中心；

将与所述聚类中心的距离最近的所述先验图像，确定为所述聚类中心对应的目标先验图像；

根据所述目标先验图像和所述待修复图像，获得所述待修复区域的先验信息。

3.根据权利要求1所述的图像处理方法，其特征在于，每个所述先验图像中还包括所述遮挡对象；所述根据所述先验图像和所述待修复图像，获得所述待修复区域的先验信息，包括：

根据所述遮挡对象在所述先验图像中的位置信息，对多个所述先验图像进行聚类，获得至少一个聚类中心；

将与所述聚类中心的距离最近的所述先验图像，确定为所述聚类中心对应的目标先验图像；

根据所述目标先验图像和所述待修复图像，获得所述待修复区域的先验信息。

4.根据权利要求3所述的图像处理方法，其特征在于，在所述根据所述遮挡对象在所述先验图像中的位置信息，对多个所述先验图像进行聚类，获得至少一个聚类中心之前，所述方法还包括：

对各个所述先验图像进行图像分割，获得各个所述先验图像中所述遮挡对象的对应区域；

将所述遮挡对象的对应区域的中心坐标，确定为所述遮挡对象在所述先验图像中的位置信息。

5.根据权利要求3或4所述的图像处理方法，其特征在于，第一先验图像包括第一先验信息区域，第二先验图像包括第二先验信息区域；所述第一先验图像和所述第二先验图像为任意两个先验图像；

在所述第一先验信息区域中第一目标区域的位置与所述第二先验信息区域中第二目标区域的位置相同的情况下，所述第一目标区域与所述第二目标区域包含的图像信息相同。

6.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述先验图像和所述待修复图像，获得所述待修复区域的先验信息，包括：

基于各个所述先验图像的所述先验信息区域包含的图像信息，对多个所述先验图像进行分类，得到至少一个先验图像组，同一所述先验图像组中，所述先验图像的所述先验信息区域包含的图像信息满足预设相似条件；

从各个所述先验图像组中分别确定出一个目标先验图像；不同所述目标先验图像的所述先验信息区域包含的所述的图像信息不完全相同；

根据所述目标先验图像和所述待修复图像，获得所述待修复区域的先验信息。

7.根据权利要求2、3、4或6中任一项所述的图像处理方法，其特征在于，所述根据所述目标先验图像和所述待修复图像，获得所述待修复区域的先验信息，包括：

针对各个所述目标先验图像，基于所述目标对象的特征，将所述目标先验图像与所述待修复图像进行特征匹配，获得所述目标先验图像中所述目标对象，与所述待修复图像中所述目标对象的特征对应关系；

根据所述特征对应关系，将所述目标先验图像的先验信息区域中，与所述待修复图像中所述目标对象的待修复区域对应的区域的图像信息，确定为所述待修复区域的先验信息。

8.根据权利要求1所述的图像处理方法，其特征在于，所述先验图像和所述待修复图像为时序连续的视频帧图像，所述先验图像的时序早于所述待修复图像的时序。

9.一种图像处理装置，其特征在于，所述装置包括：

图像获取模块，用于获得多个先验图像和待修复图像，所述先验图像和所述待修复图像包括基于内窥镜获得的目标对象的图像；所述先验图像包括先验信息区域，所述先验信息区域为所述目标对象未被遮挡对象遮挡的图像区域,所述遮挡对象包括医疗器械，或医疗器械的一部分；所述待修复图像包括待修复区域，所述待修复区域为所述目标对象被所述遮挡对象遮挡的图像区域；

先验信息获取模块，用于根据所述先验图像和所述待修复图像，获得所述待修复区域的先验信息，所述待修复区域的先验信息包含多个所述先验图像的所述先验信息区域中，与所述待修复区域对应的区域的图像信息；

先验信息融合模块，用于将所述先验信息包含的来自多个所述先验图像的图像信息进行图像的加权融合，获得融合先验信息；

修复模块，用于将所述融合先验信息和所述待修复图像，输入至扩散模型，获得所述扩散模型输出的所述修复后的图像；所述扩散模型为用于修复所述目标对象的图像信息的模型，所述融合先验信息用于所述扩散模型填充所述待修复区域；

显示模块，用于显示所述修复后的图像，并根据所述待修复图像中所述遮挡对象的位置信息，在所述修复后的图像上显示所述遮挡对象对应的图像信息，所述修复后的图像上显示的所述遮挡对象对应的图像信息的透明度大于0。

10.一种电子设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机指令，所述处理器用于从存储器中调用并运行所述计算机指令，实现权利要求1-8任一项所述的图像处理方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括：计算机软件指令；当所述计算机软件指令在图像处理装置中运行时，使得所述图像处理装置实现如权利要求1-8任一项所述的图像处理方法。