CN116523826A - 一种用于微创内镜手术的内镜图像器械去遮挡方法 - Google Patents
一种用于微创内镜手术的内镜图像器械去遮挡方法 Download PDFInfo
- Publication number
- CN116523826A CN116523826A CN202310165737.8A CN202310165737A CN116523826A CN 116523826 A CN116523826 A CN 116523826A CN 202310165737 A CN202310165737 A CN 202310165737A CN 116523826 A CN116523826 A CN 116523826A
- Authority
- CN
- China
- Prior art keywords
- image
- information
- instrument
- filling information
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002674 endoscopic surgery Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000011218 segmentation Effects 0.000 claims abstract description 37
- 230000008439 repair process Effects 0.000 claims abstract description 33
- 238000013500 data storage Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 23
- 238000013135 deep learning Methods 0.000 claims abstract description 17
- 238000012549 training Methods 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 18
- 238000010801 machine learning Methods 0.000 claims description 14
- 230000002238 attenuated effect Effects 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 238000004590 computer program Methods 0.000 description 8
- 238000001356 surgical procedure Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/12—Edge-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Endoscopes (AREA)
Abstract
本发明提出一种用于微创内镜手术的内镜图像器械去遮挡方法,包括,输入视频流,通过模糊帧判别器区分视频流中的有效图像和无效图像;基于深度学习对有效图像进行实例分割,划分待修复图像与非待修复图像,并生成对应的器械分割蒙版;基于深度学习对所述待修复图像生成第一填补信息;基于非待修复图像更新修复数据存储信息;基于器械分割蒙版及更新后的修复数据存储信息,进行区域匹配,获取第二填补信息;将第一填补信息和第二填补信息进行自适应处理,生成第三填补信息,根据第三填补信息覆盖有效图像对应区域,进行图像器械去遮挡。通过本发明提出的方法,将内窥镜图像上的器械遮挡区域进行透明化,以为微创内镜手术提供更清晰的视野。
Description
技术领域
本发明属于图像处理领域。
背景技术
随着医学技术的不断发展和进步,外科手术逐渐微创化,而内窥镜作为监测微创手术进程的重要设备,受限于设备尺寸和狭窄空间,视野范围狭小,尤其在手术器械通过工具通道进入后,占据了内镜图像的大部分区域。
在现有的微创内镜手术中,手术器械通过工具通道进入后,会占据内镜图像的大部分区域,遮挡在内窥镜相机与目标组织之间,影响医生观察目标组织区域。需要将手术器械先移出内窥镜监测区域,观察完成后再置入手术器械,不能边观察边操作,操作不便且会造成手术时间延长,手术质量降低。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的目的在于提出一种用于微创内镜手术的内镜图像器械去遮挡方法,用于实现图像器械去遮挡。
为达上述目的,本发明第一方面实施例提出了一种用于微创内镜手术的内镜图像器械去遮挡方法,包括:
输入视频流,通过模糊帧判别器区分所述视频流中的有效图像和无效图像;
基于深度学习对所述有效图像进行实例分割,划分待修复图像与非待修复图像,并生成对应的器械分割蒙版;
基于深度学习对所述待修复图像生成第一填补信息;
基于所述非待修复图像更新修复数据存储信息;
基于所述器械分割蒙版及更新后的修复数据存储信息,进行区域匹配,获取第二填补信息;
将第一填补信息和第二填补信息进行自适应处理,生成第三填补信息,根据所述第三填补信息覆盖所述有效图像对应区域,进行图像器械去遮挡。
另外,根据本发明上述实施例的一种用于微创内镜手术的内镜图像器械去遮挡方法还可以具有以下附加的技术特征:
进一步地,在本发明的一个实施例中,所述通过模糊帧判别器区分所述视频流中的有效图像和无效图像,包括:
将内镜图像集人工分为有效与无效两类并划分训练集,根据特征向量维度设定权重系数并初始化,将所述训练集输入机器学习模型进行训练,实时更新权重系数,获取划分有效与无效特征空间的超平面参数;
将所述视频流中图像输入已训练好的机器学习模型,输出判断结果。
进一步地,在本发明的一个实施例中,所述基于深度学习对所述待修复图像生成第一填补信息,包括:
通过神经网络对所述待修复图像进行处理;所述神经网络用部分卷积层替换所有的卷积层,并在解码阶段使用最近邻的上采样,通过跳跃链接将分别连接两个特征图和两个掩码,作为下一部分卷积层的特征和掩码输入,最后一个部分卷积层的输入将包含原始输入图像与孔和原始掩模的拼接,使所述神经网络复制非孔像素信息。
进一步地,在本发明的一个实施例中,所述基于所述器械分割蒙版及更新后的修复数据存储信息,进行区域匹配,包括:
基于所述器械分割蒙版,关联更新后的修复数据存储信息,进行像素级匹配。
进一步地,在本发明的一个实施例中,所述将第一填补信息和第二填补信息进行自适应处理,生成第三填补信息,包括:
基于时间衰减模型,对于连续帧图像处理模块输出的第二填补信息的权值,根据像素距当前帧的距离衰减,同时对应提高第一填补信息的权值,加权后得到第三填补信息。
为达上述目的,本发明第二方面实施例提出了一种用于微创内镜手术的内镜图像器械去遮挡装置,包括以下模块:
判别模块,用于输入视频流,通过模糊帧判别器区分所述视频流中的有效图像和无效图像;
分割模块,用于基于深度学习对所述有效图像进行实例分割,划分待修复图像与非待修复图像,并生成对应的器械分割蒙版;
修复模块,用于基于深度学习对所述待修复图像生成第一填补信息;
更新模块,用于基于所述非待修复图像更新修复数据存储信息;
匹配模块,用于基于所述器械分割蒙版及更新后的修复数据存储信息,进行区域匹配,获取第二填补信息;
填补模块,用于将第一填补信息和第二填补信息进行自适应处理,生成第三填补信息,根据所述第三填补信息覆盖所述有效图像对应区域,进行图像器械去遮挡。
进一步地,在本发明的一个实施例中,所述判别模块,还用于:
将内镜图像集人工分为有效与无效两类并划分训练集,根据特征向量维度设定权重系数并初始化,将所述训练集输入机器学习模型进行训练,实时更新权重系数,获取划分有效与无效特征空间的超平面参数;
将所述视频流中图像输入已训练好的机器学习模型,输出判断结果。
进一步地,在本发明的一个实施例中,所述修复模块,还用于:
通过神经网络对所述待修复图像进行处理;所述神经网络用部分卷积层替换所有的卷积层,并在解码阶段使用最近邻的上采样,通过跳跃链接将分别连接两个特征图和两个掩码,作为下一部分卷积层的特征和掩码输入,最后一个部分卷积层的输入将包含原始输入图像与孔和原始掩模的拼接,使所述神经网络复制非孔像素信息。
进一步地,在本发明的一个实施例中,所述匹配模块,还用于:
基于所述器械分割蒙版,关联更新后的修复数据存储信息,进行像素级匹配。
进一步地,在本发明的一个实施例中,所述填补模块,还用于:
基于时间衰减模型,对于连续帧图像处理模块输出的第二填补信息的权值,根据像素距当前帧的距离衰减,同时对应提高第一填补信息的权值,加权后得到第三填补信息。
为达上述目的,本发明第三方面实施例提出了一种计算机设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如上所述的一种用于微创内镜手术的内镜图像器械去遮挡方法。
为达上述目的,本发明第四方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上所述的一种用于微创内镜手术的内镜图像器械去遮挡方法。
本发明实施例提出的用于微创内镜手术的内镜图像器械去遮挡方法,采用计算机算法实现手术器械的去遮挡,形成一种透明化的视觉效果,无需医生将手术器械移出内窥镜视野范围,即可实现观察周围组织的目的,可以有效缩短手术时间,提升手术质量。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明实施例所提供的一种用于微创内镜手术的内镜图像器械去遮挡方法的流程示意图。
图2为本发明实施例所提供的一种用于微创内镜手术的内镜图像器械去遮挡方法技术路线示意图。
图3为本发明实施例所提供的一种用于微创内镜手术的内镜图像器械去遮挡装置的流程示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,旨在用于解释本发明,而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的用于微创内镜手术的内镜图像器械去遮挡方法。
图1为本发明实施例所提供的一种用于微创内镜手术的内镜图像器械去遮挡方法的流程示意图。
如图1所示,该用于微创内镜手术的内镜图像器械去遮挡方法包括以下步骤:
S101:输入视频流,通过模糊帧判别器区分视频流中的有效图像和无效图像;
进一步地,在本发明的一个实施例中,通过模糊帧判别器区分视频流中的有效图像和无效图像,包括:
将内镜图像集人工分为有效与无效两类并划分训练集,根据特征向量维度设定权重系数并初始化,将训练集输入机器学习模型进行训练,实时更新权重系数,获取划分有效与无效特征空间的超平面参数;
将视频流中图像输入已训练好的机器学习模型,输出判断结果。
具体的,首先人工将内镜图像分为有效与无效两类,并划分训练集和测试集;建立图像特征提取方法,如SURF、SIFT、HOG等,根据特征向量维度设定权重系数并初始化,将训练集图像输入机器学习模型进行训练,实时更新权重系数,获取划分有效与无效特征空间的超平面参数。在使用时,直接将图像输入已训练好的机器学习模型,输入有效无效的判断结果,用0和1表示。
S102:基于深度学习对有效图像进行实例分割,划分待修复图像与非待修复图像,并生成对应的器械分割蒙版;
具体的,采用人工标注的内镜手术专用器械分割数据集进行训练。在实际使用时,输入为模糊帧判别器输出的有效图像,输出为图像上手术器械对应区域的二值化蒙版。
S103:基于深度学习对待修复图像生成第一填补信息;
进一步地,在本发明的一个实施例中,基于深度学习对待修复图像生成第一填补信息,包括:
通过神经网络对待修复图像进行处理;神经网络用部分卷积层替换所有的卷积层,并在解码阶段使用最近邻的上采样,通过跳跃链接将分别连接两个特征图和两个掩码,作为下一部分卷积层的特征和掩码输入,最后一个部分卷积层的输入将包含原始输入图像与孔和原始掩模的拼接,使神经网络复制非孔像素信息。
具体的,网络训练时采用无手术器械遮挡的内镜图像作为数据集,蒙版图像数据集采用手术器械形状的蒙版,以获取适用于手术器械形状的图像填补方法。在实际使用时,输入为模糊帧判别器输出的有效图像及器械分割模块输出的二值化蒙版,输出为第一填补信息。
S104:基于非待修复图像更新修复数据存储信息;
S105:基于器械分割蒙版及更新后的修复数据存储信息,进行区域匹配,获取第二填补信息;
具体的,基于器械分割模块生成的蒙版,关联修复数据存储模块的对应信息,并进行像素级匹配,以填补图像对应区域。在实际使用时,输入为模糊帧判别器输出的有效图像及器械分割模块输出的二值化蒙版修复数据存储模块的存储的信息,以及,输出为第二填补信息。
S106:将第一填补信息和第二填补信息进行自适应处理,生成第三填补信息,根据第三填补信息覆盖有效图像对应区域,进行图像器械去遮挡。
进一步地,在本发明的一个实施例中,基于器械分割蒙版及更新后的修复数据存储信息,进行区域匹配,包括:
基于器械分割蒙版,关联更新后的修复数据存储信息,进行像素级匹配。
进一步地,在本发明的一个实施例中,将第一填补信息和第二填补信息进行自适应处理,生成第三填补信息,包括:
基于时间衰减模型,对于连续帧图像处理模块输出的第二填补信息的权值,根据像素距当前帧的距离衰减,同时对应提高第一填补信息的权值,加权后得到第三填补信息。
以上为完整的用于微创内镜手术的内镜图像器械去遮挡方法流程,图2为本发明的技术路线示意图。
本发明实施例提出的用于微创内镜手术的内镜图像器械去遮挡方法,采用计算机算法实现手术器械的去遮挡,形成一种透明化的视觉效果,无需医生将手术器械移出内窥镜视野范围,即可实现观察周围组织的目的,可以有效缩短手术时间,提升手术质量。
为了实现上述实施例,本发明还提出用于微创内镜手术的内镜图像器械去遮挡装置。
图3为本发明实施例提供的一种用于微创内镜手术的内镜图像器械去遮挡装置的结构示意图。
如图3所示,该用于微创内镜手术的内镜图像器械去遮挡装置包括:判别模块100,分割模块200,修复模块300,更新模块400,匹配模块500,填补模块600,其中,
判别模块,用于输入视频流,通过模糊帧判别器区分视频流中的有效图像和无效图像;
分割模块,用于基于深度学习对有效图像进行实例分割,划分待修复图像与非待修复图像,并生成对应的器械分割蒙版;
修复模块,用于基于深度学习对待修复图像生成第一填补信息;
更新模块,用于基于非待修复图像更新修复数据存储信息;
匹配模块,用于基于器械分割蒙版及更新后的修复数据存储信息,进行区域匹配,获取第二填补信息;
填补模块,用于将第一填补信息和第二填补信息进行自适应处理,生成第三填补信息,根据第三填补信息覆盖所述有效图像对应区域,进行图像器械去遮挡。
进一步地,在本发明的一个实施例中,判别模块,还用于:
将内镜图像集人工分为有效与无效两类并划分训练集,根据特征向量维度设定权重系数并初始化,将训练集输入机器学习模型进行训练,实时更新权重系数,获取划分有效与无效特征空间的超平面参数;
将视频流中图像输入已训练好的机器学习模型,输出判断结果。
进一步地,在本发明的一个实施例中,修复模块,还用于:
通过神经网络对待修复图像进行处理;神经网络用部分卷积层替换所有的卷积层,并在解码阶段使用最近邻的上采样,通过跳跃链接将分别连接两个特征图和两个掩码,作为下一部分卷积层的特征和掩码输入,最后一个部分卷积层的输入将包含原始输入图像与孔和原始掩模的拼接,使神经网络复制非孔像素信息。
进一步地,在本发明的一个实施例中,匹配模块,还用于:
基于器械分割蒙版,关联更新后的修复数据存储信息,进行像素级匹配。
进一步地,在本发明的一个实施例中,填补模块,还用于:
基于时间衰减模型,对于连续帧图像处理模块输出的第二填补信息的权值,根据像素距当前帧的距离衰减,同时对应提高第一填补信息的权值,加权后得到第三填补信息。
为达上述目的,本发明第三方面实施例提出了一种计算机设备,其特征在于,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时,实现如上所述的用于微创内镜手术的内镜图像器械去遮挡方法。
为达上述目的,本发明第四方面实施例提出了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如上所述的用于微创内镜手术的内镜图像器械去遮挡方法。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
Claims (10)
1.一种用于微创内镜手术的内镜图像器械去遮挡方法,其特征在于,包括以下步骤:
输入视频流,通过模糊帧判别器区分所述视频流中的有效图像和无效图像;
基于深度学习对所述有效图像进行实例分割,划分待修复图像与非待修复图像,并生成对应的器械分割蒙版;
基于深度学习对所述待修复图像生成第一填补信息;
基于所述非待修复图像更新修复数据存储信息;
基于所述器械分割蒙版及更新后的修复数据存储信息,进行区域匹配,获取第二填补信息;
将第一填补信息和第二填补信息进行自适应处理,生成第三填补信息,根据所述第三填补信息覆盖所述有效图像对应区域,进行图像器械去遮挡。
2.根据权利要求1所述的方法,其特征在于,所述通过模糊帧判别器区分所述视频流中的有效图像和无效图像,包括:
将内镜图像集人工分为有效与无效两类并划分训练集,根据特征向量维度设定权重系数并初始化,将所述训练集输入机器学习模型进行训练,实时更新权重系数,获取划分有效与无效特征空间的超平面参数;
将所述视频流中图像输入已训练好的机器学习模型,输出判断结果。
3.根据权利要求1所述的方法,其特征在于,所述基于深度学习对所述待修复图像生成第一填补信息,包括:
通过神经网络对所述待修复图像进行处理;所述神经网络用部分卷积层替换所有的卷积层,并在解码阶段使用最近邻的上采样,通过跳跃链接将分别连接两个特征图和两个掩码,作为下一部分卷积层的特征和掩码输入,最后一个部分卷积层的输入将包含原始输入图像与孔和原始掩模的拼接,使所述神经网络复制非孔像素信息。
4.根据权利要求1所述的方法,其特征在于,所述基于所述器械分割蒙版及更新后的修复数据存储信息,进行区域匹配,包括:
基于所述器械分割蒙版,关联更新后的修复数据存储信息,进行像素级匹配。
5.根据权利要求1所述的方法,其特征在于,所述将第一填补信息和第二填补信息进行自适应处理,生成第三填补信息,包括:
基于时间衰减模型,对于连续帧图像处理模块输出的第二填补信息的权值,根据像素距当前帧的距离衰减,同时对应提高第一填补信息的权值,加权后得到第三填补信息。
6.一种用于微创内镜手术的内镜图像器械去遮挡装置,其特征在于,包括以下步骤:
判别模块,用于输入视频流,通过模糊帧判别器区分所述视频流中的有效图像和无效图像;
分割模块,用于基于深度学习对所述有效图像进行实例分割,划分待修复图像与非待修复图像,并生成对应的器械分割蒙版;
修复模块,用于基于深度学习对所述待修复图像生成第一填补信息;
更新模块,用于基于所述非待修复图像更新修复数据存储信息;
匹配模块,用于基于所述器械分割蒙版及更新后的修复数据存储信息,进行区域匹配,获取第二填补信息;
填补模块,用于将第一填补信息和第二填补信息进行自适应处理,生成第三填补信息,根据所述第三填补信息覆盖所述有效图像对应区域,进行图像器械去遮挡。
7.根据权利要求6所述的装置,其特征在于,所述判别模块,还用于:
将内镜图像集人工分为有效与无效两类并划分训练集,根据特征向量维度设定权重系数并初始化,将所述训练集输入机器学习模型进行训练,实时更新权重系数,获取划分有效与无效特征空间的超平面参数;
将所述视频流中图像输入已训练好的机器学习模型,输出判断结果。
8.根据权利要求6所述的装置,其特征在于,所述修复模块,还用于:
通过神经网络对所述待修复图像进行处理;所述神经网络用部分卷积层替换所有的卷积层,并在解码阶段使用最近邻的上采样,通过跳跃链接将分别连接两个特征图和两个掩码,作为下一部分卷积层的特征和掩码输入,最后一个部分卷积层的输入将包含原始输入图像与孔和原始掩模的拼接,使所述神经网络复制非孔像素信息。
9.根据权利要求6所述的装置,其特征在于,所述匹配模块,还用于:
基于所述器械分割蒙版,关联更新后的修复数据存储信息,进行像素级匹配。
10.根据权利要求6所述的装置,其特征在于,所述填补模块,还用于:
基于时间衰减模型,对于连续帧图像处理模块输出的第二填补信息的权值,根据像素距当前帧的距离衰减,同时对应提高第一填补信息的权值,加权后得到第三填补信息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310165737.8A CN116523826A (zh) | 2023-02-21 | 2023-02-21 | 一种用于微创内镜手术的内镜图像器械去遮挡方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310165737.8A CN116523826A (zh) | 2023-02-21 | 2023-02-21 | 一种用于微创内镜手术的内镜图像器械去遮挡方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116523826A true CN116523826A (zh) | 2023-08-01 |
Family
ID=87400034
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310165737.8A Pending CN116523826A (zh) | 2023-02-21 | 2023-02-21 | 一种用于微创内镜手术的内镜图像器械去遮挡方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116523826A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117455780A (zh) * | 2023-12-26 | 2024-01-26 | 广东欧谱曼迪科技股份有限公司 | 内镜暗场图像的增强方法、装置、电子设备及存储介质 |
-
2023
- 2023-02-21 CN CN202310165737.8A patent/CN116523826A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117455780A (zh) * | 2023-12-26 | 2024-01-26 | 广东欧谱曼迪科技股份有限公司 | 内镜暗场图像的增强方法、装置、电子设备及存储介质 |
CN117455780B (zh) * | 2023-12-26 | 2024-04-09 | 广东欧谱曼迪科技股份有限公司 | 内镜暗场图像的增强方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110232383B (zh) | 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统 | |
CN112802185B (zh) | 面向微创手术空间感知的内窥镜图像三维重构方法和系统 | |
JP2007044485A (ja) | 脳内出血部位セグメンテーション方法および装置 | |
JP2013518611A (ja) | 領域拡張アルゴリズム | |
CN112017131B (zh) | Ct图像金属伪影去除方法、装置及计算机可读存储介质 | |
CN106473807A (zh) | 使用回溯迷宫问题解决方案的自动ent外科手术预先计划 | |
JP2006519631A (ja) | 仮想内視鏡法の実行システムおよび実行方法 | |
CN116523826A (zh) | 一种用于微创内镜手术的内镜图像器械去遮挡方法 | |
US11419727B2 (en) | Semi-automated imaging reconstruction for orbital fracture repair | |
CN112884792B (zh) | 肺部图像分割的方法、装置、电子设备及存储介质 | |
CN114119439A (zh) | 红外与可见光图像融合方法、装置、设备及存储介质 | |
US20220292682A1 (en) | Systems and methods for processing electronic medical images to determine enhanced electronic medical images | |
CN111105873A (zh) | 经内镜逆行胰胆管造影术中辅助诊断和测量方法及系统 | |
JPH1094538A (ja) | 異常陰影候補の検出方法および装置 | |
KR20200046775A (ko) | Ct 영상 내 간암 영역 기반으로 3차원 분석을 하는 수술 보조 장치 및 방법 | |
US20240087113A1 (en) | Recording Medium, Learning Model Generation Method, and Support Apparatus | |
WO2019138772A1 (ja) | 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム | |
CN109801239A (zh) | 一种显微手术影像的高光区域消除方法及装置 | |
US20230394664A1 (en) | Systems and methods for processing electronic medical images to determine enhanced electronic medical images | |
JPWO2019088008A1 (ja) | 画像処理装置、画像処理方法、プログラム、及び内視鏡システム | |
JP4571378B2 (ja) | 画像処理方法および装置並びにプログラム | |
CN113570586A (zh) | 神经网络系统的创建、处理ct图像的方法及其装置 | |
JP5543871B2 (ja) | 画像処理装置 | |
CN115482216B (zh) | 一种腹腔镜图像增强方法及系统 | |
CN115908349B (zh) | 一种基于组织识别的内窥镜参数自动调整方法与设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |