CN117974475A - 四维超声内镜观测下病灶影像融合方法及系统 - Google Patents
四维超声内镜观测下病灶影像融合方法及系统 Download PDFInfo
- Publication number
- CN117974475A CN117974475A CN202410389792.XA CN202410389792A CN117974475A CN 117974475 A CN117974475 A CN 117974475A CN 202410389792 A CN202410389792 A CN 202410389792A CN 117974475 A CN117974475 A CN 117974475A
- Authority
- CN
- China
- Prior art keywords
- image
- images
- video
- video segment
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 20
- 238000007781 pre-processing Methods 0.000 claims abstract description 14
- 238000012216 screening Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 48
- 238000002604 ultrasonography Methods 0.000 claims description 14
- 208000008918 voyeurism Diseases 0.000 claims description 13
- 238000001914 filtration Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 11
- 238000005259 measurement Methods 0.000 claims description 5
- 230000002708 enhancing effect Effects 0.000 claims description 4
- 238000001839 endoscopy Methods 0.000 claims 5
- 230000003902 lesion Effects 0.000 claims 4
- 210000000056 organ Anatomy 0.000 description 11
- 230000006870 function Effects 0.000 description 7
- 230000008855 peristalsis Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002572 peristaltic effect Effects 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 238000011897 real-time detection Methods 0.000 description 2
- 239000000523 sample Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/761—Proximity, similarity or dissimilarity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
本发明公开了一种四维超声内镜观测下病灶影像融合方法及系统，包括对采集的原始超声内窥视频影像进行预处理；根据预处理后的超声内窥视频影像中各帧影像与相邻帧影像的结构相似度以及一个视频段内每帧影像的峰值信噪比对视频影像进行筛选，根据相邻的视频段的均值影像的结构相似度，判断相邻的视频段是否描述同一病灶区域；如果相邻的视频段不是描述同一病灶区域，则删除该视频段，如果相邻的视频段是描述同一病灶区域，则根据大于SSIM值的平均值的网格区域部分的分布情况对视频段中的影像进行处理，将前一步得到的影像与基准视频段中的标准输出影像进行融合，得到融合的病灶影像。本发明解决了现有技术中无法得到准确的影像数据的技术问题。
Description
技术领域
本发明涉及四维超声内窥影像融合技术领域，尤其涉及一种四维超声内镜观测下病灶影像融合方法及系统。
背景技术
超声内窥镜是一款技术的不断进步和功能拓展，填补了普通内镜、体表超声和CT等所不能覆盖的一些特殊适应症的内窥镜。近年来，超声内窥在医疗中越来越多的应用各种病症的检查：超声内窥镜所配备的超声波传感器，将实时获取到的视频流信息回传、解析为电子影像，为疾病的检测和诊断提供了实时的数据支撑。另一方面，受超声传感器特性和实时检测环境的影响，同时检测器官存在蠕动等形态变化情形，因此视频影像的逐帧图像存在较大差异，无法为诊断提供准确量化的确定性评估。
发明内容
本发明主要是通过对超声内窥数据的优化处理，提供了一种四维超声内镜观测下病灶影像融合方法。该方法的核心思想为：首先将噪点过多的实时超声内镜数据进行滤波、增强，获取较好质量的视频数据；接着通过对关键帧的选取、器官病灶区域形态的判别、配准等步骤，实现高质量的病灶融合影像，解决了现有技术中无法得到准确的影像数据的技术问题。
本发明的上述技术问题主要是通过下述技术方案得以解决的：
第一方面提供了四维超声内镜观测下病灶影像融合方法，包括：
S1：对采集的原始超声内窥视频影像进行预处理；
S2：根据预处理后的超声内窥视频影像中各帧影像与相邻帧影像的结构相似度以及一个视频段内每帧影像的峰值信噪比对视频影像进行筛选，筛选出的影像作为关键帧群，其中，视频段通过对预处理后的超声内窥视频影像进行划分后得到；
S3：根据相邻的视频段的均值影像的结构相似度，判断相邻的视频段是否描述同一病灶区域；
S4：如果相邻的视频段不是描述同一病灶区域，则删除该视频段，如果相邻的视频段是描述同一病灶区域，则根据大于SSIM值的平均值的网格区域部分的分布情况对视频段中的影像进行处理，具体包括：若大于SSIM值的平均值的网格区域部分呈现连续分布，则保留局部没发生变化的连续网格区域，若大于SSIM值的平均值的网格区域部分呈现离散分布，则计算视频段的均值影像所划分的网格的峰值信噪比，并删除峰值信噪比小于阈值的网格区域，SSIM值为结构相似度值；
S5：将S4中得到的影像与基准视频段中的标准输出影像进行融合，得到融合的病灶影像。
在一种实施方式中，步骤S1包括：对采集的原始超声内窥视频影像进行滤波、增强操作。
在一种实施方式中，步骤S2包括：
S2.1：判断预处理后的超声内窥视频影像中的某帧影像与其前序影像的SSIM值是否大于或等于经验阈值，如果是，则保留该帧影像；如果不是，则根据前序15张影像中与该帧影像的结构相似度大于或等于经验阈值的比例、后序15张影像中与该帧影像的结构相似度大于或等于经验阈值的比例，进一步对影像进行筛选；
S2.2：计算每个视频段内每帧影像的PSNR，PSNR为峰值信噪比，对所有每帧影像的PSNR值取算术平均值，求得PSNR均值，去除PSNR低于PSNR平均值的影像。
在一种实施方式中，步骤S3包括：
S3.1：计算每个视频段原有多少帧影像，并按每秒15幅影像核算每个视频段的时长；
S3.2：对于每一个视频段，将该视频段内的所有单帧影像进行合并，得到一幅对应于该视频段的均值影像；
S3.3：将得到的均值影像划分为8x8共64个网格；
S3.4：对于每一个视频段的均值影像，逐个网格计算与前序视频段的均值影像所对应网格的SSIM值，共得到64组SSIM值；
S3.5：如果64组SSIM值中小于预设值的SSIM值的比例高于比例阈值，则判定相邻的视频段不是描述同一病灶区域，删除该视频段。
S3.6：否则，判定相邻的视频段不是描述同一病灶区域，此时计算64组SSIM值的平均值，并对S3.3中的64个网格中大于SSIM值的平均值的网格进行标注；如果大于SSIM值的平均值的网格区域部分呈现连续分布，则表明均值影像与其前序均值影像部分区域重叠；若大于SSIM值的平均值的网格区域部分呈现离散分布，则表明该连续两幅的均值影像观测区域没有大幅变化。
在一种实施方式中，在步骤S3.5之前，所述方法还包括：
将视频影像逐帧转换至灰度颜色空间；
根据超声内窥的观测特性将时长小于预设时长的视频段内的每帧影像，设置为已配准。
在一种实施方式中，步骤S5包括：
S5.1：将基准视频段中的多幅影像融合为一张作为标准输出影像；
S5.2：将S4中得到的影像中后序相邻的10个视频段中的影像进行融合，得到对应于10个视频段的10幅影像；
S5.3：对S4得到的删除峰值信噪比小于阈值的网格区域的影像，将其部分网格区域的影像融合至S5.1中的标准输出影像；
S5.4：将S5.3得到的融合后的影像转化至RGB空间，以R通道替换原灰色空间数值；
S5.5：对于与当前视频段时序相连的后10段影像，将其划分邻近的5段视频和另外5段视频；
S5.6：将邻近的5段视频融合为1幅输出影像，另外5段视频融合为1幅输出影像；
S5.7：将S5.6所得到的两幅影像转换至RGB空间，以G通道替换邻近5段视频所对应的输出影像；以B通道替换另外5段视频所对应的输出影像；
S5.8：将S5.7得到的两幅影像，融合至S5.4得到的基准视频段的输出影像中，得到融合的病灶影像，融合的病灶影像中，R通道数值为主观测结果；G通道和B通道为辅助观测结果，G通道结果的置信度高于B通道。
基于同样的发明构思，第二方面提供了四维超声内镜观测下病灶影像融合系统，包括：
超声视频影像数据预处理模块，用于对采集的原始超声内窥视频影像进行预处理；
超声视频影像关键帧处理模块，用于根据预处理后的超声内窥视频影像中各帧影像与相邻帧影像的结构相似度以及一个视频段内每帧影像的峰值信噪比对视频影像进行筛选，筛选出的影像作为关键帧群，其中，视频段通过对预处理后的超声内窥视频影像进行划分后得到；
四维观测下病灶形态判别模块，用于根据相邻的视频段的均值影像的结构相似度，判断相邻的视频段是否描述同一病灶区域；
四维观测下病灶影像配准模块，用于如果相邻的视频段不是描述同一病灶区域，则删除该视频段，如果相邻的视频段是描述同一病灶区域，则根据大于SSIM值的平均值的网格区域部分的分布情况对视频段中的影像进行处理，具体包括：若大于SSIM值的平均值的网格区域部分呈现连续分布，则保留局部没发生变化的连续网格区域，若大于SSIM值的平均值的网格区域部分呈现离散分布，则计算视频段的均值影像所划分的网格的峰值信噪比，并删除峰值信噪比小于阈值的网格区域，SSIM值为结构相似度值；
病灶影像融合模块，用于将四维观测下病灶影像配准模块中得到的影像与基准视频段中的标准输出影像进行融合，得到融合的病灶影像。
基于同样的发明构思，本发明第三方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面所述的方法。
基于同样的发明构思，本发明第四方面提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现第一方面所述的方法。
相对于现有技术，本发明的优点和有益的技术效果如下：
1、通过将四维视频影像分割、并计算视频段中影像相似度的方式，定量评估了影像观测区域的差异性；
2、通过对影像网格化划分，及SSIM值计算，实现部分重叠观测区域的确定；
3、通过对影像相似网格的分布特征，实现对观测视角转变和器官蠕动的情形划分；
4、通过对基准视频段的影像融合，实现了单一检测影像的输出，影像通过像素叠加融合的方式，尽可能的保留了连续视频段的最大检测效果；
5、通过对基准视频段后续视频段的处理流程，实现了对基准视频段观测结果的差异可视化表达，并支持对辅助数据的权重分配和影像融合；
6、通过影像融合方式，能够有效将不同单帧影像中的较优观测结果，融合至一张影像中，便于后续的数据量化处理和辅助评估。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中四维超声内镜观测下病灶影像融合方法的流程图；
图2为本发明实施例中四维超声内镜观测下病灶影像融合系统的结构框图。
具体实施方式
本发明的目的在于提供一种四维超声内镜观测下病灶影像融合方法及系统，实现在超声内镜的时序视频影像中，准确地提取、合成最能够表征当前器官病灶的静态影像（单帧图片），能够为后续的自动化、量化评估提供更为准确的数据支撑。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
本发明实施例提供了四维超声内镜观测下病灶影像融合方法，请参见图1，该方法包括：
S1：对采集的原始超声内窥视频影像进行预处理；
S2：根据预处理后的超声内窥视频影像中各帧影像与相邻帧影像的结构相似度以及一个视频段内每帧影像的峰值信噪比对视频影像进行筛选，筛选出的影像作为关键帧群，其中，视频段通过对预处理后的超声内窥视频影像进行划分后得到；
S3：根据相邻的视频段的均值影像的结构相似度，判断相邻的视频段是否描述同一病灶区域；
S4：如果相邻的视频段不是描述同一病灶区域，则删除该视频段，如果相邻的视频段是描述同一病灶区域，则根据大于SSIM值的平均值的网格区域部分的分布情况对视频段中的影像进行处理，具体包括：若大于SSIM值的平均值的网格区域部分呈现连续分布，则保留局部没发生变化的连续网格区域，若大于SSIM值的平均值的网格区域部分呈现离散分布，则计算视频段的均值影像所划分的网格的峰值信噪比，并删除峰值信噪比小于阈值的网格区域，SSIM值为结构相似度值；
S5：将S4中得到的影像与基准视频段中的标准输出影像进行融合，得到融合的病灶影像。
受超声传感器特性和实时检测环境的影响，同时检测器官存在蠕动等形态变化情形，因此视频影像的逐帧图像存在较大差异，无法为诊断提供准确量化的确定性评估。因此，如何在超声内镜的时序视频影像中，准确地提取、合成最能够表征当前器官病灶的静态影像（单帧图片），能够为后续的自动化、量化评估提供更为准确的数据支撑。
具体来说，步骤S1超声影像视频数据预处理步骤，用于对超声内窥镜采集到的实时视频影像，通过滤波、增强等操作，实现视频质量的提升。
步骤S2超声影像视频关键帧提取步骤，用于在连续观测的视频影像中，初步筛选能够使用的单帧影像。
步骤S3四维观测下病灶形态判别步骤，用于判断相邻的视频段（时序上前后相邻）是否描述的同一病灶区域。
步骤S4四维观测下病灶影像配准步骤，用于将前述步骤S3所确定的连续视频段的影像局部配准（对应于情形1：大于SSIM值的平均值的网格区域部分呈现连续分布）或全区域配准（对应于情形2：大于SSIM值的平均值的网格区域部分呈现离散分），增加病灶区域的观测时长和观测效果，提高后续数据融合操作的真实性和准确率。
步骤S5病灶影像融合步骤，用于将前述步骤S4处理后的影像（在原始影像中去除了部分图像帧、部分网格区域）选定了的待融合视频段影像， 融合基准视频段的标准输出影像，
在一种实施方式中，步骤S1包括：对采集的原始超声内窥视频影像进行滤波、增强操作。
具体实施过程中，预处理的具体实现步骤为：
步骤1.1、由于受超声传感器特性和多样性环境因素的影响，超声内窥视频影像的对比度较低、噪点较多，因此选用自适应权值中值滤波器实现原始超声视频流的逐帧滤波，其公式为：
其中，为横坐标为i，纵坐标为j点的权值，k为中值卷积核大小，c为调节因子，m、/>分别为均值和方差，d为点(i, j)与窗口/>中心点的距离，方括号[]为取整运算符。
步骤1.2、对步骤1.1处理后的视频影像采用频域增强中的同态滤波方法，用于削弱乘性和卷积性噪声；
步骤1.3、提高输出视频影像对比度，其方法为在灰度空间内，提高每帧影像中每个像素点的灰度值；
步骤1.4、再次滤波，去掉每帧影像中低于阈值的像素点，阈值由人机交互设定；
步骤1.5、至此则完成了对原始采集的超声内窥视频影像的预处理操作。
在一种实施方式中，步骤S2包括：
S2.1：判断预处理后的超声内窥视频影像中的某帧影像与其前序影像的SSIM值是否大于或等于经验阈值，如果是，则保留该帧影像，SSIM值为结构相似度值；如果不是，则根据前序15张影像中与该帧影像的结构相似度大于或等于经验阈值的比例、后序15张影像中与该帧影像的结构相似度大于或等于经验阈值的比例，进一步对影像进行筛选；
S2.2：计算每个视频段内每帧影像的PSNR，PSNR为峰值信噪比，对所有每帧影像的PSNR值取算术平均值，求得PSNR均值，去除PSNR低于PSNR平均值的影像。
具体实施过程中，超声影像视频关键帧提取步骤的具体实现方式为：
步骤2.1、定义相邻帧：指连续的超声视频影像中，相邻的两张单帧影像，互为相邻帧；
步骤2.2、定义邻近帧：假设超声内镜的采样频率为每秒15帧，则定义间隔15个以内的单帧影像为邻近帧；
步骤2.3、计算超声视频影像中所有相邻帧的SSIM（Structural Similarity，结构相似度）值；
步骤2.4、若某帧影像与其前序影像（前面一帧影像）的SSIM值大于等于0.8（经验阈值），表明该帧影像与前序影像观测目标相同，该帧影像予以保留；
步骤2.5、若某帧影像与其前序影像（前面一帧影像）的SSIM值小于0.8，则需要进一步分析判断，方法为：
再次计算该帧影像与前序邻近帧的结构相似度（前序15帧影像）；
若和前序15张影像两两计算的结构相似度，有超过一半的SSIM值大于0.8，则保留该帧影像；
若和前序邻近帧中的SSIM值超过一半小于0.8，则再次两两计算和后序邻近帧的SSIM值；
若后序15张影像两两计算的结构相似度，有超过一半的SSIM值大于0.8，则表明该帧影像和前序差异较大，但和后序影像差别较小，表明为观测对象变化的“边缘帧”；
若和后序邻近帧中的SSIM值也超过一半小于0.8，则表明该帧影像质量较差，予以剔除。
步骤2.6、将超声视频影像，以“边缘帧”为分割线，划分为数个大小不一的视频段；
步骤2.7、计算每个视频段内每帧影像的PSNR（Peak Signal to Noise Ratio，峰值信噪比），对所有每帧影像的PSNR值取算术平均值，求得PSNR均值，去掉低于PSNR均值的影像；
步骤2.8、通过以上步骤，剩余的影像则定义为“关键帧群”，将用于后续的处理步骤。
在一种实施方式中，步骤S3包括：
S3.1：计算每个视频段原有多少帧影像，并按每秒15幅影像核算每个视频段的时长；
S3.2：对于每一个视频段，将该视频段内的所有单帧影像进行合并，得到一幅对应于该视频段的均值影像；
S3.3：将得到的均值影像划分为8x8共64个网格；
S3.4：对于每一个视频段的均值影像，逐个网格计算与前序视频段的均值影像所对应网格的SSIM值，共得到64组SSIM值；
S3.5：如果64组SSIM值中小于预设值的SSIM值的比例高于比例阈值，则判定相邻的视频段不是描述同一病灶区域，删除该视频段。
S3.6：否则，判定相邻的视频段不是描述同一病灶区域，此时计算64组SSIM值的平均值，并对S3.3中的64个网格中大于SSIM值的平均值的网格进行标注；如果大于SSIM值的平均值的网格区域部分呈现连续分布，则表明均值影像与其前序均值影像部分区域重叠；若大于SSIM值的平均值的网格区域部分呈现离散分布，则表明该连续两幅的均值影像观测区域没有大幅变化。
具体实施过程中，四维观测下病灶形态判别步骤的具体实现方式为：
步骤3.1、计算每个视频段（步骤2.6所得视频段）内，原有多少帧影像（去除前原始影像，也即未经过步骤二处理的影像），按每秒15幅影像核算每个视频段的时长；
步骤3.2、对于每一个视频段，将该视频段内的所有单帧影像合并，合并方法为逐像素求平均值，得到一幅对应于该视频段的均值影像；
步骤3.3、将该均值影像划分为8x8共64个网格；
步骤3.4、对于每一个视频段的均值影像，逐个网格计算与前序视频段均值影像所对应网格的SSIM值，共得到64组SSIM值；
步骤3.5、计算64组SSIM值的平均值，标明64个网格中，大于平均值的网格区域；
步骤3.6、若大于平均值的网格区域部分呈现连续分布（网格相邻、连接），则表明该均值影像与其前序均值影像部分区域重叠（超声内镜角度略微变化）；
步骤3.7、若大于平均值的网格区域部分呈现离散分布，则表明该连续两幅的均值影像观测区域没有大幅变化，而是由病灶器官的自然蠕动或环境变化引起的观测差异；
步骤3.8、至此，则完成了连续视频段中，观测区域的确定，分2种情况：1）连续视频段观测区域局部视角变化（对应于步骤3.6的处理结果）；2）观测区域没有变化，由器官蠕动产生了病灶区的形态变化，因此引起观测结果差异（对应于步骤3.7的处理结果）。
具体实施过程中，四维观测下病灶影像配准步骤的具体实现方式为：
步骤4.1、将视频影像逐帧转换至灰度颜色空间；
步骤4.2、根据超声内窥的观测特性（传感器探头移动较慢），将时长小于1秒（步骤3.1计算得出）的视频段内的每帧影像，默认为已配准（区域、角度相同）；
步骤4.3、根据前述步骤3.4中所计算的相邻均值影像的64组网格SSIM值，若小于0.5的SSIM值多于80%（相邻的视频段不是描述同一病灶区域），则标定为该视频段已转移观测其它区域，偏离了目标病灶区域，不予采用；
步骤4.4、剩余视频段中（对于相邻的视频段描述同一病灶区域），采用两种方式处理影像，具体方法为：
a）若为步骤3.8描述的第1）种情形，则保留局部没发生变化的连续网格区域，用于后续影像配准；
b）若为步骤3.8描述的第2）种情形，则需计算网格的PSNR值，确保不是由观测环境（影像信噪比差）所引起的观测差异，去掉PSNR小于20的网格区域；
步骤4.5、人机交互选定基准视频段（通常为较好的观察角度），将后续相邻的10个视频段（与当前视频段时序相邻），按照步骤4.3-4.4进行处理，得到步骤4.4所述处理后的两种结果，便于选定合适的全幅或部分影像（部分网格区域）。
在一种实施方式中，在步骤S3.5之前，所述方法还包括：
将视频影像逐帧转换至灰度颜色空间；
根据超声内窥的观测特性将时长小于预设时长的视频段内的每帧影像，设置为已配准。
在一种实施方式中，步骤S5包括：
S5.1：将基准视频段中的多幅影像融合为一张作为标准输出影像；
S5.2：将S4中得到的影像中后序相邻的10个视频段中的影像进行融合，得到对应于10个视频段的10幅影像；
S5.3：对S4得到的删除峰值信噪比小于阈值的网格区域的影像，将其部分网格区域的影像融合至S5.1中的标准输出影像；
S5.4：将S5.3得到的融合后的影像转化至RGB空间，以R通道替换原灰色空间数值；
S5.5：对于与当前视频段时序相连的后10段影像，将其划分邻近的5段视频和另外5段视频；
S5.6：将邻近的5段视频融合为1幅输出影像，另外5段视频融合为1幅输出影像；
S5.7：将S5.6所得到的两幅影像转换至RGB空间，以G通道替换邻近5段视频所对应的输出影像；以B通道替换另外5段视频所对应的输出影像；
S5.8：将S5.7得到的两幅影像，融合至S5.4得到的基准视频段的输出影像中，得到融合的病灶影像，融合的病灶影像中，R通道数值为主观测结果；G通道和B通道为辅助观测结果，G通道结果的置信度高于B通道。
具体实施过程中，超声影像视频关键帧提取步骤的具体实现方式为：
步骤5.1、对于基准视频段中的多幅影像，需要融合为一张作为标准输出影像，融合既需要有效抑制超声影像中的斑点噪声，又能够尽可能多的反映病灶特征，具体实现方法为：
计算基准视频段中每帧图片中的每个像素值（灰度空间）；
计算每帧图片中，非0像素点（黑色）的个数；通过判断每帧图片中非0像素点的个数，迅速统计该帧影像的信息量；
计算基准视频段中，每帧非0像素点的平均个数，去掉低于平均值的单帧影像；
将上述步骤处理后，剩余的影像进行融合，融合方法为逐像素进行像素值叠加，并归一化至0~255区间。
步骤5.2、将步骤四处理的后序相邻10个视频段（步骤4.5中所述）中的影像进行步骤5.1的相同操作，得到对应于10个视频段的10幅影像；
步骤5.3、对于步骤四所述的部分网格影像（步骤4.4 b）处理后影像），将其部分网格区域的影像融合至5.1步骤基准视频段处理后的输出影响，融合方法为逐像素融合；
步骤5.4、将步骤5.3融合后的影像（对应于步骤3.8第1）种情形）转化至RGB空间，以R（红色）通道替换原灰色空间数值；
步骤5.5、对于后续10视频段（与当前视频段时序相连的后10段影像）中对应于步骤3.8中的第2）种情形（也即影像观测区没发生变化，但器官蠕动引起的影像视觉差异），将10段视频划分为2部分，邻近的5段视频和另外5段视频；
步骤5.6、将后续10段视频中，邻近的5段视频融合为1幅输出影像，另外5段融合为1幅影像；
步骤5.7、将步骤5.6所得到的两幅影像转换至RGB空间，以G（绿色）通道替换邻近5段视频融合的影像；以B（蓝色）通道替换另外5段视频融合的影像；
步骤5.8、将步骤5.7得到的两幅影像，融合至步骤5.4所述基准视频段的输出影像中，也采用逐像素融合的方式；
步骤5.9、至此则得到了最终的四维超声内窥观测下的病灶影像，其中R通道数值为主观测结果；G通道和B通道为辅助观测结果，其中G通道结果的置信度高于B通道。
进一步的，操作者可通过对各通道结果的权重赋值，实现观测结果的不同维度、不同考量的影像输出。
实施例2
基于同样的发明构思，本实施例公开了一种四维超声内镜观测下病灶影像融合系统，请参见图2，该系统包括：
超声视频影像数据预处理模块10，用于对采集的原始超声内窥视频影像进行预处理；
超声视频影像关键帧处理模块20，用于根据预处理后的超声内窥视频影像中各帧影像与相邻帧影像的结构相似度以及一个视频段内每帧影像的峰值信噪比对视频影像进行筛选，筛选出的影像作为关键帧群，其中，视频段通过对预处理后的超声内窥视频影像进行划分后得到；
四维观测下病灶形态判别模块30，用于根据相邻的视频段的均值影像的结构相似度，判断相邻的视频段是否描述同一病灶区域；
四维观测下病灶影像配准模块40，用于如果相邻的视频段不是描述同一病灶区域，则删除该视频段，如果相邻的视频段是描述同一病灶区域，则根据大于SSIM值的平均值的网格区域部分的分布情况对视频段中的影像进行处理，具体包括：若大于SSIM值的平均值的网格区域部分呈现连续分布，则保留局部没发生变化的连续网格区域，若大于SSIM值的平均值的网格区域部分呈现离散分布，则计算视频段的均值影像所划分的网格的峰值信噪比，并删除峰值信噪比小于阈值的网格区域，SSIM值为结构相似度值；
病灶影像融合模块50，用于将四维观测下病灶影像配准模块中得到的影像与基准视频段中的标准输出影像进行融合，得到融合的病灶影像。
超声影像视频数据预处理模块 10。此模块的主要功能为对超声内窥镜采集到的实时视频影像，通过滤波、增强等操作，实现视频质量的提升。首先，由于受超声传感器特性和多样性环境因素的影响，超声内窥视频影像的对比度较低、噪点较多，因此选用自适应中值滤波器实现原始超声视频流的逐帧滤波；接着，采用频域增强中的同态滤波方法，用于削弱乘性和卷积性噪声；接着，提高输出视频影像对比度，其方法为在灰度空间内，按比例提高每帧影像中每个像素点的灰度值；最后，再次滤波，去掉每帧影像中低于阈值的像素点，阈值由人机交互设定，则完成了对原始采集的超声内窥视频影像的预处理操作。
超声影像视频关键帧提取20。此模块的主要功能为，在连续观测的视频影像中，初步筛选能够使用的单帧影像。首先，计算超声视频影像中所有相邻帧的SSIM值，若某帧影像与其前序影像（前面一帧影像）的SSIM值大于0.8（经验阈值），表明该帧影像与前序影像观测目标相同，该帧影像予以保留；若某帧影像与其前序影像（前面一帧影像）的SSIM值小于0.8，则需进一步操作；接着，将超声视频影像，以“边缘帧”为分割线，划分为数个大小不一的视频段；然后，计算每个视频段内每帧影像的PSNR，去掉低于PSNR平均值的影像；最终，剩余的影像则定义为“关键帧群”，将用于后续的处理。
四维观测下病灶形态判别30。此模块的主要功能为判断相邻的视频段是否描述的同一病灶区域。首先，计算每个视频段内，原有多少帧影像（去除前原始影像），按每秒15幅影像核算每个视频段的时长；接着，对于每一个视频段，将该视频段内的所有单帧影像合并，合并方法为逐像素求平均值，得到一幅对应于该视频段的均值影像，并将该均值影像划分为8x8共64个网格；对于每一个视频段的均值影像，逐个网格计算与前序视频段均值影像所对应网格的SSIM值，共得到64组SSIM值，计算其平均值，标明64个网格中，大于平均值的网格区域；若大于平均值的网格区域部分呈现连续分布（网格相邻、连接），则表明该均值影像与其前序均值影像部分区域重叠（超声内镜角度略微变化）；若大于平均值的网格区域部分呈现离散分布，则表明该连续两幅的均值影像观测区域没有大幅变化，而是由病灶器官的自然蠕动或环境变化引起的观测差异；最后，则完成了连续视频段中，观测区域的确定，分2种情况：1）连续视频段观测区域局部视角变化；2）观测区域没有变化，由器官蠕动产生了病灶去的形态变化，因此引起观测结果差异。
四维观测下病灶影像配40。此模块的主要功能为将前述模块所确定 真实性和准确率。首先，需要将视频影像逐帧转换至灰度颜色空间；接着，根据超声内窥的观测特性（传感器探头移动较慢），将时长小于1秒的视频段内的每帧影像，默认为已配准（区域、角度相同）；然后，将所计算的相邻均值影像的64组网格SSIM值，若小于0.5的SSIM值多于80%，则标定为该视频段已转移观测其它区域，偏离了目标病灶区域，不予采用；最后，将剩余视频段中的影像进一步处理，便于选定合适的全幅或部分影像（部分网格区域）。
病灶影像融合50。此模块的主要功能为将前述步骤选定了的待融合视频段影像，融合基准视频段的标准输出影像。首先，对于基准视频段中的多幅影像，需要融合为一张作为标准输出影像，融合既需要有效一直超声影像中的斑点噪声，又能够尽可能多的反映病灶特征；接着，将前述处理的后序相邻10个视频段中的影像进行相同操作，得到对应于10个视频段的10幅影像；喝着，对于模块 40所述的部分网格影像，将其部分网格区域的影像融合至基准视频段处理后的输出影响，融合方法为逐像素融合；然后，将融合后的影像转化至RGB空间，以R（红色）通道替换原灰色空间数值；同理，对于后续10视频段中对应于步骤3.8中的第2）种情形，将10段视频划分为2部分，邻近的5段视频和另外5段视频；将后续10段视频中，邻近的5段视频融合为1幅输出影像，另外5段融合为1幅影像；最后，将所得到的两幅影像转换至RGB空间，以G（绿色）通道替换邻近5段视频融合的影像；以B（蓝色）通道替换另外5段视频融合的影像，至此则得到了最终的四维超声内窥观测下的病灶影像，其中R通道数值为主观测结果；G通道和B通道为辅助观测结果，其中G通道结果的置信度高于B通道。
由于本发明实施例2所介绍的系统为实施本发明实施例1中四维超声内镜观测下病灶影像融合方法所采用的系统，故而基于本发明实施例1所介绍的方法，本领域所属人员能够了解该系统的具体结构及变形，故而在此不再赘述。凡是本发明实施例1中方法所采用的系统都属于本发明所欲保护的范围。
实施例3
基于同一发明构思，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如实施例1中所述的方法。
由于本发明实施例3所介绍的计算机可读存储介质为实施本发明实施例1中四维超声内镜观测下病灶影像融合方法所采用的计算机可读存储介质，故而基于本发明实施例1所介绍的方法，本领域所属人员能够了解该计算机可读存储介质的具体结构及变形，故而在此不再赘述。凡是本发明实施例1的方法所采用的计算机可读存储介质都属于本发明所欲保护的范围。
实施例4
基于同一发明构思，本申请还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述程序时实现实施例1中的方法。
由于本发明实施例4所介绍的计算机设备为实施本发明实施例1中四维超声内镜观测下病灶影像融合方法所采用的计算机设备，故而基于本发明实施例1所介绍的方法，本领域所属人员能够了解该计算机设备的具体结构及变形，故而在此不再赘述。凡是本发明实施例1中方法所采用的计算机设备都属于本发明所欲保护的范围。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (9)
1.四维超声内镜观测下病灶影像融合方法，其特征在于，包括：
S1：对采集的原始超声内窥视频影像进行预处理；
S2：根据预处理后的超声内窥视频影像中各帧影像与相邻帧影像的结构相似度以及一个视频段内每帧影像的峰值信噪比对视频影像进行筛选，筛选出的影像作为关键帧群，其中，视频段通过对预处理后的超声内窥视频影像进行划分后得到；
S3：根据相邻的视频段的均值影像的结构相似度，判断相邻的视频段是否描述同一病灶区域；
S4：如果相邻的视频段不是描述同一病灶区域，则删除该视频段，如果相邻的视频段是描述同一病灶区域，则根据大于SSIM值的平均值的网格区域部分的分布情况对视频段中的影像进行处理，具体包括：若大于SSIM值的平均值的网格区域部分呈现连续分布，则保留局部没发生变化的连续网格区域，若大于SSIM值的平均值的网格区域部分呈现离散分布，则计算视频段的均值影像所划分的网格的峰值信噪比，并删除峰值信噪比小于阈值的网格区域，SSIM值为结构相似度值；
S5：将S4中得到的影像与基准视频段中的标准输出影像进行融合，得到融合的病灶影像。
2.如权利要求1所述的四维超声内镜观测下病灶影像融合方法，其特征在于，步骤S1包括：对采集的原始超声内窥视频影像进行滤波、增强操作。
3.如权利要求1所述的四维超声内镜观测下病灶影像融合方法，其特征在于，步骤S2包括：
S2.1：判断预处理后的超声内窥视频影像中的某帧影像与其前序影像的SSIM值是否大于或等于经验阈值，如果是，则保留该帧影像；如果不是，则根据前序15张影像中与该帧影像的结构相似度大于或等于经验阈值的比例、后序15张影像中与该帧影像的结构相似度大于或等于经验阈值的比例，进一步对影像进行筛选；
S2.2：计算每个视频段内每帧影像的PSNR，PSNR为峰值信噪比，对所有每帧影像的PSNR值取算术平均值，求得PSNR均值，去除PSNR低于PSNR平均值的影像。
4.如权利要求1所述的四维超声内镜观测下病灶影像融合方法，其特征在于，步骤S3包括：
S3.1：计算每个视频段原有多少帧影像，并按每秒15幅影像核算每个视频段的时长；
S3.2：对于每一个视频段，将该视频段内的所有单帧影像进行合并，得到一幅对应于该视频段的均值影像；
S3.3：将得到的均值影像划分为8x8共64个网格；
S3.4：对于每一个视频段的均值影像，逐个网格计算与前序视频段的均值影像所对应网格的SSIM值，共得到64组SSIM值；
S3.5：如果64组SSIM值中小于预设值的SSIM值的比例高于比例阈值，则判定相邻的视频段不是描述同一病灶区域，删除该视频段；
S3.6：否则，判定相邻的视频段不是描述同一病灶区域，此时计算64组SSIM值的平均值，并对S3.3中的64个网格中大于SSIM值的平均值的网格进行标注；如果大于SSIM值的平均值的网格区域部分呈现连续分布，则表明均值影像与其前序均值影像部分区域重叠；若大于SSIM值的平均值的网格区域部分呈现离散分布，则表明该连续两幅的均值影像观测区域没有大幅变化。
5.如权利要求4所述的四维超声内镜观测下病灶影像融合方法，其特征在于，在步骤S3.5之前，所述方法还包括：
将视频影像逐帧转换至灰度颜色空间；
根据超声内窥的观测特性将时长小于预设时长的视频段内的每帧影像，设置为已配准。
6.如权利要求1所述的四维超声内镜观测下病灶影像融合方法，其特征在于，步骤S5包括：
S5.1：将基准视频段中的多幅影像融合为一张作为标准输出影像；
S5.2：将S4中得到的影像中后序相邻的10个视频段中的影像进行融合，得到对应于10个视频段的10幅影像；
S5.3：对S4得到的删除峰值信噪比小于阈值的网格区域的影像，将其部分网格区域的影像融合至S5.1中的标准输出影像；
S5.4：将S5.3得到的融合后的影像转化至RGB空间，以R通道替换原灰色空间数值；
S5.5：对于与当前视频段时序相连的后10段影像，将其划分邻近的5段视频和另外5段视频；
S5.6：将邻近的5段视频融合为1幅输出影像，另外5段视频融合为1幅输出影像；
S5.7：将S5.6所得到的两幅影像转换至RGB空间，以G通道替换邻近5段视频所对应的输出影像；以B通道替换另外5段视频所对应的输出影像；
S5.8：将S5.7得到的两幅影像，融合至S5.4得到的基准视频段的输出影像中，得到融合的病灶影像，融合的病灶影像中，R通道数值为主观测结果；G通道和B通道为辅助观测结果，G通道结果的置信度高于B通道。
7.四维超声内镜观测下病灶影像融合系统，其特征在于，包括：
超声视频影像数据预处理模块，用于对采集的原始超声内窥视频影像进行预处理；
超声视频影像关键帧处理模块，用于根据预处理后的超声内窥视频影像中各帧影像与相邻帧影像的结构相似度以及一个视频段内每帧影像的峰值信噪比对视频影像进行筛选，筛选出的影像作为关键帧群，其中，视频段通过对预处理后的超声内窥视频影像进行划分后得到；
四维观测下病灶形态判别模块，用于根据相邻的视频段的均值影像的结构相似度，判断相邻的视频段是否描述同一病灶区域；
四维观测下病灶影像配准模块，用于如果相邻的视频段不是描述同一病灶区域，则删除该视频段，如果相邻的视频段是描述同一病灶区域，则根据大于SSIM值的平均值的网格区域部分的分布情况对视频段中的影像进行处理，具体包括：若大于SSIM值的平均值的网格区域部分呈现连续分布，则保留局部没发生变化的连续网格区域，若大于SSIM值的平均值的网格区域部分呈现离散分布，则计算视频段的均值影像所划分的网格的峰值信噪比，并删除峰值信噪比小于阈值的网格区域，SSIM值为结构相似度值；
病灶影像融合模块，用于将四维观测下病灶影像配准模块中得到的影像与基准视频段中的标准输出影像进行融合，得到融合的病灶影像。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至6中任一项权利要求所述的方法。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6中任一项权利要求所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410389792.XA CN117974475B (zh) | 2024-04-02 | 2024-04-02 | 四维超声内镜观测下病灶影像融合方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410389792.XA CN117974475B (zh) | 2024-04-02 | 2024-04-02 | 四维超声内镜观测下病灶影像融合方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117974475A true CN117974475A (zh) | 2024-05-03 |
| CN117974475B CN117974475B (zh) | 2024-06-18 |
Family
ID=90848273
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410389792.XA Active CN117974475B (zh) | 2024-04-02 | 2024-04-02 | 四维超声内镜观测下病灶影像融合方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117974475B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160253801A1 (en) * | 2013-10-11 | 2016-09-01 | Mauna Kea Technologies | Method for characterizing images acquired through a video medical device |
| CN107789056A (zh) * | 2017-10-19 | 2018-03-13 | 青岛大学附属医院 | 一种医学影像匹配融合方法 |
| US20190290247A1 (en) * | 2016-05-31 | 2019-09-26 | Koninklijke Philips N.V. | Image-based fusion of endoscopic image and ultrasound images |
| US20210035296A1 (en) * | 2018-04-27 | 2021-02-04 | Delphinus Medical Technologies, Inc. | System and method for feature extraction and classification on ultrasound tomography images |
| CN113379693A (zh) * | 2021-06-01 | 2021-09-10 | 大连东软教育科技集团有限公司 | 基于视频摘要技术的胶囊内镜关键病灶图像检测方法 |
| CN114626980A (zh) * | 2020-12-10 | 2022-06-14 | 湖南文理学院 | 医疗视频超分辨率视频帧提取方法及系统 |
| US20220207728A1 (en) * | 2019-04-05 | 2022-06-30 | Oxford University Innovation Limited | Quality assessment in video endoscopy |
| CN116468605A (zh) * | 2023-04-12 | 2023-07-21 | 西安电子科技大学 | 基于时空分层掩膜注意力融合的视频超分辨率重建方法 |
| CN117333750A (zh) * | 2023-11-14 | 2024-01-02 | 中北大学 | 空间配准与局部全局多尺度的多模态医学图像融合方法 |
| CN117391955A (zh) * | 2023-10-24 | 2024-01-12 | 天津大学 | 基于多帧光学相干层析图像的凸集投影超分辨率重建方法 |
-
2024
- 2024-04-02 CN CN202410389792.XA patent/CN117974475B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20160253801A1 (en) * | 2013-10-11 | 2016-09-01 | Mauna Kea Technologies | Method for characterizing images acquired through a video medical device |
| US20190290247A1 (en) * | 2016-05-31 | 2019-09-26 | Koninklijke Philips N.V. | Image-based fusion of endoscopic image and ultrasound images |
| CN107789056A (zh) * | 2017-10-19 | 2018-03-13 | 青岛大学附属医院 | 一种医学影像匹配融合方法 |
| US20210035296A1 (en) * | 2018-04-27 | 2021-02-04 | Delphinus Medical Technologies, Inc. | System and method for feature extraction and classification on ultrasound tomography images |
| US20220207728A1 (en) * | 2019-04-05 | 2022-06-30 | Oxford University Innovation Limited | Quality assessment in video endoscopy |
| CN114626980A (zh) * | 2020-12-10 | 2022-06-14 | 湖南文理学院 | 医疗视频超分辨率视频帧提取方法及系统 |
| CN113379693A (zh) * | 2021-06-01 | 2021-09-10 | 大连东软教育科技集团有限公司 | 基于视频摘要技术的胶囊内镜关键病灶图像检测方法 |
| CN116468605A (zh) * | 2023-04-12 | 2023-07-21 | 西安电子科技大学 | 基于时空分层掩膜注意力融合的视频超分辨率重建方法 |
| CN117391955A (zh) * | 2023-10-24 | 2024-01-12 | 天津大学 | 基于多帧光学相干层析图像的凸集投影超分辨率重建方法 |
| CN117333750A (zh) * | 2023-11-14 | 2024-01-02 | 中北大学 | 空间配准与局部全局多尺度的多模态医学图像融合方法 |
Non-Patent Citations (3)
| Title |
|---|
| DONGJIN HUANG ET AL.: "Deep unsupervised endoscopic image enhancement based on multi-image fusion", 《COMPUTER METHODS AND PROGRAMS IN BIOMEDICINE》, 26 April 2022 (2022-04-26), pages 1 - 17 * |
| 纪宇: "基于无监督深度学习的医学图像配准算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, 15 January 2024 (2024-01-15), pages 138 - 1424 * |
| 苗强强;: "基于图像质量和注意力的宫腔镜视频关键帧提取", 激光与光电子学进展, no. 06, 19 October 2018 (2018-10-19), pages 130 - 136 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117974475B (zh) | 2024-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5645399B2 (ja) | Ｘ線画像処理装置、ｘ線画像処理方法、及びコンピュータプログラム | |
| CN111862044B (zh) | 超声图像处理方法、装置、计算机设备和存储介质 | |
| CN111199524B (zh) | 一种针对可调光圈光学系统的图像紫边校正方法 | |
| CN104486618B (zh) | 视频图像的噪声检测方法及装置 | |
| CN115661135A (zh) | 一种心脑血管造影的病灶区域分割方法 | |
| KR20110014067A (ko) | 스테레오 컨텐트의 변환 방법 및 시스템 | |
| JP2018205788A (ja) | シルエット抽出装置、方法およびプログラム | |
| TW201942868A (zh) | 用於辨識組織病徵影像的系統及方法 | |
| CN112699885A (zh) | 一种基于对抗生成网络gan的语义分割训练数据增广方法和系统 | |
| CN112330544A (zh) | 图像拖影的处理方法、装置、设备及介质 | |
| CN110751635A (zh) | 一种基于帧间差分和hsv颜色空间的口腔检测方法 | |
| CN111583357A (zh) | 一种基于matlab系统的物体运动图像捕捉合成方法 | |
| CN117392178A (zh) | 一种铺粉增材制造过程熔池的运动特征提取方法及装置 | |
| CN117974475B (zh) | 四维超声内镜观测下病灶影像融合方法及系统 | |
| JP7019104B2 (ja) | 閾値の学習方法 | |
| CN110136085B (zh) | 一种图像的降噪方法及装置 | |
| EP2693397B1 (en) | Method and apparatus for noise reduction in an imaging system | |
| CN112532938B (zh) | 一种基于大数据技术的视频监控系统 | |
| CN109009216A (zh) | 一种超声影像裸眼3d系统 | |
| CN114862762A (zh) | 人体扫描图像的质量评估方法及其装置 | |
| CN113963427A (zh) | 一种快速活体检测的方法与系统 | |
| CN113940702A (zh) | 一种甲状腺结节回声分析装置 | |
| CN109328373B (zh) | 图像处理方法及其相关设备、存储介质 | |
| CN117710868B (zh) | 一种对实时视频目标的优化提取系统及方法 | |
| JP2018195047A (ja) | シルエット抽出装置、方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |