CN113592756B - 一种消化道共聚焦图像拼接方法 - Google Patents

一种消化道共聚焦图像拼接方法 Download PDF

Info

Publication number
CN113592756B
CN113592756B CN202110862645.6A CN202110862645A CN113592756B CN 113592756 B CN113592756 B CN 113592756B CN 202110862645 A CN202110862645 A CN 202110862645A CN 113592756 B CN113592756 B CN 113592756B
Authority
CN
China
Prior art keywords
confocal
image
digestive tract
foreground
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110862645.6A
Other languages
English (en)
Other versions
CN113592756A (zh
Inventor
刘谦
卢昱华
陈伟彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Ezhou Institute of Industrial Technology Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Ezhou Institute of Industrial Technology Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology, Ezhou Institute of Industrial Technology Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN202110862645.6A priority Critical patent/CN113592756B/zh
Publication of CN113592756A publication Critical patent/CN113592756A/zh
Application granted granted Critical
Publication of CN113592756B publication Critical patent/CN113592756B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)

Abstract

一种消化道共聚焦图像拼接方法，所述方法包括步骤：获取消化道共聚焦原始图像；根据所述消化道共聚焦原始图像生成分割神经网络；根据所述消化道共聚焦原始图像和所述分割神经网络生成消化道共聚焦前景图像；根据所述消化道共聚焦前景图像生成稳像前景图像；根据所述稳像前景图像生成单应性矩阵；获取所述稳像前景图像对应的所述消化道共聚焦原始图像；根据所述消化道共聚焦原始图像和所述单应性矩阵生成消化道共聚焦拼接图像。本申请降低了对采集拼接的原始图像的采集条件，可以有效降低因光纤束纤芯损坏形成的图像噪点对拼接图像质量的影响；可以降低共聚焦内窥镜图像拼接的设备和操作要求，提高拼接算法鲁棒性。

Description

一种消化道共聚焦图像拼接方法
技术领域
本发明属于医学图像处理技术领域，具体涉及一种消化道共聚焦图像拼接方法。
背景技术
共聚焦内窥镜手术视场小，且位移灵敏度高，操作者难以再次定位和稳定观察病灶。解决办法之一是依靠图像拼接算法，图像拼接算法可以通过判断相邻帧图像的共同特征将相邻帧图像拼接成全景图以解决视场过小的问题。
Brown M等使用基于Sift特征的全局单应性矩阵对齐算法Auto-Stitch而成为解决图像拼接问题的里程碑。进一步的，Yi K M等提出LIFT-Net算法，也即使用三个神经网络分别进行特征点检测、方向匹配和描述子生成。XHan等提出MatchNet算法，也即使用双塔结构提取特征，并由三个全连接层组成网络计算所提取特征之间的相似性。使用神经网络代替如Sift特征等角点特征，但是额外或更准确地特征点对，无法处理立体空间下各帧图片光心不重合导致的视差。为解决这个问题，Gao J等提出DHW算法，也即将场景划分为背景平面和前景平面，用两个单应性矩阵分别对齐前景和背景。但是DHW算法依靠特征点聚类算法划分前景和背景，面对前景背景划分复杂的图片无法有效地区分前景和背景区域。
同时，由于共聚焦逐行激活成像原理，共聚焦图像并不是同时成像，因此在移动共聚焦内窥镜探头时会出现果冻效应而干扰图像拼接效果。TVercauteren的微分同胚算法需要基于对应探头的扫描速度建模以补正果冻效应影响；Lun Gong使用的光流法拼接需要相邻帧图片满足一定重叠需求。这些算法都存在一定的缺陷。
发明内容
鉴于上述问题，本发明提供克服上述问题或者至少部分地解决上述问题的一种消化道共聚焦图像拼接方法。
为解决上述技术问题，本发明提供了一种消化道共聚焦图像拼接方法，所述方法包括步骤：
获取消化道共聚焦原始图像；
根据所述消化道共聚焦原始图像生成分割神经网络；
根据所述消化道共聚焦原始图像和所述分割神经网络生成消化道共聚焦前景图像；
根据所述消化道共聚焦前景图像生成稳像前景图像；
根据所述稳像前景图像生成单应性矩阵；
获取所述稳像前景图像对应的所述消化道共聚焦原始图像；
根据所述消化道共聚焦原始图像和所述单应性矩阵生成消化道共聚焦拼接图像。
优选地，所述获取消化道共聚焦原始图像包括步骤：
准备共聚焦内窥镜成像系统；
使用所述共聚焦内窥镜成像系统拍摄消化道共聚焦视频；
将所述消化道共聚焦视频逐帧转化为图像；
按照时间顺序对所述图像进行升序排列；
得到所述消化道共聚焦原始图像。
优选地，所述根据所述消化道共聚焦原始图像生成分割神经网络包括步骤：
选择预设数量的所述消化道共聚焦原始图像组成图像分割神经网络数据集；
对所述图像分割神经网络数据集中的所述消化道共聚焦原始图像进行掩膜标记；
将所述图像分割神经网络数据集分成训练集、验证集和测试集；
将所述训练集中的所述消化道共聚焦原始图像输入神经网络进行分割训练并得到初级分割神经网络；
从所述验证集中抽取预设数量的所述消化道共聚焦原始图像对所述初级分割神经网络进行验证；
使用所述测试集中的所述消化道共聚焦原始图像对所述初级分割神经网络进行测试；
根据测试结果得到所述分割神经网络。
优选地，所述对所述图像分割神经网络数据集中的所述消化道共聚焦原始图像进行掩膜标记包括步骤：
获取所述消化道共聚焦原始图像；
将所述消化道共聚焦原始图像中的腺体组织视为前景；
将所述消化道共聚焦原始图像中腺体组织以外的部分视为背景；
使用图像标记工具对所述消化道共聚焦原始图像进行多边形掩膜标记。
优选地，所述根据所述消化道共聚焦原始图像和所述分割神经网络生成消化道共聚焦前景图像包括步骤：
获取所述消化道共聚焦原始图像；
获取所述分割神经网络；
将所述消化道共聚焦原始图像输入所述分割神经网络；
得到所述分割神经网络输出的所述消化道共聚焦前景图像。
优选地，所述根据所述消化道共聚焦前景图像生成稳像前景图像包括步骤：
获取所述消化道共聚焦前景图像；
对所述消化道共聚焦前景图像进行抖动判断并获得抖动帧和移动帧；
删除所述抖动帧并保留所述移动帧；
得到所述稳像前景图像。
优选地，所述对所述消化道共聚焦前景图像进行抖动判断并获得抖动帧和移动帧包括步骤：
对所述消化道共聚焦前景图像进行灰度投影；
获取每一所述消化道共聚焦前景图像对应的灰度投影曲线；
比较相邻所述消化道共聚焦前景图像的投影曲线差异；
将所述投影曲线差异小于第一预设值的相邻两个所述消化道共聚焦前景图像作为所述抖动帧；
将所述投影曲线差异大于第二预设值的相邻两个所述消化道共聚焦前景图像作为所述移动帧。
优选地，所述根据所述稳像前景图像生成单应性矩阵包括步骤：
逐一获取所述稳像前景图像中任意两个相邻图像；
提取任意两个相邻图像上的角点特征信息；
使用随机抽样一致算法获取任意两个相邻图像的特征匹配对；
获取所有所述特征匹配对并生成所述单应性矩阵。
优选地，所述获取所述稳像前景图像对应的所述消化道共聚焦原始图像包括步骤：
获取所述稳像前景图像；
获取所述稳像前景图像对应的所述消化道共聚焦前景图像；
获取所述消化道共聚焦前景图像对应的所述消化道共聚焦原始图像。
优选地，所述根据所述消化道共聚焦原始图像和所述单应性矩阵生成消化道共聚焦拼接图像包括步骤：
逐一获取所述消化道共聚焦原始图像中任意两个相邻图像；
使用所述单应性矩阵将任意两个相邻图像中的后一个图像投影至前一个图像的图像空间中；
基于所述后一个图像和所述前一个图像的相同部分融合任意两个相邻图像；
生成所述消化道共聚焦拼接图像。
本发明实施例中的一个或多个技术方案，至少具有如下技术效果或优点：本申请提供的一种消化道共聚焦图像拼接方法，根据消化道共聚焦原始图像生成分割神经网络，并使用分割神经网络实现在更复杂的图像场景中获得前景图像；相比于其他高分辨内窥镜图像拼接方法，本方法基于前景图像生成稳像图像，降低了对采集拼接的原始图像的采集条件，可以有效降低因光纤束纤芯损坏形成的图像噪点对拼接图像质量的影响；可以降低共聚焦内窥镜图像拼接的设备和操作要求，提高拼接算法鲁棒性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种消化道共聚焦图像拼接方法的流程示意图。
具体实施方式
下文将结合具体实施方式和实施例，具体阐述本发明，本发明的优点和各种效果将由此更加清楚地呈现。本领域技术人员应理解，这些具体实施方式和实施例是用于说明本发明，而非限制本发明。
在整个说明书中，除非另有特别说明，本文使用的术语应理解为如本领域中通常所使用的含义。因此，除非另有定义，本文使用的所有技术和科学术语具有与本发明所属领域技术人员的一般理解相同的含义。若存在矛盾，本说明书优先。
除非另有特别说明，本发明中用到的各种原材料、试剂、仪器和设备等，均可通过市场购买得到或者可通过现有方法制备得到。
如图1，在本申请实施例中，本发明提供了一种消化道共聚焦图像拼接方法，所述方法包括步骤：
S1：获取消化道共聚焦原始图像；
在本申请实施例中，步骤S1中的获取消化道共聚焦原始图像包括步骤：
准备共聚焦内窥镜成像系统；
使用所述共聚焦内窥镜成像系统拍摄消化道共聚焦视频；
将所述消化道共聚焦视频逐帧转化为图像；
按照时间顺序对所述图像进行升序排列；
得到所述消化道共聚焦原始图像。
在本申请实施例中，当需要获取消化道共聚焦原始图像时，依靠共聚焦内窥镜成像系统从实验、临床探查过程中获取消化道共聚焦视频，并将消化道共聚焦视频逐帧转化和按照时间顺序排列为图像序列，从而得到消化道共聚焦原始图像。
S2：根据所述消化道共聚焦原始图像生成分割神经网络；
在本申请实施例中，步骤S2中的根据所述消化道共聚焦原始图像生成分割神经网络包括步骤：
选择预设数量的所述消化道共聚焦原始图像组成图像分割神经网络数据集；
对所述图像分割神经网络数据集中的所述消化道共聚焦原始图像进行掩膜标记；
将所述图像分割神经网络数据集分成训练集、验证集和测试集；
将所述训练集中的所述消化道共聚焦原始图像输入神经网络进行分割训练并得到初级分割神经网络；
从所述验证集中抽取预设数量的所述消化道共聚焦原始图像对所述初级分割神经网络进行验证；
使用所述测试集中的所述消化道共聚焦原始图像对所述初级分割神经网络进行测试；
根据测试结果得到所述分割神经网络。
在本申请实施例中，当根据消化道共聚焦原始图像生成分割神经网络时，首先选择预设数量(比如超过500张)的消化道共聚焦原始图像组成图像分割神经网络数据集，然后对图像分割神经网络数据集中的消化道共聚焦原始图像进行掩膜标记，并将图像分割神经网络数据集分成训练集、验证集和测试集；将训练集中的所述消化道共聚焦原始图像输入神经网络(比如U-Net神经网络)进行分割训练并得到初级分割神经网络，并从验证集中抽取预设数量(比如30张)的消化道共聚焦原始图像对初级分割神经网络进行验证，然后使用测试集中的消化道共聚焦原始图像对初级分割神经网络进行测试，最后根据测试结果得到分割神经网络。
在本申请实施例中，将训练集中的消化道共聚焦原始图像输入U-Net神经网络进行分割训练，每10次迭代，并从验证集抽取30张图片进行验证，进行100次迭代或两次验证差异足够小时视为完成网络训练，可以得到初级分割神经网络。接着使用测试集图像测试初级分割神经网络的Dice，当Dice值超过90％认为分割神经网络训练成功。
在本申请实施例中，所述对所述图像分割神经网络数据集中的所述消化道共聚焦原始图像进行掩膜标记包括步骤：
获取所述消化道共聚焦原始图像；
将所述消化道共聚焦原始图像中的腺体组织视为前景；
将所述消化道共聚焦原始图像中腺体组织以外的部分视为背景；
使用图像标记工具对所述消化道共聚焦原始图像进行多边形掩膜标记。
在本申请实施例中，当对所述图像分割神经网络数据集中的所述消化道共聚焦原始图像进行掩膜标记时，将消化道共聚焦原始图像中相对固定的腺体组织视为前景，将腺体以外的游离表皮细胞等视为背景，使用图像标记工具(如l abel me)进行多边形掩膜标记，将掩膜标记视为真实值。
S3：根据所述消化道共聚焦原始图像和所述分割神经网络生成消化道共聚焦前景图像；
在本申请实施例中，步骤S3中的根据所述消化道共聚焦原始图像和所述分割神经网络生成消化道共聚焦前景图像包括步骤：
获取所述消化道共聚焦原始图像；
获取所述分割神经网络；
将所述消化道共聚焦原始图像输入所述分割神经网络；
得到所述分割神经网络输出的所述消化道共聚焦前景图像。
在本申请实施例中，当根据所述消化道共聚焦原始图像和所述分割神经网络生成消化道共聚焦前景图像时，获取步骤S1中的消化道共聚焦原始图像和步骤S2中的分割神经网络，然后将消化道共聚焦原始图像输入分割神经网络，分割神经网络输出的即为消化道共聚焦前景图像。
S4：根据所述消化道共聚焦前景图像生成稳像前景图像；
在本申请实施例中，步骤S4中的根据所述消化道共聚焦前景图像生成稳像前景图像包括步骤：
获取所述消化道共聚焦前景图像；
对所述消化道共聚焦前景图像进行抖动判断并获得抖动帧和移动帧；
删除所述抖动帧并保留所述移动帧；
得到所述稳像前景图像。
在本申请实施例中，当根据所述消化道共聚焦前景图像生成稳像前景图像时，获取步骤S3中的消化道共聚焦前景图像，并对消化道共聚焦前景图像进行抖动判断并获得抖动帧和移动帧，此时删除抖动帧并保留移动帧，可以得到稳像前景图像。
在本申请实施例中，所述对所述消化道共聚焦前景图像进行抖动判断并获得抖动帧和移动帧包括步骤：
对所述消化道共聚焦前景图像进行灰度投影；
获取每一所述消化道共聚焦前景图像对应的灰度投影曲线；
比较相邻所述消化道共聚焦前景图像的投影曲线差异；
将所述投影曲线差异小于第一预设值的相邻两个所述消化道共聚焦前景图像作为所述抖动帧；
将所述投影曲线差异大于第二预设值的相邻两个所述消化道共聚焦前景图像作为所述移动帧。
在本申请实施例中，当对所述消化道共聚焦前景图像进行抖动判断并获得抖动帧和移动帧时，对消化道共聚焦前景图像进行灰度投影，可以获取每一消化道共聚焦前景图像对应的灰度投影曲线，然后比较相邻消化道共聚焦前景图像的投影曲线差异，并将投影曲线差异小于第一预设值的相邻两个消化道共聚焦前景图像作为抖动帧，将投影曲线差异大于第二预设值的相邻两个消化道共聚焦前景图像作为移动帧。
S5：根据所述稳像前景图像生成单应性矩阵；
在本申请实施例中，步骤S5中的根据所述稳像前景图像生成单应性矩阵包括步骤：
逐一获取所述稳像前景图像中任意两个相邻图像；
提取任意两个相邻图像上的角点特征信息；
使用随机抽样一致算法获取任意两个相邻图像的特征匹配对；
获取所有所述特征匹配对并生成所述单应性矩阵。
在本申请实施例中，当根据所述稳像前景图像生成单应性矩阵时，逐一获取所述稳像前景图像中任意两个相邻图像，并提取任意两个相邻图像上的角点特征信息(比如Sift特征)，然后使用随机抽样一致算法获取任意两个相邻图像的特征匹配对，并依靠所有特征匹配对并生成单应性矩阵。
S6：获取所述稳像前景图像对应的所述消化道共聚焦原始图像；
在本申请实施例中，步骤S6中的获取所述稳像前景图像对应的所述消化道共聚焦原始图像包括步骤：
获取所述稳像前景图像；
获取所述稳像前景图像对应的所述消化道共聚焦前景图像；
获取所述消化道共聚焦前景图像对应的所述消化道共聚焦原始图像。
在本申请实施例中，当获取稳像前景图像对应的消化道共聚焦原始图像时，首先获取稳像前景图像，接着根据稳像前景图像获取其对应的消化道共聚焦前景图像，然后根据消化道共聚焦前景图像获取其对应的消化道共聚焦原始图像。
S7：根据所述消化道共聚焦原始图像和所述单应性矩阵生成消化道共聚焦拼接图像。
在本申请实施例中，步骤S7中的根据所述消化道共聚焦原始图像和所述单应性矩阵生成消化道共聚焦拼接图像包括步骤：
逐一获取所述消化道共聚焦原始图像中任意两个相邻图像；
使用所述单应性矩阵将任意两个相邻图像中的后一个图像投影至前一个图像的图像空间中；
基于所述后一个图像和所述前一个图像的相同部分融合任意两个相邻图像；
生成所述消化道共聚焦拼接图像。
在本申请实施例中，当根据所述消化道共聚焦原始图像和所述单应性矩阵生成消化道共聚焦拼接图像时，逐一获取消化道共聚焦原始图像中任意两个相邻图像，并使用步骤S5中的单应性矩阵将任意两个相邻图像中的后一个图像投影至前一个图像的图像空间中，然后基于后一个图像和前一个图像的相同部分融合任意两个相邻图像，从而生成所述消化道共聚焦拼接图像。
本申请提供的一种消化道共聚焦图像拼接方法，根据消化道共聚焦原始图像生成分割神经网络，并使用分割神经网络实现在更复杂的图像场景中获得前景图像；相比于其他高分辨内窥镜图像拼接方法，本方法基于前景图像生成稳像图像，降低了对采集拼接的原始图像的采集条件，可以有效降低因光纤束纤芯损坏形成的图像噪点对拼接图像质量的影响；可以降低共聚焦内窥镜图像拼接的设备和操作要求，提高拼接算法鲁棒性。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
总之，以上所述仅为本发明技术方案的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种消化道共聚焦图像拼接方法，其特征在于，所述方法包括步骤：
获取消化道共聚焦原始图像；
根据所述消化道共聚焦原始图像生成分割神经网络；
根据所述消化道共聚焦原始图像和所述分割神经网络生成消化道共聚焦前景图像；
根据所述消化道共聚焦前景图像生成稳像前景图像；
根据所述稳像前景图像生成单应性矩阵；
获取所述稳像前景图像对应的所述消化道共聚焦原始图像；
根据所述消化道共聚焦原始图像和所述单应性矩阵生成消化道共聚焦拼接图像；
所述根据所述消化道共聚焦原始图像和所述分割神经网络生成消化道共聚焦前景图像包括步骤：
获取所述消化道共聚焦原始图像；
获取所述分割神经网络；
将所述消化道共聚焦原始图像输入所述分割神经网络；
得到所述分割神经网络输出的所述消化道共聚焦前景图像；
所述根据所述消化道共聚焦前景图像生成稳像前景图像包括步骤：
获取所述消化道共聚焦前景图像；
对所述消化道共聚焦前景图像进行抖动判断并获得抖动帧和移动帧；
删除所述抖动帧并保留所述移动帧；
得到所述稳像前景图像；
所述根据所述消化道共聚焦原始图像和所述单应性矩阵生成消化道共聚焦拼接图像包括步骤：
逐一获取所述消化道共聚焦原始图像中任意两个相邻图像；
使用所述单应性矩阵将任意两个相邻图像中的后一个图像投影至前一个图像的图像空间中；
基于所述后一个图像和所述前一个图像的相同部分融合任意两个相邻图像；
生成所述消化道共聚焦拼接图像。
2.根据权利要求1所述的消化道共聚焦图像拼接方法，其特征在于，所述获取消化道共聚焦原始图像包括步骤：
准备共聚焦内窥镜成像系统；
使用所述共聚焦内窥镜成像系统拍摄消化道共聚焦视频；
将所述消化道共聚焦视频逐帧转化为图像；
按照时间顺序对所述图像进行升序排列；
得到所述消化道共聚焦原始图像。
3.根据权利要求1所述的消化道共聚焦图像拼接方法，其特征在于，所述根据所述消化道共聚焦原始图像生成分割神经网络包括步骤：
选择预设数量的所述消化道共聚焦原始图像组成图像分割神经网络数据集；
对所述图像分割神经网络数据集中的所述消化道共聚焦原始图像进行掩膜标记；
将所述图像分割神经网络数据集分成训练集、验证集和测试集；
将所述训练集中的所述消化道共聚焦原始图像输入神经网络进行分割训练并得到初级分割神经网络；
从所述验证集中抽取预设数量的所述消化道共聚焦原始图像对所述初级分割神经网络进行验证；
使用所述测试集中的所述消化道共聚焦原始图像对所述初级分割神经网络进行测试；
根据测试结果得到所述分割神经网络。
4.根据权利要求3所述的消化道共聚焦图像拼接方法，其特征在于，所述对所述图像分割神经网络数据集中的所述消化道共聚焦原始图像进行掩膜标记包括步骤：
获取所述消化道共聚焦原始图像；
将所述消化道共聚焦原始图像中的腺体组织视为前景；
将所述消化道共聚焦原始图像中腺体组织以外的部分视为背景；
使用图像标记工具对所述消化道共聚焦原始图像进行多边形掩膜标记。
5.根据权利要求1所述的消化道共聚焦图像拼接方法，其特征在于，所述对所述消化道共聚焦前景图像进行抖动判断并获得抖动帧和移动帧包括步骤：
对所述消化道共聚焦前景图像进行灰度投影；
获取每一所述消化道共聚焦前景图像对应的灰度投影曲线；
比较相邻所述消化道共聚焦前景图像的投影曲线差异；
将所述投影曲线差异小于第一预设值的相邻两个所述消化道共聚焦前景图像作为所述抖动帧；
将所述投影曲线差异大于第二预设值的相邻两个所述消化道共聚焦前景图像作为所述移动帧。
6.根据权利要求1所述的消化道共聚焦图像拼接方法，其特征在于，所述根据所述稳像前景图像生成单应性矩阵包括步骤：
逐一获取所述稳像前景图像中任意两个相邻图像；
提取任意两个相邻图像上的角点特征信息；
使用随机抽样一致算法获取任意两个相邻图像的特征匹配对；
获取所有所述特征匹配对并生成所述单应性矩阵。
7.根据权利要求1所述的消化道共聚焦图像拼接方法，其特征在于，所述获取所述稳像前景图像对应的所述消化道共聚焦原始图像包括步骤：
获取所述稳像前景图像；
获取所述稳像前景图像对应的所述消化道共聚焦前景图像；
获取所述消化道共聚焦前景图像对应的所述消化道共聚焦原始图像。
CN202110862645.6A 2021-07-29 2021-07-29 一种消化道共聚焦图像拼接方法 Active CN113592756B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110862645.6A CN113592756B (zh) 2021-07-29 2021-07-29 一种消化道共聚焦图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110862645.6A CN113592756B (zh) 2021-07-29 2021-07-29 一种消化道共聚焦图像拼接方法

Publications (2)

Publication Number Publication Date
CN113592756A CN113592756A (zh) 2021-11-02
CN113592756B true CN113592756B (zh) 2023-05-23

Family

ID=78251738

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110862645.6A Active CN113592756B (zh) 2021-07-29 2021-07-29 一种消化道共聚焦图像拼接方法

Country Status (1)

Country Link
CN (1) CN113592756B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492287A (zh) * 2018-03-14 2018-09-04 罗普特（厦门）科技集团有限公司 一种视频抖动检测方法、终端设备及存储介质
CN109166137A (zh) * 2018-08-01 2019-01-08 上海电力学院 针对抖动视频序列中运动目标检测算法
CN111126474A (zh) * 2019-12-18 2020-05-08 山东大学齐鲁医院 共聚焦激光显微内镜消化道图像识别方法及系统
CN111598918A (zh) * 2020-04-29 2020-08-28 江苏大学 一种基于参考帧优选和前后景分离的视频稳像运动估计方法
CN112365417A (zh) * 2020-11-10 2021-02-12 华中科技大学鄂州工业技术研究院 共聚焦内窥镜图像修正拼接方法、装置及可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008076910A1 (en) * 2006-12-15 2008-06-26 The Board Of Trustees Of The Leland Stanford Junior University Image mosaicing systems and methods
US20150045619A1 (en) * 2013-08-09 2015-02-12 Chang Bing Show Chwan Memorial Hospital System and method for mosaicing endoscope images using wide angle view endoscope
EP3414612A4 (en) * 2016-02-11 2020-03-04 Montana State University WIDE ANGLE CAMERA MICROSCOPE LENS AND INTEGRATED BEAM SCANNING DEVICE
AU2018292610B2 (en) * 2017-06-28 2022-11-17 Magic Leap, Inc. Method and system for performing simultaneous localization and mapping using convolutional image transformation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108492287A (zh) * 2018-03-14 2018-09-04 罗普特（厦门）科技集团有限公司 一种视频抖动检测方法、终端设备及存储介质
CN109166137A (zh) * 2018-08-01 2019-01-08 上海电力学院 针对抖动视频序列中运动目标检测算法
CN111126474A (zh) * 2019-12-18 2020-05-08 山东大学齐鲁医院 共聚焦激光显微内镜消化道图像识别方法及系统
CN111598918A (zh) * 2020-04-29 2020-08-28 江苏大学 一种基于参考帧优选和前后景分离的视频稳像运动估计方法
CN112365417A (zh) * 2020-11-10 2021-02-12 华中科技大学鄂州工业技术研究院 共聚焦内窥镜图像修正拼接方法、装置及可读存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
共聚焦显微内镜在消化道早癌诊断中的优势与应用前景;汪家琪;余晓云;;医学新知杂志(第05期);456-467 *
大视差场景下的动态视频图像拼接技术研究;杨璇璇;《中国优秀硕士学位论文全文数据库信息科技辑》(第2021年第1期期);I138-1157 *

Also Published As

Publication number Publication date
CN113592756A (zh) 2021-11-02

Similar Documents

Publication Publication Date Title
US6556704B1 (en) Method for forming a depth image from digital image data
CN107798673B (zh) 诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质
US20120300095A1 (en) Imaging apparatus and imaging method
KR20040059313A (ko) 치아영상으로부터 치아영역 추출방법 및 치아영상을이용한 신원확인방법 및 장치
Piccinini et al. Automated image mosaics by non‐automated light microscopes: the MicroMos software tool
JP6376474B2 (ja) 多眼撮像システム、取得画像の合成処理方法、及びプログラム
KR101549929B1 (ko) 깊이 지도를 생성하는 방법 및 장치
CN110120013A (zh) 一种点云拼接方法及装置
Goos et al. 2D/3D image (facial) comparison using camera matching
CN113592756B (zh) 一种消化道共聚焦图像拼接方法
JPH03200007A (ja) ステレオ計測装置
CN113096016A (zh) 一种低空航拍图像拼接方法和系统
JP4871315B2 (ja) 複眼撮影装置およびその制御方法並びにプログラム
JP2020201823A (ja) 画像処理装置、画像処理方法およびプログラム
CN106023120B (zh) 基于耦合近邻索引的人脸画像合成方法
CN109753958A (zh) 图像字符识别方法
JP3897079B2 (ja) 視差画像入力装置及び撮像装置
Yoshino et al. Assessment of computer-assisted comparison between 3D and 2D facial images
CN106131498A (zh) 全景视频拼接方法及装置
Karthik et al. Face anti-spoofing based on sharpness profiles
Biwasaka et al. Application of computerised correction method for optical distortion of two-dimensional facial image in superimposition between three-dimensional and two-dimensional facial images
JP2004199200A (ja) パターン認識装置、撮像装置、情報処理システム、パターン認識方法、記録媒体、及びプログラム
JP2001012944A (ja) 視差画像入力装置及び撮像装置
JP2004145592A (ja) 移動ベクトル抽出装置及び方法及びプログラム及びその記録媒体
Aktar et al. Interactive Global Mosaic Stitching from Mesentery Video Sequences

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant