CN111524071A - 胶囊内窥镜图像拼接方法、电子设备及可读存储介质 - Google Patents

胶囊内窥镜图像拼接方法、电子设备及可读存储介质 Download PDF

Info

Publication number
CN111524071A
CN111524071A CN202010330852.2A CN202010330852A CN111524071A CN 111524071 A CN111524071 A CN 111524071A CN 202010330852 A CN202010330852 A CN 202010330852A CN 111524071 A CN111524071 A CN 111524071A
Authority
CN
China
Prior art keywords
image
images
preprocessed
point
spliced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010330852.2A
Other languages
English (en)
Other versions
CN111524071B (zh
Inventor
刘慧�
张行
袁文金
黄志威
张皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ankon Technologies Co Ltd
Original Assignee
Ankon Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ankon Technologies Co Ltd filed Critical Ankon Technologies Co Ltd
Priority to CN202010330852.2A priority Critical patent/CN111524071B/zh
Publication of CN111524071A publication Critical patent/CN111524071A/zh
Priority to PCT/CN2021/089378 priority patent/WO2021213508A1/zh
Priority to US17/921,102 priority patent/US11847805B2/en
Application granted granted Critical
Publication of CN111524071B publication Critical patent/CN111524071B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Endoscopes (AREA)

Abstract

本发明提供了一种胶囊内窥镜图像拼接方法、电子设备及可读存储介质，所述方法包括：对原始图像依次进行图像矫正和圆形边缘掩膜处理后形成预处理图像；对预处理图像进行图像增强形成增强图像；完成预处理图像中特征点的检测和匹配；根据获得的特征点的集合计算所有预处理图像对于同一个最优平面的变换模型；将每一增强图像分别根据变换模型的变换关系进行投影变换至同一坐标系下，形成多幅待拼接图像，按照待拼接图像对应的原始图像的采集顺序对待拼接图像依次进行拼接，使其形成一幅融合图像进行输出。本发明将连续获得的多张图像拼接为一张进行输出，扩大了单张胶囊内窥镜图像的观察视野。

Description

胶囊内窥镜图像拼接方法、电子设备及可读存储介质
技术领域
本发明涉及医疗设备成像领域，尤其涉及一种胶囊内窥镜图像拼接方法、 电子设备及可读存储介质。
背景技术
胶囊内窥镜是一种医疗设备，胶囊内窥镜将摄像头、无线传输天线等核心 器件集成于一个可被人体吞咽的胶囊内，在进行检查过程中，将胶囊内窥镜吞 入体内，内窥镜在体内采集消化道图像并同步传送到体外，以根据获得的图像 数据进行医疗检查。
胶囊内窥镜由于受体积以及功耗的限制，现有技术中，因为采集到的图像 的分辨率及图像景深受限，导致图像观察视野受限，医生很难根据单张图像识 别出病灶所在具体部位，看清消化道表面粘膜的整体情况。
发明内容
为解决上述技术问题，本发明的目的在于提供一种胶囊内窥镜图像拼接方 法、电子设备及可读存储介质。
为了实现上述发明目的之一，本发明一实施方式提供一种胶囊内窥镜图像 拼接方法，所述方法包括：获取原始图像，对原始图像依次进行图像矫正和圆 形边缘掩膜处理后形成预处理图像；对预处理图像进行图像增强形成增强图像；
完成预处理图像中特征点的检测和匹配；
根据获得的特征点的集合计算所有预处理图像对于同一个最优平面的变换 模型；
将每一增强图像分别根据变换模型的变换关系进行投影变换，使全部增强 图像对应的坐标变换图像变换至同一坐标系下，形成多幅待拼接图像，并在新 的坐标系下获得每幅待拼接图像对应的新的坐标值；
在同一坐标系下，按照待拼接图像对应的原始图像的采集顺序对待拼接图 像依次进行拼接，使其形成一幅融合图像进行输出。
作为本发明一实施方式的进一步改进，圆形边缘掩膜处理方法包括：
计算经过图像矫正的原始图像中每一像素点分别到图像中心坐标的距离；
判断每一像素点的所述距离是否位于图像中心为圆心，radius为半径的圆 内；
将处于圆内的像素点记为1，将其它像素点记为0，形成圆形掩膜mask；
保留标记为1的像素点形成预处理图像；
其中，radius∈[0.4583N,0.707N]，N表示经过矫正的原始图像的短边边 长。
作为本发明一实施方式的进一步改进，对预处理图像进行图像增强形成增 强图像具体包括：
分别在预处理图像的RGB通道中，利用导向滤波提取亮度层light和细节 层detail；
则增强图像Ic表示为：Ic＝αc×lightc+βc×detailc，其中，c代表通道，c＝[R， G，B]，αc、βc为常数；
将R，G，B三通道进行合并得到增强图像。
作为本发明一实施方式的进一步改进，采用非刚性稠密匹配方法完成预处 理图像中特征点的检测和匹配；
所述非刚性稠密匹配方法具体包括：
以相邻预处理图像的相关性为基础、自底向上构造多尺度关联图像金字塔；
在构建的多尺度关联金字塔最顶层图像提取初始特征点；
自构建的多尺度关联金字塔最顶层图像向下逐层检测，以获取与初始特征 点对应的点；
将检测到的多尺度关联金字塔最底层对应的点作为所述特征点，并将所述 特征点在前一张预处理图像和后一张预处理图像中对应的位置点进行配对。
作为本发明一实施方式的进一步改进，构建相关性关联图像金字塔的方法 具体包括：
将每相邻的两张预处理图像完全分割为大小相同、且不重叠的M1个正方形 单元，将前一张预处理图像的每个单元以R表示，将后一张预处理图像的每个 单元以R'表示，其中，R和R'分别包括4个大小相同的子单元；
通过公式1计算相邻预处理图像中R和R'的相关性，以得到最底层的关联 图像，并将最底层关联图像作为第一个子关联图；
以每一层的子关联层为基础，通过公式2获得上一层的子关联图，
公式1：
Figure BDA0002464900740000031
公式2：
Figure BDA0002464900740000032
其中，sim(R,R')表示R和R'的相关性，Ri,j表示具有单元R的预处理图像中 每一子单元对应的元素描述符，R'i,j表示具有单元R'的预处理图像中每一子单 元对应的元素描述符，i为子单元的横坐标，j为子单元的纵坐标；CN,p(p')表示 前一张预处理图像中长度为N、中心点为p的小元素和后一张预处理图像中长度 为N'，中心点为p'的小元素的相关性，θi表示选择的子关联图中以p+SN,i为中 心的邻域,M1、M2、N、N'为常数，且N'的值与M2相关。
作为本发明一实施方式的进一步改进，所述元素描述符的获取方式包括：
M1、以预设高斯核r1为半径对每一预处理图像进行高斯滤波形成图像 I_denoise；
M2、在图像I_denoise中，计算每个像素位置点的梯度和其在F个方向上 的投影，在每个像素点的3*3邻域内按F方向角度对每个像素点的位置进行统 计，将梯度大小作为每个方向的权重，进而获得每个像素点的F维向量信息， 将每个子单元的像素点对应的向量信息进行加权合成为F维向量信息，并将合 成的F维向量信息作为当前子单元的元素描述符；
M3、对每一元素描述符以预设高斯核r2进行高斯滤波；
M4、使用Sigmoid函数对经过步骤M3处理后的每一元素描述符进行限制；
M5、为每一元素描述符指定一常数μ，将每一元素描述符更新为F维灰度 值和一个常量值μ，并做归一化处理后供第一个子关联图计算使用。
作为本发明一实施方式的进一步改进，完成预处理图像中特征点的检测和 匹配后，所述方法还包括：第一次剔除错误的匹配对；
所述第一次剔除错误的匹配对具体包括：
根据特征点匹配查找其对应的前一张预处理图像和后一张预处理图像，以 获取特征点分别在前一张预处理图像中对应的第一特征匹配点和在后一张预处 理图像中对应的第二特征匹配点；
判断同一特征点对应的第一特征匹配点和第二特征匹配点的灰度值是否同 时处于预设灰度值范围内，若是，判定当前特征点对应的第一特征匹配点和第 二特征匹配点为有效；若否，判定当前特征点对应的第一特征匹配点和第二特 征匹配点为无效，并进行剔除。
作为本发明一实施方式的进一步改进，第一次剔除错误的匹配对后，所述 方法还包括：采用RANSAC拟合模型确定经过第一次剔除错误的匹配对后的预处 理图像中的所有的内点，同时剔除不符合模型的外点。
作为本发明一实施方式的进一步改进，将每一增强图像分别根据变换模型 的变换关系进行投影变换，使全部增强图像对应的坐标变换图像变换至同一坐 标系下后，所述方法还包括：
N1、基于坐标变换图像利用TPS模型构造变形函数，计算通过变形函数处 理后的坐标变换图像中每一元素与原始的坐标变换图像中对应的每一元素之间 的误差值；
N2、判断对应坐标变换图像中的最大误差值是否小于预设误差阈值，若是， 则将当前坐标变换图像标识为小误差图像，若否，则将当前坐标变换图像标识 为大误差图像；
N3、判断小误差图像的数量占全部图像的数量百分比是否小于预设匹配阈 值，
若是，对坐标变换图像利用TPS模型构造的变形函数进行变形后，指定其 为待拼接图像；
若否，指定坐标变换图像为待拼接图像。
作为本发明一实施方式的进一步改进，步骤N3后，所述方法还包括：对所 述待拼接图像中的坐标信息利用图像插值的方法将待拼接图像球形投影到最优 投影平面，形成新的待拼接图像。
作为本发明一实施方式的进一步改进，在同一坐标系下，按照待拼接图像 对应的原始图像的采集顺序对待拼接图像依次进行拼接，使其形成一幅融合图 像进行输出具体包括：
自原始图像的采集顺序依次获取前一幅待融合图像，第一幅待融合图像为 第一幅待拼接图像；
自原始图像的采集顺序计算前一幅待融合图像之后出现的待拼接图像与当 前待融合图像的重叠区域，保留非重叠区域的像素值，并对重叠区域的像素值 采用公式3更新后，形成新的前一幅待融合图像，直至将最后一幅待拼接图像 融合至前一幅待融合图像上后，形成最终的融合图像进行输出；
Figure BDA0002464900740000051
其中，Pixl代表每一次图像融合后新的待融合图像或最终的融合图像中重 叠区域的像素值大小；im1,im2分别代表前一幅待融合图像和其后一幅待拼接 图像的重叠区域的像素值大小；dist1代表前一幅待融合图像中重叠区域的像 素点距离当前待融合图像的边界距离；dist2代表前一幅待融合图像后的待拼 接图像中重叠区域的像素点距离当前待拼接图像的边界距离。
为了解决上述发明目的之一，本发明一实施方式提供一种电子设备，包括 存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所 述处理器执行所述程序时实现如上所述胶囊内窥镜图像拼接方法中的步骤。
为了解决上述发明目的之一，本发明一实施方式提供一种计算机可读存储 介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述 胶囊内窥镜图像拼接方法中的步骤。
与现有技术相比，本发明的有益效果是：本发明的胶囊内窥镜图像拼接方 法、电子设备及可读存储介质，将连续获得的多张图像拼接为一张进行输出， 扩大了单张胶囊内窥镜图像的观察视野。
附图说明
图1是本发明第一实施方式胶囊内窥镜图像拼接方法的流程示意图；
图2、图3、图7分别是图1中其中一个步骤较佳实现方式的流程示意图；
图4、图5分别是实现图3所示流程步骤一个具体示例的结构示意图；
图6是图3所示步骤中所调用的元素描述符的具体获取方式的流程示意图；
图8是本发明一实施方式中胶囊内窥镜图像拼接系统的模块示意图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施 方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、 方法、或功能上的变换均包含在本发明的保护范围内。
如图1所示，本发明第一实施方式中提供一种胶囊内窥镜图像拼接方法， 所述方法包括：
S1、获取原始图像，对原始图像依次进行图像矫正和圆形边缘掩膜处理后 形成预处理图像；对预处理图像进行图像增强形成增强图像；
S2、完成预处理图像中特征点的检测和匹配；
S3、根据获得的特征点的集合计算所有预处理图像对于同一个最优平面的 变换模型；
S4、将每一增强图像分别根据变换模型的变换关系进行投影变换，使全部 增强图像对应的坐标变换图像变换至同一坐标系下，形成多幅待拼接图像，并 在新的坐标系下获得每幅待拼接图像对应的新的坐标值；
S5、在同一坐标系下，按照待拼接图像对应的原始图像的采集顺序对待拼 接图像依次进行拼接，使其形成一幅融合图像进行输出。
为了便于描述，上述描述中以步骤S1-S5进行编号，但需要说明的是，在 上述步骤中，步骤S1中的对预处理图像进行图像增强形成增强图像并不限定在 步骤S1中完成，其在步骤S4之前完成，均可以保证本发明的技术效果。
对于步骤S1，由于胶囊内窥镜图像成像方式特殊，往往存在由镜头自身凸 透镜的特性造成的原始图像桶形畸变，为减小畸变对图像拼接带来的影响，在 步骤S1中需要对原始图像进行图像矫正；现有技术中，图像矫正的方法有多种， 在此不做一一描述，本发明具体示例中，例如可选用径向畸变矫正的方式对原 始图像进行图像矫正。
进一步的，由于畸变图像在距离图像中心较远的边缘失真严重，因此对矫 正后的原始图像进行圆形边缘掩膜处理，以形成预处理图像；如此，进一步去 除边缘对整体图像的影响。
本发明较佳实施方式中，结合图2所示，圆形边缘掩膜处理方法具体包括： S11、计算经过图像矫正的原始图像中每一像素点分别到图像中心坐标的距离； S12、判断每一像素点的所述距离是否位于图像中心为圆心，radius为半径的 圆内；S13、将处于圆内的像素点记为1，将其它像素点记为0，形成圆形掩膜 mask；S14、保留标记为1的像素点形成预处理图像；其中，radius∈ [0.4583N,0.707N]，N表示经过矫正的原始图像的短边边长。
通常情况下，原始图像为正方向，其边长可以以N进行表示，即原始图像 为N*N大小的图像；本发明一具体示例中，经过矫正后的原始图像的大小为480 *480，单位为像素；较佳的radius取值为260。
图像拼接过程对图像进行的平滑作用后，往往使拼接后的全景图像丢失很 多细节，为了解决这一问题，本发明较佳实施方式中，在图像拼接时，使用增 强图像进行图像融合，因此，在一些步骤中，需要对预处理图像进行图像增强 形成增强图像。
本发明可实现方式中，对预处理图像进行图像增强形成增强图像具体包括： 分别在预处理图像的RGB通道中，利用导向滤波提取亮度层light和细节层 detail；则增强图像Ic表示为：Ic＝αc×lightc+βc×detailc，其中，c代表通道， c＝[R，G，B]，αc、βc为常数；将R，G，B三通道进行合并得到增强图像。
本发明一具体示例中，αc的取值范围为[-6，6]；βc的取值范围为[-5，5]； 较佳的αc＝1.75，βc＝3。
对于步骤S2，结合图3所示，本发明较佳实施方式中，采用非刚性稠密匹 配方法完成预处理图像中特征点的检测和匹配；非刚性稠密匹配方法具体包括： 以相邻预处理图像的相关性为基础、自底向上构造多尺度关联图像金字塔；在 构建的多尺度关联金字塔最顶层图像提取初始特征点；自构建的多尺度关联金 字塔最顶层图像向下逐层检测，以获取与初始特征点对应的点；将检测到的多 尺度关联金字塔最底层对应的点作为所述特征点，并将所述特征点在前一张预 处理图像和后一张预处理图像中对应的位置点进行配对。
需要说明的是，在该具体示例中，可以自多尺度关联图像金字塔顶向下逐 层检测特征点；在顶层检测到特征点以后，撤回当前层的聚合过程，找到子关 联图中对应的特征点，逐层向下检索，即得到最终所需的特征点。
较佳的，检测特征点的方式为在当前层关联图中检索到相似度值较大的位 置点作为特征点，可根据实际需求设置取相似度值由大到小排名的前P％。P取 [10，50]。
本发明具体实施方式中，构建相关性关联图像金字塔的方法具体包括：S21、 将每相邻的两张预处理图像完全分割为大小相同、且不重叠的M1个正方形单 元，将前一张预处理图像的每个单元以R表示，将后一张预处理图像的每个单 元以R'表示，其中，R和R'分别包括4个大小相同的子单元；S22、通过公式1 计算相邻预处理图像中R和R'的相关性，以得到最底层的关联图像，并将最底 层关联图像作为第一个子关联图；S23、以每一层的子关联层为基础，通过公式2获得上一层的子关联图，
公式1：
Figure BDA0002464900740000091
公式2：
Figure BDA0002464900740000092
其中，sim(R,R')表示R和R'的相关性，Ri,j表示具有单元R的预处理图像中 每一子单元对应的元素描述符，R'i,j表示具有单元R'的预处理图像中每一子单 元对应的元素描述符，i为子单元的横坐标，j为子单元的纵坐标；CN,p(p')表示 前一张预处理图像中长度为N、中心点为p的小元素和后一张预处理图像中长度 为N'，中心点为p'的小元素的相关性，θi表示选择的子关联图中以p+SN,i为中 心的邻域,M1、M2、N、N'为常数，且N'的值与M2相关；m*n的邻域,m,n的取值 范围为[1,15],在不超过1/4图像大小的前提下，N＝(4,8……2n)。
本发明较佳实施方式中，所述M1取值为2，4，9其中之一，M2取值为4， 9，16其中之一，N'的取值由M2确定，当M2＝4，N'＝N/2,M2＝9,N'＝N/3,M2＝16， N'＝N/4,以此类推。
本发明一具体示例中，取M1＝M2＝4；相应的，公式1可表示为：
Figure BDA0002464900740000093
公式2可表示为：
Figure BDA0002464900740000094
如上，对于步骤S22，将前一张预处理图像中的任一单元与其相邻的后一 张预处理图像中的所有单元的相关性矩阵组成最底层的关联图像，并将每一最 底层关联图像分别作为第一个子关联图；所述最底层关联图像包括M1幅，M1 为任一张预处理图像中包含单元的总数量。对于步骤M3，将每一当前子关联层 中以p为中心的小元素，由其相邻的上一层子关联图中的以p+SN，i为中心的小 元素在θi邻域中的最大值代替，聚合形成相关性关联图像金字塔的每一子关联 层。
本发明具体示例中，结合图4所示，相邻的两张预处理图像A1和A2，A1 和A2的每个单元均包含4*4个像素点，每个单元被分割为4个2*2的子单元； 该示例中，第一张预处理图像的一个单元以R表示，其包含4个子单元Ri,j，依 次为R0,0，R0,1，R0,2，R0,3，第二张预处理图像的一个单元以R'表示，其包含4 个子单元R'i,j，依次为R'0,0，R'0,1，R'0,2，R'0,3，第一张预处理图像中的矩形框 选的一个单元中的各个子单元与第二张预处理图像中的各单元分别进行相关性 计算，获得一张最底层关联图像，然后，矩形框沿箭头方向滑动，每滑动1个 单元得到一幅底层关联图像，在第一张预处理图像遍历完成后，最终得到相关 性关联图像金字塔的底层(第一层)。
结合图5所示，a图像中的大的矩形框代表下一层子关联图的一个子单元， 右上角的小矩形框代表上一层子关联图对应位置的子单元，在图a的小矩形框 中选取邻域θi的最大值得到图b，然后对图b取平均得到图c，对子关联图的每 一层进行此操作，最后得到M1幅当前层关联图，即相对子关联图的上一层子关 联图。
本发明可实现方式中，所述元素描述符可以为SIFT(Scale-invariant featuretransform的缩写，尺度不变特征变换，一种常用的特征检测算子)描 述符、Harris(角点检测算子,一种常用的特征检测算子)描述符、LBP描述 符中的一种。
本发明较佳实施方式中，结合图6所示，所述元素描述符的获取方式包括： M1、以预设高斯核r1为半径对每一预处理图像进行高斯滤波形成图像 I_denoise；通过该步骤可以减少图像采集或JPEG压缩过程中引起的噪声；较 佳的，r1的范围为[0.2,1.5]。
M2、在图像I_denoise中，计算每个像素位置点的梯度和其在F个方向上 的投影，在每个像素点的3*3邻域内按F方向角度对每个像素点的位置进行统 计，将梯度大小作为每个方向的权重，进而获得每个像素点的F维向量信息， 将每个子单元的像素点对应的向量信息进行加权合成为F维向量信息，并将合 成的F维向量信息作为当前子单元的元素描述符；在该步骤中，每360/F°为1 个方向，将0-360°划分为F方向；较佳的，F取值范围为[2,36]；例如：在上 述图2所示示例中，每个Ri,j代表2*2的小区域，对每个2*2的所有像素点向量 信息加权合成为一个F维(8维)向量信息，作为该子单元区域的元素描述符。
具体的，梯度和方向的计算公式如下：
Gx(x,y)＝H(x+1,y)-H(x-1,y)，
Gy(x,y)＝H(x,y+1)-H(x,y-1)，
Figure BDA0002464900740000111
Figure BDA0002464900740000112
其中，H(x,y)代表图像中在坐标点(x,y)处的像素值；Gx(x,y)和Gy(x,y)分 别代表像素点(x,y)的水平，垂直梯度值；G(x,y)代表像素点(x,y)的梯度大小； θ(x,y)代表像素点(x,y)的梯度方向。
M3、对每一元素描述符以预设高斯核r2进行高斯滤波；该步骤目的用于增 强距离每一位置点近的邻域点对于当前像素描述符的作用；较佳的，r2取值为 N/2，N为当前层小元素的长度。
M4、使用Sigmoid函数对经过步骤M3处理后的每一元素描述符进行限制； 该步骤可以排除由变化光线影响产生的强梯度。所述Sigmoid函数为一种常见 的函数，其为S型函数，目的将变量映射到0,1之间。
M5、为每一元素描述符指定一常数μ，将每一元素描述符更新为F维灰度 值和一个常量值μ，并做归一化处理后供第一个子关联图计算使用。该步骤用 于减少无灰度值的像素点的影响。该步骤的归一化可以理解为把F维+1维(常 数μ)的元素描述符映射到0和1之间，以被上述步骤所引用，另外，μ取值 范围为[0.05，0.15]，在此不做进一步的赘述。
本发明较佳实施方式中，为了提升匹配精度，本发明在完成预处理图像中 特征点的检测和匹配后，所述方法还包括：剔除错误的匹配对，同一特征点在 相邻图像中对应的两个像素点称为一个匹配对。
在以下实施方式中，可采用下述两种方式其中之一剔除错误的匹配对，也 可以先后采用下述两种方式进行剔除错误的匹配对的操作。
本发明较佳实施方式中，结合并先后采用下述两种方式进行剔除错误的匹 配点的操作。
首先采用第一种实施方式进行第一次剔除错误的匹配对；在该实施方式中， 去除过度曝光和过暗区域的特征匹配对，即将处于过度曝光区域和过暗区域的 的像素点舍弃；具体的，第一次剔除错误的匹配对具体包括：根据特征点匹配 查找其对应的前一张预处理图像和后一张预处理图像，以获取特征点分别在前 一张预处理图像中对应的第一特征匹配点和在后一张预处理图像中对应的第二 特征匹配点；判断同一特征点对应的第一特征匹配点和第二特征匹配点的灰度 值是否同时处于预设灰度值范围内，若是，判定当前特征点对应的第一特征匹 配点和第二特征匹配点为有效；若否，判定当前特征点对应的第一特征匹配点 和第二特征匹配点为无效，并进行剔除。
本发明具体实施方式中，G1取值范围为[180,255]，G2取值范围为[0,60]； 例如：G1＝200，G2＝50。
在第一次剔除错误的匹配对后，进行第二次剔除错误的匹配对，具体的， 第二次剔除错误的匹配对操作具体包括：采用RANSAC拟合模型确定经过第一次 剔除错误的匹配对后的预处理图像中的所有的内点，同时剔除不符合模型的外 点。
RANSAC为Random Sample Consensus的缩写，其随机采样一致性，是一种 常用的数学模型计算方法。
对于步骤S3，对于胶囊内窥镜胃部图像，形状不规则，运动轨迹不确定， 在拼多张图像时，易出现无限拉伸情况，因此，采用球形投影 (Equirectangular projection，ERP)更适合胶囊内窥镜图像的多视野拼接； 相应的，步骤S3中，计算所有预处理图像对于同一个最优平面的变换模型；具 体的，对得到的特征点的集合使用光束平差法计算最优投影平面，得到投影平 面最优化时的变换模型。
光束平差法将特征点坐标映射到世界点坐标，是一种常用的计算变换模型 的方法。
较佳的，光束平差法的计算使用LM(Levenberg-Marquardt的缩写)算法， 所述LM算法使用简化的稀疏变量来降低计算的复杂度，使投影误差最小化；在 此不做进一步的赘述。
对于步骤S4,将每一增强图像分别根据变换模型的变换关系进行投影变 换后，所述方法还包括：将经过投影变换的增强图像利用TPS模型构造变形函 数，计算变形后的图像与变形之前的图像之间的误差；在消除所述误差后，在 新的坐标系下获得每幅增强图像对应的新的坐标值。
具体的，结合图7所示，所述步骤S4具体包括：N1、基于坐标变换图像利 用TPS模型构造变形函数，计算通过变形函数处理后的坐标变换图像中每一元 素与原始的坐标变换图像中对应的每一元素之间的误差值；N2、判断对应坐标 变换图像中的最大误差值是否小于预设误差阈值，若是，则将当前坐标变换图 像标识为小误差图像，若否，则将当前坐标变换图像标识为大误差图像；N3、 判断小误差图像的数量占全部图像的数量百分比是否小于预设匹配阈值，若是， 对坐标变换图像利用TPS模型构造的变形函数进行变形后，指定其为待拼接图 像；若否，指定坐标变换图像为待拼接图像。
现有技术中，TPS为Thin Plate Spline的缩写，其为一种薄板样条函数， 找到使图像变形的最优弯曲曲面，常用来对图像进行非刚性变形；TPS模型的 变形函数为：
Figure BDA0002464900740000141
其中，ωi，α1，α2，α3表示变形函数的参数，可根据TPS模型求解；
Figure BDA0002464900740000142
代 表径向基函数，其是一个常用的函数：取值仅仅依赖于离原点距离的实值函数。 需要说明的是，TPS模型的变形函数为现有技术，相应的，通过TPS模型的变 形函数对坐标变换图像变形得到新的坐标变换图像也可以通过现有技术推导得 出，在此不做详细赘述。
在TPS模型的变形函数中，根据据计算出的g(x，y)，可以得到新的坐标信 息，例如：对于图像Iq中的任意点(x0,y0)与它在变形图像中的对应点(x，y) 具有如下关系：
Figure BDA0002464900740000143
其中，g(x,y)＝(g(x,y),h(x,y))T,g(x,y),h(x,y)分 别代表图像在水平方向和竖直的变形,T为转置符号。
本发明的步骤N2，通过变形函数，可得到坐标变换图像中每一像素点对应 其变换后图像的像素点的误差长度，进一步的，通过误差的大小可以判断若对 坐标变换图像进行变形操作，是否会造成图像过度变形，从而选择是否对坐标 变换图像进行局部调整。
较佳的，所述预设误差阈值的范围为[80,200]；例如：设定预设误差阈值 为80，即对应于每一幅坐标变换图像，采用TPS模型构造的变形函数获取其中 具有最大变形的像素点与其变换后的像素点之间的误差长度，若该误差长度小 于预设误差阈值，则将该图像标识为小误差图像，否，则标识为大误差图像。
本发明的步骤N3，预设匹配阈值的范围为[60％，90％]，例如，预设匹配阈 值设定为80％，坐标变换图像总数量为5幅，经过P2判定后，其中4幅为小误 差图像，1幅为大误差图像，则小误差图像占全部图像的数量百分比 ＝4/5*100％＝80％，该数值等于预设匹配阈值，因此无需对坐标变换图像进行调整； 相反的，若4幅为大误差图像，1幅为小误差图像，则小误差图像占全部图像 的数量百分比＝1/5*100％＝20％，该数值小于预设匹配阈值，因此需对坐标变换图 像利用TPS模型构造的变形函数进行变形，并在以下步骤中，以变形后的图像 为基础，进行图像处理。
本发明较佳实施方式中，步骤N3后，所述方法还包括：对所述待拼接图像 中的坐标信息利用图像插值的方法将待拼接图像球形投影到最优投影平面，形 成新的待拼接图像。
所述图像球形投影是指：对步骤N3后的待拼接图像中每一个像素点坐标做 球形投影变换，然后利用变换模型将图像映射到同一坐标系。
对于步骤S5，目的是使用一定的融合策略对图像进行融合，旨在使全景图 像自然，无拼接缝。
本发明一实施方式中，为消除拼接痕迹，使用加权平滑的融合方法实现图 像融合；本发明具体实施方式中，采用多视野拼接的图像融合；多视野拼接的 图像融合指前N-1张图与第N张图进行融合，N为待拼接图像序列数。
可以理解的是，计算两幅待融合图像的重叠区域时，由于此时的待融合图 像是在同一坐标系下的投影变换后的图像，因此只需对两幅待融合图像中有效 像素点进行与操作，即可得到二者的重叠区域。
具体的，所述步骤S5具体包括：自原始图像的采集顺序依次获取前一幅待 融合图像，第一幅待融合图像为第一幅待拼接图像；
自原始图像的采集顺序计算前一幅待融合图像之后出现的待拼接图像与当 前待融合图像的重叠区域，保留非重叠区域的像素值，并对重叠区域的像素值 采用公式3更新后，形成新的前一幅待融合图像，直至将最后一幅待拼接图像 融合至前一幅待融合图像上后，形成最终的融合图像进行输出；
Figure BDA0002464900740000151
其中，Pix1代表每一次图像融合后 新的待融合图像或最终的融合图像中重叠区域的像素值大小；im1,im2分别代 表前一幅待融合图像和其后一幅待拼接图像的重叠区域的像素值大小；dist1 代表前一幅待融合图像中重叠区域的像素点距离当前待融合图像的边界距离； dist2代表前一幅待融合图像后的待拼接图像中重叠区域的像素点距离当前待 拼接图像的边界距离。
进一步的，本发明一实施方式提供一种电子设备，包括存储器和处理器， 所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述 程序时实现如上所述胶囊内窥镜图像拼接方法中的步骤。
进一步的，本发明一实施方式提供一种计算机可读存储介质，其上存储有 计算机程序，所述计算机程序被处理器执行时实现如上所述胶囊内窥镜图像拼 接方法中的步骤。
结合图8所示，本发明一实施方式提供一种胶囊内窥镜图像拼接系统，所 述系统包括：图像预处理模块100，图像匹配模块200、计算变换模型模块300、 图像变换模块400以及融合模块500。
本发明具体实施方式中，图像预处理模块100用于获取原始图像，对原始 图像依次进行图像矫正和圆形边缘掩膜处理后形成预处理图像；对预处理图像 进行图像增强形成增强图像；图像匹配模块200用于完成预处理图像中特征点 的检测和匹配；计算变换模型模块300用于根据获得的特征点的集合计算所有 预处理图像对于同一个最优平面的变换模型；图像变换模块400用于将每一增 强图像分别根据变换模型的变换关系进行投影变换，使全部增强图像对应的坐 标变换图像变换至同一坐标系下，形成多幅待拼接图像，并在新的坐标系下获 得每幅待拼接图像对应的新的坐标值；融合模块500用于在同一坐标系下，按 照待拼接图像对应的原始图像的采集顺序对待拼接图像依次进行拼接，使其形 成一幅融合图像进行输出。
较佳的，所述图像预处理模块100用于实现上述胶囊内窥镜图像拼接方法 中的步骤S2；图像匹配模块200实现步骤S2；计算变换模型模块300实现步骤 S3；图像变换模块400实现步骤S4；融合模块500实现步骤S5,在此不做进一步 的赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述 的系统的具体工作过程，可以参考前述方法实施方式中的对应过程，在此不再 赘述。
综上所述，本发明的胶囊内窥镜图像拼接方法、电子设备及可读存储介质， 将连续获得的多张图像拼接为一张进行输出，扩大了单张胶囊内窥镜图像的观 察视野。
为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然， 在实施本发明时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
以上所描述的装置实施方式仅仅是示意性的，其中所述作为分离部件说明 的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者 也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块 上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施方式方案 的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实 施。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅 包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域 技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当 组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具 体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作 的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (13)

1.一种胶囊内窥镜图像拼接方法，其特征在于，所述方法包括：
获取原始图像，对原始图像依次进行图像矫正和圆形边缘掩膜处理后形成预处理图像；对预处理图像进行图像增强形成增强图像；
完成预处理图像中特征点的检测和匹配；
根据获得的特征点的集合计算所有预处理图像对于同一个最优平面的变换模型；
将每一增强图像分别根据变换模型的变换关系进行投影变换，使全部增强图像对应的坐标变换图像变换至同一坐标系下，形成多幅待拼接图像，并在新的坐标系下获得每幅待拼接图像对应的新的坐标值；
在同一坐标系下，按照待拼接图像对应的原始图像的采集顺序对待拼接图像依次进行拼接，使其形成一幅融合图像进行输出。
2.根据权利要求1所述的胶囊内窥镜图像拼接方法，其特征在于，圆形边缘掩膜处理方法包括：
计算经过图像矫正的原始图像中每一像素点分别到图像中心坐标的距离；
判断每一像素点的所述距离是否位于图像中心为圆心，radius为半径的圆内；
将处于圆内的像素点记为1，将其它像素点记为0，形成圆形掩膜mask；
保留标记为1的像素点形成预处理图像；
其中，radius∈[0.4583N,0.707N]，N表示经过矫正的原始图像的短边边长。
3.根据权利要求1所述的胶囊内窥镜图像拼接方法，其特征在于，对预处理图像进行图像增强形成增强图像具体包括：
分别在预处理图像的RGB通道中，利用导向滤波提取亮度层light和细节层detail；
则增强图像Ic表示为：Ic＝αc×lightc+βc×detailc，其中，c代表通道，c＝[R，G，B]，αc、βc为常数；
将R，G，B三通道进行合并得到增强图像。
4.根据权利要求1所述的胶囊内窥镜图像拼接方法，其特征在于，采用非刚性稠密匹配方法完成预处理图像中特征点的检测和匹配；
所述非刚性稠密匹配方法具体包括：
以相邻预处理图像的相关性为基础、自底向上构造多尺度关联图像金字塔；
在构建的多尺度关联金字塔最顶层图像提取初始特征点；
自构建的多尺度关联金字塔最顶层图像向下逐层检测，以获取与初始特征点对应的点；
将检测到的多尺度关联金字塔最底层对应的点作为所述特征点，并将所述特征点在前一张预处理图像和后一张预处理图像中对应的位置点进行配对。
5.根据权利要求4所述的胶囊内窥镜图像拼接方法，其特征在于，构建相关性关联图像金字塔的方法具体包括：
将每相邻的两张预处理图像完全分割为大小相同、且不重叠的M1个正方形单元，将前一张预处理图像的每个单元以R表示，将后一张预处理图像的每个单元以R'表示，其中，R和R'分别包括4个大小相同的子单元；
通过公式1计算相邻预处理图像中R和R'的相关性，以得到最底层的关联图像，并将最底层关联图像作为第一个子关联图；
以每一层的子关联层为基础，通过公式2获得上一层的子关联图；
公式1：
Figure FDA0002464900730000021
公式2：
Figure FDA0002464900730000022
其中，sim(R,R')表示R和R'的相关性，Ri,j表示具有单元R的预处理图像中每一子单元对应的元素描述符，R'i,j表示具有单元R'的预处理图像中每一子单元对应的元素描述符，i为子单元的横坐标，j为子单元的纵坐标；CN,p(p')表示前一张预处理图像中长度为N、中心点为p的小元素和后一张预处理图像中长度为N'，中心点为p'的小元素的相关性，θi表示选择的子关联图中以p+SN,i为中心的邻域,M1、M2、N、N'为常数，且N'的值与M2相关。
6.根据权利要求5所述的胶囊内窥镜图像拼接方法，其特征在于，所述元素描述符的获取方式包括：
M1、以预设高斯核r1为半径对每一预处理图像进行高斯滤波形成图像I_denoise；
M2、在图像I_denoise中，计算每个像素位置点的梯度和其在F个方向上的投影，在每个像素点的3*3邻域内按F方向角度对每个像素点的位置进行统计，将梯度大小作为每个方向的权重，进而获得每个像素点的F维向量信息，将每个子单元的像素点对应的向量信息进行加权合成为F维向量信息，并将合成的F维向量信息作为当前子单元的元素描述符；
M3、对每一元素描述符以预设高斯核r2进行高斯滤波；
M4、使用Sigmoid函数对经过步骤M3处理后的每一元素描述符进行限制；
M5、为每一元素描述符指定一常数μ，将每一元素描述符更新为F维灰度值和一个常量值μ，并做归一化处理后供第一个子关联图计算使用。
7.根据权利要求1、4至6任一项所述的胶囊内窥镜图像拼接方法，其特征在于，完成预处理图像中特征点的检测和匹配后，所述方法还包括：第一次剔除错误的匹配对；
所述第一次剔除错误的匹配对具体包括：
根据特征点匹配查找其对应的前一张预处理图像和后一张预处理图像，以获取特征点分别在前一张预处理图像中对应的第一特征匹配点和在后一张预处理图像中对应的第二特征匹配点；
判断同一特征点对应的第一特征匹配点和第二特征匹配点的灰度值是否同时处于预设灰度值范围内，若是，判定当前特征点对应的第一特征匹配点和第二特征匹配点为有效；若否，判定当前特征点对应的第一特征匹配点和第二特征匹配点为无效，并进行剔除。
8.根据权利要求7所述的胶囊内窥镜图像拼接方法，其特征在于，第一次剔除错误的匹配对后，所述方法还包括：采用RANSAC拟合模型确定经过第一次剔除错误的匹配对后的预处理图像中的所有的内点，同时剔除不符合模型的外点。
9.根据权利要求1所述的胶囊内窥镜图像拼接方法，其特征在于，将每一增强图像分别根据变换模型的变换关系进行投影变换，使全部增强图像对应的坐标变换图像变换至同一坐标系下后，所述方法还包括：
N1、基于坐标变换图像利用TPS模型构造变形函数，计算通过变形函数处理后的坐标变换图像中每一元素与原始的坐标变换图像中对应的每一元素之间的误差值；
N2、判断对应坐标变换图像中的最大误差值是否小于预设误差阈值，若是，则将当前坐标变换图像标识为小误差图像，若否，则将当前坐标变换图像标识为大误差图像；
N3、判断小误差图像的数量占全部图像的数量百分比是否小于预设匹配阈值，
若是，对坐标变换图像利用TPS模型构造的变形函数进行变形后，指定其为待拼接图像；
若否，指定坐标变换图像为待拼接图像。
10.根据权利要求9所述的胶囊内窥镜图像拼接方法，其特征在于，步骤N3后，所述方法还包括：对所述待拼接图像中的坐标信息利用图像插值的方法将待拼接图像球形投影到最优投影平面，形成新的待拼接图像。
11.根据权利要求1所述的胶囊内窥镜图像拼接方法，其特征在于，在同一坐标系下，按照待拼接图像对应的原始图像的采集顺序对待拼接图像依次进行拼接，使其形成一幅融合图像进行输出具体包括：
自原始图像的采集顺序依次获取前一幅待融合图像，第一幅待融合图像为第一幅待拼接图像；
自原始图像的采集顺序计算前一幅待融合图像之后出现的待拼接图像与当前待融合图像的重叠区域，保留非重叠区域的像素值，并对重叠区域的像素值采用公式3更新后，形成新的前一幅待融合图像，直至将最后一幅待拼接图像融合至前一幅待融合图像上后，形成最终的融合图像进行输出；
Figure FDA0002464900730000051
其中，Pixl代表每一次图像融合后新的待融合图像或最终的融合图像中重叠区域的像素值大小；im1,im2分别代表前一幅待融合图像和其后一幅待拼接图像的重叠区域的像素值大小；dist1代表前一幅待融合图像中重叠区域的像素点距离当前待融合图像的边界距离；dist2代表前一幅待融合图像后的待拼接图像中重叠区域的像素点距离当前待拼接图像的边界距离。
12.一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-11任意一项所述胶囊内窥镜图像拼接方法中的步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-11任意一项所述胶囊内窥镜图像拼接方法中的步骤。
CN202010330852.2A 2020-04-24 2020-04-24 胶囊内窥镜图像拼接方法、电子设备及可读存储介质 Active CN111524071B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202010330852.2A CN111524071B (zh) 2020-04-24 2020-04-24 胶囊内窥镜图像拼接方法、电子设备及可读存储介质
PCT/CN2021/089378 WO2021213508A1 (zh) 2020-04-24 2021-04-23 胶囊内窥镜图像拼接方法、电子设备及可读存储介质
US17/921,102 US11847805B2 (en) 2020-04-24 2021-04-23 Method for stitching images of capsule endoscope, electronic device and readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010330852.2A CN111524071B (zh) 2020-04-24 2020-04-24 胶囊内窥镜图像拼接方法、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN111524071A true CN111524071A (zh) 2020-08-11
CN111524071B CN111524071B (zh) 2022-09-16

Family

ID=71904841

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010330852.2A Active CN111524071B (zh) 2020-04-24 2020-04-24 胶囊内窥镜图像拼接方法、电子设备及可读存储介质

Country Status (3)

Country Link
US (1) US11847805B2 (zh)
CN (1) CN111524071B (zh)
WO (1) WO2021213508A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112261399A (zh) * 2020-12-18 2021-01-22 安翰科技(武汉)股份有限公司 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质
CN112365417A (zh) * 2020-11-10 2021-02-12 华中科技大学鄂州工业技术研究院 共聚焦内窥镜图像修正拼接方法、装置及可读存储介质
CN112991415A (zh) * 2021-04-13 2021-06-18 Oppo广东移动通信有限公司 深度信息确定方法、装置、电子设备和存储介质
WO2021213508A1 (zh) * 2020-04-24 2021-10-28 安翰科技(武汉)股份有限公司 胶囊内窥镜图像拼接方法、电子设备及可读存储介质
CN113989125A (zh) * 2021-12-27 2022-01-28 武汉楚精灵医疗科技有限公司 内镜图像的拼接方法、装置、计算机设备及存储介质
WO2022033310A1 (zh) * 2020-08-11 2022-02-17 北京芯海视界三维科技有限公司 图像处理装置和虚拟现实设备
CN114066781A (zh) * 2022-01-18 2022-02-18 浙江鸿禾医疗科技有限责任公司 胶囊内窥镜肠道图像的识别定位方法、存储介质和设备
CN114143517A (zh) * 2021-10-26 2022-03-04 深圳华侨城卡乐技术有限公司 一种基于重叠区域的融合蒙板计算方法、系统及存储介质
CN114581455A (zh) * 2022-03-22 2022-06-03 中国工程物理研究院流体物理研究所 金属球腔内表面大视场高分辨率形貌图像获取系统及方法
CN114972144A (zh) * 2022-05-23 2022-08-30 江苏势通生物科技有限公司 胶囊内镜肠道图像的拼接方法、装置、存储介质和设备
CN116188330A (zh) * 2023-04-28 2023-05-30 北京友通上昊科技有限公司 拼接图像灰度处理方法、图像拼接方法、装置和介质
CN116758086A (zh) * 2023-08-21 2023-09-15 山东聚宁机械有限公司 基于图像数据的推土机部件质量检测方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871332B2 (en) * 2018-11-01 2024-01-09 Telefonaktiebolaget Lm Ericsson (Publ) Methods for tracking area management for moving RAN
CN114387153B (zh) * 2021-12-13 2023-07-04 复旦大学 一种用于插管机器人的视野拓展方法
CN114693529B (zh) * 2022-04-20 2023-03-14 北京理工大学重庆创新中心 一种图像拼接方法、装置、设备及存储介质
CN115356363B (zh) * 2022-08-01 2023-06-20 河南理工大学 一种基于宽离子束抛光-扫描电镜的孔隙结构表征方法
CN115393196B (zh) * 2022-10-25 2023-03-24 之江实验室 一种无人机面阵摆扫的红外多序列影像无缝拼接方法
CN116051681B (zh) * 2023-03-02 2023-06-09 深圳市光速时代科技有限公司 一种基于智能手表生成图像数据的处理方法及系统
CN116343100B (zh) * 2023-05-27 2023-08-11 广东中科凯泽信息科技有限公司 一种基于自监督学习的目标识别方法及系统
CN116612306B (zh) * 2023-07-17 2023-09-26 山东顺发重工有限公司 基于计算机视觉的法兰盘智能对位方法及系统
CN116630425B (zh) * 2023-07-21 2023-09-22 长春市天之城科技有限公司 一种基于x光的食品智能检测系统
CN116823677B (zh) * 2023-08-28 2023-11-10 创新奇智(南京)科技有限公司 一种图像增强的方法、装置、存储介质及电子设备
CN116843681B (zh) * 2023-08-30 2023-11-14 临沂鑫诺彩印包装有限公司 一种纸箱表面着色质量智能检测方法
CN116993643B (zh) * 2023-09-27 2023-12-12 山东建筑大学 基于人工智能的无人机摄影测量图像校正方法
CN117974440B (zh) * 2024-04-01 2024-06-07 四川省肿瘤医院 内窥镜图像的拼接方法和拼接系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063714A (zh) * 2010-12-23 2011-05-18 南方医科大学 基于胶囊内窥镜图片生成人体腔道全视影像的方法
US20140343358A1 (en) * 2013-05-17 2014-11-20 Avantis Medical Systems, Inc. Secondary imaging endoscopic device
CN106618454A (zh) * 2016-11-21 2017-05-10 电子科技大学 一种胶囊式内窥镜系统
WO2018099556A1 (en) * 2016-11-30 2018-06-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Image processing device and method for producing in real-time a digital composite image from a sequence of digital images of an interior of a hollow structure
US20190279338A1 (en) * 2016-11-30 2019-09-12 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Image processing device and method for producing in real-time a digital composite image from a sequence of digital images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100165087A1 (en) * 2008-12-31 2010-07-01 Corso Jason J System and method for mosaicing endoscope images captured from within a cavity
US20150045619A1 (en) * 2013-08-09 2015-02-12 Chang Bing Show Chwan Memorial Hospital System and method for mosaicing endoscope images using wide angle view endoscope
BR112017005251A2 (pt) * 2014-09-17 2017-12-12 Taris Biomedical Llc métodos e sistemas para mapeamento de diagnóstico de bexiga
CN111524071B (zh) * 2020-04-24 2022-09-16 安翰科技(武汉)股份有限公司 胶囊内窥镜图像拼接方法、电子设备及可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102063714A (zh) * 2010-12-23 2011-05-18 南方医科大学 基于胶囊内窥镜图片生成人体腔道全视影像的方法
US20140343358A1 (en) * 2013-05-17 2014-11-20 Avantis Medical Systems, Inc. Secondary imaging endoscopic device
CN106618454A (zh) * 2016-11-21 2017-05-10 电子科技大学 一种胶囊式内窥镜系统
WO2018099556A1 (en) * 2016-11-30 2018-06-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Image processing device and method for producing in real-time a digital composite image from a sequence of digital images of an interior of a hollow structure
US20190279338A1 (en) * 2016-11-30 2019-09-12 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Image processing device and method for producing in real-time a digital composite image from a sequence of digital images

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
梅宇航: "基于人眼视觉系统的胶囊内镜图像掩膜处理", 《中国优秀硕士学位论文全文数据库（电子期刊）医药卫生科技辑》 *
胡蓉蓉: "微创手术内窥镜图像拼接技术研究", 《中国优秀硕士学位论文全文数据库（电子期刊）医药卫生科技辑》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021213508A1 (zh) * 2020-04-24 2021-10-28 安翰科技(武汉)股份有限公司 胶囊内窥镜图像拼接方法、电子设备及可读存储介质
WO2022033310A1 (zh) * 2020-08-11 2022-02-17 北京芯海视界三维科技有限公司 图像处理装置和虚拟现实设备
CN112365417A (zh) * 2020-11-10 2021-02-12 华中科技大学鄂州工业技术研究院 共聚焦内窥镜图像修正拼接方法、装置及可读存储介质
CN112261399A (zh) * 2020-12-18 2021-01-22 安翰科技(武汉)股份有限公司 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质
CN112991415A (zh) * 2021-04-13 2021-06-18 Oppo广东移动通信有限公司 深度信息确定方法、装置、电子设备和存储介质
CN112991415B (zh) * 2021-04-13 2024-05-03 Oppo广东移动通信有限公司 深度信息确定方法、装置、电子设备和存储介质
CN114143517A (zh) * 2021-10-26 2022-03-04 深圳华侨城卡乐技术有限公司 一种基于重叠区域的融合蒙板计算方法、系统及存储介质
CN113989125A (zh) * 2021-12-27 2022-01-28 武汉楚精灵医疗科技有限公司 内镜图像的拼接方法、装置、计算机设备及存储介质
CN114066781B (zh) * 2022-01-18 2022-05-10 浙江鸿禾医疗科技有限责任公司 胶囊内窥镜肠道图像的识别定位方法、存储介质和设备
WO2023138544A1 (zh) * 2022-01-18 2023-07-27 江苏势通生物科技有限公司 胶囊内窥镜肠道图像的识别定位方法、存储介质和设备
CN114066781A (zh) * 2022-01-18 2022-02-18 浙江鸿禾医疗科技有限责任公司 胶囊内窥镜肠道图像的识别定位方法、存储介质和设备
CN114581455A (zh) * 2022-03-22 2022-06-03 中国工程物理研究院流体物理研究所 金属球腔内表面大视场高分辨率形貌图像获取系统及方法
CN114972144A (zh) * 2022-05-23 2022-08-30 江苏势通生物科技有限公司 胶囊内镜肠道图像的拼接方法、装置、存储介质和设备
WO2023226941A1 (zh) * 2022-05-23 2023-11-30 江苏势通生物科技有限公司 胶囊内镜肠道图像的拼接方法、拼接装置、存储介质
CN114972144B (zh) * 2022-05-23 2024-02-02 江苏势通生物科技有限公司 胶囊内镜肠道图像的拼接方法、装置、存储介质和设备
CN116188330A (zh) * 2023-04-28 2023-05-30 北京友通上昊科技有限公司 拼接图像灰度处理方法、图像拼接方法、装置和介质
CN116188330B (zh) * 2023-04-28 2023-07-04 北京友通上昊科技有限公司 拼接图像灰度处理方法、图像拼接方法、装置和介质
CN116758086A (zh) * 2023-08-21 2023-09-15 山东聚宁机械有限公司 基于图像数据的推土机部件质量检测方法
CN116758086B (zh) * 2023-08-21 2023-10-20 山东聚宁机械有限公司 基于图像数据的推土机部件质量检测方法

Also Published As

Publication number Publication date
WO2021213508A1 (zh) 2021-10-28
US20230123664A1 (en) 2023-04-20
US11847805B2 (en) 2023-12-19
CN111524071B (zh) 2022-09-16

Similar Documents

Publication Publication Date Title
CN111524071B (zh) 胶囊内窥镜图像拼接方法、电子设备及可读存储介质
US9530073B2 (en) Efficient descriptor extraction over multiple levels of an image scale space
Wang et al. 360sd-net: 360 stereo depth estimation with learnable cost volume
US20220157047A1 (en) Feature Point Detection
CN110111248B (zh) 一种基于特征点的图像拼接方法、虚拟现实系统、照相机
CN110992263B (zh) 一种图像拼接方法及系统
WO2017030747A1 (en) Reconstruction with object detection for images captured from a capsule camera
CN113989125B (zh) 内镜图像的拼接方法、装置、计算机设备及存储介质
CN111553845B (zh) 一种基于优化的三维重建的快速图像拼接方法
CN111369605A (zh) 一种基于边缘特征的红外与可见光图像的配准方法和系统
Lourenço et al. Feature detection and matching in images with radial distortion
CN115526781A (zh) 一种基于图像重叠区域的拼接方法、系统、设备及介质
CN113763274A (zh) 一种联合局部相位锐度定向描述的多源图像匹配方法
CN111915645B (zh) 影像匹配方法、装置、计算机设备及计算机可读存储介质
CN110675349B (zh) 内窥镜成像方法及装置
CN111414823B (zh) 人体特征点的检测方法、装置、电子设备以及存储介质
CN112633113A (zh) 跨摄像头的人脸活体检测方法及系统
CN109598675B (zh) 多重复纹理图像的拼接方法
CN115035281A (zh) 一种快速的红外全景图像拼接方法
CN114463170A (zh) 一种针对agv应用的大场景图像拼接方法
CN111027616A (zh) 一种基于端到端学习的线特征描述系统
CN116152073B (zh) 改进的基于Loftr算法的多尺度眼底图像拼接方法
CN113486930B (zh) 基于改进RetinaNet的小肠淋巴瘤分割模型建立、分割方法及装置
Hurtik et al. KLN: A Deep Neural Network Architecture for Keypoint Localization
CN118037714A (zh) 基于gpu医疗内窥镜图像的处理方法、系统和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant