CN113989125B - 内镜图像的拼接方法、装置、计算机设备及存储介质 - Google Patents

内镜图像的拼接方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN113989125B
CN113989125B CN202111610441.XA CN202111610441A CN113989125B CN 113989125 B CN113989125 B CN 113989125B CN 202111610441 A CN202111610441 A CN 202111610441A CN 113989125 B CN113989125 B CN 113989125B
Authority
CN
China
Prior art keywords
endoscope
images
image
endoscopic
splicing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111610441.XA
Other languages
English (en)
Other versions
CN113989125A (zh
Inventor
邢达奇
胡珊
刘奇为
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Endoangel Medical Technology Co Ltd
Original Assignee
Wuhan Endoangel Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Endoangel Medical Technology Co Ltd filed Critical Wuhan Endoangel Medical Technology Co Ltd
Priority to CN202111610441.XA priority Critical patent/CN113989125B/zh
Publication of CN113989125A publication Critical patent/CN113989125A/zh
Application granted granted Critical
Publication of CN113989125B publication Critical patent/CN113989125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Epidemiology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种内镜图像的拼接方法、装置、计算机设备及存储介质。该方法包括：对多张内镜图像进行过滤并获取过滤后的每张内镜图像之间的相似度；根据所述相似度对所述过滤后的多张内镜图像进行筛选，得到筛选后的多张内镜图像；对筛选后的每张内镜图像进行矫正，得到矫正后的多张内镜图像；对矫正后的每张内镜图像中有效区域进行形状转换，得到形状转换后的多张内镜图像；对形状转换后的多张内镜图像进行拼接，得到拼接后的内镜图像。本发明基于人工智能技术，通过该方法将整个内镜场景完整地、清晰地显示在拼接后的内镜图像中，便于医生快速的浏览整个内镜场景并精确的定位患者的病灶位置，进而极大的提高了查阅内镜视频的效率。

Description

内镜图像的拼接方法、装置、计算机设备及存储介质
技术领域
本发明涉及医疗辅助技术领域，尤其涉及一种内镜图像的拼接方法、装置、计算机设备及存储介质。
背景技术
内镜又称内窥镜，是一种经口腔进入胃内或经其他天然孔道进入体内，并观察人体内部状况的医疗仪器。内窥镜以对人体造成最少伤害以达到观察人体内部器官的目的，是现代医学一种非常重要的人体器官观察和治疗手段。
目前，在通过内镜对人体进行内镜检查时，通常将检查的视频进行保存以供医生后续诊断或者做相关医学研究。然而，在浏览保存的视频的过程中，往往需要耗费大量的时间，而且也无法通过视频快速的对患者的病灶进行精准的定位，极大的降低了查阅内镜视频的效率。
发明内容
本发明实施例提供了一种内镜图像的拼接方法、装置、计算机设备及存储介质，解决了现有技术中查阅内镜视频的效率较低的技术问题。
第一方面，本发明实施例提供了一种内镜图像的拼接方法，其包括：
对多张内镜图像进行过滤，得到过滤后的多张内镜图像；
获取过滤后的每张内镜图像之间的相似度；
根据所述相似度对所述过滤后的多张内镜图像进行筛选，得到筛选后的多张内镜图像；
对筛选后的每张内镜图像进行矫正，得到矫正后的多张内镜图像；
对矫正后的每张内镜图像中有效区域进行形状转换，得到形状转换后的多张内镜图像；
对形状转换后的多张内镜图像进行拼接，得到拼接后的内镜图像。
第二方面，本发明实施例提供了一种内镜图像的拼接装置，其包括：
过滤单元，用于根据预先训练的卷积神经网络对多张内镜图像进行过滤，得到过滤后的多张内镜图像；
第一获取单元，用于获取过滤后的每张内镜图像之间的相似度；
筛选单元，用于根据所述相似度对所述过滤后的多张内镜图像进行筛选，得到筛选后的多张内镜图像；
矫正单元，用于对筛选后的每张内镜图像进行矫正，得到矫正后的多张内镜图像；
第一变换单元，用于对矫正后的每张内镜图像中有效区域进行形状转换，得到形状转换后的多张内镜图像；
第一拼接单元，用于对形状转换后的多张内镜图像进行拼接，得到拼接后的内镜图像。
第三方面，本发明实施例又提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上述第一方面所述的内镜图像的拼接方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的内镜图像的拼接方法。
本发明实施例提供了一种内镜图像的拼接方法、装置、设备及介质，该方法包括：对多张内镜图像进行过滤并获取过滤后的每张内镜图像之间的相似度；根据所述相似度对所述过滤后的多张内镜图像进行筛选并对筛选后的每张内镜图像进行矫正；对矫正后的每张内镜图像中有效区域进行形状转换并对形状转换后的多张内镜图像进行拼接，得到拼接后的内镜图像。本发明通过对内镜检查的多张内镜图像进行过滤以筛选出清晰有效的内镜图像，然后根据每张内镜图像的相似度再次筛选出可以进行拼接的内镜图像，并对再次筛选出的内镜图像进行矫正以及对内镜图像中有效区域进行形状转换，以便于将整个内镜场景完整地、清晰地显示在拼接后的内镜图像中，便于医生快速的浏览整个内镜场景并精确的定位患者的病灶位置，极大的提高了查阅内镜视频的效率。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的内镜图像的拼接方法的流程示意图；
图2为本发明实施例提供的内镜图像的拼接方法的子流程示意图；
图3为本发明实施例提供的内镜图像的拼接方法的另一流程示意图；
图4为本发明实施例提供的内镜图像的拼接方法的另一流程示意图；
图5为本发明实施例提供的内镜图像的拼接方法的另一流程示意图；
图6为本发明实施例提供的内镜图像的拼接方法的另一流程示意图；
图7为本发明实施例提供的内镜图像的拼接方法的另一流程示意图；
图8为本发明实施例提供的内镜图像的拼接装置的示意性框图；
图9为本发明实施例提供的计算机设备的示意性框图；
图10为本发明实施例提供的内镜图像裁剪的效果图；
图11为本发明实施例提供的多张内镜图像进行过滤的所使用的卷积神经网络的结构图；
图12为本发明实施例提供的内镜图像进行伸缩处理过程中内镜图像前后的像素面积关系示意图；
图13为本发明实施例提供的采用区域插值法对内镜图像进行伸缩处理过程中不可整除时像素纳入像素区域的示意图；
图14为本发明实施例提供的获取内镜图像中有效区域的几何中心所使用的神经网络的结构图；
图15为本发明实施例提供的内镜图像中有效区域的形状转换的流程图；
图16为本发明实施例提供的内镜图像的关键点匹配的效果图；
图17为本发明实施例提供的拼接后的内镜图像的效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的内镜图像的拼接方法的流程示意图。本发明实施例的所述的内镜图像的拼接方法应用于终端设备中，该方法通过安装于终端设备中的应用软件进行执行。其中，终端设备为具备接入互联网功能的终端设备，例如台式电脑、笔记本电脑、平板电脑或手机等终端设备。
下面对所述的内镜图像的拼接方法进行详细说明。
如图1所示，该方法包括以下步骤S110~S160。
S110、对多张内镜图像进行过滤，得到过滤后的多张内镜图像。
具体的，多张内镜图像通过对内镜视频进行采帧后得到内镜图像，故使得多张内镜图像中存在一些模糊、冲吸水、贴壁、非人体内等瑕疵的内镜图像，而在将多张内镜图像拼接成一张内镜图像时，需将多张内镜图像中有瑕疵的内镜图像进行过滤掉，以便于最终拼接得到的内镜图像能清晰完整的显示整个内镜场景。
在本实施例中，采用预先训练的卷积神经网络对多张内镜图像进行图像分类，然后根据分类结果对多张内镜图像进行过滤，进而得到过滤后的多张内镜图像。其中，卷积神经网络采用Resnet50神经网络，其结构如图11所示，从图11中可以看出，内镜图像输入至Resnet50神经网络中后，首先通过尺寸为7×7、核数为64的卷积层（conv）对内镜图像进行卷积，然后通过步长2池化层（pool），其次分别通过三个残差单元1、四个残差单元2、六个残差单元3、三个残差单元4处理后，通过平均池化层、两个节点的全连接层，进而可得到每个内镜图像的类别，最后对多张内镜图像进行过滤，进而得到过滤后的多张内镜图像。
其中，残差单元1、残差单元2、残差单元3以及残差单元4均由内核分别为1×1的卷积块、3×3的卷积块以及1×1的卷积块构成。另外，采用训练样本对Resnet50神经网络进行训练时，训练样本由多张清晰完整的内镜图像以及多张含有瑕疵的内镜图像组成。
在其他发明实施例中，如图2所示，步骤S110之前，还包括步骤S210和S220。
S210、对多张所述内镜图像的内镜视频进行采帧，得到多张所述内镜图像；
S220、对多张所述内镜图像进行裁剪处理，得到裁剪后的多张内镜图像。
具体的，所述内镜视频为对患者进行内镜检查的影像视频，通过对所述内镜视频进行采帧，便可得到多张用于拼接的内镜图像。其中，由于内镜图像在拼接过程中无需过于相似的内镜图像，故在对内镜视频进行采帧时，需根据内镜行进的速度来选择合适的帧率以对内镜视频进行采帧，本实施例中选择的帧率为每秒5帧。
另外，对内镜图像拼接的目的主要是获取整个内镜主体区域，因此，对内镜视频进行采帧以生成多张内镜图像后，需对每张内镜图像进行裁剪处理，以使得用于拼接的内镜图像中尽可能的只存在内镜主体区域。其中，内镜图像的裁剪的效果可参考图10。
S120、获取过滤后的每张内镜图像之间的相似度。
其中，所述相似度为内镜图像之间结构的相似度。由于拼接后的内镜图像中需清晰完整地显示整个内镜场景，故需采用相似度较低的内镜图像进行图像拼接，但是用于拼接的内镜图像均从同一个内镜视频中获取，而通过采帧得到内镜图像也仅仅只是剔除了具有瑕疵的内镜图像，并未将相似度较高的内镜图像进行剔除，因此需计算过滤后的每张内镜图像之间的相似度，然后通过相似度来对过滤后的多张内镜图像进行再次筛选以得到可以用于图像拼接的内镜图像。
在其他发明实施例中，如图3所示，步骤S120包括子步骤S121和S122。
S121、根据差异哈希算法获取过滤后的每张内镜图像的哈希指纹；
S122、根据所述哈希指纹获取过滤后的每张内镜图像之间的相似度。
具体的，差异哈希算法是哈希算法的一类，主要用来做相似图像的搜索工作，采用差异哈希算法可以将内镜图像所包含的特征被用来生成一组哈希指纹，然后通过哈希指纹来计算内镜图像之间的相似度，例如9×8像素的灰度图会生成一个64位的Hash值，该Hash值即为哈希指纹。其中，差异哈希算法的计算公式为：
Figure 479961DEST_PATH_IMAGE001
其中，x、y分别表示内镜图像上像素的横坐标和纵坐标。
在本实施例中，采用汉明距离对内镜图像的哈希指纹进行计算以生成内镜图像之间的相似度，其中，汉明距离的计算公式为：
Figure 891351DEST_PATH_IMAGE002
其中，
Figure 798127DEST_PATH_IMAGE003
、
Figure 923471DEST_PATH_IMAGE004
分别表示计算汉明距离的两张内镜图像的哈希指纹，其为 固定长度的向量，
Figure 599303DEST_PATH_IMAGE005
表示异/或，
Figure 181594DEST_PATH_IMAGE006
为计算两张内镜图像的哈希指纹对应 位置数字不相同的总数。
通过上述计算得的汉明距离
Figure 575666DEST_PATH_IMAGE007
在[0，64]区间范围，将其归一化至[0, 1]之间来代表两张内镜图像之间的相似度S，当S越接近1表示两张内镜图像越相似，反之表 示不相似，其中，归一化公式为：
Figure 268816DEST_PATH_IMAGE008
其中，S为相似度，H为汉明距离。
在其他发明实施例中，如图4所示，步骤S121之前，还包括步骤S121a和S121b。
S121a、对过滤后的每张内镜图像进行灰度化处理，得到灰度化处理后的内镜图像。
具体的，由于本发明所述相似度为内镜图像之间的结果相似度，因此本发明可忽略内镜图像颜色的影响，并可将过滤后的每张内镜图像进行灰度化处理以减少内镜图像的相似度的运算量。其中，灰度化处理的计算公式为：
Figure 533575DEST_PATH_IMAGE009
其中，R、G、B分别为红、绿、蓝3个通道的颜色。
S121b、根据区域插值法对灰度化后的内镜图像进行伸缩处理，得到伸缩后的内镜图像。
具体的，由于内镜图像从内镜视频中获取后，经过一系列的裁剪、过滤、筛选等处理，导致内镜图像之间的尺寸不一致，因此需要将内镜图像进行一次伸缩处理，进而使得内镜图像之间的尺寸大小一致。
在本实施例中，由于灰度化后的内镜图像的尺寸均较大，为了较少计算量并加快计算速度，需将内镜图像缩小至9×8像素的尺寸，同时本实施例采用区域插值法对灰度化后的内镜图像进行伸缩处理，而区域插值法是一种根据内镜图像缩放前后像素区域的对应关系进行插值的一种方法，且区域插值法相较其他缩放图片方法，该方法不会产生波纹效应，且缩小后图片质量高。
如图12所示，当内镜图像缩小时，缩小后内镜图像的像素点为
Figure 286768DEST_PATH_IMAGE010
，其对应原图 上左上角的像素点为
Figure 666671DEST_PATH_IMAGE011
，右下角的像素点为
Figure 163512DEST_PATH_IMAGE012
。其中，
Figure 548356DEST_PATH_IMAGE013
、
Figure 206871DEST_PATH_IMAGE014
分别为原内镜图像的宽高除 去缩小后宽高的倍数。当无法进行整除时，该倍数为小数，缩小后内镜图像的像素点
Figure 841115DEST_PATH_IMAGE010
的像素值则为原内镜图像纳入像素区域所有点像素值的平均值。而如图13所示，当缩放倍 数不为整数时，边缘像素可能仅有部分纳入像素区域，此时完全被纳入的像素的权重为1， 部分纳入像素则按被纳入的比例赋予其权重。其中，区域插值法的公式为：
Figure 876067DEST_PATH_IMAGE015
其中，
Figure 380997DEST_PATH_IMAGE016
、
Figure 723597DEST_PATH_IMAGE017
分别为原内镜图像的宽高除去缩小后宽高的倍数，
Figure 579557DEST_PATH_IMAGE018
为原内镜图像上的像素
Figure 418200DEST_PATH_IMAGE019
被纳入像素区域的比例，
Figure 777637DEST_PATH_IMAGE020
为像素区域的 面积。
S130、根据所述相似度对所述过滤后的多张内镜图像进行筛选，得到筛选后的多张内镜图像。
在本实施例中，为了减少相似度的计算量，采用汉明距离仅仅只是计算出当前内镜图像Imgi和其后的内镜图像Imgi+j的相似度S。其中，i和i+j为内镜图像在时间序列中的下标，i从0开始，j从1开始，先保持i不变，j递增。若相似度S大于预设阈值，则剔除内镜图像Imgi+j；若S小于预设阈值，则令i=i+j，j=1，直至i+j=M+1，进而最终便可完成对过滤后的多张内镜图像的筛选。其中，M为内镜图像总数，预设阈值可根据实际应用情况进行设定，例如预设阈值可以为0.8，本实施例中不做具体限定。
S140、对筛选后的每张内镜图像进行矫正，得到矫正后的多张内镜图像。
通常在对患者进行内镜检查时，内镜检查所采用的内镜镜头多为广角镜头，导致拍摄到的内镜视频存在畸变，而后续的内镜图像的拼接是基于单应性假设，因此需对待拼接的内镜图像进行图像矫正，进而使得最终拼接成的内镜图像中能清晰并完整的显示整个内镜场景。
在其他发明实施例中，如图5所示，步骤S140包括子步骤S141和S142。
S141、根据标定算法获取矫正所述内镜图像的内参数矩阵和畸变参数；
S142、根据所述内参数矩阵、所述畸变参数对筛选后的每张内镜图像进行畸变矫正，得到矫正后的多张内镜图像。
在本实施例中，所述标定算法为用于获取拍摄所述内镜图像所在内镜的内外参数的方法，其中，内参数矩阵cameraMatrix为内镜的内参数，畸变参数distCoeffs为内镜的镜头畸变参数。由于内镜所拍摄内镜图像均可用这次标定结果进行矫正，因此每个内镜仅需进行一次相机标定以获取内镜的内参数矩阵和畸变参数，便可对筛选后的每张内镜图像进行畸变矫正，进而得到矫正后的多张内镜图像。
S150、对矫正后的每张内镜图像中有效区域进行形状转换，得到形状转换后的多张内镜图像。
在本实施例中，内镜图像为人体内的管腔影像，而管腔影像的形状为圆形，进而导致无法直接将内镜图像进行拼接处理，故在本实施例中需将每张内镜图像中有效区域（管腔区域）转换成矩形，以便于内镜图像进行拼接。
在其他发明实施例中，如图6所示，步骤S150包括子步骤S151和S152。
S151、根据预先训练的神经网络获取所述有效区域的几何中心；
S152、根据所述几何中心对所述有效区域进行形状转换，得到形状转换后的多张内镜图像。
在本实施例中，如图14所示，所述神经网络为UNet神经网络，所述UNet神经网络对形状转换后的内镜图像进行多次上采样和多次下采样，以获取内镜图像的管腔区域的特征信息，然后从该特征信息中提取管腔区域的几何中心，最后根据该几何中心对管腔区域进行形状转换，进而得到含有矩形管腔区域的内镜图像。
其中，通过几何中心进行形状转换的流程如图15所示，假设管腔的几何中心的坐标为（x0，y0），其展开半径为r，则转换后的矩形宽高分别为w=2πr和h=r，转换后得到的矩形管腔中像素（xrect，yrect）与转换前管腔中的像素（dx，dy）有着对应关系，因此可通过对应像素值进行转换，其对应关系的计算公式为：
Figure 43534DEST_PATH_IMAGE021
Figure 121211DEST_PATH_IMAGE022
另外，如图15所示，由于透视原因，内镜图像中管腔区域越接近中心位置的信息越 少，导致转换后对应中心区域位置的部分会失真，因此需要将其进行裁剪。在本实施例中， 裁剪掉的区域占管腔区域的四分之一，即
Figure 763545DEST_PATH_IMAGE023
。
需要说明的是，所述UNet神经网络在进行训练时，将含有管腔的图像作为训练样本，并标记管腔的几何中心来对所述UNet神经网络进行训练，直至所述UNet神经网络达到收敛状态。
S160、对形状转换后的多张内镜图像进行拼接，得到拼接后的内镜图像。
具体的，每张内镜图像在进行形状转换后，通过内镜图像在内镜视频中的时间序列将内镜图像进行排序，从中位内镜图像开始，向序列两端依次对内镜图像进行图像拼接，便可得到如图17所示的内镜图像，该拼接后的内镜图像中可以清晰并完整的显示整个内镜场景，进而让医生可以快速地浏览整个内镜场景，精确地定位病灶位置，并且灵活地观察内镜图像各个位置，帮助提高病灶检出率、极大地提高了阅片效率。
在其他发明实施例中，如图7所示，步骤S160包括子步骤S161、S162和S163。
S161、对形状转换后的每张内镜图像的关键点进行匹配，得到形状转换后的每张内镜图像之间的匹配结果；
S162、根据所述匹配结果对形状转换后的每张内镜图像进行矩阵变换，得到矩阵变换后的多张内镜图像；
S163、对矩阵变换后的多张内镜图像进行拼接，得到拼接后的内镜图像。
在本实施例中，通过采用Accelerated-KAZE方法实现内镜图像的拼接，同时在对两张内镜图像进行拼接时，需对各自的关键点进行检测，然后计算出每个关键点的描述符，然后进行关键点匹配，进而便可实现两张内镜图像的拼接。其中，描述符是关键点的特征向量，其具备旋转和缩放不变性，关键点匹则是找到与待匹配点在特征空间中最接近的点，本实施例采用欧氏距离进行表示。通过获取与待匹配点欧氏距离最小的n（例如n=2）个最佳匹配点，然后计算n个最佳匹配点，此处未直接用欧式距离最小的匹配点，其缘由是因为可能待匹配点与剩余点的距离都不小，这种情况下获取的距离最小匹配点并非预期的匹配点。
另外，为了使得获取的匹配点具有足够的区分度，此处需要设置一个阈值，若待匹配点与其第一最佳匹配点的距离和第二最佳匹配点距离的比值小于该阈值，则表示该组匹配为预期的匹配，依次便可获取所有好的关键点匹配，如图16所示，其关键点便可一一对应。需要说明的是，该阈值可根据实际情况进行设置，本实施例不做具体限定。例如，该阈值可以为0.75。
进一步的，在完成关键点匹配后，还无法直接对内镜图像进行拼接，其缘由是因为两张内镜图像通过不同时间、不同角度和距离下拍摄，因此需要进行变换才能将关键点进行重叠以而完成内镜图像拼接。其具体步骤为：假设该变换为单应性的变换，通过所有配对的关键点便可计算出变换所需的单应性矩阵，然后通过单应性矩阵将待拼接的内镜图像进行变换后，即可完成内镜图像的拼接。
另外，由于单应性变换后，内镜图像中有效区域的形状会发生变化，可能会使拼接后的内镜图像不再是标准的矩形，而后续的拼接有可能放大这种形变，因此，为了使最终拼接到的内镜图像更加美观，本实施例通过内镜图像在内镜视频中的时间序列将内镜图像进行排序，并从中位内镜图像开始向序列两端依次对内镜图像进行图像拼接，以将单方向上的拼接次数减少至原顺序拼接的一半，进而使得拼接后的内镜图像的形变较小。
在本发明实施例所提供的内镜图像的拼接方法中，通过对多张内镜图像进行过滤，得到过滤后的多张内镜图像；获取过滤后的每张内镜图像之间的相似度；根据所述相似度对所述过滤后的多张内镜图像进行筛选，得到筛选后的多张内镜图像；对筛选后的每张内镜图像进行矫正，得到矫正后的多张内镜图像；对矫正后的每张内镜图像中有效区域进行形状转换，得到形状转换后的多张内镜图像；对形状转换后的多张内镜图像进行拼接，得到拼接后的内镜图像。本发明通过对内镜检查的多张内镜图像进行过滤以筛选出清晰有效的内镜图像，然后根据每张内镜图像的相似度再次筛选出可以进行拼接的内镜图像，并对再次筛选出的内镜图像进行矫正以及对内镜图像中有效区域进行形状转换，以便于将整个内镜场景完整地、清晰地显示在拼接后的内镜图像中，便于医生快速的浏览整个内镜场景并精确的定位患者的病灶位置，进而极大的提高了查阅内镜视频的效率。
本发明实施例还提供了一种内镜图像的拼接装置100，该装置用于执行前述内镜图像的拼接方法的任一实施例。
具体地，请参阅图8，图8是本发明实施例提供的内镜图像的拼接装置100的示意性框图。
如图8所示，所述的内镜图像的拼接装置100，该装置包括：过滤单元110、第一获取单元120、筛选单元130、矫正单元140、第一变换单元150和第一拼接单元160。
过滤单元110，用于根据预先训练的卷积神经网络对多张内镜图像进行过滤，得到过滤后的多张内镜图像。
在另一实施例中，所述的内镜图像的拼接装置100，还包括：采帧单元和裁剪单元。
采帧单元，用于对多张所述内镜图像的内镜视频进行采帧，得到多张所述内镜图像；裁剪单元，用于对多张所述内镜图像进行裁剪处理，得到裁剪后的多张内镜图像。
第一获取单元120，用于获取过滤后的每张内镜图像之间的相似度。
在另一实施例中，所述第一获取单元120包括：第二获取单元和第三获取单元。
第二获取单元，用于根据差异哈希算法获取过滤后的每张内镜图像的哈希指纹；第三获取单元，用于根据所述哈希指纹获取过滤后的每张内镜图像之间的相似度。
在另一实施例中，所述第一获取单元120，还包括：灰度化单元和伸缩单元。
灰度化单元，用于对过滤后的每张内镜图像进行灰度化处理，得到灰度化处理后的内镜图像；伸缩单元，用于根据区域插值法对灰度化后的内镜图像进行伸缩处理，得到伸缩后的内镜图像。
筛选单元130，用于根据所述相似度对所述过滤后的多张内镜图像进行筛选，得到筛选后的多张内镜图像。
矫正单元140，用于对筛选后的每张内镜图像进行矫正，得到矫正后的多张内镜图像。
在另一实施例中，所述矫正单元140包括：第四获取单元和畸变矫正单元。
第四获取单元，用于根据标定算法获取矫正所述内镜图像的内参数矩阵和畸变参数；畸变矫正单元，用于根据所述内参数矩阵、所述畸变参数对筛选后的每张内镜图像进行畸变矫正，得到矫正后的多张内镜图像。
第一变换单元150，用于对矫正后的每张内镜图像中有效区域进行形状转换，得到形状转换后的多张内镜图像。
在另一实施例中，所述第一变换单元150包括：第五获取单元和第二转换单元。
第五获取单元，用于根据预先训练的神经网络获取所述有效区域的几何中心；第二转换单元，用于根据所述几何中心对所述有效区域进行形状转换，得到形状转换后的多张内镜图像。
第一拼接单元160，用于对形状转换后的多张内镜图像进行拼接，得到拼接后的内镜图像。
在另一实施例中，所述第一拼接单元160包括：匹配单元、矩阵变换单元和第二拼接单元。
匹配单元，用于对形状转换后的每张内镜图像的关键点进行匹配，得到形状转换后的每张内镜图像之间的匹配结果；矩阵变换单元，用于根据所述匹配结果对形状转换后的每张内镜图像进行矩阵变换，得到矩阵变换后的多张内镜图像；第二拼接单元，用于对矩阵变换后的多张内镜图像进行拼接，得到拼接后的内镜图像。
本发明实施例所提供的内镜图像的拼接装置100用于执行上述对多张内镜图像进行过滤，得到过滤后的多张内镜图像；获取过滤后的每张内镜图像之间的相似度；根据所述相似度对所述过滤后的多张内镜图像进行筛选，得到筛选后的多张内镜图像；对筛选后的每张内镜图像进行矫正，得到矫正后的多张内镜图像；对矫正后的每张内镜图像中有效区域进行形状转换，得到形状转换后的多张内镜图像；对形状转换后的多张内镜图像进行拼接，得到拼接后的内镜图像。
请参阅图9，图9是本发明实施例提供的计算机设备的示意性框图。
参阅图9，该设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括存储介质503和内存储器504。
该存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032被执行时，可使得处理器502执行内镜图像的拼接方法。
该处理器502用于提供计算和控制能力，支撑整个设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行内镜图像的拼接方法。
该网络接口505用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图9中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的设备500的限定，具体的设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下功能：对多张内镜图像进行过滤，得到过滤后的多张内镜图像；获取过滤后的每张内镜图像之间的相似度；根据所述相似度对所述过滤后的多张内镜图像进行筛选，得到筛选后的多张内镜图像；对筛选后的每张内镜图像进行矫正，得到矫正后的多张内镜图像；对矫正后的每张内镜图像中有效区域进行形状转换，得到形状转换后的多张内镜图像；对形状转换后的多张内镜图像进行拼接，得到拼接后的内镜图像。
本领域技术人员可以理解，图9中示出的设备500的实施例并不构成对设备500具体构成的限定，在其他实施例中，设备500可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，设备500可以仅包括存储器及处理器502，在这样的实施例中，存储器及处理器502的结构及功能与图9所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器502可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器502、数字信号处理器502(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器502可以是微处理器502或者该处理器502也可以是任何常规的处理器502等。
在本发明的另一实施例中提供计算机存储介质。该存储介质可以为非易失性的计算机可读存储介质，也可以是易失性的存储介质。该存储介质存储有计算机程序5032，其中计算机程序5032被处理器502执行时实现以下步骤：对多张内镜图像进行过滤，得到过滤后的多张内镜图像；获取过滤后的每张内镜图像之间的相似度；根据所述相似度对所述过滤后的多张内镜图像进行筛选，得到筛选后的多张内镜图像；对筛选后的每张内镜图像进行矫正，得到矫正后的多张内镜图像；对矫正后的每张内镜图像中有效区域进行形状转换，得到形状转换后的多张内镜图像；对形状转换后的多张内镜图像进行拼接，得到拼接后的内镜图像。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的设备、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为逻辑功能划分，实际实现时可以有另外的划分方式，也可以将具有相同功能的单元集合成一个单元，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台设备500 ( 可以是个人计算机，服务器，或者网络设备等 ) 执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U 盘、移动硬盘、只读存储器 (ROM，Read-Only Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (9)

1.一种内镜图像的拼接方法，其特征在于，包括：
对多张内镜图像进行过滤，得到过滤后的多张内镜图像；
获取过滤后的每张内镜图像之间的相似度；
根据所述相似度对所述过滤后的多张内镜图像进行筛选，得到筛选后的多张内镜图像；
对筛选后的每张内镜图像进行矫正，得到矫正后的多张内镜图像；
对矫正后的每张内镜图像中有效区域进行形状转换，得到形状转换后的多张内镜图像；
对形状转换后的多张内镜图像进行拼接，得到拼接后的内镜图像；
所述对形状转换后的多张内镜图像进行拼接，得到拼接后的内镜图像，包括：
对形状转换后的每张内镜图像的关键点进行匹配，得到形状转换后的每张内镜图像之间的匹配结果；具体的，获取与待匹配点欧式距离最小的n个最佳匹配点并计算n个最佳匹配点，同时根据预设阈值对最佳匹配点进行区分，预设阈值通过待匹配点与两个最佳匹配点之间欧式距离的比值进行设定；
根据所述匹配结果对形状转换后的每张内镜图像进行单应性的矩阵变换，得到矩阵变换后的多张内镜图像；
对矩阵变换后的多张内镜图像进行拼接，得到拼接后的内镜图像；具体的，根据内镜图像在内镜视频中的时间序列对矩阵变换后的多张内镜图像进行排序并从中位内镜图像开始向序列两端依次进行图像拼接。
2.根据权利要求1所述的内镜图像的拼接方法，其特征在于，在所述对多张内镜图像进行过滤，得到过滤后的多张内镜图像之前，还包括：
对多张所述内镜图像的内镜视频进行采帧，得到多张所述内镜图像；
对多张所述内镜图像进行裁剪处理，得到裁剪后的多张内镜图像。
3.根据权利要求1所述的内镜图像的拼接方法，其特征在于，所述获取过滤后的每张内镜图像之间的相似度，包括：
根据差异哈希算法获取过滤后的每张内镜图像的哈希指纹；
根据所述哈希指纹获取过滤后的每张内镜图像之间的相似度。
4.根据权利要求3所述的内镜图像的拼接方法，其特征在于，在所述根据差异哈希算法获取过滤后的每张内镜图像的哈希指纹之前，还包括：
对过滤后的每张内镜图像进行灰度化处理，得到灰度化处理后的内镜图像；
根据区域插值法对灰度化后的内镜图像进行伸缩处理，得到伸缩后的内镜图像。
5.根据权利要求1所述的内镜图像的拼接方法，其特征在于，所述对筛选后的每张内镜图像进行矫正，得到矫正后的多张内镜图像，包括：
根据标定算法获取矫正所述内镜图像的内参数矩阵和畸变参数；
根据所述内参数矩阵、所述畸变参数对筛选后的每张内镜图像进行畸变矫正，得到矫正后的多张内镜图像。
6.根据权利要求1所述的内镜图像的拼接方法，其特征在于，所述对矫正后的每张内镜图像中有效区域进行形状转换，得到形状转换后的多张内镜图像，包括：
根据预先训练的神经网络获取所述有效区域的几何中心；
根据所述几何中心对所述有效区域进行形状转换，得到形状转换后的多张内镜图像。
7.一种内镜图像的拼接装置，其特征在于，包括：
过滤单元，用于根据预先训练的卷积神经网络对多张内镜图像进行过滤，得到过滤后的多张内镜图像；
第一获取单元，用于获取过滤后的每张内镜图像之间的相似度；
筛选单元，用于根据所述相似度对所述过滤后的多张内镜图像进行筛选，得到筛选后的多张内镜图像；
矫正单元，用于对筛选后的每张内镜图像进行矫正，得到矫正后的多张内镜图像；
第一变换单元，用于对矫正后的每张内镜图像中有效区域进行形状转换，得到形状转换后的多张内镜图像；
第一拼接单元，用于对形状转换后的多张内镜图像进行拼接，得到拼接后的内镜图像；
所述第一拼接单元，包括：匹配单元、矩阵变换单元和第二拼接单元；
匹配单元，用于对形状转换后的每张内镜图像的关键点进行匹配，得到形状转换后的每张内镜图像之间的匹配结果；具体的，获取与待匹配点欧式距离最小的n个最佳匹配点并计算n个最佳匹配点，同时根据预设阈值对最佳匹配点进行区分，预设阈值通过待匹配点与两个最佳匹配点之间欧式距离的比值进行设定；
矩阵变换单元，用于根据所述匹配结果对形状转换后的每张内镜图像进行单应性的矩阵变换，得到矩阵变换后的多张内镜图像；
第二拼接单元，用于对矩阵变换后的多张内镜图像进行拼接，得到拼接后的内镜图像；具体的，根据内镜图像在内镜视频中的时间序列对矩阵变换后的多张内镜图像进行排序并从中位内镜图像开始向序列两端依次进行图像拼接。
8.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的内镜图像的拼接方法。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至6任一项所述的内镜图像的拼接方法。
CN202111610441.XA 2021-12-27 2021-12-27 内镜图像的拼接方法、装置、计算机设备及存储介质 Active CN113989125B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111610441.XA CN113989125B (zh) 2021-12-27 2021-12-27 内镜图像的拼接方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111610441.XA CN113989125B (zh) 2021-12-27 2021-12-27 内镜图像的拼接方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN113989125A CN113989125A (zh) 2022-01-28
CN113989125B true CN113989125B (zh) 2022-04-12

Family

ID=79734481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111610441.XA Active CN113989125B (zh) 2021-12-27 2021-12-27 内镜图像的拼接方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN113989125B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972144B (zh) * 2022-05-23 2024-02-02 江苏势通生物科技有限公司 胶囊内镜肠道图像的拼接方法、装置、存储介质和设备
CN115861299A (zh) * 2023-02-15 2023-03-28 浙江华诺康科技有限公司 一种基于二维重建的电子内窥镜质控方法及装置
CN116563118A (zh) * 2023-07-12 2023-08-08 浙江华诺康科技有限公司 一种内镜图像的拼接方法、装置和计算机设备
CN116760962B (zh) * 2023-08-17 2023-10-27 鸥朗创想(北京)科技有限公司 一种获取植物4d表型的无人车及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665454A (zh) * 2018-05-11 2018-10-16 复旦大学 一种内镜图像智能分类及不规则病变区域检测方法
CN111353933A (zh) * 2018-12-20 2020-06-30 重庆金山医疗器械有限公司 一种图像拼接融合方法及系统
CN111784668A (zh) * 2020-07-01 2020-10-16 武汉楚精灵医疗科技有限公司 基于感知哈希算法的消化内镜检查影像自动冻结的方法
CN113129287A (zh) * 2021-04-22 2021-07-16 武汉楚精灵医疗科技有限公司 一种针对上消化道内镜影像的病灶自动留图方法
CN113642537A (zh) * 2021-10-14 2021-11-12 武汉大学 一种医学图像识别方法、装置、计算机设备及存储介质
CN113808137A (zh) * 2021-11-19 2021-12-17 武汉楚精灵医疗科技有限公司 上消化道内镜影像图的筛选方法、装置、设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103106408B (zh) * 2013-01-25 2016-02-10 西安电子科技大学 无监督分割的胃部ct图像淋巴结自动辅助检测系统
CN104376548B (zh) * 2014-11-07 2017-11-03 中国电子科技集团公司第二十八研究所 一种基于改进型surf算法的图像快速拼接方法
US11379688B2 (en) * 2017-03-16 2022-07-05 Packsize Llc Systems and methods for keypoint detection with convolutional neural networks
CN111275041B (zh) * 2020-01-20 2022-12-13 腾讯科技（深圳）有限公司 内窥镜图像展示方法、装置、计算机设备及存储介质
CN111524071B (zh) * 2020-04-24 2022-09-16 安翰科技(武汉)股份有限公司 胶囊内窥镜图像拼接方法、电子设备及可读存储介质
CN112085117B (zh) * 2020-09-16 2022-08-30 北京邮电大学 一种基于MTLBP-Li-KAZE-R-RANSAC的机器人运动监测视觉信息融合方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665454A (zh) * 2018-05-11 2018-10-16 复旦大学 一种内镜图像智能分类及不规则病变区域检测方法
CN111353933A (zh) * 2018-12-20 2020-06-30 重庆金山医疗器械有限公司 一种图像拼接融合方法及系统
CN111784668A (zh) * 2020-07-01 2020-10-16 武汉楚精灵医疗科技有限公司 基于感知哈希算法的消化内镜检查影像自动冻结的方法
CN113129287A (zh) * 2021-04-22 2021-07-16 武汉楚精灵医疗科技有限公司 一种针对上消化道内镜影像的病灶自动留图方法
CN113642537A (zh) * 2021-10-14 2021-11-12 武汉大学 一种医学图像识别方法、装置、计算机设备及存储介质
CN113808137A (zh) * 2021-11-19 2021-12-17 武汉楚精灵医疗科技有限公司 上消化道内镜影像图的筛选方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
医用电子内窥镜图象畸变校正方法的研究;陈冬青等;《中国生物医学工程学报》;20010128(第01期);第1-3节 *

Also Published As

Publication number Publication date
CN113989125A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN113989125B (zh) 内镜图像的拼接方法、装置、计算机设备及存储介质
CN111524071B (zh) 胶囊内窥镜图像拼接方法、电子设备及可读存储介质
CN110276734B (zh) 图像畸变校正方法和装置
CN111275041B (zh) 内窥镜图像展示方法、装置、计算机设备及存储介质
KR101408426B1 (ko) 화상 보정 장치, 보정 화상 생성 방법, 보정 테이블 생성 장치, 보정 테이블 생성 방법, 보정 테이블 생성 프로그램을 기록한 컴퓨터 판독가능한 기록 매체 및 보정 화상 생성 프로그램을 기록한 컴퓨터 판독가능한 기록 매체
WO2020211530A1 (zh) 用于检测眼底图片的模型训练方法和装置、眼底图片的检测方法和装置、计算机设备和介质
CN102957845B (zh) 图像处理程序、方法、装置和图像拾取装置
US20220058821A1 (en) Medical image processing method, apparatus, and device, medium, and endoscope
CN111488912B (zh) 一种基于深度学习神经网络的喉部疾病诊断系统
CN111898571A (zh) 动作识别系统及方法
CN113469985A (zh) 内镜图像特征点提取方法
CN112215906A (zh) 图像处理方法、装置和电子设备
CN113808137A (zh) 上消化道内镜影像图的筛选方法、装置、设备及存储介质
Yang et al. Endoscopic image deblurring and super-resolution reconstruction based on deep learning
US9672596B2 (en) Image processing apparatus to generate a reduced image of an endoscopic image
CN110675349B (zh) 内窥镜成像方法及装置
US20170032502A1 (en) Image processing
CN112633113B (zh) 跨摄像头的人脸活体检测方法及系统
JP2015115733A (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
CN117765357A (zh) 基于多尺度金字塔残差权重神经网络的医学图像融合方法
CN116563118A (zh) 一种内镜图像的拼接方法、装置和计算机设备
US12094079B2 (en) Reference-based super-resolution for image and video enhancement
CN111353933A (zh) 一种图像拼接融合方法及系统
CN111340739A (zh) 一种图像处理方法及系统
CN109949383B (zh) 一种高动态光学投影层析成像方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant