CN114782470B - 消化道的三维全景识别定位方法、存储介质和设备 - Google Patents
消化道的三维全景识别定位方法、存储介质和设备 Download PDFInfo
- Publication number
- CN114782470B CN114782470B CN202210713965.XA CN202210713965A CN114782470B CN 114782470 B CN114782470 B CN 114782470B CN 202210713965 A CN202210713965 A CN 202210713965A CN 114782470 B CN114782470 B CN 114782470B
- Authority
- CN
- China
- Prior art keywords
- digestive tract
- image
- frame
- original
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 210000001035 gastrointestinal tract Anatomy 0.000 claims abstract description 142
- 239000002775 capsule Substances 0.000 claims abstract description 77
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000003384 imaging method Methods 0.000 claims description 39
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000013519 translation Methods 0.000 claims description 10
- 230000004807 localization Effects 0.000 claims description 8
- 238000013139 quantization Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 18
- 230000000007 visual effect Effects 0.000 abstract description 4
- 238000003745 diagnosis Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000000968 intestinal effect Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 241000287196 Asthenes Species 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241000167880 Hirundinidae Species 0.000 description 1
- 241000135164 Timea Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000008602 contraction Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 101150049349 setA gene Proteins 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30028—Colon; Small intestine
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Endoscopes (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明公开了一种消化道的三维全景识别定位方法、存储介质和设备。该方法包括:获取原始消化道图像集中每一帧原始消化道图像相对于相邻的前一帧原始消化道图像的帧旋转信息;基于胶囊内窥镜的结构参数和帧旋转信息在每一帧原始消化道图像上截取新增区域图像,构成新增区域图像集;构建三维管状内壁片段集,其中三维管状内壁片段集中每个片段根据胶囊内窥镜的结构参数、帧旋转信息和新增区域图像构建得到;将三维管状内壁片段集中的各个片段依序进行首尾拼接,形成消化道三维全景图像;确定目标区域所在的三维管状内壁片段并确定目标区域的位置信息。该方法的阅片、诊断的整个过程比较直观、便捷,且能快速、精准地确定目标区域的位置。
Description
技术领域
本发明属于医疗设备成像技术领域,具体地讲,涉及一种消化道的三维全景识别定位方法、计算机可读存储介质、计算机设备。
背景技术
胶囊内窥镜是一种医疗器械设备,胶囊内窥镜将图像采集、无线传输等核心功能集成于一个可被人体吞咽的胶囊内,在进行检查过程中,将胶囊内窥镜吞入体内,内窥镜在体内采集消化道图像并同步传送到体外,以根据获得的图像数据进行医疗检查和诊断。
胶囊内窥镜在小肠内工作过程中会采集并传输数万张图像。传统的诊断方法和流程是将这数万张图像通过图片播放或者视频播放的方式呈现给医务工作者进行观察,整个过程耗时长。同时,对二维图像进行阅片,医务工作者也无法直观地观察可疑病灶等目标区域在消化道中的大致位置,更无法确定目标区域在消化道中的准确位置,极大影响了消化道内窥镜的使用和诊断效率。
发明内容
(一)本发明所要解决的技术问题
本发明解决的技术问题是:如何快速、直观地观察消化道中的目标区域并确定该目标区域的位置。
(二)本发明所采用的技术方案
一种消化道的三维全景识别定位方法,所述三维全景识别定位方法包括:
获取胶囊内窥镜拍摄到的原始消化道图像集中每一帧原始消化道图像相对于相邻的前一帧原始消化道图像的帧旋转信息;
基于胶囊内窥镜的结构参数和帧旋转信息在原始消化道图像集中的每一帧原始消化道图像上截取新增区域图像,构成新增区域图像集;
构建三维管状内壁片段集,其中所述三维管状内壁片段集中每个片段根据胶囊内窥镜的结构参数、帧旋转信息和新增区域图像构建得到;
将所述三维管状内壁片段集中的各个片段依序进行首尾拼接,形成消化道三维全景图像;
在所述消化道三维全景图像中识别出目标区域后,确定目标区域所在的三维管状内壁片段;
根据所述目标区域位于所在三维管状内壁片段的坐标、各个所述三维管状内壁片段的结构长度、帧旋转信息,确定所述目标区域的位置信息。
优选地,所述胶囊内窥镜上设置有姿态传感器,获取原始消化道图像集中每一帧原始消化道图像相对于相邻的前一帧原始消化道图像的帧旋转信息的方法包括:
获取姿态传感器采集到的姿态信息集合和姿态传感器的固定采样时间,其中所述姿态信息集合包括连续多个时刻的三轴方向上的旋转角速度;
基于所述姿态信息集合和所述固定采样时间计算得到每一帧原始消化道图像相对于相邻的前一帧原始消化道图像的帧旋转信息。
优选地,获取原始消化道图像集中每一帧原始消化道图像相对于相邻的前一帧原始消化道图像的帧旋转信息的方法包括:
获取每一帧原始消化道图像与前一帧原始消化道图像进行特征匹配,获得若干对特征匹配点;
基于各个所述特征匹配点的像素坐标值构建得到本质矩阵;
基于所述本质矩阵分别得到帧旋转矩阵和平移矩阵的若干个估计值;
根据若干对特征匹配点的其中一对特征匹配点的像素坐标值、帧旋转矩阵和平移矩阵的若干个估计值确定符合预设条件的帧旋转矩阵,作为帧旋转信息。
优选地,基于胶囊内窥镜的结构参数和对应帧的帧旋转信息在原始消化道图像集中的每一帧原始消化道图像上截取新增区域图像的方法包括:
根据胶囊内窥镜的结构参数确定每一帧原始消化道图像中的标志投影线;
根据待截取的当前帧原始消化道图像的帧旋转信息计算得到当前帧原始消化道图像与相邻的前一帧原始消化道图像之间的姿态转换值;
根据胶囊内窥镜的结构参数和所述姿态转换值确定所述前一帧原始消化道图像的标志投影线在所述当前帧原始消化道图像中的成像投影线;
截取所述当前帧原始消化道图像中标志投影线和成像投影线之间的图像,作为新增区域图像。
优选地,根据胶囊内窥镜的结构参数和所述姿态转换值确定所述前一帧原始消化道图像的标志投影线在所述当前帧原始消化道图像中的成像投影线的方法包括:
根据胶囊内窥镜的结构参数和所述姿态转换值确定所述前一帧原始消化道图像的标志投影线在所述当前帧原始消化道图像中的若干候选投影线;
计算前一帧原始消化道图像的标志投影线以及各所述候选投影线的离散量化像素灰度值序列;
依次计算前一帧原始消化道图像的标志投影线的离散量化像素灰度值序列与各所述候选投影线的离散量化像素灰度值序列之间的莱文斯坦距离;
将符合预设条件的莱文斯坦距离所对应的候选投影线作为成像投影线。
优选地,所述三维管状内壁片段为两端开放的斜切圆柱筒体,所述斜切圆柱筒体的顶端所在面为平面,所述斜切圆柱筒体的底端所在面为斜面。
优选地,根据胶囊内窥镜的结构参数、帧旋转信息和新增区域图像构建得到所述三维管状内壁片段的方法包括:
根据所述胶囊内窥镜的结构参数、帧旋转信息计算得到所述斜切圆柱筒体的直径、倾斜角度以及斜切圆柱筒体的长度;
根据所述新增区域图像的像素值计算得到所述斜切圆柱筒体的内壁面的像素值。
优选地,将所述三维管状内壁片段集中的各个片段依序进行首尾拼接的方法包括:
将每个斜切圆柱筒体的侧壁进行变形处理,使得每个斜切圆柱筒体的顶端所在面调整为与相邻的下一个斜切圆柱筒体的底端所在面匹配,形成变形后的三维管状内壁片段;
将各个变形后的三维管状内壁片段的顶端和底端首尾连接,并且按照各个对应的姿态转换值对各个变形后的三维管状内壁片段进行旋转,形成消化道三维全景图像。
本申请还公开了一种计算机可读存储介质,所述计算机可读存储介质存储有消化道的三维全景识别定位程序,所述消化道的三维全景识别定位程序被处理器执行时实现上述的消化道的三维全景识别定位方法。
本申请还公开了一种计算机设备,所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的消化道的三维全景识别定位程序,所述消化道的三维全景识别定位程序被处理器执行时实现上述的消化道的三维全景识别定位方法。
(三)有益效果
本发明公开的一种消化道的三维全景识别定位方法,相对于传统方法,具有如下技术效果:
通过将原始肠道图片拼接形成肠道全景图片,使得阅片、诊断的整个过程比较直观、便捷,且能快速、精准地确定目标区域的位置。
附图说明
图1为本发明的实施例一的消化道的三维全景识别定位方法的流程图;
图2为本发明的实施例一的胶囊内窥镜中的测量部件示意图;
图3为本发明的实施例一的原始消化道图像的示意图;
图4为本发明的实施例一的胶囊内窥镜的成像原理示意图;
图5为本发明的实施例一的原始消化道图像中的投影线示意图;
图6为本发明的实施例一的胶囊内窥镜的姿态转换示意图;
图7为本发明的实施例一的三维管状内壁片段的示意图;
图8为本发明的实施例一的三维管状内壁片段的像素参数计算过程示意图;
图9为本发明的实施例一的三维管状内壁片段进行变形处理的示意图;
图10为本发明的实施例一的各个三维管状内壁片段的拼接过程示意图;
图11为本发明的实施例一的消化道的三维全景识别定位方法的过程示意图;
图12为本发明的实施例二的计算机设备示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在详细描述本申请的各个实施例之前,首先简单描述本申请的技术构思:现有技术中根据胶囊内窥镜拍摄的肠道图像进行识别和诊断,主要通过视频或图像阅片的方式,由于图像数量较大,整个阅片过程耗时较长,且直观地观察目标区域在消化道中的大致位置以及无法确定目标区域的精确位置。为此,本申请提供的消化道的三维全景识别定位方法,该方法主要步骤是在每帧原始消化道图像上截取新增区域图像,并结合胶囊内窥镜的结构参数、相邻两帧原始消化道图像之间帧旋转信息重建得到三维管状内壁片段,将各个三维管状内壁片段进行拼接得到消化道三维全景图像,在消化道三维全景图像中识别出目标区域后,进一步确定目标区域的位置信息。该方法的阅片、诊断的整个过程比较直观、便捷,且能快速、精准地确定目标区域的位置。
具体来说,如图1所示,本实施例一的消化道的三维全景识别定位方法包括如下步骤:
步骤S10、获取胶囊内窥镜拍摄到的原始消化道图像集中每一帧原始消化道图像相对于相邻的前一帧原始消化道图像的帧旋转信息;
步骤S20、基于胶囊内窥镜的结构参数和帧旋转信息在原始消化道图像集中的每一帧原始消化道图像上截取新增区域图像,构成新增区域图像集;
步骤S30、构建三维管状内壁片段集,其中所述三维管状内壁片段集中每个片段根据胶囊内窥镜的结构参数、帧旋转信息和新增区域图像构建得到;
步骤S40、将所述三维管状内壁片段集中的各个片段依序进行首尾拼接,形成消化道三维全景图像;
步骤S50、在所述消化道三维全景图像中识别出目标区域后,确定目标区域所在的三维管状内壁片段;
步骤S60、根据所述目标区域位于所在三维管状内壁片段的坐标、各个所述三维管状内壁片段的结构长度、帧旋转信息,确定所述目标区域的位置信息。
在对各个步骤详细说明之前,先对胶囊内窥镜的基本结构和工作过程进行说明。
如图2所示,胶囊内窥镜上的测量部件10由胶囊透明盖101、位于胶囊弧形分割线102a以内
的图像采集模块103。胶囊内窥镜的部分结构参数包括胶囊内径R1,外径R2,中心轴线为a。
图像采集模块103的视角延伸线与胶囊外壳相交于102b。图像采集模块103的成像光心为O,
成像模型的内参数为K。使用者在相应的准备工作完成后,将带有测量部件10的胶囊内窥镜
吞服进入消化道,胶囊内窥镜在消化道中进行影像采集,并将采集得到的数据进行存储或
发送给使用者携带的体外设备,完成检查后,将检查过程中采集到的数据进行处理。所述待
处理的数据为一系列由图像采集模块103拍摄的原始消化道图像集以及
以固定采样时间采集的姿态数据。
其中,原始消化道图像集中的每帧原始消化道图像如图3中的20所示,其中图像传
感器边框,即最大成像区域201确定了图像传感器所能采集的最大图像,最大成像区域201
内具有胶囊外壳101在图像传感器上的成像投影边界202,以及胶囊弧形分割线102a在图像
传感器上的成像投影边界203。根据图像传感器103在胶囊中的安装方向,原始消化道图像
20具有两个正交的平面方向轴 和,分别沿着单帧原始消化道图像20的两条矩形边,并
以单帧原始消化道图像20的中心为原点。
进一步地,测量部件10中还集成有姿态传感器104,姿态传感器104优选为陀螺仪。
由姿态传感器104采集的校准后的姿态信息集合,总的检查运行时
间为。姿态信息集合中每一单元数据包含三轴方向上的旋转角速
度具有如下的形式:
在步骤S10中,获取帧旋转信息的方法有两种,一是基于姿态传感器104采集到的数据来获取,二是通过图像之间的特征匹配来获得。
对于第二种方式,首先获取每一帧原始消化道图像与前一帧原始消化道图像
进行特征匹配,获得若干对特征匹配点。具体可采用匹配方法可采用SIFT、SURF或ORB算法,
并采用RANSAC对获得的匹配特征点进行筛选,最终获得对匹配特征点和,分别属于前一帧原始消化道图像和当前帧原
始消化道图像帧,各特征匹配点的图像像素坐标为:
进一步地,基于各个所述特征匹配点的像素坐标值构建得到本质矩阵E。具体来说,令
最后,根据若干对特征匹配点的其中一对特征匹配点的像素坐标值、帧旋转矩阵
和平移矩阵的若干个估计值确定符合预设条件的帧旋转矩阵,作为帧旋转信息。具体来说,
从P对匹配特征点筛选任意一对,并与帧旋转矩阵和平移矩阵构造如下形式的矩阵:
在步骤S20中,基于胶囊内窥镜的结构参数和对应帧的帧旋转信息在原始消化道图像集中的每一帧原始消化道图像上截取新增区域图像的方法包括如下步骤:
步骤S201、根据胶囊内窥镜的结构参数确定每一帧原始消化道图像中的标志投影线;
步骤S202、根据待截取的当前帧原始消化道图像的帧旋转信息计算得到当前帧原始消化道图像与相邻的前一帧原始消化道图像之间的姿态转换值;
步骤S203、根据胶囊内窥镜的结构参数和所述姿态转换值确定所述前一帧原始消化道图像的标志投影线在所述当前帧原始消化道图像中的成像投影线;
步骤S204、截取所述当前帧原始消化道图像中标志投影线和成像投影线之间的图像,作为新增区域图像。
首先对原始消化道图像中的投影线进行说明。如图4示出了胶囊内窥镜采集图像的成像过程,其中胶囊弧形分割线102a,图像采集模块视角与胶囊外壳交线102b,图像采集模块103的成像平面103a。图像采集模块光心为O点,胶囊轴线a轴与102a交点为E,与102b交点为D,与成像平面103a交点为C。
则有如下关系:
可以解得:
需要说明的是,在理想情况下,胶囊内窥镜无偏转,得到的投影线是圆形,实际情况中由于胶囊内窥镜发生偏转,形成的投影线为类椭圆形。同时还需要说明的是,胶囊内窥镜在行进过程中与肠道等消化道的内壁贴合,即两点FX与消化道内壁贴合,两点FX的成像相当于是消化道内壁的成像,当然若胶囊内窥镜为贴合内壁,即两点FX与内壁间隔,其成像原理也是相同的。这里为了简化描述,以透明盖上的点的成像来说说明成像过程。
示例性地,本实施例一原始消化道图像中的标志投影线优选为胶囊弧形分界线
102a在成像平面的投影。如图5所示,前一帧原始消化道图像的标志投影线为301,当前
帧原始消化道图像的标志投影线为303。302表示前一帧原始消化道图像的标志投影
线301在当前帧原始消化道图像中的成像投影线。需要说明的是,本实施例一的胶囊内
窥镜的拍摄方向与移动方向相同,即胶囊内窥镜在前进过程中,对其前方的肠道内壁进行
拍摄,因此成像投影线302在标志投影线301或303之外。本说明书所述的技术方法同样适用
于胶囊内窥镜的拍摄方向与移动方向相反的情形。同时由于胶囊内窥镜在拍摄过程中发生
偏转,成像投影线302呈类椭圆形,因此需要结合图像之间的帧旋转信息来确定成像投影线
302。
则可得
在图4中,当前帧原始消化道图像具有中心点C,沿中心点C具有与轴夹角
的直线,与成像投影线相交于P点和Q点。定义P点具有距离参数 ,定义所述投影曲线方
程为以C点为原点的极坐标形式。定义P点具有距离参数,定义投影曲线方程
为以C点为原点的极坐标形式。因此,成像投影线302在距离参数条件下的极
坐标方程为:
其中,在步骤S203中,确定成像投影线的过程如下:
步骤S2031、根据胶囊内窥镜的结构参数和所述姿态转换值确定所述前一帧原始消化道图像的标志投影线在所述当前帧原始消化道图像中的若干候选投影线。
步骤S2032、计算前一帧原始消化道图像的标志投影线以及各所述候选投影线的离散量化像素灰度值序列;
步骤S2033、依次计算前一帧原始消化道图像的标志投影线的离散量化像素灰度值序列与各所述候选投影线的离散量化像素灰度值序列之间的莱文斯坦距离。
通过莱文斯坦距离来评估候选投影线与标志投影线之间的相似性,
步骤S2034、将符合预设条件的莱文斯坦距离所对应的候选投影线作为成像投影线。
在步骤S30中,三维管状内壁片段的重建主要包括三维管状内壁片段的结构参数和像素参数两部分的构建。
具体来说,如图7所示,三维管状内壁片段为两端开放的斜切圆柱筒体,斜切圆柱筒体的顶端所在面为平面,斜切圆柱筒体的底端所在面为斜面。在理想情况下,当胶囊内窥镜无偏转时,拍摄的三维管状内壁片段应为正圆筒体,当胶囊内窥镜偏向一侧时,拍摄得到三维管状内壁片段为图7所示的一侧较长另一侧较短的斜切圆柱筒体。
其中,三维管状内壁片段的结构参数包括斜切圆柱筒体的直径、倾斜角度以及
斜切圆柱筒体的长度。斜切圆柱筒体的顶端所在面为平面,平面为以圆心的圆形顶面,斜
切圆柱筒体的底端所在面为斜面,斜面为以具有以为中心的椭圆底面。椭圆底面的长轴
顶点分别为和,与其对应的圆柱侧棱分别为 以及。其中:
进一步地,在步骤S40中,首先将每个斜切圆柱筒体的侧壁进行变形处理,使得每个斜切圆柱筒体的顶端所在面调整为与相邻的下一个斜切圆柱筒体的底端所在面匹配,形成变形后的三维管状内壁片段。
图9所示为图8所述三维管状内壁片段沿平面的截面图,其中为当前
帧原始消化道图像时刻胶囊的轴线轴为下一帧原始消化道图像时刻胶囊的轴线
轴,两图像帧具有旋转矩阵,对应姿态转换生成的轴线轴偏转角度。所述变形处理
为将三维管状内壁片段的顶端平面401变换为变形后的三维管状内壁片段的顶端平
面402。所述两个平面的中心点保持不变。变形处理中,三维管状内壁片段侧壁的像素按
照棱的伸缩进行拉伸与压缩。优选的,拉伸变形进行像素插值填充。
接着,将各个变形后的三维管状内壁片段的顶端和底端首尾连接,并且按照各个对应的姿态转换值对各个对各个变形后的三维管状内壁片段进行旋转,形成消化道三维全景图像。
如图10所示,选取三维管状内壁片段和,两者分别具有下底面中心
和,以及上顶面中心和。拼接时,将下底面中心与的上顶面中心重合。将的轴线轴相对的轴线轴偏转角度,将的轴相对的轴偏转角度。以此类推完成所有的操作,生成消化道三维全景图像。
图11示出了对原始消化道图像进行处理到最后定位到目标区域的整体过程。
本实施例二还公开了一种计算机可读存储介质,计算机可读存储介质存储有消化道的三维全景识别定位程序,所述消化道的三维全景识别定位程序被处理器执行时实现上述的消化道的三维全景识别定位方法。
本实施例三还公开了一种计算机设备,在硬件层面,如图12所示,该计算机设备包括处理器12、内部总线13、网络接口14、计算机可读存储介质11。处理器12从计算机可读存储介质中读取对应的计算机程序然后运行,在逻辑层面上形成请求处理装置。当然,除了软件实现方式之外,本说明书一个或多个实施例并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。计算机可读存储介质11上存储有消化道的三维全景识别定位程序,所述消化道的三维全景识别定位程序被处理器执行时实现上述的消化道的三维全景识别定位方法。
计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
上面对本发明的具体实施方式进行了详细描述,虽然已表示和描述了一些实施例,但本领域技术人员应该理解,在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下,可以对这些实施例进行修改和完善,这些修改和完善也应在本发明的保护范围内。
Claims (10)
1.一种消化道的三维全景识别定位方法,其特征在于,所述三维全景识别定位方法包括:
获取胶囊内窥镜拍摄到的原始消化道图像集中每一帧原始消化道图像相对于相邻的前一帧原始消化道图像的帧旋转信息;
基于胶囊内窥镜的结构参数和帧旋转信息在原始消化道图像集中的每一帧原始消化道图像上截取新增区域图像,构成新增区域图像集;
构建三维管状内壁片段集,其中所述三维管状内壁片段集中每个片段根据胶囊内窥镜的结构参数、帧旋转信息和新增区域图像构建得到;
将所述三维管状内壁片段集中的各个片段依序进行首尾拼接,形成消化道三维全景图像;
在所述消化道三维全景图像中识别出目标区域后,确定目标区域所在的三维管状内壁片段;
根据所述目标区域位于所在三维管状内壁片段的坐标、各个所述三维管状内壁片段的结构长度、帧旋转信息,确定所述目标区域的位置信息。
2.根据权利要求1所述的消化道的三维全景识别定位方法,其特征在于,所述胶囊内窥镜上设置有姿态传感器,获取原始消化道图像集中每一帧原始消化道图像相对于相邻的前一帧原始消化道图像的帧旋转信息的方法包括:
获取姿态传感器采集到的姿态信息集合和姿态传感器的固定采样时间,其中所述姿态信息集合包括连续多个时刻的三轴方向上的旋转角速度;
基于所述姿态信息集合和所述固定采样时间计算得到每一帧原始消化道图像相对于相邻的前一帧原始消化道图像的帧旋转信息。
3.根据权利要求1所述的消化道的三维全景识别定位方法,其特征在于, 获取原始消化道图像集中每一帧原始消化道图像相对于相邻的前一帧原始消化道图像的帧旋转信息的方法包括:
获取每一帧原始消化道图像与前一帧原始消化道图像进行特征匹配,获得若干对特征匹配点;
基于各个所述特征匹配点的像素坐标值构建得到本质矩阵;
基于所述本质矩阵分别得到帧旋转矩阵和平移矩阵的若干个估计值;
根据若干对特征匹配点的其中一对特征匹配点的像素坐标值、帧旋转矩阵和平移矩阵的若干个估计值确定符合预设条件的帧旋转矩阵,作为帧旋转信息。
4.根据权利要求1所述的消化道的三维全景识别定位方法,其特征在于,基于胶囊内窥镜的结构参数和对应帧的帧旋转信息在原始消化道图像集中的每一帧原始消化道图像上截取新增区域图像的方法包括:
根据胶囊内窥镜的结构参数确定每一帧原始消化道图像中的标志投影线;
根据待截取的当前帧原始消化道图像的帧旋转信息计算得到当前帧原始消化道图像与相邻的前一帧原始消化道图像之间的姿态转换值;
根据胶囊内窥镜的结构参数和所述姿态转换值确定所述前一帧原始消化道图像的标志投影线在所述当前帧原始消化道图像中的成像投影线;
截取所述当前帧原始消化道图像中标志投影线和成像投影线之间的图像,作为新增区域图像。
5.根据权利要求4所述的消化道的三维全景识别定位方法,其特征在于,根据胶囊内窥镜的结构参数和所述姿态转换值确定所述前一帧原始消化道图像的标志投影线在所述当前帧原始消化道图像中的成像投影线的方法包括:
根据胶囊内窥镜的结构参数和所述姿态转换值确定所述前一帧原始消化道图像的标志投影线在所述当前帧原始消化道图像中的若干候选投影线;
计算前一帧原始消化道图像的标志投影线以及各所述候选投影线的离散量化像素灰度值序列;
依次计算前一帧原始消化道图像的标志投影线的离散量化像素灰度值序列与各所述候选投影线的离散量化像素灰度值序列之间的莱文斯坦距离;
将符合预设条件的莱文斯坦距离所对应的候选投影线作为成像投影线。
6.根据权利要求4所述的消化道的三维全景识别定位方法,其特征在于,所述三维管状内壁片段为两端开放的斜切圆柱筒体,所述斜切圆柱筒体的顶端所在面为平面,所述斜切圆柱筒体的底端所在面为斜面。
7.根据权利要求6所述的消化道的三维全景识别定位方法,其特征在于,根据胶囊内窥镜的结构参数、帧旋转信息和新增区域图像构建得到所述三维管状内壁片段的方法包括:
根据所述胶囊内窥镜的结构参数、帧旋转信息计算得到所述斜切圆柱筒体的直径、倾斜角度以及斜切圆柱筒体的长度;
根据所述新增区域图像的像素值计算得到所述斜切圆柱筒体的内壁面的像素值。
8.根据权利要求7所述的消化道的三维全景识别定位方法,其特征在于,将所述三维管状内壁片段集中的各个片段依序进行首尾拼接的方法包括:
将每个斜切圆柱筒体的侧壁进行变形处理,使得每个斜切圆柱筒体的顶端所在面调整为与相邻的下一个斜切圆柱筒体的底端所在面匹配,形成变形后的三维管状内壁片段;
将各个变形后的三维管状内壁片段的顶端和底端首尾连接,并且按照各个对应的姿态转换值对各个变形后的三维管状内壁片段进行旋转,形成消化道三维全景图像。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有消化道的三维全景识别定位程序,所述消化道的三维全景识别定位程序被处理器执行时实现权利要求1至8任一项所述的消化道的三维全景识别定位方法。
10.一种计算机设备,其特征在于,所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的消化道的三维全景识别定位程序,所述消化道的三维全景识别定位程序被处理器执行时实现权利要求1至8任一项所述的消化道的三维全景识别定位方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210713965.XA CN114782470B (zh) | 2022-06-22 | 2022-06-22 | 消化道的三维全景识别定位方法、存储介质和设备 |
PCT/CN2023/097186 WO2023246441A1 (zh) | 2022-06-22 | 2023-05-30 | 消化道的三维全景识别定位方法、存储介质和计算机设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210713965.XA CN114782470B (zh) | 2022-06-22 | 2022-06-22 | 消化道的三维全景识别定位方法、存储介质和设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114782470A CN114782470A (zh) | 2022-07-22 |
CN114782470B true CN114782470B (zh) | 2022-09-13 |
Family
ID=82422432
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210713965.XA Active CN114782470B (zh) | 2022-06-22 | 2022-06-22 | 消化道的三维全景识别定位方法、存储介质和设备 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114782470B (zh) |
WO (1) | WO2023246441A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114782470B (zh) * | 2022-06-22 | 2022-09-13 | 浙江鸿禾医疗科技有限责任公司 | 消化道的三维全景识别定位方法、存储介质和设备 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111145238A (zh) * | 2019-12-12 | 2020-05-12 | 中国科学院深圳先进技术研究院 | 单目内窥镜图像的三维重建方法、装置及终端设备 |
CN113287155A (zh) * | 2018-12-06 | 2021-08-20 | 皇家飞利浦有限公司 | 3-d虚拟内窥镜呈现 |
CN114022547A (zh) * | 2021-09-15 | 2022-02-08 | 苏州中科华影健康科技有限公司 | 一种内窥镜图像检测方法、装置、设备及存储介质 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4631057B2 (ja) * | 2004-02-18 | 2011-02-16 | 国立大学法人大阪大学 | 内視鏡システム |
JP6013037B2 (ja) * | 2011-06-23 | 2016-10-25 | 東芝メディカルシステムズ株式会社 | 医用画像処理装置 |
JP5863374B2 (ja) * | 2011-10-11 | 2016-02-16 | 本田技研工業株式会社 | 画像処理方法 |
CN103412401B (zh) * | 2013-06-07 | 2015-05-13 | 中国科学院上海光学精密机械研究所 | 内窥镜和管道内壁三维图像重建方法 |
CN110769731B (zh) * | 2017-06-15 | 2022-02-25 | 奥林巴斯株式会社 | 内窥镜系统、内窥镜用处理系统、图像处理方法 |
DE112020004438T5 (de) * | 2019-09-20 | 2022-06-23 | Hoya Corporation | Prozessor für ein endoskop, programm, informationsverarbeitungsverfahren und informationsverarbeitungsvorrichtung |
US20220337746A1 (en) * | 2019-10-01 | 2022-10-20 | Nec Corporation | Image processing device, control method and storage medium |
KR102294739B1 (ko) * | 2020-01-10 | 2021-08-30 | 주식회사 인트로메딕 | 캡슐 내시경의 위치정보를 기반으로 캡슐 내시경의 위치를 파악하는 시스템 및 방법 |
CN113610887A (zh) * | 2021-05-26 | 2021-11-05 | 江苏势通生物科技有限公司 | 胶囊内窥镜运动拍摄路径的确定方法、存储介质和设备 |
CN113538335A (zh) * | 2021-06-09 | 2021-10-22 | 香港中文大学深圳研究院 | 一种无线胶囊内窥镜的体内相对定位方法和装置 |
CN113808253B (zh) * | 2021-08-31 | 2023-08-15 | 武汉理工大学 | 场景三维重建的动态对象处理方法、系统、设备及介质 |
CN114066781B (zh) * | 2022-01-18 | 2022-05-10 | 浙江鸿禾医疗科技有限责任公司 | 胶囊内窥镜肠道图像的识别定位方法、存储介质和设备 |
CN114782470B (zh) * | 2022-06-22 | 2022-09-13 | 浙江鸿禾医疗科技有限责任公司 | 消化道的三维全景识别定位方法、存储介质和设备 |
-
2022
- 2022-06-22 CN CN202210713965.XA patent/CN114782470B/zh active Active
-
2023
- 2023-05-30 WO PCT/CN2023/097186 patent/WO2023246441A1/zh unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113287155A (zh) * | 2018-12-06 | 2021-08-20 | 皇家飞利浦有限公司 | 3-d虚拟内窥镜呈现 |
CN111145238A (zh) * | 2019-12-12 | 2020-05-12 | 中国科学院深圳先进技术研究院 | 单目内窥镜图像的三维重建方法、装置及终端设备 |
CN114022547A (zh) * | 2021-09-15 | 2022-02-08 | 苏州中科华影健康科技有限公司 | 一种内窥镜图像检测方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
WO2023246441A1 (zh) | 2023-12-28 |
CN114782470A (zh) | 2022-07-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109949899B (zh) | 图像三维测量方法、电子设备、存储介质及程序产品 | |
WO2023138544A1 (zh) | 胶囊内窥镜肠道图像的识别定位方法、存储介质和设备 | |
US6671400B1 (en) | Panoramic image navigation system using neural network for correction of image distortion | |
JP4631057B2 (ja) | 内視鏡システム | |
CN111243093A (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
JP7211621B2 (ja) | 画像生成装置、および画像生成プログラム | |
CN114782470B (zh) | 消化道的三维全景识别定位方法、存储介质和设备 | |
CN108090954A (zh) | 基于图像特征的腹腔环境地图重建与腹腔镜定位的方法 | |
CN103761767A (zh) | 一种基于稀疏数据的三维超声图像快速重建方法 | |
CN115082617A (zh) | 基于多视图优化的管道三维重建方法、装置及存储介质 | |
CN110599501B (zh) | 一种胃肠结构的真实尺度三维重建及可视化方法 | |
JP6888041B2 (ja) | 医用矢状面画像を取得する方法、医用矢状面画像を取得するニューラルネットワークのトレーニング方法及びコンピュータ装置 | |
CN116129037A (zh) | 视触觉传感器及其三维重建方法、系统、设备及存储介质 | |
CN112261399B (zh) | 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质 | |
CN111491157B (zh) | 一种构建手机3d模型引导图像全面采集的方法 | |
Ben-Hamadou et al. | Construction of extended 3D field of views of the internal bladder wall surface: A proof of concept | |
JP6944492B2 (ja) | 画像取得方法、関連装置及び読み取り可能な記憶媒体 | |
CN115619790B (zh) | 一种基于双目定位的混合透视方法、系统及设备 | |
Detchev et al. | Image matching and surface registration for 3D reconstruction of a scoliotic torso | |
WO2023133125A1 (en) | System and method for mapping the skin | |
WO2021114775A1 (en) | Object detection method, object detection device, terminal device, and medium | |
CN116076995B (zh) | 用于胶囊内窥镜的扫描控制方法和扫描控制系统 | |
CN116664394B (zh) | 一种三维人眼图像生成方法及装置、电子设备、存储介质 | |
JP2004170277A (ja) | 3次元計測方法、3次元計測システム、画像処理装置、及びコンピュータプログラム | |
CN116228811A (zh) | 运动轨迹的生成方法、装置、终端及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right |
Effective date of registration: 20240117 Address after: Floor 4, C6, Jianghai Zhihui Park, No. 266 New Century Avenue, Nantong High tech Zone, Nantong City, Jiangsu Province, 226000 Patentee after: Jiangsu Shitong Biotechnology Co.,Ltd. Address before: 314000 office 3-1, 16th floor, building 1, Jiaxing Photovoltaic Science and Innovation Park, 1288 Kanghe Road, Xiuzhou District, Jiaxing City, Zhejiang Province Patentee before: Zhejiang Honghe Medical Technology Co.,Ltd. |
|
TR01 | Transfer of patent right |