CN114782470A - 消化道的三维全景识别定位方法、存储介质和设备 - Google Patents

消化道的三维全景识别定位方法、存储介质和设备 Download PDF

Info

Publication number
CN114782470A
CN114782470A CN202210713965.XA CN202210713965A CN114782470A CN 114782470 A CN114782470 A CN 114782470A CN 202210713965 A CN202210713965 A CN 202210713965A CN 114782470 A CN114782470 A CN 114782470A
Authority
CN
China
Prior art keywords
digestive tract
image
frame
original
dimensional
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210713965.XA
Other languages
English (en)
Other versions
CN114782470B (zh
Inventor
李鹏
马婷
胡峰
刘一君
吴建芳
刘揆亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Shitong Biotechnology Co ltd
Original Assignee
Zhejiang Honghe Medical Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Honghe Medical Technology Co ltd filed Critical Zhejiang Honghe Medical Technology Co ltd
Priority to CN202210713965.XA priority Critical patent/CN114782470B/zh
Publication of CN114782470A publication Critical patent/CN114782470A/zh
Application granted granted Critical
Publication of CN114782470B publication Critical patent/CN114782470B/zh
Priority to PCT/CN2023/097186 priority patent/WO2023246441A1/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Endoscopes (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种消化道的三维全景识别定位方法、存储介质和设备。该方法包括：获取原始消化道图像集中每一帧原始消化道图像相对于相邻的前一帧原始消化道图像的帧旋转信息；基于胶囊内窥镜的结构参数和帧旋转信息在每一帧原始消化道图像上截取新增区域图像，构成新增区域图像集；构建三维管状内壁片段集，其中三维管状内壁片段集中每个片段根据胶囊内窥镜的结构参数、帧旋转信息和新增区域图像构建得到；将三维管状内壁片段集中的各个片段依序进行首尾拼接，形成消化道三维全景图像；确定目标区域所在的三维管状内壁片段并确定目标区域的位置信息。该方法的阅片、诊断的整个过程比较直观、便捷，且能快速、精准地确定目标区域的位置。

Description

消化道的三维全景识别定位方法、存储介质和设备
技术领域
本发明属于医疗设备成像技术领域，具体地讲，涉及一种消化道的三维全景识别定位方法、计算机可读存储介质、计算机设备。
背景技术
胶囊内窥镜是一种医疗器械设备，胶囊内窥镜将图像采集、无线传输等核心功能集成于一个可被人体吞咽的胶囊内，在进行检查过程中，将胶囊内窥镜吞入体内，内窥镜在体内采集消化道图像并同步传送到体外，以根据获得的图像数据进行医疗检查和诊断。
胶囊内窥镜在小肠内工作过程中会采集并传输数万张图像。传统的诊断方法和流程是将这数万张图像通过图片播放或者视频播放的方式呈现给医务工作者进行观察，整个过程耗时长。同时，对二维图像进行阅片，医务工作者也无法直观地观察可疑病灶等目标区域在消化道中的大致位置，更无法确定目标区域在消化道中的准确位置，极大影响了消化道内窥镜的使用和诊断效率。
发明内容
（一）本发明所要解决的技术问题
本发明解决的技术问题是：如何快速、直观地观察消化道中的目标区域并确定该目标区域的位置。
（二）本发明所采用的技术方案
一种消化道的三维全景识别定位方法，所述三维全景识别定位方法包括：
获取胶囊内窥镜拍摄到的原始消化道图像集中每一帧原始消化道图像相对于相邻的前一帧原始消化道图像的帧旋转信息；
基于胶囊内窥镜的结构参数和帧旋转信息在原始消化道图像集中的每一帧原始消化道图像上截取新增区域图像，构成新增区域图像集；
构建三维管状内壁片段集，其中所述三维管状内壁片段集中每个片段根据胶囊内窥镜的结构参数、帧旋转信息和新增区域图像构建得到；
将所述三维管状内壁片段集中的各个片段依序进行首尾拼接，形成消化道三维全景图像；
在所述消化道三维全景图像中识别出目标区域后，确定目标区域所在的三维管状内壁片段；
根据所述目标区域位于所在三维管状内壁片段的坐标、各个所述三维管状内壁片段的结构长度、帧旋转信息，确定所述目标区域的位置信息。
优选地，所述胶囊内窥镜上设置有姿态传感器，获取原始消化道图像集中每一帧原始消化道图像相对于相邻的前一帧原始消化道图像的帧旋转信息的方法包括：
获取姿态传感器采集到的姿态信息集合和姿态传感器的固定采样时间，其中所述姿态信息集合包括连续多个时刻的三轴方向上的旋转角速度；
基于所述姿态信息集合和所述固定采样时间计算得到每一帧原始消化道图像相对于相邻的前一帧原始消化道图像的帧旋转信息。
优选地，获取原始消化道图像集中每一帧原始消化道图像相对于相邻的前一帧原始消化道图像的帧旋转信息的方法包括：
获取每一帧原始消化道图像与前一帧原始消化道图像进行特征匹配，获得若干对特征匹配点；
基于各个所述特征匹配点的像素坐标值构建得到本质矩阵；
基于所述本质矩阵分别得到帧旋转矩阵和平移矩阵的若干个估计值；
根据若干对特征匹配点的其中一对特征匹配点的像素坐标值、帧旋转矩阵和平移矩阵的若干个估计值确定符合预设条件的帧旋转矩阵，作为帧旋转信息。
优选地，基于胶囊内窥镜的结构参数和对应帧的帧旋转信息在原始消化道图像集中的每一帧原始消化道图像上截取新增区域图像的方法包括：
根据胶囊内窥镜的结构参数确定每一帧原始消化道图像中的标志投影线；
根据待截取的当前帧原始消化道图像的帧旋转信息计算得到当前帧原始消化道图像与相邻的前一帧原始消化道图像之间的姿态转换值；
根据胶囊内窥镜的结构参数和所述姿态转换值确定所述前一帧原始消化道图像的标志投影线在所述当前帧原始消化道图像中的成像投影线；
截取所述当前帧原始消化道图像中标志投影线和成像投影线之间的图像，作为新增区域图像。
优选地，根据胶囊内窥镜的结构参数和所述姿态转换值确定所述前一帧原始消化道图像的标志投影线在所述当前帧原始消化道图像中的成像投影线的方法包括：
根据胶囊内窥镜的结构参数和所述姿态转换值确定所述前一帧原始消化道图像的标志投影线在所述当前帧原始消化道图像中的若干候选投影线；
计算前一帧原始消化道图像的标志投影线以及各所述候选投影线的离散量化像素灰度值序列；
依次计算前一帧原始消化道图像的标志投影线的离散量化像素灰度值序列与各所述候选投影线的离散量化像素灰度值序列之间的莱文斯坦距离；
将符合预设条件的莱文斯坦距离所对应的候选投影线作为成像投影线。
优选地，所述三维管状内壁片段为两端开放的斜切圆柱筒体，所述斜切圆柱筒体的顶端所在面为平面，所述斜切圆柱筒体的底端所在面为斜面。
优选地，根据胶囊内窥镜的结构参数、帧旋转信息和新增区域图像构建得到所述三维管状内壁片段的方法包括：
根据所述胶囊内窥镜的结构参数、帧旋转信息计算得到所述斜切圆柱筒体的直径、倾斜角度以及斜切圆柱筒体的长度；
根据所述新增区域图像的像素值计算得到所述斜切圆柱筒体的内壁面的像素值。
优选地，将所述三维管状内壁片段集中的各个片段依序进行首尾拼接的方法包括：
将每个斜切圆柱筒体的侧壁进行变形处理，使得每个斜切圆柱筒体的顶端所在面调整为与相邻的下一个斜切圆柱筒体的底端所在面匹配，形成变形后的三维管状内壁片段；
将各个变形后的三维管状内壁片段的顶端和底端首尾连接，并且按照各个对应的姿态转换值对各个变形后的三维管状内壁片段进行旋转，形成消化道三维全景图像。
本申请还公开了一种计算机可读存储介质，所述计算机可读存储介质存储有消化道的三维全景识别定位程序，所述消化道的三维全景识别定位程序被处理器执行时实现上述的消化道的三维全景识别定位方法。
本申请还公开了一种计算机设备，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的消化道的三维全景识别定位程序，所述消化道的三维全景识别定位程序被处理器执行时实现上述的消化道的三维全景识别定位方法。
（三）有益效果
本发明公开的一种消化道的三维全景识别定位方法，相对于传统方法，具有如下技术效果：
通过将原始肠道图片拼接形成肠道全景图片，使得阅片、诊断的整个过程比较直观、便捷，且能快速、精准地确定目标区域的位置。
附图说明
图1为本发明的实施例一的消化道的三维全景识别定位方法的流程图；
图2为本发明的实施例一的胶囊内窥镜中的测量部件示意图；
图3为本发明的实施例一的原始消化道图像的示意图；
图4为本发明的实施例一的胶囊内窥镜的成像原理示意图；
图5为本发明的实施例一的原始消化道图像中的投影线示意图；
图6为本发明的实施例一的胶囊内窥镜的姿态转换示意图；
图7为本发明的实施例一的三维管状内壁片段的示意图；
图8为本发明的实施例一的三维管状内壁片段的像素参数计算过程示意图；
图9为本发明的实施例一的三维管状内壁片段进行变形处理的示意图；
图10为本发明的实施例一的各个三维管状内壁片段的拼接过程示意图；
图11为本发明的实施例一的消化道的三维全景识别定位方法的过程示意图；
图12为本发明的实施例二的计算机设备示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在详细描述本申请的各个实施例之前，首先简单描述本申请的技术构思：现有技术中根据胶囊内窥镜拍摄的肠道图像进行识别和诊断，主要通过视频或图像阅片的方式，由于图像数量较大，整个阅片过程耗时较长，且直观地观察目标区域在消化道中的大致位置以及无法确定目标区域的精确位置。为此，本申请提供的消化道的三维全景识别定位方法，该方法主要步骤是在每帧原始消化道图像上截取新增区域图像，并结合胶囊内窥镜的结构参数、相邻两帧原始消化道图像之间帧旋转信息重建得到三维管状内壁片段，将各个三维管状内壁片段进行拼接得到消化道三维全景图像，在消化道三维全景图像中识别出目标区域后，进一步确定目标区域的位置信息。该方法的阅片、诊断的整个过程比较直观、便捷，且能快速、精准地确定目标区域的位置。
具体来说，如图1所示，本实施例一的消化道的三维全景识别定位方法包括如下步骤：
步骤S10、获取胶囊内窥镜拍摄到的原始消化道图像集中每一帧原始消化道图像相对于相邻的前一帧原始消化道图像的帧旋转信息；
步骤S20、基于胶囊内窥镜的结构参数和帧旋转信息在原始消化道图像集中的每一帧原始消化道图像上截取新增区域图像，构成新增区域图像集；
步骤S30、构建三维管状内壁片段集，其中所述三维管状内壁片段集中每个片段根据胶囊内窥镜的结构参数、帧旋转信息和新增区域图像构建得到；
步骤S40、将所述三维管状内壁片段集中的各个片段依序进行首尾拼接，形成消化道三维全景图像；
步骤S50、在所述消化道三维全景图像中识别出目标区域后，确定目标区域所在的三维管状内壁片段；
步骤S60、根据所述目标区域位于所在三维管状内壁片段的坐标、各个所述三维管状内壁片段的结构长度、帧旋转信息，确定所述目标区域的位置信息。
在对各个步骤详细说明之前，先对胶囊内窥镜的基本结构和工作过程进行说明。 如图2所示，胶囊内窥镜上的测量部件10由胶囊透明盖101、位于胶囊弧形分割线102a以内 的图像采集模块103。胶囊内窥镜的部分结构参数包括胶囊内径R1，外径R2，中心轴线为a。 图像采集模块103的视角延伸线与胶囊外壳相交于102b。图像采集模块103的成像光心为O， 成像模型的内参数为K。使用者在相应的准备工作完成后，将带有测量部件10的胶囊内窥镜 吞服进入消化道，胶囊内窥镜在消化道中进行影像采集，并将采集得到的数据进行存储或 发送给使用者携带的体外设备，完成检查后，将检查过程中采集到的数据进行处理。所述待 处理的数据为一系列由图像采集模块103拍摄的原始消化道图像集
Figure 947237DEST_PATH_IMAGE001
以及 以固定采样时间
Figure 417533DEST_PATH_IMAGE002
采集的姿态数据
Figure 85274DEST_PATH_IMAGE003
。
其中，原始消化道图像集中的每帧原始消化道图像如图3中的20所示，其中图像传 感器边框，即最大成像区域201确定了图像传感器所能采集的最大图像，最大成像区域201 内具有胶囊外壳101在图像传感器上的成像投影边界202，以及胶囊弧形分割线102a在图像 传感器上的成像投影边界203。根据图像传感器103在胶囊中的安装方向，原始消化道图像 20具有两个正交的平面方向轴
Figure 222995DEST_PATH_IMAGE004
和
Figure 685200DEST_PATH_IMAGE005
，分别沿着单帧原始消化道图像20的两条矩形边，并 以单帧原始消化道图像20的中心为原点。
进一步地，测量部件10中还集成有姿态传感器104，姿态传感器104优选为陀螺仪。 由姿态传感器104采集的校准后的姿态信息集合
Figure 908371DEST_PATH_IMAGE006
，总的检查运行时 间为
Figure 645383DEST_PATH_IMAGE007
。姿态信息集合
Figure 637609DEST_PATH_IMAGE008
中每一单元数据包含三轴方向上的旋转角速 度具有如下的形式：
Figure 270716DEST_PATH_IMAGE009
其中，
Figure 981183DEST_PATH_IMAGE010
为姿态传感器104获取的
Figure 990727DEST_PATH_IMAGE011
轴的旋转角速度，
Figure 583600DEST_PATH_IMAGE012
为姿态传感器104 获取的
Figure 918767DEST_PATH_IMAGE013
轴的旋转角速度，
Figure 850951DEST_PATH_IMAGE014
为姿态传感器104获取的胶囊中心轴线
Figure 664186DEST_PATH_IMAGE015
轴的旋转角速 度。
原始消化道图像集
Figure 365426DEST_PATH_IMAGE016
中单帧图像具有时间戳
Figure 340335DEST_PATH_IMAGE017
，即原 始消化道图像帧
Figure 25394DEST_PATH_IMAGE018
具有时间戳
Figure 376741DEST_PATH_IMAGE019
，将图像
Figure 198066DEST_PATH_IMAGE018
的采集时间标识为
Figure 609456DEST_PATH_IMAGE020
。
在步骤S10中，获取帧旋转信息的方法有两种，一是基于姿态传感器104采集到的数据来获取，二是通过图像之间的特征匹配来获得。
对于第一种方式，首先基于采集的
Figure 250653DEST_PATH_IMAGE021
数据，计算姿态传感器104第
Figure 671270DEST_PATH_IMAGE022
次采样 时，相对于第
Figure 347102DEST_PATH_IMAGE023
次采样的胶囊姿态旋转矩阵：
Figure 929393DEST_PATH_IMAGE024
其中，
Figure 323465DEST_PATH_IMAGE025
。
接着，计算原始消化道图像集
Figure 16615DEST_PATH_IMAGE016
中，第
Figure 812533DEST_PATH_IMAGE026
张图像相对于第
Figure 300146DEST_PATH_IMAGE027
张图像的胶囊姿态旋 转转矩阵
Figure 181514DEST_PATH_IMAGE028
，这里的旋转转矩阵即为帧旋转信息。其中，
Figure 943934DEST_PATH_IMAGE029
。
对于第二种方式，首先获取每一帧原始消化道图像
Figure 594358DEST_PATH_IMAGE018
与前一帧原始消化道图像
Figure 518452DEST_PATH_IMAGE030
进行特征匹配，获得若干对特征匹配点。具体可采用匹配方法可采用SIFT、SURF或ORB算法， 并采用RANSAC对获得的匹配特征点进行筛选，最终获得
Figure 621537DEST_PATH_IMAGE031
对匹配特征点
Figure 656489DEST_PATH_IMAGE032
和
Figure 426999DEST_PATH_IMAGE033
，分别属于前一帧原始消化道图像
Figure 521994DEST_PATH_IMAGE030
和当前帧原 始消化道图像帧
Figure 112375DEST_PATH_IMAGE018
，各特征匹配点的图像像素坐标为：
Figure 951018DEST_PATH_IMAGE034
进一步地，基于各个所述特征匹配点的像素坐标值构建得到本质矩阵E。具体来说，令
Figure 841614DEST_PATH_IMAGE035
使用最小二乘法求解
Figure 107510DEST_PATH_IMAGE036
，即
Figure 185187DEST_PATH_IMAGE037
构建本质矩阵
Figure 561942DEST_PATH_IMAGE038
，即
Figure 41465DEST_PATH_IMAGE039
接着，基于本质矩阵分别得到帧旋转矩阵
Figure 478263DEST_PATH_IMAGE040
和平移矩阵
Figure 43236DEST_PATH_IMAGE041
的若干个估计值：
Figure 223682DEST_PATH_IMAGE042
其中，
Figure 557711DEST_PATH_IMAGE043
为
Figure 165410DEST_PATH_IMAGE038
的左奇异矩阵，
Figure 483259DEST_PATH_IMAGE044
为
Figure 201816DEST_PATH_IMAGE038
的右奇异矩阵，
Figure 655931DEST_PATH_IMAGE045
表示本质矩阵
Figure 434531DEST_PATH_IMAGE038
的特征矩 阵，
Figure 974097DEST_PATH_IMAGE046
表示沿
Figure 496345DEST_PATH_IMAGE047
轴旋转
Figure 804967DEST_PATH_IMAGE048
角度的旋转矩阵。
最后，根据若干对特征匹配点的其中一对特征匹配点的像素坐标值、帧旋转矩阵 和平移矩阵的若干个估计值确定符合预设条件的帧旋转矩阵，作为帧旋转信息。具体来说， 从P对匹配特征点筛选任意一对，并与帧旋转矩阵
Figure 754468DEST_PATH_IMAGE040
和平移矩阵
Figure 781330DEST_PATH_IMAGE041
构造如下形式的矩阵：
Figure 107269DEST_PATH_IMAGE049
将帧旋转矩阵
Figure 270397DEST_PATH_IMAGE040
和平移矩阵
Figure 656379DEST_PATH_IMAGE050
的不同估计值代入到上式中，当若获取的矩阵
Figure 904958DEST_PATH_IMAGE051
的 所有元素为正时，则所选取的
Figure 769009DEST_PATH_IMAGE052
保留作为第
Figure 52223DEST_PATH_IMAGE053
张图像帧的帧旋转矩阵和平移矩阵
Figure 343527DEST_PATH_IMAGE054
，
Figure 79402DEST_PATH_IMAGE055
，即此时的帧旋转矩阵
Figure 747143DEST_PATH_IMAGE056
作为帧旋转信息。
在步骤S20中，基于胶囊内窥镜的结构参数和对应帧的帧旋转信息在原始消化道图像集中的每一帧原始消化道图像上截取新增区域图像的方法包括如下步骤：
步骤S201、根据胶囊内窥镜的结构参数确定每一帧原始消化道图像中的标志投影线；
步骤S202、根据待截取的当前帧原始消化道图像的帧旋转信息计算得到当前帧原始消化道图像与相邻的前一帧原始消化道图像之间的姿态转换值；
步骤S203、根据胶囊内窥镜的结构参数和所述姿态转换值确定所述前一帧原始消化道图像的标志投影线在所述当前帧原始消化道图像中的成像投影线；
步骤S204、截取所述当前帧原始消化道图像中标志投影线和成像投影线之间的图像，作为新增区域图像。
首先对原始消化道图像中的投影线进行说明。如图4示出了胶囊内窥镜采集图像的成像过程，其中胶囊弧形分割线102a，图像采集模块视角与胶囊外壳交线102b，图像采集模块103的成像平面103a。图像采集模块光心为O点，胶囊轴线a轴与102a交点为E，与102b交点为D，与成像平面103a交点为C。
令
Figure 884864DEST_PATH_IMAGE057
。
则有如下关系：
Figure 612648DEST_PATH_IMAGE058
可以解得：
Figure 835819DEST_PATH_IMAGE059
则对于胶囊外壳上位于102a与102b之间的任意点X，具有在103a上的成像点Y，令
Figure 41672DEST_PATH_IMAGE060
，
Figure 33899DEST_PATH_IMAGE061
，则
Figure 932585DEST_PATH_IMAGE062
，进而求得
Figure 643052DEST_PATH_IMAGE063
Figure 387017DEST_PATH_IMAGE064
表示投影线上的投影点到图像中心C的距离（或者说是投影圆的半径），反映了 图4中的两点FX与投影圆半径之间的关系r=g(hx)。换句话说，知道了
Figure 499330DEST_PATH_IMAGE065
就可以算出投影点 所在投影圆的半径
Figure 568917DEST_PATH_IMAGE064
。
需要说明的是，在理想情况下，胶囊内窥镜无偏转，得到的投影线是圆形，实际情况中由于胶囊内窥镜发生偏转，形成的投影线为类椭圆形。同时还需要说明的是，胶囊内窥镜在行进过程中与肠道等消化道的内壁贴合，即两点FX与消化道内壁贴合，两点FX的成像相当于是消化道内壁的成像，当然若胶囊内窥镜为贴合内壁，即两点FX与内壁间隔，其成像原理也是相同的。这里为了简化描述，以透明盖上的点的成像来说说明成像过程。
示例性地，本实施例一原始消化道图像中的标志投影线优选为胶囊弧形分界线 102a在成像平面的投影。如图5所示，前一帧原始消化道图像
Figure 766680DEST_PATH_IMAGE030
的标志投影线为301，当前 帧原始消化道图像
Figure 302617DEST_PATH_IMAGE066
的标志投影线为303。302表示前一帧原始消化道图像
Figure 269436DEST_PATH_IMAGE030
的标志投影 线301在当前帧原始消化道图像
Figure 509925DEST_PATH_IMAGE066
中的成像投影线。需要说明的是，本实施例一的胶囊内 窥镜的拍摄方向与移动方向相同，即胶囊内窥镜在前进过程中，对其前方的肠道内壁进行 拍摄，因此成像投影线302在标志投影线301或303之外。本说明书所述的技术方法同样适用 于胶囊内窥镜的拍摄方向与移动方向相反的情形。同时由于胶囊内窥镜在拍摄过程中发生 偏转，成像投影线302呈类椭圆形，因此需要结合图像之间的帧旋转信息来确定成像投影线 302。
如图6所示，前一帧原始消化道图像
Figure 929405DEST_PATH_IMAGE067
到当前帧原始消化道图像
Figure 280752DEST_PATH_IMAGE066
的帧旋转矩 阵为
Figure 367656DEST_PATH_IMAGE068
，对应将前一帧原始消化道图像
Figure 513467DEST_PATH_IMAGE067
时刻的胶囊轴线轴a旋转至向量
Figure 685822DEST_PATH_IMAGE069
，向量
Figure 309702DEST_PATH_IMAGE069
与
Figure 516692DEST_PATH_IMAGE067
时刻胶囊轴线轴a的夹角为
Figure 98983DEST_PATH_IMAGE070
，向量
Figure 493055DEST_PATH_IMAGE069
在
Figure 186205DEST_PATH_IMAGE071
平面投影与
Figure 716543DEST_PATH_IMAGE072
轴夹角为
Figure 469736DEST_PATH_IMAGE073
。
令帧旋转矩阵
Figure 351104DEST_PATH_IMAGE074
的各个元素分别是：
Figure 113524DEST_PATH_IMAGE075
则可得
Figure 763948DEST_PATH_IMAGE076
在步骤S202中姿态转换值包括上述的
Figure 422462DEST_PATH_IMAGE077
和
Figure 791127DEST_PATH_IMAGE078
。
在图4中，当前帧原始消化道图像
Figure 826079DEST_PATH_IMAGE018
具有中心点C，沿中心点C具有与
Figure 596589DEST_PATH_IMAGE079
轴夹角
Figure 426005DEST_PATH_IMAGE080
的直线，与成像投影线相交于P点和Q点。定义P点具有距离参数
Figure 281965DEST_PATH_IMAGE081
，定义所述投影曲线方 程为以C点为原点的极坐标形式
Figure 120608DEST_PATH_IMAGE082
。定义P点具有距离参数
Figure 480045DEST_PATH_IMAGE081
，定义投影曲线方程 为以C点为原点的极坐标形式
Figure 11521DEST_PATH_IMAGE082
。因此，成像投影线302在距离参数
Figure 89198DEST_PATH_IMAGE081
条件下的极 坐标方程为：
Figure 731532DEST_PATH_IMAGE083
其中，在步骤S203中，确定成像投影线的过程如下：
步骤S2031、根据胶囊内窥镜的结构参数和所述姿态转换值确定所述前一帧原始消化道图像的标志投影线在所述当前帧原始消化道图像中的若干候选投影线。
具体来讲，令候选投影线搜寻空间大小为
Figure 211055DEST_PATH_IMAGE084
，
Figure 647853DEST_PATH_IMAGE084
越大，搜寻时间越长，
Figure 212826DEST_PATH_IMAGE084
越小，搜 寻精确度越低。示例性地，设置
Figure 393272DEST_PATH_IMAGE085
，则令
Figure 727301DEST_PATH_IMAGE086
，则若干候选投影线构成的 集合为：
Figure 335000DEST_PATH_IMAGE087
其中，
Figure 387270DEST_PATH_IMAGE088
。
步骤S2032、计算前一帧原始消化道图像的标志投影线以及各所述候选投影线的离散量化像素灰度值序列；
标志投影线为301的离散量化像素灰度值序列
Figure 105827DEST_PATH_IMAGE089
，计算公式如下：
Figure 825521DEST_PATH_IMAGE090
，其中K为量化精度，越大的K对应越精确的搜索，但 是运算速度会下降，优选地，K=128。
Figure 604121DEST_PATH_IMAGE091
为前一帧原始消化道图像
Figure 143687DEST_PATH_IMAGE092
中的像素
Figure 665935DEST_PATH_IMAGE093
的灰度值，且 满足
Figure 974557DEST_PATH_IMAGE094
，Q为量化刻度，
Figure 924058DEST_PATH_IMAGE095
，越大的Q 值对应越快的计算效率，但是精度会下降，优选的，Q=26。
计算当前帧原始消化道图像
Figure 685341DEST_PATH_IMAGE096
中，位于候选投影线上的像素点的离散量化像素灰 度序列
Figure 11280DEST_PATH_IMAGE097
：
Figure 174408DEST_PATH_IMAGE098
，其中
Figure 294811DEST_PATH_IMAGE099
为当前帧原始消化道图像
Figure 74548DEST_PATH_IMAGE100
中的像素
Figure 938599DEST_PATH_IMAGE101
的灰度值，且满足
Figure 956233DEST_PATH_IMAGE102
。
步骤S2033、依次计算前一帧原始消化道图像的标志投影线的离散量化像素灰度值序列与各所述候选投影线的离散量化像素灰度值序列之间的莱文斯坦距离。
通过莱文斯坦距离来评估候选投影线与标志投影线之间的相似性，
Figure 513117DEST_PATH_IMAGE103
其中，
Figure 248992DEST_PATH_IMAGE104
表示计算序列a和b的莱文斯坦距离。
步骤S2034、将符合预设条件的莱文斯坦距离所对应的候选投影线作为成像投影线。
具体，设置相似性阈值
Figure 916733DEST_PATH_IMAGE105
，选择候选投影线集合其中之一的投影线
Figure 788874DEST_PATH_IMAGE106
作为成像投影线，且成像投影线满足如下条件：
Figure 516659DEST_PATH_IMAGE107
在步骤S204截取当前帧原始消化道图像
Figure 739830DEST_PATH_IMAGE108
中标志投影线303和成像投影线302之 间的图像作为新增区域图像
Figure 945683DEST_PATH_IMAGE109
，构成新增区域图像集
Figure 937910DEST_PATH_IMAGE110
。
在步骤S30中，三维管状内壁片段的重建主要包括三维管状内壁片段的结构参数和像素参数两部分的构建。
具体来说，如图7所示，三维管状内壁片段为两端开放的斜切圆柱筒体，斜切圆柱筒体的顶端所在面为平面，斜切圆柱筒体的底端所在面为斜面。在理想情况下，当胶囊内窥镜无偏转时，拍摄的三维管状内壁片段应为正圆筒体，当胶囊内窥镜偏向一侧时，拍摄得到三维管状内壁片段为图7所示的一侧较长另一侧较短的斜切圆柱筒体。
其中，三维管状内壁片段的结构参数包括斜切圆柱筒体的直径、倾斜角度
Figure 836596DEST_PATH_IMAGE111
以及 斜切圆柱筒体的长度。斜切圆柱筒体的顶端所在面为平面，平面为以
Figure 547063DEST_PATH_IMAGE112
圆心的圆形顶面，斜 切圆柱筒体的底端所在面为斜面，斜面为以具有以
Figure 556607DEST_PATH_IMAGE113
为中心的椭圆底面。椭圆底面的长轴 顶点分别为
Figure 668920DEST_PATH_IMAGE114
和
Figure 472928DEST_PATH_IMAGE115
，与其对应的圆柱侧棱分别为
Figure 670691DEST_PATH_IMAGE116
以及
Figure 218347DEST_PATH_IMAGE117
。其中：
Figure 185166DEST_PATH_IMAGE118
在上式中，斜切圆柱筒体的直径为
Figure 160075DEST_PATH_IMAGE119
，斜切圆柱筒体的长度为
Figure 856853DEST_PATH_IMAGE120
。
对于斜切圆柱筒体的柱面上的任意点X，其在以
Figure 208200DEST_PATH_IMAGE112
为圆心的圆形顶面投影为X’，
Figure 29525DEST_PATH_IMAGE121
与
Figure 440915DEST_PATH_IMAGE122
的夹角为
Figure 347691DEST_PATH_IMAGE123
，点X的坐标为
Figure 237150DEST_PATH_IMAGE124
，且满足
Figure 178561DEST_PATH_IMAGE125
根据所述新增区域图像的像素值
Figure 760852DEST_PATH_IMAGE126
与斜切圆柱筒体内壁面的X点的像素值
Figure 889345DEST_PATH_IMAGE127
像素值具有如下关系：
Figure 848074DEST_PATH_IMAGE128
，
且
Figure 643992DEST_PATH_IMAGE129
，其中，
Figure 397184DEST_PATH_IMAGE130
因此，计算上述的结构参数和像素参数之后，即得到三维管状内壁片段
Figure 278552DEST_PATH_IMAGE131
，构成三 维管状内壁片段集
Figure 509814DEST_PATH_IMAGE132
。
进一步地，在步骤S40中，首先将每个斜切圆柱筒体的侧壁进行变形处理，使得每个斜切圆柱筒体的顶端所在面调整为与相邻的下一个斜切圆柱筒体的底端所在面匹配，形成变形后的三维管状内壁片段。
图9所示为图8所述三维管状内壁片段
Figure 160238DEST_PATH_IMAGE133
沿
Figure 84331DEST_PATH_IMAGE134
平面的截面图，其中
Figure 452996DEST_PATH_IMAGE135
为当前 帧原始消化道图像
Figure 487948DEST_PATH_IMAGE018
时刻胶囊的轴线轴
Figure 992879DEST_PATH_IMAGE136
为下一帧原始消化道图像
Figure 353453DEST_PATH_IMAGE137
时刻胶囊的轴线 轴，两图像帧具有旋转矩阵
Figure 209413DEST_PATH_IMAGE138
，对应姿态转换生成的轴线轴偏转角度
Figure 782477DEST_PATH_IMAGE139
。所述变形处理 为将三维管状内壁片段
Figure 407494DEST_PATH_IMAGE133
的顶端平面401变换为变形后的三维管状内壁片段
Figure 673390DEST_PATH_IMAGE140
的顶端平 面402。所述两个平面的中心点
Figure 751067DEST_PATH_IMAGE141
保持不变。变形处理中，三维管状内壁片段侧壁的像素按 照棱的伸缩进行拉伸与压缩。优选的，拉伸变形进行像素插值填充。
接着，将各个变形后的三维管状内壁片段的顶端和底端首尾连接，并且按照各个对应的姿态转换值对各个对各个变形后的三维管状内壁片段进行旋转，形成消化道三维全景图像。
如图10所示，选取三维管状内壁片段
Figure 393401DEST_PATH_IMAGE142
和
Figure 872924DEST_PATH_IMAGE143
，两者分别具有下底面中心
Figure 309722DEST_PATH_IMAGE144
和
Figure 874695DEST_PATH_IMAGE145
，以及上顶面中心
Figure 789562DEST_PATH_IMAGE146
和
Figure 654749DEST_PATH_IMAGE147
。拼接时，将
Figure 262448DEST_PATH_IMAGE143
下底面中心
Figure 314718DEST_PATH_IMAGE145
与
Figure 33275DEST_PATH_IMAGE142
的上顶面中心
Figure 487390DEST_PATH_IMAGE146
重合。将
Figure 265990DEST_PATH_IMAGE148
的轴线轴
Figure 805556DEST_PATH_IMAGE149
相对
Figure 327804DEST_PATH_IMAGE150
的轴线轴
Figure 902005DEST_PATH_IMAGE151
偏转
Figure 585927DEST_PATH_IMAGE152
角度，将
Figure 612789DEST_PATH_IMAGE143
的
Figure 673149DEST_PATH_IMAGE072
轴相对
Figure 101856DEST_PATH_IMAGE142
的
Figure 222259DEST_PATH_IMAGE072
轴偏转
Figure 736417DEST_PATH_IMAGE153
角度。以此类推完成所有
Figure 600468DEST_PATH_IMAGE154
的操作，生成消化道三维全景图像。
进一步地，在步骤S50中，当使用者在平移、旋转和缩放进行病灶识别与判断后，确 定目标区域，当使用者点击目标区域时，可以确定目标区域所在的三维管状内壁片段
Figure 618102DEST_PATH_IMAGE143
以 及对应的原始消化道图像
Figure 174986DEST_PATH_IMAGE155
。
在步骤S60中，建立空间坐标系，该空间坐标系为以第一帧原始消化道图像
Figure 910861DEST_PATH_IMAGE156
的中 心作为原点的笛卡尔坐标系。计算三维管状内壁片段
Figure 578602DEST_PATH_IMAGE157
下底面中心
Figure 450743DEST_PATH_IMAGE158
在空间坐标系中 的坐标作为全局坐标：
Figure 444107DEST_PATH_IMAGE159
进一步，则可根据图8所示三维管状内壁片段计算目标区域
Figure 401699DEST_PATH_IMAGE160
的局部坐标。
目标区域X的局部极坐标为
Figure 873132DEST_PATH_IMAGE161
，则目标区域X的局部笛卡尔坐标为
Figure 865358DEST_PATH_IMAGE162
计算目标区域X的最终坐标为
Figure 498465DEST_PATH_IMAGE163
，继而获得目标区域
Figure 208932DEST_PATH_IMAGE164
的位置信 息。
图11示出了对原始消化道图像进行处理到最后定位到目标区域的整体过程。
本实施例二还公开了一种计算机可读存储介质，计算机可读存储介质存储有消化道的三维全景识别定位程序，所述消化道的三维全景识别定位程序被处理器执行时实现上述的消化道的三维全景识别定位方法。
本实施例三还公开了一种计算机设备，在硬件层面，如图12所示，该计算机设备包括处理器12、内部总线13、网络接口14、计算机可读存储介质11。处理器12从计算机可读存储介质中读取对应的计算机程序然后运行，在逻辑层面上形成请求处理装置。当然，除了软件实现方式之外，本说明书一个或多个实施例并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。计算机可读存储介质11上存储有消化道的三维全景识别定位程序，所述消化道的三维全景识别定位程序被处理器执行时实现上述的消化道的三维全景识别定位方法。
计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括，但不限于相变内存（PRAM）、静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）、其他类型的随机存取存储器（RAM）、只读存储器（ROM）、电可擦除可编程只读存储器（EEPROM）、快闪记忆体或其他内存技术、只读光盘只读存储器（CD-ROM）、数字多功能光盘（DVD）或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
上面对本发明的具体实施方式进行了详细描述，虽然已表示和描述了一些实施例，但本领域技术人员应该理解，在不脱离由权利要求及其等同物限定其范围的本发明的原理和精神的情况下，可以对这些实施例进行修改和完善，这些修改和完善也应在本发明的保护范围内。

Claims (10)

1.一种消化道的三维全景识别定位方法，其特征在于，所述三维全景识别定位方法包括：
获取胶囊内窥镜拍摄到的原始消化道图像集中每一帧原始消化道图像相对于相邻的前一帧原始消化道图像的帧旋转信息；
基于胶囊内窥镜的结构参数和帧旋转信息在原始消化道图像集中的每一帧原始消化道图像上截取新增区域图像，构成新增区域图像集；
构建三维管状内壁片段集，其中所述三维管状内壁片段集中每个片段根据胶囊内窥镜的结构参数、帧旋转信息和新增区域图像构建得到；
将所述三维管状内壁片段集中的各个片段依序进行首尾拼接，形成消化道三维全景图像；
在所述消化道三维全景图像中识别出目标区域后，确定目标区域所在的三维管状内壁片段；
根据所述目标区域位于所在三维管状内壁片段的坐标、各个所述三维管状内壁片段的结构长度、帧旋转信息，确定所述目标区域的位置信息。
2.根据权利要求1所述的消化道的三维全景识别定位方法，其特征在于，所述胶囊内窥镜上设置有姿态传感器，获取原始消化道图像集中每一帧原始消化道图像相对于相邻的前一帧原始消化道图像的帧旋转信息的方法包括：
获取姿态传感器采集到的姿态信息集合和姿态传感器的固定采样时间，其中所述姿态信息集合包括连续多个时刻的三轴方向上的旋转角速度；
基于所述姿态信息集合和所述固定采样时间计算得到每一帧原始消化道图像相对于相邻的前一帧原始消化道图像的帧旋转信息。
3.根据权利要求1所述的消化道的三维全景识别定位方法，其特征在于， 获取原始消化道图像集中每一帧原始消化道图像相对于相邻的前一帧原始消化道图像的帧旋转信息的方法包括：
获取每一帧原始消化道图像与前一帧原始消化道图像进行特征匹配，获得若干对特征匹配点；
基于各个所述特征匹配点的像素坐标值构建得到本质矩阵；
基于所述本质矩阵分别得到帧旋转矩阵和平移矩阵的若干个估计值；
根据若干对特征匹配点的其中一对特征匹配点的像素坐标值、帧旋转矩阵和平移矩阵的若干个估计值确定符合预设条件的帧旋转矩阵，作为帧旋转信息。
4.根据权利要求1所述的消化道的三维全景识别定位方法，其特征在于，基于胶囊内窥镜的结构参数和对应帧的帧旋转信息在原始消化道图像集中的每一帧原始消化道图像上截取新增区域图像的方法包括：
根据胶囊内窥镜的结构参数确定每一帧原始消化道图像中的标志投影线；
根据待截取的当前帧原始消化道图像的帧旋转信息计算得到当前帧原始消化道图像与相邻的前一帧原始消化道图像之间的姿态转换值；
根据胶囊内窥镜的结构参数和所述姿态转换值确定所述前一帧原始消化道图像的标志投影线在所述当前帧原始消化道图像中的成像投影线；
截取所述当前帧原始消化道图像中标志投影线和成像投影线之间的图像，作为新增区域图像。
5.根据权利要求4所述的消化道的三维全景识别定位方法，其特征在于，根据胶囊内窥镜的结构参数和所述姿态转换值确定所述前一帧原始消化道图像的标志投影线在所述当前帧原始消化道图像中的成像投影线的方法包括：
根据胶囊内窥镜的结构参数和所述姿态转换值确定所述前一帧原始消化道图像的标志投影线在所述当前帧原始消化道图像中的若干候选投影线；
计算前一帧原始消化道图像的标志投影线以及各所述候选投影线的离散量化像素灰度值序列；
依次计算前一帧原始消化道图像的标志投影线的离散量化像素灰度值序列与各所述候选投影线的离散量化像素灰度值序列之间的莱文斯坦距离；
将符合预设条件的莱文斯坦距离所对应的候选投影线作为成像投影线。
6.根据权利要求4所述的消化道的三维全景识别定位方法，其特征在于，所述三维管状内壁片段为两端开放的斜切圆柱筒体，所述斜切圆柱筒体的顶端所在面为平面，所述斜切圆柱筒体的底端所在面为斜面。
7.根据权利要求6所述的消化道的三维全景识别定位方法，其特征在于，根据胶囊内窥镜的结构参数、帧旋转信息和新增区域图像构建得到所述三维管状内壁片段的方法包括：
根据所述胶囊内窥镜的结构参数、帧旋转信息计算得到所述斜切圆柱筒体的直径、倾斜角度以及斜切圆柱筒体的长度；
根据所述新增区域图像的像素值计算得到所述斜切圆柱筒体的内壁面的像素值。
8.根据权利要求7所述的消化道的三维全景识别定位方法，其特征在于，将所述三维管状内壁片段集中的各个片段依序进行首尾拼接的方法包括：
将每个斜切圆柱筒体的侧壁进行变形处理，使得每个斜切圆柱筒体的顶端所在面调整为与相邻的下一个斜切圆柱筒体的底端所在面匹配，形成变形后的三维管状内壁片段；
将各个变形后的三维管状内壁片段的顶端和底端首尾连接，并且按照各个对应的姿态转换值对各个变形后的三维管状内壁片段进行旋转，形成消化道三维全景图像。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有消化道的三维全景识别定位程序，所述消化道的三维全景识别定位程序被处理器执行时实现权利要求1至8任一项所述的消化道的三维全景识别定位方法。
10.一种计算机设备，其特征在于，所述计算机设备包括计算机可读存储介质、处理器和存储在所述计算机可读存储介质中的消化道的三维全景识别定位程序，所述消化道的三维全景识别定位程序被处理器执行时实现权利要求1至8任一项所述的消化道的三维全景识别定位方法。
CN202210713965.XA 2022-06-22 2022-06-22 消化道的三维全景识别定位方法、存储介质和设备 Active CN114782470B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210713965.XA CN114782470B (zh) 2022-06-22 2022-06-22 消化道的三维全景识别定位方法、存储介质和设备
PCT/CN2023/097186 WO2023246441A1 (zh) 2022-06-22 2023-05-30 消化道的三维全景识别定位方法、存储介质和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210713965.XA CN114782470B (zh) 2022-06-22 2022-06-22 消化道的三维全景识别定位方法、存储介质和设备

Publications (2)

Publication Number Publication Date
CN114782470A true CN114782470A (zh) 2022-07-22
CN114782470B CN114782470B (zh) 2022-09-13

Family

ID=82422432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210713965.XA Active CN114782470B (zh) 2022-06-22 2022-06-22 消化道的三维全景识别定位方法、存储介质和设备

Country Status (2)

Country Link
CN (1) CN114782470B (zh)
WO (1) WO2023246441A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023246441A1 (zh) * 2022-06-22 2023-12-28 江苏势通生物科技有限公司 消化道的三维全景识别定位方法、存储介质和计算机设备

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1921797A (zh) * 2004-02-18 2007-02-28 国立大学法人大阪大学 内窥镜系统
JP2013084156A (ja) * 2011-10-11 2013-05-09 Honda Motor Co Ltd 画像処理方法
CN103298407A (zh) * 2011-06-23 2013-09-11 株式会社东芝 医用图像处理装置以及医用图像诊断装置
CN103412401A (zh) * 2013-06-07 2013-11-27 中国科学院上海光学精密机械研究所 内窥镜和管道内壁三维图像重建方法
CN110769731A (zh) * 2017-06-15 2020-02-07 奥林巴斯株式会社 内窥镜系统、内窥镜系统的工作方法
CN111145238A (zh) * 2019-12-12 2020-05-12 中国科学院深圳先进技术研究院 单目内窥镜图像的三维重建方法、装置及终端设备
WO2021064867A1 (ja) * 2019-10-01 2021-04-08 日本電気株式会社 画像処理装置、制御方法及び記憶媒体
CN113287155A (zh) * 2018-12-06 2021-08-20 皇家飞利浦有限公司 3-d虚拟内窥镜呈现
CN113538335A (zh) * 2021-06-09 2021-10-22 香港中文大学深圳研究院 一种无线胶囊内窥镜的体内相对定位方法和装置
CN113544743A (zh) * 2019-09-20 2021-10-22 Hoya株式会社 内窥镜用处理器、程序、信息处理方法和信息处理装置
CN113610887A (zh) * 2021-05-26 2021-11-05 江苏势通生物科技有限公司 胶囊内窥镜运动拍摄路径的确定方法、存储介质和设备
CN113808253A (zh) * 2021-08-31 2021-12-17 武汉理工大学 场景三维重建的动态对象处理方法、系统、设备及介质
CN114022547A (zh) * 2021-09-15 2022-02-08 苏州中科华影健康科技有限公司 一种内窥镜图像检测方法、装置、设备及存储介质
CN114066781A (zh) * 2022-01-18 2022-02-18 浙江鸿禾医疗科技有限责任公司 胶囊内窥镜肠道图像的识别定位方法、存储介质和设备

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102294739B1 (ko) * 2020-01-10 2021-08-30 주식회사 인트로메딕 캡슐 내시경의 위치정보를 기반으로 캡슐 내시경의 위치를 파악하는 시스템 및 방법
CN114782470B (zh) * 2022-06-22 2022-09-13 浙江鸿禾医疗科技有限责任公司 消化道的三维全景识别定位方法、存储介质和设备

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1921797A (zh) * 2004-02-18 2007-02-28 国立大学法人大阪大学 内窥镜系统
CN103298407A (zh) * 2011-06-23 2013-09-11 株式会社东芝 医用图像处理装置以及医用图像诊断装置
JP2013084156A (ja) * 2011-10-11 2013-05-09 Honda Motor Co Ltd 画像処理方法
CN103412401A (zh) * 2013-06-07 2013-11-27 中国科学院上海光学精密机械研究所 内窥镜和管道内壁三维图像重建方法
CN110769731A (zh) * 2017-06-15 2020-02-07 奥林巴斯株式会社 内窥镜系统、内窥镜系统的工作方法
CN113287155A (zh) * 2018-12-06 2021-08-20 皇家飞利浦有限公司 3-d虚拟内窥镜呈现
CN113544743A (zh) * 2019-09-20 2021-10-22 Hoya株式会社 内窥镜用处理器、程序、信息处理方法和信息处理装置
WO2021064867A1 (ja) * 2019-10-01 2021-04-08 日本電気株式会社 画像処理装置、制御方法及び記憶媒体
CN111145238A (zh) * 2019-12-12 2020-05-12 中国科学院深圳先进技术研究院 单目内窥镜图像的三维重建方法、装置及终端设备
CN113610887A (zh) * 2021-05-26 2021-11-05 江苏势通生物科技有限公司 胶囊内窥镜运动拍摄路径的确定方法、存储介质和设备
CN113538335A (zh) * 2021-06-09 2021-10-22 香港中文大学深圳研究院 一种无线胶囊内窥镜的体内相对定位方法和装置
CN113808253A (zh) * 2021-08-31 2021-12-17 武汉理工大学 场景三维重建的动态对象处理方法、系统、设备及介质
CN114022547A (zh) * 2021-09-15 2022-02-08 苏州中科华影健康科技有限公司 一种内窥镜图像检测方法、装置、设备及存储介质
CN114066781A (zh) * 2022-01-18 2022-02-18 浙江鸿禾医疗科技有限责任公司 胶囊内窥镜肠道图像的识别定位方法、存储介质和设备

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
A. BEHRENS: "Creating Panoramic Images for Bladder Fluorescence Endoscopy", 《ACTA POLYTECHNICA》 *
OMAR ZENTENO ET AL: "Optical biopsy mapping on endoscopic image mosaics with a marker-free probe", 《COMPUTERS IN BIOLOGY AND MEDICINE》 *
罗肖: "序列内窥镜图像的三维结构重建", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
钱渠: "基于内窥镜视频的工业管道图像展开研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023246441A1 (zh) * 2022-06-22 2023-12-28 江苏势通生物科技有限公司 消化道的三维全景识别定位方法、存储介质和计算机设备

Also Published As

Publication number Publication date
CN114782470B (zh) 2022-09-13
WO2023246441A1 (zh) 2023-12-28

Similar Documents

Publication Publication Date Title
CN109949899B (zh) 图像三维测量方法、电子设备、存储介质及程序产品
US6671400B1 (en) Panoramic image navigation system using neural network for correction of image distortion
WO2023138544A1 (zh) 胶囊内窥镜肠道图像的识别定位方法、存储介质和设备
JP4631057B2 (ja) 内視鏡システム
CN111243093A (zh) 三维人脸网格的生成方法、装置、设备及存储介质
JP7211621B2 (ja) 画像生成装置、および画像生成プログラム
CN106504321A (zh) 使用照片或视频重建三维牙模的方法及使用rgbd图像重建三维牙模的方法
CN103402434A (zh) 医用图像诊断装置、医用图像显示装置、医用图像处理装置以及医用图像处理程序
CN111060006A (zh) 一种基于三维模型的视点规划方法
CN108090954A (zh) 基于图像特征的腹腔环境地图重建与腹腔镜定位的方法
CN114782470B (zh) 消化道的三维全景识别定位方法、存储介质和设备
CN110599501B (zh) 一种胃肠结构的真实尺度三维重建及可视化方法
CN115082617A (zh) 基于多视图优化的管道三维重建方法、装置及存储介质
CN111491157B (zh) 一种构建手机3d模型引导图像全面采集的方法
Phan et al. Dense optical flow for the reconstruction of weakly textured and structured surfaces: Application to endoscopy
Ben-Hamadou et al. Construction of extended 3D field of views of the internal bladder wall surface: A proof of concept
JP4887491B2 (ja) 医用画像処理方法及びその装置、プログラム
CN115619790B (zh) 一种基于双目定位的混合透视方法、系统及设备
WO2023133125A1 (en) System and method for mapping the skin
Detchev et al. Image matching and surface registration for 3D reconstruction of a scoliotic torso
WO2021114775A1 (en) Object detection method, object detection device, terminal device, and medium
JP3452188B2 (ja) ２次元動画像中の特徴点の追跡方法
CN116076995B (zh) 用于胶囊内窥镜的扫描控制方法和扫描控制系统
CN116664394B (zh) 一种三维人眼图像生成方法及装置、电子设备、存储介质
CN108108694A (zh) 一种人脸特征点定位方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240117

Address after: Floor 4, C6, Jianghai Zhihui Park, No. 266 New Century Avenue, Nantong High tech Zone, Nantong City, Jiangsu Province, 226000

Patentee after: Jiangsu Shitong Biotechnology Co.,Ltd.

Address before: 314000 office 3-1, 16th floor, building 1, Jiaxing Photovoltaic Science and Innovation Park, 1288 Kanghe Road, Xiuzhou District, Jiaxing City, Zhejiang Province

Patentee before: Zhejiang Honghe Medical Technology Co.,Ltd.

TR01 Transfer of patent right