CN113052956A - 基于胶囊内窥镜构建阅片模型的方法、设备及介质 - Google Patents
基于胶囊内窥镜构建阅片模型的方法、设备及介质 Download PDFInfo
- Publication number
- CN113052956A CN113052956A CN202110296737.2A CN202110296737A CN113052956A CN 113052956 A CN113052956 A CN 113052956A CN 202110296737 A CN202110296737 A CN 202110296737A CN 113052956 A CN113052956 A CN 113052956A
- Authority
- CN
- China
- Prior art keywords
- capsule endoscope
- image
- constructing
- model
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002775 capsule Substances 0.000 title claims abstract description 64
- 238000000034 method Methods 0.000 title claims abstract description 47
- 238000013507 mapping Methods 0.000 claims abstract description 20
- 238000001454 recorded image Methods 0.000 claims abstract description 11
- 230000000007 visual effect Effects 0.000 claims abstract description 11
- 238000001914 filtration Methods 0.000 claims description 10
- 238000002790 cross-validation Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 239000013589 supplement Substances 0.000 claims description 3
- 238000001514 detection method Methods 0.000 abstract description 4
- 230000000694 effects Effects 0.000 abstract description 3
- 238000007689 inspection Methods 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 19
- 210000002784 stomach Anatomy 0.000 description 9
- 210000003484 anatomy Anatomy 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000006872 improvement Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 210000001035 gastrointestinal tract Anatomy 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000002496 gastric effect Effects 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001839 endoscopy Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 210000003238 esophagus Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 210000002429 large intestine Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 230000002572 peristaltic effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 210000000813 small intestine Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30092—Stomach; Gastric
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Architecture (AREA)
- General Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Endoscopes (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种基于胶囊内窥镜构建阅片模型的方法、设备及介质，所述方法包括：驱动胶囊内窥镜在工作区域内运动，按照预定第一频率依次记录胶囊内窥镜到达每一定位点时的位置坐标及视野朝向，以及驱动胶囊内窥镜按照预定第二频率依次拍摄图像并记录；依据所记录的胶囊内窥镜到达每一定位点时的位置坐标构建对应所述工作区域外轮廓的3D模型；将记录的所述图像映射到所述3D模型上，以形成阅片模型。本发明的基于胶囊内窥镜构建阅片模型的方法、设备及介质，将获取的图片映射到工作区域的3D模型上，提升检查可视性效果，便于观察，节约阅片时间，提高检测概率。
Description
技术领域
本发明涉及医疗设备领域，尤其涉及一种基于胶囊内窥镜构建阅片模型的方法、电子设备及可读存储介质。
背景技术
胶囊内窥镜用于消化道检查受到越来越多的应用；胶囊内窥镜由口服入，经过口腔、食管、胃、小肠、大肠，最后排出体外。通常胶囊内窥镜随消化道蠕动而被动运行，这个过程中以一定的帧率拍摄图像，供医生检查患者的消化道各区段的健康状况。
以胶囊内窥镜对胃部检查为例；胶囊内窥镜在外部磁控设备的控制下可以调整位置和姿态，从而更好的检查胃部；通常胃部检查时间10～20分钟，按4fps的拍摄帧率，将有2400～4800张图片；在检测完成后，将图片数据上传，以供医护人员参考；通常情况下，对于上传的图片数据，医护人员阅片比较被动，只能按照拍摄的顺序观察图片，或者通过进度条挑选，缺少图片与实际物体之间的位置对应关系，需要通过脑补重建空间结构，对于图像的理解，检查完整性的判断等都有干扰，尤其是对缺乏经验的检查者，审阅该种方式显示的图片数据极为不利。
发明内容
为解决上述技术问题，本发明的目的在于提供一种基于胶囊内窥镜构建阅片模型的方法、电子设备及可读存储介质。
为了实现上述发明目的之一，本发明一实施方式提供一种基于胶囊内窥镜构建阅片模型的方法，所述方法包括：驱动胶囊内窥镜在工作区域内运动，按照预定第一频率依次记录胶囊内窥镜到达每一定位点时的位置坐标及视野朝向，以及驱动胶囊内窥镜按照预定第二频率依次拍摄图像并记录；
依据所记录的胶囊内窥镜到达每一定位点时的位置坐标构建对应所述工作区域外轮廓的3D模型；
将记录的所述图像映射到所述3D模型上，以形成阅片模型。
作为本发明一实施方式的进一步改进，依据所记录的胶囊内窥镜到达每一定位点时的位置坐标构建对应所述工作区域外轮廓的3D模型包括：
获取胶囊内窥镜的所有位置坐标构成原始点云数据；
对所述原始点云数据依次进行高斯滤波，体素化，体素外壳提取，平滑滤波处理，以及表面重建后形成对应所述工作区域外轮廓的3D模型；
所述3D模型以Ω(p)表示，
则
作为本发明一实施方式的进一步改进，将记录的所述图像映射到所述3D模型上，以形成阅片模型包括：
按照工作区域的结构将所述3D模型划分为多个子区域；
将记录的所述图像映射到每一子区域以形成子区域图像集合，每一图像映射至唯一子区域。
作为本发明一实施方式的进一步改进，将记录的所述图像映射到每一子区域以形成子区域图像集合包括：
遍历每一所述图像，获取与当前图像采集时间最接近的定位点；
以获取的定位点的位置坐标为起点，以其对应的视野朝向为延伸方向规划虚拟射线，获取所述虚拟射线与所述3D模型的交点；
获取当前所述交点的位置坐标归属的子区域，并将当前图像映射到当前所述交点的位置坐标归属的子区域，形成子区域图像集合。
作为本发明一实施方式的进一步改进，所述方法还包括：配置第一频率高于第二频率。
作为本发明一实施方式的进一步改进，在时间延续时序上，对现有的定位点进行插值滤波处理以在现有定位点基础上补充缺失的定位点。
作为本发明一实施方式的进一步改进，构建交叉验证集合；
对每一子区域图像集合中的图像进行校验，和/或对每一子区域图像集合中的图像进行图像质量校验，
若图像不属于其当前归属的集合，和/或图像的图像质量评分低于预设分值，则将当前图像转移至交叉验证集合。
作为本发明一实施方式的进一步改进，将所有图像均归属至对应的子区域图像集合后，所述方法还包括：
对每一子区域图像集合中的每一图像进行属性识别并标注；
将每一子区域图像集合中具有同类标注的图像划分为一组；
在所述阅片模型上，为具有同类标注的每一图像整体分别生成一映射标识。
为了解决上述发明目的之一，本发明一实施方式提供一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述基于胶囊内窥镜构建阅片模型的方法中的步骤。
为了解决上述发明目的之一，本发明一实施方式提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述基于胶囊内窥镜构建阅片模型的方法中的步骤。
与现有技术相比，本发明的有益效果是：本发明的基于胶囊内窥镜构建阅片模型的方法、设备及介质，将获取的图片映射到工作区域的3D模型上，提升检查可视性效果，便于观察，节约阅片时间，提高检测概率。
附图说明
图1是本发明一实施方式提供的基于胶囊内窥镜构建阅片模型的方法的流程示意图；
图2是本发明一具体示例的结构示意图；
图3是本发明一具体示例中子区域划分的结构示意图；
图4是图像与定位点匹配的具体示例的结构示意图；
图5为图像生成映射标识的结构示意图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
如图1所示，本发明第一实施方式中提供一种基于胶囊内窥镜构建阅片模型的方法，所述方法包括：
S1、驱动胶囊内窥镜在工作区域内运动，按照预定第一频率依次记录胶囊内窥镜到达每一定位点时的位置坐标及视野朝向，以及驱动胶囊内窥镜按照预定第二频率依次拍摄图像并记录；
S2、依据所记录的胶囊内窥镜到达每一定位点时的位置坐标构建对应所述工作区域外轮廓的3D模型；
S3、将记录的所述图像映射到所述3D模型上，以形成阅片模型。
胶囊内窥镜进入所述工作区域后，即按照预定的频次记录每一工作点，且根据具体需求，记录每一工作点的空间坐标值P(x,y,z)和视野朝向V；这里的视野朝向为胶囊内窥镜的姿态，例如：欧拉角(yaw,pitch,roll)，也可以是四元素或朝向的向量坐标；通过视野朝向，可以获知在当前坐标点下，胶囊内窥镜朝V方向拍摄的视野，该视野为以当前坐标点为起始的圆锥状，其向量方向为
亦即圆锥的轴线延时方向。现有技术中，通过胶囊内窥镜拍摄图像、对其位置坐标进行定位，以及记录器视野朝向均为现有技术。
例如：本发明引申中国专利申请201911188050.6，发明名称为“可吞服设备定位系统及其方法”的全部内容对胶囊内窥镜进行定位，进而获取其位置坐标及视野朝向，在此不做详细赘述。
对于步骤S2,结合图2所示，在完成步骤S1后，在三维空间坐标系中，各个胶囊内窥镜停留在工作区域的各个定位点的位置坐标形成原始点云数据；相应的，步骤S2具体包括：获取胶囊内窥镜的所有位置坐标构成原始点云数据；
对所述原始点云数据依次进行高斯滤波，体素化，体素外壳提取，平滑滤波处理，以及表面重建后形成对应所述工作区域外轮廓的3D模型；
所述3D模型以Ω(p)表示，
则
在该具体示例中，以工作区域为胃部空间为例做具体介绍，胶囊内窥镜在工作区域内运行时，可能在胃腔的水中漂浮，停留在内壁上旋转或翻滚等，因此会得到非常稠密的点云，如图2最左图所示；进一步的，原始的点云数据量庞大且相对杂论，经过高斯滤波，体素化处理后，会使得工作区域的轮廓更加清晰；这里，所述工作区域外轮廓通常指工作区域的最大外轮廓，如图2中图所示；进一步的，在体素化后对数据继续做体素外壳提取(边缘提取)，以过滤离群点；进一步的，继续做平滑滤波处理(对数据网络化)，可以得到相对稠密的表面图像，如图2右图所示；即本发明所述的工作区域外轮廓的3D模型。
在具体应用中，该3D模型在计算机前端显示界面可视化，且通过外部输入设备，例如：鼠标、触屏等方式可以改变3D模型的视角；重建完成后的3D模型仅包括工作区域表面数据，即如公式
在实际应用中，实现步骤S2的方法具有多种，即在点云数据已知状态下，通过对其处理形成3D表面模型的方法具有多种，在此不做赘述。
较佳的，步骤S3包括：S31、按照工作区域的结构将所述3D模型划分为多个子区域；
S32、将记录的所述图像映射到每一子区域以形成子区域图像集合，每一图像映射至唯一子区域；
S33、在虚拟3D模型上、将所述子区域图像集合映射在其所对应的子区域上，以形成所述阅片模型；
其中，在计算机前端显示界面，辅助选择阅片模型的子区域时，关联打开所述子区域图像集合，以选择性打开当前子区域图像集合对应的任一图像。
对于步骤S31,所述子区域的数量可以根据需要具体设定，本发明较佳实时方式中，由于胶囊内窥镜工作的环境通常为解剖学结构形成的腔体内，如此，可以按照解剖学结构的具体分类，进行子区域的划分，即将属性相同的解剖学结构划分为1个子区域，或者将属性相同的解剖学结构划分为多个子区域，较佳的，在划分子区域时，尽可能使一个子区域只属于某一个解剖结构，如此，使得分类更为具体，以便于后期的阅片模型的应用。
结合图3所示，继续以胃腔作为工作区域为例，对于胃腔，按照解剖学结构的属性划分，其通常包括：胃底、大弯等分类粒度较精细的解剖学结构。在本发明具体示例中，对于步骤S31,将胃腔按照属性划分为12个子区域，当然，子区域的数量可以更多，子区域的数量越多，其数据计算量会相应增加，然而，分类也会更加详细，其计算结果也会更加精准，例如：将胃腔按照属性划分为20个子区域；本发明以胃腔按照属性划分为12个子区域为例做具体介绍；这里，图3为平面示意图，在实际应用中，其为立体的3D模型，相应的，12个子区域按照解剖学结构的属性依次相接；例如：子区域2和子区域3的属性为胃底，子区域5和子区域6的属性为大弯。
较佳的，对于步骤S32,其包括：S321，匹配时间顺序，遍历每一所述图像，获取与当前图像采集时间最接近的定位点；S322，以获取的定位点的位置坐标为起点，以其对应的视野朝向为延伸方向规划虚拟射线，获取所述虚拟射线与所述3D模型的交点；S323，获取当前所述交点的位置坐标归属的子区域，并将当前图像映射到当前所述交点的位置坐标归属的子区域，形成子区域图像集合。
较佳的，对于步骤S321,对胶囊内窥镜的位置进行定位过程中，因受到信号干扰、运动干扰等环境的因素的影响，定位点的数量会相应减少；如此，配置第一频率高于第二频率，即定位的频率高于图像的拍摄频率，例如：本发明一具体示例中，第一频率设置为40～100Hz，第二频率设置为低于30fps，相应的，仍然能够得到比图像采集更密集的定位结果，进而实现每张图像可以匹配到采集时间较接近的定位点。
较佳的，结合图4所示示例，在时间延续时序上，对现有的定位点进行插值滤波处理以在现有定位点基础上补充缺失的定位点,如此，以使得图像与定位点的匹配结果更加精准。
接续图3所示示例，对于步骤S322,对于图像匹配的定位点，其均具有对应的位置坐标及视野朝向，以当前图像匹配的定位点为P点为例，以P为坐标起点，其位于3D模型Ω(p)上或其之内，v为视野朝向，即射线的延伸方向，基于该射线，可获得位于P点时朝向v的射线与3D模型Ω(p)的交点Q。
进一步的，对应步骤S323，基于3D模型的区域划分，可以获得交点Q所归属的子区域，在该示例中，Q点归属子区域11，此时，将P点对应的图像映射到子区域11，形成子区域11对应的子区域图像集合中的其中一幅。
较佳的，在步骤S2和步骤S3之间，所述方法还包括：构建交叉验证集合；
对每一子区域图像集合中的图像进行校验，和/或对每一子区域图像集合中的图像进行图像质量校验，若图像不属于其当前归属的集合，和/或图像的图像质量评分低于预设分值，则将当前图像转移至交叉验证集合。
这里，各种误差的存在，例如：子区域边界设置的不合理性，可能会导致图像归属集合错误；另外，图像质量低下，后续调用时也会存在不良影响，因此，在步骤S2和S3之间对图像进行交叉验证，剔除各个子区域图像集合中的不良数据。本发明具体示例中，对图像校验的方法具有多种，本发明引申中国专利申请公开号CN106934799，发明名称为“胶囊内窥镜图像辅助阅片系统及方法”的全部内容对每一子区域图像集合中的图像进行校验，判断其是否属于当前归属的集合；另外，引申中国专利申请公开号CN111932532，发明名称为“胶囊内窥镜无参考图像评价方法、电子设备及介质”的全部内容对每一子区域图像集合中的图像进行图像质量校验,判断其图像质量是否合适，评分过低的则转移至交叉验证集合,其中，本发明的评分可以为被引申专利的图像质量评价分值和/或图像内容评价分值和/或综合分值，在此不做赘述在此不做过多赘述。
需要说明的是，对每一子区域图像集合中的图像进行校验，和/或对每一子区域图像集合中的图像进行图像质量校验过程中，也会存在误差，因此，保留交叉验证集合，该交叉验证集合中的数据后续也可以进行选择性调阅，或者重新归类，在此不做进一步的赘述。
对于步骤S33,其形成的阅片模型在计算机前端显示界面可视化，当辅助选择阅片模型的子区域时，关联打开所述子区域图像集合，以选择性打开当前子区域图像集合对应的任一图像。
较佳的，在将所有图像均归属至对应的子区域图像集合后，所述方法还包括：对每一子区域图像集合中的每一图像进行属性识别并标注；将每一子区域图像集合中具有同类标注的图像划分为一组；在所述阅片模型上，为具有同类标注的每一图像整体分别生成一映射标识。
这里，结合图5所示，对图像中的病灶进行识别，并具体标注其类型，标注的方式可以人工标注也可以AI系统自动标注；进一步的，将具有相同标注的图像归为一组，并额外在阅片模型上生成一条映射标识，当该映射标识被选择时，可以相应打开对应的图像，进而方便后续集中查询。
进一步的，本发明一实施方式提供一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述基于胶囊内窥镜构建阅片模型的方法中的步骤。
进一步的，本发明一实施方式提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述基于胶囊内窥镜构建阅片模型的方法中的步骤。
综上所述，本发明的基于胶囊内窥镜构建阅片模型的方法、设备及介质，将获取的图片映射到工作区域的3D模型上形成阅片模型，提升检查可视性效果，通过各种映射，后续使用过程中，可以在模拟的阅片模型便捷获取所需图像，增强交互主动性、可操作性；便于观察，节约阅片时间，提高检测概率。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于胶囊内窥镜构建阅片模型的方法，其特征在于，所述方法包括：
驱动胶囊内窥镜在工作区域内运动，按照预定第一频率依次记录胶囊内窥镜到达每一定位点时的位置坐标及视野朝向，以及驱动胶囊内窥镜按照预定第二频率依次拍摄图像并记录；
依据所记录的胶囊内窥镜到达每一定位点时的位置坐标构建对应所述工作区域外轮廓的3D模型；
将记录的所述图像映射到所述3D模型上，以形成阅片模型。
2.根据权利要求1所述的基于胶囊内窥镜构建阅片模型的方法，其特征在于，依据所记录的胶囊内窥镜到达每一定位点时的位置坐标构建对应所述工作区域外轮廓的3D模型包括：
获取胶囊内窥镜的所有位置坐标构成原始点云数据；
对所述原始点云数据依次进行高斯滤波，体素化，体素外壳提取，平滑滤波处理，以及表面重建后形成对应所述工作区域外轮廓的3D模型；
所述3D模型以Ω(p)表示，
则
3.根据权利要求1所述的基于胶囊内窥镜构建阅片模型的方法，其特征在于，将记录的所述图像映射到所述3D模型上，以形成阅片模型包括：
按照工作区域的结构将所述3D模型划分为多个子区域；
将记录的所述图像映射到每一子区域以形成子区域图像集合，每一图像映射至唯一子区域。
4.根据权利要求3所述的基于胶囊内窥镜构建阅片模型的方法，其特征在于，将记录的所述图像映射到每一子区域以形成子区域图像集合包括：
遍历每一所述图像，获取与当前图像采集时间最接近的定位点；
以获取的定位点的位置坐标为起点，以其对应的视野朝向为延伸方向规划虚拟射线，获取所述虚拟射线与所述3D模型的交点；
获取当前所述交点的位置坐标归属的子区域，并将当前图像映射到当前所述交点的位置坐标归属的子区域，形成子区域图像集合。
5.根据权利要求1所述的基于胶囊内窥镜构建阅片模型的方法，其特征在于，所述方法还包括：配置第一频率高于第二频率。
6.根据权利要求1所述的基于胶囊内窥镜构建阅片模型的方法，在时间延续时序上，对现有的定位点进行插值滤波处理以在现有定位点基础上补充缺失的定位点。
7.根据权利要求4所述的基于胶囊内窥镜构建阅片模型的方法，其特征在于，将所有图像均归属至对应的子区域图像集合后，所述方法还包括：
构建交叉验证集合；
对每一子区域图像集合中的图像进行校验，和/或对每一子区域图像集合中的图像进行图像质量校验，
若图像不属于其当前归属的集合，和/或图像的图像质量评分低于预设分值，则将当前图像转移至交叉验证集合。
8.根据权利要求4所述的基于胶囊内窥镜构建阅片模型的方法，其特征在于，将所有图像均归属至对应的子区域图像集合后，所述方法还包括：
对每一子区域图像集合中的每一图像进行属性识别并标注；
将每一子区域图像集合中具有同类标注的图像划分为一组；
在所述阅片模型上，为具有同类标注的每一图像整体分别生成一映射标识。
9.一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-8任意一项所述基于胶囊内窥镜构建阅片模型的方法中的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任意一项所述基于胶囊内窥镜构建阅片模型的方法中的步骤。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110296737.2A CN113052956B (zh) | 2021-03-19 | 2021-03-19 | 基于胶囊内窥镜构建阅片模型的方法、设备及介质 |
| PCT/CN2022/080840 WO2022194126A1 (zh) | 2021-03-19 | 2022-03-15 | 基于胶囊内窥镜构建阅片模型的方法、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110296737.2A CN113052956B (zh) | 2021-03-19 | 2021-03-19 | 基于胶囊内窥镜构建阅片模型的方法、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113052956A true CN113052956A (zh) | 2021-06-29 |
| CN113052956B CN113052956B (zh) | 2023-03-10 |
Family
ID=76513877
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110296737.2A Active CN113052956B (zh) | 2021-03-19 | 2021-03-19 | 基于胶囊内窥镜构建阅片模型的方法、设备及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN113052956B (zh) |
| WO (1) | WO2022194126A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114637871A (zh) * | 2022-03-23 | 2022-06-17 | 安翰科技(武汉)股份有限公司 | 消化道数据库的建立方法、装置及存储介质 |
| WO2022194126A1 (zh) * | 2021-03-19 | 2022-09-22 | 安翰科技(武汉)股份有限公司 | 基于胶囊内窥镜构建阅片模型的方法、设备及介质 |
| WO2023138619A1 (zh) * | 2022-01-21 | 2023-07-27 | 小荷医疗器械(海南)有限公司 | 内窥镜图像的处理方法、装置、可读介质和电子设备 |
| CN116721175A (zh) * | 2023-08-09 | 2023-09-08 | 安翰科技(武汉)股份有限公司 | 一种图像显示方法、图像显示装置以及胶囊内窥镜系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105942959A (zh) * | 2016-06-01 | 2016-09-21 | 安翰光电技术（武汉）有限公司 | 胶囊内窥镜系统及其三维成像方法 |
| JP2017108971A (ja) * | 2015-12-17 | 2017-06-22 | キヤノンマーケティングジャパン株式会社 | 画像診断支援装置及びその制御方法、並びにコンピュータプログラム及び記憶媒体 |
| US20180140258A1 (en) * | 2013-07-30 | 2018-05-24 | Heartflow, Inc. | Method and system for modeling blood flow with boundary conditions for optimized diagnostic performance |
| CN110033465A (zh) * | 2019-04-18 | 2019-07-19 | 天津工业大学 | 一种应用于双目内窥镜医学图像的实时三维重建方法 |
| CN110051434A (zh) * | 2019-04-25 | 2019-07-26 | 厦门强本科技有限公司 | Ar与内窥镜结合手术导航方法及终端 |
| CN112075914A (zh) * | 2020-10-14 | 2020-12-15 | 深圳市资福医疗技术有限公司 | 胶囊内窥镜检查系统 |
| CN112261399A (zh) * | 2020-12-18 | 2021-01-22 | 安翰科技(武汉)股份有限公司 | 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质 |
| US20220084188A1 (en) * | 2020-09-14 | 2022-03-17 | SCREEN Holdings Co., Ltd. | Image processing apparatus, image processing method, inspection apparatus, and non-transitory computer readable recording medium |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103300862B (zh) * | 2013-05-24 | 2016-04-20 | 浙江大学宁波理工学院 | 一种胶囊内窥镜病灶组织深度和三维尺寸的测量方法 |
| US10198872B2 (en) * | 2015-08-10 | 2019-02-05 | The Board Of Trustees Of The Leland Stanford Junior University | 3D reconstruction and registration of endoscopic data |
| WO2017075085A1 (en) * | 2015-10-28 | 2017-05-04 | Endochoice, Inc. | Device and method for tracking the position of an endoscope within a patient's body |
| CN106934799B (zh) * | 2017-02-24 | 2019-09-03 | 安翰科技(武汉)股份有限公司 | 胶囊内窥镜图像辅助阅片系统及方法 |
| CN112089392A (zh) * | 2020-10-14 | 2020-12-18 | 深圳市资福医疗技术有限公司 | 胶囊内窥镜控制方法、装置、设备、系统及存储介质 |
| CN113052956B (zh) * | 2021-03-19 | 2023-03-10 | 安翰科技(武汉)股份有限公司 | 基于胶囊内窥镜构建阅片模型的方法、设备及介质 |
-
2021
- 2021-03-19 CN CN202110296737.2A patent/CN113052956B/zh active Active
-
2022
- 2022-03-15 WO PCT/CN2022/080840 patent/WO2022194126A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180140258A1 (en) * | 2013-07-30 | 2018-05-24 | Heartflow, Inc. | Method and system for modeling blood flow with boundary conditions for optimized diagnostic performance |
| JP2017108971A (ja) * | 2015-12-17 | 2017-06-22 | キヤノンマーケティングジャパン株式会社 | 画像診断支援装置及びその制御方法、並びにコンピュータプログラム及び記憶媒体 |
| CN105942959A (zh) * | 2016-06-01 | 2016-09-21 | 安翰光电技术（武汉）有限公司 | 胶囊内窥镜系统及其三维成像方法 |
| CN110033465A (zh) * | 2019-04-18 | 2019-07-19 | 天津工业大学 | 一种应用于双目内窥镜医学图像的实时三维重建方法 |
| CN110051434A (zh) * | 2019-04-25 | 2019-07-26 | 厦门强本科技有限公司 | Ar与内窥镜结合手术导航方法及终端 |
| US20220084188A1 (en) * | 2020-09-14 | 2022-03-17 | SCREEN Holdings Co., Ltd. | Image processing apparatus, image processing method, inspection apparatus, and non-transitory computer readable recording medium |
| CN112075914A (zh) * | 2020-10-14 | 2020-12-15 | 深圳市资福医疗技术有限公司 | 胶囊内窥镜检查系统 |
| CN112261399A (zh) * | 2020-12-18 | 2021-01-22 | 安翰科技(武汉)股份有限公司 | 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022194126A1 (zh) * | 2021-03-19 | 2022-09-22 | 安翰科技(武汉)股份有限公司 | 基于胶囊内窥镜构建阅片模型的方法、设备及介质 |
| WO2023138619A1 (zh) * | 2022-01-21 | 2023-07-27 | 小荷医疗器械(海南)有限公司 | 内窥镜图像的处理方法、装置、可读介质和电子设备 |
| CN114637871A (zh) * | 2022-03-23 | 2022-06-17 | 安翰科技(武汉)股份有限公司 | 消化道数据库的建立方法、装置及存储介质 |
| CN116721175A (zh) * | 2023-08-09 | 2023-09-08 | 安翰科技(武汉)股份有限公司 | 一种图像显示方法、图像显示装置以及胶囊内窥镜系统 |
| CN116721175B (zh) * | 2023-08-09 | 2023-10-10 | 安翰科技(武汉)股份有限公司 | 一种图像显示方法、图像显示装置以及胶囊内窥镜系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022194126A1 (zh) | 2022-09-22 |
| CN113052956B (zh) | 2023-03-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113052956B (zh) | 基于胶囊内窥镜构建阅片模型的方法、设备及介质 | |
| US11931141B2 (en) | Hybrid registration method | |
| EP2297673B1 (en) | Feature-based registration method | |
| TW202011894A (zh) | 用於肺體積閘控x射線成像系統和方法 | |
| US9545192B2 (en) | System and method for automatic navigation of a capsule based on image stream captured in-vivo | |
| JP6254053B2 (ja) | 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法 | |
| US20070167706A1 (en) | Method and apparatus for visually supporting an electrophysiological catheter application in the heart by means of bidirectional information transfer | |
| CN102949240A (zh) | 一种影像导航肺部介入手术系统 | |
| US10083278B2 (en) | Method and system for displaying a timing signal for surgical instrument insertion in surgical procedures | |
| JP2004121835A (ja) | 関心領域の追従制御方法、その方法を用いた画像診断装置及び関心領域の追従制御プラグラム | |
| CN112998630B (zh) | 胶囊内窥镜的完备性自检方法、电子设备及可读存储介质 | |
| CN103402434A (zh) | 医用图像诊断装置、医用图像显示装置、医用图像处理装置以及医用图像处理程序 | |
| US10078906B2 (en) | Device and method for image registration, and non-transitory recording medium | |
| WO2023066072A1 (zh) | 导管定位方法、介入手术系统、电子设备和存储介质 | |
| CN113274129A (zh) | 一种基于虚拟现实的心胸外科手术辅助控制系统 | |
| CN106236264A (zh) | 基于光学跟踪和图像匹配的胃肠手术导航方法及系统 | |
| WO2021234907A1 (ja) | 画像処理装置、制御方法及び記憶媒体 | |
| CN112998749A (zh) | 一种基于视觉伺服的自动超声检查系统 | |
| CN115530724A (zh) | 内窥镜导航定位方法及装置 | |
| CN114637871A (zh) | 消化道数据库的建立方法、装置及存储介质 | |
| CN115619790B (zh) | 一种基于双目定位的混合透视方法、系统及设备 | |
| Liu et al. | Hybrid magnetic and vision localization technique of capsule endoscope for 3D recovery of pathological tissues | |
| EP3614338B1 (en) | Post-mapping automatic identification of pulmonary veins | |
| WO2024028934A1 (ja) | 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体 | |
| CN107330236B (zh) | 具有改良漫游效果的虚拟内窥镜系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |