CN113052956A - 基于胶囊内窥镜构建阅片模型的方法、设备及介质 - Google Patents

基于胶囊内窥镜构建阅片模型的方法、设备及介质 Download PDF

Info

Publication number
CN113052956A
CN113052956A CN202110296737.2A CN202110296737A CN113052956A CN 113052956 A CN113052956 A CN 113052956A CN 202110296737 A CN202110296737 A CN 202110296737A CN 113052956 A CN113052956 A CN 113052956A
Authority
CN
China
Prior art keywords
capsule endoscope
image
constructing
model
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110296737.2A
Other languages
English (en)
Other versions
CN113052956B (zh
Inventor
杨戴天杙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ankon Technologies Co Ltd
Original Assignee
Ankon Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ankon Technologies Co Ltd filed Critical Ankon Technologies Co Ltd
Priority to CN202110296737.2A priority Critical patent/CN113052956B/zh
Publication of CN113052956A publication Critical patent/CN113052956A/zh
Priority to US18/551,297 priority patent/US20240188791A1/en
Priority to PCT/CN2022/080840 priority patent/WO2022194126A1/zh
Application granted granted Critical
Publication of CN113052956B publication Critical patent/CN113052956B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/045—Control thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00163—Optical arrangements
    • A61B1/00194—Optical arrangements adapted for three-dimensional imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30092—Stomach; Gastric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Epidemiology (AREA)
  • Computer Hardware Design (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Endoscopes (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于胶囊内窥镜构建阅片模型的方法、设备及介质，所述方法包括：驱动胶囊内窥镜在工作区域内运动，按照预定第一频率依次记录胶囊内窥镜到达每一定位点时的位置坐标及视野朝向，以及驱动胶囊内窥镜按照预定第二频率依次拍摄图像并记录；依据所记录的胶囊内窥镜到达每一定位点时的位置坐标构建对应所述工作区域外轮廓的3D模型；将记录的所述图像映射到所述3D模型上，以形成阅片模型。本发明的基于胶囊内窥镜构建阅片模型的方法、设备及介质，将获取的图片映射到工作区域的3D模型上，提升检查可视性效果，便于观察，节约阅片时间，提高检测概率。

Description

基于胶囊内窥镜构建阅片模型的方法、设备及介质
技术领域
本发明涉及医疗设备领域，尤其涉及一种基于胶囊内窥镜构建阅片模型的方法、电子设备及可读存储介质。
背景技术
胶囊内窥镜用于消化道检查受到越来越多的应用；胶囊内窥镜由口服入，经过口腔、食管、胃、小肠、大肠，最后排出体外。通常胶囊内窥镜随消化道蠕动而被动运行，这个过程中以一定的帧率拍摄图像，供医生检查患者的消化道各区段的健康状况。
以胶囊内窥镜对胃部检查为例；胶囊内窥镜在外部磁控设备的控制下可以调整位置和姿态，从而更好的检查胃部；通常胃部检查时间10～20分钟，按4fps的拍摄帧率，将有2400～4800张图片；在检测完成后，将图片数据上传，以供医护人员参考；通常情况下，对于上传的图片数据，医护人员阅片比较被动，只能按照拍摄的顺序观察图片，或者通过进度条挑选，缺少图片与实际物体之间的位置对应关系，需要通过脑补重建空间结构，对于图像的理解，检查完整性的判断等都有干扰，尤其是对缺乏经验的检查者，审阅该种方式显示的图片数据极为不利。
发明内容
为解决上述技术问题，本发明的目的在于提供一种基于胶囊内窥镜构建阅片模型的方法、电子设备及可读存储介质。
为了实现上述发明目的之一，本发明一实施方式提供一种基于胶囊内窥镜构建阅片模型的方法，所述方法包括：驱动胶囊内窥镜在工作区域内运动，按照预定第一频率依次记录胶囊内窥镜到达每一定位点时的位置坐标及视野朝向，以及驱动胶囊内窥镜按照预定第二频率依次拍摄图像并记录；
依据所记录的胶囊内窥镜到达每一定位点时的位置坐标构建对应所述工作区域外轮廓的3D模型；
将记录的所述图像映射到所述3D模型上，以形成阅片模型。
作为本发明一实施方式的进一步改进，依据所记录的胶囊内窥镜到达每一定位点时的位置坐标构建对应所述工作区域外轮廓的3D模型包括：
获取胶囊内窥镜的所有位置坐标构成原始点云数据；
对所述原始点云数据依次进行高斯滤波，体素化，体素外壳提取，平滑滤波处理，以及表面重建后形成对应所述工作区域外轮廓的3D模型；
所述3D模型以Ω(p)表示，
则
Figure BDA0002984634260000021
作为本发明一实施方式的进一步改进，将记录的所述图像映射到所述3D模型上，以形成阅片模型包括：
按照工作区域的结构将所述3D模型划分为多个子区域；
将记录的所述图像映射到每一子区域以形成子区域图像集合，每一图像映射至唯一子区域。
作为本发明一实施方式的进一步改进，将记录的所述图像映射到每一子区域以形成子区域图像集合包括：
遍历每一所述图像，获取与当前图像采集时间最接近的定位点；
以获取的定位点的位置坐标为起点，以其对应的视野朝向为延伸方向规划虚拟射线，获取所述虚拟射线与所述3D模型的交点；
获取当前所述交点的位置坐标归属的子区域，并将当前图像映射到当前所述交点的位置坐标归属的子区域，形成子区域图像集合。
作为本发明一实施方式的进一步改进，所述方法还包括：配置第一频率高于第二频率。
作为本发明一实施方式的进一步改进，在时间延续时序上，对现有的定位点进行插值滤波处理以在现有定位点基础上补充缺失的定位点。
作为本发明一实施方式的进一步改进，构建交叉验证集合；
对每一子区域图像集合中的图像进行校验，和/或对每一子区域图像集合中的图像进行图像质量校验，
若图像不属于其当前归属的集合，和/或图像的图像质量评分低于预设分值，则将当前图像转移至交叉验证集合。
作为本发明一实施方式的进一步改进，将所有图像均归属至对应的子区域图像集合后，所述方法还包括：
对每一子区域图像集合中的每一图像进行属性识别并标注；
将每一子区域图像集合中具有同类标注的图像划分为一组；
在所述阅片模型上，为具有同类标注的每一图像整体分别生成一映射标识。
为了解决上述发明目的之一，本发明一实施方式提供一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述基于胶囊内窥镜构建阅片模型的方法中的步骤。
为了解决上述发明目的之一，本发明一实施方式提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述基于胶囊内窥镜构建阅片模型的方法中的步骤。
与现有技术相比，本发明的有益效果是：本发明的基于胶囊内窥镜构建阅片模型的方法、设备及介质，将获取的图片映射到工作区域的3D模型上，提升检查可视性效果，便于观察，节约阅片时间，提高检测概率。
附图说明
图1是本发明一实施方式提供的基于胶囊内窥镜构建阅片模型的方法的流程示意图；
图2是本发明一具体示例的结构示意图；
图3是本发明一具体示例中子区域划分的结构示意图；
图4是图像与定位点匹配的具体示例的结构示意图；
图5为图像生成映射标识的结构示意图。
具体实施方式
以下将结合附图所示的具体实施方式对本发明进行详细描述。但这些实施方式并不限制本发明，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本发明的保护范围内。
如图1所示，本发明第一实施方式中提供一种基于胶囊内窥镜构建阅片模型的方法，所述方法包括：
S1、驱动胶囊内窥镜在工作区域内运动，按照预定第一频率依次记录胶囊内窥镜到达每一定位点时的位置坐标及视野朝向，以及驱动胶囊内窥镜按照预定第二频率依次拍摄图像并记录；
S2、依据所记录的胶囊内窥镜到达每一定位点时的位置坐标构建对应所述工作区域外轮廓的3D模型；
S3、将记录的所述图像映射到所述3D模型上，以形成阅片模型。
胶囊内窥镜进入所述工作区域后，即按照预定的频次记录每一工作点，且根据具体需求，记录每一工作点的空间坐标值P(x,y,z)和视野朝向V；这里的视野朝向为胶囊内窥镜的姿态，例如：欧拉角(yaw,pitch,roll)，也可以是四元素或朝向的向量坐标；通过视野朝向，可以获知在当前坐标点下，胶囊内窥镜朝V方向拍摄的视野，该视野为以当前坐标点为起始的圆锥状，其向量方向为
Figure BDA0002984634260000041
亦即圆锥的轴线延时方向。现有技术中，通过胶囊内窥镜拍摄图像、对其位置坐标进行定位，以及记录器视野朝向均为现有技术。
例如：本发明引申中国专利申请201911188050.6，发明名称为“可吞服设备定位系统及其方法”的全部内容对胶囊内窥镜进行定位，进而获取其位置坐标及视野朝向，在此不做详细赘述。
对于步骤S2,结合图2所示，在完成步骤S1后，在三维空间坐标系中，各个胶囊内窥镜停留在工作区域的各个定位点的位置坐标形成原始点云数据；相应的，步骤S2具体包括：获取胶囊内窥镜的所有位置坐标构成原始点云数据；
对所述原始点云数据依次进行高斯滤波，体素化，体素外壳提取，平滑滤波处理，以及表面重建后形成对应所述工作区域外轮廓的3D模型；
所述3D模型以Ω(p)表示，
则
Figure BDA0002984634260000051
在该具体示例中，以工作区域为胃部空间为例做具体介绍，胶囊内窥镜在工作区域内运行时，可能在胃腔的水中漂浮，停留在内壁上旋转或翻滚等，因此会得到非常稠密的点云，如图2最左图所示；进一步的，原始的点云数据量庞大且相对杂论，经过高斯滤波，体素化处理后，会使得工作区域的轮廓更加清晰；这里，所述工作区域外轮廓通常指工作区域的最大外轮廓，如图2中图所示；进一步的，在体素化后对数据继续做体素外壳提取(边缘提取)，以过滤离群点；进一步的，继续做平滑滤波处理(对数据网络化)，可以得到相对稠密的表面图像，如图2右图所示；即本发明所述的工作区域外轮廓的3D模型。
在具体应用中，该3D模型在计算机前端显示界面可视化，且通过外部输入设备，例如：鼠标、触屏等方式可以改变3D模型的视角；重建完成后的3D模型仅包括工作区域表面数据，即如公式
Figure BDA0002984634260000052
所示，3D模型的数据Ω仅包含模型表面，即工作区域表面数据。
在实际应用中，实现步骤S2的方法具有多种，即在点云数据已知状态下，通过对其处理形成3D表面模型的方法具有多种，在此不做赘述。
较佳的，步骤S3包括：S31、按照工作区域的结构将所述3D模型划分为多个子区域；
S32、将记录的所述图像映射到每一子区域以形成子区域图像集合，每一图像映射至唯一子区域；
S33、在虚拟3D模型上、将所述子区域图像集合映射在其所对应的子区域上，以形成所述阅片模型；
其中，在计算机前端显示界面，辅助选择阅片模型的子区域时，关联打开所述子区域图像集合，以选择性打开当前子区域图像集合对应的任一图像。
对于步骤S31,所述子区域的数量可以根据需要具体设定，本发明较佳实时方式中，由于胶囊内窥镜工作的环境通常为解剖学结构形成的腔体内，如此，可以按照解剖学结构的具体分类，进行子区域的划分，即将属性相同的解剖学结构划分为1个子区域，或者将属性相同的解剖学结构划分为多个子区域，较佳的，在划分子区域时，尽可能使一个子区域只属于某一个解剖结构，如此，使得分类更为具体，以便于后期的阅片模型的应用。
结合图3所示，继续以胃腔作为工作区域为例，对于胃腔，按照解剖学结构的属性划分，其通常包括：胃底、大弯等分类粒度较精细的解剖学结构。在本发明具体示例中，对于步骤S31,将胃腔按照属性划分为12个子区域，当然，子区域的数量可以更多，子区域的数量越多，其数据计算量会相应增加，然而，分类也会更加详细，其计算结果也会更加精准，例如：将胃腔按照属性划分为20个子区域；本发明以胃腔按照属性划分为12个子区域为例做具体介绍；这里，图3为平面示意图，在实际应用中，其为立体的3D模型，相应的，12个子区域按照解剖学结构的属性依次相接；例如：子区域2和子区域3的属性为胃底，子区域5和子区域6的属性为大弯。
较佳的，对于步骤S32,其包括：S321，匹配时间顺序，遍历每一所述图像，获取与当前图像采集时间最接近的定位点；S322，以获取的定位点的位置坐标为起点，以其对应的视野朝向为延伸方向规划虚拟射线，获取所述虚拟射线与所述3D模型的交点；S323，获取当前所述交点的位置坐标归属的子区域，并将当前图像映射到当前所述交点的位置坐标归属的子区域，形成子区域图像集合。
较佳的，对于步骤S321,对胶囊内窥镜的位置进行定位过程中，因受到信号干扰、运动干扰等环境的因素的影响，定位点的数量会相应减少；如此，配置第一频率高于第二频率，即定位的频率高于图像的拍摄频率，例如：本发明一具体示例中，第一频率设置为40～100Hz，第二频率设置为低于30fps，相应的，仍然能够得到比图像采集更密集的定位结果，进而实现每张图像可以匹配到采集时间较接近的定位点。
较佳的，结合图4所示示例，在时间延续时序上，对现有的定位点进行插值滤波处理以在现有定位点基础上补充缺失的定位点,如此，以使得图像与定位点的匹配结果更加精准。
接续图3所示示例，对于步骤S322,对于图像匹配的定位点，其均具有对应的位置坐标及视野朝向，以当前图像匹配的定位点为P点为例，以P为坐标起点，其位于3D模型Ω(p)上或其之内，v为视野朝向，即射线的延伸方向，基于该射线，可获得位于P点时朝向v的射线与3D模型Ω(p)的交点Q。
进一步的，对应步骤S323，基于3D模型的区域划分，可以获得交点Q所归属的子区域，在该示例中，Q点归属子区域11，此时，将P点对应的图像映射到子区域11，形成子区域11对应的子区域图像集合中的其中一幅。
较佳的，在步骤S2和步骤S3之间，所述方法还包括：构建交叉验证集合；
对每一子区域图像集合中的图像进行校验，和/或对每一子区域图像集合中的图像进行图像质量校验，若图像不属于其当前归属的集合，和/或图像的图像质量评分低于预设分值，则将当前图像转移至交叉验证集合。
这里，各种误差的存在，例如：子区域边界设置的不合理性，可能会导致图像归属集合错误；另外，图像质量低下，后续调用时也会存在不良影响，因此，在步骤S2和S3之间对图像进行交叉验证，剔除各个子区域图像集合中的不良数据。本发明具体示例中，对图像校验的方法具有多种，本发明引申中国专利申请公开号CN106934799，发明名称为“胶囊内窥镜图像辅助阅片系统及方法”的全部内容对每一子区域图像集合中的图像进行校验，判断其是否属于当前归属的集合；另外，引申中国专利申请公开号CN111932532，发明名称为“胶囊内窥镜无参考图像评价方法、电子设备及介质”的全部内容对每一子区域图像集合中的图像进行图像质量校验,判断其图像质量是否合适，评分过低的则转移至交叉验证集合,其中，本发明的评分可以为被引申专利的图像质量评价分值和/或图像内容评价分值和/或综合分值，在此不做赘述在此不做过多赘述。
需要说明的是，对每一子区域图像集合中的图像进行校验，和/或对每一子区域图像集合中的图像进行图像质量校验过程中，也会存在误差，因此，保留交叉验证集合，该交叉验证集合中的数据后续也可以进行选择性调阅，或者重新归类，在此不做进一步的赘述。
对于步骤S33,其形成的阅片模型在计算机前端显示界面可视化，当辅助选择阅片模型的子区域时，关联打开所述子区域图像集合，以选择性打开当前子区域图像集合对应的任一图像。
较佳的，在将所有图像均归属至对应的子区域图像集合后，所述方法还包括：对每一子区域图像集合中的每一图像进行属性识别并标注；将每一子区域图像集合中具有同类标注的图像划分为一组；在所述阅片模型上，为具有同类标注的每一图像整体分别生成一映射标识。
这里，结合图5所示，对图像中的病灶进行识别，并具体标注其类型，标注的方式可以人工标注也可以AI系统自动标注；进一步的，将具有相同标注的图像归为一组，并额外在阅片模型上生成一条映射标识，当该映射标识被选择时，可以相应打开对应的图像，进而方便后续集中查询。
进一步的，本发明一实施方式提供一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述基于胶囊内窥镜构建阅片模型的方法中的步骤。
进一步的，本发明一实施方式提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述基于胶囊内窥镜构建阅片模型的方法中的步骤。
综上所述，本发明的基于胶囊内窥镜构建阅片模型的方法、设备及介质，将获取的图片映射到工作区域的3D模型上形成阅片模型，提升检查可视性效果，通过各种映射，后续使用过程中，可以在模拟的阅片模型便捷获取所需图像，增强交互主动性、可操作性；便于观察，节约阅片时间，提高检测概率。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，它们并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于胶囊内窥镜构建阅片模型的方法，其特征在于，所述方法包括：
驱动胶囊内窥镜在工作区域内运动，按照预定第一频率依次记录胶囊内窥镜到达每一定位点时的位置坐标及视野朝向，以及驱动胶囊内窥镜按照预定第二频率依次拍摄图像并记录；
依据所记录的胶囊内窥镜到达每一定位点时的位置坐标构建对应所述工作区域外轮廓的3D模型；
将记录的所述图像映射到所述3D模型上，以形成阅片模型。
2.根据权利要求1所述的基于胶囊内窥镜构建阅片模型的方法，其特征在于，依据所记录的胶囊内窥镜到达每一定位点时的位置坐标构建对应所述工作区域外轮廓的3D模型包括：
获取胶囊内窥镜的所有位置坐标构成原始点云数据；
对所述原始点云数据依次进行高斯滤波，体素化，体素外壳提取，平滑滤波处理，以及表面重建后形成对应所述工作区域外轮廓的3D模型；
所述3D模型以Ω(p)表示，
则
Figure FDA0002984634250000011
3.根据权利要求1所述的基于胶囊内窥镜构建阅片模型的方法，其特征在于，将记录的所述图像映射到所述3D模型上，以形成阅片模型包括：
按照工作区域的结构将所述3D模型划分为多个子区域；
将记录的所述图像映射到每一子区域以形成子区域图像集合，每一图像映射至唯一子区域。
4.根据权利要求3所述的基于胶囊内窥镜构建阅片模型的方法，其特征在于，将记录的所述图像映射到每一子区域以形成子区域图像集合包括：
遍历每一所述图像，获取与当前图像采集时间最接近的定位点；
以获取的定位点的位置坐标为起点，以其对应的视野朝向为延伸方向规划虚拟射线，获取所述虚拟射线与所述3D模型的交点；
获取当前所述交点的位置坐标归属的子区域，并将当前图像映射到当前所述交点的位置坐标归属的子区域，形成子区域图像集合。
5.根据权利要求1所述的基于胶囊内窥镜构建阅片模型的方法，其特征在于，所述方法还包括：配置第一频率高于第二频率。
6.根据权利要求1所述的基于胶囊内窥镜构建阅片模型的方法，在时间延续时序上，对现有的定位点进行插值滤波处理以在现有定位点基础上补充缺失的定位点。
7.根据权利要求4所述的基于胶囊内窥镜构建阅片模型的方法，其特征在于，将所有图像均归属至对应的子区域图像集合后，所述方法还包括：
构建交叉验证集合；
对每一子区域图像集合中的图像进行校验，和/或对每一子区域图像集合中的图像进行图像质量校验，
若图像不属于其当前归属的集合，和/或图像的图像质量评分低于预设分值，则将当前图像转移至交叉验证集合。
8.根据权利要求4所述的基于胶囊内窥镜构建阅片模型的方法，其特征在于，将所有图像均归属至对应的子区域图像集合后，所述方法还包括：
对每一子区域图像集合中的每一图像进行属性识别并标注；
将每一子区域图像集合中具有同类标注的图像划分为一组；
在所述阅片模型上，为具有同类标注的每一图像整体分别生成一映射标识。
9.一种电子设备，包括存储器和处理器，所述存储器存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-8任意一项所述基于胶囊内窥镜构建阅片模型的方法中的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任意一项所述基于胶囊内窥镜构建阅片模型的方法中的步骤。
CN202110296737.2A 2021-03-19 2021-03-19 基于胶囊内窥镜构建阅片模型的方法、设备及介质 Active CN113052956B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110296737.2A CN113052956B (zh) 2021-03-19 2021-03-19 基于胶囊内窥镜构建阅片模型的方法、设备及介质
US18/551,297 US20240188791A1 (en) 2021-03-19 2022-03-15 Method for building image reading model based on capsule endoscope, device, and medium
PCT/CN2022/080840 WO2022194126A1 (zh) 2021-03-19 2022-03-15 基于胶囊内窥镜构建阅片模型的方法、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110296737.2A CN113052956B (zh) 2021-03-19 2021-03-19 基于胶囊内窥镜构建阅片模型的方法、设备及介质

Publications (2)

Publication Number Publication Date
CN113052956A true CN113052956A (zh) 2021-06-29
CN113052956B CN113052956B (zh) 2023-03-10

Family

ID=76513877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110296737.2A Active CN113052956B (zh) 2021-03-19 2021-03-19 基于胶囊内窥镜构建阅片模型的方法、设备及介质

Country Status (3)

Country Link
US (1) US20240188791A1 (zh)
CN (1) CN113052956B (zh)
WO (1) WO2022194126A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114637871A (zh) * 2022-03-23 2022-06-17 安翰科技(武汉)股份有限公司 消化道数据库的建立方法、装置及存储介质
WO2022194126A1 (zh) * 2021-03-19 2022-09-22 安翰科技(武汉)股份有限公司 基于胶囊内窥镜构建阅片模型的方法、设备及介质
WO2023138619A1 (zh) * 2022-01-21 2023-07-27 小荷医疗器械(海南)有限公司 内窥镜图像的处理方法、装置、可读介质和电子设备
CN116721175A (zh) * 2023-08-09 2023-09-08 安翰科技(武汉)股份有限公司 一种图像显示方法、图像显示装置以及胶囊内窥镜系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024052436A (ja) * 2022-09-30 2024-04-11 株式会社トプコン 配筋結果表示システム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105942959A (zh) * 2016-06-01 2016-09-21 安翰光电技术（武汉）有限公司 胶囊内窥镜系统及其三维成像方法
JP2017108971A (ja) * 2015-12-17 2017-06-22 キヤノンマーケティングジャパン株式会社 画像診断支援装置及びその制御方法、並びにコンピュータプログラム及び記憶媒体
US20180140258A1 (en) * 2013-07-30 2018-05-24 Heartflow, Inc. Method and system for modeling blood flow with boundary conditions for optimized diagnostic performance
CN110033465A (zh) * 2019-04-18 2019-07-19 天津工业大学 一种应用于双目内窥镜医学图像的实时三维重建方法
CN110051434A (zh) * 2019-04-25 2019-07-26 厦门强本科技有限公司 Ar与内窥镜结合手术导航方法及终端
CN112075914A (zh) * 2020-10-14 2020-12-15 深圳市资福医疗技术有限公司 胶囊内窥镜检查系统
CN112261399A (zh) * 2020-12-18 2021-01-22 安翰科技(武汉)股份有限公司 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质
US20220084188A1 (en) * 2020-09-14 2022-03-17 SCREEN Holdings Co., Ltd. Image processing apparatus, image processing method, inspection apparatus, and non-transitory computer readable recording medium

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103300862B (zh) * 2013-05-24 2016-04-20 浙江大学宁波理工学院 一种胶囊内窥镜病灶组织深度和三维尺寸的测量方法
WO2017027638A1 (en) * 2015-08-10 2017-02-16 The Board Of Trustees Of The Leland Stanford Junior University 3d reconstruction and registration of endoscopic data
EP3367950A4 (en) * 2015-10-28 2019-10-02 Endochoice, Inc. DEVICE AND METHOD FOR FOLLOWING THE POSITION OF AN ENDOSCOPE IN THE BODY OF A PATIENT
CN106934799B (zh) * 2017-02-24 2019-09-03 安翰科技(武汉)股份有限公司 胶囊内窥镜图像辅助阅片系统及方法
CN112089392A (zh) * 2020-10-14 2020-12-18 深圳市资福医疗技术有限公司 胶囊内窥镜控制方法、装置、设备、系统及存储介质
CN113052956B (zh) * 2021-03-19 2023-03-10 安翰科技(武汉)股份有限公司 基于胶囊内窥镜构建阅片模型的方法、设备及介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180140258A1 (en) * 2013-07-30 2018-05-24 Heartflow, Inc. Method and system for modeling blood flow with boundary conditions for optimized diagnostic performance
JP2017108971A (ja) * 2015-12-17 2017-06-22 キヤノンマーケティングジャパン株式会社 画像診断支援装置及びその制御方法、並びにコンピュータプログラム及び記憶媒体
CN105942959A (zh) * 2016-06-01 2016-09-21 安翰光电技术（武汉）有限公司 胶囊内窥镜系统及其三维成像方法
CN110033465A (zh) * 2019-04-18 2019-07-19 天津工业大学 一种应用于双目内窥镜医学图像的实时三维重建方法
CN110051434A (zh) * 2019-04-25 2019-07-26 厦门强本科技有限公司 Ar与内窥镜结合手术导航方法及终端
US20220084188A1 (en) * 2020-09-14 2022-03-17 SCREEN Holdings Co., Ltd. Image processing apparatus, image processing method, inspection apparatus, and non-transitory computer readable recording medium
CN112075914A (zh) * 2020-10-14 2020-12-15 深圳市资福医疗技术有限公司 胶囊内窥镜检查系统
CN112261399A (zh) * 2020-12-18 2021-01-22 安翰科技(武汉)股份有限公司 胶囊内窥镜图像三维重建方法、电子设备及可读存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022194126A1 (zh) * 2021-03-19 2022-09-22 安翰科技(武汉)股份有限公司 基于胶囊内窥镜构建阅片模型的方法、设备及介质
WO2023138619A1 (zh) * 2022-01-21 2023-07-27 小荷医疗器械(海南)有限公司 内窥镜图像的处理方法、装置、可读介质和电子设备
CN114637871A (zh) * 2022-03-23 2022-06-17 安翰科技(武汉)股份有限公司 消化道数据库的建立方法、装置及存储介质
CN116721175A (zh) * 2023-08-09 2023-09-08 安翰科技(武汉)股份有限公司 一种图像显示方法、图像显示装置以及胶囊内窥镜系统
CN116721175B (zh) * 2023-08-09 2023-10-10 安翰科技(武汉)股份有限公司 一种图像显示方法、图像显示装置以及胶囊内窥镜系统

Also Published As

Publication number Publication date
WO2022194126A1 (zh) 2022-09-22
US20240188791A1 (en) 2024-06-13
CN113052956B (zh) 2023-03-10

Similar Documents

Publication Publication Date Title
CN113052956B (zh) 基于胶囊内窥镜构建阅片模型的方法、设备及介质
US11931141B2 (en) Hybrid registration method
EP2297673B1 (en) Feature-based registration method
JP6254053B2 (ja) 内視鏡画像診断支援装置、システムおよびプログラム、並びに内視鏡画像診断支援装置の作動方法
US10083278B2 (en) Method and system for displaying a timing signal for surgical instrument insertion in surgical procedures
JP2004121835A (ja) 関心領域の追従制御方法、その方法を用いた画像診断装置及び関心領域の追従制御プラグラム
DE112021001951T5 (de) Programm, Informationsverarbeitungsverfahren, Informationsverarbeitungsvorrichtung und Diagnoseunterstützungssystem
WO2021234907A1 (ja) 画像処理装置、制御方法及び記憶媒体
US10078906B2 (en) Device and method for image registration, and non-transitory recording medium
CN115619790B (zh) 一种基于双目定位的混合透视方法、系统及设备
WO2023066072A1 (zh) 导管定位方法、介入手术系统、电子设备和存储介质
CN112998749A (zh) 一种基于视觉伺服的自动超声检查系统
CN115530724A (zh) 内窥镜导航定位方法及装置
CN117392109A (zh) 一种乳腺病灶三维重建方法及系统
CN111477318B (zh) 一种用于远程操纵的虚拟超声探头跟踪方法
Liu et al. Hybrid magnetic and vision localization technique of capsule endoscope for 3D recovery of pathological tissues
US20240216010A1 (en) Method and device for registration and tracking during a percutaneous procedure
WO2024028934A1 (ja) 内視鏡検査支援装置、内視鏡検査支援方法、及び、記録媒体
CN106236263A (zh) 基于场景分解的胃肠手术导航方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant