CN116807361A - Ct影像显示方法、电子设备及装置 - Google Patents

Ct影像显示方法、电子设备及装置 Download PDF

Info

Publication number
CN116807361A
CN116807361A CN202311082680.1A CN202311082680A CN116807361A CN 116807361 A CN116807361 A CN 116807361A CN 202311082680 A CN202311082680 A CN 202311082680A CN 116807361 A CN116807361 A CN 116807361A
Authority
CN
China
Prior art keywords
image
current
mpr
inspected object
segment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311082680.1A
Other languages
English (en)
Other versions
CN116807361B (zh
Inventor
陈栋栋
曹鸥
赖永航
冯健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Medcare Digital Engineering Co ltd
Original Assignee
Qingdao Medcare Digital Engineering Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Medcare Digital Engineering Co ltd filed Critical Qingdao Medcare Digital Engineering Co ltd
Priority to CN202311082680.1A priority Critical patent/CN116807361B/zh
Publication of CN116807361A publication Critical patent/CN116807361A/zh
Application granted granted Critical
Publication of CN116807361B publication Critical patent/CN116807361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/31—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the rectum, e.g. proctoscopes, sigmoidoscopes, colonoscopes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46—Arrangements for interfacing with the operator or the patient
    • A61B6/461—Displaying means of special interest
    • A61B6/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5223—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data generating planar views from image data, e.g. extracting a coronal view from a 3D image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5247—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from an ionising-radiation diagnostic technique and a non-ionising radiation diagnostic technique, e.g. X-ray and ultrasound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/68—Analysis of geometric attributes of symmetry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30172—Centreline of tubular or elongated structure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明涉及医疗信息处理技术领域，尤其涉及一种CT影像显示方法、电子设备及装置。所述CT影像显示方法，包括：在对被检查目标进行内窥镜检查过程中，识别当前检查位置对应的当前检查部位；在包含被检查目标的CT影像的MPR图像中，将MPR图像的十字定位线的位置定位在当前检查部位对应的当前分段的中心线上；根据所述MPR图像的十字定位线的位置，显示所述CT影像的MPR图像。本发明在进行内窥镜检查时，辅助显示CT影像，对病变周围的组织进行扫描，让医生得知是否存在临近组织侵犯等状况，还可以对是否存在远处转移做初步提示，以防止出现漏诊误诊的情况。

Description

CT影像显示方法、电子设备及装置
技术领域
本发明涉及医疗信息处理技术领域，特别涉及一种CT影像显示方法、电子设备及装置。
背景技术
CT结肠成像是一种非侵入性检查，其利用薄层CT数据和专用软件产生结肠的二维和三维图像，可以间接的判断肠道是否存在病变，但是对于肠道比较微小的肿瘤，或者肠道糜烂、息肉等病变是很难判断的。电子肠镜是属于内窥镜检查，可以直观的看到病灶位置及病灶大小，在直观下钳取病变组织送病理活检，或者行肠镜下的治疗术。
如何基于电子肠镜检查，辅助显示CT影像，从而对病变周围的组织进行扫描，使得医生得知是否存在临近组织侵犯等状况，并初步提示是否存在远处转移，以防止出现漏诊误诊的情况，当前未有相关技术。
发明内容
本发明实施例中提供一种CT影像显示方法、电子设备及装置，用以至少部分解决上述问题。
第一方面，本发明实施例提供一种CT影像显示方法，所述CT影像显示方法，包括：
在对被检查目标进行内窥镜检查过程中，识别当前检查位置对应的当前检查部位；
在包含被检查目标的CT影像的MPR图像中，将MPR图像的十字定位线的位置定位在当前检查部位对应的当前分段的中心线上；所述MPR为多平面重建；
根据所述MPR图像的十字定位线的位置，显示所述CT影像的MPR图像。
可选地，所述在包含被检查目标的CT影像的MPR图像中，将MPR图像的十字定位线的位置定位在当前检查部位对应的当前分段的中心线上之前，包括：
构建被检查目标图像的三维容积重建图像；
在所述三维容积重建图像上确定各个分段的中心线。
可选地，所述在所述三维容积重建图像上确定各个分段的中心线，包括：
对所述三维容积重建图像在前位方向上的截屏图像进行预设的各个拐弯区域识别；
根据各个拐弯区域确定各个分段的中心线。
可选地，所述根据各个拐弯区域确定各个分段的中心线，包括：
将识别出的各个拐弯区域按照预设方向延伸，并根据所述CT影像的dicom切片图像中被检查目标图像的掩码数据，获得延伸后的只包含被检查目标图像的各个三维立体图形；所述dicom切片图像为医学数字成像和通信切片图像；
确定各个三维立体图形的中心点；
根据相邻两个中心点确定每个分段的中心线。
可选地，所述构建所述被检查目标图像的三维容积重建图像，包括：
调用预先训练的语义分割模型，提取所述CT影像中被检查目标图像的闭合轮廓；
根据所述闭合轮廓，得到被检查目标图像的dicom切片图像；所述dicom切片图像为医学数字成像和通信切片图像；
对所述dicom切片图像进行三维重建，获得所述被检查目标图像的三维容积重建图像。
可选地，所述根据所述闭合轮廓，得到被检查目标图像的dicom切片图像，包括：
根据所述闭合轮廓设置所述CT影像中被检查目标图像和非被检查目标图像的掩码数据；
根据被检查目标图像和非被检查目标图像的掩码数据，得到被检查目标图像的dicom切片图像。
可选地，所述将MPR图像的十字定位线的位置定位在当前检查部位对应的当前分段的中心线上，包括：
在初次识别出当前检查部位时，将所述MPR图像的十字定位线的位置定位在所述当前分段的中心线上与在前检查部位最近的中心点；
确定当前内窥镜运动方向；
根据所述当前内窥镜运动方向，在所述当前分段的中心线上移动所述MPR图像的十字定位线。
可选地，所述确定当前内窥镜运动方向，包括：
判断当前内窥镜图像与前帧内窥镜图像的图像相似度；
在判定图像相似度低于预设的相似度阈值时，确定所述当前内窥镜未运动；
在判定图像相似度不低于所述相似度阈值时，根据当前内窥镜图像运动矢量的运动强度和运动方向杂乱程度，确定当前内窥镜运动方向。
第二方面，本发明实施例还提供一种电子设备，所述电子设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；
所述计算机程序被所述处理器执行时，实现如上任一项所述的CT影像显示方法的步骤。
第三方面，本发明实施例还提供一种CT影像显示装置，所述CT影像显示装置包括：
识别模块，用于在对被检查目标进行内窥镜检查过程中，识别当前检查位置对应的当前检查部位；
定位模块，用于在包含被检查目标的CT影像的MPR图像中，将MPR图像的十字定位线的位置定位在当前检查部位对应的当前分段的中心线上；所述MPR为多平面重建；
显示模块，用于根据所述MPR图像的十字定位线的位置，显示所述CT影像的MPR图像。
本发明各个实施例在进行内窥镜检查时，辅助显示CT影像，对病变周围的组织进行扫描，让医生得知是否存在临近组织侵犯等状况，还可以对是否存在远处转移做初步提示，以防止出现漏诊误诊的情况。
附图说明
图1是根据本发明实施例的CT影像显示方法流程图；
图2是根据本发明实施例的被检查目标的三维容积重建图像；
图3是根据本发明实施例的矩形框标注示意图；
图4是根据本发明实施例的运动矢量示意图；
图5是根据本发明实施例的MPR显示示意图；
图6是根据本发明实施例的CT影像显示装置的框图。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细描述，应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例一
本发明实施例提供一种CT影像显示方法，如图1所示，所述CT影像显示方法，包括：
S101，在对被检查目标进行内窥镜检查过程中，识别当前检查位置对应的当前检查部位；其中被检查目标可以是肠道等部位；内窥镜可以是肠镜等；
S102，在包含被检查目标的CT影像的MPR图像中，将MPR图像的十字定位线的位置定位在当前检查部位对应的当前分段的中心线上；所述MPR为多平面重建；
S103，根据所述MPR图像的十字定位线的位置，显示所述CT影像的MPR图像。
本发明实施例通过在对被检查目标进行内窥镜检查过程中，识别当前检查位置对应的当前检查部位；在包含被检查目标的CT影像的MPR图像中，将MPR图像的十字定位线的位置定位在当前检查部位对应的当前分段的中心线上；并根据所述MPR图像的十字定位线的位置，显示所述CT影像的MPR图像；进而在进行内窥镜检查时，辅助显示CT影像，对病变周围的组织进行扫描，让医生得知是否存在临近组织侵犯等状况，还可以对是否存在远处转移做初步提示，以防止出现漏诊误诊的情况。
基于本发明实施例的上述方案，以肠道作为被检查目标，通过一具体实施方式详细描述本发明实施例。
本具体实施方式提供的一种CT影像显示方法，包括：
步骤1：对CT影像中被检查目标（肠道）进行三维重建，构建所述被检查目标图像的三维容积重建图像，具体包括：
获取CT影像的肠道切片横断位图像（2D图像），在该2D图像上标注肠道区域闭合轮廓，训练语义分割模型。
调用语义分割模型，提取CT影像中被检查目标图像的闭合轮廓；根据所述闭合轮廓，得到被检查目标图像的dicom切片图像；所述dicom切片图像为医学数字成像和通信切片图像；对所述dicom切片图像进行三维重建，获得所述被检查目标图像的三维容积重建图像。具体地，可以根据闭合轮廓设置CT影像中被检查目标图像和非被检查目标图像的掩码数据；根据被检查目标图像和非被检查目标图像的掩码数据，得到被检查目标图像的dicom切片图像。
例如，调用语义分割模型推断得到对应的掩码数据，其中肠道图像掩码数据是1，非肠道图像掩码数据是0。使用掩码数据和CT影像的肠镜切片原始图像做与运算，即保留肠道区域的原始像素值，非肠道区域的像素值设为0，即得到肠道部位的医学数字成像和通信（dicom）切片图像；对肠道图像的dicom切片图像进行三维重建，如图2所示，得到肠道图像的三维容积重建图像。
步骤2：在被检查目标（肠道）图像的三维容积重建图像上确定各个分段的中心线；可选地，包括：
步骤2.1：对三维容积重建图像在前位方向上进行截屏获取平面（2D）图像，训练识别平面图像的各个拐弯区域检测网络。
详细地，如图3所示，对该2D图像上分别在回盲部区域、升结肠与回盲部交汇区域、升结肠与横结肠交汇区域、横结肠与降结肠交汇区域、降结肠与直肠交汇区域等各个拐弯区域分别标注矩形框，训练拐弯区域检测网络。
步骤2.2：调用拐弯区域检测网络识别各个拐弯区域，将拐弯区域转换拐弯区域三维立体图形，确定各个拐弯区域三维立体图形的中心点；根据各个中心点，根据相邻两个中心点确定每个分段的中心线，相邻两个中心点构成每个分段的两个端点。各个分段包含回盲部分段、升结肠分段、横结肠分段、降结肠分段等等。两个端点为开始点和终止点。
详细地，调用目标检测网络识别到各个拐弯区域后，对每一个矩形框的2D坐标转换成三维重建下的3D世界坐标，将矩形框向X方向进行延伸得到矩形体（拐弯区域三维立体图形），将矩形体与dicom切片的掩码数据做与运算（对应坐标下的掩码值是1的矩形体的点坐标保留，应对是0的点坐标删除），即得到了只包含肠道中各检查区域的矩形体，计算该矩形体的中心点坐标，即分别得到了回盲部部位的中心点、升结肠与回盲部交汇区域的中心点、肝曲区域的中心点、脾曲区域的中心点、降结肠与直肠交汇区域的中心点。
如表1所示，使用Dijkstra网格最短路径算法设置路径的起止位置，分别提取出肠道区域的各个分段中心线：回盲部分段的中心线、升结肠分段的中心线、横结肠分段的中心线、降结肠分段的中心线、直肠分段的中心线。使用Dijkstra网格最短路径算法提取的中心线为曲线，能够使各个分段的中心线与肠道形状完全匹配。
表1 路径起止位置表
分段开始点 分段结束点 分段中心线
回盲部部位的中心点 升结肠与回盲部交汇区域的中心点 回盲部分段的中心线
升结肠与回盲部交汇区域的中心点 肝曲区域的中心点 升结肠分段的中心线
肝曲区域的中心点 脾曲区域的中心点 横结肠分段的中心线
脾曲区域的中心点 降结肠与直肠交汇区域的中心点 降结肠分段的中心线
步骤3：在对被检查目标进行内窥镜检查过程中，识别当前检查位置对应的当前检查部位。
详细地，步骤3.1：采集内窥镜检查图像样本，训练被检查目标图像的各个部位识别模型、标识区域识别模型、训练内镜图像清晰、模糊二分类网络模型等。其中，部位识别模型包括回盲部识别分类网络模型，标识区域识别模型包括标注肝曲和脾曲部位上的褶皱区域、褶皱目标检测模型等。
步骤3.2：内窥镜检查时，根据预设的部位识别模型，识别出所述内窥镜影像的当前内窥镜图像对应的当前检查部位；或者，根据预设的标识区域识别模型和当前内窥镜运动方向，识别出所述内窥镜影像的当前内窥镜图像对应的当前检查部位。
详细地，检测内窥镜运动方向，包括：判断所述当前内窥镜图像与前帧内窥镜图像的图像相似度；在判定图像相似度低于预设的相似度阈值时，确定所述当前内窥镜未运动；在判定图像相似度不低于所述相似度阈值时，根据当前内窥镜图像运动矢量的运动强度和运动方向杂乱程度，确定当前内窥镜运动方向。
例如，采集内窥镜检查图像样本，训练图像清晰检测模型、褶皱目标检测模型、图像相似度检测模块、内窥镜镜头运动方向检测模块。
对输入内窥镜图像进行预处理，如图4所示，将每一帧预处理后的输入图像（当前内窥镜图像）的运动矢量作为运动特征，分析运动矢量的运动强度和运动方向杂乱程度。其中预处理后的输入图像为经过图像相似度检测模块检测为不相似图像（图像相似度低于预设的相似度阈值），裁剪去除掉内镜图像中黑色无效区域，只保留了肠镜的彩色有效画面，并进行图像降维处理。采用Lucas-Kanade算法计算运动图像序列的运动矢量，Lucas-Kanade算法是一种基于光流原理的特征点跟踪算法，其中光流法的原理是将二维平面上的亮度变化看着是一个连续的流体，因此在物体运动的轨迹上亮度信号的强度基本保持不变。
对预处理后的输入图像等比例拆分成m个n×n的正方形块区域，计算相邻两帧块区域之间的光流，得到m个运动矢量。判断m个运动矢量的运动方向，运动方向差异超过设定阈值且没有规律，则判断内窥镜镜头（肠镜镜头）旋转。连续多帧提取到的运动矢量的运动方向保持固定方向移动，则判断内窥镜镜头移动，依据移动方向定义镜头前进或者后退。运动方向朝笛卡尔坐标系的第一象限和第二象限移动，则判断内窥镜镜头向前移动；运动方向朝笛卡尔坐标系的第三象限和第四象限移动，则判断内窥镜镜头向后移动；连续多帧判断镜头朝同一方向移动时，计算运动方向的夹角。本实施方式可以快速准确的识别出内窥镜的运动方向，并且识别逻辑简单可以有效提高运动方向的识别速度。
步骤4：CT影像的MPR（多平面重建）。在包含被检查目标的CT影像的MPR图像中，将MPR图像的十字定位线的位置定位在当前检查部位对应的当前分段的中心线上；根据所述MPR图像的十字定位线的位置，显示所述CT影像的MPR图像。
详细地，输入肠道部位三维容积重建图像的中心线的三维坐标点，作为MPR的十字定位线坐标点，显示MPR重建后的横断位、矢状位、冠状位三个切面图像，如图5所示。
例如，在初次识别出当前检查部位时，将所述MPR图像的十字定位线的位置定位在所述当前分段的中心线上与在前检查部位最近的中心点；确定当前内窥镜运动方向；根据所述当前内窥镜运动方向，在所述当前分段的中心线上移动所述MPR图像的十字定位线。
在具体实现过程中，内窥镜检查时，调用回盲部识别模型检测是否到达盲肠，当识别到回盲部后，开启CT影像的MPR显示，此时MPR的十字定位线坐标点定位在回盲部区域的中心点坐标上；肠镜检查进入回盲部后，开始退镜检测肠道，当检测不到盲肠时，肠镜进入升结肠区域，此时CT肠镜MPR图像的十字定位线坐标点定位在升结肠截面的分段中心线的起始坐标点位置显示，同时开启图像清晰检测模型、褶皱目标检测模型、图像相似度检测模块、内窥镜镜头运动方向检测模块，检测运动轨迹。
当图像相似度变化低于设定相似度阈值，则认为肠镜镜头没有移动不变，CT影像显示画面不变；当方向检测模块检测到图像旋转时，认为没有发生镜头移动，CT影像显示画面不变；当方向检测模块检测到镜头前进，CT影像的MPR的十字定位线坐标点沿着分段中心线的坐标点进行向前移动；当检测到镜头后退，CT影像的MPR的十字定位线坐标点沿着分段中心线的坐标点进行向后移动；由于升结肠和横结肠之间有较大拐角，降结肠与横结肠之间也有较大拐角，升结肠和横结肠之间有肝曲，降结肠与横结肠之间有脾曲，通过检测较大拐角和肝曲和脾曲部位上的褶皱区域来区分不同的肠段。即，可以根据预设的标识区域识别模型和当前内窥镜运动方向，识别出所述内窥镜影像的当前内窥镜图像对应的当前检查部位。
例如当前肠镜图像定位在升结肠区域，当检测到肠镜画面是前进方向、拐角超过设定阈值，并且褶皱目标检测模型连续识别到褶皱区域后，则肠镜定位到横结肠，此时CT影像MPR图像的十字定位线坐标点定位在横结肠截面的分段中心线的起始坐标点位置显示；当前肠镜图像定位在横结肠区域，当检测到肠镜画面是前进方向、拐角超过设定拐角阈值，并且褶皱目标检测模型连续识别到褶皱区域后，则肠镜定位到降结肠，此时MPR图像的十字定位线坐标点定位在降结肠截面的分段中心线的起始坐标点位置显示。
本具体实施方式通过训练语义分割网络，提取出CT影像中的肠道区域；得到肠道部位的三维容积重建；对三维容积重建体使用前位方向显示进行截屏获取2D平面图像，对2D平面图像上分别在回盲部区域、升结肠与回盲部交汇区域、肝曲区域、脾曲区域、降结肠与直肠交汇区域等各个肠道部位拐点位置标注矩形框，训练拐弯区域检测网络；各个矩形框向3D方向延伸转换成矩形体，将矩形体与dicom切片的掩码数据做与运算，得到各个肠道部位拐点位置的矩形体，计算各个矩形体的中心点坐标分别作为回盲部部位的中心点、升结肠与回盲部分段的中心点、肝曲区域的中心点、脾曲区域的中心点、降结肠与直肠分段的中心点；分别提取出分段的肠道截面中心线：回盲部截面的分段中心线、升结肠截面的分段中心线、横结肠截面的分段中心线、降结肠截面的分段中心线、直肠截面的分段中心线；采集肠镜检查图像样本，训练回盲部识别分类网络模型、训练内镜图像清晰、模糊二分类网络模型、标注肝曲和脾曲部位上的褶皱区域，训练褶皱目标检测模型、图像相似度检测模块；实时肠镜画面运动方向检测模块，用于检测内镜镜头旋转、前进，后退和拐弯变化角度；肠镜到达回盲部开始退镜检测时，开启CT影像的多平面重建MPR图像显示；依据肠镜运动轨迹的方向判断、角度判断以及褶皱目标识别的综合判断，实时计算肠镜画面与CT影像的定位匹配，并显示与当前肠镜画面的坐标相匹配的MPR图像。
本具体实施方式在进行内窥镜检查时，辅助显示CT影像，对病变周围的组织进行扫描，让医生得知是否存在临近组织侵犯等状况，还可以对是否存在远处转移做初步提示，以防止出现漏诊误诊的情况。
实施例二
本发明实施例提供一种电子设备，所述电子设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序；
所述计算机程序被所述处理器执行时，实现如实施例一中任一项所述的CT影像显示方法的步骤。
实施例三
本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质上存储有CT影像显示程序，所述CT影像显示程序被处理器执行时，实现如实施例一中任一项所述的CT影像显示方法的步骤。
实施例四
本发明实施例还提供一种CT影像显示装置，如图6所示，所述CT影像显示装置包括：
识别模块20，用于在对被检查目标进行内窥镜检查过程中，识别当前检查位置对应的当前检查部位；
定位模块22，用于在包含被检查目标的CT影像的MPR图像中，将MPR图像的十字定位线的位置定位在当前检查部位对应的当前分段的中心线上；所述MPR为多平面重建；
显示模块24，用于根据所述MPR图像的十字定位线的位置，显示所述CT影像的MPR图像。
本发明实施例在进行内窥镜检查时，辅助显示CT影像，对病变周围的组织进行扫描，让医生得知是否存在临近组织侵犯等状况，还可以对是否存在远处转移做初步提示，以防止出现漏诊误诊的情况。
在一些实施方式中，所述CT影像显示装置还包括：
构建模块，用于构建所述被检查目标图像的三维容积重建图像；在所述三维容积重建图像上确定各个分段的中心线。
可选地，所述构建模块在所述三维容积重建图像上确定各个分段的中心线时，具体用于对所述三维容积重建图像在前位方向上的截屏图像进行预设的各个拐弯区域识别；根据各个拐弯区域确定各个分段的中心线。
其中，所述根据各个拐弯区域确定各个分段的中心线，包括：
将识别出的各个拐弯区域按照预设方向延伸，并根据所述CT影像的dicom切片图像中被检查目标图像的掩码数据，获得延伸后的只包含被检查目标图像的各个三维立体图形；所述dicom切片图像为医学数字成像和通信切片图像；确定各个三维立体图形的中心点；根据相邻两个中心点确定每个分段的中心线。
可选地，所述构建模块在构建所述被检查目标图像的三维容积重建图像时，具体用于调用预先训练的语义分割模型，提取所述CT影像中被检查目标图像的闭合轮廓；根据所述闭合轮廓，得到被检查目标图像的dicom切片图像；所述dicom切片图像为医学数字成像和通信切片图像；对所述dicom切片图像进行三维重建，获得所述被检查目标图像的三维容积重建图像。
其中，所述根据所述闭合轮廓，得到被检查目标图像的dicom切片图像，可以包括：根据所述闭合轮廓设置所述CT影像中被检查目标图像和非被检查目标图像的掩码数据；根据被检查目标图像和非被检查目标图像的掩码数据，得到被检查目标图像的dicom切片图像。
在一些实施方式中，所述定位模块，具体用于在初次识别出当前检查部位时，将所述MPR图像的十字定位线的位置定位在所述当前分段的中心线上与在前检查部位临近的中心点；确定当前内窥镜运动方向；根据所述当前内窥镜运动方向，在所述当前分段的中心线上移动所述MPR图像的十字定位线。
其中，所述确定当前内窥镜运动方向可以包括：判断所述当前内窥镜图像与前帧内窥镜图像的图像相似度；在判定图像相似度低于预设的相似度阈值时，确定所述当前内窥镜未运动；在判定图像相似度不低于所述相似度阈值时，根据当前内窥镜图像运动矢量的运动强度和运动方向杂乱程度，确定当前内窥镜运动方向。
实施例二至实施例四在具体实现过程中，可以参阅实施例一，具有相应的技术效果。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (10)

1.一种CT影像显示方法，其特征在于，所述CT影像显示方法，包括：
在对被检查目标进行内窥镜检查过程中，识别当前检查位置对应的当前检查部位；
在包含被检查目标的CT影像的MPR图像中，将MPR图像的十字定位线的位置定位在当前检查部位对应的当前分段的中心线上；所述MPR为多平面重建；
根据所述MPR图像的十字定位线的位置，显示所述CT影像的MPR图像。
2.根据权利要求1所述的CT影像显示方法，其特征在于，所述在包含被检查目标的CT影像的MPR图像中，将MPR图像的十字定位线的位置定位在当前检查部位对应的当前分段的中心线上之前，包括：
构建被检查目标图像的三维容积重建图像；
在所述三维容积重建图像上确定各个分段的中心线。
3.根据权利要求2所述的CT影像显示方法，其特征在于，所述在所述三维容积重建图像上确定各个分段的中心线，包括：
对所述三维容积重建图像在前位方向上的截屏图像进行预设的各个拐弯区域识别；
根据各个拐弯区域确定各个分段的中心线。
4.根据权利要求3所述的CT影像显示方法，其特征在于，所述根据各个拐弯区域确定各个分段的中心线，包括：
将识别出的各个拐弯区域按照预设方向延伸，并根据所述CT影像的dicom切片图像中被检查目标图像的掩码数据，获得延伸后的只包含被检查目标图像的各个三维立体图形；所述dicom切片图像为医学数字成像和通信切片图像；
确定各个三维立体图形的中心点；
根据相邻两个中心点确定每个分段的中心线。
5.根据权利要求2所述的CT影像显示方法，其特征在于，所述构建所述被检查目标图像的三维容积重建图像，包括：
调用预先训练的语义分割模型，提取所述CT影像中被检查目标图像的闭合轮廓；
根据所述闭合轮廓，得到被检查目标图像的dicom切片图像；所述dicom切片图像为医学数字成像和通信切片图像；
对所述dicom切片图像进行三维重建，获得所述被检查目标图像的三维容积重建图像。
6.根据权利要求5所述的CT影像显示方法，其特征在于，所述根据所述闭合轮廓，得到被检查目标图像的dicom切片图像，包括：
根据所述闭合轮廓设置所述CT影像中被检查目标图像和非被检查目标图像的掩码数据；
根据被检查目标图像和非被检查目标图像的掩码数据，得到被检查目标图像的dicom切片图像。
7.根据权利要求1-6中任一项所述的CT影像显示方法，其特征在于，所述将MPR图像的十字定位线的位置定位在当前检查部位对应的当前分段的中心线上，包括：
在初次识别出当前检查部位时，将所述MPR图像的十字定位线的位置定位在所述当前分段的中心线上与在前检查部位最近的中心点；
确定当前内窥镜运动方向；
根据所述当前内窥镜运动方向，在所述当前分段的中心线上移动所述MPR图像的十字定位线。
8.根据权利要求7所述的CT影像显示方法，其特征在于，所述确定当前内窥镜运动方向，包括：
判断当前内窥镜图像与前帧内窥镜图像的图像相似度；
在判定图像相似度低于预设的相似度阈值时，确定所述当前内窥镜未运动；
在判定图像相似度不低于所述相似度阈值时，根据当前内窥镜图像运动矢量的运动强度和运动方向杂乱程度，确定当前内窥镜运动方向。
9.一种电子设备，其特征在于，所述电子设备包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序；
所述计算机程序被所述处理器执行时，实现如权利要求1-8中任一项所述的CT影像显示方法的步骤。
10.一种CT影像显示装置，其特征在于，所述CT影像显示装置包括：
识别模块，用于在对被检查目标进行内窥镜检查过程中，识别当前检查位置对应的当前检查部位；
定位模块，用于在包含被检查目标的CT影像的MPR图像中，将MPR图像的十字定位线的位置定位在当前检查部位对应的当前分段的中心线上；所述MPR为多平面重建；
显示模块，用于根据所述MPR图像的十字定位线的位置，显示所述CT影像的MPR图像。
CN202311082680.1A 2023-08-28 2023-08-28 Ct影像显示方法、电子设备及装置 Active CN116807361B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311082680.1A CN116807361B (zh) 2023-08-28 2023-08-28 Ct影像显示方法、电子设备及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311082680.1A CN116807361B (zh) 2023-08-28 2023-08-28 Ct影像显示方法、电子设备及装置

Publications (2)

Publication Number Publication Date
CN116807361A true CN116807361A (zh) 2023-09-29
CN116807361B CN116807361B (zh) 2023-12-08

Family

ID=88126031

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311082680.1A Active CN116807361B (zh) 2023-08-28 2023-08-28 Ct影像显示方法、电子设备及装置

Country Status (1)

Country Link
CN (1) CN116807361B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1836255A (zh) * 2003-08-14 2006-09-20 西门子共同研究公司 虚拟内窥镜图像的配准的方法和设备
CN101053523A (zh) * 2007-06-12 2007-10-17 中国人民解放军第三军医大学第一附属医院 多层螺旋ct三维重建测量肱骨头偏心距的方法
JP2010284405A (ja) * 2009-06-15 2010-12-24 Toshiba Corp 医用画像処理装置、医用画像診断装置および医用画像処理プログラム
CN103337071A (zh) * 2013-06-19 2013-10-02 北京理工大学 基于结构重建的皮下静脉三维可视化装置及方法
US20200027546A1 (en) * 2018-07-23 2020-01-23 Ziosoft, Inc. Medical image processing apparatus, medical image processing method and medical image processing system
CN112641514A (zh) * 2020-12-17 2021-04-13 罗雄彪 一种微创介入导航系统与方法
US20220071716A1 (en) * 2020-09-08 2022-03-10 Verb Surgical Inc. 3d visualization enhancement for depth perception and collision avoidance

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1836255A (zh) * 2003-08-14 2006-09-20 西门子共同研究公司 虚拟内窥镜图像的配准的方法和设备
CN101053523A (zh) * 2007-06-12 2007-10-17 中国人民解放军第三军医大学第一附属医院 多层螺旋ct三维重建测量肱骨头偏心距的方法
JP2010284405A (ja) * 2009-06-15 2010-12-24 Toshiba Corp 医用画像処理装置、医用画像診断装置および医用画像処理プログラム
CN103337071A (zh) * 2013-06-19 2013-10-02 北京理工大学 基于结构重建的皮下静脉三维可视化装置及方法
US20200027546A1 (en) * 2018-07-23 2020-01-23 Ziosoft, Inc. Medical image processing apparatus, medical image processing method and medical image processing system
US20220071716A1 (en) * 2020-09-08 2022-03-10 Verb Surgical Inc. 3d visualization enhancement for depth perception and collision avoidance
CN112641514A (zh) * 2020-12-17 2021-04-13 罗雄彪 一种微创介入导航系统与方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
高德宏;贾飞鸽;汪春荣;沈比先;陈胜基;: "正常主动脉瓣及二尖瓣双源CT表现及测量", 中国CT和MRI杂志, no. 03, pages 71 - 73 *

Also Published As

Publication number Publication date
CN116807361B (zh) 2023-12-08

Similar Documents

Publication Publication Date Title
US10929669B2 (en) Systems and methods for processing colon images and videos
JP6348078B2 (ja) 分岐構造判定装置、分岐構造判定装置の作動方法および分岐構造判定プログラム
EP1994878B9 (en) Medical image processing device and medical image processing method
CN111227864B (zh) 使用超声图像利用计算机视觉进行病灶检测的装置
JP5918548B2 (ja) 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム
EP2305091B1 (en) Image processing apparatus, image processing program, and image processing method
CN109830289B (zh) 肋骨图像显示装置
CN112150524B (zh) 一种基于深度学习的二维和三维医学图像配准方法和系统
JP4902735B2 (ja) 医療用画像処理装置及び医療用画像処理方法
WO2011027107A1 (en) Apparatus and method for determining a location in a target image
JP2004500213A (ja) デジタル腸サブトラクションおよびポリープ検出システムならびに関連技術
US20110187707A1 (en) System and method for virtually augmented endoscopy
Lin et al. Efficient vessel feature detection for endoscopic image analysis
CN111214255A (zh) 一种医学超声图像计算机辅助诊断方法
Wijata et al. Unbiased validation of the algorithms for automatic needle localization in ultrasound-guided breast biopsies
JP4981335B2 (ja) 医療用画像処理装置及び医療用画像処理方法
CN116807361B (zh) Ct影像显示方法、电子设备及装置
CN116051553A (zh) 一种在三维医学模型内部进行标记的方法和装置
CN114708283A (zh) 图像目标的分割方法、装置、电子设备及存储介质
KR20220122312A (ko) 인공 지능 기반 위 내시경 영상 진단 보조 시스템 및 방법
CN115245303A (zh) 一种用于内窥镜三维导航的图像融合系统和方法
Wang et al. Dynamic 3D reconstruction of gastric internal surface under gastroscopy
Armin Automated visibility map from colonoscopy video to support clinical diagnosis and improve the quality of colonoscopy
Zhang et al. Cable footprint history: Spatio-temporal technique for instrument detection in gastrointestinal endoscopic procedures
Doerfler et al. Blood vessel detection in navigated ultrasound: An assistance system for liver resections

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant