CN115049666A - 基于彩色小波协方差深度图模型的内镜虚拟活检装置 - Google Patents
基于彩色小波协方差深度图模型的内镜虚拟活检装置 Download PDFInfo
- Publication number
- CN115049666A CN115049666A CN202210978020.0A CN202210978020A CN115049666A CN 115049666 A CN115049666 A CN 115049666A CN 202210978020 A CN202210978020 A CN 202210978020A CN 115049666 A CN115049666 A CN 115049666A
- Authority
- CN
- China
- Prior art keywords
- image
- depth map
- endoscope
- tumor
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 56
- 230000003902 lesion Effects 0.000 claims abstract description 23
- 230000011218 segmentation Effects 0.000 claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 238000005286 illumination Methods 0.000 claims abstract description 14
- 239000000284 extract Substances 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 23
- 230000009466 transformation Effects 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 15
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004422 calculation algorithm Methods 0.000 claims description 4
- 230000004927 fusion Effects 0.000 abstract description 8
- 238000001574 biopsy Methods 0.000 abstract description 3
- 238000004364 calculation method Methods 0.000 description 8
- 238000003745 diagnosis Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000001839 endoscopy Methods 0.000 description 4
- 238000003709 image segmentation Methods 0.000 description 4
- 230000003211 malignant effect Effects 0.000 description 4
- 210000004400 mucous membrane Anatomy 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000002496 gastric effect Effects 0.000 description 3
- 210000001035 gastrointestinal tract Anatomy 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 210000004877 mucosa Anatomy 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 208000002699 Digestive System Neoplasms Diseases 0.000 description 1
- 208000000461 Esophageal Neoplasms Diseases 0.000 description 1
- 206010061218 Inflammation Diseases 0.000 description 1
- 206010030155 Oesophageal carcinoma Diseases 0.000 description 1
- 241000227425 Pieris rapae crucivora Species 0.000 description 1
- 208000005718 Stomach Neoplasms Diseases 0.000 description 1
- 208000025865 Ulcer Diseases 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000002775 capsule Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 208000010643 digestive system disease Diseases 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 201000004101 esophageal cancer Diseases 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 210000000232 gallbladder Anatomy 0.000 description 1
- 206010017758 gastric cancer Diseases 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 230000004054 inflammatory process Effects 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000277 pancreatic duct Anatomy 0.000 description 1
- 239000000049 pigment Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 201000011549 stomach cancer Diseases 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
- 231100000397 ulcer Toxicity 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10068—Endoscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Radiology & Medical Imaging (AREA)
- Image Processing (AREA)
Abstract
本发明公开了基于彩色小波协方差深度图模型的内镜虚拟活检装置，包括内镜图像获取模块，用于获取内镜图像；病灶区检测模块，用于提取内镜图像的肿瘤区域范围，与内镜图像获取模块连接；照明光图像获取模块，用于获取若干幅不同角度的肿瘤区域范围的图像，与病灶区检测模块连接；CWC‑Dmnet模块，对照明光图像获取模块获得的图像提取纹理特征，进行特征匹配和拼接，输出肿瘤区域的分割位置和标记肿瘤位置的深度图；本发明通过利用内镜图像的多角度和多模式的图像融合深度图重建，抽取不同的图像特征，以达到虚拟活检的目的，给出疑似肿瘤区域的位置和标记肿瘤位置的深度图，提高肿瘤区域的判断准确度。
Description
技术领域
本发明涉及深度学习技术领域，尤其涉及一种基于彩色小波协方差深度图模型的内镜虚拟活检装置。
背景技术
消化道肿瘤发病率高，多数患者发现时已为中晚期，且预后较差。电子内镜是诊疗消化科疾病的重要手段。近年来，内镜技术如色素内镜、电子染色内镜、放大内镜及胶囊内镜等技术发展迅速，医生可以直观地检查消化道肠腔黏膜病变。然而我国电子内镜医疗资源分布不均，内镜医师临床经验以及诊疗水平参差不齐，对早期病变黏膜识别度低，导致我国食管癌、胃癌等疾病的早期内镜下检出率低。因计算机技术的飞速发展及数据分析能力的提高，人工智能技术成为当前研究的热点内容。目前，已经在医学领域的多个系统展开研究人工智能技术，并取得可喜的成绩，有望投入到将来的临床实践中。
其中，NBI（narrow band imaging，窄带内镜）是通过安装特殊窄带滤光片改变入射光波长，以蓝色窄带光波作为照明光源的内镜检查方法。因照明光波波长比通常白光光谱窄，所以称为窄带光源，用此光源的内镜称窄带内镜。普通电子内镜用广光谱的红绿蓝滤光片处理照明光，基本覆盖了可见光400～800nm的波长范围，与普通照明光类似，可展现黏膜的自然原色，但对黏膜表面毛细血管及微血管的强调效果不明显，窄带成像有多种波长，不同波长有不同黏膜穿透性，对于黏膜表现血管的观察更加仔细。
现有内镜AI辅助检测，只是简单的给医生疑似肿瘤区域的提示，对空间深度信息的利用不足。对于肿瘤良恶性的判断能力不足，不能很好的给出疑似肿瘤区域的病灶判断。这些简单的AI服务功能，没有很好的发挥深度模型对多NBI和WL（White Light，白光）两种模式下和多角度下对检测区域的融合和处理，没有利用好图像中丰富的对于疑似肿瘤区域的纹理特征。其中多角度深度图，对于疑似区域的获取和疑似肿瘤区域的分类判断至关重要。
例如，中国专利CN201610274577.0公开了一种用于消化道肿瘤内镜图像识别的方法及应用，分别改进了基于消化内镜图像的特征点的提取与相应的图像内部结构的建立，以及基于消化内镜图像的图的核算法以及复杂度计算方法等步骤；根据技术方案的不同，既避免了构建的图节点数过大的问题也解决了使用所有像素点会抓取很多没有必要的细节信息的问题；但是，该方案注重于特征点的提取，而没有对多特征进行融合处理，容易遗漏关键特征，无法对图像中的肿瘤位置进行准确定位。
发明内容
本发明主要解决现有的技术中没有利用好图像中的纹理特征导致图像中的疑似肿瘤区域的病灶判断准确度差的问题；提供一种基于彩色小波协方差深度图模型的内镜虚拟活检装置，利用内镜检查过程中对于某一位置的多角度观察图像融合，形成对于检查区域的深度和纹理特征的融合检查结果，给出疑似肿瘤区域的位置和标记肿瘤位置的深度图，提高肿瘤区域的判断准确度。
本发明的上述技术问题主要是通过下述技术方案得以解决的：一种基于彩色小波协方差深度图模型的内镜虚拟活检装置，包括内镜图像获取模块，用于获取内镜图像；病灶区检测模块，用于提取内镜图像的肿瘤区域范围，与内镜图像获取模块连接；照明光图像获取模块，用于获取若干幅不同角度的肿瘤区域范围的图像，与病灶区检测模块连接；CWC-Dmnet（Color Wavelet Covariance-DepthMapnet，彩色小波协方差深度图模型）模块，对照明光图像获取模块获得的图像提取纹理特征，进行特征匹配和拼接，输出肿瘤区域的分割位置和标记肿瘤位置的深度图。使用CWC-DMNet结合内镜图像的多角度和多模式的图像融合2d形式的深度图，达到虚拟活检的目的，使用CWC-DMNet模型进行虚拟活检，给出疑似区域划分和深度图，使用深度图DepthMap融合CWC特征给出良恶性判断，结果更加准确。
作为优选，所述的病灶区检测模块采用Unet深度分割模型提取内镜图像的肿瘤区域范围。采用Unet深度分割模型提取内镜图像的肿瘤区域范围，起到一个疑似区域信息提示的作用，辅助医生进行图像肿瘤区域的初步判断。
作为优选，所述的照明光图像获取模块采用窄带光波获取若干个图像以及采用白光光波获取若干个图像。照明光图像获取模块包括两种模式，NBI模式和WL模式，通过两种模式下不同的光波波长获取图像，实现血管不同程度的特征提取。
作为优选，所述的CWC-DMnet模块提取纹理特征之前还包括采用相机畸变校正模型对图像的畸变进行校正。通过图像校正，可以获得更加清晰的图像，提高结果的准确性。
作为优选，CWC-DMnet模块的工作过程包括以下步骤：
S11：输入中间标准视角图像、白光视角图像和窄带光视角图像；
S12：使用共享权重的卷积特征提取层对步骤S11的图像进行特征提取；
S13：对分通道的特征图使用变换矩阵进行特征映射；
S14：对映射到同一视角下的特征进行特征代价的获取；
S15：通过多尺度的3D-CNN网络进行特征代价体正则化；
S16：将正则化的特征代价和原图特征进行融合；
S17：通过卷积层提取出肿瘤疑似区域的图形分割mask；
S18：通过肿瘤疑似区域的图形分割mask的叠加，提取出肿瘤疑似区域的深度图；
S19：结合CWC提取到的纹理特征，对肿瘤疑似区域进行特征分类预测。采用CWC-DMnet模型，进行内镜图像的多角度和多模式的图像融合深度图重建，抽取不同的图像特征，提取图像中肿瘤疑似区域的分割和深度图，以达到虚拟活检的目的，为医生诊断提供辅助信息。
作为优选，所述的变换矩阵为H变换矩阵。
作为优选，CWC提取纹理特征包括以下步骤：
S111：选取不同的颜色空间，将每幅图像分解成3幅单通道图像；
S112：对单通道图像进行三层小波变换，使用Mallet算法进行分解，选取第二层中的三幅细节子图像；
S113：在高频子图像中，分别提取4个方向0°、45°、90°以及135°的共生灰度矩阵，总共获得36幅子图像；
S114：在步骤S113的36幅图像中，分别计算同质度、角二阶矩、对比度及相关性四种特征，最终在不同颜色空间下得到一个144维的特征向量。
本发明的有益效果是：通过利用内镜图像的多角度和多模式的图像融合深度图重建，抽取不同的图像特征，以达到虚拟活检的目的，给出疑似肿瘤区域的位置和标记肿瘤位置的深度图，提高肿瘤区域的判断准确度，不但可以减少内镜过程中不必要的操作，还可以节省内镜检查医生的时间；通过简单的操作，获取到更多的内镜信息，完成深度重建达到虚拟活检的目的，提升了内镜检查医生在检查过程中对于肿瘤疑似区域的判断准确度，提取图像中肿瘤疑似区域的分割和深度图，为医生诊断提供辅助信息，提升了内镜检查诊断的精确度。
附图说明
图1是本发明实施例的虚拟活检装置的结构框图。
图中1、内镜图像获取模块，2、病灶区检测模块，3、照明光图像获取模块，4、CWC-DMnet模块。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
为了使本发明的目的、技术方案及优点更加清楚明白，通过下述实施例并结合附图，对本发明实施例中的技术方案的进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定发明。
术语解释：
内镜检查：是由体外经过人体自然腔道送入体内，对体内疾病进行检查的一种光学仪器检查。内镜检查能够对发生在消化道的炎症、溃疡、良性和恶性肿瘤，肝、胆、胰腺管道系统的良、恶性病变，腹腔脏器的良、恶性病变进行诊断。
虚拟活检：在CT仿真内镜的基础上，借助计算机分析软件及技术，获取病变部位尽可能多的形态、功能信息，得出类似或近似组织活检诊断结果的技术。
实施例：一种基于彩色小波协方差深度图模型的内镜虚拟活检装置，如图1所示，包括内镜图像获取模块1、病灶区检测模块2、照明光图像获取模块3和CWC-DMnet模块4，其中，内镜图像获取模块用于获取内镜图像；病灶区检测模块用于提取内镜图像的肿瘤区域范围，与内镜图像获取模块连接；照明光图像获取模块用于获取若干幅不同角度的肿瘤区域范围的图像，与病灶区检测模块连接；CWC-DMnet模块用于对照明光图像获取模块获得的图像提取纹理特征，进行特征匹配和拼接，输出肿瘤区域的分割位置和标记肿瘤位置的深度图，病灶区检测模块采用Unet深度分割模型提取内镜图像的肿瘤区域范围，照明光图像获取模块采用窄带光波获取若干个图像以及采用白光光波获取若干个图像。
包括以下步骤：首先在内镜获取的图像中，检测出疑似区域的分割，用于向内镜检测医生提示检测到了疑似病灶区，并且展示病灶部位的范围划分，医生根据初步检测的病灶区范围进行病灶类型良恶性分类判断，若可以准确的判断类型以及良恶性分类，则不需要进一步的虚拟活检检测，系统会继续检测疑似区域。如果需要进行进一步的虚拟活检，流程会进行到下一步，提示医生分别使用NBI和WL模式，分别获取内镜图像中的病灶部位图像，并且获取到多幅不同角度的对这一疑似病灶区的检测画面。首先对图像数据根据内镜设备的相机校正参数，对图像数据进行校正和预处理。将获取到的10张，不同模式和角度合适的图像输入到CWC-DMnet模型中对图像进行深度重建和对纹理特征进行提取，最终给出疑似区域的虚拟活检结果，包括分割数据，深度图数据和病灶类型良恶性分类判断。
疑似区域的图像分割首先是通过图像分割深度模型进行处理，提取处疑似区域的图像划分，这里的模型不限于Unet等深度分割模型，主要起到一个疑似区域信息提示的作用，不是虚拟活检的必要环节。
医生根据，辅助提示的信息判断是否需要进行虚拟活检，按照流程如果选择不需要的话，模型会继续检查新的位置和病灶疑似区，如果需要进行虚拟活检，模型进入虚拟活检的流程，记录同一病灶疑似区域的多幅图像和NBI和WL模式下的图像各5张，一共10张图像输入到虚拟活检的模型中。
虚拟活检预处理阶段，首先根据相机的畸变参数，对图像的畸变校正，根据每一幅图的疑似病灶区的边界坐标，将图像截取到疑似病灶区的范围，共10张图像。
相机成像的过程实际就是将世界坐标系的点，转换到相机坐标系，投影得到图像坐标系，进而转化为像素坐标系的过程。而由于透镜精度和工艺会引入畸变，从而导致失真，为了解决这个问题，从而引入了相机畸变校正模型。其中图像的畸变校正，主要完成一个像素坐标=>图像坐标=>相机坐标=>世界坐标的转化。转化过程下所示：
其中，u和v时像素坐标中的坐标，XYZ时世界坐标系中的坐标，剩余两个矩阵R，T，为相机外参矩阵，是相机相对于世界坐标的旋转和平移转化关系，f是相机焦距，内参矩阵
只和相机有关，内外参矩阵由内镜检查设备提供参数信息。
校正预处理后的图像，送入到CWC-DMnet模型中进行解析。CWC-DMnet模型主要流程包括：中间标准视角图像的输入，WL和NBI其他视角的图像输入到模型中；使用共享权重的卷积特征提取层进行特征提取；对分通道的特征图使用变换矩阵进行特征映射；对映射到同一视角下的特征进行特征代价的获取；再通过多尺度的3D-CNN网络用于代价体正则化；结果提取阶段，正则化的代价和原图特征进行融合；通过卷积层提取出疑似区域的图形分割mask；通过疑似区域的图形分割mask的叠加，提取出疑似区域的深度图；最后结合CWC提取到的纹理特征，对疑似病灶区域进行特征分类预测。
共享权重的卷积特征提取层进行特征提取阶段的工作为使用卷积神经网络的输出为N个32通道的特征图。与原图相比，在每个维度上进行了4倍的下采样，值得注意的是，虽然特征图经过了下采样，但被保留下来的像素邻域信息已经被编码保存至32通道的特征描述子中，这些特征描述子为匹配提供了丰富的语义信息，与在原始图像上进行特征匹配对比，使用提取特图，进行匹配显著提高了重建质量，这里的权重是多视角共享的。
对分通道的特征图使用变换矩阵进行特征映射阶段，主要依靠H变换矩阵，其中变换矩阵H变换过程用于描述两个平面之间的映射关系，若场景中的特征点都落在同一平面上，则可以通过变换矩阵来进行估计，变换矩阵通常描述处于共同平面上的一些点，在两张图像之间的变换关系。
考虑在图像
和
有一对匹配好的特征点
和
，这些特征点落在某一平面上，其中图像
为特征图对应的相机的内参、旋转矩阵和平移向量，设平面满足的方程为：
得到一个直接描述图像坐标p1和2之间的变换，将中间这部分记为H，于是有
。
将多个特征体
,聚合为一个代价体C，为了适应任意数目的视图输入，CWC-DMNet使用了一个基于方差的代价指标M，该指标用于衡量N张视图间的相似性，W、H、D、F分别代表输入图像的宽度、深度、采样数和特征图的通道数，故而特征休的尺寸为：
，这里代价指标定义了映射关系M：
从图像特征图的计算得到的初始代价体很有可能是包含噪声的，为了预测深度图还需要进行光滑处理，正则化的步骤是对上面的代价体进行优化以得到概率体，本发明使用一个多尺度的3D-CNN网络用于代价体正则化，4个尺度的网络类似于3D版本的Unet，使用编码-解码的结构方式，以相对较小的计算代价在一个大的感受野范围内进行邻域信息聚合，为了减轻网络的计算代价，在第一个3D卷积层后，将32通道的代价体缩减为8通道，将每个尺度的卷积从3层降为2层，最后卷积层的输出为1通道的体（Volume），最终在深度方向上使用Softmax操作进行概率值的归一化，产生的概率体可很好适合于深度值预测，不仅可以用于逐像素的深度预测，还可以用来衡量估计的置信度。
DepthMap采用在深度方向上计算期望，即所有假设深度值的加权和：
其中P(d)为深度值d所处估计的概率值，代价体构建的过程中深度是在范围
内均匀采样得到的，所以预测的深度在值是连续的，输出的DepthMap的尺寸与2d的特征图像相同，为原始图像的1/4。
通过期望加权聚合后得到的DepthMap，在分割结果获取阶段，DepthMap特征需要和标准视角的图像特征进行拼接，再经过卷积层的特征提取之后，模型输出Mask，疑似肿瘤位置的分割。
在深修正度图的获取阶段，图像分割特征mask被叠加到DepthMap的特征图上，形成最终加强和修正版的DM疑似肿瘤位置的2D形式的深度图，这里的深度图像对应的是标准视角图像的深度图。
最后预测阶段，2D形式的深度图经过全连接层的映射和结合CWC特征，把最终的特征输入到全连接层，最终给出疑似肿瘤的类型判断prediction，本发明的CWC在获取疑似区域纹理特征的基础上，能够更为准确的为疑似区域分类预测提供更多的特征信息，CWC提取到的144维特征，在通过卷积层的特征提取后，与深度图经过全连接形成的特征进行拼接，最后通过全连接层给出对疑似区域良恶性分类的预测。
其中CWC (Color Wavelet Covariance, 彩色小波协方差)提取主要包含以下步骤：
S111：选取不同的颜色空间，将每幅图像分解成3幅单通道图像；
S112：对单通道图像进行三层小波变换，使用Mallet算法进行分解，选取第二层中的三幅细节子图像；
S113：在高频子图像中，分别提取4个方向0°、45°、90°以及135°的共生灰度矩阵，总共获得36幅子图像；
S114：在步骤S113的36幅图像中，分别计算同质度、角二阶矩、对比度及相关性四种特征，最终在不同颜色空间下得到一个144维的特征向量。
同质度(Homogeneity)，又称逆差矩，用来度量图像局部灰度均勾化，图像局部灰度越均句，同质度的取值越大，同质度的计算如公式为：
其中
表示以位置i为始点，在一定空间距离以及角度情况下，出现灰度值为j的概率，其中
。
角二阶矩（Angular Second Moment），也可称为能量(Entropy)，用来度量图像灰度分布的均匀程度及纹理粗细程度，其值越大，表示图像纹理是一种规则变化越稳定的纹理。计算方式为：
对比度(Contrast)，又称反差，用于度量图像局部变化情况，主要反应图像的清晰度以及纹理沟纹的深浅。图像对比度越大，代表纹理沟纹越复杂，效果越清晰；反之，对比值越小，沟纹越浅，效果越模糊。计算方式为：
熵(Entropy)用来度量图像所具有的信息量，即表征相关性，是测量灰度级分布随机性的一种特征参数，可以表示图像纹理的复杂程度。图像熵值越大，代表困像纹理越复杂，图像灰度越均匀，熵值则越小。熵的计算：
本发明通过利用内镜图像的多角度和多模式的图像融合深度图重建，抽取不同的图像特征，以达到虚拟活检的目的，给出疑似肿瘤区域的位置和标记肿瘤位置的深度图，提高肿瘤区域的判断准确度，不但可以减少内镜过程中不必要的操作，还可以节省内镜检查医生的时间；通过简单的操作，获取到更多的内镜信息，完成深度重建达到虚拟活检的目的，提升了内镜检查医生在检查过程中对于肿瘤疑似区域的判断准确度，提取图像中肿瘤疑似区域的分割和深度图，为医生诊断提供辅助信息，提升了内镜检查诊断的精确度。
以上所述的实施例只是本发明的一种较佳的方案，并非对本发明作任何形式上的限制，在不超出权利要求所记载的技术方案的前提下还有其它的变体及改型。
Claims (7)
1.基于彩色小波协方差深度图模型的内镜虚拟活检装置，其特征在于，包括：
内镜图像获取模块，用于获取内镜图像；
病灶区检测模块，用于提取内镜图像的肿瘤区域范围，与内镜图像获取模块连接；
照明光图像获取模块，用于获取若干幅不同角度的肿瘤区域范围的图像，与病灶区检测模块连接；
CWC-DMnet模块，对照明光图像获取模块获得的图像提取纹理特征，进行特征匹配和拼接，输出肿瘤区域的分割位置和标记肿瘤位置的深度图。
2.根据权利要求1所述的基于彩色小波协方差深度图模型的内镜虚拟活检装置，其特征在于，
所述病灶区检测模块采用Unet深度分割模型提取内镜图像的肿瘤区域范围。
3.根据权利要求1或2所述的基于彩色小波协方差深度图模型的内镜虚拟活检装置，其特征在于，
所述照明光图像获取模块采用窄带光波获取若干个图像以及采用白光光波获取若干个图像。
4.根据权利要求1所述的基于彩色小波协方差深度图模型的内镜虚拟活检装置，其特征在于，
所述CWC-DMnet模块提取纹理特征之前还包括采用相机畸变校正模型对图像的畸变进行校正。
5.根据权利要求1所述的基于彩色小波协方差深度图模型的内镜虚拟活检装置，其特征在于，
CWC-DMnet模块的工作过程包括以下步骤：
S11：输入中间标准视角图像、白光视角图像和窄带光视角图像；
S12：使用共享权重的卷积特征提取层对步骤S11的图像进行特征提取；
S13：对分通道的特征图使用变换矩阵进行特征映射；
S14：对映射到同一视角下的特征进行特征代价的获取；
S15：通过多尺度的3D-CNN网络进行特征代价体正则化；
S16：将正则化的特征代价和原图特征进行融合；
S17：通过卷积层提取出肿瘤疑似区域的图形分割mask；
S18：通过肿瘤疑似区域的图形分割mask的叠加，提取出肿瘤疑似区域的深度图；
S19：结合CWC提取的到纹理特征，对肿瘤疑似区域进行特征分类预测。
6.根据权利要求5所述的基于彩色小波协方差深度图模型的内镜虚拟活检装置，其特征在于，
所述变换矩阵为H变换矩阵。
7.根据权利要求5所述的基于彩色小波协方差深度图模型的内镜虚拟活检装置，其特征在于，
CWC提取纹理特征包括以下步骤：
S111：选取不同的颜色空间，将每幅图像分解成3幅单通道图像；
S112：对单通道图像进行三层小波变换，使用Mallet算法进行分解，选取第二层中的三幅细节子图像；
S113：在高频子图像中，分别提取4个方向0°、45°、90°以及135°的共生灰度矩阵，总共获得36幅子图像；
S114：在步骤S113的36幅图像中，分别计算同质度、角二阶矩、对比度及相关性四种特征，最终在不同颜色空间下得到一个144维的特征向量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210978020.0A CN115049666B (zh) | 2022-08-16 | 2022-08-16 | 基于彩色小波协方差深度图模型的内镜虚拟活检装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210978020.0A CN115049666B (zh) | 2022-08-16 | 2022-08-16 | 基于彩色小波协方差深度图模型的内镜虚拟活检装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115049666A true CN115049666A (zh) | 2022-09-13 |
| CN115049666B CN115049666B (zh) | 2022-11-08 |
Family
ID=83167356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210978020.0A Active CN115049666B (zh) | 2022-08-16 | 2022-08-16 | 基于彩色小波协方差深度图模型的内镜虚拟活检装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115049666B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115578385A (zh) * | 2022-12-01 | 2023-01-06 | 武汉楚精灵医疗科技有限公司 | 肠镜下病灶信息获取方法、装置、电子设备及存储介质 |
| CN116721175A (zh) * | 2023-08-09 | 2023-09-08 | 安翰科技(武汉)股份有限公司 | 一种图像显示方法、图像显示装置以及胶囊内窥镜系统 |
| CN117398042A (zh) * | 2023-12-14 | 2024-01-16 | 深圳市博盛医疗科技有限公司 | 一种ai辅助检测的3d内窥镜系统及成像方法 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110166418A1 (en) * | 2010-01-07 | 2011-07-07 | Kabushiki Kaisha Toshiba | Medical image processing system and a method for processing a medical image |
| WO2015042421A1 (en) * | 2013-09-20 | 2015-03-26 | Siemens Aktiengesellschaft | Biopsy-free detection and staging of cancer using a virtual staging score |
| CN109949275A (zh) * | 2019-02-26 | 2019-06-28 | 中山大学肿瘤防治中心 | 一种上消化道内镜图像的诊断方法及装置 |
| CN111653365A (zh) * | 2020-07-23 | 2020-09-11 | 中山大学附属第一医院 | 一种鼻咽癌辅助诊断模型构建和辅助诊断方法及系统 |
| CN111695644A (zh) * | 2020-08-10 | 2020-09-22 | 华侨大学 | 基于光密度变换的肿瘤超声图像分类方法、装置及介质 |
| CN111712177A (zh) * | 2018-03-13 | 2020-09-25 | 奥林巴斯株式会社 | 图像处理装置、内窥镜系统、图像处理方法及程序 |
| CN112102256A (zh) * | 2020-08-22 | 2020-12-18 | 复旦大学 | 面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统 |
| CN112560876A (zh) * | 2021-02-23 | 2021-03-26 | 中国科学院自动化研究所 | 解耦度量的单阶段小样本目标检测方法 |
| CN112991450A (zh) * | 2021-03-25 | 2021-06-18 | 武汉大学 | 一种基于小波的细节增强无监督深度估计方法 |
| CN113888518A (zh) * | 2021-10-14 | 2022-01-04 | 重庆南鹏人工智能科技研究院有限公司 | 一种基于深度学习分割、分类多任务的喉咽内镜肿瘤检测及良恶性分类方法 |
| CN113990456A (zh) * | 2021-11-09 | 2022-01-28 | 山东一泓电子科技有限公司 | 基于深度学习的消化道早期癌症图形分析筛查方法和系统 |
| CN114372951A (zh) * | 2021-11-03 | 2022-04-19 | 中山大学附属第一医院 | 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统 |
| CN114782712A (zh) * | 2022-04-29 | 2022-07-22 | 沈阳东软智能医疗科技研究院有限公司 | 基于医学影像的特征处理方法、装置、设备及介质 |
-
2022
- 2022-08-16 CN CN202210978020.0A patent/CN115049666B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110166418A1 (en) * | 2010-01-07 | 2011-07-07 | Kabushiki Kaisha Toshiba | Medical image processing system and a method for processing a medical image |
| WO2015042421A1 (en) * | 2013-09-20 | 2015-03-26 | Siemens Aktiengesellschaft | Biopsy-free detection and staging of cancer using a virtual staging score |
| CN111712177A (zh) * | 2018-03-13 | 2020-09-25 | 奥林巴斯株式会社 | 图像处理装置、内窥镜系统、图像处理方法及程序 |
| CN109949275A (zh) * | 2019-02-26 | 2019-06-28 | 中山大学肿瘤防治中心 | 一种上消化道内镜图像的诊断方法及装置 |
| CN111653365A (zh) * | 2020-07-23 | 2020-09-11 | 中山大学附属第一医院 | 一种鼻咽癌辅助诊断模型构建和辅助诊断方法及系统 |
| CN111695644A (zh) * | 2020-08-10 | 2020-09-22 | 华侨大学 | 基于光密度变换的肿瘤超声图像分类方法、装置及介质 |
| CN112102256A (zh) * | 2020-08-22 | 2020-12-18 | 复旦大学 | 面向窄带内镜图像的早期食管鳞癌的癌灶检测及诊断系统 |
| CN112560876A (zh) * | 2021-02-23 | 2021-03-26 | 中国科学院自动化研究所 | 解耦度量的单阶段小样本目标检测方法 |
| CN112991450A (zh) * | 2021-03-25 | 2021-06-18 | 武汉大学 | 一种基于小波的细节增强无监督深度估计方法 |
| CN113888518A (zh) * | 2021-10-14 | 2022-01-04 | 重庆南鹏人工智能科技研究院有限公司 | 一种基于深度学习分割、分类多任务的喉咽内镜肿瘤检测及良恶性分类方法 |
| CN114372951A (zh) * | 2021-11-03 | 2022-04-19 | 中山大学附属第一医院 | 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统 |
| CN113990456A (zh) * | 2021-11-09 | 2022-01-28 | 山东一泓电子科技有限公司 | 基于深度学习的消化道早期癌症图形分析筛查方法和系统 |
| CN114782712A (zh) * | 2022-04-29 | 2022-07-22 | 沈阳东软智能医疗科技研究院有限公司 | 基于医学影像的特征处理方法、装置、设备及介质 |
Non-Patent Citations (2)
| Title |
|---|
| S.A. KARKANIS 等: "Computer-aided tumor detection in endoscopic video using color wavelet features", 《IEEE TRANSACTIONS ON INFORMATION TECHNOLOGY IN BIOMEDICINE》 * |
| 黄天海 等: "基于计算机辅助决策的早期胃癌筛查系统的设计", 《中国医院建筑与装备》 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115578385A (zh) * | 2022-12-01 | 2023-01-06 | 武汉楚精灵医疗科技有限公司 | 肠镜下病灶信息获取方法、装置、电子设备及存储介质 |
| CN115578385B (zh) * | 2022-12-01 | 2023-03-14 | 武汉楚精灵医疗科技有限公司 | 肠镜下病灶信息获取方法、装置、电子设备及存储介质 |
| CN116721175A (zh) * | 2023-08-09 | 2023-09-08 | 安翰科技(武汉)股份有限公司 | 一种图像显示方法、图像显示装置以及胶囊内窥镜系统 |
| CN116721175B (zh) * | 2023-08-09 | 2023-10-10 | 安翰科技(武汉)股份有限公司 | 一种图像显示方法、图像显示装置以及胶囊内窥镜系统 |
| CN117398042A (zh) * | 2023-12-14 | 2024-01-16 | 深圳市博盛医疗科技有限公司 | 一种ai辅助检测的3d内窥镜系统及成像方法 |
| CN117398042B (zh) * | 2023-12-14 | 2024-03-19 | 深圳市博盛医疗科技有限公司 | 一种ai辅助检测的3d内窥镜系统及成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115049666B (zh) | 2022-11-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ueyama et al. | Application of artificial intelligence using a convolutional neural network for diagnosis of early gastric cancer based on magnifying endoscopy with narrow‐band imaging | |
| CN115049666B (zh) | 基于彩色小波协方差深度图模型的内镜虚拟活检装置 | |
| CN110600122B (zh) | 一种消化道影像的处理方法、装置、以及医疗系统 | |
| WO2019088121A1 (ja) | 画像診断支援装置、資料収集方法、画像診断支援方法および画像診断支援プログラム | |
| EP1568307B1 (en) | Image processing device and image processing method | |
| US11562820B2 (en) | Computer classification of biological tissue | |
| Park et al. | Domain-specific image analysis for cervical neoplasia detection based on conditional random fields | |
| US11257213B2 (en) | Tumor boundary reconstruction using hyperspectral imaging | |
| CN110189303B (zh) | 一种基于深度学习和图像增强的nbi图像处理方法及其应用 | |
| CN104869884A (zh) | 医用图像处理装置以及医用图像处理方法 | |
| CN114897094A (zh) | 一种基于注意力双支路特征融合的食管早癌病灶分割方法 | |
| CN114782307A (zh) | 基于深度学习的增强ct影像直肠癌分期辅助诊断系统 | |
| CN113781489B (zh) | 一种息肉影像语义分割方法及装置 | |
| CN112071418B (zh) | 基于增强ct影像组学的胃癌腹膜转移的预测系统及方法 | |
| CN114372951A (zh) | 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统 | |
| CN111428066B (zh) | 一种基于卷积神经网络的病变图像的分类和分割方法 | |
| CN111476312B (zh) | 一种基于卷积神经网络的病变图像的分类方法 | |
| TWI820624B (zh) | 基於語義分割於影像辨識之方法 | |
| CN114998644B (zh) | 肿瘤诊断系统及其构建方法、终端设备及存储介质 | |
| CN115994999A (zh) | 基于边界梯度注意力网络的杯状细胞语义分割方法及系统 | |
| Pallavi et al. | Automated analysis of cervix images to grade the severity of cancer | |
| Meyer-Veit et al. | Hyperspectral endoscopy using deep learning for laryngeal cancer segmentation | |
| JP7449004B2 (ja) | 周波数帯域を用いたハイパースペクトルによる物体画像の検出方法 | |
| Andrade | A Portable System for Screening of Cervical Cancer | |
| Andrade et al. | Automatic Segmentation of the Cervical Region in Colposcopic Images. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |