CN112184579A - 一种组织病变区域图像辅助复原系统和方法 - Google Patents
一种组织病变区域图像辅助复原系统和方法 Download PDFInfo
- Publication number
- CN112184579A CN112184579A CN202011017627.XA CN202011017627A CN112184579A CN 112184579 A CN112184579 A CN 112184579A CN 202011017627 A CN202011017627 A CN 202011017627A CN 112184579 A CN112184579 A CN 112184579A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- tissue
- slice
- lesion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003902 lesion Effects 0.000 title claims abstract description 160
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012546 transfer Methods 0.000 claims abstract description 60
- 238000000605 extraction Methods 0.000 claims abstract description 30
- 238000012790 confirmation Methods 0.000 claims abstract description 26
- 238000012937 correction Methods 0.000 claims abstract description 25
- 238000004891 communication Methods 0.000 claims abstract description 12
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000002372 labelling Methods 0.000 claims description 39
- 239000011159 matrix material Substances 0.000 claims description 16
- 230000009467 reduction Effects 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000000513 principal component analysis Methods 0.000 claims description 13
- 230000036285 pathological change Effects 0.000 claims description 11
- 231100000915 pathological change Toxicity 0.000 claims description 11
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000001575 pathological effect Effects 0.000 claims description 10
- 238000012549 training Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 230000008520 organization Effects 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 6
- 238000004806 packaging method and process Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000000354 decomposition reaction Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 2
- 238000013519 translation Methods 0.000 claims description 2
- 230000007547 defect Effects 0.000 claims 1
- 238000005070 sampling Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 4
- 230000007170 pathology Effects 0.000 abstract description 3
- 238000010801 machine learning Methods 0.000 abstract 1
- 210000001519 tissue Anatomy 0.000 description 128
- 238000010586 diagram Methods 0.000 description 7
- 238000012323 Endoscopic submucosal dissection Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000010827 pathological analysis Methods 0.000 description 2
- 206010028980 Neoplasm Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000001072 colon Anatomy 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000001198 duodenum Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000001035 gastrointestinal tract Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000008595 infiltration Effects 0.000 description 1
- 238000001764 infiltration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000000664 rectum Anatomy 0.000 description 1
- 210000002784 stomach Anatomy 0.000 description 1
- 210000004876 tela submucosa Anatomy 0.000 description 1
- 210000002438 upper gastrointestinal tract Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Multimedia (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种组织病变区域图像辅助复原系统和方法。本发明大体原始图采集模块、切片图像采集模块、刀痕提取与编号模块、投影重定位模块、切片图像中转模块、结果修正与确认模块、病变组织判别模块、结果展示模块;所述大体图像采集模块与刀痕提取模块通信连接,负责采集图像;所述切片图像中转模块与切片图像采集模块通信连接,所述切片图像中转模块与结果修正与确认模块通信连接,所述投影重定位模块与刀痕提取与编号模块、切片图像中转模块连接;本发明具有良好的通用性,在病变区域复原过程中引入了机器学习与深度学习算法,将病理技师和病理医生的工作量尽可能降低,大大提高了大体病变区域复原的自动化程度。
Description
技术领域
本发明属于智能医疗领域,具体涉及一种组织病变区域图像辅助复原系统与方法。
背景技术
随着影像学、计算机科学等相关技术的进步和医生手术水平的提高.不开刀的现代微创外科技术越来越多地取代传统手术,特别是内镜技术,通过纤维光导线,将冷光源镜头获得的图像转化为光纤信号,将人体内部组织和病变情况显示在外部计算机上。内镜微创技术能够在不改变消化道结构的情况下,将胃、十二指肠等上消化道或者结、直肠的黏膜下良性肿瘤或早期癌变组织进行切除,这种技术又被称为内镜黏膜下剥离术(endoscopicsubmucosal dissection,ESD)。
剥离后的病变组织,通常会送到病理科进一步进行病理分析,病理科技师会将组织进行切割,拍摄带刀痕的大体原始图,并将每个刀痕对应组织样本制作切片交给病理医生,病理医生对切片组织的病变情况进行分析和标注,然后再通过观察比对,粗略地将病变区域还原到大体图上。通过观察复原后的大体图,可以判断手术是否完全切除病变区域,并估计病灶的范围、性质以及浸润深度等参数。
很显然,通过人工复原大体图增加了病理技师和病理医生的工作负担,在有大量切片需要处理的情况下,人工操作效率低下,医生在疲劳情况下,也容易导致失误。同时,人工处理重复精度较低,导致大体组织的处理过程而出现各种各样的不确定因素,如大体高反光、大体占图像比例过低、背景噪声干扰等。
近年来,以卷积神经网络为代表的深度学习算法在各个领域都有了相关的应用,在智能医疗领域,深度学习算法实现了基于X光、CT、 B超等图像的病理诊断,在一些疾病的检测上,经过训练的深度神经网络能达到专家级别的水平。同时,随着云服务的出现,普通的用户也能使用GPU进行大规模的深度卷积神经网络训练。但是,深度学习等人工智能方法在医疗领域不够广泛,难以根据实际问题进行相关部署。
发明内容
本发明的目的是针对ESD手术中剥离的大体组织病变区域复原过程的自动化需求,提供一种模块化、自动化的组织病变区域图像辅助复原系统,并基于该系统构建了一种速度快、稳定性强的组织病变区域图像辅助复原方法。
一种组织病变区域图像辅助复原系统,包括:
大体原始图采集模块:用于获取病理技师所拍摄的带刀痕的大体原始图。
切片图像采集模块:用于采集数字切片扫描仪所生成的数字切片图像。
刀痕提取与编号模块:用于分离大体原始图的前景与背景,提取大体组织区域图像中的刀痕并编号。
投影重定位模块:用于接收所述刀痕提取与编号模块所输出的带刀痕编号的大体原始图;用于接收切片图像中转模块所传送的切片组织病变区域标注图;用于将切片组织病变区域标注图复原到大体原始图对应编号的刀痕区域,得到大体组织复原图;并将大体组织复原图发送到结果展示模块。
切片图像中转模块:用于接收所述切片图像采集模块采集的切片组织扫描图像,并打包发送给病变区域判别模块;用于接收所述病变区域判别模块输出的切片组织病变区域标注图并发送给结果修正与确认模块;用于接收所述结果修正与确认模块返回的修正后的切片组织病变区域标注图,并发送给投影重定位模块和病变区域判别模块。
结果修正与确认模块:用于接收切片图像中转模块所传送来的切片组织病变区域标注图,并通过图形用户接口展示给病理医生,并由病理医生进行确认与修正,然后将病理医生修正过的图像发送给所述切片图像中转模块。
病变组织判别模块:用于接收切片图像中转模块所发送的切片组织图像原始图,使用主元分析将原始图进行降维,将降维后的图像输入预测子模块多层感知器,判断是否含有病变区域,如果含有病变区域,将原始图输入预测子模块中的深度卷积神经网络,提取病变区域二值标签图像,将所述二值标签图和切片组织原始图合成切片组织病变区域标注图,并返回给切片图像中转模块。用于接收切片图像中转模块所发送的修正后切片组织图像标注图,加入切片组织病变区域数据集。
结果展示模块:用于展示投影重定位模块生成的大体组织复原图。
进一步的,所述辅助复原系统中,所述大体图像采集模块与刀痕提取与编号模块通信连接,所述切片图像中转模块与切片图像采集模块通信连接,所述切片图像中转模块与结果修正与确认模块通信连接,所述投影重定位模块与刀痕提取与编号模块、切片图像中转模块连接。
所述辅助诊断系统中,所述大体原始图采集模块用于采集带刀痕的大体原始图,并通过局域网传输给所述刀痕提取与编号模块。
进一步的,所述辅助诊断系统中,所述病变组织判别模块采用云计算服务实现,模块包括训练子模块、预测子模块和切片组织病变区域数据集。所述切片组织病变区域数据集包含正常组织图像和带有癌变区域的组织图像,带有癌变区域的组织图像另外有一张二值图像注明癌变区域所在像素点。所述训练子模块包括癌变图像分类方法和癌变区域语义分割方法。所述预测子模块使用主元分析线性投影矩阵、多层感知器、语义分割深度卷积神经网络进行预测。
基于上述方案,本发明将实现了切片组织病变区域的自动标注和大体区域复原图的自动生成。
本发明还提供了一种组织病变区域图像辅助复原方法,包括以下步骤:
步骤1:获取切片处理后的大体原始图,上传至所述刀痕提取与编号模块。
步骤2:使用多通道直方图分布信息提取算法去除大体原始图背景,使用无监督聚类算法提取刀痕区域,并对刀痕区域进行编号,然后发送给所述投影重定位模块;
步骤3:通过切片图像采集模块对切片组织进行扫描,获得切片组织图像,并上传至切片图像中转模块,所述切片图像中转模块将切片图像打包后上传至病变组织判别模块;
步骤4:在病变区域判别模块的预测子模块中,使用主元分析将输入的原始切片组织图像降维,得到降维图;将降维图输入预测子模块的多层感知器,通过多层感知器的输出判断是否含有病变区域,如果含有病变区域,将原始切片组织图像输入预测子模块的深度卷积神经网络,提取病变区域二值标签图像,将二值标签图和原始切片组织图像合成切片组织病变区域标注图,并返回给切片图像中转模块。
步骤5:切片图像中转模块接收所述病变区域判别模块输出的切片组织病变区域标注图,并发送给结果修正与确认模块。
步骤6:结果修正与确认模块接收切片图像中转模块所传送来的所述病变组织判别模块生成的切片组织病变区域标注图,并通过图形用户接口展示给病理医生,由病理医生进行确认与修正,然后将病理医生修正过的图像发送给所述切片图像中转模块。
步骤7:所述切片图像中转模块接收所述结果修正与确认模块返回的修正后切片组织病变区域标注图,并发送给投影重定位模块和病变组织判别模块。
步骤8:病变区域判别模块接收所述切片图像中转模块所发送的修正切片组织图像标注图,加入切片组织病变区域数据集。
步骤9:投影重定位模块将切片组织病变区域标注图复原到大体原始图对应编号的刀痕区域,并将大体组织复原图发送到结果展示模块。
步骤10:结果展示模块展示投影重定位模块生成的大体组织复原图。
进一步地,步骤2中所述的使用多通道直方图分布信息提取算法去除大体原始图背景,包括如下步骤:
步骤2-1、读取大体原始图I,并按RGB三原色图像标准,提取 R、G、B三通道灰度图,图像大小为N×N;
步骤2-2、对RGB三通道灰度图提取直方图分布,每个通道均为 16个灰度级;
步骤2-3、对选择阈值rt,gt,bt,使得R、G、B图像满足如下关系:
步骤2-4、选择阈值rt,gt,bt为大体原始图与背景图的临界点,对于单个像素点p,如果p满足如下关系,则将像素p判断为前景,否则判断为背景,将像素p判断为前景,否则判断为背景:
sign(pr-rt)+sign(pg-gt)+sign(pb-bt)>0
其中pr,pg,pb分别为像素点p在RGB三个通道上的大小,sign为符号函数,大于0则为1,小于0则为-1。
进一步地,步骤2中所用的无监督聚类刀痕提取算法包括如下步骤:
步骤(2-1)、根据所述多通道直方图分布信息提取算法,去除背景,得到前景图感兴趣区域ROI。
步骤(2-2)、将前景图感兴趣区域ROI内的像素点灰度值从 [0,255]归一化到[0,1];
步骤(2-3)、将RGB三通道归一化之后像素点(r′i,g′i,b′i)看成三维坐标中的坐标点xi,坐标点可分为刀痕和普通组织两类,记为S1,S2,随机初始化两个聚类中心(c1,c2)。
步骤(2-4)、计算感兴趣区域ROI中所有的像素点(x1,x2,…,xn) 与聚类中心(c1,c2)的空间距离,按照最小距离原则分配到聚类中心所属类别。
步骤(2-5)、通过求归属同一类的坐标点的平均值,更新聚类中心(c1,c2)
步骤(2-6)重复步骤(2-4),直到聚类中心不再发生变化。
进一步地,在步骤4中所述的是否病变的分类方法包括如下步骤:
步骤4-1:通过主元分析将原切片图像X转换为低维图像X′,转换公式为:
X′=WTX
其中W为线性映射矩阵,W使得降维之后再还原的图像与原图像误差最小,即:
通过矩阵奇异值分解算法可以求得W的最优值。
所述切片组织病变区域数据集中有N张切片图像Xi,i=1,…,N, 所述N张切片图像通过线性映射矩阵W生成低维图像 X′i,i=1,…,N,每个低维图像对应一个输出标注yi,1表示病变,0表示非病变。
其中,α为多层感知器的学习率,是一个0到1之间的常数,
步骤4-5:重复步骤4-2到步骤4-4,直到损失L小于特定阈值。
进一步地,在步骤4中使用深度卷积神经网络实现病变区域标注。
进一步地,在步骤9中通过对应像素点旋转与平移变换矩阵实现投影重定位。
本发明有益效果如下:
针对上述问题,本发明极大地提高了大体组织复原图处理过程的自动化程度。通过多通道直方图分析提取算法和无监督图像聚类算法对大体原始图进行处理,实现大体原始图的背景去除和刀痕提取。通过主元分析、多层感知器和端到端深度卷积神经网络,实现切片组织病变情况的快速判别和病变区域语义分割。通过云服务,将运算密集型任务分离给高性能服务器,实现大规模结构化数据的向量处理和深度神经网络训练。通过本发明所设计的辅助诊断系统,能够最大限度地降低病理医生和病理技师的工作量,并且提高大体组织图像复原的速度。
附图说明
图1是本发明一种组织病变区域图像辅助复原系统的框图;
图2是本发明实施例中,病变区域判别模块的组成结构图;
图3是本发明实施例中,用于病变区域提取的深度卷积神经网络的结构图;
图4是本发明一种组织病变区域图像辅助复原方法的步骤框图;
具体实施方式
下面结合附图和实施例对本发明做具体说明。
本发明属于智能医疗领域,具体涉及一种组织病变区域图像辅助复原系统和方法。本发明能够快速生成大体组织复原图,大大减轻病理医生和病理技师的工作压力。
本发明实施例提供了一种组织病变区域图像辅助复原系统,如图 1所示,包括:
大体原始图采集模块101、切片图像采集模块102、刀痕提取与编号模块103、投影重定位模块107、切片图像中转模块104、结果修正与确认模块106、病变组织判别模块105、结果展示模块108,所述大体图像采集模块101与刀痕提取与编号模块103通信连接,所述切片图像中转模块104与切片图像采集模块102通信连接,所述切片图像中转模块104与识别结果修正与确认模块通信106连接,所述投影重定位模块107与刀痕提取与编号模块102、切片图像中转模块 104连接。
所述大体原始图采集模块101用于采集带刀痕的大体原始图,并通过局域网传输给所述刀痕提取与编号模块103。
所述刀痕提取与编号模块103,用于分离大体原始图的背景与前景,提取刀痕区域,并对刀痕各区域编号。
所述切片图像采集模块102,图像采集顺序与刀痕提取与编号模块103中刀痕各区域编号相同,采集到的图像通过局域网快速传递给所述切片图像中转模块104。
所述切片图像中转模块104将切片图像打包后上传至病变组织判别模块105。并接收所述病变组织判别模块105返回的判别结果。
所述病变组织判别模块105将识别后的病变区域标注图返回给切片图像中转模块104,切片图像中转模块104将切片组织病变区域标注图打包发送给所述结果修正与确认模块106。
所述结果修正与确认模块106将一系列组织切片图像与病变区域标注图分别进行对应的合成,合成后展现给病理医生,病理医生进行修正或确认。所述结果修正与确认模块106将修正后的病变区域标注图发送给所述切片图像中转模块104,所述切片图像中转模块104 再将切片组织病变区域标注图打包发送给投影重定位模块107和病变组织判别模块105。
所述病变组织判别模块105将切片组织病变区域标注图添加到切片组织病变区域数据集;
所述投影重定位模块107接收所述刀痕提取与编号模块103传送的带有刀痕区域标注和编号的大体原始图;所述投影重定位模块107 接收所切片图像中转模块104上传的切片组织图像病变区域标注图;所述投影重定位模块107通过将切片组织图像病变区域标注图还原到大体原始图对应刀痕处,生成大体病变区域复原图。
所述结果展示模块108接收投影重定位模块107生成的大体病变区域复原图,并通过图形用户接口展示给病理医生和技师。
上述方案的工作原理为:所述大体原始图采集模块101和所述切片图像采集模块102为计算机外部接口模块,负责采集图像;所述刀痕提取与编号模块103、所述投影重定位模块107、所述切片图像中转模块104为计算机内置模块,通过异步多线程软件设计方法,可以同时处理大体原始图和切片组织图像;所述病变组织判别模块105为云计算服务模块,通过将切片组织图像上传到远程云服务器,弥补本地计算机图像处理能力的不足。所述结果展示模块和结果修正与确认模块为人机交互模块,在将图像展示给病理医生和技师的同时,动态地接收病理医生和技师所提供的反馈。
在本实施例中,所述病变组织判别模块的组成结构如图2所示,从输入图像207得到的图像有两种,如果是尚未分类的切片组织原始图,则将图像发送到预测子模块206,预测子模块在进行预测时采用的算法权重为主元分析线性投影矩阵W(205)、多层感知器fθ(204)、深度卷积神经网络DCNN(203)。预测子模块使用主元分析线性投影矩阵W205对所述切片组织原始图进行降维得到降维图,再将降维图输入多层感知器fθ(204)进行判别,如果判别有病变,则将所述切片组织原始图输入深度卷积神经网络DCNN203进行运算,再将病变区域标注图进行返回,如果判别无病变,则直接返回无病变信息。若从所述输入图像207得到的图像为病变区域标注图,则将该病变区域标注图加入切片组织病变区域数据集201,所述病变区域数据集201新增数据图片达到设定阈值后,训练子模块以更新后切片组织病变区域数据集201作为输入和输出进行训练,其中组织切片图像作为训练子模块的输入,病变区域标注图作为的训练子模块的输出。
从而更新算法权重主元分析线性投影矩阵W205、多层感知器 fθ204、深度卷积神经网络DCNN203;
参考图3,本实施例中,所使用的深度卷积神经网络DCNN203采用卷积层和反卷积层结合的方式,实现切片组织图像的降采样和反向恢复。首先,通过4个卷积层,实现图像高维度信息的提取,卷积核的个数分别为64、128、256、512,随着卷积核个数的增加,提取的特征图信息也就更复杂。然后,通过4个反卷积层将高维度特征图信息还原到原图像大小,反卷积核的个数分别为256、128、64、1。卷积核和反卷积核的大小、卷积步长和补零个数可根据图像的大小进行调整,使得卷积神经网络的输出特征图的大小和输入切片组织原始图的大小相同。
本发明实施例提供了一种组织病变区域图像辅助复原方法,其步骤如图4所示:
步骤401:获取切片处理后的大体原始图,上传至所述刀痕提取与编号模块。
步骤402:刀痕提取与编号模块对大体原始图进行处理:
使用多通道直方图分布信息提取算法去除大体原始图的背景;使用无监督聚类算法提取刀痕区域,将刀痕编号,然后发送给投影重定位模块;
步骤403:切片扫描原始图采集,并发送给切片图像中转模块
步骤404:将切片组织原始图打包后中转给所述病变组织判别模块104。
优选地,系统软件采用异步多线程结构,因此步骤402和步骤 404可以在不同线程中同时执行,互不干扰。
步骤405:病变组织判别模块进行病变组织判别并生成病变组织标注图。
步骤403:通过切片图像采集模块对切片组织进行扫描,获得切片组织图像,并上传至切片图像中转模块;
步骤404:所述切片图像中转模块将切片组织图像打包后上传至病变组织判别模块;
步骤405:在病变区域判别模块的预测子模块中,使用主元分析将输入的原始切片组织图像降维,得到降维图;将降维图输入预测子模块的多层感知器,通过多层感知器判断是否含有病变区域,如果含有病变区域,将原始切片组织图像输入预测子模块的深度卷积神经网络,提取病变区域二值标签图像,将二值标签图和原始切片组织图像合成切片组织病变区域标注图,并返回给切片图像中转模块。
进一步地,在所述步骤402中,所用分离大体背景的多通道直方图分布信息提取算法,包括如下步骤:
步骤S1401、读取大体原始图I,并按RGB三原色图像标准,提取R、G、B三通道灰度图,图像大小为N×N。
步骤S1402、对RGB三通道灰度图提取灰度直方图分布,每个通道均为16个灰度级。
步骤S1403、选择灰度阈值rt,gt,bt,使得R、G、B图像满足关系:
步骤S1404、rt,gt,bt为大体原始图I与大体背景图的临界点,rij表示R通道上的像素点位置;对于单个像素点p,如果p满足关系:
sign(pr-rt)+sign(pg-gt)+sign(pb-bt)>0
则将像素点p判断为前景,否则判断为背景,其中pr,pg,pb分别为像素点p在rgb三个通道上的大小,sign为符号函数,大于0则为1,小于0则为-1。
进一步地,步骤402中,所用的无监督聚类刀痕提取算法包括如下步骤:
步骤S1501、根据所述多通道直方图分布信息提取算法,去除背景,得到前景图感兴趣区域ROI。
步骤S1502、将ROI内的像素点灰度值从[0,255]归一化到[0,1];
步骤S1503、将rgb三通道归一化之后的像素点看成三维坐标中的坐标点xi,坐标点可分为刀痕和普通组织两类,记为S1,S2,随机初始化两个聚类中心(c1,c2)。
步骤S1504、计算感兴趣区域ROI中所有的像素点(x1,x2,…,xn) 与聚类中心(c1,c2)的空间距离,按照最小距离原则分配到聚类中心所属类别。
步骤S1505、通过求归属同一类的坐标点的平均值,更新聚类中心(c1,c2),。
步骤S1506、重复步骤1504,直到聚类中心不再发生变化。
优选地,系统软件采用异步多线程结构,因此大体原始图采集模块和切片图像采集模块在不同线程中同时执行,互不干扰。
进一步地,步骤405中使用主元分析205对切片组织图像进行降维。
进一步地,步骤405中使用多层感知器204判断切片组织原始图中是否含有病变区域
进一步地,步骤405中使用深度卷积神经网络203来提取含有病变的组织切片中的病变区域。
进一步地,在步骤405中,所用是否病变分类方法包括如下步骤:
步骤S1201:通过主元分析将原切片图像X转换为低维图像X′,转换公式为:
X′=WTX
其中W为线性映射矩阵,W使得降维之后再还原的图像与原图像误差最小,即:
通过矩阵奇异值分解算法可以求得W的最优值。
所述切片组织病变区域数据集中有N张切片图像Xi,i=1,…,N, 所述N张切片图像通过线性映射矩阵W生成低维图像X′i,i=1,…,N, 每个低维图像对应一个输出标注yi,1表示病变,0表示非病变。
其中α为多层感知器的学习率,是一个0到1之间的常数,
步骤S1205:重复步骤S1202-1204,直到损失L小于特定阈值。
步骤406:病变组织判别模块105生成的病变组织标注图通过切片图像中转模块104发送到结果修正与确认模块106,所述结果修正与确认模块106通过图形用户界面将切片组织病变区域标注图展示给病理医生。
步骤407:医生对切片组织病变区域标注图进行确认与修改。
步骤408:所述切片图像中转模块104接收所述结果修正与确认模块106返回的修正后切片组织病变区域标注图,并发送给病变组织判别模块105,由病变组织判别模块将所述修正后切片组织病变区域标注图添加到切片组织病变区域数据集。
步骤409:所述投影重定位模块107将切片组织病变区域标注图复原到大体原始图对应编号的刀痕区域,并将大体组织复原图发送到结果展示模块108。
步骤410:结果展示模块108展示投影重定位模块生成的大体组织复原图。
以上所述的实施例只是本发明的一种较佳的方案,然其并非用以限制本发明。有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型。因此凡采取等同替换或等效变换的方式所获得的技术方案,均落在本发明的保护范围内。
Claims (10)
1.一种组织病变区域图像辅助复原系统,其特征在于包括:大体原始图采集模块、切片图像采集模块、刀痕提取与编号模块、投影重定位模块、切片图像中转模块、结果修正与确认模块、病变组织判别模块、结果展示模块;所述大体图像采集模块与刀痕提取模块通信连接,负责采集图像;所述切片图像中转模块与切片图像采集模块通信连接,所述切片图像中转模块与结果修正与确认模块通信连接,所述投影重定位模块与刀痕提取与编号模块、切片图像中转模块连接;
所述刀痕提取与编号模块、投影重定位模块、切片图像中转模块能进行异步多线程,可同时处理大体原始图和切片组织图像;
所述病变组织判别模块为云计算服务模块,通过将切片组织图像上传到远程云服务器弥补本地计算机图像处理能力的不足。
2.根据权利要求1所述的一种组织病变区域图像辅助复原系统,其特征在于:
所述大体原始图采集模块:用于采集带刀痕的大体原始图,并通过局域网传输给所述刀痕提取与编号模块;
所述的切片图像采集模块:用于采集数字切片扫描仪所生成的数字切片图像;
所述刀痕提取与编号模块:使用多通道直方图分布信息提取算法,将大体原始图的背景与前景分离,采用无监督聚类算法实现大体组织中刀痕区域提取,并对刀痕各区域自动编号;
投影重定位模块:用于接收所述刀痕提取与编号模块所输出的带刀痕编号的大体原始图;用于接收切片图像中转模块所传送的切片组织病变区域标注图;用于将切片组织病变区域标注图复原到大体原始图对应编号的刀痕区域,得到大体组织复原图;并将大体组织复原图发送到结果展示模块;
切片图像中转模块:用于接收所述切片图像采集模块采集的切片组织扫描图像,并打包发送给病变区域判别模块;用于接收所述病变区域判别模块输出的切片组织病变区域标注图并发送给结果修正与确认模块;用于接收所述结果修正与确认模块返回的修正后的切片组织病变区域标注图,并发送给投影重定位模块和病变区域判别模块;
结果修正与确认模块:用于接收切片图像中转模块所传送来的切片组织病变区域标注图,并通过图形用户接口展示给病理医生,并由病理医生进行确认与修正,然后将病理医生修正过的图像发送给所述切片图像中转模块;
病变组织判别模块:用于接收切片图像中转模块所发送的切片组织图像原始图;
结果展示模块:用于展示投影重定位模块生成的大体组织复原图。
3.根据权利要求2所述的一种组织病变区域图像辅助复原系统,其特征在于所述的病变组织判别模块,包括训练子模块、预测子模块和切片组织病变区域数据集;所述切片组织病变区域数据集包含正常组织图像和带有病变区域的组织图像,带有病变区域的组织图像另外有一张二值图像注明病变区域所在像素点;所述训练子模块的实现包括病变图像分类方法和病变区域语义分割方法;所述预测子模块使用主元分析线性投影矩阵、多层感知器、语义分割深度卷积神经网络进行预测。
4.根据权利要求2或3所述的一种组织病变区域图像辅助复原系统,其特征在于所述的病变组织判别模块具体实现如下:
使用主元分析将原始图进行降维,将降维后的图像输入预测子模块多层感知器,判断是否含有病变区域,如果含有病变区域,将原始图输入预测子模块中的深度卷积神经网络,提取病变区域二值标签图像,将所述二值标签图和切片组织原始图合成切片组织病变区域标注图,并返回给切片图像中转模块;用于接收切片图像中转模块所发送的修正后切片组织图像标注图,加入切片组织病变区域数据集。
5.根据权利要求4所述的一种组织病变区域图像辅助复原系统,其特征在于所述的深度卷积神经网络具体实现如下:
该深度卷积神经网络采用卷积层和反卷积层结合的方式,实现切片组织图像的降采样和反向恢复;首先,通过4个卷积层,实现图像高维度信息的提取,卷积核的个数分别为64、128、256、512,随着卷积核个数的增加,提取的特征图信息也更加复杂;然后,通过4个反卷积层将高维度特征图信息还原到原图像大小,反卷积核的个数分别为256、128、64、1;使得卷积神经网络的输出特征图的大小和输入切片组织原始图的大小相同。
6.根据权利要求1或4所述的一种组织病变区域图像辅助复原系统的实现方法,其特征在于包括如下步骤:
步骤1:获取切片处理后的大体原始图,上传至所述刀痕提取与编号模块;
步骤2:使用多通道直方图分布信息提取算法去除大体原始图背景,使用无监督聚类算法提取刀痕区域,并对刀痕区域进行编号,然后发送给所述投影重定位模块;
步骤3:通过切片图像采集模块对切片组织进行扫描,获得切片组织图像,并上传至切片图像中转模块,所述切片图像中转模块将切片图像打包后上传至病变组织判别模块;
步骤4:在病变区域判别模块的预测子模块中,使用主元分析将输入的原始切片组织图像降维,得到降维图;将降维图输入预测子模块的多层感知器,通过多层感知器判断是否含有病变区域,如果含有病变区域,将原始切片组织图像输入预测子模块的深度卷积神经网络,提取病变区域二值标签图像,将二值标签图和原始切片组织图像合成切片组织病变区域标注图,并返回给切片图像中转模块;
步骤5:切片图像中转模块接收所述病变区域判别模块输出的切片组织病变区域标注图,并发送给结果修正与确认模块;
步骤6:结果修正与确认模块接收切片图像中转模块所传送来的所述病变组织判别模块生成的切片组织病变区域标注图,并通过图形用户接口展示给病理医生,由病理医生进行确认与修正,然后将病理医生修正过的图像发送给所述切片图像中转模块;
步骤7:所述切片图像中转模块接收所述结果修正与确认模块返回的修正后切片组织病变区域标注图,并发送给投影重定位模块和病变组织判别模块;
步骤8:病变区域判别模块接收所述切片图像中转模块所发送的修正切片组织图像标注图,加入切片组织病变区域数据集;
步骤9:投影重定位模块将切片组织病变区域标注图复原到大体原始图对应编号的刀痕区域,并将大体组织复原图发送到结果展示模块;
步骤10:结果展示模块展示投影重定位模块生成的大体组织复原图。
7.根据权利要求6所述的一种组织病变区域图像辅助复原系统的实现方法,其特征在于步骤2中所述的使用多通道直方图分布信息提取算法去除大体原始图背景,包括如下步骤:
步骤2-1、读取大体原始图I,并按RGB三原色图像标准,提取R、G、B三通道灰度图,图像大小为N×N;
步骤2-2、对RGB三通道灰度图提取直方图分布,每个通道均为16个灰度级;
步骤2-3、对选择阈值rt,gt,bt,使得R、G、B图像满足如下关系:
步骤2-4、选择阈值rt,gt,bt为大体原始图图与背景图的临界点,对于单个像素点p,如果p满足如下关系,则则将像素p判断为前景,否则判断为背景,将像素p判断为前景,否则判断为背景:
sign(pr-rt)+sign(pg-gt)+sign(pb-bt)>0
其中pr,pg,pb分别为像素点p在RGB三个通道上的大小,sign为符号函数,大于0则为1,小于0则为-1。
8.根据权利要求6所述的一种组织病变区域图像辅助复原系统的实现方法,其特征在于步骤2中所用的无监督聚类刀痕提取算法包括如下步骤:
步骤(2-1)、根据所述多通道直方图分布信息提取算法,去除背景,得到前景图感兴趣区域ROI;
步骤(2-2)、将前景图感兴趣区域ROI内的像素点灰度值从[0,255]归一化到[0,1];
步骤(2-3)、将RGB三通道归一化之后像素点(r′i,g′i,b′i)看成三维坐标中的坐标点xi,坐标点可分为刀痕和普通组织两类,记为S1,S2,随机初始化两个聚类中心(c1,c2);
步骤(2-4)、计算感兴趣区域ROI中所有的像素点(x1,x2,…,xn)与聚类中心(c1,c2)的空间距离,按照最小距离原则分配到聚类中心所属类别;
步骤(2-5)、通过求归属同一类的坐标点的平均值,更新聚类中心(c1,c2);
步骤(2-6)重复步骤(2-4),直到聚类中心不再发生变化。
9.根据权利要求6所述的一种组织病变区域图像辅助复原系统的实现方法,其特征在于步骤4中所述的是否病变的分类方法包括如下步骤:
步骤4-1:通过主元分析将原切片图像X转换为低维图像X′,转换公式为:
X′=WTX
其中W为线性映射矩阵,W使得降维之后再还原的图像与原图像误差最小,即:
通过矩阵奇异值分解算法可以求得W的最优值;
所述切片组织病变区域数据集中有N张切片图像Xi,i=1,…,N,所述N张切片图像通过线性映射矩阵W生成低维图像X′i,i=1,…,N,每个低维图像对应一个输出标注yi,1表示病变,0表示非病变;
其中,α为多层感知器的学习率,是一个0到1之间的常数;
步骤4-5:重复步骤4-2到步骤4-4,直到损失L小于特定阈值。
10.根据权利要求9所述的一种组织病变区域图像辅助复原系统的实现方法,其特征在于步骤9中通过对应像素点旋转与平移变换矩阵实现投影重定位。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011017627.XA CN112184579B (zh) | 2020-09-24 | 2020-09-24 | 一种组织病变区域图像辅助复原系统和方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011017627.XA CN112184579B (zh) | 2020-09-24 | 2020-09-24 | 一种组织病变区域图像辅助复原系统和方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112184579A true CN112184579A (zh) | 2021-01-05 |
CN112184579B CN112184579B (zh) | 2022-11-18 |
Family
ID=73956190
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011017627.XA Active CN112184579B (zh) | 2020-09-24 | 2020-09-24 | 一种组织病变区域图像辅助复原系统和方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112184579B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113421272A (zh) * | 2021-06-22 | 2021-09-21 | 厦门理工学院 | 一种肿瘤浸润深度的监测方法、装置、设备和存储介质 |
CN113724234A (zh) * | 2021-09-02 | 2021-11-30 | 山东省千佛山医院 | 一种基于机器学习的病理切片刀痕判别方法及系统 |
TWI776348B (zh) * | 2020-02-28 | 2022-09-01 | 大陸商上海商湯智能科技有限公司 | 病理切片圖像的展示方法、電子設備和儲存介質 |
CN117079837A (zh) * | 2023-07-24 | 2023-11-17 | 北京透彻未来科技有限公司 | 数字病理切片癌区预测诊断的自动化全流程系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5825909A (en) * | 1996-02-29 | 1998-10-20 | Eastman Kodak Company | Automated method and system for image segmentation in digital radiographic images |
US20140112575A1 (en) * | 2012-10-24 | 2014-04-24 | Regents Of The University Of Minnesota | Convex minimization and data recovery with linear convergence |
CN106485685A (zh) * | 2016-08-30 | 2017-03-08 | 重庆大学 | 一种基于两步复原的车载高质量成像方法 |
CN110265142A (zh) * | 2019-06-11 | 2019-09-20 | 透彻影像(北京)科技有限公司 | 一种用于病变区域复原图的辅助诊断系统和方法 |
CN110766660A (zh) * | 2019-09-25 | 2020-02-07 | 上海众壹云计算科技有限公司 | 基于融合深度学习模型的集成电路缺陷图像识别分类系统 |
-
2020
- 2020-09-24 CN CN202011017627.XA patent/CN112184579B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5825909A (en) * | 1996-02-29 | 1998-10-20 | Eastman Kodak Company | Automated method and system for image segmentation in digital radiographic images |
US20140112575A1 (en) * | 2012-10-24 | 2014-04-24 | Regents Of The University Of Minnesota | Convex minimization and data recovery with linear convergence |
CN106485685A (zh) * | 2016-08-30 | 2017-03-08 | 重庆大学 | 一种基于两步复原的车载高质量成像方法 |
CN110265142A (zh) * | 2019-06-11 | 2019-09-20 | 透彻影像(北京)科技有限公司 | 一种用于病变区域复原图的辅助诊断系统和方法 |
CN110766660A (zh) * | 2019-09-25 | 2020-02-07 | 上海众壹云计算科技有限公司 | 基于融合深度学习模型的集成电路缺陷图像识别分类系统 |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI776348B (zh) * | 2020-02-28 | 2022-09-01 | 大陸商上海商湯智能科技有限公司 | 病理切片圖像的展示方法、電子設備和儲存介質 |
CN113421272A (zh) * | 2021-06-22 | 2021-09-21 | 厦门理工学院 | 一种肿瘤浸润深度的监测方法、装置、设备和存储介质 |
CN113421272B (zh) * | 2021-06-22 | 2023-05-23 | 厦门理工学院 | 一种肿瘤浸润深度的监测方法、装置、设备和存储介质 |
CN113724234A (zh) * | 2021-09-02 | 2021-11-30 | 山东省千佛山医院 | 一种基于机器学习的病理切片刀痕判别方法及系统 |
CN113724234B (zh) * | 2021-09-02 | 2023-07-25 | 山东省千佛山医院 | 一种基于机器学习的病理切片刀痕判别方法及系统 |
CN117079837A (zh) * | 2023-07-24 | 2023-11-17 | 北京透彻未来科技有限公司 | 数字病理切片癌区预测诊断的自动化全流程系统 |
CN117079837B (zh) * | 2023-07-24 | 2024-04-30 | 北京透彻未来科技有限公司 | 数字病理切片癌区预测诊断的自动化全流程系统 |
Also Published As
Publication number | Publication date |
---|---|
CN112184579B (zh) | 2022-11-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112184579B (zh) | 一种组织病变区域图像辅助复原系统和方法 | |
Shvets et al. | Automatic instrument segmentation in robot-assisted surgery using deep learning | |
Saba | Recent advancement in cancer detection using machine learning: Systematic survey of decades, comparisons and challenges | |
EP3821790B1 (en) | Medical image processing device, medical image processing system, medical image processing method, and program | |
US6125194A (en) | Method and system for re-screening nodules in radiological images using multi-resolution processing, neural network, and image processing | |
US7664300B2 (en) | Uterine cervical cancer computer-aided-diagnosis (CAD) | |
CN108416360B (zh) | 基于乳腺钼靶钙化特征的癌症诊断系统及方法 | |
Wannous et al. | Supervised tissue classification from color images for a complete wound assessment tool | |
EP4118617A1 (en) | Automated detection of tumors based on image processing | |
WO2019130924A1 (ja) | 画像処理装置、内視鏡システム、画像処理方法、及びプログラム | |
CN113743463B (zh) | 一种基于影像数据和深度学习的肿瘤良恶性识别方法和系统 | |
CN112700461A (zh) | 一种肺结节检测和表征类别识别的系统 | |
CN107506766A (zh) | 图像分割方法及装置 | |
CN111340773B (zh) | 一种视网膜图像血管分割方法 | |
CN116052847B (zh) | 基于深度学习的胸片多异常识别系统、装置及方法 | |
EP3805835B1 (en) | Optical imaging system and related apparatus, method and computer program | |
CN114757894A (zh) | 一种骨肿瘤病灶分析系统 | |
CN113222009A (zh) | 一种基于甲状腺超声视频估算结节纵横比的方法 | |
CN113223014A (zh) | 基于数据增强的脑部图像分析系统、方法及设备 | |
CN117831757B (zh) | 基于病理ct多模态先验知识引导的肺癌诊断方法及系统 | |
CN117224231B (zh) | 用于肝切除术解剖时的血管暴露分析装置 | |
CN116030260B (zh) | 一种基于长条状卷积注意力的手术全场景语义分割方法 | |
CN118471483B (zh) | 基于深度学习的贲门癌分型辅助诊断系统、介质及设备 | |
Afraz et al. | A Unified Paradigm of Classifying GI Tract Diseases in Endoscopy Images Using Multiple Features Fusion | |
CN116863469A (zh) | 一种基于深度学习的手术解剖部位识别标注方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |