CN110265142A - 一种用于病变区域复原图的辅助诊断系统和方法 - Google Patents

一种用于病变区域复原图的辅助诊断系统和方法 Download PDF

Info

Publication number
CN110265142A
CN110265142A CN201910502249.5A CN201910502249A CN110265142A CN 110265142 A CN110265142 A CN 110265142A CN 201910502249 A CN201910502249 A CN 201910502249A CN 110265142 A CN110265142 A CN 110265142A
Authority
CN
China
Prior art keywords
slice
lesion region
value
matrix
analysis system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910502249.5A
Other languages
English (en)
Other versions
CN110265142B (zh
Inventor
王书浩
潘立超
顾健白
陆遥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Thorough Future Technology Co ltd
Original Assignee
Thorough Image (beijing) Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thorough Image (beijing) Technology Co Ltd filed Critical Thorough Image (beijing) Technology Co Ltd
Priority to CN201910502249.5A priority Critical patent/CN110265142B/zh
Publication of CN110265142A publication Critical patent/CN110265142A/zh
Application granted granted Critical
Publication of CN110265142B publication Critical patent/CN110265142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种用于病变区域复原图的辅助诊断系统和方法,辅助诊断系统包括:技师取材端、医师端、分析系统和服务器,技师取材端、医师端与服务器通信连接,服务器与分析系统连接;其中:技师取材端对病理组织的大体图拍照、对大体图上的刀痕进行识别与编号,并通过服务器将病理组织的切片上传到分析系统;分析系统自动对病理组织的切片进行智能分析,画出病变区域,并给出病变区域的标注结果;医生端对标注结果进行审核、修改和确认,并通过服务器上传到分析系统,分析系统根据经确认的病变区域的标注结果自动生成复原图。技师取材端、医师端、分析系统和服务器构成整套的自动化处理系统,能够自动化地完成大体复原图,提升工作效率。

Description

一种用于病变区域复原图的辅助诊断系统和方法
技术领域
本发明涉及医疗技术领域,特别涉及一种用于病变区域复原图的辅助诊断系统和方法。
背景技术
随着内镜微创技术的发展,越来越多的早期胃癌、肠癌、食管癌、癌前病变及胃肠黏膜下疾病可完全在内镜下予以切除,免除了更大的手术创伤,这就是内镜黏膜下剥离术(endoscopic submucosal dissection,ESD)。该治疗具有不改变消化道解剖结构、不开刀、体表无创口、创伤小、出血少、恢复快等优势,是近年来国际、国内最新兴起的内窥镜下微创治疗手段之一,适用于食管、胃、十二指肠等上消化道及结、直肠的黏膜下良性肿瘤、黏膜的早期癌变以及具有癌变倾向病变的切除治疗。因其特殊的微创优势,得到广大医生及患者的推崇,是消化道黏膜及黏膜下病变治疗的新兴发展趋势。
剥离后的病变组织送病理检验,部分医院的病理科会有专门针对消化科的ESD诊断组,病理科支援消化科对其进行病理分析。做完病理检验后,需要将病理结果复原到大体图上,以从病理角度判断ESD手术是否切缘完全,并确定病灶范围、性质以及浸润深度。
目前,剥离后的组织送到病理科后,技师将组织切割,并对组织大体图进行拍照后,将每一个刀痕对应的组织制备成病理切片,交予病理医生。一张病理切片包含一条到多条刀痕所对应的组织样本,病理医生通过显微镜对切片进行观察,用尺子手动测量、估算大概距离,将癌变区域手工复原到组织的大体图上,人工操作效率低,且准确率差。而且,在组织的处理中,存在大量的不确定因素,诸如大体高反光、高彩度背景、大体占比太小、背景复杂度高、数据维度与长宽比多样性高、大体角度不固定、大体位置不固定、大体数量不固定、图像亮度、白平衡方差过大等。
发明内容
本发明提供一种用于病变区域复原图的辅助诊断系统和方法,用以自动化地完成病变区域的大体复原图,大幅提升病理医生的工作效率。
本发明提供了一种用于病变区域复原图的辅助诊断系统,所述用于病变区域复原图的辅助诊断系统包括:技师取材端、医师端、分析系统和服务器,所述技师取材端、所述医师端与所述服务器通信连接,所述服务器与所述分析系统连接,其中:
所述技师取材端用于对病理组织的大体图进行拍照、对所述大体图上的刀痕进行识别与编号,并通过所述服务器将所述病理组织的切片上传到所述分析系统;
所述分析系统用于自动对所述切片进行智能分析,画出病变区域,并给出所述病变区域的标注结果;
所述医生端用于对所述标注结果进行审核、修改和确认,并通过所述服务器上传到所述分析系统,所述分析系统根据经所述医生端确认的所述病变区域的标注结果自动生成复原图。
优选地,所述技师取材端包括刀痕识别模块,用于对所述大体图上的刀痕进行识别。
优选地,所述技师取材端通过深度卷积神经网络对所述大体图上的刀痕进行识别。
优选地,所述分析系统包括算法模块和还原模块,所述算法模块用于采集所述医生端确认的所述病变区域的标注结果的信息,所述还原模块用于对所述算法模块采集的信息进行规整,将所述医生端的标注结果还原到所述大体图上。
优选地,所述分析系统采用线性投影的智能算法生成所述复原图。
优选地,所述用于病变区域复原图的辅助诊断系统还包括与所述分析系统连接的扫描仪,用于对所述病理组织的切片进行扫描。
本发明实施例提供的一种用于病变区域复原图的辅助诊断系统,具有以下有益效果:技师取材端、医师端、分析系统和服务器构成了整套的自动化处理系统,能够自动化地完成病变区域的大体复原图,大幅提升病理医生的工作效率,使用人工智能辅助的自动化复原系统,能够快速、定量化地获得预期效果。
本发明还提供了一种用于病变区域复原图的辅助诊断方法,所述方法执行以下步骤:
步骤1:对病理组织的大体图进行拍照、对所述大体图上的刀痕进行识别与编号,并将所述病理组织的切片上传;
步骤2:自动对所述切片进行智能分析,画出病变区域,并给出所述病变区域的标注结果;
步骤3:对所述标注结果进行审核、修改和确认;
步骤4:根据经确认的所述病变区域的标注结果自动生成复原图。
进一步地,在所述步骤1中,采用刀痕识别模块对所述大体图上的刀痕进行识别。
进一步地,在所述步骤1中,通过深度神经网络对所述大体图上的刀痕进行识别。
进一步地,在所述步骤4中,采用线性投影的智能算法生成所述复原图。
进一步地,在将所述病理组织的切片上传之前,所述步骤1还包括对所述切片进行扫描的步骤。
进一步地,在所述步骤2中,所述分析系统对所述切片进行智能分析的具体步骤如下所述:
所述分析系统中存在一个学习数据库,所述学习数据库中有N个H*L像素的学习样本图像,且所述每个样本均标注有是否为癌变图像,对于确定为癌变图像的学习样本图像标注有癌变像素点区域,提取所述每张学习样本图像的灰度化后的像素点,形成像素矩阵M,并利用公式(1)将所述N个像素矩阵转变为一个矩阵X:
Xi,h+(l-1)*H=Mi,h,l
(1)
其中,Xi,h+(l-1)*H为矩阵X的第i行h+(l-1)*H列的值,Mi,h,l为第i个像素矩阵的第h行l列的值,i=1、2、3……N、h=1、2、3……H、l=1、2、3……L,每个学习样本图像标注的是否有癌变形成标注向量Y,Yi为向量Y的第i个值,即为第i个学习样本图像是否为癌变图像,若是癌变图像则所述值为1,不是则所述值为2;
步骤S1202、利用公式(2)对矩阵X进行第一次学习,得到学习误差值;
f(Xi,W)=Xi*W+Xi .2
其中,ones(H*L,2)为生成一个H*L行2列的,全是1的矩阵,W为学习矩阵,f(Xi,W)=Xi*W+Xi .2为X和W的f映射为Xi*W+Xi .2,L为计算的误差值,Xi为矩阵X的第i列的值,Xi .2为向量Xi的所有值取平方,f(Xi,W)j为f(Xi,W)的第j个位置的值,j为3-Yi,f(Xi,W)Yi为f(Xi,W)的第Yi个位置的值,Wk,t为矩阵W的第k行t列的值,i=1、2、3……N;
步骤S1203、利用公式(3)调整学习矩阵W;
为L对Wk,t求偏导,Wk,t为矩阵K的第k行t列的值,WSk,t为求偏导后得到的值,K=1、2、3……H*L,t=1、2,|WSk,t|为对WSk,t求绝对值,利用公式(3)可以对矩阵W的值进行调整;
步骤S1204、将调整后的W带入方程(4),求解出相应的L2;
其中,L2为调整后计算的误差值,
步骤S1205、统计W的调整次数,判断所述调整次数是否达到10万次,若达到,则学习结束,输出相应的W,若未达到,则重复步骤S1203到步骤S1205,直至所述调整次数达到10万次后输出相应的W;
步骤S1206、将所述切片缩放为H*L像素的缩放切片,然后将所述缩放切片进行灰度化并获取像素矩阵XS,并利用公式(5)得到缩放切片向量A;
Ah+(l-1)*H=XSh,l
(5)
其中,Ah+(l-1)*H为向量A的第h+(l-1)*H个值,XSh,l为矩阵XS的第h行第l列的值,将所述向量A带入公式(6)计算出检测向量P;
[A1、A2…AL*H]*W=[P1、P2]
(6)
其中,At为向量A的第t个指标的值,P1、P2为向量P的值,若P1≥P2则所述切片有癌变,继续步骤S1207,否则所述切片没有癌变,继续步骤S1208;
步骤S1207、对于确定为癌变图像的切片,将所述切片的像素矩阵XS分别与学习数据库中,标注为癌变图像的学习样本图像的像素矩阵利用公式(7)确定癌变区域;
其中,D为判定值,XShh,ll为XS的第hh行ll列的值,Mhh,ll标注为癌变图像的学习样本的像素矩阵的第hh行ll列的值,判断XS与学习数据库中所有标记为癌变图像的像素矩阵的判定值,所述最大的判定值对应的样本图像所标注的癌变像素点区域则为所述像素矩阵XS对应的切片的标注结果;
步骤S1208、将所述缩放切片通过医生端用于对所述标注结果进行审核、修改和确认,并将确认后的缩放切片及标注结果输入学习数据库中,从而更新学习数据库,最后将所述缩放切片图像还原为原始切片大小,则所述原始切片对应的标注结果则为所述切片的标注结果。
本发明实施例提供的一种用于病变区域复原图的辅助诊断方法,具有以下有益效果:能够自动化地完成病变区域的大体复原图,大幅提升病理医生的工作效率,使用人工智能辅助技术,能够快速、定量化地获得预期效果。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种用于病变区域复原图的辅助诊断系统的框图;
图2为本发明实施例中的深度卷积神经网络的结构图;
图3为本发明实施例中一种用于病变区域复原图的辅助诊断方法的方法流程示意图;
图4A-图4J为本发明实施例中一种用于病变区域复原图的辅助诊断方法的详细步骤的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明提供了一种用于病变区域复原图的辅助诊断系统和方法,旨在自动化地完成病变区域的大体复原图,大幅提升病理医生的工作效率。本发明以内镜粘膜下剥离术(ESD)癌区复原图为例进行描述,其能够推广到所有与病理相关的手术后组织复原图的相关领域。
本发明实施例提供了一种用于病变区域复原图的辅助诊断系统,如图1所示,包括:技师取材端101、医师端102、分析系统104和服务器103,所述技师取材端101、所述医师端102与所述服务器103通信连接,所述服务器103与所述分析系统104连接,其中:
所述技师取材端101用于对病理组织的大体图进行拍照、对所述大体图上的刀痕进行识别与编号,并通过所述服务器103将所述病理组织的切片上传到所述分析系统104;
所述分析系统104用于自动对所述切片进行智能分析,画出病变区域,并给出所述病变区域的标注结果;
所述医生端102用于对所述标注结果进行审核、修改和确认,并通过所述服务器103上传到所述分析系统104,所述分析系统104根据经所述医生端102确认的所述病变区域的标注结果自动生成复原图。
上述技术方案的工作原理为:技师取材端101、医师端102、分析系统104和服务器103构成了整套的自动化处理系统,技师取材端101对病理组织的大体图进行拍照、刀痕识别与编号,分析系统104自动对切片进行智能分析,画出病变区域,并给出病变区域的标注结果,并根据经医生端102确认的病变区域的标注结果自动生成复原图;医生端102对标注结果进行审核、修改和确认。
上述技术方案的有益效果为:能够自动化地完成病变区域的大体复原图,大幅提升病理医生的工作效率,使用人工智能辅助的自动化复原系统,能够快速、定量化地获得预期效果。
在一个实施例中,所述技师取材端101包括刀痕识别模块,用于对所述大体图上的刀痕进行识别。
上述技术方案的工作原理为:所述刀痕识别模块利用机器视觉与深度学习的技术,来识别ESD大体图上的刀痕。
上述技术方案的有益效果为:ESD大体图上的刀痕是在制作切片组织时所留下的,而病理医师在医生端发现的肿瘤细胞,即为此刀痕切面上的细胞,因此刀痕识别模块可以帮助病理医生将病理切片上发现的癌细胞精准的还原到原来大体图的位置,从而促进消化内科医生与病理科医生的合作,使消化内科医生更能掌握大体组织上面的纹理与真实病理信息的对应。
在一个实施例中,所述技师取材端101通过深度卷积神经网络对所述大体图上的刀痕进行识别。
上述技术方案的工作原理为:图2示出了刀痕识别的深度卷积神经网络的一种结构,如图2所示,输入图像经过第一次卷积和池化处理后,得到320×320×64的图像;经过第二次卷积和池化处理后,得到160×160×128的图像;经过空洞空间卷积池化金字塔处理后,分别得到1×1卷积、3×3卷积空洞率=6以及3×3卷积空洞率=6图像;然后对其进行拼接、1×1卷积和上采样处理后,得到输出图像。
上述技术方案的有益效果为:利用深度卷积神经网络对所述大体图上的刀痕进行识别,克服目前组织的处理中存在的不确定因素(如大体高反光、高彩度背景等),提高刀痕的识别效果。
在一个实施例中,所述分析系统104包括算法模块和还原模块,所述算法模块用于采集所述医生端确认的所述病变区域的标注结果的信息,所述还原模块用于对所述算法模块采集的信息进行规整,将所述医生端102的标注结果还原到所述大体图上。
上述技术方案的工作原理为:算法模块和还原模块分别执行不同的功能,有助于提高效率。
上述技术方案的有益效果为:有效地提高分析系统104分析切片的效率。
在一个实施例中,所述分析系统104包括数据存储模块、分布式计算模块和任务调度模块,所述分布式计算模块与所述数据存储模块和所述任务调度模块通信连接。
上述技术方案的工作原理为:所述数据存储模块用于接收客户端触发的操作指令、存储全扫描病理图像,并在图像分析任务进行时,为全图读取的病理图像提供缓存空间;所述分布式计算模块用于按照异构计算的方式,并行执行病理图像的分析任务和深度学习模型对应的计算任务;所述任务调度模块用于管理所述分布式计算模块对应执行的各项任务。
上述技术方案的有益效果为:分析系统采用分布式异构的计算系统架构,具有高性能、高可用、可扩展的特点,能加速大规模神经网络运算,支持人工智能运用,从而自动对切片进行智能分析,画出病变区域,并给出病变区域的标注结果。
在一个实施例中,所述分析系统104采用线性投影的智能算法生成所述复原图。
上述技术方案的工作原理为:通过线性投影的智能算法将高维数据映射到低维空间进行表示,以此减少数据维度同时保留较多的原数据特征。
上述技术方案的有益效果为:从切片的癌区还原到组织图是一个复杂的工作,因为它们对应不同空间的图像,而使用线性投影的智能算法可以简化这一工作,显著提高辅助诊断系统的效率。
在一个实施例中,所述用于病变区域复原图的辅助诊断系统还包括与所述分析系统104连接的扫描仪105,用于在将所述病理组织的切片上传之前对所述切片进行扫描。
上述技术方案的工作原理为:扫描仪利用光电技术和数字处理技术,以扫描方式将图形或图像信息转换为计算机可以显示、编辑、存储和输出的数字信号,借助专用的数字病理扫描仪通过扫描病理玻片得到全扫描图像(whole slide image,WSI),病理医生可以在医生端对数字切片进行查看和诊断。
上述技术方案的有益效果为:能够大幅提高ESD组织图复原的效率和准确率。
本发明实施例还提供了一种用于病变区域复原图的辅助诊断方法,如图3所示,所述方法执行以下步骤:
步骤1:对病理组织的大体图进行拍照、对所述大体图上的刀痕进行识别与编号,并将所述病理组织的切片上传;
步骤2:自动对所述切片进行智能分析,画出病变区域,并给出所述病变区域的标注结果;
步骤3:对所述标注结果进行审核、修改和确认;
步骤4:根据经确认的所述病变区域的标注结果自动生成复原图。
上述技术方案的工作原理为:对病理组织的大体图进行拍照、刀痕识别与编号后,自动对切片进行智能分析,画出病变区域,并给出病变区域的标注结果,并根据经确认的病变区域的标注结果自动生成复原图。
上述技术方案的有益效果为:能够自动化地完成病变区域的大体复原图,大幅提升病理医生的工作效率,使用人工智能辅助技术,能够快速、定量化地获得预期效果。
具体地,图4A-图4J示出了本发明实施例中一种用于病变区域复原图的辅助诊断方法的详细步骤的示意图。
首先,如图4A所示,将病理组织的大体图位置摆正并拍照。
接着,如图4B所示,拍照完成后,录入对应的病历号。
然后,如图4C所示,对大体图上的刀痕进行识别。
其中,采用刀痕识别模块对大体图上的刀痕进行识别。所述刀痕识别模块利用机器视觉与深度学习的技术,来识别ESD大体图上的刀痕。
由于ESD大体图上的刀痕是在制作切片组织时所留下的,而病理医师在医生端发现的肿瘤细胞,即为此刀痕切面上的细胞,因此刀痕识别模块可以帮助病理医生将病理切片上发现的癌细胞精准的还原到原来大体图的位置,从而促进消化内科医生与病理科医生的合作,使消化内科医生更能掌握大体组织上面的纹理与真实病理信息的对应。
进一步地,通过深度卷积神经网络对所述大体图上的刀痕进行识别。
参照图2,示出了刀痕识别的深度卷积神经网络的一种结构,如图2所示,输入图像经过第一次卷积和池化处理后,得到320×320×64的图像;经过第二次卷积和池化处理后,得到160×160×128的图像;经过空洞空间卷积池化金字塔处理后,分别得到1×1卷积、3×3卷积空洞率=6以及3×3卷积空洞率=6图像;然后对其进行拼接、1×1卷积和上采样处理后,得到输出图像。
利用深度卷积神经网络对大体图上的刀痕进行识别,克服目前在组织的处理过程中存在的诸多不确定因素(如大体高反光、高彩度背景等),提高刀痕的识别效果。
接着,如图4D所示,刀痕识别完成后,对刀痕进行修正,示例性地,可以对刀痕进行伸缩,同时可以增加刀痕,将增加出的刀痕移动到指定位置,此外还可以删除刀痕。
然后,如图4E所示,完成刀痕修正步骤后,自动添加编号,即制作数字切片,随后提交。
编号规则如图4E所示,编号按左上、左下、右上、右下的顺序依次递增。
接着,如图4F所示,对数字切片进行扫描。
扫描利用光电技术和数字处理技术,以扫描方式将图形或图像信息转换为计算机可以显示、编辑、存储和输出的数字信号。借助专用的数字病理扫描仪通过扫描病理玻片得到全扫描图像(whole slide image,WSI),病理医生可以在医生端对数字切片进行查看和诊断,预期能够大幅提高ESD组织图复原的效率和准确率。
然后,如图4G所示,对数字切片进行上传。
接着,分析系统104将自动对数字切片进行智能分析,画出癌变区域,并给出所述癌变区域的标注结果。
进一步地,所述分析系统包括数据存储模块、分布式计算模块和任务调度模块,所述分布式计算模块与所述数据存储模块和所述任务调度模块通信连接,其中:所述数据存储模块用于接收客户端触发的操作指令、存储全扫描病理图像,并在图像分析任务进行时,为全图读取的病理图像提供缓存空间;所述分布式计算模块用于按照异构计算的方式,并行执行病理图像的分析任务和深度学习模型对应的计算任务;所述任务调度模块用于管理所述分布式计算模块对应执行的各项任务。
所述分析系统采用分布式异构的计算系统架构,具有高性能、高可用、可扩展的特点,能加速大规模神经网络运算,支持人工智能运用,从而自动对切片进行智能分析,画出病变区域,并给出病变区域的标注结果。
然后,如图4H所示,分析系统104预测完成后,医生可以在医生端102对预测完成的每一例中的所有切片进行查看和修改。
在对每一张切片完成修改后,可对切片进行矫正,对切片的方向进行调整。由于在制片和扫描时,可能会出现切片上下镜像和左右镜像的情况,因此对切片进行矫正可以将切片旋转到正确的方向。随后,点击确认提交。
最后,如图4I所示,当一例中的所有切片均审核和修改完毕后,根据经确认的癌变区域的标注结果自动生成复原图。如图4J所示,分别为输入分析系统的原图和由分析系统输出的结果图。
在这一步骤中,分析系统104中的算法模块用于采集所述医生端确认的所述病变区域的标注结果的信息,还原模块用于对所述算法模块采集的信息进行规整,并使用线性投影的方法,将医生端102的标注结果还原到大体图上。
算法模块和还原模块分别执行不同的功能,有助于提高效率,可以有效地提高分析系统104分析切片的效率。
通过线性投影的智能算法将高维数据映射到低维空间进行表示,以此减少数据维度同时保留较多的原数据特征。从数字切片的癌区还原到组织图是一个复杂的工作,因为它们对应不同空间的图像,而使用线性投影的智能算法可以简化这一工作,显著提高辅助诊断系统的效率。
在一个实施例中,在所述步骤2中,所述分析系统104对所述切片进行智能分析的具体步骤如下所述:
所述分析系统中存在一个学习数据库,所述学习数据库中有N个H*L像素的学习样本图像,且所述每个样本均标注有是否为癌变图像,对于确定为癌变图像的学习样本图像标注有癌变像素点区域,提取所述每张学习样本图像的灰度化后的像素点,形成像素矩阵M,并利用公式(1)将所述N个像素矩阵转变为一个矩阵X:
Xi,h+(l-1)*H=Mi,h,l
(1)
其中,Xi,h+(l-1)*H为矩阵X的第i行h+(l-1)*H列的值,Mi,h,l为第i个像素矩阵的第h行l列的值,i=1、2、3……N、h=1、2、3……H、l=1、2、3……L,每个学习样本图像标注的是否有癌变形成标注向量Y,Yi为向量Y的第i个值,即为第i个学习样本图像是否为癌变图像,若是癌变图像则所述值为1,不是则所述值为2;
步骤S1202、利用公式(2)对矩阵X进行第一次学习,得到学习误差值;
f(Xi,W)=Xi*W+Xi .2
其中,ones(H*L,2)为生成一个H*L行2列的,全是1的矩阵,W为学习矩阵,f(Xi,W)=Xi*W+Xi .2为X和W的f映射为Xi*W+Xi .2,L为计算的误差值,Xi为矩阵X的第i列的值,Xi .2为向量Xi的所有值取平方,f(Xi,W)j为f(Xi,W)的第j个位置的值,j为3-Yi,f(Xi,W)Yi为f(Xi,W)的第Yi个位置的值,Wk,t为矩阵W的第k行t列的值,i=1、2、3……N;
步骤S1203、利用公式(3)调整学习矩阵W;
为L对Wk,t求偏导,Wk,t为矩阵K的第k行t列的值,WSk,t为求偏导后得到的值,K=1、2、3……H*L,t=1、2,|WSk,t|为对WSk,t求绝对值,利用公式(3)可以对矩阵W的值进行调整;
步骤S1204、将调整后的W带入方程(4),求解出相应的L2;
其中,L2为调整后计算的误差值,
步骤S1205、统计W的调整次数,判断所述调整次数是否达到10万次,若达到,则学习结束,输出相应的W,若未达到,则重复步骤S1203到步骤S1205,直至所述调整次数达到10万次后输出相应的W;
步骤S1206、将所述切片缩放为H*L像素的缩放切片,然后将所述缩放切片进行灰度化并获取像素矩阵XS,并利用公式(5)得到缩放切片向量A;
Ah+(l-1)*H=XSh,l
(5)
其中,Ah+(l-1)*H为向量A的第h+(l-1)*H个值,XSh,l为矩阵XS的第h行第l列的值,将所述向量A带入公式(6)计算出检测向量P;
[A1、A2…AL*H]*W=[P1、P2]
(6)
其中,At为向量A的第t个指标的值,P1、P2为向量P的值,若P1≥P2则所述切片有癌变,继续步骤S1207,否则所述切片没有癌变,继续步骤S1208;
步骤S1207、对于确定为癌变图像的切片,将所述切片的像素矩阵XS分别与学习数据库中,标注为癌变图像的学习样本图像的像素矩阵利用公式(7)确定癌变区域;
其中,D为判定值,XShh,ll为XS的第hh行ll列的值,Mhh,ll标注为癌变图像的学习样本的像素矩阵的第hh行ll列的值,判断XS与学习数据库中所有标记为癌变图像的像素矩阵的判定值,所述最大的判定值对应的样本图像所标注的癌变像素点区域则为所述像素矩阵XS对应的切片的标注结果;
步骤S1208、将所述缩放切片通过医生端用于对所述标注结果进行审核、修改和确认,并将确认后的缩放切片及标注结果输入学习数据库中,从而更新学习数据库,最后将所述缩放切片图像还原为原始切片大小,则所述原始切片对应的标注结果则为所述切片的标注结果。
利用上述技术,可以分步骤的对所述切片进行智能分析,首先利用公式(1)到公式(6)确定所述切片是否存在癌变,且在确定的时候,不仅在所述分析中利用了智能分析,并且对于所述切片和数据库图片经过灰度和公式(1)和公式(5)的调整,将矩阵转变为向量,使得计算更分别,且得到的结论更加准确,利用公式(2)和(3)能够经过不断的调整,使得学习的效果越来越好,同时对于每次获得的所述切片和标注结果,都不断的导入所述学习数据库,使得所述学习数据库能不断的更新,增加所述学习数据库的时效性和准确率,从而智能效果越来越好。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (12)

1.一种用于病变区域复原图的辅助诊断系统,其特征在于,所述用于病变区域复原图的辅助诊断系统包括:技师取材端、医师端、分析系统和服务器,所述技师取材端、所述医师端与所述服务器通信连接,所述服务器与所述分析系统连接,其中:
所述技师取材端用于对病理组织的大体图进行拍照、对所述大体图上的刀痕进行识别与编号,并通过所述服务器将所述病理组织的切片上传到所述分析系统;
所述分析系统用于自动对所述切片进行智能分析,画出病变区域,并给出所述病变区域的标注结果;
所述医生端用于对所述标注结果进行审核、修改和确认,并通过所述服务器上传到所述分析系统,所述分析系统根据经所述医生端确认的所述病变区域的标注结果自动生成复原图。
2.如权利要求1所述的用于病变区域复原图的辅助诊断系统,其特征在于,所述技师取材端包括刀痕识别模块,用于对所述大体图上的刀痕进行识别。
3.如权利要求2所述的用于病变区域复原图的辅助诊断系统,其特征在于,所述技师取材端通过深度卷积神经网络对所述大体图上的刀痕进行识别。
4.如权利要求1所述的用于病变区域复原图的辅助诊断系统,其特征在于,所述分析系统包括算法模块和还原模块,所述算法模块用于采集所述医生端确认的所述病变区域的标注结果的信息,所述还原模块用于对所述算法模块采集的信息进行规整,将所述医生端的标注结果还原到所述大体图上。
5.如权利要求4所述的用于病变区域复原图的辅助诊断系统,其特征在于,所述分析系统采用线性投影的智能算法生成所述复原图。
6.如权利要求1所述的用于病变区域复原图的辅助诊断系统,其特征在于,所述用于病变区域复原图的辅助诊断系统还包括与所述分析系统连接的扫描仪,用于对所述病理组织的切片进行扫描。
7.一种用于病变区域复原图的辅助诊断方法,其特征在于,所述方法执行以下步骤:
步骤1:对病理组织的大体图进行拍照、对所述大体图上的刀痕进行识别与编号,并将所述病理组织的切片上传;
步骤2:自动对所述切片进行智能分析,画出病变区域,并给出所述病变区域的标注结果;
步骤3:对所述标注结果进行审核、修改和确认;
步骤4:根据经确认的所述病变区域的标注结果自动生成复原图。
8.如权利要求7所述的用于病变区域复原图的辅助诊断方法,其特征在于,在所述步骤1中,采用刀痕识别模块对所述大体图上的刀痕进行识别。
9.如权利要求7所述的用于病变区域复原图的辅助诊断方法,其特征在于,在所述步骤1中,通过深度神经网络对所述大体图上的刀痕进行识别。
10.如权利要求7所述的用于病变区域复原图的辅助诊断方法,其特征在于,在所述步骤4中,采用线性投影的智能算法生成所述复原图。
11.如权利要求7所述的用于病变区域复原图的辅助诊断方法,其特征在于,在将所述病理组织的切片上传之前,所述步骤1还包括对所述切片进行扫描的步骤。
12.如权利要求7所述的用于病变区域复原图的辅助诊断方法,其特征在于,在所述步骤2中,所述分析系统对所述切片进行智能分析的具体步骤如下所述:
所述分析系统中存在一个学习数据库,所述学习数据库中有N个H*L像素的学习样本图像,且所述每个样本均标注有是否为癌变图像,对于确定为癌变图像的学习样本图像标注有癌变像素点区域,提取所述每张学习样本图像的灰度化后的像素点,形成像素矩阵M,并利用公式(1)将所述N个像素矩阵转变为一个矩阵X:
Xi,h+(l-1)*H=Mi,h,l
(1)
其中,Xi,h+(l-1)*H为矩阵X的第i行h+(l-1)*H列的值,Mi,h,l为第i个像素矩阵的第h行l列的值,i=1、2、3……N、h=1、2、3……H、l=1、2、3……L,每个学习样本图像标注的是否有癌变形成标注向量Y,Yi为向量Y的第i个值,即为第i个学习样本图像是否为癌变图像,若是癌变图像则所述值为1,不是则所述值为2;
步骤S1202、利用公式(2)对矩阵X进行第一次学习,得到学习误差值;
其中,ones(H*L,2)为生成一个H*L行2列的,全是1的矩阵,W为学习矩阵,为X和W的f映射为L为计算的误差值,Xi为矩阵X的第i列的值,为向量Xi的所有值取平方,f(Xi,W)j为f(Xi,W)的第j个位置的值,j为3-Yi为f(Xi,W)的第Yi个位置的值,Wk,t为矩阵W的第k行t列的值,i=1、2、3……N;
步骤S1203、利用公式(3)调整学习矩阵W;
为L对Wk,t求偏导,Wk,t为矩阵K的第k行t列的值,WSk,t为求偏导后得到的值,K=1、2、3……H*L,t=1、2,|WSk,t|为对WSk,t求绝对值,利用公式(3)可以对矩阵W的值进行调整;
步骤S1204、将调整后的W带入方程(4),求解出相应的L2;
其中,L2为调整后计算的误差值,
步骤S1205、统计W的调整次数,判断所述调整次数是否达到10万次,若达到,则学习结束,输出相应的W,若未达到,则重复步骤S1203到步骤S1205,直至所述调整次数达到10万次后输出相应的W;
步骤S1206、将所述切片缩放为H*L像素的缩放切片,然后将所述缩放切片进行灰度化并获取像素矩阵XS,并利用公式(5)得到缩放切片向量A;
Ah+(l-1)*H=XSh,l
(5)
其中,Ah+(l-1)*H为向量A的第h+(l-1)*H个值,XSh,l为矩阵XS的第h行第l列的值,将所述向量A带入公式(6)计算出检测向量P;
[A1、A2…AL*H]*W=[P1、P2]
(6)
其中,At为向量A的第t个指标的值,P1、P2为向量P的值,若P1≥P2则所述切片有癌变,继续步骤S1207,否则所述切片没有癌变,继续步骤S1208;
步骤S1207、对于确定为癌变图像的切片,将所述切片的像素矩阵XS分别与学习数据库中,标注为癌变图像的学习样本图像的像素矩阵利用公式(7)确定癌变区域;
其中,D为判定值,XShh,ll为XS的第hh行ll列的值,Mhh,ll标注为癌变图像的学习样本的像素矩阵的第hh行ll列的值,判断XS与学习数据库中所有标记为癌变图像的像素矩阵的判定值,所述最大的判定值对应的样本图像所标注的癌变像素点区域则为所述像素矩阵XS对应的切片的标注结果;
步骤S1208、将所述缩放切片通过医生端用于对所述标注结果进行审核、修改和确认,并将确认后的缩放切片及标注结果输入学习数据库中,从而更新学习数据库,最后将所述缩放切片图像还原为原始切片大小,则所述原始切片对应的标注结果则为所述切片的标注结果。
CN201910502249.5A 2019-06-11 2019-06-11 一种用于病变区域复原图的辅助诊断系统 Active CN110265142B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910502249.5A CN110265142B (zh) 2019-06-11 2019-06-11 一种用于病变区域复原图的辅助诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910502249.5A CN110265142B (zh) 2019-06-11 2019-06-11 一种用于病变区域复原图的辅助诊断系统

Publications (2)

Publication Number Publication Date
CN110265142A true CN110265142A (zh) 2019-09-20
CN110265142B CN110265142B (zh) 2020-06-09

Family

ID=67917628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910502249.5A Active CN110265142B (zh) 2019-06-11 2019-06-11 一种用于病变区域复原图的辅助诊断系统

Country Status (1)

Country Link
CN (1) CN110265142B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111351831A (zh) * 2020-02-26 2020-06-30 西安交通大学医学院第二附属医院 基于质谱分析组织术中检测、标记设备及其检测方法
CN111474701A (zh) * 2019-12-19 2020-07-31 上海兰脉信息科技有限公司 一种病理显微图像实时采集分析系统、方法、装置及介质
CN111832625A (zh) * 2020-06-18 2020-10-27 中国医学科学院肿瘤医院 一种基于弱监督学习的全扫描图像分析方法和系统
CN112116559A (zh) * 2020-08-17 2020-12-22 您好人工智能技术研发昆山有限公司 一种基于深度学习的数字病理图像智能分析方法
CN112184579A (zh) * 2020-09-24 2021-01-05 武汉千屏影像技术有限责任公司 一种组织病变区域图像辅助复原系统和方法
CN113469939A (zh) * 2021-05-26 2021-10-01 透彻影像(北京)科技有限公司 一种基于特性曲线的her-2免疫组化自动判读系统

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014211717A (ja) * 2013-04-17 2014-11-13 日本電気株式会社 医療情報処理装置及び医療情報処理方法
CN108230339A (zh) * 2018-01-31 2018-06-29 浙江大学 一种基于伪标签迭代标注的胃癌病理切片标注补全方法
CN108288506A (zh) * 2018-01-23 2018-07-17 雨声智能科技(上海)有限公司 一种基于人工智能技术的癌症病理辅助诊断方法
CN108629777A (zh) * 2018-04-19 2018-10-09 麦克奥迪(厦门)医疗诊断系统有限公司 一种数字病理全切片图像病变区域自动分割方法
CN108664937A (zh) * 2018-05-14 2018-10-16 宁波江丰生物信息技术有限公司 一种基于数字病理切片扫描仪的多区域扫描方法
CN108765294A (zh) * 2018-06-11 2018-11-06 深圳市唯特视科技有限公司 一种基于全卷积网络和条件生成对抗网络的图像合成方法
CN109215017A (zh) * 2018-08-16 2019-01-15 腾讯科技(深圳)有限公司 图片处理方法、装置、用户终端、服务器及存储介质
CN109461147A (zh) * 2018-10-26 2019-03-12 广州金域医学检验中心有限公司 应用于移动终端的fov图片的病理标注方法及装置
CN109658390A (zh) * 2018-12-04 2019-04-19 南京航空航天大学 一种用于正电子检测正弦矩阵图的感兴趣区域提取方法
CN109712705A (zh) * 2018-12-19 2019-05-03 中国石油大学(华东) 一种基于深度学习的胆石病智能诊断app
CN109712693A (zh) * 2018-12-14 2019-05-03 贵州大学 一种智能病理诊断方法及系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014211717A (ja) * 2013-04-17 2014-11-13 日本電気株式会社 医療情報処理装置及び医療情報処理方法
CN108288506A (zh) * 2018-01-23 2018-07-17 雨声智能科技(上海)有限公司 一种基于人工智能技术的癌症病理辅助诊断方法
CN108230339A (zh) * 2018-01-31 2018-06-29 浙江大学 一种基于伪标签迭代标注的胃癌病理切片标注补全方法
CN108629777A (zh) * 2018-04-19 2018-10-09 麦克奥迪(厦门)医疗诊断系统有限公司 一种数字病理全切片图像病变区域自动分割方法
CN108664937A (zh) * 2018-05-14 2018-10-16 宁波江丰生物信息技术有限公司 一种基于数字病理切片扫描仪的多区域扫描方法
CN108765294A (zh) * 2018-06-11 2018-11-06 深圳市唯特视科技有限公司 一种基于全卷积网络和条件生成对抗网络的图像合成方法
CN109215017A (zh) * 2018-08-16 2019-01-15 腾讯科技(深圳)有限公司 图片处理方法、装置、用户终端、服务器及存储介质
CN109461147A (zh) * 2018-10-26 2019-03-12 广州金域医学检验中心有限公司 应用于移动终端的fov图片的病理标注方法及装置
CN109658390A (zh) * 2018-12-04 2019-04-19 南京航空航天大学 一种用于正电子检测正弦矩阵图的感兴趣区域提取方法
CN109712693A (zh) * 2018-12-14 2019-05-03 贵州大学 一种智能病理诊断方法及系统
CN109712705A (zh) * 2018-12-19 2019-05-03 中国石油大学(华东) 一种基于深度学习的胆石病智能诊断app

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111474701A (zh) * 2019-12-19 2020-07-31 上海兰脉信息科技有限公司 一种病理显微图像实时采集分析系统、方法、装置及介质
CN111474701B (zh) * 2019-12-19 2021-11-30 上海杏脉信息科技有限公司 一种病理显微图像实时采集分析系统、方法、装置及介质
CN111351831A (zh) * 2020-02-26 2020-06-30 西安交通大学医学院第二附属医院 基于质谱分析组织术中检测、标记设备及其检测方法
CN111832625A (zh) * 2020-06-18 2020-10-27 中国医学科学院肿瘤医院 一种基于弱监督学习的全扫描图像分析方法和系统
CN111832625B (zh) * 2020-06-18 2021-04-27 中国医学科学院肿瘤医院 一种基于弱监督学习的全扫描图像分析方法和系统
CN112116559A (zh) * 2020-08-17 2020-12-22 您好人工智能技术研发昆山有限公司 一种基于深度学习的数字病理图像智能分析方法
CN112184579A (zh) * 2020-09-24 2021-01-05 武汉千屏影像技术有限责任公司 一种组织病变区域图像辅助复原系统和方法
CN112184579B (zh) * 2020-09-24 2022-11-18 武汉千屏影像技术有限责任公司 一种组织病变区域图像辅助复原系统和方法
CN113469939A (zh) * 2021-05-26 2021-10-01 透彻影像(北京)科技有限公司 一种基于特性曲线的her-2免疫组化自动判读系统

Also Published As

Publication number Publication date
CN110265142B (zh) 2020-06-09

Similar Documents

Publication Publication Date Title
CN110265142A (zh) 一种用于病变区域复原图的辅助诊断系统和方法
CN107591200B (zh) 基于深度学习及影像组学的骨龄标记识别评估方法及系统
JP7214291B2 (ja) コンピュータデバイスの作動方法、コンピュータデバイス、およびコンピュータプログラム、ならびに、内視鏡画像処理システム
CN109544526B (zh) 一种慢性萎缩性胃炎图像识别系统、装置和方法
JP2020508536A (ja) 医療イメージングデバイスによりキャプチャされた組織学的イメージをプロセッシングするための方法及び装置
CN109389584A (zh) 基于cnn的多尺度鼻咽肿瘤分割方法
CN113379693B (zh) 基于视频摘要技术的胶囊内镜关键病灶图像检测方法
CN111445478A (zh) 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法
DE112020004438T5 (de) Prozessor für ein endoskop, programm, informationsverarbeitungsverfahren und informationsverarbeitungsvorrichtung
CN108921854B (zh) 一种消化道内镜图像不规则病变区域标注方法及系统
CN110974306B (zh) 一种超声内镜下识别和定位胰腺神经内分泌肿瘤的系统
WO2008001928A1 (fr) Appareil d'affichage d'image médicale et programme d'affichage d'image médicale
CN114581375A (zh) 一种无线胶囊内窥镜病灶自动检测方法、装置及存储介质
CN113743463B (zh) 一种基于影像数据和深度学习的肿瘤良恶性识别方法和系统
KR20200110111A (ko) 의료영상정보 딥러닝 기반의 동적 다차원 질병진단 방법 및 동적 다차원 질병진단 장치
CN113222051A (zh) 基于小肠病灶特征的图像标注方法
CN113298773A (zh) 基于深度学习的心脏视图识别与左心室检测装置、系统
CN116779093A (zh) 一种医学影像结构化报告的生成方法、装置和计算机设备
CN111340807A (zh) 病灶定位核心数据提取方法、系统、电子设备及存储介质
CN114202510B (zh) 显微镜下病理切片图像智能分析系统
CN116228690A (zh) 基于pet-ct的胰腺癌与自身性免疫性胰腺炎自动辅助诊断方法
CN114612381A (zh) 一种带有尺度增强和注意力融合的医疗图像病灶检测算法
Kumari et al. Data efficient deep learning for medical image analysis: A survey
CN115471512A (zh) 一种基于自监督对比学习的医学影像分割方法
CN112734707B (zh) 一种3d内窥镜辅助检测方法、系统、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221031

Address after: 100000 608, Floor 6, No. 39, Lianhuachi East Road, Haidian District, Beijing

Patentee after: Beijing Thorough Future Technology Co.,Ltd.

Address before: 100000 1101, Floor 11, Building A, Yard 10, Xueqing Road, Haidian District, Beijing

Patentee before: TOUCHE IMAGE (BEIJING) TECHNOLOGY Co.,Ltd.