CN110265142B - 一种用于病变区域复原图的辅助诊断系统 - Google Patents

一种用于病变区域复原图的辅助诊断系统 Download PDF

Info

Publication number
CN110265142B
CN110265142B CN201910502249.5A CN201910502249A CN110265142B CN 110265142 B CN110265142 B CN 110265142B CN 201910502249 A CN201910502249 A CN 201910502249A CN 110265142 B CN110265142 B CN 110265142B
Authority
CN
China
Prior art keywords
value
image
analysis system
matrix
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910502249.5A
Other languages
English (en)
Other versions
CN110265142A (zh
Inventor
王书浩
潘立超
顾健白
陆遥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Thorough Future Technology Co ltd
Original Assignee
Touche Image Beijing Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Touche Image Beijing Technology Co ltd filed Critical Touche Image Beijing Technology Co ltd
Priority to CN201910502249.5A priority Critical patent/CN110265142B/zh
Publication of CN110265142A publication Critical patent/CN110265142A/zh
Application granted granted Critical
Publication of CN110265142B publication Critical patent/CN110265142B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种用于病变区域复原图的辅助诊断系统和方法,辅助诊断系统包括:技师取材端、医师端、分析系统和服务器,技师取材端、医师端与服务器通信连接,服务器与分析系统连接;其中:技师取材端对病理组织的大体图拍照、对大体图上的刀痕进行识别与编号,并通过服务器将病理组织的切片上传到分析系统;分析系统自动对病理组织的切片进行智能分析,画出病变区域,并给出病变区域的标注结果;医生端对标注结果进行审核、修改和确认,并通过服务器上传到分析系统,分析系统根据经确认的病变区域的标注结果自动生成复原图。技师取材端、医师端、分析系统和服务器构成整套的自动化处理系统,能够自动化地完成大体复原图,提升工作效率。

Description

一种用于病变区域复原图的辅助诊断系统
技术领域
本发明涉及医疗技术领域,特别涉及一种用于病变区域复原图的辅助诊断系统和方法。
背景技术
随着内镜微创技术的发展,越来越多的早期胃癌、肠癌、食管癌、癌前病变及胃肠黏膜下疾病可完全在内镜下予以切除,免除了更大的手术创伤,这就是内镜黏膜下剥离术(endoscopic submucosal dissection,ESD)。该治疗具有不改变消化道解剖结构、不开刀、体表无创口、创伤小、出血少、恢复快等优势,是近年来国际、国内最新兴起的内窥镜下微创治疗手段之一,适用于食管、胃、十二指肠等上消化道及结、直肠的黏膜下良性肿瘤、黏膜的早期癌变以及具有癌变倾向病变的切除治疗。因其特殊的微创优势,得到广大医生及患者的推崇,是消化道黏膜及黏膜下病变治疗的新兴发展趋势。
剥离后的病变组织送病理检验,部分医院的病理科会有专门针对消化科的 ESD诊断组,病理科支援消化科对其进行病理分析。做完病理检验后,需要将病理结果复原到大体图上,以从病理角度判断ESD手术是否切缘完全,并确定病灶范围、性质以及浸润深度。
目前,剥离后的组织送到病理科后,技师将组织切割,并对组织大体图进行拍照后,将每一个刀痕对应的组织制备成病理切片,交予病理医生。一张病理切片包含一条到多条刀痕所对应的组织样本,病理医生通过显微镜对切片进行观察,用尺子手动测量、估算大概距离,将癌变区域手工复原到组织的大体图上,人工操作效率低,且准确率差。而且,在组织的处理中,存在大量的不确定因素,诸如大体高反光、高彩度背景、大体占比太小、背景复杂度高、数据维度与长宽比多样性高、大体角度不固定、大体位置不固定、大体数量不固定、图像亮度、白平衡方差过大等。
发明内容
本发明提供一种用于病变区域复原图的辅助诊断系统和方法,用以自动化地完成病变区域的大体复原图,大幅提升病理医生的工作效率。
本发明提供了一种用于病变区域复原图的辅助诊断系统,所述用于病变区域复原图的辅助诊断系统包括:技师取材端、医师端、分析系统和服务器,所述技师取材端、所述医师端与所述服务器通信连接,所述服务器与所述分析系统连接,其中:
所述技师取材端用于对病理组织的大体图进行拍照、对所述大体图上的刀痕进行识别与编号,并通过所述服务器将所述病理组织的切片上传到所述分析系统;
所述分析系统用于自动对所述切片进行智能分析,画出病变区域,并给出所述病变区域的标注结果;
所述医生端用于对所述标注结果进行审核、修改和确认,并通过所述服务器上传到所述分析系统,所述分析系统根据经所述医生端确认的所述病变区域的标注结果自动生成复原图。
优选地,所述技师取材端包括刀痕识别模块,用于对所述大体图上的刀痕进行识别。
优选地,所述技师取材端通过深度卷积神经网络对所述大体图上的刀痕进行识别。
优选地,所述分析系统包括算法模块和还原模块,所述算法模块用于采集所述医生端确认的所述病变区域的标注结果的信息,所述还原模块用于对所述算法模块采集的信息进行规整,将所述医生端的标注结果还原到所述大体图上。
优选地,所述分析系统采用线性投影的智能算法生成所述复原图。
优选地,所述用于病变区域复原图的辅助诊断系统还包括与所述分析系统连接的扫描仪,用于对所述病理组织的切片进行扫描。
本发明实施例提供的一种用于病变区域复原图的辅助诊断系统,具有以下有益效果:技师取材端、医师端、分析系统和服务器构成了整套的自动化处理系统,能够自动化地完成病变区域的大体复原图,大幅提升病理医生的工作效率,使用人工智能辅助的自动化复原系统,能够快速、定量化地获得预期效果。
本发明还提供了一种用于病变区域复原图的辅助诊断方法,所述方法执行以下步骤:
步骤1:对病理组织的大体图进行拍照、对所述大体图上的刀痕进行识别与编号,并将所述病理组织的切片上传;
步骤2:自动对所述切片进行智能分析,画出病变区域,并给出所述病变区域的标注结果;
步骤3:对所述标注结果进行审核、修改和确认;
步骤4:根据经确认的所述病变区域的标注结果自动生成复原图。
进一步地,在所述步骤1中,采用刀痕识别模块对所述大体图上的刀痕进行识别。
进一步地,在所述步骤1中,通过深度卷积神经网络对所述大体图上的刀痕进行识别。
进一步地,在所述步骤4中,采用线性投影的智能算法生成所述复原图。
进一步地,在将所述病理组织的切片上传之前,所述步骤1还包括对所述切片进行扫描的步骤。
进一步地,在所述步骤2中,所述分析系统对所述切片进行智能分析的具体步骤如下所述:
所述分析系统中存在一个学习数据库,所述学习数据库中有N个H*L像素的学习样本图像,且所述每个样本均标注有是否为癌变图像,对于确定为癌变图像的学习样本图像标注有癌变像素点区域,提取所述每张学习样本图像的灰度化后的像素点,形成像素矩阵M,并利用公式(1)将所述N个像素矩阵转变为一个矩阵X:
Xi,h+(l-1)*H=Mi,h,l
(1)
其中,Xi,h+(l-1)*H为矩阵X的第i行h+(l-1)*H列的值,Mi,h,l为第i个像素矩阵的第h行l列的值,i=1、2、3……N,h=1、2、3……H,l=1、2、3……L,每个学习样本图像标注的是否有癌变形成标注向量Y,Yi为向量Y的第i个值,即为第i个学习样本图像是否为癌变图像,若是癌变图像则所述值为1,不是则所述值为2;
步骤S1202、利用公式(2)对矩阵X进行第一次学习,得到学习误差值;
Figure GDA0002406682270000041
f(Xi,W)=Xi*W+Xi .2
Figure GDA0002406682270000042
其中,ones(H*L,2)为生成一个H*L行2列的,全是1的矩阵,W为学习矩阵,f(Xi,W)=Xi*W+Xi .2为X和W的f映射结果为Xi*W+Xi .2,L为计算的误差值,Xi为矩阵X的第i列的值,Xi .2为向量Xi的所有值取平方, f(Xi,W)j为f(Xi,W)的第j个位置的值,j为3-Yi,f(Xi,W)Yi为f(Xi,W)的第Yi个位置的值,Wk,t为矩阵W的第k行t列的值,i=1、2、3……N;
步骤S1203、利用公式(3)调整学习矩阵W;
Figure GDA0002406682270000051
Figure GDA0002406682270000052
Figure GDA0002406682270000053
为L对Wk,t求偏导,Wk,t为矩阵K的第k行t列的值,WSk,t为求偏导后得到的值,K=1、2、3……H*L,t=1、2,|WSk,t|为对WSk,t求绝对值,利用公式(3)可以对矩阵W的值进行调整;
步骤S1204、将调整后的W带入方程(4),求解出相应的L2;
Figure GDA0002406682270000054
其中,L2为调整后计算的误差值,
步骤S1205、统计W的调整次数,判断所述调整次数是否达到10万次,若达到,则学习结束,输出相应的W,若未达到,则重复步骤S1203到步骤 S1205,直至所述调整次数达到10万次后输出相应的W;
步骤S1206、将所述切片缩放为H*L像素的缩放切片,然后将所述缩放切片进行灰度化并获取像素矩阵XS1,并利用公式(5)得到缩放切片向量A;
Ah+(l-1)*H=XS1h,l
(5)
其中,Ah+(l-1)*H为向量A的第h+(l-1)*H个值,XSh,l为像素矩阵XS1的第h行第l列的值,将所述向量A带入公式(6)计算出检测向量P;
[A1、A2…AL*H]*W=[P1、P2]
(6)
其中,At为向量A的第t个指标的值,P1、P2为向量P的值,若P1≥P2则所述切片有癌变,继续步骤S1207,否则所述切片没有癌变,继续步骤S1208;
步骤S1207、对于确定为癌变图像的切片,将所述切片的像素矩阵XS1分别与学习数据库中,标注为癌变图像的学习样本图像的像素矩阵利用公式(7) 确定癌变区域;
Figure GDA0002406682270000061
其中,D为判定值,XS1hh,ll为XS1的第hh行ll列的值,Mhh,ll标注为癌变图像的学习样本的像素矩阵的第hh行ll列的值,判断XS1与学习数据库中所有标记为癌变图像的像素矩阵的判定值,所述最大的判定值对应的样本图像所标注的癌变像素点区域则为所述像素矩阵XS1对应的切片的标注结果;
步骤S1208、将所述缩放切片通过医生端用于对所述标注结果进行审核、修改和确认,并将确认后的缩放切片及标注结果输入学习数据库中,从而更新学习数据库,最后将所述缩放切片图像还原为原始切片大小,则所述原始切片对应的标注结果则为所述切片的标注结果。
本发明实施例提供的一种用于病变区域复原图的辅助诊断方法,具有以下有益效果:能够自动化地完成病变区域的大体复原图,大幅提升病理医生的工作效率,使用人工智能辅助技术,能够快速、定量化地获得预期效果。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1为本发明实施例中一种用于病变区域复原图的辅助诊断系统的框图;
图2为本发明实施例中的深度卷积神经网络的结构图;
图3为本发明实施例中一种用于病变区域复原图的辅助诊断方法的方法流程示意图;
图4A-图4J为本发明实施例中一种用于病变区域复原图的辅助诊断方法的详细步骤的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
本发明提供了一种用于病变区域复原图的辅助诊断系统和方法,旨在自动化地完成病变区域的大体复原图,大幅提升病理医生的工作效率。本发明以内镜粘膜下剥离术(ESD)癌区复原图为例进行描述,其能够推广到所有与病理相关的手术后组织复原图的相关领域。
本发明实施例提供了一种用于病变区域复原图的辅助诊断系统,如图1所示,包括:技师取材端101、医师端102、分析系统104和服务器103,所述技师取材端101、所述医师端102与所述服务器103通信连接,所述服务器103 与所述分析系统104连接,其中:
所述技师取材端101用于对病理组织的大体图进行拍照、对所述大体图上的刀痕进行识别与编号,并通过所述服务器103将所述病理组织的切片上传到所述分析系统104;
所述分析系统104用于自动对所述切片进行智能分析,画出病变区域,并给出所述病变区域的标注结果;
所述医生端102用于对所述标注结果进行审核、修改和确认,并通过所述服务器103上传到所述分析系统104,所述分析系统104根据经所述医生端102 确认的所述病变区域的标注结果自动生成复原图。
上述技术方案的工作原理为:技师取材端101、医师端102、分析系统104 和服务器103构成了整套的自动化处理系统,技师取材端101对病理组织的大体图进行拍照、刀痕识别与编号,分析系统104自动对切片进行智能分析,画出病变区域,并给出病变区域的标注结果,并根据经医生端102确认的病变区域的标注结果自动生成复原图;医生端102对标注结果进行审核、修改和确认。
上述技术方案的有益效果为:能够自动化地完成病变区域的大体复原图,大幅提升病理医生的工作效率,使用人工智能辅助的自动化复原系统,能够快速、定量化地获得预期效果。
在一个实施例中,所述技师取材端101包括刀痕识别模块,用于对所述大体图上的刀痕进行识别。
上述技术方案的工作原理为:所述刀痕识别模块利用机器视觉与深度学习的技术,来识别ESD大体图上的刀痕。
上述技术方案的有益效果为:ESD大体图上的刀痕是在制作切片组织时所留下的,而病理医师在医生端发现的肿瘤细胞,即为此刀痕切面上的细胞,因此刀痕识别模块可以帮助病理医生将病理切片上发现的癌细胞精准的还原到原来大体图的位置,从而促进消化内科医生与病理科医生的合作,使消化内科医生更能掌握大体组织上面的纹理与真实病理信息的对应。
在一个实施例中,所述技师取材端101通过深度卷积神经网络对所述大体图上的刀痕进行识别。
上述技术方案的工作原理为:图2示出了刀痕识别的深度卷积神经网络的一种结构,如图2所示,输入图像经过第一次卷积和池化处理后,得到320× 320×64的图像;经过第二次卷积和池化处理后,得到160×160×128的图像;经过空洞空间卷积池化金字塔处理后,分别得到1×1卷积、3×3卷积空洞率=6 以及3×3卷积空洞率=6图像;然后对其进行拼接、1×1卷积和上采样处理后,得到输出图像。
上述技术方案的有益效果为:利用深度卷积神经网络对所述大体图上的刀痕进行识别,克服目前组织的处理中存在的不确定因素(如大体高反光、高彩度背景等),提高刀痕的识别效果。
在一个实施例中,所述分析系统104包括算法模块和还原模块,所述算法模块用于采集所述医生端确认的所述病变区域的标注结果的信息,所述还原模块用于对所述算法模块采集的信息进行规整,将所述医生端102的标注结果还原到所述大体图上。
上述技术方案的工作原理为:算法模块和还原模块分别执行不同的功能,有助于提高效率。
上述技术方案的有益效果为:有效地提高分析系统104分析切片的效率。
在一个实施例中,所述分析系统104包括数据存储模块、分布式计算模块和任务调度模块,所述分布式计算模块与所述数据存储模块和所述任务调度模块通信连接。
上述技术方案的工作原理为:所述数据存储模块用于接收客户端触发的操作指令、存储全扫描病理图像,并在图像分析任务进行时,为全图读取的病理图像提供缓存空间;所述分布式计算模块用于按照异构计算的方式,并行执行病理图像的分析任务和深度学习模型对应的计算任务;所述任务调度模块用于管理所述分布式计算模块对应执行的各项任务。
上述技术方案的有益效果为:分析系统采用分布式异构的计算系统架构,具有高性能、高可用、可扩展的特点,能加速大规模神经网络运算,支持人工智能运用,从而自动对切片进行智能分析,画出病变区域,并给出病变区域的标注结果。
在一个实施例中,所述分析系统104采用线性投影的智能算法生成所述复原图。
上述技术方案的工作原理为:通过线性投影的智能算法将高维数据映射到低维空间进行表示,以此减少数据维度同时保留较多的原数据特征。
上述技术方案的有益效果为:从切片的癌区还原到组织图是一个复杂的工作,因为它们对应不同空间的图像,而使用线性投影的智能算法可以简化这一工作,显著提高辅助诊断系统的效率。
在一个实施例中,所述用于病变区域复原图的辅助诊断系统还包括与所述分析系统104连接的扫描仪105,用于在将所述病理组织的切片上传之前对所述切片进行扫描。
上述技术方案的工作原理为:扫描仪利用光电技术和数字处理技术,以扫描方式将图形或图像信息转换为计算机可以显示、编辑、存储和输出的数字信号,借助专用的数字病理扫描仪通过扫描病理玻片得到全扫描图像(whole slide image,WSI),病理医生可以在医生端对数字切片进行查看和诊断。
上述技术方案的有益效果为:能够大幅提高ESD组织图复原的效率和准确率。
本发明实施例还提供了一种用于病变区域复原图的辅助诊断方法,如图3 所示,所述方法执行以下步骤:
步骤1:对病理组织的大体图进行拍照、对所述大体图上的刀痕进行识别与编号,并将所述病理组织的切片上传;
步骤2:自动对所述切片进行智能分析,画出病变区域,并给出所述病变区域的标注结果;
步骤3:对所述标注结果进行审核、修改和确认;
步骤4:根据经确认的所述病变区域的标注结果自动生成复原图。
上述技术方案的工作原理为:对病理组织的大体图进行拍照、刀痕识别与编号后,自动对切片进行智能分析,画出病变区域,并给出病变区域的标注结果,并根据经确认的病变区域的标注结果自动生成复原图。
上述技术方案的有益效果为:能够自动化地完成病变区域的大体复原图,大幅提升病理医生的工作效率,使用人工智能辅助技术,能够快速、定量化地获得预期效果。
具体地,图4A-图4J示出了本发明实施例中一种用于病变区域复原图的辅助诊断方法的详细步骤的示意图。
首先,如图4A所示,将病理组织的大体图位置摆正并拍照。
接着,如图4B所示,拍照完成后,录入对应的病历号。
然后,如图4C所示,对大体图上的刀痕进行识别。
其中,采用刀痕识别模块对大体图上的刀痕进行识别。所述刀痕识别模块利用机器视觉与深度学习的技术,来识别ESD大体图上的刀痕。
由于ESD大体图上的刀痕是在制作切片组织时所留下的,而病理医师在医生端发现的肿瘤细胞,即为此刀痕切面上的细胞,因此刀痕识别模块可以帮助病理医生将病理切片上发现的癌细胞精准的还原到原来大体图的位置,从而促进消化内科医生与病理科医生的合作,使消化内科医生更能掌握大体组织上面的纹理与真实病理信息的对应。
进一步地,通过深度卷积神经网络对所述大体图上的刀痕进行识别。
参照图2,示出了刀痕识别的深度卷积神经网络的一种结构,如图2所示,输入图像经过第一次卷积和池化处理后,得到320×320×64的图像;经过第二次卷积和池化处理后,得到160×160×128的图像;经过空洞空间卷积池化金字塔处理后,分别得到1×1卷积、3×3卷积空洞率=6以及3×3卷积空洞率=6图像;然后对其进行拼接、1×1卷积和上采样处理后,得到输出图像。
利用深度卷积神经网络对大体图上的刀痕进行识别,克服目前在组织的处理过程中存在的诸多不确定因素(如大体高反光、高彩度背景等),提高刀痕的识别效果。
接着,如图4D所示,刀痕识别完成后,对刀痕进行修正,示例性地,可以对刀痕进行伸缩,同时可以增加刀痕,将增加出的刀痕移动到指定位置,此外还可以删除刀痕。
然后,如图4E所示,完成刀痕修正步骤后,自动添加编号,即制作数字切片,随后提交。
编号规则如图4E所示,编号按左上、左下、右上、右下的顺序依次递增。
接着,如图4F所示,对数字切片进行扫描。
扫描利用光电技术和数字处理技术,以扫描方式将图形或图像信息转换为计算机可以显示、编辑、存储和输出的数字信号。借助专用的数字病理扫描仪通过扫描病理玻片得到全扫描图像(whole slide image,WSI),病理医生可以在医生端对数字切片进行查看和诊断,预期能够大幅提高ESD组织图复原的效率和准确率。
然后,如图4G所示,对数字切片进行上传。
接着,分析系统104将自动对数字切片进行智能分析,画出癌变区域,并给出所述癌变区域的标注结果。
进一步地,所述分析系统包括数据存储模块、分布式计算模块和任务调度模块,所述分布式计算模块与所述数据存储模块和所述任务调度模块通信连接,其中:所述数据存储模块用于接收客户端触发的操作指令、存储全扫描病理图像,并在图像分析任务进行时,为全图读取的病理图像提供缓存空间;所述分布式计算模块用于按照异构计算的方式,并行执行病理图像的分析任务和深度学习模型对应的计算任务;所述任务调度模块用于管理所述分布式计算模块对应执行的各项任务。
所述分析系统采用分布式异构的计算系统架构,具有高性能、高可用、可扩展的特点,能加速大规模神经网络运算,支持人工智能运用,从而自动对切片进行智能分析,画出病变区域,并给出病变区域的标注结果。
然后,如图4H所示,分析系统104预测完成后,医生可以在医生端102 对预测完成的每一例中的所有切片进行查看和修改。
在对每一张切片完成修改后,可对切片进行矫正,对切片的方向进行调整。由于在制片和扫描时,可能会出现切片上下镜像和左右镜像的情况,因此对切片进行矫正可以将切片旋转到正确的方向。随后,点击确认提交。
最后,如图4I所示,当一例中的所有切片均审核和修改完毕后,根据经确认的癌变区域的标注结果自动生成复原图。如图4J所示,分别为输入分析系统的原图和由分析系统输出的结果图。
在这一步骤中,分析系统104中的算法模块用于采集所述医生端确认的所述病变区域的标注结果的信息,还原模块用于对所述算法模块采集的信息进行规整,并使用线性投影的方法,将医生端102的标注结果还原到大体图上。
算法模块和还原模块分别执行不同的功能,有助于提高效率,可以有效地提高分析系统104分析切片的效率。
通过线性投影的智能算法将高维数据映射到低维空间进行表示,以此减少数据维度同时保留较多的原数据特征。从数字切片的癌区还原到组织图是一个复杂的工作,因为它们对应不同空间的图像,而使用线性投影的智能算法可以简化这一工作,显著提高辅助诊断系统的效率。
在一个实施例中,在所述步骤2中,所述分析系统104对所述切片进行智能分析的具体步骤如下所述:
所述分析系统中存在一个学习数据库,所述学习数据库中有N个H*L像素的学习样本图像,且所述每个样本均标注有是否为癌变图像,对于确定为癌变图像的学习样本图像标注有癌变像素点区域,提取所述每张学习样本图像的灰度化后的像素点,形成像素矩阵M,并利用公式(1)将所述N个像素矩阵转变为一个矩阵X:
Xi,h+(l-1)*H=Mi,h,l
(1)
其中,Xi,h+(l-1)*H为矩阵X的第i行h+(l-1)*H列的值,Mi,h,l为第i个像素矩阵的第h行l列的值,i=1、2、3……N,h=1、2、3……H,l=1、2、3……L,每个学习样本图像标注的是否有癌变形成标注向量Y,Yi为向量Y的第i个值,即为第i个学习样本图像是否为癌变图像,若是癌变图像则所述值为1,不是则所述值为2;
步骤S1202、利用公式(2)对矩阵X进行第一次学习,得到学习误差值;
Figure GDA0002406682270000141
f(Xi,W)=Xi*W+Xi .2
Figure GDA0002406682270000142
其中,ones(H*L,2)为生成一个H*L行2列的,全是1的矩阵,W为学习矩阵,f(Xi,W)=Xi*W+Xi .2为X和W的f映射结果为Xi*W+Xi .2,L为计算的误差值,Xi为矩阵X的第i列的值,Xi .2为向量Xi的所有值取平方, f(Xi,W)j为f(Xi,W)的第j个位置的值,j为3-Yi
Figure GDA0002406682270000143
为f(Xi,W)的第Yi个位置的值,Wk,t为矩阵W的第k行t列的值,i=1、2、3……N;
步骤S1203、利用公式(3)调整学习矩阵W;
Figure GDA0002406682270000151
Figure GDA0002406682270000152
Figure GDA0002406682270000153
为L对Wk,t求偏导,Wk,t为矩阵K的第k行t列的值,WSk,t为求偏导后得到的值,K=1、2、3……H*L,t=1、2,|WSk,t|为对WSk,t求绝对值,利用公式(3)可以对矩阵W的值进行调整;
步骤S1204、将调整后的W带入方程(4),求解出相应的L2;
Figure GDA0002406682270000154
其中,L2为调整后计算的误差值,
步骤S1205、统计W的调整次数,判断所述调整次数是否达到10万次,若达到,则学习结束,输出相应的W,若未达到,则重复步骤S1203到步骤 S1205,直至所述调整次数达到10万次后输出相应的W;
步骤S1206、将所述切片缩放为H*L像素的缩放切片,然后将所述缩放切片进行灰度化并获取像素矩阵XS1,并利用公式(5)得到缩放切片向量A;
Ah+(l-1)*H=XS1h,l
(5)
其中,Ah+(l-1)*H为向量A的第h+(l-1)*H个值,XSh,l为像素矩阵XS1的第h行第l列的值,将所述向量A带入公式(6)计算出检测向量P;
[A1、A2…AL*H]*W=[P1、P2]
(6)
其中,At为向量A的第t个指标的值,P1、P2为向量P的值,若P1≥P2则所述切片有癌变,继续步骤S1207,否则所述切片没有癌变,继续步骤S1208;
步骤S1207、对于确定为癌变图像的切片,将所述切片的像素矩阵XS1分别与学习数据库中,标注为癌变图像的学习样本图像的像素矩阵利用公式(7) 确定癌变区域;
Figure GDA0002406682270000161
其中,D为判定值,XS1hh,ll为XS1的第hh行ll列的值,Mhh,ll标注为癌变图像的学习样本的像素矩阵的第hh行ll列的值,判断XS1与学习数据库中所有标记为癌变图像的像素矩阵的判定值,所述最大的判定值对应的样本图像所标注的癌变像素点区域则为所述像素矩阵XS1对应的切片的标注结果;
步骤S1208、将所述缩放切片通过医生端用于对所述标注结果进行审核、修改和确认,并将确认后的缩放切片及标注结果输入学习数据库中,从而更新学习数据库,最后将所述缩放切片图像还原为原始切片大小,则所述原始切片对应的标注结果则为所述切片的标注结果。
利用上述技术,可以分步骤的对所述切片进行智能分析,首先利用公式(1) 到公式(6)确定所述切片是否存在癌变,且在确定的时候,不仅在所述分析中利用了智能分析,并且对于所述切片和数据库图片经过灰度和公式(1)和公式(5)的调整,将矩阵转变为向量,使得计算更分别,且得到的结论更加准确,利用公式(2)和(3)能够经过不断的调整,使得学习的效果越来越好,同时对于每次获得的所述切片和标注结果,都不断的导入所述学习数据库,使得所述学习数据库能不断的更新,增加所述学习数据库的时效性和准确率,从而智能效果越来越好。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (6)

1.一种用于病变区域复原图的辅助诊断系统,其特征在于,所述用于病变区域复原图的辅助诊断系统包括:技师取材端、医生端、分析系统和服务器,所述技师取材端、所述医生端与所述服务器通信连接,所述服务器与所述分析系统连接,其中:
所述技师取材端用于对病理组织的大体图进行拍照、对所述大体图上的刀痕进行识别与编号,并通过所述服务器将所述病理组织的切片上传到所述分析系统;
所述分析系统用于自动对所述切片进行智能分析,画出病变区域,并给出所述病变区域的标注结果;
所述医生端用于对所述标注结果进行审核、修改和确认,并通过所述服务器上传到所述分析系统,所述分析系统根据经所述医生端确认的所述病变区域的标注结果自动生成复原图;
所述分析系统包括数据存储模块、分布式计算模块和任务调度模块,所述分布式计算模块与所述数据存储模块和所述任务调度模块通信连接;
所述分析系统对所述切片进行智能分析的具体步骤如下所述:
所述分析系统中存在一个学习数据库,所述学习数据库中有N个H*L像素的学习样本图像,且所述每个样本均标注有是否为癌变图像,对于确定为癌变图像的学习样本图像标注有癌变像素点区域,提取所述每张学习样本图像的灰度化后的像素点,形成像素矩阵M,并利用公式(1)将所述N个像素矩阵转变为一个矩阵X:
Xi,h+(l-1)*H=Mi,h,l (1)
其中,Xi,h+(l-1)*H为矩阵X的第i行h+(l-1)*H列的值,Mi,h,l为第i个像素矩阵的第h行l列的值,i=1、2、3……N,h=1、2、3……H,l=1、2、3……L,每个学习样本图像标注的是否有癌变形成标注向量Y,Yi为向量Y的第i个值,即为第i个学习样本图像是否为癌变图像,若是癌变图像则所述值为1,不是则所述值为2;
步骤S1202、利用公式(2)对矩阵X进行第一次学习,得到学习误差值;
Figure FDA0002448903040000021
f(Xi,W)=Xi*W+Xi .2
Figure FDA0002448903040000022
其中,ones(H*L,2)为生成一个H*L行2列的,全是1的矩阵,W为学习矩阵,f(Xi,W)=Xi*W+Xi .2为X和W的f映射结果为Xi*W+Xi .2,L为计算的误差值,Xi为矩阵X的第i列的值,Xi .2为向量Xi的所有值取平方,f(Xi,W)j为f(Xi,W)的第j个位置的值,j为3-Yi
Figure FDA0002448903040000023
为f(Xi,W)的第Yi个位置的值,Wk,t为矩阵W的第k行t列的值,i=1、2、3……N;
步骤S1203、利用公式(3)调整学习矩阵W;
Figure FDA0002448903040000024
Figure FDA0002448903040000025
Figure FDA0002448903040000026
为L对Wk,t求偏导,Wk,t为矩阵K的第k行t列的值,WSk,t为求偏导后得到的值,K=1、2、3……H*L,t=1、2,|WSk,t|为对WSk,t求绝对值,利用公式(3)可以对矩阵W的值进行调整;
步骤S1204、将调整后的W带入方程(4),求解出相应的L2;
Figure FDA0002448903040000031
其中,L2为调整后计算的误差值,
步骤S1205、统计W的调整次数,判断所述调整次数是否达到10万次,若达到,则学习结束,输出相应的W,若未达到,则重复步骤S1203到步骤S1205,直至所述调整次数达到10万次后输出相应的W;
步骤S1206、将所述切片缩放为H*L像素的缩放切片,然后将所述缩放切片进行灰度化并获取像素矩阵XS1,并利用公式(5)得到缩放切片向量A;
Ah+(l-1)*H=XS1h,l (5)
其中,Ah+(l-1)*H为向量A的第h+(l-1)*H个值,XSh,l为像素矩阵XS1的第h行第l列的值,将所述向量A带入公式(6)计算出检测向量P;
[A1、A2…AL*H]*W=[P1、P2] (6)
其中,At为向量A的第t个指标的值,P1、P2为向量P的值,若P1≥P2则所述切片有癌变,继续步骤S1207,否则所述切片没有癌变,继续步骤S1208;
步骤S1207、对于确定为癌变图像的切片,将所述切片的像素矩阵XS1分别与学习数据库中,标注为癌变图像的学习样本图像的像素矩阵利用公式(7)确定癌变区域;
Figure FDA0002448903040000032
其中,D为判定值,XS1hh,ll为XS1的第hh行ll列的值,Mhh,ll标注为癌变图像的学习样本的像素矩阵的第hh行ll列的值,判断XS1与学习数据库中所有标记为癌变图像的像素矩阵的判定值,所述最大的判定值对应的样本图像所标注的癌变像素点区域则为所述像素矩阵XS1对应的切片的标注结果;
步骤S1208、将所述缩放切片通过医生端用于对所述标注结果进行审核、修改和确认,并将确认后的缩放切片及标注结果输入学习数据库中,从而更新学习数据库,最后将所述缩放切片图像还原为原始切片大小,则所述原始切片对应的标注结果则为所述切片的标注结果。
2.如权利要求1所述的用于病变区域复原图的辅助诊断系统,其特征在于,所述技师取材端包括刀痕识别模块,用于对所述大体图上的刀痕进行识别。
3.如权利要求2所述的用于病变区域复原图的辅助诊断系统,其特征在于,所述技师取材端通过深度卷积神经网络对所述大体图上的刀痕进行识别。
4.如权利要求1所述的用于病变区域复原图的辅助诊断系统,其特征在于,所述分析系统包括算法模块和还原模块,所述算法模块用于采集所述医生端确认的所述病变区域的标注结果的信息,所述还原模块用于对所述算法模块采集的信息进行规整,将所述医生端的标注结果还原到所述大体图上。
5.如权利要求4所述的用于病变区域复原图的辅助诊断系统,其特征在于,所述分析系统采用线性投影的智能算法生成所述复原图。
6.如权利要求1所述的用于病变区域复原图的辅助诊断系统,其特征在于,所述用于病变区域复原图的辅助诊断系统还包括与所述分析系统连接的扫描仪,用于对所述病理组织的切片进行扫描。
CN201910502249.5A 2019-06-11 2019-06-11 一种用于病变区域复原图的辅助诊断系统 Active CN110265142B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910502249.5A CN110265142B (zh) 2019-06-11 2019-06-11 一种用于病变区域复原图的辅助诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910502249.5A CN110265142B (zh) 2019-06-11 2019-06-11 一种用于病变区域复原图的辅助诊断系统

Publications (2)

Publication Number Publication Date
CN110265142A CN110265142A (zh) 2019-09-20
CN110265142B true CN110265142B (zh) 2020-06-09

Family

ID=67917628

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910502249.5A Active CN110265142B (zh) 2019-06-11 2019-06-11 一种用于病变区域复原图的辅助诊断系统

Country Status (1)

Country Link
CN (1) CN110265142B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110727097B (zh) * 2019-12-19 2020-05-05 上海兰脉信息科技有限公司 一种病理显微图像实时采集分析系统、方法、装置及介质
CN111351831A (zh) * 2020-02-26 2020-06-30 西安交通大学医学院第二附属医院 基于质谱分析组织术中检测、标记设备及其检测方法
CN111832625B (zh) * 2020-06-18 2021-04-27 中国医学科学院肿瘤医院 一种基于弱监督学习的全扫描图像分析方法和系统
CN112116559A (zh) * 2020-08-17 2020-12-22 您好人工智能技术研发昆山有限公司 一种基于深度学习的数字病理图像智能分析方法
CN112184579B (zh) * 2020-09-24 2022-11-18 武汉千屏影像技术有限责任公司 一种组织病变区域图像辅助复原系统和方法
CN113469939B (zh) * 2021-05-26 2022-05-03 透彻影像(北京)科技有限公司 一种基于特性曲线的her-2免疫组化自动判读系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014211717A (ja) * 2013-04-17 2014-11-13 日本電気株式会社 医療情報処理装置及び医療情報処理方法
CN108288506A (zh) * 2018-01-23 2018-07-17 雨声智能科技(上海)有限公司 一种基于人工智能技术的癌症病理辅助诊断方法
CN108664937A (zh) * 2018-05-14 2018-10-16 宁波江丰生物信息技术有限公司 一种基于数字病理切片扫描仪的多区域扫描方法
CN109215017A (zh) * 2018-08-16 2019-01-15 腾讯科技(深圳)有限公司 图片处理方法、装置、用户终端、服务器及存储介质
CN109461147A (zh) * 2018-10-26 2019-03-12 广州金域医学检验中心有限公司 应用于移动终端的fov图片的病理标注方法及装置
CN109712705A (zh) * 2018-12-19 2019-05-03 中国石油大学(华东) 一种基于深度学习的胆石病智能诊断app

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108230339B (zh) * 2018-01-31 2021-08-03 浙江大学 一种基于伪标签迭代标注的胃癌病理切片标注补全方法
CN108629777A (zh) * 2018-04-19 2018-10-09 麦克奥迪(厦门)医疗诊断系统有限公司 一种数字病理全切片图像病变区域自动分割方法
CN108765294A (zh) * 2018-06-11 2018-11-06 深圳市唯特视科技有限公司 一种基于全卷积网络和条件生成对抗网络的图像合成方法
CN109658390B (zh) * 2018-12-04 2023-10-27 南京航空航天大学 一种用于正电子检测正弦矩阵图的感兴趣区域提取方法
CN109712693A (zh) * 2018-12-14 2019-05-03 贵州大学 一种智能病理诊断方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014211717A (ja) * 2013-04-17 2014-11-13 日本電気株式会社 医療情報処理装置及び医療情報処理方法
CN108288506A (zh) * 2018-01-23 2018-07-17 雨声智能科技(上海)有限公司 一种基于人工智能技术的癌症病理辅助诊断方法
CN108664937A (zh) * 2018-05-14 2018-10-16 宁波江丰生物信息技术有限公司 一种基于数字病理切片扫描仪的多区域扫描方法
CN109215017A (zh) * 2018-08-16 2019-01-15 腾讯科技(深圳)有限公司 图片处理方法、装置、用户终端、服务器及存储介质
CN109461147A (zh) * 2018-10-26 2019-03-12 广州金域医学检验中心有限公司 应用于移动终端的fov图片的病理标注方法及装置
CN109712705A (zh) * 2018-12-19 2019-05-03 中国石油大学(华东) 一种基于深度学习的胆石病智能诊断app

Also Published As

Publication number Publication date
CN110265142A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN110265142B (zh) 一种用于病变区域复原图的辅助诊断系统
JP6657480B2 (ja) 画像診断支援装置、画像診断支援装置の作動方法および画像診断支援プログラム
JP4493386B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
CN111161290B (zh) 一种图像分割模型的构建方法、图像分割方法及系统
Wannous et al. Enhanced assessment of the wound-healing process by accurate multiview tissue classification
CN111275041B (zh) 内窥镜图像展示方法、装置、计算机设备及存储介质
US20220198742A1 (en) Processor for endoscope, program, information processing method, and information processing device
CN110738655B (zh) 影像报告生成方法、装置、终端及存储介质
CN109635871B (zh) 一种基于多特征融合的胶囊内窥镜图像分类方法
CN113543694B (zh) 医用图像处理装置、处理器装置、内窥镜系统、医用图像处理方法、及记录介质
CN108309334B (zh) 一种脊柱x线影像的数据处理方法
KR102461343B1 (ko) 금속 인공 음영이 포함된 의료영상에서 치아 랜드마크 자동 검출 방법 및 시스템
JP4554647B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
CN114372951A (zh) 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统
JP2022159496A (ja) 内視鏡システム、内視鏡画像学習方法及びプログラム
JP4547401B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
CN113989236A (zh) 一种胃镜图像智能目标检测系统及方法
CN114287915A (zh) 一种基于背部彩色图像的无创脊柱侧弯筛查方法及系统
CN116958147B (zh) 基于深度图像特征的目标区域确定方法、装置和设备
JP4547402B2 (ja) 画像表示装置、画像表示方法および画像表示プログラム
CN111466952B (zh) 一种超声内镜与ct三维图像实时转化方法和系统
WO2019138772A1 (ja) 画像処理装置、プロセッサ装置、画像処理方法、及びプログラム
WO2019088008A1 (ja) 画像処理装置、画像処理方法、プログラム、及び内視鏡システム
Kanakatte et al. Precise Bleeding and Red lesions localization from Capsule Endoscopy using Compact U-Net
CN117831757B (zh) 基于病理ct多模态先验知识引导的肺癌诊断方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221031

Address after: 100000 608, Floor 6, No. 39, Lianhuachi East Road, Haidian District, Beijing

Patentee after: Beijing Thorough Future Technology Co.,Ltd.

Address before: 100000 1101, Floor 11, Building A, Yard 10, Xueqing Road, Haidian District, Beijing

Patentee before: TOUCHE IMAGE (BEIJING) TECHNOLOGY Co.,Ltd.