CN109686444A - 用于医学图像分级的系统和方法 - Google Patents

用于医学图像分级的系统和方法 Download PDF

Info

Publication number
CN109686444A
CN109686444A CN201811610713.4A CN201811610713A CN109686444A CN 109686444 A CN109686444 A CN 109686444A CN 201811610713 A CN201811610713 A CN 201811610713A CN 109686444 A CN109686444 A CN 109686444A
Authority
CN
China
Prior art keywords
network
lesion
inventory
medical image
rabat
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811610713.4A
Other languages
English (en)
Inventor
郑介志
龚在文
何志强
詹翊强
周翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai United Imaging Healthcare Co Ltd
Shanghai United Imaging Intelligent Healthcare Co Ltd
Original Assignee
Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai United Imaging Intelligent Healthcare Co Ltd filed Critical Shanghai United Imaging Intelligent Healthcare Co Ltd
Priority to CN201811610713.4A priority Critical patent/CN109686444A/zh
Publication of CN109686444A publication Critical patent/CN109686444A/zh
Priority to US16/509,950 priority patent/US11145405B2/en
Priority to PCT/CN2019/111556 priority patent/WO2020134386A1/en
Priority to US17/469,520 priority patent/US11742073B2/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30061Lung
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Abstract

本公开涉及一种用于医学图像严重性分级的系统,包括分级网络,所述分级网络基于所输入的医学图像和/或分级网络的病灶识别网络所产生的病灶清单来提供分级结果。本公开还涉及相应的方法和计算机可读介质。

Description

用于医学图像分级的系统和方法
技术领域
本公开一般涉及医学图像评估,尤其涉及使用神经网络进行智能医学图像评估。
背景技术
X胸片是常用的临床检查手段。不论是一般的门诊、急诊、ICU都需要X 胸片的检查来帮助确诊与观察病人的健康状况。就体检的应用而言,X胸片也是标准的检查项目之一,用来检查受检者胸腔里是否有异常状况;并且体检的涵盖范围包含一般的健康体检、入职体检。因此每年产生出的X胸片体量,是非常巨大的。如此一来,临床上放射科X胸片读片的工作量是非常大的。而在体检的应用场景来说,大部份体检X胸片都是正常的,有异常的片子占所有片子的总量仅一小部份。因而,X胸片读片诊断的工作在放射科的科室总体工作来说,是比较不经济的。在此情况,则亟需人工智能的手段,来提高临床的读片效率。
紧急分级的英文是triage,其具体的意义是对于病患的病情,进行严重性评估,然后根据紧急程度采取不同的措施,例如把最危急的病人优先治疗等,从而把有限医疗资源的应用效率最大化。triage通常实现在急诊、作战伤兵救治、电话病情预筛等场景中。在放射科室的应用,由于影像检查与诊断的普及与需求的飞快增长,医学影像的triage也因此日渐重要了。
目前现阶段的X胸片临床工作流并无优先分级的智能软件功能,因此读片诊断的顺序多半是以First-in First-read(先来先读)的顺序来进行。如此,临床上的读片工作会有不经济与效率较低的疑虑。如前面所说的体检的场景便是如此。而在急诊的应用场景来说,虽然目前已有规范要求放射科医生需对于急诊的医学图像在30分钟内,进行诊断与报告。然而,对于一些特别紧急的情况,或者在半夜与放射科医生不足的状况下,整个工作流的效率仍旧有改善空间。X胸片严重性分级在急诊场景的具体应用例如在于能够将特别紧急的案例优先给急诊部医生或者相应的医生作处理,或者让放射科医生快速判断,减少至多30分钟的等待时间。而在加护病房的应用场景里,床边X胸片常需用来观察每日重症病人的健康状况。有些病人状况稳定,有些病人可能会突发一些状况。X胸片紧急分级在加护病房场景中的帮助则在于,病人若有一些突发的紧急状况,诸如肺状况、心脏状况、心血管状况、肺门状况、骨组织状况、胸膜状况等等,则放射科大夫则可以先对这些紧急的片子进行阅片与诊断,而及时对于病人的变化实施合适的治疗改善。
由是观之,X胸片紧急分级的智能应用在临床医学图像诊断上方面,应用场景非常广泛,需求也非常明确,且确实能帮助与提升临床的工作效率。
遗憾的是,据了解,迄今世界上并无此类X胸片紧急分级的智能应用产品问世,也较少有相关的科研文献。更广泛的说,基于人工智能技术来对临床医学图像工作进行紧急分级的相关科研与产品,在全世界上是相对稀少,且较少被人探讨的。
因此,存在对应用非常广泛的X胸片进行triage的智能应用以涵盖广泛的胸腔各种状况(诸如肺状况、心脏状况、心血管状况、肺门状况、骨组织状况、胸膜状况等等)并提升体检、急诊、加护病房等场景的工作流上的工作效率的需求。
然而,就人工智能技术问题而言,对于X胸片的图像内容进行严重性或紧急程度的分级是非常困难的。这是因为紧急程度与疾病的种类和异常现象的表现息息相关,且需考虑胸腔里的多疾病与多器官。因此与单一病种(如肺结节、乳腺病灶、脑卒中等)人工智能应用相比要复杂与困难许多。具体来说,例如,需考虑胸腔脏器如肺脏、心脏中的多个疾病,如肺积液、肺气肿、气胸、心脏肥大等或者如纵隔增厚,主动脉弓迂曲等多个异常症状,还需考虑其它各种肺状况、心脏状况、心血管状况、肺门状况、骨组织状况、胸膜状况等等,才能有效地落实胸片紧急分级的概念。
在科研文献上,对于X胸片上的疾病智能诊断,近两年受到了许多的关注,而这都得归功于美国国家卫生院所公开的11万个X胸片公共数据集(Wang, Xiaosong等人“Chestx-ray8:Hospital-scale chest x-ray database and benchmarks on weakly-supervised classification and localization of common thorax diseases.” 2017IEEE Conference on Computer Vision and Pattern Recognition(CVPR).IEEE, 2017)。该数据是使用自然语言处理的放式,将每个X胸片所匹配的放射报告作文本分析,得到14种胸腔疾病或异常症状(包含肺积液、肺气肿、气胸、心脏肥大、肺浸润、肺结节、肺不张、肺炎、肿块、胸膜增厚、纤维化、肺疝气、肺水肿、肺实变等)的标注。然而,诚如前面所提到的,X胸片所能看到的疾病与病灶,远远超过前述的14个疾病与异常状况,且在该数据集上的科研工作都是专注在疾病的诊断方面,而并无紧急分级的关注。因此,据了解,目前世界上并无相应的X胸片严重性或者紧急分级智能应用。
发明内容
本公开的一方面涉及一种用于医学图像分级的系统,该系统包括分级网络,该分级网络基于所输入的医学图像和/或分级网络的病灶识别网络所产生的病灶清单来提供分级结果。
根据一示例性实施例,该病灶识别网络还基于所述输入的医学图像来提供与可能病灶清单对应的分数,并且分级结果还基于对应的分数,其中对应的分数包括指示所述医学图像属于多个类别的概率值。
根据又一示例性实施例,医学图像包括X胸片,并且病灶清单包含肺部病灶清单、心脏病灶清单、心血管病灶清单、肺门病灶清单、骨组织病灶清单、胸膜病灶清单中两种或者两种以上的清单。
根据另一示例性实施例,该系统基于所述分级结果提示人工阅片和诊断的安排或对人工阅片和诊断进行自动分工。
根据再一示例性实施例,病灶识别网络或分级网络或其两者用注意力迁移学习方式来训练,其中用注意力迁移学习方式来训练所述分级网络包括对于所述分级网络,设置老师网络和学生网络;训练所述老师网络;以及通过提取所述老师网络和所述学生网络相对应的部分中间层的特征图提来计算迁移学习损失并反向传播所述学生网络最后分类的损失,来训练所述学生网络。
本申请的其它方面还涉及相应的用于医学图像分级的方法和计算机可读介质。
附图说明
图1示出了根据本公开的一方面的用于X胸片的严重性与紧急分级的深度学习的神经网络。
图2示出了根据本公开的一方面的训练用于X胸片的严重性与紧急分级的深度学习的神经网络的系统。
图3A和3B示出了根据本公开的一方面的用于X胸片智能紧急分级的方法和用于X胸片的严重性与紧急分级的方法的流程图;
图4示出了根据本公开的一方面的X胸片智能紧急分级在急诊与加护病房场景的工作流;
图5示出了根据本公开的一方面的X胸片智能紧急分级在体检场景的工作流。
图6示出了根据本公开的一方面的X胸片的严重性与紧急分级系统。
图7示出了根据本公开的一方面的X胸片的严重性与紧急分级系统的界面图。
具体实施方式
为了更好地理解本发明的技术方案,下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
本公开提出X胸片严重性分级的人工智能应用。尤其,本公开通过使用深度学习技术,识别X胸片图像内容中的多种病症、病灶与疾病等,并且依据识别病症、病灶与疾病的分数,进行严重性分级。例如,通过使用深度学习的神经网络,可对在放射科科室工作清单上的X胸片进行片子内容的严重性的分级。举例而言,可把最严重的胸片放到工作清单的最前面,较为不严重的片子次之,而疑似为正常胸片的放到工作清单中稍后处。进一步,对于疑似为正常的胸片可藉由分时与分工的方式,完成所有X胸片诊断的工作,进而提升临床读片的工作效率。
图1示出了可被用于X胸片的严重性与紧急分级的深度学习的神经网络100。该神经网络可包括例如神经网络层1、神经网络层2、……神经网络层L 以及全连接层。根据一示例性而非限定性实施例,神经网络层1中可包括例如卷积层、BN(批归一化)层、激活层,以及可任选地还可包括池化层。神经网络层2……神经网络层L等同样可包括上述各种层中的一个或多个或其任何组合。根据一示例,神经网络层1可接收输入图像F0。例如,神经网络层1中的卷积层可对输入图像F0进行特征提取。神经网络层1中的BN层可接收卷积层的输出,并对其进行归一化处理。神经网络层1中的激活层可接收BN层的输出,并对其应用激活函数以加入非线性因素。神经网络层1中的池化层可接收激活层的输出,并对其特征进行压缩。经池化或未经池化的结果可被输出作为神经网络层1输出的特征图F1。特征图F1被输入到神经网络层2。神经网络层2中的卷积层、BN层、激活层以及(可任选地)池化层对特征图F1 进行处理并输出特征图F2,以此类推……。神经网络层L输出特征图FL到全连接层。全连接层连接所有的特征,并输出概率P。输出概率P可传送给分类器(例如,soft-max层)(未示出)。该soft-max层一般可以在神经网络的最后一层以作为输出层,用于进行多分类。在一示例性而非限定性实施例中,分类可包括单病灶分类、多病灶分类等。如本领域普通技术人员所知,在典型的神经系统中可以存在更多级神经元。神经网络可以用软件或者通用或专用硬件 (例如,电路)来仿真。这些均在本公开的范围之内。
本公开的可被用于X胸片的严重性与紧急分级的深度学习的神经网络可以用常规的方式来训练。根据本公开的一示例性而非限定性的实施例,在病灶识别网络与分级网络的训练中,取决于数据的标注情况,可以支持全监督或者弱监督的方式进行训练。例如,在缺乏足够标注数据作为训练样本的情况下,可以采取弱监督的方式进行训练。反之,如果有大量完全标注的干净数据作为训练样本,则可以采用全监督的方式进行训练。
另外,由于在训练时,会不定时有新数据与新病灶类别的增长,根据本公开的网络还可支持注意力迁移学习(Attention Transfer)的训练方式,提升对深度卷积神经网络进行训练的效果。在深度卷积神经网络的训练中,注意力可包括例如基于特征(诸如颜色、形状等)的注意力(FBA)、空间(诸如位置) 注意力等。注意力迁移学习可包括通过对源域的学习来解决目标域的任务。例如,对于已知病灶的分类可被迁移以解决对新病灶的分类。
图2示出了根据本公开的一方面的基于注意力迁移学习来训练用于X胸片的严重性与紧急分级的深度学习神经网络的系统200。系统200包括至少两个网络,其中一个可以是老师网络,而另一个可以是学生网络。老师网络和学生网络均可以是如结合图1所描述的神经网络100的结构。例如,老师网络可以是针对已知病灶的分类网络,而学生网络可以是针对新病灶的分类网络。根据一示例性实施例,首先,训练老师网络。然后,在训练学生网络的时候,将老师网络和学生网络相对应的部分中间层的特征图提取出来计算迁移学习损失,并将学生网络最后分类的损失一并反向传播来训练学生网络。例如,如图2的示例中所示,从老师网络的神经网络层2输出的特征图F2计算迁移学习损失l1,并将所计算出的学习损失l1输入到学生网络的神经网络层3,以此类推。从老师网络的神经网络层L输出的特征图FL计算迁移学习损失lm,并将所计算出的学习损失lm输入到学生网络的全连接层。最终,用训练好的学生网络进行分类。如图2所示,例如,对于输入图像F0,学生网络最终输出概率Ps。对于此输出概率Ps。由此,老师网络对已知病灶分类的学习可被迁移到学生网络对新病灶分类的学习。
图3A示出了根据本公开的一方面的用于X胸片的智能紧急分级方法。在框301,输入X胸片。在框302,识别X胸片中的多疾病与多异常病灶。在框303,对识别结果进行整合。在框304,对X胸片进行紧急程度打分。
图3B示出了根据本公开的一方面的用于X胸片的严重性与紧急分级的方法的流程图。X胸片的严重性与紧急分级的实现,主要基于病灶识别网络与分级网络。在图3A和3B的病灶识别流程(a)中,首先可将X胸片输入到经训练的病灶识别网络中(311)。经训练的病灶识别网络可识别X胸片图像中可能的病灶,和/或还可计算所识别出的可能的病灶的分数(312)。现有技术中的病灶识别技术一般对每种病灶定制特定的算法,因此需要提取各个病灶的特征(例如,大小、灰度、位置、形态等)。而在经训练的基于深度学习的神经网络中,多个疾病与多个异常病灶可被同时自动识别,并计算出相应的评估分数。例如,病灶识别网络可包括soft-max层。由此,评估分数可由病灶识别网络的soft-max layer产生。根据一个示例性而非限定性的实施例,Soft-max层可输出一个N 维向量,其中该向量中第n维的值即为当前X胸片图像属于第n类的概率值。 Soft-max层可将N维向量vi的元素映射到(0,1),并使得映射后的元素值之和为 1以满足概率性质,且保持原有的元素大小顺序不变。因此在分类时可以选取 soft-max映射后概率值最大的输出作为分类目标。如本领域普通技术人员所知,使用Soft-max层仅是示例性实施例。本公开不限于此,并且可包括其他方案。病灶识别网络无需进行明确的病灶检测步骤,而能自动的识别图像上的各种病灶。本公开的此类经训练的病灶识别网络由此可具有比较强的通用性。在训练网络时,可共用网络的大部份共同结构,不需要个对个别疾病进行特征提取工程。
继续图3B的示例。然后,经训练的病灶识别网络输出可能病灶的清单以及对应的分数作为病灶识别网络的结果(314)以用于图3B的分级网络流程(b) 中。
在图3B的分级网络流程(b)中,可将病灶识别网络的结果与原始的X胸片图像输入到经训练的分级网络中(315)。经训练的分级网络基于所输入的病灶识别网络的结果与原始的X胸片图像,对X胸片进行分级(316)。分级网络的分级结果可包括例如整体或部分X胸片的危急性和/或严重性。
在图3A和3B的示例中,病灶识别网络和/或分级网络分别可以是例如图1中所描述的神经网络100,并且可分别以基于例如图2所描述的方法200来训练。如本领域技术人员所知,其他神经网络和/或训练方法也可被用于本公开的各实施例。
在图3B的实施例中,可以按级联学习(cascade learning)的方式串联病灶识别网络与分级网络的学习。该方案不需明确(explicit)地进行图像检测,而能达到图像层面(image-level)的严重性与为紧急性图像分级。然而,本领域普通技术人员可以理解,病灶识别网络与分级网络也可以用其他方式来实现。例如,病灶识别网络与分级网络也可被实现为单个网络。病灶识别网络也可与分级网络合并。例如,根据一示例性而非限定性实施例,病灶识别网络可以是分级网络的一部分。
X胸片紧急分级的智能应用可支持各种不同的应用场景,如一般门诊、体检、急诊、加护病房等,以下分别具体描述几个应用场景。
一示例性而非限定性的实施例包括急诊与加护病房场景。急诊是非常紧急 l的应用场景,有些医院在急诊资源有限的情况下,就会实施triage,将医疗资源的应用极大化。同样地,医学影像在急诊场景里,也是频繁使用的检查工具,因此也面临到需要将读片工作流效率极大化的问题。以下图4是本公开在急诊场景里,实施X胸片紧急分级的工作流程图。加护病房常需使用床边X-ray来观察病人胸腔里面的健康状态,有些病人没太多变化,有些病人可能病情不稳定,倘若没有做紧急分级,有时会延误及时因应的黄金时机,而没达到最佳的治疗结果。因此,需要智能紧急分级的功能,对于危急的案例优先进行处理。
在图4的工作流中,首先将X胸片(401)提供给系统。例如,该系统可使用以上参考图1描述的神经网络100来实现,且该神经网络已使用参考图2描述的训练方法200进行了训练。该系统例如可包括如参考图3A和3B所描述的病灶识别网络和/分级网络。经训练的病灶识别网络可识别多疾病与多异常病灶,并可相应地输出可能病灶清单以及对应的分数。例如,病灶清单可包含肺部病灶清单、心脏病灶清单、心血管病灶清单、肺门病灶清单、骨组织病灶清单、胸膜病灶清单等之中的一项或多项或其任何组合。经训练的分级网络(402)则基于所输入的病灶识别网络的结果与原始的X胸片图像,对X胸片进行分级。分级网络的分级结果可包括例如整体或部分X胸片的危急性和/或严重性。
分级网络402可输出例如以下分级结果:危急(403)、需关注(405)和无太大异常(406)。在分级结果显示病情危急(403)的情况下,该系统可例如提示相关专家直接阅片并进行诊治(404),并可将相关数据传递/输出到关联用户(例如,管理员、专家等)。在分级结果显示病情需关注(405)和/或无太大异常(406)的情况下,该系统可例如提示由放射科阅片与诊断(407),并且在需要的情况下由急诊医师进行诊治(408)。同样,可将相关数据传递/ 输出到关联用户。
另一示例性而非限定性的实施例包括体检与一般门诊。体检是使用X胸片相当频繁的应用场景,诚如前面所说,大部份体检的片子都是属于正常的片子,因此若是逐一读片,则是相当不经济的。图5是为X胸片智能紧急分级来提升体检读片的工作流。同样地,一般门诊也适用于图5的流程图。
在图5的工作流中,首先将X胸片(501)提供给系统。例如,该系统可使用以上参考图1描述的神经网络100来实现,且该神经网络已使用参考图2描述的训练方法200进行了训练。该系统例如可包括如参考图3A和3B所描述的病灶识别网络和/分级网络。经训练的病灶识别网络可识别多疾病与多异常病灶,并可相应地输出可能病灶清单以及对应的分数。经训练的分级网络(502)则基于所输入的病灶识别网络的结果与原始的X胸片图像,对X胸片进行分级。分级网络的分级结果可包括例如整体或部分X胸片的危急性和/或严重性。
分级网络502可输出例如以下分级结果:较紧急(503)、需关注(505) 和无太大异常(507)。在分级结果显示病情较紧急(503)的情况下,该系统可例如提示优先读片与诊断(504)。在分级结果显示病情需关注(505)的情况下,该系统可例如提示次优先读片与诊断(506)。而在分级结果显示病情无太大异常(507)的情况下,该系统可例如提示分时分工读片与诊断(508)。
图4和图5的实施例可实时更新放射科室工作列表的紧急程度,对读片的优先顺序进行排序,并考虑每个应用场景的规范限制(如急诊需在30分钟内进行诊断与报告)。从而不会使片子的优先顺序超过规范的限制。
在至少一些实施例中,读片紧急程度的优先排序支持自动分工的功能。分工可以考虑每个医生的专长与年资。
在至少一些实施例中,X胸片紧急分级的智能应用可支持每种应用场景的定制化,协助每个医院重新定义各个场景如急诊、加护病房等工作流,并且将工作流实现到软件系统上。
图6示出了根据本公开的一方面的X胸片的严重性与紧急分级系统600。系统600可包括处理器601和存储器602。系统600还可包括病灶识别模块603、分级模块604、输入/输出接口605等。如本领域普通技术人员所知,病灶识别模块603和分级网络模块604等可以用各种方式来实现。例如,这些模块可以用软件或固件的方式来实现,包括被实现为存储在存储器602中并由处理器 601执行的软件代码等。这些模块也可以用硬件来实现,包括以通用集成电路、专用电路、现场可编程门阵列等来实现。这些模块也可以被实现为单独的硬件装置。上述各组件可以通过例如总线或其它机构等来耦合及互相通信。
在一示例性实施例中,输入/输出接口605可被用于输入X胸片数据等,并将所输入的数据传递至病灶识别模块603和/或分级模块604,并且可以用于从分级模块604输出分级结果等。病灶识别模块603可使用训练数据以进行机器学习,并且在经训练之后可被用于基于所输入的X胸片来输出可能病灶清单和对应的分数。分级模块604可使用训练数据来进行机器学习,并且在经训练之后可被用于基于从病灶识别网络输入的可能病灶清单和对应的分数来输出分级结果。
图7示出了根据本公开的一示例性方面的X胸片的严重性与紧急分级系统的界面图。如所可见,在AI-TRIAGE列上,带有感叹号的圆形的肺图标代表有问题的胸片,其余属于比较次关注的片子。由此,该系统可例如提示对有问题的胸片进行优先读片与诊断。而对于次关注的胸片,该系统可例如提示分时分工读片与诊断。
尽管本文以上是以X胸片为例来描述了各种具体实施例,但是本领域普通技术人员可知,本公开并不被限定于X胸片,本公开的创新技术同样可以适用于其它各种医学图像。
本领域普通技术人员应理解,本公开的有益效果并非由任何单个实施例来全部实现。各种组合、修改和替换均为本领域普通技术人员在本公开的基础上所明了。
此外,术语“或”旨在表示包含性“或”而非排他性“或”。即,除非另外指明或从上下文能清楚地看出,否则短语“X”采用“A”或“B”旨在表示任何自然的可兼排列。即,短语“X”采用“A”或“B”藉由以下实例中任何实例得到满足:X采用A;X采用B;或X采用A和B两者。属于“连接”与“耦合”可表示相同含义,表示两器件的电气连接。另外,本公开和所附权利要求书中所用的冠词“一”和“某”一般应当被理解成表示“一个或多个”,除非另外声明或者可从上下文中清楚看出是指单数形式。
各个方面或特征将以可包括数个设备、组件、模块、及类似物的系统的形式来呈现。应理解和领会,各种系统可包括附加设备、组件、模块等,和/或可以并不包括结合附图所讨论的全部设备、组件、模块等。也可以使用这些办法的组合。
结合本文所公开的实施例描述的各种说明性逻辑、逻辑块、模块、和电路可用通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其它可编程逻辑器件、分立的门或晶体管逻辑、分立的硬件组件、或其设计成执行本文所描述功能的任何组合来实现或执行。通用处理器可以是微处理器,但在替换方案中,处理器可以是任何常规的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合,例如 DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或多个微处理器、或任何其它此类配置。此外,至少一个处理器可包括可作用于执行以上描述的一个或多个步骤和/或动作的一个或多个模块。例如,以上结合各个方法描述的实施例可以通过处理器和耦合到处理器的存储器来实现,其中该处理器可被配置成执行前述任何方法的任何步骤或其任何组合。
此外,结合本文中所公开的方面描述的方法或算法的步骤和/或动作可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。例如,以上结合各个方法描述的实施例可以通过存储有计算机程序代码的计算机可读介质来实现,其中该计算机程序代码在由处理器/计算机执行时执行前述任何方法的任何步骤或其任何组合。
本公开中通篇描述的各种方面的要素为本领域普通技术人员当前或今后所知的所有结构上和功能上的等效方案通过引述被明确纳入于此,且意在被权利要求书所涵盖。此外,本文所公开的任何内容都并非旨在贡献给公众——无论这样的公开是否在权利要求书中被显式地叙述。

Claims (10)

1.一种用于医学图像分级的系统,其特征在于,包括:
分级网络,所述分级网络基于所输入的医学图像和/或分级网络的病灶识别网络所产生的病灶清单来提供分级结果。
2.如权利要求1所述的系统,其特征在于,所述病灶识别网络还基于所述输入的医学图像来提供与所述可能病灶清单对应的分数,并且所述分级结果还基于所述对应的分数,其中所述对应的分数包括指示所述医学图像属于多个类别的概率值。
3.如权利要求1所述的系统,其特征在于,所述医学图像包括X胸片,并且所述病灶清单包含肺部病灶清单、心脏病灶清单、心血管病灶清单、肺门病灶清单、骨组织病灶清单、胸膜病灶清单中两种或者两种以上的清单。
4.如权利要求1所述的系统,其特征在于,所述系统基于所述分级结果提示人工阅片和诊断的安排或对人工阅片和诊断进行自动分工。
5.如权利要求1所述的系统,其特征在于,所述分级网络用注意力迁移学习方式来训练,其中用注意力迁移学习方式来训练所述分级网络包括:
对于所述分级网络,设置老师网络和学生网络;
训练所述老师网络;以及
通过提取所述老师网络和所述学生网络相对应的部分中间层的特征图提来计算迁移学习损失并反向传播所述学生网络最后分类的损失,来训练所述学生网络。
6.一种用于医学图像严重性分级的方法,其特征在于,包括:
使用分级网络基于所输入的医学图像和/或分级网络的病灶识别网络所产生的病灶清单来提供分级结果。
7.如权利要求6所述的方法,其特征在于,进一步包括使用所述病灶识别网络基于所述输入的医学图像来提供与所述可能病灶清单对应的分数,并且所述分级结果还基于所述对应的分数,其中所述对应的分数包括指示所述医学图像属于多个类别的概率值。
8.如权利要求6所述的方法,其特征在于,进一步包括基于所述分级结果提示人工阅片和诊断的安排或对人工阅片和诊断进行自动分工。
9.如权利要求6所述的方法,其特征在于,所述分级网络用注意力迁移学习方式来训练,其中用注意力迁移学习方式来训练所述分级网络包括:
对于所述分级网络,设置老师网络和学生网络;
训练所述老师网络;以及
通过提取所述老师网络和所述学生网络相对应的部分中间层的特征图提来计算迁移学习损失并反向传播所述学生网络最后分类的损失,来训练所述学生网络。
10.一种存储有处理器可执行指令的计算机可读介质,所述处理器可执行指令在由处理器执行时,使所述处理器:
使用分级网络基于所输入的医学图像和/或分级网络的病灶识别网络所产生的病灶清单来提供分级结果。
CN201811610713.4A 2018-12-27 2018-12-27 用于医学图像分级的系统和方法 Pending CN109686444A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201811610713.4A CN109686444A (zh) 2018-12-27 2018-12-27 用于医学图像分级的系统和方法
US16/509,950 US11145405B2 (en) 2018-12-27 2019-07-12 Methods and devices for grading a medical image
PCT/CN2019/111556 WO2020134386A1 (en) 2018-12-27 2019-10-17 Methods and devices for grading a medical image
US17/469,520 US11742073B2 (en) 2018-12-27 2021-09-08 Methods and devices for grading a medical image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811610713.4A CN109686444A (zh) 2018-12-27 2018-12-27 用于医学图像分级的系统和方法

Publications (1)

Publication Number Publication Date
CN109686444A true CN109686444A (zh) 2019-04-26

Family

ID=66190044

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811610713.4A Pending CN109686444A (zh) 2018-12-27 2018-12-27 用于医学图像分级的系统和方法

Country Status (3)

Country Link
US (2) US11145405B2 (zh)
CN (1) CN109686444A (zh)
WO (1) WO2020134386A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728294A (zh) * 2019-08-30 2020-01-24 北京影谱科技股份有限公司 一种基于迁移学习的跨领域图像分类模型构建方法和装置
CN111192679A (zh) * 2019-12-25 2020-05-22 上海联影智能医疗科技有限公司 一种影像数据异常的处理方法、装置及存储介质
CN111275121A (zh) * 2020-01-23 2020-06-12 北京百度网讯科技有限公司 一种医学影像处理方法、装置和电子设备
WO2020134386A1 (en) * 2018-12-27 2020-07-02 Shanghai United Imaging Intelligence Co., Ltd. Methods and devices for grading a medical image
WO2021031279A1 (zh) * 2019-08-20 2021-02-25 东北大学 一种基于深度学习的X-Ray胸片肺炎智能诊断系统与方法
WO2022061787A1 (en) * 2020-09-25 2022-03-31 Shanghai United Imaging Healthcare Co., Ltd. Medical systems and methods
US11379980B2 (en) 2020-06-24 2022-07-05 Beijing Baidu Netcom Science Technology Co., Ltd. Image processing method, apparatus, electronic device and storage medium
CN111192679B (zh) * 2019-12-25 2024-04-19 上海联影智能医疗科技有限公司 一种影像数据异常的处理方法、装置及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11651850B2 (en) * 2019-12-20 2023-05-16 The Regents Of The University Of Michigan Computer vision technologies for rapid detection
CN112184647B (zh) * 2020-09-22 2023-07-04 清华大学深圳国际研究生院 基于迁移卷积网络对眼底图像进行血管病变分级识别方法
DE102020212398A1 (de) 2020-09-30 2022-03-31 Siemens Healthcare Gmbh System, Verfahren und Computerprogramm zur Verwaltung medizinischer Daten
DE102020212318A1 (de) 2020-09-30 2022-03-31 Siemens Healthcare Gmbh Fallpriorisierung für ein medizinisches System
CA3225227A1 (en) * 2021-07-09 2023-01-12 Jason Su Methods and systems for expedited radiological screening
CN113610118B (zh) * 2021-07-19 2023-12-12 中南大学 一种基于多任务课程式学习的青光眼诊断方法、装置、设备及方法
CN114678113B (zh) * 2022-03-14 2023-07-18 浙江大学 一种基于卷积神经网络的智能急诊预检分诊系统
CN115587979B (zh) * 2022-10-10 2023-08-15 山东财经大学 基于三阶段注意力网络的糖尿病视网膜病变分级的方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8560341B2 (en) * 2007-12-25 2013-10-15 Canon Kabushiki Kaisha Medical image processing apparatus, medical image processing method, and program
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
CN107103187A (zh) * 2017-04-10 2017-08-29 四川省肿瘤医院 基于深度学习的肺结节检测分级与管理的方法及系统
CN107247989A (zh) * 2017-06-15 2017-10-13 北京图森未来科技有限公司 一种神经网络训练方法及装置
CN107280697A (zh) * 2017-05-15 2017-10-24 北京市计算中心 基于深度学习和数据融合的肺结节分级判定方法和系统
CN107330876A (zh) * 2017-06-12 2017-11-07 济南浪潮高新科技投资发展有限公司 一种基于卷积神经网络的图像自动诊断方法
CN107480721A (zh) * 2017-08-21 2017-12-15 上海中信信息发展股份有限公司 一种牛只患病数据分析方法及装置
CN108257135A (zh) * 2018-02-01 2018-07-06 浙江德尚韵兴图像科技有限公司 基于深度学习方法解读医学图像特征的辅助诊断系统
CN108305671A (zh) * 2018-01-23 2018-07-20 深圳科亚医疗科技有限公司 由计算机实现的医学图像调度方法、调度系统及存储介质
US20180232883A1 (en) * 2017-02-13 2018-08-16 Amit Sethi Systems & Methods for Computational Pathology using Points-of-interest

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7873196B2 (en) 2006-03-22 2011-01-18 Cornell Research Foundation, Inc. Medical imaging visibility index system and method for cancer lesions
JP2009061174A (ja) * 2007-09-07 2009-03-26 Konica Minolta Medical & Graphic Inc 医用画像診断支援装置
CN101842661A (zh) * 2007-11-07 2010-09-22 电子地图有限公司 将范围传感器数据映射在图像传感器数据上的方法及布置
CN104936665B (zh) * 2012-10-22 2017-12-26 开放信息公司 合作增强现实
JP5896084B2 (ja) * 2013-08-01 2016-03-30 パナソニック株式会社 類似症例検索装置、類似症例検索装置の制御方法、およびプログラム
KR20150098119A (ko) * 2014-02-19 2015-08-27 삼성전자주식회사 의료 영상 내 거짓양성 병변후보 제거 시스템 및 방법
WO2015173675A1 (en) 2014-05-12 2015-11-19 Koninklijke Philips N.V. Method and system for computer-aided patient stratification based on case difficulty
US10599810B2 (en) * 2014-06-04 2020-03-24 Panasonic Corporation Control method and recording system
CN104732086A (zh) 2015-03-23 2015-06-24 深圳市智影医疗科技有限公司 基于云计算的疾病计算机辅助检测系统
US20200012884A1 (en) * 2018-07-03 2020-01-09 General Electric Company Classification based on annotation information
US10755147B2 (en) * 2018-07-03 2020-08-25 General Electric Company Classification and localization based on annotation information
CN109686444A (zh) 2018-12-27 2019-04-26 上海联影智能医疗科技有限公司 用于医学图像分级的系统和方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8560341B2 (en) * 2007-12-25 2013-10-15 Canon Kabushiki Kaisha Medical image processing apparatus, medical image processing method, and program
CN106372390A (zh) * 2016-08-25 2017-02-01 姹ゅ钩 一种基于深度卷积神经网络的预防肺癌自助健康云服务系统
US20180232883A1 (en) * 2017-02-13 2018-08-16 Amit Sethi Systems & Methods for Computational Pathology using Points-of-interest
CN107103187A (zh) * 2017-04-10 2017-08-29 四川省肿瘤医院 基于深度学习的肺结节检测分级与管理的方法及系统
CN107280697A (zh) * 2017-05-15 2017-10-24 北京市计算中心 基于深度学习和数据融合的肺结节分级判定方法和系统
CN107330876A (zh) * 2017-06-12 2017-11-07 济南浪潮高新科技投资发展有限公司 一种基于卷积神经网络的图像自动诊断方法
CN107247989A (zh) * 2017-06-15 2017-10-13 北京图森未来科技有限公司 一种神经网络训练方法及装置
CN107480721A (zh) * 2017-08-21 2017-12-15 上海中信信息发展股份有限公司 一种牛只患病数据分析方法及装置
CN108305671A (zh) * 2018-01-23 2018-07-20 深圳科亚医疗科技有限公司 由计算机实现的医学图像调度方法、调度系统及存储介质
CN108257135A (zh) * 2018-02-01 2018-07-06 浙江德尚韵兴图像科技有限公司 基于深度学习方法解读医学图像特征的辅助诊断系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
中国癌症基金会《中国肿瘤临床年鉴》编辑委员会: "《中国肿瘤临床年鉴》", 31 August 2007, 中国协和医科大学出版社 *
陈敏: "《认知计算导论》", 30 April 2017, 华中科技大学出版社 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020134386A1 (en) * 2018-12-27 2020-07-02 Shanghai United Imaging Intelligence Co., Ltd. Methods and devices for grading a medical image
US11742073B2 (en) 2018-12-27 2023-08-29 Shanghai United Imaging Intelligence Co., Ltd. Methods and devices for grading a medical image
WO2021031279A1 (zh) * 2019-08-20 2021-02-25 东北大学 一种基于深度学习的X-Ray胸片肺炎智能诊断系统与方法
CN110728294A (zh) * 2019-08-30 2020-01-24 北京影谱科技股份有限公司 一种基于迁移学习的跨领域图像分类模型构建方法和装置
CN111192679A (zh) * 2019-12-25 2020-05-22 上海联影智能医疗科技有限公司 一种影像数据异常的处理方法、装置及存储介质
CN111192679B (zh) * 2019-12-25 2024-04-19 上海联影智能医疗科技有限公司 一种影像数据异常的处理方法、装置及存储介质
CN111275121A (zh) * 2020-01-23 2020-06-12 北京百度网讯科技有限公司 一种医学影像处理方法、装置和电子设备
CN111275121B (zh) * 2020-01-23 2023-07-18 北京康夫子健康技术有限公司 一种医学影像处理方法、装置和电子设备
US11379980B2 (en) 2020-06-24 2022-07-05 Beijing Baidu Netcom Science Technology Co., Ltd. Image processing method, apparatus, electronic device and storage medium
WO2022061787A1 (en) * 2020-09-25 2022-03-31 Shanghai United Imaging Healthcare Co., Ltd. Medical systems and methods

Also Published As

Publication number Publication date
US11742073B2 (en) 2023-08-29
US20200211695A1 (en) 2020-07-02
WO2020134386A1 (en) 2020-07-02
US11145405B2 (en) 2021-10-12
US20210407656A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
CN109686444A (zh) 用于医学图像分级的系统和方法
Guidi et al. A machine learning system to improve heart failure patient assistance
Al-Refaie et al. Applying simulation and DEA to improve performance of emergency department in a Jordanian hospital
JP5328146B2 (ja) 医用画像処理装置、医用画像処理方法ならびにプログラム
CN110232383A (zh) 一种基于深度学习模型的病灶图像识别方法及病灶图像识别系统
US11610676B2 (en) Information processing device and information processing method
JP6768620B2 (ja) 学習支援装置、学習支援装置の作動方法、学習支援プログラム、学習支援システム、端末装置及びプログラム
CN110555825A (zh) 胸部x线影像智能诊断系统及其诊断方法
EP3685401B1 (en) Method and apparatus for deriving a set of training data
Gao et al. Chest X-ray image analysis and classification for COVID-19 pneumonia detection using Deep CNN
KR20220038017A (ko) 임상 워크플로 결정을 자동화하고 우선 순위 판독 표시자를 생성하기 위한 시스템 및 방법
CN107145715B (zh) 一种基于推举算法的临床医学智能判别装置
Brown et al. Breaking bias: the role of artificial intelligence in improving clinical decision-making
NG An intelligent approach based on Principal Component Analysis and Adaptive Neuro Fuzzy Inference System for predicting the risk of cardiovascular diseases
Monsi et al. XRAY AI: Lung Disease Prediction using machine learning
Afridi et al. OG-miner: An intelligent health tool for achieving millennium development goals (MDGs) in m-health environments
Sengan et al. Echocardiographic image segmentation for diagnosing fetal cardiac rhabdomyoma during pregnancy using deep learning
Kishore An effective and efficient feature selection method for lung cancer detection
Hsu et al. Development of a deep learning model for chest X-ray screening
CN108538390A (zh) 一种面向医学数据的增量式处理方法
Deepika et al. Deep learning based automated screening for intracranial hemorrhages and grad-cam visualizations on non-contrast head computed tomography volumes
US11869654B2 (en) Processing medical images
CN113077894A (zh) 基于图卷积神经网络的皮肤诊断系统、方法、设备及介质
Harika et al. Pneumonia Detection Using Deep Learning Based On Convolutional Neural Network (CNN) Model
Dias et al. Artificial Intelligence-Driven Screening System for Rapid Image-Based Classification of 12-Lead ECG Exams: A Promising Solution for Emergency Room Prioritization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Zheng Jiezhi

Inventor after: Gong Zaiwen

Inventor after: He Zhiqiang

Inventor after: Zhan Yiqiang

Inventor after: Zhou Xiang

Inventor before: Zheng Jiezhi

Inventor before: Gong Zaiwen

Inventor before: He Zhiqiang

Inventor before: Zhan Yiqiang

Inventor before: Zhou Xiang

CB03 Change of inventor or designer information