CN115910318A - 用于确定异常结构的计算机实现的方法和确定设备 - Google Patents

用于确定异常结构的计算机实现的方法和确定设备 Download PDF

Info

Publication number
CN115910318A
CN115910318A CN202211190580.6A CN202211190580A CN115910318A CN 115910318 A CN115910318 A CN 115910318A CN 202211190580 A CN202211190580 A CN 202211190580A CN 115910318 A CN115910318 A CN 115910318A
Authority
CN
China
Prior art keywords
data
ray
trained function
output
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211190580.6A
Other languages
English (en)
Inventor
马蒂亚斯·赫尼希
克里斯蒂安·许默
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthineers AG
Original Assignee
Siemens Healthineers AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthineers AG filed Critical Siemens Healthineers AG
Publication of CN115910318A publication Critical patent/CN115910318A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/032Transmission computed tomography [CT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Pulmonology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种用于结合X射线系统(20)的X射线记录确定检查区域中的异常结构的计算机实现的方法(10),所述方法(10)具有下述步骤:接收(12)输入数据,其中所述输入数据涉及X射线记录的具有多个数据通道的X射线记录数据集;将经训练的函数应用(13)于所述输入数据,其中所述经训练的函数基于机器学习方法,其中所述经训练的函数在确定异常结构方面应用于至少两个数据通道,并且其中产生输出数据;提供(14)所述输出数据,其中所述输出数据包括所述检查区域的异常结构。

Description

用于确定异常结构的计算机实现的方法和确定设备
技术领域
本发明涉及一种用于确定异常结构的计算机实现的方法和一种X射线系统、一种计算机程序产品和一种计算机可读介质。
背景技术
使用人工智能(缩写:KI;英文:Artificial Intelligence,缩写:AI)的计算机辅助的诊断(英文:Computer-Aided Diagnosis,缩写:CAD)是已知的工具,以便辨识或者估计医学图像中的可疑的区域和/或存在专用发现的概率。示例从下述已知:Santos,M.K.,Ferreira Júnior,J.R.,Wada,D.T.,Tenório,A.,Barbosa,M.,&Marques,P.(2019).Artificial intelligence,machine learning,computer-aided diagnosis,andradiomics:advances in imaging towards to precision medicine.Radiologiabrasileira,52(6),387–396.https://doi.org/10.1590/0100-3984.2019.0049
以及L.Oakden-Rayner:“The Rebirth of CAD:How Is Modern AI Differentfrom the CAD We Know?,Radiology:Artificial Intelligence 2019;1(3):e180089.https://doi.org/10.1148/ryai.2019180089。
基于AI的CAD算法的使用迄今限于医学图像,所述医学图像利用单层X射线(平面)探测器例如借助于Si技术记录。
从出版物US 7,671,342 B2已知一种由多层例如由多层的荧光屏和/或探测器或探测层构成的X射线探测器。穿过一层的一些X射线辐射在另一层中被检测到或被转换为光能。因此,例如一个荧光屏处于探测器电路前面,并且另一个荧光屏处于所述探测器电路后面。在荧光屏中的每个荧光屏中产生的光由相同的探测器电路检测。另一示例是多层的荧光屏和所属的探测器电路。穿过一层的一些X射线辐射可以在另一层中被检测到。不仅能够检测到与兆伏源相关的高能量的X射线辐射,而且能够检测到具有更低或更高的能量的X射线辐射。此外,从以下文章已知一种双能量X射线探测器:“KA IMAGING’S X-RAY DETECTORALLOWS ANY X-RAY SYSTEM TO BE UPGRADED TO DUAL-ENERGY”(https://www.kaimaging.com/blog/ka-imagings-x-ray-detector-allows-any-x-ray-system-to-be-upgraded-to-dual-energy/)。
X射线辐射或光子可以在直接转换的X射线探测器中通过合适的转换器材料转换成电脉冲。例如,CdTe、CZT、CdZnTeSe、CdTeSe、CdMnTe、InP、TlBr2、HgI2、GaAs或其他可以用作转换器材料。电脉冲由评估电子装置、例如集成电路(英文:Application SpecificIntegrated Circuit,ASIC(专用集成电路))评估。在计数式X射线探测器中,入射的X射线辐射通过对因在转换器材料中吸收X射线光子而触发的电脉冲进行计数来测量。电脉冲的高度通常与吸收的X射线光子的能量成比例。由此,可以通过将电脉冲的高度与阈值进行比较来提取光谱信息。
从临床的角度来看,多层探测器可以实现从在同一时刻记录的不同能量的X射线信息中创建一系列诊断图像。利用多个探测器层可以实现借助于能量分辨(“光谱”)测量对材料进行定量分析,并且可以实现通过针对图像中具有不同特性的材料(例如区分骨骼和软组织)提供诊断图像来精确检测潜在的(检查结果)发现。产生的图像集(例如双能量系统的两个图像)由临床专家检验,以便判断患者的健康状况和可能的治疗。
从算法的角度来看,输入数据中的互补信息可以用于基于AI的CAD算法,然而互补数据迄今基于输入图像,而没有考虑多个物理探测层的可能性。
可以使用基于AI的算法,以便将来自双能量CT的正弦图与单能量正弦图连接起来(参见Yang,H.,Cong,W.,&Wang,G.(2017).“Deep learning for dual-energy X-raycomputed tomography”(In Proceedings of The 14th International Meeting onFully Three-Dimensional Image Reconstruction in Radiology and NuclearMedicine(第864-869页)9)),以便执行降噪(参见Lee,S.,Choi,Y.H.,Cho,Y.J.等人的“Noise reduction approach in pediatric abdominal CT combining deep learningand dual-energy technique”(Eur Radiol 31,2218–2226(2021).https://doi.org/10.1007/s00330-020-07349-9),从单能量数据估计双能量数据(参见Tianling Lyu,WeiZhao,Yinsu Zhu,Zhan Wu,Yikun Zhang,Yang Chen,Limin Luo,Shuo Li,Lei Xing“Estimating dual-energy CT imaging from single-energy CT data with materialdecomposition convolutional neural network”(Medical Image Analysis,第70卷,2021,102001,ISSN 1361-8415,https://doi.org/10.1016/j.media.2021.102001)),以及以便估计非对比增强图像(参见Steffen Bruns等人的“Deep Learning from Dual-EnergyInformation for Whole-Heart Segmentation in Dual-Energy and Single-EnergyNon-Contrast-Enhanced Cardiac CT”(https://arxiv.org/abs/2008.03985))。
发明内容
本发明基于下述问题:基于记录数据改进基于AI的CAD算法的精度,以便能够实现CAD发现(CAD-Funden)的更高的可靠性。
本发明的目的是提供一种设备X和一种方法X,所述设备X和所述方法X能够实现改进基于AI的CAD算法的精度。
根据本发明,该目的通过根据实施例所述的用于确定异常结构的计算机实现的方法、根据实施例所述的确定单元、根据实施例所述的X射线系统、根据实施例所述的计算机程序产品和根据实施例所述的计算机可读介质来实现。
本发明涉及一种用于结合X射线系统的X射线记录确定检查区域中的异常结构的计算机实现的方法,所述方法具有以下步骤:接收、应用和提供。在接收的步骤中,接收输入数据,其中所述输入数据涉及X射线记录的具有多个数据通道的X射线记录数据集。在应用的步骤中,将经训练的函数应用于输入数据,其中所述经训练的函数基于机器学习方法,其中所述经训练的函数在确定异常结构方面应用于至少两个数据通道,并且其中产生输出数据。在提供的步骤中,提供输出数据,其中所述输出数据包括检查区域的异常结构。
所述确定也可以称为发现、断定、评估或提供。异常结构也可以称为诊断相关的特性。异常结构例如可以是可疑区域或专用发现或检查结果的存在的概率。
发明人已经认识到,借助于能量分辨的X射线探测器,基于AI的CAD算法的精度可以借助于在例如不同的探测层或探测通道中记录的互补信息来改进。
X射线系统,例如在应用于计算机断层摄影、血管造影、乳腺X射线摄影、荧光透视或X射线照相中的情况下,可以包括计数直接转换X射线探测器或多层X射线探测器。不仅计数式X射线探测器而且多层X射线探测器都可以包括多个数据通道作为输出。经训练的函数可以适配于X射线探测器、尤其所述X射线探测器的特性。
发明人提出,将记录在不同的探测层或数据通道中的信息同时用于基于AI的CAD算法或经训练的函数。
在此,所述方法可以包括以下步骤。借助于多层X射线探测器或计数式X射线探测器,可以在X射线记录的步骤中产生N维、尤其二维的记录图像数据集或具有N个通道的X射线记录图像数据集。记录图像数据集或X射线记录图像数据集要么可以由X射线探测器本身生成,要么可以基于输出信息、尤其在不同的数据通道中的输出信息的重新组合来计算或产生附加的记录图像数据集。N个记录图像数据集或具有N个通道的X射线记录图像数据集可以用作经训练的函数的输入数据。在接收的步骤中,接收输入数据,其中输入数据涉及X射线记录的具有多个数据通道的X射线记录数据集或者多个记录图像数据集。例如,可以利用多层X射线探测器或计数式X射线探测器来记录N个探测器图像或具有N个通道的X射线记录数据集。这些N个探测器图像或具有N个通道的X射线记录数据集可以用作经训练的函数、尤其基于AI的CAD算法的输入数据。
在应用的步骤中,将经训练的函数应用于输入数据。经训练的函数基于机器学习方法。一般地,经训练的函数可以模仿将人类与人脑相关联的认知功能。尤其在基于训练数据进行训练时,经训练的函数可以适配于新的边界条件并且对模式进行识别和外插。
一般地,可以借助于训练来适配经训练的函数或可训练的函数的参数。尤其可以使用监督学习、半监督学习、无监督学习、强化学习或主动学习。此外,可以使用所谓的“表示学习”。尤其可以在训练的多个步骤中迭代地适配经训练的函数的参数。
经训练的函数尤其可以包括神经网络、支持向量机、决策树或贝叶斯网络,和/或经训练的函数可以基于所谓的k均值聚类、Q学习、遗传算法和/或关联规则。神经网络尤其可以是所谓的深度神经网络、卷积神经网络或卷积深度神经网络。此外,神经网络可以是所谓的对抗网络、深度对抗网络和/或生成对抗网络。
经训练的函数可以基于监督学习方法。经训练的函数可以基于机器学习方法。经训练的函数尤其可以基于神经网络。带注释的输入训练数据和输出训练数据尤其可以用于训练。优选地,可以使用深度学习方法。替选地,可以使用机器学习方法。可以手动或优选地机器地提取特征。前馈神经网络、递归神经网络(RNN)或优选地卷积神经网络(CNN)可以用作神经网络。可以借助于监督学习方法有利地推导出输入训练数据与输出训练数据之间的关系并且将其应用于输入数据。
本发明的意义下的机器学习包括计算机实现的技术,在所述计算机实现的技术中,算法基于现有的数据识别模式或规律并利用模式或规律关于未知的新数据独立地推导出解决方案。找到独立解决方案的先决条件是训练阶段,在所述训练阶段中将机器学习算法应用于已知、定义且通常非常大的数据库,以便找到实现所期望的输出或所期望的结果的规则或预测。训练可以构成为监督训练或无监督训练,其中在第一变型方案中,以输入训练数据和所属的正确的输出训练数据的形式将值对呈现给算法,相反,在第二变型方案中,算法必须基于输入训练数据独立自适配,使得所述算法提供正确的输出训练数据。
机器学习算法特别有利地构成为人工神经网络。人工神经网络遵循生物神经网络的构造、例如人脑。人工神经网络在输入层与输出层之间优选地包括多个另外的层,所述另外的层分别包括至少一个节点。在此,每个节点对应于一个处理单元,类似于生物神经元。网络的一个层内的节点可以经由有向的连接或边(英文:edge)与另外的层的节点连接。连接定义网络内的数据流。因此,每个节点表示应用于输入数据的运算。此外,每个节点或每个节点的每个连接都具有至少一个加权参数(英文:weight)。经由所述加权参数或这些加权参数,节点的输出的影响或重要性定义为接收节点的输入值。在优选地作为监督学习实施的训练阶段中,人工神经网络根据训练数据“学习”所有节点或连接的加权参数,并对所述加权参数进行适配,直至网络的输出层提供正确的输出数据或输出训练数据。
根据本发明的方法途径还基于下述知识:机器学习的训练算法在其训练的过程中建立输入数据集与输出值之间的固定相关性,所述输入数据集在此是关于具有多个数据通道的X射线记录数据集的输入训练数据,所述输出值在此是检查区域的异常结构。
在一个实施方式中,经训练的函数可以基于所谓的深度学习方法。例如,可以使用也称为卷积神经网络的“convolutional neural network”。换言之,根据本实施方案,首先借助于机器学习算法执行特征提取,然后执行所谓的分类或回归,其中涉及数据通道的辨识出的特征可以与检查区域的异常结构相关联。在分类中,概率可以处于0和1之间。在回归中可以使用连续值,例如图像中用于描述可疑区域或异常结构的坐标。替选于卷积神经网络,也可以使用长短期记忆(英文:LSTM,Long short-term memory)网络或递归神经网络(RNN),与上述相比,所述长短期记忆网络或递归神经网络在隐藏网络层内具有所谓的反向反馈环路。
经训练的函数可以在确定异常结构方面应用于至少两个数据通道或两个记录图像数据集。产生输出数据。在提供的步骤中,提供输出数据,其中所述输出数据包括检查区域的异常结构。
记录在多层X射线探测器的不同层或计数式X射线探测器的不同能量通道中的互补信息可以有利地同步或并行或同时地用作经训练的函数的输入数据。光谱信息或材料分辨信息或者导出或基于探测器输出图像或记录数据集的重新组合的信息可以有利地同步或并行或同时地用作经训练的函数的输入数据。
根据本发明的一个方面,对于每个数据通道提供记录图像数据集、尤其二维的记录图像数据集。可以为多层X射线探测器的一层提供二维的记录图像数据集。多层X射线探测器可以在每层中具有探测元件的矩阵。检测元件可以在不同层中构成为相同的尺寸或不同的尺寸。在不同层中构成为不同尺寸的探测元件的情况下,可以在将经训练的函数应用于输入数据之前,应用重排(Rebinning)。层可以表示数据通道、尤其恰好一个数据通道。
可以为计数式X射线探测器的能量通道提供二维的记录图像数据集。计数式X射线探测器可以具有用于每个能量通道的探测元件的矩阵。探测元件可以在不同能量通道中构成为相同的尺寸或不同的尺寸。在不同能量通道中构成为不同尺寸的探测元件的情况下,可以在将经训练的函数应用于输入数据之前,应用重排。能量通道可以表示数据通道、尤其恰好一个数据通道。光谱上不同的信息或互补的信息可以有利地用于改进地识别检查区域中的异常结构。
根据本发明的一个方面,数据通道涉及来自下述的组中的彼此不同的数据集:软组织数据集、骨骼数据集、原生图像数据集、造影剂数据集、能量范围数据集或多个彼此不同的能量范围数据集。
软组织数据集或骨骼数据集可以基于材料分解并从而基于来自不同数据通道的信息的重新组合而产生。造影剂数据集可以基于利用造影剂的记录、必要时利用在记录中的两个不同的X射线光谱产生。例如,原生图像数据集可以包括来自多个或所有数据通道的信息,并且尤其可以表示“正常”X射线图像。
能量范围数据集可以涉及计数式X射线探测器的能量通道。能量范围数据集可以涉及多层X射线探测器的层。多个彼此不同的能量范围数据集可以尤其涉及不相交的能量范围。多个彼此不同的能量范围数据集可能涉及重叠的能量范围。光谱信息可以有利地用于确定异常结构。
根据本发明的一个方面,X射线记录数据集利用多层X射线探测器或光子计数式X射线探测器被记录。光子计数式X射线探测器也可以称为计数式X射线探测器。可以有利地借助于X射线记录来记录光谱信息。
根据本发明的一个方面,所述输入数据包括:
-数据通道中的互补信息,
-光谱信息或材料分辨信息,或/和
-基于数据通道的图像数据的重新组合的信息。
尤其在使用软组织数据集、骨骼数据集、原生图像数据集(尤其减去造影剂信息)、造影剂数据集、能量范围数据集或多个彼此不同的能量范围数据集时,互补信息、光谱信息或材料分辨信息和/或基于数据通道的图像数据的重新组合的信息可以被经训练的函数使用,以便能够实现对异常结构的改进的确定。例如,材料分辨信息可以例如涉及软组织数据集和骨骼数据集。互补光谱信息可以例如涉及能量范围数据集或多个彼此不同的能量范围数据集。数据通道的图像数据的重新组合可以例如涉及原生图像数据集。
根据本发明的一个方面,将经训练的函数同时应用于至少两个数据通道。尤其可以将经训练的函数、即例如神经网络应用于两个数据通道。替选地,尤其同时或并行地,第一经训练的函数可以应用于第一数据通道并且第二经训练的函数可以应用于第二数据通道。尽管与输入数据相关的数据量增加,但是可以有利地快速产生输出数据。
根据本发明的一个方面,经训练的函数基于用于RGB图像的深度学习方法。应用根据本发明的方法的示例是使用深度学习模型(DL模型)或深度学习方法、尤其针对RGB图像或RGB图像数据优化的深度学习模型或深度学习方法。深度学习方法可以关于RGB图像数据进行优化,以便从三个输入通道中提取信息。代替适配所述模型,以便仅处理一个图像或将同一图像复制到三个RGB通道中,参见:
-M.Chen,"Automated bone age classification with deep neuralnetworks",2016,http://cs231n.stanford.edu/reports/2016/pdfs/310_Report.pdf
-H.Lee,"Fully automated deep learning systems for bone ageassessment",J Digit Imaging 2017,https://link.springer.com/article/10.1007/s10278-017-9955-8
-S.Guendel等:“Learning to Recognize Abnormalities in Chest X-Rayswith Location-Aware Dense Networks”,CIARP 2018,https://arxiv.org/abs/1803.04565
-Z.Li等:“Thoracic Disease Identification and Localization withLimited Supervision”,CVPR 2018,https://arxiv.org/abs/1711.06373
发明人确定,一种有希望的替选方案是使用具有多个数据通道的X射线记录数据、尤其多层X射线探测器或光子计数式X射线探测器的X射线记录数据,在此作为DL模型或经训练的函数的输入数据。现有或已知的RGB模型可以从三个记录图像数据集或三个数据通道、尤其从多层X射线探测器或光子计数式X射线探测器的三个记录图像数据集或三个数据通道中提取信息。例如,可以基于X射线记录数据集产生关于软部位或软组织的第一记录图像数据集或第一数据通道、关于骨骼结构的第二记录图像数据集或第二数据通道、以及关于原生图像数据集的第三记录图像数据集或数据通道,并且作为用于RGB模型的输入数据提供。例如,第一数据通道可以用于RGB模型的R通道,第二数据通道可以用于G通道,并且第三数据通道可以用于B通道。可以有利地使用现有的深度学习方法。
根据本发明的一个方面,使用三个数据通道。尤其在RGB(DL)模型方面,可以使用R通道、G通道和B通道。
根据本发明的一个方面,在应用经训练的函数之前,对X射线记录数据集应用图像处理。图像处理可以包括用于数据通道的信息的重新组合的步骤。图像处理可以包括噪声校正、强度适配或伪影校正。可以有利地通过图像处理、尤其图像预处理将相同的经训练的函数用于例如不同的X射线探测器或其X射线记录数据集。可以通过图像处理适配第一X射线探测器的X射线记录数据集,使得所述第一X射线探测器的X射线记录数据集可以具有与第二X射线检测器的X射线记录数据集相同的图像特性。可以有利地避免将经训练的函数适配于不同的X射线探测器。
根据本发明的一个方面,输出数据包括损伤的位置、微钙化的位置、标志的位置、距离或角度作为异常结构。输出数据可以包括X射线记录数据集内的坐标。输出数据可以包括面积、距离或角度,尤其借助于X射线记录数据集内的坐标。输出数据尤其可以包括异常结构的方位或位置和延展范围。可以有利地借助于输出数据来表示X射线记录数据集中的异常结构。可以有利地借助于输出数据存储异常结构,例如存储在DICOM数据集中,尤其作为二次获取。
本发明还涉及一种用于为X射线系统提供经训练的函数的计算机实现的方法,所述方法具有:
-接收输入训练数据,其中所述输入训练数据涉及X射线记录的具有多个数据通道的X射线记录数据集,
-接收输出训练数据,其中所述输出训练数据与输入训练数据相关联,并且其中所述输出训练数据包括具有检查区域的异常结构的X射线记录或X射线记录数据集的注释,
-基于所述输入训练数据和所述输出训练数据来训练经训练的函数,
-提供经训练的函数。
在训练的步骤中,基于输入训练数据和输出训练数据利用训练计算单元来训练经训练的函数。训练可以包含:通过将经训练的函数应用于输入训练数据来确定初始临时的输出数据,并且基于所述初始临时的输出数据与输出训练数据之间的比较来适配经训练的函数。
经训练的函数可以是已经被训练的。替选地,经训练的函数可以是尚未被训练的。经训练的函数可以涉及尚未训练的函数。根据本发明的方法可以包括对经训练的函数进一步训练。例如,训练可以构成为对X射线探测器的输入训练数据和输出训练数据的适配步骤或适配训练。可以利用至少一个另外的X射线探测器的训练数据(预)训练经训练的函数,并且随后在训练的步骤中适配于X射线探测器。
本发明还涉及一种根据本发明的计算机实现的方法,其中经训练的函数由根据本发明的用于为X射线系统提供经训练的函数的计算机实现的方法提供,以便确定X射线记录中的检查区域的异常结构。
本发明还可以涉及一种训练系统,所述训练系统具有:
-第一训练接口,所述第一训练接口用于接收输入训练数据,其中所述输入训练数据涉及X射线记录的具有多个数据通道的X射线记录数据集,
-第二训练接口,所述第二训练接口用于接收输出训练数据,所述输出训练数据与输入训练数据相关联,并且其中所述输出训练数据包括具有检查区域的异常结构的X射线记录的注释,
-训练计算单元,所述训练计算单元用于基于输入训练数据和输出训练数据来训练函数,
-第三训练接口,所述第三训练接口用于提供经训练的函数。
在特别有利的设计方案中,训练系统可以由X射线系统或确定设备包括。替选地,训练系统可以借助于网络与X射线系统或确定设备连接。经训练的函数可以有利地适配于X射线探测器。通过利用新的输入训练数据和输出训练数据进行适配,经训练的函数可以特别优选地进一步适配于X射线探测器。
本发明还涉及一种用于执行根据本发明的方法的确定设备,所述确定设备具有:
-第一接口,所述第一接口用于接收输入数据,其中所述输入数据涉及X射线记录的具有多个数据通道的X射线记录数据集,
-计算单元,所述计算单元用于在确定异常结构方面将经训练的函数应用于至少两个数据通道,其中产生输出数据,并且其中所述经训练的函数基于机器学习方法,
-第二接口,所述第二接口用于提供输出数据,其中所述输出数据包括检查区域的异常结构。
确定设备可以由X射线系统包括。替选地,确定设备可以是远离X射线系统的系统,例如根据本发明的方法可以借助于基于云的数据网络来执行。为此,X射线记录数据集可以借助于数据连接传输给确定设备、尤其在诊所网络之外的确定设备,在那里根据本发明的方法可以在确定设备中执行,并且输出数据可以转发回诊所网络或另一个所期望的接收器。
本发明还涉及一种具有根据本发明的确定设备的X射线系统。所述X射线系统尤其可以具有X射线源和X射线探测器。具有检查区域的检查对象可以设置在X射线源与X射线探测器之间。在X射线记录的情况下,可以产生X射线记录数据集。除了X射线记录或X射线图像之外,所述X射线记录数据集还可以包括其他数据、例如记录参数。X射线系统还可以包括用于显示输出数据的显示单元、例如屏幕。X射线系统还可以包括用于输入用户输入的输入单元,例如键盘、鼠标或其他触敏输入单元。
本发明还涉及一种计算机程序产品,所述计算机程序产品具有计算机程序,所述计算机程序可以直接加载到根据本发明的确定设备或根据本发明的X射线系统的控制装置的存储装置中,所述计算机程序产品具有程序段,以便当在X射线系统的控制装置中执行所述计算机程序时,执行根据本发明的方法的所有步骤。
本发明还涉及一种计算机可读介质,在所述计算机可读介质上存储有由计算单元可读取和可执行的程序段,以便当由根据本发明的确定单元或根据本发明的X射线系统执行所述程序段时,执行根据本发明的方法的所有步骤。
附图说明
在下文中根据附图详细阐述本发明的实施例。在此示出:
图1示意性地示出第一实施方式中的根据本发明的方法的示图;
图2示意性地示出第二实施方式中的根据本发明的方法的示图;
图3示意性地示出第三实施方式中的根据本发明的方法的示图;
图4示意性地示出第四实施方式中的根据本发明的方法的示图;
图5示意性地示出根据本发明的人工神经网络的示图;以及
图6示意性地示出根据本发明的X射线系统的示图。
具体实施方式
图1示出第一实施方式中的根据本发明的方法10的示例性实施方案。用于结合X射线系统的X射线记录确定在检查区域中的异常结构的计算机实现的方法10具有接收12、应用13和提供14的步骤。在记录11的可选的步骤中,可以记录X射线记录数据集。X射线记录数据集利用多层X射线探测器或光子计数式X射线探测器被记录。在接收12的步骤中,接收输入数据,其中输入数据涉及X射线记录的具有多个数据通道的X射线记录数据集。在应用13的步骤中,将经训练的函数应用于输入数据,其中所述经训练的函数基于机器学习方法,其中所述经训练的函数在确定异常结构方面应用于至少两个数据通道,并且其中产生输出数据。在提供14的步骤中,提供输出数据,其中所述输出数据包括检查区域的异常结构。
可以针对每个数据通道提供记录图像数据集、尤其二维记录图像数据集。不同的数据通道可以涉及来自下述的组中的彼此不同的数据集:软组织数据集、骨骼数据集、原生图像数据集、造影剂数据集、能量范围数据集或多个彼此不同的能量范围数据集。输入数据包括数据通道中的互补信息、光谱信息或材料分辨信息和/或基于数据通道的图像数据的重新组合的信息。在优选设计方案中,将经训练的函数同时应用于至少两个数据通道。输出数据包括损伤的位置、微钙化的位置、标志的位置、距离或角度作为异常结构。
图2示出第二实施方式中的根据本发明的方法10的示例性实施方案。在步骤11中可以借助于多层X射线探测器或光子计数式X射线探测器来记录X射线记录数据集。X射线记录数据集具有多个数据通道或多个二维记录图像数据集。在接收12.1的步骤中,接收第一数据通道或第一记录图像数据集的信息作为输入数据。在接收12.N的步骤中,接收第N数据通道或第N记录图像数据集的信息作为输入数据。在应用13的步骤中,将所述经训练的函数或至少一个经训练的函数应用于输入数据并产生输出数据。在步骤14中,提供输出数据。
图3示出第三实施方式中的根据本发明的方法10的示例性实施方案。经训练的函数基于RGB模型。经训练的函数基于用于RGB图像的深度学习方法。使用三个数据通道。在接收12.1的步骤中,接收第一数据通道或第一记录图像数据集、尤其软组织数据集,并且将第一数据通道分配给R通道。在接收12.2的步骤中,接收第二数据通道或第二记录图像数据集、尤其骨骼数据集,并且将第二数据通道分配给G通道。在接收12.3的步骤中,接收第三数据通道或第三记录图像数据集、尤其原生图像数据集,并将第三数据通道分配给B通道。基于多层X射线探测器或光子计数式X射线探测器的X射线记录数据集产生的三个记录图像数据集可以用作用于基于AI的CAD算法或这种经训练的函数的RGB模型的输入通道或输入数据。
图4示出第四实施方式中的根据本发明的方法10的示例性实施方案。在应用13经训练的函数之前,对X射线记录数据集应用图像处理16.1、...、16.N。在此,图像处理尤其分别应用于每个数据通道。数据通道的提取的记录图像数据集或信息可以在其用作经训练的函数的输入数据之前借助于图像处理进行修改。
图5示出人工神经网络100,如其可以在根据图1至图4的方法中使用的那样。神经网络也可以称为人工神经网络、人工神经网或神经网。
神经网络100包括节点120、...、129和边140、141,其中每个边140、141是从第一节点120、...、129至第二节点120、...、129的有向的连接。一般地,第一节点120、...、129和第二节点120、...、129是不同的节点,也可行的是,第一节点120、...、129和第二节点120、...、129是相同的。从第一节点120、...、129至第二节点120、...、129的边140、141也可以称为第二节点的入边和第一节点120、...、129的出边。
神经网络100向输入层110的多个输入节点120、121、122响应输入值x(1) 1、x(1) 2、x(1) 3。应用输入值x(1) 1、x(1) 2、x(1) 3,以便产生一个或多个输出x(3) 1、x(3) 2、x(3) 3。例如,节点120经由边140与节点123连接。例如,节点121经由边141与节点123连接。
在该实施例中,神经网络100通过其基于训练数据适配于各个节点的加权因子wi,j(权重)来学习。输入节点120、121、122的可能输入值x(1) 1、x(1) 2、x(1) 3例如可以是高于之前从X射线记录的X射线记录数据集、尤其数据通道提取的阈值的衰减值。替选地,输入值可以是X射线记录的X射线记录数据集或数据通道本身,尤其如果神经网络100构成为也执行特征提取,则输入值可以是X射线记录的X射线记录数据集或数据通道本身。可以使用任意其他输入值。
神经网络100基于学习过程对输入层110的输入值进行加权。神经网络100的输出层112的输出值例如在类型和/或位置方面优选地对应于异常结构。输出可以经由输出层112中的单个输出节点x(3) 1、x(3) 2、x(3) 3或者多个输出节点x(3) 1、x(3) 2、x(3) 3
人工神经网络100优选地包括隐藏层111,所述隐藏层111包括多个节点x(2) 1、x(2) 2、x(2) 3。可以设置多个隐藏层,其中一个隐藏层使用另一个隐藏层的输出值作为输入值。隐藏层111的节点执行数学运算。节点x(2) 1、x(2) 2、x(2) 3的输出值在此对应于其输入值x(1) 1、x(1) 2、x(1) 3和加权因子wi,j的非线性函数f。在获得输入值x(1) 1、x(1) 2、x(1) 3之后,节点x(2) 1、x(2) 2、x(2) 3执行每个输入值x(1) 1、x(1) 2、x(1) 3的与加权因子wi,j加权乘积的和,如通过以下函数确定:
Figure BDA0003869173410000141
权重因子wi,j尤其可以是实数、尤其在[-1;1]或[0;1]的区间中。权重因子
Figure BDA0003869173410000142
表示第m层110、11、112的第i个节点与第n层110、111、112的第j个节点之间的边的权重。权重因子
Figure BDA0003869173410000143
是权重因子
Figure BDA0003869173410000144
的缩写。
尤其地,节点x(2) 1、x(2) 2、x(2) 3的输出值形成为节点激活的函数f,例如S型函数或线性斜坡函数。输出值x(2) 1、x(2) 2、x(2) 3传输给一个或多个输出节点128、129。每个输出值x(2) 1、x(2) 2、x(2) 3的加权乘积的总和重新作为节点激活的函数f,从而计算输出值x(3) 1、x(3) 2
这里所示的神经网络100是前馈神经网络,在所述前馈神经网络中,所有节点111将前一层的输出值以它们的加权和的形式作为输入值进行处理。当然,根据本发明也可以使用其他神经网络类型、例如反馈网络,在所述反馈网络中,节点的输入值也可以同时是其输出值。
借助于监督学习方法训练神经网络100,以便识别模式。一种已知的方法途径是反向传播,所述反向传播可以应用于本发明的所有实施例。在训练期间,神经网络100被应用于输入训练数据或输入训练值,并且必须产生对应的、先前已知的输出训练数据或输出训练值。计算的输出值与预期的输出值之间的均方误差(英文:mean square error-“MSE”)被迭代计算,并且适配于各个加权因子,直至计算的输出值与预期的输出值之间的偏差低于预确定的阈值。
图6示出根据本发明的X射线系统20的示例性实施方案。X射线系统20包括X射线源24和X射线探测器27,在所述X射线源24与所述X射线探测器27两者之间设置有具有检查区域的检查对象26。X射线探测器27尤其可以构成为多层X射线探测器或光子计数式X射线探测器。X射线系统20具有根据本发明的确定设备。用于执行根据本发明的方法的确定设备具有第一接口21,所述第一接口21用于接收输入数据,其中所述输入数据涉及X射线记录的具有多个数据通道的X射线记录数据集。所述确定设备还具有计算单元22,所述计算单元22用于在确定异常结构方面将经训练的函数应用于至少两个数据通道,其中产生输出数据,并且其中经训练的函数基于机器学习方法。所述确定设备还具有第二接口23,所述第二接口23用于提供输出数据,其中所述输出数据包括检查区域的异常结构。第一接口和第二接口也可以是共同的接口。
尽管已经通过优选的实施例详细说明了本发明的细节,但是本发明并不受所公开的示例限制,并且可以由本领域技术人员从中推导出其他变型方案,而不脱离本发明的保护范围。

Claims (14)

1.一种用于结合X射线系统(20)的X射线记录确定检查区域中的异常结构的计算机实现的方法(10),所述方法(10)具有下述步骤:
-接收(12)输入数据,其中所述输入数据涉及所述X射线记录的具有多个数据通道的X射线记录数据集,
-将经训练的函数应用(13)于所述输入数据,其中所述经训练的函数基于机器学习方法,其中在确定所述异常结构方面将所述经训练的函数应用于至少两个数据通道,并且其中产生输出数据,
-提供(14)所述输出数据,其中所述输出数据包括所述检查区域的异常结构。
2.根据上述权利要求中任一项所述的方法,其中针对每个数据通道提供记录图像数据集、尤其二维的记录图像数据集。
3.根据上述权利要求中任一项所述的方法,其中所述数据通道涉及来自下述的组中的彼此不同的数据集:
-软组织数据集、骨骼数据集、原生图像数据集、造影剂数据集、能量范围数据集或多个彼此不同的能量范围数据集。
4.根据上述权利要求中任一项所述的方法,其中利用多层X射线探测器或光子计数式X射线探测器记录所述X射线记录数据集。
5.根据上述权利要求中任一项所述的方法,其中所述输入数据包括:
-所述数据通道中的互补信息,
-光谱信息或材料分辨信息,和/或
-基于所述数据通道的图像数据的重新组合的信息。
6.根据上述权利要求中任一项所述的方法,其中将所述经训练的函数同时应用于所述至少两个数据通道。
7.根据上述权利要求中任一项所述的方法,其中所述经训练的函数基于用于RGB图像的深度学习方法。
8.根据上述权利要求中任一项所述的方法,其中使用三个数据通道。
9.根据上述权利要求中任一项所述的方法,其中在应用所述经训练的函数之前,对所述X射线记录数据集应用图像处理。
10.根据上述权利要求中任一项所述的方法,其中所述输出数据包括损伤的位置、微钙化的位置、标志的位置、距离或角度作为异常结构。
11.一种用于执行根据上述权利要求中任一项所述的方法的确定设备,所述确定设备具有:
-第一接口(21),所述第一接口(21)用于接收输入数据,其中所述输入数据涉及所述X射线记录的具有多个数据通道的X射线记录数据集,
-计算单元(22),所述计算单元(22)用于在确定异常结构方面将经训练的函数应用于至少两个数据通道,其中产生输出数据,并且其中所述经训练的函数基于机器学习方法,
-第二接口(23),所述第二接口(23)用于提供所述输出数据,其中所述输出数据包括所述检查区域的异常结构。
12.一种具有根据权利要求11所述的确定设备的X射线系统(20)。
13.一种计算机程序产品,所述计算机程序产品具有计算机程序,所述计算机程序能够直接加载到根据权利要求11所述的确定设备的或根据权利要求12所述的X射线系统的控制装置的存储装置中,所述计算机程序产品具有程序段,以便当在所述X射线系统的控制装置中执行所述计算机程序时,执行根据权利要求1至10中任一项所述的方法的所有步骤。
14.一种计算机可读介质,在所述计算机可读介质上存储有能够由计算单元读取和执行的程序段,以便当由根据权利要求11所述的确定单元或根据权利要求12所述的X射线系统执行所述程序段时,执行根据权利要求1至10中任一项所述的方法的所有步骤。
CN202211190580.6A 2021-09-29 2022-09-28 用于确定异常结构的计算机实现的方法和确定设备 Pending CN115910318A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21199847.1A EP4160523A1 (de) 2021-09-29 2021-09-29 Computer-implementiertes verfahren zum ermitteln einer auffälligen struktur
EP21199847.1 2021-09-29

Publications (1)

Publication Number Publication Date
CN115910318A true CN115910318A (zh) 2023-04-04

Family

ID=78463344

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211190580.6A Pending CN115910318A (zh) 2021-09-29 2022-09-28 用于确定异常结构的计算机实现的方法和确定设备

Country Status (3)

Country Link
US (1) US20230111463A1 (zh)
EP (1) EP4160523A1 (zh)
CN (1) CN115910318A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116344042B (zh) * 2023-05-31 2023-12-01 北京智精灵科技有限公司 基于多模态分析的认知储备干预提升方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7671342B2 (en) 2005-01-11 2010-03-02 Siemens Medical Solutions Usa, Inc. Multi-layer detector and method for imaging
US10482633B2 (en) * 2016-09-12 2019-11-19 Zebra Medical Vision Ltd. Systems and methods for automated detection of an indication of malignancy in a mammographic image
US20190021677A1 (en) * 2017-07-18 2019-01-24 Siemens Healthcare Gmbh Methods and systems for classification and assessment using machine learning
DE102020212113A1 (de) * 2020-03-12 2021-09-16 Friedrich-Alexander-Universität Erlangen-Nürnberg Generieren modifizierter medizinischer Bilder und Erkennen abnormaler Strukturen

Also Published As

Publication number Publication date
EP4160523A1 (de) 2023-04-05
US20230111463A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
Bharati et al. Hybrid deep learning for detecting lung diseases from X-ray images
Sharma et al. A deep learning based model for the detection of pneumonia from chest X-ray images using VGG-16 and neural networks
Arora et al. Transfer learning-based approach for detecting COVID-19 ailment in lung CT scan
Gilanie et al. Coronavirus (COVID-19) detection from chest radiology images using convolutional neural networks
US20210225511A1 (en) Method and system for improving cancer detection using deep learning
Orlhac et al. Radiomics in PET imaging: a practical guide for newcomers
Ypsilantis et al. Learning what to look in chest X-rays with a recurrent visual attention model
Li et al. Multiscale attention guided network for COVID-19 diagnosis using chest X-ray images
Budimirovic et al. COVID-19 severity prediction using enhanced whale with Salp swarm feature classification.
Iraji et al. COVID‐19 Detection Using Deep Convolutional Neural Networks and Binary Differential Algorithm‐Based Feature Selection from X‐Ray Images
CN115910318A (zh) 用于确定异常结构的计算机实现的方法和确定设备
van den Berg et al. Uncertainty assessment for deep learning radiotherapy applications
Kadry et al. Tuberculosis detection in chest radiographs using spotted hyena algorithm optimized deep and handcrafted features
Akinbo et al. Ensemble machine learning algorithms for prediction and classification of medical images
Juarez-Orozco et al. Artificial intelligence to improve risk prediction with nuclear cardiac studies
Bhosale et al. Graph and capsule convolutional neural network based classification of lung cancer, pneumonia, COVID-19 using lung CT and ultrasound radiography imaging
Rai et al. A comprehensive analysis of recent advancements in cancer detection using machine learning and deep learning models for improved diagnostics
KR20200086406A (ko) 골 종양 탐지 시스템
EP2863360B1 (en) Multimodality image segmentation of volumetric data sets
Awujoola et al. Genomic data science systems of Prediction and prevention of pneumonia from chest X-ray images using a two-channel dual-stream convolutional neural network
Kaleem et al. Ensemble learning for multi-class COVID-19 detection from big data
CN110313928A (zh) 用于确定放射性结果数据的分析方法和分析单元
CN110568471B (zh) 确定能带的阈值的方法、计算单元和医学成像设备
Galib Applications of machine learning in nuclear imaging and radiation detection
Ohlsson et al. Automated decision support for bone scintigraphy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination