CN115511723B - 用于x射线图像的校正的方法和系统以及x射线设备 - Google Patents
用于x射线图像的校正的方法和系统以及x射线设备 Download PDFInfo
- Publication number
- CN115511723B CN115511723B CN202210727768.3A CN202210727768A CN115511723B CN 115511723 B CN115511723 B CN 115511723B CN 202210727768 A CN202210727768 A CN 202210727768A CN 115511723 B CN115511723 B CN 115511723B
- Authority
- CN
- China
- Prior art keywords
- ray
- mask
- filter device
- ray image
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 89
- 238000012937 correction Methods 0.000 title claims abstract description 88
- 238000012549 training Methods 0.000 claims abstract description 124
- 238000012545 processing Methods 0.000 claims abstract description 79
- 230000005855 radiation Effects 0.000 claims abstract description 55
- 238000005259 measurement Methods 0.000 claims abstract description 12
- 238000004590 computer program Methods 0.000 claims description 10
- 239000000463 material Substances 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000013213 extrapolation Methods 0.000 claims description 8
- 230000002123 temporal effect Effects 0.000 claims description 7
- 238000011045 prefiltration Methods 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 94
- 238000013527 convolutional neural network Methods 0.000 description 32
- 238000013528 artificial neural network Methods 0.000 description 30
- 230000000694 effects Effects 0.000 description 25
- 239000011159 matrix material Substances 0.000 description 16
- 238000011176 pooling Methods 0.000 description 15
- 230000000875 corresponding effect Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 7
- 238000013507 mapping Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 210000003484 anatomy Anatomy 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- WFKWXMTUELFFGS-UHFFFAOYSA-N tungsten Chemical compound [W] WFKWXMTUELFFGS-UHFFFAOYSA-N 0.000 description 4
- 229910052721 tungsten Inorganic materials 0.000 description 4
- 239000010937 tungsten Substances 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 230000003042 antagnostic effect Effects 0.000 description 3
- 230000005672 electromagnetic field Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 230000008485 antagonism Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000002594 fluoroscopy Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000000191 radiation effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/40—Arrangements for generating radiation specially adapted for radiation diagnosis
- A61B6/4035—Arrangements for generating radiation specially adapted for radiation diagnosis the source being combined with a filter or grating
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0475—Generative networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10116—X-ray image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Medical Informatics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Public Health (AREA)
- High Energy & Nuclear Physics (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Image Processing (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
一种用于提供用于X射线图像(48)的校正算法的计算机实现的方法,其中,校正算法包括经训练的第一处理函数(63),经训练的第一处理函数根据第一输入数据来确定第一输出数据,第一输入数据包括描述X射线辐射场和/或测量的至少一个第一物理参数(54)和描述滤波器设备的空间调制的至少一个第二物理参数(55),第一输出数据包括掩模(64),掩模用于在X射线图像中关于滤波器设备的空间调制进行亮度补偿,其中,方法包括:‑提供第一训练数据,‑针对掩模(53)提供自动编码器(56),‑通过第一训练数据训练自动编码器,‑确定分配规则(62),‑提供经训练的第一处理函数。
Description
技术领域
本发明涉及一种用于提供用于X射线图像的校正算法的计算机实现的方法和系统,所述X射线图像是利用发射X射线辐射场的X射线源、对X射线辐射中的X射线辐射剂量进行空间调制的滤波器设备(特别是ROI滤波器)以及X射线检测器来记录的。除此之外,本发明还涉及一种用于校正这种X射线图像的计算机实现的方法和系统、X射线设备、计算机程序和电子可读数据介质。
背景技术
在医疗干预、特别是微创干预中,已知所述干预可以在成像控制下进行,以便例如能够观察医疗器械(例如导管)相对于解剖结构的位置和/或也能够看到解剖结构的变化。出于各种原因,在这种情况下现有技术经常采用X射线成像,从而例如可以通过具有C形臂的X射线设备记录荧光透视图像,该C形臂能够被带到与患者相关的不同位置。尽管如此,对于这样的X射线设备,仍然有足够的空间供执行和/或监视干预的医务人员使用。
然而,X射线成像的缺点是会产生辐射负荷。因此,在X射线引导的医疗过程中,患者和所涉及的医务人员随着时间的推移都会受到一定剂量(在某些情况下是不可忽视的)的X射线辐射。为了减少这种X射线剂量,从而也降低可能与之相关的健康后果的风险,有必要针对患者优化剂量并且针对医务人员最小化该剂量。这通常表示为所谓的ALARA原则,其中,首字母缩略词代表“As Low As Reasonably Achievable(可合理达到的尽可能低)”。这意味着X射线剂量应尽可能低,同时保持必要的图像质量。
在现有技术中已知的用于降低X射线负荷的变体规定使用对X射线辐射剂量进行空间调制的滤波器设备、特别是ROI滤波器,以便使得高度相关区域(即,感兴趣区域(ROI-“Region of Interest”))的图像质量保持为高,但是仍能以较低的图像质量提供周围的解剖结构。ROI滤波器是一种半透明的滤波器设备,它允许对于原则上不衰减X射线辐射的区域(例如X射线辐射场中的通道开口)提供标准的X射线剂量,而在该ROI之外,滤波器材料意味着存在明显较低的X射线剂量。围绕ROI的ROI滤波器的外部区域可以例如由强烈吸收X射线辐射的材料(例如钨或铅)的薄层构成。例如,已经提出了使用0.127毫米厚的钨层的滤波器设备。
当使用这种对X射线辐射剂量进行空间调制的滤波器设备时,在X射线剂量降低的任何地方,亮度也因此降低。在这种情况下,为了提供统一的图像印象,提出使用亮度校正、特别是使用附加的亮度校正掩模,以便使要校正的X射线图像的亮度(在应用算法转换之后)标准化。然而,已经证明确定这样的掩模并非易事,因为它取决于多个不同的因素,例如X射线源的设置、特别是X射线管的设置,X射线检测器的设置、预滤波措施(例如使用铜)、ROI的位置和大小、记录的物体和焦点的抖动(例如由于管驱动器的电磁场)。
US2018/0 168 524A1描述了ROI滤波器的示例性的设计方案。在此,多个堆叠的可更换滤波器被固定在X射线设备的外壳中,其中,每个滤波器包括ROI开口。在这种情况下,至少两个滤波器的ROI开口以及ROI不同。然而,也已经提出了其它可能性来调整这种ROI滤波器的ROI,例如通过移动ROI的执行机构的系统来调整这种ROI滤波器的ROI。滤波器设备的空间调制的时间变化可以基于用户输入,但是也可以通过调节视角例如实时进行。
关于亮度校正掩模的确定,已经提出了基于模型的方法,例如以便估计所述掩模,其中,模型使用诸如管设置、几何结构值和滤波器设置之类的参数。由于问题非常复杂,这种模型方法尚未被证明具有任何重大价值。因此,还有一种方法可以从校准测量中得出用于亮度调整的掩模,即通过使用在没有物体的情况下记录的图像(所谓的“平场图像(Flat-Field Images)”)。在这种情况下,首先使用滤波器设备记录X射线图像,然后用相同的系统设置但是不使用滤波器设备记录另外的X射线图像。然后可以通过不使用滤波器设备记录的X射线图像中减去使用滤波器设备记录的X射线图像,从所述X射线图像中得出亮度校正掩模。
在这样的校准测量中,对于ROI滤波器已经证实了掩模中ROI内的值原则上为零,并且在外部区域中处于原则上恒定的较高值,但是其中,ROI内的值与ROI外的值之间的平滑过渡已经建立。这产生了一种印象,即必须可以设想用于得出亮度校正掩模的基于模型的校正,但是其中,还确定了掩模中的ROI的形状偏离了ROI滤波器处的ROI的形状。例如,掩模中ROI的映射不是圆形的,尽管这对于滤波器设备的ROI而言是正确的。这可能出于不同的原因,例如X射线源的焦点的抖动和/或物理ROI滤波器相对于X射线辐射场的位置。
已经证明,在存在要成像的对象、特别是患者的情况下,亮度校正掩模的推导甚至更加困难。除了已经提到的因素(例如抖动的焦点和物理ROI滤波器在X射线辐射场中的布置)外,还产生了杂散辐射、射束硬化和足跟效应,它们同样起着重要作用。因此,使用依赖于各种系统参数的基于模型的方法大多证明不足以补偿X射线图像中的亮度,特别是在从ROI到外部区域的过渡区域中。
在医学物理学37(2010)第694–703页的S.Schafer等人的文章“Filtered regionof interest cone-beam rotational angiography”提出了一种可能的方法。在这种方法中,过渡区域中的像素使用复杂的基于插值的方法来重建。然而,这些方法通常被证明是不够的、在鲁棒的实施中过于复杂并且不适合实时使用,但是其对于监视医疗干预具有重要意义。
从NAGESH,SV Setlur等人的出版物Image processing using ConvolutionalNeural Network(CNN)for Region of lnterest(ROI)fluoroscopy.In:Medical lmaging2020:Biomedical Applications in Molecular,Structural,and Functionallmaging.International Society for Optics and Photonics,2020.S.1131718.中,已知借助卷积神经网络(Convolutional Neural Network,CNN)来改善剂量减少的图像区域的图像质量。在此,借助使用圆形的关注区域(Region-of-Interest,ROI)过滤器记录的图像数据来对CNN进行训练。经过训练的CNN首先从图像数据中得出与ROI过滤器对应的掩码,然后减少过滤后的图像区域的噪声。
从NAGESH,SV Setlur;BEDNAREK,D.R.;RUDIN,S.的出版物Estimation ofattenuator mask from region of interest(ROI)dose-reduced images forbrightness equalization using convolutional neural networks.In:Medicallmaging 2019:Physics of Medical lmaging.中,已知借助CNN使剂量减少的图像区域的图像亮度与非剂量减少的图像区域的图像亮度彼此相适应。在此,借助使用不同的ROI过滤器记录的图像数据来对CNN进行训练。经过训练的CNN首先从图像数据中得出与ROI过滤器对应的掩码,然后使过滤后的和未过滤的图像区域的图像亮度彼此相适应。
从US2014/0 198 131A1中已知一种用于显示对象的图像的方法。所显示的图像由至少两个部分构成,显示该至少两个部分,以便示出对象的统一图像。图像的一部分使用第一时间过滤器得出,并且图像的另一部分使用第二时间过滤器得出。
从DE 10 2019 215 242 A1中已知一种方法,所述方法确定通过要记录的患者的X射线辐射的前向散射分布和后向散射分布。为此,通过经过训练的评估函数对患者的X射线图像和描述患者的三维外部形状的患者信息进行处理。经过训练的评估函数包括确定前向散射分布的第一解码器和确定后向散射分布的第二解码器。
发明内容
因此,本发明要解决的技术问题是,给出了一种用于在X射线图像中进行亮度校正的一种相对改进的可能性,所述X射线图像是利用对X射线辐射场中的X射线剂量进行空间调制的滤波器设备、特别是ROI滤波器记录的,这种可能性特别是带来了高的图像质量和实时能力。
为了解决上述技术问题,根据本发明,提供了根据本发明的计算机实现的方法和系统、X射线设备、计算机程序和电子可读数据介质。有利的示例性实施例从下面的描述中得到。
在用于提供用于X射线图像的校正算法的计算机实现的方法中,X射线图像使用发射X射线辐射场的X射线源、对X射线辐射场中的X射线辐射剂量进行空间调制的滤波器设备以及X射线检测器来记录,滤波器设备特别地是ROI滤波器。根据本发明提供一种校正算法,包括根据第一输入数据、确定第一输出数据的经训练的第一处理函数,第一输入数据包括描述所述X射线辐射场和/或测量的至少一个第一物理参数和描述滤波器设备的空间调制的至少一个第二物理参数,第一输出数据包括掩模,该掩模用于X射线图像中的针对滤波器设备的空间调制的亮度补偿,其中,所述方法包括:
-提供第一训练数据,所述第一训练数据包括第一训练数据集,每个所述第一训练数据集具有掩模,其中,每个第一训练数据集被分配有针对确定所述掩模而分配的第一输入数据的第一物理参数和第二物理参数,
-为所述掩模提供自动编码器,其中,所述自动编码器具有用于确定所述掩模的潜在空间表示的编码器和用于根据所述潜在空间表示确定比较掩模的解码器,
-通过所述第一训练数据训练所述自动编码器,
-确定分配给第一训练数据集的第一输入数据的物理参数与相应第一训练数据集的掩模的潜在空间表示之间的分配规则,
-以所述分配规则和经训练的解码器的组合的方式提供所述经训练的第一处理函数。
该根据本发明的第一方法因此可以被理解为用于提供校正算法的提供方法(或者也可以是训练方法),这使得改进的亮度校正成为可能。在这种情况下,关于提供方法和系统以及校正方法和系统、X射线设备以及相应的计算机程序和/或电子可读数据介质,在下文中描述本发明的解决方案。在这种情况下,实施例的特征、优点或形式可以在不同主题之间转换。换言之,这意味着对于用于提供的方法和系统可以通过在用于校正的方法和系统的上下文中描述或要求保护的特征来改进,反之亦然。
本发明采用经训练的处理函数的形式的人工智能。一般来说,可以说训练函数(也可以称为人工智能的算法)映射与人类心智功能相关的认知功能。通过基于训练数据对训练函数进行训练,能够适应新的环境、进行检测以及对模式进行推断。
一般来说,训练函数的参数可以通过训练来调整。例如,可以使用监督训练、半监督训练、无监督训练、强化学习和/或主动学习。在本发明的框架内,特别是可以将表示学习(也称为“特征学习(Feature Learning)”)用于第一处理函数。一般来说,训练函数的参数可以通过多个训练步骤迭代地调整。
训练函数特别是可包括神经网络、支持向量机(Support Vector Machine,SVM)、决策树和/或贝叶斯网络,和/或训练函数可基于k均值聚类、Q学习、遗传算法和/或分配规则。特别地,神经网络可以是深度神经网络、卷积神经网络(Convolutional NeuralNetwork,CNN)或深度CNN。神经网络还可以是对抗网络、深度对抗网络和/或生成对抗网络(Generative Adversarial Network,GAN)。在本发明的框架内,经训练的处理函数特别是包括至少一个CNN。
这种提供方法的目的在于提供一种校正算法,该算法根据校正算法的输入数据确定掩模:该掩模使得在要校正的X射线图像中实时进行亮度补偿成为可能,并且图像质量尽可能无伪影。因此,掩模涉及亮度校正掩模,优选附加地应用该掩模。
为此,首先根本上设置为,在训练数据掩模的基础上训练第一处理函数,这些掩模已针对不同的系统设置确定,由第一物理参数和第二物理参数描述。在这种情况下,已认识到应当使用与X射线设备的大体系统设置(即具体地,X射线辐射的产生、记录几何结构和检测器设置)相关的第一物理参数以及描述滤波器设备及其当前状态的第二物理参数。在这种情况下,第一物理参数和第二物理参数优选地至少覆盖这样的系统设置:其对于要校正的X射线图像中不同亮度的影响被视为必不可少。
现在使用第一训练数据的掩模图像来训练自动编码器,特别是包括CNN的卷积自动编码器。在此过程中,训练自动编码器的编码器以通过最小的特性集合、即潜在空间表示来描述输入掩模。训练自动编码器的解码器以使用被编码为潜在空间表示的特性并重建掩模输入。这意味着获得比较掩模作为自动编码器的输出,使得其与第一训练数据的掩模输入之间的差异最小化。
进一步过程背后的想法是,现在,为了根据潜在空间表示(即最小的特性集合)最精确地重建掩模,相似的掩模应当具有相似的潜在空间表示。换言之,由于实际表示系统设置/记录参数的物理参数之一的变化而不同的掩模在潜在空间中具有可比较的潜在空间表示,其中,潜在空间参数中出现一些差异,其涉及与相应的第一物理参数或第二物理参数相关的特性。例如,如果关于ROI的映射几何结构改变,即其随着变化进行映射,则潜在空间表示的潜在空间参数会出现差异,这些参数描述了ROI在掩模中的位置。
如果现在第一训练数据的第一物理参数和第二物理参数覆盖了可以设置第一物理参数和第二物理参数的可能的感兴趣区域,则通过分配规则描述的物理参数和相关潜在空间表示之间的关系可以被概括为从通过训练数据集呈现的测量点开始、优选地通过拟合和/或内插和/或外插。因此,通过分配规则,也可以针对第一训练数据中不包含的第一物理参数和第二物理参数的集合,确定潜在空间表示。为此经训练的解码器提供相应的掩模。
因此,第一处理函数由分配规则和解码器的组合构成,并且作为用于描述系统设置的第一物理参数和第二物理参数的不同集合的第一输入数据,为这些系统设置提供合适的掩模。
这种方法带来了多个优点。提供了一种基于机器学习的方法,所述方法基于X射线物理学,通过使用滤波器设备减少伪影,该滤波器设备在空间上调制X射线辐射剂量,从而提高图像质量。通过校正算法,提供了一种能够实时执行的工作流程,用于分析和校正由于滤波器设备而产生的伪影。在这种情况下,所提出的物理驱动方法使表示学习和所学习的潜在空间参数的插值成为可能,因此特别有利地,还避免了在不同系统设置下记录难以管理的多个校准图像的必要性,以便确定合适的掩模图像。以这种方式,节省了对不同X射线设备进行详尽校准的时间,并且仍然提供了有效的校正。
有利地,可以设置为,将潜在空间表示的更大数量的潜在空间参数用作第一输入数据的物理参数。具体而言,例如可以使用3到30个第一输入数据的物理参数和/或3到30个潜在空间表示的潜在空间参数。使用更多的潜在空间参数作为物理参数带来了最终存在过度确定的优点,这使得以特别可靠的方式确定分配规则成为可能。例如,当使用4个第一和第二物理参数时,使用10个潜在空间表示的潜在空间参数,当使用10个第一和第二物理参数时,使用25个潜在空间参数。然而,当然也可以想到其它实施例。
特别有利的是,至少部分地通过拟合和/或内插和/或外插来确定至少一个函数关系,特别是仅包含函数关系的分配规则。这意味着,特别有利的是,保持分配规则尽可能简单,从而可以以不复杂的方式实施,特别是在相应校正系统中的实时能力方面。在这种情况下已经表明,简单的函数关系实际上是完全足够的,然后可以通过拟合、内插和/或外插技术对该函数关系进行参数化以相应地确定分配规则。这意味着,在优选示例性实施例中,人工智能本身进一步不用于分配规则。
对于第一和第二物理参数的具体选择存在多个可能性。在这种情况下,每个情况下的第一物理参数可以至少包括每个情况下的子组中的一个第一物理参数,其中,子组包括具有与X射线辐射的产生和/或修改有关的第一物理参数的子组,具有与记录几何结构有关的第一物理参数的子组和具有与测量(特别是通过X射线检测器)有关的第一物理记录参数的子组。可选地,X射线源的焦点的抖动也可以通过第一物理参数来映射,该X射线源然后具体实施为X射线管。这种效应通常也被称为与滤波器设备相关的“晃动(Wobbling)”。特别是在校正算法中也使用第二处理函数时(这将在下面更详细地讨论),也可以由此考虑与焦点抖动有关的影响。
在本发明的具体的扩展方案中,例如可以设置为,第一物理参数选自包括以下的组:
-X射线源的管电压,
-X射线源的管电流,
-预滤波参数和/或孔径参数,
-X射线源与X射线检测器的距离,
-X射线源与滤波器设备的距离,
-滤波器设备与X射线检测器的距离,
-产生X射线辐射场的X射线脉冲的脉冲长度,
-从记录一系列X射线图像开始的X射线脉冲的数量,
-描述焦点的几何形状的至少一个焦点参数,
-X射线检测器的缩放,
-X射线检测器的朝向,以及
-X射线检测器的帧率,
和/或第二物理参数选自包括以下的组:
-滤波器设备的材料,
-至少一个滤波器厚度参数,特别是描述滤波器厚度变化过程的滤波器厚度参数,以及
-描述所述空间调制的时间参数的至少一个随时间的变化。
因此,用于产生X射线辐射或用于在X射线到达滤波器设备之前对其产生影响的参数(特别是管电压、管电流、预滤波参数和/或孔径参数)特别描述了出现的X射线辐射场的强度以及形状(例如存在扇形射束或锥形射束几何形状)以及基本X射线剂量或其分布,其中,所有这些系统设置最终给出了在不存在滤波器设备的情况下X射线检测器测量的参数的指示,但是这也可以与滤波器设备本身的滤波效果有关。在此同样重要的是记录几何形状,特别是已经与作为对象的滤波器设备有关的几何形状,因为这涉及在X射线检测器上完成空间调制滤波器设备的映射的问题。在这方面在本发明的框架内已知并且也有用的变量包括X射线源与X射线检测器的距离,通常也称为SID(“source image distance(源图像距离)”);X射线源与滤波器设备(其实际上构成对象)之间的距离,其中,这个距离通常也称为SOD(“source object distance(源对象距离)”);滤波器设备与X射线检测器的距离(OID–“object image distance(对象图像距离)”)。在这种情况下,这些参数中的两个已知就足够了,因为第三个显然是从这两个得出的。
焦点抖动的影响也可能是很重要的,这可能例如由于电磁场而出现。由于滤波器设备通常布置得相对靠近焦点,例如距离为3到10厘米,特别是5厘米,“抖动”的这种小的“抖动效应”可以被放大为滤波器设备的特定子区域、特别是ROI的晃动。由于抖动主要紧跟在图像记录开始之后的特定时间过程之后发生,这对于监视医疗干预而言涉及到一个接一个地记录多个单独的X射线图像(帧),因此自开始记录一系列X射线图像以来产生X射线辐射场的X射线脉冲的脉冲长度和X射线脉冲的数量已经被证明是有用的第一物理参数,就像X射线检测器的帧速率一样。如果然后例如已知从开始记录当前系列的X射线图像以来存在的帧数量,则可以根据基本已知的运动顺序对关于抖动焦点或晃动ROI的当前位置进行推断。在这种情况下,一般应指出,由于起点通常是纯点状焦点,因此同样可以适宜地考虑与其相关的偏差,即描述焦点几何形状的焦点参数。X射线检测器的其它参数(例如X射线检测器的缩放和/或朝向)依次主要涉及现有的记录几何形状。然而,检测器的移动、例如那里的振动或抖动也可以发生并且由第一物理参数描述。
关于上述第二物理参数以及描述衰减效应、反映滤波器设备的滤波材料的第二物理参数,它们特别是可以反映(当前)滤波器厚度变化过程,例如参考至少一个滤波器厚度参数。适宜地,它们也可以是描述空间调制随时间的变化的时间参数,特别是当与此有关的信息可用时,例如,ROI的新位置刚刚被移动,这由用户输入引起并以特定的速度曲线来执行,或者构成医疗器械、例如导管的明确预定义的跟踪任务。能够由时间参数描述的其它影响也可以包括滤波器设备例如在电机运行期间的“抖动”。由于通过眼追踪(Eye Tracking)很难做出预测,因此可以将这种影响推迟到更有利的处理阶段,这将在本文中进一步讨论。
特别是有利地,第一训练数据集可以根据使用或不使用滤波器设备记录的X射线图像、特别是平场X射线图像确定。因此,迄今为止经常用作校准测量的过程可用于创建第一训练数据,这是因为是在没有患者的情况下进行记录的,特别是平场X射线图像,其中,在每种情况下都使用相同的系统设置,即相同的第一和第二物理参数。如果(在通常的对数变换之后)从在不使用滤波器设备的情况下的X射线图像中减去使用滤波器设备情况下的X射线图像,则生成训练数据的相应掩模。在这种情况下,还应在上下文中笼统指出,在本发明的框架内的校正可以因此优选地通过添加用于校正要校正的X射线图像、特别是经对数变换的要校正的X射线图像的掩模来进行。
在本发明的一个特别有利的设计方案中,由校正算法以及第一处理算法、还包括第二处理算法来建立两阶段过程的基础,通过该第二处理算法,通过第一处理算法,使得根据第一输入数据确定的掩模将在其它效果、特别是系统设置方面得到改进,并且特别是在一般条件下再次得到大大改进。具体而言,在这种特别有利的实施例类型中,提供还具有第二处理函数的校正算法,该第二处理函数在经训练的第一处理函数下游,用于细化通过第一处理函数确定的掩模,其中,第二处理函数具有生成器网络,生成器网络使用针对其要确定细化掩模的X射线图像以及要细化的掩模作为第二输入数据,其中,要细化的掩模通过第二输入数据、借助针对第二输入数据的所述物理参数的经训练的第一处理函数来确定,其中,对于训练第二处理函数:
-提供第二训练数据,该第二训练数据包括对象、特别是患者的X射线图像,所述X射线图像在使用和不使用滤波器设备的情况下被记录、被分配有所述第一输入数据的物理参数,
-提供鉴别器网络,以补充生成对抗网络(GAN),该鉴别器网络用于对不使用滤波器设备的情况下记录的X射线图像与借助细化掩模获得的、作为第二输出数据接收的校正X射线图像进行区分,
-对于训练所述生成器网络和所述鉴别器网络,将所述鉴别器网络的输出、特别是对抗性损失值用于拟合所述生成器网络和所述鉴别器网络,所述鉴别器网络的输出通过将第二训练数据集的校正的X射线图像与在不使用所述滤波器设备的情况下记录的第二训练数据集的X射线图像进行比较而获得,以及
-提供包括经训练的第一处理函数和经训练的第二处理函数的组合的校正算法。
这意味着,在校正算法中以及因此在提供方法中,实现了两阶段过程,其中,表示学习与生成对抗网络相结合,以训练第一和第二处理函数,其中,第一处理函数作为其基本假设、根据系统设置提供了对亮度校正掩模(即要细化的掩模)的第一估计,该掩模然后通过第二处理算法再次得到大大改进,特别是考虑无法从系统设置中导出或直接导出的效果。
在此,建议也考虑要校正的实际X射线图像,该图像具有也可归因于滤波器设备的映射效应的亮度特性,因此可以通过生成器网络提取该特性以对要细化的掩模进行细化。换句话说,首先通过将解码器应用于与系统设置相对应的潜在空间表示来计算由于当前系统设置而导致的掩模估计。基于用滤波器设备记录的X射线图像(再次地特别是在应用对数变换之后),进行细化。在这种情况下,生成器网络可以使用残差块、跳跃连接、下采样层、上采样层和/或空间变换层。然后获得细化掩模作为输出,借助该掩模可以确定校正的X射线图像,特别是通过将掩模添加到要校正的第二输入数据的X射线图像中。为了训练,鉴别器网络将该校正的X射线图像与存在于第二训练数据中的X射线图像(未使用滤波器设备记录)进行比较,因为这样的图像当然应当对应于它。在这种情况下,应当注意的是,使用和不使用滤波器设备记录的X射线图像不一定必须与相同的对象或相同的条件相关,因为作为对抗系统的鉴别器应当能够将质量区分为“带有”和“不带有”滤波器效果。换句话说,与GAN一样,生成器试图“欺骗”鉴别器,而鉴别器则试图“看穿”生成器。鉴别器的结果用于在迭代步骤中调整生成器网络和鉴别器网络的参数,正如从GAN概念中已知的那样。这意味着鉴别器网络使用所谓的“对抗性训练”或基于对抗性的训练来区分真实图像(在没有滤波器设备的情况下)和正在采用的经过校正的计算的X射线图像。鉴别器网络的输出可以是对抗性损失值,例如“对抗性损失”或“分类损失”。该输出可用于更新生成器网络和鉴别器网络。一旦训练结束,用作进一步处理函数的生成器网络将能够传送细化掩模,在将其应用于校正后,获得与真实X射线图像极其精确对应的校正的X射线图像。
第二处理函数特别有利地考虑了不能从系统设置中得出的效果或仅能从系统设置中困难地得出的效果。这些效果特别是还可以是由于实施为X射线管的X射线源的定子的驱动频率引起的、由于电磁场导致的焦点的“抖动”。然而,除此之外,以下也被考虑在内:由滤波器设备给出的区域(例如ROI)的这种晃动,以及进一步的时间效果、特别是难以预测的效果,例如滤波器设备处的快速变化通过眼动追踪,即根据进行医疗干预的人的当前视角来调整例如ROI(“眼追踪”)。然而,最后还考虑了要记录的对象的显著效果,特别是包括射束硬化和/或散射辐射效果。因此,第二处理函数的添加再次显著提高了通过校正算法可获得的校正的质量和鲁棒性。
这使得可以创建极其逼真、无伪影的校正X射线图像,进而可以显著减少X射线剂量,因为即使在低剂量的情况下也能获得出色的效果。
应当指出,本发明(特别是在具有第一和第二处理函数的设计方案中)还允许降低开发和使用在作为X射线源的X射线管内对不同成分进行内部筛选的特定且昂贵的技术的成本。这特别是因为具有第二处理函数的方法可以潜在地校正所有源的亮度变化,无论是技术上的还是特定于患者的,因此特别是在相同(甚至更低)的开发支出的情况下提供了更好的结果。
所提出的解决方案使得即使在低脉冲长度的情况下也可以使用半透明滤波器设备记录X射线图像,这是因为通过第一处理函数和/或通过第二处理函数,由焦点的抖动产生的伪影将被校正。这特别是还允许通过使用半透明滤波器设备来使用双能量成像,其中,以不同能量谱、短间隔记录相同场景的连续帧,其中,提供极短的脉冲长度以便保证空间映射的真实性。
特别有利的是可以设置为,至少在其训练期间,生成器网络可以接收限制其第二输出数据的至少一个边界条件作为另外的第二输入数据。具体而言,至少一个边界条件可以选自例如包括以下的组:
-限制所述细化掩模与所述要细化的掩模之间和/或所述细化掩模与可能的要细化的掩模的空间之间的偏差的边界条件,
-确保所述细化掩模的平滑度的边界条件,以及
-限制用于从要细化的掩模获得细化掩模的算术运算的类型的边界条件。
边界条件因此可以例如确保细化掩模属于由第一处理函数确定的掩模的空间,或者至少非常接近于所述空间。边界条件可以进一步确保平滑度,且只允许一组特定的算术运算,以便从要细化的掩模得到细化掩模。以这种方式,可以使用物理驱动的边界条件来防止校正算法产生会扰乱医务人员的不切实际的输出。边界条件也有助于在校正的X射线图像中实现总体的亮度稳定。原则上,边界条件的使用和定义在现有技术中是已知的,因此这里不必更详细地对其进行讨论。
因此,所提出的基于机器学习并由X射线物理驱动的方法使用源自关于现实和物理的实际知识的边界条件。这确保了校正算法提供掩模以及真实且没有任何令人困惑的伪影的校正的X射线图像。
如已经提到的,X射线图像(如现有技术中通常的那样)在其使用之前、特别作为训练数据和/或输入数据而被对数变换。这意味着它们在随后最终用于显示器的状态下被处理,这对于亮度补偿是有利的。
由提供方法提供的校正算法实际上可以用于校正使用滤波器设备记录的X射线图像。因此,本发明还涉及一种计算机实现的方法,其通过根据本发明的方法提供的校正算法校正X射线图像,该X射线图像使用发射X射线辐射场的X射线源、对X射线辐射剂量进行空间调制的滤波器设备(特别是ROI滤波器)和X射线检测器来记录,其中,校正方法包括以下步骤:
-通过校正算法、根据分配给要校正的X射线图像的至少第一输入数据确定掩模,
-使用所述掩模来校正要校正的X射线图像。
在校正算法以及经训练的第一处理函数、还包括经训练的第二处理函数的情况下,第一和第二输入数据共同被视为校正算法的整体输入数据,其中,最初第一输入数据、即第一和第二物理参数用于确定要细化的掩模,其中,要细化的掩模与第二输入数据的要校正的X射线图像联合使用以确定细化掩模并将其用于校正要校正的X射线图像。与本发明的提供方法有关的评述可以类推到本发明的校正方法中,利用该校正方法同样可以获得已经说明的优点。
适宜地,可以将去噪方法附加地应用于校正的X射线图像。这意味着可以进一步改进校正后的X射线图像的噪声,这还允许减少X射线剂量,因为在去噪的校正的X射线图像中,以前可能已经受到噪声影响的结构更容易被识别。在这种情况下可以采用现有技术中基本已知的去噪方法。
本发明还涉及一种用于提供用于X射线图像的校正算法的系统,该X射线图像是使用发射X射线辐射场的X射线源、对X射线辐射剂量进行空间调制的滤波器设备(特别是ROI滤波器)和X射线检测器来记录的,其中,校正算法包括根据第一输入数据、确定第一输出数据的经训练的第一处理函数,该第一输入数据包括描述X射线辐射场和/或测量的至少一个第一物理参数以及描述滤波器设备的空间调制的至少一个第二物理参数,该第一输出数据包括掩模,该掩模用于X射线图像中的针对滤波器设备的空间调制的亮度补偿,其中,提供系统包括:
-第一训练接口,用于提供第一训练数据的所述第一训练数据包括第一训练数据集,每个所述第一训练数据集具有掩模,其中,每个第一训练数据集被分配有针对确定所述掩模而分配的所述第一输入数据的第一物理参数和第二物理参数,
-第一训练单元,用于通过所述第一训练数据为所述掩模训练自动编码器,其中,所述自动编码器具有用于确定所述掩模的潜在空间表示的编码器和用于根据所述潜在空间表示确定比较掩模的解码器,
-规则确定单元,用于确定分配给第一训练数据集的第一输入数据的物理参数与相应第一训练数据集的掩模的潜在空间表示之间的分配规则,
-第二训练接口,用于以所述分配规则和经训练的解码器的组合的方式提供所述经训练的第一处理函数。
换言之,提供系统被实施为执行本发明的提供方法。为此,它可以使用至少一个处理器和/或至少一个存储装置,其中,所描述的相应功能单元可以通过硬件和/或软件来实现。
特别有利地,在校正算法进一步具有在经训练的第一处理函数下游的、用于细化由第一处理函数确定的掩模的经训练第二处理函数情况下,其中,第二处理函数具有生成器网络,该生成器网络使用要针对其确定细化掩模的X射线图像以及第二输入数据的X射线图像的要细化的掩模,该要细化的掩模通过用于第一输入数据的物理参数的经训练的第一处理函数确定,提供系统可以具有:
-第二训练接口,用于接受对象、特别是患者的X射线图像,该X射线图像在使用和不使用滤波器设备的情况下被记录、被分配有所述第一输入数据的物理参数,
-第二训练单元,用于训练由生成器网络和鉴别器网络形成的生成对抗网络,其中,鉴别器网络用于对不使用滤波器设备(37)的情况下记录的X射线图像(65)与借助细化掩模(71)获得的、作为第二输出数据的校正X射线图像(74)进行区分,其中,第二训练单元被实施为通过将第二训练数据集的校正的X射线图像与在没有滤波器设备的情况下记录的第二训练数据集的X射线图像进行比较,使用鉴别器网络的输出来调整生成器网络和鉴别器网络,以及
-第四训练接口,用于提供包括经训练的第一处理函数和经训练的第二处理函数的组合的第二校正算法。
提供根据本发明的用于校正X射线图像的系统,所述X射线图像是使用发射X射线辐射场的X射线源、对X射线辐射剂量进行空间调制的滤波器设备以及X射线检测器来记录的,所述滤波器设备特别地是ROI滤波器,所述系统具有:
-第一应用接口,用于接受从根据本发明的提供系统提供的校正算法,
-第二应用接口,用于接受要校正的X射线图像以及所分配的第一物理参数和第二物理参数,
-掩模确定单元,用于通过校正算法、根据分配给要校正的X射线图像的至少第一输入数据确定掩模,
-校正单元,用于使用所述掩模校正要校正的X射线图像,以及
-第三应用接口,用于提供校正的X射线图像。
前面所述的内容当然也继续适用于校正系统,其中,校正系统特别地实施为执行本发明的校正方法。校正系统还可以具有至少一个处理器和至少一个存储装置。再次,针对功能单元可以采用硬件和/或软件。
本发明还涉及一种X射线设备,该X射线设备具有X射线源、X射线检测器、对X射线辐射剂量进行空间调制的滤波器设备和控制设备,其中,所述控制设备具有根据本发明的校正系统。这意味着可以直接在记录X射线图像的X射线设备处通过亮度补偿对X射线图像进行校正,这在医学干预、特别是微创干预的图像监控期间是有利的。为此,X射线设备特别是也可以具有显示设备,在该显示设备上显示经校正的X射线图像。当然,之前的陈述继续适用于X射线设备。除了校正系统之外、X射线设备还可以具有根据本发明的提供系统作为控制设备的一部分的实施例也是可以想到的。
本发明的X射线设备特别是可以实施为具有C形臂的X射线设备,X射线源和X射线检测器彼此相对地布置在该C形臂上。这种C形臂X射线设备经常用于透视的医疗干预,因此它们也可以称为介入C形臂X射线设备。
本发明的计算机程序能够直接加载到计算设备(特别是提供系统和/或校正系统的计算设备和/或X射线设备的控制设备)的存储装置中,该计算设备具有当计算机程序在计算设备或控制设备上执行时用于执行本文所述的校正方法和/或提供方法的步骤的程序装置。计算机程序可以存储在根据本发明的电子可读数据介质上,该数据介质因此包括控制信息,该控制信息包括至少一个本发明的计算机程序并且以这样的方式实施:当数据介质在计算设备中使用时,所述介质执行根据本发明的提供方法和/或校正方法的步骤。数据介质特别是可以涉及非易失性数据介质,例如CD-ROM。
附图说明
本发明的其它优点和细节从下面描述的示例性实施例中以及借助附图来得到。在附图中:
图1示出了神经网络的示例性实施例(现有技术),
图2示出了卷积神经网络(CNN)的示例性实施例(现有技术),
图3示出了本发明的X射线设备的基本示意图,
图4示出了在患者记录期间产生的记录几何结构(现有技术),
图5示出了实施为ROI滤波器的滤波器设备(现有技术),
图6示出了使用根据图5的滤波器设备记录的要校正的X射线图像的示意图(现有技术),
图7示出了确定用于校正要校正的X射线图像的掩模的图,特别是确定第一训练数据的图(现有技术),
图8示出了本发明的提供方法的第一阶段的流程图,
图9示出了本发明的提供方法的第二阶段的流程图,
图10示出了本发明的校正方法的流程图,
图11示出了根据本发明的提供系统的功能结构,以及
图12示出了根据本发明的校正系统的功能结构。
具体实施方式
图1示出了人工智能神经网络1的示例性实施例。这种网络的其它表述是“人工神经网络(artificial neural network)”、“神经网络(neural network)”、“人工神经网(artificial neural net)”或“神经网(neural net)”。
人工神经网络1包括节点6到18和边19到21,其中,每个边19到21是从第一节点6到18到第二节点6到18的有向连接。通常第一节点6到18和第二节点6至18是不同的节点6至18,但是也可以想到第一节点6至18和第二节点6至18是相同的。例如在图1中,边19是从节点6到节点9的有向连接,边21是从节点16到节点18的有向连接。从第一节点6到18到第二节点6到18的边19到21被称为第二节点6到18的输入边(“ingoing edge”)和第一节点6到18的输出边(“outgoing edge”)。
在该实施例中,人工智能神经网络1的节点6到18可布置在层2到5中,其中,层可具有固有顺序,其由节点6到18之间的边19到21引入。具体地,边19至21可以仅设置在节点6到18的相邻层之间。在所示的示例性实施例中,存在输入层110,其仅具有节点6、7、8且在任何情况下都没有输入边。输出层5仅包括节点17、18,在任何情况下都没有输出边,其中,另外的隐藏层3和4位于输入层2和输出层5之间。一般情况下,可以选择任何数量的隐藏层3、4。输入层2的节点6、7、8的数量通常对应于神经网络1中输入值的数量,输出层5中的节点17、18的数量通常对应于神经网络1的输出值的数量。
具体地,可以将(实)数分配给神经网络1的节点6到18。在这种情况下,x(n)i指的是第n层2-5的第i个节点6到18的值。输入层2的节点6、7、8的值等于神经网络1的输入值,而输出层5的节点17、18的值等于神经网络的输出值1。在这条边19、20、21之上和上方可以分配一个实数形式的权重。具体地,权重是区间[-1,1]或区间[0,1]中的实数。在此,w(m,n) i,j表示第m层2到5的第i个节点6到18与第n层2到5的第j个节点6到18之间的边的权重。此外,为权重定义了缩写
为了计算神经网络1的输出值,输入值传播通过神经网络1。特别是,第(n+1)层2到5的节点6到18的值可以基于第n层2-5的节点6-18的值、通过
来计算。
在此,f是传递函数,也可以称为激活函数。已知的传递函数是阶跃函数、Sigmoid函数(例如逻辑函数、广义逻辑函数、正切双曲线、反正切、误差函数、平滑阶跃函数)或整流函数(Rectifier(整流器))。传递函数主要用于标准化。
特别是,这些值通过神经网络1逐层传播,其中,输入层2的值由神经网络1的输入数据给出。第一隐藏层3的值可以基于神经网络1的输入层2的值来计算,第二隐藏层4的值可以根据第一隐藏层3中的值来计算等等。
为了能够确定边19到21的值必须使用训练数据来训练神经网络1。具体而言,训练数据包括训练输入数据和训练输出数据,以下将其称为ti。对于训练步骤,将神经网络1应用于训练输入数据以确定计算的输出数据。具体地,训练输出数据和计算的输出数据包括多个值,其中,值的数量被确定为输出层5的节点17、18的数量。
特别是,使用计算的输出数据和训练输出数据之间的比较,来递归地调整神经网络1内的权重(反向传播算法-“back propagation algorithm”)。特别是,权重可以根据
来改变。其中,γ是学习率;当第(n+1)层不是输出层5时,数字可以基于作为
来递归地计算,并且如果第(n+1)层是输出层5,则
其中,f'是激活函数的一阶导数,是输出层5的第j个节点17、18的比较训练值。
下面关于图2还给出了卷积神经网络(CNN)的示例。在此示例中,应注意,所述图中的“层”(“layer”)的表述与经典神经网络的使用方式略有不同。对于经典的神经网络,“层”这一表述仅指形成一层的节点集,因此指的是特定的一代节点。对于卷积神经网络,表述“层”通常用作主动更改数据的对象,换句话说,用作同一代的节点集以及输入或输出边集。
图2示出了卷积神经网络22的示例性实施例。在所示示例性实施例中,卷积神经网络22包括输入层23、卷积层24(Convolutional Layer)、池化层25、全连接层26和输出层27。在替代实施例中,卷积神经网络22可以包含多个卷积层24、多个池化层25和多个全连接层26,就像其它类型的层一样。可以选择给定的层顺序,其中,通常全连接层26形成紧接输出层27之前的层。
特别是在卷积神经网络22内,层23到27之一的节点28到32可以被理解为以d维矩阵布置或布置在d维图像中。具体地,在二维情况下,节点28到32的值可以通过第n层23到27中的索引i,j而被称为x(n)[i,j]。应当指出的是,层23到27的节点28到31的布置本身对卷积神经网络22内的计算本身没有任何影响,因为这些影响完全由边的权重和结构排他地产生。
卷积层24的具体特点在于输入边的结构和权重形成基于特定数量的内核的卷积操作。特别是,可以选择输入边的结构和权重,使得基于前一层23的节点28的值x(n-1)将卷积层24的节点29的值确定为卷积其中,在二维情况下卷积*可以被定义为
其中,第k个核Kk是d维矩阵,在该示例性实施例中是二维矩阵,与节点28到32的数量相比,其通常较小,例如3x3矩阵或5x5矩阵。具体地,这意味着输入边的权重不是独立的,而是被选择以使得它们构建上面的卷积等式。在形成3x3矩阵的内核的示例中,仅存在9个独立权重(其中,内核矩阵的每个条目对应独立的权重),与对应层23到27中的节点28到32的数量无关。特别是对于卷积层24,卷积层24中节点29的数量等于前一层23中的节点28的数量乘以卷积核的数量。
当前一层23的节点28被布置为d维矩阵时,使用多个核可以被理解为插入了另外的维度,也称为深度维度,从而使得卷积层24的节点29被布置为(d+1)维矩阵。当前一层23的节点28已经被布置为具有深度维度的(d+1)维矩阵时,使用多个卷积核可以被理解为沿深度维度的扩展,使得卷积层24的节点29等分布置为(d+1)维矩阵,其中,(d+1)维矩阵在深度维度方面的大小比前一层23大由内核数量形成的因数。
使用卷积核24的优点是可以通过正在创建的相邻层的节点之间的局部连接模式来利用输入数据的空间局部相关性,具体地每个节点仅连接到前一层小区域的节点。
在所示的示例性实施例中,输入层23包括36个节点28,它们被布置为二维6×6矩阵。卷积层24包括72个节点29,它们被布置为两个二维6×6矩阵,其中,两个矩阵中的每一个是输入层23的值与卷积核卷积的结果。同理,卷积层24的节点29可以理解为布置成3维的6x6x2矩阵,其中,最后提到的维度是深度维度。
池化层25的特点在于输入边的结构和权重以及其节点30的激活函数定义了基于非线性池化函数f的池化运算(Pooling-Operation)。例如,在二维情况下,池化层25的节点30的值x(n)可以基于前一层24的节点29的值x(n+1)根据下式计算:
x(n)[i,j]=f(x(n-1)[id1,jd2],…,x(n-1)[id1+d1-1,jd2+d2-1])。
换言之,可以通过使用池化层25来减少节点29、30的数量,因为前一层24中相邻节点29的d1×d2的数量由单个节点30替换,该节点根据所述数量的相邻节点29的值的函数来计算。具体地,池化函数f可以是最大函数、平均或L2范数。特别是对于池化层25,可以定义输入边的权重,而不是通过训练来修改输入边的权重。
使用池化层25的优点是减少了节点29、30的数量和参数的数量。这导致卷积神经网络22内所需的计算量减少,从而控制了过度拟合。
在所示的示例性实施例中,池化层25是最大池化层,其中,四个相邻节点由仅一个单个节点替代,其值由四个相邻节点的值中的最大值形成。将最大池化应用于前一层的每个d维矩阵;在这个示例性实施例中,将最大池化应用于两个二维矩阵中的每一个,使得节点的数量从七十二个减少到十八个。
全连接层26的特点在于在前一层25的节点30和全连接层26的节点31之间存在多个、特别是所有边,其中,每个边的权重可以被单独拟合。在该示例性实施例中,前一层25的节点30和全连接层26都被示为二维矩阵并且还被示为非连续节点(作为一行节点示出,其中,已经减少了节点的数量以便它们可以更容易地示出)。在该示例性实施例中,全连接层26中节点31的数量等于前一层25中节点30的数量。在实施例的替代形式中,节点30、31的数量可以不同。
此外,在该示例性实施例中,输出层27的节点32的值通过将softmax函数应用于前一层26的节点31的值来确定。通过应用softmax函数,输出层27的所有节点32的值之和是1,输出层的所有节点32的所有值都是0到1之间的实数。当卷积神经网络22用于输入数据的分类时,输出层27的值具体可以解释为输入数据落入不同类别之一的概率。
卷积神经网络22同样可以具有ReLU层,其中,ReLU是“rectified linear units(整流线性单元)”的首字母缩写。具体地,ReLU层内的节点数和节点结构等于前一层的节点数和节点结构。ReLU层中每个节点的值特别是可以通过对前一层的对应节点的值应用整流函数(rectifier function)来计算。整流函数的示例是f(x)=max(0,x)、正切双曲线函数或Sigmoid函数。
卷积神经网络22特别是可以基于反向传播算法进行训练。为了避免过拟合(overfitting),可以采用正则化方法,例如丢弃单个节点28到32、随机池化、使用人工智能数据、基于L1或L2标准或最大标准限制进行权重分解。
图3示出了本发明的X射线设备33的基本示意图。X射线设备33具有C形臂34,X射线源35(这里是X射线管)和X射线检测器36在该C形臂上彼此相对布置。X射线设备33还包括滤波器设备37、这里是ROI滤波器,其例如可以用于医疗干预、特别是微创干预的X射线监视,以减少患者和医务人员的X射线辐射剂量。X射线设备33的操作由控制设备38控制,该控制设备实施为校正系统39,用于校正X射线图像以平衡用滤波器设备37记录的亮度,因为滤波器设备37被实施为对X射线辐射剂量进行空间调制。可选地,控制设备38还可以包括提供系统40。校正系统39被实施为执行本发明的校正方法,提供系统40被实施为执行本发明的提供方法,这将在下面更详细地进行解释。
图4更详细地示出了当使用滤波器设备37时的记录几何结构。X射线源35从焦点41开始产生X射线辐射场42,以便记录患者43的记录区域,其在此处仅示意性地示出。这也可能导致滤波器设备37外的影响,其涉及滤波器设备37在X射线检测器36上的映射,根据本发明,在亮度补偿、即亮度校正掩模的确定中同样要考虑这些影响。因此,例如通过X射线管,这可能导致焦点41的“抖动”,由于滤波器设备37被布置在靠近焦点41的位置、例如在5cm的距离处,焦点41的“抖动”可以以相关方式映射为特定区域的“晃动”。还可以进一步相关的是,焦点41大多不是完全点状的,而是具有特定的几何形状。此外,患者43通过射束硬化、散射辐射等,可以对滤波器设备37在X射线检测器36处的映射产生影响,其中,X射线检测器36本身的进一步设置将被提及。因此要强调的是,为了确定要用于亮度补偿的正确亮度校正掩模,不仅关于滤波器设备37及其在成像期间的状态的知识是相关的,而且关于其它方面、特别是针对患者43的情况和影响的动态的系统设置的知识也是相关的。
图5更详细地示出了例如ROI滤波器的滤波器设备37的示例性实施例。滤波器设备37由滤波材料44(例如钨)构成,其具有限定ROI45的中央通道开口46,在该ROI中仍然存在标准剂量的X射线辐射,而在ROI45之外通过滤波材料44、例如薄钨层使得存在X射线辐射的强衰减。滤波器设备37还可以具有执行机构47,通过该执行机构47能够改变ROI45的大小和/或位置,例如通过更换各种可用的滤波板、移动滤波材料44等等。执行机构47可以例如根据用户输入的函数(用于跟踪医疗器械,例如导管)和/或根据眼跟踪数据的函数致动。
图6示出了使用图5的滤波器设备37记录的要校正的X射线图像48的示意图。ROI45被清晰可见地映射在X射线图像48中,因为在那里,患者43的解剖结构49看起来比ROI45周围的外部区域要亮得多,如交叉影线所示。如已经解释的,在这种情况下主要产生平滑过渡,然而,开口46的几何形状由于动态效应(例如焦点41的抖动)不一定以非常正确的形式再现。
图7示出了例如在校准测量中、如何例如至少关于系统设置及其影响来确定掩模的可能性。在这种情况下,可以以由第一和第二物理参数描述的特定、固定的系统设置来记录没有患者43的两个X射线图像50、51。X射线图像50是在不使用滤波器设备37作为对象的情况下的平场X射线图像,而X射线图像51是在使用了滤波器设备37的情况下的平场X射线图像。如果现在从X射线图像50中减去X射线图像51,参见步骤52,则生成掩模53。在这种情况下,像往常一样在确定掩模53之前对X射线图像50、51进行对数变换。当存在完全相同的系统设置时,掩模53可以用于对要校正的X射线图像48进行附加校正,但是其中,所描述的动态影响以及患者43的影响则不能被考虑在内。然而,这使得根据在此描述的本发明的示例性实施例的过程成为可能,此外还避免了对于所有可能的系统设置的极其昂贵的校准测量。
现在参考图8和图9描述根据本发明的提供方法,其中,图8涉及第一处理函数的训练,因此涉及第一阶段,图9涉及第二阶段的训练,因此涉及第二处理函数。通过结合经训练的第一处理函数和经训练的第二处理函数,可以提供用于校正X射线图像48的高度准确的掩模,包括许多在本发明的校正算法中使用时获得的效果。
第一处理算法涉及测量本身的特性,即特别是技术设置或系统设置(创建X射线辐射、几何结构、检测器操作、滤波器设备的特性或设置)。为了对其进行训练,在步骤S1和S2中,使用针对图7描述的方法,记录第一训练数据,其中,每个训练数据集包括掩模53以及用作第一输入数据的、在记录掩模53时使用第一和第二物理参数54、55。
第一和第二物理参数描述了所使用的X射线设备33的系统设置,其中,第一物理参数与X射线辐射场、其创建和测量有关,还包括记录几何形状和X射线检测器本身的操作;第二物理参数55明确地与滤波器设备37的特性有关。例如,第二物理参数55可以与滤波器材料、滤波器材料厚度以及ROI45的大小和位置有关,如果需要,也可以暂时借助时间参数。第一物理参数54可以例如涉及X射线源的设置(例如管电流、管电压和脉冲长度)、焦点设置(例如焦点大小和角度)、检测器设置(例如缩放、朝向和帧率),以及记录的几何形状(例如SID、SOD和OID(其中,这里,滤波器设备37用作对象))。在这种情况下,要在校准中使用的物理参数54、55尽可能选择为使得它们覆盖与实际记录相关的设置空间。
首先通过第一和第二物理参数的设置,在步骤S1中,记录X射线图像50和51,如图7所述。在步骤S2中,如所述根据X射线图像50和51确定各个掩模53。通过将第一和第二物理参数54、55分配给这些第一掩模,确定第一训练数据,从而首先可以训练基本已知的用于掩模53的自动编码器56,如箭头57所指示地。如基本已知地,自动编码器56包括至少一个CNN,其中,形成了编码器58和解码器59。由编码器58确定仅具有几个潜在空间参数的潜在空间表示60,这应当足以使解码器59尽可能准确地再现掩模53。换句话说,解码器59在训练期间根据箭头57传送比较掩模61,其可以与相应训练数据的相应输入掩模53进行比较,其中,偏差被最小化。
潜在空间表示60与第一和第二物理参数之间存在关系。在这种情况下,第一物理参数和第二物理参数的集合之间只有很少或很小的变化,它们传递相似的潜在空间表示60。如果物理参数54、55改变了记录,与该物理参数有关系的潜在空间参数也发生变化,这确实映射了相关特性。如果例如X射线源35和X射线检测器36(SID)之间的距离发生了变化,其中,从X射线源35到滤波器设备37的距离(SOD)保持恒定,开口46被映射地更大,因此与该特征相关的潜在空间参数发生变化。在步骤S3中利用了至少与第一和第二物理参数54、55的一部分存在关系的事实,以便根据潜在空间表示60(即,具体而言,潜在空间参数)确定对于第一和第二物理参数54、55的集合中的任意给定集合的分配规则62,该分配规则62优选地包含第一和第二物理参数54、55与潜在空间表示60的潜在空间参数之间的函数关系,其可以通过拟合和/或内插和/或外插来参数化。因此,对于任何给定的系统设置,即任何给定的第一和第二物理参数54、55,分配规则62允许确定相关联的潜在空间表示60,从而通过训练的解码器59,可以确定对在图9的第二处理函数的训练中使用的掩模的粗略估计。因此,对于第一阶段,作为经训练的第一处理函数63(参见图9)的输出,可以提供分配规则62和解码器59的组合。这意味着经训练的第一处理函数63使用第一和第二物理参数54、55作为输入数据,以便输出仍将通过第二阶段细化的掩模64作为第一输出数据。
根据图9,训练并提供第二处理函数。现在为了首先确定第二训练数据,在较长时间段内进行的步骤S4中,记录如下包括如下图像的图像对:在不使用滤波器设备37的情况下不同患者的X射线图像65与在使用滤波器设备13的情况下相同患者在情况下使用相同的物理参数的X射线图像;并且在步骤S5中对该图像对进行对数变换,如原则上已知的。这意味着第二训练数据包括一对图像(该对图像由不使用滤波器设备13记录的X射线图像65和使用滤波器设备37记录的X射线图像66构成)以及用作记录的相关的第一输入数据(在图9中以摘要的方式通过参考字符67示为第一输入数据)的第一和第二物理参数54、55。应当指出,示例性实施例中的x射线图像65、66不一定必须示出相同的对象和/或相同的时间点,但是当然也可以示出相同的对象和/或相同的时间点。
由于经训练的第一处理函数63,对于每对图像65、66,可以使用该要细化的掩模64来确定生成器网络69,该生成器网络69形成第二处理函数70作为第一输出数据。这些连同仍将讨论的边界条件68以及用滤波器设备记录的要校正的相应X射线图像66形成第二处理函数70的第二输入数据,而作为第二输出数据应当递送细化的掩模71。为了训练第二处理函数70,创建了生成对抗网络(GAN),其中,插入了鉴别器网络72,该鉴别器网络72用于对X射线图像74进行区分;该X射线图像74由细化的掩模71和真实X射线图像65通过加法呈现。作为输出,鉴别器网络72传送对抗性损失值75或分类损失,简而言之,通过与真实的X射线图像65相比较,该损失表示校正后的X射线图像74不真实的程度。这种对抗性损失值75将被最小化,因此在训练过程76期间对抗性损失最小化用于拟合生成器网络69以及鉴别器网络72,这原则上是已知的。
然后,训练过程76的结果是经训练的第二处理函数70,其传递细化掩模。
边界条件用于各种目的,例如可以确保细化掩模71不会过多偏离规范或可能的掩模64的空间,确保掩模71的平滑度,并且可以执行仅一组特定的算术运算以从掩模64得到细化的掩模71。以这种方式,优选地基于物理观察、例如对在步骤S1和S2中获得的掩模53的空间的分析,生成器网络69防止产生不切实际的输出,而如果应用这些输出,由于例如伪影的出现,可能会困扰医务人员。
添加经训练的第二处理函数70用于校正允许诸如如下的方面:例如由于焦点41在低脉冲长度下的抖动、ROI区域45的移动(例如由于眼跟踪引起的)、由被记录的患者引起的影响(例如光束硬化等)而引起的必要的可变几何形状和ROI区域45的位置将被考虑在内,其中,同时可以针对一般亮度稳定性来调整掩模64。
图10示出了本发明校正方法的示例性实施例的流程图。根据所述方法,在步骤S6中,使用第一和第二物理参数54、55、即第一输入数据67,在步骤S7中对要校正的X射线图像48进行记录并对其进行对数变换。然后使用经训练的第一处理函数63来确定要细化的掩模64,首先,在步骤S8中,使用分配规则62来确定潜在空间表示60,之后,在步骤S9中,使用经训练的解码器59以便根据确定的潜在空间表示60确定要细化的掩模64。要校正的X射线图像48、要细化的掩模64以及边界条件68形成生成器网络69的第二输入数据,该生成器网络69被提供作为经训练的第二处理函数,其因此传送细化掩模71作为输出数据。在步骤S10中,为了实现亮度补偿,将细化掩模71校正到要校正的X射线图像48,从而产生校正的X射线图像77。
然后优选地对该校正的X射线图像77应用去噪(Denoising),以便进一步改进图像质量并且以这种方式能够允许进一步减少X射线剂量。
图11解释了本发明提供系统40的功能布局,它也可以被称为训练系统。提供系统50具有第一训练接口78,经由第一训练接口78,接受第一训练数据(具有分配的物理参数54、55的掩模53)。在第一训练单元79中,自动编码器56如根据图8所描述的一样进行训练,参见箭头57,之后,在规则确定单元80中,可以根据步骤S3确定的分配规则62。
在此,第二训练接口81是内部接口,经由该内部接口,可以以分配规则62和训练的解码器59的组合形式提供经训练的第一处理函数63。
提供系统40此时还具有第三训练接口82,经由该第三训练接口接受用于第二阶段的第二训练数据,即具体地,根据图9的X射线图像65和66以及第一输入数据67(物理参数54、55)。第二训练单元83在对抗意义上使用该第二训练数据来训练生成器网络69作为第二处理函数70,其中,已经通过表示学习对第一处理函数63进行了训练。然后经由第四训练接口84提供包括经训练的第一处理函数63和经训练的第二处理函数70的校正算法。
根据图12的校正系统39包括第一应用接口85,经由该接口可以从提供系统40的第四训练接口84接受校正算法。可以经由第二应用接口86接受要校正的X射线图像48,相应的系统设置(即第一和第二物理参数54、55)然后被相应地分配给该第二应用接口86。这使得可以在掩模确定单元87中确定细化的掩模71,其中,相应地应用了训练的第一和第二处理函数63、70。然后可以在校正单元88中使用掩模71来校正要校正的X射线图像48。在校正单元88中,在将所述图像提供给第三应用接口89之前,还可以另外对校正的X射线图像77进行去噪。
在这一点上还应当注意,校正算法当然也包含实际的校正步骤,即添加掩模71和要校正的X射线图像48。
尽管已通过优选示例性实施例更详细地说明和描述了本发明,但是本发明不受所公开的示例的限制,并且本领域技术人员可以从中得出其它变化,而不脱离本发明的保护范围。
Claims (23)
1.一种用于提供用于X射线图像(48)的校正算法的计算机实现的方法,所述X射线图像是利用发射X射线辐射场(42)的X射线源(35)、对X射线辐射剂量进行空间调制的滤波器设备(37)以及X射线检测器(36)来记录的,其中,所述校正算法包括经训练的第一处理函数(63),所述经训练的第一处理函数根据第一输入数据来确定第一输出数据,所述第一输入数据包括描述所述X射线辐射场(42)和/或测量的至少一个第一物理参数(54)和描述所述滤波器设备(37)的空间调制的至少一个第二物理参数(55),所述第一输出数据包括掩模(64),所述掩模用于在所述X射线图像(48)中关于所述滤波器设备(37)的空间调制进行亮度补偿,其中,所述方法包括:
-提供第一训练数据,所述第一训练数据包括第一训练数据集,所述第一训练数据集分别具有输入掩模(53),其中,每个第一训练数据集被分配有为了确定所述输入掩模(53)而分配的所述第一输入数据的第一和第二物理参数(54、55),
-针对所述输入掩模(53)提供自动编码器(56),其中,所述自动编码器(56)具有用于确定所述输入掩模(53)的潜在空间表示(60)的编码器(58)和用于根据所述潜在空间表示(60)确定比较掩模(61)的解码器(59),
-通过所述第一训练数据训练所述自动编码器(56),
-确定分配给第一训练数据集的第一输入数据的物理参数(54、55)与相应的第一训练数据集的输入掩模(53)的潜在空间表示(60)之间的分配规则(62),
-作为所述分配规则(62)和经训练的解码器(59)的组合来提供所述经训练的第一处理函数(63)。
2.根据权利要求1所述的方法,其特征在于,所述滤波器设备(37)是ROI滤波器。
3.根据权利要求1所述的方法,其特征在于,使用比所述第一输入数据的物理参数(54、55)更大数量的所述潜在空间表示(60)的潜在空间参数,至少部分通过拟合和/或通过内插和/或通过外插来确定至少一个函数关系,或者使用比所述第一输入数据的物理参数(54、55)更大数量的所述潜在空间表示(60)的潜在空间参数并且至少部分通过拟合和/或通过内插和/或通过外插来确定至少一个函数关系。
4.根据权利要求1所述的方法,其特征在于,使用比所述第一输入数据的物理参数(54、55)更大数量的所述潜在空间表示(60)的潜在空间参数,至少部分通过拟合和/或通过内插和/或通过外插来确定仅包含函数关系的分配规则(62),或者使用比所述第一输入数据的物理参数(54、55)更大数量的所述潜在空间表示(60)的潜在空间参数并且至少部分通过拟合和/或通过内插和/或通过外插来确定仅包含函数关系的分配规则(62)。
5.根据权利要求1所述的方法,其特征在于,所述第一物理参数(54)选自包括以下的组:
-所述X射线源(35)的管电压,
-所述X射线源(35)的管电流,
-预滤波参数和/或孔径参数,
-所述X射线源(35)与所述X射线检测器(36)的距离,
-所述X射线源(35)与所述滤波器设备(37)的距离,
-所述滤波器设备(37)与所述X射线检测器(36)的距离,
-产生所述X射线辐射场(42)的X射线脉冲的脉冲长度,
-从开始记录一系列X射线图像起的X射线脉冲的数量,
-描述焦点(41)的几何形状的至少一个焦点参数,
-所述X射线检测器(36)的缩放,
-所述X射线检测器(36)的朝向,以及
-所述X射线检测器(36)的帧率,
和/或所述第二物理参数(55)选自包括以下的组:
-所述滤波器设备(37)的材料(44),
-至少一个滤波器厚度参数,以及
-描述所述空间调制的时间上的变化的至少一个时间参数。
6.根据权利要求5所述的方法,其特征在于,所述至少一个滤波器厚度参数描述滤波器厚度变化过程。
7.根据权利要求1所述的方法,其特征在于,根据使用滤波器设备(37)以及不使用滤波器设备(37)记录的X射线图像(50、51)来确定所述第一训练数据集。
8.根据权利要求5所述的方法,其特征在于,所述X射线图像(50、51)是平场X射线图像。
9.根据权利要求1所述的方法,其特征在于,所述校正算法还具有位于经训练的第一处理函数(63)下游的第二处理函数(70),用于细化通过所述第一处理函数(63)确定的掩模(64),其中,所述第二处理函数(70)具有生成器网络(69),所述生成器网络使用针对其要确定细化的掩模(71)的X射线图像(48、66)以及要细化的掩模(64)作为第二输入数据,其中,所述要细化的掩模(64)是借助经训练的第一处理函数(63)针对第二输入数据的X射线图像(48、66)的第一输入数据的物理参数(54、55)来确定的,其中,对于第二处理函数(70)的训练:
-提供第二训练数据,所述第二训练数据包括对象的如下X射线图像(66、65),这些X射线图像在使用和不使用滤波器设备(37)的情况下被记录、被分配有所述第一输入数据的物理参数(54、55),
-提供鉴别器网络(72),所述鉴别器网络用于对在不使用滤波器设备(37)的情况下记录的真正的X射线图像(65)与借助作为第二输出数据获得的细化的掩模(71)校正后的X射线图像(74)进行区分,以完成生成对抗网络,
-对于所述生成器网络(69)和所述鉴别器网络(72)的训练,将所述鉴别器网络(72)的输出用于调整所述生成器网络(69)和所述鉴别器网络(72),所述鉴别器网络(72)的输出通过将第二训练数据集的校正后的X射线图像(74)与所述第二训练数据集的在不使用滤波器设备(37)的情况下记录的所述X射线图像(65)进行比较而获得,以及
-提供包括经训练的第一处理函数和经训练的第二处理函数(63、70)的组合的校正算法。
10.根据权利要求9所述的方法,其特征在于,所述对象是患者(43)。
11.根据权利要求9所述的方法,其特征在于,所述鉴别器网络(72)的输出是对抗性损失值(75)。
12.根据权利要求9所述的方法,其特征在于,所述生成器网络(69)至少在其训练期间,作为另外的第二输入数据接收限制其第二输出数据的至少一个边界条件(68)。
13.根据权利要求12所述的方法,其特征在于,所述至少一个边界条件(68)选自包括以下的组:
-限制所述细化的掩模(71)与所述要细化的掩模(64)和/或可能的要细化的掩模(64)的空间的偏差的边界条件(68),
-确保所述细化的掩模(71)的平滑度的边界条件(68),以及
-限制用于从要细化的掩模(64)获得细化的掩模(71)的算术运算的类型的边界条件(68)。
14.根据权利要求9至13中任一项所述的方法,其特征在于,在将X射线图像(48、50、51、65、66)用作第二输入数据和/或第二训练数据之前对其进行对数变换。
15.一种用于借助利用根据前述权利要求9至14中任一项所述的方法提供的校正算法来校正X射线图像(48)的计算机实现的方法,所述X射线图像(48)是利用发射X射线辐射场(42)的X射线源(35)、对X射线辐射剂量进行空间调制的滤波器设备(37)以及X射线检测器(36)来记录的,所述计算机实现的方法包括以下步骤:
-借助校正算法,根据分配给要校正的X射线图像(48)的至少第一输入数据,来确定细化的掩模(71),
-使用所述细化的掩模(71)来校正要校正的X射线图像(48)。
16.根据权利要求15所述的方法,其特征在于,所述滤波器设备(37)是ROI滤波器。
17.根据权利要求15所述的方法,其特征在于,对校正后的X射线图像(77)应用去噪方法。
18.一种用于提供用于X射线图像(48)的校正算法的系统(40),所述X射线图像(48)是利用发射X射线辐射场(42)的X射线源(35)、对X射线辐射剂量进行空间调制的滤波器设备(37)以及X射线检测器(36)来记录的,其中,所述校正算法包括根据第一输入数据、确定第一输出数据的经训练的第一处理函数(63),所述第一输入数据包括描述所述X射线辐射场(42)和/或测量的至少一个第一物理参数(54)和描述所述滤波器设备(37)的空间调制的至少一个第二物理参数(55),所述第一输出数据包括掩模(64),所述掩模用于在所述X射线图像中关于所述滤波器设备(37)的空间调制进行亮度补偿,其中,所述系统(40)包括:
-第一训练接口(78),用于提供第一训练数据,所述第一训练数据包括第一训练数据集,所述第一训练数据集分别具有输入掩模(53),其中,每个第一训练数据集被分配有为了确定所述输入掩模(53)而分配的所述第一输入数据的第一和第二物理参数(54、55),
-第一训练单元(79),用于通过所述第一训练数据针对所述输入掩模(53)训练自动编码器(56),其中,所述自动编码器(56)具有用于确定所述输入掩模(53)的潜在空间表示(60)的编码器(58)和用于根据所述潜在空间表示(60)确定比较掩模(61)的解码器(59),
-规则确定单元(80),用于确定分配给第一训练数据集的第一输入数据的物理参数(54、55)与相应的第一训练数据集的输入掩模(53)的潜在空间表示(60)之间的分配规则(62),以及
-第二训练接口(81),用于作为所述分配规则(62)和经训练的解码器(59)的组合来提供所述经训练的第一处理函数(63)。
19.根据权利要求18所述的系统,其特征在于,所述滤波器设备(37)是ROI滤波器。
20.一种用于校正X射线图像(48)的系统(39),所述X射线图像(48)是利用发射X射线辐射场(42)的X射线源(35)、对X射线辐射剂量进行空间调制的滤波器设备(37)以及X射线检测器(36)来记录的,所述用于校正X射线图像(48)的系统(39)具有:
-第一应用接口(85),用于接受从根据权利要求18所述的用于提供用于X射线图像(48)的校正算法的系统(40)提供的校正算法,
-第二应用接口(86),用于接受要校正的X射线图像(48)以及所分配的第一和第二物理参数(54、55),
-掩模确定单元(87),用于借助校正算法,根据分配给要校正的X射线图像(48)的至少第一输入数据,通过执行根据权利要求5的方法的步骤,来确定细化的掩模(71),
-校正单元(88),用于将所述细化的掩模(71)用于校正要校正的X射线图像(48),以及
-第三应用接口(89),用于提供校正后的X射线图像(77)。
21.根据权利要求20所述的系统,其特征在于,所述滤波器设备(37)是ROI滤波器。
22.一种X射线设备(33),具有X射线源(35)、X射线检测器(36)、对X射线辐射剂量进行空间调制的滤波器设备(37)和具有根据权利要求20所述的系统(39)的控制设备(38)。
23.一种电子可读数据介质,其上存储有计算机程序,其中,当在计算设备上执行所述计算机程序时,所述计算机程序执行根据权利要求1至17中任一项所述的方法的步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102021206417.5A DE102021206417B3 (de) | 2021-06-22 | 2021-06-22 | Computerimplementierte Verfahren und Systeme zum Bereitstellen eines Korrekturalgorithmus für ein Röntgenbild und zum Korrigieren eines Röntgenbilds, Röntgeneinrichtung, Computerprogramm und elektronisch lesbarer Datenträger |
DE102021206417.5 | 2021-06-22 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115511723A CN115511723A (zh) | 2022-12-23 |
CN115511723B true CN115511723B (zh) | 2024-07-05 |
Family
ID=83282997
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210727768.3A Active CN115511723B (zh) | 2021-06-22 | 2022-06-22 | 用于x射线图像的校正的方法和系统以及x射线设备 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11816815B2 (zh) |
CN (1) | CN115511723B (zh) |
DE (1) | DE102021206417B3 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116046810B (zh) * | 2023-04-03 | 2023-06-23 | 云南通衢工程检测有限公司 | 基于rpc盖板破坏荷载的无损检测方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019215242A1 (de) * | 2019-10-02 | 2021-04-08 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Computerimplementiertes Verfahren zum Betrieb einer Röntgenbildgebungseinrichtung, Röntgenbildgebungseinrichtung, Computerprogramm und elektronisch lesbarer Datenträger |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6570951B1 (en) | 2002-05-14 | 2003-05-27 | Ge Medical Systems Global Technology Company, Llc | Image space compensation scheme for reducing artifacts |
US10079003B2 (en) | 2011-06-02 | 2018-09-18 | The Research Foundation For The State University Of New York | Method and device for imaging a region of interest |
KR20160090060A (ko) * | 2015-01-21 | 2016-07-29 | 삼성전자주식회사 | 엑스선 영상 장치 및 그 제어방법 |
DE102016206559B3 (de) | 2016-04-19 | 2017-06-08 | Siemens Healthcare Gmbh | Verfahren zur Korrektur eines Röntgenbilds auf Effekte eines Streustrahlenrasters, Röntgeneinrichtung, Computerprogramm und elektronisch lesbarer Datenträger |
US20180168524A1 (en) | 2016-12-15 | 2018-06-21 | Controlrad Systems Inc. | Compact interchangeable filters mechanism |
US20180330233A1 (en) | 2017-05-11 | 2018-11-15 | General Electric Company | Machine learning based scatter correction |
EP3457360B1 (de) * | 2017-09-13 | 2019-10-30 | Siemens Healthcare GmbH | Reduzierung von bewegungsartefakten in computertomographischen bilddaten |
US10709394B2 (en) | 2018-01-15 | 2020-07-14 | Siemens Healthcare Gmbh | Method and system for 3D reconstruction of X-ray CT volume and segmentation mask from a few X-ray radiographs |
US11039806B2 (en) | 2018-12-20 | 2021-06-22 | Canon Medical Systems Corporation | Apparatus and method that uses deep learning to correct computed tomography (CT) with sinogram completion of projection data |
EP3798684A1 (de) * | 2019-09-26 | 2021-03-31 | Siemens Healthcare GmbH | Datenkorrektur in der röntgenbildgebung |
EP3885989A1 (en) * | 2020-03-26 | 2021-09-29 | Another Brain | Anomaly detection based on an autoencoder and clustering |
DE102021210283A1 (de) * | 2021-09-16 | 2023-03-16 | Siemens Healthcare Gmbh | Erzeugen eines Zwischenbildes |
US20230085938A1 (en) * | 2021-09-17 | 2023-03-23 | Robert Bosch Gmbh | Visual analytics systems to diagnose and improve deep learning models for movable objects in autonomous driving |
-
2021
- 2021-06-22 DE DE102021206417.5A patent/DE102021206417B3/de active Active
-
2022
- 2022-06-21 US US17/845,968 patent/US11816815B2/en active Active
- 2022-06-22 CN CN202210727768.3A patent/CN115511723B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019215242A1 (de) * | 2019-10-02 | 2021-04-08 | Friedrich-Alexander-Universität Erlangen-Nürnberg | Computerimplementiertes Verfahren zum Betrieb einer Röntgenbildgebungseinrichtung, Röntgenbildgebungseinrichtung, Computerprogramm und elektronisch lesbarer Datenträger |
Also Published As
Publication number | Publication date |
---|---|
US11816815B2 (en) | 2023-11-14 |
CN115511723A (zh) | 2022-12-23 |
DE102021206417B3 (de) | 2022-10-06 |
US20220405897A1 (en) | 2022-12-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20240087130A1 (en) | Autonomous multidimensional segmentation of anatomical structures on three-dimensional medical imaging | |
JP7194143B2 (ja) | 肝臓腫瘍例のレビューを容易にするシステムおよび方法 | |
US9140803B2 (en) | Acquisition protocol assessment apparatus | |
EP1684635B1 (en) | Device and method for adjusting imaging parameters of an x-ray apparatus | |
JP6835813B2 (ja) | コンピュータ断層撮影視覚化調整 | |
CN103544684A (zh) | 图像处理方法和图像处理设备 | |
CN107533755A (zh) | 用于改进医学图像质量的设备和方法 | |
US20230007835A1 (en) | Composition-guided post processing for x-ray images | |
US20230306657A1 (en) | Noise suppression using deep convolutional networks | |
KR102472464B1 (ko) | 영상처리방법 및 이를 이용한 영상처리장치 | |
CN109419521A (zh) | 用于对受检者成像的系统和方法 | |
CN108471997A (zh) | 用于在最小化患者的x射线剂量的同时维持图像质量的装置和方法 | |
CN115511723B (zh) | 用于x射线图像的校正的方法和系统以及x射线设备 | |
CN110544250B (zh) | 一种医学图像处理方法和系统 | |
Rossi et al. | Image‐based shading correction for narrow‐FOV truncated pelvic CBCT with deep convolutional neural networks and transfer learning | |
WO2022045210A1 (ja) | 画像処理装置、画像処理方法、学習装置、学習方法、及びプログラム | |
CN115397332A (zh) | 用于实时视频增强的系统和方法 | |
US7756359B1 (en) | Use of local or global quality of match to estimate cone beam CT reconstruction artifact correction weight in image registration | |
US20210142889A1 (en) | Computer-implemented method for providing an output data set | |
JP2021019714A (ja) | 画像処理装置、画像処理方法及びx線ct装置 | |
US20210330274A1 (en) | Computer-implemented method, computer program, systems and x-ray facility for correction of x-ray image data with regard to noise effects | |
US11806185B2 (en) | Computer-implemented method for determining at least one main acquisition parameter and method for acquiring a main x-ray image | |
CN112862722B (zh) | 一种双能x射线减影方法和装置 | |
JP7353900B2 (ja) | X線診断装置、医用画像処理装置及びプログラム | |
EP4212101A1 (en) | Providing a complete set of key elements in an x-ray image |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |