CN114334091A - 训练机器学习算法的方法、机器学习算法和设备复合体 - Google Patents
训练机器学习算法的方法、机器学习算法和设备复合体 Download PDFInfo
- Publication number
- CN114334091A CN114334091A CN202111163967.8A CN202111163967A CN114334091A CN 114334091 A CN114334091 A CN 114334091A CN 202111163967 A CN202111163967 A CN 202111163967A CN 114334091 A CN114334091 A CN 114334091A
- Authority
- CN
- China
- Prior art keywords
- training
- data
- machine learning
- image
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 183
- 238000004422 calculation algorithm Methods 0.000 title claims abstract description 125
- 238000010801 machine learning Methods 0.000 title claims abstract description 78
- 238000000034 method Methods 0.000 title claims abstract description 68
- 238000003384 imaging method Methods 0.000 claims abstract description 49
- 238000005516 engineering process Methods 0.000 claims abstract description 21
- 210000000056 organ Anatomy 0.000 claims description 13
- 238000004458 analytical method Methods 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012937 correction Methods 0.000 claims description 9
- 238000004891 communication Methods 0.000 claims description 8
- 238000002156 mixing Methods 0.000 claims description 6
- 238000002601 radiography Methods 0.000 claims description 6
- 238000003745 diagnosis Methods 0.000 claims description 5
- 238000003325 tomography Methods 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 238000002604 ultrasonography Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 238000007689 inspection Methods 0.000 claims description 2
- 238000012805 post-processing Methods 0.000 claims description 2
- 239000000306 component Substances 0.000 description 14
- 230000008901 benefit Effects 0.000 description 11
- 238000002591 computed tomography Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 238000013528 artificial neural network Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000010191 image analysis Methods 0.000 description 4
- 230000007170 pathology Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000012790 confirmation Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000002603 single-photon emission computed tomography Methods 0.000 description 3
- 210000003484 anatomy Anatomy 0.000 description 2
- 238000002583 angiography Methods 0.000 description 2
- 239000008358 core component Substances 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000007943 implant Substances 0.000 description 2
- 238000011065 in-situ storage Methods 0.000 description 2
- 210000004072 lung Anatomy 0.000 description 2
- 229940127554 medical product Drugs 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000001959 radiotherapy Methods 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000011511 automated evaluation Methods 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 210000000746 body region Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 210000000689 upper leg Anatomy 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
- A61B6/5217—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/54—Control of apparatus or devices for radiation diagnosis
- A61B6/545—Control of apparatus or devices for radiation diagnosis involving automatic set-up of acquisition parameters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/003—Reconstruction from projections, e.g. tomography
- G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/40—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the management of medical equipment or devices, e.g. scheduling maintenance or upgrades
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
- A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computed tomography [CT]
- A61B6/032—Transmission computed tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/12—Computing arrangements based on biological models using genetic models
- G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2211/00—Image generation
- G06T2211/40—Computed tomography
- G06T2211/441—AI-based methods, deep learning or artificial neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Physics & Mathematics (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Molecular Biology (AREA)
- Data Mining & Analysis (AREA)
- High Energy & Nuclear Physics (AREA)
- Optics & Photonics (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Heart & Thoracic Surgery (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Business, Economics & Management (AREA)
- Computing Systems (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Pulmonology (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Mathematical Physics (AREA)
- Physiology (AREA)
Abstract
本发明涉及一种用于训练机器学习算法的方法,方法包括以下步骤提:供具有与医学技术成像系统的安全数据连接和在该数据连接之外在网络中的中央计算装置的训练装置,提供数据接口,所述数据接口设计为用于从所述训练装置将数据发送至所述中央计算装置,创建多个基于图像记录的训练数据集,所述训练数据集分别配备有基本事实或者在数据技术方面与基本事实链接,经由所述安全数据连接将所述训练数据集发送给所述训练装置,借助于所述训练装置借助所述训练数据集训练所述机器学习算法,经由所述数据接口将经训练的所述机器学习算法的参数数据集发送给所述中央计算装置。本发明还涉及相应的机器学习算法、控制装置、成像系统以及设备复合体。
Description
技术领域
本发明涉及一种用于产生经训练的机器学习算法的方法,尤其是一种用于医疗技术领域的训练方法。
背景技术
深度学习算法或机器学习算法(以下也简称为用于“人工智能”的“AI”)广泛使用在医疗技术中。一个常见的医学应用情况在于,从医学图像数据中推导出诊断结果。另一应用情况在于,将AI应用于检测形状和/或患者的位置的传感器,以便能够推导出用于记录图像的适宜的参数,例如用于定位或数据采集。根据现有技术,为此例如借助于3D相机对计算机断层扫描仪(“CT扫描仪”)进行自动等中心化或者进行自动准直以在放射照相学中记录患者的解剖结构。
AI算法需要表示“基本事实”(“Ground Truth”或“Basiswahrheit,基础事实”)大的数据量,神经网络能够对该“基本事实”进行训练。然而在此必须注意:这些海量数据量一方面与数据保护规定相符,而另一方面必须注释,使得其与该基本事实相符。在训练神经网络来确定用于从传感器系统的信号记录图像的理想扫描或定位参数的特殊情况下,这表示:由患者和成像装置的传感器测量的数据理想地可能必须与基本事实一起提供。这例如能够通过监督训练的操作员进行。基本事实通常是用于扫描或位置参数的设定,所述扫描或位置参数由或会由受过培训的操作员选择并且与传感器数据一起被记录。
对于每次训练通常需要数千至数万个患者数据集,以便AI在大于99%的期望的精度范围内工作。
为了快速辅助大量基于AI的工具对医疗技术人员在成像设备的参数设定和定位时进行辅助,在理想情况下期望的是,从每个现有的成像设备中快速收集大量适宜的传感器数据。如果存在,这由于成本和法律边界条件只能非常困难地实际实施。下面列出最严重的问题。
i)收集并且为了训练发送给中央集线器的数据包非常大,尤其是如果在数据中包含图像、传感器数据或者甚至实时流,往往是这种情况。将该数据传输到中央数据处理设施并且在该处存储需要不可忽视的技术耗费和成本,尤其是对于符合法律要求的安全的存储。
ii)许多地区的立法使得记录或存储能够用于辨识患者的数据变得困难或不可行。尤其当数据应发送给供应商的中央数据处理设施以进行进一步处理时如此。为此通常需要患者的同意,这很少发生,并且会显著减慢为所有期望的应用检测足够的数据的过程。此外,对于附加的耗费产生附加的成本。
发明内容
本发明的一个目的是,提出一种替选的、更方便的方法和相应的装置来训练能够机器学习算法,借助其避免上述缺点。
所述目的通过根据本发明的方法、根据本发明的机器学习算法、根据本发明的控制装置、根据本发明的成像系统以及根据本发明的设备复合体来实现。
根据本发明的方法用于训练机器学习算法或者机器学习单元(替选地也简称为“AI”,见上文),尤其是深度学习算法。通常,机器学习算法的基本架构是已知的,并且能够普遍用于广泛的技术领域。然而,这与以下训练相关:能够实现机器学习算法的何种目的,以及其能够多好地实现该目的。因此,训练基本上定义了特定的机器学习算法。
如果考虑机器学习单元或机器学习算法的内部结构,则该AI包括特定的参数,例如权重参数或激活、传播或输出函数的函数值。通过训练过程改变和进而定义经训练的AI的工作方式的那些参数的集合在下文中称为“参数集”。其形成经训练的AI的功能核心。参数集的参数值在下文中称为“参数数据集”。未经训练的AI(当然与上述AI具有相同的基本结构),其参数集根据参数数据集设定,将与经训练的AI一样工作,因为即使在训练期间也会设定的参数现在具有相应的值。
该方法包括以下步骤:
-提供训练装置,其具有要训练的机器学习算法和与医学技术成像系统(例如在安全的医院网络内)的安全的数据连接。
训练装置在此是设计用于训练机器学习算法的计算系统,并且其基本结构在现有技术中是清楚已知的。训练装置优选安置在医学成像系统中,例如安置在其控制装置中,或者安置在成像系统外部的计算装置中。
能够借助于网络实现数据连接,也能够借助于线缆连接或数据总线来实现数据连接。对此的示例是WLAN、LAN或简单地是经由USB的数据连接。例如,医院的一个或多个设备能够经由医院网络与训练装置形成数据联系。但是,同样在医生诊所中的设备也能够经由数据线缆与训练装置连接,或者在患者家中的“床旁照护”医疗设备能够包含训练装置,所述训练装置直接经由数据总线获得其训练数据。
重要的是,保护该数据连接,以便未经授权方无法访问数据。对此的示例是安全的医院网络,但是也是所述数据线缆或数据总线。
尤其,呈医院网络形式的安全的数据连接对于本领域技术人员是已知的。这是被医院用于在内部发送患者特定的信息的网络。例如,医院网络是RIS(Radiologieinformationssystems,放射科信息系统)或PACS(Picture Archiving andCommunication System=影像存档和通信系统)的网络。这种医院网络按标准受保护,例如借助于防火墙或借助于与其它网络的特定的安全的接触点(Kontaktstelle)。在这种网络内,通过这些适宜的安全措施符合用于发送和处理患者数据的法律边界条件,并且除了在网络内本来就已经符合的规则之外,提供和存储用于训练AI的数据通常不经受附加的监管或法律障碍。
-提供中央计算装置,所述中央计算装置设计为用于在网络中运行经训练的机器学习算法,而无需直接访问安全的数据连接(例如,在医院网络之外)。
该中央计算装置例如是服务器或其它功能强大的计算系统,并且位于数据连接(例如医院网络)的安全保护之外。这并不一定表示:该计算装置也必须始终位于医院之外。在此决定性的是网络与数据连接的界线。数据连接设计为用于,使得在其中能够根据适用的法律规定发送敏感的患者数据,这些限制不一定适用于其它网络(例如互联网的公共部分)。术语“直接”表示:其它网络可以经由下文描述的数据接口间接地访问安全的数据连接(然而因此仅经由特别安全的访问选项,使得没有敏感数据会到达未经授权方)。但是优选的是,其它网络根本不具有对安全的数据连接的访问,并且所述数据接口仅允许在训练装置和中央计算装置之间的通信。
-提供数据接口,所述数据接口设计为用于从训练装置将数据发送至中央计算装置。
因此,数据能够从训练装置经由其它网络发送至计算装置。因为训练不在计算装置中发生,但是这必须不是敏感的患者数据。
数据接口优选设计为用于在训练装置和中央计算装置之间的数据通信,使得训练装置也能够从中央计算装置获得数据,例如在别处训练的AI。在此重要的是,中央计算装置的数据接口或其它网络不应允许访问敏感数据。因此,数据接口设计为用于保持与医学技术成像系统的数据连接的安全性。
-通过成像系统(即例如在医院网络内)创建多个基于图像记录的训练数据集,训练数据集分别配备有基本事实或者在数据技术方面进行链接。
这些训练数据集通常包含敏感数据,例如患者数据。优选地,训练数据集包括多个图像记录或用于记录这些图像记录的数据,例如定位数据或用于预设定记录设备的数据。至少应对于每个训练数据集记录图像记录(2D或3D、照片或X射线记录),并且在相应的训练数据集中记录该图像记录的数据或由其推导出的数据或引起其记录的数据。数据优选涉及(医学)成像系统或其图像记录。在此应注意的是,训练数据集在该处记录(例如在同一医院网络中),其中也集成有训练装置。因此,敏感数据不必经由不安全的连接发送,而是仅在安全的数据连接内发送。
粗略地说,基本事实包含了AI预设的如何正确地解决问题的所有内容。为AI稍后应处理的类型的数据因此属于训练数据集,但是尤其不属于基本事实。例如,检查特定的数据(检查类型、患者数据或用于CAD的图像)属于训练数据(但是尤其不属于基本事实)。而医生或附加AI的关于陈述或设定的正确性的信息优选属于基本事实。而如果设定得到正确的图像(因为于是例如位置或准直是正确的),则设定能够属于基本事实,但是如果需要更正,则不一定属于基本事实(所述更正将成为基本事实的一部分)。就基本事实的这些设定所基于的传感器数据而言,优选将所述传感器数据算作为属于基本事实的训练数据。
因此,通常,反映检查类型的检查特定的数据,或关于患者的信息,例如患者的身高、性别、体重是训练数据,例如用于成像系统的所寻求的自动定位或预设定。对于CAD算法,图像记录应包含在训练数据中。对于设备定位/设定或准直的问题,还应使用患者的传感器数据作为输入参数,即作为训练数据。
但是,根据应用,传感器数据也能够是基本事实的一部分。例如,对于下述情况:应由AI评估患者的正确定位,以便向用户发出指示:例如肘部必须进一步弯曲,有利的是,将传感器数据与基本事实相关联。还有利的是,基于传感器数据创建患者的化身或数字患者模型(例如从骨骼识别中或通过网格网络),并且这被视为患者定位问题的基本事实。如果传感器数据或基于传感器数据创建的化身引起正确的图像或治疗,则传感器数据或基于传感器数据创建的化身(这尤其包括患者的数字模型、骨骼模型、点云或网格网络)通常对于要由AI建模的更正患者定位的问题而言能够既属于训练数据也属于基本事实,因为于是患者定位是正确的。如果需要更正,则必须对这些数据相应地进行正确分类。优选的是,于是从传感器数据中确定的患者的解剖数据(例如前臂的长度、大腿的长度、臀部的宽度、腹围等)于是优选包含在训练数据集中,而患者的最终定位(所有关节的角度及其相对于医疗设备的几何自由度的方位)包含在基本事实中。
尤其优选的是,还将图像分析集成到该方法中,其中评估图像记录的质量并且将其结果作为基本事实记录到相应的训练数据集中。
训练数据不一定必须仅源自唯一的设备。所述训练数据也能够源自多个设备,只要所述训练数据都经由安全的数据连接与训练装置连接(例如,它们全部位于同一医院网络中)。在中央计算装置(中央集线器)中收集的经训练的AI网络于是又能够源自多个不同的受保护的医院网络。
-经由安全数据连接(例如在医院网络内)将训练数据集发送给训练装置。
如上所述,这是可行的,因为成像系统经由该安全数据连接与训练装置连接。
-借助于训练装置利用训练数据集训练机器学习算法。
训练机器学习算法的过程对于本领域技术人员是已知的,并且包括根据基本事实对训练数据集进行处理。
-经由数据接口将经训练的机器学习算法的参数数据集发送给中央计算装置。
因为AI的训练不是在中央计算机上(在安全环境之外)进行而是在内部进行,然而其它部位也要访问经训练的AI,并且之后可能还会改进AI,如还将在下文详细地详述的那样,所以关于经训练的AI的数据应到达中央计算装置。这利用参数数据集的发送来实现,而未经授权的人员不会获得敏感的患者数据,因为不再能够从参数数据集中提取这些敏感的患者数据。
根据本发明的方法的一个优点是,尽管有医疗数据连接的规定和安全措施,但完整的训练数据集仍能够用于训练AI,并且经训练的AI仍能够在安全措施之外使用。例如,2D/3D传感器数据和(完整的)临床输入参数连同放射(X射线/CT/MR)图像一起能够用于训练,即使经训练的AI稍后被完全不同的机构使用也如此。甚至能够在不披露敏感数据的情况下公开使用。此外,收集来自不同机构的不同的经训练的AI也是可行的。借助该方法因此可行的是,在将训练数据和基本事实合并时访问所有必要的数据,因为这些数据都存在于原地(例如在诊所中)。另一优点在于,本地训练能够实现使基本事实适配于“本地偏好”或患者群体。这提高了客户接受度,进而提高了算法的价值。AI因此提出不再将全局平均化作为问题的解决方案,而是随着特定诊所的期望和习惯进行学习。
通常,将这种方法一致地应用于能够通过传感器输送给自动化装置的所有问题会引起在成像方法中的标准化程度提高,进而避免错误并且减少在诊断中的时间耗费。
根据本发明的用于训练机器学习算法的系统包括:
-具有要训练的机器学习算法的训练装置,所述训练装置具有与成像系统的安全数据连接,
-中央计算装置,所述中央计算装置设计为用于在网络中运行经训练的机器学习算法,而无需直接访问安全数据连接,
-数据接口,所述数据接口设计为用于将数据从训练装置发送至中央计算装置,
-用于基于图像记录的多个训练数据集的存储装置,所述训练数据集分别配备有基本事实或者在数据技术方面进行链接,
-通信单元,所述通信单元设计为用于经由安全数据连接将训练数据集(从成像系统)发送给训练装置,
其中训练装置设计为用于借助训练数据集训练机器学习算法,并且其中所述系统设计为用于,经由数据接口将经训练的机器学习算法的参数数据集发送给中央计算装置。
根据本发明的机器学习单元尤其根据本发明的机器学习算法,优选是CAD算法或用于在医学技术成像系统中定位患者的算法并且按照根据本发明的训练方法进行训练。这种AI具有以下优点:其作为医疗产品能够实现自动化、加速成像中的许多步骤,并且也能够降低错误率。其能够用作为控制元件或者用作为用于自动化评估数据的计算模块。如上所述,训练和进而训练数据集的类型决定了AI的内部结构,进而决定了其运行方式。借助利用患者数据的直接训练,实现了适宜的AI内部结构。借助根据本发明的方法使AI独立地用于各种不同的系统是可行的,而无需关注医疗技术数据的安全措施,进而能够简单和有利地在另一设备上使用已在一个设备上训练过的AI。
根据本发明的控制装置设计为用于控制(医学技术)成像系统,尤其是放射照相或断层扫描系统,并且构造为用于执行根据本发明的方法的(关于训练,即例如在医院网络中执行的)方法步骤。替选地或附加地,控制装置包括根据本发明的系统的数据接口和训练装置。在此相关的方法步骤是不涉及中央计算装置的那些方法步骤,因为中央计算装置位于医院网络之外。
根据本发明的(医学技术)成像系统尤其放射照相或断层扫描系统,包括根据本发明的控制装置。除了X射线设备和计算机断层扫描系统之外,优选的医学技术系统是血管造影设备(例如C型臂系统)、磁共振断层扫描系统、PET系统、SPECT系统或放射治疗设备。
根据本发明的(医学技术)设备复合体包括以下组件:
-多个训练装置,所述多个训练装置具有与不同的(医学技术)成像系统的安全数据连接(例如在安全的医院网络中),
-中央计算装置,所述中央计算装置设计为用于在网络中运行根据本发明训练的机器学习算法,而无需直接访问安全数据连接(例如,在医院网络之外),
-可选的另外的(医学技术)成像系统,尤其在安全的医院网络中或具有所述安全数据连接的系统,所述系统构造为用于运行经训练的AI(并且不一定必须设计为用于训练AI或用于创建训练数据集),
-数据接口,所述数据接口设计为用于在训练装置和中央计算装置之间进行数据通信,其中复合体设计为用于,使得参数数据集能够从医院网络发送至中央计算装置,并且反之亦然。
因此,参数数据集从可能在(医学技术)进行成像的系统(成像系统)中的训练单元经由数据接口之一发送给中央计算装置,所述数据接口将各个用户与中央计算装置连接。需要注意不排除:也能够发送经训练的AI的其它部分(即还有整个经训练的AI),然而其中优选的是,不发送整个的AI(即不发送机器学习算法的基本架构的部分)。优选的是,该系统附加地构造为,使得中央计算装置也能够将参数数据集向回发送给(医学技术)成像系统。这具有以下优点:将在成像系统上借助敏感的患者数据已训练的经训练的AI经由中央计算装置(在该处经训练的AI可能已经被评估或与另一AI组合)发送至另一或相同的医学技术成像系统。为此,中央计算装置优选设计为用于,将参数数据集或机器学习算法相互组合并且尤其借助于至少两个参数数据集来创建所产生的参数数据集。
应注意的是,由训练装置发送给中央处理器的参数数据集具有高的经济价值。仅仅因为所涉及的网络不必像在成像系统和训练装置之间的数据连接那样被保护,这并不表示:参数数据集必须经由不安全的连接发送。在所述网络中只须存在与在该数据连接情况下不同的安全措施。因此,有利的是,参数数据集的传输安全和/或加密地进行。在具有多个(训练)用户与中央单元的网络中,传输尤其也可以基于区块链技术进行。
即使本发明对于医学领域是特别有利的,例如以用于训练算法来辅助临床图像的诊断,通过本发明也能够有利地改进其它应用。当训练数据集包含敏感数据时,基本上能够始终使用该方法。成像系统因此不一定必须具有医疗技术性质。
在该处再次强调,训练在医院网络中进行,因此可以说“现场”进行。这引起,敏感的(患者)数据虽然能够离开成像系统(“模态”),但是不会离开医院网络本身。边界在此在医院的IT之外(但不一定是医院的空间边界)。训练能够同样好地在模态上进行,也能够根据训练装置所安置的位置在医院IT的另一计算机上进行。出于监管原因,在单独的计算机上(例如在同一医院网络中)的模态之外的应用甚至可能更有意义。对于大多数应用而言,超出空间边界在数据安全性的意义上和进而对于方法是不相关的。如果在由多个医院构成的医院复合体中应用该方法,则“现场”也能够表示“在复合体中的医院之一中”,只要这些医院通过唯一的医院网络相互连接。由此,跨越医院的物理边界(但是在医院IT的内部)可在复合体的所有医院之间传输训练数据集。然后,中央计算装置能够位于模态的制造商处,并且获得由许多其它医院训练的AI,复合体借助所述AI还能够在进一步的过程中以经更好训练的AI辅助。
在实践中,网络,尤其是医院网络能够包括LAN或WLAN。医院网络的一种常见的情况是用于大学机构或私立医院分支系统的分支网络。即使在分支的医院网络中,训练数据集也始终留在安全的医院网络内,不会向外发送至医疗设备的制造商或云中(仅参数数据集)。
系统或控制装置的上述组件中的大部分能够完全或部分地以软件模块的形式在处理器中实现。主要以软件方式的实现方案具有以下优点:至今已经使用的控制装置能够通过软件更新以简单的方式改装,以便以根据本发明的方式工作。就此而言,该目的还通过一种相应的计算机程序产品来实现,所述计算机程序产品具有能够直接加载到计算系统或存储装置中的计算机程序,所述计算机程序具有程序片段,以便当在计算系统中执行程序时,执行根据本发明的方法的所有步骤。除了计算机程序之外,这种计算机程序产品必要时能够包括附加的组件,例如文档,和/或附加的组件还包括硬件组件,例如用于使用软件的硬件密钥(加密狗等)。
计算机可读介质,例如记忆棒、硬盘或其它可移动或固定安装的数据载体能够用于运输至计算系统和/或用于在计算系统上或计算系统中存储,在所述计算机可读介质上存储有计算机程序的能够由计算系统读入和执行的程序片段。为此,计算机单元例如能够具有一个或多个共同工作的微处理器等。
本发明的其它特别有利的设计方案和改进方案在以下的说明书中产生,其中一种实施类别的实施方式也能够类似于另一种实施类别的实施方式来改进,并且尤其也能够将不同的实施例或变型方案的单独的特征组合成新的实施例或变型方案。
就训练数据集的内容或基本事实而言,这与AI稍后应解决的问题极大程度地相关。
例如,应用于特定的患者的操作员设定能够是训练数据集的一部分。然后能够将传感器的数据视为基本事实(然而参见上述实施方案)。另一示例性方式在于,使操作员能够在图像已被记录之后事后评估参数的选择(并且能够检查其适用性),这将并入基本事实中。根据操作员的评估,其自身的工作结果能够用于对训练数据集中的数据集进行加权。特别优选的是,放射科医师评估图像结果的质量(例如其准直或等中心化的程度),并且然后给出其对更理想的设定的估计,然后将其转用于训练数据集。
数据集对基本事实的适用性优选能够以精度升高的三种不同的形式来确定:
a)在记录图像之后,MTRA或其它用户本身根据记录评估:记录是否良好(噪声特性、X射线源的角度或间距、X射线源的kV、mAs)并将结果评价为好或差。评价通常隐性地执行,其方式为:将结果转送用于鉴定或删除并且进行新的记录。
b)在记录图像之后,次级AI评估:上述参数是否得到良好的图像,并且将结果确认为良好的或者以信号通知用户:丢弃该图像。在某些情况下(例如X射线或断层扫描记录的准直),次级AI还能够自己调整或改进结果(例如裁切或裁剪所产生的放射图像)。用户还能够对此再次做出最终判断。最终确认的结果于是并入基本事实中。
c)在次级AI和/或MTRA/用户已经将图像确认为良好的并且将其转发之后,放射科医师将图像(参见上文:这优选并入基本事实中)鉴定为成功的,或者其将图像拒绝为诊断上不可接受的并且要求重新检查,或者进行有限的诊断,但是通过反馈例如向RIS或PACS系统指摘图像。
随着根据本发明的方法通过使用次级AI来创建或补充基本事实的进展,也附加地解决了以下问题:“手动”创建的训练数据集经常会丢失在基本事实中的重要信息,因为这种数据集几乎总是不完整的。但是,手动注释也是耗费的、高成本的,并且有时还易于出错。由于这种方法能够实现自动地确定基本事实,所以创建训练数据集的成本非常低。一旦获取训练数据和基本事实不再受到高成本的限制,那么就能够以简单且有利的方式提供训练数据,这极大地加速了AI的训练,并且也提高了其质量,进而提高了其价值。
然后,基本事实的数据集例如对于根据模态定位的问题包括一种或多种以下数据类型:
a)成像设备(检测器、X射线管、遮光板、工作台高度、线圈位置、准直器位置、……)的理想位置,
b)图像记录的参数(kV、mAs、MR序列或梯度强度,......),
c)患者相对于模态(或模态的各个组件)的位置或关节的角位置。
d)在医学图像中辨识出的医疗植入物相对于患者的在其上辨识出的或基于传感器数据相关的解剖结构的位置。这尤其适用于在治疗应用如外科手术、血管造影或放射治疗等的范围中原位创建的医学图像。
在CAD应用的情况下基本事实优选是临床诊断及其在临床图像(X射线、CT、MR、SPECT、PET)上的标记或定界。
基本事实能够通过受过医学培训的用户预设,例如MTRA、持有X射线证书的医务助理或医生预设。但是,所述基本事实也能够通过次级AI自动创建,例如通过裁剪算法的结果自动创建。可选地,受过医学培训的用户确认自动创建的基本事实的结果。
根据一种优选的方法,在将训练数据集发送给训练装置之前,基于预定的标准分析图像记录的质量。在质量不符合预定的标准的情况下,将图像记录调整为,使得其符合所述标准,或者将其丢弃。分析能够通过用户进行,但是也能够自动进行,例如通过经专门训练的AI自动进行。图像记录不一定必须是训练数据集的一部分,即使这是优选的情况。例如,训练数据集能够包括用于定位患者以记录预定的身体区域的数据,并且图像记录用于检查:该数据是否得到良好的记录。
可行的标准对于本领域技术人员是已知的并且对应于以下标准,根据所述标准本领域技术人员本身评估图像记录。可行的标准是:
-图像局部的大小(主题是否能够以正确的大小查看,或者其是否过小或过大?)
-图像局部的位置(主题是否在正确的部位处成像,例如居中地成像?)
-信噪比(图像的噪声是否过多?)
-正确的主题(是否成像了正确的对象或器官?)
-正确的显示(例如是否以正确的角度照射关节间隙,使得其清晰可见?)
-伪影的存在(例如运动模糊或通过金属引起的伪影)
在此优选的是,在图像记录已经被调整的情况下,这在相应的基本事实中被记录。如果因为在记录时错误地选择了图像局部的大小(例如通过准直)而发生裁剪(图像记录的裁切),那么这将记录在基本事实中,并且由此用于设定准直器的数据例如配备有“标签”。
例如,在借助特定的准直(除了其它成像参数之外)扫描患者期间3D相机或其它传感器观察该过程,所述特定的准直由用户给出或者由预先训练的AI算法建议。对所检测的医学图像起作用的图像分析算法随后对图像进行分割,以便能够辨识预定的器官(例如,用于胸部前后位放射照相检查的肺)。这种算法目前已经是已知的并且通常被称为“自动裁切算法”(或“裁剪算法”)。神经网络的局部训练的基本事实于是优选包括所产生的医学图像的理想大小,意即自动裁切算法的结果。以类似的方式,对医学图像的分析能够用于,也评定管电压和管电流的选择,以便能够确定用于其它成像参数的基本事实。为了该目的,该方式应与算法组合,所述算法例如评价图像记录的信噪比并且能够从中推导出:哪些记录参数不正确,并且在必要时确定正确的值(在基于X射线的记录的情况下,尤其是kV和mAs)。同样地,尤其对于断层扫描检查,算法能够计算:在预先选择患者在医疗设备的机架中的位置的情况下,身体的中心或其放射学重心是否实际上与机架的等中心相关。如果存在偏差,则这能够在基本事实中予以考虑。
优选地,在图像记录无法调整使得所述图像记录对应于标准的情况下或者在图像记录(由用户或另一AI)被丢弃的情况下,则相应的训练数据集被丢弃或者被标示为反面示例。
通常,无论是用于裁切或调整图像的自动图像分析算法,还是操作员的输入,都不会引起进行读取的放射科医师所期望的理想的图像质量。与操作员的能力还是算法的质量无关,情况总是如此直至某种程度,因为显示图像的偏好直至某种程度是进行读取的医生的个人问题。因此优选的是,进行读取的医生的意见也并入基本事实中。优选地,该医生能够经由软件接口将用于被评定的图像的标记作为基本事实插入相应的训练数据集中,例如对于预先图像评估的预设定或结果的“(不)正确”。
可选地,该反馈(进而优选也有基本事实)能够包含附加的信息,例如裁剪、管电压或管电流设定多么充分。但是,反馈也能够包含医生将图像质量视为不适当的信息。优选将医生的得到适合用于读取的图像质量的那种信息视为基本事实。
这种附加的人机接口的优点在于将以下概率最小化:基于次优的基本事实训练AI,所述基本事实要么被次优的图像分析算法篡改,要么被不合格的操作员篡改。此外,这会引起将机器学习算法朝向标准化的图像质量的方向更有针对性地进行训练,如这被相应的设施的本地医生所期望的那样。借助进行鉴定的医生的反馈进行广泛的训练还具有以下优点:能够全面实现图像感知的标准化,因为甚至机构中的放射科医师通常也无法就应将何种理想图像感知视为标准达成一致。如果所涉及的信息被并入到进行读取的医生已标记的训练中,则可以训练AI算法,以便甚至能够根据转诊医生或进行读取的放射科医师是谁来调整图像记录设定。
关于基本事实,根据AI的成像检查的何种要自动化的或要学习的参数应被训练,考虑形成基本事实的不同的变型方案。
在记录图像时能够预先测量患者的位置,例如借助于3D传感器如3D相机进行。患者的位置能够是训练数据集的一部分,并且该位置的确认或图像记录(在图像记录正确的情况下)或校正的位置(在校正过的图像记录的情况下)优选并入基本事实中。但是也可能是,在用户对患者进行定位之后,到此为止根据方法训练的AI确定:定位与理想情况偏离(并且其在必要时警告用户)。在所产生的图像记录中,用户现在能够标记:他选择的位置是否产生良好的图像记录。然后,该标记优选也是基本事实的一部分。图像记录本身不必是训练数据集的一部分。
但是也能够设定管电压和/或管电流。在产生图像记录之后,算法测量图像记录的噪声特性,并且在此计算:图像记录中的对比度和噪声是否如期望的那样,或是否以过高或过低的剂量进行记录。训练数据集于是包括关于管电压或管电流的初始设定的数据。基本事实优选包括确认:图像记录是好的或者不是好的,或者由算法提出的关于此的更好的数据。图像记录本身在此也不必是训练数据集的一部分。
例如,在放射照相的领域中或者在标准X射线的情况下,能够由用户设定准直。如果在所产生的X射线图像中无需手动裁剪的情况下图像记录被用户接受,则训练数据集或基本事实(根据问题)优选包括准直器设定。特别优选的是,基本事实包括图像记录是良好的信息(以及可能的3D传感器数据)。例如,在AI控制的准直的情况下,训练数据集包含临床问题或要求,并且必要时还包含3D传感器的数据和下述基本事实,所述基本事实包含为分别所创建的图像选择的准直,尤其当无需事后裁剪就接受结果时如此。
但是,准直也能够由已经被训练的AI设定(基于3D传感器的数据)。裁剪同样能够由另一经训练的AI执行。如果例如图像的裁剪被用户或AI重新调整,则基本事实还应附加地包括基于裁剪对准直的修改(AI或用户)。
但是可能(附加地)存在下述情况:已设定在检测器和对象之间的角度,例如预训练的算法(拒绝分析算法)或用户设定X射线管与膝盖的角度。在角度正确的情况下,该角度(根据问题)也应并入训练数据集或基本事实中,并且附加地将图像记录是良好的信息也并入基本事实中。例如,在AI控制的角度设定的情况下,训练数据集包含临床问题或要求,以及必要时包含3D传感器的数据,并且基本事实包含关于正确角度的信息。如果用户或附加的经训练的AI在图像记录中识别出:角度不正确,例如无法识别膝关节间隙,则能够丢弃图像记录或者将其标示为反面示例。但是,替选地也能够确定:必须以何种角度进行记录,并且然后将该所确定的角度优选并入基本事实中。由此能够基于复杂的定位参数,例如在X射线管、检测器和感兴趣的器官之间的角度训练AI。
但是也能够通过用户或经训练的AI优选确定:图像记录涉及患者的右侧图像还是涉及左侧图像,并且然后将相应的侧,例如标签“L”或“R”添加到基本事实。
在断层扫描记录(CT、SPECT、PET、……)的情况下,在通过用户测量患者或其位置之后,CT台的高度能够设定为计算出的理想的等中心。在CT扫描之后,用户或其它经训练的AI从图像中计算出身体的放射学“重心”,进而计算出理想的等中心。为此所需的信息(对“良好的记录”进行标记的标记或者所确定的理想的等中心)于是优选是基本事实的一部分,并且患者的位置数据或所设定的等中心优选是训练数据集的一部分。
但是,也能够借助于AI计算或预测CT检查的最佳的等中心化,其基于通过适宜的传感器如3D相机、超声波或雷达传感器对患者的位置的检测。在CT图像记录之后,对所产生的图像体积如下分析,在何处(在本地平均上)可能发生用于所扫描的身体体积的正确的等中心化(见上文)。所述结果于是优选与所检测到的3D相机数据结合用作为基本事实。
根据一种优选的方法,借助于已经被训练的检查算法,仅仅或除了通过用户进行分析之外,还执行对图像记录的分析,该已经被训练的检查算法基于预定的标准评价相应的图像记录的质量。在相应的图像记录不符合预定的标准的情况下,AI优选也确保:将图像记录调整为,使得其对应于标准,和/或其确定:哪些记录参数必须在记录时如何改变,以便使图像记录符合标准。在此,优选根据所调整的图像记录确定:在初始图像记录时应如何对患者进行定位,尤其是定位和/或等中心化,由此其将符合标准。
优选地,所述附加的AI分析图像中对相关的器官的医学图像记录(例如放射学图像)(这种AI是现有技术),并且判断:预先对于检查所做的设定是否良好,例如是否所有器官都处于正确的角度中和完整地包含。然后优选将分析结果转移到基本事实中。
根据一种优选的方法,与图像记录相关联的基本事实(尤其是仅)包括关于以下内容的信息:进行何种设定来记录相应的图像记录和/或对图像记录进行何种改变。可行的设定例如会是患者的准直或定位,可行的改变例如会是校正,尤其是图像记录的事后裁切。在此优选的是,在进行相应的设定时自动地记录该信息。在这种情况下,关于检查类型的检查特定的指示和可选地患者数据优选是训练数据集的一部分。
因此,优选地,基于用户所观察的图像设定行为(例如准直)和可能进行的校正(例如,在事后剪切图像、裁剪时手动的用户校正)训练AI,并且纯粹从用户行为学会其“行为”。附加地,训练数据集优选还包含关于以下内容的信息:将图像记录鉴定为是良好的还是非良好的。连同关于设定的信息一起,能够进行有利的训练,其中考虑了设定的质量。
但是优选的还有以下情况:放射科医师评定放射学图像,在该放射学图像上附加地向他显示出由相应经训练的AI辨识的临床影像。放射科医师确认正确的临床影像或标记不正确的临床影像或添加AI未识别出的临床影像。这些图像记录也能够并入训练数据集中,并且将放射科医师的评价并入基本事实中。要训练的AI于是优选是CAD算法(英文“Computer Aided Diagnosis”,计算机辅助诊断)。
根据一种优选的方法,机器学习算法是CAD算法,并且关于图像记录的基本事实包括诊断和优选附加地包括关于图像记录的后处理的信息,尤其是关于结构的对比度、亮度、高亮的变化或图像点的位置的变化的信息。
一种优选的方法设计为用于,尤其关于机器学习算法和训练数据集的选择,训练AI,以患者特定的方式给出用于放射学检查的参数,尤其是模态和/或患者位置的自由度的参数,优选是如下组中的参数,该组包括:准直,空间轴线的确定尺寸,坐标系的定向,管电压(“kV”),X射线电流,X射线束的强度(例如mAs),患者或检查床的位置,患者或检查床的取向,记录窗口的位置和记录时间。这通过将相应的参数并入训练数据集中来实现。
根据一种优选的方法,在创建训练数据集的过程中,除了图像记录之外(即在记录之前、期间或之后,然而直接涉及该记录),传感器数据由相应的医学技术成像系统或连接到其上的传感器来记录。这些传感器数据尤其是关于患者的位置的位置数据。
传感器数据尤其包括相机的图像数据,优选3D相机的数据和/或超声检测器的数据和/或雷达检测器的数据。但是也能够使用纯RGB相机数据。
根据一种优选的方法,在中央计算装置中使用至少两种经训练的机器学习算法或其参数数据集来相互评定和/或验证。
优选使用针对相同的对象,尤其是器官进行训练的机器学习算法。这应该是使得能够进行有效的评定或验证。在此优选的是,为此使用的多种机器学习算法在安全环境内(分别经由安全数据连接,例如在不同的医院网络中)进行训练。特别优选的是,在此通过中央计算装置将评定和/或验证为最佳的机器学习算法提供给通过医疗设施使用。优点在于,每个AI都能够通过其它经训练的AI定期改进,并且能够各自被最佳训练的AI。
根据一种优选的方法,至少两个经训练的AI或其参数数据集在中央计算装置中组合和/或相互混合。
因此,训练能够在许多地点(在许多诊所中)并行进行,并且在中央计算装置中进一步处理或混合。优选使用针对相同的对象,尤其是器官进行训练的机器学习算法。这应当使得能够进行有效的评定或验证。在此优选的是,为此使用的多个机器学习算法在安全环境内(经由安全数据连接,例如在不同的医院网络中)进行训练。在此特别优选的是,通过中央计算装置将由组合和/或混合产生的机器学习算法提供给通过医疗设施使用。
例如,在自动胸部识别的过程中,用于胸部识别、准直和X射线管的电压设定的技术由AI承担,所述AI在设施处借助多次胸部检查来训练,以及用于识别肩部(或设备的相应设定)的技术由AI承担,所述AI在专门针对肩部检查的设施中已被训练。
组合或混合尤其能够借助于复杂的混合方案执行,尤其借助于元算法例如“遗传算法”执行,这然后引起所产生的元AI。该元AI将组合或混合式AI组合以最优地临床部署在对应的领域上。
所述优点是最大程度地利用可用性数据和统计数据用于训练,因为大选集的各种成像设备能够在不同的设施中被用于培训,而敏感数据不必离开相应的安全网络。关于这方面,尤其能够更有效地识别少数族裔的罕见病状或病状,尤其当必须关于这方面对设备进行特殊设定时如此。
在两个AI组合或混合的情况下要注意的是,不能简单地形成参数数据集的平均值。在此应始终使用如下AI,所述AI虽然可能在不同的位置处受过训练,但是都针对相同的应用情况受过训练,即解决相同的基本任务,即使图像记录的对象应是不同的。原则上,在中央计算装置中存在的所有AI都受过训练,但是不一定针对所有身体区域都同样好地受过训练。如上所述,来自头部诊所的AI可能对于头部记录训练得非常好,而对于胸部记录训练得差。在肺科诊所中通常是相反的。由中央计算装置收集的AI原则上能够解决相同的任务(例如识别病状或优化定位或准直),但是可能用于在不同的器官上进行记录。
混合或组合优选预设权重:经训练的AI对何种特定应用情况做出何种程度贡献,并且可以在实践中如下进行:
-可以提供对经训练的AI的选择,所述AI为多种患者类别提供多种器官应用。为每个可能的应用分别选择最好的AI。
-可以创建元算法(正常算法或能机器学习的),所述元算法组合所述AI。关于这方面,优选的是神经元网络,所述神经元网络根据在中央服务器中可用的数据进行训练。经训练的网络决定:对于何种应用(例如头部、脚、心脏)在何种患者(例如儿童、成人、胖、瘦、矮、高)中哪个AI以何种权重做出贡献。
-代替在元层级上的神经网络,也可以构成另一种算法,例如遗传算法,该算法选择:哪个AI平均为哪些应用以何种权重做出贡献。
本发明的一个优点是:能够训练AI,而不必将机密的私人数据转发给AI供应商的中央集线器。这是因为:神经网络的能够为了进一步研发、验证和发布而转发给集线器的数据无法实现对与数据保护相关的输入数据的追踪。在技术上,AI甚至能够连续地或迭代地被训练,进而缓慢地改进。当AI直接针对图像记录而不是针对患者的视觉感知由操作员进行训练时,算法迭代地改进,以便准确产生理想的图像质量和准直,如这在最终的裁切和相协调的图像中期望的那样。这对于图像质量和剂量会具有巨大的优势。不再需要裁切(手动或自动),由此避免了耗时的工作流程并且减少了所施用剂量的浪费。此外,当增加设备的使用时,为了基于传感器数据对扫描参数进行每个给定的AI控制的预测,AI算法能够对于特定的患者人群在特定的医院场所本身处随着时间的推移而改进,而不必从中心部位接收更新。器官识别的更广泛的应用(例如除了胸部以外还有肩部)一旦在本地执行足够的器官记录,就能够在其基础上进行学习。
附图说明
下面根据实施例参考附图更详细地阐述本发明。在此,在不同的附图中,相同的组件设有相同的附图标记。所述附图通常并不合乎比例。附图示出:
图1示出具有根据本发明的用于执行方法的装置的实施例的计算机断层扫描系统的粗略示意图;
图2示出根据本发明的系统;
图3示出根据本发明的方法的一个可行的流程的流程图;
图4示出根据图3的方法的另一可行的流程的流程图。
具体实施方式
在以下阐述中假设:成像设施是CT系统。但是,原则上,该方法也能够用于医疗技术中及其之外的其它成像设施。
图1粗略地示意性地示出具有用于执行根据本发明的方法的控制装置5的计算机断层扫描系统1。计算机断层扫描系统1通常具有带有机架的扫描仪2,在其中X射线源3旋转,所述X射线源分别透视患者P,所述患者借助于卧榻被推入机架的测量室中,使得辐射射到分别与X射线源相对置的检测器4上。明确指出,该实施例仅是CT的示例,并且本发明也能够在任意的CT构造,例如具有环形固定式X射线检测器和/或多个X射线源的CT构造上使用。
同样地,在控制装置5中仅示出对于阐述本发明重要的组件。原则上,这种CT系统和所属的控制装置对于本领域技术人员是已知的,进而不需要详细阐述。
控制装置5的核心组件在此是处理器11,在所述处理器上以软件模块的形式实现不同的组件。控制装置5还具有终端装置接口14,终端装置7连接到该终端装置接口上,经由该终端装置,操作员能够操作控制装置5,进而操作计算机断层扫描系统1,或者能够评定图像记录B。另一接口15是用于连接到数据总线21上的网络接口,以便能够建立与RIS(Radiologieinformationssystem,放射科信息系统)或PACS(Picture Archiving andCommunication System=Bildarchivierungs-und Kommunikationssystem,影像存档和通信系统)的连接。
扫描仪2能够由控制装置5经由控制接口13操控;意即例如,机架的旋转速度、检查床的移位和X射线源3本身受到控制。经由采集接口12从检测器4读取原始数据RD。此外,控制装置5具有存储单元16,在所述存储单元中还保存有不同的测量协议。
在处理器11上的另一组件是图像数据重建单元18,借助所述图像数据重建单元从经由数据采集接口12获得的原始数据RD重建期望的图像数据。
经由终端装置7能够通过用户评定图像记录B并且还能够将所述图像记录与基本事实G相关联,例如是否存在病理或图像是否良好。在这里所示出的情况下,这已发生,并且图像记录B能够连同对于每个图像的相关的基本事实G一起作为训练数据集T存储在存储单元16中。图像记录B在此不一定必须是训练数据集的一部分,进而在存储装置16中在训练数据集T旁示出。基本事实G能够通过传感器22,例如3D相机22的数据来补充。
在该示例中,训练单元附加地包括检查算法U,所述检查算法设计为用于检查训练数据集T或图像记录B的部分,并且例如重新定向或剪切。通过检查算法U进行的改变并入相应的基本事实G中。
训练单元6不一定必须位于控制装置5中,而是也能够存在于单独的计算机中,并且经由数据总线21获得训练数据集T,如虚线所示出的那样。
经训练的算法A的参数数据集PD例如借助于数据总线21经由数据接口19发送给在医院网络9之外的网络17(医院网络9、10在此和在下图中代表安全数据连接9)。中央计算装置20位于该处,所述中央计算装置接收参数数据集PD并且从中创建经训练的机器学习算法A。在这里所示出的示例中,中央计算装置20已经从另一医院网络10获得经训练的机器学习算法A1。这两种机器学习算法A、A1现在能够相互组合。
图1草绘出根据本发明的一个优选的实施形式的设备复合体8的整体。
图2示出根据本发明的用于训练机器学习算法的系统。该视图在原理上类似于图1,然而提供了关于主要核心组件的更好的概览。该系统包括以下组件:
-在安全医院网络9内的具有要训练的机器学习算法A’的训练装置6,
-中央计算装置20,所述中央计算装置设计为用于在医院网络9之外的网络17中运行经训练的机器学习算法A,
-数据接口19,所述数据接口设计为用于将数据从训练装置6发送至中央计算装置20,
-存储装置16,所述存储装置用于基于图像记录的多个训练数据集T,
-通信单元21(例如可以是图1中的数据总线21),所述通信单元设计为在医院网络9内将训练数据集T发送给训练装置6。
图3示出根据本发明的用于训练机器学习算法A的方法的一个可行的流程的流程图。
为了更好的概览假设:所有组件都可用,例如在图1和2中所示出的那样。
在步骤I中进行用于图像记录的预设定。这例如包括:通过MTRA定位患者P、设定记录参数、借助于传感器22测量患者P和/或经由用于相应的检查的理想的系统参数预测(部分训练的)AI,其中预设定成像系统1完全可以通过AI进行。所有这些预设定优选存储在训练数据集中(所述训练数据集都基于要执行的图像记录)。
用户能够修正AI的预测或预设定。然后,这些更正优选并入基本事实G中。
在步骤II中,借助成像系统1,例如图1中的CT系统1创建图像记录B。
在步骤III中,检查算法U(例如另一已经被训练的AI)分析所生成的图像记录B并且评价:设定是“好”的还是“差”的,必要时,计算什么会是更好的预设定。如果必须对图像记录B进行再裁切(裁剪),则初始准直过大。如果图像记录B噪声过大,则剂量必须更高。如果关节间隙不可见,则管几何形状的角度必须不同。所有这些认知都并入基本事实G。
替选地或附加地,用户(例如在扫描仪处的MTRA或在鉴定监视器处的放射科医师)能够相应地评价图像记录(独立于检查算法U或检查算法U的结果)。在此可能发生:仅在裁剪或转动时才能进行更正。在剂量过低的情况下,例如,在基本事实中进行注明,如果几何记录参数是错误的(关节间隙或错误的记录区域),也可以丢弃图像记录B。
因此现在存在以下情况:
-图像记录B是正确的(这在基本事实G中注明),
-图像记录B已改变(改变在基本事实G中注明),
-图像记录B被丢弃(相应的训练数据集T被丢弃或丢弃在基本事实G中注明)。
在第四步骤中,训练机器学习算法A。
在步骤V中,将经训练的机器学习算法A的参数值数据集PD发送给医院网络9之外的中央计算装置20。
以这种方式训练的AI现在能够用作为监控算法U或用作为用于预测预设定的算法。
然而,根据本发明的方法由于其基本结构提供了下述可能性:将多个独立的设施中的认知相互组合,而不必泄露敏感数据。
在中央计算装置20上,现在可以将从多个独立的设施接收到的经训练的AI相互比较或相互组合。例如,性能最强的AI被批准为医疗产品,并且向回发送给所有成像设备,以便在该处使用,并且例如做出关于kV、mAs、准直、几何系统自由度的更精确的预测。
但是,不一定必须选择最好的AI,而是能够通过巧妙地“混合”或“组合”或“互连”不同的经训练的AI来提供性能更强的AI,这又比所有之前的AI更好。然后能够在各个设备上使用这种混合的AI。
图4示出根据图3的方法的可行的另一流程的流程图。
在步骤VI中,将另外的经训练的机器学习算法A1以参数数据集PD的形式发送给中央计算装置20。中央计算装置20于是包含多个经训练的机器学习算法A、A1。
在步骤VII中,选择最佳的机器学习算法A、A1和/或机器学习算法A、A1的组合。在该示例中,算法A被选为性能更强的算法。
在步骤VIII中,将所选择的机器学习算法A发送给成像系统1,这完全能够借助于相应的参数数据集PD发生。
随后能够继续训练,其中在此进一步训练机器学习算法A,这用下面的带有数字I的框表示。
最后再次指出,上面详细描述的方法以及所示出的系统仅仅是实施例,其能够由本领域技术人员以各种不同的方式修改,而不会脱离本发明的范围。此外,不定冠词“一”或“一个”的使用并不排除:相关的特征也能够多次存在。同样,术语“单元”和“模块”并不排除:相关的组件由多个共同作用的子组件构成,这些子组件也可以是空间分布的。
Claims (15)
1.一种用于训练机器学习算法(A)的方法,所述方法包括以下步骤:
-提供具有要训练的机器学习算法(A’)的训练装置(6),所述训练装置(6)具有与医学技术成像系统(1)的安全数据连接(9),
-提供中央计算装置(20),所述中央计算装置(20)设计为用于在网络(17)中运行经训练的机器学习算法(A),而无需直接访问所述安全数据连接(9),
-提供数据接口(19),所述数据接口(19)设计为用于从所述训练装置(6)将数据发送至所述中央计算装置(20),
-创建多个基于图像记录(B)的训练数据集(T),所述训练数据集(T)分别配备有基本事实(G)或者在数据技术方面与基本事实(G)链接,
-经由所述安全数据连接(9)将所述训练数据集(T)发送给所述训练装置(6),
-借助于所述训练装置(6)利用所述训练数据集(T)训练所述机器学习算法(A’),
-经由所述数据接口(19)将经训练的所述机器学习算法(A)的参数数据集(PD)发送给所述中央计算装置(20)。
2.根据权利要求1所述的方法,其中在将所述训练数据集(T)发送给所述训练装置(6)之前,基于预定的标准分析所述图像记录(B)的质量,并且在所述质量不符合预定的标准的情况下,将所述图像记录(B)调整为,使得所述图像记录(B)对应于所述标准,或者将所述图像记录(B)丢弃,
优选其中在所述图像记录(B)已经被调整的情况下,这并入相应的基本事实(G)中,并且优选其中在图像记录(B)不能被调整为使得所述图像记录(B)对应于所述标准或者将其丢弃的情况下,则相应的训练数据集(T)被丢弃或者被标识为反面示例。
3.根据权利要求2所述的方法,其中借助于已经被训练的检查算法(U),仅仅或除了通过用户进行分析之外,还基于预定的标准对所述图像记录(B)执行分析,所述已经被训练的检查算法(U)基于预定的标准评价相应的图像记录(B)的质量,和
优选附加地在相应的所述图像记录(B)不符合预定的标准的情况下,
-将所述图像记录(B)调整为,使得其对应于所述标准,
和/或
确定:哪些记录参数在记录时必须如何改变,以便所述图像记录(B)符合标准,优选其中根据所调整的图像记录(B)确定:在初始图像记录(B)时应如何实现所述患者(P)的定位,尤其是定位和/或等中心化,以便其符合所述标准。
4.根据上述权利要求中任一项所述的方法,其中与图像记录(B)相关联的基本事实(G)尤其是仅包括关于以下内容的信息:进行何种设定来记录相应的所述图像记录(B)和/或对所述图像记录(B)进行何种改变,
例如患者(P)的准直或定位和/或校正,尤其是在事后裁切所述图像记录(B)时,
其中在进行相应的设定时优选自动地记录所述信息。
5.根据上述权利要求中任一项所述的方法,其中所述机器学习算法(A’、A)是CAD算法,并且关于图像记录(B)的基本事实包括诊断和优选附加地包括关于所述图像记录(B)的后处理的信息,尤其是关于结构的对比度、亮度、高亮的变化或像素的位置的变化的信息。
6.根据上述权利要求中任一项所述的方法,所述方法设计为用于,尤其关于所述机器学习算法(A’、A)和所述训练数据集(T)的选择,训练所述机器学习算法(A’、A),以患者特定的方式给出用于放射学检查的参数,尤其是模态和/或所述患者位置的自由度的参数,优选如下组中的参数,所述组包括:准直,空间轴线的确定尺寸,坐标系的定向,管电压,X射线电流,X射线束的强度,患者或检查床的位置,患者或检查床的取向,记录窗口的位置和记录时间。
7.根据上述权利要求中任一项所述的方法,其中在创建所述训练数据集(T)的过程中,除了所述图像记录(B)之外,传感器数据由相应的所述医学技术成像系统来记录,尤其是关于患者(P)的位置的位置数据,其中所述传感器数据尤其包括相机的图像数据,优选3D相机(22)的数据和/或超声检测器的数据和/或雷达检测器的数据。
8.根据上述权利要求中任一项所述的方法,其中在所述中央计算装置(20)中使用至少两个经训练的机器学习算法(A、A1)或其参数数据集(P)来相互评定和/或验证,
优选使用针对相同的器官进行训练的机器学习算法(A、A1),
优选其中在不同的训练装置(6)内训练多个为此使用的机器学习算法(A、A1),
特别优选其中通过所述中央计算装置(20)将评定和/或验证为最佳的机器学习算法提供给医疗设施使用。
9.根据上述权利要求中任一项所述的方法,其中将至少两个经训练的机器学习算法(A、A1)或其参数数据集(P)在所述中央计算装置(20)中组合和/或相互混合,
优选针对不同的器官进行训练的机器学习算法(A、A1),
优选其中为此使用的多个机器学习算法(A、A1)被不同的训练装置(6)训练,
特别优选其中通过中央计算装置(20)将由所述组合和/或所述混合产生的机器学习算法(A、A1)提供给医疗设施使用。
10.一种机器学习算法(A),尤其是CAD算法或用于在成像系统(1)中定位患者(P)的算法,所述算法按照根据上述权利要求中任一项所述的训练方法进行训练。
11.一种控制装置(5),所述控制装置(5)用于控制成像系统(1),尤其用于控制放射照相或断层扫描系统,所述控制装置构造为用于执行根据权利要求1至9中任一项所述的方法。
12.一种成像系统(1),尤其是放射照相或断层扫描系统,所述成像系统包括根据权利要求11所述的控制装置(5)。
13.一种设备复合体,所述设备复合体包括:
-多个训练装置(6),所述多个训练装置(6)具有与不同的成像系统(1)的安全数据连接(9),
-中央计算装置(20),所述中央计算装置(20)设计为用于在网络(17)中运行根据权利要求10训练的机器学习算法(A),而无需直接访问所述安全数据连接(9),
-可选地另外的成像系统(1),尤其在安全的医院网络(9、10)中,
-数据接口(19),所述数据接口(19)设计为用于在所述训练装置(6)和所述中央计算装置(20)之间进行数据通信,其中所述设备复合体设计为用于,使得参数数据集(PD)能够从所述训练装置(6)发送至所述中央计算装置(20),并且反之亦然,
优选其中所述中央计算装置(20)设计为用于,将参数数据集(PD)和/或机器学习算法(A、A1)相互组合。
14.一种计算机程序产品,所述计算机程序产品具有能够直接加载到计算装置中的计算机程序,所述计算机程序具有程序片段,以便当在所述计算装置中执行所述计算机程序时,能够执行根据权利要求1至9中任一项所述的方法的所有步骤。
15.一种计算机可读介质,在所述计算机可读介质上存储有能够由计算单元读入和执行的程序片段,以便当由所述计算单元执行所述程序片段时,能够执行根据权利要求1至9中任一项所述的方法的所有步骤。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102020212315.2A DE102020212315A1 (de) | 2020-09-30 | 2020-09-30 | Verfahren zur Erzeugung eines trainierten maschinenlernfähigen Algorithmus |
DE102020212315.2 | 2020-09-30 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114334091A true CN114334091A (zh) | 2022-04-12 |
Family
ID=80624384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111163967.8A Pending CN114334091A (zh) | 2020-09-30 | 2021-09-30 | 训练机器学习算法的方法、机器学习算法和设备复合体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220101526A1 (zh) |
CN (1) | CN114334091A (zh) |
DE (1) | DE102020212315A1 (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220406583A1 (en) * | 2021-06-18 | 2022-12-22 | Taiwan Semiconductor Manufacturing Co., Ltd. | Deposition system and method |
US11935001B2 (en) * | 2022-04-08 | 2024-03-19 | Mcmaster-Carr Supply Company | Computer aided design assembly part scraping |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3409187B1 (de) | 2017-05-30 | 2023-08-16 | Siemens Healthcare GmbH | Verfahren und vorrichtung zur bestimmung einer strömungssituation in einem organ |
-
2020
- 2020-09-30 DE DE102020212315.2A patent/DE102020212315A1/de active Pending
-
2021
- 2021-09-28 US US17/487,156 patent/US20220101526A1/en active Pending
- 2021-09-30 CN CN202111163967.8A patent/CN114334091A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220101526A1 (en) | 2022-03-31 |
DE102020212315A1 (de) | 2022-03-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10546375B2 (en) | Generating a suitable model for estimating patient radiation dose from medical imaging scans | |
CN104997528A (zh) | X射线计算机断层拍摄装置以及拍摄条件设定辅助装置 | |
US20180253838A1 (en) | Systems and methods for medical imaging of patients with medical implants for use in revision surgery planning | |
CN114334091A (zh) | 训练机器学习算法的方法、机器学习算法和设备复合体 | |
US20210183055A1 (en) | Methods and systems for analyzing diagnostic images | |
JP2017202311A (ja) | 医用画像診断装置及び管理装置 | |
EP3370616B1 (en) | Device for imaging an object | |
JP6925786B2 (ja) | X線ct装置 | |
JP6824641B2 (ja) | X線ct装置 | |
JP2017202307A (ja) | 医用画像診断装置及び医用情報管理装置 | |
KR102634835B1 (ko) | 비식별화된 의료 영상 이미지 합성 데이터 생성 방법 및 시스템 | |
US20240212153A1 (en) | Method for automatedly displaying and enhancing AI detected dental conditions | |
JP2017202308A (ja) | X線ct装置及び医用情報管理装置 | |
KR20160009848A (ko) | 방사선 선량 권고량 관리 방법 및 그 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |