CN116194999A - 在成像点处的用于将ai算法的训练集成到临床工作流程中的设备 - Google Patents
在成像点处的用于将ai算法的训练集成到临床工作流程中的设备 Download PDFInfo
- Publication number
- CN116194999A CN116194999A CN202180065603.8A CN202180065603A CN116194999A CN 116194999 A CN116194999 A CN 116194999A CN 202180065603 A CN202180065603 A CN 202180065603A CN 116194999 A CN116194999 A CN 116194999A
- Authority
- CN
- China
- Prior art keywords
- imaging
- training
- image
- patient
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 180
- 238000003384 imaging method Methods 0.000 title claims abstract description 118
- 238000004422 calculation algorithm Methods 0.000 title abstract description 34
- 238000002059 diagnostic imaging Methods 0.000 claims abstract description 101
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000000034 method Methods 0.000 claims description 33
- 238000004590 computer program Methods 0.000 claims description 19
- 238000003672 processing method Methods 0.000 claims description 6
- 238000011161 development Methods 0.000 abstract description 4
- 238000012546 transfer Methods 0.000 abstract description 4
- 238000013473 artificial intelligence Methods 0.000 description 20
- 238000013527 convolutional neural network Methods 0.000 description 20
- 238000010801 machine learning Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 238000013528 artificial neural network Methods 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 7
- 238000002595 magnetic resonance imaging Methods 0.000 description 6
- 201000010099 disease Diseases 0.000 description 5
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000013442 quality metrics Methods 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 206010035664 Pneumonia Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 201000003144 pneumothorax Diseases 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 208000006545 Chronic Obstructive Pulmonary Disease Diseases 0.000 description 1
- 208000023890 Complex Regional Pain Syndromes Diseases 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001684 chronic effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013170 computed tomography imaging Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 210000004185 liver Anatomy 0.000 description 1
- 210000004072 lung Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009206 nuclear medicine Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000002603 single-photon emission computed tomography Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
本发明涉及图像处理。为了促进用于训练AI算法的可持续基础设施,提出了一种成像系统,所述成像系统利用移动注释设备来实时地(也就是说,在成像环节期间)接收由医学成像装置(例如,X射线、CT或MRI扫描器)采集的图像。然后显示由医学成像装置采集的图像,从而允许用户注释所采集的图像。用户注释可以包括以下各项中的一项或多项:推荐的与患者有关的工作流程、对与第一图像有关的图像质量的指示、关于医学发现的指示、表示医学发现的紧急程度的优先级信息。然后,将所采集的图像和用户注释存储在数据库中,从而创建用于训练AI算法的训练数据库。替代地或额外地,用户接口可以接收与由医学成像装置用来采集患者的图像的成像前设置的集合有关的用户注释。在X射线胸部成像的示例中,用户注释可以是准直设置、暴露时间设置、管电压设置、焦斑尺寸设置、针对X射线成像系统选择X射线敏感区以对患者施加正确剂量的选择等。然后,将成像前设置的集合和用户注释存储在训练数据库中,从而创建用于训练AI算法的训练数据库。以这种方式,能够直接从临床工作流程中选择图像和成像前设置的集合,并不需要选择图像和/或成像前设置的集合且并不需要将它们(例如从其他设施)转移到其他地方以用于开发。因此,对已经使用来自训练数据库的训练数据训练的AI算法的参数进行调整以适配特定设施的需求和标准,这使得能够获得可持续架构,可持续架构能够用于基于客户的需求为不同的应用训练AI算法。
Description
技术领域
本发明总体上涉及图像处理,并且特别涉及成像系统、图像处理方法、计算机程序单元以及计算机可读介质。
背景技术
以前,操作医学成像仪器的主要是专业操作人员,例如,放射技师(X射线、CT或MRI)、超声医师(超声)或核医学技师(NM成像)。然而,一种新的趋势正在出现,其中,由资格不足的工作人员负责执行检查。这种没有安全保障的做法可能会导致临床质量的损失。
操作人员(在本文中被称为“用户”)负责在整个检查过程中执行一组工作步骤,例如取决于仪器的模态和具体情况,这组工作步骤包括:
(i)患者定位
(ii)调整成像扫描的参数,
(iii)执行采集本身,以及
(iv)在成像仪器的控制台处审查和后处理所得到的图像。
一旦完成了成像检查,通常就将现代放射学工作流程中的后续步骤组织成使得操作者将图像以电子方式发送到图像数据库(PACS)以进行存储,并且同时经由阅读工作列表将该图像发送到另一训练有素的专家(医学认证的放射科医师)以对图像进行解读。取决于许多因素(例如,医学情况的紧急程度和工作负担的机构特定组织),这种解读常常以异步方式进行,这意味着图像采集与图像解读之间存在显著的时间延迟。
人工智能(AI)有可能补偿缺乏合格人员的情况,同时也提高了临床效率。AI系统是计算机实施的系统。它们基于机器学习算法,这些机器学习算法已经根据训练数据进行了预训练以执行任务(例如,在检查期间辅助用户)。为了训练机器学习算法,必须为AI算法的开发准备训练数据,这意味着在开发过程中需要很高的努力。另外,在不同设施中训练的AI算法可能并不总是适配不同设施的需求和标准,这使得很难获得能够用于基于客户需求为不同应用训练AI算法的可持续架构。
发明内容
可能需要解决上述缺陷中的至少一些缺陷的系统和方法。
本发明的目的通过独立权利要求的主题来解决,其中,在从属权利要求中包含了进一步的实施例。应当注意,本发明的以下描述的方面也适用于成像系统、图像处理方法、计算机程序单元以及计算机可读介质。
根据本发明的第一方面,提供了一种成像系统,包括:
医学成像装置,其被配置为使用成像前(pre-image)设置的集合在成像环节中采集患者的图像;
用户接口,其被配置为接收与(i)所采集的所述患者的图像和/或(ii)由所述医学成像装置用来采集所述患者的所述图像的所述的成像前设置的集合有关的用户注释;
至少一个训练数据库,其被配置为存储(i)所采集的所述患者的图像和所接收的用户注释和/或(ii)所述的成像前设置的集合和所接收的用户注释;以及
训练模块,其被配置为利用从所述至少一个训练数据库获得的训练数据来训练至少一个数据驱动的模型。
AI已经显示出增强临床工作流程的巨大潜力。因此,有许多尝试来开发能够在临床工作流程中使用的AI算法。然而,对这些算法的训练非常具有挑战性,因为它需要良好注释的临床数据。通常,这意味着必须花费大量精力来寻找合适的数据并对其进行注释。
为了促进用于训练AI算法的可持续基础设施,提出了一种成像系统,所述成像系统包括用于采集患者的图像的医学成像系统(例如,X射线、CT或MRI扫描器)。然后显示由医学成像装置采集的图像,并且用户能够经由用户接口来注释图像。
在一个示例中,用户接口可以接收与由医学成像装置(例如,X射线、CT或MRI扫描器)采集的患者的图像有关的用户注释。用户注释的示例可以包括但不限于对图像质量和临床发现的指示。用户接口可以被配置为实时接收所采集的患者的图像,例如,在成像系统处在采集图像之后立即接收所采集的患者的图像。然后,将所采集的图像和用户注释存储在训练数据库中,从而创建用于训练AI算法的训练数据库。
替代地或额外地,用户接口可以接收与由医学成像装置用来采集患者的图像的成像前设置的集合有关的用户注释。在X射线胸部成像的示例中,用户注释可以是准直设置、暴露时间设置、管电压设置、焦斑尺寸设置、针对X射线成像系统选择X射线敏感区以对患者施加正确剂量的选择等。然后,将成像前设置的集合和用户注释存储在训练数据库中,从而创建用于训练AI算法的训练数据库。
以这种方式,能够直接从临床工作流程中选择图像和成像前设置的集合,并不需要选择图像和/或成像前设置的集合且并不需要将它们(例如从其他设施)转移到其他地方以用于开发。因此,对已经使用来自训练数据库的训练数据训练的AI算法的参数进行调整以适配特定设施的需求和标准,这使得能够获得可持续架构,所述可持续架构能够用于基于客户的需求为不同的应用训练AI算法。
在一个示例中,可以在被配置用于并行计算的处理器电路(例如,多核处理器、GPU或其部分)中实施训练模块。在另一示例中,可以在片上系统(SoC)电路中包括训练模块。
在一个示例中,用户接口可以是手持式设备的部分,所述手持式设备包括移动电话、膝上型计算设备和平板电脑中的一项或多项。
在另一示例中,用户接口可以是医学成像装置的部分。
在一个示例中,医学成像装置、训练模块和用户接口可以具有有线连接(例如,USB、同轴电缆或光缆等)和/或无线连接(例如,蓝牙、NFC、WLAN等)。
在一个示例中,网络可以通信性耦合医学成像装置、训练模块和用户接口。网络可以是互联网。替代地,网络可以是任何其他类型和数量的网络。例如,可以由连接到广域网的几个局域网来实施网络。例如,网络可以包括有线网络、无线网络、广域网、局域网等的任意组合。
根据本发明的实施例,其中,所述至少一个数据驱动的模型包括以下各项中的一项或多项:
用于分析所采集的所述患者的图像以计算医学决策支持信息的数据驱动的模型;以及
用于分析所述患者的相机图像以计算所述的成像前设置的集合的数据驱动的模型,其中,所述相机图像是基于从传感器布置获得的传感器数据生成的,所述传感器布置具有包括所述患者被定位在其中以进行成像的区的至少部分的视场。
医学决策支持信息可以包括例如推荐的与患者有关的工作流程、对与所采集的图像有关的图像质量的指示、关于医学发现的指示以及表示医学发现的紧急程度的优先级信息。
相机图像可以是深度图像或RGB图像的形式。当患者(例如通过躺在或站在成像系统的视场内)被定位以进行成像检查时,可以采集相机图像。相机图像并非一定要包括患者的整个身体表面;它可能只涉及患者身体表面中与成像检查相关的部分。例如,如果感兴趣解剖结构是患者的颈部,那么传感器布置可以仅捕捉患者上身的测量图像。
根据本发明的实施例,所述医学成像装置包括所述用户接口。
例如,医学成像装置可以包括允许用户输入用户注释的触摸屏。
根据本发明的实施例,所述成像系统还包括移动注释设备,所述移动注释设备包括:
输入通道,其被配置为接收(i)所采集的所述患者的图像和/或(ii)由所述医学成像装置用来采集所述患者的所述图像的所述的成像前设置的集合;
显示器,其被配置为显示(i)所采集的所述患者的图像和/或(ii)由所述医学成像装置用来采集所述患者的所述图像的所述的成像前设置的集合;
用户接口,其被配置为接收与(i)所采集的所述患者的图像和/或(ii)由所述医学成像装置用来采集所述患者的所述图像的所述的成像前设置的集合有关的用户注释;以及
输出通道,其被配置为向所述至少一个训练数据库提供(i)所采集的所述患者的图像和所接收的用户注释和/或(ii)所述的成像前设置的集合和所接收的用户注释。
例如,所述移动注释设备是手持式设备,包括移动电话、膝上型计算设备和平板电脑中的一项或多项。
可以将移动注释设备放置在放射科医师的阅读监视器附近,如图4所示。每当放射科医师打开图像时,就可以将该图像额外地显示在移动注释设备14上。在移动注释设备上,放射科医师能够关于例如图像质量、临床发现等对图像进行注释。
根据本发明的实施例,所述训练模块被配置为重复训练所述至少一个数据驱动的模型。
在一个示例中,可以在由医学成像装置采集的图像的新的实例上即时训练数据驱动的模型。换句话说,可以在部署阶段中的重复训练阶段中继续训练模式。例如,图像处理设备的训练模块可以被配置为在所采集的患者的图像和由移动注释设备提供的用户注释上训练运行中(即,在部署阶段中正常使用数据驱动的模型期间)的数据驱动的模型。例如,可以将由移动注释设备提供的每幅新采集的图像和相应的用户注释直接发送到训练模块,以用于更新数据驱动的模型的参数。以这种方式,持续训练数据驱动的模型,使得数据驱动的模型适配特定设施的需求和标准。
在另一示例中,数据驱动的模型不是在运行中训练的,而是在已经收集了一定数量的带有注释的图像之后训练的。
在另外的示例中,一旦用户不同意在移动设备上显示的算法的反馈,他/她可以为该图像选择新的注释。然后,不仅通过该图像,而且通过该图像的所有可能的变化(例如,相同的图像,但是略微被截断)来丰富数据库。该数据丰富步骤可以允许提高这种被算法错误注释的图像的权重,因为然后使用新的图像和所有新生成的图像变化来重新训练该算法。
根据本发明的实施例,所述训练模块被配置为在随机基础上生成用户注释,以开始训练所述数据驱动的模型。
换句话说,初始模型是朴素模型,也就是说,第一图像反馈是随机生成的。这意味着模型能够从头开始训练。
根据本发明的实施例,所述数据驱动的模型被配置为基于所计算的医学决策支持信息来提供建议,以允许用户主动接受或拒绝所提供的建议。
换句话说,另外的可能性是模型仅提供建议,并且用户需要主动接受或拒绝该建议,这与用户输入的输出能够是(例如针对不同疾病的)多个预定义标签的可能性相反。
根据本发明的实施例,所述医学成像系统包括:
医学成像装置的第一组群和与医学成像装置的所述第一组群不同的医学成像装置的第二组群;
其中,所述用户接口被配置为接收:
与(i)由所述第一组群中的医学成像装置采集的患者的图像和/或(ii)由所述第一组群中的医学成像装置使用的成像前设置的集合有关的第一用户注释;以及
与(i)由所述第二组群中的医学成像装置采集的患者的图像和/或(ii)由所述第二组群中的医学成像装置使用的成像前设置的集合有关的第二用户注释;
其中,所述至少一个训练数据库(16)包括:
第一训练数据库,其用于存储(i)由所述第一组群中的医学成像装置采集的患者的所述图像和所接收的用户注释和/或(ii)由所述第一组群中的医学成像装置使用的所述的成像前设置的集合和所述用户注释;以及
第二训练数据库,其用于存储(i)由所述第二组群中的医学成像装置采集的患者的所述图像和所接收的用户注释和/或(ii)由所述第二组群中的医学成像装置使用的所述的成像前设置的集合和所接收的用户注释;
其中,所述训练模块被配置为:利用从所述第一训练数据库获得的训练数据来训练第一数据驱动的模型,并且利用从所述第二训练数据库获得的训练数据来训练第二数据驱动的模型。
以这种方式,用于训练目的的图像和/或成像前设置直接取自临床工作流程,能够根据每个组群(例如,用户组群或设施)的标准来执行训练。所提出的IT基础设施可以提供将对AI算法的训练集成到临床工作流程中并使训练针对特定组群的方法。
根据本发明的实施例,医学成像装置的所述第一组群和医学成像装置的所述第二组群来自不同的设施和/或不同的用户组群。
根据本发明的实施例,所述用户注释包括以下各项中的一项或多项:
对图像质量的指示;
临床发现;以及
对期望的成像前设置的集合的指示。
在一个示例中,关于图像质量的指示包括对以下各项中的一项或多项的指示:a)患者定位,b)准直器设置,c)对比度,d)分辨率,e)噪声,以及f)伪影。
术语“临床发现”也可以被称为医学发现。
在一个示例中,对例如用于CT的期望的成像前设置的集合的指示可以包括准直设置、暴露时间设置、管电压设置、焦斑尺寸设置和/或用于X射线成像系统的X射线敏感区域的选择。
根据本发明的实施例,所述决策支持信息包括以下各项中的一项或多项:
推荐的与所述患者有关的工作流程;
对与所采集的图像有关的图像质量的指示;
关于医学发现的指示;以及
表示医学发现的紧急程度的优先级信息。
例如,所推荐的工作流程可以不同于为所述患者设想的先前定义的工作流程。
根据本发明的实施例,所述移动注释设备是手持式设备,包括移动电话、膝上型计算设备和平板电脑中的一项或多项。
根据本发明的第二方面,提供了一种图像处理方法,包括:
由医学成像装置使用成像前设置的集合在成像环节中采集患者的图像;
经由用户接口接收与(i)所采集的所述患者的图像和/或(ii)由所述医学成像装置用来采集所述患者的所述图像的所述的成像前设置的集合有关的用户注释;
在至少一个训练数据库中存储(i)所采集的所述患者的图像和所接收的用户注释和/或(ii)所述的成像前设置的集合和所接收的用户注释;并且
由训练模块利用从所述至少一个训练数据库获得的训练数据来训练至少一个数据驱动的模型。
根据本发明的另一方面,提供了一种计算机程序单元,所述计算机程序单元被配置为当由至少一个处理单元运行时适于使根据第一方面和任何相关联的示例的成像系统执行根据第二方面和任何相关联的示例的方法。
根据本发明的另外的方面,提供了一种包括计算机程序单元的计算机可读介质。
有利地,上述方面中的任意方面提供的益处等同地适用于所有其他方面,并且反之亦然。
在本文中使用的术语“用户”是指至少部分地以管理或组织的方式参与成像流程的医学人员。
在本文中使用的术语“患者”是指正在被成像的人,或者在兽医环境中是指动物(特别是哺乳动物)。
在本文中使用的术语“机器学习”是指计算机科学中研究计算机程序设计的领域,该计算机程序能够根据过去的经验归纳出模式、规律或规则,以开发对未来数据的适当响应,或者以某种有意义的方式描述数据。
在本文中使用的在机器学习上下文中的术语“学习”是指识别和训练合适的算法来完成感兴趣的任务。学习(即,能通过性能度量测量的任务的机器学习的性能)通常随着训练数据而改善。
在本文中使用的在机器学习上下文中的术语“数据驱动的模型”是指基于适当的训练数据训练的合适的算法。如在下文中将解释的,神经网络模型被示为可以在示例中得到使用。然而,也可以使用诸如支持向量机、决策树等其他机器学习技术来代替神经网络。图8中图示了示例性数据驱动的模型。
在本文中使用的术语“模块”可以指专用集成电路(ASIC)、电子电路、运行一个或多个软件或固件程序的处理器(共享处理器、专用处理器或分组处理器)和/或存储器(共享存储器、专用存储器或分组存储器)、组合逻辑电路和/或提供所描述的功能的其他合适的部件,或者是它们的部分,或者包括它们。
将意识到,预想到前述构思和下面更详细讨论的额外构思的所有组合(假设这样的构思并不相互矛盾)是本文公开的发明主题的部分。特别地,预想到出现在本公开内容末尾的要求保护的主题的所有组合是本文公开的发明主题的部分。
参考下文描述的(一个或多个)实施例,本发明的这些方面和其他方面将变得明显并且得到阐明。
附图说明
在附图中,贯穿不同的视图,相同的附图标记通常指代相同的部分。而且,附图不一定是按比例绘制的,而是通常将重点放在图示本发明的原理上。
图1示出了示例性医学成像系统的示意性框图。
图2示出了示例性成像处理设备的示意性框图。
图3示出了示例性移动注释设备的示意性框图。
图4示出了为放射科医师实施移动注释设备的示例。
图5示出了另外的示例性医学成像系统的示意性框图。
图6示出了另外的示例性成像处理设备的示意性框图。
图7示出了示例性图像处理方法的流程图。
图8示出了示例性数据驱动的模型的示意图。
具体实施方式
在下文中,结合用于分析所采集的患者的图像以计算医学决策支持信息的数据驱动的模型来详细描述该方法。虽然为了说明的目的而关于特定的数据驱动的模型描述了下面的详细描述,但是本领域的任何普通技术人员将意识到,上面和下面描述的方法和成像系统能够适于任何其他数据驱动的模型,例如,用于分析患者的相机图像以计算成像前设置的集合的数据驱动的模型。因此,在不丧失所要求保护的发明的一般性且不对所要求保护的发明施加限制的情况下,阐述了以下描述的示例。
图1示出了示例性医学成像系统100的示意性框图。医学成像系统100包括医学成像装置10、图像处理设备12、移动注释设备14、训练数据库16、图像数据库18a、18b和显示布置20。
医学成像装置10被配置用于在成像环节中采集患者的图像22。医学成像装置10可以是任何模态,例如,透射成像或发射成像。透射成像包括例如利用CT扫描器或其他仪器执行的基于X射线的成像。也可以设想到磁共振成像MRI和超声成像。发射成像包括PET/SPECT和其他核医学模态。在成像环节期间,采集患者的图像22。图像20优选为数字形式,并且可以辅助医生进行诊断。
图像处理设备12包括图像分析器26,图像分析器26被配置为应用数据驱动的模型来分析所采集的患者的图像以计算医学决策支持信息。在一个示例中,图像处理设备14是移动设备,例如但不限于移动电话、膝上型计算设备或平板电脑。在另一示例中,图像处理设备12是提供计算服务的服务器。在另外的示例中,成像处理设备12是具有显示布置18的工作站。
图2示出了示例性图像处理设备12的示意性框图。在这个示例中,图像处理设备12包括输入通道24、图像分析器26和输出通道28。
输入通道24可以被配置为在成像环节中接收所采集的患者的图像22。在一个示例中,输入通道12可以被实施为以太网接口、USB(TM)接口、诸如Wi-Fi(TM)或蓝牙(TM)之类的无线接口,或者使得能够在输入外围设备与图像分析器26之间进行数据传输的任何类似的数据传输接口。此外,输入通道可以通过网络(例如,互联网或有线网络、无线网络、广域网、局域网等的任意组合)访问数据。
图像处理设备12的图像分析器26可以由人工智能驱动。特别地,图像分析器26可以作为经预训练的数据驱动的模型而被包括在内。图像分析器可以在图像处理设备12的处理单元上运行。处理单元可以包括通用电路和/或专用计算电路(例如,GPU),或者可以是多核多处理器的专用核。优选地,处理单元被配置用于并行计算。这种配置在底层机器学习模型是诸如卷积网络之类的神经网络的情况下特别有利。这种类型的机器学习模型能够通过向量、矩阵或张量乘法来有效实施。这种类型的计算能够在并行计算基础设施中得到加速。
因此,由图像分析器26计算的决策支持信息可以包括以下各项中的任意一项或多项:图像质量、医学发现和/或相关联的优先级级别。图像质量分析可以包括对患者定位、准直器设置(如果有的话)、对比度、分辨率、图像噪声或伪影的评估。可以将这些因素中的一些或全部考虑在内并且表示为合适度量中的单个图像质量分数,或者通过不同度量中的单独分数来测量每种因素。
如果决策支持信息发现图像的图像质量是可接受的,那么可以将该图像发送到不同的图像数据库18a。
如果决策支持信息发现图像的图像质量不足,那么可以将图像发送到图像数据库18b。另外,当认为图像质量最优时,可以给出提示性的图形指示。例如,可以以适当的颜色方案(例如,绿色或其他颜色)显示提示性的“打勾”符号。如果发现图像质量不佳,在机载显示器上也会指示提示性的符号(例如,红十字或其他符号)。
如果发现了医学状况,那么由在移动显示设备的机载显示器上的合适的文本或其他符号来指示这种医学状况。额外地或替代地,如果发现了医学状况,那么可以建议有关的工作流程。这个建议的工作流程可能与当前分配的计划不同。另外,还可以做出重新拍摄的提议,任选地利用针对更新的成像参数的建议进行重新拍摄。用户然后可以使用用户接口来接受重新拍摄的提议,并且将经适当格式化的消息发送到操作控制台以调节成像参数和/或启动对图像的重新拍摄。
优选地,对决策支持信息的计算是在两阶段顺序处理流程中完成的。在第一阶段中,确定图像质量。如果发现图像质量是足够的,那么仅针对医学发现和/或工作流程建议而分析影像。例如,基于所分析的图像计算的工作流程可能与最初在登记时与患者相关联的工作流程不同。例如,如果在图像中检测到原始工作流程先前没有设想到的意料之外的医学状况,那么可能要求工作流程的这种改变。例如,如果患者要接受对某个器官(例如,肝脏)的癌症处置,那么设想到某个工作流程。然而,如果对副本图像的分析意外揭示出患者实际上患有肺炎,那么需要改变工作流程以在进行癌症处置之前首先处置肺炎。
图像处理设备12还可以包括用于训练数据驱动的模块的训练模块30。为了训练数据驱动的模块,从训练数据库16中收集训练数据。
输出通道28被配置为向例如显示布置20(例如,内置屏幕、连接的监视器或投影仪)或文件存储装置(例如,硬盘驱动器或固态驱动器)(例如,图像数据库18a、18b)提供决策支持信息。
图3示出了示例性移动注释设备14的示意性框图。移动注释设备14可以包括任何类型的无线设备,例如,消费电子设备、智能电话、个人平板电脑、可穿戴计算设备、个人数字助理(PDA)、膝上型计算机和/或任何其他类似的物理计算设备。
在图3的示例中,图示了单个移动注释设备14。然而,将意识到,可以有多个移动注释设备14来接收来自不同用户的多个用户注释并将所采集的患者的图像与多个用户注释一起提供给训练数据库,以用于训练数据驱动的模型。换句话说,两个或更多个的用户能够将他们的用户注释添加到训练数据库。这可以提供对所采集的图像的全面注释并使意见偏向最小化。以这种方式,可以提高训练数据的质量。
移动注释设备14包括输入通道14a、显示器14b、用户接口14c和输出通道14d。
输入通道14a被配置为接收所采集的患者的图像。输入通道14a可以是通用接口并且提供与一定范围的不同医学成像装置(甚至是不同模态的医学成像装置)的互操作性。在一个示例中,输入通道14a被配置为基于对所显示的图像的直接成像(“图像的图像”)来接收所采集的图像。在其他示例中,输入通道14a被布置为NFC或蓝牙(如果成像设备如此配备的话)。其他示例还包括LAN、WLAN等。
显示器14b被配置为显示所采集的患者的图像。当在移动注释设备14上显示所采集的图像时,用户能够注释该图像。
用户接口14c被配置为接收与所采集的患者的图像有关的用户注释。术语“用户接口”可以指人类用户或操作人员与一个或多个设备之间的接口,该接口使得用户与(一个或多个)设备之间能够通信。可以在本公开内容的各种实施方式中使用的用户接口的其他示例包括但不限于开关、电位计、按钮、拨号盘、滑块、轨迹球、显示屏、各种类型的图形用户接口(GUI)、触摸屏、麦克风以及可以接收某种形式的人类生成的刺激并响应于此而生成信号的其他类型的传感器。
在一个示例中,用户能够利用预定义的参数(例如,(例如针对不同疾病)预定义的标签)来注释图像。在一个示例中,用户可以使用移动注释设备14(例如,客户端,例如,基于网络的瘦客户端)来访问用于注释图像的经调整的内容。移动注释设备14可以作为应用程序与瘦客户端一起使用以访问用于注释图像的内容。可以将内容存储在数据库中。该内容可以是可定制的,例如可由管理员定制的。例如,用于注释图像的内容可以包括要选择的图像质量的列表(例如,“最优”、“次优”和“差”)、(例如在患有慢性复杂区域疼痛综合征的患者中的)与特定疾病有关的临床发现的列表等。
在针对膝盖成像的图像质量的示例中讨论了“注释”可能是什么样子。每当用户认为图像良好时,他/她可以在移动注释设备14上选择选项“最优”。在图像质量/患者定位不是最优的情况下,用户可以在移动注释设备14上选择“次优”。然后将该输入添加到针对数据驱动的模型的训练数据库16。替代地或额外地,用户注释可以包括临床发现。例如,如果放射科医师在图像上看到气胸,那么他可以在移动注释设备14上选择“气胸”并且可以将该图像自动添加到针对数据驱动的模型的对应训练数据库16。该工作流程的优点在于,放射科医师能够选择他或她想要添加的图像,即,他或她能够排除他或她对发现不确定的图像。
在另一示例中,数据驱动的模型可以仅提供建议,并且用户可能需要主动接受或拒绝该建议,这与用户输入的输出能够是(例如针对不同疾病的)多个预定义标签的可能性相反。
为了为例如放射科医师实施这种工具,可以将移动注释设备14放置在放射科医师的阅读监视器18附近,如图4所示。每当放射科医师打开图像时,可以将该图像额外显示在移动注释设备14上。在移动注释设备14上,放射科医师能够关于例如图像质量、临床发现等对图像进行注释。
回到图3,输出通道14d被配置为向训练数据库16提供所采集的患者的图像和用户注释,以用于训练数据驱动的模型。
一旦以这种方式收集了足够的注释图像,就可以使用数据驱动的模型来自动评价例如新采集的图像的图像质量和/或临床发现。
由于用于训练目的的图像直接取自临床工作流程,因此可以根据机构的标准来执行训练。关于哪些人有足够的经验来注释数据,机构能够确定哪些人有足够的经验来注释数据。所提议的IT基础设施可以提供将对AI算法的训练集成到临床工作流程中并使训练针对用户的方法。
转向图2,训练模块30可以被配置为使用以下步骤来训练数据驱动的模型:接收训练数据,并且在一次或多次迭代中将数据驱动的模型应用于训练数据。作为这种应用的结果,然后获得经预训练的模型,然后能够在部署中使用这种经训练的模型。在部署中,能够将新的数据(例如,不是来自训练集的新的图像)应用于经预训练的模型以获得针对该新的数据的期望的决策支持信息。
数据驱动的模型能在两种模式中操作:“训练模式/阶段”和“部署模式/阶段”。在训练模式中,基于训练数据的集合来训练数据驱动的模型的初始模型,以产生经训练的数据驱动的模型。在部署模式中,向经预训练的数据驱动的模型馈送非训练的、新采集的图像数据,以在正常使用期间操作。
在另外的示例中,数据驱动的模型能在混合模式中操作,在混合模式中,系统以已经训练好的方式运行,然而,如果用户看到其中他/她不同意反馈的图像,那么他能够“否决”系统。例如,如图1所示,移动注释设备14可以接收和显示由图像处理设备12计算的医学决策支持信息。如果用户不同意所计算的医学决策支持信息,那么用户可以提供他/她的反馈来否决该系统。
数据驱动的模型的初始模型可以是朴素模型,也就是说,第一图像反馈是在随机基础上生成的。换句话说,训练模块可以被配置为在随机基础上生成用户注释以开始训练数据驱动的模型,并且数据驱动的模型可以从头开始训练。
优选地,可以在部署阶段中的重复训练阶段中继续训练模式。
在一个示例中,图像处理设备12的训练模块30可以被配置为在运行中(即,在数据驱动的模型的正常使用期间)在每幅新采集的患者的图像和由移动注释设备14提供的用户注释上训练数据驱动的模型。例如,可以将每幅新采集的图像和由移动注释设备14提供的相应的用户注释直接发送到训练模块,以用于更新数据驱动的模型的参数。以这种方式,持续训练数据驱动的模型,使得持续调整数据驱动的模型的参数以适配特定设施的需求和标准。
在另一示例中,数据驱动的模型不是即时训练的,而是在已经收集了一定数量的带有注释的图像之后训练的。
图5示出了医学成像系统100的另外的示例。在该示例中,医学成像系统100包括医学成像装置的第一组群50a和与医学成像装置的第一组群50a不同的医学成像装置的第二组群50b。
在一个示例中,医学成像装置的第一组群和第二组群可以表示不同的设施。
在一个示例中,医学成像装置的第一组群和第二组群可以表示不同的用户组群。
每个组群可以包括一个或多个医学成像装置。在图5所示的示例中,医学成像装置的第一组群50a包括三个医学成像装置,而医学成像装置的第二组群50b包括两个医学成像装置。
图像处理设备12的图像分析器26被配置为:应用第一数据驱动的模型来分析由医学成像装置的第一组群采集的图像,并且应用第二数据驱动的模型来分析由医学成像装置的第二组群采集的图像。
图6示出了示例性成像处理设备12的示意性框图。图像分析器26被配置为应用第一数据驱动的模型来分析由医学成像装置的第一组群50a采集的图像。图像分析器26被配置为应用第二数据驱动的模型来分析由医学成像装置的第二组群50b采集的图像。
在一个示例中,第一数据驱动的模型和第二数据驱动的模型可以使用相同的神经网络(例如,CNN)。
在另一示例中,第一数据驱动的模型和第二数据驱动的模型可以使用不同的神经网络(例如,CNN和递归NN)。
在另外的示例中,第一数据驱动的模型可以使用神经网络,而第二数据驱动的模型可以使用其他机器学习技术(例如,支持向量机、决策树等)。
转到图5,以不同方式收集针对医学成像装置的第一组群50a和医学成像装置的第二组群50b的训练数据。特别地,移动注释设备14被配置为将由医学成像装置的第一组群50a采集的图像连同用户注释一起提供给第一训练数据库16a,以用于训练第一数据驱动的模型。移动图像注释设备14被配置为将由医学成像装置的第二组群50b采集的图像连同用户注释一起提供给第二训练数据库16b,以用于训练第二数据驱动的模型。第二训练数据库16b不同于第一训练数据库16a。
在一个示例中,每幅采集的图像的元数据可以包括组群标识符。移动注释设备14可以根据组群标识符将所采集的图像和用户注释发送到对应的训练数据库16a、16b。
在另一示例中,每幅采集的图像的元数据可以包括针对医学成像装置的标识符。移动注释设备14可以使用针对医学成像装置的标识符来检查查找表,以找到对应的训练数据库16a、16b。
以这种方式,用于训练目的的图像直接取自每个组群的临床工作流程,能够根据每个组群(例如,用户组群或设施)的标准来执行训练。所提出的IT基础设施可以提供将对AI算法的训练集成到临床工作流程中并使训练针对特定组群的方法。
图1-6中的示例性成像系统图示了移动注释设备14中的用户接口。替代地或额外地(未示出),用户接口可以是移动成像系统的部分。例如,医学成像装置(例如,X射线、MRI、CT等)可以包括具有触摸屏的显示器,所述触摸屏被配置为接收用户注释。
现在参考图7,图7示出了与上述系统有关的图像处理方法的流程图。然而,将意识到,下面描述的方法不一定与上面描述的系统相联系。因此,下面的方法可以被理解为其本身的教导。
在步骤210中,医学成像装置在成像环节中采集患者的图像。
在步骤220中,用户接口接收与所采集的患者的图像有关的用户注释。替代地或额外地,用户接口接收由医学成像装置用来采集患者的图像的成像前设置的集合。
在步骤230中,将所采集的患者的图像和所接收的用户注释存储在至少一个训练数据库中。在一个示例中,用户注释可以包括对图像质量的指示。在一个示例中,用户注释可以包括临床发现。
替换地或额外地,将成像前设置的集合和所接收的用户注释被存储在至少一个训练数据库中。
在步骤240中,训练模块利用从至少一个训练数据库获得的训练数据来训练至少一个数据驱动的模型。
在一个示例中,基于训练数据的集合来训练数据驱动的模型的初始模型,以在训练模式中产生经训练的数据驱动的模型。在部署模式中,向经预训练的数据驱动的模型馈送非训练的、新采集的图像数据,以在正常使用期间操作。
在另一示例中,数据驱动的模型能在混合模式中操作,在混合模式中,系统以已经训练好的方式运行,然而,如果用户看到其中他/她不同意反馈的图像,那么他能够“否决”系统。例如,如图1所示,移动注释设备14可以接收和显示由图像处理设备12计算的医学决策支持信息。如果用户不同意所计算的医学决策支持信息,那么用户可以提供他/她的反馈来否决该系统。
任选地,存在医学成像装置的第一组群和与医学成像装置的第一组群不同的医学成像装置的第二组群。每个组群可以包括一个或多个医学成像装置。医学成像装置的第一组群和医学成像装置的第二组群可以来自不同的机构和/或不同的用户组群。
方法200还可以包括以下步骤:由移动注释设备将由医学成像装置的第一组群采集的图像连同用户注释一起提供给第一训练数据库,以用于训练第一数据驱动的模型,从而分析由医学成像装置的第一组群采集的图像。
方法200还可以包括以下步骤:由移动注释设备将由医学成像装置的第二组群采集的图像和用户注释提供给第二训练数据库,以用于训练第二数据驱动的模型,从而分析由医学成像装置的第二组群采集的图像。第二训练数据库不同于第一训练数据库。
以这种方式,用于训练目的的图像直接取自临床工作流程,能够根据每个组群(例如,用户组群或机构)的标准来执行训练。所提出的IT基础设施可以提供将对AI算法的训练集成到临床工作流程中并使训练针对特定组群的方法。
还应当理解,除非明确指出相反的情况,否则在本文中要求保护的包括一个以上的步骤或动作的任何方法中,该方法的步骤或动作的顺序不必限于该方法的步骤或动作被叙述的顺序。
现在参考图8,在图8中,神经网络模型被示为示例性的数据驱动的模型。然而,也可以使用诸如支持向量机、决策树等其他机器学习技术来代替神经网络。已经说过,已经发现神经网络(特别是卷积网络)特别有益于与图像数据有关的操作。
具体地,图8是卷积神经网络(CNN)的示意图。在训练后获得的完全配置的NN(将在下面对其进行更全面的描述)可以被认为是两个空间之间的潜在映射的近似结果的表示以及图像质量度量、医学发现和处置计划中的任何一项或多项的图像和空间的近似结果的表示。这些空间能够被表示为潜在高维空间中的点,例如,图像是N×N的矩阵,其中,N是像素的数量。图像质量度量、医学发现和处置平面可以被类似地编码为向量、矩阵或张量。例如,工作流程可以被实施为矩阵或向量结构,其中,每个条目表示一个工作流程步骤。学习任务可以是分类和/或回归中的一项或多项。图像的输入空间可以包括4D矩阵,以表示矩阵的时间系列,因此它是视频序列。
合适的经过训练的机器学习模型或部件试图近似这个映射。该近似可以在学习或训练过程中实施,其中,在基于训练数据的优化方案中调节本身形成高维空间的参数。
更详细地,机器学习部件可以被实现为神经网络(“NN”),特别是卷积神经网络(“CNN”)。继续参考图11,这更详细地示出了如本文在实施例中所设想的CNN架构。
CNN能以两种模式操作:“训练模式/阶段”和“部署模式/阶段”。在训练模式中,基于训练数据集来训练CNN的初始模型以产生经过训练的CNN模型。在部署模式中,对经预训练的CNN模型馈送非训练的新的数据以在正常使用期间操作。训练模式可以是一次性操作,也可以在重复的训练阶段中持续进行这种操作以提高性能。到目前为止,关于这两种模式的所有内容都适用于任何类型的机器学习算法并且不限于CNN或NN。
CNN包括分层组织的互连节点的集合。CNN包括输出层OL和输入层IL。输入层IL可以是矩阵,其大小(行和列)与训练输入图像相匹配。输出层OL可以是向量或矩阵,其大小与针对图像质量度量、医学发现和处置计划所选取的大小相匹配。
CNN优选具有深度学习架构,也就是说,在OL和IL之间有至少一个,优选有两个或更多个隐藏层。隐藏层可以包括一个或多个卷积层CL1、CL2(“CL”)和/或一个或多个池化层PL1、PL2(“PL”)和/或一个或多个全连接层FL1、FL2(“FL”)。CL未完全连接,并且/或者从CL到下一层的连接可能会有所不同,但通常被固定在FL中。
节点与表示节点响应于来自前一层中的较早节点的输入的程度的数值(被称为“权重”)相关联。
所有权重的集合定义了CNN的配置。在学习阶段中,使用学习算法(例如,前向-后向(“FB”)传播或其他优化方案或其他梯度下降方法),基于训练数据来调节初始配置。关于目标函数的参数来获取梯度。
训练模式优选是受监督的,也就是说,训练模式优选基于经注释的训练数据。对于每一对,一项是训练输入数据,而另一项是先验已知与其训练输入数据项正确关联的目标训练数据。这种关联定义了注释并且优选由人类专家提供。训练对包括作为训练输入数据的影像并且与每幅训练图像相关联,是以下各项中的任何一项或多项的标签的目标:图像质量指示、图像所表示的医学发现的指示、优先级级别的指示、针对给定图像所要求的(一个或多个)工作流程步骤的指示。
如上面所指出的,在本公开内容中,经注释的训练数据包括直接取自临床工作流程的成对或训练数据项。因此,能够根据机构的标准来执行训练。机构能够确定哪个人有足够的经验来注释数据。上面提出的IT基础设施可以提供将对AI算法的训练集成到临床工作流程中并使训练针对特定用户的方法。任选地,能够根据用户组群的标准来执行训练。所提出的IT基础设施可以提供将对AI算法的训练集成到临床工作流程中并使训练针对特定组群的方法。
在训练模式中,优选地,将多个这样的对应用于输入层以传播通过CNN,直到在OL处出现输出为止。最初,输出通常与目标不同。在优化期间,重新调节初始配置,以便在针对所有对的输入训练数据和它们的相应目标之间实现良好的匹配。该匹配是借助于相似性量度来测量的,该相似性量度能够用目标函数或代价函数来公式化表示。目的是调节参数以产生低代价,即,良好的匹配。
更具体地,在NN模型中,将输入训练数据项应用于输入层(IL)并使输入数据项传递通过卷积层CL1、CL2以及可能的一个或多个池化层PL1、PL2的(一个或多个)级联组群,并且最后传递到一个或多个全连接层。卷积模块负责基于特征的学习(例如,识别患者特性和背景数据中的特征等),而全连接层负责更抽象的学习,例如,特征对处置的影响。输出层OL包括表示针对相应目标的估计结果的输出数据。
根据图8的层的确切分组和顺序仅仅是一个示例性实施例,并且在不同的实施例中也设想了层的其他分组和顺序。而且,每种类型的层(即,CL、FL、PL中的任何一种)的数量可以与图8所示的布置不同。CNN的深度也可能与图8所示的深度不同。所有上述内容均等同地适用于本文设想的其他NN,例如,全连接的经典感知型NN、深度或非深度NN以及递归NN等。
如本文所设想的,经注释的(经标示的)训练数据可能需要被重新格式化成结构化的形式。如上所述,经注释的训练数据可以被布置为向量或矩阵或张量(维度高于2的阵列)。这种重新格式化可以由数据预处理器模块(未示出)来完成,数据预处理器模块例如为脚本程序或过滤器,其运行通过当前设施的HIS的患者记录以提取患者特性的集合。
将训练数据集应用于初始配置的CNN,然后根据学习算法(例如,前面提到的FB传播算法)来处理训练数据集。在训练阶段结束时,然后可以在部署阶段中使用经过如此经预训练的CNN来计算针对新的数据的决策支持信息,也就是说,在训练数据中不存在的新采集的副本图像。
替换地,可以在运行中(即,在部署阶段中正常使用数据驱动的模型期间)在所采集的患者的图像和由移动注释设备14提供的用户注释上训练数据驱动的模型。例如,可以将每幅新采集的图像和由移动注释设备14提供的相应的用户注释直接发送到训练模块,以用于更新数据驱动的模型的参数。以这种方式,持续训练数据驱动的模型,使得数据驱动的模型适配特定设施的需求和标准。
上述步骤中的一些或全部步骤可以以硬件、软件或其组合来实施。硬件中的实施方式可以包括经适当编程的FPGA(现场可编程门阵列)或硬连线的IC芯片。为了良好的响应性和高吞吐量,可以使用诸如GPU或TPU等多核处理器来实施机器学习模型的上述训练和部署,特别是针对NN的上述训练和部署。
在本文中公开的一个或多个特征可以被配置或实施为在计算机可读介质内编码的电路/利用在计算机可读介质内编码的电路来实施,和/或其组合。电路可以包括分立电路和/或集成电路、专用集成电路(ASIC)、片上系统(SOC)及其组合、机器、计算机系统、处理器和存储器、计算机程序。
在图1-8中,结合数据驱动的模型描述了该方法,以分析所采集的患者的图像来计算医学决策支持信息。将意识到,上述方法可以适用于任何数据驱动的模型。
例如,数据驱动的模型是用于分析患者的相机图像以计算成像前设置的集合的数据驱动的模型。这样的数据驱动的模型将相机图像中的一个或多个特征与成像前设置的集合进行相关。在一个示例中,用于X射线成像系统的成像前设置的集合可以包括管电压、管电流、栅级、准直窗口和准直器的几何参数中的至少一项。在另外的示例中,用于CT成像系统的成像前设置的集合包括电源电平、管电流、剂量调制、扫描规划参数和重建参数中的至少一项。针对数据驱动的模型的输入可以包括非图像患者数据。患者的非图像患者数据可以包括针对由传感器布置捕捉的测量图像的补充信息。例如,已知肺的尺寸与患者的体重、年龄和性别相关,并且可能受到某些疾病(如COPD)的影响。通过额外地将在成像流程期间获得的非患者图像数据添加到训练集数据库中,可以训练数据驱动的模型以更好地对患者与要在检查准备和/或成像流程中使用的扫描配置(例如,准直设置)之间的关系进行建模。数据驱动的模型可以包括以下各项中的一项或多项:人工神经网络,以及使用类似Haar的、尺度不变的特征变换(SIFT)和加速鲁棒特征(SURF)图像特征中的至少一项的分类树。
对于该示例性数据驱动的模型,图1所示的用户接口14c被配置为接收与由医学成像装置用来采集患者的图像的成像前设置的集合有关的用户注释。训练数据库16被配置为存储成像前设置的集合和所接收的用户注释。训练模块30被配置为利用从至少一个训练数据库获得的训练数据来训练示例性数据驱动的模型。
本文定义和使用的所有定义应当被理解为控制字典定义、通过引用并入的文献中的定义和/或定义术语的普通含义。
除非明确指出相反情况,否则本说明书和权利要求书中使用的词语“一”和“一个”应当被理解为表示“至少一个”。
本说明书和权利要求书中使用的短语“和/或”应当被理解为表示如此结合的元件中的“任一个或两个”,即,在某些情况下结合存在而在其他情况下分离存在的元件。用“和/或”列出的多个元件应当以相同的方式进行解释,即,如此结合的元件中的“一个或多个”元件。除了用“和/或”分句具体标识的元件之外,还可能任选地存在其他元件,无论是与具体标识的那些元件相关还是不相关都可以。
本文在说明书和权利要求书中使用的“或”应当被理解为具有与上文所定义的“和/或”相同的含义。例如,在分隔列表中的项目时,“或”或“和/或”应当被解读为包含性的,即,包含至少一个,但也包含多个元件或元件列表的多于一个的元件以及(任选的)额外的未列出的项目。只有明确指示相反情况的术语(例如,“中的仅一个”或“中的恰好一个”或者在权利要求中使用的“由……组成”)将指代包括多个元件或元件列表中的恰好一个元件。一般而言,当在本文使用的术语“或”前面有排他性术语(例如,“任一个”、“中的一个”、“中的任一个”或“中的恰好一个”)时,术语“或”应当仅被解读为表示排他性替代方案(即,“一个或另一个但不是两者”)。
本文在说明书和权利要求书中使用的引用一个或多个元件的列表的短语“至少一个”应当被理解为表示选自元件列表中的元件中的任何一个或多个元件中的至少一个元件,但不一定包括元件列表中具体列出的每个元件中的至少一个元件,并且不排除元件列表中元件的任何组合。该定义还允许除了在短语“至少一个”所指的元件列表中具体标识的元件之外的任选存在的元件,无论是与具体标识的那些元件相关还是不相关都可以。
在权利要求以及上面的说明书中,所有过渡短语(例如,“包括”、“包含”、“携带”、“具有”、“含有”、“涉及”、“持有”、“带有”等)应当被理解为开放式的,即,意指包括但不限于。只有过渡短语“由……组成”和“基本上由……组成”应当分别为闭合或半闭合过渡短语。
在本发明的另一示例性实施例中,提供了一种计算机程序或计算机程序单元,其特征在于,其适于在适当的系统上运行根据前述实施例中的一个实施例的方法的方法步骤。
因此,计算机程序单元可以被存储在计算机单元中,该计算机程序单元也可以是本发明的实施例的部分。该计算单元可以适于执行或引起对上述方法的步骤的执行。此外,该计算单元可以适于操作上述装置的部件。该计算单元能够适于自动操作和/或运行用户的命令。计算机程序可以被加载到数据处理器的工作存储器中。因此,可以装备数据处理器来执行本发明的方法。
本发明的该示例性实施例覆盖从一开始就使用本发明的计算机程序,以及借助于将现有程序更新转换为使用本发明的程序的计算机程序这二者。
另外,计算机程序单元可以能够提供所有必要步骤以完成如上所述的方法的示例性实施例的流程。
根据本发明的另外的示例性实施例,提出了一种计算机可读介质,例如,CD-ROM,其中,该计算机可读介质具有被存储于所述计算机可读介质上的计算机程序单元,所述计算机程序单元由前面的章节所描述。
计算机程序可以被存储和/或分布在合适的介质上,例如,与其他硬件一起或作为其他硬件的部分供应的光学存储介质或固态介质,但是也可以以其他形式分布,例如,经由互联网或其他有线或无线的电信系统来分布。
然而,计算机程序也可以存在于网络(如万维网)上,并且能够从这样的网络被下载到数据处理器的工作存储器中。根据本发明的另外的示例性实施例,提供了用于使计算机程序单元可用于下载的介质,所述计算机程序单元被布置为执行根据本发明的先前描述的实施例中的一个实施例的方法。
虽然本文已经描述和说明了若干发明实施例,但是本领域普通技术人员将容易想到用于执行功能和/或获得结果和/或本文描述的优点中的一个或多个优点的各种其他单元和/或结构。这样的变化和/或修改中的每个变化和/或修改都被认为是在本文描述的发明实施例的范围内。更一般地,本领域技术人员将容易理解,本文描述的所有参数、尺寸、材料和配置均旨在是示例性的,并且实际参数、尺寸、材料和/或配置将取决于一个或多个使用本发明教导的具体应用。本领域技术人员将认识到或者能够使用不超过常规的实验手段来确定本文描述的具体发明实施例的许多等同物。因此,应当理解,前述实施例仅作为示例呈现,并且在权利要求及其等同物的范围内,本发明的实施例可以以不同于具体描述和要求保护的方式来实践。本公开内容的发明实施例涉及本文描述的每个单独的特征、系统、物品、材料、套件和/或方法。另外,如果这样的特征、系统、物品、材料、套件和/或方法并不相互矛盾,则两个或更多个这样的特征、系统、物品、材料、套件和/或方法的任何组合能够被包括在本公开内容的发明范围内。
Claims (15)
1.一种成像系统(100),包括:
医学成像装置(10),其被配置为使用成像前设置的集合在成像环节中采集患者的图像;
用户接口(14c),其被配置为接收与(i)所采集的所述患者的图像和/或(ii)由所述医学成像装置用来采集所述患者的所述图像的所述的成像前设置的集合有关的用户注释;
至少一个训练数据库(16),其被配置为存储(i)所采集的所述患者的图像和所接收的用户注释和/或(ii)所述的成像前设置的集合和所接收的用户注释;以及
训练模块(30),其被配置为利用从所述至少一个训练数据库获得的训练数据来训练至少一个数据驱动的模型。
2.根据权利要求1所述的成像系统,其中,
所述至少一个数据驱动的模型包括以下各项中的一项或多项:
用于分析所采集的所述患者的图像以计算医学决策支持信息的数据驱动的模型;以及
用于分析所述患者的相机图像以计算所述的成像前设置的集合的数据驱动的模型,其中,所述相机图像是基于从传感器布置获得的传感器数据生成的,所述传感器布置具有包括所述患者被定位在其中以进行成像的区的至少部分的视场。
3.根据权利要求1或2所述的成像系统,
其中,所述医学成像装置包括所述用户接口。
4.根据前述权利要求中的任一项所述的成像系统,还包括:
移动注释设备(14),包括:
输入通道(14a),其被配置为接收(i)所采集的所述患者的图像和/或(ii)由所述医学成像装置用来采集所述患者的所述图像的所述的成像前设置的集合;
显示器(14b),其被配置为显示(i)所采集的所述患者的图像和/或(ii)由所述医学成像装置用来采集所述患者的所述图像的所述的成像前设置的集合;
用户接口(14c),其被配置为接收与(i)所采集的所述患者的图像和/或(ii)由所述医学成像装置用来采集所述患者的所述图像的所述的成像前设置的集合有关的用户注释;以及
输出通道(14d),其被配置为向所述至少一个训练数据库提供(i)所采集的所述患者的图像和所接收的用户注释和/或(ii)所述的成像前设置的集合和所接收的用户注释。
5.根据权利要求4所述的成像系统,
其中,所述移动注释设备是手持式设备,包括移动电话、膝上型计算设备和平板电脑中的一项或多项。
6.根据前述权利要求中的任一项所述的成像系统,
其中,所述训练模块被配置为重复训练所述至少一个数据驱动的模型。
7.根据前述权利要求中的任一项所述的成像系统,
其中,所述训练模块被配置为在随机基础上生成所述用户注释,以开始训练所述至少一个数据驱动的模型。
8.根据前述权利要求中的任一项所述的成像系统,
其中,所述至少一个数据驱动的模型被配置为基于所计算的医学决策支持信息来提供建议,以允许用户主动接受或拒绝所提供的建议。
9.根据前述权利要求中的任一项所述的成像系统,还包括:
医学成像装置的第一组群(50a)和与医学成像装置的所述第一组群不同的医学成像装置的第二组群(50b);
其中,所述用户接口被配置为接收:
与(i)由所述第一组群中的医学成像装置采集的患者的图像和/或(ii)由所述第一组群中的医学成像装置使用的成像前设置的集合有关的第一用户注释;以及
与(i)由所述第二组群中的医学成像装置采集的患者的图像和/或(ii)由所述第二组群中的医学成像装置使用的成像前设置的集合有关的第二用户注释;
其中,所述至少一个训练数据库(16a、16b)包括:
第一训练数据库(16a),其用于存储(i)由所述第一组群中的医学成像装置采集的患者的所述图像和所接收的用户注释和/或(ii)由所述第一组群中的医学成像装置使用的所述的成像前设置的集合和所述用户注释;以及
第二训练数据库(16b),其用于存储(i)由所述第二组群中的医学成像装置采集的患者的所述图像和所接收的用户注释和/或(ii)由所述第二组群中的医学成像装置使用的所述的成像前设置的集合和所接收的用户注释;
其中,所述训练模块被配置为:利用从所述第一训练数据库获得的训练数据来训练第一数据驱动的模型,并且利用从所述第二训练数据库获得的训练数据来训练第二数据驱动的模型。
10.根据权利要求9所述的成像系统,其中,
医学成像装置的所述第一组群和医学成像装置的所述第二组群来自不同的设施和/或不同的用户组群。
11.根据前述权利要求中的任一项所述的成像系统,其中,
所述用户注释包括以下各项中的一项或多项:
对图像质量的指示;
临床发现;以及
对期望的成像前设置的集合的指示。
12.根据前述权利要求中的任一项所述的成像系统,其中,
所述决策支持信息包括以下各项中的一项或多项:
推荐的与所述患者有关的工作流程;
对与所采集的图像有关的图像质量的指示;
关于医学发现的指示;以及
表示医学发现的紧急程度的优先级信息。
13.一种图像处理方法(200),包括:
由医学成像装置使用成像前设置的集合在成像环节中采集(210)患者的图像;
经由用户接口接收(220)与(i)所采集的所述患者的图像和/或(ii)由所述医学成像装置用来采集所述患者的所述图像的所述的成像前设置的集合有关的用户注释;
在至少一个训练数据库中存储(230)(i)所采集的所述患者的图像和所接收的用户注释和/或(ii)所述的成像前设置的集合和所接收的用户注释;并且
由训练模块利用从所述至少一个训练数据库获得的训练数据来训练(240)至少一个数据驱动的模型。
14.一种计算机程序单元,被配置为在由至少一个处理单元运行时适于使根据权利要求1至12中的任一项所述的成像系统执行根据权利要求13所述的方法。
15.一种计算机可读介质,包括根据权利要求14所述的计算机程序单元。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20197985.3A EP3975194A1 (en) | 2020-09-24 | 2020-09-24 | Device at the point of imaging for integrating training of ai algorithms into the clinical workflow |
EP20197985.3 | 2020-09-24 | ||
PCT/EP2021/075484 WO2022063675A1 (en) | 2020-09-24 | 2021-09-16 | Device at the point of imaging for integrating training of ai algorithms into the clinical workflow |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116194999A true CN116194999A (zh) | 2023-05-30 |
Family
ID=72644118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180065603.8A Pending CN116194999A (zh) | 2020-09-24 | 2021-09-16 | 在成像点处的用于将ai算法的训练集成到临床工作流程中的设备 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20230368895A1 (zh) |
EP (2) | EP3975194A1 (zh) |
JP (1) | JP2023543191A (zh) |
CN (1) | CN116194999A (zh) |
WO (1) | WO2022063675A1 (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9846938B2 (en) * | 2015-06-01 | 2017-12-19 | Virtual Radiologic Corporation | Medical evaluation machine learning workflows and processes |
WO2017151757A1 (en) * | 2016-03-01 | 2017-09-08 | The United States Of America, As Represented By The Secretary, Department Of Health And Human Services | Recurrent neural feedback model for automated image annotation |
US11301996B2 (en) * | 2018-12-11 | 2022-04-12 | Eko.Ai Pte. Ltd. | Training neural networks of an automatic clinical workflow that recognizes and analyzes 2D and doppler modality echocardiogram images |
-
2020
- 2020-09-24 EP EP20197985.3A patent/EP3975194A1/en not_active Withdrawn
-
2021
- 2021-09-16 US US18/027,947 patent/US20230368895A1/en active Pending
- 2021-09-16 JP JP2023518466A patent/JP2023543191A/ja active Pending
- 2021-09-16 CN CN202180065603.8A patent/CN116194999A/zh active Pending
- 2021-09-16 EP EP21777331.6A patent/EP4218024A1/en active Pending
- 2021-09-16 WO PCT/EP2021/075484 patent/WO2022063675A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
WO2022063675A1 (en) | 2022-03-31 |
EP3975194A1 (en) | 2022-03-30 |
EP4218024A1 (en) | 2023-08-02 |
US20230368895A1 (en) | 2023-11-16 |
JP2023543191A (ja) | 2023-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10733727B2 (en) | Application of deep learning for medical imaging evaluation | |
Mazzanti et al. | Imaging, health record, and artificial intelligence: hype or hope? | |
JP2014505950A (ja) | 撮像プロトコルの更新及び/又はリコメンダ | |
JP2024019441A (ja) | 人工知能モデルを使用機関に特化させる学習方法、これを行う装置 | |
CN110400617A (zh) | 医学成像中的成像和报告的结合 | |
JP7102509B2 (ja) | 医療文書作成支援装置、医療文書作成支援方法、及び医療文書作成支援プログラム | |
CN106462661A (zh) | 用于自动选择针对医学研究的悬挂协议的系统和相关方法 | |
US11610303B2 (en) | Data processing apparatus and method | |
CN114078593A (zh) | 临床决策支持 | |
US11837346B2 (en) | Document creation support apparatus, method, and program | |
JP2024009342A (ja) | 文書作成支援装置、方法およびプログラム | |
CN114223040A (zh) | 在成像点处用于对使成像工作流程效率更高的选择的即时建议的设备 | |
CN109147927B (zh) | 一种人机交互方法、装置、设备及介质 | |
US11923069B2 (en) | Medical document creation support apparatus, method and program, learned model, and learning apparatus, method and program | |
EP3467770B1 (en) | Method for analysing a medical imaging data set, system for analysing a medical imaging data set, computer program product and a computer-readable medium | |
US20220392595A1 (en) | Information processing apparatus, information processing method, and information processing program | |
WO2020099941A1 (en) | Application of deep learning for medical imaging evaluation | |
WO2021177357A1 (ja) | 情報処理装置、情報処理方法及び情報処理プログラム | |
WO2021187483A1 (ja) | 文書作成支援装置、方法およびプログラム | |
US20230368895A1 (en) | Device at the point of imaging for integrating training of ai algorithms into the clinical workflow | |
Pivithuru et al. | E-patient Card: An Integrated Electronic Health Recording System for Patient | |
EP4339961A1 (en) | Methods and systems for providing a template data structure for a medical report | |
Pranavi et al. | Lung Disease Detection using Deep Learning | |
WO2021172477A1 (ja) | 文書作成支援装置、方法およびプログラム | |
WO2021177312A1 (ja) | 情報保存装置、方法およびプログラム、並びに解析記録生成装置、方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |