CN117981004A - 用于数据采集参数推荐和技术人员训练的方法与系统 - Google Patents
用于数据采集参数推荐和技术人员训练的方法与系统 Download PDFInfo
- Publication number
- CN117981004A CN117981004A CN202280064306.6A CN202280064306A CN117981004A CN 117981004 A CN117981004 A CN 117981004A CN 202280064306 A CN202280064306 A CN 202280064306A CN 117981004 A CN117981004 A CN 117981004A
- Authority
- CN
- China
- Prior art keywords
- medical imaging
- training material
- training
- exam
- readable medium
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012549 training Methods 0.000 title claims abstract description 148
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000003384 imaging method Methods 0.000 claims abstract description 161
- 238000002059 diagnostic imaging Methods 0.000 claims abstract description 146
- 239000000463 material Substances 0.000 claims abstract description 112
- 238000012800 visualization Methods 0.000 claims abstract description 5
- 238000007689 inspection Methods 0.000 claims description 22
- 238000012552 review Methods 0.000 claims description 11
- 230000009193 crawling Effects 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000011524 similarity measure Methods 0.000 claims description 4
- 239000012634 fragment Substances 0.000 claims 1
- 238000004891 communication Methods 0.000 description 32
- 230000008901 benefit Effects 0.000 description 13
- 238000003860 storage Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 9
- 238000002591 computed tomography Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000000747 cardiac effect Effects 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000002600 positron emission tomography Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 210000003484 anatomy Anatomy 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 101100491335 Caenorhabditis elegans mat-2 gene Proteins 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 2
- 238000013170 computed tomography imaging Methods 0.000 description 2
- 239000002872 contrast media Substances 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000002603 single-photon emission computed tomography Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 208000032368 Device malfunction Diseases 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000001919 adrenal effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000006227 byproduct Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Biomedical Technology (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Business, Economics & Management (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Business, Economics & Management (AREA)
- Databases & Information Systems (AREA)
- Pathology (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
一种存储指令的非瞬态计算机可读介质(26s),所述指令能由至少一个电子处理器(14s)运行以执行操作者辅助方法(100),所述方法包括:在医学成像检查的执行期间获得与参考成像检查有关的数据;根据所获得的数据来生成训练材料(32);所述训练材料与所述参考医学成像检查的所述执行有关;并且,在显示设备(36)上提供训练用户接口(UI)(44),所述训练UI显示所述训练材料的选定部分的可视化(36),所述选定部分是基于关于当前或即将进行的医学成像检查的信息所选择的。
Description
技术领域
以下内容总体上涉及成像领域、远程成像辅助领域、远程成像检查监测领域、技术评估领域、技术人员发展领域以及相关领域。
背景技术
放射操作指挥中心(ROCC)为具有一批技术人员(“技术”)人才的大型成像中心或集成交付网络(IDN)提供基础设施,以在整个成像网络上共享技术专业知识。通过提供通信通道(例如,电话、视频会议等)和远程成像设备控制器控制台共享,ROCC准许更有经验的技术人员为初级技术人员在以可能不熟悉或不舒服的成像模态或工作流程进行工作时提供指导和监督。
对于医学成像,数据采集参数由技术人员设置和调节。需要在数据采集期间设置一些参数(诸如视场)。不适当的成像参数可能导致所采集的图像的低质量,这继而导致诊断的错误。设置和调节参数可能既费时又容易出错,尤其是对于缺乏经验的技术人员。成像扫描器上的当前软件为参数设置提供有限的支持,并且通常仅给出有效参数的范围,而没有任务特异性优化,这可能给缺乏经验的技术人员造成问题。当需要为缺乏经验的技术人员提供关于参数设置的及时指导时可能存在一些挑战。
下面公开了特定改进以克服这些问题和其他问题。
发明内容
在一个方面,一种非瞬态计算机可读介质存储指令,所述指令能由至少一个电子处理器运行以执行操作者辅助方法,包括:在医学成像检查的执行期间获得与参考成像检查有关的数据;根据所获得的数据来生成训练材料;所述训练材料与所述参考医学成像检查的所述执行有关;以及,在显示设备上提供训练用户接口(UI),所述训练UI显示所述训练材料的选定部分的可视化,所述选定部分是基于关于当前或即将进行的医学成像检查的信息来选择的。
在另一方面,一种非瞬态计算机可读介质存储指令,所述指令能由至少一个电子处理器运行以执行操作者辅助方法,包括:从训练数据库中检索训练材料,所述训练材料包括与所述医学成像检查的参数相对应的一个或多个标签;分析所述训练材料,以识别针对当前或即将进行的医学成像检查的一个或多个建议的扫描参数;以及,在显示设备上提供操作者辅助UI,所述操作者辅助UI能由执行或被排程为执行所述当前或即将进行的医学成像检查的操作者操作,所述操作者辅助UI显示所述一个或多个建议的扫描参数。
一个优点在于,利用先进的视频标记方法和将技术人员与适当的训练材料相匹配的鲁棒的推荐算法创建在扫描采集期间从控制台屏幕抓取的去标识(例如,移除敏感患者信息)的视频记录的存储库。
另一个优点在于,为技术人员提供成像训练材料,以为成像扫描做准备,或在扫描过程期间被访问以确保适当的图像采集。
另一个优点在于,缩短了新技术人员的训练时间。
另一个优点在于,快速训练新的技术人员来执行成像扫描。
另一个优点在于,从数据库中检索在相似成像扫描中使用的成像参数,并使用所述参数来为当前成像扫描的参数设置提供推荐。
另一个优点在于,当高级技术员无法辅助初级技术员时为初级技术员提供针对成像扫描参数设置的推荐。
另一个优点在于,标记来自先前成像扫描的成像参数,并且将所标记的参数用于当前的成像扫描。
给定的实施例可以提供前述优点中的零个、一个、两个、更多个或所有优点,并且/或者可以提供本领域普通技术人员在阅读和理解了本公开内容后将变得明显的其他优点。
附图说明
当与附图一起阅读时,根据以下具体实施方式最好地理解示例实施例。要强调的是,各种特征不一定按比例绘制。实际上,为了清楚讨论,可以任意增加或减小尺寸。只要适用且实用,相似的附图标记指代相似的元件。
图1图解地示出了根据本公开的用于提供远程辅助的说明性装置。
图2和图3示出了由图1的装置适当地执行的操作的示例流程图。
图4示出了由图1的装置生成的输出的示例。
图5示出了图2和图3所示的操作的示例流程图。
具体实施方式
本文公开了用于基于来自数据库的相似数据采集中使用的参数来实时提供对数据采集参数的任务特异性推荐的系统和方法。所述方法改进对成像协议的遵守,加速数据采集,并减少因成像参数的不适当设置而造成的错误。
此外,在实现虚拟化成像操作的协作平台上,虚拟扫描器访问(远程定位的专家用户从远处查看和访问扫描器控制台屏幕的能力)可以用于支持训练。扫描会话的视频记录是虚拟化成像的副产品之一。这些视频记录能够用于:1)为初级技术人员创建IDN特异性训练平台;以及2)支持针对所有经验水平的技术人员的质量成像。实际上,训练和辅助系统支持为医学图像技术人员提供关于操作扫描器的真实世界示例教学视频,并且在扫描器运行时为技术人员提供针对扫描器的任务特异性成像参数。
以下内容涉及向执行成像检查的本地技术人员提供远程专家或“超级技术人员”辅助的系统和方法,诸如放射操作指挥中心(ROCC)系统。ROCC收集关于由本地技术人员正在执行的成像检查的信息,其被供应给超级技术人员以使得超级技术人员能够提供有效的辅助。所提供的信息通常包括例如成像设备控制器显示的副本等。在本文中应认识到,该收集的信息能够用于其他目的。
ROCC可以用作训练平台,其中,初级技术人员能够利用在实际采集期间捕获的视频记录的数据库的优点。大多数放射技术人员完成放射学的高校课程,其包括课堂理论学习和实际现场临床训练。然而,由于成像协议、供应商特异性采集细节和医院特异性实践的数量庞大,技术人员经历大量的“在职”辅导和训练。这通常涉及高级或首席技术人员对初级技术人员的情况进行长达3-6个月的监督,并在此后相当长的时间段内需要对特殊或复杂情况的辅助。通常,不存在IDN特异性训练材料可以用于弥补新员工的差距、加快训练过程并解放高级技术人员的时间。工作人员流动率高的机构清楚地感受到技术人员训练的痛苦。在本文公开的一些实施例中,ROCC可以使用IDN特异性材料来加速技术人员训练过程并使其自动化。
此外,对于医学成像,数据采集参数由技术人员根据成像协议进行设置和调节。设置和调节参数可能是费时且容易出错的,尤其是对于缺乏经验的技术人员而言。不适当的成像参数可能导致所采集的图像的低质量,这继而导致诊断的错误或导致执行重新扫描。扫描器上的当前软件为参数值选择提供有限的支持。通常只给出参数的有效值范围,而没有特异于任务或方案的优化。为一项研究推荐的成像协议指定针对良好质量研究的视场(FOV)。这提供特异性解剖范围的覆盖范围(例如,针对胸部CT的心尖到肾上腺),以及额外的属性,如屏气/吸气等。然而,这取决于技术人员基于导航/侦查扫描中采集的图像手动设置FOV。
尽管来自专家用户的支持通过ROCC是可用的,但根据远程专家用户的可用性,等待专家经由ROCC提供实时辅助可能在成像工作流程中引入非期望的延迟。
利用ROCC辅助采集的图像的质量、以及通过使用ROCC获取的成功部分取决于对本地技术人员的需要多么好地预期。然而,评估个体的知识和技能以及评价他们执行所需任务的能力是很难的。
在本文公开的一些实施例中,能够挖掘由ROCC抓取的控制器屏幕视频和来自ROCC的扫描器室视频(如果可用)以生成训练材料,并提供高效的用户接口,从而在检查前或检查期间“实时”向技术人员推送这些材料。
在经由ROCC提供专家辅助的过程中,ROCC已经记录了抓取的控制器屏幕和(在一些实施例中)扫描室视频。在本文的一些实施例中,这种记录可能延伸超出提供专家辅助时的时间间隔,以便生成训练材料。为使这些能够用作训练材料,通过移除个人识别信息和任何无关的患者健康相关信息对其进行去标识处理。得到的去标识视频在语义上被标记。这可以利用在ROCC辅助流程期间自动生成的信息。例如,ROCC系统分析抓取的控制台显示帧,以确定诸如供应商、扫描类型、工作流程阶段等的信息。视频优选地被分割,使得视频的个体片段可以利用所描绘的工作流程阶段来标记。此外,在一些实施例中,执行所记录的检查的技术人员(或备选地专家)可以为视频片段添加标签。所标记的视频被收集在训练数据库中。
所公开的系统还提供了用于向技术人员推送训练视频的机制。这可以基于排程的检查参数与视频的标签的匹配情况来提前完成。例如,技术人员可以接收电子邮件、文本消息或其他警报,其提供能够经由网站或移动设备应用程序查看的推荐的视频。此外,可以在成像检查期间向技术人员实时提供对视频的访问。例如,如果技术人员遇到困难,他或她能够打开平板电脑或手机上的ROCC应用程序并输入搜索查询,所述搜索查询(任选地与针对技术人员的当前检查由ROCC系统提取的信息一起)检索(一个或多个)相关视频以供技术人员回顾。在当前检查期间提供实时辅助的情况下,在一些预期的实施例中,如果控制器支持用于数据传输的无线连接,则ROCC应用程序可以任选地利用蓝牙TM、Wi-Fi或由ROCC平板电脑或手机支持的另一无线通信协议来从成像设备控制器直接读取关于当前检查状态的信息。在这种情况下,用户接口可以大大简化,例如,技术人员能够简单地选择应用程序中标记“对当前检查的辅助”或相似术语的菜单选项,以基于从成像设备控制器无线接收的信息来触发搜索。标签能够为当前检查中需要辅助的特异性部分提供更快的指导。
ROCC网站和/或移动应用程序优选地为技术人员提供各种选项,以加快训练视频内容的回顾。例如,视频播放器能够包括加速重放选项、片段跳过等。
在本文公开的其他实施例中,所标记的数据库内容可以用于识别扫描参数,以向执行当前检查的技术人员进行建议。可以从抓取的扫描器控制台视频帧中提取扫描参数,作为ROCC辅助过程的一部分,或专门为参数推荐器提取。这样创建检查的数据库(以各种标签为特征,例如模式、扫描类型等)和对应的成像参数。
在一些示例中,针对数据库中的每次检查计算相似度-经验水平度量,其是以下的乘积:(i)测量当前检查与存档视频的相似度的相似度度量;和(ii)执行存档视频的检查的技术人员的经验水平。由于给定的成像参数在不同的“接近”数据库检查中可能具有不同的值,因此在一个实施例中,经由移动应用程序向用户提供了图形表示,其通过相似度-经验评分进行颜色编码沿着水平线绘制不同的成像参数值。通过点击数据点,带来更多有关检查的信息。在可能的联系选项中,选择数据点可能带来针对该检查的训练视频。
在具体实例中,对视场(FOV)成像参数进行分析。在该示例中,技术人员采集患者的侦查扫描,其被馈送到CNN中,以检测数据库中最相似的侦查扫描。将N个最接近的检查的侦查扫描与当前检查的侦查扫描进行空间配准,并且使用该变换将最靠近的检查的FOV角点变换到当前扫描的参考帧,以便提供推荐的FOV值。
参考图1,示出了用于从远程医学成像专家RE(或超高技术人员)向本地技术人员操作者LO提供辅助的装置。这种系统在此也被称为放射学操作指挥中心(ROCC)。如图1中所示,操作医学成像设备(也称为图像采集设备、成像设备等)2的本地操作者LO位于医学成像设备舱3中,并且远程专家RE被设置在远程服务位置或中心4中。应当注意,远程专家RE可以不必直接操作医学成像设备2,而是以建议、指导、指令等形式向本地操作者LO提供辅助。远程位置4可以是远程服务中心、放射科医师办公室、放射科室等。远程位置4可以在与医学成像设备舱3相同的建筑物中(这可以例如在为负责围检查图像回顾的放射科医师的远程专家RE的情况下),或者远程服务中心4和医学成像设备舱3可以在不同的建筑物中,并且实际上可以位于不同的城市、不同的国家和/或不同的大陆。通常,远程位置4在远程专家RE不能直接在视觉上观察成像设备舱3中的成像设备2(因此任选地提供视频馈送,如本文进一步描述的)的意义上远离成像设备舱3。
图像采集设备2可以是磁共振(MR)图像采集设备、计算机断层摄影(CT)图像采集设备;正电子发射断层摄影(PET)图像采集设备;单光子发射计算机断层摄影(SPECT)图像采集设备;X射线图像采集设备;超声(US)图像采集设备;或另一模态的医学成像设备。成像设备2还可以是混合成像设备,诸如PET/CT或SPECT/CT成像系统。尽管在图1中通过图示的方式示出了单个图像采集设备2,但是更典型地,医学成像实验室将具有多个图像采集设备,其可以具有相同和/或不同的成像模态。例如,如果医院执行许多CT成像检查和相对较少的MRI检查以及仍然更少的PET检查,则医院的成像实验室(有时称为“放射学实验室”或一些其他相似的命名法)可以具有三个CT扫描器、两个MRI扫描器和仅单个PET扫描器。这仅仅是示例。此外,远程服务中心4可以向多个医院提供服务。本地操作者LO经由成像设备控制器10控制医学成像设备2。远程专家RE位于远程工作站12(或更一般地,电子控制器12)处。
如本文所使用的,术语“医学成像设备舱”(及其变型)是指包含医学成像设备2的房间以及包含用于控制医学成像设备的医学成像设备控制器10的任何相邻控制室。例如,参考MRI设备,医学成像设备舱3能够包括包含MRI设备2的射频(RF)屏蔽室以及容纳医学成像设备控制器10的相邻控制室,如MRI设备和流程的领域中所理解的。在另一方面,对于诸如CT的其他成像模态,成像设备控制器10可以位于与成像设备2相同的房间中,使得不存在相邻的控制室,并且医学舱3仅是包含医学成像设备2的房间。成像设备控制器10包括电子处理器20’、至少一个用户输入设备(诸如鼠标22’、键盘和/或其他)以及显示设备24’。成像设备控制器10在成像设备控制器10的显示器24’上呈现设备控制器图形用户接口(GUI)28’,本地操作者LO经由所述设备控制器图形用户接口访问设备控制器GUI屏幕,以输入成像检查信息,诸如本地操作者LO的姓名、患者姓名和其他相关患者信息(例如,性别、年龄等),并控制(通常地机器人)患者支撑物将患者加载到成像设备2的膛或成像检查区域,选择和配置要执行的(一个或多个)成像序列,采集预览扫描以验证患者的定位,运行所选和配置的成像序列以采集临床图像,显示所采集的临床图像以供回顾,并最后将最终临床图像存储到影像归档和通信系统(PACS)或其他成像检查数据库中。另外,尽管图1示出了单个医学成像设备舱3,但是将意识到,远程服务中心4(并且更具体地,远程工作站12)经由通信链路14与多个医学舱通信,通信链路14通常包括由远程操作者RE和本地操作者LO端处的局域网增强的因特网,以用于电子数据通信。
如图1中图解地示出的,在一些实施例中,相机16(例如,视频相机)被布置为采集医学成像设备舱3的部分的视频流17,医学成像设备舱3的部分至少包括本地操作者LO与患者交互的成像设备2的区,并且任选地还可以包括成像设备控制器10。视频流17经由通信链路14被发送到远程工作站12,例如作为经由安全因特网链路接收的流式视频馈送。在一些示例中,如图1所示,相机16可以被固定到医学设施的天花板的墙壁,其视场包括本地操作者LO与患者进行交互的成像设备2的区域,并且任选地还可以包括成像设备控制器10。在其他示例中,相机16可以被设置在成像设备2的成像膛(未示出)内。
在其他实施例中,成像设备控制器10的显示器24’的实况视频馈送17在说明性实施例中由视频线缆分配器15(例如DVI分配器、HDMI分配器等)提供。在其他实施例中,实况视频馈送17可以由将成像设备控制器10的辅助视频输出(例如aux vid out)端口连接到由远程专家RE操作的远程工作站12的视频线缆来提供。备选地,由成像设备控制器10上运行的屏幕共享软件13生成屏幕镜像数据流18,所述屏幕共享软件捕获成像设备控制器10的显示器24’的实时副本,并该副本从成像设备控制器10被发送到远程工作站12。除了说明性视频线缆分配器15或屏幕共享软件13之外,预期其他方法来捕获成像设备控制器10的显示器24’的实时副本,然后该副本被发送到远程专家RE的工作站12。尽管在ROCC中,成像设备控制器10的显示器24’的该实时副本用于向远程专家RE提供状态信息,以用于辅助本地操作者LO,但在本文公开的实施例中,成像设备控制器10的显示器24’的实时副本也被利用(任选地与其他可用信息一起),以确定本地操作者LO的一个或多个执行度量。
通信链路14还提供用于本地操作者LO与远程专家RE之间的语言和/或文本通信的自然语言通信路径19,以便使后者能够辅助前者执行成像检查。例如,自然语言通信链路19可以是因特网协议语音(VOIP)电话连接、视频会议服务、在线视频聊天链路、计算机化即时消息服务等。备选地,自然语言通信路径19可以由与提供数据通信17、18的通信链路14分开的专用通信链路提供,例如,自然语言通信路径19可以经由陆线电话提供。在另一示例中,自然语言通信路径19可以经由诸如移动设备(例如,平板计算机或智能手机)的ROCC设备8来提供。例如,“应用程序”可以在ROCC设备8(可由本地操作者LO操作)和远程工作站12(可由远程专家RE操作)上运行,以允许本地操作者与远程专家之间的通信(例如,音频聊天、视频聊天等)。
图1还示出了在远程服务中心4中包括远程工作站12,诸如电子处理设备、工作站计算机或更一般地计算机,其操作地连接以接收和呈现来自相机16的医学成像设备舱3的视频17并将屏幕镜像数据流18呈现为镜像屏幕。另外地或备选地,远程工作站12可以被实现为服务器计算机或例如互连以形成服务器集群的多个服务器计算机、云计算资源等。工作站12包括典型的部件,诸如电子处理器20(例如,微处理器)、至少一个用户输入设备(例如,鼠标、键盘、轨迹球和/或其他)22和至少一个显示设备24(例如,LCD显示器、等离子体显示器、阴极射线管显示器和/或其他)。在一些实施例中,显示设备24可以是与工作站12分开的部件。显示设备24还可以包括两个或更多个显示设备,例如,一个显示器呈现视频17,并且另一个显示器呈现从屏幕镜像数据流18生成的成像设备控制器10的共享屏幕(即,显示器24’)。备选地,视频和共享屏幕可以在相应窗口中呈现在单个显示器上。电子处理器20与一个或多个非瞬态存储介质26操作地连接。通过非限制性说明性示例的方式,非瞬态存储介质26可以包括以下各项中的一项或多项:磁盘、RAID或其他磁存储介质;固态驱动器、闪存驱动器、电可擦除只读存储器(EEROM)或其他电子存储器;光盘或其他光学存储设备;其各种组合;等等;并且可以是例如网络存储设备、工作站12的内部硬盘驱动器、其各种组合等。应当理解,本文中对一个或多个非瞬态介质26的任何提及应被广义地解释为涵盖单个介质或相同或不同类型的多个介质。同样,电子处理器20可以被实现为单个电子处理器、或两个或更多个电子处理器。非瞬态存储介质26存储可由至少一个电子处理器20运行的指令。指令包括生成图形用户接口(GUI)28以用于显示在远程操作者显示设备24上的指令。
医学成像设备舱3中的医学成像设备控制器10还包括与设置在远程服务中心4中的远程工作站12相似的部件。除非本文另有指示,否则设置在医学成像设备舱3中的医学成像设备控制器10的特征(相似于设置在远程服务中心4中的远程工作站12的那些)具有后接“上撇号”符号的共同附图标记(例如,处理器20’、显示器24’、GUI 28’),如已经描述的。具体地,医学成像设备控制器10被配置为在显示设备或控制器显示器24’上显示成像设备控制器GUI 28’,GUI 28’呈现与医学成像设备2的控制有关的信息,如已经描述的,诸如成像采集监测信息、所采集的医学图像的呈现等。将意识到,由视频线缆分配器15提供的控制器10的显示器24’的实时副本或屏幕镜像数据流18携带在医学成像设备控制器10的显示设备24’上呈现的内容。通信链路14允许从医学成像设备舱3中的显示设备24’到远程服务中心4中的显示设备24的屏幕共享。GUI 28’包括一个或多个对话屏幕,包括例如检查/扫描选择对话屏幕、扫描设置对话屏幕、采集监测对话屏幕等。GUI 28’可以被包括在由视频线缆分配器15或由镜像数据流17’提供的视频馈送17中,并且被显示在远程位置4处的远程工作站显示器24上。
图1示出了说明性本地操作者LO和说明性远程专家RE(即,专家,例如超高技术人员)。然而,ROCC任选地提供可用于辅助不同医院、放射学实验室等处的本地操作者LO的超高技术人员的工作人员。ROCC可以容纳在单个物理位置中,或可以在地理上分布。例如,在一个预期实施方式中,远程操作者RO从美国和/或国际上招募,以便为超高技术人员的工作人员提供在各种成像模态和针对各种被成像解剖结构的各种成像流程中的广泛专业知识。鉴于这种多个本地操作者LO和多个远程操作者RO,所公开的通信链路14包括服务器计算机14s(或服务器集群、包括服务器的云计算资源等),其被编程为在所选择的本地操作者LO/远程专家RE对之间建立连接。例如,如果服务器计算机14s是基于因特网的,则可以使用各种部件16、10、12的因特网协议(IP)地址、自然语言通信路径19的电话或视频终端等来连接特定选择的本地操作者LO/远程专家RE对。服务器计算机14s与一个或多个非瞬态存储介质26s操作地连接。通过非限制性说明性示例的方式,非瞬态存储介质26s可以包括以下各项中的一项或多项:磁盘、RAID或其他磁存储介质;固态驱动器、闪存驱动器、电可擦除只读存储器(EEROM)或其他电子存储器;光盘或其他光学存储设备;其各种组合;等等;并且可以是例如网络存储设备、服务器计算机14s的内部硬盘驱动器、其各种组合等。应理解,本文中对一种或多种非瞬态介质26s的任何提及应被广义地解释为涵盖单个介质或相同或不同类型的多个介质。同样地,服务器计算机14s可以被实现为单个电子处理器或两个或更多个电子处理器。非瞬态存储介质26s存储可由服务器计算机14s运行的指令。另外,非瞬态计算机可读介质26s(或另一数据库)存储与一组远程专家RE和/或一组本地操作者LO有关的数据。远程专家数据可以包括例如技能集数据、工作经验数据、与在多供应商模态上工作的能力有关的数据、与本地操作者LO的经验相关的数据等。
此外,如本文所公开的,服务器14s执行操作者辅助方法或过程100,以用于在使用医学成像设备2中的一个或多个执行的成像检查期间辅助本地医学成像设备操作者LO。评估方法100有利地利用由ROCC提供的信息源,例如成像设备控制器显示器的显示器24’的内容。
服务器计算机14s还能够存储与由本地操作者LO执行的每次成像检查期间采集的相关信息有关的数据。例如,存储的数据能够包括在成像检查中使用的医学成像设备2的供应商和模态、本地医学成像设备操作者LO的标识、医学成像设备的模态、医学成像设备的标识、分配的当前流程术语代码、是否使用来自远程医学专家的辅助的标识、本地操作者与远程医学专家之间的通信记录、患者数据(例如,体弱个体、儿科检查、残疾个体等)、成像检查的持续时间、成像检查期间重复的序列、成像检查期间采集的图像的质量、关于意外事件(例如设备故障)的记录等。
参考图2并继续参考图1,操作者辅助方法100的说明性实施例图解地示出为流程图。第一操作102、104、106、108与训练材料的创建有关。这些操作102、104、106、108可以针对所有成像检查执行,或者针对一些子集执行,例如,针对由更高级且更熟练的成像技术人员执行的成像检查执行,使得随后提取的训练材料反映高水平的专业知识。后续操作110、111、112与创建的训练材料的消耗有关。这些操作110、111、112通常与更加初级且可能较不熟练的成像技术人员结合执行,并且旨在通过提供训练和/或自动推荐针对扫描参数的值来辅助技术人员。然而,即使高度熟练且经验丰富的成像技术人员可以选择利用可用的训练材料,如本文参考操作110、111、112所述的。
如下生成训练材料。在操作102处,在执行医学成像检查期间采集与参考成像检查有关的数据。获得操作102包括对医学成像设备2的医学成像设备控制器10的显示设备24’上显示的数据进行屏幕抓取。这种屏幕抓取利用由ROCC系统提供的成像设备控制器10的显示器24’的实时副本的可用性,例如使用视频线缆分配器15或屏幕共享软件13。屏幕抓取可以使用任何合适的方法,以用于从成像设备控制器10的显示器24’的实时副本中提取相关信息。例如,可以通过光学字符识别(OCR)分析视频帧,以提取文本。由于成像设备控制器GUI 28’通常使用标准化的对话屏幕,因此屏幕抓取可以利用关于这些对话屏幕的布局的先验知识来实现更精确的信息提取。例如,如果对话屏幕具有一个输入区域以用于输入本地操作者LO标识,并且具有另一个输入区域以用于输入患者标识,则布局的该先验知识可以用于区分本地操作者和患者姓名。相似地,可以为特定的成像序列带来特定的对话屏幕,并且在成像设备控制器10的显示器24’的实时副本中识别这些特定的对话屏幕能够提取所选择的成像序列,并且这些对话屏幕的布局的先验知识能够用于将数字或其他输入与特异性扫描参数相关。这些仅仅是屏幕抓取中适当使用的信息提取方法的一些非限制性说明性示例。医学成像设备控制器10的显示设备24’上显示的数据通常包括对技术人员评估方法100有用的信息,例如,本地医学成像设备操作者LO的标识、医学成像设备2的模态、医学成像设备的标识、分配的当前流程术语代码、是否使用来自远程医学专家的辅助的标识以及患者数据。
在另一个示例中,获得操作102包括:记录由本地操作者LO利用相机16执行的成像检查的图像,以及记录本地操作者与远程医学专家在成像检查期间经由自然语言通信路径19进行的音频或文本对话。然后可以从记录的图像和记录的对话中获得数据。获得的数据也能够存储在服务器计算机14s中。
每次本地操作者LO在操作中利用ROCC执行成像检查时,都会适当地执行上述检查数据收集操作102。在一些实施例中,即使本地操作者LO不经由ROCC利用远程专家的辅助,ROCC操作也被修改为在每次检查的整个过程中生成由视频线缆分配器15或屏幕镜像数据流18提供的控制器10的显示器24’的实时副本。以这种方式,利用ROCC的现有硬件(例如视频线缆分配器15或屏幕镜像软件13)以确保为针对所有检查产生收集检查数据,无论是否使用ROCC以及使用多长时间。通过数天、数周、数月或更长时间收集的检查数据被适当地收集,以为本地操作者LO提供可观的检查数据数据库,其可以包括本地操作者LO执行的数十次、数百次或更多次的成像检查。在其他实施例中,检查数据聚集操作102可仅针对某些成像检查执行,例如,通过示例,仅针对由指定的高级操作者执行的成像检查执行(预期指定的高级操作者提供高质量的示例),或者仅针对执行操作者明确选择记录的成像检查执行。
操作104、106、108然后处理在操作102处收集的检查数据,以创建训练材料的数据库。操作104、106、108可以针对操作102中收集的所有检查数据来执行,或者针对该信息的一些子集来执行。例如,在检查结束时,可以询问技术人员是否授权其将检查数据用于创建训练材料。这将允许技术人员将技术人员认为质量较低的成像检查排除在外。此外,由于从成像检查的检查数据中提取训练材料可能需要来自成像技术人员的输入(例如,在标记操作108的一些实施方式中),技术人员可以选择不授权将检查包括在训练材料中,以避免提供这种输入,或者放射科医师可以回顾特定的检查结果,并指示其是用于训练材料创建的良好候选。从操作102处收集的检查数据中提取训练材料如下。在操作104处,能够从所获得的数据中移除个人可识别信息(PII)。被移除的PII可以包括个人健康信息(PHI)(例如姓名、医学记录编号、出生日期、图像采集日期等)。由于所公开的ROCC系统是与供应商无关、多模式、向后兼容的平台,因此视频匿名算法能够自动识别并移除在由不同供应商制造的不同医学成像设备2的不同模态上采集的记录的PHI信息。在相关时,控制台记录可以由匿名扫描器室视频进行补充,其演示适当患者定位、辅助装备(即门控带)的适当设置等。为了对获得的数据进行匿名化,可以实施机器学习算法,其针对PHI信息而搜索视频帧,并移除或利用假数据替换患者敏感信息。所述算法能够支持以多模态、多供应商方式采集的视频的匿名化。此外,能够对扫描器室内视频执行面部检测和匿名化处理。
在操作106处,根据从操作104输出的处理数据生成训练材料32(例如视频、文档、演示文稿等)。在操作106中,可以仅保留覆盖相关成像工作流程元素的视频片段以用于训练目的,诸如扫描器内的患者定位、线圈放置、患者辅导、房间清理等。可以使用各种方法来丢弃可能对训练无用的其他检查数据。例如,如果由于操作者没有与控制器交互,抓取的控制器显示在几分钟内没有变化,则可以通过仅保留抓取的控制器屏幕帧的子集来缩短抓取的控制器显示的该持续时间。操作106还可以包括对作为训练材料32保留的检查数据进行处理,以使其更加有用。例如,在抓取的控制器屏幕的视频中,变化的元素(例如,对应于用户输入值或显示采集的图像)可以通过边界红框、通过加粗添加文本或通过一些其他类型的突出显示来突出显示。在检查室视频中(或根据检查室视频中的声音),可以对帧进行裁剪和缩放,以更好地呈现相关事件。这些仅仅是说明性的示例。训练材料32与参考医学成像检查的执行有关。训练材料32可以存储在服务器计算机14的非瞬态计算机可读介质26s中。
在操作108处,利用根据所获得的数据生成的一个或多个标签34来标记训练材料32。对于相应的参考医学成像检查,标签34包括以下中的一个或多个:执行参考医学成像检查的医学成像设备操作者的标识、执行参考医学成像检查时使用的医学成像设备2的模态、执行参考医学成像检查时使用的医学成像设备的标识、为参考医学成像检查分配的当前流程术语代码、参考医学成像检查期间是否使用来自远程医学专家的辅助的标识以及由参考医学成像检查所检查的患者的患者数据。也可以添加其他类型的标签34或注释,例如关于由执行成像检查的成像技术人员注释的检查期间发生的评论、时间标签以及指示在视频流的特定片段期间调节哪个参数的标签。标记有标签34的训练材料32可以存储在服务器计算机14s的非瞬态计算机可读介质26s中。
标记108可以是全自动的或半自动的。与采集错误、伪影、图像质量问题相关联的成像数据可以以自动方式(通过回顾放射学报告、运行图像质量算法等)、半自动(回顾放射学报告、图像质量并提示用户操作)或手动方式(允许用户供应额外的标签)进行标记。此外,表示成像检查的难度水平的标签34可以以自动(例如,通过使用在具有手动创建的标签的视频的子集上训练的机器学习模型)或手动方式创建。这使得更方便地基于扫描的难度水平为初级技术人员准备训练材料。例如,具有下图所示帧之一的视频的标签34可以包括CT、腹部内径、螺旋、成人、降低管电压、扩展FOV等。手动标记(如果有这样做的话)可以由执行成像检查的成像技术人员在检查完成后立即进行。额外地或备选地,可以由执行检查的成像技术人员或一些其他合格人员(例如,高级成像技术人员或放射科医师)在某个稍后时间进行手动标记。
在一些实施例中,获得的数据包括医学成像检查的视频流,则视频流能够被分割成多个视频流片段,并且每个视频流片段能够被标记有一个或多个标签34。在一些示例中,视频流的分割基于成像协议中的参数变化、声音变化或新步骤中的至少一个。
在一些实施例中,为了利用标签34标记训练材料32,在ROCC设备8的显示器36上提供训练材料注释UI 42,通过UI 42执行参考医学成像检查之一的本地操作者利用一个或多个标签34标记在参考医学成像检查期间获得的训练材料32。通过将当前或即将进行的医学成像检查的参数与训练材料32的标签34进行匹配,能够选择训练材料32的选定的部分。可以从执行参考医学成像检查之一的本地操作者向执行或被排程为执行当前或即将进行的医学成像检查的本地操作者LO传输消息,其指示要基于所述匹配来回顾的训练材料的选定的部分。
来自参考医学成像检查的标签34还可以包括例如患者通信、安全和辅助、线圈放置、造影剂施用、造影剂反应监测、视场选择、查找有时深藏在菜单内的协议参数等。这些标签34使训练材料32能够通过各种标签条目变为可搜索。
创建训练材料的操作102、104、106、108可以持续执行,以保持训练材料的数据库为最新。任选地,可以以自动或半自动方式淘汰训练材料并将其从训练材料的数据库移除。例如,如果利用训练材料的任何放射科不再使用特定品牌/型号的成像设备,则标记有成像设备的该品牌/型号的训练材料被淘汰。相似地,标记有已变为过时的成像流程标识的训练材料可以被淘汰。任选地,也可以执行对训练材料的手动整理。例如,高级成像技术人员或放射科医师可定期回顾训练材料,并移除被认为具有低质量或以其他方式不合适的任何训练材料。
现在参考操作110、111、112,接下来描述使用相关训练材料的合适方法。
在操作110处,在当前成像检查期间,在ROCC设备8的显示屏36上,或者备选地在医学成像设备控制器10的显示设备24’上的GUI 28’上提供训练UI 44。训练UI 44被配置为显示训练材料32的选定的部分的可视化36,其是基于关于当前或即将进行的医学成像检查的信息来选择的。在一个示例中,当前或即将进行的医学成像检查是当前医学成像检查,并且训练材料32在当前医学成像检查期间提供给执行当前成像检查的本地操作者LO。在另一个示例中,放射科医师可能回顾特定的检查结果,并指示该结果是用于训练材料创建的良好候选。在另一个示例中,当前或即将进行的医学成像检查是即将进行的医学成像检查,并且训练材料32在即将进行的医学成像检查之前提供给本地操作者LO。在另一个示例中,当本地操作者LO需要辅助时,建立并使用自然语言通信路径19,以允许本地操作者LO和远程操作者RE讨论流程,并且特别是允许远程操作者向本地操作者LO提供建议。额外地或备选地,在操作111中,可以在成像检查之前选择和显示训练材料,例如基于由给定成像技术人员执行的即将进行的成像检查排程。
为了基于标签34选择相关训练材料32,算法可以将训练材料32的训练视频与当前或排程的医学成像检查进行匹配。例如,如果本地操作者LO正在执行或被排程为执行在例如3T Philips MRI扫描器上执行心脏成像扫描,则从训练材料32中检索到在3T PhilipsMRI扫描器上进行的心脏扫描的先前采集的视频,并将其链接到排程系统中的预约。在为成像检查做准备时,本地操作者LO可以选择查看建议的视频内容。如果技术人员当前正在执行检查,并意识到需要辅助,则用户能够在ROCC设备8的显示设备36上带来操作者辅助UI46。在一种方法中,为用户提供搜索查询输入对话框,用户可以经由所述搜索查询输入对话框输入相关的搜索项,其指定成像模态(此处MRI)、扫描类型(此处心脏扫描)等等,并且搜索训练材料的标签以识别并提供列表或其他选择对话框,操作者LO能够经由所述列表或其他选择对话框来选择训练材料进行检索和演示。在更先进的实施例中,如果ROCC设备8被装备有蓝牙TM、Wi-Fi或另一个无线通信协议,则成像设备控制器10可以任选地被编程为与辅助UI 40接口连接,以自动提供关于当前成像检查的信息,并且辅助UI 40根据这些自动接收的信息自动构建搜索查询,并检索并且向操作者LO呈现搜索结果。此外,在操作110或111中,来自患者的医学记录的细节中的一些可以用于定制训练材料的匹配。例如,如果患者有支架,则可以检索从心脏支架患者的先前成像检查中提取的训练材料,以供本地操作者LO回顾。除了算法搜索之外,本地操作者LO可以使用标签34来手动搜索训练材料32。本地操作者能够看到从训练材料32中检索的选定的视频(或其他选定的训练材料),所述选定的视频能够显示在ROCC设备8上。在另一个示例中,当本地操作者LO和远程操作者RE建立自然语言通信路径19时,RE能够选择训练材料以发送或传输给本地操作者LO,作为减少RE所需的时间以减少本地操作者LO花费的时间的努力的部分。例如,LO启动远程连接,以建立自然语言通信路径19。本地操作者LO能够向远程专家RE解释问题,同时远程专家RE回顾医学成像设备舱3的屏幕抓取图像,解释问题。远程专家RE能够确定任何问题,并对修复给出快速响应或提供(一个或多个)建议的训练材料32。如果使用(一个或多个)建议的训练材料32,如果本地操作者LO仍有问题或疑虑,则可以与RE重新建立自然语言通信路径19。
在操作111中,除了本地操作者LO的排程外,过去的成像检查记录可以用于提供对训练的推荐。ROCC系统能够基于由本地操作者LO执行和被排程为执行的成像检查记录来查找知识缺口,并建议利用来自训练材料32的训练视频来补充记录。例如,如果本地操作者LO以前没有在西门子扫描器上做过腹部MRI;然而,在接下来的几天或几周内,为西门子机器排程若干腹部扫描,则服务器计算机14s能够计算出特定本地操作者可能需要执行非熟悉检查的可能性,并建议来自训练材料32的一组回顾/训练视频。
在一些实施例中,训练材料32可以用于在成像检查期间实时辅助本地操作者LO。本地操作者LO可能不确定例如门控带或采集元件的放置(即脂肪抑制带的放置),并且可能选择暂停视频记录,以确保检查被正确执行。将训练视频与当前检查紧密匹配(甚至潜在地与扫描的阶段相匹配),并提供对此类材料的迅速访问将允许本地操作者LO快速解决任何不确定性。例如,对于尚未开始的医学成像检查,描绘适当的患者设置的扫描器室视频可能最有用。在另一个示例中,对于几乎完成并需要图像重新格式化的医学成像检查,演示正确图像重新格式化的视频片段可能更合适。算法可以跟踪实况扫描的进展,并根据提示提供与采集的阶段相匹配的先前检查的匹配视频。
在操作112处,基于所生成的训练材料32为当前或即将进行的医学成像检查确定至少一个建议的扫描参数。在医学成像检查期间或之前,至少一个建议的扫描参数可以(例如,在ROCC设备8上)显示给本地操作者LO。
参考图3并继续参考图1和图2,扫描参数推荐操作112的说明性实施例图解地示出为流程图。在操作114处,则从服务器计算机14s的非瞬态计算机可读介质26s中检索标记有标签34的训练材料32。在操作116处,然后对训练材料32进行分析,以识别针对当前或即将进行的医学成像检查的一个或多个建议的扫描参数。为此,将训练材料32的标签34与当前医学成像检查的扫描参数进行比较。
比较可以包括针对每个医学成像检查使用基于相似度的度量。基于相似度的度量可以通过计算测量当前检查与训练材料32的相似度的相似度度量来确定。还确定执行训练材料的检查的操作者的经验水平,并将经验水平乘以相似度度量。
在操作118处,在ROCC设备8上提供操作者辅助UI 46,并在操作者辅助UI 46上显示建议的扫描参数。继续参考图1-3,图4示出了在ROCC设备8上显示(一个或多个)扫描参数的示例。在一些示例中,(一个或多个)建议的扫描参数能够被显示为沿着通过相似度-经验度量进行颜色编码(尽管图4以黑白示出)的绘图的水平线的不同成像参数值的绘图。图4示出了(一个或多个)建议的扫描参数,以及基于相似度-经验评分选择的预先选择的扫描次数(例如,前5次扫描)。推荐的参数由指向文字气泡或呼出的圆点指示。文字气泡中还示出了侦查图像相似度和经验水平。“右侧”的图像示出了后续扫描的情形。
在一些实施例中,响应于由本地操作者LO的输入(例如,在ROCC设备8的显示器36上的更精细的扫频),可以选择绘图的部分来显示关于医学成像检查的额外信息,或者可以选择绘图的部分来显示与医学成像检查有关的训练材料32中的一些。
在特定的实施例中,(一个或多个)建议的扫描参数包括视场(FOV)成像参数。继续参考图1-3,图5图解地示出了当要建议的扫描参数值是FOV参数时用于执行方法100的扫描参数推荐操作112的操作的流程图。在操作120处,利用医学成像设备2采集患者的一个或多个初始扫描(即“侦查”扫描)。(一个或多个)侦查扫描被用作用于为后续图像系列建立视场(FOV)标记物的参考。FOV标记物是由本地操作者LO为图像系列选择的解剖范围的指示物,并且在采集该系列之前叠加在图像上。(一个或多个)侦查扫描能够被存储在服务器计算机14s的非瞬态计算机可读介质26s中。
对于当前的医学成像检查,在操作122处,一旦从记录的控制台视频中提取关于当前医学成像扫描的信息(例如,在操作102处),就可以生成标签34。针对当前医学成像检查的这些标签34能够包括研究类型、协议名称、身体部位和关于研究的临床指示的信息(例如,这是否为后续扫描等)。还可以提取每次医学成像检查中使用的成像参数。具体来说,可以提取示出FOV的设置的屏幕截图。在调节成像参数时,还可从屏幕提取医学成像检查中使用的其他参数,诸如切片厚度、切片交叠、切片数量、平面内分辨率、剂量等。
这些屏幕截图能够用于从非瞬态计算机可读介质26s中查找相似扫描,并生成推荐的FOV。为此,在操作124处,将候选扫描123的侦查扫描与当前侦查扫描一起输入到人工神经网络(ANN)48(在服务器计算机14s中实施),以检测存储在非瞬态计算机可读介质26s中的训练数据库中的最相似扫描。执行医学成像检查的本地操作者LO或远程专家RE的经验水平也能够从非瞬态计算机可读介质26s中获得。
在操作126处,能够利用ANN 48(即卷积神经网络(CNN))测量候选扫描123与当前扫描120之间的相似度。该ANN 48采取一对屏幕截图作为输入,并且输出在从0至1的范围内的相似度评分。训练CNN模型48需要针对来自侦查扫描120、123的图像对的手动标记的相似度。初始选定的候选扫描图像可以根据依据等式1的以下相似度-经验评分进行排序:
S=α*相似度+β*经验_水平 [1],
其中,α和β是要基于本地操作者LO的偏好设置的权重,“相似度”是由CNN 48输出的评分,并且“经验_水平”基于执行候选扫描的技术人员和专家的最大经验而缩放到范围[0,1]。如果当前扫描是后续扫描,则可以将先前扫描的相似度-经验评分设置为最大值。
在操作128处,可以确定前k个相似扫描,其中,k由本地操作者LO选择。对于后续扫描,可以推荐在先前扫描中使用的参数。对于其他扫描,推荐的成像参数可以通过由相似度-经验评分加权的前k个相似扫描中使用的参数进行平均来生成。
在操作130处,可以将前k个相似扫描128的侦查扫描图像与当前扫描120的侦查扫描图像进行空间配准。可以通过颜色和/或强度滤波来提取前k个相似扫描中使用的FOV(例如,通常所选定的FOV的边界具有与侦查扫描图像120的不同的颜色/强度)。
在操作132处,将最相似扫描的FOV角点变换到当前扫描的参考帧,以提供推荐的FOV值。将FOV变换到当前扫描可以利用在配准操作130期间确定的相同变换矩阵来执行。为得到针对当前扫描的推荐的FOV,可以对变换的FOV的角的坐标进行平均,由相似度-经验评分对其进行加权。对于后续扫描,能够将先前扫描中使用的FOV变换到当前扫描,而无需与其他相似扫描进行平均。
返回参考图3,对于在操作118处显示推荐的参数,不同参数的位置可以根据控制台屏幕或根据预先定义的配置文件来确定。推荐的参数能够叠加到来自侦查扫描的图像上。对于每个参数,本地操作者LO还能够检查前k个相似扫描中使用的参数,以及最终推荐的参数。在这种情况下,前k个相似扫描中的每个将被示出为点,其颜色与相似度-经验评分相匹配。还能够查询和显示每个相似扫描的预测的相似度评分和经验水平。
返回参考图1,当本地操作者LO需要来自远程专家RE的辅助时,通信链路14将本地操作者LO/远程专家RE连接起来。GUI 28被提供为显示设备24上的远程辅助UI,其可由远程专家RE操作。UI 28提供本地操作者LO与远程专家RE之间的双向通信,远程专家能够经由所述双向通信向本地医学成像设备操作者LO提供辅助。所选定的远程专家RE的远程工作站12和/或由本地操作者LO运行的医学成像设备控制器10被配置为执行方法或流程200,以向本地操作者LO提供来自远程专家RE的辅助。为简洁起见,方法200将被描述为由远程工作站12执行。非瞬态存储介质26存储指令,该指令可由至少一个电子处理器20(如图所示,工作站12的电子处理器和/或局域网或因特网上的一个或多个服务器的电子处理器)读取和运行,以执行所公开的操作,包括执行方法或过程200。
辅助方法或过程200的合适实施方式如下。方法200在使用医学成像设备2执行医学成像检查(的至少部分)的过程中执行,并且本地专家RE是经由匹配方法100选择的专家。如本文所使用的,术语“医学成像检查的持续时间”(或其变体)是指医学成像检查的时间段,其包括:(i)实际图像采集时间、(ii)成像后续处理时间,以及(iii)直到患者出院的时间。为了执行方法200,远程位置4中的工作站12被编程为接收以下中的至少一个:(i)来自位于医学成像设备舱3中的医学成像设备2的视频相机16的视频17;和/或(ii)来自屏幕共享软件13的屏幕共享18;和/或(iii)由视频线缆分配器15分开的视频17。视频馈送17和/或屏幕共享18可以在远程工作站显示器24处显示,通常在GUI 28的单独的窗口中。可以对视频馈送17和/或屏幕共享18进行屏幕抓取,以确定与医学成像检查有关的信息(例如,模态、供应商、要成像的解剖结构、要解决的问题的原因等)。特别是,在远程工作站12的显示器24上呈现的GUI 28优选地包括呈现视频17的窗口和呈现由屏幕镜像数据流18构建的医学成像设备控制器10的镜像屏幕的窗口,以及关于至少部分使用屏幕抓取的信息维护的医学成像检查的状态信息。这允许远程操作者RE意识到医学成像设备控制器10的显示器的内容(经由共享屏幕),并且还意识到实际情况,例如,患者在医学成像设备2中的位置(经由视频17),并且此外意识到如由状态信息总结的成像检查的状态。在成像流程期间,适当地使用自然语言通信路径19,以允许本地操作者LO和远程操作者RE讨论所述流程,并且特别是允许远程操作者向本地操作者提供建议。
所公开的实施例的先前描述被提供为使本领域技术人员能够实践本公开中所描述的概念。这样一来,以上公开的主题应被认为是说明性的而非限制性的,并且权利要求旨在覆盖落入本公开的真实精神和范围内的所有这样的修改、增强和其他实施例。因此,在由法律允许的最大范围内,本公开的范围应由权利要求及其等效方案的最宽泛的可允许解释来确定,并且不应受前述具体实施方式约束或限制。
在上述具体实施方式中,出于解释而非限制的目的,阐述了公开具体细节的代表性实施例,以便提供对根据本教导的实施例的透彻理解。可以省略对已知系统、设备、材料、操作方法和制造方法的描述,以避免模糊对代表性实施例的描述。尽管如此,在本领域普通技术人员的知识范围内的系统、设备、材料和方法也在本教导的范围内,并且可以根据代表性实施例来使用。应理解,本文使用的术语仅用于描述特定实施例的目的,而不旨在为限制。所定义的术语是如在本教导的技术领域中通常理解和接受的所定义的术语的技术和科学含义的补充。
将理解,尽管本文可以使用术语第一、第二、第三等来描述各种元件或部件,但是这些元件或部件不应受这些术语的限制。这些术语仅用于区分一个元件或部件与另一个元件或部件。因此,在不脱离本发明构思的教导的情况下,下面讨论的第一元件或部件可以被称为第二元件或部件。
本文使用的术语仅用于描述特定实施例的目的,而不旨在为限制。如说明书和权利要求中所使用的,单数形式的术语“一”、“一个”和“所述”旨在包括单数和复数形式两者,除非上下文另有明确规定。此外,术语“包括”、“包含”和/或相似术语指定陈述的特征、元件和/或部件的存在,但不排除一个或更多其他特征、元件、部件和/或其组的存在或添加。如本文所使用的,术语“和/或”包括相关联的所列项目中的一个或多个的任何和全部组合。
除非另行指出,否则当元件或部件被认为“连接到”、“耦合到”或“邻近于”另一元件或部件时,将理解该元件或部件可以直接连接或耦合到其他元件或部件,或者可以存在中间元件或部件。也就是说,这些和相似术语涵盖可以采用一个或多个中间元件或部件来连接两个元件或部件的情况。然而,当元件或部件被认为“直接连接”到另一元件或部件时,这仅涵盖两个元件或部件彼此连接而没有任何中间或中介元件或部件的情况。
因此,本公开通过其各个方面、实施例和/或特定特征或子部件中的一项或多项旨在呈出如下具体指出的优点中的一个或多个。出于解释而非限制的目的,阐述了公开具体细节的示例实施例,以便提供对根据本教导的实施例的透彻理解。然而,与本公开一致的脱离本文公开的具体细节的其他实施例仍在权利要求的范围内。此外,可以省略对公知的装置和方法的描述,以免模糊对示例实施例的描述。这样的方法和装置在本公开的范围内。
Claims (20)
1.一种存储指令的非瞬态计算机可读介质(26s),所述指令能由至少一个电子处理器(14s)运行以执行操作者辅助方法(100),所述操作者辅助方法包括:
在医学成像检查的执行期间获得与参考成像检查有关的数据;
根据所获得的数据来生成训练材料(32),所述训练材料与所述参考医学成像检查的所述执行有关;以及
在显示设备(36)上提供训练用户接口(UI)(44),所述训练UI显示所述训练材料的选定的部分的可视化(36),所述选定的部分是基于关于当前或即将进行的医学成像检查的信息来选择的。
2.根据权利要求1所述的非瞬态计算机可读介质(26s),其中,所述方法(100)还包括:
从所获得的数据中移除个人可识别信息(PII)。
3.根据权利要求1和2中的任一项所述的非瞬态计算机可读介质(26s),其中,所述方法(100)还包括:
利用根据所获得的数据生成的一个或多个标签(34)对所述训练材料进行标记。
4.根据权利要求3所述的非瞬态计算机可读介质(26s),其中,对于相应的参考医学成像检查,所述标签(34)包括以下中的一项或多项:执行所述参考医学成像检查的医学成像设备操作者的标识、用于执行所述参考医学成像检查的所述医学成像设备(2)的模态、用于执行所述参考医学成像检查的所述医学成像设备的标识、为所述参考医学成像检查分配的当前流程术语代码、所述参考医学成像检查期间是否使用来自远程医学专家的辅助的标识,以及由所述参考医学成像检查所检查的患者的患者数据。
5.根据权利要求1-4中的任一项所述的非瞬态计算机可读介质(26s),还包括:
提供远程辅助UI(40),执行成像检查的操作者经由所述远程辅助UI来接收来自远程专家的辅助,所述远程辅助UI被配置为执行成像设备控制器屏幕抓取以采集屏幕抓取数据,其中,与所述参考成像检查有关的所获得的数据包括由所述远程辅助UI在所述参考成像检查期间采集的屏幕抓取数据。
6.根据权利要求3-5中的任一项所述的非瞬态计算机可读介质(26s),其中,所获得的数据包括所述医学成像检查的视频流,并且其中,所述方法(100)还包括:
将所述视频流分割为多个视频流片段;以及
利用一个或多个标签(34)来标记每个视频流片段。
7.根据权利要求6所述的非瞬态计算机可读介质(26s),其中,将所述视频流分割为多个视频流片段包括:
基于所述成像协议中的参数变化、声音变化或新步骤中的至少一项来分割所述视频流。
8.根据权利要求3-7中的任一项所述的非瞬态计算机可读介质(26s),其中,所述方法(100)还包括:
提供训练材料注释UI(42),执行所述参考医学成像检查中的一个的操作者经由所述训练材料注释UI利用所述一个或多个标签(34)来标记在所述参考医学成像检查期间获得的所述训练材料(32)。
9.根据权利要求8所述的非瞬态计算机可读介质(26s),其中,提供所述训练材料注释UI(42)包括:
通过将所述当前或即将进行的医学成像检查的参数与所述训练材料的所述标签(34)进行匹配来选择所述训练材料(32)的所述选定的部分;以及
向执行或被排程为执行所述当前或即将进行的医学成像检查的操作者传输消息,所述消息指示基于所述匹配而要回顾的所述训练材料的选定的部分。
10.根据权利要求8和9中的任一项所述的非瞬态计算机可读介质(26s),其中,提供所述训练材料注释UI(42)包括:
从阅读成像检查的放射科医师接收用户输入作为训练材料(32),所述用户输入指示对所述成像检查的选择;以及
响应于所述用户输入来提供所述训练材料注释UI。
11.根据权利要求1-9中的任一项所述的非瞬态计算机可读介质(26s),其中,所述当前或即将进行的医学成像检查是当前医学成像检查;并且
其中,所述训练材料(32)在所述当前医学成像检查期间或之前被提供给执行所述当前医学成像检查的操作者。
12.根据权利要求1-10中的任一项所述的非瞬态计算机可读介质(26s),其中,所述操作者辅助方法(100)还包括:
基于所生成的训练材料(32)来确定针对所述当前或即将进行的医学成像检查的至少一个建议的扫描参数;以及
向执行或被排程为执行所述当前或即将进行的医学成像检查的操作者显示所述至少一个建议的扫描参数。
13.一种存储指令的非瞬态计算机可读介质(26s),所述指令能由至少一个电子处理器(14s)运行以执行操作者辅助方法(100),所述方法包括:
提供远程辅助UI(40),执行成像检查的操作者经由所述远程辅助UI来接收来自远程专家的辅助,所述远程辅助UI被配置为执行成像设备控制器屏幕抓取以采集屏幕抓取数据;
在所述医学成像检查的执行期间经由所述远程辅助UI获得与参考成像检查有关的数据,所述数据包括在所述参考成像检查期间由所述远程辅助UI采集的屏幕抓取数据;以及
根据所获得的数据来生成所述训练材料(32),所述训练材料与所述参考医学成像检查的所述执行有关;
从训练数据库(14s)中检索训练材料(32),所述训练材料包括与所述医学成像检查的参数相对应的一个或多个标签(34);
分析所述训练材料以识别针对当前或即将进行的医学成像检查的一个或多个建议的扫描参数;以及
在显示设备(36)上提供训练用户接口(UI)(44),所述训练UI显示所述训练材料的选定的部分的可视化(36),所述选定的部分是基于关于当前或即将进行的医学成像检查的信息来选择的。
14.根据权利要求13所述的非瞬态计算机可读介质(26s),其中,所述分析包括:
使用针对每个医学成像检查的相似度-经验度量将所述训练材料(32)的所述标签(34)与所述扫描参数进行比较。
15.根据权利要求14所述的非瞬态计算机可读介质(26s),其中,所述相似度-经验度量是通过以下操作确定的:
确定测量所述当前检查与所述训练材料的相似度的相似度度量;
确定对所述训练材料执行所述检查的所述操作者的经验水平;以及
将所述相似度度量乘以所述经验水平。
16.根据权利要求15所述的非瞬态计算机可读介质(26s),其中,
所述操作者辅助UI(44)将所述一个或多个建议的扫描参数显示为沿着由所述相似度-经验度量进行颜色编码的绘图的水平线的不同成像参数值的所述绘图。
17.根据权利要求16所述的非瞬态计算机可读介质(26s),其中,所述方法(100)还包括:
响应于由本地操作者(LO)经由至少一个用户输入设备提供的输入,选择所述绘图的部分以显示关于所述医学成像检查的额外信息。
18.根据权利要求17所述的非瞬态计算机可读介质(26s),其中,所述方法(100)还包括:
响应由所述本地操作者(LO)经由至少一个用户输入设备提供的输入,选择所述绘图的部分以显示与所述医学成像检查有关的训练材料(32)。
19.根据权利要求13-18中的任一项所述的非瞬态计算机可读介质(26s),其中,所述扫描参数包括视场(FOV)成像参数;并且,所述方法(100)还包括:
使用所述医学成像设备(2)来采集患者的一次或多次扫描;
将所述扫描输入到人工神经网络(ANN)(48)以检测存储在所述训练数据库(14s)中的最相似的扫描;
将所述最相似的扫描与所采集的扫描进行空间配准;以及
将所述最相似的扫描的FOV角点变换为所述当前扫描的参考帧,以提供推荐的FOV值。
20.一种存储指令的非瞬态计算机可读介质(26s),所述指令能由至少一个电子处理器(14s)运行以执行操作者辅助方法(100),所述方法包括:
从训练数据库(14s)中检索训练材料(32),所述训练材料包括与所述医学成像检查的参数相对应的一个或多个标签(34);
分析所述训练材料以识别针对当前或即将进行的医学成像检查的一个或多个建议的扫描参数;以及
在显示设备(36)上提供操作者辅助用户接口(UI)(44),所述操作者辅助用户接口能由执行或被排程为执行所述当前或即将进行的医学成像检查的操作者操作,所述操作者辅助UI显示所述一个或多个建议的扫描参数。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163247380P | 2021-09-23 | 2021-09-23 | |
US63/247,380 | 2021-09-23 | ||
PCT/EP2022/075280 WO2023046513A1 (en) | 2021-09-23 | 2022-09-12 | Method and system for data acquisition parameter recommendation and technologist training |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117981004A true CN117981004A (zh) | 2024-05-03 |
Family
ID=83898116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280064306.6A Pending CN117981004A (zh) | 2021-09-23 | 2022-09-12 | 用于数据采集参数推荐和技术人员训练的方法与系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN117981004A (zh) |
WO (1) | WO2023046513A1 (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11664114B2 (en) * | 2017-05-25 | 2023-05-30 | Enlitic, Inc. | Medical scan assisted review system |
US10950343B2 (en) * | 2017-06-29 | 2021-03-16 | Siemens Healthcare Gmbh | Highlighting best-matching choices of acquisition and reconstruction parameters |
US20210158946A1 (en) * | 2019-11-21 | 2021-05-27 | Koninklijke Philips N.V. | Automated system for error checking injection parameters during imaging exams |
-
2022
- 2022-09-12 CN CN202280064306.6A patent/CN117981004A/zh active Pending
- 2022-09-12 WO PCT/EP2022/075280 patent/WO2023046513A1/en active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2023046513A1 (en) | 2023-03-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6053749B2 (ja) | 画像捕捉及び/又は画像関連パラメータの推薦装置 | |
JP2023524870A (ja) | マルチベンダ設定における撮像システムからの情報の抽出及び処理のためのシステム及び方法 | |
US11759110B2 (en) | Camera view and screen scraping for information extraction from imaging scanner consoles | |
US20230029070A1 (en) | Systems and methods for immediate image quality feedback | |
US20230187087A1 (en) | Radiology operations command center (rocc) local technologist - supertechnologist matching | |
US20210158946A1 (en) | Automated system for error checking injection parameters during imaging exams | |
JP2004267273A (ja) | 医用システム | |
US20230420118A1 (en) | Technologist assessments for professional growth and operational improvement | |
WO2022122873A1 (en) | Actionable visualization by overlaying historical data on a real-time image acquisition workflow overview | |
JP7232249B2 (ja) | リアルタイムワークフロー分析に基づく自動化されたスタッフ支援及び品質保証 | |
US20220319721A1 (en) | Effective imaging examination handoffs between users within a radiology operations command center (rocc) structure | |
EP4272221B1 (en) | Method and system for facilitating reading of medical images | |
US20220199229A1 (en) | Method and system for enhancing medical ultrasound imaging devices with computer vision, computer aided diagnostics, report generation and network communication in real-time and near real-time | |
US20220044792A1 (en) | System and method to provide tailored educational support based on device usage in a healthcare setting | |
CA3083090A1 (en) | Medical examination support apparatus, and operation method and operation program thereof | |
CN117981004A (zh) | 用于数据采集参数推荐和技术人员训练的方法与系统 | |
EP4195217A1 (en) | Support tools for radiologist image review for immediate feedback | |
EP4191267A1 (en) | Method and system for semi-automated quality (qa) assurance approach for medical systems | |
US20230298745A1 (en) | Instant scout scan checker | |
WO2024115156A1 (en) | Systems and methods for adaptive image acquisition | |
EP4195669A1 (en) | Image quality management system | |
WO2024061908A1 (en) | Systems and methods for automatic state estimation of a current imaging exam using user actions on a console screen | |
WO2023110507A1 (en) | Artificial intelligence (ai)-based automatic detection of quality and workflow issues in diagnostic image acquisition | |
WO2023099192A1 (en) | Method and system for semi-automated quality (qa) assurance approach for medical systems | |
WO2023110506A1 (en) | Image quality management system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |