CN117616511A - 用户性能评价和训练 - Google Patents

Abstract

描述了一种图形超声用户评价工具。所述评价工具采用预测模型和由超声扫描器记录的日志文件来确定一个或多个超声用户性能评分。可以处理所述日志文件以从记录在所述日志文件中的信息(例如，诸如按钮点击的定时事件)中提取实际(或记录的)性能度量，将预测(或预期)度量与所述实际(或记录的)性能度量进行比较以确定一个或多个性能评分。预测度量可以从预测模型获得，所述预测模型可以通过分析(例如，回归或其他)模型或通过经训练的神经网络来实施。所述超声用户性能评分然后以用户友好的方式图形地呈现，例如，在图形仪表板上，所述图形仪表板可以响应于用户输入而提供概要屏幕和另外的详细报告或屏幕，和/或基于与用户指定的超声用户经验水平的比较来更新所述评分。

Description

用户性能评价和训练

技术领域

本公开总体上涉及医学成像，诸如超声成像，并且更具体地涉及用于评价超声用户的性能的定量图形评价工具。

背景技术

超声成像针对医学诊断、处置监测、用于微创流程的辅助以及在其他临床背景/需求中已经变得无处不在。超声成像高度依赖于操作者技能，并且用于评价超声用户的性能(例如工作流程效率)的客观或统一的手段通常不可用。现有的超声系统虽然能够通知用户检查的总体持续时间(从开始到结束)，但是没有配备为提供超声用户的性能的任何“检查质量”度量。在大多数医院环境中，不存在用于超声用户的性能审查和效率评估的广泛接受且智能的工具/方法。具有准确的性能评估工具对于实验室管理员来说很重要，因为其允许他们具有对工作人员性能的准确监测，并且更有效地规划和平衡工作人员分配。

发明内容

根据本公开的一些实施例的超声用户性能评价系统包括显示器、以及与所述显示器通信的处理器以及包括计算机可读指令的至少一个存储器，所述计算机可读指令在被执行时使所述处理器：生成与超声用户相关联的一个或多个超声用户性能评分，所述一个或多个超声用户性能评分至少部分地基于记录在超声机日志文件中的信息，所述超声机日志文件产生于由所述超声用户利用超声扫描器执行的超声检查；并且提供超声用户性能仪表板，其被配置为图形地表示所述一个或多个超声用户性能评分。在一些实施例中，所述处理器、所述显示器和所述存储器是医学机构的工作站的部分，所述工作站经由网络通信地耦合到所述医学机构的多个超声扫描器，以从所述多个超声扫描器中的任一个中接收相应的超声机日志文件。在一些实施例中，所述处理器、所述显示器和所述存储器被集成到超声扫描器中。在一些实施例中，每个超声用户性能评分包括数字评分，并且所述超声用户性能仪表板被配置为显示数字评分，或者连同所述数字评分一起或代替于所述数字评分显示表示所述数字评分的图形。在一些实施例中，所述超声用户性能仪表板包括图形用户接口(GUI)屏幕，其至少被划分为用于显示与检查效率相关联的超声用户性能评分的第一显示区域和用于显示与解剖信息效率相关联的超声用户性能评分的第二显示区域。在一些实施例中，所述GUI屏幕包括显示定制的超声用户反馈的第三显示区域，所述反馈是基于所述一个或多个超声用户性能评分而定制的。

在一些实施例中，所述处理器将所述超声机日志文件作为输入提供给经训练的神经网络，并且获得所述一个或多个超声用户性能评分作为来自经训练的神经网络的输出。在其他实施例中，所述处理器被配置为预处理所述超声机日志文件，以根据所述超声机日志文件来确定与所述超声用户相关联的实际超声用户性能度量。在这样的实施例中，所述处理器还从预测模型获得预测超声用户性能度量，所述预测模型在一些实施例中可以通过经训练的神经网络来实施；将所述实际性能超声用户度量与预测超声用户性能度量进行比较，以生成所述一个或多个超声用户性能评分。在一些实施例中，所述神经网络可以被训练为基于一个或多个一个或多个临床背景参数来生成所述预测性能度量，所述临床背景参数可以选自：患者年龄、患者身体质量指数(BM)、患者类型、所述超声检查的性质或目的以及所述超声扫描器的型号。在一些实施例中，所述神经网络可以额外地或备选地接收所述日志文件，并且基于所述日志文件中的信息来确定临床背景参数。在一些实施例中，所述预测模型(例如，神经网络)可以被配置为针对多个不同超声用户经验水平中的每个生成相应的一组预测超声用户性能度量，所述经验水平可以由用户指定(例如，经由所述超声用户性能仪表板)。在一些实施例中，所述性能度量可以包括：总空闲时间、总死时间、总检查时间、总患者准备时间、按钮点击总数、给定按钮类型的按钮点击总数以及采集设置改变的总数的任何组合。在一些实施例中，所述超声用户性能仪表板提供用于控制经由所述仪表板呈现的信息的一个或多个用户控件，所述信息例如为评分或详细度量的数目和类型、确定/呈现评分的超声用户和/或评价时段等。在一些实施例中，所述仪表板被配置为在用户请求时同时(例如并排)显示所述实际度量和所述预测度量。在一些实施例中，所述仪表板被配置为响应于不同经验水平的超声用户的用户选择而更新所述预测度量和/或所述超声用户的(一个或多个)性能评分。

根据本文中的一些实施例的提供超声用户的性能评价的方法可以包括由与显示器通信的处理器接收超声机日志文件。日志文件和/或临床背景参数被提供给预测模型，并且使用来自所述预测模型的输出，所述处理器确定一个或多个超声用户性能评分。所述超声用户性能评分因此至少部分地基于记录在所述日志文件中的信息。在一些实施例中，所述方法涉及：将所述临床背景参数提供给经训练的神经网络以获得预测性能度量，由所述处理器根据记录在所述超声机日志文件中的信息来确定所述超声用户的实际性能度量，并且将所述实际性能度量与所述预测性能度量中的对应的性能度量进行比较以生成所述一个或多个超声用户性能评分。所述方法还包括所述一个或多个超声用户性能评分在显示器上的图形表示，诸如在一个或多个用户接口(GUI)屏幕中的图形表示，如先前所描述的。GUI屏幕是超声用户仪表板的部分，在一些实施例中，所述超声用户仪表板被配置有用于控制所述仪表板上呈现的信息和/或调用所述仪表板的额外功能(例如，事件细节和/或训练屏幕)的一个或多个用户控件或小部件。

根据以下详细描述，本公开的额外方面、特征和优点将变得明显。

附图说明

将参考附图描述本公开的说明性实施例，其中：

图1A和1B分别示出了如记录在日志文件中的相对较少经验的用户和相对较多经验的用户的示例超声检查时间线。

图2示出了根据本公开的超声用户性能评价系统的操作环境。

图3是可以实现根据本公开的超声用户性能评价系统的超声成像系统的框图。

图4是根据本公开的超声用户性能评价系统的部件的框图。

图5是超声检查时间线和检查阶段的示例。

图6是根据本公开的实施例的超声用户性能仪表板的图形用户接口。

图7和图8示出了根据本公开的与超声用户性能仪表板相关联的额外图形用户接口屏幕。

图9是示出神经网络的训练和部署阶段的框图，该神经网络可以实施本文中的超声用户性能评价系统的预测模型。

图10示出了根据本公开的另外的实施例的超声用户性能评价系统的部件的框图。

图11是根据本公开的原理的示例处理器的框图。

图12是根据本公开的原理的示例过程的流程图。

具体实施方式

为了促进对本公开的原理的理解的目的，现在将参考附图中所图示的实施例，并且将使用特定语言来描述这些实施例。然而，应理解，不旨在限制本公开的范围。对所描述的设备、系统和方法的任何改变和进一步修改、以及本公开的原理的任何进一步应用被充分预期并包括在本公开内，如本公开所涉及的领域的技术人员通常将想到的。特别地，应充分预期，关于一个实施例所描述的特征、部件和/或步骤可以与关于本公开的其他实施例所描述的特征、部件和/或步骤组合。出于简洁和清楚的缘故，本文中可以不单独描述许多这样的组合。

根据用于诊断超声的最佳实践的一致成像对于维持质量和高效的工作流程很重要。所公开的系统和方法旨在解决缺乏用于评价超声用户的性能的智能、广泛接受和客观的工具，这可以进一步提供用于训练的机会和工具，其最终将改进性能并实现给定组织中的成像的更大一致性。超声用户性能可能取决于上游临床背景，诸如患者类型、检查原因等，并且通常在评价超声用户的性能的传统方式中不容易考虑这样的背景。因此，需要在高度依赖操作者的超声成像世界中建立标准化的质量评估工具，该工具理想地应该是用户友好的，并提供促进性能的改进的信息和细节的类型。在诊断超声部门内实施性能审查和/或教育工具可以使超声用户以及实验室负责人受益，以改进机构的运营效率。无偏评价对性能反馈和工作流程优化至关重要，其全部对实验室的财务表现和临床质量有显著贡献。临床数据分析已经表明，超声成像中的工作流程相关的因子，诸如检查持续时间，根据多种临床因子(例如患者住院时间长度、BMI、年龄、诊断、检查原因和超声模型)而变化，其与超声用户性能无关。因此，临床背景可能是超声用户的性能评估中要考虑的相关因子。

超声成像设备的服务日志文件(此处被称为超声机日志文件或简称为日志文件)提供了一组增强的属性，其通常在通常用于存储患者图像数据或其他诊断信息的放射信息系统(RIS)或影像归档和通信系统(PACS)中不可用。服务日志文件提供了与超声检查期间的用户的工作流程和成像过程有关的完整叙述。因此，服务日志文件可以提供对用户是否在努力寻找正确的成像参数的洞察，诸如可以通过探头/组织特异性预设(TSP)、检查长度、在检查期间选择额外模式、增益改变等的变化来证明。所提取的日志信息与上游临床背景一起可以帮助对超声用户的性能的无偏评估，并且可以帮助识别超声用户在图像采集期间面临的挑战，因此超声用户可以改进其在图像采集过程中的工作流程效率。在图1A和1B中分别示出了针对较少经验和较多经验的用户的典型超声检查时间线的图示。如本文所使用的，术语超声用户可以是指超声医师，这不会受超声用户的证书或头衔的限制，除非另行指示。此外，图中对超声医师做出的引用也可以是指任何超声用户，而不管证书状态或地理学如何，除非另行指示。

参考图1A中的时间线，可以意识到用于新手超声用户的示例性检查中的工作流程事件的全部复杂性。任何超声成像检查(或检查工作流程)的时间线由记录在超声机日志文件中的各种日志文件属性捕获。例如，日志文件可以记录各种事件，每个事件由事件ID唯一地识别，并且每个事件与事件时间(例如，包括记录事件时的时间和任选地日期的时间戳)唯一地相关联。因此，所有按钮点击或按压(其共同用于是指任何用户-机器交互，诸如以调节超声机的设置并操作超声机)被记录并与相应的事件时间唯一地相关联。因此，可以对记录的信息进行挖掘，以提取与特定检查有关的相关且丰富的信息，基于此可以评价并优选地量化超声用户性能。可以根据记录在日志文件中的信息来识别检查的不同阶段，并确定其持续时间，以用于评价超声用户的性能。除了每个阶段的持续时间之外，可以从日志文件中提取的另外的相关信息还可以包括探头、TSP或其他设置的改变的次数和频率(如可以通过记录按钮按压/选择来捕获)，以及图像采集的数目、冻结和成像期间选择的模式等。因此，从与不同患者和临床背景相关联的日志文件中提取的信息可以帮助识别工作流程问题和根据协议对操作的序列的定制，这对于评价检查效率估计是有用的，诸如通过将新手超声用户的工作流程与有经验的超声用户的预期工作流程进行比较。本文公开了一种评价和训练工具，其优选地包括图形部件，其使用超声用户的服务日志文件和上游临床背景来生成超声用户的性能的一个或多个性能评分。此外，当被实施为训练工具时，超声用户可以在所选择的时间帧内在可视化审查工具中接收关于他们的扫描例程的可能模式的信息。该信息通过将其与具有不同经验水平的超声用户的预期工作流程进行比较来帮助初级超声用户优化其工作流程。

图2示出了根据本公开的操作环境和系统200。在系统200中，示出了计算工作站(也称为评价工作站)210，其实施了根据本公开的超声用户性能评价工具。工作站210被示出在图2中的操作环境中，其经由网络202通信地连接到一个或多个超声机或扫描器220和/或外部存储设备232。一个或多个超声扫描器220各自被配置为执行超声成像并且在超声扫描器220上的本地存储器中记录与由用户204使用超声扫描器220执行的每个超声检查相关联的相应的日志文件222。系统200的操作环境可以表示医学机构(例如，医院、临床实验室、门诊治疗设施、医学训练设施、研究实验室或其他研究实体，或者采用超声成像设备的任何其他医学机构或组织)。这样一来，超声扫描器220可以是医学机构所拥有的或以其他方式附属于该医学机构。医学机构可以在一个或多个评价工作站210上管理超声用户性能评价工具，评价工作站210还拥有该医学机构或以其他方式附属于该医学机构。(一个或多个)工作站210可以特别地被配置为根据与该医学机构相关联的性能准则和评价标准来执行超声用户评价和/或向超声用户提供训练。

(一个或多个)超声扫描器220、(一个或多个)外部存储设备232和评价工作站210可以经由任何适合的无线或有线网络或其任何组合(例如，LAN和/或WiFi网络或其他)通信地进行连接。在一些实施例中，(一个或多个)外部存储设备232可以包含患者医学记录(例如，EHR/EMR)和/或是机构的影像归档和通信系统(PACS)的部分。一个或多个外部存储设备232可以共同定位在例如位于医学机构处或附属于医学机构的服务器室中，并且可以经由网关工作站230连接到网络202。在一些实施例中，(一个或多个)外部存储设备232中的一个或多个可以驻留在云中。网络202可以将联网设备中的每个(例如，超声扫描器220中的个、每个评价工作站210)操作地连接到存储设备232，使得每个联网设备可以向存储设备232发送和检索数据。例如，超声扫描器220可以将服务日志文件222发送到外部存储设备232，并且(一个或多个)超声扫描器服务日志文件可以随后由外部存储设备232而不是直接从生成它的扫描器提供到评价工作站210。类似地，诸如医学图像的其他数据可以存储在(一个或多个)外部存储设备232中，并由评价工作站210检索或访问，以用于实施超声用户性能评价工具。评价工作站210包括处理器212、显示器214和存储器216，其可以通过任何适合数目的非易失性存储器设备和/或非易失性存储器设备的组合来实施。在参考给定硬件部件(例如，处理器、显示器、存储器)之一时，本文将理解，在不脱离本公开的背景和范围的情况下，参考该硬件部件所描述的功能可以分布在多个这样的部件(例如，多个处理器、多个存储器设备等)之间。存储器216存储计算机可读指令，其在由处理器212执行时使处理器212执行与本文所描述的图形超声用户性能评价工具相关联的一个或多个过程。

当执行超声用户性能评价工具时，处理器212至少部分地基于记录在超声机日志文件中的信息来生成针对特定超声用户的一个或多个超声用户性能评分，该超声机日志文件是响应于由该超声用户执行的超声检查而生成的。另外，处理器212显示超声用户性能仪表板，诸如响应于用户请求，其中，图形地表示一个或多个超声用户性能评分。在一些实施例中，超声用户性能评分中的每个包括数字评分，并且超声用户性能仪表板可以被配置为除了数字评分之外图形地表示数字评分，例如，如图6所示，或者它可以显示图形表示以代替(或而不)显示数字评分。在一些实施例中，处理器212实施预测模型或与预测模型通信以生成一个或多个超声用户性能评分。处理器212可以将与被评价的特定超声用户相关联的日志文件提供给预测模型，并且预测模型可以基于记录在日志文件中的信息来输出(一个或多个)性能评分。这可以通过使用来自给定机构中的专家超声用户的大量(例如，数百或数千)记录的日志文件训练的神经网络来实现，以在呈现有任何新(先前未看到的)日志文件时输出任何期望数目或类别的(一个或多个)性能评分。

在一些实施例中，可以从记录在日志文件中的信息(例如，构成事件或点击以及相关联的时间的集合的记录的工作流程)确定或提取(例如，由处理器212)特定超声用户的实际性能度量。也可以被称为记录的度量的实际性能度量可以(例如，由处理器212)与预测性能度量进行比较，该预测性能度量是由预测模型生成的度量，并且对应于给定经验水平的超声用户的预期性能。在一些实施例中，系统使得用户能够选择超声用户水平，将实际(或记录的)度量与该超声用户水平进行比较以确定(一个或多个)性能评分。如本文所使用的，“性能度量”是指记录在日志文件中的关于用户-机器交互事件的任何定量信息(例如，数字值)，诸如不同类型的按钮按压或点击的总数、设置调节、探头选择或改变，以及与每次按钮按压相关联或某些类型的连续按钮按压之间经过的时间或持续时间。如下文将进一步讨论的，性能度量的一些示例可以包括但不限于总空闲时间、总死时间、总检查时间、总患者准备时间、检查期间的按钮点击总数、给定按钮类型的按钮点击总数(例如，采集或冻结事件的总数)以及采集设置改变的总数。

预测性能度量可以从预测模型中获得，该预测模型可以通过任何适合的分析模型(例如，回归分析模型)或通过任何适合的神经网络来实施，该神经网络被训练为预测针对在给定(例如指定)经验水平处的超声用户的一组期望性能度量。神经网络可以被训练为根据不同的输入来预测性能度量。在一些实施例中，神经网络可以接收当前/新日志文件和/或与日志文件中捕获的检查工作流程相关联的上游临床背景参数。在一些实施例中，神经网络可以被训练为单独基于输入日志文件来预测输出。然而在其他示例中，神经网络可以被训练为接收一组临床背景参数，并输出从指定经验水平的超声用户预期的一组性能度量。如本文所使用的，“临床背景参数”或“上游临床背景”可以互换地使用，并且可以包括或基于以下中的任一项：用于检查的超声扫描器的类型(也称为超声扫描器的型号，其示例是由PHILIPS制造的Epiq 5或Affiniti 70超声扫描器)、正在执行的检查的类型(例如，肺、心脏、腹部等)、以及各种患者特异性信息，其非限制性示例可以包括患者体重、身高、身体质量指数(BMI)、年龄、(一个或多个)潜在健康状况、临床病史、检查原因、患者的类型(即住院/入院或门诊)及其组合。可以从(一个或多个)日志文件和/或从外部系统(例如，PACS、EHR/EMR、RIS等)检索构成上游临床背景的信息中的一些或全部，诸如基于日志文件中包括的信息(例如，患者姓名或ID)。

在此处参考神经网络时，将理解，在一些实施例中，可以使用神经网络的组合来预测性能评分。例如，神经网络可以实施为操作地布置的一组神经网络。例如，一个或多个神经网络可以被训练为根据临床背景参数的多变量输入来预测至少一个性能评分(例如，一个或多个数字评分)。与前者组合，可以训练另一神经网络来(例如，根据一幅或多幅输入图像)预测另一性能评分，其可以是定性评分，诸如将输入分类为“差”、“好”或“优秀”或任何其他适合的类别集合。后者可以被用于对超声用户关于图像质量的性能进行评分。然而在其他示例中，预测模型的一个或多个预测函数(例如，与对超声用户的性能进行数字评分有关)可以由一个或多个分析模型执行，而一个或多个其他函数(例如，图像质量评价)可以由被训练为对作为输入的图像进行操作的神经网络(例如，卷积神经网络)执行。各种组合和布置可以被用于本发明的预测模型。

如将进一步描述的，超声用户性能评价工具可以实现在超声机本身上，诸如例如在完成检查之后，使得超声用户或主管能够在扫描器本身上启动评价应用和相关联的仪表板。超声用户性能评价工具可以在独立工作站上实施，该独立工作站与生成日志文件的扫描器分离(例如，远程定位，诸如在医学机构的不同房间或侧翼，或在不同的建筑物中)，并且在这样的实例中，超声用户的性能的评价可以在特定检查完成之后的某个稍后时间(例如，另一天、一周或一个月)发生。设想了各种用例场景，这些场景可以有利地采用本文中呈现的示例。

图3示出了超声成像系统(或扫描器)300的框图，其可以实施图2的超声扫描器220中任一项。在一些实施例中，根据本发明的图形超声用户性能评价工具可以额外地或备选地直接在超声扫描器300上实施。在这样的实施例中，工作站210的处理器、显示器和存储器是超声扫描器的部分，并且被配置为根据请求处理由该扫描器生成的(一个或多个)服务日志文件，以用于直接在扫描器的显示器上向超声用户或另一用户提供图形性能评价接口。

超声成像系统(或扫描器)300包括电子部件，其被配置为引起超声信号的发送和接收并且执行用于从中生成超声图像的信号和图像处理。系统300的电子部件中的至少一些被提供在超声扫描器的主处理部分320中，也被称为超声扫描器的底座或主机320。在成像期间，底座320经由通信链路311通信地连接到超声换能器310，通信链路311可以通过有线连接(例如，串行、USB或其他线缆)或无线链路来实施。系统300包括处理器340，其执行根据本公开的与生成超声图像相关联的功能(例如，采集的数据的信号和图像处理)。如先前所提到的，并且在本文中参考处理器时，将理解，处理器340的功能可以由操作地配置为执行与处理器340相关联的功能的单个或多个个体部件(例如，多个个体处理单元)来实施。例如，处理器340可以由被配置为执行本文所描述的任务的一个或多个通用处理器和/或微处理器、专用电路(ASIC)、图形处理单元(GPU)、可编程门阵列(FPGA)或其任何适合的组合来实施。系统300的处理器中的任何(例如，处理器340)可以实施评价工作站210的处理器212。

系统300还包括用户接口350，其使得用户能够控制超声系统300。用户接口350包括控制面板354，其可以包括机械或硬控件(例如，按钮、开关、拨盘、滑块、编码器、轨迹球等)和/或软控件(诸如触摸板和各种图形用户接口(GUI)元素)的任何适合组合，该元素可以包括菜单、可选择图标、文本输入字段，以及在触敏显示器(或触摸屏)上提供的各种其他控件或小部件的任何组合。用户接口350可以包括其他公知的输入和输出设备。例如，用户接口350可以任选地包括(一个或多个)音频反馈设备(例如，警报器或蜂鸣器)、可以接收和识别各种听觉输入的语音命令接收器以及触觉输入和/或输出设备(例如，布置在手持探头上用于向用户进行触觉反馈的振动器)。用户接口350可以包括任何适当数目的显示器352，诸如一个或多个无源显示器(例如，以用于显示超声图像)和/或一个或多个触摸屏，其可以形成控制面板354的部分。显示器352可以实施评价工作站210的显示器214。

系统300还包括本地存储器330，其可以由以任何适合的组合布置的一个或多个存储器设备来实施。存储器330被配置为存储由系统300使用或生成的信息333。例如，存储器330可以存储将处理器340配置为执行与其相关联的功能中的一个或多个的可执行指令。存储器330还可以存储设置(例如，声学成像设置、组织特定预设(TSP))、扫描器的品牌和型号、关于扫描器和连接到扫描器的任何换能器的物理参数和/或其他信息、采集的成像数据和在超声检查期间获得和/或生成的任何成像相关信息(诸如测量结果和报告)，以及日志文件331，每个日志文件记录利用超声扫描器执行的检查的工作流程。由使用中的超声扫描器使用或生成的各种其他类型的信息可以存储在存储器330中，其中一些可以仅临时本地存储，诸如在传输到外部存储设备期间和/或仅直到传输到外部存储设备。存储器330还可以存储与超声用户性能评价工具的操作相关联的额外信息，诸如在扫描器被配置为实施本文所描述的图形超声用户性能评价工具的实施例中。在一些实施例中，存储器330可以实施评价工作站210的存储器216。

超声换能器探头(或简单地超声探头或换能器)310包括换能器阵列314、任选地波束形成器(例如，微波束形成器316)、一个或多个模拟和数字部件(例如，以用于将模拟信号转换为数字信号，反之亦然)以及通信接口(未示出)，其用于经由通信链路311在换能器310与底座320之间传递信号。换能器阵列314被配置为将超声信号(例如，波束、波)发送到目标区(例如，进入患者身体)中，并且响应于来自目标区的发送超声信号而接收回波(例如，接收到的超声信号)。换能器310可以包括任何适合的换能器元件阵列，其可以被选择性地激活以发送和接收超声信号以用于生成解剖结构的图像。可以使用各种换能器阵列，例如，线性阵列、弯曲阵列或相控阵列。换能器阵列314例如可以包括能够在用于2D和/或3D成像的仰角和方位角维度两者中扫描的换能器元件的二维阵列(如所示)。在一些示例中，换能器阵列314可以耦合到微波束形成器316，其可以位于超声探头310中，并且其可以控制由阵列314中的换能器元件对信号的发送和接收。在一些示例中，微波束形成器316可以例如通过探头线缆或无线地耦合到发送/接收(T/R)开关318，其在发送与接收之间切换并且使主波束形成器322免受高能量发送信号影响。在一些示例中，例如在便携式超声系统中，T/R开关318和图1中所示的如位于底座320中的系统300的其他电子部件可以相反被包括在超声探头310中。来自换能器阵列314的超声信号的发送，例如，任选地在微波束形成器316的控制下，可以由发送控制器324引导，该发送控制器324可以耦合到T/R开关318和主波束形成器322。发送控制器324可以控制由换能器阵列314发送的超声信号的特性，例如，波形的幅度、相位和/或极性。在发送控制器324的控制下，来自换能器阵列314的信号(即声能)的发送根据也称为成像或采集设置的声学设置发生，该设置可以由用户手动控制(例如，经由用户接口350设置)和/或至少部分地由系统300的处理器自动控制。发送控制器324也可以控制波束被操纵的方向。波束可以从换能器阵列314径直向前(正交于其)操纵，或者以不同的角度操纵以用于更宽的视场。发送控制器324可以操作地耦合到用户接口350，系统200经由该用户接口接收用户输入。例如，用户可以选择发送控制器324是否使得换能器阵列314工作在谐波成像模式、基频成像模式、多普勒成像模式或成像模式的组合(例如，交错不同的成像模式)下。在一些示例中，由微波束形成器316产生的部分波束形成信号可以耦合到主波束形成器322，其中，来自换能器元件的个体片块的部分波束形成信号可以被组合为完全波束形成信号。在一些示例中，可以省略微波束形成器316，并且换能器阵列314可以在主波束形成器322的控制下，该主波束形成器然后可以执行信号的所有波束形成。波束形成信号被耦合到信号处理电路(例如，到(一个或多个)处理器240)，其被配置为当波束形成信号由患者采集时以及在扫描患者时根据波束形成信号产生患者的解剖结构的超声图像。

信号处理电路(例如，(一个或多个)处理器340)包括信号处理器，其可以被配置为以各种方式处理接收到的波束形成信号，例如，包括带通滤波、抽取、I和Q分量分离以及谐波信号分离的任何适合的组合，以生成图像数据。由信号处理器326执行的信号的处理可以至少部分地基于系统300被设置用于成像的成像模式(例如，B模式、M模式、脉冲波/频谱多普勒、功率/彩色多普勒、弹性成像、对比度增强超声(CEUS)成像、微流成像(MFI)等)而不同。例如，例如，诸如在B模式成像期间，信号处理器326可以对信号执行I/Q解调，并且然后执行幅度检测以提取可以被布置成B模式图像的幅度数据(例如，A线)。在多普勒成像的情况下，信号处理器326可以执行滤波、频谱分析和/或流量估计(例如，多普勒或频移估计)的额外或不同组合，以获得用于生成所选择的类型的图像的适合的数据。

在通过信号处理器326进行处理之后，图像数据被耦合到扫描转换器328和/或多平面重新格式化器336。扫描转换器328可以被配置为将数据从接收它们的空间关系布置成期望图像格式，使得图像数据以预期几何格式呈现在显示器上。例如，由线性阵列换能器收集的数据将被布置成矩形或梯形，而由扇形探头收集的图像数据将被表示为圆的扇形。这样一来，扫描转换器328被配置为将图像数据从接收它们的空间关系布置成适当的图像格式。图像数据可以由扫描转换器328布置成适当的二维(2D)格式(例如，2D扇区格式)或三维(3D)格式(例如，锥体形或其他形状的格式)。(一个或多个)处理器可以实施多平面重新格式化器336，其被配置为例如通过将从体积区中的公共平面中的点接收的数据布置到该平面或切片的图像中，例如如美国专利US 6443896(Detmer)中所描述的。在一些实施例中，扫描转换器328和多平面重新格式化器336可以被实施为一个或多个处理器。体积绘制器332可以生成如从给定参考点查看的3D数据集的图像(也称为投影、绘制或渲染)，例如，如美国专利US 6530885(Entrekin等人)中所描述的。体积绘制器332可以由一个或多个处理器来实施。体积绘制器332可以通过诸如表面绘制和最大强度绘制的任何已知或未来已知的技术来生成绘制，诸如正绘制或负绘制。例如，图像处理器334还可以通过散斑减少、信号复合、空间和时间去噪以及对比度和强度优化来增强图像数据。已经开发了用于生成用于各种成像模式的图像的许多其他信号和图像处理技术，并且这些技术是公知的，并且因此不在本发明的范围内。因此，为了简洁起见，在本文中不详细描述这些各种技术，并且将理解，在不脱离本公开的范围的情况下，可以使用当前已知的或以后开发的(一个或多个)任何适合的技术，其用于处理所采集的超声信号以产生针对一个或多个期望成像模式的图像。

如上所述，由系统300采集的图像可以本地存储，在一些情况下临时存储在存储器330中，其可以由任何适合的非瞬态计算机可读介质(例如，闪存驱动器、磁盘驱动器)来实施。存储在存储器330中的其他信息可以包括由系统300生成的服务日志文件331。存储在存储器330中的信息(例如，服务日志文件331、图像数据等)可以经由一个或多个处理器(例如，系统控制器338)耦合到用户接口350，例如，用于在显示器上呈现图像，和/或耦合到外部计算和/或存储系统，诸如经由外部通信链路313，该外部通信链路可以是任何适合的有线或无线通信链路。一个或多个处理器340(例如，系统控制器338)可以实施本文所描述的图形超声用户性能评价工具的功能，并且可以控制用户接口350并与存储器330和/或外部存储设备通信以实施图形超声用户性能评价工具的一个或多个过程。

在实现在超声扫描器上的超声用户性能评价系统的一些示例中，可以提供额外有利特征。在一些这样的实施例中，评价过程的某些方面，诸如处理日志文件以识别某些事件或性能度量，可以在检查发生时实时执行。评价系统可以被配置为在实况检查期间显示训练GUI(例如，作为弹出屏幕)，其可以向超声用户提供实时帮助。例如，例如当检测到日志文件中的异常特征时，训练屏幕可以弹出，包括与具有相同上游临床背景的检查的该特定阶段处的预期空闲或死时间相比较非常长的空闲时间或非常长的死时间。在一些实施例中，训练GUI可以显示适合于该情况的选择的消息，诸如指示用户如何解决问题。在一些实施例中，训练GUI可以是协作的，其中，它可以将扫描器与主管或专家用户通信地连接。这样的协作GUI可以以聊天窗口的形式实施，或者它可以激活机器的视听部件，以在检查期间使能协作者(例如，超声用户和专家/主管)之间的实况对话。在其他实施例中，训练GUI可以额外地或备选地用作呼叫按钮，以呼叫更有经验的用户以获得帮助。当直接在扫描器上实施超声用户评价工具时可以提供各种其他有利特征。

图4示出了根据本公开的一些实施例的超声用户评价系统400的部件，还将参考图5-8来描述该系统，图5-8图示了由系统400实施的超声用户性能工具和仪表板的图形用户接口屏幕。图4的超声用户评价系统400可以被用于实施图2的评价工作站210。在一些实施例中，额外地或者备选地，图4的超声用户评价系统400可以实现在图3的超声成像系统300中的个体超声成像系统中，其可以是较大医学机构的部分。在这样的示例中，处理器410的功能可以由成像系统300的处理器340中的一个或多个来实施，使得超声用户评价系统的图形显示(例如，图6-8中的仪表板的GUI屏幕)可以直接呈现在成像系统上，诸如在检查完成时。如图4所示，超声用户评价系统400包括通信地耦合到显示器420和一个或多个存储器设备430的处理器410。存储器430存储各种信息以用于由处理器430在执行超声用户评价工具(或应用)时使用。例如，存储器430可以存储用于生成和显示仪表板的各种图形元素的指令、用于处理(一个或多个)日志文件402的指令等。

处理器410被配置为接收超声机日志文件402。如参考图2所描述的，超声机日志文件(或简单地日志文件)402是在由超声用户执行的超声检查期间由超声成像系统(或扫描器)生成的。日志文件402记载或记录在它们在超声用户操作扫描器时的超声检查期间发生时的事件(例如，用户控制选择(或按钮点击)和应用于扫描器的相关联的设置、关于扫描器的识别信息、患者、超声用户和各种机器状态信息)。在当前背景下，术语按钮点击是指由用户(例如，超声用户)对用户控件的任何操纵，而不管控件是软控件还是硬控件，以及用户控件的特定配置(例如，滑块型按钮、开/关型按钮、旋钮、可选择图标或任何其他GUI小部件)。日志文件402捕获并记录由用户通过系统的用户接口对系统的所有操纵，包括但不限于设置改变、图像捕获和测量记录，以及每个事件的发生时间。这样一来，日志文件402提供由任何给定超声用户204执行的超声检查(参见例如图5中的示例)的完整时间线500的记录。这样一来，日志文件通常包含关于检查工作流程的信息，其在其他情况下在其他记录介质中是不可用的，例如，由扫描器采集并随后传输到PACS的图像文件。根据本发明的原理，处理器410被配置为基于记录在(一个或多个)超声机日志文件402中的信息来确定超声用户性能度量。返回参考图2中的示例性操作环境，日志文件402可以由处理器410直接从超声扫描器(例如，扫描器220)接收，或者其可以从与成像设备未共同定位的存储设备(例如，从(一个或多个)外部存储设备232)检索。

处理器410例如通过存储在存储器(例如，存储器430)中的可执行指令被配置为：处理接收到的日志文件402(在框412处)以提取超声用户的实际性能度量413，将超声用户的性能度量413与性能度量431进行比较(在框414处)以确定至少一个超声用户性能评分，并且在显示器420上图形地表示(一个或多个)超声用户性能评分(在框416处)。可以由处理器410从预测模型430获得对应于从日志文件402提取的实际度量413的性能度量，并且可以基于实际度量与预测度量的比较来生成一个或多个数字评分415。预测模型430可以为任何给定上游临床背景404生成预测(或预期)性能，其可以由处理器410接收和/或部分地从日志文件402(例如，由处理器410)提取，或者基于日志文件402中包含的信息。日志文件402包含基于用户对扫描器的操作在超声检查期间记录的信息(例如，扫描器按钮点击和相关联的设置，以及其他机器状态信息)。这样一来，日志文件402提供由任何给定超声用户204执行的超声检查的完整时间线的记录。

在框412处，处理器从接收到的日志文件402中提取实际性能度量的形式的超声用户的实际性能。可以根据记录在日志文件中的事件来确定各种性能度量。例如，可以根据记录在日志文件中的检查时间线来确定诸如总空闲时间、总死时间、总患者准备时间、总检查时间、总点击次数和/或特定类型按钮的总点击次数、特定按钮的选择频率、探头和/或TSP改变的次数等的度量。还参考图5，可以看出，检查工作流程或时间线500可以包括或被分割成不同的阶段，包括患者准备阶段(PPP)505、一个或多个死时间阶段(DTP₁、DTP₂、…DTP_M)506、一个或多个空闲时间阶段(ITP₁、ITP₂、…ITP_N)507和一个或多个成像阶段(IMP₁、IMP₂、…IMP_K)508。因此，可以通过确定患者准备阶段(PPP)505的总持续时间来确定总患者准备时间度量。总空闲时间和死时间度量可以通过分别对死时间阶段506和空闲时间阶段507的持续时间求和来确定。类似地，总成像时间度量可以通过对所有成像阶段508的持续时间求和来确定。给定检查时间线中存在的阶段的总数和/或类型可以取决于临床背景而改变，并且因此预期性能度量的预测优选地考虑超声用户被评价的检查的特定临床背景。每个阶段的持续时间可以基于相关的记录的事件的时间属性来确定。参考图5中的检查时间线的视觉表示，每条垂直线表示记录在日志文件中并与时间戳相关联的事件(或按钮点击)503，时间戳可以包括记录事件时的时间和/或日期。当处理日志文件时(例如，在框412处)，可以提取每个事件及其相关联的时间，并将其临时记录在适合的数据结构(例如，表)中。其他属性(例如，与某些事件相关联的值，诸如设置)也可以记录在表中。从日志文件402获得的某些其他信息，诸如超声用户识别信息、患者识别信息、扫描器类型信息，可以在框412处被提取，并且在系统400的另外的过程(例如，预期性能预测)中使用(例如，作为临床背景参数)。

使用从日志文件402中提取的信息，处理器410确定与进行记录在日志文件402中的检查的特定超声用户相关联的性能度量。总检查时间度量(在以下等式中被称为检查持续时间)，其可以由处理器410通过从检查结束事件的时间(例如，图5中的Btn_endExam的时间)减去与检查开始事件相关联的时间(例如，图5中的示例中的Btn_patient事件的时间)来计算。对应于图5中的示例中的PPP时间间隔的持续时间的患者准备时间度量可以通过从Patient-form Close事件的时间中减去检查开始事件(例如，图5中示出为Btn_PDE_Close和Btn_patient示例性事件)的时间来确定。将理解，不同机器模型的日志文件中的特定事件标签可以不同于图5中的特定示例，此处并且所提供的标签仅仅图示了被识别的给定类型的事件。

空闲时间和死时间是活动成像(例如，图像和/或测量记录)不发生的阶段，并且因此常常表示要为了最大化检查工作流程的效率而最小化的定时。实际成像时间可以被识别为采集事件的发生与紧接在前的冻结事件的时间之间的时间。因此，处理器410可以通过识别紧接地跟随有采集事件的冻结事件的对来识别一个或多个成像阶段。每个成像阶段(例如，图5中的示例中的阶段IMP₁到IMP₄)的持续时间可以通过从与给定对的采集事件相关联的时间中减去与该对的冻结事件相关联时间来计算。

死时间可以被识别为检查的任何部分，在其期间超声探头未声学地耦合到对象(例如，患者)。存在确定换能器的状态(即，换能器是否声学地耦合到患者)的各种算法，诸如用于PHILIPS L14-3换能器的智能耦合算法。这样的算法通常基于对从特定深度返回的声能进行阈值化，以确定换能器是否耦合到皮肤。换能器的状态(例如，声学地耦合与否)可以由超声系统自动跟踪，并且在日志文件中记录为偶数，例如，具有二元值，诸如1针对被耦合，并且0针对未耦合。备选地，基于图像的方法可以被用于确定和记录换能器的声学耦合的状态，诸如通过处理成像数据的实况视频流并在图像数据指示不与皮肤接触时记录事件和相关联的时间戳，反之亦然，当基于实况视频流中的图像数据再次检测到与皮肤的声学耦合时将另一事件记录为相关联的时间戳。因此，可以基于换能器的声学耦合状态的所记录的改变来识别一个或多个死时间阶段。可以确定每个死时间阶段的持续时间，并且可以通过对检查的所有死时间阶段的持续时间求和来计算给定检查中的总死时间。

空闲时间可以定义为检查的任何部分，其不包括成像时间、死时间和患者准备时间。空闲时间可以包括由超声用户在设置机器上花费的时间(例如，TSP选择、图像质量调节)、将探头操纵到适当的视图的时间等。因此，可以在其他阶段中的任何阶段之间确定一个或多个空闲时间阶段。在一些示例中，假设时间没有由探头与患者的解耦中断(例如，如当改变探头时可能发生的)，可以通过识别采集事件之后和下一冻结事件之前的持续时间来提取空闲时间。可以确定每个空闲时间阶段的持续时间，并且可以通过对所有空闲时间持续时间求和来计算检查的总空闲时间。备选地，可以通过从总检查时间中减去由其他检查阶段(例如，患者准备阶段、成像和死时间阶段，如果有的话)占用的总时间来计算空闲时间。在一些实施例中，处理器410可以被配置为确定可以向评价过程添加额外背景的额外性能度量。例如，可以计算空闲时间或死时间质心，其可以被用于确定在检查的哪个部分(例如，接近开始或接近结束)存在归因于死时间或空闲时间的时间损失。在一个示例中，描述所有空闲时间阶段的质心的空闲时间质心(其中，检查时间线被映射到间隔(0，1))可以被计算如下：

其中，N_空闲是空闲时间阶段的数目，并且t_s,i、t_e,i分别是每个空闲时间阶段i的开始和结束时间。低于0.5的空闲时间质心的值隐含空闲时间的大部分集中在考试的前半部分中，并且相反地，大于0.5的值隐含空闲时间的大部分在检查的后半部分中。可以对死时间执行类似的计算。针对空闲时间或死时间的质心计算可以提供用于确定(一个或多个)相关性能评分和/或用于选择对用户的定制反馈的额外度量。此外，可以对各种类型的事件进行计数(例如，总采集事件、总冻结事件、总成像采集设置或TSP改变事件等)和/或将其分组为各种类别，以生成评价超声用户的性能的额外度量。例如，特定类型的事件总数(例如，设置改变)可以被用于确定超声用户的解剖界标识别评分(例如，评分630-5)。解剖界标识别评分630-5表示用户在成像期间找到相关解剖界标的技能和效率。如由较高数目的记录在日志文件中的对应的事件捕获的成像设置的改变越多，超声用户越有可能难以有效地(例如，在检查的早期)找到相关的界标。在一些实施例中，解剖界标识别度量可以基于图像质量相关按钮的频率计数，而成像模式没有变化，并且空闲时间质心低于0.5(意味着检查的前半部分)。解剖界标识别评分630-5然后可以被计算为与针对给定经验水平的超声用户的估计的预测度量相比较的实际度量的百分比比率。额外地或者备选地，某些事件的频率、应用的特定设置和其他细粒度性能细节可以显示在一个或多个详细报告中和/或用于识别低效的工作流程模式并向超声用户提供定制的反馈。

在从日志文件402中提取实际性能度量413之后，在框414处，将实际性能度量进行比较，以预测性能度量431，从而获得超声用户的(一个或多个)性能评分。预测性能度量431可以由预测模型430生成，该预测模型可以被配置为输出具有经验水平(例如，初级、中级、经验、专家等)的多个不同超声用户中的任一个的相应的一组预测性能度量，例如，在一些实施例中该经验水平可以由用户指定。这样一来，预测度量431表示超声用户在期望(例如，用户指定的)经验水平处的预期性能。在一些实施例中，预测模型430可以由一个或多个分析模型(例如，回归分析模型)、任何适合的架构的一个或多个神经网络(例如，人工、卷积或递归神经网络)或其任何组合来实施。适合的架构的神经网络可以被用于输出超声用户性能的数字评分和/或定性(例如，差、好、优)评分中的任一个，其训练将在下文中进一步描述，例如，参考图9。

处理器410可以被配置为至少部分地基于超声用户的实际性能度量413与预测(或预期)性能度量431的比较来生成数字评分415的形式的一个或多个性能评分。在一些实施例中，处理器可以额外地或备选地生成一个或多个非定量(例如，定性评分，诸如低或差、可接受或好以及高或优秀)评分，诸如图6中的示例中的图像采集质量评分615。在一些实施例中，数字评分415可以被定义为针对相同临床背景的实际性能度量中的相应的性能度量与有经验的超声用户的相应的预测性能度量的百分比比率。例如，当与10分钟的预测总死时间度量相比较时，12分钟的实际总死时间度量将产生针对死时间管理效率的83％的性能评分。在实际度量与对应的预期度量一样好或优于对应的预期度量的情况下，可以生成100％的评分。对于实际度量显著低于预期度量的任何评分，诸如在低于50％性能处，可以经由图形评价仪表板向用户提供诸如颜色编码的额外视觉提示。

可以将性能评分(例如，数字评分415和/或定性评分和各种视觉提示)布置在图形用户接口(GUI)上以用于显示，如图5中的框416所示。GUI生成(框416)可以包括按类型组织评分，并且在仪表板的不同显示区域中显示不同类型的效率评分。GUI生成(框416)还可以包括应用视觉提示，诸如颜色，在一些实施例中，该视觉提示可以与非数字图形相关联，诸如拨盘图形或表示相关联的数字评分的任何其他适合的图形。在一些实施例中，GUI生成还包括基于所确定的(一个或多个)性能评分来准备定制的反馈。不同反馈消息的集合可以与其他信息一起存储在存储器430中，并且处理器410可以在框416处基于所确定的评分来选择反馈消息的适当的子集。然后在显示器420上提供图形仪表板的各种GUI元素以用于由用户消费和/或进一步定制(例如，超声用户水平选择等)。

根据本公开的超声用户评价系统被配置为在图形用户接口(GUI)600(也称为超声用户性能仪表板600)中图形地表示超声用户性能评分，其示例在图6中示出。经由GUI或仪表板600呈现的信息可以被提供在一个或多个GUI屏幕或窗口上，诸如图6中的GUI屏幕610，并且任选地被提供在额外屏幕710和/或810中。在一些实施例中，超声用户性能仪表板600在(一个或多个)超声用户性能评分630处显示，其中至少一些可以是定量的，并且是从记录在日志文件中的信息导出的。在图6中的示例中，仪表板600被配置为显示第一评分630-1、第二评分630-2和第三评分630-3，第一评分630-1指示关于患者准备效率的超声用户的性能，第二评分630-2指示关于死时间管理的超声用户的性能，第三评分630-3指示超声用户的空闲时间管理性能。仪表板600还可以呈现第四评分630-4，其指示超声用户的总体检查效率。数字性能评分可以被提供为百分比值、在预定最小和最大评分之间的范围内的值(例如，在1与5之间的评级，或者其他适合的数字值)。仪表板600可以被配置为在一些情况下图形地表示(一个或多个)性能评分，显示数字评分632和在视觉上表示数字评分的非数字图形634两者，或者它可以被配置为显示数字评分632或图形634中的一个而不显示另一个。在一些实施例中，可以针对超声用户的性能的不同评估类别生成多个性能评分630。例如，系统可以确定检查效率评分(例如，评分630-1到630-4)，其可以基本上集中于完成某些任务的定时和/或损失时间(例如，通过死时间或空闲时间)的最小化。仪表板600可以呈现第五评分630-5，也称为解剖信息效率评分，其指示超声用户在识别解剖信息(例如，界标识别、图像和/或测量结果采集等)方面的技能/效率。系统还可以跟踪按钮点击的总数(例如，设置改变、探头改变、冻结/捕获/采集事件等)，并且可以呈现又另一评分630-6，其指示如纯粹基于按钮点击计数测量的超声用户的效率。如先前所提到的，在仪表板600上呈现的评分中的一些或全部可能在很大程度上取决于正在执行的检查类型、超声扫描器型号和其他临床背景参数，其在评分确定过程中被考虑。

在一些实施例中，仪表板600被配置为以可能更直观和/或对于用户而言视觉上更容易理解的方式在显示器上对评分630进行分组，这可以改进用户体验。例如，GUI屏幕600可以被划分为多个显示区域。第一显示区域612可以显示与检查效率相关联的一个或多个评分(例如，评分630-1到630-4)。第二显示区域614可以显示与解剖信息效率相关联的一个或多个评分(例如，评分630-5和630-6)。在其他实施例中，可以通过仪表板600提供额外性能评分和/或显示区域。在一些实施例中，仪表板可以提供图像采集质量评分615，其可以呈现在又另一显示区域616中。可以非定量地呈现图像采集质量评分615和任何其他超声用户性能评分。例如，在图像采集质量评分615的情况下，评分可以由描述性词串和/或颜色图形地表示，以传达关于图像采集质量的超声用户的性能。例如，如图6所示，图像采集质量评分615可以通过在显示区域616中显示性能描述词(例如，差、中等、优秀)来提供，该性能描述词可以任选地被颜色编码和/或在一些实施例中，其可以被呈现为多个可用和显示的评分中的适当的一个的突出显示。在一些实施例中，诸如采集质量评分615的性能评分可以被表示为例如具有低、中和高水平的条，以指示性能的水平，并且其中，每个水平任选地以不同的颜色来编码。备选地，简单地颜色可以被用于表示性能的质量(例如，红色针对低或差，橙色针对中等或令人满意，并且绿色针对高或优秀)。

在一些实施例中，仪表板600被配置为提供反馈617，该反馈是基于在仪表板上呈现的一个或多个性能评分630为特定超声用户定制的。定制反馈617可以呈现在又另一显示区域618中，并且反馈本身可以呈现正反馈和/或负/建设性反馈，其任选地可以进行颜色编码(例如，绿色针对正，并且红色针对建设性。基于性能评分630，处理器(例如，处理器410或处理器212)可以定制反馈617以用于在区域618中显示，诸如通过从存储在存储器中的多个消息中选择一个或多个反馈消息。不同消息的集合(例如，建设性反馈)可以存储在存储器中，并与具有给定评分阈值的不同评分相关联(例如，经由查找表)，使得一旦确定了性能评分，处理器就可以从存储的消息的集合中选择对应于(一个或多个)特定的确定的评分的(一个或多个)适当的消息以进行显示。显示区域中的任何区域可以从其他显示区域图形地或间接地视觉上描绘(例如，通过对屏幕610的不同部分中的相关联的信息进行分组或聚类)。

仪表板600可以包括一个或多个用户控件或小部件(例如，向下钻孔小部件620、评价时段小部件626等)，其可以由用户(例如，超声用户或除超声用户之外的评价者)可选择以定制显示在屏幕610上的信息和/或调用仪表板的额外屏幕。例如，可以在超声用户性能概要屏幕(例如，GUI屏幕610)中提供第一用户控件620，其在本文中也被称为第一向下钻孔小部件620。在选择第一用户控件620的情况下，仪表板600提供关于一个或多个评分630所基于的性能度量的额外更详细的信息。该额外信息可以呈现在单独的GUI屏幕中，诸如图7所示的GUI屏幕710。

现在还参考图7，评价系统可以被配置为提供关于性能度量的详细信息，基于该性能度量来确定超声用户的性能评分，诸如在选择适当的用户控件(例如，小部件620)的情况下。图7示出了可以响应于点击小部件(例如按钮)620而显示的GUI屏幕710的一个示例，也称为详细报告屏幕710。在GUI屏幕710中，用户可以查看关于从超声用户的日志文件中提取的各种事件的细节，诸如以个体性能度量720的形式，其可以任选地与对应的预测值(例如，如由模型430所提供的)同时地(例如，并排)显示。例如，诸如总检查时间721、患者准备阶段持续时间722、总成像时间723、总空闲时间724、总死时间725、特定类型的总按钮点击726(例如，冻结、采集、增益改变等的次数)等的实际性能度量720中的个体性能度量可以在GUI屏幕710中个体地详述，诸如在超声用户度量显示区域712中。在屏幕610中与实际性能度量720进行比较以生成性能评分630的对应的预测性能度量730也可以例如显示在预期度量显示区域714中。以这种方式，用户(例如，超声用户或评价者)可以视觉地检查和识别特定的薄弱区域，并且因此用于进行改进的区域。评价仪表板可以使得用户能够诸如经由用户控件716来指定经验水平，应当将特定超声用户与该经验水平进行比较。用户控件716可以被配置为使得用户能够指定期望超声用户经验水平，并且在选择期望超声用户经验水平的情况下可以获得(例如，通过处理器410)新的一组预测性能度量730，并且更新显示区域714中的值。也可以基于指定的超声用户经验水平来更新主概要屏幕中的超声用户的性能评分630。用户控件716可以以任何适合的方式来实施，诸如通过滑块控件来实施，如图7所示，该滑块控件允许用户在经验水平的可用最小值与最大值之间调节经验水平。在其他示例中，用户控件716可以通过文本输入字段、下拉菜单、拨盘等来实施。

超声用户性能评价工具可以被配置为提供任何期望水平的细节和信息，以使能用于超声用户的训练的充分评价和/或机会。例如，为了进一步促进训练，可以使关于超声用户的性能的额外细节可用，例如，经由另一GUI屏幕800(图8)，其可以从详细报告屏幕710调用(例如，经由图7中图示为“事件细节”按钮718的用户控件718)，或者经由在图形性能评价工具的不同GUI屏幕中提供的用户控件(例如，在检查完成时在超声机上呈现的屏幕上)。在本文中也可以被称为事件审查报告或自我评估小程序的GUI屏幕800可以呈现关于记录在日志文件中的不同事件的数目和类型以及检查的各个阶段的时间/持续时间的详细信息。后者信息可能在日志文件中不直接可用，而是通过如先前所描述的日志文件的处理来获得的。自我评估小程序的格式可以是预定义的并存储在系统中，或者它可以是用户可定制的(例如，由系统的管理员)，诸如添加或移除事件字段。如从图8中的示例可以看出的，为了用户的容易审查，可以呈现关于各种事件的信息820，其中许多可以由评价工具在进行超声用户评价时利用。例如，事件定时和持续时间信息，诸如检查持续时间821、成像时间822、空闲时间823、死时间824、最大单次空闲时间825和/或最大单次死时间、初始TSP 826、TSP改变和/或选择的额外TSP的数目、初始探头部分827和/或任何探头变化828，以及关于按钮选择829的各种信息。例如，一个或多个类别的按钮(例如，冻结、图像捕获、测量记录等)的总数可以被计数并呈现给用户，并且可以执行和呈现关于按钮的使用的进一步分析，诸如按钮的使用频率等。与同超声用户性能评价工具相关联的其他GUI屏幕一样，不同类别的事件可以被分组到不同的显示区域中。例如，通常与检查效率相关联的事件可以被分组在第一显示区域812中，而按钮计数和关于选择的设置的细节可以被分组到一个或多个额外显示区域中，即分别地第二显示区域814和第三显示区域816。

返回到图6中的仪表板600的主/概要屏幕，仪表板还可以包括第二用户控件626，也称为评价时段小部件626，其可以使得用户能够改变针对其确定和显示性能评分的评价时段。例如，用户控件626可以配置为使得用户能够指定评价时段，诸如在单个检查(例如，当前检查，例如当评价与检查完成同时发生时，或者选择在指定日期完成的检查)或多个检查之间，诸如在指定时间段(例如，一个月、3个月等)内发生的。在后者的情况下，可以对来自不同检查的评分进行平均，并且将平均值作为评分630呈现在仪表板上。额外地或者备选地，性能评分可以显示为趋势(例如，示出给定性能评分随时间的改变的图形)。在一些示例中，仪表板可以包括用户控件624，其对于某些用户(例如，评价者)可以是活动的，以使得某些用户能够从其组织的多个不同超声用户中进行选择。用户控件624可以以任何适合的方式实施，诸如经由文本输入字段、下拉菜单等，其接收超声用户的姓名和/或唯一标识符作为输入。在选择了给定超声用户的情况下，仪表板中显示的信息可以自动更新以示出由该超声用户执行的最后一次检查的评分，或者可以默认为关于评价时段的一些其他选择。

根据本公开的各种实施例，显示区域中的任何一个或多个以及性能评分中的任何一个或多个可以由仪表板600以任何适合的组合来提供。例如，在一些实施例中，解剖信息显示区域614、图像质量显示区域616、反馈显示区域618或任何其他显示区域可以完全省略。额外地或者备选地，评分630-1至630-4或630-5至630-6中的一个或多个可以从它们的相应的显示区域中省略，或者以不同的评分或未包括在该示例中的额外评分不同地进行分组。而且，不同显示区域的位置可以变化，如可以是视觉上令人愉悦的或适当的(诸如当经由屏幕610呈现额外信息时)。

如先前指出的，诸如预测模型的评价系统处理器(例如，处理器212或410)的一个或多个功能可以通过经训练的神经网络来实施。图9示出了根据本公开的原理的与神经网络(也称为经训练的模型920，与分析模型区分)的训练和部署相关联的过程和元素的框图。图9所示的过程可以被用于训练本文所描述的神经网络中的任何神经网络，诸如实施图4中的预测模型430的功能的神经网络。图9的左手侧，阶段1，图示了预测模型的训练阶段。为了训练预测模型，可以将训练数据914作为多轮训练中的输入提供给适合的架构的未训练(或仅部分训练)的神经网络或模型912，该训练数据可以包括多组带注释的日志文件、相关联的临床背景参数或其组合。训练可以由训练引擎910执行，该训练引擎被配置为随着时间而将训练数据耦合到所选择的未训练的模型，以逐步细化经训练的模型的预测性能。训练过程可以涉及为模型912选择适合的架构，该架构可以是空白架构(例如，具有定义的层和节点的布置但没有任何先前训练的权重的架构)或部分训练的模型，诸如初始网络，然后还可以针对超声图像的分类来定制该模型。神经网络可以包括输入层922、输出层924和在输入层与输出层之间操作的多个隐藏层923。网络的大小、宽度、深度、容量和/或架构可以变化。例如，在不同的实施例中，输入层和输出层的节点数目以及隐藏层的数目和节点布置/连接可以不同，例如，基于神经网络被训练以操作于的期望输出和输入。神经网络920可以是基于硬件(例如，神经元由物理部件表示)或基于软件(例如，在软件应用中实施的神经元和路径)，并且可以使用各种拓扑结构和学习算法来训练神经网络以产生期望输出。例如，基于软件的神经网络可以使用被配置为执行指令的处理器(例如，单核或多核CPU、单个GPU或GPU集群、或被布置用于并行处理的多个处理器)来实施，该指令可以被存储在计算机可读介质中，并且其在被执行时使处理器执行机器训练的算法，以用于接收(一个或多个)临床背景输入并生成执行包括在输入临床背景内的超声检查的超声用户的非扫描手的预期活动水平。神经网络920可以至少部分地实施在包括可执行指令的计算机可读介质中，其当由处理器执行时可以使处理器执行机器训练的算法，以输出针对执行特定检查的超声用户的非扫描手的预期活动水平。

训练阶段可以包括准备训练数据914，诸如从由各种经验水平处的超声用户执行的检查中提取临床背景参数和/或注释日志文件。可以以与如上文参考框412的处理步骤所描述的类似的方式来预处理许多先前获取的日志文件，以从每个文件提取各种性能度量。该信息可以被用于注释日志文件，例如，在训练针对日志文件输入的网络时的实例中。在其他情况下，当训练网络或其部分以预测针对给定临床背景的性能度量时，从大量现有日志文件中提取的性能度量本身可以构成训练数据的部分。如果训练网络以关于质量对图像进行分类，则训练数据可以包括例如由医学机构的专家超声用户关于质量进行注释的超声图像。优选地，用于训练要部署在特定医学机构中的模型的真实结果信息是通过与该机构的标准和实践一致的注释来获得的，因为各机构之间在标准实践和每个这样的机构的预期性能方面可能存在显著变化。而且，单个网络的各种网络或分支可以被训练为输出针对不同经验水平的度量和/或总体性能评分，使得取决于部署时的输入，通过激活适当的网络或其分支来生成适当的一组输出。

未训练的模型912(例如，空白权重)和训练数据914被提供给训练引擎910(例如，ADAM优化器或基于选择的架构的任何适合的训练引擎)以用于训练模型。在足够的迭代次数后(例如，当模型在可接受的误差内一致地执行时)，模型920被称为被训练(并且因此也被称为经训练的模型920)并准备部署，其在图9的中间(阶段2)中图示。如图9所示，并且基于所选择的架构，经训练的模型包括输入层922、和输出层924以及一个或多个隐藏层923，其被配置为沿着隐藏层的传播路径应用通过训练过程细化的权重的集合。

如图9的右手侧或阶段3所示，(经由推理引擎930)应用经训练的模型920以分析新数据932，该新数据是在初始训练期间(在阶段1中)尚未呈现给模型的数据。例如，新数据932可以包括来自后续超声检查的新日志文件和/或临床背景参数。经由可以在主机系统(例如，评价工作站210、超声成像系统300，或者在通信地耦合到评价工作站210和/或超声成像系统300的远程计算系统上)上执行的引擎930实施的经训练的模型920被用于根据模型920的训练来处理新数据932以提供输出934(例如，一个或多个预测性能度量和/或一个或多个超声用户性能评分)。在现场生成的(例如，在护理点处应用的)经训练的模型的输出934然后可以由系统用于由系统执行的另外的过程940，诸如生成和呈现图形性能仪表板，例如如图6所示。如由现场训练块938所指示的，还可以在现场训练由推理引擎930实施的经训练的模型，以进一步改进训练模型920的性能。

图10示出了根据本公开的另外的实施例的超声用户评价系统1000。系统1000包括与显示器1020和存储器1030通信的处理器1010。存储器1030存储由处理器1010使用或由处理器1010生成的用于执行图形超声用户评价仪表板的信息。处理器1010实施可以由经训练的神经网络(例如，由深度学习算法实施)提供的预测模型1012，该预测模型被配置为接收未知超声日志文件1002作为输入，并且输出超声用户的(一个或多个)性能评分1015。任选地，预测模型1012还可以接收未记录在日志文件中的临床背景参数1004(例如，某些患者信息，诸如临床病史、检查原因等)。这些临床背景参数可以从外部源(例如，从RIS、PACS、EHR)获得(例如，通过处理器1010)，并被提供给经训练的模型1012。预测模型(例如，经训练的神经网络)1012被配置为直接根据输入1003(例如，日志文件1002和/或临床背景1004)来估计或预测当前超声用户的性能评分1015。这可以通过利用一组适合的训练数据训练神经网络来实现，该训练数据包括不同经验水平处的超声用户的经注释的日志文件。在一些实施例中，预测模型1012可以被训练为将输入日志文件1002分类为表示特定经验水平(例如，新手)，并且基于该分类，模型1012可以输出与期望经验水平(例如，专家)相比较的性能评分1015。在图10中的示例中，可以省略与从日志文件中提取实际性能度量并将其与预测性能度量进行比较相关联的步骤，因为预测模型相反被训练为直接估计或量化当前超声用户的性能，而不开发量化过程的潜在粒度(例如，度量)。当然，在这样的情况下，对于对超声用户的增强训练，对于超声用户和/或评价者来说，下游较少信息可以可用。如由GUI生成块1016所指示的，处理器1010还被配置为在显示器1020上图形地呈现从预测模型1012获得的超声用户性能评分。GUI生成1016可以涉及如参考图4所描述的类似过程(例如，生成一个或多个超声用户评分的图形表示，在不同的显示区域中组织评分，在显示器上提供或启用可选择区域，以便提供用于定制显示器和/或用于调用额外显示屏幕的各种小部件，利用基于评分选择的评论定制反馈显示，等等)。

图11是图示根据本公开的原理的示例处理器1100的框图。处理器1100可以被用于实施本文所描述的一个或多个处理器和/或控制器，诸如处理器212、处理器340、或处理器410或1010中的任一个。处理器1100可以是任何适合的处理器类型，包括但不限于微处理器、微控制器、数字信号处理器(DSP)、现场可编程阵列(FPGA)(其中，FPGA已被编程为形成处理器)、图形处理单元(GPU)、专用电路(ASIC)(其中，ASIC已被设计为形成处理器)或其组合。

处理器1100可以包括一个或多个核心1102。核心1102可以包括一个或多个算术逻辑单元(ALU)1104。在一些实施例中，除了ALU 1104之外或代替于ALU 1104，核心1102可以包括浮点逻辑单元(FPLU)1106和/或数字信号处理单元(DSPU)1108。处理器1100可以包括通信地耦合到核心1102的一个或多个寄存器1112。寄存器1112可以使用专用逻辑门电路(例如，触发器)和/或任何存储器技术来实施。在一些实施例中，寄存器1112可以使用静态存储器来实施。寄存器可以向核心1102提供数据、指令和地址。在一些实施例中，处理器1100可以包括通信地耦合到核心1102的一个或多个级别的高速缓存存储器1110。高速缓存存储器1110可以向核心1102提供计算机可读指令以用于执行。高速缓存存储器1110可以提供数据用于由核心1102处理。在一些实施例中，计算机可读指令可以已由本地存储器(例如，附接到外部总线1116的本地存储器)提供给高速缓存存储器1110。高速缓存存储器1110可以利用任何适合的高速缓存存储器类型来实施，例如，金属氧化物半导体(MOS)存储器，诸如静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)和/或任何其他适合的存储器技术。处理器1100可以包括控制器1114，该控制器可以控制从包括在系统中的其他处理器和/或部件(例如，控制面板350、一个或多个I/O设备211、或系统的其他处理器)到处理器1100的输入和/或从处理器1100到包括在系统中的其他处理器和/或部件(例如，控制面板350、一个或多个I/O设备211、或系统的其他处理器)的输出。控制器1114可以控制ALU1104、FPLU 1106和/或DSPU 1108中的数据路径。控制器1114可以被实施为一个或多个状态机、数据路径和/或专用控制逻辑。控制器1114的门可以被实施为独立的门、FPGA、ASIC或任何其他适合的技术。

寄存器1112和高速缓存存储器1110可以经由内部连接1120A、1120B、1120C和1120D与控制器1114和核心1102通信。内部连接可以被实施为总线、多路复用器、交叉开关和/或任何其他适合的连接技术。用于处理器1100的输入和输出可以经由总线1116提供，总线1116可以包括一个或多个导线。总线1116可以通信地耦合到处理器1100的一个或多个部件，例如控制器1114、高速缓存存储器1110和/或寄存器1112。总线1116可以耦合到系统的一个或多个部件，诸如先前所提到的显示器和控制面板。总线1116可以耦合到一个或多个外部存储器。外部存储器可以包括只读存储器(ROM)1132。ROM 1132可以是罩式ROM、电子可编程只读存储器(EPROM)或任何其他适合的技术。外部存储器可以包括随机存取存储器(RAM)1133。RAM 1133可以是静态RAM、电池备份静态RAM、动态RAM(DRAM)或任何其他适合的技术。外部存储器可以包括电可擦可编程只读存储器(EEPROM)1135。外部存储器可以包括闪存1134。外部存储器可以包括诸如磁盘1136的磁存储设备。在一些实施例中，外部存储器可以被包括在系统中，诸如系统210的本地存储器216或外部存储器232，或者图3所示的成像系统的本地存储器330。

图12示出了根据本公开的一些实施例的计算机实施的方法1200的流程图，该方法可以诸如通过启动超声用户评价app或工具来启动，如框1201所示。方法1200包括由与显示器通信的处理器接收超声机日志文件，如框1203所示。日志文件和/或临床背景参数被提供给预测模型，如框1205所示，并且使用来自预测模型的输出，处理器至少部分地基于记录在日志文件中的信息来确定一个或多个超声用户性能评分(参见框1207)。

在一些实施例中，如框1208所示，确定超声用户的性能评分的过程包括根据日志文件中的信息确定实际性能度量，并从预测模型获得对应的预测度量，如框1208所示。在一些实施例中，为了获得预测度量，将临床背景参数提供给预测模型，该预测模型可以通过如先前所描述的经训练的神经网络来实施。预测模型为指定的临床背景并为期望(例如，用户指定的)超声用户性能水平生成预测性能度量。然后，基于实际度量与预测度量之间的比较来确定超声用户的性能评分，如框1210所示。

方法1200还包括在超声用户评价工具的一个或多个图形用户接口(GUI)屏幕中(例如，在评价工具的超声用户性能仪表板中)图形地表示一个或多个超声用户性能评分，如框1211所示。可以在仪表板上提供一个或多个使用控件，以使得用户能够向下钻孔并获得额外信息(例如，关于事件的详细信息、实际的(或记录在日志文件中的)和预期的(或由模型预测的)。在一些实施例中，方法可以包括：响应于用户请求，将实际性能度量与预测性能度量同时显示。在一些实施例中，方法还可以包括：通过用户输入指定要与之比较的期望超声用户经验水平，并且基于用户输入更新显示器上的预测性能度量。

鉴于本公开，应注意，在本文中所描述的各种方法和设备可以以硬件、软件和固件来实施。此外，各种方法和参数仅通过示例的方式而非以任何限制性意义被包括。鉴于本公开，本领域普通技术人员可以在确定他们自己的技术和影响这些技术所需的装备时实施本教导，同时保持在本发明的范围内。本文所描述的处理器中的一个或多个的功能可以被并入到更少数目的或单个处理单元(例如CPU)中，并且可以使用专用集成电路(ASIC)或通用处理电路来实施，该电路响应于可执行指令而被编程为执行本文所描述的功能。

根据本公开的超声用户评价系统(或实施超声用户评价系统的超声成像系统)还可以包括一个或多个程序，其可以与常规成像系统一起使用或与其相关联，使得它们可以提供本系统的特征和优点。在研究本公开时，本公开的某些额外优点和特征可以对于本领域技术人员而言是明显的，或者可以由采用本公开的新颖系统和方法的人员体验。虽然在超声成像的背景下进行了描述，但是将意识到，本发明可以被实施和配置用于评价其他医学成像模态(例如，磁共振成像(MRI)、X射线、计算机断层摄影(CT)等)的放射科医师操作系统。所有这样的医学成像系统采用系统或服务日志文件的使用来记录操作者与机器的交互，并且因此可以类似地评价操作者在这些检查中的性能，并将其与在相同成像模态中的更有经验的放射科医师的预期性能类似地进行比较。因此，本文中的示例可以是对于在几乎任何其他医学成像背景下标准化性能评价同样适用且有利的。

本系统和方法的另一优点可以在于，常规医学成像系统可以容易地升级以包含本系统、设备和方法的特征和优点。当然，将意识到，本文所描述的示例、实施例和/或过程中的任一个可以与一个或多个其他示例、实施例和/或过程组合或者在根据本系统、设备和方法的单独设备的或设备部分中间分离和/或执行。最后，以上讨论旨在仅仅说明本系统，而不应被解释为将随附权利要求限于任何特定实施例或实施例组。因此，虽然已经参考示例性实施例特别详细地描述了本系统，但是还应当意识到，在不脱离如以下权利要求书中阐述的本系统的更广泛和预期的精神和范围的情况下，本领域普通技术人员可以设计许多修改和备选实施例。因此，本说明书和附图要以说明性的方式来看待，并且不旨在限制随附的权利要求的范围。

Claims (20)

1.一种超声用户性能评价系统(200、300)，包括：

显示器(214、352)；以及

一个或多个处理器(212、340)，其与所述显示器和至少一个存储器(216、232、330)通信，所述至少一个存储器包括计算机可读指令，所述计算机可读指令当被执行时使所述处理器：

生成与超声用户相关联的一个或多个超声用户性能评分(630)，所述一个或多个超声用户性能评分至少部分地基于记录在超声机日志文件(222、331、402)中的信息，所述超声机日志文件产生于由所述超声用户利用超声扫描器执行的超声检查；并且

显示超声用户性能仪表板(600)，所述超声用户性能仪表板被配置为图形地表示所述一个或多个超声用户性能评分(630)。

2.根据权利要求1所述的系统，其中，所述一个或多个超声用户性能评分(630)中的每个超声用户性能评分包括数字评分(632)，并且其中，所述超声用户性能仪表板(600)被配置为在显示所述数字评分之外或者代替于显示所述数字评分，显示表示所述数字评分(632)的图形(634)。

3.根据权利要求2所述的系统，其中，所述超声用户性能仪表板(600)包括图形用户接口(GUI)屏幕(610)，所述图形用户接口屏幕被划分为选自以下各项的多个显示区域：第一显示区域(612)，其被配置为显示与检查效率相关联的任何超声用户性能评分(630-1、630-2、630-3、630-4)；第二显示区域(614)，其被配置为显示与解剖信息效率相关联的任何超声用户性能评分(630-4和630-5)；以及第三显示区域(616)，其被配置为显示与图像质量相关联的任何超声用户性能评分。

4.根据权利要求3所述的系统，其中，所述GUI屏幕还包括第三显示区域(618)，所述第三显示区域被配置为显示基于所述一个或多个超声用户性能评分(630)定制的超声用户反馈(617)。

5.根据权利要求1所述的系统，其中，所述处理器(1010)被配置为：将所述超声机日志文件(1002)作为输入提供给经训练的神经网络(1030)，并且获得所述一个或多个超声用户性能评分(630、1015)作为来自所述经训练的神经网络的输出。

6.根据权利要求1所述的系统，其中，所述处理器(410)被配置为：

根据所述超声机日志文件(402)来确定与所述超声用户相关联的实际超声用户性能度量(413)；

从预测模型(430)获得预测超声用户性能度量(431)；并且

将所述实际性能超声用户度量与所述预测超声用户性能度量进行比较以生成所述一个或多个超声用户性能评分(415、630)。

7.根据权利要求6所述的系统，其中，所述处理器(410)被配置为向所述预测模型(430)提供所述超声机日志文件(402)、与所述超声检查相关联的一个或多个临床背景参数(404)或其组合，以获得所述预测超声用户性能度量。

8.根据权利要求7所述的系统，其中，所述一个或多个临床背景参数(404)选自：患者年龄、患者身体质量指数(BM)、患者类型、所述超声检查的性质或目的以及所述超声扫描器的型号。

9.根据权利要求6所述的系统，其中，所述预测模型(430)被配置为响应于指定期望超声用户经验水平的用户输入而为多个不同超声用户经验水平中的每个超声用户经验水平生成相应的一组预测超声用户性能度量。

10.根据权利要求6-9中的任一项所述的系统，其中，所述预测模型(430)包括经训练的神经网络。

11.根据权利要求6-10中的任一项所述的系统，其中，所述实际超声用户性能度量(720)和所述预测超声用户性能度量(730)各自分别包括多个实际度量和预期度量，所述度量选自：总空闲时间、总死时间、总检查时间、总患者准备时间、按钮点击总数、给定按钮类型的按钮点击总数以及采集设置改变的总数。

12.根据权利要求6-11中的任一项所述的系统，其中，所述超声用户性能仪表板包括用户控件(620)，所述用户控件被配置为在被选择后将所述实际超声用户性能度量中的一个或多个实际超声用户性能度量与所述预测超声用户性能度量中的对应的预测超声用户性能度量同时进行显示。

13.根据权利要求6-12中的任一项所述的系统，其中，所述超声用户性能仪表板包括用户控件(716)，所述用户控件被配置为使得用户能够选择与所述实际超声用户性能度量(413、720)进行比较的超声用户经验水平。

14.根据权利要求1-13中的任一项所述的系统，其中，所述处理器(212)、所述显示器(214)和所述存储器(216)被集成到医学机构的工作站(210)中，所述工作站经由网络(202)被通信地耦合到所述医学机构的多个超声扫描器(202)，以从所述多个超声扫描器中的任一个超声扫描器接收相应的超声机日志文件(222)。

15.根据权利要求1-13中的任一项所述的系统，其中，所述处理器(340、338)、所述显示器(325)和所述存储器(330)是所述超声扫描器(220、300)的部分。

16.一种提供超声用户的性能评价的方法，所述方法包括：

由与显示器(214、352、420)通信的处理器(212、340、410)接收响应于由所述超声用户(204)利用超声扫描器(220、300)执行的检查而生成的超声机日志文件(222、331、402)；

将所述超声机日志文件或所述检查的临床背景参数中的至少一项提供给预测模型；

使用来自所述预测模型(430、920、1030)的输出来确定一个或多个超声用户性能评分(415、630、1015)；以及

在超声用户性能仪表板的第一图形用户接口(GUI)屏幕(610)中图形地表示所述一个或多个超声用户性能评分，所述超声用户性能仪表板还包括用于控制由所述超声用户性能仪表板提供的信息的GUI小部件。

17.根据权利要求16所述的方法，还包括：

将所述临床背景参数提供给经训练的神经网络以获得预测性能度量；

由所述处理器根据记录在所述超声机日志文件中的信息来确定所述超声用户的实际性能度量；以及

将所述实际性能度量与所述预测性能度量中的对应的预测性能度量进行比较，以生成所述一个或多个超声用户性能评分。

18.根据权利要求17所述的方法，其中，所述的确定所述实际性能度量包括以下各项中的至少两项：确定所述检查期间的总空闲时间，确定所述检查期间的总死时间，确定所述检查的总持续时间，确定所述检查的总成像时间，确定所述检查期间的按钮点击总数，以及确定给定类型的按钮点击总数。

19.根据权利要求17所述的方法，还包括以下各项中的至少一项：

响应于用户请求而将所述实际性能度量与所述预测性能度量同时进行显示；以及

通过用户输入来指定要与之进行比较的期望超声用户经验水平，并且基于所述用户输入来更新所述显示器上的所述预测性能度量。

20.一种包括计算机可读指令的非瞬态计算机可读介质，所述计算机可读指令当由被配置为访问一个或多个超声机日志文件的一个或多个处理器执行时，使所述一个或多个处理器执行根据权利要求16-19中的任一项所述的方法。