CN116744855A - 基于超声图像的解剖扫描窗口、探头取向和/或患者位置的识别 - Google Patents

基于超声图像的解剖扫描窗口、探头取向和/或患者位置的识别 Download PDF

Info

Publication number
CN116744855A
CN116744855A CN202180085419.XA CN202180085419A CN116744855A CN 116744855 A CN116744855 A CN 116744855A CN 202180085419 A CN202180085419 A CN 202180085419A CN 116744855 A CN116744855 A CN 116744855A
Authority
CN
China
Prior art keywords
ultrasound
image
probe
scan window
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180085419.XA
Other languages
English (en)
Inventor
J·克吕克尔
G·C-H·吴
R·斯里尼瓦萨奈杜
M·M·阮
谢华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN116744855A publication Critical patent/CN116744855A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/42—Details of probe positioning or probe attachment to the patient
    • A61B8/4245—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient
    • A61B8/4254—Details of probe positioning or probe attachment to the patient involving determining the position of the probe, e.g. with respect to an external reference frame or to the patient using sensors mounted on the probe
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4477—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device using several separate ultrasound transducers or probes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/54—Control of the diagnostic device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Quality & Reliability (AREA)
  • Gynecology & Obstetrics (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一种超声成像系统包括处理器电路，所述处理器电路在与所述处理器电路通信的存储器中存储表示目标解剖扫描窗口的目标参数。所述处理器电路接收在第一采集时段期间由具有第一解剖扫描窗口的第一超声探头采集的第一超声图像。所述处理器电路确定表示所述第一解剖扫描窗口的第一参数。所述处理器电路从所述存储器检索所述目标参数。所述处理器电路将所述目标参数与所述第一参数进行比较。所述处理器电路将比较的视觉表示输出到与所述处理器电路通信的显示器。

Description

基于超声图像的解剖扫描窗口、探头取向和/或患者位置的 识别
技术领域
本公开总体上涉及超声成像。例如，超声系统能够估计针对一个超声图像的解剖扫描窗口、超声探头取向和/或患者位置，将这些参数与另一超声图像的那些参数进行比较，并提供相应的指导，使得例如针对所述图像的参数匹配。
背景技术
医学超声系统可以包括被耦合到处理系统和一个或多个显示设备的超声换能器探头。超声成像系统广泛用于医学成像和测量。例如，超声成像系统可以用于对患者的解剖结构内的器官、病变、肿瘤或其他结构进行测量。医生可能想对这些结构中的任何一个进行纵向研究。纵向研究可能需要在长时间内对患者进行多次成像。以这种方式，医生可以跟踪患者的解剖结构随时间的变化。
超声成像系统在纵向研究中总体上未得到充分利用，因为可复制的超声图像采集具有挑战性。具体地，由于图像采集的手动性质，包括对超声探头和患者二者进行定位的变化，可靠地复制二维(2D)超声成像是具有挑战性的。这些变化使得难以知道纵向研究中的解剖体的变化是由于患者身体的改变还是由于超声成像引起的改变。这些变化通常也不会从一个超声成像过程记录到下一个，因为它们不容易被捕获。此外，诸如心率、呼吸速率和组织形态等生理参数能够使对先前使用的成像条件的识别变得困难。对于造影增强的超声(CEUS)，一种涉及造影剂注射的成像技术，注射和成像之间的定时提出了额外的挑战。所有这些因素都导致基于超声的测量值的可变性增加，具体地对于在不同时间点获得的图像。还很难确定图像或测量值之间的差异是由患者解剖体内的生理改变还是由图像采集技术中的差异导致的。然而，尽管存在挑战，超声成像仍然是一种比在纵向研究中更常用的成像方式更便宜、更安全的成像方法。
发明内容
本公开的实施例是用于使用深度学习网络自动识别与超声图像相关联的解剖扫描窗口、超声探头取向和/或患者位置的系统、设备和方法。通过识别和记录在纵向研究期间采集的用于每个超声图像的一个或多个这些参数，它们可以在随后的成像过程中被检索，并用于帮助超声医师、医生和/或其他用户获得具有相同参数的额外超声图像。这有利地减少了成像过程之间图像采集和超声测量中的变化，并且可以帮助使超声成像成为用于纵向研究的更可行的、更具成本效益的和更安全的选择。
在一个成像过程中，超声成像系统可以采集图像。深度学习网络随后可以接收图像作为输入。网络还可以接收来自超声探头的惯性测量单元(IMU)数据作为额外输入。网络可以基于图像本身的特性来识别用于采集超声图像的解剖扫描窗口和/或探头取向。网络还可以使用IMU数据来确定患者在图像被采集时的位置。这些参数随后可以与超声图像一起存储。
在随后的成像过程中，超声成像系统可以从先前的过程中检索相同的超声图像，以及针对图像的解剖扫描窗口、探头取向和/或患者位置。超声系统将检索到的扫描窗口、探头取向、患者位置和/或早期图像输出到例如显示器，以向用户(例如，超声医师或医生)提供指导。然后，用户能够在随后的成像过程期间使用该引导来定位患者和超声探头。而且，深度学习网络可以接收该新图像，并确定新图像的扫描窗口、探头取向和/或患者位置。这些新的参数可以与来自先前过程的参数进行比较。然后，超声系统可以通知参数是否匹配或不同。如果参数不同，则可以提示超声医师调整患者或探头的位置并采集额外图像。该过程可以继续，直到所有参数匹配为止。当参数匹配时，用户能够在新的过程中记录图像。以这种方式，能够更准确地完成纵向研究，最大限度地减少或消除由于探头或患者定位引起的变化。更确切地说，来自不同成像会话的超声图像中的改变是由于患者身体的改变(例如，疾病的进展、处置的效果等)引起的。
在范例性方面，一种超声成像系统包括：处理器电路，其被配置为：在与处理器电路通信的存储器中存储表示目标解剖扫描窗口的目标参数；在第一采集时段期间接收由具有第一解剖扫描窗口的第一超声探头采集的第一超声图像；确定表示第一解剖扫描窗口的第一参数；从存储器检索目标参数；比较目标参数和第一参数；并且，将比较的视觉表示输出到与处理器电路通信的显示器。
在一些方面中，目标参数包括针对在第一采集时段之前的第二采集时段期间采集的第二超声图像的第二超声探头的解剖扫描窗口。在一些方面中，处理器电路被配置为：将第二超声图像存储在存储器中，使得目标参数与存储器中的第二超声图像相关联。在一些方面中，处理器电路被配置为：接收由第二超声探头获得的第二超声图像；确定表示第二解剖扫描窗口的目标参数；并且，将目标参数与第二超声图像相关联。在一些方面中，处理器电路被配置为：将第一参数与第一超声图像相关联；将第一参数和第一超声图像存储在存储器中，使得第一参数和第一超声图像在存储器中相关联；并且，从存储器检索第一参数，以与对应于其他超声图像的其他参数进行比较。在一些方面中，处理器电路被配置为与第一超声探头通信，并且其中，处理器电路被配置为：控制第一超声探头采集第一超声图像；并且，在第一超声图像的采集期间，向显示器输出包括第二超声图像或目标参数中的至少一个的屏幕显示。在一些方面中，处理器电路被配置为，向显示器输出包括同时显示的目标参数、第一参数、第一超声图像、第二超声图像和比较的视觉表示的屏幕显示。在一些方面中，第一参数表示第一超声探头在第一采集时段期间的第一取向，并且其中，目标参数表示第二超声探头在第二采集时段期间的第二取向。
在一些方面中，所述系统还包括第一超声探头，并且第一超声探头包括惯性测量单元，其中，处理器电路被配置为基于由惯性测量单元获得的数据来确定第一参数。在一些方面中，第一参数包括连续变量，并且其中，处理器电路被配置为向显示器输出连续变量的视觉表示。在一些方面中，第一参数表示第一采集时段期间的患者位置。在一些方面中，处理器电路被配置为：接收选择目标解剖扫描窗口的用户输入；并且，基于用户输入确定目标参数。在一些方面中，处理器电路包括预处理器和至少一个深度学习网络。在一些方面中，预处理器被配置为：接收由第一超声探头在第一采集时段期间采集的多个超声图像，其中，多个超声图像包括所述第一超声图像；将多个超声图像缓存在存储器中；对多个超声图像进行过滤；并且，将多个超声图像的子集输出到深度学习网络。在一些方面中，为了对多个超声图像进行过滤，预处理器被配置为：确定缓存在存储器中的多个超声图像的相似性度量；并且，基于相似性度量从存储器移除多个超声图像的一部分，以产生多个超声图像的子集。在一些方面中，至少一个深度学习网络包括分别对应于多个器官的多个深度学习网络，并且，预处理器被配置为：识别第一超声图像中的器官；并且将第一超声图像输出到对应于器官的深度学习网络。在一些方面中，至少一个深度学习网络包括对应于多个器官的单个深度学习网络。在一些方面中，深度学习网络被配置为确定第一参数。在一些方面中，深度学习网络包括卷积神经网络(CNN)。在一些方面中，使用与基于来自跟踪系统的信息确定的相应训练参数相关联的超声图像的数据集来训练CNN。在一些方面中，比较的视觉表示包括：当目标参数和第一参数相同时的第一指示符；以及，当目标参数和第一参数不同时的第二指示符。在一些方面中，处理器电路被配置为：在存储器中存储在第二采集时段期间的第二患者生理状况；接收在第一采集时段期间的第一患者生理状况；从存储器检索第二患者生理状况；比较第二患者生理状况和第一患者生理状况；并且，将第二患者生理状况与第一患者生理状况之间的比较的视觉表示输出到显示器。
在范例性方面中，一种超声成像系统包括：处理器电路，其被配置为：将表示目标解剖扫描窗口和目标探头取向的目标参数存储在与处理器电路通信的存储器中；在采集时段期间接收由具有解剖扫描窗口和探头取向的超声探头采集的超声图像；使用卷积神经网络确定表示解剖扫描窗口和探头取向的参数；从存储器检索目标参数；将目标参数与参数进行比较；并且，将比较的视觉表示输出到与处理器电路通信的显示器，其中，比较的视觉表示包括：当目标参数和参数相同时的第一指示符；以及当目标参数与参数不同时的第二指示符。
通过以下详细描述，本公开的额外方面、特征和优点将变得显而易见。
附图说明
将参考附图描述本公开的说明性实施例，其中：
图1是根据本公开各方面的超声成像系统的示意图；
图2是根据本公开各方面的处理器电路的示意图；
图3是根据本公开各方面的确定与超声图像相关联的解剖扫描窗口和/或探头取向的方法的流程图；
图4是根据本公开各方面的具有深度学习网络的超声成像系统的示意图；
图5是根据本公开各方面的卷积神经网络(CNN)配置的示意图；
图6是根据本公开各方面的用于分析来自成像过程的超声图像的方法的流程图和用于分析和比较来自额外成像过程的超声图像的方法的流程图；
图7是根据本公开各方面的用于在额外成像过程中采集图像之前比较超声图像的参数的超声成像系统的图形用户界面的图解视图；
图8是根据本公开各方面的针对比较超声图像的参数并指示参数之间的差异的超声成像系统的图形用户界面的图解视图；
图9是根据本公开各方面的针对比较超声图像的参数并指示参数之间的差异的超声成像系统的图形用户界面的图解视图；
图10是根据本公开各方面的针对比较超声图像的参数并指示参数是相同的超声成像系统的图形用户界面的图解视图；
图11A是根据本公开各方面的用于在深度学习网络的训练阶段注释超声图像的图形用户界面的图解视图；
图11B是根据本公开各方面的用于在深度学习网络的训练阶段注释超声图像的图形用户界面的图解视图；
图12是根据本公开各方面的用于在深度学习网络的训练阶段自动注释图像的计算机断层摄影和超声系统的图解视图；
图13是根据本公开各方面的包括惯性测量单元(IMU)数据的CNN配置的示意图；
图14是根据本公开各方面的包括IMU数据并输出额外标签的CNN配置的示意图；
图15是根据本公开各方面的范例患者位置的图解视图；
图16是根据本公开各方面的处于各种取向的超声探头的图解视图。
具体实施方式
为了促进对本公开原理的理解，现在将参考附图中所示的实施例，并且将使用特定语言来描述这些实施例。但是，应当理解，并非意图对本公开的范围进行限制。对所描述的设备、系统和方法的任何改变和其他修改，以及本公开原理的任何其他应用，都被充分考虑并包括在本公开内，如本公开所涉及领域的技术人员通常会想到的那样。例如，虽然聚焦系统是按照心血管成像来描述的，但是应当理解，其并非旨在局限于该应用。系统同样非常适合于需要在受限的腔体内成像的任何应用。具体地，完全能够设想，关于一个实施例描述的特征、组件和/或步骤可以与关于本公开的其他实施例描述的特征、组件和/或者步骤相结合。但是，为了简洁起见，将不单独描述这些组合的多次迭代。
图1是根据本公开各方面的超声成像系统100的示意图。系统100用于扫描患者身体的区域或体积。系统100包括通过通信接口或链路120与主机130通信的超声成像探头110。探头110可以包括换能器阵列112、波束形成器114、处理器电路116和通信接口118。主机130可以包括显示器132、处理器电路134、通信接口136和存储患者信息的存储器138。主机130和/或主机130的处理器134可以额外地与存储器140和患者传感器142通信。
在一些实施例中，探头110是外部超声成像设备，包括被配置为用于由用户手持操作的外壳111。换能器阵列112能够被配置为在用户抓握探头110的外壳111使得换能器阵列112被定位为邻近患者的皮肤或与患者的皮肤接触时获得超声数据。探头110被配置为在探头110被定位在患者身体外部的同时获得患者身体内部的解剖体的超声数据。在一些实施例中，探头110能够是外部超声探头和/或经胸超声心动图(TTE)探头。
在其他实施例中，探头110能够是内部超声成像设备，并且可以包括外壳111，所述外壳111被配置为定位在患者身体的管腔内，包括患者的冠状血管系统、外周血管系统、食道、心室或其他身体管腔或身体腔体。在一些实施例中，探头110可以是血管内超声(IVUS)成像导管或心内超声心动图(ICE)导管。在其他实施例中，探头110可以是经食道超声心动图(TEE)探头。探头110可以是用于包括外部和内部超声成像的任何合适的超声成像应用的任何合适的形式。
在一些实施例中，本公开的各方面能够使用任何合适的医学成像设备和/或模态获得的患者的医学图像来实施。医学图像和医学成像设备的范例包括由X射线成像设备获得的X射线图像(血管造影图像、荧光透视图像、具有或不具有造影的图像)、由CT成像设备获得的计算机断层摄影(CT)图像、由PET-CT成像设备获得的正电子发射断层摄影-计算机断层摄影图像、由MRI设备获得的磁共振图像(MRI)、由SPECT成像设备获得的单光子发射计算机断层摄影(SPECT)图像、由OCT成像设备获得的光学相干断层摄影(OCT)图像以及由IVPA成像设备获得的血管内光声(IVPA)图像。医学成像设备能够在定位在患者身体外部、与患者身体间隔开、邻近患者身体、与患者身体接触和/或在患者身体内部时获得医学图像。
对于超声成像设备，换能器阵列112向患者的解剖对象105发射超声信号，并接收从对象105反射回换能器阵列112的回波信号。超声换能器阵列112能够包括任何合适数量的声学元件，包括一个或多个声学元件和/或多个声学元件。在一些情况下，换能器阵列112包括单个声学元件。在一些情况下，换能器阵列112可以包括具有任何适当配置的任何数量的声学元件的声学元件阵列。例如，换能器阵列112能够包括1个声学元件到10000个声学元件，包括的值例如是2个声学元件、4个声学元件、36个声学元件、64个声学元件、128个声学元件、500个声学元件、812个声学元件、1000个声学元件、3000个声学元件、8000个声学元件，和/或更大和更小的其它值。在一些情况下，换能器阵列112可以包括具有任何适当配置的任何数量的声学元件的声学元件阵列，例如线性阵列、平面阵列、弯曲阵列、曲线阵列、周向阵列、环形阵列、相控阵列、矩阵阵列、一维(1D)阵列、1.×维阵列(例如1.5D阵列)、或者二维(2D)阵列。声学元件的阵列(例如，一行或多行、一列或多列、和/或一个或多个取向)能够均匀地或独立地控制和激活。换能器阵列112能够被配置为获得患者的解剖体的一维、二维和/或三维图像。在一些实施例中，换能器阵列112可以包括压电微机械加工超声换能器(PMUT)、电容微机械加工超声换能器(CMUT)、单晶、锆钛酸铅(PZT)、PZT复合材料、其他合适的换能器类型、和/或其组合。
对象105可以包括任何解剖体或解剖特征，例如血管、神经纤维、气道、二尖瓣、心脏结构、腹部组织结构、阑尾、大肠(或结肠)、小肠、肾脏、肝脏、和/或患者的任何其他解剖体。在一些方面中，对象105可以包括患者的大肠、小肠、盲肠袋、阑尾、末端回肠、肝脏、上腹部、和/或腰大肌的至少一部分。本公开能够在任何数量的解剖位置和组织类型的背景下实施，包括但不限于，包括肝脏、心脏、肾脏、胆囊、胰腺、肺的器官；管道；肠道；包括大脑、硬膜囊、脊髓和周围神经的神经系统结构；尿路；以及血管、血液、腔室或心脏的其他部分、腹部器官和/或身体的其他系统的瓣膜。在一些实施例中，对象105可以包括恶性肿瘤，例如人体解剖体的任何部分内的肿瘤、囊肿、病变、出血或血池。解剖体可以是血管，如患者脉管系统的动脉或静脉，所述脉管系统包括心脏脉管系统、外周脉管系统、神经脉管系统、肾脏脉管系统和/或身体内部任何其他合适的管腔。除了自然结构之外，本公开还能够在人工结构的背景下实施，所述人造结构例如但不限于心脏瓣膜、支架、分流器、过滤器、植入物和其他设备。
波束形成器114被耦合到换能器阵列112。波束形成器114控制换能器阵列112，例如用于超声信号的发射和超声回波信号的接收。在一些实施例中，波束形成器114可以对发送到换能器112中的阵列内的各个声学换能器的信号施加时间延迟，使得声学信号在远离探头110传播的任何合适的方向上被引导。波束形成器114还可以基于接收到的超声回波信号的响应向处理器电路116提供图像信号。波束形成器114可以包括波束形成的多个阶段。波束形成能够减少用于耦合到处理器电路116的信号线的数量。在一些实施例中，换能器阵列112与波束形成器114组合可以称为超声成像组件。
处理器116被耦合到波束形成器114。处理器116也可以描述为处理器电路，其能够包括与处理器116通信的其他组件，例如存储器、波束形成器114、通信接口118和/或其他合适的组件。处理器116可以包括中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、控制器、现场可编程门阵列(FPGA)设备、另一硬件设备、固件设备、或它们被配置为执行本文所述的操作的任意组合。处理器116还可以实施为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核心结合，或者任何其他这样的配置。处理器116被配置为处理波束形成的图像信号。例如，处理器116可以执行滤波和/或正交解调以调节图像信号。处理器116和/或134能够被配置为控制阵列112，以获得与对象105相关联的超声数据。
探头110能够包括惯性测量单元(IMU)117，其是生成IMU数据(例如，比力、角速率、取向、适当加速度、角速度等)的电子设备。IMU 117能够包括被设置在探头110的外壳111内的一个或多个加速度计、陀螺仪和/或磁力计。IMU数据能够在操作探头110以采集超声图像的期间表示探头110。
通信接口118被耦合到处理器116。通信接口118可以包括一个或多个发射器、一个或更多个接收器、一个或者多个收发器和/或用于发射和/或接收通信信号的电路。通信接口118能够包括实施适合于通过通信链路120将信号传输到主机130的具体通信协议的硬件组件和/或软件组件。通信接口118能够称为通信设备或通信接口模块。
通信链路120可以是任何合适的通信链路。例如，通信链路120可以是有线链路，例如通用串行总线(USB)链路或以太网链路。备选地，通信链路120可以是无线链路，例如超宽带(UWB)链路、电气和电子工程师协会(IEEE)802.11WiFi链路或蓝牙链路。
在主机130处，通信接口136可以接收图像信号。通信接口136可以基本上类似于通信接口118。主机130可以是任何合适的计算和显示设备，例如工作站、个人计算机(PC)、膝上型电脑、平板电脑或移动电话。
处理器134被耦合到通信接口136。处理器134也可以描述为处理器电路，其能够包括与处理器134通信的其他组件，例如存储器138、通信接口136和/或其他合适的组件。处理器134可以实施为软件组件和硬件组件的组合。处理器134可以包括中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)、专用集成电路(ASIC)、控制器、FPGA设备、另一硬件设备、固件设备、或被配置为执行本文所述操作的它们的任何组合。处理器134还可以实施为计算设备的组合，例如，DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核心结合、或者任何其他这样的配置。处理器134能够被配置为根据从探头110接收的图像信号生成图像数据。处理器134能够将高级信号处理和/或图像处理技术应用于图像信号。在一些实施例中，处理器134能够从图像数据形成三维(3D)体积图像。在一些实施例中，处理器134能够对图像数据执行实时处理，以提供对象105的超声图像的流视频。
存储器138被耦合到处理器134。存储器138可以是任何合适的存储设备，例如高速缓存器(例如，处理器134的高速缓存器)、随机存取存储器(RAM)、磁阻RAM(MRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、固态存储设备、硬盘驱动器、固态驱动器、其他形式的易失性和非易失性存储器、或不同类型存储器的组合。
存储器138能够被配置为存储患者信息、测量值、数据、或与患者病史、所执行过程的历史、解剖或生物特征、特征或与患者相关联的医学条件有关的文件、计算机可读指令(如代码、软件或其他应用程序)、以及任何其他合适的信息或数据。存储器138可以位于主机130内。患者信息可以包括测量值、数据、文件、其他形式的病史，例如但不限于超声图像、超声视频和/或与患者的解剖体有关的任何成像信息。患者信息可以包括与成像过程相关的参数，例如解剖扫描窗口、探头取向和/或成像过程期间的患者位置。患者可以包括数据、图像、度量、或与其他成像模态(例如CT成像)相关的其他信息。存储器138还能够被配置为存储与深度学习网络(例如，神经网络)的训练和实施有关的信息。本文更详细地描述了用于训练和实施深度学习网络的机制。
任何或所有前面提到的计算机可读介质，例如患者信息、代码、软件或其他应用程序、或任何其他合适的信息或数据，也可以存储在存储器140中。存储器140可以用于与存储器138基本相似的目的，但可以不位于主机130内。例如，在一些实施例中，存储器可以是基于云端的服务器、外部存储设备、或用于存储器存储的任何其他设备。主机130可以通过所描述的任何合适的方式与存储器140进行通信。主机130可以连续地与存储器140通信，或者它们可以根据主机130或超声系统100的用户的请求而间歇地通信。
主机130的处理器134也可以与患者传感器142通信。患者传感器142可以监测由成像系统100成像的患者的任何合适的生理特征。例如，患者传感器142可以采集与患者的心率、呼吸速率、血压、体温、或患者的任何其他生理度量有关的数据、或与患者的定位有关的数据。因此，患者传感器142能够是心率传感器、呼吸传感器、血压传感器、温度传感器或取向传感器等。该信息可以由主机130的处理器134接收并用于使其对系统100采集的图像或数据的影响最小化。主机130可以通过所描述的任何合适的方式与患者传感器142通信。主机130可以连续地与存储器142通信，或者它们可以根据主机130或超声系统100的用户的请求而间歇地通信。
主机130可以经由任何合适的通信方法与存储器140和/或患者传感器142进行通信。例如，主机130可以经由有线链路，例如USB链路或以太网链路，与存储器140和/或患者传感器142通信。备选地，主机130可以经由无线链路，例如UWB链路、IEEE 802.11 WiFi链路或蓝牙链路，与存储器140和/或患者传感器142通信。
显示器132被耦合到处理器电路134。显示器132可以是监测器或任何合适的显示器。显示器132被配置为显示对象105的超声图像、图像视频和/或任何成像信息。
系统100可以用于协助超声医师执行超声扫描。扫描可以在护理点环境中执行。在一些情况下，主机130是控制台或可移动推车。在一些情况下，主机130可以是移动设备，例如平板电脑、移动电话或便携式计算机。在成像过程期间，超声系统能够采集患者的解剖体内的具体感兴趣区域的超声图像。然后，超声系统100可以分析超声图像，以识别与图像采集相关联的各种参数，例如扫描窗口、探头取向、患者位置和/或其他参数。然后，系统100可以将图像和这些相关联的参数存储在存储器138和/或存储器140中。在随后的成像过程中，系统100可以检索先前采集的超声图像和相关联的参数，以显示给用户，这可以用于引导系统100的用户在随后的成像过程中使用相同或相似的参数，如将在下文中更详细描述的。
在一些方面中，处理器134可以利用基于深度学习的预测网络来识别超声图像的参数，包括解剖扫描窗口、探头取向、患者位置和/或其他参数。在一些方面中，处理器134可以在成像过程期间接收度量或执行与被成像的感兴趣区域或患者的生理状态相关的各种计算。这些度量和/或计算也可以经由显示器132显示给超声医师或其他用户。
图2是根据本公开各方面的处理器电路的示意图。处理器电路210可以实施在探头110、图1的主机系统130或任何其他合适的位置中。一个或多个处理器电路能够被配置为执行本文所描述的操作。处理器电路210能够是电路114和/或电路134的一部分，或者可以是单独的电路。在范例中，处理器电路210可以与换能器阵列112、电路114、通信接口122、通信接口140、电路134和/或显示器132、以及超声系统100内的任何其他合适的组件或电路通信。如图所示，处理器电路210可以包括处理器260、存储器264和通信模块268。这些元件可以彼此直接或间接通信，例如经由一个或多个总线。
处理器260可以包括CPU、GPU、DSP、专用集成电路(ASIC)、控制器、FPGA、另一硬件设备、固件设备或被配置为执行本文所述的操作的它们的任何组合。处理器260还可以实施为计算设备的组合，例如DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核心的结合、或任何其他这样的配置。处理器260还可以包括分析模块，如将在下文中更详细讨论的。分析模块可以实施各种深度学习网络，并且可以是硬件或软件实施方式。处理器260可以额外地包括硬件或软件实施方式中的预处理器。
存储器264可以包括高速缓存器(例如，处理器260的高速缓存器)、随机存取存储器(RAM)、磁阻RAM(MRAM)、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、闪存、固态存储设备、硬盘驱动器、其他形式的易失性和非易失性存储器、或不同类型的存储器的组合。在实施例中，存储器264包括非暂时性计算机可读介质。存储器264可以存储指令266。指令266可以包括当由处理器760执行时使处理器260执行本文中参考探头110和/或主机130(图1)描述的操作的指令。指令266也可以称为代码。术语“指令”和“代码”应广义解释为包括任何类型的计算机可读语句。例如，术语“指令”和“代码”可以指一个或多个程序、例程、子例程、函数、过程等。“指令”或“代码”可以包括单个计算机可读语句或许多计算机可读语句。指令266可以包括预处理器、深度学习网络、卷积神经网络(CNN)或各种其他指令或代码的各个方面。
通信模块268能够包括任何电子电路和/或逻辑电路，以促进处理器电路710、探头110和/或显示器132和/或显示屏266之间的直接或间接数据通信。在这方面，通信模块268能够是输入/输出(I/O)设备。在某些情况下，通信模块268有助于处理器电路210和/或探头110(图1)和/或主机130(见图1)的各种元件之间的直接或间接通信。
图3是根据本公开各方面的确定与超声图像相关联的解剖扫描窗口和/或探头取向的方法300的流程图。如图所示，方法300包括多个列举的步骤，但是方法300的实施例可以包括在所列举的步骤之前的、之后的或之间的额外步骤。在一些实施例中，所列举的步骤中的一个或多个可以被省略、以不同的顺序执行、或同时执行。方法300的步骤能够由诊断系统100内的任何合适的组件执行，并且不需要由相同的组件执行所有步骤。在一些实施例中，方法300的一个或多个步骤能够由诊断系统100的处理器电路执行，或在其指示下执行，所述处理器电路包括例如处理器260(图2)或任何其他组件。
应当注意，方法300可以包括可以在不同的时间多次应用，或者仅在一个场合应用的过程。在一些实施例中，方法300可以描述在一个时间点上在一个具体成像过程中识别解剖扫描窗口和/或探头取向的过程。在其他实施例中，方法300可以在随后的成像过程中重复，以识别与随后的过程相关联的图像的扫描窗口和/或探头取向，并将它们与先前的扫描窗口或探头取向进行比较。另外，应当注意，除了图3中所描述的扫描窗口和/或探头取向之外，方法300还可以用于识别和比较参数。例如，额外参数可以包括患者位置，这将在下文中更详细地描述。然而，为了简单起见，图3的方法300将被描述为仅识别和比较扫描窗口和/或探头取向，尽管也可以识别和比较额外参数。
在步骤305处，方法300包括采集超声图像。在超声成像过程中，超声医师或超声成像系统100的用户可以抓握任何合适类型的探头110，并将其引导向患者解剖体的感兴趣区域。当超声医师对视图满意时，或者当感兴趣区域被超声成像系统100适当且充分地描绘时，超声医师可以采集图像。在一些实施例中，来自超声探头的惯性测量单元(IMU)的，例如来自加速度计、陀螺仪或其他类似设备的数据，可以额外地在步骤305处采集，这将在下文中更详细地讨论。
在步骤310处，方法300包括分析所采集的超声图像，以确定解剖扫描窗口和/或探头取向。超声成像系统100可以采用深度学习网络，以基于所采集的超声图像来确定扫描窗口和/或探头取向。在一些实施例中，深度学习网络可以是CNN。在其他实施例中，深度学习网络可以是人工智能系统或结构的任何其他适当的实施方式，包括例如随机森林深度学习方法、回归分析方法或任何其他适当的方法或结构。深度学习网络可以在方法300启动之前进行训练，以识别与给定超声图像相关联的扫描窗口和/或探头取向。下文将更详细地描述这种训练。超声成像系统可以使用深度学习网络来分析所采集的超声图像的内容，并从图像本身确定扫描窗口和/或探头取向。这些额外信息总体上对超声医师是有帮助，但很少被捕获，并且可能从过程到过程变化非常大。
在患者解剖体内，各种高密度结构，如骨骼或肾结石，很容易反射声波，并在超声图像中明亮地出现。而密度较小的结构反射声波较少，并且在超声图像中微弱地出现或根本不出现。对患者内的感兴趣区域进行成像的超声医师不得将超声成像探头110放置为使得高密度结构定位在探头110与感兴趣区域之间，因为高密度结构将遮挡最终超声图像内的感兴趣区域。超声医师因此可以找到解剖扫描窗口，或通过其可以采集感兴趣区域的清晰图像的解剖体的区域。例如，扫描窗口可以是肋间的，或者在患者的两根肋骨之间。在另一个应用中，扫描窗口可以是肋下的，这意味着探头可以位于患者肋骨下方。扫描窗口也可以是上腹部、桡侧、旁矢状面的、侧缘或任何其他合适的扫描窗口，这取决于要成像的感兴趣区域和患者解剖体内的周围结构。探头取向可以是指在采集超声图像时探头的方向。具体地，探头取向能够定义为患者坐标系之间的相对旋转。例如，患者坐标系可以使用左-右、上-下和前-后轴来定义，并且探头坐标系可以使用换能器阵列的长轴、短轴和法向轴来定义。换能器阵列的长轴可以定义为利用探头生成的常规2D图像所沿着的轴。换能器阵列的短轴可以定义为在阵列的平面中垂直于长轴的轴。法向轴可以定义为垂直于阵列平面的轴。例如，探头取向可以是侧向取向、横向取向、纵向取向、倾斜取向或任何其他合适的取向。在步骤310处，可以通过深度学习网络来估计扫描窗口和/或探头取向。
在步骤315处，方法300包括将解剖扫描窗口和/或探头取向与期望值进行比较。在一些超声成像设置中，在步骤315处的扫描窗口和/或探头取向的期望值可以是在先前的超声成像过程中采集的超声图像的扫描窗口或探头取向。超声系统100可以例如将在步骤310处确定的所采集的图像的扫描窗口与先前采集的图像的扫描窗口进行比较，并确定所采集的图像的扫描窗口与先前采集的图像的扫描窗口是否相同或不同。如果这两个扫描窗口不同，则系统100可以通过包括任何合适的指示符的方法向用户通知这种差异。类似地，在步骤310中确定的所采集的图像的探头取向可以与相同的先前采集的图像的探头取向进行比较。系统100可以确定所采集的图像的探头取向与先前采集的图像中的探头取向是相同还是不同。如果这两个探头取向不同，则系统100可以通过包括另一个合适的指示符的方法来通知用户这种差异。例如，在步骤315处，成像系统100可以确定所采集的图像的扫描窗口和探头取向二者不同于先前采集的图像的扫描窗口和探头取向。在这种情况下，系统100可以向用户识别差异，并返回到步骤305，在步骤305处可以采集额外图像。在步骤310处，可以分析新图像，以确定可以在步骤315再次进行比较的新的扫描窗口和探头取向。在另一种情况下，系统100可以确定所采集的图像和先前采集的图像的扫描窗口相同，但是这些图像的探头取向不同。然后，系统100可以仅指示探头取向的差异，并返回到步骤305。备选地，系统100可以确定探头取向相同，但是所采集的图像和先前采集的图像的扫描窗口不同。系统100可以仅识别扫描窗口中的差异并返回到步骤305。然而，如果系统100确定所采集的图像的扫描窗口和探头取向与先前采集的图像的扫描窗口和探头取向相匹配，则系统100可以指示这两个参数匹配，并且可以前进到步骤320。
在一些实施例中，在初始超声成像过程中，其中，没有先前超声图像和相应的参数(例如解剖扫描窗口和/或探头取向)可用，可以不执行步骤315。在一些实施例中，在其中没有先前超声图像和参数可用的初始超声成像过程中，可以向成像系统100的用户提供推荐的或目标扫描窗口和/或探头取向。例如，在这样的第一超声成像过程中，系统可以基于例如选择期望的扫描窗口和/或探头取向的用户输入、存储在存储器中并与扫描具体解剖体相关联的预设、存储在存储器中的超声图像的医生订单的一部分等来确定期望参数。在一些实施例中，推荐的或目标扫描窗口和/或探头取向(也可以称为目标参数)可以基于在其中对相同感兴趣区域进行成像的不同患者的先前的成像过程。推荐的或目标参数可以基于来自该领域的专家的推荐，并且可以存储在与系统100通信的存储器中，并且基于与要被成像的感兴趣区域、患者的状况或任何其他因素相关的输入来检索。在一些实施例中，推荐的扫描窗口和/或探头取向可以基于由其他成像模态产生的图像，例如由X射线、磁共振成像(MRI)和/或计算机断层摄影(CT)扫描器产生的图像。例如，如果已经利用CT扫描器对患者的解剖体或类似的患者解剖体进行了成像，则在步骤315处，超声医师可以使用由CT扫描器采集的数据来确定推荐的扫描窗口和/或探头取向，并且可以将其所确定的扫描窗口或探头取向输入到系统100中进行比较。在其中没有进行先前的图像采集来确定目标参数而是从其他来源提供目标参数的情况下，它们可以由医生、医院或其他医学专家、或医学保健提供者或组织提供。例如，医生、医院或其他医学专家、或医学保健提供者或组织可以基于任何合适的数据或环境将目标参数确定为标准或默认协议或偏好。这些目标参数可以通过诸如键盘、鼠标、触摸屏之类的用户输入设备，经由听觉信号、或与处理器电路通信的任何其他合适的输入设备或界面输入到系统100中。
如步骤305-315所创建的回路所示，方法300可以引导系统100的用户以与之前类似的方式获得超声图像，或者使用推荐的扫描窗口和/或探头取向实现最可能的比较。以这种方式，在纵向研究和/或成像过程中可以更容易和准确地观察到感兴趣区域的变化。
在步骤320处，方法300包括利用解剖扫描窗口和/或探头取向注释图像。在步骤315处，在所采集的图像的扫描窗口和/或探头取向与期望值匹配之后，方法300可以利用所确定的扫描窗口或探头取向来注释所采集的超声图像。对图像进行注释能够包括，将字母数字文本和/或符号以图形方式叠加在超声图像本身上，使得文本和/或符号与图像一起可见。额外地或备选地，对图像进行注释能够包括，将表示解剖扫描窗口和/或探头取向的数据与图像(例如，图像的元数据和/或图像文件标题中的数据)相关联。因此，注释超声图像不需要包括提供扫描窗口和/或探头取向，使其显示在图像上。在一些实施例中，尽管扫描窗口和/或探头取向与期望值不匹配，但是系统100的用户可以指示系统无论如何进行到步骤320，并且利用新的扫描窗口和/或探头取向注释所采集的图像。在其他情况下，即使扫描窗口和/或探头取向与期望值匹配，系统100的用户也可以指示系统返回到步骤305以采集、分析和比较额外图像。
在步骤325处，方法300包括将解剖扫描窗口和/或探头取向存储在存储器中。新采集的超声图像的扫描窗口和/或探头取向可以与超声图像本身结合在一起存储，使得当稍后进行检索时，图像可以与其对应的扫描窗口或探头取向一起显示。能够基于存储在存储器中的额外数据来关联表示扫描窗口和/或探头取向的数据和表示图像的数据，所述额外数据链接表示扫描窗口的数据和/或探头取向的数据以及表示图像的数据。超声图像、对应的扫描窗口和/或探头取向、以及链接数据可以存储在任何合适的位置。例如，图像、扫描窗口和/或探头取向可以被存储在主机130本身内的存储器138中。在其他实施例中，图像、扫描窗口和/或探头取向可以被存储在与主机130通信但与主机130间隔开的存储器140中。在其他实施例中，数据可以被存储在存储器138和存储器140二者上。
在步骤330处，方法300包括检索解剖扫描窗口和/或探头取向。处理器电路能够检索扫描窗口和/或探头取向以及超声图像(或者反之亦然)，因为它们在存储器中是相关联的。在一些实施例中，与在步骤325处采集的图像结合在一起存储的扫描窗口和/或探头取向可以在随后的成像过程中被指定为步骤315的期望值。以这种方式，步骤330可以在随后的成像过程中执行，或者可以在前面描述的相同过程结束时执行。如从步骤330到步骤305的箭头所示，可以迭代地执行方法300所描述的过程。方法300可以在单个成像过程或护理点场景中对同一患者连续多次执行，或者可以在不同的时间或在不同的成像过程中执行。
图4是根据本公开各方面的具有深度学习网络的超声成像系统400的示意图。系统400也能够称为人工智能框架。在这方面，人工智能框架400可以包括深度学习网络，并且框架的各个方面可以由处理器134、处理器电路210执行，和/或可以包括类似于先前描述的指令266的指令。图4所示的人工智能框架400的实施例包括从诸如超声扫描器405、图片存档和通信系统(PACS)410或其他图像存储系统415等各种来源接收的各种输入图像407。框架400可以包括具有预处理器422和深度学习网络424的分析模块420。在一些实施例中，分析模块420能够实施在主机130(图1)和/或处理器电路210(图2)中。人工智能框架400可以生成标签430作为输出。深度学习网络400可以被训练为识别患者解剖体或任何其他结构内的多个器官或者可以处理源自多个器官的图像。在一些实施例中，深度学习网络400还可以是或包括多个深度学习网络，每个深度学习网络被训练为识别患者解剖体或一个结构内的一个器官，或者可以处理源自单个器官的图像。
输入图像407可以是描绘患者解剖体内的感兴趣区域的超声图像。输入图像407可以包括任意合适数量的超声图像。例如，输入图像407可以仅包括单个超声图像，或者可以包括多个超声图像，包括数十个、数百个或数千个超声图像，以及任何更高或更低数量的超声图像。输入图像407能够是由超声成像探头连续(例如实时)采集的帧的图像流。输入图像407能够在图像被采集时或在图像被采集之后从扫描器405(例如，扫描器405的存储器)发射到分析模块420。输入超声图像407可以包括利用任何合适的扫描窗口和/或探头取向捕获的图像。例如，图像407可以包括从一个角度显示感兴趣区域的一组图像，从不同角度显示另一组图像，等等。输入图像407可以是任何合适的类型或文件格式，以及任何合适的大小或分辨率。
分析模块420可以直接从超声扫描器405接收输入图像407。超声扫描器405可以是探头110、换能器阵列112和/或主机130，或者具有与探头110、换能器阵列112和/或主机130(图1)基本相似的特征。从超声扫描器405接收的输入图像407可以在任何时间由超声扫描器405采集。例如，超声扫描器405可以在系统100的用户的指引下或以其他方式采集若干输入图像407，并立即发射到分析模块420。在其他情况下，超声扫描器405可以将来自先前成像过程的输入图像407发射到分析模块420。
输入图像407还可以由分析模块420从PACS 410接收。PACS 410可以包括图1的存储器138、图1的存储器140、图2的存储器264或所描述的任何其他合适的组件。PACS 410可以存储与一个或多个患者相关的多个文件或其他数据。PACS 410可以包括有线或无线存储设备，例如服务器、便携形式的媒体存储器或任何其他形式的媒体存储。PACS 410可以包含来自多个患者和多个成像检查和/或其他医学检查或过程的患者信息。在一些实施例中，根据分析模块420和/或系统100的用户的请求，PACS 410可以向分析模块420发射任何合适数量的输入图像407。PACS 410可以发射来自任何患者的各种先前成像过程的输入图像407。在一些实施例中，根据超声医师和/或患者的应用和需要，输入图像407可以是描绘在当前过程中要被成像的同一患者内的同一感兴趣区域的超声图像，或者可以是描绘同一患者或不同患者的其他区域的图像。
如由其他图像存储系统415所示的，分析模块420还可以额外地接收其他来源的输入图像407。例如，其他图像存储系统415可以是便携式媒体存储设备，例如安全数字存储设备、通用串行总线存储设备、光盘或任何其他形式的便携式媒体存储器。其他存储系统415还可以包括基于云端的存储实施方式。
分析模块420能够包括预处理器422，所述预处理器422能够包括硬件(例如，电路组件)和/或软件算法(例如，由处理器执行)。预处理器422可以执行各种功能，以在将输入图像407发射到深度学习网络424之前调整、过滤或以其他方式修改接收到的输入图像407。例如，预处理器422可以操纵进入的图像。预处理器422可以出于训练和预测的目的执行各种图像处理步骤。预处理器422可以执行各种任务，例如改变图像的对比度、图像的大小、分辨取向、几何结构、裁剪、空间变换、调整大小、归一化、直方图修改或各种其他过程，以帮助深度学习网络424更高效或更准确地工作。
预处理器422还可以缓存和过滤传入的图像407，并提供通过缓存器或过滤器的传入的图像407的子集作为输出。例如，预处理器422可以确定接收和缓存的输入图像407之间的相似性度量(例如归一化的相关系数)，并且丢弃与缓存器中的其他图像过于相似的图像。以这种方式，预处理器422可以测量接收到的输入图像407之间的相关性，并且利用相似性度量来量化相似性。预处理器422可以被配置为编译已经满足相似性度量阈值的输入图像407，直到达到阈值数量的N个输入图像407为止。每次在预处理器处存储已经通过相似性标准的N个图像407时，该组或子集可以被传递到深度学习网络424进行处理，并且可以丢弃最旧的图像。
使用多于单个输入图像407可以增强对患者解剖体内感兴趣区域的识别。通过选择彼此具有足够区别的多个输入图像407，并将它们发射到深度学习网络，深度学习网络424可以产生对解剖扫描窗口、探头取向、患者位置和/或其他参数的更稳健的估计。在单个组或子集中发射到深度学习网络424的输入图像407的数量可以是任何合适的数量。例如，预处理器可以发射单个图像407，或者可以发射2个、3个、4个、10个、100个或更多个图像407或其间的任意数目。选择和发射输入图像407的过程可以发生在所示框架400的训练阶段或推理阶段。
在一些实施例中，预处理器422可以额外地使用图像处理技术、深度学习网络技术或任何其他合适的技术来识别当前图像中描绘的任何结构。预处理器422可以使用与以下专利中描述的那些特征类似的一些特征来识别超声图像内的结构：标题为“Anatomicallyintelligent echocardiography for point-of-care”的美国专利No.10,424,044；标题为“Real-time volumetric bi-plane ultrasound imaging and quantification”的美国专利No.7,794,398；标题为“Interactive image segmentation”的美国专利No.8,698,795；标题为“Physiological model based non-rigid image registration”的美国专利No.7,117,026；标题为“System and method for automated initialization andregistration of navigation system”美国专利No.10,290,076；标题为“Method forfacilitating post-processing of images using deformable meshes”的美国专利No.8,144,950；以及标题为“3D ultrasound imaging system”的美国专利No.10,709,425，所有这些全部通过引用并入本文。结构可以是患者身体内的解剖体，例如器官。在一些实施例中，深度学习网络424可以包括多个人工智能网络，每个人工智能网络被训练为识别患者解剖体内的各种常见结构的超声图像的参数。在识别被成像的结构之后，预处理器可以将输入图像407发射到适当的对应深度学习网络。例如，如果在预处理器422处分析的一组输入图像407描绘了肝脏，则预处理器422可以确定输入图像407之间的相似性度量，并且选择彼此足够不同的输入图像407的子集，并且将图像407发射到被训练为识别描绘肝脏的超声图像的参数的深度学习网络424。类似地，描绘心脏的图像407的经过滤子集可以被发射到针对描绘心脏的图像而训练的深度学习网络424。在其他实施例中，单个深度学习网络424可以识别超声图像的图像参数，而与图像中所描绘的任何结构无关。
深度学习网络424可以接收由预处理器422修改和过滤的图像407的子集作为输入。深度学习网络424能够包括硬件(例如，电路组件)和/或软件算法(例如，由处理器执行的)。然后，深度学习网络424可以识别与接收到的超声图像407相关联的各种参数，这将在下文中更详细地描述。由深度学习网络424识别的参数可以包括超声探头的解剖扫描窗口、探头的取向、成像时的患者位置和/或其他参数。在一些实施例中，除了输入图像407之外，深度学习网络424还可以接收其他输入，例如患者的IMU数据或生理测量值。这些额外的输入可以从预处理器422、直接从探头110(图1)或患者传感器142(图1中)、或者从任何其他合适的来源接收。在一些实施例中，深度学习网络424可以确定与每个输入图像407相关联的扫描窗口、探头取向和/或患者位置。在其他实施例中，深度学习网络424可以确定与输入图像407的子集相关联的扫描窗口、探头取向和/或患者位置，而不是单独地确定每个图像。深度学习网络424可以是如前所述的任何合适的形式或类型。
深度学习网络424可以生成标签430作为输出，反映输入图像407的参数或输入图像407的子集，包括解剖扫描窗口、探头取向和/或患者位置。标签430可以是任何合适的类型。例如，标签可以包括视觉表示，例如任何类型或长度的任何字母数字文本、符号、图像或任何其他表示。此外，标签可以包括任何合适的声音或者向系统的用户传达所确定的参数的任何其他方法。输出430能够从分析模块420发射到显示器和/或存储器(例如，作为扫描器405、PACS 410和/或存储器415的一部分或与之通信的显示器或存储器)。
在一些实施例中，深度学习网络424能够包括卷积神经网络(CNN)。例如，CNN能够是或包括多类分类网络，或者编码器-解码器类型的网络。在某些情况下，分析模块能够实施随机森林算法而不是深度学习网络。
图5是根据本公开各方面的卷积神经网络(CNN)配置500的示意图。例如，CNN配置500能够实施为深度学习网络424(图4)。在实施例中，配置500可以执行分类任务。配置500可以是任何合适的类型，并且可以包括任何合适类型或数量的层，包括但不限于卷积层、全连接层、展平向量、或人工智能系统的任何其他技术或实施方式。参考图5示出和/或描述的实施例，能够按比例缩放为包括任何合适数量的CNN(例如，约2个、3个或更多个)。配置500能够被训练为用于识别与接收到的超声图像相关联的各种解剖扫描窗口、探头取向和/或患者位置，如下面更详细描述的。
CNN可以包括一组N个卷积层510，其中，N是任何正整数，每个层后面跟随有池化层515。CNN还可以包括一组K个完全连接层520，其中，K可以是任何正整数。在一个实施例中，完全连接层520包括至少两个完全连接层520。卷积层510被示出为510(1)到510(N)。池化层515被示出为515(1)至515(N)。完全连接层520被示出为520(1)至520(K)。每个卷积层510可以包括被配置为从输入505(例如，超声图像或其他额外数据)提取特征的一组过滤器512。卷积层510可以包括不同大小和步长的卷积核。值N和K以及过滤器512的大小可以根据实施例而变化。在一些情况下，卷积层510(1)到510(N)、池化层515(1)至515(N)和完全连接层520(1)到520(K-1)可以利用S形、整流非线性(ReLU)、leakyReLU、softmax或双曲正切激活函数。池化层515可以包括最大池化或平均池化技术。完全连接层520可以将高维度输出逐渐缩小到预测结果的维度(例如，分类输出530)。因此，完全连接层520也可以称为分类器。在一些实施例中，完全卷积层510可以额外地称为感知或感知层。完全连接层520可以对接收到的信息进行下采样并将其映射到有限数量的类别532。在实施例中，最终的完全连接层520(K)可以跟随有诸如softmax的最终分类层，以将最终输出层中的净激活转换为能够被解释为概率的一系列值。
分类输出530可以基于输入图像505指示针对多个类别532中的每一个的置信度得分或概率。在这方面，CNN 500能够是多类别分类网络。在范例性实施例中，多个类别532中的每一个都是扫描窗口与探头取向的组合，如下面的表1中所示。标签1可以是一个这样的组合(例如，右侧肋下横向)，标签2是另一个组合(例如右侧肋下纵向)，等等。输出530指示输入图像505属于具体类别532的可能性。例如，针对标签1的高置信度得分和针对其他标签的低置信度得分指示针对输入图像505的CNN 1400的输出标签是标签1(右肋下横向)。置信度得分可以是任何合适的类型。在一个实施例中，置信度得分可以是概率(例如，0和1之间的十进制值)。以这种方式，CNN的输出可以是针对每个可能的选项的可能性值。具有最高可能性的选项将被分配给图像。在一些情况下，将最高可能性值与阈值进行比较，并且如果该值满足阈值，则将输出标签分配给图像。例如，如果最高可能性值超过最小阈值，则将输出标签分配给图像。如果最高可能性值低于最小阈值，则不会选择或分配任何选项，或者将分配专用的“未知”标签。如果图像被存储/存档，则标签能够与图像一起存储，例如存储在DICOM标题中。
在深度学习网络包括编码器-解码器网络的实施例中，网络可以包括两个路径。一个路径可以是收缩路径，其中，诸如图像505的大图像可以由几个卷积层510卷积，使得图像505的大小在网络的深度上改变。然后，图像505可以表示在低维空间或平的空间中。从这种平的空间，额外路径可以将平的空间扩展到图像505的原始大小。在一些实施例中，所实施的编码器-解码器网络也可以被称为主成分分析(PCA)方法。在一些实施例中，编码器-解码器网络可以将图像505分割成补丁。
在一些实施例中，由深度学习网络生成的输出标签可以是表示在输入图像505的采集期间使用的解剖扫描窗口和探头取向的序数(1、2、3等)的形式。超声成像系统100可以访问将序数值与扫描窗口和探头取向组合相关联的数据库或表。一些序数标签以及对应的扫描窗口和探头取向组合的范例如下表1中所示：
标签 对应的扫描窗口和探头取向
1 右侧肋下横向
2 右侧肋下纵向
3 右侧肋下斜向
4 右侧肋间横向
5 右侧肋间纵向
6 右侧肋间斜向
7 左侧肋下横向
8 左侧肋下纵向
9 上腹部横向
10 上腹部纵向
11 右侧纵向
… …
表1：分配给扫描窗口和探头取向的范例性标签
表1可以对应于可能的扫描窗口和探头取向，用于对患者解剖体(如肝脏)内的一个具体结构或感兴趣区域进行成像。在一些实施例中，超声成像系统100可以访问类似于表1的多个表，这些表将序号标签与对应的扫描窗口和探头取向相关联。每个表可以对应于患者解剖体内的不同结构或感兴趣区域。在其中针对单个感兴趣区域训练单独的深度学习网络的实施例中，每个深度学习网络可以从与该感兴趣区域相关联的单个查找表中检索信息。在其中针对多个感兴趣区域训练单个深度学习网络的实施例中，深度学习网络可以根据被成像的感兴趣区域访问不同的查找表。在其他实施例中，单个查找表可以对应于要成像的所有感兴趣区域。
在一些实施例中，能够实施两个CNN，以分别识别扫描窗口和探头取向。在这种情况下，CNN的各个输出是两个不同的值，例如分别对应于扫描窗口和探头取向的两个单独的序数标签。对应单独的扫描窗口标签和探头取向表的表格的范例在下表2中示出：
表2：分配给扫描窗口的范例性标签和分配给探头取向的标签
在另一个实施例中，能够实施单个CNN来识别在两组独立的标签中的扫描窗口和探头取向。在这种情况下，最后一个完全连接层520(k)可以被连接到两组独立的分类输出530(1)和530(2)，每个组具有它们自己组的标签532(1)和532(2)，其中，532(1)可以对应于扫描窗口标签532(2)，并且可以对应于探头取向标签。
在额外实施例中，可以将探头取向预测或估计为三个连续变量，表示探头相对于患者的标准坐标系的旋转，而不是将探头取向限制为由有序数标签表示的离散值。患者的标准坐标系可以由三个轴定义：左右轴、前后轴和头尾轴。然后，可以相对于患者坐标系来确定在图像采集时探头的位置。这种取向确定可以使用IMU数据或光学图像数据来进行。在从超声探头接收IMU数据的实施例中，超声探头可以配备有取向测量工具，例如加速度计、陀螺仪或其他测量工具，以确定探头相对于重力向量的取向。然后，可以根据患者位置将该取向转换为患者轴线。作为连续三值坐标的探头取向也可以基于在超声图像采集时拍摄的光学相机图像来确定。可以使用各种图像处理技术来估计相对于患者坐标系的探头取向。所估计的探头取向坐标也可以在超声图像采集之后的时间进行微调。例如，光学相机图像可以被存储在存储器138或存储器140内，并且与所采集的超声图像相关联，以供稍后查看。关于探头相对于患者位置的取向的额外细节将在下文中更详细地描述。
在将探头取向估计为连续三值坐标的实施例中，图5所示的深度学习网络500可以包括回归任务。例如，完全连接层520可以执行回归任务。在一些实施例中，深度学习网络可以输出与取向相对应的一个连续三值坐标和与平移相对应的第二连续三值坐标，以及与图像采集时探头的位置相关的任何其他坐标。将探头取向确定为连续变量可以利用与2020年11月10日提交的标题为“Ultrasound Screening Coverage Tool”的PCT/EP2020/081548号申请中描述的特征类似的一些特征，该申请通过引用整体并入本文。将探头取向确定为连续变量也可以利用与2020年1月7日提交的标题为“Patient Model Estimation forInterventions”的E.P.申请No.20150464.4中描述的特征类似的一些特征，该申请也通过引用整体并入本文
图6是根据本公开各方面的分析来自成像过程的超声图像的方法600的流程图以及分析和比较来自额外成像过程的超声图像的方法650的流程图。如图所示，方法600和650包括多个列举的步骤，但是方法600的实施例可以包括在列举的步骤之前、之后或之间的额外步骤。在一些实施例中，列举的步骤中的一个或多个可以被省略、以不同的顺序执行或同时执行。方法600和650的步骤能够由诊断系统100内的任何合适的组件执行，并且所有步骤不需要由相同的部件执行。在一些实施例中，方法600和650的一个或多个步骤能够由诊断系统100的处理器电路(包括例如处理器260(图2)或任何其他组件)执行，或在其指引下执行。
在步骤605处，方法600包括采集基线超声图像。如图所示，步骤605到620可以在时间点T1处执行。在时间点T1处，可以采集基线超声图像。该基线可以与解剖扫描窗口和/或探头取向相关联。可以由超声成像系统100的用户基于针对具体感兴趣区域的成像而推荐的扫描窗口和/或探头取向来选择扫描窗口和/或探头取向。扫描窗口和/或探头取向也可以基于由系统100的用户确定的成像计划来进行，或者可以任意选择。
在步骤610处，方法600包括分析所采集的超声图像以确定解剖扫描窗口和/或探头取向。在步骤610处，可以使用先前描述的深度学习网络技术自动生成扫描窗口和/或探头取向标签。超声成像系统可以使用深度学习网络来分析所采集的超声图像的内容，并从图像本身来确定扫描窗口和/或探头取向。
在步骤615处，方法600包括利用解剖扫描窗口和/或探头取向注释所采集的超声图像。超声图像的注释可以以任何合适的方式进行。例如，诸如字母数字文本或图形表示之类的视觉表示可以被嵌入所采集的超声图像内，或者创建为单独的数据并与超声图像相关联。
在步骤620处，方法600包括将所采集的超声图像与解剖扫描窗口和/或探头取向一起存储。超声图像和扫描窗口和/或探头取向可以被存储在任何合适的介质存储设备上，包括主机130内的存储器138或存储器140(图1)。超声图像和扫描窗口和/或探头取向也可以被存储在PACS 410中(图4)。
图6还示出了方法650。方法650的步骤可以在执行方法600的步骤之后执行。例如，包括步骤605到620的方法600可以在时间点T1处执行。包括如图所示的步骤655至685的方法650可以在时间点T2处，即在T1之后的时间点处执行。方法650的步骤655至685也可以执行任意次数，包括在T2之后的额外时间点T3处、在T3之后的时间点T4处、等等。在一些实施例中，图6所示的时间点T1、T2、T3等的成像过程图示了对患者内的感兴趣区域的纵向研究。具体地，根据方法600在时间点T1处成像的相同感兴趣区域可以根据方法650在随后的时间点处成像。这种纵向研究可以允许超声医师或医生长时间监测感兴趣区域的变化。根据方法600和650，在连续成像过程之间可以经过任意长度的时间。例如，两次成像过程之间的时间可能是几分钟、几小时、几天、几周、几个月或几年。
在步骤655处，方法650包括检索在先前时间点处的先前成像过程的解剖扫描窗口和/或探头取向。在一些实施例中，扫描窗口和/或探头取向，以及根据应用的患者位置和/或其他参数，可以是与先前描述的方法600的步骤620中存储的相同的扫描窗口、探头取向和/或其它参数。在步骤655处检索的扫描窗口和/或探头取向可以成为由方法650描述的过程的期望值或目标值。
在步骤660处，方法650包括显示先前的解剖扫描窗口和/或探头取向。可以通过任何合适的方法将扫描窗口和/或探头取向传送给超声医师。例如，扫描窗口和/或探头取向可以被显示为视觉表示。具体而言，它们能够被显示为字母数字文本的形式，或者显示为诸如符号或图像等图形表示。扫描窗口和/或探头取向也可以经由音频传送给超声医师。关于图6中的步骤660示出了字母数字文本631的范例。这种字母数字文本可以指示扫描窗口，例如所示的“右侧肋间”，或者任何其他扫描窗口，以及探头取向，例如所示的“横向”，或者任何其他探头取向。探头取向可以备选地或额外地被显示为如前所述的三值连续坐标。扫描窗口和/或探头取向可以额外地或备选地被示出为类似于图形表示632的图形表示。图形表示632可以包括对患者633的描绘。一些实施例中，患者633的位置可以经由对患者633的描绘而在视觉上进行显示，使得超声医师可以识别出患者例如在先前成像时处于仰卧位置。系统100还可以经由结合字母数字文本631的字母数字文本来显示患者位置，或者可以经由任何其他符号、声音的或以其他方式来传达位置。图形表示还可以包括指示符634。指示符634可以将扫描窗口和/或探头取向传达给超声医师。指示符634可以结合患者633结合示出。指示符634可以指示与扫描窗口和/或患者位置相对应的患者身体上的位置。指示符可以是或包括任何合适的符号、颜色、字母数字文本、图案或任何其他特征，以向超声医师指定信息。
在步骤665处，方法650包括采集额外的超声图像。超声医师可以使用在步骤660处显示的解剖扫描窗口、探头取向和/或患者位置来将超声探头定位在与先前成像过程中的探头的位置相似的位置，并且可以采集图像。在一些实施例中，包括用于在步骤665处采集图像的探头的成像系统可以是与用于在步骤605处采集先前的图像相同的成像系统和探头，或者超声医师可以使用与先前在步骤605处使用的不同的成像系统和/或探头。在一些实施例中，方法650的步骤660可以不在步骤665之前执行。例如，超声医师可以在没有先前扫描窗口、探头取向和/或患者位置的任何引导或指示的情况下采集图像。在一些实施例中，超声医师可以选择检索和查看先前的扫描窗口、探头取向和/或患者位置，也可以不选择检索和查看。
在步骤670处，方法650包括分析额外的超声图像，以确定解剖扫描窗口和/或探头取向。系统100可以使用任何合适的深度学习网络，如图4的网络424或参考图5描述的结构，以基于所采集的超声图像来自动识别诸如扫描窗口、探头取向的图像参数和/或图像的患者位置。分析在步骤665处采集的超声图像的步骤670可以包括先前参考方法300的步骤310或方法600的步骤610所描述的任何特征。
在步骤675处，方法650包括将额外的超声图像的解剖扫描窗口和/或探头取向与先前超声图像的扫描窗口和/或探头取向进行比较。可以将在步骤670处估计的扫描窗口、探头取向和/或患者位置与在步骤655处检索的扫描窗口和/或探头取向和/或患者位置进行比较。系统100可以确定在当前时间点采集的图像的扫描窗口是否与在时间点T1处采集的扫描窗口匹配，并且类似地比较来自不同时间点的探头取向和患者位置。
在步骤680处，方法650包括向用户显示基于额外的超声图像的解剖扫描窗口和/或探头取向与先前超声图像的扫描窗口和/或探头取向的比较的反馈。任何合适的指示符可以用于向超声医师传达比较结果。例如，可以使用先前提到的任何通信方法。如果与图像的任何参数相对应的标签不同，则指示符可以包括要传送给超声医师的警告。指示符可以指示哪些参数相同，哪些参数不同。例如，在当前成像过程采集的图像的扫描窗口可以与时间点T1的过程不同，但当前过程和先前过程的探头取向可以匹配。如由关于步骤680在图6中示出的视觉表示651所示，基于参数的比较显示反馈的视觉表示652可以包括与被分析的参数相关的文本652和与每个参数相关联的指示符653。例如，如果当前图像的扫描窗口与在步骤655处检索的先前图像的扫描窗口匹配，则可以显示指示符656。指示符656可以是不同的颜色、图案、形状，或者具有指示扫描窗口匹配的任何其他视觉特征。例如，如果当前图像的探头取向不同于在步骤655处检索的先前探头取向，则可以显示指示符657。指示符也可以是任何颜色、图案、形状或其他视觉特征，但可以不同于指示符656，以区分两者。在一些实施例中，视觉表示651还可以包括与患者位置以及当前患者位置与先前过程的患者位置的相似度或差异性有关的文本和/或指示符。在步骤680处，系统100可以额外地或备选地显示诸如文本658的字母数字文本，以传达当前超声图像和先前超声图像的参数是否存在差异，如图所示。
在步骤665处采集的当前超声图像的一个或多个参数与在步骤655处检索的先前超声图像的任何参数不同的情况下，方法可以返回到步骤665，如箭头所示。在步骤665处，超声医师医生可以基于在步骤680处接收的比较来调整超声探头相对于患者解剖体的定位。超声医师还可以调整患者位置。然后，超声医师可以采集额外的超声图像。在步骤670处，系统100可以再次分析所采集的超声图像，以确定解剖扫描窗口、探头取向和/或患者位置。在步骤675处，系统可以将与在步骤665处再次采集的图像相关联的新确定的参数与步骤655的原始图像参数进行比较。在步骤680处，系统则可以基于新的比较来显示反馈。以这种方式，创建环路，允许超声医师在调整超声探头的同时重复获得患者解剖体的新的超声图像，直到扫描窗口、探头取向和/或患者位置与在步骤655处检索的先前成像过程的扫描窗口、探头取向和/或患者位置匹配为止。
在步骤685处，方法650包括存储额外超声图像及其相关联的扫描窗口和/或探头取向。当系统100指示扫描窗口、探头取向和/或在一些实施例中的患者位置与先前超声图像的相同参数匹配时，可以将新图像与扫描窗口、探头取向和/或患者位置一起存储。这个新图像及其相关联的参数可以被存储在与先前图像和参数相同的位置，或者可以被存储在不同的位置。新图像和相关联的参数可以以这样的方式存储，即，它们可以在随后的成像过程中被检索。在随后的成像过程中，新图像和参数可以确定期望值，以引导超声医师进行相同的探头定位。如参考图3所述，在一些实施例中，即使在参数与先前过程的参数不匹配时，超声医师也可以具有覆盖方法650并存储图像和相关联的参数的能力。类似地，尽管与图像相关联的所有参数可以与先前的过程相匹配，但是超声医师可以指引系统100返回到方法650的步骤665，以采集、分析和比较额外的超声图像。
图7是根据本公开各方面的用于超声成像系统的图形用户界面700的图解视图，所述图形用户界面700在额外成像过程中的图像采集之前比较超声图像的参数。参考图6中方法650的步骤660，图7中所示的界面可以对应于在步骤660处显示给系统100的用户的范例性用户界面，其中，可以显示先前成像过程的解剖扫描窗口和/或探头取向。界面700包括超声图像705、传记数据715、文本725、患者位置表示730、框710、传记数据720和标题740。
超声图像705可以是在先前成像过程中采集的超声图像。图像705可以描绘在目前过程中要被成像的感兴趣区域。图像705可以对应于可以用作针对本过程的目标参数的解剖扫描窗口和/或探头取向。在一些实施例中，图像705可以不显示在界面700内。图像705可以用与图像705相关联的扫描窗口和/或探头取向来注释，或者可以额外地用任何其他数据、度量、备注或其他信息来注释。
在超声图像705下方示出的传记数据715可以指示与图像705相关的数据、与图像705相关联的参数，例如解剖扫描窗口和/或探头取向，或者可以指示与采集图像705和/或相关联参数的成像过程相关的任何其他数据。例如，如图所示，传记数据715可以指示成像过程的日期或采集图像705的日期。它还可以指示采集图像705的时间。传记数据715可以包括额外信息，例如但不限于，用于获得图像705和相关联参数的设备、执行成像过程的医生或超声医师、与成像过程相关的任何备注、或任何其他合适的信息。传记数据715可以位于用户界面700内的任何合适的位置，包括相对于图像705的任何位置。
位于超声图像705上方的文本725可以向用户传达与超声图像705相关联的参数。例如，如图所示，文本725可以指示与图像705相对应的解剖扫描窗口和/或探头取向。文本725可以额外地包括与诸如患者位置的其他参数有关的信息。如前所述，除了探头位置文本之外或代替探头位置文本，文本725还可以包括指示探头位置的各种连续可变坐标。类似于传记数据715，文本725可以位于用户界面700内的任何合适的位置，包括相对于图像705的任何位置。
文本725上方示出的患者位置表示730还可以向用户指示采集图像705时患者的患者位置。位置表示730可以是任何合适的指示符，包括符号、字母数字文本或图像。在一些实施例中，模型患者的一般图像可以被显示在成像时实际患者所处的位置中。在一些实施例中，表示730可以是成像过程时实际患者的光学相机图像。指示患者位置的文本可以伴随表示730，也可以不伴随表示730。
与图像705相邻示出的框710可以是用于来自当前成像过程的超声图像的界面700内的保留空间。但是，如前所述，界面700可以对应于在已经采集了任何新的超声数据或图像之前的时间，因此当前超声图像可能不可用。
在用户界面700的背景下，传记数据720可以向用户指示当前日期和时间。可以在接收到在当前成像过程期间采集的额外超声图像时更新该数据。在一些实施例中，图形用户界面700可以不包括传记信息720。传记信息720可以包括参考传记信息715但是对应于与图像705相反的成像过程的当前成像过程描述的任何信息。
标题740可以向系统100的用户传达额外的明确信息。例如，标题740可以包括患者的姓名以及患者身份证号码。在一些实施例中，标题740可以包括额外信息，例如患者的出生日期、年龄或其他信息。此外，标题740可以包括患者的生理信息，包括患者的身高、体重、心率、呼吸速率、医学状况、过敏、或与被要成像的患者有关的任何其他合适的信息。
图8是根据本公开各方面的用于超声成像系统的图形用户界面800的图解视图，所述图形用户界面800比较超声图像的参数并指示参数之间的差异。图形用户界面800可以反映在当前成像过程中已经采集了超声图像之后显示给超声系统100的用户的范例性界面。图8中所示的在界面700(图7)中所示的相同图像705，以及之前示出和描述的相同的传记信息715、文本725、患者位置表示730和标题740。然而，图8还描绘了新的超声图像810、更新后的传记信息820、文本825、患者位置表示830、文本835、比较信息840、以及指示符842和844。
新的超声图像810可以是在当前超声成像过程期间采集的一个或多个超声图像(例如，超声图像流中的一个或者多个图像帧)。在查看针对先前成像过程的解剖扫描窗口和/或探头取向的用户界面700之后，超声医师可以尝试将超声探头放置在类似的位置，以获得具有与先前图像705相同的扫描窗口和(或)探头取向的图像。图像810可以在先前由图7所示的框710占据的界面800的空间中显示给用户。一旦超声医师对超声探头的定位感到满意，他们就可以向系统100指示记录超声图像810。在一些实施例中，当连续获得当前图像流时，处理器电路将当前超声图像流的扫描窗口和/或探头取向与先前超声图像的扫描窗口或探头取向进行比较。在一些实施例中，处理器电路将仅来自当前图像流的所记录的超声图像的扫描窗口和/或探头取向与先前超声图像的扫描窗口和/或探头取向进行比较。
在采集和/或记录图像810后，系统100可以用更新后的传记信息820替换图7中的传记信息720。更新后的传记信息820可以反映由系统100采集图像810的日期和时间。如果需要，系统100还可以更新更新后的传记信息820的任何其他信息。
同样，在采集和/或记录图像810之后，如参考图3的方法300和图6的方法600和650所述，系统100可以对图像810执行分析，以确定与图像810相关联的解剖扫描窗口和/或探头取向，以及任何其他参数。文本825可以向超声医师指示图像810的扫描窗口和/或探头取向。类似于先前描述的文本725，文本825可以包含任何合适的信息并且位于界面800内的任何合适的位置。
患者位置表示830可以向用户指示采集图像810时患者的位置。类似于患者位置表示730，表示830可以是任何合适的指示符，包括患者的光学图像，并且可以伴随或者不伴随描述患者位置的额外文本。它也可以被定位在界面800内的任何合适的位置。
在图像810被采集并将显示给用户之后，并且在解剖扫描窗口和/或探头取向以及任何其他参数由系统100自动确定之后，系统100将图像705的扫描窗口和/或探头取向与新采集的图像810的扫描窗口和/或探头取向进行比较。比较的结果可以与比较信息840一起显示。比较信息840可以包括任何合适类型的通信，包括声音的、视觉、或其他表示，包括字母数字文本、符号、图像、或任何其他通信手段。在图8所示的实施例中，比较信息840可以包括与所比较的每个参数相关的文本。例如，比较信息840可以包括与扫描窗口相关的文本和/或与探头取向相关的文本。在一些实施例中，它还可以包括与患者位置相关的信息。
被比较的每个参数都可以伴随指示符。例如，如图所示，文本“扫描窗口”伴随有指示符842，并且文本“探头取向”伴随有指示符844。与患者位置相对应的文本也将伴随有类似的指示符。
在图8所示的范例中，指示符842可以指示图像705和图像810的相关联参数不匹配。这种差异也通过文本725和文本825中的差异来示出。具体地，图像705的解剖扫描窗口和图像810的解剖扫描窗不相同。图像705的扫描窗口是右肋下，而图像810的扫描窗口则是左肋下。指示符844可以指示图像705和图像810的相关联参数确实匹配。这种参数的匹配在文本725和文本825中由相同的术语“横向”示出。具体地，图像705的探头取向和图像810的探头取向都是横向的。自然地，任何扫描窗口或探头取向都可以由文本725和825指示，并且可以在比较信息840中产生变化的结果。
文本835可以用作传达与图像705和图像810相关联的参数的比较结果的额外或备选的手段。在图8所示的范例中，文本835可以提供与图像705和810之间的解剖扫描窗口的差异有关的信息。在一些实施例中，如果参数在图像之间不同，则可以将警告显示为文本835。在一些实施例中，文本835可以仅传达与不同的参数有关的信息。在其他实施例中，文本835可以传达与所有参数有关的信息，无论这些参数在图像705和810之间是否不同。
图9是根据本公开各方面的用于超声成像系统的图形用户界面的图解视图，所述图形用户界面比较超声图像的参数并指示参数之间的差异。类似于图形用户界面800，图形用户界面900可以反映在当前成像过程中已经采集了超声图像之后向超声系统100的用户显示的范例性界面。图9中所示的是界面700(图7)中所示的相同图像705，以及相同的传记信息715、文本725、患者位置表示730、标题740、更新后的传记信息820、以及患者位置表示830。然而，图9还描绘了新采集的图像910、文本925、比较信息940、指示符942和944、以及文本935。
与图8的图像810类似，新的超声图像910可以是在目前超声成像过程期间采集的超声图像。系统100的用户可以基于图像705的解剖扫描窗口和/或探头取向，或者响应于采集具有与目标参数不匹配的扫描窗口和/或探头取向的图像而采集新图像910。在采集图像910之后，可以向用户显示图像910。
如前所述，在采集图像910之后，系统100可以执行分析，以确定与图像910相关联的解剖扫描窗口和/或探头取向，以及任何其他参数。文本925可以向超声医师指示图像910的扫描窗口和/或探头取向。文本925可以共享任何先前提到的文本725或825的特征。
在图像910被采集并显示给用户之后，并且在确定解剖扫描窗口和/或探头取向之后，系统100将图像705的扫描窗口和/或探头取向与新采集的图像910的扫描窗口或探头取向进行比较。比较的结果可以与比较信息940一起显示。比较信息940可以类似于比较信息840，并且可以包括任何合适类型的通信，包括声音的、视觉的、或其他表示。例如，比较信息940可以包括与扫描窗口相关的文本和与探头取向相关的文本。它还可以包括与患者位置相关的信息。
在图9所示的范例中，指示符942可以指示图像705和图像910的相关联参数不匹配。这种差异也通过文本725和文本925中的差异来示出。具体地，图像705的探头取向和图像910的探头取向不相同。图像705的探头取向是横向的，而图像910的探头取向是纵向的。指示符944可以指示图像705和图像910的相关联参数匹配。参数的这种匹配由文本725和文本925中相同的术语“右肋下”表示。具体地，图像705的解剖扫描窗口和图像810的解剖扫描窗都是横向的。
文本935可以用作传达与图像705和图像910相关联的参数的比较结果的额外或备选的手段。在图9所示的范例中，文本935可以提供与图像705和910之间的探头取向差异有关的信息。
图10是根据本公开各方面的用于超声成像系统的图形用户界面的图解视图，所述图形用户界面比较超声图像的参数并指示参数是相同的。类似于图形用户界面800和/或900，图形用户界面1000可以反映在目前成像过程期间已经采集了超声图像之后向超声系统100的用户显示的范例性界面。图10中所示描绘了许多与图8和/或图9类似的元素。然而，图10描绘了新采集的图像1010、文本1025、比较信息1040、指示符1042和1044、以及文本1035。
与图8的图像810和图9的图像910类似，新的超声图像1010可以是在目前超声成像过程期间采集的超声图像。系统100的用户可以基于图像705的解剖扫描窗口和/或探头取向，或者响应于采集具有与目标参数不匹配的扫描窗口和/或探头取向的图像而采集新图像1010。在采集图像1010之后，可以向用户显示图像1010。
如前所述，在采集图像1010之后，系统100可以执行分析，以确定与图像1010相关联的解剖扫描窗口和/或探头取向，以及任何其他参数。文本1025可以向超声医师指示图像1010的扫描窗口和/或探头取向。文本1025可以共享任何先前提到的文本725、825或925的特征。
在图像1010被采集并显示给用户之后，并且在确定解剖扫描窗口和/或探头取向之后，系统100将图像705的扫描窗口和/或探头取向与新采集的图像1010的扫描窗口和/或探头取向进行比较。比较的结果可以与比较信息1040一起显示。比较信息140可以类似于比较信息840或940，并且可以包括任何合适类型的通信，包括声音的、视觉的或其他表示。例如，比较信息1040可以包括与扫描窗口相关的文本和与探头取向相关的文本。它还可以包括与患者位置相关的信息。
在图10所示的范例中，指示符1044可以指示图像705和图像1010的相关联的参数匹配。具体地，图像705的解剖扫描窗口和探头取向以及图像1010的扫描窗口和探头取向在文本725和文本1025中都是“右肋下横向”。
文本1035可以用作传达与图像705和图像1010相关联的参数的比较结果的额外或备选的手段。在图10所示的范例中，文本1035可以指示图像705和1010的解剖扫描窗口和探头取向均相同。
在一些实施例中，任何所描述的图形用户界面，包括界面700、800、900和1000，都可以描述生理状况，如心率和呼吸速率，以及其他状况。这些生理状况可能影响造影剂在患者体内的冲洗、冲刷阶段，这些阶段用于更好地可视化解剖体。这种生理信息也能够由系统100记录(例如，使用图1中的患者传感器142)，或者基于在成像中看到的运动进行估计。这些生理状况也可以与之前的值进行比较，并用于引导后续采集，从而考虑到并最小化它们对结果的影响。在一些实施例中，生理状况测量值可以使用先前描述的深度学习网络来估计，或者生理状况测量值可以是深度学习网络的额外输入。在其他实施例中，生理状况测量值的估计或使用可以集成在不同的深度学习网络中，所述不同的深度学习网络与负责估计诸如解剖扫描窗口和/或探头取向的超声图像参数的网络分离。在由深度学习网络估计生理状况的实施例中，网络可以负责检测运动以输出估计的生理测量值。
训练深度学习网络可以通过各种不同的技术来完成。在一个实施例中，训练深度学习网络可以通过创建不同扫描窗口和/或探头取向的样目前超声图像的大数据集来实现。样本图像可以额外地从大量患者获得。在深度学习网络被训练为从描绘许多不同感兴趣区域的图像中识别诸如扫描窗口和/或探头取向之类的图像参数的实施例中，样本图像可以描绘各种各样的感兴趣区域。在训练多个深度学习网络的实施例中，每个深度学习网络可以负责识别仅描绘一个感兴趣区域的超声图像的图像参数。在这样的实施例中，为训练一个深度学习网络而选择的大量样本图像可以全部描绘相同类型的感兴趣区域，尽管每个样本图像仍将描绘各种扫描窗口和/或探头取向，并且可以从大量不同的患者获得。
作为训练的一个实施例的范例，为深度学习网络的训练选择的每个样本图像可以被分配变量Ik。每个图像Ik可以被分配标签Lk，其中，Lk对应于用于图像Ik的图像采集的解剖扫描窗口和/或探头取向。深度学习网络可以使用批量元组(Ik，Lk)进行分批训练，其中，Ik是可能预处理过的超声图像，Lk是表示在图像Ik的采集期间使用的解剖扫描窗口和/或探头取向的序数形式(1，2，3，…)的对应标签。在一些实施例中，扫描窗口和/或探头取向的标签也可以分离成两个独立的值[Sk，Pk]，其中，Sk对应于与图像Ik相关联的扫描窗口，Pk对应于与图像Ik相关联的探头取向。然后用元组(Ik，[Sk，Pk])执行训练，其中，[Sk，Pk]包括描述扫描窗口和/或探头取向的一组独立的值。可以添加与患者位置或与图像Ik相关联的任何其他参数相对应的额外的值。下面描述生成标签Lk的方法。
为了训练网络，可以生成随机的批量元组(Ik，Lk)。图像可以通过深度学习网络向前传播，为每个图像创建临时标签分配Lk’。可以定义损失函数来测量批量中所有标签的Lk和Lk’之间的误差大小。误差可以随后通过网络反向传播，优化器用于调整网络的参数，以改进后续预测。训练过程可以连续固定数量的迭代，或者直到满足某个收敛标准为止。例如，训练过程可以继续，直到对于指定数量的迭代，误差不再改善为止。
在一个实施例中，在深度学习网络的训练期间使用的损失函数可以测量估计的探头角度和/或探头的解剖扫描窗口是正确的还是不正确的。例如，给定深度学习网络可以被训练为识别的有限标签集，网络可以为每个类别分配概率。例如，网络可以为一个类别分配80％的概率，为另一类别分配1％的概率。损失函数随后可以确定误差度量，所述误差度量指示网络以高可能性预测正确标签和以低可能性预测错误标签的程度。损失函数可以包括各种其他特征或步骤。例如，在其中探头取向被定义为不同的三值坐标，而不是有限的标签集实施例中，损失函数可以包括与探头在任何定义的轴上的预测角度与探头的实际角度之间的角度或弧度差异有关的误差度量。
获得标签Lk的一种方法是让超声医师在图像采集时(前瞻性地)或在图像审查时(回顾性地)分配标签Lk。参考图11A和图11B对这种方法进行了更详细的描述。图11A是根据本公开各方面的用于在深度学习网络的训练阶段注释超声图像的图形用户界面1100的图解视图。负责注释在样本超声超声图像的训练集中选择的超声图像的用户，例如本领域的专家，可以查看并使用类似于界面1100的界面，以为每个图像分配标签。图形用户界面1100描绘超声图像1105、文本1110、包括模型1119和指示符1117的图形1115、以及选项1120。
可以使用超声系统100或任何其他类似的超声系统获得超声图像1105。图像1105可以描绘任何合适的感兴趣区域。超声医师可以向系统100指示检索超声图像1105，以进行显示。超声医师可以从对应于图像1105的各方面的各种选项1120中进行选择。例如，超声医师可以指示超声图像1105中所示的感兴趣区域和/或患者相对于超声成像探头的位置，以及超声图像的其他参数。当超声医师从可用选项1120中识别参数时，可以更新与超声图像1105相对应的数据。例如，如图11A所示，在专家超声医师在选项1120中选择突出显示的患者位置之后，图形1115可以反映该决定。
图形1115可以用作专家超声医师所选的选项1120的指示。它可以包括任何合适的视觉表示，包括字母数字文本、符号、模型和/或图像。在图11A所示的实施例中，图形1115描绘了模型1119。模型1119可以反映超声医师对选项1120的选择，并且可以指示在采集超声图像1105时的患者位置。图形1115可以额外地包括指示符1117。指示符1117可以说明与图像1105的标记有关的任何合适的信息。在一些实施例中，指示符1117可以说明在采集图像1105时超声探头相对于患者身体的估计位置。任何适当数量或类型的指示符可以包括在图形1115内，也可以传达任何适当的与图像1105相关的信息。
所示的覆盖在所采集的超声图像1105上的文本1110以及图形1115也可以向系统100的用户传达由专家选择的当前参数。例如，文本1110可以指示专家已经指示超声图像1105所描绘的感兴趣区域的类型。文本1110还可以描绘任何其他合适的信息，例如当时由专家用户选择的解剖扫描窗口和/或探头取向，或者与超声图像1105相关的其他信息。
应当注意，尽管图形1115和文本1110在图11的界面1100中示出为覆盖在图像1105上，但图形1115与文本1110可以定位在与图像1105相关的在界面1100内的任何合适的位置上。类似地，尽管选项1120被示出在图像1105下方，但是它们也可以定位在界面1100内的任何合适的位置上。
图11B是根据本公开各方面的用于在深度学习网络的训练阶段注释超声图像的图形用户界面1150的图解视图。图11B可以是与参考图11A描述的界面1100独立的界面。图形用户界面1150也可以是相同界面1100的可选择的或额外的视图。图形用户界面1150描绘可用于负责为所示的超声图像1105创建标签的专家超声医师的额外的或可选择的选项1155。
选项1155可以是任何合适的类型。在一些实施例中，选项1155可以是图11A中所示的专家超声医师可用的选项1120的备选选项。在一些实施例中，选项1120和/或选项1155可以是用户界面内的可选按钮。在一些实施例中，专家超声医师可以输入反映任何图像参数的文本，例如解剖扫描窗口、探头取向、患者位置和/或其他。图11B中所示的选项1155可以是包含文本的按钮。选项也可以包含类似于图11A中所示的选项1120的图像或符号。类似于图形用户界面1100，负责注释超声图像的本领域的专家可以查看并使用类似于界面1150的界面，以为每个图像分配标签。
能够使用跟踪系统来实施为图像Ik自动提供标签Lk的其他方法。在一些实施例中，跟踪系统能够是光学跟踪系统。光学相机跟踪可以涉及与超声成像系统结合使用的摄影设备。例如，光学相机个在图像采集期间获得患者和探头的图像。光学图像描绘探头在患者身体上的位置和患者的身体定位。基于探头位置和身体定位，处理器电路能够确定用于解剖扫描窗口和/或探头取向的标签Lk。例如，使用图像处理技术，处理器电路可以识别患者的头部和脚部以及患者的左区域和右区域，以创建患者的坐标系。处理器可以随后使用类似的图像处理技术来识别探头的坐标系。处理器电路随后可以比较这两个坐标系以识别探头取向。在一些实施例中，系统100还可以识别从摄影设备接收的图像内的各种特征，以确定扫描窗口。在这样的实施例中，系统100可以使用图像处理技术来识别肋骨或骨骼在患者解剖体内的位置，并确定探头1222相对于那些肋骨或其他骨骼的位置和方向。
在其他实施例中，电磁跟踪可以与两种成像模态(例如，超声和CT，或超声和MRI)一起使用，以自动为图像Ik提供标签Lk，如将参考图12更详细地描述的。图12是根据本公开各方面的用于在深度学习网络的训练阶段自动注释图像的计算机断层摄影(CT)或磁共振成像(MRI)和超声系统1200的图解视图。例如，系统1200可以自动为解剖扫描窗口和/或探头取向分配标签Lk。系统1200可以类似于系统。系统1200可以称为融合成像系统，因为它组合了来自两种不同成像模态(超声和CT/MRI)的图像数据。
图12描绘了患者1210、包括超声探头1222的超声系统1220、包括CT或MRI扫描器1255的CT或MRI系统1250、以及跟踪系统1215。超声系统1220和/或探头1222可以类似于本文所描述的超声系统100和/或探头110。图12还示出了由超声系统1220基于探头1222采集的超声数据生成的患者1210的超声图像1225，以及由CT/MRI系统1250基于CT/MRI扫描器1255采集的CT或MRI数据生成的患者1210的图像1235。图12中还示出了基于图像1235自动生成的标签1245，以及图像和标签对(或元组)1230。图像1235可以是CT图像或MRI图像。图像1235可以是3D图像，尽管为了简单起见仅示出了二维轴向截面。在其他实施例中，图像1235也可以是2D图像，并且能够是沿着患者1210的冠状平面或沿着任何其他合适的平面拍摄的。所示的系统1250可以是CT系统或MRI系统。类似地，扫描器1255可以是CT扫描器或MRI扫描器。CT和MRI成像系统两者的特征可以在本公开中实施，以获得图像1235。图像1235可以是CT图像、MRI图像或任何其他合适的图像。处理器电路自动分割图像1235，以识别患者身体内的结构1236，例如患者的肋骨。超声医师可以将超声探头1222放置在患者1210的解剖体上或患者1210的解剖体附近的合适位置。超声系统1220控制探头1222采集超声图像125，所述超声图像125本身可以是元组1230的图像Ik。
跟踪系统1215能够是基于磁场强度跟踪超声探头1222的电磁跟踪系统。跟踪系统1215相对于3D图像(例如CT或MRI图像1235)，配准并跟踪超声探头1222和由超声系统1220生成的超声图像1225的姿态(例如，位置和/或取向)。超声系统1220能够通过分析CT/MRI图像1235和超声图像1225(例如，在其上执行图像处理)，并自动匹配图像内的相同结构(例如，肋骨)，在空间上共同配准图像1235，和超声图像1225。系统1200能够包括类似于2020年5月14日授权的标题为“System and method for automated initialization andregistration of navigation system”的美国专利No.10,290,076中所描述的方面，该专利通过引用整体并入本文。
利用电磁跟踪系统1215进行的探头跟踪允许识别探头相对于患者的CT或MRI图像的位置和取向。这种相对于患者的CT或MRI图像的探头取向形成标签1245的一部分。由于图像1235和超声图像1225之间的空间共同配准，相对于图像中的结构(例如肋骨、骨骼)分割的(由电磁跟踪系统1215跟踪的)探头位置允许扫描窗口的。例如，位于分割后的胸腔下方的位置的被跟踪的探头位置将被识别为肋下窗口，而位于胸腔右侧的探头位置则被识别为右扫描窗口。这种扫描窗口形成标签1245的一部分。在图像1235中的对应位置处提供表示所确定的探头相对于患者身体1210的位置和取向的图示1237。标签1245是元组1230的标签Lk。元组1230可以针对训练集中的每个超声图像生成。每个元组1230可以包括超声图像1225(例如，图像Ik)、与扫描窗口和/或探头取向相关联的标签1245(例如标签Lk)、以及与图像的其他参数(例如，患者位置)相对应的任何其他值。
图13是根据本公开各方面的包括惯性测量单元(IMU)数据的CNN配置1300的示意图。CNN配置1300可以类似于参考图5描述的配置500。
配置1300的输入可以是超声图像1305。类似于网络配置500，CNN配置1300可以包括多个N个卷积层1310，每个层跟随有池化层1315。配置1300还可以包括多个完全连接层1320，如图13所示。作为输出，CNN配置1300可以在类似于图5的分类输出530的分类步骤1330处为输入图像1305分配标签。配置1300中所示的任何层以及输入和输出可以基本上类似于参考图5所描述的配置500的层、输入和输出。
图13中所示的配置1300可以接收IMU数据向量1350作为额外输入。IMU数据向量1350可以包括超声探头的取向信息(θ1，θ2，θ3)和加速度信息(a1，a2，a3)作为两组三个连续变量。IMU数据向量1350还可以包含与超声探头的位置相关的额外信息，例如旋转速度或磁场分量。许多超声探头配备有IMU传感器，以实时提供加速度计和陀螺仪数据。这种数据可以用于确定探头相对于重力的角度，并且用于确定探头围绕所有三个探头轴旋转的相对变化。除了图像数据1305之外，还能够提供这种数据作为到网络1300的输入。网络1300可以例如通过将额外数据向量与第一完全连接层1320(1)连结来嵌入额外数据向量。因此，这种额外IMU数据可以在网络1300的训练和应用/推断阶段使用。除了图像1305之外，包括作为输入的IMU数据能够用于改进预测的准确性。在一些实施例中，IMU数据可以改进对探头取向的估计。在一些实施例中，IMU数据可以在延长的时间段上估计探头取向。如图13中所示，网络1300的输出可以与图5中所示的网络500的输出相同。在一些实施例中，可以将IMU数据与患者坐标系进行比较，如将参考图16更详细地描述的那样。
图14是根据本公开各方面的包括IMU数据的CNN配置1400的示意图。CNN配置1400可以类似于参考图5所描述的配置500和/或参考图13所描述的配置1300。
配置1400的输入可以是超声图像1405。类似于网络配置500和/或1300，CNN配置1400可以包括多个K个卷积层1410，每个层伴随有池化层1415。配置1400还可以包括多个完全连接层1420，如图14中所示。作为输出，类似于图5的分类输出530和图13的分类输出1330，CNN配置1400可以在分类步骤1430处为输入图像1405分配标签。配置1400中所示的任何层以及输入和输出可以与参考图5描述的配置500或参考图13描述的配置1300的层、输入和输出基本类似。
类似于配置1300(图13)，图14中示出的配置1400可以接收IMU数据向量1450作为额外输入。例如，网络1400可以通过将额外数据向量1450与第一完全连接层1420(1)连结来嵌入额外数据向量1450。额外地，配置1400允许对用于输入图像1405的患者位置(例如，采集图像1405时患者所处的位置)进行分类。关于图15来描述范例性的患者定位。关于图16来描述确定患者位置的IMU数据的使用。分类输出1430的标签1435额外地还包括患者位置，以及扫描窗口和探头取向(如关于图5和13所描述的)。与分类输出530(图5)和1330(图13)相比，分类输出1430包括更大数量的标签1435，因为包括患者位置作为参数之一生成额外的参数组合。例如，分类输出530(图5)和1330(图13)包括n个标签(例如，可能的扫描窗口和探头取向的组合)。通过添加m个可能的患者位置，同时保持所有扫描窗口和探头取向组合，分类输出1430包括n*m个标签。
图15是根据本公开各方面的范例患者位置的图解视图。在一些应用中，患者定位可以是用于可重复的纵向测量值的重要参数。作为非限制性范例，图15描绘了用于肝脏扫描的许多常用的患者姿态。
图15描绘了描绘处于仰卧位置1535的患者的区域的图像1505。图像1505还描绘了用于查看感兴趣区域(例如所示的患者内的肝脏)的与扫描窗口的位置相对应的指示符1507。图像1510描绘了处于左后斜向(LPO)位置1540的患者的区域。图像1510还描绘了与感兴趣区域的位置相对应的指示符1512。图像1515描绘了处于右后斜向(RPO)位置1545的患者的区域。图像1515还描绘了与感兴趣区域的位置相对应的指示符1517。图像1520描绘了处于左侧卧姿(LLD)位置1550的患者的区域。图像1520还描绘了与感兴趣区域的位置相对应的指示符1522。最后，图像1525描绘了处于左侧卧姿(RLD)位置1555的患者的区域。图像1525还描绘了与感兴趣区域的位置相对应的指示符1527。图15中所示的任何位置都可以用作图14中的额外标签1435。根据要被成像的感兴趣区域、要由深度学习网络识别的参数、或任何其他特征，额外的患者位置可以是可用的标签。
图16是根据本公开各方面的处于各种取向的超声探头的图解视图。使用来自超声探头的IMU数据测量值，超声系统100可以在超声成像过程期间确定患者位置。图16示出了具有三个轴的超声换能器探头1605，所述三个轴包括x轴1690、y轴1692和z轴1694。图16还描绘了与探头1605和重力向量1615结合的图像1610。图16还描绘了与探头1605和重力向量1625结合的图像1620。
图16中所示的超声探头1605可以与图1的探头110、图12的探头1222、或本文所描述的任何其他探头基本相似。探头1605的定位或取向可以由所示的坐标系来定义。例如，x轴1690可以被定义为朝向探头的左侧和右侧的方向。y轴可以被定义为在探头1605的正前方和正后方延伸，或者在声音传播的主要方向上延伸。z轴1694可以被定义为如图所示在超声探头1605的正上方和正下方延伸。图16中所示的这些轴1690、1692和1694的原点可以是探头1605上或探头1605内的任何合适的位置。例如，在一个实施例中，原点可以被定义为沿着超声换能器阵列的中点。
总体上，患者可以在主水平表面上休息。这种水平表面可以用作参考水平表面。根据患者位置，超声探头1605的取向将相对于参考水平表面而不同，如由图像1610和图像1620中的探头相对于患者的取向所示。可以利用探头1605的IMU读数来识别探头取向相对于参考水平表面的差异。IMU读数随后可以用于学习和估计患者定位。例如，如果获得如在图像1610所示的患者处于仰卧位置的侧视图，则探头1605的IMU读数将测量，由重力向量1615所示的重力加速度(即“向下”方向)与探头的z轴1694对准。但是，如果获得如在图像1620中所示的患者处于左侧卧姿位置的相同的扫描平面，则如重力向量1625所示的重力加速度与探头的y轴1692对准。因此，能够使用参考图14描述的扩展的标签集1435，基于对应的图像和IMU数据输入，训练修正后的网络，以预测解剖扫描窗口和探头取向以及作为输出的患者定位，或者，第二个但类似的网络能够训练为仅对患者定位进行分类。以这种方式，超声系统100可以使用如在所捕获的图像中所示的IMU数据和患者取向的组合来估计探头取向，并且IMU数据也能够用于估计患者取向。可以在后续成像过程中记录和显示患者位置，以便超声医师知道如何定位患者，如前所述。
本领域技术人员将认识到，上述装置、系统和方法能够以各种方式进行修正。因此，本领域普通技术人员将理解，本公开所涵盖的实施例不限于上述具体范例性实施例。就此方面，尽管已经示出和描述了说明性实施例，但是在前述公开中设想了宽范围的修正、改变和替换。应当理解，在不脱离本公开范围的情况下，可以对前述内容进行这样的变化。因此，所附权利要求以与本公开一致的方式广泛地解释是适当的。

Claims (22)

1.一种超声成像系统，包括：
处理器电路，其被配置为：
在与所述处理器电路通信的存储器中存储表示目标解剖扫描窗口的目标参数；
接收在第一采集时段期间由具有第一解剖扫描窗口的第一超声探头采集的第一超声图像；
确定表示所述第一解剖扫描窗口的第一参数；
从所述存储器检索所述目标参数；
比较所述目标参数和所述第一参数；并且
将所述比较的视觉表示输出到与所述处理器电路通信的显示器。
2.根据权利要求1所述的超声成像系统，其中，所述目标参数包括针对在所述所述第一采集时段之前的第二采集时段期间采集的第二超声图像的第二超声探头的解剖扫描窗口。
3.根据权利要求2所述的超声成像系统，其中，所述处理器电路被配置为：
将所述第二超声图像存储在所述存储器中，使得所述目标参数与所述存储器内的所述第二超声图像相关联。
4.根据权利要求3所述的超声成像系统，其中，所述处理器电路被配置为：
接收由所述第二超声探头获得的所述第二超声图像；
确定表示所述第二解剖扫描窗口的所述目标参数；并且
将所述目标参数与所述第二超声图像相关联。
5.根据权利要求4所述的超声成像系统，其中，所述处理器电路被配置为：
将所述第一参数与所述第一超声图像相关联；
将所述第一参数和所述第一超声图像存储在所述存储器中，使得所述第一参数和所述第一超声图像在所述存储器中相关联；并且
从所述存储器检索所述第一参数，以与对应于其他超声图像的其他参数进行比较。
6.根据权利要求2所述的超声成像系统，其中，所述处理器电路被配置用于与所述第一超声探头通信，并且其中，所述处理器电路被配置为：
控制所述第一超声探头以采集所述第一超声图像；并且
在所述第一超声图像的采集期间，向所述显示器输出包括所述第二超声图像或所述目标参数中的至少一个的屏幕显示。
7.根据权利要求2所述的超声成像系统，其中，所述处理器电路被配置为向所述显示器输出屏幕显示，所述屏幕显示包括同时显示的所述目标参数、所述第一参数、所述第一超声图像、所述第二超声图像和所述比较的所述视觉表示。
8.根据权利要求2所述的超声成像系统，其中，所述第一参数表示所述第一超声探头在所述第一采集时段期间的第一取向，并且其中，所述目标参数表示所述第二超声探头在所述第二采集时段期间的第二取向。
9.根据权利要求8所述的超声成像系统，还包括所述第一超声探头，其中，所述第一超声探头包括惯性测量单元，其中，所述处理器电路被配置为基于由所述惯性测量单元获得的数据来确定所述第一参数。
10.根据权利要求9所述的超声成像系统，其中，所述第一参数包括连续变量，并且其中，所述处理器电路被配置为向所述显示器输出所述连续变量的视觉表示。
11.根据权利要求9所述的超声成像系统，其中，所述第一参数表示在所述第一采集时段期间的患者位置。
12.根据权利要求1所述的超声成像系统，其中，所述处理器电路被配置为：
接收选择目标解剖扫描窗口的用户输入；并且
基于所述用户输入来确定所述目标参数。
13.根据权利要求1所述的超声成像系统，其中，所述处理器电路包括预处理器和至少一个深度学习网络。
14.根据权利要求13所述的超声成像系统，其中，所述预处理器被配置为：
接收在所述第一采集时段期间由所述第一超声探头采集的多个超声图像，其中，所述多个超声图像包括所述第一超声图像；
将所述多个超声图像缓存在所述存储器中；
对所述多个超声图像进行过滤；并且
将所述多个超声图像的子集输出到所述深度学习网络。
15.根据权利要求14所述的超声成像系统，其中，为了对所述多个超声图像进行过滤，所述预处理器被配置为：
确定缓存在所述存储器中的所述多个超声图像的相似性度量；并且
基于所述相似性度量从所述存储器移除所述多个超声图像的一部分，以产生所述多个超声图像的所述子集。
16.根据权利要求13所述的超声成像系统，其中，所述深度学习网络被配置为确定所述第一参数。
17.根据权利要求16所述的超声成像系统，其中，所述深度学习网络包括卷积神经网络(CNN)。
18.根据权利要求1所述的超声成像系统，其中，所述比较的所述视觉表示包括：
当所述目标参数和所述第一参数相同时的第一指示符；以及
当所述目标参数和所述第一参数不同时的第二指示符。
19.根据权利要求1所述的超声成像系统，其中，所述处理器电路被配置为：
在所述存储器中存储在所述第二采集时段期间的第二患者生理状况；
接收在所述第一采集时段期间的第一患者生理状况；
从所述存储器检索所述第二患者生理状况；
比较所述第二患者生理状况和所述第一患者生理状况；并且
将所述第二患者生理状况与所述第一患者生理状况之间的比较的视觉表示输出到所述显示器。
20.一种超声成像系统，包括：
处理器电路，所述处理器电路被配置为：
在与所述处理器电路通信的存储器中存储表示目标解剖扫描窗口和目标探头取向的目标参数；
接收在采集时段期间由具有解剖扫描窗口和探头取向的超声探头采集的超声图像；
使用卷积神经网络确定表示所述解剖扫描窗口和所述探头取向的参数；
从所述存储器检索所述目标参数；
将所述目标参数与所述参数进行比较；并且
将所述比较的视觉表示输出到与所述处理器电路通信的显示器，其中，所述比较的所述视觉表示包括：
当所述目标参数和所述参数相同时的第一指示符；以及
当所述目标参数和所述参数不同时的第二指示符。
21.一种确定与超声图像相关联的解剖扫描窗口的方法(300)，包括以下步骤：
在第一采集时段期间利用具有第一解剖扫描窗口的超声探头采集(305)第一超声图像；
分析(310)所采集的第一超声图像以确定所述第一解剖扫描窗口；
将所述扫描窗口的期望值与来自分析步骤的所述解剖扫描窗口进行比较(315)，以确定所述第一解剖扫描窗口和所述扫描窗口的所述期望值是相同还是不同；
如果所述第一解剖扫描窗口与所述扫描窗口的所述期望值不同，则返回并重复采集、分析和比较步骤；并且
如果所述第一解剖扫描窗口与所述扫描窗口的所述期望值相同，则
利用所确定的扫描窗口注释(320)所述第一超声图像；
将所确定的扫描窗口和所述第一超声图像存储(325)在计算机存储器中以供后续使用，并且
检索(330)所存储的所确定的扫描窗口和所述第一超声图像，以在后续比较步骤中使用。
22.根据权利要求21所述的方法(300)，还包括将所述第一超声图像与所确定的扫描窗口一起显示的步骤。
CN202180085419.XA 2020-12-18 2021-12-13 基于超声图像的解剖扫描窗口、探头取向和/或患者位置的识别 Pending CN116744855A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063127429P 2020-12-18 2020-12-18
US63/127,429 2020-12-18
PCT/EP2021/085353 WO2022128838A1 (en) 2020-12-18 2021-12-13 Ultrasound image-based identification of anatomical scan window, probe orientation, and/or patient position

Publications (1)

Publication Number Publication Date
CN116744855A true CN116744855A (zh) 2023-09-12

Family

ID=79269763

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180085419.XA Pending CN116744855A (zh) 2020-12-18 2021-12-13 基于超声图像的解剖扫描窗口、探头取向和/或患者位置的识别

Country Status (4)

Country Link
US (1) US20240074738A1 (zh)
EP (1) EP4262565A1 (zh)
CN (1) CN116744855A (zh)
WO (1) WO2022128838A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116327240A (zh) * 2023-03-15 2023-06-27 逸超医疗科技(北京)有限公司 一种简便的超声设备个性化图像参数调节方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7117026B2 (en) 2002-06-12 2006-10-03 Koninklijke Philips Electronics N.V. Physiological model based non-rigid image registration
CN100457047C (zh) 2003-09-29 2009-02-04 皇家飞利浦电子股份有限公司 心脏容积超声定量法
EP1966756B1 (en) 2005-12-19 2009-07-22 Koninklijke Philips Electronics N.V. Method for facilitating post-processing of images using deformable meshes
JP2011510415A (ja) 2008-01-24 2011-03-31 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ インタラクティブ画像セグメンテーション
WO2012117381A1 (en) 2011-03-03 2012-09-07 Koninklijke Philips Electronics N.V. System and method for automated initialization and registration of navigation system
BR112015014308B1 (pt) 2012-12-21 2022-10-11 Koninklijke Philips N.V Aparelho e método para guiar um usuário que manuseia uma sonda de imageamento
JP6396420B2 (ja) 2013-04-03 2018-09-26 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． ３ｄ超音波撮像システム、対応する方法、及び、そのような方法を実施するためのコンピュータプログラム
WO2016108178A1 (en) * 2015-01-02 2016-07-07 Esaote Spa Method for quantifying the elasticity of a material by ultrasounds
CN109310399B (zh) * 2016-06-06 2022-12-06 皇家飞利浦有限公司 医学超声图像处理设备
JP6559917B2 (ja) * 2016-06-07 2019-08-14 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 超音波システム並びに乳房組織の撮像及び乳房超音波画像のアノテーション方法

Also Published As

Publication number Publication date
EP4262565A1 (en) 2023-10-25
WO2022128838A1 (en) 2022-06-23
US20240074738A1 (en) 2024-03-07

Similar Documents

Publication Publication Date Title
KR102522539B1 (ko) 의료영상 표시장치 및 의료영상 처리방법
JP5147656B2 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
US10789707B2 (en) Medical imaging apparatus and method of operating same
US10290097B2 (en) Medical imaging device and method of operating the same
US10685451B2 (en) Method and apparatus for image registration
EP4061231B1 (en) Intelligent measurement assistance for ultrasound imaging and associated devices, systems, and methods
US20230301624A1 (en) Image-Based Probe Positioning
EP4115389B1 (en) Multi-modal medical image registration and associated devices, systems, and methods
US20240074738A1 (en) Ultrasound image-based identification of anatomical scan window, probe orientation, and/or patient position
US20230329674A1 (en) Ultrasound imaging
KR102254365B1 (ko) 의료영상 처리 방법
WO2022069208A1 (en) Ultrasound image-based patient-specific region of interest identification, and associated devices, systems, and methods
US20230316523A1 (en) Free fluid estimation
EP4327750A1 (en) Guided ultrasound imaging for point-of-care staging of medical conditions
US20230274424A1 (en) Appartus and method for quantifying lesion in biometric image
US20240053470A1 (en) Ultrasound imaging with anatomy-based acoustic settings
WO2024104857A1 (en) Automatic measurement point detection for anatomy measurement in anatomical images
WO2023202887A1 (en) Ultrasound imaging
JP2022171345A (ja) 医用画像処理装置、医用画像処理方法及びプログラム
WO2023186640A1 (en) Completeness of view of anatomy in ultrasound imaging and associated systems, devices, and methods
WO2024042044A1 (en) Guided ultrasound imaging for point-of-care staging of medical conditions
WO2024146823A1 (en) Multi-frame ultrasound video with video-level feature classification based on frame-level detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination