CN112237446A - 用于处理和显示胎儿图像的方法和系统 - Google Patents

用于处理和显示胎儿图像的方法和系统 Download PDF

Info

Publication number
CN112237446A
CN112237446A CN202010547229.2A CN202010547229A CN112237446A CN 112237446 A CN112237446 A CN 112237446A CN 202010547229 A CN202010547229 A CN 202010547229A CN 112237446 A CN112237446 A CN 112237446A
Authority
CN
China
Prior art keywords
orientation
rendering
anatomical features
fetus
ultrasound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010547229.2A
Other languages
English (en)
Inventor
赫尔穆特·布兰德尔
埃尔温·福斯德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
GE Precision Healthcare LLC
Original Assignee
GE Precision Healthcare LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by GE Precision Healthcare LLC filed Critical GE Precision Healthcare LLC
Publication of CN112237446A publication Critical patent/CN112237446A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • A61B8/0866—Clinical applications involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/463—Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5238—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image
    • A61B8/5246—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for combining image data of patient, e.g. merging several images from different acquisition modes into one image combining images from the same or different imaging techniques, e.g. color Doppler and B-mode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/43—Detecting, measuring or recording for evaluating the reproductive systems
    • A61B5/4306—Detecting, measuring or recording for evaluating the reproductive systems for evaluating the female reproductive systems, e.g. gynaecological evaluations
    • A61B5/4343—Pregnancy and labour monitoring, e.g. for labour onset detection
    • A61B5/4362—Assessing foetal parameters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30044—Fetus; Embryo

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Pregnancy & Childbirth (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Graphics (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

本发明题为“用于处理和显示胎儿图像的方法和系统”。本发明提供了用于经由超声成像仪对胎儿进行成像的各种方法和系统。在一个示例中，一种方法可以包括：从超声成像仪的探头获取成像数据；从所述成像数据生成图像切片和渲染；确定所述渲染的取向；响应于确定所述取向不是标准取向，将所述取向调整为所述标准取向；以及在以所述标准取向提供所述渲染时显示未改变的所述图像切片。

Description

用于处理和显示胎儿图像的方法和系统
技术领域
本文公开的主题的实施方案涉及医学成像，诸如超声成像，并且更具体地涉及处理和显示来自超声成像数据的胎儿图像。
背景技术
医学成像系统通常用于获得受检者的生理信息。在一些示例中，医学成像系统可以是用于获得和呈现胎儿的外部物理特征的超声系统。以这种方式，超声系统可以用于跟踪胎儿的生长并监测胎儿的整体健康。
利用超声系统获得的图像可以在用户界面上呈现给用户。用户可以是医疗专业人员，并且因此用户界面可以被配置为由医疗专业人员使用(例如，显示生命体征、超声探头控制和各种其他用户可致动的功能)。然而，也可以向患者(例如，怀着胎儿的母亲)呈现该用户界面。
发明内容
在一个实施方案中，一种方法可以包括：从超声成像仪的探头获取成像数据；从成像数据生成图像切片和渲染；确定渲染的取向；响应于确定该取向不是标准取向，将取向调整为标准取向；以及在以标准取向提供渲染时显示未改变的图像切片。
应当理解，提供上面的简要描述来以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
通过参考附图阅读以下对非限制性实施方案的描述将更好地理解本发明，其中以下：
图1示出了根据示例性实施方案的示例性超声成像系统。
图2示出了根据实施方案的用于调整胎儿的三维(3D)渲染的取向并显示3D渲染的方法的流程图。
图3示出了根据实施方案的用于响应于超声成像系统的探头的位置被改变而调整3D渲染的取向并显示3D渲染的方法的流程图。
图4示出了根据实施方案的用于更新3D渲染的取向并显示3D渲染的方法的流程图。
图5示出了示出根据实施方案的示例性神经网络的示意图。
图6示出了示出根据实施方案的神经网络的示例性节点的示意图。
图7示出了根据实施方案的3D渲染的示意图。
图8A示出了根据实施方案的用于维持3D渲染的取向的示例性过程的示意图。
图8B示出了根据实施方案的用于调整3D渲染的取向的示例性过程的示意图。
图9示出了根据实施方案的超声成像系统的显示设备的第一示例性用户界面显示。
图10示出了根据实施方案的超声成像系统的显示设备的第二示例性用户界面显示。
图11示出了根据实施方案的用于相对于3D渲染调整光源的示例性过程的示意图。
具体实施方式
以下描述涉及调整胎儿的三维(3D)渲染的取向以及显示3D渲染的各种实施方案。在图1中描绘了用于针对3D渲染生成成像数据的一个示例性超声成像系统。图2至图4描绘了用于调整3D渲染的取向以及显示3D渲染的各种方法。图5和图6描绘了用于识别由3D渲染所描绘的一个或多个解剖特征的示例性神经网络。图7中描绘了3D渲染的示意图。图8A和图8B分别描绘了用于维持和调整3D渲染的取向的示例性过程的示意图。此外，在图11中描绘了用于相对于3D渲染调整光源的示例性过程的示意图。图9和图10描绘了超声成像系统的显示设备的示例性用户界面显示，其中同时显示二维(2D)图像切片和3D渲染。
图1描绘了根据一个实施方案的系统100的框图。在例示的实施方案中，系统100是成像系统，并且更具体地是超声成像系统。然而，应当理解，本文所阐述的实施方案可使用其他类型的医学成像模态(例如，MR、CT、PET/CT、SPECT)来实现。此外，应当理解，其他实施方案不主动采集医疗图像。相反，实施方案可以检索先前由成像系统获取的图像或超声数据，并且如本文所述分析图像数据。如图所示，系统100包括多个部件。这些部件可彼此耦接以形成单个结构，可为分开的但位于公共房间内，或者可相对于彼此远离。例如，本文描述的模块中的一个或多个模块可在数据服务器中操作，该数据服务器相对于系统100的其它部件诸如探头和用户界面具有不同的和远程的位置。可选地，在超声系统的情况下，系统100可为能够从一个房间(例如，便携式地)移动到另一个房间的单一系统。例如，系统100可包括车轮或在车上被运输。
在例示的实施方案中，系统100包括发射波束形成器101和发射器102，该发射器驱动诊断超声探头106(或换能器)内的元件104(例如压电晶体)的阵列，以将超声信号(例如，连续信号或脉冲信号)发射到受检者的体内或体积(未示出)中。元件104和探头106可具有多种几何形状。超声信号从身体内的结构(例如，胎儿的面部特征)后向散射，以产生返回到元件104的回波。回波由接收器108接收。接收到的回波被提供给接收波束形成器110，该接收波束形成器执行波束形成并且输出射频(RF)信号。RF信号然后被提供给处理RF信号的RF处理器112。另选地，RF处理器112可包括复合解调器(未示出)，该复合解调器对RF信号进行解调以形成代表回波信号的I/Q数据对。然后，RF或I/Q信号数据可被直接提供给存储器114以进行存储(例如，暂时存储)。系统100还包括系统控制器116，该系统控制器可为单个处理单元(例如，处理器)的一部分或分布在多个处理单元中。系统控制器116被构造成控制系统100的操作。
例如，系统控制器116可包括图像处理模块，该模块接收图像数据(例如，RF信号数据或I/Q数据对形式的超声信号)并且处理图像数据。例如，图像处理模块可处理超声信号以生成用于显示给操作者的超声信息(例如，超声图像)或超声波形(例如，连续或脉冲波多普勒频谱或波形)的2D切片或帧。类似地，图像处理模块可以处理超声信号以生成超声信息(例如，超声图像)的3D渲染以显示给操作者。当系统100是超声系统时，图像处理模块可被配置为根据对所获取的超声信息的多个可选超声模态来执行一个或多个处理操作。仅以示例的方式，超声模态可包括彩色流、声学辐射力成像(ARFI)、B模式、A模式、M模式、频谱多普勒、声流、组织多普勒模块、C扫描和弹性成像。
当接收到回波信号时，可在成像会话(或扫描会话)期间实时处理所获取的超声信息。除此之外或另选地，超声信息可在成像会话期间临时存储在存储器114中，并且在实时或离线操作中以低于实时的方式进行处理。包括图像存储器120，其用于存储未被安排立即显示的所获取的超声信息的经处理的切片或波形。图像存储器120可包括任何已知的数据存储介质，例如，永久存储介质、可移除存储介质等。另外，图像存储器120可为非暂态存储介质。
在操作中，超声系统可通过各种技术(例如，3D扫描、实时3D成像、体积扫描、使用具有定位传感器的探头的2D扫描、使用体素相关性技术的徒手扫描、使用2D或矩阵阵列探头的扫描等)获取数据，例如2D数据集、频谱多普勒数据集和/或体积数据集。超声频谱(例如，波形)和/或图像可以从所获取的数据中生成(在控制器116处)，并且在显示设备118上显示给操作者或用户。
系统控制器116可操作地连接到用户界面122，该用户界面使得操作者能够控制系统100的至少一些操作。用户界面122可包括硬件、固件、软件或它们的组合，使得个人(例如，操作者)能够直接或间接控制系统100及其各种部件的操作。如图所示，用户界面122包括具有显示区域117的显示设备118。在一些实施方案中，用户界面122还可包括一个或多个用户界面输入设备115，诸如物理键盘、鼠标和/或触摸板。在一个实施方案中，触控板可被配置到系统控制器116和显示区域117，使得当用户在触控板的表面上移动手指/手套/触笔时，显示设备118上的超声图像或多普勒频谱上的光标以对应的方式移动。
在示例性实施方案中，显示设备118是触敏显示器(例如触摸屏)，其可检测操作者在显示区域117上的触摸的存在，并且还可识别显示区域117中的触摸的位置。可以通过例如个体的手、手套、触笔等中的至少一者来施加触摸。如此，触敏显示器也可被表征为被配置为接收来自操作者的输入(诸如调整或更新所显示的图像的取向的请求)的输入设备。显示设备118还通过向操作者显示信息来将信息从控制器116传送至操作者。显示设备118和/或用户界面122也可进行音频通信。显示设备118被配置为在成像或数据获取会话期间或之后向操作者呈现信息。呈现的信息可以包括超声图像(例如，一个或多个2D切片和3D渲染)、图形元素、所显示的图像的测量图形、用户可选择元素、用户设置以及其他信息(例如，管理信息、患者的个人信息等)。
除了图像处理模块之外，系统控制器116还可以包括图形模块、初始化模块、跟踪模块和分析模块中的一者或多者。图像处理模块、图形模块、初始化模块、跟踪模块和/或分析模块可以彼此协调以在成像会话期间和/或之后将信息呈现给操作者。例如，图像处理模块可以被配置为在显示设备118上显示所获取的图像，并且图形模块可以被配置为将指定的图形与所显示的图像一起显示，诸如与图像相关的可选图标(例如，图像旋转图标)和测量参数(例如，数据)。控制器可以包括存储在控制器的存储器内的算法和一个或多个神经网络(例如，神经网络的系统)，用于自动识别由生成的超声图像诸如3D渲染所描绘的一个或多个解剖特征，如下面参考图2、图5和图6进一步描述的。在一些示例中，控制器可以包括深度学习模块，该深度学习模块包括一个或多个深度神经网络以及用于执行本文所讨论的深度学习和特征识别的指令。
显示设备118的显示区域117的屏幕由一系列像素组成，这些像素显示利用探头106获取的数据。所获取的数据包括针对显示器的每个像素或一组像素(例如，分配了相同参数值的一组像素)计算的一个或多个成像参数，其中所述一个或多个计算的图像参数包括强度、速度(例如血流速度)、彩色血流速度、纹理、颗粒度、收缩性、变形和变形率值中的一者或多者。然后，这一系列像素组成从所获取的超声数据生成的显示图像和/或多普勒频谱。
系统100可以是用于获取扫描对象(例如，胎儿)的成像数据的医学超声系统。所获取的图像数据可以用于生成一个或多个超声图像，所述一个或多个超声图像随后可以经由用户界面115的显示设备118显示。例如，一个或多个生成的超声图像可以包括2D图像切片和3D渲染。例如，以上讨论的图像处理模块可以被编程为生成并同时显示2D图像切片和3D渲染。
一般来讲，在胎儿的超声成像期间，胎儿可以处于多个位置中的一个，该位置可以进一步处于相对于超声探头106的多个取向中的一个。例如，胎儿可以相对于超声探头106以非标准取向诸如向下取向(例如，其中超声探头被保持在由制造商指定为倒置的位置)。如此，所获取的胎儿的成像数据还可导致以非标准取向描绘胎儿的超声图像。在一些示例中，可以经由超声探头106的用户(例如，医疗专业人员)进行手动干预将获取的成像数据的取向调整为标准取向。作为第一示例，可以改变超声探头106的位置或取向，使得获取的成像数据以相对于超声探头106的标准取向描绘胎儿。作为第二示例，在超声图像在显示设备118处显示时，用户可以选择图标，这将请求传输到控制器116以调整(例如，反转)所显示图像的取向。然而，在其中在显示设备118处向超声探头的用户和被检查的患者两者呈现超声图像的示例中，对超声图像的取向的手动控制可能导致用户混淆或患者误导。
根据本文公开的实施方案，可以通过自动调整所生成的超声图像(例如，3D渲染)的取向至少部分地解决上述问题。此外，在一些示例中，可以以获取的取向(例如，未调整的取向)呈现另一个生成的超声图像(例如，2D图像切片)，从而向用户提供关于受检者(例如，胎儿)相对于超声探头的实际位置的进一步信息。如此，可以最小化由错误用户输入引起的错误，该错误可能是由用户混淆引起的，并且可以相应地减少患者和/或医疗专业人员误导。
现在参考图2，描绘了一种方法200，该方法用于从获取的成像数据(例如，从超声成像系统获取的胎儿成像数据)生成2D图像切片和3D渲染，然后同时显示2D图像切片和3D渲染，其中3D渲染可以以期望或标准取向显示。
以下参照图1描述的系统和部件描述方法200，但是应当理解，在不脱离本公开的范围的情况下，方法200可以用其他系统和部件来实现。在一些实施方案中，方法200可以在成像系统100、连接到成像系统100的边缘设备(例如，外部计算设备)、与成像系统通信的云等的任何适当组合中被实现为可执行指令。作为一个示例，方法200可以在计算设备的非暂态存储器中实现，诸如图1的成像系统100的控制器(例如，处理器)。
方法200可以开始于205，在该处可以从超声成像仪的探头获取胎儿成像数据。例如，超声成像仪可以是图1所示的成像系统100的一个或多个部件。在此类示例中，探头可以是超声探头106。该探头可用于对胎儿进行成像和监测。胎儿成像数据可包括由超声成像仪的探头的换能器元件(例如，图1的元件104)传输的超声波的超声回波。在一些示例中，成像数据可以包括体积超声数据。此外，体积超声数据可以基于超声探头的一个或多个位置参数，诸如超声探头距胎儿的距离和超声探头相对于胎儿的取向。在一些示例中，成像数据还可包括生理和/或时间参数、多维坐标集以及可用于在图像处理模块处处理胎儿成像数据的其他信息。
在210处，方法200可以包括从胎儿成像数据生成描绘胎儿的2D图像切片和3D渲染中的每一者。可以经由射线投射技术生成3D渲染，使得可以利用体积超声数据从超声探头的视角描绘胎儿。例如，3D渲染可以描绘对应于胎儿的外部物理外观的体积(例如，来自体积超声数据)。此外，2D图像切片可对应于体积的目标矢状切片(例如，胎儿的头部的轮廓)。2D图像切片和3D渲染中的每一者可以以默认取向或获取的取向生成，该默认取向或获取的取向是由超声探头相对于胎儿的取向产生的。
可以对3D渲染进行阴影处理，以向用户呈现更好的深度感。根据各种实施方案，这可以以若干种不同的方式来执行。例如，可以基于体积超声数据限定多个表面和/或可以经由射线投射对体素数据进行阴影处理。根据一个实施方案，可以在每个像素处计算梯度。控制器116(在图1中示出)可以计算对应于每个像素的位置处的光量，并且基于梯度和特定的光方向应用一种或多种阴影处理方法。视图方向可以与标准视图方向(诸如从3D渲染上方成角度)对应。当生成3D渲染时，控制器116还可以使用多个光源作为输入。
在示例中，当进行射线投射时，控制器116可以计算在沿着每条射线的特定视图方向上从每个体素反射、散射或透射了多少光。这可涉及对来自多个光源(例如，点光源)的贡献求和。控制器116可以计算来自体积中所有体素的贡献。控制器116然后可以合成来自所有体素的值，或来自相邻体素的内插值，以便计算3D渲染上所显示的像素的最终值。虽然前述示例描述了体素值沿着射线被积分的实施方案，但是还可以根据其他技术计算3D渲染，诸如使用沿着每条射线的最高值、使用沿着每条射线的平均值或者使用任何其他体积渲染技术。
在215处，方法200可以包括搜索3D渲染中描绘的胎儿的一个或多个解剖特征。所述一个或多个解剖特征可以包括胎儿的外部物理特征，诸如肢体。在一些示例中，所述一个或多个解剖特征可以包括一个或多个面部特征，诸如鼻部、嘴部、一只或两只眼睛、一只或两只耳朵等。在一些示例中，可以采用面部识别算法搜索并随后自动识别所述一个或多个面部特征。此类面部识别算法可以包括深度神经网络或深度神经网络的系统，诸如参考图5和图6描述的示例性神经网络。在一些示例中，在从所生成的3D渲染中识别所述一个或多个面部特征之前，可以利用附加3D渲染的训练集对深度神经网络或深度神经网络的系统进行训练。
在220处，方法200可以包括自动确定是否已经识别所述一个或多个解剖特征。如果尚未识别出所述一个或多个解剖特征，例如，如果面部识别算法尚未识别出一个或多个面部特征，则方法200可以进行到245以同时显示2D图像切片和3D渲染。在此类示例中，如上所述，可以以所获取的取向显示2D图像切片和3D渲染中的每一者。然后方法200可结束。
如果已经识别所述一个或多个解剖特征，例如，如果面部识别算法已经返回对应于一个或多个面部特征的坐标，则方法200可以进行到225，以基于所述一个或多个解剖特征来确定垂直轴线。在一些示例中，“垂直轴线”可以指与沿着鼻部、嘴部、下巴、前额等将胎儿的面部分成两个部分的线平行的双向轴线。在一些示例中，可以通过首先基于所述一个或多个解剖特征确定横向轴线来确定垂直轴线。在一些示例中，“横向轴线”可以指平行于将眼睛的每一只或耳朵的每一只分成两个部分的线的双向轴线。如此，垂直轴线可以被生成为垂直于横向轴线的轴线，该横向轴线将另外的面部特征(例如，鼻部或嘴部)分成两个部分。在下文中参考图7描述了进一步的示例。
在230处，方法200可包括确定3D渲染相对于垂直轴线的取向。例如，3D渲染的取向可以由平行于垂直轴线并指向标准方向(诸如从嘴部到鼻部再到前额的方向)的第一矢量表示。以这种方式，可以基于垂直轴线和一个或多个识别的解剖特征自动确定3D渲染的取向。第二矢量可以被进一步被限定为指向相对于超声探头的标准方向。例如，第二矢量的标准方向可以是相对于超声探头的默认向上方向(例如，其中可以假定超声探头被保持在制造商指定为直立的位置)。
在235处，方法200可以包括确定3D渲染是否处于期望取向。例如，期望取向可以包括3D渲染的标准取向(例如，其中胎儿被描绘成相对于显示设备处于直立位置，诸如其中胎儿的头部被描绘成在胎儿的躯干之上，或者其中胎儿的鼻部被描绘成在胎儿的嘴部之上)。在其中第二矢量被限定为期望或标准取向的示例中，确定3D渲染是否处于期望取向可以包括确定3D渲染的确定的取向(例如，第一矢量)是否在第二矢量的阈值角度(例如，小于30°、20°或10°)内。下面参考图8A和图8B描述了确定3D渲染是否处于期望取向的过程的示例性实施方案。
如果3D渲染处于期望取向(例如，如果第一矢量和第二矢量之间的确定角度在第二矢量的阈值角度内)，方法200可以进行到245以同时显示2D图像切片和3D渲染，其中3D渲染可以被显示并维持在确定的取向。在此类示例中，确定的取向可以被认为是期望或标准取向。在一些示例中，可以以获取的取向显示2D图像切片。然后方法200可结束。
如果3D渲染不处于期望取向(例如，如果第一矢量和第二矢量之间的确定角度在第二矢量的阈值角度之外)，则方法200可以进行到240，以将3D渲染的确定的取向自动调整为期望或标准取向。在一些示例中，自动调整确定的取向可以包括围绕与垂直轴线和横向轴线相互垂直的旋转轴线旋转3D渲染，直到第二矢量既平行于第一矢量又与第一矢量在相同方向上取向。也就是说，在此类示例中，可以不围绕用于确定3D渲染的取向的垂直轴线或用于确定垂直轴线的横向轴线执行3D渲染的旋转。在附加或另选示例中，自动调整确定的取向可以包括自动反转3D渲染的确定的取向(例如，将3D渲染围绕旋转轴线旋转180°)。在其他示例中，自动调整3D渲染的确定的取向可以替代地包括以类似的方式旋转由体积数据表示的体积，然后基于旋转的体积以期望取向生成新的3D渲染。
在一些示例中，自动调整3D渲染的确定的取向还可包括自动调整或维持3D渲染的一个或多个光源(例如，点光源)的位置，并且因此与不同的取向相比重新对渲染的图像进行阴影处理。例如，所述一个或多个光源可以相对于处于确定的取向的3D渲染处于初始位置。例如，初始位置可以是从上方照亮3D渲染的默认位置(例如，模拟阳光或房间中的顶灯)。在将3D渲染的确定的取向自动调整为期望取向时，所述一个或多个光源可以保持固定在初始位置，使得可以以期望的方式照亮3D渲染。在其他示例中，可以从初始位置调整所述一个或多个光源，以在调整的取向上提供3D渲染的期望的照明。下面参考图11描述相对于3D渲染调整示例性光源的过程的示例性实施方案。应当理解，本文所述的阴影处理控制可以提供显著的技术优势。具体地，如果图像以未校正的取向呈现，结合期望正确取向的阴影处理，用户可能尤其难以识别图像处于不正确或不期望的取向(如图11所示)。这是因为这样的阴影处理来自使得识别3D渲染对于用户而言甚至更困难的方向，因为这种阴影处理是不熟悉的，因为用户通常利用例如来自上方而非下方的阴影处理识别面部特征。因此，通过从3D数据中识别正确的取向(未进行阴影处理)，系统能够更好地识别正确的取向，不仅以更易识别的取向显示图像，而且还从更易识别的(用于用户来说)方向进行阴影处理。
以这种方式，可以根据一个或多个识别的解剖特征将获取的3D渲染的取向自动调整为期望取向。方法200可以进行到245以同时显示2D图像切片和3D渲染，其中可以以调整的取向显示3D渲染。在此类示例中，调整的取向可以被认为是期望或标准取向。
在一些示例中，可以以其获取的取向显示2D图像切片。在一些示例中，获取的2D图像切片的取向可以包括以向左或向右的取向描绘胎儿头部的矢状切片，这可以分别对应于3D渲染中胎儿头部的向上和向下的取向。如此，超声成像系统的用户可以推断是否已经自动调整3D渲染的取向。例如，如果2D图像切片以向右取向显示并且3D渲染以向上取向显示，则超声成像系统的用户可以推断3D渲染已经从向下取向自动调整。在一些示例中，当已经基于所述一个或多个识别的解剖特征自动调整3D渲染的取向时，可以进一步显示通知或警报。在附加或另选示例中，当3D渲染的取向已经被自动调整时，可以改变所显示的3D渲染的初始颜色通道。例如，默认情况下，所显示的3D渲染最初可以显示在初始颜色通道诸如棕褐色单色中，并且当3D渲染的取向已经被自动调整时，可以显示在改变的颜色通道诸如灰色单色中。下面参考图9和图10提供了此类显示的两个示例。以这种方式，即使胎儿的显示图像已经被调整为标准取向，也可以向超声成像系统的用户(例如，医疗专业人员)提供等效量的胎儿生理和基于位置的信息。然后方法200可结束。
现在参考图3，描绘了一种方法300，该方法用于响应于超声成像探头的位置被改变而调整3D渲染的取向，然后以调整的取向显示3D渲染。在一些示例中，调整3D渲染的取向可以包括将3D渲染的取向调整为期望或标准取向。在一些示例中，方法300可以跟随方法200。如此，在一些示例中，3D渲染最初可以以期望或标准取向来显示。
以下参照图1描述的系统和部件描述方法300，但是应当理解，在不脱离本公开的范围的情况下，方法300可以用其他系统和部件来实现。在一些实施方案中，方法300可以在成像系统100、连接到成像系统100的边缘设备(例如，外部计算设备)、与成像系统通信的云等的任何适当组合中被实现为可执行指令。作为一个示例，方法300可以在计算设备的非暂态存储器中实现，诸如图1的成像系统100的控制器(例如，处理器)。
方法300可以开始于305，在该处方法300可以确定超声探头的位置是否已经改变(例如，在初始生成和显示一个或多个超声图像之后)。例如，超声探头的位置可以由超声探头的用户(例如，医疗专业人员)手动改变。如果超声探头的位置未被改变，则方法300可以进行到310以维持当前显示。例如，如上面参考图2所描述的，当前显示可以包括根据方法200生成和显示的2D图像切片和3D渲染。然后方法300可结束。
如果超声探头的位置已经改变，则方法300可以进行到315以确定超声探头的改变的位置是否在胎儿的检测范围之外。例如，胎儿的一个或多个解剖特征可能先前已经被识别，并且随后被确定为不再存在于(例如，经由图5和图6的神经网络)从处于改变的位置的超声探头接收的成像数据中。如此，如果超声探头的改变的位置在检测范围之外，则方法300可以进行到320以生成并显示通知或警报。该通知可以向超声成像系统的用户指示超声探头在胎儿的检测范围之外。在一些示例中，该通知可以包括提示，该提示指示应该手动将超声探头的改变的位置调整回到胎儿的检测范围内。此外，在一些示例中，2D图像切片和3D渲染可以继续显示，并且可以响应于新接收的胎儿成像数据(例如，响应于超声探头被移动)而改变外观。然而，在此类示例中，可能不会自动调整3D渲染的取向。然后方法300可结束。
如果超声探头的改变的位置在检测范围内，则方法300可以进行到325以将3D渲染的取向自动调整为期望或标准取向。在一些示例中，可以采用与图2中描述的方法200的215至245处描述的过程类似的过程来自动将3D渲染的取向调整为期望取向。在其中3D渲染的取向先前已经被调整为期望取向(例如，经由图2的方法200)的示例中，方法300可以被认为是在超声探头的位置被改变之后重新调整或校正取向。在其中超声成像系统的处理能力较低或渲染需求较高的示例中，在(例如，从超声探头的移动)接收胎儿成像数据与生成3D渲染之间可能会发生延迟。在此类示例中，可以仅在该延迟之后调整3D渲染的取向和显示。在其他示例中，超声成像系统可以使得能够在超声探头移动时实时地自动调整3D渲染的取向。以这种方式，当超声探头的位置改变时，可以将3D渲染的取向自动地调整为期望或标准取向。
在330处，方法300可包括以期望或标准取向显示3D渲染。然后方法300可结束。
现在参考图4，描绘了用于更新3D渲染的取向并且然后以更新的取向显示3D渲染的方法400。在一些示例中，更新3D渲染的取向可以响应于对更新的取向的用户请求。在一些示例中，方法400可以跟随方法200。如此，在一些示例中，3D渲染最初可以以期望或标准取向来显示。
以下参照图1描述的系统和部件描述方法400，但是应当理解，在不脱离本公开的范围的情况下，方法400可以用其他系统和部件来实现。在一些实施方案中，方法400可以在成像系统100、连接到成像系统100的边缘设备(例如，外部计算设备)、与成像系统通信的云等的任何适当组合中被实现为可执行指令。作为一个示例，方法400可以在计算设备的非暂态存储器中实现，诸如图1的成像系统100的控制器(例如，处理器)。
方法400可以开始于405，在该处方法400可以包括确定是否已经接收到对3D渲染的更新的取向的请求(例如，用户请求)。在一些示例中，可以经由显示设备(例如，图1的显示设备118)处的图标(例如，由用户)请求更新的取向。例如，该图标可以提供用于将3D渲染的取向旋转90°、180°和/或270°的选项。在附加或另选示例中，该请求可以是用户输入的旋转角度的值。如果未接收到对更新的取向的请求，则方法400可以进行到410以维持当前显示。例如，如上面参考图2所描述的，当前显示可以包括根据方法200生成和显示的2D图像切片和3D渲染。然后方法400可结束。
如果已经接收到对更新的取向的请求，则方法400可以进行到420以将3D渲染的取向自动调整为更新的取向。在一些示例中，可以采用与图2中描述的方法200的215至245处描述的过程类似的过程来自动将3D渲染的取向调整为更新的取向。在一些示例中，更新的取向可以不是标准取向。在此类示例中，对更新的取向的请求可能覆写将3D渲染的取向自动调整为标准取向。在一些示例中，3D渲染的取向可以保持在更新的取向持续设置的时间量。在附加或另选示例中，3D渲染的取向可以保持在更新的取向，直到用户已经完成使用超声成像系统(例如，直到超声成像系统被关闭)。以这种方式，可以将3D渲染的取向自动调整为更新的取向，从而允许经由用户请求手动覆写超声成像系统。
在420处，方法400可以包括以更新的取向显示3D渲染。然后方法400可结束。
现在参考图5和图6，描绘了用于从受检者诸如胎儿的3D渲染输入中识别和分类一个或多个解剖特征的示例性神经网络。在一些示例中，在从3D渲染输入识别所述一个或多个解剖特征之前，可以用描绘其他胎儿的附加3D渲染的训练集对神经网络进行训练。在其中所述一个或多个解剖特征包括一个或多个面部特征的示例中，神经网络可以被认为是面部识别算法。
图5描绘了具有一个或多个节点/神经元502的神经网络500的示意图，在一些实施方案中，所述一个或多个节点/神经元可设置在一个或多个层504、506、508、510、512、514和516中。神经网络500可以是深度神经网络。如本文关于神经元所用，术语“层”是指具有以类似方式连接到模拟神经元的其他集合的输入和/或输出的模拟神经元的集合。因此，如图5所示，神经元502可经由一个或多个连接518彼此连接，使得数据可从输入层504传播通过一个或多个中间层506、508、510、512和514到输出层516。
图6示出了根据示例性实施方案的神经元的输入和输出连接。如图6所示，单个神经元502的连接(例如，518)可包括一个或多个输入连接602和一个或多个输出连接604。神经元502的每个输入连接602可以是前导神经元的输出连接，并且神经元502的每个输出连接604可以是一个或多个后续神经元的输入连接。虽然图6将神经元502描绘为具有单个输出连接604，但是应当理解，神经元可具有发送/传输/传递相同值的多个输出连接。在一些实施方案中，神经元502可以是数据构造(例如，结构、实例化的类对象、矩阵等)，并且输入连接602可由神经元502接收为加权数值(例如，浮点或整数值)。例如，如图6进一步所示，输入连接X1、X2和X3可以分别经由权重W1、W2和W3加权、求和，并作为输出连接Y发送/传输/传递。如将理解的是，单个神经元502的处理通常可以通过以下公式表示：
Figure BDA0002540968590000141
其中n是到神经元502的输入连接602的总数。在一个实施方案中，Y的值可以至少部分地基于WiXi的总和是否超过阈值。例如，如果加权输入的总和未超过期望阈值，则Y可具有零(0)值。
从图5和图6中将进一步理解，输入层504中的神经元502的输入连接602可以被映射到输入501，而输出层516中的神经元502的输出连接604可以被映射到输出530。如本文所用，将给定输入连接602“映射”到输入501是指输入501影响/指示所述输入连接602的值的方式。类似地，如本文所用，将给定输出连接604“映射”到输出530是指所述输出连接604的值影响/指示输出530的方式。
因此，在一些实施方案中，获取/获得的输入501被传递/馈送到神经网络500的输入层504并且传播通过层504、506、508、510、512、514和516，使得输出层516的映射输出连接604生成/对应于输出530。如图所示，输入501可以包括从超声成像数据生成的受检者诸如胎儿的3D渲染。3D渲染可以描绘胎儿的视图，该视图示出了可被神经网络500识别的一个或多个解剖特征(诸如一个或多个面部特征，例如，鼻部、嘴部、眼睛、耳朵等)。此外，输出530可包括3D渲染中描绘的一个或多个识别的解剖特征的位置和分类。例如，神经网络500可识别由渲染描绘的解剖特征，生成指示解剖特征的位置(例如，中心、周边)的坐标，并且基于识别的视觉特性对解剖特征(例如，鼻部)进行分类。在其中神经网络500是面部识别算法的示例中，输出530可以具体包括一个或多个面部特征。
可以使用多个训练数据集来训练神经网络500。每个训练数据集可包括描绘其他胎儿的一个或多个解剖特征的附加3D渲染。因此，神经网络500可以学习3D渲染中描绘的一个或多个解剖特征的相对位置和形状。以这种方式，神经网络500可以利用多个训练数据集以将生成的3D渲染(例如，输入)映射到一个或多个解剖特征(例如，输出)。其中的机器学习或深度学习(例如，由于解剖特征的布置、尺寸等的可识别趋势)可能引起权重(例如，W1、W2和/或W3)变化、输入/输出连接变化或对神经网络500进行其他调整。此外，随着采用附加的训练数据集，作为响应机器学习可以继续调整神经网络500的各种参数。如此，可以周期性地增加神经网络500的灵敏度，从而导致更高的解剖特征识别精度。
现在参考图7，示意图描绘了受检者的一个或多个解剖特征的示例性3D渲染700。在所示的示例中，3D渲染700具体描绘胎儿的至少面部702，其中面部702具有一个或多个面部特征。所述一个或多个面部特征可以由系统诸如参考图1描述的系统100自动识别，该系统实现神经网络或其他人工智能例程，诸如参考图5和图6描述的神经网络500。然后，可以使用所述一个或多个识别的面部特征自动确定3D渲染700的一个或多个轴线，从所述一个或多个轴线可以进一步确定3D渲染700的取向。
例如，3D渲染700可以描绘鼻部704和嘴部706。在自动识别鼻部704和嘴部706时，可以生成垂直轴线712。垂直轴线712可以被限定为将鼻部704和嘴部706中的每一者分成两个部分。此外，鼻部704和嘴部706的相对位置可以提供关于3D渲染700的取向的进一步信息(例如，胎儿的面部702在哪个方向上取向)。
作为另一示例，其中仅识别鼻部704和嘴部706中的一者，可以进一步识别眼睛708。在识别眼睛708时，可以生成横向轴线714。横向轴线714可以被限定为将每个眼睛708分成两个部分。在识别横向轴线714之后，垂直轴线712可以被限定为将所识别的鼻部704和嘴部706中的一者分成两个部分，并且被限定为垂直于横向轴线714。此外，眼睛708与鼻部704和嘴部706中的一者的相对位置可以提供关于3D渲染700的取向的进一步信息。
作为又一示例，其中仅识别鼻部704和嘴部706中的一者，可以进一步识别耳朵710。在识别耳朵710时，可以生成横向轴线716。横向轴线716可以被限定为将耳朵710中的每一者分成两个部分。在识别横向轴线716之后，垂直轴线712可以被限定为将所识别的鼻部704和嘴部706中的一者分成两个部分，并且被限定为垂直于横向轴线716。此外，耳朵710与鼻部704和嘴部706中的一者的相对位置可以提供关于3D渲染700的取向的进一步信息。
本领域技术人员将理解，存在几何确定用于限定垂直轴线712的两个点的许多方法，并且本文呈现的示例不被认为是限制性实施方案。
现在参考图8A，描绘了用于自动维持示例性3D渲染802的取向804的示例性过程800的示意图。在一些示例中，方法诸如参考图2描述的方法200可以在系统诸如参考图1描述的系统100上实现，以自动确定3D渲染802的取向804。此外，可以参考矢量808设置阈值角806，其中矢量808与3D渲染802的标准取向对准。例如，阈值角806可以是20°，指示在矢量808的20°内的给定的确定的取向(例如，804)可以被确定为标准取向或近似为标准取向。如此，一旦确定取向804在阈值角806内，则取向804可以被维持810，使得取向804不被改变。如图8A所示，取向804可能未精确地与标准取向对准(例如，取向804可能不平行于矢量808)，但是仍然可以被认为足够接近标准取向，使得不采取调整动作。
现在参考图8B，描绘了用于自动调整示例性3D渲染852的取向854的示例性过程850的示意图。在一些示例中，方法诸如参考图2描述的方法200可以在系统诸如参考图1描述的系统100上实现，以自动确定3D渲染852的取向854。此外，可以参考矢量858设置阈值角856，其中矢量858与3D渲染852的标准取向对准。例如，阈值角856可以是20°，指示在矢量858的20°内的给定的确定的取向(例如，854)可以被确定为标准取向或近似为标准取向。如此，在确定取向854在阈值角856之外时，取向854可以被调整860到调整的取向862，使得取向854被改变以与标准取向对准(例如，取向854被调整为与矢量858平行)。
现在参考图11，描绘了用于自动调整示例性光源1104的位置1102和示例性3D渲染1108的取向1106中的每一者的示例性过程1100的示意图。在所描绘的示例中，光源1104可以是点光源。在一些示例中，方法诸如参考图2描述的方法200可以在系统诸如参考图1描述的系统100上实现，以自动确定3D渲染1108的取向1106和光源1104的位置1102中的每一者。作为参考，正X和Y方向进一步情境化光源1104的位置1102和3D渲染1108的取向1106。
如图所示，光源1104的位置1102可以使得3D渲染1108中描绘的胎儿从胎儿的面部下方的角度被照亮。此类照亮可能与用户期望相反，因为面部通常可从上方被照亮(例如，经由阳光或房间中的顶灯)。因此，所描绘的胎儿的一个或多个面部特征对于系统(例如，100)的用户而言可能更难于识别，这不仅是由于例如3D渲染1108的取向1106处于非标准取向，而且还由于光源1104的位置1102而导致所述一个或多个面部特征在3D渲染1108中非直观地被阴影遮挡。
可以将光源1104的位置1102和3D渲染1108的取向1106中的每一者调整1110至光源1104的调整的位置1112和3D渲染1108的调整的取向1114。虽然调整的位置1112可能看起来与位置1102相同，但是在示意图1100中也调整了正X和Y方向，以便清楚地指示调整的位置1112相对于3D渲染1108确实被改变了。如渲染1108中所示，由于光源1102的调整的位置1112，所描绘的胎儿的所述一个或多个面部特征的阴影遮挡已经被改变，使得所述一个或多个面部特征可以被系统(例如，100)的用户更容易识别。以这种方式，当超声成像系统的用户可能难以识别所述一个或多个面部特征时，可以自动调整描绘胎儿的一个或多个面部特征的3D渲染的照明和取向，从而排除了对3D渲染的照明和/或取向进行手动调整的方便性。
现在参考图9，描绘了显示设备902的第一示例性用户界面显示900。在一个示例中，显示设备902可以是图1所示的显示设备118。第一示例性用户界面显示900可以包括示例性2D图像切片904和示例性3D渲染906的同时显示，其中3D渲染906的取向是标准取向。2D图像切片904的取向可以是获取的或初始的取向，如在从成像数据生成2D图像切片904之后设置的。如图所示，2D图像切片904的取向描绘了胎儿的头部在左侧，在一些示例中，这可以向用户指示3D渲染906还以所获取的取向显示。在此类示例中，获取的3D渲染906的取向可以是相对于显示设备902的向上取向。如此，第一示例性用户界面显示900可以在3D渲染906的取向被维持在获取的取向之后被显示在显示设备902处，诸如在以上参考图8A描述的过程中。在一些示例中，可以经由超声成像系统的用户(例如，经由触摸、鼠标、键盘等)选择2D图像切片904和3D渲染906中的每一者，以用于进一步的用户操纵。
现在参考图10，描绘了显示设备902的第二示例性用户界面显示1000。第二示例性用户界面显示1000可以包括示例性2D图像切片1004和示例性3D渲染1006的同时显示，其中3D渲染1006的取向是标准取向。2D图像切片1004的取向可以是获取的或初始的取向，如在从成像数据生成2D图像切片1004之后设置的。如图所示，2D图像切片1004的取向描绘了胎儿的头部在右侧，在一些示例中，这可以向用户指示3D渲染1006已经被自动调整为标准取向。在此类示例中，3D渲染1006的标准取向可以是相对于显示设备902的向上取向。如此，第二示例性用户界面显示1000可以在3D渲染1006的取向被调整为标准取向之后被显示在显示设备902处，诸如在以上参考图8B描述的过程中。
在一些示例中，可以在超声成像系统的用户界面(诸如图1所示的超声成像系统100的用户界面115)处接收到用户请求时更新3D渲染1006的取向。可以例如经由图像旋转图标1008输入用户请求。如图所示，图像旋转图标1008可提供用于将3D渲染的取向旋转90°、180°和270°的选项。在附加或另选示例中，该用户请求可以是用户输入的旋转角度的值。在一些示例中，可以经由超声成像系统的用户(例如，经由触摸、鼠标、键盘等)选择2D图像切片1004、3D渲染1006和图像旋转图标1008中的每一者，以用于进一步的用户操纵。此外，在一些示例中，当3D渲染1006的取向已经被自动调整时，可以显示通知1010。以这种方式，可以向用户提供多个信息源，用于推断和控制3D渲染相对于超声探头(例如，106)的取向。
以这种方式，可以基于对胎儿的一个或多个解剖特征的识别自动地调整从超声成像数据生成的胎儿的三维(3D)渲染取向。在一个示例中，所述一个或多个解剖特征可以是用于确定胎儿的垂直轴线的一个或多个面部特征，根据该垂直轴线可以确定3D渲染的取向。在调整3D渲染的取向中使用一个或多个面部特征的技术效果是，可以采用面部识别算法识别所述一个或多个面部特征，所述一个或多个面部特征可以提供多个参考点，利用这些参考点来限定与取向对准的垂直轴线。此外，在调整取向之后，可以在用户界面显示处向3D渲染提供胎儿的未改变的二维(2D)图像切片。以这种方式同时显示2D图像切片和3D渲染的技术效果是，即使在3D渲染的取向的自动调整之后，也可以向用户提供足够的信息来推断提供超声成像数据的超声成像仪的探头的实际取向。
在一个实施方案中，一种方法包括：从超声成像仪的探头获取成像数据；从成像数据生成图像切片和渲染；确定渲染的取向；响应于确定该取向不是标准取向，将取向调整为标准取向；以及在以标准取向提供渲染时显示未改变的图像切片。在该方法的第一示例中，成像数据包括胎儿成像数据，并且图像切片和渲染中的每一者描绘胎儿的一个或多个解剖特征。在该方法的第二示例中，可选地包括第一示例，所述一个或多个解剖特征包括一个或多个面部特征，并且标准取向是相对于从所述一个或多个面部特征确定的垂直轴线的向上取向。在该方法的第三示例中，可选地包括第一示例和第二示例中的一个或多个，确定渲染的取向包括识别所述一个或多个解剖特征，并且基于所述一个或多个识别的解剖特征来确定取向。在该方法的第四示例中，可选地包括第一至第三示例中的一个或多个，识别所述一个或多个解剖特征包括使用深度神经网络系统从渲染中识别所述一个或多个解剖特征。在该方法的第五示例中，可选地包括第一至第四示例中的一个或多个，在从渲染中识别所述一个或多个解剖特征之前，利用描绘另外的胎儿的一个或多个解剖特征的附加渲染的训练集来训练深度神经网络系统。在该方法的第六示例中，可选地包括第一至第五示例中的一个或多个，该方法还包括响应于超声成像仪的探头的位置被改变，实时自动地将取向调整为标准取向。在该方法的第七示例中，可选地包括第一至第六示例中的一个或多个，该方法还包括：响应于超声成像仪的探头的位置被改变：响应于改变的位置在胎儿的检测范围之外，生成并显示通知；并且响应于改变的位置在胎儿的检测范围内，将取向调整为标准取向。在该方法的第八示例中，可选地包括第一至第七示例中的一个或多个，该方法还包括：接收对更新的取向的用户请求；将取向调整为更新的取向；以及以更新的取向显示渲染。
在另一个实施方案中，一种系统包括：超声探头；用户界面，该用户界面被配置为从系统的用户接收输入；显示设备；以及处理器，该处理器被配置有在非暂态存储器中的指令，这些指令在被执行时使处理器：从超声探头获取胎儿成像数据；从该胎儿成像数据生成胎儿的二维(2D)图像切片和胎儿的三维(3D)渲染；基于胎儿的一个或多个解剖特征来确定3D渲染的取向；响应于确定该取向不是标准取向，将取向调整为标准取向；并且经由显示设备以标准取向同时显示2D图像切片和3D渲染。在该系统的第一示例中，基于胎儿的所述一个或多个解剖特征来确定3D渲染的取向包括：在3D渲染中搜索所述一个或多个解剖特征；响应于所述一个或多个解剖特征被识别：基于所述一个或多个解剖特征来确定胎儿的垂直轴线；以及确定3D渲染相对于垂直轴线的取向。在系统的第二示例中，可选地包括第一示例，所述一个或多个解剖特征包括鼻部和嘴部，并且垂直轴线将鼻部和嘴部分成两个部分。在系统的第三示例中，可选地包括第一示例和第二示例中的一个或多个，所述一个或多个解剖特征包括鼻部或嘴部，并且基于所述一个或多个解剖特征来确定垂直轴线包括：基于所述一个或多个解剖特征来确定横向轴线；并且生成垂直于横向轴线并将鼻部或嘴部分成两个部分的垂直轴线。在系统的第四示例中，可选地包括第一至第三示例中的一个或多个，所述一个或多个解剖特征还包括眼睛或耳朵，并且横向轴线将眼睛或耳朵分成两个部分。在系统的第五示例中，可选地包括第一至第四示例中的一个或多个，确定取向不是标准取向包括取向在标准取向的阈值角之外。在系统的第六示例中，可选地包括第一至第五示例中的一个或多个，阈值角为20°。
在又一个实施方案中，一种方法包括：从超声成像系统的探头获取胎儿的成像数据；从成像数据生成描绘胎儿的二维(2D)图像切片和描绘胎儿的三维(3D)渲染；自动识别在3D渲染中描绘的胎儿的一个或多个解剖特征；基于所述一个或多个识别的解剖特征自动确定3D渲染的取向；响应于3D渲染的取向处于标准取向，维持3D渲染的取向；响应于3D渲染的取向不处于标准取向，自动反转3D渲染的取向；以及此后经由超声成像系统的显示设备同时显示2D图像切片和3D渲染。在该方法的第一示例中，所述一个或多个解剖特征包括一个或多个面部特征。在该方法的第二示例中，可选地包括第一示例，该方法还包括在同时显示2D图像切片和3D渲染之后，并且响应于在超声成像系统的用户界面处接收到的用户请求，更新3D渲染的取向。在该方法的第三示例中，可选地包括第一示例和第二示例中的一个或多个，标准取向是相对于显示设备的向上取向。
如本文所用，以单数形式列举并且以单词“一个”或“一种”开头的元件或步骤应当被理解为不排除多个所述元件或步骤，除非明确说明此类排除。此外，对本发明的“一个实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。此外，除非明确地相反说明，否则“包含”、“包括”或“具有”具有特定特性的元件或多个元件的实施方案可包括不具有该特性的附加此类元件。术语“包括”和“在...中”用作相应的术语“包含”和“其中”的简明语言等同形式。此外，术语“第一”、“第二”和“第三”等仅用作标记，而不旨在对其对象施加数字要求或特定位置次序。
该书面描述使用示例来公开本发明，包括最佳模式，并且还使相关领域中的普通技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明可取得专利权的范围由权利要求书限定，并且可包括本领域普通技术人员想到的其他示例。如果此类其它示例具有与权利要求书的字面语言没有区别的结构元素，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元素，则此类其它示例旨在落入权利要求书的范围内。

Claims (20)

1.一种方法，包括：
从超声成像仪的探头获取成像数据；
从所述成像数据生成图像切片和渲染；
确定所述渲染的取向；
响应于确定所述取向不是标准取向，将所述取向调整为所述标准取向；以及
在以所述标准取向提供所述渲染时显示未改变的所述图像切片。
2.根据权利要求1所述的方法，其中
所述成像数据包括胎儿成像数据；以及
所述图像切片和所述渲染中的每一者描绘胎儿的一个或多个解剖特征。
3.根据权利要求2所述的方法，其中
所述一个或多个解剖特征包括一个或多个面部特征；以及
所述标准取向是相对于从所述一个或多个面部特征确定的垂直轴线的向上取向。
4.根据权利要求2所述的方法，其中确定所述渲染的所述取向包括：
识别所述一个或多个解剖特征；以及
基于所述一个或多个识别的解剖特征来确定所述取向。
5.根据权利要求4所述的方法，其中识别所述一个或多个解剖特征包括使用深度神经网络系统从所述渲染中识别所述一个或多个解剖特征。
6.根据权利要求5所述的方法，其中在从所述渲染中识别所述一个或多个解剖特征之前，利用描绘另外的胎儿的一个或多个解剖特征的附加渲染的训练集来训练所述深度神经网络系统。
7.根据权利要求1所述的方法，还包括：
响应于所述超声成像仪的所述探头的位置被改变，实时自动地将所述取向调整为所述标准取向。
8.根据权利要求2所述的方法，还包括：
响应于所述超声成像仪的所述探头的位置被改变：
响应于所述改变的位置在所述胎儿的检测范围之外，生成并显示通知；以及
响应于所述改变的位置在所述胎儿的所述检测范围内，将所述取向调整为所述标准取向。
9.根据权利要求1所述的方法，还包括：
接收对更新的取向的用户请求；
将所述取向调整为所述更新的取向；以及
以所述更新的取向显示所述渲染。
10.一种系统，包括：
超声探头；
用户界面，所述用户界面被配置为从所述系统的用户接收输入；
显示设备；和
处理器，所述处理器被配置有在非暂态存储器中的指令，所述指令在被执行时使所述处理器：
从所述超声探头获取胎儿成像数据；
从所述胎儿成像数据生成胎儿的二维(2D)图像切片和所述胎儿的三维(3D)渲染；
基于所述胎儿的一个或多个解剖特征来确定所述3D渲染的取向；
响应于确定所述取向不是标准取向，将所述取向调整为所述标准取向；以及
经由所述显示设备以所述标准取向同时显示所述2D图像切片和所述3D渲染。
11.根据权利要求10所述的系统，其中基于所述胎儿的所述一个或多个解剖特征来确定所述3D渲染的所述取向包括：
在所述3D渲染中搜索所述一个或多个解剖特征；
响应于所述一个或多个解剖特征被识别：
基于所述一个或多个解剖特征来确定所述胎儿的垂直轴线；以及
确定所述3D渲染相对于所述垂直轴线的所述取向。
12.根据权利要求11所述的系统，其中
所述一个或多个解剖特征包括鼻部和嘴部；以及
所述垂直轴线将所述鼻部和所述嘴部分成两个部分。
13.根据权利要求11所述的系统，其中
所述一个或多个解剖特征包括鼻部或嘴部；以及
基于所述一个或多个解剖特征来确定所述垂直轴线包括：
基于所述一个或多个解剖特征来确定横向轴线；以及
生成垂直于所述横向轴线并将所述鼻部或所述嘴部分成两个部分的垂直轴线。
14.根据权利要求13所述的系统，其中
所述一个或多个解剖特征还包括眼睛或耳朵；以及
所述横向轴线将所述眼睛或所述耳朵分成两个部分。
15.根据权利要求11所述的系统，其中确定所述取向不是所述标准取向包括所述取向在所述标准取向的阈值角之外。
16.根据权利要求15所述的系统，其中所述阈值角是20°。
17.一种用于超声成像系统的方法，包括：
从超声成像系统的探头获取胎儿的成像数据；
从所述成像数据生成描绘所述胎儿的二维(2D)图像切片和描绘所述胎儿的三维(3D)渲染；
自动识别在所述3D渲染中描绘的所述胎儿的一个或多个解剖特征；
基于所述一个或多个识别的解剖特征自动确定所述3D渲染的取向；
响应于所述3D渲染的所述取向处于标准取向，维持所述3D渲染的所述取向；
响应于所述3D渲染的所述取向不处于所述标准取向，自动反转所述3D渲染的所述取向；以及此后
经由所述超声成像系统的显示设备同时显示所述2D图像切片和所述3D渲染。
18.根据权利要求17所述的方法，其中所述一个或多个解剖特征包括一个或多个面部特征。
19.根据权利要求17所述的方法，还包括：
在同时显示所述2D图像切片和所述3D渲染之后，并且响应于在所述超声成像系统的用户界面处接收到的用户请求，更新所述3D渲染的所述取向。
20.根据权利要求17所述的方法，其中所述标准取向是相对于所述显示设备的向上取向。
CN202010547229.2A 2019-07-16 2020-06-15 用于处理和显示胎儿图像的方法和系统 Pending CN112237446A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/513,582 2019-07-16
US16/513,582 US20210015449A1 (en) 2019-07-16 2019-07-16 Methods and systems for processing and displaying fetal images from ultrasound imaging data

Publications (1)

Publication Number Publication Date
CN112237446A true CN112237446A (zh) 2021-01-19

Family

ID=74170448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010547229.2A Pending CN112237446A (zh) 2019-07-16 2020-06-15 用于处理和显示胎儿图像的方法和系统

Country Status (3)

Country Link
US (1) US20210015449A1 (zh)
KR (1) KR102419310B1 (zh)
CN (1) CN112237446A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240032563A (ko) * 2022-09-02 2024-03-12 삼성메디슨 주식회사 초음파 진단 장치 및 진단 방법
KR102588866B1 (ko) * 2022-12-07 2023-10-16 주식회사 에어스메디컬 의료 시스템 제어 방법, 컴퓨터 프로그램 및 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130237824A1 (en) * 2012-03-09 2013-09-12 Samsung Medison Co., Ltd. Method for providing ultrasound images and ultrasound apparatus
CN106456112A (zh) * 2014-05-09 2017-02-22 皇家飞利浦有限公司 用于以期望的取向定位3d超声体积的成像系统和方法
WO2018205274A1 (zh) * 2017-05-12 2018-11-15 深圳迈瑞生物医疗电子股份有限公司 一种超声设备及其三维超声图像的显示变换方法、系统
CN109069119A (zh) * 2016-04-26 2018-12-21 皇家飞利浦有限公司 用于超声胎儿成像的3d图像合成

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013137276A1 (ja) 2012-03-12 2013-09-19 株式会社東芝 超音波診断装置
CN104797199B (zh) 2012-11-20 2018-02-23 皇家飞利浦有限公司 用于实时胎儿心脏评估的标准平面的自动定位
KR102312267B1 (ko) * 2014-10-31 2021-10-14 삼성메디슨 주식회사 초음파 영상 장치 및 그 동작 방법
US10398411B2 (en) * 2016-02-19 2019-09-03 General Electric Company Automatic alignment of ultrasound volumes

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130237824A1 (en) * 2012-03-09 2013-09-12 Samsung Medison Co., Ltd. Method for providing ultrasound images and ultrasound apparatus
CN106456112A (zh) * 2014-05-09 2017-02-22 皇家飞利浦有限公司 用于以期望的取向定位3d超声体积的成像系统和方法
CN109069119A (zh) * 2016-04-26 2018-12-21 皇家飞利浦有限公司 用于超声胎儿成像的3d图像合成
WO2018205274A1 (zh) * 2017-05-12 2018-11-15 深圳迈瑞生物医疗电子股份有限公司 一种超声设备及其三维超声图像的显示变换方法、系统

Also Published As

Publication number Publication date
KR102419310B1 (ko) 2022-07-12
US20210015449A1 (en) 2021-01-21
KR20210010321A (ko) 2021-01-27

Similar Documents

Publication Publication Date Title
JP7330207B2 (ja) 適応的超音波スキャニング
JP7168664B2 (ja) 画像アーチファクトを検出するインテリジェント超音波システム
CN112603361B (zh) 用于在超声图像中跟踪解剖特征的系统和方法
US10499879B2 (en) Systems and methods for displaying intersections on ultrasound images
US11607200B2 (en) Methods and system for camera-aided ultrasound scan setup and control
US8795178B2 (en) Ultrasound imaging system and method for identifying data from a shadow region
CN111683600B (zh) 用于根据超声图像获得解剖测量的设备和方法
CN113795198B (zh) 用于控制体积速率的系统和方法
US20210015448A1 (en) Methods and systems for imaging a needle from ultrasound imaging data
CN108013899A (zh) 用于医学成像系统的方法和系统
CN113905670A (zh) 引导式超声成像
KR102419310B1 (ko) 초음파 이미징 데이터로부터 태아 이미지들을 프로세싱 및 디스플레이하기 위한 방법들 및 시스템들
CN114902288A (zh) 利用基于解剖结构的三维(3d)模型切割进行三维(3d)打印的方法和系统
WO2020133236A1 (zh) 一种脊柱的成像方法以及超声成像系统
US9842427B2 (en) Methods and systems for visualization of flow jets
KR102695456B1 (ko) 대상체에 관한 횡파 탄성 데이터를 표시하는 초음파 진단 장치 그 동작 방법
US11974881B2 (en) Method and system for providing an anatomic orientation indicator with a patient-specific model of an anatomical structure of interest extracted from a three-dimensional ultrasound volume
JP7336766B2 (ja) 超音波診断装置、超音波診断方法および超音波診断プログラム
CN116258736A (zh) 用于分割图像的系统和方法
CN114947939A (zh) 用于多平面成像的超声成像系统和方法
US11593936B2 (en) Ultrasound imaging system and method for providing feedback regarding acquisition quality
US20240285256A1 (en) Ultrasound imaging system and method for segmenting an object from a volumetric ultrasound dataset
US20240215956A1 (en) System for adjusting orientation of 4d ultrasound image

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination