CN111093518B - 使用与图像的触摸交互而从体积数据中提取图像平面的超声系统 - Google Patents

使用与图像的触摸交互而从体积数据中提取图像平面的超声系统 Download PDF

Info

Publication number
CN111093518B
CN111093518B CN201880059544.1A CN201880059544A CN111093518B CN 111093518 B CN111093518 B CN 111093518B CN 201880059544 A CN201880059544 A CN 201880059544A CN 111093518 B CN111093518 B CN 111093518B
Authority
CN
China
Prior art keywords
image
anatomical structure
image data
desired anatomical
imaging system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880059544.1A
Other languages
English (en)
Other versions
CN111093518A (zh
Inventor
D·N·朗德西尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN111093518A publication Critical patent/CN111093518A/zh
Application granted granted Critical
Publication of CN111093518B publication Critical patent/CN111093518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0866—Detecting organic movements or changes, e.g. tumours, cysts, swellings involving foetal diagnosis; pre-natal or peri-natal diagnosis of the baby
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A61B8/0875—Detecting organic movements or changes, e.g. tumours, cysts, swellings for diagnosis of bone
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Detecting organic movements or changes, e.g. tumours, cysts, swellings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/13—Tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4427—Device being portable or laptop-like
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/465—Displaying means of special interest adapted to display user selection data, e.g. icons or menus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/461—Displaying means of special interest
    • A61B8/466—Displaying means of special interest adapted to display 3D data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/483—Diagnostic techniques involving the acquisition of a 3D volume of data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/523—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for generating planar views from image data in a user selectable plane not corresponding to the acquisition plane
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/58—Testing, adjusting or calibrating the diagnostic device
    • A61B8/585—Automatic set-up of the device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/44—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device
    • A61B8/4444—Constructional features of the ultrasonic, sonic or infrasonic diagnostic device related to the probe
    • A61B8/4472—Wireless probes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • General Physics & Mathematics (AREA)
  • Physiology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Pregnancy & Childbirth (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)

Abstract

一种超声系统包括图像提取处理器，所述图像提取处理器响应于在触摸屏显示器上对超声图像中的期望的解剖结构的至少部分的触摸而从包括所述期望的解剖结构的3D体积数据集中提取所述期望的解剖结构的图像。该系统和方法也能够用于从解剖结构的体积图像数据中提取标准视图图像。

Description

使用与图像的触摸交互而从体积数据中提取图像平面的超声 系统
技术领域
本发明涉及医学诊断超声系统，并且特别涉及使得能够通过与图像的触摸交互来提取选定的解剖结构的图像平面的超声系统。
背景技术
产科胎儿成像是超声成像的最重要的分支之一。超声是一种非电离的成像模态，因此对于胎儿发育是安全的。超声成像用于监测胎儿的发育，并且还用于根据胎龄来预测预期的分娩日期。胎龄估计是通过测量发育中的胎儿的各种骨骼(例如，头骨和肢体)的尺寸来完成的。经过临床验证的算法结合使用这些测量结果来估计胎龄。被配置用于产科成像的典型的超声系统配备有协议，该协议可以指导超声医师采集测量所需的图像，并且该超声系统中还具有年龄估计算法。
然而，采集用于准确测量胎儿骨骼结构的必要图像并不总是那么容易。当在二维(2D)图像平面中完全捕获肢体的纵向尺寸时才能进行最准确的测量，但是利用标准2D成像探头操纵图像平面通常会出现问题。胎儿可能会频繁移动并且可能在子宫中处于不同位置，从而使肢体处于并非总能从探头延伸出来的2D平面访问的取向。3D体积成像提供了针对这种情况的解决方案。从3D成像探头的孔径延伸的3D体积区域能够被定位为捕获胎儿所在的体积，而不管胎儿的当前位置如何。能够快速捕获体积图像，然后在空闲时通过使用多平面重新格式化查看体积的不同切片平面以提取包含测量所需的骨骼的期望平面，从而对体积图像进行分析和诊断。但是在这种提取中经常遇到的问题是所期望的解剖结构可能并不总是清晰可见，因为它可能被周围的组织、脐带或子宫壁阻挡。因此，有时需要“剪掉”体积图像中的模糊组织并仔细搜索以找到测量所需的微小结构的图像。期望加快该过程，以便能够快速、完整地查看所期望的解剖结构以进行准确的测量。
发明内容
根据本发明的原理，一种超声系统能够使用图像处理从3D体积图像数据集中提取期望的解剖结构的图像平面，所述图像处理已经被编程为识别3D体积图像中的所述期望的解剖结构。采集3D体积图像数据集，并且在触摸屏显示器上显示超声图像。当用户在超声图像中看到期望的解剖结构的部分时，用户在触摸屏上触摸该解剖结构。这会将提示发送到图像提取处理器，然后该图像提取处理器会检查所识别的解剖位置周围的图像平面并定位到包含期望的解剖结构的图像平面。所识别的解剖结构的图像被显示给用户，并且显示还可以自动包括对诸如胎儿检查之类的特定检查有用的期望的解剖结构的测量。
附图说明
在附图中：
图1图示了具有触摸屏显示器的平板超声系统以及用于与该系统一起使用的超声探头。
图2图示了包含胎儿股骨和与该股骨相交的切面的3D体积图像。
图3是股骨的图片，其指示当利用如图2所示的体积图像进行成像时在骨骼上的股骨与切面的相交位置。
图4是示出图2的切面的图像的超声图像显示。
图5是根据本发明的第一实施方式构造的超声系统的框图，该超声系统使用胎儿模型在体积图像数据中识别胎儿骨骼的图像平面。
图6是图示图5的超声系统的操作的流程图。
图7是根据本发明的原理已经识别和提取的适合用于测量的纵向视图中的胎儿骨骼的超声显示。
图8是根据本发明的第二实施方式构造的超声系统的框图，该超声系统使用神经网络模型在体积图像数据中识别胎儿骨骼的图像平面。
图9是图示图8的超声系统的操作的流程图。
具体实施方式
参考图1，示出了本发明的超声系统。该系统包括具有触摸屏120的平板超声系统。具有这些特性的合适的商业系统是可从马萨诸塞州的安多弗市的飞利浦医疗保健公司获得的LumifyTM超声系统。触摸屏显示器将显示超声图像12以及患者和系统信息22和触摸屏控件24，用户通过触摸屏控件24控制超声系统的操作。在平板系统的右侧是超声探头10，超声探头10利用位于其远端14处的二维换能器阵列来发送和接收超声能量。二维阵列能够以电子方式扫描和采集回波信号，以用于在对象的体积区域上进行成像。也可以利用具有振荡的一维阵列换能器的换能器来执行三维成像。超声探头10通过线缆或以无线方式被耦合到平板超声系统，该平板超声系统能够进行如由波126所指示的蓝牙和Wifi通信。探头10被示为在其近端处具有用于与平板超声系统通信的短截线天线16。
图2描绘了根据由超声探头10采集的回波产生的用于3D成像的空间布置的图像体素的体积72。在该示例中，图像数据的体积包含在探头的扫描区域中的胎儿股骨92的图像数据。股骨被示出在虚线幻象中，描绘了骨骼在体积内部被周围的组织体素遮挡。股骨的纵向尺寸从体积72的前部延伸到后部。还图示了穿过图像数据的体积的切面70。在该示例中，图像数据的像素的平面70与股骨90相交。因此，根据图像平面70中的像素产生的图像将包括股骨92的横截面区90。图3是股骨92的透视图片，其指示在图2的图像平面70中的穿过骨的切片的位置90。
以此为背景，图4示出了显示平面超声图像12的超声系统显示器100。该图像是表示切片平面70的图像将如何出现的典型示例，其包括被位于骨骼周围的组织的像素包围的股骨92的横截面视图90。在本发明的实施方式中，用户在显示器上触摸在图像中可见的股骨的部分90。触摸触摸屏会向超声系统发送信号，从而向系统指示图像数据中的如下位置：系统将围绕该位置分析体积图像数据以找到包含股骨的纵向视图的图像平面。系统已经知晓用户正在进行产科检查，当用户选择产科探头10时，系统便知晓该情况。任选地，用户还可以向系统指示要被定位的是胎儿股骨。现在，机载图像提取处理器在不同取向的平面中搜索与通过用户在触摸屏显示器上触摸骨骼部分90所标记的图像数据中的位置相交的体积图像数据，直到找到包含股骨的纵向图像的平面。
在图5中以框图形式示出了被配置为执行该分析并产生所期望的图像的超声系统的一种实施方式。换能器阵列112被提供在超声探头10中，以用于向身体的体积区域发射超声波并接收回波信息。换能器阵列112可以是换能器元件的二维阵列，该换能器元件能够在高度(3D)和方位这两者上以二维或三维方式进行电子扫描，如图所示。替代地，换能器可以是能够扫描图像平面的一维阵列，该扫描来回振荡以将图像平面扫过体积区域，从而扫描该区域以进行三维成像，如在美国专利US 7497830(Li等人)中所描述的那样。二维换能器阵列112被耦合到探头中的微波束形成器114，该微波束形成器114控制由阵列元件进行的信号的发送和接收。微型波束形成器能够对由换能器元件的组或“拼片”接收的信号进行至少部分的波束形成，如在美国专利US 5997479(Savord等人)、US 6013032(Savord)和US6623432(Powers等人)中所描述的那样。微波束形成器通过探头线缆被耦合到发射/接收(T/R)开关16，该T/R开关16在发射和接收之间切换并保护主系统波束形成器20免受高能发射信号的影响。在微波束形成器114的控制下，来自换能器阵列112的超声波束的发射由被耦合到T/R开关和波束形成器20的发射控制器18来指导，该发射控制器18接收来自用户对用户接口的操作的输入或触摸屏显示器上的控件24的输入。由发射控制器控制的发射特性包括发射波形的间隔、幅度、相位和极性。在脉冲发射的方向形成的波束可以从换能器阵列直接向前转向，也可以以不同的角度转向以获得更宽的扇形视场，后者是大多数产科成像探头的典型使用情况。
由一组相邻的换能器元件接收到的回波通过得到适当的延迟和后续的组合而得到波束形成。由微波束形成器114根据每个拼片所产生的部分波束形成的信号被耦合到主波束形成器20，在主波束形成器20中，来自换能器元件的个体拼片的部分波束形成的信号被延迟并被组合成完全波束形成的相干回波信号。例如，主波束形成器20可以具有128个通道，这128个通道中的每个通道接收来自12个换能器元件的拼片的部分波束形成的信号。以这种方式，由二维阵列换能器的超过1500个换能器元件接收的信号能够有效地贡献于单个波束形成的信号。
信号处理器26对相干回波信号进行信号处理，该信号处理包括通过数字滤波器进行的滤波和通过空间或频率复合进行的降噪。信号处理器26的数字滤波器可以是例如在美国专利US 5833613(Averkiou等人)中公开的类型的滤波器。正交解调器28将经处理的回波信号解调成正交(I和Q)分量，该正交解调器28提供信号相位信息并且还能够将信号信息移位到基带频率范围。
经波束形成和处理的相干回波信号被耦合到B模式处理器52，该B模式处理器52产生身体中的结构(例如，组织)的B模式图像。B模式处理器通过计算(I2+Q2)1/2的形式的回波信号幅度对经正交解调的I和Q信号分量执行幅度(包络)检测。正交回波信号分量也被耦合到多普勒处理器46，多普勒处理器46存储来自图像场中的离散点的回波信号的总集，然后快速傅立叶变换(FFT)处理器使用该总集来估计图像中的点处的多普勒频移。多普勒频移与图像场中的点处的运动(例如，血流和组织运动)成比例。对于可以被形成而用于胎儿血流分析的彩色多普勒图像，将血管中的每个点处的经估计的多普勒血流值进行壁滤波并使用查找表将其转换为颜色值。B模式图像或多普勒图像可以被单独显示，也可以以解剖配准的方式被一起显示，当被一起显示时，彩色多普勒叠加物示出被成像区域中的组织和血管中的血流。
B模式图像信号和多普勒血流值在被使用时被耦合到3D图像数据存储器，该3D图像数据存储器将图像数据存储在与对象的扫描体积区域中的空间位置相对应的x、y和z可寻址存储器位置中。该体积图像数据被耦合到体积绘制器34，该体积绘制器34将3D数据集的回波信号转换成如从给定参考点所看到的投影3D图像，如在美国专利US 6530885(Entrekin等人)中所描述的那样。可以通过触摸屏显示器上的控件来更改参考点(即，从其查看被成像体积的透视图的点)，该控件使得体积能够被倾斜或旋转，以从不同的视点来诊断区域。
根据本发明的原理，用于产生体积绘制的体积图像数据被耦合到图像提取处理器，该图像提取处理器在该实施方式中是胎儿模型86。胎儿模型是如下的处理器和存储器：其以胎儿检查中的典型的感兴趣结构的数据形式存储大小不同和/或形状不同的模型的库。该库可以包含不同的模型集合，每个模型表示特定的胎儿发育年龄(例如，发育的妊娠早期和妊娠中期)的典型胎儿结构。该模型是表示发育中的胎儿的胎儿骨架和皮肤(表面)的骨骼的网格的数据。骨骼的网格如骨架的实际骨骼那样是相互连接的，因此它们的相对移动和关节运动范围的受限情况与实际骨架结构的受限情况相同。类似地，表面网格被限制在其围绕的骨骼的一定距离范围内。当用户已经将已知的解剖信息(例如，要识别的骨骼被认为是妊娠中期的胎儿的股骨)告知系统时，该信息被耦合到胎儿模型并被用于从库中选择特定的模型作为分析的起点。通过更改模型的参数来扭曲模型(例如，表示典型股骨的近似表面的自适应网格)，模型可以在约束极限(例如，胎龄)内变形，从而通过变形将模型拟合到体积图像数据集中的结构界标。自适应网格模型是期望的情况，因为它能够在其网格连续性和其他约束的极限内努力扭曲，使得变形的模型拟合到与识别的骨骼位置90相交的不同图像平面中的结构。该过程由自动形状处理器继续进行，直到找到模型能够拟合的平面中的数据，从而将该数据识别为所期望的解剖结构。当骨骼模型被配置为执行该过程时，可以通过对由体积绘制器34提供的体积图像数据执行胎儿模型操作来选择所检查的体积图像数据中的平面。替代地，能够通过多平面重新格式化器42从体积数据中提取与指定位置90相交的一系列不同取向的图像平面并将其提供给胎儿模型86以进行分析和拟合。如在美国专利US 6443896(Detmer)中所描述的那样，多平面重新格式化器选择从身体的体积区域中的公共平面中的点接收的回波数据，该回波数据能够被显示为该平面的超声图像。在本系统中，多平面重新格式化器被编程为将与通过用户触摸所标记的位置相交的、不同取向的图像数据平面的序列耦合到胎儿模型，直到找到其中模型能够拟合图像数据的平面。在上述两种情况中的任意一种情况下，具有期望的解剖结构的图像平面的识别被耦合回到多平面重新格式化器以供显示期望的图像平面。图像提取处理器还可以例如通过以下操作来提供和/或寻求对被识别的解剖结构的验证：当用户看起来正在寻求显示股骨时向用户显示消息“股骨？”，并且处理器期望对此进行验证或得到用户的保证。在标题为“MODEL-BASED SEGMENTATION OF AN ANATOMICAL STRUCTURE”的国际专利申请WO 2015/019299(Mollus等人)中进一步详细说明了前述模型变形和拟合。还参见标题为“ESTABLISHING A CONTOUR OF A STRUCTURE BASED ON IMAGE INFORMATION”的国际专利申请WO 2010/150156(Peters等人)和标题为“TRANSLATION OF ULTRASOUND ARRAYRESPONSIVE TO ANATOMICAL ORIENTATION”的美国专利申请公开US 2017/0128045(Roundhill等人)。
一旦找到了包含期望的解剖结构的图像平面(在该示例中为股骨的纵向视图)的取向坐标，该信息便由胎儿骨骼模型耦合到多平面重新格式化器，该多平面重新格式化器从体积图像数据中选择该数据平面以供显示。平面图像数据被耦合到图像处理器30，以在必要时进行扫描转换并进一步得到增强、缓冲和临时存储以供在图像显示器40上进行显示。在优选的实施方式中，图像处理器还将期望的测量结果添加到图像，当超声图像数据在空间上准确时，这是易于完成的。图形处理器36产生包含测量图形和测量结果以及所期望的胎儿骨骼92的图像的显示叠加物，如图7中的图像显示100上所示。如果需要，超声系统能够自动将识别出的结构标示为股骨，并且还能够被配置为自动调用胎龄估计程序并将骨骼测量结果输入到程序中以加快胎龄估计。
图6图示了用于操作图5的超声系统以从体积图像数据中提取期望的胎儿解剖结构的图像的方法。在步骤302中，启动超声系统的胎儿模型。在步骤304中，采集胎儿的3D(体积)图像数据。在步骤306中，任选地将已知的解剖信息(例如，要识别的特定骨骼和胎龄(妊娠期))耦合到胎儿模型。在步骤308中，用户在触摸屏显示器上触摸超声图像中的期望的胎儿骨骼，在该超声图像中，骨骼的至少部分是可见的。在步骤310中，胎儿模型使用这种触摸识别在3D图像数据中识别包含所期望的骨骼的图像平面。在步骤312中，以纵向视图显示所期望的胎儿骨骼的识别出的图像平面的切片图像。在步骤314中，执行对胎儿骨骼的测量，该测量任选地可以如上所述的那样自动完成。
图8以框图形式图示了包括本发明的第二实施方式的超声系统。在图8的系统中，在图5中示出和描述的系统元件被用于相同的功能和操作并且将不再进行描述。在图8的系统中，图像提取处理器包括神经网络模型80。神经网络模型利用了被称为“深度学习”的人工智能技术的发展。深度学习是机器学习算法的一个快速发展的分支，它模仿人脑在分析问题时的功能。人脑回忆起过去从解决类似问题中学到的知识并将其应用于解决新问题。目前正在进行探索以确定该技术在例如模式识别、自然语言处理和计算机视觉等诸多领域中的可能用途。深度学习算法相对于传统形式的计算机编程算法具有明显优势，因为它能够通过分析图像样本而不是编写自定义的计算机代码而得到通用化和训练以识别图像特征。然而，在超声系统中可见的解剖结构似乎不容易进行自动图像识别。对于每个人都是不同的，并且解剖结构的形状、大小、位置和功能因人而异。此外，即使使用相同的超声系统，超声图像的质量和清晰度也会有所不同。那是因为人体习惯会影响从人体内部返回的、用于形成图像的超声信号。通过孕妇的腹部进行胎儿扫描通常会导致超声信号大大衰减和胎儿图像中的定义的解剖结构不清晰。尽管如此，本申请中描述的系统已经证明了使用深度学习技术通过由神经网络模型进行处理而在胎儿超声图像中识别解剖结构的能力。首先通过向神经网络模型呈现已知解剖结构的多幅图像(例如，具有对于模型已知的、被识别的胎儿结构的胎儿图像)来训练该神经网络模型。经过训练后，用户在胎儿检查期间采集的实况图像将由神经网络模型进行实时分析，该神经网络模型可以在图像中识别解剖结构。
深度学习神经网络模型包括可以由软件设计人员编写的软件，也可以从许多来源公开获得。在图8的超声系统中，神经网络模型软件被存储在数字存储器中。能够用于构建被称为“Nvidia digits”的神经网络模型的应用程序可在https://developer.nvidia.com/digits上获得。Nvidia digits是围绕被称为“Caffe”的深度学习框架的高级用户接口，该深度学习框架由伯克利视觉与学习中心开发(http://caffe.berkeleyvision.org/)。可以在https://developer.nvidia.com/deep-learning-frameworks上找到适合用于本发明的实施方式的常用的深度学习框架的列表。与神经网络模型80耦合的是训练图像存储器82，在训练图像存储器82中存储了包括胎儿骨骼的已知胎儿解剖结构的超声图像，并且该超声图像可以用于训练神经网络模型以在3D(体积)超声图像数据集中识别解剖结构。一旦通过大量已知的胎儿图像训练了神经网络模型，该神经网络模型就会从体积绘制器34中接收胎儿的体积图像数据集。如上所述，神经网络模型可以以解剖信息的形式接收其他提示，例如，正在执行产科检查的事实以及和胎儿的妊娠期。神经网络模型还接收因用户在触摸屏显示器上触摸期望的解剖结构的部分(在该示例中为股骨)而生成的位置信号。然后，神经网络模型分析包括识别出的位置的区域，直到在体积图像数据中识别出股骨。包含股骨的纵向图像数据的平面的坐标被耦合到多平面重新格式化器42，多平面重新格式化器42从体积图像数据集中提取所期望的股骨图像并将其转发到图像处理器以供显示，如图7所示。如前所述，超声系统可以被调控为自动标示和/或测量骨骼，显示测量结果，以及将测量信息耦合到另一程序(例如，胎龄估计程序)。
图9图示了用于操作图8的超声系统以从体积图像数据中提取期望的胎儿解剖结构的图像的方法。在步骤202中，训练神经网络模型以在3D胎儿图像数据中识别胎儿骨骼。在步骤204中，采集胎儿的3D(体积)图像数据。在步骤206中，任选地将已知的解剖信息(例如，要识别的特定骨骼和胎龄(妊娠期))耦合到胎儿骨骼模型。在步骤208中，用户在触摸屏显示器上触摸超声图像中的期望的胎儿骨骼，在该超声图像中，骨骼的至少部分是可见的。在步骤210中，神经网络模型使用对图像中的位置的这种触摸识别来识别3D图像数据中包含所期望的骨骼的图像平面。在步骤212中，显示所期望的胎儿骨骼的识别出的图像平面的切片图像。在步骤214中，执行对胎儿骨骼的测量，该测量任选地可以如上所述的那样自动完成。
本领域技术人员将容易想到上述系统和方法的变型。在图5和图8中示出的许多系统部件能够被定位在探头盒中。例如，某些Lumify探头包含来自换能器的部件，该部件通过B模式处理器，通过USB线缆向平板显示器输出检测到的图像信号。如果需要，能够将该方法扩展为甚至在探头中包括额外的部件，例如，3D图像数据存储器和体积绘制软件。因此，以上被描述为“系统”部件的多个部件可以替代地被定位在超声探头中。
除了产科以外，本发明的技术还能够用于其他诊断领域。例如，许多超声检查需要解剖结构的标准视图以进行诊断。在诊断肾脏时，标准视图是肾脏的冠状图像平面。在心脏病学中，心脏的两腔、三腔和四腔观视图是标准视图。能够训练神经网络模型以在心脏的3D图像数据集中识别这种视图，然后将这种视图用于从体积数据中选择期望的视图的图像平面，并且将该图像平面显示给临床医生。本领域技术人员将容易想到其他应用。
应当注意，适合用于本发明的实施方式的超声系统(特别是图5和图8的超声系统的部件结构)可以以硬件、软件或其组合来实施。超声系统的各种实施例和/或部件(例如，胎儿骨骼模型和深度学习软件模块，或其中的部件、处理器和控制器)也可以被实施为一个或多个计算机或微处理器的部分。该计算机或处理器可以包括例如用于访问互联网的计算设备、输入设备、显示单元和接口。该计算机或处理器可以包括微处理器。微处理器可以连接到通信总线，以例如访问PACS系统或数据网络而导入训练图像。该计算机或处理器还可以包括存储器。诸如3D图像数据存储器32、训练图像存储器以及存储胎儿骨骼模型库的存储器之类的存储器设备可以包括随机存取存储器(RAM)和只读存储器(ROM)。该计算机或处理器还可以包括存储设备，该存储设备可以是硬盘驱动器或可移动存储驱动器，例如，软盘驱动器、光盘驱动器、固态拇指驱动器等。存储设备也可以是用于将计算机程序或其他指令加载到计算机或处理器中的其他类似单元。
本文使用的术语“计算机”或“模块”或“处理器”或“工作站”可以包括任何基于处理器或基于微处理器的系统，包括使用微控制器、精简指令集计算机(RISC)、ASIC、逻辑电路以及能够执行本文描述的功能的任何其他电路或处理器的系统。以上示例仅是示例性的，因此并不旨在以任何方式限制这些术语的定义和/或含义。
计算机或处理器执行被存储在一个或多个存储元件中的指令集，以便处理输入数据。存储元件还可以根据需要而存储数据或其他信息。存储元件可以是处理机器内的信息源或物理存储元件的形式。
包括如上所述的那些控制对超声图像的采集、处理和发送的超声系统的指令集可以包括各种命令，所述各种命令指示计算机或处理器作为处理机器以执行诸如本发明的各种实施例的方法和过程的特定操作。所述指令集可以是软件程序的形式。所述软件可以是各种形式(例如，系统软件或应用软件)并且可以被实施为有形和非瞬态计算机可读介质。另外，所述软件可以是单独程序或模块的集合(例如，神经网络模型模块)、较大程序内的程序模块或程序模块的部分的形式。所述软件还可以包括面向对象编程形式的模块化编程。处理机器对输入数据的处理可以对操作者命令做出响应，或者对先前处理的结果做出响应，或者对另一处理机器做出的请求做出响应。
此外，权利要求的限制不是以功能模块的形式写出的，且并不旨在基于35 U.S.C112的第六段来解释。除非此类权利要求限制明确使用短语“用于……的单元”来陈述没有进一步结构的功能时才会如此。

Claims (14)

1.一种用于从包括解剖结构的体积图像数据中提取所述解剖结构的期望视图的超声诊断成像系统，所述超声诊断成像系统包括：
超声探头，其适于采集包括期望的解剖结构的图像数据的体积图像数据；
显示器，其适于在触摸屏显示器上显示来自所采集的图像数据的、示出所述期望的解剖结构的至少部分的超声图像；
图像提取处理器，其对所述体积图像数据和在所述触摸屏显示器上对所述期望的解剖结构的触摸进行响应，并且所述图像提取处理器适于使用神经网络模型来识别所述期望的解剖结构并且从所述体积图像数据中提取所述期望的解剖结构的图像；
其中，所述显示器还适于显示所提取的所述期望的解剖结构的图像。
2.根据权利要求1所述的超声诊断成像系统，还包括B模式处理器，
其中，所述图像提取处理器包括胎儿模型。
3.根据权利要求1所述的超声诊断成像系统，还包括B模式处理器，
其中，所述图像提取处理器包括所述神经网络模型。
4.根据权利要求3所述的超声诊断成像系统，其中，所述神经网络模型适于利用所述期望的解剖结构的已知图像来训练。
5.根据权利要求4所述的超声诊断成像系统，其中，所述神经网络模型还适于在所述体积图像数据的B模式图像数据中识别所述期望的解剖结构。
6.根据权利要求5所述的超声诊断成像系统，其中，所述神经网络模型还适于在B模式体积图像数据中识别包含所述期望的解剖结构的图像数据的平面。
7.根据权利要求6所述的超声诊断成像系统，还包括多平面重新格式化器，所述多平面重新格式化器对所述体积图像数据和通过所述神经网络模型对包含所述期望的解剖结构的图像数据的所述平面的识别进行响应，所述神经网络模型适于产生图像数据的包含来自所述体积图像数据的所述期望的解剖结构的图像平面。
8.根据权利要求1所述的超声诊断成像系统，其中，所述系统还对由所述神经网络模型对期望的解剖结构的图像的所述提取进行响应，并且适于产生所述期望的解剖结构的测量结果。
9.根据权利要求1所述的超声诊断成像系统，其中，所述期望的解剖结构是胎儿骨骼；并且
其中，所述期望的解剖结构的所述图像是所述胎儿骨骼的图像；并且
其中，所述显示器还适于显示所述胎儿骨骼的测量结果。
10.根据权利要求9所述的超声诊断成像系统，其中，所述系统还适于在胎龄估计中使用所述胎儿骨骼的所述测量结果。
11.根据权利要求1所述的超声诊断成像系统，其中，所提取的图像还包括所述期望的解剖结构的标准视图。
12.一种在超声成像期间产生期望的解剖结构的期望视图的方法，包括：
采集包括所述期望的解剖结构的图像数据的体积图像数据；
在触摸屏显示器上显示来自所述体积图像数据的、包括所述期望的解剖结构的至少部分的图像；
感测在所述触摸屏显示器上的在所述期望的解剖结构的所述至少部分上的用户触摸，所述触摸具有触摸位置；
响应于所述触摸，使用神经网络模型来识别所述期望的解剖结构并且从所述体积图像数据中提取所述期望的解剖结构的图像；并且
显示所提取的所述期望的解剖结构的图像。
13.根据权利要求12所述的方法，其中，所述提取还使用胎儿模型来执行。
14.根据权利要求12所述的方法，其中，所提取的图像还包括所述期望的解剖结构的标准视图。
CN201880059544.1A 2017-08-17 2018-08-10 使用与图像的触摸交互而从体积数据中提取图像平面的超声系统 Active CN111093518B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762546590P 2017-08-17 2017-08-17
US62/546590 2017-08-17
PCT/EP2018/071721 WO2019034546A1 (en) 2017-08-17 2018-08-10 ULTRASONIC SYSTEM CAPABLE OF EXTRACTING IMAGE PLANS FROM IMAGE INTERACTION VOLUME DATA WITH AN IMAGE

Publications (2)

Publication Number Publication Date
CN111093518A CN111093518A (zh) 2020-05-01
CN111093518B true CN111093518B (zh) 2023-09-26

Family

ID=63371665

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880059544.1A Active CN111093518B (zh) 2017-08-17 2018-08-10 使用与图像的触摸交互而从体积数据中提取图像平面的超声系统

Country Status (5)

Country Link
US (1) US20200170615A1 (zh)
EP (1) EP3668408A1 (zh)
JP (1) JP7203823B2 (zh)
CN (1) CN111093518B (zh)
WO (1) WO2019034546A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017156329A1 (en) * 2016-03-09 2017-09-14 EchoNous, Inc. Ultrasound image recognition systems and methods utilizing an artificial intelligence network
CN110555836A (zh) * 2019-09-05 2019-12-10 李肯立 一种超声图像中胎儿标准切面的自动识别方法和系统
CN110613483B (zh) * 2019-09-09 2022-05-20 南方医科大学 一种基于机器学习检测胎儿颅脑异常的系统
US20210345986A1 (en) * 2020-05-11 2021-11-11 EchoNous, Inc. Automatic evaluation of ultrasound protocol trees
US11615529B2 (en) * 2020-11-18 2023-03-28 Siemens Healthcare Gmbh Automatic, dynamic, and adaptive slice planning for cardiac MRI acquisition
CN112587089B (zh) * 2020-11-19 2023-04-21 新希望六和股份有限公司 基于人工智能的妊娠检测方法、装置、计算机设备和介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6443896B1 (en) * 2000-08-17 2002-09-03 Koninklijke Philips Electronics N.V. Method for creating multiplanar ultrasonic images of a three dimensional object
CN104992430A (zh) * 2015-04-14 2015-10-21 杭州奥视图像技术有限公司 基于卷积神经网络的全自动的三维肝脏分割方法
CN105263420A (zh) * 2013-04-03 2016-01-20 皇家飞利浦有限公司 3d超声成像系统
CN105900140A (zh) * 2013-11-05 2016-08-24 皇家飞利浦有限公司 用于实时超声成像的三平面图像的自动分割
CN106408610A (zh) * 2015-04-16 2017-02-15 西门子公司 用边缘空间深度神经网络进行解剖对象检测的方法和系统
CN106780518A (zh) * 2017-02-10 2017-05-31 苏州大学 一种基于随机游走和图割的活动轮廓模型的mr图像三维交互分割方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5833613A (en) 1996-09-27 1998-11-10 Advanced Technology Laboratories, Inc. Ultrasonic diagnostic imaging with contrast agents
US6013032A (en) 1998-03-13 2000-01-11 Hewlett-Packard Company Beamforming methods and apparatus for three-dimensional ultrasound imaging using two-dimensional transducer array
US5997479A (en) 1998-05-28 1999-12-07 Hewlett-Packard Company Phased array acoustic systems with intra-group processors
US6530885B1 (en) 2000-03-17 2003-03-11 Atl Ultrasound, Inc. Spatially compounded three dimensional ultrasonic images
US6468216B1 (en) 2000-08-24 2002-10-22 Kininklijke Philips Electronics N.V. Ultrasonic diagnostic imaging of the coronary arteries
US7497830B2 (en) 2003-11-21 2009-03-03 Koninklijke Philips Electronics N.V. Three dimensional ultrasonic imaging using mechanical probes with beam scanning reversal
US20110201935A1 (en) * 2008-10-22 2011-08-18 Koninklijke Philips Electronics N.V. 3-d ultrasound imaging
CN102460509B (zh) 2009-06-24 2015-01-07 皇家飞利浦电子股份有限公司 基于图像信息建立结构的轮廓
US20110196236A1 (en) * 2010-02-08 2011-08-11 Gokul Swamy System and method of automated gestational age assessment of fetus
JP5479138B2 (ja) * 2010-02-09 2014-04-23 富士フイルム株式会社 医用画像表示装置、医用画像表示方法、及びそのプログラム
US10321892B2 (en) * 2010-09-27 2019-06-18 Siemens Medical Solutions Usa, Inc. Computerized characterization of cardiac motion in medical diagnostic ultrasound
WO2012042808A1 (ja) * 2010-09-30 2012-04-05 パナソニック株式会社 超音波診断装置
ITTO20130678A1 (it) 2013-08-07 2015-02-08 Istituto Superiore Mario Boella Sul Le Tecnologie Metodo di misurazione di dinamiche di un flusso di energia e relativi dispositivo e sistema
US11684343B2 (en) 2014-06-30 2023-06-27 Koninklijke Philips N.V. Translation of ultrasound array responsive to anatomical orientation
KR102289393B1 (ko) * 2014-07-11 2021-08-13 삼성메디슨 주식회사 영상 장치 및 그 제어방법
KR102288308B1 (ko) * 2014-08-05 2021-08-10 삼성메디슨 주식회사 초음파 진단 장치
KR102475822B1 (ko) * 2015-07-10 2022-12-09 삼성메디슨 주식회사 초음파 진단 장치 및 초음파 진단 장치의 동작 방법
KR102641998B1 (ko) * 2015-11-10 2024-02-28 삼성메디슨 주식회사 초음파 영상 장치 및 동작 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6443896B1 (en) * 2000-08-17 2002-09-03 Koninklijke Philips Electronics N.V. Method for creating multiplanar ultrasonic images of a three dimensional object
CN105263420A (zh) * 2013-04-03 2016-01-20 皇家飞利浦有限公司 3d超声成像系统
CN105900140A (zh) * 2013-11-05 2016-08-24 皇家飞利浦有限公司 用于实时超声成像的三平面图像的自动分割
CN104992430A (zh) * 2015-04-14 2015-10-21 杭州奥视图像技术有限公司 基于卷积神经网络的全自动的三维肝脏分割方法
CN106408610A (zh) * 2015-04-16 2017-02-15 西门子公司 用边缘空间深度神经网络进行解剖对象检测的方法和系统
CN106780518A (zh) * 2017-02-10 2017-05-31 苏州大学 一种基于随机游走和图割的活动轮廓模型的mr图像三维交互分割方法

Also Published As

Publication number Publication date
US20200170615A1 (en) 2020-06-04
WO2019034546A1 (en) 2019-02-21
CN111093518A (zh) 2020-05-01
EP3668408A1 (en) 2020-06-24
JP7203823B2 (ja) 2023-01-13
JP2020531086A (ja) 2020-11-05

Similar Documents

Publication Publication Date Title
CN111093518B (zh) 使用与图像的触摸交互而从体积数据中提取图像平面的超声系统
US11238562B2 (en) Ultrasound system with deep learning network for image artifact identification and removal
US20180103912A1 (en) Ultrasound system with deep learning network providing real time image identification
US11642096B2 (en) Method for postural independent location of targets in diagnostic images acquired by multimodal acquisitions and system for carrying out the method
US20110125016A1 (en) Fetal rendering in medical diagnostic ultrasound
US9390546B2 (en) Methods and systems for removing occlusions in 3D ultrasound images
CN110072468B (zh) 胎儿超声成像
JP7240405B2 (ja) 超音波画像から解剖学的測定値を取得するための装置及び方法
CN110446466B (zh) 体积绘制的超声成像
EP3422953B1 (en) Automated ultrasonic measurement of nuchal fold translucency
JP2008183063A (ja) 医用画像診断装置、医用画像表示装置及びプログラム
JP7177870B2 (ja) 簡素化された３ｄイメージング制御を有する超音波イメージングシステム
JP7008713B2 (ja) 解剖学的特徴の超音波評価
US20220280139A1 (en) Ultrasound system acoustic output control using image data
EP3017428B1 (en) Ultrasonic imaging apparatus and control method thereof
WO2023118029A1 (en) Adaptive dual focus lung feature visualization in ultrasound imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant