CN114642451A - 一种超声成像装置 - Google Patents

Abstract

本发明提供了一种超声成像装置，包括探头；发射电路，激励探头向脊柱发射超声波进行体扫描；接收电路，通过探头接收从脊柱返回的超声回波，以获得超声回波信号；处理器，根据超声回波信号获取脊柱的三维体数据；从脊柱的三维体数据中识别出脊柱的关键解剖结构，得到脊柱关键解剖结构数据；根据关键解剖结构将三维体数据调整至预定角度，得到标准三维体数据，且基于标准三维体数据获取脊柱的标准图像；以及将标准图像和脊柱关键解剖区域数据的至少之一输入检测神经网络，得到脊柱的检测结果；以及显示器，显示脊柱的标准图像和脊柱的检测结果。根据本发明的装置，直观显示脊柱的检测结果，节省了检测时间，提高了检测结果的准确率。

Description

一种超声成像装置

技术领域

本发明涉及医疗技术领域，更具体地涉及超声成像。

背景技术

超声检查由于其安全、方便、无辐射、廉价等优势，在临床检查上具有广泛的应用，成为医生进行疾病诊断的主要辅助手段之一，超声避免了X射线等对人体的影响，其应用价值明显优于其他影像学检查设备。

脊柱是人体中非常重要的结构，尤其产前筛查中判断胎儿发育的重要部位。近年来，三维超声在人体检查中得到广泛的应用，其优势在于通过一次扫描就能获取感兴趣区域三维体数据，并可显示该体数据内任何切面，图像直观，能够帮助医生更准确的定位脊柱异常节段。

然而，医生获取脊柱三维体数据之后，首先需要频繁手动旋转、平移体数据，达到合适的观察角度；接下来需要通过手动调节VOI的大小和位置获取脊柱关键解剖结构，如椎弓或椎体等结构，并判断这些结构的各种参数，如弯曲度等。整个过程需要医生具有丰富的临床经验，并且耗时费力。

因此，现有技术中存在对脊柱进行检测时，采用三维成像过于依赖于医生的经验和操作，消耗临床检查时间，得到的图像显示结果也缺乏良好的一致性。

发明内容

根据本发明的第一方面，提供了一种超声成像装置，包括：

探头；

发射电路，用于激励所述探头向脊柱发射超声波进行体扫描；

接收电路，用于通过所述探头接收从所述脊柱返回的超声回波，以获得超声回波信号；

存储器，用于存储脊柱的三维体数据；

处理器，用于：

根据所述超声回波信号获取所述脊柱的三维体数据或从所述存储器获取所述脊柱的三维体数据；

从所述脊柱的三维体数据中识别出所述脊柱的关键解剖结构，得到脊柱关键解剖结构数据；

根据所述关键解剖结构将所述三维体数据调整至预定角度，得到标准三维体数据，且基于所述标准三维体数据获取所述脊柱的标准图像；以及

将所述标准图像和所述脊柱关键解剖结构数据的至少之一输入检测神经网络，得到脊柱的检测结果；以及

显示器，用于显示所述脊柱的标准图像和所述脊柱的检测结果。

根据本发明的超声成像装置，通过深度学习对脊柱的三维体数据自动识别和分类并得到相应的检测结果，减少了临床检查时间，检测结果和图像显示结果一致性良好，且提高了检测结果的准确率。

附图说明

通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是根据本发明实施例的一种超声成像装置的结构框图示意图；

图2是根据本发明实施例的超声成像装置/方法中脊柱的检测结果的示例；

图3是根据本发明实施例的超声成像装置/方法中脊柱的检测结果的示例；

图4是根据本发明实施例的超声成像装置/方法中脊柱的检测结果的示例。

具体实施方式

为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。

在三维成像系统中，三维可视化信息通常包括切面(或称为剖面，MultiplePlanner Rendering,MPR)图像的显示及立体图像的显示(Volume Rendering,VR)，立体图像是指通过光线跟踪等方法对三维体数据渲染得到的图像，剖面图像是在体数据中将当前方位所在的一个平面显示出来。通常，临床上脊柱检查需要观察的是脊柱标准VR图或脊柱标准切面图。而要想获得脊柱标准VR图或脊柱标准切面图，医生需要通过调节立体图像的平移和旋转来调整胎儿脊柱体数据的方位，使得在该方位下能较好显示特定的解剖结构；同样，因为VR图是对是VOI(Volume of Interest)内的区域进行渲染得到的，要想获得脊柱标准VR图，医生除了需要调节脊柱体数据的方位，还需要调节VOI的大小和位置。从体数据中手动调节出所需要的切面，即便能获取，也需要花费很长的时间，消耗临床检查时间，降低医生工作效率。所以利用三维超声检查脊柱的过程中，往往需要医生对脊柱解剖结构和三维超声调节有深入的理解，此外，通过手动调节获得的切面的标准程度因人而异，无法统一，导致利用超声成像装置所获取切面图像的精度有所下降，无法提供用户所需，降低了设备使用效果同时图像显示结果也缺乏良好的一致性。

基于上述考虑，本发明提供了一种超声成像装置。参见图1，图1示出了根据本发明实施例的一种超声成像装置10的结构框图示意图。如图1所示，超声成像设备包括探头1、发射电路2、接收电路4、波束合成电路8、处理器4、显示器5、发射/接收选择开关7以及存储器6。其中，发射电路2和接收电路3可以通过发射/接收选择开关7与探头1连接。

探头1通常包括多个阵元的阵列。在每次发射超声波时，超声探头1的所有阵元或者部分阵元参与超声波的发射。此时，这些参与超声波发射的阵元中的每个阵元或者每部分阵元分别受到发射脉冲的激励并分别发射超声波，这些阵元分别发射的超声波在传播过程中发生叠加，形成被发射到目标对象的合成超声波束，例如，该合成超声波束可以为向目标对象(例如脊柱)发射的超声波束。

在超声成像过程中，发射电路2将经过延迟聚焦的具有一定幅度和极性的发射脉冲通过发射/接收选择开关7发送到探头1。探头1受发射脉冲的激励，向扫描目标对象发射超声波束，经一定延时后接收从目标区域反射和/或散射回来的带有扫描目标的信息的超声回波，并将此超声回波重新转换为电信号。接收电路3接收探头1转换生成的电信号，获得超声回波信号，并将这些超声回波信号送入波束合成电路8。波束合成电路8对超声回波信号进行聚焦延时、加权和通道求和等处理，然后将超声回波信号送入处理器4进行相关的信号处理

发射/接收选择开关7也可以被称为发送/接收控制器，其可以包括发送控制器和接收控制器，发送控制器用于激励探头1经由发射电路2向目标对象(例如脊柱)发射超声波束；接收控制器用于通过探头1经由接收电路3接收从目标对象返回的超声回波。

处理器4可以对基于超声回波得到的超声回波信号进行处理，得到目标对象的超声图像。例如，超声回波信号经过波束合成电路8进行波束合成处理。处理器4得到的超声图像可以存储于存储器6中。并且，超声图像可以在显示器5上显示。更详细的描述可以参见本说明书的后续实施例。

处理器4可以是中央处理单元(CPU)、图像处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制超声成像系统中的其它组件以执行期望的功能。例如，处理器4能够包括一个或多个嵌入式处理器、处理器核心、微型处理器、逻辑电路、硬件有限状态机(FSM)、数字信号处理器(DSP)、图像处理单元(GPU)或它们的组合。

显示器5与处理器4连接，显示器5可以为触摸显示屏、液晶显示屏等；或者显示器5可以为独立于超声成像设备之外的液晶显示器、电视机等独立显示设备；或者显示器5可以是智能手机、平板电脑等电子设备的显示屏，等等。其中，显示器5的数量可以为一个或多个。显示器5可以显示处理器4得到的超声图像和脊柱的检测结果。此外，显示器5在显示超声图像的同时还可以提供给用户进行人机交互的图形界面，在图形界面上设置一个或多个被控对象，提供给用户利用人机交互装置输入操作指令来控制这些被控对象，从而执行相应的控制操作。例如，图形界面上显示图标，利用人机交互装置可以对该图标进行操作，用来执行特定的功能。

可选地，超声成像设备还可以包括显示器5之外的其他人机交互装置，其与处理器4连接，比如，处理器4可以通过外部输入/输出端口与人机交互装置连接，外部输入/输出端口可以是无线通信模块，也可以是有线通信模块，或者两者的组合。外部输入/输出端口也可基于USB、如CAN等总线协议、和/或有线网络协议等来实现。

其中，人机交互装置可以包括输入设备，用于检测用户的输入信息，该输入信息比如可以是对超声波发射/接收时序的控制指令，可以是对超声图像进行编辑和标注等的操作输入指令，或者还可以包括其他指令类型。输入设备可以包括键盘、鼠标、滚轮、轨迹球、移动式输入设备(比如带触摸显示屏的移动设备、手机等等)、多功能旋钮等等其中之一或者多个的结合。人机交互装置还可以包括诸如打印机之类的输出设备，例如以用于打印超声报告。

存储器6可以用于存储处理器执行的指令，用于存储接收到的超声回波信号，用于存储超声图像，用于存储脊柱的检测结果等等。存储器6可以为闪存卡、固态存储器、硬盘等。其可以为易失性存储器和/或非易失性存储器，为可移除存储器和/或不可移除存储器等。

在一实施例中，超声成像装置10的发射电路2用于激励探头1向脊柱发射超声波进行体扫描；接收电路3用于通过探头2接收从脊柱返回的超声回波，以获得超声回波信号；处理器4，用于：根据超声回波信号获取脊柱的三维体数据；从脊柱的三维体数据中识别出脊柱的关键解剖结构，得到脊柱关键解剖结构数据；根据关键解剖结构将三维体数据调整至预定角度，得到标准三维体数据，且基于标准三维体数据获取脊柱的标准图像；以及将标准图像和脊柱关键解剖结构数据的至少之一输入检测神经网络，得到脊柱的检测结果。超声成像装置10的显示器5则用于显示脊柱的标准图像和脊柱的检测结果。标准图像的显示可提高图像显示结果的一致性，脊柱的检测结果的显示进一步提高超声成像检查的交互直观性。

可选地，探头1可以是三维(3-dimension，3D)超声探头，也可以称为容积探头，可以接收从脊柱的不同角度返回的超声回波，得到脊柱的三维体数据。

在一些实施例中，探头1也可以是二维超声探头，通过二维超声探头获取脊柱的三维体数据，具体实现方式是通过手动或者通过马达或者通过支撑臂控制二维超声探头移动来获取目标脊柱的三维体数据。在一些实施例中，超声成像装置10还可以包括机械扫描装置(未示出)。该机械扫描装置可以带动探头1运动，使探头1可以接收从脊柱的不同角度返回的超声回波，以得到脊柱的三维体数据。

在一些实施例中，探头1可以是独立存在的，也可以是设置在机械扫描装置上，由机械扫描装置带动探头1运动。

在一些实施例中，探头1的声头部分可以是多个阵元组成的阵列，该多个为两个或两个以上。阵元可以用于将电信号转换为超声波，并发送超声波，以及接收返回的超声回波，将超声回波转换为电信号，以得到超声回波数据/信号。其中，该阵列的形状可以是直线排列，也可以是扇形排列等，具体可以根据实际应用场景调整。每个阵元通过接收发射电路的发射信号与接收电路发送的接收信号，进行超声波的发射或超声回波的接收。

本发明实施例还提供一种计算机可读存储介质，该计算机可读存储介质存储有多条程序指令，该多条程序指令被处理器4调用执行后，可执行本申请各个实施例中的超声成像方法中的部分步骤或全部步骤或其中步骤的任意组合。

发射/接收选择开关7可以激励超声探头1向目标脊柱发射超声波，还可以控制超声探头1接收从目标脊柱返回的超声回波，从而获得超声回波信号/数据。处理器4对该超声回波信号/数据进行处理，以获得脊柱的组织相关参数和超声图像。处理器4获得的超声图像可以存储于存储器6中，这些超声图像可以在显示器5上显示。当然，该超声成像装置10也可以不包括探头1、发射/接收选择开关7，只需包括处理器4以及显示器5。即直接通过处理器4从其他设备获取该脊柱的超声图像或者相关参数，并通过显示器5进行显示，此处不做具体限定。

以下基于上述超声成像装置10，对本发明的技术方案进行详细说明。

本发明实施例提供了一种超声成像方法，该方法可以应用于上述图1所示的超声成像装置10，可以适用于包含触摸显示屏的超声成像装置10，即利用接触触摸显示屏来执行输入触屏操作，也可以是其他包含显示屏的超声成像装置10，即可以利用鼠标，轨迹球等进行输入操作，此处不做具体限定。该超声成像装置10可利用超声回波信号生成三维体数据。

本发明的处理器可以执行以下步骤：

步骤S201，根据超声回波信号获取所述脊柱的三维体数据，或从存储器获取脊柱的三维体数据；

步骤S202，从所述脊柱的三维体数据中识别出脊柱的关键解剖结构，得到脊柱关键解剖结构数据；

步骤S203，根据所述关键解剖结构将所述三维体数据调整至预定角度，得到标准三维体数据，且

步骤S204，基于调整前的三维体数据或基于调整后的标准三维体数据获取脊柱的标准图像；以及

步骤S205，根据脊柱的标准图像和脊柱关键解剖结构数据的至少之一，自动得到脊柱的检测结果。

根据本发明实施例，步骤S201中，根据所述超声回波信号获取所述脊柱的三维体数据，具体来说可以包括：处理器4控制发射电路2将一组经过延迟聚焦的脉冲发送到探头1，探头1向包括脊柱的目标对象发射超声波，经过一定延时后接收从脊柱反射回来的带有脊柱信息的超声回波，并将此超声回波重新转换为电信号。接收电路3接收这些电信号，并将这些超声回波信号送入波束合成电路8。超声回波信号在波束合成电路8完成聚焦延时、加权和通道求和，再送入处理器4经过信号处理，再经过三维成像的处理，即可得到所述脊柱的三维体数据。脊柱的三维体数据为被测脊柱对应的体数据，具体的被测脊柱本发明实施例不作限定。

其中，所述步骤S201可以实时获取该脊柱的三维体数据，也可以从本地存储器或者云存储器中获取该脊柱的三维体数据，其中，该脊柱可以是任何胎儿，新生儿等待检测人体的至少部分脊柱，此处不做具体限定。

在一些实施例中，脊柱的三维体数据可以是在预置时间段内，通过超声成像装置或其他超声成像装置中的超声探头进行三维扫查，得到脊柱的三维体数据后，将脊柱的三维体数据存储在存储器中。因此，本申请实施例中脊柱的三维体数据可以从存储器中读取得到。

可以理解的是，该存储器可以是本地存储器或者云存储器，或者其他方式的存储器，本申请实施例中不做具体限定。

在一些实施例中，目标脊柱的三维体数据也可以从其他超声成像装置拷贝获取，例如，第一超声成像装置从第二超声成像装置中的存储器中获取该脊柱的三维体数据，该三维体数据可以由所述第二超声成像装置实时检测获取或者通过其他方式获取并存储，此处不做具体限定。

超声成像装置10在根据超声回波信号获取所述脊柱的三维体数据后，可以执行步骤S202，从所述脊柱的三维体数据中识别出脊柱的关键解剖结构，得到脊柱关键解剖结构数据。

可选地，所述脊柱关键解剖结构数据包括关键解剖结构图像数据或关键解剖结构体数据。

其中，脊柱的关键解剖结构包括椎弓、椎体、脊髓圆锥等结构，该关键解剖结构可以为所述脊柱的部分解剖结构或者全部解剖结构。例如，该关键解剖结构可以是某一个椎弓或椎体，可以是包含多个椎弓或者椎体或者脊髓圆锥等所述脊柱的部分解剖结构，该关键解剖结构也可以是所述脊柱对应的全部解剖结构，即包括椎弓，椎体以及脊髓圆锥等目标脊柱的全部解剖结构。

在一些实施例中，可以通过ROI(region of interest)框来标注脊柱的关键解剖结构，也可以通过分界线、点、颜色等其他一种或者多种组合方式来标注，此处不做具体限定。

在一些实施例中，超声成像装置10执行步骤S202，从脊柱的三维体数据中识别出脊柱的关键解剖结构，得到脊柱关键解剖结构数据，可以包括：

获取关键解剖结构的特征信息，根据关键解剖结构的特征信息从该三维体数据中确定关键解剖结构的位置。

其中，超声成像装置可以提前确定关键解剖结构的特征信息并进行本地存储，也可以从其他云存储器或者其他超声成像装置获取该关键解剖结构的特征信息，当然，也可以实时获取关键解剖结构的特征信息，其中，该特征信息表明关键解剖结构的关键区别特征，例如，以关键解剖结构为椎弓为例，椎弓的形状为弓形，且回声为强回声，超声成像装置可以通过该椎弓的特征信息从该三维体数据中识别出该椎弓。

在一些实施例中，获取关键解剖结构的特征信息，根据关键解剖结构的特征信息从该三维体数据中确定所述关键解剖结构的位置，可以包括：将三维体数据输入训练好的关键检测模型以根据关键解剖结构的特征信息输出关键解剖结构在三维体数据中的位置。

可采用机器学习或者深度学习的方法在三维体数据中检测出脊柱的关键解剖结构的位置。例如，为检测脊柱中的椎弓/椎体，可事先收集一定数量的椎弓/椎体图像(称为正样本)，以及收集一定数量的非椎弓/椎体图像(称为负样本)，然后基于机器学习或者深度学习算法，设计人工神经网络，利用多层网络结构自动学习出能够区分正样本和负样本的特征，利用这些特征在检测时遍历脊柱的三维体数据中所有可能的区域，计算该区域被判断为正样本的概率，选择概率最大的区域为椎弓/椎体这一关键解剖结构对应的区域。

可以使用的机器学习算法有Adaboost算法、支持向量机(Support VectorMachine，SVM)、神经网络算法、卷积神经网络算法(Convolutional Neural Networks，CNN)、递归神经网络算法(Recurrent Neural Network，RNN)、FastRCNN，目标检测方法(Signal Shot Multiple Detector，SSD)等等进行训练，这些算法可用于检测出脊柱的关键解剖结构在三维体数据中的位置。

在一些实施例中，获取关键解剖结构的特征信息，根据关键解剖结构的特征信息从该三维体数据中确定关键解剖结构的位置，可以包括：利用图像分割方法对三维体数据进行图像分割，得到若干个候选区域，例如通过对三维体数据进行二值化分割和形态学操作得到多个候选区域；根据关键解剖结构的特征信息以及若干个候选区域的图像特征，确定若干个候选区域是关键解剖结构的概率，例如根据每个候选区域的形状、灰度等特征确定各个候选区域对应于关键解剖结构的概率；将概率大于预设阈值的候选区域确定为关键解剖结构对应的区域。

需要说明的是，也可以采用其它图像分割方法，例如水平集(Level Set)、图割(Graph Cut)、Snake、随机游走(Random walker)以及深度学习中的一些其他图像分割方法，如全卷积网络(Fully Convolutional Networks，FCN)、统一网络(Unity Networking，UNet)等，此处不再一一赘述。

在一些实施例中，获取关键解剖结构的特征信息，根据关键解剖结构的特征信息从该三维体数据中确定关键解剖结构的位置，可以包括：利用模板匹配方法将三维体数据和关键解剖结构模板数据进行相似度匹配选择相似度最高的区域确定为关键解剖结构对应的区域。

需要说明的是，这里根据脊柱的三维体数据确定的脊柱关键解剖结构可以包括脊柱的关键解剖结构在三维体数据中的方向和位置，也可以是在某个二维切面图像中的方向和位置，此处不做具体限定。

根据本发明实施例，在步骤S203中，检测到脊柱关键解剖结构之后，即可根据关键解剖结构在三维体数据中的位置调节体数据的方位，摆正体数据。例如，根据关键解剖结构将三维体数据调整至预定角度，得到标准三维体数据，包括：基于关键解剖结构在三维体数据中的位置选取旋转参考点；保持旋转参考点不动，并将三维体数据的角度变换至预设角度，得到标准三维体数据。

其中，旋转参考点可以是基准或关键解剖结构的关键点，如脊柱的中心点，可以根据实际需要进行旋转，在此不做限制。例如，脊柱中的椎骨分为颈椎、胸椎、腰椎和尾椎等部分，可根据在步骤S202中识别出颈椎和尾椎结构等关键解剖结构在三维空间中的位置后，根据这两个关键解剖结构的位置旋转体数据，将体数据旋转至标准方位即预设角度，如正对显示器。除此之外，也可以根据脊柱切面图像中关键解剖结构的位置摆正体数据，例如，可以在步骤S202中识别多个脊柱横切面图像中椎弓的结构，根据椎弓在横切面图像中的方位旋转体数据，将体数据旋转至标准方位。

根据本发明实施例，在步骤S204中，基于三维体数据获取脊柱的标准图像。该步骤可以基于调整前的三维体数据进行成像处理，也可以基于摆正后的标准体数据进行成像处理。脊柱的标准图像可以是标准切面图像或标准VR图像。其中，标准切面图像是指脊柱的三维体数据中特定位置及方向下的切面图像。根据上述摆正后的标准三维体数据，可以获得脊柱正中矢状面、脊柱标准横切面或脊柱标准冠状面等方向下的标准切面图像。标准VR(Volume Rendering)图像是将摆正后的体数据中感兴趣框(VOI)内的三维容积数据采用光线跟踪等算法进行显示得到的图像。例如，基于所述标准体数据(包含椎弓和椎体的脊柱结构)，调整VOI的厚度和位置，使得VOI中只包含椎弓结构，即可得到椎弓的标准VR图像。类似的，也可以得到椎体的标准VR图像。

根据本发明实施例的超声成像装置10在基于超声回波信号得到脊柱的三维体数据后，可以自动识别出脊柱的关键解剖结构，并进一步得到一致性良好的脊柱超声图像，为以该脊柱超声图像为基础进行脊柱检测提供良好的数据基础。而由于结构情况类似的脊柱，在脊柱的标准图像或体数据会有类似的图像特征或数据特征，基于该考虑可以基于上述得到的脊柱的标准图像或三维体数据，对脊柱的标准图像或三维体数据中至少部分图像或数据进行类型识别，得到脊柱的检测结果。

与脊柱相关的结构特征包括整体形态的特征、单个或多个椎体的特征、单个或多个椎弓的特征。例如，整体形态的异常、椎体的发育异常和椎弓的发育异常均是脊柱发育异常后可能出现的结构特征。其中整体形态的异常包括脊柱的侧弯、前突、后突、缺失和缩短等对应的结构特征，单个或多个椎体的发育异常包括半椎体、蝴蝶椎、冠状椎体裂和融合椎等对应的结构特征，单个或多个椎弓的发育异常主要为脊柱裂对应的结构特征。这些异常对应的结构特征通常表现为椎弓或椎体大小或形态的改变，可以在脊柱的标准图像或三维体数据中得以体现，因此，可以通过判断脊柱的标准图像的图像特征或三维体数据的数据特征，得到脊柱的类型识别。

根据本发明实施例，在所述步骤S205中，可以基于机器学习或深度学习的方法，对脊柱的标准图像和/或关键解剖结构数据进行特征提取，据此得到脊柱的检测结果。其中，可以根据关键解剖结构的形态特征、尺寸特征和灰度特征的至少之一进行分类，进而输出脊柱的检测结果。形态特征可包括脊柱整体形态、脊柱局部形态和纹理等，尺寸特征可包括椎弓大小、椎体大小等，灰度特征可包括灰度值绝对值、灰度值对比度等。

在一些实施例中，可通过将脊柱的标准图像和关键解剖结构数据的至少之一输入至检测神经网络，由该检测神经网络自动提取与脊柱的结构特征对应的图像特征或数据特征，并输出脊柱的检测结果，例如输出与脊柱的结构特征对应的分类结果。

可选地，脊柱的检测结果包括脊柱关键解剖结构的特征区域的区域边界；显示器用于在标准图像上标识出脊柱关键解剖结构，且根据区域边界在标准图像上标示特征区域。该区域边界可以是例如方框、圆形框等标志框框出的区域具有的边界，并不反映特征区域的精确边缘特征。该区域边界也可以是准确分割出来的特征区域的边界，与该特征区域自身的边缘特征相对应。例如图3中，通过边界框41标识出椎体这一关键解剖结构对应的区域，通过方框形式的边界框42表示包含有蝴蝶椎这一椎体结构的特征区域。例如图4中，通过边界框51标识出包含椎弓和椎体的关键解剖结构对应的区域，通过边界框52标注出类型为脊柱裂的椎弓结构对应的特征区域。

可选地，标准图像的检测结果和/或脊柱关键解剖结构的检测结果还包括：分类结果的置信度。例如图2-图4中分别示出的各种类型特征的概率。

不同的结构异常会导致不同的脊柱疾病，在脊柱关键解剖结构数据或标准图像上会产生不同的图像/数据特征。例如，椎弓的发育异常通常会导致脊柱裂，椎体的发育异常则可能导致半椎体、蝴蝶椎等疾病。可选地，可根据脊柱关键解剖结构逐个进行是否存在异常的分类判断，对异常部分进行具体疾病的分类，还可进一步输出分类结果所对应的为关键解剖结构的区域中具体哪些区域。该方式的具体实施方案为：直接以步骤S202中获取的脊柱关键解剖结构数据为输入，对各关键解剖结构数据进行分类判断，输出分类结果以及置信度(可选)。输入的脊柱关键解剖结构数据可以是关键解剖结构的图像数据，也可以是关键解剖结构的体数据。

在一示例中，检测神经网络包括第一检测神经网络，脊柱的检测结果包括脊柱关键解剖结构的检测结果；将标准图像和脊柱关键解剖结构数据的至少之一输入检测神经网络，得到脊柱的检测结果，包括：将脊柱关键解剖结构数据输入训练好的第一检测神经网络；第一检测神经网络对脊柱关键解剖结构数据进行特征提取，得到脊柱关键解剖结构数据的特征；对特征进行分类得到脊柱关键解剖结构的类型作为脊柱关键解剖结构的检测结果。

在一些实施例中，所述处理器还用于：获取对脊柱关键解剖结构训练数据进行的类型标注，得到标注后的脊柱关键解剖结构第一训练数据；采用标注后的脊柱关键解剖结构第一训练数据对第一检测神经网络进行训练，得到所述训练好的第一检测神经网络。

具体来说，首先构建数据库进行第一检测神经网络的训练。对脊柱关键解剖结构训练数据进行类型标注，其中，类型包括N个类型；利用脊柱关键解剖结构训练数据训练得到训练好的第一检测网络，此时，第一检测网络可以得到其输入数据属于N个类型中每个类型的概率即置信度。将脊柱关键解剖结构数据输入训练好的第一检测神经网络后，训练好的第一检测神经网络可以对脊柱关键解剖结构数据进行特征提取，得到脊柱关键解剖结构数据的特征，例如，特征提取可以是主成分分析PCA、线性判别法LDA、Harr特征、纹理特征、小波特征等，也可以采用深度神经网络(如CNN、ResNet、VGG、Inception、MobileNet等)来进行特征提取提取出能够区别不同类别样本的特征；然后，训练好的第一检测神经网络可以基于KNN、SVM、随机森林、神经网络等分类方法计算脊柱关键解剖结构数据的特征属于第i类及其置信度作为脊柱的检测结果，i＝1,2,3，……，N。参见图2，图2示出了根据本发明实施例的超声成像装置/方法中脊柱的检测结果的示例。其中，标准、脊柱侧弯、脊柱裂、半椎体、蝴蝶椎等属于第一检测神经网络输出的检测类型，其对应的概率为置信度。在一些实施例中，还可以选择置信度最高的类型和/或对应的置信度作为输出的脊柱的检测结果。

在一示例中，检测神经网络包括第二检测神经网络，脊柱的检测结果包括脊柱关键解剖结构的检测结果；将标准图像和脊柱关键解剖结构数据的至少之一输入检测神经网络，得到脊柱的检测结果，包括：将脊柱关键解剖结构数据输入训练好的第二检测神经网络；第二检测神经网络检测脊柱关键解剖结构数据中的特征区域，对特征区域进行分类得到区域类型，并定位特征区域的边界；将特征区域的区域类型和边界作为脊柱关键解剖结构的检测结果。

在一些实施例中，处理器还用于：获取对脊柱关键解剖结构训练数据中的至少一个特征区域标注的边界框和对应的区域类型，得到标注后的脊柱关键解剖结构第二训练数据；采用标注后的脊柱关键解剖结构第二训练数据对第二检测神经网络进行训练，得到训练好的第二检测神经网络。

同样，首先构建数据库进行第二检测神经网络的训练。对脊柱关键解剖结构训练数据进行类型标注，其中，将每个数据中至少一个特征区域标注其边界框和对应的区域类型，其中，区域类型包括M个类型；利用脊柱关键解剖结构第二训练数据训练得到训练好的第二检测神经网络，第二检测神经网络通过堆叠基层卷积层和全连接层来对脊柱关键解剖结构第二训练数据进行特征的学习和参数的回归，此时，训练好的第二检测神经网络通过网络回归直接可以得到其输入数据中的所有特征区域及每个特征区域属于M个类型中对应类型的概率即置信度。在一些实施例中，第二检测神经网络可以包括R-CNN,Fast R-CNN、Faster-RCNN、SSD、或YOLO等。

将脊柱关键解剖结构数据输入训练好的第二检测神经网络后，训练好的第二检测神经网络可以对脊柱关键解剖结构数据中的特征区域进行定位回归和分类，得到脊柱关键解剖结构数据的特征区域的边界及特征区域的区域类型。参见图3，图3示出了根据本发明实施例的超声成像装置/方法中脊柱的检测结果的示例。其中，边界框41表示脊柱关键解剖结构，边界框42表示属于蝴蝶椎的特征区域，蝴蝶椎属于第二检测神经网络的检测类型M个区域类型之一，其对应的概率0.99为置信度。边界框41和边界框42分别用于框出脊柱关键解剖结构和特征区域，图3中用不同颜色的线框分别标识脊柱关键解剖结构和特征区域，在未图示的其他实施例中，也可以采用不同的颜色亮度、不同的线条类型(例如直线、波浪线、虚线、点划线、空心线等)、不同的线条宽度来区别标识脊柱关键解剖结构和特征区域。

在一示例中，检测神经网络包括第三检测神经网络，脊柱的检测结果包括脊柱关键解剖结构的检测结果；将标准图像和脊柱关键解剖结构数据的至少之一输入检测神经网络，得到脊柱的检测结果，包括：将脊柱关键解剖结构数据输入训练好的第三检测神经网络；第三检测神经网络判断脊柱关键解剖结构数据中的每个像素点的数据类型，得到相同数据类型的多个像素点组成的特征区域，并定位特征区域的边界；将特征区域的边界和多个像素点的数据类型作为脊柱关键解剖结构的检测结果。

在一些实施例中，处理器还用于：获取对脊柱关键解剖结构训练数据中的至少一个特征区域标注的区域类型，得到脊柱关键解剖结构训练数据的至少一个特征区域中每个像素点的数据类型，作为标注后的脊柱关键解剖结构第三训练数据；采用标注后的脊柱关键解剖结构第三训练数据对第三检测神经网络进行训练，得到训练好的第三检测神经网络。

同样，首先构建数据库进行第三检测神经网络的训练。对脊柱关键解剖结构训练数据进行类型标注，其中，将每个数据中至少一个特征区域标注其边界框和对应的区域类型，其中，区域类型包括P个类型；基于上述标注，可以得到每个脊柱关键解剖结构训练数据中的每个数据的每个像素或体素是否属于特征区域；利用脊柱关键解剖结构第三训练数据训练得到训练好的第三检测网络，第三检测网络通过统计每个像素或体素是否属于特征区域拟合得到每个像素点是否属于特征区域的概率，进而得到分割出的特征区域。

将脊柱关键解剖结构数据输入训练好的第三检测神经网络后，训练好的第三检测神经网络可以采用如Snake、Graph Cut、LevelSet、RandomWalker等图像分割算法分割出特征区域，并得到相应的类型。训练好的第三检测神经网络也可以利用深度学习的方法构建包含卷积层和全连接层的网络结构对脊柱关键解剖结构第三训练数据进行特征学习，进一步通过采样或者反卷积层使得输入与输出的尺寸相同，从而直接得到输入的脊柱关键解剖结构数据的特征区域及其区域类型，例如可以采用如下网络：FCN、U-Net、Mask R-CNN等。参见图4，图4示出了根据本发明实施例的超声成像装置/方法中脊柱的检测结果的示例。其中，边界框51表示所述脊柱关键解剖结构(椎弓和椎体)，边界框52表示关键解剖结构的特征区域，该特征区域的类型为脊柱裂，该分类结果的置信度0.96，脊柱裂属于第三检测神经网络的检测类型P个区域类型之一。

可选地，可根据脊柱的标准图像进行脊柱的结构特征的分类，并输出所输入图像属于哪一结构特征及其概率(可选)。根据上述结构特征的分类可以判断输入的标准图像是否异常以及属于哪一种异常。输入的脊柱的标准图像可以是脊柱标准切面图像，也可以是脊柱标准VR图像对应的体数据。

在一示例中，检测神经网络包括第四检测神经网络，脊柱的检测结果包括标准图像的检测结果；将标准图像和脊柱关键解剖结构数据的至少之一输入检测神经网络，得到脊柱的检测结果，包括：将标准图像输入训练好的第四检测神经网络；第四检测神经网络对标准图像进行特征提取，得到标准图像特征；对标准图像特征进行分类得到标准图像的类型作为标准图像的检测结果。

在一些实施例中，处理器还用于：获取对标准图像训练数据进行的图像类型标注，得到标注后的标准图像训练数据；采用标注后的标准图像训练数据对第四检测神经网络进行训练，得到训练好的第四检测神经网络。

同样，首先构建数据库进行第三检测神经网络的训练。对标准图像训练数据进行类型标注，其中，类型包括Q个类型；利用标准图像训练数据训练得到训练好的第四检测神经网络，此时，第四检测神经网络可以得到其输入数据属于Q个类型中每个类型的概率即置信度。将标准图像输入训练好的第四检测神经网络后，训练好的第四检测神经网络可以对标准图像进行特征提取，得到标准图像的特征；然后，训练好的第四检测神经网络计算标准图像的特征属于哪一类及每一类的置信度作为脊柱的检测结果。

然后将提取到的特征和数据库进行匹配，用KNN、SVM、随机森林、神经网络等判别器进行分类，确定当前输入图像/体数据属于哪一类。

将脊柱的标准图像输入训练好的第四检测神经网络后，训练好的第四检测神经网络可以对标准图像进行特征提取。例如，特征提取可以是主成分分析PCA、线性判别法LDA、Harr特征、纹理特征、小波特征等，也可以采用深度神经网络(如CNN、ResNet、VGG、Inception、MobileNet等)来进行特征提取；然后，训练好的第四检测神经网络可以基于KNN、SVM、随机森林、神经网络等分类方法计算标准图像的特征属于第i类及其置信度作为脊柱的检测结果，i＝1,2,3，……，Q。可以使用图2的方式显示脊柱的标准图像的分类结果，即显示输入的标准图像属于哪些类别的结构特征及每类结构特征的置信度。在一些实施例中，还可以选择置信度最高的类型和/或对应的置信度作为输出的脊柱的检测结果。

除以上示例的使用经训练的检测神经网络得到脊柱的检测结果以外，也可以使用机器学习的方法，根据标准图像和/或脊柱关键解剖结构数据得到脊柱的检测结果。

根据本发明实施例，超声成像装置10中的显示器5可以显示经过上述步骤得到的脊柱的检测结果，也可以同步显示脊柱的标准图像和脊柱的检测结果。具体的显示方式可以参考图2-4所示，例如直接显示多个分类结果及其置信度；例如可以显示标准图像，并在标准图像上用边界框标识出关键解剖结构和识别出的特征区域；例如可以显示标准图像，并在标准图像上标识出关键解剖结构的边界和识别出的特征区域的边界。

根据本发明的超声成像装置，通过深度学习对脊柱的三维体数据自动识别和分类并得到相应的检测结果，减少了临床检查时间，检测结果和图像显示结果一致性良好，且提高了检测结果的准确率。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (12)

1.一种超声成像装置，其特征在于，包括：

探头；

发射电路，用于激励所述探头向脊柱发射超声波进行体扫描；

接收电路，用于通过所述探头接收从所述脊柱返回的超声回波，以获得超声回波信号；

存储器，用于存储脊柱的三维体数据；

处理器，用于：

根据所述超声回波信号获取所述脊柱的三维体数据或从所述存储器获取所述脊柱的三维体数据；

从所述脊柱的三维体数据中识别出脊柱的关键解剖结构，得到脊柱关键解剖结构数据；

根据所述关键解剖结构将所述三维体数据调整至预定角度，得到标准三维体数据，且基于所述标准三维体数据获取所述脊柱的标准图像；以及

根据所述标准图像和所述脊柱关键解剖结构数据的至少之一得到脊柱的检测结果；以及

显示器，用于显示所述脊柱的检测结果。

2.根据权利要求1所述的装置，其特征在于，所述处理器根据所述标准图像和所述脊柱关键解剖结构数据的至少之一得到脊柱的检测结果包括：通过机器学习或深度学习的方法分析所述标准图像和所述脊柱关键解剖结构数据的至少之一，自动得到脊柱的检测结果。

3.根据权利要求1所述的装置，其特征在于，所述处理器根据所述标准图像和所述脊柱关键解剖结构数据的至少之一得到脊柱的检测结果包括：根据所述关键解剖结构的形态特征、尺寸特征和灰度特征的至少之一输出所述脊柱的检测结果。

4.根据权利要求1至3任一项所述的装置，其特征在于，所述脊柱的检测结果包括脊柱关键解剖结构的检测结果；所述处理器根据所述标准图像和所述脊柱关键解剖结构数据的至少之一得到所述脊柱的检测结果，包括：

将所述脊柱关键解剖结构数据输入训练好的第一检测神经网络；

所述第一检测神经网络对所述脊柱关键解剖结构数据进行特征提取，得到所述脊柱关键解剖结构数据的特征；

对所述特征进行分类得到所述脊柱关键解剖结构的类型作为所述脊柱关键解剖结构的检测结果。

5.根据权利要求1至3任一项的装置，其特征在于，所述脊柱的检测结果包括脊柱关键解剖结构的检测结果；所述处理器根据所述标准图像和所述脊柱关键解剖结构数据的至少之一得到所述脊柱的检测结果，包括：

将所述脊柱关键解剖结构数据输入训练好的第二检测神经网络；

所述第二检测神经网络检测所述脊柱关键解剖结构数据中的特征区域，对所述特征区域进行分类得到区域类型，并定位所述特征区域的边界；

将所述特征区域的区域类型和边界作为所述脊柱关键解剖结构的检测结果。

6.根据权利要求1至3任一项所述的装置，其特征在于，所述脊柱的检测结果包括脊柱关键解剖结构的检测结果；所述处理器根据所述标准图像和所述脊柱关键解剖结构数据的至少之一得到所述脊柱的检测结果，包括：

将所述脊柱关键解剖结构数据输入训练好的第三检测神经网络；

所述第三检测神经网络确定所述脊柱关键解剖结构数据中的每个像素点的数据类型，得到相同数据类型的多个像素点组成的特征区域，并定位所述特征区域的边界；

将所述特征区域的边界和所述多个像素点的数据类型作为所述脊柱关键解剖结构的检测结果。

7.根据权利要求1至3任一项所述的装置，其特征在于，所述脊柱的检测结果包括标准图像的检测结果；所述处理器根据所述标准图像和所述脊柱关键解剖结构数据的至少之一得到所述脊柱的检测结果，包括：

将所述标准图像输入训练好的第四检测神经网络；

所述第四检测神经网络对所述标准图像进行特征提取，得到标准图像特征；

对所述标准图像特征进行分类得到所述标准图像的类型作为所述标准图像的检测结果。

8.根据权利要求1-7中任一项所述的装置，其特征在于，所述脊柱关键解剖结构数据包括关键解剖结构图像数据和/或关键解剖结构体数据；

和/或，所述标准图像包括标准切面图像和/或标准VR图像。

9.根据权利要求1-7中任一项所述的装置，其特征在于，所述脊柱的检测结果还包括：至少一个分类结果以及各个分类结果的置信度；

所述显示器用于：

同步显示所述至少一个分类结果以及各个分类结果的置信度；

或者，显示所述至少一个分类结果中置信度超过预设阈值的分类结果及其置信度；

或者，显示所述至少一个分类结果中置信度最高的分类结果；

或者，显示所述至少一个分类结果中置信度最高的分类结果及其置信度。

10.根据权利要求1-7中任一项所述的装置，其特征在于，所述脊柱的检测结果包括所述脊柱关键解剖结构的特征区域的边界；所述显示器还用于显示所述标准图像，并在所述标准图像上框出所述脊柱关键解剖结构，且根据所述边界在所述标准图像上框出所述特征区域。

11.根据权利要求10所述的装置，其特征在于，所述脊柱的检测结果还包括所述特征区域的区域类型以及该区域类型的置信度；所述显示器还用于在所述标准图像上标示的特征区域处显示所述置信度。

12.根据权利要求10所述的装置，其特征在于，所述显示器用于以不同的颜色、不同的颜色亮度、不同的线条类型、和/或不同的线条宽度分别框出所述脊柱关键解剖结构和所述特征区域。

Images