CN115953532A - 教学用超声图像的显示方法、装置及超声图像的教学系统 - Google Patents

Abstract

本申请公开了一种教学用超声图像的显示方法、装置及超声图像的教学系统，显示方法包括：基于目标临床场景调整虚拟场景中3D虚拟人体模型的姿势；将虚拟超声探头定位在3D虚拟人体模型的指定位置上，并确定虚拟超声探头的观测向量；依据观测向量在3D虚拟人体模型中获得虚拟超声探头的断层图像，并将断层图像可视化；依据3D虚拟人体模型的姿势和观测向量从数据库中调用对应的超声图像，并将超声图像可视化；将可视化后的断层图像和可视化后的超声图像同时显示在相邻区域。本申请使初学者能够直观对比不同人体姿势和不同视角的断层解剖结构与超声图像，降低了学习难度，缩短了学习周期。

Description

教学用超声图像的显示方法、装置及超声图像的教学系统

技术领域

本申请涉及数据处理技术领域，更具体地，涉及一种教学用超声图像的显示方法、装置及超声图像的教学系统。

背景技术

超声检查是一种通过评估组织和器官的解剖学改变进行影像学诊断与引导介入治疗的工具。因此，解剖是学习超声的基石。传统的超声教学方法首先需要在理论课堂中学习人体解剖，继而对相应器官的超声图像进行读图分析，最后在实习课堂中加以一对一手法指导。但初学者在学习人体解剖学时，通常评估器官大体结构，超声图像则主要显示人体断面结构。在此学习过程中，缺少了将已知人体解剖结构转换为断面超声图像的重要桥梁——断层解剖学。

但是，目前市面的断层解剖学并不适用于超声扫查的学习，因为其大多局限于轴位视角，而超声扫查时需要涉及到的断层视角更加多变与广泛。视角的持续转变，将导致超声图像内组织和器官的方位发生动态变化，初学者难以将所获得的超声图像与人体解剖图像一一对应，从而增加了学习难度，拉长了学习周期，这是早期超声学习的难点、痛点。

另外，在常规解剖学的学习过程中，视野较广，可包括整个人体。而超声扫查视野局限，扫查范围局限于约1cm²-100cm²之间，难以显示病变在人体的相对位置，因此通过对局部的观察难以实现对病变的整体认知。近年来，超声模拟学习器的研发解决了这一矛盾，它将探头扫查视野以具体几何形状实时标注在模拟人体内，提高了学生对探头位置的空间感知力，增加了学习的主观能动性。

但由于模拟器内的模型建立是基于已获得的超声信息，在探头扫查过程中，仅显示实时超声图像，缺少断层解剖信息，因而初学者需要耗费大量的精力进行空间想象与转换。其次，模拟仿真人体通常为平卧位人体，而超声扫查目标常处于多种姿势，这些也限制了模拟器的使用。另外，模拟器的体型大，难以走进理论课堂。

发明内容

本申请提供一种教学用超声图像的显示方法、装置及超声图像的教学系统，能够在3D虚拟人体模型上实时显示超声视野位置，并同步显示超声扫查角度下的断层解剖结构以及对应的超声图像，初学者能够直观对比不同人体姿势和不同视角的断层解剖结构与超声图像，迅速适应观察角度不同导致的病变方位转变，从而加深对于超声图像的理解，同时将局部识图与整体位置感知结合，将静态图像的学习变为动态可自主操控的学习，更加贴合了临床中的超声使用场景，减少了学习时间，丰富了课堂内容，并且本申请将实体模型改为3D虚拟人体模型，便携性大幅度增加，适于理论课堂。

本申请提供了一种教学用超声图像的显示方法，包括：

基于目标临床场景调整虚拟场景中3D虚拟人体模型的姿势；

将虚拟超声探头定位在3D虚拟人体模型的指定位置上，并确定虚拟超声探头的观测向量；

依据观测向量在3D虚拟人体模型中获得虚拟超声探头的断层图像，并将断层图像可视化；

依据3D虚拟人体模型的姿势和观测向量从数据库中调用对应的超声图像，并将超声图像可视化；

将可视化后的断层图像和可视化后的超声图像同时显示在相邻区域。

优选地，显示方法还包括：

依据观测向量在3D虚拟人体模型中对实时超声声场进行渲染。

优选地，依据观测向量在3D虚拟人体模型中获得虚拟超声探头的断层图像，具体包括：

确定观测向量的终点处与观测向量垂直的平面；

确定平面与3D虚拟人体模型的交集，作为初始断层；

将初始断层上，以观测向量的终点为圆心，虚拟超声探头的观测半径为半径确定的圆形区域作为断层图像。

优选地，利用鼠标或VR游戏手柄驱动虚拟超声探头进行定位。

优选地，对断层图像和超声图像进行可视化的过程包括对断层图像和超声图像进行降噪处理。

本申请还提供一种教学用超声图像的显示装置，包括姿势调整模块、观测向量确定模块、断层图像获得模块、超声图像获得模块以及显示模块；

姿势调整模块用于基于目标临床场景调整虚拟场景中3D虚拟人体模型的姿势；

观测向量确定模块用于将虚拟超声探头定位在3D虚拟人体模型的指定位置上，并确定虚拟超声探头的观测向量；

断层图像获得模块用于依据观测向量在3D虚拟人体模型中获得虚拟超声探头的断层图像，并将断层图像可视化；

超声图像获得模块用于依据3D虚拟人体模型的姿势和观测向量从数据库中调用对应的超声图像，并将超声图像可视化；

显示模块用于将可视化后的断层图像和可视化后的超声图像同时显示在相邻区域。

优选地，显示装置还包括声场渲染模块，声场渲染模块用于依据观测向量在3D虚拟人体模型中对实时超声声场进行渲染。

优选地，断层图像获得模块包括平面确定模块、初始断层确定模块以及圆形区域确定模块；

平面确定模块用于确定观测向量的终点处与观测向量垂直的平面；

初始断层确定模块用于确定平面与3D虚拟人体模型的交集，作为初始断层；

圆形区域确定模块用于将初始断层上，以观测向量的终点为圆心，虚拟超声探头的观测半径为半径确定的圆形区域作为断层图像。

优选地，观测向量确定模块用于利用鼠标或VR游戏手柄的指令驱动虚拟超声探头进行定位。

本申请还提供一种超声图像的教学系统，包括处理器、3D虚拟人体模型、显示区域以及引擎，处理器分别与3D虚拟人体模型、显示区域以及引擎进行数据通信，处理器用于执行上述教学用超声图像的显示方法。

通过以下参照附图对本申请的示例性实施例的详细描述，本申请的其它特征及其优点将会变得清楚。

附图说明

被结合在说明书中并构成说明书的一部分的附图示出了本申请的实施例，并且连同其说明一起用于解释本申请的原理。

图1为本申请提供的超声图像的教学系统的结构图；

图2为本申请提供的教学用超声图像的显示方法的流程图；

图3为本申请提供的获得虚拟超声探头的断层图像的流程图；

图4为本申请提供的教学用超声图像的显示装置的结构图。

具体实施方式

现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。

在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。

本申请提供一种教学用超声图像的显示方法、装置及超声图像的教学系统，能够在3D虚拟人体模型上实时显示超声视野位置，并同步显示超声扫查角度下的断层解剖结构以及对应的超声图像，初学者能够直观对比不同人体姿势和不同视角的断层解剖结构与超声图像，迅速适应观察角度不同导致的病变方位转变，从而加深对于超声图像的理解，同时将局部识图与整体位置感知结合，将静态图像的学习变为动态可自主操控的学习，更加贴合了临床中的超声使用场景，减少了学习时间，丰富了课堂内容，并且本申请将实体模型改为3D虚拟人体模型，便携性大幅度增加，适于理论课堂。

如图1所示，本申请提供的超声图像的教学系统包括处理器110、3D虚拟人体模型120、显示区域130以及引擎140。

引擎140是一个实体零件，用户通过操作引擎140向处理器发送指令。处理器110分别与3D虚拟人体模型120、显示区域130以及引擎140进行数据通信。处理器110接收引擎140的指令，对3D虚拟人体模型120进行操作，并将获得的断层图像和超声图像同时显示在显示区域130，分别对应剖面数据显示区域和超声数据显示区域。在3D虚拟人体模型120上的操作可以实时显示给用户。

作为一个实施例，3D虚拟人体模型120与显示区域130是相邻的两个区域，方便用户完整观察整个超声探头操作过程以及超声探头操作的观测结果。

作为一个实施例，引擎140可以是鼠标/VR游戏手柄。

需要说明的是，3D虚拟人体模型120是参考真实人体、医院真实操作环境，结合3D打印定点定位(3DP)技术进行构建的，其可以设置在虚拟场景中。3D虚拟人体模型120具有骨骼、血管、内脏等基础构造，3D虚拟人体模型120的姿势能够根据临床场景发生改变。

如图2所示，本申请提供的教学用超声图像的显示方法包括：

S210：基于目标临床场景调整虚拟场景中3D虚拟人体模型的姿势。

S220：将虚拟超声探头定位在3D虚拟人体模型的指定位置上，并确定虚拟超声探头的观测向量。

具体地，首先用户通过操作引擎拖动虚拟超声探头，把虚拟超声探头移动到3D虚拟人体模型上的目标观测点(目标观测点与3D人体模型在同一个坐标系内)。其次，用户通过操作引擎转动虚拟超声探头的方向，使之指向3D虚拟人体模型的目标观测区域，以确定观测方向。随后，通过调用虚拟超声探头的焦距调节面板设定一个合适的观测距离，作为观测深度。至此，可以得到一个以虚拟超声探头为起点，由观测方向和观测深度确定的三维向量，作为观测向量。

S230：依据观测向量在3D虚拟人体模型中获得虚拟超声探头的断层图像，并将断层图像可视化。

如图3所示，获得虚拟超声探头的断层图像，具体包括：

S310：确定观测向量的终点处与观测向量垂直的平面。

S320：确定该平面与3D虚拟人体模型的交集，作为初始断层。

作为一个实施例，利用3D渲染引擎在同一个三维坐标系内对3D虚拟人体模型和虚拟超声探头进行渲染，因此可以借助3D渲染引擎得到3D人体模型的各个组织的数学模型，进而得到3D虚拟人体模型的组织结构。然后借助3D渲染引擎计算观测向量的终点处与观测向量垂直的平面，进而获得初始断层。

S330：将初始断层上，以观测向量的终点为圆心，虚拟超声探头的观测半径为半径确定的圆形区域作为断层图像。

初始断层是无限大的，而超声探头的观测半径R是有限的，因此以观测向量的终点为圆心，在初始断层上画一个半径为R的圆，获得的图形区域即是本次的断层图像。

把断层图像的数学模型由3D渲染引擎可视化并输出到上述显示区域130的剖面数据显示区域内，用户就能看到此次观测中断层图像的可视化结果了。由于3D渲染引擎的计算能力很强，整个计算过程可以在用户调整虚拟超声探头参数后实时触发，因此剖面数据显示区域的内容也可以实时更新。

作为一个实施例，3D渲染引擎包括生物组织渲染模型，通过生物组织渲染模型对断层图像进行渲染，从而实现断层图像的可视化。

具体地，利用生物组织渲染模型对断层图像进行可视化包括如下步骤：

P1：组织识别：识别断层图像内的组织结构，生成空间3D组织数据集。

P2：对抗性噪声降点，即降噪处理：将空间3D组织数据集输入深度神经网络模型，卷积池化后生成高精度3D组织数据集，减少噪声错误数据，提升准确性。

P3：组织模拟：将高精度3D组织数据集匹配生成组织空间动画。

S240：依据3D虚拟人体模型的姿势和观测向量从数据库中调用对应的超声图像，并将超声图像可视化。

系统中预存有人体各组织的超声图像二维数据，即“人体组织构造数据”和对应的空间位置数据，因此依据3D虚拟人体模型的姿势和观测向量可以从数据库中调用对应的超声图像。

随后将该超声图像输入生物组织渲染模型中对超声图像进行渲染(请参见P1-P3)，最终获得组织渲染超声模拟图(即可视化后的超声图像)。超声图像的刷新频率在100ms以内，并随虚拟超声探头的移动而变化，实现超声影像和人体3D解剖图(即可视化的断层图像)的实时同步。

S250：将可视化后的断层图像和可视化后的超声图像同时显示在相邻区域。

优选地，在上述虚拟超声探头工作的同时，还包括：依据观测向量在3D虚拟人体模型中对实时超声声场进行渲染，使得用户在观察超声图像、断层图像的同时还可以实时听到超声检测的声音，更有利于模拟真实场景。具体地，对于3D虚拟人体模型内的不同实时超声声场，渲染所用的声场的形状也不同。

基于上述教学用超声图像的显示方法，本申请还提供一种教学用超声图像的显示装置。如图4所示，显示装置包括姿势调整模块410、观测向量确定模块420、断层图像获得模块430、超声图像获得模块440以及显示模块450。

姿势调整模块410用于基于目标临床场景调整虚拟场景中3D虚拟人体模型的姿势。

观测向量确定模块420用于将虚拟超声探头定位在3D虚拟人体模型的指定位置上，并确定虚拟超声探头的观测向量。

断层图像获得模块430用于依据观测向量在3D虚拟人体模型中获得虚拟超声探头的断层图像，并将断层图像可视化。

超声图像获得模块440用于依据3D虚拟人体模型的姿势和观测向量从数据库中调用对应的超声图像，并将超声图像可视化。

显示模块450用于将可视化后的断层图像和可视化后的超声图像同时显示在相邻区域。

优选地，显示装置还包括声场渲染模块460，声场渲染模块460用于依据观测向量在3D虚拟人体模型中对实时超声声场进行渲染。

优选地，断层图像获得模块430包括平面确定模块4301、初始断层确定模块4302以及圆形区域确定模块4303。

平面确定模块4301用于确定观测向量的终点处与观测向量垂直的平面。

初始断层确定模块4302用于确定平面与3D虚拟人体模型的交集，作为初始断层。

圆形区域确定模块4303用于将初始断层上，以观测向量的终点为圆心，虚拟超声探头的观测半径为半径确定的圆形区域作为断层图像。

优选地，断层图像获得模块430还包括渲染模块4304，所述渲染模块4304首先识别断层图像内的组织结构，生成空间3D组织数据集，然后将空间3D组织数据集输入深度神经网络模型，卷积池化后生成高精度3D组织数据集，最后将高精度3D组织数据集匹配生成组织空间动画。

作为一个实施例，观测向量确定模块420用于利用鼠标或VR游戏手柄的指令驱动虚拟超声探头进行定位。

本申请在操作虚拟超声探头的过程中，3D虚拟人体内的超声视野得到实时渲染强调、在变换角度和位置的过程中，断层解剖图像与其对应的超声图像得以对比显示，搭建了初学者通过解剖结构理解超声图像的重要桥梁，增加了局部病变相对于整体结构的空间感知能力，降低了学习难度，缩短了学习周期。另外，本系统将实体模型改为3D虚拟人体模型，使其便携性大幅度增加，能够走进理论课堂。3D虚拟人体模型的建立使得模型能够根据不同姿势体位、不同临床场景进行更新，缩短了模拟学习与实际人体扫查的距离。

虽然已经通过例子对本申请的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上例子仅是为了进行说明，而不是为了限制本申请的范围。本领域的技术人员应该理解，可在不脱离本申请的范围和精神的情况下，对以上实施例进行修改。本申请的范围由所附权利要求来限定。

Claims (10)

1.一种教学用超声图像的显示方法，其特征在于，包括：

基于目标临床场景调整虚拟场景中3D虚拟人体模型的姿势；

将虚拟超声探头定位在所述3D虚拟人体模型的指定位置上，并确定所述虚拟超声探头的观测向量；

依据所述观测向量在所述3D虚拟人体模型中获得所述虚拟超声探头的断层图像，并将所述断层图像可视化；

依据所述3D虚拟人体模型的姿势和所述观测向量从数据库中调用对应的超声图像，并将所述超声图像可视化；

将可视化后的断层图像和可视化后的超声图像同时显示在相邻区域。

2.根据权利要求1所述的教学用超声图像的显示方法，其特征在于，还包括：

依据所述观测向量在所述3D虚拟人体模型中对实时超声声场进行渲染。

3.根据权利要求1所述的教学用超声图像的显示方法，其特征在于，依据所述观测向量在所述3D虚拟人体模型中获得所述虚拟超声探头的断层图像，具体包括：

确定所述观测向量的终点处与所述观测向量垂直的平面；

确定所述平面与所述3D虚拟人体模型的交集，作为初始断层；

将所述初始断层上，以所述观测向量的终点为圆心，所述虚拟超声探头的观测半径为半径确定的圆形区域作为所述断层图像。

4.根据权利要求1所述的教学用超声图像的显示方法，其特征在于，利用鼠标或VR游戏手柄驱动所述虚拟超声探头进行定位。

5.根据权利要求1所述的教学用超声图像的显示方法，其特征在于，对所述断层图像和所述超声图像进行可视化的过程包括对所述断层图像和所述超声图像进行降噪处理。

6.一种教学用超声图像的显示装置，其特征在于，包括姿势调整模块、观测向量确定模块、断层图像获得模块、超声图像获得模块以及显示模块；

所述姿势调整模块用于基于目标临床场景调整虚拟场景中3D虚拟人体模型的姿势；

所述观测向量确定模块用于将虚拟超声探头定位在所述3D虚拟人体模型的指定位置上，并确定所述虚拟超声探头的观测向量；

所述断层图像获得模块用于依据所述观测向量在所述3D虚拟人体模型中获得所述虚拟超声探头的断层图像，并将所述断层图像可视化；

所述超声图像获得模块用于依据所述3D虚拟人体模型的姿势和所述观测向量从数据库中调用对应的超声图像，并将所述超声图像可视化；

所述显示模块用于将可视化后的断层图像和可视化后的超声图像同时显示在相邻区域。

7.根据权利要求6所述的教学用超声图像的显示装置，其特征在于，还包括声场渲染模块，所述声场渲染模块用于依据所述观测向量在所述3D虚拟人体模型中对实时超声声场进行渲染。

8.根据权利要求6所述的教学用超声图像的显示装置，其特征在于，所述断层图像获得模块包括平面确定模块、初始断层确定模块以及圆形区域确定模块；

所述平面确定模块用于确定所述观测向量的终点处与所述观测向量垂直的平面；

所述初始断层确定模块用于确定所述平面与所述3D虚拟人体模型的交集，作为初始断层；

所述圆形区域确定模块用于将所述初始断层上，以所述观测向量的终点为圆心，所述虚拟超声探头的观测半径为半径确定的圆形区域作为所述断层图像。

9.根据权利要求6所述的教学用超声图像的显示装置，其特征在于，所述观测向量确定模块用于利用鼠标或VR游戏手柄的指令驱动所述虚拟超声探头进行定位。

10.一种超声图像的教学系统，其特征在于，包括处理器、3D虚拟人体模型、显示区域以及引擎，所述处理器分别与所述3D虚拟人体模型、显示区域以及引擎进行数据通信，所述处理器用于执行如权利要求1-5所述的教学用超声图像的显示方法。

Images