CN111657997A

CN111657997A - 超声辅助引导方法、装置及存储介质

Info

Publication number: CN111657997A
Application number: CN202010583190.XA
Authority: CN
Inventors: 莫若理
Original assignee: Wuxi Chison Medical Technologies Co Ltd
Current assignee: Wuxi Chison Medical Technologies Co Ltd
Priority date: 2020-06-23
Filing date: 2020-06-23
Publication date: 2020-09-15

Abstract

本发明涉及超声图像处理技术领域，具体涉及超声辅助引导方法、装置及存储介质。本发明包括获取超声探头扫查目标部位得到的超声影像；计算超声影像与预设影像数据库中若干包含标记信息的匹配影像的匹配度值；将匹配度值超过第一预设匹配度值的匹配影像确定为标准影像；根据标准影像包含的标记信息引导超声探头移动，以使超声探头获取的超声影像与标准影像的匹配度值超过第二预设匹配度值；将与标准影像匹配度值超过第二预设匹配度值的超声影像确定为目标超声影像。本发明可以根据超声影像与匹配影像的匹配度值引导超声探头精准定位以获得目标超声图像，提高医生的扫查速度和诊断准确度。

Description

超声辅助引导方法、装置及存储介质

技术领域

本发明涉及超声图像处理技术领域，尤其涉及一种超声辅助引导方法、装置及存储介质。

背景技术

超声诊断仪在临床医学中有着广泛应用，能够从头到脚对身体各个部位进行超声影像检查与诊断应用。目前，很多基层医院缺少超声科与临床科结合的专业医生，基层医生无法准确快速地操作超声探头定位获取标准切面，基层医生也存在无法判断超声图像对应的扫查器官、是否存在病灶、存在病灶的情况下如何下诊断结论的情况，医生无法快速及时出具超声诊断结论。

发明内容

本发明的目的在于克服现有技术中存在的不足，提供一种能够辅助医生快速获取目标超声影像的超声辅助引导方法、装置及存储介质。

作为本发明的第一个方面，本发明提供了一种超声辅助引导方法，包括：

获取超声探头扫查目标部位得到的超声影像；

计算所述超声影像与预设影像数据库中若干包含标记信息的匹配影像的匹配度值；

将匹配度值超过第一预设匹配度值的匹配影像确定为标准影像；

根据所述标准影像包含的标记信息引导所述超声探头移动，以使所述超声探头获取的超声影像与所述标准影像的匹配度值超过第二预设匹配度值，所述第二预设匹配度值大于等于所述第一预设匹配度值；

将与所述标准影像匹配度值超过第二预设匹配度值的超声影像确定为目标超声影像。

进一步地，还包括：根据所述标准影像包含的标记信息确定所述目标超声影像的诊断信息，所述诊断信息至少包括目标部位信息、病灶信息、治疗信息中的一种或多种。

进一步地，还包括：

实时显示所述标准影像与所述目标超声影像；

实时显示所述标准影像与所述目标超声影像的匹配度值。

进一步地，所述匹配影像至少包括匹配超声影像、匹配CT影像、匹配核磁影像中的一种或多种。

进一步地，所述根据标准影像包含的标记信息引导所述超声探头移动，具体通过视觉引导方式、语音引导方式、力反馈引导方式中的一种或多种。

进一步地，所述视觉引导方式配置为通过图像引导、视频引导、标识引导、文字引导、投影引导中的一种或多种。

进一步地，所述力反馈引导方式配置为触觉引导、震动引导、牵引引导中的一种或多种。

进一步地，所述计算超声影像与预设影像数据库中若干包含标记信息的匹配影像的匹配度值，具体包括：

通过余弦相似度算法计算超声影像与预设影像数据库中若干包含标记信息的匹配影像的匹配度值；和/或

通过训练好的匹配神经网络模型计算超声影像与预设影像数据库中若干包含标记信息的匹配影像的匹配度值。

作为本发明的第二个方面，提供了一种超声辅助引导装置，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现上述的方法。

作为本发明的第三个方面，本发明提供了一种计算机存储介质，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现上述的方法。

本发明的超声辅助引导方法，将超声探头获取的超声影像与预设影像数据库中的匹配影像进行匹配得到匹配度值后，再通过标准影像包含的标记信息引导超声探头移动进行精准定位，进而获得辅助诊断所需的目标超声影像。本发明能够引导医生获得目标超声影像的扫查速度、提高了医生了工作效率。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。

图1为本发明一实施例的超声辅助引导方法示意图。

图2为本发明另一实施例的超声辅助引导方法示意图。

具体实施方式

下面通过具体实施方式结合附图对本发明作进一步详细说明。其中不同实施方式中类似元件采用了相关联的类似的元件标号。在以下的实施方式中，很多细节描述是为了使得本申请能被更好的理解。然而，本领域技术人员可以毫不费力的认识到，其中部分特征在不同情况下是可以省略的，或者可以由其他元件、材料、方法所替代。在某些情况下，本申请相关的一些操作并没有在说明书中显示或者描述，这是为了避免本申请的核心部分被过多的描述所淹没，而对于本领域技术人员而言，详细描述这些相关操作并不是必要的，他们根据说明书中的描述以及本领域的一般技术知识即可完整了解相关操作。另外，说明书中所描述的特点、操作或者特征可以以任意适当的方式结合形成各种实施方式。

目前，很多基层医院缺少超声科与临床科结合的专业医生，基层医生无法准确快速地操作超声探头定位获取标准切面，标准切面也就是下文的目标超声影像。作为本发明的一个方面，如图1所示，作为本发明的第一个方面，本发明提供了一种超声辅助引导方法，包括步骤：

S100，获取超声探头扫查目标部位得到的超声影像；

通过超声探头向目标部位发射和接收超声波，超声探头受发射脉冲的激励，向目标部位发射超声波，经一定延时后接收从目标区域反射回来的带有目标部位的信息的超声回波，并将此超声回波重新转换为电信号，以获得超声图像或者视频。需要理解的是，本发明的超声影像为单帧超声图像、多帧超声图像或超声视频中的一种或多种。超声探头可以是通过有线的方式与超声主机连接，也可以是掌上超声探头。本发明中的“目标部位”可以包括人、动物、人的一部分或动物的一部分。例如，对象可以包括诸如肝脏、心脏、子宫、脑部、胸部、腹部等的器官或血管。另外，术语“目标部位”也可以包括人造模型。该人造模型表示具有非常接近于有机体的密度和有效原子数的体积的材料，并且可以包括具有与人体类似的情绪的球状人造模型。

需要理解的是，超声探头可以根据需要扫查的目标部位，调取扫查该目标部位的参数值，例如超声探头的发射频率，深度参数、动态范围参数等。具体地，通过输入单元调节，输入单元可以是键盘、轨迹球、鼠标或触摸板等或它们的组合；输入单元也可以采用语音识别输入单元，或手势识别输入单元等。也可以选择超声设备上目标部位的指示图标，选择之后超声设备自动加载目标器官对应的预设参数值。

在一实施例中超声探头扫查目标部位得到的超声影像可以是事先采集好的，在跨院进行专家就诊时，可以通过存储介质的方式存储超声影像，可以是U盘、移动硬盘、只读存储器(Read-Only Memory， ROM)、光盘或者云盘等各种可以存储程序代码的计算机可读存储介质。

S200，计算所述超声影像与预设影像数据库中若干包含标记信息的匹配影像的匹配度值；

为了向医生快速提供诊断参考依据，本发明通过检索查询的方式，计算待辅助诊断的超声影像与预设影像数据库中若干包含标记信息的匹配影像的匹配度值。标记信息至少包括匹配影像对应的导航信息、目标部位信息、病灶信息、治疗信息中的一种或多种。需要理解的是，导航信息为采集匹配影像时对应的位置信息与角度信息，以作为引导的依据。

位置信息与角度信息可以通过磁传感定位、视觉传感定位、惯性测量单元定位中的一种或多种方式获取匹配影像对应的位置信息与角度信息。磁传感定位可以通过磁发射器建立一个磁场即世界坐标系，再根据设置在超声探头的上的磁接收器进行定位。视觉传感定位通过至少一个摄像机建立世界坐标系，通过图像识别，获取超声探头的位置信息和角度信息。惯性测量单元至少包括加速度计和陀螺仪，以多轴方式组合精密陀螺仪、加速度计，经过融合为稳定和导航应用提供可靠的位置和运动识别功能。即使在复杂的工作环境和动态或极端运动动力学条件下，精密MEMS IMU亦能提供所需的精度水平。获取IMU信息能够提高计算当前超声图像位置信息和角度信息的精度。一个惯性测量单元包含了三个单轴的加速度计和三个单轴的陀螺仪，加速度计检测物体在载体坐标系统独立三轴的加速度信号，而陀螺仪检测载体相对于导航坐标系的角速度信号，测量物体在三维空间中的角速度和加速度，并以此解算出物体的姿态。

预设影像数据库可以为：本地影像数据库、医院同盟影像数据库、云端影像数据库中的一种或多种。本发明的预设影像数据库中的匹配影像类型至少包括匹配超声影像、匹配CT影像、匹配核磁影像中的一种或多种。

在一实施例中，计算超声影像与预设影像数据库中若干包含标记信息的匹配影像的匹配度值，具体包括：通过余弦相似度算法计算超声影像与预设影像数据库中若干包含标记信息的匹配影像的匹配度值。即通过余弦相似度算法计算获得超声影像与每个所述匹配影像的匹配度值。余弦相似度算法通过计算代表超声影像的图像特征向量与影像数据库中若干匹配影像的内积空间的夹角余弦值，从而度量超声影像与匹配影像之间的相似性。

在另一实施例中，通过训练好的匹配神经网络模型计算超声影像与预设影像数据库中若干包含标记信息的匹配影像的匹配度值。

匹配神经网络模型包括：第一神经网络、第二神经网络、筛选神经网络和匹配神经网络。第一神经网络用于识别超声影像的扫查部位，所述第一神经网络通过若干已标记好扫查部位类别的超声影像训练获得；本发明的第一神经网络为卷积神经网络，第一神经网络包括输入层、隐含层和输出层；其中隐含层包括若干卷积层、下采样层、上采样层；输入的待诊断超声影像先经过若干卷积层和下采样层，分别进行卷积操作和下采样操作，再经过若干卷积层和上采样层，分别进行卷积操作和上采样操作；第一神经网络的输入层与隐含层、各隐含层之间、隐含层与输出层之间通过权重参数相连接；第一神经网络中的卷积层用于自动提取超声影像中的特征向量。通过若干已标记好扫查部位类别的超声影像进行训练之后，将超声影像输入第一神经网络之后可以快速识别待诊断超声影像对应的扫查部位。可以理解的是，医院在将包含标记信息的匹配影像存储到本地影像数据库、医院同盟影像数据库或云端影像数据库中时，会对匹配影像进行分类存储，例如将所有“心脏”相关的匹配影像存储在一个子影像集中。影像数据库根据不同的扫查部位例如“子宫”、“脑部”、“胸部”、“腹部”等，建立对应的子影像集。本发明通过第一神经网络能够快速识别出超声影像的扫查部位后能够减少检索匹配的量，提高检索匹配的速度。

为了进一步提高影像匹配单元200匹配的速度，本发明的第二神经网络用于识别超声影像的病灶信息，第二神经网络通过若干已标记好病灶信息的超声影像训练获得；本发明的第二神经网络也为卷积神经网络。第二神经网络的训练方法具体如下：将若干已标记好病灶信息的超声影像样本输入第二神经网络中，以预测超声影像样本中的病灶区域；利用预测出的病灶区域，确定与预测出的病灶区域对应的目标病灶区域；根据超声影像样本的病灶信息，以及预测出的病灶区域，确定超声影像样本的采样权重，进而获得训练好的第二神经网络。通过第二神经网络可以快速识别超声影像的病灶区域。可以理解的是，影像数据库可以根据同一扫查部位不同病灶区域，建立对应的子影像集。本发明通过第二神经网络能够快速识别出待诊断超声影像的病灶信息后能够减少检索匹配的量，提高检索匹配的速度。

需要理解的时，本发明的预设影像数据库中的匹配影像类型至少包括匹配超声影像、匹配CT影像、匹配核磁影像中的一种或多种。当不同影像类型进行匹配度计算时，可以将所述超声影像输入训练好的风格迁移模型进行处理，得到与预设影像数据库中模态相同的迁移图像。

S300，将匹配度值超过第一预设匹配度值的匹配影像确定为标准影像；

设置的第一预设匹配度值使得至少一个匹配影像确定为标准影像。操作人员可以通过输入单元设置第一预设匹配值，输入单元用于输入操作人员的控制指令。输入单元可以为键盘、跟踪球、鼠标、触摸面板、手柄、拨盘、操纵杆以及脚踏开关中的至少一个。输入单元也可以输入非接触型信号，例如声音、手势、视线或脑波信号。操作人员可以设置具体的第一预设匹配值，例如95%，影像数据库中的超过95%的匹配影像会被筛选出来。需要理解的是，标准影像相当于扫查目标部位需要获得的标准界面，可以提高医生诊断的正确性，避免出现误诊。

S400，根据所述标准影像包含的标记信息引导所述超声探头移动，以使所述超声探头获取的超声影像与所述标准影像的匹配度值超过第二预设匹配度值，所述第二预设匹配度值大于等于所述第一预设匹配度值；

本发明的标准影像是通过计算超声影像与预设影像数据库中匹配影像的匹配度值获得的，因此，此时超声探头获得的超声影像可能是一个大概的位置，需要进行一步引导调整超声探头的位置和角度，才能获得目标超声影像。当确定好标准影像后，根据所述标准影像包含的标记信息引导所述超声探头移动，标记信息至少包括匹配影像对应的导航信息、目标部位信息、病灶信息、治疗信息中的一种或多种。根据采集标准影像对应的位置信息和角度信息以及当前超声探头的位置信息和角度信息规划引导路径，并通过视觉引导方式、语音引导方式、力反馈引导方式中的一种或多种引导超声探头获得目标超声影像。即提供操作提示信息引导超声探头移动获得精确的超声图像，所述视觉引导方式配置为通过图像引导、视频引导、标识引导、文字引导、投影引导中的一种或多种。所述力反馈引导方式配置为触觉引导、震动引导、牵引引导中的一种或多种。例如，视觉操作提示，可以在显示器上提示探头移动的方向角度，或者在检测对象对应体表处生成虚拟指示图标。触觉操作提示为在超声探头偏离引导路径时，超声探头振动。当超声探头运动到标准扫查切面时进行振动，以提示到达目标位置，或者在扫查过程中未到达标准扫查切面处时就发现病灶，也可以发出语音提示或者振动提示。

S500，将与所述标准影像匹配度值超过第二预设匹配度值的超声影像确定为目标超声影像。

第二预设匹配度值大于等于所述第一预设匹配度值，使得引导超声探头获取的超声影像与标记影像更加匹配，对目标部位进行精确定位，提高诊断的准确度。本发明的超声辅助引导方法，将超声探头获取的超声影像与预设影像数据库中的匹配影像进行匹配得到匹配度值后，再通过标准影像包含的标记信息引导超声探头移动进行精准定位，进而获得辅助诊断所需的目标超声影像。本发明能够引导医生获得目标超声影像的扫查速度、提高了医生了工作效率。

如图2所示，获得目标部位的目标超声影像后可以获得目标超声影像的诊断信息。具体包括S600，根据所述标准影像包含的标记信息确定所述目标超声影像的诊断信息

诊断信息至少包括目标部位信息、病灶信息、治疗信息中的一种或多种。在一实施例中，通过标准影像包含的标记信息推断目标超声影像的诊断信息，本发明的的标记信息至少包括匹配影像对应的导航信息、目标部位信息、病灶信息、治疗信息中的一种或多种。可以理解的是，目标超声影像与标准影像是最匹配的，也就是最接近的，因此可以通过标准影像的目标信息辅助推断出目标超声影像的诊断信息。

在另一实施例中，还包括获取目标超声影像对应的检查对象信息；根据所述目标超声影像对应的检查对象信息查询检查对象的历史诊断超声影像，所述历史诊断超声影像存储在所述影像数据库中；存在历史诊断超声影像时，根据所述历史诊断超声影像的诊断时间进行排列，作为确定目标超声影像诊断信息的参考依据。可以得到趋势判断或区别信息判断。

在另一实施例中，还可以获取相似超声影像下检查对象的疾病信息诊断结论、用药记录，诊疗效果等。即根据目标超声影像的诊断信息确定病灶信息；根据病灶信息在预设影像数据库中查询同类病灶对应的匹配影像；将同类病灶对应的匹配影像的标记信息作为确定目标超声影像诊断信息的参考依据。

本发明还通过显示器实时显示所述标准影像与所述目标超声影像；实时显示所述标准影像与所述目标超声影像的匹配度值。其中，显示标准影像时还显示对应的标记信息。显示器不限制数量。显示的超声影像、目标超声影像以及标准影像可以是显示在一个显示器上，也可以同时显示在多个显示器上，在此本实施例也不作限制。此外，显示器在显示的同时还提供给用户进行人机交互的图形界面，在图形界面上设置一个或多个被控对象，提供给操作人员利用人机交互设备输入操作指令来控制这些被控对象，从而执行相应的控制操作。例如投影、VR眼镜，当然显示器中也可以包含输入装置，例如触摸输入的显示屏、感应动作的投影机VR眼镜。利用人机交互设备可以对显示器显示的图标进行操作，用来执行特定的功能。

作为本发明的第二个方面，还提供了一种超声辅助引导装置，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现上述的方法。

上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。

同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、RF、或类似介质，或任何上述介质的组合。

本说明书各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、C++、C#、VB.NET、Python等，常规程序化编程语言如C语言、Visual Basic、Fortran2003、Perl、COBOL2002、PHP、ABAP，动态编程语言如Python、Ruby和Groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网（LAN）或广域网（WAN），或连接至外部计算机（例如通过因特网），或在云计算环境中，或作为服务使用如软件即服务（SaaS）。

此外，除非权利要求中明确说明，本说明书所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。

同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。

针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本说明书权利要求最广范围有限制的文件（当前或之后附加于本说明书中的）也除外。需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。

最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

Claims

1.一种超声辅助引导方法，包括：

获取超声探头扫查目标部位得到的超声影像；

2.根据权利要求1所述的超声辅助引导方法，还包括：

根据所述标准影像包含的标记信息确定所述目标超声影像的诊断信息，所述诊断信息至少包括目标部位信息、病灶信息、治疗信息中的一种或多种。

3.根据权利要求1所述的超声辅助引导方法，其特征在于，还包括：

实时显示所述标准影像与所述目标超声影像；

实时显示所述标准影像与所述目标超声影像的匹配度值。

4.根据权利要求1所述的超声辅助引导方法，其特征在于，所述匹配影像至少包括匹配超声影像、匹配CT影像、匹配核磁影像中的一种或多种。

5.根据权利要求1-4中任一项所述的超声辅助引导方法，其特征在于，所述根据标准影像包含的标记信息引导所述超声探头移动，具体通过视觉引导方式、语音引导方式、力反馈引导方式中的一种或多种。

6.根据权利要求5所述的超声辅助引导方法，其特征在于，所述视觉引导方式配置为通过图像引导、视频引导、标识引导、文字引导、投影引导中的一种或多种。

7.根据权利要求5所述的超声辅助引导方法，其特征在于，所述力反馈引导方式配置为触觉引导、震动引导、牵引引导中的一种或多种。

8. 根据权利要求1-4中任一项所述的超声辅助引导方法，所述计算超声影像与预设影像数据库中若干包含标记信息的匹配影像的匹配度值，具体包括：

9.一种超声辅助引导装置，其特征在于，所述装置包括存储器和处理器，所述存储器中存储有至少一条程序指令，所述处理器通过加载并执行所述至少一条程序指令以实现如权利要求1至8任一所述的方法。

10.一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条程序指令，所述至少一条程序指令被处理器加载并执行以实现如权利要求1至8任一所述的方法。