CN115990032B - 基于先验知识的超声扫描视觉导航方法、装置及设备 - Google Patents

Abstract

本发明提供一种基于先验知识的超声扫描视觉导航方法、装置及设备，涉及一般的图像数据处理或产生技术领域，方法包括：基于标准超声切面对应的探头位置和角度信息数据库，获取目标超声切面对应的探头位置范围及相应的统计信息，和目标超声切面对应的探头角度范围及相应的统计信息；基于超声探头上安装的标志物，获取超声探头的实时位置和实时角度；将超声探头的实时位置和目标超声切面对应的探头位置范围及相应的统计信息以可视化方式呈现于目标对象的人体图像中，对超声探头的实时角度与目标超声切面对应的探头角度范围及相应的统计信息之间的相对关系进行可视化。从而经验不足的医生或普通人可以通过该可视化界面来获得目标超声切面的有效图像。

Description

基于先验知识的超声扫描视觉导航方法、装置及设备

技术领域

本发明涉及一般的图像数据处理或产生技术领域，尤其涉及一种基于先验知识的超声扫描视觉导航方法、装置及设备。

背景技术

超声成像技术以其安全无创性等优势在医学临床诊断领域起着重要作用，但是现阶段超声成像技术需要有经验且受过训练的临床医生，存在较大的局限性，对于经验不足的医生和普通人，难以准确地进行超声扫描得到标准的超声切面图像。

发明内容

针对现有技术存在的问题，本发明提供一种基于先验知识的超声扫描视觉导航方法、装置及设备。

第一方面，本发明提供一种基于先验知识的超声扫描视觉导航方法，包括：

基于标准超声切面对应的探头位置和角度信息数据库，获取目标超声切面对应的探头位置范围及相应位置的统计信息，和目标超声切面对应的探头角度范围及相应角度的统计信息；

基于超声探头上安装的标志物，获取所述超声探头的实时位置和实时角度；

将所述超声探头的实时位置和所述目标超声切面对应的探头位置范围及相应位置的统计信息以可视化方式呈现于目标对象的人体图像中，并对所述超声探头的实时角度与所述目标超声切面对应的探头角度范围及相应角度的统计信息之间的相对关系进行可视化，用于引导所述超声探头的操作者操作所述超声探头进行超声扫描获得所述目标超声切面的图像。

可选地，所述标准超声切面对应的探头位置和角度信息数据库通过以下方式构建：

基于所述超声探头上安装的标志物，针对多种标准超声切面，分别获取每种标准超声切面对应的多组探头位置数据和探头角度数据；

对所述多种标准超声切面对应的多组探头位置数据和探头角度数据分别进行拟合，得到所述多种标准超声切面对应的探头位置范围和相应位置的统计信息，以及所述多种标准超声切面对应的探头角度范围和相应角度的统计信息；

基于所述多种标准超声切面对应的探头位置范围和相应位置的统计信息，以及所述多种标准超声切面对应的探头角度范围和相应角度的统计信息，构建标准超声切面对应的探头位置和角度信息数据库。

可选地，所述将所述超声探头的实时位置和所述目标超声切面对应的探头位置范围及相应位置的统计信息以可视化方式呈现于目标对象的人体图像中，包括：

将所述超声探头的实时位置以第一显示标记的形式呈现于所述人体图像中；以及，将所述目标超声切面对应的探头位置范围及相应位置的统计信息以热力图的形式呈现于所述人体图像中。

可选地，所述超声探头的实时角度包括所述超声探头的实时自转角度和所述超声探头的实时指向角度。

可选地，所述对所述超声探头的实时角度与所述目标超声切面对应的探头角度范围及相应角度的统计信息之间的相对关系进行可视化，包括：

将所述超声探头的实时自转角度和所述目标超声切面对应的探头自转角度范围及相应自转角度的统计信息在同一坐标系中显示，其中，所述目标超声切面对应的探头自转角度范围以扇形范围表示，所述相应自转角度的统计信息通过热力图的形式表示，所述超声探头的实时自转角度以第二显示标记表示；以及，

将所述超声探头的实时指向角度和所述目标超声切面对应的探头指向角度范围及相应指向角度的统计信息在同一坐标系中显示，其中，所述目标超声切面对应的探头指向角度范围以锥体范围表示，所述相应指向角度的统计信息通过热力图的形式表示，所述超声探头的实时指向角度以第三显示标记表示。

可选地，所述标志物包括黑白棋盘格、ArUco、ChArUco中的任一种。

第二方面，本发明还提供一种基于先验知识的超声扫描视觉导航装置，包括：

第一获取模块，用于基于标准超声切面对应的探头位置和角度信息数据库，获取目标超声切面对应的探头位置范围及相应位置的统计信息，和目标超声切面对应的探头角度范围及相应角度的统计信息；

第二获取模块，用于基于超声探头上安装的标志物，获取所述超声探头的实时位置和实时角度；

可视化模块，用于将所述超声探头的实时位置和所述目标超声切面对应的探头位置范围及相应位置的统计信息以可视化方式呈现于目标对象的人体图像中，并对所述超声探头的实时角度与所述目标超声切面对应的探头角度范围及相应角度的统计信息之间的相对关系进行可视化，用于引导所述超声探头的操作者操作所述超声探头进行超声扫描获得所述目标超声切面的图像。

第三方面，本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述第一方面所述的基于先验知识的超声扫描视觉导航方法。

第四方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上所述第一方面所述的基于先验知识的超声扫描视觉导航方法。

本发明提供的基于先验知识的超声扫描视觉导航方法、装置及设备，通过根据标准超声切面对应的探头位置和角度信息数据库来获取目标超声切面对应的探头位置范围及相应位置的统计信息，和探头角度范围及相应角度的统计信息，以及根据超声探头上安装的标志物获取超声探头的实时位置和实时角度，最后将超声探头的实时位置和目标超声切面对应的探头位置范围及相应位置的统计信息以可视化的方式呈现于目标对象的人体图像中，以及对超声探头的实时角度与目标超声切面对应的探头角度范围及相应角度的统计信息之间的相对关系进行可视化，可以引导超声探头的操作者操作超声探头进行超声扫描来获取目标超声切面的图像，从而经验不足的医生或普通人也可以通过该可视化的界面来操作超声探头进行超声扫描获得目标超声切面的有效图像。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作逐一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明提供的基于先验知识的超声扫描视觉导航方法的流程示意图；

图2为本发明提供的具体应用场景中超声扫描视觉导航方法的流程图；

图3为本发明提供的超声导航系统的示意图；

图4为本发明提供的基于先验知识的超声扫描视觉导航装置的结构示意图；

图5为本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明提供的基于先验知识的超声扫描视觉导航方法的流程示意图，如图1所示，该方法包括以下步骤：

步骤100、基于标准超声切面对应的探头位置和角度信息数据库，获取目标超声切面对应的探头位置范围及相应位置的统计信息，和目标超声切面对应的探头角度范围及相应角度的统计信息。

步骤101、基于超声探头上安装的标志物，获取超声探头的实时位置和实时角度。

步骤102、将超声探头的实时位置和目标超声切面对应的探头位置范围及相应位置的统计信息以可视化方式呈现于目标对象的人体图像中，并对超声探头的实时角度与目标超声切面对应的探头角度范围及相应角度的统计信息之间的相对关系进行可视化，用于引导超声探头的操作者操作超声探头进行超声扫描获得目标超声切面的图像。

具体地，本发明提供的基于先验知识的超声扫描视觉导航方法的执行主体为具有一定计算能力的处理设备，下文以计算机设备为例，对本发明各实施例提供的基于先验知识的超声扫描视觉导航方法进行描述。

标准超声切面对应的探头位置和角度信息数据库储存有通过超声探头扫描不同超声切面得到标准超声切面时所对应的探头位置范围及相应位置的统计信息和对应的探头角度范围及相应角度的统计信息。例如，标准超声切面对应的探头位置和角度信息数据库存储有心脏各个标准超声切面所对应的探头位置范围及相应位置的统计信息和心脏各个标准超声切面所对应的探头角度范围及相应角度的统计信息、肝脏各个标准超声切面所对应的探头位置范围及相应位置的统计信息和肝脏各个标准超声切面所对应的探头角度范围及相应角度的统计信息等。

其中，统计信息可以包括平均值、范围对应的概率值等经过数理统计模型可以得到的信息，例如：某一标准超声切面对应的探头位置坐标平均值，某一标准超声切面对应的探头位置范围对应的概率值、某一标准超声切面对应的探头角度平均值，某一标准超声切面对应的探头角度范围对应的概率值等。

标准超声切面对应的探头位置和角度信息数据库可以是预先存储在计算机设备里的，也可以是存储在外部设备的，在操作者需要使用超声探头进行超声扫描之前由计算机设备下载或读取。

从而，计算机设备可以基于标准超声切面对应的探头位置和角度信息数据库获取目标超声切面对应的探头位置范围及相应位置的统计信息，和探头角度范围及相应角度的统计信息。

计算机设备外接有视觉传感器，如摄像头等。可以通过视觉传感器来获取安装有标志物的超声探头在目标对象（即被超声扫描的对象）人体上移动的图像、视频等。

可选地，标志物可以包括黑白棋盘格、ArUco、ChArUco中的任一种，也可以包括其他用于相机标定的标志物；超声探头上安装的标志物可以为六面体、二十面体等。

因此，可以根据视觉传感器获取安装有标志物的超声探头在目标对象人体上移动的图像和视频，根据标志物和超声探头的相对位置关系，以及装有标志物的超声探头和目标对象人体的相对位置关系和相对角度关系，来获取超声探头的实时位置和实时角度。

本发明各实施例中，可以以人的身体矢状轴、冠状轴及垂直轴等解剖学位置为参考，作为探头初始坐标系，从而获取超声探头在探头初始坐标系中的实时角度。

本发明各实施例中，可以先用摄像头获取目标对象的人体图像，使用基于学习的人体位姿估计算法（如DensePose）对目标对象的人体图像进行处理来获得符合目标对象体型及体态特征的人体网格坐标系，从而获取超声探头在人体上的实时位置（即人体网格坐标系上的实时位置）。

一种实施方式中，为了增强位置信息的鲁棒性，在图像中可利用如HSV颜色模型中的色调信息或基于学习的方式识别人体解剖学关键部位如乳头和肚脐等的像素位置并建立坐标系而获得超声探头所处位置的坐标，以此信息作为补充，通过加权等方式与人体网格坐标系进行融合增强，可以获得更加稳定的位置信息。

计算机设备在获取目标超声切面对应的探头位置范围和探头角度范围以及超声探头的实时位置和实时角度后，可以将超声探头的实时位置和目标超声切面对应的探头位置范围及相应位置的统计信息以可视化方式呈现于目标对象的人体图像中，并对超声探头的实时角度与目标超声切面对应的探头角度范围及相应角度的统计信息之间的相对关系进行可视化。

可以理解的是，将超声探头的实时位置和目标超声切面对应的探头位置范围及相应位置的统计信息以可视化方式呈现于目标对象的人体图像中后，操作者可以根据可视化界面，将超声探头移动到目标超声切面对应的探头位置范围附近；对超声探头的实时角度与目标超声切面对应的探头角度范围及相应角度的统计信息之间的相对关系进行可视化后，操作者可以根据可视化界面，将超声探头旋转至目标超声切面对应的探头角度范围之间。从而，操作者无需受过训练或经验丰富，就可以准确地操作超声探头对目标对象进行超声扫描获得目标超声切面的有效图像。

需要说明的是，本发明各实施例提供的基于先验知识的超声扫描视觉导航方法的直接目的是直观地引导操作者将超声探头移动至目标位置和旋转至目标角度，而引导操作者将超声探头移动至目标位置和旋转至目标角度与得到诊断结果之间没有必然的关系，事实上，引导操作者将超声探头移动至目标位置和旋转至目标角度之后，至少还需要获取目标超声切面的图像和对目标超声切面的图像进行分析才能得到诊断结果，所以本申请只是一种为了获取目标超声切面的图像而提出的视觉导航方法，并不是为了获取诊断结果的疾病诊断方法。

本发明提供的基于先验知识的超声扫描视觉导航方法，通过根据标准超声切面对应的探头位置和角度信息数据库来获取目标超声切面对应的探头位置范围及相应位置的统计信息，和探头角度范围及相应角度的统计信息，以及根据超声探头上安装的标志物获取超声探头的实时位置和实时角度，最后将超声探头的实时位置和目标超声切面对应的探头位置范围及相应位置的统计信息以可视化的方式呈现于目标对象的人体图像中，以及对超声探头的实时角度与目标超声切面对应的探头角度范围及相应角度的统计信息之间的相对关系进行可视化，可以引导超声探头的操作者操作超声探头进行超声扫描来获取目标超声切面的图像，从而经验不足的医生或普通人也可以通过该可视化的界面来操作超声探头进行超声扫描并获得目标超声切面的有效图像。

可选地，标准超声切面对应的探头位置和角度信息数据库通过以下方式构建：

基于超声探头上安装的标志物，针对多种标准超声切面，分别获取每种标准超声切面对应的多组探头位置数据和探头角度数据；

对多种标准超声切面对应的多组探头位置数据和探头角度数据分别进行拟合，得到多种标准超声切面对应的探头位置范围和相应位置的统计信息，以及多种标准超声切面对应的探头角度范围和相应角度的统计信息；

基于多种标准超声切面对应的探头位置范围和相应位置的统计信息，以及多种标准超声切面对应的探头角度范围和相应角度的统计信息，构建标准超声切面对应的探头位置和角度信息数据库。

具体地，标准超声切面对应的探头位置和角度信息数据库的构建方式可以是：

首先，可以通过安装有标志物的超声探头，针对多种标准超声切面，分别获取每种标准超声切面对应的多组探头位置数据和探头角度数据。

可以通过视觉传感器来获取安装有标志物的超声探头在被超声扫描的对象人体上移动的图像、视频等。

可选地，标志物可以包括黑白棋盘格、ArUco、ChArUco中的任一种，也可以包括其他用于相机标定的标志物；超声探头上安装的标志物可以为六面体、二十面体等。

因此，在操作者使用超声探头得到多种标准超声切面的情况下，可以根据视觉传感器获取安装有标志物的超声探头在被超声扫描的对象人体上移动的图像和视频，根据标志物和超声探头的相对位置关系，以及装有标志物的超声探头和被超声扫描的对象人体的相对位置关系和相对角度关系，来获取多种标准超声切面对应的探头位置数据和探头角度数据。

应当说明的是，此处的操作者可以是经验丰富的医生，从而可以使用超声探头得到多种标准超声切面；此处的被超声扫描的对象可以是多个对象，不同的对象虽然存在身材上的差异，但得到的同一标准超声切面所对应的在人体结构坐标系中的探头位置数据以及在探头初始坐标系中的探头角度数据是相近的。

针对多种标准超声切面，分别获取每种标准超声切面对应的多组探头位置数据和探头角度数据，可以分别对多种标准超声切面对应的多组探头位置数据和探头角度数据进行拟合，得到多种标准超声切面对应的探头位置范围和相应位置的统计信息，以及多种标准超声切面对应的探头角度范围和相应角度的统计信息。

一种实施方式中，可以在对获取的探头位置数据和探头角度数据去除异常噪声数据后，通过正态分布等数理统计模型对去噪后的探头位置数据和探头角度数据进行拟合，从而得到多种标准超声切面对应的探头位置范围和相应位置的统计信息，以及多种标准超声切面对应的探头角度范围和相应角度的统计信息。

例如，针对在人体网格坐标系中的探头位置数据依据如二维正态分布等数理统计模型进行拟合来确定探头位置范围及相应位置对应的统计信息；根据欧拉角（包括三个旋转角的组合方式，这三个旋转角可以是预先设置的，本发明实施例中不做限定，例如依次为绕x轴旋转、绕y轴旋转和绕z轴旋转）等旋转变换方式，对欧拉角这三个旋转角度依据如正态分布等数理统计模型进行拟合来确定探头角度范围及相应角度对应的统计信息。

通过拟合得到相应的位置及角度的概率值等统计信息的大小决定了在该位置获得标准超声切面的可能性大小，例如概率值越大则可能性越大。

得到多种标准超声切面对应的探头位置范围和相应位置的概率值等统计信息，以及多种标准超声切面对应的探头角度范围和相应角度的概率值等统计信息后，就可以构建标准超声切面对应的探头位置和角度信息数据库，从而在需要对某一目标超声切面进行超声扫描时，可以根据该数据库获取该目标超声切面对应的探头位置范围及相应位置的统计信息和探头角度范围及相应角度的统计信息。

可选地，将超声探头的实时位置和目标超声切面对应的探头位置范围及相应位置的统计信息以可视化方式呈现于目标对象的人体图像中，包括：

将超声探头的实时位置以第一显示标记的形式呈现于人体图像中；以及，将目标超声切面对应的探头位置范围及相应位置的统计信息以热力图的形式呈现于人体图像中。

具体地，将超声探头的实时位置以可视化方式呈现于目标对象的人体图像中，可以是将超声探头的实时位置以第一显示标记的形式呈现。

其中，第一显示标记可以是像素点或符号标记等任意可以在人体图像（即二维平面中）指示某一点位置的显示标记。例如，将超声探头的实时位置以绿色像素点的形式呈现于人体图像中。

将目标超声切面对应的探头位置范围及相应位置的统计信息以可视化方式呈现于目标对象的人体图像中，可以是将目标超声切面对应的探头位置范围以热力图的形式呈现。

例如，将目标超声切面对应的探头位置范围及相应位置的统计信息以热力图的形式呈现于人体图像中，颜色越接近红色说明采集到标准超声切面的概率越大，颜色接近蓝色说明采集到标准超声切面的概率越小。

通过将超声探头的实时位置以第一显示标记的形式呈现于人体图像中，以及将目标超声切面对应的探头位置范围及相应位置的统计信息以热力图的形式呈现于人体图像中，操作者可以通过观察人体图像中第一显示标记与热力图之间的距离或位置相对关系等，来操作超声探头，将超声探头移动到热力图中表示采集到标准超声切面的概率大的位置，从而得到目标超声切面的图像。

可选地，超声探头的实时角度包括超声探头的实时自转角度和超声探头的实时指向角度。

具体地，超声探头的实时角度可以包括超声探头的实时自转角度和超声探头的实时指向角度；相应地，目标超声切面对应的探头角度范围也可以包括目标超声切面对应的探头自转角度范围及相应自转角度的统计信息和目标超声切面对应的探头指向角度范围及相应指向角度的统计信息。

其中，自转角度（包括超声探头的实时自转角度和目标超声切面对应的探头自转角度）指的是超声探头沿自身长轴方向相对于超声探头起始位置自转的角度；指向角度（包括超声探头的实时指向角度和目标超声切面对应的探头指向角度）指的是将超声探头视作杆模型（杆的一端对应超声探头发射超声波的那一端，固定在人体表面，可以通过倾斜杆使得杆的另一端点在空间中任意运动）相对于超声探头起始位置转动的角度。

将超声探头的实时角度细化为超声探头的实时自转角度和超声探头的实时指向角度，将目标超声切面对应的探头角度范围细化为目标超声切面对应的探头自转角度范围和目标超声切面对应的探头指向角度范围，便于操作者更容易、直接地操作超声探头。

可选地，对超声探头的实时角度与目标超声切面对应的探头角度范围及相应角度的统计信息之间的相对关系进行可视化，包括：

将超声探头的实时自转角度和目标超声切面对应的探头自转角度范围及相应自转角度的统计信息在同一坐标系中显示，其中，目标超声切面对应的探头自转角度范围以扇形范围表示，相应自转角度的统计信息通过热力图的形式表示，超声探头的实时自转角度以第二显示标记表示；以及，

将超声探头的实时指向角度和目标超声切面对应的探头指向角度范围及相应指向角度的统计信息在同一坐标系中显示，其中，目标超声切面对应的探头指向角度范围以锥体范围表示，相应指向角度的统计信息通过热力图的形式表示，超声探头的实时指向角度以第三显示标记表示。

具体地，对超声探头的实时自转角度与目标超声切面对应的探头自转角度范围及相应自转角度的统计信息之间的相对关系进行可视化可以是将超声探头的实时自转角度和目标超声切面对应的探头自转角度范围及相应自转角度的统计信息在同一坐标系中显示，其中，目标超声切面对应的探头自转角度范围可以以扇形范围表示，相应自转角度的统计信息可以通过热力图等可视化方式表示，超声探头的实时自转角度可以以第二显示标记表示。

其中，超声探头的实时自转角度和目标超声切面对应的探头自转角度范围及相应自转角度的统计信息所在的同一坐标系可以是二维坐标系，第二显示标记可以是直线或者箭头或任意可以在二维坐标系中指示角度的显示标记。

例如，将超声探头的实时自转角度和目标超声切面对应的探头自转角度范围及相应自转角度的统计信息所在的同一坐标系以圆平面的形式表示，以箭头表示该超声探头的实时自转角度，以扇形范围表示目标超声切面对应的探头自转角度范围。

相应自转角度的统计信息可以通过热力图等可视化方式表示。例如扇形外侧的范围用蓝色，表示自转角度在这个范围内采集到标准超声切面的概率较低；扇形中间的范围用白色，表示自转角度在这个范围内采集到标准超声切面的概率中等；扇形内侧的范围用红色，表示自转角度在这个范围内采集到标准超声切面的概率较高。

对超声探头的实时指向角度与目标超声切面对应的探头指向角度范围之间的相对关系进行可视化可以是将超声探头的实时指向角度和目标超声切面对应的探头指向角度范围及相应指向角度的统计信息在同一坐标系中显示，其中，目标超声切面对应的探头指向角度范围可以以锥体范围表示，相应指向角度的统计信息可以以热力图等可视化方式表示，超声探头的实时指向角度可以以第三显示标记表示。

其中，超声探头的实时指向角度和目标超声切面对应的探头指向角度范围及相应指向角度的统计信息所在的同一坐标系可以是三维坐标系，第三显示标记可以是直线或者箭头或任意可以在三维坐标系中指示角度的显示标记。

例如，将超声探头的实时指向角度和目标超声切面对应的探头指向角度范围所在的同一坐标系以半球体的形式表示，以箭头表示该超声探头的实时指向角度，以锥体范围表示目标超声切面对应的探头指向角度范围。

相应指向角度的统计信息可以以热力图等可视化方式表示。例如锥体外侧的范围用蓝色，表示指向角度在这个范围内采集到标准超声切面的概率较低；锥体中间的范围用白色，表示指向角度在这个范围内采集到标准超声切面的概率中等；锥体内侧的范围用红色，表示指向角度在这个范围内采集到标准超声切面的概率较高。

在根据欧拉角的旋转变换确定目标超声切面对应的探头指向角度范围的情况下，该锥体范围可以指示将超声探头绕该三维坐标系的哪两个轴进行转动（例如先绕x轴旋转，再绕y轴旋转）。

一种实施方式中，超声探头的实时自转角度和目标超声切面对应的探头自转角度范围所在的同一坐标系以及超声探头的实时指向角度和目标超声切面对应的探头指向角度范围所在的同一坐标系可以显示相对于人体的关系，例如，分别显示人体的头部、人体的脚部、人体的右手部、人体的左手部，这样可以更加直观地引导操作者操作超声探头。

通过将超声探头的实时自转角度和目标超声切面对应的探头自转角度范围及相应自转角度的统计信息在同一坐标系中显示，其中，目标超声切面对应的探头自转角度范围以扇形范围表示，相应自转角度的统计信息以热力图等可视化方式表示，超声探头的实时自转角度以第二显示标记表示；以及，将超声探头的实时指向角度和目标超声切面对应的探头指向角度范围及相应指向角度的统计信息在同一坐标系中显示，其中，目标超声切面对应的探头指向角度范围以锥体范围表示，相应指向角度的统计信息以热力图等可视化方式表示，超声探头的实时指向角度以第三显示标记表示，操作者可以通过观察可视化的坐标系中第二显示标记与扇形范围的相对位置关系和第三显示标记与锥体范围的相对位置关系以及对应热力图的概率大小等，来操作超声探头，将超声探头的自转角度和指向角度分别转动到扇形范围和锥体范围内概率较大的位置，从而得到目标超声切面的图像。

以下通过一个具体应用场景中的具体实施例对本发明提供的基于先验知识的超声扫描视觉导航方法进行进一步说明。

图2为本发明提供的具体应用场景中超声扫描视觉导航方法的流程图，如图2所示，该方法包括以下步骤：

第一步：通过视觉传感器实时获取探头的位置角度信息并针对同一标准超声切面通过医生对多名测试者进行超声检查获得对应的探头相对于人体的位置和角度信息。

这一部分主要包括对医生操作手法的采集，超声探头相对于人体的位置和角度信息的收集，针对某一标准超声切面，对多名测试者进行超声检查，由此获得多组位置和角度信息。

采用的技术路线为：针对某一标准超声切面，首先在超声探头上安装标志物，并使用摄像头检测获得探头的位置和角度信息。需要注意的是这里的标志物包括黑白棋盘格、ArUco、ChArUco等，同时为保证探头在任意倾斜的角度下都可被检测到，安装的形式包括六面体及二十面体等立方体形式。

其次是利用摄像头获取测试者图像，使用基于学习的人体位姿估计算法（如DensePose）对图像进行处理来获得符合测试者体型及体态特征的网格坐标数据，由此通过检测探头末端的像素位置获得目标切面对应的人体网格点的坐标（UV坐标，U坐标类似于纬度，V坐标类似于经度），即探头相对于人体的位置信息。

为增强位置信息的鲁棒性，在图像中可利用如HSV颜色模型中的色调信息或基于学习的方式识别人体解剖学关键部位如乳头和肚脐等的像素位置并建立坐标系获得超声探头末端所处像素位置的坐标，以此信息作为补充，通过加权等方式与人体网格坐标进行融合增强即可获得更加稳定的位置信息。

而探头相对于人体的角度信息是相对于探头初始坐标系采集的，探头初始坐标系定义则是以人的身体矢状轴、冠状轴及垂直轴等解剖学位置为参考。

第二步：针对获得的探头位置和角度信息进行统计分析获得针对目标切面的探头的位置和角度范围及相应的统计信息作为先验知识。

这一部分是对医生操作手法的统计分析。采集得到的同一超声切面对应的多组位置和角度信息在去除异常噪声数据后通过正态分布等数理统计模型进行拟合获得目标超声切面对应的探头位置和角度的范围及相应统计信息。

根据欧拉角等旋转变换方式，共包括三个旋转角度，对这三个角度依据如正态分布等数理统计模型进行拟合来确定目标角度范围及对应的概率等统计信息。

针对位置信息对应的UV坐标依据如二维正态分布等数理统计模型进行拟合来确定目标位置范围及对应的概率等统计信息。

通过拟合得到对应位置及角度的概率值等统计信息的大小决定了在该位置获得目标切面的可能性大小，概率值越大则可能性越大。

针对一个新的测试者，对拍摄的图片运行人体位姿估计的算法后将拟合得到的对应位置的概率值以热力图等标识性的可视化方式的形式叠加到原图片即可得到目标切面相对于人体的位置范围，颜色越接近红色说明采集到目标超声切面的概率越大。

第三步：基于先验知识设计增强现实超声导航系统，引导超声探头到达目标位置和角度范围内依据热力图等提示进行超声扫描寻找目标切面。

这一部分是设计增强现实超声导航系统，使得没有超声经验的人可以根据导航进行超声扫描进而获取目标超声切面。该系统的设计主要基于上一步骤得到的目标超声切面对应的探头位置和角度的范围及相应的统计信息作为先验知识，通过该系统快速引导人手持探头到达目标位置角度范围内寻找目标超声切面，在小范围的位置和角度尝试下经过与标准切面的比对即可获得目标超声切面。

采用的技术路线为：探头的实时位置和角度通过摄像头检测标志物的方式获得，首先探头的位置导航是在图像的像素空间中实现，绿点表示当前探头末端的位置，热力图等可视化显示的范围即为目标位置范围，操作者需要移动探头使得绿点到达该范围中概率较大的区域。

探头的角度导航则是根据欧拉角或H-angles等旋转变换进行。操作者需要进行两步操作，第一步是沿探头长轴方向的自转，第二步是将探头看作杆模型，杆的一端（对应探头发射超声波的那一端）固定在身体表面，可以通过倾斜杆使得杆的另一端点在空间中任意运动。因为实际操作时探头倾斜的角度不会超过90度，所以杆的另一端点在空间中可以运动的范围为一个以杆长为半径的扣在人身体表面的半球体面。根据不同的旋转变换方式，这两个步骤的先后顺序会发生变化。实际设计导航系统时，依据统计得到的先验知识，我们使用扇形范围表示探头的自转目标范围，相应的概率等统计信息以热力图等可视化方式表示，使用绿色箭头指示实时的探头自转角度。同时使用锥体范围表示探头作为杆模型在空间中指向的目标范围，相应的概率等统计信息以热力图等可视化方式表示，使用另一个绿色箭头指示实时的探头在空间中的指向。实际操作时通过旋转和倾斜探头使得两个绿色箭头均到达目标范围中概率值较大处，并根据实时超声图像和目标标准超声图像进行比对，使得探头在目标范围内进行一定小范围的尝试，从而获得目标超声切面。

图3为本发明提供的超声导航系统的示意图，如图3所示，图3中左侧为探头的实时位置导航示意图，该矩形表示表示人体图像的像素空间，图中填充图形表示热力图，其中，竖线部分图形表示概率较低的位置，横线部分图形表示概率中等的位置，方格部分图形表示概率较高的位置，另外热力图左侧的点表示探头的实时位置；图3中右侧为探头的角度导航示意图，右侧部分上侧为探头自转角度导航示意图，扇形范围（横线部分图形）表示探头的自转目标范围，图中填充图形表示热力图，其中，竖线部分图形表示概率较低的位置，横线部分图形表示概率中等的位置，方格部分图形表示概率较高的位置，箭头表示实时的探头自转角度；右侧部分下侧为探头指向角度导航示意图，锥体范围表示探头作为杆模型在空间中指向的目标范围，使用另一个箭头指示实时的探头在空间中的指向，图3中仅示意了锥体范围表示探头作为杆模型在空间中指向角度的目标范围，但本领域技术人员可以理解的是，可以用热力图来表示锥体中概率较高和概率较低的指向角度范围。

需要注意的是导航系统中还会显示出探头的位置和角度相对于人体的关系，据此可以更加直观地引导操作者将探头放置于目标位置和角度。

下面对本发明提供的基于先验知识的超声扫描视觉导航装置进行描述，下文描述的基于先验知识的超声扫描视觉导航装置与上文描述的基于先验知识的超声扫描视觉导航方法可相互对应参照。

图4为本发明提供的基于先验知识的超声扫描视觉导航装置的结构示意图，如图4所示，该装置包括：

第一获取模块400，用于基于标准超声切面对应的探头位置和角度信息数据库，获取目标超声切面对应的探头位置范围及相应位置的统计信息，和目标超声切面对应的探头角度范围及相应角度的统计信息；

第二获取模块410，用于基于超声探头上安装的标志物，获取超声探头的实时位置和实时角度；

可视化模块420，用于将超声探头的实时位置和目标超声切面对应的探头位置范围及相应位置的统计信息以可视化方式呈现于目标对象的人体图像中，并对超声探头的实时角度与目标超声切面对应的探头角度范围及相应角度的统计信息之间的相对关系进行可视化，用于引导超声探头的操作者操作超声探头进行超声扫描获得目标超声切面的图像。

可选地，标准超声切面对应的探头位置和角度信息数据库通过以下方式构建：

基于超声探头上安装的标志物，针对多种标准超声切面，分别获取每种标准超声切面对应的多组探头位置数据和探头角度数据；

对多种标准超声切面对应的多组探头位置数据和探头角度数据分别进行拟合，得到多种标准超声切面对应的探头位置范围和相应位置的统计信息，以及多种标准超声切面对应的探头角度范围和相应角度的统计信息；

基于多种标准超声切面对应的探头位置范围和相应位置的统计信息，以及多种标准超声切面对应的探头角度范围和相应角度的统计信息，构建标准超声切面对应的探头位置和角度信息数据库。

可选地，将超声探头的实时位置和目标超声切面对应的探头位置范围及相应位置的统计信息以可视化方式呈现于目标对象的人体图像中，包括：

将超声探头的实时位置以第一显示标记的形式呈现于人体图像中；以及，将目标超声切面对应的探头位置范围及相应位置的统计信息以热力图的形式呈现于人体图像中。

可选地，超声探头的实时角度包括超声探头的实时自转角度和超声探头的实时指向角度。

可选地，对超声探头的实时角度与目标超声切面对应的探头角度范围及相应角度的统计信息之间的相对关系进行可视化，包括：

将超声探头的实时自转角度和目标超声切面对应的探头自转角度范围及相应自转角度的统计信息在同一坐标系中显示，其中，目标超声切面对应的探头自转角度范围以扇形范围表示，相应自转角度的统计信息以热力图的形式表示，超声探头的实时自转角度以第二显示标记表示；以及，

将超声探头的实时指向角度和目标超声切面对应的探头指向角度范围及相应指向角度的统计信息在同一坐标系中显示，其中，目标超声切面对应的探头指向角度范围以锥体范围表示，相应指向角度的统计信息以热力图的形式表示，超声探头的实时指向角度以第三显示标记表示。

可选地，标志物包括黑白棋盘格、ArUco、ChArUco中的任一种。

在此需要说明的是，本发明提供的上述装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

图5为本发明提供的电子设备的结构示意图，如图5所示，该电子设备可以包括：处理器（processor）510、通信接口（Communications Interface）520、存储器（memory）530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行上述各实施例提供的任一所述基于先验知识的超声扫描视觉导航方法。

此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

在此需要说明的是，本发明提供的电子设备，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的任一所述基于先验知识的超声扫描视觉导航方法。

在此需要说明的是，本发明提供的非暂态计算机可读存储介质，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种基于先验知识的超声扫描视觉导航方法，其特征在于，包括：

基于标准超声切面对应的探头位置和角度信息数据库，获取目标超声切面对应的探头位置范围及相应位置的统计信息，和目标超声切面对应的探头角度范围及相应角度的统计信息；

基于超声探头上安装的标志物，获取所述超声探头的实时位置和实时角度；

将所述超声探头的实时位置和所述目标超声切面对应的探头位置范围及相应位置的统计信息以可视化方式呈现于目标对象的人体图像中，并对所述超声探头的实时角度与所述目标超声切面对应的探头角度范围及相应角度的统计信息之间的相对关系进行可视化，用于引导所述超声探头的操作者操作所述超声探头进行超声扫描获得所述目标超声切面的图像；

所述标准超声切面对应的探头位置和角度信息数据库通过以下方式构建：

基于所述超声探头上安装的标志物，针对多种标准超声切面，分别获取每种标准超声切面对应的多组探头位置数据和探头角度数据；

对所述多种标准超声切面对应的多组探头位置数据和探头角度数据分别进行拟合，得到所述多种标准超声切面对应的探头位置范围和相应位置的统计信息，以及所述多种标准超声切面对应的探头角度范围和相应角度的统计信息；

基于所述多种标准超声切面对应的探头位置范围和相应位置的统计信息，以及所述多种标准超声切面对应的探头角度范围和相应角度的统计信息，构建标准超声切面对应的探头位置和角度信息数据库。

2.根据权利要求1所述的基于先验知识的超声扫描视觉导航方法，其特征在于，所述将所述超声探头的实时位置和所述目标超声切面对应的探头位置范围及相应位置的统计信息以可视化方式呈现于目标对象的人体图像中，包括：

将所述超声探头的实时位置以第一显示标记的形式呈现于所述人体图像中；以及，将所述目标超声切面对应的探头位置范围及相应位置的统计信息以热力图的形式呈现于所述人体图像中。

3.根据权利要求1所述的基于先验知识的超声扫描视觉导航方法，其特征在于，所述超声探头的实时角度包括所述超声探头的实时自转角度和所述超声探头的实时指向角度。

4.根据权利要求3所述的基于先验知识的超声扫描视觉导航方法，其特征在于，所述对所述超声探头的实时角度与所述目标超声切面对应的探头角度范围及相应角度的统计信息之间的相对关系进行可视化，包括：

将所述超声探头的实时自转角度和所述目标超声切面对应的探头自转角度范围及相应自转角度的统计信息在同一坐标系中显示，其中，所述目标超声切面对应的探头自转角度范围以扇形范围表示，所述相应自转角度的统计信息通过热力图的形式表示，所述超声探头的实时自转角度以第二显示标记表示；以及，

将所述超声探头的实时指向角度和所述目标超声切面对应的探头指向角度范围及相应指向角度的统计信息在同一坐标系中显示，其中，所述目标超声切面对应的探头指向角度范围以锥体范围表示，所述相应指向角度的统计信息通过热力图的形式表示，所述超声探头的实时指向角度以第三显示标记表示。

5.根据权利要求1所述的基于先验知识的超声扫描视觉导航方法，其特征在于，所述标志物包括黑白棋盘格、ArUco、ChArUco中的任一种。

6.一种基于先验知识的超声扫描视觉导航装置，其特征在于，包括：

第一获取模块，用于基于标准超声切面对应的探头位置和角度信息数据库，获取目标超声切面对应的探头位置范围及相应位置的统计信息，和目标超声切面对应的探头角度范围及相应角度的统计信息；

第二获取模块，用于基于超声探头上安装的标志物，获取所述超声探头的实时位置和实时角度；

可视化模块，用于将所述超声探头的实时位置和所述目标超声切面对应的探头位置范围及相应位置的统计信息以可视化方式呈现于目标对象的人体图像中，并对所述超声探头的实时角度与所述目标超声切面对应的探头角度范围及相应角度的统计信息之间的相对关系进行可视化，用于引导所述超声探头的操作者操作所述超声探头进行超声扫描获得所述目标超声切面的图像；

所述标准超声切面对应的探头位置和角度信息数据库通过以下方式构建：

基于所述超声探头上安装的标志物，针对多种标准超声切面，分别获取每种标准超声切面对应的多组探头位置数据和探头角度数据；

对所述多种标准超声切面对应的多组探头位置数据和探头角度数据分别进行拟合，得到所述多种标准超声切面对应的探头位置范围和相应位置的统计信息，以及所述多种标准超声切面对应的探头角度范围和相应角度的统计信息；

基于所述多种标准超声切面对应的探头位置范围和相应位置的统计信息，以及所述多种标准超声切面对应的探头角度范围和相应角度的统计信息，构建标准超声切面对应的探头位置和角度信息数据库。

7.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至5任一项所述基于先验知识的超声扫描视觉导航方法。

8.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述基于先验知识的超声扫描视觉导航方法。

Images