CN108403146B - 基于多传感器信息融合的三维超声成像方法及装置 - Google Patents

Abstract

本发明提供了基于多传感器信息融合的三维超声成像方法及装置，涉及超声成像技术领域，该基于多传感器信息融合的三维超声成像方法包括：首先，利用传感器组获取超声探头的第一位姿信息，第一位姿信息是传感器组根据采集到的线性、旋转加速度信息获得，传感器组设在超声探头上，传感器组至少包括加速度传感器和陀螺仪两种；其次，利用摄像头获取超声探头的第二位姿信息，第二位姿信息是摄像头根据采集到的全景场景获得的，其中，摄像头设置在超声探头上，之后采用最优估值滤波的方法得到每一帧超声图像的位姿信息，根据插值方法重建每一帧超声图像的三维图像，从而实现了传感器组和摄像头在超声探头上的结合使用，提高了三维超声成像技术的质量。

Description

基于多传感器信息融合的三维超声成像方法及装置

技术领域

本发明涉及超声成像技术领域，尤其涉及基于多传感器信息融合的三维超声成像方法及装置。

背景技术

近年来，三维超声成像技术的应用越来越广泛。原因在于，与传统的二维图像相比，三维超声成像省去了医生必须根据经验对多幅二维图像进行合成，以理解其三维解剖结构的过程，并且，三维超声成像效果直观形象，临床价值比较大，因此，受到广大研究人员和医疗工作者的关注。

目前，常见的三维超声成像技术主要分为两大类别：第一种是利用三维电子相控阵等方法，无需移动探头即可获得三维数据，并能即刻或实时显像的成像；第二种是利用空间位置感测器的探头在三维空间内的运动轨迹，从而确定所获得的每帧二维图像的空间坐标及图像方位，对所扫查结构进行三维重建。其中，第二种进行三维重建的方法中具体包括四种情况来对其扫查的每帧二维图像进行定位：一、电磁传感器。设置一个外置磁场，将探头置于此磁场内，通过探头上的微小线圈测量磁场强度及方向，确定探头六个自由度的位置和方向。但该类探头可能单次扫查范围有限，不适合做一次性大范围复合形式的扫查采样，如对较大脏器(如肝脏)或病变的一次性整体扫描成像则受到限制。二、外置定位(视觉)装置。外置一个T型双摄像头臂，并在超声探头上加载专用的视觉标记物，如银色反光小球，或黑白相间的圆形样板。通过摄像头监视标记物的位置获得六个自由度的估计。但需要“盯着”探头上的标志物。但是探头随医生自由操作，常容易造成遮挡，造成无法追踪。三、机械移动探头。但通过机械装置带动探头以扇形或者转动的方式扫过空间区域。因为由机械控制，所以可以得到每一帧的位置和方向。扫查范围非常有限，仅仅可以涵盖机械扫查装置可以涉及的范围。对于特殊场景例如血管内超声，这类设备可以很好的沿着固定轴旋转扫查血管一周，但对于其他自由扫查的情况，这种设备方案无法满足自由扫查的需求。四、手持式三维超声系统。在该系统中无专门定位装置，仅依靠操作者的手法保持扫查平稳匀速，并假设每帧图像是等距平移的关系。仅依靠操作者的手法保持扫查平稳匀速，并假设每帧图像是等距平移的关系。不仅对扫查者的手法稳定性要求很高，更要求扫查对象必须是平坦的表面。而人体表面多属于曲面，无法满足该条件。

综上，目前关于三维超声成像技术中系统的使用性能较差的问题，尚无有效的解决办法。

发明内容

有鉴于此，本发明实施例的目的在于提供了基于多传感器信息融合的三维超声成像方法及装置，通过在超声探头上设置传感器组和摄像头，提升了三维超声成像技术的稳定性和质量。

第一方面，本发明实施例提供了基于多传感器信息融合的三维超声成像方法，包括：利用传感器组获取超声探头的第一位姿信息，第一位姿信息是传感器组根据采集到的信息获得，其中，传感器组设置在超声探头上，传感器组至少包括惯性制导传感器；

利用摄像头获取超声探头的第二位姿信息，且，第二位姿信息是摄像头根据采集到的全景场景获得的，其中，摄像头设置在超声探头上；

采用最优估值滤波的方法得到每一帧超声图像的位姿信息；

根据插值方法重建每一帧超声图像的三维图像。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，采用最优估值滤波的方法得到每一帧超声图像的位姿信息之后，还包括：

计算当前时刻的三维图像与前一个时刻的三维图像的相似度；

当相似度大于预先设置的相似阈值时，生成校正信息；

判断第一位姿信息和第二位姿信息的相似度是否小于校正信息对应的位姿估计值；

判断结果为否时，根据插值方法重建每一帧超声图像的三维图像；

判断结果为是时，对第一位姿信息和第二位姿信息均进行位姿校正。

结合第一方面的第一种可能的实施方式，本发明实施例提供了第一方面的第二种可能的实施方式，其中，利用摄像头获取超声探头的第二位姿信息，且，第二位姿信息是摄像头根据采集到的全景场景获得的，其中，摄像头设置在超声探头上，包括：

由设置在超声探头上的第一摄像头采集第一信息，且，运用位姿估计算法推算出第一信息对应的第一摄像头的位置信息，根据位置信息获取超声探头的第一组位置信息和第一组角度信息，其中，第一组位置信息包括三个自由度的位置信息，第一组角度信息包括三个自由度的角度信息；

由设置在超声探头背侧的第二摄像头采集第二信息，且，运用位姿估计算法推算出第二信息对应的第二摄像头的位置信息，根据位置信息获取超声探头的第二组位置信息和第二组角度信息，其中，第二组位置信息包括三个自由度的位置信息，第二组角度信息包括三个自由度的角度信息；

由设置在超声探头手柄上的第三摄像头采集第三信息，且，运用位姿估计算法推算出第三信息对应的第三摄像头的位置信息，根据位置信息获取超声探头的第三组位置信息和第三组角度信息，其中，第三组位置信息包括三个自由度的位置信息，第三组角度信息包括三个自由度的角度信息；

由设置在超声探头手柄背侧的第四摄像头采集第四信息，且，运用位姿估计算法推算出第四信息对应的第四摄像头的位置信息，根据位置信息获取超声探头的第四组位置信息和第四组角度信息，其中，第四组位置信息包括三个自由度的位置信息，第四组角度信息包括三个自由度的角度信息；

将第一组位置信息、第一组角度信息、第二组位置信息、第二组角度信息、第三组位置信息、第三组角度信息、第四组位置信息和第四组角度信息拼接成第二位姿信息。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，根据插值方法重建每一帧超声图像的三维图像之后，还包括：

将三维图像反馈到超声探头的定位器中；

对下一帧超声图像的第一位姿信息和三维图像进行优化。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，惯性制导传感器包括第一惯性制导芯片和第二惯性制导芯片，且，第一惯性制导芯片设置在超声探头上，第二惯性制导芯片设置在超声探头手柄的背侧。

第二方面，本发明实施例提供了基于多传感器信息融合的三维超声成像装置，包括：

传感获取模块，用于利用传感器组获取超声探头的第一位姿信息，第一位姿信息是传感器组根据采集到的线性和角度加速度信息获得，其中，传感器组设置在超声探头上，传感器组至少包括惯性制导传感器；

摄像获取模块，用于利用摄像头获取超声探头的第二位姿信息，且，第二位姿信息是摄像头根据采集到的全景场景获得的，其中，摄像头设置在超声探头上；

滤波模块，用于采用最优估值滤波的方法得到每一帧超声图像的位姿信息；

重建模块，用于根据插值方法重建每一帧超声图像的三维图像。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，还包括：

相似度计算模块，用于计算当前时刻的三维图像与前一个时刻的三维图像的相似度；

相似度比较模块，用于当相似度大于预先设置的相似阈值时，生成校正信息；

相似度判断模块，用于判断第一位姿信息和第二位姿信息的相似度是否小于校正信息对应的位姿估计值；

否定执行模块，用于判断结果为否时，根据插值方法重建每一帧超声图像的三维图像；

肯定执行模块，用于判断结果为是时，对第一位姿信息和第二位姿信息均进行位姿校正。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，还包括：

反馈模块，用于将三维图像反馈到超声探头的定位器中；

优化模块，用于对下一帧超声图像的第一位姿信息和三维图像进行优化。

第三方面，本发明实施例还提供一种终端，包括存储器以及处理器，存储器用于存储支持处理器执行上述方面提供的基于多传感器信息融合的三维超声成像方法的程序，处理器被配置为用于执行存储器中存储的程序。

第四方面，本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述任一项的方法的步骤。

本发明实施例提供的基于多传感器信息融合的三维超声成像方法及装置，其中，该基于多传感器信息融合的三维超声成像方法包括：首先，利用传感器组获取超声探头的第一位姿信息，在这里需要进行说明的是，传感器组设置在超声探头上，在实施过程中，传感器组至少包括惯性制导传感器，以通过不同的角度来综合考量超声探头所处的环境，进而获取第一位姿信息，其次，利用摄像头获取超声探头的第二位姿信息，并且，第二位姿信息是摄像头根据采集到的全景场景获得的，在实施过程中，摄像头设置在超声探头上，之后，采用最优估值滤波的方法得到每一帧超声图像的位姿信息，即通过对第一位姿信息和第二位姿信息进行最优估值滤波的方法来获取超声图像的位姿信息，最后，根据插值方法重建每一帧超声图像的三维图像，通过上述处理方法，有效的解决了在超声成像过程中会出现的遮挡问题、范围有限问题和图像不稳定问题，从而在很大程度上提升了三维超声成像技术的使用性能。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例所提供的基于多传感器信息融合的三维超声成像方法的第一流程图；

图2示出了本发明实施例所提供的基于多传感器信息融合的三维超声成像装置的第二流程图；

图3示出了本发明实施例所提供的基于多传感器信息融合的三维超声成像装置中的结构示意图；

图4示出了本发明实施例所提供的基于多传感器信息融合的三维超声成像装置的结构连接图。

图标：101-超声探头；102-超声探头手柄；103-超声探头线缆；104-超声探头探查表面；201-第一摄像头；202-第二摄像头；203-第四摄像头；204-第三摄像头；301-第一惯性制导芯片；302-第二惯性制导芯片；401-传感获取模块；402-摄像获取模块；403-滤波模块；404-重建模块。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前在超声成像技术中主要包括以下四种三维重建的方法：一是通过电磁传感器来确定探头六个自由度的位置和方向。但该类探头可能单次扫查范围有限，不适合做一次性大范围复合形式的扫查采样。二是外置定位装置来监视标记物的位置获得六个自由度的估计。但需要“盯着”探头上的标志物。但是探头随医生自由操作，常容易造成遮挡，造成无法追踪。三是通过机械移动探头来得到每一帧的位置和方向。但是，对于特殊场景例如血管内超声，仍无法满足自由扫查的需求。四是通过手持式系统，即仅依靠操作者的手法保持扫查平稳匀速，在这种情况下，不仅对扫查者的手法稳定性要求很高，更要求扫查对象必须是平坦的表面。而人体表面多属于曲面，无法满足该条件，综上，现有的使用情况会导致三维超声成像的技术使用性能较差。

基于此，本发明实施例提供了基于多传感器信息融合的三维超声成像方法及装置，下面通过实施例进行描述。

实施例1

参见图1、图2和图3，本实施例提出的基于多传感器信息融合的三维超声成像方法具体包括以下步骤：

步骤S101：利用传感器组获取超声探头的第一位姿信息，在本实施例中，传感器组设置在超声探头上，传感器组至少包括惯性制导传感器，即在超声探头上同时设置不同种类的传感器，以从不同的角度对超声探头的位置和姿态进行考量。上述传感器组的应用极大的降低了系统对使用环境的要求，并且，无需安装外在定位模块对探头姿态进行定位，能显著地提高系统的便携性。

在此需要进行说明的是，惯性制导传感器包括第一惯性制导芯片和第二惯性制导芯片，并且，第一惯性制导芯片设置在超声探头上，第二惯性制导芯片设置在超声探头手柄的背侧。具体的，第一惯性制导芯片301和第二惯性制导芯片302能够实时提供超声探头的位置信息和姿态信息。但是，因为惯导的原理限制，它提供的位置信息会出现漂移：即随着监视时间越来越长，位置信号的误差会越来越大。但是另一方面，惯导芯片提供的3个角度信息准确度很高。

步骤S102：利用摄像头获取超声探头的第二位姿信息，并且，第二位姿信息是摄像头根据采集到的全景场景获得的，在本实施例中，摄像头设置在超声探头上。在使用过程中，摄像头通常选取高清摄像头，通过该摄像头对超声探头所在的全景场景进行采集，来获取超声探头的第二位姿信息，

另外，需要进行说明的是，超声探头的定位和三维重建的主动式信息融合，进一步提高了系统的精度和鲁棒性。与现有的被动式三维重建模式相比，在本方法中，探头定位和三维重建模块是两个完全独立的模块。本方法中，三维重建的结果可以反馈到探头定位器中，对传感器组的信息和三维重建的结果进行系统优化，进而提高系统的鲁棒性和精度。

步骤S103：采用最优估值滤波的方法得到每一帧超声图像的位姿信息。

步骤S104：根据插值方法重建每一帧超声图像的三维图像。即在本方法中可以通过快速高效的插值算法将不同帧的超声图像拼接插值成一个三维体数据。

下面对上述步骤进行详细描述和补充，采用最优估值滤波的方法得到每一帧超声图像的位姿信息之后，还包括：

(1)计算当前时刻的三维图像与前一个时刻的三维图像的相似度。由于，在实际使用超声探头的扫查过程中，常会回到之前探查过的位置反复观察。此时的二维超声图像和片刻前在同一位置的超声图像有非常大的相似性。本方法中进一步采用这种图像之间的相似性，来反馈给定位系统，即：当图像出现与片刻前某图像具有很大相似性的时候，两个时刻探头所对应的位姿应当非常相似。

(2)当相似度大于预先设置的相似阈值时，生成校正信息。相应的，当相似度大于预先设置的相似阈值时即判定为两帧图像非常相似，并生成校正信息。

(3)判断第一位姿信息和第二位姿信息的相似度是否小于校正信息对应的位姿估计值。即应用上述校正信息来校正第一位姿估计，从而更进一步的得到位姿的准确估计。

(4)判断结果为否时，根据插值方法重建每一帧超声图像的三维图像。即第一位姿信息和第二位姿信息的相似度大于或者等于校正信息对应的位姿估计值时，根据插值方法重建每一帧超声图像的三维图像。

(5)判断结果为是时，对第一位姿信息和第二位姿信息均进行位姿校正。即第一位姿信息和第二位姿信息的相似度小于校正信息对应的位姿估计值时，对第一位姿信息和第二位姿信息均进行位姿校正，以使获取到的结果更加精确。

这里需要进行说明的是，利用摄像头获取超声探头的第二位姿信息，且，第二位姿信息是摄像头根据采集到的全景场景获得的，其中，摄像头设置在超声探头上，包括：

首先需要进行说明的是，从理论上讲仅需要一个摄像头就可以获取超声探头的6个自由度位姿信息。但是在本方法中，设定了4个摄像头，原因在于：一、检查时一个或多个摄像头可能被遮挡，即使如此，通过其他摄像头提供的场景数据同样可以提供视觉信息。另外，根据医生扫查时手持探头的方式可以推断，4个摄像头同时被遮挡的可能性非常小。所以我们总可以得到稳定的视频信号。二、多个视频信号之间得到的信息可以融合和交叉验证，更提高了定位精度。

在本方法中，4个摄像头的安装位置如图3所示，摄像头201-204实时提供视频信息，监视超声探头的周围场景。实时算法从采集的视频信号采用位姿估计算法反推出4个摄像头的位置。由4个位置可以求出探头的位置和朝向。这样，超声探头获取的每一帧的二维超声图像就被赋予6个自由度的位置(位置3个自由度)和角度(姿态3个自由度)信息，具体步骤如下：

(1)由设置在超声探头上的第一摄像头采集第一信息，并且，运用位姿估计算法推算出第一信息对应的第一摄像头的位置信息，根据位置信息获取超声探头的第一组位置信息和第一组角度信息，其中，第一组位置信息包括三个自由度的位置信息，第一组角度信息包括三个自由度的角度信息。需要补充进行说明的是，位姿估计算法有多种，例如，同步定位与地图构建伟(SLAM，Simultaneous localization and mapping)，视觉惯性里程计(VIN，Visual-Inertial Odometry)等。

(2)由设置在超声探头背侧的第二摄像头采集第二信息，且，运用位姿估计算法推算出第二信息对应的第二摄像头的位置信息，根据位置信息获取超声探头的第二组位置信息和第二组角度信息，其中，第二组位置信息包括三个自由度的位置信息，第二组角度信息包括三个自由度的角度信息。

(3)由设置在超声探头手柄上的第三摄像头采集第三信息，且，运用位姿估计算法推算出第三信息对应的第三摄像头的位置信息，根据位置信息获取超声探头的第三组位置信息和第三组角度信息，其中，第三组位置信息包括三个自由度的位置信息，第三组角度信息包括三个自由度的角度信息。

(4)由设置在超声探头手柄背侧的第四摄像头采集第四信息，且，运用位姿估计算法推算出第四信息对应的第四摄像头的位置信息，根据位置信息获取超声探头的第四组位置信息和第四组角度信息，其中，第四组位置信息包括三个自由度的位置信息，第四组角度信息包括三个自由度的角度信息。

(5)将第一组位置信息、第一组角度信息、第二组位置信息、第二组角度信息、第三组位置信息、第三组角度信息、第四组位置信息和第四组角度信息拼接成第二位姿信息。

可见本方法中，四个摄像头监视着超声探头的周围全景，而不是监视某个特定的位置，因而使得计算的准确性和鲁棒性得到了很大的提高。而在现有技术采用外部的两个间隔半米左右的摄像头实时监视探头的位姿(6个自由度)。但使用过程中，探头难免被使用者或者被检查者遮挡，摄像头没法看到探头，就无法得出精确的定位，本方法在很大程度上提高了定位精度。

另外，为了确保得到的三维图像尽量精确，在本方法中根据插值方法重建每一帧超声图像的三维图像之后，还包括：

步骤S201：将三维图像反馈到超声探头的定位器中。即在超声探头的定位器中存储有重建后的每一帧超声图像的三维图像，这个反馈的目的是为了与下一帧进行比对。

步骤S202：对下一帧超声图像的第一位姿信息和三维图像进行优化，即通过预先存储的上一帧重建后的三维图像对下一帧超声图像的第一位姿信息进行校对，以保证下一帧超声图像的第一位姿信息不会出现大的误差。

综上所述，本实施例提供的基于多传感器信息融合的三维超声成像方法包括：首先，利用传感器组获取超声探头的第一位姿信息，需要说明的是，传感器组设置在超声探头上，传感器组至少包括惯性制导传感器，即运用多种传感器来监测超声探头的第一位姿信息，其次，利用摄像头获取超声探头的第二位姿信息，并且，第二位姿信息是摄像头根据采集到的全景场景获得的，在本实施例中，摄像头设置在超声探头上，之后，采用最优估值滤波的方法得到每一帧超声图像的位姿信息，这样，根据插值方法重建每一帧超声图像的三维图像。通过上述操作能够实现不受周围环境电磁场和铁磁性物质的影响，不会出现因为超声探头被使用者或者被检查者遮挡的情况，对用户使用干扰更小，不会出现因为遮挡影响定位的问题，有效避免了单一定位模式难以获取准确的位姿估计的问题，并且，通过反馈机制，进一步提高了三维定位的精度，进而给用户端实施带来更大的自由度和更高的定位精度，从而能够得到更好的三维超声图像。

实施例2

参见图4，本实施例提供了基于多传感器信息融合的三维超声成像装置包括：

传感获取模块401，用于利用传感器组获取超声探头的第一位姿信息，第一位姿信息是传感器组根据采集到的线性和角度加速度信息获得，其中，传感器组设置在超声探头上，传感器组至少包括惯性制导传感器，摄像获取模块402，用于利用摄像头获取超声探头的第二位姿信息，且，第二位姿信息是摄像头根据采集到的全景场景获得的，其中，摄像头设置在超声探头上，滤波模块403，用于采用最优估值滤波的方法得到每一帧超声图像的位姿信息，重建模块404，用于根据插值方法重建每一帧超声图像的三维图像。

此外，基于多传感器信息融合的三维超声成像装置还包括：相似度计算模块，用于计算当前时刻的三维图像与前一个时刻的三维图像的相似度，相似度比较模块，用于当相似度大于预先设置的相似阈值时，生成校正信息，相似度判断模块，用于判断第一位姿信息和第二位姿信息的相似度是否小于校正信息对应的位姿估计值，否定执行模块，用于判断结果为否时，根据插值方法重建每一帧超声图像的三维图像，肯定执行模块，用于判断结果为是时，对第一位姿信息和第二位姿信息均进行位姿校正。

此外，基于多传感器信息融合的三维超声成像装置还包括：反馈模块，用于将三维图像反馈到超声探头的定位器中，优化模块，用于对下一帧超声图像的第一位姿信息和三维图像进行优化。

本发明实施例提供的基于多传感器信息融合的三维超声成像装置，与上述实施例提供的基于多传感器信息融合的三维超声成像方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。

本发明实施例还提供了一种终端，包括存储器以及处理器，存储器用于存储支持处理器执行上述实施例方法的程序，处理器被配置为用于执行存储器中存储的程序。

本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器运行时执行上述任一项的方法的步骤。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。本发明实施例所提供的基于多传感器信息融合的三维超声成像方法及装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序，也不能理解为指示或暗示相对重要性。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (8)

1.基于多传感器信息融合的三维超声成像方法，其特征在于，包括：

利用传感器组获取超声探头的第一位姿信息，所述第一位姿信息是所述传感器组根据采集到的惯性信息获得的，其中，所述传感器组设置在超声探头上，所述传感器组至少包括惯性制导传感器；

利用摄像头获取超声探头的第二位姿信息，且，所述第二位姿信息是所述摄像头根据采集到的全景场景获得的，其中，所述摄像头设置在超声探头上，所述摄像头的个数至少为两个；

采用最优估值滤波的方法得到每一帧超声图像的位姿信息；

根据插值方法重建每一帧超声图像的三维图像；

计算当前时刻的所述三维图像与前一个时刻的所述三维图像的相似度；

当所述相似度大于预先设置的相似阈值时，生成校正信息；

判断所述第一位姿信息和所述第二位姿信息的相似度是否小于所述校正信息对应的位姿估计值；

判断结果为否时，根据插值方法重建每一帧超声图像的三维图像；判断结果为是时，对所述第一位姿信息和所述第二位姿信息均进行位姿校正。

2.根据权利要求1所述的基于多传感器信息融合的三维超声成像方法，其特征在于，所述利用摄像头获取超声探头的第二位姿信息，且，所述第二位姿信息是所述摄像头根据采集到的全景场景获得的，其中，所述摄像头设置在超声探头上，包括：

由设置在超声探头上的第一摄像头采集第一信息，且，运用位姿估计算法算法推算出所述第一信息对应的所述第一摄像头的位置信息，根据所述位置信息获取超声探头的第一组位置信息和第一组角度信息，其中，所述第一组位置信息包括三个自由度的位置信息，所述第一组角度信息包括三个自由度的角度信息；

由设置在超声探头背侧的第二摄像头采集第二信息，且，运用位姿估计算法推算出所述第二信息对应的所述第二摄像头的位置信息，根据所述位置信息获取超声探头的第二组位置信息和第二组角度信息，其中，所述第二组位置信息包括三个自由度的位置信息，所述第二组角度信息包括三个自由度的角度信息；

由设置在超声探头手柄上的第三摄像头采集第三信息，且，运用位姿估计算法推算出所述第三信息对应的所述第三摄像头的位置信息，根据所述位置信息获取超声探头的第三组位置信息和第三组角度信息，其中，所述第三组位置信息包括三个自由度的位置信息，所述第三组角度信息包括三个自由度的角度信息；

由设置在超声探头手柄背侧的第四摄像头采集第四信息，且，运用位姿估计算法推算出所述第四信息对应的所述第四摄像头的位置信息，根据所述位置信息获取超声探头的第四组位置信息和第四组角度信息，其中，所述第四组位置信息包括三个自由度的位置信息，所述第四组角度信息包括三个自由度的角度信息；

将所述第一组位置信息、所述第一组角度信息、所述第二组位置信息、所述第二组角度信息、所述第三组位置信息、所述第三组角度信息、所述第四组位置信息和所述第四组角度信息拼接成所述第二位姿信息。

3.根据权利要求1所述的基于多传感器信息融合的三维超声成像方法，其特征在于，所述根据插值方法重建每一帧超声图像的三维图像之后，还包括：

将所述三维图像反馈到超声探头的定位器中；

对下一帧超声图像的所述第一位姿信息和所述三维图像进行优化。

4.根据权利要求1所述的基于多传感器信息融合的三维超声成像方法，其特征在于，所述惯性制导传感器包括第一惯性制导芯片和第二惯性制导芯片，且，所述第一惯性制导芯片设置在超声探头上，所述第二惯性制导芯片设置在超声探头手柄的背侧。

5.基于多传感器信息融合的三维超声成像装置，其特征在于，包括：

传感获取模块，用于利用传感器组获取超声探头的第一位姿信息，所述第一位姿信息是所述传感器组根据采集到的全景场景获得的，其中，所述传感器组设置在超声探头上，所述传感器组至少包括惯性制导传感器；

摄像获取模块，用于利用摄像头获取超声探头的第二位姿信息，且，所述第二位姿信息是所述摄像头根据采集到的全景场景获得的，其中，所述摄像头设置在超声探头上；

滤波模块，用于采用最优估值滤波的方法得到每一帧超声图像的位姿信息；

重建模块，用于根据插值方法重建每一帧超声图像的三维图像

相似度计算模块，用于计算当前时刻的所述三维图像与前一个时刻的所述三维图像的相似度；

相似度比较模块，用于当所述相似度大于预先设置的相似阈值时，生成校正信息；

相似度判断模块，用于判断所述第一位姿信息和所述第二位姿信息的相似度是否小于所述校正信息对应的位姿估计值；

否定执行模块，用于判断结果为否时，根据插值方法重建每一帧超声图像的三维图像；

肯定执行模块，用于判断结果为是时，对所述第一位姿信息和所述第二位姿信息均进行位姿校正。

6.根据权利要求5所述的基于多传感器信息融合的三维超声成像装置，其特征在于，还包括：

反馈模块，用于将所述三维图像反馈到超声探头的定位器中；

优化模块，用于对下一帧超声图像的所述第一位姿信息和所述三维图像进行优化。

7.一种终端，其特征在于，包括存储器以及处理器，所述存储器用于存储支持处理器执行权利要求1至4任一项所述方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

8.一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，其特征在于，计算机程序被处理器运行时执行上述权利要求1至4任一项所述方法的步骤。

Images