CN112308782A - 一种全景图像拼接方法、装置及超声设备和存储介质 - Google Patents

Abstract

本申请公开了一种全景图像拼接方法、装置及一种超声设备和计算机可读存储介质，该方法包括：获取参考图像和浮动图像，并利用FAST算法在所述参考图像中进行特征提取得到候选特征点；对所述候选特征点进行筛选得到目标特征点，以使以所有所述目标特征点为中心创建的特征框均不发生重叠；在所述浮动图像中匹配得到每个所述目标特征点对应的匹配特征，并通过对比每个所述目标特征点与对应的匹配特征得到所述参考图像与所述浮动图像之间的空间变换关系；基于所述空间变换关系对所述参考图像和所述浮动图像进行拼接得到拼接图像。由此可见，本申请提供的全景图像拼接方法，在保证全景图像拼接的配准精度的同时提高了配准速度。

Description

一种全景图像拼接方法、装置及超声设备和存储介质

技术领域

本申请涉及图像处理技术领域，更具体地说，涉及一种全景图像拼接方法、装置及一种超声设备和一种计算机可读存储介质。

背景技术

在相关技术中，参考图像与浮动图像的拼接方法为：首先提取参考图像的梯度信息，然后将梯度信息叠加到原始的参考图像上，选取灰度较大区域生成灰度模板，最后基于该灰度模板获取浮动图像与参考图像间的空间变换关系，进而拼接参考图像与浮动图像。但是，由于超声全景图像是一系列图像进行拼接的场景，很难确定梯度与原始信息的叠加比例，如调整不好则会出现图像过于亮的情形，影响整个拼接过程。

另外，在相关技术中，还可以采用sift、surf等匹配算子生成特征点，利用特征点匹配后获取浮动图像与参考图像间的空间变换关系，进而拼接参考图像与浮动图像。但是，由于超声图像的帧频较高，采用匹配算子需要生成大量描述特征点的特征向量，计算量较大，满足不来超声实时全景拼接的需求，导致拼接过程不流畅的问题。

因此，如何在保证全景图像拼接的配准精度的同时提高配准速度是本领域技术人员需要解决的技术问题。

申请内容

本申请的目的在于提供一种全景图像拼接方法、装置及一种超声设备和一种计算机可读存储介质，在保证全景图像拼接的配准精度的同时提高了配准速度。

为实现上述目的，本申请提供了一种全景图像拼接方法，包括：

获取参考图像和浮动图像，并利用FAST算法在所述参考图像中进行特征提取得到候选特征点；

对所述候选特征点进行筛选得到目标特征点，以使以所有所述目标特征点为中心创建的特征框均不发生重叠；

在所述浮动图像中匹配得到每个所述目标特征点对应的匹配特征，并通过对比每个所述目标特征点与对应的匹配特征得到所述参考图像与所述浮动图像之间的空间变换关系；

基于所述空间变换关系对所述参考图像和所述浮动图像进行拼接得到拼接图像。

其中，所述获取参考图像和浮动图像，包括：

接收超声设备按帧发送的图像，并对图像帧进行有效性校验；

若当前帧图像通过有效性校验，则将所述当前帧图像作为浮动图像，将通过有效性校验的上一帧图像作为所述参考图像。

其中，所述获取参考图像和浮动图像，并利用FAST算法在所述参考图像中进行特征提取得到候选特征点，包括：

获取参考图像和浮动图像，按照预设下采样因子对所述参考图像进行下采样得到下采样参考图像，按照所述预设下采样因子对所述浮动图像进行下采样得到下采样浮动图像；

利用FAST算法在所述下采样参考图像中进行特征提取得到候选特征点；

相应的，在所述浮动图像中匹配得到每个所述目标特征点对应的匹配特征，包括：

基于每个所述目标特征点和对应的特征框生成中间模板特征图像；

根据所述下采样因子对所述中间模板特征图像进行上采样得到模板特征图像；其中，所述模板特征图像的分辨率与所述参考图像或所述浮动图像的分辨率相同；

利用所述模板特征图像与在所述浮动图像中进行特征匹配，以便得到每个所述目标特征点对应的匹配特征。

其中，所述获取参考图像和浮动图像，并利用FAST算法在所述参考图像中进行特征提取得到候选特征点，包括：

获取参考图像和浮动图像，基于预设坐标范围截取所述参考图像的参考图像中间区域，基于所述预设坐标范围截取所述浮动图像的浮动图像中间区域；

利用FAST算法在所述参考图像中间区域中进行特征提取得到候选特征点；

相应的，在所述浮动图像中匹配得到每个所述目标特征点对应的匹配特征，包括：

在所述浮动图像中间区域中匹配得到每个所述目标特征点对应的匹配特征。

其中，对所述候选特征点进行筛选得到目标特征点，以使以所有所述目标特征点为中心创建的特征框均不发生重叠，包括：

将所有所述候选特征点按照响应值由大至小进行排序，确定排序结果中的第一个候选特征点为当前特征点；

以所述当前特征点为中心生成预设尺寸的候选特征框，判断所述候选特征框与所有已生成的特征框是否存在重叠区域；

若是，则舍弃所述当前特征点；若否，则确定所述当前特征点为目标特征点，并确定所述当前特征点对应的候选特征框为所述已生成的特征框；

判断是否满足预设条件；其中，所述预设条件包括所述当前特征点非所述排序结果中的最后一个候选特征点，或所述目标特征点的数量小于预设值；

若是，则将所述排序结果中下一个候选特征点重新确定为所述当前特征点，并重新进入以所述当前特征点为中心生成预设尺寸的候选特征框的步骤。

其中，以所述当前特征点为中心生成预设尺寸的候选特征框之后，还包括：

生成与所述参考图像或所述浮动图像尺寸相同的辅助图像，并将所述辅助图像中像素点的灰度值全部设置为第一灰度值；

相应的，判断所述候选特征框与所有已生成的特征框是否存在重叠区域，包括：

判断所述候选特征框在所述辅助图像中对应位置是否存在灰度值为第二灰度值的像素点；

若是，则判定所述候选特征框与所有已生成的特征框存在重叠区域；

相应的，所述确定所述当前特征点对应的候选特征框为所述已生成的特征框，包括：

将所述特征框在所述辅助图像中对应位置的像素点的灰度值全部设置为所述第二灰度值。

其中，所述特征框的宽高比例与所述参考图像或所述浮动图像的宽高比例相同。

为实现上述目的，本申请提供了一种全景图像拼接装置，包括：

提取模块，用于获取参考图像和浮动图像，并利用FAST算法在所述参考图像中进行特征提取得到候选特征点；

筛选模块，用于对所述候选特征点进行筛选得到目标特征点，以使以所有所述目标特征点为中心创建的特征框均不发生重叠；

匹配模块，用于在所述浮动图像中匹配得到每个所述目标特征点对应的匹配特征，并通过对比每个所述目标特征点与对应的匹配特征得到所述参考图像与所述浮动图像之间的空间变换关系；

拼接模块，用于基于所述空间变换关系对所述参考图像和所述浮动图像进行拼接得到拼接图像。

为实现上述目的，本申请提供了一种超声设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述全景图像拼接方法的步骤。

为实现上述目的，本申请提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述全景图像拼接方法的步骤。

通过以上方案可知，本申请提供的一种全景图像拼接方法，包括：获取参考图像和浮动图像，并利用FAST算法在所述参考图像中进行特征提取得到候选特征点；对所述候选特征点进行筛选得到目标特征点，以使以所有所述目标特征点为中心创建的特征框均不发生重叠；在所述浮动图像中匹配得到每个所述目标特征点对应的匹配特征，并通过对比每个所述目标特征点与对应的匹配特征得到所述参考图像与所述浮动图像之间的空间变换关系；基于所述空间变换关系对所述参考图像和所述浮动图像进行拼接得到拼接图像。

本申请提供的全景图像拼接方法，利用FAST算法进行特征提取，利用特征点的匹配进行图像拼接，保证了全景图像拼接的配准精度。由于FAST算法只利用像素点的灰度信息进行大小比较，不对特征点进行描述，在获取边缘点或亮暗点的同时减少处理时间，进而提高了全景图像拼接的配准速度。另外，提取候选特征点后进行筛选，剔除特征框重叠的特征点，即剔除冗余特征点，提高了特征点的匹配速度，进而进一步提高了全景图像拼接的配准速度。由此可见，本申请提供的全景图像拼接方法，在保证全景图像拼接的配准精度的同时提高了配准速度。本申请还公开了一种全景图像拼接装置及一种超声设备和一种计算机可读存储介质，同样能实现上述技术效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1为根据一示例性实施例示出的一种全景图像拼接方法的流程图；

图2为根据一示例性实施例示出的一种FAST特征点的示意图；

图3为根据一示例性实施例示出的另一种全景图像拼接方法的流程图；

图4为根据一示例性实施例示出的又一种全景图像拼接方法的流程图；

图5为根据一示例性实施例示出的一种全景图像拼接装置的结构图；

图6为根据一示例性实施例示出的一种超声设备的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。另外，在本申请实施例中，“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例公开了一种全景图像拼接方法，在保证全景图像拼接的配准精度的同时提高了配准速度。

参见图1，根据一示例性实施例示出的一种全景图像拼接方法的流程图，如图1所示，包括：

S101：获取参考图像和浮动图像，并利用FAST算法在所述参考图像中进行特征提取得到候选特征点；

本实施例的目的在于实现参考图像与浮动图像的图像拼接，可以应用于超声设备的全景图像拼接，获取参考图像和浮动图像，包括：接收超声设备按帧发送的图像，并对图像帧进行有效性校验；若当前帧图像通过有效性校验，则将所述当前帧图像作为浮动图像，将通过有效性校验的上一帧图像作为所述参考图像。在具体实施中，对于超声设备发送的图像，需要进行有效性校验，检验的目的为排除探头接触不好或者探头空打的图像，获取正确打图的超声图像进行后续的图像拼接。对于通过有效性校验的图像，将当前帧图像作为浮动图像，将上一帧图像作为参考图像。

在本步骤中，利用FAST算法在参考图像中提取FAST特征点，即本步骤中的候选特征点。FAST算法的原理如图2所示，一个以像素点p为中心，半径为3的圆上，有16个像素点(p1、p2、...、p16)。定义一个阈值，计算像素点p周围的16个像素点的灰度值与像素点p的灰度值的差值，若差值的绝对值满足一定条件，则像素点p为FAST特征点，每个FAST特征点对应一个响应值(response)。

作为一种优选实施方式，本步骤包括：获取参考图像和浮动图像，按照预设下采样因子对所述参考图像进行下采样得到下采样参考图像，按照所述预设下采样因子对所述浮动图像进行下采样得到下采样浮动图像；利用FAST算法在所述下采样参考图像中进行特征提取得到候选特征点。在具体实施中，为了加快特征点的提取速度和图像间的匹配速度，按照预设下采样因子对参考图像与浮动图像进行下采样，分别得到下采样参考图像和下采样浮动图像，进而在下采样参考图像中提取候选特征点。

作为一种优选实施方式，本步骤包括：获取参考图像和浮动图像，基于预设坐标范围截取所述参考图像的参考图像中间区域，基于所述预设坐标范围截取所述浮动图像的浮动图像中间区域；利用FAST算法在所述参考图像中间区域中进行特征提取得到候选特征点。在具体实施中，由于超声图像的帧频很高，导致相邻两帧图像之间的位移较小，相邻两帧图像中间部位重合较多，因此可以对中间重合的区域的大小进行预估，基于预设坐标范围截取中间区域，分别得到参考图像中间区域和浮动图像中间区域，在参考图像中间区域中提取候选特征点，进而加快特征点的提取速度和图像间的匹配速度。

当然也可以将上述两种实施方式进行结合，即首先对参考图像与浮动图像进行下采样，再截取下采样参考图像和下采样浮动图像的中间区域，分别得到参考图像中间区域和浮动图像中间区域进行后续处理，进一步加快特征点的提取速度和图像间的匹配速度。

S102：对所述候选特征点进行筛选得到目标特征点，以使以所有所述目标特征点为中心创建的特征框均不发生重叠；

在本步骤中，以候选特征点为中心生成预设尺寸的特征框。可以理解的是，由于FAST特征点判别条件较为简单，因此提取的候选特征点数量较大，其中包括大量冗余特征点，即对应的特征框重叠，影响后续特征匹配速度，因此在本步骤中需要对候选特征点进行筛选，特征点的筛选效果影响后续图像的配准和拼接效果。本实施例特征点筛选的标准为：筛选得到的目标特征点对应的特征框均不发生重叠，既最大程度上保留了参考图像的图像特征，保证图像配准效果，又减少了特征点的数量，从而提高图像间匹配速度。

S103：在所述浮动图像中匹配得到每个所述目标特征点对应的匹配特征，并通过对比每个所述目标特征点与对应的匹配特征得到所述参考图像与所述浮动图像之间的空间变换关系；

S104：基于所述空间变换关系对所述参考图像和所述浮动图像进行拼接得到拼接图像。

在具体实施中，在浮动图像中对每个目标特征点进行特征匹配，即对参考图像和浮动图像进行图像配准，得到参考图像与浮动图像之间的空间变换关系，进而对参考图像和浮动图像进行拼接。可以理解的是，对于超声设备按帧发送的图像，将当前帧图像作为浮动图像、将上一帧图像作为参考图像进行图像配准，图像拼接后得到拼接图像，循环上述过程完成相邻两帧图像的图像配准，进而拼接得到完整的超声全景图像。

需要说明的是，若对参考图像和浮动图像进行了下采样，则在所述浮动图像中匹配得到每个所述目标特征点对应的匹配特征，包括：基于每个所述目标特征点和对应的特征框生成中间模板特征图像；根据所述下采样因子对所述中间模板特征图像进行上采样得到模板特征图像；其中，所述模板特征图像的分辨率与所述参考图像或所述浮动图像的分辨率相同；利用所述模板特征图像与在所述浮动图像中进行特征匹配，以便得到每个所述目标特征点对应的匹配特征。在具体实施中，基于每个目标特征点和以目标特征点为中心的特征框生成中间模板特征图像，并根据下采样因子将模板特征图像上采样到原图像分辨率，利用模板特征图像中的特征映射到浮动图像中搜索对应的匹配特征，进而获取参考图像与浮动图像的空间变换关系。

可以理解的是，若对参考图像和浮动图像截取了中间区域，则在所述浮动图像中匹配得到每个所述目标特征点对应的匹配特征，包括：在所述浮动图像中间区域中匹配得到每个所述目标特征点对应的匹配特征。

本申请实施例提供的全景图像拼接方法，利用FAST算法进行特征提取，利用特征点的匹配进行图像拼接，保证了全景图像拼接的配准精度。由于FAST算法只利用像素点的灰度信息进行大小比较，不对特征点进行描述，在获取边缘点或亮暗点的同时减少处理时间，进而提高了全景图像拼接的配准速度。另外，提取候选特征点后进行筛选，剔除特征框重叠的特征点，即剔除冗余特征点，提高了特征点的匹配速度，进而进一步提高了全景图像拼接的配准速度。由此可见，本申请实施例提供的全景图像拼接方法，在保证全景图像拼接的配准精度的同时提高了配准速度。

本申请实施例公开了一种全景图像拼接方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

参见图3，根据一示例性实施例示出的另一种全景图像拼接方法的流程图，如图3所示，包括：

S201：获取参考图像和浮动图像，并利用FAST算法在所述参考图像中进行特征提取得到候选特征点；

S202：将所有所述候选特征点按照响应值由大至小进行排序，确定排序结果中的第一个候选特征点为当前特征点；

S203：以所述当前特征点为中心生成预设尺寸的候选特征框，判断所述候选特征框与所有已生成的特征框是否存在重叠区域；若是，则进入S204；若否，则进入S205；

可以理解的是，针对每个FAST特征点均存在一个响应值，在本实施例中，按照响应值由大至小对候选特征点进行快速排序，便于对候选特征点进行筛选。在具体实施中，将排序结果中的候选特征点依次确定为当前特征点，以当前特征点为中心生成预设尺寸的候选特征框。

优选的，候选特征框的宽高比例与参考图像或浮动图像的宽高比例相同。在超声设备的成像过程中，为了保证像素间的物理距离一致，在调节了探头的打图深度、扇角大小后得到的图像的宽和高的比例会发生变化。若按照固定的宽高比例生成特征框，在原图像宽高比例较小的情况下，导致特征框的宽度较大，提取的特征点较少，在原图像宽高比例较大的情况下，导致特征框的高度较大，也会造成提取的特征点较少，无法满足后续的图像匹配要求。因此，本实施例可以生成宽高比例与参考图像或浮动图像的宽高比例相同的候选特征框，使得在任何宽高比例的图像下生成足够多且适合的模板特征。

在本实施例中，候选特征点筛选的标准为：筛选得到的目标特征点对应的特征框均不发生重叠。因此，生成候选特征点后需要判断其对应的候选特征框与所有已生成的特征框是否存在重叠区域；若是，则进入S204；若否，则进入S205。

本实施例不对如何判断候选特征框与所有已生成的特征框是否存在重叠区域进行限定，作为一种可行的实施方式，以所述当前特征点为中心生成预设尺寸的候选特征框之后，还包括：生成与所述参考图像中间区域或所述浮动图像中间区域尺寸相同的辅助图像，并将所述辅助图像中像素点的灰度值全部设置为第一灰度值；相应的，判断所述候选特征框与所有已生成的特征框是否存在重叠区域，包括：判断所述候选特征框在所述辅助图像中对应位置是否存在灰度值为第二灰度值的像素点；若是，则判定所述候选特征框与所有已生成的特征框存在重叠区域；相应的，所述确定所述当前特征点对应的候选特征框为所述已生成的特征框，包括：将所述特征框在所述辅助图像中对应位置的像素点的灰度值全部设置为所述第二灰度值。

在具体实施中，首先生成一个尺寸与参考图像中间区域或浮动图像中间区域尺寸相同的辅助图像，该辅助图像中所有像素点的灰度值均为第一灰度值，如255。在判断候选特征框与所有已生成的特征框是否存在重叠区域的过程中，判断候选特征框在辅助图像中对应位置是否存在灰度值为第二灰度值的像素点，若是，则进入S204；若否，则将当前特征点对应的特征框在辅助图像中对应位置的像素点的灰度值全部设置为所述第二灰度值，并进入S205。

S204：舍弃所述当前特征点，并进入S206；

S205：确定所述当前特征点为目标特征点，并确定所述当前特征点对应的候选特征框为所述已生成的特征框，并进入S206；

在具体实施中，若候选特征框与所有已生成的特征框是否存在重叠区域，则舍弃当前特征点，否则将当前特征点确定为目标特征点，并将当前特征点对应的候选特征框确定为已生成的特征框。

S206：判断是否满足预设条件；其中，所述预设条件包括所述当前特征点非所述排序结果中的最后一个候选特征点，或所述目标特征点的数量小于预设值；若是，则进入S207；若否，则进入S208；

在本步骤中，若所有候选特征点均筛选完成或筛选得到的目标特征点的数量达到预设值，则进入S208开始特征匹配步骤。

S207：将所述排序结果中下一个候选特征点重新确定为所述当前特征点，并重新进入步骤S203。

S208：在所述浮动图像中匹配得到每个所述目标特征点对应的匹配特征，并通过对比每个所述目标特征点与对应的匹配特征得到所述参考图像与所述浮动图像之间的空间变换关系；

S209：基于所述空间变换关系对所述参考图像和所述浮动图像进行拼接得到拼接图像。

由此可见，本实施例提供了一种筛选候选特征点的方式，即以候选特征点为中心生成特征框，将互补重叠的特征框对应的候选特征点确定为目标特征点，既最大程度上保留了参考图像的图像特征，保证图像配准效果，又减少了特征点的数量，从而提高图像间匹配速度。

本申请实施例公开了一种全景图像拼接方法，相对于上一实施例，本实施例对技术方案作了进一步的说明和优化。具体的：

参见图4，根据一示例性实施例示出的又一种全景图像拼接方法的流程图，如图4所示，包括：

S301：获取参考图像和浮动图像，按照预设下采样因子对所述参考图像进行下采样得到下采样参考图像，按照所述预设下采样因子对所述浮动图像进行下采样得到下采样浮动图像；

S302：基于预设坐标范围截取所述下采样参考图像的参考图像中间区域，基于所述预设坐标范围截取所述下采样浮动图像的浮动图像中间区域；

S303：利用FAST算法在所述参考图像中间区域中进行特征提取得到候选特征点；

S304：将所有所述候选特征点按照响应值由大至小进行排序，确定排序结果中的第一个候选特征点为当前特征点；

S305：以所述当前特征点为中心生成预设尺寸的候选特征框；其中，所述候选特征框的宽高比例与所述参考图像或所述浮动图像的宽高比例相同；

S306：生成与所述参考图像中间区域或所述浮动图像中间区域尺寸相同的辅助图像，并将所述辅助图像中像素点的灰度值全部设置为第一灰度值；

S307：判断所述候选特征框在所述辅助图像中对应位置是否存在灰度值为第二灰度值的像素点；若是，则进入S308；若否，则进入S309；

S308：舍弃所述当前特征点，并进入S310；

S309：确定所述当前特征点为目标特征点，并将所述特征框在所述辅助图像中对应位置的像素点的灰度值全部设置为所述第二灰度值；

S310：判断是否满足预设条件；其中，所述预设条件包括所述当前特征点非所述排序结果中的最后一个候选特征点，或所述目标特征点的数量小于预设值；若是，则进入S311；若否，则进入S312；

S311：将所述排序结果中下一个候选特征点重新确定为所述当前特征点，并重新进入步骤S305。

S312：基于每个所述目标特征点和对应的特征框生成中间模板特征图像；

S313：根据所述下采样因子对所述中间模板特征图像进行上采样得到模板特征图像；其中，所述模板特征图像的分辨率与所述参考图像或所述浮动图像的分辨率相同；

S314：利用所述模板特征图像与在所述浮动图像中间区域中进行特征匹配，以便得到每个所述目标特征点对应的匹配特征；

S315：通过对比每个所述目标特征点与对应的匹配特征得到所述参考图像与所述浮动图像之间的空间变换关系；

S316：基于所述空间变换关系对所述参考图像和所述浮动图像进行拼接得到拼接图像。

在本实施例中，首先对参考图像与浮动图像进行下采样，分别得到下采样参考图像和下采样浮动图像，再截取下采样参考图像和下采样浮动图像的中间区域，分别得到参考图像中间区域和浮动图像中间区域，加快了特征点的提取速度和图像间的匹配速度。其次，利用FAST算法在参考图像中间区域中提取候选特征点，以候选特征点为中心生成候选特征框，该候选特征框的宽高比例与原图像的宽高比例相同，提高了图像的配准精度。互不重叠的候选特征框对应的候选特征点作为最终的目标特征点生成中间模板特征图像，对中间模板特征图像进行上采样得到模板特征图像。最后，利用模板特征图像进行图像间的特征匹配，进而得到参考图像与浮动图像空间变换关系进行图像拼接。由此可见，本申请实施例提供的全景图像拼接方法，在保证全景图像拼接的配准精度的同时提高了配准速度。

下面对本申请实施例提供的一种全景图像拼接装置进行介绍，下文描述的一种全景图像拼接装置与上文描述的一种全景图像拼接方法可以相互参照。

参见图5，根据一示例性实施例示出的一种全景图像拼接装置的结构图，如图5所示，包括：

提取模块501，用于获取参考图像和浮动图像，并利用FAST算法在所述参考图像中进行特征提取得到候选特征点；

筛选模块502，用于对所述候选特征点进行筛选得到目标特征点，以使以所有所述目标特征点为中心创建的特征框均不发生重叠；

匹配模块503，用于在所述浮动图像中匹配得到每个所述目标特征点对应的匹配特征，并通过对比每个所述目标特征点与对应的匹配特征得到所述参考图像与所述浮动图像之间的空间变换关系；

拼接模块504，用于基于所述空间变换关系对所述参考图像和所述浮动图像进行拼接得到拼接图像。

本申请实施例提供的全景图像拼接装置，利用FAST算法进行特征提取，利用特征点的匹配进行图像拼接，保证了全景图像拼接的配准精度。由于FAST算法只利用像素点的灰度信息进行大小比较，不对特征点进行描述，在获取边缘点或亮暗点的同时减少处理时间，进而提高了全景图像拼接的配准速度。另外，提取候选特征点后进行筛选，剔除特征框重叠的特征点，即剔除冗余特征点，提高了特征点的匹配速度，进而进一步提高了全景图像拼接的配准速度。由此可见，本申请实施例提供的全景图像拼接装置，在保证全景图像拼接的配准精度的同时提高了配准速度。

在上述实施例的基础上，作为一种优选实施方式，所述提取模块501包括：

校验单元，用于接收超声设备按帧发送的图像，并对图像帧进行有效性校验；

确定单元，用于若当前帧图像通过有效性校验，则将所述当前帧图像作为浮动图像，将通过有效性校验的上一帧图像作为所述参考图像；

第一提取单元，用于利用FAST算法在所述参考图像中进行特征提取得到候选特征点。

在上述实施例的基础上，作为一种优选实施方式，所述提取模块501包括：

下采样单元，用于获取参考图像和浮动图像，按照预设下采样因子对所述参考图像进行下采样得到下采样参考图像，按照所述预设下采样因子对所述浮动图像进行下采样得到下采样浮动图像；

第二提取单元，用于利用FAST算法在所述下采样参考图像中进行特征提取得到候选特征点；

相应的，所述匹配模块503包括：

生成单元，用于基于每个所述目标特征点和对应的特征框生成中间模板特征图像；

上采样单元，用于根据所述下采样因子对所述中间模板特征图像进行上采样得到模板特征图像；其中，所述模板特征图像的分辨率与所述参考图像或所述浮动图像的分辨率相同；

第一匹配单元，用于利用所述模板特征图像与在所述浮动图像中进行特征匹配，以便得到每个所述目标特征点对应的匹配特征；

第一对比单元，用于通过对比每个所述目标特征点与对应的匹配特征得到所述参考图像与所述浮动图像之间的空间变换关系。

在上述实施例的基础上，作为一种优选实施方式，所述提取模块501包括：

截取单元，用于获取参考图像和浮动图像，基于预设坐标范围截取所述参考图像的参考图像中间区域，基于所述预设坐标范围截取所述浮动图像的浮动图像中间区域；

第三提取单元，用于利用FAST算法在所述参考图像中间区域中进行特征提取得到候选特征点；

相应的，所述匹配模块503包括：

第二匹配单元，用于在所述浮动图像中间区域中匹配得到每个所述目标特征点对应的匹配特征；

第二对比单元，用于通过对比每个所述目标特征点与对应的匹配特征得到所述参考图像与所述浮动图像之间的空间变换关系。

在上述实施例的基础上，作为一种优选实施方式，所述筛选模块502包括：

排序单元，用于将所有所述候选特征点按照响应值由大至小进行排序，确定排序结果中的第一个候选特征点为当前特征点；

生成单元，用于以所述当前特征点为中心生成预设尺寸的候选特征框；

第一判断单元，用于判断所述候选特征框与所有已生成的特征框是否存在重叠区域；若是，则舍弃所述当前特征点；若否，则确定所述当前特征点为目标特征点，并确定所述当前特征点对应的候选特征框为所述已生成的特征框；

第二判断单元，用于判断是否满足预设条件；其中，所述预设条件包括所述当前特征点非所述排序结果中的最后一个候选特征点，或所述目标特征点的数量小于预设值；若是，则将所述排序结果中下一个候选特征点重新确定为所述当前特征点，并重新启动生成单元的工作流程。

在上述实施例的基础上，作为一种优选实施方式，所述筛选模块502还包括：

设置单元，用于生成与所述参考图像或所述浮动图像尺寸相同的辅助图像，并将所述辅助图像中像素点的灰度值全部设置为第一灰度值；

相应的，所述第一判断单元具体为判断所述候选特征框在所述辅助图像中对应位置是否存在灰度值为第二灰度值的像素点；若是，则舍弃所述当前特征点；若否，则将所述特征框在所述辅助图像中对应位置的像素点的灰度值全部设置为所述第二灰度值的单元。

在上述实施例的基础上，作为一种优选实施方式，所述特征框的宽高比例与所述参考图像或所述浮动图像的宽高比例相同。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

基于上述程序模块的硬件实现，且为了实现本申请实施例的方法，本申请实施例还提供了一种超声设备，图6为根据一示例性实施例示出的一种超声设备的结构图，如图6所示，超声设备包括：

通信接口1，能够与其它设备比如网络设备等进行信息交互；

处理器2，与通信接口1连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的应用的访问方法。而所述计算机程序存储在存储器3上。

当然，实际应用时，超声设备中的各个组件通过总线系统4耦合在一起。可理解，总线系统4用于实现这些组件之间的连接通信。总线系统4除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统4。

本申请实施例中的存储器3用于存储各种类型的数据以支持超声设备的操作。这些数据的示例包括：用于在超声设备上操作的任何计算机程序。

可以理解，存储器3可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random AccessMemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，Dynamic Random Access Memory)、同步动态随机存取存储器(SDRAM，SynchronousDynamic Random Access Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data Rate Synchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器2旨在包括但不限于这些和任意其它适合类型的存储器。

上述本申请实施例揭示的方法可以应用于处理器2中，或者由处理器2实现。处理器2可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器2中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器2可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器3，处理器2读取存储器3中的程序，结合其硬件完成前述方法的步骤。

处理器2执行所述程序时实现本申请实施例的各个方法中的相应流程，为了简洁，在此不再赘述。

在示例性实施例中，本申请实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的存储器3，上述计算机程序可由处理器2执行，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。

本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

或者，本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台超声设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种全景图像拼接方法，其特征在于，包括：

获取参考图像和浮动图像，并利用FAST算法在所述参考图像中进行特征提取得到候选特征点；

对所述候选特征点进行筛选得到目标特征点，以使以所有所述目标特征点为中心创建的特征框均不发生重叠；

在所述浮动图像中匹配得到每个所述目标特征点对应的匹配特征，并通过对比每个所述目标特征点与对应的匹配特征得到所述参考图像与所述浮动图像之间的空间变换关系；

基于所述空间变换关系对所述参考图像和所述浮动图像进行拼接得到拼接图像。

2.根据权利要求1所述全景图像拼接方法，其特征在于，所述获取参考图像和浮动图像，包括：

接收超声设备按帧发送的图像，并对图像帧进行有效性校验；

若当前帧图像通过有效性校验，则将所述当前帧图像作为浮动图像，将通过有效性校验的上一帧图像作为所述参考图像。

3.根据权利要求1所述全景图像拼接方法，其特征在于，所述获取参考图像和浮动图像，并利用FAST算法在所述参考图像中进行特征提取得到候选特征点，包括：

获取参考图像和浮动图像，按照预设下采样因子对所述参考图像进行下采样得到下采样参考图像，按照所述预设下采样因子对所述浮动图像进行下采样得到下采样浮动图像；

利用FAST算法在所述下采样参考图像中进行特征提取得到候选特征点；

相应的，在所述浮动图像中匹配得到每个所述目标特征点对应的匹配特征，包括：

基于每个所述目标特征点和对应的特征框生成中间模板特征图像；

根据所述下采样因子对所述中间模板特征图像进行上采样得到模板特征图像；其中，所述模板特征图像的分辨率与所述参考图像或所述浮动图像的分辨率相同；

利用所述模板特征图像在所述浮动图像中进行特征匹配，以便得到每个所述目标特征点对应的匹配特征。

4.根据权利要求1所述全景图像拼接方法，其特征在于，所述获取参考图像和浮动图像，并利用FAST算法在所述参考图像中进行特征提取得到候选特征点，包括：

获取参考图像和浮动图像，基于预设坐标范围截取所述参考图像的参考图像中间区域，基于所述预设坐标范围截取所述浮动图像的浮动图像中间区域；

利用FAST算法在所述参考图像中间区域中进行特征提取得到候选特征点；

相应的，在所述浮动图像中匹配得到每个所述目标特征点对应的匹配特征，包括：

在所述浮动图像中间区域中匹配得到每个所述目标特征点对应的匹配特征。

5.根据权利要求1所述全景图像拼接方法，其特征在于，对所述候选特征点进行筛选得到目标特征点，以使以所有所述目标特征点为中心创建的特征框均不发生重叠，包括：

将所有所述候选特征点按照响应值由大至小进行排序，确定排序结果中的第一个候选特征点为当前特征点；

以所述当前特征点为中心生成预设尺寸的候选特征框，判断所述候选特征框与所有已生成的特征框是否存在重叠区域；

若是，则舍弃所述当前特征点；若否，则确定所述当前特征点为目标特征点，并确定所述当前特征点对应的候选特征框为所述已生成的特征框；

判断是否满足预设条件；其中，所述预设条件包括所述当前特征点非所述排序结果中的最后一个候选特征点，或所述目标特征点的数量小于预设值；

若是，则将所述排序结果中下一个候选特征点重新确定为所述当前特征点，并重新进入以所述当前特征点为中心生成预设尺寸的候选特征框的步骤。

6.根据权利要求5所述全景图像拼接方法，其特征在于，以所述当前特征点为中心生成预设尺寸的候选特征框之后，还包括：

生成与所述参考图像或所述浮动图像尺寸相同的辅助图像，并将所述辅助图像中像素点的灰度值全部设置为第一灰度值；

相应的，判断所述候选特征框与所有已生成的特征框是否存在重叠区域，包括：

判断所述候选特征框在所述辅助图像中对应位置是否存在灰度值为第二灰度值的像素点；

若是，则判定所述候选特征框与所有已生成的特征框存在重叠区域；

相应的，所述确定所述当前特征点对应的候选特征框为所述已生成的特征框，包括：

将所述特征框在所述辅助图像中对应位置的像素点的灰度值全部设置为所述第二灰度值。

7.根据权利要求1至6中任一项所述全景图像拼接方法，其特征在于，所述特征框的宽高比例与所述参考图像或所述浮动图像的宽高比例相同。

8.一种全景图像拼接装置，其特征在于，包括：

提取模块，用于获取参考图像和浮动图像，并利用FAST算法在所述参考图像中进行特征提取得到候选特征点；

筛选模块，用于对所述候选特征点进行筛选得到目标特征点，以使以所有所述目标特征点为中心创建的特征框均不发生重叠；

匹配模块，用于在所述浮动图像中匹配得到每个所述目标特征点对应的匹配特征，并通过对比每个所述目标特征点与对应的匹配特征得到所述参考图像与所述浮动图像之间的空间变换关系；

拼接模块，用于基于所述空间变换关系对所述参考图像和所述浮动图像进行拼接得到拼接图像。

9.一种超声设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7中任一项所述全景图像拼接方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述全景图像拼接方法的步骤。

Images