CN115049698A - 一种手持声成像设备的云图显示方法及装置 - Google Patents

Abstract

本申请公开了一种手持声成像设备的云图显示方法及装置，方法包括基于声成像设备采集两帧连续的待处理图像；根据第一帧待处理图像中的像素点位置以及时间间隔，计算出第一帧待处理图像中每个像素点的移动速度；基于移动速度对第一帧待处理图像进行过滤处理，并根据像素点位置得到变换矩阵；根据处理后的像素点位置以及变换矩阵，计算出待插入云图的像素点位置，并基于待插入云图的像素点位置在第二帧待处理图像上显示待插入云图。通过计算像素点的移动速度来准确判断并过滤出与噪声对应的像素点，可有效保障显示云图的准确性；且还可通过计算出待插入云图的像素点位置来将未显示出的云图补充在图像中，以使显示的云图更加完整。

Description

一种手持声成像设备的云图显示方法及装置

技术领域

本申请属于图像处理技术领域，特别的涉及一种手持声成像设备的云图显示方法及装置。

背景技术

声成像设备又名声相（像）仪，是一种利用传声器阵列测量一定范围内的声场分布的专用设备，可用于测量物体发出的声音的位置和声音辐射的状态，并用云图方式显示出直观的图像，也即声成像测量。该设备可将声像图与阵列上配装的摄像实所拍的视频图像以透明的方式叠合在一起，以形成可直观分析被测物产生噪声状态，这种利用声学、电子学和信息处理等技术将声音变换成人眼可见的图像的方式可以帮助人们直观地认识声场、声波以及声源，更便捷地了解机器设备产生噪声的部位和原因，物体（机器设备）的声像反映了其所处的状态。

对于瞬态的声源，通过声成像设备形成的声音成像的云图效果会产生闪烁现象，例如会出现云图有时出现有时消失的情况，而有一些噪声也会呈现有时出现有时消失的特点，只是间隔时间和出现位置不同，这导致非专业人员无法判断准确的判断云图位置是噪声还是声源。一般现有的技术为应用声成像设备形成的前几帧数据的平均值作为当前的数据，以使云图保持稳定，但该方式会出现延迟的问题，易导致摄像头展示的图片和云图显示位置出现错位现象，进而使得没有发出声音的位置上会显示云图，给用户带来错误信息和判断。

发明内容

本申请为解决上述提到的摄像头展示的图片和云图显示位置出现错位现象，进而使得没有发出声音的位置上会显示云图，给用户带来错误信息和判断等技术问题，提出一种手持声成像设备的云图显示方法及装置，具体方案如下：

第一方面，本申请实施例提供了一种手持声成像设备的云图显示方法，方法应用于声成像设备，方法包括：

基于声成像设备采集两帧连续的待处理图像；其中，每帧待处理图像显示有至少一个与发声位置对应的云图；

根据第一帧待处理图像中的像素点位置以及两帧待处理图像之间的时间间隔，计算出第一帧待处理图像中每个像素点的移动速度；

基于第一帧待处理图像中每个像素点的移动速度对第一帧待处理图像进行过滤处理，并根据处理后的第一帧待处理图像中的像素点位置以及第二帧待处理图像中的像素点位置得到变换矩阵；

根据处理后的第一帧待处理图像中的像素点位置以及变换矩阵，计算出待插入云图的像素点位置，并基于待插入云图的像素点位置在第二帧待处理图像上显示待插入云图。

在第一方面的一种可选方案中，根据第一帧待处理图像中的像素点位置以及两帧待处理图像之间的时间间隔，计算出第一帧待处理图像中每个像素点的移动速度，包括：

根据第一帧待处理图像中每个像素点位置以及两帧待处理图像之间的时间间隔，得到第一帧待处理图像中每个像素点的约束参数；

将第一帧待处理图像划分为n个待处理子图像；其中，每个待处理子图像中包括至少两个像素点，n为大于或等于2的正整数；

基于每个待处理子图像中所有像素点的约束参数建立约束条件矩阵，并对约束条件矩阵进行最小二乘计算，得到每个待处理子图像中像素点的瞬时速度；

根据每个待处理子图像中像素点的瞬时速度得到每个待处理子图像中像素点的移动速度，并将每个待处理子图像中像素点的移动速度作为第一帧待处理图像中每个像素点的移动速度。

在第一方面的又一种可选方案中，基于第一帧待处理图像中每个像素点的移动速度对第一帧待处理图像进行过滤处理，包括：

判断每个待处理子图像中像素点的移动速度是否超过预设阈值；

当检测到任意至少一个待处理子图像中像素点的移动速度超过预设阈值时，对任意至少一个待处理子图像中所有的像素点进行过滤处理。

在第一方面的又一种可选方案中，根据处理后的第一帧待处理图像中的像素点位置以及第二帧待处理图像中的像素点位置得到变换矩阵，包括：

对处理后的第一帧待处理图像进行角点检测，提取出m个第一特征像素点；

对第二帧待处理图像进行角点检测，提取出m个第二特征像素点；

基于m个第一特征像素点的位置以及m个第二特征像素点的位置建立变换矩阵表达式，并对变换矩阵表达式进行最小二乘拟合计算，得到变换矩阵。

在第一方面的又一种可选方案中，根据处理后的第一帧待处理图像中的像素点位置以及变换矩阵，计算出待插入云图的像素点位置，包括：

基于处理后的第一帧待处理图像中的每个像素点位置构建第一矩阵表达式；

基于处理后的第一帧待处理图像中每个像素点的瞬时速度以及两帧待处理图像之间的时间间隔，构建第二矩阵表达式；

基于第一矩阵表达式、第二矩阵表达式以及变换矩阵，得到待插入云图的像素点位置。

在第一方面的又一种可选方案中，基于第一矩阵表达式、第二矩阵表达式以及变换矩阵，得到待插入云图的像素点位置，包括：

基于第一矩阵表达式、第二矩阵表达式以及变换矩阵，得到待插入云图的初始像素点位置；

根据第二帧待处理图像中的像素点位置确定出位置区间；

基于位置区间对待插入云图的初始像素点位置进行过滤处理，得到待插入云图的像素点位置。

在第一方面的又一种可选方案中，基于待插入云图的像素点位置在第二帧待处理图像上显示待插入云图，包括：

基于待插入云图的像素点位置生成待插入云图；

对待插入云图以及第二帧待处理图像进行融合处理，并将第二帧待处理图像替换为处理后的第二帧待处理图像。

第二方面，本申请实施例提供了一种手持声成像设备的云图显示装置，装置应用于声成像设备，装置包括：

图像采集模块，用于基于声成像设备采集两帧连续的待处理图像；其中，每帧待处理图像显示有至少一个与发声位置对应的云图；

第一处理模块，用于根据第一帧待处理图像中的像素点位置以及两帧待处理图像之间的时间间隔，计算出第一帧待处理图像中每个像素点的移动速度；

第二处理模块，用于基于第一帧待处理图像中每个像素点的移动速度对第一帧待处理图像进行过滤处理，并根据处理后的第一帧待处理图像中的像素点位置以及第二帧待处理图像中的像素点位置得到变换矩阵；

第三处理模块，用于根据处理后的第一帧待处理图像中的像素点位置以及变换矩阵，计算出待插入云图的像素点位置，并基于待插入云图的像素点位置在第二帧待处理图像上显示待插入云图。

在第二方面的一种可选方案中，第一处理模块包括：

第一处理单元，用于根据第一帧待处理图像中每个像素点位置以及两帧待处理图像之间的时间间隔，得到第一帧待处理图像中每个像素点的约束参数；

划分单元，用于将第一帧待处理图像划分为n个待处理子图像；其中，每个待处理子图像中包括至少两个像素点，n为大于或等于2的正整数；

第二处理单元，用于基于每个待处理子图像中所有像素点的约束参数建立约束条件矩阵，并对约束条件矩阵进行最小二乘计算，得到每个待处理子图像中像素点的瞬时速度；

第三处理单元，用于根据每个待处理子图像中像素点的瞬时速度得到每个待处理子图像中像素点的移动速度，并将每个待处理子图像中像素点的移动速度作为第一帧待处理图像中每个像素点的移动速度。

在第二方面的又一种可选方案中，第二处理模块包括：

判断单元，用于判断每个待处理子图像中像素点的移动速度是否超过预设阈值；

第四处理单元，用于当检测到任意至少一个待处理子图像中像素点的移动速度超过预设阈值时，对任意至少一个待处理子图像中所有的像素点进行过滤处理。

在第二方面的又一种可选方案中，第二处理模块还包括：

第一提取单元，用于对处理后的第一帧待处理图像进行角点检测，提取出m个第一特征像素点；

第二提取单元，用于对第二帧待处理图像进行角点检测，提取出m个第二特征像素点；

第五处理单元，用于基于m个第一特征像素点的位置以及m个第二特征像素点的位置建立变换矩阵表达式，并对变换矩阵表达式进行最小二乘拟合计算，得到变换矩阵。

在第二方面的又一种可选方案中，第三处理模块包括：

第一构建单元，用于基于处理后的第一帧待处理图像中的每个像素点位置构建第一矩阵表达式；

第二构建单元，用于基于处理后的第一帧待处理图像中每个像素点的瞬时速度以及两帧待处理图像之间的时间间隔，构建第二矩阵表达式；

第六处理单元，用于基于第一矩阵表达式、第二矩阵表达式以及变换矩阵，得到待插入云图的像素点位置。

在第二方面的又一种可选方案中，第六处理单元具体用于：

基于第一矩阵表达式、第二矩阵表达式以及变换矩阵，得到待插入云图的初始像素点位置；

根据第二帧待处理图像中的像素点位置确定出位置区间；

基于位置区间对待插入云图的初始像素点位置进行过滤处理，得到待插入云图的像素点位置。

在第二方面的又一种可选方案中，第三处理模块还包括：

生成单元，用于基于待插入云图的像素点位置生成待插入云图；

第七处理单元，用于对待插入云图以及第二帧待处理图像进行融合处理，并将第二帧待处理图像替换为处理后的第二帧待处理图像。

第三方面，本申请实施例还提供了一种手持声成像设备的云图显示装置，装置应用于声成像设备，装置包括处理器以及存储器；

处理器与存储器连接；

存储器，用于存储可执行程序代码；

处理器通过读取存储器中存储的可执行程序代码来运行与可执行程序代码对应的程序，以用于实现本申请实施例第一方面或第一方面的任意一种实现方式提供的手持声成像设备的云图显示方法。

第四方面，本申请实施例提供了一种计算机存储介质，计算机存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，可实现本申请实施例第一方面或第一方面的任意一种实现方式提供的手持声成像设备的云图显示方法。

在本申请实施例中，声成像设备在进行云图显示时，可先基于声成像设备采集两帧连续的待处理图像；接着根据第一帧待处理图像中的像素点位置以及两帧待处理图像之间的时间间隔，计算出第一帧待处理图像中每个像素点的移动速度；基于第一帧待处理图像中每个像素点的移动速度对第一帧待处理图像进行过滤处理，并根据处理后的第一帧待处理图像中的像素点位置以及第二帧待处理图像中的像素点位置得到变换矩阵；根据处理后的第一帧待处理图像中的像素点位置以及变换矩阵，计算出待插入云图的像素点位置，并基于待插入云图的像素点位置在第二帧待处理图像上显示待插入云图。通过计算像素点的移动速度来准确判断并过滤出与噪声对应的像素点，可有效保障显示云图的准确性；且还可通过计算出待插入云图的像素点位置来将未显示出的云图补充在图像中，以使显示的云图更加完整。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种手持声成像设备的云图显示方法的流程示意图；

图2为本申请实施例提供的一种手持声成像设备的云图显示效果示意图；

图3为本申请实施例提供的一种手持声成像设备的云图显示装置的结构示意图；

图4为本申请实施例提供的一种声成像设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在下述介绍中，术语“第一”、“第二”仅为用于描述的目的，而不能理解为指示或暗示相对重要性。下述介绍提供了本申请的多个实施例，不同实施例之间可以替换或者合并组合，因此本申请也可认为包含所记载的相同和/或不同实施例的所有可能组合。因而，如果一个实施例包含特征A、B、C，另一个实施例包含特征B、D，那么本申请也应视为包括含有A、B、C、D的一个或多个所有其他可能的组合的实施例，尽管该实施例可能并未在以下内容中有明确的文字记载。

下面的描述提供了示例，并且不对权利要求书中阐述的范围、适用性或示例进行限制。可以在不脱离本申请内容的范围的情况下，对描述的元素的功能和布置做出改变。各个示例可以适当省略、替代或添加各种过程或组件。例如所描述的方法可以以所描述的顺序不同的顺序来执行，并且可以添加、省略或组合各种步骤。此外，可以将关于一些示例描述的特征组合到其他示例中。

请参阅图1，图1示出了本申请实施例提供的一种手持声成像设备的云图显示方法的流程示意图。

如图1所示，该手持声成像设备的云图显示方法至少可以包括以下步骤：

步骤102、基于声成像设备采集两帧连续的待处理图像。

在本申请实施例中该手持声成像设备的云图显示方法可应用于声成像设备，该声成像设备可在预设时间间隔内采集多帧连续的生成有云图的图像，每帧图像中可以但不局限于包括至少一个与发声位置对应的云图。可以理解的是，该声成像设备在采集到的图像中所生成的云图颜色可与图像颜色不一致，例如该声成像设备可将采集到的图像显示为灰度图像，并可将生成的云图在图像中显示为彩色图像。

此处可参阅图2示出的本申请实施例提供的一种手持声成像设备的云图显示效果示意图。如图2所示，该图中由声成像设备所采集到的图像显示为灰度图像，所生成的与发声位置对应的云图显示为彩色图像（图中由于经过灰度处理显示不出来，具体为标号1所处区域），且该云图的显示轮廓与所采集到的图像存在明显差异。

具体地，声成像设备在进行云图显示时，可先基于声成像设备的摄像头采集两帧连续的待处理图像，该两帧连续的待处理图像可以但不局限于分别表示为第一帧待处理图像以及第二帧待处理图像，该第一帧待处理图像与第二帧待处理图像之间的时间间隔为声成像设备采集每帧图像的时间间隔，且为了保障该第一帧待处理图像与第二帧待处理图像之间的关联性，可在预设时间间隔内采集该第一帧待处理图像以及该第二帧待处理图像。

可以理解的是，为进一步提高声成像设备的成像效率，本申请实施例中还可由声成像设备在预设时间间隔内采集多帧待处理图像，并可从该多帧待处理图像中提取出两帧待处理图像，按照时间先后顺序分别表示为第一帧待处理图像以及第二帧待处理图像。其中，从该多帧待处理图像中提取出两帧待处理图像的方式可以但不局限于为随机抽取，或是对每帧待处理图像进行特征提取，并根据特征提取的结果确定出两帧待处理图像，此处不限定因此。

当然，在上述提到的第一帧待处理图像以及第二帧待处理图像中均可包含生成的云图，且每帧待处理图像中的云图的个数可为一个或多个。其中，第一帧待处理图像中云图的位置以及个数可与第二帧待处理图像中云图的位置以及个数不一致。

需要说明的是，为适应第一帧待处理图像与第二帧待处理图像之间较大的云图跳跃，可分别对第一帧待处理图像以及第二帧待处理图像进行卷积计算，以使第一帧待处理图像以及第二帧待处理图像中的像素点个数减少，进而降低该第一帧待处理图像以及第二帧待处理图像的分辨率。

步骤104、根据第一帧待处理图像中的像素点位置以及两帧待处理图像之间的时间间隔，计算出第一帧待处理图像中每个像素点的移动速度。

具体地，在得到第一帧待处理图像以及第二帧待处理图像之后，可根据该第一帧待处理图像中每个像素点位置以及该第一帧待处理图像与第二帧待处理图像之间的时间间隔，得到第一帧待处理图像中每个像素点的约束参数。

此处假设第一帧待处理图像以及第二帧待处理图像中的云图的灰度保持不变，并且时间间隔足够短，则可表明该第一帧待处理图像与第二帧待处理图像中像素点的移动偏差不大，基于此定义在t时刻第一帧待处理图像中每个像素点（位置可表示为x以及y）的灰度大小可表示为

，经过时间间隔

后每个像素点的灰度大小可表示为

。此处，第一帧待处理图像中每个像素点的位置可以但不局限于先基于第一帧待处理图像建立平面直角坐标系，并根据每个像素点在平面直角坐标系中的坐标确定相应在第一帧待处理图像中的位置。

根据云图的约束条件

，可得到第一帧待处理图像中每个像素点的约束参数。其中，该第一帧待处理图像中每个像素点在x轴方向上的约束参数可表示为

，该第一帧待处理图像中每个像素点在y轴方向上的约束参数可表示为

，该第一帧待处理图像中每个像素点在时间t上的约束参数可表示为

。

进一步的，由于一个区域内每个像素点可在短时间内可保障移动速度一致，基于此可先将第一帧待处理图像划分为n个待处理子图像，每个待处理子图像的大小可保持一致，且每个待处理子图像中可包括至少两个像素点。其中，每个待处理子图像中所对应的像素点的移动速度均保持一致。可以理解的是，每个待处理子图像中所对应的像素点的移动速度可包括在x轴方向上的移动速度以及在y轴方向撒花姑娘的移动速度。

进一步的，可基于每个待处理子图像中所有像素点的约束参数建立约束条件矩阵，并对约束条件矩阵进行最小二乘计算，得到每个待处理子图像中像素点的瞬时速度。其中，根据每个待处理子图像中所有像素点的约束参数所建立的约束条件矩阵可以但不局限于表示为：

上式中u可表示为每个待处理子图像中所有像素点在x轴方向上的瞬时速度，v可表示为每个待处理子图像中所有像素点在y轴方向上的瞬时速度。

接着，可通过最小二乘法得到每个待处理子图像中所有像素点的瞬时速度，其表达式可以但不局限于表示为：

进一步的，可根据每个待处理子图像中像素点的瞬时速度得到每个待处理子图像中像素点的移动速度，该每个待处理子图像中像素点的移动速度可以但不局限于表示为：

当然，本申请实施例中还可得到该每个待处理子图像中像素点的移动方向，其可以但不局限于表示为：

可以理解的是，在得到每个待处理子图像中所有像素点的移动速度之后，可将该每个待处理子图像中所有像素点的移动速度作为第一帧待处理图像中所有像素点的移动速度，也即是说该第一帧待处理图像中可包括多个区域，且每个区域内所有像素点的移动速度可保持一致。

步骤106、基于第一帧待处理图像中每个像素点的移动速度对第一帧待处理图像进行过滤处理，并根据处理后的第一帧待处理图像中的像素点位置以及第二帧待处理图像中的像素点位置得到变换矩阵。

具体地，在得到第一帧待处理图像中每个像素点的移动速度之后，可判断该第一帧待处理图像中每个待处理子图像中像素点的移动速度是否超过预设阈值，其中预设阈值可用于判断像素点是否为噪声像素点，可能的，当每个待处理子图像中像素点的移动速度超过预设阈值时，可表明该像素点在第一帧待处理图像与第二帧待处理图像中的运动轨迹为来回跳动，也即属于噪声像素点，可对该像素点进行过滤处理。可能的，当每个待处理子图像中像素点的移动速度未超过预设阈值时，可表明该像素点在第一帧待处理图像与第二帧待处理图像中的运动轨迹为正常移动，则可对该像素点进行保留。

进一步的，在对第一帧待处理图像中的噪声像素点进行过滤处理之后，考虑到手持声成像设备显示的图像还易因抖动而发生移动现象，进而造成显示图像的精度不高，可先对该处理后的第一帧待处理图像进行角点检测，以提取出m个第一特征像素点，该第一特征像素点可为第一帧待处理图像中的关键特征像素点，提取该第一特征像素点的方式可以但不局限于根据Ｓｈｉ－Ｔｏｍａsｉ角点检测法在第一帧待处理图像中选取出9个第一特征像素点。

同样的，还可对第二帧待处理图像进行角点检测，以提取出m个第二特征像素点，该第二特征像素点可为第二帧待处理图像中的关键特征像素点，提取该第二特征像素点的方式可以但不局限于根据Ｓｈｉ－Ｔｏｍａsｉ角点检测法在第二帧待处理图像中选取出9个第二特征像素点。可以理解的是，在分别得到第一帧待处理图像中的9个第一特征像素点以及第二帧待处理图像中的9个第二特征像素点之后，还可基于暴力匹配器对该第一特征像素点以及第二特征像素点进行匹配，以使每个第一特征像素点与每个第二特征像素点对应。

进一步的，可基于m个第一特征像素点的位置以及m个第二特征像素点的位置建立变换矩阵表达式，并对变换矩阵表达式进行最小二乘拟合计算，得到变换矩阵。其中，变换矩阵表达式可以但不局限于表示为：

上式中，x以及y可表示为第一帧待处理图像中第一特征像素点的位置，

以及

可表示为第二帧待处理图像中第二特征像素点的位置。

通过对变换矩阵表达式进行最小二乘拟合计算，可得到变换矩阵，其可以但不局限于表示为：

步骤108、根据处理后的第一帧待处理图像中的像素点位置以及变换矩阵，计算出待插入云图的像素点位置，并基于待插入云图的像素点位置在第二帧待处理图像上显示待插入云图。

具体地，在计算待插入云图的像素点位置时，可先基于处理后的第一帧待处理图像中的每个像素点位置构建第一矩阵表达式，该第一矩阵表达式可以但不局限于表示为：

上式中，x可表示为第一帧待处理图像中每个像素点在x轴方向上的坐标，y可表示为第一帧待处理图像中每个像素点在y轴方向上的坐标。

进一步的，可基于处理后的第一帧待处理图像中每个像素点的瞬时速度以及两帧待处理图像之间的时间间隔，构建第二矩阵表达式，该第二矩阵表达式，可以但不局限于表示为：

上式中，u可表示为第一帧待处理图像中每个像素点在x轴方向的瞬时速度，v可表示为第一帧待处理图像中每个像素点在y轴方向的瞬时速度，

可表示为第一帧待处理图像与第二帧待处理图像之间的时间间隔，q可表示为第q个待插入云图，s可表示为待插入云图的总个数。

进一步的，可基于第一矩阵表达式、第二矩阵表达式以及变换矩阵，得到每个待插入云图的像素点位置，该每个待插入云图的像素点位置可以但不局限于表示为：

上式中，

可表示为第q个待插入云图在第二帧待处理图像中x轴方向的位置，

可表示为第q个待插入云图在第二帧待处理图像中y轴方向的位置。

作为本申请实施例的一种可选，基于第一矩阵表达式、第二矩阵表达式以及变换矩阵，得到待插入云图的像素点位置，包括：

基于第一矩阵表达式、第二矩阵表达式以及变换矩阵，得到待插入云图的初始像素点位置；

根据第二帧待处理图像中的像素点位置确定出位置区间；

基于位置区间对待插入云图的初始像素点位置进行过滤处理，得到待插入云图的像素点位置。

具体地，为了保障带插入云图的有效性，还可基于第二帧待处理图像中的像素点位置确定出位置区间，并将每个待插入云图中位置不属于位置区间的像素点进行过滤处理，以得到最终的待插入云图的像素点位置。

进一步的，在得到待插入云图的像素点位置之后，可先根据该待插入云图的像素点位置生成相应的待插入云图，并对该待插入云图以及第二帧待处理图像进行融合处理，以使该待插入云图显示在第二帧待处理图像中。接着，可将第二帧待处理图像替换为处理后的第二帧待处理图像，以使显示的第二帧待处理图像更加完整。

请参阅图3，图3示出了本申请实施例提供的一种手持声成像设备的云图显示装置的结构示意图。

如图3所示，该手持声成像设备的云图显示装置至少可以包括图像采集模块301、第一处理模块302、第二处理模块303以及第三处理模块304，其中：

图像采集模块301，用于基于声成像设备采集两帧连续的待处理图像；其中，每帧待处理图像显示有至少一个与发声位置对应的云图；

第一处理模块302，用于根据第一帧待处理图像中的像素点位置以及两帧待处理图像之间的时间间隔，计算出第一帧待处理图像中每个像素点的移动速度；

第二处理模块303，用于基于第一帧待处理图像中每个像素点的移动速度对第一帧待处理图像进行过滤处理，并根据处理后的第一帧待处理图像中的像素点位置以及第二帧待处理图像中的像素点位置得到变换矩阵；

第三处理模块304，用于根据处理后的第一帧待处理图像中的像素点位置以及变换矩阵，计算出待插入云图的像素点位置，并基于待插入云图的像素点位置在第二帧待处理图像上显示待插入云图。

在一些可能的实施例中，第一处理模块包括：

第一处理单元，用于根据第一帧待处理图像中每个像素点位置以及两帧待处理图像之间的时间间隔，得到第一帧待处理图像中每个像素点的约束参数；

划分单元，用于将第一帧待处理图像划分为n个待处理子图像；其中，每个待处理子图像中包括至少两个像素点，n为大于或等于2的正整数；

第二处理单元，用于基于每个待处理子图像中所有像素点的约束参数建立约束条件矩阵，并对约束条件矩阵进行最小二乘计算，得到每个待处理子图像中像素点的瞬时速度；

第三处理单元，用于根据每个待处理子图像中像素点的瞬时速度得到每个待处理子图像中像素点的移动速度，并将每个待处理子图像中像素点的移动速度作为第一帧待处理图像中每个像素点的移动速度。

在一些可能的实施例中，第二处理模块包括：

判断单元，用于判断每个待处理子图像中像素点的移动速度是否超过预设阈值；

第四处理单元，用于当检测到任意至少一个待处理子图像中像素点的移动速度超过预设阈值时，对任意至少一个待处理子图像中所有的像素点进行过滤处理。

在一些可能的实施例中，第二处理模块还包括：

第一提取单元，用于对处理后的第一帧待处理图像进行角点检测，提取出m个第一特征像素点；

第二提取单元，用于对第二帧待处理图像进行角点检测，提取出m个第二特征像素点；

第五处理单元，用于基于m个第一特征像素点的位置以及m个第二特征像素点的位置建立变换矩阵表达式，并对变换矩阵表达式进行最小二乘拟合计算，得到变换矩阵。

在一些可能的实施例中，第三处理模块包括：

第一构建单元，用于基于处理后的第一帧待处理图像中的每个像素点位置构建第一矩阵表达式；

第二构建单元，用于基于处理后的第一帧待处理图像中每个像素点的瞬时速度以及两帧待处理图像之间的时间间隔，构建第二矩阵表达式；

第六处理单元，用于基于第一矩阵表达式、第二矩阵表达式以及变换矩阵，得到待插入云图的像素点位置。

在一些可能的实施例中，第六处理单元具体用于：

基于第一矩阵表达式、第二矩阵表达式以及变换矩阵，得到待插入云图的初始像素点位置；

根据第二帧待处理图像中的像素点位置确定出位置区间；

基于位置区间对待插入云图的初始像素点位置进行过滤处理，得到待插入云图的像素点位置。

在一些可能的实施例中，第三处理模块还包括：

生成单元，用于基于待插入云图的像素点位置生成待插入云图；

第七处理单元，用于对待插入云图以及第二帧待处理图像进行融合处理，并将第二帧待处理图像替换为处理后的第二帧待处理图像。

本领域的技术人员可以清楚地了解到本申请实施例的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件，其中硬件例如可以是现场可编程门阵列（Field－ProgrammableGate Array，FPGA）、集成电路（Integrated Circuit，IC）等。

请参阅图4，图4示出了本申请实施例提供的一种声成像设备的结构示意图。

如图4所示，该声成像设备400可以包括：至少一个处理器401、至少一个网络接口404、用户接口403、存储器405以及至少一个通信总线402。

其中，通信总线402可用于实现上述各个组件的连接通信。

其中，用户接口403可以包括按键，可选用户接口还可以包括标准的有线接口、无线接口。

其中，网络接口404可以但不局限于包括蓝牙模块、NFC模块、Wi-Fi模块等。

其中，处理器401可以包括一个或者多个处理核心。处理器401利用各种接口和线路连接整个电子设备400内的各个部分，通过运行或执行存储在存储器405内的指令、程序、代码集或指令集，以及调用存储在存储器405内的数据，执行路由设备400的各种功能和处理数据。可选的，处理器401可以采用DSP、FPGA、PLA中的至少一种硬件形式来实现。处理器401可集成CPU、GPU和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器401中，单独通过一块芯片进行实现。

其中，存储器405可以包括RAM，也可以包括ROM。可选的，该存储器405包括非瞬时性计算机可读介质。存储器405可用于存储指令、程序、代码、代码集或指令集。存储器405可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器405可选的还可以是至少一个位于远离前述处理器401的存储装置。如图4所示，作为一种计算机存储介质的存储器405中可以包括操作系统、网络通信模块、用户接口模块以及手持声成像设备的云图显示应用程序。

具体地，处理器401可以用于调用存储器405中存储的手持声成像设备的云图显示应用程序，并具体执行以下操作：

基于声成像设备采集两帧连续的待处理图像；其中，每帧待处理图像显示有至少一个与发声位置对应的云图；

根据第一帧待处理图像中的像素点位置以及两帧待处理图像之间的时间间隔，计算出第一帧待处理图像中每个像素点的移动速度；

基于第一帧待处理图像中每个像素点的移动速度对第一帧待处理图像进行过滤处理，并根据处理后的第一帧待处理图像中的像素点位置以及第二帧待处理图像中的像素点位置得到变换矩阵；

根据处理后的第一帧待处理图像中的像素点位置以及变换矩阵，计算出待插入云图的像素点位置，并基于待插入云图的像素点位置在第二帧待处理图像上显示待插入云图。

在一些可能的实施例中，根据第一帧待处理图像中的像素点位置以及两帧待处理图像之间的时间间隔，计算出第一帧待处理图像中每个像素点的移动速度，包括：

根据第一帧待处理图像中每个像素点位置以及两帧待处理图像之间的时间间隔，得到第一帧待处理图像中每个像素点的约束参数；

将第一帧待处理图像划分为n个待处理子图像；其中，每个待处理子图像中包括至少两个像素点，n为大于或等于2的正整数；

基于每个待处理子图像中所有像素点的约束参数建立约束条件矩阵，并对约束条件矩阵进行最小二乘计算，得到每个待处理子图像中像素点的瞬时速度；

根据每个待处理子图像中像素点的瞬时速度得到每个待处理子图像中像素点的移动速度，并将每个待处理子图像中像素点的移动速度作为第一帧待处理图像中每个像素点的移动速度。

在一些可能的实施例中，基于第一帧待处理图像中每个像素点的移动速度对第一帧待处理图像进行过滤处理，包括：

判断每个待处理子图像中像素点的移动速度是否超过预设阈值；

当检测到任意至少一个待处理子图像中像素点的移动速度超过预设阈值时，对任意至少一个待处理子图像中所有的像素点进行过滤处理。

在一些可能的实施例中，根据处理后的第一帧待处理图像中的像素点位置以及第二帧待处理图像中的像素点位置得到变换矩阵，包括：

对处理后的第一帧待处理图像进行角点检测，提取出m个第一特征像素点；

对第二帧待处理图像进行角点检测，提取出m个第二特征像素点；

基于m个第一特征像素点的位置以及m个第二特征像素点的位置建立变换矩阵表达式，并对变换矩阵表达式进行最小二乘拟合计算，得到变换矩阵。

在一些可能的实施例中，根据处理后的第一帧待处理图像中的像素点位置以及变换矩阵，计算出待插入云图的像素点位置，包括：

基于处理后的第一帧待处理图像中的每个像素点位置构建第一矩阵表达式；

基于处理后的第一帧待处理图像中每个像素点的瞬时速度以及两帧待处理图像之间的时间间隔，构建第二矩阵表达式；

基于第一矩阵表达式、第二矩阵表达式以及变换矩阵，得到待插入云图的像素点位置。

在一些可能的实施例中，基于第一矩阵表达式、第二矩阵表达式以及变换矩阵，得到待插入云图的像素点位置，包括：

基于第一矩阵表达式、第二矩阵表达式以及变换矩阵，得到待插入云图的初始像素点位置；

根据第二帧待处理图像中的像素点位置确定出位置区间；

基于位置区间对待插入云图的初始像素点位置进行过滤处理，得到待插入云图的像素点位置。

在一些可能的实施例中，基于待插入云图的像素点位置在第二帧待处理图像上显示待插入云图，包括：

基于待插入云图的像素点位置生成待插入云图；

对待插入云图以及第二帧待处理图像进行融合处理，并将第二帧待处理图像替换为处理后的第二帧待处理图像。

本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。其中，计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统（包括分子存储器IC），或适合于存储指令和/或数据的任何类型的媒介或设备。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器（Read-Only Memory， ROM）、随机存取存储器（Random Access Memory，RAM）、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通进程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器（Read-Only Memory， ROM）、随机存取器（Random AccessMemory，RAM）、磁盘或光盘等。

以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。

Claims (10)

1.一种手持声成像设备的云图显示方法，其特征在于，所述方法应用于声成像设备，所述方法包括：

基于所述声成像设备采集两帧连续的待处理图像；其中，每帧所述待处理图像显示有至少一个与发声位置对应的云图；

根据第一帧所述待处理图像中的像素点位置以及两帧所述待处理图像之间的时间间隔，计算出第一帧所述待处理图像中每个像素点的移动速度；

基于所述第一帧所述待处理图像中每个像素点的移动速度对第一帧所述待处理图像进行过滤处理，并根据处理后的第一帧所述待处理图像中的像素点位置以及第二帧所述待处理图像中的像素点位置得到变换矩阵；

根据处理后的第一帧所述待处理图像中的像素点位置以及所述变换矩阵，计算出待插入云图的像素点位置，并基于所述待插入云图的像素点位置在第二帧所述待处理图像上显示所述待插入云图。

2.根据权利要求1所述的方法，其特征在于，所述根据第一帧所述待处理图像中的像素点位置以及两帧所述待处理图像之间的时间间隔，计算出第一帧所述待处理图像中每个像素点的移动速度，包括：

根据所述第一帧所述待处理图像中每个像素点位置以及两帧所述待处理图像之间的时间间隔，得到所述第一帧所述待处理图像中每个像素点的约束参数；

将第一帧所述待处理图像划分为n个待处理子图像；其中，每个待处理子图像中包括至少两个像素点，所述n为大于或等于2的正整数；

基于每个所述待处理子图像中所有像素点的约束参数建立约束条件矩阵，并对所述约束条件矩阵进行最小二乘计算，得到每个所述待处理子图像中像素点的瞬时速度；

根据所述每个所述待处理子图像中像素点的瞬时速度得到每个所述待处理子图像中像素点的移动速度，并将所述每个所述待处理子图像中像素点的移动速度作为第一帧所述待处理图像中每个像素点的移动速度。

3.根据权利要求2所述的方法，其特征在于，所述基于所述第一帧所述待处理图像中每个像素点的移动速度对第一帧所述待处理图像进行过滤处理，包括：

判断每个所述待处理子图像中像素点的移动速度是否超过预设阈值；

当检测到任意至少一个所述待处理子图像中像素点的移动速度超过所述预设阈值时，对所述任意至少一个所述待处理子图像中所有的像素点进行过滤处理。

4.根据权利要求1所述的方法，其特征在于，所述根据处理后的第一帧所述待处理图像中的像素点位置以及第二帧所述待处理图像中的像素点位置得到变换矩阵，包括：

对处理后的第一帧所述待处理图像进行角点检测，提取出m个第一特征像素点；

对第二帧所述待处理图像进行角点检测，提取出m个第二特征像素点；

基于m个所述第一特征像素点的位置以及m个所述第二特征像素点的位置建立变换矩阵表达式，并对所述变换矩阵表达式进行最小二乘拟合计算，得到变换矩阵。

5.根据权利要求2所述的方法，其特征在于，所述根据处理后的第一帧所述待处理图像中的像素点位置以及所述变换矩阵，计算出待插入云图的像素点位置，包括：

基于处理后的第一帧所述待处理图像中的每个像素点位置构建第一矩阵表达式；

基于处理后的第一帧所述待处理图像中每个像素点的瞬时速度以及所述两帧所述待处理图像之间的时间间隔，构建第二矩阵表达式；

基于所述第一矩阵表达式、所述第二矩阵表达式以及所述变换矩阵，得到待插入云图的像素点位置。

6.根据权利要求5所述的方法，其特征在于，所述基于所述第一矩阵表达式、所述第二矩阵表达式以及所述变换矩阵，得到待插入云图的像素点位置，包括：

基于所述第一矩阵表达式、所述第二矩阵表达式以及所述变换矩阵，得到待插入云图的初始像素点位置；

根据第二帧所述待处理图像中的像素点位置确定出位置区间；

基于所述位置区间对所述待插入云图的初始像素点位置进行过滤处理，得到待插入云图的像素点位置。

7.根据权利要求1所述的方法，其特征在于，所述基于所述待插入云图的像素点位置在第二帧所述待处理图像上显示所述待插入云图，包括：

基于所述待插入云图的像素点位置生成所述待插入云图；

对所述待插入云图以及第二帧所述待处理图像进行融合处理，并将第二帧所述待处理图像替换为处理后的第二帧所述待处理图像。

8.一种手持声成像设备的云图显示装置，其特征在于，所述装置应用于声成像设备，所述装置包括：

图像采集模块，用于基于所述声成像设备采集两帧连续的待处理图像；其中，每帧所述待处理图像显示有至少一个与发声位置对应的云图；

第一处理模块，用于根据第一帧所述待处理图像中的像素点位置以及两帧所述待处理图像之间的时间间隔，计算出第一帧所述待处理图像中每个像素点的移动速度；

第二处理模块，用于基于所述第一帧所述待处理图像中每个像素点的移动速度对第一帧所述待处理图像进行过滤处理，并根据处理后的第一帧所述待处理图像中的像素点位置以及第二帧所述待处理图像中的像素点位置得到变换矩阵；

第三处理模块，用于根据处理后的第一帧所述待处理图像中的像素点位置以及所述变换矩阵，计算出待插入云图的像素点位置，并基于所述待插入云图的像素点位置在第二帧所述待处理图像上显示所述待插入云图。

9.一种手持声成像设备的云图显示装置，其特征在于，所述装置应用于声成像设备，所述装置包括处理器以及存储器；

所述处理器与所述存储器连接；

所述存储器，用于存储可执行程序代码；

所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于执行如权利要求1-7任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在计算机或处理器上运行时，使得所述计算机或处理器执行如权利要求1-7任一项所述方法的步骤。

Images