CN118229540B - 一种头戴式显示设备的超声图像智能处理方法 - Google Patents

Abstract

本发明涉及图像数据处理技术领域，具体涉及一种头戴式显示设备的超声图像智能处理方法，包括：获取超声图像，将超声图像划分为若干个近似区域，根据每个近似区域与超声探头的距离、每个近似区域内所有像素点的灰度值以及不同灰度值的种类数量，得到每个近似区域的增强必要性，进而得到每个近似区域的增强系数，结合每个近似区域内所有像素点的灰度值，得到每个近似区域的更新灰度值映射范围，对所有近似区域分别进行直方图均衡化操作，得到增强超声图像，使用训练后的分割神经网络进行运算，得到病变区域。本发明根据不同区域所表现的不同灰度特征得到特定的灰度值映射范围，进行直方图均衡化操作，以获得可读性更强的图像处理结果。

Description

一种头戴式显示设备的超声图像智能处理方法

技术领域

本发明涉及图像数据处理技术领域，具体涉及一种头戴式显示设备的超声图像智能处理方法。

背景技术

超声图像是通过超声探头发射超声波投射至生物患病部位，发射的超声波穿过人体组织时，会遇到不同密度和声阻抗的组织界面，从而部分能量会被反射回来。这些反射波被探头接收后，经过放大、滤波、时域处理等一系列处理步骤，经过信号处理后将接收到的超声信号转换成灰度值的方式来呈现。搭载了超声成像技术的头戴式显示设备通过采集超声图像并无线传输可以实现远程的快速检查和诊断，提高医疗救援的效率和准确性。

超声图像中距离超声探头距离越远声波衰减越强，越远的区域越需要进行直方图均衡化的增强；部分区域已有较为明显的特征表现，这些区域就不需要再对其进行直方图均衡化的增强。传统的直方图均衡化对超声图像增强时会使超声图像同步增强，不能有效突出病变区域，限制增强效果，无法准确且高效地分割出超声图像中的病变区域。

发明内容

本发明提供一种头戴式显示设备的超声图像智能处理方法，以解决现有的问题。

本发明的一种头戴式显示设备的超声图像智能处理方法采用如下技术方案：

本发明一个实施例提供了一种头戴式显示设备的超声图像智能处理方法，该方法包括以下步骤：

获取超声图像；

将超声图像划分为若干个近似区域；

获取超声探头的位置；根据超声探头的位置、每个近似区域内所有像素点的灰度值以及不同灰度值的种类数量，得到每个近似区域的增强必要性；

根据每个近似区域内所有像素点的灰度值和每个近似区域的增强必要性，得到每个近似区域的增强系数；根据每个近似区域的增强系数和每个近似区域内像素点灰度值的大小，得到每个近似区域的更新灰度值映射范围；

在超声图像中，根据每个近似区域的更新灰度值映射范围，对所有近似区域分别进行直方图均衡化操作，得到增强超声图像；在增强超声图像中，使用训练后的分割神经网络进行运算，得到病变区域。

进一步地，所述将超声图像划分为若干个近似区域，包括的具体步骤如下：

使用K-means聚类算法对超声图像进行聚类操作，得到若干个簇类；

在超声图像中每个簇类内，将连续相邻的像素点构成的连通域，记为近似区域。

进一步地，所述获取超声探头的位置，包括的具体步骤如下：

使用直线检测算法对超声图像进行运算，获得超声图像的两条直线；

将超声图像的两条直线的交点，记为超声探头的位置。

进一步地，所述根据超声探头的位置、每个近似区域内所有像素点的灰度值以及不同灰度值的种类数量，得到每个近似区域的增强必要性，包括的具体步骤如下：

根据每个近似区域的面积、每个近似区域内所有像素点包含的不同灰度值的种类数量以及每个近似区域所属簇类包含的不同灰度值的种类数量，得到每个近似区域的特征含有情况；

根据每个近似区域的区域中心到超声探头的距离、所有像素点的灰度值以及每个近似区域的特征含有情况，得到每个近似区域的增强必要性。

进一步地，所述根据每个近似区域的面积、每个近似区域内所有像素点包含的不同灰度值的种类数量以及每个近似区域所属簇类包含的不同灰度值的种类数量，得到每个近似区域的特征含有情况的具体计算公式为：

其中，表示第i个近似区域的特征含有情况，为第i个近似区域的面积，为第i个近似区域所属簇类包含的不同灰度值的种类数量，为第i个近似区域内所有像素点包含的不同灰度值的种类数量。

进一步地，所述根据每个近似区域的区域中心到超声探头的距离、所有像素点的灰度值以及每个近似区域的特征含有情况，得到每个近似区域的增强必要性的具体计算公式为：

其中，表示第i个近似区域的增强必要性，为第i个近似区域的区域中心到超声探头的距离，为超声图像内所有像素点灰度值的平均值，为第i个近似区域内所有像素点灰度值的平均值，表示第i个近似区域的特征含有情况，为归一化函数。

进一步地，所述根据每个近似区域内所有像素点的灰度值和每个近似区域的增强必要性，得到每个近似区域的增强系数，包括的具体步骤如下：

根据每个近似区域的增强必要性，得到每个近似区域与其相邻区域增强必要性的差异程度；

根据每个近似区域内所有像素点的灰度值和每个近似区域与其相邻区域增强必要性的差异程度，得到每个近似区域的增强系数。

进一步地，所述根据每个近似区域内所有像素点的灰度值和每个近似区域与其相邻区域增强必要性的差异程度，得到每个近似区域的增强系数的具体计算公式为：

其中，为第i个近似区域的增强系数，为与第i个近似区域的相邻的近似区域的数量，为第i个近似区域内所有像素点的灰度值的平均值，为与第i个近似区域相邻的第s个近似区域内所有像素点的灰度值的平均值，为第i个近似区域的增强必要性，为与第i个近似区域相邻的第s个近似区域的增强必要性，为第i个近似区域与其相邻区域增强必要性的差异程度，为绝对值函数，为归一化函数。

进一步地，所述根据每个近似区域的增强系数和每个近似区域内像素点灰度值的大小，得到每个近似区域的更新灰度值映射范围，包括的具体步骤如下：

将每个近似区域内所有像素点的灰度值中的最小值，记为每个近似区域像素点的更新映射灰度值的下限值；

根据每个近似区域内所有像素点的灰度值中的最大值和每个近似区域的增强系数，得到每个近似区域像素点的更新映射灰度值的上限值；

根据每个近似区域像素点的更新映射灰度值的下限值和上限值，构成每个近似区域的更新灰度值映射范围。

进一步地，所述根据每个近似区域内所有像素点的灰度值中的最大值和每个近似区域的增强系数，得到每个近似区域像素点的更新映射灰度值的上限值的具体计算公式为：

其中，为第i个近似区域像素点的更新映射灰度值的上限值，为第i个近似区域的增强系数，为第i个近似区域内所有像素点的灰度值中的最大值，为预设的常数。

本发明的技术方案的有益效果是：

本发明实施例中，获取超声图像，将超声图像划分为若干个近似区域，根据超声探头的位置、每个近似区域内所有像素点的灰度值以及不同灰度值的种类数量，得到每个近似区域的增强必要性，其进一步结合每个近似区域内所有像素点的灰度值，得到每个近似区域的增强系数，保障了超声图像不会被整体全局性增强，根据每个近似区域的增强系数和每个近似区域内像素点灰度值的大小，得到每个近似区域的更新灰度值映射范围，提高了超声图像增强的准确性，在超声图像中，根据每个近似区域的更新灰度值映射范围，对所有近似区域分别进行直方图均衡化操作，得到增强超声图像；在增强超声图像中，使用训练后的分割神经网络进行运算，得到病变区域，从而提高了增强超声图像中病变区域检测的准确性。至此本发明根据不同区域所表现的不同灰度特征得到特定的灰度值映射范围，对所有近似区域分别进行直方图均衡化操作，以获得可读性更强的图像处理结果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明一种头戴式显示设备的超声图像智能处理方法的步骤流程图；

图2为超声图像；

图3为增强超声图像。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种头戴式显示设备的超声图像智能处理方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种头戴式显示设备的超声图像智能处理方法的具体方案。

请参阅图1，其示出了本发明一个实施例提供的一种头戴式显示设备的超声图像智能处理方法的步骤流程图，该方法包括以下步骤：

步骤S001：获取超声图像。

使用头戴式显示设备的超声图像采集模块采集反射的超声波信号，并将反射的超声波信号转换为灰度值，形成超声图像，如图2所示。

所需说明的是，本实施例中的超声图像为已经过均值滤波去噪处理后的图像，其中均值滤波为公知技术，具体方法在此不做介绍。

步骤S002：将超声图像划分为若干个近似区域。

使用K-means聚类算法对超声图像进行聚类操作，得到若干个簇类。

在超声图像中每个簇类内，将连续相邻的像素点构成的连通域，记为近似区域。

由此得到超声图像中每个簇类对应的若干个近似区域。

所需说明的是：K-means聚类算法中设置簇类数k=4，对超声图像进行K-means聚类，对不同簇类标记不同的RGB颜色值，获得K-means聚类结果图像，其中K-means聚类为公知技术，具体方法在此不做介绍。对于孤立像素点组成的连通域，将孤立像素点划分到孤立像素点八邻域中八个像素点占比最多的一个连通域中。

步骤S003：获取超声探头的位置；根据超声探头的位置、每个近似区域内所有像素点的灰度值以及不同灰度值的种类数量，得到每个近似区域的增强必要性。

使用直线检测算法对超声图像进行运算，获得超声图像的两条直线，其中直线检测算法为公知技术，具体方法在此不做介绍；

将超声图像的两条直线的交点，记为超声探头的位置；

所需说明的是，获取近似区域的区域中心的步骤为：以超声图像左下角顶点为坐标原点，水平向右、竖直向上为横轴、纵轴正方向，建立直角坐标系；在直角坐标系上，将每个近似区域内所有像素点坐标的均值所在的点，记为每个近似区域的区域中心的位置。

根据每个近似区域的面积、每个近似区域内所有像素点包含的不同灰度值的种类数量以及每个近似区域所属簇类包含的不同灰度值的种类数量，得到每个近似区域的特征含有情况。

若近似区域内存在特征则增强必要性越大，以近似区域的面积与近似区域内不同灰度值的种类数量表示区域内含有特征的情况，面积大且不同灰度值的种类数量多则近似区域内越可能存在特征，近似区域的增强必要性越大。

则每个近似区域的特征含有情况的具体计算公式为：

其中，表示第i个近似区域的特征含有情况，为第i个近似区域的面积，为第i个近似区域所属簇类包含的不同灰度值的种类数量，为第i个近似区域内所有像素点包含的不同灰度值的种类数量。

所需说明的是，表示第i个近似区域内像素点的不同灰度值的种类数量相对于其所在簇类整体的丰富程度，该值越小则第i个近似区域内像素点的不同灰度值的种类数量越接近其所在簇类的不同灰度值的种类数量，此处加1为防止分母为0；表示第i个近似区域的特征含有情况，该值越大说明第i个近似区域越可能存在特征，增强必要性越大。

根据每个近似区域的区域中心到超声探头的距离、所有像素点的灰度值以及每个近似区域的特征含有情况，得到每个近似区域的增强必要性的具体计算公式为：

其中，表示第i个近似区域的增强必要性，为第i个近似区域的区域中心到超声探头的距离，为超声图像内所有像素点灰度值的平均值，为第i个近似区域内所有像素点灰度值的平均值，表示第i个近似区域的特征含有情况，为归一化函数，将数据值归一化至区间内。

所需说明的是，每个近似区域到超声探头间的距离越远，则在进行超声探测时声波衰减程度越大，故距离超声探头越远的近似区域增强必要性越大；表示第i个近似区域在整个超声图像中像素点灰度值的高低水平，第i个近似区域内像素点的灰度值相对较小则为正数，第i个近似区域内像素点的灰度值相对较大则为负数，第i个近似区域内像素点的灰度值越小，增强必要性越大。

步骤S004：根据每个近似区域内所有像素点的灰度值和每个近似区域的增强必要性，得到每个近似区域的增强系数；根据每个近似区域的增强系数和每个近似区域内像素点灰度值的大小，得到每个近似区域的更新灰度值映射范围。

根据每个近似区域内所有像素点与其相邻近似区域内像素点之间的灰度值的差值和每个近似区域的增强必要性，得到每个近似区域的增强系数。

若某个近似区域内像素点的灰度值整体较小且近似区域内像素点的不同灰度值的种类较少，则计算得到的该近似区域的增强必要性结果也会偏小，而若该近似区域的相邻区域呈现更小的灰度值，则该近似区域与其相邻区域组合而成的区域表现出一定的纹理特征，需要对其进行增强；若某个近似区域不同灰度值的种类多，表现出一定的特征，而其周围区域灰度值较大，若对该区域过度增强则会导致其相邻区域的特征被弱化，需限制其增强系数。

则第i个近似区域的增强系数对应的具体计算公式为：

其中，为第i个近似区域的增强系数，为与第i个近似区域的相邻的近似区域的数量，为第i个近似区域内所有像素点的灰度值的平均值，为与第i个近似区域相邻的第s个近似区域内所有像素点的灰度值的平均值，为第i个近似区域的增强必要性，为与第i个近似区域相邻的第s个近似区域的增强必要性，表示第i个近似区域与其相邻区域增强必要性的差异程度，为绝对值函数，为归一化函数，将数据值归一化至区间内。

所需说明的是，表示第i个近似区域和与第i个近似区域相邻的第s个近似区域的整体灰度值的差值，差值越大则第i个近似区域的增强系数越大，差值为负数时表示第i个近似区域整体灰度值小于其相邻区域；表示第i个近似区域与其相邻区域增强必要性的差异程度，该值越大，则第i个近似区域与其相邻区域共同构成特征的概率越大，则第i个近似区域的增强系数越大，此处加1为防止分母为0；表示第i个近似区域相邻的近似区域中的第s个近似区域对第i个近似区域增强程度的影响，该值越大则对于第i个近似区域的增强程度越大；表示取第i个近似区域的所有相邻近似区域对第i个近似区域增强程度影响的均值作为第i个近似区域的增强系数。

根据第i个近似区域的增强系数确定其灰度值映射范围。在直方图均衡化进行图像增强时通常将灰度值映射到[0,255]的范围内，本实施例对每一个近似区域分别进行映射。

以第i个近似区域为例，将第i个近似区域内所有像素点的灰度值中的最小值，记为第i个近似区域像素点的更新映射灰度值的下限值；

根据第i个近似区域内所有像素点的灰度值中的最大值和第i个近似区域的增强系数，得到第i个近似区域像素点的更新映射灰度值的上限值的计算公式为：

其中，为第i个近似区域像素点的更新映射灰度值的上限值，为预设的常数，本实施例预设的常数为1.5，以此为例进行叙述，其它实施方式中可设置为其它值，本实施例不进行限定。

需要说明的是，若的值大于255，则取255作为更新映射灰度值的最大值。

根据第i个近似区域像素点的更新映射灰度值的下限值和上限值，构成第i个近似区域的更新灰度值映射范围。

按照上述方式，得到每个近似区域的更新灰度值映射范围。

步骤S005：在超声图像中，根据每个近似区域的更新灰度值映射范围，对所有近似区域分别进行直方图均衡化操作，得到增强超声图像；在增强超声图像中，使用训练后的分割神经网络进行运算，得到病变区域。

在超声图像中，根据每个近似区域的更新灰度值映射范围，使用直方图均衡化算法分别对所有近似区域进行直方图均衡化处理，得到增强超声图像。

所需说明的是，直方图均衡化处理在计算新的直方图时，以步骤S004得到的每个近似区域的更新灰度值映射范围代替[0,255]范围来确定每个近似区域内像素点新的灰度值，代替处理前的灰度值，构成增强超声图像，如图3所示。

本发明实施例采用分割神经网络来识别增强超声图像中的病变区域与正常区域。

分割神经网络的相关内容如下：

本实施例使用的分割神经网络为Mask R-CNN神经网络；使用的数据集为增强超声图像数据集。其中Mask R-CNN为公知技术，具体方法在此不做介绍。Mask R-CNN的中文全称是“掩膜区域卷积神经网络”，英文全称是“Mask Region-based Convolutional NeuralNetwork”。

需要分割的像素点，共分为2类，即训练集对应标签标注过程为：单通道的语义标签，对应位置像素点属于正常区域的标注为0，属于病变区域的标注为1。

网络的任务是分类，所以使用的loss函数为交叉熵损失函数。

通过分割神经网络得到增强图像中的病变区域与正常区域，此过程为公知技术，具体方法在此不做介绍。

至此，本发明完成。

综上所述，在本发明实施例中，获取超声图像，将超声图像划分为若干个近似区域，根据每个近似区域与超声探头的距离、每个近似区域内所有像素点的灰度值以及不同灰度值的种类数量，得到每个近似区域的增强必要性，进而得到每个近似区域的增强系数，结合每个近似区域内所有像素点的灰度值，得到每个近似区域的更新灰度值映射范围，对所有近似区域分别进行直方图均衡化操作，得到增强超声图像，使用训练后的分割神经网络进行运算，得到病变区域。本发明根据不同区域所表现的不同灰度特征得到特定的灰度值映射范围，进行直方图均衡化操作，以获得可读性更强的图像处理结果。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种头戴式显示设备的超声图像智能处理方法，其特征在于，该方法包括以下步骤：

获取超声图像；

将超声图像划分为若干个近似区域；

获取超声探头的位置；根据超声探头的位置、每个近似区域内所有像素点的灰度值以及不同灰度值的种类数量，得到每个近似区域的增强必要性；

根据每个近似区域内所有像素点的灰度值和每个近似区域的增强必要性，得到每个近似区域的增强系数；根据每个近似区域的增强系数和每个近似区域内像素点灰度值的大小，得到每个近似区域的更新灰度值映射范围；

在超声图像中，根据每个近似区域的更新灰度值映射范围，对所有近似区域分别进行直方图均衡化操作，得到增强超声图像；在增强超声图像中，使用训练后的分割神经网络进行运算，得到病变区域；

所述根据每个近似区域内所有像素点的灰度值和每个近似区域的增强必要性，得到每个近似区域的增强系数，包括的具体步骤如下：

根据每个近似区域的增强必要性，得到每个近似区域与其相邻区域增强必要性的差异程度；

根据每个近似区域内所有像素点的灰度值和每个近似区域与其相邻区域增强必要性的差异程度，得到每个近似区域的增强系数；

所述根据每个近似区域内所有像素点的灰度值和每个近似区域与其相邻区域增强必要性的差异程度，得到每个近似区域的增强系数的具体计算公式为：

其中，为第i个近似区域的增强系数，为与第i个近似区域的相邻的近似区域的数量，为第i个近似区域内所有像素点的灰度值的平均值，为与第i个近似区域相邻的第s个近似区域内所有像素点的灰度值的平均值，为第i个近似区域的增强必要性，为与第i个近似区域相邻的第s个近似区域的增强必要性，为第i个近似区域与其相邻区域增强必要性的差异程度，为绝对值函数，为归一化函数。

2.根据权利要求1所述一种头戴式显示设备的超声图像智能处理方法，其特征在于，所述将超声图像划分为若干个近似区域，包括的具体步骤如下：

使用K-means聚类算法对超声图像进行聚类操作，得到若干个簇类；

在超声图像中每个簇类内，将连续相邻的像素点构成的连通域，记为近似区域。

3.根据权利要求1所述一种头戴式显示设备的超声图像智能处理方法，其特征在于，所述获取超声探头的位置，包括的具体步骤如下：

使用直线检测算法对超声图像进行运算，获得超声图像的两条直线；

将超声图像的两条直线的交点，记为超声探头的位置。

4.根据权利要求2所述一种头戴式显示设备的超声图像智能处理方法，其特征在于，所述根据超声探头的位置、每个近似区域内所有像素点的灰度值以及不同灰度值的种类数量，得到每个近似区域的增强必要性，包括的具体步骤如下：

根据每个近似区域的面积、每个近似区域内所有像素点包含的不同灰度值的种类数量以及每个近似区域所属簇类包含的不同灰度值的种类数量，得到每个近似区域的特征含有情况；

根据每个近似区域的区域中心到超声探头的距离、所有像素点的灰度值以及每个近似区域的特征含有情况，得到每个近似区域的增强必要性。

5.根据权利要求4所述一种头戴式显示设备的超声图像智能处理方法，其特征在于，所述根据每个近似区域的面积、每个近似区域内所有像素点包含的不同灰度值的种类数量以及每个近似区域所属簇类包含的不同灰度值的种类数量，得到每个近似区域的特征含有情况的具体计算公式为：

其中，表示第i个近似区域的特征含有情况，为第i个近似区域的面积，为第i个近似区域所属簇类包含的不同灰度值的种类数量，为第i个近似区域内所有像素点包含的不同灰度值的种类数量。

6.根据权利要求4所述一种头戴式显示设备的超声图像智能处理方法，其特征在于，所述根据每个近似区域的区域中心到超声探头的距离、所有像素点的灰度值以及每个近似区域的特征含有情况，得到每个近似区域的增强必要性的具体计算公式为：

其中，表示第i个近似区域的增强必要性，为第i个近似区域的区域中心到超声探头的距离，为超声图像内所有像素点灰度值的平均值，为第i个近似区域内所有像素点灰度值的平均值，表示第i个近似区域的特征含有情况，为归一化函数。

7.根据权利要求1所述一种头戴式显示设备的超声图像智能处理方法，其特征在于，所述根据每个近似区域的增强系数和每个近似区域内像素点灰度值的大小，得到每个近似区域的更新灰度值映射范围，包括的具体步骤如下：

将每个近似区域内所有像素点的灰度值中的最小值，记为每个近似区域像素点的更新映射灰度值的下限值；

根据每个近似区域内所有像素点的灰度值中的最大值和每个近似区域的增强系数，得到每个近似区域像素点的更新映射灰度值的上限值；

根据每个近似区域像素点的更新映射灰度值的下限值和上限值，构成每个近似区域的更新灰度值映射范围。

8.根据权利要求7所述一种头戴式显示设备的超声图像智能处理方法，其特征在于，所述根据每个近似区域内所有像素点的灰度值中的最大值和每个近似区域的增强系数，得到每个近似区域像素点的更新映射灰度值的上限值的具体计算公式为：

其中，为第i个近似区域像素点的更新映射灰度值的上限值，为第i个近似区域的增强系数，为第i个近似区域内所有像素点的灰度值中的最大值，为预设的常数。