CN113706425B - 一种图像增强系统及便携式多普勒成像仪 - Google Patents

Abstract

本发明提供一种图像增强系统及便携式多普勒成像仪，包括：图像获取模块，用于获取预先采集得到的复数个图像对，每个图像对包括具有第一图像质量的第一图像和具有第二图像质量的第二图像，第一图像质量低于第二图像质量；图像处理模块，用于对第二图像进行处理得到标准差异向量；模型训练模块，用于将各第一图像作为输入，将对应的标准差异向量作为输出训练得到图像增强模型；图像增强模块，用于将获取得到的具有第一图像质量的待增强图像输入图像增强模型处理得到预测差异向量，并根据预测差异向量处理得到具有第二图像质量的增强图像。有益效果是该图像增强模型可以方便移植至便携式成像设备中，有效提升其成像效果的同时经济实用，节约成本。

Description

一种图像增强系统及便携式多普勒成像仪

技术领域

本发明涉及图像处理技术领域，尤其涉及一种图像增强系统及便携式多普勒成像仪。

背景技术

医学影像，如X射线成像、CT成像、磁共振成像、超声成像和核医学成像等，能让医生除接触和解剖外，了解患者身体内部形态、功能、代谢等改变，对诊断患者病因、病情有重要作用。医学影像在医学临床诊断中有着极为重要的地位，现代医学离不开医学影像技术。

医学影像的成像设备通常体积较大且价格昂贵，在需要进行医学影像检查时需要去医院就诊，但随着生活水平的提高，个人对于家用或者便携式医学影像成像设备的需求逐渐增加，如便携式多普勒诊断仪，可以方便地进行超声影像检查，而无需去医院就诊，为人们进行医学影像检查带来了极大的便捷性。但家用或便携式医学影像成像设备受限于制作材料和工艺，其成像效果远不如医院的大型成像设备，如何对家用或便携式医学影像成像设备的图像进行增强成为亟需解决的技术问题。

发明内容

针对现有技术中存在的问题，本发明提供一种图像增强系统，包括：

图像获取模块，用于获取预先采集得到的复数个图像对，每个所述图像对包括具有一第一图像质量的一第一图像和具有一第二图像质量的一第二图像，所述第一图像质量低于所述第二图像质量；

图像处理模块，连接所述图像获取模块，用于针对每个所述图像对，对所述第二图像进行处理得到一标准差异向量；

模型训练模块，分别连接所述图像获取模块和所述图像处理模块，用于将各所述第一图像作为输入，将对应的所述标准差异向量作为输出训练得到一图像增强模型；

图像增强模块，连接所述模型训练模块，用于将获取得到的具有所述第一图像质量的一待增强图像输入所述图像增强模型处理得到一预测差异向量，并根据所述预测差异向量处理得到具有所述第二图像质量的增强图像。

优选的，所述图像处理模块包括：

第一处理子模块，用于对所述第二图像进行图像处理得到至少一标准差异矩阵；

第二处理子模块，连接所述第一处理子模块，用于对所述标准差异矩阵进行降维处理得到所述标准差异向量。

优选的，所述标准差异矩阵包括灰度差异矩阵、边缘变化差异矩阵、梯度变化差异矩阵和频谱差异矩阵中的至少一种。

优选的，所述标准差异矩阵包括所述频谱差异矩阵；

则所述第一处理子模块包括：

第一处理模块，用于根据所述第二图像中的每个像素点的灰度值，对所述第二图像进行均值滤波得到所述灰度差异矩阵；

第二处理模块，连接所述第一处理模块，用于根据所述第二图像和所述灰度差异矩阵处理得到所述边缘变化差异矩阵；

第三处理模块，连接所述第二处理模块，用于根据所述第二图像和所述边缘变化差异矩阵处理得到所述梯度变化差异矩阵；

第四处理模块，连接所述第三处理模块，用于根据所述第二图像和所述梯度变化差异矩阵处理得到所述频谱差异矩阵。

优选的，所述第二处理模块包括：

第一处理单元，用于针对每个所述像素点，计算所述第二图像与所述灰度差异矩阵之间的灰度差值得到对应的一第一特征图；

第二处理单元，连接所述第一处理单元，用于对所述第一特征图进行积分处理得到所述边缘变化差异矩阵。

优选的，所述第三处理模块包括：

第三处理单元，用于针对每个所述像素点，计算所述第一特征图与所述边缘变化差异矩阵之间的灰度比值得到对应的一第二特征图；

第四处理单元，连接所述第三处理单元，用于对所述第二特征图进行二次梯度处理得到所述梯度变化差异矩阵。

优选的，所述第四处理模块包括：

第五处理单元，用于针对每个所述像素点，计算所述第二特征图与所述梯度变化差异矩阵之间的灰度差值得到对应的一第三特征图；

第六处理单元，连接所述第五处理单元，用于对所述第三特征图进行傅里叶变换得到对应的一频域图像，并根据所述频域图像中的各所述像素点的灰度值的实数部分形成所述频谱差异矩阵。

优选的，所述第二处理子模块包括：

降维处理模块，用于针对每个所述标准差异矩阵，分别采用奇异值分解算法进行降维处理得到对应的一左奇异矩阵、一奇异值矩阵和一右奇异矩阵；

矩阵合并模块，连接所述降维处理模块，用于根据预先配置的合并规则将各所述左奇异矩阵、所述奇异值矩阵和所述右奇异矩阵进行合并得到所述标准差异向量。

优选的，所述图像增强模块包括：

规则存储单元，用于保存预先配置的与所述合并规则具有互逆关系的拆分规则；

预测单元，用于将获取得到的具有所述第一图像质量的所述待增强图像输入所述图像增强模型处理得到所述预测差异向量；

拆分单元，分别连接所述规则存储单元和所述预测单元，用于根据所述拆分规则对所述预测差异向量进行拆分处理得到对应的预测差异矩阵；

增强单元，连接所述拆分单元，用于根据所述预测差异矩阵处理得到具有所述第二图像质量的所述增强图像。

本发明还提供一种便携式多普勒成像仪，所述便携式多普勒成像仪中配置有上述图像增强模型和所述图像增强模块，且作为所述图像增强模型的训练数据的所述第一图像由所述便携式多普勒成像仪采集得到，所述第二图像由大型多普勒成像仪采集得到。

上述技术方案具有如下优点或有益效果：

1)通过图像增强模型对低质量的图像进行处理得到相应的高质量的图像，有效提升成像效果，具有极大地使用及推广价值；

2)该图像增强模型可以方便移植至便携式成像设备中，对便携式成像设备的硬件配置要求相对较低，有效提升其成像效果的同时经济实用，节约成本。

附图说明

图1为本发明的较佳的实施例中，一种图像增强系统的结构示意图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式，只要符合本发明的主旨，则其他实施方式也可以属于本发明的范畴。

本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种图像增强系统，如图1所示，包括：

图像获取模块1，用于获取预先采集得到的复数个图像对，每个图像对包括具有一第一图像质量的一第一图像和具有一第二图像质量的一第二图像，第一图像质量低于第二图像质量；

图像处理模块2，连接图像获取模块1，用于针对每个图像对，对第二图像进行处理得到一标准差异向量；

模型训练模块3，分别连接图像获取模块1和图像处理模块2，用于将各第一图像作为输入，将对应的标准差异向量作为输出训练得到一图像增强模型；

图像增强模块4，连接模型训练模块3，用于将获取得到的具有第一图像质量的一待增强图像输入图像增强模型处理得到一预测差异向量，并根据预测差异向量处理得到具有第二图像质量的增强图像。

具体地，本实施例中，本发明的图像增强系统基于深度学习方式实现，通过训练得到的图像增强模型，能够有效提升待增强图像的成像效果。作为优选的实施方式，在使用时，可以将该图像增强模型以及对应的图像增强模块配置于一低质量成像设备中，以对该低质量成像设备直接采集得到的具有第一图像质量的图像进行处理得到具有第二图像质量的图像最终输出。进一步地，由于采集得到高质量图像通常需要高质量成像设备，为实现高质量成像，对应的高质量成像设备通常具有较高的硬件配置需求进而使其体积较大，通过本发明的图像增强系统，能够有效提升小型化低质量成像设备的成像效果，且对其硬件配置要求相对较低，经济实用，节约成本，有极大地使用及推广价值。

进一步具体地，为使得采集得到的具有第一图像质量的图像能够具有第二图像质量的成效效果，首先要进行图像增强模型的训练，本实施例中，通过采集多个图像对作为训练数据，其中每个图像对中对应包含具有第一图像质量的第一图像和具有第二图像质量的第二图像。以第一图像和第二图像为超声图像为例，本发明的较佳的实施例中，每个图像对中的第一图像和第二图像为采集同一部位的超声图像。

本实施例中，在进行训练之前，首先处理得到表示每个图像对中的第二图像的图像质量的标准差异向量，随后将每个图像对中的第一图像作为输入，将对应的标准差异向量作为标签训练得到图像增强模型。本发明的较佳的实施例中，上述图像增强模型可以是回归网络模型，在训练过程中，可以选用L1作为损失函数。

在图像增强模型训练完成后，在使用时，可以将待增强图像输入图像增强模型，但由于该图像增强模型的输出为对应的预测差异向量，需要基于训练之前处理得到标准差异向量的过程，进行相应的逆运算以得到具有第二图像质量的增强图像。

作为优选的实施方式，上述图像增强模型以及对应的图像增强模块可以配置于医学成像设备上进行医学影像的增强，该医学成像设备优选为家用医学成像设备或便携式医学成像设备，其由于制造材料及工艺限制影响成像效果，通过配置上述图像增强模型以及图像增强模块，在成像输出之前首先将通过该医学成像设备直接采集得到的医学影像输入图像增强模块进行处理最终得到高图像质量的增强图像。

进一步地，在需要对上述医学成像设备进行图像增强时，在图像增强模型的训练阶段，训练数据中对应的具有第一图像质量的第一图像可以是通过该医学成像设备直接采集得到的图像，具有第二图像质量的第二图像可以是通过医院的大型医学成像设备采集得到图像。

本发明的较佳的实施例中，图像处理模块2包括：

第一处理子模块21，用于对第二图像进行处理得到至少一标准差异矩阵；

第二处理子模块22，连接第一处理子模块21，用于对标准差异矩阵进行降维处理得到标准差异向量。

本发明的较佳的实施例中，标准差异矩阵为灰度差异矩阵、边缘变化差异矩阵、梯度变化差异矩阵和频谱差异矩阵中的至少一种。

具体地，本实施例中，在进行模型训练时，可以根据需求选取上述四种标准差异矩阵中的一种或多种表征第二图像的图像质量。上述根据需求可以是根据最终想要输出的图像质量需求或者根据算力需求，其中，同时选择多种标准差异矩阵优选具有更好的成像效果。

本发明的较佳的实施例中，标准差异矩阵包括频谱差异矩阵；

则第一处理子模块21包括：

第一处理模块211，用于根据第二图像中的每个像素点的灰度值，对第二图像进行均值滤波得到灰度差异矩阵；

第二处理模块212，连接第一处理模块211，用于根据第二图像和灰度差异矩阵处理得到边缘变化差异矩阵；

第三处理模块213，连接第二处理模块212，用于根据第二图像和边缘变化差异矩阵处理得到梯度变化差异矩阵；

第四处理模块214，连接第三处理模块213，用于根据第二图像和梯度变化差异矩阵处理得到频谱差异矩阵。

具体地，本实施例中，可以看出，若训练时仅需要计算灰度差异矩阵，则第一处理子模块21可以只需要对应配置第一处理模块211即可，若需要计算边缘变化差异矩阵，则第一处理子模块21需要对应配置第一处理模块211进行灰度差异矩阵的计算，进而基于计算结果通过第二处理模块212处理得到边缘变化差异矩阵，以此类推。但若需要计算频谱差异矩阵，无论在训练时是否需要其他标准差异矩阵，均需要配置上述第一处理模块至第四处理模块进行计算。

本发明的较佳的实施例中，第二处理模块212包括：

第一处理单元2121，用于针对每个像素点，计算第二图像与灰度差异矩阵之间的灰度差值得到对应的一第一特征图；

第二处理单元2122，连接第一处理单元2121，用于对第一特征图进行积分处理得到边缘变化差异矩阵。

作为优选的实施方式，上述第二图像的尺寸可以是128*128，在进行均值滤波时，可以构建一个16*16的滤波模板，则得到的灰度差异矩阵为8*8的矩阵。第一处理单元2121在计算第二图像与灰度差异矩阵之间的灰度差值时，作为优选的实施方式，针对第二图像中位于右上角的16*16个像素点，分别计算将各像素点的灰度值与灰度差异矩阵中右上角的元素值之间的差值作为第一特征图的右上角的16*16个像素点的灰度值，得到图像尺寸为128*128的第一特征图，进而对第一特征图进行积分处理得到边缘变化差异矩阵。

本发明的较佳的实施例中，第三处理模块213包括：

第三处理单元2131，用于针对每个像素点，计算第一特征图与边缘变化差异矩阵之间的灰度比值得到对应的一第二特征图；

第四处理单元2132，连接第三处理单元2131，用于对第二特征图进行二次梯度处理得到梯度变化差异矩阵。

具体地，本实施例中，上述二次梯度处理具体包括：首先对第二特征图进行梯度处理得到一梯度特征图，随后对该梯度特征图再执行一次梯度处理得到上述梯度变化差异矩阵通过二次梯度处理，更能反馈对应图像的梯度变化状态。

本发明的较佳的实施例中，第四处理模块214包括：

第五处理单元2141，用于针对每个像素点，计算第二特征图与梯度变化差异矩阵之间的灰度差值得到对应的一第三特征图；

第六处理单元2142，连接第五处理单元2141，用于对第三特征图进行傅里叶变换得到对应的一频域图像，并根据频域图像中的各像素点的灰度值的实数部分形成频谱差异矩阵。

本发明的较佳的实施例中，第二处理子模块22包括：

降维处理模块221，用于针对每个标准差异矩阵，分别采用奇异值分解算法进行降维处理得到对应的一左奇异矩阵、一奇异值矩阵和一右奇异矩阵；

矩阵合并模块222，连接降维处理模块221，用于根据预先配置的合并规则将各左奇异矩阵、奇异值矩阵和右奇异矩阵进行合并得到标准差异向量。

具体地，本实施例中，在标准差异矩阵为一个时，以该标准差异矩阵为M*N的矩阵为例，则左奇异矩阵为M*R的降维矩阵，奇异值矩阵为R*R的降维矩阵，右奇异矩阵为R*N的降维矩阵，在进行合并时，对应的合并规则可以是保持各降维矩阵中的元素值依次排列，各降维矩阵之间可以按照左奇异矩阵、奇异值矩阵和右奇异矩阵排列以形成(M*R+R*R+R*N)*1的矩阵或1*(M*R+R*R+R*N)的矩阵作为标准差异向量。其中。上述合并规则中，左奇异矩阵、奇异值矩阵和右奇异矩阵的排列顺序不限。

在标准差异矩阵为多个时，如四个，以每个标准差异矩阵为M*N的矩阵为例，则对应的合并规则可以是先将四个M*R的左奇异矩阵先进行合并得到包括但不限于4M*R的子合并矩阵，其中，在合并时，每个左奇异矩阵中的元素作为一个整体排列不变，同样地，将四个R*R的奇异值矩阵之间进行合并得到包括但不限于4R*R，将四个R*N的右奇异矩阵之间进行合并得到包括但不限于4R*N子合并矩阵，随后将四个子合并矩阵进一步合并以形成(4M*R+4R*R+4R*N)*1的矩阵或1*(4M*R+4R*R+4R*N)的矩阵作为标准差异向量。其中，上述合并规则中，以左奇异矩阵为例，合并形成子合并矩阵时，是将各左奇异矩阵直接按行排列拼接得到。上述合并规则仅作为本技术方案的一个实施方式，可以根据需求进行自由组合，并不以此对本技术方案进行限定。

本发明的较佳的实施例中，图像增强模块4包括：

规则存储单元41，用于保存预先配置的与合并规则具有互逆关系的拆分规则；

预测单元42，用于将获取得到的具有第一图像质量的待增强图像输入图像增强模型处理得到预测差异向量；

拆分单元43，分别连接规则存储单元41和预测单元42，用于根据拆分规则对预测差异向量进行拆分处理得到对应的预测差异矩阵；

增强单元44，连接拆分单元43，用于根据预测差异矩阵处理得到具有第二图像质量的增强图像。

具体地，本实施例中，通过配置拆分规则，可以将预测差异向量拆分得到相应的预测差异矩阵，以该预测差异矩阵包括灰度差异矩阵、边缘变化差异矩阵、梯度变化差异矩阵和频谱差异矩阵为例，增强单元4首先对频谱差异矩阵进行傅里叶反变换，随后将傅里叶反变换的结果与梯度变化差异矩阵对应的像素点的取值进行相加，随后将相加的结果与边缘变化差异矩阵对应的像素点的取值相乘，最后与灰度差异矩阵对应的像素点的取值进行相加得到上述增强图像。

本发明还提供一种便携式多普勒成像仪，便携式多普勒成像仪中配置有上述图像增强模型和图像增强模块，且作为图像增强模型的训练数据的第一图像由便携式多普勒成像仪采集得到，第二图像由大型多普勒成像仪采集得到。

以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。

Claims (7)

1.一种图像增强系统，其特征在于，包括：

图像获取模块，用于获取预先采集得到的复数个图像对，每个所述图像对包括具有一第一图像质量的一第一图像和具有一第二图像质量的一第二图像，所述第一图像质量低于所述第二图像质量；

图像处理模块，连接所述图像获取模块，用于针对每个所述图像对，对所述第二图像进行处理得到一标准差异向量；

模型训练模块，分别连接所述图像获取模块和所述图像处理模块，用于将各所述第一图像作为输入，将对应的所述标准差异向量作为输出训练得到一图像增强模型；

图像增强模块，连接所述模型训练模块，用于将获取得到的具有所述第一图像质量的一待增强图像输入所述图像增强模型处理得到一预测差异向量，并根据所述预测差异向量处理得到具有所述第二图像质量的增强图像；

所述图像处理模块包括：

第一处理子模块，用于对所述第二图像进行处理得到至少一标准差异矩阵；

第二处理子模块，连接所述第一处理子模块，用于对所述标准差异矩阵进行降维处理得到所述标准差异向量；

所述标准差异矩阵包括灰度差异矩阵、边缘变化差异矩阵、梯度变化差异矩阵和频谱差异矩阵；

所述第一处理子模块包括：

第一处理模块，用于根据所述第二图像中的每个像素点的灰度值对所述第二图像进行均值滤波得到所述灰度差异矩阵；

第二处理模块，连接所述第一处理模块，用于根据所述第二图像和所述灰度差异矩阵处理得到所述边缘变化差异矩阵；

第三处理模块，连接所述第二处理模块，用于根据所述第二图像和所述边缘变化差异矩阵处理得到所述梯度变化差异矩阵；

第四处理模块，连接所述第三处理模块，用于根据所述第二图像和所述梯度变化差异矩阵处理得到所述频谱差异矩阵。

2.根据权利要求1所述的图像增强系统，其特征在于，所述第二处理模块包括：

第一处理单元，用于针对每个所述像素点，计算所述第二图像与所述灰度差异矩阵之间的灰度差值得到对应的一第一特征图；

第二处理单元，连接所述第一处理单元，用于对所述第一特征图进行积分处理得到所述边缘变化差异矩阵。

3.根据权利要求2所述的图像增强系统，其特征在于，所述第三处理模块包括：

第三处理单元，用于针对每个所述像素点，计算所述第一特征图与所述边缘变化差异矩阵之间的灰度比值得到对应的一第二特征图；

第四处理单元，连接所述第三处理单元，用于对所述第二特征图进行二次梯度处理得到所述梯度变化差异矩阵。

4.根据权利要求3所述的图像增强系统，其特征在于，所述第四处理模块包括：

第五处理单元，用于针对每个所述像素点，计算所述第二特征图与所述梯度变化差异矩阵之间的灰度差值得到对应的一第三特征图；

第六处理单元，连接所述第五处理单元，用于对所述第三特征图进行傅里叶变换得到对应的一频域图像，并根据所述频域图像中的各所述像素点的灰度值的实数部分形成所述频谱差异矩阵。

5.根据权利要求1所述的图像增强系统，其特征在于，所述第二处理子模块包括：

降维处理模块，用于针对每个所述标准差异矩阵，分别采用奇异值分解算法进行降维处理得到对应的一左奇异矩阵、一奇异值矩阵和一右奇异矩阵；

矩阵合并模块，连接所述降维处理模块，用于根据预先配置的合并规则将各所述左奇异矩阵、所述奇异值矩阵和所述右奇异矩阵进行合并得到所述标准差异向量。

6.根据权利要求5所述的图像增强系统，其特征在于，所述图像增强模块包括：

规则存储单元，用于保存预先配置的与所述合并规则具有互逆关系的拆分规则；

预测单元，用于将获取得到的具有所述第一图像质量的所述待增强图像输入所述图像增强模型处理得到所述预测差异向量；

拆分单元，分别连接所述规则存储单元和所述预测单元，用于根据所述拆分规则对所述预测差异向量进行拆分处理得到对应的预测差异矩阵；

增强单元，连接所述拆分单元，用于根据所述预测差异矩阵处理得到具有所述第二图像质量的所述增强图像。

7.一种便携式多普勒成像仪，其特征在于，所述便携式多普勒成像仪中配置有如权利要求1中所述图像增强模型和所述图像增强模块，且作为所述图像增强模型的训练数据的所述第一图像由所述便携式多普勒成像仪采集得到，所述第二图像由大型多普勒成像仪采集得到。