发明内容
本发明的目的在于提供一种基于AI的图像处理方法、装置、设备及可读存储介质,以改善上述问题。为了实现上述目的,本发明采取的技术方案如下:
第一方面,本申请提供了一种基于AI的图像处理方法,包括:
获取原始图像,对所述原始图像进行预处理,以获取预处理后的图像;
利用顶帽变换对预处理后的所述图像进行增强处理,得到第一图像,利用预设的深度学习模型对所述第一图像进行增强处理,得到增强后的第二图像;
对所述第一图像和所述第二图像进行非采样的contourlet变换,得到增强图像;
利用灰度特性对所述增强图像进行识别;并对识别后的所述增强图像进行局部处理,得到局部处理后的目标图像;
将所述目标图像输入至预设的卷积神经网络中,对所述目标图像进行处理,得到处理后的图像。
优选地,所述获取原始图像,对所述原始图像进行预处理,以获取预处理后的图像,包括:
对所述原始图像进行归一化处理,得到灰度图像;
基于所述灰度图像使用Sobel算子进行梯度检测,得到梯度图像,所述梯度图像包括边缘像素和非边缘像素;
利用Gabor滤波器对所述梯度图像进行处理,得到梯度处理图像,所述Gabor滤波器的窗口函数为高斯函数;
基于点乘算法,对所述梯度处理图像和所述灰度图像进行点乘,得到锐化图像;
基于所述锐化图像和所述灰度图像进行叠加,得到所述预处理后的图像。
优选地,所述利用顶帽变换对预处理后的所述图像进行增强处理,得到第一图像,利用预设的深度学习模型对所述第一图像进行增强处理,得到增强后的第二图像,包括:
采用小波变换方法对所述图像进行分解,得到一个分解结果,所述分解结果中至少包括一个低频图像分量和至少一个高频图像分量;
利用顶帽变换对所述低频图像分量进行处理,得到第一处理结果,利用底帽变换对所述高频图像分量进行处理,得到第二处理结果;
将所述低频图像分量加上所述第一处理结果,得到第三处理结果,将所述第三处理结果减去所述第二处理结果,得到增强后的所述第一图像;
将所述高频图像分量输入预设的所述深度学习模型中,得到增强后的所述第二图像。
优选地,所述利用灰度特性对所述增强图像进行识别,包括:
计算所述增强图像的每个像素灰度值的平均值;
基于自适应的方法,根据所述增强图像中的局部图像的像素灰度值的中值和平均值计算出所述局部图像的所有像素灰度值的图斑阈值;
根据所述图斑阈值,计算所述局部图像的每个像素的图斑补偿值,其中,根据公式:
其中,
代表每个窗口的每个像素的色斑补偿值;
代表每个像素灰度值;
代表色斑阈;
计算每个窗口的图斑补偿值;
将所述局部图像的每个像素的灰度值加上所述图斑补偿值得到更新后的所述局部图像的每个像素的灰度值;将更新后的增强图像进行显示。
优选地,所述得到处理后的图像,之后包括:
显示处理后的所述图像的显示帧,所述显示帧是向第一用户显示的画面图像;
将所述显示帧输入至预设的第一模型,得到所述第一模型输出的检测结果;所述第一模型用来检测所述显示帧的异常情况;
根据所述检测结果判断所述显示帧出现异常情况时,对所述显示帧进行补帧处理。
第二方面,本申请还提供了一种基于AI的图像处理装置,包括:
获取模块:用于获取原始图像,对所述原始图像进行预处理,以获取预处理后的图像;
处理模块:用于利用顶帽变换对预处理后的所述图像进行增强处理,得到第一图像,利用预设的深度学习模型对所述第一图像进行增强处理,得到增强后的第二图像;
变换模块:用于对所述第一图像和所述第二图像进行非采样的contourlet变换,得到增强图像;
识别模块:用于利用灰度特性对所述增强图像进行识别;并对识别后的所述增强图像进行局部处理,得到局部处理后的目标图像;
输入模块:用于将所述目标图像输入至预设的卷积神经网络中,对所述目标图像进行处理,得到处理后的图像。
第三方面,本申请还提供了一种基于AI的图像处理设备,包括:
存储器,用于存储计算机程序;
处理器,用于执行所述计算机程序时实现所述基于AI的图像处理方法的步骤。
第四方面,本申请还提供了一种可读存储介质,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现上述基于基于AI的图像处理方法的步骤。
本发明的有益效果为:本发明将图像分解后,采用不同的增强处理方法对各自进行处理,相对于采用统一的一种增强方法来讲,针对性的采用不同的增强处理方法,可以得到更高质量的增强后的低频分量和增强后的高频分量,进而得到优质的增强后的图像;利用已训练的深度学习模型对分量进行处理时,可以自适应的对每张分量进行增强处理,降低了增强的难度,提高了图像处理质量。
本发明通过获取原始图像,对图像进行预处理,从而可以获取增强图像,使模糊的图像能够更为清晰,便于进行辨别。在经过预处理获取清晰的增强图像后,按照增强图像的灰度特性进行识别,从而可以便于进行分割,分割精度更高。将图像输入至建立好的卷积神经网络中,通过卷积神经网络,从而能够减小识别误差,获得较高的识别精度,获取识别结果。
根据图斑值及当前图像的像素平均值计算图斑标准差,并生成对应的补偿表,可对图斑进行补偿,从而减少图斑的检测和补偿时间,并提高其画面显示质量。
本发明的其他特征和优点将在随后的说明书阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本发明的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
实施例1:
本实施例提供了一种基于AI的图像处理方法。
参见图1,图中示出了本方法包括步骤S1、步骤S2、步骤S3、步骤S4和步骤S5。
S1、获取原始图像,对所述原始图像进行预处理,以获取预处理后的图像。
可以理解的是,在S1步骤中包括:
对所述原始图像进行归一化处理,得到灰度图像;
可以理解的是,在本步骤中,将原始图像基于灰度归一化算法进行直方图分析,并根据图像动态范围观察图像细节是否清晰从而确定动态范围阈值,根据确定的动态范围阈值对核磁共振图像进行调整得到优化后的灰度图像。
基于所述灰度图像使用Sobel算子进行梯度检测,得到梯度图像,所述梯度图像包括边缘像素和非边缘像素;
可以理解的是,在本步骤中,灰度图像中,灰度阶跃处的边缘位置与一阶导数的极值点,二阶导数的过零点(零交叉点)相对应,这一特性使得利用微分算子进行图像边缘分割变得可行。本实施例中使用Sobel算子进行梯度检测,并根据公式(1)将灰度图像分成同质区域和边界区域,公式(1)如下:
其中:u为灰度图像;
为图像梯度膜值;k为梯度膜阈值;α为边缘检测函数;u
γγ为图像u在法线方向的二阶导数;u
δδ为图像u在切线方向的二阶导数。
基于现有的边缘检测函数结合公式(1)对灰度图像进行处理,既能在一定程度上达到去噪的效果,还能保留边缘细节。使得边缘算子的输出的目标区域边界连续,有助于对图像进行稳健而准确的分割。
利用Gabor滤波器对所述梯度图像进行处理,得到梯度处理图像,所述Gabor滤波器的窗口函数为高斯函数;
可以理解的是,在本步骤中,为了消除图像数字化时所混入的噪声,消除全局的图像强度不均匀性,本实施例使用Gabor滤波器对梯度图像进行平滑处理,并进一步消除全局不均匀光照强度。
其中,根据所述Gabor滤波器的传递函数计算,得到二次空间域图像:
可以理解的是,在本步骤中,根据Gabor函数和传递函数计算每个所述一次空间域图像,然后将得到的参数与一次空间域图像相乘得到二次空间域图像,Gabor函数和传递函数分别如公式(2)和公式(3)所示:
其中:g(x,y,λ,θ,α,δ,γ)为像素点(x,y)到原点的距离,x为像素点的横坐标;y为像素点的纵坐标;x’是x基于通过坐标系旋转变换公式得到的参数;y’是y基于通过坐标系旋转变换公式得到的参数;λ为正弦波的波长;θ为Gabor函数中的条纹方向;α为相位且设置为零;δ表示带宽,即高斯函数的方差;γ为空间纵宽比且设置为零;H(x,y)为传递函数算子;d0为截止频率到原点的距离。然后将一次空间域图像右乘传递函数算子,将边缘区域的像素点再次增强,得到二次空间域图像。
基于点乘算法,对所述梯度处理图像和所述灰度图像进行点乘,得到锐化图像;
基于所述锐化图像和所述灰度图像进行叠加,得到所述预处理后的图像。
可以理解的是,在本步骤中,将边缘加强的锐化图像与灰度图像进行叠加,以增强原始图像中的边缘区域,便于后期进行分割,提高分割精度。
S2、利用顶帽变换对预处理后的所述图像进行增强处理,得到第一图像,利用预设的深度学习模型对所述第一图像进行增强处理,得到增强后的第二图像。
可以理解的是,在S2步骤中包括:
采用小波变换方法对所述图像进行分解,得到一个分解结果,所述分解结果中至少包括一个低频图像分量和至少一个高频图像分量;
本步骤中,可以采用多种分解方法对图像进行分解,例如采用双树复数小波分解、多尺度极值分解、高斯-拉普拉斯金字塔分解方法、平移不变剪切波变换方法等;在本实施例中,采用的分解方法为小波变换方法,具体步骤包括以下几个步骤:
利用顶帽变换对所述低频图像分量进行处理,得到第一处理结果,利用底帽变换对所述高频图像分量进行处理,得到第二处理结果;
本实施例中所述小波变换方法采用的小波函数为墨西哥帽状函数;除了墨西哥帽状函数之外,还可以采用Moret小波函数、sym6小波函数等;
在本步骤中,依次通过顶帽变换和底帽变换对本步骤中的低频分量进行处理,可以增强低频分量中的较暗的细节成分从较亮的背景中突显出来,进而提高图像质量;
将所述低频图像分量加上所述第一处理结果,得到第三处理结果,将所述第三处理结果减去所述第二处理结果,得到增强后的所述第一图像;
将所述高频图像分量输入预设的所述深度学习模型中,得到增强后的所述第二图像。
深度学习的获取方法如下:获取样本集,所述样本集中包括多个样本图像,对每个所述样本图像进行增强处理,得到增强处理图像;
本步骤可以理解为,样本集中包括的样本图像为一系列的历史时期的图像,再对每一张图像进行增强处理,得到第一图像;
在本步骤中,采用步骤S210、步骤S211和步骤S212对图像进行处理,得到第一图像;
S210、计算所述样本图像的噪声标准差;
在本步骤中,S210包括S2101、S2102和S2103计算样本图像的噪声标准差;
步骤S2101、将所述样本图像划分为预设个数的方块,每个所述方块大小相同且互不相交;
在本步骤中,将样本图像划分为预设个数的方块,其中,预设个数可以根据用户的需求进行自定义设置,同时每个方块的大小即规格尺寸相同;
步骤S2102、对每个所述方块求标准差,将得到的全部所述标准差按照预设规则进行排列,得到排列后的标准差,在所述排列后的标准差中按照从前到后的顺序选取预设个数的标准差,得到标准差集合;
步骤S2103、计算所述标准差集合中所有标准差的均值,将所述均值作为所述噪声标准差。
S211、基于Birge-Massart的处罚算法,将所述噪声标准差带入阈值函数中,计算阈值函数的全局阈值;
S212、利用所述全局阈值对小波细节系数进行全局软阈值处理,得到处理结果,对所述处理结果进行重构处理,得到所述第一图像。
本步骤可以理解为:利用所述全局阈值对小波细节系数进行全局软阈值处理,得到新的小波系数,对所述新的小波系数进行重构处理,得到所述第一图像。在本步骤中将计算得到的噪声标准方差作为小波阈值去噪的输入参数,使用小波阈值去噪后的图像比初始含噪图像的峰值信噪比要高,提高了图像的去噪效果,进而提高得到的第一图像的质量。
S3、对所述第一图像和所述第二图像进行非采样的contourlet变换,得到增强图像。
可以理解的是,在本步骤中,可以对所述增强后的低频分量和所述增强后的高频分量进行非采样的contourlet波重构,还可以对所述增强后的低频分量和所述增强后的高频分量进行小波逆变换得到重构图像;
在本实施例中,通过以上步骤分别可以得到高质量的增强后的低频分量和高质量的增强后的高频分量,在高质量的增强后的低频分量和高质量的增强后的高频分量再进行重构,进而可以提高最终得到核磁图像的图像质量。
S4、利用灰度特性对所述增强图像进行识别;并对识别后的所述增强图像进行局部处理,得到局部处理后的目标图像。
可以理解的是,在S4步骤中包括:
计算所述增强图像的每个像素灰度值的平均值;
具体地,根据公式:
来计算每个像素灰度值的平均值,其中,
代表每个像素灰度值,
代表每个像素灰度值的平均值。
基于自适应的方法,根据所述增强图像中的局部图像的像素灰度值的中值和平均值计算出所述局部图像的所有像素灰度值的图斑阈值;
以及
计算每个窗口内的每个像素灰度值的平均值和中值,其中,求解所代表每个像素灰度值的中值;
具体地,计算每个窗口的图斑阈值,根据公式:
,其中,
,
,V
t代表图斑阈值。
根据所述图斑阈值,计算所述局部图像的每个像素的图斑补偿值,具体计算方法根据下列公式:
其中,
代表每个窗口的每个像素的色斑补偿值;
代表每个像素灰度值;
代表色斑阈;
将所述局部图像的每个像素的灰度值加上所述图斑补偿值得到更新后的所述局部图像的每个像素的灰度值;将更新后的增强图像进行显示。
具体地,更新后的每个像素的灰度值可为:
,并将更新后的图像进行显示。
S5、将所述目标图像输入至预设的卷积神经网络中,对所述目标图像进行处理,得到处理后的图像。
可以理解的是,在S5步骤中之后包括:
显示处理后的所述图像的显示帧,所述显示帧是向第一用户显示的画面图像;
将所述显示帧输入至预设的第一模型,得到所述第一模型输出的检测结果;所述第一模型用来检测所述显示帧的异常情况;
根据所述检测结果判断所述显示帧出现异常情况时,对所述显示帧进行补帧处理。
需要说明的是,首先对本申请实施例中涉及的名词进行示例性而非限定性的说明:人工智能(ArtificialIntelligence,AI),是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
AI培育:在人工智能领域的AI培育,利用大量加速器如图形处理器或中央处理器等能提供算力的装置,找到一个合适的神经网络架构和计算得到神经网络最优结构参数,使得该网络能完成特定的工作。通俗而言,便是给机器“投喂”大量的数据,让它学会识别和区分对象。补帧是指:在要显示的相邻两个显示帧中间,增加显示一个或者多个显示帧。
显示帧是图像的概率值,电子设备中可以预设第一概率阈值,此时,电子设备根据检测结果判断游戏显示帧是否出现异常可以通过以下步骤实现:电子设备判断检测结果中的概率值是否超过第一概率阈值;如果检测结果中的概率值超过第一概率阈值,判断显示帧未出现异常;如果检测结果中的概率值未超过该第一概率阈值,判断显示帧出现异常。第一概率阈值的具体取值本申请不作限定。一般第一概率阈值的取值越高,则电子设备对于显示帧是否异常的检测精度相对越高。
实施例2:
如图2所示,本实施例提供了一种基于AI的图像处理装置,参见图2所述装置包括:
获取模块701:用于获取原始图像,对所述原始图像进行预处理,以获取预处理后的图像;
处理模块702:用于利用顶帽变换对预处理后的所述图像进行增强处理,得到第一图像,利用预设的深度学习模型对所述第一图像进行增强处理,得到增强后的第二图像;
变换模块703:用于对所述第一图像和所述第二图像进行非采样的contourlet变换,得到增强图像;
识别模块704:用于利用灰度特性对所述增强图像进行识别;并对识别后的所述增强图像进行局部处理,得到局部处理后的目标图像;
输入模块705:用于将所述目标图像输入至预设的卷积神经网络中,对所述目标图像进行处理,得到处理后的图像。
具体地,所述获取模块701,其中包括:
归一化单元7011:用于对所述原始图像进行归一化处理,得到灰度图像;
检测单元7012:用于基于所述灰度图像使用Sobel算子进行梯度检测,得到梯度图像,所述梯度图像包括边缘像素和非边缘像素;
第一处理单元7013:用于利用Gabor滤波器对所述梯度图像进行处理,得到梯度处理图像,所述Gabor滤波器的窗口函数为高斯函数;
点乘单元7014:用于基于点乘算法,对所述梯度处理图像和所述灰度图像进行点乘,得到锐化图像;
叠加单元7015:用于基于所述锐化图像和所述灰度图像进行叠加,得到所述预处理后的图像。
具体地,所述处理模块702,其中包括:
分解单元7021:用于采用小波变换方法对所述图像进行分解,得到一个分解结果,所述分解结果中至少包括一个低频图像分量和至少一个高频图像分量;
第二处理单元7022:用于利用顶帽变换对所述低频图像分量进行处理,得到第一处理结果,利用底帽变换对所述高频图像分量进行处理,得到第二处理结果;
第三处理单元7023:用于将所述低频图像分量加上所述第一处理结果,得到第三处理结果,将所述第三处理结果减去所述第二处理结果,得到增强后的所述第一图像;
获得单元7024:用于将所述高频图像分量输入预设的所述深度学习模型中,得到增强后的所述第二图像。
具体地,所述识别模块704,其中包括:
第一计算单元7041:用于计算所述增强图像的每个像素灰度值的平均值;
第二计算单元7042:用于基于自适应的方法,根据所述增强图像中的局部图像的像素灰度值的中值和平均值计算出所述局部图像的所有像素灰度值的图斑阈值;
第三计算单元7043:用于根据所述图斑阈值,计算所述局部图像的每个像素的图斑补偿值,具体计算方法根据下列公式:
其中,
代表每个窗口的每个像素的色斑补偿值;
代表每个像素灰度值;
代表色斑阈;
第四计算单元7044:用于计算每个窗口的图斑补偿值;
显示单元7045:用于将所述局部图像的每个像素的灰度值加上所述图斑补偿值得到更新后的所述局部图像的每个像素的灰度值;将更新后的增强图像进行显示。
需要说明的是,关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
实施例3:
相应于上面的方法实施例,本实施例中还提供了一种基于AI的图像处理设备,下文描述的一种基于AI的图像处理设备与上文描述的一种基于AI的图像处理方法可相互对应参照。
图3是根据示例性实施例示出的一种基于AI的图像处理设备800的框图。如图3所示,该基于AI的图像处理设备800可以包括:处理器801,存储器802。该基于AI的图像处理设备800还可以包括多媒体组件803,I/O接口804,以及通信组件805中的一者或多者。
其中,处理器801用于控制该基于AI的图像处理设备800的整体操作,以完成上述的基于AI的图像处理方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该基于AI的图像处理设备800的操作,这些数据例如可以包括用于在该基于AI的图像处理设备800上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random AccessMemory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable ProgrammableRead-Only Memory,简称EEPROM),可擦除可编程只读存储器(Erasable ProgrammableRead-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-Only Memory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该基于AI的图像处理设备800与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near FieldCommunication,简称NFC),2G、3G或4G,或它们中的一种或几种的组合,因此相应的该通信组件805可以包括:Wi-Fi模块,蓝牙模块,NFC模块。
在一示例性实施例中,基于AI的图像处理设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的基于AI的图像处理方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的基于AI的图像处理方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器802,上述程序指令可由基于AI的图像处理设备800的处理器801执行以完成上述的基于AI的图像处理方法。
实施例4:
相应于上面的方法实施例,本实施例中还提供了一种可读存储介质,下文描述的一种可读存储介质与上文描述的一种基于AI的图像处理方法可相互对应参照。
一种可读存储介质,可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现上述方法实施例的基于AI的图像处理方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。