CN114926374B - 一种基于ai的图像处理方法、装置、设备及可读存储介质 - Google Patents
一种基于ai的图像处理方法、装置、设备及可读存储介质 Download PDFInfo
- Publication number
- CN114926374B CN114926374B CN202210856658.7A CN202210856658A CN114926374B CN 114926374 B CN114926374 B CN 114926374B CN 202210856658 A CN202210856658 A CN 202210856658A CN 114926374 B CN114926374 B CN 114926374B
- Authority
- CN
- China
- Prior art keywords
- image
- processing
- enhanced
- pixel
- gray
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 142
- 230000009466 transformation Effects 0.000 claims abstract description 34
- 238000013136 deep learning model Methods 0.000 claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 12
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 10
- 238000005070 sampling Methods 0.000 claims abstract description 7
- 238000000034 method Methods 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 28
- 238000001514 detection method Methods 0.000 claims description 19
- 238000000354 decomposition reaction Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 14
- 230000002708 enhancing effect Effects 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 7
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 239000000126 substance Substances 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 abstract description 7
- 238000013473 artificial intelligence Methods 0.000 description 35
- 230000002159 abnormal effect Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 238000012546 transfer Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000001502 supplementing effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011426 transformation method Methods 0.000 description 2
- 238000005481 NMR spectroscopy Methods 0.000 description 1
- 235000009413 Ratibida columnifera Nutrition 0.000 description 1
- 241000510442 Ratibida peduncularis Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G06T5/70—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration by non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration by the use of local operators
-
- G06T5/94—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20004—Adaptive image processing
- G06T2207/20012—Locally adaptive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20064—Wavelet transform [DWT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Abstract
本发明提供了一种基于AI的图像处理方法、装置、设备及可读存储介质，涉及图像处理技术领域，包括获取原始图像，对所述原始图像进行预处理；利用顶帽变换对预处理后的所述图像进行增强处理，得到第一图像，利用预设的深度学习模型对所述第一图像进行增强处理，得到增强后的第二图像；对所述第一图像和所述第二图像进行非采样的contourlet变换，得到增强图像；利用灰度特性对所述增强图像进行识别；将所述目标图像输入至预设的卷积神经网络中，得到处理后的图像。本发明降低了增强的难度，提高了图像处理质量;使模糊的图像更为清晰，便于辨别；便于进行分割，分割精度更高，通过卷积神经网络，减小识别误差，获得较高的识别精度。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种基于AI的图像处理方法、装置、设备及可读存储介质。
背景技术
图像处理技术应用广泛，但是由于图像信号的维数高，对其处理所需要的计算复杂度高。因此，在一些对系统处理实时性要求苛刻的应用场合，图像的处理速度往往成为影响系统精度和实用性的瓶颈。
工程作业中，由于受图像采集时外界环境因素(如光线)的影响，采集的图像可能需要补光、饱和度增强等处理之后，图像才能具有较佳的显示效果，较佳显示效果的图像可以为图像分析提供有利条件。
发明内容
本发明的目的在于提供一种基于AI的图像处理方法、装置、设备及可读存储介质，以改善上述问题。为了实现上述目的，本发明采取的技术方案如下：
第一方面，本申请提供了一种基于AI的图像处理方法，包括：
获取原始图像，对所述原始图像进行预处理，以获取预处理后的图像；
利用顶帽变换对预处理后的所述图像进行增强处理，得到第一图像，利用预设的深度学习模型对所述第一图像进行增强处理，得到增强后的第二图像；
对所述第一图像和所述第二图像进行非采样的contourlet变换，得到增强图像；
利用灰度特性对所述增强图像进行识别；并对识别后的所述增强图像进行局部处理，得到局部处理后的目标图像；
将所述目标图像输入至预设的卷积神经网络中，对所述目标图像进行处理，得到处理后的图像。
优选地，所述获取原始图像，对所述原始图像进行预处理，以获取预处理后的图像，包括：
对所述原始图像进行归一化处理，得到灰度图像；
基于所述灰度图像使用Sobel算子进行梯度检测，得到梯度图像，所述梯度图像包括边缘像素和非边缘像素；
利用Gabor滤波器对所述梯度图像进行处理，得到梯度处理图像，所述Gabor滤波器的窗口函数为高斯函数；
基于点乘算法，对所述梯度处理图像和所述灰度图像进行点乘，得到锐化图像；
基于所述锐化图像和所述灰度图像进行叠加，得到所述预处理后的图像。
优选地，所述利用顶帽变换对预处理后的所述图像进行增强处理，得到第一图像，利用预设的深度学习模型对所述第一图像进行增强处理，得到增强后的第二图像，包括：
采用小波变换方法对所述图像进行分解，得到一个分解结果，所述分解结果中至少包括一个低频图像分量和至少一个高频图像分量；
利用顶帽变换对所述低频图像分量进行处理，得到第一处理结果，利用底帽变换对所述高频图像分量进行处理，得到第二处理结果；
将所述低频图像分量加上所述第一处理结果，得到第三处理结果，将所述第三处理结果减去所述第二处理结果，得到增强后的所述第一图像；
将所述高频图像分量输入预设的所述深度学习模型中，得到增强后的所述第二图像。
优选地，所述利用灰度特性对所述增强图像进行识别，包括：
计算所述增强图像的每个像素灰度值的平均值；
基于自适应的方法，根据所述增强图像中的局部图像的像素灰度值的中值和平均值计算出所述局部图像的所有像素灰度值的图斑阈值；
根据所述图斑阈值，计算所述局部图像的每个像素的图斑补偿值，其中，根据公式：
其中，
代表每个窗口的每个像素的色斑补偿值；
代表每个像素灰度值;
代表色斑阈；
计算每个窗口的图斑补偿值；
将所述局部图像的每个像素的灰度值加上所述图斑补偿值得到更新后的所述局部图像的每个像素的灰度值；将更新后的增强图像进行显示。
优选地，所述得到处理后的图像，之后包括：
显示处理后的所述图像的显示帧，所述显示帧是向第一用户显示的画面图像；
将所述显示帧输入至预设的第一模型，得到所述第一模型输出的检测结果；所述第一模型用来检测所述显示帧的异常情况；
根据所述检测结果判断所述显示帧出现异常情况时，对所述显示帧进行补帧处理。
第二方面，本申请还提供了一种基于AI的图像处理装置，包括：
获取模块：用于获取原始图像，对所述原始图像进行预处理，以获取预处理后的图像；
处理模块：用于利用顶帽变换对预处理后的所述图像进行增强处理，得到第一图像，利用预设的深度学习模型对所述第一图像进行增强处理，得到增强后的第二图像；
变换模块：用于对所述第一图像和所述第二图像进行非采样的contourlet变换，得到增强图像；
识别模块：用于利用灰度特性对所述增强图像进行识别；并对识别后的所述增强图像进行局部处理，得到局部处理后的目标图像；
输入模块：用于将所述目标图像输入至预设的卷积神经网络中，对所述目标图像进行处理，得到处理后的图像。
第三方面，本申请还提供了一种基于AI的图像处理设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现所述基于AI的图像处理方法的步骤。
第四方面，本申请还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述基于基于AI的图像处理方法的步骤。
本发明的有益效果为：本发明将图像分解后，采用不同的增强处理方法对各自进行处理，相对于采用统一的一种增强方法来讲，针对性的采用不同的增强处理方法，可以得到更高质量的增强后的低频分量和增强后的高频分量，进而得到优质的增强后的图像；利用已训练的深度学习模型对分量进行处理时，可以自适应的对每张分量进行增强处理，降低了增强的难度，提高了图像处理质量。
本发明通过获取原始图像，对图像进行预处理，从而可以获取增强图像，使模糊的图像能够更为清晰，便于进行辨别。在经过预处理获取清晰的增强图像后，按照增强图像的灰度特性进行识别，从而可以便于进行分割，分割精度更高。将图像输入至建立好的卷积神经网络中，通过卷积神经网络，从而能够减小识别误差，获得较高的识别精度，获取识别结果。
根据图斑值及当前图像的像素平均值计算图斑标准差，并生成对应的补偿表，可对图斑进行补偿，从而减少图斑的检测和补偿时间，并提高其画面显示质量。
本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明实施例中所述的基于AI的图像处理方法流程示意图;
图2为本发明实施例中所述的基于AI的图像处理装置结构示意图；
图3为本发明实施例中所述的基于AI的图像处理设备结构示意图。
图中:701、获取模块；7011、归一化单元；7012、检测单元；7013、第一处理单元；7014、点乘单元；7015、叠加单元；702、处理模块；7021、分解单元；7022、第二处理单元；7023、第三处理单元；7024、获得单元；703、变换模块；704、识别模块；7041、第一计算单元；7042、第二计算单元；7043、第三计算单元；7044、第四计算单元；7045、显示单元；705、输入模块；800、图像处理设备；801、处理器；802、存储器；803、多媒体组件；804、I/O接口；805、通信组件。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
实施例1：
本实施例提供了一种基于AI的图像处理方法。
参见图1，图中示出了本方法包括步骤S1、步骤S2、步骤S3、步骤S4和步骤S5。
S1、获取原始图像，对所述原始图像进行预处理，以获取预处理后的图像。
可以理解的是，在S1步骤中包括：
对所述原始图像进行归一化处理，得到灰度图像；
可以理解的是，在本步骤中，将原始图像基于灰度归一化算法进行直方图分析，并根据图像动态范围观察图像细节是否清晰从而确定动态范围阈值，根据确定的动态范围阈值对核磁共振图像进行调整得到优化后的灰度图像。
基于所述灰度图像使用Sobel算子进行梯度检测，得到梯度图像，所述梯度图像包括边缘像素和非边缘像素；
可以理解的是，在本步骤中，灰度图像中，灰度阶跃处的边缘位置与一阶导数的极值点，二阶导数的过零点（零交叉点）相对应，这一特性使得利用微分算子进行图像边缘分割变得可行。本实施例中使用Sobel算子进行梯度检测，并根据公式（1）将灰度图像分成同质区域和边界区域，公式（1）如下：
其中：u为灰度图像；
为图像梯度膜值；k为梯度膜阈值；α为边缘检测函数；uγγ为图像u在法线方向的二阶导数；uδδ为图像u在切线方向的二阶导数。
基于现有的边缘检测函数结合公式（1）对灰度图像进行处理，既能在一定程度上达到去噪的效果，还能保留边缘细节。使得边缘算子的输出的目标区域边界连续，有助于对图像进行稳健而准确的分割。
利用Gabor滤波器对所述梯度图像进行处理，得到梯度处理图像，所述Gabor滤波器的窗口函数为高斯函数；
可以理解的是，在本步骤中，为了消除图像数字化时所混入的噪声，消除全局的图像强度不均匀性，本实施例使用Gabor滤波器对梯度图像进行平滑处理，并进一步消除全局不均匀光照强度。
其中，根据所述Gabor滤波器的传递函数计算，得到二次空间域图像：
可以理解的是，在本步骤中，根据Gabor函数和传递函数计算每个所述一次空间域图像，然后将得到的参数与一次空间域图像相乘得到二次空间域图像，Gabor函数和传递函数分别如公式（2）和公式（3）所示：
其中：g(x,y,λ,θ,α,δ,γ)为像素点(x,y)到原点的距离，x为像素点的横坐标；y为像素点的纵坐标；x’是x基于通过坐标系旋转变换公式得到的参数；y’是y基于通过坐标系旋转变换公式得到的参数；λ为正弦波的波长；θ为Gabor函数中的条纹方向；α为相位且设置为零；δ表示带宽，即高斯函数的方差；γ为空间纵宽比且设置为零；H(x,y)为传递函数算子；d0为截止频率到原点的距离。然后将一次空间域图像右乘传递函数算子，将边缘区域的像素点再次增强，得到二次空间域图像。
基于点乘算法，对所述梯度处理图像和所述灰度图像进行点乘，得到锐化图像；
基于所述锐化图像和所述灰度图像进行叠加，得到所述预处理后的图像。
可以理解的是，在本步骤中，将边缘加强的锐化图像与灰度图像进行叠加，以增强原始图像中的边缘区域，便于后期进行分割，提高分割精度。
S2、利用顶帽变换对预处理后的所述图像进行增强处理，得到第一图像，利用预设的深度学习模型对所述第一图像进行增强处理，得到增强后的第二图像。
可以理解的是，在S2步骤中包括：
采用小波变换方法对所述图像进行分解，得到一个分解结果，所述分解结果中至少包括一个低频图像分量和至少一个高频图像分量；
本步骤中，可以采用多种分解方法对图像进行分解，例如采用双树复数小波分解、多尺度极值分解、高斯-拉普拉斯金字塔分解方法、平移不变剪切波变换方法等；在本实施例中，采用的分解方法为小波变换方法，具体步骤包括以下几个步骤：
利用顶帽变换对所述低频图像分量进行处理，得到第一处理结果，利用底帽变换对所述高频图像分量进行处理，得到第二处理结果；
本实施例中所述小波变换方法采用的小波函数为墨西哥帽状函数；除了墨西哥帽状函数之外，还可以采用Moret小波函数、sym6小波函数等；
在本步骤中，依次通过顶帽变换和底帽变换对本步骤中的低频分量进行处理，可以增强低频分量中的较暗的细节成分从较亮的背景中突显出来，进而提高图像质量；
将所述低频图像分量加上所述第一处理结果，得到第三处理结果，将所述第三处理结果减去所述第二处理结果，得到增强后的所述第一图像；
将所述高频图像分量输入预设的所述深度学习模型中，得到增强后的所述第二图像。
深度学习的获取方法如下：获取样本集，所述样本集中包括多个样本图像，对每个所述样本图像进行增强处理，得到增强处理图像；
本步骤可以理解为，样本集中包括的样本图像为一系列的历史时期的图像，再对每一张图像进行增强处理，得到第一图像；
在本步骤中，采用步骤S210、步骤S211和步骤S212对图像进行处理，得到第一图像；
S210、计算所述样本图像的噪声标准差；
在本步骤中，S210包括S2101、S2102和S2103计算样本图像的噪声标准差；
步骤S2101、将所述样本图像划分为预设个数的方块，每个所述方块大小相同且互不相交；
在本步骤中，将样本图像划分为预设个数的方块，其中，预设个数可以根据用户的需求进行自定义设置，同时每个方块的大小即规格尺寸相同；
步骤S2102、对每个所述方块求标准差，将得到的全部所述标准差按照预设规则进行排列，得到排列后的标准差，在所述排列后的标准差中按照从前到后的顺序选取预设个数的标准差，得到标准差集合；
步骤S2103、计算所述标准差集合中所有标准差的均值，将所述均值作为所述噪声标准差。
S211、基于Birge-Massart的处罚算法，将所述噪声标准差带入阈值函数中，计算阈值函数的全局阈值；
S212、利用所述全局阈值对小波细节系数进行全局软阈值处理，得到处理结果，对所述处理结果进行重构处理，得到所述第一图像。
本步骤可以理解为：利用所述全局阈值对小波细节系数进行全局软阈值处理，得到新的小波系数，对所述新的小波系数进行重构处理，得到所述第一图像。在本步骤中将计算得到的噪声标准方差作为小波阈值去噪的输入参数，使用小波阈值去噪后的图像比初始含噪图像的峰值信噪比要高，提高了图像的去噪效果，进而提高得到的第一图像的质量。
S3、对所述第一图像和所述第二图像进行非采样的contourlet变换，得到增强图像。
可以理解的是，在本步骤中，可以对所述增强后的低频分量和所述增强后的高频分量进行非采样的contourlet波重构，还可以对所述增强后的低频分量和所述增强后的高频分量进行小波逆变换得到重构图像；
在本实施例中，通过以上步骤分别可以得到高质量的增强后的低频分量和高质量的增强后的高频分量，在高质量的增强后的低频分量和高质量的增强后的高频分量再进行重构，进而可以提高最终得到核磁图像的图像质量。
S4、利用灰度特性对所述增强图像进行识别；并对识别后的所述增强图像进行局部处理，得到局部处理后的目标图像。
可以理解的是，在S4步骤中包括：
计算所述增强图像的每个像素灰度值的平均值；
具体地，根据公式：
来计算每个像素灰度值的平均值，其中，
代表每个像素灰度值，
代表每个像素灰度值的平均值。
基于自适应的方法，根据所述增强图像中的局部图像的像素灰度值的中值和平均值计算出所述局部图像的所有像素灰度值的图斑阈值；
具体地，分别根据公式：
以及
计算每个窗口内的每个像素灰度值的平均值和中值，其中，求解所代表每个像素灰度值的中值；
具体地，计算每个窗口的图斑阈值，根据公式：
，其中，
，
，Vt代表图斑阈值。
根据所述图斑阈值，计算所述局部图像的每个像素的图斑补偿值，具体计算方法根据下列公式：
计算每个窗口的图补偿斑值
；
将所述局部图像的每个像素的灰度值加上所述图斑补偿值得到更新后的所述局部图像的每个像素的灰度值；将更新后的增强图像进行显示。
具体地，更新后的每个像素的灰度值可为：
，并将更新后的图像进行显示。
S5、将所述目标图像输入至预设的卷积神经网络中，对所述目标图像进行处理，得到处理后的图像。
可以理解的是，在S5步骤中之后包括：
显示处理后的所述图像的显示帧，所述显示帧是向第一用户显示的画面图像；
将所述显示帧输入至预设的第一模型，得到所述第一模型输出的检测结果；所述第一模型用来检测所述显示帧的异常情况；
根据所述检测结果判断所述显示帧出现异常情况时，对所述显示帧进行补帧处理。
需要说明的是，首先对本申请实施例中涉及的名词进行示例性而非限定性的说明：人工智能(ArtificialIntelligence，AI)，是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
AI培育：在人工智能领域的AI培育，利用大量加速器如图形处理器或中央处理器等能提供算力的装置，找到一个合适的神经网络架构和计算得到神经网络最优结构参数，使得该网络能完成特定的工作。通俗而言，便是给机器“投喂”大量的数据，让它学会识别和区分对象。补帧是指：在要显示的相邻两个显示帧中间，增加显示一个或者多个显示帧。
显示帧是图像的概率值，电子设备中可以预设第一概率阈值，此时，电子设备根据检测结果判断游戏显示帧是否出现异常可以通过以下步骤实现：电子设备判断检测结果中的概率值是否超过第一概率阈值；如果检测结果中的概率值超过第一概率阈值，判断显示帧未出现异常；如果检测结果中的概率值未超过该第一概率阈值，判断显示帧出现异常。第一概率阈值的具体取值本申请不作限定。一般第一概率阈值的取值越高，则电子设备对于显示帧是否异常的检测精度相对越高。
实施例2：
如图2所示，本实施例提供了一种基于AI的图像处理装置，参见图2所述装置包括：
获取模块701：用于获取原始图像，对所述原始图像进行预处理，以获取预处理后的图像；
处理模块702：用于利用顶帽变换对预处理后的所述图像进行增强处理，得到第一图像，利用预设的深度学习模型对所述第一图像进行增强处理，得到增强后的第二图像；
变换模块703：用于对所述第一图像和所述第二图像进行非采样的contourlet变换，得到增强图像；
识别模块704：用于利用灰度特性对所述增强图像进行识别；并对识别后的所述增强图像进行局部处理，得到局部处理后的目标图像；
输入模块705：用于将所述目标图像输入至预设的卷积神经网络中，对所述目标图像进行处理，得到处理后的图像。
具体地，所述获取模块701，其中包括：
归一化单元7011：用于对所述原始图像进行归一化处理，得到灰度图像；
检测单元7012：用于基于所述灰度图像使用Sobel算子进行梯度检测，得到梯度图像，所述梯度图像包括边缘像素和非边缘像素；
第一处理单元7013：用于利用Gabor滤波器对所述梯度图像进行处理，得到梯度处理图像，所述Gabor滤波器的窗口函数为高斯函数；
点乘单元7014：用于基于点乘算法，对所述梯度处理图像和所述灰度图像进行点乘，得到锐化图像；
叠加单元7015：用于基于所述锐化图像和所述灰度图像进行叠加，得到所述预处理后的图像。
具体地，所述处理模块702，其中包括：
分解单元7021：用于采用小波变换方法对所述图像进行分解，得到一个分解结果，所述分解结果中至少包括一个低频图像分量和至少一个高频图像分量；
第二处理单元7022：用于利用顶帽变换对所述低频图像分量进行处理，得到第一处理结果，利用底帽变换对所述高频图像分量进行处理，得到第二处理结果；
第三处理单元7023：用于将所述低频图像分量加上所述第一处理结果，得到第三处理结果，将所述第三处理结果减去所述第二处理结果，得到增强后的所述第一图像；
获得单元7024：用于将所述高频图像分量输入预设的所述深度学习模型中，得到增强后的所述第二图像。
具体地，所述识别模块704，其中包括：
第一计算单元7041：用于计算所述增强图像的每个像素灰度值的平均值；
第二计算单元7042：用于基于自适应的方法，根据所述增强图像中的局部图像的像素灰度值的中值和平均值计算出所述局部图像的所有像素灰度值的图斑阈值；
第三计算单元7043：用于根据所述图斑阈值，计算所述局部图像的每个像素的图斑补偿值，具体计算方法根据下列公式:
其中，
代表每个窗口的每个像素的色斑补偿值；
代表每个像素灰度值;
代表色斑阈；
第四计算单元7044：用于计算每个窗口的图斑补偿值；
显示单元7045：用于将所述局部图像的每个像素的灰度值加上所述图斑补偿值得到更新后的所述局部图像的每个像素的灰度值；将更新后的增强图像进行显示。
需要说明的是，关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
实施例3：
相应于上面的方法实施例，本实施例中还提供了一种基于AI的图像处理设备，下文描述的一种基于AI的图像处理设备与上文描述的一种基于AI的图像处理方法可相互对应参照。
图3是根据示例性实施例示出的一种基于AI的图像处理设备800的框图。如图3所示，该基于AI的图像处理设备800可以包括：处理器801，存储器802。该基于AI的图像处理设备800还可以包括多媒体组件803，I/O接口804，以及通信组件805中的一者或多者。
其中，处理器801用于控制该基于AI的图像处理设备800的整体操作，以完成上述的基于AI的图像处理方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该基于AI的图像处理设备800的操作，这些数据例如可以包括用于在该基于AI的图像处理设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(Static Random AccessMemory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable ProgrammableRead-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable ProgrammableRead-Only Memory，简称EPROM)，可编程只读存储器(Programmable Read-Only Memory，简称PROM)，只读存储器(Read-Only Memory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。I/O接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该基于AI的图像处理设备800与其他设备之间进行有线或无线通信。无线通信，例如Wi-Fi，蓝牙，近场通信(Near FieldCommunication，简称NFC)，2G、3G或4G，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：Wi-Fi模块，蓝牙模块，NFC模块。
在一示例性实施例中，基于AI的图像处理设备800可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit，简称ASIC)、数字信号处理器(DigitalSignal Processor，简称DSP)、数字信号处理设备(Digital Signal ProcessingDevice，简称DSPD)、可编程逻辑器件(Programmable Logic Device，简称PLD)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的基于AI的图像处理方法。
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的基于AI的图像处理方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由基于AI的图像处理设备800的处理器801执行以完成上述的基于AI的图像处理方法。
实施例4：
相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种基于AI的图像处理方法可相互对应参照。
一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的基于AI的图像处理方法的步骤。
该可读存储介质具体可以为U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可存储程序代码的可读存储介质。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (6)
1.一种基于AI的图像处理方法，其特征在于，包括：
获取原始图像，对所述原始图像进行预处理，以获取预处理后的图像；
利用顶帽变换对预处理后的所述图像进行增强处理，得到第一图像，利用预设的深度学习模型对所述第一图像进行增强处理，得到增强后的第二图像；
对所述第一图像和所述第二图像进行非采样的contourlet变换，得到增强图像；
利用灰度特性对所述增强图像进行识别；并对识别后的所述增强图像进行局部处理，得到局部处理后的目标图像；
将所述目标图像输入至预设的卷积神经网络中，对所述目标图像进行处理，得到处理后的图像；
所述利用顶帽变换对预处理后的所述图像进行增强处理，得到第一图像，利用预设的深度学习模型对所述第一图像进行增强处理，得到增强后的第二图像，包括：
采用小波变换方法对所述图像进行分解，得到一个分解结果，所述分解结果中至少包括一个低频图像分量和至少一个高频图像分量；
利用顶帽变换对所述低频图像分量进行处理，得到第一处理结果，利用底帽变换对所述高频图像分量进行处理，得到第二处理结果；
将所述低频图像分量加上所述第一处理结果，得到第三处理结果，将所述第三处理结果减去所述第二处理结果，得到增强后的所述第一图像；
将所述高频图像分量输入预设的所述深度学习模型中，得到增强后的所述第二图像；
所述利用灰度特性对所述增强图像进行识别，包括：
计算所述增强图像的每个像素灰度值的平均值；
基于自适应的方法，根据所述增强图像中的局部图像的像素灰度值的中值和平均值计算出所述局部图像的所有像素灰度值的图斑阈值；
根据所述图斑阈值，计算所述局部图像的每个像素的图斑补偿值，其中，具体计算方法根据下列公式：
其中，
代表每个窗口的每个像素的色斑补偿值；
代表每个像素灰度值;
代表色斑阈；
计算每个窗口的图斑补偿值；
将所述局部图像的每个像素的灰度值加上所述图斑补偿值得到更新后的所述局部图像的每个像素的灰度值；
将更新后的增强图像进行显示。
2.根据权利要求1所述的基于AI的图像处理方法，其特征在于,所述获取原始图像，对所述原始图像进行预处理，以获取预处理后的图像，包括：
对所述原始图像进行归一化处理，得到灰度图像；
基于所述灰度图像使用Sobel算子进行梯度检测，得到梯度图像，所述梯度图像包括边缘像素和非边缘像素；
利用Gabor滤波器对所述梯度图像进行处理，得到梯度处理图像，所述Gabor滤波器的窗口函数为高斯函数；
基于点乘算法，对所述梯度处理图像和所述灰度图像进行点乘，得到锐化图像；
基于所述锐化图像和所述灰度图像进行叠加，得到所述预处理后的图像。
3.一种基于AI的图像处理装置，其特征在于，包括：
获取模块：用于获取原始图像，对所述原始图像进行预处理，以获取预处理后的图像；
处理模块：用于利用顶帽变换对预处理后的所述图像进行增强处理，得到第一图像，利用预设的深度学习模型对所述第一图像进行增强处理，得到增强后的第二图像；
所述利用顶帽变换对预处理后的所述图像进行增强处理，得到第一图像，利用预设的深度学习模型对所述第一图像进行增强处理，得到增强后的第二图像，包括：
采用小波变换方法对所述图像进行分解，得到一个分解结果，所述分解结果中至少包括一个低频图像分量和至少一个高频图像分量；
利用顶帽变换对所述低频图像分量进行处理，得到第一处理结果，利用底帽变换对所述高频图像分量进行处理，得到第二处理结果；
将所述低频图像分量加上所述第一处理结果，得到第三处理结果，将所述第三处理结果减去所述第二处理结果，得到增强后的所述第一图像；
将所述高频图像分量输入预设的所述深度学习模型中，得到增强后的所述第二图像；
变换模块：用于对所述第一图像和所述第二图像进行非采样的contourlet变换，得到增强图像；
识别模块：用于利用灰度特性对所述增强图像进行识别；并对识别后的所述增强图像进行局部处理，得到局部处理后的目标图像；
所述利用灰度特性对所述增强图像进行识别，包括：
计算所述增强图像的每个像素灰度值的平均值；
基于自适应的方法，根据所述增强图像中的局部图像的像素灰度值的中值和平均值计算出所述局部图像的所有像素灰度值的图斑阈值；
根据所述图斑阈值，计算所述局部图像的每个像素的图斑补偿值，其中，具体计算方法根据下列公式：
其中，
代表每个窗口的每个像素的色斑补偿值；
代表每个像素灰度值;
代表色斑阈；
计算每个窗口的图斑补偿值；
将所述局部图像的每个像素的灰度值加上所述图斑补偿值得到更新后的所述局部图像的每个像素的灰度值；
将更新后的增强图像进行显示；
输入模块：用于将所述目标图像输入至预设的卷积神经网络中，对所述目标图像进行处理，得到处理后的图像。
4.根据权利要求3所述的基于AI的图像处理装置，其特征在于，所述获取模块包括：
归一化单元：用于对所述原始图像进行归一化处理，得到灰度图像；
检测单元：用于基于所述灰度图像使用Sobel算子进行梯度检测，得到梯度图像，所述梯度图像包括边缘像素和非边缘像素；
第一处理单元：用于利用Gabor滤波器对所述梯度图像进行处理，得到梯度处理图像，所述Gabor滤波器的窗口函数为高斯函数；
点乘单元：用于基于点乘算法，对所述梯度处理图像和所述灰度图像进行点乘，得到锐化图像；
叠加单元：用于基于所述锐化图像和所述灰度图像进行叠加，得到所述预处理后的图像。
5.一种基于AI的图像处理设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至2任一项所述基于AI的图像处理方法的步骤。
6.一种可读存储介质，其特征在于,所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至2任一项所述基于AI的图像处理方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210856658.7A CN114926374B (zh) | 2022-07-21 | 2022-07-21 | 一种基于ai的图像处理方法、装置、设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210856658.7A CN114926374B (zh) | 2022-07-21 | 2022-07-21 | 一种基于ai的图像处理方法、装置、设备及可读存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114926374A CN114926374A (zh) | 2022-08-19 |
| CN114926374B true CN114926374B (zh) | 2022-10-11 |
Family
ID=82815759
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210856658.7A Active CN114926374B (zh) | 2022-07-21 | 2022-07-21 | 一种基于ai的图像处理方法、装置、设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114926374B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116308300B (zh) * | 2023-05-11 | 2023-07-21 | 四川新迎顺信息技术股份有限公司 | 一种电力设备状态监测评价与指挥方法及系统 |
| CN116309590B (zh) * | 2023-05-22 | 2023-08-04 | 四川新迎顺信息技术股份有限公司 | 一种基于人工智能的视觉计算方法、系统、电子设备和介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103530853A (zh) * | 2013-10-17 | 2014-01-22 | 中北大学 | 红外光强图像和红外偏振图像增强融合方法 |
| CN104616255A (zh) * | 2015-01-11 | 2015-05-13 | 北京工业大学 | 基于乳腺x线图像的自适应增强方法 |
| CN106651817A (zh) * | 2016-11-03 | 2017-05-10 | 电子科技大学成都研究院 | 一种基于非抽样Contourlet的图像增强方法 |
| CN107220948A (zh) * | 2017-05-23 | 2017-09-29 | 长春工业大学 | 一种视网膜图像增强的方法 |
| CN107862666A (zh) * | 2017-11-22 | 2018-03-30 | 新疆大学 | 基于nsst域的混合遥感图像增强方法 |
| CN109919088A (zh) * | 2019-03-06 | 2019-06-21 | 贵州师范大学 | 一种喀斯特地区火龙果单株识别自动提取方法 |
| CN110232668A (zh) * | 2019-06-17 | 2019-09-13 | 首都师范大学 | 一种多尺度图像增强方法 |
| CN114022405A (zh) * | 2021-09-14 | 2022-02-08 | 孟令波 | 一种基于深度学习的血管内超声图像处理方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8896682B2 (en) * | 2008-12-19 | 2014-11-25 | The Johns Hopkins University | System and method for automated detection of age related macular degeneration and other retinal abnormalities |
| CN108846319A (zh) * | 2018-05-25 | 2018-11-20 | 平安科技（深圳）有限公司 | 基于直方图的虹膜图像增强方法、装置、设备及存储介质 |
| CN112991288B (zh) * | 2021-03-09 | 2022-11-18 | 东南大学 | 基于丰度图像锐化重构的高光谱遥感图像融合方法 |
| CN114549383A (zh) * | 2022-02-23 | 2022-05-27 | 浙江大华技术股份有限公司 | 一种基于深度学习的图像增强方法、装置、设备及介质 |
-
2022
- 2022-07-21 CN CN202210856658.7A patent/CN114926374B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103530853A (zh) * | 2013-10-17 | 2014-01-22 | 中北大学 | 红外光强图像和红外偏振图像增强融合方法 |
| CN104616255A (zh) * | 2015-01-11 | 2015-05-13 | 北京工业大学 | 基于乳腺x线图像的自适应增强方法 |
| CN106651817A (zh) * | 2016-11-03 | 2017-05-10 | 电子科技大学成都研究院 | 一种基于非抽样Contourlet的图像增强方法 |
| CN107220948A (zh) * | 2017-05-23 | 2017-09-29 | 长春工业大学 | 一种视网膜图像增强的方法 |
| CN107862666A (zh) * | 2017-11-22 | 2018-03-30 | 新疆大学 | 基于nsst域的混合遥感图像增强方法 |
| CN109919088A (zh) * | 2019-03-06 | 2019-06-21 | 贵州师范大学 | 一种喀斯特地区火龙果单株识别自动提取方法 |
| CN110232668A (zh) * | 2019-06-17 | 2019-09-13 | 首都师范大学 | 一种多尺度图像增强方法 |
| CN114022405A (zh) * | 2021-09-14 | 2022-02-08 | 孟令波 | 一种基于深度学习的血管内超声图像处理方法 |
Non-Patent Citations (6)
| Title |
|---|
| Contrast Enhancement by Top-Hat and Bottom-Hat Transform with Optimal Structuring Element:Application to Retinal Vessel Segmentation;Rafsanjany Kushol等;《ICIAR 2017:Image Analysis and Recognition》;20170602;第533-540页 * |
| Enhancement of microcalcification features using morphology and contourlet transform;Rekha Lakshmanan等;《2012 International Conference on Advances in Computing and Communications》;20120920;第14-17页 * |
| 一种基于视觉特性和灰度补偿改进的LDR图像增强方法;何保畅等;《中国科学院大学学报》;20181231;第35卷(第3期);第391-401页 * |
| 基于小波Contourlet系数相关性的红外图像增强算法;万智萍;《图学学报》;20140228;第35卷(第1期);第93-99页 * |
| 基于小波和灰度形态学的红外图像增强方法;周云川等;《激光与红外》;20111231;第41卷(第6期);第683-686页 * |
| 面向城市道路目视识别的遥感图像滤波增强方法;吴乐芹等;《地理空间信息》;20150424;第13卷(第2期);第104-106+109+13页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114926374A (zh) | 2022-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114926374B (zh) | 一种基于ai的图像处理方法、装置、设备及可读存储介质 | |
| Saladi et al. | Analysis of denoising filters on MRI brain images | |
| Chandel et al. | Image filtering algorithms and techniques: A review | |
| Bhowmik et al. | Visual attention-based image watermarking | |
| Lu et al. | Deep texture and structure aware filtering network for image smoothing | |
| CN110956632B (zh) | 钼靶图像中胸大肌区域自动检测方法及装置 | |
| Goyal et al. | Two-dimensional gray scale image denoising via morphological operations in NSST domain & bitonic filtering | |
| Yan et al. | Ghost removal via channel attention in exposure fusion | |
| CN113592776A (zh) | 图像处理方法及装置、电子设备、存储介质 | |
| AlAzawee et al. | Using morphological operations—Erosion based algorithm for edge detection | |
| Chang et al. | Brain MR image restoration using an automatic trilateral filter with GPU-based acceleration | |
| Wang et al. | Total generalized variation-based Retinex image decomposition | |
| Huang et al. | Effective blind image deblurring using matrix-variable optimization | |
| Pandey et al. | A fast and effective vision enhancement method for single foggy image | |
| Karthikeyan et al. | Energy based denoising convolutional neural network for image enhancement | |
| CN117036310A (zh) | 一种dicom影像外围轮廓的识别提取方法 | |
| CN111415317A (zh) | 图像处理方法及装置、电子设备、计算机可读存储介质 | |
| CN111311610A (zh) | 图像分割的方法及终端设备 | |
| Potocnik et al. | Image enhancement by using directional wavelet transform | |
| Zhou et al. | An improved algorithm using weighted guided coefficient and union self‐adaptive image enhancement for single image haze removal | |
| Zhai et al. | Progressive image restoration through hybrid graph Laplacian regularization | |
| Mathew et al. | Edge-aware spatial denoising filtering based on a psychological model of stimulus similarity | |
| Nagpal et al. | Performance analysis of diabetic retinopathy using diverse image enhancement techniques | |
| CN112949585A (zh) | 一种眼底图像血管的识别方法、装置、电子设备及存储介质 | |
| Zhu et al. | Quantitative assessment mechanism transcending visual perceptual evaluation for image dehazing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: An AI based image processing method, device, device, and readable storage medium Effective date of registration: 20230620 Granted publication date: 20221011 Pledgee: Industrial Bank Limited by Share Ltd. Chengdu branch Pledgor: SICHUAN XINYINGSHUN INFORMATION TECHNOLOGY CO.,LTD. Registration number: Y2023980044691 |
|
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 610000 floor 6, unit 1, building 4, Fengde International Plaza, No. 6, hanghang Road, Wuhou District, Chengdu, Sichuan Patentee after: New Yingshun Information Technology Co.,Ltd. Address before: 610000 floor 6, unit 1, building 4, Fengde International Plaza, No. 6, hanghang Road, Wuhou District, Chengdu, Sichuan Patentee before: SICHUAN XINYINGSHUN INFORMATION TECHNOLOGY CO.,LTD. |
|
| CP01 | Change in the name or title of a patent holder |