CN116777810B - 图像增强的智能化实现方法及装置 - Google Patents
图像增强的智能化实现方法及装置 Download PDFInfo
- Publication number
- CN116777810B CN116777810B CN202311048047.0A CN202311048047A CN116777810B CN 116777810 B CN116777810 B CN 116777810B CN 202311048047 A CN202311048047 A CN 202311048047A CN 116777810 B CN116777810 B CN 116777810B
- Authority
- CN
- China
- Prior art keywords
- image
- texture
- pixel
- images
- initial
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012549 training Methods 0.000 claims abstract description 109
- 230000015556 catabolic process Effects 0.000 claims abstract description 25
- 238000006731 degradation reaction Methods 0.000 claims abstract description 25
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000013507 mapping Methods 0.000 claims description 71
- 239000000463 material Substances 0.000 claims description 26
- 239000003623 enhancer Substances 0.000 claims description 16
- 230000002708 enhancing effect Effects 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 10
- 230000000694 effects Effects 0.000 abstract description 11
- 238000004364 calculation method Methods 0.000 description 10
- 230000009286 beneficial effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002023 wood Substances 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Image Processing (AREA)
Abstract
本发明公开了一种图像增强的智能化实现方法及装置,该方法包括:通过待训练图像增强模型先对所有训练图像进行增强及降质操作,继而确定出待训练图像增强模型对应的图像内容损失参数,并判断图像内容损失参数是否小于等于预设图像内容损失阈值,若是,则进一步执行图像属性判别操作,以对待训练图像增强模型进行训练,从而训练出能够对待增强图像进行图像增强的目标图像增强模型。可见,实施本发明训练出的目标图像增强模型能够对多种场景类型的待增强图像进行增强,在保障增强后图像的图像内容一致性的情况下,也提高了对增强后图像的图像纹理及图像像素的增强效果,提高了对待增强图像的增强可靠性及准确性,以利于满足用户图像处理的需求。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像增强的智能化实现方法及装置。
背景技术
随着图像增强技术的快速发展,图像增强技术已经渗透到各行各业,如建筑工程、军事、电商等行业领域,它能够有针对性地强调图像的整体或局部特征,强化图像重要信息以及弱化图像次要信息,增强图像的识别效果,从而使得图像的质量得到提升。
当前,常用的图像增强技术一般是通过单一的像素灰度映射表,对图像的原始像素灰度值进行转换来实现,然而,通过实践发现,现有的图像增强技术需要依赖人工进行像素灰度映射表的设计,而且单一的像素灰度映射表也只能针对某一特定场景的图像进行增强处理,从而难以确保增强后图像的质量能够达到理想的效果。可见,提供一种新的图像增强实现方法,以有效提高增强后图像的增强效果尤为重要。
发明内容
本发明所要解决的技术问题在于,提供一种图像增强的智能化实现的方法及装置,在保障增强后图像的图像内容一致性的情况下,也提高了对增强后图像的图像纹理及图像像素的增强效果,提高了对待增强图像的增强可靠性及准确性,以利于满足用户图像处理的需求。
为了解决上述技术问题,本发明第一方面公开了一种图像增强的智能化实现方法,所述方法包括:
获取用于训练的训练图像集合,并将所述训练图像集合中的所有训练图像输入至预设的待训练图像增强模型的图像增强器中,得到每个所述训练图像对应的初始增强图像;所有所述训练图像中包含多种场景类型的图像;
将所有所述初始增强图像输入至所述待训练图像增强模型中的图像降质器中,得到每个所述初始增强图像对应的降质图像,并根据所有所述训练图像以及所有所述初始增强图像对应的降质图像,确定所述待训练图像增强模型对应的图像内容损失参数;
判断所述图像内容损失参数是否小于等于预设的图像内容损失阈值,若是,则基于所述待训练图像增强模型中的图像属性判别器,对所有所述初始增强图像执行图像属性判别操作,得到所有所述初始增强图像对应的图像属性判别结果;所述图像属性判别结果包括图像纹理判别结果和/或图像像素判别结果;
根据所有所述初始增强图像对应的图像属性判别结果,判断所述待训练图像增强模型是否收敛;
当判断出所述待训练图像增强模型不收敛时,对所述待训练图像增强模型的模型参数进行调整,得到新的所述待训练图像增强模型,并触发执行所述的将所述训练图像集合中的所有训练图像输入至预设的待训练图像增强模型的图像增强器中,得到每个所述训练图像对应的初始增强图像的操作;所述待训练图像增强模型为新的所述待训练图像增强模型;
当判断出所述待训练图像增强模型收敛时,将所述待训练图像增强模型确定为目标图像增强模型;所述目标图像增强模型用于对待增强图像进行图像增强。
作为一种可选的实施方式,在本发明第一方面中,所述图像属性判别器包括图像纹理判别器和/或图像像素判别器;
其中,所述基于所述待训练图像增强模型中的图像属性判别器,对所有所述初始增强图像执行图像属性判别操作,得到所有所述初始增强图像对应的图像属性判别结果,包括:
当所述图像属性判别器包括所述图像纹理判别器以及所述图像像素判别器时,确定每个所述初始增强图像对应的判别参照图像,并将所有所述初始增强图像以及所有所述初始增强图像对应的判别参照图像输入至所述图像纹理判别器中,以使所述图像纹理判别器对每个所述初始增强图像以及每个所述初始增强图像对应的判别参照图像执行图像纹理判别操作,得到每个所述初始增强图像对应的图像纹理损失参数;
将所有所述初始增强图像以及所有所述初始增强图像对应的判别参照图像输入至所述图像像素判别器中,以使所述图像像素判别器对每个所述初始增强图像以及每个所述初始增强图像对应的判别参照图像执行图像像素判别操作,得到每个所述初始增强图像对应的图像像素损失参数;
根据所有所述初始增强图像对应的图像纹理损失参数以及对应的图像像素损失参数,确定所有所述初始增强图像对应的图像属性判别结果。
作为一种可选的实施方式,在本发明第一方面中,所述图像纹理判别器对每个所述初始增强图像以及每个所述初始增强图像对应的判别参照图像执行图像纹理判别操作,得到每个所述初始增强图像对应的图像纹理损失参数,包括:
对于每一所述初始增强图像,所述图像纹理判别器对所述初始增强图像以及所述初始增强图像对应的判别参照图像执行图像灰度处理操作,得到所述初始增强图像的第一灰度图像以及所述判别参照图像的第二灰度图像,并提取所述第一灰度图像中的多个第一纹理特征元素以及所述第二灰度图像中的多个第二纹理特征元素;
对于每一所述第一灰度图像中的每一所述第一纹理特征元素,从所有所述第二纹理特征元素中确定出与所述第一纹理特征元素相匹配的目标纹理特征元素,并确定所述第一纹理特征元素的基础判别数值以及所述第一纹理特征元素与所述目标纹理特征元素之间的元素判别相似度;
对于每一所述第一灰度图像,根据所述第一灰度图像中的每个所述第一纹理特征元素的基础判别数值以及对应的元素判别相似度,计算每个所述第一纹理特征元素与与其相匹配的所述目标纹理特征元素之间的纹理特征元素损失参数,并根据所有所述第一纹理特征元素对应的纹理特征元素损失参数,确定所述第一灰度图像的图像纹理损失参数,作为所述初始增强图像对应的图像纹理损失参数。
作为一种可选的实施方式,在本发明第一方面中,所述第一纹理特征元素的基础判别数值是通过以下方式确定出的:
确定所述第一纹理特征元素所属的所述第一灰度图像对应的图像场景特征参数,并确定所述第一纹理特征元素在所述第一灰度图像中所对应的第一特征参数;所述第一特征参数包括位置特征参数、大小占比特征参数、元素场景特征参数以及纹理类型特征参数中的至少一种;
根据所述图像场景特征参数以及所述第一纹理特征元素对应的第一特征参数,确定所述第一纹理特征元素针对所述第一灰度图像所对应的元素权重值,并根据预设的所述第一灰度图像对应的图像基础数值以及所述元素权重值,确定所述第一纹理特征元素的基础判别数值。
作为一种可选的实施方式,在本发明第一方面中,所述第一纹理特征元素与所述目标纹理特征元素之间的元素判别相似度是通过以下方式确定出的:
确定所述第一纹理特征元素所属的纹理类型;所述纹理类型包括材质纹理类型、空间立体纹理类型以及映射纹理类型中的至少一种;
当所述第一纹理特征元素所属的纹理类型包括所述材质纹理类型时,根据所述第一纹理特征元素中第一材质纹理的材质纹理参数以及所述目标纹理特征元素中第二材质纹理的材质纹理参数,确定所述第一材质纹理与所述第二材质纹理之间的材质纹理相似度,作为所述第一纹理特征元素与所述目标纹理特征元素之间的元素判别相似度;所述材质纹理参数包括材质纹理位置参数、材质纹理纹路情况以及材质类型参数中的至少一种;
当所述第一纹理特征元素所属的纹理类型包括所述空间立体纹理类型时,根据所述第一纹理特征元素中第一几何面纹理对应的交错纹理参数以及所述目标纹理特征元素中第二几何面纹理对应的交错纹理参数,确定所述第一几何面纹理与所述第二几何面纹理之间的交错纹理相似度,作为所述第一纹理特征元素与所述目标纹理特征元素之间的元素判别相似度;所述交错纹理参数包括交错纹理位置参数和/或交错纹理纹路情况;
当所述第一纹理特征元素所属的纹理类型包括所述映射纹理类型时,根据所述第一纹理特征元素中第一映射纹理对应的映射纹理参数以及所述目标纹理特征元素中第二映射纹理对应的映射纹理参数,确定所述第一映射纹理与所述第二映射纹理之间的映射纹理相似度,作为所述第一纹理特征元素与所述目标纹理特征元素之间的元素判别相似度;所述映射纹理参数包括映射纹理位置参数、映射纹理纹路情况、映射对象类型参数以及被映射对象类型参数中的至少一种。
作为一种可选的实施方式,在本发明第一方面中,所述图像像素判别器对每个所述初始增强图像以及每个所述初始增强图像对应的判别参照图像执行图像像素判别操作,得到每个所述初始增强图像对应的图像像素损失参数,包括:
对于每一所述初始增强图像,所述图像像素判别器对所述初始增强图像以及所述初始增强图像对应的判别参照图像执行图像噪声处理操作,得到所述初始增强图像的第一处理后图像以及所述判别参照图像的第二处理后图像,并提取所述第一处理后图像中的多个第一图像像素以及所述第二处理后图像中的多个第二图像像素;
对于每一所述第一处理后图像中的每一所述第一图像像素,从所有所述第二图像像素中确定出与所述第一图像像素相匹配的目标图像像素,并确定所述第一图像像素与所述目标图像像素之间的像素判别相似度;
对于每一所述第一处理后图像,根据所述第一处理后图像中的每个所述第一图像像素对应的像素判别相似度,确定每个所述第一图像像素与与其相匹配的所述目标图像像素之间的像素特征损失参数,并根据所有所述第一图像像素对应的像素特征损失参数,确定所述第一处理后图像的图像像素损失参数,作为所述初始增强图像对应的图像像素损失参数。
作为一种可选的实施方式,在本发明第一方面中,所述第一图像像素与所述目标图像像素之间的像素判别相似度是通过以下方式确定出的:
确定所述第一图像像素的像素特征参数以及所述目标图像像素的像素特征参数;所述像素特征参数包括像素位置特征参数、像素大小特征参数以及像素值中的至少一种;
根据所述第一图像像素的像素特征参数以及所述目标图像像素的像素特征参数,确定所述第一图像像素与所述目标图像像素之间的像素判别相似度。
本发明第二方面公开了一种图像增强的智能化实现装置,所述装置包括:
获取模块,用于获取用于训练的训练图像集合;
训练模块,用于将所述训练图像集合中的所有训练图像输入至预设的待训练图像增强模型的图像增强器中,得到每个所述训练图像对应的初始增强图像;所有所述训练图像中包含多种场景类型的图像;将所有所述初始增强图像输入至所述待训练图像增强模型中的图像降质器中,得到每个所述初始增强图像对应的降质图像,并根据所有所述训练图像以及所有所述初始增强图像对应的降质图像,确定所述待训练图像增强模型对应的图像内容损失参数;
判断模块,用于判断所述图像内容损失参数是否小于等于预设的图像内容损失阈值;
所述训练模块,还用于当所述判断模块判断结果为是时,基于所述待训练图像增强模型中的图像属性判别器,对所有所述初始增强图像执行图像属性判别操作,得到所有所述初始增强图像对应的图像属性判别结果;所述图像属性判别结果包括图像纹理判别结果和/或图像像素判别结果;
所述判断模块,还用于根据所有所述初始增强图像对应的图像属性判别结果,判断所述待训练图像增强模型是否收敛;
调整模块,用于当所述判断模块判断出所述待训练图像增强模型不收敛时,对所述待训练图像增强模型的模型参数进行调整,得到新的所述待训练图像增强模型,并触发所述训练模块执行所述的将所述训练图像集合中的所有训练图像输入至预设的待训练图像增强模型的图像增强器中,得到每个所述训练图像对应的初始增强图像的操作;所述待训练图像增强模型为新的所述待训练图像增强模型;
确定模块,用于当所述判断模块判断出所述待训练图像增强模型收敛时,将所述待训练图像增强模型确定为目标图像增强模型;所述目标图像增强模型用于对待增强图像进行图像增强。
作为一种可选的实施方式,在本发明第二方面中,所述图像属性判别器包括图像纹理判别器和/或图像像素判别器;
其中,所述训练模块基于所述待训练图像增强模型中的图像属性判别器,对所有所述初始增强图像执行图像属性判别操作,得到所有所述初始增强图像对应的图像属性判别结果的方式具体包括:
当所述图像属性判别器包括所述图像纹理判别器以及所述图像像素判别器时,确定每个所述初始增强图像对应的判别参照图像,并将所有所述初始增强图像以及所有所述初始增强图像对应的判别参照图像输入至所述图像纹理判别器中,以使所述图像纹理判别器对每个所述初始增强图像以及每个所述初始增强图像对应的判别参照图像执行图像纹理判别操作,得到每个所述初始增强图像对应的图像纹理损失参数;
将所有所述初始增强图像以及所有所述初始增强图像对应的判别参照图像输入至所述图像像素判别器中,以使所述图像像素判别器对每个所述初始增强图像以及每个所述初始增强图像对应的判别参照图像执行图像像素判别操作,得到每个所述初始增强图像对应的图像像素损失参数;
根据所有所述初始增强图像对应的图像纹理损失参数以及对应的图像像素损失参数,确定所有所述初始增强图像对应的图像属性判别结果。
作为一种可选的实施方式,在本发明第二方面中,所述图像纹理判别器对每个所述初始增强图像以及每个所述初始增强图像对应的判别参照图像执行图像纹理判别操作,得到每个所述初始增强图像对应的图像纹理损失参数的方式具体包括:
对于每一所述初始增强图像,所述图像纹理判别器对所述初始增强图像以及所述初始增强图像对应的判别参照图像执行图像灰度处理操作,得到所述初始增强图像的第一灰度图像以及所述判别参照图像的第二灰度图像,并提取所述第一灰度图像中的多个第一纹理特征元素以及所述第二灰度图像中的多个第二纹理特征元素;
对于每一所述第一灰度图像中的每一所述第一纹理特征元素,从所有所述第二纹理特征元素中确定出与所述第一纹理特征元素相匹配的目标纹理特征元素,并确定所述第一纹理特征元素的基础判别数值以及所述第一纹理特征元素与所述目标纹理特征元素之间的元素判别相似度;
对于每一所述第一灰度图像,根据所述第一灰度图像中的每个所述第一纹理特征元素的基础判别数值以及对应的元素判别相似度,计算每个所述第一纹理特征元素与与其相匹配的所述目标纹理特征元素之间的纹理特征元素损失参数,并根据所有所述第一纹理特征元素对应的纹理特征元素损失参数,确定所述第一灰度图像的图像纹理损失参数,作为所述初始增强图像对应的图像纹理损失参数。
作为一种可选的实施方式,在本发明第二方面中,所述第一纹理特征元素的基础判别数值是通过以下方式确定出的:
确定所述第一纹理特征元素所属的所述第一灰度图像对应的图像场景特征参数,并确定所述第一纹理特征元素在所述第一灰度图像中所对应的第一特征参数;所述第一特征参数包括位置特征参数、大小占比特征参数、元素场景特征参数以及纹理类型特征参数中的至少一种;
根据所述图像场景特征参数以及所述第一纹理特征元素对应的第一特征参数,确定所述第一纹理特征元素针对所述第一灰度图像所对应的元素权重值,并根据预设的所述第一灰度图像对应的图像基础数值以及所述元素权重值,确定所述第一纹理特征元素的基础判别数值。
作为一种可选的实施方式,在本发明第二方面中,所述第一纹理特征元素与所述目标纹理特征元素之间的元素判别相似度是通过以下方式确定出的:
确定所述第一纹理特征元素所属的纹理类型;所述纹理类型包括材质纹理类型、空间立体纹理类型以及映射纹理类型中的至少一种;
当所述第一纹理特征元素所属的纹理类型包括所述材质纹理类型时,根据所述第一纹理特征元素中第一材质纹理的材质纹理参数以及所述目标纹理特征元素中第二材质纹理的材质纹理参数,确定所述第一材质纹理与所述第二材质纹理之间的材质纹理相似度,作为所述第一纹理特征元素与所述目标纹理特征元素之间的元素判别相似度;所述材质纹理参数包括材质纹理位置参数、材质纹理纹路情况以及材质类型参数中的至少一种;
当所述第一纹理特征元素所属的纹理类型包括所述空间立体纹理类型时,根据所述第一纹理特征元素中第一几何面纹理对应的交错纹理参数以及所述目标纹理特征元素中第二几何面纹理对应的交错纹理参数,确定所述第一几何面纹理与所述第二几何面纹理之间的交错纹理相似度,作为所述第一纹理特征元素与所述目标纹理特征元素之间的元素判别相似度;所述交错纹理参数包括交错纹理位置参数和/或交错纹理纹路情况;
当所述第一纹理特征元素所属的纹理类型包括所述映射纹理类型时,根据所述第一纹理特征元素中第一映射纹理对应的映射纹理参数以及所述目标纹理特征元素中第二映射纹理对应的映射纹理参数,确定所述第一映射纹理与所述第二映射纹理之间的映射纹理相似度,作为所述第一纹理特征元素与所述目标纹理特征元素之间的元素判别相似度;所述映射纹理参数包括映射纹理位置参数、映射纹理纹路情况、映射对象类型参数以及被映射对象类型参数中的至少一种。
作为一种可选的实施方式,在本发明第二方面中,所述图像像素判别器对每个所述初始增强图像以及每个所述初始增强图像对应的判别参照图像执行图像像素判别操作,得到每个所述初始增强图像对应的图像像素损失参数的方式具体包括:
对于每一所述初始增强图像,所述图像像素判别器对所述初始增强图像以及所述初始增强图像对应的判别参照图像执行图像噪声处理操作,得到所述初始增强图像的第一处理后图像以及所述判别参照图像的第二处理后图像,并提取所述第一处理后图像中的多个第一图像像素以及所述第二处理后图像中的多个第二图像像素;
对于每一所述第一处理后图像中的每一所述第一图像像素,从所有所述第二图像像素中确定出与所述第一图像像素相匹配的目标图像像素,并确定所述第一图像像素与所述目标图像像素之间的像素判别相似度;
对于每一所述第一处理后图像,根据所述第一处理后图像中的每个所述第一图像像素对应的像素判别相似度,确定每个所述第一图像像素与与其相匹配的所述目标图像像素之间的像素特征损失参数,并根据所有所述第一图像像素对应的像素特征损失参数,确定所述第一处理后图像的图像像素损失参数,作为所述初始增强图像对应的图像像素损失参数。
作为一种可选的实施方式,在本发明第二方面中,所述第一图像像素与所述目标图像像素之间的像素判别相似度是通过以下方式确定出的:
确定所述第一图像像素的像素特征参数以及所述目标图像像素的像素特征参数;所述像素特征参数包括像素位置特征参数、像素大小特征参数以及像素值中的至少一种;
根据所述第一图像像素的像素特征参数以及所述目标图像像素的像素特征参数,确定所述第一图像像素与所述目标图像像素之间的像素判别相似度。
本发明第三方面公开了另一种图像增强的智能化实现装置,所述装置包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明第一方面公开的图像增强的智能化实现方法。
本发明第四方面公开了一种计算机存储介质,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行本发明第一方面公开的图像增强的智能化实现方法。
与现有技术相比,本发明实施例具有以下有益效果:
本发明实施例中,通过待训练图像增强模型先对所有训练图像进行增强及降质操作,继而确定出待训练图像增强模型对应的图像内容损失参数,并判断图像内容损失参数是否小于等于预设图像内容损失阈值,若是,则进一步执行图像属性判别操作,以对待训练图像增强模型进行训练,从而训练出能够对待增强图像进行图像增强的目标图像增强模型。可见,实施本发明训练出的目标图像增强模型能够对多种场景类型的待增强图像进行增强,在保障增强后图像的图像内容一致性的情况下,也提高了对增强后图像的图像纹理及图像像素的增强效果,提高了对待增强图像的增强可靠性及准确性,以利于满足用户图像处理的需求。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种图像增强的智能化实现方法的流程示意图;
图2是本发明实施例公开的另一种图像增强的智能化实现方法的流程示意图;
图3是本发明实施例公开的一种图像增强的智能化实现装置的结构示意图;
图4是本发明实施例公开的另一种图像增强的智能化实现装置的结构示意图;
图5是本发明实施例公开的又一种图像增强的智能化实现装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本发明公开了一种图像增强的智能化实现方法及装置,在保障增强后图像的图像内容一致性的情况下,也提高了对增强后图像的图像纹理及图像像素的增强效果,提高了对待增强图像的增强可靠性及准确性,以利于满足用户图像处理的需求。
实施例一
请参阅图1,图1是本发明实施例公开的一种图像增强的智能化实现方法的流程示意图。其中,图1所描述的图像增强的智能化实现方法可以应用于对多种场景类型的图像进行增强,如室内场景及室外场景类型,又如体现了物品材质的图像、体现了立体几何面交错的图像以及体现了光/水面映射的图像等等,本发明实施例不做限定。可选的,该方法可以由图像增强模型训练系统实现,该图像增强模型训练系统可以集成在图像增强模型训练装置中,也可以是用于对图像增强模型训练流程进行处理的本地服务器或云端服务器等,本发明实施例不做限定。如图1所示,该图像增强的智能化实现方法可以包括以下操作:
101、获取用于训练的训练图像集合,并将训练图像集合中的所有训练图像输入至预设的待训练图像增强模型的图像增强器中,得到每个训练图像对应的初始增强图像。
在本发明实施例中,所有训练图像中包含多种场景类型的图像,以及每个训练图像对应的初始增强图像可以理解为对该训练图像进行处理过后,其亮暗度对比、纹理等图像细节更加明晰的图像。以及具体的,该待训练图像增强模型包括图像增强器、图像降质器、图像属性判别器等等,其中,图像属性判别器包括图像纹理判别器和/或图像像素判别器。
102、将所有初始增强图像输入至待训练图像增强模型中的图像降质器中,得到每个初始增强图像对应的降质图像,并根据所有训练图像以及所有初始增强图像对应的降质图像,确定待训练图像增强模型对应的图像内容损失参数。
在本发明实施例中,每个初始增强图像对应的降质图像可以理解为对该初始增强图像处理过后,其亮暗度对比、纹理细节、分辨率等使得质量下降的图像。具体的,根据所有训练图像以及所有初始增强图像对应的降质图像,确定待训练图像增强模型对应的图像内容损失参数,包括:提取每个训练图像的图像语义内容以及每个降质图像的图像语义内容,并根据每个训练图像的图像语义内容以及对应的降质图像的图像语义内容,确定每个训练图像对应的图像语义损失参数;根据所有训练图像对应的图像语义损失参数,确定待训练图像增强模型对应的图像内容损失参数。
103、判断图像内容损失参数是否小于等于预设的图像内容损失阈值,若是,则基于待训练图像增强模型中的图像属性判别器,对所有初始增强图像执行图像属性判别操作,得到所有初始增强图像对应的图像属性判别结果。
在本发明实施例中,可选的,图像属性判别器包括图像纹理判别器和/或图像像素判别器,其中,图像属性判别结果可以包括图像纹理判别结果和/或图像像素判别结果。进一步的,该方法还包括:当判断出图像内容损失参数是否大于预设的图像内容损失阈值时,则触发执行上述步骤101中的将训练图像集合中的所有训练图像输入至预设的待训练图像增强模型的图像增强器中,得到每个训练图像对应的初始增强图像的操作。需要说明的是,通过对训练图像、降质图像之间图像语义损失参数对比,即对待训练图像增强模型的图像内容损失参数的判定操作,可以不断限制训练图像与降质图像之间的图像内容一致性,以确保后续需要执行图像属性判别操作的初始增强图像的图像内容没有受到过大的改变。
104、根据所有初始增强图像对应的图像属性判别结果,判断待训练图像增强模型是否收敛;当步骤104的判断结果为否时,触发执行步骤105;当步骤104的判断结果为是时,触发执行步骤106。
在本发明实施例中,即根据所有初始增强图像对应的图像纹理判别结果和/或图像像素判别结果,判断待训练图像增强模型是否收敛。
105、对待训练图像增强模型的模型参数进行调整,得到新的待训练图像增强模型,并触发执行上述步骤101中的将训练图像集合中的所有训练图像输入至预设的待训练图像增强模型的图像增强器中,得到每个训练图像对应的初始增强图像的操作。
在本发明实施例中,待训练图像增强模型为新的待训练图像增强模型。
106、将待训练图像增强模型确定为目标图像增强模型。
在本发明实施例中,具体的,目标图像增强模型用于对待增强图像进行图像增强,能够确保待增强图像通过目标图像增强模型增强过后其图像内容基本不变,且其纹理、亮暗度对比等图像细节得到提升。
可见,实施本发明训练出的目标图像增强模型能够对多种场景类型的待增强图像进行增强,在保障增强后图像的图像内容一致性的情况下,也提高了对增强后图像的图像纹理及图像像素的增强效果,提高了对待增强图像的增强可靠性及准确性,以利于满足用户图像处理的需求。
实施例二
请参阅图2,图2是本发明实施例公开的一种图像增强的智能化实现方法的流程示意图。其中,图2所描述的图像增强的智能化实现方法可以应用于对多种场景类型的图像进行增强,如室内场景及室外场景类型,又如体现了物品材质的图像、体现了立体几何面交错的图像以及体现了光/水面映射的图像等等,本发明实施例不做限定。可选的,该方法可以由图像增强模型训练系统实现,该图像增强模型训练系统可以集成在图像增强模型训练装置中,也可以是用于对图像增强模型训练流程进行处理的本地服务器或云端服务器等,本发明实施例不做限定。如图2所示,该图像增强的智能化实现方法可以包括以下操作:
201、获取用于训练的训练图像集合,并将训练图像集合中的所有训练图像输入至预设的待训练图像增强模型的图像增强器中,得到每个训练图像对应的初始增强图像。
202、将所有初始增强图像输入至待训练图像增强模型中的图像降质器中,得到每个初始增强图像对应的降质图像,并根据所有训练图像以及所有初始增强图像对应的降质图像,确定待训练图像增强模型对应的图像内容损失参数。
203、判断图像内容损失参数是否小于等于预设的图像内容损失阈值,若是且当图像属性判别器包括图像纹理判别器以及图像像素判别器时,确定每个初始增强图像对应的判别参照图像,并将所有初始增强图像以及所有初始增强图像对应的判别参照图像输入至图像纹理判别器中,以使图像纹理判别器对每个初始增强图像以及每个初始增强图像对应的判别参照图像执行图像纹理判别操作,得到每个初始增强图像对应的图像纹理损失参数。
在本发明实施例中,在图像纹理判别器对每个初始增强图像以及每个初始增强图像对应的判别参照图像执行图像纹理判别操作的过程中,需要先执行图像灰度处理操作,以去除图像的颜色影响,继而再执行纹理特征元素提取操作,最后再通过相应的纹理特征元素计算出相应的图像纹理损失参数。
204、将所有初始增强图像以及所有初始增强图像对应的判别参照图像输入至图像像素判别器中,以使图像像素判别器对每个初始增强图像以及每个初始增强图像对应的判别参照图像执行图像像素判别操作,得到每个初始增强图像对应的图像像素损失参数。
在本发明实施例中,在图像像素判别器对每个初始增强图像以及每个初始增强图像对应的判别参照图像执行图像像素判别操作的过程中,需要先执行图像噪声处理操作,继而再执行图像像素提取操作,最后再通过相应的图像像素计算出相应的图像像素损失参数。
205、根据所有初始增强图像对应的图像纹理损失参数以及对应的图像像素损失参数,确定所有初始增强图像对应的图像属性判别结果。
在本发明实施例中,具体的,根据所有初始增强图像对应的图像纹理损失参数以及对应的图像像素损失参数,确定所有初始增强图像对应的图像属性判别结果,包括:确定每个初始增强图像的图像场景特征参数,并根据每个初始增强图像的图像场景特征参数,确定每个初始增强图像对应的图像纹理损失比例参数以及对应的图像像素损失比例参数;根据每个初始增强图像对应的图像纹理损失比例参数、对应的图像像素损失比例参数、对应的图像纹理损失参数以及对应的图像像素损失参数,确定每个初始增强图像对应的图像属性判别结果,其中,对应的初始增强图像对应的图像属性判别结果为:A=B*b+C*c,B为对应的初始增强图像所对应的图像纹理损失参数,b为对应的初始增强图像所对应的图像纹理损失比例参数,C为对应的初始增强图像所对应的图像像素损失参数,c为对应的初始增强图像所对应的图像像素损失比例参数。
206、根据所有初始增强图像对应的图像属性判别结果,判断待训练图像增强模型是否收敛;当步骤206的判断结果为否时,触发执行步骤207;当步骤206的判断结果为是时,触发执行步骤208。
207、对待训练图像增强模型的模型参数进行调整,得到新的待训练图像增强模型,并触发执行上述步骤201中的将训练图像集合中的所有训练图像输入至预设的待训练图像增强模型的图像增强器中,得到每个训练图像对应的初始增强图像的操作。
208、将待训练图像增强模型确定为目标图像增强模型。
在本发明实施例中,针对步骤201、步骤202、步骤206-步骤208的其它描述,请参照实施例一中针对步骤101-步骤105的详细描述,本发明实施例不再赘述。
可见,实施本发明实施例能够通过图像纹理判别器及图像像素判别器分别计算出所有初始增强图像对应的图像纹理损失参数以及对应的图像像素损失参数,这样,有利于提高对图像纹理损失参数以及图像像素损失参数的计算可靠性及准确性,进而有利于提高对待训练图像增强模型的训练可靠性及准确性,从而有利于可靠且准确地训练出用于图像增强的目标图像增强模型,以提高对待增强图像的增强效果,满足用户的图像处理需求。
在一个可选的实施例中,上述步骤203中的图像纹理判别器对每个初始增强图像以及每个初始增强图像对应的判别参照图像执行图像纹理判别操作,得到每个初始增强图像对应的图像纹理损失参数,包括:
对于每一初始增强图像,图像纹理判别器对初始增强图像以及初始增强图像对应的判别参照图像执行图像灰度处理操作,得到初始增强图像的第一灰度图像以及判别参照图像的第二灰度图像,并提取第一灰度图像中的多个第一纹理特征元素以及第二灰度图像中的多个第二纹理特征元素;
对于每一第一灰度图像中的每一第一纹理特征元素,从所有第二纹理特征元素中确定出与第一纹理特征元素相匹配的目标纹理特征元素,并确定第一纹理特征元素的基础判别数值以及第一纹理特征元素与目标纹理特征元素之间的元素判别相似度;
对于每一第一灰度图像,根据第一灰度图像中的每个第一纹理特征元素的基础判别数值以及对应的元素判别相似度,计算每个第一纹理特征元素与与其相匹配的目标纹理特征元素之间的纹理特征元素损失参数,并根据所有第一纹理特征元素对应的纹理特征元素损失参数,确定第一灰度图像的图像纹理损失参数,作为初始增强图像对应的图像纹理损失参数。
在该可选的实施例中,其中,判别参照图像可以理解为已调好纹理、像素的真值图像。以及具体的,对初始增强图像以及其对应的判别参照图像进行图像灰度处理操作,可去除图像颜色对后续图像纹理特征元素的损失判定影响。需要说明的是,通过不断地对初始增强图像对应的图像纹理损失参数的判定操作,可以不断迫使初始增强图像与判别参照图像之间的纹理达到一致。进一步的,第一纹理特征元素的基础判别数值是通过以下方式确定出的:
确定第一纹理特征元素所属的第一灰度图像对应的图像场景特征参数,并确定第一纹理特征元素在第一灰度图像中所对应的第一特征参数;
根据图像场景特征参数以及第一纹理特征元素对应的第一特征参数,确定第一纹理特征元素针对第一灰度图像所对应的元素权重值,并根据预设的第一灰度图像对应的图像基础数值以及元素权重值,确定第一纹理特征元素的基础判别数值。
在该可选的实施例中,可选的,第一特征参数包括位置特征参数、大小占比特征参数、元素场景特征参数以及纹理类型特征参数中的至少一种。进一步可选的,图像场景特征参数包括图像场景大小参数、图像场景类型参数等等。其中,举例来说,当大小占比特征参数越小,可以确定该第一纹理特征元素针对第一灰度图像所对应的元素权重值越小;当元素场景特征参数与图像场景类型参数之间的关联性越小,则可以确定该第一纹理特征元素针对第一灰度图像所对应的元素权重值越小。
再进一步的,第一纹理特征元素与目标纹理特征元素之间的元素判别相似度是通过以下方式确定出的:
确定第一纹理特征元素所属的纹理类型;纹理类型包括材质纹理类型、空间立体纹理类型以及映射纹理类型中的至少一种;
当第一纹理特征元素所属的纹理类型包括材质纹理类型时,根据第一纹理特征元素中第一材质纹理的材质纹理参数以及目标纹理特征元素中第二材质纹理的材质纹理参数,确定第一材质纹理与第二材质纹理之间的材质纹理相似度,作为第一纹理特征元素与目标纹理特征元素之间的元素判别相似度;
当第一纹理特征元素所属的纹理类型包括空间立体纹理类型时,根据第一纹理特征元素中第一几何面纹理对应的交错纹理参数以及目标纹理特征元素中第二几何面纹理对应的交错纹理参数,确定第一几何面纹理与第二几何面纹理之间的交错纹理相似度,作为第一纹理特征元素与目标纹理特征元素之间的元素判别相似度;
当第一纹理特征元素所属的纹理类型包括映射纹理类型时,根据第一纹理特征元素中第一映射纹理对应的映射纹理参数以及目标纹理特征元素中第二映射纹理对应的映射纹理参数,确定第一映射纹理与第二映射纹理之间的映射纹理相似度,作为第一纹理特征元素与目标纹理特征元素之间的元素判别相似度。
在该可选的实施例中,可选的,材质纹理参数包括材质纹理位置参数、材质纹理纹路情况以及材质类型参数(如木材材质、玻璃材质等等)中的至少一种;交错纹理参数包括交错纹理位置参数和/或交错纹理纹路情况(如A几何面与B几何面之间的交接线情况);映射纹理参数包括映射纹理位置参数、映射纹理纹路情况、映射对象类型参数(如灯光、水面等能够形成光影映射的对象)以及被映射对象类型参数(如墙面、地面等因光影映射形成亮暗面的对象)中的至少一种。
可见,该可选的实施例能够基于第一纹理特征元素对应的第一特征参数计算出其基础判别数值,以及基于第一纹理特征元素所属的纹理类型、其相应纹理参数以及目标纹理特征元素相应的纹理参数计算出第一纹理特征元素对应的元素判别相似度,进而计算出各个第一纹理特征元素对应的纹理特征元素损失参数,从而计算出所有第一纹理特征元素对应的初始增强图像对应的图像纹理损失参数,这样,有利于提高对第一纹理特征元素对应的基础判别数值、元素判别相似度的计算可靠性及准确性,进而有利于提高对第一纹理特征元素对应的纹理特征元素损失参数的计算可靠性及准确性,从而有利于提高对初始增强图像对应的图像纹理损失参数的计算可靠性及准确性,以实现对待训练图像增强模型的训练可靠性。
在另一个可选的实施例中,上述步骤204中的图像像素判别器对每个初始增强图像以及每个初始增强图像对应的判别参照图像执行图像像素判别操作,得到每个初始增强图像对应的图像像素损失参数,包括:
对于每一初始增强图像,图像像素判别器对初始增强图像以及初始增强图像对应的判别参照图像执行图像噪声处理操作,得到初始增强图像的第一处理后图像以及判别参照图像的第二处理后图像,并提取第一处理后图像中的多个第一图像像素以及第二处理后图像中的多个第二图像像素;
对于每一第一处理后图像中的每一第一图像像素,从所有第二图像像素中确定出与第一图像像素相匹配的目标图像像素,并确定第一图像像素与目标图像像素之间的像素判别相似度;
对于每一第一处理后图像,根据第一处理后图像中的每个第一图像像素对应的像素判别相似度,确定每个第一图像像素与与其相匹配的目标图像像素之间的像素特征损失参数,并根据所有第一图像像素对应的像素特征损失参数,确定第一处理后图像的图像像素损失参数,作为初始增强图像对应的图像像素损失参数。
在该可选的实施例中,其中,图像噪声处理操作可以是高斯噪声处理操作。需要说明的是,通过不断地对初始增强图像对应的图像像素损失参数的判定操作,可以不断迫使初始增强图像与判别参照图像之间的像素值、像素分布情况等等达到一致。
进一步的,第一图像像素与目标图像像素之间的像素判别相似度是通过以下方式确定出的:
确定第一图像像素的像素特征参数以及目标图像像素的像素特征参数;
根据第一图像像素的像素特征参数以及目标图像像素的像素特征参数,确定第一图像像素与目标图像像素之间的像素判别相似度。
在该可选的实施例中,可选的,像素特征参数包括像素位置特征参数、像素大小特征参数以及像素值中的至少一种。
可见,该可选的实施例能够基于第一图像像素的像素特征参数以及目标图像像素的像素特征参数,计算出第一图像像素对应的像素判别相似度,进而计算出第一图像像素与与其相匹配的目标图像像素之间的像素特征损失参数,从而基于所有的第一图像像素对应的像素特征损失参数确定出初始增强图像对应的图像像素损失参数,这样,可以提高对第一图像像素对应的像素判别相似度的计算可靠性及准确性,进而可以提高对第一图像像素对应的像素特征损失参数的计算可靠性及准确性,从而可以提高对初始增强图像对应的图像像素损失参数的确定可靠性及准确性,以进一步实现对待训练图像增强模型的训练可靠性。
实施例三
请参阅图3,图3是本发明实施例公开的一种图像增强的智能化实现装置的结构示意图。如图3所示,该图像增强的智能化实现装置可以包括:
获取模块301,用于获取用于训练的训练图像集合;
训练模块302,用于将训练图像集合中的所有训练图像输入至预设的待训练图像增强模型的图像增强器中,得到每个训练图像对应的初始增强图像;所有训练图像中包含多种场景类型的图像;将所有初始增强图像输入至待训练图像增强模型中的图像降质器中,得到每个初始增强图像对应的降质图像,并根据所有训练图像以及所有初始增强图像对应的降质图像,确定待训练图像增强模型对应的图像内容损失参数;
判断模块303,用于判断图像内容损失参数是否小于等于预设的图像内容损失阈值;
训练模块302,还用于当判断模块303判断结果为是时,基于待训练图像增强模型中的图像属性判别器,对所有初始增强图像执行图像属性判别操作,得到所有初始增强图像对应的图像属性判别结果;图像属性判别结果包括图像纹理判别结果和/或图像像素判别结果;
判断模块303,还用于根据所有初始增强图像对应的图像属性判别结果,判断待训练图像增强模型是否收敛;
调整模块304,用于当判断模块303判断出待训练图像增强模型不收敛时,对待训练图像增强模型的模型参数进行调整,得到新的待训练图像增强模型,并触发训练模块301执行的将训练图像集合中的所有训练图像输入至预设的待训练图像增强模型的图像增强器中,得到每个训练图像对应的初始增强图像的操作;待训练图像增强模型为新的待训练图像增强模型;
确定模块305,用于当判断模块303判断出待训练图像增强模型收敛时,将待训练图像增强模型确定为目标图像增强模型;目标图像增强模型用于对待增强图像进行图像增强。
可见,实施图3所描述的图像增强的智能化实现装置能够对多种场景类型的待增强图像进行增强,在保障增强后图像的图像内容一致性的情况下,也提高了对增强后图像的图像纹理及图像像素的增强效果,提高了对待增强图像的增强可靠性及准确性,以利于满足用户图像处理的需求。
在一个可选的实施例中,图像属性判别器包括图像纹理判别器和/或图像像素判别器;
其中,训练模块301基于待训练图像增强模型中的图像属性判别器,对所有初始增强图像执行图像属性判别操作,得到所有初始增强图像对应的图像属性判别结果的方式具体包括:
当图像属性判别器包括图像纹理判别器以及图像像素判别器时,确定每个初始增强图像对应的判别参照图像,并将所有初始增强图像以及所有初始增强图像对应的判别参照图像输入至图像纹理判别器中,以使图像纹理判别器306对每个初始增强图像以及每个初始增强图像对应的判别参照图像执行图像纹理判别操作,得到每个初始增强图像对应的图像纹理损失参数;
将所有初始增强图像以及所有初始增强图像对应的判别参照图像输入至图像像素判别器中,以使图像像素判别器307对每个初始增强图像以及每个初始增强图像对应的判别参照图像执行图像像素判别操作,得到每个初始增强图像对应的图像像素损失参数;
根据所有初始增强图像对应的图像纹理损失参数以及对应的图像像素损失参数,确定所有初始增强图像对应的图像属性判别结果。
可见,实施图4所描述的图像增强的智能化实现装置能够通过图像纹理判别器及图像像素判别器分别计算出所有初始增强图像对应的图像纹理损失参数以及对应的图像像素损失参数,这样,有利于提高对图像纹理损失参数以及图像像素损失参数的计算可靠性及准确性,进而有利于提高对待训练图像增强模型的训练可靠性及准确性,从而有利于可靠且准确地训练出用于图像增强的目标图像增强模型,以提高对待增强图像的增强效果,满足用户的图像处理需求。
在另一个可选的实施例中,图像纹理判别器306对每个初始增强图像以及每个初始增强图像对应的判别参照图像执行图像纹理判别操作,得到每个初始增强图像对应的图像纹理损失参数的方式具体包括:
对于每一初始增强图像,图像纹理判别器对初始增强图像以及初始增强图像对应的判别参照图像执行图像灰度处理操作,得到初始增强图像的第一灰度图像以及判别参照图像的第二灰度图像,并提取第一灰度图像中的多个第一纹理特征元素以及第二灰度图像中的多个第二纹理特征元素;
对于每一第一灰度图像中的每一第一纹理特征元素,从所有第二纹理特征元素中确定出与第一纹理特征元素相匹配的目标纹理特征元素,并确定第一纹理特征元素的基础判别数值以及第一纹理特征元素与目标纹理特征元素之间的元素判别相似度;
对于每一第一灰度图像,根据第一灰度图像中的每个第一纹理特征元素的基础判别数值以及对应的元素判别相似度,计算每个第一纹理特征元素与与其相匹配的目标纹理特征元素之间的纹理特征元素损失参数,并根据所有第一纹理特征元素对应的纹理特征元素损失参数,确定第一灰度图像的图像纹理损失参数,作为初始增强图像对应的图像纹理损失参数。
在该可选的实施例中,进一步的,第一纹理特征元素的基础判别数值是通过以下方式确定出的:
确定第一纹理特征元素所属的第一灰度图像对应的图像场景特征参数,并确定第一纹理特征元素在第一灰度图像中所对应的第一特征参数;第一特征参数包括位置特征参数、大小占比特征参数、元素场景特征参数以及纹理类型特征参数中的至少一种;
根据图像场景特征参数以及第一纹理特征元素对应的第一特征参数,确定第一纹理特征元素针对第一灰度图像所对应的元素权重值,并根据预设的第一灰度图像对应的图像基础数值以及元素权重值,确定第一纹理特征元素的基础判别数值。
再进一步的,第一纹理特征元素与目标纹理特征元素之间的元素判别相似度是通过以下方式确定出的:
确定第一纹理特征元素所属的纹理类型;纹理类型包括材质纹理类型、空间立体纹理类型以及映射纹理类型中的至少一种;
当第一纹理特征元素所属的纹理类型包括材质纹理类型时,根据第一纹理特征元素中第一材质纹理的材质纹理参数以及目标纹理特征元素中第二材质纹理的材质纹理参数,确定第一材质纹理与第二材质纹理之间的材质纹理相似度,作为第一纹理特征元素与目标纹理特征元素之间的元素判别相似度;材质纹理参数包括材质纹理位置参数、材质纹理纹路情况以及材质类型参数中的至少一种;
当第一纹理特征元素所属的纹理类型包括空间立体纹理类型时,根据第一纹理特征元素中第一几何面纹理对应的交错纹理参数以及目标纹理特征元素中第二几何面纹理对应的交错纹理参数,确定第一几何面纹理与第二几何面纹理之间的交错纹理相似度,作为第一纹理特征元素与目标纹理特征元素之间的元素判别相似度;交错纹理参数包括交错纹理位置参数和/或交错纹理纹路情况;
当第一纹理特征元素所属的纹理类型包括映射纹理类型时,根据第一纹理特征元素中第一映射纹理对应的映射纹理参数以及目标纹理特征元素中第二映射纹理对应的映射纹理参数,确定第一映射纹理与第二映射纹理之间的映射纹理相似度,作为第一纹理特征元素与目标纹理特征元素之间的元素判别相似度;映射纹理参数包括映射纹理位置参数、映射纹理纹路情况、映射对象类型参数以及被映射对象类型参数中的至少一种。
可见,实施图4所描述的图像增强的智能化实现装置能够基于第一纹理特征元素对应的第一特征参数计算出其基础判别数值,以及基于第一纹理特征元素所属的纹理类型、其相应纹理参数以及目标纹理特征元素相应的纹理参数计算出第一纹理特征元素对应的元素判别相似度,进而计算出各个第一纹理特征元素对应的纹理特征元素损失参数,从而计算出所有第一纹理特征元素对应的初始增强图像对应的图像纹理损失参数,这样,有利于提高对第一纹理特征元素对应的基础判别数值、元素判别相似度的计算可靠性及准确性,进而有利于提高对第一纹理特征元素对应的纹理特征元素损失参数的计算可靠性及准确性,从而有利于提高对初始增强图像对应的图像纹理损失参数的计算可靠性及准确性,以实现对待训练图像增强模型的训练可靠性。
在又一个可选的实施例中,图像像素判别器307对每个初始增强图像以及每个初始增强图像对应的判别参照图像执行图像像素判别操作,得到每个初始增强图像对应的图像像素损失参数的方式具体包括:
对于每一初始增强图像,图像像素判别器对初始增强图像以及初始增强图像对应的判别参照图像执行图像噪声处理操作,得到初始增强图像的第一处理后图像以及判别参照图像的第二处理后图像,并提取第一处理后图像中的多个第一图像像素以及第二处理后图像中的多个第二图像像素;
对于每一第一处理后图像中的每一第一图像像素,从所有第二图像像素中确定出与第一图像像素相匹配的目标图像像素,并确定第一图像像素与目标图像像素之间的像素判别相似度;
对于每一第一处理后图像,根据第一处理后图像中的每个第一图像像素对应的像素判别相似度,确定每个第一图像像素与与其相匹配的目标图像像素之间的像素特征损失参数,并根据所有第一图像像素对应的像素特征损失参数,确定第一处理后图像的图像像素损失参数,作为初始增强图像对应的图像像素损失参数。
在该可选的实施例中,进一步的,第一图像像素与目标图像像素之间的像素判别相似度是通过以下方式确定出的:
确定第一图像像素的像素特征参数以及目标图像像素的像素特征参数;像素特征参数包括像素位置特征参数、像素大小特征参数以及像素值中的至少一种;
根据第一图像像素的像素特征参数以及目标图像像素的像素特征参数,确定第一图像像素与目标图像像素之间的像素判别相似度。
可见,实施图4所描述的图像增强的智能化实现装置能够基于第一图像像素的像素特征参数以及目标图像像素的像素特征参数,计算出第一图像像素对应的像素判别相似度,进而计算出第一图像像素与与其相匹配的目标图像像素之间的像素特征损失参数,从而基于所有的第一图像像素对应的像素特征损失参数确定出初始增强图像对应的图像像素损失参数,这样,可以提高对第一图像像素对应的像素判别相似度的计算可靠性及准确性,进而可以提高对第一图像像素对应的像素特征损失参数的计算可靠性及准确性,从而可以提高对初始增强图像对应的图像像素损失参数的确定可靠性及准确性,以进一步实现对待训练图像增强模型的训练可靠性。
实施例四
请参阅图5,图5是本发明实施例公开的又一种图像增强的智能化实现装置的结构示意图。如图5所示,该图像增强的智能化实现装置可以包括:
存储有可执行程序代码的存储器401;
与存储器401耦合的处理器402;
处理器402调用存储器401中存储的可执行程序代码,执行本发明实施例一或本发明实施例二所描述的图像增强的智能化实现方法中的步骤。
实施例五
本发明实施例公开了一种计算机存储介质,该计算机存储介质存储有计算机指令,该计算机指令被调用时,用于执行本发明实施例一或本发明实施例二所描述的图像增强的智能化实现方法中的步骤。
实施例六
本发明实施例公开了一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行实施例一或实施例二中所描述的图像增强的智能化实现方法中的步骤。
以上所描述的装置实施例仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施例的具体描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(Programmable Read-only Memory,PROM)、可擦除可编程只读存储器(ErasableProgrammable Read Only Memory,EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory,EEPROM)、只读光盘(CompactDisc Read-Only Memory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
最后应说明的是:本发明实施例公开的一种图像增强的智能化实现方法及装置所揭露的仅为本发明较佳实施例而已,仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解;其依然可以对前述各项实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替换,并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。
Claims (10)
1.一种图像增强的智能化实现方法,其特征在于,所述方法包括:
获取用于训练的训练图像集合,并将所述训练图像集合中的所有训练图像输入至预设的待训练图像增强模型的图像增强器中,得到每个所述训练图像对应的初始增强图像;所有所述训练图像中包含多种场景类型的图像;
将所有所述初始增强图像输入至所述待训练图像增强模型中的图像降质器中,得到每个所述初始增强图像对应的降质图像,并根据所有所述训练图像以及所有所述初始增强图像对应的降质图像,确定所述待训练图像增强模型对应的图像内容损失参数;
判断所述图像内容损失参数是否小于等于预设的图像内容损失阈值,若是,则基于所述待训练图像增强模型中的图像属性判别器,对所有所述初始增强图像执行图像属性判别操作,得到所有所述初始增强图像对应的图像属性判别结果;所述图像属性判别结果包括图像纹理判别结果和/或图像像素判别结果;
根据所有所述初始增强图像对应的图像属性判别结果,判断所述待训练图像增强模型是否收敛;
当判断出所述待训练图像增强模型不收敛时,对所述待训练图像增强模型的模型参数进行调整,得到新的所述待训练图像增强模型,并触发执行所述的将所述训练图像集合中的所有训练图像输入至预设的待训练图像增强模型的图像增强器中,得到每个所述训练图像对应的初始增强图像的操作;所述待训练图像增强模型为新的所述待训练图像增强模型;
当判断出所述待训练图像增强模型收敛时,将所述待训练图像增强模型确定为目标图像增强模型;所述目标图像增强模型用于对待增强图像进行图像增强。
2.根据权利要求1所述的图像增强的智能化实现方法,其特征在于,所述图像属性判别器包括图像纹理判别器和/或图像像素判别器;
其中,所述基于所述待训练图像增强模型中的图像属性判别器,对所有所述初始增强图像执行图像属性判别操作,得到所有所述初始增强图像对应的图像属性判别结果,包括:
当所述图像属性判别器包括所述图像纹理判别器以及所述图像像素判别器时,确定每个所述初始增强图像对应的判别参照图像,并将所有所述初始增强图像以及所有所述初始增强图像对应的判别参照图像输入至所述图像纹理判别器中,以使所述图像纹理判别器对每个所述初始增强图像以及每个所述初始增强图像对应的判别参照图像执行图像纹理判别操作,得到每个所述初始增强图像对应的图像纹理损失参数;
将所有所述初始增强图像以及所有所述初始增强图像对应的判别参照图像输入至所述图像像素判别器中,以使所述图像像素判别器对每个所述初始增强图像以及每个所述初始增强图像对应的判别参照图像执行图像像素判别操作,得到每个所述初始增强图像对应的图像像素损失参数;
根据所有所述初始增强图像对应的图像纹理损失参数以及对应的图像像素损失参数,确定所有所述初始增强图像对应的图像属性判别结果。
3.根据权利要求2所述的图像增强的智能化实现方法,其特征在于,所述图像纹理判别器对每个所述初始增强图像以及每个所述初始增强图像对应的判别参照图像执行图像纹理判别操作,得到每个所述初始增强图像对应的图像纹理损失参数,包括:
对于每一所述初始增强图像,所述图像纹理判别器对所述初始增强图像以及所述初始增强图像对应的判别参照图像执行图像灰度处理操作,得到所述初始增强图像的第一灰度图像以及所述判别参照图像的第二灰度图像,并提取所述第一灰度图像中的多个第一纹理特征元素以及所述第二灰度图像中的多个第二纹理特征元素;
对于每一所述第一灰度图像中的每一所述第一纹理特征元素,从所有所述第二纹理特征元素中确定出与所述第一纹理特征元素相匹配的目标纹理特征元素,并确定所述第一纹理特征元素的基础判别数值以及所述第一纹理特征元素与所述目标纹理特征元素之间的元素判别相似度;
对于每一所述第一灰度图像,根据所述第一灰度图像中的每个所述第一纹理特征元素的基础判别数值以及对应的元素判别相似度,计算每个所述第一纹理特征元素与与其相匹配的所述目标纹理特征元素之间的纹理特征元素损失参数,并根据所有所述第一纹理特征元素对应的纹理特征元素损失参数,确定所述第一灰度图像的图像纹理损失参数,作为所述初始增强图像对应的图像纹理损失参数。
4.根据权利要求3所述的图像增强的智能化实现方法,其特征在于,所述第一纹理特征元素的基础判别数值是通过以下方式确定出的:
确定所述第一纹理特征元素所属的所述第一灰度图像对应的图像场景特征参数,并确定所述第一纹理特征元素在所述第一灰度图像中所对应的第一特征参数;所述第一特征参数包括位置特征参数、大小占比特征参数、元素场景特征参数以及纹理类型特征参数中的至少一种;
根据所述图像场景特征参数以及所述第一纹理特征元素对应的第一特征参数,确定所述第一纹理特征元素针对所述第一灰度图像所对应的元素权重值,并根据预设的所述第一灰度图像对应的图像基础数值以及所述元素权重值,确定所述第一纹理特征元素的基础判别数值。
5.根据权利要求4所述的图像增强的智能化实现方法,其特征在于,所述第一纹理特征元素与所述目标纹理特征元素之间的元素判别相似度是通过以下方式确定出的:
确定所述第一纹理特征元素所属的纹理类型;所述纹理类型包括材质纹理类型、空间立体纹理类型以及映射纹理类型中的至少一种;
当所述第一纹理特征元素所属的纹理类型包括所述材质纹理类型时,根据所述第一纹理特征元素中第一材质纹理的材质纹理参数以及所述目标纹理特征元素中第二材质纹理的材质纹理参数,确定所述第一材质纹理与所述第二材质纹理之间的材质纹理相似度,作为所述第一纹理特征元素与所述目标纹理特征元素之间的元素判别相似度;所述材质纹理参数包括材质纹理位置参数、材质纹理纹路情况以及材质类型参数中的至少一种;
当所述第一纹理特征元素所属的纹理类型包括所述空间立体纹理类型时,根据所述第一纹理特征元素中第一几何面纹理对应的交错纹理参数以及所述目标纹理特征元素中第二几何面纹理对应的交错纹理参数,确定所述第一几何面纹理与所述第二几何面纹理之间的交错纹理相似度,作为所述第一纹理特征元素与所述目标纹理特征元素之间的元素判别相似度;所述交错纹理参数包括交错纹理位置参数和/或交错纹理纹路情况;
当所述第一纹理特征元素所属的纹理类型包括所述映射纹理类型时,根据所述第一纹理特征元素中第一映射纹理对应的映射纹理参数以及所述目标纹理特征元素中第二映射纹理对应的映射纹理参数,确定所述第一映射纹理与所述第二映射纹理之间的映射纹理相似度,作为所述第一纹理特征元素与所述目标纹理特征元素之间的元素判别相似度;所述映射纹理参数包括映射纹理位置参数、映射纹理纹路情况、映射对象类型参数以及被映射对象类型参数中的至少一种。
6.根据权利要求2-5任一项所述的图像增强的智能化实现方法,其特征在于,所述图像像素判别器对每个所述初始增强图像以及每个所述初始增强图像对应的判别参照图像执行图像像素判别操作,得到每个所述初始增强图像对应的图像像素损失参数,包括:
对于每一所述初始增强图像,所述图像像素判别器对所述初始增强图像以及所述初始增强图像对应的判别参照图像执行图像噪声处理操作,得到所述初始增强图像的第一处理后图像以及所述判别参照图像的第二处理后图像,并提取所述第一处理后图像中的多个第一图像像素以及所述第二处理后图像中的多个第二图像像素;
对于每一所述第一处理后图像中的每一所述第一图像像素,从所有所述第二图像像素中确定出与所述第一图像像素相匹配的目标图像像素,并确定所述第一图像像素与所述目标图像像素之间的像素判别相似度;
对于每一所述第一处理后图像,根据所述第一处理后图像中的每个所述第一图像像素对应的像素判别相似度,确定每个所述第一图像像素与与其相匹配的所述目标图像像素之间的像素特征损失参数,并根据所有所述第一图像像素对应的像素特征损失参数,确定所述第一处理后图像的图像像素损失参数,作为所述初始增强图像对应的图像像素损失参数。
7.根据权利要求6所述的图像增强的智能化实现方法,其特征在于,所述第一图像像素与所述目标图像像素之间的像素判别相似度是通过以下方式确定出的:
确定所述第一图像像素的像素特征参数以及所述目标图像像素的像素特征参数;所述像素特征参数包括像素位置特征参数、像素大小特征参数以及像素值中的至少一种;
根据所述第一图像像素的像素特征参数以及所述目标图像像素的像素特征参数,确定所述第一图像像素与所述目标图像像素之间的像素判别相似度。
8.一种图像增强的智能化实现装置,其特征在于,所述装置包括:
获取模块,用于获取用于训练的训练图像集合;
训练模块,用于将所述训练图像集合中的所有训练图像输入至预设的待训练图像增强模型的图像增强器中,得到每个所述训练图像对应的初始增强图像;所有所述训练图像中包含多种场景类型的图像;将所有所述初始增强图像输入至所述待训练图像增强模型中的图像降质器中,得到每个所述初始增强图像对应的降质图像,并根据所有所述训练图像以及所有所述初始增强图像对应的降质图像,确定所述待训练图像增强模型对应的图像内容损失参数;
判断模块,用于判断所述图像内容损失参数是否小于等于预设的图像内容损失阈值;
所述训练模块,还用于当所述判断模块判断结果为是时,基于所述待训练图像增强模型中的图像属性判别器,对所有所述初始增强图像执行图像属性判别操作,得到所有所述初始增强图像对应的图像属性判别结果;所述图像属性判别结果包括图像纹理判别结果和/或图像像素判别结果;
所述判断模块,还用于根据所有所述初始增强图像对应的图像属性判别结果,判断所述待训练图像增强模型是否收敛;
调整模块,用于当所述判断模块判断出所述待训练图像增强模型不收敛时,对所述待训练图像增强模型的模型参数进行调整,得到新的所述待训练图像增强模型,并触发所述训练模块执行所述的将所述训练图像集合中的所有训练图像输入至预设的待训练图像增强模型的图像增强器中,得到每个所述训练图像对应的初始增强图像的操作;所述待训练图像增强模型为新的所述待训练图像增强模型;
确定模块,用于当所述判断模块判断出所述待训练图像增强模型收敛时,将所述待训练图像增强模型确定为目标图像增强模型;所述目标图像增强模型用于对待增强图像进行图像增强。
9.一种图像增强的智能化实现装置,其特征在于,所述装置包括:
存储有可执行程序代码的存储器;
与所述存储器耦合的处理器;
所述处理器调用所述存储器中存储的所述可执行程序代码,执行如权利要求1-7任一项所述的图像增强的智能化实现方法。
10.一种计算机存储介质,其特征在于,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行如权利要求1-7任一项所述的图像增强的智能化实现方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311048047.0A CN116777810B (zh) | 2023-08-21 | 2023-08-21 | 图像增强的智能化实现方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311048047.0A CN116777810B (zh) | 2023-08-21 | 2023-08-21 | 图像增强的智能化实现方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116777810A CN116777810A (zh) | 2023-09-19 |
CN116777810B true CN116777810B (zh) | 2023-11-17 |
Family
ID=87993387
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311048047.0A Active CN116777810B (zh) | 2023-08-21 | 2023-08-21 | 图像增强的智能化实现方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116777810B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110163235A (zh) * | 2018-10-11 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 图像增强模型的训练、图像增强方法、装置和存储介质 |
CN111242868A (zh) * | 2020-01-16 | 2020-06-05 | 重庆邮电大学 | 暗视觉环境下基于卷积神经网络的图像增强方法 |
CN113284059A (zh) * | 2021-04-29 | 2021-08-20 | Oppo广东移动通信有限公司 | 模型训练方法、图像增强方法、装置、电子设备及介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110570358A (zh) * | 2018-09-04 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 基于gan网络的车损图像增强方法和装置 |
-
2023
- 2023-08-21 CN CN202311048047.0A patent/CN116777810B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110163235A (zh) * | 2018-10-11 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 图像增强模型的训练、图像增强方法、装置和存储介质 |
CN111242868A (zh) * | 2020-01-16 | 2020-06-05 | 重庆邮电大学 | 暗视觉环境下基于卷积神经网络的图像增强方法 |
CN113284059A (zh) * | 2021-04-29 | 2021-08-20 | Oppo广东移动通信有限公司 | 模型训练方法、图像增强方法、装置、电子设备及介质 |
Non-Patent Citations (1)
Title |
---|
基于神经网络的视频图像识别与增强实现;张华宇;《中国优秀硕士学位论文全文数据库 信息科技辑》;第I138-830页 * |
Also Published As
Publication number | Publication date |
---|---|
CN116777810A (zh) | 2023-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108829826B (zh) | 一种基于深度学习和语义分割的图像检索方法 | |
CN106157323B (zh) | 一种动态分块阈值和块搜索结合的绝缘子分割提取方法 | |
CN106557740B (zh) | 一种遥感图像中油库目标的识别方法 | |
CN116091781B (zh) | 一种用于图像识别的数据处理方法及装置 | |
Guo et al. | Objective measurement for image defogging algorithms | |
CN113674220A (zh) | 一种图像差异检测方法、检测装置和存储介质 | |
CN114519698A (zh) | 暗光环境下的设备漏油检测方法、装置、设备及存储介质 | |
JP2003141546A (ja) | 画像処理方法 | |
CN117252789B (zh) | 高分辨率遥感影像阴影重建方法、装置及电子设备 | |
CN113438386B (zh) | 一种应用于视频处理的动静判定方法及装置 | |
CN116777810B (zh) | 图像增强的智能化实现方法及装置 | |
CN117994419A (zh) | 一种基于视觉的目标三维重建方法及系统 | |
CN117351184A (zh) | 一种定位方法、装置、设备及存储介质 | |
CN117611483A (zh) | 一种图像采集方法、装置、设备及存储介质 | |
CN111179245B (zh) | 图像质量检测方法、装置、电子设备和存储介质 | |
CN108805883B (zh) | 一种图像分割方法、图像分割装置及电子设备 | |
CN112257729A (zh) | 图像识别方法、装置、设备及存储介质 | |
CN116168213A (zh) | 人流量数据的识别方法和人流量数据识别模型的训练方法 | |
CN115482175A (zh) | 红外图像与可见光图像的多尺度融合方法、装置及设备 | |
CN113393395A (zh) | 一种高动态红外图像分割阈值自适应计算方法 | |
CN113657283A (zh) | 视觉定位方法、装置及电子设备 | |
CN113554685A (zh) | 遥感卫星运动目标检测方法、装置、电子设备及存储介质 | |
Wu et al. | Edge‐preserving colour‐to‐greyscale conversion | |
CN112949641A (zh) | 图像分割方法及电子设备、计算机可读存储介质 | |
CN113674158A (zh) | 图像处理方法、装置、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |